中国的博客，走近我们的产品、技术和文化
Google 中国的博客，走近我们的产品、技术和文化
Google 提出人工智能五大问题 强调安全性
2016年6月27日
发布者：
Google
研究部门，
Chris Olah
Google
认为，人工智能技术对于人类来说将非常有用且极具好处。作为负责任的技术领导者，
Google
也致力于探索这一新技术的潜在问题，研究应对相关风险的最佳方案。因此，
Google
近期发表了一篇名为《人工智能安全性方面的具体问题》的技术论文，这是
Google
科学家、
OpenAI
、斯坦福大学以及加州大学伯克利分校的合作成果。
虽然人工智能安全性方面的潜在风险已经吸引了大量公众的关注，但此前大多数的讨论都极具假设性和推测性。
Google
认为有必要在真正的机器学习研究中对这些担忧进行验证，从而以切实可行的方法，设计安全可靠的人工智能系统。
以下是
Google
列出的广泛运用人工智能技术所面临的五大问题。它们都是具有前瞻性的长期研究课题。虽然现在看来可能只是小问题，但对于未来的系统设计而言非常重要：
1. 避免负面影响：如何避免人工智能系统为了达到目标，而对周围环境做出有负面影响的举动？比如避免清洁机器人为了更快扫清地面而径直推翻（而不是绕过） 一个花瓶。
2. 避免对奖励条件的错误解读：如何避免人工智能通过篡改测量值等不正当手段，获得奖励？比如，避免清洁机器人只是找东西把垃圾遮住让自己看不见它，就认为已经扫干净了地面。
3. 可扩展的监管：如何有效确保人工智能系统能够对不宜频繁评估的事物做出适当的反应？比如，如果人工智能系统在执行任务过程中获得了人类反馈，那么它就需要对这种反馈进行有效利用，而不是频繁地询问人类。
4. 探索的安全性：如何确保人工智能系统不会做出极具负面影响的探索性举动？比如，清洁机器人也许会尝试不同的拖地方法累积经验，但它绝不能将湿拖把放进插座里。
5. 分布转变的稳定性：如何确保人工智能系统能够识别并良好应对与其培训环境极为不同的环境？比如，在工厂中学到的行为可能在一个办公室中就会显得不是十分安全。
Google
在论文中提供了更多技术详情。尽管机器学习研究社区已经对这些问题以及众多相关话题进行了大量讨论，但
Google
认为这方面还有很多工作要做。
Google
相信，严谨而开放的跨机构合作，有益于打造理想的机器学习系统。
Google
也期待继续与其他研究小组进行合作，推动人工智能的积极发展。
標籤
编程之夏，UR
创新
创意改善社会 公益温暖中国
促进智能能源利用
大学
谷歌翻译，即时相机翻译，Instant Camera Translation
谷歌十周年系列
谷歌艺术与文化
观妙中国，Shadow Art，智玩皮影
广告
广告安全
互联网，Internet
科技
女性开发者
社会
视频广告
数据中心
数字营销
搜索
网站管理员
文化研究所
艺术计划
音乐搜索
愚人节
增强型广告系列
智能隐形眼镜项目
中小企业
adexchange
Admob
admob sdk
Ads
Adsense
AdWords
android
android m
Android应用开发中国大学生挑战赛
App Inventor
Calendar
cardboard
CES
Chrome
Chrome Web Store
Chrome，Chrome实验
Chrome实验
CI
Code Jam
corporate
Creative
Cross-device
Cultural Institute
culture
Data Center
DevArt
Developer
display
diversity
Doodle
DoubleClick
G+
G2G，Culture
GA&C
gaming
Global Impact Awards
Gmail
Gogle科学挑战赛
Good to Know
Google Ads
Google AdWords
Google Analytics
Google Art Project
Google Arts & Culture
Google Code-in竞赛
Google Demo Day Asia
Google Docs
Google Doodle
Google Drive
Google Drive 云端硬盘
Google Fiber
Google Font
Google for Startups
Google Green
Google I/O
Google Image Search
Google Keep
Google partners
Google Play
Google Science Fair
Google Search
Google Top Contributor Summit
Google Translate
Google Trend
Google Trends
Google Zeitgeist 2012
Google安全系统
Google博士生奖研金
Google翻译
Google奖学金
Google杰出贡献者峰会
Google科学挑战赛
Google网站管理员
Google网站管理员，Webmaster
Google文化研究所
Google在线营销挑战赛
Google中国教育高峰会
IME 输入法
Innovation
Made with Code
maps
mobile ads
mobile ads sdk
Modoo
moonshot
native ads
Nexus
programmatic buying
Project X
Pwn20wn及Pwnium3 黑客大赛
Remarketing. Ads
Search
Security
smb
Solve for X
Street view
student
UR
VR
Web Platform Docs
web security
Webmaster
year in search 2014
YouTube
zeitgeist
博客归档
2024
11月
10月
8月
7月
6月
5月
4月
3月
2月
1月
2023
12月
11月
10月
9月
5月
4月
3月
2月
2022
11月
10月
5月
4月
2月
1月
2021
10月
9月
5月
4月
3月
2月
2020
12月
5月
4月
3月
2019
10月
8月
7月
6月
5月
4月
3月
2018
12月
10月
9月
8月
7月
6月
5月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2011
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2010
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2007
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2006
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
Feed
