中国的博客,走近我们的产品、技术和文化
Google 中国的博客,走近我们的产品、技术和文化
我们的歉意
2007年1月15日
发表者:Google(谷歌)黑板报小组
由于内部技术问题,过去的几天中 Google(谷歌)黑板报无法登录,我们对此深表歉意。Google(谷歌)黑板报的服务现已恢复,感谢大家的耐心期待。未来,我们会以更快的速度、更丰富的内容来更新 Google(谷歌)黑板报。
聪明点、再聪明点——谈谈多维搜索的趋势
2007年1月10日
发表者:Google(谷歌)中国工程研究院技术总监刘骏
一直以来,我们不断地在思索和实践如何实现更加聪明的中文搜索引擎。下面想先从应用和现象层面与大家分享一些我们中国工程研究院网页搜索团队的发现和实践方向。简而言之,我们现在正在努力的就是做聪明的中文搜索、多维整合的中文搜索。
民以食为天,从“吃”谈起
“聚会去哪吃??”
一个对任何人而言都再普通不过的问题,但是要想让机器来回答它,现有的一维信息结构是不能实现。那么,要提供满意的结果,至少应该整合比如:
- 地理信息:在哪聚?
- 时间信息:什么时间聚?
……
简单的结论就是,大多问题即便是那些对人类超级简单的问题,也是由多维度的整合需求构成的。所以,对于机器而言,要使它能够聪明的想用户所想,就必须超越目前一维搜索引擎,一个“活”搜索需要朝多维整合的方向发展。
跨越时间和地域限制
举个刚刚过去不久的例子,亚运会期间(事实上这是一个时间维度),一个中国/亚洲用户(地理维度)键入“多哈(地理维度)”,我们应该能够理解现在是
亚运会期间
,对于
中国/亚洲用户
而言:多哈=亚运会,这样我们应该能
自动
整合最新的亚运会资讯、多哈旅游等多方面的信息。如下图,这是我们刚刚推出不久的热点信息整合功能:
跨越媒体限制
从文字到语音、图像、三维,如今的媒体多样化形式使搜索引擎也面临着信息整合的挑战。Google Video,Google 地图就是整合媒体形式的很好说明。通过 Google 的服务丰富搜索信息的内容及形式。
气象信息、图片信息整合:Google Earth
跨越渠道限制
传播渠道也是多维整合信息的重要因素。在用户获取信息渠道多样化的今天,搜索引擎的接入渠道、信息来源的渠道也应当相应地多样化、立体化,以满足用户随时随地获取多样信息的需求。Google(谷歌)移动搜索就是这样的尝试。Google(谷歌)图书搜索到使得大量经过锤炼的高质量线下书本信息获取过程更加简单、优化。这些是 Google(谷歌)发展中非常战略的领域。
多维搜索必须将以上因素都有机整合,将搜索转变成为一个完整统一的过程。我们中国团队在这方面已经展开实践,但仍然面临着海量数据和人工智能的挑战,这两方面的技术问题还没有完全解决,希望我们的团队能在这方面为中国乃至全球搜索技术的发展做出贡献。
Google Analytics(分析)产品使用技巧(一)
2007年1月8日
——如何使用 Google Analytics(分析)改进并优化您的网站内容?
发表者:产品支持小组
Google Analytics(分析)
是一款免费的 Web 分析产品,根据它提供的丰富详尽的图表式报告,网站管理员与营销人员可以更好地了解并影响访问者的行为,从而提高营销活动的投资回报率。自去年 8 月 15 日以来,无需邀请函,您即可直接
注册
成为 Google Analytics(分析)的用户。从我们收到的众多来信中,关于“如何理解和运用 Google Analytics(分析)报告”,是大家都很关注的一个问题。这里我们先以其中的四份报告为例,介绍“网站管理员”可以如何使用这些报告优化自己的网站内容、提高用户访问体验。
1、
“渠道可视化”
与“最常访问内容”报告
“渠道可视化”报告描述访问者通过渠道到达目标页的情况。大多数的网站都会有一个或多个希望访问者能到达的目标,比如说“注册成功”页面代表已经成功地将一个访问者转化成为会员。因此“注册成功”页面可以作为一个目标页。
而渠道是指您心目中定义的“访问者到达该目标的步骤”,例如下图所示,要达到“完成订单”目标页,访问者需要经过的步骤是:浏览产品类别—浏览产品—使用购物车—完成订单。因此这整个流程即可设定为一个渠道,渠道的终点一定是您定义的某个目标。
渠道可视化报告
上图所示的渠道可视化报告可以帮网站管理员回答下列问题 :
• 访问者在哪一点放弃了渠道?
• 是不是网站设计元素或特定的页面让访问者离开了网站?
• 哪些网站路径可以促成最多的转换?
“渠道可视化”报告能够帮助管理员了解渠道中的薄弱环节,而“最常访问内容”可以提供如何消除这些环节的线索。
下图所示的“最常访问内容”报告可以回答以下几个问题:
• 访问者最常去哪些网页?
• 他们在每个页面待多久?
• 哪个页面带来的收入最大?
最常访问内容
尝试着将“最常访问内容”中质量得分排名靠前的网页融入到渠道中的薄弱环节,可以协助管理员优化网站结构和内容,让更多的访问者能顺利的到达网站的目标页。
2、“访问深度”和“访问时长”报告
无论对什么类型的网站,访问者的访问深度和访问时长都是两个重要的考察指标。如果访问者只访问了网站的一个页面即离开,将意味着一种机会的丧失。相反,访问者的访问时间越长,即意味着该网站提供给他的有用的信息越多,因此您的网站对访问者将更有价值,他更有可能将您的网站加入他的收藏夹成为回访者甚至客户。下图所示是在选定时间范围内,网站的访问深度和访问时长报告。
访问深度报告
访问时长报告
管理员通常需要对比不同的时间段内,这两个指标的变化趋势。例如 9 月 1 日您的网站刚进行了一次优化,结果从报告上看 9 月 1 日之后的一个月内,访问深度和访问时长呈增长趋势,则证明这是一次有成效的网站优化。
又例如您的网站首页上刚添加了一篇新的文章,而报告显示之后的两周访问时长有向上的趋势,恭喜您,说明您的这篇文章对访问者来说很有价值,他们在您的网站上愿意停留的时间更长了。
所有的网站分析工具都有一个很重要的功能:让网站管理员了解在自己网站上所做的每个改动带来的改变趋势是什么?不仅仅是访问深度和访问时长两个指标,使用者还可以找到适合自己的评价指标,Google Analytics(分析)可以告诉您每次内容改进后,指标的变化趋势。
3、结论
Google Analytics(分析)给网站管理员提供了这样一个途径:了解目前网站的状态,知道可以改进的方向。下面要做的事情就是每次只对网站作一次改动,并且给 Google Analytics(分析)一段时间,它会告诉您这次改动带来的改变是否符合预期。
就像 Google Analytics(分析)的高级经理 Brett Crosby 在
Analytics blog
里提到的:
“不论您如何使用 Google Analytics(分析),最重要的是您已经在使用它。”
您已经在试图通过对访问者行为的分析来理解您的访问者,并且朝着优化的方向努力。当您越了解访问者并且愿意朝着提升他们访问体验的方向努力时,也意味着您正走在一条通往拥有更多忠实访问者和提高您的投资回报率的康庄大道上。
新年快乐!
2007年1月1日
发表者:Google(谷歌)黑板报小组
Happy 2007!
数学之美 系列十八 - 矩阵运算和文本处理中的分类问题
2007年1月1日
发表者:Google 研究员,吴军
我在大学学习线性代数时,实在想不出它除了告诉我们如何解线性方程外,还能有什么别的用途。关于矩阵的许多概念,比如特征值等等,更是脱离日常生活。后来在数值分析中又学了很多矩阵的近似算法,还是看不到可以应用的地方。当时选这些课,完全是为了混学分的学位。我想,很多同学都多多少少有过类似的经历。直到后来长期做自然语言处理的研究,我才发现数学家们提出那些矩阵的概念和算法,是有实际应用的意义的。
在自然语言处理中,最常见的两类的分类问题分别是,将文本按主题归类(比如将所有介绍亚运会的新闻归到体育类)和将词汇表中的字词按意思归类(比如将各种体育运动的名称个归成一类)。这两种分类问题都可用通过矩阵运算来圆满地、同时解决。为了说明如何用矩阵这个工具类解决这两个问题的,让我们先来来回顾一下我们在余弦定理和新闻分类中介绍的
方法
。
分类的关键是计算相关性。我们首先对两个文本计算出它们的内容词,或者说实词的向量,然后求这两个向量的夹角。当这两个向量夹角为零时,新闻就相关;当它们垂直或者说正交时,新闻则无关。当然,夹角的余弦等同于向量的内积。从理论上讲,这种算法非常好。但是计算时间特别长。通常,我们要处理的文章的数量都很大,至少在百万篇以上,二次回标有非常长,比如说有五十万个词(包括人名地名产品名称等等)。如果想通过对一百万篇文章两篇两篇地成对比较,来找出所有共同主题的文章,就要比较五千亿对文章。现在的计算机一秒钟最多可以比较一千对文章,完成这一百万篇文章相关性比较就需要十五年时间。注意,要真正完成文章的分类还要反复重复上述计算。
在文本分类中,另一种办法是利用矩阵运算中的奇异值分解(Singular Value Decomposition,简称 SVD)。现在让我们来看看奇异值分解是怎么回事。首先,我们可以用一个大矩阵A来描述这一百万篇文章和五十万词的关联性。这个矩阵中,每一行对应一篇文章,每一列对应一个词。
在上面的图中,M=1,000,000,N=500,000。第 i 行,第 j 列的元素,是字典中第 j 个词在第 i 篇文章中出现的加权词频(比如,
TF/IDF
)。读者可能已经注意到了,这个矩阵非常大,有一百万乘以五十万,即五千亿个元素。
奇异值分解就是把上面这样一个大矩阵,分解成三个小矩阵相乘,如下图所示。比如把上面的例子中的矩阵分解成一个一百万乘以一百的矩阵X,一个一百乘以一百的矩阵B,和一个一百乘以五十万的矩阵Y。这三个矩阵的元素总数加起来也不过1.5亿,仅仅是原来的三千分之一。相应的存储量和计算量都会小三个数量级以上。
三个矩阵有非常清楚的物理含义。第一个矩阵X中的每一行表示意思相关的一类词,其中的每个非零元素表示这类词中每个词的重要性(或者说相关性),数值越大越相关。最后一个矩阵Y中的每一列表示同一主题一类文章,其中每个元素表示这类文章中每篇文章的相关性。中间的矩阵则表示类词和文章雷之间的相关性。因此,我们只要对关联矩阵A进行一次奇异值分解,w 我们就可以同时完成了近义词分类和文章的分类。(同时得到每类文章和每类词的相关性)。
现在剩下的唯一问题,就是如何用计算机进行奇异值分解。这时,线性代数中的许多概念,比如矩阵的特征值等等,以及数值分析的各种算法就统统用上了。在很长时间内,奇异值分解都无法并行处理。(虽然 Google 早就有了MapReduce 等并行计算的工具,但是由于奇异值分解很难拆成不相关子运算,即使在 Google 内部以前也无法利用并行计算的优势来分解矩阵。)最近,Google 中国的张智威博士和几个中国的工程师及实习生已经实现了奇异值分解的并行算法,我认为这是 Google 中国对世界的一个贡献。
o 啦!!——“温”“心”圣诞
2006年12月25日
发表者:Google(谷歌)黑板报小组
o 啦!!今天,圣诞 Doodle 连环画播出完毕,相信很多朋友都已经看到了!这里仅想分享一些我们的小发现。
第一天,节日气氛预热篇
注意:袋鼠
爸爸
和宝宝缠节日彩条毛线(因为袋鼠爸爸是没有婴儿袋的!!)。
第三天,袋鼠
爸爸
和宝宝一起打毛衣。(爸爸亲自动手打毛衣,很罕见!)
注意:这是袋鼠爸爸和孩子一起送给妈妈的圣诞礼物。
“温”“心”圣诞:袋鼠宝宝的小脑袋从毛衣的口里面钻出来,和妈妈共享温暖。
不知大家有没有其它的发现?!
如何在您的网站中加入"搜索本站功能"
2006年12月22日
发表者:谭永锋 软件国际化工程师
许多网站都有"搜索本站",对于很多网民来讲这是非常好用的功能,如果您希望方便、快捷的建立自己的站内搜索,不妨试试谷歌的" Google 指定域名搜索"。这样,您不必花费太多时间,就可以建立结果全部指向您自己网站的站内搜索。
一分钟加入"搜索本站"功能
要如何在您的网页上加入此项功能呢?很简单,只要在你的网页内加入下面一小段代码就好了:
(注意:下面假设 www.abcde.cn 网站为例)
<form action="http://www.google.cn/search" method="get">
<input name=" sitesearch " value=" www.abcde.cn" type="hidden">
<input name="ie " value="GB2312 " type="hidden">
<input onfocus="if( this.value=='用 Google 搜索本站') {this.value='' };" size="25" name="q" id="query" value="用 Google 搜索本站" type="text">
<input name="Search" value="搜索" attr="value" type="submit">
<input name=" hl " value=" zh-CN" type="hidden">
</form>
记住,要把上例中的" www.abcde.cn" 换成您的网站网址哦!
现在,用用你的搜索吧。
如果您的中文搜索送到 Google 后成了乱码,那可能是您的 ie 值设定不合您的网页编码造成的。
如果我的网站不是 GB2313 编码怎么办?
由于在中国很多网站使用的是 GB2313 编码,因此上例中用
<input name=" ie" value=" GB2312" type="hidden">
告知 Google 此搜索是从你的 GB2312 编码网页而来,如果你的网页不是用 GB2312 编码而是使用 UTF-8 编码,那请把该行换成:
<input name=" ie" value=" UTF-8" type="hidden">
如果你的网页编码是使用繁体中文的 Big5 编码,那请把该行换成
<input name=" ie " value="Big5 " type="hidden">
如何使用 Google 用 GB2313 编码显示搜索结果?
在一般如上的情况下,Google 是用 UTF-8 编码显示搜索结果的,如果你要 Google 用 GB2312 编码显示搜索结果,那么你可以加入下列这一行
<input name=" oe" value=" GB2312" type="hidden">
同理,使用下一行会使 Google 用 Big5 编码显示搜索结果
<input name=" oe" value=" Big5" type="hidden">
如何使 Google 用繁体中文显示操作信息?
以上的设定会让 Google 用简体中文显示操作信息,如果你要 Google 用繁体中文显示操作信息那请你把
<input name=" hl" value="zh-CN" type="hidden">
改成
<input name=" hl" value="zh-TW" type="hidden"> 即可。
参数参考:
name="sitesearch" :告知 Google 你要搜索的指定网站或指定域名
name=" ie":告知 Google 发送搜索词的网页编码,预设值为"UTF-8",由于在中国很多网站是使用 GB2312 编码
* name =" oe" :告知 Google 显示搜索的网页编码,预设值为"UTF-8",由于现代大部分机器都能支持"UTF-8"无误,因此你大概不需要调整次参数;
* name ="hl" :告知 Google 显示搜索的网页语言。"zh-CN"为简体中文,"zh-TW"为繁体中文,"en"为英文。
变化的节日 Doodle
2006年12月22日
发表者:Google(谷歌)黑板报小组
“节日 Doodle 来啦!”前几天收到 Dennis 发给全球 Googler 的邮件说。
今天一上班惊喜地发现 Doodle 有了一点微小的变化。
下一个是什么样呢?想象ing~~
Google 桌面 4.5 中文版发布
2006年12月21日
发表者:Google 桌面团队
大家节日快乐!(还没到,提前祝贺一下)现在你可以到
Google(谷歌)下载新版本的 Google 桌面
。此次发布的 4.5 版 Google 桌面已经可以支持包括中文在内的 28 种语言。同今年 5 月发布的 4.0 版相比,新版桌面有了以下的提高:
体贴的补充工具栏:新版的补充工具栏把你电脑右侧的空间充分利用起来,你可以随意拉动 Google 小工具的边框来调整大小,也可以直接点击来切换扩展视图、查看下拉菜单或者直接删除这些小工具。
当然,你还可以选择不同的展示模式: “总是在最前面”、“不在最前面”或者“自动隐藏”。
与最新软件兼容:新版桌面和最新的微软 vista, Office2007 以及 Mozilla Firefox 2.0 都兼容,免去了很多用户的后顾之忧。
更重要的是,Googel 桌面文件和软件开发工具包都已全面升级。无论是初出茅庐的新手还是经验老道的高手都能更快地开发小工具。这段时间,我们公司内部开展了一个 Google 桌面小工具(Gadgets)开发比赛,期待有更多好的适合中国用户的小出具出炉!
更多的中国高手们,加油啊!
大厨决选
2006年12月17日
发表者:崔瑾,Google(谷歌)黑板报小组
周五,除了睡衣节外,还有一个对我们每个普通员工来讲着实重大的事件,就是大厨总决选,据说,为了寻找这个大厨,我们人力资源几乎翻遍京城底朝天。
这周的 TGIF 格外短,开复说完:“大家放心吃,准备的量肯定够,如果需要还可以带便当回家”话音没落,人群里就有人大喊“RUN”;)
最后一轮决选,总共两位大厨师傅参加PK,根据总部要求必须形成30人品尝委员会投票决定最后的行政总厨。
大厨 Andy 和专门从总部赶来的超级和蔼的餐饮主管 John
晚上那位大厨哥哥真是了不起,不仅为30位评委们作了一顿,还为所有的中国员工提供了一顿丰盛晚餐。真恐!别说是周五晚上7:00,就是平时我也没在公司同时见过这么多人。最后,分享几张美味佳肴照和狼吞虎咽照吧
大厨决选著名语录:
1、 大家放心吃,准备的量肯定够,如果需要还可以带便当回家(开复比较文雅的说法)
2、 使劲吃,足够吃,还能把周六日的带回家吃(最后被公司一帮“光棍”演绎成这样)
3、 哈哈!周末不用用睡觉抵御饥饿了
4、 怎么没有红烧排骨、红烧肉
拍下来,回家饿了的时候拿出来看看(与画饼充饥、望梅止渴同理)
清蒸鱼
意式小烤牛肉
菜单的一部分
今天,你穿睡衣了吗?
2006年12月15日
发表者:崔瑾,Google(谷歌)黑板报小组
“为什么不穿睡衣”
“你为什么不穿”
“里面哪”
“我也是 :)”
这样的对话,今天成为谷歌同事之间最经典的见面问候语,哈哈,今天是我们的
睡衣节
(Pajama Day)
!这个活动一般在圣诞节前后,大家都穿着睡衣拖鞋去上学或者上班,据说身着睡衣可以放松大家工作学习时的紧张心情,因此睡衣节也成为了一个象征着温馨可爱的日子。
其实这个节日并没有固定的日期,各个学校和公司可以自己挑一个好日子,大家从老板到员工,从校长到小孩子一律都是睡衣睡裤拖鞋。因为大家的睡衣往往是五颜六色,式样也五花八门,所以到了这一天,整个公司或学校充满了一种轻松休闲的气氛。现附小照几张。
统一着装:注意他们的拖鞋
据说,虽然在今天看来,睡衣节是拉近人与人彼此之间距离的一个很好的途径,但其实最早却是针对儿童的厌学情绪而“发明”的,因为很多小孩不喜欢在寒冷的冬天起床去上幼儿园,特别是在圣诞假期即将来临的时候,孩子们更是不想去上学。因此有人就提出让老师和同学都穿着睡衣和拖鞋来上学,上课,想不到效果非常好,孩子们都感到非常的轻松随意。后来,这种方法也被更多的学校和公司采用。
另外,注意图中有个没穿睡衣的赝品
最后,祝每个人睡衣节轻松愉快!!!
答用户问 (三) -- 关于 Picasa
2006年12月11日
发表者:Google 产品支持小组
使用过
Picasa
的用户一定都和我一样,为其卓越的管理照片的能力拍案叫绝。想想看,曾经繁重的查找照片、PS、以及添加附件用 Email 发送等工作现在只需轻点几下键盘或鼠标就可以完成,我们的数字生活从此更加便捷、快速和高效。自从用上 Picasa 之后,我使用数码相机的次数至少是从前的两倍!
虽然我们已经尽可能将 Picasa 的产品界面做到简单易懂,但是大家在使用过程中难免还是会有一些疑问。遗憾的是,我们目前尚不能为中文用户提供直接的中文电子邮件支持,因此,我们深感有必要在此对一些常见问题进行答复,例如:
“我明明下载了 Picasa 的中文版本,为什么安装完毕后,Picasa 的界面却是英文的呢?”
这个问题可能是自 Picasa 中文版推出后,用户提问最多的一个问题。其实,只要执行以下几个简单的步骤就可以将 Picasa 设定为中文界面了:
1. 打开 Picasa。
2. 点击菜单中的“Tools”,然后选择“Options”。
3. 在“正常”标签下,你能看到一个名为 "Language used in menus and dialogs" 的选项,在其下拉菜单中选择“中文(简体)”。
4. 点击“OK”。
这样操作之后,在你下次打开 Picasa 的时候,你的 Picasa 的菜单以及对话框都将以简体中文显示了。
有的用户可能会发现,在他们使用的版本中,语言选项是灰色的,不能被选中,可能的原因有两个。首先,这些用户可能使用的是 Picasa 的最新英文版本:2.5 版。Picasa 在美国以外的国家和地区目前正式推出的版本是 2.2 版;而在美国,目前最新的版本为 2.5 版。由于该版本只提供英文版,因此其语言选项灰化且不能选择。因此,如果你希望使用中文界面的 Picasa,请从
www.google.cn
下载 2.2 版本 (如果你使用 www.google.com ,你得到的则是 2.5 版本)。如果您使用的是 2.2 版但语言选项仍灰化显示,则可能是您使用了不兼容的操作系统所致。请注意,Picasa 2.2 不完全支持 Windows 98 及 Windows Me,您需要安装 Microsoft Windows 2000/XP 才能使用 Picasa 的语言选项。
“为什么我的朋友的 Picasa 有网上相册 (WebAlbum) 的功能,而我的没有?”
这其实同样是版本不同所引起的。在 2.5 版 Picasa 中,我们提供了网上相册的功能。只要你拥有 Google 帐户,你就可以获得一个与 Google 帐户相关联的网上相册。在此之后,只需简单地操作几下,你就可以在数秒钟之内将在 Picasa 中已经选中的照片发送到网上相册中了。这样,只要将网上相册的 URL 发送给你的亲朋好友,他们就可以轻松地在网上浏览,而不是一张张地打开或者下载了。更妙的是,你的朋友还可以在网上发表对某张照片的评论呢。
当然,目前使用网上相册功能也需要做出一点小小的牺牲,那就是,你将只能使用英文版本的 Picasa。但是请放心,我们正在抓紧时间,尽快推出相应的中文版本。
有关网上相册的详尽介绍,请参考
这里
(目前只有英文)
最后,我要向大家介绍一下 Picasa 的中文帮助中心和帮助论坛:由于目前我们尚不能直接用中文回复用户发送邮件,我们将大部分精力用来打造
我们的中文帮助中心
。在这里,你将可以找到大多数问题的答案。
好了,今天先谈到这里,下回再见!
Picasa
下载链接
黑板报上其他有关 Picasa 的文章:
Picasa - 一个摄影爱好者的选择
数学之美 系列十七 闪光的不一定是金子 谈谈搜索引擎作弊问题(Search Engine Anti-SPAM)
2006年11月28日
Google 研究员 吴军
自从有了搜索引擎,就有了针对搜索引擎网页排名的作弊(SPAM)。以至于用户发现在搜索引擎中排名靠前的网页不一定就是高质量的,用句俗话说,闪光的不一定是金子。
搜索引擎的作弊,虽然方法很多,目的只有一个,就是采用不正当手
段提高自己网页的排名。早期最常见的作弊方法是重复关键词
。比如一个卖数码相机的网站,重复地罗列各种数码相机的品牌,如尼康
、佳能和柯达等等。为了不让读者看到众多讨厌的关键词
,聪明一点的作弊者常用很小的字体和与背景相同的颜色来掩盖这些
关键词。其实,这种做法很容易被搜索引擎发现并纠正。
在有了网页排名
(page rank)以后,作弊者发现一个网页被引用的连接越多,排名就可能越靠前
,于是就有了专门卖链接和买链接的生意。比如,有人自己创建成百
上千个网站,这些网站上没有实质的内容,只有到他们的客户网站的
连接。这种做法比重复关键词要高明得多,但是还是不太难被发现
。因为那些所谓帮别人提高排名的网站,为了维持生意需要大量地卖链
接,所以很容易露马脚。(这就如同造假钞票,当某一种假钞票的流通量相当大以后,就容易找到根源了。)再以后,又有了形形色色的作弊方式
,我们就不在这里一一赘述了。
几年前,我加入Google做的第一件事就是消除网络作弊
。在Google最早发现搜索引擎作弊的是Matt Cutts,他在我加入Google前几个月开始研究这个问题
,后来,辛格,马丁和我先后加入进来。我们经过几个月的努力
,清除了一半的作弊者。(当然,以后抓作弊的效率就不会有这么高了。
)其中一部分网站从此"痛改前非",但是还是有很多网站换一种作弊方法
继续作弊,因此,抓作弊成了一种长期的猫捉老鼠的游戏
。虽然至今还没有一个一劳永逸地解决作弊问题的方法,但是
,Google基本做到了对于任何已知的作弊方法
,在一定时间内发现并清除它,从而总是将作弊的网站的数量控制在一
个很小的比例范围。
抓作弊的方法很像信号处理中的去噪音的办法。学过信息论和有信号
处理经验的读者可能知道这么一个事实,我们如果在发动机很吵的汽
车里用手机打电话,对方可能听不清;但是如果我们知道了汽车发动
机的频率,我们可以加上一个和发动机噪音相反的信号
,很容易地消除发动机的噪音,这样,收话人可以完全听不到汽车的噪音
。事实上,现在一些高端的手机已经有了这种检测和消除噪音的功能
。消除噪音的流程可以概括如下:
在图中,原始的信号混入了噪音,在数学上相当于两个信号做卷积
。噪音消除的过程是一个解卷积的过程。这在信号处理中并不是什么
难题。因为第一,汽车发动机的频率是固定的,第二
,这个频率的噪音重复出现,只要采集几秒钟的信号进行处理就能做
到。从广义上讲,只要噪音不是完全随机的、并且前后有相关性
,就可以检测到并且消除。(事实上,完全随机不相关的高斯白噪音
是很难消除的。)
搜索引擎的作弊者所作的事,就如同在手机信号中加入了噪音
,使得搜索结果的排名完全乱了。但是,这种人为加入的噪音并不难
消除,因为作弊者的方法不可能是随机的(否则就无法提高排名了)
。而且,作弊者也不可能是一天换一种方法,即作弊方法是时间相关
的。因此,搞搜索引擎排名算法的人,可以在搜集一段时间的作弊信
息后,将作弊者抓出来,还原原有的排名。当然这个过程需要时间
,就如同采集汽车发动机噪音需要时间一样,在这段时间内
,作弊者可能会尝到些甜头。因此,有些人看到自己的网站经过所谓
的优化(其实是作弊),排名在短期内靠前了,以为这种所谓的优
化是有效的。但是,不久就会发现排名掉下去了很多。这倒不是搜索引擎
以前宽容,现在严厉了,而是说明抓作弊需要一定的时间
,以前只是还没有检测到这些作弊的网站而已。
还要强调一点
,Google抓作弊和恢复网站原有排名的过程完全是自动的(并没有个人的好恶)
,就如同手机消除噪音是自动的一样。一个网站要想长期排名靠前
,就需要把内容做好,同时要和那些作弊网站划清界限。
Google(谷歌)全球编程挑战赛中国获奖选手(花絮)
2006年11月20日
发表者:吴丹丹,Google 黑板报小组
2006 年 Google(谷歌)全球编程挑战赛刚刚落下帷幕,来自中国的选手王颖夺得本次比赛的第二名,另有 6 名选手进入前 50 名,本次比赛共有 13 名中国选手成功入围前 100 名,据了解,此次中国进入决赛的选手人数仅次于俄罗斯。这里与大家分享一些比赛的小花絮。
“我是中国人!”
“我是中国人!我希望能与中国同胞分享我的喜悦!” 这是来自中国的王颖在获得 2006 Google(谷歌)编程大赛亚军后写给 Google(谷歌)的第一句话。他的自豪溢于言表,这位身高近 1.9 米的年仅 22 岁的小伙子毕业于中山大学,目前正在美国斯坦福大学攻读数学博士学位。
这位说自己不是天才,只在初中跳过一次级的王颖在接受访问时谦虚地说他能获得第二名要归功于好运和不错的临场发挥,但了解了他的经历之后发现他的获奖并不是简单的幸运和临场发挥。王颖可以说是世界顶级编程大赛的常客,多次入围全球著名编程赛事 ACM,Topcoder,微软创新杯等比赛的决赛。在今年的决赛中,王颖凭借自己扎实的数学功底及严谨的逻辑思维,成功地完成了难度值最大的题,并且在最后的 PK 环节胜出。
获得第二名之后,王颖说自己一直就有冠军梦,虽然这次离冠军还有一步之遥,他说他已经很满足了,对自己的冠军梦不会有遗憾了。
“中国造” 的编程神童
除了王颖获奖,来自广东中山的高三学生余江伟也很突出。作为今年决赛中唯一的一名中学生选手,年纪最小的余江伟显得格外的引人注目,在强手林立的决赛中,余江伟最终获得了全球第 96 名的好成绩。
余江伟从小就对编程有浓厚的兴趣,并在这方面展示出了非凡的才能。还在小学就读四年级期间,余江伟就夺得了全国国际象棋冠军,出色的逻辑思维和能力使他在计算机编程方面很早就显示了非凡的才能,在参加 Google(谷歌)的编程大赛之前,他在 7 月份的全国信息学奥林匹克大赛中获得了一等奖。他是无意中在网上获知 Google(谷歌)编程大赛的相关信息,报着试试看的心态报名参加了比赛。在随后的预赛中,余江伟经过三轮‘厮杀’,成功地以预赛第 22名的成绩入围决赛。
在本次比赛中晋级全球百强的 13 名中国选手中,有 11 人来自于高校。4 名来自清华大学的学生全部进入了前 50强,有一位来自复旦大学的学生获得了第十五名的成绩,是仅次于王颖的第二好成绩。
数学之美 系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
2006年11月16日
发表者:Google 研究员,吴军
我们
上次谈到
用最大熵模型可以将各种信息综合在一起。我们留下一个问题没有回答,就是如何构造最大熵模型。我们已经所有的最大熵模型都是指数函数的形式,现在只需要确定指数函数的参数就可以了,这个过程称为模型的训练。
最原始的最大熵模型的训练方法是一种称为通用迭代算法 GIS(generalized iterative scaling) 的迭代 算法。GIS 的原理并不复杂,大致可以概括为以下几个步骤:
1. 假定第零次迭代的初始模型为等概率的均匀分布。
2. 用第 N 次迭代的模型来估算每种信息特征在训练数据中的分布,如果超过了实际的,就把相应的模型参数变小;否则,将它们便大。
3. 重复步骤 2 直到收敛。
GIS 最早是由 Darroch 和 Ratcliff 在七十年代提出的。但是,这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨(Csiszar)解释清楚的,因此,人们在谈到这个算法时,总是同时引用 Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每次迭代的时间都很长,需要迭代很多次才能收敛,而且不太稳定,即使在 64 位计算机上都会出现溢出。因此,在实际应用中很少有人真正使用 GIS。大家只是通过它来了解最大熵模型的算法。
八十年代,很有天才的孪生兄弟的达拉皮垂(Della Pietra)在 IBM 对 GIS 算法进行了两方面的改进,提出了改进迭代算法 IIS(improved iterative scaling)。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此,在当时也只有 IBM 有条件是用最大熵模型。
由于最大熵模型在数学上十分完美,对科学家们有很大的诱惑力,因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似,最大熵模型就变得不完美了,结果可想而知,比打补丁的凑合的方法也好不了多少。于是,不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的,是宾夕法尼亚大学马库斯的另一个高徒原 IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似,而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题,比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性(名词、动词和形容词等)、句子成分(主谓宾)通过最大熵模型结合起来,做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统,至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中,又看到了用最大熵模型解决复杂的文字信息处理的希望。
但是,最大熵模型的计算量仍然是个拦路虎。我在学校时花了很长时间考虑如何简化最大熵模型的计算量。终于有一天,我对我的导师说,我发现一种数学变换,可以将大部分最大熵模型的训练时间在 IIS 的基础上减少两个数量级。我在黑板上推导了一个多小时,他没有找出我的推导中的任何破绽,接着他又回去想了两天,然后告诉我我的算法是对的。从此,我们就建造了一些很大的最大熵模型。这些模型比修修补补的凑合的方法好不少。即使在我找到了快速训练算法以后,为了训练一个包含上下文信息,主题信息和语法信息的文法模型(language model),我并行使用了 20 台当时最快的 SUN 工作站,仍然计算了三个月。由此可见最大熵模型的复杂的一面。最大熵模型快速算法的实现很复杂,到今天为止,世界上能有效实现这些算法的人也不到一百人。有兴趣实现一个最大熵模型的读者可以阅读
我的论文
。
最大熵模型,可以说是集简与繁于一体,形式简单,实现复杂。值得一提的是,在Google的很多产品中,比如机器翻译,都直接或间接地用到了最大熵模型。
讲到这里,读者也许会问,当年最早改进最大熵模型算法的达拉皮垂兄弟这些年难道没有做任何事吗?他们在九十年代初贾里尼克离开 IBM 后,也退出了学术界,而到在金融界大显身手。他们两人和很多 IBM 语音识别的同事一同到了一家当时还不大,但现在是世界上最成功对冲基金(hedge fund)公司----文艺复兴技术公司 (Renaissance Technologies)。我们知道,决定股票涨落的因素可能有几十甚至上百种,而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。达拉皮垂兄弟等科学家在那里,用于最大熵模型和其他一些先进的数学工具对股票预测,获得了巨大的成功。从该基金 1988 年创立至今,它的净回报率高达平均每年 34%。也就是说,如果 1988 年你在该基金投入一块钱,今天你能得到 200 块钱。这个业绩,远远超过股神巴菲特的旗舰公司伯克夏哈撒韦(Berkshire Hathaway)。同期,伯克夏哈撒韦的总回报是 16 倍。
值得一提的是,信息处理的很多数学手段,包括隐含马尔可夫模型、子波变换、贝叶斯网络等等,在华尔街多有直接的应用。由此可见,数学模型的作用。
標籤
编程之夏,UR
创新
创意改善社会 公益温暖中国
促进智能能源利用
大学
谷歌翻译,即时相机翻译,Instant Camera Translation
谷歌十周年系列
谷歌艺术与文化
观妙中国,Shadow Art,智玩皮影
广告
广告安全
互联网,Internet
科技
女性开发者
社会
视频广告
数据中心
数字营销
搜索
网站管理员
文化研究所
艺术计划
音乐搜索
愚人节
增强型广告系列
智能隐形眼镜项目
中小企业
adexchange
Admob
admob sdk
Ads
Adsense
AdWords
android
android m
Android应用开发中国大学生挑战赛
App Inventor
Calendar
cardboard
CES
Chrome
Chrome Web Store
Chrome,Chrome实验
Chrome实验
CI
Code Jam
corporate
Creative
Cross-device
Cultural Institute
culture
Data Center
DevArt
Developer
display
diversity
Doodle
DoubleClick
G+
G2G,Culture
GA&C
gaming
Global Impact Awards
Gmail
Gogle科学挑战赛
Good to Know
Google Ads
Google AdWords
Google Analytics
Google Art Project
Google Arts & Culture
Google Code-in竞赛
Google Demo Day Asia
Google Docs
Google Doodle
Google Drive
Google Drive 云端硬盘
Google Fiber
Google Font
Google for Startups
Google Green
Google I/O
Google Image Search
Google Keep
Google partners
Google Play
Google Science Fair
Google Search
Google Top Contributor Summit
Google Translate
Google Trend
Google Trends
Google Zeitgeist 2012
Google安全系统
Google博士生奖研金
Google翻译
Google奖学金
Google杰出贡献者峰会
Google科学挑战赛
Google网站管理员
Google网站管理员,Webmaster
Google文化研究所
Google在线营销挑战赛
Google中国教育高峰会
IME 输入法
Innovation
Made with Code
maps
mobile ads
mobile ads sdk
Modoo
moonshot
native ads
Nexus
programmatic buying
Project X
Pwn20wn及Pwnium3 黑客大赛
Remarketing. Ads
Search
Security
smb
Solve for X
Street view
student
UR
VR
Web Platform Docs
web security
Webmaster
year in search 2014
YouTube
zeitgeist
博客归档
2026
10月
8月
5月
4月
3月
2月
2025
11月
8月
6月
5月
4月
3月
2024
12月
11月
10月
8月
7月
6月
5月
4月
3月
2月
1月
2023
12月
11月
10月
9月
5月
4月
3月
2月
2022
11月
10月
5月
4月
2月
1月
2021
10月
9月
5月
4月
3月
2月
2020
12月
5月
4月
3月
2019
10月
8月
7月
6月
5月
4月
3月
2018
12月
10月
9月
8月
7月
6月
5月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2011
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2010
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2007
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2006
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
Feed