中国的博客，走近我们的产品、技术和文化
Google 中国的博客，走近我们的产品、技术和文化
控制搜索引擎访问和索引你的网站
2007年9月11日
发表者 Dan Crow, 产品经理
转载自
谷歌中文网站管理员博客
原文：
Controlling how search engines access and index your website
发表于: 2007 年 1 月 26 日 上午 11:36:00
我经常被问到 Google（谷歌）和搜索引擎是怎样运转的。一个核心问题是：谷歌是怎样知道一个网站的哪些部分是网站所有者想让它们显示在搜索结果中？网站内容发布者能够指定部分网站不被搜索吗？好消息是，网站内容发布者可以使用很多方法控制你们的网页在搜索结果中的显示。
文件 robots.txt 是这里的主角，该文件已经成为业界标准好多年了。它让一个网站所有者控制搜索引擎访问他们的网站。你可以用 robots.txt 不同层次地控制访问，比如让搜索引擎只访问整个网站，单个目录，特定类型的网页，或者某一网页。有效地使用 robots.txt 能让你更好地控制对你的网站 的搜索，但是如何达到这一目标不是很显而易见的。这是我们关于如何使用 robots.txt 来控制对你的网站的存取的一系列帖子的第一篇。
文件 robots.txt 有什么用？
互联网真的很大。你只是不相信它是怎样地无穷无尽地大。你也许认为维护网站耗费好多精力，但是那只是“网海一粟”。 （对 Douglas Adams 致以诚挚的道歉）
象谷歌这样的搜索引擎会读取所有信息并对这些信息索引，索引是为了让一个搜索引擎对一些用户查询显示与之相匹配的网页。
为了做到这一点谷歌的一些电脑不断抓取网站，他们有一个谷歌所知道的所有网站的名单，他们阅读每个网站的所有网页。所有这些机器被称为谣 Googlebot。一般来说，你是愿意让 Googlebot 访问你的网站，这样你的网页才可以被人们在谷歌搜到。
然而，对你的网站上的某几页，你可能不想让谷歌索引。举例来说，你可能有一个目录包含内部日志，或者你可能有些新闻文章只能在支付费用后才能访问。你可以通过创建一个文本文件名为 robots.txt 的文件并把它放置在根目录下来告诉谷歌爬虫不要去抓取他们。文件 robots.txt 包含了一个搜索引擎不能访问的页面的清单。创建一个 robots.txt 是直截了当的，它允许你用一套精密分层控制搜索引擎对你网站的访问。
精细控制
除了 robots.txt 文件让您为你的一大堆文件简洁明了给出指令外，你也可以利用 robots META 标签来精确控制对你的单个网页的访问。为了做到这一点，你只需要对你的 HTML 网页添加特定的 META 标签来控制怎样对单个网页索引。归而总之，robots.txt 和 META 标签让你更灵活地表达复杂的访问规定变得比较容易。
一个简单的例子
这里是一个简单的例子，它是一个 robots.txt 文件。
User-Agent: Googlebot
Disallow: /logs/
User -Agent 行指明下面部分的一套指令只是为 Googlebot。所有主要搜索引擎都阅读并听从你放在 robots.txt 的指令。只要你愿意，你可以为不同的搜索引擎指定不同的规则。Disallow 行告诉 Googlebot 不能进入你网站的档案日志子目录。你放在日志目录中的内容将不会显示在谷歌搜索 结果中。
禁止访问单个文件
如果你有一篇只有注册用户才能访问的文章，你一定想让它排除在谷歌的结果之外。为了做到这一点，你只需要在该文章对应的 HTML 文件中添加一个 META 标签。该文件的代码的最开始有点像：
<html>
<head>
<meta name="googlebot" content="noindex">
...
这段代码会阻止谷歌索引此文件。标签 META 特别有用，如果你只被允许编辑单个文件，而不是全站的 robots.txt。他们还允许你逐页地指定复杂的访问控制规定。
了解更多
你可以在
http://www.robotstxt.org/
和
谷歌的站长帮助中心
找到更多有关 robots.txt 的更多有用信息，包括：
如何构造一个 robots.txt 文件
对谷歌使用的每个 User-agent 的描述
如何使用模式匹配
要多久我们才重新抓取您的 robots.txt 文件？
我们也在我们的
站长博客
里写了一些关于 robots.txt 的帖子，也许对你有用。例如：
使用 robots.txt 文件
Googlebot 汇总
这里还有一个主要搜索引擎使用的机器人的有用清单：
http://www.robotstxt.org/wc/active/html/index.html
下次……
即将推出：关于详述 robots 和 metatags 使用的帖子，和关于一些对常见情况的具体例子。
標籤
编程之夏，UR
创新
创意改善社会 公益温暖中国
促进智能能源利用
大学
谷歌翻译，即时相机翻译，Instant Camera Translation
谷歌十周年系列
谷歌艺术与文化
观妙中国，Shadow Art，智玩皮影
广告
广告安全
互联网，Internet
科技
女性开发者
社会
视频广告
数据中心
数字营销
搜索
网站管理员
文化研究所
艺术计划
音乐搜索
愚人节
增强型广告系列
智能隐形眼镜项目
中小企业
adexchange
Admob
admob sdk
Ads
Adsense
AdWords
android
android m
Android应用开发中国大学生挑战赛
App Inventor
Calendar
cardboard
CES
Chrome
Chrome Web Store
Chrome，Chrome实验
Chrome实验
CI
Code Jam
corporate
Creative
Cross-device
Cultural Institute
culture
Data Center
DevArt
Developer
display
diversity
Doodle
DoubleClick
G+
G2G，Culture
GA&C
gaming
Global Impact Awards
Gmail
Gogle科学挑战赛
Good to Know
Google Ads
Google AdWords
Google Analytics
Google Art Project
Google Arts & Culture
Google Code-in竞赛
Google Demo Day Asia
Google Docs
Google Doodle
Google Drive
Google Drive 云端硬盘
Google Fiber
Google Font
Google for Startups
Google Green
Google I/O
Google Image Search
Google Keep
Google partners
Google Play
Google Science Fair
Google Search
Google Top Contributor Summit
Google Translate
Google Trend
Google Trends
Google Zeitgeist 2012
Google安全系统
Google博士生奖研金
Google翻译
Google奖学金
Google杰出贡献者峰会
Google科学挑战赛
Google网站管理员
Google网站管理员，Webmaster
Google文化研究所
Google在线营销挑战赛
Google中国教育高峰会
IME 输入法
Innovation
Made with Code
maps
mobile ads
mobile ads sdk
Modoo
moonshot
native ads
Nexus
programmatic buying
Project X
Pwn20wn及Pwnium3 黑客大赛
Remarketing. Ads
Search
Security
smb
Solve for X
Street view
student
UR
VR
Web Platform Docs
web security
Webmaster
year in search 2014
YouTube
zeitgeist
博客归档
2024
11月
10月
8月
7月
6月
5月
4月
3月
2月
1月
2023
12月
11月
10月
9月
5月
4月
3月
2月
2022
11月
10月
5月
4月
2月
1月
2021
10月
9月
5月
4月
3月
2月
2020
12月
5月
4月
3月
2019
10月
8月
7月
6月
5月
4月
3月
2018
12月
10月
9月
8月
7月
6月
5月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2011
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2010
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2007
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2006
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
Feed
