中国的博客，走近我们的产品、技术和文化
Google 中国的博客，走近我们的产品、技术和文化
文件 robots.txt 的新增特性及 REP meta 标签
2007年12月10日
发表者： John Blackburn （站长工具组），Matt Dougherty, 搜索质量组
转载自
谷歌中文网站管理员博客
原文：
New robots.txt feature and REP Meta Tags
发表于： 2007 年 8 月 15 日，星期三，下午 4 时 01 分
我们已经改进了站长中心的分析工具，使之能理解网站地图（sitemap）的声明和相关的 URL。较早的版本并不认识网站地图，且仅仅理解绝对的 URL;其他的任何东西都被报错成“不理解你的语法”。现在改进后的版本会告诉你网站地图的 URL 和范围是否正确。您还可以对相关的 URL 测试并少了许多输入工作。
现在生成的报告也好多了。你可以在一行中知道多个问题的答案（如果有的话）。不像早期版本，一行仅第一个遇到的问题给出答案。同时，我们也在其他用以分析和验证的功能上取得了改进。
假设你负责域名 www.example.com，你希望搜索引擎索引你网站的除/ images 文件夹之外的一切内容。您还想确保你的网站地图被搜索引擎知道，那么你可以使用以下内容作为你的 robots.txt 文件：
disallow images
user-agent: *
Disallow:
sitemap: http://www.example.com/sitemap.xml
你可以访问站长中心，使用 robots.txt 分析工具对你的网站进行测试，用这两个 URL 作测试：
http://www.example.com
/archives
站长工具的较早版本将会报错：
改进版会告诉你关于robots.txt文件的更多信息：
你可以在
http://www.google.com/webmasters/tools
看到以上信息。
我们还希望确保你听说过新的 unavailable_after 元标签，该标签由 Dan Crow 数周前在谷歌
官方博客
中宣布。该标签可增加你的站点和谷歌的 googlebot 间的互动。试想，对 www.example.com，有时你有一个临时性的新闻故事，限时公司促销，或一个宣传页，你可以对特定页面指定确切的日期和时间，来阻止被抓取和索引。
让我们假设你的一个促销活动有效期截至 2007 年年底。在 www.example.com/2007promotion.html 的源码开始，你可以使用以下行:
<META NAME="GOOGLEBOT"
CONTENT="unavailable_after: 31-Dec-2007 23:59:59 EST">
另一个令人振奋的消息是新的 X-Robots-Tag 指令。它增加了
机器人排除协议
（REP）META 标签，该标签为非 HTML 网页提供支持！你终于可以控制对你的录像，电子表格，及其他索引文件类型的索引，就像控制对 HTML 页面的索引一样。还是上面的例子，比方说你的宣传页面是 PDF 格式。在文件 www.example.com/2007 promotion.pdf 中，你可以增加以下行:
X-Robots-Tag: unavailable_after: 31 Dec
2007 23:59:59 EST
请记住，REP META 标签可用于实现针对页面索引控制的 noarchive，nosnippet，及现在的 unavailable_after 标签。这和 robots.txt 不同，robots.txt 是对整个域名进行控制的。我们是应博客们和网站管理员的要求而增加这些特性的，请试用。如果你有其他的建议，也请随时提出。想问一些问题？请在我们的
网络管理员帮助组
里提问。
標籤
编程之夏，UR
创新
创意改善社会 公益温暖中国
促进智能能源利用
大学
谷歌翻译，即时相机翻译，Instant Camera Translation
谷歌十周年系列
谷歌艺术与文化
观妙中国，Shadow Art，智玩皮影
广告
广告安全
互联网，Internet
科技
女性开发者
社会
视频广告
数据中心
数字营销
搜索
网站管理员
文化研究所
艺术计划
音乐搜索
愚人节
增强型广告系列
智能隐形眼镜项目
中小企业
adexchange
Admob
admob sdk
Ads
Adsense
AdWords
android
android m
Android应用开发中国大学生挑战赛
App Inventor
Calendar
cardboard
CES
Chrome
Chrome Web Store
Chrome，Chrome实验
Chrome实验
CI
Code Jam
corporate
Creative
Cross-device
Cultural Institute
culture
Data Center
DevArt
Developer
display
diversity
Doodle
DoubleClick
G+
G2G，Culture
GA&C
gaming
Global Impact Awards
Gmail
Gogle科学挑战赛
Good to Know
Google Ads
Google AdWords
Google Analytics
Google Art Project
Google Arts & Culture
Google Code-in竞赛
Google Demo Day Asia
Google Docs
Google Doodle
Google Drive
Google Drive 云端硬盘
Google Fiber
Google Font
Google for Startups
Google Green
Google I/O
Google Image Search
Google Keep
Google partners
Google Play
Google Science Fair
Google Search
Google Top Contributor Summit
Google Translate
Google Trend
Google Trends
Google Zeitgeist 2012
Google安全系统
Google博士生奖研金
Google翻译
Google奖学金
Google杰出贡献者峰会
Google科学挑战赛
Google网站管理员
Google网站管理员，Webmaster
Google文化研究所
Google在线营销挑战赛
Google中国教育高峰会
IME 输入法
Innovation
Made with Code
maps
mobile ads
mobile ads sdk
Modoo
moonshot
native ads
Nexus
programmatic buying
Project X
Pwn20wn及Pwnium3 黑客大赛
Remarketing. Ads
Search
Security
smb
Solve for X
Street view
student
UR
VR
Web Platform Docs
web security
Webmaster
year in search 2014
YouTube
zeitgeist
博客归档
2024
11月
10月
8月
7月
6月
5月
4月
3月
2月
1月
2023
12月
11月
10月
9月
5月
4月
3月
2月
2022
11月
10月
5月
4月
2月
1月
2021
10月
9月
5月
4月
3月
2月
2020
12月
5月
4月
3月
2019
10月
8月
7月
6月
5月
4月
3月
2018
12月
10月
9月
8月
7月
6月
5月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2011
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2010
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2007
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2006
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
Feed
