robots.txt写法详解：从入门到进阶的完整配置指南

📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4ba9c62f4ec7.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道桥梁，正确的 robots.txt 写法能帮助搜索引擎高效抓取重要页面，同时避免浪费抓取预算。本文将系统讲解 robots.txt 的写法规则与常见配置场景。

一、robots.txt 基础语法

robots.txt 是一个纯文本文件，必须放置在网站根目录下，文件名全部小写。其基本写法由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。

• User-agent：指定规则适用的爬虫名称，如 Baiduspider、Googlebot，使用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，常用于覆盖 Disallow 规则。
• Sitemap：声明网站地图地址，建议放在文件末尾。

二、常见写法示例

1. 禁止所有爬虫抓取全站

写法为 User-agent: * 换行 Disallow: /，适用于网站测试阶段或临时下线。

2. 仅允许百度抓取

先写 User-agent: Baiduspider 加 Allow: /，再写 User-agent: * 加 Disallow: /，实现精准控制。

3. 屏蔽后台与动态参数

常见写法包括 Disallow: /admin/、Disallow: /*?*，避免爬虫陷入无效页面。注意通配符 * 和结束符 $ 的使用需遵循各搜索引擎支持规范。

三、写法注意事项

1. 每条规则独立成行，冒号后建议加一个空格。
2. 规则区分大小写，路径匹配以根目录为起点。
3. 不要使用 Disallow 屏蔽 CSS、JS 等渲染资源，以免影响页面质量评估。
4. 修改后可通过搜索引擎官方工具验证语法是否正确。

掌握 robots.txt 写法并不复杂，关键在于结合网站结构合理规划 Allow 与 Disallow 规则，并定期检查文件有效性，让爬虫抓取更高效、更精准。