但可以指向 XML 站点地图或 XML 站点地图目录文件。 查看SEOmoz robots.txt 文件。它既有趣又实用。 元机器人标签 Meta robots 标签为搜索引擎机器人创建页面级指令。Meta robots 标签应包含在 HTML 文档的 head 部分。
以下是有关该标签在代码
中应如何显示的信息。 Meta Robots 命 电话号码列表 令 Meta Robots 标签是我最喜欢的选项。使用“noindex”标签，你可以将内容排除在索引之外，但搜索引擎蜘蛛仍然会跟踪链接，并传递链接的喜爱。 优点 与 robots.txt 文件条目等其他选项相比，使用“noindex”可以更好地将页面排除在搜索索引之外。
只要你不使用“nofollow”标签
链接汁就可以通过。哇！ 通过 受众人口统计 指定 NOSNIPPET、NOODP 或 NODIR 来微调您在 SERP 中的条目。（您现在对我越来越着迷了！） 缺点 许多非常聪明的人同时使用“noindex，nofollow”并错过了重要的链接汁流部分。
🙁 示例用途 想象一下
你的登录页面是你网站上链接最多（也是 WhatsApp 电话列表 最强大的）的页面。你当然不希望它被收录到索引中，但你肯定也不想把它添加到 robots.txt 文件中，因为那样会阻碍链接汁的生成。 搜索结果排序页面。 页面的分页版本。 X-ROBOTS-标签 自 2007 年以来，Google 和其他搜索引擎都支持 X-Robots 标签，以便在用于提供文件的 HTTP 标头中告知机器人抓取和索引的偏好设置。