蜘蛛收录不存在的tag列表页，使用robots如何解决
百度站长平台权威解答：tag列表页一般在同一个目录下，比如目录名叫ABC，那么robots就应该是：User-agent:* Disallow:/ABC/
相关SEO术语解释:
robots：Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
robots.txt：Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也叫机器人排除标准（Robots Exclusion Standard），网站使用的文本文件，用于与网络机器人（最常见的SE机器人）进行通信，以处理网站的每个页面。在这里，您可以将某些页面设置为漫游器的禁区，并仅扫描最有用的内容。
启动页：启动页，网站上介绍页面，通常包含大尺寸图片或视频，少量的内容（比如一个品牌名称）和一个按钮来继续访问主要的内容(“进入网站”)。通常启动页被用作网站的主页，旨在展示和推广品牌。
从SEO角度来讲，启动页并不是一个好的选择，原因如下:
1.高质量的内容是最重要的排名因素之一，启动页面几乎没有这些因素。
2.主页是最常用的反向链接URL，因此有一个内容极少的主页将降低链接的权威性。
3.全屏图像和视频加载速度通常都很慢，并对页面加载速度产生负面影响，导致访客流失。
以上就是速优网络和大家分享的"蜘蛛收录不存在的tag列表页，使用robots如何解决",非常感谢您有耐心的读完这篇文章，我们将为您提供更多参考使用或学习交流的信息。我们还可为您提供：企业网站建设、网站仿制、网站复制、仿站、外贸网站建设、外贸建站、公司官网制作等服务，本公司以“诚信、专业、务实、创新”的服务理念服务于客户。如您需要合作，请扫码咨询，我们将诚挚为您服务。
TAG标签：百度收录
