WordPress网站如何利用robots.txt文件进行SEO优化?

  Robots是网站与蜘蛛通信的重要渠道。该站点通过Robots文件声明网站不希望被搜索引擎收录,或者指定搜索引擎只收录特定的部分。WordPress网站如何利用robots.txt文件进行SEO优化?

  当搜索引擎机器人访问该网站时,它将首先在站点的根目录中查找robots.txt文件。如果有此文件,它将根据该文件的内容来确定该文件的范围,如果没有,则默认访问并包括所有页面。

  了解Robots协议的作用,以下是WordPress网站如何编写robots.txt文件的具体说明:

  默认情况下,WordPress站点是在浏览器中输入的:http://您的域名/robots.txt,显示如下内容:

  User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

  这是WordPress自动生成的,这意味着搜索引擎被告知不要抓取后台进程文件。

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-content/

  Disallow: /wp-includes/

  Disallow: /*/comment-page-*

  Disallow: /*?replytocom=*

  Disallow: /category/*/page/

  Disallow: /tag/*/page/

  Disallow: /*/trackback

  Disallow: /feed

  Disallow: /*/feed

  Disallow: /comments/feed

  Disallow: /?s=*

  Disallow: /*/?s=*

  Disallow: /*?*

  Disallow: /attachment/

  用法:创建一个名为robots.txt文本文件,将上面的内容放入其中,并将其上传到站点的根目录,或者单击下面的命令下载机器人文件并将其上传到站点的根目录。

  以下是对每个项目的作用的单独解释:

  1.Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

  用于告诉搜索引擎不要爬行守护进程文件页。

  2.Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

  搜索引擎被禁止爬行相关链接,如评论分页。

  3.Disallow: /category/*/page/和Disallow: /tag/*/page/

  搜索引擎禁止爬行包含类别和标签的网页。

  4.Disallow: /*/trackback

  禁止搜索引擎抓取类似trackback之类的垃圾信息

  5.Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

  禁止搜索引擎爬行以包含提要链接。提要仅用于订阅此站点,而不考虑搜索引擎。

  6.Disallow: /?s=*和Disallow: /*/?s=*

  禁止搜索引擎在车站爬行搜索结果

  7.Disallow: /*?*

  不要搜索和爬行动态页面

  8.Disallow: /attachment/

  禁止搜索引擎爬行附件页,如无意义的图片附件页。

  上面只是一些基本的写作,当然还有很多,我们可以根据自己的需要修改,修改并上传到站点的根目录,我们也可以使用百度搜索资源平台Robots工具来创建、验证、更新robots.txt文件,或者查看站点robots.txt文件在百度中的有效性。