全国服务热线:4008-888-888

行业新闻

seo优化实例教程:robots.txt

seo优化实例教程:robots.txt文中 发布 入录:.com

最先,我来详细介绍一下什么叫robots.txt:robots.txt是检索模块中浏览网站的情况下要查 看的第一个文档。Robots.txt文档告知搜索引擎蜘蛛程序在网络服务器上甚么文档是能够被抓看的。当一个检索搜索引擎蜘蛛浏览一个站点时,它会最先查验该站点网站根目录下是 否存有robots.txt,假如存有,检索设备人便会依照该文档中的內容来明确浏览的范畴;假如该文档不会有,全部的检索搜索引擎蜘蛛将可以浏览网站在全部沒有 被动态口令维护的网页页面。最终,robots.txt务必置放在一个站点的网站根目录下。

大伙儿能够参照一下Google、百度搜索和腾迅的robots书写:

robots.txt

robots.txt

robots.txt

大伙儿掌握完robots.txt后,那麼大家能够用robots.txt来干什么?

1、用robots.txt屏蔽掉类似度提高的网页页面或没內容的网页页面。

大家了解,检索模块百度收录网页页面后,会对网页页面开展“审批”,而当2个网页页面的类似度很高时,那麼检索模块便会删掉掉在其中一个,而且会减少一点你网站的评分。

假定下列这2个连接,內容实际上类似,那麼第一个连接就应当屏蔽掉掉。

/XXX?123

<

像第一个的连接那样的连接十分多,那麼大家要如何屏蔽掉呢?实际上要是屏蔽掉/XXX?便可以屏蔽掉全部的连接了。

编码以下:

Disallow: /XXX?

同样,一些沒有內容的网页页面大家还可以运用同样的方法将其屏蔽掉掉。

2、用robots.txt屏蔽掉过剩的连接,一般保存静态数据的连接(既HTML、htm、shtml等)。

因为网站内常常会出現好几个连接偏向同一个网页页面的状况,而那样会让检索模块对网站的友善度减少。以便防止这一个状况,大家便可以根据robots.txt把 非关键的连接除掉。

例如下列2个连接偏向一样的网页页面:

/OOO?123

<

那麼大家就应当除掉第一个废弃物,编码以下:

Disallow: /OOO?123

3、用robots.txt屏蔽掉死链接

死链接便是以前存有的网页页面,由于重做或别的缘故而丧失功效后就变为死链接,换句话说看起来一个一切正常的网页页面连接,但点一下后不可以开启相对性应的网页页面网页页面。

例如,原先在文件目录为/seo下的全部连接,由于文件目录详细地址的更改,如今都变为死链接接了,那麼大家能够用robots.txt把他屏蔽掉掉,编码以下:

Disallow: /seo/

4、告知检索模块你的sitemap.xml详细地址

运用robots.txt能够告知检索模块你sitemap.xml文档的详细地址,而不用在网站在加上sitemap.xml的连接。实际编码以下:

Sitemap: 你的sitemap详细地址

之上便是robots.txt的基本使用方法,一个比较好的网站必然会出现一个好的robots.txt,由于robots.txt是检索模块掌握你网站的一 个方式。此外在这里里推存一下一个较为合适wordpress客户应用的robots.txt书写:

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /comments/feed

Disallow: /trackback/

Sitemap: sitemap.xml

最终,假如你感觉上边常说的还不可以考虑你的必须,那麼你可以以在Google或百度搜索官方网出示的robots.txt应用手册学习培训:

百度搜索:

Google:support/forum/p/webmasters/thread?tid=4dbbe5f3cd2f6a13 hl=zh-CN


联络0 
网站标识:福州市企业网站建设 福州市互联网企业 福州市微信小程序开发设计 福州市网站SEO提升 福州市APP开发设计


在线客服

关闭

客户服务热线
4008-888-888


点击这里给我发消息 在线客服

点击这里给我发消息 在线客服