李燦輝全套網站SEO優化技術視頻教程(17)

2015年9月13日10:52:59 發表評論 3,533 views

SEO視頻教程第17節、robots協議文件的書寫

1、robots協議文件的定義

robots協議(也叫做爬蟲協議)是網站與搜索引擎之間的協議文件,它的全稱是“網絡爬蟲排除标準”,主要的作用是告訴搜索引擎我們網站上哪些頁面可以抓取,哪些頁面不能抓取。補充說明一點:就是robots協議指的是協議而不是命令。協議是協商的意思,因此,比如有些動态頁面做了robots協議屏蔽之後,搜索引擎是還有可能會抓取到的。

2、robots協議文件的書寫

User-Agent: * , Disallow: /?= , Disallow: /a/ , Disallow: /a

3、robots協議文件注意事項

“/”前面一定要有空格,因為如果沒有空格的話是屏蔽所有搜索引擎蜘蛛的意思,最後導緻所有搜索引擎蜘蛛都不來爬取你的網站。補充說明一點:就是如果寫錯了修改過來的話,還得要等待1-2個月左右的時間搜索引擎才能重新訪問爬取你的網站。

  • 我的微信
  • 這是我的微信掃一掃
  • weinxin
  • 我的微信公衆号
  • 我的微信公衆号掃一掃
  • weinxin

發表評論

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: