网站快速排名
SEO整站优化

[seo经验]怎样做能屏蔽蜘蛛抓取

屏蔽蜘蛛抓取

在优化一个网站的时候也是需要运用到屏蔽百度蜘蛛的协议,因为你并不想把所有的东西都给蜘蛛看到,给蜘蛛抓取到,就是禁止蜘蛛去抓取你网站的某个位置,那么是怎样屏蔽,怎么运用的呢?下面就来看看具体的操作。

日常优化中,我们seo巴不得蜘蛛快点来抓取我们的网站,希望我们的网页能被包含在它的搜索引擎中。如果被抓取才会有收录,有了收录就有可能有排名,那么当用户搜索时,它会给我们带来一定量的搜索引擎优化流量。当然,我们不想让搜索引擎抓取所有东西。因此,此时我们只希望能够抓取搜索引擎搜索到的内容。那么怎么做才能屏蔽蜘蛛的抓取呢?

robots协议是放在网站根目录下的协议文件,可以通过网址(http://www.idoyourjob.com /robots . txt )访问,当百度蜘蛛抓取我们的网站时,它访问的这个文件就会告诉它哪些可以抓取,哪些不能抓取。

robots协议文件一般我们都是通过User-Agent、Disallow、Allow这三个参数进行设置。我自己的是这样写的,根据你想被它抓取哪个地方,不想被抓取哪个地方 。 User-agent: * ( ‘ * ’是匹配多个以上的的任意字符 User-Agent: 对不同搜索引擎的声明 )
Disallow: /wp-admin/ ( 即禁止抓取的地址 )。
Allow: /wp-admin/admin-ajax.php( 即允许抓取的地址 )希望今分享的能够帮到你,今天就到这里先啦,还想看更多的话,网站还有很多相关内容。


赞(1)
未经允许不得转载:ido SEO » [seo经验]怎样做能屏蔽蜘蛛抓取

SEO快速排名_百度关键词优化_网站建设整站优化技巧

QQ咨询电话咨询