洛阳网络公司,洛阳网站建设,洛阳网页设计,洛阳网站设计,洛阳网站优化,洛阳建站,洛阳网站制作,洛阳做网站,洛阳建网站,洛阳百度推广
加入收藏高级搜索手机版
  • [2018-10-19]兰州圣容现代农业科技开发有限公司网站升级成功
  • [2018-05-02]郑州搬家公司就选郑州远大搬家!
  • [2018-04-25]北京月嫂有限公司上线了
  • [2018-04-11]减振器有限公司上线了
  • [2018-04-11]洛阳轩格格力空调售后维修 上线了
  • [2018-04-11]洛阳新程威门窗有限公司上线了
  • [2017-07-26]【团膳品牌】恒美客(北京)餐饮管理有限公司 网站上线!
  • [2015-08-01]国际网络商品线下交易博览会
  • [2015-05-19]河南省巩义市宇泰净水材料有限公司 网站优化
  • [2015-05-11]北京大勺哥半成品净菜
  • ------专业网站设计制作、网站排名优化、建设一流品牌!
    新闻正文 ·您的位置:首页 > 新闻中心 > 技术中心 > 正文

    如何禁止搜索引擎抓取快照或收录页面

    来源:洛阳网络公司  发表时间:2014-02-13  点击次数:

    1、什么是robots.txt文件?

    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

    请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

    2.robots.txt文件放在哪里?

    robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如http://www.lychuangying.com)时,首先会检查该网站中是否存在http://www.lychuangying.com/robots.txt这个文件,如果Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

    3.禁止搜索引擎跟踪网页的链接,而只对网页建索引

    如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的<HEAD>部分:

    <metaname="robots"content="nofollow">

    如果您不想百度追踪某一条特定链接,百度还支持更精确的控制,请将此标记直接写在某条链接上:

    <ahref="signin.php"rel="nofollow">signin</a>

    要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的<HEAD>部分:

    <metaname="Baiduspider"content="nofollow">

    4、.禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引

    要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的<HEAD>部分:

    <metaname="robots"content="noarchive">

    要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:

    <metaname="Baiduspider"content="noarchive">

    注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

    5、.我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?

    如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。

     

    与【如何禁止搜索引擎抓取快照或收录页面】相关文章:

    您的需求

    联系我们

    正确的选择

    洛阳网站优化 洛阳网站推广

    如何禁止搜索引擎抓取快照或收录页面 - 洛阳技术中心专题网站 - 洛阳网络公司