1、简直许多站都避免不了存在死连接，但死链率过高，会影响搜索引擎对网站的评分。
　　2、搜索引擎对每个网站天天抓取的频次是限额的，若网站存在许多死链，会糟蹋掉抓取配额并影响正常页面的抓取。
　　3、过多死链对网站用户来讲也是体会欠好的体现。
　　baidu站长东西中有一个抓取反常，那么这个东西里边的反常数据是怎么发生的呢?
　　1、网站内部添加了过错的内部连接
　　修改失误或许程序员粗心让页面发生了不存在页面的URL。
　　2、本来正常页面因为程序或页面调整或改版无法翻开
　　因为程序的一个改动，致使了某些正常页面无法翻开。
　　3、网站时间短无法访问
　　因为服务器、空间或程序疑问致使网站无法访问，抓取反常中会呈现许多的500过错页面。
　　4、外部连接过错
　　用户或许站长在站外发布了过错URL，蜘蛛爬取后发生过错页面;别的网站仿制或采集了你们富含过错连接的页面;有些垃圾网站主动生成的静态搜索成果页， 这个页面中呈现的许多连接在html前面有“...”。
　　5、爬虫获取了不完整的URL
　　单个爬虫在获取页面URL的时分，只获取有些URL或许把正常的URL后边的文字或字符也获取进去了。
　　6、网站改版或管理员删去页面
　　网站改版过程中处理不妥致使有些老页面无法访问，或许网站管理员删去被黑、广告、过时、被灌水页面。
　　呈现了上述情况，咱们该怎么去处理
　　1、批改过错页面 抓取反常中的许多过错页面是因为程序员粗心或许咱们程序疑问致使的，本应当是正常页面，因为失误致使无法访问，关于此类页面，第一时间进行批改。
　　2、提交死连接 但必定许多过错页面是本不应当存在的，那么咱们要想方法获取此类页面URL，获取方法主要有三种：
　　（1） baidu站长东西--抓取反常--找不到的页面--仿制数据 [批改：此处死链不需咱们提交了，baidu站长东西主动提交死链];
　　（2） 管理员在删去页面的时分手动或许程序主动保存被删页面URL;
　　（3） 运用有关爬虫软件，爬取整站获取死链，如Xenu 。
　　然后将上述数据合并并删去重复项(excel表格中能完成删重，wps表格更简单操作)，然后再仿制所有URL经过HTTP状况批量查询东西查询下[这个不错www.zihankeji.com/xxx]，剔除掉非404回来码页面。
　　然后收拾上面处理好的数据粘贴到网站根目录中的一个文档中，再把文档地址提交到 baidu站长东西--页面抓取--死链提交--添加新数据--填写死链文件地址。
　　3、在robots中屏蔽抓取
　　若许多的过错URL存在一定的规矩，能够在robots文件中写一个规矩制止蜘蛛程序抓取此类连接，但条件一定要照料好正常页面，避免屏蔽规矩误伤正常页面，比方你的网站全部是静态URL，那么假如过错连接中富含?的话，规矩写成Disallow:/*?*，假如过错连接中有/id...html 的话，规矩写成Disallow:/*...* 。
　　robots文件添加完规矩后，一定要去baidu站长的 robots东西 进行校验，将指定的过错页面放进去，看看是不是封禁成功，再把正常的页面放进去看看是不是被误封。
　　有关注意事项：
　　1、在baidu站长东西中提交死链前，一定要保证提交的死链数据不存在活连接，或许存在HTTP状况码非404页面。一旦存在活链，会显现提交失利致使无法删去。
　　2、因为许多网站程序疑问，许多打不开的页面回来码并非404，这是一个大疑问，比方分明是打不开的页面回来码是301、200、500，假如是200的话，会致使网站中呈现不一样URL获取一样内容。比方我的一个站，社区的帖子删去后，回来码却是500，后期发现了，立马进行了处理。我们尽量找出所有过错URL格局，.并设置翻开后HTTP状况码为404。
　　3、把所有的过错页面找到后，一定要寻觅此类页面URL一样特征，而且和正常页面的特征有区别，写对应规矩到robots文件中，制止蜘蛛抓取，就算你现已在站长东西中提交了死链，也主张robots封禁抓取。
       4、robots只能处理蜘蛛不再抓取此类页面，但处理不了现已抓取页面的快照的删去疑问，若你的网站被黑，删去了被黑页面，除了robots封禁被黑页面外，还应当将这些页面提交死链。提交死链是删去被黑页面快照的最快方法。