优秀的设备爬行我的网站,也帮助我找到死链接和未链接的文件
我有一个相当大的遗产网站,其中有数百个PDF偶尔会在数据源中组成,但通常只是网页上的网页链接,并且还保存在网站上的每个目录网站的大部分内容中。
我创建了一个php蜘蛛来遵守我网站上的所有网页链接,然后我将其与目录网站框架的转储进行对比,但是存在一些不那么复杂的东西?
0
MrChrister 2019-05-07 09:48:13
资源
分享
答案: 5
如果您正在使用Windows 7,最有效的设备是IIS7的SEO Toolkit 1.0。 它是免费的,你也可以完全免费下载。
该设备肯定会检查任何类型的网站,并告知您每个死链接的位置,网页需要多长时间加载,哪些网页错过了标题,复制标题,搜索短语也是如此,以及摘要,以及哪些网页实际上已经损坏了HTML。
0
Ben Hoffman 2019-05-09 04:09:45
资源
分享
我是check.ll
的文档,并且还执行:
linklint @check.ll
这是我的check.ll文件类似的东西
# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10
这会对www.example.com
进行爬行,并且还会创建具有交叉引用记录的HTML文档,因此会损坏,丢失等等
0
artlung 2019-05-09 04:08:27
资源
分享
相关问题