模拟蜘蛛抓取网页
模拟蜘蛛访问网页
168 使用
请输入完整的网址，包含 http:// 或 https:// 前缀
提示：本工具将模拟蜘蛛抓取行为，会实际访问目标网站但不会存储任何数据。
使用教程
1
输入网址
在输入框中输入要抓取的完整网址，包含 http:// 或 https:// 前缀
2
选择蜘蛛类型
选择要模拟的搜索引擎蜘蛛，或自定义User-Agent
3
查看抓取结果
查看蜘蛛抓取到的网页源代码、HTTP头信息和SEO分析结果
工具介绍
- 此工具可以模拟搜索引擎蜘蛛抓取您的网页
- 通过此工具，可以检测出您的网页蜘蛛抓取是否正常，内容有无被挂马或劫持的问题。是您网站优化收录的好帮手
工具信息
常见蜘蛛UA
Googlebot
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Bingbot
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Baiduspider
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
