月份: 2021 年 12 月

1 篇文章

什么是Robots?怎么写robots.txt?Robots的误区有什么呢?
大家在各大搜索引擎上搜索到的内容,都是被这些搜索引擎派出的爬虫获取到,经过特定的算法,筛选、过滤才展现出来的。这些爬虫来到对应的网站后,第一件事就是检查该站点的根目录下,是否创建了一个名为robots.txt的文件。如果有,就会按照该站点下robots.txt中的规定进行爬取,如果没有,则会按照默认规则抓取网页。那么,屏幕前的你知道什么是Robot...