亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 扬州市| 大连市| 浦东新区| 安龙县| 香港 | 井研县| 新乡县| 八宿县| 沁源县| 重庆市| 富源县| 望都县| 文水县| 当雄县| 三河市| 仁化县| 绥滨县| 玉树县| 南丰县| 通化县| 邳州市| 德清县| 邯郸县| 罗田县| 宁蒗| 兴和县| 石景山区| 左贡县| 高淳县| 巢湖市| 文山县| 清镇市| 平乡县| 泊头市| 庆云县| 瓦房店市| 云龙县| 墨竹工卡县| 安顺市| 泽州县| 吴江市|