亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 页游| 翼城县| 大洼县| 嘉荫县| 龙里县| 鹿泉市| 临城县| 仪陇县| 民乐县| 察哈| 伊宁市| 锦州市| 蓝田县| 阳城县| 香河县| 酒泉市| 南木林县| 峨眉山市| 措美县| 南安市| 大姚县| 乌拉特前旗| 崇义县| 广州市| 将乐县| 全南县| 通山县| 安宁市| 永仁县| 宁阳县| 进贤县| 平阳县| 海淀区| 车致| 璧山县| 阜平县| 梧州市| 辽源市| 西乡县| 温泉县| 玛多县|