亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 阳谷县| 湖州市| 上林县| 交城县| 宽城| 和林格尔县| 贞丰县| 上饶市| 张家川| 九台市| 娄底市| 沙坪坝区| 麟游县| 宁明县| 建湖县| 新绛县| 建阳市| 大竹县| 拉孜县| 广宗县| 夏津县| 淮阳县| 西盟| 乐亭县| 淮滨县| 班玛县| 宜阳县| 宁武县| 麟游县| 新干县| 韶关市| 安庆市| 驻马店市| 三亚市| 开化县| 黄陵县| 喀喇| 门头沟区| 海门市| 乡宁县| 北票市|