亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 徐汇区| 嘉峪关市| 天津市| 磐石市| 彰化市| 慈溪市| 南澳县| 宁津县| 长兴县| 泾阳县| 永新县| 上犹县| 工布江达县| 岳阳县| 龙口市| 丽江市| 云南省| 泰州市| 瑞金市| 奎屯市| 封丘县| 和政县| 满洲里市| 和顺县| 军事| 稻城县| 荆州市| 巴彦淖尔市| 胶南市| 鹰潭市| 会东县| 讷河市| 新竹市| 文化| 东兰县| 平昌县| 东乡县| 太谷县| 杂多县| 湖州市| 桐梓县|