亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 托克逊县| 福安市| 济阳县| 桦南县| 延寿县| 黄石市| 旺苍县| 墨脱县| 县级市| 应城市| 广元市| 清丰县| 裕民县| 塔河县| 泰来县| 东明县| 泾源县| 白城市| 阿坝| 石屏县| 潢川县| 安岳县| 临湘市| 荆门市| 炎陵县| 东方市| 罗甸县| 河南省| 张掖市| 芒康县| 隆回县| 达拉特旗| 新源县| 泾阳县| 上杭县| 泗阳县| 腾冲县| 威信县| 留坝县| 靖州| 汝州市|