亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 安龙县| 宾阳县| 镇雄县| 永清县| 嘉定区| 玉树县| 达孜县| 石狮市| 吴桥县| 米泉市| 郓城县| 望城县| 昭苏县| 黔西| 浠水县| 南涧| 武清区| 芜湖县| 曲沃县| 千阳县| 华容县| 郓城县| 冷水江市| 尚义县| 宁海县| 营山县| 黄石市| 平和县| 泸水县| 金川县| 溆浦县| 贵州省| 绥宁县| 惠东县| 武胜县| 建宁县| 新和县| 庄河市| 安康市| 榆树市| 上虞市|