亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 长白| 沙河市| 紫阳县| 沅陵县| 延吉市| 科技| 兴安县| 古浪县| 昭平县| 上栗县| 偏关县| 澜沧| 康平县| 昆明市| 金秀| 嘉善县| 故城县| 科技| 大同县| 阳信县| 德安县| 玉林市| 什邡市| 镇原县| 康保县| 台北市| 正定县| 临城县| 涟源市| 河东区| 巩留县| 大方县| 镇平县| 拜泉县| 长垣县| 赣州市| 柳林县| 绵竹市| 绍兴县| 井冈山市| 松桃|