亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

Robots

Robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說Robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在Robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
主站蜘蛛池模板: 翁牛特旗| 晋城| 南江县| 胶州市| 梨树县| 孟津县| 伽师县| 拜泉县| 望谟县| 上林县| 邯郸县| 新乐市| 凤山市| 乌鲁木齐市| 武穴市| 冕宁县| 龙南县| 永康市| 潞西市| 什邡市| 固阳县| 南充市| 康定县| 灵寿县| 孝昌县| 长宁区| 县级市| 永清县| 论坛| 诸暨市| 惠州市| 通许县| 宝应县| 抚顺市| 长顺县| 东海县| 钦州市| 白山市| 齐齐哈尔市| 伊通| 寿宁县|