1、鎖定某個主題抓取; 2、能夠產(chǎn)生日志文本文件,格式為:時間戳(timestamp)、URL; 3、抓取某一URL時最多允許建立2個連接(注意:本地作網(wǎng)頁解析的線程數(shù)則不限) 4、遵守文明蜘蛛規(guī)則:必須分析robots.txt文件和meta tag有無限制;一個線程抓完一個網(wǎng)頁后要sleep 2秒鐘; 5、能對HTML網(wǎng)頁進行解析,提取出鏈接URL,能判別提取的URL是否已處理過,不重復(fù)解析已crawl過的網(wǎng)頁; 6、能夠?qū)pider/crawler程序的一些基本參數(shù)進行設(shè)置,包括:抓取深度(depth)、種子URL等; 7、使用User-agent向服務(wù)器表明自己的身份; 8、產(chǎn)生抓取統(tǒng)計信息:包括抓取速度、抓取完成所需時間、抓取網(wǎng)頁總數(shù);重要變量和所有類、方法加注釋; 9、請遵守編程規(guī)范,如類、方法、文件等的命名規(guī)范, 10、可選:GUI圖形用戶界面、web界面,通過界面管理spider/crawler,包括啟停、URL增刪等
標簽: 日志
上傳時間: 2013-12-22
上傳用戶:wang5829
這是一本面向中高級編程人員的自學指導書其重點放在JSP 和其他技術(shù)的綜合使用方面全書可分為四大部分第一部分是JSP 技術(shù)與J2EE 技術(shù)第一章至第四章著重介紹J2EE 技術(shù)的代表EJB技術(shù)的基本原理與開發(fā)EJB 組件的方法第二部分是JSP 技術(shù)和XML 技術(shù)第五章至第八章主要介紹了XML 技術(shù)與JSP 技術(shù)聯(lián)合的方式之一Tag Library 第二部分后面的兩章是針對市場上最流行的兩個Tag Library 的詳細介紹讀者可以把它當作參考手冊來使用本作品的第三部分是JDBC 新技術(shù)及其在JSP/Servlet 程序中的應(yīng)用第九章和第十章主要介紹最新的JDBC 技術(shù)如JDBC 2.0/JDBC 3.0的新特性以及鮮為人知而又十分重要的JDBC Optional Pack 本作品的第四部分是JSP 網(wǎng)絡(luò)程序設(shè)計著重介紹如何使用sun.net 包JavaMail API 開發(fā)訪問各種網(wǎng)絡(luò)服務(wù)的JSP 程序本作品四個部分之間互為 關(guān)聯(lián)又相對獨立讀者可以選擇閱讀某一個部分或者是通讀全文。 本版作品是由經(jīng)驗豐富的使用JSP 組建網(wǎng)站的程序員編著內(nèi)文附有豐富的實例源碼供讀者學習參全書具有語言簡明扼要內(nèi)容豐富范例典型理論與實踐相結(jié)合的特點不但是從事用JSP 進行網(wǎng)站開發(fā)和設(shè)計的初中級讀者的自學指導書同時也可作為社會網(wǎng)頁設(shè)計或編程培訓班的教材。
上傳時間: 2013-12-18
上傳用戶:cuibaigao
SVMhmm: Learns a hidden Markov model from examples. Training examples (e.g. for part-of-speech tagging) specify the sequence of words along with the correct assignment of tags (i.e. states). The goal is to predict the tag sequences for new sentences.
標簽: examples e.g. part-of-speech Training
上傳時間: 2015-12-05
上傳用戶:gyq
雜湊法(Hashing)的搜尋與一般的搜尋法(searching)是不一樣的。在雜湊法中,鍵值(key value)或識別字(identifier)在記憶體的位址是經(jīng)由函數(shù)(function)轉(zhuǎn)換而得的。此種函數(shù),一般稱之為雜湊函數(shù)(Hashing function)或鍵值對應(yīng)位址轉(zhuǎn)換(key to address transformation)。對於有限的儲存空間,能夠有效使用且在加入或刪除時也能快的完成,利用雜湊法是最適當不過了。因為雜湊表搜尋在沒有碰撞(collision)及溢位(overflow)的情況下,只要一次就可擷取到。
上傳時間: 2016-01-14
上傳用戶:dancnc
2D Collsion Detection in Real-time Demonstration This is the sample application that accompanies Game Developer magazine. It is meant as a demonstration of a method for 2D collision detection.
標簽: Demonstration application accompanies Detection
上傳時間: 2016-01-17
上傳用戶:sardinescn
該程序詳細的介紹了MapXtreme J的環(huán)境設(shè)置和基本操作。感覺不錯,拿來與大家分享。 很好的一個瘦客戶端應(yīng)用的程序,后臺Servlet實現(xiàn),前段用img tag包含放大,縮小,漫游,全圖,鷹眼圖,圖層控制,地圖狀態(tài)等基本功能。但是因為渲染成流的方式,前段解析,第一次啟動Tomcat然后打開應(yīng)用好像時間比較長,第二個打開的時候就快得多了。用生成臨時圖片的方式,應(yīng)該更快一點。
標簽: MapXtreme 程序 環(huán)境 基本操作
上傳時間: 2016-01-20
上傳用戶:wl9454
n皇后問題求解(8<=n<=1000) a) 皇后個數(shù)的設(shè)定 在指定文本框內(nèi)輸入皇后個數(shù)即可,注意: 皇后個數(shù)在8和1000 之間(包括8和1000) b) 求解 點擊<Solve>按鈕即可進行求解. c) 求解過程顯示 在標有Total Collision的靜態(tài)文本框中將輸出當前棋盤上的皇后總沖突數(shù). 當沖突數(shù)降到0時,求解完畢. d) 求解結(jié)果顯示 程序可以圖形化顯示8<=n<=50的皇后求解結(jié)果. e) 退出程序,點擊<Exit>即可退出程序.
上傳時間: 2016-01-28
上傳用戶:ztj182002
更新mp3,aac,wma的tag信息的源碼
上傳時間: 2014-11-18
上傳用戶:zhaoq123
JavaServer Pages™ Specification This document is intended for: · Web Server and Application Server vendors that want to provide JSP containers that conform to the Tag Extensions specification. · Web Authoring Tool vendors that want to generate JSP pages that conform to the Tag Extensions specification. · Service providers that want to deliver functionality as tag libraries. · Sophisticated JSP page authors that want to define new tag libraries for their use, or who are responsible for creating tag libraries for the use of a group. · Eager JSP page authors who do not want to or cannot wait for Web Authoring Tools, or even a User’s Guide. This document is not a User’s Guide, but it contains some positioning and explanatory material.
標簽: Specification Application JavaServer document
上傳時間: 2014-01-03
上傳用戶:qilin
175dswitch的驅(qū)動源代碼,包括igmp snoop vlan tag 等等功能,很好用的啊
上傳時間: 2014-01-25
上傳用戶:hgy9473
蟲蟲下載站版權(quán)所有 京ICP備2021023401號-1