1、鎖定某個主題抓取; 2、能夠產生日志文本文件,格式為:時間戳(timestamp)、URL; 3、抓取某一URL時最多允許建立2個連接(注意:本地作網頁解析的線程數(shù)則不限) 4、遵守文明蜘蛛規(guī)則:必須分析robots.txt文件和meta tag有無限制;一個線程抓完一個網頁后要sleep 2秒鐘; 5、能對HTML網頁進行解析,提取出鏈接URL,能判別提取的URL是否已處理過,不重復解析已crawl過的網頁; 6、能夠對spider/crawler程序的一些基本參數(shù)進行設置,包括:抓取深度(depth)、種子URL等; 7、使用User-agent向服務器表明自己的身份; 8、產生抓取統(tǒng)計信息:包括抓取速度、抓取完成所需時間、抓取網頁總數(shù);重要變量和所有類、方法加注釋; 9、請遵守編程規(guī)范,如類、方法、文件等的命名規(guī)范, 10、可選:GUI圖形用戶界面、web界面,通過界面管理spider/crawler,包括啟停、URL增刪等
標簽: 日志
上傳時間: 2013-12-22
上傳用戶:wang5829
1.1 引言 1.1.1 設計目的 本次課程設計是在完成一個學期的編譯原理課程之后,為了進一步加深對編譯原理相關知識的理解,培養(yǎng)實際解決問題的能力而進行的。結合本學期所開設的軟件工程課程,本次課程設計實驗過程要求按照軟件工程的思想來組織開發(fā)過程,按照軟件生命周期的階段劃分來進行。由于課程設計規(guī)模較小,所以對軟件生命周期進行適當?shù)暮喜ⅲ喕癁槲鍌€階段,即需求分析、總體設計、詳細設計、編碼實現(xiàn)和測試。 1.1.2 設計任務 針對本次課程設計我們設計了一個簡化的pascal語言,稱為mini-pascal。設計的任務就是開發(fā)出針對mini-pascal語言的編譯程序。標準的編譯程序結構分為五部分,分別是詞法分析、語法分析、語義分析和中間代碼生成、優(yōu)化和目標代碼生成。由于時間和能力所限,我們的編譯程序只包括前三個部分,最后生成四元式形式的中間代碼。
標簽: 1.1 編譯原理
上傳時間: 2013-12-25
上傳用戶:2467478207
qemu性能直逼VMware的仿真器QEMU 的模擬速度約為實機的 25%;約為 Bochs 的 60 倍。Plex86、User-Mode-Linux、VMware 和 Virtual PC 則比 QEMU 快一點,但 Bochs 需要特定的 Kernel Patch;User-Mode-Linux 的 Guest System 必須為 Linux;VMware 和 Virtual PC 則需要在 Guest System 上安裝特定的 Driver,且它們是針對作業(yè)系統(tǒng)而進行模擬,並不能說是完整的模擬器。所以 QEMU 仍不失為極優(yōu)秀的 x86 模擬器。
標簽: VMware User-Mode-Linux Virtual Bochs
上傳時間: 2014-06-04
上傳用戶:bakdesec
這些程式是專門提供給Matlab5.0的使用者使用。 因為本程式影像處理方面的功能很多,但限於 Matlab5.0功能的關係,故分為兩大程式來使用。
標簽: Matlab 5.0 程式 方面
上傳時間: 2013-12-08
上傳用戶:Amygdala
用友ERP功能擴展,供參考 增加訂單審核機制,獨立開發(fā)的允限銷控制 自已開發(fā)的打印模塊
標簽: ERP 擴展
上傳時間: 2013-12-30
上傳用戶:520
上窮碧落下黃泉 - 源碼追蹤經驗談 (PDF 繁體中文 26頁) 侯捷觀點 剖析名家源碼,是讓自己技術躍升的捷徑。但是大系統(tǒng)的源碼非常龐大(Unix, Linux, Java, STL, MFC, VCL, Qt...),閱讀要有閱讀的方法。本文從動機、對象、前提、書籍、態(tài)度、工具、方法、瓶頸、價值、附加價值等方向加以討論。
標簽: 繁體 家 頁
上傳時間: 2016-01-13
上傳用戶:cooran
使用Flash提供的Web Service的能力,利用這個能力與SOAP Server連接並做資料的存取。而這篇文章將以一個極簡單的範例來說明如何透過Flash取得想要的資料。關於SOAP Server的製作請參考之前撰寫的"Pyhon的SOAP Library"這篇文章,這篇文章有教大家如何使用python這個程式語言實作一個RPC Server,提供其他程式作遠端呼叫。我提供RPC Server的製作,而我會使用python來架構RPC Server,使用python內建的函式庫來實作該Server。 需要工具; 1. Flash 8.0 2. Python 2.3 以上
標簽: Service Flash Web
上傳時間: 2014-01-25
上傳用戶:cc1915
背包問題是關於最佳化的問題,要解最佳化問題可以使用「動態(tài)規(guī)劃」(Dynamic programming),從空集合開始,每增加一個元素就先求出該階段的最佳解,直到所有的元素加入至集合中,最後得到的就是最佳解。 以背包問題為例,我們使用兩個陣列value與item,value表示目前的最佳解所得之總價,item表示最後一個放至背包的水果,假設有負重量 1~8的背包8個,並對每個背包求其最佳解
標簽:
上傳時間: 2014-01-22
上傳用戶:aix008
16*16led點陣屏,有興趣的朋友來看看,只是為了學習,所以驅動部分用了74LS145,限流電阻用820歐姆的,本人是個初學者,還望各位前輩多指點,謝謝!
標簽: 16 led 點陣屏
上傳時間: 2014-11-26
上傳用戶:firstbyte
51常用濾波子程序,包括限幅濾波程序、中位值濾波程序、N點算術平均濾波程序等
標簽: 濾波 程序
上傳時間: 2016-01-25
上傳用戶:lmeeworm
蟲蟲下載站版權所有 京ICP備2021023401號-1