「我是中國(guó)人」，ChineseTokenizer會(huì)將之分割為五個(gè)中文字：「我、是、中、國(guó)、人」，CJKTokenizer則會(huì)將之分割為「我是、是中、中國(guó)、國(guó)人」四個(gè)二節(jié)的詞。前者的問題是沒有考慮中文詞語(yǔ)的問題，如搜尋「國(guó)中」一樣搜尋到「我是中國(guó)人」。後者的問題則是制做了大量沒意義的詞如「是中」「國(guó)人」，讓索引沒必要地增大、降低搜尋效率。
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
資源簡(jiǎn)介：
上傳時(shí)間：
上傳用戶：
