一、緣起
Lucene在索引文件上G之后的搜索性能下降很嚴(yán)重，隨便跑個搜索就要上0.x秒。如果是單線程搜索那么性能尚可，總可以在0.x秒返回結(jié)果，如果是Web式的多線程訪問，由于Lucene的內(nèi)部機制導(dǎo)致數(shù)據(jù)被大量載入內(nèi)存，用完后立即丟棄，隨之引起JVM頻繁GC，性能極其低下，1-10秒的長連接比比皆是。這也是世人為之詬病的Lucene應(yīng)用瓶頸問題，那么是否有解決方法呢？

二、思路
我們來觀察Google, Baidu的搜索，有一個總體的感覺就是搜索結(jié)果多的關(guān)鍵詞耗時比較少，結(jié)果少的關(guān)鍵詞耗時反而多，且結(jié)果多的時候會說“約******個結(jié)果”。隱士猜測Google, Baidu的算法是找到前n個結(jié)果后停止掃描索引，根據(jù)前n個結(jié)果來推斷總共有多少個結(jié)果，此猜想可由Google, Baidu翻頁限制而得到部分驗證。
再看Lucene，其Hits.length()返回的總是精確的結(jié)果，如果可以讓Lucene也返回模糊的結(jié)果，那么索引文件就算是10G也可以輕松應(yīng)對了。

三、探索
隱士帶著這個問題訪名山、覓高人，可惜沒有找到前人的成果，可能是隱士走的路不夠勤，如有類似的解決方案，隱士不吝賜教。
無奈之下，隱士詳細(xì)研究了Lucene 2.1.0源碼，準(zhǔn)備重新發(fā)明輪子。
一般來說大多數(shù)搜索應(yīng)用中的Query都會落在BooleanQuery上，隱士就拿它開刀。一路看來，BooleanScorer2里的一個method吸引了隱士，代碼如下：

  public void score(HitCollector hc) throws IOException {
    if (countingSumScorer == null) {
      initCountingSumScorer();
    }
    while (countingSumScorer.next()) {
      hc.collect(countingSumScorer.doc(), score());
    }
  }

在while循環(huán)里嵌入寫日志代碼可證結(jié)果集有多大，此處就循環(huán)了多少次。countingSumScorer.next()的意思是找到下一個符合boolean規(guī)則的document，找到后放入HitCollector，這HitCollector后面會換個馬甲放在大家熟悉的Hits里面。
如果可以在這個while循環(huán)里嵌一個break，到一定數(shù)量就break出來，性能提升將相當(dāng)明顯。這個代碼相當(dāng)簡單，果然大幅提高了性能，帶來的副作用是結(jié)果不太準(zhǔn)，這個可以通過調(diào)整業(yè)務(wù)模型、邏輯來修正。畢竟這是一條提升Lucene性能的有效方法。
細(xì)細(xì)想來，正是由于這個break會導(dǎo)致結(jié)果集大的關(guān)鍵詞提前出來，搜索時間少，結(jié)果集小的關(guān)鍵詞不可避免會走完整個索引，相應(yīng)的搜索時間會長一點。

四、效果
由于具體嵌入代碼的過程極其繁瑣，隱士將在第二回詳細(xì)講解。這第一回先來個Big picture。
歷盡千辛萬苦，隱士終于搞定了這套程序，效果可以從隱士做的視頻搜索http://so.mdbchina.com/video/%E7%BE%8E%E5%A5%B3看出。
這個關(guān)鍵詞“美女”可以找到18萬個視頻，平均0.5秒返回結(jié)果，現(xiàn)在用上了新算法，只要0.06x秒返回結(jié)果，而且返回結(jié)果足夠好了，估算的8.5萬個結(jié)果雖然離18萬有很大差距，不過由于是估算的，差2-3倍應(yīng)屬可以接受的。
由算法的特性可知，while里面的hc.collect總可以在常量時間內(nèi)完成，循環(huán)次數(shù)又是<=常量，該算法的時間復(fù)雜度只和BooleanQuery的復(fù)雜程度相關(guān)，和索引文件大小以及命中的Document在索引文件內(nèi)的分布密度沒有關(guān)系，因為BooleanQuery的復(fù)雜程度決定了countingSumScorer.next()需要經(jīng)過多少次判斷、多少次讀取索引文件，countingSumScorer.next()正是整個算法中耗時不定的部分。
現(xiàn)在這個視頻搜索的索引文件接近3G，熱門關(guān)鍵詞可以在0.0x秒返回結(jié)果，隱士相信即使以后索引文件上到10G，依然可以在0.0x秒返回結(jié)果。

(注：這個視頻搜索實際使用效果會打折扣，因為后臺索引也在這臺機器上，以后會分服務(wù)器，現(xiàn)在暫時在一起。)

安徽新華電腦學(xué)校專業(yè)職業(yè)規(guī)劃師為你提供更多幫助【在線咨詢】