中文分詞是百度和谷歌的核心技術(shù)之一,因此不會(huì)將細(xì)節(jié)公之于。中華論文聯(lián)盟只能利用黑盒方法進(jìn)行推導(dǎo),也即通過(guò)輸入檢索提問(wèn),查看結(jié)果情況,并通過(guò)兩個(gè)搜索引擎都具備的網(wǎng)頁(yè)快照功能查看各自對(duì)檢索提問(wèn)的分詞情況。

　　表1　檢索提問(wèn)在百度和谷歌中的分詞情況*

　　第一，推導(dǎo)百度的中文分詞技術(shù)

　　第1個(gè)例子說(shuō)明,如果對(duì)檢索提問(wèn)用引號(hào)做精確檢索,百度對(duì)其不進(jìn)行分詞運(yùn)算。例2說(shuō)明,如果輸入用空格進(jìn)行分割的若干個(gè)子字符串,百度對(duì)其自動(dòng)做分詞處理(如果用標(biāo)點(diǎn)符號(hào)分割,也會(huì)做自動(dòng)分詞處理)。例3、6、7、8、10等都說(shuō)明百度對(duì)檢索詞會(huì)進(jìn)行多種切分方式,并且首先是不進(jìn)行切分,直接匹配,如果有結(jié)果則返回,并排在檢索結(jié)果最前面;然后再按照不同形式切分之后再去匹配。

　　例4對(duì)“比爾蓋茨”的檢索表明,百度有專(zhuān)有名詞庫(kù),例5對(duì)“旭日陽(yáng)剛”的檢索表明,百度對(duì)新詞收錄較快。例9“旭日陽(yáng)剛才”的分詞結(jié)果為“旭日陽(yáng)剛/才”也說(shuō)明,百度對(duì)新詞能夠識(shí)別。

　　例11“大長(zhǎng)今天天向上”,百度能夠識(shí)別出“大長(zhǎng)今/天天向上”,“大長(zhǎng)今”為一韓劇名,“天天向上”為一綜藝節(jié)目,百度均能正確地識(shí)別,表明其詞庫(kù)收詞范圍很廣,收詞量很多。例7、8說(shuō)明,百度對(duì)在分詞時(shí)不會(huì)忽略“的”、“和”這些意義不大的字(即禁用詞),可以做更多的嘗試,百度對(duì)“了”、“嗎”等都不會(huì)忽略,仍作為檢索詞進(jìn)行分詞。

　　再探討百度是正向最大匹配還是逆向最大匹配。例7中,對(duì)“走路和氣質(zhì)”可以分出“走路/和/氣質(zhì)”,這種結(jié)果像是逆向最大匹配法,再看例12,“分居民生活水平”,如果逆向最大匹配法的話應(yīng)該是應(yīng)該分為“分/居民/生活水平”,但事實(shí)上百度對(duì)這個(gè)檢索提問(wèn)的分詞結(jié)果并不如此,在這個(gè)例子上看似為正向分詞。因此,百度的分詞不是單純的正向最大匹配或者逆向最大匹配,采用的應(yīng)該是雙向最大匹配法。

　　通過(guò)有多種劃分方式的例子(比如例8),可以看出,百度首先是不進(jìn)行分詞,得到“朱德的母親”,然后再識(shí)別出專(zhuān)有名詞或新詞,剩余部分又按照先不切分的方式,得到“朱德/的母親”,然后用最少切分法原則,并且用到了3元交叉切分法得到了“朱德的/的母親”。

　　第二，推導(dǎo)谷歌的中文分詞技術(shù)

　　例1說(shuō)明,對(duì)于引號(hào)中的檢索提問(wèn),谷歌不進(jìn)行拆分;例2說(shuō)明,用空格分開(kāi)的子字符串,谷歌自動(dòng)做分詞處理(如果用標(biāo)點(diǎn)符號(hào)分割,效果也一樣)。

　　例3、4、5、6表明,谷歌對(duì)于專(zhuān)有名詞和新詞識(shí)別能力較差,對(duì)“比爾蓋茨”、“旭日陽(yáng)剛”等都進(jìn)行了分詞處理,甚至連“忐忑”都劃分為了“忐/忑”,“圖書(shū)館”劃分為“圖書(shū)/館”,“中醫(yī)藥”劃分為“中/醫(yī)藥”,說(shuō)明谷歌的詞庫(kù)較小。

　　例7、8說(shuō)明,谷歌在分詞時(shí),會(huì)對(duì)檢索提問(wèn)中意義不大的字如“的”、“和”忽略,當(dāng)作禁用詞,然后再進(jìn)行分詞。

　　例9、10、11、12都印證了谷歌采取的是逆向最大匹配法,并印證了對(duì)專(zhuān)有名詞和新詞識(shí)別能力差。在12個(gè)例子中涉及的專(zhuān)有名詞和新詞中,只有“朱德”被正確識(shí)別。