有关中文分词技术和搜索结果按相似度排序

Luin — Thu, 22 Jul 2010 08:19:15 +0000

做小网站的站内搜索时要考虑到用户的查询关键字未必和数据库中相应数据准确对应，所以搜索时就要用到模糊查询。但是很多情况下Like语句也未必管用，比如用户搜索“打篮球”，可是数据库里只有“篮球”，这时做查询“LIKE ‘%打篮球%’”肯定不会找到结果。这时就需要对关键字进行分词。对于英文来说可以简单的根据空格来划分单词，而对于中文就有些麻烦。

好在现在有些开源的中文分词引擎分词的准确度已经相当高了，如PHP的SCWS可以把“打篮球”分成“打”和“篮球”，这样再分别查找就可以把“篮球”条目找到。然后由于SCWS是基于词频词典的，所以如果有些新词就分不出来了，比如“我爱美女”可以分解成“我爱”和“美女”，可是“我爱凤姐”就只能分成“我爱”“凤”和“姐”了。

在无法根据词库分词的情况下，我们可以采用二元分词法，即全部分成两个字组成的词，如“我爱凤姐”分成“我爱”“爱凤”“凤姐”。代码也很简单：

function Fenci($word)
{
	$len = mb_strlen($word, 'GBK');
	for($i = 0; $i &lt; $len - 1; ++$i)
		$result[] = mb_substr($word, $i, 2, 'GBK');
	return $result;
}

然而由于词语的错分也产生了一些无关的结果，如搜索“全国计算机等级考试”，SCWS会把它分成“全国”“计算机”“等级”“考试”，而数据库里有“计算机等级考试”和“大学英语水平考试”，这时这两条结果全部命中，可是后者显然不是我们想要的结果，这就需要多结果进行相似的排序。
PHP提供了一个函数可以轻易实现这个功能。它的名字就是…similar_text，如similar_text(‘全国计算机等级考试’, ‘大学英语水平考试’, $percent), $percent返回两个字符串的相似度（百分比），测试后可知“计算机等级考试”更接近搜索词，所以把它排前面。

Tips:PHP中截取中文字符串避免乱码

Luin — Mon, 11 Jan 2010 03:20:00 +0000

使用substr截取中文字符串可能会出现意外的乱码，而不同编码下中文字符串长度是不同的，特殊情况比较多。下面的csubstr()函数是我在开发博客巢系统时编写的，它用了一个小方法：strlen(‘汉’)比较取巧的~~解决了这个问题。~~

(2010-01-23：根据Gill的回复似乎这样做并不稳妥，回来再好好研究研究，有更好的方法欢迎与我交流)

/*截取字符串(避免中文乱码)*/
function csubstr($string,$sublength) {
	$len = strlen($string);
	if ($len &lt;= $sublength){
		$string = $string;
	}else{
		$string = substr($string,0,$sublength);
		$parity= 0;
		for($j=0;$j&lt;$sublength;$j++){
			$temp_str=substr($string,$j,1);
				if(Ord($temp_str)&gt;127) $parity+=1;
		}
		$n = $parity % strlen('汉');
		if($n == 0) {
			$string=substr($string,0,$sublength);
		} else {
			$string=substr($string,0,$sublength - $n);
		}
	}
	return $string;
}

更新：可以在设定编码的前提下使用mb_substr避免乱码：

string mb_substr ( string $str , int $start [, int $length [, string $encoding ]] )

详见：http://php.net/manual/en/function.mb-substr.php

感谢Gill的回复

Luin's Blog » LAMP

有关中文分词技术和搜索结果按相似度排序

Tips:PHP中截取中文字符串避免乱码