做自然语言处理，尤其是中文自然语言处理，文本分词是必不可少的过程。其实不仅仅是中文，大多数亚洲的语言文字在计算机做处理时，都需要进行分词，甚至英文在识别短语时也要进行类似中文分词的过程。所以，我们需要一种有效的分词算法，这里我仅以中文做实例，其他语言可以参考，介绍一种简单的中文分词算法，并附上一个C#版的示例代码。
分类： 数据结构和算法
做自然语言处理有一个基本的步骤是词频统计，然而我们知道，中文的词语有单音节词、双音节词和多音节词之分，所以中文处理起来远比英文复杂得多。不过，我们可以“偷个懒”，如果要做词频统计的文本量足够大，而且我们只需要知道词频最高的几个词的话，那么我们可以将问题简化一下。
