汉语手工分词和词性标注的评述

汉语手工分词和词性标注的评述
摘要:现代汉语分析和词性标注是文字信息处理的关键和基础，本文对《围城》进行分词和词性标注，试探讨手工分词和词性标注的利弊。
关键词：手工分词     词性标注   《围城》  中文信息处理

一、引言
词是最小的能够独立运用的，有意义的语言单位。但是汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此中文分词是中文信息处理的关键所在。基于字的自然语言词语分析中，一直以来习惯于将分词和词性标注分别处理。实际上，分词和词语标注有着密切的联系，分词中的切分歧义能用语法知识削减的就占百分之90以上，而涉及语法和语用的切分歧义则很少。可见，将分词过程和词性标注过程融合在一起，有助于消除歧义和提高整体效率。本文以北大词性标注集为基准，对《围城》第一章的文字进行手工分词和词性标注，总结分词过程中的一些问题。

*若需了解更多与协助请咨询↓→[电脑QQ][手机QQ]【数据协助】