RNN的Seq2Seq模型做命名实体识别

seq2seq 具有极强的时序能力,在自然语言处理(NLP)中是一个很强的模型,最近一段时间,在工程方面将该模型引入做命名实体识别(NER)也取得不错的效果。推荐G.Hinton的论文“Grammar as a Foreign Language”,讲述了如何用seq2seq做序列标注。

seq2seq 具有极强的时序能力,在自然语言处理(NLP)中是一个很强的模型,最近一段时间,在工程方面将该模型引入做命名实体识别(NER)也取得不错的效果。推荐G.Hinton的论文“Grammar as a Foreign Language”,讲述了如何用seq2seq做序列标注。

对于中文的命名实体识别的处理方式,参考中文分词和词性标注的思路,设定标签集:{B, M, E, S, B-name, M-name, E-name, S-name, …},里面的” *-name “,是实体类别的标签,标注的时候,我采用字符级的标注方案。

数据处理

我们将数据分为编码数据(encode data)和解码数据(decode data),并对数据添加GO, EOS, PAD符号,分别代表:
GO: 解码数据开头添加该符号。解码开始的时候作为输入使用。
EOS: 解码数据结尾符号。表示解码数据的结尾
PAD: 编码和解码数据补零符号。在mini-batch的时候,batch中最长文本的长度将剩余的文本用PAD补全。

编码数据在输入的时候,把顺序反置,在神经翻译系统里面,效果更好,即
[GO, 明,天,张,三,……,EOS,PAD,PAD,PAD]
转为
[PAD,PAD,PAD,EOS,……,三,张,天,明,GO]

模型:

字符的向量大小:128
LSTM层数:2
softmax输出,交叉熵求损失
学习率:
– 用SGD,学习率0.1,学习率衰减值0.99(慢慢的减少)
– 用Adadelta,初始学习率随便设置0.9,会自适应修改。

模型参考了tensorflow里面的英法翻译的模型,被Google用在了自动翻译中,称为“神经机器翻译(Google Neural Machine Translation,GNMT)”。

6 thoughts on “RNN的Seq2Seq模型做命名实体识别”

  1. 你好,请问RNN的Seq2Seq模型做命名实体识别有相关代码吗?可否给个链接学习一下?谢谢博主。

  2. 看到了楼主的作品,感觉很不错。也实验了一下,遇到一个问题,想请教一下。我识别到的词中,含有一些被切烂的词,如“业道德教”,“各环节的”这样的,想请问这个如何解决??

  3. 这个模型对于没有标注过的实体会识别出来吗,我曾经测试过,对新实体的识别能力很差

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.