怎么在空间中强制使用某个标签?
本教程将介绍如何在空间中强制使用某个标签?的处理方法,这篇教程是从别的地方看到的,然后加了一些国外程序员的疑问与解答,希望能对你有所帮助,好了,下面开始学习吧。
问题描述
我将Spacy'3.0.0rc2'
与自定义模型一起使用。不幸的是,我的训练数据中连字符(-)很少,因此该连字符经常被标记为NOUN
。
有什么方法可以强制tag
pos
,以确保所有-
标记都被标记为PUNCT
?
基本上,我正在寻找以下问题的答案中提出的解决方案:
How to force a pos tag in spacy before/after tagger?
遗憾的是,这似乎不再起作用(至少对于Spacy 3)并引发错误:
ValueError: [E1005] Unable to set attribute 'POS' in tokenizer exception for '{G}'. Tokenizer exceptions are only allowed to specify ORTH and NORM.
我知道可以创建一个带有Matcher
的定制组件,该组件只查找连字符并分配正确的标记。然而,考虑到我目前只想处理一个令牌,这似乎有点过头了。
有什么什么方法可以在Spacy 3中强制标记,?
理想情况下,我希望修改TAG
属性,并让spacy根据该TAG
属性自动分配POS
属性。
如spacy-annotationsTAG=HYPH
应映射到POS=PUNCT
。
推荐答案
在Spacy v3中,可以在attribute_ruler
组件中实现这样的异常:
ruler = nlp.add_pipe("attribute_ruler")
patterns = [[{"ORTH": "-"}]]
attrs = {"TAG": "HYPH", "POS": "PUNCT"}
ruler.add(patterns=patterns, attrs=attrs)
请注意,属性标尺根据初始Doc
状态运行一次模式匹配,因此不能将一个规则的输出属性用作另一个规则的输入模式。这出现在en_core_web_sm
这样的管道中,其中包含的属性标尺执行标记-&>位置映射。因此,如果您有另一个规则应该与POS模式匹配,则必须添加第二个属性标尺组件来处理这些情况。
参见:https://nightly.spacy.io/api/attributeruler
好了关于怎么在空间中强制使用某个标签?的教程就到这里就结束了,希望趣模板源码网找到的这篇技术文章能帮助到大家,更多技术教程可以在站内搜索。