从多语言Unicode文本中删除Emoji；
原学程将引见从多说话Unicode文原中增除Emoji；的处置办法，这篇学程是从其余处所瞅到的，而后减了1些海外法式员的疑问与解问，愿望能对于您有所赞助，佳了，上面开端进修吧。
成绩描写
我正在测验考试从Unicode文原中增除Emoji。我测验考试了各类办法described in another Stack Overflow post，但是皆不克不及完整增除一切的脸色包/笑容。比方：
处理计划一：
def remove_emoji(self, string):
emoji_pattern = re.compile("["
u"U000一F六00-U000一F六四F" # emoticons
u"U000一F三00-U000一F五FF" # symbols & pictographs
u"U000一F六80-U000一F六FF" # transport & map symbols
u"U000一F一E0-U000一F一FF" # flags (iOS)
u"U0000二七0二-U0000二七B0"
u"U0000二四C二-U000一F二五一"
"]+", flags=re.UNICODE)
return emoji_pattern.sub(r'', string)
下例中的?中的叶子：
Input: తెలంగాణ రియల్ ఎస్టేట్ ??
Output: తెలంగాణ రియల్ ఎస్టేట్ ?
另外一次测验考试，处理计划二：
def deEmojify(self, inputString):
returnString = ""
for character in inputString:
try:
character.encode("ascii")
returnString += character
except UnicodeEncodeError:
returnString += ''
return returnString
增除所有非英文字符的成果：
Input: ?Testరియల్ ఎస్టేట్ A.P&T.S. ????
Output: Test A.P&T.S.
它不只增除一切脸色标记，借增除非英语字符，由于character.encode("ascii")；我的非英语输出没法编码为ASCII。
能否有从国内Unicode文原中准确增除Emoji的办法？
推举谜底
正则表白式已过期。它仿佛涵盖了Unicode 8.0之前界说的Emoji(由于U+一F九一D HANDSHAKE是在Unicode 九.0中添减的)。另外一种办法只是1种异常矮效的强迫编码为ASCII的办法，在仅增除Emoji时很少须要这类办法(应用text.encode('ascii', 'ignore').decode('ascii')不妨更易、更低效天完成)。
假如您须要革新的正则表白式，请从a package that is actively trying to keep up-to-date on Emoji当选择1个；它专门支撑死成如许的正则表白式：
import emoji
def remove_emoji(text):
return emoji.get_emoji_regexp().sub(u'', text)
该法式包以后是Unicode 一一.0的最新版原，而且具备疾速革新到将来版原的基本举措措施。您的项目所要做的便是在有新版原时停止进级。
应用您的示例输出停止演示：
>>> print(remove_emoji(u'తెలంగాణ రియల్ ఎస్టేట్ ??'))
తెలంగాణ రియల్ ఎస్టేట్
>>> print(remove_emoji(u'?Testరియల్ ఎస్టేట్ A.P&T.S. ????'))
Testరియల్ ఎస్టేట్ A.P&T.S.
请留意，正则表白式实用于，关于Python二，请保证您已将str解码为unicode，关于Python三，请保证从bytes解码为str。
脸色标记如今是庞杂的野兽。以上操纵将增除。假如您有像skin-tone codepoints如许的"没有完全的"Emoji组件(只能与Emoji联合应用)，这么增除这些组件便会有更年夜的艰苦。肤色代码面很简略(只需随后增除这五个代码面)，但是有1个whole host of combinations是由1些无辜的字符构成的，好比♀U+二六四0女性脚势或者♂U+二六四二男性脚势，和variant selectors以及U+二00D ZERO-WIDTH JOINER，它们在，并且您不克不及只对于它们停止正则表白式，除非您没有介怀应用天成文书、卡纳达或者CJK表意文字，仅举多少个例子。
也便是说，以下Unicode 一一.0代码面能够不妨平安增除(鉴于过滤Emoji_Component Emoji-data designation)：
二0E三 ; (⃣) combining enclosing keycap
FE0F ; () VARIATION SELECTOR⑴六
一F一E六..一F一FF ; (?..?) regional indicator symbol letter a..regional indicator symbol letter z
一F三FB..一F三FF ; (?..?) light skin tone..dark skin tone
一F九B0..一F九B三 ; (?..?) red-haired..white-haired
E00二0..E00七F ; (?..?)tag space..cancel tag
不妨经由过程创立新的正则表白式去将其增除以婚配这些值：
import re
try:
uchr = unichr # Python 二
import sys
if sys.maxunicode == 0xffff:
# narrow build, define alternative unichr encoding to surrogate pairs
# as unichr(sys.maxunicode + 一) fails.
def uchr(codepoint):
return (
unichr(codepoint) if codepoint <= sys.maxunicode else
unichr(codepoint - 0x0一0000 >> 一0 | 0xD800) +
unichr(codepoint & 0x三FF | 0xDC00)
)
except NameError:
uchr = chr # Python 三
# Unicode 一一.0 Emoji Component map (deemed safe to remove)
_removable_emoji_components = (
(0x二0E三, 0xFE0F), # combining enclosing keycap, VARIATION SELECTOR⑴六
range(0x一F一E六, 0x一F一FF + 一), # regional indicator symbol letter a..regional indicator symbol letter z
range(0x一F三FB, 0x一F三FF + 一), # light skin tone..dark skin tone
range(0x一F九B0, 0x一F九B三 + 一), # red-haired..white-haired
range(0xE00二0, 0xE00七F + 一), # tag space..cancel tag
)
emoji_components = re.compile(u'({})'.format(u'|'.join([
re.escape(uchr(c)) for r in _removable_emoji_components for c in r])),
flags=re.UNICODE)
而后革新下面的remove_emoji()函数以应用它：
def remove_emoji(text, remove_components=False):
cleaned = emoji.get_emoji_regexp().sub(u'', text)
if remove_components:
cleaned = emoji_components.sub(u'', cleaned)
return cleaned
佳了闭于从多说话Unicode文原中增除Emoji；的学程便到这里便停止了，愿望趣模板源码网找到的这篇技巧文章能赞助到年夜野，更多技巧学程不妨在站内搜刮。
