MistralForTokenClassificationによる日本語品詞付与モデルSwallow-MS-7b-uposをリリース言語処理transformersMistral品詞付与 3月18日に書いたMistralForTokenClassificationを使って、Swallow-MS-7b-uposを作ってみた。NVIDIA A100-SXM4-40GBを8枚使えば、モデルの作成時間を1時間30分にまで短縮できるようになったが、予想に反して品詞付与の精度はイマイチだったりする。 >>> from transformers import pipeline >>> tag=pipeline("upos","KoichiYasuoka/Swallow-7b-plus-upos",trust_remote_code=True) >>> nlp=lambda x:[(x[t["start"]