suzume-llama-3-8B-japaneseは、Meta-Llama-3-8Bを日本語に拡張したモデルらしいのだが、拡張に際してトークナイザの日本語化をおこなっていない。これがどういう問題を引き起こすか、国語研短単位でのUPOS (Universal Part-Of-Speech)品詞付与をFew-Shot Promptingで挑戦してみよう。5つの例文は、この記事と全く同じものを選んだ。 >>> class TextUPOSList(list): ... __str__=lambda self:"\n".join("###text:"+"".join(t for t,u in s)+"\n###UPOS:"+"|".join(t+"_"+u for t,u in s) for s in self)+"\n" ... >>> ex=TextUPOSList() >>> ex.app