「Meta-Llama-3-8B」がリリースされたので、早速トークナイザを試してみることにした。が、HuggingFaceのtokenがなかなか降りてこなくて、かなり時間がかかってしまった。 >>> from transformers import AutoTokenizer >>> tkz=AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B",token="hf_this_token_is_dummy_use_your_own_one") >>> print(tkz.convert_ids_to_tokens(tkz("国境の長いトンネルを抜けると雪国であった。","夜の底が白くなった。")["input_ids"])) ['åĽ½', 'å¢ĥ', 'ãģ®', 'éķ·', 'ãģĦ', 'ãĥĪ', 'ãĥ³ãĥ',

「きょうのピオリ゚、おやきピオリ゚、とりなおし」はUniversal Dependenciesで書けるのか係り受け解析言語処理イラヴ語 『南島歌謡大成 Ⅲ宮古篇』(角川書店、1978年6月)を読んでいたところ、「屋根葺き祝いのおこざらぴゃーすの歌(伊良部島)」(pp.117-118)の以下の一節が気になった。 やーのぬす　とつのぬすが　やーいきー とつの主と　やーぬ主とが　だんがしー きょうのぴおり゚　おやきぴおり゚　とりなおし 「り」に半濁点が付けられているのだが、この記法は同書の「音節分類表」(pp.461-462)には見当たらない。この歌は、大川恵良『伊良部郷土誌』(1974年8月) p.155「オコザラピャースの歌」が元ネタらしいが、そこでは微妙に記述が異なっている。 やーのぬす、とつのぬすが、やーいきー とつの主と、やーぬ主とが、だんがしー きょうのピオリ゚、おやきピオリ゚、とり

昨日の記事の例文に対応する「タネ カ アトゥイ アヌカㇻ ルウェ ヘ アン」を、deberta-base-ainu-ud-goeswithの助けを借りて、アイヌ語Universal Dependenciesで解析してみた。Google Colaboratoryだとこんな感じ。 !pip install transformers deplacy from transformers import pipeline nlp=pipeline("universal-dependencies","KoichiYasuoka/deberta-base-ainu-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple") doc=nlp("タネ カ アトゥイ アヌカㇻ ルウェ ヘ アン") import deplacy depla

小野智香子『イテリメン語文法』(北海学園大学出版会, 2021年3月)を横目に、「килхԓ часит ӄиӽ нэсэмӄ тэпәлаӽ син」をUniversal Dependenciesで書いてみることにした。 # text = килхԓ часит ӄиӽ нэсэмӄ тэпәлаӽ син 1 килхԓ килхԓ ADV нареч _ 5 advmod _ _ 2 часит часит ADV нареч _ 5 advmod _ _ 3 ӄиӽ ӄиӽ NOUN сущ _ 5 nsubj _ _ 4 нэсэмӄ нэсэмӄ ADV нареч _ 5 advmod _ _ 5 тэпәлаӽ тэпәлаӽ ADJ прил _ 0 root _ _ 6 син ԓ- AUX неп _ 5 cop _ _ LEMMA(辞書見出し形)を、とりあえずА.

昨日の記事のアイデアをUD_Japanese-GSDに適用して、日本語モデルにおけるトークナイザの「精度」を測ってみた。Google Colaboratoryだと、こんな感じ。 !pip install transformers sentencepiece spacy-alignments fugashi unidic-lite models=["tohoku-nlp/bert-base-japanese-v2","rinna/japanese-gpt-neox-3.6b","stockmark/gpt-neox-japanese-1.4b","tokyotech-llm/Swallow-MS-7b-v0.1","Rakuten/RakutenAI-7B","K-walk/chimaki-2b-base"] ud="UD_Japanese-GSD" !test -d $ud || git

CoNLL 2018 Shared TaskのEvaluationページを横目に、タイ語モデルにおけるトークナイザの「精度」を測るプログラムを書いてみた。Google Colaboratoryだと、こんな感じ。 !pip install transformers sentencepiece spacy-alignments models=["KoichiYasuoka/roberta-base-thai-syllable","scb10x/typhoon-7b","openthaigpt/openthaigpt-1.0.0-7b-chat"] ud="UD_Thai-PUD" !test -d $ud || git clone --depth=1 https://github.com/universaldependencies/$ud !cp $ud/*-test.conllu test.

>>> from transformers import AutoTokenizer >>> tkz=AutoTokenizer.from_pretrained("K-walk/chimaki-2b-base") >>> print(tkz.convert_ids_to_tokens(tkz("国境の長いトンネルを抜けると雪国であった。","夜の底が白くなった。")["input_ids"])) ['<bos>', '国', '境', 'の', '長い', 'トンネル', 'を', '抜け', 'ると', '雪', '国', 'であった', '。', '<bos>', '夜の', '底', 'が', '白', 'くなった', '。'] 残念ながら、日本語トークナイザとしてはボロボロだ。特に「抜け」「ると」のあたりは、単語の切れ目を完全に無視していて、日本語における言語処理としては話にならな

>>> from transformers import AutoTokenizer >>> tkz=AutoTokenizer.from_pretrained("openthaigpt/openthaigpt-1.0.0-7b-chat") >>> print(tkz.convert_ids_to_tokens(tkz("แม่อย่าเก็บไว้คนเดียว")["input_ids"])) ['<s>', '▁แม', '่อย', '่า', 'เก็บ', 'ไว้', 'คนเดียว']

Mistral-7B-v0.2-hfは英語Universal Dependenciesの係り受けリンクをFew-Shot Promptingで生成できるか係り受け解析言語処理colaboratoryFew-ShotMistral Ercong Nie, Shuzhou Yuan, Bolei Ma, Helmut Schmid, Michael Färber, Frauke Kreuter, Hinrich Schütze『Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models』を横目に、Mistral-7B-v0.2-hfを使って、英語Universal Dependenciesの係り受けリンクでDecompos

一昨日の記事の例文に対応する「Мамо не тримай в собі」を、Stanzaの助けを借りて、ウクライナ語Universal Dependenciesで解析してみた。Google Colaboratoryだとこんな感じ。 !pip install stanza deplacy import stanza nlp=stanza.Pipeline("uk") doc=nlp("Мамо не тримай в собі") import deplacy deplacy.serve(doc,port=None) # text = Мамо не тримай в собі # sent_id = 0 1 Мамо мама NOUN Ncfsvy Animacy=Anim|Case=Voc|Gender=Fem|Number=Sing 3 vocative _ start_char=

昨日の記事の例文「แม่อย่าเก็บไว้คนเดียว」を、esuparの助けを借りつつ、タイ語Universal Dependenciesで解析してみた。 # text = แม่อย่าเก็บไว้คนเดียว 1 แม่ แม่ NOUN NN _ 3 vocative _ SpaceAfter=No 2 อย่า อย่า AUX AX _ 3 aux _ SpaceAfter=No 3 เก็บ เก็บ VERB VV _ 0 root _ SpaceAfter=No 4 ไว้ ไว้ ADV AV _ 3 advmod _ SpaceAfter=No 5 คน คน NOUN CL _ 3 obl _ SpaceAfter=No 6 เดียว เดียว NUM NU _ 5 nummod _ SpaceAfter=No 「เดียว」は多重母音だが、他の単語は

Kunat Pipatanakul, Phatrasek Jirabovonvisut, Potsawee Manakul, Sittipong Sripaisarnmongkol, Ruangsak Patomwong, Pathomporn Chokchainant, Kasima Tharnpipitchai『Typhoon: Thai Large Language Models』を読みつつ、この「Typhoon-7B」のトークナイザがどうなっているのか気になった。というのも、論文には In this work, we base our tokenizer on Mistral-7B tokenizer, but we further train an additional Thai subword tokenizer with 5,000 tokens and integrate

Terra Blevins, Hila Gonen, Luke Zettlemoyer『Prompting Language Models for Linguistic Structure』の手法をSwallow-MS-7b-v0.1に適用して、国語研短単位でのUPOS (Universal Part-Of-Speech)品詞付与に挑戦してみた。Few-Shot Promptingの例文は、UD_Japanese-GSDの訓練データのうち、固有名詞を含んでいない短めの文で、Swallow-MS-7b-v0.1によるトークナイズが国語研短単位と矛盾しないものを5つ選んだ。 >>> class TextUPOSList(list): ... __str__=lambda self:"\n".join("###text:"+"".join(t for t,u in s)+"\n###UPOS:"

Terra Blevins, Hila Gonen, Luke Zettlemoyer『Prompting Language Models for Linguistic Structure』の手法をSwallow-7b-plus-hfに適用して、国語研短単位でのUPOS (Universal Part-Of-Speech)品詞付与に挑戦してみた。Few-Shot Promptingの例文は、UD_Japanese-GSDの訓練データのうち、固有名詞を含んでいない短めの文で、Swallow-7b-plus-hfによるトークナイズが国語研短単位と矛盾しないものを5つ選んだ。 >>> class TextUPOSList(list): ... __str__=lambda self:"\n".join("###text:"+"".join(t for t,u in s)+"\n###UPOS:"

日本語に強い大規模言語モデル「RakutenAI-7B」が3月21日に公開された。プレスリリースを見てみよう。 2.　日本語の言語に最適化された形態素解析器により高い効率性が可能 本LLMは、日本語の言語に最適化された独自の形態素解析器（注7）を使用しています。一般的に形態素解析器は自然言語で書かれている文章を適切な単位に細分化して分析することができます。楽天の形態素解析器においては、文章の分割単位であるトークンあたりの文字数が増加し、その結果、より多くの情報を単一のトークンに含めることができます。そのため、従来の形態素解析器と比較して、事前学習や推論のテキスト処理をより効率的に行えるようになりました。 （注7）形態素解析器とは、文章をトークンと呼ばれる小さな単位に分割するプログラムのことです。トークンは、望ましい粒度に応じて、単語、部分語、または文字であることが一般的です。 「注7」の説

3月18日に書いたMistralForTokenClassificationを使って、Swallow-MS-7b-uposを作ってみた。NVIDIA A100-SXM4-40GBを8枚使えば、モデルの作成時間を1時間30分にまで短縮できるようになったが、予想に反して品詞付与の精度はイマイチだったりする。 >>> from transformers import pipeline >>> tag=pipeline("upos","KoichiYasuoka/Swallow-MS-7b-upos",trust_remote_code=True) >>> nlp=lambda x:[(x[t["start"]:t["end"]],t["entity"]) for t in tag(x)] >>> print(nlp("予想に反して品詞付与の精度はイマイチ")) [('予想', 'NOUN'),

LlamaForTokenClassificationによる日本語品詞付与モデルSwallow-7b-plus-uposをリリース言語処理LLaMA品詞付与tranformers 昨年のクリスマスイブに書いたLlamaForTokenClassificationを使って、Swallow-7b-plus-uposという日本語品詞付与モデルを作ってみた。最初のアイデアを出してから3ヶ月もかかってしまった。結果として、NVIDIA A100-SXM4-40GBを8枚使えば、モデルの作成時間を1時間45分にまで短縮できるようになったが、予想に反して品詞付与の精度はイマイチだったりする。 >>> from transformers import pipeline >>> tag=pipeline("upos","KoichiYasuoka/Swallow-7b-plus-upos",trust_re

#! /usr/bin/python3 from transformers import LlamaTokenizerFast,MambaConfig,MambaForCausalLM,TextGenerationPipeline from transformers.utils import cached_file tkz=LlamaTokenizerFast(vocab_file=cached_file("kotoba-tech/kotomamba-2.8B-v1.0","tokenizer.model"),add_bos_token=False,pad_token="<pad>") cfg=MambaConfig.from_pretrained("kotoba-tech/kotomamba-2.8B-v1.0",hidden_size=2560,intermediate_size=51

transformers 4.39.0がmambaをサポートしたので、kotomamba-2.8B-CL-v1.0-hf (kotomamba-2.8B-CL-v1.0のtransformers対応版)をGoogle Colaboratoryで動かしてみた。 !pip install -U transformers from transformers import pipeline tgn=pipeline("text-generation","misdelivery/kotomamba-2.8B-CL-v1.0-hf",max_new_tokens=128) nlp=lambda txt:tgn(txt)[0]["generated_text"] print(nlp("国境の長いトンネルを抜けると雪国であった。夜の底が白くなった。")) 『雪国』冒頭部の続きを生成させてみたところ、私(安

昨日の記事の例文に対応する「エネ アン ペ ケ ヤ ケラミㇱカリ。」を、esuparの助けを借りつつ、アイヌ語Universal Dependenciesで解析してみた。 # text = エネ アン ペ ケ ヤ ケラミㇱカリ。 1 エネ ene ADV 副詞 _ 2 advmod _ _ 2 アン an VERB 自動詞 _ 3 acl _ _ 3 ペ pe NOUN 名詞 _ 5 obj _ _ 4-5 ケ _ _ _ _ _ _ _ _ 4 ㇰ k= PART 人称接辞 _ 5 nsubj _ SpaceAfter=No 5 エ e VERB 他動詞 _ 8 advcl _ _ 6 ヤ ya SCONJ 接続助詞 _ 5 mark _ _ 7-8 ケラミㇱカリ _ _ _ _ _ _ _ SpaceAfter=No 7 ㇰ k= PART 人称接辞 _ 8 nsubj _ _ 8 エ