shi3z

ハッカー / テクニカルエンスージアスト UberEats配達員(多忙のため休業中)

shi3z

ハッカー / テクニカルエンスージアスト UberEats配達員(多忙のため休業中)
  • 商品画像

    検索から生成へ 生成AIによるパラダイムシフトの行方

    清水 亮
  • 商品画像

    教養としての生成AI (幻冬舎新書)

    清水亮
  • 商品画像

    マンガ-教養としてのプログラミング講座 (単行本)

    清水亮

  • shi3z note

  • shi3酒乱

    shi3zが酒乱となって世界の食と酒を堪能するッ!

  • 商品画像

    検索から生成へ 生成AIによるパラダイムシフトの行方

    清水 亮
  • 商品画像

    教養としての生成AI (幻冬舎新書)

    清水亮
  • 商品画像

    マンガ-教養としてのプログラミング講座 (単行本)

    清水亮
  • 固定された記事

AI時代に起業するということ

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決

shi3z

    • 性格診断テストとコールドリーディングするAI

      いい年をこいた男には、大抵、昼の友達と夜の友達がいる。 昼の友達は、まあ基本的には仕事仲間だ。日中の行動を一部共にして、同じ目標のために頑張る。昼の友達と酒を飲むこともあるが毎日というわけじゃない。 夜の友達は、主に酒場にいる。その場限りの相手は友達とは呼べないが、毎週決まった時間に顔を出すと、お互い名前を覚えるようになる。 「清水さん、あれやってます?」 「あれって?」 「今流行ってるんですよ。性格診断」 なぜか一部の界隈では性格診断アプリが大流行しているらしい。

      shi3z

      • BitNetLLMの罠(学習に失敗した話)

        こないだ試した1bitllmが割と上手く行ってるようなのと、あまり日本語が下手なのでとりあえずファインチューニングでもするかと思ってやってみたらハマって数日無駄にしたという話。 BitNetは、よく知られているように推論と学習で動きを変えないといけない。 ところが1bitllmの実装では、そこいらへんが僕が前にやったBitLinearの実験で使ったコードとは微妙に違ったのでメモがてらご報告。 結論から言うと、一度でもoptimizer.step()すると勾配が爆発して死

        shi3z

        • 1BitLLMの実力を見る

          1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 肝心の1Bit LLMの実装はここで公開されている。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git

          shi3z
        • 固定された記事

        AI時代に起業するということ

        shi3z

        マガジン

        • shi3z note
          436本
        • shi3酒乱
          117本

        記事

          YouTube更新するの大変だよなあ

          なんか普通に忙しくて、家から一歩も出ない日もそうでない日も 余計なことをする暇がなくなってしまった。 2022年の7月ごろから平日毎日更新を目指していた我がYoutubeチャンネルも、ついに先週、ネタ切れして穴を開けてしまった。 しかし苦情らしい苦情は特に来てないので別に毎日やらなくてもいいのか。 まあでも更新しないと寂しいという人がいるのでできるだけ平日毎日配信はしていきたいと思ってはいる。 しかし毎日YouTube更新するとか、drikinがやってることは本当に大変

          shi3z

          YouTube更新するの大変だよなあ

          shi3z

          結局アルゴリズムが大事という話

          こないだ作ったメールをいい感じに要約して適当な返信文まで考えてくれるツールを「まごころメール」と名付けた。 僕は過去に書いたいろんな本で「AI時代に価値を持つのは真心と思いやり」と締めくくっていたのだが、一番真心が足りてないのは僕だったようだ。 このツール、単なるネタではなく本当に仕事のやり取りに使っている。 面白いのは、一度手動で「※この文章は人工知能が作成し、清水が確認の上送信したものです」という一文をつけたら、次からそのスレッドでは自動的にこの文章が署名のところに入

          shi3z

          結局アルゴリズムが大事という話

          shi3z

          Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能

          Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れというこ

          shi3z

          Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能

          shi3z

          メールを代わりに読んで返信文を提案するAIツール作った【ソースコード付き】

          メールというツールがほぼ死に絶えているのだが、ここぞというときには便利なので結局捨てることもできない。 メールが死に絶えている理由は、主にスパムである。ちなみに某通販会社から大量に送られてくるスパムを止める方法は、その通販会社の社長に自動的にフォワードする設定をすることだという都市伝説がある。結構前に試しにやってみたら確かに止まった。 Facebookメッセンジャーもスパム対策としてはそこそこ便利なのだが、初見の相手からのメッセージは原則として受け取ることができない。メー

          500〜
          割引あり
          shi3z

          メールを代わりに読んで返信文を提案するAIツール作った【…

          shi3z

          花見をするために生きている

          6年ぶりにPCゲーム業界花見。 もうかれこれ25年くらい続いている恒例のお花見である。 コロナが明けて本格的に花見ができるようになった。 この日を待っていたぜ俺はずっと! しかし98年にDirectXの仕事をやっていた時はまさかコンシューマが衰退してPCゲームが生き残るとは思わなかった。あの頃の僕は22歳。まさに25年前である。 最近、自分を人に説明するのがどんどん面倒になってきていて、UberEats配達員ですら無くなってしまった僕は、もはやただのシラサー(シラス配信

          shi3z

          花見をするために生きている

          shi3z

          LoRAよりいいらしいLISA

          LISAという手法がLoRAより高性能らしく、場合によってはフルパラメータチューニングに匹敵するという https://arxiv.org/pdf/2403.17919.pdf 以下、図版は全てこの論文から Llama2-70Bにおける比較 確かに、Llama2-70B-FT(フルパラメータチューニング)よりもLISAの方が成績が良くなっている。 その上、メモリー消費量はLoRAより低い 驚異的なのは、ウェイトに対して勾配(gradient)、最適化(optimiz

          shi3z

          LoRAよりいいらしいLISA

          shi3z

          BitNetでMNISTを学習させて見えてきた性質

          かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に

          shi3z

          BitNetでMNISTを学習させて見えてきた性質

          shi3z

          SakanaAI EvoLLM-JP-v1-7Bを試した。これからのマルチモーダルAIに必要なデータについて

          話題のSakanaAIが発表した進化学習型LLMを試しました。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM>>> tokenizer = AutoTokenizer.from_pretrained("SakanaAI/EvoLLM-JP-v1-7B")>>> model = AutoModelForCausalLM.from_pretrained("SakanaAI/EvoLLM-JP-v

          shi3z

          SakanaAI EvoLLM-JP-v1-7Bを試した。これからのマルチモーダルAIに必要なデータについて

          shi3z

          2024年のお正月

          2024年元旦のことを覚えているだろうか。 その日、僕は六本木のタワーマンションの一室で、六本木ヒルズと東京ミッドタウンを両睨みしながら、おせち料理を食べていた。ここはそのどちらでもなかった。眺めはいいし、コンシェルジュもいる。有名政党の党首ともエレベーターですれ違ったが、誰もが知ってるというわけではない何の変哲もないマンション。 ここに住む友達の家で毎年元旦と二日、酒を飲んでおせち料理をたべて過ごすのが最近のお正月のルーティーンになっているからだ。 その日は友人がとっ

          shi3z

          2024年のお正月

          shi3z

          デザインの話

          デザインという言葉がある。これには色々な意味があって、「design」の「de」とは、ラテン語で「下に」「内から外へ」「遠ざかって」などの意味があるそうだ。signの語源であるsignumは「印」「伝えるもの」といった意味がある。 転じて、「内から外へ伝えるもの」「天から降りてきた印」といった意味になるのだと考えられる。 僕は仕事柄、デザイナーと呼ばれる人たちとの付き合いが色々ある。デザイナーとは呼ばれなくても実際にはデザインの仕事をしている人との付き合いもある。 ただ

          shi3z

          デザインの話

          shi3z

          ComfyUI用に適当なことを入力するとそれっぽい長文SD呪文をGPTで生成するノード作った

          ComfyUIのプラグインの作り方はさっきまでで大体わかった。 それから別の仕事をいくつかしていたのだが、ふと思いついてGPTを使って呪文を「盛り盛りにする」プラグインを作ってみた。 例えば「金髪の可愛い女の子」というアホみたいな呪文に、「水彩風」という指示だけ与えたとする。すると、それがGPT-4によって以下のような呪文に変換される で、待ってると絵ができあがる。 もうちょっと強強にしたい場合はいつものように脅迫文法が使える まあ自分でプロンプト考えたくない時用かな

          shi3z

          ComfyUI用に適当なことを入力するとそれっぽい長文SD呪文をGPTで生成するノード作った

          shi3z

          ComfyUIプラグインの書き方/DALL-EプラグインとMemeplexプラグイン

          仕事で本格的にやろうって時にComfyUIから各種作画APIにアクセスできた方が便利なので以下のページを参考にやってみた。意外なところでハマったのでそこもメモ ComfyUIプラグインのディレクトリ ComfyUIのプラグインは、その名もcustom_nodeというディレクトリに置く。 ここに自分の作りたいプラグインの名前でフォルダを掘って__init.pyとnodes.pyを作る。 今回はMemeplexプラグインが仕事で必要になったのでmemeplexという名前に

          shi3z

          ComfyUIプラグインの書き方/DALL-EプラグインとMemeplexプラグイン

          shi3z