カーオーディオにCDやDVDといったディスクメディアの入らないディスクレス仕様が増えてきている。このままDVDは使えなくなる!? ディスプレイオーディオ台頭でどうするファミリー層 - 自動車情報誌「ベストカー」音楽はBluetooth等で連携させる仕様。時代の流れだが、僕はこの流れに大反対。そもそもレスという文字が中に入っている言葉全般が好きではない（人名除く）。セックスレス、ストレス、ドレスコード、嫌いなものばかりだ。車を運転するときはいつも音楽を聴いている。CDから取り込んだファイルやDVDやBlu-rayを再生している。それらは通勤やドライブの思い出の一部だ。まだ小さかった甥っ子が車の中で泣き喚いたとき、後部座席のモニターにファインディングニモを流して泣き止ませたのも懐かしい。そういう家族や友人との運転にまつわる想い出も失われてしまうような気がする。僕の愛車のミニバンはCD、DVD、

ラヴジョイ、ちょろちょろ続いております。 cruel.hatenablog.com で、第5章にやってきました。この章はライプニッツとスピノザという大物が登場するのでなんかすごい哲学的な大バトルが出て、存在の大いなる連鎖という思想そのものに関わる話になるんじゃないかなー、と期待していたら、意外につまんなくてちょっとがっかり。 (ライプニッツとスピノザ) まあ、まずは訳を読んで下さい。もう章ごとに切るのは面倒だからやめた。全文あげておくから読んでね。 ラブジョイ『存在の大いなる連鎖』(山形浩生訳) パワポ作るところまで手がまわっていないが (そのうち作ります……つーか、だれか作ってくれないかなー)、実はかなり中身はシンプルです。この章の基本的な話は次の通り。 ライプニッツは、充満の原理から、宇宙の万物は理由があって必然的存在するという「充分理由の原理」というのを編みだした。 理由があって必然

はじめに ついにこの時が来ましたね。 Azure Cognitive Search にベクトル検索機能が実装され、近似最近傍探索（ANN）が可能になります。これによって、Azure OpenAI Serivce の Embeddings API で生成したベクトルの永続的なフルマネージドベクトルデータベースとして利用できるだけでなく、既存の BM25 ベースの全文検索とのハイブリッド検索が可能になります。 2023/11/15 GA どなたでもお使いいただけます。 ポイント ベクトルデータベース Azure OpenAI の Embeddings モデル text-embedding-ada-002(1,536 次元) や Computer Vision (Vectorize Image API) で生成した画像ベクトルなどの保管先にできる ハイブリッド検索 キーワード検索とベクトル検索を

本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LLMが外部ツールを使って回答を生成するときの、回答精度を高める手法についての論文です。Metaの研究者らによって2024年1月に提案されました。「Chain-of-Abstraction (CoA)」という手法を使うメリットは、RAGに応用することで

本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。 セミナー実施済の動画はこちら。 もくじ 1. はじめに 2. 仕組み 3. 構成 4. コード概説 5. 文章でRDBにクエリを実行してみる 6. その他のDML、DDLに相当する文章も試してみる 7. 番外編 CohereのLLMを使ってみる 8. さいごに 1. はじめに 2017年Google社がTransformerを世に送り出して以降、主に自然言語処理を専門としている一部のエンジニア界隈だけ？で水面下で盛り上がっていた大規模言語モデル(LLM)の技術エリアは、2022年暮れにリリースされたOpenAI社のChatGPTによって一気に花開き、世界中に知れ渡ることになりました。 そして2023年現在、世界は空前のAIブーム。L

本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり

はじめにどうも、山口です。 みなさん、LLMを使ったアプリを作ったことはありますか？ 今回はLLMアプリの登竜門であるRAGへ入門することを目指して書いていき たいと思います。 話す内容はざっくり以下の通りです。 RAGの仕組み RAGの実装 「RAGあり」と「RAGなし」の回答を弊社のリサーチャーの方々にどちらが回答として正しそうか判断してもらいました！ RAGのユースケース RAGの評価(分量少なめ) RAGのセキュリティ(分量少なめ) RAGについて知っているだけで、LLMを使ったアプリのアイデアの幅が上がるので、ぜひここで押さえておきましょう！ 弊社のリサーチャーの方々に「RAGあり」と「RAGなし」でどちらが回答として正しそうか判断してもらいましたのでぜひ読んでみてください！ RAGの仕組みRAGとは？RAGはRetrieval-Augmented Generation の略で、

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS

生成AIの隆盛に伴い、ベクトル検索やベクトルデータベースが注目されています。 ベクトルについてより理解するために簡単なデモサービスを作ってみました。 この記事では作ったサービスをもとにベクトルについて説明し、後半では生成AIとベクトルの関連について紹介します。 つくったもの 「しもふりサーチ」 - お笑いコンビ「霜降り明星」のYouTubeチャンネル、「しもふりチューブ」の過去動画を検索できるサービスです。 このサービスには以下の2つの機能があります。 1. 文章での動画検索 文章で動画を検索する 「粗品さんがクイズを出題する回」 や　「せいやさんがギターを弾く回」 など、自然言語で動画を検索できます。 2. 関連動画レコメンド 内容の近い動画をレコメンドする 動画を選ぶと、過去動画の中から内容の近い動画をレコメンドします。 これらの機能はベクトル検索で実現されています。詳細を説明していき

このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。

はじめに データソリューション事業部の力岡です。 近年、大規模言語モデル（LLM）の企業での利用が拡大しており、特にRetrieval Augmented Generation （RAG）と呼ばれる手法を利用した特化型LLMシステムの構築が注目されています。RAGは、企業独自のデータや外部データを利用して情報を生成することができ、知識の取得と活用において優れた性能を発揮します。 今回は、RAGシステムの核心となる文書検索の手法の一つとして、ハイブリッド検索をPythonで実装してみたので、その内容を紹介したいと思います。ハイブリッド検索は、Microsoftが提供するAzure Cognitive Searchなどの一部のサービスには標準搭載されていますが、今回はそれらは使わずにLangChainなどを利用して実装を進めていきたいと思います。 ハイブリッド検索とは ハイブリッド検索の定義は

はじめに ChatGPTで生成AIが一気に注目を浴びて、いろいろ試しに使ってみた方は多いと思います。生成AIの使い方は多岐に渡り、非常に有効なところもあればそうでないところもあります。 例えば、文章の要約、プログラムの作成、翻訳等既に業務で使えるレベルのものも多いです。それに反して、最新の情報やインターネットに出ていない機密情報というのには弱いというところもあります。 ここでは最新情報や機密情報を生成AIで使えるようにするRAG (Retrieval Augmented Generation)をElasticsearchで実現する方法を解説いたします。 こちらの内容は弊社Webinarでも公開しております。 https://www.elastic.co/jp/virtual-events/delivering-generative-ai RAGやElasticsearchについて既に良くご

おはようございます、いつきです。 今回は以下の記事を参考に、ChatGTPで自社データを使うとどうなるのか調べていこうと思います。 Azure Cognitive Searchの作成自社データを活用する事前準備としてCognitive Searchを作成する必要があります。freeプランだとAzure Open AIの自社データとして使うことができなかったので、今回はBasicを選択しました。 また、Cognitive Searchは停止できず、延々と課金されるので、検証が終わったら即時削除しましょう。 自社データをAzure Blob Storageに格納自社データとして、Azure上のコンテナに格納されたファイルを活用する形としました。 今回は、Azure のストレージにコンテナを作成し、そこにファイルをアップロードしました。アップロードしたファイルは疑似個人情報と、規程類一式になりま

We're thrilled to announce the much-anticipated Azure OpenAI Service On Your Data is now generally available! The groundbreaking feature empowers you to leverage the power of OpenAI models, such as GPT-4, and incorporates the advanced capabilities of RAG (Retrieval Augmented Generation) model, directly on your data with enterprise-grade security on Azure. This cutting-edge capability transforms th

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ

企業における生成AI（人工知能）活用の機運が本格化する中、大規模言語モデル（LLM）が回答を生成する際に、ユーザーの質問文に応じて知識情報を参照する「RAG（検索拡張生成、Retrieval Augmented Generation）」の仕組みに注目が高まっている。日本オラクルは2024年2月、同社の生成AI戦略や企業の生成AI活用について語るイベント「Data & AI Forum」を開催。同社の生成AIサービス「Oracle Cloud Infrastructure（OCI） Generative AI」などを中心に、企業の生成AI活用とデータの利用方法について説明した。 生成AI活用と企業内データとの連係は切っても切れない関係にある。日本オラクルは強みとするデータベースを通してRAGの実装を容易にする機能を提供し、企業における生成AI活用ニーズの受け皿になりたい考えだ。 同イベントで

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう

名ギタリストにはそのプレイを象徴するギターモデルがあるように、トラックメイカーのなかにも、キャラクターやアイデンティティと直結する機材を持つ人がいる。 常に型破りでありながら、聴き手を選ばない不思議な味わいのあるトラックを作り続けてきた食品まつりa.k.a foodman。 彼の傍には、いつもKORGのサンプラー「ELECTRIBE ESX-1」という愛機がいる。 各メーカーが小型かつ多機能、高音質のグルーヴボックスの開発を競うように売り出している今、スペック面だけを見れば時代遅れのその機材を、なぜ使い続けるのか。 デジタル機材とのプリミティブで愛に溢れた関係性と、そこで生まれるクリエイティビティについて大いに語ってもらった。 制作とライブにおける、ESX-1の使い方 食品まつりさんのライブセットといえば、ELECTRIBE ESX-1（以下、ESX-1）一台、またはそこにラップトップやサ