PyTorch の社内勉強会の題材にしたいと思い立ち、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いた自己対戦型強化学習の三目並べ AI を実装したので公開します。見通しの良いシンプルな実装を目指しました。結局、それなりのコード量になってしまいましたが。 動作環境 Google Colaboratory の CPUランタイムにて動作を確認しました。 概略 おおまかな処理フローは次図の通りです。盤面情報を受け取った先攻方策と後攻方策は、○×を書き込む場所を返します。この先攻方策と後攻方策に AI を実装し自己対戦させます。 盤面情報は、空白マスをゼロ、先攻 ○ を+1、後攻 × を-1とした形状 (H,W)=(3,3) の二次元配列とします。 盤面座標は、場合により二次元座標と1次元に展開したフラット座標を使い分けます。 三目並べの
はじめに みなさん様々な言語でAPIサーバーを立てて負荷試験を実施したことはありますか。 私自身、業務でPythonのアプリケーションに対して負荷試験を実施した経験があります。 その際にPythonの速度観点の不安定さを目の当たりにしたと同時に、別の言語ではどのような違いが生まれるのだろうか、という疑問を持ちました。 そこで今回は、簡単ではありますがGoとRustとPythonでそれぞれAPIサーバーを立てて負荷試験をしてみます。 負荷試験対象のAPIサーバー 今回は(1) Hello, World!を返すAPI(2) ファイル読み込みAPI(3)1秒待ってから応答するAPIの3つを実装します。 (1)はAPIサーバー自体の応答速度の計測、(2)はメモリを消費する処理が生じた場合のAPIの応答速度の計測、(3)は待ち時間発生している時のAPIの応答速度の計測することが目的です。 (2)につ
はじめに この記事で想定している読者の方: LangChainで簡単でもコードを書いたことがある人 LLM chainについてざっくりと理解している人 公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います。 stuff chain map reduce chain map rerank chain refine chain 今回は, 実際にstreamlitを用いて4つのchainを使用したchatアプリのデモ作成し, それを用いてchainごとの性能比較を行いました! 比較では単純な応答能力の比較に加えて, 生成時間やAPI料金の観点からも比較を行なったので, ぜひ読んでみてください! TL;DR 今回の実験は以下のgif画像のようなデモアプリを用い
LaTeX と Python で作る 1 ポイントたりとも表示崩れしない最強の帳票印刷ソリューション - Qiita
元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth
pdfminer.sixパッケージを用いて、PDFファイルからテキストや画像を抽出する方法を紹介する。 from pdfminer.high_level import extract_text from pathlib import Path # PDFファイルからテキストを抽出 source = Path('atmarkit_ebook116.pdf') text = extract_text(source) print(text) # extract_text_to_fp関数を使う from pdfminer.high_level import extract_text_to_fp dest = Path('out.txt') with open(source, 'rb') as fp_in, open(dest, 'wb') as fp_out: extract_text_to_fp
こんにちは、commmuneでデータサイエンティストをしているひぐです。 人間が苦手なマルチタスクをLLMに任せたら、効果的に処理してくれるのではないか?というモチベーションのもと、Pythonの非同期処理を使って並列かつストリーミングでChatGPTの回答を出力するアプリを作りました🤖 例えば下記は、ある課題を入力すると、深さ・広さ・構造・時間軸という異なる観点で解像度を上げてくれるアプリケーションです。 アプリに関する登壇資料↓ このアプリ作成にあたってPythonの非同期処理を勉強したところ、最初は多くの専門用語(コルーチン、イベントループ...)や独自の記法により、全体像をつかむのに苦戦しました。一方で、学んでみると予想以上にシンプルな記法で実装できること、そして応用範囲が広くて便利だと理解しました。 この記事では、そんな少し取っつきにくけど便利なPythonの非同期処理にフォー
Python約30行で作る Bedrock x Claude3 のStreamingチャットアプリ - Qiita
これまで見て見ぬふりをしてきた「Streamlit上でStreaming出力させる」プログラムを作ってみます。 ライブラリのインストール いつのまにか「langchain-aws」なるものが生まれているので今回は最終的にはそれを使います。 import boto3 import json bedrock = boto3.client(service_name='bedrock-runtime') body = json.dumps({ "anthropic_version": "bedrock-2023-05-31", "max_tokens": 4000, "messages": [{"role": "user", "content": "カレーの作り方を説明してください"}] }) response = bedrock.invoke_model_with_response_stream
PythonコードをWebAssemblyにコンパイルする「py2wasm」がWasmer社から発表された。WebAssembly版CPythonよりも約3倍高速だ。PythonコードをCPythonのAPIコールに変換するトランスパイラがベースになっている。 WebAssemblyランタイムの開発と提供を行っているWasmer社は、PythonのコードをWebAssemblyバイナリにコンパイルする「Py2wasm」を発表しました。 Announcing py2wasm – A #Python to #WebAssembly compiler that speeds up by 3x your Python apps!https://t.co/0v4YLZC7lY — Wasmer (@wasmerio) April 18, 2024 WebAssembly版CPythonよりも3倍高速
Back to articlesAnnouncing py2wasm: A Python to Wasm compilerpy2wasm converts your Python programs to WebAssembly, running them at 3x faster speeds Since starting Wasmer five years ago we've been obsessed with empowering more languages to target the web and beyond through Webassembly. One of the most popular languages out there is Python, and while it is certainly possible to run Python programs i
この記事について この記事では、プログラミング初心者の大学生である(であった)私が試行錯誤しながらなんとかスター数300越えのOSSライブラリを作った過程をまとめたものです。ライブラリ自体はまだまだ発展中のためこの記事も適宜更新してく予定です。ライブラリ自体の詳細というよりも、自作OSSの認知度を上げで他の人に使ってもらうために有用そうな知見をまとめていこうと思います。 ライブラリの概要 今私が作っているのは、AIJackという、機械学習モデルがもつセキュリティ・プライバシー上の脆弱性についての各種攻撃・防御手法を実験するためのPythonツールです。既存のライブラリの多くは特定の種類の攻撃や防御に特化したものが多く、複数のタイプの攻撃・防御を組み合わせて実験するためにはいくつものライブラリを組み合わせる必要がありました。そこでAIJackでは、できる限り統一的なAPIで様々な攻撃・防御手
Python初学者のためのメモ - Qiita
はじめに この記事は、大学1,2年生で大学の授業で少しプログラミングの授業を受けた学生に対して、pythonを実際に動かしながら実験データの解析をする方法を紹介している。 Colaboratoryを使ってpythonコードを実行する。 ColaboratoryはGoogleが提供している環境で、ブラウザ上でpythonを記述し、クラウドサーバー上でコードの実行を可能とする。自分の使っているパソコンの性能に依らず、GPUやTPUなどのGoogleのハードウェアを活用できることが一番のメリットである。 使い方 ブラウザ上でColaboratoryと検索し以下のページに行く。左上の”ファイル”を選択し、ノートブックを新規作成を選択する。 Googleドライブをマウントする。 Googleドライブ内のデータにアクセスするためにGoogleドライブに接続(マウントと言う)する。colaborator
1. はじめに 地理情報システム (GIS) で、使用するデータとして「Shapefile 形式」でデータ提供されていることがあります。この記事では、この Shapefile が、どのような構造となっているのかについて、説明していきます。 1.1. トポロジ構造とは Shapefile について説明していく前に、まずは GIS データ等でよく利用される「トポロジ構造」について説明しておこうと思います。 例えば、トポロジ構造を持つファイルとして、次のようなものがあります。 .gdb: ESRIのファイルジオデータベースは、トポロジを含む複雑な空間データを格納することができます。 .topojson: トポロジを保存するための拡張 GeoJSON 形式で、隣接する地物間の境界を共有することでファイルサイズを削減します。 .gml: 地理マークアップ言語 (Geography Markup La
Time in milliseconds to lint and format popular repositories. Lower is better. A hand-written parser also opens the door to future optimizations and improvements, especially in error recovery. Read on for discussion of the major changes, or take a look at the changelog. A hand-written parser # Parsers form the foundational layer of any static analysis tool, transforming raw source code into Abstra
はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ
個人的には、前者の方がわかりやすいので[]を使っていたのですが、 同じチーム内にlist()で書く人もいて、コードレビューのときに「結局どっちがいいんだっけ？」の議論になったので両者の違いをまとめようと思います。 結論 以下の観点から[]を使うルールにしました。 読みやすさ []は他の多くのプログラミング言語（例えば JavaScript、C++、Java など）でも配列やリストを表すのに使われており、一般的に慣れ親しんだ表現であること。 Pythonの教育/学習資料でも、空のリストを生成する標準的な方法として[]が紹介されている印象。 シンプルに[]の方が簡潔 一方で、list()はpython特有の記法であり、pythonに精通していない人は一瞬「？」となる。 パフォーマンス [] は list() よりも生成が速い。 検証してみた 両方の書き方でそれぞれ空のリストを100万回作成する
![pythonでリストを生成するときにlist()と[]どっちを使うか？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/75ac9bf62ceda76491d6e9925129b6a680e10f85/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9cHl0aG9uJUUzJTgxJUE3JUUzJTgzJUFBJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgyJTkyJUU3JTk0JTlGJUU2JTg4JTkwJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUE4JUUzJTgxJThEJUUzJTgxJUFCbGlzdCUyOCUyOSVFMyU4MSVBOCU1QiU1RCVFMyU4MSVBOSVFMyU4MSVBMyVFMyU4MSVBMSVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDMxOGVkYjFlZDNhYTViOWE2Y2Y0NDZhNmVjMjMyZmI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBpbmV0Y3BsJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01YjM2ZTQzNjE1MTdiNjk2NTA4YzI1MDE5MzMzNmJhNA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3De6afe42be266bfde8d0aa99d4afe72d5)
Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力
前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの？」というのが気になったので完全に興味本位でやってみます。 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度の2つの計算パターン 諸条件 2つのベクトルの配列間ですべての組み合わせのコサイン類似度を計算 baseline numpy sklearn xlr8 pytorch jax Numba 実行速度結果 2つのベクトルの配列間で同じインデックスの組み合わせのコサイン類似度を計算 baseline numpy jax Numba 実行速度結果 使用したコード 参考文献 感想 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度は下記のような式になります。 これがなんの
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
Excelは万能なので、商品金額をいくつか足し算したいだけでもExcelを起動することがあるだろう。しかし、業務でよく足し算するのなら専用ツールを作ってしまうと便利だ。本稿では、計算処理をしてメールに貼り付けするという一連の処理を自動化するツールを作ってみましょう。 専用の税込み金額計算ツール 汎用ツールと専用ツールを使い分けよう Excelのような汎用表計算ツールに習熟しておけば、あらゆる計算処理をExcelだけで処理できる。世界中のオフィスでExcelが活躍しているのは、その高い汎用性と豊富な機能によるところが大きいだろう。 これに対して、簡単な専用ツールを自作するならば、汎用ツールを工夫して使うよりも、何倍も効率が良く、素早くタスクを完成させることができる。専用ツールは、特定のタスクに特化させるため、操作性がよく画面もシンプルで使い勝手の良いものとなる。 それで、今回は、入力した商品
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。2019年に登場して以降、特に海外の開発者に支持されてきました。近年注目されている大規模言語モデル（LLM）の分野においても、JAXによるモデルが公開されていることは珍しくなくなりつつあります。 PyTorch（
時雨堂を支える Python
時雨堂では Python や Python で書かれたツールをどのように利用しているかを書き出しておきます。 何に使っているか 主力製品の Python SDK 主力製品の E2E テストに pytest 標準ライブラリのみを利用したビルドツール 主力製品のクラウド版のツール IT 自動化システム Ansible ドキュメントツール Sphinx なぜ Pyhton 使い慣れてるから pytest が本当に良くできてるから 必要なライブラリが揃ってるから SpaceX がツールやテストに Python を採用していたから We are the SpaceX software team, ask us anything! Python for tools, testing and automation Rye / Ruff / uv Rust で書かれたツールを採用しています。 astral
概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか？ この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した
PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のクリーンなコードで行えています。 GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA https://github.com/karpathy/llm.c 作者のアンドレイ・カルパシー氏はOpenAIの創設グループの一員で、テスラのAIディレクターだった事もある人物です。 llm.cを使用することで、245MBの容量を持つPyTorchや107MBの容量を持つcPythonを使用せずに大規模言語モデル
【Rye + uv + Ruff】Docker で VS Code の Dev Container 上に快適な Python 環境を構築する
0. はじめに 株式会社ディー・エヌ・エーに入社し，MLOps エンジニアをやっている @a5chin です． 本記事では，図 1 の様に VS Code の Dev Container 上に爆速で快適な Python 環境を構築することを目指します． 図 1: Dev Container 上で開発をすると Ruff による自動フォーマット[1]と pre-commit が走る 本記事の内容は全て上記リポジトリで簡単に試すことができるので，ぜひ clone して試して頂けたらと思います↑ Dockerfile 内で，Rye, uv, そして Ruff をインストールする手順を記述することで開発環境を標準化し，異なる環境間での一貫性を担保することができます． 0.1. 事前準備 本記事で作成したリポジトリを動かすためには，Docker Desktop と VS Code のダウンロード，VS
インターホンをスマホに通知する方法をものすごく丁寧に説明する【Raspberry Pi Zero WH 】 - Qiita
在宅勤務している人、多いですよね。 いつでも配達を受け取れてとても助かります。 しかし...2階で仕事をしていると、 インターホンの音が聞こえにくい！ 他のことに集中していると気づかない！！！！ せっかく配達に来てくれたのだから、一発で受け取りたいものです。 エンジニアらしく仕組みで解決しましょう！ 忙しい人のための超要約 インターホンの室内モニタのA接点を使用します（鳴ると接点が閉じる） RaspberryPi Zero WH を用いて、A接点のオンオフによりGPIOの出力3.3VをGPIO17に印加する回路を組みます GPIO17に印加されたことをPythonスクリプトで検知します 検知したらLINE Messaging APIを使用してpush通知を送信します この説明で理解できる人は、記事全体を読む必要ないと思います。 電子工作初心者でも理解しやすいよう丁寧に書き上げたので、ぜひご
連載目次 前回は、機械学習の基礎と、主要なPythonライブラリの概要を説明しました。 今回は、Pythonを使った機械学習プログラミングの基本的な流れを、実際にコードを書きながら体験的に学んでいきましょう。具体的には、データの読み込みと加工から、グラフによる可視化、統計的な数値計算、そして簡単な機械学習モデルの構築まで、基本的な一連の流れを体験できます（図1）。 今回で学べること 図1の通り、機械学習プログラミングの基本的な流れに沿って進めると、第1回で紹介した主要なPythonライブラリ（pandas、NumPy、Matplotlib、seaborn、scikit-learnなど）を各場面で使い分けることになります。 各ライブラリを深く理解して使いこなすためには、個別に詳しく学ぶことが必要です。ただし本連載では、詳細には触れず、実践で役立つ基本的な使用例に絞って説明します。もっと深く掘
本書はPythonのオンライン学習サービス「PyQ」の人気コンテンツである「数理的アプローチによる問題解決」を書籍化したものです。 近年、様々な問題を解決する手段として数理最適化（数理的アプローチ）が利用されるようになっています。本書ではこの数理最適化をPythonで実践し、問題を解決する体験ができる入門書です。 理論的な難しさから初心者が挫折しがちですが、本書では理論の詳細よりもPyhonのコードを中心に解説。コードを書いて問題解決をしてみることで、数理最適化への理解も深まります。 本書で取り上げる問題は「輸送費を減らす」「もっと食べたくなる献立をつくる」「お酒をわける」「シフト表を作る」といった身近なもの。学んだことを応用すれば、仕事や日常の問題も解決できるようになるでしょう。 目次 Prologue 第0章 本書の使い方 第1章 数理最適化による問題解決 第2章 数理モデルって何だろ
Python 3.13、最終アルファリリースに到達 ー JITコンパイラやインクリメンタルガベージコレクション、sqlite3バックエンドの導入など新機能多数
4月10日、Python 3.12.3および3.13.0a6リリースがリリースされた。 Python 3.12.3は300以上のコミットを含む最新のメンテナンスリリースで、これまでになく安定し、セキュリティが高く、バグが少ないバージョンである。 一方、Python 3.13.0a6は3.13の最終アルファリリースであり、新機能の追加期限まであと1ヶ月とされている。 以下に示すような数多くの改善や新機能が盛り込まれている。 Python 3.13.0a6の新機能 例外トレースバックのカラー化：エラーメッセージの可読性が向上し、デバッグがより容易になる。 実験的なJITコンパイラの追加：Pythonプログラムの実行速度の向上が期待される。 インクリメンタルガベージコレクション：大量のオブジェクトを扱うプログラムでのコレクションの停止時間を短縮。 ドキュメント文字列の先頭インデントの削除：メモリ
ECシステム開発チームのいまづです。 みなさん pip install してますか？ いやまあ pip 自体は使うにしても、依存管理は最近なら rye だろうとか uv 使おうぜとか聞こえてきますけれども、自社サービスを開発し続けていると、古くから存在し続けるリポジトリがあって、それらには requirements.txt しかないという状況がありまして。 今回はそれを整理したよ、というお話です。 残念ながら便利ツールで一気に解決できたというお話ではありません。 バージョン指定込みの requirements.txt 開発において人が必要と判断したものを単に追記していっただけの requirements.txt というのは扱いやすいですよね（バージョンを固定できていないという点を無視すれば）。 djnago python-dateutil requests boto3 みたいなやつです。
メモ代わりに使っていきます。 https://www2-kawakami.ct.osakafu-u.ac.jp/lecture/ キャパシタとコイルの式 コイルの式 L’i(t)=V(t) 電流(t)をtで微分した後にLをかけるとV(t)となる import numpy as np import matplotlib.pyplot as plt # 定数定義 ω = 2*np.pi # 角周波数 L = 1 # インダクタンス # 時間の範囲を定義 t = np.linspace(0, 2*np.pi, 1000) # 入力電流 i_t = np.sin(ω*t) # 出力電圧 V_t = L * np.gradient(i_t, t) # プロット plt.figure(figsize=(10, 5)) plt.subplot(2, 1, 1) plt.plot(t, i_t, labe
VS CodeのPythonおよびJupyter拡張機能の2024年4月版リリース FlaskとDjangoのデバッグ設定など機能強化
VS CodeのPythonおよびJupyter拡張機能の2024年4月版リリース FlaskとDjangoのデバッグ設定など機能強化：Jupyterのセル間依存関係分析など各種機能が向上 Microsoftは「Visual Studio Code」のPythonおよびJupyter拡張機能の最新版を公開した。FlaskとDjangoのデバッグ設定フローの改善、PylanceによるJupyterのRun Dependent Cells機能の向上、Hatch環境の検出などの機能を強化した。
ライブラリについて知る Pythonでデータ分析をする際は、データの整理や数値計算を簡単にできるライブラリを使うと便利です。ライブラリは、コードを簡略化や綺麗なグラフの作成にも役立ちます。 データ分析のための代表的なライブラリは、「NumPy」「Pandas」「Matplotlib」などです。 NumPy 数値計算や配列操作を行うためのライブラリで、高度な数学関数が利用できます。NumPyは、機械学習にもよく利用されるプログラミング言語で、大量のデータ処理にかかる時間もNumPyを利用することで短縮できます。 NumPyについて詳しくは、「Pythonの拡張モジュール「NumPy」とは？インストール方法や基本的な使い方を紹介！」をご覧ください。 Pandas 表形式の配列データを扱うライブラリで、データの読み込み切り出し、並び替え、欠損値の保管など様々なデータ処理に役立ちます。Pandas
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね
はじめに Pythonの型ヒントにおいて、Unionは複数の型を受け入れることができる便利な機能です。しかし、Unionの過度な使用は、コードの可読性や保守性を低下させる可能性があります。本記事では、Unionをなるべく使わないようにすべき理由について説明します。 内容 ここでは2つのUnionを使って欲しくないケースについて説明します。 ケース1 from typing import Union U = Union[str, int] # str | int でも可 def test_union_change(p: U): if isinstance(p, str): p = 1 v = "1" test_union_change(v)
これまで「Rubyは死んだ」、「Railsがオワコン」と定期的に言われて、そういった記事やSNSの書き込みにさまざまな意見が寄せられてきました。が、今年はRuby on Rails復活の兆しが見えてきました。我々paizaもRailsで開発をしているので嬉しい限りです。 【目次】 Ruby on Railsはオワコンと言われている背景 （１）他言語比較での言及数の少なさ （２）言語特性における短所を語られやすい （３）AIやデータサイエンスの普及 いい加減「Ruby on Railsはオワコン」とは言えなくなってきた背景 （１）面接リクエスト数の増加 （２）成熟した言語であり安定性がある （３）エンジニアスキルとして今でも求められている 「オワコン」は抽象的過ぎる表現 Ruby on Railsはオワコンと言われている背景 「Ruby on Railsはオワコン」という言説に関して、あえて
本記事はFireDucksユーザー記事シリーズの第1弾です．本記事はBell様に執筆して頂きました． データ処理と分析をする際に、多くの方がPythonを使ていると思います。中でも、PandasライブラリはPythonを用いたデータ処理においてなくてはならないものになっています。Pandasには便利な関数が多数あり、複雑なデータセットを効率的に処理・分析することができます。 しかし、Pandasの使用にあたっては、大規模なデータセットを扱う際にパフォーマンスが課題になることがあります。特に、データの読み込みや変換、集約などの処理を行う際、処理時間が問題となることが少なくありません。このような背景から、色々な手段を用いてより高速に処理を行う方法が試みられてきました。 NECが開発した「FireDucks」は、データ処理の世界に新たな風を吹き込んでいます。FireDucksは、PandasのA
連載目次 本シリーズと本連載について 本シリーズ「Pythonデータ処理入門」は、Pythonの基礎をマスターした人を対象に以下のような、Pythonを使ってデータを処理しようというときに便利に使えるツールやライブラリ、フレームワークの使い方の基礎を説明するものです。 Pythonだけを覚えれば何でもできるわけではない、というのはハードルが高く感じられるかもしれません。それでもプログラミング言語に関する基礎が身に付いたら、後は各種のツールを使いながら、言語とツールに対する理解を少しずつ、しっかりと深めていくことで自分がやれることも増えていきます。そのお手伝いをできたらいいな、というのが本シリーズの目的とするところです。 なお、本連載では以下のバージョンを使用しています。 Python 3.12 pandas 2.2.1 pandasとは pandasはデータ分析やデータ操作を高速かつ柔軟に
Python普及しろ協会に入会したい
この記事はタナイ氏によるPython滅ぼす協会に入会したいを読んでから執筆したものです。 この記事の趣旨はPython滅ぼす協会に入会したいに対する反論という形をとりながら、タナイ氏により「バカの言語」と揶揄され、「使ってエンジニアを名乗るというのは」「滑稽」とまで言われたPythonの立場を再考することです。 追記 本記事は「Pythonはこれだけ優れた言語だからみんな使おう！」というものではなく「言うほど酷くないと思うよ」程度のものです。 型アノテーションがあるからと言って静的型付けを軽視しているわけでもなければ、map関数をもってmapメソッドを不要だと言っているわけでもありません。 この記法は嫌い〜この記法が好き〜と表明することは個人の自由ですが、同様に「この記法は実はこういう意味があって〜」という意見があればそれを聞いた上で、物事を判断して欲しいです。もちろん、聞いても意見が変わ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自己対戦で強化学習する三目並べ AI をPyTorchで実装 - Qiita
Go、Rust、Pythonで実装したAPIサーバーの負荷試験比較 - Qiita
LangChainを用いた4種類のRAG質問応答chainの実装と性能比較
［解決！Python］PDFファイルからテキストや画像を抽出するには
Pythonの非同期処理の基礎とOpenAI APIへ並列リクエストする実践例
PythonのコードをWebAssemblyにコンパイルする「py2wasm」、Wasmerが発表
Announcing py2wasm: A Python to Wasm compiler · Blog · Wasmer
初心者大学生が作った機械学習ライブラリがGitHubでスター数300を超えた話 - Qiita
GIS に欠かせない Shapefile を深堀ってみる - Qiita
Ruff v0.4.0: a hand-written recursive descent parser for Python
僕の考えた最強の Python 開発環境 (2024)
pythonでリストを生成するときにlist()と[]どっちを使うか？ - Qiita
Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か
コサイン類似度のいろんな書き方 - どこにでもいるSEの備忘録
PandasからPolarsへ移行した方がいいのか - Qiita
ゼロからはじめるPython(116) 金額合計ツールでExcel要らず - 合計/整形/コピーのツールを作ろう
今こそはじめるJAX/Flax入門 Part 1
LightGBMをGPUで回すと結果の再現性が得られない - Qiita
scikit-learn入門＆使い方 ― 機械学習の流れを学ぼう
PyQの大人気コンテンツが書籍化、初めてでも楽しめる『Pythonで学ぶ数理最適化による問題解決入門』発売
pip freezeして作られたであろう requirements.txt をどうにか整理する話
Pythonで理解する電気回路 - Qiita
PHPの時代は終わった？ プログラミング言語のランキングで、2001年以来の最低シェアを記録【やじうまWatch】
Pythonを使った株価のデータ取得や分析・予測方法を徹底解説！｜Udemy メディア
PythonのUnionをなるべく使わないで欲しい件について - Qiita
Rubyは死んだ、Railsはオワコンと言われていたが、復活してきた件 - paiza times
pandas高速化の新星、FireDucksに迫る｜FireDucks
［pandas超入門］Pythonでデータ分析を始めよう！ データの読み書き方法