Ollamaを使ったローカルLLMを試してみた
はじめに
ChatGPT3.5と同等の性能があるのにローカルで動作する軽量モデルがあるとのこと。
実行速度も常識的な範囲内に収まるのであれば企業の投資判断に使いたいなと考えています。
EDINETから取得した事業内容などから、地政学、事業成長性などを鑑みて株式投資判断するべきかをスコア化してもらいたい。 ChatGPT4のAPIを使ってやろうとすると、全企業分やろうとすると無限に金が飛びそうなのでローカルで動かせると安心感があります。 動くのかって問題は十二分にあるようなので試していきましょう。
動作環境
この記事にあるPCを使っています。 当時、奮発して買ったものなのですが、すでに２年前の型落ちモデルに片足が沈みだしています。
【予算20万】最新自作PC！12世代 intel i7と、6世代 intel i7との性能を徹底比較
性能は上記ブログ記事のとおりです。
導入手順
Windows版はインストーラーを入れるだけです。簡単ですね。
DLしてきてSetupするだけで準備完了です。 WSLがあるなら、Liunux版を導入する手順で良いかと思います。
modelのダウンロード
phi3を導入します。
ollama run phi3
pulling manifest
pulling 4fed7364ee3e... 100% ▕███████████████████████████████████████████▏ 2.3 GB
pulling c608dc615584... 100% ▕███████████████████████████████████████████▏ 149 B
pulling fa8235e5b48f... 100% ▕███████████████████████████████████████████▏ 1.1 KB
pulling d47ab88b61ba... 100% ▕███████████████████████████████████████████▏ 140 B
pulling f7eda1da5a81... 100% ▕███████████████████████████████████████████▏ 485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
しばらくするとこのような文字がでて利用できるようになります。 他のモデルはgithubに一覧として記載されているので必要に応じてDLして利用できるようです。
実施結果
動画を用意しました。
>>> hello
Hello! How can I assist you today? Whether it's information, advice, or just a friendly chat, feel
free to let me know what you need.
>>> hello
Greetings! If there is anything specific on your mind, be it technical support, general
knowledge inquiries, or even casual conversation starter topics, I'm here to help. Just say the
word and we can get started.
>>> how to use
Using a tool or service effectively often depends on what you're trying to achieve. However, I
can provide general steps:
1. Identify your goal: Clearly define why you need the tool and what result you are aiming for.
2. Research: Look up information about how others have used it successfully to meet similar
goals. This could involve reading online tutorials or user manuals.
1. Setup: Install, configure, or set up the tool according to its instructions or best
practices. For more complex tools, consider seeking assistance from professionals if needed.
1. Practice: Spend some time experimenting with the features and functions of the tool until you
become familiar with it.
1. Integrate: Learn how to integrate this tool into your existing processes or workflows for
maximum efficiency.
1. Monitor & Adjust: Regularly check if the tool is meeting your goals effectively, and make
adjustments as necessary.
翻訳しておきます。
>>> こんにちは
こんにちは！本日はどのようなご用件でしょうか？情報でも、アドバイスでも、ただのフレンドリーなおしゃべりでも、お気軽にどうぞ。
お気軽にお知らせください。
>>> こんにちは
こんにちは！技術的なサポートでも、一般的な知識に関するお問い合わせでも、あるいは何気ない会話のきっかけになるような話題でも。
技術的なサポートでも、一般的な知識に関する質問でも、あるいは何気ない会話のきっかけになるような話題でも。ただ一言
と言ってください。
>>> 使い方
ツールやサービスを効果的に使うには、何を達成しようとしているかに左右されることが多い。しかし
一般的な手順を紹介しよう：
1. 目標を明確にする：なぜそのツールが必要なのか、どのような結果を目指しているのかを明確にする。
2. リサーチする： 同じような目標を達成するために、他の人がどのようにそのツールを使って成功したかという情報を調べる。
情報を調べる。オンラインチュートリアルやユーザーマニュアルを読むのもよい。
3. セットアップ： 説明書やベストプラクティスに従って、ツールのインストール、設定、セットアップを行う。
ベストプラクティス。複雑なツールの場合は、必要に応じて専門家の支援を求めることも検討する。
4. 練習： ツールの特徴や機能に慣れるまで、時間をかけて試してみる。
慣れる。
5. 統合する： このツールを既存のプロセスやワークフローに統合し、最大限の効率化を図る方法を学ぶ。
最大の効率を得る。
6. 監視と調整： ツールが効果的に目標を達成しているか定期的にチェックし、必要に応じて調整する。
必要に応じて調整する。
他の質問も試してみましょう。
what is doraemon
Doraemon is a popular Japanese manga series created by Fujiko F. Fujio in 1969. It follows the
adventures of a robotic cat named Doraemon who travels back in time from the 22nd century to
help a young boy, Nobita Nobi. The stories often feature futuristic gadgets and technology that
solve various problems Nobita faces. Beyond its popularity as manga and anime, it has inspired
numerous merchandise, TV shows, video games, and even theme park attractions around the world
ドラえもん』は、1969年に藤子・F・不二雄によって創作された日本の人気漫画シリーズである。ドラえもんは
野比のび太少年を助けるために22世紀からタイムスリップしてきたロボット猫ドラえもんの冒険を描く。
少年のび太を助ける。ストーリーにはしばしば、のび太が直面する様々な問題を解決する未来的なガジェットやテクノロジーが登場する。
のび太が直面する様々な問題を解決する。漫画やアニメとしての人気だけでなく、数多くのグッズやテレビ番組、ビデオゲームにも影響を与えている。
数多くのグッズ、テレビ番組、ビデオゲーム、さらには世界中のテーマパークのアトラクションにまで影響を与えている。
概ね正しい回答が得られますね。この実行速度なら実用に耐えられますね。 ビデオゲームにも影響を与えているという言い方は気になりますが、ファミコンやスーファミでソフトが出ていたのが懐かしいですね。 中国系のテーマパークにドラえもんのようなアトラクションの画像も話題になってましたよね。
VSCodeから使えるように整える
Continueを導入したらVSCodeから使えるようになります。 VSCodeから探せば見つかります。githubはこのリンクから飛べばOKです。
導入はこんな感じです。
Fully Localでいいか。場合に合わせて選択してください。
コマンドを実行してくれといわれますので、とりあえずボタンをポチポチ押しください。 押しても実行されることはなく、VSCode内のTerminalに文字列が打ち込まれるだけです。
実行してもしなくともVSCode上は進めるので、画面遷移しましょう。
実行したらコマンド画面になりますので、＋からOllama Phi3を選択して準備完了です。
聞きたいことを適当に打ち込みましょう。
簡単な命令なら出せますね。速度も出るし、プログラムのたたき台を作ってもらうのには使えそうです。 英語だと更に精度が良くなるらしいので勉強したほうが良いですね。
まとめ
株の財務情報を直接流し込んでもAppleとかアメリカの主要銘柄の話を始めてしまったので質問などの調整は必要そうです。
実用に耐えられないわけでもないので、少し検証は必要です。株式投資判断の一部に使えるかといわれたらキツそうではありますね。 ただ、速度が早いので英語学習とかそういった要素には使い道があるんじゃないかと思います。
AI Tuberみたいな皮をかぶせて、音声合成で喋らせる文章生成をPhi３にまかせて、音声入力で会話をできるようなアプリも夢ではなくなってきましたね。
とにかく、速度も申し分なく、ローカルで動かすLLMにしてはそこそこの精度が出ています。
ChatGPTやllama3などと比べるとたしかに回答は物足りないですが、ローカルでそこそこの回答も得られるのでバランスとてもいいですね。 これは冗談抜きで、英語勉強しないと今後どんどん辛くなりそうです。
amazon.co.jp
