Local LLM
ローカルLLM構築
扱うデータを社外に出せない。その制約があるまま生成AIを使いたい場合に、自社の環境内でLLMを動かす構成をご用意します。
ローカルLLMとは
外部のクラウドサービスを使わず、自社のサーバや端末の中でLLMを動かす形態です。入力した内容が社外に出ないため、顧客情報や設計資料など、外部サービスに預けられないデータも扱えます。
どういうときに向くか
情報の持ち出しが規程で禁じられている、取引先との契約で外部サービスの利用が制限されている、閉域ネットワーク内で完結させる必要がある、といった場合です。逆に制約がなければ、クラウドのサービスを使うほうが安く早く済みます。判断の段階からご相談ください。
対応範囲
用途に合うモデルの選定、必要な計算資源の見積り、社内システムからの呼び出し口の用意、社内文書を検索して答えさせる仕組み（RAG）の構築まで対応します。
導入前に確かめること
ローカルLLMはクラウドの最新モデルと比べると性能で劣ります。求める精度に届くかを、本格的な構築の前に小さく試して確かめる進め方をおすすめしています。
よくあるご質問
- どのくらいのGPUが必要ですか？
- 動かすモデルの規模と、同時に何人が使うかで変わります。用途を伺えば必要な構成の目安をお出しします。
- クラウドのAIと比べて性能は落ちますか？
- 同じ時期のモデルで比べると、一般に落ちます。用途によっては十分実用になるため、小さく試して確かめることをおすすめしています。
- 社内の文書を読ませることはできますか？
- できます。社内文書を検索して回答に使う仕組み（RAG）の構築まで対応しています。
開発のご相談は無料で承っています。内容が固まっていない段階でも構いません。
