iPhone 18 Pro と Off Grid AI で始めるローカルLLM — モデルの選び方、ファイル名の読み方、自分でインストールするときの注意点

、、、、
Kentaro KitagawaMarkdown

iPhone の中だけで文章生成AIを動作させる「ローカルLLM」は、2026年になって実用的な選択肢になりました。この記事では、オープンソースのアプリ Off Grid AI を使う前提で、iPhone 18 Pro のメモリに収めて実行できるモデルの選び方をまとめました。

  • アプリ内の一覧から選んでダウンロードする方法
  • Hugging Face で自分で探して、ダウンロードしてインストールする方法
  • モデル名やファイル名（4B、E2B、A1B、Q4_K_M など）の読み方

この3点を中心に説明します。

—

目次

この記事の前提

推奨内容は、以下の前提に基づいています。前提が異なる場合は、各自で数値を置き換えて読んでください。

項目 前提
端末 iPhone 18 Pro（A20 Pro、メモリ 12GB）
アプリ Off Grid AI（2026年7月公開の v0.0.103 以降）
読み込みモード 標準の「Balanced」
情報の確認日 2026年10月24日
速度 筆者は iPhone 18 Pro での生成速度を計測を行わず、公式ドキュメントの A17 Pro 世代の数値を、生成速度の目安にする

モデルが日本語でどれだけ正確に応答するかについても、ベンチマーク結果を独自に検証したものではありません。各モデルの公開情報と、メモリに収まるかどうかの計算を根拠にしています。

—

1. Off Grid AI とは

Off Grid AI は、スマートフォンや Mac の中だけで AI モデルを実行するアプリです。MIT ライセンスで、ソースコードは GitHub で公開されています。

  • 文章生成：GGUF 形式のモデルを llama.cpp で実行（iPhone では CPU と Metal＝GPU を使用）
  • 画像の読み取り（ビジョン）：写真やカメラ映像について質問できる
  • 画像生成：Stable Diffusion（iPhone では Core ML を使用）
  • 音声入力：Whisper による文字起こし
  • ツール呼び出し：計算機、日時、端末情報、Web検索、知識ベース検索

外部との通信が発生する場面

文章の生成そのものは iPhone の中で行われます。ただし、Off Grid AI が外部と通信する場面は、モデルのダウンロードだけではありません。

通信が発生する場面 外部に送信される内容 発生する条件
モデルのダウンロード Hugging Face へのモデル情報の問い合わせと、モデルファイルの取得要求 モデルを一覧から選んでダウンロードしたとき
Web検索ツール 質問文から作られた検索語（Brave Search に送信され、上位5件の結果ページを取得する） ツール呼び出しに対応したモデルが、質問の内容から検索が必要と判断したとき
リモートモデル 入力した文章そのもの LM Studio や Ollama を動作させている別の機器や、クラウドのモデルを接続先に設定して使ったとき
Pro 版の連携機能 連携先のサービスとのやり取り Off Grid AI Pro でカレンダー、メール、MCP サーバーとの連携を設定したとき

特に注意が必要なのは Web検索ツールです。利用者が「検索して」と指示しなくても、最新の情報や時事について尋ねる質問では、モデルが自分の判断で検索を実行する場合があります。その場合、質問文をもとにした検索語が外部の検索サービスに送信されます。どの質問で検索が実行されるかは、モデルの判断で決まるため、利用者が事前に確定させることはできません。

外部と一切通信しない状態で使いたい場合は、モデルのダウンロードが完了した後に機内モードにするのが確実です。機内モードでは Web検索ツールの実行は失敗しますが、文章生成は機内モードのままでも実行できます。また、リモートモデルにはクラウドの印が付いて表示されるので、モデル選択画面で端末内のモデルと区別できます。

会話履歴は、アプリ専用の保存領域（iOS による暗号化の対象）に保存されます。

アプリ名の取り違えに注意

App Store には「OffGrid : Offline Chat AI」という、別の開発者による別のアプリも掲載されています。この記事で説明するのは、開発者が off-grid-ai（Ali Chherawalla 氏）の Off Grid AI です。GitHub のリポジトリ（off-grid-ai/OGAM）の App Store リンクからインストールすると確実です。

—

2. iPhone 18 Pro で、読み込めるモデルの上限を計算する

ローカルLLMで最初に確認すべき数値は、端末のメモリ容量とモデルのファイルサイズです。処理速度を見るより前に、モデルがメモリに収まるかどうかで、読み込んで実行できるかどうかが決まります。

2-1. iPhone 18 Pro のメモリ

iPhone 18 Pro と 18 Pro Max のメモリは、どちらも 12GB です（iPhone 17 Pro から増量はなし）。CPU・GPU・Neural Engine が同じメモリを共有する構造なので、この 12GB からOSや他のアプリの使用分を差し引いた残りが、モデルの読み込みに割り当てられる領域になります。

2-2. Off Grid AI の見積もり方法

Off Grid AI の公式ドキュメントには、ダウンロード前にメモリ使用量を見積もる計算式が記載されています。

モデルの種類 必要メモリの見積もり
文章生成モデル ファイルサイズ × 1.5
ビジョンモデル （本体ファイル ＋ mmproj ファイル）× 1.5
画像生成モデル ファイルサイズ × 1.8

1.5倍にしたときの増加分は、会話の文脈を保持する領域（KVキャッシュ）と、計算途中のデータの分です。

そして、モデルに割り当てる上限は 端末メモリの60% と記載されています。iPhone 18 Pro の 12GB で計算すると、次のようになります。

12GB × 60% = 7.2GB（モデルに割り当てる上限）
7.2GB ÷ 1.5 = 4.8GB（文章生成モデルのファイルサイズの上限）

つまり、ファイルサイズが約 4.8GB 以下の文章生成モデルであれば、標準設定のまま読み込めます。

2-3. 読み込みモードと「Load Anyway」

v0.0.103 では、モデルの読み込みに3つのモードが追加されました。

モード 動作
Lean メモリに置くモデルを常に1つに限定する
Balanced メモリに収まるモデルは同時に保持する。収まらないモデルは、使うときにメモリ上のモデルと交換する
Aggressive メモリのより大きな割合をモデルに割り当て、ファイルサイズが大きいモデルを読み込めるようにする

上限を超えるモデルには「Load Anyway（それでも読み込む）」が表示され、実際の空きメモリを測定したうえで読み込みを試みます。ただし、iOS のメモリ制限を超えて読み込めない場合は、読み込みが停止されます。

注意：上の「60%」はドキュメントに記載された値で、Aggressive モードで何%まで割り当てるのかは公開されていません。4.8GB を超えるモデルは、Aggressive モードか Load Anyway で読み込みを試し、失敗したらパラメーター数が小さいモデルに切り替える、という手順になります。

—

3. モデル名とファイル名の読み方

Hugging Face のモデルファイルには、次のような名前が付いています。

gemma-4-E4B-it-Q4_K_M.gguf
Qwen3.5-4B-Q4_K_M.gguf
LFM2.5-8B-A1B-Q4_K_M.gguf

それぞれの部分の意味は以下のとおりです。

3-1. 名前の各部分

部分 例 意味
ファミリー名・世代 gemma-4、Qwen3.5、LFM2.5 開発元のモデル系列と世代。世代を示す数字が大きいほど、公開時期が新しい
数字＋B 4B、9B パラメーター数。B は billion（10億）。4B は約40億個の数値でできたモデル。パラメーター数が多いほど応答の精度が高い傾向がある。ファイルサイズも増える
E＋数字＋B E2B、E4B Gemma 4 の表記で、実効パラメーター数（effective）。計算時に使われる量を示す。ファイルにはそれより多くの数値が含まれる（E2B は全体で約51億）
A＋数字＋B 8B-A1B MoE（専門家混合）モデルの表記。全体は 8B だが、1トークン（処理の1単位）の計算ごとに使うのは 1B 分だけ。必要なメモリは全体（8B）分。生成速度は 1B 前後のモデルと同程度
it / Instruct / Chat -it、-Instruct 対話用に追加学習したモデル。チャットで使うなら必ずこれを選ぶ
Base -Base 追加学習前のモデル。質問に答える形式で応答しないので、チャット用途では避ける
量子化の種類 Q4_K_M、Q8_0 数値を何ビットに圧縮したか（次の項で説明）
.gguf — llama.cpp 系アプリで使うファイル形式。Off Grid AI はこの形式のみ読み込める

3-2. 量子化（Q4_K_M など）の読み方

量子化とは、モデルを構成する数値を少ないビット数で表し、ファイルサイズを減らす処理です。ビット数を減らすほどファイルサイズは小さくなり、応答の精度は低下します。

表記 ビット数の目安 精度 7Bモデルのファイルサイズ 用途
Q2_K 2〜3 最も低い 約2.5GB メモリが非常に少ない端末
Q3_K_M 3〜4 低〜中 約3.3GB 動作確認用
Q4_K_M 4〜5 良好 約4.0GB 標準の選択肢
Q5_K_M 5〜6 とても良好 約5.0GB 精度を優先する場合
Q6_K 6 優秀 約6.0GB メモリ容量が大きい端末向け
Q8_0 8 圧縮前とほぼ同等 約7.5GB 最大精度

（数値は Off Grid AI 公式ドキュメントの表による）

表記の各要素の意味は次のとおりです。

  • Q の後の数字：ビット数。Q4 は約4ビット
  • K：「K-quant」と呼ばれる、比較的新しい圧縮方式。同じビット数なら K 付きを選ぶ
  • 末尾の S / M / L：Small / Medium / Large。同じ Q4_K でも、M は S よりファイルサイズが少し大きく、精度が少し高い
  • IQ4_XS などの IQ 系：ファイルサイズをより小さくする圧縮方式。同じファイルサイズでも精度の低下を抑えやすい。一方、端末によっては処理速度が低下する場合がある
  • UD-Q4_K_XL：Unsloth 社の「Dynamic」方式。重要な部分だけ、ビット数を多く割り当てる
  • i1 / imatrix：圧縮時に参照データを使って精度の低下を抑えたもの。日本語向けには日本語データを使って作成したものもある
  • F16 / BF16：圧縮前の形式。ファイルサイズが非常に大きく、スマートフォンのメモリには収まりにくい

3-3. ファイルサイズを名前から概算する

ファイルサイズが書かれていない場合は、次の式で概算できます。

ファイルサイズ（GB）≒ パラメーター数（B）× ビット数 ÷ 8

Q4_K_M は実際には1数値あたり約4.8〜5ビットになるため、4B の Q4_K_M ≒ 4 × 5 ÷ 8 ≒ 2.5GB と計算できます。ここに Off Grid AI の「× 1.5」を掛けて 7.2GB 以下に収まれば、標準設定で読み込めます。

MoE モデル（A1B など）と Gemma 4 の E 表記のモデルは、ファイルサイズが、名前の数字から計算した値より大きくなる点に注意してください。計算には全体のパラメーター数を使います。

—

4. モデルの選び方

次の3つの問いに順番に答えると、候補を限定できます。

問い1：何に使うか

用途 選ぶ種類
日本語での会話、要約、文章の下書き 多言語対応の対話用（it / Instruct）モデル
写真の内容説明、レシートや書類の読み取り ビジョンモデル（mmproj ファイルが付属するもの）
コードの補助 コード向けのモデル、または汎用モデルのうちパラメーター数が大きいもの
英語と日本語の翻訳のみ 翻訳専用で、パラメーター数が小さいモデル（例：LFM2-350M-ENJP-MT）

問い2：日本語で使うか

パラメーター数が小さいモデルほど、日本語の文法や語彙の誤りが増える傾向があります。日本語で使う場合は、開発元が日本語対応を明記している多言語モデルを選び、パラメーター数は 2B 以上を目安にしてください。また、日本語は英語より多くのトークン（モデルが処理する単位）に分割されることが多く、同じ文字数でも英語より生成に時間がかかります。

問い3：速度と精度のどちらを優先するか

  • 生成速度を優先する場合：パラメーター数が小さいモデル、または MoE モデル
  • 応答の精度を優先する場合：パラメーター数が大きいモデル、または量子化のビット数が多いもの（Q5_K_M 以上）

迷った場合は、同じモデルなら Q4_K_M、パラメーター数は 4B 前後から始めてください。標準設定で読み込めるファイルサイズに収まりやすい選択です。

補足：思考モード（Thinking）

Qwen3.5 などの一部のモデルは、回答の前に推論過程を生成する「思考モード」を持っています。思考モードをオンにすると応答の精度は高くなりますが、回答が完了するまでの時間は長くなります。Off Grid AI では、チャット画面から思考モードのオン・オフを切り替えられます。なお、Qwen3.5 の 0.8B〜9B は、初期設定で思考モードがオフになっています。

—

5. iPhone 18 Pro 向けのおすすめモデル

前提：Balanced モード、上限 7.2GB（ファイルサイズ 4.8GB まで）。

モデル 量子化 ファイルサイズ Off Grid の見積もり（×1.5） 標準設定で読み込めるか 位置づけ
Qwen3.5-4B Q4_K_M 約2.7GB（推定） 約4.1GB ○ 最初の1本の候補。生成速度も応答精度も不足しにくい。画像入力にも対応
Gemma 4 E2B Q4_K_M 3.11GB 約4.7GB ○ スマートフォンで実行することを想定して設計された Google のモデル。画像と音声の入力に対応。Apache 2.0
Gemma 4 E4B Q4_K_M 4.98GB 約7.5GB △（上限を少し超える） E2B より、生成する文章の正確さが高い。Aggressive モードか Load Anyway で読み込みを試す
Qwen3.5-9B Q4_K_M 約5.5GB（推定） 約8.3GB △ 応答の精度を優先する場合の候補。v0.0.103 で 9B モデルの動作の改善が明記されている
LFM2.5-8B-A1B Q4_K_M 約5GB（推定） 約7.5GB △ MoE。全体のパラメーター数は 83億、計算時に使うのは 15億。日本語の処理効率の改善が明記されている
Qwen3.5-2B / 0.8B Q4_K_M 約1.3GB / 約0.5GB（推定） — ○ 生成速度を優先する場合、および読み込めるかどうかの確認用

「推定」と付けたファイルサイズは、3-3 の計算式による概算値です。ダウンロード前に、Hugging Face の「Files and versions」タブで実際のサイズを確認してください。

用途別の選び方

  • 最初に読み込む：Qwen3.5-4B Q4_K_M、または Gemma 4 E2B Q4_K_M
  • 日本語で生成する文章の正確さを重視する：Gemma 4 E4B か Qwen3.5-9B を Aggressive モードで読み込みを試し、失敗したらパラメーター数 4B 前後のモデルに切り替える
  • 応答速度を重視する：LFM2.5-8B-A1B（メモリに収まれば、計算時に使うパラメーター数は 1.5B 前後）、または Qwen3.5-2B
  • 写真を読み取らせる：アプリ内のビジョンモデル（SmolVLM、Qwen3-VL-2B、Gemma 3n E4B など）。mmproj ファイルのダウンロードと本体への関連付けをアプリが自動で実行するので、自分でインストールするより手順の誤りが起きにくい

—

6. アプリ内で選んでダウンロードする方法

手順

  1. 画面下部の Models タブを開く
  2. 端末のメモリ容量に応じて選ばれた推奨モデルの一覧を確認する
  3. 必要に応じてフィルターで条件を指定し、表示するモデルを減らす
  4. 組織：Qwen、Meta、Google、Microsoft、Mistral、DeepSeek、HuggingFace、NVIDIA
  5. サイズ：Tiny / Small / Medium / Large
  6. 量子化：Q2_K〜Q8_0
  7. 種類：文章 / ビジョン / コード
  8. 信頼性：Official / Verified / Community
  9. モデルをタップし、必要メモリとダウンロードサイズを確認する
  10. Download をタップする

注意点

  • 推奨一覧に表示されるモデルは、アプリのバージョンによって異なる：公式ドキュメントの推奨一覧には Qwen 3、Llama 3.2、Gemma 3、Phi-4 Mini、SmolLM3 などが記載されています。Gemma 4 や Qwen3.5 が推奨一覧に表示されない場合は、フィルターや検索で探すか、7章の方法で自分でインストールします
  • 信頼性バッジを確認する：「Official」は開発元自身が公開したもの、「Community」は第三者が変換・改変して公開したものです。Community のものは、元のモデルから、応答の精度や回答の傾向が変更されている場合があります
  • Wi-Fi でダウンロードする：ファイルは数百MB〜数GBあります
  • ダウンロードはバックグラウンドで継続される：別の画面に移動しても、アプリを閉じても継続されます。強制終了で中断した場合は、失敗として表示され、再試行できます
  • アプリがストレージの空き容量をダウンロード前に確認する：空き容量が足りない場合は、ダウンロードが開始されません
  • ビジョンモデルは2つのファイルを同時にダウンロードする：本体と mmproj を並行してダウンロードし、両者を1つのモデルとして管理します
  • メモリの上限を超えるモデル：ダウンロード前に警告と、ファイルサイズがより小さいモデルの候補が表示されます

—

7. 自分で探して、ダウンロードしてインストールする方法

アプリの一覧にないモデル、新しく公開されたモデル、日本語向けに追加学習されたモデルなどは、Hugging Face から自分でダウンロードしてインストールできます（Off Grid AI では「Bring Your Own Model」と呼ばれています）。

7-1. 探し方

  1. Hugging Face（huggingface.co）で「モデル名 GGUF」と検索する（例：Qwen3.5-4B GGUF）
  2. 検索結果から、公開しているアカウントを確認する
  3. 開発元の公式アカウント（google、Qwen、LiquidAI など）
  4. llama.cpp 開発チームのアカウント（ggml-org）
  5. GGUF 変換で実績のあるアカウント（unsloth、bartowski、lmstudio-community など）
  6. 日本語モデルの GGUF 変換で実績のあるアカウント（mmnga など）
  7. モデルのページ（Model card）で、元のモデル名、ライセンス、対話用（it / Instruct）かどうかを確認する
  8. 「Files and versions」タブで、ファイル名とサイズを確認し、3-3 の計算で 4.8GB 以下か確認する

7-2. インストール手順

  1. iPhone の Safari で、目的の .gguf ファイルのダウンロードリンクを開き、「ファイル」アプリに保存する
  2. Off Grid AI の Models → Text Models → Import Local Model をタップする
  3. ファイルピッカーで .gguf ファイルを選択する
  4. アプリがファイルを Off Grid AI の保存領域にコピーし、ファイル形式を検証する
  5. ダウンロードしたモデルと同じ一覧に表示されるので、チャット画面上部のモデル選択から選ぶ

Mac で LM Studio などを使ってダウンロード済みのファイルがある場合は、AirDrop で iPhone に送信してから同じ手順でインポートできます。

7-3. 自分でインストールするときの注意点

ストレージ関連

  • インポート時にファイルがコピーされるため、一時的にファイルサイズの2倍のストレージを使います。インポートが完了したら、「ファイル」アプリ側の元のファイルを削除してください
  • 中断したダウンロードや手動配置したファイルが、アプリに認識されない「孤立ファイル」として残る場合があります。設定の Storage Settings にある「Scan for Orphaned Files」で確認できます。ただし、インポート直後のモデルがアプリ再起動まで孤立ファイルとして表示される場合があるので、削除前に一覧を確認してください

ファイル名と形式

  • ファイル名を変更しない：Off Grid AI は、ファイル名からモデル名と量子化の種類を読み取ります
  • 分割ファイルを避ける：-00001-of-00002.gguf のように分割されたファイルは、1つのファイルだけを選ぶインポート方式では読み込めない可能性があります。スマートフォンで使うことを想定したファイルサイズであれば、通常は1ファイルにまとまっているので、分割されていないファイルを選んでください
  • Base モデルを選ばない：名前に it、Instruct、Chat が付いたものを選びます

ビジョンモデル

  • 画像を読み取るには、本体ファイルとは別に mmproj ファイル（例：mmproj-BF16.gguf）が必要です
  • 手動インストールの場合、公式ドキュメントには「正しく命名されていれば自動で関連付けられる」とだけ記載されており、命名規則の詳細は記載されていません。mmproj が関連付けられなかった場合は、v0.0.103 以降で表示される Repair（修復）を実行してください
  • 画像の読み取りを、mmproj の関連付けに失敗しない状態で使いたい場合は、アプリ内からダウンロードするほうが手順が少ないです

モデルの対応状況

  • 公開直後のモデルは読み込めない場合がある：新しい構造のモデルは、アプリに組み込まれた llama.cpp のバージョンが対応するまで読み込めません。読み込みに失敗した場合は、アプリの更新を待ってください
  • メモリの見積もりは自分で行う：アプリ内からダウンロードする場合と異なり、手動インストールではダウンロード前にアプリがメモリ使用量を確認しません。読み込み時にアプリがメモリ不足と判定することがあるので、3-3 の計算を事前に行ってください

ライセンスと出所

  • ライセンスを確認する：Gemma 4 や Qwen3.5 は商用利用も可能なライセンスですが、モデルによっては商用利用に登録が必要なもの（例：一部の Japanese StableLM）や、利用規約への同意が必要なものがあります
  • 出所の不明なファイルを避ける：GGUF ファイルはプログラムではなくデータですが、元のモデルと異なる内容に改変されたファイルや、安全対策を取り除いたと称する改変版（名前に uncensored などが付いたもの）も公開されています。元のモデルが何で、誰が変換したのかが Model card で確認できるものを選んでください

通信量

  • モバイル回線でダウンロードすると、数GB分のデータ通信量を消費します。Wi-Fi 環境で行ってください

画像生成モデル

  • 画像生成モデルの手動インストールは、現時点ではアプリの保存領域へ自分でファイルを配置する必要があり、配置先の指定に慣れた人向けの手順です。画像生成はアプリ内からのダウンロードを推奨します

—

8. ローカルLLMとAIアライメント

8-1. アライメントとは

AIアライメントとは、モデルが何を答え、何を答えず、どのように言い換えるかを、開発元が学習の段階で調整することです。危険な作り方を答えない、差別的な表現を避けるといった安全のための調整も、特定の話題で決まった説明を返すような調整も、開発元が同じ仕組みで行います。

先に確認しておきたい点は、どのモデルも、開発元が決めた方針で調整されているということです。調整されていない中立なモデルというものは存在しません。違いは、調整の方針が公開されて第三者が検証できるかどうか、そして開発元が所在する国の法律が回答の内容を指定しているかどうかにあります。

8-2. ローカルで実行すると解消されること、解消されないこと

項目 クラウドのAIサービス ローカルLLM
入力した文章の送信先 サービス事業者のサーバー 送信されない。iPhone の中に保存される（Web検索ツールとリモートモデルを除く。1章参照）
会話履歴の保存先 サービス事業者のサーバー iPhone の中
学習で組み込まれた回答の傾向 モデルに含まれる 調整済みの状態のまま、モデルファイルに含まれる
開発元による後からの方針変更 利用者に知らされずに反映される場合がある ダウンロードしたファイルの時点で固定される

ローカルで実行すると、データの送信先の問題は解消されますが、回答の傾向の問題は解消されません。モデルファイルは、開発元が調整を終えた状態のものを手元にコピーしたものだからです。データの送信先と、回答の傾向は、別の問題として区別する必要があります。

8-3. 気づきにくいのは「拒否」ではなく「省略」

モデルが回答を拒否した場合、利用者はそのことに気づけます。気づきにくいのは、回答の文章は出力されるが、特定の視点や事実が省略されている場合です。文のつながりが自然なため、利用者は省略された部分があることを確認する手段を持ちません。

さらに、日常的な質問（レシピ、翻訳、文章の校正など）で正確な回答が繰り返されると、その経験から、ほかの話題でもモデルの回答を信頼しやすくなります。モデルは話題によって口調や確信度の表し方を変えないため、「この話題から先は回答の傾向に注意が必要」と利用者が判別する手がかりがありません。AIの出力を過剰に信頼して確認を省略してしまう傾向は、自動化バイアスと呼ばれます。

8-4. この記事で紹介したモデルの開発元

5章で紹介したモデルの開発元と所在国は次のとおりです。

モデル 開発元 所在国
Gemma 4 Google 米国
Qwen3.5 Alibaba 中国
LFM2.5 Liquid AI 米国

中国では、2023年8月15日に施行された「生成AIサービス管理暫定弁法」（国家インターネット情報弁公室など7つの機関が公布）が、生成AIサービスの提供者に対して、「社会主義核心価値観」を堅持すること、社会主義制度の転覆を扇動する内容や国家の安全を損なう内容、「社会の安定」を損なう内容を生成しないことなどを求めています。

この規定の対象は、中国国内で一般向けに提供されるサービスです。Hugging Face で公開されたモデルファイルそのものにも適用されるかどうかは、条文では明示されていません。ただし、Alibaba は Qwen を使った一般向けサービスを中国国内で提供しており、Qwen は、この規定に対応する必要がある事業者のもとで開発・調整されています。

一方、米国の開発元のモデルも、開発元自身の方針と米国の法律の下で調整されています。どちらの国のモデルにも調整が施されています。異なるのは、調整の方向と、その方向を決める主体です。

日本の利用者にとっての本質的な問題

ここからは筆者の見方です。前提として、筆者は「AIに相談するときの判断の基準を、日本国憲法が保障する個人の権利としたい」と考えています。この前提を共有しない読者は、以下の評価を自分の前提に置き換えて読んでください。

日本国憲法は、主権が国民にあることを定め、天皇を日本国と日本国民統合の象徴と位置づけています（この体制は、立憲君主制と説明されることもあります）。そのうえで、個人の尊重（13条）、思想・良心の自由（19条）、表現の自由と検閲の禁止（21条）、財産権（29条）を保障しています。表現を制限する法律は、国民が選挙で選んだ国会が定めるもので、その法律が憲法に反するかどうかは、裁判所で争うことができます（81条）。

これに対して、中国の規定が回答の基準として求める価値観は、日本の利用者から見て次の3点で性質が異なります。

  1. 日本の利用者が選挙で選んだ主体が定めたものではない
  2. 日本の利用者が、裁判などで異議を申し立てる手段がない
  3. 日本の利用者が、回答のどの部分にその基準が反映されたのかを確認する手段がない

問題の本質は、回答が「誤っている」ことではありません。個人と国家の関係をどう捉えるかという判断の前提が、利用者の知らないところで、利用者が選んでいない基準によって、回答に組み込まれている可能性があることです。AIを、考えを文章にして検討する道具として使うほど、その前提を利用者自身が自分の判断の前提として採用しやすくなります。

回答に違いが現れうる質問の例

以下は、筆者が個別のモデルで検証した結果ではなく、規定の内容から考えられる例です。実際にどのような回答になるかは、読者自身が複数のモデルに同じ質問をして確認してください。

質問の例 日本の制度での前提 回答に違いが現れうる点
自治体の計画に反対する署名活動や、議員への請願の進め方 請願権（16条）と表現の自由（21条）にもとづく正当な行為 集団での反対運動や政府への異議申し立てを、「社会の安定」を損なう行為として、推奨しない内容で説明する
公共事業のために土地の提供を求められたときの、所有者の権利 私有財産を公共のために用いるには、正当な補償が必要（29条3項） 所有者の権利の説明より、公共の利益を優先する前提で説明する
尖閣諸島、台湾、歴史認識など、日本と中国で政府の見解が異なる話題 日本政府の見解、学術的な議論、報道を、利用者が比較して判断する 中国政府の見解を、複数ある見解の一つではなく、説明の前提にする
子どもが宿題で、国や政治の仕組みについて調べる 複数の見方を比較して、自分の考えを持つことを学ぶ 一つの国の政府の見方に沿った説明を、子どもが比較する手段を持たずに受け取る

影響が小さい点も区別しておく

判断の材料を一方に偏らせないために、影響が小さい点と、中国製のモデルに限らない点も書きます。

  • データは開発元に送信されず、利用料も支払われない：ローカル利用では、入力した文章は開発元に送信されず、利用料も開発元に支払われません（1章の Web検索ツールとリモートモデルを除く）。中国のクラウドサービスを使う場合に生じる、データの保管先の問題は、ローカル利用では発生しません
  • 価値判断を含まない用途では影響が小さい：翻訳、要約、文章の校正、コードの補助などでは、上の問題が回答の内容に影響する可能性は低いと考えられます
  • 米国のモデルも、選挙で選ばれていない主体が方針を決めている：米国のモデルの方針を決めているのは民間企業です。また米国でも、2025年に連邦政府が調達するAIの条件を大統領令で定めるなど、政府がモデルの方針に影響を与える施策があります。ただし、一般向けの回答内容を法律で指定し、違反した事業者を処分する仕組みとは異なり、方針の公開や批判も可能です

つまり、この問題から「中国製LLMを使ってはいけない」という結論が直ちに導かれるわけではなく、価値判断を含む用途で、どのモデルの判断の前提を採用するかを選ぶための材料です。

筆者がこの記事で Qwen3.5 を「最初の1本の候補」に挙げているのは、限られたメモリでも得られる生成速度と応答精度、および画像入力への対応を重視したためです。アライメントの観点を重視する場合は、次の項の使い分けを前提にするか、Gemma 4 E2B を最初の1本に選んでください。

8-5. 改変版モデルで確認すること

Hugging Face には、元のモデルに追加の学習を行った改変版が多数公開されています。

  • 追加学習版（ファインチューン）：日本語での応答精度の向上などを目的に、第三者が追加の学習を行ったもの。元の開発元とは別の人が、別の方針で追加の調整を行っていることになります。誰が、何のデータで、何を目的に調整したかを Model card で確認してください
  • 安全対策を取り除いた版：名前に uncensored、abliterated、heretic などが付いたもの。安全のための拒否を取り除いたとされますが、拒否以外の回答の傾向がどう変化したかは、利用者には確認できません

8-6. 用途ごとの使い分け

用途 アライメントの影響 使い方
翻訳、要約、文章の校正、コードの補助、レシピ 影響は小さい どのモデルでも、追加の確認をせずに使ってよい
一般的な知識の質問 影響は中程度 パラメーター数が小さいモデルは、保持している知識が少ない。事実と異なるが、正しい文章のように読める誤りも生成する。重要な内容は別の情報源で確認する
時事、政治、歴史、国際関係、価値判断を含む相談 影響は大きい 開発元の所在国が異なる複数のモデルに同じ質問をして、回答の違いを比較する。違いが見られた点は、一次情報で確認する

最後の行の「複数のモデルの回答を比較して、違いが見られた点だけを人が詳しく調べる」という方法は、どのモデルが正しいかを決めるためではなく、省略された部分の存在に気づくための方法です。ただし、比較したモデルが同じ内容を誤って答えた場合は回答の差が生じないので、最終的な判断を人がモデルに任せてよいことにはなりません。

なお、Off Grid AI の Projects 機能で設定するシステムプロンプト（モデルへの事前の指示）は、口調や役割を変更できますが、学習で組み込まれた回答の傾向そのものを取り除くことはできません。

8-7. 関連する筆者の記事

アライメントやAIの使い方について、筆者が以前に書いた記事です。

—

9. 快適に使うための設定

設定は Settings → Model Settings → Text Generation にあります。

設定 推奨値 理由
Context Length（文脈の長さ） 2048〜4096 値を大きくするほど、参照できる過去の会話は増える。同時にメモリ使用量は増加し、処理速度は低下する。4096 以上は、メモリ 8GB 以上の端末で使う設定
KV Cache Type q8_0 f16 よりメモリ使用量が少ない。精度の低下は小さい。パラメーター数が大きいモデルを読み込むとき、メモリ不足を避けやすい
GPU（Metal） 自動 メモリ 4GB を超える iPhone では自動で有効になる
CPU Threads 4〜6 8 を超えても、処理速度の向上幅は小さくなる
Flash Attention オン 初期設定のまま

モデルが読み込めない場合は、次の順番で対処します。

  1. 読み込み済みの他のモデルをメモリから外す（Eject / Eject All）
  2. Context Length の値を小さくする
  3. KV Cache Type を q8_0 か q4_0 に変更する
  4. 量子化のビット数が少ないファイル、またはパラメーター数が小さいモデルに切り替える

—

まとめ

  • iPhone 18 Pro（メモリ 12GB）で Off Grid AI を標準設定のまま使う場合、文章生成モデルのファイルサイズは約 4.8GB までが目安
  • 最初の1本は Qwen3.5-4B か Gemma 4 E2B の Q4_K_M
  • それより大きいモデル（Gemma 4 E4B、Qwen3.5-9B、LFM2.5-8B-A1B）は、Aggressive モードや Load Anyway で読み込みを試す
  • ファイル名は、左から「ファミリー名、パラメーター数（B）、対話用かどうか、量子化」の順に並んでいる。E と A の付いた表記は、ファイルサイズが名前の数字から計算した値より大きくなる
  • 自分でインストールする場合は、公開元、ライセンス、対話用かどうか、ファイルサイズを確認し、ビジョンを使うなら mmproj ファイルの関連付けに注意する
  • Web検索ツールは、モデルの判断で外部に検索語を送信する。外部と一切通信させない場合は、ダウンロードの完了後に機内モードにする
  • ローカルで実行しても、学習で組み込まれた回答の傾向（アライメント）はモデルファイルに含まれる。時事や価値判断を含む質問は、開発元の所在国が異なる複数のモデルで回答を比較する

—

参考資料

  • Off Grid AI（GitHub）：https://github.com/off-grid-ai/OGAM
  • Off Grid AI v0.0.103 リリースノート：https://github.com/off-grid-ai/OGAM/releases/tag/v0.0.103
  • Off Grid ドキュメント（モデル管理）：https://www.mintlify.com/alichherawalla/off-grid-mobile-ai/guides/model-management
  • Off Grid ドキュメント（文章生成）：https://www.mintlify.com/alichherawalla/off-grid-mobile-ai/features/text-generation
  • MacRumors「iPhone 18 Pro and iPhone 18 Pro Max: Here’s How Much RAM Each Has」：https://macrumors.com/2026/09/09/iphone-18-pro-and-pro-max-ram/
  • Unsloth「Gemma 4 – How to Run Locally」：https://unsloth.ai/docs/models/gemma-4
  • Unsloth「Qwen3.5」：https://unsloth.ai/docs/models/qwen3.5
  • GIGAZINE「スマホでも動作する日本語対応小型AIモデル『LFM2.5-8B-A1B』が登場」：https://gigazine.net/news/20260531-lfm25-8b-a1b/
  • Wikipedia「Interim Measures for the Management of Generative AI Services」：https://en.wikipedia.org/wiki/Interim_Measures_for_the_Management_of_Generative_AI_Services
  • 生成AIサービス管理暫定弁法の英訳（米空軍大学 CASI）：https://airuniversity.af.edu/Portals/10/CASI/documents/Translations/2023-08-07%20ITOW%20Interim%20Measures%20for%20the%20Management%20of%20Generative%20Artificial%20Intelligence%20Services.pdf

関連記事の一覧

Views: 40