2.4兆パラメータのほうは4.89テラバイトあって、個人にはどうにもなりませんでした。 でも弟分の27Bは17GB。しかもapache-2.0で、もう9万回落とされています。
この記事でわかること
1
Qwen3.8には大きく2つあります。話題になったのは2.4兆パラメータのフラッグシップですが、 実際に使われているのは27Bのほうでした。数字がそれをはっきり示しています。
| Qwen3.8-27B | Qwen3.8-2.4T | |
|---|---|---|
| いいね | 9,895 | 611 |
| ダウンロード | 91,917 | 978 |
| ライセンス | apache-2.0 | 独自(条件つき) |
約16倍の差。みんなが欲しかったのは、巨大なほうではなく手元で動くほうだったわけです。
2
| Qwen3.8-27B | Qwen3.8-2.4T-A95B | |
|---|---|---|
| 構造 | 27B デンス(全部使う) | 2.4兆 MoE(512人中11人が働く) |
| 公式重みの実サイズ | 55.6 GB | 4.89 TB |
| 4bitに量子化すると | 約17 GB | 1bitでも 508 GB |
| 画像・動画 | 読める(ネイティブVLM) | 重み版は読めない |
| 個人で動くか | ◯ | ✕ |
2.4兆のほうは1ビットまで潰しても508GB・12分割。もう個人の機材の話ではありません。
3
LM Studioで Qwen3.8 と検索すると候補が大量に出てきます。
全部同じモデルの圧縮率違いです。実サイズを測ると、こうなっています。
| LM Studio上の表記 | 実体 | サイズ | 誰向け |
|---|---|---|---|
| Q4_K_M | 4bit量子化・GGUF | 17.1 GB | いちばんの定番 |
| Q6_K | 6bit | 22.4 GB | 品質重視 |
| Q8_0 | 8bit | 29.0 GB | ほぼ無劣化 |
| UD-IQ2_XXS | 2bit(極限圧縮) | 9.0 GB | 低スペック機の最終手段 |
| MLX 4bit | Apple Silicon専用 | 16.1 GB | Macならこれ |
| MLX 8bit | Apple Silicon専用 | 29.5 GB | 64GB機の最適解 |
| mmproj-…BF16 | 画像認識用の追加部品 | 0.9 GB | 画像を読ませるなら必須 |
| 公式 safetensors | 無量子化 BF16 | 55.6 GB | 研究・再学習向け |
覚えるルールは2つだけです。
必要なメモリの目安はファイルサイズ+4GBほど。文脈を長くするとさらに要ります。
mmproj を入れないと、
画像を投げても読んでくれません。モデル本体と同じ画面から一緒に落としてください。4
環境の確認から。
~/.lmstudio/bin/lms version
~/.lmstudio/bin/lms ls
モデルをロードしたら、プロジェクトについて聞いてみます。
このプロジェクトの構成を説明してください。使っている技術と、初見の人がまず読むべきファイルの順番を、理由つきで挙げてください。
27Bはネイティブの視覚言語モデルなので、スクリーンショットをそのまま投げて読ませられます。 ここが単なるチャットボットとの違いです。
この画面のスクリーンショットを読んで、①何のツールの画面か ②ユーザーが今どの操作をしようとしているか ③次に押すべきボタンはどれか を答えてください。
5
ここがこの記事の本題です。チャットで質問して終わりではなく、 プロジェクトを触らせるところまでいくのがオープンウェイトの value です。
仕組みは拍子抜けするほど単純で、LM Studioが Anthropic互換のAPIを立てるので、 Claude Codeの接続先をそこへ向けるだけです。
/v1/messages が要る)。
文脈は25,000トークン以上にしておいてください。Claude Codeは文脈を大量に使います。~/.lmstudio/bin/lms server start --port 1234
curl -s http://localhost:1234/v1/models | python3 -m json.tool
export ANTHROPIC_BASE_URL=http://localhost:1234 export ANTHROPIC_AUTH_TOKEN=lmstudio export CLAUDE_CODE_ATTRIBUTION_HEADER=0
claude --model qwen3.8-27b
このプロジェクトにREADME.mdを新規作成してください。構成・セットアップ手順・使い方の3節で、実在するファイルだけを根拠に書いてください。存在しないファイルには触れないこと。
ここまで通ると、Claude CodeのUIのまま、中身だけがQwenという状態になります。 Wi-Fiを切っても動き続けるので、完全にオフラインです。
unset ANTHROPIC_BASE_URL ANTHROPIC_AUTH_TOKEN6
Claude Codeを入れていない人には、Qwen公式のターミナル型エージェントという選択肢もあります。
curl -fsSL https://qwen-code-assets.oss-cn-hangzhou.aliyuncs.com/installation/install-qwen-standalone.sh | bash
export OPENAI_API_KEY="sk-local" export OPENAI_BASE_URL="http://localhost:1234/v1" export OPENAI_MODEL="qwen3.8-27b" qwen
こちらはOpenAI互換の接続なので、同じやり方で他の道具も繋がります。 OpenAI向けに書いた既存のコードも、接続先を差し替えるだけでローカルに向けられます。
7
| できる | 苦手 |
|---|---|
| コードの生成・既存プロジェクトの読解と編集 | クラウド最上位モデルの精度 |
| 画像・動画の理解(ネイティブVLM) | 長時間の自律作業の安定性 |
| 長文読解(262Kトークン) | 速度(機材次第) |
| 完全オフライン動作 | — |
正直に言うと、精度も速度もクラウドのトップには届きません。 価値は賢さではなく、無料・オフライン・情報が外に出ないことにあります。
だから向いているのは、外に出せないコードや資料を扱うとき、 大量に回してAPI課金が痛いとき、ネットが無い場所、 そして実験して壊してもタダという状況です。
8
mmprojを忘れると画像が読めない