Efficient Thinking ファインチューニング

主な成果

pass@1 を 63.9% → 86.5%（+22.6 pp）に改善
平均思考トークンを 2,895 → 1,071 に削減（−63%）
未学習の汎化テスト（教師Gemmaが不正解の5,407問）でも 3.5% → 33.9%（+30 pp）
best-of-4（pass@4）は 96.7%

背景

Qwenシリーズをはじめとするreasoningモデルは、精度と引き換えに大量の思考トークンを消費します。Qwen 3.5 9Bでは思考部分が約3万トークンに達することもあり、推論コストとレイテンシが実運用上のボトルネックになります。思考を短くしても精度を保てるなら、SLMをオンプレ・エッジを含む実環境で活用できる幅が大きく広がります。

アプローチ

外部の大きな教師モデルに頼り切るのではなく、モデル自身が生成した推論のうち良いものだけを選んで学習させるSelf Distill（自己蒸留）のループを回します。まずGemma 4 31BをRound 0のteacherに、一定トークン以内で正解できる問題と教師トレースを集めます。次にQwen 3.5 9B自身が問題ごとに複数の思考トレースを生成し、その中から「正解かつ短い」ものだけを選別。選んだトレースを教師信号にLoRA（SFT / DPO）を更新し、生成 → 選別 → 蒸留のループを繰り返すことで、短く考えて同じ結論に到達する挙動を学習させます。

目標は、約3万トークンに達することもある思考を1桁分（およそ10分の1）まで圧縮することです。

検証ポイント

精度と思考トークン数のトレードオフの定量評価、タスクの難易度に応じて思考量を適応させられるか、そして9Bと27Bというモデルサイズの違いが圧縮耐性にどう影響するか、を中心に検証しています。推論基盤にはvLLMを用い、NVFP4量子化やMTP（投機的デコード）と組み合わせたスループット改善も合わせて検証しています。

結果

Round 1（Qwen 3.5 9B を student、Gemma 4 31B を教師にした蒸留）の実測です。複数ドメイン（数学・科学・医療・日本語など）混在の評価セットで、精度（pass@1）を上げながら平均思考トークンを約6割削減できました。出力長は全9ドメインで60〜85%短縮し、既に得意な領域の精度を落とすcatastrophic forgettingも起きていません。

重要なのは、教師Gemmaが解けなかった問題（学習データから除外したJMMLUの5,407問）でも正答率が大きく伸びた点です。これは単なる教師の模倣ではなく、長考癖の抑制によって本来の実力が出るようになった「教師超え」の汎化を示しています。さらにbest-of-4（pass@4）では96.7%に達し、用途次第ではサンプリングで精度を底上げできることも確認しました。

実測データ

Round 1 SFT 全体（複数ドメイン混在 11,224 問）

指標	base	SFT 後
pass@1	63.9%	86.5%（+22.6 pp）
pass@4	—	96.7%
平均思考トークン	2,895	1,071（−63%）

汎化テスト：教師Gemmaが解けなかった JMMLU 5,407 問（未学習）

モデル	pass@1	平均トークン
Qwen 3.5 9B base	3.5%	2,777
Qwen 3.5 9B SFT	33.9%	1,068

4択ランダム正答率25%を、baseは下回り（format崩れ・truncationが支配的）、SFTは上回った。

デモ・解説

デモ動画・解説記事を準備中です。公開しだい、このページに掲載します。