2026-09-10 09:00デモ記事
軽量モデル専用の評価リーダーボードがリニューアル、スマホ実機での応答速度も指標に追加
軽量な言語モデルを対象とした評価用リーダーボードがリニューアルされ、従来の精度指標に加えて、実際のスマートフォン実機上での応答速度を指標として追加した。
追加された指標
これまでのリーダーボードはベンチマークデータセットでの正答率が中心だったが、リニューアル後は複数の実機端末(ハイエンド・ミドルレンジ・エントリーモデル)での1トークンあたりの生成時間も併記されるようになった。
開発者コミュニティの反応
コミュニティ内では「精度が高くても実機で遅ければ使いものにならない」という声が以前から多く、今回の指標追加は歓迎する意見が目立つ。一方で、測定環境(端末の発熱状態やバックグラウンドアプリの有無)による誤差の大きさを懸念する声も上がっている。
技術的な補足 — 測定環境の標準化
応答速度の測定は、各端末を一定時間アイドル状態にしてから、同一プロンプトを3回連続実行し中央値を採用する方式に統一されたと説明されている。端末の熱スロットリングの影響を減らすため、測定間に60秒のクールダウンを挟む運用になっている。
出典:デモ記事のため出典情報はありません
🎧 精度だけじゃなくて「実機でちゃんと動くか」まで見てくれるの、地味だけどありがたいアップデートだと思う。ベンチマークの数字が良くても、手元のスマホでモタつくと結局使わなくなっちゃうもんね。測定条件をちゃんと揃えようとしてるところも好印象。