1. エッジAI・オンデバイスAIとは（3行でつかむ）

• 端末の中でAIを動かすこと：クラウドのサーバーではなく、スマートフォン、PC、組み込み機器、工場の機器の内部（エッジ）で推論します。Apple は、約30億パラメータのオンデバイスのモデルと、Private Cloud Compute 上のサーバーモデルを組み合わせる設計を公開しています事実［参考資料4］［参考資料5］
• TOPS は入口の数字：Microsoft は Copilot+ PC の条件として「40+ TOPS の NPU、16 GB のメモリ、256 GB のストレージ」を挙げています事実［参考資料1］。しかし、小型モデルの文章生成は、重みを毎トークン読み出すため、メモリの帯域で上限が決まります（第4章の本稿の計算）本稿の計算
• 小さくする工夫が中心：小型モデル、量子化（Apple は2ビット）、KVキャッシュの削減、重みをフラッシュに置いて必要なぶんだけメモリに読み込む設計、などが公式資料で報告されています事実［参考資料3］［参考資料5］［参考資料6］

2. どこで動かすか ― 端末の種類と、公称値の見取り図

エッジAIの機器は、電力もメモリも桁違いに幅があります。Arm の Ethos-U85 は、Cortex-M（マイコン）や Cortex-A の機器向けの NPU の設計（IP）で、128〜2,048個の積和演算器（MAC）の構成で、1 GHz のとき最大4 TOPS、トランスフォーマーネットワークの直接の対応をうたっています事実［参考資料12］。Hailo-8 は M.2 や PCIe のモジュールで、最大26 TOPS、標準的な消費電力2.5 W としています事実［参考資料14］。NVIDIA の Jetson AGX Orin は最大275 TOPS（疎なINT8）、15〜60 W、メモリ帯域204.8 GB/s です事実［参考資料13］。PC では、Qualcomm の Snapdragon X が最大45 TOPS、LPDDR5x で最大135 GB/s、Snapdragon X2 Elite が80〜85 TOPS、最大152〜228 GB/s とされています事実［参考資料2］。

すべて事実（各社の公式ページの記載・メーカー公称値。確認日 2026年10月15日）。

3. NPUとTOPS ― 何を数えた数字か

NPU（neural processing unit）は、ニューラルネットワークの行列演算を、CPUやGPUより少ない電力で行うために作られた演算器です。TOPS（tera operations per second）は、「1秒あたり何兆回の演算ができるか」のピーク値で、どの数値精度で数えたか（INT8、INT4、FP16 など）と、疎性（すべての数のうち一部が0であることを使った高速化）を使った値かで、同じNPUでも数字が変わります。NVIDIA の Jetson のページは、全体のAI性能を「疎なINT8」のTOPSで表し、密な値は一部の行にだけ併記しています事実［参考資料13］。Hailo は、TOPS の条件の注記をページに載せていません事実［参考資料14］。

TOPS は、PCの条件づけにも使われます。Microsoft は、Copilot+ PC の最小条件として、40+ TOPS の NPU、16 GB の DDR5/LPDDR5 メモリ、256 GB の SSD/UFS を挙げ、現在これに当てはまるのは AMD Ryzen AI 300・400 シリーズ、Intel Core Ultra 200V・300V シリーズ、Snapdragon X シリーズだとしています。ページは「これらの条件は時間とともに変わりうる」と断っています事実［参考資料1］。この「40+ TOPS」は Microsoft の製品の条件で、国際規格ではありません。

ISO/IEC は、機械学習の演算装置の全体像を整理した技術報告 ISO/IEC TR 17903:2024「Overview of machine learning computing devices」を発行しています（ISO の規格一覧で確認、確認日 2026年10月15日）事実［参考資料20］。本文は未確認で、題名を確認したにとどまります。

4. メモリが決める ― 容量と帯域

小さな言語モデルの文章生成（デコード）は、1トークンごとに重みをメモリから全部読み出します（本シリーズ「推論の最適化とサービング」編の整理）。だから速さの上限は、帯域 ÷ 読み出すバイト数で決まり、モデルを小さくする（量子化）ことは、そのまま速さの上限を上げることです。Microsoft の Phi-3 の報告は、3.8Bパラメータの phi-3-mini を4ビットに量子化すると約1.8 GBのメモリに収まり、iPhone 14（A16 Bionic）で端末内で完全にオフラインで動かして、毎秒12トークン超を得たと述べています（同社の報告）事実［参考資料6］。

すべて本稿の計算（重みだけ。パラメータ数×ビット数÷8、1 GB＝10^9バイト）。埋め込み表のビット数の違い、量子化の追加データ（スケールなど）、KVキャッシュ、アプリの領域は含みません。

5. 小型モデルと「小さくする」工夫 ― 量子化、KVキャッシュ、フラッシュ

小型モデル。Microsoft の phi-3-mini は3.8Bパラメータで、報告では3.3兆トークンで学習しており、「スマートフォンに載せられる大きさ」と述べています事実［参考資料6］。Meta は MobileLLM で、10億未満のパラメータでも、深く細い構造、埋め込みの共有、グループ化クエリ注意などの設計が精度に効くと報告しています事実［参考資料8］。Google の Gemma 3 は1〜27Bパラメータで、長文でKVキャッシュのメモリが爆発的に増える問題に対し、局所注意の層と全体注意の層の比率を変えてKVキャッシュを減らす設計に変えたと述べています事実［参考資料7］。

量子化。重みを少ないビットで表す方法です。GPTQ は生成型の事前学習済みTransformer向けの事後量子化（再学習なし）の手法事実［参考資料9］、AWQ は、重みの一部がより重要だという観察にもとづき、活性化を見て重みを量子化する手法です事実［参考資料10］。数値形式については、AMD・Arm・Intel・Meta・Microsoft・NVIDIA・Qualcomm が共同で、OCP Microscaling Formats（MX）仕様 第1版（2023年9月）を公開し、FP8・FP6・FP4・INT8 の要素形式と、ブロックごとの共有スケールを定めました事実［参考資料11］。量子化の詳細は本シリーズ「モデルの効率化」編で扱います。

Apple の例（企業の公開資料）。Apple の2025年の技術報告は、約30億パラメータのオンデバイスモデルについて、(1) モデルを2つのブロックに分け、後ろの37.5%の層でKey/Valueの投影を持たず前のブロックのKVキャッシュを共有することで、KVキャッシュのメモリを37.5%減らし、最初のトークンまでの時間も約37.5%短縮、(2) 量子化を考慮した学習（QAT）で重みを2ビットに圧縮、(3) 埋め込み表を4ビット、KVキャッシュを8ビットに、(4) 失われた品質を回復する低ランクアダプタ、を述べています事実［参考資料5］。2026年6月8日の Apple のページは、第3世代の基盤モデルを発表し、オンデバイスモデルは AFM 3 Core（30億パラメータの密なモデルの次世代）と AFM 3 Core Advanced（200億パラメータのスパースなモデルで、1回に10〜40億パラメータを使う）で、モデル全体をフラッシュメモリ（NAND）に置き、必要な専門家だけをDRAMに読み込む設計だと述べています（同社の記載・設計）事実［参考資料3］。技術報告は「今夏後半に公開する」とされ、2026年10月15日時点では確認できませんでした。

元のSVG模式図・数値・出典注記を見る

6. 電力と熱 ― 端末では「ワット」が最初の制約

端末は、バッテリーと放熱の制約から、データセンターのような電力を使えません。公称値を見ると、Hailo-8 の標準消費電力は2.5 W事実［参考資料14］、Jetson AGX Orin は15〜60 W事実［参考資料13］と、機器ごとに大きな差があります。Arm は Ethos-U85 を、前世代の Ethos-U55・U65 より約20%省エネだと述べています（Arm の記載）事実［参考資料12］。これらの消費電力は機器全体か、アクセラレータだけか、どの負荷かが条件で、横並びの比較には使えません。

持続的な性能（熱で速度が落ちずに長く続けられるか）や、実機の電力あたりの速さは、公式資料の範囲では確認できませんでした。この点は、第9章の評価（MLPerf Mobile・Client の電力・持続性）で見るのが筋です。

7. プライバシーとデータ ― 「端末内」の意味と限界

オンデバイスAIの利点としてよく挙げられるのは、データを端末の外に送らずに済む場合があることです。Apple は、基盤モデルの学習に利用者の私的な個人データや操作を使わない、サーバー側の処理は Private Cloud Compute で行い、利用者のデータは保存も共有もされない、と述べています（同社の方針・保証の記載）事実［参考資料3］。同じページは、端末内のモデルと Private Cloud Compute 上のモデルを使い分ける構成です。

第2列の整理は本稿の解説（一般論）で、特定の製品の保証ではありません。Apple の記載は同社の方針・保証として引用しました。

「端末内で処理する」ことは、個人情報保護や各国のAI規制の義務を自動的に不要にするものではありません。個別の法令の適用は、本稿の対象外（本シリーズ「EU AI法」「米国・中国・日本のAI政策」編を参照）で、本稿は法的助言をしません。

8. 素材技術者の視点：工場・研究所のエッジAI ― 小さな機器で、現場のデータを現場で処理する

製造や分析の現場では、カメラの画像、振動や電流のセンサー、顕微鏡や分光計のデータなど、現場で毎秒大量に出るデータがあります。これを全部クラウドに送らず、現場の小さな機器で処理するのが、組み込み・産業用のエッジAIです。Arm の Ethos-U85 は、公式ページで、モーターやロボットの高速コントローラーなどの産業用IoTを用途に挙げています事実［参考資料12］。Hailo-8 は M.2・PCIe のモジュールで、既存の機器に追加できる形です事実［参考資料14］。

AIを材料開発・自律実験室に使う話は、本シリーズ「マテリアルインフォマティクス」編で、ロボットの機構やドローンは「ドローン・ロボティクス」編で扱います。

9. 限界と、確認できなかったこと

• 実機の性能：文章生成の速さ、電力、持続性能の実測は載せていません。本稿の計算は、メモリ帯域を使った上限の見積もりです。MLPerf の個別の提出結果や、各社の端末の比較は、設定が揃わないため載せていません
• TOPS の条件：Qualcomm の Snapdragon X2 Elite のページで、TOPS の測定条件の注記（脚注）は、取得できたテキストに記載がありませんでした。Arm と Hailo のページにも注記がありません。精度・疎性は不明です
• Apple の第3世代モデル：2026年6月8日のページの記載（同社の主張・設計）を引用しましたが、技術報告は確認できず、モデルのビット数や文脈長は不明です
• 規格の本文：ISO/IEC TR 17903:2024、TR 5469:2024、ISO/IEC 25059:2023、TS 4213:2022 などは題名のみを確認し、本文は未確認です。JEDEC LPDDR5X の速度の規格値は、本文を確認できなかったため記載していません
• 扱っていない領域：スマートフォンの熱設計、電池、センサーの材料、自動運転の車載コンピューター（本シリーズ「自動運転とAI」編）、ウェアラブル、ロボットの機構などは詳しく扱っていません

10. 評価・標準の読み方

エッジAIの性能は、(1) 遅延・スループット（最初のトークンまでの時間、トークン/秒、画像の処理時間）、(2) 精度（参照モデルに対する割合）、(3) 電力・エネルギー、(4) メモリ・ストレージ、で評価します。公開の枠組みとして、MLCommons が、端末向けの MLPerf Mobile、PC 向けの MLPerf Client、マイコン級の MLPerf Tiny を運営し、データセンター向けの MLPerf Inference にもエッジのテストがあります。

区分タグは各セルに付けています。MLPerf の版・ベンチマークの構成は、MLCommons の各ページ（2026年10月15日確認）の表示です。ISO/IEC の題名・版は ISO の規格一覧（SC 42）で確認しました。表の整理は本稿によるものです。

読み方の注意は3つです。

• TOPS は入口の数字：精度、疎性、測り方が不明なピーク値は、メモリ帯域・モデルの大きさ・電力とあわせて読みます。TOPS だけで端末の速さは決まりません（第4章）
• ベンチマークは版・モデル・実行基盤で変わる：MLPerf Mobile・Client はモデルとタスクが版ごとに入れ替わり、実行基盤（NPU・GPU・CPU）の選択も結果に影響します。古い版や異なる設定の数字を並べて優劣をつけません
• 標準は「用語・概観・安全・データ品質」が中心：端末のAI性能そのものを要求事項として定める国際規格は、本稿の調査では確認できませんでした。ISO/IEC の技術報告は参考情報で、法的な拘束力はありません。製品の条件（Copilot+ PC など）は企業の取り決めです

11. 用語集

12. 参考資料（一次情報）

1. Microsoft "Windows 11 Specs and System Requirements"（Copilot+ PC の最小条件：40+ TOPS の NPU、16 GB の DDR5/LPDDR5、256 GB の SSD/UFS、対象プロセッサ。条件は変わりうるとの注記／確認日 2026年10月15日） — microsoft.com/windows/windows-11-specifications
2. Qualcomm "Snapdragon X2 Elite" 製品ページ（Snapdragon X／X Plus／X Elite／X2 の各型番のNPUのTOPSとLPDDR5xのメモリ帯域の表／確認日 2026年10月15日） — qualcomm.com/laptops/products/snapdragon-x2-elite
3. Apple Machine Learning Research "Introducing the Third Generation of Apple's Foundation Models"（2026年6月8日、2026年9月9日更新。AFM 3 Core・Core Advanced、フラッシュ（NAND）から専門家をDRAMへ、Private Cloud Compute、技術報告の予告） — machinelearning.apple.com/research/introducing-third-gene...
4. Apple Machine Learning Research "Updates to Apple's On-Device and Server Foundation Language Models"（2025年6月9日、7月17日更新。約30億パラメータ、2ビットQAT、プライバシーの方針） — machinelearning.apple.com/research/apple-foundation-model...
5. Li E. ほか（Apple） "Apple Intelligence Foundation Language Models: Tech Report 2025", arXiv 2507.13575（KVキャッシュ共有で37.5%減、2ビットQAT、埋め込み4ビット、KV 8ビット、低ランクアダプタ） — arxiv.org/abs/2507.13575
6. Abdin M. ほか（Microsoft） "Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone", arXiv 2404.14219（phi-3-mini 3.8B、4ビットで約1.8 GB、iPhone 14 で毎秒12トークン超） — arxiv.org/abs/2404.14219
7. Gemma Team（Google） "Gemma 3 Technical Report", arXiv 2503.19786（1〜27B、局所注意と全体注意の比率でKVキャッシュを削減） — arxiv.org/abs/2503.19786
8. Liu Z. ほか（Meta） "MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases", arXiv 2402.14905 — arxiv.org/abs/2402.14905
9. Frantar E. ほか "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers", arXiv 2210.17323 — arxiv.org/abs/2210.17323
10. Lin J. ほか "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", arXiv 2306.00978 — arxiv.org/abs/2306.00978
11. Open Compute Project "OCP Microscaling Formats (MX) Specification", Version 1.0 (2023年9月)（AMD・Arm・Intel・Meta・Microsoft・NVIDIA・Qualcomm の共同。FP8・FP6・FP4・INT8） — opencompute.org/documents/ocp-microscaling-formats-mx-v1-...
12. Arm "Arm Ethos-U85" 製品ページ（128〜2,048 MAC、1 GHz で最大4 TOPS、トランスフォーマー対応、前世代より約20%省エネ、産業用IoT／確認日 2026年10月15日） — arm.com/products/silicon-ip-cpu/ethos/ethos-u85
13. NVIDIA "Jetson Orin" ページ（AGX Orin：275 TOPS〔疎なINT8〕、15〜60 W、204.8 GB/s、Orin Nano のメモリ帯域51・102 GB/s／確認日 2026年10月15日） — nvidia.com/en-us/autonomous-machines/embedded-systems/jet...
14. Hailo "Hailo-8 AI Accelerator" 製品ページ（最大26 TOPS、標準的な消費電力2.5 W、M.2・PCIe／確認日 2026年10月15日） — hailo.ai/products/ai-accelerators/hailo-8-ai-accelerator/
15. MLCommons "MLPerf Mobile"（Inference: Mobile）ベンチマークのページ（多くのタスクが v6.0、LLM・画像・検出、精度の目標、単一ストリーム／確認日 2026年10月15日） — mlcommons.org/benchmarks/inference-mobile/
16. MLCommons "MLPerf Client" ベンチマークのページ（v2.0、LLM・画像生成・エージェント、TTFT・TPS、対応OS／確認日 2026年10月15日） — mlcommons.org/benchmarks/client/
17. MLCommons "MLPerf Tiny" ベンチマークのページ（v1.3／v1.4、5タスク、遅延と任意のエネルギー／確認日 2026年10月15日） — mlcommons.org/benchmarks/inference-tiny/
18. Reddi V. J. ほか "MLPerf Mobile Inference Benchmark", arXiv 2012.02328 (2020) — arxiv.org/abs/2012.02328
19. Banbury C. ほか "MLPerf Tiny Benchmark", arXiv 2106.07597 (2021) — arxiv.org/abs/2106.07597
20. ISO/IEC JTC 1/SC 42 SC 42「Artificial intelligence」の規格一覧（ISO/IEC TR 17903:2024、TR 5469:2024、TS 4213:2022、5259シリーズ、24029、25059:2023、TS 42119-2:2025、TR 42106:2026、22989:2022 ほか／確認日 2026年10月15日） — iso.org/committee/6794475/x/catalogue/p/1/u/0/w/0/d/0
21. JEDEC "JEDEC Releases New LPDDR6 Standard to Enhance Mobile and AI Memory Performance"（JESD209-6、2025年7月9日） — jedec.org/news/pressreleases/jedec-releases-new-lpddr6-st...
22. Grattafiori A. ほか（Meta） "The Llama 3 Herd of Models", arXiv 2407.21783（表3：8B は32層、Key/Value ヘッド8、ヘッド32、モデル次元4,096） — arxiv.org/abs/2407.21783
23. MLCommons "MLCommons Sets Participation Record with New MLPerf Inference v6.1 Benchmark Results"（2026年9月16日の発表。エッジのエージェント処理のテストの追加。GlobeNewswire 配信の転載ページ） — financialcontent.com/article/gnwcq-2026-9-16-mlcommons-se...

13. 主張と出典の対応表（監査）

最終更新：2026年10月15日／出典は一次情報（Microsoft・Qualcomm・Arm・NVIDIA・Hailo・Apple の公式ページ、Phi-3・Gemma 3・MobileLLM などの論文、OCP の仕様、MLCommons のページ、ISO の規格一覧、JEDEC の発表）に限定しています。実機の速さ・電力、TOPS の測定条件、Apple 第3世代モデルの技術報告、規格の本文については、確認できなかったため記載していません。将来の製品・機能は「未確定／将来」です。図2・5はベクター作図、図3・4は本稿の計算を含む作図、図1と図6はAI生成イメージ（枠のみ）です。