NPUとは何か

NPUとは？

正式名称はNeural Processing Unit。AIの推論だけを引き受けるために作られた専用回路だ。

ここでいう推論は、

• ❌️考えて推理することではない。
• ⭕️学習ずみのAIに答えを出させる作業

兵器が自分では何も考えないのと同じで、NPUも判断はしない。

CPUの命令に従っているだけ。

推論でやっているのは「掛ける、足す、次へ渡す」の繰り返しだけ。

一種類しかないなら、それ専用の回路を大量に並べてしまえばいいというコンセプト。

⇒

途中の値をメモリへ何度も取りに戻らないので、効率がよく、電力を食わない。

NPUにできるのは推論だけで、学習には使えない。代わりに、電池で回り続ける。AIを使うだけならNPUで足りるが、AIを作るにはGPUが要る。ここが両者のいちばん大きな違いだ。

では、いま使っているPCにNPUがないと困るのか。困らない。

ChatGPTを思い浮かべてみてほしい。

あれはネットにつながっていて、さらにその先にはクラウドサーバーにつながっている。

質問を打ち込むと、その文字は回線を通って向こうのサーバーへ飛ぶ。答えを作っているのは向こう側のサーバーに並んだGPU。

つまり、手元のPCがやっているのは、送ることと、画面に表示することだけ。

いまのAIサービスの多くはこの形なので、NPUがあってもなくても速さは変わらない。

なので、NPU目当ての買い替えはいまのとこ、要らない。

NPUが効いてくるのは、この計算を手元でやるようになったときになる。

それでも新しくPCを買うなら、見るところは2つだけだ。

• NPUが載っているか。カタログでは「AIエンジン」「Neural Engine」など別の呼び名で書かれていることもある。
• TOPSの数字。1秒あたり何兆回の演算ができるかを表す値で、MicrosoftがCopilot+ PCに求めた40 TOPSがひとつの目安（Introducing Copilot+ PCs）。

豆知識

• TOPS: Tera Operations Per Secondの略。1秒あたり何兆回の演算ができるかを示す、NPUのカタログ値。
• INT8: 数値を8ビットの整数に丸めて計算する方式。精度をわずかに落とす代わりに、速度と電力で得をする（Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference）。
• シストリックアレイ: 計算器を格子状に並べ、データを隣へ手渡ししながら計算させる回路の作り。TPUが採用した方式。
• Neural Engine: AppleがNPUに付けている呼び名。メーカーごとに呼び方が違うだけで、役割は同じ。
• Copilot+ PC: MicrosoftがAI機能付きPCに定めた条件。40 TOPS以上のNPUを備えることを求める。

歴史

2010年代、写真の分類や音声認識が実用になると、最初に悲鳴を上げたのはデータセンターの電力だった。利用者が増えるほど推論の回数が増え、汎用の部品では処理も電気代も追いつかない。Googleはそこで推論だけを実行する専用チップTPUを作り、2015年から自社のデータセンターで動かし始める（In-Datacenter Performance Analysis of a Tensor Processing Unit）。専用の兵器に振り切るとどこまで効率が上がるのかを、実測で示した事例になった。

同じ問題が、次はスマートフォンで起きる。写真の加工や顔の認識をいちいちサーバーへ送れば、通信が要るうえに遅い。手元で計算すれば済むが、今度は電池が持たない。2017年、AppleはA11 Bionicにneural engineという専用回路を積み、この処理を電池で動く端末の中へ引き込んだ（Apple Newsroom「The future is here: iPhone X」）。

決定打はPCだった。2024年、MicrosoftはCopilot+ PCの条件として40 TOPS以上のNPUを要求する（Introducing Copilot+ PCs）。OSの機能そのものがNPUを前提にしたことで、NPUは「あると速い付加物」から、CPU・GPUと並ぶ標準部品へ移り始めた。困っていたのは三度とも同じ、電力だ。

まとめ・私見

これからAIは、ローカルで動作するほうが主流になったり、機密情報を扱えるパートナー的な立ち位置になってくると予想している。

メリットは、

• 通信が要らない
• 外に出したくないものを扱える
• 返事が速い

その流れに合わせて、NPUは載っているのが当たり前の部品になっていくはず。CPUやメモリと同じで、そのうち誰も気にしなくなる。

だから今あわてて買う必要はない。次の買い替えのときには、たぶん勝手に載ってる。