iPhone XSが見せる未来──ドメイン固有プロセッサとエッジコンピューティング

　Appleは9月12日に開催したイベントで新型iPhoneを発表した。しかも、その中で他社が追いつけないほどの圧倒的な競争差異を見せつけた。そう書く理由は心臓部に当たる「A12 Bionicプロセッサ」にある。

　AppleのAシリーズプロセッサは、省電力性と業界随一の処理能力を誇り、2018年に登場したAndroidスマートフォンよりもパフォーマンスが高い。しかも、きちんとバッテリーは丸1日使っても消費しきることなく、ARアプリにも難なく対応してきた。

　今回のプロセッサの処理性能やグラフィックス性能以上に注目を集めたのがニューラルエンジンだ。名前の通り機械学習処理を行うためのものだが、昨年は1秒間に6000億回だった処理能力を、今年は1秒間に5兆回にまで向上させた。

　正直なところ、この数字の意味をすぐに理解できる人は少ないだろう。Androidスマートフォンと同じ尺度での比較ができないため、「5兆回」に数字のインパクトを超えた意味を判断しかねることもあるはずだ。

　しかし、この進化は大きな価値を持つ。そう説明してくれたのは、シリコンバレーにいるマイクロプロセッサの大家だ。Appleは、彼の予言を実現させているようにすら見える。

　5月にGoogleが開催した開発者向けイベント「Google I/O」で、RISCの父と呼ばれマイクロプロセッサの世界にその名を刻んでいるスタンフォード大学学長、ジョン・ヘネシー氏は、Intelがプロセッサの未来の主導権を握ることはないと説いた。

　コンピューティングのモバイル化と大規模なクラウド環境は、処理性能と消費電力の関係を、よりシビアなものへと変化させた。デスクトップコンピューティングが全盛だった時代は、失敗した計算結果の多くが捨てられていたが、モバイルコンピューティング時代には消費電力との兼ね合いから、より効率的な計算が求められるからだ。

　GoogleはTPUを独自に進化させ、強力な機械学習処理環境を前提とする方向に突き進んでいる。その結果として生まれたのが、あたかも人が喋っているかのようにレストランに電話をかける「Googleアシスタント」の未来像だった。

　Appleは2010年からiPhone向けプロセッサの独自設計を開始した。プロセッサの設計としては新参者だったが、スマートフォンの64ビット化、ニューラルエンジンの内蔵、グラフィックスチップの内製化と、数々のマイルストーンを経て、2018年のA12 Bionicはスマートフォン向けとして初めて7nmプロセスを採用した。

　Appleはスマートフォン向けのiOSを独自に開発しており、そこで何が必要なのか、スマートフォンの未来の体験をどのようにしたいのかという前提を共有しながら、そこに必要な性能をプロセッサの開発に盛りこむことができる。

　そこが、世界最大のモバイルOSを開発するGoogleとも、スマートフォンの世界で最も影響力を持つチップメーカーであるQualcommとも異なる点だ。両者ともにスマートフォン全体を自分たちで作っているわけではないからだ。

　iPhone XSを発売前にレビューしてみて、最も驚いたことはカメラの性能がこれまでとはまったく異なる非線形の発展を遂げていたことだった。シャッターを初めて押した1枚目の体験で衝撃を受けたことを今でも覚えている。

　Appleはイベントで「写真の新時代」（The new era of photography）というフレーズを掲げた。仰々しく聞こえたが、それは大げさではなかった。

　AppleはiPhone XSのカメラ機能のために、センサーのサイズ拡大と高速化に取り組んだ。センサーのサイズ拡大は、1ピクセル当たりで光を取り込む量が増え、暗所に強く、色再現にも効果的だ。これはカメラ性能向上に光学的にアプローチしたといえよう。

　しかしセンサーの高速化は、Appleが用意した新しい写真の絵作りのためのものだ。iPhone XSには、静止画ではスマートHDR、ビデオでは拡張ダイナミックレンジといわれる、暗い部分と明るい部分の双方の色やテクスチャの再現性を高める処理を盛りこんでいる。

　高速化されたセンサーから取り込まれたデータは、画像処理エンジンに回されるが、ここで1秒間に5兆回の処理能力を誇るニューラルエンジンが連携し、シーンや被写体などの解析をシャッター1回当たり1兆回行い、素早く合成して写真を作り上げるのだ。

　センサーやレンズなどのハードウエア、画像処理のソフトウエア、画像解析アルゴリズムという3つの要素で1枚の写真を作り上げる。ここに、撮影者のクリエイティビティが加わることで、現代の写真が作られる。

　A12 Bionicの強力な機械学習処理の性能によって、iPhone XSの写真は、前述のような衝撃的な非線形の発展を遂げた。機械学習処理能力の恩恵をここまで明示した例も珍しい。

　もちろん、旧来の写真家にとってはAIによる“つぎはぎだらけ”の画像であって、「写真ではない」と批判する作家もいるだろう。しかし、少なくとも世界で毎年2億人以上がこの「写真の新しい進化の概念」に触れ、日常的な写真の品質が非線形の進化を遂げることになる。それが「従来とは異なる写真」であったとしても、そのインパクトを否定するクリエイターはいないだろう。

　もう一つ驚かされたことは、これまで2つのカメラを用いて実現してきたiPhone XSのポートレートモードを、カメラが1つしかないiPhone XRでも同様の品質で撮影できるようになったことだ。ここでも高速なセンサーとニューラルエンジンが連携して仕事をしている。

　これまでは2つのカメラを用いて背景と被写体を分離し、背景側にぼかしのエフェクトをかけることで印象的なポートレート写真を作り出してきた。しかしiPhone XRでは、1つのレンズの画像で被写体と背景を分離し、背景部分だけにエフェクトをかける仕組みを取り入れた。

　「2つのカメラを持つiPhone XS」と「1つのカメラを搭載するiPhone XR」の違いは、人物以外のポートレート写真を撮影できないことだ。そのことからも、どんなソフトウェア処理が行われているのかが分かる。すなわち、アルゴリズムによって人物を切り出し、画像を分離しているということだ。このアルゴリズムが他の被写体にも対応すれば、1つのカメラで人物以外のポートレート撮影も可能になる。それだけの処理性能が既にiPhone XRに備わっているのだ。

　2つのカメラを用いていた光学的な手法を、アルゴリズムによって1つのカメラで解決してしまった、と換言できよう。しかも、背景のぼかしは数値モデル化して実装し直したとしており、撮影した後からぼけ具合を調節できるようになった。既に、光学的にはあり得ないことを実現しているのだ。

　Appleは強力なニューラルエンジンを画像処理プロセッサと連携させることで、これまでとは異なるカメラの発展を得た。この進化の方程式は、カメラだけに留まらない。

　iOS 12では、人々がiPhoneをどのように使っているのかをパターン認識し、ショートカットを提案するようになった。例えば毎朝オフィス近くのカフェでラテをアプリから頼んでいれば、駅に着いた時点でワンタップでコーヒーのオーダーを済ませられるようになる。

　こうしたパターン分析も、常に私たちの行動に寄り添い、処理を行っているiPhoneならではの対応と言える。

　こうした機能を実現するために、最も重要になるのがプライバシーだ。パターン分析のために、iPhoneは私たちの1タップごとを監視しているのだ。

　だからこそ、そうしたプライバシーに関わる情報は端末内でのみ処理されなければ守ることができない。常に通信して中央集権的な人工知能のサーバーに情報を届けていてはバッテリーもすぐになくなってしまう。人を理解して寄り添うアシスタントを担うことを考えたとき、エッジコンピューティング以外に現実的な手段はないと考えられる理由だ。

　そこでAppleは1台、1台のiPhoneに高い機械学習処理性能を与え、データ通信や電池の消費とアシスタントを切り離そうとしている。圧倒的な機械学習処理性能を749ドルのスマートフォンに盛りこんだのはそのためだった。

　iPhoneに限らず、スマートフォンのデザイン面での進化は、近年さほど期待できるものではなくなった。しかしAppleは、外側には現れない本質的な変化を着々と進めているのだ。ひとたび実際のアプリケーションと結びついてニューラルエンジンの性能が発露すると、それは衝撃的な変化になる。

　今後我々は、iPhoneから数々の衝撃を受けることになるはずだ。そのためには、どこに機械学習を介在させるか？どんなハードウエアをシミュレートするのか？といった開発者と利用者のクリエイティビティが求められることになる。


松村太郎