NTT、一般的な写真群のみから三次元情報を学習できる深層学習技術を実現　世界初！

▼ ニュースのポイント
①NTTが二次元の写真のみから三次元情報を学習できる世界初の深層学習技術を実現した。
②今回の成果では、カメラの絞りが被写体との三次元的な位置関係をボケ効果として反映する働きがあることに着目。
③そこで、カメラの絞りのような光学的な制約のある深層学習モデルを構築し、今回の成果を得た。

深層学習モデルは写真から三次元情報を理解できるか？　

　NTTは6月25日、一般的な二次元の写真群から三次元情報を学習できる新たな深層学習技術を実現したと発表した。



　我々人間は、写真の二次元画像から三次元情報を容易に推定することができるが、それは、我々のこれまでの経験や知見によるものという。

　そのため、経験も知見もない深層学習モデルに、二次元画像から三次元情報を理解させることは容易ではない。二次元画像と三次元情報のペアデータを大量に用意すれば、その対応関係から学習させることはできるが、三次元情報を取得するには専用機器が必要などの障壁がある。

ボケ効果から奥行き情報を学習

　しかし今回NTTは、インターネット上の画像のような一般的な写真群から三次元情報を学習できる深層学習技術を実現したという。

　今回、同社が着目したのは、画像内に自然に存在する「ボケ効果」。ボケ効果は、被写体が被写体側の距離の範囲（被写界深度）から外れることで生じる現象だ。

　ボケ具合はカメラの絞り調整で変えることができる。カメラの絞りを開くと、カメラに入る光の量が多くなり、ピントの合う領域は狭くなるため、ボケ効果は大きくなる。反対に、カメラの絞りを狭めると、ボケ効果は小さくなる。

　即ち、カメラの絞りは、被写体の三次元的な位置関係をボケ効果として画像に反映する働きをする。

　そこで同社では、カメラの絞りのような光学的な制約を考慮した深層学習モデルを構築し、画像、奥行き情報、ボケ効果について関連付けながら三次元情報の学習を可能にした。

　付加情報のない二次元画像集合だけから三次元情報を学習することに成功したのは世界初の成果という。

（画像はプレスリリースより）


▼外部リンク

NTTニュースリリース
https://group.ntt/jp/newsrelease/2021/06/25/210625a.html


▼ 会社概要
日本電信電話株式会社は、通信事業を主体とするNTTグループの持ち株会社として設立された特殊会社。

社名：日本電信電話株式会社
代表取締役：澤田　純
所在地：東京都千代田区大手町一丁目5番1号 大手町ファーストスクエア イーストタワー