手話と音声の双方向コミュニケーションシステム、ソフトバンクと電気通信大学が開発

ウェブ上で手話と音声による会話ができる！

　ソフトバンクと電気通信大学は3月30日、手話と音声による双方向コミュニケーションシステム「SureTalk（シュアトーク）」を開発したと発表した。

　「SureTalk」はAIを使用したウェブツールで、聴覚障がい者と健聴者が手話と音声のテキスト化で会話をしたり、AIに手話を学習させたりすることができる。



　両者は同システムについて、これまで水戸市などに試験提供していたが、4月から提供先を拡大し、認識率の精度向上を図るとしている。

「SureTalk」のシステム概要

　SureTalkのシステムは、手話認識部、自然言語処理部、音声処理部で構成されたコアエンジン部と、手話データベース部で構成されている。

　手話認識部では、話者の動画からの深層学習による身体動作の追跡などで手話とその単語順を認識する。深層学習を活用することで、撮影の背面をグリーンにすることや深度センサーの利用が不要となり、日常的な環境での撮影が可能となった。

　自然言語処理部では、深層学習などを用いて学習した翻訳モデルを使用し、手話認識部から出力される手話単語列を自然な日本語文に変換する。

　音声処理部では、健聴者が発声した音声情報をリアルタイムにテキスト化する。さまざまな環境下の音響モデルを学習させることで、実環境下での認識精度を高めたという。

（画像はプレスリリースより）


▼外部リンク

ソフトバンク・電気通信大学　ニュースリリース
https://www.softbank.jp/