話した言葉をすぐに字幕に 透明な板が会話を手助け 筑波大生らが開発、市役所窓口へ

2021年7月1日 17時00分
 話した言葉が目の前の透明ディスプレーにリアルタイムで表示されるー。聴覚障害者とのコミュニケーションを円滑にしようと、筑波大の学生らが新たな字幕システムを開発した。新型コロナウイルスの感染拡大が続く中、マスク越しの会話は一般の人にとっても不便だが、字幕があれば助かる。茨城県つくば市は市役所の窓口にディスプレーを設置する予定だ。(林容史)

話した内容をリアルタイムで表示する「シースルー キャプションズ」=筑波大で

 「See-Through Captions(シースルー キャプションズ)」と名付けられたシステムを開発したのは、筑波大のデジタルネイチャー研究室の大学院生と学部生の計5人。
 話し手がマイクに向かって言葉を発すると、自動的に音声を認識し、目の前に設置したB5判ほどの透明ディスプレーに話した内容が映画の字幕のように表示される。手話ができなくても、聴覚障害者との会話が可能だ。一方、聴覚障害者は、相手がマスクをすると口元の動きが読み取れないが、透明ディスプレーなら表情や身ぶりも確認でき、字幕と合わせて意思疎通が図りやすい。字幕によって多くの人たちに同時に伝えることもできる。英語や中国語など外国語にも翻訳可能だ。
 話し手側にも同じ文章が表示され、システムの誤認識を即座に訂正できる。

◆6月、日本科学未来館で実験

 もともとは、聴覚障害者とのコミュニケーションを念頭に置いていた。開発者の1人で筑波大大学院情報学学位プログラム博士後期課程の鈴木一平さん(24)は「目の前の空間に文字を出せば、耳が聞こえない人とコミュニケーションしやすいのでは」と発想し、研究室で今年1月から取り組んできた。

「シースルー キャプションズ」を開発した筑波大デジタルネイチャー研究室のチーム=筑波大で

 6月5、6の両日、日本科学未来館(東京都江東区)でシステムの実証実験に挑んだ。総合案内に透明ディスプレーを設置して来場者に応対したほか、館内を案内する科学コミュニケーターが、小型ディスプレーを手に展示物について解説した。聴覚障害者のグループも10組ほどがツアーに参加し、システムについて感想を寄せた。
 自身も耳が聞こえない筑波大大学院図書館情報メディア研究科博士後期課程の設楽明寿さん(26)は「当初はコンビニの接客や窓口の案内など、1対1の場面で使うことを想定していた」と振り返る。実証実験を通して「いろいろなコメントをもらい、考えてもいなかった使い道があると感じた」と手応えを話す。

◆つくば市役所に設置へ

 つくば市は7月中にも市役所1階の総合案内窓口に透明ディスプレーを設置し、利用者とのコミュニケーションに役立てる。森祐介政策イノベーション部長は「聴覚障害者だけでなく、(飛沫防止の)アクリル板越しの声は聞こえにくい。会話を補助するツールとして有効だ」と期待する。

関連キーワード

PR情報