現在位置:ホームの中の研究テーマの中のJava3Dを利用したWeb対応手話アニメーションシステム

研究テーマ

Java3Dを利用したWeb対応手話アニメーションシステム

現在、聴覚障害者は全国で、障害者手帳を持っている人で約38万人、手帳のない人を含めると、約400万人いるといわれている。

そのような聴覚障害者の自然なコミュニケーションの手段の1つに、手話がある。手話は、手の動きや身振りなどのジェスチャーを用いて情報を伝達する言語で、日本語とは異なる独自の単語や文法体系を持っている。最近まで、電話やテレビでは、聴覚に障害を持つ人にとって、必要な情報を受け取れなかったが、今では、テレビのニュースや政見放送の一部に手話が導入されるなど、画面の隅に手話通訳者が映るテレビ番組が増え、聴覚障害者への情報伝達手段として、手話が頻繁に使われるようになっている。そこで、手話で情報伝達できる機会を増やそうと、手話翻訳の機械化が注目され、さまざまな研究機関で研究,開発が進められている [1] [2] [3] [4]

手話の(特に、母語としての)利用者に対して、災害時のように緊急を要する情報を伝達する場合、文字や身振り等の通常の日本語では正しく内容が伝わらないことも多く、手話を用いないと適切なコミュニケーションが図れないこともある。そこで、現在情報を提供する上で最も手軽と考えられる、インターネット Webページ上に手話で情報を伝達することで、適切でかつ素早い情報伝達ができるのではないかと考えられる。

このシステムは、Web上でユーザが日本語の文章を入力すると、その文章に対応する手話の表示をJava3D [5]アニメーションで行うシステムである。

この部分については、ほぼ完成し、電子情報通信学会オフィスインフォメーションシステム研究会の研究賞を受賞するなど、既に高い評価を得ている [6]

このシステムで使用する人体モデルは、Humanoid Animation Working Group[7]が標準人体の仕様書を研究者向けに公開しているが、この仕様書を参考にJava3Dで作成した人体モデルを使用している(手話なので脚部など関係のない部分の動作はしない)。そして、その内部では、以下のようなものを表現できる手話動作コードというものを使用し、手腕の静止状態を並べたものをデータとして、それぞれの日本語の単語に対応するデータとして保存している。

  • 左右どちらの手腕であるかのコード
  • それぞれの指の形を決めるためのコード
  • 手の位置を決めるコード
  • 手がどの角度を向いているかを決めるコード

また、これらのコードから自動で手腕のそれぞれの関節の曲げ角度とひねる角度を計算し、その計算結果を人体モデルの方に渡し、アニメーションを行うというシステムである。なお、静止状態の間の補間についてはシステム側で自動的に行うようになっている。

しかし、語彙データベースが、自由度の高い手話を表示するにはまだ大幅に不足している。

そこで、語彙データベースの充実のために、上記の手話動作コードを編集するためのシステムである手話アニメーション編集ツールを実装する。現段階では、表示の方と同様、Web上でJava3Dで実装された人体モデルを使用し、直接手話動作コードを入力すると、それに対応して人体モデルが変化するようなシステムで、既に形にはなりつつあるが、ユーザインタフェースの問題で、これはまだ非常に扱いづらいものとなっているので、引き続き構築・改良を行っている。将来的には、手腕のある部分をドラッグすることで、手腕の曲げやひねりを行い、そこから自動で手話動作コードを計算し、その動作コードを並べることにより、最終的に全体の動作を単語ごとにデータベースに登録するシステムとする予定である。

それを使用して、世界中から手話の動作データを容易に収集することが可能になる。さらに、収集した手話動作データをダウンロードできるようにし、個人個人に対応した手話アニメーションシステムをカスタマイズできるように、データベースを充実させることで、幅広い手話の表示が出来るようになるのではないかと考えられる。

評価については、学術的な評価を行っていないが、表示・編集ツールなどシステム全体を実装後、Webページを見た方にしていただき、それをもとに改良を加えることで、より良いものにしていこうと考えている。

(参考文献)
[1] 日立製作所, 手話アニメーション編集システム Mimehand II,
http://www.hitachi.co.jp/Prod/comp/app/shuwa/index.html
[2] 長嶋祐二, 神田和幸, 手話のコンピュータ処理,
信学誌, Vol.84, No.5, pp.320-324, May 2001.
[3]渡邉茂晃, 井土隆也, 藤重栄一, 黒川隆夫
規則合成による手話のアニメーションの表示
第9回ヒューマンインタフェースシンポジウム論文集, pp385-390, Oct. 1993.
[4] 藤重栄一, 井土隆也, 渡邉茂晃, 黒川隆夫,
日本語手話翻訳のための手話分析と日本語処理 - 助詞の扱いを中心に -,
第9回ヒューマンインタフェースシンポジウム論文集, pp.391-398, Oct. 1993.
[5] Sun Microsystems, Inc. : Java3D(TM) API Home Page,
http://java.sun.com/products/java-media/3D/
[6] 井倉法久, 力宗幸男,
Java3Dを使用したWeb対応手話アニメーションシステムの改良,
OIS-2004-6,May 2004.
[7] Humanoid Animation Working Group,
http://h-anim.org/ (英語)
http://kuro.mdg.human.nagoya-u.ac.jp/~action/index-j.html (日本語)