JP3567596B2 - 手話アニメーション生成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は，手話アニメーションを用いて情報の伝達を行う装置において，伝達の対象となる文に対する手話アニメーションデータの編集技術に関する。
【０００２】
【従来の技術】
聴覚障害者に対する情報提供の手段として，手話をＣＧによるアニメーションで表示する際，手話の動きを表す時系列データから，ＣＧ上の人体モデルを動かす技術に関しては，文献（リアルタイム手話アニメーションの合成方法，崎山他，電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ． Ｊ７９−Ｄ−ＩＩ ｐｐ１８２−１９０）によって実現される。
【０００３】
また，手の動きの他に，顔の表情や口唇の動き，体の動きを手の動きとともに表示する技術，手話の文を構成する手話単語を単位として用意した時系列データをつなぎ合わせて手話アニメーションを生成する場合に、手話文において手話単語間にまたがる表情や身振り等の情報の付加が困難であるという問題を解決するために、手の位置や向きや形状等を表すパラメタを対話的に変更するインタフェース技術に関しては、文献（手話編集装置 特願平７−１４４１２３、あるいは、手話アニメーション編集ツールの開発， 池田他， 電子情報通信学会１９９６年総合大会 Ａ−３３７）によって実現される。
【０００４】
現在，地震や台風などの災害情報，列車遅延などの交通情報がテレビで放送される場合は、音声と文字が媒体となっている。これらの情報提供を聴覚障害者向けに手話で行なう場合，上述の手話アニメーション編集技術を用いて，手話単語を選び，表情などの情報を付加して手話アニメーションを作成すると，従来の日本語の字幕を作成するのに比べて多くの時間が必要になり、速報性を有する情報の伝達には不十分である。
【０００５】
このように，ある日本語の文の意味を表す手話のＣＧアニメーションを，字幕の作成と同程度の時間で生成するため技術に関しては，まだ実現されていない。
【０００６】
【発明が解決しようとする課題】
まず第一に，従来の手話アニメーションの編集装置を用いて手話のアニメーションを作成するには、ある意味をもった手話の文がどのような手話の単語から構成され、またどのような表情や口唇の動きを付加すれば良いのかという知識を有することが必要となる。特に緊急性を帯びた情報の場合，手話に関する知識を有する人が確保できるとは限らないので，情報をできるだけ早く手話にして送出するためには、手話を知らない人でも手話の文に対するアニメーションを作成できる必要がある。
【０００７】
第二に，地震や台風などの災害情報や事故などの交通情報などには，地名や人名などの固有名詞が含まれることが多い。すべての固有名詞に対してＣＧデータを保持しておくことは現実的には不可能である。しかしＣＧデータを持たない手話単語が現れる度に，手話アニメーション編集装置を用いてＣＧデータを作成するのは，緊急時の情報送出の場合は適していない。従って出力すべき手話単語に対するＣＧデータが存在しない場合に，別の手段を用いて伝達すべき情報を表現する手話アニメーションを作成し，送出しなければならない。
【０００８】
第三に，現在地震や台風などが起こった時，テレビでは電子音と文字の点滅によって緊急情報が到着したことを視聴者に知らせているが，聴覚障害者にとって電子音では効果を持たない。字幕の点滅でも十分とはいえない。そこで手話による情報が送出されたことを聴覚障害者にもわかる形態で知らせなければならない。
【０００９】
本発明の目的は，災害や事故などの緊急時の情報を文字と音声の他に手話によって聴覚障害者にもわかりやすく提供し，手話に関する知識を持たない者でも，提供する情報を手話によって表現することが可能な手話アニメーション生成装置を実現することである。
【００１０】
本発明の他の目的は，手話のＣＧデータを保持していない場合でも，なんらかの代替手段を用いて，伝達すべき内容を手話に表現し送出することができる，手話アニメーション生成装置を実現することである。
【００１１】
本発明のさらに他の目的は，手話による緊急の情報が受信側に到着したことを知らせる手段を有する手話アニメーション生成装置を実現することである。
【００１２】
【課題を解決するための手段】
上記課題を解決するために，本発明では，災害や事故などの緊急時の情報を文字と音声の他に手話によって，聴覚障害者にもわかりやすく提供する手話アニメーション生成装置であって、よく用いられる手話の文毎に，手話単語の見出しの列を，文を生成する時でないと決まらない部分と，既に固定された部分に区別して記述し，固定部分に対するＣＧデータと，可変部分に代入することのできる手話単語の見出し（あるいは単語見出し列）の候補に対するＣＧデータとからなる手話文テンプレートを用意し、話題によって手話文テンプレートを選択できる手段と，可変部分に代入する手話単語見出しを選択あるいは，入力することにより手話の文を確定させる手段と，用意されたＣＧデータから，手話単語間を自動的に補間し，手話の文を連続した動作のアニメーションで表す手段，を有することにより，手話を知らない人でも手話アニメーションを早く作成し，送出できるようにする。
【００１３】
また，送出すべき情報を手話にする場合，必要となる手話単語に対するＣＧデータが用意されていなければ，日本語の各単語について漢字表記とその読みがなの対からなるデータを有し，これを利用して漢字表記から平仮名表記への変換を行ない，この平仮名の並びを指文字によって手話アニメーションとして表現する手段を用意し，あらかじめ登録されていない単語が入力の中に含まれていても，情報の持つ意味を手話で表すことができるようにする。
【００１４】
また生成，送出された手話アニメーションが受信側に届き再生される前に，手話アニメーションを表示する画面全体の明暗を一定時間，短い間隔で変化させる，手話アニメーションを表示する画面全体の色を一定時間，短い間隔で変化させる，手話アニメーションの背景の明暗を一定時間，短い間隔で変化させる，手話アニメーションの背景の色を一定時間，短い間隔で変化させる，手段を有することによって，手話文の表示が開始されることを聴覚障害者にも伝えることができるようにする。
【００１５】
地震や台風などの災害情報，交通事故などの緊急情報が，音声と文字によってテレビなどに表示されると，普段手話を使って生活をしている聴覚障害者は，見落としたり，正確に情報が伝わらない可能性がある。ここで手話アニメーションによって情報を表示することにより，情報を正確に伝達することが可能になる。
【００１６】
よく使われる文について手話文テンプレートを用意し，可変部分を指定してアニメーションを作成することにより，手話に精通した人でなくとも簡単に伝達すべき情報を手話で表現することができ，緊急時にも聴覚障害者により早く情報をわかりやすい形で提供することができる。
【００１７】
ＣＧデータをあらかじめ持っていない未登録の手話単語に対して，この見出しを平仮名に置き換え，指文字として手話アニメーションにすることにより，未登録の手話をスキップして情報を不完全にしたり，未登録の部分のＣＧデータを新たに作成るために時間を費やしてから手話アニメーションを作成することなく，情報を手話として提供することができる。
【００１８】
手話による情報がテレビなどの画面からながれる前に，手話アニメーションの部分の明るさ，色を変化させることにより，テレビの画面の前の聴覚障害者が手話による情報が到着したことを知ることができ，提供される情報を見落とす可能性が低減される。
【００１９】
【発明の実施の形態】
以下，本発明の一実施例を図１から図１９を用いて説明する。
【００２０】
現在，聴覚障害者に手話アニメーションを用いて情報を伝達するために，手の動きの他に，顔の表情や口唇の動き，体の動きを手の動きとともに表示し，手話単語を単位として用意した時系列データをつなぎ合わせて手話アニメーションを生成することが可能である。ここで手話のアニメーションを対話的に作成するインタフェース技術に関しては、文献（手話編集装置 特願平７−１４４１２３、あるいは、手話アニメーション編集ツールの開発， 池田他， 電子情報通信学会１９９６年総合大会 Ａ−３３７）に記されている。しかし，この方法で手話アニメーションを作成するためには，手話アニメーション作成者が手話に関する知識を持っている必要がある。また対話的な作業を伴うため作成に時間を要するため，手話による情報伝達が字幕や音声による情報伝達に比べて遅くなってしまう。
【００２１】
この問題を解決するために，聴覚障害者への情報提供において良く使われる手話文について，あらかじめ部分的に未完成部分を含む（変更可能な）手話アニメーションを用意しておき，手話アニメーション作成者が情報伝達時に必要最小限の単語入力を行なうだけで，手話アニメーションが完成するようにした。図１において，本発明の一実施例における，手話アニメーション生成の部分に関する概念図を示す。１０１は緊急時に提供される情報を表現するためによく用いられる手話の文毎に，手話単語の見出しの列を文を生成する時でないと決まらない部分と既に固定された部分に区別して記述し，固定部分に対するＣＧデータと，可変部分に代入することのできる手話単語の見出し（あるいは単語見出し列）の候補に対するＣＧデータとからなる手話文テンプレートデータである。
【００２２】
手話文テンプレートデータは，手話単語見出しの列を文を生成する時でないと決まらない部分と固定された部分に区別して記述した，可変部付き手話文テンプレートデータ１０２と，固定部分に対するＣＧデータである固定部分手話文データ１０３と，可変部分に対して候補として用意される手話単語見出しの集合である手話単語候補データ１０４とからなる。
【００２３】
手話文データ生成部１０５は，手話アニメーション生成装置において情報の提供者すなわち手話アニメーションの作成者が，伝達したい情報にふさわしい手話文テンプレートを手話文テンプレートデータ１０１の中から選択し，可変部分を埋める手話単語を手話単語候補データ１０４から選択するか，自身で入力した結果，可変部分のない手話文データを生成する。
【００２４】
生成された手話文データは手話アニメーション合成部１０８に送られる。手話アニメーション合成部では，手話アニメーション生成装置から出力される手話アニメーションにおいて手話をおこなうコンピュータグラフィックス（ＣＧ）の人間のモデルを生成するためのデータである人体モデル１０７と，手話単語のそれぞれに対して，人体モデルの動きを記述した手話単語ＣＧデータ１０６とを用いて，手話文データに対する手話アニメーションを合成する。手話アニメーション合成部でのＣＧ合成法に関しては，文献（リアルタイム手話アニメーションの合成方法，崎山他，電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ． Ｊ７９−Ｄ−ＩＩ ｐｐ１８２−１９０）を参照することによって実現可能である。
【００２５】
現在，テレビなどで手話通訳者による放送内容の通訳画像が挿入されることが多くなってきたが，緊急時の情報伝達は主に音声と字幕に依存している。これらは聴覚障害者にとって非常に受け取りにくい情報となっている。それは，手話と日本語では文法が異なるため，用いられる単語の見出しや順序が異なったり，独特の身振りや表情が備わることにより情報を伝えているからである。手話と日本語の違いのため，手話に関する知識のない者が，手話単語を並べてわかりやすい手話の文を作ることは困難である。緊急時の情報はできるだけ早く伝達することが重要であるため，手話に通じた人を呼んできて手話の映像を作成していては，現在行なわれている字幕による速報に比べて，聴覚障害者に情報が届くのに長い時間を要する。本発明における手話文テンプレートを用いたアニメーション作成では，上記のような手話に関する知識が必要となる部分はすでに手話文テンプレートとして作成してあるので，アニメーション作成者が入力するのは，緊急時に伝達される情報において，場所や時間といった比較的限られた単語だけである。従ってアニメーション作成者が必ずしも手話に通じている必要がなく，従来の字幕と同様の早さで聴覚障害者に情報を伝達することが可能となる。
【００２６】
本発明の技術を緊急時の手話での情報提供への応用例について以下で述べる。図２は図１で示した手話アニメーション生成の手法を適用した，緊急時情報提供装置の全体概念図である。可変部付き手話文データ２０１，固定部分手話文データ２０２，手話単語候補データ２０３からなる手話文テンプレートデータ２０４は，あらかじめ作成し蓄積される。この手話文テンプレートデータを作成する際に，手話アニメーション編集部２０５が使用される。これは手話アニメーション編集者（テンプレート作成者）が必要な手話単語を並べ，表情や動作の抑揚を付加するといった編集操作を行なうことにより，聴覚障害者が読みとりやすい手話アニメーションを作成する。手話アニメーション編集部に関しては，文献（手話アニメーション編集ツールの開発， 池田他， 電子情報通信学会１９９６年総合大会 Ａ−３３７）等によって実現することが可能である。
【００２７】
２０６は手話アニメーションを作成する際に，手話文テンプレートの可変部に挿入する手話単語を手話単語候補から選択せずに，手話アニメーション作成者が自ら入力した時，その手話単語に関するＣＧデータが登録されていなかった場合に，その読みから指文字の組み合せで代用することにより手話アニメーションを作成するために用いられる日本語読み仮名辞書である。この日本語読み仮名辞書については後述する。
【００２８】
先に述べたように，手話文データ生成部２０７で可変部分が確定した手話文データが生成され，手話単語ＣＧデータ２０８，人体モデル２０９を用いて手話アニメーション合成部２１０で手話アニメーションが合成される。この時，合成したアニメーションに対して，さらに表情を変化させたり，動作を強調するなどの修正をしたほうが望ましい場合，そして修正を加えるだけの時間的余裕がある場合は，手話アニメーション編集部２１１を用いて手話アニメーション作成者が手話単語見出しを指定し，編集操作を加えることで，手話アニメーションをよりわかりやすく変更することが可能となる。
【００２９】
手話アニメーション合成部２１０で合成された手話アニメーションを緊急情報をしてテレビ電波などにのせて送出する場合，受信側で突然手話アニメーションが表示されても，聴覚障害者が手話アニメーションに気付くことは困難である。そこで手話アニメーションの再生が行なわれるまでに，受信側の画面の明るさや色合いを変化させるとともに，緊急情報が届いたことを手話で知らせる。これらの情報の付加を手話表示開始信号制御部２１２で行なう。
【００３０】
手話アニメーションの開始を伝えるための処理が施された後，字幕合成部２１３において，手話アニメーションと文字による字幕を両者のタイミングの同期をとりながら合成しテレビ電波にのせたりあるいは専用線にのせて送出する。
【００３１】
本発明の一実施例のハードウェア構成図を図３に示す。３０１は種々のプログラムを制御し，ＣＧによる手話アニメーションの生成のための情報処理を行なう演算装置，３０２は手話文データ生成部や手話編集部への単語見出しの入力や，各種編集操作のための入力を行なうキーボードとマウス，３０３はキーボードとマウス３０２から入力された文字列やコマンドを解釈し，計算機可読形式に変換する入力装置，３０４はＣＧによる手話アニメーションや手話文データ編集のためのインタフェース画面を表示するディスプレイ，３０５はディスプレイ３０４に表示するための画像上の処理を行なう出力装置である。
【００３２】
３０６は本発明を実施するに際し使用する各種データの辞書を保存しておくための磁気ディスク装置であり，３０７はあらかじめ作成した手話文テンプレートデータの集まりである手話文テンプレートデータベース，３０８はあらかじめ作成した手話単語ＣＧデータの集まりである手話単語ＣＧデータベース，３０９は可変部分に入力した手話単語が手話単語ＣＧデータベースに登録されていない場合に使用される。
【００３３】
日本語の単語に関する漢字を含む表記とその読み仮名の対のデータである日本語読み仮名データの集まりである日本語読み仮名データベースである。これらのデータベースが磁気ディスク３０６上に保持されている。
【００３４】
３１１は手話アニメーション生成装置が動作するために必要なプログラムやデータが記憶されているメモリであり，３１２は手話アニメーション作成者に手話文テンプレートデータの選択や可変部分の決定などを行なう環境を提供し，アニメーション作成者の対話的な操作で手話文データを作成する手話文データ編集プログラム，３１３は作成された手話文データに基づきＣＧによる手話アニメーションを合成する手話アニメーション合成プログラム，３１４は手話文データ編集プログラムにおいて手話アニメーション作成者に選択され利用されている手話文テンプレートデータ，３１５は手話文編集プログラムで作成された手話文データを構成する手話単語に対する手話単語ＣＧデータ，３１６は手話アニメーション合成プログラム３１３で手話アニメーションを合成するために用いられる人体モデルである。
【００３５】
次に，手話アニメーション生成装置における手話アニメーション生成に用いられる各種データについて図４から図８を用いて述べる。
【００３６】
手話文テンプレートのうち可変部付き手話文データの構造を図４に示す。可変部付き手話文データは日本語訳４０１とフィールド情報４０２から構成されている。日本語訳４０１はその手話文テンプレートを用いて作成する手話アニメーションの意味を日本語で記述したものであり，必ずしも手話に詳しくない手話アニメーション作成者が，手話文データ編集部においてこの日本語訳を用いて手話文テンプレートを選択する。図４に例として示したテンプレートは，ある時間にある場所で地震がありました，という意味の手話アニメーションを作成するための手話文テンプレートである。
【００３７】
フィールド情報４０２は，フィールドの識別子を記すフィールド欄４０３，そのフィールドが可変部分なのか固定部分なのかを示すタイプ欄４０４，そして可変部分の場合はそこに入れることができる手話単語の候補を記した手話単語候補データリストの識別子，固定部分の場合は対応する固定部手話文データの識別子が示された手話文データ／候補データ欄４０５にわかれている。
【００３８】
フィールド欄４０３の最初の識別子（ＦＩＤ１）４０６は，そのタイプ欄４０４には可変４０７と書かれてあることから，手話文データ／候補データ欄４０５に記された識別子（ＷＩＤ１）４０８は可変部分に対する手話単語候補データリストの識別子である。
【００３９】
フィールド欄４０３の二番目の識別子（ＦＩＤ２）４０９は，そのタイプ欄４０４には固定４１０と記されていることから，手話文データ／候補データ欄４０５に記された識別子（Ｃｎｓｔ＿Ｆｉｌｅ２）４１１は固定部分手話文データの識別子である。
【００４０】
次に手話文テンプレートデータにおける可変部分に対する手話単語候補データについて述べる。
【００４１】
図５における５０１は図４の可変部分付き手話文データにおいて記された手話単語候補データリスト識別子を示す候補データ識別子欄，５０２はその候補データリストにおいて選択可能な手話単語の識別子の一覧を示す手話単語識別子欄，５０３は手話単語識別子欄５０２に記された手話単語識別子に対応する手話単語見出しを記す手話単語見出し欄である。
【００４２】
５０４は図４の可変部付き手話文データにおける五番目のフィールドに対する手話単語候補リストの識別子（ＷＩＤ５）である。５０５はこの識別子（ＷＩＤ５）に対して用意された手話単語候補の識別子であり，５０６はそれぞれの識別子に対する手話単語見出しである。
【００４３】
手話単語「病院」のように，複数の手話単語を表す手の動きから構成される単語が手話には多い。これらに対して同じデータをそれぞれ保持しておくのは効率が良くない。そこである意味をもつ手の動きを単位に，手動作データをまとめ，この手動作の組合せで手話単語を表現する。口形に関しては，五十音等を単位としてサンプルを作成しておき，これを選ぶことにより手話単語，手話文データを作成する。表情，身振りに関しても口形と同様に，サンプルデータを用意しておき，これを選択することにより手話単語ＣＧデータ，手話文データを作成する。
【００４４】
図６を例に用いて手話文データと手話単語データとの関係，および手話単語データの構造を説明する。
【００４５】
図６において６０１は「私は病院に行きたい。」という意味を表す手話文に対する手話文データを表している。６０２は６０１を構成する手話単語「私」，６０３は同じく手話単語「病院」，６０４は同じく手話単語「行く」，６０５は同じく手話単語「好き」で，この順序に並ぶことにより６０１の手話文を表現できる。
【００４６】
手話単語は手の動きを表現する手動作，口唇の形を並べた口形列，顔の表情，身振りの各データから構成される。身振りとは手以外の体の動き，具体的には頭部の傾き，回転と上体の傾き，回転のことを指す。６０６は手話単語データを構成する手動作の並びを表す手動作列である。図６において手話単語「病院」は「脈」という手話単語の手動作６０７と「建物」という手話単語の手動作６０８の組み合わせである手動作列で構成されることを表す。６０９は手話単語データを構成する口唇の形の並びである口形列データである。図６において手話単語「病院」は「びょ」６１０，「う」６１１，「い」６１２，「ん」６１３という四つの口形データから構成される口形列によって表現されることを表す。６１４は手話単語データを構成する顔の表情である表情データである。図６において手話単語「病院」は，その前の手話単語「私」から手話単語間にまたがって「困惑」という表情データ６１５が割り当てられていることを表す。６１６は手話単語データを構成する頭部や上半身の動きを表す身振りデータである。図６において手話単語「病院」は，その前の手話単語「私」から手話単語「病院」の途中までに，身振りデータとして「首をかしげる」６１７が割り当てられていることを表す。
【００４７】
これにより手話アニメーション作成者は，口形，表情，身振り等の付加情報を最初から作成することなしに，容易にＣＧによる手話アニメーションを作成することが可能となる。
【００４８】
次に手動作データ，表情データ，口形データ，身振りデータの各データを保存しておく手話単語ＣＧデータ辞書の構成を述べる。
【００４９】
図７において７０１は図１および２で示した手話単語ＣＧデータ辞書である。７０２は各手話単語毎に用意された手話単語ＣＧデータである。手話単語ＣＧデータにはその手話単語データを構成する口形データ，表情データ，身振りデータ，手動作データへのポインタが記されている。７０３は手話アニメーションの人体モデルの口の動きを表現するために用いる口唇の形を表す口形データ７０４を保存しておく口形辞書で，７０５はアニメーションの人体モデルの顔の表情を表現するために用いる表情データ７０６を保存しておく表情辞書，７０７はアニメーションの人体モデルの手以外の動作を表現するために用いる頭の向き，傾き，上体の向き，傾きを表す身振りデータ７０８を保存しておく身振り辞書，７０９は手話アニメーションの人体モデルの手の動作を表す手動作データ７１０を保存しておく手動作辞書である。手話単語データは，手動作データと口形データ，表情データ，身振りデータから構成され，手話文データは手話単語の組合せによって表現されることを示している。
【００５０】
次に手話文テンプレートにおける固定部分手話文データについて説明する。
【００５１】
可変部付き手話文データの固定部分のデータである固定部分手話文データの構造を図８に示しす。８０１は固定部分手話文データを識別するための固定部分識別子欄である。図８では図４の６番目のフィールドの固定部分手話文データを例にしており，その識別子は「Ｃｎｓｔ＿Ｆｉｌｅ６」で表される。
【００５２】
８０２はその固定部分手話文データを構成する手話単語の数を記す構成手話単語数欄であり，図８の例では２つの手話単語から構成されていることがわかる。８０３は上で述べた手話単語のそれぞれに関する情報を記す上での識別番号を表す番号欄で，１から２までの番号が与えられている。８０４は固定部分手話文データを構成する手話単語の見出しであり，図８の例では「地震」と「起こる」の２つの手話単語で構成されていることを表す。手話アニメーションはある数のフレームの連続によって表現されている。８０５は固定部分手話文データにおける，フレームの番号で手話文データを構成する手話単語の相対的な開始位置を示す開始フレーム番号であり，８０６は手話文データを構成する手話単語の相対的な終端位置を示す終端フレーム番号である。図８の例では，手話単語「地震」は固定部分手話文データの先頭を表す「０」から「２７」フレームまでを，手話単語「起こる」は「２８」フレームから「４５」フレームまでを占めることを表す。
【００５３】
８０７は固定部分手話文データを構成する表情データの数を示す表情見出し数であり，図８の例では３つの表情データからなっていることがわかる。８０８は上で述べた表情データのそれぞれに関する情報を記す上での識別番号を表す番号欄で，１から３までの番号が与えられている。８０９は固定部分手話文データを構成する表情データの見出しであり，図８の例では先頭から順に「標準」と「驚いた顔」と「標準」の表情データで構成されている。８１０は固定部分手話文データにおける，フレームの番号で手話文データを構成する表情データの相対的な開始位置を示す開始フレーム番号であり，８１１は手話文データを構成する表情データの相対的な終端位置を示す終端フレーム番号である。図８の例では，表情データ「標準」は固定部分手話文データの先頭を表す「０」から「１０」フレームまでを，表情データ「驚いた顔」は「１１」フレームから「２９」フレームまでを，表情データ「標準」は「３０」フレームから「４５」フレームまでを占めることを表す。なお表情データ「標準」とは無表情のすました顔を表す。
【００５４】
８１２は固定部分手話文データを構成する身振りデータの数を示す身振り見出し数であり，図８の例では２つの身振りデータからなっていることがわかる。８１３は上で述べた身振りデータのそれぞれに関する情報を記す上での識別番号を表す番号欄で，１から２までの番号が与えられている。８１４は固定部分手話文データを構成する身振りデータの見出しであり，図８の例では先頭から順に「標準」と「うなずき」の身振りデータで構成されている。８１５は固定部分手話文データにおける，フレームの番号で手話文データを構成する身振りデータの相対的な開始位置を示す開始フレーム番号であり，８１６は手話文データを構成する身振りデータの相対的な終端位置を示す終端フレーム番号である。図８の例では，身振りデータ「標準」は固定部分手話文データの先頭を表す「０」から「１８」フレームまでを，身振りデータ「うなずき」は「１９」フレームから「４５」フレームまでを占めることを表す。なお身振りデータ「標準」とは正面を向いて直立の姿勢を表す。
【００５５】
８１７は固定部分手話文データを構成する口形列データの数を示す口形列見出し数であり，図８の例では２つの口形列データからなっていることがわかる。８１８は上で述べた口形列データのそれぞれに関する情報を記す上での識別番号を表す番号欄で，１から２までの番号が与えられている。８１９は固定部分手話文データを構成する口形列データの見出しであり，図８の例では先頭から順に「じしん」と「あった」の口形列データで構成されている。８２０は固定部分手話文データにおける，フレームの番号で手話文データを構成する口形列データの相対的な開始位置を示す開始フレーム番号であり，８２１は手話文データを構成する口形列データの相対的な終端位置を示す終端フレーム番号である。図８の例では，口形列データ「じしん」は固定部分手話文データの先頭を表す「０」から「２７」フレームまでを，口形列「あった」は「１９」フレームから「４５」フレームまでを占めることを表す。
【００５６】
８２２は固定部分手話文データ中の口形列データを構成する口唇の形の数を示す口形見出し数であり，図８の例では口形列データ「じしん」が３つ，口形列データ「あった」が２つのの口形データからなっていることがわかる。口形データとは音節単位で用意するものとする。８２３は上で述べた口形データのそれぞれに関する情報を記す上での識別番号を表す番号欄で，口形列データ「じしん」では１から３までの番号が与えられている。８２４は固定部分手話文データ中の口形列データを構成する口形データの見出しであり，図８の例では口形列データ「じしん」は先頭から順に「じ」，「し」，「ん」の口形データで構成されている。８２５は固定部分手話文データ中の口形列データ「じしん」における，フレームの番号で手話文データの口形列データを構成する口形データの相対的な開始位置を示す開始フレーム番号であり，８２６は手話文データ中の口形列データを構成する口形データの相対的な終端位置を示す終端フレーム番号である。図８の例では，口形データ「じ」は口形列データ「じしん」の先頭を表す「０」から「１０」フレームまでを，口形「し」は「１１」フレームから「１８」フレームまでを，口形データ「ん」は「１９」フレームから「２７」フレームまでを占めることを表す。
【００５７】
なお，手話文テンプレートを利用して手話文データ生成部において作成した，ＣＧ手話アニメーションの合成に用いる完成した（可変部分が確定した）手話文データも図８に示した固定部分手話文データと同じ形式のデータである。
【００５８】
次に本発明の一実施例である手話アニメーション生成装置による手話アニメーション作成の流れを図９から図１９を用いて述べる。
【００５９】
手話アニメーション生成装置を用いた手話アニメーション作成の手順の流れ図を図９に示す。まず最初にステップ９０１において，アニメーション作成者（情報提供者）が作成したい内容に従って手話文テンプレートを選択する。
【００６０】
本明細書に実施例として挙げた，主に緊急時に手話アニメーションを生成する手話アニメーション生成装置における手話文テンプレートの選択画面は図１０に示すような画面である。この図を用いて手話文テンプレートの選択について述べる。
【００６１】
１００１は手話文テンプレートを分類した項目を表示し，アニメーション作成者が選択する大分類フィールドである。緊急時に伝達したい情報は，地震の場合は場所や震度，迷子の場合は，身長や服の色といったように，状況によってある程度決まっている。そこで地震や台風，火事，津波，迷子といった状況毎に手話文テンプレートを用意しておき，アニメーション作成者はまず始めに大分類からどのような状況に関してのアニメーションを作るのかを選び，その後具体的な内容に従って個々の手話文テンプレートを選択する。
【００６２】
図１０において１００２は個々の手話文テンプレートが表示されるテンプレートフィールドで，大分類フィールド１００１でアニメーション作成者が選択した分類に含まれる手話文テンプレートデータの一覧が表示される。１００３はテンプレート編集ボタンである。手話文テンプレートを選択後このボタンを押すことにより，手話文テンプレートの可変部分の確定を行なうための画面（後述）が起動される。１００４はこの画面上で行なった手話文テンプレートの選択をキャンセルするキャンセルボタン，１００５は手話アニメーション生成装置を終了する終了ボタンである。
【００６３】
上記手話アニメーション生成装置において，手話文テンプレートデータを選択している時の画面を図１１に示す。図１１において１１０１は大分類として選択することにより反転表示された大分類「地震」の見出しである。大分類フィールドで選択することにより，１１０２のテンプレートフィールドに大分類「地震」に属する手話文テンプレートデータが一覧表示される。その中から一つを選択すると，１１０３のように反転表示され選択されたことを示す。手話文テンプレートを選択後テンプレート編集ボタン１１０４を押下することにより手話文テンプレートの編集を行なう。
【００６４】
手話アニメーション作成者が手話文テンプレートを選択した後，流れ図９のステップ９０２に従って手話文テンプレートの編集を行なう。
【００６５】
手話アニメーション作成者によって選択された手話文テンプレートに対して，その可変部分の編集を行なうための手話文データ編集画面は図１２に示したような画面となる。これを用いて手話文テンプレートの編集について述べる。図１１の大分類「地震」の２番めの手話文テンプレートを選択したことにより，その手話文テンプレートを編集できるように画面が形成されている。１２０１は手話文テンプレートにおける第１番目の可変部を表すプルダウンメニューのラベルで，午前か午後かを意味する手話単語が候補リストに入っている。１２０２は手話文テンプレートにおける第２番目の可変部を表すプルダウンメニューのラベルであり，１から１２までの数字が候補リストに入っている。１２０３は手話文テンプレートデータの第１番目の固定部を表すラベルである。１２０４は手話文テンプレートにおける第３番目の可変部を表すプルダウンメニューのラベルであり，１から５９までの数字が候補リストに入っている。１２０５は手話文テンプレートデータの第２番目の固定部を表すラベルである。１２０６は手話文テンプレートにおける第４番目の可変部を表すプルダウンメニューのラベルであり，例えば日本の代表的な地名を選んで候補リストに入れておく。ここの場合候補リストにない手話単語を使用したい場合については後述する。１２０８はプルダウンメニュー１２０１で候補リストから選択した手話単語の見出しを表示したり，アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。１２０９はプルダウンメニュー１２０２で候補リストから選択した手話単語の見出しを表示したり，アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。１２１０はプルダウンメニュー１２０３で候補リストから選択した手話単語の見出しを表示したり，アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。１２１１はプルダウンメニュー１２０４で候補リストから選択した手話単語の見出しを表示したり，アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。１２１２は手話文テンプレートデータの第３番目の固定部を表すラベルである。１２１３は手話文テンプレートにおける第５番目の可変部を表すプルダウンメニューのラベルであり，１から７の数字を候補リストに入れておく。１２１４は手話文テンプレートデータの第４番目の固定部を表すラベルである。プルダウンメニューラベル１２１３を押下すると手話単語候補見出しの一覧がプルダウンメニュー１２１５が表示される。１２１６はアニメ再生ボタンで，このボタンを押下することにより，作成した手話アニメーションを表示することが可能である。１２１７は放送ボタンであり，これを押下することにより，作成した手話アニメーションを手話表示開始信号制御部２１２を経て字幕合成部２１３で日本語字幕と合成されてテレビ回線等を通じて送出される。また１２１８は編集ボタンであり，作成した手話文データに基づく手話アニメーションにさらに変更を加えたい場合，このボタンを押下することにより，手話アニメーション編集部が起動される。手話アニメーション編集部に関しては，文献（手話アニメーション編集ツールの開発， 池田他， 電子情報通信学会１９９６年総合大会 Ａ−３３７）等により実現されている。１２１９は保存ボタンで，編集作業の結果できた手話アニメーションを保存する。１２２０は終了ボタンで手話文テンプレートの編集を終了し，手話文テンプレート選択画面に制御を戻す。
【００６６】
手話アニメーション作成者が，手話文テンプレートを選択すると，次にテンプレートの可変部分を確定させる。可変部分の確定には，あらかじめ用意された手話単語候補から選択するか，手話アニメーション作成者が手話単語見出しをキーボード等で入力するかのいずれかの手段を提供する。流れ図９のステップ９０３では手話文テンプレートの可変部分に対して用意された候補リスト中の手話単語を選択するか，手話アニメーション作成者がキーボードから手話単語見出しを入力するかを決める。
【００６７】
候補リストから選択することを決め，プルダウンメニュー（例えば１２１３）を押下すると，ステップ９０４では候補の単語リストの一覧を１２１４のように表示する。手話アニメーション作成者が手話単語見出しを入力することを決めると，ステップ９０６では手話単語見出し表示・入力欄（例えば１２１１）に手話単語見出しを入力する。ステップ９０８では，入力された手話単語見出しに対する手話単語ＣＧデータが手話単語ＣＧデータ辞書２０８に登録されているかを検索し，登録されていなければ指文字に変換するために読み仮名を生成する。この処理に関して，図１３の流れ図を用いて説明する。
【００６８】
まず手話単語見出し表示・入力欄（例えば１２１１）にアニメーション作成者によって入力された手話単語見出しに対して，手話単語ＣＧデータ辞書２０８に登録されているかを調べる（ステップ１３０１）。登録されていれば該当する手話文テンプレートの可変部分が確定したとしてステップ１３０５へ進み終了する。ステップ１３０１で手話単語が登録されていなければ，ステップ１３０２へ進み，日本語読み仮名辞書２０６を参照して入力された手話単語見出しの読みを得る。
【００６９】
ここで参照される日本語読み仮名辞書２０６の構造について述べる。図１４は日本語読み仮名辞書の例を示した図である。１４０１は手話アニメーション作成者が入力する手話単語見出しであり，１４０２は手話単語見出し毎に記述された読み仮名である。例えば「国分寺」という手話単語見出しに対しては，「こくぶんじ」という読み仮名が対応づけられている。
【００７０】
流れ図１３のステップ１３０２において手話アニメーション作成者が入力した手話単語見出しに対する読み仮名が日本語読み仮名辞書の中に存在すれば，ステップ１３０４に進む。この時，手話アニメーション作成者に確認を求める画面を表示しても良い。ステップ１３０２において手話アニメーション作成者が入力した手話単語見出しに対する読み仮名が日本語読み仮名辞書の中に存在しなければ，ステップ１３０３に進み，手話アニメーション作成者に対して検索の失敗と，正しい読みの入力を促す画面を表示する。
【００７１】
手話アニメーション生成装置内に，手話アニメーション作成者が入力した手話単語見出しに対するＣＧデータが存在しない場合は，手話アニメーション作成者が読み仮名を入力する。この入力された読み仮名にしたがって，手話アニメーション生成装置は読み仮名を指文字として手話アニメーションにする。手話アニメーション作成者による読み仮名の入力について述べる。図１５で手話単語見出し表示・入力欄１５０１に手話単語見出し「国分寺」を入力し，手話単語ＣＧデータ辞書２０８の検索に失敗した場合，手話単語未登録エラー画面１５０２が表示され，手話アニメーション作成者に手話単語データの検索に失敗したことを知らせる。手話アニメーション作成者は，読み入力欄１５０３に手話単語見出しに対する正しい読みをキーボードにより入力し，ＯＫボタン１５０４を押下することにより手話単語見出しに対する読み仮名が確定する。
【００７２】
手話文テンプレートデータの可変部分が確定すると，ステップ１３０４に進み，読み仮名として入力された平仮名の文字列を音節に分割し，ステップ１３０５でそれぞれの音節に対して，手話単語ＣＧデータ辞書を用いて指文字を対応づけて，手話文テンプレートデータの可変部分を確定する。図９の流れ図のステップ９０８において，手話文テンプレートの全ての可変部分が確定していなければ，ステップ９０２に戻って確定作業を繰り返す。全ての可変部分が確定していれば，ステップ９０９に進む。
【００７３】
こうして作成した手話アニメーションは聴覚障害者への情報提供のために再生することが可能である。ここで，さらに手話文テンプレートに記されたある手話単語の動作を手話アニメーションが放送される地域の方言に置き換える必要がある場合であるとか，あるいは，ある単語を強調するために表情を変更した方通い場合がある。このような場合のために，手話アニメーションにさらに変更を加えることが可能にしておく。流れ図９のステップ９０９では，それまでに作成した手話文データに対してさらに変更を加えるかどうかを判定する。編集を加える必要がある場合は，ステップ９１０へ進み，手話アニメーション編集部２１１によって手話アニメーション作成者が手話アニメーションに変更を加える。編集を加える必要がない場合は，ステップ９１１へ進む。ここで示している実施例では，ステップ９０９の判定を手話アニメーション作成者が，図１２の編集ボタン１２１８押下することによって区別している。
【００７４】
次に手話アニメーション編集部での手話アニメーション編集（ステップ９１０）の流れを述べる。本実施例では手話アニメーション編集部として，文献（手話アニメーション編集ツールの開発， 池田他， 電子情報通信学会１９９６年総合大会 Ａ−３３７）に記された装置を想定する。図１６のステップ１６０１では，まず手話文データにおいて編集を行なう範囲を指定し，ステップ１６０２において手話アニメーション作成者が行ないたい編集操作を指定すると，入力に応じてステップ１６０３，ステップ１６０４，ステップ１６０５，ステップ１６０６，ステップ１６０７へ分岐する。ステップ１６０３では選択された範囲の手動作に関して，手の空間的位置や掌の向き，掌の形状，肘の位置を変更させる。ステップ１６０４では，顔の表情を変更する。ステップ１６０５では，頭部と上半身の動きである身振りを変更する。ステップ１６０６では口唇の形状を変更させる。ステップ１６０７では，手話単語間に間合い（ポーズ）を挿入することにより，手話アニメーションの動きに抑揚をつける。ステップ１６０３から１６０７までの編集操作が終わると，ステップ１６０８に進み他に編集作業があるかどうかを判定する。編集作業があればステップ１６０１に進み，なければ終了する。
【００７５】
手話文テンプレートの可変部分を確定させ作成した手話文データに，さらに行なった編集作業（ステップ９１０）が終わるとステップ９１１に進み，作成した手話文データに基づき手話アニメーションを合成する。本明細書で述べた手話アニメーション生成装置における手話アニメーション合成の結果を図１７の手話アニメーションの再生が行なわれている時の画面の図を用いて述べる。手話文テンプレート編集画面１７０１のアニメ再生ボタン１７０２を押下すると手話文データに基づき手話アニメーションが合成される。ここでのＣＧアニメーションの合成法については，文献（リアルタイム手話アニメーションの合成方法，崎山他，電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ． Ｊ７９−Ｄ−ＩＩ ｐｐ１８２−１９０）によって実現することが可能である。図１７の１７０３は手話アニメーション表示画面，１７０４は合成した手話アニメーションである。１７０５は手話アニメーションの人形を見る視点を上下方向に変化させるスライダ、１７０６は手話アニメーションの人形を見る視点を水平方向に変化させるスライダである。手話アニメーション作成者が入力した手話単語見出し「国分寺」が手話単語ＣＧデータ辞書に登録されていなかったため，読み仮名に変換されて，手話単語見出し表示・入力欄１７０７に表示される。１７０８は生成した手話アニメーションを実際の送出するための放送ボタンである。
【００７６】
このようにして作成した手話のアニメーションを放送する際には，現在テレビなどで放送されている字幕によるニュース速報のように，警告音とともに放送しなければ，生成した手話アニメーションだけを突然テレビなどに映し出しても，聴覚障害者は気付かない可能性が高い。そこで手話による緊急の情報が提供されることを知らせる必要がある。そのため，図９の流れ図においてステップ９１１で合成された手話アニメーションに対して，ステップ９１２では，手話アニメーションによる情報の本体の前に，
（１）手話アニメーションを表示する部分の色を複数の色を用いて変化させる
（２）手話アニメーションを表示する部分を点滅させる
ととともに「緊急放送がある」という意味の手話アニメーションを付加して，テレビなどに送出する。その様子を図１８を用いて述べる。
【００７７】
従来，テレビなどで緊急時の情報提供の際に用いられていた，字幕による緊急放送開始の告知が１８０１であり，文字列の点滅とともに警告音が出力される。それと同時に１８０２として手話アニメーションが画面に現れ，その部分の色が短い周期で変化したり，点滅するとともに，「緊急放送があります」という意味の手話を行なう。
【００７８】
そして生成した手話アニメーションに加えて，日本語字幕合成部２１３で文字による字幕を手話アニメーションとタイミングを同期させて合成する（ステップ９１３）。そのためには手話文テンプレートデータの日本語訳４０１を手話アニメーションに合成すればよい。手話と文字を一緒に表示することにより，数字などの情報がより正確に伝わることが期待される。図１９は字幕と合成された手話アニメーションがテレビなどに出力されている様子を示す。１９０１は日本語訳４０１から取り出された日本語字幕である。日本語字幕と同期して，１９０２に手話アニメーションが表示される。
【００７９】
このようにして，緊急性の高い情報を従来の字幕と音声によるニュース速報と同様の速さで聴覚障害者にも伝達することが可能となる。そして手話に関する知識を持った人がいなくても，手話文テンプレートを用いてキーワードとなる単語を選択する，あるいは入力するだけで，伝達する情報を手話アニメーションとして表現することが可能となる。
【００８０】
【発明の効果】
地震や台風などの災害情報，交通事故などの緊急情報が，音声と文字によってテレビなどに表示されると，普段手話を使って生活をしている聴覚障害者は，見落としたり，正確に情報が伝わらない可能性がある。ここで手話アニメーションと文字という複数のメディアによって情報を提示することにより，聴覚障害者にも情報を正確に伝達することが可能になる。
【００８１】
またよく使われる文について手話文テンプレートを用意し，可変部分を指定して手話アニメーションを作成することにより，手話に精通した人でなくとも簡単に伝達すべき情報を手話で表現することができ，緊急時に手話通訳者などが確保できなくても，聴覚障害者により早く情報をわかりやすい形で提供することができる。
【００８２】
さらにＣＧデータをあらかじめ持っていない未登録の手話単語に対して，この見出しを平仮名に置き換え，指文字として手話アニメーションにすることにより，未登録の手話をスキップして情報を不完全にしたり，未登録の部分のＣＧデータを新たに作成るために時間を費やしてから手話アニメーションを作成することなく，情報を手話として提供することができる。
【００８３】
また手話による情報がテレビなどの画面からながれる前に，手話アニメーションの部分の明るさ，色を変化させることにより，テレビの画面の前の聴覚障害者が手話による情報が到着したことを知ることができ，提供される情報を見落とす可能性が低減される。
【図面の簡単な説明】
【図１】手話アニメーション生成装置の概念図。
【図２】緊急時情報提供に応用した手話アニメーション生成装置の概念図。
【図３】手話アニメーション生成装置のハードウェア構成図。
【図４】手話文テンプレートデータのうち可変部つき手話文データの構造図。
【図５】手話文テンプレートデータのうち手話単語候補データの構造図。
【図６】手話文データの構造図。
【図７】手話単語ＣＧデータ辞書の構成図。
【図８】手話文テンプレートデータのうち固定部分手話文データの構造図。
【図９】手話アニメーション作成の流れ図。
【図１０】手話文テンプレートデータ選択画面図。
【図１１】大分類を選択した状態の手話文テンプレートデータ選択画面図。
【図１２】手話文テンプレート編集画面図。
【図１３】未登録手話単語に対する指文字変換の流れ図。
【図１４】日本語読み仮名構造図。
【図１５】未登録手話単語に対する読み仮名決定画面図。
【図１６】手話アニメーション編集流れ図。
【図１７】手話アニメーション再生状態の画面図。
【図１８】手話アニメーション放送開始を伝える画面図。
【図１９】字幕と合成された手話アニメーションの放送時の画面図。

Claims (8)

1. 手話をＣＧを用いたアニメーションで生成する装置において、
   手話の文を構成する単語の並びおよび単語の部分について，手話を生成する時に決定できるようにした可変フィールドと，既に固定された固定フィールドに分割し，フィールド毎に，そのフィールドが可変フィールドであるか固定フィールドであるかを示す識別子と，可変フィールドに代入する手話単語の識別子又は識別子の列の候補とその手話単語をコンピュータグラフィックス（ＣＧ）で表現するためのデータを組で格納した手話文テンプレートデータを格納する手段と、
   手話文テンプレートの可変フィールドごとに代入する手話単語識別子を選択することにより手話文テンプレートデータの可変フィールドの内容を確定させる手段と、
   手話をＣＧで表現するためのデータとして，手の動きの他に口唇の形，身振り，顔の表情に関して記述した手話単語ＣＧデータを格納する手段と、
   手話単語ＣＧデータから各フィールドの間のＣＧデータを自動的に補間し，フィールドに対するアニメーションの間で動きが不連続にならない手話アニメーションを生成する手段を有することを特徴とする手話アニメーション生成装置。
2. 請求項１記載の手話アニメーション生成装置において，手話文テンプレートにおける可変フィールドに，予め用意した可変フィールドの手話単語候補以外の手話単語の見出しを入力できる手段を有することを特徴とする手話アニメーション生成装置。
3. 請求項２記載の手話アニメーション生成装置において，手話アニメーションを生成するための手の動きや口唇の形，身振り，顔の表情のＣＧデータを作成あるいは変更し，手話文テンプレートを作成する手段を有することを特徴とする手話アニメーション生成装置。
4. 請求項２記載の手話アニメーション生成装置において，手話文テンプレートデータの可変フィールドを確定した後，手話単語ＣＧデータの手の動きや口唇の形，身振り，顔の表情のＣＧデータを変更するための手段を有することを特徴とする手話アニメーション生成装置。
5. 請求項２記載の手話アニメーション生成装置において，手話文テンプレート以外にその日本語訳に対応する日本語テンプレートを有し，可変フィールドの手話単語候補以外に手話単語候補に対応した日本語訳を有し，日本語テンプレートと可変フィールドの日本語訳から，生成する手話文を決定できる手段を有することを特徴とする手話アニメーション生成装置。
6. 請求項２記載の手話アニメーション生成装置において，送出すべき情報を手話にする際に必要となる手話単語に対するＣＧデータが用意されていない場合，日本語の各単語について漢字表記とその読みがなの対からなるデータを有し，これを利用して漢字表記から平仮名表記への変換を行ない，この平仮名の並びを指文字によって手話アニメーションとして表現する手段を有し，あらかじめ登録されていない単語が入力の中に含まれていても，情報の持つ意味を手話で表すことができる手話アニメーション生成装置。
7. 請求項２記載の手話アニメーション生成装置において，手話文のアニメーションの表示が開始されることを伝える手段を有することを特徴とする手話アニメーション生成装置。
8. 請求項２または７記載の手話アニメーション生成装置において，生成された手話アニメーションと日本語の字幕を同期をとって表示する手段を有することを特徴とする手話アニメーション生成装置。

Images