JP6291265B2 - 手話ｃｇ合成装置及びそのプログラム - Google Patents

Description

本願発明は、手話を行っている人物の手指動作を表現した三次元モデルと、その人物の非手指動作を表現した二次元顔テクスチャ画像とを合成する手話ＣＧ合成装置及びそのプログラムに関する。

日本国内において、手話を母語とする聴覚障害者の中には、「日本手話」を最も理解しやすい言語とする方がいる。日本手話は、手指の動きだけでなく、視線、口型及び表情といった非手指動作が重要であり、日本語とは違う独自の文法をもつ言語である。

ここで、放送局は、放送番組の日本語音声を日本手話に通訳して欲しいとの要望に応えるため、手話通訳士が通訳を行う手話ニュース等の番組を放送している。だが、手話通訳士が対応できるのは限度があり、自動的に日本手話を翻訳できるシステムの実現が求められている。

日本手話を表現するためには、話者の手指の動きを再現する必要があるため、日本語を日本手話に翻訳して、ＣＧ(Computer Graphics）キャラクタの動きに変換して表示させる発明が提案されている（特許文献１，２）。特許文献１，２に記載の発明は、三次元のＣＧキャラクタの身体モデルで手指の動きを表現している。

これまで研究されてきた手話翻訳器は、図１２のように、文字情報（例えば、気象情報）を、顔と体が一体で表現された三次元ＣＧキャラクタが動作する合成映像に変換する。この手話翻訳器は、手指動作及び口型を独立に翻訳することができず、再生時にも手と顔を独立に動かすことができない。

現在までに、手指の動きをＣＧキャラクタの身体モデルで表現して、翻訳した単語の羅列に従って再生する手話言語表現技術は、完成度が高まっている。この理由としては、予め日本手話の単語を記録するモーションキャプチャの精度が向上したなどの理由により、手指動作の表現力が高くなったと考えられる。

特開２０１１−１７５５９８号公報 特開２０１３−３３３１６号公報

しかし、従来技術では、手指動作の表現力が高くなったのとは対照的に、顔の表情や口型（非手指動作）の表現力の低さが問題となっている。すなわち、日本手話では、手指動作だけでなく非手指動作も大きな役割を果たしており、ＣＧキャラクタの表現技術が向上したことで、相対的に非手指動作の表現力の低さが目立ってきている。

日本手話のＣＧに限らず、精緻でリアルな三次元モデルで人間の顔を表現すると、違和感を与えてしまう「不気味の谷」という現象が知られており、顔の不自然さを無くすことが困難である。この点、日本手話に限らず他言語の手話でも同様である。

そこで、手話言語表現技術において、非手指動作（顔及び頭部）を二次元テクスチャで表現し、この非手指動作と、ＣＧキャラクタの動きで表現された手指動作（胴体）とを、不自然さをできるだけ抑えて合成することを検討する。これまでの手話言語表現技術では、顔を含む体全体を１体の三次元ＣＧモデルで表現することが一般的である。多くの場合、手指動作は、高い完成度で違和感がない。一方、非手指動作は、手指動作に比較して、不自然さを少なくするのが困難である。その理由としては、以下の２点が考えられる。

理由１）眉間のしわやほうれい線のように、三次元のＣＧモデルで再現の難しい細かい部分が感情表現に大きく寄与する。
理由２）人間同士が会話しているとき、通常、聞き手は話者の顔近辺を見る。手話においても同様で、受け手の視線はほとんど話者の顔から離れない。また、多くの場合、個人を特定するために顔を見る。このように、人間にとって顔の重要性が手などの他の部分に比較して大きいため、非手指動作の表現力が厳しく評価される。

以上より、手話をＣＧキャラクタで再現する場合、非手指動作の顔部分と、手指動作の胴体部分とを独立させてそれぞれの特性に応じた表示方式を採用することが、自然な手話言語表現技術の実現に効果的である。

そこで、本願発明は、前記した問題を解決し、自然な手話ＣＧを生成する手話ＣＧ合成装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る手話ＣＧ合成装置は、手話における手指動作の順番を表す手指動作情報と、手指動作に対応した非手指動作を行っている人物の二次元顔テクスチャ画像とを用いて、手話ＣＧを合成する手話ＣＧ合成装置であって、モデル生成手段と、合成手段と、を備えることを特徴とする。

かかる構成によれば、手話ＣＧ合成装置は、モデル生成手段によって、手指動作情報が入力され、入力された手指動作情報を用いた三次元モデリングにより、手指動作を行っている人物の顔部分の位置情報が含まれる三次元モデルを生成する。

また、手話ＣＧ合成装置は、合成手段によって、二次元顔テクスチャ画像が入力され、入力された二次元顔テクスチャ画像を、三次元モデルの位置情報に基づいて、三次元モデルの顔部分に合成する。さらに、合成手段は、三次元モデルの位置情報に基づいて、三次元モデルの胴体部分を表す最背面レイヤの前面に、二次元顔テクスチャ画像を表す中間レイヤを重ね、最背面レイヤ及び中間レイヤの前面に、三次元モデルから抽出した手指部分を表す最前面レイヤを重ねる。
このように、手話ＣＧ合成装置は、二次元テクスチャで表現された顔部分と、三次元モデルの胴体部分とを正しい位置関係を保った状態で合成するので、非手指動作の表現力を向上させることができる。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る手話ＣＧ合成装置は、二次元テクスチャで表現された顔部分と、三次元モデルの胴体部分とを正しい位置関係を保った状態で合成する。これによって、手話ＣＧ合成装置は、非手指動作の表現力を向上させて、自然な手話ＣＧを生成することができる。

本願発明の各実施形態に係る手話翻訳装置の構成を示すブロック図である。 図１の手話翻訳手段における手話翻訳を示す概念図である。 図１の二次元顔テクスチャ画像生成手段における二次元顔テクスチャ画像の生成を説明する説明図である。 図１の二次元顔テクスチャ画像生成手段における二次元顔テクスチャ画像の生成を説明する説明図である。 図１の二次元顔テクスチャ画像生成手段における二次元顔テクスチャ画像の生成を説明する説明図である。 図１の胴体部分ＣＧ生成手段で生成された三次元モデルの概念図である。 図１の顔・胴体合成手段における三次元モデルの合成を示す概念図である。 図１の顔・胴体合成手段で合成された手話画像を説明する説明図である。 図１の手話翻訳装置の動作を示すフローチャートである。 本願発明の第２実施形態において、三次元モデルの合成を示す概念図である。 本願発明の変形例に係る手話翻訳装置の構成を示すブロック図である。 従来技術の概念図である。

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
図１を参照し、本願発明の第１実施形態に係る手話翻訳装置１について、説明する。
手話翻訳装置１は、ＣＧキャラクタの顔部分を二次元的な画像処理で生成し、胴体部分を三次元ＣＧで生成し、両者を合成する。ここで、顔部分と胴体部分とを別の系統でレンダリングしているために、両者の間に質感や動きの不整合があれば不自然さを生み出す要因となる。

そこで、手話翻訳装置１は、前者の質感の不整合を解消すべく、シームレスに制作した顔部分と胴体部分とをアルファマスクとの積を求めてから重ね合わせることで、ピクセル単位での合成を可能とする。具体的には、手話翻訳装置１は、顔のテクスチャに可能な限り質感が合うように胴体の三次元モデルを生成する。

また、手話翻訳装置１は、後者の動きの不一致を解消すべく、三次元モデルの顔部分の位置情報を、顔・胴体合成手段（合成手段）２３にリアルタイムで出力して合成に利用することで、顔部分と胴体部分とを連動させる。

［手話翻訳装置の構成］
以下、手話翻訳装置１の構成を具体的に説明する。
手話翻訳装置１は、入力された文字情報を手話に翻訳するものであり、手話翻訳手段１１と、二次元顔テクスチャ画像生成手段１３と、手話ＣＧ合成装置２とを備える。

手話翻訳手段１１は、入力された文字情報から、手話における手指動作の順番を表す手指シーケンス（手指動作情報）と、この手指動作に対応した非手指シーケンス（表情シーケンス、口型シーケンス、視線シーケンス）とを生成するものである。つまり、手話翻訳手段１１は、入力された文字情報を、手話動作及び非手指動作に変換する。

文字情報とは、手話翻訳の対象となる音声を文字（テキスト）で表した情報である。図２のように、文字情報は、例えば、気象情報の音声や原稿から生成したテキストである。
手指シーケンスとは、手話で手指を変化させる順番を表した時系列データである。例えば、手指シーケンスは、人間の骨格のような“ボーン”と呼ばれる骨構造の長さや関節の動きを表すＢＶＨ形式（モーションキャプチャ形式）のデータである。

表情シーケンスとは、手話で表情を変化させる順番を表した時系列データである。
口型シーケンスとは、手話で口型を変化させる順番を表した時系列データである。
視線シーケンスとは、手話で視線を変化させる順番を表した時系列データである。

ここで、手話翻訳手段１１は、下記の参考文献１に記載の手話翻訳技術を用いて、手指動作と独立して表情、口型、視線等の非手指動作も翻訳し、同期制御する。例えば、非手指動作として、手話で「寒い」を表現するとき、眉間にシワをよせるといった寒く、辛そうな表情をする。また、例えば、非手指動作として、手話で「東京」を表すとき、「トウキョウ」と口を動かす。

参考文献１：Margriet Verlinden,“Sign language on the WWW”,Proceedings of 18th International Symposium on Human Factors in Telecommunication (HFT 2001) in Bergen,Norway,5-7 November,2001

そして、手話翻訳手段１１は、生成した非手指シーケンスを二次元顔テクスチャ画像生成手段１３に出力する。また、手話翻訳手段１１は、生成した手指シーケンスを手話ＣＧ合成装置２（胴体部分ＣＧ生成手段２１）に出力する。

二次元顔テクスチャ画像生成手段１３は、手話翻訳手段１１から入力された非手指シーケンスを用いて、二次元顔テクスチャ画像を生成するものである。つまり、二次元顔テクスチャ画像生成手段１３は、表情、口型及び視線のパラメータから、二次元の画像変換により、顔部分のレンダリングを行う。

具体的には、二次元顔テクスチャ画像生成手段１３は、図３のように顔を二次元テクスチャで表現した後、図４のように表情変化（例えば、視線の変化）を表現した画像を生成する。例えば、二次元顔テクスチャ画像生成手段１３は、下記の参考文献２〜４に記載の表情変化技術を用いることができる。

参考文献２：［online］、顔シェーディング、［平成２６年１月１５日検索］、インターネット＜http://www.nintendo.co.jp/3ds/software/built-in/face/＞
参考文献３：［online］、モーションポートレート、［平成２６年１月１５日検索］、インターネット＜http://www.motionportrait.com/＞
参考文献４：［online］、Ｌｉｖｅ２Ｄ、［平成２６年１月１５日検索］、インターネット＜http://www.live2d.com/＞

なお、手話の顔表情は、通常の顔表情と比べて、多少大げさな印象を与えることが多い。このため、二次元顔テクスチャ画像生成手段１３は、手話に特化した２Ｄテクスチャ作成エンジンを用いることで、より自然な手話ＣＧを生成してもよい。

そして、二次元顔テクスチャ画像生成手段１３は、表情変化が表現された画像から、アルファマスクを用いて顔領域を切り出して、二次元顔テクスチャ画像を生成する。図５のように、手指動作に対応した非手指動作を表しているため、時刻ｔ＝１，２，３…の経過に従って、顔の輪郭や位置が微妙に変化する。従って、二次元顔テクスチャ画像生成手段１３は、この変化に対応したアルファマスクを用いて、ハッチングで図示した顔領域を切り出している。このように、二次元顔テクスチャ画像生成手段１３は、アルファマスクをテクスチャマッピングに用いるため、顔部分以外の不要な背景を切り捨てることができる。その後、二次元顔テクスチャ画像生成手段１３は、切り出した顔領域の画像を、二次元顔テクスチャ画像として、手話ＣＧ合成装置２（顔・胴体合成手段２３）に出力する。

手話ＣＧ合成装置２は、手話翻訳手段１１から入力された手指シーケンスと、二次元顔テクスチャ画像生成手段１３から入力された二次元顔テクスチャ画像とを用いて、手話ＣＧを合成するものである。図１に示すように、手話ＣＧ合成装置２は、胴体部分ＣＧ生成手段（モデル生成手段）２１と、顔・胴体合成手段（合成手段）２３とを備える。

胴体部分ＣＧ生成手段２１は、手話翻訳手段１１からの手指シーケンスを用いた三次元モデリングによって、手指動作を行っている人物の三次元モデルを生成するものである。つまり、胴体部分ＣＧ生成手段２１は、手指動作を表現するための胴体部分を三次元モデルで再現し、仮想的なカメラ位置から得られる画像をレンダリングする。この三次元モデルには、顔、胴体、手指等の各部分について、仮想三次元空間内の位置情報を有している。そして、胴体部分ＣＧ生成手段２１は、生成した三次元モデルを顔・胴体合成手段２３に出力する。

顔・胴体合成手段２３は、胴体部分ＣＧ生成手段２１から入力された三次元モデルの位置情報に基づいて、二次元顔テクスチャ画像生成手段１３からの二次元顔テクスチャ画像を、三次元モデルの顔部分に合成するものである。そして、顔・胴体合成手段２３は、二次元顔テクスチャ画像が合成された手話画像を外部に出力する。

＜三次元モデルの合成：第１例＞
図６〜図８を参照し、顔・胴体合成手段２３における三次元モデルの合成を説明する（適宜図１参照）。

図６には、仮想三次元空間９０に配置された三次元モデル９１と、仮想カメラ９２とを図示した。
三次元モデル９１は、手指動作を行っている人物の三次元モデルである。図６のように、三次元モデル９１は、頭、胴体、手指等の各部分で構成されている。
仮想カメラ９２は、ＣＧレンダリング用の仮想カメラである。例えば、仮想カメラ９２は、三次元モデル９１の胴体部分９１ａが正面に位置するように、仮想三次元空間９０に配置される。
なお、図６では、背景をドットで図示した。

まず、顔・胴体合成手段２３は、図７のように、二次元顔テクスチャ画像９３が三次元モデル９１の胴体部分９１ａに接合するように、平面に二次元顔テクスチャ画像９３が描画された１枚の板オブジェクト９４を設定する。つまり、顔・胴体合成手段２３は、テクスチャマッピングしたとき、二次元顔テクスチャ画像９３と三次元モデル９１の胴体部分９１ａとが違和感なく接続されるように、板オブジェクト９４の位置及び大きさを設定する。

板オブジェクト９４の設定は、テクスチャの素材となる画像の中で顔部分がどう写っているかに依存する。例えば、顔・胴体合成手段２３は、二次元顔テクスチャ画像９３の頭頂部から顎までの長さが、胴体部分９１ａの１／７位になるように、板オブジェクト９４の大きさを設定する。この場合、合成後の手話画像は、八頭身の人物を表す。

また、前記したように、三次元モデル９１が各部分の位置情報を有している。このため、顔・胴体合成手段２３は、三次元モデル９１の位置情報に基づいて、二次元顔テクスチャ画像９３が三次元モデル９１の胴体部分９１ａに接合するように、板オブジェクト９４の位置を設定する。板オブジェクト９４は、顔部分の動きに連動するため、その位置を整合させることができる。

そして、顔・胴体合成手段２３は、位置及び大きさが設定された板オブジェクト９４を三次元モデル９１の前面に配置する。これにより、顔・胴体合成手段２３は、図８のように、二次元顔テクスチャ画像９３と、三次元モデル９１の胴体部分９１ａとを、正しい位置関係を保った状態で合成することができる。図８の手話画像では、連続した手指動作を行っている胴体部分９１ａに、この手指動作に対応した非手指動作を行っている二次元顔テクスチャ画像９３が合成されている。

［手話翻訳装置の動作］
図９を参照し、図１の手話翻訳装置１の動作について、説明する（適宜図１参照）。
手話翻訳装置１は、手話翻訳手段１１によって、入力された文字情報から、手指シーケンスと、この手指動作に対応した非手指シーケンス（表情シーケンス、口型シーケンス、視線シーケンス）とを生成する（ステップＳ１）。

手話翻訳装置１は、二次元顔テクスチャ画像生成手段１３によって、ステップＳ１で生成した非手指シーケンスを用いて、二次元顔テクスチャ画像を生成する（ステップＳ２）。
手話翻訳装置１は、胴体部分ＣＧ生成手段２１によって、ステップＳ１で生成した手指シーケンスを用いて、手指動作を行っている人物の三次元モデルを生成する（ステップＳ３）。
なお、ステップＳ２，Ｓ３は、並列で処理することができる。

手話翻訳装置１は、顔・胴体合成手段２３によって、ステップＳ３で生成した三次元モデルの位置情報に基づいて、ステップＳ２で生成した二次元顔テクスチャ画像を、三次元モデルの顔部分に合成する（ステップＳ４）。

（第２実施形態）
図１に戻り、本願発明の第２実施形態に係る手話翻訳装置１Ｂについて、第１実施形態と異なる点を説明する。
第２実施形態では、３つのレイヤを合成して手話画像を生成する点が、第１実施形態と異なる。

図１のように、手話翻訳装置１Ｂは、手話翻訳手段１１と、二次元顔テクスチャ画像生成手段１３と、手話ＣＧ合成装置２Ｂとを備える。
また、手話ＣＧ合成装置２Ｂは、胴体部分ＣＧ生成手段２１と、顔・胴体合成手段２３Ｂとを備える。
なお、手話翻訳手段１１、二次元顔テクスチャ画像生成手段１３及び胴体部分ＣＧ生成手段２１は、第１実施形態と同様のため、説明を省略する。

＜三次元モデルの合成：第２例＞
図１０を参照し、顔・胴体合成手段２３Ｂにおける三次元モデルの合成を説明する（適宜図１参照）。

図１０のように、顔・胴体合成手段２３Ｂは、三次元モデル９１の位置情報に基づいて、胴体部分９１ａを表す最背面レイヤＬＯの前面に、二次元顔テクスチャ画像９３を表す中間レイヤＬＭを重ね、最背面レイヤＬＯ及び中間レイヤＬＭの前面に、手指部分９１ｂを表す最前面レイヤＬＩを重ねるものである。

顔・胴体合成手段２３Ｂは、胴体部分ＣＧ生成手段２１から入力された三次元モデル９１が含まれる最背面レイヤＬＯを生成する。このとき、顔・胴体合成手段２３Ｂは、三次元モデル９１における顔部分９１ｃの位置情報を利用して、中間レイヤＬＭを重ねるための頭部位置検出マーカＭＫを、最背面レイヤＬＯに付加する。三次元モデル９１を正面視した際、頭部位置検出マーカＭＫは、三次元モデル９１の顔部分９１ｃを囲う矩形領域の４隅に位置する。

また、顔・胴体合成手段２３Ｂは、二次元顔テクスチャ画像生成手段１３からの二次元顔テクスチャ画像９３が含まれる中間レイヤＬＭを生成する。例えば、顔・胴体合成手段２３Ｂは、部位置検出マーカＭＫで囲われた矩形領域のサイズに合わせて、二次元顔テクスチャ画像９３が中央に位置するように矩形状の中間レイヤＬＭを生成する。そして、顔・胴体合成手段２３Ｂは、部位置検出マーカＭＫと中間レイヤＬＭの４隅との位置が一致するように、最背面レイヤＬＯの前面に中間レイヤＬＭを重ねる。

ここで、最背面レイヤＬＯが中間レイヤＬＭに隠れることがある。このため、顔・胴体合成手段２３Ｂは、手指部分９１ｂが含まれる最前面レイヤＬＩを生成する。この場合、胴体部分ＣＧ生成手段２１では、前記した三次元モデル９１と同一の形状で、手指部分の色のみを代えた最前面レイヤ用三次元モデル（不図示）を、三次元モデル９１と同時にレンダリングしておく。例えば、最前面レイヤ用三次元モデルは、手指部分９１ｂのみを手指の色（例えば、白）、他の部分を胴体の色（例えば、黒）で塗った三次元モデルとなる。そして、顔・胴体合成手段２３Ｂは、最前面レイヤ用三次元モデルの手指部分９１ｂが含まれる最前面レイヤＬＩを生成する。さらに、顔・胴体合成手段２３Ｂは、三次元モデル９１の位置情報に基づいて、最背面レイヤＬＯ及び中間レイヤＬＭの前面に最前面レイヤＬＩを重ねる。

［作用・効果］
以上のように、本願発明の第１，２実施形態に係る手話翻訳装置１，１Ｂは、二次元テクスチャで表現された顔部分と、三次元モデルの胴体部分とを正しい位置関係を保った状態で合成する。これによって、手話翻訳装置１，１Ｂは、非手指動作の表現力を向上させて、自然な手話ＣＧを生成することができる。

すなわち、手話翻訳装置１，１Ｂは、顔部分を一旦二次元の画像として表現することで、人間の顔を精緻に表現可能とし、人間の体全体を自然に表現できる。これによって、手話翻訳装置１は、受け手にとって抵抗の少ない手話画像を表示できる(可能性がある)。

また、三次元モデルは、一度製作するとその修正が困難であり、汎用性に乏しい。一方、二次元画像は、精緻な顔表情に限らず、原画像をデフォルメすることや、クリーチャやアニメキャラクタにも適用可能であり、柔軟に修正、加工できる。つまり、手話翻訳装置１，１Ｂは、二次元画像の顔部分と、三次元モデルの胴体部分とを合成するので、修正が容易なため、手話画像の汎用性が向上する。例えば、手話翻訳装置１，１Ｂは、受け手の身近な人物の顔画像を入力として、その顔画像に非手指動作を反映させた手話画像を生成することができる。

（変形例）
本願発明に係る手話翻訳装置は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。

図１１のように、手話翻訳装置１Ｃは、手話翻訳手段１１と、二次元顔テクスチャ画像生成手段１３と、手話ＣＧ合成装置２Ｃとを備える。
また、手話ＣＧ合成装置２Ｃは、胴体部分ＣＧ生成手段２１と、顔・胴体合成手段２３と、フィルタ手段（第１のフィルタ手段）２５と、フィルタ手段（第２のフィルタ手段）２７とを備える。
なお、手話翻訳手段１１、二次元顔テクスチャ画像生成手段１３、胴体部分ＣＧ生成手段２１及び顔・胴体合成手段２３は、第１実施形態と同様のため、説明を省略する。

フィルタ手段２５は、胴体部分ＣＧ生成手段２１から入力された三次元モデルに、一般的なトゥーンフィルタを施すものである。このトゥーンフィルタは、フィルタの対象となる三次元モデルを漫画調に変換するフィルタである。そして、フィルタ手段２５は、トゥーンフィルタが施された三次元モデルを、顔・胴体合成手段２３に出力する。

フィルタ手段２７は、二次元顔テクスチャ画像生成手段１３から入力された二次元顔テクスチャ画像に、前記したトゥーンフィルタを施すものである。そして、フィルタ手段２７は、トゥーンフィルタが施された二次元顔テクスチャ画像を、顔・胴体合成手段２３に出力する。

これによって、手話翻訳装置１Ｃは、胴体部分と顔部分との立体感を近づけることができ、より自然な手話ＣＧを生成することができる。
なお、トゥーンフィルタは、第１実施形態だけでなく、第２実施形態にも適用することができる。

前記した実施形態では、手話翻訳装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、手話翻訳装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる手話翻訳プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本願発明は、手話翻訳技術として、テレビ、携帯端末、広告などの広い産業で利用することができる。また、本願発明は、ＣＧによる説明員（バーチャルコンシェルジュ）を、より親しみのある表現方法で実現することもできる。

１，１Ｂ，１Ｃ 手話翻訳装置
１１ 手話翻訳手段
１３ 二次元顔テクスチャ画像生成手段
２，２Ｂ，２Ｃ 手話ＣＧ合成装置
２１ 胴体部分ＣＧ生成手段（モデル生成手段）
２３，２３Ｂ 顔・胴体合成手段（合成手段）
２５ フィルタ手段（第１のフィルタ手段）
２７ フィルタ手段（第２のフィルタ手段）

Claims (4)

1. 手話における手指動作の順番を表す手指動作情報と、前記手指動作に対応した非手指動作を行っている人物の二次元顔テクスチャ画像とを用いて、手話ＣＧを合成する手話ＣＧ合成装置であって、
   前記手指動作情報が入力され、入力された前記手指動作情報を用いた三次元モデリングによって、前記手指動作を行っている人物の顔部分の位置情報が含まれる三次元モデルを生成するモデル生成手段と、
   前記二次元顔テクスチャ画像が入力され、前記三次元モデルの位置情報に基づいて、入力された前記二次元顔テクスチャ画像を、前記三次元モデルの顔部分に合成する合成手段と、
   を備え、
   前記合成手段は、前記三次元モデルの位置情報に基づいて、前記三次元モデルの胴体部分を表す最背面レイヤの前面に、前記二次元顔テクスチャ画像を表す中間レイヤを重ね、前記最背面レイヤ及び前記中間レイヤの前面に、前記三次元モデルから抽出した手指部分を表す最前面レイヤを重ねることを特徴とする手話ＣＧ合成装置。
2. 前記モデル生成手段が生成した三次元モデルに、トゥーンフィルタを施す第１のフィルタ手段と、
   入力された前記二次元顔テクスチャ画像に、トゥーンフィルタを施す第２のフィルタ手段と、をさらに備え、
   前記合成手段は、トゥーンフィルタが施された前記二次元顔テクスチャ画像を、トゥーンフィルタが施された前記三次元モデルに合成することを特徴とする請求項１に記載の手話ＣＧ合成装置。
3. 手話における手指動作の順番を表す手指動作情報と、前記手指動作に対応した非手指動作を行っている人物の二次元顔テクスチャ画像とを用いて、手話ＣＧを合成する手話ＣＧ合成装置であって、
   前記手指動作情報が入力され、入力された前記手指動作情報を用いた三次元モデリングによって、前記手指動作を行っている人物の顔部分の位置情報が含まれる三次元モデルを生成するモデル生成手段と、
   前記モデル生成手段が生成した三次元モデルに、トゥーンフィルタを施す第１のフィルタ手段と、
   入力された前記二次元顔テクスチャ画像に、トゥーンフィルタを施す第２のフィルタ手段と、
   前記二次元顔テクスチャ画像が入力され、前記三次元モデルの位置情報に基づいて、入力された前記二次元顔テクスチャ画像を、前記三次元モデルの顔部分に合成する合成手段と、
   を備え、
   前記合成手段は、トゥーンフィルタが施された前記二次元顔テクスチャ画像を、トゥーンフィルタが施された前記三次元モデルに合成することを特徴とする手話ＣＧ合成装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載の手話ＣＧ合成装置として機能させるための手話ＣＧ合成プログラム。

Images