JP6424050B2 - 多関節骨格モデル処理装置及びプログラム - Google Patents

Description

本発明は、日本語文章のテキストを複数の単語に変換し、日本語文章のテキストに対応する多関節骨格モデルの動きを表したＣＧ（Computer Graphics：コンピュータグラフィックス）等にて再生する多関節骨格モデル処理装置及びプログラムに関する。

従来、多関節骨格モデルを用いて、所定の動きを表す制御データを生成し、制御データに基づいてＣＧを再生したり、ロボットアームを動かしたりするシステムの開発が進められている。このシステムでは、ＣＧ及びロボットアーム等により、人間に近い動きが求められる。このような多関節骨格モデルを用いて人間に近い動きを実現する技術は、例えば、手話動作をＣＧにて再生する場合に用いられる。

従来、日本国内において、手話を母語とする聴覚障害者の中には、「日本手話」を最も理解しやすい言語とする者がいる。「日本手話」は、日本語とは違う独自の文法をもつ言語である（例えば、非特許文献１を参照）。また、テレビで放送する日本語を日本手話に翻訳して欲しいという要望もあり、その要望に対応した手話ニュース等の放送が実施されている。しかし、話者（手話通訳士）が対応可能な範囲には限度があり、テレビで放送する日本語を日本手話に自動的に翻訳するシステムの実現が求められている。

手話を、話者の力を借りることなく機械で表現するためには、話者の手指の動きを画像として再現する必要がある。この動きの画像を記録するために、モーションキャプチャの技術が用いられる。モーションキャプチャの技術により、精度の高い記録が可能となる。

このように、現在までに実現されている技術を用いることで、日本語文章を丸ごと手指の動きのデータとしてモーションキャプチャし、得られた関節の位置情報からＣＧにてキャラクタの動きを再現することで、手話の手指動作として自然な動作を表現することができる。

しかしながら、表現すべき全てのパターンの文章を予めモーションキャプチャすることは、実質的に不可能である。このため、実際には、翻訳したい日本語文章を単語等の細かい単位に区切ってモーションキャプチャする。そして、一連の日本語文章を手話の手指動作として再生する際に、日本語文章を構成するモーションキャプチャのデータ（単語等の細かい単位のデータ）を複数接続する。このような再生処理においては、単語と単語の接続手法（２つの単語のモーションキャプチャのデータを接続する手法）が重要となる。

例えば、単語Ａ（単語Ａのモーションキャプチャのデータ）と単語Ｂ（単語Ｂのモーションキャプチャのデータ）とを接続する場合、単語Ａの終わり部分と単語Ｂの始め部分とを円滑に繋ぐことにより、日本語文章に対応した自然な手話の動きを実現することができる。

従来の手話翻訳システムにより生成されるＣＧは、キャラクタの手の動きを複数のジョイント（人間の“関節”にあたる箇所）の角度変化で表現し、スキン（人間の“肌”）と呼ばれるポリゴン（ＣＧにおいて、最低３点の位置で表される平面）を張り付けることにより、人間の表面形状を表現する。

一般に、人間の姿勢及び動きをＣＧで表現するために、姿勢情報を記述することが行われる。代表的な記述手法には、ＦＫ（フォワードキネマティクス）及びＩＫ（インバースキネマティクス）がある。

図１２は、ＦＫ及びＩＫによる関節位置の計算順序を示す図である。図１２において、片側矢印の方向が計算を進める方向である。ＦＫでは、腰を基準として、背骨を経由して頭部及び手足の指先の末端へ向けてジョイントの角度が記述される。腰を基点として、全ての骨の長さ及びジョイント角度が記述されることにより、計算により全ての関節位置を求めることができるから、ＣＧキャラクタの姿勢を一意に決めることができる。つまり、ＦＫでは、腰を基準として、末端へ向けた関節の位置を求め、その関節にアニメーションを付けることにより、人間の姿勢及び動きをＣＧで表現する。ＦＫ形式のデータのうち代表的なものがＢＶＨ形式のデータである。ＢＶＨ形式のデータでは、連続するジョイント角度を記述することにより、アニメーションを表現することができる。

これに対し、ＩＫでは、ＦＫの計算順序とは逆に計算を行い、部分的に末端から起点方向（腰）へ向けて計算が進められる。例えば、手の位置を決めてから、肘の位置が計算される。手の位置を先に決めて肘の位置を後に決めるようなＩＫの手法を用いるのは、人間の動作において、肘の位置よりも手の位置の方が重要な意味を持つ場合が多いからである。このＩＫの手法を手話に適用することにより、一層自然な手指動作を実現できることが期待される。

このようなＦＫまたはＩＫの手法を用いて、人間の姿勢及び動きをＣＧで表現する際に、２つの単語を接続する必要がある。２つの単語を接続するためには、一般に、ジョイントの角度を単純に変化させる線形補間する手法が用いられる。

このように、２つの単語を接続する際に、線形補間法を用いることにより、簡易な計算にて２つの単語の手指動作間のギャップをなくすことができる。

安ケ平雄太他、「日本手話の手話発話速度の違いによる手動作変化の分析」、手話学研究、２００８年、第１７巻、ｐ．５７−６８

しかしながら、２つの単語を接続する際に、ＦＫに基づいて関節角度を補間する手法を用いる場合には、実際の人間の関節の制約条件が全く考慮されず、２つの手指動作を機械的に接続するに過ぎないことから、その動作を見ている人には、ロボットのような不自然な動きであるとの印象を与えることが多い。

ＦＫに基づいて関節角度を補間する手法には、前述の線形補間法に加え、スプライン補間法等がある。しかし、これらの補間法を用いたとしても、ＦＫに基づいた補間法である限り、手指動作は不自然な動きになってしまう。

また、手話翻訳システムでは、単語と単語を自動的に接続（補間）するために、簡易な計算で済むＦＫに基づく線形補間法が用いられることが多い。しかし、前述のとおり、ＦＫに基づいている限り、動きが不自然になってしまうから、関節をもつキャラクタをリアルなアニメーションで表現する場合には、ＦＫに基づく線形補間法以外の手法を用いるべきである。

図１１（１）は、肩関節における肩−肘軸の回転のみが異なる２つの単語を接続する際に、ＦＫに基づく線形補間法を用いた場合について説明する図であり、ＦＫを適用して肩角度を線形補間した例を示す。図１１（１）に示すように、２つの単語をＦＫに基づく線形補間法にて接続した場合、肘は動かずに、手首は肘を中心とした弧を描く。この動作では、ロボットのような印象を受け、人間の動きとしては不自然である。

このように、２つの単語を接続し、ＣＧによる手話キャラクタの手指動作を再生する際に、ＦＫに基づく補間法を用いる従来技術では、接続箇所に動きの不自然さが見られる。そこで、一連の日本語文章を全てモーションキャプチャして再生する場合と同様に、ＣＧによる手話キャラクタにて、手話の自然な動きを実現する接続手法が所望されていた。また、ＣＧによる手話キャラクタにて、手話の更なる自然な動き及び柔軟な表現を実現するために、２つの単語を接続した後に、再生速度等を調整したり、動作を修正したりすることも所望されていた。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、２つの単語を接続し、ＣＧによる手話キャラクタ等にて多関節の動作を再生する際に、自然な動きを実現することが可能な多関節骨格モデル処理装置及びプログラムを提供することにある。

前記目的を達成するために、本発明による多関節骨格モデル処理装置は、日本語文章テキストを複数の単語に変換し、前記複数の単語に基づいて、前記日本語文章テキストに対応する多関節骨格モデルの動きを表した制御データを生成する多関節骨格モデル処理装置において、前記日本語文章テキストを、複数の単語に対応するそれぞれのＦＫ（フォワードキネマティクス）形式のデータに変換する変換機と、前記変換機により変換された単語毎のＦＫ形式のデータをＩＫ（インバースキネマティクス）形式のデータに変換し、単語毎のＩＫ形式のデータを補間して接続し、前記日本語文章テキストのＩＫ形式のデータを生成し、前記日本語文章テキストのＩＫ形式のデータをＦＫ形式のデータに変換するＩＫデータ処理部と、前記ＩＫデータ処理部により変換されたＦＫ形式のデータに基づいて、前記日本語文章テキストに対応する多関節骨格モデルの動きを表した制御データを生成する制御データ生成部と、を備えたことを特徴とする。

また、本発明による多関節骨格モデル処理装置は、日本語文章テキストを手話に翻訳し、多関節骨格モデルのＣＧ（コンピュータグラフィックス）にて再生するためのＣＧデータを生成する多関節骨格モデル処理装置において、前記日本語文章テキストを、複数の手話単語に対応するそれぞれのＦＫ形式のデータに変換する手話翻訳機と、前記手話翻訳機により変換された手話単語毎のＦＫ形式のデータをＩＫ形式のデータに変換し、手話単語毎のＩＫ形式のデータを補間して接続し、前記日本語文章テキストのＩＫ形式のデータを生成し、前記日本語文章テキストのＩＫ形式のデータをＦＫ形式のデータに変換するＩＫデータ処理部と、前記ＩＫデータ処理部により変換されたＦＫ形式のデータに基づいて、前記日本語文章テキストに対応する手話の動きのＣＧデータを生成するレンダラと、を備え、前記ＩＫデータ処理部が、前記手話翻訳機により変換された手話単語毎のＦＫ形式のデータを、手話単語毎のＩＫ形式のデータにそれぞれ変換するＦＫ−ＩＫ変換部と、前記ＦＫ−ＩＫ変換部により変換された手話単語毎のＩＫ形式のデータに対し、前記日本語文章テキストにおける時間軸上で前後する第１のＩＫ形式のデータと第２のＩＫ形式のデータとの間の接続箇所を補間することで、前記第１のＩＫ形式のデータと前記第２のＩＫ形式のデータとを接続し、前記日本語文章テキストのＩＫ形式のデータを生成する単語補間部と、前記単語補間部により生成された前記日本語文章テキストのＩＫ形式のデータをＦＫ形式のデータに変換するＩＫ−ＦＫ変換部と、を備えたことを特徴とする。

また、本発明による多関節骨格モデル処理装置は、前記ＦＫ形式のデータをＢＶＨ形式のデータとし、前記ＩＫ形式のデータを、モーションパスを表すモーションパスデータ、及び手首、肘及び肩の動きの制約条件が設定されたＩＫソルバとし、前記ＦＫ−ＩＫ変換部が、前記手話単語毎のＢＶＨ形式のデータから、手首の位置を抽出して制御点に設定し、前記制御点に基づいて、前記手首の動きを表すモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記手話単語毎に、前記制御点及び前記キーフレームを含む手首のモーションパスデータを生成すると共に、前記ＩＫソルバを生成し、前記手話単語毎のＢＶＨ形式のデータから、肘の位置を抽出して制御点に設定し、前記制御点に基づいて、前記肘の動きを表すモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線から前記キーフレームを抽出し、前記手話単語毎に、前記制御点及び前記キーフレームを含む肘のモーションパスデータを生成し、前記単語補間部が、前記ＦＫ−ＩＫ変換部により変換された手話単語毎の手首及び肘のモーションパスデータのそれぞれに対し、前記日本語文章テキストにおける時間軸上で前後する第１のモーションパスと第２のモーションパスとの間で重複する接続箇所を設定し、前記第１のモーションパスの制御点のうち、前記第２のモーションパスへの移行を開始する時点までの制御点を抽出すると共に、前記第２のモーションパスの制御点のうち、前記第１のモーションパスからの移行が完了する時点より後の制御点を抽出し、前記抽出した前記第１のモーションパスの制御点、及び前記抽出した前記第２のモーションパスの制御点に基づいて、前記接続箇所を補間したモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記日本語文章テキストにおける、前記制御点及び前記キーフレームを含むモーションパスデータを、前記手首及び肘についてそれぞれ生成し、前記ＩＫ−ＦＫ変換部が、前記単語補間部により生成された前記日本語文章テキストの手首及び肘のモーションパスデータ、及び前記ＩＫソルバを、ＢＶＨ形式のデータに変換する、ことを特徴とする。

また、本発明による多関節骨格モデル処理装置は、前記ＦＫ形式のデータをＢＶＨ形式のデータとし、前記ＩＫ形式のデータを、モーションパスを表すモーションパスデータ、及び手首、肘及び肩の動きの制約条件が設定されたＩＫソルバとし、前記ＦＫ−ＩＫ変換部が、前記手話単語毎のＢＶＨ形式のデータから、手首の位置を抽出して制御点に設定し、前記制御点に基づいて、前記手首の動きを表すモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記手話単語毎に、前記制御点及び前記キーフレームを含む手首のモーションパスデータを生成すると共に、前記ＩＫソルバを生成し、前記単語補間部が、前記ＦＫ−ＩＫ変換部により変換された手話単語毎の手首のモーションパスデータに対し、前記日本語文章テキストにおける時間軸上で前後する第１のモーションパスと第２のモーションパスとの間で重複する接続箇所を設定し、前記第１のモーションパスの制御点のうち、前記第２のモーションパスへの移行を開始する時点までの制御点を抽出すると共に、前記第２のモーションパスの制御点のうち、前記第１のモーションパスからの移行が完了する時点より後の制御点を抽出し、前記抽出した前記第１のモーションパスの制御点、及び前記抽出した前記第２のモーションパスの制御点に基づいて、前記接続箇所を補間したモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記日本語文章テキストにおける、前記制御点及び前記キーフレームを含む手首のモーションパスデータを生成し、前記ＩＫ−ＦＫ変換部が、前記単語補間部により生成された前記日本語文章テキストの手首のモーションパスデータ、及び前記ＩＫソルバを、ＢＶＨ形式のデータに変換する、ことを特徴とする。

また、本発明による多関節骨格モデル処理装置は、前記ＩＫデータ処理部が、さらに、手話の再生時間を変更する調整部を備え、前記調整部が、前記単語補間部により生成されたモーションパスデータに含まれる前記キーフレームを変更することで、モーションパスのスケールを変化させ、新たなモーションパスデータを生成する、ことを特徴とする。

また、本発明による多関節骨格モデル処理装置は、前記調整部に代わる新たな調整部が、前記単語補間部により生成されたモーションパスデータに含まれる前記キーフレームを変更することで、モーションパスのスケールを変化させ、前記モーションパスデータに含まれる制御点を所定数分減らし、新たなモーションパスデータを生成する、ことを特徴とする。

また、本発明による多関節骨格モデル処理装置は、前記ＩＫデータ処理部が、さらに、モーションパスの形状を修正する修正部を備え、前記修正部が、ユーザの操作に従って、前記単語補間部により生成されたモーションパスデータにおけるモーションパスの形状を修正する、ことを特徴とする。

さらに、本発明によるプログラムは、コンピュータを、前記多関節骨格モデル処理装置として機能させることを特徴とする。

以上のように、本発明によれば、２つの単語を接続し、ＣＧによる手話キャラクタ等にて多関節の動作を再生する際に、自然な動きを実現することが可能となる。

本発明の実施形態による手話ＣＧ翻訳装置の構成を示すブロック図である。 ＩＫデータ処理部の構成を示すブロック図である。 ＦＫ−ＩＫ変換部の処理を示すフローチャートである。 ＦＫ−ＩＫ変換部の処理を説明する図である。 手話単語のモーションパスの例を示す図である。 単語補間部の処理を示すフローチャートである。 単語補間部の処理を説明する図である。 自動調整部において、手首の軌道の長さを自動調整する例を説明する図である。 自動調整部において、制御点を減らして粗いカーブのモーションパスに修正する例を説明する図である。 手動修正部において、手首のモーションパスの制御点を選択して指先方向を修正する例を説明する図である。 肩関節における肩−肘軸の回転のみが異なる２つの単語を接続する際に、（１）は、ＦＫ及び線形補間法を用いた場合の動きを説明する図であり、（２）は、ＩＫ及びモーションパスの手法を用いた本発明の実施形態による動きを説明する図である。 ＦＫ及びＩＫによる関節位置の計算順序を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、日本語文章のテキスト（以下、日本語文章テキストという。）を、単語を羅列させた複数の単語に変換（翻訳）し、日本語文章テキストに対応する多関節骨格モデルの動きを表した制御データを生成する多関節骨格モデル処理装置において、単語を羅列させたデータであるＦＫ形式のデータ（以下、ＦＫデータという。）をＩＫ形式のデータ（以下、ＩＫデータという。）に変換し、時間軸上で前後する第１のＩＫデータと第２のＩＫデータとの間の接続箇所を補間することを特徴とする。

以下、多関節骨格モデル処理装置の一例として、手話ＣＧ翻訳装置を例に挙げて説明する。手話ＣＧ翻訳装置は、日本語文章テキストを手話に翻訳し、多関節骨格モデルのＣＧにて再生するためのＣＧデータを生成する。

〔手話ＣＧ翻訳装置〕
まず、手話ＣＧ翻訳装置の構成について説明する。図１は、本発明の実施形態による手話ＣＧ翻訳装置（多関節骨格モデル処理装置）の構成を示すブロック図である。この手話ＣＧ翻訳装置１は、ＤＢ（データベース）２、手話翻訳機３、ＩＫデータ処理部４及びレンダラ（制御データ生成部）５を備えている。

ＤＢ２には、複数のジョイントからなる骨格構造の情報（骨格構造情報）、並びに、スキン形状及び色等のマテリアル情報のベースモデルが格納されている。

手話翻訳機３は、当該手話ＣＧ翻訳装置１が手話ＣＧとして再生する日本語文章テキストを入力し、日本語文章テキストを、統計翻訳及び用例翻訳等の手法を用いて、手話単語を羅列させた複数の手話単語に変換（翻訳）する。手話単語を羅列させた複数の手話単語は、日本語文章テキストに対応する手話単語を時系列に並べたものである。例えば、日本語文章テキストが「明日は雨でしょう」の場合、この日本語文章テキストは、複数の手話単語「明日は」「雨」「でしょう」に変換される。

手話翻訳機３は、日本語文章テキストに対応する複数の手話単語を、予め保持しているＢＶＨ形式のデータ（モーションキャプチャにより生成されたデータ、以下、ＢＶＨデータという。）群から抽出することで、ＢＶＨデータにそれぞれ変換し、日本語文章テキストの順番に並べる。ＢＶＨデータは、ＦＫデータの代表的なデータであり、各ジョイントの角度アニメーションを実現するデータであって、関節の角度が定義されたデータである。ＢＶＨデータを用いて、後述するレンダラ５において、ＦＫにより手話の動きのＣＧデータが生成される。

ここで、ＦＫデータは、その手話単語に対応する動きが定義されたデータであり、関節の角度のみが設定されている。ＦＫデータを用いることにより、中心（腰）から末端（手首）へ向けて、順番に関節の角度計算が行われ、手話単語に対応する手話の動きのＣＧデータが生成される。また、後述するＩＫデータは、その手話単語に対応する動きが定義されたデータであり、手首の位置等が設定されている。ＩＫデータを用いることにより、末端方向から中心方向へ逆向きに計算され、手話単語に対応する手話の動きのＣＧデータが生成される。また、ＩＫデータは、日本語文章テキストに対応する複数の手話単語を補間したり、修正したりすることが容易な形式のデータでもある。

ＩＫデータ処理部４は、手話翻訳機３により変換された手話単語毎のＢＶＨデータを入力し、手話単語毎に、ＦＫデータであるＢＶＨデータをＩＫデータに変換する。そして、ＩＫデータ処理部４は、手話単語毎のＩＫデータを用いて手話単語間の補間を行い、日本語文章テキストのＩＫデータを生成し、日本語文章テキストのＩＫデータを用いて、手指動作の再生時間を自動調整し、指さし方向等の手首が動く軌道の形状を手動にて修正し、調整及び／または修正後のＩＫデータをＢＶＨデータであるＦＫデータに変換する。ＩＫデータ処理部４の詳細については後述する。尚、本実施形態において、ＩＫデータの対象は、全身のうちの一部分（手首、肘及び肩）のみである。

レンダラ５は、ＩＫデータ処理部４からＢＶＨデータを入力すると共に、ＤＢ２から骨格構造情報等のベースモデルの情報を読み出し、ＦＫによりこれらを統合することで、日本語文章テキストに対応する多関節骨格モデルの動きを表した制御データとして、手話の動きのＣＧデータを生成し、ＣＧキャラクタとして画面表示する。

このように、日本語文章テキストに対応する複数の手話単語について、手話単語毎にＢＶＨデータであるＦＫデータをＩＫデータに変換し、ＩＫデータを用いて手話単語間の補間を行うようにした。これにより、ＩＫデータはそもそもスムーズな接続を実現する形式のデータであるから、自然でスムーズな手指動作を実現するＣＧデータを生成することができる。

〔ＩＫデータ処理部〕
次に、図１に示したＩＫデータ処理部４について詳細に説明する。図２は、ＩＫデータ処理部４の構成を示すブロック図である。このＩＫデータ処理部４は、ＦＫ−ＩＫ変換部６、単語補間部７、自動調整部８、手動修正部９及びＩＫ−ＦＫ変換部１０を備えている。以下、手首及び肘の具体的な位置を決定する手法として、モーションパスを例に挙げて説明する。以下、モーションパスを表すデータをモーションパスデータという。

（ＦＫ−ＩＫ変換部）
まず、ＦＫ−ＩＫ変換部６について説明する。ＦＫ−ＩＫ変換部６は、手話翻訳機３から手話単語毎のＢＶＨデータを入力し、手話単語毎に、ＦＫデータであるＢＶＨデータをＩＫデータに変換する。この場合、ＦＫ−ＩＫ変換部６は、関節の角度が定義され、ＦＫにて動作するＢＶＨデータを、ＩＫにて動作するＩＫデータに変換する際に、ＢＶＨデータを、手首及び肘の関節についてのモーションパスデータに変換すると共に、ＩＫソルバに変換する。このモーションパスデータ及びＩＫソルバにより、手首及び肘の関節の位置が決定される。

ＩＫソルバは、手首、肘及び肩の動きの制約条件が設定されたデータ（例えば、腕の骨の長さは一定に保たれること、肘の動きは１軸方向のみであることが定義されたデータ）であり、予め設定される。また、ＩＫソルバは、後述する単語補間部７及び自動調整部８、手動修正部９及びＩＫ−ＦＫ変換部１０において、ＩＫソルバが示す制約条件を満たすように処理が行われる。以下、ＩＫソルバについては省略する。

一般に、ＩＫでは、末端にある手首の関節位置の動きを先に指定し、肘及び肩の位置を求めるため、ＦＫで用いるジョイントの角度とは別に、肘の関節位置を指定するための記述が必要となる。モーションパスは、ＩＫの最も代表的な記述手法であり、ＣＧアニメーションでよく使用されている。モーションパスでは、予め３次元空間内に描いたパス（曲線）に沿って物体を配置し、時間軸上で曲線にキーを打つことにより、物体を曲線に沿って動かすことができる。ここで、滑らかな動きを表現するためには、例えばＮＵＲＢＳ（ナーブス）曲線、ベジエ曲線が用いられる。

図３は、ＦＫ−ＩＫ変換部６の処理を示すフローチャートであり、手首のモーションパスデータを生成する例を示している。まず、ＦＫ−ＩＫ変換部６は、手話翻訳機３から手話単語毎のＢＶＨデータを入力し（ステップＳ３０１）、ＢＶＨデータから時系列の手首の位置（の座標）を抽出する（ステップＳ３０２）。

ＦＫ−ＩＫ変換部６は、抽出した手首の位置（の座標）を制御点（の座標）に設定し（ステップＳ３０３）、制御点及び予め設定された次数に基づいて、制御点を近似する等して、手首の動きを表すモーションパスの曲線（例えばＮＵＲＢＳ曲線）を生成する（ステップＳ３０４）。生成されたモーションパスの曲線は、必ずしも全ての制御点を通過するとは限らない。

図５は、手話単語のモーションパスをＮＵＲＢＳ曲線で表した例を示す図である。手首及び肘等の骨格モデルにおいて、ＮＵＲＢＳ曲線α１，α２，β１，β２が表されている。図５の骨格モデルにおいて、手先、頭部等の本発明と直接関係しない箇所については、略してある。後述する図８、図９、図１０についても同様である。

図５（１）に示すような手首の動きの軌跡であるモーションパスは、ＮＵＲＢＳ曲線で表現され、このモーションパスのＮＵＲＢＳ曲線α１，α２は、時系列の手首の位置を示す制御点及び予め設定された次数に基づいて生成される。尚、図５（２）に示すように、手首の動きを表すモーションパスのＮＵＲＢＳ曲線α１，α２に加え、後述する肘の動きを表すモーションパスのＮＵＲＢＳ曲線β１，β２も、時系列の肘の位置を示す制御点及び予め設定された次数に基づいて生成される。

図３に戻って、ＦＫ−ＩＫ変換部６は、ステップＳ３０４にて生成した手首の動きを表すモーションパスの曲線上に、所定のキーを打つ（ステップＳ３０５）。具体的には、ＦＫ−ＩＫ変換部６は、手首の動きを表すモーションパスの曲線から、所定時間毎のデータを抽出する。以下、抽出した所定時間毎の時系列のデータをキーフレームのデータ（以下、「キーフレーム」）という。手首の動きを表すモーションパスの曲線は、時系列のデータの集まりであるから、このモーションパスの曲線から時系列のキーフレームを抽出することができる。

ＦＫ−ＩＫ変換部６は、ステップＳ３０３にて設定した制御点の集まり、ステップＳ３０４にて使用した次数、ステップＳ３０５にて抽出したキーフレームの集まり等を手首のモーションパスデータとして生成し、手首のモーションパスデータを単語補間部７に出力する（ステップＳ３０６）。

図４は、ＦＫ−ＩＫ変換部６の処理を説明する図である。図４において、設定された手首の位置の制御点をｃ１〜ｃ６とし、これらの制御点ｃ１〜ｃ６及び予め設定された次数に基づいて生成されたモーションパスの曲線をｌとする。この曲線ｌにキーを打つことにより、キーフレームｆ（ｔ_１）〜ｆ（ｔ_１０）が抽出される。キーフレームｆ（ｔ_１）〜ｆ（ｔ_１０）は、曲線ｌ上の時系列のデータであり、ｔ_１〜ｔ_１０は時刻を示す。

図４に示すように、ＦＫ−ＩＫ変換部６により、時系列のキーフレームｆ（ｔ_１）〜ｆ（ｔ_１０）が抽出され、これらのキーフレームｆ（ｔ_１）〜ｆ（ｔ_１０）等がモーションパスデータとして生成される。尚、モーションパスは既知であるから、ここでは詳細な説明を省略する。

このように、ＦＫ−ＩＫ変換部６は、手話単語毎にステップＳ３０１〜ステップＳ３０６の処理にて、手話単語毎の手首のモーションパスデータを生成して単語補間部７に出力する。

同様に、ＦＫ−ＩＫ変換部６は、手話単語毎の肘のモーションパスデータを生成するために、手話単語毎にステップＳ３０１〜ステップＳ３０６の処理を行う。つまり、ＦＫ−ＩＫ変換部６は、ステップＳ３０２において、ＢＶＨデータから肘の位置を抽出し、ステップＳ３０３において、抽出した肘の位置を制御点に設定し、ステップＳ３０４において、肘の動きを表すモーションパスの曲線を生成し、ステップＳ３０５において、肘の動きを表すモーションパスの曲線から時系列のキーフレームを抽出し、ステップＳ３０６において、制御点の集まり、次数及びキーフレームの集まり等を肘のモーションパスデータとして生成し、肘のモーションパスデータを単語補間部７に出力する。

手首のモーションパスデータ及び肘のモーションパスデータは、右腕及び左腕のそれぞれについて生成される。図５（２）に示したように、合計４本のモーションパスを表すモーションパスデータが生成され、単語補間部７に出力される。

尚、ＦＫ−ＩＫ変換部６により生成される手話単語のモーションパスデータは、そのモーションパスの曲線を特定することが可能なキーフレームの位置及び数からなり、制御点の位置及び数、並びに曲線の次数も含まれる。後述する単語補間部７により生成される日本語文章テキストのモーションパスデータについても同様である。

（単語補間部）
次に、図２に示した単語補間部７について説明する。単語補間部７は、ＦＫ−ＩＫ変換部６から手話単語毎の手首及び肘のモーションパスデータ（手話単語毎の合計４本のモーションパスを表すモーションパスデータ）を入力し、前後の手話単語におけるモーションパスの接続箇所を補間することで、前後の手話単語を接続し、手首及び肘の合計４本のモーションパスのそれぞれに対応して、日本語文章テキストのモーションパスデータ（日本語文章テキストの合計４本のモーションパスを表すモーションパスデータ）を生成する。

図６は、単語補間部７の処理を示すフローチャートであり、日本語文章テキストの手首のモーションパスデータを生成する例を示している。まず、単語補間部７は、ＦＫ−ＩＫ変換部６から手話単語毎のモーションパスデータを入力する（ステップＳ６０１）。そして、単語補間部７は、日本語文章テキストに対応する複数の手話単語のモーションパスを時系列に並べた場合に、前後の手話単語のモーションパスをずらすことで、重複する接続箇所を設定し、それぞれの手話単語のモーションパスを時間軸上に配置する（ステップＳ６０２）。

図７は、単語補間部７の処理を説明する図である。図７には、日本語文章テキストに対応する複数の手話単語１〜ｎのモーションパスについて、時間軸上で重複する箇所が存在するように示されている。それぞれの手話単語１〜ｎのモーションパスは、実際の形状ではなく、説明しやすいように、直線として表してある。横軸は時間ｔとする。手話単語１，２における時間軸上の時点Ｔ１〜Ｔ２、手話単語２，３における時間軸上の時点Ｔ３〜Ｔ４等が、時間軸上で重複する接続箇所である。

図６に戻って、単語補間部７は、ステップＳ６０２の後に、前の手話単語におけるモーションパスの制御点のうち、後の手話単語への移行を開始する時点までの制御点を抽出する（ステップＳ６０３）。図７の例では、手話単語１におけるモーションパスの制御点（開始の時点Ｔ０から終了の時点Ｔ２までの間の制御点）のうち、開始の時点Ｔ０から手話単語２におけるモーションパスの開始の時点Ｔ１（接続箇所の開始の時点Ｔ１）までの間の制御点が抽出される。また、手話単語２におけるモーションパスの制御点（開始の時点Ｔ１から終了の時点Ｔ４までの間の制御点）のうち、開始の時点Ｔ１から手話単語３におけるモーションパスの開始の時点Ｔ３（接続箇所の開始の時点Ｔ３）までの間の制御点が抽出される。また、手話単語３におけるモーションパスの制御点（開始の時点Ｔ３から終了の時点Ｔ６までの間の制御点）のうち、開始の時点Ｔ３から手話単語４におけるモーションパスの開始の時点Ｔ５（接続箇所の開始の時点Ｔ５）までの間の制御点が抽出される。

単語補間部７は、後の手話単語におけるモーションパスの制御点のうち、前の手話単語からの移行が完了する時点より後の制御点を抽出する（ステップＳ６０４）。図７の例では、手話単語２におけるモーションパスの制御点（開始の時点Ｔ１から終了の時点Ｔ４までの間の制御点）のうち、手話単語１からの移行が完了する時点Ｔ２（手話単語１におけるモーションパスの終了の時点Ｔ２）より後の制御点である時点Ｔ２から終了の時点Ｔ４までの間の制御点が抽出される。また、手話単語３におけるモーションパスの制御点（開始の時点Ｔ３から終了の時点Ｔ６までの間の制御点）のうち、手話単語２からの移行が完了する時点Ｔ４（手話単語２におけるモーションパスの終了の時点Ｔ４）より後の制御点である時点Ｔ４から終了の時点Ｔ６までの間の制御点が抽出される。

単語補間部７は、前後の手話単語のモーションパスにおいて、ステップＳ６０３にて抽出した前の手話単語におけるモーションパスの制御点、及び、ステップＳ６０４にて抽出した後の手話単語におけるモーションパスの制御点、並びに予め設定された次数に基づいて、制御点を近似する等して、前後の手話単語におけるモーションパスの接続箇所を補間し、手首の動きを表すモーションパスの曲線（例えばＮＵＲＢＳ曲線）を生成する（ステップＳ６０５）。単語補間部７は、全ての手話単語についてステップＳ６０２〜ステップＳ６０５の処理を行い、日本語文章テキストにおける手首の動きを表すモーションパスの曲線を生成する。前述のとおり、生成されたモーションパスの曲線は、必ずしも全ての制御点を通過するとは限らない。

尚、単語補間部７は、ステップＳ６０５において、図３のステップＳ３０４にて使用した同じ次数を用いるようにしてもよいし、異なる次数を用いるようにしてもよい。

図７の例では、手話単語１におけるモーションパスの時点Ｔ０から時点Ｔ１までの間の制御点、手話単語２におけるモーションパスの時点Ｔ２から時点Ｔ４までの間の制御点、並びに予め設定された次数に基づいて、手話単語１，２におけるモーションパスの時点Ｔ１から時点Ｔ２までの間の接続箇所が補間される。また、手話単語２におけるモーションパスの時点Ｔ１から時点Ｔ３までの間の制御点、手話単語３におけるモーションパスの時点Ｔ４から時点Ｔ６までの間の制御点、並びに予め設定された次数に基づいて、手話単語２，３におけるモーションパスの時点Ｔ３から時点Ｔ４までの間の接続箇所が補間される。このようにして、日本語文章テキストにおける（複数の手話単語１〜ｎにおける）手首の動きを表す１本のモーションパスの曲線が生成される。

単語補間部７は、ステップＳ６０５にて生成したモーションパスの曲線上に、所定のキーを打つ（ステップＳ６０６）。具体的には、単語補間部７は、手首の動きを表すモーションパスの曲線から、所定時間毎のデータを時系列のキーフレームとして抽出する。

単語補間部７は、ステップＳ６０３及びステップＳ６０４にて抽出された制御点の集まり、ステップＳ６０５にて使用した次数、ステップＳ６０６にて抽出したキーフレームの集まり等を、日本語文章テキストの手首のモーションパスデータとして生成し、日本語文章テキストの手首のモーションパスデータを自動調整部８に出力する（ステップＳ６０７）。

このように、単語補間部７は、ステップＳ６０１〜ステップＳ６０７の処理にて、前後の手話単語の接続箇所を補間し、日本語文章テキストの手首のモーションパスデータを生成して自動調整部８に出力する。

同様に、単語補間部７は、日本語文章テキストの肘のモーションパスデータを生成するために、手話単語毎の肘のモーションパスデータを用いて、ステップＳ６０１〜ステップＳ６０７の処理を行う。つまり、単語補間部７は、ステップＳ６０１において、ＦＫ−ＩＫ変換部６から手話単語毎の肘のモーションパスデータを入力し、ステップＳ６０２〜ステップＳ６０４の処理の後に、ステップＳ６０５において、前の手話単語におけるモーションパスの制御点、及び、後の手話単語におけるモーションパスの制御点、並びに予め設定された次数に基づいて、制御点を近似する等して、前後の手話単語におけるモーションパスの接続箇所を補間し、日本語文章テキストにおける肘の動きを表すモーションパスの曲線を生成し、ステップＳ６０６において、時系列のキーフレームを抽出し、ステップＳ６０７において、ステップＳ６０３及びステップＳ６０４にて抽出した制御点の集まり、ステップＳ６０５にて使用した次数、ステップＳ６０６にて抽出したキーフレームの集まり等を、日本語文章テキストの肘のモーションパスデータとして生成し、自動調整部８に出力する。

日本語文章テキストの手首のモーションパスデータ及び肘のモーションパスデータは、右腕及び左腕のそれぞれについて生成される。つまり、日本語文章テキストの合計４本のモーションパスデータが生成され、自動調整部８に出力される。

このように、単語補間部７により、日本語文章テキストに対応する複数の手話単語におけるモーションパスの接続箇所が補間され、日本語文章テキストの１本のモーションパスが生成される。これにより、日本語文章テキストのモーションパスに沿って手首及び肘を動かすことにより、一連の日本語文章テキストに対応する複数の手話単語の動作を再生することができる。この場合、モーションパスデータを用いて手話単語が接続されるから、ＣＧによる手話キャラクタの手指動作を再生する際に、スムーズかつ自然な動きを実現することができる。

（自動調整部）
次に、図２に示した自動調整部８について説明する。自動調整部８は、単語補間部７から日本語文章テキストの手首及び肘のモーションパスデータを入力し、手指動作の再生時間を調整し、モーションパスを修正する。

日本語文章テキストの手話がＣＧによって再生された場合、そのＣＧを見る者は、通常の手話の再生速度では速過ぎると感じたり、手話を習熟中だったりすることがあり得る。また、強調したい部分のみを大きくゆっくりとした動きに変更したいこともあり得る。手話を理解しやすくするためには、全体の手話の再生速度を遅くする必要がある。一方、通常の手話の再生速度では遅過ぎると感じた場合には、全体の手話の再生速度を速くする必要がある。

手話の再生速度は、動画のフレームレートを変えることにより変更することができる。しかし、動画のフレームレートを変えるのみでは、不自然な手指動作の映像になってしまう。

一方で、実際の手指動作を解析した結果、再生時間を変える場合には、手首を動かす速度を変えることに加え、手首の軌道（ストローク）を変える必要があることが知られている。したがって、再生時間を短くするためには、手首の軌道を短くする必要があり、再生時間を長くするためには、手首の軌道を長くする必要がある。

そこで、自動調整部８は、手話の再生時間を短くする場合、モーションパスのスケールを小さくすることで、手首等の軌道を短くする。一方、自動調整部８は、手話の再生時間を長くする場合、モーションパスのスケールを大きくすることで、手首等の軌道を長くする。ただし、制御点の数は増減させない。

具体的には、自動調整部８は、単語補間部７から入力した日本語文章テキストの手首のモーションパスデータに対し、モーションパスのスケールを変化させるため（モーションパスの大きさ及び形状を変化させるため）、制御点及びキーフレームが示すｘ軸のデータ、ｙ軸のデータ若しくはｚ軸のデータ、または、ｘ，ｙ，ｚ軸のデータに、変化後のモーションパスの大きさ及び形状が反映されたそれぞれの値を乗算することで、新たな制御点及びキーフレームを求める。

これにより、手首の軌道は、モーションパスの大きさ及び形状のスケールが反映された所定値に応じた長さとなる。例えば、所定値に応じて、モーションパスのスケールを小さくして手首の軌道を短くすることができ、また、モーションパスのスケールを大きくして手首の軌道を長くすることができる。したがって、スケールが反映された所定値に応じて手首の軌跡の長さが変化するから、モーションパスを所望の長さに変えることができ、単に動画のフレームレートを変える手法よりも、自然な動きを実現することができる。

図８は、自動調整部８において、手首の軌道の長さを自動調整する例を説明する図である。図８（１）の曲線α１，β１の軌道は、通常の再生時間の場合のモーションパス、すなわち自動調整部８により再生時間が変更されていないモーションパスを示している。図８（２）の曲線α２，β２の起動は、再生時間を短くした場合（通常の再生時間×０．８の場合）のモーションパス、すなわち自動調整部８により再生時間が短くなるように変更されたモーションパスを示している。

図８（１）（２）から、軌道の長さは、図８（２）の方が図８（１）よりも短いことがわかる。自動調整部８は、図８（１）に示す手首の曲線α１，β１にスケールが反映された値（０．８）を掛けることで、図８（２）に示すように、手首の軌道を短くし、再生時間を短くすることができる。同様に、スケールに応じて手首の軌道を長くすることもでき、手首の軌道の長さを自動的に調整することが可能となる。

また、自動調整部８は、再生時間を短くする処理の後、モーションパスデータに含まれる制御点を所定数分減らす（間引く）ことで、制御点を削除する。例えば、短くした再生時間に比例する数の制御点を減らす。尚、自動調整部８は、再生時間を長くする処理の後、制御点を削除する処理は行わない。

これにより、制御点を所定数分減らすことで、元のモーションパスよりも粗いモーションパスを生成することができ、実際の手話の手首が動く軌道に近づけることができ、手首の自然な動きを一層実現することができる。

図９は、自動調整部８において、制御点を減らして粗いカーブのモーションパスに修正する例を説明する図である。図９（１）は、通常の再生時間の場合の曲線α１の軌道に対し、複数の制御点が示されている。図９（２）は、再生時間を短くした場合の曲線α２の軌道に対し、図９（１）よりも少ない数の制御点が示されている。

図９（１）（２）から、制御点の分布は、図９（２）の方が図９（１）よりも粗いことがわかる。自動調整部８は、図９（１）における制御点のデータに、スケールが反映された所定値を乗算することで、軌道を短くした後、モーションパスデータに含まれる制御点を所定数分減らすことで、制御点を削除する。これにより、図９（２）に示す数の制御点によるモーションパスとなる。

尚、制御点の数を変更する処理としては、曲線の形状を変えないように、制御点の位置及び数を決定するための逆計算を行う「リビルド」の処理が行われる。「リビルド」の処理は既知であるから、ここでは詳細な説明は省略する。

また、日本語文章テキストの手首のモーションパスデータに対する処理について説明したが、日本語文章テキストの肘のモーションパスデータに対する処理についても同様である。自動調整部８は、単語補間部７から入力した日本語文章テキストの手首及び肘のモーションパスデータに対し、手指動作の再生時間を調整し、モーションパスを修正する処理を行い、再生時間を調整しモーションパスを修正した日本語文章テキストの手首及び肘のモーションパスデータを、手動修正部９に出力する。

（手動修正部）
次に、図２に示した手動修正部９について説明する。手動修正部９は、自動調整部８から、再生時間が調整されモーションパスが修正された日本語文章テキストの手首及び肘のモーションパスデータを入力し、モーションパスの形状を手動にて修正する。つまり、手動修正部９は、指先方向等の手首が動く軌道の形状を、手動にて修正する。

具体的には、手動修正部９は、ユーザの操作に従って、手首または肘のモーションパスにおける１つまたは複数の制御点を選択し、選択した１つまたは複数の制御点の位置を変更することで、手首及び肘のモーションパスの形状を変更する。そして、手動修正部９は、モーションパスの形状を修正した日本語文章テキストの手首及び肘のモーションパスデータを、ＩＫ−ＦＫ変換部１０に出力する。

図１０は、手動修正部９において、手首のモーションパスの制御点を選択して指先方向を修正する例を説明する図である。図１０（１）は、指先を左方向へ修正する例であり、図１０（２）は、指先を右方向へ修正する例であり、図１０（３）は、指先を左上方向へ修正する例であり、図１０（４）は、指先を左下方向へ修正する例である。

図１０（１）を参照して、手動修正部９は、ユーザの操作に従って、手首のモーションパスの曲線αにおける１つの制御点ｃを選択し、選択した制御点ｃの位置を左方向の位置（制御点ｃ１の位置）に変更する。これにより、手首のモーションパスの形状は、曲線αから曲線α１に変更され、指先は、左方向へ修正される。

図１０（２）を参照して、手動修正部９は、ユーザの操作に従って、手首のモーションパスの曲線αにおける１つの制御点ｃを選択し、選択した制御点ｃの位置を右方向の位置（制御点ｃ２の位置）に変更する。これにより、手首のモーションパスの形状は、曲線αから曲線α２に変更され、指先は、右方向へ修正される。

図１０（３）を参照して、手動修正部９は、ユーザの操作に従って、手首のモーションパスの曲線αにおける１つの制御点ｃを選択し、選択した制御点ｃの位置を左上方向の位置（制御点ｃ３の位置）に変更する。これにより、手首のモーションパスの形状は、曲線αから曲線α３に変更され、指先は、左上方向へ修正される。

図１０（４）を参照して、手動修正部９は、ユーザの操作に従って、手首のモーションパスの曲線αにおける１つの制御点ｃを選択し、選択した制御点ｃの位置を左下方向の位置（制御点ｃ４の位置）に変更する。これにより、手首のモーションパスの形状は、曲線αから曲線α４に変更され、指先は、左下方向へ修正される。

これにより、手首及び肘のモーションパスは、自然な動きを維持したまま修正することができ、修正結果はリアルタイムに再生中に反映することができ、インタラクティブな修正が可能となる。

（ＩＫ−ＦＫ変換部）
次に、図２に示したＩＫ−ＦＫ変換部１０について説明する。ＩＫ−ＦＫ変換部１０は、手動修正部９から、モーションパスの形状が修正された日本語文章テキストの手首及び肘のモーションパスデータを入力し、日本語文章テキストの手首及び肘のモーションパスデータが反映され、ＩＫにて動作するＩＫデータ（手首及び肘の関節について、モーションパスに従って動かすことが可能なＩＫデータ）を、関節の角度が定義され、ＦＫにて動作するＢＶＨデータに変換する。

具体的には、ＩＫ−ＦＫ変換部１０は、日本語文章テキストの手首及び肘のモーションパスデータに含まれる制御点及びキーフレーム等に基づいて、手首及び肘の関節の角度を求め、関節の角度が定義された日本語文章テキストのＢＶＨデータを生成する。そして、ＩＫ−ＦＫ変換部１０は、日本語文章テキストのＢＶＨデータをレンダラ５に出力する。

これにより、レンダラ５によるレンダリング処理のために、ＩＫ形式のモーションパスデータは、元のＦＫ形式のＢＶＨデータに戻され、ＦＫを用いて、日本語文章テキストに対応する手話の動きのＣＧデータを生成することができる。つまり、レンダラ５は、ＩＫ−ＦＫ変換部１０から日本語文章テキストのＢＶＨデータを入力すると共に、ＤＢ２から骨格構造情報等のベースモデルの情報を読み出し、ＦＫによりこれらを統合することで、日本語文章テキストに対応する手話の動きのＣＧデータを生成し、ＣＧキャラクタとして画面表示する。

尚、ＩＫデータ処理部４は、ＦＫ−ＩＫ変換部６、単語補間部７、自動調整部８、手動修正部９及びＩＫ−ＦＫ変換部１０を備えるようにしたが、ＦＫ−ＩＫ変換部６、単語補間部７及びＩＫ−ＦＫ変換部１０のみを備えるようにしてもよい。この場合、自動調整部８による手指動作の再生時間の調整処理及びモーションパスの修正処理、並びに、手動修正部９によるモーションパスの形状の修正処理は行われない。また、ＩＫデータ処理部４は、ＦＫ−ＩＫ変換部６、単語補間部７、自動調整部８及びＩＫ−ＦＫ変換部１０のみを備えるようにしてもよいし、ＦＫ−ＩＫ変換部６、単語補間部７、手動修正部９及びＩＫ−ＦＫ変換部１０のみを備えるようにしてもよい。

以上のように、本発明の実施形態による手話ＣＧ翻訳装置１によれば、ＩＫデータ処理部４のＦＫ−ＩＫ変換部６は、手話翻訳機３により日本語文章テキストが翻訳された手話単語毎のＢＶＨデータを入力し、手話単語毎に、ＦＫデータであるＢＶＨデータを手首及び肘のモーションパスデータに変換するようにした。

具体的には、ＦＫ−ＩＫ変換部６は、手話単語毎に、ＢＶＨデータから手首の位置を抽出して制御点に設定し、制御点及び予め設定された次数に基づいて、手首の動きを表す曲線を生成し、曲線上に所定のキーを打つことで、曲線から時系列のキーフレームを抽出し、制御点及びキーフレーム等を手首のモーションパスデータとして生成し、同様に、肘のモーションパスデータも生成する。

そして、単語補間部７は、ＦＫ−ＩＫ変換部６により変換された手話単語毎の手首及び肘のモーションパスデータを入力し、前後の手話単語の接続箇所を補間して接続し、日本語文章テキストの手首及び肘のモーションパスデータを生成するようにした。

具体的には、単語補間部７は、手話単語毎の手首のモーションパスを接続する際に、前後の手話単語のモーションパスに対し、時間軸上で重複する接続箇所が存在するように所定時間ずらし、前の手話単語におけるモーションパスの制御点のうち、後の手話単語への移行を開始する時点までの制御点を抽出すると共に、後の手話単語におけるモーションパスの制御点のうち、前の手話単語からの移行が完了する時点より後の制御点を抽出する。そして、単語補間部７は、抽出したこれらの制御点及び予め設定された次数に基づいて、制御点を近似する等して、前後の手話単語における接続箇所を補間し、手首の動きを表す曲線を生成し、曲線上に所定のキーを打つことで、曲線から時系列のキーフレームを抽出する。そして、単語補間部７は、制御点及びキーフレーム等を日本語文章テキストの手首のモーションパスデータとして生成する。単語補間部７は、同様に、日本語文章テキストの肘のモーションパスデータも生成する。

そして、ＩＫ−ＦＫ変換部１０は、単語補間部７により生成された日本語文章テキストの手首及び肘のモーションパスデータをＢＶＨデータに変換し、レンダラ５は、日本語文章テキストのＢＶＨデータ、及び骨格構造情報等のベースモデルの情報を用いて、ＦＫによりこれらを統合することで、日本語文章テキストに対応する手話の動きのＣＧデータを生成し、ＣＧキャラクタとして画面表示するようにした。

これにより、モーションパスデータを用いて手話単語間を補間し接続するようにしたから、２つの手話単語を接続してＣＧによる手話キャラクタの手指動作を再生する際に、ジョイント角度等を線形補間する従来の手法に比べ、動きの機械的な不自然さを軽減し、自然かつ柔軟な動きを実現することができる。

図１１（２）は、肩関節における肩−肘軸の回転のみが異なる２つの単語を接続する際に、ＩＫ及びモーションパスの手法を用いた本発明の実施形態による動きを説明する図である。図１１（２）に示すように、本発明の実施形態において、肘は移動しながら元の位置に戻るから、図１１（１）に示した従来技術に比べ、手首の位置は直線的でスムーズな動きとなる。

また、本発明の実施形態による手話ＣＧ翻訳装置１によれば、ＩＫデータ処理部４の自動調整部８は、日本語文章テキストの手首及び肘のモーションパスデータに対し、手指動作の再生時間を調整し、手首及び肘のモーションパスを修正するようにした。

これにより、ＣＧによる手話キャラクタの手指動作を再生する際に、自然な動きのままで、手話の速度等に自動的な調整を加えることができ、手首の自然な動きを実現することができる。

また、本発明の実施形態による手話ＣＧ翻訳装置１によれば、ＩＫデータ処理部４の手動修正部９は、ユーザの操作に従って、日本語文章テキストの手首及び肘のモーションパスデータに対し、手首及び肘のモーションパスの形状を手動にて修正するようにした。

これにより、ＣＧによる手話キャラクタの手指動作を再生する際に、ユーザは、手首及び肘の動く軌道を、画面を見ながら手動にて修正することで、自然な動きを維持した修正を実現することができ、修正結果をリアルタイムに再生中に反映することができる。

尚、本発明の実施形態による手話ＣＧ翻訳装置１のハードウェア構成としては、通常のコンピュータを使用することができる。手話ＣＧ翻訳装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。手話ＣＧ翻訳装置１に備えた手話翻訳機３、ＩＫデータ処理部４（ＦＫ−ＩＫ変換部６、単語補間部７、自動調整部８、手動修正部９及びＩＫ−ＦＫ変換部１０）及びレンダラ５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、ＩＫデータ処理部４のＦＫ−ＩＫ変換部６は、ＦＫデータを、手首のモーションパスデータ及び肘のモーションパスデータに変換し、単語補間部７、自動調整部８、手動修正部９及びＩＫ−ＦＫ変換部１０は、手首のモーションパスデータ及び肘のモーションパスデータを処理対象とするようにした。

これに対し、ＩＫデータ処理部４のＦＫ−ＩＫ変換部６は、ＦＫデータを、手首のモーションパスデータ及びＩＫソルバに変換し、肘のモーションパスデータに変換しないようにしてもよい。

この場合、単語補間部７は、ＦＫ−ＩＫ変換部６から手首のモーションパスデータ及びＩＫソルバを入力し、ＩＫソルバが示す制約条件を満たすように、前後の手話単語における手首のモーションパスの接続箇所を補間して接続し、日本語文章テキストの手首のモーションパスデータを生成する。また、自動調整部８は、日本語文章テキストの手首のモーションパスデータ及びＩＫソルバを用いて、ＩＫソルバが示す制約条件を満たすように、手指動作の再生時間を調整し、手首のモーションパスを修正する。また、手動修正部９は、ユーザの操作に従って、日本語文章テキストの手首のモーションパスデータ及びＩＫソルバを用いて、ＩＫソルバが示す制約条件を満たすように、手首のモーションパスの形状を手動にて修正する。また、ＩＫ−ＦＫ変換部１０は、日本語文章テキストの手首のモーションパスデータ及び前記ＩＫソルバをＢＶＨデータに変換する。

また、前記実施形態では、多関節骨格モデル処理装置の一例として手話ＣＧ翻訳装置１を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、多関節骨格モデルの動きを実現するロボットアームを制御する装置（ロボットアーム制御装置）にも適用がある。

この場合、ロボットアーム制御装置は、ＤＢ２、手話翻訳機３、ＩＫデータ処理部４及び制御データ生成部を備え、制御データ生成部は、ＩＫデータ処理部４により生成された日本語文章テキストのＢＶＨデータ、及び、ＤＢ２に格納された骨格構造情報等のベースモデルの情報を用いて、ＦＫによりこれらを統合することで、日本語文章テキストに対応する多関節の手指動作を表した制御データを生成する。これにより、制御データに基づいた動作指令により、サーボモータ等を用いてロボットアームを動作させることができる。したがって、ロボットアームによる多関節の手指動作を再生する際に、手話ＣＧ翻訳装置１と同様に、動きの不自然さを軽減し、自然かつ柔軟な動きを実現することができる。

また、前記実施形態では、手話ＣＧ翻訳装置１において手首及び肘の関節に着目して説明したが、本発明はこれに限定されるものではなく、例えば足首及び膝の関節にも適用がある。また、前記実施形態では、手話ＣＧ翻訳装置１において人間の動作に着目して説明したが、本発明は、多関節骨格モデルを適用可能な人間以外の動物等の動作、並びに、人間及び動物等の動きを模したロボットの動作にも適用がある。

１ 手話ＣＧ翻訳装置
２ ＤＢ
３ 手話翻訳機
４ ＩＫデータ処理部
５ レンダラ
６ ＦＫ−ＩＫ変換部
７ 単語補間部
８ 自動調整部
９ 手動修正部
１０ ＩＫ−ＦＫ変換部

Claims (8)

1. 日本語文章テキストを複数の単語に変換し、前記複数の単語に基づいて、前記日本語文章テキストに対応する多関節骨格モデルの動きを表した制御データを生成する多関節骨格モデル処理装置において、
   前記日本語文章テキストを、複数の単語に対応するそれぞれのＦＫ（フォワードキネマティクス）形式のデータに変換する変換機と、
   前記変換機により変換された単語毎のＦＫ形式のデータをＩＫ（インバースキネマティクス）形式のデータに変換し、単語毎のＩＫ形式のデータを補間して接続し、前記日本語文章テキストのＩＫ形式のデータを生成し、前記日本語文章テキストのＩＫ形式のデータをＦＫ形式のデータに変換するＩＫデータ処理部と、
   前記ＩＫデータ処理部により変換されたＦＫ形式のデータに基づいて、前記日本語文章テキストに対応する多関節骨格モデルの動きを表した制御データを生成する制御データ生成部と、
   を備えたことを特徴とする多関節骨格モデル処理装置。
2. 日本語文章テキストを手話に翻訳し、多関節骨格モデルのＣＧ（コンピュータグラフィックス）にて再生するためのＣＧデータを生成する多関節骨格モデル処理装置において、
   前記日本語文章テキストを、複数の手話単語に対応するそれぞれのＦＫ形式のデータに変換する手話翻訳機と、
   前記手話翻訳機により変換された手話単語毎のＦＫ形式のデータをＩＫ形式のデータに変換し、手話単語毎のＩＫ形式のデータを補間して接続し、前記日本語文章テキストのＩＫ形式のデータを生成し、前記日本語文章テキストのＩＫ形式のデータをＦＫ形式のデータに変換するＩＫデータ処理部と、
   前記ＩＫデータ処理部により変換されたＦＫ形式のデータに基づいて、前記日本語文章テキストに対応する手話の動きのＣＧデータを生成するレンダラと、を備え、
   前記ＩＫデータ処理部は、
   前記手話翻訳機により変換された手話単語毎のＦＫ形式のデータを、手話単語毎のＩＫ形式のデータにそれぞれ変換するＦＫ−ＩＫ変換部と、
   前記ＦＫ−ＩＫ変換部により変換された手話単語毎のＩＫ形式のデータに対し、前記日本語文章テキストにおける時間軸上で前後する第１のＩＫ形式のデータと第２のＩＫ形式のデータとの間の接続箇所を補間することで、前記第１のＩＫ形式のデータと前記第２のＩＫ形式のデータとを接続し、前記日本語文章テキストのＩＫ形式のデータを生成する単語補間部と、
   前記単語補間部により生成された前記日本語文章テキストのＩＫ形式のデータをＦＫ形式のデータに変換するＩＫ−ＦＫ変換部と、を備えたことを特徴とする多関節骨格モデル処理装置。
3. 請求項２に記載の多関節骨格モデル処理装置において、
   前記ＦＫ形式のデータをＢＶＨ形式のデータとし、前記ＩＫ形式のデータを、モーションパスを表すモーションパスデータ、及び手首、肘及び肩の動きの制約条件が設定されたＩＫソルバとし、
   前記ＦＫ−ＩＫ変換部は、
   前記手話単語毎のＢＶＨ形式のデータから、手首の位置を抽出して制御点に設定し、前記制御点に基づいて、前記手首の動きを表すモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記手話単語毎に、前記制御点及び前記キーフレームを含む手首のモーションパスデータを生成すると共に、前記ＩＫソルバを生成し、
   前記手話単語毎のＢＶＨ形式のデータから、肘の位置を抽出して制御点に設定し、前記制御点に基づいて、前記肘の動きを表すモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線から前記キーフレームを抽出し、前記手話単語毎に、前記制御点及び前記キーフレームを含む肘のモーションパスデータを生成し、
   前記単語補間部は、
   前記ＦＫ−ＩＫ変換部により変換された手話単語毎の手首及び肘のモーションパスデータのそれぞれに対し、前記日本語文章テキストにおける時間軸上で前後する第１のモーションパスと第２のモーションパスとの間で重複する接続箇所を設定し、前記第１のモーションパスの制御点のうち、前記第２のモーションパスへの移行を開始する時点までの制御点を抽出すると共に、前記第２のモーションパスの制御点のうち、前記第１のモーションパスからの移行が完了する時点より後の制御点を抽出し、前記抽出した前記第１のモーションパスの制御点、及び前記抽出した前記第２のモーションパスの制御点に基づいて、前記接続箇所を補間したモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記日本語文章テキストにおける、前記制御点及び前記キーフレームを含むモーションパスデータを、前記手首及び肘についてそれぞれ生成し、
   前記ＩＫ−ＦＫ変換部は、
   前記単語補間部により生成された前記日本語文章テキストの手首及び肘のモーションパスデータ、及び前記ＩＫソルバを、ＢＶＨ形式のデータに変換する、ことを特徴とする多関節骨格モデル処理装置。
4. 請求項２に記載の多関節骨格モデル処理装置において、
   前記ＦＫ形式のデータをＢＶＨ形式のデータとし、前記ＩＫ形式のデータを、モーションパスを表すモーションパスデータ、及び手首、肘及び肩の動きの制約条件が設定されたＩＫソルバとし、
   前記ＦＫ−ＩＫ変換部は、
   前記手話単語毎のＢＶＨ形式のデータから、手首の位置を抽出して制御点に設定し、前記制御点に基づいて、前記手首の動きを表すモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記手話単語毎に、前記制御点及び前記キーフレームを含む手首のモーションパスデータを生成すると共に、前記ＩＫソルバを生成し、
   前記単語補間部は、
   前記ＦＫ−ＩＫ変換部により変換された手話単語毎の手首のモーションパスデータに対し、前記日本語文章テキストにおける時間軸上で前後する第１のモーションパスと第２のモーションパスとの間で重複する接続箇所を設定し、前記第１のモーションパスの制御点のうち、前記第２のモーションパスへの移行を開始する時点までの制御点を抽出すると共に、前記第２のモーションパスの制御点のうち、前記第１のモーションパスからの移行が完了する時点より後の制御点を抽出し、前記抽出した前記第１のモーションパスの制御点、及び前記抽出した前記第２のモーションパスの制御点に基づいて、前記接続箇所を補間したモーションパスの曲線を生成し、前記曲線上に所定のキーを打つことで、前記曲線からキーフレームを抽出し、前記日本語文章テキストにおける、前記制御点及び前記キーフレームを含む手首のモーションパスデータを生成し、
   前記ＩＫ−ＦＫ変換部は、
   前記単語補間部により生成された前記日本語文章テキストの手首のモーションパスデータ、及び前記ＩＫソルバを、ＢＶＨ形式のデータに変換する、ことを特徴とする多関節骨格モデル処理装置。
5. 請求項３または４に記載の多関節骨格モデル処理装置において、
   前記ＩＫデータ処理部は、さらに、手話の再生時間を変更する調整部を備え、
   前記調整部は、
   前記単語補間部により生成されたモーションパスデータに含まれる前記キーフレームを変更することで、モーションパスのスケールを変化させ、新たなモーションパスデータを生成する、ことを特徴とする多関節骨格モデル処理装置。
6. 請求項５に記載の多関節骨格モデル処理装置において、
   前記調整部に代わる新たな調整部は、
   前記単語補間部により生成されたモーションパスデータに含まれる前記キーフレームを変更することで、モーションパスのスケールを変化させ、前記モーションパスデータに含まれる制御点を所定数分減らし、新たなモーションパスデータを生成する、ことを特徴とする多関節骨格モデル処理装置。
7. 請求項３または４に記載の多関節骨格モデル処理装置において、
   前記ＩＫデータ処理部は、さらに、モーションパスの形状を修正する修正部を備え、
   前記修正部は、ユーザの操作に従って、前記単語補間部により生成されたモーションパスデータにおけるモーションパスの形状を修正する、ことを特徴とする多関節骨格モデル処理装置。
8. コンピュータを、請求項１から７までのいずれか一項に記載の多関節骨格モデル処理装置として機能させるためのプログラム。