JPH10154238A

JPH10154238A - 動作生成装置

Info

Publication number: JPH10154238A
Application number: JP9989797A
Authority: JP
Inventors: Ryota Hata; 亮太畑; Yuji Takada; 雄二高田; Hideaki Matsuo; 英明松尾
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-09-25
Filing date: 1997-04-17
Publication date: 1998-06-09

Abstract

(57)【要約】【課題】人間の動作をアニメーションで生成する際
に、複数の動作の基準となる動作を選択し、その基準と
なる動作の計測データを登録し、登録された計測データ
から登録されていない動作を新しく生成する。【解決手段】動作コードを入力する動作入力手段１０
１と動作コードを解析する動作解析手段１０２と動作の
詳細情報を保持している動作辞書１０３と動作の軌跡情
報を生成する動作軌跡生成手段１０４と基準となる動作
を保持している動素データベース１０５と動作の開始位
置座標のを保持している位置データベース１０６とキャ
ラクタの各部位を保持している部品データベース１０８
とキャラクタの動作を生成する動作生成手段１０７と生
成した動作をアニメーションで生成する表示手段１０９
を備えた動作生成装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間の動作を、Ｃ
Ｇを用いてアニメーションに変換して表示する方法及び
その装置に関するものである。

【０００２】例えば、手話を用いる聴覚障害者と自然言
語を用いる健聴者との対話において、健聴者から聴覚障
害者への通訳を行うものであり、特に、健聴者が入力し
た、音声情報や文章を、ＣＧを用いてアニメーション手
話に変換して表示する方法及びその装置に関する。

【０００３】

【従来の技術】従来のアニメーション動作を生成する方
法としては、動作する部位（腕、足、指等）の動作デー
タをサイバーグローブなどのセンサや複数台のカメラな
どで取得して、データベース等の保持手段を用いて登録
していた。また、例えば、手話アニメーション表示の場
合には、手話単語毎にデータを登録しているため、各手
話単語のデータを繋併せて、手話アニメーションを生成
していた。

【０００４】例えば、特開平６−２５１１２３号公報記
載の発明では、使用する手話単語全ての実際の手の動き
に関するデータを手袋型センサで収集し、そのデータを
用いて、肘等の関節の計算を行って、アニメーションを
生成している。

【０００５】又、手話単語間の動作生成では、前の手話
単語の終了点と次の手話単語の開始点間を線形補間など
の手法を用いて生成している。

【０００６】

【発明が解決しようとする課題】従来の方法では、手話
に限らず必要な動作データを全てカメラ撮影又はセンサ
等で取得して保存しておく必要があり、膨大なデータを
必要とした。例えば、手話の語彙は２万語あり、２万語
全てのデータを収集して保存するには、作業時間やデー
タ量の負荷がとても多い。また、一つ一つの動作を一連
の動作に繋併せる場合に、繋併せる方法や動作データの
保存方法等が問題となる。

【０００７】そこで我々は、動作データをカメラ又はセ
ンサ等で収集する場合に、基準となる動作（動素）を選
択し、この動素データを加工及び変更して新しい動作を
生成することにより、撮影またはセンサ等で収集するデ
ータを必要最小限にすることを可能とした。

【０００８】また、動素を組み合わせることにより、新
しい動作や手話を生成することが可能になる。

【０００９】また、手話と手話の間の動作も上記方法と
同様に、基準となる動素から生成することが可能にな
る。

【００１０】また、動作辞書に登録されている各形態素
の動作データを「方向」、「大きさ」、「位置」、「手
形状」、「強／弱手」等に分割して登録することによ
り、一部の情報を変更することで、他の異なる動作や手
話の生成、動作の大きさによる表現の変更等を改めてカ
メラやセンサ等でのデータ収集を行わずに登録すること
が可能になる。

【００１１】すなわち、新しい動作の生成に改めてカメ
ラやセンサ等を用いてデータを収集すること無しに、動
素の加工／組合せ、動作辞書の変更／修正を行うことに
より、新しい動作や手話、意味の異なる動作や手話等の
アニメーション生成を可能とする。

【００１２】

【課題を解決するための手段】本発明では、見やすい動
作を生成するために、３次元ＣＧの骨格モデルを使用
し、この骨格モデルを動かして、動作や手話等のアニメ
ーションを生成する。

【００１３】骨格モデルを動かすための動作データは、
あらかじめ、カメラでの撮影又はセンサを用いて収集
し、動作単位で登録する。

【００１４】又、登録する動作データは、カメラ撮影又
はセンサ等でデータを収集する前に、各動作や手話の基
準となる動作を選択し、基準となる動作のみを、カメラ
撮影又はセンサ等で動素データを収集し登録する。

【００１５】動素データとして登録されている動作は、
動素データをそのまま用いて、動作の軌跡情報とし、登
録されていないデータは、収集した基準となる動素デー
タを用いて、開始点座標の変更、平行移動、線形補間等
による加工を行い、新しい動作の軌跡情報を生成する。

【００１６】又、基準となる動作データを複数（２動作
以上）用いて、組み合わせて加工することにより、新し
い複雑な動作の軌跡情報を生成する。

【００１７】カメラ撮影又はセンサ等で収集した動作デ
ータや基準となる動作データから生成される軌跡情報
は、動作の先端部位のみ（例えば手話の場合、手の動作
情報のみ）なので、肘、肩等の関節の座標や回転角等
は、動作先端部位の軌跡情報から、計算によって求め
る。ここでは、ロボット工学等で用いられている、
（逆）運動学、（逆）動力学を用いて、肘や肩等の座標
や回転角等を計算する。

【００１８】（逆）運動学、（逆）動力学は、「広瀬茂
男」著、「裳華房」発行の「ロボット工学 -機械シス
テムのベクトル解析-」を参考。

【００１９】

【発明の実施の形態】以下、本発明の実施形態を図と手
話及び指揮者の動作を参照して説明する。

【００２０】（実施の形態１）ここでは、本発明の第１
の実施形態を、「大丈夫」と言う手話を入力した場合に
ついて、図１、２、６、７、８、９、１０、１６を参照
して説明する。

【００２１】はじめに、「大丈夫」と言う手話動作を右
手で行った場合について説明する。「大丈夫」と言う手
話動作は、片手動作で、手形状は「平手」で、左肩から
開始して、水平に移動し右肩で終了する。この時、開始
点の「左肩」、終了点の「右肩」に指先が接触する。

【００２２】次に図１の各手段について説明する。動作
入力手段１０１は、入力された動作単語を動作コードに
変換する。

【００２３】動作解析手段１０２は、動作コードに対応
した動作データを動作辞書１０３から取り出す。

【００２４】動作辞書１０３は、動作コードに対応する
動作データを保持している。動作軌跡生成手段１０４
は、動作データの各情報に従って、動素データベース１
０５と位置データベース１０６から動素データと開始位
置座標を取り出し、動素データと開始位置座標から動作
の軌跡を生成する。

【００２５】動素データベース１０５は、動作の基準と
なる動素データを保持している。位置データベース１０
６は、各動作の開始位置座標を保持している。

【００２６】動作生成手段１０７は、動作データの部品
情報に従って、動作生成に必要な部品データを部品デー
タベース１０８から取り出し、部品データと動作軌跡生
成手段１０４で生成された動作軌跡情報からアニメーシ
ョンの動作を生成する。

【００２７】部品データベース１０８は、骨格モデルの
上腕や胴等の各部品を保持している。表示手段１０９
は、動作生成手段１０７で生成されたアニメーションを
表示する。

【００２８】図６は、動作辞書１０３の内部構造を表
し、左端の数字は、動作入力手段１０１、動作解析手段
１０２で取り扱われる動作コードで、形態素は、各手話
動作の単語を表す。右側の「方向（大きさコード）、開
始位置、手形状、動作部品、強／弱手」をまとめて動作
データと呼び、各手話単語の動作方向、動作する大きさ
コード、動作開始位置、動作時の手形状、動作部品、動
作する手形状を表す。

【００２９】図７は、動素データベース１０１の内部構
造を表し、左側の動素コードが動素データの見出しにな
っており、「右」方向に大きさ「３」動作する動素デー
タは動素３で、動素３には、「右」方向に大きさ「３」
動作する基準動作の計測値を保持している。

【００３０】図８は、位置データベースの内部構造を表
し、それぞれ、骨格モデル（以後、キャラクタと呼ぶ）
の各部位（肩、胸、腹等）の絶対座標を保持しており、
キャラクタを変更する場合は、座標値を変更する。

【００３１】図９は、部品データベースの内部構造を表
し、キャラクタの各部位に部品コードを割り当ててい
る。

【００３２】図１０は、動作の大きさコードと実際の大
きさの関係を表し、各部位に動作の大きさコードを割り
当てており、キャラクタを変更した場合は、実際の大き
さを変更する。

【００３３】図１６は、キャラクタモデルの各部位の名
称と図１０の動作量との関係を示す。

【００３４】次に、動素データベース１０５に、「大丈
夫」と言う手話動作の計測データが登録されている場合
と、登録されている「大丈夫」の動素データを用いて、
他の新しい登録されていない手話を生成する場合につい
て説明する。

【００３５】図１の動作入力手段１０１は、入力情報の
「大丈夫」という文字列を動作コード（３）に変換し
て、動作解析手段１０２に渡す。動作解析手段１０２で
は、動作入力手段１０１から受け取った、動作コード
（３）を動作辞書１０３に渡して、「大丈夫」の動作コ
ード（３）に対応した動作データ（以後、動作データ３
と呼ぶ）を図６の動作辞書１０３から検索し、その動作
データ３を動作解析手段１０２に返す。

【００３６】動作データ３の各情報は、動作の先端部位
（ここでは、手の重心）の動作方向が「右」、動作の大
きさコードが「３」、動作を開始する先端部位の位置が
「左肩」、動作時の手形状が「平手」、動作する部位が
「上腕、下腕、手」、動作を行う手が「強手」であるこ
とを表している。

【００３７】動作の大きさは、図１０に示す様に、キャ
ラクタの各部位に対してコードを割り当て、キャラクタ
が異なる場合は、肩幅や胴等の大きさの値を置き換え
る。各部位のコードは、そのままで、大きさの値を置き
換えることによって、キャラクタを変更するたびに、動
作辞書１０３や動素データベース１０５等、他のデータ
の変更を必要としない。

【００３８】また、強手／弱手について、強手は「右
手」でも「左手」でも良く、強手でない方の手が弱手と
なる。ここでは、強手を「右手」として説明する。

【００３９】(i)動素データベースに「大丈夫」と言う
手話動作が登録されている場合。動作データ３は、動作
解析手段１０２から動作軌跡生成手段１０４に渡され、
動作データ３の「方向」と「大きさ」を、動素データベ
ース１０５に渡す。

【００４０】動素データベース１０５は、「大丈夫」の
計測データが図７に示す様に動素（３）として保持して
いるので、動素データベース１０５の動素（３）のデー
タ（以後、動素データ３と呼ぶ）を取り出し、動作軌跡
生成手段１０４に渡す。

【００４１】次に、動作データ３の「左肩」が位置デー
タベース１０６に渡され、「大丈夫」の動作データ３の
「左肩」に対応した位置コード（１）のデータ（以後、
開始位置コード１と呼ぶ）を図８から検索して、動作軌
跡生成手段１０４に渡す。

【００４２】次に動作軌跡生成手段１０４では、動素デ
ータベース１０５から取り出した動素データ３と、位置
データベースから取り出した開始位置データ１から、動
素データ３の開始位置座標を開始位置データ１の座標に
一致させ、「大丈夫」と言う手話動作の動作先端部位の
動作軌跡情報（１）を生成する。

【００４３】尚、動素データの開始位置座標を開始位置
データの座標に一致させる場合、ある被験者をモデル
に、カメラ撮影又はセンサ等で収集したデータを動素デ
ータとして動素データベースに登録しているので、アニ
メーション表示するキャラクタとの体格差がある。従っ
て、動素データの開始位置座標と開始位置データの座標
が一致／不一致に関係無く一致させる構成とした。一致
する場合は、移動量「０」として処理する。

【００４４】(ii)動素データベースに登録されている
「大丈夫」と言う動素データから、登録されていない
「福岡」と言う動作軌跡を生成する場合。

【００４５】「福岡」と言う手話は、お腹（下腹部）の
前で平手を左から右に動かす動作で、動作方向「右」、
動作の大きさコード「３」、動作の開始位置「左脇
腹」、手形状「平手」、動作部品「手、上腕、下腕」、
強／弱手「強手（右）」で表せる。

【００４６】「福岡」と言う手話が入力された場合、動
作入力手段１０１、動作解析手段１０２、動作辞書１０
３では、「大丈夫」と言う手話の場合と同様で、動作軌
跡生成手段１０４では、「福岡」の動作データの動作方
向「右」、動作の大きさコード「３」を動素データベー
ス１０５に渡す。動素データベース１０５では、方向
「右」、大きさコード「３」に対応した、「大丈夫」の
計測データである動素（３）を検索し、動素（３）のデ
ータ（以後、動素データ３と呼ぶ）を動作軌跡生成手段
１０４に渡す。

【００４７】次に動作軌跡生成手段１０４では、「福
岡」の動作データの開始位置「左脇腹」を、位置データ
ベース１０６に渡す。位置データベース１０６では、
「左脇腹」に対応する座標を検索し、検索した位置コー
ド（５）のデータ（以後、開始位置データ５と呼ぶ）を
動作軌跡生成手段１０４に渡す。

【００４８】動作軌跡生成手段１０４では、動素データ
ベース１０５から取り出した動素データ３と、位置デー
タベース１０６から取り出した開始位置データ５から、
動素データの開始位置座標を開始位置データ５の座標に
一致させ、「福岡」と言う手話動作の動作先端部位の動
作軌跡情報（２）を生成する。

【００４９】尚、「大丈夫」から新しく生成した「福
岡」と言う動作軌跡情報（２）に違和感があったり、自
然な動作に変更する場合、例えば、入力又は動作辞書１
０３等に「お腹（下腹部）に沿った動作」等の動作の詳
細情報又は詳細情報コードを付加することで、動作軌跡
生成手段１０４において、お腹の曲線に応じた動作方向
に「大丈夫」の計測データを変更／加工することによ
り、自然で違和感の無い動作軌跡を生成できる。

【００５０】「お腹」の曲線のデータは、後で説明する
部品データベース１０８の胴体部品から、「お腹」の曲
線のデータを取り出して、「大丈夫」の計測データの各
点の座標を「お腹」の曲線データに変更する方法でも良
い。

【００５１】又、ＣＧ等で用いられている、直線を曲線
に変更する手法を用いても良い。又、計測データの方向
を変更／加工する方法は、特に限定せず、より自然で違
和感の無い動作軌跡情報が生成できる手法であれば、ど
のような手法でも良い。

【００５２】尚、上記(ii)では、動素データの変更／加
工及び方向を変更する場合について説明したが、動作の
大きさを線形補間等の手法を用いて変更／加工すること
で、新しい動作軌跡情報を生成することができる。

【００５３】例えば、「大丈夫」の動素データ３の大き
さを大きさコード２の大きさに線形補間し、動作する手
の先端の開始位置を「唇の左端」に一致させて、右方向
に動作の大きさコード２だけ動作させると「赤」と言う
手話の動作軌跡情報が生成できる。

【００５４】尚、動素データの大きさを加工する方法
は、線形補間に限らず、動素データの大きさを変更でき
る手法であればどの様な手法でも良い。

【００５５】尚、位置データベース１０６の各座標デー
タは、キャラクタの変更により、座標値のみを変更し、
キャラクタの各部位のコードはそのままにすることによ
り、動作辞書１０３や動素データベース１０５の内容を
変更すること無しに、キャラクタを変更することが可能
になる。

【００５６】次に、動作データの手形状「平手」と動作
部位「上腕、下腕、手」及び動作軌跡生成手段１０４で
生成された「大丈夫」の動作軌跡情報１を、動作生成手
段１０７に渡し、「大丈夫」の手話動作アニメーション
に必要な骨格モデル（手形状や上半身等）を部品データ
ベース１０８から取り出す。動作生成手段１０７では、
動作軌跡情報１と動作部位「上腕、下腕、手」と骨格モ
デル（手形状、上半身等）情報から、動作情報を生成す
る。ここでは、動作部位の各関節の計算は、ロボット工
学等で用いられている、（逆）運動学と（逆）動力学で
計算する。

【００５７】尚、上記説明では動作部位を、「上腕、下
腕、手」としたが、動作の先端部位を任意に設定して
「胴体」や「頭」の計算を行っても良い。

【００５８】最後に、動作生成手段１０７で生成された
動作情報を用いてアニメーションデータを生成し、表示
手段１０９に渡して、「大丈夫」と言う手話を再生させ
る。

【００５９】尚、ここでは、動作データの各情報を
「右」や「左肩」等の文字を用いて説明したが、文字に
限定する必要はなく、コードや記号などでも良い。

【００６０】次に図２の文解析手段２１０について説明
する。図２は、図１に文解析手段２１０を付加した図
で、文解析手段２１０は、音声や文章等の入力情報を形
態素解析し、動作単語に対応する文字列に変換して、動
作入力手段２０１に動作単語を入力する手段。

【００６１】文解析手段２１０は、マイクやキーボード
などの入力装置から入力された動作や手話情報を形態素
解析し、形態素単位で動作入力手段２０１に渡す。

【００６２】例えば、「私は、わかります」と言う文章
を手話動作で表現する場合、「私」、「わかる」、「ま
す」の３つの形態素に分解され、それぞれを動作入力手
段に渡す。動作入力手段以降では、上記説明の場合と同
様に各形態素を解析して、アニメーションを生成して、
動作や手話のアニメーションを表示する。

【００６３】（実施の形態２）本発明の第２の実施形態
を、「司会」と言う手話文解析手段に入力した場合につ
いて、図２、６、７、８、９、１０と「大丈夫」、「わ
かる」の２つの手話動作を参照して説明する。

【００６４】はじめに、「司会」、「大丈夫」、「わか
る」の手話動作について説明する。「司会」は、開始点
が「左肩」で、「左肩」から「右肩」へ「右」方向に動
作し、その後「右肩」から「右脇腹」へ「下」方向に動
作する。動作する時の手形状は、「書き手」で、ペンを
持った時の手の形である。

【００６５】「大丈夫」は、実施形態１で説明した通り
である。「わかる」は、開始点が「胸中央」で、「胸中
央」から「お腹中央」へ、「下」方向に動作する。動作
する時の手形状は、「平手」で手の平は内側である。

【００６６】図２、６、７、８、９、１０は、実施形態
１で説明した通りである。次に図２の各手段について説
明する。

【００６７】文解析手段２１０は、マイク又はキーボー
ド等の入力手段から入力された入力情報「〜司会〜」を
形態素解析し、形態素に分割された「司会」と言う手話
単語を出力する。

【００６８】文解析手段２１０から出力された「司会」
と言う手話単語は、動作入力手段２０１に入力する。

【００６９】動作入力手段２０１では、入力情報「司
会」に対応するコード「１」（以後、動作コード１と呼
ぶ）に変換して動作解析手段２０２に渡す。

【００７０】動作解析手段２０２では、動作コード１を
動作辞書２０３に渡し、動作コード１に対応するデータ
（以後、動作データ１と呼ぶ）を取り出し、動作解析手
段２０２に渡す。

【００７１】動作解析手段２０２に渡された動作データ
１は、動作軌跡生成手段２０４に渡され、動作軌跡生成
手段２０４は、動作データ１の「右（３）」と「下
（２）」を動素データベース２０５に渡す。動素データ
ベース２０５には、動作の基準となる動素データとし
て、手話動作の「大丈夫」と「わかる」の計測データ
が、動素（３）、（５）として登録されていて、「司
会」の各動素データに対応するため、動作（３）（５）
に対応する動素データ３、５を動作軌跡生成手段２０４
に渡す。

【００７２】又、動作軌跡生成手段２０４では、開始位
置の「左肩」を位置データベース２０６に渡し、位置デ
ータベース２０６は、「左肩」の位置コード（１）に対
応する開始位置データ１を動作軌跡生成手段２０４に返
す。動作軌跡生成手段２０４では、まず、動素データ３
と開始位置データ１から開始位置データ１を始点として
右方向に動作する軌跡を生成し、その終点を動素データ
５の開始位置とし、動作軌跡を生成することによって、
手話動作「司会」の、「右」方向に大きさ「３」の動
作、「下」方向に大きさ「２」の動作をする動作軌跡を
生成する。

【００７３】尚、組み立てて生成された動作軌跡データ
は、そのまま「司会」動作として再生しても良いが、線
形補間による加工や変曲点（動作「右」と「下」の繋ぎ
目）の変更等を行うことにより、動作軌跡データの調整
を行っても良い。

【００７４】動作軌跡生成手段２０４で生成された動作
軌跡情報（３）と動作データの各部品データは、動作生
成手段２０７に渡され、以降、実施形態１の場合と同様
に、アニメーションの動作生成に必要な、骨格モデルの
部品を部品データベース２０８から取り出し、各部品の
動作情報を（逆）運動学や（逆）動力学等の手法を用い
て計算し、アニメーションを生成する。

【００７５】動作生成手段２０７で生成されたアニメー
ションは、表示手段２０９で「司会」と言う手話動作を
再生する。

【００７６】尚、上記では、「司会」と言う手話動作を
入力情報として説明したが、例えば、オーケストラの指
揮者が行う動作（３拍子や４拍子等）等、手話以外の動
作についても、基準データを加工等の処理を施すことに
より、アニメーションを生成できる。

【００７７】（実施の形態３）本発明の第３の実施形態
を、「大丈夫」と言う手話動作と、「安心１」と言う感
情と、「うなづく」と言う非手指動作を入力した場合に
ついて、図５と図６、７、８、９、１０、１１、１２、
１３、１４、１５を参照して説明する。

【００７８】尚、「安心１」の数字は、安心の度合を表
すパラメータ。はじめに、各図を説明する。

【００７９】図６、７、８、９、１０は、実施形態１で
説明した通り。図１１は、キャラクタの表情を表現する
ためのパラメータを保存している、表情データベース
Ａ。

【００８０】図１２は、キャラクタの表情を表現するた
めの実写画像を保持している、表情データベースＢ。

【００８１】図１３は、表情の強度をコード化して保持
している、表情パラメータで、各コードは、図１１、１
２のコードに対応している。

【００８２】図１４は、動素データベース５０５に登録
されている各動素データの「大きさ」、「早さ」を基準
として「１」に設定し、「大きさ」や「早さ」の割合を
設定する。

【００８３】図１５は、非手指動作の「部品名」と部品
が動作する場合の「動作軌跡情報」を保持している。非
手指動作データベース。

【００８４】次に、図５を用いて各手段の説明をする。
「大丈夫」と言う手話動作を、文解析手段５１０に入力
し、実施形態１の場合と同様に、動作解析手段５０２で
「大丈夫」の動作コードに対応した動作データ３を動作
辞書５０３から取り出し、動作軌跡生成手段５０４に渡
す。

【００８５】次に「安心１」と言う感情を、感情入力手
段５１１に入力し、そして、「安心１」と言う感情を感
情入力手段５１１から動作／表情変換手段５１２に入力
する。動作／表情変換手段５１２では、図１１、１２の
表情変換テーブルより、「安心１」に対応する表情コー
ドａ３０１を選択する。

【００８６】そして、表情コードａ３０１に対応する手
指動作パラメータ「大きさ：１」、「速さ：２」を図１
４の手指動作パラメータテーブルから取り出す。

【００８７】図１４の手指動作パラメータテーブルの各
パラメータは、動素データベース５０５に登録されてい
る計測データを「１」として、感情の度合に対応した
「大きさ」、「速さ」の倍率をパラメータとして準備し
ている。

【００８８】次に「うなずく」と言う非手指動作を、非
手指動作入力手段５１８に入力する。

【００８９】そして、「うなずく」と言う非手指動作を
非手指動作入力手段５１８から、動作／表情変換手段５
１２に入力する。動作／表情変換手段５１２では、図１
５の非手指動作データベースから「うなずく」に対応す
る、部品名「頭」とその軌跡情報を取り出す。

【００９０】上記選択された、各コード及びパラメータ
はそれぞれ、表情コードａ３０１は、表情生成手段５１
５に、「大きさ：１」、「速さ：２」は、動作軌跡生成
手段５０４に入力する。「部品名：頭」と「頭の動作軌
跡情報」は、動作生成手段５０７に入力される。

【００９１】動作軌跡生成手段５０４では、「大丈夫」
の動作データ３の「右（３）」に対応する動素データ３
を動素データベース５０５から取り出す。

【００９２】次に、動作データ３の開始位置「左肩」に
対応する開始位置データ１を位置データベース５０６か
ら取り出す。そして、動素データ３と前記位置データ１
と動作／表情変換手段５１２から入力された、「大き
さ：１」、「速さ：２」とから動作の軌跡を生成する。
そして、生成された動作軌跡情報と動作データの動作部
品と手形状と強手が、動作生成手段５０７に渡される。

【００９３】動作生成手段５０７では、動作生成に必要
な部品データを部品データベース５０８から取り出し、
動作軌跡生成手段５０４から入力された動作軌跡情報と
動作部品と動作／表情変換手段５１２から入力された、
「うなずく」に対応する「頭」と「頭の動作軌跡情報」
から、腕と頭の動作を（逆）運動学や（逆）動力学を用
いて計算する。

【００９４】次に、動作／表情変換手段５１２で変換さ
れた表情コードを表情生成手段５１５に渡し、表情生成
手段５１５は、表情コードを表情データベース５１６に
渡し、表情データベース５１６は、表情コードａ３０１
に保存してある表情を生成するためのパラメータを表情
生成手段５１５に渡す。表情生成手段５１５では、パラ
メータに応じた表情の生成を既存のアニメーション生成
ツールを用いて生成する。

【００９５】尚、ここでは、表情を図１１のａ３０１の
データを用いて生成する場合について説明したが、図１
２の実写画像を用いて生成しても良い。又、図１１、１
２のデータを用いて、実写とＣＧの合成を行って生成し
ても良い。

【００９６】又、実写の画像をベースにして、実写の表
情を加工して表情を生成しても良い。

【００９７】又、表情を合成する場合、表情の変化の度
合に応じて、実写とＣＧの切替を行うことにより、画像
生成に必要な処理を減らすことが可能となる。

【００９８】次に、前記動作生成手段５０７からの手指
動作の情報と非手指動作の情報と表情生成手段からの表
情の情報を同期手段５２０に入力し、「大丈夫」と言う
手話動作と「うなずく」と言う非手指動作と表情の開始
時間を一致させて同期をとり、「大丈夫」と言う手話の
手指動作だけでなく、表情や非手指動作も含んだ手話動
作を生成する。

【００９９】尚、表情は、うなずいている間は、表情が
見えないため、表情を準備する必要がないので、「うな
ずく」の動作の終了時間と表情の開始時間を一致させる
制御手段を同期手段５２０内に設け、手指動作と非手指
動作と表情の同期をとる構成にしても良い。

【０１００】前記動作生成手段５０７で生成した動作情
報と、前記同期手段５２０での同期情報とから、「大丈
夫」、「うなずく」、表情を合成してアニメーションを
生成する。

【０１０１】前記画像合成５１７で生成された、「大丈
夫」の手話と、「うなずく」の非手指動作と表情のアニ
メーションを表示手段５０９で再生する。

【０１０２】尚、上記説明では、非手指動作についても
説明したが、非手指動作が必要ない場合には、図３に示
す様な構成で、手指動作と表情のアニメーションを生成
してもよい。

【０１０３】又、手指動作、非手指動作、表情が同時に
始まる場合、同期手段５２０は、削除して、図４に示す
様な構成で、手指動作、非手指動作、表情のアニメーシ
ョンを生成しても良い。

【０１０４】（実施の形態４）以下、本発明の第４の実
施形態を図８、図１０及び図１６を参照して説明する。

【０１０５】はじめに、各図を説明する。図８は、キャ
ラクタの各部位の座標値を格納した位置データベース。

【０１０６】図１０は、キャラクタの各部位の大きさを
格納した動作量データ格納手段。次に、キャラクタデー
タ（３次元座標）をロードした時の各手段の動作につい
て説明する。

【０１０７】位置データベースは、ロードされたキャラ
クタの自然な状態（正面を向いて、両手を自然に下ろし
て、直立した状態）の頭頂、両耳の重心、顎の先端、両
眉の両端、両目の両端、鼻先端、口の両端、両肩嶺、鳩
尾、腰の両端、腰の重心、両肘の重心、両手首の重心、
各指の付け根の重心、各指の先端、両足の付け根の重
心、両膝の重心、両足首の重心、両足のかかと、両足の
先端の３次元座標を抽出し、位置データベースの各部品
インデックス毎に格納する。

【０１０８】次に動作量（部品の大きさ）データは、位
置データベースを参照し、顔の長さ、顔の幅、目の長
さ、眉の長さ、鼻の高さ、口の幅、肩幅、胴の長さ、胸
部の長さ、腹部の長さ、両上腕のの長さ、両下腕の長
さ、両手の手の平の長さ、両手の各指の長さ、両大腿の
長さ、両下腿の長さ、足の長さを抽出する、抽出された
データは、位置データベースの場合と同様、各部品イン
デックス毎に格納する。

【０１０９】上記のように、位置データ、動作量データ
を各部品インデックス毎に格納し、キャラクタ毎に各部
品インデックス内の値を変更することによって、動作に
対応したインデックスを参照するだけで、異なるキャラ
クタでも、同じインデックスで、同じ動作を表示でき
る。

【０１１０】尚、位置データ、動作量データは、キャラ
クタデータをロードする時に、キャラクタデータから算
出（抽出）しても良い。又、キャラクターデータの付加
データとして事前に保持しても良い。

【０１１１】尚、位置データ、動作量データの算出方法
は、例えば、上腕のキャラクタデータ（３次元座標デー
タ）からｙ方向（高さ）の最大値を肩の座標、最小値を
肘の座標として、その最大座標と最小座標から上腕の長
さを算出する。同様に、各部品のｘ方向、ｙ方向、ｚ方
向の座標の最大、最小値から位置データを抽出し、その
位置データから動作量データを算出する。

【０１１２】尚、位置データ、動作量データの算出方法
は、上記方法に限定されず、各部品の座標、各部品の動
作量（大きさ）が算出（抽出）可能であればどのような
方法でも良い。

【０１１３】尚、位置データベースは、上記部位に限定
されず、必要であればより詳細な各部位の座標を抽出し
ても良い。また、逆に不必要な部位のデータは、削除し
て、位置データベースを構成して良い。

【０１１４】尚、動作量データベースは、上記部位に限
定されず、必要であればより詳細な各部位の大きさデー
タを抽出して良い。また、逆に不必要な部位のデータ
は、削除して動作量データを構成してよい。

【０１１５】尚、上記位置データ、動作量データを参照
し、キャラクタが動作する空間領域を、縦方向（ｙ座標
軸）、横方向（ｘ座標軸）、奥行き方向（ｚ座標軸）
に、キャラクタの大きさに合わせて分割する。

【０１１６】例えば、両手を上（正のｙ方向）に伸ばし
た状態の手の先端をｙ方向の最大値、爪先又はかかとの
座標をｙ方向の最小値、両手を左右水平に伸ばした状態
の左右の手の先端をｘ方向の最大、最小値、両手を前に
水平に伸ばした状態の手の先端をｚ方向の最大値、両手
を後ろに水平に伸ばした時の手の先端をｚ方向の最小値
として、３次元空間領域を等間隔に分割する。

【０１１７】又、ｘ、ｙ、ｚ方向の最大、最小値を、手
ではなく足を用いて、手の場合と同様の方法で設定し
て、空間領域を分割しても良い。

【０１１８】尚、空間領域を分割する方法は、ｘ、ｙ、
ｚ方向の最大、最小値から等間隔に分割する方法に限ら
ず、位置データ、動作量データ参照して、ｙ方向は、そ
れぞれの状態の時の肘、頭頂、顎の先端、鳩尾、腰、膝
等、ｘ方向は、肘、肩、鳩尾、耳の重心等、ｚ方向は、
肘、肩、鼻先等を基準にして分割しても良い。

【０１１９】尚、空間領域を分割する方法は、上記方法
に限らず、例えば、肩を基準点に設定し、右肩を基準に
右腕を上下左右前後に回転して、その時の手の先端の座
標の集合（腕の長さを半径とした球の表面）を右手の最
大値とする曲座標系を用いて、手首、肘等も同様に曲座
標持たせ空間を分割しても良い。

【０１２０】又、左手に関しても、右手の場合と同様。
又、腰を基準にした場合、腰の曲座標上の各状態の肩の
座標を腕の曲座標の原点として、腕の曲座標を設定す
る。又、足、頭等に関しても腕の場合と同様。

【０１２１】尚、空間領域の分割は、必要に応じて、詳
細に分割しても、大まかに分割しても良い。

【０１２２】

【発明の効果】本発明によれば、動素データベースに登
録されていない動作も、登録されている動素データを用
いて、加工や組み立てを行うことにより、新しい動作を
生成することが可能になる。又、全ての動作を保持する
必要がないので、データを登録する作業の削減、保持す
るデータ量の削減が可能となる。

【０１２３】又、手話動作を生成する場合、手話と手話
の間の動作を、動素データベースに登録されているデー
タを用いて、加工／変更することによって、手話動作を
つくる場合と同様の手法で生成できるので、手話間の動
作を生成するための手法を用意する必要がない。

【０１２４】又、キャラクタを変更する場合、動作量の
大きさ（値）や位置データベースの座標（値）を変更す
るだけで、いろいろな体格のキャラクタで動作を生成で
きる。

【図面の簡単な説明】

【図１】実施の形態１における動作生成装置の構成を表
す図

【図２】図１の構成に文解析手段を付加した構成を示す
図

【図３】非手指動作が必要ない場合の動作生成装置の構
成を表す図

【図４】手指動作、非手指動作、表情が同時に始まる場
合の構成を表す図

【図５】実施の形態３における動作生成装置の構成を表
す図

【図６】動作辞書１０３の内部構造を表す図

【図７】動素データベース１０１の内部構造を表す図

【図８】位置データベースの内部構造を表す図

【図９】部品データベースの内部構造を表す図

【図１０】動作の大きさコードと実際の大きさの関係を
表す図

【図１１】キャラクタの表情をＣＧで表現するためのパ
ラメータを保存している、表情データベースを示す図

【図１２】キャラクタの表情を実写で表現するための実
写画像を保持している、表情データベースを示す図

【図１３】表情の強度をコード化して保持している、表
情パラメータテーブルを示す図

【図１４】動作の「大きさ」や「早さ」の割合を設定し
ている手指動作パラメータテーブルを示す図

【図１５】非手指動作の「部品名」と部品が動作する場
合の「動作軌跡情報」を保持している、非手指動作デー
タベースを示す図

【図１６】図１６は、位置データベース、動作量データ
の値を決定するポイントを示す、キャラクタモデルを示
す図

【符号の説明】

１０１動作入力手段１０２動作解析手段１０３動作辞書１０４動作軌跡生成手段１０５動素データベース１０６位置データベース１０７動作生成手段１０８部品データベース１０９表示手段

Claims

【特許請求の範囲】

【請求項１】動作情報を入力する動作入力手段と、前
記動作入力手段から動作情報を受け取り動作情報を解析
する動作解析手段と、動作情報を分解して保持している動作辞書と、種々の動
作の素となる動素データを保持している動素データベー
スと、動作の対象となる部品を保持している部品データ
ベースと、動作の開始位置の空間情報を保持している位置データベ
ースと、前記動作解析手段からの入力情報によって、前
記動素データベースと前記位置データベースの情報を取
り出し、動作の軌跡情報を生成する動作軌跡生成手段
と、前記動作軌跡生成手段からの入力によって、前記部品デ
ータベースの情報を取り出し、動作を生成する動作生成
手段と、動作アニメーションを表示する表示手段を備えた動作生
成装置。
【請求項２】音声又は文字列を解析し、前記動作入力
手段に動作情報を入力する、文解析手段を設けた請求項
１記載の動作生成装置。
【請求項３】感情を入力する感情入力手段と、感情入
力情報に対応する表情のパラメータを保持する表情パラ
メータテーブルと、感情入力情報に対応する手指動作のパラメータを保持す
る手指動作パラメータテーブルと、前記感情入力手段の入力情報を解析して、表情パラメー
タテーブル及び、手指動作パラメータテーブルからの情
報に応じてパタメータに変換する動作／表情変換手段
と、表情を生成するための表情の実写画像データと表情アニ
メーションデータを保持する表情データベースと、前記動作／表情変換手段からの入力に応じて、前記表情
データベースから必要な情報を取り出して、表情を生成
する、表情生成手段を設け、前記動作／表情変換成手段
からの入力情報と、動作解析手段からの入力情報から、動作軌跡を生成する
動作軌跡生成手段を備え、前記動作生成手段の動作アニ
メーション情報と前記表情生成手段の表情アニメーショ
ン情報を合成するアニメーション合成手段を設けた請求
項１または請求項２記載の動作生成装置。
【請求項４】前記表情生成手段において、前記動作／
表情変換手段の入力情報に応じた、実写画像情報とアニ
メーション画像情報を合成して、表情を生成する表情合
成手段を設けた請求項３記載の動作生成装置。
【請求項５】非手指動作を入力する非手指動作入力手
段を設け、前記非手指動作の入力情報と前記感情入力手
段の入力情報に応じて、非手指動作を保持している非手
指動作データベースと、表情のパラメータを保持している表情パラメータテーブ
ルと、手指動作に対応するデータを保持している手指動
作パラメータテーブルとからの情報に応じて、非手指動
作、感情の入力情報を非手指動作と手指動作と表情のパ
ラメータに変換する、動作／表情変換手段を備えた請求
項３または請求項４に記載の動作生成装置。
【請求項６】前記動作生成手段の動作アニメーション
情報と前記表情生成手段の表情情報の同期をとる同期手
段を設けた請求項３乃至請求項５の何れかに記載の動作
生成装置。
【請求項７】動作の対象となる動作人形モデル（以
後、キャラクタと呼ぶ）の各部位の大きさを少くとも一
つ格納している、動作量データ格納手段を設けた請求項
１乃至請求項６の何れかに記載の動作生成装置。