JPH11184370A - 手話情報提示装置 - Google Patents

Abstract

(57)【要約】 【課題】 手話動作をアニメーションで生成するとき、
より少ないデータを用いて表現自由度が高く、且つ滑ら
かな手話アニメーションを生成すること。 【解決手段】 手話提示に必要なパラメータを入力手段
１００に入力する。手指動作辞書格納手段２００から、
手話単語に対応して動き要素のデータが取り出され、手
話アニメーション合成手段３００に引き渡される。手話
アニメーション合成手段は、これらのデータを用いてキ
ャラクタの手指を動かし、手話アニメーションを合成す
る。キャラクタの手話アニメーションは、出力手段４０
０に表示され、操作者の意図したメッセージが聴覚障害
者に提示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手話動作をＣＧを
用いてアニメーションに変換して表示する手話情報提示
装置に関するものである。

【０００２】

【従来の技術】従来の手話アニメーション動作を生成す
る方法としては、手話の動作データ（計測データ）を手
話単語単位でセンサー又はカメラ等を用いて計測し、そ
の取得データを用いて手話動作を表現している。また手
話単語間の動作は、手話単語間の計測データが無いた
め、手話アニメーション生成手法とは別の方法で生成し
ている。

【０００３】このような手話アニメーションは、手話を
用いる聴覚障害者が、公共の場で手続きを行なうための
作業を他の者が支援する装置の要素技術として求められ
ている。例えば、銀行や郵便局でのキャッシング、及び
葉書や切手等の購入を支援する装置がその例である。

【０００４】また、手話を用いる聴覚障害者と、自然言
語を用いる健聴者との対話において、健聴者から聴覚障
害者への通訳を行なうものとしても、この技術は期待さ
れている。特に、健聴者が入力した音声情報や文章等
を、ＣＧを用いてアニメーション手話に変換して表示す
る装置がその例である。

【０００５】

【発明が解決しようとする課題】従来の方法では、必要
な動作データを全てセンサ又はカメラ等で計測して保存
しておく必要があるため、膨大なデータを蓄積しなけれ
ばならなかった。またそのための計測作業の負荷が重
い。また新しい手話を登録する場合には、カメラ又はセ
ンサを新たに設置しなければならず、新しい手話の計測
の度に大がかりな設備や作業が必要であった。

【０００６】ここで具体的な例として、「何故」と言う
手話を考えてみる。「理由」という手話と「何」という
手話とを組み合わせて「何故」が構成されている。この
ように１つ又は複数の単語や動作を組み合わせたり、繰
り返したりすることで、意味の異なる手話単語が構成さ
れる場合が多い。この場合、計測データを用いたアニメ
ーション生成では、「理由」、「何」、「何故」の手話
動作を夫々計測して登録するなど、重複した動作を登録
しなければならないという無駄がある。

【０００７】また計測データは、登録単語数に比例して
増加するため、多くの単語を必要とする場合、膨大なデ
ータ量が必要となる。また計測データはそのままキャラ
クタの動作に用いることができないため、計測データを
加工する必要がある。さらに加工した計測データも、加
工の基準となるキャラクタに依存してしまい、他のキャ
ラクタに流用できない。

【０００８】本発明は、このような従来の問題点に鑑み
てなされたものであって、小量のデータで手話アニメー
ションを合成することができ、手形状データ、手の位置
データ、手の方向データを変更したり、動素データの繰
り返しや組み合わせにより、他の異なる手話アニメーシ
ョンを合成することのできる手話情報提示装置を実現す
ることを目的とする。

【０００９】

【課題を解決するための手段】このような課題を解決す
るため、本願の請求項１記載の発明は、単語単位や文章
単位でメッセージが入力されたとき、前記メッセージを
聴覚障害者が一意に理解できる手話動作に変換したキャ
ラクタのアニメーションを出力する手話情報提示装置で
あって、前記メッセージを手話単語に変換するためのパ
ラメータを入力する入力手段と、前記各手話単語に対応
した手指の動き要素データを記憶した手指動作辞書格納
手段と、前記入力手段に入力されたパラメータに応じて
前記手指動作辞書格納手段に格納された手指の動き要素
データを参照し、前記メッセージに対応した手話アニメ
ーション動作を合成する手話アニメーション合成手段
と、前記手話アニメーション合成手段により合成された
手話アニメーション動作をキャラクタの動作により表示
する出力手段と、を具備することを特徴とするものであ
る。

【００１０】また本願の請求項２記載の発明は、単語単
位や文章単位でメッセージを入力されたとき、前記メッ
セージを聴覚障害者が一意に理解できる手話動作に変換
したキャラクタのアニメーションを出力する手話情報提
示装置であって、前記メッセージを手話単語に変換する
ためのパラメータを入力する入力手段と、前記パラメー
タの属するジャンルを対象領域とするとき、前記対象領
域に属する情報を格納する対象領域情報格納手段と、前
記入力手段により入力された特定パラメータに対して、
前記対象領域情報格納手段に格納されている前記対象領
域の情報を新たなパラメータとして質疑応答する質疑応
答対象領域手続き手段と、前記各手話単語に対応した手
指の動き要素データを記憶した手指動作辞書格納手段
と、前記質疑応答対象領域手続き手段で必要と決定され
たパラメータに基づき、前記手指動作辞書格納手段に格
納された手指の動き要素データを参照し、前記入力メッ
セージに対応した手話アニメーション動作を合成する手
話アニメーション合成手段と、前記手話アニメーション
合成手段により合成された手話アニメーション動作をキ
ャラクタの動作により表示すると共に、前記対象領域情
報格納手段の情報を表示する出力手段と、を具備するこ
とを特徴とするものである。

【００１１】また本願の請求項３記載の発明は、請求項
２の手話情報提示装置において、前記対象領域情報格納
手段は、各対象領域の内容を解析し、各対象領域の内容
に応じた情報を前記出力手段に出力する対象領域内容解
析手段を有することを特徴とするものである。

【００１２】また本願の請求項４記載の発明は、請求項
２の手話情報提示装置において、前記質疑応答対象領域
手続き手段は、前記入力手段より入力された特定のパラ
メータから、前記パラメータに対応する単語の使用頻度
の高い分野を対象領域として判定する対象領域判定手段
を有することを特徴とするものである。

【００１３】また本願の請求項５記載の発明は、請求項
１又は２の手話情報提示装置において、前記手指動作辞
書格納手段は、手指の形状、手の位置、手の方向で決定
される手の姿を動素とするとき、各動素データを格納し
た動素辞書と、各手話単語に対する前記動素の繰り返し
回数、手話単語の組合せ、前記動素の順序、動作手のデ
ータの少なくとも１つを格納した手話辞書と、を有する
ことを特徴とするものである。

【００１４】また本願の請求項６記載の発明は、請求項
５の手話情報提示装置において、前記手話辞書は、地域
別方言に対応した手話単語及び国別の手話単語の少なく
とも一方の手話単語が登録されたものであることを特徴
とするものである。

【００１５】また本願の請求項７記載の発明は、請求項
５の手話情報提示装置において、前記動素辞書は、手形
状データを格納した手形状データ格納手段と、手の位置
データを格納した手の位置データ格納手段と、手の方向
データを格納した手の方向データ格納手段と、を有する
ことを特徴とするものである。

【００１６】また本願の請求項８記載の発明は、請求項
７の手話情報提示装置において、手形状データ格納手段
は、人差指、中指、薬指、小指、親指の形状データとし
て、各指の屈伸状態、親指に対する他の指の当接状態、
隣接する指の開き角、各指の第１〜第３関節における屈
曲角度の少なくとも１つのデータを含むことを特徴とす
るものである。

【００１７】また本願の請求項９記載の発明では、単語
単位や文章単位でメッセージを入力されたとき、前記メ
ッセージを聴覚障害者が一意に理解できる手話動作に変
換したキャラクタのアニメーションを出力する手話情報
提示装置であって、前記メッセージを手話単語に変換す
るためのパラメータを入力する入力手段と、前記各手話
単語に対応した手指の動き要素データを記憶した手指動
作辞書格納手段と、前記入力手段より入力されたパラメ
ータを解析し、非手指動作を表現するための情報を抽出
する入力解析手段と、前記入力解析手段で抽出した情報
を非手指動作の情報に変換する非手指動作制御手段と、
前記非手指動作制御手段の非手指動作に対応する動作デ
ータを保持する非手指動作辞書格納手段と、前記入力手
段に入力されたパラメータに応じて前記手指動作辞書格
納手段に格納された手指の動き要素データを参照し、前
記入力メッセージに対応した手話アニメーション動作を
合成すると共に、前記非手指動作辞書格納手段に格納し
てある情報を組み合わせ、非手指のアニメーション動作
を合成する手話アニメーション合成手段と、前記手話ア
ニメーション合成手段により合成された手指及び非手指
のアニメーション動作を表示する出力手段と、を具備す
ることを特徴とするものである。

【００１８】また本願の請求項１０記載の発明では、単
語単位や文章単位でメッセージを入力されたとき、前記
メッセージを聴覚障害者が一意に理解できる手話動作に
変換したキャラクタのアニメーションを出力する手話情
報提示装置であって、前記メッセージを手話単語に変換
するためのパラメータを入力する入力手段と、前記パラ
メータの属するジャンルを対象領域とするとき、前記対
象領域に属する情報を格納する対象領域情報格納手段
と、前記入力手段により入力された特定パラメータに対
して、前記対象領域情報格納手段に格納されている前記
対象領域の情報を新たなパラメータとして質疑応答する
質疑応答対象領域手続き手段と、前記各手話単語に対応
した手指の動き要素データを記憶した手指動作辞書格納
手段と、前記入力手段より入力されたパラメータを解析
し、非手指動作を表現するための情報を抽出する入力解
析手段と、前記入力解析手段で抽出した情報を非手指動
作の情報に変換する非手指動作制御手段と、前記非手指
動作制御手段の非手指動作に対応する動作データを保持
する非手指動作辞書格納手段と、前記質疑応答対象領域
手続き手段で必要と決定されたパラメータに基づき、前
記手指動作辞書格納手段に格納された手指の動き要素デ
ータを参照し、前記入力メッセージに対応した手話アニ
メーション動作を合成すると共に、前記非手指動作辞書
格納手段に格納してある情報を組み合わせ、非手指のア
ニメーション動作を合成する手話アニメーション合成手
段と、前記手話アニメーション合成手段により合成され
た手指及び非手指のアニメーション動作と前記対象領域
情報格納手段の情報とを表示すると共に、手話アニメー
ションの状態を前記入力解析手段に与える出力手段と、
を具備することを特徴とするものである。

【００１９】また本願の請求項１１記載の発明は、請求
項９又は１０の手話情報提示装置において、前記入力解
析手段は、前記入力手段より入力されたパラメータから
手話内容を解析する内容解析手段と、前記出力手段より
出力された手話アニメーション動作の状態を解析する状
態解析手段と、を有することを特徴とするものである。

【００２０】また本願の請求項１２記載の発明は、請求
項９又は１０の手話情報提示装置において、前記非手指
動作制御手段は、前記入力解析手段で解析されたパラメ
ータにおいて、非手指動作と手指動作との提示タイミン
グを決定する動作情報変換手段と、を有することを特徴
とするものである。

【００２１】また本願の請求項１３記載の発明は、請求
項９又は１０の手話情報提示装置において、前記非手指
動作辞書格納手段は、視線方向のデータを格納した視線
情報格納手段、頭の方向を格納した頭部動作情報格納手
段、口の形状を格納した口形状情報格納手段、眉の動作
を格納した眉動作情報格納手段、瞬きの動作を格納した
瞬き動作情報格納手段、肩の動作を格納した肩動作情報
格納手段、頬の状態を格納した頬情報格納手段、下顎の
状態を格納した顎情報格納手段、額の状態を格納した額
情報格納手段、非手指の動作速度情報を格納した動作速
度情報格納手段、前記非手指の動作範囲の大きさをパラ
メータとして格納した動作量情報格納手段、のうち少な
くとも１つを有することを特徴とするものである。

【００２２】また本願の請求項１４記載の発明は、請求
項９又は１０の手話情報提示装置において、前記手話ア
ニメーション合成手段は、前記非手指動作辞書格納手段
からのデータに応じて非手指動作を合成する非手指動作
合成手段を有することを特徴とするものである。

【００２３】また本願の請求項１５記載の発明は、請求
項１４の手話情報提示装置において、前記非手指動作合
成手段は、顔の表情を生成するとき、口はある形状から
他の形状へ変形させて補間することにより口動作を生成
し、頬や額は表情パラメータ毎にテクスチャを貼る手法
により生成するか又は口や眉等の動作に応じて頬や額を
変形させてその動作を生成し、下顎は上腕や下腕と同様
に骨格アニメーションを用いて動作を生成することを特
徴とするものである。

【００２４】また本願の請求項１６記載の発明は、請求
項１４の手話情報提示装置において、前記非手指動作合
成手段は、顔の表情を生成するとき、口、眉、額、頬、
顎を含む各器官の頂点座標の変形で顔の動作を生成する
ことを特徴とするものである。

【００２５】また本願の請求項１７記載の発明は、請求
項１４の手話情報提示装置において、前記非手指動作合
成手段は、顔の表情を生成するとき、口、眉、額、頬、
顎を含む各器官のテクスチャの合成により顔の動作を生
成することを特徴とするものである。

【００２６】また本願の請求項１８記載の発明は、請求
項１４の手話情報提示装置において、前記非手指動作合
成手段は、表現すべき手話が形容詞であり、前記形容詞
を修飾する副詞を添えて入力されたとき、前記副詞の後
に続く手話単語の動作速度及び動作の大きさを、前記非
手指動作辞書格納手段から入力された動作速度及び動作
量データに従い、視線情報、頭部動作情報、口形状情
報、眉動作情報、肩動作情報のうち少なくとも１つを修
正加工処理を行うことにより、手話単語の意味を強調す
ることを特徴とするものである。

【００２７】また本願の請求項１９記載の発明は、請求
項９又は１０の手話情報提示装置において、前記手話ア
ニメーション合成手段は、手指動作と非手指動作の同期
をとる同期手段を設けたことを特徴とするものである。

【００２８】また本願の請求項２０記載の発明は、請求
項９又は１０の手話情報提示装置において、前記手話ア
ニメーション合成手段は、動作開始点から動作終了点に
至る手指動作を滑らかに制御する手指動作制御手段を設
けたことを特徴とするものである。

【００２９】また本願の請求項２１記載の発明は、請求
項２０の手話情報提示装置において、前記手指動作制御
手段は、手指動作を滑らかに動作させるため、前記手指
動作辞書格納手段から入力された２つの状態の角度デー
タにおいて、開始から終了迄の間の角度データを必要な
フレームの数だけ補間し、補間データを前記手指動作合
成手段に与えることを特徴とするものである。

【００３０】また本願の請求項２２記載の発明は、請求
項２０の手話情報提示装置において、前記手指動作制御
手段は、手指動作を滑らかに動作させるため、前記手指
動作辞書格納手段から入力された動作開始点及び動作終
了点の角度データにおいて、開始から終了迄の間の角度
データを必要なフレームの数だけ補間するとき、各フレ
ーム間の変化量を同じになるように等間隔に補間する手
法、又は各フレーム間の変化量を可変になるように補間
する手法のいずれかを選択して制御することを特徴とす
るものである。

【００３１】また本願の請求項２３記載の発明は、請求
項２０の手話情報提示装置において、前記手指動作制御
手段は、手指動作を滑らかに動作させるため、前記手指
動作辞書格納手段から入力された動作開始点及び動作終
了点の角度データにおいて、右手及び左手に対して独立
して、開始から終了迄の間の角度データを必要なフレー
ムの数だけ補間することを特徴とするものである。

【００３２】また本願の請求項２４記載の発明は、請求
項２０の手話情報提示装置において、前記手指動作制御
手段は、動作単位、手話単語単位、又は文章単位に動作
静止時間を設定することを特徴とするものである。

【００３３】また本願の請求項２５記載の発明は、請求
項１，２，９，１０のいずれか１項の手話情報提示装置
において、手話動作を行うキャラクタの正面姿の表示窓
を第１のウインドウとし、前記キャラクタの側面姿の表
示窓を第２のウインドウとするとき、前記キャラクタの
大きさに合わせて前記第１及び第２のウインドウの空間
領域の分割方法を制御する空間領域分割手段を設けたこ
とを特徴とするものである。

【００３４】また本願の請求項２６記載の発明は、請求
項１，２，９，１０のいずれか１項の手話情報提示装置
において、前記出力手段は、手話動作を行うキャラクタ
の正面姿の表示窓を第１のウインドウとし、前記キャラ
クタの側面姿の表示窓を第２のウインドウとし、手形状
のリストの表示窓を第３のウインドウとし、入力パラメ
ータであるテキスト情報を入力する窓を第４のウインド
ウとし、新たに登録する手話単語のアニメーションの表
示窓を第５のウインドウとするとき、前記第１〜第５の
ウインドウを随時表示することを特徴とするものであ
る。

【００３５】また本願の請求項２７記載の発明は、請求
項１、２、９、１０のいずれか１項の手話情報提示装置
において、前記出力手段は、手話動作を行うキャラクタ
の正面姿の表示窓を第１のウインドウ、前記キャラクタ
の側面姿の表示窓を第２のウインドウ、手形状のリスト
の表示窓を第３のウインドウ、入力パラメータであるテ
キスト情報を入力する窓を第４のウインドウ、新たに登
録する手話単語のアニメーションの表示窓を第５のウイ
ンドウを有するものであり、前記手指動作辞書格納手段
は、手の位置データを記憶する手の位置データ格納手段
と、前記第１のウインドウ及び前記第２のウインドウか
ら入力された手の位置データを前記手の位置データ格納
手段から検索する手の位置検索手段と、手の方向データ
を記憶する手の方向データ格納手段と、前記第１のウイ
ンドウ及び前記第２のウインドウから入力された手の方
向データを前記手の方向データ格納手段から検索する手
の方向検索手段と、手形状データを記憶する手形状デー
タ格納手段と、前記第３のウインドウから入力された手
形状データを前記手形状データ格納手段から検索する手
形状検索手段と、各手話単語に対する動素の繰り返し回
数、手話単語の組合せ、前記動素の順序、動作手のデー
タの少なくとも１つを格納した手話辞書と、前記第４の
ウインドウから入力されたテキスト情報、前記手の位置
データ格納手段から検索された手の位置情報、前記手の
方向データ格納手段から検索された手の方向情報、前記
手形状データ格納手段から検索された手形状情報を用
い、前記手話辞書の内容を検索すると共に、各データ格
納手段から得られた情報を前記手話アニメーション合成
手段に与え、前記第５のウインドウで確認された新規の
手話単語を前記手話辞書に登録する前記手話辞書検索手
段と、を有することを特徴とするものである。

【００３６】また本願の請求項２８記載の発明は、単語
単位や文章単位でメッセージが入力されたとき、前記メ
ッセージを聴覚障害者が一意に理解できる手指動作と非
手指動作に変換したキャラクタのアニメーションを出力
する手話情報提示装置であって、前記入力メッセージを
手話単語に変換するためのパラメータを入力する入力手
段と、前記各手話単語に対応した手指の動き要素データ
を記憶すると共に、前記入力メッセージに対応する手指
の動き要素データを検索し、新規に作成された手話単語
を格納する手指動作辞書格納手段と、前記入力手段より
入力されたパラメータを解析し、前記手話単語が非手指
動作を伴うか否かを判定し、非手指動作の情報を抽出す
る入力解析手段と、前記入力解析手段で抽出した非手指
動作の情報に基づき、非手指動作に係わる頭部や胴体部
の器官を特定すると共に、特定された器官の動き情報を
生成する非手指動作制御手段と、非手指動作を伴うメッ
セージを非手指動作に変換するためのパラメータを入力
する非手指動作入力手段と、前記各非手指動作に対応し
た動き要素データを記憶すると共に、前記非手指動作制
御手段から指示された器官名と前記器官の動き情報、及
び非手指動作入力手段の出力パラメータに基づき、非手
指の動き要素データを検索する非手指動作辞書格納手段
と、前記手指動作辞書格納手段で検索された手指の動き
要素データ、及び前記非手指動作辞書格納手段から検索
された非手指の動き要素データから、手話アニメーショ
ン動作を合成する手話アニメーション合成手段と、前記
手話アニメーション合成手段により合成された手指及び
非手指の手話アニメーション動作を表示する出力手段
と、を具備することを特徴とするものである。

【００３７】また本願の請求項２９記載の発明は、請求
項２８の手話情報提示装置において、前記出力手段は、
手話動作を行うキャラクタの正面姿の表示窓を第１のウ
インドウとし、前記キャラクタの側面姿の表示窓を第２
のウインドウとし、手形状のリストの表示窓を第３のウ
インドウとし、入力パラメータであるテキスト情報を入
力する窓を第４のウインドウとし、新たに登録する手話
単語のアニメーションの表示窓を第５のウインドウ５と
し、手話アニメーションの合成処理に係わるメッセージ
をユーザ提示する窓を第６のウインドウとするとき、前
記第１〜第６のウインドウを随時表示することを特徴と
するものである。

【００３８】また本願の請求項３０記載の発明は、請求
項２８の手話情報提示装置において、前記出力手段は、
手話動作を行うキャラクタの正面姿の表示窓を第１のウ
インドウとし、前記キャラクタの側面姿の表示窓を第２
のウインドウとし、手形状のリストの表示窓を第３のウ
インドウとし、入力パラメータであるテキスト情報を入
力する窓を第４のウインドウとし、新たに登録する手話
単語のアニメーションの表示窓を第５のウインドウと
し、手話アニメーションの合成処理に係わるメッセージ
をユーザ提示する窓を第６のウインドウとし、前記手指
動作辞書格納手段及び前記非手指動作辞書格納手段で検
索できなかった動き要素データをユーザーに提示する窓
をメッセージウインドウとするとき、前記第１〜第６の
ウインドウ及び前記メッセージウインドウを随時表示す
ることを特徴とするものである。

【００３９】また本願の請求項３１記載の発明は、単語
単位や文章単位でメッセージが入力されたとき、前記メ
ッセージを聴覚障害者が一意に理解できる手指動作と非
手指動作に変換したキャラクタのアニメーションを出力
する手話情報提示装置であって、手話アニメーションを
生成及び出力する端末側の手話情報入出力装置と、登録
済の手話単語、及び新規登録のための手指動作及び非手
指動作の要素データを前記手話情報入出力装置より多く
保持し、前記手話情報入出力装置から新規の手話アニメ
ーションの生成要求が出力されたとき、手指動作及び非
手指動作の要素データを前記手話情報入出力装置に送出
する手話情報生成装置と、を具備し、前記手話情報入出
力装置は、前記入力メッセージを手話単語に変換するた
めのパラメータを入力する入力手段と、前記各手話単語
に対応した手指の動き要素データを記憶すると共に、前
記入力メッセージに対応する手指の動き要素データを検
索し、新規に作成された手話単語を格納する第１の手指
動作辞書格納手段と、前記入力手段より入力されたパラ
メータを解析し、非手指動作を伴うか否かを判定し、非
手指動作の情報を抽出する入力解析手段と、前記入力解
析手段で抽出した非手指動作の情報に基づき、非手指動
作に係わる頭部や胴体部の器官を特定すると共に、特定
された器官の動き情報を生成する非手指動作制御手段
と、非手指動作メッセージを非手指動作に変換するため
のパラメータを入力する非手指動作入力手段と、前記各
非手指動作に対応した動き要素データを記憶すると共
に、前記非手指動作制御手段から指示された器官名と前
記器官の動き情報、及び非手指動作入力手段の出力パラ
メータに基づき、非手指の動き要素データを検索する第
１の非手指動作辞書格納手段と、前記第１の手指動作辞
書格納手段で検索された手指の動き要素データ、及び前
記第１の非手指動作辞書格納手段から検索された非手指
の動き要素データから、手話アニメーション動作を合成
する第１の手話アニメーション合成手段と、前記第１の
手話アニメーション合成手段により合成された手指及び
非手指の手話アニメーション動作を表示するウインド
ウ、前記第１の手指動作辞書格納手段及び前記第１の非
手指動作辞書格納手段で検索できなかった動き要素デー
タをユーザーに提示するメッセージウインドウを有する
第１の出力手段と、前記第１の手指動作辞書格納手段及
び前記第１の非手指動作辞書格納手段で検索できなかっ
た動き要素データの送信要求を前記手話情報生成装置に
対して出力すると共に、前記手話情報生成装置から送出
された手指動作及び非手指動作の要素データを受信する
第１の送受信手段と、を含むものであり、前記手話情報
生成装置は、前記第１の送受信手段を介して出力された
要素データの送信要求を受信し、新たに検索した要素デ
ータを前記手話情報入出力置に送信する第２の送受信手
段と、前記各手話単語に対応した手指の動き要素データ
を記憶すると共に、前記第２の送受信手段を介して入力
された手話メッセージに対応する手指の動き要素データ
を検索し、新規に作成された手話単語を格納する第２の
手指動作辞書格納手段と、非手指動作に対応した動き要
素データを記憶すると共に、前記第２の送受信手段を介
して入力された非手指の動き要素データを検索する第２
の非手指動作辞書格納手段と、前記第２の手指動作辞書
格納手段で検索された手指の動き要素データ、及び前記
第２の非手指動作辞書格納手段から検索された非手指の
動き要素データから、手話アニメーション動作を合成す
る第２の手話アニメーション合成手段と、前記第２の手
話アニメーション合成手段により合成された手指及び非
手指の手話アニメーション動作を表示するウインドウ、
及び前記手話情報入出力置から送信されたメッセージを
表示するメッセージウインドウを有する第２の出力手段
と、を含むことを特徴とするものである。

【００４０】また本願の請求項３２記載の発明は、請求
項３１の手話情報提示装置において、前記第２の出力手
段は、手話動作を行うキャラクタの正面姿の表示窓を第
１のウインドウとし、前記キャラクタの側面姿の表示窓
を第２のウインドウとし、手形状のリストの表示窓を第
３のウインドウとし、入力パラメータであるテキスト情
報を入力する窓を第４のウインドウとし、新たに登録す
る手話単語のアニメーションの表示窓を第５のウインド
ウとし、手話アニメーションの合成処理に係わるメッセ
ージをユーザ提示する窓を第６のウインドウとし、前記
第１の手指動作辞書格納手段及び前記第１の非手指動作
辞書格納手段で検索できなかった動き要素データをユー
ザーに提示する窓をメッセージウインドウとするとき、
前記第１〜第６のウインドウ及び前記メッセージウイン
ドウを随時表示することを特徴とするものである。

【００４１】また本願の請求項３３記載の発明は、請求
項２８又は３１の手話情報提示装置において、前記非手
指動作辞書格納手段は、視線方向のデータを格納した視
線情報格納手段、及び前記視線情報格納手段のデータを
検索する視線情報検索手段、頭の方向を格納した頭部動
作情報格納手段、及び前記頭部動作情報格納手段のデー
タを検索する頭部動作情報検索手段、口の形状を格納し
た口形状情報格納手段、及び前記口形状情報格納手段の
データを検索する口形状情報検索手段、眉の動作を格納
した眉動作情報格納手段、及び前記眉動作情報格納手段
のデータを検索する眉動作情報検索手段、瞬きの動作を
格納した瞬き動作情報格納手段、及び前記瞬き動作情報
格納手段のデータを検索する瞬き動作情報検索手段、肩
の動作を格納した肩動作情報格納手段、及び前記肩動作
情報格納手段のデータを検索する肩動作情報検索手段、
頬の状態を格納した頬情報格納手段、及び前記顎情報格
納手段のデータを検索する顎情報検索手段、下顎の状態
を格納した顎情報格納手段、及び前記下顎情報格納手段
のデータを検索する下顎情報検索手段、額の状態を格納
した額情報格納手段、及び前記額情報格納手段のデータ
を検索する額情報検索手段、非手指の動作量情報を格納
した動作量情報格納手段、及び前記動作量報格納手段の
データを検索する動作量情報検索手段、のうち少なくと
も１組の情報格納手段と情報検索手段を有することを特
徴とするものである。

【００４２】

【発明の実施の形態】（実施の形態１）以下、本発明の
実施の形態１における手話情報提示装置について図１を
中心にして説明する。図１は本実施の形態の手話情報提
示装置の基本構成図である。この手話情報提示装置は、
入力手段１００、手指動作辞書格納手段２００、手話ア
ニメーション合成手段３００、出力手段４００を含んで
構成される。

【００４３】入力手段１００は、手話提示に必要なパラ
メータを入力する手段である。健聴者間で用いられる単
語又は言語を通常単語と呼ぶと、ここでのパラメータと
は通常単語を手話単語に変換するものである。尚、通常
単語又は通常単語からなるメッセージは音声又はキー入
力により入力される。手指動作辞書格納手段２００は、
手話単語と手指の動き要素を格納している格納手段であ
る。手話アニメーション合成手段３００は、メッセージ
（会話文又は文章）が与えられたとき、手指動作辞書格
納手段２００に格納されている情報を参照して、手話ア
ニメーションを合成する手段である。出力手段４００
は、手話アニメーション合成手段３００により合成され
た情報を手話アニメーション動作として表示部に出力す
る手段である。

【００４４】手指動作辞書格納手段２００は図５に示す
手話辞書２０１と図６に示す動素辞書２０２を有してい
る。手話辞書２０１は、手話単語、手話単語の組合せ、
手話単語インデックスＷ（Ｎ）、繰り返し情報（回
数）、動作順序情報（開始：１、終了：０、中間：２以
上の数字）、動作手情報（強手：１、弱手：２、両手：
０）、動素インデックスＭＢ（Ｘ）を格納している。

【００４５】図６の動素辞書２０２は、図５の動素イン
デックスＭＢ（Ｘ）に対応した各組の手形状データ、手
の位置データ、手の方向データを夫々格納するものであ
る。図７に示すように動素辞書２０２として、手形状デ
ータ格納手段２０３、手の位置データ格納手段２０４、
手の方向データ格納手段２０５が設けられている。

【００４６】手形状データ格納手段２０３は、インデッ
クスであるhandＨに対して手形状データ（PH1,PH2,PH3,
PH4,PH5 ）を格納している格納手段である。例えば、PH
J (J=1,2,3,4,5) とは、Ｊ番目の指を伸ばすか曲げるか
を示す記号であり、伸ばす場合はPJとし、曲げる場合は
HJと表現する。手の位置データ格納手段２０４は、イン
デックスであるpositionＰに対して位置データ(X,Y,Z)
を格納している格納手段である。手の方向データ格納手
段２０５は、インデックスであるangle θに対して方向
データ(X,Y,Z) を格納している格納手段である。これら
のデータは動素辞書２０２によって検索され、手話アニ
メーション合成手段３００に引き渡される。

【００４７】次に、例えば「私」と言う手話単語から、
手話動作を生成する動作について説明する。ここでは強
手を右手として説明する。図１の入力手段１００に音声
情報又は文字列情報として「私」を入力する。入力手段
１００は入力された情報を、インデックスＷ（１）に変
換して、手指動作辞書格納手段２００に渡す。

【００４８】手指動作辞書格納手段２００にインデック
スＷ（１）が入力されると、図５の手話辞書２０１のＷ
（１）に対応する各データが読み取られる。即ち、繰り
返し情報１、動作順序情報１、動作手情報１、動素イン
デックスＭＢ（１）が取り出される。

【００４９】次に図６の動素辞書２０２から、動素イン
デックスＭＢ（１）に対応する情報が読み取られる。即
ち、手形状情報１、手の位置情報１、手の方向情報１が
取り出される。そして、繰り返し情報１、動作順序情報
１、動作手情報１、手形状情報１、手の位置情報１、手
の方向情報１の計６情報を手話アニメーション合成手段
３００に渡す。

【００５０】図１の手話アニメーション合成手段３００
では、現状のキャラクタ情報（両手の手形状、両手の位
置、両手の方向等）を始点とし、手指動作辞書格納手段
２００から渡された各情報を終点とし、この２点間を補
間して手話アニメーションを合成する。そして出力手段
４００では、手話アニメーション合成手段３００で生成
された「私」と言う手話動作を表示部に表示する。な
お、手話アニメーション合成手段３００のアニメーショ
ン生成方法として、骨格アニメーションを用いる。

【００５１】入力手段１００に入力する情報は、音声情
報や文字列情報に限定されず、「私」と言う意味を表す
情報であれば任意の形式で良い。またインデックスＷ
（１）は、記号や数字に限定されず、手指動作辞書格納
手段２００中の１つの動作情報を一意に決定する情報で
あれば他の表現形式でも良い。

【００５２】「私」と言う手話単語の場合、動作順序情
報で示すように動作点が１点だったが、複数点指定して
も良い。その場合、各単語単位で保持している動作順序
パラメータにより、始点（１）、中点（＝＞２）、終了
点（０）のデータが１、２、３、・・・、０の順に制御
されて手話アニメーションが生成される。以上のような
手法を用いることにより、複雑なアニメーションも生成
可能になる。

【００５３】例えば、「あなた」と言う手話単語の場
合、図５に示すように動作点が２点なので、現状の状態
から動作順序１（手形状、手の位置、手の方向）に変換
し、次に動作順序０（手形状、手の位置、手の方向）に
変換すれば良い。この場合の動作は、現状→動作順序１
→動作順序０となる。

【００５４】又、「雨」と言う手話単語の場合、図５の
Ｗ（４）に示すように、動作点が２点なので、現状の状
態から動作順序１に変換し、次に動作順序０に変換すれ
ばよい。そして、繰り返し情報が２なので、（動作順序
１、動作順序０）をもう一度繰り返す。この場合の動作
は、現状→動作順序１→動作順序０→動作順序１→動作
順序０となる。なお、入力手段１００に入力する情報
は、文章単位でも動素単位でも良い。

【００５５】なお、手形状を表すコードはＰ、Ｈに限定
されず、指の形状を詳細に表現するコードが他にも考え
られ、これらのコードを組み合わせて手形状を表現す
る。例えば、親指先の腹と他の指先の腹を接触させる形
状（物を摘む形状）のコードがある。また親指先の腹と
他の指先の爪を接触させる形状のコードＮがある。また
親指の指先と他の指の指先を接触させる形状（輪を作る
形状）のコードがある。さらに指と指の間を開く形状の
コードＣがある。

【００５６】このように手形状の種類毎にコードを割り
当てて、数種類のコードを用意する。そして前述したよ
うに、同じコードでも、人差指、中指、薬指、小指、親
指の順に、１、２、３、４、５と番号を付け、それぞれ
に第１関節、第２関節、第３関節の角度データを格納す
る。例えば、握り拳の形状のコードをＦとすると、Ｆ
１，Ｆ２，Ｆ３，Ｆ４，Ｆ５の夫々に、第１、第２、第
３関節の角度データを格納する。握り拳の手形状を生成
する場合の手形状コードは、Ｆ１，Ｆ２，Ｆ３，Ｆ４，
Ｆ５となる。

【００５７】各指毎に種々のコードを割り当てることに
より、様々な手形状を生成することができる。例えば、
Ｖサインの手形状を表すコードは、Ｐ１，Ｐ２，Ｎ３，
Ｆ４，Ｃ１２となる。Ｐは指を伸ばすコードで、ここで
は人差し指１と中指２に適用する。Ｎは親指先の腹と他
の指の爪の部分が接触するコードで、薬指３に適用す
る。Ｆは握り拳のコードで、小指４に適用する。Ｃは指
と指の間を開くコードで、Ｃ１２と記述することによ
り、人差し指１と中指２の間を開くよう指示する。Ｃ１
２の記述がない場合、人差し指１と中指２は、側面が接
触し、閉じた形状になる。

【００５８】上記コードの記述で、親指５のコードが記
述されていないが、薬指のコードがＮで、親指先の腹と
薬指先の爪が接触する。従ってＮ３に親指のデータを持
たせることにより、親指の形状表示を省略できる。

【００５９】このように人差し指〜小指と親指の関係に
よって生成される手形状については、どの指と親指が関
係するかによって、一意に親指のデータが決まる。この
ため親指の角度データを親指以外の各指に格納し、親指
のコードを省略して手形状コードを記述することが可能
になる。

【００６０】又、上記コードの記述では、人差し指１、
中指２にＰとＣの２つのコードを割り当てるように、必
要であれば複数のコードを１つの指に適用してもよい。
この手法を用いることで、より複雑な手形状を表現でき
る。即ち１つの指に少なくとも１つのコードを割り当て
て、手形状コードを生成する。但し、親指の場合は、コ
ードが存在しない場合もある。

【００６１】上記のように、手形状の意味別に、夫々の
コードを用意することにより、手話に必要な４８種類の
手形状を生成できることが確認された。このように、手
形状や手の位置等をコードで記述し、各コードを関節毎
の角度データに変換する。そして各コード間の途中の角
度データは、補間することにより生成できる。

【００６２】こうして手話アニメーションを生成するた
めに、必要な必要最小限の角度データを手指動作辞書格
納手段２００に格納すればよい。また補間等の手法を用
いることで、手形状や手の位置等の動作に必要なコード
を入力するだけで、途中動作の滑らかな手話アニメーシ
ョン動作を表現できる。

【００６３】このようなコードはデータ量が少ないた
め、ネットワークや電話回線等を介して、遠隔地からコ
ードを転送して目的の手話アニメーション動作を生成す
ることもできる。なお、手形状、手の位置、手の向き等
の各コードを個々に設定し、組合せてコードを生成する
ことにより、同じ手形状で手の位置や手の向き等を変更
したり、同じ位置で手形状等の変更したりするなど、手
に関する設定を自由自在に行うことができる。

【００６４】また手話アニメーションの一連の動作を生
成する場合、複数のコードを順番に入力することにより
一連の動作が生成されるが、このコードの入力順序を変
更するだけで、異なった手話動作を簡単に生成すること
ができる。さらに、新しい手話単語の登録には、夫々の
コードを組合わせることで、容易に登録することができ
る。

【００６５】コードの組合せで手話単語を表現できるた
め、コードの組合せを変更することで、外国の手話に簡
単に変更することも可能である。また、図７の手話辞書
２０１を、日本の手話、外国の手話毎に用意することに
より、手話辞書２０１を日本手話や外国手話等、用途に
応じて取り換える。こうすると、アニメーション合成手
段３００や手指動作辞書格納手段２００の構成を変更す
ることなく、簡単に日本手話や外国手話を生成すること
ができる。

【００６６】なお、本実施の形態では、具体的なコード
としてＰ、Ｈ、Ｆ、Ｃについて述べたが、意味のある手
形状を区別できる方法であれば、他のコードを用いて良
い。

【００６７】（実施の形態２）次に本発明の実施の形態
２における手話情報提示装置について図２を中心にして
説明する。図２は本実施の形態における手話情報提示装
置の基本構成図である。この手話情報提示装置は、入力
手段１００、手指動作辞書格納手段２００、手話アニメ
ーション合成手段３００、出力手段４００に加えて、質
疑応答対象領域手続き手段５００と対象領域情報格納手
段６００とが設けられている。手指動作辞書格納手段２
００、手話アニメーション合成手段３００、出力手段４
００は、実施の形態１のものと同様である。

【００６８】質疑応答対象領域手続き手段５００は、入
力手段１００からの入力パラメータが与えられると、入
力パラメータの属性に応じて対象領域情報格納手段６０
０の格納場所を推定し、入力パラメータに対応した対象
領域の情報を質疑応答する手段である。対象領域情報格
納手段６００は、対象領域の質疑応答に必要な情報を格
納する手段である。図３は対象領域情報格納手段６００
の構成図であり、対象領域内容解析手段６０１と対象領
域情報＃（＃＝1,2,3 ・・・）のデータを格納する格納
手段６０２とを有している。

【００６９】次に、「葉書」と言う単語が入力された場
合の動作について説明する。入力手段１００は、「葉
書」と言う情報に対応するパラメータ、即ちＷ（３）を
質疑応答対象領域手続き手段５００に渡す。質疑応答対
象領域手続き手段５００では、Ｗ（３）の属する対象領
域を推定し、その結果を対象領域情報格納手段６００に
渡す。

【００７０】対象領域情報格納手段６００では、Ｗ
（３）に対応する対象領域情報３（例えば郵便物又は通
信という領域）を取り出し、その対象領域情報３内にあ
る情報を質疑応答対象領域手続き手段５００と出力手段
４００に渡す。質疑応答対象領域手続き手段５００で
は、対象領域情報３から手話動作を必要とする情報を抽
出し、その情報を手指動作辞書格納手段２００に渡す。

【００７１】手指動作辞書格納手段２００では、渡され
た情報から実施の形態１の場合と同様の方法で手話動作
に必要なデータを手指動作辞書格納手段２００から読み
出し、手話アニメーション合成手段３００にそれらのデ
ータを渡す。手話アニメーション合成手段３００は、図
６に示すＭＢ（４），ＭＢ（５），ＭＢ（６），ＭＢ
（７）のデータを用い、図７の各データを組み合わせて
手話アニメーションを生成する。具体的には、左手の人
差し指と右手の人差し指とを用いて、キャラクタの正面
で四角形を、上から下に向かって一回だけ描画する動作
をする。

【００７２】そして、出力手段４００において、生成さ
れた手話アニメーションと対象領域情報格納手段６００
から渡された対象領域情報内３の情報を同時に出力す
る。この場合の対象領域情報内３の情報とは、葉書に関
連する単語又はメッセージを指し、例えば「通常葉書、
往復葉書、年賀葉書」、「葉書の枚数の質問」などの文
章、又は絵文字である。

【００７３】なお対象領域情報格納手段６００を階層的
に構成し、次の階層の対象領域情報を出力手段４００上
で選択し、その情報を入力手段１００に返す構成にし
て、この方法を繰り返すことにより、対象領域情報の階
層を検索できるようにする。こうすると、より限定した
領域を提示することができ、健聴者が手話情報提示装置
を通して聴覚障害者に対して、効率の良い且つ親切な手
話対話が行なえる。このような気配りが大切なのであ
る。

【００７４】なお、本実施の形態においても、入力手段
１００に入力する情報は、文章単位でも、動素単位でも
良い。また、対象領域情報の表示は、アイコン、文字、
手話アニメーションのいずれでもよい。

【００７５】（実施の形態３）実施の形態２の質疑応答
対象領域手続き手段５００における対象領域判定方法を
具体化したものを実施の形態３として、図２及び図４を
用いて説明する。図４の質疑応答対象領域手続き手段５
００内の対象領域判定手段５０１は、入力手段１００か
ら入力されたパラメータを解析し、対象領域を判定する
手段である。

【００７６】ここで「葉書」、「買う」、「集める」と
言う手話単語を入力した場合の動作について説明する。
始めに「葉書」、「買う」と言うパラメータがこの順序
で入力手段１００に入力された場合、入力手段１００は
各パラメータとその入力順序を質疑応答対象領域手続き
手段５００に渡す。

【００７７】質疑応答対象領域手続き手段５００内の対
象領域判定手段５０１は、パラメータと入力順から「郵
便局」と言う対象領域情報３を判定し、この対象領域３
の中の「葉書」と言う対象領域情報３．１（図示せず）
を選択する。

【００７８】対象領域情報３．１の選択後は、実施の形
態１〜３の場合と同様に、対象領域情報格納手段６００
から対象領域情報３．１の情報を抽出して出力手段４０
０に渡す。そして対象領域情報３．１内の手話動作情報
から手指動作辞書格納手段２００を参照する。そしてこ
れらの情報を用いて、手話アニメーション合成手段３０
０は手話アニメーションを生成し、出力手段４００に渡
す。

【００７９】出力手段４００では、対象領域情報格納手
段６００から入力された対象領域情報３．１の情報と、
手話アニメーション合成手段３００から入力された手話
アニメーションを同時に提示する。

【００８０】なお、「葉書」、「集める」と言う順序で
文章が入力手段１００に入力された場合、質疑応答対象
領域手続き手段５００内の対象領域判定手段５０１は、
パラメータと上記の入力順序から「コレクター」と言う
領域を推定する。そしてこの対象領域情報５の中の「葉
書」と言う対象領域情報５．１を判定し、この対象領域
情報５．１を選択する。

【００８１】また、「切手」、「集める」と入力された
場合も、「コレクター」に対応する対象領域情報を選択
する。なお、入力情報数は２つに限定せず、少なくとも
１つ又は複数の情報を入力してよい。

【００８２】（実施の形態４）次に本発明の実施の形態
４における手話情報提示装置について図８を中心にして
説明する。本実施の形態の手話情報提示装置は、両手の
手指の動作だけではなく、顔の表情も含めた非手指動作
のアニメーションを生成するものである。図８は本実施
の形態における手話情報提示装置の基本構成図である。
この手話情報提示装置は、入力手段１００、手指動作辞
書格納手段２００、手話アニメーション合成手段３００
Ａ、出力手段４００、質疑応答対象領域手続き手段５０
０、対象領域情報格納手段６００に加えて、入力解析手
段７００、非手指動作制御手段８００、非手指動作辞書
格納手段９００が設けられている。

【００８３】入力手段１００、手指動作辞書格納手段２
００、出力手段４００、質疑応答対象領域手続き手段５
００、対象領域情報格納手段６００は、実施の形態３の
ものと同様である。

【００８４】手話アニメーション合成手段３００Ａは、
手指動作と非手指動作を含むアニメーションの合成手段
である。入力解析手段７００は、入力手段１００から与
えられたパラメータや出力手段４００から与えられる状
態、時間、指動作等のパラメータを解析する手段であ
る。非手指動作制御手段８００は、入力解析手段７００
から入力されるパラメータを非手指動作に変換する手段
である。非手指動作辞書格納手段９００は非手指動作の
データを格納する手段である。

【００８５】図９は入力解析手段７００の構成図であ
る。入力解析手段７００は状態解析手段７０１と文解析
手段７０２とを含んで構成される。状態解析手段７０１
は出力手段４００から与えられるパラメータ（状態）を
解析する手段であり、文解析手段７０２は、入力手段１
００から入力されるパラメータ（手話単語）を解析する
手段である。

【００８６】図１０は非手指動作制御手段８００の構成
図である。非手指動作制御手段８００内の動作情報変換
手段８０１は、入力解析手段７００から入力される文章
（単語、意味、句読点）、状態（単語、時間、手指位
置）を非手指動作に変換し、出力のタイミングを発行す
る手段である。非手指動作とは、視線、頭動作、うなず
き、眉動作、瞬き、口動作、及びそれらの動作速度を言
う。

【００８７】図１１及び図１２は非手指動作辞書格納手
段９００の構成を示す説明図である。非手指動作辞書格
納手段９００は、視線情報格納手段９０１、頭部情報格
納手段９０２、口形状情報格納手段９０３、動作速度情
報格納手段９０４、眉動作情報格納手段９０５、瞬き動
作情報格納手段９０６、動作量情報格納手段９０８を有
する。

【００８８】視線情報格納手段９０１は、インデックス
であるeye ＃と視線の方向(x,y,z,f）を対にしたデータ
を格納するもので、特に視線方向と頭部動作との関係を
表すフラグも格納している。頭部動作情報格納手段９０
２は、インデックスであるhead＃と頭の方向(x,y,z）を
対にしたデータを格納する手段である。口形状情報格納
手段９０３は、インデックスであるmouth ＃と口の形状
を対にしたデータを格納する手段である。動作速度情報
格納手段９０４は、インデックスであるspeed＃と速度
パラメータを対にしたデータを格納する手段である。sp
eed0を基本設定の動作速度とし、＃の部分の数字に比例
して、動作速度を変化させる。

【００８９】眉動作情報格納手段９０５は、インデック
スであるeyebrow ＃と眉の動作データを対にしたデータ
を格納する手段である。瞬き動作格納手段９０６は、イ
ンデックスであるblink ＃と瞬き動作データを対にした
データを格納する手段である。

【００９０】図１２の動作量情報格納手段９０８は、各
非手指の動作の大きさを格納する手段である。インデッ
クスであるvolume0 を基本設定の動作の大きさとし、vo
lume＃の＃部分の数字に比例して、動作の大きさを変化
させる。

【００９１】図１３は手話アニメーション合成手段３０
０Ａの構成図である。この手話アニメーション合成手段
３００Ａは手指動作合成手段３０１と非手指動作合成手
段３０２とを有している。手指動作合成手段３０１は手
指動作のアニメーションを生成する手段であり、非手指
動作合成手段３０２は、非手指動作辞書格納手段９００
から抽出されたデータを用いて非手指動作のアニメーシ
ョンを生成する手段である。

【００９２】このように構成された本実施の形態の手話
情報提示装置の動作について説明する。入力手段１００
に例えば「何故」と言う手話が指示された場合を考え
る。入力手段１００は、「何故」という手話単語を図５
の手話辞書２０１により検索する。そしてＷ（７）を質
疑応答対象領域手続き手段５００と入力解析手段７００
に渡す。質疑応答対象領域手続き手段５００に渡された
Ｗ（７）は、実施の形態１〜３の場合と同様に処理され
る。

【００９３】一方、入力解析手段７００では、入力され
たＷ（７）から、「何故」と言う単語が持つ意味（困惑
の表情等）や、単語と表情の関係（困惑の表情になるま
での時間、及び困惑の表情になっている時間）、更には
手指動作と口動作の関係を抽出し、夫々のデータを非手
指動作制御手段８００に渡す。

【００９４】非手指動作制御手段８００では、困惑の表
情と口の動作を生成するために、入力手段７００から入
力されたパラメータを、眉の動作や視線、頭部動作、口
の形状等に変換し、変換した夫々のパラメータを非手指
動作辞書格納手段９００に渡す。

【００９５】非手指動作辞書格納手段９００では、非手
指動作制御手段８００から入力された夫々のパラメータ
に対応する動作データを図１１及び図１２に示す各情報
格納手段から取り出し、手話アニメーション合成手段３
００Ａに渡す。手話アニメーション合成手段３００Ａで
は、非手指動作格納手段９００から渡された各パラメー
タに対するデータを非手指動作合成手段３０２で合成
し、非手指動作のアニメーションを生成する。そして、
出力手段４００で、入力単語である「何故」に対応する
非手指動作を含んだ手話アニメーションを提示する。

【００９６】なお、「何故」を「困惑の表情」とした
が、「何故」の意味はこれに限定されるものではなく、
文章や文節に応じてその単語の持つ意味は変化する。ま
た口の動作として、入力された単語及び文章の口形状を
そのまま表示する。このため非手指動作辞書格納手段９
００内の口形状格納手段９０３から単語又は文章の口形
状のデータを取り出し、非手指動作合成手段３０２で生
成して手指動作と同時に出力手段４００で提示すること
とする。

【００９７】なお、入力解析手段７００に入力する情報
は、単語単位でも文節や文章等の長文でも良い。長文の
場合は、文節単位で意味を解析し、非手指動作を任意の
場所に挿入する。前述したように「何故」と言う手話単
語の手指動作は、「理由」と「何」の２つの手話単語の
手指動作の組み合わせで構成されているので、入力解析
手段７００で「理由」と「何」の２つの手話単語の手指
動作に分解して解析しても良い。

【００９８】また図８に示すように、出力手段４００か
ら現状の状態を入力解析手段７００に入力し、状態解析
手段７０１で現状の解析を行ない、現在生成中の単語や
動作速度、手指の位置などを抽出し、文解析手段７０２
の情報と一緒に非手指動作制御手段８００に渡す構成に
しても良い。

【００９９】なお非手指動作辞書格納手段９００内の口
形状情報格納手段９０３等のように、顔の各器官の動作
データは、全て揃う必要はなく、少なくとも１つ必要な
データが存在すれば良い。また非手指動作辞書格納手段
９００内に、肩の動作のデータを格納する肩動作格納手
段を設けて、非手指動作を表現しても良い。更に肩の動
作は、手の位置から計算しても良い。図９のような状態
解析手段７０１を備えることにより、非手指動作の挿入
タイミング、動作速度の変更単語、文中の意味が判断し
やすくなる。

【０１００】ここで、口、視線、眉、瞬き、頬、下顎、
額等の顔の各器官の動作生成手法について具体的に説明
する。例えば視線は、眼の中心を軸に上下左右に回転さ
せることで、視線の動作を生成する。瞬きは、眼の表面
半球形のシャッターのような上下まぶたを用意して、そ
れらのまぶたを開閉させることで瞬きを生成する。な
お、目周辺の頂点座標を変形して瞬きを生成することも
できる。眉は、上下左右に移動させることで、眉の動作
を生成する。

【０１０１】口は、口形状をいくつか用意し、ある口形
状からある口形状へ形状を変形させて補間することによ
り口動作を生成する。頬や額は、表情パラメータ毎にテ
クスチャを貼る手法、又は口や眉等の動作に応じて、頬
や額を変形させて頬や額の動作を生成する。下顎は、上
腕や下腕と同様に手話アニメーション合成手段３００内
の手指動作合成手段３０１で骨格アニメーションを用い
て下顎の動作を生成する。

【０１０２】顔の各器官を夫々異なる手法で合成して顔
の動作を生成しても良い。また、顔の各器官を全て同じ
手法（頂点座標の変形等）で顔の動作を生成しても良
い。なお、顔の動作を生成する手法は、上記の手法に限
らず、各器官の動作を生成可能な手法であれば、骨格ア
ニメーション、頂点座標の制御、テクスチャのいずれの
方法でも良い。

【０１０３】顔の各器官を夫々異なる手法を用いて、顔
の動作を生成する場合、顔を手法別に領域分割し、それ
ぞれ領域毎に動作を生成する。領域毎に動作を生成する
場合、各領域の境界となる頂点座標を、自然な顔の動作
や表情となる様に管理する。例えば、境界の頂点座標を
固定座標にしたり、頂点座標を可変にして、各器官の動
きに合わせて頂点座標を変形する。

【０１０４】例えば「大変」、「とても」等の単語が副
詞である場合、「大変」、「とても」に対応する手話単
語は存在するが、一般に手話で会話を行う場合、「大
変」や「とても」と言う手話を表現せず、「大変」や
「とても」の後に続く手話単語が形容詞である場合、そ
の動作の大きさや動作速度、表情等を変化させて表現す
ることが多い。

【０１０５】上記の様な手話アニメーションを生成する
手法について説明する。図９の入力解析手段７００内の
文解析手段７０２において、「大変」、「とても」を解
析し「大変」や「とても」に対応するパラメータを非手
指動作制御手段８００に渡す。図１０の非手指動作制御
手段８００は、入力解析手段７００から入力されたパラ
メータを動作情報変換手段８０１で、動作速度、動作の
大きさパラメータに変換し、非手指動作辞書格納手段９
００に渡す。

【０１０６】非手指動作辞書格納手段９００は、入力さ
れた動作速度パラメータ、動作の大きさパラメータに対
応するデータを、図１１の動作速度情報格納手段９０
４、図１２の動作量情報格納手段９０８から検索し、図
１４の手話アニメーション合成手段３００Ｂ内の手指動
作制御手段３０３及び非手指動作合成手段３０２に渡
す。

【０１０７】手指動作制御手段３０３は、「大変」や
「とても」等の副詞の後に続く手話単語の動作速度及び
動作の大きさを、非手指動作辞書格納手段９００から入
力された動作速度データ、動作量データに従い、手指動
作辞書格納手段２００から入力された角度データに修正
等の加工処理を行う。そして手指動作制御手段３０３は
入力可能なデータに変換し、手指動作合成手段３０１に
与える。手指動作合成手段３０１は手指のアニメーショ
ンを生成する。

【０１０８】これと同時に、非手指動作合成手段３０２
は、非手指動作辞書格納手段９００から視線動作、頭部
動作、口動作、眉動作、肩動作の情報と一緒に「大
変」、「とても」等の単語に対応する動作速度データ、
動作量データの情報を受けとり、各非手指動作の動作速
度、動作の大きさを修正、加工して、手指以外の非手指
動作のアニメーションを生成する。

【０１０９】手話アニメーション合成手段３００Ｂ、手
指動作合成手段３０１、非手指動作合成手段３０２、及
び手指動作制御手段３０３内の処理は、次の実施の形態
５で詳しく説明する。また、手指のアニメーションと手
指以外のアニメーションの同期方法については、実施の
形態６で詳しく説明する。

【０１１０】（実施の形態５）次に本発明の実施の形態
５における手話情報提示装置について図１４を中心にし
て説明する。本実施の形態の手話情報提示装置は、手指
動作を滑らかに提示することを考慮したものである、図
１４は本実施の形態の手話アニメーション合成手段３０
０Ｂの構成図である。手話アニメーション合成手段３０
０Ｂは、手指動作合成手段３０１、非手指動作合成手段
３０２に加えて、手指動作制御手段３０３が設けられて
いる。

【０１１１】手指動作合成手段３０１と非手指動作合成
手段３０２は、図１３に示すものと同様である。手指動
作制御手段３０３は手指動作を滑らかに動作させる手段
である。従って本実施の形態の手話情報提示装置の動作
説明として、手指動作制御手段３０３についてのみ説明
する。

【０１１２】手指動作制御手段３０３は、手指動作辞書
格納手段２００から入力された２つの状態（手形状、
肘、肩、手の向き）の角度データにおいて、開始から終
了迄の間の角度データを必要なフレームの数だけ補間
し、補間データを手指動作合成手段３０１に渡す。手指
動作合成手段３０１では、骨格アニメーションという描
画手法を用いて開始点から終了点迄のアニメーションを
生成する。

【０１１３】手指動作制御手段３０３において、２つの
状態間の角度データを補間する場合、各フレーム間の変
化量を同じになるように等間隔に補間する手法と、各フ
レーム間の変化量を可変になるように補間する手法とを
用意する。各フレーム間の変化量を可変に補間する場
合、フレーム間の変化量は動作開始直後は小さくし、そ
の後徐々に大きくし、動作終了に近付くにつれて徐々に
小さくする。即ち、角度データが動作の開始と終了時の
変化量が最も小さく、中間の変化量が最も大きくなるよ
うにデータを補間する。開始状態と終了状態間の各フレ
ーム間の変化量が変化するように補間する手法を用いる
場合、角度データの開始状態と終了状態を必ず指定する
こととする。

【０１１４】このような指定を行うことにより、開始状
態と終了状態の２つの状態間だけでなく、開始状態と終
了状態の間に中間状態を設定した複数の状態の場合で
も、各フレーム間の変化量を可変にする補間手法を用い
ることが可能となる。例えば、円弧動作の軌跡を生成す
る場合、３つの状態以上の設定が必要である。

【０１１５】変化量可変の場合の補間では、動作時間に
よって図１５に示すように幾つか関数を用意する。図１
５（ａ）に示すように動作時間が長いほど中間の変化量
が大きくなる関数を用意したり、図１５（ｂ）に示すよ
うに動作時間が小さいほど中間の変化量が大きくなる関
数を用意する。

【０１１６】また動作時間によって補間するフレームの
数も変化する。この場合、動作時間に比例してフレーム
の数を増加させる。動作時間とフレーム数関係を図１６
に示す。しかし、描画できるフレームの数は計算機の能
力に依存するので、必ず図１６のようになるとは限らな
い。また動作時間は動作距離に比例して長くなることを
基本とするが、単語や文脈の意味によっては動作距離が
長くても動作時間が短い場合が存在する。その逆に、動
作距離は短いが、動作時間が長い場合も存在する。

【０１１７】例えば、「遅い」、「早い」等の手話単語
は、手話動作を故意に遅くしたり、早くしたりして、手
話動作からも「遅い」、「早い」をイメージさせる。具
体的には、「遅い」と言う手話単語は、他の同じ動作距
離の単語よりも動作時間を長くして遅く動作させる。ま
た「遅い」とは逆に、「早い」と言う手話単語は、同じ
動作距離の手話単語よりも動作時間を短くして早く動作
させる。

【０１１８】このように、単語によって動作距離に比例
して動作時間が長くならない手話単語の場合、手指動作
辞書格納手段２００内の手話辞書２０１に、動作速度の
パラメータ（動作時間又はフレーム数のいずれか）を単
語単位で設定しておく。また静止して意味をなす手話単
語（以下、静止手話という）と、動作して意味をなす手
話単語（以下、動作手話という）を区別するため、単語
や単語と単語の間に動作静止時間を設定する。基本的に
は、複数のコードから構成される動作手話の各コード間
の静止時間を最小とし、順に、手話単語間の静止時間、
静止手話とし静止手話の静止時間が最大になるように設
定する。

【０１１９】また手話動作の全体的な速度を変更可能に
して、使用者が自由に速度を設定できるようにする。こ
の場合、各静止時間は設定速度に比例して変化する。２
つの状態間を補間する場合の変化量、フレーム数、及び
静止時間のパラメータを手指動作辞書格納手段２００に
単語単位で設定しておき、角度データと一緒に手話動作
制御手段３０３に渡す。又は入力解析手段７００で解析
された結果のパラメータを非手指動作制御手段８００に
入力し、非手指動作制御手段８００はこれを非手指動作
パラメータに変換し、非手指動作辞書格納手段９００に
渡す。非手指動作辞書格納手段９００では、非手指動作
制御手段８００から入力された非手指動作パラメータに
対応する非手指動作データを検索し、手話動作制御手段
３０３に渡す。

【０１２０】上記では、開始状態と終了状態の２つの状
態間の角度データを補間する場合、フレーム間の変化量
とフレーム数の直線動作の速度的な補間手法について説
明したが、ここでは円弧、半円動作等の曲線動作を生成
する場合について説明する。曲線動作を生成する場合、
開始状態と終了状態の間に少なくとも１つの中間状態を
設定する必要がある。円弧動作又は直線動作のパラメー
タは、手指動作辞書格納手段２００で単語単位で格納す
る。

【０１２１】円弧動作の生成方法について説明する。こ
こでは、開始状態と終了状態の間の中間状態が１つ設定
された場合を考える。手指動作辞書格納手段２００か
ら、円弧動作パラメータ、開始状態の角度データ、中間
状態の角度データ、及び終了状態の角度データを手指動
作制御手段３０３に渡す。手指動作制御手段３０３で
は、手指動作辞書格納手段２００から入力された円弧動
作パラメータ、開始状態の角度データ、中間状態の角度
データ、終了状態の角度データから、３次スプライン関
数を用いて円弧動作の軌跡を生成する。

【０１２２】手指動作辞書格納手段２００から手指動作
制御手段３０３への入力は、円弧動作パラメータ、開始
状態の角度データ、中間状態の角度データ、及び終了状
態の角度データに限らず、各状態にインデックスを付加
し、円弧動作パラメータ内に円弧情報と円弧動作に関係
する状態のインデックスを開始状態、中間状態、終了状
態の順に設定して手指動作制御手段３０３に渡す。そし
て手指動作制御手段３０３では、３次スプライン関数を
用いて円弧動作軌跡を生成する。

【０１２３】手指動作制御手段３０３において、上記円
弧動作を生成する手法と、開始状態と終了状態間の各フ
レーム間の変化量を可変になるように補間する手法を組
み合わせて、開始状態から終了状態への補間を行って動
作を生成することにより、より滑らかな円弧動作を生成
することができる。

【０１２４】（実施の形態６）次に本発明の実施の形態
６における手話情報提示装置について図１７を用いて説
明する。本実施の形態の手話情報提示装置は、手指動作
と非手指動作の同期方法を考慮したものである。図１７
は本実施の形態による手話アニメーション合成手段３０
０Ｃ内の構成図である。この手話アニメーション合成手
段３００Ｃは、図１４で示した手指動作合成手段３０
１、非手指動作合成手段３０２、手指動作制御手段３０
３に加えて、同期手段３０４が設けられている。この同
期手段３０４は手指動作と口動作の同期をとる手段であ
る。

【０１２５】手話情報提示装置の動作説明として、ここ
では同期手段３０４についてのみ説明する。同期手段３
０４では、手指動作辞書格納手段２００と非手指動作辞
書格納手段９００から入力された２つの動作情報を、４
つのパターンのいずれかを用いて同期させる。４つのパ
ターンとはcase１〜case４である。case１は開始を一致
させることであり、case２は終了を一致させることであ
り、case３は動作時間の短い動作の開始位置を任意時間
遅延させることであり、case４はどちらかの動作が終了
した後、残りの動作を開始させることである。

【０１２６】４パターンの選択のためのフラグは、一般
に非手指動作から入力される。具体的には、入力解析手
段７００で抽出された手指動作と非手指動作の関係から
非手指動作の入力タイミングを発行し、手話アニメーシ
ョン合成手段３００Ｃに渡す。

【０１２７】例えば、「白」と言う手話動作は、手指動
作を行なった後発話するので、入力解析手段７００で手
指動作終了後発話と解析される。そして、非手指動作制
御手段８００でcase４のフラグに変換され、そのフラグ
を同期手段３０４に渡す。

【０１２８】なお同期のパターンは４パターンに限定せ
ず、必要であれば同期パターンの数を増やしても良い。
また同期方法を各パターンに分解せず、遅延時間ｆを用
いて、動作１（手指動作又は口動作）と動作２（手指動
作又は口動作）の同期をとっても良い。例えば、case１
のように開始位置が同じ場合はｆ＝０とし、case２の場
合はｆ＝｜動作１の時間―動作２の時間｜とし、case４
の場合はｆ＝動作１の時間としてもよい。

【０１２９】なお、case３の場合のｆの値は、上記した
case１、case２及びcase４以外の値であればよい。この
場合、入力解析手段７００で遅延時間ｆの時間が解析さ
れ、解析された時間をそのまま同期手段３０４で手指動
作と非手指動作の同期をとるのに用いるものとする。

【０１３０】次に、「身体障害者」や数詞「１２」等の
複数の単語の組合せによって構成された手話単語につい
て説明する。始めに手話単語「身体障害者」、「１２」
について説明する。「身体障害者」と言う手話単語は、
「身体」と「障害」と「人々」の３単語を、「身体」
「障害」「人々」の順に表現する。「１２」と言う数詞
の手話単語は、「１０」と「２」の順に表現する。

【０１３１】「身体障害者」、「１２」のように、複数
の単語を順番に表現することで１つの単語を意味する手
話単語を、ここでは複合語と呼んで説明する。次に、複
合語の手指動作と口動作の同期について説明する。複合
語の場合は、２種類の手法を用いて同期をとる。第１の
手法は、「身体障害者」や「１２」等の複合語を１単語
として、上記の４パターンの同期手法を用いる。第２の
手法は、複合語をそれぞれの単語に分割して、それぞれ
の単語に上記の４パターンの同期手法を用いる。例え
ば、「身体障害者」と言う複合語の場合、「身体」、
「障害」、「人々」に分割し、手指動作と口動作を「身
体」と「しんたい」、「障害」と「しょうがい」、「人
々」と「しゃ」の様にそれぞれ個々に４パターンの同期
手法を用いて同期をとる。

【０１３２】（実施の形態７）次に本発明の実施の形態
７における手話情報提示装置について図１８を用いて説
明する。本実施の形態の手話情報提示装置は、キャラク
タの空間領域分割方法について考慮したものである。図
１８は空間領域分割手段１０００の動作原理を示す説明
図であり、図１８（ａ）はキャラクタを正面から空間を
分割した第１のウインドウ（Window）４０１を示し、図
１８（ｂ）はキャラクタを側面から空間を分割した第２
のウインドウ４０２を示している。

【０１３３】次に領域の分割方法について説明する。初
めに空間領域分割手段１０００にキャラクタを入力す
る。キャラクタが腕を最上位まで上げた際の手の重心の
高さをｙ６とし、頭頂の高さをｙ５とし、耳の中心の高
さをｙ４とし、肩の高さをｙ３、鳩尾の高さをｙ２と
し、腰の高さをｙ１とする。

【０１３４】また右手を右側に広げた際の手の重心をｘ
１とし、右手を最大に広げた際の肘の位置をｘ２とし、
右肩の位置をｘ３とし、体の中心をｘ４とし、左肩の位
置をｘ５とし、右手を左側に伸ばした際の手の重心をｘ
６とする。また手を前に最も伸ばした際の手の重心をｚ
１とし、手を最も前に伸ばした際の肘の位置をｚ２と
し、胴体（胸側）との接点をｚ３とし、体の中心をｚ４
とし、胴体（背中側）との接点をｚ５とし、手を後ろに
最も伸ばした際の手の重心をｚ６とする。空間領域分割
手段１０００は、以上の各ポイントの座標データを取り
出し、取り出したポイントに従って空間領域を複数に分
割する。

【０１３５】なお上記の各分割は、多種多様なキャラク
タを再生させるための大まかな分割であり、手話の細か
い動作には、各分割領域をさらにｘ、ｙ、ｚ方向につい
て夫々６分割して詳細動作を表現するものとする。この
詳細動作の分割は、６分割に限らず、必要な動作に応じ
て分割数を決定して良い。なお左手の動作は、右手の分
割領域をｙ軸を基準に反転させて用いる。

【０１３６】（実施の形態８）次に本発明の実施の形態
８における手話情報提示装置について図１９及び図２０
を用いて説明する。本実施の形態の手話情報提示装置
は、新しい手話動作の登録方法を考慮したものである。
図１９（ａ）はキャラクタの正面から空間を分割した第
１のウインドウ４０１を示し、各ポイントは座標（ｘ，
ｙ）で指定される。図１９（ｂ）はキャラクタの側面か
ら空間を分割した第２のウインドウ４０２を示し、キャ
ラクタの前後方向のポイントは座標（ｙ，ｚ）で指定さ
れる。また図１９（ｃ）に示す第３のウインドウ４０３
は、各手形状のリストを絵又は文字で表示する窓であ
る。

【０１３７】図２０に示す動素辞書２０２は、図７の場
合と同様に、手形状データ格納手段２０３、手の位置デ
ータ格納手段２０４、手の方向データ格納手段２０５を
有する。出力手段４００は前述した第１〜第３のウイン
ドウ４０１〜４０３と、第４のウインドウ４０４及び第
５のウインドウ４０５を有する。第４のウインドウ４０
４は、新しい手話単語を登録するときに文字列を入力す
る窓である。第５のウインドウ４０５は、新しく登録す
る手話動作を確認表示するための窓であり、確認表示手
段を構成している。手話辞書検索手段２０６は、登録済
みの手話単語を検索すると共に、新規の手話単語を登録
する手段である。

【０１３８】次に新しい手話の登録方法について説明す
る。初めに開始点の手形状、手の位置、及び手の方向を
指定する。ウインドウ４０３に表示されている手形状リ
ストから、その手形状が表示されている部分をマウスを
用いて１つを指定する。選択された手形状はウインドウ
４０１及び４０２に表示される。

【０１３９】次に、マウスでウインドウ４０１上の手を
掴み、希望する位置に移動させて開始点の手の位置を
（ｘ，ｙ）平面上で指定する。次に、ウインドウ４０１
で手の方向を指定する。指定はマウスで手を掴んで所望
の角度に回転させる。そして、ｚ方向の手の位置、手の
方向を（ｘ，ｙ）平面の場合と同様の方法で指定する。

【０１４０】次に開始点と同様の方法で、終了点の手の
形状、手の位置、及び手の方向を指定する。なお必要に
応じて中間点の指定も同様の方法で指定する。また手形
状の選択は、ウインドウ４０４上で文字列又は手形状に
対応する数字を入力しても良い。また手の位置の指定
は、ウインドウ４０４上でウインドウ４０１と４０２上
の座標を入力しても良い。更に手の方向の指定も、ウイ
ンドウ４０４上で文字列又は数字で入力して良い。また
手形状の選択、手の位置、及び手の方向の指定順は上記
方法に限らず、どのような順で指定しても良い。

【０１４１】次に、選択された手形状、指定された手の
位置、及び手の方向は、夫々手形状データ格納手段２０
３、手の位置データ格納手段２０４、手の方向データ格
納手段２０５で検索され、各データのインデックスを手
話辞書検索手段２０６に渡す。またウインドウ４０４か
らも手話単語名の文字列を手話辞書検索手段２０６に渡
す。

【０１４２】手話辞書検索手段２０６では、手話辞書２
０１内に登録されている手話単語のデータフォーマット
に従って各データを列べ、手話辞書２０１内に登録され
ているデータと一致するか否かを、単語単位で検索して
判定する。登録済の場合は登録済と言うメッセージを出
力手段４００で表示する。登録されていない場合は、手
話辞書検索手段２０６に入力されたデータを用いて、手
話アニメーション合成手段３００で手話動作を生成し、
第５のウインドウ４０５で表示して手話動作の確認を行
なう。

【０１４３】表示された動作を修正する場合は、登録せ
ずに修正する部分のみ変更し、再び確認表示を行なう。
表示された動作を修正しない場合は、手話辞書検索手段
２０６で列べられたデータを手話辞書２０１に登録す
る。なお手話辞書検索手段２０６の検索結果が、登録済
みや未登録に係わらず、確認表示を行なってよい。

【０１４４】（実施の形態９）次に本発明の実施の形態
９における手話情報提示装置について図２１〜図２３を
用いて説明する。図２１は本実施の形態の手話情報提示
装置の全体構成を示すブロック図である。この手話情報
提示装置は、実施の形態４と同様に、入力手段１００、
手指動作辞書格納手段２００、手話アニメーション合成
手段３００、出力手段４００、入力解析手段７００、非
手指動作制御手段８００、非手指動作辞書格納手段９０
０を有し、非手指動作入力手段９１０での入力パラメー
タが非手指動作辞書格納手段９００内の非手指動作辞書
検索手段９０９に入力されるように構成されている。

【０１４５】図２２は手指動作辞書格納手段２００の内
部構成を示すブロック図であり、図２０に示すものと同
様に、手話辞書検索手段２０６、手話辞書２０１、手の
位置検索手段２０８、手形状検索手段２０９、手の方向
検索手段２１０、手形状データ格納手段２０３、手の位
置データ格納手段２０４、手の方向データ格納手段２０
５が設けられている。

【０１４６】図２３は非手指動作辞書格納手段９００の
詳細な構成例を示すブロック図である。この非手指動作
辞書格納手段９００には、図１１に示すような視線情報
格納手段９０１、頭部動作情報格納手段９０２、口形状
格納手段９０３、動作速度情報格納手段９０４、眉動作
情報格納手段９０５、瞼動作情報格納手段９０６に加え
て、動作量情報格納手段９０８、非手指動作辞書検索手
段９０９、視線情報検索手段９１１、頭部動作情報検索
手段９１２、口形状情報検索手段９１３、動作速度情報
検索手段９１４、眉動作情報検索手段９１５、瞼動作情
報検索手段９１６、動作量情報検索手段９１８が新たに
設けられている。

【０１４７】図２１の非手指動作入力手段９１０は、非
手指動作を伴うメッセージを非手指動作に変換するため
のパラメータを入力する入力手段であり、具体的には、
頭部の動作、胴体部の動作を含む表情等の非手指動作を
入力するものである。感情を伴う手話単語は、手指動作
に加えて、頭部の器官（眼、口、眉等）や胴体部を動作
させる場合が多く、感情の度合いに応じて動き量が変化
する。この非手指動作入力手段９１０で入力されたパラ
メータを用いて、視線情報検索手段９１１、頭部動作情
報検索手段９１２、口形状情報検索手段９１３、動作速
度情報検索手段９１４、眉動作情報検索手段９１５、瞼
動作情報検索手段９１６、動作量情報検索手段９１８が
各情報格納手段に対して情報の検索を行う。

【０１４８】そして視線情報格納手段９０１、頭部動作
情報格納手段９０２、口形状情報格納手段９０３、動作
速度情報格納手段９０４、眉動作情報格納手段９０５、
瞼動作情報格納手段９０６から、必要な非手指動作の情
報が抽出され、図２１の手話アニメーション合成手段３
００に与えられる。手話アニメーション合成手段３００
は、手話辞書検索手段２０６と、非手指動作制御手段８
００と、非手指動作辞書検索手段９０９から渡されたパ
ラメータを用いて手話アニメーションを合成するもので
ある。合成結果は出力手段４００に出力される。

【０１４９】出力手段４００には、図２０と同様のウイ
ンドウ４０１〜４０５に加えて、メッセージウインドウ
４０７が設けられている。メッセージウインドウ４０７
は、入力手段１００，非手指動作入力手段９１０及び非
手指動作制御手段８００から入力されたパラメータに対
応する動き要素データが、手話辞書検索手段２０６及び
非手指動作辞書検索手段９０９で検索できなかった場
合、ユーザに動き要素データが存在しない旨のメッセー
ジを表示するための窓である。

【０１５０】次に、入力された手話単語及び非手指動作
の動き要素データの検索動作と、新しい手指及び非手指
の動き要素の登録動作について説明する。図２１におい
て、入力手段１００に手話単語に対応するパラメータが
入力されると、手話辞書検索手段２０６は手話辞書２０
１から要求された手話単語を検索する。入力パラメータ
に対応する動き要素データが存在した場合、手の位置検
索手段２０８は手の位置データ格納手段２０４から、手
の方向検索手段２１０は手の方向データ格納手段２０５
から、手の形状検索手段２０９は手形状データ格納手段
２０３から、夫々の入力パラメータに対応する動き要素
データを取り出す。そして手話辞書検索手段２０６を経
て、動き要素データを手話アニメーション合成手段３０
０に与える。手話アニメーション合成手段３００は、入
力パラメータに対応する手話アニメーションを合成し、
出力手段４００の第５のウインドウ４０５を用いて手話
アニメーションを表示し、ユーザにその動作を確認させ
る。

【０１５１】もし、手話辞書検索手段２０６で、入力パ
ラメータに対応する動き要素データが存在しないと判定
された場合は、存在しない旨のメッセージをメッセージ
ウインドウ４０７に表示し、ユーザに知らせる。このメ
ッセージを見たユーザは、ウインドウ４０１、ウインド
ウ４０２、ウインドウ４０３、ウインドウ４０４を用い
て、手話辞書２０１に存在しなかった手話単語を入力す
る。ウインドウ４０１、ウインドウ４０２、ウインドウ
４０３で入力された各動き要素データと、ウインドウ４
０４で入力されたテキストデータは、手話辞書検索手段
２０６に与えられる。手話辞書検索手段２０６は、ウイ
ンドウ４０１〜４０３から入力された各動き要素データ
を、各検索手段を介して手の位置データ格納手段２０
４、手の方向データ格納手段２０５、手形状データ格納
手段２０３から検索する。

【０１５２】ウインドウ４０１〜４０３から入力された
動き要素データが手の位置データ格納手段２０４、手の
方向データ格納手段２０５、手形状データ格納手段２０
３の全てに存在しない場合は、新たに入力した手形状の
要素データを手形状データ格納手段２０３に登録し、手
の位置の要素データを手の位置データ格納手段２０４に
登録し、手の方向を手の方向データ格納手段２０５に登
録する。そして、ウインドウ４０４から入力したテキス
トデータと、手形状データ格納手段２０３に新規に登録
した要素データのインデックスと、手の位置データ格納
手段２０４に新規に登録した要素データのインデックス
と、手の方向データ格納手段２０５に新規に登録した要
素データのインデックスとを手話辞書２０１に登録す
る。

【０１５３】このとき、登録の有無をウインドウ４０７
を用いてユーザに問い合わせてもよい。また登録する前
にウインドウ４０５を用いて新しく登録する手話のアニ
メーションを確認してもよい。又、ウインドウ４０１〜
４０３から入力された動き要素データが、手の位置デー
タ格納手段２０４、手の方向データ格納手段２０５、手
形状データ格納手段２０６のいずれかに存在する場合、
既に存在する動き要素データは新たに登録する必要はな
い。しかし、手話辞書２０１に対して、新しく入力され
た動き要素データのインデックスと、既に存在していた
動き要素データのインデックスとを更めて登録する必要
がある。

【０１５４】また入力解析手段７００で解析され非手指
動作パラメータ、及び非手指動作入力手段９１０で入力
された非手指動作パラメータは、手指動作の場合と同様
に非手指動作辞書検索手段９０９に与えられる。非手指
動作辞書検索手段９０９により、入力パラメータに対応
する動き要素データが存在すると判定された場合には、
手話アニメーション合成手段３００は非手指の手話アニ
メーションを合成して出力手段４００より表示する。

【０１５５】一方、入力パラメータに対応する動き要素
データが存在しない場合には、メッセージウインドウ４
０７を用いて動き要素データが存在しない旨のメッセー
ジをユーザに報知する。この場合、ウインドウ４０６を
用いて、非手指動作辞書格納手段９００に存在しなかっ
た非手指の動き要素データを新たに入力する。ここで入
力されたパラメータは、非手指動作辞書検索手段９０９
に入力され、非手指動作辞書格納手段９００内の視線、
頭部、口形状等のいずれかの動作として新しく登録され
る。勿論手指の場合の登録と同様に、確認用のウインド
ウ４０５を用いて新しく登録する非手指のアニメーショ
ンを確認できる。

【０１５６】なお、前記の登録処理では、既存の手指及
び非手指の動き要素データを読み出し、読み出した動き
要素データを編集して登録することも可能である。即
ち、手指の動き要素データの様々な組合せや、手指と非
手指の様々な組合せを登録処理のウインドウ上で操作す
ることができ、新しい単語の登録や編集を容易に行うこ
とができる。

【０１５７】（実施の形態１０）次に本発明の実施の形
態１０における手話情報提示装置について図２４、図２
５を用いて説明する。本実施の形態の手話情報提示装置
は、図２４に示す手話情報生成装置１１００Ａと、図２
５に示す手話情報入出力装置１１００Ｂとから構成され
る。いずれの装置も、 非手指動作を伴うメッセージが入
力されたとき、入力メッセージを聴覚障害者が一意に理
解できる手指動作及び非手指動作に変換して、キャラク
タのアニメーションを出力するものである。

【０１５８】手話情報入出力装置１１００Ｂは、端末側
で聴覚障害者に対して手話アニメーションを表示する装
置（クライアント）であり、例えば健聴者と覚聴覚障害
者とが実際に意志疎通、即ち会話をする場所に設置され
るものとする。また手話情報生成装置１１００Ａは、主
として手指動作及び非手指動作を行うキャラクタのアニ
メーションに対して、必要な各種の要素データを保持及
び転送する機能を有すると共に、手話情報入出力装置１
１００Ｂから手話単語の新規登録の要求があれば、必要
な要素データをクライアント側に送信し、クライアント
側で作成された手話単語を登録する機能を備えた装置
（サーバ）である。手話情報生成装置１１００Ａは、複
数箇所に設置された手話情報入出力装置１１００Ｂと伝
送媒体を介して接続される。

【０１５９】図２４に示すように手話情報生成装置１１
００Ａは、大別して手指動作辞書格納手段２００ａ、手
話アニメーション合成手段３００ａ、出力手段４００
ａ、非手指動作辞書格納手段９００ａ、非手指動作辞書
検索手段９０９ａ、送受信手段１１０１ａを含んで構成
される。手指動作辞書格納手段２００ａは、図２２に示
すものと同様に、手話辞書２０１ａ、手形状データ格納
手段２０３ａ、手の位置データ格納手段２０４ａ、手の
方向データ格納手段２０５ａ、手の位置検索手段２０８
ａ、手の形状検索手段２０９ａ、手の方向検索手段２１
０ａ、手話辞書検索手段２０６ａを有している。

【０１６０】出力手段４００ａは、図２１に示すものと
同様に、ウインドウ４０１ａ、ウインドウ４０２ａ、ウ
インドウ４０３ａ、ウインドウ４０４ａ、ウインドウ４
０５ａ、ウインドウ４０６ａ、メッセージウインドウ４
０７ａを有している。以上の各ブロックの機能は実施の
形態９のものと同一であるため、それらの機能説明は省
略する。

【０１６１】送受信手段１１０１ａは、伝送媒体を介し
て手話情報入出力装置１１００Ｂから送信されたデータ
を受信し、テキストデータをメッセージウインドウ４０
７ａに出力したり、各種の手指動作のパラメータを手話
辞書検索手段２０６ａに出力したり、各種の非手指動作
のパラメータを非手指動作辞書検索手段９０９ａに出力
するものである。また送受信手段１１０１ａは手話情報
生成装置１１００Ａで作成された手話情報を手話情報入
出力装置１１００Ｂ側に送信する。

【０１６２】図２５に示す手話情報入出力装置１１００
Ｂは、入力手段１００、手話辞書検索手段２０６ｂを含
む手指動作辞書格納手段２００ｂ、手話アニメーション
合成手段３００ｂ、ウインドウ４０５ｂ及びウインドウ
４０７ｂを有する出力手段４００ｂ、入力解析手段７０
０、非手指動作制御手段８００、非手指動作辞書格納手
段９００ｂ、非手指動作辞書検索手段９０９ｂ、非手指
動作入力手段９１０を含んで構成される。これらの各ブ
ロックの機能も実施の形態９のものと同一であるため、
それらの機能説明は省略する。送受信手段１１０１ｂ
は、手話情報入出力装置１１００Ｂにおいて、新規な手
話アニメーションを作成したり、未登録の手話単語を作
成するとき、必要な要素データを要求したり、要求した
要素データを受信するものである。

【０１６３】このように構成された手話情報提示装置の
動作について説明する。ここでは、新しい手話単語の登
録処理がクライアント側で行われる場合について説明す
る。殆どの登録処理は、実施の形態９の場合と同様に図
２５の手話情報入出力装置１１００Ｂの動作により行わ
れる。何故なら、クライアント側で必要と予想される手
話単語及びその要素データは、手指動作辞書格納手段２
００ｂ及び非手指動作辞書格納手段９００ｂに格納され
ているからである。しかし、入力パラメータに対応する
動き要素データが手指動作辞書格納手段２００ｂ及び非
手指動作辞書格納手段９００ｂに存在しない場合は、必
要とする要素データを送受信手段１１０１ｂを介して手
話情報生成装置１１００Ａに要求する。このとき送信さ
れるデータは、手話辞書検索手段２０６ｂ又は非手指動
作辞書検索手段９０９ｂに入力される入力パラメータで
ある。

【０１６４】送受信手段１１０１ｂから送信された入力
パラメータは、図２４の送受信手段１１０１ａで受信さ
れ、メッセージウインドウ４０７ａに表示されたり、手
話辞書検索手段２０６ａ、非手指動作辞書検索手段９０
９ａに与えられる。受信したパラメータに対応する要素
データが、手話辞書検索手段２０６ａで検索されると、
手の位置データ格納手段２０４ａ、手の方向データ格納
手段２０５ａ、手形状データ格納手段２０３ａから必要
な要素データが取り出され、送受信手段１１０１ａに出
力される。

【０１６５】送受信手段１１０１ａは、手話情報入出力
装置１１００Ｂの送受信手段１１０１ｂに要素データを
送信する。これらの要素データを受信した送受信手段１
００１ｂは、手話辞書検索手段２０６ｂに受信要素デー
タを与える。手話辞書検索手段２０６ｂは、受け取った
要素データを手指動作辞書格納手段２００ｂ及び非手指
動作辞書格納手段９００ｂに新規に保存する。

【０１６６】実施の形態９と同様、手話情報生成装置１
１００Ａから送られてきた要素データのうち、手の位
置、手の方向、手形状のいずれかの要素データが存在す
る場合は、その部分の格納手段への新規登録は行わな
い。

【０１６７】非手指動作の場合も、手指動作の場合と同
様に、非手指動作辞書検索手段９０９ａを介して非手指
動作辞書格納手段９００ａを検索し、入力パラメータに
対応する要素データが存在する場合は、その要素データ
を送受信手段１１０１ａを介して手話情報入出力装置１
１００Ｂに送信する。そして転送された要素データを非
手指動作辞書検索手段９０９ｂを介して非手指動作辞書
格納手段９００ｂに新しく登録する。又、実施の形態９
の場合と同様に、メッセージウインドウ４０７ｂを用い
て、新規登録の有無をユーザに確認してから登録しても
よい。また確認用のウインドウ４０５を用いて、手話情
報生成装置１１００Ａから送られてきた要素データのア
ニメーションを再生して確認してもよい。

【０１６８】送受信手段１１０１ａで受信した要素デー
タが、手話辞書検索手段２０６ａで登録無しと判定され
た場合、サーバ側の管理者が実施の形態９の場合と同様
に、ウインドウ４０１ａ、ウインドウ４０２ａ、ウイン
ドウ４０３ａ、ウインドウ４０４ａを用いて新しい手話
単語の登録を行う。手話情報生成装置１１００Ａでも、
ウインドウ４０１ａ〜４０４ａ、ウインドウ４０６ａを
用いて、夫々の要素データを手話辞書２０１ａ、手の位
置データ格納手段２０４ａ、手の方向データ格納手段２
０５ａ、手形状データ格納手段２０３ａ、非手指動作辞
書格納手段９００ａに登録する。更に実施の形態９の場
合と同様に、メッセージウインドウ４０７ａを用いて、
新規登録の有無をユーザに確認して登録してもよい。ま
た確認用のウインドウ４０５ａを用いて、要素データの
アニメーションを再生して確認してもよい。

【０１６９】

【発明の効果】請求項１〜３３記載の発明によれば、小
量のデータでより多くの手話アニメーションを合成する
ことができる。

【０１７０】特に請求項２〜４記載の発明によれば、対
象領域情報格納手段と質疑応答対象領域手続き手段を設
けたことにより、意図する手話単語の検索が容易とな
り、例えば公共のサービス部門で健聴者と聴覚障害者と
の会話が敏速に行える。

【０１７１】特に請求項５〜８の発明によれば、手形状
データ、手の位置データ、手の方向データを変更した
り、動素データの繰り返しや組み合わせにより、他の異
なる手話アニメーションを容易に合成することができ
る。

【０１７２】特に請求項９〜１８記載の発明によれば、
非手指動作の生成と手指動作の生成を併せて行うことが
できる。

【０１７３】特に請求項１９記載の発明によれば、手指
動作と非手指動作の同期をとることができる。

【０１７４】特に請求項２０〜２４記載の発明によれ
ば、手話動作の動きを滑らかにすることにより、より自
然な手話アニメーションの提示が可能になる。

【０１７５】特に請求項２５、２６記載の発明によれ
ば、キャラクタの各部位を基準に、空間領域の分割を行
なうことにより、多種多様のキャラクターに対して同じ
動素データを用いて手話アニメーションを生成すること
が可能になる。

【０１７６】特に請求項２７記載の発明によれば、未登
録の手話単語を作成するに際し、第１〜第３のウインド
ウを用いて新たな手指動作を作成し、第５のウインドウ
を用いて手話アニメーションを確認することができる。
こうして作成された新規の手話単語を手指動作辞書格納
手段に登録することにより、手話単語の語彙数を増やす
ことができる。

【０１７７】また請求項２８記載の発明によれば、単語
単位や文章単位でメッセージが入力されたとき、メッセ
ージを聴覚障害者が一意に理解できる手指動作と非手指
動作に変換したキャラクタのアニメーションを生成する
ことができる。特に入力メッセージが非手指動作を含
み、その感情度合いによって非手指動作の動作量、動作
速度が異なる場合、非手指動作入力手段を介してそのパ
ラメータを入力することができる。

【０１７８】特に請求項２９記載の発明によれば、非手
指動作を伴う未登録の手話単語を作成するに際し、第１
〜第３のウインドウ及び第６のウインドウを用いて新た
な手指動作を作成し、第５のウインドウを用いて手話ア
ニメーションを確認することができる。

【０１７９】特に請求項３０記載の発明によれば、非手
指動作を伴う未登録の手話単語を作成するに際し、第１
〜第３のウインドウ及び第６のウインドウを用いて新た
な手指動作を作成し、第５のウインドウを用いて手話ア
ニメーションを確認することができる。また必要とする
手話単語や要素データを検索できない場合、その旨がメ
ッセージウインドウに表示される。

【０１８０】また請求項３１記載の発明によれば、手話
情報提示装置を、手話アニメーションを生成及び出力す
るクライアント側の手話情報入出力装置と、手指動作及
び非手指動作の要素データを手話情報入出力装置に送出
するサーバ側の手話情報生成装置とで構成することによ
り、クライアントで単語単位や文章単位でメッセージが
入力されたとき、メッセージを組み立てるための手指動
作及び非手指動作の要素データが保持されていないと
き、サーバ側の手話情報生成装置から不足したデータを
取り寄せることができる。このために多数のクライアン
トを設ける場合、クライアント側のハードウエアが軽減
される。

【図面の簡単な説明】

【図１】本発明の実施の形態１における手話情報提示装
置の全体構成図である。

【図２】本発明の実施の形態２における手話情報提示装
置の全体構成図である。

【図３】実施の形態２における対象領域情報格納手段の
構成図である。

【図４】本発明の実施の形態３の手話情報提示装置にお
いて、質疑応答対象領域手続き手段と対象領域情報格納
手段の構成図である。

【図５】各実施の形態で用いられる手指動作辞書の内部
構成図（手話辞書）である。

【図６】各実施の形態で用いられる手指動作辞書の内部
構成図（動素辞書）である。

【図７】各実施の形態で用いられる手指動作辞書格納手
段の内部構成図である。

【図８】本発明の実施の形態４における手話情報提示装
置の全体構成図である。

【図９】実施の形態４に用いられる入力解析手段の構成
図である。

【図１０】本発明の実施の形態４の手話情報提示装置に
おいて、非手指動作制御手段の構成を示す説明図であ
る。

【図１１】実施の形態４の手話情報提示装置において、
非手指動作辞書の構成を示す説明図（その１）である。

【図１２】実施の形態４の手話情報提示装置において、
非手指動作辞書の構成を示す説明図（その２）である。

【図１３】実施の形態４の手話情報提示装置において、
手話アニメーション合成手段の構成図である。

【図１４】本発明の実施の形態５の手話情報提示装置に
おいて、手話アニメーション合成手段の構成図である。

【図１５】実施の形態５における手指動作制御手段の速
度曲線である。

【図１６】実施の形態５における手指動作制御手段のフ
レーム曲線である。

【図１７】本発明の実施の形態６の手話情報提示装置に
おいて、手話アニメーション合成手段の構成図である。

【図１８】本発明の実施の形態７の手話情報提示装置に
おいて、空間領域分割手段の構成図である。

【図１９】本発明の実施の形態８の手話情報提示装置に
おいて、ウインドウを中心とする一部の構成を示す説明
図である。

【図２０】本発明の実施の形態８における手話情報提示
装置の全体構成を示すブロック図である。

【図２１】本発明の実施の形態９における手話情報提示
装置の全体構成を示すブロック図である。

【図２２】実施の形態９の手話情報提示装置において、
手話動作辞書検索手段の構成を示すブロック図である。

【図２３】実施の形態９の手話情報提示装置において、
非手指動作辞書格納手段の構成を示すブロック図であ
る。

【図２４】本発明の実施の形態１０の手話情報提示装置
において、サーバ側である手話情報生成装置の構成を示
すブロック図である。

【図２５】本発明の実施の形態１０の手話情報提示装置
において、クライアント側である手話情報入出力装置の
構成を示すブロック図である。

【符号の説明】

１００ 入力手段 ２００ 手指動作辞書格納手段 ２０１ 手話辞書 ２０２ 動素辞書 ２０３ 手形状データ格納手段 ２０４ 手の位置データ格納手段 ２０５ 手の方向データ格納手段 ２０６ 手話辞書検索手段 ２０７ 動素検索手段 ２０８ 手の位置検索手段 ２０９ 手形状検索手段 ２１０ 手の方向検索手段 ３００ ３００Ａ，３００Ｂ，３００Ｃ 手話アニメー
ション合成手段 ３０１ 手指動作合成手段 ３０２ 非手指動作合成手段 ３０３ 手指動作制御手段 ３０４ 同期手段 ４００ 出力手段 ４０１〜４０６ ４０１ａ〜４０６ａ，４０６ｂ ウイ
ンドウ ４０７，４０７ａ，４０７ｂ メッセージウインドウ ５００ 質疑応答対象領域手続き手段 ５０１ 対象領域判定手段 ６００ 対象領域情報格納手段 ６０１ 対象領域内容解析手段 ７００ 入力解析手段 ７０１ 状態解析手段 ７０２ 文解析手段 ８００ 非手指動作制御手段 ８０１ 動作情報変換手段 ９００ 非手指動作辞書 ９０１ 視線情報格納手段 ９０２ 頭部動作情報格納手段 ９０３ 口形状格納手段 ９０４ 動作速度情報格納手段 ９０５ 眉動作情報格納手段 ９０６ 瞬き動作情報格納手段 ９０８ 動作量情報格納手段 ９０９ 非手指動作辞書検索手段 ９１０ 非手指動作入力手段 ９１１ 視線情報検索手段 ９１２ 頭部動作情報検索手段 ９１３ 口形状情報検索手段 ９１４ 動作速度情報検索手段 ９１５ 眉動作情報検索手段 ９１６ まぶた動作情報検索手段 ９１８ 動作量情報検索手段 １０００ 空間領域分割手段 １００１ 送受信手段 １１００Ａ 手話情報生成装置 １１００Ｂ 手話情報入出力装置 １１０１ａ，１１０１ｂ 送受信手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松尾 秀明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 阪本 清美 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 渡邉 茂晃 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (33)

【特許請求の範囲】
1. 【請求項１】 単語単位や文章単位でメッセージが入力
   されたとき、前記メッセージを聴覚障害者が一意に理解
   できる手話動作に変換したキャラクタのアニメーション
   を出力する手話情報提示装置であって、 前記メッセージを手話単語に変換するためのパラメータ
   を入力する入力手段と、 前記各手話単語に対応した手指の動き要素データを記憶
   した手指動作辞書格納手段と、 前記入力手段に入力されたパラメータに応じて前記手指
   動作辞書格納手段に格納された手指の動き要素データを
   参照し、前記メッセージに対応した手話アニメーション
   動作を合成する手話アニメーション合成手段と、 前記手話アニメーション合成手段により合成された手話
   アニメーション動作をキャラクタの動作により表示する
   出力手段と、を具備することを特徴とする手話情報提示
   装置。
2. 【請求項２】 単語単位や文章単位でメッセージを入力
   されたとき、前記メッセージを聴覚障害者が一意に理解
   できる手話動作に変換したキャラクタのアニメーション
   を出力する手話情報提示装置であって、 前記メッセージを手話単語に変換するためのパラメータ
   を入力する入力手段と、 前記パラメータの属するジャンルを対象領域とすると
   き、前記対象領域に属する情報を格納する対象領域情報
   格納手段と、 前記入力手段により入力された特定パラメータに対し
   て、前記対象領域情報格納手段に格納されている前記対
   象領域の情報を新たなパラメータとして質疑応答する質
   疑応答対象領域手続き手段と、 前記各手話単語に対応した手指の動き要素データを記憶
   した手指動作辞書格納手段と、 前記質疑応答対象領域手続き手段で必要と決定されたパ
   ラメータに基づき、前記手指動作辞書格納手段に格納さ
   れた手指の動き要素データを参照し、前記入力メッセー
   ジに対応した手話アニメーション動作を合成する手話ア
   ニメーション合成手段と、 前記手話アニメーション合成手段により合成された手話
   アニメーション動作をキャラクタの動作により表示する
   と共に、前記対象領域情報格納手段の情報を表示する出
   力手段と、を具備することを特徴とする手話情報提示装
   置。
3. 【請求項３】 前記対象領域情報格納手段は、 各対象領域の内容を解析し、各対象領域の内容に応じた
   情報を前記出力手段に出力する対象領域内容解析手段を
   有することを特徴とする請求項２記載の手話情報提示装
   置。
4. 【請求項４】 前記質疑応答対象領域手続き手段は、 前記入力手段より入力された特定のパラメータから、前
   記パラメータに対応する単語の使用頻度の高い分野を対
   象領域として判定する対象領域判定手段を有することを
   特徴とする請求項２記載の手話情報提示装置。
5. 【請求項５】 前記手指動作辞書格納手段は、 手指の形状、手の位置、手の方向で決定される手の姿を
   動素とするとき、各動素データを格納した動素辞書と、 各手話単語に対する前記動素の繰り返し回数、手話単語
   の組合せ、前記動素の順序、動作手のデータの少なくと
   も１つを格納した手話辞書と、を有することを特徴とす
   る請求項１又は２記載の手話情報提示装置。
6. 【請求項６】 前記手話辞書は、 地域別方言に対応した手話単語及び国別の手話単語の少
   なくとも一方の手話単語が登録されたものであることを
   特徴とする請求項５記載の手話情報提示装置。
7. 【請求項７】 前記動素辞書は、 手形状データを格納した手形状データ格納手段と、 手の位置データを格納した手の位置データ格納手段と、 手の方向データを格納した手の方向データ格納手段と、
   を有することを特徴とする請求項５記載の手話情報提示
   装置。
8. 【請求項８】 手形状データ格納手段は、 人差指、中指、薬指、小指、親指の形状データとして、
   各指の屈伸状態、親指に対する他の指の当接状態、隣接
   する指の開き角、各指の第１〜第３関節における屈曲角
   度の少なくとも１つのデータを含むものであることを特
   徴とする請求項７記載の手話情報提示装置。
9. 【請求項９】 単語単位や文章単位でメッセージを入力
   されたとき、前記メッセージを聴覚障害者が一意に理解
   できる手話動作に変換したキャラクタのアニメーション
   を出力する手話情報提示装置であって、 前記メッセージを手話単語に変換するためのパラメータ
   を入力する入力手段と、 前記各手話単語に対応した手指の動き要素データを記憶
   した手指動作辞書格納手段と、 前記入力手段より入力されたパラメータを解析し、非手
   指動作を表現するための情報を抽出する入力解析手段
   と、 前記入力解析手段で抽出した情報を非手指動作の情報に
   変換する非手指動作制御手段と、 前記非手指動作制御手段の非手指動作に対応する動作デ
   ータを保持する非手指動作辞書格納手段と、 前記入力手段に入力されたパラメータに応じて前記手指
   動作辞書格納手段に格納された手指の動き要素データを
   参照し、前記入力メッセージに対応した手話アニメーシ
   ョン動作を合成すると共に、前記非手指動作辞書格納手
   段に格納してある情報を組み合わせ、非手指のアニメー
   ション動作を合成する手話アニメーション合成手段と、 前記手話アニメーション合成手段により合成された手指
   及び非手指のアニメーション動作を表示する出力手段
   と、を具備することを特徴とする手話情報提示装置。
10. 【請求項１０】 単語単位や文章単位でメッセージを入
    力されたとき、前記メッセージを聴覚障害者が一意に理
    解できる手話動作に変換したキャラクタのアニメーショ
    ンを出力する手話情報提示装置であって、 前記メッセージを手話単語に変換するためのパラメータ
    を入力する入力手段と、 前記パラメータの属するジャンルを対象領域とすると
    き、前記対象領域に属する情報を格納する対象領域情報
    格納手段と、 前記入力手段により入力された特定パラメータに対し
    て、前記対象領域情報格納手段に格納されている前記対
    象領域の情報を新たなパラメータとして質疑応答する質
    疑応答対象領域手続き手段と、 前記各手話単語に対応した手指の動き要素データを記憶
    した手指動作辞書格納手段と、 前記入力手段より入力されたパラメータを解析し、非手
    指動作を表現するための情報を抽出する入力解析手段
    と、 前記入力解析手段で抽出した情報を非手指動作の情報に
    変換する非手指動作制御手段と、 前記非手指動作制御手段の非手指動作に対応する動作デ
    ータを保持する非手指動作辞書格納手段と、 前記質疑応答対象領域手続き手段で必要と決定されたパ
    ラメータに基づき、前記手指動作辞書格納手段に格納さ
    れた手指の動き要素データを参照し、前記入力メッセー
    ジに対応した手話アニメーション動作を合成すると共
    に、前記非手指動作辞書格納手段に格納してある情報を
    組み合わせ、非手指のアニメーション動作を合成する手
    話アニメーション合成手段と、 前記手話アニメーション合成手段により合成された手指
    及び非手指のアニメーション動作と前記対象領域情報格
    納手段の情報とを表示すると共に、手話アニメーション
    の状態を前記入力解析手段に与える出力手段と、を具備
    することを特徴とする手話情報提示装置。
11. 【請求項１１】 前記入力解析手段は、 前記入力手段より入力されたパラメータから手話内容を
    解析する内容解析手段と、 前記出力手段より出力された手話アニメーション動作の
    状態を解析する状態解析手段と、を有することを特徴と
    する請求項９又は１０記載の手話情報提示装置。
12. 【請求項１２】 前記非手指動作制御手段は、 前記入力解析手段で解析されたパラメータにおいて、非
    手指動作と手指動作との提示タイミングを決定する動作
    情報変換手段と、を有することを特徴とする請求項９又
    は１０記載の手話情報提示装置。
13. 【請求項１３】 前記非手指動作辞書格納手段は、 視線方向のデータを格納した視線情報格納手段、頭の方
    向を格納した頭部動作情報格納手段、口の形状を格納し
    た口形状情報格納手段、眉の動作を格納した眉動作情報
    格納手段、瞬きの動作を格納した瞬き動作情報格納手
    段、肩の動作を格納した肩動作情報格納手段、頬の状態
    を格納した頬情報格納手段、下顎の状態を格納した顎情
    報格納手段、額の状態を格納した額情報格納手段、非手
    指の動作速度情報を格納した動作速度情報格納手段、前
    記非手指の動作範囲の大きさをパラメータとして格納し
    た動作量情報格納手段、のうち少なくとも１つを有する
    ことを特徴とする請求項９又は１０記載の手話情報提示
    装置。
14. 【請求項１４】 前記手話アニメーション合成手段は、 前記非手指動作辞書格納手段からのデータに応じて非手
    指動作を合成する非手指動作合成手段を有することを特
    徴とする請求項９又は１０記載の手話情報提示装置。
15. 【請求項１５】 前記非手指動作合成手段は、 顔の表情を生成するとき、口はある形状から他の形状へ
    変形させて補間することにより口動作を生成し、頬や額
    は表情パラメータ毎にテクスチャを貼る手法により生成
    するか又は口や眉等の動作に応じて頬や額を変形させて
    その動作を生成し、下顎は上腕や下腕と同様に骨格アニ
    メーションを用いて動作を生成することを特徴とする請
    求項１４記載の手話情報提示装置。
16. 【請求項１６】 前記非手指動作合成手段は、 顔の表情を生成するとき、口、眉、額、頬、顎を含む各
    器官の頂点座標の変形で顔の動作を生成することを特徴
    とする請求項１４記載の手話情報提示装置。
17. 【請求項１７】 前記非手指動作合成手段は、 顔の表情を生成するとき、口、眉、額、頬、顎を含む各
    器官のテクスチャの合成により顔の動作を生成すること
    を特徴とする請求項１４記載の手話情報提示装置。
18. 【請求項１８】 前記非手指動作合成手段は、 表現すべき手話が形容詞であり、前記形容詞を修飾する
    副詞を添えて入力されたとき、前記副詞の後に続く手話
    単語の動作速度及び動作の大きさを、前記非手指動作辞
    書格納手段から入力された動作速度及び動作量データに
    従い、視線情報、頭部動作情報、口形状情報、眉動作情
    報、肩動作情報のうち少なくとも１つを修正加工処理を
    行うことにより、手話単語の意味を強調することを特徴
    とする請求項１４記載の手話情報提示装置。
19. 【請求項１９】 前記手話アニメーション合成手段は、 手指動作と非手指動作の同期をとる同期手段を設けたこ
    とを特徴とする請求項９又は１０記載の手話情報提示装
    置。
20. 【請求項２０】 前記手話アニメーション合成手段は、 動作開始点から動作終了点に至る手指動作を滑らかに制
    御する手指動作制御手段を設けたことを特徴とする請求
    項９又は１０記載の手話情報提示装置。
21. 【請求項２１】 前記手指動作制御手段は、 手指動作を滑らかに動作させるため、前記手指動作辞書
    格納手段から入力された２つの状態の角度データにおい
    て、開始から終了迄の間の角度データを必要なフレーム
    の数だけ補間し、補間データを前記手指動作合成手段に
    与えることを特徴とする請求項２０記載の手話情報提示
    装置。
22. 【請求項２２】 前記手指動作制御手段は、 手指動作を滑らかに動作させるため、前記手指動作辞書
    格納手段から入力された動作開始点及び動作終了点の角
    度データにおいて、開始から終了迄の間の角度データを
    必要なフレームの数だけ補間するとき、各フレーム間の
    変化量を同じになるように等間隔に補間する手法、又は
    各フレーム間の変化量を可変になるように補間する手法
    のいずれかを選択して制御することを特徴とする請求項
    ２０記載の手話情報提示装置。
23. 【請求項２３】 前記手指動作制御手段は、 手指動作を滑らかに動作させるため、前記手指動作辞書
    格納手段から入力された動作開始点及び動作終了点の角
    度データにおいて、右手及び左手に対して独立して、開
    始から終了迄の間の角度データを必要なフレームの数だ
    け補間することを特徴とする請求項２０記載の手話情報
    提示装置。
24. 【請求項２４】 前記手指動作制御手段は、 動作単位、手話単語単位、又は文章単位に動作静止時間
    を設定することを特徴とする請求項２０記載の手話情報
    提示装置。
25. 【請求項２５】 手話動作を行うキャラクタの正面姿の
    表示窓を第１のウインドウとし、前記キャラクタの側面
    姿の表示窓を第２のウインドウとするとき、前記キャラ
    クタの大きさに合わせて前記第１及び第２のウインドウ
    の空間領域の分割方法を制御する空間領域分割手段を設
    けたことを特徴とする請求項１，２，９，１０のいずれ
    か１項記載の手話情報提示装置。
26. 【請求項２６】 前記出力手段は、 手話動作を行うキャラクタの正面姿の表示窓を第１のウ
    インドウとし、前記キャラクタの側面姿の表示窓を第２
    のウインドウとし、手形状のリストの表示窓を第３のウ
    インドウとし、入力パラメータであるテキスト情報を入
    力する窓を第４のウインドウとし、新たに登録する手話
    単語のアニメーションの表示窓を第５のウインドウとす
    るとき、前記第１〜第５のウインドウを随時表示するこ
    とを特徴とする請求項１，２，９，１０のいずれか１項
    記載の手話情報提示装置。
27. 【請求項２７】 前記出力手段は、 手話動作を行うキャラクタの正面姿の表示窓を第１のウ
    インドウ、前記キャラクタの側面姿の表示窓を第２のウ
    インドウ、手形状のリストの表示窓を第３のウインド
    ウ、入力パラメータであるテキスト情報を入力する窓を
    第４のウインドウ、新たに登録する手話単語のアニメー
    ションの表示窓を第５のウインドウを有するものであ
    り、 前記手指動作辞書格納手段は、 手の位置データを記憶する手の位置データ格納手段と、 前記第１のウインドウ及び前記第２のウインドウから入
    力された手の位置データを前記手の位置データ格納手段
    から検索する手の位置検索手段と、 手の方向データを記憶する手の方向データ格納手段と、 前記第１のウインドウ及び前記第２のウインドウから入
    力された手の方向データを前記手の方向データ格納手段
    から検索する手の方向検索手段と、 手形状データを記憶する手形状データ格納手段と、 前記第３のウインドウから入力された手形状データを前
    記手形状データ格納手段から検索する手形状検索手段
    と、 各手話単語に対する動素の繰り返し回数、手話単語の組
    合せ、前記動素の順序、動作手のデータの少なくとも１
    つを格納した手話辞書と、 前記第４のウインドウから入力されたテキスト情報、前
    記手の位置データ格納手段から検索された手の位置情
    報、前記手の方向データ格納手段から検索された手の方
    向情報、前記手形状データ格納手段から検索された手形
    状情報を用い、前記手話辞書の内容を検索すると共に、
    各データ格納手段から得られた情報を前記手話アニメー
    ション合成手段に与え、前記第５のウインドウで確認さ
    れた新規の手話単語を前記手話辞書に登録する前記手話
    辞書検索手段と、を有するものであることを特徴とする
    請求項１、２、９、１０のいずれか１項記載の手話情報
    提示装置。
28. 【請求項２８】 単語単位や文章単位でメッセージが入
    力されたとき、前記メッセージを聴覚障害者が一意に理
    解できる手指動作と非手指動作に変換したキャラクタの
    アニメーションを出力する手話情報提示装置であって、 前記入力メッセージを手話単語に変換するためのパラメ
    ータを入力する入力手段と、 前記各手話単語に対応した手指の動き要素データを記憶
    すると共に、前記入力メッセージに対応する手指の動き
    要素データを検索し、新規に作成された手話単語を格納
    する手指動作辞書格納手段と、 前記入力手段より入力されたパラメータを解析し、前記
    手話単語が非手指動作を伴うか否かを判定し、非手指動
    作の情報を抽出する入力解析手段と、 前記入力解析手段で抽出した非手指動作の情報に基づ
    き、非手指動作に係わる頭部や胴体部の器官を特定する
    と共に、特定された器官の動き情報を生成する非手指動
    作制御手段と、 非手指動作を伴うメッセージを非手指動作に変換するた
    めのパラメータを入力する非手指動作入力手段と、 前記各非手指動作に対応した動き要素データを記憶する
    と共に、前記非手指動作制御手段から指示された器官名
    と前記器官の動き情報、及び非手指動作入力手段の出力
    パラメータに基づき、非手指の動き要素データを検索す
    る非手指動作辞書格納手段と、 前記手指動作辞書格納手段で検索された手指の動き要素
    データ、及び前記非手指動作辞書格納手段から検索され
    た非手指の動き要素データから、手話アニメーション動
    作を合成する手話アニメーション合成手段と、 前記手話アニメーション合成手段により合成された手指
    及び非手指の手話アニメーション動作を表示する出力手
    段と、を具備することを特徴とする手話情報提示装置。
29. 【請求項２９】 前記出力手段は、 手話動作を行うキャラクタの正面姿の表示窓を第１のウ
    インドウとし、前記キャラクタの側面姿の表示窓を第２
    のウインドウとし、手形状のリストの表示窓を第３のウ
    インドウとし、入力パラメータであるテキスト情報を入
    力する窓を第４のウインドウとし、新たに登録する手話
    単語のアニメーションの表示窓を第５のウインドウ５と
    し、手話アニメーションの合成処理に係わるメッセージ
    をユーザ提示する窓を第６のウインドウとするとき、前
    記第１〜第６のウインドウを随時表示することを特徴と
    する請求項２８記載の手話情報提示装置。
30. 【請求項３０】 前記出力手段は、 手話動作を行うキャラクタの正面姿の表示窓を第１のウ
    インドウとし、前記キャラクタの側面姿の表示窓を第２
    のウインドウとし、手形状のリストの表示窓を第３のウ
    インドウとし、入力パラメータであるテキスト情報を入
    力する窓を第４のウインドウとし、新たに登録する手話
    単語のアニメーションの表示窓を第５のウインドウと
    し、手話アニメーションの合成処理に係わるメッセージ
    をユーザ提示する窓を第６のウインドウとし、前記手指
    動作辞書格納手段及び前記非手指動作辞書格納手段で検
    索できなかった動き要素データをユーザーに提示する窓
    をメッセージウインドウとするとき、前記第１〜第６の
    ウインドウ及び前記メッセージウインドウを随時表示す
    ることを特徴とする請求項２８記載の手話情報提示装
    置。
31. 【請求項３１】 単語単位や文章単位でメッセージが入
    力されたとき、前記メッセージを聴覚障害者が一意に理
    解できる手指動作と非手指動作に変換したキャラクタの
    アニメーションを出力する手話情報提示装置であって、 手話アニメーションを生成及び出力する端末側の手話情
    報入出力装置と、 登録済の手話単語、及び新規登録のための手指動作及び
    非手指動作の要素データを前記手話情報入出力装置より
    多く保持し、前記手話情報入出力装置から新規の手話ア
    ニメーションの生成要求が出力されたとき、手指動作及
    び非手指動作の要素データを前記手話情報入出力装置に
    送出する手話情報生成装置と、を具備し、 前記手話情報入出力装置は、 前記入力メッセージを手話単語に変換するためのパラメ
    ータを入力する入力手段と、 前記各手話単語に対応した手指の動き要素データを記憶
    すると共に、前記入力メッセージに対応する手指の動き
    要素データを検索し、新規に作成された手話単語を格納
    する第１の手指動作辞書格納手段と、 前記入力手段より入力されたパラメータを解析し、非手
    指動作を伴うか否かを判定し、非手指動作の情報を抽出
    する入力解析手段と、 前記入力解析手段で抽出した非手指動作の情報に基づ
    き、非手指動作に係わる頭部や胴体部の器官を特定する
    と共に、特定された器官の動き情報を生成する非手指動
    作制御手段と、 非手指動作メッセージを非手指動作に変換するためのパ
    ラメータを入力する非手指動作入力手段と、 前記各非手指動作に対応した動き要素データを記憶する
    と共に、前記非手指動作制御手段から指示された器官名
    と前記器官の動き情報、及び非手指動作入力手段の出力
    パラメータに基づき、非手指の動き要素データを検索す
    る第１の非手指動作辞書格納手段と、 前記第１の手指動作辞書格納手段で検索された手指の動
    き要素データ、及び前記第１の非手指動作辞書格納手段
    から検索された非手指の動き要素データから、手話アニ
    メーション動作を合成する第１の手話アニメーション合
    成手段と、 前記第１の手話アニメーション合成手段により合成され
    た手指及び非手指の手話アニメーション動作を表示する
    ウインドウ、前記第１の手指動作辞書格納手段及び前記
    第１の非手指動作辞書格納手段で検索できなかった動き
    要素データをユーザーに提示するメッセージウインドウ
    を有する第１の出力手段と、 前記第１の手指動作辞書格納手段及び前記第１の非手指
    動作辞書格納手段で検索できなかった動き要素データの
    送信要求を前記手話情報生成装置に対して出力すると共
    に、前記手話情報生成装置から送出された手指動作及び
    非手指動作の要素データを受信する第１の送受信手段
    と、を含むものであり、 前記手話情報生成装置は、 前記第１の送受信手段を介して出力された要素データの
    送信要求を受信し、新たに検索した要素データを前記手
    話情報入出力置に送信する第２の送受信手段と、 前記各手話単語に対応した手指の動き要素データを記憶
    すると共に、前記第２の送受信手段を介して入力された
    手話メッセージに対応する手指の動き要素データを検索
    し、新規に作成された手話単語を格納する第２の手指動
    作辞書格納手段と、 非手指動作に対応した動き要素データを記憶すると共
    に、前記第２の送受信手段を介して入力された非手指の
    動き要素データを検索する第２の非手指動作辞書格納手
    段と、 前記第２の手指動作辞書格納手段で検索された手指の動
    き要素データ、及び前記第２の非手指動作辞書格納手段
    から検索された非手指の動き要素データから、手話アニ
    メーション動作を合成する第２の手話アニメーション合
    成手段と、 前記第２の手話アニメーション合成手段により合成され
    た手指及び非手指の手話アニメーション動作を表示する
    ウインドウ、及び前記手話情報入出力置から送信された
    メッセージを表示するメッセージウインドウを有する第
    ２の出力手段と、を含むものであることを特徴とする手
    話情報生成装置。
32. 【請求項３２】 前記第２の出力手段は、 手話動作を行うキャラクタの正面姿の表示窓を第１のウ
    インドウとし、前記キャラクタの側面姿の表示窓を第２
    のウインドウとし、手形状のリストの表示窓を第３のウ
    インドウとし、入力パラメータであるテキスト情報を入
    力する窓を第４のウインドウとし、新たに登録する手話
    単語のアニメーションの表示窓を第５のウインドウと
    し、手話アニメーションの合成処理に係わるメッセージ
    をユーザ提示する窓を第６のウインドウとし、前記第１
    の手指動作辞書格納手段及び前記第１の非手指動作辞書
    格納手段で検索できなかった動き要素データをユーザー
    に提示する窓をメッセージウインドウとするとき、前記
    第１〜第６のウインドウ及び前記メッセージウインドウ
    を随時表示することを特徴とする請求項３１記載の手話
    情報提示装置。
33. 【請求項３３】 前記非手指動作辞書格納手段は、 視線方向のデータを格納した視線情報格納手段、及び前
    記視線情報格納手段のデータを検索する視線情報検索手
    段、頭の方向を格納した頭部動作情報格納手段、及び前
    記頭部動作情報格納手段のデータを検索する頭部動作情
    報検索手段、口の形状を格納した口形状情報格納手段、
    及び前記口形状情報格納手段のデータを検索する口形状
    情報検索手段、眉の動作を格納した眉動作情報格納手
    段、及び前記眉動作情報格納手段のデータを検索する眉
    動作情報検索手段、瞬きの動作を格納した瞬き動作情報
    格納手段、及び前記瞬き動作情報格納手段のデータを検
    索する瞬き動作情報検索手段、肩の動作を格納した肩動
    作情報格納手段、及び前記肩動作情報格納手段のデータ
    を検索する肩動作情報検索手段、頬の状態を格納した頬
    情報格納手段、及び前記顎情報格納手段のデータを検索
    する顎情報検索手段、下顎の状態を格納した顎情報格納
    手段、及び前記下顎情報格納手段のデータを検索する下
    顎情報検索手段、額の状態を格納した額情報格納手段、
    及び前記額情報格納手段のデータを検索する額情報検索
    手段、非手指の動作量情報を格納した動作量情報格納手
    段、及び前記動作量報格納手段のデータを検索する動作
    量情報検索手段、のうち少なくとも１組の情報格納手段
    と情報検索手段を有することを特徴とする請求項２８又
    は３１記載の手話情報提示装置。