JP3169727B2

JP3169727B2 - 手話生成装置

Info

Publication number: JP3169727B2
Application number: JP3634693A
Authority: JP
Inventors: 朝子崎山; 正博阿部; 栄二大平
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-02-25
Filing date: 1993-02-25
Publication date: 2001-05-28
Anticipated expiration: 2016-05-28
Also published as: JPH06251123A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、健聴者から聴覚障害者
への通訳を行うシステムに関するものであり、特に、健
聴者の入力した文章を手話に変換してＣＧ（コンピュー
タグラフィックス）のアニメーションで表示する方法お
よびその装置に関するものである。

【０００２】

【従来の技術】手話は、手の位置、向き、移動方向、移
動速度、表情等の手段を使って情報を相手に伝える、聴
覚障害者のための言語で、音声を中心として発達してき
た健聴者の用いている自然言語とは異なった体系を持っ
ている。したがって、聴覚障害者が健聴者と会話を行う
際には音声言語の体系に属する自然言語を用いて筆談や
口話を行うよりも、手話で会話を行った方が楽である上
に伝達速度も速い。そのため、自然言語と手話の間の変
換システムが望まれている。

【０００３】従来の手話を生成する方法としては、単語
単位で撮影した画像をそのままつないで表示する方法や
アニメーションを用いる方法がある。前者の例として
は、河合，田村，岡崎：光デイスクによる手話生成シス
テム，テレビ誌，１４（１９９０）（文献１）、後者の
例としては、寺内，長嶋（祐），三原，長嶋（秀），大
和：アニメーションによる日本語手話表現に関する基礎
的検討，情処理学会ヒューマンインターフェース，４１
−７（１９９２）が挙げられる（文献２）。で生成して
いる手話画像は２次元の線画で、１連の動作の中から画
像パタンを選んで登録し、画像パタン間は自動的に補間
してアニメーションを生成している。また、関節の位置
は手話動作コードを参照しながらキーフレーム毎にキー
ボードから入力している。

【０００４】手袋型センサに関する従来の技術として、
特開平４−１３４５１５号公報の手話翻訳装置が提案さ
れている。

【０００５】

【発明が解決しようとする課題】手話での会話が円滑に
行なわれるためには、手話アニメーションの表示速度は
会話のリズムを壊さない程度に速いことが望ましい。ま
た、手の形が正しく認識されるためには、画像は立体的
である必要がある。さらに、手の構造は複雑で大きさが
小さいうえに、指の関節の角度によって手話の意味が異
なるため、手の指の角度の表示は実際のものよりも、多
少大げさに表現した方が認識しやすい。

【０００６】実際に手話を撮影した画像をそまま用いる
合成方法では、画像は立体的であるが記憶すべき情報量
が多い。手話単語を登録する手話ＣＧ辞書には、一手話
単語あたり６０枚前後のカラー画像を２０００単語以上
記憶しなければならないことから、一手話単語あたりの
記憶すべき情報量が多いと多くのメモリを必要とする。
また、同一人物同一条件で画像を作成することが難しい
といったことも、辞書メインテナンス上大きな問題とな
る。さらに、表示される単語画像の間の肘や腕の自然な
補間は非常に困難である。

【０００７】一方、（文献２）のＣＧを用いた従来技術
では、ＣＧが２次元の線画であるために奥行きがわから
ず、指の詳しい形状を認識することが難しい。また、肘
の位置はキーフレーム毎にキーボードから入力するため
に作業が煩雑であり、手話単語のうちのどの部分を選択
するかという点も問題となる。

【０００８】手袋型センサのデータをそのまま手話の生
成に用いると、人体モデルの指が十分に伸びたり曲がっ
たりせず、手話の表示が認識しにくい場合がある。この
原因としては、手袋型センサを装着して手話を行なった
人物の癖による場合と、手袋型センサの精度による場合
とが考えられる。また、座標位置のデータに含まれる細
かな振動（ノイズ）のために手話アニメーションの自然
さが損なわれる場合もある。さらに、標準的な手袋型セ
ンサのセットを用いた場合には、得られる情報は手首か
ら先の部分のみなので、肘の位置と、肩と肘の関節角度
は計算によって求めなければならない。

【０００９】

【課題を解決するための手段】本発明では、手話の表示
を見やすくするために、３次元のカラーコンピュータグ
ラフィックスで人体モデルを生成し、このモデルを動か
すための手話単語ＣＧデータは手話単語単位で登録す
る。手話単語ＣＧデータは、あらかじめ手袋型センサを
装着して一手話単語毎に手話を行うことによって、手話
単語単位で手の位置、向き、指の関節角度の時系列デー
タを取り込み、手話単語ＣＧパタンとして記憶する。

【００１０】手袋型センサから得られる情報は手首から
先の部分のみなので、肘の位置と肩と肘の関節角度は計
算によって求める。ここでは、肘位置を一意に決定し、
少ない計算量で見た目に不自然でない肘位置を求めるた
めに以下の２つの条件（ａ）肘位置は人体モデルの手の
位置と左右の肩の位置とを含んだ平面内にある、（ｂ）
肘位置は、そのつけ根にある肩の位置と手の位置を結ん
だ線より体側には入らないを採用する。

【００１１】また、手話では指の関節の角度が異なると
手話単語が異なることから、指の形を意味の違いを表す
ために必要な５つの基本パタンに分類する。そして、手
話単語ＣＧパタンの登録の際には、手袋型センサを用い
て収集されたデータの中から指の形が保持されている部
分を探し、保持されている指の形と基本パタンを比較
し、最も形が似ているパタンのデータを最終的に登録す
る。この際、データに含まれるノイズも取り除いてお
く。

【００１２】さらに、手話を行う人体モデルを自然に動
かすために、手話単語ＣＧパタン間の手の動きを以下の
ように線形補間する。まず、生成するある単語の最後の
時点での人体モデルの手の位置（ここでは始点と呼ぶこ
とにする）と、後続する単語の始めの時点での人体モデ
ルの手の位置（ここでは終点と呼ぶことにする）との間
に、手が移動すべき軌道を指定する。軌道上の座標点が
与えられると、人体モデルの肘位置とその関節角度は本
発明の方法によって自動的に決定されるので、人体モデ
ルの手は自然に指定軌道上を移動し、始点と終点の間は
補間される。また、指の関節の曲がり方は、始点での曲
がり角と終点での曲がり角の差をとり、軌道の分割数で
割った値を、始点における曲がり角に加えながら表示す
る。

【００１３】

【作用】第一に、手話単語ＣＧパタンを登録する際に手
袋型センサを用いることによって、実際の手話を時間
的、空間的に一定の比率で変形した手話パタンを登録す
ることができるので、人体モデルの手の動きが自然であ
る。また、一手話単語毎の手の動きを連続的に登録して
いるので、どの部分を登録画像パタンとして切り出すか
という問題も解消される。

【００１４】第二に、肘の位置は手の位置から自動的に
計算するため、表示枚数を多くしても、肘位置決定の際
の煩雑な作業は必要ない。また、自然さを損なわない範
囲で肘の位置を限定する条件を設けることによって、肘
位置が一意に決まる。この条件によって、肘位置とその
関節の角度の計算量を減らすことができ、手話ＣＧの表
示が高速化される。

【００１５】第三に、手話単語間の手の動きは補間処理
されるため、自然なアニメーション表示が可能である。

【００１６】第四に、手袋型センサを用いて収集された
指の形のデータを、５つの基本的な指の形に分類して補
正することいよって、指の形が明確になり手話が認識し
やすくなる。

【００１７】第五に、手袋型センサを用いて収集された
手の位置の座標のノイズを取り除くことによって、通常
の人間が行なわないような細かな手の振動が取り除か
れ、第六に、パタンの入力を手袋型センサで一単語毎に
行うことによって、手話単語ＣＧパタンの登録が容易に
なるため、登録する手話単語を増やしたり、登録されて
いる手話の表現方法をその地方の方言や個人の好みの表
現に変えることが容易になる。

【００１８】

【実施例】以下、本発明の実施例を図１から図２１を用
いて説明する。

【００１９】図１は、本発明の一実施例を示すブロック
図である。１は文章を入力するためのマイク、２はマイ
ク１から送られて来る信号を計算機で認識可能なかな漢
字混じり文に変換するための音声インタフェイス部で、
従来の音声認識装置で実現可能である（例えば、特開平
２−１４０００号公報参照）。３は文章を入力するため
のキーボードで、４は入力３をかな漢字混じり文に変換
するためのキーボードインタフェイス部である。このよ
うな技術は従来のワープロなどで用いられているかな漢
字変換技術で実現可能である（例えば、特開平４−３６
３７５５号公報参照）。５では入力された文章の自然言
語解析を行ない、手話単語を手話らしい表現になるよう
に並びかえ、手話の表示位置を決定する自然言語処理部
である。自然言語解析の技術は従来の技術を用いること
ができる（例えば、日本語情報処理、長尾真、電子通
信学会編参照）。次の手話ＣＧアニメーション生成部６
では、手話単語の並びに従って手話単語ＣＧパタン１０
から該当する手話単語ＣＧパタンを検索して人体モデル
を組み立てる。そして、手話単語ＣＧパタン間の人体モ
デルの手の動きの補間を行う。最後に、３次元表示ディ
スプレイなどの手話アニメーション表示画面７に手話ア
ニメーションを３次元カラーＣＧで表示する。８は手話
単語ＣＧデータを登録するための手袋型センサで、手話
単語を登録したい人が手袋型センサを装着し、手話を手
話単語毎に行なう。９は手袋型センサインタフェイス部
で手袋型センサから送られてくるデータに見だしを付け
て、手話単語ＣＧパタン１０へ登録する。また、「うれ
しい」、「悲しい」、「苦痛だ」などの基本的な表情を
生成するための顔のデータも予め作成し、見出しをつけ
て１０に格納しておく。

【００２０】以下、本発明の実施例の動作を図１から図
２１を用いて詳細に説明する。

【００２１】まず、図１で「あたまがいたい」という文
章がマイク１あるいはキーボード３から入力されると、
音声インタフェス部２あるいはキーボードインタフェイ
ス部４で計算機で認識可能なかな漢字混じり文に変換さ
れる。

【００２２】次に、図１の５において表示様式を概念的
に決定する方法を図２を用いて説明する。手話単語「頭
が痛い」が入力されると５１、構文・意味解析を行な
い、文章から助詞と助動詞を取り除き「頭が痛い」を
「頭」と「痛い」に分解する５２。そして、「痛い」を
表す際の手の概念的位置が（頭）であり、動きの方向が
図５の６４０９に示す頭に垂直な法線方向であることを
指定する５３。また、表情は「苦痛」５５で首はまっす
ぐ５６であることも指定する。ここで（頭）は、「頭」
という言葉ではなく頭の位置を表すことにし、上記の表
示指定のための表現は「見だし（表示位置）、（動く向
きを表すベクトルがある位置）、ベクトルの方向）、表
情、首の傾き」とする。従って、ここでは「痛い
（頭）、（（頭）、法線）、苦痛、まっすぐ」となる。
一方、「頭」の表示位置は手話単語ＣＧパタンが頭の位
置に来るように登録されているので指定しない。この時
点では、「痛い」という手話を（頭）の部分に表示する
ことは与えられているが、（頭）の具体的な座標は指定
されていない。

【００２３】図３は手話ＣＧアニメーション生成部６の
ブロック図である。実座標決定部６１では表示概念位置
実座標対応ルール６４に従って、表示概念位置（痛い）
に具体的な座標位置を与える。人体モデル姿勢決定部６
２では、手話単語ＣＧパタン１０から見出し「頭」、
「痛い」を持った、図１０のようなデータ構造を有する
データと「苦痛」の表情ＣＧを検索し、肘位置を決定す
る。人体モデル構成部品６５には人体モデルを構成して
いるポリゴンと基本姿勢を表示するためのポリゴンの配
置の情報が格納されている。人体モデル組立て部６３で
は、それらの情報と人体モデル姿勢決定部６２で求めら
れた、肘と肩の関節の角度に従ってポリゴンを移動させ
て人体モデルを組み立てる。

【００２４】図４と図５に人体モデルと、空間的な概念
位置の関係を示し、図６には人体モデルと体の位置を表
す概念位置の関係と、各々の概念位置に対応した法線ベ
クトル、図７には概念位置とその座標の間の関係を表す
データの構造を示す。ここで、二重丸は紙面から垂直に
手前に向かうベクトルを示している。図３のブロック図
中、実座標決定部６１では表示概念位置実座標対応ルー
ル６４に従って、図６の６４０９と図７の６４２０に示
す（頭）という概念位置に、図７の６４２１の具体的な
座標位置を与える。

【００２５】次の、人体モデル姿勢決定部６２では手話
単語ＣＧパタン１０を参照しながら、図１１と図１２に
示したＰＡＤに従って人体モデルの姿勢を決定する。ま
ず、図４、図５、図６、図８、図９を用いて人体モデル
について説明する。人体モデルは、手を持っていくべき
目標点が与えられる前は、図８に示すような基本姿勢を
とっている。Ｃｓｈ６５０５，Ｃｅｌ６５０９はそれぞ
れ肩の位置Ｓ６５０１を原点に持つ、６５０２から６５
０４に示す局所座標系（Ｘｓｈ，Ｚｓｈ，Ｙｓｈ）と肘
の位置を原点に持つ局所座標系であり、Ｃｗ６５１２は
人体モデル全体が属しているグローバルな座標系であ
る。また、ｌｕｐ６５１０とｌｌｏ６５１１はそれぞ
れ、上腕の長さと前腕の長さである。ここで、丸の中に
×が書いてある記号は紙面から垂直に奥に向かう方向に
増加するベクトルを表している。人体モデルの上腕を動
かすにはＣｓｈ６５０５における、Ｘｓｈ６５０２，Ｙ
ｓｈ６５０４，Ｚｓｈ６５０３軸の周りの回転角を指定
し、上腕を表すポリゴンを、与えられた回転角の分だけ
回転移動する。同様に前腕を動かすには、Ｃｅｌ６５０
９における、Ｘｅｌ６５０６，Ｙｅｌ６５０７，Ｚｅｌ
６５０８軸周りの回転角を指定し、前腕を表すポリゴン
を回転移動させる。また、Ｙｅｌ６５０７は図９に示し
たようにＹｓｈ６５０４に伴って動く。次に、手話単語
ＣＧパタン１０に登録されている手話単語ＣＧ辞書のデ
ータについて説明する。そのデータ構造を図１０に示
す。「見だし」１００１、「品詞」１００２は手話単語
を検索する際に用いるためのもので、「中心」１００３
は手話を行なった際に手が動く範囲の中心をＣｗ６５１
５における座標で表したものである。また、手話では手
を動かす方向も重要な意味を持つので、「方向軸」１０
０４には登録した手話パタンが動く向きに沿ったベクト
ルを登録する。「データ」１０１２には手の位置や指の
間接の角度を時間ごとに登録しておく。ここで、配列ｄ
ａｔａの１列目１０２２はそのデータが右手のものであ
るか左手のものであるかを表しており、０は右手を１は
左手を表している。２列目１０２３は時刻を表してお
り、３列目は手の位置１００７、手の向き１００８、親
指の第１関節の角度１００９といったデータの種類を表
している。

【００２６】以上で説明した内容をもとに、図１１と図
１２に示したフローチャートに従って人体モデルの姿勢
決定の方法を説明する。ここでは、「痛い」という手話
単語を例にとる。手話単語「痛い」とその表示概念位置
「痛い（頭）、（（頭）、法線）、苦痛、まっすぐ」６
２１が入力されると、図３の手話単語ＣＧパタン１０か
ら「頭」に対応する手話単語ＣＧパタンを探す６２２。
表示位置の指定があるので６２３０１、図３の表示概念
位置実座標対応ルール６３に従って、図６の６４０９に
示す表示位置（頭）に図７の６４２１に示す具体的な座
標を与える。次に、図１０の１００３に示す手話単語の
中心座標位置と、図７の６４２１に示す表示座標位置と
の差を求め６２０４、手話単語ＣＧパタンのデータに登
録されている手の位置のデータ（図１０の１０１２）を
（頭）の位置に平行移動する６２３０１。「動く向き」
の指定もあるので６２３０４、図３の手話単語ＣＧパタ
ン１０に登録されている図１０の１００４の方向軸のベ
クトルと、図３の表示概念位置実座標対応ルール６４に
登録されている、頭の法線ベクトル（図７の６４２２）
との間の角度を計算し６２３０５、手の位置のデータ
（図１０の１０１２）を回転移動する６２３０６。さら
に、表情の指定があるので６２３０７図３の手話単語Ｃ
Ｇパタン１０から表情ＣＧパタン「苦痛」を検索する６
２３０８。最後に、首の角度の指定は「まっすぐ」なの
で６２３０９、首は図８の基本姿勢のままにする６２３
０９。ここで、データの補間に使うために、図７の６４
２１に示す表示座標位置に移動した後の手話開始時の座
標と、手話終了時の座標を記憶する６２４。手話単語
「痛い」の表示の前には、手話単語「頭」があるので６
２５、手話単語「頭」終了時の人体モデルの手の座標
と、手話単語「痛い」の開始時の座標との間を中割り補
間する６２６。補間の際には、「頭」の最終位置を表示
する人体モデルの手の位置と、「痛い」の始点を表す人
体モデルの手の位置との間を、手が移動すべき軌道を描
いて、その軌道を１０分割した座標位置を手話単語ＣＧ
パタン「頭」と「痛い」の間に挿入することによって補
間する。また、指の関節角度は、始点での曲がり角と終
点での曲がり角の差を軌道の分割数で割った値を、始点
における曲がり角に加えながら表示することによって補
間する。以上で人体モデルの手の位置が全て決まったの
で、肘位置を図１３に示すＰＡＤに従って決定する６２
７。「痛い」の後には手話単語はないので６２０、終了
する。ここで、図１３のＰＡＤに従って、肘位置決定の
方法を説明する。入力される全データは、表示概念位置
に変換された手話単語のデータと単語間に挿入された補
間のためのデータである。まず、図１４に示すような手
の位置Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）６２１６２０が入力され
ると、Ｐ６２１６２０をＺｓｈ６５０３の周りに回転さ
せてＹＺ平面内にもってきた場合の位置Ｐ’６２１６２
１と、その回転角θ６２１６２３を求める６２１６２。
次に、中心が肩の位置Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）６５０
１、半径が上腕の長さｌｕｐ６５１０である円と、中心
がＰ’６２１６２１で半径が前腕の長さｌｌｏ６５１１
である円との交点を求める６２１６３。交点は図１５に
示すように、Ａ６２１６２６とＢ６２１６２７の２点が
得られるが、「問題を解決するための手段」で提示した
条件（ｂ）により、Ｓ６５０１とＰ’６２１６２１を結
んだ線よりも体から見て外側にある点Ａ６２１６２６を
選ぶ６２１６４。これで肘位置は決定したので、図１５
に示したように、Ｓ６５０１を中心とした、上腕のＸｓ
ｈ６５０２回りの回転角ｒｘｕ６２１６２４と、Ｘｅｌ
６５０６を中心とした前腕の回転角ｒｘｌ６２１６２５
を求める６２１６５。最後に、上腕をＸｓｈ６５０２回
りにｒｘｕ６２１６２５、前腕をＸｅｌ６２１６２６回
りにｒｘｌ６２１６２５回転させ、Ｚｓｈ６５０３回り
に−θ６２１６２３回転させると手は目標位置Ｐ６２１
６２０に到達する。次の人体モデル組立て部６３では、
人体モデル構成部品６５に格納されている基本姿勢のポ
リゴンの配置と、以上で求めた肘と肩の関節の角度の両
方を考慮して人体モデルを組み立てる。

【００２７】手話アニメーションの表示７例を図１６に
示す。７１には入力されたカナ漢字混じり文（ここでは
「頭が痛い」）を表示し、７２には現在画面に表示され
ているアニメーションが表している単語（「頭」）を表
示する。７３から７６はアニメーションの表示方法を変
更するための入力エリアで、７３はアニメーションを再
表示するための入出力エリア、７４は表示速度を速くす
るための入出力エリアで、７５は表示速度を遅くするた
めの入出力エリア、７６は表示を中止するための入出力
エリアである。

【００２８】次に、図１を用いて手話単語ＣＧパタンを
登録する方法について説明する。ここでは、「頭」とい
う手話単語ＣＧパタンを登録をする場合を例に説明す
る。まず、手話単語ＣＧパタンを登録したい人が、手袋
型センサ８を装着して「頭」という手話を行う。手袋型
センサ８は手話を行っている間、手の位置、向き、指の
第１関節と第２関節の角度のデータを１／３０秒毎に検
出して、手袋型センサインタフェイス部９に送る。手袋
型センサインタフェイス部９では、データを計算機が認
識可能な形に変換し、手話単語ＣＧパタン１０に登録す
る。また、「うれしい」、「悲しい」、「苦痛だ」など
の基本的な表情を生成するための顔のデータも、ポリゴ
ンを組み合わせて予め作成し、見出しをつけて手話単語
ＣＧパタン１０に格納しておく。

【００２９】最後に、上記の方法で収集された手話単語
ＣＧパタンを補正する方法について述べる。まず、指の
関節の角度を補正する方法について述べる。まず、保持
されている時間がある程度長い指の形は手話を認識する
上で重要な鍵となっているので、保持時間の長い指の形
を補正しする。その際には、指の関節の角度を大きく３
つに分類し、各々の指を図１７と図１８に示す指の形の
基本５パタンのどれかと対応させることによって補正後
の角度を決める。この分類は以下の基準で選んだ。第一
に、手話に現われる指の形では第二関節と第三関節の角
度が同じであるため、指の形は第一関節と第二関節の関
係で分類する。第二に、異なる情報を表すために必要で
あると考えられる関節の角度は、指がまっすぐであるこ
とを表す０゜、曲がっていることを表す９０゜、親指と
他の指を用いて円を描く際に必要な６０゜である。以上
の基準に従うと指の形は図１７と図１８のように５パタ
ンに分類することができる。

【００３０】これらのパタンを使って手話単語ＣＧパタ
ンの指の関節のデータを、図２０と図２１に示したフロ
ーチャートに従って補正する。補正したい手話単語ＣＧ
パタンが入力される１７００と、指の形が１秒以上保持
されている部分を探す１７０１。そして、指の形の保持
が始まる時間ｔ１と、保持終了の時間ｔ２を記憶する１
７０２。ｔ１とｔ２の間を３つの領域、補間領域１、保
持領域、補間領域２に分ける。ここで、３で割り切れな
い分は保持領域に含める１７０３。図１０の１００９に
示す両手のｔ１のデータについて１７０４第一関節の角
度ａｎｇ１と第二関節の角度の差を求め、その差がΔａ
ｎｇ以上で１７０５かつ、第一関節の角度が９０°に近
かった場合には図１８のｃａｓｅ５１５０４に示したよ
うに第一関節は９０°、第二関節は０°、第三関節は０
°に設定し、第一関節の角度が０°に近い場合には第
二、第三関節の角度は９０°に設定する１５０２。一
方、差がΔａｎｇ以下であった場合には１８０６、第一
関節の角度が０°、６０°、９０°のどの角度に近いか
によってｃａｓｅ１の１５００、ｃａｓｅ４の１５０
３、ｃａｓｅ２の１５０１のどれかの状態に設定する。
以上のようにして決定された指の関節の角度のデータ１
００９を、手の形が保持されている領域に複写する１８
０７、１８０８。最後に、ｔ＝ｔ１−１の時刻のデータ
と、保持領域の初めのデータとの間を補間して、補間領
域１のデータ１００９に登録する。同様にして、保持領
域の終わりのデータとｔ＝ｔ２＋１のデータとの間を補
間して補間領域２に登録する１８０９。以上の作業を指
の形が保持されている時間ｔ＝ｔ１からｔ２までの間の
両手の全ての指について行う。

【００３１】次に、手の位置の座標に含まれるノイズを
取り除くための方法について述べる。その方法を図１９
に示した。ある時間の区間ｔ＝ａ１６０１とｂ１６０２
の間に図１９の曲線のようなノイズが入っていたとす
る。このままの状態で、人体モデルの手を表示すると、
不自然な細かな動きが表示されてしまう。そこで、図１
９の太い直線で示したようにａ１６０１とｂ１６０２の
間を直線で結んで近似する。

【００３２】以上で述べたように、本発明によれば、肘
の位置を拘束することによって肘位置が一意に決定さ
れ、少なくない計算量で不自然でない手話をＣＧのアニ
メーションで表示することができる。また、一手話単語
分のアニメーションは手袋型センサを用いて収集した実
際の手の動きのデータをもとに、３次元カラーアニメー
ションとして生成しているので、手の動き方がより自然
である。また、手袋型センサを用いて収集した手と指の
データを補正して、実際の手話で行う場合よりも多少大
げさに曲げることによって、手の表示が人間の手の大き
さよりもかなり小さい場合でも、指の形が認識できる。
さらに、手話に合った表情を表示することによって、同
じ形で意味の異なる手話が表示できるようになり、首を
傾けてその場に合った方向に視線を送ることによって手
話の受信者が空間内で注目すべき点が明らかになる。こ
れらの工夫によって手話が読み取りやすくなり、読み取
りの間違いを減らすことができるとともに、受信者の負
担を軽減することができる。また、ここで用いた人体モ
デルは、新井：動力学を応用した多関節構造体のキーフ
レームアニメーション；グラフィックスとＣＡＤ，５７
−３（１９９２）で報告されたものである。

【００３３】

【発明の効果】本発明によれば、手袋型センサなどで採
取された手話単語ＣＧパタンを用いてアニメーションを
作成することによって、自然な手話の生成が可能とな
り、手話単語ＣＧパタンに補正を加えることによって、
見やすい手話の表示が可能となる

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示したブロック図。

【図２】表示様式を概念的に決定するためのＰＡＤ。

【図３】手話ＣＧアニメーション生成部のブロック図。

【図４】上下関係と奥行きを表す表示概念位置と人体モ
デルの関係。

【図５】上下関係と左右の関係を表す表示概念位置と人
体モデルの関係。

【図６】体の部位を表す表示概念位置と人体モデルの関
係。

【図７】表示概念位置と実座標の対応関係を表すデータ
の構造。

【図８】人体モデルの基本姿勢と座標系。

【図９】上腕と前腕の関係。

【図１０】手話単語ＣＧパタンに登録されるデータの構
造。

【図１１】人体モデル姿勢決定部のＰＡＤ。

【図１２】表示様式決定部のＰＡＤ。

【図１３】肘位置決定のＰＡＤ。

【図１４】目標点Ｐと仮目標点Ｐ’の関係。

【図１５】肩と肘の角度の決定。

【図１６】表示画面の構成。

【図１７】指の関節角度の補正のための基本５パタン
Ｉ。

【図１８】指の関節角度の補正のための基本５パタンＩ
Ｉ。

【図１９】手の位置座標の振動補正。

【図２０】手の指の関節角度の補正のためのＰＡＤ。

【図２１】指関節補正のＰＡＤ。

【符号の説明】

１…マイク、２…音声インタフェイス部、３…キーボー
ド、４…キーボードインタフェイス部、５…自然言語処
理部、６…手話ＣＧアニメーション生成部、７…手話ア
ニメーション表示画面、８…手話型センサ、９…手話型
センサインタフェイス部、１０手話単語ＣＧパタン、６
１…実座標決定部、６２…人体モデル姿勢決定部、６３
…人体モデル組立部、６４…表示概念位置実座標対応ツ
ール、６５…人体モデル構成部品。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平４−134515（ＪＰ，Ａ) アニメーションによる日本語手話表現に関する基礎的検討寺内美奈長嶋祐二三原浩樹長嶋秀世大和玄一情報処理学会研究報告Ｖｏｌ．92，Ｎｏ．15，Ｐ．49〜54 92−ＨＩ−41（ヒューマンインターフェース 41−７）社団法人情報処理学会発行1992年３月２日発行知的通信方式手話画像伝送のための手話画像生成システム棚橋真除軍青木由直テレビジョン学会技術報告（情報ディスプレイ無線・光伝送画像通信システム画像応用）Ｖｏｌ．17，Ｎｏ．８，Ｐ．25〜30）社団法人テレビジョン学会発行1993年１月28日公知 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/70 G06T 17/40 G06F 3/153 320 特許ファイル（ＰＡＴＯＬＩＳ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】手話を３次元コンピュータグラフィックス
（ＣＧ）のアニメーションで表示す装置において、あら
かじめ手袋型センサなどで採取された手や指の動きの時
系列データ（手話単語ＣＧパタン）を保持する手段と、
手話単語ＣＧパタンに手話の表示を見やすくするための
補正を加える手段を有し、前記手話単語ＣＧパタンの補
正は、肘位置を一意に決定し、肘位置決定のための計算
量を少なくするための２つの拘束条件、（ａ）肘位置は
人体モデルの手の位置と左右の肩の位置とを含んだ平面
内にある（ｂ）肘位置は肩の位置と手の位置を結んだ線
より体側には入らない、のうち少なくとも１つの拘束条
件を設けて手の位置から肘の位置を計算して行うことを
特徴とする手話生成装置。
【請求項２】手話を３次元コンピュータグラフィックス
（ＣＧ）のアニメーションで表示す装置において、あら
かじめ手袋型センサなどで採取された手や指の動きの時
系列データ（手話単語ＣＧパタン）を保持する手段と、
手話単語ＣＧパタンに手話の表示を見やすくするための
補正を加える手段を有し、前記手話単語ＣＧパタンの補
正は、手袋型センサなどで採取された指の関節の角度の
データを、指の形の基本５パタンに対応させて行うこと
を特徴とする手話生成装置。