JPH0667601A

JPH0667601A - 手話通訳装置および手話通訳システム

Info

Publication number: JPH0667601A
Application number: JP4247285A
Authority: JP
Inventors: Yutaka Sako; 裕酒匂; Hirohiko Sagawa; 浩彦佐川; Masahiro Abe; 正博阿部; Hiroshi Ichikawa; 熹市川; Kiyoshi Inoue; 潔井上; Kiyoshi Arai; 清志新井; Takanori Shimura; 隆則志村; Yuji Toda; 裕二戸田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-08-24
Filing date: 1992-08-24
Publication date: 1994-03-11
Anticipated expiration: 2017-11-18
Also published as: JP3346799B2

Abstract

(57)【要約】【目的】動的な手話を自動認識し、話者の表情を認識
して、話者の感情を含んだ自然文を得、それを、テキス
ト、音声、他の種類の手話などで表現する。【構成】手話認識部２ではデータグローブ１からの話
者時系列データと手話単語辞書内の手話時系列データと
を照合して手話を認識し、自然文変換部３で助詞等を付
加し自然文を生成出力し、表情認識部５ではＴＶカメラ
４からの話者の映像を入力として話者の感情種類とその
感情度を認識出力し、計算機１６では、自然文および感
情種類とその感情度に基づき、音声出力装置(１１，１
２)用、テキスト出力装置(１３，１５)用、手話出力装
置(１３，１４，１５)用に夫々出力情報を作成し出力す
る。健常者側の入力は、音声入力装置(９，１０)、テキ
スト入力装置８から入力され、計算機１６により各出力
装置に出力される。フロッピーディスク６、Ｉ／Ｏデバ
イス部からは記録済みの自然文等が入力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、手話を認識し、それ
を、テキスト、音声、または他の種類の手話などの表現
形態に変換し、その情報を伝達する手話通訳装置および
手話通訳システムに関するものである。

【０００２】

【従来の技術】従来の関連技術として、（公知例１）特
開平２−１４４６７５号公報「手動作認識装置と手話言
語変換装置」、（公知例２）特開平３−１８６９７９号
公報「ニューロコンピュータを用いた手の姿勢認識方
式」が提案されている。（公知例１）においては、色の
付いた手袋を用いて色認識により指の位置関係を求め
る。そして、それと予め登録してある幾つかの指文字の
指位置関係を照合することで、入力された指文字を認識
している。（公知例２）においては、周知のデータグロ
ーブを用いて指の静的な形状とその指文字の意味との対
応をニューラルネットワークを用いて学習させている。
認識時には、データグローブからの指の静的な形状デー
タをニューラルネットワークに入力し、その出力を指文
字の意味としている。

【０００３】

【発明が解決しようとする課題】上記の従来技術は、基
本的に静的な指文字を認識するものなので、次のような
理由で、指や手の動き（手話パターン）を認識する必要
のある自然な手話会話の認識ができないという問題点が
ある。なお、以降では、静的な片手の指形状を用いた伝
達方法を指文字、動的な両手の指や手の動きを用いたも
のを手話とし、それぞれを区別して記述する。（１）（公知例１）では、指文字としての指の伸び、曲
げ、不定等を記号化しているが、手話における指や手の
時間的動きは自由度が大きいため時間的動きの記号化は
一般に困難であり、原理的には手話の認識に適用しずら
い。（２）（公知例２）ではニューロ学習を用いているが、
動的な手話に適用しようとすると、手話単語の切り出し
や手話単語の時間的変動という困難な問題に直面し、原
理的に手話の認識に適用できない。また、（公知例１）
には、手話における単語の照合を目的とした記述もある
が、そこに述べてあるように単語と単語の間にポーズを
挿入する必要があるため使用者に負担を与える結果とな
り、自然な手話会話を阻害してしまう。

【０００４】さらに、手話通訳自体のその他の課題とし
て次項が挙げられる。（３）手話は、その指形状、手の位置、動きに個人差が
存在する。音声認識からの知見として特定話者認識の方
が不特定話者認識より簡単である。指文字の場合、その
種類数が５０語弱と少ないため、使用以前に、使用者に
よる個人指文字の登録や個人用ニューロの重み係数の学
習が考えられる。しかしながら、手話の場合、その基本
単語数が少なくとも１０００語と多いために、個人適用
のためのそのような登録や学習が時間的に不可能とな
る。（４）一般に、手話によって行なった過去の会話を参考
にしたくなったり、記録しておきたい場合も多い。これ
らの機能は、まだ実現されていない。（５）手話には、感情を伝える単語が乏しい。そのた
め、顔の表情や身振りの大きさでそれを表現している。
しかし、一般に、健常者は手話に神経が集中しているた
め、この表情や身振りの大きさを読み取れない場合が多
い。従って、手話通訳装置には、自然な会話を実現する
ために、感情を伝達する機能が必要不可欠となる。本発明の目的は、以上説明した従来技術の問題点やその
他の課題を解決し、単語数が多く、しかも、個人差のあ
る動的な手話を認識し、種々の表現形態を用いて相手に
伝達することが可能な手話通訳装置および手話通訳シス
テムを提供することにある。

【０００５】

【課題を解決するための手段】上記問題点や課題を解決
するために、本発明では、指と手の動きを時系列データ
として求める手段と、前記指と手の動きの時系列データ
を入力手話時系列データとし、該入力手話時系列データ
をキャリブレーションする変換部と、各手話単語の手話
時系列データを手話単語辞書データとして格納する手話
単語辞書と、変換部の出力と手話単語辞書データとを照
合し、入力手話時系列データに対応する手話単語を認識
出力する照合部を備える手話認識部と、手話認識部から
出力された手話単語にルール規範に基づき助詞等を付加
して自然文を出力する自然文変換部を備える。また、さ
らに、特定の手話単語の手話時系列データと該手話時系
列データに対応する手話単語辞書データとを入力し、該
両入力データの各時間ごとの対応を求め、この対応関係
を出力する第２の照合部と、前記入力手話時系列データ
と前記第２の照合部の出力のいずれか一方を選択して前
記変換部に出力する選択部とを設け、前記変換部に前記
第２の照合部の出力により前記キャリブレーションのた
めの認識用パラメータを学習する手段を設けている。ま
た、さらに、前記キャリブレーションのための認識用パ
ラメータを学習する手段としてニューラルネットワーク
を用いている。また、さらに、手話使用者の顔画像を入
力し、その顔画像から表情を認識し、“喜び”“悲し
み”等の感情種類とその感情度（強度）を求める表情認
識部と処理装置を設け、該処理装置は、前記自然文変換
部の出力である自然文と前記表情認識部の出力である感
情種類とその感情度（強度）を入力として感情的形容詞
を付加した自然文を出力するようにしている。また、ロ
ーカルエリアネットワークの複数のステーションに、ス
テーション毎に手話通訳装置を設置し、複数台の手話通
訳装置間で情報の交換をすることができるようにしてい
る。

【０００６】

【作用】データグローブ等から入力されてくる時系列の
手話の時系列データと各手話単語辞書データをスキャン
しながら照合するようにする。そして、一致度が最も高
い部分（図４の点線部）で各手話単語辞書データが照合
することができる。また、幾つかの限られた個数の入力
手話単語データとそれに対応する手話単語辞書データの
違い、すなわち、使用者の手話の一般的な癖をデータ変
換規則（キャリブレーション規則）として学習すること
ができる。この変換規則を用いることで、使用者の手話
をより手話単語辞書データに近いデータに変換すること
ができるため認識精度をよくすることができる。さら
に、表情認識部を備えたことにより感情表現をも通訳す
ることができるようになり、より自然な会話を実現でき
る。

【０００７】

【実施例】以下、本発明の実施例を図１〜図９を用いて
詳細に説明する。まず、図１において、手話通訳装置１
００の全体構成と各要素部の機能及びデータの遷移につ
いて説明する。この装置は、大きく分けて８つの部分、
手話認識部分（１、２、３）、表情認識部分（４、
５）、データ入出力部分（６、７）、音声認識部分
（９、１０）、キーボード部分（８）、表示部分（１
３、１４、１５）、音声発生部分（１１、１２）、処理
装置（計算機）（１６）からなっている。まず、手話利
用者と他方の利用者との会話の例を通じて、この手話通
訳装置の動きを説明する。手話利用者が行なう手話を通
訳するために、手話利用者の指の形、手の方向と位置の
時系列情報ｄ１がデータグローブ１から手話認識部２に
送られる。そして、手話認識部２において、この時系列
情報ｄ１と手話単語辞書データを動的に照合すること
で、時系列情報ｄ１に含まれている単語を記号化（ｄ
２）する。自然文変換部３では、順次入力されてくる記
号化単語ｄ２の間に適切な助詞等を補足して、自然文
（ｄ３）を作成し出力する。一方、ＴＶカメラ４によ
り、手話利用者の顔画像（ｄ４）が同時に取り込まれ、
表情認識部で彼の（微笑みや悲しみ等の）表情を認識
し、その（微笑みや悲しみ等の）程度（ｄ５）を出力す
る。

【０００８】通訳出力媒体として音声を利用する場合、
これらのデータｄ３、ｄ５は、計算機１６に送られ、簡
単な感情的形容詞が付加された自然文あるいは音声合成
用のパラメータ（ｄ１２）に変換された後、音声合成部
１２に送られる。音声合成部１２では、このデータｄ１
２に基づき、自然文（ｄ３）に対応した感情（ｄ５）を
伴った音声が合成される。通訳出力媒体としてテキスト
を利用する場合、データｄ３、ｄ５は、計算機１６に送
られ、簡単な感情的形容詞が付加された自然文（ｄ１３
２）に変換された後、モニタ１３に送られテキスト表示
される。また、通訳出力媒体として他の種類の手話を利
用する場合、計算機１６により、簡単な感情的形容詞が
付加された自然文（ｄ３）から単語部分（ｄ１４）が取
り出された後、手話ＣＧ発生部１４に送られ、対応する
単語単位の手話ＣＧがモニタ１３に出力される。

【０００９】これらの通訳出力媒体を通じて手話利用者
の会話を理解した他方の利用者は、キーボード８、マイ
ク９、或いは、データグローブ１（もう一式別の手話認
識部を用意しても良い）を用いて会話を行なう。テキス
ト会話の場合には、キーボード８を用いて会話文（ｄ
８）を入力し、それをモニタ１３に表示する。あるい
は、キーボード８を用いて簡単な単語単位の会話文（ｄ
８）を入力し、手話ＣＧ発生部１４で対応する単語単位
の手話ＣＧに変換してモニタ１３に出力してもよい。マ
イク９を用いた音声会話の場合には、各単語毎に発声し
た音声データを音声認識部１０で認識し記号化（ｄ９）
する。それを、テキストとしてモニタ１３に表示する
か、あるいは、手話ＣＧ発生部１４で対応する単語単位
の手話ＣＧをモニタ１３に出力する。また、データグロ
ーブ１を用いた手話会話の場合には、先に説明したと同
様な手順で、手話会話を音声、テキスト、手話ＣＧで出
力する。

【００１０】計算機１６は、処理部の全体制御と簡単な
データ変換を行なうためのものである。なお、音声認識
部１０、音声合成部１２は、それぞれの既に開発されて
いる技術（例えば、“聴覚と音声” 電子通信学会三
浦種敏監修１９８０）を用いれば、容易に達成でき
る。以降、図１における本発明に直接かかわる、手話認
識部（１、２、３）、表情認識部（４、５）、データ入
出力部（６、７）に関して、順次詳細に説明する。

【００１１】図２は、手話認識部２の具体的構成を示し
たものである。この認識部の機能として、次の２つがあ
る。機能（１）：予め定めてある幾つかの手話単語に対応し
た利用者の手話単語データをデータグローブから取得
し、同一単語における入力手話単語データと手話単語辞
書データとの関係を比較し、データ変換を行なう。これ
は、手話の個人差のキャリブレーション、すなわち、利
用者の手話データをより手話単語辞書データに似たデー
タに変換することを目的としている。このキャリブレー
ションは、装置使用開始時のみ実行される。機能（２）：利用者の（キャリブレーション後の）手話
会話の時系列データと手話単語辞書データを動的に照合
し、時系列データに含まれる単語を検出する。

【００１２】まず、機能（１）の実現に関して説明す
る。手話利用者は、予め決められた手話単語ｄ１を一つ
づつ照合部１に入力する。そして、それに対応した手話
単語辞書データｄ２２が手話単語辞書格納部２２から読
み出されて照合部１に入力され、照合部１で端点固定動
的照合が行なわれる。一般に、手話単語は静的な指文字
と違い、指や手の動きで単語を表したものである。その
ため、データグローブから得られるデータは、図４に示
したような、指関節角度を表すｆ11からｆ52（たとえ
ば、ｆ11は親指の第１関節の関節角度、ｆ12は親指の第
２関節の関節角度を表し、以下ｆ21からｆ52は他の指の
第１関節の関節角度と第２関節の関節角度を表す）、手
の平の方向を表すｈｄ１からｈｄ３、手の位置を表すｈ
ｐｘからｈｐｚの時系列多次元関数Ｐ（ｔ）（多数の１
次元関数からなる関数のことである）となる。手話単語
辞書データは一つの単語を表現したもので、同様に時系
列多次元関数ｐ（ｔ）と表現できる。なお、図には簡単
のため片手分の時系列データを示したが、実際には、両
手のデータを用いるため、この２倍の次元を持った関数
である。

【００１３】図４に示したように、当然のことながら、
入力手話単語データと手話単語辞書データには個人差に
よる違いがあるため、その差を吸収するために入力手話
単語データから手話単語辞書データへの変換を行なう必
要がある。このため、まず、端点固定動的照合を行な
い、両者の最適な対応個所を求める。端点固定動的照合
は、入力データの始点と辞書データの始点を対応固定
し、入力データの終点と辞書データの終点を対応固定
し、すなわち両端の対応を固定し、その他の部分の時間
的な変動を許した一種の動的なテンプレートマッチング
であり、公知の方法を用いる（“パターン認識と学習の
アルゴリズム” 文一総合出版上坂吉則／尾関和彦
著、ｐ９１）。

【００１４】幾つかの単語毎にこの照合を行ない、対応
個所の情報を図４のｄ２４として出力する。ｄ２４は、
図４に示すように入力手話単語データと手話単語辞書デ
ータの対応個所のデータ、すなわちＰ（Ａ）、Ｐ
（Ｂ）、Ｐ（Ｃ）、Ｐ（Ｄ）、Ｐ（Ｅ）、Ｐ（Ｆ）、Ｐ
（Ｇ）・・・およびｐ（ａ）、ｐ（ｂ）、ｐ（ｃ）、ｐ
（ｄ）、ｐ（ｅ）、ｐ（ｆ）、ｐ（ｇ）・・・からな
る。図２の２５は選択部であり、機能１を実行する場合
には、選択部２５で、データｄ１を選択せずに、対応個
所データｄ２４を選択し、これを変換部２１への入力ｄ
２５とする。変換部２１は、図３に示すように、層型ニ
ューロ２１１および選択部２１２、２１３からなる。変
換部２１では、選択部２１３により、入力されたデータ
ｄ２５の内のＰ（Ａ）、Ｐ（Ｂ）、Ｐ（Ｃ）、Ｐ
（Ｄ）、Ｐ（Ｅ）、Ｐ（Ｆ）、Ｐ（Ｇ）・・・を選択し
て層型ニューロ２１１の入力とし、また、選択部２１２
によってｄ２５中のｐ（ａ）、ｐ（ｂ）、ｐ（ｃ）、ｐ
（ｄ）、ｐ（ｅ）、ｐ（ｆ）、ｐ（ｇ）・・・を層型ニ
ューロ２１１の教師データｄ２１２として利用すること
によって層型ニューロ２１１の学習が行なわれる。幾つ
かのサンプルデータｄ２５を用いて層型ニューロ２１１
の学習を行なうことによって、手話利用者の時系列デー
タＰ（ｔ）から単語辞書データｐ（ｔ）への変換則が、
層型ニューロ２１１の重み係数の形で学習されることに
なる。

【００１５】次に、機能（２）の実現に関して説明す
る。機能（２）を実行する場合には、図２の選択部２５
ではデータｄ１が選択され、ｄ２５となり、図３の選択
部２１３ではｄ２５を選択して層型ニューロ２１１の入
力とし、選択部２１２では、ｄ２１２が選択され、ｄ２
１となる。手話利用者の入力手話時系列データｄ１は、
先に説明したキャリブレーションの場合と異なり、手話
会話を目的とした幾つかの手話単語を時系列に並べたも
のである。この入力手話時系列データｄ１は、学習済み
の層型ニューロで変換され、利用者の個人差を排除した
変換入力手話時系列データｄ２１となる。すなわち、こ
の変換入力手話時系列データｄ２１は、先に説明した機
能（１）により、幾つかの対応した手話単語辞書データ
に似た時系列データに変換されていることになる。

【００１６】図２の照合部２（２３）は、この変換され
た入力手話時系列データｄ２１と各手話単語辞書データ
を照合し、入力手話時系列データ内の一連の手話単語を
検出するためのものである。この照合部２（２３）の動
作に関して図５を用いて説明する。図５のｄ２１は入力
手話時系列データ、ｄ２２は手話単語辞書データであ
る。入力手話時系列データは先に説明したように、多次
元の時間ｔの関数である。手話単語辞書データｄ２２に
は、例えば、図に示したようにＡ、Ｂ、Ｃ、・・・があ
り、それぞれが入力手話時系列データｄ２１と動的に照
合される。この動的な照合には、連続ＤＰ照合と呼ばれ
る方法（岡，“連続ＤＰを用いた連続単語認識”，日本
音響学会音声研究会，Ｓ７８−２０，ｐｐ．１４５−１
５２，１９７８）を利用する。すなわち、この動的な照
合は、基本的には、各手話単語辞書データを、入力手話
時系列データ上でスキャンさせ、各時間毎にマッチング
を行ない、一致度が最も良い位置（時刻）にその手話単
語が存在したと認識するものである。マッチングの際に
は、若干の時間的な変動を許しながら行なうことができ
る。照合部２（２３）からは、認識された単語を時系列
にｄ２として出力する。自然変換部３では、これらのデ
ータをもとに、ルール規範によって助詞等を付加し、よ
り自然文に近い文章を記号化して出力する。

【００１７】次に、表情認識部５を、図６、７、８を用
いて詳細に説明する。図６は、表情認識部５の具体的な
構成を示したものであり、入力ｄ４は手話利用者の顔画
像、出力ｄ５は、表情から得られた感情種類とその感情
を数値化した感情度（喜び度６０％、悲しみ度１０％等
々）である。図内の４１で、顔画像の“目”“口”
“鼻”“眉”の位置検出（ｄ４１０）とその“目”部分
画像（ｄ４１４）、“口”部分画像（ｄ４１３）、
“鼻”部分画像（ｄ４１２）、“眉”部分画像（ｄ４１
１）の切り出しを行なう。各部分の表情照合部（４２
４、４２３、４２２、４２１）では、基本表情パターン
辞書（４３４、４３３、４３２、４３１）を参照しなが
ら、各部分の感情度（ｄ４２４、ｄ４２３、ｄ４２２、
ｄ４２１）を検出する。総合判定部４４では、これらの
感情度と“目”“口”“鼻”“眉”の位置検出（ｄ４１
０）から決まる感情度とを総合的に判断し、最終的な感
情種類とその感情度を出力する。

【００１８】図７は、各部分の位置検出と切り出しを行
なうための具体的な構成を示したものである。まず、差
分による顔抽出部４１１で、背景の無い顔画像ｄ４１１
０を得る。この実現には、予め登録してある背景画像４
１２と入力画像ｄ４との差分を求め、絶対差分値が大き
い部分を求めれば、容易に達成できる。各部の抽出（４
１３）では、顔画像ｄ４１１０の全体位置と全体の大き
さを投影分布等の画像処理手法を利用して検出する。
“目”“口”“鼻”“眉”の各部については標準的な画
像パターンおよび基本位置情報（４１４）が用意され、
背景の無い顔画像ｄ４１１０に対して各部の標準的な画
像パターン（４１４）をテンプレートとしてテンプレー
トマッチングを行ない、各部分の位置を検出する。この
時、各部の基本位置情報（４１４）を、求めてある顔画
像の全体位置と全体の大きさを用いて正規化すること
で、テンプレートマッチングを実行する範囲を制限で
き、精度と効率の良いマッチングを実現できる。一旦、
各部分の位置を検出できれば、各部分画像を切り出すこ
とは容易となる。出力のｄ４１０が各部の位置座標、ｄ
４１４、ｄ４１３、ｄ４１２、ｄ４１１が“目”部分画
像、“口”部分画像、“鼻”部分画像、“眉”部分画像
である。

【００１９】図８は、表情認識部５の口の表情照合４２
３の具体的な構成例を示したものである。まず、“口”
部分画像ｄ４１３は、特徴抽出部で、画像処理により、
面積、縦横比、ｘｙ投影分布形状等の形状的特徴が抽出
される。これらの形状的特徴は、予め登録してある、喜
んだ“口”の形状的特徴、悲しんだ“口”の形状的特徴
と比較（特徴空間上での距離による比較）され、いずれ
に近いかが決定される。そして、近い方の感情種類と距
離に反比例した感情度を出力（ｄ４２３）する。その他
の部分（“目”“鼻”“眉”）の表情照合も全く同様な
構成で実現できる。表情照合部５の総合判定部４４で
は、入力画像の各部の形状的特徴から得られた感情種類
と感情度、および各部の位置座標関係から得られた感情
種類と感情度を用いて、最終感情種類を多数決で決定す
る。そして、得られた感情度のうち、最終感情種類と同
じ感情種類の感情度の平均を最終感情度（ｄ５）とす
る。なお、各部の位置座標関係から得られる感情種類と
感情度の決定は、予め、各表情の標準画像の各部の位置
座標を記憶しておき、入力画像と標準画像の各部の位置
ずれ誤差の総和を求め、その誤差の大小で決定する方式
をとる。すなわち、誤差が最も少ない位置関係を持つ標
準画像の感情種類および誤差に反比例した感情度をそれ
ぞれの入力画像の感情種類および感情度とする。

【００２０】次に、図１におけるデータ入出力部（６、
７）に関して説明する。この部分は、（１）手話利用者
のデータグローブからの会話生データあるいは自然文変
換後の文章をフロッピデスク６に記憶する、あるいは、
記憶されたそれらのデータをフロッピデスク６から読み
出す、（２）手話認識部２の変換部２１の層型ニューロ
のパラメータ（重み係数）をフロッピデスク６に記憶す
る、あるいは、記憶されたそのデータをフロッピデスク
６から読みだすためのものである。読み出された（１）
のデータは、音声合成部やモニタ、あるいは、手話ＣＧ
発生部に送られ、その内容を表示される。また、読み出
された（２）のデータは、変換部２１の層型ニューロの
パラメータ（重み係数）にセットされる。

【００２１】図９は、手話ＣＧ発生部１４の構成を示し
たものである。図９のｄ１４は、単語情報であり、その
情報により対応する単語ＣＧパターンのアドレス（ｄ１
４２）をアドレス発生部（１４２）で発生し、指定され
た単語ＣＧパターン（ｄ１３１）をモニタ１３に送り、
表示する。以上、手話通訳装置の各部分を詳細に説明し
た。このような構成で、先に述べた課題すべてを解決で
きる手話通訳装置を実現できる。なお、以上の手話通訳
装置１００の実施例では、データのやり取りを有線で行
うことを想定して説明したが、各部のデータのやり取り
をすべて、または、一部無線で行うようにして、稼動性
を良くした構成にしても良い。

【００２２】図１０は、以上説明した手話通訳装置１０
０をＬＡＮ（ローカルエリアネットワーク）インタフェ
ース１０１を介してＬＡＮまたは無線ＬＡＮで複数台連
結した手話通訳システムを示したものである。このよう
な構成をとることで、病院、警察署、役所等の公共施設
内、或いは、それぞれの施設間における手話やジェスチ
ャによる情報通信やデータベースへのアクセスが可能と
なる。

【００２３】

【発明の効果】本発明により、個人差のある動的な手話
を認識でき、認識結果に基づき自然文変換をすることが
できる。また、表情認識をすることができ、感情を伴っ
た自然文の発生が可能となる。さらに、手話利用者と健
常者の間での会話を容易にすることができる。

【図面の簡単な説明】

【図１】手話通訳装置の全体構成を示した図である。

【図２】手話認識部の構成を示した図である。

【図３】手話認識部内の変換部の構成を示した図であ
る。

【図４】手話認識部内の照合部１の動作を示した図であ
る。

【図５】手話認識部内の照合部２の動作を示した図であ
る。

【図６】表情認識部の構成を示した図である。

【図７】表情認識部内の各部分の位置検出と切り出し部
の構成を示した図である。

【図８】表情認識部内の口の表情照合部の構成を示した
図である。

【図９】手話ＣＧ発生部の構成を示した図である。

【図１０】手話通訳システムの構成例を示した図であ
る。

【符号の説明】

１データグローブ２手話認識部３自然文変換部４ＴＶカメラ５表情認識部６フロッピディスク７Ｉ／Ｏデバイス部８キーボード９マイク１０音声認識部１１スピーカ１２音声合成部１３モニタ１４手話ＣＧ発生部１５選択部１６計算機

───────────────────────────────────────────────────── フロントページの続き (72)発明者市川熹東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者井上潔東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者新井清志東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者志村隆則東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者戸田裕二東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】指と手の動きを時系列データとして求め
る手段と、手話認識部と、自然文変換部を備える手話通
訳装置であって、前記手話認識部は、前記指と手の動きの時系列データを
入力手話時系列データとし、該入力手話時系列データを
キャリブレーションする変換部と、各手話単語の手話時系列データを手話単語辞書データと
して格納する手話単語辞書と、前記変換部の出力と前記手話単語辞書データとを照合
し、入力手話時系列データに対応する手話単語を認識出
力する照合部を備え、前記自然文変換部は前記手話認識部から出力された手話
単語にルール規範に基づき助詞等を付加して自然文を出
力することを特徴とする手話通訳装置。
【請求項２】請求項１記載の手話通訳装置において、
特定の手話単語の手話時系列データと該手話時系列デー
タに対応する前記手話単語辞書データとを入力し、該両
入力データの各時間ごとの対応を求め、この対応関係を
出力する第２の照合部と、前記入力手話時系列データと前記第２の照合部の出力の
いずれか一方を選択して前記変換部に出力する選択部と
を設け、前記変換部に前記第２の照合部の出力により前記キャリ
ブレーションのための認識用パラメータを学習する手段
を設けたことを特徴とする手話通訳装置。
【請求項３】請求項２記載の手話通訳装置において、
前記キャリブレーションのための認識用パラメータを学
習する手段としてニューラルネットワークを用いること
を特徴とする手話通訳装置。
【請求項４】請求項１乃至請求項３のいずれかの請求
項記載の手話通訳装置において、手話使用者の顔画像を入力し、その顔画像から表情を認
識し、“喜び”“悲しみ”等の感情種類とその感情度
（強度）を求める表情認識部と処理装置を備え、該処理装置は、前記自然文変換部の出力である自然文と
前記表情認識部の出力である感情種類とその感情度（強
度）を入力として感情的形容詞を付加した自然文を出力
するようにしたことを特徴とする手話通訳装置。
【請求項５】請求項４記載の手話通訳装置において、
前記処理装置に音声合成部を有する音声出力装置を接続
し、感情種類とその感情度（強度）に応じた音声を出力
するようにしたことを特徴とする手話通訳装置。
【請求項６】請求項４記載の手話通訳装置において、
前記処理装置にテキストを出力するテキスト出力装置を
接続し、感情種類とその感情度（強度）に応じたテキス
トを出力するようにしたことを特徴とする手話通訳装
置。
【請求項７】請求項４記載の手話通訳装置において、
前記処理装置に手話ＣＧ発生部を有する手話グラフィッ
クス出力装置を接続し、感情種類とその感情度（強度）
に応じた手話グラフィックスを出力するようにしたこと
を特徴とする手話通訳装置。
【請求項８】請求項５乃至請求項７のいずれかの請求
項記載の手話通訳装置において、前記処理装置にマイクロフォンと音声認識部を有する音
声入力装置を接続したことを特徴とする手話通訳装置。
【請求項９】請求項５乃至請求項７のいずれかの請求
項記載の手話通訳装置において、前記処理装置にキーボート等の文字入力装置を接続した
ことを特徴とする手話通訳装置。
【請求項１０】ローカルエリアネットワークの複数の
ステーションに、ステーション毎に前記請求項１乃至請
求項９記載の手話通訳装置のいずれか１つを選択して設
置し、複数台の手話通訳装置間で情報の交換をすること
を特徴とする手話通訳システム。