JP3345070B2

JP3345070B2 - 手話通訳装置および方法

Info

Publication number: JP3345070B2
Application number: JP01523493A
Authority: JP
Inventors: 栄二大平; 正博阿部; 朝子崎山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-02-02
Filing date: 1993-02-02
Publication date: 2002-11-18
Anticipated expiration: 2017-11-18
Also published as: JPH06230716A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コミュニケーション手
段として主に手話を用いる聴覚障害者と自然言語を用い
る健聴者との間の通訳を行なう手話通訳装置および方法
に関する。

【０００２】

【従来の技術】聴覚障害者と健聴者との通訳は、聴覚障
害者から健聴者への通訳と、健聴者から聴覚障害者への
通訳の双方の通訳が必要である。従来、前者は、カメラ
などで撮られた聴覚障害者の手話動作を認識することに
より、例えば、特開平２−１４４６７５号に記載のよう
に、聴覚障害者から健聴者への通訳を行なっている。ま
た、後者は、音声やキーから入力される自然言語を認
識、解析することにより、健聴者から聴覚障害者への通
訳を行なっている。

【０００３】

【発明が解決しようとする課題】上記従来技術のうち、
まず、聴覚障害者から健聴者への通訳の際に用いる手話
の認識や、健聴者から聴覚障害者への通訳の際に用いる
音声の認識は、人によって表現方法が異なる（例えば方
言により）などの問題があり、十分な認識結果が得られ
ず、このため、十分な性能を持つ装置を実現できないと
いう問題があった。

【０００４】このため、例えば、健聴者は曖昧性のない
キィで自然言語文を入力することが最も確実な入力手法
となるが、キィ・オペレーションを日常的に行なってい
る人を除いて、キィからの入力は非常に煩わしいという
問題がある。特に、日常良く使われる文をいちいちキィ
から入力することは非常に煩わしい。

【０００５】また、理想的には健聴者が手話を理解し、
手話で聴覚障害者とコミュニケーションできることが望
ましいが、従来技術では、手話の学習と手話によるコミ
ュニケーションは、それぞれ個別の装置で行う必要があ
り、手話通訳システム自身には健聴者が手話を学習でき
る機能を考慮していない。

【０００６】本発明の目的は、聴覚障害者と健聴者との
対話を行なう手話通訳装置において、対話性を向上させ
ることにある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、健聴者から入力される自然言語文を解析し、解析さ
れた結果を手話により表現される文に変換し、手話で表
現された文を健聴者と聴覚障害者の双方に表示すると共
に、入力文に対する１ないし複数の応答文を予測し、そ
の応答文をも自然言語、手話、アニメーション等の複数
の形態で健聴者と聴覚障害者双方に表示し、両者のうち
どちらかが表示された応答文のうちの１つを指定した場
合、他方にもその選択が確認できるようにする。

【０００８】対話の対象となる物（例えば人の体）を表
示し、表示された物（人の体）のどこか一部（例えば
頭）をマウス等で指定することにより、その箇所に関す
る、あるいはその指定位置から連想が可能である１ない
し複数の質問文（例えば、熱があるか）や属性の設定を
行なうための文を表示し、健聴者がマウス等により表示
された文の１つを選択することにより、その文を健聴者
からの入力文として処理する。

【０００９】健聴者から入力された自然言語文の解析結
果を表示し、健聴者からある一定時間以内に解析結果が
正しいか否かの意思表示がない場合には、解析結果が正
しいとして処理を続行する。

【００１０】

【作用】まず、入力に対する応答文を表示することによ
り、聴覚障害者はその内の１つを答えることになるた
め、曖昧性のないコミュニケーションが実現できる。こ
こで、応答文に例えば「どれでもない」を入れておけ
ば、柔軟性を失うことなく実現可能である。また、入力
と応答文の翻訳結果が健聴者にも示されるため、聴覚障
害者が応答文のいずれかをマウス等で選択するのでな
く、仮に手話で応答しても、健聴者は手話表示された応
答文と対比することにより、理解することが可能であ
る。さらに、これを通して、手話を学習することができ
る。

【００１１】また、対話の対象となる物との連想で、良
く使われる入力文を取り出し、入力できるため、会話の
リズムを壊すことのない迅速な入力が可能となる。

【００１２】また、自然言語文の解析結果の確認に際し
て、結果が正しい場合には何もしなくて良いため、操作
の煩わしさが低減できる。

【００１３】

【実施例】以下、本発明の実施例を図１、２を用いて説
明する。

【００１４】図１、２は、本発明の一実施例を示す手話
通訳装置の構成図である。図１のように、聴覚障害者と
健聴者は互いに、タッチパネル２、６、マウス３、７、
キィ４、８、およびディスプレイ５、９を用いて、手話
通訳処理部１を介して対話する。尚、図示していない
が、健聴者側に音声入力装置、音声出力装置を備えてお
き、手話通訳処理部１にて健聴者の音声を認識したり、
聴覚障害者からの情報を音声合成することにより聴覚障
害者とコミュニケーションを行なうことも考えられる。
また、聴覚障害者側にデータを入力する手袋やＴＶカメ
ラを備えておき、手話通訳処理部１にて聴覚障害者の手
話動作を認識することにより健聴者とコミュニケーショ
ンを行なうことも考えられる。

【００１５】図２は、手話通訳処理部１の構成を示した
もので、タッチパネル２、６、マウス３、７、およびキ
ィ４、８などからの入力の受付や、ディスプレイ５、９
への表示はインタフェース部１１において処理される。

【００１６】図２において、健聴者から自然言語による
文がインタフェース部１１を通して入力されると、自然
言語解析部１２は文の解析を行ない、解析結果を解析結
果確認部１３に送る。解析結果確認部１３は、健聴者に
解析結果に対する確認を行ない、解析結果が承認される
と、その結果を出力する。手話変換部１４は、入力の解
析結果を手話の言語へ変換し、その変換結果がインタフ
ェース部１１を通して、ディスプレイ５、９に表示され
る。尚、応答文予測部１５（質問−応答対応辞書１５
１）、簡易入力部１６等については後述する。

【００１７】自然言語解析部１２は、従来の自然言語処
理技術で実現可能である。次に、解析結果確認部１３
は、解析結果に応じて図３のような手順で解析結果の確
認を行なう。まず、ステップ１３０１では、文が一意に
解釈できたか否かを判定する。解釈が１つであった場合
には、ステップ１３０２で、その解釈が正しいかどうか
の問い合わせを行ない、ステップ１３０３で正しいとの
応答があった場合には、その解釈を出力し、終了する。
もし、間違いとの応答があった場合には、ステップ１３
０４で、再入力または入力の修正を要求する。ここで、
解釈の確認の応答において、ある一定時間以内に正否の
応答がなかった場合は、正しいとの応答であると判断す
る。

【００１８】次に、複数の解釈があった場合には、ステ
ップ１３０５で各解釈の信頼度を求める。例えば、「食
欲がありますか」の解釈としては、「食事はとれます
か」と「お腹が空いていますか」のどちらとも解釈でき
る。ここで、病院における診察の場合を想定すると、後
者の解釈は不自然であり、前者の解釈に比べて信頼度が
低くなる。ステップ１３０６では、飛び抜けて信頼度が
高い解釈があるかどうかを調べ、もし、あれば、ステッ
プ１３０７、１３０８で、その信頼度が高い解釈が正し
いかどうかの問い合わせを行なう。ここで、間違いとの
応答があった場合には、問い合わせをしなかった信頼度
の低かった残りの解釈の確認を行なう。ステップ１３０
９では、全ての解釈を提示し、意図した解釈を選択させ
る。もし、意図した解釈がなかった場合には（ステップ
１３１０）、ステップ１３１１で再入力を要求する。

【００１９】手話においては、例えば、「好き」も「〜
して欲しい」も、「好き」を表す手話の動作（以降これ
を手話単語と呼び、通常自然言語で定義されている単語
を音声単語と呼ぶことにする）で表現する。すなわち、
複数の音声単語が１つの手話単語で表現されることが多
い。また、逆に、音声単語では、字面が同じでも異なる
手話単語を使う必要があることもある。例えば、図４
は、図２の手話変換辞書１４１の例を示したものである
が、音声単語「ある」は、「食欲がある」の場合は、手
話単語の「大丈夫」に、「熱等がある」の場合は、手話
単語の「どうですか」にする必要がある。手話変換部１
４は、「食欲がある」が入力されると、手話変換辞書１
４１に基づいて、「食べる（名詞）、大丈夫」の手話単
語列に変換する。そして、実際に各手話単語を表現する
ジェスチャの画像データ（あるいはアニメーション）を
手話データ１４２から検索し、インタフェース部１１を
通して、ディスプレイ５、９に表示する。

【００２０】ここで、手話データ１４２には、例えば、
データを入力する手袋により採られた手話単語のジェス
チャの画像データ（例えば、指の各関節の位置データの
時間変化パタン）が、図５のように、その属性データを
伴って格納される。属性データとしては、データを検索
するための手話単語の見出しと品詞、データを採取した
ときの、始終点座標（Ｘ、Ｙ、Ｚ座標）、および表示さ
れる中心位置座標、後述する表示概要位置のいずれか１
つの概要位置に移動したときの表示される中心位置座
標、ならびにそのデータの方向性を示すフラグなどであ
る。

【００２１】ここで、中心位置座標とは、例えば、手話
単語「口」は、口のまわりを指でぐるぐると描く動作を
するが、この単語の中心位置座標は、口の真中の座標と
する。実際に、手話を生成する場合、手首や指の位置は
検出可能な実在するものであるが、この中心位置座標は
実在しない仮想の位置である。しかし、我々が、手話を
表現する場合、その大体の位置を把握するときに、この
中心位置が重要な役割を果たしている。このため、この
中心位置座標を基準として登録する。同様に、始終点座
標も、具体的な手首や指の位置ではなく、単語の始点や
終点における表現の中心位置である。次に、方向性は、
表示の際の位置や方向の変更の程度で、例えば、次のよ
うに分類する。

【００２２】（１）登録された位置のまま表示される単
語（思う、口など）（２）表示位置のみが移動する単語（彼、家）（３）表示位置と手のひらの向きが変わる単語（痛い）（４）表示位置と方向の移動を伴うが、起点の移動は少
ない単語（渡す）（５）表示位置と方向の移動を伴い、起点も大きく移動
する単語（話す）画像データは、左右の手のデータを格納するが、片手の
みで表現する手話の場合は、反対の手のデータに、ｎｕ
ｌｌなどのデータを格納する。

【００２３】さて、手話変換部１４は、次にような手順
で手話の画像データを生成する。一般に、手話では、ま
ず表現しようとする文の登場人物や物（以下、事象と呼
ぶ）の表現位置を設定し、方向性のある動詞により、そ
の事象間に及ぼされる動作の作用の方向を表現（関係表
現とここでは呼ぶ）しているように思われる。図６の配
置戦略部１４０１は、上述した単語変換部１４００で手
話単語に変換された手話単語列と単語間の依存関係の情
報を入力として、配置規則１４０４を用いて各単語の表
現位置を決定する。ここで決める表示位置とは、大体の
概要位置であり、例えば、横方向を（右、真中、左）、
縦方向を（上、中、下）、前後方向を（手前、奥）に分
割した位置である。このため、（横方向、縦方向、前後
方向）の形で指定する。例えば、（真中、下、手前）で
あり、これが上述した表示概要位置である。そして、各
表示概要位置毎にその中心点をあらかじめ設定してお
く。手話データ１４２の構成で示したように、単語に
は、方向性が記述されている。まず、名詞のような方向
の移動を伴わない単語（分類２）は、単にその表示概要
位置を決定する。次に、「渡す」のような動詞は、動作
の方向が変化し（分類４）、「痛い」や「痛む」のよう
な形容詞や動詞は、表現位置が変化する（分類３）。前
者では、単語名と動作の始点の事象と終点の事象からな
る３つ組みの構造、後者では、単語名と、その主格の対
の構造を生成する。例えば、文「彼が彼女に本をあげ
た」では、（あげる、本、彼女）、文「頭が痛い」で
は、（痛い、頭）である。ここで、起点の移動をも伴う
「話す」（分類５）では、例えば、文「彼が彼女に話
す」は、（話す、彼、彼女）と変換する。

【００２４】次に、実座標決定部１４０２は、上述した
手話データ１４２を検索し、実際に表示する座標位置を
決定する。まず、事象を表現する単語の場合は、手話デ
ータ１４２からその単語データを検索し、その中心位置
座標を配置戦略部１４０１で指定された表示概要位置の
中心点に合わせることにより、空間表現を実現する。す
なわち、指定された表示概要位置の中心点と、単語の中
心位置座標から座標の移動量が求まる。この移動量に基
づいて、始終点などの座標が計算可能である。

【００２５】つぎに関係を表現する単語のうち、動作の
方向が変化する単語は、（単語名、始点の事象、終点の
事象）の形式で渡される。このため、その単語データを
検索し、始点の事象と終点の事象のそれぞれの中心位置
を結ぶ線上に単語データの始点と終点座標がくるように
計算し、変換する。また、位置のみが変化する単語は、
（単語名、主格）の形式で渡される。この場合は、主格
の事象が表現される中心位置座標に表現する。また、単
語「思う」（分類１）などは、変化しない単語であるた
め、手話データ１４２から検索されたままで表現され
る。また、ここでは、片手で表現する手話の場合、どち
らの手で行うかも決定する。さらに、「彼（左手）」、
「彼女（右手）」、「本（両手）」、「あげる（両
手）」の表現で、「彼女（右手）」を表現するとき、左
手は、「彼」を表示し続けるのか、待機位置に戻すかな
どの決定も行う。

【００２６】補間処理部１４０３は、実座標決定部１４
０２で決定された手話単語位置に基づいて、隣接する手
話単語の画像データがスムーズにつながるよう、補間処
理を行う。ここで、手のみならず、腕やからだのモデル
を従来のコンピュータグラフィック技術を用いて構成し
ておく。そして、手話単語は、前述したデータグローブ
で採った手話単語の手などの動きのデータに基づいて、
上記モデルを動作させることにより表示する。これによ
り、手話単語の画像データ間の補間処理も、そのモデル
に基づいておこなう。すなわち、前の手話単語の終端の
手や腕の位置から、後続する手話単語の始端の手や腕の
位置に、モデルの手や腕を動作させることにより実現出
来る。ここで、手話単語の画像データ間の補間におい
て、もし、前ステップの概要位置設定において決定した
位置に、スムーズに接続できない場合には、決定した位
置を修正しながら接続可能とする。このようにして、手
話の画像表示が実現できる。

【００２７】図２の応答文予測部１５は、自然言語解析
部１２の解析結果に基づいて、その応答文を質問−応答
対応辞書１５１から検索する。図７は質問−応答対応辞
書１５１の一例を示したものである。図で、括弧で示し
たものは手話単語の表記である。ここには、質問とその
応答が格納されており、解析された質問をキィとして、
対応する音声単語と手話単語の応答文をとりだすことが
できる。この結果は、手話変換部１４で画像データに変
換された後、図８に示すように入力された質問と共に、
音声言語と手話により聴覚障害者と健聴者の双方に表示
される。

【００２８】このように、入力の翻訳結果と応答文が健
聴者にも示されるため、聴覚障害者が応答文のいずれか
をマウス７等で選択するのでなく、仮に手話で応答して
も、健聴者は手話表示された応答文と対比することによ
り、応答を理解することが可能である。さらに、これを
通して、装置を利用しながら手話を学習することができ
る。

【００２９】健聴者はキィで自然言語文を入力すること
になるが、キィからの入力は非常に煩わしい。特に、良
く使われる文をいちいちキィから入力することは非常に
煩わしい。簡易入力部１６は、例えば、病院での診察の
場合、人の体の画像データを対象画像１６１から取り出
し、ディスプレイ５に表示する。そして、健聴者がディ
スプレイ５上のいずれかの位置をマウス３などにより指
定すると、その位置（具体的にはある範囲の区間）に対
応する定型文を定型文辞書１６２から検索し、図９のよ
うにメニュー形式で表示する。このうちの１つの文を健
聴者がマウス３などにより指定することにより、簡易入
力部１６は、その文を入力文として出力する。具体的に
は、定型文辞書１６２は、図１０のように、定型文を区
間名との対で登録しておく。また、区間名の各区間はデ
ィスプレイ５上の実座標（例えば、区間１は点｛Ｘ座標
＝５００、Ｙ座標＝７００｝を左上の角とする幅＝１０
０、高さ＝１００の区間）との対応を示す表を登録して
おく。区間１は、人の体の頭の位置に設定する。これに
より、ディスプレイ５上で頭の位置、例えば｛Ｘ座標＝
５５０、Ｙ座標＝６５０｝の点が指定されると、前記表
からこの点が区間１内の点であることが求められる。そ
して、区間１の対となった定型文を図１０の定型文辞書
１６２から検索することにより、図９のような表示が可
能である。

【００３０】このように、自然言語による問い合わせを
キィ４入力でなく、マウス３で指定することのみにより
入力できるため、迅速かつ間違いのない入力が可能にな
る。

【００３１】

【発明の効果】本発明によれば、手話の理解処理を行な
うことなく聴覚障害者と健聴者との対話を実現でき、健
聴者は迅速、かつ正確に文を入力可能となるほか、これ
を通して、手話を学習することもできる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例の手話通訳装置の構成を示す
図である。

【図２】手話通訳処理部の構成を示す図である。

【図３】自然言語入力の解析結果の確認処理を示す図で
ある。

【図４】手話変換辞書の構成を示す図である。

【図５】手話データの構造を示す図である。

【図６】手話変換部の構成を示す図である。

【図７】質問−応答対応辞書の構成を示す図である。

【図８】健聴者の入力の翻訳結果の表示例を示す図であ
る。

【図９】簡易入力画面の表示例を示す図である。

【図１０】定型文辞書の構成を示す図である。

【符号の説明】

１‥手話通訳処理部、２、６‥タッチパネル、３、７‥
マウス、４、８‥キィ、５、９‥ディスプレイ、１１‥
インタフェース部、１２‥自然言語解析部、１３‥解析
結果確認部、１４‥手話変換部、１４１‥手話変換辞
書、１４２‥手話データ、１５‥応答文予測部、１５１
‥質問−応答対応辞書、１６‥簡易入力部、１６１‥対
象画像、１６２‥定型文辞書。

フロントページの続き (56)参考文献特開平４−222014（ＪＰ，Ａ) 特開平４−155374（ＪＰ，Ａ) 実開平５−71866（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G09B 21/00 G06F 3/03 380 G06F 17/28

Claims

(57)【特許請求の範囲】

【請求項１】健聴者から入力された自然言語文を解析す
る手段と、解析された結果を手話により表現される文に
変換する手段と、手話により表現された文と入力された
自然言語文を健聴者と聴覚障害者双方に表示する手段
と、自然言語文の解析結果から、その文に対する応答文
を予測する手段と、該応答文を自然言語文、手話の画像
等の複数の形態で健聴者と聴覚障害者双方に表示する手
段と、表示された応答文を確認する手段とを有すること
を特徴とする手話通訳装置。
【請求項２】請求項１記載の手話通訳装置において、入
力された自然言語文の解析結果から、その文に対する複
数の応答文を予測する手段と、該複数の応答文を自然言
語文、手話の画像等の複数の形態で健聴者と聴覚障害者
双方に表示する手段と、表示された複数の応答文のうち
１つを指定する手段とを有することを特徴とする手話通
訳装置。
【請求項３】請求項１記載の手話通訳装置において、対
話の対象となる物を表示する手段を有し、表示された物
の一部をマウス等で指定することにより、その箇所に関
する質問文や属性の設定を行なうための文を表示し、表
示された文を健聴者からの自然言語文として入力するこ
とを特徴とする手話通訳装置。
【請求項４】請求項１記載の手話通訳装置において、健
聴者から入力された自然言語文の解析結果を表示する手
段を有し、健聴者からある一定時間以内に解析結果が正
しいか否かの意思表示がない場合には、解析結果が正し
いとして処理を続行することを特徴とする手話通訳装
置。
【請求項５】請求項１記載の手話通訳装置において、手
話の画像データを、方向性の必要な単語データと不要な
単語データに区別可能な形で格納する手段と、単語の画
像データの表示の概要位置を決定した後、詳細位置の決
定を行う手話画像の生成手段を有することを特徴とする
手話通訳装置。
【請求項６】健聴者から入力された自然言語文を解析
し、解析された結果を手話により表現される文に変換
し、手話により表現された文と入力された自然言語文を
健聴者と聴覚障害者双方に表示し、自然言語文の解析結
果から、その文に対する応答文を予測し、該応答文を自
然言語文、手話の画像等の複数の形態で健聴者と聴覚障
害者双方に表示し、表示された応答文を確認することを
特徴とする手話通訳方法。