JPH06337627A

JPH06337627A - 手話通訳装置

Info

Publication number: JPH06337627A
Application number: JP5125705A
Authority: JP
Inventors: Hirohiko Sagawa; 浩彦佐川; Masaru Oki; 優大木; Eiji Ohira; 栄二大平; Kazuhiko Sagara; 和彦相良; Yasunari Obuchi; 康成大淵; Asako Sakiyama; 朝子崎山; Kiyoshi Inoue; 潔井上; Yuji Toda; 裕二戸田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-05-27
Filing date: 1993-05-27
Publication date: 1994-12-06

Abstract

(57)【要約】【目的】本発明は、手話通訳装置において、入力した
手話あるいは音声語を翻訳した結果をそれぞれの入力者
が容易に確認および修正を行ない、スムーズなコミュニ
ケーションを実現することを目的とする。【構成】本発明は、入力した手話あるいは音声語の翻
訳結果を利用者の希望する組み合わせで表示する。ま
た、翻訳の結果得られた候補を全て表示し、それらを入
力者がマウス等の手段によって容易に選択できるように
し、また、多義語がある場合はその単語の表示形態を変
えて表示し、マウス等の手段によって他の表現を確認、
修正する。さらに、それまで翻訳結果を会話の履歴とし
て表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、聴覚障害者と健聴者の
コミュニケーションを支援するための手話通訳装置に関
し、特に通訳結果の表示とその確認、および修正に関す
る。

【０００２】

【従来の技術】従来の手話通訳装置に関する技術として
は、手話から対応する音声語へ翻訳し表示する技術や、
音声語を手話に翻訳し表示する技術がある。手話から音
声語への翻訳では、手話中に含まれている手話単語をパ
ターン照合やニューラルネットワークによって認識し、
対応する音声語の単語名を求め、それを表示している。
さらに、認識した単語列を文の形に整形して出力するも
のもある。また、音声語から手話への翻訳では、入力し
た音声語の文を単語列に分解し、それぞれの単語に対応
する手話のＣＧあるいは手話のビデオ画像を表示してい
る。

【０００３】一方、手話通訳装置に関連する技術である
音声認識装置や機械翻訳装置においては、認識結果や翻
訳結果を表示し、入力者が確認、修正を行うための技術
が提案されている。これらの技術においては、主に、複
数の候補を求め、入力者に対しそれらを列挙して表示し
てその中から正しい候補を選択させるという方法をとっ
ている。候補の表示方法としては、例えば、音声認識に
おいては入力音声に対する単語名や文を、日英翻訳にお
いては日本語単語あるいは日本語文に対する英単語ある
いは英文を表示する。

【０００４】

【発明が解決しようとする課題】上記の手話通訳装置に
関する技術では、コミュニケーション支援としての手話
通訳装置において重要な、通訳結果の表示方法や確認方
法、修正方法については述べられていない。

【０００５】また、上記の音声認識装置や機械翻訳装置
における表示方法や確認方法、修正方法を手話通訳装置
に利用した場合、例えば、手話を認識し音声語に翻訳し
た結果を表示しただけでは、聴覚障害者には音声語の理
解が困難な場合もあるため、自分の入力した手話が正し
く認識されて相手に伝わっているかどうかを確認した
り、誤っている場合に修正することができない。また、
音声語から手話への翻訳においては、翻訳結果の手話の
みを提示されただけでは、健聴者は正しい意味に翻訳さ
れているかどうかを確認できない。

【０００６】本発明の目的は、手話通訳装置において、
入力した手話あるいは音声語を翻訳した結果をそれぞれ
の入力者が容易に確認できるようにすることである。

【０００７】本発明の他の目的は、スムーズなコミュニ
ケーションを行なうために、翻訳結果に誤りがあった場
合はすみやかに修正を行なうことができるようにするこ
とである。

【０００８】

【課題を解決するための手段】本発明は、音声語の文、
音声語の単語名、手話単語のイラスト、手話ＣＧ、聴覚
障害者の行なった手話の画像といった複数の手段による
表示を利用者の希望する設定によって組み合わせて表示
し、また、手話ＣＧの表示においては、表示中の手話に
対応する手話単語のイラストあるいは音声語の単語名の
表示形態を変えて表示し、利用者が自分の入力した手話
あるいは音声が正しく翻訳されたかどうかを容易に確認
できるようにするものである。

【０００９】また、翻訳の結果得られた候補を全て表示
し、それらの候補を入力者がマウス等の手段によって容
易に選択できるようにし、また、多義語がある場合はそ
の単語の表示形態を変えて表示し、その単語が選択され
た場合、他の手話単語あるいは単語名の候補を表示し、
入力者がそれらの候補をマウス等の手段によって容易に
選択できるようにすることによって、翻訳結果の誤りを
容易に修正できるようにするものである。

【００１０】さらに、過去の翻訳結果を会話の履歴とし
て表示することによって、聞き手も話し手の手話あるい
は音声語の翻訳結果を文脈を利用して、正しいかどうか
をある程度判断できるようにするものである。

【００１１】

【作用】翻訳結果の表示において、利用者の要望に合わ
せて表示方法を選択でき、複数の形態の表示を比較して
確認が行なえるため、翻訳結果の正否の判定が容易にな
る。

【００１２】また、複数の候補やそれぞれの候補中の多
義語の確認および修正をマウス等の簡単な手段によって
行なうことができるため、容易に誤りの修正を行なうこ
とができるようになる。

【００１３】さらに、それまでの会話の履歴の表示によ
って、聞き手も文脈を利用して話し手の手話あるいは音
声語の翻訳結果が正しいかどうかをある程度判断できる
ようになるため、話し手は誤って認識された結果の完全
な修正を行なう手間を省くことができるため、スムーズ
なコミュニケーションを行なえるようになる。

【００１４】

【実施例】以下、本発明の実施例を図１および図２を用
いて説明する。図１は、本発明が適用された手話通訳装
置の構成図、図２は、本発明が適用された手話通訳装置
の表示画面の一例である。図１において、１は聴覚障害
者が入力した手話を画像として入力するためのビデオカ
メラ、２は手話における手の動きを入力するためのデー
タグローブ、３は手話画像の表情の部分と手の動きより
手話単語を認識する手話単語認識部、４は手話単語認識
部３で使用される標準手話パターン、５は認識した手話
単語の列より音声語の文に翻訳する手話音声語変換部、
６は手話音声語変換部５および後述の音声語手話変換部
１３で使用される単語辞書、７は手話から音声語に翻訳
した結果を健聴者に表示し、表示方法の設定や表示結果
の修正を行なうための健聴者側表示部、８は健聴者側表
示部の出力を表示するためのモニタ、９は表示結果を操
作するためのマウス、１０は健聴者が音声を入力するた
めのマイク、１１は入力した音声を認識する音声認識
部、１２は文字で文を入力するためのキーボード、１３
は入力した音声語の文を手話単語の列に翻訳する音声語
手話変換部、１４は音声語手話変換部１３から出力され
る手話単語列から手話ＣＧを生成する手話ＣＧ生成部、
１５は手話ＣＧ生成部１４で使用される手話画像デー
タ、１６は音声語から手話に翻訳した結果を聴覚障害者
に表示し、表示方法の設定や表示結果の修正を行なうた
めの聴覚障害者側表示部、１７は聴覚障害者側表示部１
６の出力を表示するためのモニタ、１８は表示結果を操
作するためのマウスである。表示結果を操作するための
装置９、１８としてはマウス以外にタッチパネル等の入
力装置を使用することができる。

【００１５】また、図２において、２１は音声語から手
話への翻訳結果の表示領域、２２は音声語から手話への
翻訳結果の表示方法を設定するメニューを表示するため
のボタン、２３は音声語から手話への翻訳結果の履歴の
表示領域、２４は音声語から手話への翻訳結果の第１候
補の表示領域、２５は音声語から手話への翻訳換結果の
第１候補以外の候補の表示領域、２６は手話から音声語
への翻訳結果の表示領域、２７は手話から音声語への翻
訳結果の表示方法を設定するメニューを表示するための
ボタン、２８は手話から音声語への翻訳結果の履歴の表
示領域、２９は手話から音声語への翻訳結果の第１候補
を表示する画面、２１０は音声語から手話への翻訳結果
の第１候補以外の候補を表示する画面である。

【００１６】ビデオカメラ１によって入力された画像デ
ータｄ１およびデータグローブ２によって入力された手
の動きのデータｄ２は手話単語認識部３に入力され、標
準手話パターンｄ３と比較照合することによってその中
に表現されている手話単語の認識が行なわれる。この手
話単語認識部３における認識の詳細な方法としては、例
えば、特願平４−２４７２８５号「手話通訳方法および
装置」に述べられている方法を利用することができる。
また、手話の入力装置としてデータグローブを使用せ
ず、ビデオカメラのみによる入力で、手の動きは画像か
ら認識してもよい。手話単語認識部３は認識した手話単
語列ｄ４を出力し、手話音声語変換部５に入力される。
手話音声語変換部５では手話単語列ｄ４に対して、単語
辞書ｄ５を利用して単語間の意味関係を解析し、助詞や
語尾変化を補って音声語の文を生成し、生成した文ｄ６
を出力する。この手話音声語変換部５における翻訳の詳
細な方法としては、例えば、特願平４−５１３００号
「手話変換装置および方法」に述べられている方法を利
用することができる。文ｄ６は健聴者側表示部および後
述の音声語手話変換部１３に入力される。健聴者側表示
部７は、ビデオカメラ１から入力した手話画像ｄ１、手
話単語認識部３によって認識された手話単語列候補ｄ
４、手話音声語変換部５で生成された音声語の文候補ｄ
６、後述する手話ＣＧ生成部１４で生成される手話ＣＧ
画像候補ｄ１１が入力され、利用者の設定に応じてそれ
らの組み合わせを決定し、表示を行なう。

【００１７】図３から図７を用いて健聴者側表示部７の
詳細な説明を行なう。図３は健聴者側表示部７の構成
図、図４は手話から音声語への翻訳結果ｄ６のデータフ
ォーマット、図５は手話単語列候補ｄ４のデータフォー
マット、図６は手話ＣＧ候補ｄ１１のデータフォーマッ
ト、図７は手話画像ｄ１のデータフォーマットを示す。

【００１８】図３において、３１はレイアウト決定部、
３２は画像表示部、３３は会話履歴記憶部、３４は設定
記憶部、３５は表示選択部である。図４において、４１
は文候補の数を表す候補数、４２は実際の文候補、４３
は単語列候補や手話ＣＧ候補と対応をとるための候補番
号、４４はそれぞれの候補の文である。図５において、
５１は単語列候補の数を表す候補数、５２は実際の単語
列候補、５３は候補番号、５４はそれぞれの候補に含ま
れる単語数、５５はそれぞれの候補に含まれる実際の手
話単語、５６はその手話に対する音声語の単語名の数、
５７は単語名である。図６において、６１は手話ＣＧ候
補の数を表す候補数、６２は実際の手話ＣＧ候補、６３
は候補番号、６４はそれぞれの候補に含まれる手話単語
の数、６５は複数の手話表現がある場合の表現の数、６
６は手話画像のデータ数、６７は手話画像データ、６８
はイラスト表示を行なう際に使用するデータの番号、６
９はイラスト表示を行なう際に手話画像に付加する手の
動きの軌跡等を表す画像データである。また、イラスト
用のデータとしてはＣＧ画像の１部ではなく、別の画像
データを用意しておいて、それを用いるようにしてもよ
い。図７において、７１は手話画像の数、７２は実際の
手話画像データである。

【００１９】レイアウト決定部３１は、まず、手話画像
ｄ１、文候補ｄ６、手話単語列候補ｄ４、手話ＣＧ候補
ｄ１１を会話履歴記憶部３３に格納する。そして、設定
記憶部３４に記憶されている利用者の表示設定データを
もとに、文候補、手話単語列候補、手話ＣＧ候補、手話
画像のレイアウトを決定し、画像表示部３２に必要な画
像データを送る。画像表示部３２ではレイアウト決定部
３１より送られてくる画像データをモニタ上に表示す
る。表示選択部ではマウスによって画面上のどの表示が
選択されているかを検出し、必要な処理を行なう。マウ
スで図２の表示設定ボタン２２を選択することによっ
て、図８に示す表示設定画面が表示される。図８におい
て、８１は設定を終了するためのボタン、８２は第１候
補の表示において、それぞれの項目が設定されているか
どうかの状態を示す欄、８３はそれぞれの表示項目、８
４は第１候補以外の候補の表示において、それぞれの項
目が設定されているかどうかの状態を示す欄、８５はそ
れぞれの表示項目である。図８の表示選択画面におい
て、選択の状態を示す欄８２、８４および、それぞれの
表示項目８３、８５をマウスによって選択した場合、そ
れぞれの項目が設定されていない時は設定状態にし、そ
の欄には設定されたことを示すマークを表示する。ま
た、設定されていた場合は設定されていない状態にし、
マークを消去する。設定されている場合と設定されてい
ない場合の表示として、マークを表示する代わりに背景
色を変えるなどの表示形態の変更を行なってもよい。そ
して、終了ボタン８１を選択することによって、設定に
関する情報を設定記憶部３４に記憶し、それぞれの設定
に従った表示を行なう。

【００２０】図９から図１３を用いて健聴者側表示部７
の第１候補の表示２９について説明する。図９（ａ）で
は、設定状態を表す表示９１によって、第１候補の表示
は手話ＣＧ表示に設定されている。これによって図９
（ｂ）のように、第１候補の表示領域９２には手話ＣＧ
９３のみが表示される。手話ＣＧ表示が終了して停止し
ている状態で手話ＣＧ表示領域９２をマウスによって選
択すると再び手話ＣＧの表示を開始する。図１０（ａ）
では、設定を表す表示１０１および１０２によって、第
１候補の表示は手話ＣＧ表示および手話イラスト表示に
設定されている。これによって図１０（ｂ）のように手
話ＣＧ表示領域１０３に手話ＣＧ１０４が、手話イラス
ト表示領域１０５に手話イラスト１０６ａ、ｂ、ｃが表
示される。ここで表示される手話イラストは、図６のイ
ラスト用のデータ番号６８で指定される手話ＣＧデータ
６７中の画像に付加情報６９を付加した画像あるいは、
イラスト用に用意した別の画像データである。また、各
手話単語のイラストの表示領域をマウスで選択すること
によって、各手話単語のＣＧ表示を行なう。図１１
（ａ）では、設定を表す表示１１１、１１２、１１３に
よって、第１候補の表示は手話ＣＧ表示と手話イラスト
表示、手話画像表示に設定されている。これによって図
１１（ｂ）のように、手話ＣＧ表示領域１１４には手話
ＣＧ１１５が、手話イラスト表示領域１１６には手話イ
ラスト１１７ａ、ｂ、ｃが、手話画像表示領域１１８に
は聴覚障害者が行なった手話画像１１９ａ、ｂ、ｃが表
示される。ここで表示される手話画像は、図１の手話単
語認識部３で認識された単語の位置をもとに元の手話画
像ｄ１を各手話単語に分割したものである。手話画像の
各表示領域をマウスで選択することにより、それぞれの
画像を再生することができる。図１２（ａ）では、設定
を表す表示１２１、１２２、１２３、１２４によって、
第１候補の表示は手話ＣＧ表示と手話イラスト、手話画
像および手話単語名表示に設定されている。これによっ
て図１２（ｂ）のように、手話ＣＧ表示領域１２５には
手話ＣＧ１２６が、手話イラスト表示領域１２７には手
話イラスト１２８ａ、ｂ、ｃおよび手話単語名１２９
ａ、ｂ、ｃが、手話画像表示領域１２１０には手話画像
１２１１ａ、ｂ、ｃが表示される。図１３（ａ）では、
設定を表す表示１３１、１３２、１３３、１３４、１３
５によって、第１候補の表示は手話ＣＧ表示と、手話イ
ラスト、手話画像、手話単語名およびテキスト表示に設
定されている。これによって図１３（ｂ）のように、手
話ＣＧ表示領域１３６には手話ＣＧ１３７が、テキスト
表示領域１３８には文１３９が、手話イラスト表示領域
１３１０には手話イラスト１３１１ａ、ｂ、ｃおよび手
話単語名１３１２ａ、ｂ、ｃが、手話画像表示領域１３
１３には手話画像１３１４ａ、ｂ、ｃが表示される。

【００２１】以上の表示のうち、手話単語名の表示にお
いて、ある手話単語が複数の音声語の単語名を持つ場合
は、図１４（ａ）の手話単語「感じる」１４１のように
複数の単語名を持つことがわかるようにその手話単語の
背景色を他の手話単語の場合と変えて表示する。また、
背景色を変える代わりに、手話イラストの表示色を変え
たり、複数の単語名を持つことを表す印をその手話単語
の表示領域中に表示してもよい。図１４（ａ）におい
て、複数の単語名を持つ手話単語「感じる」１４１をマ
ウスによって選択すると、他の単語名の一覧１４２が表
示される。この一覧の中の使用したい単語名をマウス１
４５で選択することによって、図１４（ｃ）の１４７の
ようにその手話単語の単語名を変更することができる。
さらに、この単語名の変更を行なうと、図３の表示選択
部３５は単語名の変更を行なうことを図１の手話音声語
変換部５に知らせ、変更した単語名を使用した文を表示
する。図１４（ｂ）では、「感じる」１４３の代わりに
「思う」１４４を選択しており、この変更を手話音声語
認識部５に知らせることにより、「思う」を使用した文
「胃が重いと思います。」がレイアウト決定部３１に送
られてくる。これを図１４（ｃ）の１４６のように表示
する。

【００２２】また、手話ＣＧと手話イラストあるいは手
話単語名が同時に表示されている場合、手話ＣＧにおい
て表示中であることがわかるように、手話ＣＧ表示に対
応する手話イラストあるいは手話単語名の表示を変化さ
せる。図１５（ａ）では、手話単語「頭」１５１が手話
ＣＧ表示中であるため、背景色を変えて表示される。図
１５（ｂ）では手話単語「とても」１５２が、図１５
（ｃ）では手話単語「痛い」１５３が、それぞれ手話Ｃ
Ｇ表示中であるため背景色を変えて表示される。手話Ｃ
Ｇにおいて表示中であることを示す表示として、背景色
を変える代わりに、手話イラストの表示色を変えたり、
表示中であることを表す印をそれぞれの手話イラストあ
るいは手話単語名とともに表示しても良い。

【００２３】健聴者側表示部の第１候補以外の候補の表
示２１０について図１６を用いて説明する。図１６
（ａ）では、第１候補以外の候補の表示は設定を表す表
示１６１、１６２、１６３、１６４によって、手話ＣＧ
表示、手話イラスト表示、手話単語名表示、テキスト表
示が設定されている。そして、候補の表示領域２１０に
は、複数の候補が列挙されて表示される。各候補の表示
形態は、候補番号１６５が付加されている以外は、第１
候補の表示で述べた表示形態と同様である。第１候補以
外の候補は多数あるため、図１６（ｂ）ではその１部が
画面上に表示された形になっている。画面上に表示され
ていない候補を見たい場合、スクロールバー１６６をマ
ウスで選択して移動させることによって、候補表示画面
を上下に移動させて見ることができる。そして、各候補
の候補番号１６５をマウスで選択することによって、選
択した候補を第１候補として表示することができる。ま
た、各候補の表示において、手話ＣＧ表示領域をマウス
で選択することによって手話ＣＧ表示を開始する機能
や、手話イラスト表示において、各イラストをマウスで
選択することによって各イラストがＣＧ表示される機
能、手話単語が複数の音声語の単語名を持つ場合の機能
も第１候補の表示で説明した機能と同様である。さら
に、図１６（ａ）において、第１候補の設定と同様に聴
覚障害者が行なった手話の画像を表示するようにしても
よい。

【００２４】健聴者側表示部の翻訳結果の履歴表示２８
について、図１７を用いて説明する。翻訳履歴の表示部
２８には、それまでの翻訳結果１７１が順に表示され
る。図１７では、手話を音声語に翻訳した結果の内、音
声語の文のみを表示している。必要であれば、第１候補
あるいは第１候補以外の候補の表示形態と同じにしても
よい。また、図８の表示設定画面に、翻訳結果の履歴表
示の設定を追加して、第１候補や第１候補以外の表示と
は独立して表示形態を設定できるようにしてもよい。ま
た、履歴表示２８では、スクロールバー１７２をマウス
によって選択し、上下に移動させることによって、画面
上に表示されていない翻訳結果を確認することができ
る。

【００２５】次に、図１において、マイク１０を通じて
入力された音声ｄ７は音声認識部１１によって認識さ
れ、音声語の文ｄ８に翻訳される。また、キーボード１
２を用いても直接文ｄ９を入力することができる。音声
語の文ｄ８、ｄ９は音声語手話変換部１３に送られ、手
話単語名および手話表現に必要な位置情報等からなる手
話単語列ｄ１０に翻訳される。さらに、手話ＣＧ生成部
１４において、手話画像データｄ１２を用いて手話ＣＧ
が生成される。この音声語手話変換部１３および手話Ｃ
Ｇ生成部１４における詳細な方法としては、例えば、特
願平５−１５２３４号「手話通訳装置および方法」およ
び特願平５−３６３４６号「手話生成装置」に述べられ
ている方法を利用することができる。聴覚障害者側表示
部１６は、音声あるいはキーボードから入力された音声
語の文候補および音声語手話変換部１３によって翻訳さ
れた手話単語列候補ｄ１０、手話ＣＧ生成部で生成され
た音声語文に対する手話ＣＧ画像および各手話単語ごと
のＣＧ画像候補ｄ１１が入力され、利用者の設定に応じ
てそれらの組み合わせを決定し、表示を行なう。

【００２６】図１８を用いて聴覚障害者側表示部１６の
詳細な説明を行なう。聴覚障害者側表示部の構成は基本
的に、図３に示す健聴者側表示部の構成と同じである。
図１８において、１８１はレイアウト決定部、１８２は
画像表示部、１８３は会話履歴記憶部、１８４は設定記
憶部、１８５は表示選択部である。レイアウト決定部１
８１は、設定記憶部１８４に記憶されている利用者の表
示設定データをもとに、文・手話単語列候補、手話ＣＧ
・イラスト候補のレイアウトを決定し、画像表示部１８
２に必要な画像データを送る。画像表示部１８２ではレ
イアウト決定部１８１より送られてくる画像データをモ
ニタ上に表示する。表示選択部ではマウスによって画面
上のどの表示が選択されているかを検出し、必要な処理
を行なう。マウスで図２の表示設定ボタン２７を選択す
ることによって、図１９に示す表示設定画面が表示され
る。図１９の表示設定画面の機能は、図８のおける健聴
者側表示部の表示設定画面と同様である。ただし、図１
９では図８における第１候補表示の手話画像表示および
第１候補以外の候補表示の手話ＣＧ表示を省略してあ
る。必要であれば、ここに手話ＣＧ表示を追加してもよ
い。

【００２７】聴覚障害者側表示部１６における第１候補
の表示２４について図２０を用いて説明する。図２０
（ａ）では、設定を表す表示２０１、２０２、２０３、
２０４によって第１候補の表示は手話ＣＧ表示、手話イ
ラスト表示、手話単語名表示、テキスト表示に設定され
ている。これによって表示は図２０（ｂ）のように、手
話ＣＧ領域２０５に手話ＣＧ２０６が、テキスト表示領
域２０８に文２０９が、手話単語表示領域２０１０に手
話イラスト２０１１ａ、ｂ、ｃおよび手話単語名２０１
２ａ、ｂ、ｃが表示される。また、聴覚障害者側表示部
１６の第１候補表示では、手話単語名表示が設定されて
いる場合は、手話ＣＧの表示において、表示中の手話単
語の単語名を図２０（ｂ）の２０７のように表示する。

【００２８】図２１（ｂ）における画面構成は、手話Ｃ
Ｇの表示以外は図９から図１３における健聴者側表示部
７の表示における画面構成と同じである。聴覚障害者側
表示部１６では、手話ＣＧの表示が中心となるため、図
２０（ｂ）の手話ＣＧ領域２０５の大きさを大きくとっ
てある。必要であれば、健聴者側表示部７と同じ画面構
成にしてもよい。また、逆に、健聴者側表示部７の画面
構成を聴覚障害者側表示部１６の画面構成に合わせても
よい。表示画面におけるマウス操作による機能も、健聴
者側表示部における機能とほぼ同様である。ただし、健
聴者側表示部の複数の単語名を持つ手話単語名の表示の
機能が省かれ、代わりに、複数の手話表現を持つ手話単
語の表示機能が追加されている。この複数の手話表現を
もつ手話単語の表示について、図２１を用いて説明す
る。複数の手話表現を持つ手話単語の場合、図２１
（ａ）の手話単語「開ける」２１１のように複数の単語
名を持つことがわかるようにその手話単語の背景色を他
の手話単語の場合と変えて表示する。また、背景色を変
える代わりに、手話イラストの表示色を変えたり、複数
の手話表現を持つことを表す印をその手話単語の表示領
域中に表示してもよい。図２１（ａ）において、複数の
手話表現を持つ手話単語「開ける」２１１をマウスによ
って選択すると、図２１（ｂ）の２１２のように、他の
手話表現の一覧が手話イラストによって表示される。こ
の一覧の中の正しい表現をマウス２１５によって選択す
ることによって、図２１（ｃ）の２１６のようにその手
話単語の手話イラストを変更することができる。さら
に、この単語名の変更を行なうと、図１８の表示選択部
１８５は手話表現の変更を行なうことを図１の手話ＣＧ
生成部１４に知らせ、変更した手話表現を使用した手話
ＣＧを生成する。図２１（ｂ）では、「開ける」の手話
表現２１３の代わりに２１４の表現を選択しており、こ
の変更を手話ＣＧ生成部１４に知らせることにより、２
１４の表現を使用した手話ＣＧがレイアウト決定部１８
１に送られてくる。

【００２９】次に聴覚障害者側表示部における第１候補
以外の候補の表示２５について図２２を用いて説明す
る。図２２（ａ）では、設定を表す表示２２１、２２
２、２２３によって、第１候補以外の表示として、手話
イラスト表示、テキスト表示、手話単語名表示に設定さ
れている。そして、候補の表示では図２２（ｂ）のよう
に、健聴者側表示部７の第１候補以外の候補の表示と同
様、複数の候補が列挙されて表示される。候補番号２２
４をマウスを用いて選択することによって、選択した候
補が第１候補として表示される機能や、スクロールバー
２２５をマウスで移動することによって画面上に表示さ
れていない候補を確認することができる機能等、各候補
の表示におけるマウス操作による機能は、上述した候補
の表示の場合と同様である。

【００３０】聴覚障害者側表示部の翻訳結果の履歴表示
２３について、図２３を用いて説明する。翻訳結果の履
歴の表示領域２３には、それまでの翻訳結果２３１が順
に表示される。図２３では、音声語を手話に翻訳した結
果の内、手話ＣＧ２３２および音声語の文２３３のみを
表示している。必要であれば、第１候補あるいは第１候
補以外の候補の表示形態と同じにしてもよい。また、図
１９の表示設定画面に、翻訳結果の履歴表示の設定を追
加して、第１候補や第１候補以外の候補の表示とは独立
して表示形態を設定できるようにしてもよい。また、履
歴表示２３では、スクロールバー２３４をマウスを用い
て上下に移動させることによって、画面上に表示されて
いない翻訳結果を確認することができる。

【００３１】図２の翻訳結果の表示画面では、聴覚障害
者側表示部と健聴者側表示部を同じモニタ上表示してい
たが、これを図２４のように、それぞれ別々に表示して
もよい。図２４（ａ）は健聴者側の表示画面、図２４
（ｂ）は聴覚障害者側の表示画面を示している。健聴者
側の表示画面において、音声語から手話への翻訳結果の
表示領域２４１には、音声語から手話への翻訳結果の表
示方法を設定するメニューを表示するためのボタン２４
２、音声語から手話への翻訳結果の第１候補の表示領域
２４３、第１候補以外の候補の表示領域２４４が表示さ
れる。また、手話から音声語への翻訳結果の表示領域２
４５には、手話から音声語への翻訳結果の表示方法を設
定するメニューを表示するためのボタン２４６、手話か
ら音声語への翻訳結果の履歴の表示領域２４７、手話か
ら音声語への翻訳結果の第１候補２４８が表示される。
聴覚障害者側の表示画面においては、音声語から手話へ
の翻訳結果の表示領域２４９には、音声語から手話への
翻訳結果の表示方法を設定するメニューを表示するため
のボタン２４１０、音声語から手話への翻訳結果の履歴
の表示領域２４１１、音声語から手話への翻訳結果の第
１候補の表示領域２４１２が表示される。また、手話か
ら音声語への翻訳結果の表示領域２４１３には、手話か
ら音声語への翻訳結果の表示方法を設定するメニューを
表示するためのボタン２４１４、手話から音声語への翻
訳結果の第１候補の表示領域２４１５、第１候補以外の
候補の表示領域２４１６が表示される。それぞれの表示
設定画面および翻訳の履歴、翻訳候補の表示形態につい
ては、上述したものと同様の方法で設定、表示を行なう
ことができる。ただし、図２４においては、健聴者側表
示画面における手話から音声語への翻訳結果の表示領域
２４５および聴覚障害者側表示画面における音声語から
手話への翻訳結果の表示領域２４９においては、多義語
の確認および修正は行なうことができないようになって
いる。そして、それぞれ、聴覚障害者あるいは健聴者が
誤認識の確認および修正を行なって第１候補とした翻訳
結果のみを表示する。必要であれば、表示領域２４５お
よび２４９の内容をそれぞれ健聴者、聴覚障害者が修正
を行なえるようにしてもよい。また、図２４では翻訳結
果の履歴を表示領域２４５および２４９にしか表示して
いないが、これらに関しても必要であれば、表示領域２
４１および２４１３に表示するようにしてもよい。さら
に、手話から音声語への翻訳候補の健聴者による確認お
よび修正、音声語から手話への翻訳候補の聴覚障害者に
よる確認および修正、健聴者側表示画面における音声語
から手話への翻訳結果の履歴表示、聴覚障害者側表示画
面における手話から音声語への翻訳結果の履歴表示に関
しては、表示設定画面において利用者が選択できるよう
にしてもよい。

【００３２】

【発明の効果】翻訳結果の表示の際、利用者の要望に合
わせて表示方法を選択でき、複数の形態の表示を比較し
て確認が行なえるため、翻訳結果の正否の判定が容易に
なる。また、複数の候補やそれぞれの候補中の多義語の
確認および修正をマウス等の簡単な手段によって行なう
ことができるため、容易に誤りの修正を行なうことがで
きるようになる。さらに、聞き手もそれまでの会話の文
脈を利用して翻訳結果をある程度判断できるようになる
ため、話し手は誤って認識された結果の完全な修正を行
なう必要がなくなり、スムーズなコミュニケーションを
行なえるようになる。

【図面の簡単な説明】

【図１】本発明による手話通訳装置の構成図。

【図２】本発明による手話通訳装置における表示画面の
１例。

【図３】健聴者側表示部の構成図。

【図４】文候補のデータフォーマット。

【図５】単語列候補のデータフォーマット。

【図６】手話ＣＧ候補のデータフォーマット。

【図７】手話画像のデータフォーマット。

【図８】健聴者側表示部の表示設定画面。

【図９】健聴者側表示部の表示画面の１例（手話ＣＧ表
示）。

【図１０】健聴者側表示部の表示画面の１例（手話ＣＧ
表示、手話イラスト表示）。

【図１１】健聴者側表示部の表示画面の１例（手話ＣＧ
表示、手話イラスト表示、手話画像表示）。

【図１２】健聴者側表示部の表示画面の１例（手話ＣＧ
表示、手話イラスト表示、手話画像表示、手話単語名表
示）。

【図１３】健聴者側表示部の表示画面の１例（手話ＣＧ
表示、手話イラスト表示、手話画像表示、手話単語名表
示、テキスト表示）。

【図１４】複数の単語名を持つ手話単語の表示と修正の
例。

【図１５】手話ＣＧに合わせた手話単語の表示の例。

【図１６】健聴者側表示部における第１候補以外の候補
の表示例。

【図１７】健聴者側表示部における会話履歴の表示例。

【図１８】聴覚障害者側表示部の構成図。

【図１９】聴覚障害者側表示部における表示設定画面。

【図２０】聴覚障害者側表示部における第１候補の表示
例。

【図２１】複数の手話表現を持つ手話単語の表示と修正
の例。

【図２２】聴覚障害者側表示部における第１候補以外の
候補の表示例。

【図２３】聴覚障害者側表示部における会話履歴の表示
例。

【図２４】健聴者側表示画面と聴覚障害者側表示画面を
別々にした場合の表示画面の１例を示す図であり、
（ａ）は健聴者側表示画面の１例、（ｂ）は聴覚障害者
側表示画面の１例。

───────────────────────────────────────────────────── フロントページの続き (72)発明者相良和彦東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者大淵康成東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者崎山朝子東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者井上潔東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者戸田裕二東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】手話を映像として入力するための手段と、
手の情報を入力する手段と、手話を認識し音声語に翻訳
する手段と、手話を音声語に翻訳した結果を表示する手
段と、音声を入力する手段と、音声を認識し文字に変換
する手段と、文字を入力する手段と、音声語を手話に翻
訳する手段と音声語を手話に翻訳した結果を表示する手
段と、聴覚障害者の行なった手話の画像データを記憶す
る手段と、聴覚障害者が手話を入力する手段によって入
力した手話パターンを記憶する手段と、健聴者が入力し
た音声語を記憶する手段と、入力した手話を音声語に翻
訳した結果を記憶する手段と、入力した音声語を手話に
翻訳した結果を記憶する手段と、音声語を手話に翻訳し
た結果を修正する手段と、手話を音声語に翻訳した結果
を修正する手段を有することを特徴とする手話通訳装
置。
【請求項２】請求項１記載の手話通訳装置において、ビ
デオカメラによって入力した聴覚障害者の行なった手話
映像を表示する手段と、入力した手話を音声語の文に翻
訳した結果を表示する手段と、入力した手話を構成する
手話単語に対応する音声語の単語名を表示する手段と、
手話単語のイラストを表示する手段と、入力した手話を
翻訳した音声語の文からさらに手話への翻訳によって生
成した手話ＣＧを表示する手段と、それらの表示の組合
せを選択する手段、および、入力した音声語を翻訳した
手話ＣＧを表示する手段と、その手話ＣＧを構成する手
話単語に対応する音声語の単語名を表示する手段と、手
話単語のイラストを表示する手段と、入力した音声語の
文を表示する手段と、そららの表示の組合せを選択する
手段を有することを特徴とする手話通訳装置。
【請求項３】請求項２記載の手話通訳装置において、聴
覚障害者用の表示装置と健聴者用の表示装置を分け、手
話から音声語に翻訳した結果は、聴覚障害者用の表示装
置において、ビデオカメラによって入力した聴覚障害者
の行なった手話映像、入力した手話を音声語に翻訳した
音声語の文、入力した手話を構成する手話単語に対応す
る音声語の単語名および手話単語のイラスト、翻訳した
音声語をさらに手話ＣＧに翻訳した結果のいずれか、あ
るいはそれらの組合せによって表示し、また、健聴者用
の表示装置において、誤認識を訂正された結果のみにつ
いて、入力した手話を構成する音声語の単語名および手
話単語のイラスト、入力した手話を音声語に翻訳した音
声語の文のいずれか、あるいはそれらの組合せで表示
し、一方、音声語から手話へ翻訳した結果は、健聴者用
の表示装置において、音声を認識あるいは直接入力した
文、入力した文を構成する単語名および手話単語のイラ
ストのいずれか、あるいはそれらの組合せで表示し、ま
た、聴覚障害者用の表示装置において、誤認識を訂正さ
れた結果のみについて、音声語の文、その文を構成する
単語名および手話単語のイラスト、音声語を手話ＣＧに
翻訳した結果のいずれか、あるいはそれらの組合せで表
示することを特徴とする手話通訳装置。
【請求項４】請求項２記載の手話通訳装置において、手
話から音声語への翻訳結果の表示において、入力した手
話の画像データをその手話を構成する各手話単語の認識
結果をもとに単語毎に分割し、分割した画像データを手
話から音声語への通訳結果と比較して表示し、入力した
手話が正しく認識されたかどうかを確認する手段を有す
ることを特徴とする手話通訳装置。
【請求項５】請求項２記載の手話通訳装置において、手
話単語のイラストは各単語ごとに予め装置に記憶してお
いた手話の静止画像、あるいは、手話ＣＧ用のデータか
ら手話の動作として重要な特定の画像のみを取りだし、
さらに動きの軌跡等の表示を付加して生成した画像を表
示することを特徴とする手話通訳装置。
【請求項６】請求項２記載の手話通訳装置の手話から音
声語の翻訳結果の表示において、手話単語に対する音声
語の単語名が複数ある場合、多義語であることを示す表
示を単語名あるいは手話単語のイラストとともに表示
し、また、その単語の表示されていない単語名を確認
し、必要な場合は変更する手段を有することを特徴とす
る手話通訳装置。
【請求項７】請求項６記載の手話通訳装置において、画
面上に表示される単語名は、入力した手話を翻訳した音
声語の文中で使用された単語名を表示し、また、別の単
語名が選択された場合、その結果が正しい音声語の文と
なる場合は、選択された単語名を利用した文に表示を変
更することを特徴とする手話通訳装置。
【請求項８】請求項２記載の手話通訳装置において、音
声語から手話への翻訳結果、音声語の単語名に対する手
話単語が複数ある場合、多義語であることを示す表示を
単語名あるいは手話単語のイラストとともに表示し、ま
た、その単語の表示されていない手話単語のイラストを
確認し、必要な場合は変更する手段を有することを特徴
とする手話通訳装置。
【請求項９】請求項８記載の手話通訳装置において、画
面上に表示される手話単語のイラストは、入力した音声
語を翻訳した手話の文中で使用された手話単語のイラス
トを表示し、また、別の手話単語を選択した場合、その
結果が正しい手話文になる場合は、選択した手話単語を
利用した手話文に表示を変更することを特徴とする手話
通訳装置。
【請求項１０】請求項２記載の手話通訳装置において、
表示している手話ＣＧに対応する単語名あるいは手話単
語のイラストの表示形態を変えることによって、手話Ｃ
Ｇにおいて表示中の手話単語を確認する手段を有するこ
とを特徴とする手話通訳装置。
【請求項１１】請求項２記載の手話通訳装置において、
過去の翻訳結果を画面上に表示することによって、それ
までどのような会話が行なわれてきたかを確認すること
を特徴とする手話通訳装置。