JPH06337631A

JPH06337631A - 手話対話における対話制御装置

Info

Publication number: JPH06337631A
Application number: JP5125704A
Authority: JP
Inventors: Eiji Ohira; 栄二大平; Masaru Oki; 優大木; Hirohiko Sagawa; 浩彦佐川; Asako Sakiyama; 朝子崎山; Kazuhiko Sagara; 和彦相良; Yasunari Obuchi; 康成大淵; Kiyoshi Inoue; 潔井上; Yuji Toda; 裕二戸田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-05-27
Filing date: 1993-05-27
Publication date: 1994-12-06

Abstract

(57)【要約】【目的】手話等の通訳者が常駐することなく、言語の
異なる人同士や人と機械との間の対話を、誤訳や誤解に
より中断され、行きずまることなく進めることが可能な
装置を実現することを目的とする。【構成】対話情報管理部１８は、健聴者と聴覚障害者
との対話来歴を記録する。健聴者と聴覚障害者との間の
対話に行き詰まりが生じたとき、両者の合意により、手
話通訳者を介した会話形態に切り替える。通信管理シス
テム１９は、手話通訳者に対話情報管理部１８の来歴の
アクセスを可能とするほか、手話通訳者の指示に基づい
てポート１１、１２、１３を３者による会話が可能な形
態に切り替える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コミュニケーション手
段として主に手話を用いる聴覚障害者と自然言語を用い
る健聴者との間の通訳を行なう手話通訳装置、あるいは
聴覚障害者と情報検索等を行なう装置間の手話対話にお
ける対話制御装置に関する。

【０００２】

【従来の技術】従来、人と情報検索等を行なう装置の対
話において、対話（あるいは単に操作）に行きずまった
場合は、ヘルプボタン等を押すことにより、あらかじめ
装置の中に格納している操作法等に関する情報を提示し
ていた。

【０００３】

【発明が解決しようとする課題】上記従来技術では、状
況に応じた的確な情報を提示できないことも多い。この
ため、装置の利用を一旦終了し、装置の操作法を知って
いる人を探し、操作の仕方を教えてもらってから再度利
用する必要がある。このため、実際に装置を利用できる
までには、多くの時間がかかってしまうことことも多
い。また、現在、手話などの通訳者は不足しており、通
訳装置が必要であるが、従来、通訳装置のような人と人
の間の対話の行きずまりに関しては、特に考慮されてい
なかった。

【０００４】本発明の目的は、言語の異なる人同士や人
と機械との会話において、対話に行きずまりが生じたと
き、その解決を効率良くおこなう手段を提供することで
ある。

【０００５】

【課題を解決するための手段】聴覚障害者からの手話入
力を認識、理解し、さらに翻訳して対話相手や情報検索
装置などに送信する手段と、逆に対話相手や情報検索装
置などからの入力を認識、理解、翻訳を行って聴覚障害
者に送信する手段からなる対話制御装置であって、両者
の対話の来歴を記録する手段と、聴覚障害者と対話相手
あるいは聴覚障害者と情報検索などの装置の対話におい
て、両者の対話が行きづまった場合に、手話通訳者を介
した２者あるいは３者による会話の形態に切り替える手
段と、手話通訳者を介した会話形態においては、上記記
録された対話来歴を手話通訳者に提示する手段を設け
る。

【０００６】対話来歴の記録においては、キーボードな
どから入力される文字入力、入力手話画像、入力音声、
これらの入力の認識結果、聴覚障害者、対話相手が対話
をどこまで理解しているかの少なくとも１つの情報を記
録する。

【０００７】また、手話通訳者を介した会話形態へ移行
したい場合、その要求を対話相手に知らせる手段と、そ
の要求を断る手段とを設け、対話をしている両者の合意
が成立したときのみ手話通訳者を介した会話形態へ移行
する。すなわち、適切な手話通訳者に連絡をとり手話通
訳を依頼する。

【０００８】手話通訳者を介した会話形態においては、
手話通訳者からの入力を受信する手段と、その入力を対
話者へ送信する手段と、両対話者からの入力を手話通訳
者へ送信する手段を設ける。

【０００９】

【作用】両者の対話が行きづまった場合のみ手話通訳者
を呼び出すので、手話通訳者は多くの通訳を行うことが
できる。また、装置毎に呼出しが行えるため、その装置
の操作法にたけた通訳者を呼ぶ出すことができる。ま
た、手話通訳者は、対話が行き詰まるまでの対話者の対
話来歴を参照できるため、素早く状況を確認でき、両者
の対話の行き詰まりを効率良く打開可能となる。

【００１０】手話通訳者の介入は、両者の合意に基づい
て行われるため、特に装置との対話においては、理解出
来ない項目に関してはとりあえず飛ばす等のような、利
用者主導の操作が可能である。

【００１１】また、手話通訳者からの入力を受信する手
段と、その入力を対話者へ送信する手段と、両対話者か
らの入力を手話通訳者へ送信する手段を設けることによ
り、３者が互いに離れた場所にいても対話が可能であ
る。

【００１２】

【実施例】以下、本発明の一実施例を図１、２を用いて
説明する。図１は、本発明を聴覚障害者と健聴者との手
話通訳装置に実施した場合の装置の構成図である。ま
た、図２は、情報問い合わせシステムに実施した場合の
装置の構成図である。図において、１、５、１０はカメ
ラ、２は手話における手の動作データを入力するための
センサ、３、７、９は、入力手段としてキーボード、マ
ウス、出力手段としてディスプレイ等をもつ端末、４
は、タッチパネル、６、８は、電話である。また、１
１、１２、１３は、それぞれ聴覚障害者、健聴者および
手話通訳者からの入力の受付、逆に各人への出力を送信
するためのポートである。

【００１３】図１の装置において、例えば、聴覚障害者
からの手話入力は、ポート１１を介して取り込まれ、認
識、理解部１４により認識理解され、さらに翻訳部１５
により日本語文に翻訳される。そして、ポート１２を介
して、音声（電話６）や文字（端末７）により健聴者に
伝えられる。端末７における表示例を図３に示す。聴覚
障害者の手話を画像画面７２に表示するとともに、その
翻訳結果を７１に表示している。画面７１には、自分の
入力を表示しておくことも可能である。

【００１４】健聴者からの音声（電話６）や文（図３の
端末７の入力画面７３）入力は、同様に認識理解部１６
により認識理解され、さらに翻訳部１７により手話に翻
訳され、ポート１１を介して手話画像や文字（端末３）
により聴覚障害者に伝えられる。端末３における表示例
を図４に示す。ここでも、翻訳結果を画面３１に表示す
るとともに、翻訳前の健聴者の入力を３２に表示してい
る。画面３２には、自分の翻訳された入力を表示してお
くことも可能である。このとき、画面３２の翻訳された
結果をマウスやキーで選択することにより、該当する手
話の画像を画面３１に表示することにより、自分が前に
言ったことを確認可能となり、スムーズな対話を実現で
きる。

【００１５】また、対話情報管理部１８は、ポート１１
や１６への入力、認識理解部１４、１６の出力、翻訳部
１５、１７の出力である翻訳結果および対話の要約を時
系列に記録する。ここで、認識理解部１４、１６、翻訳
部１５、１７の詳細は本発明と直接関係しないため、説
明は省略するが、例えば、認識理解部１４、翻訳部１５
は、特願平４−２４７２８５号や特願平４−２３５６３
３号により、また、認識理解部１６は、従来の音声、自
然言語認識技術で、また、翻訳部１７は、特願平５−１
５２３４号等により実現できる。

【００１６】上述した構成により、聴覚障害者と健聴者
が対話可能であるが、通訳システムが正しく通訳できな
い場合も考えられる。このような場合、両者の話しが通
じなくなることが起きる。両者が互いに表現を変えるな
どして、解決を図ることも可能であるが、完全に行き詰
まる場合もある。本システムは、次のようにしてこの状
況を解決する。両者の対話が行きずまった場合、どちら
かが相手に手話通訳者の介入の是非を尋ねる。これに対
して、相手が承諾した場合に手話通訳者に連絡を行う。
介入の是非を尋ねる方法としては、手話や音声、文字に
よる方法と端末に図６のようなキーを設けておく方法が
ある。前者の場合は、その翻訳結果を相手に伝えるとと
もに、要求があったことを記録する。後者の場合は、図
６の「通訳」のキーが押されると、要求があったことを
記録するとともに、手話通訳者の介入の是非の問い合わ
せを相手に示す。問い合わせに対して、図６の「通訳」
キーが押されると、合意と判断し、「ＮＯ」キーが押さ
れると拒否と判断する。また、手話や音声、文字による
応答も可能である。このときは、認識理解部１４、１６
で、合意か拒否かを認識する。

【００１７】合意が成立すると、通信管理システム１９
は、ポート１３を介して、手話通訳者に連絡する。連絡
先は、通信管理システム１９内に書かれている。手話通
訳者は、まずポート１３や通信管理システム１９を介し
て、対話情報管理部１８に記録された対話来歴をアクセ
スする。この情報は、電話３、端末９により受信する。
そして、通信管理システム１９に通訳の開始を指示す
る。この指示により、ポート１１、１２は、対話相手の
みでなく、手話通訳者との入出力を可能とする。すなわ
ち、健聴者と手話通訳者間の例えば、音声（電話６）
は、ポート１３、通信管理システム１９、ポート１２を
介して通信され、聴覚障害者と手話通訳者間の例えば、
手話（カメラ１、１０）は、ポート１３、通信管理シス
テム１９、ポート１１を介して通信される。手話通訳者
用端末９における表示例を図５に示す。聴覚障害者から
の入力は画面９１に、健聴者からの入力は画面９２に表
示される。また、それぞれへの応答のための入力も画面
９３、９４に表示する。手話通訳者からの応答は、図３
の画面７２や図４の画面３２に表示するか、あるいは新
たに画面を生成して表示する。このようにして、３者に
よる対話が可能となる。さて、３者により行きづまりの
解消の合意がなされ、手話通訳者が終了を指示すること
により、通信管理システム１９は、元の対話者による形
態に戻す。

【００１８】ここで、通信管理システム１９内に書かれ
ている連絡先は、手話通訳者側からも書替えが可能とす
る。一般に、手話通訳者に関する情報、例えば、だれが
何の分野の通訳にたけているかの情報は、手話通訳者側
で知っていることが多いため、本構成により最新の連絡
情報の更新が可能である。

【００１９】さて、本発明は人間同士の対話のみでな
く、人間対機械の対話にも適用可能である。図２の聴覚
障害者と機械のシステムは、健聴者が情報問い合わせシ
ステム２０に代わっただけで、構成はほぼ同じである。
その相違点のみ以下に示す。まず、手話通訳者側からも
直接、情報問い合わせシステムの操作が可能であり、操
作法をアドバイスするのみでなく、実際に操作して見せ
ことができる。また、対話情報管理部１８には、利用者
がどこまで理解できているかを記録する。例えば、図７
は、ある申請書提出するための手続きの案内手順を示し
たもので、システムは、この手順に基づいて説明する。
ここで、仮に図の１．３の説明で会話が行き詰まった場
合には、例えば、「１．２まで説明終了」と記録する。
また、読み飛ばした項目があれば、例えば、「１．２．
１読み飛ばし」と記録する。これにより、手話通訳者
は、迅速に状況を把握可能である。

【００２０】なお、本実施例では、手話と日本語との翻
訳、聴覚障害者と健聴者との翻訳、機械として情報問い
合わせシステムを例として説明したが、対象の言語や機
械によるサービス内容が例以外の場合においても、本発
明は適用可能である。

【００２１】

【発明の効果】本発明によれば、手話等の通訳者が常駐
することなく、言語の異なる人同士や人と機械との間の
対話を、誤訳や誤解により中断され、行きづまることな
く進めることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の手話通訳装置の構成を示す
図である。

【図２】本発明の一実施例の情報問い合わせシステムの
構成を示す図である。

【図３】手話通訳装置の健聴者側端末の翻訳結果の表示
の例を示す図である。

【図４】手話通訳装置の聴覚障害者側端末の翻訳結果の
表示の例を示す図である。

【図５】手話通訳装置の手話通訳者側端末の翻訳結果の
表示の例を示す図である。

【図６】手話通訳者を交えた対話への移行を決定するた
めのキーの例を示す図である。

【図７】情報問い合わせシステムの処理手順を示す図で
ある。

【符号の説明】

１、５、１０‥カメラ、２‥動作入力用センサ、３、
７、９‥端末、４‥タッチパネル、６、８‥電話、１
１、１２、１３‥ポート、１４、１６‥認識、理解部、
１５、１７翻訳部、１８‥対話情報管理部、１９‥通信
管理システム、２０‥情報問い合わせシステム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者崎山朝子東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者相良和彦東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者大淵康成東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者井上潔東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者戸田裕二東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】聴覚障害者からの手話による入力を受信す
る手段と、受信された手話を認識および理解する手段と、認識および理解された結果を対話相手および情報検索装
置の少なくとも一方が理解できる言語に翻訳する手段
と、翻訳結果を対話相手および情報検索装置の少なくとも一
方に送信する手段と、逆に対話相手および情報検索装置の少なくとも一方から
の入力を受信する手段と、受信された手話を認識および理解する手段と、認識および理解された結果を聴覚障害者が理解できる言
語に翻訳する手段と、翻訳結果を聴覚障害者に送信する手段を備え、手話を入
力とした手話における対話制御装置であって、対話の来歴を記録する手段と、聴覚障害者と対話相手あるいは聴覚障害者と情報検索装
置の対話において、両者の対話が行きづまった場合に、
手話通訳者を介した２者あるいは３者による会話の形態
に切り替える手段と、手話通訳者を介した会話形態において、上記記録された
対話来歴を手話通訳者に提示する手段と、を設けたことを特徴とする手話対話における対話制御装
置。
【請求項２】対話来歴記録手段は、文字入力、入力手話
画像、入力音声、これらの入力の認識結果、聴覚障害
者、対話相手が対話をどこまで理解しているかのうち少
なくとも１つの情報を記録することを特徴とする請求項
１記載の手話対話における対話制御装置。
【請求項３】手話通訳者を介した会話形態への移行の要
求を、対話相手に知らせる手段と、その要求を断る手段とを備え、対話をしている両者の合意が成立したとき手話通訳者を
介した会話形態へ移行することを特徴とする請求項１記
載の手話対話における対話制御装置。
【請求項４】手話通訳者を介した会話形態において、手
話通訳者からの入力を受信する手段と、その入力を対話者へ送信する手段と、両対話者からの入力を手話通訳者へ送信する手段と、を備えたことを特徴とする請求項１記載の手話対話にお
ける対話制御装置。