JPH06337628A - 手話翻訳確認装置 - Google Patents

手話翻訳確認装置

Info

Publication number
JPH06337628A
JPH06337628A JP5128702A JP12870293A JPH06337628A JP H06337628 A JPH06337628 A JP H06337628A JP 5128702 A JP5128702 A JP 5128702A JP 12870293 A JP12870293 A JP 12870293A JP H06337628 A JPH06337628 A JP H06337628A
Authority
JP
Japan
Prior art keywords
sign language
version
picture
characters
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5128702A
Other languages
English (en)
Inventor
Asako Sakiyama
朝子 崎山
Eiji Ohira
栄二 大平
Hirohiko Sagawa
浩彦 佐川
Masaru Oki
優 大木
Kazuhiko Sagara
和彦 相良
Kiyoshi Inoue
潔 井上
Yasunari Obuchi
康成 大淵
Yuji Toda
裕二 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP5128702A priority Critical patent/JPH06337628A/ja
Priority to US08/200,702 priority patent/US5659764A/en
Publication of JPH06337628A publication Critical patent/JPH06337628A/ja
Priority to US08/854,093 priority patent/US5953693A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Machine Translation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【構成】 入力された手話に対する訳文の内容を絵と文
字をディスプレイ6,7を用いて表示し、話題に登場す
る人物や物の配置は入力された手話の手の位置座標を参
考にして決定する。また、既に訳された訳文をエディタ
上に残すことにより、訳文の確認と修正を手話訳文確認
制御部4にて行うようにする。 【効果】 入力した手話に対する訳文の内容を、入力さ
れた手の位置をもとにCGのアニメーションを用いて表
示するため、少ない処理で訳文の内容を現実の世界に近
い状態で表示することができる。また、利用者も少ない
負担で短時間に訳文を確認することができる。また、既
に確認された部分の確認表示を縮小して画面の下側に残
すことによって、会話のどの部分で間違いが生じたかを
短時間で見つけることができるという効果がある。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、手話を認識し、日本語
に翻訳する手話翻訳装置に関し、入力された手話の意味
と、翻訳された文章の意味が合っているかどうかを絵と
文字を用いて確認する手話翻訳確認装置に関する。
【0002】
【従来の技術】従来の翻訳確認手段では、原文と訳文と
を単語レベルまで比較検討する必要があるため、訳文と
原文を同一のディスプレイに文字で表示している。例え
ば、特公平5−10704号公報「翻訳表示装置」が提
案されている。
【0003】
【発明が解決しようとする課題】従来の翻訳確認の方式
では訳文を読まなくてはならないために確認に時間がか
かり、会話文の確認に用いた場合にはスムーズな会話が
行えなくなってしまうという問題点がある。
【0004】会話においては訳文を単語レベルまで確認
する必要はなく、むしろ、要旨を確認できることが重要
である。しかし、従来の方式では長い文章を読まなくて
はならないため、要旨をつかむための負担が大きいとい
う問題点がある。
【0005】さらに、従来の方式における訳文の修正で
は、修正個所を文単位、あるいは、単語単位で指摘しな
ければならないが、会話が長くなった場合にはどの部分
から修正すれば良いかを正確に把握することは難しいと
いった問題点がある。
【0006】本発明の目的は、翻訳された文の要旨を、
高速かつ、少ない負担で確認し、修正個所を提示し、容
易に修正することのできる手話翻訳確認装置を提供する
ことにある。
【0007】
【課題を解決するための手段】上記目的達成のために、
本発明の手話翻訳確認装置では、翻訳結果の表している
内容を文字のみではなく、絵も用いて表示する。
【0008】絵を表示する際には、入力された手話の位
置情報をもとに、絵の配置を決定し、色、形、動きを用
いて表現することによって、翻訳文の内容を現実にその
場面を眺めているように表現をする。
【0009】また、すでに翻訳された部分の絵を縮小し
てディスプレイの下方に表示しておき、絵を手で触れる
だけで修正したい部分を指摘することができるようにし
たものである。
【0010】
【作用】翻訳文の内容を、文字のみでなく、カラーのコ
ンピュータグラフィックス(CG)アニメーションで表
示することによって、より現実の世界に近い表示が可能
となるために見るだけで多くの情報を得ることができる
ようになり、翻訳確認、誤訳発見にかかる時間を短縮す
ることができる。
【0011】また、手話では自分の体の前に、話したい
場面を設定して、登場する人物や物体の配置を現実に即
して手の位置や動きで表現する。そのため、表現する訳
文に登場する人物や物体を入力された手話の手の位置に
表示することによって、人物や物の空間的な位置関係を
現実に近い状態で表現することができ、訳文の要旨をつ
かむ際の負担を軽減することができる。
【0012】さらに、すでに翻訳された部分のCGをデ
ィスプレイ上に表示しておき、会話の流れを把握できる
ようにすることによって、ある程度会話が進んで間違い
に気がついた場合にも、間違いの生じた部分を簡単に発
見することができる。また、CGを手で触れるだけで修
正したい部分を指摘することができるようにすることに
よって、会話の途中で素早く修正個所を指摘することが
可能になる。
【0013】
【実施例】以下、本発明の実施例を図1から図17を用
いて説明する。図1は本発明を聴覚障害者から健聴者へ
の通訳システムに実施した場合の一実施例のシステム構
成図である。1は、手話を撮影するためのカメラ、2は
手話を入力するための手形センサ、3は入力された手話
を構文解析し日本語に変換する手話日本語変換部、4は
訳文確認の絵と文字を作製する手話訳文確認制御部、5
は訳文確認のための絵と文字を健聴者に提示するための
ディスプレイ、6は訳文確認のための絵と文字を聴覚障
害者に提示するためのディスプレイ、7は訳文の間違い
を指摘するためのタッチパネル、8は訳文を修正する手
話訳文修正部である。
【0014】図2と図3は、本システムを使用している
状態を表す一実施例で、図2は状態をZ軸33上から見
た図、図3は同じ状態をY軸32上から見た図である。
5と6は手話から訳された日本語の文章の意味を確認す
るために絵と文字を表示するためのディスプレイ、31
から33は本図面を説明するためのデカルト座標、34
は手話を入力する聴覚障害者,35は健聴者、1は手話
を撮影するためのカメラである。
【0015】図4は、手話訳文確認制御部の構成図で、
41は見だし付きのCGデータを格納するCGパタン、
42は表示する単語を表すCGデータをCGパタン41
から検索するCGパタン決定部、43は入力された手話
の手の位置にCGを表示するための変換を行う手話空間
利用決定部、44はCGの全体構成を決定するCG表示
方式決定部である。45は既に表示された確認CGを一
時登録するためのCGパタン一時記憶部、46は既に表
示したCGを再生し、再生された画面を停止したり、早
送りを行ったりする再生制御部である。
【0016】図5は、訳文確認時にディスプレイ5と6
に表示される画面の具体例示す図である。4301はカ
メラ1で撮影された画像を表示する出力エリア、430
2は最新の訳文の確認CGを表示する出力エリア、43
03は出力エリア4302に表示されている確認CGに
相当する訳文を日本語の文字で表示する出力エリア、4
304と4305はすでに表示された確認画面を縮小し
て表示したもので、4304はCGを用いて確認画面を
表示した場合、4305は文字を用いて確認画面を表示
した場合である。4306はすでに表示した確認CGを
再生するための入力エリア、4307は再生CGを停止
するための入力エリア、4308はCGを停止するため
の入力エリアである。
【0017】図13は、手話日本語変換部3から手話訳
文確認制御部4に送られる確認CG作製用データd2の
データ構造である。21は訳文に表われる単語の見だ
し、22は単語21の格、23は単語21が係る単語、
24は単語21の属する文章の種類、25は入力された
手話の手の位置の座標である。
【0018】図14は、CGパタン41に保持されてい
るCGパタンのデータ構造で、411は登録されている
単語名、412は登録されているCGデータの品詞、4
13は単語名の持つニュアンスで、明るい、中間、暗い
のどれかを登録する。414は単語の中心位置座標、4
15は手話表示用データ、416はCG属性であり、絵
であるか、文字であるかを決める。
【0019】次に、図1から図17を用いて、本実施例
の動作を説明する。手形センサ2で入力された手話を認
識し、手話日本語変換部3で手話を日本語の文章に変換
し、ディスプレイ5と6に表示する方法は例えば特願平
4−51300号によって実現される。
【0020】次に、図6を用いて手話訳文確認制御部7
について説明する。ここでは、「私は昨日彼女の家に行
った」という例文をとりあげ、特に、「彼女の家」とい
う文の表示方法を詳しく説明する。単語「彼女」が入力
されると42では、d2の「彼女」21と同じ単語名、
「彼女」411を持つCGパタンをCGパタン41から
検索する。43の手話空間利用決定部では入力された手
話画像4302の手の位置4310に、CGデータ41
5を表示する。この際、手話画像エリア4302をa右
4312、b中央4313、c左4314の3つに区切
り、同様にしてCG表示エリアもa’右4315、b’
4316中央、c’4317左の3つに区切り、a43
12とa’4315、b4313とb’4316、c4
314とc4317’をを対応させる。44のCG表示
方式決定部については、図7を用いて説明する。まず、
入力された単語のCG属性4409は絵で登録されてお
り、ニュアンスは「中間」413なので、薔薇色440
3、クリーム色4404、灰色4405からクリーム色
4404を選ぶ。次に、単語411は名詞412である
ので、図8に示す名詞処理4406に進む。まず、「彼
女」21は所有格22であるので、「彼女」の絵を図1
5の132に示すように名札の中に書く44062。次
に、44063では133に示すように、名札を所有対
象である単語CGパタン「家」につけ、図16の133
に示すように入力された手の位置に「家」を表示する。
そして、CGパタン一時記憶部45に記憶する。「私」
が入力された場合には、「私」のCG属性4409は絵
でニュアンス4402は中間なので出力エリアをクリー
ム色に設定する4404。更に、名詞4406で、主格
なので登録CGを2倍の大きさに拡大して表示する44
061、130。最後に、CGパタン一時記憶部45に
記憶する。「昨日」の場合はCG属性は文字なので出力
エリア4302に昨日の日付を表示する131。そし
て、CGパタン一時記憶部45に記憶する。最後に、
「行った」が入力された場合には、CG属性は絵440
9、単語のニュアンスは中間4404で動詞であるの
で、図9に示す動詞処理4407に進む。更に、単文な
ので、図16に134に示すように入力された手話の位
置にCGを出力する44071。最後に、CGパタン一
時記憶部45に記憶する。上記の例文では説明しなかっ
たが、形容詞が入力された場合にはその形容詞が修飾す
る単語を表示している出力エリアに重ねて、形容詞のC
Gパタン図10,図11といった、形容詞の持つ雰囲気
を表す模様と文字を表示する。
【0021】再生制御部46で、前を見る4306、停
止4307、先を見る4308といった指示があった場
合には、各々のコマンドに応じてCGパタン一時記憶部
45から一時登録してあるデータを呼出したり、1つの
CGを停止させて表示したりする。
【0022】手話訳文修正部8については、図12と図
17を用いて説明する。聴覚障害者34がエディタB6
上で図17に示す修正部141を手で触れて指摘する8
1と、エディタ5とエディタ6上の141の部分が点滅
し、「再入力」の文字が表示されてる143。ここで、
手形センサ2を用いて手話を再入力し、もう一度「再入
力」が表示されているエリア143を触れると、その部
分の絵141が新たに翻訳された絵と置き代わる。
【0023】
【発明の効果】本発明によれば、翻訳の確認を高速、か
つ、少ない負担で行うことができるとともに、翻訳修正
個所も素早く発見し、指摘修正することができる。
【図面の簡単な説明】
【図1】手話通訳システムに実施した場合の一実施例の
構成機器。
【図2】手話通訳システムの使用状態(人物の横側から
見た場合)を説明する図。
【図3】手話通訳システムの使用状態(人物の上側から
見た場合)を説明する図。
【図4】手話訳文確認制御部の流れ図。
【図5】手話訳文を確認するための表示画面を説明する
図。
【図6】手話空間の利用法を説明する図。
【図7】CG表示方式決定部の流れ図。
【図8】名詞処理の流れ図。
【図9】動詞処理の流れ図。
【図10】形容詞のCGパタンの一例(例「痛い」)を
示す図。
【図11】形容詞のCGパタンの一例(例「楽しい」)
を示す図。
【図12】再生制御部の流れ図。
【図13】手話日本語変換部3から手話確認制御部4へ
送られるデータの構造を説明する図。
【図14】CGパタン41に登録されているデータの構
造を説明する図。
【図15】訳文確認表示の方法を説明する図。
【図16】訳文確認表示の方法を説明する図。
【図17】訳文訂正の方法を説明する図。
【符号の説明】
1…カメラ、2…手形センサ、3…手話日本語変換部、
4…手話訳文確認制御部、5…ディスプレイ、6…ディ
スプレイ、7…手話訳文修正部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大木 優 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 相良 和彦 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 井上 潔 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 大淵 康成 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 戸田 裕二 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】手話を認識し、日本語に翻訳する際に、入
    力された手話を翻訳し日本語を絵と文字を用いて確認で
    きる手段を有することを特徴とする手話翻訳確認装置。
  2. 【請求項2】請求項1記載の手話翻訳確認装置におい
    て、翻訳された文章の内容を絵で表示する手段は、入力
    された手話の持つ位置情報をもとに絵の空間配置を決定
    し、表示する手段を有することを特徴とする手話翻訳確
    認装置。
  3. 【請求項3】請求項1記載の手話翻訳確認装置におい
    て、誤っている絵の部分を触ることにより、その誤り部
    分を対話の相手に知らせる手段を有することを特徴とす
    る手話翻訳確認装置。
  4. 【請求項4】請求項1記載の手話翻訳確認装置におい
    て、誤っている絵の部分を触ることにより、その誤り部
    分を修正させることを特徴とする手話翻訳確認装置。
JP5128702A 1993-02-25 1993-05-31 手話翻訳確認装置 Pending JPH06337628A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5128702A JPH06337628A (ja) 1993-05-31 1993-05-31 手話翻訳確認装置
US08/200,702 US5659764A (en) 1993-02-25 1994-02-23 Sign language generation apparatus and sign language translation apparatus
US08/854,093 US5953693A (en) 1993-02-25 1997-05-09 Sign language generation apparatus and sign language translation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5128702A JPH06337628A (ja) 1993-05-31 1993-05-31 手話翻訳確認装置

Publications (1)

Publication Number Publication Date
JPH06337628A true JPH06337628A (ja) 1994-12-06

Family

ID=14991316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5128702A Pending JPH06337628A (ja) 1993-02-25 1993-05-31 手話翻訳確認装置

Country Status (1)

Country Link
JP (1) JPH06337628A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990878A (en) * 1995-05-18 1999-11-23 Hitachi, Ltd. Sign language editing apparatus
JP2015075750A (ja) * 2013-10-11 2015-04-20 株式会社Nttドコモ 画像認識装置および画像認識方法
JP2020126144A (ja) * 2019-02-05 2020-08-20 ソフトバンク株式会社 システム、サーバ装置及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990878A (en) * 1995-05-18 1999-11-23 Hitachi, Ltd. Sign language editing apparatus
JP2015075750A (ja) * 2013-10-11 2015-04-20 株式会社Nttドコモ 画像認識装置および画像認識方法
JP2020126144A (ja) * 2019-02-05 2020-08-20 ソフトバンク株式会社 システム、サーバ装置及びプログラム

Similar Documents

Publication Publication Date Title
US6377925B1 (en) Electronic translator for assisting communications
US5659764A (en) Sign language generation apparatus and sign language translation apparatus
JP3338992B2 (ja) 手話/単語変換システム
JP3435175B2 (ja) 手話学習装置
US20010041328A1 (en) Foreign language immersion simulation process and apparatus
Oliveira et al. Automatic sign language translation to improve communication
KR20100058843A (ko) 증강 현실을 이용한 한글 교습 방법 및 시스템
CN113851029B (zh) 一种无障碍通信方法和装置
Rastgoo et al. All you need in sign language production
Solina et al. Multimedia dictionary and synthesis of sign language
JP2007219218A (ja) 語学学習用電子機器および訳文再生方法
JPH06337628A (ja) 手話翻訳確認装置
CN109766159A (zh) 填表位置的确定方法、计算机设备以及存储介质
Carmigniani Augmented reality methods and algorithms for hearing augmentation
US20220350974A1 (en) Integrating overlaid textual digital content into displayed data via graphics processing circuitry using a frame buffer
Ohki et al. Pattern recognition and synthesis for sign language translation system
JPH06337627A (ja) 手話通訳装置
US20230376699A1 (en) On-Device Real-Time Translation of Media Content on a Mobile Electronic Device
JP2004517375A (ja) 発想を表象する画像を編集する方法および装置
Aziz et al. Inclusive Voice Interaction Techniques for Creative Object Positioning
JP3345070B2 (ja) 手話通訳装置および方法
JPH08137385A (ja) 会話装置
CN111047924A (zh) 一种记忆英语单词的视觉化方法及系统
Ramli et al. Application of machine learning in Malaysia Sign Language translation
Ma et al. Automated Conversion of Music Videos into Lyric Videos