JPH1026999A - 手話翻訳装置 - Google Patents
手話翻訳装置Info
- Publication number
- JPH1026999A JPH1026999A JP8181013A JP18101396A JPH1026999A JP H1026999 A JPH1026999 A JP H1026999A JP 8181013 A JP8181013 A JP 8181013A JP 18101396 A JP18101396 A JP 18101396A JP H1026999 A JPH1026999 A JP H1026999A
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- data
- image data
- section
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
【課題】 手話者の手の動きを画像入力し、これを自動
識別し翻訳した後、その結果を音声によって出力するこ
と。 【解決手段】 手話の様子を撮影するＴＶカメラ等の撮
影部２と、この撮影部２からの画像データを処理して手
話の認識に必要な情報を取り出す画像処理部３と、予め
手話形態データが蓄えられている形態データ記憶部４
と、前記の処理された画像データと前記手話形態データ
を比較する画像データ比較部５と、前記手話形態データ
に対応する音声データが予め蓄えられている音声データ
記憶部６と、それを制御する音声出力制御部７と、音声
データを出力する音声出力部８とから構成されている。
識別し翻訳した後、その結果を音声によって出力するこ
と。 【解決手段】 手話の様子を撮影するＴＶカメラ等の撮
影部２と、この撮影部２からの画像データを処理して手
話の認識に必要な情報を取り出す画像処理部３と、予め
手話形態データが蓄えられている形態データ記憶部４
と、前記の処理された画像データと前記手話形態データ
を比較する画像データ比較部５と、前記手話形態データ
に対応する音声データが予め蓄えられている音声データ
記憶部６と、それを制御する音声出力制御部７と、音声
データを出力する音声出力部８とから構成されている。
Description
【０００１】
【発明の属する技術分野】本発明は、入力された手話画
像データを解読し、音声として出力する手話翻訳装置に
関するものである。
像データを解読し、音声として出力する手話翻訳装置に
関するものである。
【０００２】
【従来の技術】従来、手話者と会話をする場合、自らが
手話を修得して会話を行うか、手話を理解できる第三者
に通訳をしてもらうのが一般的であった。一方、このよ
うな人間による方法以外に、近年、いくつかの手話翻訳
技術が提案されている。
手話を修得して会話を行うか、手話を理解できる第三者
に通訳をしてもらうのが一般的であった。一方、このよ
うな人間による方法以外に、近年、いくつかの手話翻訳
技術が提案されている。
【０００３】本発明に関連する技術として、（公知例
１）特開平３ー２８８２７６号公報「データ入力装
置」、（公知例２）特開平６ー６７６０１号公報「手話
通訳装置および手話通訳システム」が知られている。
（公知例１）は、手話による手や腕の動きを画像入力す
る画像入力手段と、標準の手話の動きデータを予め記憶
した記憶手段とを有し、画像入力手段から得られる手話
の画像データと記憶手段のデータとを比較して当該手話
の内容を識別し、該当する一群の文字データに変換する
もので、情報処理装置等向けのデータ入力装置である。
また、（公知例２）は、データグローブを用いて手話に
よる指や手の動きを検出し、またＴＶカメラ等を用いて
話者の表情を画像入力し、また、キー・ボードからのテ
キスト入力やマイクによる音声入力も併せて、これらを
総合的に用いて手話認識を行う。そして、その結果を音
声、テキスト、他の種の手話等で出力する。
１）特開平３ー２８８２７６号公報「データ入力装
置」、（公知例２）特開平６ー６７６０１号公報「手話
通訳装置および手話通訳システム」が知られている。
（公知例１）は、手話による手や腕の動きを画像入力す
る画像入力手段と、標準の手話の動きデータを予め記憶
した記憶手段とを有し、画像入力手段から得られる手話
の画像データと記憶手段のデータとを比較して当該手話
の内容を識別し、該当する一群の文字データに変換する
もので、情報処理装置等向けのデータ入力装置である。
また、（公知例２）は、データグローブを用いて手話に
よる指や手の動きを検出し、またＴＶカメラ等を用いて
話者の表情を画像入力し、また、キー・ボードからのテ
キスト入力やマイクによる音声入力も併せて、これらを
総合的に用いて手話認識を行う。そして、その結果を音
声、テキスト、他の種の手話等で出力する。
【０００４】
【発明が解決しようとする課題】ところで、上記の公知
例１においては、手話の手の動きを画像入力し、この画
像データを文字データに変換するので、手話を行ってい
る相手の表情よりも文字表示を主に見ることになり、会
話を行っているという感じから遠くなる欠点があった。
また、上記の公知例２においては、手話の画像入力のた
めに、話者がデータグローブ等の特別なセンサを装着し
なくてはならないという制約があった。
例１においては、手話の手の動きを画像入力し、この画
像データを文字データに変換するので、手話を行ってい
る相手の表情よりも文字表示を主に見ることになり、会
話を行っているという感じから遠くなる欠点があった。
また、上記の公知例２においては、手話の画像入力のた
めに、話者がデータグローブ等の特別なセンサを装着し
なくてはならないという制約があった。
【０００５】本発明はこれらの点に鑑みてなされたもの
で、手話の手の動きの入力のために特別なツールを必要
とせず、お互いが相手を見ながら音声言語によって直接
に会話しているような状態を得ることができる手話翻訳
装置を提供することを目的としている。
で、手話の手の動きの入力のために特別なツールを必要
とせず、お互いが相手を見ながら音声言語によって直接
に会話しているような状態を得ることができる手話翻訳
装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】請求項１に記載の発明
は、手話の内容を翻訳し音声として出力する装置におい
て、手話の様子を撮影する撮影部と、予め手話形態デー
タが記憶されている形態データ記憶部と、手話形態デー
タに対応した音声データが予め記憶されている音声デー
タ記憶部と、撮影部から出力された画像データと、前記
形態データ記憶部に格納されている手話形態データとを
比較して前記画像データに最も近い手話形態データを検
出する画像データ比較部と、画像データ比較部によって
検出された手話形態データに対応する音声データを前記
音声データ記憶部から読み出し、音声として発音する音
声出力手段とを具備してなる手話翻訳装置である。
は、手話の内容を翻訳し音声として出力する装置におい
て、手話の様子を撮影する撮影部と、予め手話形態デー
タが記憶されている形態データ記憶部と、手話形態デー
タに対応した音声データが予め記憶されている音声デー
タ記憶部と、撮影部から出力された画像データと、前記
形態データ記憶部に格納されている手話形態データとを
比較して前記画像データに最も近い手話形態データを検
出する画像データ比較部と、画像データ比較部によって
検出された手話形態データに対応する音声データを前記
音声データ記憶部から読み出し、音声として発音する音
声出力手段とを具備してなる手話翻訳装置である。
【０００７】請求項２に記載の発明は、請求項１に記載
の手話翻訳装置において、撮影部から出力された画像デ
ータから手の画像データのみを抽出して画像データ比較
部へ出力する画像処理部を設けたことを特徴とする。
の手話翻訳装置において、撮影部から出力された画像デ
ータから手の画像データのみを抽出して画像データ比較
部へ出力する画像処理部を設けたことを特徴とする。
【０００８】
【発明の実施の形態】本発明の一実施形態による手話翻
訳装置を図面を参照しつつ説明する。図１は、同実施形
態による手話翻訳装置の構成を示すブロック図である。
この図において、符号１は本手話翻訳装置である。符号
２は撮影部であり、ビデオカメラによって構成されてい
る。そして、話者の手の動きを撮影し、その画像データ
を出力する。符号３は画像処理部であり、撮影部１から
入力された画像データに対して画像処理を行う。すなわ
ち、撮影された画像データには、話者の背景等の、話者
の手や腕以外の画像情報も含まれているので、これら手
話に不必要な画像情報を削除し、以後の処理に必要な画
像データのみを抽出し、抽出したデータを手話画像デー
タとして出力する。
訳装置を図面を参照しつつ説明する。図１は、同実施形
態による手話翻訳装置の構成を示すブロック図である。
この図において、符号１は本手話翻訳装置である。符号
２は撮影部であり、ビデオカメラによって構成されてい
る。そして、話者の手の動きを撮影し、その画像データ
を出力する。符号３は画像処理部であり、撮影部１から
入力された画像データに対して画像処理を行う。すなわ
ち、撮影された画像データには、話者の背景等の、話者
の手や腕以外の画像情報も含まれているので、これら手
話に不必要な画像情報を削除し、以後の処理に必要な画
像データのみを抽出し、抽出したデータを手話画像デー
タとして出力する。
【０００９】符号４は形態データ記憶部であり、手話の
種々の形態の各々が予め撮影され、その撮影によって得
られた画像データが手話形態データとして記憶されてい
る。符号５は画像データ比較部であり、画像処理部５か
ら出力される手話画像データと形態データ記憶部４内の
各手話形態データとを比較し、手話画像データに最も近
い手話形態データを検出する。そして、その検出結果を
示すデータを音声出力制御部７へ出力する。符号６は音
声データ記憶部であり、前記手話形態データに対応した
音声データが予め記憶されている。音声出力制御部７
は、画像データ比較部５から出力されるデータに対応す
る音声データを音声データ記憶部６から読み出し、音声
出力部８へ出力する。音声出力部８は、音声出力制御部
７から出力される音声データを音声信号に変換し、スピ
ーカ（図示略）から発音する。
種々の形態の各々が予め撮影され、その撮影によって得
られた画像データが手話形態データとして記憶されてい
る。符号５は画像データ比較部であり、画像処理部５か
ら出力される手話画像データと形態データ記憶部４内の
各手話形態データとを比較し、手話画像データに最も近
い手話形態データを検出する。そして、その検出結果を
示すデータを音声出力制御部７へ出力する。符号６は音
声データ記憶部であり、前記手話形態データに対応した
音声データが予め記憶されている。音声出力制御部７
は、画像データ比較部５から出力されるデータに対応す
る音声データを音声データ記憶部６から読み出し、音声
出力部８へ出力する。音声出力部８は、音声出力制御部
７から出力される音声データを音声信号に変換し、スピ
ーカ（図示略）から発音する。
【００１０】次に、動作を説明する。話者が手話を行っ
た場合、その手の動きが撮影部２によって撮影され、そ
の画像データが画像処理部３を介して画像データ比較部
５へ供給される。画像データ比較部５は供給された手話
画像データと形態データ記憶部４内の手話形態データと
を比較し、手話画像データに最も近い手話形態データを
検出する。そして、検出した手話形態データを示すデー
タを音声出力制御部７へ出力する。音声出力制御部７は
供給されたデータに対応する音声データを音声データ記
憶部６から読み出し、音声出力部８へ出力する。これに
より、話者が行った手の動きを翻訳した音声がスピーカ
から発生する。
た場合、その手の動きが撮影部２によって撮影され、そ
の画像データが画像処理部３を介して画像データ比較部
５へ供給される。画像データ比較部５は供給された手話
画像データと形態データ記憶部４内の手話形態データと
を比較し、手話画像データに最も近い手話形態データを
検出する。そして、検出した手話形態データを示すデー
タを音声出力制御部７へ出力する。音声出力制御部７は
供給されたデータに対応する音声データを音声データ記
憶部６から読み出し、音声出力部８へ出力する。これに
より、話者が行った手の動きを翻訳した音声がスピーカ
から発生する。
【００１１】
【発明の効果】以上、説明したように本発明によれば以
下の効果を得ることができる。 １.データグローブ等の特別な入力ツールを必要とせず
に、話者の手の動きを画像入力することができるので、
従来に比べて入力手続きが簡略化された。 ２.画像入力された手話者の画像データから、背景等
の、手話の翻訳に不必要な情報を削除して、手の動きの
情報のみを取り出して、翻訳処理を行うので、画像メモ
リも少なくて済み、高速な翻訳を、より簡単な構成によ
って行うことができる。 ３.手話の翻訳結果の出力を音声出力としたことによ
り、話者と面と向かって、あたかも音声言語によって会
話をするように、リアルタイムに会話を行うことが可能
となった。 ４.本発明による手話翻訳装置を複数台、組み合わせる
ことによって一方向の通話にとどまらずに、グループ内
における手話者の会話への参加も可能となる。 ５.手話を修得しようとしている人が、本発明により自
分の手話を撮影して、翻訳された音声により、意図した
手話ができているかを確認して、手話学習の助けに利用
することができる。
下の効果を得ることができる。 １.データグローブ等の特別な入力ツールを必要とせず
に、話者の手の動きを画像入力することができるので、
従来に比べて入力手続きが簡略化された。 ２.画像入力された手話者の画像データから、背景等
の、手話の翻訳に不必要な情報を削除して、手の動きの
情報のみを取り出して、翻訳処理を行うので、画像メモ
リも少なくて済み、高速な翻訳を、より簡単な構成によ
って行うことができる。 ３.手話の翻訳結果の出力を音声出力としたことによ
り、話者と面と向かって、あたかも音声言語によって会
話をするように、リアルタイムに会話を行うことが可能
となった。 ４.本発明による手話翻訳装置を複数台、組み合わせる
ことによって一方向の通話にとどまらずに、グループ内
における手話者の会話への参加も可能となる。 ５.手話を修得しようとしている人が、本発明により自
分の手話を撮影して、翻訳された音声により、意図した
手話ができているかを確認して、手話学習の助けに利用
することができる。
【図１】 本発明の一実施形態による手話翻訳装置の構
成を示すブロック図である。
成を示すブロック図である。
１…手話翻訳装置、２…撮影部、３…画像処理部、４…
形態データ記憶部、５…画像データ比較部、６…音声デ
ータ記憶部、７…音声出力制御部、８…音声出力部
形態データ記憶部、５…画像データ比較部、６…音声デ
ータ記憶部、７…音声出力制御部、８…音声出力部
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 Ｇ０６Ｆ 15/62 ３８０
Claims (2)
- 【請求項１】 手話の内容を翻訳し音声として出力する
装置において、 手話の様子を撮影する撮影部と、 予め、手話形態データが記憶されている形態データ記憶
部と、 前記手話形態データに対応した音声データが予め記憶さ
れている音声データ記憶部と、 前記撮影部から出力された画像データと、前記形態デー
タ記憶部に格納されている手話形態データとを比較して
前記画像データに最も近い手話形態データを検出する画
像データ比較部と、 前記画像データ比較部によって検出された手話形態デー
タに対応する音声データを前記音声データ記憶部から読
み出し、音声として発音する音声出力手段と、 を具備してなる手話翻訳装置。 - 【請求項２】 前記撮影部から出力された画像データか
ら手の画像データのみを抽出して前記画像データ比較部
へ出力する画像処理部を設けたことを特徴とする請求項
１に記載の手話翻訳装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8181013A JPH1026999A (ja) | 1996-07-10 | 1996-07-10 | 手話翻訳装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8181013A JPH1026999A (ja) | 1996-07-10 | 1996-07-10 | 手話翻訳装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1026999A true JPH1026999A (ja) | 1998-01-27 |
Family
ID=16093231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8181013A Pending JPH1026999A (ja) | 1996-07-10 | 1996-07-10 | 手話翻訳装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1026999A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100457928B1 (ko) * | 2002-11-12 | 2004-11-18 | 한국과학기술원 | 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체 |
| JP2012252581A (ja) * | 2011-06-03 | 2012-12-20 | Kyushu Institute Of Technology | 手話認識方法及びその装置 |
| JP2015075750A (ja) * | 2013-10-11 | 2015-04-20 | 株式会社Ｎｔｔドコモ | 画像認識装置および画像認識方法 |
| KR20160028889A (ko) | 2014-09-04 | 2016-03-14 | 이대휘 | 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치 |
| JP2018163400A (ja) * | 2017-03-24 | 2018-10-18 | 日本電信電話株式会社 | モデル学習装置、発話単語推定装置、モデル学習方法、発話単語推定方法、プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03288276A (ja) * | 1990-04-04 | 1991-12-18 | Canon Inc | データ入力装置 |
| JPH0667601A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | 手話通訳装置および手話通訳システム |
-
1996
- 1996-07-10 JP JP8181013A patent/JPH1026999A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03288276A (ja) * | 1990-04-04 | 1991-12-18 | Canon Inc | データ入力装置 |
| JPH0667601A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | 手話通訳装置および手話通訳システム |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100457928B1 (ko) * | 2002-11-12 | 2004-11-18 | 한국과학기술원 | 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체 |
| JP2012252581A (ja) * | 2011-06-03 | 2012-12-20 | Kyushu Institute Of Technology | 手話認識方法及びその装置 |
| JP2015075750A (ja) * | 2013-10-11 | 2015-04-20 | 株式会社Ｎｔｔドコモ | 画像認識装置および画像認識方法 |
| KR20160028889A (ko) | 2014-09-04 | 2016-03-14 | 이대휘 | 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치 |
| JP2018163400A (ja) * | 2017-03-24 | 2018-10-18 | 日本電信電話株式会社 | モデル学習装置、発話単語推定装置、モデル学習方法、発話単語推定方法、プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867607B2 (en) | Voice dialog device and voice dialog method | |
| CN110475069B (zh) | 图像的拍摄方法及装置 | |
| CN110931042B (zh) | 同声传译方法、装置、电子设备以及存储介质 | |
| JP4761568B2 (ja) | 会話支援装置 | |
| JP7279494B2 (ja) | 会議支援装置、および会議支援システム | |
| WO2017195775A1 (ja) | 手話会話支援システム | |
| CN111936964B (zh) | 非中断性nui命令 | |
| JPH07302351A (ja) | 画像・音声応答装置及び画像・音声応答方法 | |
| JP2019208138A (ja) | 発話認識装置、及びコンピュータプログラム | |
| WO2022196921A1 (ko) | 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
| KR20220003858A (ko) | 영상 생성을 위한 학습 장치 및 방법 | |
| KR100348823B1 (ko) | 수화 번역 장치 | |
| WO2021066399A1 (ko) | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 | |
| JPH1026999A (ja) | 手話翻訳装置 | |
| JP2004015478A (ja) | 音声通信端末装置 | |
| JPH11288295A (ja) | 音声認識雑音除去方式 | |
| Khan et al. | Sign language translation in urdu/hindi through microsoft kinect | |
| JP6754154B1 (ja) | 翻訳プログラム、翻訳装置、翻訳方法、及びウェアラブル端末 | |
| JP2019086858A (ja) | 顧客応対システム及び顧客応対方法 | |
| JPH0728488A (ja) | 情報処理方法及び装置 | |
| JP2006268710A (ja) | 翻訳システム | |
| JP3501488B2 (ja) | 音声認識装置及び方法 | |
| CN113780013A (zh) | 一种翻译方法、设备和可读介质 | |
| KR20220034396A (ko) | 얼굴 영상 생성 장치, 방법 및 컴퓨터 프로그램 | |
| JP2781743B2 (ja) | 手話翻訳装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 19990525 |