JP5846552B2 - 手話認識方法及びその装置 - Google Patents
手話認識方法及びその装置 Download PDFInfo
- Publication number
- JP5846552B2 JP5846552B2 JP2011125394A JP2011125394A JP5846552B2 JP 5846552 B2 JP5846552 B2 JP 5846552B2 JP 2011125394 A JP2011125394 A JP 2011125394A JP 2011125394 A JP2011125394 A JP 2011125394A JP 5846552 B2 JP5846552 B2 JP 5846552B2
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- image data
- character
- recognition
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させる。
前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させている。
また、画像取得手段が、画像取得手段を常時必要とする手話者側に所持されるため、手話認識方法及びその装置の普及を促進することができる。更に、画像取得手段が手話者の胴部前側に配置されるので、手話を近距離から撮影することができる。これにより、手話の正確な画像データを取得することができ、手話の認識が容易にできると共に、背景等の不要画像の取込が制限されるため、手話の認識を安定して行うことができる。
また、画像データから特徴情報を抽出して画像データが属するデータベース内のグループを特定し、画像データと特定されたグループ内の基準画像データとを比較して画像データに類似する基準画像データを選定する場合、基準画像データの選定精度を向上することができる。これによって、手話の認識率を向上することができる。
更に、選定した基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力する場合、手話を認識できない不特定多数の者に対して確実に手話者の意思を伝達することができる。
また、特徴情報が、手の向きと伸ばした指の本数から構成される場合、指文字の分類を容易に行うことができる。
図1に示すように、本発明の一実施の形態に係る手話認識装置10は、手話者11の手話の一例である指文字を画像取得手段の一例であるビデオカメラ12によって画像データに変換し、変換した画像データを文字(例えば、図1では、「郵便局はどこですか」という文字列)として認識して、認識した文字を文字画像、音声、又は音声付き文字画像として手話を認識できない健常者13に伝達するものである。そして、手話認識装置10は、ビデオカメラ12を手話を行っている手話者11の胴部前側(例えば胸部)に配置し、ビデオカメラ12によって、ビデオカメラ12の前で行なわれる手話者11の指文字を撮像し、しかも、手話者11に装着されて手話者11と共に移動する。ここで、指文字は、平仮名一文字ずつと対応しているので、手話者11の意思を一文字ずつ認識することができ、正確な意思の伝達が可能になる。なお、手話認識装置10は、手話者11の手の動きを伴う「の、も、り、を、ん」を除く平仮名に対応する指文字を対象としている。以下、詳細に説明する。
また、ビデオカメラ12が手話者11の胴部前側に配置されるので、指文字を近距離から撮影することができ、指文字の正確な画像データの取得が可能になって、指文字の認識が容易にできる。そして、指文字の画像データを撮影する際、背景や通行人等の不要画像の取込が制限されるため、指文字の認識を安定して行うことができる。
更に、画像データが属するグループを特定して認識候補となる文字を絞り込むので、指文字を文字として認識する際の認識精度(認識率)が向上する。そして、認識された文字は、スピーカ14から音声として出力されるので、指文字を認識できない健常者13に対して手話者11の意思を容易に伝達することができる。
先ず、手話認識装置10に設けられたビデオカメラ12を手話者11の胴部前側に配置し、ビデオカメラ12の前で手話者11が表示する複数の指文字をビデオカメラ12で予め撮影し、学習手段を用いて指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶しておく。なお、データベースでは、指文字を、手の形状を示す手の向き及び伸ばした指の本数に基づいて予め複数のグループに分類し、グループ毎にグループに属する指文字の基準画像データと指文字に対応する文字とを対として記憶している。
そして、認識手段からは、画像データに対応する文字の文字信号が、スピーカ14に出力され、指文字を認識できない健常者13に対して、音声として手話者11の意思を伝達する。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合わせたものも、本発明に含まれる。
例えば、スピーカの代わりにディスプレイを装着することで、認識した文字を文字画像として表示できる。また、スピーカと共にディスプレイを装着することで、音声付き文字画像として出力することができる。
更に、認識した文字の文字画像及び/又は音声の伝達手段に、健常者(手話者が意思を伝達しようとする相手)の有する携帯電話のディスプレイ及び/又はスピーカを利用するようにすることもできる。
Claims (6)
- 手話者の手話を画像取得手段によって撮像して画像データに変換し、変換した前記画像データを認識手段によって文字として認識し、認識結果を前記手話者の意思として伝達手段によって外部に伝達する手話認識方法において、
前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させることを特徴とする手話認識方法。 - 請求項1記載の手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識方法。
- 請求項2記載の手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識方法。
- 手話者の手話を画像取得手段によって撮像して画像データに変換し、変換した前記画像データを認識手段によって文字として認識し、認識結果を前記手話者の意思として伝達手段によって外部に伝達する手話認識装置において、
前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させることを特徴とする手話認識装置。 - 請求項4記載の手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識装置。
- 請求項5記載の手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011125394A JP5846552B2 (ja) | 2011-06-03 | 2011-06-03 | 手話認識方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011125394A JP5846552B2 (ja) | 2011-06-03 | 2011-06-03 | 手話認識方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012252581A JP2012252581A (ja) | 2012-12-20 |
JP5846552B2 true JP5846552B2 (ja) | 2016-01-20 |
Family
ID=47525318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011125394A Active JP5846552B2 (ja) | 2011-06-03 | 2011-06-03 | 手話認識方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5846552B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6177655B2 (ja) * | 2013-10-11 | 2017-08-09 | 株式会社Nttドコモ | 画像認識装置および画像認識方法 |
JP2015169814A (ja) * | 2014-03-07 | 2015-09-28 | サカタインクス株式会社 | 意思疎通支援方法および意思疎通支援システム |
CN104049753B (zh) * | 2014-06-09 | 2017-06-20 | 百度在线网络技术(北京)有限公司 | 实现手语信息和文本信息相互转换的方法和装置 |
CN106372564A (zh) * | 2015-07-23 | 2017-02-01 | 株式会社理光 | 手势识别方法和装置 |
AU2017328161B2 (en) | 2016-09-13 | 2022-02-17 | Magic Leap, Inc. | Sensory eyewear |
US10296105B2 (en) | 2016-11-30 | 2019-05-21 | Seiko Epson Corporation | Head-mounted display device, computer program, and control method for head-mounted display device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2779448B2 (ja) * | 1988-11-25 | 1998-07-23 | 株式会社エイ・ティ・アール通信システム研究所 | 手話言語変換装置 |
JPH09319297A (ja) * | 1996-05-29 | 1997-12-12 | Hitachi Ltd | 音声筆談器 |
JPH1026999A (ja) * | 1996-07-10 | 1998-01-27 | Nec Shizuoka Ltd | 手話翻訳装置 |
JP2007241833A (ja) * | 2006-03-10 | 2007-09-20 | Kagoshima Univ | 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体 |
-
2011
- 2011-06-03 JP JP2011125394A patent/JP5846552B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012252581A (ja) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kang et al. | Real-time sign language fingerspelling recognition using convolutional neural networks from depth map | |
Badhe et al. | Indian sign language translator using gesture recognition algorithm | |
JP5846552B2 (ja) | 手話認識方法及びその装置 | |
Alrubayi et al. | A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
US11341770B2 (en) | Facial image identification system, identifier generation device, identification device, image identification system, and identification system | |
CN111857334B (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
Ekbote et al. | Indian sign language recognition using ANN and SVM classifiers | |
KR20220106842A (ko) | 표정 인식 방법 및 장치, 기기, 컴퓨터 판독 가능한 저장 매체, 컴퓨터 프로그램 제품 | |
CN108198159A (zh) | 一种图像处理方法、移动终端以及计算机可读存储介质 | |
Hasan et al. | A machine learning based approach for the detection and recognition of Bangla sign language | |
Huong et al. | Static hand gesture recognition for vietnamese sign language (VSL) using principle components analysis | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
Joshi et al. | American sign language translation using edge detection and cross correlation | |
Kumar et al. | A hybrid gesture recognition method for American sign language | |
Lahoti et al. | Android based american sign language recognition system with skin segmentation and SVM | |
Zhu et al. | Applying 1D sensor DenseNet to Sussex-Huawei locomotion-transportation recognition challenge | |
Rane et al. | Image captioning based smart navigation system for visually impaired | |
JP2021086274A (ja) | 読唇装置及び読唇方法 | |
Lipi et al. | Static-gesture word recognition in Bangla sign language using convolutional neural network | |
Robert et al. | A review on computational methods based automated sign language recognition system for hearing and speech impaired community | |
Marjusalinah et al. | Classification of finger spelling American sign language using convolutional neural network | |
Bisht et al. | Smart communication system using sign language interpretation | |
KR101621304B1 (ko) | 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템 | |
KR100862526B1 (ko) | 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5846552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |