JP5846552B2 - 手話認識方法及びその装置 - Google Patents

手話認識方法及びその装置 Download PDF

Info

Publication number
JP5846552B2
JP5846552B2 JP2011125394A JP2011125394A JP5846552B2 JP 5846552 B2 JP5846552 B2 JP 5846552B2 JP 2011125394 A JP2011125394 A JP 2011125394A JP 2011125394 A JP2011125394 A JP 2011125394A JP 5846552 B2 JP5846552 B2 JP 5846552B2
Authority
JP
Japan
Prior art keywords
sign language
image data
character
recognition
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011125394A
Other languages
English (en)
Other versions
JP2012252581A (ja
Inventor
ジュークイ タン
ジュークイ タン
聖二 石川
聖二 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
Original Assignee
Kyushu Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC filed Critical Kyushu Institute of Technology NUC
Priority to JP2011125394A priority Critical patent/JP5846552B2/ja
Publication of JP2012252581A publication Critical patent/JP2012252581A/ja
Application granted granted Critical
Publication of JP5846552B2 publication Critical patent/JP5846552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、手話者(例えば、発話障害者、聴覚障害者)の手話を文字として認識し、認識結果を手話者の意思として外部に伝達する手話認識方法及びその装置に関する。
発話障害者間のコミュニケーションは、例えば手話を介して行なわれているが、発話障害者が健常者に意思の伝達を行うには、健常者が手話を理解しなければ容易でない。そこで、図6に示すように、健常者80側に、例えばカメラ81を設置して手話行為者(手話者)82が行う手話を撮影し、得られた画像データから手話者82の手話を、例えば文字として認識して、認識結果を健常者80が認識できる形式に変換して(図6では、「この方は、郵便局はどこかと尋ねています」という音声に変えて)伝える手話認識装置83や手法が種々提案されている(例えば、特許文献1、非特許文献1、2参照)。
特許第2779448号公報
三船智明、江刺宏恭、千種康民「手話CAIのための手話記述言語とGUIの開発」、情報システム研究会技術報告、情報処理学会、1996年3月、第1996巻、第30号、p.7−14 有賀光希、酒向慎司、北村正「日本手話の音韻構造を考慮したHMMに基づく手話認識」、電子情報通信学会技術研究報告、PRMU研究会、2010年10月、第110巻、第219号、p.127−132
しかしながら、提案された手話認識装置83は、健常者80側に手話認識装置83を設置することを前提としているため、手話者82からの意思伝達は手話認識装置83を所持する健常者80に限定され、不特定多数の者に対して手話者82の意思を伝達することができないという問題がある。そして、手話を撮影するカメラ81が手話者82の正面に位置していないと、手話の正確な画像を取得することができず、手話の認識率が低下するという問題がある。また、カメラ81と手話者82との間が離れると、手話画像に加えて背景等の不要な画像も同時に取込まれるため、手話画像のみを抽出する前処理が必要になり、前処理で得られる手話画像の精度により手話の認識率が変動するという問題も生じる。更に、健常者80が、常時必要としない手話認識装置83を携行するということは期待できず、手話認識装置83の普及という面において現実的でないという問題がある。
本発明はかかる事情に鑑みてなされたもので、手話者が不特定多数の者に対して手話者の意思を正確に伝達することが可能な手話認識方法及びその装置を提供することを目的とする。
前記目的に沿う本発明に係る手話認識方法は、手話者の手話を画像取得手段によって撮像して画像データに変換し、変換した前記画像データを認識手段によって文字として認識し、認識結果を前記手話者の意思として伝達手段によって外部に伝達する手話認識方法において、
前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させる。
本発明に係る手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することが好ましい。
本発明に係る手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成することができる。
前記目的に沿う本発明に係る手話認識装置は、手話者の手話を画像取得手段によって撮像して画像データに変換し、変換した前記画像データを認識手段によって文字として認識し、認識結果を前記手話者の意思として伝達手段によって外部に伝達する手話認識装置において、
前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させている。
本発明に係る手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することが好ましい。
本発明に係る手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成することができる。
本発明に係る手話認識方法及びその装置においては、手話者の手話を撮像して画像データに変換する画像取得手段を、手話を行っている手話者の胴部前側に配置するので、画像取得手段を手話者と共に移動させることができる。これにより、手話者は、手話を認識できない不特定多数の者に対して、随時意思の伝達を容易に図ることができる。そして、手話者は、使い慣れた手話を使用するので、筆談、キーボード入力による文字表示や音声出力等の他の伝達方式と比較して、自分の意思を迅速、臨機応変、かつ容易に伝達することができる。
また、画像取得手段が、画像取得手段を常時必要とする手話者側に所持されるため、手話認識方法及びその装置の普及を促進することができる。更に、画像取得手段が手話者の胴部前側に配置されるので、手話を近距離から撮影することができる。これにより、手話の正確な画像データを取得することができ、手話の認識が容易にできると共に、背景等の不要画像の取込が制限されるため、手話の認識を安定して行うことができる。
本発明に係る手話認識方法及びその装置において、手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、グループ毎に手話の基準画像データと基準画像データに対応する文字を記憶してデータベースを予め作成する場合、手話者の特徴(癖)を考慮した手話認識方法及びその装置を構築することができる。これによって、手話の認識率を向上することができる。そして、手話者が自作した指文字(例えば、熟語や慣用語句等で示される使用頻度の高い表現や複雑な意思を、簡潔に表示する手話者専用の指文字)の基準画像データをデータベースに登録すれば、手話者の自作した指文字の認識が可能になる。これにより、手話者は、通常の指文字に加えて、自作した指文字を自由に使用することができ、通常の指文字と自作の指文字を組合わせて使用することで、自分の意思を適格、迅速、かつ容易に伝達することができる。
また、画像データから特徴情報を抽出して画像データが属するデータベース内のグループを特定し、画像データと特定されたグループ内の基準画像データとを比較して画像データに類似する基準画像データを選定する場合、基準画像データの選定精度を向上することができる。これによって、手話の認識率を向上することができる。
更に、選定した基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力する場合、手話を認識できない不特定多数の者に対して確実に手話者の意思を伝達することができる。
本発明に係る手話認識方法及びその装置において、手話者の手話が指文字である場合、手話を一文字ずつ認識することができ、正確な意思の伝達が可能になる。
また、特徴情報が、手の向きと伸ばした指の本数から構成される場合、指文字の分類を容易に行うことができる。
本発明の一実施の形態に係る手話認識装置の説明図である。 同手話認識装置による手話の認識手順を示す説明図である。 手の特徴情報の抽出手順の説明図である。 (A)はシルエット画像、(B)は細線化画像、(C)は端点及び端点円の画像の説明図である。 指文字の大まかな分類の説明図である。 従来の手話認識装置の説明図である。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1に示すように、本発明の一実施の形態に係る手話認識装置10は、手話者11の手話の一例である指文字を画像取得手段の一例であるビデオカメラ12によって画像データに変換し、変換した画像データを文字(例えば、図1では、「郵便局はどこですか」という文字列)として認識して、認識した文字を文字画像、音声、又は音声付き文字画像として手話を認識できない健常者13に伝達するものである。そして、手話認識装置10は、ビデオカメラ12を手話を行っている手話者11の胴部前側(例えば胸部)に配置し、ビデオカメラ12によって、ビデオカメラ12の前で行なわれる手話者11の指文字を撮像し、しかも、手話者11に装着されて手話者11と共に移動する。ここで、指文字は、平仮名一文字ずつと対応しているので、手話者11の意思を一文字ずつ認識することができ、正確な意思の伝達が可能になる。なお、手話認識装置10は、手話者11の手の動きを伴う「の、も、り、を、ん」を除く平仮名に対応する指文字を対象としている。以下、詳細に説明する。
手話認識装置10は、手話者11の複数の指文字をビデオカメラ12で予め撮影して指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶するデータベース作成機能を備えた学習手段を有している。また、手話認識装置10は、手話者11が意思の伝達のために表示した指文字の画像データと記憶している基準画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データに対応する文字を認識し、認識した文字の文字信号を出力する判別機能を備えた認識手段を有している。更に、手話認識装置10は、認識した文字の文字信号を、例えば音声として出力する伝達手段の一例であるスピーカ14を有している。ここで、学習手段及び認識手段は、データベース作成機能及び判別機能を発現するプログラムを、例えば、可搬式パーソナルコンピュータ(ウェアブルパーソナルコンピュータ)15に搭載することにより構成できる。
手話者11の指文字を撮像して基準画像データを作成するので、手話者12の特徴(癖)を考慮してデータベースを構築することができる。また、指文字は、「手の向き(上方向、横(水平)方向、下方向の3区分)」及び「伸ばした指の本数」から構成される手の特徴情報に基づいて複数のグループに分類することができる。このため、データベースは、指文字の手の特徴情報に基づいて分類されたグループ毎に、基準画像データと基準画像データに対応する文字を記憶している。ここで、指文字を表示している指は、重なることがあるため、「伸ばした指の本数」は、0又は1本、1±1本、2±1本、3±1本、4±1本、5又は4本の6区分に分類する。
認識手段では、入力された画像データから、「手の向き」及び「伸ばした指の本数」で構成される手の特徴情報を抽出し、画像データが、指文字の特徴情報に基づいて予め分類されたデータベース内のどのグループに属するかを決定する。画像データが属するグループが決定されると、決定されたグループ内の基準画像データと画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データに対応する文字を認識する。
画像データから手の特徴情報を抽出する場合、先ず、画像データから細線化画像を作成して連結数が1の端点を全て探す。次いで、画像データのシルエット画像の輪郭部分と探した各端点との最小距離を求めて端点を中心とする円の半径とし、最大半径の円の中心となる端点位置を手首位置、それ以外の端点位置を指先位置とする。そして、画像データから手の重心位置を求めて、手首位置と重心位置の位置関係、指先位置同士の相対的位置関係から、手の向き(上方向、横(水平)方向、又は下方向)を決める。また、指先位置に対応する端点の個数を「伸ばした指の本数」とする。
ここで、認識手段は、画像データに対して文字を認識するたびに認識結果を認識順に予め設定された個数だけ記憶する認識記憶部を有し、画像データに対して文字が新たに認識される度に、新たに認識された文字と認識記憶部に記憶されている複数の文字から文字群を形成し、文字群を構成している文字の中で、予め設定された個数以上で、かつ最大個数となる文字を、画像データに対応する文字とする補間機能が設けられている。
手話認識装置10(即ち、ビデオカメラ12、可搬式パーソナルコンピュータ15、スピーカ14)は、手話者11に装着されて手話者11と共に移動するので、手話者11は、指文字を認識できない不特定多数の健常者13に対して、随時意思の伝達を容易に図ることができる。また、手話認識装置10が、手話認識装置10を常時必要とする手話者11に所持されるため、手話認識装置10の普及を促進することもできる。
また、ビデオカメラ12が手話者11の胴部前側に配置されるので、指文字を近距離から撮影することができ、指文字の正確な画像データの取得が可能になって、指文字の認識が容易にできる。そして、指文字の画像データを撮影する際、背景や通行人等の不要画像の取込が制限されるため、指文字の認識を安定して行うことができる。
更に、画像データが属するグループを特定して認識候補となる文字を絞り込むので、指文字を文字として認識する際の認識精度(認識率)が向上する。そして、認識された文字は、スピーカ14から音声として出力されるので、指文字を認識できない健常者13に対して手話者11の意思を容易に伝達することができる。
続いて、手話認識装置10を使用して、手話者11が表示した指文字を認識する手話認識方法について説明する。
先ず、手話認識装置10に設けられたビデオカメラ12を手話者11の胴部前側に配置し、ビデオカメラ12の前で手話者11が表示する複数の指文字をビデオカメラ12で予め撮影し、学習手段を用いて指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶しておく。なお、データベースでは、指文字を、手の形状を示す手の向き及び伸ばした指の本数に基づいて予め複数のグループに分類し、グループ毎にグループに属する指文字の基準画像データと指文字に対応する文字とを対として記憶している。
手話者11は、胴部前側にビデオカメラ12を配置すると共に、データベースが構築された学習手段及び認識手段が搭載された可搬式パーソナルコンピュータ15を背負い、スピーカ14を肩に取付けることにより、手話認識装置10を装着する。そして、手話者11が自分の意思を、指文字を認識できない健常者13に伝達しようとする場合、図示しないスイッチを操作して手話認識装置10を起動させ、意思を伝える指文字をビデオカメラ12の前に表示する。
図2に示すように、手話者11がビデオカメラ12の前で表示した指文字は、ビデオカメラ12で撮像されて、入力画像が形成され、入力画像は画像データに変換されて、認識手段に入力される。認識手段に入力された画像データから手の特徴情報を抽出し、画像データが、指文字の特徴情報に基づいて予め分類されたデータベース内のどのグループに属するかを決定する。入力画像が属するグループが決定されると、決定されたグループ内の基準画像データと画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データと対となった文字を特定する。そして、画像データに対応する文字が特定されると、特定された文字を画像データの認識結果として出力する(以上、認識処理)。
ここで、最新の画像データに対して文字が新たに認識されると、新たに認識された文字と認識記憶部に認識順に記憶されている複数の文字から文字群を形成し、文字群を構成している文字の中で、予め設定された個数以上で、かつ最大個数となる文字を、画像データに対応する文字として決定する補間処理を行う。そして、認識手段からは、補間処理で決定された文字の文字信号が、スピーカ14に出力される。以下、手の特徴情報の抽出方法及び認識処理の方法に付いてそれぞれ説明する。
手の特徴情報を抽出する場合、図3に示すように、入力画像中のノイズ除去を行った後、手の領域を抽出するために、肌色に合致する領域を求め、指文字の手の形状情報を取得する。肌色領域の抽出には、HSV色空間を用いる。変数である色相(H)、彩度(S)、及び明度(V)をそれぞれ、例えば、5<H<30、S<30、V>0.4と設定する。抽出結果は手のシルエット画像として得られる(図4(A)参照)。そして、シルエット画像から、肌色領域部分の重心位置を求める。
次いで、Hilditch(ヒルディチ)の細線化アルゴリズムを用いてシルエット画像に細線化を施す。得られた細線化画像を図4(B)に示す。なお、図4(B)は、細線化画像をシルエット画像に重ねて示している。細線化画像において、各画素の8近傍を調べて連結数を求める。連結数が1である端点を探し、その端点を指先又は手首の候補とする。そして、求めた端点において、端点を中心とする円の半径を徐々に大きくして、円がシルエット画像の輪郭部分と最初に接触する際の半径を求める(図4(C)参照)。
一般に、手首位置の端点を中心とする円の半径は、指先の端点を中心とする円の半径よりも大きいので、半径が最大となる円の中心(端点)を手首位置とすることができ、手首以外の端点を指先位置とすることができる。そして、手首位置と重心位置との位置関係、端点同士の相対的位置関係から、画像データの手の向きが、上方向、横(水平)方向、下方向の3区分のいずれに該当するかを決める。また、手首以外の端点の個数から、伸ばした指の本数を求める。その結果、画像データが、データベース内で予め分類されたどのグループに属するかを決める(即ち、表示された指文字(画像データ)をデータベース内のグループに基づいて大まかに分類する)。
なお、画像データは、手の向きに関しては、上方向、横(水平)方向、下方向のいずれかに分類できるが、伸ばした指の本数に関しては、指の本数が0本又は5本の場合は2つのグループにそれぞれ含まれるとし、指の本数が1〜4本の場合は3つのグループにそれぞれ含まれるとする。このため、図5に示すように、画像データから文字を認識するには、特定されたグループ毎に含まれる基準画像データと画像データとの比較を行う。
画像データからの文字の認識は、画像データが属すると特定されたグループの中で、画像データに類似する基準画像データを選定し、選定した基準画像に対応する文字を求めることになる。ここで、画像データに類似する基準画像データの選定には、例えば、グレースケールにおける固有空間法を使用する。なお、固有空間法を使用する場合、グループに含まれる基準画像データ毎に、基準画像データのグレースケールにおける輝度分布を構成する基準画像濃度値ベクトル(画素の濃度値を画素番号順に並べたもの)を求め、求めた基準画像濃度値ベクトルを固有ベクトルの線形結合で記述する際に固有ベクトル及び基準画像線形結合係数を決定して(学習して)、データベースに予め記憶しておく。
そして、画像データに類似する基準画像データを選定するには、先ず、画像データの輝度分布を構成する画像濃度値ベクトルを求め、画像データが属すると特定されたグループの有する固有ベクトルの線形結合で画像濃度値ベクトルを近似した際に使用する画像線形結合係数を求める。次いで、得られた画像線形結合係数に最も近い基準画像線形結合係数を探し出し、探し出した基準画像線形結合係数を有する基準画像濃度値ベクトルに対応する基準画像データを、画像データに最も類似するとして選定する。
なお、固有ベクトル及び基準画像線形結合係数の決定、画像線形結合係数の算出に要する時間を短縮するため、基準画像濃度値ベクトルの主成分分析を行い、固有ベクトルの次元を圧縮することが好ましい。固有ベクトルの次元の圧縮は以下の手順で行う。先ず、基準画像濃度値ベクトルから構成される濃度値行列から分散共分散行列を求めて、分散共分散行列の固有値を求める。次いで、固有値を大きい順に並べ、最大の固有値から最小の固有値に向けて固有値を順次足し合せた固有値部分和を求め、固有値部分和を固有値総和(最大の固有値から最小の固有値までを全て足し合せたもの)で除した累積寄与率が、例えば0.8未満の範囲で、最大となる固有値部分和を求める。そして、求めた固有値部分和を構成する固有値にそれぞれ対応する固有ベクトルを対象とすることで、固有ベクトルの次元を圧縮することができる。
ここで、認識手段には認識記憶部が設けられており、画像データに対して文字が認識される毎に(例えば1秒毎に)認識結果が順次設定された個数(例えば30個、時間にして1秒間分)だけ記憶されている。そして、取得した画像データに対して文字が新たに認識されると、新たに認識された文字と認識記憶部に記憶されている複数(30個)の文字から文字群を形成し、文字群を構成している文字の中で、例えば度数(個数)が5以上で、かつ最大度数(最大個数)の文字を、画像データに対応する文字として認識する補間機能が設けられている。これによって、順次表示される指文字と指文字の間で誤認識が行なわれるのを低減できる。
そして、認識手段からは、画像データに対応する文字の文字信号が、スピーカ14に出力され、指文字を認識できない健常者13に対して、音声として手話者11の意思を伝達する。
手話者の胸部にビデオカメラを取付け、ビデオカメラの前で表示される41種類の指文字を撮影し、画像データを取得した。画像データは、41種類の指文字の静止画像データからなるデータ群を1回分として6回分からなる(即ち、246枚の静止画像データから構成される)。そして、5回分の静止画像データを学習(基準画像データの作成)に用い、残りの1回分の静止画像データに対して図2に示す手順で文字の認識を行うLeave-one-out(リーブ・ワン・アウト)法による評価を6回繰り返した。手の特徴情報を抽出して指文字の画像データを予め分類してから文字の認識を行う方法、即ち、固有ベクトルで張られる一つの固有空間の有する基準画像データ数(クラス数)を減らして認識処理を行うことで、246個の指文字の画像データ中、196個の指文字の画像データに対して正しい文字が認識され、認識率は79.7%であった。
なお、同一の画像データを使用してLeave-one-out法による評価を行う際に、手の特徴情報を考慮せず、41種類の指文字の基準画像データを学習して固有ベクトル及び基準画像線形結合係数を決定し、文字の認識を行うと、246個の指文字の画像データ中、78個の指文字の画像データに対して正しい文字が認識され、認識率は31.7%であった。このことから、手の特徴情報を抽出して指文字の画像データを予め分類してから文字の認識を行うと、認識率を向上できることが確認できた。
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合わせたものも、本発明に含まれる。
例えば、スピーカの代わりにディスプレイを装着することで、認識した文字を文字画像として表示できる。また、スピーカと共にディスプレイを装着することで、音声付き文字画像として出力することができる。
更に、認識した文字の文字画像及び/又は音声の伝達手段に、健常者(手話者が意思を伝達しようとする相手)の有する携帯電話のディスプレイ及び/又はスピーカを利用するようにすることもできる。
10:手話認識装置、11:手話者、12:ビデオカメラ、13:健常者、14:スピーカ、15:可搬式パーソナルコンピュータ

Claims (6)

  1. 手話者の手話を画像取得手段によって撮像して画像データに変換し、変換した前記画像データを認識手段によって文字として認識し、認識結果を前記手話者の意思として伝達手段によって外部に伝達する手話認識方法において、
    前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させることを特徴とする手話認識方法。
  2. 請求項1記載の手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識方法。
  3. 請求項2記載の手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識方法。
  4. 手話者の手話を画像取得手段によって撮像して画像データに変換し、変換した前記画像データを認識手段によって文字として認識し、認識結果を前記手話者の意思として伝達手段によって外部に伝達する手話認識装置において、
    前記画像取得手段を前記手話者の胴部前側に装着させると共に、前記認識手段及び前記伝達手段を前記手話者に装着させて、該画像取得手段、該認識手段、及び該伝達手段を該手話者と共に移動させることを特徴とする手話認識装置。
  5. 請求項4記載の手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識装置。
  6. 請求項5記載の手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識装置。
JP2011125394A 2011-06-03 2011-06-03 手話認識方法及びその装置 Active JP5846552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011125394A JP5846552B2 (ja) 2011-06-03 2011-06-03 手話認識方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011125394A JP5846552B2 (ja) 2011-06-03 2011-06-03 手話認識方法及びその装置

Publications (2)

Publication Number Publication Date
JP2012252581A JP2012252581A (ja) 2012-12-20
JP5846552B2 true JP5846552B2 (ja) 2016-01-20

Family

ID=47525318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011125394A Active JP5846552B2 (ja) 2011-06-03 2011-06-03 手話認識方法及びその装置

Country Status (1)

Country Link
JP (1) JP5846552B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6177655B2 (ja) * 2013-10-11 2017-08-09 株式会社Nttドコモ 画像認識装置および画像認識方法
JP2015169814A (ja) * 2014-03-07 2015-09-28 サカタインクス株式会社 意思疎通支援方法および意思疎通支援システム
CN104049753B (zh) * 2014-06-09 2017-06-20 百度在线网络技术(北京)有限公司 实现手语信息和文本信息相互转换的方法和装置
CN106372564A (zh) * 2015-07-23 2017-02-01 株式会社理光 手势识别方法和装置
AU2017328161B2 (en) 2016-09-13 2022-02-17 Magic Leap, Inc. Sensory eyewear
US10296105B2 (en) 2016-11-30 2019-05-21 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2779448B2 (ja) * 1988-11-25 1998-07-23 株式会社エイ・ティ・アール通信システム研究所 手話言語変換装置
JPH09319297A (ja) * 1996-05-29 1997-12-12 Hitachi Ltd 音声筆談器
JPH1026999A (ja) * 1996-07-10 1998-01-27 Nec Shizuoka Ltd 手話翻訳装置
JP2007241833A (ja) * 2006-03-10 2007-09-20 Kagoshima Univ 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2012252581A (ja) 2012-12-20

Similar Documents

Publication Publication Date Title
Kang et al. Real-time sign language fingerspelling recognition using convolutional neural networks from depth map
Badhe et al. Indian sign language translator using gesture recognition algorithm
JP5846552B2 (ja) 手話認識方法及びその装置
Alrubayi et al. A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques
JP5424819B2 (ja) 画像処理装置、画像処理方法
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
CN111857334B (zh) 人体手势字母的识别方法、装置、计算机设备及存储介质
Ekbote et al. Indian sign language recognition using ANN and SVM classifiers
KR20220106842A (ko) 표정 인식 방법 및 장치, 기기, 컴퓨터 판독 가능한 저장 매체, 컴퓨터 프로그램 제품
CN108198159A (zh) 一种图像处理方法、移动终端以及计算机可读存储介质
Hasan et al. A machine learning based approach for the detection and recognition of Bangla sign language
Huong et al. Static hand gesture recognition for vietnamese sign language (VSL) using principle components analysis
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
Joshi et al. American sign language translation using edge detection and cross correlation
Kumar et al. A hybrid gesture recognition method for American sign language
Lahoti et al. Android based american sign language recognition system with skin segmentation and SVM
Zhu et al. Applying 1D sensor DenseNet to Sussex-Huawei locomotion-transportation recognition challenge
Rane et al. Image captioning based smart navigation system for visually impaired
JP2021086274A (ja) 読唇装置及び読唇方法
Lipi et al. Static-gesture word recognition in Bangla sign language using convolutional neural network
Robert et al. A review on computational methods based automated sign language recognition system for hearing and speech impaired community
Marjusalinah et al. Classification of finger spelling American sign language using convolutional neural network
Bisht et al. Smart communication system using sign language interpretation
KR101621304B1 (ko) 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템
KR100862526B1 (ko) 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151116

R150 Certificate of patent or registration of utility model

Ref document number: 5846552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250