JPH06337629A - 手話認識装置 - Google Patents
手話認識装置Info
- Publication number
- JPH06337629A JPH06337629A JP5128703A JP12870393A JPH06337629A JP H06337629 A JPH06337629 A JP H06337629A JP 5128703 A JP5128703 A JP 5128703A JP 12870393 A JP12870393 A JP 12870393A JP H06337629 A JPH06337629 A JP H06337629A
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- hand
- word
- minimum point
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 手話を入力手段とする通訳システム等におい
て、手話の認識性能を向上させ、処理量を削減すること
を目的とする。 【構成】 単語境界検出部３は、特徴抽出部２で求めら
れる手の速度や手の形の変化の特徴に基づいて、入力さ
れる手話の単語境界や、分割された区間の特徴を検出す
る。距離計算部４やマッチング部５は、求められた単語
境界や区間の特徴に基づいて、存在の可能性の低い単語
を認識対象から外して認識を行う。
て、手話の認識性能を向上させ、処理量を削減すること
を目的とする。 【構成】 単語境界検出部３は、特徴抽出部２で求めら
れる手の速度や手の形の変化の特徴に基づいて、入力さ
れる手話の単語境界や、分割された区間の特徴を検出す
る。距離計算部４やマッチング部５は、求められた単語
境界や区間の特徴に基づいて、存在の可能性の低い単語
を認識対象から外して認識を行う。
Description
【０００１】
【産業上の利用分野】本発明は、手話を入力手段とする
手話通訳や情報検索等を行なう装置における手話認識装
置に関する。
手話通訳や情報検索等を行なう装置における手話認識装
置に関する。
【０００２】
【従来の技術】従来、手話の認識は例えば、特願平４−
２４７２８５号や特願平４−２３５６３３号記載のよう
に、カメラや手の動作データを取り込むセンサから、あ
らかじめ単語単位の手話を登録しておき（これを以下標
準パタンと呼ぶ）、認識時には、同様にカメラやセンサ
から入力された手話パタン（これを以下入力パタンと呼
ぶ）と各単語の標準パタンとのパタンマッチングを行
い、入力パタン中に含まれる手話単語列を求めていた。
このパタンマッチングにおいては、例えば、特開昭５５
−２２０５号記載のパタンマッチング法（連続ＤＰマッ
チング法）を用いることにより、標準パタンに対して時
間的に伸び縮みした入力パタンからでも正しく含まれる
手話単語列を求めることが可能である。この出力として
は、図２のように、正解の単語以外も単語の候補として
求まる。この中から、例えば、文法的、意味的に正し
く、最も類似した単語列を正解として出力する。
２４７２８５号や特願平４−２３５６３３号記載のよう
に、カメラや手の動作データを取り込むセンサから、あ
らかじめ単語単位の手話を登録しておき（これを以下標
準パタンと呼ぶ）、認識時には、同様にカメラやセンサ
から入力された手話パタン（これを以下入力パタンと呼
ぶ）と各単語の標準パタンとのパタンマッチングを行
い、入力パタン中に含まれる手話単語列を求めていた。
このパタンマッチングにおいては、例えば、特開昭５５
−２２０５号記載のパタンマッチング法（連続ＤＰマッ
チング法）を用いることにより、標準パタンに対して時
間的に伸び縮みした入力パタンからでも正しく含まれる
手話単語列を求めることが可能である。この出力として
は、図２のように、正解の単語以外も単語の候補として
求まる。この中から、例えば、文法的、意味的に正し
く、最も類似した単語列を正解として出力する。
【０００３】
【発明が解決しようとする課題】上記従来技術では、入
力パタン中の手話単語列の認識は、パタンのマッチング
結果からボトムアップに求めていた。このため、図２の
ように、正解の単語列のほかに、候補となる単語列が多
く求まってしまう。この候補から文法や意味の知識など
を用いて正解を求めるが、候補が多過ぎると非常に多く
の時間がかかるほか、正解でない単語の組合せでも、尤
もらしい解釈ができる場合もあり、解を１つに絞れない
場合もある。
力パタン中の手話単語列の認識は、パタンのマッチング
結果からボトムアップに求めていた。このため、図２の
ように、正解の単語列のほかに、候補となる単語列が多
く求まってしまう。この候補から文法や意味の知識など
を用いて正解を求めるが、候補が多過ぎると非常に多く
の時間がかかるほか、正解でない単語の組合せでも、尤
もらしい解釈ができる場合もあり、解を１つに絞れない
場合もある。
【０００４】本発明の目的は、上記候補数を削減するこ
とにより、認識の処理時間を短縮するとともに認識性能
を向上させることにある。
とにより、認識の処理時間を短縮するとともに認識性能
を向上させることにある。
【０００５】
【課題を解決するための手段】あらかじめ単語などのパ
タンを登録、格納し、認識は登録されたパタンと入力と
のパタンマッチングを行うことにより実現する手話認識
装置において、入力を単語や文節などの意味あるまとま
りに分割し、分割点にまたがって検出されるパタンには
ペナルティをつけて認識する。
タンを登録、格納し、認識は登録されたパタンと入力と
のパタンマッチングを行うことにより実現する手話認識
装置において、入力を単語や文節などの意味あるまとま
りに分割し、分割点にまたがって検出されるパタンには
ペナルティをつけて認識する。
【０００６】手話における手の動作から、手の動作速度
とその極小点、手の形の変化、および手の動作速度が極
小点となる位置間の空間上の距離を特徴として検出す
る。
とその極小点、手の形の変化、および手の動作速度が極
小点となる位置間の空間上の距離を特徴として検出す
る。
【０００７】そして、手の動作速度の極小点および、手
の動作速度がある一定値以下の区間の始点と終点をそれ
ぞれ境界候補とし、更に境界候補のうち繰返し動作によ
り生じる極小点や他の同一動作中に生じる極小点を除い
たものを境界として検出する。
の動作速度がある一定値以下の区間の始点と終点をそれ
ぞれ境界候補とし、更に境界候補のうち繰返し動作によ
り生じる極小点や他の同一動作中に生じる極小点を除い
たものを境界として検出する。
【０００８】また、手の形状の変化や繰返し動作の有無
により、分割された区間の動作の特徴付けを行う。
により、分割された区間の動作の特徴付けを行う。
【０００９】手話単語を表現位置により分類し登録する
手段と、パタンマッチングに際して現在マッチングの入
力パタンの空間位置には表現されない手話単語は、パタ
ンマッチングの対象から外す。
手段と、パタンマッチングに際して現在マッチングの入
力パタンの空間位置には表現されない手話単語は、パタ
ンマッチングの対象から外す。
【００１０】
【作用】単語の境界が検出されるため、その境界にまた
がって検出される単語は正解でない単語と判定でき、候
補の可能性が低いと判定可能となる。また、境界にまた
がる単語はパタンマッチングの際にペナルティが課せら
れるのみで、切り捨てられることはないため、単語境界
の誤検出で正しい候補がなくなることはない。
がって検出される単語は正解でない単語と判定でき、候
補の可能性が低いと判定可能となる。また、境界にまた
がる単語はパタンマッチングの際にペナルティが課せら
れるのみで、切り捨てられることはないため、単語境界
の誤検出で正しい候補がなくなることはない。
【００１１】また、分割区間の動作の特徴付けを行うこ
とにより、その区間に存在可能な手話単語を限定するこ
とができ、候補を絞り込むことが可能となる。
とにより、その区間に存在可能な手話単語を限定するこ
とができ、候補を絞り込むことが可能となる。
【００１２】
【実施例】以下、本発明の一実施例を図１を用いて説明
する。図１は、本発明を手話認識装置に適用した場合の
一実施例の構成図である。図において、１は、例えば１
／３０秒毎に、手の位置や指の曲がりを検出するための
センサ、２は、手の動作速度、手の形の変化などの特徴
を計算するための特徴抽出部、３は、手話入力から単語
の境界を検出する単語境界検出部、６は、認識したい手
話単語の標準パタンを登録するための標準パタンメモ
リ、４は、入力と登録された標準パタンとの距離を計算
する距離計算部、５は、距離計算部４の結果に基づい
て、入力中の標準パタンの存在位置やその類似度をもと
めるためのマッチング部である。そして、７はマッチン
グ部の結果から、文法規則や意味に関する知識を用い
て、実際に表現された手話の単語列を求める手話単語列
検出部である。特徴抽出部２は、距離計算部４や標準パ
タンメモリ６にはセンサ１からの入力をそのまま送る。
ここで、センサ１としては、例えば、データグローブ
（ＶＰＬ Ｒｅｓｅａｒｃｈ社製）を用いることにより
実現可能である。
する。図１は、本発明を手話認識装置に適用した場合の
一実施例の構成図である。図において、１は、例えば１
／３０秒毎に、手の位置や指の曲がりを検出するための
センサ、２は、手の動作速度、手の形の変化などの特徴
を計算するための特徴抽出部、３は、手話入力から単語
の境界を検出する単語境界検出部、６は、認識したい手
話単語の標準パタンを登録するための標準パタンメモ
リ、４は、入力と登録された標準パタンとの距離を計算
する距離計算部、５は、距離計算部４の結果に基づい
て、入力中の標準パタンの存在位置やその類似度をもと
めるためのマッチング部である。そして、７はマッチン
グ部の結果から、文法規則や意味に関する知識を用い
て、実際に表現された手話の単語列を求める手話単語列
検出部である。特徴抽出部２は、距離計算部４や標準パ
タンメモリ６にはセンサ１からの入力をそのまま送る。
ここで、センサ１としては、例えば、データグローブ
（ＶＰＬ Ｒｅｓｅａｒｃｈ社製）を用いることにより
実現可能である。
【００１３】以下、まず認識の基本的な処理について説
明する。認識に先立って、まず装置に認識したい手話の
単語を標準パタンメモリ６に登録する。登録時には、特
徴抽出部２はセンサ１の出力を、そのまま標準パタンメ
モリ６に送り、格納する。この１／３０秒毎に求められ
る特徴パラメータは、次のように表すことができる。
明する。認識に先立って、まず装置に認識したい手話の
単語を標準パタンメモリ６に登録する。登録時には、特
徴抽出部２はセンサ１の出力を、そのまま標準パタンメ
モリ６に送り、格納する。この１／３０秒毎に求められ
る特徴パラメータは、次のように表すことができる。
【００１４】
【数１】Ｙ＝（ｙ１，ｙ２，ｙ３，．．．ｙｎ） ここで、ｙ１，ｙ２，ｙ３は、例えば、手のＸ座標、Ｙ
座標、Ｚ座標である。他に、特徴量ｙとしては、各指の
第１、２関節の曲がり角度なども含まれる。以下、この
１／３０秒単位をフレームと呼ぶ。ここで、Ｊフレーム
から成る（１秒の単語は３０フレームと成る）単語標準
パタンの特徴パラメータは、１フレームの特徴ベクトル
の時系列として、次式のように表せる。
座標、Ｚ座標である。他に、特徴量ｙとしては、各指の
第１、２関節の曲がり角度なども含まれる。以下、この
１／３０秒単位をフレームと呼ぶ。ここで、Ｊフレーム
から成る（１秒の単語は３０フレームと成る）単語標準
パタンの特徴パラメータは、１フレームの特徴ベクトル
の時系列として、次式のように表せる。
【００１５】
【数２】Ｙ＝Ｙ１，Ｙ２，Ｙ３，．．．，ＹＪ さて、距離計算部４は、入力パタンと各標準単語パタン
の各フレーム間の距離を計算する。すなわち、特徴抽出
部２より、入力パタンの１フレームの特徴ベクトルＸｉ
が送られてくる度に、この特徴ベクトルＸｉと全ての標
準単語パタンの全てのフレームの特徴ベクトルとの間の
距離（例えばユークリッド距離）を計算する。この距離
の小さい標準パタンが良く似たパタンとなる。例えば、
入力パタンのｔフレーム目の特徴ベクトルＸｔとある標
準単語パタンのτフレーム目の特徴ベクトルＹτとの間
の距離ｄ（ｔ，τ）は次のように計算する。
の各フレーム間の距離を計算する。すなわち、特徴抽出
部２より、入力パタンの１フレームの特徴ベクトルＸｉ
が送られてくる度に、この特徴ベクトルＸｉと全ての標
準単語パタンの全てのフレームの特徴ベクトルとの間の
距離（例えばユークリッド距離）を計算する。この距離
の小さい標準パタンが良く似たパタンとなる。例えば、
入力パタンのｔフレーム目の特徴ベクトルＸｔとある標
準単語パタンのτフレーム目の特徴ベクトルＹτとの間
の距離ｄ（ｔ，τ）は次のように計算する。
【００１６】
【数３】
【００１７】次に、マッチング部５は、入力中の標準パ
タンの存在位置ならびにその類似度を求める。本処理
は、次のようにして実現可能である。すなわち、距離ｄ
（ｔ，τ）が計算され、送られてくると、次の距離の累
和を計算する。
タンの存在位置ならびにその類似度を求める。本処理
は、次のようにして実現可能である。すなわち、距離ｄ
（ｔ，τ）が計算され、送られてくると、次の距離の累
和を計算する。
【００１８】
【数４】 Ｄ（ｔ，τ）＝ｄ（ｔ，τ）＋Ｄ（ｔ−１，τ−１） ここで、Ｄ（ｔ，τ）は、その時点（ｔ，τ）までの距
離の累和の中間結果である。ただし、標準パタンの１フ
レーム目の中間結果は、次の式により求められる。
離の累和の中間結果である。ただし、標準パタンの１フ
レーム目の中間結果は、次の式により求められる。
【００１９】
【数５】Ｄ（ｔ，１）＝ｄ（ｔ，１） 標準パタンとの類似度（距離）Ｓは、標準パタンの最終
フレームにおける距離の累和の中間結果をＤ（ｔ，ＳＦ
Ｎ）とおくと、
フレームにおける距離の累和の中間結果をＤ（ｔ，ＳＦ
Ｎ）とおくと、
【００２０】
【数６】Ｓ（ｔ）＝Ｄ（ｔ，ＳＦＮ）／ＳＦＮ となる。ここで、ＳＦＮは、マッチング対象の標準パタ
ンのフレーム長である。この距離の累和Ｓの時系列が極
小を示す位置が、標準パタンの単語が入力パタン中に存
在する終点の位置の候補の点となる。そして、その時の
類似度がＳである。その単語の始点位置は、その終点位
置から標準パタンのフレーム長ＳＦＮだけさかのぼった
位置である。このようにして、マッチング部６は、入力
パタンの認識を行う。この標準パタンとのマッチングは
線形マッチングであるが、時間の伸縮を整合しながら行
う方式に連続ＤＰマッチングと呼ばれる方式がある。こ
のマッチング法を用いることにより、より柔軟な認識が
可能となるが、マッチング法の違いが本発明に直接関係
しないため、以下では上記の線形マッチング法に基づい
て説明する。
ンのフレーム長である。この距離の累和Ｓの時系列が極
小を示す位置が、標準パタンの単語が入力パタン中に存
在する終点の位置の候補の点となる。そして、その時の
類似度がＳである。その単語の始点位置は、その終点位
置から標準パタンのフレーム長ＳＦＮだけさかのぼった
位置である。このようにして、マッチング部６は、入力
パタンの認識を行う。この標準パタンとのマッチングは
線形マッチングであるが、時間の伸縮を整合しながら行
う方式に連続ＤＰマッチングと呼ばれる方式がある。こ
のマッチング法を用いることにより、より柔軟な認識が
可能となるが、マッチング法の違いが本発明に直接関係
しないため、以下では上記の線形マッチング法に基づい
て説明する。
【００２１】さて、特徴抽出部２では、手の動作速度、
手の形の変化を求める。手の動作速度ｖ（ｔ）は、セン
サ１から送られてくるｔフレーム目の手のＸ座標、Ｙ座
標、Ｚ座標位置をそれぞれｙ１（ｔ），ｙ２（ｔ），ｙ
３（ｔ）とすると、
手の形の変化を求める。手の動作速度ｖ（ｔ）は、セン
サ１から送られてくるｔフレーム目の手のＸ座標、Ｙ座
標、Ｚ座標位置をそれぞれｙ１（ｔ），ｙ２（ｔ），ｙ
３（ｔ）とすると、
【００２２】
【数７】ｖ2(ｔ） ＝（ｙ１（ｔ）−ｙ１（ｔ−１））2
＋（ｙ２（ｔ）−ｙ２（ｔ−１））2＋（ｙ３（ｔ）−
ｙ３（ｔ−１））2 により求まる。ここでｙ１（ｔ−１）は、ｔ−１フレー
ム目における手のＸ座標位置である。また、手の形の変
化に関しては、各指の第１、２関節の曲がり角度の特徴
量ｙについて、上式によりフレーム間での変化量を求め
る。ここで、変化量は、１フレーム前との変化量ｄｈ１
のみでなく、２フレーム前との変化量ｄｈ２、３フレー
ム前との変化量ｄｈ３も求める。また、手の動作速度ｖ
（ｔ）の極小点が検出されると、図３のように、それ以
前の極小点の手の位置との距離を上式により求める。こ
こでも、１つ前の極小点との位置の距離ｄｉｓｔ１のほ
か、２つ前の極小点との位置の距離ｄｉｓｔ２も求め
る。
＋（ｙ２（ｔ）−ｙ２（ｔ−１））2＋（ｙ３（ｔ）−
ｙ３（ｔ−１））2 により求まる。ここでｙ１（ｔ−１）は、ｔ−１フレー
ム目における手のＸ座標位置である。また、手の形の変
化に関しては、各指の第１、２関節の曲がり角度の特徴
量ｙについて、上式によりフレーム間での変化量を求め
る。ここで、変化量は、１フレーム前との変化量ｄｈ１
のみでなく、２フレーム前との変化量ｄｈ２、３フレー
ム前との変化量ｄｈ３も求める。また、手の動作速度ｖ
（ｔ）の極小点が検出されると、図３のように、それ以
前の極小点の手の位置との距離を上式により求める。こ
こでも、１つ前の極小点との位置の距離ｄｉｓｔ１のほ
か、２つ前の極小点との位置の距離ｄｉｓｔ２も求め
る。
【００２３】さて、単語境界検出部３は、図４の手順で
単語境界を検出する。まず、ステップ３１では、手の動
作速度の極小点および、手の動作速度がある一定値以下
の区間の始点と終点をそれぞれ境界候補として検出す
る。動作速度の極小点は、繰返し動作や手の変動でも生
じる。手話の単語では、例えば手話単語「何」は、人差
指を立てた手を左右に振る。このため、単語内で動作速
度の極小点が生じてしまう。このため、ステップ３２で
繰返し動作などにより生じる極小点を検出し、候補から
外す（図５）。さらに、ステップ３３では分割された区
間の手話の特徴付けを行う（図６）。
単語境界を検出する。まず、ステップ３１では、手の動
作速度の極小点および、手の動作速度がある一定値以下
の区間の始点と終点をそれぞれ境界候補として検出す
る。動作速度の極小点は、繰返し動作や手の変動でも生
じる。手話の単語では、例えば手話単語「何」は、人差
指を立てた手を左右に振る。このため、単語内で動作速
度の極小点が生じてしまう。このため、ステップ３２で
繰返し動作などにより生じる極小点を検出し、候補から
外す（図５）。さらに、ステップ３３では分割された区
間の手話の特徴付けを行う（図６）。
【００２４】ステップ３２における、同一動作中に生じ
る極小点は次のようにもとめる。手話では、単語内では
手の形状を一定に保つ手話が多い。このため、 （ルール１）前後の極小点と手の形状が一定である極小
点は、単語内とする。
る極小点は次のようにもとめる。手話では、単語内では
手の形状を一定に保つ手話が多い。このため、 （ルール１）前後の極小点と手の形状が一定である極小
点は、単語内とする。
【００２５】次に、繰返し動作は、前後、上下、左右の
反復動作となる。このため、 （ルール２）１つ前の極小点との位置の距離ｄｉｓｔ
１、２つ前の極小点との位置の距離ｄｉｓｔ２に、ｄｉ
ｓｔ２＜ｄｉｓｔ１の関係があり、ｄｉｓｔ２が一定閾
値以下の場合、反復動作と判断し、距離ｄｉｓｔ１の極
小点は、単語内とする。特に、極小点で手の形状が一定
のものは、単語内の信頼度を高くする。
反復動作となる。このため、 （ルール２）１つ前の極小点との位置の距離ｄｉｓｔ
１、２つ前の極小点との位置の距離ｄｉｓｔ２に、ｄｉ
ｓｔ２＜ｄｉｓｔ１の関係があり、ｄｉｓｔ２が一定閾
値以下の場合、反復動作と判断し、距離ｄｉｓｔ１の極
小点は、単語内とする。特に、極小点で手の形状が一定
のものは、単語内の信頼度を高くする。
【００２６】ステップ３３では、次のように手話を特徴
付ける。ステップ３２のルール２で反復動作が抽出でき
る。このため、 （ルール１）反復動作の極小点を有する区間は、繰返し
動作区間とする。 （ルール２）区間内で手の形状が一定であれば、手形状
一定の手話区間とする。
付ける。ステップ３２のルール２で反復動作が抽出でき
る。このため、 （ルール１）反復動作の極小点を有する区間は、繰返し
動作区間とする。 （ルール２）区間内で手の形状が一定であれば、手形状
一定の手話区間とする。
【００２７】手の動作速度がある一定値以下の区間は、
動きの少ない手話単語であるか、ポーズのどちらかであ
る。ポーズの場合は、動作速度が一定値以下の区間（以
下、この区間を徐行区間と呼ぶ）の後に手話単語が開始
し、それ以外の場合は、単語間の移動（渡り）の部分と
なる。このため、 （ルール３）徐行区間の後に生じる極小点において、手
の形状が徐行区間と同一であれば、徐行区間はポーズで
ある。 ここで、手の形状が一定の検出は、例えば、手形状の変
化量ｄｈ１からｄｈ３が全て閾値以下の場合のみ一定と
し、その３フレームは一定と判定する。
動きの少ない手話単語であるか、ポーズのどちらかであ
る。ポーズの場合は、動作速度が一定値以下の区間（以
下、この区間を徐行区間と呼ぶ）の後に手話単語が開始
し、それ以外の場合は、単語間の移動（渡り）の部分と
なる。このため、 （ルール３）徐行区間の後に生じる極小点において、手
の形状が徐行区間と同一であれば、徐行区間はポーズで
ある。 ここで、手の形状が一定の検出は、例えば、手形状の変
化量ｄｈ１からｄｈ３が全て閾値以下の場合のみ一定と
し、その３フレームは一定と判定する。
【００２８】このように、単語境界が検出される。この
ため、マッチング部５において認識される手話単語のう
ち、単語境界にまたがって検出されるものは、候補から
外すことが可能である。さらに、単語境界間の区間の特
徴が抽出されるため、候補を削減することが可能であ
る。例えば、ある区間が繰返し動作区間と特徴付けされ
たら、繰返し動作をする手話がそこに存在することが分
かるため、他の候補は削除可能である。
ため、マッチング部５において認識される手話単語のう
ち、単語境界にまたがって検出されるものは、候補から
外すことが可能である。さらに、単語境界間の区間の特
徴が抽出されるため、候補を削減することが可能であ
る。例えば、ある区間が繰返し動作区間と特徴付けされ
たら、繰返し動作をする手話がそこに存在することが分
かるため、他の候補は削除可能である。
【００２９】次に、標準パタンメモリ６に登録する単語
は、その表現される位置の情報を与えておく。例えば、
首より上、胸と首の間、胸より下である。そして、例え
ば、各位置により図７のようにビット割当てを行う。例
えば、手話「思う」のように、常に首より上で表現され
る手話は４、「胃」のように常に胸より下で表現される
手話は１、「場所」のようにどこでも表現される手話は
７である。次に、特徴抽出部２は、１フレームの入力が
あると、その手の位置を上記と同様にコード化する。例
えば、手が胸と首の間にあれば、位置コードを２にす
る。距離計算部４とマッチング部５は、入力フレームの
位置コードに該当しない標準パタンとの計算は行わな
い。これにより、パタンマッチングの処理量を削減可能
である。この判定は、標準パタンに付けられた位置コー
ドと入力フレームの位置コードの論理積をとることによ
り容易に実現可能である。上記例では、手話「場所」の
みが対象となる。
は、その表現される位置の情報を与えておく。例えば、
首より上、胸と首の間、胸より下である。そして、例え
ば、各位置により図７のようにビット割当てを行う。例
えば、手話「思う」のように、常に首より上で表現され
る手話は４、「胃」のように常に胸より下で表現される
手話は１、「場所」のようにどこでも表現される手話は
７である。次に、特徴抽出部２は、１フレームの入力が
あると、その手の位置を上記と同様にコード化する。例
えば、手が胸と首の間にあれば、位置コードを２にす
る。距離計算部４とマッチング部５は、入力フレームの
位置コードに該当しない標準パタンとの計算は行わな
い。これにより、パタンマッチングの処理量を削減可能
である。この判定は、標準パタンに付けられた位置コー
ドと入力フレームの位置コードの論理積をとることによ
り容易に実現可能である。上記例では、手話「場所」の
みが対象となる。
【００３０】
【発明の効果】本発明によれば、入力される手話の単語
境界や境界間の区間の特徴付けができるため、パタンマ
ッチングで検出されるパタンを限定できる。このため、
認識処理量を削減でき、かつ認識性能の向上が図れる。
境界や境界間の区間の特徴付けができるため、パタンマ
ッチングで検出されるパタンを限定できる。このため、
認識処理量を削減でき、かつ認識性能の向上が図れる。
【図１】本発明の一実施例の手話認識装置の構成を示す
図である。
図である。
【図２】パタンマッチングによる単語のマッチング結果
の例を示す図である。
の例を示す図である。
【図３】手話の動作速度の変化と極小点の特徴抽出を説
明する図である。
明する図である。
【図４】単語境界検出部の処理を示す図である。
【図５】単語境界検出部の単語内極小点の検出規則の例
を示す図である。
を示す図である。
【図６】単語境界検出部の分割区間の特徴付け規則の例
を示す図である。
を示す図である。
【図７】手話の位置コードを示す図である。
１‥センサ、２‥特徴抽出部、３‥単語境界検出部、４
‥距離計算部、５‥マッチング部、６‥標準パタンメモ
リ、７‥手話単語列検出部。
‥距離計算部、５‥マッチング部、６‥標準パタンメモ
リ、７‥手話単語列検出部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 崎山 朝子 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 戸田 裕二 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内
Claims (5)
- 【請求項１】あらかじめ単語などのパタンを登録し格納
する手段と、該登録されたパタンと入力とのパタンマッ
チングを行う手段を備えた手話認識装置において、入力
を単語や文節の意味あるまとまりに分割する手段と、分
割点にまたがって検出されるパタンにはペナルティをつ
けて認識を行う手段を有することを特徴とする手話認識
装置。 - 【請求項２】請求項１記載において、手話における手の
動作から、手の動作速度とその極小点を検出する手段
と、手の形の変化を検出する手段と、手の動作速度が極
小点となる位置間の空間上の距離を計算する手段を有す
ることを特徴とする手話認識装置。 - 【請求項３】請求項１記載において、手の動作速度の極
小点および、手の動作速度がある一定値以下の区間の始
点と終点をそれぞれ境界候補として検出する手段と、境
界候補のうち繰返し動作により生じる極小点や他の同一
動作中に生じる極小点を除いたものを境界として検出す
る手段を有することを特徴とする手話認識装置。 - 【請求項４】請求項１記載において、手の形状の変化や
繰返し動作の有無により、分割された区間の動作の特徴
付けをする手段を有することを特徴とする手話認識装
置。 - 【請求項５】請求項１記載において、手話単語を表現位
置により分類し登録する手段と、パタンマッチングに際
して現在マッチングの入力パタンの空間位置には表現さ
れない手話単語は、パタンマッチングの対象から外す手
段を有することを特徴とする手話認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12870393A JP3554571B2 (ja) | 1993-05-31 | 1993-05-31 | 手話認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12870393A JP3554571B2 (ja) | 1993-05-31 | 1993-05-31 | 手話認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06337629A true JPH06337629A (ja) | 1994-12-06 |
| JP3554571B2 JP3554571B2 (ja) | 2004-08-18 |
Family
ID=14991343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12870393A Expired - Fee Related JP3554571B2 (ja) | 1993-05-31 | 1993-05-31 | 手話認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3554571B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07311545A (ja) * | 1994-05-16 | 1995-11-28 | Hitachi Ltd | 手話通訳装置 |
| JP2000284682A (ja) * | 1999-03-30 | 2000-10-13 | Hitachi Ltd | 手話認識方法および装置 |
| JP2002170121A (ja) * | 2000-12-04 | 2002-06-14 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| KR100457928B1 (ko) * | 2002-11-12 | 2004-11-18 | 한국과학기술원 | 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체 |
| JP2006155563A (ja) * | 2004-11-05 | 2006-06-15 | Fuji Xerox Co Ltd | 動作分析装置 |
| JP2007220133A (ja) * | 2007-03-28 | 2007-08-30 | Toyota Motor Corp | 変化情報認識装置および変化情報認識方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04156610A (ja) * | 1990-10-19 | 1992-05-29 | Fujitsu Ltd | ニューラルネットワークを用いた人間の動作自動認識装置 |
| JPH04195099A (ja) * | 1990-11-28 | 1992-07-15 | Nec Corp | 連続単語認識方法 |
| JPH0546583A (ja) * | 1991-08-15 | 1993-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 動物体行動認識装置 |
| JPH0667601A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | 手話通訳装置および手話通訳システム |
| JPH0683938A (ja) * | 1992-09-03 | 1994-03-25 | Hitachi Ltd | 連続手話認識方法および装置 |
-
1993
- 1993-05-31 JP JP12870393A patent/JP3554571B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04156610A (ja) * | 1990-10-19 | 1992-05-29 | Fujitsu Ltd | ニューラルネットワークを用いた人間の動作自動認識装置 |
| JPH04195099A (ja) * | 1990-11-28 | 1992-07-15 | Nec Corp | 連続単語認識方法 |
| JPH0546583A (ja) * | 1991-08-15 | 1993-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 動物体行動認識装置 |
| JPH0667601A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | 手話通訳装置および手話通訳システム |
| JPH0683938A (ja) * | 1992-09-03 | 1994-03-25 | Hitachi Ltd | 連続手話認識方法および装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07311545A (ja) * | 1994-05-16 | 1995-11-28 | Hitachi Ltd | 手話通訳装置 |
| JP2000284682A (ja) * | 1999-03-30 | 2000-10-13 | Hitachi Ltd | 手話認識方法および装置 |
| JP2002170121A (ja) * | 2000-12-04 | 2002-06-14 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| KR100457928B1 (ko) * | 2002-11-12 | 2004-11-18 | 한국과학기술원 | 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체 |
| JP2006155563A (ja) * | 2004-11-05 | 2006-06-15 | Fuji Xerox Co Ltd | 動作分析装置 |
| JP2007220133A (ja) * | 2007-03-28 | 2007-08-30 | Toyota Motor Corp | 変化情報認識装置および変化情報認識方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3554571B2 (ja) | 2004-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563286B (zh) | 一种基于Kinect深度信息的动态手势识别方法 | |
| Zhu et al. | Seeing small faces from robust anchor's perspective | |
| Lee et al. | An HMM-based threshold model approach for gesture recognition | |
| US6944315B1 (en) | Method and apparatus for performing scale-invariant gesture recognition | |
| Jiang et al. | Multi-layered gesture recognition with Kinect. | |
| US8005263B2 (en) | Hand sign recognition using label assignment | |
| Li et al. | Model-based segmentation and recognition of dynamic gestures in continuous video streams | |
| Kolcz et al. | A line-oriented approach to word spotting in handwritten documents | |
| Alon et al. | Simultaneous localization and recognition of dynamic hand gestures | |
| Bobick et al. | A state-based approach to the representation and recognition of gesture | |
| Yang et al. | Continuous hand gesture recognition based on trajectory shape information | |
| KR101511146B1 (ko) | 스마트 3차원 제스처 인식 장치 및 방법 | |
| KR20020037660A (ko) | 객체 활동 모델링 방법 | |
| Alon et al. | Accurate and efficient gesture spotting via pruning and subgesture reasoning | |
| Joshi et al. | A random forest approach to segmenting and classifying gestures | |
| Hussain et al. | Hand gesture recognition system with real-time palm tracking | |
| Yan et al. | Research on dynamic sign language algorithm based on sign language trajectory and key frame extraction | |
| Lee et al. | Real-time gesture recognition in the view of repeating characteristics of sign languages | |
| Stefan et al. | Translation and scale-invariant gesture recognition in complex scenes | |
| JPH06337629A (ja) | 手話認識装置 | |
| Ishihara et al. | Gesture recognition using auto-regressive coefficients of higher-order local auto-correlation features | |
| Kelly et al. | Recognition of spatiotemporal gestures in sign language using gesture threshold hmms | |
| Elmezain et al. | Hand gesture recognition based on combined features extraction | |
| Bhuyan et al. | Finite state representation of hand gesture using key video object plane | |
| Bhuyan et al. | Continuous hand gesture segmentation and co-articulation detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040510 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |