JPH0683938A - 連続手話認識方法および装置 - Google Patents

連続手話認識方法および装置

Info

Publication number
JPH0683938A
JPH0683938A JP4235633A JP23563392A JPH0683938A JP H0683938 A JPH0683938 A JP H0683938A JP 4235633 A JP4235633 A JP 4235633A JP 23563392 A JP23563392 A JP 23563392A JP H0683938 A JPH0683938 A JP H0683938A
Authority
JP
Japan
Prior art keywords
pattern
sign language
standard
continuous
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4235633A
Other languages
English (en)
Inventor
Hirohiko Sagawa
浩彦 佐川
Yutaka Sako
裕 酒匂
Masahiro Abe
正博 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP4235633A priority Critical patent/JPH0683938A/ja
Priority to DE69328147T priority patent/DE69328147T2/de
Priority to EP93306674A priority patent/EP0585098B1/en
Publication of JPH0683938A publication Critical patent/JPH0683938A/ja
Priority to US08/567,875 priority patent/US5887069A/en
Priority to US08/716,911 priority patent/US5699441A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 本発明の目的は、連続手話認識において、良
質な標準手話パターンを作成し、連続手話パターンと標
準手話パターンを効率的に圧縮し、圧縮した手話パター
ンを直接連続的に照合することにより、高速で高精度な
連続手話認識を行なうことにある。 【構成】 本発明では、手話パターンの非線形な伸縮を
考慮して正規化を行なうために、標準手話パターン作成
部(3)でサンプルパターン間の平均を求めることによ
り標準手話パターンを作成する。連続手話認識部(5)
で、手話の時系列パターンと標準手話パターンを時間的
な変動を許しながら連続的に照合することによって、高
速な連続手話認識を行なう。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、連続手話認識および装
置に係り、特に、連続手話パターンと標準手話パターン
の照合による認識において使用される標準手話パターン
の作成に関する。ここでの連続手話パターンとは、テン
プレートパターンをも含む。
【0002】さらに本発明は、標準手話パターンと同種
の手話パターンが連続的に結合された同種の手話パター
ンから、その中に含まれている標準手話パターンと同種
の手話パターンを連続的かつ高速に認識する連続手話認
識に関する。
【0003】
【従来の技術】手話認識に関する従来の関連技術とし
て、特開平2−144675号公報「手動作認識装置と
手話言語変換装置」、特開平3−186979号公報
「ニューロコンピュータを用いた手の姿勢認識方式」が
提案されている。第1の従来技術においては、色の付い
た手袋を用いて画像認識により指の位置関係を求め、そ
れと予め記憶してある指文字パターンとを照合すること
によって指文字の認識を行なっている。第2の従来技術
においては、データグローブから入力した指の形状に関
するデータとその形状の意味との対応をニューラルネッ
トワークによって学習し、ニューラルネットワークに指
の形状データを入力したときの出力を指文字の認識結果
としている。
【0004】連続パターンと標準パターンの照合による
認識で使用される標準パターンとしては、標準パターン
とするパターンの何回分かのサンプルをとり、それらを
時間軸方向に線形に正規化し、単純に平均をとったもの
が利用されている。
【0005】また、時系列連続パターンと標準パターン
の照合による認識方法としては、連続DP照合(岡、
“連続DPを用いた連続単語認識”、日本音響学会音声
研究会、S78−20、pp.145−152,197
8)が提案されている。この第3の従来技術では、標準
パタ−ンを連続パタ−ンに対して時間軸方向の変動を許
しながら連続的に照合することによって、連続パターン
に含まれている標準パターンの認識を行なう。この照合
の結果、連続パターンと標準パターンの類似度の時系列
が得られる。各標準パターンに対する類似度の時系列の
うちある閾値以下の類似度の極小値を検索し、その極小
値の時刻を標準パターンの候補とする。
【0006】
【発明が解決しようとする課題】上記の手話認識におけ
る第1および第2の従来技術では,基本的に静的なパタ
ーンである指文字を対象としたものであり、指や手の複
雑な動きが含まれる一般的な手話文の認識はできないと
いう問題がある。
【0007】標準パターンの作成においては、手話パタ
ーンは時間軸方向に非線形な伸縮を伴うため、それを考
慮せずに線形に伸縮して時間軸の正規化を行なって平均
を求めると、図4(a)のように非線形な伸縮のためパ
ターンが鈍ってしまい、元の手話パターンの特徴が標準
手話パターン中に十分反映されないという問題がある。
【0008】また、第3の従来技術の連続パターンと標
準パターンの照合では、連続パターン、標準パターンと
も、ある時間間隔でサンプリングしたデータをそのまま
利用すると、照合時間が連続パターンの長さおよび標準
パターンの数に比例して増加するという問題がある。
【0009】本発明の1つの目的は、指や手の動きが含
まれる一般的な連続手話パターンからその中に含まれる
標準手話パターンを連続的に認識する方法および装置を
提供することにある。
【0010】本発明の他の目的は、標準手話パターンの
作成において、非線形な伸縮によって手話パターンの特
徴を損なわない、標準手話パターン作成方法および装置
を提供することにある。
【0011】本発明のさらに他の目的は、非線形な伸縮
を伴う標準手話パターンが連続的に結合された連続手話
パターンに対し、標準手話パターンを高速に照合して標
準パターンと同種の手話パターンの認識を行なう方法お
よび装置を提供することにある。
【0012】
【課題を解決するための手段】本発明は、標準手話パタ
ーンの作成において、手話パターンの非線形な伸縮を考
慮して正規化を行なうために、DP照合により標準パタ
ーン用のサンプル間の対応をとり、対応点間の平均を求
めることによって、標準手話パターンを作成するもので
ある。
【0013】また、連続手話パターンの認識において、
連続DP照合を用いてパターンの時間軸方向の非線形な
伸縮を許しながら連続手話パターンと標準手話パターン
を照合することによって、連続手話パターン中に含まれ
る標準手話パターンを認識するものである。
【0014】さらに、手話パターンを構成するn次元ベ
クトルの速度が極小になる時刻および、速度ベクトルの
方向変化がある閾値を越えた時刻、速度ベクトルの方向
の変化がある閾値を越えた時刻、加速度が極小になる時
刻を特徴点として抽出し、それらのすべてあるいはいず
れかの特徴点に基づいて、特徴点におけるパターンベク
トル、特徴点間を直線近似した場合の特徴点間のベクト
ル、特徴点間の時間長のすべてあるいはいずれかを用い
て、手話パターンをその特徴を損なわず効率的に圧縮を
行ない、圧縮した連続手話パターンと圧縮した標準手話
パターンを直接照合することによって、認識時間を短縮
するものである。
【0015】
【作用】標準手話パターン作成の際に、DP照合により
非線形な伸縮を考慮した正規化を行なうことによって、
手話パターンの特徴を損なうことなく標準手話パターン
を作成することができる。
【0016】また、連続DP照合を用いて連続手話パタ
ーンと標準手話パターンを照合することにより、指や手
の動きがある一般的な手話の連続的な認識ができる。
【0017】さらに、手話パターンからその特徴を良く
表す特徴点を抽出し、その特徴点に基づいて手話パター
ンの圧縮を行なうことによって、手話パターンをその特
徴を損なうことなく効率的に圧縮することができ、圧縮
した連続手話パターンと圧縮した標準手話パターンとを
直接照合することによって、高速な認識が可能になる。
【0018】
【実施例】以下、本発明の実施例を図1から図12を用
いて説明する。
【0019】図1は、本発明が適用された連続手話認識
装置のブロック図である。
【0020】図1において、1は手話を計算機に入力す
るためのデータグローブ、2は手話をn次元ベクトルの
時系列連続パターンに変換するインタフェイス部、3は
標準手話パターン作成部、4は標準手話パターン格納
部、5は連続手話パターンの認識を行なう連続手話パタ
ーン認識部である。
【0021】データグローブ1によって入力された手話
d1は、インタフェイス部2によって、n次元ベクトル
の時系列連続手話パターンd2a、d2bに変換され
る。変換された連続手話パターンは、標準手話パターン
作成時には標準手話パターン作成部3の入力d2aとな
り、認識時には連続手話認識部3の入力d2bとなる。
標準手話パターン作成部では、入力された標準パターン
用のサンプル手話パターンを幾つか読み込み、それらを
平均することによって標準手話パターンを作成し、標準
手話パターン格納部4に格納する。連続手話認識部5で
は、入力された連続手話パターンと標準手話パターン格
納部に格納されている標準手話パターンd4を順次照合
することによって、連続手話パターンの認識を行なう。
【0022】図2は標準手話パターン作成部3のブロッ
ク図で、31は入力された手話パターンの平均の時間長
を計算する平均時間長計算部、32は照合の際基準とす
る手話パターンを格納する準パターン格納部、33は準
パターン格納部に格納された以外の手話パターンを格納
するサンプル格納部、34は手話パターンの照合を行な
う照合部、35は照合結果から手話パターンの平均を求
める平均パターン計算部、36はパターン圧縮部であ
る。
【0023】標準手話パターン作成部3に入力された手
話パターンd2aは全て平均時間長計算部31に入力さ
れ、ここで入力された全ての手話パターンの時間長の平
均値が計算される。そして、平均時間長にもっとも近い
手話パターンを照合用パターンとして準パターン格納部
32に格納する。また、それ以外の手話パターンは、パ
ターン格納部33に格納する。準パターン格納部32に
格納するパターンとしては、入力されたパターンのうち
いずれかを平均時間長に線形に正規化したものを使用す
ることもできる。次に、照合部34によって、準パター
ン格納部32の手話パターンd33に対してサンプル格
納部33に格納されている手話パターンd34を順次照
合する。この際の照合は,始点および終点固定のDP照
合法で行なう。この照合は、図3のように照合するパタ
ーン間において、それぞれのパターンの始点と終点は必
ず対応するという制限を与えてDP照合を行なうもので
ある。この照合によって、準パターンd33とサンプル
パターンd34の間の対応点が求められる。照合部は、
照合した手話パターンおよび対応点の情報d35を出力
する。平均パターン計算部35では、手話パターンおよ
び対応点の情報d35をもとに対応点間の平均を求め、
平均手話パターンd36を作成する。これによって、平
均手話パターンは図4(b)のように、サンプルパター
ンに非線形な伸縮が伴う場合でも、パターンの特徴を損
なわないものが得られる。平均手話パターンd36は、
パターン圧縮部36によってパターン圧縮が行なわれ
る。標準手話パターン作成部は,圧縮された平均手話パ
ターンを標準手話パターンd3として出力する。
【0024】図5は、パターン圧縮部36のブロック図
で、361はベクトルの時系列から速度を計算する速度
計算部、362は求めた速度の極小値を求める速度極小
値検出部、363は速度の方向の変化を求める速度変化
計算部、364は速度の方向の変化点を求める速度変化
点検出部である。
【0025】パターン圧縮部36では、入力パターンd
36から特徴点を検出することによってパターン圧縮が
行なわれる。まず、入力パターンd36は速度計算部3
61によって各時刻の速度が計算される。ベクトルの速
度は数1によって求められる。
【0026】
【数1】
【0027】数1によって求められた各時刻における速
度は速度極小検出部362および速度変化計算部363
に入力される。速度極小検出部362では、入力された
速度の時系列から速度が極小になる時刻を検出し、特徴
点d361として出力する。また、ベクトル変化計算部
363では、速度ベクトルの方向の変化角度が求められ
る。速度ベクトルの方向の変化角度は数2によって求め
られる。
【0028】
【数2】
【0029】さらに、速度ベクトルの方向の変化角度
は,速度変化点検出部364において積分され、変化角
度の和がある閾値を越えた点を特徴点d362として出
力する。すなわち、
【0030】
【数3】
【0031】となる時刻Tjを特徴点とする。さらに、
その次の時刻から同様な処理を繰り返すことによって特
徴点を順次出力していく。特徴点ベクトル出力部365
では、上記2種類の特徴点d361、d362における
パターンのベクトルおよびそれらの特徴点間の時間長を
圧縮手話パタ−ンd3として出力する。これによって、
平均手話パターンは図6のような圧縮手話パターンに変
換されることになる。
【0032】図7は、連続手話認識部5のブロック図
で、51は連続手話パターンを圧縮するパターン圧縮
部、52は連続手話パターンと標準手話パターンを照合
する照合部、53は照合結果から標準パターンの候補を
検出する標準パターン候補検出部である。
【0033】連続手話パターン認識部5に入力された入
力手話パターンd2bは、パターン圧縮部51によって
圧縮される。このパターン圧縮部51は、標準手話パタ
ーン作成部3に使用しているものと同じである。圧縮さ
れた手話パターンは、照合部52において、圧縮された
標準手話パターンd4と連続DP照合を用いて時間軸の
非線形な変動を許しながら連続的に照合が行なわれる。
通常の連続DP照合を用いた場合、照合時の連続手話パ
ターンと標準手話パタ−ン間のベクトルの対応に関する
制約(DPパス)として図8のようなものが使用され、
照合は図9の「窓」に相当する部分に含まれるベクトル
に対する距離計算を窓をずらしながら繰返し行うことに
よって行なわれる。しかし、ここで行なう照合は、時間
軸が非線形に圧縮されたパターンを直接照合するため、
DPパスの制約およびパスに対する重みとして図10の
ようなものを使用する。これによって時間軸が非線形に
圧縮されたパターン間でも対応関係がうまくとれるよう
になる。また、各パスに対する重みとして対応する特徴
点間の時間長を用いることによって、照合時の累積距離
に対して各対応点間の距離が特徴点の時間長に応じて反
映されるようになる。しかし、これらの制約だけでは時
間長の差の大きい特徴点間の対応関係が制限されないた
め、不必要に時間軸が伸縮した対応が行なわれる可能性
がある。そこで、上記の制約のほかに対応する特徴点間
の距離計算において特徴点の時間長の比に基づいた距離
を加える。この場合の特徴点間の距離は、数4によって
与えられる。
【0034】
【数4】
【0035】特徴点間のベクトルの距離としては、一般
に使用されるユークリッド距離を用いる。距離の定義と
しては、この他、マハラビノス距離や相関係数などの一
般に用いられる距離の定義を使用することができる。ま
た、時間長の比に基づく距離としては、数5のようなも
のを用いる。
【0036】
【数5】
【0037】数5では、ある特徴点に対応する特徴点が
複数の場合、その特徴点とそれに対応する全ての特徴点
の時間長によって比を計算する。さらに、時間長の比が
1.0の場合に時間長の比に基づく距離が0.0になる
ような関数として定義している。この距離の定義につい
ても、対応する特徴点の時間長の比を求め、その比に対
して何らかの関数を適用したものであれば特に上述した
ものである必要はない。以上のDPパスおよび距離計算
を用いた連続DP照合は、図11の「窓」を順次ずらし
ながら距離計算を行なうことに相当し、数6の漸化式に
よって距離計算が行なわれる。
【0038】
【数6】
【0039】この照合によって、図12のような特徴点
間の対応が得られる。
【0040】連続DP照合を行なうことによって、各標
準手話パターンに対する特徴点ごとの累積距離d52が
求められる。標準パターン候補検出部53では、ある閾
値以下の累積距離に対してその極小値を求め、その点を
標準パターンの候補の位置として検出する。標準パター
ン候補検出部53は、検出した標準パターンおよびその
始点、終点、累積距離を標準パターン候補d5として出
力する。
【0041】上述の実施例におけるデ−タグローブ1お
よびインタフェイス部2については、手話をn次元ベク
トルの時系列連続パターンに変換できるものであれば、
特にこれに限るものではない。例えば、テレビカメラか
ら取り込んだ手話のデ−タをn次元ベクトルの時系列デ
−タとして表したものでも良い。
【0042】また、上述の実施例は手話を認識するもの
であったが、本発明における標準パターンの作成方法、
パターンの圧縮方法、パターンの照合方法は、音声認
識、ペン入力による文字認識、動画像における物体の動
きの認識等に利用することもできる。
【0043】音声認識の場合、特徴パラメータとしては
フーリエ変換あるいは帯域通過フィルタの出力から得ら
れる複数の周波数成分の時系列が一般的に使用される。
この周波数成分の形式は、上述のn次元手話パターンと
同様な形式となるため、標準パターンの作成、認識のい
ずれにおいても、上述の方法をそのまま使用することが
できる。ペン入力による文字認識の場合は、入力デ−タ
はペン先の座標や筆圧からなるn次元時系列デ−タとみ
なすことができる。それゆえ、上述の標準パターン作
成、認識方法を使用することができる。動画像認識の場
合は、画像中から認識対象を認識することができれば、
その対象の位置座標の時系列デ−タが得られるため、上
述の方法を使用することができる。
【0044】また、上述の実施例は装置をハードウエア
で実現したものであるが、これをソフトウエアで実現す
ることもできる。この場合、標準手話パターン作成部、
標準手話パターン格納部、連続手話認識部をそれぞれ別
々の計算機上で実現することも可能であり、また、1台
の計算機上に実現することも可能であるため、柔軟な装
置の構成も可能となる。図13、図14および図15
に、本発明における標準パターン作成および手話認識を
ソフトウエアによって、実現する場合のフローチャート
を示す。
【0045】図13は、標準パターン作成部のフローチ
ャートである。以下、このフローチャートの説明を行な
う。ステップ1301では標準パターンを作成する全て
の種類の単語について、標準パターン作成処理を行なっ
たかどうかの判定を行なう。全ての単語について処理を
行なっていれば終了する。そうでない場合、ステップ1
302で処理を行なう単語のサンプルパターンの時間長
の平均を求める。次にステップ1303で平均時間長に
最も近いサンプルパターンを検索し、それを準パターン
として記憶する。ステップ1304では、残りのサンプ
ルパターン全てについてステップ1305およびステッ
プ1306の処理が行なわれたかどうかの判定を行な
う。行われていなければステップ1305に進み、準パ
ターンとサンプルパターンの始点および終点固定のDP
照合を行なう。次にステップ1306で、照合結果を元
に、準パターンの各時刻のデ−タにサンプルパターンの
対応する時刻のデ−タを加算し、その時刻のデ−タに加
算されたデ−タの個数を記憶する。ステップ1304で
全てのサンプルパターンに対して処理が行なわれていれ
ばステップ1307に進み、加算が行なわれた準パター
ンの各時刻の平均を求める。最後にステップ1308で
平均されたパターンの圧縮を行ない、それを標準パター
ンとする。
【0046】図14は、パターン圧縮処理のフローチャ
ートである。以下、このフローチャートの説明を行な
う。まず、ステップ1401では入力パターンから各時
刻における速度ベクトルを求める。これは数1によって
求められる。次にステップ1402で、入力パターンの
全時刻についてステップ1403からステップ1409
までの処理が行なわれたかどうかの判定を行なう。全時
刻について処理が行なわれていなければ、ステップ14
03からステップ1404、およびステップ1405か
ら1409までの処理を行なう。ステップ1403で
は、その時刻の速度が極小値かどうかの判定を行なう。
極小値であればステップ1404に進み、その時刻を特
徴点として記憶し、ステップ1402に戻る。極小値で
ない場合は、そのままステップ1402に戻る。ステッ
プ1405では、その時刻と直前の時刻おける速度ベク
トルの角度変化を求める。これは数2によって求められ
る。次にステップ1406で、1つ前の特徴点からの速
度ベクトルの角度変化の累積値にその時刻の変化角度の
和を加算する。ステップ1407では、変化角度の累積
値が閾値を越えたどうかの判定を行なう。これは数3を
実行するものである。変化角度の累積値が閾値を越えて
いれば、ステップ1408でその時刻を特徴点として記
憶する。次にステップ1409で変化角度の累積値をク
リアし、次の特徴点を求める準備を行ない、ステップ1
402に戻る。ただし、上述の処理においてステップ1
402に戻るのは、ステップ1403から1404の処
理、およびステップ1405から1409の処理の両方
が終了した時である。ステップ1402で入力パターン
の全時刻について上述の処理を行なった場合、ステップ
1410に進み、特徴点におけるパターンベクトルおよ
び特徴点間の時間長を求め、これを圧縮デ−タとして記
憶する。
【0047】図15は、手話認識処理のフローチャート
である。以下、このフローチャートの説明を行なう。ス
テップ1501では手話パターンの入力を行ない、ステ
ップ1502で入力した手話パターンの圧縮を行なう。
ステップ1503では登録してある全ての標準パターン
についてステップ1504からステップ1506の処理
を行なったかどうかの判定を行なう。処理を行なってい
ない標準パターンがある場合、ステップ1504に進
み、入力パターンと標準パターンの連続DP照合を行な
う。この照合は数4から数6によって示される式に従っ
て行なわれる。次にステップ1505で、照合によって
得られた累積距離の時系列デ−タより累積距離の極小値
を求める。最後に求めた極小値の時刻を単語の検出位置
として記憶し、ステップ1503に戻る。ステップ15
03で全ての標準パターンについて照合処理が終われ
ば、手話認識処理を終了する。
【0048】
【発明の効果】以上述べたように、本発明によれば、D
P照合を用いて手話パターン間の対応関係を求めてから
平均をとることにより、時間軸方向の非線形な伸縮によ
って手話パターンの特徴を損なうことなく、良質な標準
手話パターンが作成できる。また、連続DP照合を用い
て連続手話パターンと標準手話パターンを照合すること
により、指や手の動きがある一般的な手話の連続的な認
識ができる。さらに、標準手話パターン、連続手話パタ
ーンに対し、パターンの特徴を良く表す特徴点を抽出
し、その特徴点に基づいてパターン圧縮を行なうことに
より、効率的に手話パターンの圧縮を行なうことが可能
になり、圧縮した手話パターンを直接照合することによ
り、高速な連続手話パターン認識を行なうことが可能と
なる。
【図面の簡単な説明】
【図1】本発明の全体構成を示したブロック図。
【図2】標準手話パターン作成部のブロック図。
【図3】始点および終点固定のDP照合の様子を示す
図。
【図4】(a)時間軸を線形に正規化した場合の平均パ
ターン(b)DP照合によりサンプルパターン間の対応
点を求めた場合の平均パターン。
【図5】パターン圧縮部のブロック図。
【図6】入力手話パターンの圧縮の様子を示した図。
【図7】連続手話パターン認識部のブロック図。
【図8】通常の連続DP照合に用いられるDPパスの一
例。
【図9】連続DP照合の原理を説明する図。
【図10】圧縮手話パターンの連続DP照合に用いるD
Pパス。
【図11】圧縮手話パターンの連続DP照合の原理を説
明する図。
【図12】連続DP照合による特徴点の対応の様子。
【図13】標準パターン作成のフローチャート。
【図14】パターン圧縮処理のフローチャート。
【図15】手話認識処理のフローチャート。
【符号の説明】 1 手話を計算機に入力するデータグローブ 2 インタフェイス部 3 標準手話パターン作成部 4 標準手話パターン格納部 5 連続手話パターン認識部

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】連続的に表現された手話を認識する連続手
    話認識装置において、 連続的に表現された手話を時系列パターンに変換する手
    段と、 上記時系列パターンを平均することにより標準手話パタ
    ーンを作成する手段と、 上記時系列パターンと上記標準手話パターンとを照合す
    ることにより手話を認識する手段とを有することを特徴
    とする連続手話認識装置。
  2. 【請求項2】上記標準手話パターンを作成する手段は、
    時間軸方向に非線形な伸縮を伴う手話の幾つかのサンプ
    ルパターンについて、時間軸方向の非線形な伸縮を許し
    た対応をとり各対応点での平均を求める手段を有するこ
    とを特徴とする請求項1記載の連続手話認識装置。
  3. 【請求項3】上記手話を認識する手段は、上記手話の時
    系列パターンとあらかじめ記憶してある標準手話パター
    ンとを時間軸方向の伸縮を許しながら連続的に照合する
    ことにより連続手話を認識することを特徴とする請求項
    1記載の連続手話認識装置。
  4. 【請求項4】上記手話を認識する手段は、上記手話の時
    系列パターンと上記標準手話パターンの特徴点を抽出
    し、上記特徴点に基づいて上記連続手話パターンおよび
    上記標準手話パターンの圧縮行ない、上記パターン圧縮
    を行なった時系列パターンと標準手話パターンを直接照
    合することにより認識を行なうことを特徴とする請求項
    3記載の連続手話認識装置。
  5. 【請求項5】上記手話の時系列パターンの特徴を表す特
    徴点として、パターンベクトルの速度が極小となる時
    刻、速度ベクトルの方向変化がある閾値を越えた時刻、
    速度ベクトルの方向変化の累積値が閾値を越えた時刻、
    加速度が極小となる時刻のうち少なくとも1つを特徴点
    を用いることによって手話パターンを圧縮する手段を有
    することを特徴とする請求項4記載の連続手話認識装
    置。
  6. 【請求項6】上記特徴点におけるパターンベクトル、特
    徴点間を直線近似した場合の特徴点間のベクトル、特徴
    点間の時間長の少なくとも1つを用いて上記手話の時系
    列パターンを表すことによって、上記手話の時系列パタ
    ーンを圧縮する手段を有することを特徴とする請求項5
    記載の連続手話認識装置。
  7. 【請求項7】連続パターンを認識する連続パターン認識
    装置において、 連続パターンを時系列パターンに変換する手段と、 上記時系列パターンを平均することにより標準パターン
    を作成する手段と、 上記標準パターンと上記時系列パターンを照合すること
    により上記連続パターンを認識する手段とを有すること
    を特徴とする連続パターン認識装置。
  8. 【請求項8】標準手話パターン作成用の手話を第1の時
    系列パターンに変換し、上記時系列パターンを平均する
    ことにより標準手話パターンを作成し、認識すべき手話
    を第2の時系列パターンに変換し、上記標準手話パター
    ンと上記第2の時系列データと照合することにより手話
    を認識する手段を有することを特徴とする連続手話認識
    方法。
JP4235633A 1992-03-10 1992-09-03 連続手話認識方法および装置 Pending JPH0683938A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP4235633A JPH0683938A (ja) 1992-09-03 1992-09-03 連続手話認識方法および装置
DE69328147T DE69328147T2 (de) 1992-08-24 1993-08-23 Gebärdenspracherkennungsgerät und Verfahren und Gebärdensprachübersetzungssystem, das dieses verwendet
EP93306674A EP0585098B1 (en) 1992-08-24 1993-08-23 Sign recognition apparatus and method and sign translation system using same
US08/567,875 US5887069A (en) 1992-03-10 1995-12-06 Sign recognition apparatus and method and sign translation system using same
US08/716,911 US5699441A (en) 1992-03-10 1996-09-09 Continuous sign-language recognition apparatus and input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4235633A JPH0683938A (ja) 1992-09-03 1992-09-03 連続手話認識方法および装置

Publications (1)

Publication Number Publication Date
JPH0683938A true JPH0683938A (ja) 1994-03-25

Family

ID=16988915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4235633A Pending JPH0683938A (ja) 1992-03-10 1992-09-03 連続手話認識方法および装置

Country Status (1)

Country Link
JP (1) JPH0683938A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337629A (ja) * 1993-05-31 1994-12-06 Hitachi Ltd 手話認識装置
JPH08115408A (ja) * 1994-10-19 1996-05-07 Hitachi Ltd 手話認識装置
JP2003295754A (ja) * 2002-04-05 2003-10-15 Hitachi Ltd 手話教育用システム及び該システムを実現するためのプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337629A (ja) * 1993-05-31 1994-12-06 Hitachi Ltd 手話認識装置
JPH08115408A (ja) * 1994-10-19 1996-05-07 Hitachi Ltd 手話認識装置
JP2003295754A (ja) * 2002-04-05 2003-10-15 Hitachi Ltd 手話教育用システム及び該システムを実現するためのプログラム

Similar Documents

Publication Publication Date Title
Kolcz et al. A line-oriented approach to word spotting in handwritten documents
JP3483982B2 (ja) システム動作方法及びプロセッサ制御システム
KR100297482B1 (ko) 수기입력의문자인식방법및장치
Yoshida et al. Online handwritten character recognition for a personal computer system
US20080130996A1 (en) Method For Character Recognition
US5748769A (en) Pattern recognition apparatus
JP3346799B2 (ja) 手話通訳装置
US7508959B2 (en) Change information recognition apparatus and change information recognition method
Kim et al. Analysis of 3d hand trajectory gestures using stroke-based composite hidden markov models
Lin et al. On-line recognition by deviation-expansion model and dynamic programming matching
CN111950592A (zh) 一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法
EP0585098B1 (en) Sign recognition apparatus and method and sign translation system using same
JPH0683938A (ja) 連続手話認識方法および装置
JPH08115408A (ja) 手話認識装置
JPH06333022A (ja) 連続手話認識装置および入力装置
JP2002063548A (ja) 手書き文字認識方法
KR0126800B1 (ko) 한글필기체 온라인 문자인식 장치 및 방법
KR100301216B1 (ko) 온라인문자인식장치
Hurst et al. Error repair in human handwriting: an intelligent user interface for automatic online handwriting recognition
JPH09319828A (ja) オンライン文字認識装置
JPH064714A (ja) パターン認識辞書生成装置およびパターン認識装置
Park A method to convert non-numeric characters into numerical values in dynamic time warping for string matching
Cracknell et al. Gesture recognition: an assessment of the performance of recurrent neural networks versus competing techniques
Nagbhidkar et al. Online signature verification on smart phone using discrete wavelet transforms
JP3115369B2 (ja) 局所的字形変動を考慮したオンライン走り書き文字認識装置