JPH06333022A - 連続手話認識装置および入力装置 - Google Patents
連続手話認識装置および入力装置Info
- Publication number
- JPH06333022A JPH06333022A JP5125698A JP12569893A JPH06333022A JP H06333022 A JPH06333022 A JP H06333022A JP 5125698 A JP5125698 A JP 5125698A JP 12569893 A JP12569893 A JP 12569893A JP H06333022 A JPH06333022 A JP H06333022A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- sign language
- language word
- word
- patterns
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【目的】 本発明は、連続手話認識装置における標準手
話単語パターンの表現と、その標準手話単語パターンを
用いた高速、高精度な連続手話認識装置を提供すること
にある。 【構成】 標準手話単語パターンを構成する要素パター
ン毎に、静的なパターンの場合はそのパターンを表す１
つの特徴ベクトルで、また、動的なパターンの場合は特
徴ベクトルの時系列で表すことによって、標準手話単語
パターンを表現する（一パターン照合部１１ａ、方向パ
ターン照合部１１ｂ、形状パターン照合部１１ｃ）。ま
た、その標準手話単語パターンを用いて、その要素パタ
ーン毎に、静的なパターンと動的なパターンに対して異
なる照合を用いて認識を行ない、それぞれの結果を各要
素パターンの時間的な重なりに基づいて統合することに
より、各手話単語の連続的な認識を行なうものである
（手話単語検出部１２）。
話単語パターンの表現と、その標準手話単語パターンを
用いた高速、高精度な連続手話認識装置を提供すること
にある。 【構成】 標準手話単語パターンを構成する要素パター
ン毎に、静的なパターンの場合はそのパターンを表す１
つの特徴ベクトルで、また、動的なパターンの場合は特
徴ベクトルの時系列で表すことによって、標準手話単語
パターンを表現する（一パターン照合部１１ａ、方向パ
ターン照合部１１ｂ、形状パターン照合部１１ｃ）。ま
た、その標準手話単語パターンを用いて、その要素パタ
ーン毎に、静的なパターンと動的なパターンに対して異
なる照合を用いて認識を行ない、それぞれの結果を各要
素パターンの時間的な重なりに基づいて統合することに
より、各手話単語の連続的な認識を行なうものである
（手話単語検出部１２）。
Description
【０００１】
【産業上の利用分野】本発明は、連続手話パターンと標
準手話単語パターンの照合に基づく認識において使用さ
れる標準手話単語パターンの表現に関する。
準手話単語パターンの照合に基づく認識において使用さ
れる標準手話単語パターンの表現に関する。
【０００２】さらに本発明は、手話単語が連続的に結合
された連続手話パターンから、その中に含まれている手
話単語を連続的に高精度に認識する連続手話認識装置に
関する。
された連続手話パターンから、その中に含まれている手
話単語を連続的に高精度に認識する連続手話認識装置に
関する。
【０００３】
【従来の技術】手話認識の関連技術としては、（公知例
１）「手動作認識装置と手話言語変換装置」（特開平２
−１４４６７５号公報）、（公知例２）「ニューロコン
ピュータを用いた手の姿勢認識方式」（特開平３−１８
６９７９号公報）、（公知例３）「時系列ネットワーク
を用いたジェスチャー認識」（第４３回情報処理学会全
国大会、１Ｓ−３、１９９１年）、（公知例４）「連続
ＤＰ照合を用いた手話通訳システム」（情報処理学会ヒ
ューマンインタフェース研究会、４４−１２、１９９
２）が提案されている。
１）「手動作認識装置と手話言語変換装置」（特開平２
−１４４６７５号公報）、（公知例２）「ニューロコン
ピュータを用いた手の姿勢認識方式」（特開平３−１８
６９７９号公報）、（公知例３）「時系列ネットワーク
を用いたジェスチャー認識」（第４３回情報処理学会全
国大会、１Ｓ−３、１９９１年）、（公知例４）「連続
ＤＰ照合を用いた手話通訳システム」（情報処理学会ヒ
ューマンインタフェース研究会、４４−１２、１９９
２）が提案されている。
【０００４】（公知例１）および（公知例２）は指文字
の認識を目的としたものである。（公知例１）では色付
きの手袋を用いて画像により指の位置関係を求め、予め
記憶してある指文字パターンとを照合することによって
指文字の認識を行なっている。（公知例２）ではデータ
グローブから入力した指文字のデータを階層型ニューラ
ルネットワークによって認識を行なっている。一方、
（公知例３）および（公知例４）は動きのある手話また
は身振りの認識を目的としているものである。（公知例
３）では、動的な身振りか静的な身振りかの判定を動的
な身振りの最初のパターンを階層型ニューラルネットワ
ークによって検出することによって行ない、検出した開
始点よりリカレントニューラルネットワークによって動
きの認識を行なう。また、静的な身振りは階層型ニュー
ラルネットワークにより認識しており、静的なパターン
と動的なパターンに対する認識方式の区別を行なってい
る。（公知例４）では、データグローブから入力された
手話単語パターンを標準手話単語パターン辞書にして登
録し、データグローブから入力した手話文パターンと標
準手話単語パターンとの連続ＤＰ照合を行なうことによ
って手話単語の認識を行なっている。この方式では、静
的なパターンも動的なパターンも同様な特徴ベクトルの
時系列パターンとして記憶しており、認識においても両
者の区別を行なっていない。
の認識を目的としたものである。（公知例１）では色付
きの手袋を用いて画像により指の位置関係を求め、予め
記憶してある指文字パターンとを照合することによって
指文字の認識を行なっている。（公知例２）ではデータ
グローブから入力した指文字のデータを階層型ニューラ
ルネットワークによって認識を行なっている。一方、
（公知例３）および（公知例４）は動きのある手話また
は身振りの認識を目的としているものである。（公知例
３）では、動的な身振りか静的な身振りかの判定を動的
な身振りの最初のパターンを階層型ニューラルネットワ
ークによって検出することによって行ない、検出した開
始点よりリカレントニューラルネットワークによって動
きの認識を行なう。また、静的な身振りは階層型ニュー
ラルネットワークにより認識しており、静的なパターン
と動的なパターンに対する認識方式の区別を行なってい
る。（公知例４）では、データグローブから入力された
手話単語パターンを標準手話単語パターン辞書にして登
録し、データグローブから入力した手話文パターンと標
準手話単語パターンとの連続ＤＰ照合を行なうことによ
って手話単語の認識を行なっている。この方式では、静
的なパターンも動的なパターンも同様な特徴ベクトルの
時系列パターンとして記憶しており、認識においても両
者の区別を行なっていない。
【０００５】
【発明が解決しようとする課題】手話には動きのある動
的なパターンと動きのない静的なパターンがあるが、そ
れぞれに対して適した記憶方法および認識方法を用いる
ことが、辞書パターンの記憶容量、認識精度、認識速度
の点で望ましい。上記の従来技術では、静的なパターン
と動的なパターンの区別を行ない、それぞれ異なる認識
手法を使用しているものがあるが、静的か動的かの区別
はパターン全体に対して行なっている。しかし、実際の
手話では、手の位置だけが動的であり他の要素パターン
は静的であるというような場合が多く見られるため、パ
ターン全体に対する静的か動的かの区別では効率が悪
い。
的なパターンと動きのない静的なパターンがあるが、そ
れぞれに対して適した記憶方法および認識方法を用いる
ことが、辞書パターンの記憶容量、認識精度、認識速度
の点で望ましい。上記の従来技術では、静的なパターン
と動的なパターンの区別を行ない、それぞれ異なる認識
手法を使用しているものがあるが、静的か動的かの区別
はパターン全体に対して行なっている。しかし、実際の
手話では、手の位置だけが動的であり他の要素パターン
は静的であるというような場合が多く見られるため、パ
ターン全体に対する静的か動的かの区別では効率が悪
い。
【０００６】また、上記の従来技術では、動きのある手
話の認識において、データグローブ等から入力した時系
列ベクトルパターン全体を１つのパターンとして記憶し
ている。そのため、認識においても各時刻における特徴
ベクトルの全パラメータを用いて認識を行なっている。
しかし、手話は手の位置、手の方向、手の形状等の比較
的独立した要素パターンに分解することができ、また、
全ての要素パターンがある手話を特徴付けるだけでな
く、一部の要素パターンのみがある手話を特徴付ける場
合も多く見られる。そのため、手話単語パターン全体を
用いて認識を行なう方法では、重要でない要素パターン
を持つ手話においては、その要素パターンの変動により
認識精度が低下することになる。さらに、各要素パター
ンは、その変化が必ずしも他の要素パターンの変化と同
期しているわけではなく、それぞれの要素パターン間に
はずれが生じることが多い。そのため、手話単語パター
ン全体に対する静的か動的かの区別だけでは、そのずれ
による認識精度の低下に対応することができない。
話の認識において、データグローブ等から入力した時系
列ベクトルパターン全体を１つのパターンとして記憶し
ている。そのため、認識においても各時刻における特徴
ベクトルの全パラメータを用いて認識を行なっている。
しかし、手話は手の位置、手の方向、手の形状等の比較
的独立した要素パターンに分解することができ、また、
全ての要素パターンがある手話を特徴付けるだけでな
く、一部の要素パターンのみがある手話を特徴付ける場
合も多く見られる。そのため、手話単語パターン全体を
用いて認識を行なう方法では、重要でない要素パターン
を持つ手話においては、その要素パターンの変動により
認識精度が低下することになる。さらに、各要素パター
ンは、その変化が必ずしも他の要素パターンの変化と同
期しているわけではなく、それぞれの要素パターン間に
はずれが生じることが多い。そのため、手話単語パター
ン全体に対する静的か動的かの区別だけでは、そのずれ
による認識精度の低下に対応することができない。
【０００７】またさらに、上記の従来技術では、認識時
における静的か動的かの区別は動的なパターンの開始パ
ターンを検出することによって行なっているが、認識す
る単語数が増加すると同じ様な動作が含まれる単語が多
くなり、単語の開始パターンによって動的な単語か静的
な単語かの区別を行なう方法は十分な方法ではない。
における静的か動的かの区別は動的なパターンの開始パ
ターンを検出することによって行なっているが、認識す
る単語数が増加すると同じ様な動作が含まれる単語が多
くなり、単語の開始パターンによって動的な単語か静的
な単語かの区別を行なう方法は十分な方法ではない。
【０００８】本発明の１つの目的は、手話認識に使用す
る標準手話単語パターンを効率的に記憶することにあ
る。
る標準手話単語パターンを効率的に記憶することにあ
る。
【０００９】本発明の他の目的は、高速な手話認識装置
を提供することにある。
を提供することにある。
【００１０】本発明のさらに他の目的は、特定の要素パ
ターンの変動やずれに対応でき、さらに静的な手話にも
動的な手話にも対応可能な、柔軟で高精度な手話認識装
置を提供することにある。
ターンの変動やずれに対応でき、さらに静的な手話にも
動的な手話にも対応可能な、柔軟で高精度な手話認識装
置を提供することにある。
【００１１】
【課題を解決するための手段】本発明は、標準手話単語
パターンを構成する手の位置、手の方向、手の形状等の
要素パターン毎に、静的なパターンか動的なパターンか
の区別を行ない、静的なパターンの場合はそのパターン
の特徴を表す１つの特徴ベクトルにより、また、動的な
パターンの場合は特徴ベクトルの時系列によって標準手
話単語パターンを記憶するものである。
パターンを構成する手の位置、手の方向、手の形状等の
要素パターン毎に、静的なパターンか動的なパターンか
の区別を行ない、静的なパターンの場合はそのパターン
の特徴を表す１つの特徴ベクトルにより、また、動的な
パターンの場合は特徴ベクトルの時系列によって標準手
話単語パターンを記憶するものである。
【００１２】さらに本発明は、標準手話単語パターンを
構成する要素パターン毎に静的か動的かによって認識方
法の区別を行ない、静的なパターンの場合は特徴ベクト
ルの照合により、動的なパターンの場合は時系列ベクト
ルの照合によって要素パターンの認識を行なうものであ
る。また、照合において、静的なパターンも動的なパタ
ーンも全て同時に照合を行ない、その結果からどのパタ
ーンが有効かを判断するものである。
構成する要素パターン毎に静的か動的かによって認識方
法の区別を行ない、静的なパターンの場合は特徴ベクト
ルの照合により、動的なパターンの場合は時系列ベクト
ルの照合によって要素パターンの認識を行なうものであ
る。また、照合において、静的なパターンも動的なパタ
ーンも全て同時に照合を行ない、その結果からどのパタ
ーンが有効かを判断するものである。
【００１３】またさらに本発明は、標準手話単語パター
ンを構成する要素パターン毎の検出を行なった後、それ
らの結果を要素パターンの時間的な重なりに基づいて統
合することによって手話単語の認識を行なうものであ
る。
ンを構成する要素パターン毎の検出を行なった後、それ
らの結果を要素パターンの時間的な重なりに基づいて統
合することによって手話単語の認識を行なうものであ
る。
【００１４】
【作用】標準手話単語パターン辞書を作成する際、標準
手話単語パターンを構成する要素パターンそれぞれに対
し、静的なパターンか動的なパターンかを区別し、静的
なパターンについてはそのパターンを表す１つの特徴ベ
クトルで表現することによって標準手話単語パターンの
記憶容量を小さし、効率的に記憶することができる。
手話単語パターンを構成する要素パターンそれぞれに対
し、静的なパターンか動的なパターンかを区別し、静的
なパターンについてはそのパターンを表す１つの特徴ベ
クトルで表現することによって標準手話単語パターンの
記憶容量を小さし、効率的に記憶することができる。
【００１５】また、標準手話単語パターン中でその構成
要素パターン毎に静的なパターンと動的なパターンの区
別を行ない、それぞれに対して別々の認識方法を用いる
ことによって、パターン全体を同一の方法で照合する場
合より認識時間を短縮することができる。
要素パターン毎に静的なパターンと動的なパターンの区
別を行ない、それぞれに対して別々の認識方法を用いる
ことによって、パターン全体を同一の方法で照合する場
合より認識時間を短縮することができる。
【００１６】さらに、標準手話単語パターンの構成要素
パターンを別々に照合し、その結果を統合して手話単語
を認識することによって、それぞれの要素パターンのず
れや変動の大きい要素パターンによる認識精度の低下に
対しても柔軟に対応することができるようになり、ま
た、静的なパターンも動的なパターンも全て同時に照合
を行なってからどのパターンが有効かを決定するため、
静的なパターンと動的なパターンの判断の誤りが少なく
なり、手話単語の認識精度を向上することができるよう
になる。
パターンを別々に照合し、その結果を統合して手話単語
を認識することによって、それぞれの要素パターンのず
れや変動の大きい要素パターンによる認識精度の低下に
対しても柔軟に対応することができるようになり、ま
た、静的なパターンも動的なパターンも全て同時に照合
を行なってからどのパターンが有効かを決定するため、
静的なパターンと動的なパターンの判断の誤りが少なく
なり、手話単語の認識精度を向上することができるよう
になる。
【００１７】
（実施例１）本発明を連続手話認識装置に適用した場合
の実施例を図１から図１３を用いて説明する。
の実施例を図１から図１３を用いて説明する。
【００１８】図２は連続手話認識装置全体のブロック図
である。図２において、２１は手話をシステムに入力す
るためのデータグローブである。手話入力者は、これを
両手に装着し手話を行なうことによって、システムに手
話の入力を行なうことができる。２２は、手話をｎ次元
ベクトルの時系列連続パターンに変換するインタフェイ
スである。これによって、データグローブ２１によって
入力された手話は、手の位置、手の方向、手の形状を表
すｎ次元ベクトルの時系列連続手話パターンに変換され
る。例えば、図４（ａ）のような手話は図４（ｂ）のよ
うな時系列パターンに変換される。図４（ｂ）におい
て、ｐ１からｐ３は手の位置、ｄ１からｄ３は手の方
向、ｆ１ａからｆ５ｂは手の形状を表すデータである。
また、図４（ｂ）では、右手のデータのみ示してある。
２３は、手話単語認識のための標準手話単語パターンを
格納している標準手話単語パターン辞書である。２４
は、入力手話パターンと標準手話単語パターンとの照合
を行ない、入力手話パターン中に表現されている手話単
語を認識する手話単語認識装置である。２５は、２４に
よって認識された手話単語の候補を出力する出力装置で
ある。
である。図２において、２１は手話をシステムに入力す
るためのデータグローブである。手話入力者は、これを
両手に装着し手話を行なうことによって、システムに手
話の入力を行なうことができる。２２は、手話をｎ次元
ベクトルの時系列連続パターンに変換するインタフェイ
スである。これによって、データグローブ２１によって
入力された手話は、手の位置、手の方向、手の形状を表
すｎ次元ベクトルの時系列連続手話パターンに変換され
る。例えば、図４（ａ）のような手話は図４（ｂ）のよ
うな時系列パターンに変換される。図４（ｂ）におい
て、ｐ１からｐ３は手の位置、ｄ１からｄ３は手の方
向、ｆ１ａからｆ５ｂは手の形状を表すデータである。
また、図４（ｂ）では、右手のデータのみ示してある。
２３は、手話単語認識のための標準手話単語パターンを
格納している標準手話単語パターン辞書である。２４
は、入力手話パターンと標準手話単語パターンとの照合
を行ない、入力手話パターン中に表現されている手話単
語を認識する手話単語認識装置である。２５は、２４に
よって認識された手話単語の候補を出力する出力装置で
ある。
【００１９】まず、図３を用いて、標準手話単語パター
ン辞書２３に登録されている標準手話単語パターンの形
式を詳細に説明する。標準手話単語パターンは、その手
話パターンに対応する単語名３１、そのパターンを構成
する形態素数３２、それぞれの形態素のパターン３３か
らなる。ここで形態素とは、手話単語パターンを構成す
るパターンのうち意味を持つ最小単位として定義する。
さらに、形態素は手の位置３４、手の方向３５、手の形
状３６の３種類の要素パターンに分けられており、それ
ぞれの要素パターンは右手のデータ３７ａと左手のデー
タ３７ｂに分けられている。さらに、各手毎にパターン
種類３８ａおよびパターンデータ３８ｂが格納されてい
る。パターン種類３８ａは、その要素パターンが静的な
パターンか動的なパターンかを表し、静的なパターンの
場合その要素パターンを表すｎ次元ベクトルが、動的な
パターンの場合ｎ次元ベクトルの時系列がパターンデー
タ３８ｂとして格納される。例えば、図４（ａ）におけ
る手話の場合、図４（ｃ）のように表現されることにな
る。このような形式で、手話単語毎にパターンを登録す
る。手話単語パターンの形態素への分解と辞書への登録
は、データグローブによって入力した手話単語のパター
ンを手動で切り出すことによって容易に行なうことがで
きる。ただし、手話における形態素の定義としては明確
なものがないため、形態素への分解は登録者の判断に依
存する。
ン辞書２３に登録されている標準手話単語パターンの形
式を詳細に説明する。標準手話単語パターンは、その手
話パターンに対応する単語名３１、そのパターンを構成
する形態素数３２、それぞれの形態素のパターン３３か
らなる。ここで形態素とは、手話単語パターンを構成す
るパターンのうち意味を持つ最小単位として定義する。
さらに、形態素は手の位置３４、手の方向３５、手の形
状３６の３種類の要素パターンに分けられており、それ
ぞれの要素パターンは右手のデータ３７ａと左手のデー
タ３７ｂに分けられている。さらに、各手毎にパターン
種類３８ａおよびパターンデータ３８ｂが格納されてい
る。パターン種類３８ａは、その要素パターンが静的な
パターンか動的なパターンかを表し、静的なパターンの
場合その要素パターンを表すｎ次元ベクトルが、動的な
パターンの場合ｎ次元ベクトルの時系列がパターンデー
タ３８ｂとして格納される。例えば、図４（ａ）におけ
る手話の場合、図４（ｃ）のように表現されることにな
る。このような形式で、手話単語毎にパターンを登録す
る。手話単語パターンの形態素への分解と辞書への登録
は、データグローブによって入力した手話単語のパター
ンを手動で切り出すことによって容易に行なうことがで
きる。ただし、手話における形態素の定義としては明確
なものがないため、形態素への分解は登録者の判断に依
存する。
【００２０】形態素を構成する要素パターンとしては、
手の位置、手の方向、手の形状以外に変化速度、変化の
方向、加速度等のパラメータを加えることもできる。ま
た、パターンベクトルを構成する各次元毎に静的か動的
かの区別を行ない、手話単語の登録を行なってもよい。
さらに、要素パターン毎あるいはパターンベクトルの各
次元に対して、その手話パターン全体に対する重要度を
示す重みを付けてもよい。特にこれは片手のみの手話か
両手の手話を区別するのに利用することができる。
手の位置、手の方向、手の形状以外に変化速度、変化の
方向、加速度等のパラメータを加えることもできる。ま
た、パターンベクトルを構成する各次元毎に静的か動的
かの区別を行ない、手話単語の登録を行なってもよい。
さらに、要素パターン毎あるいはパターンベクトルの各
次元に対して、その手話パターン全体に対する重要度を
示す重みを付けてもよい。特にこれは片手のみの手話か
両手の手話を区別するのに利用することができる。
【００２１】次に、図１、図５、図７、図８、図９、図
１３を用いて、手話単語認識装置２４の動作を詳細に説
明する。図１は本発明における手話単語認識装置のブロ
ック図、図５は入力手話パターンと標準手話単語パター
ンとの照合を行なうパターン照合部のブロック図、図７
は照合したパターンが静的パターンの場合のパターン検
出部のブロック図、図８は照合したパターンが動的パタ
ーンの場合のパターン検出部のブロック図、図９はパタ
ーン検出結果から手話単語候補を検出する手話単語検出
部のブロック図、図１３は手話表現における同時動作を
検出する同時動作検出部のブロック図である。
１３を用いて、手話単語認識装置２４の動作を詳細に説
明する。図１は本発明における手話単語認識装置のブロ
ック図、図５は入力手話パターンと標準手話単語パター
ンとの照合を行なうパターン照合部のブロック図、図７
は照合したパターンが静的パターンの場合のパターン検
出部のブロック図、図８は照合したパターンが動的パタ
ーンの場合のパターン検出部のブロック図、図９はパタ
ーン検出結果から手話単語候補を検出する手話単語検出
部のブロック図、図１３は手話表現における同時動作を
検出する同時動作検出部のブロック図である。
【００２２】図１の位置パターン照合部１１ａ、方向パ
ターン照合部１１ｂ、形状パターン照合部１１ｃでは、
インタフェイス２２から入力される手話パターンｄ２２
の位置パターンｄ２２ａ、方向パターンｄ２２ｂ、形状
パターンｄ２２ｃをそれぞれ受け取り、入力手話パター
ンと標準手話単語パターン辞書に格納されている標準手
話単語パターンｄ２２の位置パターンｄ２２ａ、方向パ
ターンｄ２２ｂ、形状パターンｄ２２ｃそれぞれとの照
合を行なう。また、これらの照合は、照合する単語を構
成する形態素に関連する全ての要素パターンについて行
なう。さらに、それぞれの要素パターンの照合は右手パ
ターン、左手パターンそれぞれ個別に照合が行なわれ
る。
ターン照合部１１ｂ、形状パターン照合部１１ｃでは、
インタフェイス２２から入力される手話パターンｄ２２
の位置パターンｄ２２ａ、方向パターンｄ２２ｂ、形状
パターンｄ２２ｃをそれぞれ受け取り、入力手話パター
ンと標準手話単語パターン辞書に格納されている標準手
話単語パターンｄ２２の位置パターンｄ２２ａ、方向パ
ターンｄ２２ｂ、形状パターンｄ２２ｃそれぞれとの照
合を行なう。また、これらの照合は、照合する単語を構
成する形態素に関連する全ての要素パターンについて行
なう。さらに、それぞれの要素パターンの照合は右手パ
ターン、左手パターンそれぞれ個別に照合が行なわれ
る。
【００２３】図５を用いて、パターン照合部１１ａ、１
１ｂ、１１ｃの動作を詳細に説明する。この処理は、手
の位置、手の方向、手の形状パターンそれぞれについて
行なわれるが、いずれも全く同じ装置によって行なうこ
とができる。まず、選択部５１および５２において、標
準手話単語パターンｄ２２中のパターン種類に応じてて
入力手話パターンｄ２１および標準手話単語パターンｄ
２２のパターンデータを連続ＤＰ照合部５３あるいはベ
クトル間距離計算部５４のいずれに入力するかを選択す
る。パターン種類が静的であった場合、入力手話パター
ンｄ２１および標準手話単語パターンｄ２２はベクトル
間距離計算部５４に入力される。動的であった場合は、
連続ＤＰ照合部５３に入力される。ベクトル間距離計算
部５４では、入力手話パターンの各時刻におけるｎ次元
ベクトルと標準手話単語パターンのｎ次元ベクトルとの
ベクトル間距離の計算が行なわれる。この距離計算は、
例えば、以下のような重み付きユークリッド距離を使用
する。
１ｂ、１１ｃの動作を詳細に説明する。この処理は、手
の位置、手の方向、手の形状パターンそれぞれについて
行なわれるが、いずれも全く同じ装置によって行なうこ
とができる。まず、選択部５１および５２において、標
準手話単語パターンｄ２２中のパターン種類に応じてて
入力手話パターンｄ２１および標準手話単語パターンｄ
２２のパターンデータを連続ＤＰ照合部５３あるいはベ
クトル間距離計算部５４のいずれに入力するかを選択す
る。パターン種類が静的であった場合、入力手話パター
ンｄ２１および標準手話単語パターンｄ２２はベクトル
間距離計算部５４に入力される。動的であった場合は、
連続ＤＰ照合部５３に入力される。ベクトル間距離計算
部５４では、入力手話パターンの各時刻におけるｎ次元
ベクトルと標準手話単語パターンのｎ次元ベクトルとの
ベクトル間距離の計算が行なわれる。この距離計算は、
例えば、以下のような重み付きユークリッド距離を使用
する。
【００２４】
【数１】
【００２５】距離計算の式としては、このほかマハラビ
ノス距離や個体間相関係数等、パターン認識に一般的に
用いられる式を使用することができる。また、ベクトル
量子化のようなパターン分類および認識手法を用いるこ
ともできる。この照合を各時刻毎に行なうことによっ
て、図６のｄ６３のような距離の時系列が得られること
になる。連続ＤＰ照合部５３では、入力手話パターンと
標準手話単語パターンの連続ＤＰ照合（岡、“連続ＤＰ
を用いた連続単語認識”、日本音響学会音声研究会、Ｓ
７８−２０、ｐｐ．１４５−１５２、１９７８）が行な
われる。連続ＤＰ照合は、２つの時系列パターンを時間
の伸縮を許しながら連続的に照合を行なう方法であり、
各時刻毎の入力手話パターンに対してこの照合を行な
う。この照合の結果、入力手話パターンと標準手話単語
パターンの距離が、図６におけるｄ６１、ｄ６２のよう
な時系列データとして求められる。連続ＤＰ照合の場
合、距離の他に、その距離がどの時刻から照合を開始し
たかの情報も一緒に出力する。
ノス距離や個体間相関係数等、パターン認識に一般的に
用いられる式を使用することができる。また、ベクトル
量子化のようなパターン分類および認識手法を用いるこ
ともできる。この照合を各時刻毎に行なうことによっ
て、図６のｄ６３のような距離の時系列が得られること
になる。連続ＤＰ照合部５３では、入力手話パターンと
標準手話単語パターンの連続ＤＰ照合（岡、“連続ＤＰ
を用いた連続単語認識”、日本音響学会音声研究会、Ｓ
７８−２０、ｐｐ．１４５−１５２、１９７８）が行な
われる。連続ＤＰ照合は、２つの時系列パターンを時間
の伸縮を許しながら連続的に照合を行なう方法であり、
各時刻毎の入力手話パターンに対してこの照合を行な
う。この照合の結果、入力手話パターンと標準手話単語
パターンの距離が、図６におけるｄ６１、ｄ６２のよう
な時系列データとして求められる。連続ＤＰ照合の場
合、距離の他に、その距離がどの時刻から照合を開始し
たかの情報も一緒に出力する。
【００２６】また、静的パターンおよび動的パターンを
照合する方法としては、上記のような距離計算やＤＰ照
合法に限らず、パターン間の距離やパターンの存在の確
度等のパターン検出のための情報が連続的に得られる方
法であればどのようなものでもよい。例えば、各時刻の
パターンベクトルを入力してそれがどの形態素に相当す
るかを学習したニューラルネットワークの出力を用いる
ことができる。
照合する方法としては、上記のような距離計算やＤＰ照
合法に限らず、パターン間の距離やパターンの存在の確
度等のパターン検出のための情報が連続的に得られる方
法であればどのようなものでもよい。例えば、各時刻の
パターンベクトルを入力してそれがどの形態素に相当す
るかを学習したニューラルネットワークの出力を用いる
ことができる。
【００２７】以上の照合の結果、入力手話パターンに対
して、各標準手話単語パターン毎に図６のｄ６１、ｄ６
２、ｄ６３ような３種類の各要素パターンに対する距離
の時系列データが各パターン照合部１１ａ、１１ｂ、１
１ｃより出力される。図６では、手の位置、手の方向は
動的なパターン、手の形状は静的なパターンと想定して
いる。以下の説明はこの想定のもとで行なう。
して、各標準手話単語パターン毎に図６のｄ６１、ｄ６
２、ｄ６３ような３種類の各要素パターンに対する距離
の時系列データが各パターン照合部１１ａ、１１ｂ、１
１ｃより出力される。図６では、手の位置、手の方向は
動的なパターン、手の形状は静的なパターンと想定して
いる。以下の説明はこの想定のもとで行なう。
【００２８】パターン照合により求められた各要素パタ
ーンの照合結果は、静的パターンの場合は静的パターン
検出部５６に、動的パターンの場合は動的パターン検出
部５５に入力される。図７を用いて静的パターン検出部
５６の動作を詳細に説明する。まず、閾値交差検出部７
１において、入力されてくる距離ｄ５１が閾値以上から
閾値未満に変化する時刻、および閾値未満から閾値以上
に変化する時刻を検出する。変化時刻記憶部７３は、閾
値交差検出部７１から出力される閾値以上から閾値未満
への変化信号ｄ７１に応じてその時刻を記憶する。次に
静的パターン情報出力部７２では、閾値未満から閾値以
上への変化の検出信号ｄ７２を受け取った時点で、閾値
未満の状態が継続した時間長を変化時刻記憶部７３に記
憶されている時刻ｄ７２から計算し、その時刻と計算し
た時間長をパターンの検出時刻およびその長さとして出
力する。この静的パターン検出部５６によって図６のｄ
６３のｔ３１からｔ３２の部分が検出されることにな
る。
ーンの照合結果は、静的パターンの場合は静的パターン
検出部５６に、動的パターンの場合は動的パターン検出
部５５に入力される。図７を用いて静的パターン検出部
５６の動作を詳細に説明する。まず、閾値交差検出部７
１において、入力されてくる距離ｄ５１が閾値以上から
閾値未満に変化する時刻、および閾値未満から閾値以上
に変化する時刻を検出する。変化時刻記憶部７３は、閾
値交差検出部７１から出力される閾値以上から閾値未満
への変化信号ｄ７１に応じてその時刻を記憶する。次に
静的パターン情報出力部７２では、閾値未満から閾値以
上への変化の検出信号ｄ７２を受け取った時点で、閾値
未満の状態が継続した時間長を変化時刻記憶部７３に記
憶されている時刻ｄ７２から計算し、その時刻と計算し
た時間長をパターンの検出時刻およびその長さとして出
力する。この静的パターン検出部５６によって図６のｄ
６３のｔ３１からｔ３２の部分が検出されることにな
る。
【００２９】次に、図８を用いて動的パターン検出部５
５の動作を説明する。まず極小値検出部８２では、入力
されてくる距離の時系列ｄ５２から距離が極小になる時
刻を検出する。動的パターン情報出力部８１では、極小
値の検出信号ｄ８１を受け取ると、距離が極小値になっ
た時刻とその時刻の距離の照合開始時刻から、パターン
の時間長を計算する。そして、これらの時刻と時間長ｄ
５７を出力する。この動的パターン検出部５５によっ
て、図６におけるｔ１２およびｔ２２が検出され、ｔ１
１とｔ１２、ｔ２１とｔ２２および、それぞれの時間長
が出力されることになる。
５の動作を説明する。まず極小値検出部８２では、入力
されてくる距離の時系列ｄ５２から距離が極小になる時
刻を検出する。動的パターン情報出力部８１では、極小
値の検出信号ｄ８１を受け取ると、距離が極小値になっ
た時刻とその時刻の距離の照合開始時刻から、パターン
の時間長を計算する。そして、これらの時刻と時間長ｄ
５７を出力する。この動的パターン検出部５５によっ
て、図６におけるｔ１２およびｔ２２が検出され、ｔ１
１とｔ１２、ｔ２１とｔ２２および、それぞれの時間長
が出力されることになる。
【００３０】上記のパターン照合部５３、５４およびパ
ターン検出部５５、５６によって検出された形態素を構
成する手の位置、手の方向、手の形状それぞれの要素パ
ターンの位置および時間長の情報ｄ１１ａ、ｄ１１ｂ、
ｄ１１ｃは、手話単語検出部１２に入力される。手話単
語検出部１２では、各要素パターンの重なりに応じて単
語の検出を行なう。図９を用いて手話単語検出部１２の
動作の詳細な説明を行なう。まず、重なり計算部９１に
おいて、３つの要素パターンの検出位置の重なり度とそ
の位置を計算する。要素パターンの重なりは、検出を行
なう単語を構成する形態素の組合せ全てについて計算を
行なう。重なり度は、３つの要素パターンが重なった部
分とパターンの全体の長さの比による相対的な尺度を用
いる。これには、例えば以下のような式を用いることが
できる。
ターン検出部５５、５６によって検出された形態素を構
成する手の位置、手の方向、手の形状それぞれの要素パ
ターンの位置および時間長の情報ｄ１１ａ、ｄ１１ｂ、
ｄ１１ｃは、手話単語検出部１２に入力される。手話単
語検出部１２では、各要素パターンの重なりに応じて単
語の検出を行なう。図９を用いて手話単語検出部１２の
動作の詳細な説明を行なう。まず、重なり計算部９１に
おいて、３つの要素パターンの検出位置の重なり度とそ
の位置を計算する。要素パターンの重なりは、検出を行
なう単語を構成する形態素の組合せ全てについて計算を
行なう。重なり度は、３つの要素パターンが重なった部
分とパターンの全体の長さの比による相対的な尺度を用
いる。これには、例えば以下のような式を用いることが
できる。
【００３１】
【数２】
【００３２】図１０における関係にある３つの要素パタ
ーンの場合、重なり度はｔ１０１からｔ１０２とｔ１０
０からｔ１０３の長さの比で表される。このほか重なり
度を求める式として、３つの要素パターンの重なり部分
と各要素パターンの長さとの比の平均を用いることもで
きる。また、３つの要素パターン全てが重なっているも
のだけでなく、２つの要素パターンが重なっているもの
についても同様な重なり度を求めることにすれば、１つ
の要素パターンの変動が大きいため、その要素パターン
の検出ができない場合が多いような単語の認識精度を向
上できる。この場合、２つの要素パターンしか重なって
いないことを示す情報を付加するか、あるいは、重なり
度の式の中に２つの要素パターンの重なりしかないこと
によるペナルティを付加する。また、３つの要素パター
ン全てが静的なパターンの場合、検出された要素パター
ンの範囲が１時刻分の長さしかない場合もあり、重なり
がない可能性もある。そのため、この場合に限って、あ
る時間の範囲内にある要素パターンは重なっているもの
と見なすことにする。すなわち、図１１（ａ）の関係に
あるようなパターンは、手の位置パターンと手の方向パ
ターンのギャップｔ１１１が閾値より小さいため、重な
っていると判断し、図１１（ｂ）の場合は、手の位置パ
ターンと手の方向パターンのギャップｔ１１２が閾値以
上であるため、重なりはないと判断する。この場合の重
なり度は全て１．０として扱う。あるいは、各要素パタ
ーンが離れた距離に応じた重なり度を定義して使用する
こともできる。
ーンの場合、重なり度はｔ１０１からｔ１０２とｔ１０
０からｔ１０３の長さの比で表される。このほか重なり
度を求める式として、３つの要素パターンの重なり部分
と各要素パターンの長さとの比の平均を用いることもで
きる。また、３つの要素パターン全てが重なっているも
のだけでなく、２つの要素パターンが重なっているもの
についても同様な重なり度を求めることにすれば、１つ
の要素パターンの変動が大きいため、その要素パターン
の検出ができない場合が多いような単語の認識精度を向
上できる。この場合、２つの要素パターンしか重なって
いないことを示す情報を付加するか、あるいは、重なり
度の式の中に２つの要素パターンの重なりしかないこと
によるペナルティを付加する。また、３つの要素パター
ン全てが静的なパターンの場合、検出された要素パター
ンの範囲が１時刻分の長さしかない場合もあり、重なり
がない可能性もある。そのため、この場合に限って、あ
る時間の範囲内にある要素パターンは重なっているもの
と見なすことにする。すなわち、図１１（ａ）の関係に
あるようなパターンは、手の位置パターンと手の方向パ
ターンのギャップｔ１１１が閾値より小さいため、重な
っていると判断し、図１１（ｂ）の場合は、手の位置パ
ターンと手の方向パターンのギャップｔ１１２が閾値以
上であるため、重なりはないと判断する。この場合の重
なり度は全て１．０として扱う。あるいは、各要素パタ
ーンが離れた距離に応じた重なり度を定義して使用する
こともできる。
【００３３】重なり計算部９１において計算された要素
パターンの重なり度ｄ９１は重なり判定部９３に入力さ
れ、重なり度が閾値以上であれば検出信号ｄ９２を出力
し、重なり位置比較部９２を駆動する。重なり位置比較
部９２では、検出しようとしている単語を構成する形態
素のうちその時刻以前に検出された形態素との位置関係
が許容値以内であるかどうかの判定を行なう。以前に検
出された形態素の位置は、記憶部９５に記憶されてい
る。これは、検出すべき単語が複数の形態素より構成さ
れている場合に必要な処理であり、単語を構成する最初
の形態素の場合、すなわち、記憶部に検出しようとして
いる単語の形態素の情報が記憶されていない場合は、重
なり位置比較部９２は無条件に現在の形態素の情報を出
力する。単語判定部９４では、記憶部の情報ｄ９５と標
準手話単語パターン辞書の情報ｄ２３、および検出され
た形態素の情報ｄ９４を比較することによって、単語の
検出が行なわれたかどうかの判定を行なう。単語が検出
されたと判定された場合、その単語と検出された位置ｄ
９６を出力する。また、検出された形態素が単語を構成
する最後の形態素でない場合は、その形態素の情報を記
憶部９５に記憶する。１つの単語の検出において、その
単語を構成する全ての形態素を同時に検出するため、単
語の候補が複数生じる可能性がある。そのため、記憶部
９５では単語の候補を複数記憶できるようにしておく。
パターンの重なり度ｄ９１は重なり判定部９３に入力さ
れ、重なり度が閾値以上であれば検出信号ｄ９２を出力
し、重なり位置比較部９２を駆動する。重なり位置比較
部９２では、検出しようとしている単語を構成する形態
素のうちその時刻以前に検出された形態素との位置関係
が許容値以内であるかどうかの判定を行なう。以前に検
出された形態素の位置は、記憶部９５に記憶されてい
る。これは、検出すべき単語が複数の形態素より構成さ
れている場合に必要な処理であり、単語を構成する最初
の形態素の場合、すなわち、記憶部に検出しようとして
いる単語の形態素の情報が記憶されていない場合は、重
なり位置比較部９２は無条件に現在の形態素の情報を出
力する。単語判定部９４では、記憶部の情報ｄ９５と標
準手話単語パターン辞書の情報ｄ２３、および検出され
た形態素の情報ｄ９４を比較することによって、単語の
検出が行なわれたかどうかの判定を行なう。単語が検出
されたと判定された場合、その単語と検出された位置ｄ
９６を出力する。また、検出された形態素が単語を構成
する最後の形態素でない場合は、その形態素の情報を記
憶部９５に記憶する。１つの単語の検出において、その
単語を構成する全ての形態素を同時に検出するため、単
語の候補が複数生じる可能性がある。そのため、記憶部
９５では単語の候補を複数記憶できるようにしておく。
【００３４】最後に、同時動作検出部９６において、同
時動作があるかどうかのチェックを行なう。同時動作と
は手話独特の表現法であり、２つの動作を表す手話を同
時に表現して表す方法である。例えば、「歩きながら考
える」という手話は図１２に示すようになる。図１３を
用いてこの部分の動作を詳細に説明する。同時動作の認
識のために、あらかじめ同時動作を行なう可能性のある
手話について片手で表現された場合のパターンを標準手
話単語パターン辞書に登録しておく。まず、単語選択部
１３１において、単語判定部９４から送られてくる単語
候補ｄ９６のうち、同時動作が行なわれる可能性のある
単語を標準手話単語パターン辞書を参照することによっ
て選択し、同時動作の可能性のある手話の場合、その単
語候補を重なり計算部１３２に送る。また、通常の表現
では片手で表現される手話で同時動作の可能性のある手
話の場合、単独表現の場合と同時動作の場合が考えられ
るため、そのまま単語候補ｄ２４として出力し、さらに
重なり計算部１３２にも送る。同時動作の可能性のない
手話単語についてはそのまま単語候補ｄ２４として出力
される。同時動作の可能性のある手話単語ｄ１３１につ
いては、次に重なり計算部１３２において重なり度が計
算される。この場合、重なり度が計算される単語は、そ
の単語に含まれる要素パターンが互いに重ならないもの
に限られる。例えば、一方が左手による手話であれば、
もう一方は右手による手話でなければならない。この判
定は標準手話単語パターン辞書の内容ｄ２３を参照する
ことによって行なわれる。
時動作があるかどうかのチェックを行なう。同時動作と
は手話独特の表現法であり、２つの動作を表す手話を同
時に表現して表す方法である。例えば、「歩きながら考
える」という手話は図１２に示すようになる。図１３を
用いてこの部分の動作を詳細に説明する。同時動作の認
識のために、あらかじめ同時動作を行なう可能性のある
手話について片手で表現された場合のパターンを標準手
話単語パターン辞書に登録しておく。まず、単語選択部
１３１において、単語判定部９４から送られてくる単語
候補ｄ９６のうち、同時動作が行なわれる可能性のある
単語を標準手話単語パターン辞書を参照することによっ
て選択し、同時動作の可能性のある手話の場合、その単
語候補を重なり計算部１３２に送る。また、通常の表現
では片手で表現される手話で同時動作の可能性のある手
話の場合、単独表現の場合と同時動作の場合が考えられ
るため、そのまま単語候補ｄ２４として出力し、さらに
重なり計算部１３２にも送る。同時動作の可能性のない
手話単語についてはそのまま単語候補ｄ２４として出力
される。同時動作の可能性のある手話単語ｄ１３１につ
いては、次に重なり計算部１３２において重なり度が計
算される。この場合、重なり度が計算される単語は、そ
の単語に含まれる要素パターンが互いに重ならないもの
に限られる。例えば、一方が左手による手話であれば、
もう一方は右手による手話でなければならない。この判
定は標準手話単語パターン辞書の内容ｄ２３を参照する
ことによって行なわれる。
【００３５】単語間の重なり度の計算方法は上述した要
素パターンの重なり度の計算と同様な方法で行なうこと
ができる。計算された重なり度ｄ１３２は重なり判定部
１３３において、同時動作とみなされるかどうかの判定
が行なわれる。この判定方法も上述の単語判定部９４の
判定方法と同様に、重なり度が閾値以上かどうかによっ
て行なうことができる。重なり判定部１３３において同
時動作と判定された単語については、２種類の単語の組
合せが単語候補ｄ２４として出力される。
素パターンの重なり度の計算と同様な方法で行なうこと
ができる。計算された重なり度ｄ１３２は重なり判定部
１３３において、同時動作とみなされるかどうかの判定
が行なわれる。この判定方法も上述の単語判定部９４の
判定方法と同様に、重なり度が閾値以上かどうかによっ
て行なうことができる。重なり判定部１３３において同
時動作と判定された単語については、２種類の単語の組
合せが単語候補ｄ２４として出力される。
【００３６】上述の実施例では、手話の認識において標
準手話単語パターン辞書に記憶されているパターンの全
てのパラメータを利用して手話単語の認識を行なってい
る。しかし、手話にはどのような状況で表現されても同
じ様な動きや形状、方向を示すパラメータと、表現され
る状況によって変化し、それによって手話の意味が変わ
る場合もある。そのため、標準手話単語パターン辞書の
パターンデータを状況によって変化しないパラメータと
変化するパラメータに分け、認識においては変化しない
パラメータを用いて単語の検出を行ない、変化するパラ
メータについては、手話単語の検出の後、その後の処理
で必要となると考えられる情報を抽出するようにもでき
る。この場合、標準手話単語パターン辞書は図１４のよ
うになる。各手のパターンは、パターン種類１４１、パ
ターンデータ１４２、付属情報１４３からなる。パター
ン種類１４１とパターンデータ１４２は図３におけるも
のと同様である。付属情報は、その要素パターンが状況
によって変化する場合に、そのパターンからどのような
情報を抽出するかが記述されている。また、手話単語検
出部は図１５のようになる。付属情報計算部１５１にお
いて、標準手話単語パターン辞書中の付属情報の内容に
従って、状況によって変化する要素パターンから必要な
情報の計算を行なう。
準手話単語パターン辞書に記憶されているパターンの全
てのパラメータを利用して手話単語の認識を行なってい
る。しかし、手話にはどのような状況で表現されても同
じ様な動きや形状、方向を示すパラメータと、表現され
る状況によって変化し、それによって手話の意味が変わ
る場合もある。そのため、標準手話単語パターン辞書の
パターンデータを状況によって変化しないパラメータと
変化するパラメータに分け、認識においては変化しない
パラメータを用いて単語の検出を行ない、変化するパラ
メータについては、手話単語の検出の後、その後の処理
で必要となると考えられる情報を抽出するようにもでき
る。この場合、標準手話単語パターン辞書は図１４のよ
うになる。各手のパターンは、パターン種類１４１、パ
ターンデータ１４２、付属情報１４３からなる。パター
ン種類１４１とパターンデータ１４２は図３におけるも
のと同様である。付属情報は、その要素パターンが状況
によって変化する場合に、そのパターンからどのような
情報を抽出するかが記述されている。また、手話単語検
出部は図１５のようになる。付属情報計算部１５１にお
いて、標準手話単語パターン辞書中の付属情報の内容に
従って、状況によって変化する要素パターンから必要な
情報の計算を行なう。
【００３７】（実施例２）（実施例１）における手話単
語認識装置２４をソフトウエアで実現した場合の実施例
を図１６から図２０を用いて説明する。
語認識装置２４をソフトウエアで実現した場合の実施例
を図１６から図２０を用いて説明する。
【００３８】図１６は、手話単語の認識処理の全体の流
れを示すフローチャート、図１７は入力手話パターンと
標準手話単語パターンとの照合処理の手順を示すフロー
チャート、図１８は照合結果から手の位置、手の方向、
手の形状の３つの要素パターンを検出するパターン検出
処理の手順を示すフローチャート、図１９は照合結果か
ら手話単語候補を検出する単語検出処理の手順を示すフ
ローチャート、図２０は検出した単語から同時動作によ
る手話検出処理の手順を示すフローチャートである。
れを示すフローチャート、図１７は入力手話パターンと
標準手話単語パターンとの照合処理の手順を示すフロー
チャート、図１８は照合結果から手の位置、手の方向、
手の形状の３つの要素パターンを検出するパターン検出
処理の手順を示すフローチャート、図１９は照合結果か
ら手話単語候補を検出する単語検出処理の手順を示すフ
ローチャート、図２０は検出した単語から同時動作によ
る手話検出処理の手順を示すフローチャートである。
【００３９】図１６のステップ１６１では、インタフェ
イス２２から入力される手話パターンを１時刻分受け取
り、入力手話パターンが最後かどうかの検査を行なう。
パターンが最後の場合は、手話単語認識処理を終了す
る。パターンがある場合は、ステップ１６２ａ、１６２
ｂ、１６２ｃの各要素毎のパターン照合処理に移り、こ
こで、入力手話パターンと標準手話単語パターン辞書に
格納されている標準手話単語パターンとの照合が行なわ
れる。パターンの照合は、手の位置パターン、手の方向
パターン、手の形状パターンの各要素パターンそれぞれ
について行なわれる。
イス２２から入力される手話パターンを１時刻分受け取
り、入力手話パターンが最後かどうかの検査を行なう。
パターンが最後の場合は、手話単語認識処理を終了す
る。パターンがある場合は、ステップ１６２ａ、１６２
ｂ、１６２ｃの各要素毎のパターン照合処理に移り、こ
こで、入力手話パターンと標準手話単語パターン辞書に
格納されている標準手話単語パターンとの照合が行なわ
れる。パターンの照合は、手の位置パターン、手の方向
パターン、手の形状パターンの各要素パターンそれぞれ
について行なわれる。
【００４０】図１７を用いて、パターン照合処理１６２
ａ、１６２ｂ、１６２ｃの手順を詳細に説明する。この
処理は、手の位置、手の方向、手の形状パターンそれぞ
れについて行なわれるが、いずれも全く同じ処理手順で
行なうことができる。パターン照合処理１６２ａ、１６
２ｂ、１６２ｃでは、入力されてくる手話パターンの１
時刻分のデータに対して標準手話単語パターン辞書中に
登録されている手話単語全ての照合を行なう。そのた
め、まず、ステップ１７１で、手話パターン辞書中に照
合を行なっていないパターンがあるかどうかのチェック
を行なう。照合を行なうべき標準手話単語パターンが辞
書中に残っていない場合は、パターン照合処理を終了す
る。照合すべき手話単語が残っている場合、ステップ１
７２に進み、照合する手話単語のパターン種類を標準手
話単語パターン辞書から参照することによって、照合す
べき要素パターンの種類が静的であるか動的であるかの
チェックを行なう。照合する要素パターンが静的である
場合、ステップ１７３に進み、入力手話パターンは静的
パターンとして照合が行なわれる。ステップ１７２にお
いて、照合すべき要素パターンが動的である場合、ステ
ップ１７４に進み、入力手話パターンは動的パターンの
一部として照合が行なわれる。静的パターンと動的パタ
ーンの照合方法は、それぞれ、図５のベクトル距離計算
部５４と連続ＤＰ照合部５３で使用した方法と同じもの
を用いる。
ａ、１６２ｂ、１６２ｃの手順を詳細に説明する。この
処理は、手の位置、手の方向、手の形状パターンそれぞ
れについて行なわれるが、いずれも全く同じ処理手順で
行なうことができる。パターン照合処理１６２ａ、１６
２ｂ、１６２ｃでは、入力されてくる手話パターンの１
時刻分のデータに対して標準手話単語パターン辞書中に
登録されている手話単語全ての照合を行なう。そのた
め、まず、ステップ１７１で、手話パターン辞書中に照
合を行なっていないパターンがあるかどうかのチェック
を行なう。照合を行なうべき標準手話単語パターンが辞
書中に残っていない場合は、パターン照合処理を終了す
る。照合すべき手話単語が残っている場合、ステップ１
７２に進み、照合する手話単語のパターン種類を標準手
話単語パターン辞書から参照することによって、照合す
べき要素パターンの種類が静的であるか動的であるかの
チェックを行なう。照合する要素パターンが静的である
場合、ステップ１７３に進み、入力手話パターンは静的
パターンとして照合が行なわれる。ステップ１７２にお
いて、照合すべき要素パターンが動的である場合、ステ
ップ１７４に進み、入力手話パターンは動的パターンの
一部として照合が行なわれる。静的パターンと動的パタ
ーンの照合方法は、それぞれ、図５のベクトル距離計算
部５４と連続ＤＰ照合部５３で使用した方法と同じもの
を用いる。
【００４１】入力手話パターンと標準手話単語パターン
との照合を行なったのち、位置パターン検出１６３ａ、
方向パターン検出１６３ｂ、形状パターン検出１６３ｃ
において各要素パターンの検出を行なう。この処理は、
手の位置、手の方向、手の形状それぞれについて行なわ
れるが、全て同じ処理手順で行なうことができる。図１
８を用いてパターン検出処理の詳細な説明を行なう。図
１８において、ステップ１８１では検出すべき標準手話
単語パターン中のパターン種類を参照することによっ
て、その要素パターンが静的か動的かを判定する。静的
なパターンの検出の場合、ステップ１８２において、距
離が閾値以上から閾値未満に変化したかどうかの判定を
行なう。距離が閾値以上から閾値未満に変化した場合、
ステップ１８３においてその時刻を記憶する。その後、
ステップ１８４でその時刻の距離が閾値以上か未満かを
示す状態変数の更新を行なう。この状態変数はステップ
１８２および後述するステップ１８５における判定処理
に利用される。このパターン検出処理１６３ａ、１６３
ｂ、１６３ｃでは１時刻前の距離の状態が必要になる
が、入力されてくる１時刻分の照合結果毎にこの処理が
行なわれるため、次回の処理のためにこのような状態変
数を設定しておく必要がある。状態変数の更新を行なっ
た後、パターン検出処理１６３ａ、１６３ｂ、１６３ｃ
を抜ける。ステップ１８２において距離が閾値以上から
閾値未満に変化していない場合、ステップ１８５におい
て、距離が閾値未満から閾値以上に変化したかどうかの
判定を行なう。この時刻を検出した場合ステップ１８６
に進み、記憶してあった距離が閾値以上から閾値未満に
変化した時刻と現在の時刻をパターンの検出位置とす
る。その後ステップ１８４に進み、状態変数の更新を行
なう。ステップ１８５において、閾値未満から閾値以上
への変化が検出されない場合は、ステップ１８４に進
む。
との照合を行なったのち、位置パターン検出１６３ａ、
方向パターン検出１６３ｂ、形状パターン検出１６３ｃ
において各要素パターンの検出を行なう。この処理は、
手の位置、手の方向、手の形状それぞれについて行なわ
れるが、全て同じ処理手順で行なうことができる。図１
８を用いてパターン検出処理の詳細な説明を行なう。図
１８において、ステップ１８１では検出すべき標準手話
単語パターン中のパターン種類を参照することによっ
て、その要素パターンが静的か動的かを判定する。静的
なパターンの検出の場合、ステップ１８２において、距
離が閾値以上から閾値未満に変化したかどうかの判定を
行なう。距離が閾値以上から閾値未満に変化した場合、
ステップ１８３においてその時刻を記憶する。その後、
ステップ１８４でその時刻の距離が閾値以上か未満かを
示す状態変数の更新を行なう。この状態変数はステップ
１８２および後述するステップ１８５における判定処理
に利用される。このパターン検出処理１６３ａ、１６３
ｂ、１６３ｃでは１時刻前の距離の状態が必要になる
が、入力されてくる１時刻分の照合結果毎にこの処理が
行なわれるため、次回の処理のためにこのような状態変
数を設定しておく必要がある。状態変数の更新を行なっ
た後、パターン検出処理１６３ａ、１６３ｂ、１６３ｃ
を抜ける。ステップ１８２において距離が閾値以上から
閾値未満に変化していない場合、ステップ１８５におい
て、距離が閾値未満から閾値以上に変化したかどうかの
判定を行なう。この時刻を検出した場合ステップ１８６
に進み、記憶してあった距離が閾値以上から閾値未満に
変化した時刻と現在の時刻をパターンの検出位置とす
る。その後ステップ１８４に進み、状態変数の更新を行
なう。ステップ１８５において、閾値未満から閾値以上
への変化が検出されない場合は、ステップ１８４に進
む。
【００４２】ステップ１８１において動的なパターンの
検出の場合は、ステップ１８７に進み、距離の極小値の
検出を行なう。極小値が検出されると、ステップ１８８
においてその時刻をパターンの終点、またその場合の照
合の始点をパターンの始点として、その範囲を検出結果
とする。その後、ステップ１８９においてその時刻直前
の距離の変化の方向が減少方向かあるいは増加方向かを
示す状態変数の更新およびその時刻の距離の記憶を行な
う。これらは、ステップ１８７における極小値の検出に
利用される。ステップ１８７で極小値が検出されない場
合は、ステップ１８９に進む。
検出の場合は、ステップ１８７に進み、距離の極小値の
検出を行なう。極小値が検出されると、ステップ１８８
においてその時刻をパターンの終点、またその場合の照
合の始点をパターンの始点として、その範囲を検出結果
とする。その後、ステップ１８９においてその時刻直前
の距離の変化の方向が減少方向かあるいは増加方向かを
示す状態変数の更新およびその時刻の距離の記憶を行な
う。これらは、ステップ１８７における極小値の検出に
利用される。ステップ１８７で極小値が検出されない場
合は、ステップ１８９に進む。
【００４３】各単語を構成する形態素の各要素パターン
の検出を行なったのち、単語候補検出処理１６４に進
み、照合結果から手話単語候補の検出を行なう。図１９
を用いて単語候補検出処理１６４の手順を詳細に説明す
る。単語候補検出処理１６４には、上述した各標準手話
単語パターンとの照合結果である距離の時系列データの
各時刻毎のデータから単語候補の検出を行なう。そのた
め、まず、図１９のステップ１９１において、単語検出
処理を行なうべき標準手話単語パターンが残っていない
かどうかのチェックを行なう。単語検出処理を行なうべ
き標準手話単語パターンが残っていない場合はこの処理
を終了する。残っている場合は、ステップ１９２に進
み、新たな要素パターンの検出によって、手の位置、手
の方向、手の形状の３つの要素パターンの新たな重なり
ができたものを検索し、その重なり度を求める。要素パ
ターンの重なりは、その単語を構成する形態素を表す組
合せ全てについて検索する。重なり度の計算は、図９の
重なり計算部９１で使用したものと同様の方法によって
計算することができる。
の検出を行なったのち、単語候補検出処理１６４に進
み、照合結果から手話単語候補の検出を行なう。図１９
を用いて単語候補検出処理１６４の手順を詳細に説明す
る。単語候補検出処理１６４には、上述した各標準手話
単語パターンとの照合結果である距離の時系列データの
各時刻毎のデータから単語候補の検出を行なう。そのた
め、まず、図１９のステップ１９１において、単語検出
処理を行なうべき標準手話単語パターンが残っていない
かどうかのチェックを行なう。単語検出処理を行なうべ
き標準手話単語パターンが残っていない場合はこの処理
を終了する。残っている場合は、ステップ１９２に進
み、新たな要素パターンの検出によって、手の位置、手
の方向、手の形状の３つの要素パターンの新たな重なり
ができたものを検索し、その重なり度を求める。要素パ
ターンの重なりは、その単語を構成する形態素を表す組
合せ全てについて検索する。重なり度の計算は、図９の
重なり計算部９１で使用したものと同様の方法によって
計算することができる。
【００４４】ステップ１９２において新たな要素パター
ンの重なりを検索したのち、ステップ１９３で評価すべ
き重なりが残っているかどうかのチェックを行なう。評
価すべき重なりが残っている場合、それぞれの重なりに
対して以下の処理を行なう。まず、ステップ１９４にお
いて重なり度が閾値以上かどうかを判定する。閾値以上
の場合は、ステップ１９５において検出された形態素と
その前に検出された形態素のギャップが閾値以上かどう
かを判定する。これは、検出すべき単語が複数の形態素
より構成されている場合に必要な処理であり、単語を構
成する最初の形態素の場合は無条件にステップ１９６に
進む。ギャップが閾値未満の場合、ステップ１９６で、
その単語を認識するために検出すべき形態素が最後かど
うかを判定する。最後であれば、ステップ１９８で、そ
の単語と検出位置を認識結果として出力する。さらに、
ステップ１９９において同時動作かどうかのチェックを
行なう。図２０を用いてステップ１９９の処理を詳細に
説明する。まず、ステップ２０１において、検出された
単語が同時動作に使用される得る単語かどうかのチェッ
クを行なう。同時動作に使用される単語であれば、ステ
ップ２０２において、既に検出されている単語のうち同
時動作に使用され得る単語があるかどうかを検索する。
単語がある場合は、ステップ２０３において、検索され
た単語との重なり度を求める。ステップ２０４において
重なり度が閾値以上かどうかのチェックを行ない、閾値
以上であれば２つの単語を同時動作として出力する。閾
値未満であればステップ２０２に戻る。ステップ２０２
において、既に検出した単語に同時動作に使用され得る
単語がない場合は処理を終了する。また、ステップ２０
１で単語が同時動作に使用され得ない単語であれば処理
を終了する。
ンの重なりを検索したのち、ステップ１９３で評価すべ
き重なりが残っているかどうかのチェックを行なう。評
価すべき重なりが残っている場合、それぞれの重なりに
対して以下の処理を行なう。まず、ステップ１９４にお
いて重なり度が閾値以上かどうかを判定する。閾値以上
の場合は、ステップ１９５において検出された形態素と
その前に検出された形態素のギャップが閾値以上かどう
かを判定する。これは、検出すべき単語が複数の形態素
より構成されている場合に必要な処理であり、単語を構
成する最初の形態素の場合は無条件にステップ１９６に
進む。ギャップが閾値未満の場合、ステップ１９６で、
その単語を認識するために検出すべき形態素が最後かど
うかを判定する。最後であれば、ステップ１９８で、そ
の単語と検出位置を認識結果として出力する。さらに、
ステップ１９９において同時動作かどうかのチェックを
行なう。図２０を用いてステップ１９９の処理を詳細に
説明する。まず、ステップ２０１において、検出された
単語が同時動作に使用される得る単語かどうかのチェッ
クを行なう。同時動作に使用される単語であれば、ステ
ップ２０２において、既に検出されている単語のうち同
時動作に使用され得る単語があるかどうかを検索する。
単語がある場合は、ステップ２０３において、検索され
た単語との重なり度を求める。ステップ２０４において
重なり度が閾値以上かどうかのチェックを行ない、閾値
以上であれば２つの単語を同時動作として出力する。閾
値未満であればステップ２０２に戻る。ステップ２０２
において、既に検出した単語に同時動作に使用され得る
単語がない場合は処理を終了する。また、ステップ２０
１で単語が同時動作に使用され得ない単語であれば処理
を終了する。
【００４５】ステップ１９６において検出すべき形態素
が最後でない場合は、ステップ１９７で、その形態素と
検出された時刻および検出しようとしている手話単語を
記憶し、ステップ１９３に戻る。ステップ１９５でギャ
ップが閾値以上の場合およびステップ１９４で重なりが
閾値未満の場合は、ステップ１９３に戻る。ステップ１
９３で、評価すべき重なりが残っていない場合はステッ
プ１９１に戻り、次の標準手話パターンについて上記の
処理を繰り返す。単語検出処理１６４では、その単語を
構成する全ての形態素を同時に検出するため、ステップ
１９７で記憶される単語の候補が複数生じる可能性があ
る。このため、検出された形態素と次の形態素に関する
情報は、複数記憶できるようにしておく。
が最後でない場合は、ステップ１９７で、その形態素と
検出された時刻および検出しようとしている手話単語を
記憶し、ステップ１９３に戻る。ステップ１９５でギャ
ップが閾値以上の場合およびステップ１９４で重なりが
閾値未満の場合は、ステップ１９３に戻る。ステップ１
９３で、評価すべき重なりが残っていない場合はステッ
プ１９１に戻り、次の標準手話パターンについて上記の
処理を繰り返す。単語検出処理１６４では、その単語を
構成する全ての形態素を同時に検出するため、ステップ
１９７で記憶される単語の候補が複数生じる可能性があ
る。このため、検出された形態素と次の形態素に関する
情報は、複数記憶できるようにしておく。
【００４６】（実施例３）本発明を適用した連続手話認
識装置において、手話単語辞書と形態素パターン辞書を
分離し、手話パターンを形態素単位で記憶した場合の実
施例を図２１から図２４を用いて説明する。
識装置において、手話単語辞書と形態素パターン辞書を
分離し、手話パターンを形態素単位で記憶した場合の実
施例を図２１から図２４を用いて説明する。
【００４７】図２１は手話単語辞書と形態素パターン辞
書を使用したシステム全体のブロック図である。まず、
形態素検出部２１１において形態素の認識を形態素パタ
ーン辞書２１２に記述されている全ての形態素パターン
に対して行ない、次に、単語検出部２１３において手話
単語辞書２１４に記述されている各単語を構成する形態
素から手話単語の認識を行なう。図２２に手話単語辞書
と形態素パターン辞書の構成を示す。図２２（ａ）のよ
うに、手話単語辞書にはその手話単語を示す形態素名の
みを記述し、実際の手話パターンは、図２２（ｂ）に示
す形態素パターン辞書に記憶する。
書を使用したシステム全体のブロック図である。まず、
形態素検出部２１１において形態素の認識を形態素パタ
ーン辞書２１２に記述されている全ての形態素パターン
に対して行ない、次に、単語検出部２１３において手話
単語辞書２１４に記述されている各単語を構成する形態
素から手話単語の認識を行なう。図２２に手話単語辞書
と形態素パターン辞書の構成を示す。図２２（ａ）のよ
うに、手話単語辞書にはその手話単語を示す形態素名の
みを記述し、実際の手話パターンは、図２２（ｂ）に示
す形態素パターン辞書に記憶する。
【００４８】次に、図２３に形態素検出部２１１のブロ
ック図を示す。形態素検出部２１１は、図５のパターン
照合部と図９の手話単語検出部の１部を組み合わせた構
成となっている。各部の動作、データの流れは図５、図
９に示したものと同様である。ただし、重なり判定部２
３１の動作のみは若干異なり、重なり計算部２３１で計
算された重なり度が閾値以上であれば形態素が検出され
たと判断し、その形態素を出力する。
ック図を示す。形態素検出部２１１は、図５のパターン
照合部と図９の手話単語検出部の１部を組み合わせた構
成となっている。各部の動作、データの流れは図５、図
９に示したものと同様である。ただし、重なり判定部２
３１の動作のみは若干異なり、重なり計算部２３１で計
算された重なり度が閾値以上であれば形態素が検出され
たと判断し、その形態素を出力する。
【００４９】また、図２４に手話単語検出部２１３のブ
ロック図を示す。手話単語検出部２１３は、図９の手話
単語検出部の一部を取り出した構成となっている。各部
の動作は図９のものと全く同じである。
ロック図を示す。手話単語検出部２１３は、図９の手話
単語検出部の一部を取り出した構成となっている。各部
の動作は図９のものと全く同じである。
【００５０】このように形態素パターン辞書と手話単語
辞書を分けることによって、手話単語に共通なパターン
データを１つにすることができるため、辞書の記憶容量
を小さくすることができる。また、形態素の検出と手話
単語の検出を別々に行なうことによって、複数の手話単
語に共通な形態素の認識を１度で済ますことが可能にな
り、認識処理の高速化が行なえる。
辞書を分けることによって、手話単語に共通なパターン
データを１つにすることができるため、辞書の記憶容量
を小さくすることができる。また、形態素の検出と手話
単語の検出を別々に行なうことによって、複数の手話単
語に共通な形態素の認識を１度で済ますことが可能にな
り、認識処理の高速化が行なえる。
【００５１】（実施例４）本発明を計算機にコマンドを
入力するための入力装置に適用した場合の実施例を図２
５から図３０を用いて説明する。
入力するための入力装置に適用した場合の実施例を図２
５から図３０を用いて説明する。
【００５２】図２５は本発明による入力装置を計算機の
操作に利用するためのシステムのブロック図である。デ
ータグローブ２５１およびインタフェイス２５２によっ
て、身振りによるコマンドを入力する。これによって身
振りの情報はｎ次元時系列データｄ２５２に変換され
る。変換されたデータは身振り認識部２５３に入力さ
れ、身振りパターン辞書２５４中に記述されている身振
りパターンｄ２５４を用いて計算機２５５に対するコマ
ンドを表す身振りが認識される。また、キーボード２５
６は直接コマンドを入力し、計算機を操作するためのも
のである。
操作に利用するためのシステムのブロック図である。デ
ータグローブ２５１およびインタフェイス２５２によっ
て、身振りによるコマンドを入力する。これによって身
振りの情報はｎ次元時系列データｄ２５２に変換され
る。変換されたデータは身振り認識部２５３に入力さ
れ、身振りパターン辞書２５４中に記述されている身振
りパターンｄ２５４を用いて計算機２５５に対するコマ
ンドを表す身振りが認識される。また、キーボード２５
６は直接コマンドを入力し、計算機を操作するためのも
のである。
【００５３】図２６を用いて身振り認識部２５３の詳細
な説明を行なう。身振り認識部２５３において、入力さ
れた身振りパターンｄ２５２を表す手の位置ｄ２５２
ａ、手の方向ｄ２５２ｂ、手の形状ｄ２５２ｃはそれぞ
れ位置パターン照合部２６１ａ、方向パターン照合部２
６１ｂ、形状パターン照合部２６１ｃに入力され、ここ
で身振りパターン辞書２５４中の位置パターンｄ２５４
ａ、方向パターンｄ２５４ｂ、形状パターンｄ２５４ｃ
と照合が行なわれる。各要素パターンの照合部は図５に
示したものが使用できる。また、身振り認識部２５３で
は、柔軟な操作を実現するために、コマンド以外にそれ
に付属する情報、例えば、ポインティングを表すコマン
ドの場合、どこを指しているかを示す位置情報等を計算
機２５５に送ることができるようにする必要がある。こ
のため、身振り検出部ではコマンドを検出すると同時に
そのコマンドの付属情報を検出できるようにする必要が
あり、身振りパターン辞書２５４には図１４に示す手話
パターン辞書に記述されているように、どの要素パター
ンからどのような情報を検出するかを記述しておく。
な説明を行なう。身振り認識部２５３において、入力さ
れた身振りパターンｄ２５２を表す手の位置ｄ２５２
ａ、手の方向ｄ２５２ｂ、手の形状ｄ２５２ｃはそれぞ
れ位置パターン照合部２６１ａ、方向パターン照合部２
６１ｂ、形状パターン照合部２６１ｃに入力され、ここ
で身振りパターン辞書２５４中の位置パターンｄ２５４
ａ、方向パターンｄ２５４ｂ、形状パターンｄ２５４ｃ
と照合が行なわれる。各要素パターンの照合部は図５に
示したものが使用できる。また、身振り認識部２５３で
は、柔軟な操作を実現するために、コマンド以外にそれ
に付属する情報、例えば、ポインティングを表すコマン
ドの場合、どこを指しているかを示す位置情報等を計算
機２５５に送ることができるようにする必要がある。こ
のため、身振り検出部ではコマンドを検出すると同時に
そのコマンドの付属情報を検出できるようにする必要が
あり、身振りパターン辞書２５４には図１４に示す手話
パターン辞書に記述されているように、どの要素パター
ンからどのような情報を検出するかを記述しておく。
【００５４】図２７を用いて身振りパターン辞書に記述
されている身振りパターンの形式の詳細な説明を行な
う。身振りパターン辞書にはコマンド名２７１、コマン
ドを表す身振りの数２７２、および実際の各身振りに関
する情報２７３が記述される。さらに各身振りに関する
情報として、手の形状２７４、手の方向２７５、手の位
置２７６の各要素データが記述される。それぞれの要素
データは右手と左手のデータに分けられ、各手のデータ
はパターンか静的なパターンか動的なパターンかの記述
２７７およびそれぞれに応じた実際のパターンデータ２
７８が記述される。さらに、ポインティングの位置のよ
うな付属情報を検出するために、どのような情報を身振
りデータから計算するかを指定する記述２７９が含まれ
る。パターン種類とパターンデータおよび付属情報は、
記述されていない場合には照合あるいは付属情報の検出
においては参照されないように照合部の制御を行なう。
図２８に付属情報のないコマンドを定義する身振りパタ
ーン辞書の記述例を示す。この場合、特定の形状と方向
を維持して、特定の位置である動作を行なったパターン
を検出することによってこのコマンドが計算機２５５に
送られることになる。図２９には付属情報が必要なコマ
ンドの場合の身振りパターン辞書の記述例を示す。この
コマンドは、計算機のモニタ上の特定の位置を指差し動
作によって示す場合等に使用される。照合用のデータと
しては、手の形状のみで、位置、方向に関しては付属情
報を計算するように記述されている。形状データは人差
指を立てた形状を表しており、これが指差しコマンドで
あることを決定する。そして、位置と方向に関する付属
情報は、このコマンドを表す手の形状を検出した場合
に、どの位置を指し示しているかを表す情報として計算
機２５５で利用されることになる。コマンドをこのよう
な形式で記述することによって、特定の要素の変化に依
存しないコマンドや、特定のパターンの変化がコマンド
の意味を変えるような場合にも柔軟な記述と照合を行な
うことができる。
されている身振りパターンの形式の詳細な説明を行な
う。身振りパターン辞書にはコマンド名２７１、コマン
ドを表す身振りの数２７２、および実際の各身振りに関
する情報２７３が記述される。さらに各身振りに関する
情報として、手の形状２７４、手の方向２７５、手の位
置２７６の各要素データが記述される。それぞれの要素
データは右手と左手のデータに分けられ、各手のデータ
はパターンか静的なパターンか動的なパターンかの記述
２７７およびそれぞれに応じた実際のパターンデータ２
７８が記述される。さらに、ポインティングの位置のよ
うな付属情報を検出するために、どのような情報を身振
りデータから計算するかを指定する記述２７９が含まれ
る。パターン種類とパターンデータおよび付属情報は、
記述されていない場合には照合あるいは付属情報の検出
においては参照されないように照合部の制御を行なう。
図２８に付属情報のないコマンドを定義する身振りパタ
ーン辞書の記述例を示す。この場合、特定の形状と方向
を維持して、特定の位置である動作を行なったパターン
を検出することによってこのコマンドが計算機２５５に
送られることになる。図２９には付属情報が必要なコマ
ンドの場合の身振りパターン辞書の記述例を示す。この
コマンドは、計算機のモニタ上の特定の位置を指差し動
作によって示す場合等に使用される。照合用のデータと
しては、手の形状のみで、位置、方向に関しては付属情
報を計算するように記述されている。形状データは人差
指を立てた形状を表しており、これが指差しコマンドで
あることを決定する。そして、位置と方向に関する付属
情報は、このコマンドを表す手の形状を検出した場合
に、どの位置を指し示しているかを表す情報として計算
機２５５で利用されることになる。コマンドをこのよう
な形式で記述することによって、特定の要素の変化に依
存しないコマンドや、特定のパターンの変化がコマンド
の意味を変えるような場合にも柔軟な記述と照合を行な
うことができる。
【００５５】次に図３０を用いて身振り検出部２６２の
動作を詳細に説明する。まず、重なり計算部において、
検出された各要素パターンの重なりを求める。この場
合、コマンドによって必ずしも３つの要素パターン全て
が送られてくるわけではないため、身振りパターン辞書
に記述されている内容ｄ２５４に応じて必要な要素パタ
ーンの重なりを求める。図２８のコマンドの場合は３種
類の要素全ての重なりを求めることになり、また、図２
９のコマンドの場合は、手の形状のみの検出データが送
られてくるので、重なり計算を行なう必要はなく、その
ままのデータを出力する。重なり位置判定部３０３で
は、計算された重なりｄ３０１が閾値以上であるかどう
かを判定し、閾値以上であれば重なり位置比較部３０２
を駆動する。重なり位置比較部３０２では、検出しよう
としているコマンドを構成する身振りのうち、その時刻
以前に検出された身振りｄ３０３とその時刻に検出され
た身振りｄ３０１の時間的な関係が許容値以内であるか
どうかの判定を行なう。記憶部３０５に、その時刻以前
に検出された身振り情報が記憶されている。記憶部３０
５に身振り情報が記憶されていない場合は、そのまま検
出された身振り情報を出力する。コマンド判定部３０４
は、検出された身振りｄ３０４と記憶部３０５に記憶さ
れている身振り情報ｄ３０５および身振りパターン辞書
２５４の内容ｄ２５４を比較することによって、コマン
ドの検出が行なわれたかどうかの判定を行なう。コマン
ドの検出が行なわれると、次に付属情報計算部３０６に
おいて、身振りパターン辞書ｄ２５４の記述に従って、
付属情報の計算を行なう。図２９のコマンドの場合、手
の位置と指先の方向が入力パターンｄ２５２中のコマン
ドに相当する部分から計算され、出力されることにな
る。
動作を詳細に説明する。まず、重なり計算部において、
検出された各要素パターンの重なりを求める。この場
合、コマンドによって必ずしも３つの要素パターン全て
が送られてくるわけではないため、身振りパターン辞書
に記述されている内容ｄ２５４に応じて必要な要素パタ
ーンの重なりを求める。図２８のコマンドの場合は３種
類の要素全ての重なりを求めることになり、また、図２
９のコマンドの場合は、手の形状のみの検出データが送
られてくるので、重なり計算を行なう必要はなく、その
ままのデータを出力する。重なり位置判定部３０３で
は、計算された重なりｄ３０１が閾値以上であるかどう
かを判定し、閾値以上であれば重なり位置比較部３０２
を駆動する。重なり位置比較部３０２では、検出しよう
としているコマンドを構成する身振りのうち、その時刻
以前に検出された身振りｄ３０３とその時刻に検出され
た身振りｄ３０１の時間的な関係が許容値以内であるか
どうかの判定を行なう。記憶部３０５に、その時刻以前
に検出された身振り情報が記憶されている。記憶部３０
５に身振り情報が記憶されていない場合は、そのまま検
出された身振り情報を出力する。コマンド判定部３０４
は、検出された身振りｄ３０４と記憶部３０５に記憶さ
れている身振り情報ｄ３０５および身振りパターン辞書
２５４の内容ｄ２５４を比較することによって、コマン
ドの検出が行なわれたかどうかの判定を行なう。コマン
ドの検出が行なわれると、次に付属情報計算部３０６に
おいて、身振りパターン辞書ｄ２５４の記述に従って、
付属情報の計算を行なう。図２９のコマンドの場合、手
の位置と指先の方向が入力パターンｄ２５２中のコマン
ドに相当する部分から計算され、出力されることにな
る。
【００５６】検出されたコマンドとその付属情報は、計
算機２５５に送られる。計算機２５５は送られてくる各
コマンドとその付属情報をアプリケーションが受け取
り、それに応じた動作を行なうようにしておく。
算機２５５に送られる。計算機２５５は送られてくる各
コマンドとその付属情報をアプリケーションが受け取
り、それに応じた動作を行なうようにしておく。
【００５７】
【発明の効果】以上述べたように、本発明によれば、標
準手話単語パターンを作成する際、それを構成する要素
パターンそれぞれについて、静的なパターンと動的なパ
ターンを区別し、静的なパターンをそのパターンを表す
１つのベクトルで表現することによって標準手話単語パ
ターンの記憶容量を小さくすることができる。また、１
つの標準手話単語パターン中でその構成要素パターン毎
に静的なパターンと動的なパターンの区別を行ない、そ
れぞれに対して別々の認識方法を用いることによって、
パターン全体に対して同一の照合を行なう場合より認識
時間を短縮することができる。さらに、標準手話単語パ
ターンの構成要素パターンを別々に照合することによっ
て、それぞれの要素パターンのずれによって認識精度が
低下する場合や、いずれかの要素パターンの変動が大き
いことによって認識精度が低下するような場合でも柔軟
な認識を行なうことができるようになり、また、静的な
パターンも動的なパターンも全て同時に照合を行なって
からどのパターンが有効かを判断するため、静的なパタ
ーンと動的なパターンの判断の誤りが少なくなり、手話
単語の認識精度を向上することができる。
準手話単語パターンを作成する際、それを構成する要素
パターンそれぞれについて、静的なパターンと動的なパ
ターンを区別し、静的なパターンをそのパターンを表す
１つのベクトルで表現することによって標準手話単語パ
ターンの記憶容量を小さくすることができる。また、１
つの標準手話単語パターン中でその構成要素パターン毎
に静的なパターンと動的なパターンの区別を行ない、そ
れぞれに対して別々の認識方法を用いることによって、
パターン全体に対して同一の照合を行なう場合より認識
時間を短縮することができる。さらに、標準手話単語パ
ターンの構成要素パターンを別々に照合することによっ
て、それぞれの要素パターンのずれによって認識精度が
低下する場合や、いずれかの要素パターンの変動が大き
いことによって認識精度が低下するような場合でも柔軟
な認識を行なうことができるようになり、また、静的な
パターンも動的なパターンも全て同時に照合を行なって
からどのパターンが有効かを判断するため、静的なパタ
ーンと動的なパターンの判断の誤りが少なくなり、手話
単語の認識精度を向上することができる。
【図１】手話単語認識部の詳細を示す図。
【図２】連続手話認識を実現するためのシステムのブロ
ック図。
ック図。
【図３】標準手話単語パターン辞書に格納されている標
準手話単語パターンの形式を示す図。
準手話単語パターンの形式を示す図。
【図４】手話「人々」に関する図であり、（ａ）は手話
「人々」を示す図、（ｂ）はデータグローブによって変
換された手話「人々」のパターンを示す図、（ｃ）は標
準手話単語パターン辞書に格納される手話「人々」のパ
ターンを示す図。
「人々」を示す図、（ｂ）はデータグローブによって変
換された手話「人々」のパターンを示す図、（ｃ）は標
準手話単語パターン辞書に格納される手話「人々」のパ
ターンを示す図。
【図５】パターン照合部の詳細を示す図。
【図６】各要素パターンの照合結果の一例を示す図。
【図７】静的パターン検出部の詳細を示す図。
【図８】動的パターン検出部の詳細を示す図。
【図９】手話単語検出部の詳細を示す図。
【図１０】要素パターンの重なりを示す図。
【図１１】全ての要素パターンが静的である場合図であ
り、（ａ）は要素パターンが重なっていると見なす場合
の一例、（ｂ）は要素パターンが重なっていないと見な
す場合の一例。
り、（ａ）は要素パターンが重なっていると見なす場合
の一例、（ｂ）は要素パターンが重なっていないと見な
す場合の一例。
【図１２】同時動作による手話の一例。
【図１３】同時動作検出部の詳細を示す図。
【図１４】状況によって変化するパターンの記述を付加
した標準手話単語パターン辞書の形式を示す図。
した標準手話単語パターン辞書の形式を示す図。
【図１５】状況によって変化するパターンから付属情報
を抽出する手段を付加した手話単語検出部の詳細を示す
図。
を抽出する手段を付加した手話単語検出部の詳細を示す
図。
【図１６】手話単語認識処理の手順を示すフローチャー
ト。
ト。
【図１７】パターン照合処理の手順を示すフローチャー
ト。
ト。
【図１８】パターン検出処理の手順を示すフローチャー
ト。
ト。
【図１９】単語候補検出処理の手順を示すフローチャー
ト。
ト。
【図２０】形態素辞書と単語辞書を分けた場合のシステ
ムのブロック図。
ムのブロック図。
【図２１】形態素辞書と単語辞書を分けた場合のシステ
ムのブロック図。
ムのブロック図。
【図２２】手話単語辞書と形態素パターン辞書の構成を
示す図であり、（ａ）は単語辞書、（ｂ）は形態素パタ
ーン辞書の形式を示す図。
示す図であり、（ａ）は単語辞書、（ｂ）は形態素パタ
ーン辞書の形式を示す図。
【図２３】形態素検出部の詳細を示す図。
【図２４】単語検出部の詳細を示す図。
【図２５】機器操作装置を計算機の操作に利用したシス
テムのブロック図。
テムのブロック図。
【図２６】身振り認識部の詳細を示す図。
【図２７】身振りパターンに格納されている身振りパタ
ーンの形式を示す図。
ーンの形式を示す図。
【図２８】付属情報を持たないコマンドの一例。
【図２９】付属情報を持つコマンドの一例。
【図３０】身振り検出部の詳細を示す図。
２１…データグローブ、２２…インタフェイス、２３…
標準手話単語パターン辞書、２４…手話単語認識装置、
２５…出力装置、１１ａ…位置パターン照合部、１１ｂ
…方向パターン照合部、１１ｃ…形状パターン照合部、
１２…手話単語検出部。
標準手話単語パターン辞書、２４…手話単語認識装置、
２５…出力装置、１１ａ…位置パターン照合部、１１ｂ
…方向パターン照合部、１１ｃ…形状パターン照合部、
１２…手話単語検出部。
Claims (19)
- 【請求項１】入力手話パターンと標準手話単語パターン
を照合して入力手話パターン中に表現されている手話単
語パターンを連続的に認識する連続手話認識装置におい
て、手話パターンを静的なパターンか動的なパターンか
の区別をして表現した標準手話単語パターン辞書を有す
ることを特徴とする連続手話認識装置。 - 【請求項２】標準手話単語パターン辞書に記憶されてい
る手話パターンが静的か動的に応じた異なる照合手段
と、照合において静的なパターンと動的なパターンを区
別なく全て照合し、その結果からどの手話単語かを認識
する手段を有することを特徴とする請求項１記載の連続
手話認識装置。 - 【請求項３】手話パターンを構成する要素パターンそれ
ぞれについて、静的なパターンか動的なパターンかの区
別を行ない、それぞれに対して標準手話単語パターンに
おけるパターンの表現方法を変えることを特徴とする請
求項１記載の連続手話認識装置。 - 【請求項４】手話パターンを構成する要素パターンそれ
ぞれについて、静的なパターンはそのパターンを表す１
つの特徴ベクトルで表現し、動的なパターンは特徴ベク
トルの時系列として表現した標準手話単語パターンを有
することを特徴とする請求項３記載の連続手話認識装
置。 - 【請求項５】標準手話単語パターンを構成する要素パタ
ーンが静的なパターンか動的なパターンかを標準手話単
語パターン辞書を参照することによって判断し、静的な
パターンか動的なパターンかに応じて要素パターンの照
合方法を変えることを特徴とする請求項２記載の連続手
話認識装置。 - 【請求項６】標準手話単語パターンを構成する要素パタ
ーンが静的なパターンか動的なパターンかを標準手話単
語パターン辞書を参照することによって判断し、静的な
パターンの場合は特徴ベクトルの照合により、動的なパ
ターンの場合は時系列ベクトルの照合によって要素パタ
ーンの認識を行なうことを特徴とする請求項５記載の連
続手話認識装置。 - 【請求項７】標準手話単語パターンにおいて、その手話
を構成する要素パターンについて、各要素パターンのパ
ターン全体に対する重要度を示す重み付けを行ない、パ
ターンの照合においてその重みを用いて照合を行なうこ
とを特徴とする請求項６記載の連続手話認識装置。 - 【請求項８】標準手話単語パターンを構成する要素パタ
ーンそれぞれの照合結果を統合することによって手話単
語を認識する手段を有することを特徴とする請求項６記
載の連続手話認識装置。 - 【請求項９】標準手話単語パターンを構成する各要素パ
ターンが検出された範囲をもとに、要素パターンの重な
りを評価することによって要素パターンそれぞれの認識
結果の統合を行ない、その手話単語の検出を行なうこと
を特徴とする請求項８記載の連続手話認識装置。 - 【請求項１０】検出された要素パターンの重なりの評価
において、ある手話単語を構成する全ての要素パターン
の重なりだけでなく、その手話単語を構成する要素パタ
ーンののちの幾つかの重なりが検出されることによっ
て、手話単語の検出が行なうことを特徴とする請求項９
記載の連続手話認識装置。 - 【請求項１１】静的な要素パターンのみから構成されて
いる手話単語の場合、ある時間範囲内に要素パターンが
検出されることで要素パターンが重なっているとみなし
て手話単語を検出することを特徴とする請求項９記載の
連続手話認識装置。 - 【請求項１２】複数の単語の検出結果からその重なりを
もとに手話における同時動作を検出することができるこ
とを特徴とする請求項９記載の連続手話認識装置。 - 【請求項１３】標準手話単語パターンをそれを構成する
形態素に分解し、手話単語を構成する形態素の記述と、
各形態素のパターンデータとを別々に記憶することを特
徴とする請求項１記載の連続手話認識装置。 - 【請求項１４】手話単語を構成する形態素の認識と、形
態素の組合せによる手話単語の認識を別々に行なうこと
を特徴とする請求項１３記載の連続手話認識装置。 - 【請求項１５】標準手話単語パターンにおいて、手話単
語を構成する要素パターンのうち、その手話単語を特徴
付ける固定したパターンと状況によって変化するパター
ンを分離し、変化するパターンについてはその手話単語
の付属情報としてどのような情報を入力パターンより抽
出するかを記述した標準手話単語パターンを有し、認識
の際には変化するパターンから付属情報を抽出すること
によって、状況によって変化する手話単語の意味を認識
することのできる請求項２記載の連続手話認識装置。 - 【請求項１６】あらかじめ記憶してある身振りパターン
辞書の内容と入力された身振りパターンとを比較するこ
とによって身振りを認識し、その身振りに相当する記号
あるいは操作コマンドを他の装置に送ることを特徴とす
る入力装置。 - 【請求項１７】身振りパターンを構成する要素パターン
ごとに静的なパターンと動的なパターンとを区別して記
述した身振りパターン辞書を有することを特徴とする請
求項１６記載の入力装置。 - 【請求項１８】身振りを構成する要素パターンのうち、
その身振りを特徴付ける固定したパターンと状況によっ
て変化するパターンを分離し、変化するパターンについ
てはその身振りの付属情報としてどのような情報を入力
パターンより抽出するかを記述した身振りパターン辞書
を有することを特徴とする請求項１７記載の入力装置。 - 【請求項１９】身振りの認識を固定したパターンの比較
によって行ない、その付属情報を変化するパターンから
抽出することによって、状況によって変化する身振りを
認識することを特徴とする請求項１８記載の入力装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5125698A JPH06333022A (ja) | 1993-05-27 | 1993-05-27 | 連続手話認識装置および入力装置 |
| EP94303757A EP0629988B1 (en) | 1993-05-27 | 1994-05-25 | Continuous sign-language recognition apparatus and input apparatus |
| DE69419837T DE69419837T2 (de) | 1993-05-27 | 1994-05-25 | Vorrichtung zur kontinuierlichen Erkennung der Gebärdensprache und Eingangvorrichtung dafür |
| US08/716,911 US5699441A (en) | 1992-03-10 | 1996-09-09 | Continuous sign-language recognition apparatus and input apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5125698A JPH06333022A (ja) | 1993-05-27 | 1993-05-27 | 連続手話認識装置および入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06333022A true JPH06333022A (ja) | 1994-12-02 |
Family
ID=14916502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5125698A Pending JPH06333022A (ja) | 1992-03-10 | 1993-05-27 | 連続手話認識装置および入力装置 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0629988B1 (ja) |
| JP (1) | JPH06333022A (ja) |
| DE (1) | DE69419837T2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10208023A (ja) * | 1997-01-24 | 1998-08-07 | Hitachi Ltd | 手話認識装置 |
| JPH117237A (ja) * | 1997-06-16 | 1999-01-12 | Jirou Urii | 人間の動作を音に変換する方法と装置 |
| JP2001118069A (ja) * | 1999-10-18 | 2001-04-27 | Real World Computing Partnership | パターン検索装置、方法および記録媒体 |
| JP2007323268A (ja) * | 2006-05-31 | 2007-12-13 | Oki Electric Ind Co Ltd | 映像提供装置 |
| JP2020013599A (ja) * | 2014-12-08 | 2020-01-23 | セス，ロヒット | ウェアラブルワイヤレスｈｍｉデバイス |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6249606B1 (en) * | 1998-02-19 | 2001-06-19 | Mindmaker, Inc. | Method and system for gesture category recognition and training using a feature vector |
| US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
| FR2882848A1 (fr) * | 2004-12-03 | 2006-09-08 | Edzigui Honorine Mboa | Dispositif permettant aux personnes sourdes et malentendantes de communiquer avec le monde exterieur et inversement |
| US8225343B2 (en) | 2008-01-11 | 2012-07-17 | Sony Computer Entertainment America Llc | Gesture cataloging and recognition |
| CN103116572B (zh) * | 2013-02-02 | 2015-10-21 | 深圳先进技术研究院 | 文学作品出品时期识别方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58165182A (ja) * | 1982-03-26 | 1983-09-30 | Ricoh Co Ltd | 文字認識装置 |
| US5047952A (en) * | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
| US5203704A (en) * | 1990-12-21 | 1993-04-20 | Mccloud Seth R | Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures |
| JP3008520B2 (ja) * | 1991-03-15 | 2000-02-14 | 三菱電機株式会社 | 標準パタン作成装置 |
| JP2979711B2 (ja) * | 1991-04-24 | 1999-11-15 | 日本電気株式会社 | パターン認識方式および標準パターン学習方式 |
| DE69328147T2 (de) * | 1992-08-24 | 2000-12-14 | Hitachi Ltd | Gebärdenspracherkennungsgerät und Verfahren und Gebärdensprachübersetzungssystem, das dieses verwendet |
-
1993
- 1993-05-27 JP JP5125698A patent/JPH06333022A/ja active Pending
-
1994
- 1994-05-25 EP EP94303757A patent/EP0629988B1/en not_active Expired - Lifetime
- 1994-05-25 DE DE69419837T patent/DE69419837T2/de not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10208023A (ja) * | 1997-01-24 | 1998-08-07 | Hitachi Ltd | 手話認識装置 |
| JPH117237A (ja) * | 1997-06-16 | 1999-01-12 | Jirou Urii | 人間の動作を音に変換する方法と装置 |
| JP2001118069A (ja) * | 1999-10-18 | 2001-04-27 | Real World Computing Partnership | パターン検索装置、方法および記録媒体 |
| JP2007323268A (ja) * | 2006-05-31 | 2007-12-13 | Oki Electric Ind Co Ltd | 映像提供装置 |
| JP2020013599A (ja) * | 2014-12-08 | 2020-01-23 | セス，ロヒット | ウェアラブルワイヤレスｈｍｉデバイス |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69419837T2 (de) | 2000-03-16 |
| EP0629988B1 (en) | 1999-08-04 |
| EP0629988A2 (en) | 1994-12-21 |
| EP0629988A3 (en) | 1996-08-28 |
| DE69419837D1 (de) | 1999-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5699441A (en) | Continuous sign-language recognition apparatus and input apparatus | |
| Kim et al. | Two-stage multi-intent detection for spoken language understanding | |
| Abiyev et al. | Sign language translation using deep convolutional neural networks | |
| Gao et al. | A Chinese sign language recognition system based on SOFM/SRN/HMM | |
| Oka | Spotting method for classification of real world data | |
| Oviatt | Multimodal interfaces | |
| Fang et al. | Large-vocabulary continuous sign language recognition based on transition-movement models | |
| JP3346799B2 (ja) | 手話通訳装置 | |
| KR20050036863A (ko) | 수기 특징 합성을 사용한 디지털 잉크 데이터베이스 탐색 | |
| Sole et al. | Sign language recognition using the extreme learning machine | |
| Ghotkar et al. | Dynamic hand gesture recognition and novel sentence interpretation algorithm for indian sign language using microsoft kinect sensor | |
| Raees et al. | Image based recognition of Pakistan sign language | |
| Fang et al. | Signer-independent continuous sign language recognition based on SRN/HMM | |
| JPH06333022A (ja) | 連続手話認識装置および入力装置 | |
| Abuzaraida et al. | Recognition techniques for online arabic handwriting recognition systems | |
| CN115796182A (zh) | 一种基于实体级跨模态交互的多模态命名实体识别方法 | |
| Fang et al. | A SRN/HMM system for signer-independent continuous sign language recognition | |
| Aly et al. | A generative framework for multimodal learning of spatial concepts and object categories: An unsupervised part-of-speech tagging and 3D visual perception based approach | |
| Akouaydi et al. | Decision trees based on perceptual codes for on-line Arabic character recognition | |
| Alnabih et al. | Arabic Sign Language letters recognition using vision transformer | |
| Ballard et al. | A multimodal learning interface for word acquisition | |
| Dawod et al. | Novel technique for isolated sign language based on fingerspelling recognition | |
| Hamdi et al. | Hybrid neural network and genetic algorithm for off-lexicon online Arabic handwriting recognition | |
| EP0585098B1 (en) | Sign recognition apparatus and method and sign translation system using same | |
| JPH08115408A (ja) | 手話認識装置 |