JP3565387B2 - 手話単語パターン辞書作成システムおよび方法 - Google Patents
手話単語パターン辞書作成システムおよび方法 Download PDFInfo
- Publication number
- JP3565387B2 JP3565387B2 JP31786796A JP31786796A JP3565387B2 JP 3565387 B2 JP3565387 B2 JP 3565387B2 JP 31786796 A JP31786796 A JP 31786796A JP 31786796 A JP31786796 A JP 31786796A JP 3565387 B2 JP3565387 B2 JP 3565387B2
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- language word
- elements
- pattern dictionary
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、実際の手話動作を入力した手話データのパターンに基づき手話動作に対応する手話単語の認識を行う手話パターン認識装置で用いる手話単語パターン辞書の作成技術に係り、特に、状況や個人差による手話動作の変動にも効率良く対応して正しい認識を行うのに好適な手話単語パターン辞書作成システムおよび方法に関するものである。
【０００２】
【従来の技術】
従来、手話の認識技術に関しては、例えば、本出願人等による特願平６−２５３４５７号公報や、「非接触による手話動作の認識アルゴリズムの開発（計測自動制御学会：ヒューマン・インタフェース部会 Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ Ｖｏｌ．１０ Ｎｏ．１， ｐｐ．４１−４６， １９９５）」に記載のものがある。これらの技術では、手話動作の基本単位である動作要素（手の形状や方向、位置、および動き方等）を表す記号の組合わせとして手話動作を表現した手話単語パターン辞書を使用する。すなわち、入力された手話データから動作要素を認識し、この動作要素と、手話単語パターン辞書中に予め作成された動作要素の組合せを比較することにより、どの手話単語が入力されたかを認識する。
【０００３】
これらの技術では、入力された手話動作からどのように動作要素を認識するか、また、認識された動作要素と手話単語パターン辞書中の動作要素との比較をどのように行なうか等についての技術が開示されている。しかし、動作要素の組合せとして記述される手話単語パターン辞書を如何にして作成するかに関しての技術は述べられていない。
手話単語パターン辞書を作成する場合、手作業で必要な動作要素とそれらの関係を１つ１つ登録していくことが考えられる。この場合、認識精度を上げるためには、手話者による実際の手話における動作要素を登録する必要がある。
【０００４】
このように人間が手作業により動作要素を登録することは、大まかな動作に対しては比較的容易である。しかし、実際の手話動作においては、状況や手話者の癖による個人差があり、同じ手話単語に対する手話動作であっても、異なる動作要素の組合せとなる場合がある。その相違が大きい場合には、誤った手話動作としても良いが、ある程度の相違を吸収できなければ、実用にはならない。
【０００５】
このような実際の手話動作における動作要素を登録するためには、手話データから動作要素を認識した後、必要な動作要素を選択する必要がある。一般に、１つのパターンデータから認識される動作要素の種類は多く、また、動作要素間の時間的な関係も理想的な状態にある場合はほとんどない。そのため、人間が手作業で一つ一つ動作要素を選択していては非常に効率が悪い。さらに、通常の認識用手話単語パターンの学習には、１つの単語あたり、数十から数百のサンプルを使用するため、全てを人間が手作業で行なうことは、実用的でない。
【０００６】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、実際の手話動作に対応できる精度の高い手話単語パターン辞書を自動的に作成することができない点である。
本発明の目的は、これら従来技術の課題を解決し、手話単語パターン辞書の作成に係るユーザの労力を軽減でき、かつ、精度の良い手話認識を可能とする手話単語パターン辞書作成システムおよび方法を提供することである。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明の手話単語パターン辞書作成システムは、（１）予め作成された手話単語Ｗ（手話単語テンプレート９０５）の各動作要素９１１，９１２（１３０１，１３０３，１３０５，１３０７）を抽出すると共に、この抽出した各動作要素のそれぞれの記述内容に基づき、抽出した各動作要素と予め定められた度合いで類似する置き換え可能な各動作要素１３０２，１３０４，１３０６，１３０８を抽出する動作要素抽出部１１１と、手話単語テンプレート９０５に対応する実際の手話動作の各動作要素１５０４を、それぞれが発生した時間帯１５０１，１５０２と共に抽出し、この抽出した各動作要素の内、動作要素抽出部１１１で抽出した各動作要素と一致し、かつ、発生した時間帯が手話単語テンプレート９０５の各動作要素の発生時間帯と少しでも重なるものを選択する動作要素認識部１０３と、この動作要素認識部１０３で選択した各動作要素１７０７〜１７１２から、これらの各動作要素１７０７〜１７１２が発生したそれぞれの時間帯が、手話単語テンプレート９０５の各動作要素１３０１，１３０３，１３０５，１３０７の発生時間順に矛盾しない動作要素を特定し、この特定した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正する手話単語パターン辞書作成部１０７とを少なくとも有し、手話単語パターン辞書作成部１０７で修正した手話単語テンプレート９０５を手話単語パターン辞書格納部１０９に格納することを特徴とする。
また、（２）上記（１）に記載の手話単語パターン辞書作成システムにおいて、動作要素抽出部１１１は、手話単語テンプレート９０５の各動作要素を中心とした空間の所定の範囲内に含まれる同じ種類の動作要素を、手話単語テンプレート９０５の各動作要素と置き換え可能な動作要素として抽出することを特徴とする。
また、（３）上記（１）もしくは（２）のいずれかに記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、動作要素認識部１０３で選択した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素と置き換えて、手話単語テンプレート９０５を表現する各動作要素の組合せ１８０１〜１８０３を１以上生成し、この生成した組合せの内、各動作要素の時間帯の並びのずれが、手話単語テンプレート９０５における各動作要素の発生する時間順に対して予め設定された許容値内の組合せ１８０１，１８０２を抽出し、この抽出した組合せの各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正することを特徴とする。
また、（４）上記（３）に記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、動作要素認識部１０３で選択した各動作要素を、この各動作要素に置き換え可能な予め作成された手話単語テンプレート９０５の各動作要素毎に同時要素１７０１〜１７０５としてまとめ、かつ、この同時要素が、手話動作の内の手の形状、方向、位置等の静的な状態を記述した静的動作要素１７０７，１７０８，１７０９、もしくは、手話動作の内の手の動き方等の動的な状態を記述した動的動作要素１７１０〜１７１２のいずれからなるのか分類し、各同時要素１７０７〜１７０９単位で組合せ１８０１〜１８０３を生成することを特徴とする。
また、（５）上記（４）に記載の手話単語パターン辞書作成システムにおいて、それぞれ同じ時間帯で発生する手話単語テンプレート９０５の各動作要素を同時要素２６０１〜２６０４単位で逐次要素（９０６〜９０８）としてまとめ、この逐次要素９０６〜９０８単位で各動作要素を並べて手話単語テンプレート９０５を表現することを特徴とする。
また、（６）上記（５）に記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、逐次要素を構成する同時要素が静的動作要素からなる静的同時要素であれば、同じ静的同時要素の各動作要素の発生時間帯を少なくとも一つ含む時間帯を、この静的同時要素の時間帯（１６０５〜１６０６）として求め、逐次要素を構成する同時要素が動的動作要素からなる動的同時要素であれば、この動的同時要素の各動作要素の時間帯２００３を同時要素の時間帯として求め、逐次要素を構成する同時要素の求めた時間帯全てを含む時間帯を逐次要素の時間帯（２１０１）として求め、この求めた各逐次要素の時間帯２３０１〜２３０３の並びと、手話単語テンプレート９０５の各逐次要素１９０１〜１９０３の並びとのずれが、予め設定された閾値以内となる組合せを抽出することを特徴とする。
また、（７）上記（６）に記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、抽出した各組合せ１８０１〜１８０２の同時要素を構成する各動作要素の内、この動作要素が含まれる逐次要素の求めた時間帯以外で発生した動作要素を同時要素から削除し（図２５）、残った同時要素の各動作要素を、同時要素単位および逐次要素単位で、手話単語テンプレート９０５に追加してこの手話単語テンプレート９０５の修正を行う（図２６）ことを特徴とする。
また、本発明の手話単語パターン辞書の作成方法は、（８）予め作成された手話単語テンプレート９０５の各動作要素（図９）を抽出すると共に、この抽出した各動作要素のそれぞれの記述内容に基づき、抽出した各動作要素と同じ種類で予め定められた度合いで類似する置き換え可能な各動作要素を抽出する第１のステップ（ステップ１００１）と、手話単語テンプレート９０５に対応する実際の手話動作の各動作要素を、それぞれが発生した時間帯と共に抽出し（図１５）、この抽出した各動作要素の内、ステップ１００１で抽出した各動作要素と一致し（尚、予め作成された各動作要素は当然実際の手話動作にも含まれており、抽出される）、かつ、発生した時間帯が予め作成された手話単語テンプレート９０５の各動作要素の発生時間帯と少しでも重なる（図１６）ものを選択する第２のステップ（ステップ１００２，１００３）と、このステップ１００２で選択した各動作要素から、この各動作要素が発生したそれぞれの時間帯が、予め作成された手話単語テンプレート９０５の各動作要素の発生時間順に矛盾しない動作要素を特定し、この特定した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正する第３のステップ（ステップ１００４〜１００７）とを少なくとも有し、ステップ１００７で修正した手話単語テンプレート９０５を手話単語パターン辞書格納部１０９に格納することを特徴とする。
また、（９）上記（８）に記載の手話単語パターン辞書作成方法において、第３のステップは、第２のステップで選択した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素と置き換えて、手話単語テンプレート９０５を表現する各動作要素の組合せを１以上生成する第４のステップ（ステップ１００４）と、このステップ１００４で生成した組合せの内、各動作要素の時間帯の並びのずれが、手話単語テンプレート９０５における各動作要素の発生する時間順に対して予め設定された許容値内の組合せを抽出する第５のステップ（ステップ１００５）と、このステップ１００５で抽出した組合せの各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正する第６のステップ（ステップ１００６，１００７）とを少なくとも有することを特徴とする。
また、（１０）上記（９）に記載の手話単語パターン辞書作成方法において、第４のステップ（ステップ１００４）では、第２のステップ（ステップ１００２，１００３）で選択した各動作要素を、この各動作要素に置き換え可能な予め作成された手話単語テンプレート９０５の各動作要素毎に同時要素としてまとめ、かつ、この同時要素が、手話動作の内の手の形状、方向、位置等の静的な状態を記述した静的動作要素、もしくは、手話動作の内の手の動き方等の動的な状態を記述した動的動作要素のいずれからなるのか分類して、各同時要素単位で組合せを生成することを特徴とする。
また、（１１）上記（１０）に記載の手話単語パターン辞書作成方法において、それぞれ同じ時間帯で発生する手話単語テンプレート９０５の各動作要素を同時要素単位で逐次要素としてまとめ、この逐次要素単位で各動作要素を並べて手話単語テンプレート９０５を表現することを特徴とする。
また、（１２）上記（１１）に記載の手話単語パターン辞書作成方法において、第５のステップでは、逐次要素を構成する同時要素が静的動作要素からなる静的同時要素であれば、同じ静的同時要素の各動作要素の発生時間帯を少なくとも一つ含む時間帯を、この静的同時要素の時間帯として求め、逐次要素を構成する同時要素が動的動作要素からなる動的同時要素であれば、この動的同時要素の各動作要素の時間帯を同時要素の時間帯として求め、逐次要素を構成する同時要素の求めた時間帯を全て含む時間帯を逐次要素の時間帯として求め、この求めた各逐次要素の時間帯の並びと、手話単語テンプレート９０５の各逐次要素の並びとのずれが、予め設定された閾値以内となる組合せを抽出することを特徴とする。また、（１３）上記（１２）に記載の手話単語パターン辞書作成方法において、第６のステップでは、第５のステップで抽出した各組合せ（図２５、１８０１，１８０２）の同時要素を構成する各動作要素の内、この動作要素が含まれる逐次要素の第５のステップで求めた時間帯以外で発生した動作要素を同時要素から削除し（図２５）、残った同時要素の各動作要素を、同時要素単位および逐次要素単位で、手話単語テンプレート９０５に追加してこの手話単語テンプレート９０５の修正を行う（図２６）ことを特徴とする。
また、（１４）上記（８）から（１３）のいずれかに記載の手話単語パターン辞書作成システムにおいて、手話単語テンプレート９０５が、同じ手話動作を２以上の所定回数を繰返して表現される場合、手話単語テンプレート９０５に対する実際の手話動作の所定回数の繰り返し毎に、第２および第３のステップにおける発生時間順に矛盾しない動作要素の特定を繰り返し、この繰り返しの全てで特定された発生時間順に矛盾しない各動作要素を、置き換え可能な手話単語テンプレート９０５の各動作要素に追加することを特徴とする。
【０００８】
【発明の実施の形態】
本発明では、予め正しい動作要素が記述された手話単語テンプレートに、実際の手話動作の学習用手話データから得られた動作要素を追加して、手話単語パターン辞書を作成する。この時、学習用手話データから得られた動作要素が、手話単語テンプレートに追加して良いものか否かの選別を行なう。例えば、学習用手話データから得られた動作要素が、手話単語テンプレートの動作要素に類似しているか否か、および、発生する時間順序など手話動作における各動作要素の時間関係に大きなずれがないか否かを判別する。類似していないものや時間関係のずれが大きいものは、誤った動作のものとして、手話単語テンプレートに追加しない。
【０００９】
以下、このような本発明の手話単語パターン辞書作成システムに係る実施例を、図面により詳細に説明する。
図１は、本発明の手話単語パターン辞書作成システムの本発明に係る構成の一実施例を示すブロック図である。
本図１において、１０１は手話入力部、１０２は学習用手話データ格納部、１０３は本発明に係る動作要素認識部、１０４は動作要素認識用パターン格納部、１０５は動作要素リスト格納部、１０６は動作要素格納部、１０７は手話単語パターン辞書作成部、１０８は手話単語テンプレート格納部、１０９は手話単語パターン辞書格納部、１１０は手話単語テンプレート入力部、１１１は動作要素抽出部である。
【００１０】
手話入力部１０１は、手話における手動作を電気信号に変換して手話データとして入力し、学習用手話データ格納部１０２に格納する。動作要素認識部１０３は、動作要素リスト格納部１０５に格納してある動作要素を列挙した動作要素リストの内容に従い、学習用手話データ格納部１０２中に格納してある手話データから動作要素を認識する。この動作要素認識部１０３による動作要素の認識の際に必要な動作要素のパターンや各種パラメータは、動作要素認識用パターン格納部１０４に格納されている。
動作要素認識部１０３によって認識された動作要素は動作要素格納部１０６に格納される。
【００１１】
手話単語パターン辞書作成部１０７は、動作要素格納部１０６に格納されている動作要素と、手話単語テンプレート格納部１０８に格納されている手話動作の大まかな構造を記述した手話単語テンプレートとを用いて手話パターン辞書の作成を行ない、手話単語パターン辞書格納部１０９に格納する。
手話単語テンプレート入力部１１０は、手話単語テンプレートの内容を入力し、手話単語テンプレート格納部１０８に格納する。
【００１２】
本発明に係る動作要素抽出部１１１は、手話単語テンプレート格納部１０８に格納されている手話単語テンプレート中に記述されている動作要素を抽出し、動作要素認識部１０３で認識すべき動作要素のリストを作成し、動作要素リスト格納部１０５に格納する。
特に、動作要素抽出部１１１は、手話単語テンプレート格納部１０８内の手話単語テンプレート中に記述されている動作要素を抽出するだけではなく、この抽出した各動作要素と予め定められた度合いで類似する置き換え可能な各動作要素を、各動作要素のそれぞれの記述内容に基づき抽出し、リストに載せ動作要素リスト格納部１０５に格納する。
【００１３】
そして、動作要素認識部１０３は、手話単語テンプレート格納部１０８に格納された手話単語テンプレートに対応して手話入力部１０１から入力され学習用手話データ格納部１０２に格納された実際の手話動作の各動作要素を、それぞれが発生した時間帯と共に抽出し、この抽出した各動作要素の内、動作要素リスト格納部１０５に格納された各動作要素と一致し、かつ、発生した時間帯が手話単語テンプレートの各動作要素の発生時間帯と少しでも重なるものを選択して、動作要素格納部１０６に格納する。
【００１４】
手話単語パターン辞書格納部１０９は、動作要素格納部１０６に格納された各動作要素から、それぞれが発生した時間帯が、学習用手話データ格納部１０２に格納された実際の手話動作の各動作要素の発生時間順に矛盾しない動作要素を特定し、この特定した各動作要素を、それぞれ対応する各動作要素に追加して、手話単語テンプレートを修正し、この修正した手話単語テンプレートを手話単語パターン辞書格納部１０９に格納する。
以下、このような動作を行う手話単語パターン辞書作成システムに関してさらに詳細を説明する。
【００１５】
図２は、図１における手話単語パターン辞書作成システムのハードウェア構成例を示すブロック図である。
図２において、手話入力装置２０１は、手話における手動作を電気信号に変換する装置であり、例えば、手袋にセンサを設置し、手の形状や動きを電気信号に変換する装置として良く知られている装置を利用することができる。このような手話入力装置２０１によって、手話の手動作は指の曲げ角度や手の位置などからなる多次元の時系列データに変換される。
【００１６】
文字入力装置２０２は、手話単語テンプレートを記述するための文字を入力するための装置であり、キーボードなどの一般に使用される文字入力のための装置を使用することができる。演算装置２０３は、動作要素の認識や手話単語パターン辞書の作成を行う装置であり、メモリ２０５からプログラムを読み込み、そのプログラムに従って処理を行う。出力装置２０４は、手話単語パターン辞書の作成の処理過程や処理結果を表示し、確認するための装置であり、一般に使用されるＣＲＴディスプレイなどの文字出力装置を使用することができる。
【００１７】
メモリ２０５は、動作要素認識プログラム２０６、動作要素抽出プログラム２０７、および手話単語パターン辞書作成プログラム２０８を格納するための記憶装置である。メモリ２０９は、動作要素認識用パターン２１０、手話単語テンプレート２１１、および動作要素リスト２１２を格納するための記憶装置である。メモリ２１３は、入力装置２０１から入力された学習用手話データを格納するための記憶装置である。メモリ２１４は、学習用手話データから認識された動作要素を格納するための記憶装置である。メモリ２１５は、作成された手話単語パターン辞書を格納するための記憶装置である。
【００１８】
図３は、図１における手話入力部によって変換された手動作データのフォーマット例を示す説明図である。
図３において、３０１は手の位置に関するデータであり、この手の位置３０１は、さらにｘ軸のデータ（ｘ）３０２、ｙ軸のデータ（ｙ）３０３、ｚ軸のデータ（ｚ）３０４から構成されている。
また、３０５は手の方向に関するデータであり、この手の方向３０５は、ｘ軸回りの角度（α）３０６、ｙ軸回りの角度（β）３０７、ｚ軸回りの角度（γ）３０８から構成されている。
【００１９】
また、３０９は指の曲げに関するデータであり、この指の曲げ３０９は、親指の第２関節の曲げ角度（α１）３１０、親指の第３関節の曲げ角度（β１）３１１、人差し指の第１関節の曲げ角度（α２）３１２、人差し指の第２関節の曲げ角度（β２）３１３、中指の第１関節の曲げ角度（α３）３１４、中指の第２関節の曲げ角度（β３）３１５、薬指の第１関節の曲げ角度（α４）３１６、薬指の第２関節の曲げ角度（β４）３１７、小指の第１関節の曲げ角度（α５）３１８、小指の第２関節の曲げ角度（β５）３１９から構成されている。
【００２０】
また、３２０〜３２２はそれぞれ、時刻ｔ１、ｔ２、ｔｎにおける手の位置３０１、手の方向３０２、指の曲げ３０９の情報を表す。
このように、手話における動作は手の位置３０１、手の方向３０５、指の曲げ３０９からなる時系列データとして表される。
【００２１】
図４は、図１における動作要素認識用パターン格納部に格納される動作要素を認識するためのパラメータの格納フォーマットを示す説明図である。
図４において、動作要素名４０１は、認識処理にそのパラメータを使用する動作要素の名称を、パラメータ数４０２は、その動作要素の認識に使用するパラメータの数を表し、４０３〜４０５は各パラメータを表す。
以下、図５〜図９を用いて、図１における手話単語テンプレート格納部１０８に格納される手話単語テンプレートのフォーマットについて詳細に説明する。
【００２２】
図５は、動作要素によって表現した手話動作のモデルを示す説明図である。
本図５に示すように、手話の動作は、時間的に連続して生じる逐次要素５０１〜５０３の列で表すことができる。また、各逐次要素５０１〜５０３は、同じ時間範囲に生じる同時要素５０４〜５０６から構成される。さらに、各同時要素５０４〜５０６は、同じ時間範囲に存在する動作要素５０７〜５０９から構成されている。ここで、例えば、同時要素５０４を構成する動作要素５０７〜５０９は、同じ種類で属性のみ異なる動作要素であり、同時要素５０４中の動作要素５０７〜５０９のいずれかの動素要素が存在すれば、その同時要素５０４が存在すると見なされる。一方、逐次要素５０１中に含まれる同時要素５０４〜５０６が全て存在する場合のみ、その逐次要素５０１が存在すると見なされる。
【００２３】
図６は、動作要素の種類を示す説明図である。
本図６に示すように、動作要素は、手の形状、手の方向、手の位置、および、直線、波線、両手の距離、両手の位置関係などの大分類と、それぞれの具体的な属性である小分類によって表現される。尚、動作要素によっては、さらに詳細な属性が付加される動作要素もある。
【００２４】
図７は、図５で示したモデルに基づく手話単語テンプレートの記述フォーマット例を示す説明図である。
図７において、手話単語名７０１は、その動作要素の組み合わせが表す手話単語名を表す。繰り返し回数７０２は、動作要素の組み合わせによって表現される全体の動作が何回繰り返されるかを表す。逐次要素数７０３は、手話単語を構成する逐次要素の数である。逐次要素７０４〜７０６は、手話単語を構成する各逐次要素を表す。同時要素数７０７は、逐次要素を構成する同時要素の数である。同時要素７０８〜７１０は、逐次要素７０４を構成する各同時要素を表す。動作要素数７１１は、同時要素を構成する動作要素の数である。動作要素７１２〜７１４は、同時要素７０８を構成する各動作要素である。
【００２５】
図８は、動作要素の記述フォーマット例を示す説明図である。
本図８において、８０１は、図６に示した動作要素の大分類および小分類の組、８０２は、その動作要素を表現するために使用される手の種類および部位であり、手の種類には、「右」あるいは「左」のいずれかを記述する。また、部位に関しては、方向に関係する動作要素の場合、「指先」、「法線」、「側面」、「親指」、「人差し指」、「中指」、「薬指」、「小指」が、また、位置に関係する動作要素の場合、「掌」、「親指」、「人差し指」、「中指」、「薬指」、「小指」のいずれかを記述する。図中８０３，８０４は、動作要素の大分類および小分類以外の属性であり、動作要素によって列挙される個数が異なる。
【００２６】
図９は、図３から図８で述べた手話単語テンプレートの記述フォーマットに従って記述した手話単語テンプレートの一例を示す説明図である。
本図９に示す手話９０１は、「とても」という意味の手話であり、「動作開始時の状態」９０２、「直線運動の状態」９０３、「動作終了時の状態」９０４の逐次的に生じる３つの状態によって表される。これらの状態からなる手話９０１の手話単語テンプレートを９０５に示す。
【００２７】
この手話単語テンプレート９０５において、逐次要素９０６〜９０８は、それぞれ手話９０１の状態９０２〜９０４に対応する。逐次要素９０６は、２つの同時要素９０９，９１０から構成されており、各同時要素９０９，９１０は、それぞれ、「形状」９１１および「方向」９１２の動作要素から構成される。同様に逐次要素９０７は、１つの同時要素で「直線」、逐次要素９０８は、２つの逐次要素でそれぞれ「形状」および「方向」の同時要素から構成されている。
この手話単語テンプレート９０５に記述されている動作要素は、図８で述べた属性が省略されているが、実際には動作要素に応じていくつかの属性を付加することもできる。小分類および属性が記述された場合は、手話単語パターン辞書を作成する際の基準値として使用される。
【００２８】
次に、図１０から図２６を用いて、手話単語パターン辞書を作成する方法について詳細に説明する。
図１０は、本発明に係る手話単語パターン辞書の作成処理の一実施例を示すフローチャートである。
本図１０において、ステップ１００１は図１における動作要素抽出部１１１、ステップ１００２は図１における動作要素認識部１０３、ステップ１００３〜ステップ１００７は図１における手話単語パターン辞書作成部１０７の処理に対応する。
以下、ステップ１００１〜ステップ１００７におけるそれぞれの処理を順次説明する。
【００２９】
ステップ１００１において、手話単語テンプレートからその中に記述されている動作要素を抽出し、動作要素リストを作成する。この動作要素リストを作成する場合、まず、手話単語テンプレート中の動作要素について、図１１に示すような動作要素の大分類、小分類、手の種類および手の部位、からなるリストを作成する。尚、手話単語テンプレート中で小分類が指定されていない動作要素については、小分類の項目は省略される。また、この図１１に示すリストにおいては、全ての属性は省かれる。
そして、このようにして作成されたリスト中の各動作要素について、大分類は同一で、かつ、その動作要素の小分類を基準として、小分類が空間的にある範囲に含まれる動作要素をリストに追加する。
【００３０】
このような動作要素のリストへの追加に関して、図１２を用いて説明する。
例えば、大分類が「方向」で、小分類が「上」であるとすると、図１２のように、「上」１２０１を中心とするある範囲１２０４に含まれる小分類を持つ「方向」が動作要素リストに追加される動作要素として選択される。図１２の場合、「上内」１２０２と「上外」１２０３を持つ「方向」が追加されることになる。ここで、範囲１２０４は、任意に設定することができるが、手話単語パターン辞書作成時の検索範囲を小さくするために、通常は、特徴パラメータ空間において、中心となる小分類に隣合う小分類のみが選択されるように設定する。また、小分類が省略された動作要素に関しては、その大分類に対応する全ての小分類が選択される。
【００３１】
図１３に、このようにして作成した動作要素リストの一例を示す。
この図１３における動作要素リスト中の動作要素１３０１，１３０３，１３０５，１３０７は、図９に示した手話単語テンプレートから抽出された動作要素である。また、斜線で示した動作要素１３０２，１３０４，１３０６，１３０８は追加された動作要素である。
【００３２】
図１０に戻り、ステップ１００２の処理を説明する。
このステップ１００２においては、学習用手話データから、ステップ１００１で選択された図１３に示す動作要素リスト中の動作要素の認識を行なう。この動作要素の認識は、図１の動作要素認識部１０３によって行なわれる。以下、この動作要素認識部１０３について説明する。
【００３３】
図１４は、図１における動作要素認識部の構成例を示すブロック図である。
本図１４の動作要素認識部１０３において、特徴パラメータ抽出部１４０１では、入力された学習用手話データから、速度や加速度、曲率など、動作要素を認識するために必要なパラメータの抽出を行なう。
パラメータ選択部１４０２では、例えば図１３に示すような動作要素リスト中の動作要素を参照し、それぞれの動作要素の認識に必要なパラメータを選択し、該当する各認識部に送る。形状認識部１４０３、方向認識部１４０４、位置認識部１４０５、直線認識部１４０６、円認識部１４０７は、それぞれの動作要素を認識するための認識部であり、認識を行なう必要のある動作要素の種類それぞれに対して用意される。
【００３４】
これらの各認識部では、パラメータ選択部１４０２から送られてきた特徴パラメータと、図１における動作要素認識用パターン格納部１０４に格納されている動作要素認識用パターン中の該当する動作要素のパターンを使用して、その動作要素の認識を行ない、結果を出力する。それぞれの動作要素を認識するための技術としては、例えば、特願平６−２５３４５７号（「手話認識装置」）に記載の技術等を用いて容易に行なうことができる。
【００３５】
このようにして、動作要素認識部１０３において認識された動作要素の出力結果の一例を図１５に示す。
この図１５に示すように、図１４の動作要素認識部１０３で認識された動作要素は、始点１５０１、終点１５０２、評価値１５０３、および動作要素１５０４の４つの項目の組によって記述され、この４項目の組のリスト形式で図１の動作要素格納部１０６に格納される。
【００３６】
図１０に戻り、ステップ１００３の処理を説明する。
このステップ１００３においては、図１の動作要素認識部１０３で認識された動作要素から、図１の手話単語テンプレート格納部１０８に格納されている手話単語テンプレート中の動作要素に対応する動作要素を検索し、手話単語テンプレート中の動作要素と、認識された動作要素の対応表を作成する。
この対応表の作成において、動作要素間の対応は、同時要素を単位として求める。また、同時要素に含まれる動作要素が形状や方向のように静的であるか、あるいは、直線や円のように動的であるかによって対応を求める処理が異なる。
【００３７】
例えば、静的な動作要素の場合は、次の図１６の例に示すように、同時要素に含まれる動作要素あるいは、その動作要素の小分類を基準としたある範囲内に含まれる小分類を持つ動作要素のいずれかが検出されている連続した区間を求め、その中に含まれる動作要素の組をその同時要素に対応する動作要素とする。
すなわち、図１６において、中心となる小分類を持つ動作要素を「形状・ア」１６０１，１６０２、その小分類を中心としたある範囲内の小分類を持つ動作要素を「形状・モ」１６０３および「形状・サ」１６０４とすると、時刻１６０５と時刻１６０６の間の区間にある動作要素の組「形状・ア」、「形状・モ」および「形状・サ」が同時要素に対応する動作要素として対応表に登録される。
【００３８】
また、動的な動作要素の場合は、動き全体を単位として認識が行なわれるため、一つの認識された動作要素が同時要素中のいずれかの動作要素と同じであれば、その動作要素は、単独で、その同時要素に対応する動作要素として対応表に登録される。
このようにして作成された動作要素の対応表の一例を図１７に示す。
この図１７における対応表は、図９に示した手話単語テンプレート９０５と、図１５に示した動作要素認識結果から求められた対応表である。
【００３９】
図１７において、組合せ数１７０６は、その同時要素に対応する動作要素の組の数であり、この後に動作要素の組合せ１７０７が記述される。
ここで、静的な同時要素は１７０１，１７０２，１７０４，１７０５であり、動的な同時要素は１７０３のみである。同時要素１７０１，１７０２，１７０５では、手話単語テンプレートに記述された動作要素と、その動作要素の小分類を中心としたある範囲内に含まれる小分類を持つ動作要素の組１７０７〜１７０９が各同時要素に対応している。一方、同時要素１７０３に対しては、動作要素１７１０〜１７１２の各々が対応している。
【００４０】
図１０に戻り、ステップ１００４の処理を説明する。
このステップ１００４においては、手話単語テンプレート中の動作要素との対応関係を求めて認識された図１７に示される各動作要素を用いて、辞書に格納する手話単語パターンの候補となる動作要素の組合せを求める。この場合も、ステップ１００３と同様に、同時要素を単位として、同時要素に対応する動作要素の組を１つずつ選択することによって、次の図１８に示すような組合せを求める。
【００４１】
この図１８では、図１７の対応表を用いて作成した手話単語パターンの候補を示し、図１７の対応表では、同時要素１７０１〜１７０５に対して、それぞれ１組、１組、３組、１組、１組の動作要素の組が対応しているため、手話単語パターンの候補としては、これらの組合せの総数である「１×１×３×１×１＝３」通りの候補が作成される。図１８においては、作成された３つの手話単語パターン組合せの候補１８０１〜１８０３が示されている。同時要素に対応する動作要素の組は、同時要素１７０３を除いて１組だけであるため、図１８に示された３つの手話単語パターン組合せの候補１８０１〜１８０３においては、同時要素１７０３に対応する動作要素１８０４〜１８０６のみが異なっている。
【００４２】
図１０に戻り、ステップ１００５の処理を説明する。
このステップ１００５においては、ステップ１００４で求めた図１８の手話単語パターン候補中の動作要素間の時間的な関係が許容範囲内であるかどうかを判定する。この時間的な関係も、同時要素を単位として判定を行なう。このためまず、同時要素の時間範囲を求める。ここで、静的な動作要素から構成される同時要素の場合は、同時要素に対応する動作要素の少なくとも１つが存在する連続した時間範囲を、その同時要素が存在する時間範囲とする。また、動的な同時要素の場合は、その同時要素に対応する動作要素の時間範囲をその同時要素の存在する時間範囲とする。
【００４３】
手話単語テンプレートに記述されている同時要素および逐次要素の時間的な関係は、理想的な状態を表す。すなわち、図１９に示すように、逐次要素に含まれる同時要素は全て同じ時間範囲に存在し、また、それぞれの逐次要素は互いの時間範囲に重なりもギャップも存在しない。
図１９は、図９の手話単語テンプレート９０５が表す同時要素、逐次要素の関係を示しており、逐次要素１９０１〜１９０３の間には全く時間的な重なりもギャップも存在しない。しかし、学習用手話データから認識された動作要素に基づき構成される同時要素や逐次要素は、図１９に示されるような理想的な関係になることはなく、同時要素間にずれが生じたり、逐次要素間に重なりやギャップが生じる。以下、その説明を行う。
【００４４】
図２０は、図１８の手話単語パターンの候補における同時要素の時間的な関係を示す説明図である。
本図２０で示すように、それぞれ静的な同時要素２００１と同時要素２００２の間、および、同時要素２００４と同時要素２００２の間には、時間範囲にずれが生じている。また、各逐次要素に相当する範囲と考えられる同時要素２００１、同時要素２００２、同時要素２００４の間には、時間的な重なりが生じている。
このため、手話単語パターンの候補の判定は、手話単語テンプレートが示す理想的な同時要素間、および、逐次要素間の関係を基準として、重なりやギャップが許容範囲内であるかどうかを判定することにより行なう。
【００４５】
これを行なうために、まず、各逐次要素に含まれる同時要素間の重なりを評価する。重なりの評価には、ｉ番目の同時要素の時間範囲を（「Ｓｉ、Ｅｉ」）として、次の「数１」に示す重なり度ｒを定義し、この重なり度の値が、予め設定してある閾値Ｔｓ以上の場合、その逐次要素が存在すると判定する。
【数１】
【００４６】
図２１において、範囲２１０１が「数１」の分子、範囲２１０２が分母に対応する。同時要素間の関係が許容範囲内であると判定された逐次要素の時間範囲は、その逐次要素に含まれる同時要素に共通の時間範囲、すなわち、図２１において範囲２１０１に相当する範囲とする。尚、同時要素間の重なり度として、逐次要素に含まれる同時要素から２つの同時要素を選択し、全ての組合せに対して「数１」と同様の式で２つの同時要素間の重なり度を求め、その平均を用いても良い。また、検出された逐次要素の時間範囲として、その逐次要素に含まれる同時要素の時間範囲の平均値を用いても良い。
【００４７】
各逐次要素中の同時要素間の関係が許容範囲内であると判定された場合、次に、逐次要素間の関係の評価を行なう。これを行なうためには、ｉ番目とｉ＋１番目の逐次要素について次の「数２」に示す評価値ｅを定義し、この評価値ｅがあらかじめ設定してある範囲（「Ｔｏ，Ｔｇ」）の範囲内にある場合、ｉ番目とｉ＋１番目の逐次要素の時間的な関係は許容値以内であると判定する。
【数２】
【００４８】
図２２において、範囲２２０１、範囲２２０３が「数２」の分子、範囲２２０２、範囲２２０４が分母に対応する。この図２２では、各同時要素は、逐次要素の範囲に含まれる部分のみ示してある。
検出された逐次要素間の関係が許容範囲内にない場合を、図２３に示す。
図２３は、図１８に示した手話単語パターン候補１８０３に対応する図であり、この場合、逐次要素２３０２と逐次要素２３０３は時間的な関係が逆転しており、「数２」の条件を満たさないため許容範囲外であると判定される。
【００４９】
このような「数２」に基づく判定によって、全ての隣合う逐次要素間の関係が許容範囲内であると判定された手話単語パターン候補が、手話単語パターン辞書の作成に使用される。
尚、繰り返し回数が２回以上の場合、繰り返し回数分の逐次要素間の関係について同様な評価を行なう。
また、逐次要素間の関係の評価値として、逐次要素間のギャップあるいは重なりの大きさをそのまま使用してもよい。また、常に、或る大きさのギャップあるいは重なりが生じる場合、ギャップや重なりの平均値を基準値とし、そこからのずれの大きさに対して評価値を求めてもよい。
【００５０】
図１０に戻り、ステップ１００６の処理を説明する。
このステップ１００６においては、ステップ１００５で許容範囲内であると判定された手話単語パターンの候補を用いて、手話単語テンプレートを修正するための修正用動作要素リストを作成する。この処理は、基本的にはステップ１００４と逆の処理である。例えば、図１８に示した手話単語パターンの候補の場合、許容範囲外であると判定された候補１８０３以外の、候補１８０１、候補１８０２を用いて、同時要素と動作要素の対応表を再構築する。ただし、静的な動作要素を含む同時要素については、候補中の動作要素の組合せにより検出された逐次要素の範囲に含まれない動作要素は削除される。
【００５１】
以下、ステップ１００６の処理を図２４を用いて説明する。
図２４において、動作要素２４０１〜２４０３からなる同時要素は、静的な「方向」の動作要素を含み、逐次要素２４０４，２４０５のいずれにも含まれる同時要素とする。この場合、逐次要素２４０４の範囲内には、動作要素２４０３は含まれないため、逐次要素２４０４中のこの同時要素に対応する動作要素は、動作要素２４０１，２４０２のみとなる。同様に、逐次要素２４０５中のこの同時要素に対応する動作要素は、動作要素２４０２，２４０３のみとなる。
【００５２】
このようにして作成した、図１８の手話単語パターンの候補に対応する修正用動作要素リストを図２５に示す。
このような図１０のステップ１００６での処理により、図１８では３つの動作要素から構成されていた同時要素１８０７および同時要素１８０８の部分には、図２５において、２５０１および２５０２に示すように、２つの動作要素のみが対応する。
【００５３】
図１０に戻り、最後のステップ１００７の処理を説明する。
このステップ１００７においては、ステップ１００６で作成された修正用動作要素リストを用いて手話単語テンプレートの内容を修正することにより、手話単語パターン辞書を作成する。
図９の手話単語テンプレート９０５を、図２５の修正用動作要素リストによって修正して作成した手話単語パターン辞書を図２６に示す。
この図２６に示すように、同時要素２６０１〜２６０４に、学習用手話データから認識された動作要素が追加されている。
【００５４】
以上、図１〜図２６を用いて説明したように、本実施例の手話単語パターン辞書作成システムおよび方法では、ユーザによって手話の大まかな構造のみが定義された手話単語テンプレートをもとに、学習用手話データから必要な動作要素の認識を行ない、この認識した動作要素から、手話単語テンプレート中の動作要素に対応する動作要素を検索し、この検索した動作要素間の関係が許容範囲内であるかどうかを検証し、この検証の結果、動作要素間の関係が許容範囲内の場合に、その動作要素によってテンプレートを修正することにより、手話単語パターン辞書を作成する。
【００５５】
このことにより、ユーザは、手話の大まかな構造のみを記述すれば良いので、手話単語パターン辞書作成時に必要なユーザの労力を減らすことができる。また、実際の手話から得られた動作要素によって手話単語パターン辞書を作成できるため、精度の良い認識を行なうことができるようになる。
尚、本発明は、図１〜図２６を用いて説明した実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。
【００５６】
【発明の効果】
本発明によれば、実際の手話動作に対応できる精度の高い手話単語パターン辞書を自動的に作成することができ、状況や個人差による手話動作の変動にも効率良く対応して正しい認識を行う高性能な手話認識装置を容易に構築することが可能である。
【図面の簡単な説明】
【図１】本発明の手話単語パターン辞書作成システムの本発明に係る構成の一実施例を示すブロック図である。
【図２】図１における手話単語パターン辞書作成システムのハードウェア構成例を示すブロック図である。
【図３】図１における手話入力部によって変換された手動作データのフォーマット例を示す説明図である。
【図４】図１における動作要素認識用パターン格納部に格納される動作要素認識用パターンのフォーマット例を示す説明図である。
【図５】動作要素によって表現された手話動作のモデルを示す説明図である。
【図６】手話単語を構成する動作要素の種類を示す説明図である。
【図７】図５で示したモデルに基づく手話単語テンプレートの記述フォーマット例を示す説明図である。
【図８】動作要素の記述フォーマット例を示す説明図である。
【図９】手話単語テンプレートの一例を示す説明図である。
【図１０】本発明に係る手話単語パターン辞書の作成処理の一実施例を示すフローチャートである。
【図１１】手話単語テンプレート中の動作要素リストのフォーマット例を示す説明図である。
【図１２】図１１における動作要素リストに追加される動作要素の選択範囲例を示す説明図である。
【図１３】図１の動作要素抽出部で抽出された動作要素リスト例を示す説明図である。
【図１４】図１における動作要素認識部の構成例を示すブロック図である。
【図１５】図１における学習用手話データ格納部に格納される学習データに基づく動作要素認識部による動作要素の認識結果例を示す説明図である。
【図１６】図１における動作要素認識部による断続的な静的動作要素から構成される同時要素の抽出例を示す説明図である。
【図１７】図１における動作要素認識部の認識結果により出力された動作要素の対応表の一例を示す説明図である。
【図１８】図１における手話単語パターン辞書作成部で作成された手話単語パターン候補の一例を示す説明図である。
【図１９】図９の手話単語テンプレートが表す同時要素と逐次要素の関係例を示す説明図である。
【図２０】図１８の手話単語パターン候補における同時要素間の時間的な関係を示す説明図である。
【図２１】数１で表される同時要素間の重なり状態例を示す説明図である。
【図２２】数２で表される逐次要素間の重なり状態例およびギャップ状態例を示す説明図である。
【図２３】図１８における３番目の手話単語パターン候補の各逐次要素の位置関係を示す説明図である。
【図２４】同時要素中の静的な動作要素と逐次要素との位置関係を示す説明図である。
【図２５】図１における手話単語パターン辞書作成部により作成された修正用動作要素リストの一例を示す説明図である。
【図２６】図１における手話単語パターン辞書作成部により作成された手話単語パターン辞書の一例を示す説明図である。
【符号の説明】
１０１：手話入力部、１０２：学習用手話データ格納部、１０３：動作要素認識部、１０４：動作要素認識用パターン格納部、１０５：動作要素リスト格納部、１０６：動作要素格納部、１０７：手話単語パターン辞書作成部、１０８：手話単語テンプレート格納部、１０９：手話単語パターン辞書格納部、１１０：手話単語テンプレート入力部、１１１：動作要素抽出部、２０１：手話入力装置、２０２：文字入力装置、２０３：演算装置、２０４：出力装置、２０５：メモリ、２０６：動作要素認識プログラム、２０７：動作要素抽出プログラム、２０８：手話単語パターン辞書作成プログラム、２０９：メモリ、２１０：動作要素認識用パターン、２１１：手話単語テンプレート、２１２：動作要素リスト、２１３〜２１５：メモリ、３０１：手の位置のデータ、３０２：ｘ軸のデータ（ｘ）、３０３：ｙ軸のデータ（ｙ）、３０４：ｚ軸のデータ（ｚ）、３０５：手の方向データ、３０６：ｘ軸回りの角度（α）、３０７：ｙ軸回りの角度（β）、３０８：ｚ軸回りの角度（γ）、３０９：指の曲げデータ、３１０：親指の第２関節の曲げ角度（α１）、３１１：親指の第３関節の曲げ角度（β１）、３１２：人差し指の第１関節の曲げ角度（α２）、３１３：人差し指の第２関節の曲げ角度（β２）、３１４：中指の第１関節の曲げ角度（α３）、３１５：中指の第２関節の曲げ角度（β３）、３１６：薬指の第１関節の曲げ角度（α４）、３１７：薬指の第２関節の曲げ角度（β４）、３１８：小指の第１関節の曲げ角度（α５）、３１９：小指の第２関節の曲げ角度（β５）、３２０〜３２２：情報、４０１：動作要素名、４０２：パラメータ数、４０３〜４０５：パラメータ、５０１〜５０３：逐次要素、５０４〜５０６：同時要素、５０７〜５０９：動作要素、６０１：動作要素大分類、６０２：動作要素小分類、７０１：手話単語名、７０２：繰り返し回数、７０３：逐次要素数、７０４〜７０６：逐次要素、７０７：同時要素数、７０８〜７１０：同時要素、７１１：動作要素数、７１２〜７１４：動作要素、８０１：動作要素の大分類および小分類の組、８０２：手の種類および部位、８０３，８０４：動作要素の大分類および小分類以外の属性、９０１：手話、９０２：「動作開始時の状態」、９０３：「直線運動の状態」、９０４：「動作終了時の状態」９０５：手話単語テンプレート、９０６〜９０８：逐次要素、９０９，９１０：同時要素、９１１：動作要素「形状」、９１２：動作要素「方向」、１１０１〜１１０３：動作要素、１２０１：「上」、１２０２：「上内」、１２０３：「上外」、１２０４：範囲、１３０１〜１３０８：動作要素、１４０１：特徴パラメータ抽出部、１４０２：パラメータ選択部、１４０３：形状認識部、１４０４：方向認識部、１４０５：位置認識部、１４０６：直線認識部、１４０７：円認識部、１５０１：始点、１５０２：終点、１５０３：評価値、１５０４：動作要素、１６０１，１６０２：「形状・ア」、１６０３：「形状・モ」、１６０４：「形状・サ」、１６０５，１６０６：時刻、１７０１〜１７０５：同時要素、１７０６：組合せ数、１７０７〜１７０９：動作要素の組合せ、１７１０〜１７１２：動作要素、１８０１〜１８０３：手話単語パターン組合せの候補、１８０４〜１８０６：動作要素、１９０１〜１９０３：逐次要素、２００１，２００２〜２００４：同時要素、２１０１，２１０２：範囲、２２０１〜２２０４：範囲、２３０１〜２３０３：逐次要素、２４０１〜２４０３：動作要素、２４０４，２４０５：逐次要素、２６０１〜２６０４：同時要素。
【発明の属する技術分野】
本発明は、実際の手話動作を入力した手話データのパターンに基づき手話動作に対応する手話単語の認識を行う手話パターン認識装置で用いる手話単語パターン辞書の作成技術に係り、特に、状況や個人差による手話動作の変動にも効率良く対応して正しい認識を行うのに好適な手話単語パターン辞書作成システムおよび方法に関するものである。
【０００２】
【従来の技術】
従来、手話の認識技術に関しては、例えば、本出願人等による特願平６−２５３４５７号公報や、「非接触による手話動作の認識アルゴリズムの開発（計測自動制御学会：ヒューマン・インタフェース部会 Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ Ｖｏｌ．１０ Ｎｏ．１， ｐｐ．４１−４６， １９９５）」に記載のものがある。これらの技術では、手話動作の基本単位である動作要素（手の形状や方向、位置、および動き方等）を表す記号の組合わせとして手話動作を表現した手話単語パターン辞書を使用する。すなわち、入力された手話データから動作要素を認識し、この動作要素と、手話単語パターン辞書中に予め作成された動作要素の組合せを比較することにより、どの手話単語が入力されたかを認識する。
【０００３】
これらの技術では、入力された手話動作からどのように動作要素を認識するか、また、認識された動作要素と手話単語パターン辞書中の動作要素との比較をどのように行なうか等についての技術が開示されている。しかし、動作要素の組合せとして記述される手話単語パターン辞書を如何にして作成するかに関しての技術は述べられていない。
手話単語パターン辞書を作成する場合、手作業で必要な動作要素とそれらの関係を１つ１つ登録していくことが考えられる。この場合、認識精度を上げるためには、手話者による実際の手話における動作要素を登録する必要がある。
【０００４】
このように人間が手作業により動作要素を登録することは、大まかな動作に対しては比較的容易である。しかし、実際の手話動作においては、状況や手話者の癖による個人差があり、同じ手話単語に対する手話動作であっても、異なる動作要素の組合せとなる場合がある。その相違が大きい場合には、誤った手話動作としても良いが、ある程度の相違を吸収できなければ、実用にはならない。
【０００５】
このような実際の手話動作における動作要素を登録するためには、手話データから動作要素を認識した後、必要な動作要素を選択する必要がある。一般に、１つのパターンデータから認識される動作要素の種類は多く、また、動作要素間の時間的な関係も理想的な状態にある場合はほとんどない。そのため、人間が手作業で一つ一つ動作要素を選択していては非常に効率が悪い。さらに、通常の認識用手話単語パターンの学習には、１つの単語あたり、数十から数百のサンプルを使用するため、全てを人間が手作業で行なうことは、実用的でない。
【０００６】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、実際の手話動作に対応できる精度の高い手話単語パターン辞書を自動的に作成することができない点である。
本発明の目的は、これら従来技術の課題を解決し、手話単語パターン辞書の作成に係るユーザの労力を軽減でき、かつ、精度の良い手話認識を可能とする手話単語パターン辞書作成システムおよび方法を提供することである。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明の手話単語パターン辞書作成システムは、（１）予め作成された手話単語Ｗ（手話単語テンプレート９０５）の各動作要素９１１，９１２（１３０１，１３０３，１３０５，１３０７）を抽出すると共に、この抽出した各動作要素のそれぞれの記述内容に基づき、抽出した各動作要素と予め定められた度合いで類似する置き換え可能な各動作要素１３０２，１３０４，１３０６，１３０８を抽出する動作要素抽出部１１１と、手話単語テンプレート９０５に対応する実際の手話動作の各動作要素１５０４を、それぞれが発生した時間帯１５０１，１５０２と共に抽出し、この抽出した各動作要素の内、動作要素抽出部１１１で抽出した各動作要素と一致し、かつ、発生した時間帯が手話単語テンプレート９０５の各動作要素の発生時間帯と少しでも重なるものを選択する動作要素認識部１０３と、この動作要素認識部１０３で選択した各動作要素１７０７〜１７１２から、これらの各動作要素１７０７〜１７１２が発生したそれぞれの時間帯が、手話単語テンプレート９０５の各動作要素１３０１，１３０３，１３０５，１３０７の発生時間順に矛盾しない動作要素を特定し、この特定した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正する手話単語パターン辞書作成部１０７とを少なくとも有し、手話単語パターン辞書作成部１０７で修正した手話単語テンプレート９０５を手話単語パターン辞書格納部１０９に格納することを特徴とする。
また、（２）上記（１）に記載の手話単語パターン辞書作成システムにおいて、動作要素抽出部１１１は、手話単語テンプレート９０５の各動作要素を中心とした空間の所定の範囲内に含まれる同じ種類の動作要素を、手話単語テンプレート９０５の各動作要素と置き換え可能な動作要素として抽出することを特徴とする。
また、（３）上記（１）もしくは（２）のいずれかに記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、動作要素認識部１０３で選択した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素と置き換えて、手話単語テンプレート９０５を表現する各動作要素の組合せ１８０１〜１８０３を１以上生成し、この生成した組合せの内、各動作要素の時間帯の並びのずれが、手話単語テンプレート９０５における各動作要素の発生する時間順に対して予め設定された許容値内の組合せ１８０１，１８０２を抽出し、この抽出した組合せの各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正することを特徴とする。
また、（４）上記（３）に記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、動作要素認識部１０３で選択した各動作要素を、この各動作要素に置き換え可能な予め作成された手話単語テンプレート９０５の各動作要素毎に同時要素１７０１〜１７０５としてまとめ、かつ、この同時要素が、手話動作の内の手の形状、方向、位置等の静的な状態を記述した静的動作要素１７０７，１７０８，１７０９、もしくは、手話動作の内の手の動き方等の動的な状態を記述した動的動作要素１７１０〜１７１２のいずれからなるのか分類し、各同時要素１７０７〜１７０９単位で組合せ１８０１〜１８０３を生成することを特徴とする。
また、（５）上記（４）に記載の手話単語パターン辞書作成システムにおいて、それぞれ同じ時間帯で発生する手話単語テンプレート９０５の各動作要素を同時要素２６０１〜２６０４単位で逐次要素（９０６〜９０８）としてまとめ、この逐次要素９０６〜９０８単位で各動作要素を並べて手話単語テンプレート９０５を表現することを特徴とする。
また、（６）上記（５）に記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、逐次要素を構成する同時要素が静的動作要素からなる静的同時要素であれば、同じ静的同時要素の各動作要素の発生時間帯を少なくとも一つ含む時間帯を、この静的同時要素の時間帯（１６０５〜１６０６）として求め、逐次要素を構成する同時要素が動的動作要素からなる動的同時要素であれば、この動的同時要素の各動作要素の時間帯２００３を同時要素の時間帯として求め、逐次要素を構成する同時要素の求めた時間帯全てを含む時間帯を逐次要素の時間帯（２１０１）として求め、この求めた各逐次要素の時間帯２３０１〜２３０３の並びと、手話単語テンプレート９０５の各逐次要素１９０１〜１９０３の並びとのずれが、予め設定された閾値以内となる組合せを抽出することを特徴とする。
また、（７）上記（６）に記載の手話単語パターン辞書作成システムにおいて、手話単語パターン辞書作成部１０７は、抽出した各組合せ１８０１〜１８０２の同時要素を構成する各動作要素の内、この動作要素が含まれる逐次要素の求めた時間帯以外で発生した動作要素を同時要素から削除し（図２５）、残った同時要素の各動作要素を、同時要素単位および逐次要素単位で、手話単語テンプレート９０５に追加してこの手話単語テンプレート９０５の修正を行う（図２６）ことを特徴とする。
また、本発明の手話単語パターン辞書の作成方法は、（８）予め作成された手話単語テンプレート９０５の各動作要素（図９）を抽出すると共に、この抽出した各動作要素のそれぞれの記述内容に基づき、抽出した各動作要素と同じ種類で予め定められた度合いで類似する置き換え可能な各動作要素を抽出する第１のステップ（ステップ１００１）と、手話単語テンプレート９０５に対応する実際の手話動作の各動作要素を、それぞれが発生した時間帯と共に抽出し（図１５）、この抽出した各動作要素の内、ステップ１００１で抽出した各動作要素と一致し（尚、予め作成された各動作要素は当然実際の手話動作にも含まれており、抽出される）、かつ、発生した時間帯が予め作成された手話単語テンプレート９０５の各動作要素の発生時間帯と少しでも重なる（図１６）ものを選択する第２のステップ（ステップ１００２，１００３）と、このステップ１００２で選択した各動作要素から、この各動作要素が発生したそれぞれの時間帯が、予め作成された手話単語テンプレート９０５の各動作要素の発生時間順に矛盾しない動作要素を特定し、この特定した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正する第３のステップ（ステップ１００４〜１００７）とを少なくとも有し、ステップ１００７で修正した手話単語テンプレート９０５を手話単語パターン辞書格納部１０９に格納することを特徴とする。
また、（９）上記（８）に記載の手話単語パターン辞書作成方法において、第３のステップは、第２のステップで選択した各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素と置き換えて、手話単語テンプレート９０５を表現する各動作要素の組合せを１以上生成する第４のステップ（ステップ１００４）と、このステップ１００４で生成した組合せの内、各動作要素の時間帯の並びのずれが、手話単語テンプレート９０５における各動作要素の発生する時間順に対して予め設定された許容値内の組合せを抽出する第５のステップ（ステップ１００５）と、このステップ１００５で抽出した組合せの各動作要素を、それぞれ置き換え可能な手話単語テンプレート９０５の各動作要素に追加して、手話単語テンプレート９０５を修正する第６のステップ（ステップ１００６，１００７）とを少なくとも有することを特徴とする。
また、（１０）上記（９）に記載の手話単語パターン辞書作成方法において、第４のステップ（ステップ１００４）では、第２のステップ（ステップ１００２，１００３）で選択した各動作要素を、この各動作要素に置き換え可能な予め作成された手話単語テンプレート９０５の各動作要素毎に同時要素としてまとめ、かつ、この同時要素が、手話動作の内の手の形状、方向、位置等の静的な状態を記述した静的動作要素、もしくは、手話動作の内の手の動き方等の動的な状態を記述した動的動作要素のいずれからなるのか分類して、各同時要素単位で組合せを生成することを特徴とする。
また、（１１）上記（１０）に記載の手話単語パターン辞書作成方法において、それぞれ同じ時間帯で発生する手話単語テンプレート９０５の各動作要素を同時要素単位で逐次要素としてまとめ、この逐次要素単位で各動作要素を並べて手話単語テンプレート９０５を表現することを特徴とする。
また、（１２）上記（１１）に記載の手話単語パターン辞書作成方法において、第５のステップでは、逐次要素を構成する同時要素が静的動作要素からなる静的同時要素であれば、同じ静的同時要素の各動作要素の発生時間帯を少なくとも一つ含む時間帯を、この静的同時要素の時間帯として求め、逐次要素を構成する同時要素が動的動作要素からなる動的同時要素であれば、この動的同時要素の各動作要素の時間帯を同時要素の時間帯として求め、逐次要素を構成する同時要素の求めた時間帯を全て含む時間帯を逐次要素の時間帯として求め、この求めた各逐次要素の時間帯の並びと、手話単語テンプレート９０５の各逐次要素の並びとのずれが、予め設定された閾値以内となる組合せを抽出することを特徴とする。また、（１３）上記（１２）に記載の手話単語パターン辞書作成方法において、第６のステップでは、第５のステップで抽出した各組合せ（図２５、１８０１，１８０２）の同時要素を構成する各動作要素の内、この動作要素が含まれる逐次要素の第５のステップで求めた時間帯以外で発生した動作要素を同時要素から削除し（図２５）、残った同時要素の各動作要素を、同時要素単位および逐次要素単位で、手話単語テンプレート９０５に追加してこの手話単語テンプレート９０５の修正を行う（図２６）ことを特徴とする。
また、（１４）上記（８）から（１３）のいずれかに記載の手話単語パターン辞書作成システムにおいて、手話単語テンプレート９０５が、同じ手話動作を２以上の所定回数を繰返して表現される場合、手話単語テンプレート９０５に対する実際の手話動作の所定回数の繰り返し毎に、第２および第３のステップにおける発生時間順に矛盾しない動作要素の特定を繰り返し、この繰り返しの全てで特定された発生時間順に矛盾しない各動作要素を、置き換え可能な手話単語テンプレート９０５の各動作要素に追加することを特徴とする。
【０００８】
【発明の実施の形態】
本発明では、予め正しい動作要素が記述された手話単語テンプレートに、実際の手話動作の学習用手話データから得られた動作要素を追加して、手話単語パターン辞書を作成する。この時、学習用手話データから得られた動作要素が、手話単語テンプレートに追加して良いものか否かの選別を行なう。例えば、学習用手話データから得られた動作要素が、手話単語テンプレートの動作要素に類似しているか否か、および、発生する時間順序など手話動作における各動作要素の時間関係に大きなずれがないか否かを判別する。類似していないものや時間関係のずれが大きいものは、誤った動作のものとして、手話単語テンプレートに追加しない。
【０００９】
以下、このような本発明の手話単語パターン辞書作成システムに係る実施例を、図面により詳細に説明する。
図１は、本発明の手話単語パターン辞書作成システムの本発明に係る構成の一実施例を示すブロック図である。
本図１において、１０１は手話入力部、１０２は学習用手話データ格納部、１０３は本発明に係る動作要素認識部、１０４は動作要素認識用パターン格納部、１０５は動作要素リスト格納部、１０６は動作要素格納部、１０７は手話単語パターン辞書作成部、１０８は手話単語テンプレート格納部、１０９は手話単語パターン辞書格納部、１１０は手話単語テンプレート入力部、１１１は動作要素抽出部である。
【００１０】
手話入力部１０１は、手話における手動作を電気信号に変換して手話データとして入力し、学習用手話データ格納部１０２に格納する。動作要素認識部１０３は、動作要素リスト格納部１０５に格納してある動作要素を列挙した動作要素リストの内容に従い、学習用手話データ格納部１０２中に格納してある手話データから動作要素を認識する。この動作要素認識部１０３による動作要素の認識の際に必要な動作要素のパターンや各種パラメータは、動作要素認識用パターン格納部１０４に格納されている。
動作要素認識部１０３によって認識された動作要素は動作要素格納部１０６に格納される。
【００１１】
手話単語パターン辞書作成部１０７は、動作要素格納部１０６に格納されている動作要素と、手話単語テンプレート格納部１０８に格納されている手話動作の大まかな構造を記述した手話単語テンプレートとを用いて手話パターン辞書の作成を行ない、手話単語パターン辞書格納部１０９に格納する。
手話単語テンプレート入力部１１０は、手話単語テンプレートの内容を入力し、手話単語テンプレート格納部１０８に格納する。
【００１２】
本発明に係る動作要素抽出部１１１は、手話単語テンプレート格納部１０８に格納されている手話単語テンプレート中に記述されている動作要素を抽出し、動作要素認識部１０３で認識すべき動作要素のリストを作成し、動作要素リスト格納部１０５に格納する。
特に、動作要素抽出部１１１は、手話単語テンプレート格納部１０８内の手話単語テンプレート中に記述されている動作要素を抽出するだけではなく、この抽出した各動作要素と予め定められた度合いで類似する置き換え可能な各動作要素を、各動作要素のそれぞれの記述内容に基づき抽出し、リストに載せ動作要素リスト格納部１０５に格納する。
【００１３】
そして、動作要素認識部１０３は、手話単語テンプレート格納部１０８に格納された手話単語テンプレートに対応して手話入力部１０１から入力され学習用手話データ格納部１０２に格納された実際の手話動作の各動作要素を、それぞれが発生した時間帯と共に抽出し、この抽出した各動作要素の内、動作要素リスト格納部１０５に格納された各動作要素と一致し、かつ、発生した時間帯が手話単語テンプレートの各動作要素の発生時間帯と少しでも重なるものを選択して、動作要素格納部１０６に格納する。
【００１４】
手話単語パターン辞書格納部１０９は、動作要素格納部１０６に格納された各動作要素から、それぞれが発生した時間帯が、学習用手話データ格納部１０２に格納された実際の手話動作の各動作要素の発生時間順に矛盾しない動作要素を特定し、この特定した各動作要素を、それぞれ対応する各動作要素に追加して、手話単語テンプレートを修正し、この修正した手話単語テンプレートを手話単語パターン辞書格納部１０９に格納する。
以下、このような動作を行う手話単語パターン辞書作成システムに関してさらに詳細を説明する。
【００１５】
図２は、図１における手話単語パターン辞書作成システムのハードウェア構成例を示すブロック図である。
図２において、手話入力装置２０１は、手話における手動作を電気信号に変換する装置であり、例えば、手袋にセンサを設置し、手の形状や動きを電気信号に変換する装置として良く知られている装置を利用することができる。このような手話入力装置２０１によって、手話の手動作は指の曲げ角度や手の位置などからなる多次元の時系列データに変換される。
【００１６】
文字入力装置２０２は、手話単語テンプレートを記述するための文字を入力するための装置であり、キーボードなどの一般に使用される文字入力のための装置を使用することができる。演算装置２０３は、動作要素の認識や手話単語パターン辞書の作成を行う装置であり、メモリ２０５からプログラムを読み込み、そのプログラムに従って処理を行う。出力装置２０４は、手話単語パターン辞書の作成の処理過程や処理結果を表示し、確認するための装置であり、一般に使用されるＣＲＴディスプレイなどの文字出力装置を使用することができる。
【００１７】
メモリ２０５は、動作要素認識プログラム２０６、動作要素抽出プログラム２０７、および手話単語パターン辞書作成プログラム２０８を格納するための記憶装置である。メモリ２０９は、動作要素認識用パターン２１０、手話単語テンプレート２１１、および動作要素リスト２１２を格納するための記憶装置である。メモリ２１３は、入力装置２０１から入力された学習用手話データを格納するための記憶装置である。メモリ２１４は、学習用手話データから認識された動作要素を格納するための記憶装置である。メモリ２１５は、作成された手話単語パターン辞書を格納するための記憶装置である。
【００１８】
図３は、図１における手話入力部によって変換された手動作データのフォーマット例を示す説明図である。
図３において、３０１は手の位置に関するデータであり、この手の位置３０１は、さらにｘ軸のデータ（ｘ）３０２、ｙ軸のデータ（ｙ）３０３、ｚ軸のデータ（ｚ）３０４から構成されている。
また、３０５は手の方向に関するデータであり、この手の方向３０５は、ｘ軸回りの角度（α）３０６、ｙ軸回りの角度（β）３０７、ｚ軸回りの角度（γ）３０８から構成されている。
【００１９】
また、３０９は指の曲げに関するデータであり、この指の曲げ３０９は、親指の第２関節の曲げ角度（α１）３１０、親指の第３関節の曲げ角度（β１）３１１、人差し指の第１関節の曲げ角度（α２）３１２、人差し指の第２関節の曲げ角度（β２）３１３、中指の第１関節の曲げ角度（α３）３１４、中指の第２関節の曲げ角度（β３）３１５、薬指の第１関節の曲げ角度（α４）３１６、薬指の第２関節の曲げ角度（β４）３１７、小指の第１関節の曲げ角度（α５）３１８、小指の第２関節の曲げ角度（β５）３１９から構成されている。
【００２０】
また、３２０〜３２２はそれぞれ、時刻ｔ１、ｔ２、ｔｎにおける手の位置３０１、手の方向３０２、指の曲げ３０９の情報を表す。
このように、手話における動作は手の位置３０１、手の方向３０５、指の曲げ３０９からなる時系列データとして表される。
【００２１】
図４は、図１における動作要素認識用パターン格納部に格納される動作要素を認識するためのパラメータの格納フォーマットを示す説明図である。
図４において、動作要素名４０１は、認識処理にそのパラメータを使用する動作要素の名称を、パラメータ数４０２は、その動作要素の認識に使用するパラメータの数を表し、４０３〜４０５は各パラメータを表す。
以下、図５〜図９を用いて、図１における手話単語テンプレート格納部１０８に格納される手話単語テンプレートのフォーマットについて詳細に説明する。
【００２２】
図５は、動作要素によって表現した手話動作のモデルを示す説明図である。
本図５に示すように、手話の動作は、時間的に連続して生じる逐次要素５０１〜５０３の列で表すことができる。また、各逐次要素５０１〜５０３は、同じ時間範囲に生じる同時要素５０４〜５０６から構成される。さらに、各同時要素５０４〜５０６は、同じ時間範囲に存在する動作要素５０７〜５０９から構成されている。ここで、例えば、同時要素５０４を構成する動作要素５０７〜５０９は、同じ種類で属性のみ異なる動作要素であり、同時要素５０４中の動作要素５０７〜５０９のいずれかの動素要素が存在すれば、その同時要素５０４が存在すると見なされる。一方、逐次要素５０１中に含まれる同時要素５０４〜５０６が全て存在する場合のみ、その逐次要素５０１が存在すると見なされる。
【００２３】
図６は、動作要素の種類を示す説明図である。
本図６に示すように、動作要素は、手の形状、手の方向、手の位置、および、直線、波線、両手の距離、両手の位置関係などの大分類と、それぞれの具体的な属性である小分類によって表現される。尚、動作要素によっては、さらに詳細な属性が付加される動作要素もある。
【００２４】
図７は、図５で示したモデルに基づく手話単語テンプレートの記述フォーマット例を示す説明図である。
図７において、手話単語名７０１は、その動作要素の組み合わせが表す手話単語名を表す。繰り返し回数７０２は、動作要素の組み合わせによって表現される全体の動作が何回繰り返されるかを表す。逐次要素数７０３は、手話単語を構成する逐次要素の数である。逐次要素７０４〜７０６は、手話単語を構成する各逐次要素を表す。同時要素数７０７は、逐次要素を構成する同時要素の数である。同時要素７０８〜７１０は、逐次要素７０４を構成する各同時要素を表す。動作要素数７１１は、同時要素を構成する動作要素の数である。動作要素７１２〜７１４は、同時要素７０８を構成する各動作要素である。
【００２５】
図８は、動作要素の記述フォーマット例を示す説明図である。
本図８において、８０１は、図６に示した動作要素の大分類および小分類の組、８０２は、その動作要素を表現するために使用される手の種類および部位であり、手の種類には、「右」あるいは「左」のいずれかを記述する。また、部位に関しては、方向に関係する動作要素の場合、「指先」、「法線」、「側面」、「親指」、「人差し指」、「中指」、「薬指」、「小指」が、また、位置に関係する動作要素の場合、「掌」、「親指」、「人差し指」、「中指」、「薬指」、「小指」のいずれかを記述する。図中８０３，８０４は、動作要素の大分類および小分類以外の属性であり、動作要素によって列挙される個数が異なる。
【００２６】
図９は、図３から図８で述べた手話単語テンプレートの記述フォーマットに従って記述した手話単語テンプレートの一例を示す説明図である。
本図９に示す手話９０１は、「とても」という意味の手話であり、「動作開始時の状態」９０２、「直線運動の状態」９０３、「動作終了時の状態」９０４の逐次的に生じる３つの状態によって表される。これらの状態からなる手話９０１の手話単語テンプレートを９０５に示す。
【００２７】
この手話単語テンプレート９０５において、逐次要素９０６〜９０８は、それぞれ手話９０１の状態９０２〜９０４に対応する。逐次要素９０６は、２つの同時要素９０９，９１０から構成されており、各同時要素９０９，９１０は、それぞれ、「形状」９１１および「方向」９１２の動作要素から構成される。同様に逐次要素９０７は、１つの同時要素で「直線」、逐次要素９０８は、２つの逐次要素でそれぞれ「形状」および「方向」の同時要素から構成されている。
この手話単語テンプレート９０５に記述されている動作要素は、図８で述べた属性が省略されているが、実際には動作要素に応じていくつかの属性を付加することもできる。小分類および属性が記述された場合は、手話単語パターン辞書を作成する際の基準値として使用される。
【００２８】
次に、図１０から図２６を用いて、手話単語パターン辞書を作成する方法について詳細に説明する。
図１０は、本発明に係る手話単語パターン辞書の作成処理の一実施例を示すフローチャートである。
本図１０において、ステップ１００１は図１における動作要素抽出部１１１、ステップ１００２は図１における動作要素認識部１０３、ステップ１００３〜ステップ１００７は図１における手話単語パターン辞書作成部１０７の処理に対応する。
以下、ステップ１００１〜ステップ１００７におけるそれぞれの処理を順次説明する。
【００２９】
ステップ１００１において、手話単語テンプレートからその中に記述されている動作要素を抽出し、動作要素リストを作成する。この動作要素リストを作成する場合、まず、手話単語テンプレート中の動作要素について、図１１に示すような動作要素の大分類、小分類、手の種類および手の部位、からなるリストを作成する。尚、手話単語テンプレート中で小分類が指定されていない動作要素については、小分類の項目は省略される。また、この図１１に示すリストにおいては、全ての属性は省かれる。
そして、このようにして作成されたリスト中の各動作要素について、大分類は同一で、かつ、その動作要素の小分類を基準として、小分類が空間的にある範囲に含まれる動作要素をリストに追加する。
【００３０】
このような動作要素のリストへの追加に関して、図１２を用いて説明する。
例えば、大分類が「方向」で、小分類が「上」であるとすると、図１２のように、「上」１２０１を中心とするある範囲１２０４に含まれる小分類を持つ「方向」が動作要素リストに追加される動作要素として選択される。図１２の場合、「上内」１２０２と「上外」１２０３を持つ「方向」が追加されることになる。ここで、範囲１２０４は、任意に設定することができるが、手話単語パターン辞書作成時の検索範囲を小さくするために、通常は、特徴パラメータ空間において、中心となる小分類に隣合う小分類のみが選択されるように設定する。また、小分類が省略された動作要素に関しては、その大分類に対応する全ての小分類が選択される。
【００３１】
図１３に、このようにして作成した動作要素リストの一例を示す。
この図１３における動作要素リスト中の動作要素１３０１，１３０３，１３０５，１３０７は、図９に示した手話単語テンプレートから抽出された動作要素である。また、斜線で示した動作要素１３０２，１３０４，１３０６，１３０８は追加された動作要素である。
【００３２】
図１０に戻り、ステップ１００２の処理を説明する。
このステップ１００２においては、学習用手話データから、ステップ１００１で選択された図１３に示す動作要素リスト中の動作要素の認識を行なう。この動作要素の認識は、図１の動作要素認識部１０３によって行なわれる。以下、この動作要素認識部１０３について説明する。
【００３３】
図１４は、図１における動作要素認識部の構成例を示すブロック図である。
本図１４の動作要素認識部１０３において、特徴パラメータ抽出部１４０１では、入力された学習用手話データから、速度や加速度、曲率など、動作要素を認識するために必要なパラメータの抽出を行なう。
パラメータ選択部１４０２では、例えば図１３に示すような動作要素リスト中の動作要素を参照し、それぞれの動作要素の認識に必要なパラメータを選択し、該当する各認識部に送る。形状認識部１４０３、方向認識部１４０４、位置認識部１４０５、直線認識部１４０６、円認識部１４０７は、それぞれの動作要素を認識するための認識部であり、認識を行なう必要のある動作要素の種類それぞれに対して用意される。
【００３４】
これらの各認識部では、パラメータ選択部１４０２から送られてきた特徴パラメータと、図１における動作要素認識用パターン格納部１０４に格納されている動作要素認識用パターン中の該当する動作要素のパターンを使用して、その動作要素の認識を行ない、結果を出力する。それぞれの動作要素を認識するための技術としては、例えば、特願平６−２５３４５７号（「手話認識装置」）に記載の技術等を用いて容易に行なうことができる。
【００３５】
このようにして、動作要素認識部１０３において認識された動作要素の出力結果の一例を図１５に示す。
この図１５に示すように、図１４の動作要素認識部１０３で認識された動作要素は、始点１５０１、終点１５０２、評価値１５０３、および動作要素１５０４の４つの項目の組によって記述され、この４項目の組のリスト形式で図１の動作要素格納部１０６に格納される。
【００３６】
図１０に戻り、ステップ１００３の処理を説明する。
このステップ１００３においては、図１の動作要素認識部１０３で認識された動作要素から、図１の手話単語テンプレート格納部１０８に格納されている手話単語テンプレート中の動作要素に対応する動作要素を検索し、手話単語テンプレート中の動作要素と、認識された動作要素の対応表を作成する。
この対応表の作成において、動作要素間の対応は、同時要素を単位として求める。また、同時要素に含まれる動作要素が形状や方向のように静的であるか、あるいは、直線や円のように動的であるかによって対応を求める処理が異なる。
【００３７】
例えば、静的な動作要素の場合は、次の図１６の例に示すように、同時要素に含まれる動作要素あるいは、その動作要素の小分類を基準としたある範囲内に含まれる小分類を持つ動作要素のいずれかが検出されている連続した区間を求め、その中に含まれる動作要素の組をその同時要素に対応する動作要素とする。
すなわち、図１６において、中心となる小分類を持つ動作要素を「形状・ア」１６０１，１６０２、その小分類を中心としたある範囲内の小分類を持つ動作要素を「形状・モ」１６０３および「形状・サ」１６０４とすると、時刻１６０５と時刻１６０６の間の区間にある動作要素の組「形状・ア」、「形状・モ」および「形状・サ」が同時要素に対応する動作要素として対応表に登録される。
【００３８】
また、動的な動作要素の場合は、動き全体を単位として認識が行なわれるため、一つの認識された動作要素が同時要素中のいずれかの動作要素と同じであれば、その動作要素は、単独で、その同時要素に対応する動作要素として対応表に登録される。
このようにして作成された動作要素の対応表の一例を図１７に示す。
この図１７における対応表は、図９に示した手話単語テンプレート９０５と、図１５に示した動作要素認識結果から求められた対応表である。
【００３９】
図１７において、組合せ数１７０６は、その同時要素に対応する動作要素の組の数であり、この後に動作要素の組合せ１７０７が記述される。
ここで、静的な同時要素は１７０１，１７０２，１７０４，１７０５であり、動的な同時要素は１７０３のみである。同時要素１７０１，１７０２，１７０５では、手話単語テンプレートに記述された動作要素と、その動作要素の小分類を中心としたある範囲内に含まれる小分類を持つ動作要素の組１７０７〜１７０９が各同時要素に対応している。一方、同時要素１７０３に対しては、動作要素１７１０〜１７１２の各々が対応している。
【００４０】
図１０に戻り、ステップ１００４の処理を説明する。
このステップ１００４においては、手話単語テンプレート中の動作要素との対応関係を求めて認識された図１７に示される各動作要素を用いて、辞書に格納する手話単語パターンの候補となる動作要素の組合せを求める。この場合も、ステップ１００３と同様に、同時要素を単位として、同時要素に対応する動作要素の組を１つずつ選択することによって、次の図１８に示すような組合せを求める。
【００４１】
この図１８では、図１７の対応表を用いて作成した手話単語パターンの候補を示し、図１７の対応表では、同時要素１７０１〜１７０５に対して、それぞれ１組、１組、３組、１組、１組の動作要素の組が対応しているため、手話単語パターンの候補としては、これらの組合せの総数である「１×１×３×１×１＝３」通りの候補が作成される。図１８においては、作成された３つの手話単語パターン組合せの候補１８０１〜１８０３が示されている。同時要素に対応する動作要素の組は、同時要素１７０３を除いて１組だけであるため、図１８に示された３つの手話単語パターン組合せの候補１８０１〜１８０３においては、同時要素１７０３に対応する動作要素１８０４〜１８０６のみが異なっている。
【００４２】
図１０に戻り、ステップ１００５の処理を説明する。
このステップ１００５においては、ステップ１００４で求めた図１８の手話単語パターン候補中の動作要素間の時間的な関係が許容範囲内であるかどうかを判定する。この時間的な関係も、同時要素を単位として判定を行なう。このためまず、同時要素の時間範囲を求める。ここで、静的な動作要素から構成される同時要素の場合は、同時要素に対応する動作要素の少なくとも１つが存在する連続した時間範囲を、その同時要素が存在する時間範囲とする。また、動的な同時要素の場合は、その同時要素に対応する動作要素の時間範囲をその同時要素の存在する時間範囲とする。
【００４３】
手話単語テンプレートに記述されている同時要素および逐次要素の時間的な関係は、理想的な状態を表す。すなわち、図１９に示すように、逐次要素に含まれる同時要素は全て同じ時間範囲に存在し、また、それぞれの逐次要素は互いの時間範囲に重なりもギャップも存在しない。
図１９は、図９の手話単語テンプレート９０５が表す同時要素、逐次要素の関係を示しており、逐次要素１９０１〜１９０３の間には全く時間的な重なりもギャップも存在しない。しかし、学習用手話データから認識された動作要素に基づき構成される同時要素や逐次要素は、図１９に示されるような理想的な関係になることはなく、同時要素間にずれが生じたり、逐次要素間に重なりやギャップが生じる。以下、その説明を行う。
【００４４】
図２０は、図１８の手話単語パターンの候補における同時要素の時間的な関係を示す説明図である。
本図２０で示すように、それぞれ静的な同時要素２００１と同時要素２００２の間、および、同時要素２００４と同時要素２００２の間には、時間範囲にずれが生じている。また、各逐次要素に相当する範囲と考えられる同時要素２００１、同時要素２００２、同時要素２００４の間には、時間的な重なりが生じている。
このため、手話単語パターンの候補の判定は、手話単語テンプレートが示す理想的な同時要素間、および、逐次要素間の関係を基準として、重なりやギャップが許容範囲内であるかどうかを判定することにより行なう。
【００４５】
これを行なうために、まず、各逐次要素に含まれる同時要素間の重なりを評価する。重なりの評価には、ｉ番目の同時要素の時間範囲を（「Ｓｉ、Ｅｉ」）として、次の「数１」に示す重なり度ｒを定義し、この重なり度の値が、予め設定してある閾値Ｔｓ以上の場合、その逐次要素が存在すると判定する。
【数１】
図２１において、範囲２１０１が「数１」の分子、範囲２１０２が分母に対応する。同時要素間の関係が許容範囲内であると判定された逐次要素の時間範囲は、その逐次要素に含まれる同時要素に共通の時間範囲、すなわち、図２１において範囲２１０１に相当する範囲とする。尚、同時要素間の重なり度として、逐次要素に含まれる同時要素から２つの同時要素を選択し、全ての組合せに対して「数１」と同様の式で２つの同時要素間の重なり度を求め、その平均を用いても良い。また、検出された逐次要素の時間範囲として、その逐次要素に含まれる同時要素の時間範囲の平均値を用いても良い。
【００４７】
各逐次要素中の同時要素間の関係が許容範囲内であると判定された場合、次に、逐次要素間の関係の評価を行なう。これを行なうためには、ｉ番目とｉ＋１番目の逐次要素について次の「数２」に示す評価値ｅを定義し、この評価値ｅがあらかじめ設定してある範囲（「Ｔｏ，Ｔｇ」）の範囲内にある場合、ｉ番目とｉ＋１番目の逐次要素の時間的な関係は許容値以内であると判定する。
【数２】
図２２において、範囲２２０１、範囲２２０３が「数２」の分子、範囲２２０２、範囲２２０４が分母に対応する。この図２２では、各同時要素は、逐次要素の範囲に含まれる部分のみ示してある。
検出された逐次要素間の関係が許容範囲内にない場合を、図２３に示す。
図２３は、図１８に示した手話単語パターン候補１８０３に対応する図であり、この場合、逐次要素２３０２と逐次要素２３０３は時間的な関係が逆転しており、「数２」の条件を満たさないため許容範囲外であると判定される。
【００４９】
このような「数２」に基づく判定によって、全ての隣合う逐次要素間の関係が許容範囲内であると判定された手話単語パターン候補が、手話単語パターン辞書の作成に使用される。
尚、繰り返し回数が２回以上の場合、繰り返し回数分の逐次要素間の関係について同様な評価を行なう。
また、逐次要素間の関係の評価値として、逐次要素間のギャップあるいは重なりの大きさをそのまま使用してもよい。また、常に、或る大きさのギャップあるいは重なりが生じる場合、ギャップや重なりの平均値を基準値とし、そこからのずれの大きさに対して評価値を求めてもよい。
【００５０】
図１０に戻り、ステップ１００６の処理を説明する。
このステップ１００６においては、ステップ１００５で許容範囲内であると判定された手話単語パターンの候補を用いて、手話単語テンプレートを修正するための修正用動作要素リストを作成する。この処理は、基本的にはステップ１００４と逆の処理である。例えば、図１８に示した手話単語パターンの候補の場合、許容範囲外であると判定された候補１８０３以外の、候補１８０１、候補１８０２を用いて、同時要素と動作要素の対応表を再構築する。ただし、静的な動作要素を含む同時要素については、候補中の動作要素の組合せにより検出された逐次要素の範囲に含まれない動作要素は削除される。
【００５１】
以下、ステップ１００６の処理を図２４を用いて説明する。
図２４において、動作要素２４０１〜２４０３からなる同時要素は、静的な「方向」の動作要素を含み、逐次要素２４０４，２４０５のいずれにも含まれる同時要素とする。この場合、逐次要素２４０４の範囲内には、動作要素２４０３は含まれないため、逐次要素２４０４中のこの同時要素に対応する動作要素は、動作要素２４０１，２４０２のみとなる。同様に、逐次要素２４０５中のこの同時要素に対応する動作要素は、動作要素２４０２，２４０３のみとなる。
【００５２】
このようにして作成した、図１８の手話単語パターンの候補に対応する修正用動作要素リストを図２５に示す。
このような図１０のステップ１００６での処理により、図１８では３つの動作要素から構成されていた同時要素１８０７および同時要素１８０８の部分には、図２５において、２５０１および２５０２に示すように、２つの動作要素のみが対応する。
【００５３】
図１０に戻り、最後のステップ１００７の処理を説明する。
このステップ１００７においては、ステップ１００６で作成された修正用動作要素リストを用いて手話単語テンプレートの内容を修正することにより、手話単語パターン辞書を作成する。
図９の手話単語テンプレート９０５を、図２５の修正用動作要素リストによって修正して作成した手話単語パターン辞書を図２６に示す。
この図２６に示すように、同時要素２６０１〜２６０４に、学習用手話データから認識された動作要素が追加されている。
【００５４】
以上、図１〜図２６を用いて説明したように、本実施例の手話単語パターン辞書作成システムおよび方法では、ユーザによって手話の大まかな構造のみが定義された手話単語テンプレートをもとに、学習用手話データから必要な動作要素の認識を行ない、この認識した動作要素から、手話単語テンプレート中の動作要素に対応する動作要素を検索し、この検索した動作要素間の関係が許容範囲内であるかどうかを検証し、この検証の結果、動作要素間の関係が許容範囲内の場合に、その動作要素によってテンプレートを修正することにより、手話単語パターン辞書を作成する。
【００５５】
このことにより、ユーザは、手話の大まかな構造のみを記述すれば良いので、手話単語パターン辞書作成時に必要なユーザの労力を減らすことができる。また、実際の手話から得られた動作要素によって手話単語パターン辞書を作成できるため、精度の良い認識を行なうことができるようになる。
尚、本発明は、図１〜図２６を用いて説明した実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。
【００５６】
【発明の効果】
本発明によれば、実際の手話動作に対応できる精度の高い手話単語パターン辞書を自動的に作成することができ、状況や個人差による手話動作の変動にも効率良く対応して正しい認識を行う高性能な手話認識装置を容易に構築することが可能である。
【図面の簡単な説明】
【図１】本発明の手話単語パターン辞書作成システムの本発明に係る構成の一実施例を示すブロック図である。
【図２】図１における手話単語パターン辞書作成システムのハードウェア構成例を示すブロック図である。
【図３】図１における手話入力部によって変換された手動作データのフォーマット例を示す説明図である。
【図４】図１における動作要素認識用パターン格納部に格納される動作要素認識用パターンのフォーマット例を示す説明図である。
【図５】動作要素によって表現された手話動作のモデルを示す説明図である。
【図６】手話単語を構成する動作要素の種類を示す説明図である。
【図７】図５で示したモデルに基づく手話単語テンプレートの記述フォーマット例を示す説明図である。
【図８】動作要素の記述フォーマット例を示す説明図である。
【図９】手話単語テンプレートの一例を示す説明図である。
【図１０】本発明に係る手話単語パターン辞書の作成処理の一実施例を示すフローチャートである。
【図１１】手話単語テンプレート中の動作要素リストのフォーマット例を示す説明図である。
【図１２】図１１における動作要素リストに追加される動作要素の選択範囲例を示す説明図である。
【図１３】図１の動作要素抽出部で抽出された動作要素リスト例を示す説明図である。
【図１４】図１における動作要素認識部の構成例を示すブロック図である。
【図１５】図１における学習用手話データ格納部に格納される学習データに基づく動作要素認識部による動作要素の認識結果例を示す説明図である。
【図１６】図１における動作要素認識部による断続的な静的動作要素から構成される同時要素の抽出例を示す説明図である。
【図１７】図１における動作要素認識部の認識結果により出力された動作要素の対応表の一例を示す説明図である。
【図１８】図１における手話単語パターン辞書作成部で作成された手話単語パターン候補の一例を示す説明図である。
【図１９】図９の手話単語テンプレートが表す同時要素と逐次要素の関係例を示す説明図である。
【図２０】図１８の手話単語パターン候補における同時要素間の時間的な関係を示す説明図である。
【図２１】数１で表される同時要素間の重なり状態例を示す説明図である。
【図２２】数２で表される逐次要素間の重なり状態例およびギャップ状態例を示す説明図である。
【図２３】図１８における３番目の手話単語パターン候補の各逐次要素の位置関係を示す説明図である。
【図２４】同時要素中の静的な動作要素と逐次要素との位置関係を示す説明図である。
【図２５】図１における手話単語パターン辞書作成部により作成された修正用動作要素リストの一例を示す説明図である。
【図２６】図１における手話単語パターン辞書作成部により作成された手話単語パターン辞書の一例を示す説明図である。
【符号の説明】
１０１：手話入力部、１０２：学習用手話データ格納部、１０３：動作要素認識部、１０４：動作要素認識用パターン格納部、１０５：動作要素リスト格納部、１０６：動作要素格納部、１０７：手話単語パターン辞書作成部、１０８：手話単語テンプレート格納部、１０９：手話単語パターン辞書格納部、１１０：手話単語テンプレート入力部、１１１：動作要素抽出部、２０１：手話入力装置、２０２：文字入力装置、２０３：演算装置、２０４：出力装置、２０５：メモリ、２０６：動作要素認識プログラム、２０７：動作要素抽出プログラム、２０８：手話単語パターン辞書作成プログラム、２０９：メモリ、２１０：動作要素認識用パターン、２１１：手話単語テンプレート、２１２：動作要素リスト、２１３〜２１５：メモリ、３０１：手の位置のデータ、３０２：ｘ軸のデータ（ｘ）、３０３：ｙ軸のデータ（ｙ）、３０４：ｚ軸のデータ（ｚ）、３０５：手の方向データ、３０６：ｘ軸回りの角度（α）、３０７：ｙ軸回りの角度（β）、３０８：ｚ軸回りの角度（γ）、３０９：指の曲げデータ、３１０：親指の第２関節の曲げ角度（α１）、３１１：親指の第３関節の曲げ角度（β１）、３１２：人差し指の第１関節の曲げ角度（α２）、３１３：人差し指の第２関節の曲げ角度（β２）、３１４：中指の第１関節の曲げ角度（α３）、３１５：中指の第２関節の曲げ角度（β３）、３１６：薬指の第１関節の曲げ角度（α４）、３１７：薬指の第２関節の曲げ角度（β４）、３１８：小指の第１関節の曲げ角度（α５）、３１９：小指の第２関節の曲げ角度（β５）、３２０〜３２２：情報、４０１：動作要素名、４０２：パラメータ数、４０３〜４０５：パラメータ、５０１〜５０３：逐次要素、５０４〜５０６：同時要素、５０７〜５０９：動作要素、６０１：動作要素大分類、６０２：動作要素小分類、７０１：手話単語名、７０２：繰り返し回数、７０３：逐次要素数、７０４〜７０６：逐次要素、７０７：同時要素数、７０８〜７１０：同時要素、７１１：動作要素数、７１２〜７１４：動作要素、８０１：動作要素の大分類および小分類の組、８０２：手の種類および部位、８０３，８０４：動作要素の大分類および小分類以外の属性、９０１：手話、９０２：「動作開始時の状態」、９０３：「直線運動の状態」、９０４：「動作終了時の状態」９０５：手話単語テンプレート、９０６〜９０８：逐次要素、９０９，９１０：同時要素、９１１：動作要素「形状」、９１２：動作要素「方向」、１１０１〜１１０３：動作要素、１２０１：「上」、１２０２：「上内」、１２０３：「上外」、１２０４：範囲、１３０１〜１３０８：動作要素、１４０１：特徴パラメータ抽出部、１４０２：パラメータ選択部、１４０３：形状認識部、１４０４：方向認識部、１４０５：位置認識部、１４０６：直線認識部、１４０７：円認識部、１５０１：始点、１５０２：終点、１５０３：評価値、１５０４：動作要素、１６０１，１６０２：「形状・ア」、１６０３：「形状・モ」、１６０４：「形状・サ」、１６０５，１６０６：時刻、１７０１〜１７０５：同時要素、１７０６：組合せ数、１７０７〜１７０９：動作要素の組合せ、１７１０〜１７１２：動作要素、１８０１〜１８０３：手話単語パターン組合せの候補、１８０４〜１８０６：動作要素、１９０１〜１９０３：逐次要素、２００１，２００２〜２００４：同時要素、２１０１，２１０２：範囲、２２０１〜２２０４：範囲、２３０１〜２３０３：逐次要素、２４０１〜２４０３：動作要素、２４０４，２４０５：逐次要素、２６０１〜２６０４：同時要素。
Claims (9)
- 手話動作における手の形状、方向、位置、および動き方等をそれぞれ記述した動作要素を、発生する時間順に並べた組合せで表現された手話単語を予め格納する手話単語パターン辞書格納手段を具備し、入力された実際の手話動作の上記各動作要素を時間順に抽出し、該抽出した各動作要素および時間順に対応する手話単語を上記手話単語パターン辞書格納手段から抽出して上記実際の手話動作の認識を行なう手話認識装置における上記手話単語パターン辞書の作成システムであって、予め作成された手話単語Ｗの上記各動作要素を抽出すると共に、該抽出した各動作要素のそれぞれの記述内容に基づき、上記抽出した各動作要素と予め定められた度合いで類似する置き換え可能な各動作要素を抽出する動作要素抽出手段と、上記手話単語Ｗに対応する実際の手話動作の各動作要素を、それぞれが発生した時間帯と共に抽出し、該抽出した各動作要素の内、上記動作要素抽出手段で抽出した各動作要素と一致し、かつ、発生した時間帯が上記予め作成された手話単語Ｗの各動作要素の発生時間帯と少しでも重なるものを選択する動作要素認識手段と、該動作要素認識手段で選択した各動作要素から、該各動作要素が発生したそれぞれの時間帯が、上記予め作成された手話単語Ｗの上記各動作要素の発生時間順に矛盾しない動作要素を特定し、該特定した各動作要素を、それぞれ置き換え可能な上記手話単語Ｗの各動作要素に追加して、上記手話単語Ｗを修正する手話単語パターン辞書作成手段とを少なくとも有し、上記手話単語パターン辞書作成手段で修正した上記手話単語Ｗを上記手話単語パターン辞書格納手段に格納することを特徴とする手話単語パターン辞書作成システム。
- 請求項１に記載の手話単語パターン辞書作成システムにおいて、上記動作要素抽出手段は、上記予め作成された手話単語Ｗの各動作要素を中心とした空間の所定の範囲内に含まれる同じ種類の動作要素を、上記手話単語Ｗの各動作要素と置き換え可能な動作要素として抽出することを特徴とする手話単語パターン辞書作成システム。
- 請求項１、もしくは、請求項２のいずれかに記載の手話単語パターン辞書作成システムにおいて、上記手話単語パターン辞書作成手段は、上記動作要素認識手段で選択した各動作要素を、それぞれ置き換え可能な上記手話単語Ｗの各動作要素と置き換えて、上記手話単語Ｗを表現する各動作要素の組合せを１以上生成し、該生成した組合せの内、各動作要素の上記時間帯の並びのずれが、上記手話単語Ｗにおける各動作要素の発生する時間順に対して予め設定された許容値内の組合せを抽出し、該抽出した組合せの各動作要素を、それぞれ置き換え可能な上記手話単語Ｗの各動作要素に追加して、上記手話単語Ｗを修正することを特徴とする手話単語パターン辞書作成システム。
- 請求項３に記載の手話単語パターン辞書作成システムにおいて、上記手話単語パターン辞書作成手段は、上記動作要素認識手段で選択した各動作要素を、該各動作要素に置き換え可能な上記予め作成された手話単語Ｗの各動作要素毎に同時要素としてまとめ、かつ、該同時要素が、上記手話動作の内の上記手の形状、方向、位置等の静的な状態を記述した静的動作要素、もしくは、上記手話動作の内の上記手の動き方等の動的な状態を記述した動的動作要素のいずれからなるのか分類して、上記各同時要素単位で上記組合せを生成することを特徴とする手話単語パターン辞書作成システム。
- 請求項４に記載の手話単語パターン辞書作成システムにおいて、それぞれ同じ時間帯で発生する上記手話単語Ｗの各動作要素を上記同時要素単位で逐次要素としてまとめ、該逐次要素単位で上記各動作要素を並べて上記手話単語Ｗを表現することを特徴とする手話単語パターン辞書作成システム。
- 請求項５に記載の手話単語パターン辞書作成システムにおいて、上記手話単語パターン辞書作成手段は、上記逐次要素を構成する同時要素が上記静的動作要素からなる静的同時要素であれば、同じ上記静的同時要素の各動作要素の発生時間帯を少なくとも一つ含む時間帯を、該静的同時要素の時間帯として求め、上記逐次要素を構成する上記同時要素が上記動的動作要素からなる動的同時要素であれば、該動的同時要素の各動作要素の時間帯を上記同時要素の時間帯として求め、上記逐次要素を構成する上記同時要素の上記求めた時間帯を全て含む時間帯を、上記逐次要素の時間帯として求め、該求めた各逐次要素の時間帯の並びと、上記手話単語Ｗの各逐次要素の並びとのずれが、上記予め設定された閾値以内となる組合せを抽出することを特徴とする手話単語パターン辞書作成システム。
- 手話動作における手の形状、方向、位置、および動き方等をそれぞれ記述した動作要素を、発生する時間順に並べた組合せで表現された手話単語を手話単語パターン辞書として予め格納し、入力された実際の手話動作の上記各動作要素を時間順に抽出し、該抽出した各動作要素および時間順に対応する手話単語を上記手話単語パターン辞書から抽出して上記実際の手話動作の認識を行なう手話認識装置における上記手話単語パターン辞書の作成方法であって、
予め作成された手話単語Ｗの上記各動作要素を抽出すると共に、該抽出した各動作要素のそれぞれの記述内容に基づき、上記抽出した各動作要素と予め定められた度合いで類似する置き換え可能な各動作要素を抽出する第１のステップと、
上記手話単語Ｗに対応する実際の手話動作の各動作要素を、それぞれが発生した時間帯と共に抽出し、該抽出した各動作要素の内、上記第１のステップで抽出した各動作要素と一致し、かつ、発生した時間帯が上記予め作成された手話単語Ｗの各動作要素の発生時間帯と少しでも重なるものを選択する第２のステップと、該第２のステップで選択した各動作要素から、該各動作要素が発生したそれぞれの時間帯が、上記予め作成された手話単語Ｗの上記各動作要素の発生時間順に矛盾しない動作要素を特定し、該特定した各動作要素を、それぞれ置き換え可能な上記手話単語Ｗの各動作要素に追加して、上記手話単語Ｗを修正する第３のステップとを少なくとも有し、
上記第３のステップで修正した上記手話単語Ｗを上記手話単語パターン辞書格納手段に格納することを特徴とする手話単語パターン辞書作成方法。 - 請求項７に記載の手話単語パターン辞書作成方法において、上記第３のステップは、上記第２のステップで選択した各動作要素を、それぞれ置き換え可能な上記手話単語Ｗの各動作要素と置き換えて、上記手話単語Ｗを表現する各動作要素の組合せを１以上生成する第４のステップと、
該第４のステップで生成した組合せの内、各動作要素の上記時間帯の並びのずれが、上記手話単語Ｗにおける各動作要素の発生する時間順に対して予め設定された許容値内の組合せを抽出する第５のステップと、
該第５のステップで抽出した組合せの各動作要素を、それぞれ置き換え可能な上記手話単語Ｗの各動作要素に追加して、上記手話単語Ｗを修正する第６のステップと
を少なくとも有することを特徴とする手話単語パターン辞書作成方法。 - 請求項７、もしくは、請求項８のいずれかに記載の手話単語パターン辞書作成方法において、上記手話単語Ｗが、同じ手話動作を２以上の所定回数を繰返して表現される場合、上記手話単語Ｗに対する実際の手話動作の上記所定回数の繰り返し毎に、上記第２および第３のステップにおける上記発生時間順に矛盾しない動作要素の特定を繰り返し、該繰り返しの全てで特定された上記発生時間順に矛盾しない各動作要素を、上記置き換え可能な手話単語Ｗの各動作要素に追加することを特徴とする手話単語パターン辞書作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31786796A JP3565387B2 (ja) | 1996-11-28 | 1996-11-28 | 手話単語パターン辞書作成システムおよび方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31786796A JP3565387B2 (ja) | 1996-11-28 | 1996-11-28 | 手話単語パターン辞書作成システムおよび方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10161524A JPH10161524A (ja) | 1998-06-19 |
| JP3565387B2 true JP3565387B2 (ja) | 2004-09-15 |
Family
ID=18092953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31786796A Expired - Fee Related JP3565387B2 (ja) | 1996-11-28 | 1996-11-28 | 手話単語パターン辞書作成システムおよび方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3565387B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020079163A1 (fr) * | 2018-10-18 | 2020-04-23 | A.I.O. | Procédé d'analyse des mouvements d'une personne et dispositif pour sa mise en oeuvre |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6353660B2 (ja) * | 2014-02-06 | 2018-07-04 | 日本放送協会 | 手話単語分類情報生成装置およびそのプログラム |
| CN113657101A (zh) * | 2021-07-20 | 2021-11-16 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
-
1996
- 1996-11-28 JP JP31786796A patent/JP3565387B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020079163A1 (fr) * | 2018-10-18 | 2020-04-23 | A.I.O. | Procédé d'analyse des mouvements d'une personne et dispositif pour sa mise en oeuvre |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10161524A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6407679B1 (en) | System and method for entering text in a virtual environment | |
| JP5897725B2 (ja) | ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体 | |
| JPH07160827A (ja) | 手書きストローク編集装置及び方法 | |
| CN109241525A (zh) | 关键词的提取方法、装置和系统 | |
| CN103902098A (zh) | 整形装置和整形方法 | |
| CN108549493B (zh) | 候选词筛选方法及相关设备 | |
| Cardoso et al. | Hand gesture recognition towards enhancing accessibility | |
| CN104407695A (zh) | 一种设备输入方法及装置 | |
| JP3565387B2 (ja) | 手話単語パターン辞書作成システムおよび方法 | |
| JPH08115408A (ja) | 手話認識装置 | |
| Kara et al. | Sim-U-Sketch: A sketch-based interface for SimuLink | |
| JP2000330467A (ja) | 手話教育装置、手話教育方法、及び、手話教育方法が記録された記録媒体 | |
| US20170011309A1 (en) | System and method for layered, vector cluster pattern with trim | |
| JP3615008B2 (ja) | 手話認識装置 | |
| Balcazar et al. | CircGR: interactive multi-touch gesture recognition using circular measurements | |
| JP3622488B2 (ja) | 手話単語辞書作成方法および辞書学習装置 | |
| WO2018211767A1 (ja) | 触質情報処理装置および触質情報処理方法 | |
| JP7095450B2 (ja) | 情報処理装置、文字認識方法、および文字認識プログラム | |
| JP2015203860A (ja) | 手話動作生成装置及び手話動作生成プログラム | |
| KR950010898B1 (ko) | 수서 기본획의 인식을 통한 문자 입력코드 발생방법 및 장치 | |
| JP2894305B2 (ja) | 認識装置の候補修正方式 | |
| Allevard et al. | Hand posture recognition with the fuzzy glove | |
| JP2000284682A (ja) | 手話認識方法および装置 | |
| JP3235886B2 (ja) | 曲線クラスの検証方法および装置 | |
| JPH01287774A (ja) | 和文データ入力処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040603 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |