JP3823604B2 - 手話教育装置、手話教育方法、及び、手話教育方法が記録された記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザが対話的に手話の学習を行うことができる手話教育装置、手話教育方法、及び手話教育方法が記録された記録媒体提供するための技術に関する。
【０００２】
【従来の技術】
ユーザに手話を学習するための環境を提供する手話教育装置の技術としては、「みんなの手話」（株式会社ＮＨＫエデュケーショナル/日本アイ・ビー・エム（株））、「君の手がささやいている」（富士通ミドルウェア株式会社、１９９６年）、「手にことばを・入門編」(富士通株式会社、１９９６年)などがある。これらの技術では、手話のビデオ動画像、それらに対応する日本語文、およびそれぞれの手話文に関する説明をユーザに同時に提示することにより、手話と日本語との対応関係を学習させようとするものである。また、これらの技術では、日本語文中の特定の単語に対応する手話動画像を表示できる機能や、単語の一覧からユーザが任意に選択した日本語の単語に対応する手話動画像を表示できる機能を有する。さらに、「手にことばを・入門編」では、動作の形状や方向といった手話を構成している動作要素を選択することによって、手話を検索する機能も有する。
【０００３】
また、「人工現実感を利用した手話学習システムの開発」（藤本、陳、水野、玉腰、藤本、第１３回ヒューマン・インタフェース・シンポジウム論文集、ｐｐ。２４９−２５４、１９９７年）では、手話認識技術を含む手話学習装置を提案している。この装置では、手話を３次元表示する機能と手話動作を認識する機能が含まれている。
【０００４】
【発明が解決しようとする課題】
従来の手話教育装置の技術では、手話の動作と日本語文との対応関係をユーザに表示することにより、ユーザが手話の動作を学習するという方法が中心であった。このような方法では、ユーザは手話動作を見て理解できるようにはなるが、ユーザ自身が手話動作を正しく行えるようになったかどうかを確認することはできないという問題がある。通常、動作を見て覚えただけでは、それを実際に動作として再現できない場合が多い。このため、ユーザが手話によるコミュニケーションを行うことができるようになることを目的とした手話教育装置としては、不十分であるという問題がある。また、装置内に格納されている手話に関する情報の検索という点では、日本語に基づいた検索のみであり、手話の動作から検索することができない。「手にことばを・入門編」では、手の形状や動き方などの動作の要素を順に指定することにより検索することが可能であるが、指定できる要素の種類や順序が決まっているなどの制限があり、柔軟な検索を行うことができないという問題がある。
【０００５】
一方、従来技術「人工現実感を利用した手話学習システムの開発」では、ユーザの手話動作を評価するために手話認識の技術を用いることを提案しているが、手話認識を手話教育の過程でどのように用いるかということに関しては述べられていない。手話の学習を行う場合、手話が読みとれるだけでなく、覚えた手話を正しく表現できるかどうかも重要となる。このため、ユーザの手話が正しい動作であるかどうかを評価する手段が必要不可欠となる。その際、手話が正しいか正しくないかの評価だけでなく、どの程度正しい動作であるか、あるいは、動作のどの部分に問題があるか、等の情報も表示し、それらの情報を容易にユーザが確認できることが望ましい。
【０００６】
本発明の目的は、手話を学習する過程において、ユーザが行った手話の動作が正しいかどうか、および、動作のどこに問題点があるかをユーザ自身が容易に確認し、効果的に手話の学習を行うことができる手段を提供することである。
【０００７】
本発明の他の目的は、ユーザが行った手話動作から直接手話に関する情報を検索することができる手段を提供することである。
【０００８】
【課題を解決するための手段】
本発明では、ユーザが行った手話動作をユーザ自身が確認できるようにするために、ユーザが入力した手話データから、その中に表現されている手話語を認識および評価し、その結果を表示する。評価結果としては、手話文や手話語に対する手話データが正しい手話文や手話語に比べてどの程度正しいかを表す数値により表示する。また、入力された手話データから生成した動画像と、装置内に格納されている情報から生成した正しい手話の動画像を同時に表示する。その際、入力した手話データを手話語の認識結果に基づいて、各手話語毎に切り出し、入力した手話データから生成した動画像と正しい手話の動画像を手話語毎に比較して表示できるようにする。さらにその際、両者の動画像に時間長の差が有る場合、一方の動画像の時間長を他方の動画像の時間長に合わせて表示を行う。
【０００９】
また、手話に関する情報の検索において、日本語から情報を検索するだけでなく、ユーザが入力した手話データを認識し、認識された手話語を含む情報を検索することにより、手話動作からの情報の検索も可能とする。
【００１０】
【発明の実施の形態】
以下、本発明の一実施例を図１から図２６を用いて説明する。
【００１１】
図１は本発明を適用した手話教育装置の概念ブロック図である。図１において、手話動作入力部１０１は、ユーザの手話動作を電気信号に変換し時系列の手話データとして入力するための手段であり、良く知られている手袋型装置１０２あるいはビデオカメラ１０３を使用することができる。文字入力部１０４はユーザからの情報を文字により入力するための手段であり、一般的に使用されるキーボード１０５を用いることができる。あるいは、既存の音声認識装置を文字入力部１０４に組み込むことによりマイクを用いることもできる。画面操作入力部１０６は、ユーザが画面上に表示されている特定の領域に対する操作を行うための手段であり、一般的に使用されているマウス１０７を用いることができる。あるいはトラックボール、タッチパネル等の良く知られている装置を用いることもできる。手話語情報格納部１０８には、手話における語である手話語に関する情報（手話語情報）が格納される。手話文情報格納部１０９には、手話語の組み合わせによって表現される手話文に関する情報（手話文情報）が格納される。手話文章情報格納部１１０には、複数の手話文によって構成される手話文章に関する情報（手話文章情報）が格納される。ユーザ情報格納部１１１には、手話教育装置を使用するユーザの学習履歴に関する情報（ユーザ情報）が格納される。
【００１２】
手話認識部１１２は手話動作入力部１０１から入力されてくるユーザの手話データを受け取り、その中に表現されている各手話語を認識するための手段である。手話語を認識する技術としては既存の技術である「連続手話認識装置及び入力装置、特開平６−３３３０２２」等を用いることができる。検索部１１３は、ユーザから入力された音声言語の語や手話認識部１１２から送られてくる手話認識の結果に基づいて、関連する手話語情報や手話文情報、手話文章情報等の手話に関する情報を検索するための手段である。手話動画像生成部１１４は、手話の動画像を生成するための手段である。手話の動画像を生成する技術としては既存の技術である「手話生成装置および方法、特開平８−０１６８２１」等を用いることができる。あるいは、一般に用いられているビデオ映像を用いることもできる。出力部１１５は、手話に関する情報や、手話の検索結果に関する情報、その他手話教育に必要となる情報を表示するための手段で、既存のディスプレイ１１６を用いることができる。
【００１３】
教育制御部１１７は、ユーザからの入力や、手話に関する情報等に基づいて、上記手話動作入力部１０１や文字入力部１０４、画面操作入力部１０６、手話認識部１１２、検索部１１３、手話動画像生成部１１４、出力部１１５の制御を行ったり、手話語情報格納部１０８、手話文情報格納部１０９、手話文章情報格納部１１０、ユーザ情報格納部１１１に対する情報の入出力を行う。なお、本発明の手話教育装置は、汎用コンピュータとソフトウェアで構成することもできる。
【００１４】
図２は、手話語情報格納部１０８に格納される手話語情報のフォーマットである。手話語名２０１は手話語につけられたラベルであり、任意の記号列を用いることができる。対応する音声言語の語数２０２は、手話語に対応する音声言語の語の数である。音声言語は任意の言語を用いることが可能であり、例えば、手話と日本語の関係を学習するための手話教育装置であるならば、音声言語として日本語が用いられる。対応する音声言語の語２０３から２０４は、手話語に対応する音声言語の語の名称である。手話認識用情報２０５は、ユーザが入力した手話動作を手話認識部１１２において認識するために用いられるテンプレートパターンを示す情報である。手話認識用情報２０５としては、テンプレートパターンに付けられた名称を記述しても良いし、あるいは、テンプレートパターンそのものを記述することもできる。テンプレートパターンの名称を記述する場合、テンプレートパターンそのものは、手話認識部１１２に格納しても良いし、あるいは、別途テンプレートパターンを格納するための格納部を設けても良い。また、テンプレートパターンのフォーマットは、手話認識部１１２で使用される認識方式に依存して決定される。
【００１５】
手話動画像生成用情報２０６は、手話動画像生成部１１４において手話動画像を生成するために使用される情報である。手話動画像生成用情報２０６としては、手話動画像生成用の情報に付けられた名称を記述しても良いし、あるいは、手話動画像生成用の情報そのものを記述することもできる。手話動画像生成用の情報に付けられた名称を記述する場合、手話動画像生成用の情報そのものは、手話動画像生成部１１４に格納しても良いし、あるいは、別途手話動画像生成用の情報を格納するための格納部を設けても良い。また、手話動画像生成用の情報の記述は、手話動画像生成部１１４で使用する動画像生成方式に依存して決定される。関連情報２０７は、手話語の動作に関する説明や、手話語の動作を表現する際に注意するべき事柄、手話語の起源等に関する情報であり、文字および、写真やイラスト等の画像を組み合わせることができる。
【００１６】
図３は、手話文情報格納部１０９に格納される手話文情報のフォーマットである。手話文名３０１はその手話文情報に付けられたラベルであり、任意の記号列を用いることができる。音声言語文字列３０２は、その手話文の意味を表す音声言語の文字列が記述される。手話語数３０３は手話文中に含まれる手話語の数である。手話語３０４から３０５は、手話文中に含まれる手話語の名称であり、手話語情報中の手話語名２０１を記述する。あるいは手話語に対応する音声言語の語２０３、２０４を用いることもできる。関連情報３０６は、その手話文の表現に関する説明や、その手話文を表現する際に注意すべき事柄等に関する情報であり、文字および写真やイラスト等の画像を組み合わせることができる。
【００１７】
図４は手話文章情報格納部１１０に格納される手話文章情報のフォーマットである。手話文章名４０１は、手話文章情報に付けられたラベルであり、任意の記号列を用いることができる。手話文数４０２は、手話文章中に含まれる手話文の数である。手話者名４０３、４０５は各手話文に対応する手話者の名称である。手話文情報名４０４、４０６は手話文情報のラベルであり、図３に示した手話文名３０１を記述する。あるいは、手話文に対応する音声言語文字列３０２を用いることもできる。関連情報４０７は、手話文章に関する説明や、手話文章を表現する際に注意すべき事柄等に関する情報である。手話文章情報にはさらに、手話文章中に含まれる手話語に関する情報を含めることもできる。
【００１８】
図５にユーザ情報格納部１１１に格納されるユーザ情報のフォーマットを示す。図５において、ユーザ名５０１はユーザ情報がどのユーザに関する情報であるかを表すためのユーザの名称である。一つの手話教育装置を複数のユーザが使用する場合、各ユーザは手話教育装置を使用する前にユーザ自身のユーザ情報を選択することにより、ユーザ自身の学習情報に基づいた学習を行うことが可能となる。手話語テスト結果情報５０２は、手話語に対応する音声言語の語をユーザに提示し、それに対するユーザの手話データを評価する手話語動作テストの結果に関する情報である。図６に手話語テスト結果情報５０２のフォーマットを示す。図６において、手話語数６０１は、テストを行った手話語の数である。手話語名６０２、６０５は、テストを行った手話語のラベルであり、図２に示した手話語名２０１を使用することができる。テスト回数６０３、６０６は各手話語のテストを行った回数を表す。評価結果６０４、６０７には、ユーザが入力した手話データを評価し、その結果得られた手話語の評価値の平均を記述する。あるいは、評価値の履歴を記述することもできる。また、評価結果として、評価値の他に、ユーザが入力した手話動作のどの部分に問題があったかに関する情報を記述することもできる。これは、手話認識部１１２における手話認識方式として「連続手話認識装置及び入力装置、特開平６−３３３０２２」のように、手話動作の詳細な評価を行うことができる方式を用いれば、容易に実現することができる。手話文テスト結果情報５０３は、手話文に対応する音声言語文字列をユーザに提示し、それに対するユーザの手話データを評価する手話文動作テストの結果に関する情報である。図７に手話文テスト結果情報５０３のフォーマットを示す。図７において、手話文数７０１は、テストを行った手話文の数である。手話文名７０２、７０６は、テストを行った手話文のラベルであり、図３に示した手話文名３０１を使用することができる。テスト回数７０３、７０７は各手話文のテストを行った回数を表す。正解回数７０４、７０８は、ユーザが入力した手話データを評価した結果、手話文中に含まれる全ての手話語が検出された回数を記述する。評価結果７０５、７０９は、ユーザが入力した手話データを評価した結果得られた手話文の評価値の平均と手話文中の手話語毎の評価値の平均を記述する。あるいは、手話文や手話語の評価値の履歴を記述することもできる。また、手話語テスト結果情報５０２と同様に、手話文中の各手話語毎に、ユーザが入力した手話データのどの部分に問題があったかに関する情報を記述することもできる。
【００１９】
図８から図２６を用いて、教育制御部１１７における処理について詳細に説明する。図８は教育制御部１１７の主要な処理の流れを示す図である。教育制御部１１７では、まず、ステップ８０１においてメインメニューの表示を行う。図９に、メインメニューの一例を示す。図９において、９０１はメニュー画面のタイトルを表す。９０２は手話文章の検索および表示により手話文章の学習を行う処理に移行するためのボタン、９０３は手話に関するテストを行う処理に移行するためのボタン、９０４は処理を終了するためのボタンである。ユーザは、キーボード１０５やマウス１０７を用いて画面上のボタンを選択し、それぞれの処理に移行することができる。また、手袋型装置１０２あるいはビデオカメラ１０３を用いて、動作によってボタンを選択するようにしてもよい。これを行うためには、手話語とは異なる特別の動作をあらかじめ手話認識部１１２に登録し、その動作がユーザによって入力された時、手話認識部１１２は特別の動作を認識したことを制御部１１７に通知するようにすれば良い。図８において、ステップ８０２では、ユーザがメニュー上のどの処理を選択したかを判定する。ステップ８０３では手話文章の検索および表示により手話文章の学習を行うための処理を実行する。ステップ８０４では手話に関するテスト処理を行う。各処理が終了するとステップ８０１に戻る。ステップ８０２において、終了が選択された場合は処理を終了する。
【００２０】
図１０に手話文章の検索および表示を行うための画面の一例を示す。図１０において、１００１は手話文章の検索方法を表示し、ユーザが必要に応じて検索方法を変更するための領域である。検索方法には、音声言語の語から検索する方法と、手話の動作から検索する方法が用意されている。図１０には音声言語を日本語とした場合の表示例が示されている。１００２は、音声言語の語から手話を検索する場合に、音声言語の語の名称を入力する領域である。１００３は手話文章情報の検索を開始するためのボタンである。１００４は検索された手話文章の名称の一覧を表示する部分である。表示される手話文章の名称は図４の手話文章名４０１である。１００５は検索された手話文章の内容を表示する画面である。１００４に表示されている手話文章の名称の内、ユーザが選択した手話文章の内容が１００５上に表示される。１００６、１００９、１０１２は、手話文章中の各手話文に対応する手話者名であり、図４における手話者名４０３、４０５が使用される。１００７、１０１０、１０１３は、手話文章中の各手話文の名称であり、図３における手話文名３０１が使用される。あるいは、手話文の意味を表す音声言語文字列３０２を使用しても良い。１００８、１０１１、１０１４は手話文章中の手話文を構成する手話語の名称の列であり、図３における手話語名３０４、３０５が使用される。あるいは、各手話語に対応する音声言語の語の名称を用いることもできる。１０１５はユーザが選択した手話語、手話文、あるいは手話文章に対する動画像を表示するための画面である。１０１６は動画像の表示を停止するためのボタン、１０１７は動画像の表示を開始するためのボタンである。１０１７を選択した場合に表示される動画像は、１００５上に表示されている手話文章情報中の手話文あるいは手話語の内、ユーザが選択した手話文あるいは手話語に対応する動画像である。１０１８は動画像の表示を一時的に停止するためのボタン、１０１９は動画像を逆戻しするためのボタン、１０２０は動画像を早送りするためのボタン、１０２１は動画像中の手話者の大きさを拡大するためのボタン、１０２２は動画像中の手話者の大きさを縮小するためのボタン、１０２３、１０２４は動画像中の手話者を見る角度を変更するためのボタンである。１０２５は、選択された手話文章の関連情報を表示するための領域であり、図４における関連情報４０７が表示される。また、１００５上に表示されている手話文あるいは手話語を選択した場合は、１０２５には選択した手話文あるいは手話語に対する関連情報が表示される。１０２６は１００５に表示されている手話文章情報中の手話文に対する動画像を最初から順に表示するためのボタンである。１０２７、１０２８は、１００５に表示されている手話文章情報中の手話文の内、ボタン上に表示されていない手話者に対応する手話者の動画像を表示し、ボタン上に表示されている手話者に対応する手話文についてはユーザが実際に手話を表現することにより手話の練習を行うためのボタンである。１０２７、１０２８上の手話者名は、１００５に表示されている手話文章情報の内容に基づいて表示される。また、手話文章中の手話者の数が変わると、それに基づいてこれらのボタンの数も変化する。図１０において、１０２７を選択すると、まず手話者Ａに対応する手話文１００７の手話データを入力するようにユーザに指示するメッセージを１０２５上に表示する。メッセージは別画面に表示するようにしても良い。ユーザが手話データを入力した後、手話者Ｂに対応する手話文１０１０、１０１３を順に動画像表示する。他に手話文がある場合も、ボタン上に表示されている手話者に対応する手話文であるか、そうでないかに従って、同様の処理を行う。手話文章中の全ての手話文に対する処理が終わったら、ユーザの入力した手話データの評価結果を表示する。評価結果は１０２５に表示しても良いし、あるいは、別画面に表示するようにしても良い。また、ユーザが入力した手話データに対する評価結果を手話文章中の手話文に対する処理が全て終了した時点で表示する以外に、それぞれの手話文に対する手話データをユーザが入力する毎に表示するようにしても良い。この場合、評価結果が良くなければ、再度手話データを入力するようにユーザに指示することもできる。ユーザが手話データを入力する方法および入力された手話データの評価方法については後述する。１０２９は手話文章の一覧からユーザが表示したい手話文章を選択する画面を表示するためのボタンである。１０２９を選択すると、図１１に示す手話文章の一覧が表示される。図１１において、１１０１は手話文章の名称の一覧を表示する領域であり、図４における手話文章名４０１が使用される。あるいは、手話文章情報中に含まれる手話文の名称や手話語の名称を含めて表示することもできる。１１０１上に表示されている手話文章名を選択した後１１０２を選択すると、選択した手話文章情報の内容が図１０の画面上に表示される。１１０３を選択すると、１１０１で選択した手話文章情報は無効となる。図１０における１０３０は、１０２７、１０２８を選択した場合に行われる手話の練習において、ユーザが手話の動作を練習する際に、ユーザが入力した手話データを評価するかどうかを指定するためのボタンである。このボタンは選択する毎に、「動作入力無し」と「動作入力有り」の状態を切り替える。ボタン上に「動作入力無し」と表示されている場合は、その後の手話の練習では、１０２７、１０２８に表示されている手話者に対応する手話文では、手話動作を行うようにユーザに指示するメッセージを表示した後、ある決められた時間処理を停止する。処理が停止している間に、ユーザは手話動作を行う。この際、ユーザの手話データは入力されない。ある決められた時間停止後、処理を再開し、次の手話文に対する処理に移る。「動作入力有り」と表示されている場合は、その後の手話の練習では、１０２７、１０２８に表示されている手話者の手話文に対してユーザが入力した手話データを評価して、その結果を表示する。１０３１は、１００５に表示されている手話文章情報の内、ユーザが指定した手話文あるいは手話語に対する手話データを入力し、それを評価した結果を表示するためのボタンである。１０３２を選択すると、手話文章学習処理を終了し、メインメニューに戻る。
【００２１】
図１２を用いて手話文章の検索方法を指定する方法を説明する。検索方法を表示する領域１００１を選択すると、検索方法の一覧１２０１、１２０２が表示される。ここで、例えば、検索方法として「手話から検索」を選択すると、図１３に示すように、選択した検索方法が１００１に表示される。「日本語から検索」の場合、１００１の下に、検索キーである日本語を入力する領域１００２と、検索を開始するためのボタン１００３が表示される。「手話から検索」を選択すると、図１３に示すように、手話データの入力状態を表示するための領域１３０１と手話データの入力を開始するためのボタン１３０２が表示される。
【００２２】
次に、図１４の流れ図を用いて音声言語の語から手話文章情報を検索する方法について説明する。図１０の１００２に音声言語の語を入力した後、１００３を選択すると、図１４の流れ図で示す処理が開始される。ステップ１４０１において、まず、検索結果を格納する領域をクリアする。ステップ１４０２では、手話文章情報格納部１１０の内容を検索し、検索処理を行っていない手話文章情報があるかを調べる。検索処理を行っていない手話文章情報が無い場合はステップ１４０３で検索結果を出力し、検索処理を終了する。検索処理を行っていない手話文章情報がある場合は、ステップ１４０４に進む。ステップ１４０４では、検索処理を行っていない手話文章情報を１つ読み込む。ステップ１４０５では、手話文章情報中の手話文の内、処理を行っていない手話文があるかどうかを調べる。処理を行っていない手話文が無い場合は、ステップ１４０２に戻る。処理を行っていない手話文がある場合はステップ１４０６に進む。ステップ１４０６では、処理を行っていない手話文を１つ選択し、それに対応する手話文情報を図１の手話文情報格納部１０９から読み込む。ステップ１４０７では、読み込んだ手話文情報中に含まれる手話語の内、処理を行っていない手話語があるかどうかを調べる。処理を行っていない手話語が無い場合はステップ１４０５に戻る。処理を行っていない手話語がある場合はステップ１４０８に進む。ステップ１４０８では、手話文情報中の手話語のうち、処理を行っていない手話語を１つ選択し、それに対応する手話語情報を手話語情報格納部１０８から読み込む。ステップ１４０９では、１００２に入力された音声言語の語と、手話語情報中の音声言語の語が一致するかどうかを調べる。一致すれば、手話文章情報を検索結果を格納する領域に格納し、ステップ１４０２に戻る。一致しなければ、ステップ１４０７に戻る。１００２に入力する音声言語の語としては、複数個の語を入力し、それに基づいて手話文章情報を検索することもできる。この場合、ステップ１４１０において、１００２に入力された音声言語の語の内、どの語が存在したかを表す情報のみを格納して１４０７に戻る。また、１４０５において、手話文章情報中の全ての手話文について処理を行ったと判定された場合に、１００２に入力された全ての音声言語の語が存在していれば手話文章情報を検索結果を格納する領域に格納し、ステップ１４０２に戻るようにすればよい。あるいは、１４０５において、１００２に入力された音声言語の語の内いずれか１つが含まれている手話文章情報を格納することにより、１００２に入力した語の内いずれかを含む手話文章情報の検索を行うこともできる。さらに、検索結果を出力する際に、１００２に入力された音声言語の語が含まれている数に応じて、手話文章情報に順位付けを行うこともできる。
【００２３】
図１５から図１８を用いて、手話から手話文章情報を検索する方法について説明する。手話から手話文章情報を検索するためには、まず、手話データを装置に入力する必要がある。これを行うためには、図１３に示した開始ボタン１３０２を選択する。開始ボタン１３０２を選択すると、教育制御部１１７は手話動作入力部１０１から手話データの入力を開始し、入力された手話データを手話認識部１１２に送る。手話認識部１１２では、送られてくる手話データの内、手話の認識を行うべき部分と認識処理を行わなくて良い部分を監視しながら処理を進める。手話認識部１１２における処理を図１５に示すフローチャートを用いて詳細に説明する。手話動作入力部１０１からのデータ入力が開始されると、手話認識部１１２では、まず、ステップ１５０１において、手話の開始を表す動作である入力開始識別子を待っている状態であることを教育制御部１１７に通知する。入力開始識別子は、通常の手話単語以外の動作であれば、あらかじめ装置内に登録しておくことによりどのような動作でも利用することができる。あるいは、何らかのキーを押す、マウスのボタンを押すなどの操作によって行うこともできる。ステップ１５０２では、時系列データとして表される手話データの１時刻分のデータを読み込む。ステップ１５０３では、読み込んだ手話データを解析し、入力開始識別子であるかどうかを判定する。入力開始識別子でなければステップ１５０２に戻る。入力開始識別子であれば、ステップ１５０４に進み、データ入力の開始を待っている状態であることを教育制御部１１７に通知する。ステップ１５０５では、１時刻分の手話データを読み込み、データ入力開始の状態になったかどうかの判定を行う。データ入力の開始は、入力開始識別子を表現している状態から入力開始識別子でない状態に移った時刻とする。データ入力開始の状態でなければステップ１５０５に戻る。データ入力開始の状態であれば、ステップ１５０７に進み、データ入力中であることを教育制御部１１７に通知する。ステップ１５０８では、１時刻分の手話データを読み込む。ステップ１５０９では、データ入力が終了した状態であるかどうかの判定を行う。データ入力の終了は、入力終了識別子が表現されているかどうかを検出することにより行う。入力終了識別子は、入力開始識別子と同様に、通常の手話単語以外の動作であれば、あらかじめ装置内に登録しておくことによりどのような動作でも利用することができる。あるいは、何らかのキーを押す、マウスのボタンを押すなどの操作によって行うこともできる。入力終了識別子が検出されなければ、ステップ１５１０において認識処理を行い、ステップ１５０８に戻る。入力終了識別子が検出されれば、ステップ１５１１において、認識処理が終了したことを教育制御部１１７に通知する。されに、ステップ１５１２において認識結果を教育制御部１１７に対し出力する。手話動作入力部１０１から入力される手話データから手話の認識処理を行う部分と行わなくても良い部分を判定する処理は、手話認識部１１２ではなく、手動作入力部１０１あるいは教育制御部１１７で行うこともできる。この場合、手話の認識処理を行うべき手話データのみが手話認識部１１２に送られる。
【００２４】
手話データの入力および認識処理を行っている間、教育制御部１１７では、手話認識部１１２からの通知に従って、処理の経過を表すメッセージを表示する。図１６にメッセージの表示の一例を示す。図１３の開始ボタン１３０２を選択すると、入力状態の表示領域１３０１には、図１６の１６０１のように、手話データの入力を開始することを示す入力開始識別子を待っている状態を表すメッセージが表示される。また、開始ボタン１３０２の表示は１６０２に示すように「中止」となり、手話動作入力を中止するためのボタンとなる。入力開始識別子が検出されると、データ入力待ちの状態であることを示すメッセージを１６０３のように表示する。データ入力開始が検出されると、データ入力中の状態であることを示すメッセージを１６０４のように表示する。入力終了識別子が検出されると、データ入力が終了したことを示すメッセージが１６０５のように表示される。手話データ入力において、入力開始識別子や入力終了識別子を検出せず、開始ボタン１３０２を選択した時から、中止ボタン１６０２を選択するまでの間のデータを全て入力し、認識処理を行うこともできる。この場合、入力状態の表示領域１３０１に表示されるメッセージとしては、開始ボタン１３０２が選択された時から中止ボタン１６０２が選択された時までに、データ入力中を表すメッセージが表示されることになる。また、入力開始識別子を検出後、入力開始の状態の検出は行わず、入力識別子が検出された時刻から入力終了識別子が検出されるまでのデータを全て入力し、認識処理を行うようにしても良い。この場合は、データ入力の開始を待っている状態であること表すメッセージ１６０３は表示されない。
【００２５】
図１７に、手話語の認識結果のフォーマットを示す。１７０１は認識された手話語の名称である。１７０２は、認識された手話語の手話データ中における開始時刻である。１７０３は、認識された手話語の手話データ中における終了時刻である。１７０４は、認識された手話語に対する評価値である。１７０５は、認識結果中に含まれる手話語を構成する手の形状や方向、動き等の動作要素毎の評価値の数である。１７０６、１７０８は動作要素の種類を示す名称であり、１７０７、１７０９はそれぞれの動作要素の評価値である。例えば、既存の手話語を認識する技術である「連続手話認識装置及び入力装置、特開平６−３３３０２２」では、手の形状、手の方向および手の位置の３種類の動作要素を別々に認識するため、これらの３種類の動作要素に関する評価値を手話語の認識結果中に含めることが容易である。
【００２６】
図１８に示す流れ図を用いて、手話データから手話文章情報を検索する処理について説明する。図１８のステップ１８０１において、手話動作の認識処理を行う。認識処理については、既に述べた通りである。ステップ１８０２において、手話動作の認識結果から、最も評価値の高い手話語の認識結果を選択する。ステップ１８０３において、検索結果を格納する領域をクリアする。ステップ１８０４では、手話文章情報格納部１１０の内容を検索し、検索処理を行っていない手話文章情報があるかどうかを調べる。検索処理を行っていない手話文章情報が無い場合はステップ１８０５で検索結果を出力し、検索処理を終了する。検索された手話文章情報は、図１０の１００４に一覧として表示される。検索処理を行っていない手話文章情報がある場合は、ステップ１８０６に進む。ステップ１８０６では、検索処理を行っていない手話文章情報を１つ読み込む。ステップ１８０７では、手話文章情報中の手話文の内、処理を行っていない手話文があるかどうかを調べる。処理を行っていない手話文が無い場合は、ステップ１８０４に戻る。処理を行っていない手話文がある場合はステップ１８０８に進む。ステップ１８０８では、処理を行っていない手話文を１つ選択し、それに対応する手話文情報を手話文情報格納部１０９から読み込む。ステップ１８０９では、読み込んだ手話文情報中に含まれる手話語の内、処理を行っていない手話語があるかどうかを調べる。処理を行っていない手話語が無い場合はステップ１８０７に戻る。処理を行っていない手話語がある場合はステップ１８１０に進む。ステップ１８１０では、手話文情報中の手話語のうち、処理を行っていない手話語を１つ選択する。ステップ１８１１では、ステップ１８０２において選択された手話語名と、手話文情報中から選択された手話語名が一致するかどうかを調べる。一致すれば、手話文章情報を検索結果を格納する領域に格納し、ステップ１８０４に戻る。一致しなければ、ステップ１８０９に戻る。ステップ１８０２において、手話動作の認識結果から最も評価値の高い手話語を選択するかわりに、評価値の高い順に、あらかじめ決められた個数の手話語を選択し、それらの手話語が含まれる手話文章情報を検索するようにすることもできる。これを行うためには、ステップ１８１２において、どの手話語が含まれていたかを表す情報を格納し、ステップ１８０９に戻る。また、ステップ１８０７において、手話文章中の全ての手話文について検証されたと判断された場合に、ステップ１８０２で選択された手話語が含まれていた手話文章情報を検索結果を格納する領域に格納すればよい。検索結果を出力する際には、手話語が含まれる数および手話語の評価値に基づいて検索された手話文章情報に評価値を付け、評価値に基づいて順位付けを行うこともできる。
【００２７】
次に、図１０におけるボタン１０２７、１０２８が選択された時の処理について、図１９から図２３を用いて詳細に説明する。１０２７、１０２８を選択すると、既に説明したように、手話文章情報に含まれる手話文の内、ボタン上に表示されている手話者に対応する手話文の動作をユーザが練習できる環境を提供する。この際、ボタン１０３０により、「動作入力無し」の状態になっている場合は、指定された手話者に対応する手話文ではユーザに手話を行うように指示するメッセージを表示して動画像の表示を一時中断し、指定されていない手話者に対応する手話文では動画像の表示を行うことを順に繰り返せばよいだけであるので、容易に実現できる。ユーザに対するメッセージは、図１０の１０２５に表示しても良いし、あるいは、別の画面に表示することもできる。「動作入力有り」の場合は、図１９に示す流れ図に従って処理を行う。図１９のステップ１９０１において、手話文章情報中のどの手話文かを表すカウンタを１（最初の手話文）に設定する。ステップ１９０２では、カウンタが示す手話文情報を読み込む。ステップ１９０３では、指定された手話者に対応する手話文であるかどうかの判定を行う。指定された手話者であれば、ステップ１９０４に進む。ステップ１９０４では、ユーザに手話を入力するように指示するメッセージを表示し、ユーザの手話データを入力し、手話の認識処理を行う。メッセージは、図１０の１０２５に表示しても良いし、あるいは、別の画面に表示することもできる。手話データの入力および認識処理に関しては、手話データから手話文章情報を検索する処理と全く同様にして行うことができる。ステップ１９０５では、手話データの認識結果から、手話文を構成する手話語の候補を全て抽出する。ステップ１９０６では、抽出した手話語の認識結果の時間的な関係に基づいて、手話文を構成する手話語と同じ順序となる認識された手話語の組み合わせを求める。例えば、手話文を構成する手話語が図２０に示すように「私」２００１、「名前」２００２、「佐藤」２００３、「有る」２００４の４つであり、それぞれの手話語に対応する認識された手話語は２００５、２００６、２００７、２００８であるとする。ここで、手話文を構成する手話語は時間的に重なり合わないという条件を付けて、認識された手話語の組み合わせを検索すると、図２１に示す４つの組み合わせ候補２１０１、２１０２、２１０３、２１０４が求められる。認識された手話語の組み合わせを検索する際に、手話語間の重なりの大きさに対して閾値を設け、その範囲内の重なりは許容するようにしても良い。また、手話語間の時間的な空白に関しても閾値を設け、手話語間の時間的な空白が閾値以下になる手話語の組み合わせのみを候補として求めるようにすることもできる。さらに、求めた手話語の組み合わせに対して評価値を求める。評価値は、組み合わせ中に含まれている手話語の評価値の和として求める。あるいは、手話語の評価値と手話語の時間長（終了時刻−開始時刻＋１）の積の和として評価値を求めることもできる。さらに、手話語の評価値と手話語の時間長の積の和を手話語の時間長の和で割った値を用いることもできる。ステップ１９０７では、求めた手話語の組み合わせの内、評価値がもっとも高い組み合わせを選択する。ステップ１９０３において、指定された手話者に対応する手話文でなければステップ１９０８に進む。ステップ１９０８では、読み込んだ手話文情報を動画像表示する。ステップ１９０９では、カウンタの値を１つ進める。ステップ１９１０では、カウンタの値を参照し、最後の手話文まで処理が行われたかどうかを判定する。最後の手話文まで処理が行われていなければステップ１９０２に戻る。最後の手話文まで処理が行われていればステップ１９１１に進む。ステップ１９１１では、手話データの評価結果を表示する。
【００２８】
図２２に、手話データの評価結果を表示する画面を示す。図２２では、２つの手話文に対応する手話データの評価が行われたことを表している。図２２において、２２０１および２２０３は手話文とそれに対する評価結果を表す。手話文の評価結果は、手話文を構成する手話語の評価値を適当な関数を用いることにより１００点満点で評価した点数に変換して表示する。例えば、手話認識部１１２から出力される認識された手話語の評価値が０。０から１。０の値に正規化されていれば、その平均値を１００倍した値を得点として用いることができる。あるいは、手話語の評価値の平均値をそのまま表示することもできる。２２０２、２２０４、２２０５、２２０６、２２０７、２２０８は、手話文を構成する手話語およびそれに対する評価結果である。手話語に対する評価結果は、図１９のステップ１９０７で選択された手話語の組み合わせ候補に含まれる手話語の評価値を適当な関数を用いて１００点満点で評価した点数に変換して表示する。あるいは、手話語の評価値をそのまま用いることもできる。図２２における２２０９は、手話語を構成する動作要素毎の評価結果を表示するためのボタンである。手話語の認識方法として「連続手話認識装置及び入力装置、特開平６−３３３０２２」のように、手の形状や方向、位置等の手話を構成する要素毎に評価を行う認識方法を用いた場合、図１７に示したように、手話語の評価値に動作要素毎の評価値を含めることは容易である。図２２の画面上に表示されている手話語を選択し、ボタン２２０９を選択すると、図２３のように、選択した手話語の評価結果中に含まれている動作要素毎の評価結果を示す画面が表示される。図２３において、２３０１は図２２中で選択した手話語の名称および評価結果を表示する領域、２３０２、２３０３、２３０４は選択した手話語を構成する動作要素毎の名称と評価結果を表示する領域である。動作要素毎の評価結果の表示方法としては、手話文や手話語の場合と同様の方法を用いることができる。図２３では、手の形状、手の方向、手の位置の３種類の動作要素が手話語の評価結果中に含まれている場合の画面の例を示している。図２３において、２３０５は、動作要素毎の評価結果の表示画面を終了し、図２２の画面に戻るためのボタンである。図２２において、２２１０は、ユーザが入力した手話データと正しい手話の動画像とを同時に表示する画面を表示するためのボタンである。図２２の画面上に表示されている手話文あるいは手話語を選択し、ボタン２２１０を選択すると、図２４のような画面が表示される。図２４おいて、２４０１はユーザが入力した手話データから生成した動画像を表示する領域、２４０２は手話文情報および手話語情報に基づいて生成した動画像を表示する領域である。手話文が選択されている場合は、ユーザが入力した手話データをそのまま使用して動画像を生成すればよい。また、手話語が選択されている場合は、手話語の認識結果に含まれる開始時刻および終了時刻におけるデータのみをユーザが入力した手話データから抽出して動画像を生成する。この場合、開始時刻から終了時刻までのデータのみでなく、その前後の時刻のデータをあらかじめ決められた時刻分含めてデータを抽出するようにしてもよい。さらに、ユーザが入力した手話データから生成した動画像と、正しい手話の動画像の時間長が異なる場合、一方の動画像の時間長を他方の動画像の時間長に合わせて伸縮させるようにしても良い。
【００２９】
図２５を用いて、一方の動画像の時間長を他方の動画像の時間長に合わせて伸縮させる方法について説明する。図２５では、手話文情報および手話語情報に基づいて生成した動画像の時間長に、ユーザが入力した手話データから生成した動画像の時間長を合わせる場合について説明している。図２５において、２５０１は手話文情報および手話語情報に基づいて生成した動画像を、２５０２はユーザが入力した手話データから生成した動画像を、２５０３は２５０２の動画像の時間長を２５０１の動画像の時間長に合わせた後の動画像を表している。２５０１、２５０２および２５０３中のそれぞれの四角は動画像を構成する一時刻分の画像データ２５０４を表している。２５０５、２５０６および２５０７は、手話文情報および手話語情報に基づいて生成した動画像中の各手話語の時間範囲を、２５０８、２５０９、２５１０および２５１１は各手話語間の遷移動作の時間範囲を表す。２５１２、２５１３および２５１４は、ユーザが入力した手話データから生成した動画像中の各手話語の時間範囲を、２５１５、２５１６、２５１７および２５１８は各手話語間の遷移動作の時間範囲を表す。ユーザが入力した手話データから生成した動画像中の各手話語の時間範囲は、手話データから認識された手話語の時間範囲、すなわち図１７の開始時刻１７０２および終了時刻１７０３によって表される時間範囲を用いる。２５１９、２５２０および２５２１は、ユーザが入力した手話データから生成した動画像の時間長を手話文情報および手話語情報に基づいて生成した動画像の時間長に合わせた後の各手話語の時間長を、２５２２、２５２３、２５２４および２５２５は手話語間の遷移動作を表す。２５２６、２５２７、２５２８および２５２９は、ユーザが入力した手話データから生成した動画像の時間長を手話文情報および手話語情報に基づいて生成した動画像の時間長に合わせる場合に削除される画像データを、２５３０、２５３１、２５３２、２５３３、２５３４および２５３５は挿入される画像データを表す。画像データの削除および挿入は、例えば、次のようにして行うことができる。まず、手話文情報および手話語情報に基づいて生成した動画像およびユーザが入力した手話データから生成した動画像において、対応する手話語あるいは遷移動作の間の時間長を比較する。時間長が同じであれば画像データの削除あるいは挿入は必要ない。ユーザが入力した手話データから生成した動画像中の手話語あるいは遷移動作の時間長が、手話文情報および手話語情報に基づいて生成した動画像中の手話語あるいは遷移動作の時間長より長い場合、両者の時間長の差より削除すべき画像データの数を求める。手話語あるいは遷移動作の時間長がそれらの動画像を構成する画像データの数で表されている場合は、時間長の差を削除すべき画像データの数として使用することができる。さらに、ユーザが入力した手話データから生成した動画像中の手話語あるいは遷移動作の時間範囲を（削除すべき画像データの数＋１）の領域に分割する。そして、分割した領域の境界にある画像データを一つづつ削除する。一方、ユーザが入力した手話データから生成した動画像中の手話語あるいは遷移動作の時間長が、手話文情報および手話語情報に基づいて生成した動画像中の手話語あるいは遷移動作の時間長より短い場合、両者の時間長の差より挿入すべき画像データの数を求める。さらに、ユーザが入力した手話データから生成した動画像中の手話語あるいは遷移動作の時間範囲を（挿入すべき画像データの数＋１）の領域に分割する。そして、分割した領域の境界にその直前にある画像データと同じ画像データを挿入する。（挿入すべき画像データの数＋１）が、ユーザが入力した手話データから生成した動画像中の手話語あるいは遷移動作を構成する画像データの数と同じか大きい場合、ユーザが入力した手話データから生成した動画像中の手話語あるいは遷移動作の時間範囲を（手話語あるいは遷移動作を構成する画像データの数−１）の領域に分割し、（手話語あるいは遷移動作を構成する画像データの数−１）と挿入すべき画像データの数の差に応じて複数の画像データを分割した領域の境界に挿入するようにする。動画像中の各手話語あるいは遷移動作について以上の処理を行うことにより、ユーザが入力した手話データから生成した動画像の時間長を手話文情報および手話語情報に基づいて生成した動画像の時間長に一致させることができる。以上の方法では、動画像中の各手話語あるいは遷移動作毎に時間長を調整していたが、動画像全体について均等に時間長を調整するようにしてもよい。この場合、動画像全体を一つの手話語あるいは遷移動作とみなして上記と同様の処理を行えばよい。また、以上の処理では、手話文情報および手話語情報に基づいて生成した動画像の時間長にユーザが入力した手話データから生成した動画像の長さを合わせていたが、それとは逆に、ユーザが入力した手話データから生成した動画像の長さに手話文情報および手話語情報に基づいて生成した動画像の時間長を合わせるようにしてもよい。またさらに、ユーザが入力した手話データから生成した動画像の長さと手話文情報および手話語情報に基づいて生成した動画像の時間長を合わせる方法としては、上記の方法に限らず、動画像の時間長を合わせるために画像の削除や挿入を行う方法であればどのような方法でも使用することができる。
【００３０】
図２４において、２４０３はユーザの手話データから生成した動画像の内、表示中の動画像がどの手話語に対応するかを表す情報、２４０４は手話文情報および手話語情報から生成した動画像の内、表示中の動画像がどの手話語に対応するかを表す情報である。表示される情報としては、手話語の名称あるいは、手話語に対応する音声言語の語の名称のいずれかとする。ユーザの手話データから生成した動画像に関しては、手話語の認識結果に基づいて、動画像中の時刻がどの手話語に対応しているかを決定する。手話文情報および手話語情報から生成した動画像に関しては、図２における手話語情報中に含まれる手話動画像生成用情報２０６を用いて手話文の動画像が生成されるため、動画像中のどの時刻にどの手話語が対応しているかは容易に求めることができる。
【００３１】
動画像を表示する処理は図２６に示す流れ図に従って行われる。まず、ステップ２６０１において、動画像中の時刻を表すカウンタを１にセットする。ステップ２６０２では、カウンタを検証し、終了時刻であるかどうかを判定する。終了時刻でなければステップ２６０３に進む。終了時刻であれば処理を終了する。ステップ２６０３では、ユーザの手話データから生成した手話動画像および、手話文情報あるいは手話語情報から生成した手話動画像から、カウンタの示す時刻の画像を読み込んで、それぞれ２４０１、２４０２上に表示する。ステップ２６０４では、ユーザの手話データから認識された手話語の内、カウンタの示す時刻を含む手話語が存在するかどうかを検証する。該当する手話語が存在すれば、ステップ２６０５において、手話語の名称あるいは手話語に対応する音声言語の語の名称を２４０１上に表示する。該当する手話語が無ければステップ２６０６に進む。ステップ２６０６では、手話文情報あるいは手話語情報中の手話語の内、カウンタの示す時刻を含む手話語が存在するかどうかを検証する。該当する手話語が存在すれば、ステップ２６０７において、手話語の名称あるいは手話語に対応する音声言語の語の名称を２４０２上に表示する。該当する手話語が無ければステップ２６０８に進む。ステップ２６０８では、カウンタの値を１つ進め、ステップ２６０２に戻る。
【００３２】
また、ユーザの手話データから生成した手話動画像と、手話文章情報および手話語情報から生成した手話動画像を表示する際、図２４に示すように、並べて表示するだけでなく、図２７に示すように２つの動画像を重ねて表示するこもできる。図２７において、２７０１および２７０２は手話文情報および手話語情報から生成した手話動画像の手の部分、２７０３および２７０４はユーザの手話データから生成した手話動画像の手の部分である。２７０５は表示中の動画像がどの手話語に対応しているかを表す情報である。図２７では、手の部分のみ２種類の動画像を重ねて表示するようにしているが、身体の部分を含めて重ねて表示を行うこともできる。この場合、身体の部分も異なった形態で表示を行う必要がある。また、図２７では、ユーザの手話データから生成した動画像より手話文情報および手話語情報から生成した動画像をより強調した表示となっているが、ユーザの手話データから生成した動画像を強調して表示することも容易である。
【００３３】
図２４において、２４０５は動画像の表示を停止するためのボタン、２４０６は動画像の表示を開始するためのボタン、２４０７は動画像の表示を一時停止するためのボタン、２４０８は動画像を時間的に逆方向に戻すためのボタン、２４０９は動画像を早送りするためのボタン、２４１０は手話動画像中の人物像を拡大するためのボタン、２４１１は手話動画像中の人物像を縮小するためのボタン、２４１２、２４１３は動画像中の人物像を見る角度を変更するためのボタンである。２４１４は動画像の表示を終了するためのボタンである。また、図２２において、２２１１は手話データの認識結果の表示を終了するためのボタンである。
【００３４】
図２８から図３０を用いて、手話テストの処理について説明する。図９の手話テストボタン９０３を選択すると、図２８に示すような手話テストメニューが表示される。図２８において、２８０１は手話語に対する手話データをユーザが入力し、それを評価して結果を表示する手話語入力テストを行うためのボタン、２８０２は手話文に対する手話データをユーザが入力し、それを評価して結果を表示する手話文入力テストを行うためのボタン、２８０３は手話テストを終了し、図９に示すメインメニューに戻るためのボタンである。手話語入力テストを行うためのボタン２８０１を選択すると、教育制御部１１７は手話語情報格納部１０８から、あらかじめ決められている数の手話語情報をランダムに選択し、それを手話語入力テストにおける問題とする。この際、図５のユーザ情報中の手話語テスト結果情報５０２を参照し、過去に行ったテストの結果が良好でない手話語を優先的に選択するようにする。また、手話語テスト結果情報５０２に評価結果の履歴が記述されている場合、評価結果が改善されていない手話語を優先的に選択するようにすることもできる。さらに、テスト問題として出題する手話語をあらかじめ格納しておき、その情報を参照してテスト問題を作成することもできる。またさらに、あらかじめ格納されている問題と、手話語をランダムに選択して作成した問題とを混在させることもできる。テスト問題を作成した後、図２９に示すような手話語入力テスト画面が表示される。図２９において、２９０１は手話語入力テストにおける問題を表示する領域、２９０２はユーザに対する指示を与えるための問題文、２９０３は問題として選択された手話語に対する音声言語の語である。２９０４は手話認識部１１２の状態を表示するための領域であり、図１３の１３０１と同様の機能を有する。２９０５は直前の問題に戻るためのボタン、２９０６は現在の問題をスキップし、次の問題に移るためのボタン、２９０７は手話語入力テストを中止し、図２８に示す手話テストメニューに戻るためのボタンである。表示されている問題に対するユーザの手話データの入力方法は、図１０における手話文章情報の検索および表示画面において手話からの検索を行う場合の手話データ入力方法と全く同様にして行うことができる。また、手話データの評価は、問題となっている手話語が認識結果中に含まれているかどうかによって行うことができる。最後の問題までユーザが手話動作の入力を行うと、図３０に示すようなテスト結果表示画面が表示される。図３０において、３００１はテスト全体に対する評価結果であり、出題された全ての手話語の評価結果を適当な関数により１００点満点で評価した値に変換した値を用いる。あるいは、全ての手話語の評価結果の平均値や和を用いることもできる。３００２は出題されたそれぞれの手話語に対する評価結果を表示する領域である。３００３は問題番号、３００４は出題された手話語名あるいは手話語に対する音声言語の語、３００５はそれぞれの手話語に対する評価結果である。３００６は、手話語を構成する動作要素毎の評価結果を表示するためのボタンである。図３０の画面上に表示されている手話語を選択し、ボタン３００６を選択すると、図２３と同様の動作要素毎の評価結果を示す画面が表示される。３００７はユーザが入力した手話動作と正しい手話動作を比較して表示するためのボタンであり、図２４あるいは図２７の画面と同様の画面を用いて表示される。３００８はテスト結果の表示を終了し、手話テストメニューに戻るためのボタンである。
【００３５】
手話文入力テストは、問題が手話語から手話文になるのみで、手話語テストの場合と全く同様にして問題作成および出題を行うことができる。手話文に対する手話データの評価方法は、図１９で説明した評価方法と全く同様にして行うことができる。また、手話文の評価結果の表示は、図２２の画面に、図３０におけるテスト全体に対する評価結果３００１を追加した形で表示する。手話文入力テストにおけるテスト全体に対する評価結果は、出題された全ての手話文の評価結果を適当な関数により１００点満点で評価した値に変換した値を用いる。あるいは、全ての手話文の評価結果の平均値や和を用いることもできる。
【００３６】
以上の実施例により、ユーザは自分の手話動作が正しいかどうかを確認しながら手話の会話を行うために必要な知識を習得することが可能となる。以上の実施例には、手話文章の検索および表示と、手話語および手話文の入力テストのみが含まれているが、この他、手話単語の検索および表示、手話文の検索および表示を行う機能も、図１０から図２７において説明した表示画面、検索方法および評価方法の対象を手話文章情報から手話語情報あるいは手話文情報に変更することにより容易に実現することができる。また、手話テストにおいて、手話語や手話文に対応する動画像をユーザに表示し、それに対応する音声言語の語や文を入力する手話語読み取りテストや手話文読み取りテストを追加することも容易である。この場合、図２９に示したテスト問題表示画面では、動画像を表示する領域を追加し、解答は文字あるいはあらかじめ表示されている選択肢から選択することにより実現できる。
【００３７】
【発明の効果】
ユーザから入力された手話データに対して、正しいか正しくないかの評価だけでなく、どの程度正しい手話動作に近いかという相対的かつ連続的な評価をユーザに表示し、また、ユーザの行った手話動作と正しい手話動作の動画像を比較して表示することにより、ユーザは自分の手話動作の問題点を容易に確認し、効果的に手話の学習を行うことが可能となる。また、手話動作から手話に関する情報を検索することにより、意味が分からない手話動作やはっきり覚えていない手話動作に関しても容易に検索を行うことができるようになる。
【図面の簡単な説明】
【図１】本発明による手話教育装置の概念ブロック図。
【図２】手話語情報のフォーマット。
【図３】手話文情報のフォーマット。
【図４】手話文章情報のフォーマット。
【図５】ユーザ情報のフォーマット。
【図６】手話語テスト結果のフォーマット。
【図７】手話文テスト結果のフォーマット。
【図８】教育制御部の主要な処理の流れ図。
【図９】メインメニューの画面。
【図１０】手話文章情報の表示画面。
【図１１】手話文章情報の一覧を表示する画面。
【図１２】検索方法の指定方法を説明する図。
【図１３】検索方法を変更した後の表示を説明する図。
【図１４】音声言語の語から手話文章情報を検索する処理の流れ図。
【図１５】手話動作の入力および認識処理の流れ図。
【図１６】手話動作の入力および認識処理の間に表示されるメッセージを説明する図。
【図１７】認識された手話語のフォーマット。
【図１８】手話動作から手話文章情報を検索する処理の流れ図。
【図１９】ユーザが指定した手話者の手話を練習するための処理の流れ図。
【図２０】手話文中の手話語とそれらに対応する認識された手話語の例。
【図２１】認識された手話語から生成された手話文の候補の例。
【図２２】ユーザが入力した手話動作を評価した結果の表示画面。
【図２３】ユーザが入力した手話動作を動作要素毎に評価した結果の表示画面。
【図２４】ユーザが入力した手話動作と正しい手話動作の比較を行う画面。
【図２５】ユーザの手話データから生成した手話動画像の時間長を手話文情報および手話語情報から生成した手話動画像に合わせる方法を説明するための図。
【図２６】ユーザの手話データから生成した手話動画像と、手話文情報および手話語情報から生成した手話動画像を表示する処理の流れ図。
【図２７】ユーザの手話データから生成した手話動画像と、手話文情報および手話語情報から生成した手話動画像を重ねて表示する画面の図。
【図２８】手話テストメニューの画面。
【図２９】手話語入力テストの出題画面。
【図３０】手話語入力テスト結果の表示画面。

Claims (10)

1. 手話における動作を電気信号に変換し手話データとして入力する手話動作入力手段と、
   文字を入力する文字入力手段と、
   画面上の特定領域に対して選択等の操作を行う画面操作入力手段と、
   手話語の名称や、手話語に対応する音声言語の語の名称、手話語を表す動作に関する情報、手話の動画像を生成するための情報等の、手話語に関する情報を記憶する手話語情報格納手段と、
   手話文を構成する手話語の列、手話文の意味を表す音声言語の文等の、手話文に関する情報を記憶する手話文情報格納手段と、
   手話文章を構成する手話文の列、手話文章の内容を表す音声言語の文等の、手話文章に関する情報を記憶する手話文章情報格納手段と、
   手話語、手話文あるいは手話文章に関する情報を検索する検索手段と、
   入力された手話データと、手話語情報格納手段に記憶されている手話の動作に関する情報とを比較して、入力された手話データ中に表現されている１つ以上の手話語を認識し、個々の手話単語あるいは手話文の評価、あるいは手話語を構成する手の形状や手の方向等の要素毎の評価を行う手話認識手段と、
   入力された手話データや手話語情報、手話文情報から手話の動画像を生成する手話動画像生成手段と、
   手話語、手話文あるいは手話文章の検索結果の表示、手話文の評価結果、手話語の評価結果あるいは手話語を構成する手の形状や手の方向等の要素毎の評価結果の内、いずれか１つ以上の表示、およびユーザが入力した手話データから生成した動画像と上記手話語情報や手話文情報から生成した動画像とをそれぞれ個別に表示あるいは同時に表示する出力手段と、
   ユーザの要求や、あらかじめ決められた学習の流れに応じて、手話教育に必要となる操作や表示の制御を行う教育制御手段とを有することを特徴とする手話教育装置。
2. 請求項１記載の手話教育装置において教育制御手段は、
   ユーザが入力した手話データから生成した動画像と、手話語に関する情報中に記憶されている手話の動画像を生成するための情報から生成した手話語あるいは手話文に対する動画像を生成するように手話動画像生成部を制御し、生成された二種類の動画像を並べて表示するように、あるいはユーザが入力した手話データから生成した動画像と、手話語に関する情報中に記憶されている手話の動画像を生成するための情報から生成した手話語あるいは手話文に対する動画像を重ねた動画像を生成するように手話動画像生成部を制御し、生成された動画像を表示するように出力手段を制御することを特徴とする手話教育装置。
3. 請求項２記載の手話教育装置において教育制御手段は、
   ユーザが入力した手話データから生成した手話の動画像を表示する際、手話語の認識結果に基づいて、表示中の画像がどの手話語に対応していると認識されたかを示す情報を動画像と共に表示するように出力手段を制御することを特徴とする手話教育装置。
4. 請求項２記載の手話教育装置において教育制御手段は、
   ユーザが入力した手話データから生成した手話の動画像と、手話語に関する情報中に記憶されている手話の動画像を生成するための情報から生成した手話語あるいは手話文に対する動画像と、を表示する際に、手話語に関する情報中に記憶されている手話の動画像を生成するための情報から生成した手話語あるいは手話文に対する動画像の時間長に合わせてユーザが入力した手話データから生成した動画像全体の時間長を伸縮させるように手話動画像生成手段を制御する、または、
   ユーザが入力した手話データの手話語の認識結果に基づいて、手話語に関する情報中に記憶されている手話の動画像を生成するための情報から生成した手話語あるいは手話文に対する動画像中の各手話語および遷移動作の時間長に合わせてユーザが入力した手話データから生成した動画像中の各手話語および遷移動作に対応する動画像の時間長を伸縮させるように手話動画像生成手段を制御することを特徴とする手話教育装置。
5. 請求項２記載の手話教育装置において教育制御手段は、
   ユーザが入力した手話文に対応する手話データ中の手話語毎の動画像を表示する際、ユーザが入力した手話データの手話語認識結果に基づいて、ユーザが入力した手話データを分割し、分割した手話データから動画像を生成するように手話動画像生成手段を制御し、さらに、ユーザが入力した手話文に対応する手話データ中の手話語毎の動画像を表示するために、生成された動画像を表示するよう出力手段を制御することを特徴とする手話教育装置。
6. 請求項１記載の手話教育装置において手話認識手段は、
   ユーザが手話データを入力してその手話データを評価する際に、手話データを入力して良いかどうか、手話データが正しく入力されているか、手話データの入力が正しく終了したか、等を表す、手話認識手段の状態に関する情報を教育制御手段に通知し、
   教育制御手段は、手話認識手段から受けた通知に従って手話認識手段の状態に関する情報を表示するように出力手段を制御することを特徴とする手話教育装置。
7. 請求項１記載の手話教育装置において教育制御手段は、
   手話文章中の全ての手話文に対して、最初の手話文から順に、ユーザが選択した手話文に関してはユーザにその手話文に対応する手話データを入力させるための指示とユーザが入力した手話データの評価結果とを出力するように出力手段を制御し、ユーザが選択しなかった手話文に関してはその手話文に対応する動画像を出力するように出力手段を制御する第一の制御と、
   手話文章中の全ての手話文に対して、最初の手話文から順に、ユーザが選択した手話文に関してはユーザにその手話文に対応する手話動作を行わせるための指示を出力するように出力手段を制御した後あらかじめ定められた時間の間処理を停止し、ユーザが選択しなかった手話文に関してはその手話文に対応する動画像を表示するように出力手段を制御する第二の制御と、
   を自由に切り替えて行えることを特徴とする手話教育装置。
8. 請求項１記載の手話教育装置において教育制御手段は、
   ユーザが入力した手話データを認識した結果に基づいて手話語、手話文、あるいは手話文章に関する情報を検索するように検索手段を制御することを特徴とする手話教育装置。
9. 請求項１記載の手話教育装置において教育制御手段は、
   手話語情報格納手段あるいは手話文情報格納手段に格納されている情報をもとに手話のテストを行うための問題を作成し、問題毎にユーザの手話データを入力し、入力された手話データを評価するように手話動作入力部および手話認識部を制御し、入力された手話データの評価結果を出力するように出力手段を制御することにより、ユーザが手話語や手話文の手話動作を学習できているかどうかを確認するテストを行うことを特徴とする手話教育装置。
10. 請求項９記載の手話教育装置において、
    ユーザの名称と、テストにおいて出題された手話語、テストにおいて出題された手話語の点数の履歴、テストにおいて出題された手話語の要素毎の点数の履歴、テストにおいて出題された手話文、テストにおいて出題された手話文の点数の履歴、テストにおいて出題された手話文中の手話単語毎の点数の履歴、テストにおいて出題された手話文中の手話単語の要素毎の点数の履歴の内の少なくとも一つ以上と、を記憶するためのユーザ情報格納部を有し、
    教育制御部はユーザ情報格納部の内容に基づいてテスト問題を作成することを特徴とする手話教育装置。

Images