JP3591309B2 - 手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3591309B2 JP3591309B2 JP16949098A JP16949098A JP3591309B2 JP 3591309 B2 JP3591309 B2 JP 3591309B2 JP 16949098 A JP16949098 A JP 16949098A JP 16949098 A JP16949098 A JP 16949098A JP 3591309 B2 JP3591309 B2 JP 3591309B2
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- information
- sentence
- sign
- language sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザが効率的に手話の学習を行うことができる手話教育装置に関する。
【０００２】
【従来の技術】
ユーザに手話を学習するための環境を提供する手話教育装置としては、「みんなの手話」（株式会社ＮＨＫエデュケーショナル／日本アイ・ビー・エム（株））、「君の手がささやいている」（富士通ミドルウェア株式会社、１９９６年）、「手にことばを・入門編」（富士通株式会社、１９９６年）などがある。これらの技術では、手話のビデオ動画像と、それらに対応する日本語文、および、それぞれの手話文に関する説明をユーザに同時に提示することにより、手話と日本語との対応関係を学習させようとするものである。また、これらの技術では、日本語文中の特定の単語に対応する手話動画像を表示できる機能や、単語の一覧からユーザが任意に選択した日本語の単語に対応する手話動画像を表示できる機能を有する。さらに、「手にことばを・入門編」では、動作の形状や方向といった手話を構成している動作要素を選択することによって、手話を検索する機能も有する。
【０００３】
また、「手話学習支援システムにおける学習管理」（寺内美奈、長嶋祐二、電子情報通信学会技術報告、ＥＴ９６−８４、１９９６年）では、手話アニメーション技術を用いた手話教育装置を提案している。この技術では、ユーザがどのような学習を行ったかに関する学習履歴に基づいて学習内容を制御する技術が含まれている。
【０００４】
【発明が解決しようとする課題】
従来の手話教育装置の技術では、手話のビデオ動画像と日本語文との対応関係は示されているが、日本語文中の個々の語と手話動画像中の手話語との関係は明示的に示されていない。このため、日本語のどの部分が手話動画像のどの部分に対応しているかを学習することが困難な場合がある。一部示されている技術もあるが、連続的に表示される手話動画像中における手話語との対応が示されるものはない。また、手話は日本語の様に語を逐次的に結合するだけではなく、複数の語、特に、手の動作と手以外による動作とが同時に表現される場合が多く、それぞれの動作と日本語との関連が理解できないと、言語としての手話を正しく習得することが困難な場合がある。従来技術では、表示されている日本語文等と手話動画像のそのような関係は明示的に示されておらず、説明文によりこの点を補っているが、微妙な表現が多いため、説明文だけでは学習は困難な場合があるという問題がある。
【０００５】
また、従来技術では、会話文の学習と手話語の学習は独立しており、会話文の学習から手話語の学習、手話語の学習から会話文の学習といった、相互に関連付けられた学習を行うことができなかった。会話文の学習では、その中に含まれる手話語の表示を行うことはできる。しかし、実際の手話語の学習では、単に会話文や個々の語を見るだけでなく、それらに関連する他の例文も学習したいという場合も多い。例えば、会話文中の特定の語に着目した場合や特定の語を表示した場合に、その語が他に、どのような手話文中でどのように使われているかを知りたいということがある。この場合、会話文中の特定の語から他の手話文や会話文の候補やそれらの内容の表示を行える必要がある。しかし、従来技術ではこのような学習方法への対応については考慮されていない。また、従来技術では会話文の学習と手話の語の学習の２通りの方法でしか学習が行えないが、上記のように、特定の手話の語に関する例文の学習を行うような場合は、会話文の学習を行うための表示や手話の語の学習を行うための表示だけでは、不十分な場合がある。
【０００６】
さらに、手話の学習では、ある意味を表す手話はどのような手話であるか、あるいは、初めて見た手話がどのような意味を表しているかを知りたい場合が多い。従来技術では前者のために日本語の一覧から手話語を選択できる機能を有している。しかし、特定の日本語を直接入力して検索を行いたい場合も多い。また、手話語だけでなく、ある意味を表す手話語を含む手話文や手話文章を検索したい場合も多い。従来技術にはこのような機能は含まれていない。また、日本語から検索するだけでなく、動作から検索したい場合もある。従来技術にもこのための技術が存在するが、特定種類の動作要素をあらかじめ決められた順序で指定していく必要があるため、最初に指定する要素がわからないと検索できないという問題がある。例えば、最初に手の形状を指定する必要があるが、手の動きしか覚えていないというような場合は、検索が行えないという問題がある。また、学習においては、手の動きだけが同じ手話や手の形状だけが同じ手話といったように、さまざまな角度から見た検索を行えることが望ましいため、あらかじめ手順が決定されている方法では、手話の幅広い学習には不十分な場合がある。
【０００７】
さらに、手話の学習では、手話の動画像を見るだけでなく、手話を正しく覚えているかを検証するテスト機能も重要である。このための機能を有する従来技術では、ユーザの学習履歴の記述方法については述べられているが、どのように学習履歴を使用してテスト問題を作成するのかという内容に関しては述べられていない。また、従来技術ではあらかじめ決められたカリキュラムに従った学習履歴とテストしか行うことができないため、幅広い学習を行うには不十分な場合がある。
【０００８】
そこで、本発明の目的は、手話の動画像と手話を構成する個々の動作、日本語との詳細な対応関係をユーザに提示し、ユーザが正しい手話に関する知識の学習を行うための装置を提供することである。
【０００９】
本発明の他の目的は、ユーザが自由なスタイルで手話の学習を行える装置を提供することにある。
【００１０】
本発明の他の目的は、ユーザが必要な情報を自由に検索し、表示することができる装置を提供することにある。
【００１１】
本発明の他の目的は、ユーザが幅広い手話の知識を効果的に習得するための装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、手話と日本語との詳細な関係を記述するために、手話語、手話文、手話文章（会話文）の３つのレベルで手話に関する情報を記述する。手話語はそれぞれの手話の動画像と日本語との対応関係を、手話文は手話語および手話文中で新たに付加される動作の組み合わせを、手話文章は手話文の組み合わせを表す。これらの情報を手話アニメーションの技術を用いて手話語、手話文、手話文章の表示を行う。
【００１３】
また、本発明では、手話に関する情報の表示を上記の記述に基づいて、手話語、手話文、手話文章、の３通りの表示方法を可能とする。さらに、それぞれの表示において、関連する手話語や手話文、手話文章に関する情報の表示も行い、ぞれぞれの表示を必要に応じて自由に切り替えることを可能とする。
【００１４】
また、手話語、手話文、手話文章の表示において、日本語や動作要素を指定し、それらの日本語や動作要素に対応する手話語や手話文、手話文章を検索することを可能とする。さらに、動作要素からの手話の検索において、任意の動作要素を指定して手話の検索を行えるようにする。
【００１５】
また、手話のテストにおいて、装置内に格納されている手話語や手話文に関する情報を特に範囲を限定することなく選択することにより、問題を作成する。また、ユーザのテスト結果を学習履歴として格納しておき、問題を作成する際に学習履歴を用いて誤りの多い手話語や手話文を優先的に問題に含めるようにしたり、テスト結果の表示の際に学習履歴に応じてテスト結果の表示形態を変化させる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施例を図１から図３３を用いて説明する。
【００１７】
図１は本発明を適用した手話教育装置の概念ブロック図である。図１において、文字入力部１０１はユーザからの情報を文字により入力するために使用される手段であり、キーボード１０２や、あるいは既存の音声認識装置を文字入力部１０１に組み込むことによりマイク１０３を用いることができる。画面操作入力部１０４は、ユーザが画面上に表示されている特定の領域に対する操作を行うために使用される手段であり、マウス１０５やトラックボール、タッチパネル等の良く知られている装置を用いることができる。検索部１０６では、ユーザから入力された情報に基づいて、手話に関する情報の検索を行う。手話アニメーション生成部１０７では、手話アニメーションを生成する。手話アニメーションを生成する技術としては、例えば特開平８−１６８２１号公報に記載された方法を用いることができる。出力部１０８は、手話に関する情報や、手話の検索結果に関する情報等を表示するための手段で、既存のディスプレイ１０９を用いることができる。教育制御部１１０では、ユーザの要求や、手話に関する情報等に従って、上記文字入力部１０１や、画面操作入力部１０４、検索部１０６、手話アニメーション生成部１０７、出力部１０８の制御を行ったり、手話語情報格納部１１１、手話文情報格納部１１２、手話文章情報格納部１１３、学習者情報格納部１１４に対する情報の入出力を行う。手話語情報格納部１１１には、手話における語である手話語に関する情報（手話語情報）が格納される。手話文情報格納部１１２には、手話語の組み合わせによって表現される手話文に関する情報（手話文情報）が格納される。手話文章情報格納部１１３には、複数の手話文によって構成される手話文章に関する情報（手話文章情報）が格納される。学習者情報格納部１１４には、手話教育装置を使用したユーザの学習履歴に関する情報（学習者情報）が格納される。
【００１８】
図２は、手話語情報格納部１１１に格納される手話語情報のフォーマットである。手話語名２０１は手話語につけられたラベルであり、任意の記号列を用いることができる。対応する音声言語の語数２０２は、手話語に対応する音声言語の語の数である。音声言語は任意の言語を用いることが可能であり、例えば、手話と日本語の関係を学習するための手話教育装置であるならば、音声言語として日本語が用いられることになる。対応する音声言語の語２０３から２０４は、手話語に対応する音声言語の語の名称である。アニメーション生成用情報２０５は、手話アニメーション生成部１０７において、手話アニメーションを生成するために使用される情報である。手話アニメーションを生成するための情報は、図３に示すような、コンピュータグラフィックスの人物を動かすための時系列データにより表される。図３において、３０１および３０５は手の各指の位置を表すデータであり、３０２、３０３および３０４は位置の座標を表す。３０６および３１０は手の各指の方向を表すデータであり、３０７、３０８および３０９はな方向ベクトルを表す。３１２および３１５は各指の形状を表すデータであり、３１３および３１４は関節の曲げ角度を表す。３１６は眉の形を表すデータであり、３１７および３１８は眉の形状を決定するための各パラメータを表す。３１９は口の形状を表すデータであり、３２０および３２１は口の形状を決定するための各パラメータを表す。３１５、３１６および３１７は各時刻のデータを表す。手話アニメーションを生成するための情報としては、以上の他に、視線を表すデータ、頭の向きを表すデータ、肘の位置を表すデータ、肩の位置や方向を表すデータ等を必要に応じて含めることができる。また、手話アニメーションを生成するために使用される情報は、手話アニメーション生成部１０７に格納することもできる。この場合、アニメーション生成用情報２０５は、図３に示すような手話アニメーションを生成するための情報そのものではなく、手話アニメーションを生成するための情報に付けられたラベルの列により表すことができる。動作要素数２０６は手話語中に含まれる、手話動作の構造を表す動作の単位である動作要素の数である。動作要素としては、手の形状や手の方向、手の位置、手の動き方、肘の位置、肘の動き方を表す語等、手話の動作を説明する際に使用される語を使用することができる。動作要素２０７から２０８は手話語に含まれる動作要素の名称である。また、図２で示したような動作要素の名称だけでなく、動作要素間の時間的な関係を含めることもできる。関連情報２０９は、手話語の動作に関する説明や、手話語の動作を表現する際に注意するべき事柄、手話語の起源等に関する情報であり、文字および写真やイラスト等の画像を組み合わせることができる。手話語情報中にはさらに、その手話語を含む手話文や手話文章に関する情報や、後述の手話文中での選択可能な要素にふさわしいかどうかを判定するために用いられる語のタイプを含めることもできる。
【００１９】
図４は、手話文情報格納部１１２に格納される手話文情報のフォーマットである。手話文情報名４０１はその手話文情報に付けられたラベルであり、任意の記号列を用いることができる。音声言語文字列４０２は、その手話文の意味を表す音声言語の文字列が記述される。手話文動作情報４０３は、手話文を表す手話語の組み合わせや手話文において付加される手動作や手以外の動作に関する情報である。関連情報４０４は、その手話文の表現に関する説明や、その手話文を表現する際に注意すべき事柄等に関する情報であり、文字および写真やイラスト等の画像を組み合わせることができる。図５に音声言語文字列４０２の記述例を示す。音声言語文字列４０２では、単純な文字列だけでなく、手話文動作情報４０３と関連づけられた選択可能な要素を含めることができる。図５において５０１および５０５は単純な文字列として解釈される部分である。図５において（ ）で囲まれた部分に含まれる文字列、田中５０２、佐藤５０３、鈴木５０４が選択可能な要素を表す。この場合、図５で示された音声言語文字列は、「私の名前は田中です」、「私の名前は佐藤です」、「私の名前は鈴木です」という３通りの意味を表すことができる。選択可能な要素としては、音声言語の語、音声言語の句、音声言語の文のほか、音声言語の語のタイプ、音声言語の句のタイプ、音声言語の文のタイプを含めることができる。図６に手話文動作情報４０３のフォーマットを示す。手話語エントリー数６０１は手話文に含まれる手話語に関する情報である手話語エントリーの数を表す。手話語エントリー６０２から６０３は手話文中に含まれる手話語エントリーを表す。表情エントリー数６０４は手話文において付加される表情に関する情報である表情エントリーの数を表す。表情エントリー６０５から６０６は手話文中に含まれる表情エントリーを表す。視線エントリー数６０７は手話文において付加される視線に関する情報である視線エントリーの数を表す。視線エントリー６０８から６０９は手話文中に含まれる視線エントリーを表す。口形エントリー数６１０は手話文において付加される口形に関する情報である口形エントリーの数を表す。口形エントリー６１１から６１２は手話文に含まれる口形エントリーを表す。手話文動作情報４０３に含まれる情報として、この他、頭の動きや肘の動き等、通常の手話文を表現する際に必要となる手動作および手以外の動作に関する情報は同様にして全て含めることが可能である。図７に手話語エントリー６０２、６０３のフォーマットを示す。図７において、手話語数７０１は手話語エントリー中に含まれている手話語の数を表す。関連音声言語７０２、７０４は、音声言語文字列４０２中に記述されている選択可能な要素の内、手話語に対応する要素を表す。手話語名７０３、７０５はそれぞれ関連音声言語７０２、７０４に対応する手話語の名称を表す。これにより、選択可能な要素の内、特定の要素を選択して構成される音声言語文字列４０２と手話語の組み合わせを一対一に対応づけることが可能となる。また、音声言語文字列中の選択可能な要素が音声言語の語のタイプ、音声言語の句のタイプ、音声言語の文のタイプの場合、手話語名は空白か、あるいは手話語として可能なタイプを記述する。さらに、手話語エントリー中には、手話文中の他の手話語との関係により変化する動作の位置や方向に関する情報を付加することもできる。
【００２０】
図８に表情エントリー６０５、６０６のフォーマットを示す。図８において、表情数８０１は表情エントリー中に含まれる表情の数を表す。関連音声言語８０２、８０８は音声言語文字列４０２に記述されている選択可能な要素の内、表情に対応する要素を表す。関連手話語エントリー数８０３、８０９は、表情に対応する手話文情報中の手話語エントリーの数を表す。表情は特定の手話語だけでなく複数の手話語に渡って表現される場合が多いため、複数の手話語を対応づけられるようにする。関連手話語エントリー８０４から８０５、８１０から８１１は表情に対応する手話語エントリーを表す。表情情報８０６、８１２は表情に関する情報であり、手話アニメーション生成部１０７で使用される表情の名称、あるいは、手話アニメーション生成部１０７で表情を生成するために必要となるパラメータを用いることができる。付加タイプ８０７、８１３は、表情を手話文に付加する場合、関連する手話語を基準としてどのようなタイミングで付加するかを指定する。例えば、手話語が表現される全時間範囲に渡って付加する、手話語が表現される時間範囲の前半に付加する、手話語が表現される時間範囲の後半に付加する、等を指定することができる。また、手話語が表現される時間範囲のどの部分からどの位の時間範囲で付加するといった詳細な指定を記述することも可能である。視線エントリー６０８、６０９、口形エントリー６１１、６１２、あるいは、その他の付加される手動作および手以外の動作に関する情報は、図８に示した表情エントリーのフォーマットと同様のフォーマットで記述することが可能である。この場合、表情情報８０６、８１２が該当する情報を表す名称あるいはパラメータに置き換えられることになる。
【００２１】
手話文情報にはさらに、その手話文を含む手話文章に関する情報や、手話文中での選択可能な要素にふさわしいかどうかを判定するために用いられる文のタイプを含めることもできる。
【００２２】
図９は手話文章情報格納部１１３に格納される手話文章情報のフォーマットである。手話文章情報名９０１は、手話文章情報に付けられたラベルであり、任意の記号列を用いることができる。手話文数９０２は、手話文章中に含まれる手話文の数である。手話者名９０３、９０５は各手話文に対応する手話者の名称である。手話文情報名９０４、９０６は手話文情報の名称であり、図４に示した手話文情報名４０１を使用することができる。関連情報９０７は、手話文章に関する説明や、手話文章における注意すべき事柄等に関する情報である。手話文章情報にはさらに、手話文章中に含まれる手話語に関する情報を含めることもできる。
【００２３】
図１０に学習者情報格納部１１４に格納される学習者情報のフォーマットを示す。図１０において、ユーザ名１００１は学習者情報がどのユーザに関する情報であるかを表すためのユーザの名称である。一つの手話教育装置を複数のユーザが使用する場合、各ユーザは手話教育装置を使用する前に自分の学習者情報を選択することにより、自分の学習情報に基づいた学習を行うことが可能となる。手話文章学習履歴１００２は、複数ある手話文章の内、どの手話文章を学習したかに関する情報である。手話文章学習履歴１００２の内容は、学習を行ってきた順序に並べた手話文章情報名列を用いる。あるいは、最後に学習を行った手話文章情報名、手話文章情報毎の学習頻度、手話文章情報毎の学習頻度に基づいた順序で並べられた手話文章情報名列等を用いることもできる。手話文学習履歴１００３は、複数ある手話文の内、どの手話文を学習したかに関する情報である。手話文学習履歴１００３の内容は、学習を行ってきた順序に並べられた手話文情報名列を用いる。あるいは、最後に学習をおこなった手話文情報名、手話文情報毎の学習頻度、手話文情報毎との学習頻度に基づいた順序で並べられた手話文情報名列等を用いることもできる。手話語学習履歴１００４は、複数ある手話語の内、どの手話語を学習したかに関する情報である。手話語学習履歴１００４の内容は、学習を行ってきた順序に並べられた手話語名列を用いる。あるいは、最後に学習をおこなった手話語名、手話語情報毎の学習頻度、手話語情報毎の学習頻度に基づいた順序で並べられた手話語名列等を用いることができる。手話文テスト結果情報１００５は、手話文の動画像表示をユーザに行い、それに対するユーザの解答を評価する手話文読み取りテストの結果に関する情報である。手話語テスト結果情報１００６は、手話語の動画像表示をユーザに行い、それに対するユーザの解答を評価する手話語読み取りテストの結果に関する情報である。図１１に手話文テスト結果情報１００３のフォーマットを示す。図１１において、手話文数１１０１は、テストを行った手話文の数である。手話文情報名１１０２、１１０６は、テストを行った手話文情報の名称であり、図４に示した手話文情報名４０１を使用することができる。評価回数１１０３、１１０７は各手話文のテストを行った回数を表す。正解回数１１０４、１１０８はテストに対するユーザの解答が正解であった回数を表す。正解回数１１０４、１１０８の代わりに、テスト結果に関する情報として、ユーザの解答とその評価の履歴を記述しても良い。誤り情報１１０５、１１０９は、ユーザの解答が誤っていた場合の内容に関する情報の記述であり、誤った解答の履歴をそのまま記述する事ができる。同じ手話文に対する誤りの場合は、その頻度を記述することもできる。さらに、誤りの傾向や原因を分析し、その結果を付加してもよい。図１０における手話語テスト結果情報１００４は、図１１における手話文テスト結果情報中の手話文に関する項目を手話語に関する項目に置き換えることにより、図１１と全く同じフォーマットで記述することができる。
【００２４】
図１２及び図１３を用いて、教育制御部１１０における処理について詳細に説明する。図１２は教育制御部１１０の主要な処理の流れを示す図である。教育制御部１１０では、まず、ステップ１２０１においてメインメニューの表示を行う。図１３に、メインメニューの一例を示す。図１３において、１３０１はメニュー画面のタイトルを表す。１３０２は手話語の検索および表示を行う処理に移行するためのボタン、１３０３は手話文の検索および表示を行う処理に移行するためのボタン、１３０４は手話文章の検索および表示を行う処理に移行するためのボタン、１３０５は手話に関するテストを行う処理に移行するためのボタン、１３０６は処理を終了するためのボタンである。ユーザは、キーボード１０２やマイク１０３、マウス１０５によって、画面上のボタンを選択し、それぞれの処理に移行することができる。図１２において、ステップ１２０２では、ユーザがメニュー上のどの処理を選択したかを判定する。ステップ１２０３では手話語の検索および表示処理を行う。ステップ１２０４では手話文の検索および表示処理を行う。ステップ１２０５では手話文章の検索および表示処理を行う。ステップ１２０６では手話に関するテスト処理を行う。各処理が終了するとステップ１２０２に戻る。ステップ１２０２において、終了が選択された場合は処理を終了する。
【００２５】
図１４に手話語の検索および表示を行うための画面の一例を示す。図１４において、１４０１は手話語の検索方法を表示する領域であり、また、ユーザが必要に応じて検索方法を変更する操作を行うことができる。検索方法には、音声言語の語から検索する方法と、動作要素から検索する方法が用意されている。図１４には音声言語を日本語とした場合の表示例が示されている。以下の例でも、音声言語として日本語を選択した場合を想定して説明を行う。１４０２は、音声言語の語から手話を検索する場合に、音声言語の語の名称を入力する領域である。１４０３は検索を開始するためのボタンである。１４０４は検索された手話語名を表示する部分である。表示される手話語名は図２の手話語名２０１である。１４０５は検索された手話語名に対応する音声言語の語の一覧である。１４０５に表示される音声言語の語は、１４０４においてユーザが選択した手話語に対してのみ表示される。１４０６は、検索された手話語を含む手話文情報の一覧であり、図４の手話文情報名４０１、あるいは音声言語文字列４０２が使用される。１４０６に表示される手話文情報は、１４０４においてユーザが選択した手話語に対してのみ表示される。１４０７は、検索された手話語を含む手話文章情報の一覧であり、図９の手話文章情報名９０１が使用される。１４０７に表示される手話文章情報のは、１４０４においてユーザが選択した手話語に対してのみ表示される。１４０８は、１４０４で選択された手話語、１４０６で選択された手話文、１４０７で選択された手話文章のいずれかに対応する手話アニメーションを表示するための画面である。１４０９は手話アニメーションの表示を停止するためのボタン、１４１０は手話アニメーションの表示を開始するためのボタン、１４１１は手話アニメーションの表示を一時停止するためのボタン、１４１２は手話アニメーションの表示を逆戻しするためのボタン、１４１３は手話アニメーションの表示を早送りするためのボタン、１４１４は手話アニメーションの表示を拡大するためのボタン、１４１５は手話アニメーションの表示を縮小するためのボタン、１４１６および１４１７は手話アニメーションを表示する視点を変更するためのボタンである。１４０８に手話アニメーションを表示する方法および、１４０９から１４１７のボタンによる手話アニメーションを制御する方法としては、手話アニメーション生成部１０７には特開平８−１６８２１号公報に記載されている技術を用いることにより容易に実現することができる。１４１８は、１４０４においてユーザが選択した手話語、１４０６においてユーザが選択した手話文、あるいは１４０７においてユーザが選択した手話文章、に関する関連情報を表示するための領域である。１４１９は、手話語の一覧表を表示し、その中の手話語を選択することにより手話語を検索するためのボタンである。１４２０はメインメニューを介さず手話文の検索および表示を行う画面に移行するためのボタンである。１４２１はメインメニューを介さずに手話文章の検索および表示を行う画面に移行するためのボタンである。１４２２は、手話文の検索および表示、あるいは手話文章の検索および表示の画面から手話語の検索および表示の画面に移行した場合に、移行する前の画面に復帰するためのボタンである。１４２３は手話語の検索および表示を終了し、メインメニューに移行するためのボタンである。
【００２６】
図１５に音声言語の語から手話語を検索する処理の流れ図を示す。図１５において、まず、ステップ１５０１において検索結果を格納する領域をクリアする。ステップ１５０２では、手話語情報格納部１１１に格納されている手話語情報の内、検索処理で読み込まれていない手話語情報があるかどうかを調べる。検索処理で読み込まれていない手話語情報がない場合は、ステップ１５０３に進む。ステップ１５０３では、検索結果を格納する領域に格納されている検索結果を出力し、検索処理を終了する。検索結果は１４０４に表示される。ステップ１５０４では、手話語情報格納部１１１から手話語情報を１つ読み込む。ステップ１５０５では、ユーザが入力した音声言語の語の名称と手話語情報中の手話語に対応する音声言語の語の名称が一致しているかどうかを判定する。一致していれば、ステップ１５０６において、読み込んだ手話語情報を検索結果に追加し、ステップ１５０２に戻る。一致していなければ、直接ステップ１５０２に戻る。入力された音声言語の語の名称と手話語情報中の音声言語の語の名称との一致判定の際、対応する音声言語の語の名称が手話語情報中に無い場合、手話語名と入力された音声言語の語の名称との一致判定を行い、一致していれば、その手話語情報を検索結果に含めるようにして良い。また、音声言語の語の名称同士あるいは音声言語の語の名称と手話語名との一致判定の際、完全に一致するものだけでなく、部分的に一致するものを検索結果に含めても良い。その際、一致の程度に基づいて検索結果に順位付けして検索結果の表示を行っても良い。
【００２７】
手話語の検索では、同様に、その手話語を含む手話文情報あるいは手話文章情報の検索を行い、その結果をそれぞれ、１４０６、１４０７に表示する。図１６に、音声言語の語から手話文を検索する処理の流れ図を示す。図１６において、まず、ステップ１６０１において検索結果を格納する領域をクリアする。ステップ１６０２では、手話文情報格納部１１２に格納されている手話文情報の内、検索処理で読み込まれていない手話文情報があるかどうかを調べる。検索処理で読み込まれていない手話文情報がない場合は、ステップ１６０３に進む。ステップ１６０３では、検索結果を格納する領域に格納されている検索結果を出力し、検索処理を終了する。ステップ１６０４では、手話文情報格納部１１２から手話文情報を１つ読み込む。ステップ１６０５では、手話文情報中の全ての手話語について処理を行ったかどうかを調べる。手話文中の全ての手話語について処理を行った場合はステップ１６０２に戻る。全ての手話語について処理を行っていない場合は、ステップ１６０６に進み、処理が行われていない手話語情報を手話語情報格納部１１１から読み込む。ステップ１６０７では、ユーザが入力された音声言語の語の名称と読み込んだ手話語情報中の手話語に対応する音声言語の語の名称が一致しているかどうかを判定する。一致していれば、ステップ１６０８において、手話文情報を検索結果に追加し、ステップ１６０２に戻る。一致していなければ、直接ステップ１６０５に戻る。入力された音声言語の語の名称と手話語情報中の音声言語の語の名称の一致判定の方法は、手話語の検索に用いた方法と同様の方法を用いることができる。また、図１７に音声言語の語から手話文章を検索する処理の流れ図を示す。図１７において、まず、ステップ１７０１において検索結果を格納する領域をクリアする。ステップ１７０２では、手話文章情報格納部１１３に格納されている手話文章情報の内、検索処理で読み込まれていない手話文章情報があるかどうかを調べる。検索処理で読み込まれていない手話文章情報がない場合は、ステップ１７０３に進む。ステップ１７０３では、検索結果を格納する領域に格納されている検索結果を出力し、検索処理を終了する。ステップ１７０４では、手話文章情報格納部１１３から手話文章情報を１つ読み込む。ステップ１７０５では、手話文章情報中の全ての手話文について処理を行ったかどうかを調べる。手話文章中の全ての手話文について処理を行った場合はステップ１７０２に戻る。全ての手話文について処理を行っていない場合は、ステップ１７０６に進み、処理が行われていない手話文情報を手話文情報格納部１１２から読み込む。ステップ１７０７では、手話文情報中の全ての手話語について処理を行ったかどうかを調べる。手話文情報中の全ての手話語について処理を行った場合はステップ１７０５に戻る。全ての手話語について処理を行っていない場合は、ステップ１７０８に進み、処理が行われていない手話語情報を手話語情報格納部１１１から読み込む。ステップ１７０９では、ユーザによって入力された音声言語の語の名称が読み込んだ手話語情報中の音声言語の語の名称と一致するかどうかを調べる。一致していれば、ステップ１７１０において、手話文章情報を検索結果に追加し、ステップ１７０２に戻る。一致していなければ、直接ステップ１７０７に戻る。入力された音声言語の語の名称と手話語情報中の音声言語の語の名称の一致判定の方法は、手話語の検索に用いた方法と同様の方法を用いることができる。
【００２８】
また、手話語情報中にその手話語を含む手話文や手話文章に関する情報が含まれている場合は、検索処理は行わずに、表示に必要な情報を手話文情報格納部１１２や手話文章情報格納部１１３から直接読み込んで表示することができる。
【００２９】
動作要素から手話語を検索する場合は、まず、検索方法の切り替えを行う。検索方法の切り替えを行うためには、図１４における検索方法を表示する領域１４０１をキーボード１０２やマイク１０３、あるいはマウス１０５を用いて選択する。これにより、図１８に示すような検索方法を選択するためのメニューが表示される。メニューには、「日本語から検索」１８０１および「動作要素から検索」１８０２の２つの選択肢が示される。ここで、「動作要素から検索」を選択すれば、検索方法が、動作要素による検索に変更される。検索方法を変更した場合の表示は、図１９に示すようになる。図１９において、検索方法を表示する領域１４０１は図１４の場合と比較して、表示内容が変更されただけであり、また、検索を開始するためのボタン１４０３は図１４と全く同じである。図１４における音声言語の語を入力する領域１４０２は、動作要素を選択する画面を表示するためのボタン１９０１に変更される。この状態で、検索方法を「日本語から検索」に変更すると、画面表示は再び図１４に示す表示に変更される。図２０に、動作要素を選択するための画面の一例を示す。図２０において、２００１は右手に関する動作要素を選択するための領域、２００２は左手に関する動作要素を選択するための領域、２００３は両手の関係に関する動作要素を選択するための領域である。２００４は右手に関する形状の内、選択した形状の一覧を表示するための領域、２００５は選択可能な形状の一覧を表示し、その中から必要な形状を選択するための画面を表示するためのボタンである。２００５を選択すると、図２１に示すような形状の一覧が表示される。図２１において、２１０１は選択可能な形状の一覧を表示する領域である。選択した形状をキーボード１０２やマイク１０３、マウス１０５によって選択することにより、選択する形状の候補を設定することができる。２１０２を選択すると一覧中で候補として設定されている形状が選択されたものとして確定され、図２０の２００４に追加される。２１０３は形状の選択をキャンセルするためのボタンである。２１０１上の形状は、一度に複数の形状を選択するようにしても良い。２００６は２００４に表示されている形状の内、選択された形状を削除するためのボタンである。同様に、２００７は選択された方向を、２０１０は選択された位置を、２０１３は選択された動きを表示するための領域である。２００８は選択可能な方向の一覧を、２０１１は選択可能な位置の一覧を、２０１４は選択可能な動きの一覧を表示し、その中から必要な動作要素を選択するための画面を表示するためのボタンである。一覧の表示方法および動作要素の選択方法は、図２１に示した形状の場合と全く同様に行うことができる。２００９は２００７上で選択された方向を、２０１２は２０１０上で選択された位置を、２０１５は２０１３上で選択された動きを削除するためのボタンである。左手に関する動作要素を選択するための領域２００２、両手の関係に関する動作要素を選択するための領域２００３中の表示および操作は、右手に関する動作要素を選択するための領域２００１中における表示および操作と全く同様である。図２０の画面により選択する形状や方向、位置、動き等に関する動作要素は、図２における動作要素名２０７から２０８に記述される動作要素の名称と同じものを使用する。図２０では、選択が容易なように、動作要素をいくつかの種類に分類して表示および選択ができるようにしている。分類方法としては、図２０に示す様な動作要素の種類に基づく方法だけでなく、動作要素の名称の音に基づく方法等、任意の分類方法を用いることができる。また、分類を行わず、全ての動作要素を一覧表示して選択するようにしても良い。図２０において、２０１６は全ての選択した動作要素を確定するためのボタン、２０１７は全ての選択した動作要素を取り消すために使用するためのボタンである。
【００３０】
動作要素を選択した後、検索を開始するためのボタン１４０３を選択すると、選択された動作要素に基づいて手話語情報の検索を行う。検索処理は、図２０において、１つ以上の動作要素が選択されていれば、行うことができる。検索は、図１５に示した音声言語の語から手話語を検索する処理の流れ図において、ステップ１５０５を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、行うことができる。選択された動作要素が手話語情報中に含まれているかどうかの判定方法において、選択された動作要素が全て手話語情報中に含まれている手話語を検索結果に含めるようにする方法を用いることができる。また、選択された動作要素の内、一部の動作要素が手話語情報中に含まれている手話語も検索結果に含めるようにする方法を用いることもできる。この場合、選択された動作要素と手話語情報中の動作要素の一致する数に基づいて検索結果に順位を付けて出力することもできる。さらに、選択された動作要素が全て手話語情報中に含まれている手話語が検索されなかった場合にのみ、選択された動作要素の内、一部の動作要素が手話語情報中に含まれている手話語を検索結果として出力することもできる。動作要素から手話語を検索する場合も、手話語に関連する手話文および手話文に関する情報の検索を同時に行う。この方法としては、それぞれ、図１６におけるステップ１６０７、図１７のステップ１７０９を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、行うことができる。また、手話語情報中にその手話語を含む手話文や手話文章に関する情報が含まれている場合は、検索処理は行わずに、表示に必要な情報を手話文情報格納部１１２や手話文章情報格納部１１３から直接読み込んで表示することができる。
【００３１】
図１４における１４１９を選択した場合に表示される、手話語の一覧から手話語を選択するための画面の一例を図２２に示す。図２２において、２２０１から２２１１は複数の画面に手話語の一覧を分割して表示する場合に、それぞれの画面を選択するための領域である。図２２では、手話語に対応する音声言語の語の名称、ここでは日本語の語の名称をそれぞれ、「あ行」、「か行」、「さ行」、「た行」、「な行」、「は行」、「ま行」、「や行」、「ら行」、「わ行」、「その他」の音から始まる名称に分類して表示する場合の例を示している。２２１２から２２１６は、選択した画面に表示されている手話語の一覧をさらに細かく分類した場合に、それぞれの分類に対応する手話語の一覧を表示するためのボタンである。図２２では、「あ行」の一覧を「あ」、「い」、「う」、「え」、「お」、それぞれの音から始まる名称に分割した例を示している。２２１２から２２１６を選択すると、それぞれのボタンが示す音から始まる日本語の語の名称に対応する手話語の一覧が表示される。上記の例では、手話語に対応する日本語の語の名称を分類しているが、手話語名を分類しても良い。分類の方法としては、音に基づく分類だけでなく、手話語や音声言語の語をその種類や使用方法等に基づいて分類する方法を用いても良い。手話語の一覧から特定の手話語を選択し、２２２０を選択すると、選択した手話語に基づいて手話語情報の検索を行い、検索結果を表示する。検索方法は、図１５や図１６、図１７の流れ図に示した方法を使用することができる。２２２１は、手話語の一覧から手話語を選択する処理を中止するためのボタンである。
【００３２】
以上の他、図１４に示す手話語の検索および表示の画面では、１４０４に表示されている手話語を選択すると、その手話語に対応する音声言語の語の一覧が１４０５に、その手話語を含む手話文情報の一覧が１４０６に、その手話語を含む手話文章情報の一覧が１４０７に表示される。また、１４０５に表示されている音声言語の語を選択することにより、選択した音声言語の語に基づいて手話語の検索を行い、その結果を１４０４に表示する。また、１４０６に表示されている手話文情報あるいは、１４０７に表示されている手話文章情報を選択することにより、選択された手話文情報あるいは手話文章情報に含まれている手話語の一覧が１４０４に表示される。さらに、１４０４に表示されている手話語あるいは１４０５に表示されている音声言語の語を選択して、１４２０あるいは１４２１を選択すると、手話文の検索および表示あるいは、手話文章の検索および表示を行うための画面に移行し、選択した手話語を含む手話文情報あるいは手話文章情報を検索し、その結果を表示することができる。また、１４０６に表示されている手話文情報を選択し、１４２０を選択することにより、手話文の検索および表示を行うための画面に移行し、選択した手話文に関する情報を表示することができる。１４０６に表示されている手話文情報を選択し、１４２１を選択することにより、手話文章の検索および表示を行うための画面に移行し、選択した手話文を含む手話文章情報を検索し、その結果を表示することができる。１４０７に表示されている手話文章を選択し、１４２０を選択すると、手話文の検索および表示を行う画面に移行し、選択した手話文章に含まれる手話文情報を検索結果として表示することができる。１４０７に表示されている手話文章を選択し、１４２１を選択することにより、手話文章の検索および表示を行うための画面に移行し、選択した手話文章に関する情報を表示することができる。さらに、１４１８に表示されている関連情報中に含まれる語を選択し、検索ボタン１４０３を選択することにより、選択した語に基づいて手話語の検索を行い、その結果を表示することができる。関連情報中に含まれる語を選択し、ボタン１４２０、１４２１を選択すると、それぞれ手話文の検索および表示、手話文章の検索および表示の画面に移行し、選択した語に基づく手話文あるいは手話文章の検索を行い、その結果を表示することができる。
【００３３】
手話語の検索および表示では、ある手話語情報を表示した時点で、学習者情報の手話語学習履歴を更新する。更新は、新たに表示した手話語名により、手話語学習履歴を書き換えることにより行うことができる。あるいは、新たに表示した手話語名を手話語学習履歴に追加することもできる。さらには、新たに表示した手話語名を手話語学習履歴中に追加するだけでなく、新たに表示した手話語名が手話語学習履歴中に存在するかどうかを調べ、存在する場合には手話語情報が表示された回数を更新することもできる。
【００３４】
一方、音声言語の語の名称や手話語の名称等の検索条件が入力されずに手話語の検索および表示の画面に移行した場合は、学習者履歴に基づいて、最後に表示していた手話語情報を表示する。あるいは、それまでに表示された手話語情報の履歴が学習者情報中に記述されている場合は、履歴中にある手話語情報を検索結果の一覧に表示することができる。これにより、履歴に沿って手話語情報を表示することが可能となる。さらに、各手話語情報が表示された回数が記述されている場合は、表示回数に従って手話語情報を並べ替えて検索結果の一覧に表示することができる。
【００３５】
図２３に手話文の検索および表示を行う画面の一例を示す。図２３において、２３０１は手話文の検索方法を表示する領域であり、また、ユーザが必要に応じて検索方法を変更する操作を行うことができる。検索方法には手話語の検索と同様に、音声言語の語から検索する方法と、動作要素から検索する方法が用意されている。２３０２は、音声言語の語から手話文を検索する場合に、音声言語の語の名称を入力する領域である。２３０３は検索を開始するためのボタンである。２３０４は、検索された手話文情報の一覧を表示するための領域であり、図４に示した手話文情報名４０１あるいは音声言語文字列４０２のいずれかを表示する。２３０５は検索された手話文の意味を表す音声言語の文字列を表示する領域である。表示される音声言語の文字列は図４の音声言語文字列４０２である。２３０６は検索された手話文情報中の手話文動作情報４０３を表示するための領域である。２３０７は手話文動作情報中の手話語エントリーを表示する領域、２３０８は表情エントリーを表示する領域、２３０９は視線エントリーを表示する領域、２３１０は口形エントリーを表示する領域である。手話文動作情報は、全ての情報を表示するだけでなく、ユーザが選択した情報のみを表示するようにしても良い。２３１１は、２３０５および２３０６に表示されている手話文を含む手話文章情報の一覧を表示するための領域であり、図９における手話文章情報名９０１を表示する。図２３において、２３１２は手話アニメーションを表示する領域であり、図１４に示した１４０８と同様である。また、２３１３から２３２１までのボタンも図１４の１４０９から１４１７までと同様の機能を有する。２３２２は、２３０４においてユーザが選択した手話文、２３０７においてユーザが選択した手話語、あるいは２３１１においてユーザが選択した手話文章、に関する関連情報を表示するための領域である。２３２３は手話語の一覧を表示し、手話語を選択するための画面を表示するためのボタンである。表示された手話語の一覧から手話語を選択することにより、選択した手話語を含む手話文情報を検索し、結果を表示することができる。手話語の一覧の表示画面および操作方法は、図２１と同様である。また、手話文の検索方法は図１６に示した方法と同様である。２３２４は手話文の一覧を表示し、手話文を選択するための画面を表示するためのボタンである。表示された手話文の一覧から手話文を選択することにより、選択した手話文に対する手話文情報を表示することができる。図２４に手話文の一覧の表示画面の一例を示す。図２４において、２４０１は手話文の一覧を表示する領域であり、各手話文について、図４に示した手話文情報名４０１あるいは音声言語文字列４０２のいずれかを表示する。２４０２は２４０１上で選択した手話文を確定し、選択した手話文に対応する手話文情報を検索し、表示するためのボタンである。２４０３は２４０１上での手話文の選択をキャンセルするためのボタンである。手話文の一覧の表示方法として、手話文情報名あるいは音声言語文字列だけでなく、手話文情報に含まれる手話文動作情報を同時に表示しても良い。図２３において、２３２５はメインメニューを介さずに手話語の検索および表示を行うための画面に移行するためのボタンである。２３２６はメインメニューを介さずに手話文章の検索および表示を行うための画面に移行するためのボタンである。２３２７は、手話語の検索および表示、あるいは手話文章の検索および表示の画面から手話文の検索および表示の画面に移行した場合に、移行する前の画面に復帰するためのボタンである。２３２８は手話文の検索および表示を終了し、メインメニューに移行するためのボタンである。
【００３６】
図２３に示した画面で、音声言語の語から手話文の検索を行う場合の音声言語の語の名称の入力、あるいは、動作要素から手話文の検索を行う場合の動作要素の入力は、図１４および図１８、図１９に示した方法と同様の方法で行うことができる。音声言語の語から手話文を検索する方法は、図１６に示した方法と同様である。また、手話文の検索では、複数の音声言語の語の名称を入力し、それらに基づいて検索を行うようにすることもできる。また、動作要素から手話文を検索する方法は、図１６において、ステップ１６０７を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、同様の方法を用いることができる。判定処理は、手話語を検索する際に用いられる方法と同様の方法を用いることができる。手話文の検索では、さらに、手話文を含む手話文章情報の検索を行い、その結果を手話文章情報の一覧を表示する領域２３１１に表示する。手話文から手話文章を検索する方法は、図１４において、手話語情報を手話文情報に、音声言語の語を手話文情報に置き換えることにより、同様の方法により行うことができる。また、手話文情報中に、その手話文を含む手話文章に関する情報が含まれている場合は、必要な情報を直接手話文章格納部１１３から読み込んで表示することができる。また、手話文の検索において、手話文情報名や手話文の意味を表す音声言語文字列を直接入力することにより、手話文情報を検索するようにしても良い。
【００３７】
以上の他、図２３に示す手話文の検索および表示の画面では、手話文の意味を表す音声言語文字列を表示する領域２３０５を選択することにより、手話文の手話アニメーションを生成するための情報を手話アニメーション生成部１０７に送り、手話アニメーションを表示することができる。手話文の手話アニメーションを生成するための情報は、手話文に含まれる手話語に対応する手話語情報中のアニメーション生成用情報および、手話文中で付加される手動作および手以外の動作に関する情報を結合することにより容易に作成することができる。また、手話文動作情報を表示する領域２３０６中に表示されているそれぞれの情報を選択することにより、それぞれの情報に対応した手話アニメーションを生成するための情報を手話アニメーション生成部１０７に送り、アニメーション表示を行うことができる。例えば、図２３の２３０７において、「私」を選択すると「私」を意味する手話アニメーションが表示される。また、２３０８において、「笑顔」を選択すると「笑顔」を表すアニメーションが表示される。
【００３８】
また、２３０４に表示されている手話文を選択すると、選択された手話文の意味を表す音声言語文字列が２３０５に、選択された手話文に対応する手話文情報中の手話文動作情報が２３０６に、選択された手話文を含む手話文章情報の一覧が２３１１に表示される。さらに、２３０７に表示されている手話語を選択した後、検索開始ボタン２３０３を選択すると、選択した手話語を含む手話文情報の検索を行い、その結果を表示することができる。２３０７に表示されている手話語に基づいた検索だけでなく、２３０８、２３０９、２３１０に表示されている、手話文中で付加される手動作および手以外の動作に関する情報に基づいて手話文情報の検索を行うこともできる。２３１１に表示されている手話文章を選択すると、選択した手話文章に含まれる手話文情報の一覧を２３０４に表示することができる。２３０４に表示されている手話文を選択し、２３２５を選択すると、手話語の検索および表示の画面に移行し、選択した手話文中に含まれる手話語を検索結果の一覧に表示することができる。２３０４に表示されている手話文を選択し、２３２６を選択すると、手話文章の検索および表示の画面に移行し、選択した手話文を含む手話文章情報を検索し、表示することができる。２３０７に表示されている手話語を選択し、２３２５を選択すると、手話語の検索および表示の画面に移行し、選択した手話語に関する情報を表示することができる。２３０７に表示されている手話語を選択し、２３２６を選択すると、手話文章の検索および表示の画面に移行し、選択した手話語を含む手話文章情報を検索し、表示することができる。２３１１に表示されている手話文章を選択し、２３２５を選択すると、手話語の検索および表示の画面に移行し、選択した手話文章中に含まれる手話語を検索結果の一覧に表示することができる。２３１１に表示されている手話文章を選択し、２３２６を選択すると、手話文章の検索および表示の画面に移行し、選択した手話文章に関する情報を表示することができる。また、２３２２に表示されている関連情報中の特定の語を選択し、検索２３０３を選択すると、選択した語に基づいて手話文の検索を行うことができる。２３２２に表示されている関連情報中の特定の語を選択し、検索２３２５、２３２６を選択すると、それぞれ手話語の検索および表示、手話文章の検索および表示の画面に移行し、選択した語に基づく手話語あるいは手話文章の検索を検索し、結果を表示することができる。
【００３９】
さらに、図２３において、手話語や手話文の手話アニメーションを表示する際に、アニメーション表示中の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報を、他の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報と異なる色、異なる文字あるいは異なる背景を用いて表示する。手話文情報中の手話語エントリーを表示する領域２３０７における表示例を図２５に示す。図２５において、アニメーション開始時には、最初の手話語「私」２５０１が他の手話語とは異なる色と背景により表示される。アニメーション表示の進行に伴い、「名前」２５０２、「鈴」２５０３、「木」２５０４、「有る」２５０５が順に異なる色と異なる背景により表示されている。アニメーション表示中の手話語や手動作および手以外の動作に関する情報は特開平８−１６８２１号公報に記載された技術を用いることにより、手話アニメーション生成部１０７から容易に取得することができる。
【００４０】
また、図２３の手話文の意味を表す音声言語文字列の表示において、音声言語文字列中に選択可能な要素が存在する場合、選択可能な要素に対応する部分は文字列中の他の部分とは、異なる色、異なる文字あるいは異なる背景で表示する。この場合の表示の一例を図２６に示す。図２６では、「鈴木」２６０１の部分が選択可能な要素として表示されている。ここで、選択可能な要素に対応する部分２６０１を選択すると、２６０２のように、選択可能な要素の一覧が表示される。一覧中からいずれかの要素を選択すると、選択した要素で音声言語文字列が変更され、さらに、手話動作に関する情報を表示する領域２３０５中の、選択した要素に対応する情報が変更される。図２６では、選択可能な要素中の「田中」が選択され、音声言語文字列が元の「鈴木」から「田中」に変更される。また、手話語に関する情報表示する領域２３０６中の「鈴木」に対応していた情報である「鈴」と「木」が、「田中」に対応する「田」２６０４と「中」２６０５に変更されて表示される。音声言語文字列中の選択可能な要素が音声言語の語のタイプや、音声言語の句のタイプ、音声言語の文のタイプで指定されている場合は、それぞれのタイプに対応する手話語情報や手話文情報を手話語情報格納部１１１や手話文情報格納部１１２から検索し、その結果を選択可能な要素の一覧として表示することができる。あるいは、音声言語文字列中の選択可能な要素の部分にユーザが任意の文字列を入力し、入力された文字列に対応する手話語情報や手話文情報を検索し、検索された手話語情報や手話文情報が選択可能な要素のタイプに一致するどうかを判定し、一致していれば検索された手話語あるいは手話文情報を選択可能な要素に対応する部分に挿入するようにしても良い。この場合、タイプが一致しない場合は、その旨をユーザに対して表示するようにすることもできる。あるいは、ユーザが入力した文字列を自然言語処理の技術を用いて解析を行い、その結果を基に対応する手話に関する情報を作成し、挿入することもできる。
【００４１】
手話文の検索および表示において、ある手話文情報を表示した時点で、学習者情報の手話文学習履歴を更新する。更新の方法は、更新する内容を手話文に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。また、音声言語の語の名称や手話語の名称等の検索条件が入力されずに手話文の検索および表示の画面に移行した場合は、学習者履歴に基づいて、手話文情報の表示を行う。表示方法としては、表示内容を手話文に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。
【００４２】
図２７に手話文章の検索および表示を行うための画面の一例を示す。図２７において、２７０１は手話文章の検索方法を表示する領域であり、また、ユーザが必要に応じて検索方法を変更する操作を行うことができる。検索方法には手話語の検索と同様に、音声言語の語から検索する方法と、動作要素から検索する方法が用意されている。２７０２は、音声言語の語から手話文章を検索する場合に、音声言語の語の名称を入力する領域である。２７０３は検索を開始するためのボタンである。２７０４は検索された手話文章情報の一覧を表示する領域であり、図９における手話文章情報名９０１が表示される。２７０５は手話文章中の各手話文に対応する手話文情報を表示する領域である。２７０６、２７０９、２７１２は、手話文章情報中の各手話文に対応する手話者名を表示する領域、２７０７、２７１０、２７１３は、手話文章情報中の各手話文の手話文情報名あるいは手話文の意味を表す音声言語文字列を表示する領域である。２７０８、２７１１、２７１４は手話文章情報中の各手話文中の手話文動作情報を表示する領域である。図２７では、手話文動作情報として手話語名のみを表示しているが、図２３における手話文動作情報の表示と同様に、手話文動作情報中の任意の種類の情報を組み合わせて表示することができる。２７１５は手話アニメーションを表示する領域であり、図１４に示した１４０８と同様である。また、２７１６から２７２４までのボタンも図１４の１４０９から１４１７までと同様の機能を有する。２７２５は、２７０４においてユーザが選択した手話文章、２７０５においてユーザによって選択された手話文あるいは手話語、に関する関連情報を表示するための領域である。２７２６は手話文章中の手話文を最初から順に連続的に表示するためのボタンである。この際、異なる手話者に対応する手話文の手話アニメーションは、手話を行う人物のモデルや人物の位置、人物の方向、人物の色、人物の服装の内のいずれか、あるいは、それらの内のいくつかの要素を変化させて生成した手話アニメーションを表示するようにする。これを行うには、あらかじめ手話者毎に、使用する人物のモデルや人物の位置、人物の方向、人物の色、人物の服装に関する情報を設定しておき、それらの情報をそれぞれの手話者に対応する手話文の手話アニメーションを表示する際に、手話アニメーション生成部１０７に送ることにより、容易に行うことができる。あるいは、人物のモデルや人物の位置、人物の方向、人物の色、人物の服装の内のいずれか、あるいは、それらの内のいくつかの要素を変化させた各手話者に対応する人物を１つの手話アニメーション画面上に同時に表示し、それらの人物が会話を行っているような手話アニメーションを表示することも、コンピュータグラフィックスの技術を用いることにより容易に行うことができる。２７２７および２７２８は、手話文章中の特定の手話者に対応する手話文のみをアニメーション表示するためのボタンである。２７２７は手話者Ａの手話文のみ、また、２７２８は手話者Ｂの手話文のみ、の手話アニメーションを表示する。この際、指定していない手話者に対応する手話文の部分では、２７２５上にその手話者の手話をユーザが表現するように促すメッセージを表示し、一定時間手話アニメーションの表示を停止させる。２７２９は、手話語の一覧を表示し、手話語を選択するための画面を表示するためのボタンである。表示された手話語の一覧から手話語を選択することにより、選択した手話語を含む手話文章情報の検索を行い、結果を表示することができる。手話語の一覧の表示画面および操作方法については図２２と同様、検索方法については図１７に示した方法と同様である。２７３０は手話文の一覧を表示し、手話文を選択するための画面を表示するためのボタンである。表示された手話文の一覧から手話文を選択することにより、選択した手話文を含む手話文章情報の検索を行い、結果を表示することができる。手話文の一覧の表示画面および操作方法については図２４と同様である。検索は、図１５に示す流れ図において、手話語情報を手話文章情報、音声言語の語を手話文情報に置き換えれば、全く同様の方法により行うことができる。２７３１は手話文章の一覧を表示し、手話文章を選択するための画面を表示するためのボタンである。図２８に手話文章の一覧を表示する画面の一例を示す。図２８において、２８０１は手話文章の一覧を表示する領域であり、図９に示した手話文章情報名９０１を表示する。２８０２は２８０１上で選択した手話文章を確定し、選択した手話文章に関する情報を表示するためのボタンである。２８０３は２８０１上での手話文章の選択をキャンセルするためのボタンである。手話文章の一覧の表示方法として、手話文章情報名だけでなく、手話文に含まれる手話語に関する情報、さらに、各手話文に含まれる手話語に関する情報を同時に表示しても良い。図２７において、２７３２はメインメニューを介さずに手話語の検索および表示を行うための画面に移行するためのボタンである。２７３３はメインメニューを介さずに手話文の検索および表示を行うための画面に移行するためのボタンである。２７３４は、手話語の検索および表示、あるいは手話文の検索および表示の画面から手話文章の検索および表示の画面に移行した場合に、移行する前の画面に復帰するためのボタンである。２７３５は手話文章の検索および表示を終了し、メインメニューに移行するためのボタンである。
【００４３】
図２７に示した画面で、音声言語の語から手話文章の検索を行う場合の音声言語の語の名称の入力、あるいは、動作要素から手話文章の検索を行う場合の動作要素の入力は、図１４および図１８、図１９に示した方法と同様の方法で行うことができる。音声言語の語から手話文章を検索する方法は、図１７に示した方法と同様である。また、手話文章の検索では、複数の音声言語の語の名称を入力し、それらに基づいて検索を行うこともできる。また、動作要素から手話文章を検索する方法は、図１７において、ステップ１７０９を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、同様の方法を用いることができる。判定処理は、手話語を検索する場合に使用した方法と同様な方法を用いることができる。また、手話文章の検索では、手話文情報名や手話文の意味を表す音声言語文字列を入力し、それらの手話文を含む手話文章情報を検索したり、手話文章情報名を直接入力し、手話文章情報を検索するようにしても良い。
【００４４】
以上の他、図２７に示す手話文章の検索および表示の画面では、手話文章情報名を表示する領域２７０４を選択することにより、手話文章の手話アニメーションを表示することができる。同様に、手話者名を表示する領域２７０６、２７０９、２７１２、手話文情報名あるいは手話文の意味を表す音声言語文字列を表示する領域２７０７、２７１０、２７１３を選択することにより、対応する手話文の手話アニメーションを表示することができる。また、手話文の検索および表示と同様に、手話文動作情報を表示する領域２７０８、２７１１、２７１４に表示されているそれぞれの情報を選択することにより、それぞれの情報に対応した手話アニメーションを生成することができる。
【００４５】
また、図２７において、２７０４に表示されている手話文章を選択すると、選択した手話文章中の手話文情報を２７０５に表示する。さらに、２７０７、２７１０、２７１３を選択し、２７０３を選択すると、選択した手話文を含む手話文章の検索を行い、結果を２７０４に表示することができる。また、２７０８、２７１１、２７１４に表示されている手話語を選択した後、２７０３を選択することにより、選択した手話語を含む手話文章の検索を行い、結果を２７０４に表示することができる。同様に、手話文中で付加される手動作および手以外の動作に関する情報に基づいて手話文章の検索を行うようにすることもできる。
【００４６】
さらに、２７０４に表示されている手話文章を選択し、２７３２を選択すると、手話語の検索および表示の画面に移行し、選択した手話文章中に含まれる各手話文中の手話語情報を検索結果の一覧に表示することができる。２７０４に表示されている手話文章を選択し、２７３３を選択すると、手話文の検索および表示の画面に移行し、選択した手話文章中に含まれる手話文情報を検索結果の一覧に表示することができる。２７０７、２７１０あるいは２７１３を選択して、２７３２を選択すると、手話語の検索および表示の画面に移行し、選択した手話文情報中に含まれる手話語情報を検索結果の一覧に表示することができる。２７０７、２７１０あるいは２７１３を選択して、２７３３を選択すると、手話文の検索および表示の画面に移行し、選択した手話文に対応する手話文情報を表示することができる。２７０８、２７１１あるいは２７１４に表示されている手話語を選択し、２７３２を選択すると、手話語の検索および表示の画面に移行し、選択した手話語に対応する手話語情報を表示することができる。２７０８、２７１１あるいは２７１４に表示されている手話語を選択し、２７３３を選択すると、手話文の検索および表示の画面に移行し、選択した手話語に基づいて手話文情報の検索を行い、その結果を表示することができる。２７０８、２７１１あるいは２７１４中に表示されている、手話文中で付加される手動作および手以外の動作に関する情報に基づいて手話文情報の検索を行うようにすることもできる。
【００４７】
図２７において、手話語や手話文のアニメーションを表示する際に、アニメーション表示中の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報を、他の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報と異なる色、異なる文字あるいは異なる背景を用いて表示することは、手話文の検索および表示の場合と同様である。図２７では、さらに、手話者名を表示する領域２７０６、２７０９、２７１２の表示も変えることができる。図２９に、手話者名を表示する領域および手話文情報名あるいは手話文の意味を表す音声言語文字列を表示する領域の表示を変化させる場合の例を示す。図２９において、２９０１では最初の手話文の手話者「Ａ」２７０６、手話文「こんにちは」２７０７が他の手話文とは異なる色と背景により表示されている。アニメーションの進行に伴い、２９０２では２番目の手話文の話者「Ｂ」２７０９、手話文「はじめまして」２７１０が、２９０３では３番目の手話文の手話者「Ｂ」２７１２、手話文「私の名前は田中です」２７１３がそれぞれ異なる色と背景により表示されている。さらに、図２７において、手話文章情報中の手話文情報に選択可能な要素が含まれている場合は、各手話文情報の表示および操作として、手話文の検索および表示で述べた方法と同様な方法を用いることができる。
【００４８】
手話文章の検索および表示において、ある手話文章情報を表示した時点で、学習者情報の手話文章学習履歴を更新する。更新の方法は、更新する内容を手話文章に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。また、音声言語の語の名称や手話語の名称等の検索条件が入力されずに手話文章の検索および表示の画面に移行した場合は、学習者履歴に基づいて、手話文章情報の表示を行う。表示方法としては、表示内容を手話文章に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。
【００４９】
図３０に、図１３における手話に関するテストを行う処理に移行するためのボタン１３０５を選択した場合に表示される手話テストのメニュー画面の例を示す。図３０において、３００１は、手話語の手話アニメーションをユーザに提示し、それに対するユーザの解答を評価する手話語読み取りテストの処理に移行するためのボタン、３００２は、手話文の手話アニメーションをユーザに提示し、それに対するユーザの解答を評価する手話文読み取りテストの処理に移行するためのボタン、３００３はメインメニューに戻るためのボタンである。
【００５０】
図３１に、ボタン３００１を選択した場合に表示される手話語読み取りテストのための画面の一例を示す。３１０１は問題文と解答を入力する領域を表示するための領域、３１０２は解答を入力するための領域である。３１０４は問題となる手話語の手話アニメーションを表示する領域である。３１０５から３１１２は手話アニメーションを制御するボタンであり、図１４の１４０９から１４１７と同じ機能を有する。３１１３は、既に入力した解答を修正するために１つ前の問題に戻るためのボタン、３１１４は、解答の入力が終了して次の問題に進むためのボタンである。３１１５は、解答を評価し、テスト結果を表示するためのボタンである。３１１６はテストを中止し、図３０に示す手話テストのメニューに戻るためのボタンである。手話語読み取りテストの処理は、図３２に示す流れ図により行う。まず、ステップ３２０１で手話語読み取りテストに使用する問題を作成する。問題は、手話語情報格納部１１１に格納されている手話語情報から、あらかじめ決められている問題数分の手話語情報を乱数を用いて選択することにより作成することができる。また、あらかじめテスト用の手話語情報を手話語情報格納部１１１に格納しておき、それを読み込むことにより作成することができる。この場合、乱数によって選択した手話語をあらかじめ決められた割合で問題に含めるようにしても良い。問題数や乱数によって選択した手話語を問題中に含める割合は、ユーザが指定できるようにしても良い。また、学習者情報中の手話語テスト結果情報に基づいて、テストの成績が低い手話語を優先的に問題に含めるようにすることもできる。あるいは、学習者情報中の手話語学習履歴の内容をもとに、既に学習を行った手話語に関する情報のみからテスト問題を選択することもできる。問題を作成した後、ステップ３２０２でカウンタを１にセットする。ステップ３２０３ではカウンタの内容が示す番号の問題をユーザに表示する。ステップ３２０４ではユーザからの入力を判定する。入力が「前へ」３１１３の選択であれば、ステップ３２０５に進み、カウンタを１つ戻し、ステップ３２０３に戻る。入力が「次へ」３１１４であれば、ステップ３２０６へ進み、ユーザからの解答を格納する。ステップ３２０７ではカウンタを１つ進め、ステップ３２０３に戻る。入力が「完了」３１１５であれば、ステップ３２０８へ進み、ユーザが入力した解答を評価し、テスト結果の計算を行う。ステップ３２０９では、テスト結果を表示する。解答の評価方法としては、ユーザが入力した解答が手話語情報中の手話語名、あるいは対応する音声言語の語と一致していれば正解と見なす。あるいは、自然言語処理の技術を用いて解答を解析し、解答の表す意味的な内容が手話語に対応する音声言語の語の意味と一致している場合を正解と見なすようにすることもできる。図３３に、テスト結果の表示画面の一例を示す。図３３において、３３０１はテスト全体の点数を表示する領域、３３０２は各問題毎の評価結果の詳細を表示する領域である。３３０３はテスト結果の表示画面を消去するためのボタンである。
【００５１】
テスト結果の表示を行う際、学習者情報中の手話語テスト結果情報の検索を行い、同じ問題の履歴が見つかった場合、過去のテストの成績に応じてテスト結果の表示形態を変えることができる。この方法としては、例えば、解答が不正解で且つ過去のテストの成績が基準値以下である場合、ユーザに注意を促すために、異なる色や文字を使用して、テスト結果を表示することができる。あるいは、ユーザに注意を促すメッセージをテスト結果と共に表示することもできる。また、あるいは、過去のテスト結果の履歴をそのままテスト結果と共に表示しても良い。
【００５２】
手話文読み取りテストも図３１、図３２および図３３に示した手話語読み取りテストと同様の方法によって行うことができる。手話文読み取りテストの場合、問題は手話文情報格納部１１２に格納されている手話文情報を手話語読み取りテストで用いた方法と同じ方法を用いて選択することにより作成することができる。手話文情報中に選択可能な要素が含まれている場合も、同様に、乱数や学習履歴に基づいて、いずれかの要素を選択する。
【００５３】
以上の手話語読み取りテストおよび手話文読み取りテストにおいて、解答の入力方法として、図３１に示すように、文字列で入力するだけでなく、あらかじめ用意された解答の候補を選択する方法を用いることもできる。解答の候補の作成方法としては、問題の選択と同様に、手話語情報あるいは手話文情報を乱数や学習履歴に基づいて選択する方法を用いることができる。また、あらかじめ、テスト問題用の手話語情報あるいは手話文情報中に含めておくことも可能である。この場合、出題は、手話語あるいは手話文の手話アニメーションと解答の候補をユーザに提示することにより行われる。
【００５４】
また、手話語読み取りテストおよび手話文読み取りテストにおいては、１回のテストが終了した時点で、テスト結果に基づいて、学習者情報中の手話語テスト結果情報あるいは手話文テスト結果情報を更新する。学習者情報を更新する場合、まず、手話語テスト結果情報あるいは手話文テスト結果情報中にテストで使用した問題と同じ問題の情報が含まれているかどうかを検索する。同じ問題の情報が含まれている場合は、テスト回数、正解回数および誤り情報にテスト結果に基づいて、手話語テスト結果情報あるいは手話文テスト結果情報への修正あるいは情報の追加を行う。同じ問題の情報が含まれていない場合は、その問題とテスト結果に関する情報を新たな情報として、手話語テスト結果情報あるいは手話文テスト結果情報に追加する。
【００５５】
【発明の効果】
手話に関する情報を手話語、手話文、手話の文章の３つのレベルで手話に関する情報を記述し、さらに手話の動画像を手話アニメーションを用いて表示することにより、手話の動画像と手話を構成するそれぞれの動作と日本語との対応関係を詳細に表示することが可能となり、ユーザが正しい手話の学習を行うことができる。
【００５６】
また、手話の語や手話の文、手話文章に関する情報の表示において、関連する手話語や手話文、手話文章の表示も行い、ぞれぞれの表示を必要に応じて自由に切り替えることができるため、ユーザは自由なスタイルでの手話の学習が可能となる。
【００５７】
さらに、日本語や任意の動作要素からの手話語や手話文、手話文章の検索機能により、ユーザが必要な情報を自由に検索し、表示することが可能となる。
またさらに、格納されている手話に関する情報からテスト問題を作成することにより、幅広い手話の知識の学習が可能となる。また、学習履歴中の過去のテスト結果に基づいてテスト問題を作成することにより、効果的に手話を習得することができるようになる。
【図面の簡単な説明】
【図１】本発明による手話教育装置の概念ブロック図。
【図２】手話語情報のフォーマット。
【図３】手話語情報中のアニメーション生成用情報のフォーマット。
【図４】手話文情報のフォーマット。
【図５】手話文情報中の音声言語文字列のフォーマット。
【図６】手話文情報中の手話文動作情報のフォーマット。
【図７】手話文動作情報中の手話語エントリーのフォーマット。
【図８】手話文動作情報中の表情エントリーのフォーマット。
【図９】手話文章情報のフォーマット。
【図１０】学習者情報のフォーマット。
【図１１】学習者情報中の手話文テスト結果情報のフォーマット。
【図１２】教育制御部の処理の流れ図。
【図１３】教育制御部が表示するメインメニューの一例。
【図１４】手話語の検索および表示を行うための画面の一例。
【図１５】音声言語の語から手話語情報を検索する処理の流れ図。
【図１６】音声言語の語から手話文情報を検索する処理の流れ図。
【図１７】音声言語の語から手話文章情報を検索する処理の流れ図。
【図１８】検索方法を変更する方法を説明するための図。
【図１９】検索方法を動作要素からの検索に変更した後の画面例。
【図２０】動作要素を選択するための画面の一例。
【図２１】形状を選択するための画面の一例。
【図２２】手話語の一覧から手話語を選択するための画面の一例。
【図２３】手話文の検索および表示を行うための画面の一例。
【図２４】手話文の一覧から手話文を選択するための画面の一例。
【図２５】動画像表示中の手話語に対応する手話語の名称の表示形態を変更する方法を説明するための図。
【図２６】手話文情報中に選択可能な要素を含む場合の表示例と操作方法を説明するための図。
【図２７】手話文章の検索および表示を行うたえの画面の一例。
【図２８】手話文章の一覧から手話文章を選択するための画面の一例。
【図２９】動画像表示中の手話文に対応する手話文の意味を表す音声言語文字列の表示形態を変更する方法を説明するための図。
【図３０】手話に関するテストのメニュー画面の一例。
【図３１】手話語読み取りテストにおける出題画面の一例。
【図３２】手話に関するテストを行うための処理の流れ図。
【図３３】テスト結果の表示の一例。
【符号の説明】
１０１・・・文字入力部、１０２・・・キーボード、１０３・・・マイク、１０４・・・画面操作入力部、１０５・・・マウス、１０６・・・検索部、１０７・・・手話アニメーション生成部、１０８・・・出力部、１０９・・・ディスプレイ、１１０・・・教育制御部、１１１・・・手話語情報格納部、１１２・・・手話文情報格納部、１１３・・・手話文章情報格納部、１１４・・・学習者情報格納部。
【発明の属する技術分野】
本発明は、ユーザが効率的に手話の学習を行うことができる手話教育装置に関する。
【０００２】
【従来の技術】
ユーザに手話を学習するための環境を提供する手話教育装置としては、「みんなの手話」（株式会社ＮＨＫエデュケーショナル／日本アイ・ビー・エム（株））、「君の手がささやいている」（富士通ミドルウェア株式会社、１９９６年）、「手にことばを・入門編」（富士通株式会社、１９９６年）などがある。これらの技術では、手話のビデオ動画像と、それらに対応する日本語文、および、それぞれの手話文に関する説明をユーザに同時に提示することにより、手話と日本語との対応関係を学習させようとするものである。また、これらの技術では、日本語文中の特定の単語に対応する手話動画像を表示できる機能や、単語の一覧からユーザが任意に選択した日本語の単語に対応する手話動画像を表示できる機能を有する。さらに、「手にことばを・入門編」では、動作の形状や方向といった手話を構成している動作要素を選択することによって、手話を検索する機能も有する。
【０００３】
また、「手話学習支援システムにおける学習管理」（寺内美奈、長嶋祐二、電子情報通信学会技術報告、ＥＴ９６−８４、１９９６年）では、手話アニメーション技術を用いた手話教育装置を提案している。この技術では、ユーザがどのような学習を行ったかに関する学習履歴に基づいて学習内容を制御する技術が含まれている。
【０００４】
【発明が解決しようとする課題】
従来の手話教育装置の技術では、手話のビデオ動画像と日本語文との対応関係は示されているが、日本語文中の個々の語と手話動画像中の手話語との関係は明示的に示されていない。このため、日本語のどの部分が手話動画像のどの部分に対応しているかを学習することが困難な場合がある。一部示されている技術もあるが、連続的に表示される手話動画像中における手話語との対応が示されるものはない。また、手話は日本語の様に語を逐次的に結合するだけではなく、複数の語、特に、手の動作と手以外による動作とが同時に表現される場合が多く、それぞれの動作と日本語との関連が理解できないと、言語としての手話を正しく習得することが困難な場合がある。従来技術では、表示されている日本語文等と手話動画像のそのような関係は明示的に示されておらず、説明文によりこの点を補っているが、微妙な表現が多いため、説明文だけでは学習は困難な場合があるという問題がある。
【０００５】
また、従来技術では、会話文の学習と手話語の学習は独立しており、会話文の学習から手話語の学習、手話語の学習から会話文の学習といった、相互に関連付けられた学習を行うことができなかった。会話文の学習では、その中に含まれる手話語の表示を行うことはできる。しかし、実際の手話語の学習では、単に会話文や個々の語を見るだけでなく、それらに関連する他の例文も学習したいという場合も多い。例えば、会話文中の特定の語に着目した場合や特定の語を表示した場合に、その語が他に、どのような手話文中でどのように使われているかを知りたいということがある。この場合、会話文中の特定の語から他の手話文や会話文の候補やそれらの内容の表示を行える必要がある。しかし、従来技術ではこのような学習方法への対応については考慮されていない。また、従来技術では会話文の学習と手話の語の学習の２通りの方法でしか学習が行えないが、上記のように、特定の手話の語に関する例文の学習を行うような場合は、会話文の学習を行うための表示や手話の語の学習を行うための表示だけでは、不十分な場合がある。
【０００６】
さらに、手話の学習では、ある意味を表す手話はどのような手話であるか、あるいは、初めて見た手話がどのような意味を表しているかを知りたい場合が多い。従来技術では前者のために日本語の一覧から手話語を選択できる機能を有している。しかし、特定の日本語を直接入力して検索を行いたい場合も多い。また、手話語だけでなく、ある意味を表す手話語を含む手話文や手話文章を検索したい場合も多い。従来技術にはこのような機能は含まれていない。また、日本語から検索するだけでなく、動作から検索したい場合もある。従来技術にもこのための技術が存在するが、特定種類の動作要素をあらかじめ決められた順序で指定していく必要があるため、最初に指定する要素がわからないと検索できないという問題がある。例えば、最初に手の形状を指定する必要があるが、手の動きしか覚えていないというような場合は、検索が行えないという問題がある。また、学習においては、手の動きだけが同じ手話や手の形状だけが同じ手話といったように、さまざまな角度から見た検索を行えることが望ましいため、あらかじめ手順が決定されている方法では、手話の幅広い学習には不十分な場合がある。
【０００７】
さらに、手話の学習では、手話の動画像を見るだけでなく、手話を正しく覚えているかを検証するテスト機能も重要である。このための機能を有する従来技術では、ユーザの学習履歴の記述方法については述べられているが、どのように学習履歴を使用してテスト問題を作成するのかという内容に関しては述べられていない。また、従来技術ではあらかじめ決められたカリキュラムに従った学習履歴とテストしか行うことができないため、幅広い学習を行うには不十分な場合がある。
【０００８】
そこで、本発明の目的は、手話の動画像と手話を構成する個々の動作、日本語との詳細な対応関係をユーザに提示し、ユーザが正しい手話に関する知識の学習を行うための装置を提供することである。
【０００９】
本発明の他の目的は、ユーザが自由なスタイルで手話の学習を行える装置を提供することにある。
【００１０】
本発明の他の目的は、ユーザが必要な情報を自由に検索し、表示することができる装置を提供することにある。
【００１１】
本発明の他の目的は、ユーザが幅広い手話の知識を効果的に習得するための装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、手話と日本語との詳細な関係を記述するために、手話語、手話文、手話文章（会話文）の３つのレベルで手話に関する情報を記述する。手話語はそれぞれの手話の動画像と日本語との対応関係を、手話文は手話語および手話文中で新たに付加される動作の組み合わせを、手話文章は手話文の組み合わせを表す。これらの情報を手話アニメーションの技術を用いて手話語、手話文、手話文章の表示を行う。
【００１３】
また、本発明では、手話に関する情報の表示を上記の記述に基づいて、手話語、手話文、手話文章、の３通りの表示方法を可能とする。さらに、それぞれの表示において、関連する手話語や手話文、手話文章に関する情報の表示も行い、ぞれぞれの表示を必要に応じて自由に切り替えることを可能とする。
【００１４】
また、手話語、手話文、手話文章の表示において、日本語や動作要素を指定し、それらの日本語や動作要素に対応する手話語や手話文、手話文章を検索することを可能とする。さらに、動作要素からの手話の検索において、任意の動作要素を指定して手話の検索を行えるようにする。
【００１５】
また、手話のテストにおいて、装置内に格納されている手話語や手話文に関する情報を特に範囲を限定することなく選択することにより、問題を作成する。また、ユーザのテスト結果を学習履歴として格納しておき、問題を作成する際に学習履歴を用いて誤りの多い手話語や手話文を優先的に問題に含めるようにしたり、テスト結果の表示の際に学習履歴に応じてテスト結果の表示形態を変化させる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施例を図１から図３３を用いて説明する。
【００１７】
図１は本発明を適用した手話教育装置の概念ブロック図である。図１において、文字入力部１０１はユーザからの情報を文字により入力するために使用される手段であり、キーボード１０２や、あるいは既存の音声認識装置を文字入力部１０１に組み込むことによりマイク１０３を用いることができる。画面操作入力部１０４は、ユーザが画面上に表示されている特定の領域に対する操作を行うために使用される手段であり、マウス１０５やトラックボール、タッチパネル等の良く知られている装置を用いることができる。検索部１０６では、ユーザから入力された情報に基づいて、手話に関する情報の検索を行う。手話アニメーション生成部１０７では、手話アニメーションを生成する。手話アニメーションを生成する技術としては、例えば特開平８−１６８２１号公報に記載された方法を用いることができる。出力部１０８は、手話に関する情報や、手話の検索結果に関する情報等を表示するための手段で、既存のディスプレイ１０９を用いることができる。教育制御部１１０では、ユーザの要求や、手話に関する情報等に従って、上記文字入力部１０１や、画面操作入力部１０４、検索部１０６、手話アニメーション生成部１０７、出力部１０８の制御を行ったり、手話語情報格納部１１１、手話文情報格納部１１２、手話文章情報格納部１１３、学習者情報格納部１１４に対する情報の入出力を行う。手話語情報格納部１１１には、手話における語である手話語に関する情報（手話語情報）が格納される。手話文情報格納部１１２には、手話語の組み合わせによって表現される手話文に関する情報（手話文情報）が格納される。手話文章情報格納部１１３には、複数の手話文によって構成される手話文章に関する情報（手話文章情報）が格納される。学習者情報格納部１１４には、手話教育装置を使用したユーザの学習履歴に関する情報（学習者情報）が格納される。
【００１８】
図２は、手話語情報格納部１１１に格納される手話語情報のフォーマットである。手話語名２０１は手話語につけられたラベルであり、任意の記号列を用いることができる。対応する音声言語の語数２０２は、手話語に対応する音声言語の語の数である。音声言語は任意の言語を用いることが可能であり、例えば、手話と日本語の関係を学習するための手話教育装置であるならば、音声言語として日本語が用いられることになる。対応する音声言語の語２０３から２０４は、手話語に対応する音声言語の語の名称である。アニメーション生成用情報２０５は、手話アニメーション生成部１０７において、手話アニメーションを生成するために使用される情報である。手話アニメーションを生成するための情報は、図３に示すような、コンピュータグラフィックスの人物を動かすための時系列データにより表される。図３において、３０１および３０５は手の各指の位置を表すデータであり、３０２、３０３および３０４は位置の座標を表す。３０６および３１０は手の各指の方向を表すデータであり、３０７、３０８および３０９はな方向ベクトルを表す。３１２および３１５は各指の形状を表すデータであり、３１３および３１４は関節の曲げ角度を表す。３１６は眉の形を表すデータであり、３１７および３１８は眉の形状を決定するための各パラメータを表す。３１９は口の形状を表すデータであり、３２０および３２１は口の形状を決定するための各パラメータを表す。３１５、３１６および３１７は各時刻のデータを表す。手話アニメーションを生成するための情報としては、以上の他に、視線を表すデータ、頭の向きを表すデータ、肘の位置を表すデータ、肩の位置や方向を表すデータ等を必要に応じて含めることができる。また、手話アニメーションを生成するために使用される情報は、手話アニメーション生成部１０７に格納することもできる。この場合、アニメーション生成用情報２０５は、図３に示すような手話アニメーションを生成するための情報そのものではなく、手話アニメーションを生成するための情報に付けられたラベルの列により表すことができる。動作要素数２０６は手話語中に含まれる、手話動作の構造を表す動作の単位である動作要素の数である。動作要素としては、手の形状や手の方向、手の位置、手の動き方、肘の位置、肘の動き方を表す語等、手話の動作を説明する際に使用される語を使用することができる。動作要素２０７から２０８は手話語に含まれる動作要素の名称である。また、図２で示したような動作要素の名称だけでなく、動作要素間の時間的な関係を含めることもできる。関連情報２０９は、手話語の動作に関する説明や、手話語の動作を表現する際に注意するべき事柄、手話語の起源等に関する情報であり、文字および写真やイラスト等の画像を組み合わせることができる。手話語情報中にはさらに、その手話語を含む手話文や手話文章に関する情報や、後述の手話文中での選択可能な要素にふさわしいかどうかを判定するために用いられる語のタイプを含めることもできる。
【００１９】
図４は、手話文情報格納部１１２に格納される手話文情報のフォーマットである。手話文情報名４０１はその手話文情報に付けられたラベルであり、任意の記号列を用いることができる。音声言語文字列４０２は、その手話文の意味を表す音声言語の文字列が記述される。手話文動作情報４０３は、手話文を表す手話語の組み合わせや手話文において付加される手動作や手以外の動作に関する情報である。関連情報４０４は、その手話文の表現に関する説明や、その手話文を表現する際に注意すべき事柄等に関する情報であり、文字および写真やイラスト等の画像を組み合わせることができる。図５に音声言語文字列４０２の記述例を示す。音声言語文字列４０２では、単純な文字列だけでなく、手話文動作情報４０３と関連づけられた選択可能な要素を含めることができる。図５において５０１および５０５は単純な文字列として解釈される部分である。図５において（ ）で囲まれた部分に含まれる文字列、田中５０２、佐藤５０３、鈴木５０４が選択可能な要素を表す。この場合、図５で示された音声言語文字列は、「私の名前は田中です」、「私の名前は佐藤です」、「私の名前は鈴木です」という３通りの意味を表すことができる。選択可能な要素としては、音声言語の語、音声言語の句、音声言語の文のほか、音声言語の語のタイプ、音声言語の句のタイプ、音声言語の文のタイプを含めることができる。図６に手話文動作情報４０３のフォーマットを示す。手話語エントリー数６０１は手話文に含まれる手話語に関する情報である手話語エントリーの数を表す。手話語エントリー６０２から６０３は手話文中に含まれる手話語エントリーを表す。表情エントリー数６０４は手話文において付加される表情に関する情報である表情エントリーの数を表す。表情エントリー６０５から６０６は手話文中に含まれる表情エントリーを表す。視線エントリー数６０７は手話文において付加される視線に関する情報である視線エントリーの数を表す。視線エントリー６０８から６０９は手話文中に含まれる視線エントリーを表す。口形エントリー数６１０は手話文において付加される口形に関する情報である口形エントリーの数を表す。口形エントリー６１１から６１２は手話文に含まれる口形エントリーを表す。手話文動作情報４０３に含まれる情報として、この他、頭の動きや肘の動き等、通常の手話文を表現する際に必要となる手動作および手以外の動作に関する情報は同様にして全て含めることが可能である。図７に手話語エントリー６０２、６０３のフォーマットを示す。図７において、手話語数７０１は手話語エントリー中に含まれている手話語の数を表す。関連音声言語７０２、７０４は、音声言語文字列４０２中に記述されている選択可能な要素の内、手話語に対応する要素を表す。手話語名７０３、７０５はそれぞれ関連音声言語７０２、７０４に対応する手話語の名称を表す。これにより、選択可能な要素の内、特定の要素を選択して構成される音声言語文字列４０２と手話語の組み合わせを一対一に対応づけることが可能となる。また、音声言語文字列中の選択可能な要素が音声言語の語のタイプ、音声言語の句のタイプ、音声言語の文のタイプの場合、手話語名は空白か、あるいは手話語として可能なタイプを記述する。さらに、手話語エントリー中には、手話文中の他の手話語との関係により変化する動作の位置や方向に関する情報を付加することもできる。
【００２０】
図８に表情エントリー６０５、６０６のフォーマットを示す。図８において、表情数８０１は表情エントリー中に含まれる表情の数を表す。関連音声言語８０２、８０８は音声言語文字列４０２に記述されている選択可能な要素の内、表情に対応する要素を表す。関連手話語エントリー数８０３、８０９は、表情に対応する手話文情報中の手話語エントリーの数を表す。表情は特定の手話語だけでなく複数の手話語に渡って表現される場合が多いため、複数の手話語を対応づけられるようにする。関連手話語エントリー８０４から８０５、８１０から８１１は表情に対応する手話語エントリーを表す。表情情報８０６、８１２は表情に関する情報であり、手話アニメーション生成部１０７で使用される表情の名称、あるいは、手話アニメーション生成部１０７で表情を生成するために必要となるパラメータを用いることができる。付加タイプ８０７、８１３は、表情を手話文に付加する場合、関連する手話語を基準としてどのようなタイミングで付加するかを指定する。例えば、手話語が表現される全時間範囲に渡って付加する、手話語が表現される時間範囲の前半に付加する、手話語が表現される時間範囲の後半に付加する、等を指定することができる。また、手話語が表現される時間範囲のどの部分からどの位の時間範囲で付加するといった詳細な指定を記述することも可能である。視線エントリー６０８、６０９、口形エントリー６１１、６１２、あるいは、その他の付加される手動作および手以外の動作に関する情報は、図８に示した表情エントリーのフォーマットと同様のフォーマットで記述することが可能である。この場合、表情情報８０６、８１２が該当する情報を表す名称あるいはパラメータに置き換えられることになる。
【００２１】
手話文情報にはさらに、その手話文を含む手話文章に関する情報や、手話文中での選択可能な要素にふさわしいかどうかを判定するために用いられる文のタイプを含めることもできる。
【００２２】
図９は手話文章情報格納部１１３に格納される手話文章情報のフォーマットである。手話文章情報名９０１は、手話文章情報に付けられたラベルであり、任意の記号列を用いることができる。手話文数９０２は、手話文章中に含まれる手話文の数である。手話者名９０３、９０５は各手話文に対応する手話者の名称である。手話文情報名９０４、９０６は手話文情報の名称であり、図４に示した手話文情報名４０１を使用することができる。関連情報９０７は、手話文章に関する説明や、手話文章における注意すべき事柄等に関する情報である。手話文章情報にはさらに、手話文章中に含まれる手話語に関する情報を含めることもできる。
【００２３】
図１０に学習者情報格納部１１４に格納される学習者情報のフォーマットを示す。図１０において、ユーザ名１００１は学習者情報がどのユーザに関する情報であるかを表すためのユーザの名称である。一つの手話教育装置を複数のユーザが使用する場合、各ユーザは手話教育装置を使用する前に自分の学習者情報を選択することにより、自分の学習情報に基づいた学習を行うことが可能となる。手話文章学習履歴１００２は、複数ある手話文章の内、どの手話文章を学習したかに関する情報である。手話文章学習履歴１００２の内容は、学習を行ってきた順序に並べた手話文章情報名列を用いる。あるいは、最後に学習を行った手話文章情報名、手話文章情報毎の学習頻度、手話文章情報毎の学習頻度に基づいた順序で並べられた手話文章情報名列等を用いることもできる。手話文学習履歴１００３は、複数ある手話文の内、どの手話文を学習したかに関する情報である。手話文学習履歴１００３の内容は、学習を行ってきた順序に並べられた手話文情報名列を用いる。あるいは、最後に学習をおこなった手話文情報名、手話文情報毎の学習頻度、手話文情報毎との学習頻度に基づいた順序で並べられた手話文情報名列等を用いることもできる。手話語学習履歴１００４は、複数ある手話語の内、どの手話語を学習したかに関する情報である。手話語学習履歴１００４の内容は、学習を行ってきた順序に並べられた手話語名列を用いる。あるいは、最後に学習をおこなった手話語名、手話語情報毎の学習頻度、手話語情報毎の学習頻度に基づいた順序で並べられた手話語名列等を用いることができる。手話文テスト結果情報１００５は、手話文の動画像表示をユーザに行い、それに対するユーザの解答を評価する手話文読み取りテストの結果に関する情報である。手話語テスト結果情報１００６は、手話語の動画像表示をユーザに行い、それに対するユーザの解答を評価する手話語読み取りテストの結果に関する情報である。図１１に手話文テスト結果情報１００３のフォーマットを示す。図１１において、手話文数１１０１は、テストを行った手話文の数である。手話文情報名１１０２、１１０６は、テストを行った手話文情報の名称であり、図４に示した手話文情報名４０１を使用することができる。評価回数１１０３、１１０７は各手話文のテストを行った回数を表す。正解回数１１０４、１１０８はテストに対するユーザの解答が正解であった回数を表す。正解回数１１０４、１１０８の代わりに、テスト結果に関する情報として、ユーザの解答とその評価の履歴を記述しても良い。誤り情報１１０５、１１０９は、ユーザの解答が誤っていた場合の内容に関する情報の記述であり、誤った解答の履歴をそのまま記述する事ができる。同じ手話文に対する誤りの場合は、その頻度を記述することもできる。さらに、誤りの傾向や原因を分析し、その結果を付加してもよい。図１０における手話語テスト結果情報１００４は、図１１における手話文テスト結果情報中の手話文に関する項目を手話語に関する項目に置き換えることにより、図１１と全く同じフォーマットで記述することができる。
【００２４】
図１２及び図１３を用いて、教育制御部１１０における処理について詳細に説明する。図１２は教育制御部１１０の主要な処理の流れを示す図である。教育制御部１１０では、まず、ステップ１２０１においてメインメニューの表示を行う。図１３に、メインメニューの一例を示す。図１３において、１３０１はメニュー画面のタイトルを表す。１３０２は手話語の検索および表示を行う処理に移行するためのボタン、１３０３は手話文の検索および表示を行う処理に移行するためのボタン、１３０４は手話文章の検索および表示を行う処理に移行するためのボタン、１３０５は手話に関するテストを行う処理に移行するためのボタン、１３０６は処理を終了するためのボタンである。ユーザは、キーボード１０２やマイク１０３、マウス１０５によって、画面上のボタンを選択し、それぞれの処理に移行することができる。図１２において、ステップ１２０２では、ユーザがメニュー上のどの処理を選択したかを判定する。ステップ１２０３では手話語の検索および表示処理を行う。ステップ１２０４では手話文の検索および表示処理を行う。ステップ１２０５では手話文章の検索および表示処理を行う。ステップ１２０６では手話に関するテスト処理を行う。各処理が終了するとステップ１２０２に戻る。ステップ１２０２において、終了が選択された場合は処理を終了する。
【００２５】
図１４に手話語の検索および表示を行うための画面の一例を示す。図１４において、１４０１は手話語の検索方法を表示する領域であり、また、ユーザが必要に応じて検索方法を変更する操作を行うことができる。検索方法には、音声言語の語から検索する方法と、動作要素から検索する方法が用意されている。図１４には音声言語を日本語とした場合の表示例が示されている。以下の例でも、音声言語として日本語を選択した場合を想定して説明を行う。１４０２は、音声言語の語から手話を検索する場合に、音声言語の語の名称を入力する領域である。１４０３は検索を開始するためのボタンである。１４０４は検索された手話語名を表示する部分である。表示される手話語名は図２の手話語名２０１である。１４０５は検索された手話語名に対応する音声言語の語の一覧である。１４０５に表示される音声言語の語は、１４０４においてユーザが選択した手話語に対してのみ表示される。１４０６は、検索された手話語を含む手話文情報の一覧であり、図４の手話文情報名４０１、あるいは音声言語文字列４０２が使用される。１４０６に表示される手話文情報は、１４０４においてユーザが選択した手話語に対してのみ表示される。１４０７は、検索された手話語を含む手話文章情報の一覧であり、図９の手話文章情報名９０１が使用される。１４０７に表示される手話文章情報のは、１４０４においてユーザが選択した手話語に対してのみ表示される。１４０８は、１４０４で選択された手話語、１４０６で選択された手話文、１４０７で選択された手話文章のいずれかに対応する手話アニメーションを表示するための画面である。１４０９は手話アニメーションの表示を停止するためのボタン、１４１０は手話アニメーションの表示を開始するためのボタン、１４１１は手話アニメーションの表示を一時停止するためのボタン、１４１２は手話アニメーションの表示を逆戻しするためのボタン、１４１３は手話アニメーションの表示を早送りするためのボタン、１４１４は手話アニメーションの表示を拡大するためのボタン、１４１５は手話アニメーションの表示を縮小するためのボタン、１４１６および１４１７は手話アニメーションを表示する視点を変更するためのボタンである。１４０８に手話アニメーションを表示する方法および、１４０９から１４１７のボタンによる手話アニメーションを制御する方法としては、手話アニメーション生成部１０７には特開平８−１６８２１号公報に記載されている技術を用いることにより容易に実現することができる。１４１８は、１４０４においてユーザが選択した手話語、１４０６においてユーザが選択した手話文、あるいは１４０７においてユーザが選択した手話文章、に関する関連情報を表示するための領域である。１４１９は、手話語の一覧表を表示し、その中の手話語を選択することにより手話語を検索するためのボタンである。１４２０はメインメニューを介さず手話文の検索および表示を行う画面に移行するためのボタンである。１４２１はメインメニューを介さずに手話文章の検索および表示を行う画面に移行するためのボタンである。１４２２は、手話文の検索および表示、あるいは手話文章の検索および表示の画面から手話語の検索および表示の画面に移行した場合に、移行する前の画面に復帰するためのボタンである。１４２３は手話語の検索および表示を終了し、メインメニューに移行するためのボタンである。
【００２６】
図１５に音声言語の語から手話語を検索する処理の流れ図を示す。図１５において、まず、ステップ１５０１において検索結果を格納する領域をクリアする。ステップ１５０２では、手話語情報格納部１１１に格納されている手話語情報の内、検索処理で読み込まれていない手話語情報があるかどうかを調べる。検索処理で読み込まれていない手話語情報がない場合は、ステップ１５０３に進む。ステップ１５０３では、検索結果を格納する領域に格納されている検索結果を出力し、検索処理を終了する。検索結果は１４０４に表示される。ステップ１５０４では、手話語情報格納部１１１から手話語情報を１つ読み込む。ステップ１５０５では、ユーザが入力した音声言語の語の名称と手話語情報中の手話語に対応する音声言語の語の名称が一致しているかどうかを判定する。一致していれば、ステップ１５０６において、読み込んだ手話語情報を検索結果に追加し、ステップ１５０２に戻る。一致していなければ、直接ステップ１５０２に戻る。入力された音声言語の語の名称と手話語情報中の音声言語の語の名称との一致判定の際、対応する音声言語の語の名称が手話語情報中に無い場合、手話語名と入力された音声言語の語の名称との一致判定を行い、一致していれば、その手話語情報を検索結果に含めるようにして良い。また、音声言語の語の名称同士あるいは音声言語の語の名称と手話語名との一致判定の際、完全に一致するものだけでなく、部分的に一致するものを検索結果に含めても良い。その際、一致の程度に基づいて検索結果に順位付けして検索結果の表示を行っても良い。
【００２７】
手話語の検索では、同様に、その手話語を含む手話文情報あるいは手話文章情報の検索を行い、その結果をそれぞれ、１４０６、１４０７に表示する。図１６に、音声言語の語から手話文を検索する処理の流れ図を示す。図１６において、まず、ステップ１６０１において検索結果を格納する領域をクリアする。ステップ１６０２では、手話文情報格納部１１２に格納されている手話文情報の内、検索処理で読み込まれていない手話文情報があるかどうかを調べる。検索処理で読み込まれていない手話文情報がない場合は、ステップ１６０３に進む。ステップ１６０３では、検索結果を格納する領域に格納されている検索結果を出力し、検索処理を終了する。ステップ１６０４では、手話文情報格納部１１２から手話文情報を１つ読み込む。ステップ１６０５では、手話文情報中の全ての手話語について処理を行ったかどうかを調べる。手話文中の全ての手話語について処理を行った場合はステップ１６０２に戻る。全ての手話語について処理を行っていない場合は、ステップ１６０６に進み、処理が行われていない手話語情報を手話語情報格納部１１１から読み込む。ステップ１６０７では、ユーザが入力された音声言語の語の名称と読み込んだ手話語情報中の手話語に対応する音声言語の語の名称が一致しているかどうかを判定する。一致していれば、ステップ１６０８において、手話文情報を検索結果に追加し、ステップ１６０２に戻る。一致していなければ、直接ステップ１６０５に戻る。入力された音声言語の語の名称と手話語情報中の音声言語の語の名称の一致判定の方法は、手話語の検索に用いた方法と同様の方法を用いることができる。また、図１７に音声言語の語から手話文章を検索する処理の流れ図を示す。図１７において、まず、ステップ１７０１において検索結果を格納する領域をクリアする。ステップ１７０２では、手話文章情報格納部１１３に格納されている手話文章情報の内、検索処理で読み込まれていない手話文章情報があるかどうかを調べる。検索処理で読み込まれていない手話文章情報がない場合は、ステップ１７０３に進む。ステップ１７０３では、検索結果を格納する領域に格納されている検索結果を出力し、検索処理を終了する。ステップ１７０４では、手話文章情報格納部１１３から手話文章情報を１つ読み込む。ステップ１７０５では、手話文章情報中の全ての手話文について処理を行ったかどうかを調べる。手話文章中の全ての手話文について処理を行った場合はステップ１７０２に戻る。全ての手話文について処理を行っていない場合は、ステップ１７０６に進み、処理が行われていない手話文情報を手話文情報格納部１１２から読み込む。ステップ１７０７では、手話文情報中の全ての手話語について処理を行ったかどうかを調べる。手話文情報中の全ての手話語について処理を行った場合はステップ１７０５に戻る。全ての手話語について処理を行っていない場合は、ステップ１７０８に進み、処理が行われていない手話語情報を手話語情報格納部１１１から読み込む。ステップ１７０９では、ユーザによって入力された音声言語の語の名称が読み込んだ手話語情報中の音声言語の語の名称と一致するかどうかを調べる。一致していれば、ステップ１７１０において、手話文章情報を検索結果に追加し、ステップ１７０２に戻る。一致していなければ、直接ステップ１７０７に戻る。入力された音声言語の語の名称と手話語情報中の音声言語の語の名称の一致判定の方法は、手話語の検索に用いた方法と同様の方法を用いることができる。
【００２８】
また、手話語情報中にその手話語を含む手話文や手話文章に関する情報が含まれている場合は、検索処理は行わずに、表示に必要な情報を手話文情報格納部１１２や手話文章情報格納部１１３から直接読み込んで表示することができる。
【００２９】
動作要素から手話語を検索する場合は、まず、検索方法の切り替えを行う。検索方法の切り替えを行うためには、図１４における検索方法を表示する領域１４０１をキーボード１０２やマイク１０３、あるいはマウス１０５を用いて選択する。これにより、図１８に示すような検索方法を選択するためのメニューが表示される。メニューには、「日本語から検索」１８０１および「動作要素から検索」１８０２の２つの選択肢が示される。ここで、「動作要素から検索」を選択すれば、検索方法が、動作要素による検索に変更される。検索方法を変更した場合の表示は、図１９に示すようになる。図１９において、検索方法を表示する領域１４０１は図１４の場合と比較して、表示内容が変更されただけであり、また、検索を開始するためのボタン１４０３は図１４と全く同じである。図１４における音声言語の語を入力する領域１４０２は、動作要素を選択する画面を表示するためのボタン１９０１に変更される。この状態で、検索方法を「日本語から検索」に変更すると、画面表示は再び図１４に示す表示に変更される。図２０に、動作要素を選択するための画面の一例を示す。図２０において、２００１は右手に関する動作要素を選択するための領域、２００２は左手に関する動作要素を選択するための領域、２００３は両手の関係に関する動作要素を選択するための領域である。２００４は右手に関する形状の内、選択した形状の一覧を表示するための領域、２００５は選択可能な形状の一覧を表示し、その中から必要な形状を選択するための画面を表示するためのボタンである。２００５を選択すると、図２１に示すような形状の一覧が表示される。図２１において、２１０１は選択可能な形状の一覧を表示する領域である。選択した形状をキーボード１０２やマイク１０３、マウス１０５によって選択することにより、選択する形状の候補を設定することができる。２１０２を選択すると一覧中で候補として設定されている形状が選択されたものとして確定され、図２０の２００４に追加される。２１０３は形状の選択をキャンセルするためのボタンである。２１０１上の形状は、一度に複数の形状を選択するようにしても良い。２００６は２００４に表示されている形状の内、選択された形状を削除するためのボタンである。同様に、２００７は選択された方向を、２０１０は選択された位置を、２０１３は選択された動きを表示するための領域である。２００８は選択可能な方向の一覧を、２０１１は選択可能な位置の一覧を、２０１４は選択可能な動きの一覧を表示し、その中から必要な動作要素を選択するための画面を表示するためのボタンである。一覧の表示方法および動作要素の選択方法は、図２１に示した形状の場合と全く同様に行うことができる。２００９は２００７上で選択された方向を、２０１２は２０１０上で選択された位置を、２０１５は２０１３上で選択された動きを削除するためのボタンである。左手に関する動作要素を選択するための領域２００２、両手の関係に関する動作要素を選択するための領域２００３中の表示および操作は、右手に関する動作要素を選択するための領域２００１中における表示および操作と全く同様である。図２０の画面により選択する形状や方向、位置、動き等に関する動作要素は、図２における動作要素名２０７から２０８に記述される動作要素の名称と同じものを使用する。図２０では、選択が容易なように、動作要素をいくつかの種類に分類して表示および選択ができるようにしている。分類方法としては、図２０に示す様な動作要素の種類に基づく方法だけでなく、動作要素の名称の音に基づく方法等、任意の分類方法を用いることができる。また、分類を行わず、全ての動作要素を一覧表示して選択するようにしても良い。図２０において、２０１６は全ての選択した動作要素を確定するためのボタン、２０１７は全ての選択した動作要素を取り消すために使用するためのボタンである。
【００３０】
動作要素を選択した後、検索を開始するためのボタン１４０３を選択すると、選択された動作要素に基づいて手話語情報の検索を行う。検索処理は、図２０において、１つ以上の動作要素が選択されていれば、行うことができる。検索は、図１５に示した音声言語の語から手話語を検索する処理の流れ図において、ステップ１５０５を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、行うことができる。選択された動作要素が手話語情報中に含まれているかどうかの判定方法において、選択された動作要素が全て手話語情報中に含まれている手話語を検索結果に含めるようにする方法を用いることができる。また、選択された動作要素の内、一部の動作要素が手話語情報中に含まれている手話語も検索結果に含めるようにする方法を用いることもできる。この場合、選択された動作要素と手話語情報中の動作要素の一致する数に基づいて検索結果に順位を付けて出力することもできる。さらに、選択された動作要素が全て手話語情報中に含まれている手話語が検索されなかった場合にのみ、選択された動作要素の内、一部の動作要素が手話語情報中に含まれている手話語を検索結果として出力することもできる。動作要素から手話語を検索する場合も、手話語に関連する手話文および手話文に関する情報の検索を同時に行う。この方法としては、それぞれ、図１６におけるステップ１６０７、図１７のステップ１７０９を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、行うことができる。また、手話語情報中にその手話語を含む手話文や手話文章に関する情報が含まれている場合は、検索処理は行わずに、表示に必要な情報を手話文情報格納部１１２や手話文章情報格納部１１３から直接読み込んで表示することができる。
【００３１】
図１４における１４１９を選択した場合に表示される、手話語の一覧から手話語を選択するための画面の一例を図２２に示す。図２２において、２２０１から２２１１は複数の画面に手話語の一覧を分割して表示する場合に、それぞれの画面を選択するための領域である。図２２では、手話語に対応する音声言語の語の名称、ここでは日本語の語の名称をそれぞれ、「あ行」、「か行」、「さ行」、「た行」、「な行」、「は行」、「ま行」、「や行」、「ら行」、「わ行」、「その他」の音から始まる名称に分類して表示する場合の例を示している。２２１２から２２１６は、選択した画面に表示されている手話語の一覧をさらに細かく分類した場合に、それぞれの分類に対応する手話語の一覧を表示するためのボタンである。図２２では、「あ行」の一覧を「あ」、「い」、「う」、「え」、「お」、それぞれの音から始まる名称に分割した例を示している。２２１２から２２１６を選択すると、それぞれのボタンが示す音から始まる日本語の語の名称に対応する手話語の一覧が表示される。上記の例では、手話語に対応する日本語の語の名称を分類しているが、手話語名を分類しても良い。分類の方法としては、音に基づく分類だけでなく、手話語や音声言語の語をその種類や使用方法等に基づいて分類する方法を用いても良い。手話語の一覧から特定の手話語を選択し、２２２０を選択すると、選択した手話語に基づいて手話語情報の検索を行い、検索結果を表示する。検索方法は、図１５や図１６、図１７の流れ図に示した方法を使用することができる。２２２１は、手話語の一覧から手話語を選択する処理を中止するためのボタンである。
【００３２】
以上の他、図１４に示す手話語の検索および表示の画面では、１４０４に表示されている手話語を選択すると、その手話語に対応する音声言語の語の一覧が１４０５に、その手話語を含む手話文情報の一覧が１４０６に、その手話語を含む手話文章情報の一覧が１４０７に表示される。また、１４０５に表示されている音声言語の語を選択することにより、選択した音声言語の語に基づいて手話語の検索を行い、その結果を１４０４に表示する。また、１４０６に表示されている手話文情報あるいは、１４０７に表示されている手話文章情報を選択することにより、選択された手話文情報あるいは手話文章情報に含まれている手話語の一覧が１４０４に表示される。さらに、１４０４に表示されている手話語あるいは１４０５に表示されている音声言語の語を選択して、１４２０あるいは１４２１を選択すると、手話文の検索および表示あるいは、手話文章の検索および表示を行うための画面に移行し、選択した手話語を含む手話文情報あるいは手話文章情報を検索し、その結果を表示することができる。また、１４０６に表示されている手話文情報を選択し、１４２０を選択することにより、手話文の検索および表示を行うための画面に移行し、選択した手話文に関する情報を表示することができる。１４０６に表示されている手話文情報を選択し、１４２１を選択することにより、手話文章の検索および表示を行うための画面に移行し、選択した手話文を含む手話文章情報を検索し、その結果を表示することができる。１４０７に表示されている手話文章を選択し、１４２０を選択すると、手話文の検索および表示を行う画面に移行し、選択した手話文章に含まれる手話文情報を検索結果として表示することができる。１４０７に表示されている手話文章を選択し、１４２１を選択することにより、手話文章の検索および表示を行うための画面に移行し、選択した手話文章に関する情報を表示することができる。さらに、１４１８に表示されている関連情報中に含まれる語を選択し、検索ボタン１４０３を選択することにより、選択した語に基づいて手話語の検索を行い、その結果を表示することができる。関連情報中に含まれる語を選択し、ボタン１４２０、１４２１を選択すると、それぞれ手話文の検索および表示、手話文章の検索および表示の画面に移行し、選択した語に基づく手話文あるいは手話文章の検索を行い、その結果を表示することができる。
【００３３】
手話語の検索および表示では、ある手話語情報を表示した時点で、学習者情報の手話語学習履歴を更新する。更新は、新たに表示した手話語名により、手話語学習履歴を書き換えることにより行うことができる。あるいは、新たに表示した手話語名を手話語学習履歴に追加することもできる。さらには、新たに表示した手話語名を手話語学習履歴中に追加するだけでなく、新たに表示した手話語名が手話語学習履歴中に存在するかどうかを調べ、存在する場合には手話語情報が表示された回数を更新することもできる。
【００３４】
一方、音声言語の語の名称や手話語の名称等の検索条件が入力されずに手話語の検索および表示の画面に移行した場合は、学習者履歴に基づいて、最後に表示していた手話語情報を表示する。あるいは、それまでに表示された手話語情報の履歴が学習者情報中に記述されている場合は、履歴中にある手話語情報を検索結果の一覧に表示することができる。これにより、履歴に沿って手話語情報を表示することが可能となる。さらに、各手話語情報が表示された回数が記述されている場合は、表示回数に従って手話語情報を並べ替えて検索結果の一覧に表示することができる。
【００３５】
図２３に手話文の検索および表示を行う画面の一例を示す。図２３において、２３０１は手話文の検索方法を表示する領域であり、また、ユーザが必要に応じて検索方法を変更する操作を行うことができる。検索方法には手話語の検索と同様に、音声言語の語から検索する方法と、動作要素から検索する方法が用意されている。２３０２は、音声言語の語から手話文を検索する場合に、音声言語の語の名称を入力する領域である。２３０３は検索を開始するためのボタンである。２３０４は、検索された手話文情報の一覧を表示するための領域であり、図４に示した手話文情報名４０１あるいは音声言語文字列４０２のいずれかを表示する。２３０５は検索された手話文の意味を表す音声言語の文字列を表示する領域である。表示される音声言語の文字列は図４の音声言語文字列４０２である。２３０６は検索された手話文情報中の手話文動作情報４０３を表示するための領域である。２３０７は手話文動作情報中の手話語エントリーを表示する領域、２３０８は表情エントリーを表示する領域、２３０９は視線エントリーを表示する領域、２３１０は口形エントリーを表示する領域である。手話文動作情報は、全ての情報を表示するだけでなく、ユーザが選択した情報のみを表示するようにしても良い。２３１１は、２３０５および２３０６に表示されている手話文を含む手話文章情報の一覧を表示するための領域であり、図９における手話文章情報名９０１を表示する。図２３において、２３１２は手話アニメーションを表示する領域であり、図１４に示した１４０８と同様である。また、２３１３から２３２１までのボタンも図１４の１４０９から１４１７までと同様の機能を有する。２３２２は、２３０４においてユーザが選択した手話文、２３０７においてユーザが選択した手話語、あるいは２３１１においてユーザが選択した手話文章、に関する関連情報を表示するための領域である。２３２３は手話語の一覧を表示し、手話語を選択するための画面を表示するためのボタンである。表示された手話語の一覧から手話語を選択することにより、選択した手話語を含む手話文情報を検索し、結果を表示することができる。手話語の一覧の表示画面および操作方法は、図２１と同様である。また、手話文の検索方法は図１６に示した方法と同様である。２３２４は手話文の一覧を表示し、手話文を選択するための画面を表示するためのボタンである。表示された手話文の一覧から手話文を選択することにより、選択した手話文に対する手話文情報を表示することができる。図２４に手話文の一覧の表示画面の一例を示す。図２４において、２４０１は手話文の一覧を表示する領域であり、各手話文について、図４に示した手話文情報名４０１あるいは音声言語文字列４０２のいずれかを表示する。２４０２は２４０１上で選択した手話文を確定し、選択した手話文に対応する手話文情報を検索し、表示するためのボタンである。２４０３は２４０１上での手話文の選択をキャンセルするためのボタンである。手話文の一覧の表示方法として、手話文情報名あるいは音声言語文字列だけでなく、手話文情報に含まれる手話文動作情報を同時に表示しても良い。図２３において、２３２５はメインメニューを介さずに手話語の検索および表示を行うための画面に移行するためのボタンである。２３２６はメインメニューを介さずに手話文章の検索および表示を行うための画面に移行するためのボタンである。２３２７は、手話語の検索および表示、あるいは手話文章の検索および表示の画面から手話文の検索および表示の画面に移行した場合に、移行する前の画面に復帰するためのボタンである。２３２８は手話文の検索および表示を終了し、メインメニューに移行するためのボタンである。
【００３６】
図２３に示した画面で、音声言語の語から手話文の検索を行う場合の音声言語の語の名称の入力、あるいは、動作要素から手話文の検索を行う場合の動作要素の入力は、図１４および図１８、図１９に示した方法と同様の方法で行うことができる。音声言語の語から手話文を検索する方法は、図１６に示した方法と同様である。また、手話文の検索では、複数の音声言語の語の名称を入力し、それらに基づいて検索を行うようにすることもできる。また、動作要素から手話文を検索する方法は、図１６において、ステップ１６０７を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、同様の方法を用いることができる。判定処理は、手話語を検索する際に用いられる方法と同様の方法を用いることができる。手話文の検索では、さらに、手話文を含む手話文章情報の検索を行い、その結果を手話文章情報の一覧を表示する領域２３１１に表示する。手話文から手話文章を検索する方法は、図１４において、手話語情報を手話文情報に、音声言語の語を手話文情報に置き換えることにより、同様の方法により行うことができる。また、手話文情報中に、その手話文を含む手話文章に関する情報が含まれている場合は、必要な情報を直接手話文章格納部１１３から読み込んで表示することができる。また、手話文の検索において、手話文情報名や手話文の意味を表す音声言語文字列を直接入力することにより、手話文情報を検索するようにしても良い。
【００３７】
以上の他、図２３に示す手話文の検索および表示の画面では、手話文の意味を表す音声言語文字列を表示する領域２３０５を選択することにより、手話文の手話アニメーションを生成するための情報を手話アニメーション生成部１０７に送り、手話アニメーションを表示することができる。手話文の手話アニメーションを生成するための情報は、手話文に含まれる手話語に対応する手話語情報中のアニメーション生成用情報および、手話文中で付加される手動作および手以外の動作に関する情報を結合することにより容易に作成することができる。また、手話文動作情報を表示する領域２３０６中に表示されているそれぞれの情報を選択することにより、それぞれの情報に対応した手話アニメーションを生成するための情報を手話アニメーション生成部１０７に送り、アニメーション表示を行うことができる。例えば、図２３の２３０７において、「私」を選択すると「私」を意味する手話アニメーションが表示される。また、２３０８において、「笑顔」を選択すると「笑顔」を表すアニメーションが表示される。
【００３８】
また、２３０４に表示されている手話文を選択すると、選択された手話文の意味を表す音声言語文字列が２３０５に、選択された手話文に対応する手話文情報中の手話文動作情報が２３０６に、選択された手話文を含む手話文章情報の一覧が２３１１に表示される。さらに、２３０７に表示されている手話語を選択した後、検索開始ボタン２３０３を選択すると、選択した手話語を含む手話文情報の検索を行い、その結果を表示することができる。２３０７に表示されている手話語に基づいた検索だけでなく、２３０８、２３０９、２３１０に表示されている、手話文中で付加される手動作および手以外の動作に関する情報に基づいて手話文情報の検索を行うこともできる。２３１１に表示されている手話文章を選択すると、選択した手話文章に含まれる手話文情報の一覧を２３０４に表示することができる。２３０４に表示されている手話文を選択し、２３２５を選択すると、手話語の検索および表示の画面に移行し、選択した手話文中に含まれる手話語を検索結果の一覧に表示することができる。２３０４に表示されている手話文を選択し、２３２６を選択すると、手話文章の検索および表示の画面に移行し、選択した手話文を含む手話文章情報を検索し、表示することができる。２３０７に表示されている手話語を選択し、２３２５を選択すると、手話語の検索および表示の画面に移行し、選択した手話語に関する情報を表示することができる。２３０７に表示されている手話語を選択し、２３２６を選択すると、手話文章の検索および表示の画面に移行し、選択した手話語を含む手話文章情報を検索し、表示することができる。２３１１に表示されている手話文章を選択し、２３２５を選択すると、手話語の検索および表示の画面に移行し、選択した手話文章中に含まれる手話語を検索結果の一覧に表示することができる。２３１１に表示されている手話文章を選択し、２３２６を選択すると、手話文章の検索および表示の画面に移行し、選択した手話文章に関する情報を表示することができる。また、２３２２に表示されている関連情報中の特定の語を選択し、検索２３０３を選択すると、選択した語に基づいて手話文の検索を行うことができる。２３２２に表示されている関連情報中の特定の語を選択し、検索２３２５、２３２６を選択すると、それぞれ手話語の検索および表示、手話文章の検索および表示の画面に移行し、選択した語に基づく手話語あるいは手話文章の検索を検索し、結果を表示することができる。
【００３９】
さらに、図２３において、手話語や手話文の手話アニメーションを表示する際に、アニメーション表示中の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報を、他の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報と異なる色、異なる文字あるいは異なる背景を用いて表示する。手話文情報中の手話語エントリーを表示する領域２３０７における表示例を図２５に示す。図２５において、アニメーション開始時には、最初の手話語「私」２５０１が他の手話語とは異なる色と背景により表示される。アニメーション表示の進行に伴い、「名前」２５０２、「鈴」２５０３、「木」２５０４、「有る」２５０５が順に異なる色と異なる背景により表示されている。アニメーション表示中の手話語や手動作および手以外の動作に関する情報は特開平８−１６８２１号公報に記載された技術を用いることにより、手話アニメーション生成部１０７から容易に取得することができる。
【００４０】
また、図２３の手話文の意味を表す音声言語文字列の表示において、音声言語文字列中に選択可能な要素が存在する場合、選択可能な要素に対応する部分は文字列中の他の部分とは、異なる色、異なる文字あるいは異なる背景で表示する。この場合の表示の一例を図２６に示す。図２６では、「鈴木」２６０１の部分が選択可能な要素として表示されている。ここで、選択可能な要素に対応する部分２６０１を選択すると、２６０２のように、選択可能な要素の一覧が表示される。一覧中からいずれかの要素を選択すると、選択した要素で音声言語文字列が変更され、さらに、手話動作に関する情報を表示する領域２３０５中の、選択した要素に対応する情報が変更される。図２６では、選択可能な要素中の「田中」が選択され、音声言語文字列が元の「鈴木」から「田中」に変更される。また、手話語に関する情報表示する領域２３０６中の「鈴木」に対応していた情報である「鈴」と「木」が、「田中」に対応する「田」２６０４と「中」２６０５に変更されて表示される。音声言語文字列中の選択可能な要素が音声言語の語のタイプや、音声言語の句のタイプ、音声言語の文のタイプで指定されている場合は、それぞれのタイプに対応する手話語情報や手話文情報を手話語情報格納部１１１や手話文情報格納部１１２から検索し、その結果を選択可能な要素の一覧として表示することができる。あるいは、音声言語文字列中の選択可能な要素の部分にユーザが任意の文字列を入力し、入力された文字列に対応する手話語情報や手話文情報を検索し、検索された手話語情報や手話文情報が選択可能な要素のタイプに一致するどうかを判定し、一致していれば検索された手話語あるいは手話文情報を選択可能な要素に対応する部分に挿入するようにしても良い。この場合、タイプが一致しない場合は、その旨をユーザに対して表示するようにすることもできる。あるいは、ユーザが入力した文字列を自然言語処理の技術を用いて解析を行い、その結果を基に対応する手話に関する情報を作成し、挿入することもできる。
【００４１】
手話文の検索および表示において、ある手話文情報を表示した時点で、学習者情報の手話文学習履歴を更新する。更新の方法は、更新する内容を手話文に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。また、音声言語の語の名称や手話語の名称等の検索条件が入力されずに手話文の検索および表示の画面に移行した場合は、学習者履歴に基づいて、手話文情報の表示を行う。表示方法としては、表示内容を手話文に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。
【００４２】
図２７に手話文章の検索および表示を行うための画面の一例を示す。図２７において、２７０１は手話文章の検索方法を表示する領域であり、また、ユーザが必要に応じて検索方法を変更する操作を行うことができる。検索方法には手話語の検索と同様に、音声言語の語から検索する方法と、動作要素から検索する方法が用意されている。２７０２は、音声言語の語から手話文章を検索する場合に、音声言語の語の名称を入力する領域である。２７０３は検索を開始するためのボタンである。２７０４は検索された手話文章情報の一覧を表示する領域であり、図９における手話文章情報名９０１が表示される。２７０５は手話文章中の各手話文に対応する手話文情報を表示する領域である。２７０６、２７０９、２７１２は、手話文章情報中の各手話文に対応する手話者名を表示する領域、２７０７、２７１０、２７１３は、手話文章情報中の各手話文の手話文情報名あるいは手話文の意味を表す音声言語文字列を表示する領域である。２７０８、２７１１、２７１４は手話文章情報中の各手話文中の手話文動作情報を表示する領域である。図２７では、手話文動作情報として手話語名のみを表示しているが、図２３における手話文動作情報の表示と同様に、手話文動作情報中の任意の種類の情報を組み合わせて表示することができる。２７１５は手話アニメーションを表示する領域であり、図１４に示した１４０８と同様である。また、２７１６から２７２４までのボタンも図１４の１４０９から１４１７までと同様の機能を有する。２７２５は、２７０４においてユーザが選択した手話文章、２７０５においてユーザによって選択された手話文あるいは手話語、に関する関連情報を表示するための領域である。２７２６は手話文章中の手話文を最初から順に連続的に表示するためのボタンである。この際、異なる手話者に対応する手話文の手話アニメーションは、手話を行う人物のモデルや人物の位置、人物の方向、人物の色、人物の服装の内のいずれか、あるいは、それらの内のいくつかの要素を変化させて生成した手話アニメーションを表示するようにする。これを行うには、あらかじめ手話者毎に、使用する人物のモデルや人物の位置、人物の方向、人物の色、人物の服装に関する情報を設定しておき、それらの情報をそれぞれの手話者に対応する手話文の手話アニメーションを表示する際に、手話アニメーション生成部１０７に送ることにより、容易に行うことができる。あるいは、人物のモデルや人物の位置、人物の方向、人物の色、人物の服装の内のいずれか、あるいは、それらの内のいくつかの要素を変化させた各手話者に対応する人物を１つの手話アニメーション画面上に同時に表示し、それらの人物が会話を行っているような手話アニメーションを表示することも、コンピュータグラフィックスの技術を用いることにより容易に行うことができる。２７２７および２７２８は、手話文章中の特定の手話者に対応する手話文のみをアニメーション表示するためのボタンである。２７２７は手話者Ａの手話文のみ、また、２７２８は手話者Ｂの手話文のみ、の手話アニメーションを表示する。この際、指定していない手話者に対応する手話文の部分では、２７２５上にその手話者の手話をユーザが表現するように促すメッセージを表示し、一定時間手話アニメーションの表示を停止させる。２７２９は、手話語の一覧を表示し、手話語を選択するための画面を表示するためのボタンである。表示された手話語の一覧から手話語を選択することにより、選択した手話語を含む手話文章情報の検索を行い、結果を表示することができる。手話語の一覧の表示画面および操作方法については図２２と同様、検索方法については図１７に示した方法と同様である。２７３０は手話文の一覧を表示し、手話文を選択するための画面を表示するためのボタンである。表示された手話文の一覧から手話文を選択することにより、選択した手話文を含む手話文章情報の検索を行い、結果を表示することができる。手話文の一覧の表示画面および操作方法については図２４と同様である。検索は、図１５に示す流れ図において、手話語情報を手話文章情報、音声言語の語を手話文情報に置き換えれば、全く同様の方法により行うことができる。２７３１は手話文章の一覧を表示し、手話文章を選択するための画面を表示するためのボタンである。図２８に手話文章の一覧を表示する画面の一例を示す。図２８において、２８０１は手話文章の一覧を表示する領域であり、図９に示した手話文章情報名９０１を表示する。２８０２は２８０１上で選択した手話文章を確定し、選択した手話文章に関する情報を表示するためのボタンである。２８０３は２８０１上での手話文章の選択をキャンセルするためのボタンである。手話文章の一覧の表示方法として、手話文章情報名だけでなく、手話文に含まれる手話語に関する情報、さらに、各手話文に含まれる手話語に関する情報を同時に表示しても良い。図２７において、２７３２はメインメニューを介さずに手話語の検索および表示を行うための画面に移行するためのボタンである。２７３３はメインメニューを介さずに手話文の検索および表示を行うための画面に移行するためのボタンである。２７３４は、手話語の検索および表示、あるいは手話文の検索および表示の画面から手話文章の検索および表示の画面に移行した場合に、移行する前の画面に復帰するためのボタンである。２７３５は手話文章の検索および表示を終了し、メインメニューに移行するためのボタンである。
【００４３】
図２７に示した画面で、音声言語の語から手話文章の検索を行う場合の音声言語の語の名称の入力、あるいは、動作要素から手話文章の検索を行う場合の動作要素の入力は、図１４および図１８、図１９に示した方法と同様の方法で行うことができる。音声言語の語から手話文章を検索する方法は、図１７に示した方法と同様である。また、手話文章の検索では、複数の音声言語の語の名称を入力し、それらに基づいて検索を行うこともできる。また、動作要素から手話文章を検索する方法は、図１７において、ステップ１７０９を選択された動作要素が手話語情報中に含まれているかどうかを判定する処理に変更することにより、同様の方法を用いることができる。判定処理は、手話語を検索する場合に使用した方法と同様な方法を用いることができる。また、手話文章の検索では、手話文情報名や手話文の意味を表す音声言語文字列を入力し、それらの手話文を含む手話文章情報を検索したり、手話文章情報名を直接入力し、手話文章情報を検索するようにしても良い。
【００４４】
以上の他、図２７に示す手話文章の検索および表示の画面では、手話文章情報名を表示する領域２７０４を選択することにより、手話文章の手話アニメーションを表示することができる。同様に、手話者名を表示する領域２７０６、２７０９、２７１２、手話文情報名あるいは手話文の意味を表す音声言語文字列を表示する領域２７０７、２７１０、２７１３を選択することにより、対応する手話文の手話アニメーションを表示することができる。また、手話文の検索および表示と同様に、手話文動作情報を表示する領域２７０８、２７１１、２７１４に表示されているそれぞれの情報を選択することにより、それぞれの情報に対応した手話アニメーションを生成することができる。
【００４５】
また、図２７において、２７０４に表示されている手話文章を選択すると、選択した手話文章中の手話文情報を２７０５に表示する。さらに、２７０７、２７１０、２７１３を選択し、２７０３を選択すると、選択した手話文を含む手話文章の検索を行い、結果を２７０４に表示することができる。また、２７０８、２７１１、２７１４に表示されている手話語を選択した後、２７０３を選択することにより、選択した手話語を含む手話文章の検索を行い、結果を２７０４に表示することができる。同様に、手話文中で付加される手動作および手以外の動作に関する情報に基づいて手話文章の検索を行うようにすることもできる。
【００４６】
さらに、２７０４に表示されている手話文章を選択し、２７３２を選択すると、手話語の検索および表示の画面に移行し、選択した手話文章中に含まれる各手話文中の手話語情報を検索結果の一覧に表示することができる。２７０４に表示されている手話文章を選択し、２７３３を選択すると、手話文の検索および表示の画面に移行し、選択した手話文章中に含まれる手話文情報を検索結果の一覧に表示することができる。２７０７、２７１０あるいは２７１３を選択して、２７３２を選択すると、手話語の検索および表示の画面に移行し、選択した手話文情報中に含まれる手話語情報を検索結果の一覧に表示することができる。２７０７、２７１０あるいは２７１３を選択して、２７３３を選択すると、手話文の検索および表示の画面に移行し、選択した手話文に対応する手話文情報を表示することができる。２７０８、２７１１あるいは２７１４に表示されている手話語を選択し、２７３２を選択すると、手話語の検索および表示の画面に移行し、選択した手話語に対応する手話語情報を表示することができる。２７０８、２７１１あるいは２７１４に表示されている手話語を選択し、２７３３を選択すると、手話文の検索および表示の画面に移行し、選択した手話語に基づいて手話文情報の検索を行い、その結果を表示することができる。２７０８、２７１１あるいは２７１４中に表示されている、手話文中で付加される手動作および手以外の動作に関する情報に基づいて手話文情報の検索を行うようにすることもできる。
【００４７】
図２７において、手話語や手話文のアニメーションを表示する際に、アニメーション表示中の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報を、他の手話語や手話文あるいは手話文中で付加される手動作および手以外の動作に関する情報と異なる色、異なる文字あるいは異なる背景を用いて表示することは、手話文の検索および表示の場合と同様である。図２７では、さらに、手話者名を表示する領域２７０６、２７０９、２７１２の表示も変えることができる。図２９に、手話者名を表示する領域および手話文情報名あるいは手話文の意味を表す音声言語文字列を表示する領域の表示を変化させる場合の例を示す。図２９において、２９０１では最初の手話文の手話者「Ａ」２７０６、手話文「こんにちは」２７０７が他の手話文とは異なる色と背景により表示されている。アニメーションの進行に伴い、２９０２では２番目の手話文の話者「Ｂ」２７０９、手話文「はじめまして」２７１０が、２９０３では３番目の手話文の手話者「Ｂ」２７１２、手話文「私の名前は田中です」２７１３がそれぞれ異なる色と背景により表示されている。さらに、図２７において、手話文章情報中の手話文情報に選択可能な要素が含まれている場合は、各手話文情報の表示および操作として、手話文の検索および表示で述べた方法と同様な方法を用いることができる。
【００４８】
手話文章の検索および表示において、ある手話文章情報を表示した時点で、学習者情報の手話文章学習履歴を更新する。更新の方法は、更新する内容を手話文章に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。また、音声言語の語の名称や手話語の名称等の検索条件が入力されずに手話文章の検索および表示の画面に移行した場合は、学習者履歴に基づいて、手話文章情報の表示を行う。表示方法としては、表示内容を手話文章に関する内容に置き換えることにより、手話語の検索および表示で使用した方法と同様の方法を用いることができる。
【００４９】
図３０に、図１３における手話に関するテストを行う処理に移行するためのボタン１３０５を選択した場合に表示される手話テストのメニュー画面の例を示す。図３０において、３００１は、手話語の手話アニメーションをユーザに提示し、それに対するユーザの解答を評価する手話語読み取りテストの処理に移行するためのボタン、３００２は、手話文の手話アニメーションをユーザに提示し、それに対するユーザの解答を評価する手話文読み取りテストの処理に移行するためのボタン、３００３はメインメニューに戻るためのボタンである。
【００５０】
図３１に、ボタン３００１を選択した場合に表示される手話語読み取りテストのための画面の一例を示す。３１０１は問題文と解答を入力する領域を表示するための領域、３１０２は解答を入力するための領域である。３１０４は問題となる手話語の手話アニメーションを表示する領域である。３１０５から３１１２は手話アニメーションを制御するボタンであり、図１４の１４０９から１４１７と同じ機能を有する。３１１３は、既に入力した解答を修正するために１つ前の問題に戻るためのボタン、３１１４は、解答の入力が終了して次の問題に進むためのボタンである。３１１５は、解答を評価し、テスト結果を表示するためのボタンである。３１１６はテストを中止し、図３０に示す手話テストのメニューに戻るためのボタンである。手話語読み取りテストの処理は、図３２に示す流れ図により行う。まず、ステップ３２０１で手話語読み取りテストに使用する問題を作成する。問題は、手話語情報格納部１１１に格納されている手話語情報から、あらかじめ決められている問題数分の手話語情報を乱数を用いて選択することにより作成することができる。また、あらかじめテスト用の手話語情報を手話語情報格納部１１１に格納しておき、それを読み込むことにより作成することができる。この場合、乱数によって選択した手話語をあらかじめ決められた割合で問題に含めるようにしても良い。問題数や乱数によって選択した手話語を問題中に含める割合は、ユーザが指定できるようにしても良い。また、学習者情報中の手話語テスト結果情報に基づいて、テストの成績が低い手話語を優先的に問題に含めるようにすることもできる。あるいは、学習者情報中の手話語学習履歴の内容をもとに、既に学習を行った手話語に関する情報のみからテスト問題を選択することもできる。問題を作成した後、ステップ３２０２でカウンタを１にセットする。ステップ３２０３ではカウンタの内容が示す番号の問題をユーザに表示する。ステップ３２０４ではユーザからの入力を判定する。入力が「前へ」３１１３の選択であれば、ステップ３２０５に進み、カウンタを１つ戻し、ステップ３２０３に戻る。入力が「次へ」３１１４であれば、ステップ３２０６へ進み、ユーザからの解答を格納する。ステップ３２０７ではカウンタを１つ進め、ステップ３２０３に戻る。入力が「完了」３１１５であれば、ステップ３２０８へ進み、ユーザが入力した解答を評価し、テスト結果の計算を行う。ステップ３２０９では、テスト結果を表示する。解答の評価方法としては、ユーザが入力した解答が手話語情報中の手話語名、あるいは対応する音声言語の語と一致していれば正解と見なす。あるいは、自然言語処理の技術を用いて解答を解析し、解答の表す意味的な内容が手話語に対応する音声言語の語の意味と一致している場合を正解と見なすようにすることもできる。図３３に、テスト結果の表示画面の一例を示す。図３３において、３３０１はテスト全体の点数を表示する領域、３３０２は各問題毎の評価結果の詳細を表示する領域である。３３０３はテスト結果の表示画面を消去するためのボタンである。
【００５１】
テスト結果の表示を行う際、学習者情報中の手話語テスト結果情報の検索を行い、同じ問題の履歴が見つかった場合、過去のテストの成績に応じてテスト結果の表示形態を変えることができる。この方法としては、例えば、解答が不正解で且つ過去のテストの成績が基準値以下である場合、ユーザに注意を促すために、異なる色や文字を使用して、テスト結果を表示することができる。あるいは、ユーザに注意を促すメッセージをテスト結果と共に表示することもできる。また、あるいは、過去のテスト結果の履歴をそのままテスト結果と共に表示しても良い。
【００５２】
手話文読み取りテストも図３１、図３２および図３３に示した手話語読み取りテストと同様の方法によって行うことができる。手話文読み取りテストの場合、問題は手話文情報格納部１１２に格納されている手話文情報を手話語読み取りテストで用いた方法と同じ方法を用いて選択することにより作成することができる。手話文情報中に選択可能な要素が含まれている場合も、同様に、乱数や学習履歴に基づいて、いずれかの要素を選択する。
【００５３】
以上の手話語読み取りテストおよび手話文読み取りテストにおいて、解答の入力方法として、図３１に示すように、文字列で入力するだけでなく、あらかじめ用意された解答の候補を選択する方法を用いることもできる。解答の候補の作成方法としては、問題の選択と同様に、手話語情報あるいは手話文情報を乱数や学習履歴に基づいて選択する方法を用いることができる。また、あらかじめ、テスト問題用の手話語情報あるいは手話文情報中に含めておくことも可能である。この場合、出題は、手話語あるいは手話文の手話アニメーションと解答の候補をユーザに提示することにより行われる。
【００５４】
また、手話語読み取りテストおよび手話文読み取りテストにおいては、１回のテストが終了した時点で、テスト結果に基づいて、学習者情報中の手話語テスト結果情報あるいは手話文テスト結果情報を更新する。学習者情報を更新する場合、まず、手話語テスト結果情報あるいは手話文テスト結果情報中にテストで使用した問題と同じ問題の情報が含まれているかどうかを検索する。同じ問題の情報が含まれている場合は、テスト回数、正解回数および誤り情報にテスト結果に基づいて、手話語テスト結果情報あるいは手話文テスト結果情報への修正あるいは情報の追加を行う。同じ問題の情報が含まれていない場合は、その問題とテスト結果に関する情報を新たな情報として、手話語テスト結果情報あるいは手話文テスト結果情報に追加する。
【００５５】
【発明の効果】
手話に関する情報を手話語、手話文、手話の文章の３つのレベルで手話に関する情報を記述し、さらに手話の動画像を手話アニメーションを用いて表示することにより、手話の動画像と手話を構成するそれぞれの動作と日本語との対応関係を詳細に表示することが可能となり、ユーザが正しい手話の学習を行うことができる。
【００５６】
また、手話の語や手話の文、手話文章に関する情報の表示において、関連する手話語や手話文、手話文章の表示も行い、ぞれぞれの表示を必要に応じて自由に切り替えることができるため、ユーザは自由なスタイルでの手話の学習が可能となる。
【００５７】
さらに、日本語や任意の動作要素からの手話語や手話文、手話文章の検索機能により、ユーザが必要な情報を自由に検索し、表示することが可能となる。
またさらに、格納されている手話に関する情報からテスト問題を作成することにより、幅広い手話の知識の学習が可能となる。また、学習履歴中の過去のテスト結果に基づいてテスト問題を作成することにより、効果的に手話を習得することができるようになる。
【図面の簡単な説明】
【図１】本発明による手話教育装置の概念ブロック図。
【図２】手話語情報のフォーマット。
【図３】手話語情報中のアニメーション生成用情報のフォーマット。
【図４】手話文情報のフォーマット。
【図５】手話文情報中の音声言語文字列のフォーマット。
【図６】手話文情報中の手話文動作情報のフォーマット。
【図７】手話文動作情報中の手話語エントリーのフォーマット。
【図８】手話文動作情報中の表情エントリーのフォーマット。
【図９】手話文章情報のフォーマット。
【図１０】学習者情報のフォーマット。
【図１１】学習者情報中の手話文テスト結果情報のフォーマット。
【図１２】教育制御部の処理の流れ図。
【図１３】教育制御部が表示するメインメニューの一例。
【図１４】手話語の検索および表示を行うための画面の一例。
【図１５】音声言語の語から手話語情報を検索する処理の流れ図。
【図１６】音声言語の語から手話文情報を検索する処理の流れ図。
【図１７】音声言語の語から手話文章情報を検索する処理の流れ図。
【図１８】検索方法を変更する方法を説明するための図。
【図１９】検索方法を動作要素からの検索に変更した後の画面例。
【図２０】動作要素を選択するための画面の一例。
【図２１】形状を選択するための画面の一例。
【図２２】手話語の一覧から手話語を選択するための画面の一例。
【図２３】手話文の検索および表示を行うための画面の一例。
【図２４】手話文の一覧から手話文を選択するための画面の一例。
【図２５】動画像表示中の手話語に対応する手話語の名称の表示形態を変更する方法を説明するための図。
【図２６】手話文情報中に選択可能な要素を含む場合の表示例と操作方法を説明するための図。
【図２７】手話文章の検索および表示を行うたえの画面の一例。
【図２８】手話文章の一覧から手話文章を選択するための画面の一例。
【図２９】動画像表示中の手話文に対応する手話文の意味を表す音声言語文字列の表示形態を変更する方法を説明するための図。
【図３０】手話に関するテストのメニュー画面の一例。
【図３１】手話語読み取りテストにおける出題画面の一例。
【図３２】手話に関するテストを行うための処理の流れ図。
【図３３】テスト結果の表示の一例。
【符号の説明】
１０１・・・文字入力部、１０２・・・キーボード、１０３・・・マイク、１０４・・・画面操作入力部、１０５・・・マウス、１０６・・・検索部、１０７・・・手話アニメーション生成部、１０８・・・出力部、１０９・・・ディスプレイ、１１０・・・教育制御部、１１１・・・手話語情報格納部、１１２・・・手話文情報格納部、１１３・・・手話文章情報格納部、１１４・・・学習者情報格納部。
Claims (12)
- ユーザの入力を受け付ける入力手段と、
画面上の特定領域に対して選択等の操作を行うための手段と、
手話における語である手話語の名称および動作画像を含む手話語に関する情報を記憶する手段と、
手話における文である手話文を構成する手話語の組み合わせやその他付加される手動作と手以外の動作およびそのタイミング情報を含む手話文に関する情報を記憶する手段と、
複数の手話文から構成される手話文章に関する情報を記憶する手段と、
ユーザにより入力される、手話語、手話文、あるいは手話文章についての検索条件を用いて上記手話語、手話文及び手話文章に関する情報を検索する手段と、
手話の動画像を生成する手段と、
ユーザの入力や、手話語に関する情報、手話文に関する情報、手話文章に関する情報等に応じて、手話教育に必要な処理や表示の制御を行う手段と、を有し、
上記手話教育に必要な処理や表示の制御を行う手段は、
該検索の結果である手話語、手話文及び手話文章の情報を関連付けて表示する機能と、
ユーザの入力に応じて、手話語に関する情報の表示、手話文に関する情報の表示および手話文章に関する情報の表示の間を自由に移行する機能と、
手話の動画像中に含まれる個々の手話語および上記付加される手動作や手以外の動作を表す記号や音声言語の語によって、個々の手話語および上記付加される手動作や手以外の動作の間の時間的な関係とを表示する機能と、を有し、
上記動画像生成手段は、手話の動画像を、上記手話語に関する情報、手話文に関する情報、または手話文章に関する情報に基づいて生成し、
手話文に関する動画像の生成には、該手話文を構成する手話語に関する情報に含まれる動作画像、及び該手話文に関する情報に含まれる上記付加される手動作および手以外の動作の情報を用い、
手話文章に関する動画像の生成には、該手話文章を構成する手話文に関する情報を用いることを特徴とする手話教育装置。 - 請求項１記載の手話教育装置であって、さらに
表示した情報に応じてユーザの学習履歴に関する情報を記憶する手段と、
手話語の動画像をユーザに提示し、動画像に対してユーザが入力した解答を評価する手話語の読み取りテストと、手話文の動画像をユーザに提示し、動画像に対してユーザが入力した解答を評価する手話文の読み取りテストの内、少なくともいずれかの手話に関するテストを行う手段とを有することを特徴とする手話教育装置。 - 請求項１記載の手話教育装置であって、
上記手話語に関する情報は、手話語の名称と、手話語に対応する音声言語の語の名称と、手話語の動画像を生成するために使用される手話語の動作に関する情報と、手話語の動作に関する説明や動作を表現する際の注意事項、手話語の起源等の、手話語に関する関連情報と、手話語の動作の構造に関する情報、とを含み、
上記手話文に関する情報は、手話文の意味を表す音声言語文字列と、手話文を構成する手話語の組み合わせに関する情報と、手話文中の動作に関する説明や、手話文を表現する際の注意事項等の、手話文に関する関連情報と、手話文中で付加される、手動作に関する情報および、表情や口形、視線等の手以外の動作に関する情報と、手話文中で付加される手動作および手以外の動作に関する情報と、手話語との時間的な関係を表す情報、とを含み、
上記手話文章に関する情報は、手話文章に含まれる手話文に関する情報と、手話文章中の各手話文に対応づけられた手話者に関する情報と、手話文章中の動作に関する説明や、手話文章を表現する際の注意事項等の、手話文章に関する関連情報、とを含むことを特徴とする手話教育装置。 - 請求項２記載の手話教育装置であって、
上記ユーザの学習履歴に関する情報には、ユーザの名称、複数ある手話文章の内、どの手話文章を学習したかに関する情報、複数ある手話文の内、どの手話文を学習したかに関する情報、複数ある手話語の内、どの手話語を学習したかに関する情報、手話文情報名、手話文のテスト回数、テストにおける正解回数、誤りの内容とその回数の内、少なくとも１つ以上を含む手話文の読み取りテストの結果に関する情報、手話語名、手話語のテスト回数、テストにおける正解回数、誤りの内容とその回数、の内、少なくとも１つ以上を含む手話語の読み取りテストの結果に関する情報、の内、少なくとも１つを含むことを特徴とする手話教育装置。 - 請求項１記載の手話教育装置であって、
手話語に関する情報の検索および表示では、ユーザが入力した音声言語の語の名称あるいは手話語の名称、あるいは動作要素に基づいて手話語に関する情報の検索を行い、検索された手話語の一覧、手話語に対応する音声言語の語、手話語に関する関連情報、手話語の動画像の表示、手話語を含む手話文の一覧、手話語を含む手話文章の一覧、の内、少なくとも１つ以上を表示することを、
手話文に関する情報の検索および表示では、ユーザが入力した音声言語の語の名称あるいは手話語の名称、あるいは動作要素、あるいは手話文の名称に基づいて手話文に関する情報の検索を行い、検索された手話文の一覧、手話文の意味を表す音声言語文字列、手話文を構成する手話語の組み合わせに関する情報、手話文中で付加される手動作および手動作以外の動作に関する情報、手話文の動画像の表示、手話文の関連情報の表示、手話文を構成する手話語毎の動画像の表示、手話文を構成する手話語毎の関連情報の表示、の内少なくとも１つ以上を行うことができることを、
手話文章に関する情報の検索および表示では、ユーザが入力した音声言語の語の名称あるいは手話語の名称、あるいは動作要素、あるいは手話文の名称、あるいは手話文章の名称に基づいて手話文章に関する情報の検索を行い、検索された手話文章の一覧、手話文章中の各手話文の意味を表す音声言語文字列、手話文章中の各手話文を構成する手話語の組み合わせに関する情報、手話文章中の各手話文中で付加される手動作および手以外の動作に関する情報、 手話文章全体の動画像の表示、手話文章の関連情報の表示、手話文毎の動画像の表示、手話文毎の関連情報の表示、手話語毎の動画像の表示、手話語毎の関連情報の表示、の内、少なくとも１つ以上を行うことができることを特徴とする手話教育装置。 - 請求項５記載の手話教育装置であって、手話文章、手話文あるいは手話語の動画像表示を行う場合、動画像表示されている手話語あるいは手話文に対応する名称や音声言語文字列が、他の手話語あるいは手話文に対応する名称や音声言語文字列と区別できるように、動画像表示されている手話語あるいは手話文に対応する名称や音声言語文字列の表示形態（文字の種類や色、背景色等）を他の手話語あるいは手話文に対応する名称や音声言語文字列の表示形態とは異なる表示形態で表示を行うことを特徴とする手話教育装置。
- 請求項５記載の手話教育装置であって、手話文章、手話文あるいは手話語に関する情報の検索および表示では、手話文章の一覧に表示されている手話文章の内、ユーザが選択した手話文章、手話文の一覧に表示されている手話文の内、ユーザが選択した手話文、手話語の一覧に表示されている手話語の内、ユーザが選択した手話語、音声言語の語の一覧に表示されている音声言語の語の内、ユーザが選択した音声言語の語、手話文章中の手話文の内、ユーザが選択した手話文、手話文を構成する手話語や手話文中に付加される手動作および手以外の動作に関する情報の内、ユーザが選択した手話語や手動作および手以外の動作に関する情報、関連情報中に含まれている手話語や音声言語の語の内、ユーザが選択した手話語あるいは音声言語の語、のいずれかに基づいて手話語、手話文あるいは手話文章の検索を行い、手話語の検索および表示、手話文の検索および表示、手話文章の検索および表示のいずれかに制御を移行することができることを特徴する手話教育装置。
- 請求項５記載の手話教育装置であって、手話文章に関する情報の検索および表示では、ユーザからの音声言語の語の名称あるいは手話語の名称の入力がない場合は、ユーザの学習履歴に基づいて、最後に表示を行っていた手話文章に関する情報を表示し、又は手話文あるいは手話語のテスト結果に基づいて手話文章に関する情報の順位付けをおこない、その順に手話文章に関する情報を，手話文に関する情報の検索および表示では、ユーザからの音声言語の語の名称あるいは手話語の名称の入力がない場合は、ユーザの学習履歴に基づいて、最後に表示を行っていた手話文に関する情報を表示し、又は手話文あるいは手話語のテスト結果に基づいて手話文に関する情報の順位付けを行い、その順に手話文に関する情報を，手話語に関する情報の検索および表示では、ユーザの学習履歴に基づいて、最後に表示を行っていた手話語に関する情報を表示し、又は手話語のテスト結果に基づいて手話語に関する情報の順位付けを行い、その順に手話語に関する情報を表示する、ことを特徴とする手話教育装置。
- 請求項２記載の手話教育装置であって、手話に関するテストで使用される問題は、全ての手話語あるいは手話文に関する情報から乱数を用いて任意の手話語あるいは手話文に関する情報を選択し、全ての手話語あるいは手話文に関する情報から、ユーザの学習履歴に関する情報に基づいて、ユーザが間違えやすい手話語あるいは手話文に関する情報を優先的に選択し、ユーザの学習履歴に関する情報に基づいて、既に学習を行った手話語あるいは手話文に関する情報中の任意の手話語あるいは手話文に関する情報を乱数を用いて選択し、又はユーザの学習履歴に関する情報に基づいて、既に学習を行った手話語あるいは手話文に関する情報中から、ユーザが間違えやすい手話語あるいは手話文に関する情報を優先的に選択することにより作成することを特徴とする手話教育装置。
- 請求項９記載の手話教育装置であって、手話語読みとりテストあるいは手話文読み取りテストでは、手話語あるいは手話文に対応する手話動画像のみをユーザに提示し、手話動画像に対応する音声言語の語の名称や手話語の名称、あるいは手話文の意味を表す音声言語文字列をユーザが解答として入力し、入力された解答を評価し、又は各手話語あるいは手話文に対応する手話動画像と、解答を表す音声言語の語の名称、手話語の名称あるいは手話文の意味を表す音声言語文字列の複数の候補をユーザに提示し、手話動画像の手話語あるいは手話文に対応する候補をユーザが選択し、選択された項目を評価することを特徴とする手話教育装置。
- 請求項１０記載の手話教育装置において、手話に関するテストを行う際、テスト結果およびユーザの学習履歴に関する情報を統合して、テスト結果の表示形式を変えることを特徴とする手話教育装置。
- ユーザの入力を受け付ける入力手段と、画面上の特定領域に対して選択等の操作を行うための手段と、手話における語である手話語の名称および動作画像を含む手話語に関する情報を記憶する手段と、手話における文である手話文を構成する手話語の組み合わせやその他付加される手動作と手以外の動作およびそのタイミング情報を含む手話文に関する情報を記憶する手段と、制御部とを有する手話教育システムの制御部に、
ユーザにより入力される、手話語、手話文、あるいは手話文章についての検索条件を用いて上記手話語、手話文及び手話文章に関する情報を検索するステップと、
該検索の結果である手話語、手話文及び手話文章の情報を関連付けて表示するステップと、
手話の動画像を生成するステップと
上記手話の動画像中に含まれる個々の手話語および上記付加される手動作や手以外の動作を表す記号や音声言語の語によって、個々の手話語および上記付加される手動作や手以外の動作の間の時間的な関係とを表示するステップと、
ユーザの要求に応じて、手話語に関する情報の表示、手話文に関する情報の表示および手話文章に関する情報の表示の間を自由に移行するステップと、
を実行させ、
上記動画像生成ステップでは、手話の動画像を、上記手話語に関する情報、手話文に関する情報、または手話文章に関する情報に基づいて生成し、
手話文に関する動画像の生成には、該手話文を構成する手動作に関する情報に含まれる動作画像、及び該手話文に関する情報に含まれる手以外の動作の情報を用い、
手話文章に関する動画像の生成には、該手話文章を構成する手話文に関する情報を用いることを特徴とする手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16949098A JP3591309B2 (ja) | 1998-06-17 | 1998-06-17 | 手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16949098A JP3591309B2 (ja) | 1998-06-17 | 1998-06-17 | 手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000003127A JP2000003127A (ja) | 2000-01-07 |
| JP3591309B2 true JP3591309B2 (ja) | 2004-11-17 |
Family
ID=15887504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16949098A Expired - Fee Related JP3591309B2 (ja) | 1998-06-17 | 1998-06-17 | 手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3591309B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3906729B2 (ja) * | 2002-04-05 | 2007-04-18 | 株式会社日立製作所 | 手話教育用システム及び該システムを実現するためのプログラム |
| GB2422449A (en) * | 2005-01-20 | 2006-07-26 | Christopher David Taylor | Text to sign language translation software for PCs and embedded platforms e.g. mobile phones and ATMs. |
| JP5114871B2 (ja) * | 2006-05-31 | 2013-01-09 | 沖電気工業株式会社 | 映像提供装置 |
-
1998
- 1998-06-17 JP JP16949098A patent/JP3591309B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000003127A (ja) | 2000-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3338992B2 (ja) | 手話／単語変換システム | |
| Cockburn et al. | Supporting novice to expert transitions in user interfaces | |
| Maybury et al. | Readings in intelligent user interfaces | |
| US10715713B2 (en) | Interactive application adapted for use by multiple users via a distributed computer-based system | |
| Lowe et al. | Learning from animated diagrams: How are mental models built? | |
| WO2018118172A1 (en) | Iconographic symbol predictions for a conversation | |
| WO2017218275A1 (en) | Intelligent virtual keyboards | |
| CN107273347A (zh) | 用于触觉增强的文本界面的系统和方法 | |
| JP3906729B2 (ja) | 手話教育用システム及び該システムを実現するためのプログラム | |
| JP2010518416A (ja) | コンピュータ実現の学習方法および学習装置 | |
| JP2008507007A (ja) | 車両及び他の複雑な装置用の双方向マニュアル、システム及び方法 | |
| US11436938B2 (en) | Defining an interactive session that analyzes user input provided by a participant | |
| CN111343507A (zh) | 在线授课方法、装置、存储介质和电子设备 | |
| US20240153395A1 (en) | Tracking concepts and presenting content in a learning system | |
| CN108614872A (zh) | 课程内容展示方法及装置 | |
| Bragg et al. | Designing an animated character system for American sign language | |
| JP3823604B2 (ja) | 手話教育装置、手話教育方法、及び、手話教育方法が記録された記録媒体 | |
| CN110175061A (zh) | 基于动画的交互方法、装置和电子设备 | |
| JP3591309B2 (ja) | 手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001249949A (ja) | 感情生成方法、感情生成装置、記録媒体 | |
| Avila-Munoz et al. | Communicative functions in human-computer Interface design: A taxonomy of functional animation | |
| Sagawa et al. | A teaching system of japanese sign language using sign language recognition and generation | |
| Meena et al. | Human-computer interaction | |
| CN114661196B (zh) | 一种习题展示方法、装置、电子设备以及存储介质 | |
| JP2020086075A (ja) | 学習支援システム、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |