JP4608655B2 - 学習支援装置、学習支援装置の制御方法、学習支援装置の制御プログラム、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、画像が示す内容の理解、特に表情画像が示す感情の理解をするためのユーザの学習を支援する、学習支援装置、学習支援装置の制御方法、学習支援装置の制御プログラム、及びコンピュータ読み取り可能な記録媒体に関するものである。

従来から、基本的な表情の理解（表情が示す感情の理解）や言葉での表現、状況と表情との関係の理解などは、自閉性障害者（児）の教育では、取り組まれている課題である。このような課題に取り組むための教材として、例えば、非特許文献１に記載のように、表情の絵カードや顔写真が、多く用いられている。

一方、表情理解学習のためのコンピュータプログラムも報告されている。例えば、非特許文献２に記載の学習プログラムには、喜び、悲しみ、怒り、恐れの４種の感情を喚起する写真と字幕（競走の写真と「〜は競走で一着になった」等）、人物が欲しかった物の絵と手に入れた物の絵（喜びか悲しみかの２択）、人物が好きか嫌いな事物・事象の絵と字幕（喜びか失望かの２択）等から、人物の感情を推測する課題の中の１つに、上記の４感情を示す表情写真を自閉性障害者（児）に理解させるための課題が用意されている。そして、これを含む計５種類の課題が各々２０問ずつあり、学習プログラム全体が５種類の課題、すなわち５つのセクションからなっている。そして、全問正解で次のセクションに進めるようになっている。

これらのプログラムは、いずれも表情写真などの静止画像を用いたものである。このように従来多く使われている表情写真は、意図的に表出されたものであり、誇張されたものが多く、自発的に表出された実際場面での表情とは異なっている。しかし、表情表出は本来動的な過程であり、情報の忠実性の観点からも動画像の方がより望ましいと考えられる。実際、成人、知的障害者、相貌失認患者などで、動画像の方が写真などの静止画像よりも表情理解を促進する効果があることが、例えば、非特許文献３に開示されている。しかしながら、これまでに、自閉性障害児にとって動画像の理解の方が本当に容易であるのかどうかは、確認されていない。また、これまでに、感情強度の評定値を統制して動画像と静止画像の理解を比較した研究は行われてこなかった。なお、感情強度とは、人物の顔に表出された表情を見たときに受ける印象の強さ度合いのことである。また、感情強度の評定値は、ここでは、次のように算出するものとする。初めに、人物の表情を表す表情の動画像、静止画像を複数の協力者（健常者）にそれぞれ見せ、それぞれの画像がどの感情を示しているかを、感情カテゴリー「喜び・悲しみ・怒り・驚き・恐れ・中性・その他」のリストから、１つ選択させる。次に、その画像に対する協力者自身が感じる感情の強さを１０段階（１は非常に弱い、１０は非常に強い）で評定させる。そして、それぞれの画像について、画像を見せた協力者の評定を集計し、評定平均値の小数点以下３桁目を四捨五入したものを、各画像の感情強度の評定値とする。

そこで、本発明者は、非特許文献４に開示されているように、コンピュータで合成した、感情強度の評定値の同じ静止画像と動画像とを用いた、表情理解のための学習プログラムを作成し、このプログラムを実行する表情学習支援装置を用いて自閉性障害者に学習を行わせた。

上記表情学習支援装置では、動画像の表情表出のピークを静止画像にしたが、感情強度が可能な限り類似した組み合わせを作り、感情強度の評定平均値、感情カテゴリーの平均評定一致率のどちらにも有意差は認められない状態で、動画像と静止画像の比較を行っている。さらに、この表情学習支援装置は、コンピュータで合成した表情を用いたために、刺激としての均質性がより高く厳密な比較が可能となっている。また、静止画像の場合にも同じ表情間でモーフィング（画像を変化させる技術の一つで、二つの静止画像を入力し、それらを最初と最後のフレームとして連続して変化する動画や中間の静止画像を作成する処理）を行っているために、動画像と静止画像の画質の差がない。この表情学習支援装置を用いた学習では、動画像の方が静止画像よりも対象とした自閉性障害者の誤答が少なく、表情判断が全般的に容易であった。
新澤伸子著 「はじめの一歩 ―自閉症の子どもたち、幼児期からの療育と援助―」社会福祉法人 横浜やまびこの里 １９９９年出版 ４６−４７頁 Silver, M. and Oakes, P.(2001) Evaluation of a new computer intervention to teach people with autism or Asperger syndrome to recognize and predict emotions in others. Autism: The International Journal of Research and Practice, 5(3), 299-316. Gepner, B., Deruelle, C., and Grynfeltt, S. (2001) Motion and emotion: a novel approach to the study of face processing by young autistic children. Journal of Autism and Developmental Disorders, 31(1),37-45. 「日本特殊教育学会 第４２回大会発表論文集」 日本特殊教育学会 第４２回大会準備委員会 ２００４年８月発行 ６３６頁 向後礼子 「知的障害者の非言語的コミュニケーションについて −表情ならびに音声からの他者感情の読みとり−」 発達障害研究 第２６巻 第１号 ２００４年、８−１４頁 越川房子 「発達障害者の表情識別訓練」 発達障害研究 第２６巻 第１号 ２００４年 １５−２２頁

しかしながら、上記従来の静止画像や動画像を用いた表情理解のための表情学習支援装置では、その表情が示す感情について、ユーザ（学習者、例えば自閉性障害者等）の理解が依然として及ばない場合があるという問題を生じる。特に、より微弱な表情の理解学習においては、その問題点が浮き彫りにされる。日常生活における場面では、微弱な表情が表出されることも多くあるが、ユーザは、いくら学習しても、日常における表情を理解できない場合もある。また、学習では、その場限りの判断も多く、表情が示す感情について、その場では正解不正解がわかるが、表情が示す感情についての記憶が定着しない。そのため、いくら学習を進めて次々に表情画像を表示しても、ユーザは、いつまでたっても日常における表情理解、表情表出ができないことになってしまう。よって、せっかくの学習が役立たないことになる。

また、従来の表情学習支援装置（学習プログラム）は、最初のうちは何度か誤答しながらも、試行を重ねるうちに正答がどれか自力で気づいていくことが可能な程度の認知能力を有する対象者（ユーザ）には、適当なものであると考えられる。しかし、対象者の中には、相当数学習を繰り返しても、次のステージにどうしても進めず、表情理解学習を中止した者も認められた。このような事例の分析から、その種類は異なるものの、学習を中断した対象者には、比較的理解できている表情と、そうでない表情があることがうかがわれた。こうした理解しにくい表情があると、正答率の基準をなかなか達成できずに、同じステージを繰り返すことになり、学習意欲の低下が生じてしまう。しかしながら、従来の表情学習支援装置では、反応の記録は筆記によるため、学習後にその結果を改めて分析しないと誤りやすい表情の傾向などを見つけにくい。また、仮にこのような傾向を見つけたとしても、画像が提示され、対象者がボタン押しの反応をするまでの短い時間をとらえて、主として言葉による適切なヒントをタイミングよく出す必要がある。そのため、指導者の経験や学習前の準備の程度、対象者のボタン押し反応の特性（反応が素早かったり、変動したりする対象者ほど、適切にヒントを出すことが難しくなる）などに左右される面もあって、適切なヒントを一貫して提示していくような安定性に欠けてしまう。そのため、従来の表情学習装置では、学習装置としての独立性（外的要因に左右されないという意味）や実用性が必ずしも高いとは言えなかった。

また、日常生活において、表情の表出と共に音声を発することも多く、音声は表情理解のための一助となりうる。そのため、例えば、非特許文献５および６に記載のように、音声を伴う表情の動画像を出力して表情識別訓練をさせる技術があった。しかし、これまでに、音声無しの表情画像を表示し、ユーザが表情理解をできないときに、表情画像の表示と共に音声が出力される学習支援装置はなかった。また、表情理解だけでなく、様々な状況や場面等の理解をする学習を行う際に、音声無しの画像を表示し、ユーザによる判断をさせた後、画像の表示と共にそれに対応する音声が出力される学習支援装置は無かった。

そこで、本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像が示す内容をユーザにより的確に理解させることができる、学習支援装置、学習支援装置の制御方法、学習支援装置の制御プログラム、及びコンピュータ読み取り可能な記録媒体を実現することにある。

本願発明者等は、上記課題を解決するために、鋭意検討し、動画像を用いて作成した表情画像を表示し、その後に、当該表情画像の表示に当該表情画像が示す感情を表す音声の出力を付加することで、感情のユーザ理解を助けることができることを見いだし、本発明を完成させるに至った。

すなわち、本発明に係る学習支援装置は、上記課題を解決するために、表示部に表示した画像が示す内容についてのユーザ判断を受付け、当該ユーザ判断の正誤を判定する学習支援装置において、音声出力部と、上記画像に対応付けられた音情報を記憶している記憶部と、上記判定前には、対応付けられた音情報を音声出力部にて出力すること無しに上記画像を上記表示部に表示し、上記ユーザ判断が誤りであると判定すると、上記画像の表示と共に、当該画像に対応付けられた音情報を出力する制御部と、を備えたことを特徴としている。

また、本発明に係る学習支援装置の制御方法は、上記課題を解決するために、表示部に表示した画像が示す内容についてのユーザ判断を受付け、当該ユーザ判断の正誤を判定する判定ステップを含む学習支援装置の制御方法において、上記判定ステップ前には、上記画像に対応付けられて記憶部に記憶された音情報を音声出力部にて出力すること無しに上記画像を上記表示部に表示する画像表示ステップと、上記判定ステップでユーザ判断が誤りであると判定すると、上記画像の表示と共に、上記画像に対応付けられて記憶部に記憶された音情報を出力する音声出力ステップと、を含むことを特徴としている。

上記構成および上記方法によると、画像が示す内容についての判断をユーザが間違えると、画像の表示と共に当該画像に対応付けられた音情報を出力する。そのため、画像が示す内容について、ユーザに耳と目で記憶させることができる。特に、間違えた後に、音情報を付加して出力することで、ユーザに画像が示す内容をより深く記憶させることができる。ユーザにとっては、目と共に、耳からも情報が入ってくるので、画像が示す内容についてより理解が深まる。よって、上記構成および上記方法によると、画像が示す内容をユーザにより的確に理解させることができる。

そのため、上記学習支援装置を用いて学習することで、ユーザは、例えば日常生活における、実際の状況や場面の理解をより的確に行うことができるようになる。また、音情報がなくても状況理解をすることが、早くできるようになる。

また、上記構成の学習支援装置を用いた学習を、ユーザに行わせた結果の集計を取ることで、学習が状況理解に及ぼす効果を検討することができる。また、日常場面での状況理解等の特徴を把握し、今後の教育・療育実践への方針立てに役立てることもできる。

なお、ユーザとは、学習支援装置を用いて学習する者とする。

ここで、表示される画像は、動画像であっても、静止画像であっても、これらの組み合わせであってもよい。動画像を用いることで、日常場面で遭遇する、状況や場面の理解の学習に役立たせることができる。また、音情報は、画像に対応しているものであり、音としてユーザに認識されるものであればどのようなものでもかまわなく、人間・生物の発する声であっても、実際の音を真似た、擬音語、擬態語、擬声語等、物の響き等であってもよい。

また、ユーザの判断が間違ったらいつでも音情報を出力するのではなく、ユーザ毎の学習進度に応じて、音情報を出力するか否かを設定することができるようになっていてもよい。この設定は、外部から、例えば通信により、行われるようになっていてもよい。また、表示部には、学習の進み具合、例えば正解率、を表示するようにしてもよい。

また、本発明に係る学習支援装置は、上記課題を解決するために、表示部に表示した画像が示す内容についてのユーザ判断を受付け、当該ユーザ判断の正誤を判定する学習支援装置において、音声出力部と、上記画像に対応付けられた音情報を記憶している記憶部と、上記判定前には、上記画像に対応付けられた音情報を音声出力部にて出力すること無しに当該画像を上記表示部に表示し、上記判定後には、上記画像の表示と共に、当該画像に対応付けられた音情報を音声出力部にて出力する制御部と、を備えたことを特徴としている。

また、本発明に係る学習支援装置の制御方法は、上記課題を解決するために、表示部に表示した画像が示す内容についてのユーザ判断を受付け、当該ユーザ判断の正誤を判定する判定ステップを含む学習支援装置の制御方法において、上記判定ステップ前には、上記画像に対応付けられて記憶部に記憶された音情報を音声出力部にて出力すること無しに当該画像を上記表示部に表示する画像表示ステップと、上記判定ステップ後には、上記画像の表示と共に、上記画像に対応付けられて記憶部に記憶された音情報を音声出力部にて出力する音声出力ステップと、を含むことを特徴としている。

上記構成および上記方法によると、画像が示す内容についてのユーザ判断の正誤判定の後、常に、画像の表示と共に当該画像に対応付けられた音情報を出力する。ユーザは、一旦は音情報の無い状態で画像から内容を判断した後に、画像を見ると共に音情報を聞くことになる。ユーザ判断が誤りの場合に音情報が出力されると、ユーザは間違っていたことを認識し、音情報からも正解を考えようとするので、画像が示す内容を深く理解することができる。また、ユーザ判断が正しい場合に音情報が出力されると、ユーザは自分の判断が合っていたことを再確認し、画像が示す内容を深く理解することができる。なお、ここでも、画像や音情報の限定はされない。

このように、ユーザにとっては、目と共に、耳からも情報が入ってくるので、画像が示す内容についてより理解が深まる。よって、上記構成および上記方法によると、画像が示す内容をユーザによりよく理解させることができる。そのため、上記学習支援装置を用いて学習することで、ユーザは、例えば日常生活における、実際の状況や場面の理解をより的確に行うことができるようになる。また、音情報がなくても状況理解をすることが、早くできるようになる。また他にも、上記したユーザ判断が誤りであると判定した後に音情報を出力する学習支援装置および学習支援装置の制御方法と同様の作用や効果がある。

なお、ユーザ判断の正誤を判定した後に、音情報を出力する際、ユーザ判断が誤りであると判定した場合と、ユーザ判断が正しいと判定した場合とで、出力する音情報は、同じであってもよいし、異なっていてもよい。

また、本発明に係る学習支援装置では、上記構成に加え、上記制御部は、上記表示部にて上記画像を表示すると共に、当該画像が示す内容をユーザに選択させるための選択肢情報を表示してもよい。

上記構成によると、ユーザは、画像に示す内容に対する判断を行う際に、選択肢の中から適切であると考えるものを選ぶだけでよい。そのため、ユーザは画像が示す内容に関する学習を容易に行うことできる。このように、学習することがユーザにとって困難ではないため、ユーザを不快な気持ちにさせず、ユーザに学習意欲を湧かせることができ、学習を効果的に進めることができる。

また、本発明に係る学習支援装置では、上記構成に加え、上記画像は、人物の表情を表す表情画像であり、上記画像が示す内容は、当該表情画像が示す感情であってもよい。

上記構成によると、表情が示す感情に対するユーザ理解を助けることができる。ユーザに、表情を目と耳とで記憶させることができる。特に、間違えた後に、音声が出力されることで、より深く記憶させることができる。そのため、ユーザは、実際の人間相手の表情を読み取るようになることが、早くできるようになる。また、日常場面での表情理解や表情表出に役立ち、音声がなくても、表情を読み取ることができるようになる。

なお、表情画像は動画像であっても静止画像であっても、これらの組み合わせであってもよい。なお、動画像と静止画像を両方用いる際には、感情の強度の評定値を揃えたものを用いると、動画像と静止画像とのそれぞれの学習効果を容易に比較することができるので、好ましい。また、動画像であれば、ユーザとしての自閉性障害者に対して、表情が示す感情を理解させるために好適に用いることができる。また、動画像を用いることで、日常場面で遭遇する機会が多いより微弱な表情を理解させるための学習を行うことができる。また、上記構成の学習支援装置を用いた学習を、自閉性障害者に行わせた結果の集計を取ることで、学習が自閉性障害者の表情理解や表情表出に及ぼす効果を検討することができる。また、集計を取ることで、学習の経過を把握することができる。そのため、必要に応じて付加する音声や言葉の変更などの修正を行うことで、学習の停滞や中断が減少し、より効率的に学習を進めることが可能になる。また、日常場面での自閉性障害者の表情表出・表情理解等の特徴を把握し、今後の教育・療育実践への方針立てに役立てることができる。

また、本発明に係る学習支援装置では、上記構成に加え、上記音情報は、表情画像が示す感情を抱く人物が発する音声および表情画像が示す感情を表す擬態語の少なくともどちらか一方を含んでいてもよい。

上記構成によると、表情画像に対応する様々な音声を出力し、ユーザ理解を促すことができる。例えば、悲しみの感情における人物が「エーンエーン」と泣くことがあっても、実際「シクシク」と泣くことは無いと思われるが、「シクシク」という擬態語の音を出力してもよい。このように、表情画像の表示に伴って出力されるのは、表情画像が示す感情を抱く人物が発する音声であってもよいし、表情画像が示す感情を表す擬態語であってもよい。ユーザは、表情を目と耳とで記憶させておくことで、実際の日常において、表情から感情をすばやく理解することができるようになる。

また、「痛そうだね」「目のところを見て」といったように、表情画像が示す感情をよく理解させるため声をかけるアドバイス的な音声が出力されてもよい。

また、上記学習支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記学習支援装置における制御部として動作させることにより上記学習支援装置をコンピュータにて実現させる学習支援装置の制御プログラム、及びその学習支援装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

これらの構成によれば、学習支援装置の制御プログラムを、コンピュータに読み取らせて実行させることによって、上記学習支援装置と同一の作用効果を実現することができる。

本発明に係る学習支援装置は、以上のように、音声出力部と、上記画像に対応付けられた音情報を記憶している記憶部と、上記判定前には、対応付けられた音情報を音声出力部にて出力すること無しに上記画像を上記表示部に表示し、上記ユーザ判断が誤りであると判定すると、上記画像の表示と共に、当該画像に対応付けられた音情報を出力する制御部と、を備えている。

上記構成によると、画像が示す内容についての判断をユーザが間違えると、画像の表示と共に当該画像に対応付けられた音情報が出力する。そのため、画像が示す内容について、ユーザに耳と目で記憶させることができる。特に、間違えた後に、画像の表示に音声を付加して出力することで、ユーザに画像が示す内容をより深く記憶させることができる。ユーザにとっては、目と共に、耳からも情報が入ってくるので、画像が示す内容についてより理解が深まる。よって、上記構成および上記方法によると、画像が示す内容をユーザにより的確に理解させることができる。

また、本発明に係る学習支援装置は、以上のように、音声出力部と、上記画像に対応付けられた音情報を記憶している記憶部と、上記判定前には、上記画像に対応付けられた音情報を音声出力部にて出力すること無しに当該画像を上記表示部に表示し、上記判定後には、上記画像を上記表示部に表示すると共に、当該画像に対応付けられた音情報を出力する制御部と、を備えている。

上記構成によると、画像が示す内容についてのユーザ判断の正誤判定の後、常に、画像の表示と共に当該画像に対応付けられた音情報を出力する。ユーザは、一旦は音情報の無い状態で画像から内容を判断した後に、画像を見ると共に音情報を聞くことになる。ユーザ判断が誤りの場合に音情報が出力されると、ユーザは間違っていたことを認識し、音情報からも正解を考えようとするので、画像が示す内容を深く理解することができる。また、ユーザ判断が正しい場合に音情報が出力されると、ユーザは自分の判断が合っていたことを再確認し、画像が示す内容を深く理解することができる。このように、ユーザにとっては、目と共に、耳からも情報が入ってくるので、画像が示す内容についてより理解が深まる。よって、上記構成および上記方法によると、画像が示す内容をユーザによりよく理解させることができる。

そのため、上記いずれかの構成の学習支援装置を用いて学習することで、ユーザは、例えば日常生活における、実際の状況や場面の理解をより的確に行うことができるようになる。また、音情報がなくても状況理解をすることが、早くできるようになる。

また、上記いずれかの構成の学習支援装置を用いた学習を、ユーザに行わせた結果の集計を取ることで、学習の経過を把握でき、また、学習が状況理解に及ぼす効果を検討することができる。そのため、必要に応じて付加する音声や言葉の変更などの修正を行うことで、学習の停滞や中断が減少し、より効率的に学習を進めることが可能になる。また、日常場面での状況理解等の特徴を把握し、今後の教育・療育実践への方針立てに役立てることもできる。

本発明の一実施形態について図１〜図１０に基づいて説明すると以下の通りである。

本実施形態では、学習支援装置を、人物の表情が示す感情を理解するための、つまり、表情認識学習のための装置として説明するが、これに限定されることはもちろん無い。また、ユーザとは、学習支援装置を用いて学習する者とする。また、学習支援装置を用いてユーザに学習を行わせる人物を、指導者と呼ぶことにする。

図１は、本実施形態の学習支援装置１の構成を示すブロック図である。学習支援装置は、下記で説明する表示した表情画像が示す感情についてのユーザ判断を受付け、当該ユーザ判断の正誤を判定するものである。学習支援装置１は、図１に示すように、制御部２、記憶部３、表示部４、音声出力部５、及び操作部６、を備えている。

制御部２は、マイクロコンピュータを内蔵し、コンピュータプログラムに従って、操作部６からの入力操作により動作し、学習支援装置１における各種構成の動作を統括的に制御する。制御部２は、ある表情画像を表示する際に、初めに、この表情画像に対応付けられた音情報を音声出力部にて出力すること無しに、表示部４に表示する。その際に、当該表情画像が示す感情をユーザに選択させるための選択肢情報を表示する。そして、表示部４に表示した表情画像が示す感情についてのユーザ判断を受付け、当該ユーザ判断の正誤を判定する。

上記ユーザ判断が誤りであると判定すると、判定前に表示した表情画像の表示と共に、当該表情画像に対応付けられた音情報を音声出力部５にて出力する。本実施形態では、誤りであると判定すると、音情報を出力するものとするが、正解と判断した後にも、判定前に表示した表情画像の表示と共に、当該表情画像に対応付けられた音情報を音声出力部５にて出力してもよい。

記憶部３は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部３は、表情画像と、この表情画像に対応付けられた音声とを記憶している。この表情画像と音声とは、外部の記憶装置から読み出されるようになっていてもよい。

本実施形態では、表情画像は動画像および静止画とする。動画像の内容は、次のようなものとする。無表情である中性画像が１秒間表出され、次第に表情が表れ、中性画像の表示終了から０．７秒経つと表情のピークの画像が表出される。表情のピークの画像が１秒表出されると、また、０．７秒かけて次第に表情が無くなり中性画像に戻る。そして、中性画像が１秒表出され、１つの表情画像の表出が終了するものとする。

表情は、通常、顔面上に表れたり消えたりして時々刻々変化する動的な情報であるため、このように、動画像において表情のピークまでを０．７秒とする表出形態は、日常場面により近い自然なものとすることができる。また、このような表出形態によって、ユーザ（学習者）が、表情は表れたり消えたりするものであることを学んだり、こうした移ろい易い表情を正しく読み取るためには、人の顔へ注意を一定の時間向け続け、その変化に注目しなければならないこと等を学習することができる。その結果として日常の対人関係場面への応用が効きやすくなる。もちろん、上記した表出形態や表出時間に限定されることはない。

表情のピークの画像としては、例えば、図２（ａ）〜（ｉ）に示すような、画像であるとする。図２（ａ）は、唇の両端が上がっただけの喜び（口部喜び）を示す画像である。図２（ｂ）は、口を開けた満面で喜び（満面開口喜び）を示す画像である。図２（ｃ）は、満面で悲しみ（満面悲しみ）を示す画像である。図２（ｄ）は、満面で怒り（満面怒り）を示す画像である。図２（ｅ）は、目及び眉だけが変化した怒り（目・眉部怒り）を示す画像である。図２（ｆ）は、口を開けた満面で怒り（満面開口怒り）を示す画像である。図２（ｇ）は、目及び眉だけが変化した驚き（目・眉部驚き）を示す画像である。図２（ｈ）は、満面で驚き（満面驚き）を示す画像である。図２（ｉ）は、無表情である中性画像である。もちろん、これらの表情のピークの画像は、単なる例であり、これらに限定はされない。

なお、予め、例えば、複数の健常者にこれらの表情画像を提示し、表情画像が示す感情を解答してもらい、表情と感情との一致率を調べる。そして、一致率が高い表情画像を、記憶部３に記憶させておくのがよい。

これらの表情画像は、本実施形態では、人間のモデルを用いた合成画像をモーフィング処理したものとする。しかし、表情画像はこれには、限定されず、コンピュータグラフィックを用いた画像であっても、ビデオ等の撮影手段で撮影した実際の人間の画像であってもよい。表情画像を合成するのに用いるモデルは、男性であっても、女性であってもよい。もちろん、これらの表情画像は、単なる例であり、これらに限定はされない。

また、表情画像は動画像であっても静止画像であっても、これらの組み合わせであってもよい。なお、動画像と静止画像を両方用いる際には、感情強度の評定値を揃えたものを用いると、動画像と静止画像とのそれぞれの学習効果を容易に比較することができるので、好ましい。ここで、感情強度とは、人物の顔に表出された表情を見たときに受ける印象の強さ度合いのことである。また、感情強度の評定値は、本実施形態では、次のように算出する。初めに、人物の表情を表す表情の動画像、静止画像を複数の協力者（健常者）にそれぞれ見せ、それぞれの画像がどの感情を示しているかを、感情カテゴリー「喜び・悲しみ・怒り・驚き・恐れ・中性・その他」のリストから、１つ選択させる。次に、その画像に対する協力者自身が感じる感情の強さを１０段階（１は非常に弱い、１０は非常に強い）で評定させる。そして、それぞれの画像について、画像を見せた協力者の評定を集計し、評定平均値の小数点以下３桁目を四捨五入したものを、各画像の感情強度の評定値とする。なお、感情強度の評定値の算出方法は上記以外であってもかまわない。

また、上記表情画像が動画像であれば、ユーザとしての自閉性障害者に対して、表情が示す感情を理解させるために好適に用いることができる。また、動画像を用いることで、日常場面で遭遇する機会が多いより微弱な表情を理解させるための学習を行うことができる。

また、例えば、図２（ａ）に示す表情画像には「ニコニコ」、図２（ｂ）に示す表情画像には「アハハハハ」、例えば、図２（ｃ）に示す表情画像には「シクシク」、例えば、図２（ｄ）に示す表情画像には「プンプン」等といったように、それぞれの表情画像に対応した、音声が記憶されている。このように、音声は、人間の発する音声そのものであってもよいが、擬態語等であってもよい。

また、この記憶部３には、選択肢情報や、受付けたユーザ判断の正誤判定のための情報、等も記憶されている。また、学習支援装置１の各種構成の動作を制御する制御プログラム、ＯＳプログラム、およびその他各種プログラム等が記憶されている。

表示部４は表示画面等を含み、上記表情画像を初め画像データ等を表示する。なお、表示部４における表示画面は液晶パネルであってもよいがこれに限るものではない。画像データ等を表示可能であればよく、例えば、有機ＥＬ（Electro Luminescence）パネルや、プラズマディスプレイパネル（Plasma Display Panel）、ＣＲＴ（Cathode Ray Tube）などを用いてもよい。

音声出力部５はスピーカ等からなり、上記表情画像に対応付けられた音声を初め音声データを出力する。

操作部６は、ユーザからの操作を受付けるためのインターフェイスである。操作部６では、操作キー等がユーザ操作に供されるように設けられている。ユーザは、この操作部６を用いることにより、学習支援装置１に対して入力を行う。例えば、表示部４に表示された表情画像が示す表情についてのユーザ判断を入力する。また、入力を行うことで、学習支援装置１に対して、各種指示を行うことができるようになっている。なお、操作部６を表示部４における表示画面と兼用してもよい。つまり、例えば、操作部６と表示部４の表示画面とが一体型のタッチパネルが設けられていてもよい。この場合、表示画面にユーザによる入力が可能な項目を表示し、ユーザが、所望する項目が表示されている表示領域に触れることにより、学習支援装置１に対して入力できるようになる。あるいは、操作部６として、スティック状の操作装置などを設けてもよい。

（学習支援装置における処理の流れ）
学習支援装置１の制御部２が行う処理の流れについて図３に示すフローチャートを用いて説明する。

初めに、ユーザが学習支援装置１を起動させると、表示部４において、図４に示すような、表示画像が示す表情についてユーザに解答させるための、ステージが始まることを示す開始画面を表示する。これは単なる例示である。ここで、ステージとは、表情が示す感情を理解するための学習における段階のことであり、学習支援装置１は、ステージが遂行されるように、処理を行うものとする。

開始画面における「スタート」がユーザにより選択されると、表情画像を記憶部３から読み出し表示部４にて表示する。加えて選択肢情報を表示する（Ｓ１）。このとき、音声は出力しない。このときの表示部４における表示画面は、例えば、図５のように表情画像が中央に表示され、選択肢情報が表情画像の下に、ユーザが選択可能に、表示されるようになっていてもよい。ここでは、選択肢情報として、表情画像が示す感情について、「うれしい」、「かなしい」、「おこった」、「おどろいた」、「ふつう」の中から、何れかをユーザが選択できるような情報を表示する。

ここで、ユーザによる見落しを避けるために、再度、表情画像の表示を行ってもよい。再度表示することで、障害のあるユーザに時々見受けられる不注意傾向によって、１回だけでは表情画像を見逃してしまう可能性を減らすことができる。また、ユーザは、１回目の表示で思いついた感情を、２回目の表示を見て訂正したり、解答に確信を得たりすることもできる。これらのことにより、ユーザの学習の動機づけを高めることもできる。また、ユーザに安心感を与えることができるので、学習がより継続されやすくなる。

ユーザが操作部６を介して感情を選択すると、制御部２は、選択された感情を、ユーザ判断（ユーザ解答）として受付ける（Ｓ２）。そして、ユーザ判断が正解か否かを判定する（Ｓ３）。正解と判定すると（Ｓ３においてＹＥＳ）、表示部４にユーザが選択した感情（ユーザ判断）が正解であることをユーザに示す画像を表示する。本実施の形態では、例えば、図６に示すように、表示部４に丸を表示する。このとき、「ピンポン」といったチャイム音を音声出力部から出力してもよい。

ユーザ解答が誤答であると判定すると（Ｓ３においてＮＯ）、誤答が所定回数になったか否かを判断する（Ｓ５）。誤答が所定回数になったと判断すると、Ｓ１で表示した表情画像が示す感情についての正解を表示する。

誤答が所定回数になっていないと判断すると、表示部４に、例えば、図７に示すように、「残念、もう一回！」といったように、再度、表情画像の示す感情について解答するようにユーザを促す再試行画面を表示する（Ｓ８）。この再試行画面におけるスタートボタンがユーザにより操作部６を介して選択されると、Ｓ１で表示した画像を再度表示し、選択肢情報も表示する。これらの表示と共に、この表情画像に対応付けられた音声を記憶部３から読み出し、音声出力部５にて出力する。そして、Ｓ２から繰り返す。

ここでは、同じ表情画像について誤答が所定回数になる（ユーザが間違い続ける）と、正解を表示するようにした。しかし、誤答の回数を数えず、正解が選択されるまで、Ｓ８に進み、表情画像の表示を繰り返してもよい。また、正解の表示は、どのような表示であってもかまわなく、正解の感情が文字情報（例えば、「うれしい」）として表示されても、音声情報（例えば、「うれしい顔だね」）として出力されてもよい。また、文字情報と音声情報が両方出力されてもよい。また、正解の感情の文字情報や音声情報が、表情画像と共に出力されてもよい。

Ｓ４において、正解であることをユーザに示す画像を表示すると、Ｓ１で表示した画像が現在進行しているステージにおける最後に表示する最後の表情画像であるか否かを判断する（Ｓ７）。最後の表情画像ではないと判断すると（Ｓ７においてＮＯ）、例えば、図８または図９に示すような、別の表情画像について、Ｓ１から繰り返される。このとき、表示部４には、スタートボタンを表示しておき、ユーザによりスタートボタンが選択されると、次の表情画面について、Ｓ１から繰り返すものとする。

ここで、１つの表情画像について、ユーザが正解を解答するか、最終的に正解が表示されるまでの試行、つまり、一つの表情画像が表示されるところから、次の表示画像が表示されるまでを、１試行と呼ぶことにする。１つのステージにおいて、複数の試行が行われる。各試行において、表情画像を合成するのに用いるモデルは、男性であっても、女性であってもよい。試行毎にモデルを変えてもよい。

最後の表情画像であると判断すると（Ｓ７においてＹＥＳ）、ステージが終了したことを示す、例えば、図１０に示すような、終了画面が表示される。またこのとき、拍手音等を音声出力部５から出力してもよい。このように、拍手音等の賞賛を出力することで、ユーザの学習意欲を継続させることができる。

ここでは、各表情画像の試行（表示）の順序を予め決めておき、最後の表情画像の試行が終了すると、ステージが終了するものとする。しかし、表情画像をランダムに試行するようになっており、所定回数、表情画像を表示したら、ステージを終了するようになっていてもよい。表示の順序は限定されないが、同一の感情のカテゴリーのもの（例えば、満面怒り、目・眉部怒り、満面開口怒りは、同一の感情のカテゴリーである）が続かないように表示するのが好ましい。どのような感情を示す表情画像であってもよいし、それらが、どのような順序で表示されてよい。

本実施形態では、ユーザ判断が誤りであると判定すると、表情画像に対応した音声を出力しているが、ユーザ判断の正誤を判定した後、表情画像の表示と共に常に音声を出力してもよい。このように、常に音声を出力する場合、ユーザ判断が誤りであると判定した場合と、ユーザ判断が正しいと判定した場合とで、出力する音声は、同じであってもよいし、異なっていてもよい。

以上のように、学習支援装置１における、１つのステージを遂行する処理が終了するものとする。

なお、上記フローチャートにおいて、Ｓ８とＳ９の間に、図示しない、「残念、もう一回！」の表示が所定回数になったかどうかの判断の処理（Ｓ１０）を挿入してもよい。表示が、所定回数になっていない場合（Ｓ１０においてＮＯ）、そのままＳ１に戻って音声なしの画像および選択肢表示を行う。表示が所定回数である場合（Ｓ１０においてＹＥＳ）、Ｓ９に進み、音声を付加した画像等を提示するようになっていてもよい。このようになっていることで、表情理解学習において、自分で“考えて”正答に至る、すなわち、“対象により注意を向けて、手がかりを探す”という主体的能動的な判断過程や、その結果として自分でできたという達成感などを大切にすることができる。なお、この場合の、例えば、上記所定回数は２回が妥当であると考えられるが、これに限定されることはない。

学習支援装置１を、例えば、自閉症障害者の学習に用いる際に、学習支援装置１は、次のような６つのステージを遂行するようになっていてもよい。各ステージは、上記フローチャートで説明したステージと同じように、学習支援装置１により、遂行されるものとする。

例えば、ステージ１では、練習用のステージとして、満面開口喜び、口部喜び、満面悲しみ、満面怒りの表情画像が、動画像と静止画像とでそれぞれ１つづつ、中性画像が２つ、の計１０試行とする。ステージ１は、学習の進め方を理解させるために設けるものとし、以降のステージと区別する意味で男性モデルを用いた表情画像を用いるものとする。ステージ２から女性モデルを用いた表情画像を用いるものとする。ステージ２では、ステージ１と同様の表情と、試行数とする。

なお、学習で一度に多種類の表情を提示することは、混乱を招くことが予想される。そのため、学習しやすい表情を最初に確実に理解させるために、ステージ１および２では、これまでの研究などで、正答率が高かった、満面開口喜び、口部喜び、満面悲しみ、満面怒りの表情画像に中性画像を加えた表情画像群を用いる。

ステージ３では、ステージ２の表情画像に、正答率が次に高いグループに属する怒りの表情画像（目・眉部怒り、満面開口怒り）を加える。また、試行数が増えないように中性画像を除く。つまり、ステージ３では、満面開口喜び、口部喜び、満面悲しみ、満面怒り、目・眉部怒り、満面開口怒りの表情画像が、動画像と静止画像とでそれぞれ１つづつの、計１２試行とする。

ステージ４では、ステージ３の表情画像に、正答率が低い目・眉部驚きと、満面驚きの表情画像を加える。そして、試行数が増えすぎないように、怒りの表情画像を除く。つまり、ステージ４では、満面開口喜び、口部喜び、満面悲しみ、満面怒り、満面驚き、目・眉部驚きの各動画像と静止画像の計１２試行とする。

ステージ５および６は、総復習のステージと位置づけ、日常場面により近いと考えられる動画像の表情画像のみからなるものとする。なお、中性画像は静止画像とする。ステージ５および６は、それぞれ、既出の全表情画像が１回ずつの９試行とする。既に学習しているとは言え、多種の表情が一度に出てくることを考慮して、ステージ５は比較的分かりやすいと予想される、感情強度が強い動画像の表情画像を用いるものとする。ステージ６はより難しいと推測される感情強度の、弱い動画像の表情画像を用いるものとする。ここで、感情強度とは、上記で説明したように、人物の顔に表出された表情を見たときに受ける印象の強さ度合いのことである。

なお、ステージ１〜４において、感情強度の評定値をできるだけ揃えた動画像と静止画像とを混在させていると、ユーザにおける、動画像と静止画像の理解しやすさを比較することができる。

各ステージにおいて、表情画像は、同一の感情のカテゴリー（例えば、満面怒り、目・眉部怒り、満面開口怒りは、同一の感情のカテゴリーである）が続かないように配列するのが好ましい。

また、各ステージにおいて、表情画像を合成するのに用いるモデルは、男性であっても、女性であってもよい。ステージごとにモデルを変えてもよい。

ステージ１は導入で、全試行が終われば終了する。ステージ２以降は、各ステージ、例えば、３通りの表情画像の配列順序の系列を作成するのがよい。それらを、例えば、ステージ２では、ステージ２−１、２−２、２−３と命名するものとする。同一ステージの試行が繰り返されると、ユーザが、表情画像の表出順序を覚えてしまい学習効果が下がる。これを防ぐために、ステージ２以降で、３通りの表情画像の配列順序の系列を作成している。しかし、３通り以外でもよい。ステージ２以降は、例えば、１度で正答した試行が全試行の８割以上のステージが２回連続すると、次のステージに進むものとする。例えば、ステージ２−１で、１回で正答した試行が８割に満たない場合には、ステージ２−２を行い、それでも基準に達しない場合には、２−３、２−１、２−２、２−３、２−１・・・など、上記の基準を満たすまで、ステージ２が繰り返される。ただし、この基準は任意に設定したものであり、他の基準が用いられてもよい。

ここで、例えば、ユーザが、ステージ２−３まで実施しても基準をクリアできずに、２回目の２−１からのサイクルに進んでいく場合、両者を別の日に実施する場合には、“この前の復習なので、もう一回２−１から行う”旨を表示部４において表示したり音声出力部にて出力したりすると、ユーザは比較的納得しやすいと思われる。しかし、例えば、同じ日に続けて２−１以降を繰り返す場合には、最初の２−１の終了時に、例えば「ステージ２−１ おわり」の表示が出ているのに、再度２−１が表示されると、ユーザは「おわったのに、なぜ？」という疑問を抱いたまま学習を行う可能性も推測される。また、ユーザの学習意欲の低下にも影響する可能性がある。そのため、例えば、前述の「ステージ２−１ おわり」の表示から「おわり」を除き、目で見て分かりやすい達成度を示す表示画面を表示部４に表示してもよい。達成度を示す表示画面は、例えば、点数またはグラフ、文字などを用いてもよい、さらに音声出力も付加するなど、ユーザの理解度に応じて選択できるようになっていてもよい。また、例えば、“８０点が２回続けば、次のステージに進めるよ”などと表示出力や音声出力してもよく、ユーザもステージをクリアするための見通しが持てて、より目標に向けて努力できると考えられる。

本実施形態では、練習、ポピュラーな表情、ポピュラー表情＋怒りのバリエーション、ポピュラー表情＋驚き、総復習、やや難しい総復習の６つのステージに分けている。６つのステージとしているのは、学習しやすい表情を段階的に配列しているからである。しかし、例えば恐れや嫌悪などの感情を示す表情画像を加え、段階が増えてもかまわない。また、ここでは、練習段階を設けているが、設けなくてもかまわない。６つのステージ以外であってもかまわない。ただし、否定的な表情（怒り、悲しみ、嫌悪など）と、肯定的な表情（喜び）および中性的な表情（驚きと中性）間の分量のバランスを、ある程度考慮するのが好ましい。これは、特に、怒りの表情が多過ぎると、ユーザ自身の気分や感情に影響してしまう可能性があるからである。

また、表情画像の表示について、複数のステージを用いるのは、次のような理由もある。何をどのくらい行って、どうなったら終わるのか、終わったら次は何があるのか等の情報を分かりやすく伝えないと、見通しが持ちにくく、不安が高じやすかったり、その結果集中が続きにくくなったり等するという自閉症の心理特性を考慮しているからである。一度に多種類の表情を提示することは、自閉症などのユーザの混乱を招いたり、間違いやすい表情同士の混同が続いたりすることがある。しかし、各ステージに分けることで、全体として学習がよりスムースに行える。

さらに、各ステージの試行数を１０前後とすることで、例えば、今何番までやった、ステージ６まで行けば終わり、今日はステージ３が終わった、次のステージもやってみよう、などと見通しや学習意欲をユーザに持たせやすくすることができる。指導者にとっても、今日はこのステージから始めよう、このステージで終わろう、次回はどのステージから始めよう等と考えやすく、ユーザに学習を行わせる上で分かりやすい。

もちろん、複数のステージにわけなくてもよい。

以上に説明したように学習支援装置１は、表情が示す感情についての判断をユーザが間違えると、表情画像の表示と共に当該表情画像に対応付けられた音声を出力する。よって、表情が示す感情に対するユーザ理解を助けることができる。ユーザに、表情を目と耳とで記憶させることができる。特に、間違えた後に、音声が出力されることで、より深く表情が示す感情を記憶させることができる。ユーザにとっては、目と共に、耳からも情報が入ってくるので、表情画像が示す感情についてより理解が深まる。よって、上記学習支援装置１によると、表情画像が示す感情をユーザにより的確に理解させることができる。そのため、学習支援装置１を用いることで、ユーザは、実際の人間相手の表情を読み取るようになることが、早くできるようになる。また、日常場面での表情理解や表情表出に役立ち、音声がなくても、表情を読み取るようになることができる。

また、学習支援装置１を用いた学習を、例えば、ユーザである自閉性障害者に行わせた結果の集計を取ることで、学習が自閉性障害者の表情理解や表情表出に及ぼす効果を検討することができる。また、日常場面での自閉性障害者の表情表出・表情理解等の特徴を把握し、今後の教育・療育実践への方針立てに役立てることができる。

なお、学習支援装置１において、ユーザの判断が間違ったらいつでも音声を出力するのではなく、ユーザ毎の学習進度に応じて、音声を出力するか否かを設定することができるようになっていてもよい。この設定は、外部の指導者から、例えば通信により、行われるようになっていてもよい。また、表示部４には、学習の進み具合、例えば正解率、を表示するようにしてもよい。例えば、ステージ終了ごとに、表情別のユーザが誤った判断を下した誤反応の累積記録が表示部４に示され、そのデータに基づいて、指導者側で、変更する表情を指定し、任意に学習支援装置１の設定を変更できるようにしてもよい。変更の例としては、ユーザが誤り易い表情画像には、初めから音声が付くようにしたり、音声と共に吹き出しが付くようにしたり、より感情が強く表れている感情強度の強い表情画像にしたり、ピーク画像の持続時間を長くしたり、ユーザが誤りやすい表情画像を削除したりすることが挙げられるが、これらに限定はされない。

指導者側で学習支援装置１の設定を変更できるようになっていることで、それまでの学習経過に基づいて、もし学習が難しい場合には、ユーザ（学習者）にとって無理がなく、成功経験が持てるように学習内容をその場で変更することで、失敗経験が続くことからの学習意欲の低下を回避することができる。学習継続が困難であっても、一定の学習成果を挙げることができたり、次回の学習に向けて個々の学習者に応じて柔軟に変更できることで、より短期間で学習を終了することができる。

なお、学習支援装置１を、動画を可能な限り用いた感情理解のためのプログラム・パッケージの開発に利用してもよい。このプログラムの内容としては、最初に表情学習のニーズを評価して、必要な場合には表情理解学習を行い、それを終えた対象者には、音声、身振り、感情を喚起する状況の理解等の諸課題を行うことが考えられる。なお、上記非特許文献２においても、コンピュータによる他者感情の理解に関する学習プログラムを作成しているが、本発明は、実際場面により近似させるために、できるだけ実写または合成した動画を用いる点や、学習のニーズや効果の判定のために、各課題の前後で実施するテストも備える点などが異なっている。

また、学習支援装置１において、テスト課題を表示出力させるようにし、表情理解学習のニーズの評価、表情理解の特徴の把握、学習効果の判定などを行ってもよい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

（補足）
上記学習支援装置１の制御部２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、上記学習支援装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記学習支援装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記学習支援装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、上記学習支援装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エクストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、教育や指導を行うための装置、自主学習を行うための装置に利用することができる。例えば、障害児の教育分野に適用することができ、学校や療育施設、自宅などに設置することができる学習支援装置、学習支援装置の制御方法、学習支援装置の制御プログラム、及びコンピュータ読み取り可能な記録媒体に利用することができる。

また、例えば就労援助の一環として、表情理解学習の必要性があると判断される場合などには、社会福祉施設等で、本発明を利用することができる。このように、本発明を福祉の分野等へ適用することもできる。

本発明の実施形態を示すものであり、学習支援装置の要部構成を示すブロック図である。 （ａ）〜（ｉ）は、それぞれ、表情画像における表情のピークの画像である。 学習支援装置における処理の流れを表すフローチャートである。 ステージが始まることを示す画面の一例を示す図である。 表情画像と選択肢とが表示された画面の一例を示す図である。 ユーザ判断が正解であったときに表示される画面の一例を示す図である。 ユーザに再度試行を行うことを促すための画面の一例を示す図である。 表情画像と選択肢とが表示された画面であり、図５に示す画面とは別の画面の一例を示す図である。 表情画像と選択肢とが表示された画面であり、図５及び図８に示す画面とは別の画面の一例を示す図である。 ステージが終了したことを示す画面の一例を示す図である。

符号の説明

１ 学習支援装置
２ 制御部
３ 記憶部
４ 表示部
５ 音声出力部
６ 操作部

Claims (9)

1. 表示部と、
   人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び、当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データ、を記憶している記憶部と、
   ユーザ入力を受け付ける操作部と、
   上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する制御部と、を備えた学習支援装置において、
   さらに、音声出力部を備え、
   上記記憶部は、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方、を記憶しており、
   上記制御部は、上記判定前には、上記表情画像に対応付けられた音情報を音声出力部にて出力すること無しに上記表情画像を上記表示部に表示し、上記ユーザ判断が誤りであると判定すると、上記表情画像の表示と共に、当該表情画像に対応付けられた音情報を上記記憶部から読み出して上記音声出力部にて出力し、
   上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでいることを特徴とする学習支援装置。
2. 表示部と、
   人物の表情を表す表情画像と、当該表情画像に対応付けられた音情報と、当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データと、を記憶している記憶部と、
   ユーザ入力を受け付ける操作部と、
   上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する制御部と、を備えた学習支援装置において、
   さらに、音声出力部を備え、
   上記記憶部は、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方、を記憶しており、
   上記制御部は、上記判定前には、上記表情画像に対応付けられた音情報を音声出力部にて出力すること無しに上記表情画像を上記表示部に表示し、上記判定後には、上記表情画像の表示と共に、当該表情画像に対応付けられた音情報を上記音声出力部にて出力し、
   上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでいることを特徴とする学習支援装置。
3. 上記制御部は、上記表示部にて上記表情画像を表示すると共に、上記表示部に当該表情画像が示す内容をユーザに選択させるための選択肢情報を表示することを特徴とする請求項１または２に記載の学習支援装置。
4. 上記制御部は、上記表情画像に対応付けられた音情報を音声出力部にて出力すること無しに上記表情画像を上記表示部に表示する際、上記表示部にて上記表情画像を再度表示することを特徴とする請求項１から３の何れか１項に記載の学習支援装置。
5. 表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶しており、上記制御部が、上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップを含む、学習支援装置での出力制御方法において、
   上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
   上記制御部が、上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
   上記制御部が、上記判定ステップにて、ユーザ判断が誤りであると判定すると、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を含んでいることを特徴とする学習支援装置での出力制御方法。
6. 表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶しており、上記制御部が、上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップを含む学習支援装置での出力制御方法において、
   上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
   上記制御部が、上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
   上記制御部が、上記判定ステップ後に、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を含んでいることを特徴とする学習支援装置での出力制御方法。
7. 表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶している、学習支援装置の制御プログラムにおいて、
   上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
   上記制御部に、
   上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップと、
   上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
   上記判定ステップにて、ユーザ判断が誤りであると判定すると、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を実行させるための制御プログラム。
8. 表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶している、学習支援装置の制御プログラムにおいて、
   上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
   上記制御部に、
   上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップと、
   上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
   上記判定ステップ後に、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を実行させるための制御プログラム。
9. 請求項７または８に記載の制御プログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images