JP3224675U - 瞳孔反応、顔追跡、及び感情検出を使用した対話型・適応型学習、神経認知障害診断、並びに非追随性検出のシステム - Google Patents

Abstract

【課題】被験者の推定された感情及び認知状態をより正確に判断できる、薬物乱用、飲酒、及び法執行機関の環境における不正直な証言等の非追随性を検出するためのシステムを提供する。【解決手段】システムは、追随性テストセッション中に、被験者から、瞳孔反応、瞬き、眼球運動、注視点、表情、及び頭部姿勢を収集する光学センサを含む。当該システムは、神経認知障害の診断にも適用可能である。診断テスト中に収集された官能データに基づく被験者の感情及び認知状態の推定は、追随性又は認知テストの過程を推進し、テスト資料を適応的に変更し、そして被験者の感情及び認知状態に影響を与えるためにシステムへとフィードバックされる。【選択図】図１

Description

（関連出願の相互参照）
本出願は、参照によりその開示全体を本明細書中に援用する２０１７年１２月５日付けで出願された米国特許出願第６２／５９４，５５７号、２０１８年１月２７日付けで出願された米国特許出願第６２／６２２，８８８号、２０１８年２月７日付けで出願された米国特許出願第６２／６２７，７３４号、２０１８年３月２１日付けで出願された米国特許出願第６２／６４６，３６５号、２０１８年８月９日付けで出願された米国特許出願第６２／７１６，９３５号、及び２０１８年１０月４日付けで出願された米国特許出願第６２／７４１，５２７号の優先権を請求する。

本考案は、一般に、対話型・適応型学習、神経認知障害診断、並びに電子商取引及び小売業のための方法とシステムに関する。特に、本考案は、上述した方法とびシステムにおける瞳孔反応検出顔追跡と感情検出等の技術や応用に関する。

近年の教育では、パーソナライズされたカリキュラムや、教育者と学生の間における個人的な交流と対話が重要視されている。一方、遠隔教育への要求の増加、熟練した教育者の不足、そしてコストの増大により、教育業界はソリューションのために情報技術に目を向けることが強く求められている。

また、最近多くの注目を集めている自閉症スペクトラムや注意欠陥多動性障害（ＡＤＨＤ）等の心理的障害の診断と理解が教育サービスの提供の一環である。教育者は、これらの障害を持つ学生を発見することが期待されているが、これらの障害を診断することが困難であり、専門家によるプロフェッショナルの判断が必要である。

前述の課題に対処するためには、学生の感情状態及び認知状態をモデル化し、教育者によるパーソナライズされた教育の提供を支援し、学生のメンタルヘルスを監視し、教育者が教育や訓練に集中できるように管理業務を最小限に抑える、インテリジェントな学習及び訓練システムがあれば望ましい。

また、心理的障害の早期診断に関しては、ほとんどの先進国の人口が高齢化しているため、医療及び高齢者介護システムは、リソースや介護士がますます限られてしまう。医療及び高齢者介護の見過ごしがちの分野の１つは、神経認知障害の診断、予防、及び治療である。各種の神経認知障害の早期かつ正確な診断が効果的な治療に繋がる可能性があるが、そこで、学術及び企業の訓練環境と同様に、有資格の専門家へのアクセシビリティが課題となる。同様に、被験者の感情状態及び認知状態を監視し、正確な診断を行うために収集されたデータを処理したり、分析したりすることによって神経認知障害を診断するシステムアプローチは、応えられていないニーズである。

更に、近年では、法執行機関は、日々にますます複雑化する場面に直面しているにもかかわらず、即刻の判決を下し、迅速で適切かつ正当な行動をとることが公衆に期待されている。リアルタイムで体系的かつ正確に被験者の感情及び認知的状態を推定できることは、容疑者による薬物乱用、飲酒運転（ＤＵＩ）、頼りない目撃者、及び不正直な証言等を検出する場合に役立つ。

本考案は、瞳孔反応、眼球運動、ジェスチャー、体の動き、感情、及びテスト結果や学習の進捗の定量的測定を含む学生被験者の生理学的反応の組み合わせを用いて、対話型・適応型学習及び訓練プログラムを提供及び管理する方法とシステムを提供する。また、本考案の目的の１つは、職場の業績監視又は鑑定評価に適応可能な斯かる方法及びシステムを提供することにある。本考案の更に別の目的は、教育及び訓練の環境、一般的な医療サービス環境、並びに高齢者介護環境において神経認知障害診断の提供に適用可能な斯かる方法及びシステムを提供することにある。本考案の更に別の目的は、容疑者における薬物乱用、ＤＵＩ、頼りない目撃者、及び不正直な証言等の非追随性の検出が被験者の、瞳孔反応、眼球運動、ジェスチャー、体の動き、感情、及びテスト結果の定量的測定を含む生理学的反応の組み合わせに依存する法執行機関の状況に適応可能な斯かる方法及びシステムを提供することにある。

本考案の一態様によれば、システムは、被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、頭部姿勢、感情、又は、時間枠中に触覚感知装置に加わる触覚圧力、被験者の筆跡、口調等の他の生理学的反応を追跡したり、画像又は映像を取得したりし、分析することにより、被験者の感情状態及び認知状態を推定する。
画像又は映像の取得は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、及び／又はスマートフォンに内蔵されているカメラ又は周辺のカメラ、及び／又は他の光学検知器によって行われてもよい。また、被験者の目、顔、体の動きを追跡したり、画像又は映像を取得したりするために、独立したカメラや赤外線カメラを用いることができる。取得された画像及び／又は映像はその後、マシンビジョン手法によって分析される。例えば、失速した眼球運動、焦点のずれた注視点、及び頭が傾いている姿勢は、テスト質問に提示されている主題に対する興味及び注意の欠如を示す兆候である。別の例としては、検出された瞳孔拡張は、不正直、不確実性、不安、闘争・逃走感情を示す可能性もある。当技術分野では、瞳孔反応が認知活動に対して生理学的相関性を有することが知られている。更に別の例としては、検出される強い触覚圧力は、学習又は訓練セッションで提示されている主題に対する不安、自信の欠如、及び／又は挫折を示す兆候である。

一実施形態によれば、被験者に提示された学習教材に対する被験者の理解を判定するために、選択された成績データと行動データも被験者から収集される。これらの選択された成績データ及び行動データは、回答の正確性、成功及び失敗の試行回数、与えられた選択肢の切り替え回数、特定の種類、主題、又は／及び難易度のテスト質問に対する回答速度、並びに解決に向けた作業ステップを含むが、これに限定されない。例えば、テスト質問に答える際に、被験者が与えられた選択肢を過度に切り替えたりすることや遅い回答速度は、テスト質問の回答に対する疑問や躊躇を示す。テスト問題の解決に向けた被験者の作業ステップは、モデルソリューションとの比較のために取得され、これを用いることで、被験者の資料に対する理解に関する洞察を得ることができる。

感情状態及び認知状態の推定と、成績データとは、主に、学習又は訓練プログラムで扱われる教材に対する被験者の理解及び関心を測定するために用いられる。学習又は訓練プログラムにおける被験者の進捗のスナップショット評価及び教材に関する被験者のテスト結果を予測するために１つの推定が用いられるが、評価履歴及び学習における被験者の進捗の傾向や特性（例えば、長所と短所、学習パターンと習慣等）を提供するためには複数の推定が用いられる。更に、学習における被験者の進捗の傾向や特性と、被験者の推定された感情状態及び認識状態とは、主題教材の選択、提供方法、及び管理に関する学習又は訓練プログラムのモデリングに用いられる。

本考案の別の態様によれば、対話・適応型学習及び訓練プログラムの提供及び管理を行うための方法とシステムは、講義資料と提供メカニズムデータとをドメイン知識として論理的に構造化し、当該データをドメイン知識レポジトリに格納する。ドメイン知識リポジトリは、１つ又は複数の概念オブジェクトと、１つ又は複数の課題オブジェクトとで構成されている。それぞれの概念オブジェクトは、１つ又は複数の知識及びスキルアイテムを含む。知識及びスキルアイテムは、難易度の順に並べられ、２つ以上の知識及びスキルアイテムを連結させることでカリキュラムを生成することができる。本考案が学校に適用される場合、本考案で定義されるカリキュラムは、学校カリキュラムの同等物であり、また、学校カリキュラムのレッスンと、知識及びスキルアイテムとの間には、１対１の関係が存在する。概念オブジェクトを連結させることで、課題選択手順に用いるための論理ツリーデータ構造を生成することができる。

それぞれの課題オブジェクトは、様々な講義コンテンツ資料を有し、カリキュラムにおける１つ又は複数の概念オブジェクトに関連付けられている。一実施形態によれば、課題オブジェクトは、「基本課題」、「対話型課題」、又は「基礎となる認知モデル若しくはエキスパートモデルを有する課題」として分類することができる。それぞれの基本課題は、被験者が全ての資料を読んだか否かを評価するために設計された１つ又は複数の講義メモ、イラスト、テスト問題・回答、及びテスト質問・回答が埋め込まれる指示動画から構成される。それぞれの対話型課題は、問題に対する解決策へと被験者を指導するように設計された１つ又は複数のステップから構成される問題解決演習を含む。それぞれのステップは、回答、よくある誤解、そしてヒントを提供する。これらのステップは、講義の提供フローに従うように設計された順序となっている。基礎となる認知又はエキスパートのモデルを有するそれぞれの課題は、１つ又は複数の問題解決演習を含み、これらの問題解決演習の各々は、学生被験者の学習の進捗に応じて提供される問題解決実習ステップをシミュレートするための１つ又は複数の発見的規則又は制約を含む。これにより、問題解決演習で提示された問題セットにおける点又は空間に基づいて、それぞれの学生被験者に合わせた足場（Ｓｃａｆｆｏｌｄｉｎｇ）（例えば、ガイダンスやヒントの提供等）を作成することができる。

本考案の別の態様によれば、対話型・適応型学習及び訓練プログラムの提供及び管理を行うための方法とシステムは、ドメイン知識の２つの動作モデル、すなわち学生モデル及び訓練モデルの上に論理的に構築される。学生モデルでは、システムは学生被験者の学習セッションにおけるドメイン知識のカリキュラムに関連付けられた１つ又は複数の課題オブジェクトのそれぞれを実行する。課題オブジェクトの実行中に、システムは、学生被験者の成績を測定し、課題の質問の成功・失敗の試行回数、要求されたヒントの数、及び課題を完了するための時間等の、それぞれの課題における学生被験者の成績メトリックを取得する。取得された成績メトリックは、難易度等の課題の情報と共に、課題オブジェクトに関連する各概念オブジェクトのロジスティクス回帰数学モデルに供給される。これは、学生被験者の「知識トレース」とも呼ばれ、学生被験者が概念オブジェクトにおける内容を理解する確率の計算である。学生モデルの利点は、課題オブジェクトの実行が学生被験者の変化する能力に応じて適応できることを含む。学生モデルの非限定的な例として、システムは、学生によって達成された学習量を推定し、次の課題に対してどれだけの学習利得が期待できるかを推定し、次のテストにおける学生被験者の成績を予測し、提供することができる。これらのデータを訓練モデルに用いることで、仮説検定によるシステムの更なる改善と、教育者／トレーナーのクオリティ及び講義資料のクオリティの評価とが可能となる。

訓練モデルでは、システムは、学習又は訓練の戦略を決定し、学生被験者及び教師／トレーナーにフィードバックを提供するために、学生モデル及びドメイン知識による課題オブジェクトの実行から収集されたデータを受け取る。訓練モデルでは、システムは主に以下のことを実行する責任を有する。
１．最初の課題のエントリポイントを定義すること。当初、知識及びスキルアイテムの全ての指標はデフォルトに設定されている。これは、学生被験者又は教師・トレーナーが記入した申込書のデータ、又は教師・トレーナーによる学生被験者の初期評価から推測される。実行する一連の課題を選択する。次の課題を選択するには、システムの訓練モジュールは、概念オブジェクトの論理ツリーデータ構造を検索し、最も低いスキルレベルを有する知識及びスキルを特定し、質問マトリックスを用いて学生被験者の特性（例えば、長所と短所、学習パターンと習慣等）に一致する、対応の課題アイテムを検索する。選択されると、必要な講義コンテンツ資料がドメイン知識から取得され、システムの通信モジュールのユーザインターフェースで提供されるために、システムの通信モジュールに送信される。
２．フィードバックを提供すること。学生被験者が実行中の課題オブジェクトに取り組んでいる間、システム訓練モジュールは、それぞれの課題ステップに費やされた時間を監視する。制限を超えると、学生被験者の現在の感情状態に応じてフィードバックが提供される。これは、例えば、一般的なリストから選択された励み、共感的、又は挑戦的なメッセージであってもよく、ドメイン知識からの専用のヒントであってもよい。
３．システムの教育エージェントを駆動すること。システムの訓練モジュールは、学生被験者の現在の感情状態を教育エージェントの利用可能な状態と照らし合わせる。感情状態の情報を提供することに加えて、テキストメッセージは、教育エージェントをユーザインターフェース上にレンダリングするためにシステムの通信モジュールに送信されてもよい。
４．概念が習得されたかを判定すること。上述したように、学生モデルでは、システムは、学生被験者が各概念の資料を理解する確率を推定する。所定の閾値（例えば９５％）に基づいて、教師／トレーナーは、概念が習得されたことを決定することができる。
５．精神障害に関連していると認識されている学生被験者の行動をフラグする。例えば、学生モデルによるシステムの実行が、過去の既知の状況と比較してセンサーデータの異常を示し、学習の進捗が著しく遅い場合、訓練モデルによるシステムは教師／トレーナーに警告通知を発する。また、これでは、注意欠陥多動性障害（ＡＤＨＤ）及び自閉症スペクトラム障害（ＡＳＤ）のような障害の一般的な兆候に関するより詳細な情報を提供することができる。

本考案はまた、アルツハイマー型認知症及び自閉症ＡＤＨＤ等の認知障害の医学的評価にも適用可能である。一実施形態によれば、患者被験者に提供される認知テストを実施するための神経認知障害診断システムが提供される。本システムは、認知テスト中に、患者被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、頭部姿勢、声、発言の明瞭さ、反応時間、及び／又はタッチ反応について収集して分析した官能データを用いて、患者被験者の感情状態及び認知状態を監視し、推定する。これは、上述した対話型・適応型の学習及び訓練プログラムを提供及び管理するシステムと同様である。

認知テストは、患者被験者の存在下で、電子的手段（例えば、ネットワーク接続されたパーソナルコンピュータ、タブレットコンピュータ、及びスマートフォン）を介して遠隔的に、又は特別に構成されたコンピューティングデバイスを介して自動的に行われてもよい。認知テストの材料は、過去の事象及び最近の事象に関する患者被験者の知識に基づく一連のテキスト、絵、及び／又は動画での質問であってもよく、これにより、患者被験者のテスト成績データの一部として、記憶の想起時間と正確性を通して、患者被験者の長期記憶と短期記憶の状態をそれぞれ評価することができる。認知テスト中の患者被験者の認知テスト成績データと共に、患者被験者の感情状態及び認知状態の推定は、閉ループフィードバックシステムとして、認知テストの過程を推進し、認知テストの資料を適応的に変更し、そして患者被験者の感情及び認知状態に影響を与えるために、システムへとフィードバックされる。

神経認知障害診断システムは、ヒューマンエラーで左右されにくいリアルタイム診断を提供する。患者被験者の感情状態及び認知状態の推定もまた、患者被験者の脳活動に関するＭＲＩデータと合わせてさらなる研究において用いられる。

神経認知障害診断システムの目的は、このシステムを用いた認知テストの定期的な実施を通して、特に老人ホーム等の老人介護施設の高齢者における認知障害の早期発見を可能にすることにある。もう１つの目的は、治療の追跡を可能にし、治療の過程における調整、投薬、及び医師の診察頻度を促進することにある。

本考案の実施形態は、容疑者における薬物乱用、飲酒運転、頼りない目撃者、及び不正直な証言等のリアルタイム検出を含む、法執行機関の用途にも適用可能である。薬物乱用又は飲酒運転の検出は、一連のテキスト、絵、及び／又は動画に基づくコンテキスト質問、光刺激（被験者の目に対する）、及び／又は身体的課題遂行（例えば手書き、文章の読み取り、指示された手のジェスチャーの繰り返し、及び指示された歩行）として構成されるテストの提供を含む。デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、及び／又はスマートフォンに内蔵されているカメラ又は周辺のカメラ、独立型カメラ、及び／又は赤外線カメラ（低照度条件下）を用いて、被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、頭部姿勢を追跡したり、画像又は映像を取得したりすることができる。また、被験者が筆記又は口頭によるアンケートに回答する際の、被験者の筆跡、口調、声の明瞭さ等、その他の生理学的行動、及び地理的領域内の身体的な動きも同様に追跡及び取得することができる。取得された画像及び／又は映像はその後、マシンビジョン手法によって分析される。例えば、薬物乱用又は飲酒運転の検査中に、失速した眼球運動、頻繁な瞬き、及び瞳孔拡張が陶酔を示す可能性がある。別の例としては、尋問中に頻繁な瞬き及び瞳孔拡大は、容疑者又は目撃者が嘘をついていることを示す可能性がある。複数の異なる種類の生理学的反応と、これらの生理学的反応を用いて推定した被験者の感情状態及び認知状態とを組み合わせることで、被験者の状態をより高い精度で推定することができる。

本考案の実施形態は、図面を参照して、以下により詳細に説明される。

図１は、本考案の一実施形態による、対話型・適応型の学習及び訓練プログラムを提供及び管理するためのシステムの概略図を示す。

図２は、対話型・適応型の学習及び訓練プログラムを提供及び管理するためのシステムのロジカルデータフロー図を示す。

図３は、本考案の一実施形態による、対話型・適応型の学習及び訓練プログラムを提供及び管理する方法のアクティビティ図を示す。

図４は、学生被験者が講義資料を理解する確率を計算する際にシステムが用いる反復型機械学習ワークフローの流れ図を示す。

図５は、本考案の一実施形態による、対話型・適応型の学習及び訓練プログラムを提供及び管理するためにシステムが用いるロジカルデータ構造を示す。

以下の説明では、学習及び訓練プログラム、神経認知障害診断、法執行機関における非追随性の検出等を提供及び管理するための方法とシステムの好ましい例が述べられる。本考案の範囲及び趣旨から逸脱することなく、追加及び／又は置換を含む変更を加えることができることは当業者には明らかであろう。本考案を曖昧にしないように、具体的な詳細を省略することがある。しかしながら、本開示は、当業者が過度の実験なしに本明細書の教示を実施することを可能にするように書かれている。

本考案の様々な実施形態によれば、対話型・適応型の学習及び訓練プログラムを提供及び管理するため方法とシステムは、被験者の感情状態と認知状態の推定、及びテスト結果と学習の進捗の定量的測定の組み合わせを用いる。

本考案の一態様によれば、システムは、被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、頭部姿勢、感情、又は、時間枠中に触覚感知装置に加わる触覚圧力、被験者の筆跡、口調等の他の生理学的反応を追跡したり、画像又は映像を取得したりし、分析することにより、被験者の感情状態及び認知状態を推定する。
画像又は映像の取得は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、及び／又はスマートフォンに内蔵されているカメラ又は周辺のカメラ、及び／又は他の光学検知器によって行われてもよい。また、被験者の目、顔、体の動きを追跡したり、画像又は映像を取得したりするために、独立したカメラや赤外線カメラを用いることができる。取得された画像及び／又は映像はその後、マシンビジョン手法によって分析される。例えば、失速した眼球運動、焦点のずれた注視点、及び頭が傾いている姿勢は、テスト質問に提示されている主題に対する興味及び注意の欠如を示す指標である。別の例としては、検出された瞳孔拡張は、不正直、不確実性、不安、闘争・逃走感情を示す可能性もある。Ｋａｈｎｅｍａｎ、Ｄ.、Ａｔｔｅｎｔｉｏｎ ａｎｄ Ｅｆｆｏｒｔ、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、ＵＳ（１９７３）に開示されているように、当技術分野では、瞳孔反応が認知活動に対して生理学的相関性を有することが知られている。この開示の全体が参照により本明細書に組み込まれる。更に別の例としては、検出される強い触覚圧力は、学習又は訓練セッションで提示されている主題に対する不安、自信の欠如、及び／又は挫折を示す指標である。

一実施形態によれば、感情状態及び認知状態の推定において、選択された成績データと行動データも被験者から収集される。これらの選択された成績データ及び行動データは、回答の正確性、成功及び失敗の試行回数、与えられた選択肢の切り替え回数、特定の種類、主題、又は／及び難易度のテスト質問に対する回答速度、解決に向けた作業ステップ、及び被験者の筆跡や口調を含むが、これに限定されない。例えば、テスト質問に答える際に、被験者が与えられた選択肢を過度に切り替えたりすることや遅い回答速度は、テスト質問の回答に対する疑問や躊躇を示す。テスト問題の解決に向けた被験者の作業ステップは、模範のソリューションとの比較のために取得され、これを用いることで、被験者の講義資料に対する理解に関する洞察を得ることができる。

本考案の様々な実施形態によれば、対話型・適応型の学習及び訓練プログラムを提供及び管理するためのシステムは、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実装されたセンサ処理モジュールを含む。センサ処理モジュールは、システムで採用されている様々なセンサを管理する。センサ処理モジュールは、各種電子検知装置に電気的・又はデータ通信可能に接続されている。当該各種電子検知装置は、光学及びタッチ式検知装置と、キーボード、マウス、ポインティングデバイス、スタイラス、電子ペン等を含む入力デバイスと、映像取得装置と、カメラとを含んでもよいが、これに限定されない。

システムの動作中、入力官能データは様々なサンプリングレートで継続的に収集され、入力官能データのサンプルの平均が計算される。異なる検知装置の異なるサンプリングレートを処理するために、基準レートが選択される（例えば５Ｈｚ）。より遅いサンプリングレートの入力官能データは、ゼロホールドで補間され、次いで基準レートでサンプリングされる。より高いサンプリングレートの入力官能データは基準レートでサンプリングされる。サンプリングレートの調整後、最後の数秒間のトレースがメモリに保存され、その後、平均値が計算される。事実上、これは入力官能データの移動平均を作り出し、ノイズを除去するためのローパスフィルタとして機能する。

瞳孔反応、瞬き、眼球運動、注視点、及び頭部姿勢検出

一実施形態では、コンピューティングデバイスに内蔵された低コストの１つ又は複数の光学センサ（例えば、タブレットコンピュータの被写体向きカメラ）を用いて、被験者の目や顔の画像及び／又は映像が取得される。独立型のカメラ及び／又は赤外線カメラも可能である。最小５Ｈｚのレートで、画像又は映像がセンサから取得される。瞳孔の変化、瞬き、微妙な眼球運動を捉えるためには、最低６０Ｈｚのサンプリングレートが望ましい。それぞれの画像又は動画クリップは次に、当技術分野で知られている顔／目の追跡・分析システムによって処理される。３次元（３Ｄ）の頭部向きは、オイラー角（ピッチ、ヨー、ロール）で測定される。注視点を測定するために、まずは光センサの原点から被験者の瞳孔の中心まで伸びる３Ｄベクトルが仮定される。次に、眼球の中心から瞳孔までの３Ｄベクトルが決定される。この２つのベクトルを用いて注視点を計算する。オフセット（画面の後ろにいる被験者の位置、スクリーンに対するカメラの位置）を補正するためには、較正ステップが行われる。このデータを用いて、コンピュータスクリーン上の視線の平面座標を導出することができる。固定注視点の持続時間、注視点の変化、及び頭部姿勢の変化は、取得された複数の画像及び／又は動画フレームから得ることができる。両目の瞳孔径変化はまた、取得された複数の画像及び／又は動画フレームから抽出することができる。同様に、瞬目頻度は、定義された期間中に閉じた目が示される、取得画像及び／又は動画フレームの数から計算することができる。

表情と感情の決定

別の実施形態では、上記のように取得された画像及び／又は映像は、目、鼻の先端、口の角等の顔面上の重要な目印を識別するために処理される。次に、これらの目印間の領域が分析され、注目、顰めた眉、上げた眉、上げた頬、上げた顎、えくぼ（唇の端を内側に結び、引き締めた状態）、閉じた目、広げた目、上げた内眉、下がった顎、きつく結んだ唇、唇の端のくぼみ、引き締めた唇、唇のパッカー（前方に突き出した状態）、唇のストレッチ、窄めた唇（ｌｉｐ ｓｕｃｋ）、空いている口、鼻のしわ、笑顔、にやにや、上げた上唇等の表情に分類される。これらの表現は、ルックアップテーブルを用いて、怒り、軽蔑、嫌悪、興味（表現力）、恐れ、喜び、悲しみ、驚き、そして誘発性（人間の経験のネガティブな一面とポジティブな一面の両方）の感情にマッピングされる。それぞれの感情はパーセンテージとしてエンコードされ、同時に出力される。

生理学的測定

システムは、心拍数、皮膚電気活動（ＥＤＡ）及び皮膚温度に限定されない生理学的パラメータを測定するための着用可能な装置を含んでもよい。この装置はクライアントコンピュータ装置（例えばタブレットコンピュータ又はノートブックコンピュータ）に無線で接続されている。心拍数は、血液量の脈拍の観察から導出される。ＥＤＡは交感神経系覚醒の指標として皮膚の導電性を測定する。これに基づいて、ストレス、興味、そして興奮に関連する特徴を導出することができる。別の手法では、画像解析技術を用いて、取得された画像に基づいて心拍数が直接的に測定される。この手法は、血液量が心拍数によって変化するとき、顔の静脈による光吸収の軽微な変化に基づいている。

筆跡分析

別の実施形態では、テスト回答はデジタルペンを用いて専用のメモ用紙に書かれてもよく、「課題手順ステップ完了」等のコマンドが受信される。書かれた回答は、その場でデジタル化された後、システムは、インテリジェントな光学式文字認識エンジンを介して、学生被験者によって書かれた内容を評価し、必要に応じて学生被験者を指導するための必要なフィードバックを提供することができる。研究結果では、手書きのメモを取ることで学生被験者が情報を処理・解釈し、学習結果が改善されることが示されています。また、実施形態は、課題が完了した後にＯＣＲを用いてもよい。紙をコピー機でスキャンし、デジタル化した画像をＯＣＲソフトウェアに送られる。

教育エージェントと被験者の交流

非限定的な例として、教育的エージェントは、１つ又は複数の汎用コンピュータプロセッサ及び／又は特別に構成されたコンピュータプロセッサで実行されるソフトウェア及び／又はファームウェアの組み合わせによって実施される、人間の特徴を有する非人間アニメキャラクターであってもよい。これは、アニメーション（例えば、アニメーションＧＩＦ）をセットから選択すること、又は、ユーザインターフェースにおいて被験者に表示される静止画像上にスクリプト化された幾何学的変換を用いることによって、基本感情を表示することができる。別の方法では、ＳＶＧベースのアニメーションが用いられてもよい。このアニメーションは、テキストメッセージで注釈を付けることができる（例えば、アニメーションの隣の吹き出しに表示される）。テキストメッセージは、システムの訓練モジュールによって生成され、送信される。教育エージェントに対する被験者の反応は、被験者の感情状態を推定するために、システムによって受信される。

感情状態及び認知状態の推定は、主に、学習又は訓練プログラムで扱われる教材に対する被験者の理解及び関心を測定するために用いられる。学習又は訓練プログラムにおける被験者の進捗のスナップショット評価及び教材に関する被験者のテスト結果を予測するために１つの推定が用いられるが、評価履歴及び学習における被験者の進捗の傾向や特性を提供するためには複数の推定が用いられる。更に、学習における被験者の進捗の傾向や特性と、被験者の推定された感情状態及び認識状態とは、主題教材の選択、提供方法、及び管理に関する学習又は訓練プログラムのモデリングに用いられる。

ドメイン知識

図５を参照する。本考案の一態様によれば、対話・適応型学習及び訓練プログラムの提供及び管理を行うための方法とシステムは、講義資料と提供メカニズムデータとをドメイン知識として論理的に構造化する。ドメイン知識リポジトリ５００は、１つ又は複数の概念オブジェクト５０１と、１つ又は複数の課題オブジェクト５０２とで構成されている。それぞれの概念オブジェクト５０１は、１つ又は複数の知識及びスキルアイテム５０３を含む。知識及びスキルアイテム５０３は、難易度の順に並べられ、２つ以上の概念オブジェクト５０１を連結させることでカリキュラムを生成することができる。本考案が学校に適用される場合、本考案で定義されるカリキュラムは、学校カリキュラムの同等物であり、また、学校カリキュラムのレッスンと、知識及びスキルアイテムとの間には、１対１の関係が存在する。概念オブジェクトを連結させることで、課題選択手順に用いるための論理ツリーデータ構造を生成することができる。概念オブジェクトを連結させることで論理ツリーデータ構造（知識ツリー）を生成することができ、この知識ツリーでは、トピックにおいて根本的及び／又は基本的な知識及びスキルアイテムを有する概念オブジェクトは、論理ツリーの根に近いノードによって表現され、より上級の知識及びスキルアイテムと、共通の根本的な知識及びスキルコンテンツアイテムの分野とを有する概念オブジェクトは、論理ツリーの異なる枝において高く位置するノードによって表現される。

それぞれの課題オブジェクト５０２は、様々な講義コンテンツ資料５０４を有し、カリキュラムにおける１つ又は複数の概念オブジェクト５０１に関連付けられている。この関連付けは記録され、質問マトリックス５０５で調べることができる。一実施形態によれば、課題オブジェクト５０２は、「基本課題」、「対話型課題」、又は「基礎となる認知モデル若しくはエキスパートモデルを有する課題」として分類することができる。それぞれの基本課題は、被験者が全ての資料を読んだか否かを評価するために設計された１つ又は複数の講義メモ、イラスト（動画やその他のマルチメディアコンテンツ）、テスト問題・回答、及びテスト質問・回答が埋め込まれる指示動画から構成される。それぞれの対話型課題は、問題に対する解決策へと被験者を指導するように設計された１つ又は複数のステップから構成される問題解決演習を含む。それぞれのステップは、回答、よくある誤解、そしてヒントを提供する。これらのステップは、講義の提供フローに従うように設計された順序となっている。基礎となる認知又はエキスパートのモデルを有するそれぞれの課題は、１つ又は複数の問題解決演習を含み、これらの問題解決演習の各々は、学生被験者の学習の進捗に応じて提供される問題解決実習ステップをシミュレートするための１つ又は複数の発見的規則又は制約を含む。これにより、問題解決演習で提示された問題セットにおける点又は空間に基づいて、それぞれの学生被験者に合わせた足場（Ｓｃａｆｆｏｌｄｉｎｇ）（例えば、ガイダンスやヒントの提供等）を作成することができる。

様々な実施形態によれば、課題オブジェクトは、学習目的の達成に関連する講義資料（例えば、講義メモ、イラスト、テスト質問及び回答、問題集、問題解決実習）を集める。上述した分類に加えて、課題は次のいずれかのタイプのうちの１つであってもよい。
１．読書課題：採点なしで新しいトピックを紹介するための講義メモやイラスト。練習課題に進む前に完了することが要求される。
２．練習課題：閾値に達するまで、新しいトピックからの質問を練習するための、１つのトピックからの一連の質問（ヒントなしで５回連続で成功した試行、又は６０％以上の理解レベルの達成）。
３．マスタリーチャレンジ課題：学生被験者があるトピックを習得させる（９５％以上の理解レベルを達成する）ために、複数のトピックから選択される質問が与えられる。また、知識の保持を促進するための休止も含まれてもよい（例えば、学生被験者の見直しの機会）。
４．グループ課題：複数人の学生被験者からより高い参加度を促進するために、ピアチャレンジのために設計された一連の質問、問題集、及び／又は問題解決演習。採点されなくてもよい。

一実施形態によれば、ドメイン知識、その構成要素である課題オブジェクト及び概念オブジェクト、各概念オブジェクトに含まれる知識及びスキルアイテム並びにカリキュラム、各課題オブジェクトにおける講義メモ、イラスト、テスト質問及び回答、問題集、及び問題解決実習は、システムからアクセス可能な関係データベース（ドメイン知識リポジトリ）に格納されるデータエンティティであってもよい。１つ又は複数のドメイン知識リポジトリが、対話・適応型学習及び訓練プログラムの提供及び管理を行うためのシステムからアクセス可能な第三者システムに保管されてもよい。

本考案の別の態様によれば、対話・適応型学習及び訓練プログラムの提供及び管理を行うための方法とシステムは、ドメイン知識の２つの動作モデル、すなわち学生モデル及び訓練モデルの上に論理的に構築される。

学生モデル

学生モデルでは、システムは学生被験者のドメイン知識のカリキュラムに関連付けられた１つ又は複数の課題オブジェクトのそれぞれを実行する。課題オブジェクトの実行中に、システムは、学生被験者の成績を測定し、課題の質問の成功・失敗の試行回数、要求されたヒントの数、及び課題を完了するための時間等の、それぞれの課題における学生被験者の成績メトリックを取得する。取得された成績メトリックは、難易度等の課題の情報と共に、課題オブジェクトに関連する各概念オブジェクトのロジスティクス回帰数学モデルに供給される。これは、学生被験者の「知識トレース」とも呼ばれ、学生被験者が概念オブジェクトにおける内容を理解する確率の計算である。一実施形態では、理解の確率の計算は、古い試行に対する重みが減らされる、学生被験者の回答採点スコアの時間ベースの移動平均、成功の試行回数、失敗の試行回数、成功率（成功試行回数と合計試行回数の割合）、費やされた時間、トピックの難易度、及び質問の難易度を用いる。

一実施形態では、システムは、収集されたデータ（学生被験者の成績メトリック及び課題の情報）に数学モデルを適合するための反復機械学習ワークフローを用いて、学生被験者が概念オブジェクトにおける資料を理解する確率を計算する。当該収集されたデータは、古い試行に対する重みが減らされる、学生被験者の回答採点スコアの時間ベースの移動平均、成功の試行回数、失敗の試行回数、成功率（成功試行回数と合計試行回数の割合）、費やされた時間、トピック難易度、及び質問難易度を含む。図４は、上述した反復型機械学習ワークフローの流れ図を示す。この例示的な実施形態では、データが収集され（４０１）、検証され、そしてクレンジングされる（４０２）。その後、検証及びクレンジングされたデータは、数学的モデルを適合する際に用いられる（４０３）。検証及びクレンジングされたデータが数学的モデルに適合するまで、数学的モデルはループ内で繰り返し訓練される（４０４）。次に、数学的モデルは、学生被験者が概念オブジェクトにおける資料を理解する確率を取得するために展開される（４０５）。適合した数学的モデルはまた、収集されたデータの検証及びクレンジングのステップに循環されて用いられる。

学生被験者の知識トレースは、講義資料アイテム（例えば質問や問題集）の選択の推進、課題オブジェクト（トピック）選択の推進、並びに講義資料の順位付けの推進においてシステムによって用いられる。学生モデルの利点は、課題オブジェクトの実行が学生被験者の変化する能力に応じて適応できることを含む。学生モデルの利点は、課題オブジェクトの実行が学生被験者の変化する能力に応じて適応できることを含む。学生モデルの非限定的な例として、システムは、学生によって達成された学習量を推定し、次の課題に対してどれだけの学習利得が期待できるかを推定し、次のテストにおける学生被験者の成績を予測し、提供することができる。これらのデータを訓練モデルに用いることで、仮説検定によるシステムの更なる改善と、教育者／トレーナーのクオリティ及び講義資料のクオリティの評価とが可能となる。

訓練モデル

訓練モデルでは、システムの訓練モジュールは、学習又は訓練の戦略を決定し、学生被験者及び教師／トレーナーにフィードバックを提供するために、学生モデル及びドメイン知識による課題オブジェクトの実行から収集されたデータを受け取る。対話・適応型学習及び訓練プログラムの提供及び管理を行うためのシステムは、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実装された訓練モジュールを含む。一実施形態では、訓練モジュールは１つ又は複数のサーバコンピュータに実装される。訓練モジュールは主に、訓練モデルによる活動の実行に対応する機械命令を実行する責任を有する。訓練モデルでは、訓練モジュールは以下のことを実行する。
１．課題実行のエントリポイントを定義すること。当初、知識及びスキルアイテムの全ての指標はデフォルトに設定されている。これは、学生被験者又は教師／トレーナーが記入した申込書のデータ、又は教師／トレーナーによる学生被験者の初期評価から推測される。実行する後続の課題を選択する。次の課題を選択するには、システムの訓練モジュールは、概念オブジェクトの論理ツリーデータ構造（知識ツリー）を検索し、最も低いスキルレベルを有する（知識ツリーの根に最も近い）概念知識及びスキルを特定し、マッチングマトリックスを用いて選択に仕様する、対応の課題アイテムを取得する。選択されると、課題オブジェクトデータは、ドメイン知識リポジトリから取得され、提供されるために、システムの通信モジュールに送信される。
２．フィードバックを提供すること。学生被験者が実行中の課題オブジェクトに取り組んでいる間、システム訓練モジュールは、課題ステップに費やされた時間を監視する。制限を超えると、学生被験者の現在の感情状態に応じてフィードバックが提供される。これは、例えば、一般的なリストから選択された励み、共感的、又は挑戦的なメッセージであってもよく、ドメイン知識からの専用のヒントであってもよい。
３．システムの教育エージェントを駆動すること。システムの訓練モジュールは、学生被験者の現在の感情状態を教育エージェントの利用可能な状態と照らし合わせる。感情状態の情報を提供することに加えて、テキストメッセージは、教育エージェントを学生被験者に表示するユーザインターフェース上にレンダリングするためにシステムの通信モジュールに送信されてもよい。
４．概念が習得されたか否かを判定すること。上述したように、学生モデルでは、システムは、学生被験者が各概念の資料を理解する確率を推定する。所定の閾値（例えば９５％）に基づいて、教師／トレーナーは、概念が習得されたことを決定することができる。
５．精神障害に関連していると認識されている学生被験者の行動をフラグする。例えば、学生モデルによるシステムの実行が、過去の既知の状況と比較してセンサーデータの異常を示し、学習の進捗が著しく遅い場合、訓練モデルによるシステムは教師／トレーナーに警告通知を発する。また、これでは、注意欠陥多動性障害（ＡＤＨＤ）及び自閉症スペクトラム障害（ＡＳＤ）のような障害の一般的な兆候に関するより詳細な情報を提供することができる。

本考案の様々な実施形態によれば、対話・適応型学習及び訓練プログラムの提供及び管理を行うためのシステムは、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実装された通信モジュールを含む。一実施形態では、通信モジュールの一部は１つ又は複数のサーバコンピュータに常駐して実行され、通信モジュールの他の一部はデスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、及び他のモバイルコンピューティングデバイスを含むがこれらに限定されない１つ又は複数のクライアントコンピュータ内に常駐して実行される。これらのクライアントコンピュータの中には、学生被験者が使用する専用のものと、教師／トレーナー専用のものがある。

通信モジュールは、ドメイン知識からの関連データと、学生モデル及び訓練モデルで動作するシステムによって生成される資料を学生被験者及び教師／トレーナーに提示するように設計された１つ又は複数のユーザインターフェースを備える。ユーザインターフェースは更に、ユーザの入力（テキスト、ジェスチャー、画像、映像の入力）を取得したり、テキストヒントやシミュレートされた教育エージェントの行動を含むフィードバックを表示したりすることでユーザとの交流を促進するように設計されている。通信モジュールの別の重要な特徴は、現在実行中の課題オブジェクトのためのオンスクリーン（学生被験者によって使用されるコンピューティングデバイスの画面）平面座標と、ビジュアルキュー又は焦点のサイズとを提供することである。非限定的な例として、課題オブジェクトからの講義メモが画面上に表示されている間、通信モジュールは、講義メモの表示領域の平面座標及びサイズを提供し、この情報を、注視点追跡センサから収集されたデータと照合することで、学生被験者が実際に課題に取り組んでいるか否か（講義メモを見ているか）を判定する。

図２は、考案の様々な実施形態による、対話・適応型学習及び訓練プログラムの提供及び管理を行うためのシステムのロジカルデータフロー図を示す。ロジカルデータフロー図は、学生モデルと訓練モデルの実行中に、システムの主要コンポーネントがフィードバックループでどのように連携するかを示す。図２を参照する例示的な実施形態では、登録中に、適切な課程が学習及び訓練プログラムにおいて学生（又は親）に選択される。この課程は、ドメイン知識２０２における連結された概念オブジェクトのセットであるカリキュラムに直接的に対応し、学生被験者の学習目標２０１を構成する。学生被験者が、システムの通信モジュールによってレンダリングされるユーザインターフェースを介してシステムにログインすると、訓練モデルでは、システムの訓練モジュールはドメイン知識２０２から適切な概念オブジェクト及びそれに関連する第１の課題オブジェクトを選択して、取得する。学生モデルに入ると、課題オブジェクトデータはドメイン知識レポジトリから取得され、システムが課題オブジェクトデータ（例えば講義メモ、テスト質問、及び問題集）を学生被験者のためのユーザインターフェース上にレンダリングし、そして学生被験者が課題の作業を開始する。一方、システムは、注視点、感情、及び生理学的データを含むがこれらに限定されない感情状態官能データと、課題質問・回答や、学生被験者とユーザインターフェース（２０４）との行動分析用の交流による認知状態データとを収集することで、学習進捗２０３を監視する。収集された感情状態官能データ及び認知状態データを分析した後、学習者状態２０５が更新される。更新された学習者状態２０５は、学習目的２０１と比較される。決定された知識／スキルギャップ又は指示戦略２０６の適合は、訓練モデルに再び提供され、ループが完成する。収集された感情状態官能データ及び認知状態データの分析が、閾値より高い理解の確率を示す場合、学習目的は達成されたと見なされる２０７。

図３は、本考案の一実施形態による、学生モデル及び訓練モデルによる対話・適応型学習及び訓練プログラムの提供及び管理を行うためのシステムの実行処理をより詳細に示すアクティビティ図を示す。図１を参照する例示的な実施形態では、実行処理は以下のとおり。
３０１：学生被験者がシステムの通信モジュールによってレンダリングされるユーザインターフェースを実行しているコンピューティングデバイスを介してシステムにログインする。
３０２：学生被験者は、ユーザインターフェースで提示されるカリキュラムを選択する。
３０３：ユーザのログイン、成功した認証、及びカリキュラムの選択を受信すると、サーバコンピュータで実行されるシステムの訓練モジュールは、選択されたカリキュラムに関連付けられている１つ又は複数の課題オブジェクトをドメイン知識リポジトリから選択して要求する。選択されたカリキュラムにおいて概念オブジェクトに関連付ける課題オブジェクトがまだ定義されていない場合、システムは知識ツリーを評価し、知識ツリーの根に可能な限り近い（根本的な）、学生被験者がまだ練習又は習得していない概念知識及びスキルを特定する。この処理は、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実現されるシステムの推奨エンジンによって実行される。推奨エンジンは練習課題を推奨し、より低い頻度でマスタリーチャレンジ課題を推奨する。システム推奨の課題にはデフォルトの優先順位を有するが、教師／トレーナーが割り当てる課題は、課題の選択においてより高い優先順位を有する。一実施形態では、システムは、カリキュラムにおいて次に学習されるべき講義資料（例えばトピック）を推奨するための推奨エンジンを更に含む。学生被験者の推定感情状態及び認知状態データ、学生被験者の成績データ、学生被験者の特性、（すべての「エッジ」トピックが記載されている）知識ツリー、教師／トレーナーの推奨情報、共同フィルタからのデータ（ピア学生被験者からのデータを参照）、及び講義コンテンツデータ（学生属性と学習資料の属性をマッチングさせる）を用いて、推奨エンジンは、訓練モデルでシステムによって実行される次の課題を推奨する。例えば、嫌いなトピックを（特定の課題の実行中に推定された感情状態データから）特定し、別の／より好みのトピックを次の課題として推奨することによって、学生被験者のネガティブな感情を緩和させることができ、また、学生被験者の特定の感情状態が検出されると、嫌いなトピックを次の課題として推奨することができる。別の例として、推定された感情状態データは、学生被験者がチャレンジされていないことを示す場合には、推奨エンジンは、より高い難易度の課題を次の課題として選択することができる。更に別の例では、推定された特性は、学生被験者が視覚的指向の高い人を示す場合には、推奨エンジンは、より視覚的な内容を含む課題を次の課題として選択することができる。これにより、最高の学習の向上と課題のマッチングが可能となる。また、これにより、類似の成績データ、特性、感情状態、及び／又は認知状態の推定に基づいた課題のクラスタ化が可能となる。また、これにより、同様の興味を持つ学生被験者を合わせることが可能となる。
３０４：要求された課題オブジェクトが見つかると、それらのデータが取得され、システムの通信モジュールのユーザインターフェースに表示されるように学生被験者のコンピューティングデバイスに送信される。
３０５：学生被験者は、課題オブジェクトを選択すると学習セッションが開始する。
３０６：システムの訓練モジュールは、システムの通信モジュールのユーザインターフェースにレンダリングするために、選択された課題オブジェクトにおける次のアイテムをドメイン知識リポジトリから取得する。
３０７：学生モデルに入ると、システムの通信モジュールのユーザインターフェースは、選択された課題オブジェクトにアイテムを表示する。
３０８：学生被験者の顔を撮影するためのカメラが起動する。
３０９：学生被験者が、選択された課題オブジェクトのアイテムにおける学習資料に取り組んでいる最中（３０９ａ）に、学生被験者の注視点及び表情が分析される（３０９ｂ）。
３１０：収集された官能データ及び学生被験者のプロファイルの情報（過去の全ての成績データ及び学習進捗データを含むオーバーレイ）に基づいて推定された学生被験者の感情状態及び認知状態に応じて、仮想アシスタントは、システムの通信モジュールのユーザインターフェースに提示されるガイダンス及び／又はテキストヒントの形で表示されてもよい。
３１１：学生被検者は、回答試行を入力する。
３１２：回答試行が採点され、その点数はシステムの通信モジュールのユーザインターフェースを介して学生被験者に表示される。
３１３：回答試行と、点数とが、さらなる分析のためにシステムによって記憶される。
３１４：回答試行と、点数とは、学生被験者が、選択された課題オブジェクトに関連する概念を理解する確率を計算するために用いられる。
３１５：選択された課題が完了した場合、システムの訓練モジュールは、計算された、学生被験者が関連概念を理解する確率に基づいて次の課題を選択し、要求し、ステップ３０３のステップを繰り返す。
３１６：選択された課題がまだ完了していない場合、システムの訓練モジュールは、選択された課題における次のアイテムを取得し、ステップ３０６からのステップを繰り返す。
３１７：全ての課題が完了した後、システムは、学生被験者に関する結果レポートを生成する。

本考案の別の態様によれば、対話・適応型学習及び訓練プログラムの提供及び管理を行うためのシステムは、教師／トレーナー、学生被験者及びドメイン知識からの知識を取得し、複数の物理的教育／訓練センターにわたる対面型の学習プロセスの運用、並びにオンラインかつリモートの学習を支援する管理モジュールを含む。例示的な実施形態としては、管理モジュールは、教師／トレーナーの資格、学生被験者及び教師／トレーナーの移動距離、先着順、学習進捗と訓練戦略に基づく教師／トレーナーの構成等の制約を考慮し、レッスンの最適なスケジュールを決定する制約ベースのスケジューリングアルゴリズムを含む。例えば、教師／トレーナーが学生被験者同士の教育／訓練を促進したい場合には、スケジューリングアルゴリズムは、学生被験者がお互いを助け合えるように、補完し合うスキルセットを持つ被験者を選択できる。

教室での学習セッションの代表的な流れとしては、学生被験者がチェックインし、学生被験者の認知状態を評価するためのクイズを実行し、その結果が教師／トレーナーのユーザインターフェースに表示されることが含まれる。セッションの続きでは、教師／トレーナーが新しい概念を教室全体に向けて説明する。ここでは、教師／トレーナーが、システムの教育エージェントから、教育目的及びヒント等の支援を受ける。説明の後、被験者は、システムから適切な足場を提供してもらいながら、実習／課題に取り組む。学習の進捗と学生被験者の感情状態に基づいて、システムの訓練モジュールは、ネガティブな感情を対処するための教育的なゲームを提供したり、２人以上の学生が小さなプライズやデジタルバッジ等のための小さなコンテストに参加させたりする等、いくつかのオプションを用いて学習セッションを継続する方法を決定する。学習セッションは、学生被験者がチェックアウトすることによって終了する。親は子供の到着時刻と出発時刻を確認する（又はシステムからの通知を受け取る）ことができるため、出席のデータは、請求及び安全のために収集される。

上述した本考案の実施形態は、主に学的な環境に適用されるが、本考案は、過度の実験なしに企業研修、アンケート調査、職務遂行評価等にも適合可能である。本考案の一実施形態によれば、対話型・適応型訓練プログラムを提供及び管理するための方法とシステムは、訓練資料と提供メカニズムデータとを訓練プログラムにおけるドメイン知識として論理的に構造化し、その構成要素である概念オブジェクトと課題オブジェクトは、それぞれ、知識及びスキルのアイテムと、該当する業界又は商売に関連する訓練資料を有する。学生モデルと訓練モデルでのシステムの動作は、学的な環境と実質的に同様である。アンケート調査の応用において、システムによる被験者の感情状態及び認知状態の推定は、アンケート質問の選択及び提示を促進するために用いられてもよい。これにより、被験者からのより正確で迅速な調査結果の調達が可能となる。職務適正評価の応用において、システムによる、勤務中の対象の従業員の感情状態及び認知状態の推定を用いることで、雇用主は、従業員のスキルレベル、参加レベル、及び興味を継続的に測定することができ、仕事及び役割の割り当てに用いられる。

本考案はまた、アルツハイマー型認知症及び自閉症ＡＤＨＤ等の認知障害の医学的評価にも適用可能である。一実施形態によれば、患者被験者に提供される認知テストを実施するための神経認知障害診断システムが提供される。本システムは、認知テスト中に、患者被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、頭部姿勢、声、発言の明瞭さ、反応時間、及び／又はタッチ反応について収集して分析した官能データを用いて、患者被験者の感情状態及び認知状態を監視し、推定する。これは、上述した対話型・適応型の学習及び訓練プログラムを提供及び管理するシステムに類似している。

一実施形態によれば、認知テストの構造、管理、及び提供モデルは、少なくともドメイン知識リポジトリ、概念オブジェクト、課題オブジェクト、知識及びスキルアイテム、及び神経認知障害の診断用に設計されたコンテンツデータを含むカリキュラムからなる対話型・適応型訓練プログラムと実質的に同様であってもよい。認知テストの実施中に生成された患者被験者のテスト成績データは、認知テストの各反復ループにおいて、概念オブジェクト、課題オブジェクト、知識及びスキルのアイテム、並びにカリキュラムの選択を推進するために用いることで、フィードバックループが形成される。

認知テストは、患者被験者の存在下で、電子的手段（例えば、ネットワーク接続されたパーソナルコンピュータ、タブレットコンピュータ、及びスマートフォン）を介して遠隔的に、又は特別に構成されたコンピューティングデバイスを介して自動的に行われてもよい。認知テストの材料は、過去の事象及び最近の事象に関する患者被験者の知識に基づく一連のテキスト、絵、及び／又は動画での質問であってもよく、これにより、患者被験者のテスト成績データの一部として、記憶の想起時間と正確性を通して、患者被験者の長期記憶と短期記憶の状態をそれぞれ評価することができる。認知テスト中の患者被験者の認知テスト成績データと共に、患者被験者の感情状態及び認知状態の推定は、閉ループフィードバックシステムとして、認知テストの過程を推進し、認知テストの資料を適応的に変更し、そして患者被験者の感情及び認知状態に影響を与えるために、システムへとフィードバックされる。

神経認知障害診断システムは、ヒューマンエラーで左右されにくいリアルタイム診断を提供する。患者被験者の感情状態及び認知状態の推定もまた、患者被験者の脳活動に関するＭＲＩデータと合わせて異なる種類の神経認知障害及びその特定等、さらなる研究において用いられる。

神経認知障害診断システムの目的は、このシステムを用いた認知テストの定期的な実施を通して、特に老人ホーム等の老人介護施設の高齢者における認知障害の早期発見を可能にすることにある。もう１つの目的は、治療の追跡を可能にし、治療の過程における調整、投薬、及び医師の診察頻度を促進することにある。

本考案の一実施形態によれば、神経認知障害診断を提供及び管理するためのシステムであって、当該システムは、神経認知障害診断テストセッション中に、患者被験者から、官能データの収集及び生成を行うように構成された１つ又は複数の光学センサと、
１つ又は複数の神経認知障害診断テストデータエンティティを含む１つ又は複数の電子データベースと、光学センサによって収集された官能データを用いて、患者被験者の感情状態と認知状態を推定するように構成された、１つ又は複数のコンピュータ処理装置によって実行される患者モジュールと、後続の神経認知障害診断テストデータエンティティを選択し、神経認知障害診断テストデータエンティティのコンテンツ資料アイテムを電子データベースから取得し、神経認知障害診断テストセッションにおける神経認知障害診断テストデータエンティティの完了後に患者被験者に提供及び提示するように構成された、１つ又は複数のコンピュータ処理装置によって実行される訓練モジュールと、後続の神経認知障害診断テストデータエンティティの選択に利用可能な追随性テストデータエンティティのリストを作成するように構成された、１つ又は複数のコンピュータ処理装置によって実行される推奨エンジンと、を備え、選択に利用可能な神経認知障害診断テストデータエンティティのリストからの神経認知障害診断テストデータエンティティの選択には、患者被験者の感情状態及び認知状態の推定を示す入力データと、患者被験者の成績データ及び行動データが用いられる、システムが提供される。

官能データは、患者被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、及び検出された頭部姿勢のうちの１つ又は複数を含んでもよい。患者被験者の成績データ及び行動データは、回答の正確性、患者被験者の回答スコアの時間ベースの移動平均、成功と失敗の試行回数、与えられた選択肢の切り替え回数、及びテスト質問の応答速度のうちの１つ又は複数を含んでもよい。システムは、触覚感知装置に対して加わる患者被験者の触覚圧力、心拍数、電気皮膚活動（ＥＤＡ）、皮膚温、及びタッチ反応を収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の生理学的測定装置を更に備え、患者モジュールは更に、光学センサから収集された官能データと、生理学的測定装置から収集された付加官能データを用いて、患者被験者の感情状態及び認知状態を推定するように構成されている。システムは、患者被験者の声及び声の明瞭さを収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の音声録音装置を更に備え、患者モジュールは更に、光学センサから収集された官能データと、音声録音装置から収集された付加官能データを用いて、患者被験者の感情状態及び認知状態を推定するように構成されている。システムは、患者被験者の筆跡を収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の筆跡収集装置を更に備え、患者モジュールは更に、光学センサから収集された官能データと、筆跡収集装置から収集された付加官能データを用いて、患者被験者の感情状態及び認知状態を推定するように構成されている。システムは、患者被験者の教育エージェントとの交流を収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の教育エージェントを更に備え、患者モジュールは更に、光学センサから収集された官能データと、教育エージェントから収集された付加官能データを用いて、患者被験者の感情状態及び認知状態を推定するように構成されている。神経認知障害診断テストデータエンティティのコンテンツ資料アイテムの各々は、イラスト、テスト質問、６項目認知障害テストに関するテスト質問が埋め込められた動画のいずれかであってもよい。神経認知障害診断テストデータエンティティのコンテンツ資料アイテムの各々もまた、イラスト、テスト質問、患者被験者の遠い過去のイベント知識又は最近のイベント知識に関するテスト質問が埋め込められた動画のいずれかであってもよい。

本考案の別の実施形態によれば、法執行機関の用途に適用可能で、容疑者における薬物乱用、飲酒運転、頼りない目撃者、及び不正直な証言のリアルタイム検出のためのシステムと方法が提供される。薬物乱用又は飲酒運転の検出方法は、一連のテキスト、絵、及び／又は動画に基づくコンテキスト質問、光刺激（被験者の目に対する）、及び／又は身体的課題遂行（例えば手書き、文章の読み取り、指示された手のジェスチャーの繰り返し、及び指示された歩行）として構成される追随性テストテストの実施を含む。追随性テストは、現場又は管理された環境で法執行官によって実施することができる。デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、及び／又はスマートフォンに内蔵されているカメラ又は周辺のカメラ、独立型カメラ、及び／又は赤外線カメラ（低照度条件下）を用いて、被験者の片目又は両目の虹彩、又はより具体的には瞳孔、眼球運動、瞬き、注視点、表情、頭部姿勢を追跡したり、画像又は映像を取得したりすることができる。また、被験者が筆記又は口頭によるアンケートに回答する際の、被験者の筆跡、口調、声の明瞭さ等、その他の生理学的行動、及び地理的領域内の身体的な動きも同様に追跡及び取得することができる。取得された画像及び／又は映像はその後、マシンビジョン手法によって分析される。例えば、薬物乱用又は飲酒運転の検査中に、失速した眼球運動、頻繁な瞬き、及び瞳孔拡張が陶酔を示す可能性がある。別の例としては、尋問中に頻繁な瞬き及び瞳孔拡大は、容疑者又は目撃者が嘘をついていることを示す可能性がある。複数の異なる種類の生理学的反応と、これらの生理学的反応を用いて推定した被験者の感情状態及び認知状態とを組み合わせることで、被験者の状態（陶酔しているか否か）又は与えられた証言の正直性をより高い精度で推定することができる。

一実施形態によれば、追随性テストの構造、管理、及び提供モデルは、少なくともドメイン知識リポジトリ、概念オブジェクト、課題オブジェクト、知識及びスキルアイテム、及び神経認知障害の診断用に設計されたコンテンツデータを含むカリキュラムからなる対話型・適応型訓練プログラムと実質的に同様であってもよい。認知テストの実施中に生成された被験者のテスト成績データは、追随性テストの各反復ループにおいて、概念オブジェクト、課題オブジェクト、知識及びスキルのアイテム、並びにカリキュラムの選択を推進するために用いることで、フィードバックループが形成される。

本明細書で開示される電気的実施形態は、本開示の教示に従って構成又はプログラムされた特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びその他のプログラマブルロジックデバイスを含む汎用又は専用のコンピューティングデバイス、コンピュータプロセッサ、又は電子回路を用いて実現されてもよいが、本考案はこれに限定されない。汎用又は専用のコンピューティングデバイス、コンピュータプロセッサ、又はプログラマブルロジックデバイスで実行されるコンピュータ命令又はソフトウェアコードは、本開示の教示に基づいてソフトウェア又は電子技術の専門家によって容易に準備され得るであろう。

電子的実施形態の全部又は一部は、サーバコンピュータ、パーソナルコンピュータ、ノートブックコンピュータ、スマートフォン、及びタブレットコンピュータ等のモバイルコンピューティングデバイスを含む１つ又は複数の、汎用又は専用のコンピューティングデバイスにおいて実行されてもよい。

電子的実施形態は、コンピュータ又はマイクロプロセッサを、本考案のプロセスのいずれかを実行するようにプログラムするために用いられるコンピュータ命令又はソフトウェアコードを格納したコンピュータ記憶媒体を含む。記憶媒体は、フロッピーディスク、光ディスク、ブルーレイディスク、ＤＶＤ、ＣＤ−ＲＯＭ、及び光磁気ディスク、ＲＯＭ、ＲＡＭ、フラッシュメモリ装置、あるいは命令、コード、及び／又はデータを格納できる任意の種類の媒体若しくは装置を含んでもよいが、これらに限定されない。

本考案の様々な実施形態はまた、機械命令の全体又は一部が、イントラネット、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、インターネット、及び他の形態のデータ伝送媒体からなる通信ネットワークを介して相互接続された１つ又は複数の処理装置によって、分散方式で実行される分散型コンピューティング環境及び／又はクラウドコンピューティング環境において実施されてもよい。

本考案の上記の説明は、例示及び説明を目的として提供されたものである。また、本開示は、網羅的であること、又は本考案を開示された形態そのものに限定することを意図するものではない。多くの修正例及び変形例が当業者には明らかであろう。

実施形態は、本考案の原理及び実用的な用途をなるべく明確に説明するために選択し、説明されたものであり、これによって当業者が、考案の様々な実施形態、及び企図されている特定の用途に適した様々な変更を理解することができるであろう。

Claims (21)

1. 薬物乱用、飲酒運転、及び不正直な証言を含む非追随性をリアルタイムで検出するためのシステムであって、
   前記システムは、
   追随性テストセッション中に、被験者から、前記被験者の瞳孔反応、眼球運動、注視点、表情、及び頭部姿勢のうち、１つ又は複数を含む官能データの収集及び生成を行うように構成された１つ又は複数の光学センサと、
   １つ又は複数の追随性テストデータエンティティを含む１つ又は複数の電子データベースと、
   前記光学センサによって収集された前記官能データを用いて、前記被験者の感情状態と認知状態を推定するように構成された、１つ又は複数のコンピュータ処理装置によって実行される被験者モジュールと、
   後続の追随性テストデータエンティティを選択し、前記追随性テストデータエンティティのコンテンツ資料アイテムを前記電子データベースから取得し、追随性テストセッションにおける追随性テストデータエンティティの完了後に前記被験者に提供及び提示するように構成された、１つ又は複数のコンピュータ処理装置によって実行される訓練モジュールと、
   前記後続の追随性テストデータエンティティの選択に利用可能な追随性テストデータエンティティのリストを作成するように構成された、１つ又は複数のコンピュータ処理装置によって実行される推奨エンジンと、
   を備え、
   前記選択に利用可能な追随性テストデータエンティティのリストからの追随性テストデータエンティティの選択には、被験者の感情状態及び認知状態の推定を示す入力データと、前記被験者の成績データ及び行動データが用いられる、
   システム。
2. 前記被験者の前記成績データ及び前記行動データは、回答の正確性、前記被験者の回答スコアの時間ベースの移動平均、成功と失敗の試行回数、与えられた選択肢の切り替え回数、及びテスト質問の応答速度を含む、
   請求項１に記載のシステム。
3. 触覚感知装置に対して加わる前記被験者の触覚圧力、心拍数、電気皮膚活動（ＥＤＡ）、皮膚温、及びタッチ反応を収集し、付加官能データを追随性テストセッション中に生成するように構成された１つ又は複数の生理学的測定装置を更に備え、
   前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記生理学的測定装置から収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
   請求項１に記載のシステム。
4. 前記被験者の声及び声の明瞭さを収集し、付加官能データを追随性テストセッション中に生成するように構成された１つ又は複数の音声録音装置を更に備え、
   前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記音声録音装置から収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
   請求項１に記載のシステム。
5. 前記被験者の筆跡を収集し、付加官能データを追随性テストセッション中に生成するように構成された１つ又は複数の筆跡収集装置を更に備え、
   前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記筆跡収集装置から収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
   請求項１に記載のシステム。
6. 前記被験者の教育エージェントとの交流を収集し、付加官能データを追随性テストセッション中に生成するように構成された１つ又は複数の教育エージェントを更に備え、
   前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記教育エージェントから収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
   請求項１に記載のシステム。
7. 前記追随性テストデータエンティティのコンテンツ資料アイテムの各々は、
   イラスト、テスト質問、前記被験者の遠い過去のイベント知識又は最近のイベント知識に関するテスト質問が埋め込められた動画のいずれかである、
   請求項１に記載のシステム。
8. 神経認知障害診断を提供及び管理するためのシステムであって、
   前記システムは、
   神経認知障害診断テストセッション中に、患者被験者から、前記患者被験者の瞳孔反応、眼球運動、注視点、表情、及び頭部姿勢のうち、１つ又は複数を含む官能データの収集及び生成を行うように構成された１つ又は複数の光学センサと、
   １つ又は複数の神経認知障害診断テストデータエンティティを含む１つ又は複数の電子データベースと、
   前記光学センサによって収集された前記官能データを用いて、前記患者被験者の感情状態と認知状態を推定するように構成された、１つ又は複数のコンピュータ処理装置によって実行される患者モジュールと、
   後続の神経認知障害診断テストデータエンティティを選択し、前記神経認知障害診断テストデータエンティティのコンテンツ資料アイテムを前記電子データベースから取得し、神経認知障害診断テストセッションにおける神経認知障害診断テストデータエンティティの完了後に前記患者被験者に提供及び提示するように構成された、１つ又は複数のコンピュータ処理装置によって実行される訓練モジュールと、
   前記後続の神経認知障害診断テストデータエンティティの選択に利用可能な追随性テストデータエンティティのリストを作成するように構成された、１つ又は複数のコンピュータ処理装置によって実行される推奨エンジンと、
   を備え、
   前記選択に利用可能な神経認知障害診断テストデータエンティティのリストからの神経認知障害診断テストデータエンティティの選択には、患者被験者の感情状態及び認知状態の推定を示す入力データと、前記患者被験者の成績データ及び行動データが用いられる、
   システム。
9. 前記患者被験者の前記成績データ及び前記行動データは、回答の正確性、前記患者被験者の回答スコアの時間ベースの移動平均、成功と失敗の試行回数、与えられた選択肢の切り替え回数、及びテスト質問の応答速度を含む、
   請求項８に記載のシステム。
10. 触覚感知装置に対して加わる前記患者被験者の触覚圧力、心拍数、電気皮膚活動（ＥＤＡ）、皮膚温、及びタッチ反応を収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の生理学的測定装置を更に備え、
    前記患者モジュールは更に、前記光学センサから収集された前記官能データと、前記生理学的測定装置から収集された前記付加官能データを用いて、前記患者被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項８に記載のシステム。
11. 前記患者被験者の声及び声の明瞭さを収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の音声録音装置を更に備え、
    前記患者モジュールは更に、前記光学センサから収集された前記官能データと、前記音声録音装置から収集された前記付加官能データを用いて、前記患者被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項８に記載のシステム。
12. 前記患者被験者の筆跡を収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の筆跡収集装置を更に備え、
    前記患者モジュールは更に、前記光学センサから収集された前記官能データと、前記筆跡収集装置から収集された前記付加官能データを用いて、前記患者被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項８に記載のシステム。
13. 前記患者被験者の教育エージェントとの交流を収集し、付加官能データを神経認知障害診断テストセッション中に生成するように構成された１つ又は複数の教育エージェントを更に備え、
    前記患者モジュールは更に、前記光学センサから収集された前記官能データと、前記教育エージェントから収集された前記付加官能データを用いて、前記患者被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項８に記載のシステム。
14. 前記神経認知障害診断テストデータエンティティのコンテンツ資料アイテムの各々は、
    イラスト、テスト質問、６項目認知障害テストに関するテスト質問が埋め込められた動画のいずれかである、
    請求項８に記載のシステム。
15. 前記神経認知障害診断テストデータエンティティのコンテンツ資料アイテムの各々は、
    イラスト、テスト質問、前記患者被験者の遠い過去のイベント知識又は最近のイベント知識に関するテスト質問が埋め込められた動画のいずれかである、
    請求項８に記載のシステム。
16. 学習及び訓練プログラムを提供及び管理するためのシステムであって、
    前記システムは、
    学習セッション中に、学生被験者から、前記学生被験者の瞳孔反応、眼球運動、注視点、表情、及び頭部姿勢のうち、１つ又は複数を含む官能データの収集及び生成を行うように構成された１つ又は複数の光学センサと、
    １つ又は複数のドメイン知識データエンティティを含む１つ又は複数の電子データベースであって、前記ドメイン知識データエンティティの各々は、１つ又は複数の概念データエンティティ及び１つ又は複数の課題データエンティティを含み、前記概念データエンティティの各々は、１つ又は複数の知識及びスキルコンテンツアイテムを含み、前記課題データエンティティの各々は、１つ又は複数の講義コンテンツ資料アイテムを含み、前記課題データエンティティの各々は、少なくとも１つの概念データエンティティと関連付けられており、複数の前記概念データエンティティをグループ化することでカリキュラムが形成されている電子データベースと、
    前記光学センサによって収集された前記官能データを用いて、前記学生被験者の感情状態と認知状態を推定するように構成された、１つ又は複数のコンピュータ処理装置によって実行される学生モジュールと、
    後続の課題データエンティティを選択し、前記課題データエンティティの前記講義コンテンツ資料アイテムを前記電子データベースから取得し、学習セッションにおける各課題の完了後に前記学生被験者に提供及び提示するように構成された、１つ又は複数のコンピュータ処理装置によって実行される訓練モジュールと、
    前記後続の課題データエンティティの選択に利用可能な課題データエンティティのリストを作成するように構成された、１つ又は複数のコンピュータ処理装置によって実行される推奨エンジンと、
    を備え、
    前記選択に利用可能な課題データエンティティは、選択されたカリキュラムを形成する１つ又は複数の前記概念データエンティティに関連する課題データエンティティであり、
    前記選択に利用可能な課題データエンティティのリストからの課題データエンティティの選択は、前記学生被験者が、関連する前記概念データエンティティの前記知識及びスキルコンテンツアイテムを理解する確率に基づいており、
    前記学生被験者の理解の前記確率は、前記学生被験者の感情状態及び認知状態の推定を示す入力データを用いて計算される、
    システム。
17. 触覚感知装置に対して加わる前記学生被験者の触覚圧力、心拍数、電気皮膚活動（ＥＤＡ）、皮膚温、及びタッチ反応を収集し、付加官能データを学習セッション中に生成するように構成された１つ又は複数の生理学的測定装置を更に備え、
    前記学生モジュールは更に、前記光学センサから収集された前記官能データと、前記生理学的測定装置から収集された前記付加官能データを用いて、前記学生被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項１６に記載のシステム。
18. 前記学生被験者の声及び声の明瞭さを収集し、付加官能データを学習セッション中に生成するように構成された１つ又は複数の音声録音装置を更に備え、
    前記学生モジュールは更に、前記光学センサから収集された前記官能データと、前記音声録音装置から収集された前記付加官能データを用いて、前記学生被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項１６に記載のシステム。
19. 前記学生被験者の筆跡を収集し、付加官能データを学習セッション中に生成するように構成された１つ又は複数の筆跡収集装置を更に備え、
    前記学生モジュールは更に、前記光学センサから収集された前記官能データと、前記筆跡収集装置から収集された前記付加官能データを用いて、前記学生被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項１６に記載のシステム。
20. 前記学生被験者の教育エージェントとの交流を収集し、付加官能データを学習セッション中に生成するように構成された１つ又は複数の教育エージェントを更に備え、
    前記学生モジュールは更に、前記光学センサから収集された前記官能データと、前記教育エージェントから収集された前記付加官能データを用いて、前記学生被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項１６に記載のシステム。
21. 前記講義コンテンツ資料アイテムの各々は、
    講義メモ、イラスト、テスト問題、テスト問題が埋め込まれた動画、問題の解決を導き出すための指示を提供するように設計された複数のステップを含む問題解決実習、及び前記課題遂行指示に関連する前記課題手順ステップの前記学生被験者の学習の進捗に応じて提供される問題解決実習ステップをシミュレートするための１つ又は複数の発見的規則又は制約を含む問題解決実習のいずれかである、
    請求項１６に記載のシステム。