JP3223411U - 感情検出を用いて追随性を評価及び監視するためのシステム - Google Patents

感情検出を用いて追随性を評価及び監視するためのシステム Download PDF

Info

Publication number
JP3223411U
JP3223411U JP2019600105U JP2019600105U JP3223411U JP 3223411 U JP3223411 U JP 3223411U JP 2019600105 U JP2019600105 U JP 2019600105U JP 2019600105 U JP2019600105 U JP 2019600105U JP 3223411 U JP3223411 U JP 3223411U
Authority
JP
Japan
Prior art keywords
subject
data
task
knowledge
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019600105U
Other languages
English (en)
Inventor
ユエン リー ヴィオラ ラム,
ユエン リー ヴィオラ ラム,
ヨハン マティス ドルスマ,
ヨハン マティス ドルスマ,
Original Assignee
ユエン リー ヴィオラ ラム,
ユエン リー ヴィオラ ラム,
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/647,272 external-priority patent/US20180232567A1/en
Application filed by ユエン リー ヴィオラ ラム,, ユエン リー ヴィオラ ラム, filed Critical ユエン リー ヴィオラ ラム,
Priority claimed from PCT/IB2018/053968 external-priority patent/WO2018229592A1/en
Application granted granted Critical
Publication of JP3223411U publication Critical patent/JP3223411U/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うためのシステムを提供する。【解決手段】システムは、追随性評価及び監視セッション中に、被験者の表情、眼球運動、注視点、及び頭部姿勢を収集する光学センサと、知識及びスキルコンテンツアイテムを含む概念データエンティティと、講義コンテンツ資料アイテムを含む課題データエンティティとを有するドメイン知識データリポジトリと、光学センサによって収集された官能データを用いて、被験者の感情状態と認知状態を推定する被験者モジュールと、各課題データエンティティの完了後に、被験者が概念データエンティティに関連する知識及びスキルコンテンツアイテムを理解する確率と、被験者が目標の追随性を達成する確率とに基づいて、被験者に提供及び提示するための課題データエンティティを選択する訓練モジュールと、を含む。【選択図】図5

Description

(著作に関する記述)
本件特許書類の開示の一部は著作物的保護を受けるものを包含する。著作権者は、特許商標庁の特許ファイル又は記録において行われるような特許書類又は特許の開示に関する他人による複写再生について異議を唱えないが、他の場合については著作権に関するいかなる権利を留保するものとする。
(関連書類の相互参照)
本出願は、参照によりその開示全体を本明細書中に援用する2017年6月15日付けで出願された米国特許出願第62/520,542号、2017年7月12日付けで出願された米国特許出願第15/647,272号、2017年12月5日付けで出願された米国特許出願第62/594,557号、2018年1月27日付けで出願された米国特許出願第62/622,888号、2018年2月7日付けで出願された米国特許出願第62/627,734号、及び2018年3月21日付けで出願された米国特許出願第62/646,365号の優先権を請求する。
本考案は、一般に、企業研修、学術指導、教室内と教室外の学習、医療と健康改善のプログラム、スポーツトレーニング、フィットネス、ライフスタイルプログラム、矯正サービス、リハビリテーションプログラム、政府の法律と規制の執行、及び個人の行動基準等を含む教育プログラムや訓練のコンテキストにおける追随性管理及び監視の提供と提示のための方法とシステムに関する。特に、本考案は、アクションプログラムにおける課題遂行要件の追随性を管理、評価、及び監視するための方法とシステムに関する。
追随性とは、アクションプログラムに登録されている被験者が、当該アクションプログラムに要求されている特定の課題遂行要件に準拠することを意味する。従来のコンプライアンス評価及び監視技術は、明確に定義された合格基準を用いて一回限りのテストをアクションプログラムにおいて被験者に提供することに焦点を合わせている。これらの従来技術の多くは、被験者の進歩を予測したり、被験者を完全な追随性に向けて導いたりする機能を持たずに、合格/不合格の指標をなるべく効果的に取得することのみに焦点を合わせている。更に、これらの伝統的な追随性評価及び監視の方法は、しばしば、せいぜい一回限り又は疎らな手動によるテスト管理に依存する。これでは、追随性の保証を継続的に提供できない。
前述の課題に対処するためには、被験者の感情状態及び認知状態をモデル化し、追随性担当者によるパーソナライズされた追随性指示の提供と、被験者を完全な追随性に導くためのアンケートの提供とを支援し、被験者の課題遂行と行動を継続的に監視し、追随性プログラムに関連するオーバーヘッドを最小化する、インテリジェントな追随性評価及び監視システムがあれば望ましい。
本考案は、被験者のジェスチャー、感情、動き等の検知、音声認識、行動パターン認識、アンケート結果と課題遂行の定量的測定のうち、1つ又は複数を用いて、アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うための方法及びシステムを提供する。本考案の様々な実施形態によれば、被験者は、アクションプログラムにおける特定の課題を遂行仕様に従って実行するはずである。一実施形態によれば、方法とシステムは、1つ又は複数のアンケートを定期的に実施し、アンケートに対する被験者の回答を分析し、遂行仕様要件に基づいて、被験者の1つ又は複数のタスクの遂行を継続的に監視することで、被験者の追随性を評価及び監視する。
本考案の一態様によれば、方法及びシステムは、被験者の表情、眼球運動、注視点、及び頭部姿勢の画像及び/又は映像を取得して分析し、被験者がアンケートに回答している間、又は被験者が課題手順を遂行している時間枠中に、触覚感知装置に加わる触覚圧力、被験者の筆跡、口調、及び声の明瞭さ等を生理的に検出することにより、被験者の感情状態及び認知状態を推定する。画像又は映像の取得は、アンケートに回答する際に被験者が使用するデスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、及び/又はスマートフォンに内蔵されているカメラ又は周辺カメラ、及び/又は被験者がアクションプログラムにおける課題を遂行する環境内に配置又は設置される光学検知器を用いることで実現することができる。取得された画像及び/又は映像はその後、マシンビジョン手法によって分析される。例えば、失速した眼球運動、焦点のずれた注視点、及び頭が傾いている姿勢は、アンケート及び課題手順指示に提示されている主題に対する興味及び注意の欠如、知識の欠如、アンケートの回答における真実性の欠如、又は対象の課題に関するスキル/知識の欠如を示す兆候である。また、検出された強い触覚の圧力は、アンケート及び課題手順指示に提示されている主題に対する不安、自信の欠如、及び/又は挫折を示す指標である。この両方ともは、低レベルの追随性又は非追随性を表す可能性がある。
一実施形態によれば、アクションプログラムにおいて遂行する必要のある課題に関するアンケート及び課題遂行指示に対する被験者の理解度及び参加レベルを判定するために、選択された成績データと行動データも被験者から収集される。これらの選択された成績データ及び行動データは、アンケートの質問に対する回答の正確性、成功及び失敗の試行回数、被験者の回答の模範解答に対する類似度、与えられた選択肢の切り替え回数、及び特定の種類の質問と主題に対する回答速度を含むが、これに限定されない。例えば、質問に答える際に、被験者が与えられた選択肢を過度に切り替えたりすることや遅い回答速度は、質問の回答に対する疑問や躊躇を示す。
感情状態及び認知状態の推定と、成績データとは、主に、アクションプログラムにおける課題の遂行仕様に対する被験者の追随性を測定するために用いられる。課題遂行における完全な追随性に向けた被験者の進捗のスナップショット評価及び被験者の最終的に達成可能な追随性を予測するために1つの推定が用いられるが、被験者の評価履歴と進捗の傾向を示すために、複数の推定が用いられる。更に、被験者の推定された感情状態及び認知状態は、追随性評価及び監視の方法の選択、並びに指示の提供及び管理の選択に関する追随性プログラムのモデリングに用いられる。
本考案の別の態様によれば、方法とシステムは、対話・適応型追随性アンケート及び課題手順指示の提供及び管理を行うためのメカニズムを提供する。このメカニズムは、アンケート及び課題手順指示資料と、アクションプログラムにおいて追随性を評価及び監視するための提供メカニズムデータとをドメイン知識として論理的に構造化し、当該データをドメイン知識レポジトリに格納する。ドメイン知識リポジトリは、1つ又は複数の概念オブジェクトと、1つ又は複数の課題オブジェクトとで構成されている。それぞれの概念オブジェクトは、1つ又は複数の知識及びスキルアイテムを含む。知識及びスキルアイテムは、課題遂行仕様の複雑さ/難易度/厳格度の順に並べられ、2つ以上の知識及びスキルアイテムを連結させることでカリキュラムを生成することができる。本考案が特定の産業又は事業に適用される場合、本考案で定義されるカリキュラムは、取扱説明書/規格の同等物であってもよく、また、取扱説明書/規格では、知識及びスキルアイテムと課題遂行仕様との間には、1対1の関係が存在する。概念オブジェクトを連結させることで、課題選択手順に用いるための論理ツリーデータ構造を生成することができる。
それぞれの課題オブジェクトは、様々な課題手順指示資料を有する。それぞれの課題オブジェクトは、カリキュラムにおける1つ又は複数の概念オブジェクトに関連付けられている。一実施形態によれば、課題オブジェクトは、「基本課題」、「対話型課題」、又は「基礎となる認知モデル若しくはエキスパートモデルを有する課題」として分類することができる。それぞれの基本課題は、被験者が全ての資料を読んだか否かを評価するために設計された1つ又は複数の操作メモ、課題手順指示、イラスト、及びテスト質問・回答から構成される。基礎となる認知モデル若しくはエキスパートモデルを有する対話型課題の各々は、課題手順を遂行仕様に従って完了させるように被験者を指導するために設計された1つ又は複数の指示ステップを含む課題手順から構成される。それぞれのステップは、回答、よくある誤解、そしてヒントを提供する。これらのステップは、課題手順の提供フローに従うように設計された順序となっている。これにより、遂行された課題手順におけるポイントに基づいて、それぞれの課題に合わせた足場(Scaffolding)(例えば、ガイダンスやヒントの提供等)を作成することができる。
本考案の別の態様によれば、対話型・適応型追随性アンケートと指示の提供及び管理を行うためのメカニズムは、ドメイン知識の2つの動作モデル、すなわち被験者モデル及び訓練モデルの上に論理的に構築される。被験者モデルでは、システムは被験者の作業セッションにおけるドメイン知識のカリキュラムに関連付けられた1つ又は複数の課題オブジェクトのそれぞれを実行する。課題オブジェクトの実行中に、システムは、被験者の成績を測定し、課題の指示ステップを完了するための成功・失敗の試行回数、要求されたヒントの数、及び課題を完了するための時間等の、被験者のそれぞれの課題における成績メトリックを取得する。取得された成績メトリックは、仕様の複雑さ/難易度/厳格度等の課題の情報と共に、課題オブジェクトに関連する各概念オブジェクトのロジスティクス回帰数学モデルに供給される。これは、被験者の「知識トレース」とも呼ばれ、被験者が、概念オブジェクトの課題遂行仕様に関連付けられた課題において目標の追随性を達成する確率の計算である。被験者モデルの利点は、課題オブジェクトの実行が被験者の変化する能力に応じて適応できることを含む。被験者モデルの非限定的な例として、システムは、被験者の達成可能な追随性を推定し、次の課題に対して期待できる成績の改善を推定して、将来の時点における被験者の追随性を予測し、提供することができる。これらのデータを訓練モデルに用いることで、仮説検定によるシステムの更なる改善と、追随性担当者のクオリティ及び課題手順指示資料のクオリティの評価とが可能となる。
訓練モデルでは、システムは、指示の提供戦略を決定し、被験者及び追随性担当者にフィードバックを提供するために、被験者モデル及びドメイン知識による課題オブジェクトの実行から収集されたデータを受け取る。訓練モデルでは、システムは主に以下のことを実行する責任を有する。
1.最初の課題のエントリポイントを定義すること。当初、知識及びスキルアイテムの全ての指標はデフォルトに設定されている。これは、被験者又は追随性担当者が記入した申込書のデータ、又は追随性担当者による被験者の初期評価から推測される。実行する一連の課題を選択する。次の課題を選択するには、システムの訓練モジュールは、概念オブジェクトの論理ツリーデータ構造を検索し、最も低いスキルレベルを有する知識及びスキルを特定し、質問マトリックスを用いて被験者の学習特性に一致する、対応の課題アイテムを検索する。選択されると、必要な追随性アンケートと課題手順指示資料がドメイン知識から取得され、システムの通信モジュールのユーザインターフェースで提供されるために、システムの通信モジュールに送信される。
2.フィードバックを提供すること。被験者が実行中の課題オブジェクトに取り組んでいる間、システム訓練モジュールは、それぞれの課題ステップに費やされた時間を監視する。制限を超えると、被験者の現在の感情状態に応じてフィードバックが提供される。これは、例えば、一般的なリストから選択された励み、共感的、又は挑戦的なメッセージであってもよく、ドメイン知識からの専用のヒントであってもよい。
3.システムの教育エージェントを駆動すること。システムの訓練モジュールは、被験者の現在の感情状態を教育エージェントの利用可能な状態と照らし合わせる。感情状態の情報を提供することに加えて、テキストメッセージは、教育エージェントをユーザインターフェース上にレンダリングするためにシステムの通信モジュールに送信されてもよい。
4.概念が習得されたか否かを判定すること。上述したように、被験者モデルでは、システムは、各概念の課題遂行仕様資料に関連付けられた課題において被験者が目標の追随性を達成する確率を推定する。所定の閾値(例えば95%)に基づいて、追随性担当者は、概念が習得されたことを決定することができる。
本考案の別の態様によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するための方法とシステムは、ドメインモデル、評価モデル、学習者モデル、1つ又は複数の動機付けモデル、遷移モデル、及び教育モデルを含む、実行の相互接続モデルに基づく機械学習手法を含む。相互接続の実行モデルは、被験者から特定の望ましい動作、行動、及び/又は結果を誘発、強要、又は動機付けるためのものである。これらの特定の望ましい動作及び結果の非限定的な例として、特定の課題手順の習得、特定の望ましい行動の採用、特定の職務割り当て目標の達成、特定のものの購入、又は特定の商業活動を行うことを含む。したがって、これらの相互接続の実行モデルは、企業研修、商業小売業、及び商いの分野にも適用可能である。
本考案の実施形態は、図面を参照して、以下により詳細に説明される。
図1は、本考案の一実施形態による、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するためのシステムの概略図を示す。
図2は、システムのロジカルデータフロー図を示す。
図3は、本考案の一実施形態による、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するための方法のアクティビティ図を示す。
図4は、被験者が目標の追随性レベルを達成する確率を計算する際にシステムが用いる反復型機械学習ワークフローの流れ図を示す。
図5は、本考案の一実施形態によるシステムが用いるロジカルデータ構造を示す。
図6Aは、本考案の一態様による、実行の相互連結モデルのロジカルブロック図を示す。
図6Bは、本考案の一態様による、実行の相互連結モデルのロジカル構成要素の詳細を示す。
以下の説明では、アクションプログラム等における課題遂行要件に対する被験者の追随性を管理、評価、及び監視するための方法とシステムの好ましい例が述べられる。本考案の範囲及び趣旨から逸脱することなく、追加及び/又は置換を含む変更を加えることができることは当業者には明らかであろう。本考案を曖昧にしないように、具体的な詳細を省略することがある。しかしながら、本開示は、当業者が過度の実験なしに本明細書の教示を実施することを可能にするように書かれている。
本考案の様々な実施形態によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うための方法及びシステムは、被験者のジェスチャー、感情、動き等の検知、及びアンケート結果と課題遂行の定量的測定の組み合わせを用いる。
本考案の一態様によれば、方法及びシステムは、被験者の表情、眼球運動、注視点、及び頭部姿勢の画像及び/又は映像を取得して分析し、被験者がアンケートに回答している間、又は被験者が課題手順を遂行している時間枠中に、触覚感知装置に加わる触覚圧力等の触覚フィードバック、被験者の筆跡、口調、及び声の明瞭さ等により、被験者の感情状態及び認知状態を推定する。画像又は映像の取得は、被験者が使用するデスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、及び/又はスマートフォンに内蔵されているカメラ又は周辺カメラ、及び/又は被験者がアクションプログラムにおける課題を遂行する環境内に配置又は設置される光学検知器を用いることで実現することができる。取得された画像及び/又は映像はその後、マシンビジョン手法によって分析される。例えば、失速した眼球運動、焦点のずれた注視点、及び頭が傾いている姿勢は、アンケート及び課題手順指示に提示されている主題に対する興味及び注意の欠如、知識の欠如、アンケートに回答における真実性の欠如、又は対象の課題に関するスキル/知識の欠如を示す指標である。また、検出された強い触覚の圧力は、アンケート及び課題手順指示に提示されている主題に対する不安、自信の欠如、及び/又は挫折を示す指標である。この両方ともは、低レベルの追随性又は非追随性を表す可能性がある。
一実施形態によれば、感情状態及び認知状態の推定において、選択された成績データと行動データも被験者から収集される。これらの選択された成績データ及び行動データは、課題手順ステップの完了に向けた課題の成功及び失敗の試行回数、課題手順を完了する速度、アンケートの質問に対する回答の正確性、被験者の回答の模範解答に対する類似度、与えられた選択肢の切り替え、特定の種類のテスト質問、主題、及び/又は課題遂行仕様の複雑さ/難易度/厳格レベルに対する応答速度、解決に向けた作業ステップ、被験者の筆跡、口調、及び言葉の明瞭さを含むが、これに限定されない。例えば、質問に答える際に、被験者が与えられた選択肢を過度に切り替えたりすることや遅い回答速度は、質問の回答に対する疑問や躊躇を示す。また、課題の手順ステップを完了するための被験者の中間作業ステップは、モデルソリューションとの比較のために取得される。これらの中間作業ステップでは、課題の手順指示と課題遂行仕様資料に対する被験者の理解に関する洞察を得ることができる。
本考案の様々な実施形態によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うための方法とシステムは、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実装されたセンサ処理モジュールを含む。センサ処理モジュールは、システムで採用されている様々なセンサを管理する。センサ処理モジュールは、各種電子検知装置に電気的及び/又はデータ通信可能に接続されている。当該各種電子検知装置は、光学及びタッチ式検知装置と、キーボード、マウス、ポインティングデバイス、スタイラス、電子ペン等を含む入力デバイスと、映像取得装置と、カメラとを含んでもよいが、これに限定されない。
システムの動作中、入力官能データは様々なサンプリングレートで継続的に収集され、入力官能データのサンプルの平均が計算される。異なる検知装置の異なるサンプリングレートを処理するために、基準レートが選択される(例えば5Hz)。より遅いサンプリングレートの入力官能データは、ゼロホールドで補間され、次いで基準レートでサンプリングされる。より高いサンプリングレートの入力官能データは基準レートでサンプリングされる。サンプリングレートの調整後、最後の数秒間のトレースがメモリに保存され、その後、平均値が計算される。事実上、これは入力官能データの移動平均を作り出し、ノイズを除去するためのローパスフィルタとして機能する。
眼球運動、注視点、及び頭部姿勢検出
一実施形態では、コンピューティングデバイスに内蔵された低コストの光学センサ(例えば、タブレットコンピュータの被写体向きカメラ)が用いられる。最小5Hzのレートで、画像はセンサから取得される。それぞれの画像は次に、当技術分野で知られている顔/目の追跡・分析システムによって処理される。3次元(3D)の頭部向きは、オイラー角(ピッチ、ヨー、ロール)で測定される。注視点を測定するために、まずは光センサの原点からユーザの瞳孔の中心まで伸びる3Dベクトルが仮定され、次に、眼球の中心から瞳孔までの3Dベクトルが決定される。この2つのベクトルを用いて注視点を計算する。オフセット(画面の後ろにいる被験者の位置、画面に対するカメラの位置)を補正するためには、較正ステップが行われる。このデータを用いて、コンピュータスクリーン上の視線の平面座標を導出することができる。
表情と感情の判定
別の実施形態では、上記のように取得された画像及び/又は映像は、目、鼻の先端、口の角などの顔面上の重要な目印を識別するために処理される。次に、これらの目印間の領域が分析され、注目、顰めた眉、上げた眉、上げた頬、上げた顎、えくぼ(唇の端を内側に結び、引き締めた状態)、閉じた目、広げた目、上げた内眉、下がった顎、きつく結んだ唇、唇の端のくぼみ、引き締めた唇、唇のパッカー(前方に突き出した状態)、唇のストレッチ、窄めた唇(lip suck)、空いている口、鼻のしわ、笑顔、にやにや、上げた上唇等の表情に分類される。これらの表現は、ルックアップテーブルを用いて、怒り、軽蔑、嫌悪、関心(表現力)、恐れ、喜び、悲しみ、驚き、そして誘発性(人間の経験のネガティブな一面とポジティブな一面の両方)の感情にマッピングされる。それぞれの感情はパーセンテージとしてエンコードされ、同時に出力される。
生理学的測定
別の実施形態では、システムは、心拍数、皮膚電気活動(EDA)及び皮膚温度に限定されない生理学的パラメータを測定するための着用可能な装置を含む。この装置はクライアントコンピュータ装置(例えばタブレットコンピュータ又はノートブックコンピュータ)に無線で接続されている。心拍数は、血液量の脈拍の観察から導出される。EDAは交感神経系覚醒の指標として皮膚の導電性を測定する。これに基づいて、ストレス、関心、そして興奮に関連する特徴を導出することができる。別の手法では、画像解析技術を用いて、取得された画像に基づいて心拍数が直接的に測定される。この手法は、血液量が心拍数によって変化するとき、顔の静脈による光吸収の軽微な変化に基づいている。
筆跡分析
別の実施形態では、テスト回答はデジタルペンを用いて専用のメモ用紙に書かれてもよく、「課題手順ステップ完了」等のコマンドが受信される。書かれた回答は、その場でデジタル化された後、システムは、インテリジェントな光学式文字認識エンジンを介して、被験者によって書かれた内容を評価し、必要に応じて被験者を指導するための必要なフィードバックを提供することができる。研究結果では、手書きのメモを取ることで被験者が情報を処理・解釈し、追随性結果が改善されることが示されている。また、実施形態は、課題が完了した後にOCRを用いてもよい。紙をコピー機でスキャンし、デジタル化した画像をOCRソフトウェアに送られる。
発言及び音声の認識・分析
別の実施形態では、システムは、追随性評価及び監視セッション中に被験者の発言を録音するための1つ又は複数の音声記録装置を備える。被験者の発言はその場でデジタル化された後、システムは、インテリジェントな音声認識エンジンを介して、被験者が話した内容を評価し、必要に応じて被験者を誘導するための必要なフィードバックを提供することができる。さらなる追随性分析のために、被験者の発言の実質的な内容は、課題手順に関連する口頭での命令及び/又はアンケートテスト質問に関連する口頭での回答が認識される。被験者の声と発言の明瞭さは、感情状態及び認知状態推定への入力として認識される。
教育エージェントと被験者の交流
非限定的な例として、教育的エージェントは、1つ又は複数の汎用コンピュータプロセッサ及び/又は特別に構成されたコンピュータプロセッサで実行されるソフトウェア及び/又はファームウェアの組み合わせによって実施される、人間の特徴を有する非人間アニメキャラクターであってもよい。これは、アニメーション(例えば、アニメーションGIF)をセットから選択すること、又は、ユーザインターフェースにおいて被験者に表示される静止画像上にスクリプト化された幾何学的変換を用いることによって、基本感情を表示することができる。別の方法では、SVGベースのアニメーションが用いられてもよい。このアニメーションは、(例えば、アニメーションの隣の吹き出しに表示される)テキストメッセージで注釈を付けることができる。テキストメッセージは、システムの訓練モジュールによって生成され、送信される。教育エージェントに対する被験者の反応は、被験者の感情状態を推定するために、システムによって受信される。
感情状態及び認知状態の推定と、成績データとは、主に、アクションプログラムの課題の遂行仕様に対する被験者の追随性を測定するために用いられる。感情状態及び認知状態の推定と、成績データとは、主に、アクションプログラムにおける課題の遂行仕様に対する被験者の追随性を測定するために用いられる。課題遂行における完全な追随性に向けた被験者の進捗のスナップショット評価及び被験者の最終的に達成可能な追随性を予測するために1つの推定が用いられるが、被験者の評価履歴と進捗の傾向を示すために、複数の推定が用いられる。更に、被験者の推定された感情状態及び認知状態は、追随性評価及び監視の方法の選択、並びに指示の提供及び管理の選択に関する追随性プログラムのモデリングに用いられる。
ドメイン知識
図5を参照する。本考案の一態様によれば、方法とシステムは、追随性アンケート及び課題手順指示資料と、提供メカニズムとを追随性プログラムにおけるドメイン知識500として論理的に構造化する。ドメイン知識500は、1つ又は複数の概念オブジェクト501と、1つ又は複数の課題オブジェクト502とで構成されている。それぞれの概念オブジェクト501は、1つ又は複数の知識及びスキルアイテム503を含む。知識及びスキルアイテム503は、課題遂行仕様の複雑さ/難易度/厳格度の順に並べられ、2つ以上の概念オブジェクト501を連結させることでカリキュラムを生成することができる。本考案が特定の産業又は事業に適用される場合、本考案で定義されるカリキュラムは、取扱説明書/規格の同等物であってもよく、また、取扱説明書/規格では、知識及びスキルアイテムと課題遂行仕様との間には、1対1の関係が存在する。概念オブジェクトを連結させることで論理ツリーデータ構造(知識ツリー)を生成することができ、この知識ツリーでは、トピックにおいて根本的及び/又は基本的な知識及びスキルアイテムを有する概念オブジェクトは、論理ツリーの根に近いノードによって表現され、より上級の知識及びスキルアイテムと、共通の根本的な知識及びスキルコンテンツアイテムの分野とを有する概念オブジェクトは、論理ツリーの異なる枝において高く位置するノードによって表現される。
それぞれの課題オブジェクト502は、様々な追随性アンケート及び課題手順指示資料504を有し、カリキュラムにおける1つ又は複数の概念オブジェクト501に関連付けられている。この関連付けは記録され、質問マトリックス505で調べることができる。一実施形態によれば、課題オブジェクト502は、「基本課題」、「対話型課題」、又は「基礎となる認知モデル若しくはエキスパートモデルを有する課題」として分類することができる。それぞれの基本課題は、被験者が全ての資料を読んだか否かを評価するために設計された1つ又は複数の操作メモ、課題手順指示(動画やその他のマルチメディアコンテンツ)、及びテスト問題・回答から構成される。基礎となるモデル若しくはエキスパートモデルを有する対話型課題の各々は、1つ又は複数の問題解決演習を含み、これらの問題解決演習は、被験者を問題の解決へと指導するために設計された1つ又は複数のステップを含む。それぞれのステップは、回答、よくある誤解、そしてヒントを提供する。これらのステップは、課題手順の提供フローに従うように設計された順序となっている。これにより、遂行された課題手順におけるポイントに基づいて、それぞれの課題に合わせた足場(Scaffolding)(例えば、ガイダンスやヒントの提供等)を作成することができる。
様々な実施形態によれば、課題オブジェクトは、追随性の達成に関連する追随性アンケート及び課題手順指示資料(例えば、操作メモ及びイラスト)のセットを集める。上述した分類に加えて、課題は次のいずれかのタイプのうちの1つであってもよい。
1.読書課題:採点なしで新しいトピックを紹介するための操作ノートやイラスト。練習課題に進む前に完了することが要求される。
2.練習課題:閾値に達するまで、新しいトピックからの質問を練習するための、1つのトピックからの一連の質問(ヒントなしで5回連続で成功した試行、又は60%以上の理解レベルの達成)
3.マスタリーチャレンジ課題:被験者があるトピックを習得させる(95%以上の理解レベルを達成する)ために、複数のトピックから選択される質問が与えられる。また、知識の保持を促進するための休止も含まれてもよい(例えば、被験者のための見直しの機会)。
4.グループ課題:フォーカスグループにおける複数人の被験者からより高い参加度を促進するために、ピアチャレンジのために設計された一連の質問、問題セット、及び/又は問題解決演習。採点されなくてもよい。
一実施形態によれば、ドメイン知識、その構成要素である課題オブジェクト及び概念オブジェクト、各概念オブジェクトに含まれる知識及びスキルアイテム並びにカリキュラム、操作メモ、イラスト、各課題オブジェクトにおけるテスト問題及び回答は、システムからアクセス可能な関係データベース(ドメイン知識リポジトリ)に格納されるデータエンティティであってもよい。1つ又は複数のドメイン知識リポジトリが、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するためのシステムからアクセス可能な第三者システムに保管されてもよい。
本考案の別の態様によれば、対話・適応型追随性アンケート及び課題手順指示の提供及び管理を行うためのメカニズムは、ドメイン知識の2つの動作モデル、すなわち被験者モデル及び訓練モデルの上に論理的に構築される。
被験者モデル
被験者モデルでは、システムは被験者のために、ドメイン知識のカリキュラムに関連付けられた1つ又は複数の課題オブジェクトのそれぞれを実行する。課題オブジェクトの実行中に、システムは、被験者の成績を測定し、課題の指示ステップを完了するための成功・失敗の試行回数、要求されたヒントの数、及び課題を完了するための時間等の、それぞれの課題における成績メトリックを取得する。取得された成績メトリックは、仕様の複雑さ/難易度/厳格度等の課題の情報と共に、課題オブジェクトに関連する各概念オブジェクトのロジスティクス回帰数学モデルに供給される。これは、被験者の「知識トレース」とも呼ばれ、被験者が、概念オブジェクトに関連付けられた課題において目標の追随性を達成する確率の計算である。一実施形態では、目標追随性を達成する確率の計算は、古い試行に対する重みが減らされる、アンケートの質問に対する被験者の回答スコアの時間ベースの移動平均、成功の試行回数、失敗の試行回数、成功率(成功試行回数と合計試行回数の割合)、費やされた時間、及び課題遂行仕様の複雑さ/難易度/厳格レベルを用いる。別の実施形態では、目標追随性を達成する確率の計算は、古い試行に対する重みが減らされる、被験者が完了した課題手順ステップの時間ベースの移動平均、成功の試行回数、失敗の試行回数、成功率(成功試行回数と合計試行回数の割合)、費やされた時間、及び課題遂行仕様の複雑さ/難易度/厳格レベルを用いる。
一実施形態では、システムは、収集されたデータ(被験者の成績メトリック及び課題の情報)に数学モデルを適合するための反復機械学習ワークフローを用いて、概念オブジェクトの課題遂行仕様に関連付けられた課題において被験者が目標追随性を達成する確率を計算する。当該収集されたデータは、古い試行に対する重みが減らされる、アンケートの質問に対する被験者の回答スコアの時間ベースの移動平均、成功の試行回数、失敗の試行回数、成功率(成功試行回数と合計試行回数の割合)、費やされた時間、トピック難易度、及び質問難易度を含む。図4は、上述した反復型機械学習ワークフローの流れ図を示す。この例示的な実施形態では、データが収集され(401)、検証され、そしてクレンジングされる(402)。その後、検証及びクレンジングされたデータは、数学的モデルを適合する際に用いられる(403)。検証及びクレンジングされたデータが数学的モデルに適合するまで、数学的モデルはループ内で繰り返し訓練される(404)。次に、数学的モデルは、概念オブジェクトの課題遂行仕様に関連付けられた課題において被験者が目標追随性を達成する確率を取得するために展開される(405)。適合した数学的モデルはまた、収集されたデータの検証及びクレンジングのステップに循環されて用いられる。
被験者の知識トレースは、課題追随性アンケート及び課題手順指示資料アイテムの選択の推進、課題オブジェクト選択の推進、並びに追随性アンケート及び課題手順指示資料の順位付けの推進においてシステムによって用いられる。被験者モデルの利点は、課題オブジェクトの実行が被験者の変化する能力に応じて適応できることを含む。被験者モデルの非限定的な例として、システムは、被験者の達成可能な追随性を推定し、次の課題に対して機体できる成績の改善を推定して、将来の時点における被験者の追随性を予測し、提供することができる。これらのデータを訓練モデルに用いることで、仮設検定によるシステムの更なる改善と、追随性担当者のクオリティ及び課題手順指示資料のクオリティの評価とが可能となる。
訓練モデル
訓練モデルでは、システムの訓練モジュールは、追随性アンケート及び課題手順指示の提供戦略を決定し、被験者及び追随性担当者にフィードバックを提供するために、被験者モデル及びドメイン知識による課題オブジェクトの実行から収集されたデータを受け取る。アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うためのシステムは、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実装された訓練モジュールを含む。一実施形態では、訓練モジュールは1つ又は複数のサーバコンピュータに実装される。訓練モジュールは主に、訓練モデルによる活動の実行に対応する機械命令を実行する責任を有する。訓練モデルでは、訓練モジュールは以下のことを実行する。
1.課題実行のエントリポイントを定義すること。当初、知識及びスキルアイテムの全ての指標はデフォルトに設定されている。これは、被験者又は追随性担当者が記入した申込書のデータ、又は追随性担当者による被験者の初期評価から推測される。実行する後続の課題を選択する。次の課題を選択するには、システムの訓練モジュールは、概念オブジェクトの論理ツリーデータ構造(知識ツリー)を検索し、最も低いスキルレベルを有する(知識ツリーの根に最も近い)概念知識及びスキルを特定し、マッチングマトリックスを用いて、選択に使用する、対応の課題アイテムを取得する。選択されると、課題オブジェクトデータは、ドメイン知識リポジトリから取得され、提供されるために、システムの通信モジュールに送信される。
2.フィードバックを提供すること。被験者が実行中の課題オブジェクトに取り組んでいる間、システム訓練モジュールは、課題ステップに費やされた時間を監視する。制限を超えると、被験者の現在の感情状態に応じてフィードバックが提供される。これは、例えば、一般的なリストから選択された励み、共感的、又は挑戦的なメッセージであってもよく、ドメイン知識からの専用のヒントであってもよい。
3.システムの教育エージェントを駆動すること。システムの訓練モジュールは、被験者の現在の感情状態を教育エージェントの利用可能な状態と照らし合わせる。感情状態の情報を提供することに加えて、テキストメッセージは、教育エージェントを被験者に表示するユーザインターフェース上にレンダリングするためにシステムの通信モジュールに送信されてもよい。
4.概念が習得されたか否かを判定すること。上述したように、被験者モデルでは、システムは、各概念の課題遂行仕様資料に関連付けられた課題において被験者が目標の追随性を達成する確率を推定する。所定の閾値(例えば95%)に基づいて、追随性担当者は、概念が習得されたことを決定することができる。
本考案の様々な実施形態によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うためのシステムは、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実装された通信モジュールを含む。一実施形態では、通信モジュールの一部は1つ又は複数のサーバコンピュータに常駐して実行され、通信モジュールの他の一部はデスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、及び他のモバイルコンピューティングデバイスを含むがこれらに限定されない1つ又は複数のクライアントコンピュータ内に常駐して実行される。これらのクライアントコンピュータの中には、被験者が使用する専用のものと、追随性担当者専用のものがある。
通信モジュールは、ドメイン知識からの関連データと、被験者モデル及び訓練モデルで動作するシステムによって生成される資料を被験者及び追随性担当者に提示するように設計された1つ又は複数のユーザインターフェースを備える。ユーザインターフェースは更に、ユーザの入力(テキスト、ジェスチャー、画像、映像の入力)を取得したり、テキストヒントやシミュレートされた教育エージェントの行動を含むフィードバックを表示したりすることでユーザとの交流を促進するように設計されている。通信モジュールの別の重要な特徴は、現在実行中の課題オブジェクトのためのオンスクリーン(被験者によって使用されるコンピューティングデバイスの画面)平面座標と、ビジュアルキュー又は焦点のサイズとを提供することである。非限定的な例として、課題オブジェクトからの操作メモが画面上に表示されている間、通信モジュールは、操作メモの表示領域の平面座標及びサイズを提供し、この情報を、注視点追跡センサから収集されたデータと照合することで、被験者が実際に課題に取り組んでいるか否か(操作メモを見ているか)を判定する。
図2は、考案の様々な実施形態による、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するためのシステムのロジカルデータフロー図を示す。ロジカルデータフロー図は、被験者モデルと訓練モデルの実行中に、システムの主要コンポーネントがフィードバックループでどのように連携するかを示す。図2を参照する例示的な実施形態では、登録中に、適切な一連の課題がアクションプログラムにおいて被験者に選択される。この一連の課題は、ドメイン知識202における連結された概念オブジェクトのセットであるカリキュラムに直接的に対応し、被験者の目標追随性201を構成する。被験者が、システムの通信モジュールによってレンダリングされるユーザインターフェースを介してシステムにログインすると、訓練モデルでは、システムの訓練モジュールはドメイン知識202から適切な概念オブジェクト及びそれに関連する第1の課題オブジェクトを選択して、取得する。被験者モデルに入ると、課題オブジェクトデータはドメイン知識レポジトリから取得され、システムが課題オブジェクトデータ(例えば操作メモ)を被験者のためのユーザインターフェース上にレンダリングし、そして被験者が課題の作業を開始する。一方、システムは、注視点、感情、及び生理学的データを含むがこれらに限定されない感情状態官能データと、課題質問・回答や、被験者とユーザインターフェース(204)との行動分析用の交流による認知状態データとを収集することで、追随性評価及び監視プロセス203を管理する。収集された感情状態官能データ及び認知状態データを分析した後、追随性状態205が更新される。更新された追随性状態205は、目標追随性201と比較される。決定された知識/スキルギャップ又は課題手順指示提供戦略206の適合は、訓練モデルに再び提供され、ループが完成する。収集された感情状態官能データ及び認知状態データの分析が、閾値より高い特定の追随性を達成する確率を示す場合、その特定の追随性は達成されたと見なされる207。
図3は、本考案の一実施形態による、被験者モデル及び訓練モデルによるアクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するためのシステムの実行処理をより詳細に示すアクティビティ図を示す。図1を参照する例示的な実施形態では、実行処理は以下のとおり。
301:被験者がシステムの通信モジュールによってレンダリングされるユーザインターフェースを実行しているコンピューティングデバイスを介してシステムにログインする。
302:被験者は、ユーザインターフェースで提示されるカリキュラムを選択する。
303:ユーザのログイン、成功した認証、及びカリキュラムの選択を受信すると、サーバコンピュータで実行されるシステムの訓練モジュールは、選択されたカリキュラムに関連付けられている1つ又は複数の課題オブジェクトをドメイン知識リポジトリから選択して要求する。選択されたカリキュラムにおいて概念オブジェクトに関連付ける課題オブジェクトがまだ定義されていない場合、システムは知識ツリーを評価し、知識ツリーの根に可能な限り近い(根本的な)、被験者がまだ学習していない、及び・又は評価されていない概念知識及びスキルを特定する。この処理は、汎用的なコンピュータプロセッサ及び特別に設計されたコンピュータプロセッサにおいて実行される、ソフトウェアとファームウェアの組み合わせによって実現されるシステムの推奨エンジンによって実行される。推奨エンジンは練習課題を推奨し、より低い頻度でマスタリーチャレンジ課題を推奨する。システム推奨の課題にはデフォルトの優先順位を有するが、追随性担当者が割り当てる課題は、課題の選択においてより高い優先順位を有する。一実施形態では、システムは、カリキュラムにおいて次に学習されるべき課題遂行仕様資料(例えばトピック)を推奨するための推奨エンジンを更に含む。被験者の推定感情状態及び認知状態データ、被験者の成績データ、(すべての「エッジ」トピックが記載されている)知識ツリー、追随性担当者の推奨情報、共同フィルタからのデータ(ピア被験者からのデータを参照)、及び課題遂行仕様コンテンツデータ(被験者属性と遂行仕様資料の属性をマッチングさせる)を用いて、推奨エンジンは、訓練モデルでシステムによって実行される次の課題を推奨する。例えば、難しい/なじみのないトピックを(特定の課題の実行中に推定された感情状態データから)特定し、別の/よりなじみのあるトピックを次の課題として推奨することによって、被験者のネガティブな感情を緩和させることができ、また、被験者の特定の感情状態が検出されると、難しい/なじみのないトピックを次の課題として推奨することができる。別の例として、推定された感情状態データは、被験者がチャレンジされていないことを示す場合には、推奨エンジンは、より高い難易度の課題を次の課題として選択することができる。これにより、最高の追随性の向上と課題のマッチングが可能となる。また、これにより、類似の成績データ、感情状態、及び/又は認知状態の推定に基づいた課題のクラスタ化が可能となる。また、これにより、同様の追随性の達成度を有する被験者同士を合わせたフォーカスグループの形成が可能となる。
304:要求された課題オブジェクトが見つかると、それらのデータが取得され、システムの通信モジュールのユーザインターフェースに表示されるように被験者のコンピューティングデバイスに送信される。
305:被験者は、追随性評価及び監視セッションを開始するために課題オブジェクトを選択する。
306:システムの訓練モジュールは、システムの通信モジュールのユーザインターフェースにレンダリングするために、選択された課題オブジェクトにおける次のアイテムをドメイン知識リポジトリから取得する。
307:被験者モデルに入ると、システムの通信モジュールのユーザインターフェースは、選択された課題オブジェクトにアイテム(追随性アンケートの質問及び/又は課題手順の指示)を表示する。
308:被験者の顔を撮影するためのカメラが起動する。
309:被験者が、選択された課題オブジェクトのアイテムにおける課題手順資料に取り組んでいる最中(309a)に、被験者の注視点及び表情が分析される(309b)。
310:収集された官能データ及び被験者のプロファイルの情報(過去の全ての成績データ及び追随性達成進捗データを含むオーバーレイ)に基づいて推定された被験者の感情状態及び認知状態に応じて、仮想アシスタントは、システムの通信モジュールのユーザインターフェースに提示されるガイダンス及び/又はテキストヒントの形で表示されてもよい。
311:被検者は、課題手順ステップを完了するための試行回答及び/又は試行コマンドを入力する。
312:試行回答及び/又は試行コマンドが採点され、その点数はシステムの通信モジュールのユーザインターフェースを介して被験者に表示される。
313:試行回答及び/又は試行コマンドと、点数とが、さらなる分析のためにシステムによって記憶される。
314:試行回答及び/又は試行コマンドと、点数とは、被験者が、選択された課題オブジェクトに関連する概念を理解する確率と、被験者が当該課題において目標の追随性を達成する確率を計算するのに用いられる。
315:選択された課題が完了した場合、システムの訓練モジュールは、計算された、被験者が関連概念を理解する確率と、被験者が課題において目標の追随性を達成する確率に基づいて次の課題を選択し、要求し、ステップ303のステップを繰り返す。
316:選択された課題がまだ完了していない場合、システムの訓練モジュールは、選択された課題における次のアイテムを取得し、ステップ306からのステップを繰り返す。
317:全ての課題が完了した後、システムは、被験者に関する結果レポートを生成する。
本考案の別の態様によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するためのシステムは、追随性担当者、被験者及びドメイン知識からの知識を取得し、複数の物理的施設にわたる対面型の追随性評価及び監視プロセスの運用、並びにオンライン、リモート等での評価及び監視を支援する管理モジュールを含む。例示的な実施形態としては、管理モジュールは、追随性担当者の資格、被験者及び追随性担当者の移動距離、先着順、追随性達成状況と訓練戦略に基づく追随性担当者の構成等の制約を考慮し、追随性評価及び監視セッションの最適なスケジュールを決定する制約ベースのスケジューリングアルゴリズムを含む。例えば、追随性担当者が被験者同士の教育/訓練を促進したい場合には、スケジューリングアルゴリズムは、被験者がお互いを助け合い、フォーカスグループを形成できるように、補完し合うスキルセットを持つ被験者を選択できる。
対面型の追随性評価及び監視セッションの代表的な流れとしては、被験者がチェックインし、被験者の認知状態を評価するための小課題を実行し、その結果が追随性担当者のユーザインターフェースに表示されることが含まれる。セッションの続きでは、追随性担当者が新しい課題遂行の仕様を説明する。ここでは、追随性担当者が、システムの教育エージェントから、教育目的及びヒント等の支援を受ける。説明の後、被験者は、システムから適切な足場(Scaffolding)を提供してもらいながら、新しい課題に取り組む。追随性の達成状況と被験者の感情状態に基づいて、システムの訓練モジュールは、既に完了した以前の課題で同様の追随性を達成した被験者同士でのフォーカスグループ形成を提案したりする等、いくつかのオプションを用いて追随性評価及び監視のセッションを継続する方法を決定する。追随性評価及び監視セッションは、被験者がチェックアウトすることによって終了する。出席のデータは、請求及び追随性検証のために収集される。
上述した本考案の実施形態は、主に商業活動及び産業活動、アンケート調査、職務遂行評価等の環境に適用されるが、本考案は、過度の実験なしに顧客関係管理(Customer Relationship Management;CRM)のアクションプログラムにも適合可能である。本考案の一実施形態によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するためのシステムと方法は、対話型・適応型の追随性アンケート及び課題手順指示を提供し、管理するためのメカニズムを備える。このメカニズムは、アンケート及び課題手順指示資料と、提供メカニズムデータとをドメイン知識として論理的に構造化し、その構成要素である概念オブジェクトと課題オブジェクトは、それぞれ、知識及びスキルのアイテムと、該当する業界又は商売に関連する訓練資料を有する。アンケート調査の応用において、システムによる被験者の感情状態及び認知状態の推定は、アンケート質問の選択及び提示を促進するために用いられてもよい。これにより、被験者からのより正確で迅速な調査結果の調達が可能となる。職務適正評価の応用において、システムによる、勤務中の対象の従業員の感情状態及び認知状態の推定を用いることで、雇用主は、従業員のスキルレベル、参加レベル、及び興味を継続的に測定することができ、仕事及び役割の割り当てに用いられる。
図6A及び図6Bを参照する。本考案の別の態様によれば、アクションプログラムにおける課題遂行要件に対する被験者の追随性を管理、評価、及び監視するための方法とシステムは、ドメインモデル、評価モデル、学習者モデル、1つ又は複数の動機付けモデル、遷移モデル、及び教育モデルを含む、実行の相互接続モデルに基づく機械学習手法を取り組む。相互接続の実行モデルは、被験者から特定の望ましい動作、行動、及び/又は結果を誘発、強要、又は動機付けるためのものである。これらの特定の望ましい動作及び結果の非限定的な例として、特定のトピックの学習、特定の学術的目標の達成、特定の職業上の目標の達成、特定の職務の完了、特定のものの購入、又は特定の商業活動を行うことを含む。これらの相互接続の実行モデルは、評価モデルによる被験者の学習状況の継続的な追跡及び評価、学習モデルによる学習稼働の駆動、ディープラーニングモデル及び動機付け作業モデルによる被験者の動機付け、ドメインモデル及び遷移モデルによる知識空間アイテムの選択と再選択、教育モデルによる、一つの知識段階から次の知識段階への知識空間アイテム及び活動の伝達を含む機械学習フィードバックループを形成する。
本明細書で開示される電気的実施形態は、本開示の教示に従って構成又はプログラムされた特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、及びその他のプログラマブルロジックデバイスを含む汎用又は専用のコンピューティングデバイス、コンピュータプロセッサ、又は電子回路を用いて実現されてもよいが、本考案はこれに限定されない。汎用又は専用のコンピューティングデバイス、コンピュータプロセッサ、又はプログラマブルロジックデバイスで実行されるコンピュータ命令又はソフトウェアコードは、本開示の教示に基づいてソフトウェア又は電子技術の専門家によって容易に準備され得るであろう。
電子的実施形態の全部又は一部は、サーバコンピュータ、パーソナルコンピュータ、ノートブックコンピュータ、スマートフォン、及びタブレットコンピュータ等のモバイルコンピューティングデバイスを含む1つ又は複数の、汎用又は専用のコンピューティングデバイスにおいて実行されてもよい。
電子的実施形態は、コンピュータ又はマイクロプロセッサを、本考案のプロセスのいずれかを実行するようにプログラムするために用いられるコンピュータ命令又はソフトウェアコードを格納したコンピュータ記憶媒体を含む。記憶媒体は、フロッピーディスク、光ディスク、ブルーレイディスク、DVD、CD−ROM、及び光磁気ディスク、ROM、RAM、フラッシュメモリ装置、あるいは命令、コード、及び/又はデータを格納できる任意の種類の媒体若しくは装置を含んでもよいが、これらに限定されない。
本考案の様々な実施形態はまた、機械命令の全体又は一部が、イントラネット、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)、インターネット、及び他の形態のデータ伝送媒体からなる通信ネットワークを介して相互接続された1つ又は複数の処理装置によって、分散方式で実行される分散型コンピューティング環境及び/又はクラウドコンピューティング環境において実施されてもよい。
本考案の上記の説明は、例示及び説明を目的として提供されたものである。また、本開示は、網羅的であること、又は本考案を開示された形態そのものに限定することを意図するものではない。多くの修正例及び変形例が当業者には明らかであろう。
実施形態は、本考案の原理及び実用的な用途をなるべく明確に説明するために選択し、説明されたものであり、これによって当業者が、考案の様々な実施形態、及び企図されている特定の用途に適した様々な変更を理解することができるであろう。

Claims (20)

  1. アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うためのシステムであって、
    前記システムは、
    追随性評価及び監視セッション中に、被験者からの官能データの収集及び生成を行うように構成された1つ又は複数の光学センサと、
    1つ又は複数のドメイン知識データエンティティを含む1つ又は複数の電子データベースであって、前記ドメイン知識データエンティティの各々は、1つ又は複数の概念データエンティティ及び1つ又は複数の課題データエンティティを含み、前記概念データエンティティの各々は、1つ又は複数の課題遂行仕様コンテンツアイテムを含み、前記課題データエンティティの各々は、1つ又は複数の追随性アンケート及び課題手順指示資料アイテムを含み、前記課題データエンティティの各々は、少なくとも1つの概念データエンティティと関連付けられており、複数の前記概念データエンティティをグループ化することでカリキュラムが形成されている電子データベースと、
    前記光学センサによって収集された前記官能データを用いて、前記被験者の感情状態と認知状態を推定するように構成された、1つ又は複数のコンピュータ処理装置によって実行される被験者モジュールと、
    後続の課題データエンティティを選択し、前記課題データエンティティの追随性アンケート及び課題手順指示資料アイテムを前記電子データベースから取得し、追随性評価及び監視セッションにおける各課題の完了後に前記被験者に提供及び提示するように構成された、1つ又は複数のコンピュータ処理装置によって実行される訓練モジュールと、
    前記後続の課題データエンティティの選択に利用可能な課題データエンティティのリストを作成するように構成された、1つ又は複数のコンピュータ処理装置によって実行される推奨エンジンと、
    を備え、
    前記選択に利用可能な課題データエンティティは、選択されたカリキュラムを形成する1つ又は複数の前記概念データエンティティに関連する課題データエンティティであり、
    前記選択に利用可能な課題データエンティティのリストからの課題データエンティティの選択は、前記概念データエンティティの前記課題手順指示資料アイテムに関連する課題において前記被験者が目標の追随性レベルを達成する確率に基づいており、
    前記被験者が前記目標の追随性レベルを達成する確率は、前記被験者の前記感情状態及び認知状態の推定を示す入力データを用いて計算される、
    システム。
  2. 触覚感知装置に対して加わる前記被験者の触覚圧力、心拍数、電気皮膚活動(EDA)、皮膚温、及びタッチ反応を収集し、付加官能データを追随性評価及び監視セッション中に生成するように構成された1つ又は複数の生理学的測定装置を更に備え、
    前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記生理学的測定装置から収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項1に記載のシステム。
  3. 前記被験者の声及び声の明瞭さを収集し、付加官能データを追随性評価及び監視セッション中に生成するように構成された1つ又は複数の音声録音装置を更に備え、
    前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記音声録音装置から収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項1に記載のシステム。
  4. 前記被験者の筆跡を収集し、付加官能データを追随性評価及び監視セッション中に生成するように構成された1つ又は複数の筆跡収集装置を更に備え、
    前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記筆跡収集装置から収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項1に記載のシステム。
  5. 前記被験者の教育エージェントとの交流を収集し、付加官能データを追随性評価及び監視セッション中に生成するように構成された1つ又は複数の教育エージェントを更に備え、
    前記被験者モジュールは更に、前記光学センサから収集された前記官能データと、前記教育エージェントから収集された前記付加官能データを用いて、前記被験者の前記感情状態及び前記認知状態を推定するように構成されている、
    請求項1に記載のシステム。
  6. 前記課題手順指示資料アイテムの各々は、
    操作メモ、イラスト、テスト問題、テスト問題が埋め込まれた動画、問題の解決を導き出すための指示を提供するように設計された複数のステップを含む問題解決実習、及び前記課題遂行仕様に関連する前記課題手順ステップの前記被験者の遂行と同時に提供される問題解決実習ステップをシミュレートするための1つ又は複数の発見的規則又は制約を含む問題解決実習のいずれかである、
    請求項1に記載のシステム。
  7. 複数の前記概念データエンティティが連結されることで論理ツリーデータ構造が形成され、
    トピックにおいて根本的な知識及びスキルコンテンツアイテムを有する概念データエンティティは、前記論理ツリーデータ構造の根に近いノードによって表現され、上級の知識及びスキルコンテンツアイテムと、共通の根本的な知識及びスキルコンテンツアイテムの分野とを有する概念データエンティティは、前記論理ツリーデータ構造の異なる枝において高く位置するノードによって表現され、
    前記推奨エンジンは更に、前記後続の課題データエンティティの選択に利用可能な課題データエンティティのリストを作成するように構成されており、
    前記利用可能な前記課題データエンティティは、前記選択されたカリキュラムを形成する1つ又は複数の前記概念データエンティティに関連する課題データエンティティ、並びに、前記被験者がまだ習得していない知識及びスキルのうち、前記論理ツリーデータ構造において、前記概念データエンティティが属する前記根に最も近い概念データエンティティである、
    請求項1に記載のシステム。
  8. 前記被験者が前記目標の追随性レベルを達成する前記確率は、前記被験者の前記感情状態及び認知状態の推定を示す入力データと、前記被験者の成績データ及び行動データとを用いて計算され、
    前記被験者の前記成績データ及び前記行動データは、課題手順ステップの完了に向けた課題の成功及び失敗の試行回数、課題手順を完了する速度、前記アンケートの質問に対する回答の正確性、前記被験者の回答の模範解答に対する類似度、与えられた選択肢の切り替え、特定の種類のテスト質問、主題、及び/又は課題遂行仕様の複雑さ、難易度、厳格レベルに対する応答速度、解決に向けた作業ステップ、前記被験者の筆跡、口調、及び言葉の明瞭さのうち、1つ又は複数を含む、
    請求項1に記載のシステム。
  9. 前記官能データは、前記被験者の表情、眼球運動、注視点、及び頭部姿勢のうち、1つ又は複数を含む、
    請求項1に記載のシステム。
  10. 前記選択に利用可能な課題データエンティティのリストからの課題データエンティティの選択は、前記被験者が前記目標の追随性レベルを達成する確率及び前記被験者の推定感情状態に基づいており、
    前記被験者の前記推定感情状態がネガティブな感情を示す場合、前記被験者が好む知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティが、前記被験者が嫌う知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティよりも、優先して選択され、
    前記被験者の前記推定感情状態がポジティブな感情を示す場合、前記被験者が嫌う知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティが、前記被験者が好む知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティよりも、優先して選択される、
    請求項1に記載のシステム。
  11. アクションプログラムにおける課題遂行要件に対する被験者の追随性の管理、評価、及び監視を行うための方法であって、
    前記方法は、
    追随性評価及び監視セッション中に、被験者からの官能データを1つ又は複数の光学センサによって収集及び生成する工程と、
    1つ又は複数のドメイン知識データエンティティを含む1つ又は複数の電子データベースであって、前記ドメイン知識データエンティティの各々は、1つ又は複数の概念データエンティティ及び1つ又は複数の課題データエンティティを含み、前記概念データエンティティの各々は、1つ又は複数の課題遂行仕様コンテンツアイテムを含み、前記課題データエンティティの各々は、1つ又は複数の追随性アンケート及び課題手順指示資料アイテムを含み、前記課題データエンティティの各々は、少なくとも1つの概念データエンティティと関連付けられており、複数の前記概念データエンティティをグループ化することでカリキュラムが形成されている電子データベースを提供する工程と、
    前記光学センサによって収集された前記官能データを用いて、前記被験者の感情状態と認知状態を推定する工程と、
    後続の課題データエンティティを選択し、前記課題データエンティティの追随性アンケート及び課題手順指示資料アイテムを前記電子データベースから取得し、追随性評価及び監視セッションにおける各課題の完了後に前記被験者に提供及び提示する工程と、
    前記後続の課題データエンティティの選択に利用可能な課題データエンティティのリストを作成する工程と、
    を含み、
    前記選択に利用可能な課題データエンティティは、選択されたカリキュラムを形成する1つ又は複数の前記概念データエンティティに関連する課題データエンティティであり、
    前記選択に利用可能な課題データエンティティのリストからの課題データエンティティの選択は、前記概念データエンティティの前記課題手順指示資料アイテムに関連する課題において前記被験者が目標の追随性レベルを達成する確率に基づいており、
    前記被験者が前記目標の追随性レベルを達成する確率は、前記被験者の前記感情状態及び認知状態の推定を示す入力データを用いて計算される、
    方法。
  12. 追随性評価及び監視セッション中に、触覚感知装置に対して加わる前記被験者の触覚圧力、心拍数、電気皮膚活動(EDA)、皮膚温、及びタッチ反応を収集し、付加官能データを生成する工程を更に含み、
    前記被験者の感情状態と認知状態を推定する工程において、前記光学センサから収集された前記官能データと、前記付加官能データとが用いられる、
    請求項1に記載の方法。
  13. 追随性評価及び監視セッション中に、1つ又は複数の音声録音装置を用いて前記被験者の声及び声の明瞭さを収集し、付加官能データを生成する工程を更に含み、
    前記被験者の感情状態と認知状態を推定する工程において、前記光学センサから収集された前記官能データと、前記音声録音装置から収集された前記付加官能データとが用いられる、
    請求項11に記載の方法。
  14. 追随性評価及び監視セッション中に、1つ又は複数の筆跡収集装置を用いて前記被験者の筆跡を収集し、付加官能データを生成する工程を更に含み、
    前記被験者の感情状態と認知状態を推定する工程において、前記光学センサから収集された前記官能データと、前記筆跡収集装置から収集された前記付加官能データとが用いられる、
    請求項11に記載の方法。
  15. 追随性評価及び監視セッション中に、前記被験者の教育エージェントとの交流を収集し、付加官能データを生成する工程を更に含み、
    前記被験者の感情状態と認知状態を推定する工程において、前記光学センサから収集された前記官能データと、前記教育エージェントから収集された前記付加官能データとが用いられる、
    請求項11に記載の方法。
  16. 前記課題手順指示資料アイテムの各々は、
    操作メモ、イラスト、テスト問題、テスト問題が埋め込まれた動画、問題の解決を導き出すための指示を提供するように設計された複数のステップを含む問題解決実習、及び前記課題遂行指示に関連する前記課題手順ステップの前記被験者の遂行と同時に提供される問題解決実習ステップをシミュレートするための1つ又は複数の発見的規則又は制約を含む問題解決実習のいずれかである、請求項11に記載の方法。
  17. 複数の前記概念データエンティティが連結されることで論理ツリーデータ構造が形成され、
    トピックにおいて根本的な知識及びスキルコンテンツアイテムを有する概念データエンティティは、前記論理ツリーデータ構造の根に近いノードによって表現され、上級の知識及びスキルコンテンツアイテムと、共通の根本的な知識及びスキルコンテンツアイテムの分野とを有する概念データエンティティは、前記論理ツリーデータ構造の異なる枝において高く位置するノードによって表現され、
    前記利用可能な前記課題データエンティティは、前記選択されたカリキュラムを形成する1つ又は複数の前記概念データエンティティに関連する課題データエンティティ及び、前記被験者がまだ習得していない知識及びスキルのうち、前記論理ツリーデータ構造において、前記概念データエンティティが属する前記根に最も近い概念データエンティティである、
    請求項11に記載の方法。
  18. 前記被験者が前記目標の追随性レベルを達成する前記確率は、前記被験者の前記感情状態及び認知状態の推定を示す入力データと、前記被験者の成績データ及び行動データとを用いて計算され、
    前記被験者の前記成績データ及び前記行動データは、課題手順ステップの完了に向けた課題の成功及び失敗の試行回数、課題手順を完了する速度、前記アンケートの質問に対する回答の正確性、前記被験者の回答の模範解答に対する類似度、与えられた選択肢の切り替え、特定の種類のテスト質問、主題、及び/又は課題遂行指示複雑さ、難易度、厳格レベルに対する応答速度、解決に向けた作業ステップ、前記被験者の筆跡、口調、及び言葉の明瞭さのうち、1つ又は複数を含む、
    請求項11に記載の方法。
  19. 前記官能データは、前記被験者の表情、眼球運動、注視点、及び頭部姿勢のうち、1つ又は複数を含む、
    請求項11に記載の方法。
  20. 前記選択に利用可能な課題データエンティティのリストからの課題データエンティティの選択は、前記被験者が前記目標の追随性レベルを達成する確率及び前記被験者の推定感情状態に基づいており、
    前記被験者の前記推定感情状態がネガティブな感情を示す場合、前記被験者が好む知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティが、前記被験者が嫌う知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティよりも、優先して選択され、
    前記被験者の前記推定感情状態がポジティブな感情を示す場合、前記被験者が嫌う知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティが、前記被験者が好む知識及びスキルコンテンツアイテムを有する概念データエンティティに関連する課題データエンティティよりも、優先して選択される、
    請求項11に記載の方法。

JP2019600105U 2017-06-15 2018-06-04 感情検出を用いて追随性を評価及び監視するためのシステム Active JP3223411U (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762520542P 2017-06-15 2017-06-15
US62/520,542 2017-06-15
US15/647,272 US20180232567A1 (en) 2017-02-14 2017-07-12 Interactive and adaptive training and learning management system using face tracking and emotion detection with associated methods
US15/647,272 2017-07-12
US201762594557P 2017-12-05 2017-12-05
US62/594,557 2017-12-05
US201862646365P 2018-03-21 2018-03-21
US62/646,365 2018-03-21
PCT/IB2018/053968 WO2018229592A1 (en) 2017-06-15 2018-06-04 Method and system for evaluting and monitoring compliance using emotion detection

Publications (1)

Publication Number Publication Date
JP3223411U true JP3223411U (ja) 2019-10-10

Family

ID=66261389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019600105U Active JP3223411U (ja) 2017-06-15 2018-06-04 感情検出を用いて追随性を評価及び監視するためのシステム

Country Status (2)

Country Link
JP (1) JP3223411U (ja)
CN (1) CN109716382A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200387816A1 (en) * 2019-06-10 2020-12-10 International Business Machines Corporation User activity based cognitive question generation
TWI788696B (zh) * 2020-08-27 2023-01-01 清源智慧健康醫學科技股份有限公司 導入個人診療暨健康管理資訊及健康促進以優化健保資源分配之系統
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统
CN115547501B (zh) * 2022-11-24 2023-04-07 国能大渡河大数据服务有限公司 一种结合工作特征的员工情绪感知方法及系统

Also Published As

Publication number Publication date
CN109716382A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
JP3224675U (ja) 瞳孔反応、顔追跡、及び感情検出を使用した対話型・適応型学習、神経認知障害診断、並びに非追随性検出のシステム
Sharma et al. Multimodal data capabilities for learning: What can multimodal data tell us about learning?
Dewan et al. Engagement detection in online learning: a review
US20200046277A1 (en) Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods
Zhang et al. Data-driven online learning engagement detection via facial expression and mouse behavior recognition technology
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
Zaletelj et al. Predicting students’ attention in the classroom from Kinect facial and body features
JP3223411U (ja) 感情検出を用いて追随性を評価及び監視するためのシステム
Liapis et al. User experience evaluation: A validation study of a tool-based approach for automatic stress detection using physiological signals
WO2019180652A1 (en) Interactive, adaptive, and motivational learning systems using face tracking and emotion detection with associated methods
Cooper et al. Actionable affective processing for automatic tutor interventions
Buono et al. Assessing student engagement from facial behavior in on-line learning
Chiu et al. A bayesian classification network-based learning status management system in an intelligent classroom
Singh et al. Do I Have Your Attention: A Large Scale Engagement Prediction Dataset and Baselines
US20230105077A1 (en) Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection
US20230121592A1 (en) Using biometric data intelligence for education management
US20230127335A1 (en) Intelligent and adaptive measurement system for remote education
Utami et al. A Brief Study of The Use of Pattern Recognition in Online Learning: Recommendation for Assessing Teaching Skills Automatically Online Based
Shingjergji et al. Sense the classroom: AI-supported synchronous online education for a resilient new normal.
Giraldi et al. User Experience on E-learning Platforms in Higher Education
WO2018229592A1 (en) Method and system for evaluting and monitoring compliance using emotion detection
Nakamura et al. Estimating learners’ subjective impressions of the difficulty of course materials in e-learning environments
Guhan et al. Developing an effective and automated patient engagement estimator for telehealth: A machine learning approach
Ting et al. Usability Evaluation of Facial Emotion Recognition System
Ishimaru Meta-Augmented Human: From Physical to Cognitive Towards Affective State Recognition

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

R150 Certificate of patent or registration of utility model

Ref document number: 3223411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250