JP6742545B1 - 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム - Google Patents

学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム Download PDF

Info

Publication number
JP6742545B1
JP6742545B1 JP2019568674A JP2019568674A JP6742545B1 JP 6742545 B1 JP6742545 B1 JP 6742545B1 JP 2019568674 A JP2019568674 A JP 2019568674A JP 2019568674 A JP2019568674 A JP 2019568674A JP 6742545 B1 JP6742545 B1 JP 6742545B1
Authority
JP
Japan
Prior art keywords
user
cognitive
cognitive state
data
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019568674A
Other languages
English (en)
Other versions
JP2020527741A (ja
Inventor
フー−ヴィン・グエン
Original Assignee
フヴィ・コグニティヴ・ネットワーク・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フヴィ・コグニティヴ・ネットワーク・コーポレーション filed Critical フヴィ・コグニティヴ・ネットワーク・コーポレーション
Application granted granted Critical
Publication of JP6742545B1 publication Critical patent/JP6742545B1/ja
Publication of JP2020527741A publication Critical patent/JP2020527741A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/02—Counting; Calculating
    • G09B19/025—Counting; Calculating with electrically operated apparatus or devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

個人用の直感に基づく認知支援システムは、カメラヘッドセットとしてユーザが装着することができる1つまたは複数の構成要素と、ユーザの直感状態を取り込む1つまたは複数のセンサと、ビデオを取り込むカメラと、取り込まれたユーザの直感状態に基づいて取り込まれたビデオについての認知ナビゲーションマップを提供するプロセッサと、認知ナビゲーションマップによってリンクされたビデオにメモ、コメントを入力する入力装置と、リンクおよび識別された認知マップを有する情報の全ての構成要素を格納するメモリとを含む。

Description

(関連出願の相互参照)
本願は、参照によりその内容の全体を本明細書に組み込む、米国仮出願第62/518824号の優先権を主張する。
例示的な実施形態による装置、方法、システム、およびコンピュータ可読媒体は、一般に認知技術に関し、さらに詳細には、学習および記憶に関係する技術に関する。
今日、世界の知識は非常に急速に増加している。学生は、学校およびその他の場所で膨大な量の情報に苦労している。この膨大な量の情報は、修学期間を通じて講義の形式で学生に与えられることが多い。
記憶分野の研究は、人は非常に限られた量の感覚情報しか短期記憶に保持することができないことを示しているように見える。感覚情報の一部分は、人のワーキングメモリにおいて認知処理タスクを受けない限り、わずか数秒で忘れられてしまう。これは、人がその感覚情報のトピックを好まず、その人の脳内の痛み中枢が活動化されて怠慢を生じるときには、特にそうである。このような状況に置かれた人は、その嫌いなトピックを学習するよりも、より楽しい物思いに注意を向ける傾向がある。その結果として、その人の学習成果は低くなる。
また、研究により、人は、複数の情報チャンクの間を移動し、それらの情報チャンクをスキャンし、相関付け、確立することによって、複雑なトピックについてのより包括的な理解を得ることができることも分かっている。チャンクは、トピック内のいくつかの相関がある特徴についての相関性ネットを含む。新たに確立された各チャンクが、そのトピック内の他のチャンクおよびその人の洞察とさらに相関付けられた場合には、そのトピックについての完全に包括的な理解が得られ、洞察チャンキングネットワークを介してその人の洞察に新たな長期記憶が十分に確立される。例えば、怠慢、集中モード、発散モード、およびチャンキング方法については、"Learning How to Learn"、Barbara Oakley、https://youtu.be/vd2dtkMINIw、最終アクセス日時2018年1月7日、を参照されたい。
上記の方法を今日の学習技術に適用するためには、学生は、カメラを使用して、学校における日中の様々な授業中の講義をビデオ撮影すればよい。学生は、講義中に、自分のノートブックまたはラップトップにメモをとることもできる。自宅において、学生は、ビデオをスクリーンまたはTVで再生し、次いでメモを対応するエピソードと関係付けて、メモを頼りにある点から別の点まで、またはトピックからトピックへ、講義をレビューおよびリハーサルすることができる。
ただし、長いビデオを最初から最後までレビューするのは、長時間を要し、多大な労力を要することがある。さらに、学生は、自分が理解している時点でしか、または自分が理解しているトピックについてしかメモをとることができず、学生自身が混乱している時点またはトピックでは、あるいは学生自身が関心がないときには、メモが失われたり、混乱したりすることもある。
レビュー時に、メモやコメントを追跡し、ビデオ内の関係のある特定のエピソードに配置することは容易ではない。労力を節約すると、メモと、コメントと、関係のある特定のエピソードとの間のリンクが失われることが多い。したがって、学習プロセスの効果、およびこのようにして節約された情報の将来の使用が制限される。
講師にも、学生が退屈している、眠気を覚えている、または混乱しているポイントまたは時、および学生が関心を持ち興奮する時またはポイントを自身が認識するのを助けるための学生からのフィードバック信号が、非常に限られている。
Nguyenによる米国特許第9711056号
「Learning How to Learn」、Barbara Oakley、https://youtu.be/vd2dtkMINIw Eric R. Kandel、「We are what we remember: memory and the biological basis of individuality」、Public Lecture Royal Society、https://www.youtube.com/watch?v=skyvzMxtLu8&feature=youtu.be、最終アクセス日時2017年12月11日 Frank Longo、「Learning and Memory: How it Works and When it Fails」、Stanford University、https://www.youtube.com/watch?v=a HfSnQqeyY&t=1846s、最終アクセス日時2017年12月11日 Eleanor Maguire、「The neuroscience of Memory」、The Royal Institution、https://youtu.be/gdzmNwTLakg、最終アクセス日時2017年12月11日 「Learning How to Learn」、Barbara Oakley、https://youtu.be/vd2dtkMINlw、最終アクセス日時2018年1月7日 「How We Learn Versus How We Think We Learn」、Robert Bjork、Distinguished Research Professor in the UCLA Department of Psychology、https://youtu.be/oxZzoVp5jmI、最終アクセス日時2018年1月10日
当技術分野では、講義において、または講義に沿って、1人または複数人の学生の認知状態を監視し、収集し、マーク付けして、学生がレビューすべきポイントに移動することができるようにすることが必要とされている。ビデオ講義の特定のエピソードに、メモ、スケッチ、および/またはコメントを直接追加することも必要とされている。さらに、教室で記録されたビデオ講義、講義時または講義中のユーザの同期認知パフォーマンス、レビュー時またはレビュー中の学生の同期認知パフォーマンス、リハーサル、メモの内容、コメント、質問、検索、および識別されたドキュメントの内容についてのナビゲーションシステムなどの学習プロセスの1つまたは複数の部分、構成要素、または全データをドキュメント化することも必要である。
また、当技術分野では、ネットワークを介して学習プロセスを交換し、学習プロセスについて議論し、学習プロセスを改善して、ユーザがより効率的に素材を学習するのを助けること、ならびに講師が素材を容易に、効果的に、かつ興味深い形式で提示することができるように講義に関するより良好なフィードバックを提供することによって講師が教授プロセスを改善するのを助けることも必要とされている。当技術分野では、情報取込みプロセスおよび情報提示プロセスを改善することも必要とされている。
例示的な非限定的な実施形態によれば、キャプチャした同期した視覚情報およびオーディオ情報、キャプチャした同期したユーザの認知状態情報、ディスプレイ、直感に基づくナビゲーションマップ、およびユーザによって入力されるメモまたはコメントに基づく認知支援システムが提供される。
例示的な非限定的な実施形態によれば、ユーザの同期した認知状態でマーク付けされた、サブウィンドウ内に表示されるサブタイトルモジュールを実施するスクリプトウィンドウに基づく、直感に基づくナビゲーションマップが提供される。
例示的な非限定的な実施形態によれば、キャプチャした同期した視覚情報およびオーディオ情報は、ユーザの同期した認知状態でマーク付けされた、サブウィンドウ内に表示されるサブタイトルモジュールと同期した、サブビデオまたはエピソードに分割される。
例示的な非限定的な実施形態によれば、ユーザの同期した認知状態でマーク付けされた、サブウィンドウ内に表示されるサブタイトルモジュールと同期したサブビデオには、ユーザによって入力された相関があるメモ、コメント、およびスケッチなどが追加されてもよい。
例示的な非限定的な実施形態は、従来技術の上述した欠点および問題を克服する可能性がありまた、上記には記載していない他の欠点および問題に対する解決策を提供するように開発されている可能性もある。ただし、本開示の教示に従って動作する方法、装置、システム、およびコンピュータ可読媒体は、必ずしも上述の特定の問題または欠点のいずれかを克服する必要があるとは限らない。1つまたは複数の例示的な実施形態は、上述した欠点を克服する必要がなく、上述した問題のいずれも克服しないこともあることを理解されたい。
例示的な実施形態の1態様によれば、個人用の感情に基づく認知支援システムが提供され、このシステムは、視覚情報およびオーディオ情報のうちの少なくとも1つを含むデータを環境から取り込むように構成される少なくとも1つの装置と、本装置によって取り込まれた前記データに対応するユーザの感情状態を取り込むように構成される少なくとも1つのセンサと、メモリおよびプロセッサを含むレビュー装置とを含む。このプロセッサは、上記装置によって取り込まれたデータを、所定の基準に従って複数のセグメントに分割し、上記複数のセグメントのそれぞれについて、上記複数のセグメントのうちのそれぞれのセグメントに対応するセンサによって取り込まれたユーザの感情状態の所定の構成要素と、メモリに格納された特有の直感参照サンプルを表す特有の参照信号との間の比較から生成される、相関のタイプおよび相関のレベルを含むユーザの直感状態を決定し、少なくとも1つのタイムラインを生成し、上記複数のセグメントのそれぞれについて、感情インジケータを含めて、生成したタイムラインを表示するように制御するように構成される。感情インジケータは、ユーザの決定した直感状態を示す。
さらに別の例示的な実施形態によれば、個人用の感情に基づく認知支援方法が提供される。本方法は、コンピュータが、環境から取り込まれた視覚情報およびオーディオ情報のうちの少なくとも1つを含むデータを受け取るステップと、コンピュータが、少なくとも1つのセンサによって取り込まれた、上記データに対応するユーザの感情状態を受け取るステップと、コンピュータが、所定の基準に従って上記データを複数のセグメントに分割するステップと、上記複数のセグメントのそれぞれについて、コンピュータが、上記複数のセグメントのうちのそれぞれのセグメントに対応するユーザの受け取った感情状態の所定の構成要素と、メモリに格納された複数の特有の参照信号との間の比較から生成される、相関のタイプおよび相関のレベルを含むユーザの直感状態を決定するステップとを含む。特有の参照信号は、特有の直感参照サンプルを表す。本方法は、コンピュータが、上記データについて少なくとも1つのタイムラインを生成するステップをさらに含む。このタイムラインは、ユーザの決定した直感状態を示す、上記複数のセグメントのそれぞれについての感情インジケータを含む。本方法は、コンピュータが、生成したタイムライン、および受け取ったデータの少なくとも一部分を出力するステップをさらに含む。
さらに別の例示的な実施形態によれば、個人用の感情に基づく認知支援方法を格納した、非一時的コンピュータ可読記録媒体が提供される。本方法がコンピュータによって実行されると、本方法は、コンピュータに、環境から取り込まれた視覚情報およびオーディオ情報のうちの少なくとも1つを含むデータを受け取ることと、少なくとも1つのセンサによって取り込まれた、上記データに対応するユーザの感情状態を受け取ることと、所定の基準に従って上記データを複数のセグメントに分割することと、上記複数のセグメントのそれぞれについて、上記複数のセグメントのうちのそれぞれのセグメントに対応するユーザの受け取った感情状態の所定の構成要素と、メモリに格納された複数の特有の参照信号との間の比較から生成される、相関のタイプおよび相関のレベルを含むユーザの直感状態を決定することとを行わせる。この特有の参照信号は、特有の直感参照サンプルを表す。コンピュータは、さらに上記データについて少なくとも1つのタイムラインを生成し、ここでこの少なくとも1つのタイムラインは、ユーザの決定した直感状態を示す、上記複数のセグメントのそれぞれについての感情インジケータを含み、コンピュータは、さらに生成したタイムライン、および受け取ったデータの少なくとも一部分を出力する。
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、例示的な実施形態を例示するものであり、本明細書の説明と合わせて、例示的な実施形態を説明および例示するのに役立つ。具体的には、以下の図面である。
図1Aは、例示的な実施形態による、ビデオ講義および同期認知状態感覚データなどのユーザの環境を取り込むデバイスを示す図である。 図1Bは、例示的な実施形態による、センサによって取り込まれ、ユーザの分類された認知状態に対応するように解釈された、同期した認知状態感覚データを示す図である。 図1Cは、例示的な実施形態による。教室内でビデオ講義および同期した認知状態感覚データを取り込むために実際に使用されているデバイスを示す図である。 図1Dは、例示的な実施形態による、ユーザの同期した分類された認知状態に基づく、講義などの記録されたコンテンツのレビュー、リハーサル、および固定化を示す図である。 図2は、さらに別の例示的な実施形態による、講義素材および感覚データを取り込むシステムを示すブロック図である。 図3は、例示的な実施形態によるレビュー装置を示すブロック図である。 図4は、例示的な実施形態によるタイムラインを生成する方法を示す流れ図である。 図5は、例示的な実施形態によるユーザの認知状態とともにコンテンツを表示している状態を示す図である。 図6は、例示的な実施形態によるレビュー装置を示すブロック図である。 図7は、例示的な実施形態による、レビュー装置によるビデオコンテンツおよびオーディオコンテンツと感覚データの同期を示す図である。 図8Aは、例示的な実施形態による相関を構築する方法を示す図である。 図8Bは、例示的な実施形態による相関を構築する方法を示す図である。 図9Aは、例示的な実施形態による、コンテンツを勉強した後で相関を構築する方法を示す図である。 図9Bは、例示的な実施形態による、コンテンツを勉強した後で相関を構築する方法を示す図である。 図9Cは、例示的な実施形態による、コンテンツを勉強した後で相関を構築する方法を示す図である。 図10は、例示的な実施形態による、相関またはコンテンツの理解を構築する方法を示す流れ図である。 図11は、さらに別の例示的な実施形態による相関を構築する方法を示す図である。 図12は、さらに別の例示的な実施形態による、グループ設定を介して相関を構築する方法を示す図である。 図13は、さらに別の例示的な実施形態による、グループ設定を介して相関を構築する方法を示す図である。 図14は、さらに別の例示的な実施形態による、特定のタスクについてのユーザのスキルレベルを決定する方法を示す図である。 図15は、さらに別の例示的な実施形態による、特定のタスクについてのユーザのスキルレベルを決定する方法を示す流れ図である。
次に、添付の図面を参照して、例示的な実施形態について詳細に説明する。例示的な実施形態は、多くの異なる形態で実施される可能性があり、本明細書に記載する例証的な例示的な実施形態に限定されるものとして解釈すべきではない。限定ではなく、これらの例示的な実施形態は、本開示を徹底的かつ完全なものとし、例示的な概念を当業者に完全に伝えるべく提供するものである。また、周知の機能または構造は、例示的な実施形態の明快かつ簡潔な説明を提供するために省略されることもある。発明性のある概念の真の範囲を確かめるためには、特許請求の範囲およびその均等物を確認するものとする。
例示的な非限定的な実施形態によれば、キャプチャした同期した視覚情報およびオーディオ情報、キャプチャした同期したユーザの認知状態情報、ディスプレイ、直感に基づくナビゲーションマップ、および例えばユーザによって入力されるメモ、コメントに基づく認知支援システムが提供される。
例示的な非限定的な実施形態によれば、以下でさらに詳細に説明するように、ユーザの同期した認知状態でマーク付けされた、サブウィンドウ内に表示されるサブタイトルモジュールを実施するスクリプトウィンドウに基づく、直感に基づくナビゲーションマップが提供される。
例示的な非限定的な実施形態によれば、キャプチャした同期した視覚情報およびオーディオ情報は、ユーザの同期した認知状態でマーク付けされた、サブウィンドウ内に表示されるサブタイトルモジュールと同期した、サブビデオまたはエピソードに分割される。
例示的な非限定的な実施形態によれば、ユーザの同期した認知状態でマーク付けされた、サブウィンドウ内に表示されるサブタイトルモジュールと同期したサブビデオには、相関があるメモ、コメント、および/またはスケッチが追加されてもよい。
関連技術においては、例えば、神経科学では、全ての人間の精神機能は、陳述記憶および非陳述記憶または潜在記憶および顕在記憶を含む、人間の記憶または洞察に基づくことが分かっている。例えば、参照により有用な背景として組み込む、Eric R. Kandel、"We are what we remember: memory and the biological basis of individuality"、Public Lecture Royal Society、https:
//www.youtube.com/watch?v=skyvzMxtLu8&feature=youtu.be、最終アクセス日時2017年12月11日を参照されたい。
洞察を構築するプロセス(または学習のプロセス)は、ワーキングメモリへの意味情報を感知することと、相関またはチャンクを確立することと、反復またはリハーサルすることと、次いでこの情報を生物学的プロセスを通じて脳の様々な領域に分配および記憶することとを含む可能性がある。包括的学習プロセスは、新たな短期記憶から新たな長期記憶を構築するプロセスであり、このプロセスは、第1に相関の確立、第2に反復、および/または情緒刺激の3つの条件のうちの少なくとも1つを必要とする。例えば、参照により有用な背景として組み込む、Frank Longo、"Learning and Memory: How it Works and When it Fails"、Stanford University、https://www.youtube.com/watch?v=a HfSnQqeyY&t=1846s、最終アクセス日時2017年12月11日、ならびにEleanor Maguire、"The neuroscience of Memory"、The Royal Institution、https://youtu.be/gdzmNwTLakg、最終アクセス日時2017年12月11日、"Learning How to Learn"、Barbara Oakley、https://youtu.be/vd2dtkMINlw、最終アクセス日時2018年1月7日、および"How We Learn Versus How We Think We Learn"、Robert Bjork、Distinguished Research Professor in the UCLA Department of Psychology、https://youtu.be/oxZzoVp5jmI、最終アクセス日時2018年1月10日を参照されたい。
例えば、参照により有用な背景として組み込むNguyenによる米国特許第9711056号 (同じ発明の構成)には、人間が環境を探査および観察しているときに人間の器官によって生成される様々なタイプの情緒刺激を取り込み、検出し、識別することが記載されている。
しかし、観察結果および感情を取り込み、キャプチャした素材を表示し、観察結果と洞察の間の相関を構築し、反復を実行し、学習プロセスの情緒刺激を監視して人間の学習能力を強化する装置、方法、およびシステムを構築することが必要とされている。
同期感情情報とともにプロセスの情報を取り込み、次いでプロセスの改善のためにレビューすることによる学習強化の別の例を以下に示す。
ゴルフ講師は、カメラを設置して、ゴルフ受講者のスイングを取り込むことができる。次いで、講師は、ゴルファーの額の動きを解析するソフトウェアを使用して、スイング、チップショット、またはパッティングの質を決定することができる。
ただし、頭部の動きは小さく、カメラ位置から通常は打つたびに動く頭部までの距離によって変動するので、本方法の結果にはいくつかの制限がある。
当技術分野では、このプロセスを改善することが必要とされている。例示的な実施形態によれば、カメラは、ゴルファーの頭部に取り付けられ、ゴルファーが観察しているものを取り込むが、その中で最も重要な要素はゴルフボールである。したがって、ゴルファーは、観察を継続し、クラブヘッドがボールに当たるまで自分の額からボールまでの距離を安定させなければならない。
また、スイングとその後の解析の間、ゴルファーの同期感情信号を取り込む必要があり、このゴルファー用の学習プロセスは、そのラウンドをプレイした後のレビュープロセス中に改善することができる。例示的な実施形態では、カメラによって収集された情報は、スイングまたはパッティングの質に非常に大きな影響を及ぼすスイングまたはパッティング中のゴルファーの集中度を反映する。
参照により本明細書に組み込む上述の米国特許第9711056号に記載されるように、人間の認知状態は、環境データと同期した、ユーザから得られる感情データおよび/または感覚データに基づいて取り込まれることがある。例えば、図1Aは、例示的な実施形態による感覚データおよび感情データを取り込むデバイスを示す図である。
図1Aに示すように、例示的な実施形態によれば、1つまたは複数のカメラ11が、ヘッドセット1上に設けられることがある。すなわち、例示的な実施形態によれば、左カメラ、中央カメラ、および右カメラ(図示せず)を設けて、視覚データおよび/またはオーディオデータを取り込むことがある。例示的な実施形態では、オーディオデータを取り込むためのマイクロフォンを含む1つのビデオカメラ11を、ヘッドセット11の前部に設けてもよい。これらは、限定ではなく例示のために示される。当業者なら、視覚データおよび/またはオーディオデータは、ユーザの携帯情報端末または携帯電話などの個人のデバイスで取り込んでもよいことを容易に理解するであろう。さらに、当業者なら、任意数のカメラおよび/またはマイクロフォンを使用してもよいこと、ならびに視覚データおよび/またはオーディオデータは、1つのカメラで提供しても複数のカメラで提供してもよく、また1つの別個のマイクロフォンで提供しても複数のマイクロフォンで提供してもよいことを容易に理解するであろう。取り込まれた視聴覚データ(VI)は、次いで、プロセッサ(図示せず)に結合されたメモリを少なくとも含む電子ボード10に転送することができる。
例示的な実施形態では、電子ボード10は、感覚情報および感情情報を処理して、ユーザの認知状態を生成することがある。さらに別の例示的な実施形態では、生成した認知感覚情報を、ヘッドセット1上に設けられた通信インタフェース(図示せず)を介して格納、監視、またはさらなる処理のために別の遠隔デバイスに伝送することもある。例えば、ヘッドセット1は、例えばBluetooth(登録商標)、赤外線、WiFi、および/またはセルラネットワークなどを介してワイヤレスにデータをさらなる格納、処理、または監視および共同監督を行う遠隔サーバまたはクラウドに伝送するための通信インタフェース(例えばネットワークカード、アンテナ、および当業者に既知のまたは将来開発されるその他のインタフェース)を含むことがある。通信インタフェースは、電子ボード10に内蔵されてもよいし、ヘッドセット1上に別個のデバイスとして設けられてもよい。
例示的な実施形態では、1つまたは複数の感情センサまたは認知状態センサ13が、ヘッドセット1上にさらに設けられる。図1Aは4つの認知状態センサを示しているが、これは、限定ではなく例示のために示される。当業者なら、1つの感覚センサまたは認知状態センサを使用することもできるが、複数の認知状態センサを設けてユーザの認知状態を取り込むことが好ましいことを容易に理解するであろう。認知状態センサ13は、ヘッドセット1の両側に設けてもよい。図1Aに示す例示的な実施形態では、ユーザの頭部の片側のみが示してあるが、反対側が、ユーザの認知状態を検出する4つの認知状態センサ13を含んでいてもよい。すなわち、例示的な実施形態では、認知状態は、複数のセンサ13から、脳の様々な部分における活動を検出することによって取得される。
例示的な実施形態によれば、認知状態センサから取得した生EEG信号を、ビデオ信号およびオーディオ信号と結合し、これらと同期させる。例示的な実施形態では、生EEG信号は、特有の認知本能成分を具現化するものである。例示的な実施形態では、以下でさらに詳細に説明するように、EEG信号を特有の参照信号においてフィルタリングして、探索/学習観察に向かうエビデンス状態についてのET10成分と、エビデンス観察に向かうコンフィデンス状態についてのET9とを検出して、ユーザの注意認知状態を取得する。すなわち、EEGの周波数および振幅は、ユーザの感情レベルまたは認知状態に基づいて変化する。例示的な実施形態では、不活性とは、識別した周波数の全てのEEG成分の振幅が所定のしきい値未満であることを意味する。したがって、例示的な実施形態では、ユーザが眠っている、または注意を払っていないと決定することができる。例示的な実施形態によれば、以下で図1Bを参照してさらに詳細に説明するように、複数の認知状態センサ13は、それぞれのチャネル信号(例えばET9〜ET10)を生成する。それぞれのチャネル信号を使用して、ヘッドセット1を装着しているユーザの認知状態を決定する。
EEGは、限定ではなく例示のために示される。例示的な実施形態によれば、特定のEEG成分と参照信号の差が所定のしきい値を超える、またはそれぞれの所定のしきい値を超えるときには、それは、ユーザが、エビデンス(相関あり、知っている)、およびコンフィデンス(十分な相関あり、経験がある)などの識別された状態であることを意味している。例えば、参照により組み込む米国特許第9711056号を参照されたい。
例示的な実施形態によれば、認知状態センサ13を、ユーザの前頭葉の周りに位置決めして、ユーザが望まれている、心配している、エビデンスである、またはコンフィデンスであるなどのユーザの遂行感情を検出することもある。例えば、図1Bに示すように、5つの認知状態センサ13(S1〜S5)をユーザの前頭葉の周りに配置し、それらがそれぞれ感覚信号ss1〜ss5を出力する。例示的な実施形態では、センサS1およびS3から検出されたET10信号が、それぞれ所定のしきい値を超える信号を出力する場合には、ユーザがエビデンスに感じている、例えば観察結果が既知のものであると決定することができる。センサS2、S4、およびS5からの検出ET11信号が、それぞれ所定のしきい値を超える信号を出力する場合には、ユーザが快適に感じている、かつ/または良好な結果を期待する気分であると決定することができる。
例示的な実施形態では、ユーザがテキストを上から下に向かって(すなわち上の行から下の行に向かって)読むので、声の信号は、テキストの行と同期して解釈される。したがって、図1Bに示す例示的な実施形態では、オーディオ信号、すなわち声出力は、縦の行(1つまたは複数)に表示され、タイムラインも、テキストと一致するように縦方向に表示される。
図1Bは、例示的な実施形態による、30秒の持続時間にわたって取り込まれた声信号を示す。例えば、タイムライン14は、図1Bの左側に示してあり、15秒の時点、10秒の時点、0秒の時点、および-15秒の時点で示す間隔に分割されている。15秒のマークは、既に再生された声データを示し、-15秒のマークは、15秒後に再生される声データを示す。0秒のマークは、出力されている声データの現在位置を示す。図1Bは、さらに発語の間の無音期間または一時停止を示す、-2秒から+1秒まで、および+9秒から+11秒までの、低レベルでの2通りの持続時間を有する声信号16を示す。例示的な実施形態では、これらの持続時間は、連続的な声信号を、独立した意味を具現化するモジュールに分離する。図1Bに示す例示的な実施形態では、声データ16は、3つの別個の声モジュールV1、V2、およびV3に分離される。例示的な実施形態では、声データ16は、振幅に対応する記録された声のイントネーションに基づいて検出することができる、一時停止が行われるとき、またはセンテンスが終了したときなどの記録された声の自然な切れ目に基づいて、3つの声モジュールV1、V2、およびV3に分割される。
例示的な実施形態によれば、分割された声モジュールまたはセグメントV1、V2、V3に基づいて、声からテキストへの変換が実行される。すなわち、声データは、テキストデータに変換され、ユーザに対して表示されることがある。例示的な実施形態では、各声セグメントまたはモジュールごとに、1つのテキストボックスが設けられる。例えば、図1Bに示すように、声信号を変換することによって取得されたテキストが、それぞれのテキストボックスTB1〜TB3に表示される。すなわち、変換声セグメントV1に対応する第1のテキストは、テキストボックスTB1に表示され、変換声セグメントV2に対応する第2のテキストは、テキストボックスTB2に表示され、変換声セグメントV3に対応する第3のテキストは、テキストボックスTB3に表示される。例示的な実施形態では、変換声に対応するテキスト出力は、図1Bに示すTB1、TB2、およびTB3の、3つの対応するウィンドウ内に配置される。例示的な実施形態では、表示されているサブウィンドウの数は、連続的な声出力の分割中に生成される声セグメントの数に対応する。図1Bに示すように、ユーザの認知状態も、センサS1、S2、…、S5から取得される5つの認知状態信号(ss1〜ss5)17として表示される。これらの認知状態信号はまた、縦方向に声信号と同期された状態で表示される。例示的な実施形態によれば、認知状態信号ss1〜ss5も、声セグメントV1〜V3に対応するセグメントに分割される。すなわち、例示的な実施形態では、認知状態信号を声セグメントに対応するセグメント単位で解析してユーザの感情状態を決定する。
図1Bに示すように、E1は、そのテキストがボックスTB1に表示される声セグメントV1に対応する時間15秒から10秒で生成される信号ss1、ss2、ss3、ss4、およびss5を解析することによって取得される認知状態である。例示的な実施形態では、E1は、感情状態1に対応するものとして解釈され、第1の色(例えば青)でマークして、ユーザが多少眠気を覚えている、または声セグメントV1に対応する素材の少なくとも一部について確信がないことを示すことができる。すなわち、E1は、ユーザが、声セグメントV1内の素材について多少混乱している(完全にはコンフィデンスでない)ように見える状態を示す。E2は、ユーザが、TB2に表示される内容を有する声V2を聞いている時間中に記録される信号ss1〜ss5から取得される認知状態である。E2は、感情状態2に対応するものとして解釈され、第2の色(例えば緑)でマークして、ユーザがその素材(声セグメントV2)を知っている、かつ/または理解していることを示すことができる。E3は、ユーザが、TB3に表示される内容を有する声V3を聞いている時間中に記録される信号ss1〜ss5から取得される認知状態である。E3は、感情状態3に対応するものとして解釈され、第3の色(例えば赤)でマークして、ユーザがその素材(声セグメントV3)に集中しようとしているが、まだ理解していないことを示すことができる。図1Bに示すマーキングは、限定ではなく例示のために示される。別の例示的な実施形態によれば、それぞれのテキストボックスTB1〜TB3のテキストは、決定されたユーザの感情状態(E1〜E3)に基づいて色分けすることができる。代替的に、%記号、および使用する様々な色の濃淡などを含む様々なマーキングおよび指標を使用してユーザの状態を示すこともできる。例示的な実施形態によれば、声信号16は、例えば教室で講義を行うプレゼンタの声であってもよい。黒板に板書される、またはスクリーンに投影される内容は、視覚データとして記録され、例えばプレゼンタによって出力されるオーディオ信号と同期して格納されることもある。
図1Cに示すように、プレゼンタは、ユーザに対して特定の内容または情報を提示する講義を行っていることもある。プレゼンタは、提示している内容の例18を黒板上に示すことがある。複数の学生が、ヘッドセット1を装着し、この講義を聴講している可能性がある。複数の学生のそれぞれ、または一部が装着している各ヘッドセット1が、プレゼンタの声信号の各部分について、それぞれのユーザのそれぞれの認知状態を出力することがある。複数のユーザ/学生の複数の認知状態を組み合わせて、講義のこの部分が分かりにくい、この部分が退屈である、またはこの部分はよく理解できたなどの出力をプレゼンタに提供することもある。このフィードバックを使用して、講師は、学生を混乱させる概念を簡略化し、かつ/またはよく理解された内容の提示を短縮することによって、自分の提示素材を改善することもある。これらは、限定ではなく例示のために示される。
図1Dは、例示的な実施形態による、ユーザの同期した分類認知状態に基づく、講義などの記録内容のレビュー、リハーサル、および固定化を示す図である。図1Dに示す例示的な実施形態によれば、ユーザまたは学生は、テレビジョンなどの大型ディスプレイ19aと、タッチスクリーンまたはスケッチパッド19bなどの別個の遠隔制御装置とを使用して、講義をレビューおよび/または勉強している。タッチスクリーン19bは、iPad(登録商標)、モバイル端末、およびユニバーサルリモートコントローラなどを含む可能性がある。これらは、限定ではなく例示のために示される。例示的な実施形態によれば、タッチスクリーン19bは、主としてメモおよび/またはスケッチの入力、ならびに表示デバイス19aの制御および/またはナビゲーションのためのものであり、画像および/またはビデオを表示することが主要な目的というわけではない。例示的な実施形態によれば、これは、グループで作業するとき、および/または大型スクリーンが利用できる家庭で作業するときに特に便利である。
図1Dに示すように、ディスプレイ19aは、講義中に取り込まれたビデオデータの再生をスクリーンの左部分に出力し、それに対応する変換された声データは、スクリーン中央にテキストセグメントとして表示し、スピーカを介してオーディオ形態で出力することができ、最初の講義中に取り込まれたユーザのメモ、および/またはレビュー中に作成されたユーザのメモは、スクリーンの右部分に表示することができる。これについては、以下で図8A〜図9Cを参照してさらに詳細に説明する。
図2は、さらに別の例示的な実施形態による、講義素材および感覚データを取り込むシステムを示すブロック図である。図2では、ユーザは、例えば講師が黒板21に示したトピックおよび/またはメモなどの講義を記録する。さらに、ユーザは、黒板21に板書される説明とともに講師が与える説明などのオーディオデータを記録することもある。ユーザは、スマートフォン22a、パーソナルコンピュータまたはノートブック22b、ビデオレコーダ22c、およびカメラ22nなどの複数の個人用デバイス22a、…、22nのうちの1つまたは複数を介して記録してもよい。これらのデバイスは、限定ではなく例示のために示される。
例示的な実施形態では、オーディオデータおよびビデオデータは、サーバ24に直接出力してもよい。オーディオデータおよびビデオデータは、対応するタイムスタンプ(1つまたは複数)とともにサーバ24に出力される。例えば、10秒ごとの記録が、インターネット、WiFi、およびBluetooth(登録商標)などのネットワークを介してサーバ24に伝送される。図2では、サーバ24を別個のデバイスとして示してあるが、サーバ24は、個人用デバイスの処理能力およびメモリによっては、パーソナルコンピュータ22bまたはその他の何らかの個人用デバイス22a、…、22n内に位置していてもよい。
ユーザは、ユーザの認知状態を監視するヘッドセット23を装着していることがある。ヘッドセット23は、限定ではなく例示のために示される。例示的な実施形態では、ユーザは、図1Aを参照して説明したセンサを介してユーザの認知状態を測定するいくつかのセンサを含む別のデバイスを装着していてもよい。例示的な実施形態では、センサによって検出される信号を使用して、ユーザの認知状態または感情状態を決定する。
例示的な実施形態では、図1Bを参照して上記で説明したように、人間の脳は、ユーザがリラックスしており、集中していないときには、低い探索信号を出力する(ET9-ET10-ET11-ET12)。低い探索信号は、ユーザが活発に学習していないことを示す。一方、例示的な実施形態では、探索信号の識別された周波数における振幅は、ユーザが関心を持ち、注意を払うと変化する(ET1-ET12)。例示的な実施形態によれば、(異なる識別された周波数帯域における)異なる振幅帯域は、ユーザの異なる認知状態または感情状態を検出するためのものである、すなわちユーザの認知状態または感情状態の変動を決定する。
例示的な実施形態では、8チャネルEEG信号をユーザから取り込むことがあり、これらのキャプチャした信号に基づいて、ユーザが注意を払っているかどうか、および提示されている素材の理解レベルを決定することがある。例えば、ユーザが眠気を覚えているか、考えがまとまらなくなっているか、トピックに注意を払っていないか(退屈または疲労を強く感じている可能性があるかどうか)を決定することもある。8チャネルEEG信号は、限定ではなく例示のために示される。
例示的な実施形態では、感覚データは、ヘッドセット23内のメモリカードに保存してもよい。別の例示的な実施形態では、感覚データは、ネットワークを介して定期的にサーバ24に出力してもよい。例示であるが、このネットワークは、インターネット、WiFi、またはBluetooth(登録商標)、さらには有線ネットワークも含む可能性があり、例えば、ヘッドセットは、個人用デバイス22a、…、22n内に位置することがあるサーバ24にワイヤを介して接続される。例示的な実施形態では、例えば10秒間隔で累積される感覚データが、タイムスタンプとともにサーバ24に出力されて、さらに処理が行われる。
サーバ24は、図3を参照して以下で詳述するように、プロセッサおよびメモリを含む。例示的な実施形態では、サーバ24は、オーディオ/ビデオデータ(以下コンテンツまたは環境データと呼ぶ)および感覚データのタイムスタンプを比較して、ユーザの認知状態または感情状態を生成することがあり、この認知状態または感情状態は、次いでメモリ25に格納されることがある。メモリ25は、サーバ24の内部にある、またはサーバ24から遠隔の、1つまたは複数のデータベースを含む可能性がある。
例示的な実施形態では、図3に示すように、サーバ30は、レビューおよび/または処理装置であり、本装置は、プロセッサ31を含み、プロセッサ31は、本装置およびそのハードウェア構成要素を制御し、メモリ34などの1つまたは複数のメモリに格納されたソフトウェア命令を実行する中央処理ユニット(CPU)であることもある。例示であるが、プロセッサ31は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、1つまたは複数のグラフィックプロセス、およびインタフェースも含むこともある。プロセッサ31の構成要素は、バスを介して互いに接続されてもよい。プロセッサ31は、ディスプレイ32にさらに接続されて、ディスプレイ32を制御し、このディスプレイ32は、記録された、またはオリジナルのビデオ信号を、様々な形態およびフォーマットで出力する。ディスプレイ32は、可聴音声を出力するスピーカを含む。これは、限定ではなく例示のために示される。複数のスピーカを設けてもよく、またディスプレイ32の外部に設けてもよい。プロセッサ31は、ネットワークインタフェースまたはネットワークカード33に接続されてもよく、ネットワークインタフェースまたはネットワークカード33は、WiFiチップ、Bluetooth(登録商標)チップ、およびワイヤレスネットワークチップなどを含む可能性がある。ネットワークカード33は、有線接続用の1つまたは複数のポートをさらに含んでいてもよい。さらに、装置30は、メモリ34を含むこともあり、メモリ34は、プロセッサ31によって実行されたときにプロセッサに装置30およびその構成要素を制御させる実行可能命令の1つまたは複数を格納することがある。メモリ34は、デバイス22aから22n(例えば図2参照)のうちの1つによって生成されたオーディオデータおよびビデオデータ(コンテンツ)をさらに格納してもよい。装置30は、ユーザインタフェース35をさらに含む可能性があり、ユーザインタフェース35は、ボタン、キーボード、マウス、USBポート、マイクロフォン、およびジェスチャセンサなどを含む可能性がある。ユーザインタフェース35は、限定ではなく例示であるが、マイクロフォン、キーボード、マウス、およびタッチスクリーンなどを介して、ジェスチャ、オーディオなど様々なフォーマットのユーザ入力を受け取る。
例示的な実施形態では、プロセッサ31は、オーディオ/ビデオデータのタイムスタンプを感覚データのタイムスタンプと比較し、コンテンツのタイムラインを生成する。図4は、例示的な実施形態によるタイムラインを生成する方法を示す流れ図である。例示的な実施形態では、視覚データ、オーディオデータ、および認知データを、システムのクロック(CPUによって制御される)によって同期させることもある。システムは、同期させた視覚情報、オーディオ情報、および認知情報をリアルタイムで取り込み、次いで同期させた生素材を例えばメモリカードに格納する。レビュー時には、ソフトウェアアプリケーションが、様々な参照周波数で生認知情報からフィルタリングを行って、様々な持続時間における認知状態をリアルタイムで検出する。この同期に基づき、システムは、非一時的コンピュータ可読媒体に実装されてプロセッサによって実行されるソフトウェアアプリケーションを使用して、講義中のユーザの様々な認知状態を推測することができる。
また、例示的な実施形態では、レビュー中に、ビデオおよび解析したユーザの認知状態をリアルタイムではなく予め準備してもよい。
図4に示すように、動作401aにおいて、装置は、オーディオデータおよび/またはビデオデータなどの環境データを受信し、動作401bにおいて、装置は、例えばユーザが装着しているセンサから感覚データを受信する。これらは、限定ではなく例示のために示される。さらに別の例示的な実施形態によれば、ビデオおよび/またはオーディオコンテンツは、10秒間隔などの所定の時間間隔で感覚データとともに提供してもよい。例えば、(V, A, E)のセットを周波数をサンプリングすることによって同期させてもよい。ここでVは視覚データ、Aはオーディオデータ、Eはユーザの感情状態である。
動作402において、受信コンテンツ(ビデオ/オーディオデータ)を、声信号の連続性に基づいてセグメントに分割する。例えば、プロセッサは、声のイントネーションに基づいて、どこで一時停止が行われるか、またはセンテンスの終端を決定する。例示的な実施形態によれば、1つのセグメントの最大長さは、例えば5秒に設定してもよい。長さが1分ある声データにおいて一時停止またはセンテンスの終端が見つからない場合には、声を5秒間隔(5秒の間隔ブロック)でセグメント化する。これは、限定ではなく例示のために示される。例示的な実施形態では、「エビデンス」および「コンフィデンス」の頻度を使用して、ユーザの探索認知状態を決定する。この2つの主信号は、最近の観察結果および洞察とユーザとの相関を反映している。例えば、知っている状態または知らない状態、あるいはエビデンス状態またはストレンジ状態が使用されている。例示的な実施形態では、感情信号は、愛情、怯え、閉、開などの生存および生殖の領域(例えばET1からET8)に関係する感情信号は使用されていない。
動作403において、データの各セグメント部分についての、すなわち各コンテンツ片についての処理した感覚データに基づいて、ユーザの認知状態を決定する(ET9〜ET10)。上記で説明したように、脳の特定の部分(1つまたは複数)のセンサが、1つまたは複数の周波数帯域の第1の振幅(小振幅)の信号を出力するときには、装置は、ユーザが混乱し、怯え、かつ/または不安を感じていると決定することがある。一方、脳の別の部分のセンサが、第2の振幅(大振幅)の信号を出力するときには、装置は、ユーザがコンフィデンスであると決定することがある。例示的な実施形態によれば、第1の周波数帯域において高振幅を有し、第2の周波数帯域で低振幅を有する信号は、ユーザの混乱した認知状態を示すことがあるが、第1の周波数帯域において低振幅を有し、第2の周波数帯域において高振幅を有する信号は、ユーザのコンフィデンスな状態を示すことがある。全てのセンサが第1の振幅の信号を生成する場合には、それは、ユーザが眠っている、または注意を払っていないことを示すことがある。これは、限定ではなく例示のために示される。
例えば、別の例示的な実施形態によれば、感覚データを使用して、ユーザが注意を散漫にしていると決定する(ET-1)。例えば、ヘッドセット1は、ユーザが黒板を見ているが、ユーザの思考は提示のトピックから脱線している、または他のところにある(眠っている)ことを検出することもある。カメラは、依然として講義を記録している。さらに、装置は、この期間(この時間セグメント)をマークして、ユーザが講義のレビューすべき部分、すなわちユーザが教室で見逃した部分を容易に認識する助けとすることができる。さらに別の例示的な実施形態によれば、感覚データが、オーディオ/ビデオデータの外部の人、食物、および/または物などの他の感情をトリガする場合には、ユーザの認知状態が外部思考によって散漫になり、講義に注意を払っていないと決定することもできる。
動作404において、オーディオ/ビデオデータ(コンテンツ)を、決定した対応する認知状態と同期またはリンクさせ、また(オプションで)セグメントオーディオデータを、表示するためのテキストに変換することもある。動作405において、ユーザの認知状態または感情状態を、オプションでオーディオ/ビデオデータまたはコンテンツの対応する部分とともに示す、表示するタイムラインを生成する。例示的な実施形態では、タイムラインは、講義中に取得されるオーディオ/ビデオコンテンツを再生するために生成されることもある。タイムラインは、決定したユーザの認知状態または感情状態に基づいて色分けしてもよい。すなわち、タイムラインの一部分をユーザが素材を十分に知っていることを示す緑色で表示し、タイムラインの別の部分を、ユーザが混乱している、または注意を払っていなかった講義の内容を示す赤色で表示してもよい。これは、例示のために以下により詳細に説明したものである。
図5は、例示的な実施形態によるユーザの対応する認知状態とともに表示されるコンテンツを示す図である。
図5に示すように、コンテンツ51は、ディスプレイを介して、タイムライン52とともにユーザに対して表示される。タイムライン52は、当技術分野では、現在表示されているコンテンツの時点を示すことは既知である。コンテンツ51は、ビデオコンテンツおよびオーディオコンテンツを含むことがある。さらに、タイムライン53を設けて、ディスプレイを介してユーザに対して表示してもよい。タイムライン53は、オーディオおよび/またはビデオコンテンツに対応してユーザの認知状態または感情状態を示す。例示であるが、タイムライン53は、表示されるコンテンツと同期して、ユーザの認知状態を示す。ユーザの認知状態は、ユーザが関心を持っていない、または眠っている無関心状態54、ユーザが出力されるコンテンツに満足しているコンフィデンス状態55、およびユーザが提供される素材を理解していない混乱状態56から選択される。これらは、限定ではなく例示のために示される。別の例示的な実施形態によれば、様々な認知状態についての色分けを使用してもよく、コンフィデンスまたは混乱の程度が、色の特定の濃淡に対応することもある。例えば、タイムライン53上の暗赤色は、ユーザが非常に混乱していることを示し、ピンク色は、ユーザが少ししか混乱していないことを示すこともある。
別の例示的な実施形態によれば、タイムライン52および53を組み合わせて、コンテンツおよびユーザの認知状態を基準として現在表示されている時点を示す1つの統合タイムラインにしてもよい。
様々な例示的な実施形態によれば、ユーザは、分かりにくい、または見逃した講義(コンテンツ)の部分を決定し、コンテンツのそれらの部分で自分のレビューセッションを実施してもよい。様々な例示的な実施形態によれば、講義(コンテンツ)全体をレビューする代わりに、ユーザは、分かりにくい部分、または見逃した部分に重点を置いてもよい。さらに、講義に出席する複数のユーザの認知状態を、講師へのフィードバックにすることもできる。例えば、ユーザの70%が講義の特定の部分で混乱する場合には、講師は、素材を改正または簡略化することに決めることもできる。一方、ユーザ(学生)が講義のさらに別の部分に関心を持っていない場合には、講師は、ユーザの注意を引くように講義を改正することもできる。
別の例示的な実施形態によれば、レビュー装置は、講義が提示された後の素材の勉強を容易にするように構成される。
図6は、例示的な実施形態によるレビュー装置を示すブロック図である。
図6に示すように、レビュー装置60は、プロセッサ61、メモリ62、および出力装置63を含む。メモリ62は、キャプチャしたビデオデータ62a、キャプチャしたオーディオデータ62b、キャプチャした8チャネルEEG信号であるキャプチャした感覚データ62cを含む。プロセッサ61は、同期装置61aを実行し、同期装置61aは、例えば図7を参照して以下で説明するように、キャプチャしたビデオデータ62aをキャプチャしたオーディオデータ62bおよびキャプチャした感覚データ62cと同期させるように構成される。プロセッサ61は、さらに以下でさらに詳細に説明する、ユーザの認知状態ET0〜ET10を決定する認知状態決定器61bと、同期装置61aおよび認知状態決定器61bからの出力を使用してオーディオコンテンツおよびビデオコンテンツならびに感覚データについての1つまたは複数のタイムラインを生成するタイムライン生成器61cと、スピーチ/テキスト変換器61dとを実行する。環境オーディオ/ビデオコンテンツ、および認知状態は、少なくとも1つのディスプレイおよびスピーカを含む出力装置63を介してユーザに対して出力することができる。
図7は、例示的な実施形態による、レビュー装置によるビデオコンテンツおよびオーディオコンテンツと感覚データとの同期を示す図である。図7は、生入力データの同期を示す。図7に示すように、ビデオデータ62aは、ディスプレイ上にタイムライン71および72に沿って表示されることがある。タイムライン71は、講義の所定の期間についてのタイムラインであることがある。例示的な実施形態によれば、タイムライン71は、現在時点tn、ならびに現在時点の5分前および5分後について提示される。タイムライン72は、コンテンツの持続時間全体についてのタイムラインである。例示的な実施形態によれば、タイムライン71および72は、当技術分野で既知の通り、現在視聴または再生されている講義の進行を示す。図示の例示的な実施形態によれば、ビデオデータ62aは、時点tnに表示され、タイムライン71および72は、現在時点tnにインジケータを示す。タイムライン71は、ユーザがスクロール可能な、現在表示されている時点tnから+5分および-5分の点を有する10分の期間のバーを有する。タイムライン72は、講義のコンテンツ全体を基準とする同じ時点を有する。オーディオデータ62bは、ビデオデータ62aと関係付けて提供される。同じ時点tnで現在出力されているオーディオデータ62bは、ビデオデータ62aの30秒の期間に対応する30秒の期間にわたって提供される。さらに、タイムライン73も、現在時点tnにインジケータを示す。さらに、感覚データ62cは、オーディオデータ62bおよびビデオデータ62aと同期している。例示的な実施形態によれば、最初に取り込まれた8チャネルEEG信号CH1〜CH8は、同期装置61aによって同期される。ユーザの同期した認知状態および同期したオーディオ62bは、同じタイムライン73(-15秒〜+15秒)上に示してもよい。ユーザの認知状態は、ビデオデータ62aおよびオーディオデータ62bと関係付けて出力される。感覚データ62cから決定される認知状態は、1つまたは複数のタイムライン上に、インジケータ、濃淡、および色分けなどの形態で示すことができる。別の例示的な実施形態によれば、ユーザの認知状態のためだけの専用のタイムラインを生成してもよい。
例示的な実施形態によれば、タイムライン73は、tnの前後の最短期間の30秒間についてである。この30秒の期間のオーディオ情報は、tnの前後の詳細認識能力を強化するために、テキストで表示される。タイムライン71は、tnの前後の中間期間の10分間についてである。この10分の期間のオーディオ信号は、より広い認識およびナビゲーションの能力を強化するためにユーザの認知状態とともに表示される。タイムライン72は、ビデオ全編についてである。オリジナルのビデオにおける認知状態の履歴を表示して、パフォーマンス評価およびナビゲーションの能力を強化する。
例示的な実施形態によれば、ユーザの認知状態信号62cは、例えば米国特許第9711056号に記載され請求される特有の認知本能成分を具現化したものであり、ET10成分は、探索/学習観察に向かうエビデンス状態についてであり、ET9は、エビデンス観察結果に向かうコンフィデンス状態についてであり、ET4は、物への観察に向かう認知状態についてであり、ET3は、食物への観察に向かう認知状態についてである。参照認知信号に基づいて、システムは、例えばビデオ62aおよび/またはオーディオ62bなどユーザの観察結果に対する認知に向かうユーザの状態をフィルタリングおよび検出することができる。例示であるが、ET10参照サンプルによってデータ62cをフィルタリングすることにより、システムは、講義全体を通してユーザの状態を識別し、ユーザの状態を例えば3レベル系において等級付けすることができる。例えば、レベル1は、ユーザが集中していない(退屈している、眠気を覚えている、思考が他のところに脱線している)ことを示し、レベル2は、ユーザがコンフィデンスであり、ユーザの知識がエビデンスである(相関がある、既知である、理解されている)ことを示し、レベル3は、ユーザが集中しているが、素材について混乱している(洞察との相関がまだない)ことを示す。これは、限定ではなく例示のために示される。
図8Aは、例示的な実施形態による相関を構築する方法を示す図である。
図8Aに示すように、ユーザは、オリジナルの講義の内容をレビューまたは勉強するプロセス中である。例示的な実施形態によれば、スピーチ/テキスト変換器61dは、上記で詳細に説明したように、講師の声などのオーディオデータ81を複数の部分に分割する。さらに別の例示的な実施形態によれば、オーディオデータ81は、スピーチ/テキスト変換器61dによって、5秒、10秒、または15秒の期間(現在点(n)の前後の部分n-3、n-2、n-1、n、…、n+3、ここでnは、出力されているオーディオデータの現在部分であり、講義内の現在時または現在点(n)に最も近いコンテンツの30秒が分割されるようになっている)に分割される。例示的な実施形態によれば、オーディオコンテンツは、2つのセンテンスの間(または2つの意味の間、2つのセマンティクスの間など)の間隔において分離される。このオーディオ信号に基づいて、ビデオも、意味において離散ビデオに分割され、スピーチ/テキスト変換器61dは、この声を解釈して、部分n-3、…、n+3においてオーディオデータをテキストに変換する。表示されるビデオ画像62aは、表示されるテキスト部分nに対応し、現在出力されているビデオデータおよびオーディオデータである。さらに、現在表示されているコンテンツの前後のオーディオコンテンツについてのテキストも、n-3、n-2、n-1、n+1、n+2、およびn+3のセグメントまたはモジュールとして提供される。例示的な実施形態によれば、各部分は5秒であり、表示されているテキスト81は、タイムライン73に対応する。図8Aでは、タイムライン73に示すように、最近の意味の前後の15秒間の相関を見ることができる。例えば、30秒ビデオのコンテンツが、一目で見ることができるように提供される。30秒ビデオコンテンツが見える状態であり、ビデオコンテンツと同期するようにスクロール可能である。例示的な実施形態によれば、スクロールは、自動的に出現することがある。例示的な実施形態によれば、ユーザは、30秒の長さのビデオの全内容を一瞬で見て、前15秒間のコンテンツと、最近のコンテンツと、次の(将来の)15秒間のコンテンツとの間の相関を構築することができる。関連技術では、視聴者は、一度にビデオ内の画像を1つしか見ることができない。しかし、例示的な実施形態では、視聴者は、右87のメモ、オーディオデータ81の上側部分に示される前15秒間のコンテンツ、およびオーディオデータ81の下側部分に示される次の15秒間のコンテンツを同時に見ることができ、またビデオ62aも見ることができる。
図8Aでは、タイムライン71および88は、現在再生されているコンテンツの前後の認知状態履歴の10分の期間(中間部分)について提供される。図8Aの例示的な実施形態によれば、タイムライン71は、最近のコンテンツ(オリジナル)の前後の10分タイムラインであり、タイムライン88は、最近のコンテンツ(レビュー中)の前後の10分タイムラインである。したがって、ビューは、より広い視野と、最近のコンテンツと相関とを備える。同様に、例示的な実施形態によれば、タイムライン72および85は、視聴者がユーザの状態の全履歴を見ることを可能にする。例示的な実施形態によれば、より一般的なビューの方が、具体的な関心領域についての指示を提供する。図8Aに示す例示的な実施形態の表示は、特定の時点からより広いシーンへ、またより広いシーンからストーリ全体(例示的な実施形態の講義全体、あるいはテストまたは試験のために勉強している全ての素材)へ、ストーリの全体を見るようにユーザを訓練する。例示的な実施形態によれば、コンテンツまたは講義(1つまたは複数)の全体を、同時に見ることができる。その結果として、ユーザは、講義の様々な視点を見ることによって、進行を比較し、評価することもできる。
タイムライン71および88は、中央にtnが示され、現在表示されている時間の5分前および現在表示されている時間の5分後を有するタイムバーが提供される。さらに、タイムライン生成器61cによって生成されるタイムライン72および85は、ユーザに対して表示され、これらのタイムラインは、講義全体(コンテンツ全体)に沿った認知状態の全履歴についてのタイムラインである。現在出力されている位置またはビデオ部分は、時間tnとして示され、コンテンツ全体を基準として表示される。例示的な実施形態によれば、タイムライン72および85は、当技術分野で既知のビデオコントロールと同様であるが、ユーザの認知状態がその上にマークされている。
図8Aは、現在表示されている画像が、タイムライン72および85によって示されるコンテンツ全体のほぼ中央にある様子を示す。図8Aに示すように、ユーザは、コンテンツ(講義)を勉強および/またはレビューしていることがある。したがって、図1に示すヘッドセットを、レビュー時間中にユーザが装着していることもある。例示的な実施形態では、レビュー時間中に生成される追加の感覚データを、同期装置61aが、表示されているコンテンツ(ビデオおよびオーディオ)と同期させ、タイムライン生成器61cが、レビューのリアルタイム中にユーザの認知状態を示すレビュータイムライン85および88を生成することもある。例示的な実施形態によれば、最近の時間または現在時間(レビュー時間中)のユーザの認知状態は、タイムライン85および88に示される。レビュータイムライン85および88を、リアルタイムで更新し、ユーザに対して表示して、レビューまたは勉強プロセス中に素材がユーザによって容易に理解されるようにしてもよい。例示的な実施形態によれば、リアルタイムのユーザの認知状態86は、実行中にディスプレイ上に出力してもよい。さらに、同期装置61aが、ツールバー89を介して、講義(コンテンツのオリジナルの提示)中にユーザがとったメモ87、および/あるいはコンテンツのレビューまたは勉強中に作成したメモを同期させてもよい。例示的な実施形態によれば、洞察からの相関を、ユーザが取り出し、表示し、編集してもよい。
図8Aに示す例示的な実施形態によれば、タイムライン71、72、85、および88は、ユーザの認知状態を示す。ただし、これは、限定ではなく例示のために示される。様々な例示的な実施形態によれば、ただ1つのタイムラインで、またはこれらのタイムラインのうちの一部だけで、ユーザの認知状態を示してもよい。例えば、タイムライン72および85だけで、それぞれオリジナルの講義の提示中およびレビュー中のユーザの認知状態を示してもよい。さらに、図8Aは、色または濃淡を用いてユーザの認知状態を示しているが、これは、限定ではなく例示のために示される。当業者なら、他のマーキング、インジケータ、およびコーディング技術を使用してユーザの認知状態を示してもよいことを容易に理解するであろう。例示的な実施形態によれば、ユーザは、タイムラインのうちのいずれか1つを介してスクロールして、コンテンツ内の所要の部分に移動することができる。例示的な実施形態では、例示であるが、ユーザは、タイムライン72またはタイムライン85上の特定の点をクリックまたは選択することもでき、UIは、選択された点を点nとして用いて新たな画面に切り替わる。
図8Bは、別の例示的な実施形態による、例えば外国語学生のための、可視スピーチ認識能力を強化するためにテキストともに表示されているオーディオ信号を示す図である。図8Bでは、テキスト81が表示されるのに加えて、オーディオデータ801が提供され、ユーザがコンテンツをテキストフォーマットで見るだけでなく、聞くこともできるようにしている。
図9Aは、例示的な実施形態によるコンテンツを勉強した後で相関を構築する方法を示す図である。
図9Aに示すように、ユーザがコンテンツをレビューした後で、タイムライン生成器61cは、ユーザの認知状態が、レビュー前と比較してコンテンツ全体のより大きな部分でコンフィデンスであることを示すようにタイムライン95および98を更新する。比較のために、タイムライン94は、ユーザが、レビュー後と比較してコンテンツのより大きな部分94aについて混乱しており、ユーザは、タイムライン95に示すより小さな部分95aについて混乱していることを示す。図9Aでは、オリジナルコンテンツ92は、ユーザが混乱していることを示す色の濃淡になっているタイムライン93、および異なる濃淡部分94aによって示される全コンテンツのうちユーザが混乱している部分が約(28%)であることを示すタイムライン94とともに表示される。コンテンツをレビューした後、ユーザは、素材のほとんど、または素材の有意な部分を理解している。レビュー後に、タイムライン95は、ユーザの認知状態をコンフィデンスとして示し、変換テキスト部分91は、コンフィデンスを示す、またはユーザが素材/コンテンツを理解していることを示す濃淡で示される。ユーザの現在の状態96も、コンフィデンスとして示される。組み合わされたノート97は、ユーザに対して示される。コンテンツのオリジナルの提示中に作成されたメモ97a、およびレビューまたは勉強プロセス中に作成された追加のメモ97bは、一緒に示され、同期装置61aによって同期されており、さらにツールバー99を用いて編集されてもよい。
図9Bは、例示的な実施形態によるサポートツールを用いた相関の構築を示す図である。図9Bに示すように、ユーザは、オリジナルコンテンツ92をタイムライン93および94とともに見るだけでなく、上記で説明したようにタイムライン95および98も与えられる。また、ユーザは、オーディオデータ91の表示に示すように、発語された言葉を見るだけでなく聞くことができることもある。ユーザは、矢印キー9004を用いてコンテンツをスクロールすることもできる。オーディオデータ91内の特定の単語を選択または強調することにより、ユーザは、ビュー9003において定義が提供されることもある。すなわち、例示的な実施形態では、ビュー9003は、辞書9001などの検索エンジン、またはチュートリアル(例えば数学の概念を勉強している場合)を含むこともある。チュートリアルのタイプは、ビュー9001に示される。ここに示す例では、英語辞書またはその単語についての画像が提供されることもある。定義は、メモセクション9002に示してもよい。さらに、時間9003を示して、その用語がテキスト内のどこで見つかったかを説明してもよい。例示的な実施形態によれば、講義の概念および意味を、チュートリアルおよび辞書などの追加のサポートツールによって改善してもよい。
図9Cは、例示的な実施形態によるサポートツールによる相関の構築を示す図である。図9Cでは、ビュー9001に示されるチュートリアルにおいて、画像が選択されており、したがって、この概念を示す画像がメモセクション9006に示されている。例示的な実施形態によれば、外国人学生が例えば英語を理解するのを支援するために可視相関構築能力を強化する方法が提供される。例示的な実施形態によれば、サポートツールは、画像データベースおよび定義データベースとして示されている。これは、限定ではなく例示のために示される。例示的な実施形態によれば、限定されるわけではないが、教科書、インターネット検索、さらには関連する練習問題および宿題などの他のサポートツールを提供してもよい。
図10は、例示的な実施形態による相関またはコンテンツの理解を構築する方法を示す流れ図である。
図10に示すように、動作1001において、レビュー装置は、メモリから、キャプチャしたコンテンツおよび対応するキャプチャした認知状態を取り出す。キャプチャしたコンテンツは、ビデオデータおよび/またはオーディオデータを含むことがある。キャプチャしたユーザの認知状態は、上記でさらに詳細に説明したように、ET0〜ET10を含むことがある。決定された認知状態は、見て、かつ/または聞いているコンテンツに対応する1つまたは複数のタイムライン上に示すことができる。動作1002において、コンテンツを、時間または意味論的意味に基づいて、あるいはユーザの指定に従って、例えば5秒の長さのコンテンツサブモジュール(部分)に分割する。コンテンツは、部分的にサブモジュールとしてユーザに対して表示してもよい。動作1003において、オーディオコンテンツを、部分ごとに連続してテキストに変換する。動作1004において、レビュー中のユーザの認知状態を、ディスプレイ上に、かつ/またはスピーカを介して出力されている部分/サブモジュールを基準として決定する。動作1005において、レビュー素材に関するユーザの認知状態を生成し、ユーザに対して提示する。例示的な実施形態によれば、レビュー中のユーザの認知状態を決定して出力して、ユーザがその素材の自身のさらなる理解を決定できるようにする。
図11は、別の例示的な実施形態による相関を構築する方法を示す図である。図11に示すように、オリジナルデータは、画面1100の第1の領域1101内に表示してもよい。オリジナルデータ1101は、会議、会合、実験、およびスポーツ競技などの間に記録されたビデオデータおよび/またはオーディオデータのうちのいずれか1つを含む可能性がある。図11に示す例示的な実施形態では、オリジナルデータ1101は、化学実験などの実験室授業中に記録されたビデオデータ(オーディオデータなし)である。タイムライン1104および1105は、上述のタイムラインと同様であり、重複を避けるためにここではこれ以上説明しない。図11に示すように、タイムライン1105で使用される濃淡技術を基準としてユーザの認知状態を示すキーマップ1106を提供する。タイムライン1105のみをユーザの感情状態で濃淡を付けて示しているが、当業者なら、タイムライン1104にも、ユーザの認知状態で濃淡を付けてもよいことを容易に理解するであろう。
セグメント化データを、画面1100の第2の領域1102に示す。例示的な実施形態によれば、オリジナルデータ1101は、所定の基準に従ってセグメント化してもよい。例示であるが、ビデオデータは、例えば5秒の長さの所定のチャンクにセグメント化することもできる。最初のフレーム、最後のフレーム、中間のフレームのうちの1つなどのフレームのうちの1つを、それぞれのセグメントのアイコンまたは画像として使用することもできる。図11では、それぞれ5秒のビデオデータに対応するデータセグメント1107が示されている。この複数のセグメントのそれぞれの上でクリックすることにより、ユーザは、それぞれのビデオセグメントを見ることができる。これらのセグメントは、ユーザの認知状態または感情状態に応じて濃淡が付けられている。図11では、画面1100の第3の領域1103は、オリジナルデータに関するユーザのメモ、教授のメモ、教科書のリンク、インターネットのリンク、ガイド、辞書、およびチュートリアルを含む可能性がある。したがって、様々なデータタイプが、様々な基準に基づいて複数の部分にセグメント化または分割される。例えば、データは、時間間隔(各5秒)に基づいて複数の部分に分割してもよい。別の例示的な実施形態によれば、データの意味を解析し、そのデータを、スピーチの一時停止、またはシーン変化を認識する画像認識技術を用いて、複数の部分に分割してもよい。これらは、限定ではなく例示のために示される。
さらに別の例示的な実施形態によれば、学習プロセスは、グループ学習によってさらに強化される。例えば、ソーシャルネットワーキングアプリケーションの機能を提供して、学習プロセスを強化する。図12は、例示的な実施形態によるソーシャルネットワーキングアプリケーションのユーザホームページを示す図である。例示的な実施形態では、FacebookまたはTwitterに類似のソーシャルネットワーキングアプリケーションを利用して、学習プロセスを強化する。
図12に示すように、ユーザホーム画面1200は、例えばスマートフォンなどのモバイルデバイスを介してユーザに対して表示される。ユーザのホームページ画面1200では、ユーザのデータベース1200aに格納された講義のリストが表示されている。このリストには、その講義のトピックが取得された時を示すタイムライン1200a-1が添付されている。例えば、図12に示すように、講義トピックのリスト1200aは、講義トピックN、N-1、N-2、…、N-8を含む。これらの講義は、それらが取得された対応する時間を有する。図12に示すように、講義トピックNは、タイムライン1200a-1に示すように、日時Nに取得されたものである。講義トピックN-1は、やはりタイムライン1200a-1に示すように、日時N-1に取得されたものであり、以下同様に続く。講義トピックNは、現在勉強している講義トピックを示すタイムラインの現在位置(最上位置)にある。トピックNは、ホームページ画面1200の左部分1201に要約されている。図12に示す例示的な実施形態によれば、トピックNは、メアリーがトピックの講師であり、講義時間が1時間46分である、日時Nに記録された数学の講義である。すなわち、例示的な実施形態では、ホームページ画面1200の左部分1201は、現在の講義トピック、すなわちトピックNについてのメタデータを提供する。さらに、例示的な実施形態によれば、タイムライン1201aが、講義トピックNについて提供される。タイムライン1201aは、講義トピックNの様々な部分におけるコンフィデンスレベルを示す。ユーザは、ユーザのホームページ画面1200の下側部分1202に示すように、講義トピックNのスクリプトをレビューすることもできる。すなわち、下側部分1202は、テキストに変換された講義トピックNを示す。最上位置のテキストモジュール1202aは、タイムライン1201a上で現在位置インジケータ1201bによって示されるように、ユーザが現在レビューしている講義トピックNの現在位置に対応する。例示的な実施形態によれば、ユーザは、タイムライン1201aを使用して、スクリプト1202内の所望の部分までスクロールすることができる。ユーザは、タイムライン1201aをスクロールすることによって、またはテキストモジュール1202内をスクロールすることによって、講義トピックNのビデオをロードすることなく、講義トピックNをレビューすることができる。ユーザのホームページ画面1200は、講義トピックNに対応するユーザのメモを表示するメモセクション1203をさらに含む。例示的な実施形態では、メモセクション1203は、レビューしている講義トピックNの現在位置に基づいて、レビュー中および/またはオリジナル講義中に、ユーザのメモ入力を表示する。換言すれば、メモセクション1203は、タイムライン1201a上の現在位置インジケータ1201b、およびレビューしている現在のテキストモジュール1202aと同期している。メモセクション1203は、ユーザ定義設定に応じて、オリジナル講義中に、レビュー中に、かつ/またはその両方の間に作成されたメモを提示することができる。デフォルト設定では、現在位置インジケータ1201bに対応する全ての利用可能なメモを表示するようになっている。
ユーザが次のトピックについての特徴またはメタデータを見たいと思ったときには、ユーザがリスト1200aを上下にスクロールすると、領域1201、1202、および1203は、リストの最上位置にある講義トピックに対応するトピックのコンテンツを提供することになる。
さらに、図12に示すように、ホーム画面1200は、ユーザの友達についての表示構成要素または表示要素を含む。図12に示す例では、友達1〜7が、表示領域1205に示され、友達-1、-2、-3、および-4が、表示領域1206に示されている。図12に示すように、新たな投稿がない友達は、表示領域1205に示され、新たな投稿、すなわちユーザがまだ見ていない投稿がある友達は、表示領域1206に示される。ユーザは、友達3、5、7の投稿に対してコメントしており、このことは、チェックマークなどの表示インジケータで反映されている。また、ユーザは、友達2、4、および6の投稿にはコメントしておらず、このことは、未チェックのボックスなどの別のインジケータによって可視であることもある。
例示的な実施形態では、投稿は、トピック特有のものにして、特定のトピックを見ることにより、画面がそのトピックに対応する投稿を表示し、かつ/またはその特定のトピックにコメントした友達を示すようにする。例示的な実施形態では、ユーザは、友達のアイコンをスワイプして、その友達の1つまたは複数の投稿を見ることもできる。
図13に示すように、例示的な実施形態によれば、ユーザが、講義トピックNを選択し、講義トピックNが、ビデオの形態で領域1301に示される。さらに、領域1301には、タイムライン1301を表示してもよい。すなわち、例示的な実施形態によれば、ユーザが図12に示すユーザのホームページ画面の部分1200a上の任意の点を選択すると、図13に示すように、講義トピックNのビデオが画面部分1301で再生される。ユーザは、領域1301、1302、または1303に触れることによって、任意の時点でビデオを一時停止/再生することができる。ユーザは、領域1302をスクロールすることによって、またはタイムライン1301aを操作することによって、講義トピックNのビデオを早送り、巻き戻しすることができる。講義トピックNのビデオの再生中に、ユーザは、画面部分1305を操作することによって、自分で作成したメモと、さらには友達が作成したメモおよび友達のコメントとを見ることができる。
図13に示すように、領域1301で再生される講義トピックNのビデオのオーディオは、テキストに変換され、領域1302に表示される。領域1303には、ユーザのメモ(ユーザ設定および/またはデフォルト設定によっては、友達のメモも含む)が表示される。領域1304には、ユーザによって作成されたコメント(ユーザ設定および/またはデフォルト設定によっては、友達のコメントも含む)が表示される。例えば、限定ではなく例示のために示すものであるが、友達n、n-3、n+1、n+3、n+5、n+7は、セクション1305に示すように、チェックマークの表示インジケータによって、講義トピックNの現在位置1302aを対象としたコメントをしている可能性がある。さらに、返信1306を含む領域を提供してもよい。図13に示す例示的な実施形態では、友達n-1、n-2、n+2、n+4、およびn+6は、ユーザの友達のコメントに対してコメントしていることがある(返信)。例示的な実施形態では、領域1304に表示されるユーザコメントは、家で解いてくるようにと授業中に講師から与えられた数学の問題であることもある。したがって、例示的な実施形態では、領域1306に表示される友達からの返信は、その問題の解を含むこともあり、ユーザは、図13に示す講義トピックNの画面の領域1306に示される返信Rnをレビューすることによって、自分の友達の様々な解を確認することができる。
例示的な実施形態によれば、ユーザは、友達表示領域1305において友達を選択することによって、様々な友達のコメント/返信を閲覧することができる。友達表示領域1305において1人または複数人の友達を選択することにより、ユーザは、領域1306において選択した友達によって行われた返信/コメントを見る。これは、限定ではなく例示のために示される。
図14は、さらに別の例示的な実施形態による特定のタスクについてのユーザのスキルレベルを決定する方法を示す図である。
図14に示すように、図1を参照して上述したヘッドセット1のカメラなどのカメラによって取り込まれた画像の参照フレーム1410を使用して、オブジェクト141の動きを決定することができる。参照フレーム1401内には、静止オブジェクト141を中心に表示することができる。すなわち、例示的な実施形態によれば、静止オブジェクト141は、ゴルフボール(ユーザがゴルフをしているとき)、黒板上の1点(ユーザが教室にいるとき)、またはサッカーボール(ユーザがサッカーをしているとき)などのユーザが見ているオブジェクトであることもある。これらの静止オブジェクトは、限定ではなく例示のために示される。複数のキャプチャした画像の解析に基づいて、フレーム1410内のオブジェクト141の動きを検出する。フレーム1410内のオブジェクト141の動きを解析することにより、ユーザの感情状態が検出されることもある。例えば、検出したオブジェクト141の動きは、ユーザの額の動きを反映するが、この動きがユーザの認知状態を反映している可能性がある。例示的な実施形態によれば、この検出方法は、ユーザの追加の感情/認知情報を検出して、EEG信号における雑音の影響を除外することもできる。
例示的な実施形態では、ユーザの頭部の水平方向の動きは、静止オブジェクト141が中心から方向141aおよび141bに移動した場合に検出される。さらに、ユーザの頭部の垂直方向の動きは、図14に示すように、静止オブジェクト141が中心から方向141cおよび141dに移動した場合に検出される。この動きは、画像フレームのサブセット、すなわちビデオの一部分を解析することによって検出される。上記でさらに詳細に説明したように、ビデオの一部分は、テキスト/スピーチ変換に関連して上述したチャンクまたは分割ブロックに対応することがある。
さらに別の例示的な実施形態によれば、動きを決定するために使用されるビデオの一部分は、コンテキストに特有であってもよい。
例えば、ユーザが黒板上の特定の点を見ている場合には、ユーザが頭を振るまたは頷く動きが検出されることがある。すなわち、検出された水平方向の動きは、ユーザが頭を振っていること、したがって混乱しているように見えることを示している可能性がある。一方で、検出された頭部の垂直方向の動きは、ユーザが提示されている素材を理解していることを示している可能性がある。したがって、参照セットとして使用されるビデオの一部分は、例えば一時停止までの動きなどの検出されたユーザの頭部の動きによって決まる。
さらに別の例示的な実施形態によれば、動きを検出するために使用されるビデオの一部分は、実行されているタスクによって決まることもある。ユーザがゴルフをしている場合には、動きが、タスクの質を検出する助けになることもある。例えば、ゴルファーがパッティングをしているときには、オブジェクト141は、パッティングプロセス中を通じて参照フレーム1410内で静止したままでなければならない。パッティングが失敗だった場合には、ゴルファーは、レビューを行って、静止オブジェクト141が下方に移動したのを見ることができ、これによりユーザは、パッティング中に頭を上に動かしたのだと判断することができる。パッティングプロセス中の自分の動きを解析することにより、自分のパッティングを改善することができる。
図15は、図14を参照して上述した例示的な実施形態による特定のタスクについてのユーザのスキルレベルを決定する方法を示す流れ図である。
図15に示すように、動作1501において、静止オブジェクトを検出する。例示的な実施形態では、ゴルフボールまたは黒板などユーザが見ている場所の中心点などの静止オブジェクトは、当技術分野で既知の様々な画像認識技術を使用して検出することができる。動作1502において、静止オブジェクトについて検出された動きに基づいて、ビデオをチャンクまたはセグメントに分割する。例示的な実施形態によれば、ビデオを解析して、画像フレームごとに静止オブジェクトの動きを決定する。各動きは、ビデオのチャンクまたはセグメントであると決定されることもある。動作1503において、決定した各チャンクまたはセグメントについて、動きのタイプを決定する。決定している動きのタイプは、コンテキストに基づく。
例えば、黒板の例では、検出されている動きのタイプは、ユーザが混乱している(頭を振っている)かコンフィデンスである(頷いている)かを示す、水平方向または垂直方向の動きであることもある。ゴルフの例では、検出されている動きのタイプは、ゴルフボールに対する頭部の移動、および移動の開始からゴルフボールを打つまでのタイミングであることもある。
動作1504において、決定した動きのタイプに少なくとも部分的には基づいて、ユーザのスキルレベルまたはコンフィデンスレベルを決定する。例えば、ユーザが頷いており、かつ感覚データがユーザの認知状態がコンフィデンスであることを示している場合には、これらの要因を組み合わせて、ユーザが提示されている素材を知っており、理解していると決定することができる。一方、ユーザのスイングが遅く(時間がかかり)、かつゴルフボールがフレーム間で移動している場合には、これらの要因を感覚データ(ユーザの記憶力が激しく働いていることを示していることもある)と組み合わせて、低スキルレベルと決定することができる。ゴルフの上手な人であれば、例えば記憶力ではなく主として運動技能を利用し、スイングが速く、ボールから目を離さないはずだからである。
例示的な実施形態では、動作1505において、決定したスキルレベルをユーザに対して出力してもよいし、あるいは決定したスキルレベルに基づいて動作を修正してもよい。例示的な実施形態によれば、決定したスキルレベルに基づいて、追加のチュートリアルまたは素材をユーザに対して提示してもよい。代替的に、一時停止を追加して、よりゆっくりとしたスピードで、講義を提示してもよい。さらに別の例示的な実施形態によれば、ゴルフのラウンドを色分けして、ユーザが特定のホール、特定の動き、およびタスクなどについてさらに練習が必要であることを示してもよい。特定のタスクを練習するために、ユーザをコース内の特定の領域に案内することもできる。
さらに別の例示的な実施形態によれば、複雑なタスクが実行されている(例えば複雑な機械または機器を操作している)ときには、決定したスキルレベルを使用して、例えばスキルレベルが不十分である場合、またはユーザが居眠りしそうに見える場合に、警報を出力したり、あるいは機器をシャットダウンしたりしてもよい。
例示的な実施形態の1態様によれば、個人用の直感に基づく認知支援システムが提供される。このシステムは、同期した視覚情報およびオーディオ情報を含むデータを環境から取り込むように構成される1つまたは複数の装置、ユーザが目と耳で観察する環境からキャプチャした同期した視覚情報およびオーディオ情報に対応するユーザの直感状態または認知状態を取り込むように構成される少なくとも1つのセンサ、ならびにキャプチャした認知情報と、キャプチャした同期した視覚情報/オーディオ情報、キャプチャしたユーザの直感状態情報、処理済みの同期した視覚情報/オーディオ情報、および処理済みのユーザの直感状態情報を含む処理済みの認知情報とを表示するように構成される少なくとも1つの表示装置を含む。本装置は、キャプチャした直感状態または感覚データおよびデータベースに格納された特有の参照信号に基づいてユーザの特有の直感状態を識別し、ユーザの識別した特有の直感状態を解釈して識別された特有の可視直感マークに変換し、キャプチャした同期したオーディオ情報を解釈して同期したテキストおよびシンボルに変換し、一連の解釈した同期したテキストおよびシンボルを分離した連続した同期したサブタイトルモジュールにチャンキングし、連続的なキャプチャした同期した視覚情報およびオーディオ情報を、連続した同期したサブタイトルモジュールに対応する離散的な連続した同期したビデオに分割するように構成されるプロセッサと、分離された連続した同期したサブタイトルモジュールを、スクリプトウィンドウ内の分離した連続したサブタイトルサブウィンドウに表示するディスプレイとをさらに含む。プロセッサは、さらに同期したサブタイトルウィンドウを、ユーザの識別した特有の直感状態に対応する同期した識別した特有の可視直感マークでマークするように構成される。本装置は、キャプチャした同期した視覚情報、オーディオ情報、および直感情報と、処理済みの同期した視覚情報、オーディオ情報、および直感情報とを含む同期した認知状態を格納するメモリをさらに含む。
様々な例示的な実施形態によれば、ユーザは、勉強、対面会議、ビデオ電話会話などのときにさらなる注意を必要とするトピックを容易に理解することができる。様々な例示的な実施形態によれば、ユーザが目と耳で観察する環境に基づいて作成された個人的なメモおよびコメント、ならびにその環境に基づいて形成された思考を、その環境と同期させることができる。これらの個人的な会話ドキュメントおよび思考は、学習、およびユーザのワーキングメモリの思考に似ていることがある。これらはドキュメント化され、次いで格納され、出力され、共有されて、ユーザが様々な種類の「会話後」情報の格納および交換を行うのを支援する。その出力は、電子メールおよびソーシャルメディアなどの様々な形態を採る可能性がある。
例証を目的として様々な例示的な実施形態について説明したが、これらの説明は、全てを網羅するものとして意図されているわけではなく、あるいは開示した実施形態に限定されるようにも意図されているわけではない。
記載した実施形態の範囲および趣旨を逸脱することなく、多数の変更が当業者には明らかである可能性がある。本明細書で使用した用語は、実施形態の原理、実際の応用分野、または市場に見られる技術を越える技術的改善を最もよく説明するために、あるいは当業者が本明細書に開示した実施形態を理解することを可能にするために選んだものである。
例示的な実施形態では、認知モジュールプロセッサは、有形のコンピュータ可読媒体上に実装される。本明細書で使用する「コンピュータ可読媒体」という用語は、命令を実行するためにプロセッサに提供することに関与する任意の媒体を指す。コンピュータ可読媒体は、限定されるわけではないが、例えば、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あるいはそれらの任意の適当な組合せである可能性がある。コンピュータ可読媒体のさらに具体的な例(非網羅的なリスト)を挙げると、2本以上のワイヤを有する電気接続、フロッピーディスクもしくはフレキシブルディスクなどの携帯可能なコンピュータディスケット、磁気テープもしくはその他の任意の磁気媒体、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMもしくはフラッシュメモリ)、メモリカード、その他の任意のメモリチップもしくはカートリッジ、光ファイバ、携帯可能なコンパクトディスク読取り専用メモリ(CD-ROM)、その他の任意の光学媒体、パンチカード、紙テープ、パターン状に開けられた穴を有するその他の任意の物理的媒体、またはコンピュータが読み取ることができるその他の任意の媒体、あるいはそれらの適当な組合せが挙げられる。
本文書の文脈では、コンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって使用されるプログラム、あるいは命令実行システム、装置、またはデバイスと関連して使用されるプログラムを収容または格納することができる任意の有形の非一時的媒体であってよい。
別の形態は、信号媒体であり、これは、コンピュータ可読プログラムコードが例えばベースバンドに、または搬送波の一部としてその中に実装された伝搬データ信号を含む可能性がある。このような伝搬信号は、限定されるわけではないが、電磁、光、またはそれらの任意の適当な組合せなどの様々な形態のうちのいずれをとってもよい。信号媒体は、同軸ケーブル、銅線、およびデータバスを含むワイヤなどの光ファイバを含む可能性がある。信号媒体は、命令実行システム、装置、またはデバイスによって使用されるプログラム、あるいは命令実行システム、装置、またはデバイスと関連して使用されるプログラムを通信、伝搬、または移送することができる、コンピュータ可読ストレージ媒体ではない任意の媒体であってよい。
コンピュータ可読媒体上に実装されるプログラムコードは、限定されるわけではないが、ワイヤレス、ワイヤライン、光ファイバケーブル、RFなどのまたはそれらの任意の適当な組合せなどの任意の適当な媒体を用いて伝送することができる。
例示的な実施形態の態様の動作を実行するコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++、または.Netなどのオブジェクト指向プログラミング言語、あるいは従来の手続き型プログラミング言語などの1つまたは複数のプログラミング言語の任意の組合せで書くことができる。プログラムコードは、完全にユーザのコンピュータ上で実行してもよいし、一部をユーザのコンピュータ上で実行してもよいし、独立型ソフトウェアパッケージとして実行してもよいし、一部をユーザのコンピュータ上で実行し、一部は遠隔コンピュータ上で実行してもよいし、あるいは完全に遠隔コンピュータまたはサーバ上で実行してもよい。遠隔コンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)など任意のタイプのネットワークを介してユーザのコンピュータに接続することができ、あるいはこの接続は、(例えばインターネットサービスプロバイダを用いてインターネットを介して)外部のコンピュータに対して行ってもよい。
コンピュータ可読媒体は、本明細書に記載する方法および/または技術のいずれかを実施する命令を搬送する機械可読媒体の単なる一例に過ぎない。このような媒体は、限定されるわけではないが、不揮発性媒体および揮発性媒体などの多数の形態を採る可能性がある。不揮発性媒体は、例えば、光ディスクまたは磁気ディスクを含む。揮発性媒体は、ダイナミックメモリを含む。
様々な形態のコンピュータ可読媒体が、1つまたは複数の命令の1つまたは複数のシーケンスを実行のためにCPUなどのプロセッサに搬送することに関与する可能性がある。例えば、命令は、最初に遠隔コンピュータから磁気ディスクで搬送してもよい。代替的に、遠隔コンピュータが、命令をそのコンピュータのダイナミックメモリにロードし、モデムを用いて電話回線を介してその命令を送信することもできる。コンピュータシステムにローカルなモデムは、電話回線上でデータを受信し、赤外線トランスミッタを使用してそのデータを赤外線信号に変換することができる。赤外線検出器が、この赤外線信号で搬送されるデータを受信することができ、適当な回路が、そのデータをデータバスに送ることができる。バスは、そのデータを揮発性ストレージまで搬送し、この揮発性ストレージから、プロセッサが命令を取り出して実行する。揮発性メモリが受信した命令は、オプションで、プロセッサによって実行される前または後に、永続的ストレージデバイスに格納してもよい。命令は、当技術分野で周知の様々なネットワークデータ通信プロトコルを用いてインターネットを介してコンピュータプラットフォームにダウンロードしてもよい。
図面の流れ図およびブロック図は、様々な例示的な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を例示するものである。これに関連して、流れ図またはブロック図の各ブロックは、指定された論理機能を実施する1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部分を表す可能性がある。また、いくつかの代替の実施態様では、ブロックに記載される機能が、図面に記載される以外の順序で発生することもあることにも留意されたい。例えば、連続して示されている2つのブロックが、実際には実質的に同時に実行されることもあり、あるいは関係する機能によっては逆の順序で実行されることもある。また、ブロック図および/または流れ図の各ブロック、およびブロック図および/または流れ図のブロックの組合せは、特殊な機能またはアクションを実行する、あるいは特殊目的のハードウェアおよびコンピュータ命令の組合せを実行する特殊目的ハードウェア型システムによって実施してもよいことに留意されたい。
本明細書で使用する用語は、特定の実施形態を説明することのみを目的とするものであり、限定することを意図したものではない。本明細書で使用する単数形の"a"、"an"、および"the"は、文脈からそうでないことが明らかでない限り、複数形も含むものとして意図されている。さらに、本明細書で使用される「備える」および/または「備えている」という用語は、記載される特徴、整数、ステップ、動作、要素、および/または構成要素が存在することを指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループが存在すること、または追加されることを排除しない。
後記の特許請求の範囲における全てのミーンズまたはステッププラスファンクション要素の対応する構造、材料、アクション、および均等物は、特に請求対象とする他の請求対象の要素と組み合わせて機能を実行する任意の構造、材料、またはアクションを含むものと意図されている。
例示および説明を目的として例示的な実施形態について説明したが、この説明は、網羅的なものでも、あるいは任意の形態に限定するためのものでもない。多数の修正および変形が、本発明の範囲および趣旨を逸脱することなく、当業者には明らかになるであろう。例示的な実施形態は、動作およびその実際の応用例を説明し、企図される個々の用途に適した様々な修正を含む様々な実施形態を当業者が理解することを可能にするために選び、説明したものである。すなわち、これらの実施形態の様々な修正は、当業者には容易に明らかになり、本明細書に定義する一般的原理および具体例は、発明の才を用いずとも他の実施形態に適用することができる。例えば、上述した実施形態のうち異なる実施形態の特徴の一部または全てを組み合わせて、1つの実施形態にしてもよい。逆に、上述した実施形態のうちの1つの実施形態の特徴の一部を、その実施形態から省略してもよい。したがって、本開示は、本明細書に記載する例示的な実施形態に限定されるものではなく、特許請求の範囲およびその均等物の特徴によって定義される最も広い範囲が与えられる。
1 ヘッドセット
10 電子ボード
11 カメラ
13 認知状態センサ
21 黒板
24 サーバ
30 レビュー装置
31 プロセッサ
32 ディスプレイ
33 ネットワークカード
34 メモリ
35 ユーザインタフェース
60 レビュー装置
61 プロセッサ
61a 同期装置
61b 認知状態決定装置
61c タイムライン生成器
61d スピーチ/テキスト変換器
62 メモリ
63 出力装置

Claims (16)

  1. 個人用の感情に基づく学習支援システムであって、
    同期した視覚情報および聴覚情報を含むデータを取り込み、かつユーザから生成された対応する認知信号を取り込む、少なくとも1つのデータ取込み装置と、
    少なくとも1つの表示装置であって、
    前記視覚情報および前記聴覚情報の多成分情報を前記少なくとも1つの表示装置の異なる表示領域に出力することであって、前記異なる表示領域が、
    前記視覚情報および前記聴覚情報のビデオが再生される少なくとも1つの第1のビデオ再生領域と、
    複数の同期テキスト/シンボルスクロールセグメントが表示される少なくとも1つの第2の追加情報領域とを含み、前記複数の同期テキスト/シンボルスクロールセグメントが、テキストおよびシンボルに変換された前記視覚情報および聴覚情報のうちの少なくとも1つを含み、かつ前記再生されるビデオと同期して表示される、
    出力することと、
    前記第1のビデオ再生領域および前記第2の追加情報領域のうちの少なくとも1つにおいて、前記表示されるテキスト/シンボルセグメントと同期した複数のインジケータを生成かつ表示することと、
    前記少なくとも1つのデータ取込み装置によって取り込まれた前記データを複数のセグメントに分割することと、
    前記複数のセグメントのそれぞれについて、複数のタイプの認知状態のうちの前記ユーザの第1の認知状態および第2の認知状態と、前記認知状態の複数のレベルのうちの決定した第1の認知状態の第1のレベルおよび決定した第2の認知状態の第2のレベルを決定することと
    を行うように構成される少なくとも1つの表示装置と
    を備え、
    前記第1の認知状態が、前記データ取込み装置による前記データの取込み中に前記ユーザから生成される前記認知信号に基づいて決定され、
    前記第2の認知状態が、前記少なくとも1つの第1のビデオ再生領域における前記データの再生中に前記ユーザから生成される前記認知信号に基づいて決定され、
    前記複数のインジケータが、前記複数のセグメントのうちの対応するセグメントについての前記第1の認知状態および前記第2の認知状態を示す、
    個人用の感情に基づく学習支援システム。
  2. 少なくとも1つのタイムラインが、前記少なくとも1つの第1のビデオ再生領域および前記少なくとも1つの第2の追加情報領域のうちの少なくとも1つに表示される、請求項1に記載の個人用の感情に基づく学習支援システム。
  3. 前記ユーザからの入力を受け取るように構成されるユーザインタフェースをさらに含み、
    前記ユーザインタフェースを介して前記ユーザから前記少なくとも1つの第2の追加情報領域内の別のテキスト/シンボルセグメントに移動するための前記入力を受け取ったことに応答して、前記少なくとも1つの表示装置が、前記別のテキスト/シンボルセグメントを表示し、前記ビデオを前記別のテキスト/シンボルセグメントに対応する異なる位置から再生し、かつ前記タイムライン上の現在位置インジケータを前記別のテキスト/シンボルセグメントに対応する別の位置に移動させ、
    前記ユーザインタフェースを介して前記ユーザから前記タイムライン上の前記現在位置インジケータを前記別の位置に移動させるための前記入力を受け取ったことに応答して、前記少なくとも1つの表示装置が、前記タイムライン上の前記現在位置インジケータを前記別の位置に表示し、前記別の位置に対応する点から前記ビデオを再生し、かつ前記別の位置に対応するテキスト/シンボルセグメントを表示する、
    請求項2に記載の個人用の感情に基づく学習支援システム。
  4. 前記少なくとも1つのタイムラインが、前記複数のセグメントの前記それぞれについて、前記ユーザの前記第1の認知状態および前記ユーザの前記第2の認知状態のうちの少なくとも1つと、前記認知状態の前記第1のレベルおよび前記認知状態の前記第2のレベルのうちの少なくとも1つとに基づいて色分けされる、請求項2に記載の個人用の感情に基づく学習支援システム。
  5. 前記少なくとも1つのタイムラインが、
    前記ビデオと同期した前記複数のインジケータを有する、前記少なくとも1つの第1のビデオ再生領域に表示される第1のタイムラインであって、前記複数のインジケータが、前記取り込んだデータのオリジナル提示中の前記ユーザの前記第1の認知状態および前記認知状態の前記第1のレベルを示す、第1のタイムラインと、
    前記表示されるテキスト/シンボルセグメントと同期した前記複数のインジケータを有する、前記少なくとも1つの第2の追加情報領域に表示される第2のタイムラインであって、前記複数のインジケータが、前記ビデオが前記少なくとも1つの第1のビデオ再生領域に再生されるレビュー中の前記ユーザの前記第2の認知状態および前記認知状態の前記第2のレベルを示す、第2のタイムラインと
    を含む、請求項2に記載の個人用の感情に基づく学習支援システム。
  6. 前記少なくとも1つの表示装置が、
    前記少なくとも1つの第1のビデオ再生領域を表示する第1の表示装置と、
    前記少なくとも1つの第2の追加情報領域を表示する第2の表示装置と
    を含む、請求項1に記載の個人用の感情に基づく学習支援システム。
  7. 前記少なくとも1つの表示装置が、現在表示されている対応するそれぞれのセグメントに関係する画像、グラフ、テキスト、およびスケッチのうちの少なくとも1つを含む第3の領域をさらに表示する、請求項1に記載の個人用の感情に基づく学習支援システム。
  8. 前記少なくとも1つの表示装置が、前記複数のセグメントに示されたオブジェクトの動き情報を同期したスケッチおよびシンボルに変換するように構成される動き/スケッチ変換器をさらに含む、請求項1に記載の個人用の感情に基づく学習支援システム。
  9. 個人用の感情に基づく学習支援方法であって、
    少なくとも1つのデータ取込み装置によって、同期した視覚情報および聴覚情報を含むデータを取り込むステップと、
    前記少なくとも1つのデータ取込み装置によって、前記取り込んだデータに対応する、ユーザから生成された認知信号を取り込むステップと、
    前記取り込んだ同期した視覚情報および聴覚情報の多成分情報を異なる表示領域に出力するステップであって、前記異なる表示領域が、
    前記取り込んだ同期した視覚情報および聴覚情報のビデオが再生される少なくとも1つの第1のビデオ再生領域と、
    複数の同期テキスト/シンボルスクロールセグメントが表示される少なくとも1つの第2の追加情報領域とを含み、前記複数の同期テキスト/シンボルスクロールセグメントが、テキストおよびシンボルに変換された前記取り込んだ同期した視覚情報および聴覚情報のうちの1つを含み、かつ前記再生されるビデオと同期して表示される、
    ステップと、
    前記少なくとも1つの表示装置によって、前記第1のビデオ再生領域および前記第2の追加情報領域のうちの少なくとも1つにおいて、前記表示されるテキスト/シンボルセグメントと同期した複数のインジケータを生成かつ表示するステップと、
    前記少なくとも1つのデータ取込み装置によって取り込まれた前記データを複数のセグメントに分割するステップと、
    前記複数のセグメントのそれぞれについて、複数のタイプの認知状態のうちの前記ユーザの第1の認知状態および第2の認知状態と、前記認知状態の複数のレベルのうちの決定した第1の認知状態の第1のレベルおよび決定した第2の認知状態の第2のレベルとを決定するステップと
    を含み、
    前記第1の認知状態が、前記データ取込み装置による前記データの取込み中に前記ユーザから生成される前記認知信号に基づいて決定され、
    前記第2の認知状態が、前記少なくとも1つの第1のビデオ再生領域における前記データの再生中に前記ユーザから生成される前記認知信号に基づいて決定され、
    前記複数のインジケータが、前記複数のセグメントのうちの対応するセグメントについての前記第1の認知状態および前記第2の認知状態を示す、
    個人用の感情に基づく学習支援方法。
  10. 少なくとも1つのタイムラインが、前記少なくとも1つの第1のビデオ再生領域および前記少なくとも1つの第2の追加情報領域のうちの少なくとも1つに表示される、請求項9に記載の個人用の感情に基づく学習支援方法。
  11. ユーザインタフェースを介して前記ユーザから入力を受け取るステップと、
    前記ユーザから前記少なくとも1つの第2の追加情報領域内の別のテキスト/シンボルセグメントに移動するための前記入力を受け取ったことに応答して、前記別のテキスト/シンボルセグメントを表示し、前記ビデオを前記別のテキスト/シンボルセグメントに対応する異なる位置から再生し、かつ前記タイムライン上の現在位置インジケータを前記別のテキスト/シンボルセグメントに対応する別の位置に移動させるステップと、
    前記ユーザから前記タイムライン上の前記現在位置インジケータを前記別の位置に移動させるための前記入力を受け取ったことに応答して、前記タイムライン上の前記現在位置インジケータを前記別の位置に表示し、かつ前記別の位置に対応する点から前記ビデオを再生し、前記別の位置に対応するテキスト/シンボルセグメントを表示するステップと
    をさらに含む、請求項10に記載の個人用の感情に基づく学習支援方法。
  12. 前記少なくとも1つのタイムラインが、前記複数のセグメントの前記それぞれについて、前記ユーザの前記決定された第1の認知状態および前記ユーザの前記決定された第2の認知状態のうちの少なくとも1つと、前記ユーザの前記認知状態の前記決定された第1のレベルおよび前記認知状態の前記決定された第2のレベルのうちの少なくとも1つとに基づいて色分けされる、請求項10に記載の個人用の感情に基づく学習支援方法。
  13. 前記少なくとも1つの第1のビデオ再生領域が、第1の表示装置の第1のディスプレイ上に表示され、前記少なくとも1つの第2の追加情報領域が、第2の表示装置の第2のディスプレイ上に表示される、請求項9に記載の個人用の感情に基づく学習支援方法。
  14. 現在表示されている対応するそれぞれのセグメントに関係する画像、グラフ、テキスト、およびスケッチのうちの少なくとも1つを含む第3の領域を表示するステップをさらに含む、請求項9に記載の個人用の感情に基づく学習支援方法。
  15. 前記複数のセグメントに示されたオブジェクトの動き情報を同期したスケッチおよびシンボルに変換するステップをさらに含む、請求項9に記載の個人用の感情に基づく学習支援方法。
  16. 個人用の感情に基づく認知支援方法を格納した非一時的コンピュータ可読記録媒体であって、
    コンピュータによって実行されたときに、前記コンピュータに、
    少なくとも1つのデータ取込み装置を同期した視覚情報および聴覚情報を含むデータを取り込むように制御することと、
    前記少なくとも1つのデータ取込み装置を前記取り込んだデータに対応する、ユーザから生成された認知信号を取り込むように制御することと、
    前記視覚情報および聴覚情報の多成分情報を異なる表示領域に出力することであって、前記異なる表示領域が、
    前記視覚情報および聴覚情報のビデオが再生される少なくとも1つの第1のビデオ再生領域と、
    同期テキスト/シンボルスクロールセグメントが表示される少なくとも1つの第2の追加情報領域とを含み、前記同期テキスト/シンボルスクロールセグメントが、テキストおよびシンボルに変換された前記視覚情報および聴覚情報のうちの1つを含み、かつ前記再生されるビデオと同期して表示される、
    出力することと、
    前記第1のビデオ再生領域および前記第2の追加情報領域のうちの少なくとも1つにおいて、前記表示される同期テキスト/シンボルセグメントと同期した複数のインジケータを生成かつ表示することと、
    前記少なくとも1つのデータ取込み装置によって取り込まれた前記データを複数のセグメントに分割することと、
    前記複数のセグメントのそれぞれについて、複数のタイプの認知状態のうち、前記ユーザの第1の認知状態および第2の認知状態を決定し、かつ前記認知状態の複数のレベルのうち、前記認知状態の第1のレベルおよび前記認知状態の第2のレベルを決定することと
    を行わせ、
    前記第1の認知状態が、前記データ取込み装置による前記データの取込み中に前記ユーザから生成される前記認知信号に基づいて決定され、
    前記第2の認知状態が、前記少なくとも1つの第1のビデオ再生領域における前記データの再生中に前記ユーザから生成される前記認知信号に基づいて決定され、
    前記複数のインジケータが、前記複数のセグメントのうちの対応するセグメントについての前記第1の認知状態および前記第2の認知状態を示す、
    個人用の感情に基づく認知支援方法を格納した非一時的コンピュータ可読記録媒体。
JP2019568674A 2017-06-13 2018-05-14 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム Expired - Fee Related JP6742545B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762518824P 2017-06-13 2017-06-13
US62/518,824 2017-06-13
US15/870,210 2018-01-12
US15/870,210 US10127825B1 (en) 2017-06-13 2018-01-12 Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization
PCT/US2018/032516 WO2018231403A1 (en) 2017-06-13 2018-05-14 Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization

Publications (2)

Publication Number Publication Date
JP6742545B1 true JP6742545B1 (ja) 2020-08-19
JP2020527741A JP2020527741A (ja) 2020-09-10

Family

ID=64050939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568674A Expired - Fee Related JP6742545B1 (ja) 2017-06-13 2018-05-14 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム

Country Status (10)

Country Link
US (2) US10127825B1 (ja)
EP (1) EP3639255A4 (ja)
JP (1) JP6742545B1 (ja)
KR (1) KR102140075B1 (ja)
CN (1) CN111213197B (ja)
AU (2) AU2018283906A1 (ja)
CA (1) CA3067017C (ja)
MY (1) MY202173A (ja)
SG (1) SG11201911766WA (ja)
WO (1) WO2018231403A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10661145B2 (en) * 2018-06-20 2020-05-26 BTE Enterprises, LLC Sports swing training device
US11133099B2 (en) * 2018-07-13 2021-09-28 International Business Machines Corporation Memory recall assistance for memory loss
USD881044S1 (en) * 2018-10-05 2020-04-14 Fuvi Cognitive Network Corp. Wearable apparatus for intuition based cognitive assistant
US10664489B1 (en) 2018-11-16 2020-05-26 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
WO2020116193A1 (ja) * 2018-12-07 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11514805B2 (en) * 2019-03-12 2022-11-29 International Business Machines Corporation Education and training sessions
CN110495854B (zh) * 2019-07-30 2022-08-05 科大讯飞股份有限公司 特征提取方法、装置、电子设备及存储介质
WO2021028501A1 (fr) * 2019-08-12 2021-02-18 100 Brevets Pour La French Tech Procédé et système d'enrichissement d'un contenu numérique représentatif d'une conversation
US11120705B2 (en) * 2020-02-13 2021-09-14 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive assistance for transforming multimedia content into a cognitive formation
US11210962B2 (en) 2020-04-14 2021-12-28 A.R. Head Ventures Ltd Electronic display and method for memorizing themes
CN112220479A (zh) * 2020-09-04 2021-01-15 陈婉婷 基于遗传算法的被审讯单体情绪判断方法、装置和设备
CN112185191B (zh) * 2020-09-21 2022-08-16 信阳职业技术学院 一种智能数字化教学模型
CN112259083B (zh) * 2020-10-16 2024-02-13 北京猿力未来科技有限公司 音频处理方法及装置
JP7473917B2 (ja) 2020-10-21 2024-04-24 株式会社デジタル・ナレッジ 教材オーサリングシステム
WO2022160842A1 (zh) * 2021-01-26 2022-08-04 华中师范大学 一种基于脑电数据的学生协作状态评估方法及系统
KR102303074B1 (ko) * 2021-02-25 2021-09-17 주식회사 한국이러닝개발원 타임 마그넷 이러닝 시스템
TWI833570B (zh) * 2023-02-06 2024-02-21 亞東學校財團法人亞東科技大學 輕度認知障礙語音檢測系統

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069652A (en) * 1997-09-26 2000-05-30 Ultrak, Inc. Furnace video camera apparatus
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US20130211238A1 (en) * 2001-01-30 2013-08-15 R. Christopher deCharms Methods for physiological monitoring, training, exercise and regulation
US6595781B2 (en) * 2001-06-20 2003-07-22 Aspen Research Method and apparatus for the production and integrated delivery of educational content in digital form
US6904263B2 (en) * 2001-08-01 2005-06-07 Paul Grudnitski Method and system for interactive case and video-based teacher training
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US10198958B2 (en) * 2007-05-04 2019-02-05 Freer Logic Method and apparatus for training a team by employing brainwave monitoring and synchronized attention levels of team trainees
US20140033025A1 (en) * 2007-12-06 2014-01-30 Adobe Systems Incorporated Displaying a text-based description of digital content in a sub-frame
JP5133678B2 (ja) * 2007-12-28 2013-01-30 株式会社ベネッセコーポレーション 動画再生システム及びその制御方法
US20100100546A1 (en) * 2008-02-08 2010-04-22 Steven Forrest Kohler Context-aware semantic virtual community for communication, information and knowledge management
JP5392906B2 (ja) * 2009-06-24 2014-01-22 学校法人東京電機大学 遠隔学習システム及び遠隔学習方法
US8334793B2 (en) * 2009-10-14 2012-12-18 Fujitsu Limited Systems and methods for indexing media files using brainwave signals
KR20110107454A (ko) * 2010-03-25 2011-10-04 최영민 학습 몰입 강화를 위한 온라인 학습 시스템 및 방법
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10111611B2 (en) * 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US20120047437A1 (en) * 2010-08-23 2012-02-23 Jeffrey Chan Method for Creating and Navigating Link Based Multimedia
US9164590B2 (en) * 2010-12-24 2015-10-20 Kevadiya, Inc. System and method for automated capture and compaction of instructional performances
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US9355110B1 (en) * 2011-07-14 2016-05-31 Google Inc. Dynamic presentation of data items based on prioritized associations
CN103974657B (zh) * 2011-12-16 2016-08-24 皇家飞利浦有限公司 用户的活动和相关联的情绪状态的历史日志
US9560094B2 (en) * 2012-02-02 2017-01-31 Tata Consultancy Services Limited System and method for identifying and analyzing personal context of a user
CN104081784B (zh) * 2012-02-10 2017-12-08 索尼公司 信息处理装置、信息处理方法和程序
EP2819045A4 (en) * 2012-03-23 2015-09-02 Nat Inst Japan Science & Technology Agency DEVICE FOR PROVIDING AN ENVIRONMENT FOR PERSONAL GENOMINE INFORMATION, METHOD FOR PROVIDING AN ENVIRONMENT FOR PERSONAL GENOMINE INFORMATION AND PROGRAM
US9224309B2 (en) * 2012-04-02 2015-12-29 Wisconsin Alumni Research Foundation Teaching system for improving information retention based on brain-state monitoring
US8864310B2 (en) * 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
US8924327B2 (en) * 2012-06-28 2014-12-30 Nokia Corporation Method and apparatus for providing rapport management
US8799561B2 (en) * 2012-07-27 2014-08-05 International Business Machines Corporation Valid page threshold based garbage collection for solid state drive
US9349100B2 (en) * 2012-08-30 2016-05-24 International Business Machines Corporation Method for providing a prompt for real-time cognitive assistance
CN104756484B (zh) * 2012-11-01 2018-02-23 索尼公司 信息处理设备、重放状态控制方法及计算机可读记录介质
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US10410191B2 (en) * 2013-03-14 2019-09-10 Bill.Com, Llc System and method for scanning and processing of payment documentation in an integrated partner platform
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method
US9681186B2 (en) * 2013-06-11 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for gathering and presenting emotional response to an event
US20150079560A1 (en) * 2013-07-03 2015-03-19 Jonathan Daniel Cowan Wearable Monitoring and Training System for Focus and/or Mood
CN109871259A (zh) * 2013-08-16 2019-06-11 运软网络科技(上海)有限公司 一种仿脑计算虚拟化的方法和系统
CN105531998B (zh) * 2013-08-19 2017-07-07 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
KR102111521B1 (ko) * 2013-09-12 2020-05-15 대우조선해양 주식회사 압축공기 분사 전류고정날개 및 그 압축공기 분사 전류고정날개를 이용한 프로펠러의 캐비테이션 손상방지 시스템
KR20150030491A (ko) * 2013-09-12 2015-03-20 주식회사 펀에듀 오감을 이용하는 교육 서비스 시스템 및 이를 위한 방법
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
US20150213002A1 (en) * 2014-01-24 2015-07-30 International Business Machines Corporation Personal emotion state monitoring from social media
KR102243653B1 (ko) * 2014-02-17 2021-04-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9943698B2 (en) * 2014-04-22 2018-04-17 Lockheed Martin Corporation Cognitive enhancement using feedback
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
WO2015179522A1 (en) * 2014-05-21 2015-11-26 Akili Interactive Labs, Inc. Processor-implemented systems and methods for enhancing cognitive abilities by personalizing cognitive training regimens
US20160042648A1 (en) * 2014-08-07 2016-02-11 Ravikanth V. Kothuri Emotion feedback based training and personalization system for aiding user performance in interactive presentations
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
BR112017003946B1 (pt) * 2014-10-24 2022-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Método e dispositivo de computação para ajudar um usuário particular a utilizar uma interface de usuário, e, meio não-transitório legível por máquina
CN104680859B (zh) * 2015-02-13 2017-02-15 绵阳点悟教育科技有限公司 一种自主学习系统及使用方法
CN105094315B (zh) * 2015-06-25 2018-03-06 百度在线网络技术（北京）有限公司 基于人工智能的人机智能聊天的方法和装置
US9894266B2 (en) * 2015-06-30 2018-02-13 International Business Machines Corporation Cognitive recording and sharing
US10285634B2 (en) * 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
TWI691929B (zh) * 2016-02-17 2020-04-21 原相科技股份有限公司 互動式服務平台及其運作方法
US9711056B1 (en) 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US20170315825A1 (en) * 2016-05-02 2017-11-02 John C. Gordon Presenting Contextual Content Based On Detected User Confusion
US20170330482A1 (en) * 2016-05-12 2017-11-16 Matthew J. Vendryes User-controlled video language learning tool
US10762429B2 (en) * 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
CN105825732A (zh) * 2016-05-23 2016-08-03 河南科技学院 汉语言文学教学用辅助系统
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
WO2018022894A1 (en) * 2016-07-27 2018-02-01 Biosay, Inc. Systems and methods for measuring and managing a physiological-emotional state
US20180032126A1 (en) * 2016-08-01 2018-02-01 Yadong Liu Method and system for measuring emotional state

Also Published As

Publication number Publication date
KR20200010564A (ko) 2020-01-30
EP3639255A4 (en) 2021-04-07
SG11201911766WA (en) 2020-01-30
EP3639255A1 (en) 2020-04-22
US10127825B1 (en) 2018-11-13
AU2021200339A1 (en) 2021-03-18
CA3067017A1 (en) 2018-12-20
US20180366014A1 (en) 2018-12-20
CN111213197A (zh) 2020-05-29
MY202173A (en) 2024-04-13
US10373510B2 (en) 2019-08-06
JP2020527741A (ja) 2020-09-10
CA3067017C (en) 2021-01-19
WO2018231403A1 (en) 2018-12-20
AU2018283906A1 (en) 2020-01-02
KR102140075B1 (ko) 2020-07-31
CN111213197B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
JP6742545B1 (ja) 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム
KR102039848B1 (ko) 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체
US10621879B2 (en) Conditional provisioning of auxiliary information with a media presentation
US10614298B2 (en) Generating auxiliary information for a media presentation
Pham et al. Predicting learners’ emotions in mobile MOOC learning via a multimodal intelligent tutor
US10580434B2 (en) Information presentation apparatus, information presentation method, and non-transitory computer readable medium
US10872091B2 (en) Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
Baecher Video in teacher learning: Through their own eyes
Ochoa Multimodal systems for automated oral presentation feedback: A comparative analysis
Cappellini et al. A multimodal corpus to study videoconference interactions for techno-pedagogical competence in second language acquisition and teacher education
Benta et al. A multimodal affective monitoring tool for mobile learning
Peng et al. Reading Students' Multiple Mental States in Conversation from Facial and Heart Rate Cues.
El Kaliouby et al. iSET: interactive social-emotional toolkit for autism spectrum disorder
Helvert et al. Observing, coaching and reflecting: A multi-modal natural language-based dialogue system in a learning context
Holt et al. Building a multimodal corpus to study the development of techno-semio-pedagogical competence across different videoconferencing settings and languages
Peng et al. Recognition of Students’ Multiple Mental States in Conversation Based on Multimodal Cues
Pospiech et al. Personalized Indexing of Attention in Lectures--Requirements and Concept
CN114830208A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200128

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200728

R150 Certificate of patent or registration of utility model

Ref document number: 6742545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees