JP7382261B2 - 情報処理装置及び方法 - Google Patents

情報処理装置及び方法 Download PDF

Info

Publication number
JP7382261B2
JP7382261B2 JP2020050191A JP2020050191A JP7382261B2 JP 7382261 B2 JP7382261 B2 JP 7382261B2 JP 2020050191 A JP2020050191 A JP 2020050191A JP 2020050191 A JP2020050191 A JP 2020050191A JP 7382261 B2 JP7382261 B2 JP 7382261B2
Authority
JP
Japan
Prior art keywords
information
level
absence
recipient
presenter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020050191A
Other languages
English (en)
Other versions
JP2021145986A (ja
Inventor
亜希子 小幡
司 舟根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020050191A priority Critical patent/JP7382261B2/ja
Priority to US17/201,858 priority patent/US20210290127A1/en
Publication of JP2021145986A publication Critical patent/JP2021145986A/ja
Application granted granted Critical
Publication of JP7382261B2 publication Critical patent/JP7382261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)

Description

本発明は情報処理装置及び方法に関し、例えば、情報提示者が被情報提示者に提示した情報の提示形式をその被情報提示者に対して最適化する情報提示形式最適化装置に適用して好適なものである。
従来、情報提示者から情報の提示を受ける被情報提示者の当該情報に対する理解度を推定及び評価し、推定及び評価した理解度に応じた情報をその被情報提示者に提示する方法が提案されている。例えば、特許文献1には、ユーザの発話内容や、質問に対するユーザの回答などに基づいてイベントに対するユーザの理解度を取得し、取得した理解度に応じたシナリオ情報を含む応答情報をそのユーザに送信することが開示されている。
特開2019-148919号公報
しかしながら、かかる特許文献1に開示された発明では、ユーザの理解度に応じた画一的なシナリオ情報を提供することが開示されているだけで、シナリオ情報を具体的にどのような提示形式で提示するかについては、何らの開示も示唆もない。
本発明は以上の点を考慮してなされたもので、被情報提示者に対して情報を理解しやすい最適な提示形式で提示することで、情報に対する被情報提示者の誤解や理解不足の発生を未然かつ有効に防止することができる情報処理装置及び方法を提案しようとするものである。
かかる課題を解決するため本発明においては、情報提示者が被情報提示者に提示する情報を最適化する情報処理装置において、前記情報提示者が前記被情報提示者に前記情報を提示しているときにセンサにより取得された前記被情報提示者の生体活動情報に基づいて、前記情報に対する前記被情報提示者の知識レベル及び理解レベルを判定する属性判定部と、前記情報提示者が前記被情報提示者に提示する前記情報の特徴を判定する提示情報特徴判定部と、前記属性判定部により判定された前記情報に対する前記被情報提示者の前記知識レベル及び前記理解レベルと、前記提示情報特徴判定部により判定された前記情報の特徴とに基づいて、当該情報の提示形式を前記被情報提示者の前記知識レベル及び前記理解レベルに応じた提示形式に変換するフィードバック最適化部とを設けるようにした。
また本発明においては、情報提示者が被情報提示者に提示する情報を最適化する情報処理装置により実行される情報処理方法において、前記情報提示者が前記被情報提示者に前記情報を提示しているときにセンサにより取得された前記被情報提示者の生体活動情報に基づいて、前記情報に対する前記被情報提示者の知識レベル及び理解レベルを判定すると共に、前記情報提示者が前記被情報提示者に提示する前記情報の特徴を判定する第1のステップと、判定した前記情報に対する前記被情報提示者の前記知識レベル及び前記理解レベルと、判定した前記情報の特徴とに基づいて、当該情報の提示形式を前記被情報提示者の前記知識レベル及び前記理解レベルに応じた提示形式に変換する第2のステップとを設けるようにした。
本発明の情報処理装置及び方法によれば、情報提示者が被情報提示者に提示する情報の表示形式を、被情報提示者がその情報を理解しやすい最適な提示形式に変換して提示することができる。
本発明によれば、情報に対する被情報提示者の誤認識や理解不足の発生を未然かつ有効に防止することができる情報処理装置及び方法を実現できる。
本実施の形態による情報提示形式最適化システムの全体構成を示すブロック図である。 提示情報特徴判定プログラムが情報から抽出する特徴の説明に供する図表である。 生体活動解析エンジンがセンサ出力から取得する生体活動に関する特徴量の説明に供する図表である。 知識レベル判定用データベースの構成例を示す図表である。 理解レベル判定用データベースの構成例を示す図表である。 視認レベル判定用データベースの構成例を示す図表である。 認知的葛藤レベル判定用データベースの構成例を示す図表である。 音声スピードレベル判定用データベースの構成例を示す図表である。 音声抑揚レベル判定用データベースの構成例を示す図表である。 総合判定用最適化データベースの構成例を示す図表である。 変換用最適化データベースの構成例を示す図表である。 情報提示形式最適化プログラムの処理手順を示すフローチャートである。 属性判定プログラムの処理手順を示すフローチャートである。 提示情報特徴判定プログラムの処理手順を示すフローチャートである。 予測モデル作成プログラムの処理手順を示すフローチャートである。
以下図面について、本発明の一実施の形態を詳述する。
以下に説明する実施の形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化されている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
各種情報の例として、「テーブル」、「リスト」、「キュー」等の表現にて説明することがあるが、各種情報はこれら以外のデータ構造で表現されてもよい。例えば、「XXテーブル」、「XXリスト」、「XXキュー」等の各種情報は、「XX情報」としてもよい。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ID」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
実施の形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ(例えばCPU、GPU)によりプログラムを実行し、記憶資源(例えばメモリ)やインターフェースデバイス(例えば通信ポート)等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。
同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)、CPLD(Complex Programmable Logic Device)等である。
プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施の形態において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
(1)本実施の形態による情報提示形式評価システムの構成
において、1は全体として本実施の形態による情報提示形式評価システムを示す。この情報提示形式評価システム1は、例えば、工場において先輩工員(情報提示者)が複数の新人工員(被情報提示者)に対して作業手順等を教育する際に利用される情報処理システムであり、複数のセンサ2と、情報提示形式最適化装置3とを備えて構成される。
センサ2は、人間の生体活動に関する情報を電気信号に変換する素子又は装置であり、カメラ、脳波計、脳血流計測装置、心電図、サーモグラフィ、心拍計、血圧計又は可読度脈拍測定装置などから構成される。センサ2は、かかる変換により得られた電気信号を情報提示形式最適化装置3に出力する。
情報提示形式最適化装置3は、CPU(Central Processing Unit)10、メモリ11、記憶装置12及び出力装置13などの情報処理資源を備えた汎用のコンピュータ装置から構成される。
CPU10は、情報提示形式最適化装置3全体の動作制御を司るプロセッサである。メモリ11は、例えば不揮発性の半導体メモリから構成され、CPU10のワークメモリとして利用される。後述する提示情報特徴判定プログラム20、属性判定プログラム21、フィードバック最適化プログラム22及び予測モデル作成25もこのメモリ11に格納されて保持される。
記憶装置12は、例えばハードディスク装置やSSD(Solid State Drive)などの不揮発性の大容量の記憶装置から構成され、各種プログラムや長期的に保存すべきデータなどが格納される。後述する判定用データベース群23及び最適化用データベース群24もこの記憶装置12に格納されて保持される。出力装置13は、例えば、液晶パネルや有機EL(Electro Luminescence)パネルなどの表示装置や、スピーカなどの音響装置、及び、プリンタなどの情報をユーザに提示可能する各種装置から構成される。
(2)情報提示形式最適化機能
次に、情報提示形式最適化装置3に搭載された情報提示形式最適化機能について説明する。この情報提示形式最適化機能は、情報提示者が被情報提示者に提示する情報の提示形式と、この情報に関する被情報提示者の属性(知識レベル及び理解レベル)とをそれぞれ評価し、評価結果に基づいて、かかる情報の提示形式を被情報提示者の属性に応じた提示形式に変換して出力する機能である。これにより、誤認識や理解不足の発生を未然かつ有効に防止するとともに、情報を理解するまでの時間を短縮することができる。
ここで、本実施の形態における「情報の提示形式」とは、例えば、その情報が文字、文章又は図形などのように視覚的に提示される情報(以下、適宜、これを視覚情報と呼ぶ)の場合には、「色彩の組合せ」及び「単語文字色」を指す。
例えば、「色彩の組合せ」については、文字を黄色とし、背景色を黒とすることによって、人間の注意を引きやすく判別エラーが低くなることが研究及び実験により確認されている。また「作業Aを実施し、その後、作業Bの停止処理を行う」といった2つ以上の作業、処理又は動作を連続して行うことを指示等する文章の場合、「実施」及び「停止」の色彩の組合せを認知負荷が低くなる組合せ(例えば「実施」を青色、「停止」を赤色)とすることによって視認レベルが向上することも知られている。
このように視覚的な情報(以下、これを視覚情報と呼ぶ)の場合、色彩の組合せによって一見してその視覚情報を視認できる度合(以下、これを視認レベルと呼ぶ)が変化するため、色彩の組合せを変更することによって視認レベルを向上させることができる。そして視覚情報の視認レベルを向上させることで、被情報提示者の判断低下を抑制し、判断ミスの発生頻度を減少させることができる。
また「単語文字色」についても、「黄色」という単語を赤色で表記するなど、単語の意味と文字色が不一致の場合や、「停止」という単語を青色や黄色で表記した場合などには認知負荷が高くなることが研究や実験により確認されている。
このように視覚情報の場合、単語の表記色(以下、これを単語文字色と呼ぶ)に応じてその視覚情報に対する認知的葛藤(日常的に獲得された規則や概念と異なることに対する葛藤)の度合(以下、これを認知的葛藤レベルと呼ぶ)が変化するため、単語文字色を変更することによって認知的葛藤レベルを低減させることができる。そして情報の認知的葛藤レベルを低減させることで、被情報提示者の判断低下を抑制し、判断ミスの発生頻度を減少させることができる。
そこで本実施の形態の情報提示形式最適化装置3は、情報提示者が被情報提示者に提示する情報が視覚情報である場合、各センサ2の出力に基づいて被情報提示者の属性を判定すると共に、その視覚情報の視認レベル及び認知的葛藤レベルを判定する。また情報提示形式最適化装置3は、これらの判定結果に基づいて、その被情報提示者に対する現在のその視覚情報の提示形式の適切性を評価し、その評価結果に基づいて、「色彩の組合せ」及び「単語文字色」を被情報提示者の属性に応じた「色彩の組合せ」及び「単語文字色」の視覚情報に変換して出力する。
一方、被情報提示者に提示する情報が音声などのように聴覚的に提示される情報(以下、適宜、これを聴覚情報と呼ぶ)の場合、「情報の提示形式」とは、その「音声のスピード(音声スピード)」及び「音声の抑揚(音声抑揚)」を指す。
例えば、「音声スピード」については、2つ以上の情報や単語を連続して音声提示する場合、これら情報や単語の提示間隔が0.3秒未満の場合には、最後に提示された情報や単語と、その1つ前に提示された情報や単語とを比較して判断することが主観的に難しいと感じることが実験により確認されている。また、情報や単語の提示間隔が1.5秒未満の場合には、最後の提示された情報や単語と、その2つ前に提示された情報や単語とを比較して判断することが主観的に難しいと感じることも確認されている。さらに「抑揚」についても、聴覚情報を音声提示したときの被情報提示者の理解度は、音韻の抑揚を拡張する方が理解度が高いことが知られている。
このように聴覚情報の場合、音声による情報提示の際の情報や単語の間隔の度合(以下、これを音声スピードレベルと呼ぶ)や、音声の抑揚の強弱の度合(以下、これを音声抑揚レベルと呼ぶ)によって、被情報提示者が受ける聴覚情報の理解容易度が変化する。従って、音声スピードレベルを下げたり(情報や単語の提示間隔を長くする)、音声抑揚レベルを上げる(抑揚を強める)ことによって、その聴覚情報に対する被情報提示者の理解容易度を向上させて、被情報提示者の判断低下を抑制し、判断ミスの発生頻度を減少させることができる。
そこで本実施の形態の情報提示形式最適化装置3は、情報提示者が被情報提示者に提示する情報が聴覚情報である場合、各センサ2の出力に基づいて被情報提示者の属性を判定すると共に、その聴覚情報の音声スピードレベル及び音声抑揚レベルを判定し、これらの判定結果に基づいてその被情報提示者に対する現在のその聴覚情報の提示形式の適切性を評価する。そして情報提示形式最適化装置3は、その評価結果に基づいて、その聴覚情報を、被情報提示者の属性に応じた音声スピードレベル及び音声抑揚レベルの提示形式に変換して出力する。
以上のような本実施の形態による情報提示形式最適化機能を実現するための手段として、図1に示すように、情報提示形式最適化装置3のメモリ11には、提示情報特徴判定プログラム20、属性判定プログラム21、フィードバック最適化プログラム22及び予測モデル作成プログラム25が格納され、情報提示形式最適化装置3の記憶装置12には、判定用データベース群23及び最適化用データベース群24が格納されている。
提示情報特徴判定プログラム20は、情報提示者が被情報提示者に提示する情報の現在の視認レベル及び認知的葛藤レベルや、音声スピードレベル及び音声抑揚レベルを判定するために必要なその情報の特徴を検出する機能を有するプログラムである。
実際上、提示情報特徴判定プログラム20は、図に示すように、かかる情報が視覚情報である場合には、その視覚情報における色彩の組合せ(以下においては、背景色及び文字色の組合せとする)と、その視覚情報における単語文字色とをかかる「特徴」として検出する。また提示情報特徴判定プログラム20は、かかる「特徴」として、他言語の有無や、2以上の連続する処理や作業又は動作などの指示の有無、及び、被情報提示者が判断すべき内容の有無も検出する。
なお、他言語の有無や、2以上の連続する処理や作業又は動作などの指示の有無、及び、被情報提示者が判断すべき内容の有無をも検出するのは、これらも視覚情報の視認レベルや認知的葛藤レベルに影響を及ぼし、これらが含まれている場合にその視覚情報の視認レベルは低くなり、認知的葛藤レベルは高くなってその視覚情報の理解容易度が低くなるためである。
このため提示情報特徴判定プログラム20は、情報提示者が被情報提示者に提示する情報が視覚情報である場合には、必要に応じて自然言語解析処理等により視覚情報の内容を認識しながらこれらの特徴の有無等を判定する。
また提示情報特徴判定プログラム20は、かかる情報が聴覚情報である場合には、その聴覚情報における単語の間隔と、抑揚の強弱とをかかる「特徴」として検出する。また提示情報特徴判定プログラム20は、かかる「特徴」として、他言語の有無や、2以上の連続する処理や作業又は動作などの指示の有無、及び、被情報提示者が判断すべき内容の有無も検出する。
他言語の有無や、2以上の連続する処理や作業又は動作などの指示の有無、及び、被情報提示者が判断すべき内容の有無をも検出するのは、視覚情報の場合と同様に、これらも聴覚情報に対する理解容易度に影響を及ぼし、これらが含まれている場合にその聴覚情報の理解容易度が低くなるためである。
このため提示情報特徴判定プログラム20は、情報提示者が被情報提示者に提示する情報が聴覚情報である場合には、音声認識処理及び自然言語解析処理等により聴覚情報の内容を認識しながらこれらの特徴の有無等を判定する。
属性判定プログラム21は、各センサ2の出力に基づいて、情報提示者が被情報提示者に提示している情報に対する被情報提示者の属性(知識レベル及び理解レベル)を判定(推定)する機能を有するプログラムである。実際上、属性判定プログラム21は、各センサ2の出力から被情報提示者の生体活動に関する特定の特徴量を取得する生体活動解析エンジン21A(図1)を備えている。そして属性判定プログラム21は、情報提示者が被情報提示者に情報を提示しているときに生体活動解析エンジン21Aにより取得された被情報提示者の生体活動の各特徴量に基づいて、その情報に対するその被情報提示者の知識レベルや理解レベルを判定する。
なお、生体活動解析エンジン21Aは、1つのセンサ2の出力から生体活動に関する特徴量を1以上取得する。例えば図3に示すように、生体活動解析エンジン21Aは、センサ2の1つである脳波測定用ヘッドギアの出力に基づいて、被情報提示者の指定帯域(ここでは8~13Hz帯域)の脳波や、思考や認知による脳の反応である事象関連電位、脳波の単位時間当たりの変化率、及び、左右の脳の優位度などを特徴量としてそれぞれ取得する。例えば、被情報提示者の知識レベルや理解レベルが高く、そのとき提示されている情報を十分に理解できている場合には、リラックスしているときに脳から発生する8~13Hz帯域のα波を観測できるため、被情報提示者の所定帯域の脳波に基づいて被情報提示者の知識レベルや理解レベルを判定することができる。
また生体活動解析エンジン21Aは、センサ2の1つである脳血流測定装置の出力に基づいて、被情報提示者の前頭葉の脳血流の単位時間当たりの変化率や、その積分値、平均値、潜時、ピーク値、左右差及び主成分分析の再構成成分などを特徴量としてそれぞれ取得する。提示情報は、脳内で情報処理されるが、このとき、情報量が多い、複雑な判断が入るなど場合には、脳内情報処理において負荷が高くなり、脳の前頭葉部分の脳血流が大きくなることが知られている。これらの特徴量に基づいて被情報提示者の知識レベルや理解レベルを判定することができる。
さらに生体活動解析エンジン21Aは、心拍計、血圧計、加速度脈拍測定装置などの自律神経に関する情報を収集するセンサ2からの出力に基づいて、被情報提示者の心拍数、血圧、心拍の周期変動の周波数成分をパワースペクトル解析し算出される交感神経の指標であるLF/HF及び圧受容反射などを特徴量として取得する。被情報提示者の知識レベル及び理解レベルが低く、提示された情報を理解するための精神的ストレスが大きい場合には、これらの数値が大きくなるため、これらの特徴量に基づいてその被情報提示者の知識レベル及び理解レベルを判定することができる。
さらに生体活動解析エンジン21Aは、センサ2の1つであるサーモグラフィの出力に基づいて、皮膚血流の変化率及び積分値や、体全体の表面温度の変化率及び積分値などを特徴量として取得する。被情報提示者の知識レベル及び理解レベルが低く、緊張している場合には、交感神経活動が賦活し、これらの数値が大きくなる(ただし、交感神経活動の賦活により末梢血管部位である手足の表面温度は下がる)ため、これらの特徴量に基づいてその被情報提示者の知識レベル及び理解レベルを判定することができる。
さらに生体活動解析エンジン21Aは、センサ2の1つであるカメラの出力(撮像信号)出力に基づいて、当該出力に基づく撮像画像を利用して、被情報提示者のバランス、単位時間当たりの体の揺れ回数、歩行速度、腕組みや足組みの有無及び肩位置などの身体的動作や、喜怒哀楽、単位時間当たりの瞬きの回数、視線方向、顔の位置などの表情を特徴量として取得する。一般的に、被情報提示者の知識レベル及び理解レベルが低く、提示された情報を理解できない場合には、単位時間当たりの体の揺れ回数を多くなるなどの身体手動作や、視線方向が情報とは異なる方向に向くなどの表情が発現される傾向があるため、これらの特徴量に基づいてその被情報提示者の知識レベル及び理解レベルを判定することができる。
さらに生体活動解析エンジン21Aは、センサ2の1つであるマイクロホンの出力(音声信号)に基づいて、当該出力に基づく音声を解析することにより、被情報提示者の発言における単語数や、単語難易度、単語間隔、頻出度、音量及び抑揚などを特徴量として取得する。被情報提示者の知識レベル及び理解レベルが低い場合、その被情報提示者から発せられる単語数が少なくその単語難易度も低くなるため、これらの特徴量に基づいてその被情報提示者の知識レベル及び理解レベルを判定することができる。
フィードバック最適化プログラム22は、被情報提示者に提示する情報の提示形式を当該被情報提示者の属性に応じた提示形式に変換する機能を有するプログラムである。実際上、フィードバック最適化プログラム22は、提示情報特徴判定プログラム20により判定された被情報提示者に提示する情報の特徴と、属性判定プログラム21により判定された、その情報に関する被情報提示者の知識レベル及び理解レベルとに基づいて、その被情報提示者に最適と考えられる情報の提示形式を決定し、かかる情報をその提示形式に変換してその被情報提示者に提示する。これにより、提示内容は被情報提示者にとって、誤認識が少ない、または、判断しやすい、または、理解するまでの時間が短くなる、などの効果がある。
予測モデル作成プログラム25は、例えば、アンケートにより被情報提示者から取得され、又は、被情報提示者のその後の行動の評価から取得された、提示形式変換による効果(被情報提示者の理解度であり記憶装置12に格納されて保持されるに関する情報と、どのような知識レベル及び理解レベルの被情報提示者に対してどのような情報をどのような提示形式に変換して提示したかの情報を組み合わせて取得し、学習用データとテスト用データに振り分け、回帰分析などの手法を用い学習モデルを作成する機能と、テスト用データを用い学習モデルによる予測度を検証する機能を有するプログラムである。予測モデル作成プログラム25は、かかる学習により得られた予測モデルに基づいて、提示形式を変換したことによる効果が最大となるよう後述する判定用データベース群23や最適化用データベース群24を必要に応じて更新したり、被情報提示者に提示されている情報を最適な提示形式に変換するようフィードバック最適化プログラム22を制御する。これにより、どのような被情報提供者にはどのような提示形式が最適なのかについての知見が得られ、被情報提供者のタイプ(初心者など)によりあらかじめ提示形式に基づく情報を準備することも可能である。
一方、判定用データベース群23は、図4に示す知識レベル判定用データベース30、図5に示す理解レベル判定用データベース31、図6に示す視認レベル判定用データベース32、図7に示す認知的葛藤レベル判定用データベース33、図8に示す音声スピードレベル判定用データベース34及び図9に示す音声抑揚レベル判定用データベース35から構成される。
知識レベル判定用データベース30は、被情報提示者の知識レベルを判定(推定)する際の各知識レベルの基準が格納されたデータベースであり、図4に示すように、「A」~「C」の3つの知識レベルのそれぞれに対応させた3つの行30Aを備えたテーブル状に構成されている。
また、これらの行30Aは、それぞれ各センサ2からの出力に基づいて情報提示形式最適化装置3が取得可能な脳波、脳血流、自律神経、皮膚血流、表面温度、身体動作、表情及び音声・単語といった生体活動にそれぞれ対応させた複数の欄(以下、これらを特徴量欄と呼ぶ)30BA~30BHに区分されている。そして、これらの特徴量欄30BA~30BHには、それぞれ被情報提示者の知識レベルをその行30Aに対応する知識レベルと判定するために要求される、対応する生体活動の対応する特徴量の値又は範囲が格納される。
従って、図4の例の場合、例えば、被情報提示者の知識レベルを「A」と判定するためには、「脳血流」に関する「1」という特徴量(図3の例では「変化率」)が「1~10%」、「自律神経」に関する「3」という特徴量(図3の例では「LF/HF」)が「50~60%」、「身体動作」に関する「5」という特徴量(図3の例では「肩位置」)が「0~20度」、という条件をすべて満たすことが要求される旨が示されている。
なお図4では、「A」~「C」の各知識レベルに対する基準がそれぞれ1つずつしか知識レベル判定用データベース30に登録されていない場合を例示しているが、実際の知識レベル判定用データベース30には、各知識レベルに対する基準がそれぞれ複数格納される。ただし、「A」及び「C」の各知識レベルに対する幾つかの基準のみをそれぞれ知識レベル判定用データベース30に複数登録しておき、これらの基準に合致しない場合には知識レベルを「B」と判定するようにしてもよい。
また理解レベル判定用データベース31は、被情報提示者の理解レベルを判定(推定)する際の各理解レベルの基準が格納されたデータベースであり、図5に示すように、「A」~「C」の3つの理解レベルのそれぞれに対応させた3つの行31Aを備えたテーブル状に構成されている。
また、これらの行31Aは、それぞれ各センサ2からの出力に基づいて情報提示形式最適化装置3が取得可能な脳波、脳血流、自律神経、皮膚血流、表面温度、身体動作、表情及び音声・単語といった各生体活動にそれぞれ対応させた複数の特徴量欄31BA~31BHに区分されている。そして、これらの特徴量欄31BA~31BHには、それぞれ被情報提示者をその行31Aに対応する理解レベルと判定するために要求される、対応する生体活動の特徴量の値又は範囲がそれぞれ格納される。
従って、図5の例の場合、例えば、被情報提示者の理解レベルを「A」と判定するためには、「脳波」に関する「1」という特徴量(図3の例では「所定帯域」)が「8~13Hz」、、「自律神経」に関する「3」という特徴量(図3の例では「LF/HF」)が「50~60%」、……、「身体動作」に関する「5」という特徴量(図3の例では「肩位置」)が「0~20度」、……という条件をすべて満たすことが要求される旨が示されている。
なお図5では、「1」~「3」の各理解レベルに対する基準がそれぞれ1つずつしか理解レベル判定用データベース31に登録されていない場合を例示しているが、実際の理解レベル判定用データベース31には、各理解レベルに対する基準がそれぞれ複数格納される。ただし、「A」及び「C」の各理解レベルに対する基準のみをそれぞれ理解レベル判定用データベース31に複数登録しておき、これらの基準に合致しない場合には理解レベルを「B」と判定するようにしてもよい。
視認レベル判定用データベース32は、被情報提示者に提示される視覚情報の視認レベルを判定する際の各視認レベルの基準が格納されたデータベースであり、図6に示すように、「A」~「C」の3つの視認レベルのそれぞれに対応させた3つの行32Aを備えたテーブル状に構成されている。
また、これらの行32Aは、それぞれ視認レベル評価欄32B及び生体活動特徴量欄32Cに区分されており、色彩評価がさらに他言語有無欄32BA、背景色・文字色欄32BB、連続性有無欄32BC及び判断有無欄32BDに区分されている。そして、これら他言語有無欄32BA、背景色・文字色欄32BB、連続性有無欄32BC及び判断有無欄32BDには、被情報提示者に提示されている視覚情報をその行32Aの視認レベルと判定するために要求される、対応する「特徴」の有無を表すフラグや色彩の組合せがそれぞれ格納される。
例えば、他言語有無欄32BAには、そのとき被情報提示者に提示されている視覚情報に他言語が含まれているかべきか否かを表すフラグが格納される。また背景色・文字色欄32BBには、当該視覚情報に含まれる文字の文字色及びその背景色の組合せの1つが格納される。さらに連続性有無欄32BCには、その視覚情報において連続する2つ以上の作業、処理又は動作の指示等が含まれているべきか否かを表すフラグが格納され、判断有無欄32BDには、その視覚情報に被情報提示者の判断を要する内容が含まれているべきか否かを表すフラグが格納される。
また生体活動特徴量欄32Cは、脳波欄32CA、脳血流欄32CB、自律神経欄32CC、皮膚血流欄32CD、表面温度欄32CE、身体動作欄32CF、表情欄32CG及び音声・単語欄32CHに区分されている。そして、これら脳波欄32CA、脳血流欄32CB、自律神経欄32CC、皮膚血流欄32CD、表面温度欄32CE、身体動作欄32CF、表情欄32CG及び音声・単語欄32CHには、それぞれそのとき被情報提示者に提示されている視覚情報がその行32Aの視認レベルであると判定するために要求される、被情報提示者の対応する生体活動(脳波、脳血流、自律神経、皮膚血流、表面温度、身体動作、表情又は音声・単語)の特徴量の値又は範囲が格納される。
例えば、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の脳波に関する1つの特徴量の値又は範囲が脳波欄32CAに格納され、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の脳血流に関する1つの特徴量の値又は範囲が脳血流欄32CBに格納される。
また、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の自律神経に関する1つの特徴量の値又は範囲が自律神経欄32CCに格納され、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の皮膚血流に関する1つの特徴量の値又は範囲が皮膚血流欄32CDに格納される。
さらに、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の表面温度に関する1つの特徴量の値又は範囲が表面温度欄32CEに格納され、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の身体動作に関する1つの特徴量の値又は範囲が身体動作欄32CFに格納される。
さらに、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の表情に関する1つの特徴量の値又は範囲が表情欄32CGに格納され、その視覚情報をその行32Aの視認レベルと判定するために要求される、被情報提示者の音声・単語に関する1つの特徴量の値又は範囲が音声・単語欄32CHに格納される。
従って、図6の例の場合、例えば、視覚情報の視認レベルを「A」と判定するためには、その視覚情報に他言語、連続的な作業、処理又は動作の指示、及び、被情報提示者の判断のいずれも含まれておらず(「他言語の有無」、「連続性の有無」及び「判断の有無」のすべてが「無」)、黒色の背景に黄色の文字で表示され、かつコントラストスコアが「75-100」であることを前提として、被情報提示者の生体活動の特徴量がそれぞれ視認レベル判定用データベース32において規定された値又は範囲であることが要求される旨が示されている。
なお図6では、「1」~「3」の各視認レベルに対する基準がそれぞれ1つずつしか視認レベル判定用データベース32に登録されていない場合を例示しているが、実際の視認レベル判定用データベース32には、各視認レベルに対する基準がそれぞれ複数格納される。ただし、「A」及び「C」の各視認レベルに対する基準のみをそれぞれ視認レベル判定用データベース32に複数登録しておき、これらの基準に合致しない場合にその視覚情報の視認レベルを「B」と判定するようにしてもよい。
認知的葛藤レベル判定用データベース33は、被情報提示者に提示される視覚情報の認知的葛藤レベルを判定する際の各認知的葛藤レベルの基準が格納されたデータベースであり、図7に示すように、「A」~「C」の3つの認知的葛藤レベルのそれぞれに対応させた3つの行33Aを備えたテーブル状に構成されている。
また、これらの行33Aは、それぞれ認知的葛藤レベル評価欄33B及び生体活動特徴量欄33Cに区分されている。そして、認知的葛藤レベル評価欄33Bがさらに他言語有無欄33BA、単語文字色欄33BB、連続性有無欄33BC及び判断有無欄33BDに区分され、生体活動特徴量欄33Cがさらに脳波欄33CA、脳血流欄33CB、自律神経欄33CC、皮膚血流欄33CD、表面温度欄33CE、身体動作欄33CF、表情欄33CG及び音声・単語欄33CHに区分されている。
そして認知的葛藤レベル評価欄33Bの他言語有無欄33BA、単語文字色欄33BB、連続性有無欄33BC及び判断有無欄33BDには、被情報提示者に提示されている視覚情報がその行33Aの認知的葛藤レベルにあると判定するために要求される、対応する「特徴」(他言語の有無、聴覚情報における単語文字色の不一致率、2つ以上の連続する作業、処理又は動作の指示の有無及び被情報提示者による判断の有無)の有無を表すフラグや不一致率の範囲を表す数値がそれぞれ格納される。
また生体活動特徴量欄33Cの脳波欄33CA、脳血流欄33CB、自律神経欄33CC、皮膚血流欄33CD、表面温度欄33CE、身体動作欄33CF、表情欄33CG及び音声・単語欄33CHには、それぞれその視覚情報をその行33Aの認知的葛藤レベルにあると判定するために要求される、対応する生体活動(脳波、脳血流、自律神経、皮膚血流、表面温度、身体動作、表情又は音声・単語)の対応する特徴量の値又は範囲が格納される。
従って、図7の例の場合、例えば、被情報提示者に提示されている視覚情報の認知的葛藤レベルを「A」と判定するためには、その視覚情報に他言語、2つ以上の連続的な作業・処理又は動作の指示、及び、被情報提示者の判断のいずれも含まれておらず(「他言語の有無」、「連続性の有無」及び「判断の有無」のすべてが「無」)、その視覚情報における各単語の意味及び文字色の不一致率が「75-100%」であることを前提として、被情報提示者の生体活動の特徴量がそれぞれ認知的葛藤レベル判定用データベース33において規定された値又は範囲であることが要求される旨が示されている。
なお図7では、「1」~「3」の各認知的葛藤レベルに対する基準がそれぞれ1つずつしか認知的葛藤レベル判定用データベース33に登録されていない場合を例示しているが、実際の認知的葛藤レベル判定用データベース33には、各認知的葛藤レベルに対する基準がそれぞれ複数格納される。ただし、「A」及び「C」の各認知的葛藤レベルに対する基準のみをそれぞれ認知的葛藤レベル判定用データベース33に複数登録しておき、これらの基準に合致しない場合にその視覚情報の認知的葛藤レベルを「B」と判定するようにしてもよい。
音声スピードレベル判定用データベース34は、被情報提示者に提示される聴覚情報の音声スピードレベルを判定する際の各音声スピードレベルの基準が格納されたデータベースであり、図8に示すように、「A」~「C」の3つの音声スピードレベルのそれぞれに対応させた3つの行34Aを備えたテーブル状に構成されている。
また、これらの行34Aは、それぞれ音声情報評価欄34B及び生体活動特徴量欄34Cに区分されている。そして音声情報評価欄34Bは、さらに他言語有無欄34BA、連続性有無欄34BB及び判断有無欄34BCに区分され、生体活動特徴量欄34Cは、さらに脳波欄34CA、脳血流欄34CB、自律神経欄34CC、皮膚血流欄34CD、表面温度欄34CE、身体動作欄34CF、表情欄34CG及び音声・単語欄34CHに区分されている。
そして音声情報評価欄34Bの他言語有無欄34BA、連続性有無欄34BB及び判断有無欄34BCには、音声スピードレベルの「A」については単語間隔が0.3秒未満であり、音声スピードレベルの「C」については単語間隔が1.5秒以上であることを前提として、そのとき被情報提示者に提示されている聴覚情報がその行34Aの音声スピードレベルにあると判定するために要求される、情報提示者から提示された聴覚情報の対応する「特徴」の有無を表すフラグがそれぞれ格納される。
また生体活動特徴量欄34Cの脳波欄34CA、脳血流欄34CB、自律神経欄34CC、皮膚血流欄34CD、表面温度欄34CE、身体動作欄34CF、表情欄34CG及び音声・単語欄34CHには、それぞれその聴覚情報をその行34Aの音声スピードレベルと判定するために要求される、被情報提示者の対応する生体活動(脳波、脳血流、自律神経、皮膚血流、表面温度、身体動作、表情又は音声・単語)の特徴量の値又は範囲が格納される。
従って、図8の例の場合、聴覚情報の音声スピードレベルを「A」と判定するためには、情報や単語の間隔が「0.3秒」未満であることを前提として、その聴覚情報に他言語、2つ以上の連続する作業等の指示、及び、被情報提示者が行うべき判断のいずれも含まれておらず(「他言語の有無」、「連続性の有無」及び「判断の有無」のすべてが「無」)、被情報提示者の生体活動の特徴量がそれぞれ音声スピードレベル判定用データベース34において規定された値又は範囲であることが要求される旨が示されている。
なお図8では、「1」~「3」の各音声スピードレベルに対する基準がそれぞれ1つずつしか音声スピードレベル判定用データベース34に登録されていない場合を例示しているが、実際の音声スピードレベル判定用データベース34には、各知識レベルに対する基準がそれぞれ複数格納される。ただし、「A」及び「C」の各音声スピードレベルに対する基準のみをそれぞれ音声スピードレベル判定用データベース34に複数登録しておき、これらの基準に合致しない場合にその聴覚情報の音声スピードレベルを「B」と判定するようにしてもよい。
音声抑揚レベル判定用データベース35は、被情報提示者に提示される聴覚情報の音声抑揚レベルを判定する際の各音声抑揚レベルの基準が格納されたデータベースであり、図9に示すように、「A」~「C」の3つの音声抑揚レベルのそれぞれに対応させた3つの行35Aを備えたテーブル状に構成されている。
また、これらの行35Aは、それぞれ音声情報評価欄35B及び生体活動特徴量欄35Cに区分されている。そして、音声情報評価欄35Bは、さらに他言語有無欄35BA、連続性有無欄35BB及び判断有無欄35BCに区分され、生体活動特徴量欄35Cは、さらに脳波欄35CA、脳血流欄35CB、自律神経欄35CC、皮膚血流欄35CD、表面温度欄35CE、身体動作欄35CF、表情欄35CG及び音声・単語欄35CHに区分されている。
そして音声情報評価欄35Bの他言語有無欄35BA、連続性有無欄35BB及び判断有無欄35BCには、音声抑揚レベルの「A」については抑揚が所定の第1の閾値よりも強く、音声抑揚レベルの「C」についてはかかる第1の閾値よりも小さい所定の第2の閾値よりも抑揚が低いことを前提として、被情報提示者に提示される聴覚情報がその行35Aの音声抑揚レベルにあると判定するために要求される、その聴覚情報の対応する「特徴」(他言語の有無、2つ以上の連続する作業、処理又は動作の指示の有無及び被情報提示者による判断の有無)の有無を表すフラグがそれぞれ格納される。
また生体活動特徴量欄35Cの脳波欄35CA、脳血流欄35CB、自律神経欄35CC、皮膚血流欄35CD、表面温度欄35CE、身体動作欄35CF、表情欄35CG及び音声・単語欄35CHには、それぞれその聴覚情報をその行35Aの音声抑揚レベルと判定するために要求される、被情報提示者の対応する生体活動(脳波、脳血流、自律神経、皮膚血流、表面温度、身体動作、表情又は音声・単語)の特徴量の値又は範囲が格納される。
従って、図9の例の場合、聴覚情報の音声抑揚レベルを「A」と判定するためには、抑揚が強いことを前提として、その聴覚情報に他言語、2つ以上の連続する作業、処理又は動作の指示、及び、被情報提示者が行うべき判断のいずれも含まれていない(「他言語の有無」、「連続性の有無」及び「判断の有無」のすべてが「無」)、被情報提示者の生体活動の特徴量がそれぞれ音声抑揚レベル判定用データベース35において規定された値又は範囲であることが要求される旨が示されている。
なお図9では、「1」~「3」の各音声抑揚レベルに対する基準がそれぞれ1つずつしか音声抑揚レベル判定用データベース35に登録されていない場合を例示しているが、実際の音声抑揚レベル判定用データベース35には、各音声抑揚レベルに対する基準がそれぞれ複数格納される。ただし、「A」及び「C」の各音声抑揚レベルに対する基準のみをそれぞれ音声抑揚レベル判定用データベース35に複数登録しておき、これらの基準に合致しない場合にその聴覚情報の音声抑揚レベルを「B」と判定するようにしてもよい。
他方、最適化用データベース群24(図1)は、図10に示す総合判定用最適化データベース36と、図11に示す変換用最適化データベース37とから構成される。
総合判定用最適化データベース36は、上述のようにして判定された被情報提示者の知識レベル及び理解レベルと、被情報提示者に提示された視覚情報の視認レベル及び認知的葛藤レベル、又は、被情報提示者に提示された聴覚情報の音声スピードレベル及び音声抑揚レベルとに基づいて、その視覚情報又は聴覚情報の当該被情報提示者にとっての理解容易度を総合判定する際の各理解容易度の基準が格納されたデータベースである。
この総合判定用最適化データベース36は、図10に示すように、「1」~「4」の4つの理解容易度のそれぞれに対応させた行36Aを備えたテーブル状に構成されている。また、これらの行36Aは、それぞれ知識レベル欄38BA、理解レベル欄36BB、視認レベル欄36BC、認知的葛藤レベル欄36BD、音声スピードレベル欄36BE及び音声抑揚レベル欄36BFに区分されている。
そして、これら知識レベル欄38BA、理解レベル欄36BB、視認レベル欄36BC、認知的葛藤レベル欄36BD、音声スピードレベル欄36BE及び音声抑揚レベル欄36BFには、それぞれ被情報提示者に提示される情報の現在の提示形式が被情報提示者にとってその行36Aに対応する理解容易度であると判定するために要求される、知識レベル、理解レベル、視認レベル、認知的葛藤レベル、音声スピードレベル又は音声抑揚レベルがそれぞれ格納される。
従って、図10の例の場合、例えば、被情報提示者の知識レベル及び理解レベルがいずれも「A」であり、その被情報提示者に提示する情報の視認レベル及び認知的葛藤レベルがいずれも「A」と判定された場合には、その情報の現在の提示形式の理解容易度が被情報提示者にとって「1」であると判定すべきであることが示されている。
なお、図10の例では、総合判定(理解容易度)が「1」~「4」となる知識レベル、理解レベル、視認レベル、認知的葛藤レベル、音声スピードレベル及び音声抑揚レベルの組合せがそれぞれ1つずつしか総合判定用最適化データベース36に格納されていないが、実際上は、知識レベル、理解レベル、視認レベル及び認知的葛藤レベルのすべての組合せと、知識レベル、理解レベル、音声スピードレベル及び音声抑揚レベルのすべての組合せとが総合判定の「1」~「4」のいずれかに振り分けられて総合判定用最適化データベース36に格納される。
変換用最適化データベース37は、「1」~「4」の理解容易度ごとにそれぞれ予め設定された、対応する情報の変換後の提示形式が格納されたデータベースである。
この変換用最適化データベース37は、図11に示すように、「1」~「4」の4つの理解容易度のそれぞれに対応させた行37Aを備えたテーブル状に構成されている。またこれらの行37Aは、それぞれ視覚情報変換方法欄37BA、聴覚情報変換方法欄37BB及び文書/単語変換方法欄37BCに区分されており、視覚情報変換方法欄37BAがさらに背景色欄37BAA及び文字色欄37BABに区分され、聴覚情報変換方法欄37BBがさらに音声スピード欄37BBA及び抑揚欄37BBBに区分されている。
そして視覚情報変換方法欄37BAの背景色欄37BAA及び文字色欄37BABには、被情報提示者に提示する情報が視覚情報であり、その視覚情報の総合判定結果が対応する行37Aの理解容易度であった場合に、その視覚情報を被情報提示者に提示する際に適用すべき背景色又は文字色がそれぞれ格納される。
また聴覚情報変換方法欄37BBの音声スピード欄37BBA及び抑揚欄37BBBには、被情報提示者に提示する情報が聴覚情報であり、その聴覚情報の総合判定結果が対応する行37Aの理解容易度であった場合に、その聴覚情報を被情報提示者に提示する際に適用すべき情報や単語の間隔及び抑揚方法がそれぞれ格納される。
さらに文章/単語変換方法欄37BCには、被情報提示者に提示する情報(視覚情報及び聴覚情報)の総合判定結果が対応する行37Aの理解容易度であった場合に、その情報を被情報提示者に提示する際に適用すべき文章や単語の変換方法が格納される。
従って、図11の例の場合、例えば、被情報提示者に提示される情報の理解容易度が「1」であった場合には、その情報については何らの変換をすることなく(すべて「ない」)、その被情報提示者にそのまま提示すべきことが示されている。また図11では、被情報提示者に提示される情報の理解容易度が「2」であった場合には、その情報が視覚情報の場合には、背景色を「黒」、文字色を「黄色」に変換すると共に、その情報に含まれる名詞をより分かり易い名詞に変換して被情報提示者に提示すべきことが示されている。
(3)情報提示形式最適化機能に関連する各種処理
次に、上述した情報提示形式最適化機能に関連して情報提示形式最適化装置3において実行される各種処理の処理内容について説明する。なお、以下においては、各種処理の主体を「プログラム」として説明するが、実際上は、その「プログラム」に基づいて情報提示形式最適化装置3のCPU10(図1)がその処理を実行することは言うまでもない。
(3-1)情報提示形式最適化処理
図12は、上述した情報提示形式最適化機能に関連して情報提示形式最適化装置3において実行される一連の処理の流れを示す。情報提示方式最適化装置1は、この図12に示す処理手順に従って、被情報提示者に提示されている情報をその被情報提示者の属性に応じた提示形式に変換する。
実際上、情報提示形式最適化装置3では、情報提示者が被情報提示者に情報を提示し始めると、この図12に示す情報提示形式最適化処理が開始され、まず、属性判定プログラム21が、そのとき各センサ2から与えられる電気信号に基づいて被情報提示者の属性を判定する属性判定処理を実行する(S1)。そして属性判定プログラム21は、この後、提示情報特徴判定プログラム20を呼び出す。
提示情報特徴判定プログラム20は、属性判定プログラム21により呼び出されると、そのとき被情報提示者に提示されている情報の特徴を判定する提示情報特徴判定処理を実行する(S2)。そして提示情報特徴判定プログラム20は、この後、フィードバック最適化プログラム22を呼び出す。
フィードバック最適化プログラム22は、提示情報特徴判定プログラム20により呼び出されると、ステップS1で判定された、そのとき被情報提示者に提示されている情報に対するその被情報提示者の属性(知識レベル及び理解レベル)と、ステップS2で判定されたその情報の視認レベル及び認知的葛藤レベル(情報が視覚情報の場合)、又は、音声スピードレベル及び音声抑揚レベル(情報が聴覚情報の場合)とに基づいて、その情報の表示形式をその被情報提示者の属性に応じた提示形式に変換する(S3)。またフィードバック最適化プログラム22は、提示形式を変換した後の情報を出力装置13(図1)を介して被情報提示者に提示する(S4)。
続いて、フィードバック最適化プログラム22は、ステップS1で判定された被情報提示者の属性と、そのとき得られたその被情報提示者の生体活動に関する各種特徴量と、提示形式変換後の情報とを記憶装置12(図1)に格納する(S5)。またフィードバック最適化プログラム22は、図5で記憶装置12に格納した被情報提示者の属性と、提示形式変換後の情報とを情報提示者に提示し(S6)、この後、処理を終了する。以上により、この情報提示形式最適化処理が終了する。
(3-2)属性判定処理
図13は、図12について上述した情報提示形式最適化処理のステップS1において属性判定プログラム21により実行される属性判定処理の流れを示す。属性判定プログラム21は、かかる情報提示形式最適化処理のステップS1に進むと図13に示す属性判定処理を開始し、まず、各センサ2の出力に基づいて、被情報提示者の図3について上述した生体活動の各特徴量をそれぞれ取得する(S10)。
続いて、属性判定プログラム21は、ステップS10で取得した各特徴量に基づき、知識レベル判定用データベース30(図4)を参照して、そのとき提示されている情報に対する被情報提示者の知識レベルを判定する(S11)。また属性判定プログラム21は、ステップS10で取得した各特徴量に基づき、理解レベル判定用データベース31(図5)を参照して、その情報に対する被情報提示者のそのときの理解レベルを判定する(S12)。
そして、属性判定プログラム21は、この後、提示情報特徴判定プログラム20を呼び出した上で、この属性判定処理を終了する。
(3-3)提示情報特徴判定処理
一方、図14は、図12について上述した情報提示形式最適化処理のステップS2において提示情報特徴判定プログラム20により実行される提示情報特徴判定処理の流れを示す。
提示情報特徴判定プログラム20は、属性判定プログラム21により呼び出されると、この図14に示す提示情報特性判定処理を開始し、そのとき被情報提示者に提示されている情報が視覚情報であるか否かを判断する(S20)。
そして提示情報特徴判定プログラム20は、この判断で肯定結果を得ると、視認レベル判定用データベース32(図6)を利用してかかる情報の視認レベルを判定する(S21)。また提示情報特徴判定プログラム20は、認知的葛藤レベル判定用データベース33(図7)を利用してかかる情報の認知的葛藤レベルを判定し(S22)、この後、この提示情報特徴判定処理を終了する。
これに対して、提示情報特徴判定プログラム20は、ステップS20の判定で否定結果を得ると、音声スピードレベル判定用データベース34(図8)を利用してかかる情報の音声スピードレベルを判定する(S23)。また提示情報特徴判定プログラム20は、音声抑揚レベル判定用データベース35を利用してかかる情報の音声抑揚レベルを判定し(S24)、この後、この提示情報特徴判定処理を終了する。
(3-4)学習処理
他方、図15は、予測モデル作成プログラム25により定期的に実行される学習処理の流れを示す。予測モデル作成プログラム25は、この図15に示す処理手順に従って、判定用データベース群23や最適化用データベース群24を更新したり、被情報提示者に提示されている情報を最適な提示形式に変換するために用いる予測モデルを生成する。
実際上、予測モデル作成プログラム25は、この図15に示す学習処理を開始すると、まず、記憶装置12(図1)に格納されている、過去に提示形式が変換された情報の変換前後のデータと、アンケートにより被情報提示者から取得され、又は、被情報提示者のその後の行動に対する評価から取得されたその提示形式変換による効果とを記憶装置12(図1)から読み出す(S30)。
続いて、予測モデル作成プログラム25は、かかる過去に提示形式が変換された情報の変換前後のデータと、その変換による効果とに基づくデータとを、例えば、データ全体の80%を学習用データとして取得し(S30)、20%をテスト用データとして取得する(S31)。この後、複数種類の機械学習、深層学習、ニューラルネットワーク、遺伝アルゴリズム等の方式により効果を最大にする学習をそれぞれ行い、学習モデルを生成する(S32)。
そして予測モデル作成プログラム25は、この後、ステップS32で生成した学習モデルに対して、テスト用データを用いて提示形式変換による効果を予測するモデル精度を検証する(S33)。最も高い効果を得られる予測モデルを選択し(S34)、この後、この学習処理を終了する。
なお予測モデル作成プログラム25は、この後、ステップS34で選択した予測モデルを用いて判定用データベース群23や最適化用データベース群24を更新したり、被情報提示者に提示されている情報を最適な提示形式に変換するようフィードバック最適化プログラム22を制御する。
(4)本実施の形態の効果
以上のように本実施の形態の情報提示形式最適化装置3は、情報提示者が被情報提示者に提示している情報の特徴を取得すると共に、被情報提示者の生体活動情報に基づいてその被情報提示者のその情報に対する属性(知識レベル及び理解レベル)を判定し、情報の特徴と、被情報提示者の属性とに基づいて被情報提示者に対する情報の理解容易度を判定する。そして、本情報提示形式最適化装置3は、この判定結果に基づいて、情報の提示形式を被情報提示者の属性に応じた提示形式に変換してその被情報提示者に提示する。
従って、本情報提示形式最適化装置3によれば、情報を被情報提示者に対してその被情報提示者が理解し易い最適な提示形式で提示することができるため、情報に対する被情報提示者の誤認識や理解不足の発生を未然かつ有効に防止することができる。また、理解や判断するまでの時間を短くすることができる。
また本情報提示形式最適化装置3では、被情報提示者の属性と、提示形式を変換した後の情報とを情報提示者に提示するため、情報提示者が、例えば新人研修時など、次回にその被情報提示者と同等レベルの被情報提示者に情報を提示する際における、その情報の提示形式の参考とすることができる。これにより、情報提供者は被情報提供者に与える情報形式をあらかじめ準備でき、被情報提供者の理解を最大にすることができる。
(5)他の実施の形態
なお上述の実施の形態においては、被情報提示者の生体活動情報のみを取得し、取得した生体活動情報に基づいてその被情報提示者の知識レベル及び理解レベルを判定(推定)するようにした場合について述べたが、本発明はこれに限らず、情報提示者の生体活動情報をもセンサを用いたセンシングにより取得し、取得した生体活動情報に基づいてその情報提示者の知識レベル及び理解レベルを判定(推定)し、これらの双方の情報を情報提示者に提示するようにしてもよい。これにより、お互いの知識レベルや理解レベルが合致しているかそうでないかを知ることができ、双方の情報やりとりの時間短縮ができる。
また上述の実施の形態においては、情報に対する被情報提示者の知識レベル及び理解レベルを脳波及び脳血流などに基づいて判定するようにした場合について述べたが、本発明はこれに限らず、センサ2としてマイクロホンを設け、マイクロホンにより収集された被情報提示者の発話内容を音声認識により認識し、認識した被情報提示者が用いた単語数や専門用語数等の情報に基づいて被情報提示者の知識レベルや理解レベルを判定するようにしてもよい。
さらに上述の実施の形態においては、被情報提示者の知識レベルや理解レベルを判定する際に利用する生体活動の特徴量として図3について上述した各種特徴量を適用した場合について述べたが、本発明はこれに限らず、この他種々の生体活動の特徴量を広く適用することができる。
さらに上述の実施の形態においては、本発明を、工場において先輩工員が複数の新人工員に対して作業手順等を教育する際に利用される情報処理システム1に適用するようにした場合について述べたが、本発明はこれに限らず、例えば、リハビリ支援、顧客に情報を提示する情報提示サービス全般、医療、教育、学習、会議又は工場などの遠隔業務支援システムなど、この他種々の状況に広く適用することができる。
本発明は、情報提示者が被情報提示者に提示する情報の提示形式を最適化する種々の情報処理システムに広く適用することができる。
1……情報提示形式最適化システム、2……センサ、3……情報提示形式最適化装置、10……CPU、20……提示情報特徴判定プログラム、21……属性判定プログラム、21A……生体活動解析エンジン、22……フィードバック最適化プログラム、23……判定用データベース群、24……最適化用データベース群、25……予測モデル作成プログラム、13……出力装置、30……知識レベル判定用データベース、31……理解レベル判定用データベース、32……視認レベル判定用データベース、33……認知的葛藤レベル判定用データベース、34……音声スピードレベル判定用データベース、35……音声抑揚レベル判定用データベース、36……総合判定用最適化データベース、37……変換用最適化データベース。

Claims (10)

  1. 情報提示者が被情報提示者に提示する情報を最適化する情報処理装置において、
    前記情報提示者が前記被情報提示者に前記情報を提示しているときにセンサにより取得された前記被情報提示者の生体活動情報に基づいて、前記情報に対する前記被情報提示者の知識レベル及び理解レベルを判定する属性判定部と、
    前記情報提示者が前記被情報提示者に提示する前記情報の特徴を判定する提示情報特徴判定部と、
    前記属性判定部により判定された前記情報に対する前記被情報提示者の前記知識レベル及び前記理解レベルと、前記提示情報特徴判定部により判定された前記情報の特徴とに基づいて、当該情報の提示形式を前記被情報提示者の前記知識レベル及び前記理解レベルに応じた提示形式に変換するフィードバック最適化部と
    を備えることを特徴とする情報処理装置。
  2. 前記提示情報特徴判定部は、
    前記情報提示者が前記被情報提示者に提示する前記情報の前記特徴として、
    前記情報が視覚的な情報である場合には、当該情報を一見して視認できる度合である視認レベルと、当該情報に対する前記被情報提示者の認知的葛藤の度合である認知的葛藤レベルとを判定し、
    前記情報が聴覚的な情報である場合には当該情報における単語の間隔の度合である音声スピードレベルと、音声の抑揚の強弱の度合である音声抑揚レベルとを判定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記提示情報特徴判定部は、
    前記視認レベルを、前記情報における他言語の有無、背景色及び文字色の組合せ、連続する情報の有無、並びに、前記被情報提示者による判断の有無に基づいて判定し、
    前記認知的葛藤レベルを、前記情報における他言語の有無、単語の意味及び当該単語の文字色、連続する情報の有無、並びに、前記被情報提示者による判断の有無に基づいて判定する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記提示情報特徴判定部は、
    前記音声スピードレベルを、前記単語の間隔、前記情報における他言語の有無、連続する情報の有無、及び、前記被情報提示者による判断の有無に基づいて判定し、
    前記音声抑揚レベルを、抑揚の強弱、前記情報における他言語の有無、連続する情報の有無、及び、前記被情報提示者による判断の有無に基づいて判定する
    ことを特徴とする請求項2に記載の情報処理装置。
  5. 前記属性判定部により判定された前記情報に対する前記被情報提示者の前記知識レベル及び前記理解レベルと、前記フィードバック最適化部により前記被情報提示者の前記知識レベル及び前記理解レベルに応じて提示形式が変換された変換後の前記情報とを前記情報提示者に提示する
    ことを特徴とする請求項1に記載の情報処理装置。
  6. 情報提示者が被情報提示者に提示する情報を最適化する情報処理装置により実行される情報処理方法において、
    前記情報提示者が前記被情報提示者に前記情報を提示しているときにセンサにより取得された前記被情報提示者の生体活動情報に基づいて、前記情報に対する前記被情報提示者の知識レベル及び理解レベルを判定すると共に、前記情報提示者が前記被情報提示者に提示する前記情報の特徴を判定する第1のステップと、
    判定した前記情報に対する前記被情報提示者の前記知識レベル及び前記理解レベルと、判定した前記情報の特徴とに基づいて、当該情報の提示形式を前記被情報提示者の前記知識レベル及び前記理解レベルに応じた提示形式に変換する第2のステップと
    を備えることを特徴とする情報処理方法。
  7. 前記第1のステップでは、
    前記情報提示者が前記被情報提示者に提示する前記情報の前記特徴として、
    前記情報が視覚的な情報である場合には、当該情報を一見して視認できる度合である視認レベルと、当該情報に対する前記被情報提示者の認知的葛藤の度合である認知的葛藤レベルとを判定し、
    前記情報が聴覚的な情報である場合には当該情報における単語の間隔の度合である音声スピードレベルと、音声の抑揚の強弱の度合である音声抑揚レベルとを判定する
    ことを特徴とする請求項6に記載の情報処理方法。
  8. 前記第1のステップでは、
    前記視認レベルを、前記情報における他言語の有無、背景色及び文字色の組合せ、連続する情報の有無、並びに、前記被情報提示者による判断の有無に基づいて判定し、
    前記認知的葛藤レベルを、前記情報における他言語の有無、単語の意味及び当該単語の文字色、連続する情報の有無、並びに、前記被情報提示者による判断の有無に基づいて判定する
    ことを特徴とする請求項に記載の情報処理方法。
  9. 前記第1のステップでは、
    前記音声スピードレベルを、前記単語の間隔、前記情報における他言語の有無、連続する情報の有無、及び、前記被情報提示者による判断の有無に基づいて判定し、
    前記音声抑揚レベルを、抑揚の強弱、前記情報における他言語の有無、連続する情報の有無、及び、前記被情報提示者による判断の有無に基づいて判定する
    ことを特徴とする請求項に記載の情報処理方法。
  10. 判定した前記情報に対する前記被情報提示者の前記知識レベル及び前記理解レベルと、前記被情報提示者の前記知識レベル及び前記理解レベルに応じて提示形式が変換された変換後の前記情報とを前記情報提示者に提示する第3のステップ
    を備えることを特徴とする請求項6に記載の情報処理方法。
JP2020050191A 2020-03-19 2020-03-19 情報処理装置及び方法 Active JP7382261B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020050191A JP7382261B2 (ja) 2020-03-19 2020-03-19 情報処理装置及び方法
US17/201,858 US20210290127A1 (en) 2020-03-19 2021-03-15 Information Processing Device and Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050191A JP7382261B2 (ja) 2020-03-19 2020-03-19 情報処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2021145986A JP2021145986A (ja) 2021-09-27
JP7382261B2 true JP7382261B2 (ja) 2023-11-16

Family

ID=77747094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050191A Active JP7382261B2 (ja) 2020-03-19 2020-03-19 情報処理装置及び方法

Country Status (2)

Country Link
US (1) US20210290127A1 (ja)
JP (1) JP7382261B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017060994A1 (ja) 2015-10-07 2017-04-13 株式会社日立製作所 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法
WO2019124023A1 (ja) 2017-12-19 2019-06-27 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、及び判定装置
JP2019191859A (ja) 2018-04-24 2019-10-31 株式会社Subaru 車両の情報提示装置及び車両の情報提示方法
US20200005663A1 (en) 2009-09-29 2020-01-02 Advanced Training System Llc System, Method and Apparatus for Driver Training System with Stress Management
JP2020038336A (ja) 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314279A1 (en) * 2015-04-22 2016-10-27 The Arizona Board Of Regents On Behalf Of The University Of Arizona Systems, methods and devices for ensuring quality in healthcare and wellness
JP7386438B2 (ja) * 2018-12-20 2023-11-27 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200005663A1 (en) 2009-09-29 2020-01-02 Advanced Training System Llc System, Method and Apparatus for Driver Training System with Stress Management
WO2017060994A1 (ja) 2015-10-07 2017-04-13 株式会社日立製作所 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法
WO2019124023A1 (ja) 2017-12-19 2019-06-27 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、及び判定装置
JP2019191859A (ja) 2018-04-24 2019-10-31 株式会社Subaru 車両の情報提示装置及び車両の情報提示方法
JP2020038336A (ja) 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
US20210290127A1 (en) 2021-09-23
JP2021145986A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
US11468288B2 (en) Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data
Chen et al. Robust multimodal cognitive load measurement
Markova et al. Clas: A database for cognitive load, affect and stress recognition
Heard et al. A survey of workload assessment algorithms
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
Matthews et al. The psychometrics of mental workload: Multiple measures are sensitive but divergent
Gevins et al. Monitoring working memory load during computer-based tasks with EEG pattern recognition methods
Lima et al. In the ear of the beholder: how age shapes emotion processing in nonverbal vocalizations.
US20200082735A1 (en) Neuroadaptive intelligent virtual reality learning system and method
EP2515760B1 (en) Affective well-being supervision system and method
Rahman et al. Non-contact-based driver’s cognitive load classification using physiological and vehicular parameters
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
US20170344713A1 (en) Device, system and method for assessing information needs of a person
Rajan et al. Task load estimation and mediation using psycho-physiological measures
KR102352163B1 (ko) 뇌파 측정 기술을 이용하여 언어 능숙도를 진단하는 방법
Kodithuwakku Arachchige et al. The use of wearable devices in cognitive fatigue: current trends and future intentions
JP7382261B2 (ja) 情報処理装置及び方法
Bläsing et al. Influence of complexity and noise on mental workload during a manual assembly task
CN112515674A (zh) 心理危机预警系统
Heger et al. An EEG adaptive information system for an empathic robot
JP2019185586A (ja) ストレスマネジメント支援システム
US11276420B2 (en) Interaction system, apparatus, and non-transitory computer readable storage medium
WO2024116280A1 (ja) 情報処理装置、決定方法及び記憶媒体
US10636422B2 (en) System and conversation information output method
Chen et al. Multimodal and data-driven cognitive load measurement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7382261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150