JP7307198B2 - 囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに記憶媒体 - Google Patents

囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに記憶媒体 Download PDF

Info

Publication number
JP7307198B2
JP7307198B2 JP2021567873A JP2021567873A JP7307198B2 JP 7307198 B2 JP7307198 B2 JP 7307198B2 JP 2021567873 A JP2021567873 A JP 2021567873A JP 2021567873 A JP2021567873 A JP 2021567873A JP 7307198 B2 JP7307198 B2 JP 7307198B2
Authority
JP
Japan
Prior art keywords
projected content
electroencephalogram
energy values
index
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021567873A
Other languages
English (en)
Other versions
JP2022542532A (ja
Inventor
文▲ウェン▼ 宋
丹 ▲張▼
▲軍▼▲偉▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2022542532A publication Critical patent/JP2022542532A/ja
Application granted granted Critical
Publication of JP7307198B2 publication Critical patent/JP7307198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)

Description

本開示は、投影コンテンツ評価の技術分野に関し、より具体的には、囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに機械読み取り可能な記憶媒体に関する。
投影技術の成熟に伴い、ホテル、電車、クルーズ船、ビジネス航空機の客室などの囲まれた環境において、視覚的表現を強化すること、パーソナライズされた仮想の場面を創出すること、および乗客に新しい体験をもたらすことが求められている。簡単な投影システムは、天井に任意の景色を映し出し、航空会社はこの機能を利用して、憂鬱な客室環境を緩和するために、食事時に青空を投影したり、休憩時に夜空を投影したりするなどして、乗客の体験を向上させることができる。高度な投影技術を使用すると、よりリアルな視覚体験を創出することができる。
投影コンテンツの設計に関しては、色相因子、明るさ因子、コントラスト因子、視野(FOV)因子などの基本設計要素が、投影コンテンツの設計における主要な考慮すべき因子である。異なる基本設計要素を含む投影コンテンツは、囲まれた環境の創出、ならびにユーザの心理的および生理的状態に異なる影響を及ぼす。ユーザに、より良い体験を提供するためには、ユーザが投影コンテンツを見たときに生じる体験や感覚に従って、投影コンテンツを評価する必要がある。
しかし、映像コンテンツに関する既存の体験評価方法は、主に視聴者のインタビューまたはアンケートデータに依存しており、そのような方法には、インタビューまたはアンケートの質問設計が主観的であるなどの主観的要因に、結果が大きく影響されるという問題、および視聴者が群集心理を有しているという問題がある。また、ユーザは、これらの方法における個人のプライバシー保護についても懸念を抱いている。
したがって、従来技術における上記のこれらの問題を解決するために、より客観的で正確な投影コンテンツ評価方法を確立する必要がある。
ブレイン・コンピューター・インタラクション技術は、人間の脳の思考活動によって生成された脳波の脳波図(EEG)を直接解釈することによって、人間の思考活動の状態を判断する工学心理学技術である。本開示の発明者は、人が投影コンテンツを見ているときに、人間の脳が、投影コンテンツに関連する思考活動を発生させること、および、これらの思考活動によって発生したEEG信号を収集し、これらのEEG信号に従って、その人の種々の感情的体験状態を解釈することにより、投影コンテンツが評価され得ることを発見した。既存の方法と比較して、ブレイン・コンピューター・インタラクション技術は、体験分析のための客観的な脳神経の電気的活動情報に依存しているため、投影コンテンツの評価が、より客観的で正確である。
本開示の一態様によれば、囲まれた環境内の投影コンテンツを評価するための方法であって、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得するステップと、所定部位のそれぞれでEEGの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGの特徴を抽出するステップと、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定するステップと、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップと、投影コンテンツ評価値を使用して投影コンテンツを評価するステップとを含む、方法が提供される。
本開示の典型的な実施形態によれば、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出する前に、本方法は、EEGデータの眼球運動ノイズ除去を含む前処理を実施するステップをさらに含む。
本開示の典型的な実施形態によれば、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップは、投影コンテンツを評価するための投影コンテンツ評価値を算出するために、複数のEEGエネルギー値のそれぞれに、複数の指標にそれぞれ対応する複数の重みのうちの対応する重みを乗算し、複数のEEGエネルギー値の乗算結果を累積するステップを含む。
本開示の典型的な実施形態によれば、指標は、感情価指標、感情喚起指標、集中指標、疲労指標、乗り物酔い指標、および選好指標のうちの少なくとも1つを含んでもよい。
本開示の典型的な実施形態によれば、周波数帯域は、4~7Hzの周波数範囲を有するシータ周波数帯域、8~13Hzの周波数範囲を有するアルファ周波数帯域、14~28Hzの周波数範囲を有するベータ周波数帯域、および29~50Hzの周波数範囲を有するガンマ周波数帯域のうちの少なくとも1つを含んでもよい。
本開示の典型的な実施形態によれば、EEGエネルギー値と投影コンテンツを評価するための指標との間の相関は、感情価指標に対応する、左前頭前野のアルファ周波数帯域のEEGエネルギー値と右前頭前野のアルファ周波数帯域のEEGエネルギー値との間の非対称性、感情喚起指標に対応する、後頭部のアルファ周波数帯域のEEGエネルギー値、集中指標に共に対応する、左前頭前野のシータ周波数帯域のEEGエネルギー値および右前頭前野のシータ周波数帯域のEEGエネルギー値、疲労指標に対応する、頭頂後頭部のアルファ周波数帯域の平均EEGエネルギー値であって、頭頂後頭部で収集されたすべてのEEGデータのアルファ周波数帯域のEEGエネルギー値の平均値である、平均EEGエネルギー値、乗り物酔い指標に対応する、後頭部のガンマ周波数帯域のEEGエネルギー値、ならびに選好指標に対応する、右側頭部のシータ周波数帯域のEEGエネルギー値のうちの少なくとも1つを含んでもよい。
本開示の典型的な実施形態によれば、投影コンテンツが複数の異なる投影コンテンツを含む場合、複数の異なる投影コンテンツのそれぞれの投影コンテンツ評価値に従って、複数の異なる投影コンテンツの中で最適な投影コンテンツが決定される。
本開示の典型的な実施形態によれば、複数の異なる投影コンテンツの間の差異は、投影コンテンツの項目、すなわち色相、明るさ、コントラスト、振幅、遷移速度、および前述の項目の数を表す複雑さ、のうちの1つを少なくとも含む。
本開示の典型的な実施形態によれば、所定部位は、以下の部位、すなわち脳の前頭部、頭頂部、側頭部、および後頭部のうちの1つを含んでもよい。
本開示の典型的な実施形態によれば、所定部位は、以下の部位、すなわち左前頭前野、右前頭前野、頭頂後頭部、および右側頭部のうちの1つを含んでもよい。
本開示の別の態様によれば、囲まれた環境内の投影コンテンツを評価するための装置であって、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得する、EEGデータ取得モジュールと、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出する、特徴抽出モジュールと、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定する、EEGエネルギー値決定モジュールと、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出する、投影コンテンツ評価値算出モジュールと、投影コンテンツ評価値を使用して投影コンテンツを評価する、投影コンテンツ評価モジュールとを備える、装置が提供される。
本開示の典型的な実施形態によれば、装置は、EEGデータの眼球運動ノイズ除去を含む前処理を実施する、前処理モジュールをさらに備えてもよい。
本開示の典型的な実施形態によれば、投影コンテンツ評価値算出モジュールは、投影コンテンツを評価するための投影コンテンツ評価値を算出するために、複数のEEGエネルギー値のそれぞれに、複数の指標にそれぞれ対応する複数の重みのうちの対応する重みを乗算し、複数のEEGエネルギー値の乗算結果を累積するようにさらに構成されている。
本開示のさらに別の態様によれば、プログラム命令を含むコンピュータープログラムを記憶した機械読み取り可能な記憶媒体であって、プログラム命令が、プロセッサによって実行されるときに、上記で説明された方法を実施するために使用される、機械読み取り可能な記憶媒体が提供される。
本開示のさらに別の態様によれば、プログラムを実行するために使用されるプロセッサが提供され、プログラムが実行されるとき、プログラムは上記で説明された方法を実施するために使用される。
本開示のさらに別の態様によれば、囲まれた環境内の投影コンテンツを評価するための装置であって、メモリおよびプロセッサを備え、プロセッサが、プロセッサによって実施されるプログラム命令を記憶したメモリに接続され、プロセッサが、プログラム命令を実施するとき、上記で説明された方法を実施することができる、装置が提供される。
本開示のさらに別の態様によれば、囲まれた環境内の投影コンテンツを評価するためのシステムであって、ユーザが投影コンテンツを見ている間に、ユーザの脳の複数の所定部位でEEGデータを収集するためのEEG収集装置と、囲まれた環境内の投影コンテンツを評価するための、上記で説明された装置とを備える、システムが提供される。
本開示のさらに別の態様によれば、非一時的なコンピューター読み取り可能な記憶媒体に記憶されたコンピュータープログラム製品であって、コンピューターによって実行されると、上記で説明された方法をコンピューターに実施させるためのプログラム命令を含む、コンピュータープログラムを含むコンピュータープログラム製品が提供される。
本開示の実施形態では、EEGエネルギー値は、EEGデータの取得、分析、および特徴抽出をするブレイン・コンピューター・インタラクション技術によって得られ、投影コンテンツを評価するための指標のそれぞれに対応するEEGエネルギー値は、EEGエネルギー値と指標との間の相関に基づいて選択され、投影コンテンツを評価するための投影コンテンツ評価値は、選択されたEEGエネルギー値に基づいて算出される。全体のプロセスは、EEGデータの取得、分析、および処理のみを含むため、従来技術と比較して、囲まれた環境内の投影コンテンツが、客観的、科学的、および正確に評価され得る。
また、異なる投影コンテンツを評価および分析することにより、投影コンテンツの、影響因子または基本設計要素と、評価結果との間の相関が得られ、これにより投影コンテンツの設計のためのガイドラインを確立することができる。
本開示の一部を構成する、本明細書に例示される図面は、本開示のさらなる理解を提供するために使用される。本開示の例示的な実施形態およびその図説は、本開示に対する不適切な制限となるものではなく、本開示を説明するために使用される。
本開示の一実施形態による、囲まれた環境内の投影コンテンツを評価するための方法のフローチャートである。 本開示の典型的な実施形態による、EEG収集装置の電極配置方法を示す概略図である。 本開示の典型的な実施形態による、独立成分分析(ICA)法を使用して眼球運動ノイズを除去した分析結果を示す概略図である。 本開示の典型的な実施形態による、ICA法を使用して眼球運動ノイズを除去した後のEEG信号を示す概略図である。 本開示の典型的な実施形態による、帯域通過フィルタが元のEEGデータをフィルタ処理する前後のEEG信号を示す。 本開示の典型的な実施形態による、帯域通過フィルタが元のEEGデータをフィルタ処理する前後のEEG信号を示す。 本開示の典型的な実施形態による、48の投影コンテンツ体系を示す概略図である。 本開示の一実施形態による、囲まれた環境内の投影コンテンツを評価するための装置のブロック図である。 本開示の別の実施形態による、囲まれた環境内の投影コンテンツを評価するための装置のブロック図である。 本開示の一実施形態による、囲まれた環境内の投影コンテンツを評価するためのシステムのブロック図である。
当業者が本開示の解決策をよりよく理解できるようにするために、以下、本開示の実施形態の技術的解決策を、本開示の実施形態の図面と組み合わせて明確かつ完全に説明する。明らかに、説明された実施形態は、本開示の実施形態のすべてではなく一部にすぎない。以下の典型的な実施形態は、単に開示の原理を説明するだけであり、開示の範囲を限定するものではない。本開示の実施形態に基づいて、発明的努力なしに当業者によって得られた他のすべての実施形態は、本開示の保護範囲内に入るものとする。
本開示の説明、特許請求の範囲、および図面における「第1」、「第2」などの用語は、類似の対象を区別するために使用されるが、必ずしも特定の順序または優先順位を説明するために使用されるわけではないことが理解されるべきである。そのような方法で使用されるデータは、本明細書で説明される本開示の実施形態が、本明細書に図示または説明される順序以外の順序で実装され得るように、適切な状況で交換され得ることが理解されるべきである。また、「含む」および「有する」という用語、ならびにそれらの任意の変形語は、非排他的な包含を対象とすることを意図している。例えば、一連のステップまたはモジュールもしくはユニットを含む、プロセス、方法、システム、製品、または装置は、必ずしも明確にリストされたステップまたはモジュールもしくはユニットに限定されないが、明確にリストされていない、またはそのような、プロセス、方法、製品、もしくは装置に本来備わっている、他のステップまたはモジュールもしくはユニットを含み得る。
本開示の一実施形態によれば、囲まれた環境内の投影コンテンツを評価するための方法が提供される。図1は、本開示の一実施形態による、囲まれた環境内の投影コンテンツを評価するための方法のフローチャートである。図1に示されるように、本開示の実施形態による、囲まれた環境内の投影コンテンツを評価するための方法は、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得する、ステップS101と、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出する、ステップS103と、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定する、ステップS105と、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出する、ステップS107と、投影コンテンツを評価するために、投影コンテンツ評価値を使用する、ステップS109とを含む。
ステップS101において、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータが取得される。具体的には、ホテル、電車、クルーズ船、ビジネス航空機の客室などの囲まれた環境内で、投影装置を使用して、投影コンテンツが投影位置に投影され得る。投影コンテンツは、特別に設計された投影ビデオで構成される場合があり、投影コンテンツを設計するときに考慮される因子については、以下で詳しく説明される。EEG収集装置、例えば、乾式電極EEG収集装置(例えば、市販の装置、例えば、DSI-24)は、ユーザが投影コンテンツを見ているという状況で、脳の複数の所定部位(例えば、前頭部、頭頂部、側頭部、および後頭部)でEEGデータを収集するために、ユーザの頭に配置される。好ましくは、脳の左前頭前野、右前頭前野、頭頂後頭部、および右側頭部でのEEGデータが収集され得るが、これは限定的ではなく、脳の他の位置でのEEGデータも収集され得る。収集されたEEGデータは、ローカルメモリに記憶されることも、前処理のために次段に直接送信されることもできる。
ステップS103において、所定部位のそれぞれでEEGの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGの特徴が抽出される。具体的には、複数の周波数帯域のEEGエネルギー値を抽出するために、所定部位で取得されたEEGデータに対して、FFTアルゴリズムを使用して高速フーリエ変換(FFT)が実施され、EEGデータが時間領域から周波数領域に変換され、所定部位のそれぞれでEEGデータが周波数領域で処理される。
ステップS105において、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値が、EEGエネルギー値と指標との間の相関に従って、抽出されたEEGエネルギー値から決定される。具体的には、出願人は、所定部位における所定周波数帯域のEEGエネルギー値が、感情価、感情喚起、集中、疲労、乗り物酔い、および選好などと相関があることを発見した。感情価、感情喚起、集中、疲労、乗り物酔い、および選好などが投影コンテンツの評価に使用される場合、これらの指標は所定部位における特定の周波数帯域のEEGエネルギー値で表されることができ、対応するEEGエネルギー値を投影コンテンツの評価に使用することができる。したがって、投影コンテンツを評価するための複数の指標に対応する複数のEEGエネルギー値は、EEGエネルギー値と上記の指標との間の相関に従って、抽出されたEEGエネルギー値から決定される。
ステップS107において、投影コンテンツ評価値が、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って算出される。具体的には、上記のように、所定のEEGエネルギー値のそれぞれは、所定のEEGエネルギー値のそれぞれに対応する投影コンテンツ評価指標を表すために使用され得る。投影コンテンツの投影場面が異なると、投影コンテンツを評価するための指標の数および重要度が異なるため、投影コンテンツを評価するための投影コンテンツ評価値への最終的な影響が異なる。したがって、投影コンテンツを評価するとき、場面によって異なる、投影コンテンツを評価するための指標の重みが設定され、例えば、乗客が注意を払うであろう離陸の場面では、集中指標に正の重みが与えられ、乗客がリラックスするであろう休憩の場面では、集中指標に負の重みが与えられる。したがって、投影コンテンツ評価値は、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って算出される。
ステップS109において、投影コンテンツが、投影コンテンツ評価値を使用して評価される。投影コンテンツ評価値は、投影コンテンツ評価を数値で表しており、値が大きいほど投影コンテンツは好ましく、このように、投影コンテンツ評価値を使用して、投影コンテンツが評価され得る。
本開示は、ブレイン・コンピューター・インタラクションに基づく、囲まれた環境内の投影コンテンツを評価するための方法であって、複数の指標を設定するステップと、指標にそれぞれ対応するEEGエネルギー値を取得するステップと、EEGエネルギー値に基づいて、投影コンテンツを評価するための投影コンテンツ評価値を取得するステップとを含む、方法を提供する。プロセス全体がMatlabなどのコンピューターツールによって実施されるため、航空機の客室内などでの没入型投影コンテンツが、客観的、科学的、かつ正確に評価され得る。
本開示の典型的な実施形態によれば、EEG収集装置がEEGを収集するときの電極配置方法が提供される。図2は、本開示の典型的な実施形態による、EEG収集装置の電極配置を示す概略図である。図2に示される電極配置方法は、国際脳波学会によって規定された標準電極配置方法、すなわち10/20法の電極配置方法である。また、他のEEG電極配置方法、例えば、国際臨床神経生理学連合(IFCN)が推奨する電極配置方法も使用され得る。
本開示の典型的な実施形態では、本方法は、EEGの特徴を抽出する前に、EEGデータの眼球運動ノイズ除去を含む前処理を実施するステップをさらに含んでもよい。具体的には、EEG収集装置が元のEEGデータを収集した後、EEGデータ上の特徴抽出を実施する前に、Matlab環境にあるFieldtripツールキットに基づいて、元のEEGデータが前処理され得る。Fieldtripツールキットは、実験者および方法開発者に提供される共通のプラットフォームであることが理解されるべきである。Fieldtripツールキットは、高度なデータ分析ロジックを実験者に提供する。そのロジックは、様々な実験データにも適用される。元のEEGデータの前処理は、信号内の特定の周波数帯域の周波数のフィルタ処理を実施するステップ、および元のEEGデータのノイズ除去をさらに含む。具体的には、帯域通過フィルタによって、元のEEGデータに0.05~50Hzのフィルタ処理(濾波処理)が施され、ICA法によって眼球運動ノイズが除去される。最初に処理されたEEGデータは、航空機のいずれかの客室で没入型投影コンテンツ内にいるユーザの感覚のもとでのEEGデータであってもよい。
本開示の典型的な実施形態では、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップは、投影コンテンツを評価するための投影コンテンツ評価値を算出するために、複数のEEGエネルギー値のそれぞれに、複数の指標にそれぞれ対応する複数の重みのうちの対応する重みを乗算し、複数のEEGエネルギー値の乗算結果を累積するステップを含む。投影コンテンツ評価値は、複数の指標にそれぞれ対応するEEGエネルギー値に、対応する重みを乗算し、乗算結果を1つずつ累積することにより取得され、投影コンテンツ評価値が、すべての指標の評価結果を統合するため、投影コンテンツを総合的に評価することができる。
図3は、本開示の典型的な実施形態による、ICA法を使用して眼球運動ノイズを除去した分析結果を示す概略図である。図3に示されるように、長方形の枠で囲まれた構成要素は、除去されるべき眼球運動ノイズである。図4は、本開示の典型的な実施形態による、ICA法を使用して眼球運動ノイズを除去した後のEEG信号を示す概略図である。図4に示されるように、眼球運動ノイズは除去されている。図5および図6はそれぞれ、本開示の典型的な実施形態による、帯域通過フィルタが元のEEGデータをフィルタ処理する前後のEEG信号を示している。
本開示の典型的な実施形態では、指標は、感情価指標、感情喚起指標、集中指標、疲労指標、乗り物酔い指標、および選好指標のうちの少なくとも1つを含んでもよい。感情価指標は、感情が肯定的であるかどうかの指標である。感情喚起指標は、感情の興奮の程度を表す指標である。
本開示の典型的な実施形態では、周波数帯域は、4~7Hzの周波数範囲を有するシータ周波数帯域、8~13Hzの周波数範囲を有するアルファ周波数帯域、14~28Hzの周波数範囲を有するベータ周波数帯域、および29~50Hzの周波数範囲を有するガンマ周波数帯域のうちの少なくとも1つを含んでもよい。上記の実施形態に基づいて、脳の前頭部、頭頂部、側頭部、および後頭部におけるシータ、アルファ、ベータ、およびガンマ周波数帯域のEEGエネルギー値がFFTによって抽出されるが、抽出されるシータ、アルファ、ベータ、およびガンマ周波数帯域のEEGエネルギー値は、本開示の典型的な実施形態の1つの好ましい実施形態にすぎず、本開示は、他の周波数帯域のEEGエネルギー値を抽出する実施形態をさらに含んでもよい。
本開示の典型的な実施形態では、EEGエネルギー値と投影コンテンツを評価するための指標との間の相関は、以下、すなわち、感情価指標に対応する、左前頭前野のアルファ周波数帯域のEEGエネルギー値と右前頭前野のアルファ周波数帯域のEEGエネルギー値との間の非対称性(または不均衡)であって、EEGエネルギー値間の非対称性が大きいほど、感情価指標が高くなる非対称性と、感情喚起指標に対応する、後頭部のアルファ周波数帯域のEEGエネルギー値であって、後頭部のアルファ周波数帯域のEEGエネルギー値が低いほど、感情喚起指標が高くなる、後頭部のアルファ周波数帯域のEEGエネルギー値と、共に集中指標に対応する、左前頭前野のシータ周波数帯域のEEGエネルギー値および右前頭前野のシータ周波数帯域のEEGエネルギー値であって、左前頭前野のシータ周波数帯域のEEGエネルギー値および右前頭前野のシータ周波数帯域のEEGエネルギー値の両方が高いほど、集中指標が高くなる、左前頭前野のシータ周波数帯域のEEGエネルギー値および右前頭前野のシータ周波数帯域のEEGエネルギー値と、疲労指標に対応する、頭頂後頭部のアルファ周波数帯域の平均EEGエネルギー値であって、平均EEGエネルギー値が、頭頂後頭部で収集されるすべてのEEGのアルファ(8~13Hz)周波数帯域のEEGエネルギー値の平均値であり、頭頂後頭部のアルファ周波数帯域の平均EEGエネルギー値が高いほど、疲労指標が高くなる、頭頂後頭部のアルファ周波数帯域の平均EEGエネルギー値と、乗り物酔い指標に対応する、後頭部のガンマ周波数帯域のEEGエネルギー値であって、後頭部のガンマ周波数帯域のEEGエネルギー値が高いほど、乗り物酔い指標が高くなる、後頭部のガンマ周波数帯域のEEGエネルギー値と、選好指標に対応する、右側頭部のシータ周波数帯域のEEGエネルギー値であって、右側頭部のシータ周波数帯域のEEGエネルギー値が高いほど、選好指標が高くなる、右側頭部のシータ周波数帯域のEEGエネルギー値のうちの少なくとも1つを含む。本開示の典型的な実施形態では、周波数帯域のEEGエネルギー値の特性に従って、異なる周波数帯域のEEGエネルギー値が、上記の異なる指標に対応するため、投影コンテンツを評価するための評価結果をより科学的かつ客観的に表すことが可能である。
本開示の典型的な実施形態では、本方法は、投影コンテンツが複数の異なる投影コンテンツを含む場合、複数の異なる投影コンテンツのそれぞれの投影コンテンツ評価値に従って、複数の異なる投影コンテンツの中で最適な投影コンテンツを決定するステップをさらに含んでもよい。投影コンテンツ評価値は、投影コンテンツ評価を数値で表しており、値が大きいほど投影コンテンツは好ましくなる。このように、投影コンテンツ評価値に従って、複数の異なる投影コンテンツから最適な投影コンテンツが選択され得る。典型的な実施形態では、投影によって投影コンテンツを再生する前に、プログラミング言語を使用して、複数の異なる投影コンテンツ、好ましくは48の投影コンテンツが取得される。
本開示の典型的な実施形態では、複数の異なる投影コンテンツ間の差異は、以下の投影コンテンツの評価影響因子、すなわち色相、明るさ、コントラスト、振幅、遷移速度、前述の因子の数を表す複雑さ、FOV、および基本設計要素のうちの少なくとも1つを含む。典型的な実施形態では、複数の投影コンテンツを取得するステップは、上記の評価影響因子を決定するステップをさらに含む。
図7は、本開示の典型的な実施形態による、48の投影コンテンツ体系を示す概略図である。図7に示されるように、2つの色相(単色/多色)、2つのコントラスト(高/低)、3つの、振幅レベルまたは速度レベル(高/中/低)、および3つの複雑さレベル(1オブジェクト/4オブジェクト/12オブジェクト)が特に考慮される。複数の評価影響因子の種々の組み合わせが統合され、合計48の投影コンテンツ体系がある。
投影コンテンツの評価中に、出願人は、疲労の転換点が約477秒で現れること、つまり、8分後には、人々が投影コンテンツを集中して見ることが困難になることを発見した。したがって、最初の8分以内にすべての重要な情報を伝えることが推奨される。
また、投影コンテンツの上記の評価影響因子を変更し、変更前後の投影コンテンツに対して投影評価を実施することにより、以下の影響因子の特性、すなわち色相については、多色設計が、単色と比較して、より肯定的感情を誘発することができ、その一方で妨害を減らすこともできるという特性、および速度については、より速い速度は、より高い興奮度を誘発するが、より遅い速度は人々が落ち着くのに役立つという、心拍数の分析結果が示す特性、が得られ得る。
本開示の典型的な実施形態における最適な結果は、具体的には、以下の表1に示される通りである。
Figure 0007307198000001
上記の具体的な分析により、出願人は、投影コンテンツが長距離飛行中の疲労を緩和し、感情の調整を促進するため、航空機の客室に没入型の投影コンテンツを追加することがまさに必要である、ということを発見した。客室環境が限られていることを考慮すると、投影に最適な位置は客室の天井であるべきである。航空会社の観点からは、投影位置は、メイン搭乗ゲートのフロアを構成するメイン搭乗ゲート上に配置されるべきであることが示唆される。
航空機の客室に没入型の投影コンテンツを追加する場合、投影色は、強すぎるべきでも刺激しすぎるべきでもなく、低コントラスト色は、人々をより快適にし、概して、静かで和む環境が創出される必要がある。いくつかの航空会社のバーカウンター付近では、コントラストの強い色と比較的温かみのある画像を含む投影コンテンツも考えられ、幸せな雰囲気を創出するのに適している。速度に関しては、高速の画像は人々を興奮させ、低速の画像は人々を落ち着かせるため、乗客にとって静かで和む環境を構築するには低速がより適している。振幅に関しては、低振幅または中振幅が航空機の乗客に好まれ、集中が高められ得るため、低振幅または中振幅が必要である。コントラストの低い画像は人々をより快適にし、航空機の乗客の快適な休息に適している。
本開示の一実施形態によれば、囲まれた環境内の投影コンテンツを評価するための装置が提供される。図8は、本開示の一実施形態による、囲まれた環境内の投影コンテンツを評価するための装置のブロック図である。図8に示されるように、囲まれた環境内の投影コンテンツを評価するための装置20は、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得する、EEGデータ取得モジュール201と、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出する、特徴抽出モジュール203と、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定する、EEGエネルギー値決定モジュール205と、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出する、投影コンテンツ評価値算出モジュール207と、投影コンテンツを評価するために、投影コンテンツ評価値を使用する、投影コンテンツ評価モジュール209とを備える。囲まれた環境内の投影コンテンツを評価するための装置は、囲まれた環境内の投影コンテンツを評価するための方法に対応するため、上記の内容は、本明細書では繰り返されない。
本開示の典型的な実施形態では、装置20は、EEGデータの眼球運動ノイズ除去を含む前処理を実施する前処理モジュール(図示せず)をさらに備える。前処理モジュールは、前処理ステップに対応するため、上記の内容は、本明細書では繰り返されない。
本開示の典型的な実施形態では、投影コンテンツ評価値算出モジュールは、投影コンテンツを評価するための投影コンテンツ評価値を算出するために、複数のEEGエネルギー値のそれぞれに、複数の指標にそれぞれ対応する複数の重みのうちの対応する重みを乗算し、複数のEEGエネルギー値の乗算結果を累積するようにさらに構成されている。投影コンテンツ評価値算出モジュールの機能は、上記の処理ステップに対応するため、本明細書では、上記の内容は繰り返されない。
本開示の別の実施形態によれば、囲まれた環境内の投影コンテンツを評価するための装置が提供される。図9は、本開示の別の実施形態による、囲まれた環境内の投影コンテンツを評価するための装置のブロック図である。図9に示されるように、囲まれた環境内の投影コンテンツを評価するための装置30は、メモリ301およびプロセッサ302を備え、プロセッサはバス303などによってメモリに接続され、メモリは、プロセッサによって実施されるプログラム命令をメモリ内に記憶し、プロセッサがプログラム命令を実施するとき、プロセッサは、上記で説明されたいずれかの実施形態による、囲まれた環境内の投影コンテンツを評価するための方法、例えば、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得するステップと、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出するステップと、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定するステップと、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップと、投影コンテンツを評価するために、投影コンテンツ評価値を使用するステップとを含む、方法を実施することができる。
本開示の一実施形態によれば、囲まれた環境内の投影コンテンツを評価するためのシステムが提供される。図10は、本開示の一実施形態による、囲まれた環境内の投影コンテンツを評価するためのシステムのブロック図である。図10に示されるように、囲まれた環境内の投影コンテンツを評価するためのシステム1は、ユーザが投影コンテンツを見ている間に、ユーザの脳の複数の所定部位でEEGデータを収集するためのEEG収集装置10と、囲まれた環境内の投影コンテンツを評価するための上記の装置20または装置30とすることができる、投影コンテンツ評価装置40とを備える。
本開示の一実施形態によれば、プログラムを実行するために使用されるプロセッサが提供され、プログラムが実行されるとき、上記の実施形態のいずれか1つによる、囲まれた環境内の投影コンテンツを評価するための方法、例えば、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得するステップと、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出するステップと、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定するステップと、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップと、投影コンテンツを評価するために、投影コンテンツ評価値を使用するステップとを含む、方法が実施される。
本開示の一実施形態によれば、プログラム命令を含むコンピュータープログラムを記憶した機械読み取り可能な記憶媒体が提供され、プログラム命令がプロセッサによって実行されるとき、上記の実施形態のいずれか1つによる、囲まれた環境内の投影コンテンツを評価するための方法、例えば、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得するステップと、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出するステップと、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定するステップと、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップと、投影コンテンツを評価するために、投影コンテンツ評価値を使用するステップとを含む、方法が実施される。
本開示の一実施形態によれば、非一時的なコンピューター読み取り可能な記憶媒体に記憶されたコンピュータープログラムを含むコンピュータープログラム製品が提供され、コンピュータープログラムはプログラム命令を含み、プログラム命令がコンピューターによって実行されると、コンピューターに、上記の実施形態のいずれか1つによる、囲まれた環境内の投影コンテンツを評価するための方法、例えば、ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得するステップと、所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出するステップと、抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定するステップと、複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップと、投影コンテンツを評価するために、投影コンテンツ評価値を使用するステップとを含む、方法を実施させる。
本開示の上記の実施形態では、様々な実施形態の説明がそれぞれ重点を有しており、特定の実施形態に詳述されていない部分に関して、他の実施形態の関連する説明が参照され得る。
本開示によって提供されるいくつかの実施形態では、開示された技術的内容が他の方法で実装されてもよいことが理解されるべきである。上記の装置の実施形態は、単なる例示である。例えば、ユニットまたはモジュールの分割は、論理機能の分割にすぎない。実際の実装では、他の分割方法であってもよく、例えば、複数のユニット、モジュールもしくはコンポーネントが組み合わされてもよいし、または別のシステムに統合されてもよいし、あるいはいくつかの特徴が無視される、または実施されないこともあり得る。また、示されている、または説明されている、相互の結合もしくは相互の直接結合、または相互の通信接続は、いくつかのインターフェース、モジュール、またはユニットを介した、間接結合または通信接続であってもよく、電気的形態または他の形態であってもよい。
別個のコンポーネントとして説明されるユニットまたはモジュールは、物理的に分離されてもよいし、物理的に分離されなくてもよく、ユニットまたはモジュールとして示されるコンポーネントは、物理的なユニットまたはモジュールであってもよいし、または物理的なユニットまたはモジュールでなくてもよく、一箇所に配置されてもよいし、または複数のネットワークに分散されてもよい。ユニットまたはモジュールのいくつかまたはすべては、本実施形態の解決策の目的を達成するための実際の必要性に従って選択されてもよい。
また、本開示の実施形態における機能ユニットもしくは機能モジュールは、1つの処理ユニットもしくはモジュールに統合されてもよく、またはユニットもしくはモジュールは、物理的かつ別々に存在することができ、または2つ以上のユニットもしくはモジュールを1つのユニットまたはモジュールに統合され得る。上記の統合されたユニットもしくはモジュールは、ハードウェアの形態で、またはソフトウェア機能ユニットもしくはソフトウェア機能モジュールの形態で具現化され得る。
統合されたユニットは、ソフトウェア機能ユニットの形態で実装され、スタンドアロン製品として販売または使用される場合、コンピューター読み取り可能な記憶媒体に記憶され得る。そのような理解に基づいて、本開示の技術的解決策、または本質的に先行技術に寄与する、本開示の技術的解決策の一部、または技術的解決策の全部または一部は、記憶媒体に記憶されるソフトウェア製品の形態で実装されてもよい。コンピューター装置(パーソナルコンピューター、サーバーまたはネットワーク装置などであってもよい)に、本開示の実施形態の方法のステップの全部または一部を実施させるために、いくつかの命令が含まれる。上記の記憶媒体は、USBフラッシュディスク、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、リムーバブルハードディスク、磁気ディスク、または光ディスクなどのプログラムコードを記憶できる様々な媒体を含む。
当業者は、上記の実施形態の方法を実装するステップの全部または一部が、プログラム命令に関連するハードウェア(例えば、回路)によって達成され得ることが理解でき、上記のプログラムは、コンピューター読み取り可能な記憶媒体に記憶されてもよく、プログラムが実施されると、上記の実施形態の方法のステップを実施する。上記の記憶媒体は、ROM、RAM、磁気ディスク、または光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
上記の実施形態の説明から、当業者は、実施形態がソフトウェアおよび必要な一般的なハードウェアプラットフォームを使用して実施されてもよいこと、および、当然、ハードウェアを使用して実施されてもよいことを明確に理解し得る。そのような理解に基づいて、上記の技術的解決策または本質的に先行技術に寄与する上記の技術的解決策の一部は、ROM/RAM、磁気ディスク、または光ディスクなどのコンピューター読み取り可能な記憶媒体に記憶されるソフトウェア製品の形態で具現化されてもよい。(パーソナルコンピューター、サーバーまたはネットワーク装置などであってもよい)コンピューター装置に、実施形態、または実施形態のいくつかの部分の方法を実施させるために、いくつかの命令が含まれる。
本開示はまた、以下のように構成されてもよい。
(1)囲まれた環境内の投影コンテンツを評価するための方法であって、
ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得するステップと、
所定部位のそれぞれでEEGの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGの特徴を抽出するステップと、
抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定するステップと、
複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップと、
投影コンテンツ評価値を使用して投影コンテンツを評価するステップと
を含む、方法。
(2)所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出する前に、前記方法が、EEGデータの眼球運動ノイズ除去を含む前処理を実施するステップをさらに含んでもよい、(1)に記載の方法。
(3)複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出するステップが、投影コンテンツ評価値を算出するために、複数のEEGエネルギー値のそれぞれに、複数の指標にそれぞれ対応する複数の重みのうちの対応する重みを乗算し、複数のEEGエネルギー値の乗算結果を累積するステップを含む、(1)に記載の方法。
(4)指標が、感情価指標、感情喚起指標、集中指標、疲労指標、乗り物酔い指標、および選好指標のうちの少なくとも1つを含んでもよい、(1)から(3)のいずれか一項に記載の方法。
(5)周波数帯域は、4~7Hzの周波数範囲を有するシータ周波数帯域、8~13Hzの周波数範囲を有するアルファ周波数帯域、14~28Hzの周波数範囲を有するベータ周波数帯域、および29~50Hzの周波数範囲を有するガンマ周波数帯域のうちの少なくとも1つを含んでもよい、(1)から(4)のいずれか一項に記載の方法。
(6)EEGエネルギー値と投影コンテンツを評価するための指標との間の相関が、
感情価指標に対応する、左前頭前野のアルファ周波数帯域のEEGエネルギー値と右前頭前野のアルファ周波数帯域のEEGエネルギー値との間の非対称性、
感情喚起指標に対応する、後頭部のアルファ周波数帯域のEEGエネルギー値、
集中指標に共に対応する、左前頭前野のシータ周波数帯域のEEGエネルギー値および右前頭前野のシータ周波数帯域のEEGエネルギー値、
疲労指標に対応する、頭頂後頭部のアルファ周波数帯域の平均EEGエネルギー値であって、頭頂後頭部で収集されたすべてのEEGデータのアルファ周波数帯域のEEGエネルギー値の平均値である、平均EEGエネルギー値、
乗り物酔い指標に対応する、後頭部のガンマ周波数帯域のEEGエネルギー値、ならびに
選好指標に対応する、右側頭部のシータ周波数帯域のEEGエネルギー値
のうちの少なくとも1つを含んでもよい、(1)から(5)のいずれか一項に記載の方法。
(7)投影コンテンツが複数の異なる投影コンテンツを含む場合、複数の異なる投影コンテンツのそれぞれの投影コンテンツ評価値に従って、複数の異なる投影コンテンツの中で最適な投影コンテンツが決定される、(1)から(6)のいずれか一項に記載の方法。
(8)複数の異なる投影コンテンツの間の差異は、投影コンテンツの項目、すなわち色相、明るさ、コントラスト、振幅、遷移速度、および前述の項目の数を表す複雑さ、のうちの1つを少なくとも含む、(1)から(7)のいずれか一項に記載の方法。
(9)囲まれた環境内の投影コンテンツを評価するための装置であって、
ユーザの脳の複数の所定部位で、ユーザが投影コンテンツを見ている間に収集されるEEGデータを取得する、EEGデータ取得モジュールと、
所定部位のそれぞれでEEGデータの複数の周波数帯域のEEGエネルギー値を得るために、所定部位のそれぞれで取得されたEEGデータの特徴を抽出する、特徴抽出モジュールと、
抽出されたEEGエネルギー値から、EEGエネルギー値と指標との間の相関に従って、投影コンテンツを評価するための複数の指標にそれぞれ対応する複数のEEGエネルギー値を決定する、EEGエネルギー値決定モジュールと、
複数のEEGエネルギー値のそれぞれ、および複数の指標にそれぞれ対応する複数の重みのうちの対応する重みに従って、投影コンテンツ評価値を算出する、投影コンテンツ評価値算出モジュールと、
投影コンテンツ評価値を使用して投影コンテンツを評価する、投影コンテンツ評価モジュールと
を備える、装置。
(10)装置が、EEGデータの眼球運動ノイズ除去を含む前処理を実施する、前処理モジュールをさらに備える、(9)に記載の装置。
(11)投影コンテンツ評価値算出モジュールが、投影コンテンツを評価するための投影コンテンツ評価値を算出するために、複数のEEGエネルギー値のそれぞれに、複数の指標にそれぞれ対応する複数の重みのうちの対応する重みを乗算し、複数のEEGエネルギー値の乗算結果を累積するようにさらに構成されている、(9)に記載の装置。
(12)プロセッサによって実行されるときに、(1)から(8)のいずれか一項に記載の方法を実施するためのプログラム命令を含むコンピュータープログラムを記憶している機械読み取り可能な記憶媒体。
(13)プログラムであって、プログラムが実行されるときに、(1)から(8)のいずれか一項に記載の方法を実施するためのプログラムを実行するために使用されるプロセッサ。
(14)囲まれた環境内の投影コンテンツを評価するための装置であって、メモリおよびプロセッサを備え、プロセッサが、プロセッサによって実施されるプログラム命令を記憶したメモリに接続され、プロセッサがプログラム命令を実施するとき、プロセッサが(1)から(8)のいずれか一項に記載の方法を実施することができる、装置。
(15)囲まれた環境内の投影コンテンツを評価するためのシステムであって、ユーザが投影コンテンツを見ている間に、ユーザの脳の複数の所定部位でEEGデータを収集するためのEEG収集装置と、囲まれた環境内の投影コンテンツを評価するための、(9)または(14)で説明された装置とを備える、システム。
(16)非一時的な機械読み取り可能な記憶媒体に記憶されたコンピュータープログラムであって、コンピュータープログラムが、コンピューターによって実行されると、(1)から(8)のいずれか一項に記載の方法をコンピューターに実施させるためのプログラム命令を含む、コンピュータープログラムを含むコンピュータープログラム製品。
上記の内容は、本開示の好ましい実施形態にすぎない。当業者にとって、本開示の原理から逸脱することなく、いくつかの改善および修正を行うこともでき、これらの改善および修正もまた、本開示の保護の範囲内であると見なされるべきであることに留意されたい。
1 システム
10 EEG収集装置
20 装置
30 装置
40 投影コンテンツ評価装置
201 EEGデータ取得モジュール
203 特徴抽出モジュール
205 EEGエネルギー値決定モジュール
207 投影コンテンツ評価値算出モジュール
209 投影コンテンツ評価モジュール
301 メモリ
302 プロセッサ
303 バス

Claims (12)

  1. 囲まれた環境内の投影コンテンツを評価するための方法であって、
    ユーザの脳の複数の所定部位で、前記ユーザが前記投影コンテンツを見ている間に収集される脳波図(EEG)データを取得するステップと、
    前記所定部位のそれぞれで前記脳波図データの複数の周波数帯域の脳波図エネルギー値を得るために、前記所定部位のそれぞれで前記取得された脳波図データの特徴を抽出するステップと、
    前記抽出された脳波図エネルギー値から、前記脳波図エネルギー値と指標との間の相関に従って、前記投影コンテンツを評価するための前記複数の指標にそれぞれ対応する複数の脳波図エネルギー値を決定するステップと、
    前記複数の脳波図エネルギー値のそれぞれ、および前記複数の指標にそれぞれ対応する複数の重みのうち、前記囲まれた環境の場面に対応する重みに従って、投影コンテンツ評価値を算出するステップと、
    前記投影コンテンツ評価値を使用して前記投影コンテンツを評価するステップと
    含み、
    前記指標が、感情価指標、感情喚起指標、集中指標、疲労指標、乗り物酔い指標、および選好指標
    のうちの少なくとも1つを含む、方法。
  2. 前記所定部位のそれぞれで前記脳波図データの前記複数の周波数帯域の脳波図エネルギー値を得るために、前記所定部位のそれぞれで前記取得された脳波図データの特徴を抽出する前に、前記方法が、
    前記脳波図データの眼球運動ノイズ除去を含む前処理を実施するステップ
    をさらに含む、請求項1に記載の方法。
  3. 前記複数の脳波図エネルギー値のそれぞれ、および前記複数の指標にそれぞれ対応する前記複数の重みうち、前記囲まれた環境の場面に対応する重みに従って、前記投影コンテンツ評価値を算出するステップが、
    前記投影コンテンツ評価値を算出するために、前記複数の脳波図エネルギー値のそれぞれに、前記複数の指標にそれぞれ対応する前記複数の重みのうち、前記囲まれた環境の場面に対応する重みを乗算し、前記複数の脳波図エネルギー値の前記乗算結果を累積するステップ
    を含む、請求項1に記載の方法。
  4. 前記周波数帯域が、4~7Hzの周波数範囲を有するシータ周波数帯域、8~13Hzの周波数範囲を有するアルファ周波数帯域、14~28Hzの周波数範囲を有するベータ周波数帯域、および29~50Hzの周波数範囲を有するガンマ周波数帯域
    のうちの少なくとも1つを含む、請求項に記載の方法。
  5. 前記脳波図エネルギー値と前記投影コンテンツを評価するための前記指標との間の前記相関が、
    前記感情価指標に対応する、左前頭前野の前記アルファ周波数帯域の前記脳波図エネルギー値と右前頭前野の前記アルファ周波数帯域の前記脳波図エネルギー値との間の非対称性、
    前記感情喚起指標に対応する、後頭部の前記アルファ周波数帯域の前記脳波図エネルギー値、
    前記集中指標に共に対応する、前記左前頭前野の前記シータ周波数帯域の前記脳波図エネルギー値および前記右前頭前野の前記シータ周波数帯域の前記脳波図エネルギー値、
    前記疲労指標に対応する、頭頂後頭部の前記アルファ周波数帯域の平均脳波図エネルギー値であって、前記頭頂後頭部で収集されたすべての前記脳波図データの前記アルファ周波数帯域の前記脳波図エネルギー値の平均値である、平均脳波図エネルギー値、
    前記乗り物酔い指標に対応する、前記後頭部の前記ガンマ周波数帯域の前記脳波図エネルギー値、ならびに
    前記選好指標に対応する、右側頭部の前記シータ周波数帯域の前記脳波図エネルギー値
    のうちの少なくとも1つを含む、請求項に記載の方法。
  6. 前記方法が、前記投影コンテンツが複数の異なる投影コンテンツを含む場合、前記複数の異なる投影コンテンツのそれぞれの前記投影コンテンツ評価値に従って、前記複数の異なる投影コンテンツの中で最適な投影コンテンツを決定するステップをさらに含む、請求項1に記載の方法。
  7. 前記複数の異なる投影コンテンツの間の差異が、前記投影コンテンツの項目、すなわち色相、明るさ、コントラスト、振幅、遷移速度、および前述の前記項目の数を表す複雑さ、のうちの1つを少なくとも含む、請求項に記載の方法。
  8. 囲まれた環境内の投影コンテンツを評価するための装置であって、
    ユーザの脳の複数の所定部位で、前記ユーザが前記投影コンテンツを見ている間に収集される脳波図データを取得する、脳波図(EEG)データ取得モジュールと、
    前記所定部位のそれぞれで前記脳波図データの複数の周波数帯域の脳波図エネルギー値を得るために、前記所定部位のそれぞれで前記取得された脳波図データの特徴を抽出する、特徴抽出モジュールと、
    前記抽出された脳波図エネルギー値から、前記脳波図エネルギー値と指標との間の相関に従って、前記投影コンテンツを評価するための前記複数の指標にそれぞれ対応する複数の脳波図エネルギー値を決定する、脳波図エネルギー値決定モジュールと、
    前記複数の脳波図エネルギー値のそれぞれ、および前記複数の指標にそれぞれ対応する複数の重みのうち、前記囲まれた環境の場面に対応する重みに従って、投影コンテンツ評価値を算出する、投影コンテンツ評価値算出モジュールと、
    前記投影コンテンツ評価値を使用して前記投影コンテンツを評価する、投影コンテンツ評価モジュールと
    備え、
    前記指標が、感情価指標、感情喚起指標、集中指標、疲労指標、乗り物酔い指標、および選好指標
    のうちの少なくとも1つを含む、装置。
  9. 前記脳波図データの眼球運動ノイズ除去を含む前処理を実施する、前処理モジュール
    をさらに備える、請求項に記載の装置。
  10. 前記投影コンテンツ評価値算出モジュールが、
    前記投影コンテンツ評価値を算出するために、前記複数の脳波図エネルギー値のそれぞれに、前記複数の指標にそれぞれ対応する前記複数の重みのうち、前記囲まれた環境の場面に対応する重みを乗算し、前記複数の脳波図エネルギー値の前記乗算結果を累積する
    ようにさらに構成されている、請求項に記載の装置。
  11. プロセッサによって実行されるときに、請求項1からのいずれか一項に記載の方法を実施するためのプログラム命令を含むコンピュータープログラムを記憶している機械読み取り可能な記憶媒体。
  12. 非一時的なコンピューター読み取り可能な記憶媒体に記憶されたコンピュータープログラムであって、前記コンピュータープログラムが、コンピューターによって実行されると、請求項1からのいずれか一項に記載の方法を前記コンピューターに実施させるためのプログラム命令を含む、コンピュータープログラムを含むコンピュータープログラム製品。
JP2021567873A 2019-06-04 2019-06-04 囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに記憶媒体 Active JP7307198B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/090011 WO2020243910A1 (zh) 2019-06-04 2019-06-04 用于评价封闭环境中的投影内容的方法、设备与存储介质

Publications (2)

Publication Number Publication Date
JP2022542532A JP2022542532A (ja) 2022-10-05
JP7307198B2 true JP7307198B2 (ja) 2023-07-11

Family

ID=73652708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021567873A Active JP7307198B2 (ja) 2019-06-04 2019-06-04 囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに記憶媒体

Country Status (7)

Country Link
US (1) US20220273226A1 (ja)
EP (1) EP3981327A4 (ja)
JP (1) JP7307198B2 (ja)
CN (1) CN113966195A (ja)
BR (1) BR112021023808A2 (ja)
CA (1) CA3142060A1 (ja)
WO (1) WO2020243910A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115024684A (zh) * 2022-05-23 2022-09-09 天津大学 刺激范式生成系统、脑-机接口系统、检测方法及装置
CN117615210A (zh) * 2023-11-21 2024-02-27 南湖脑机交叉研究院 一种用户体验质量确定方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361356A (zh) 2014-12-08 2015-02-18 清华大学 一种基于人机交互的电影受众体验评价方法
JP2015054240A (ja) 2013-09-13 2015-03-23 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation コンテンツ評価システム及びそれを用いたコンテンツ評価方法
CN106175799A (zh) 2015-04-30 2016-12-07 深圳市前海览岳科技有限公司 基于脑电波评估人体情绪和疲劳状态的方法及系统
CN109002531A (zh) 2018-07-17 2018-12-14 泉州装备制造研究所 一种基于脑电数据分析的影视推荐系统及影视推荐方法
WO2019068025A1 (en) 2017-09-29 2019-04-04 Chappell Arvel A DIGITAL REPRESENTATION OF USER IMPLICATION WITH CONTENT DIRECTED BASED ON BIOMETRIC SENSOR DATA
JP2019082952A (ja) 2017-10-31 2019-05-30 株式会社ジャパンディスプレイ レコメンドシステム、情報処理装置及びaiサーバ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0821318D0 (en) * 2008-11-24 2008-12-31 Avidan Dan Alarm system and method
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
KR101738096B1 (ko) * 2014-09-19 2017-05-22 상명대학교산학협력단 뇌파를 이용한 사회적 실재감(Social engagement) 평가 방법 및 이를 적용하는 시스템
EP3565464A4 (en) * 2017-01-04 2020-10-14 Storyup, Inc. SYSTEM AND METHOD FOR MODIFYING BIOMETRIC ACTIVITY USING VIRTUAL REALITY THERAPY
KR20190059376A (ko) * 2017-11-23 2019-05-31 주식회사 아이메디신 뇌파를 통한 뇌 인지기능 평가 플랫폼 및 방법
CN108512995B (zh) * 2018-03-01 2020-08-18 Oppo广东移动通信有限公司 电子装置、脑电波控制方法及相关产品
CN108594989B (zh) * 2018-03-26 2022-03-22 Oppo广东移动通信有限公司 脑电波采集方法及相关设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015054240A (ja) 2013-09-13 2015-03-23 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation コンテンツ評価システム及びそれを用いたコンテンツ評価方法
CN104361356A (zh) 2014-12-08 2015-02-18 清华大学 一种基于人机交互的电影受众体验评价方法
CN106175799A (zh) 2015-04-30 2016-12-07 深圳市前海览岳科技有限公司 基于脑电波评估人体情绪和疲劳状态的方法及系统
WO2019068025A1 (en) 2017-09-29 2019-04-04 Chappell Arvel A DIGITAL REPRESENTATION OF USER IMPLICATION WITH CONTENT DIRECTED BASED ON BIOMETRIC SENSOR DATA
JP2019082952A (ja) 2017-10-31 2019-05-30 株式会社ジャパンディスプレイ レコメンドシステム、情報処理装置及びaiサーバ
CN109002531A (zh) 2018-07-17 2018-12-14 泉州装备制造研究所 一种基于脑电数据分析的影视推荐系统及影视推荐方法

Also Published As

Publication number Publication date
WO2020243910A1 (zh) 2020-12-10
CN113966195A (zh) 2022-01-21
BR112021023808A2 (pt) 2022-01-04
JP2022542532A (ja) 2022-10-05
EP3981327A1 (en) 2022-04-13
EP3981327A4 (en) 2023-01-04
CA3142060A1 (en) 2020-12-10
US20220273226A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
Zhao et al. Frontal EEG asymmetry and middle line power difference in discrete emotions
Kim et al. Characteristic changes in the physiological components of cybersickness
Daly et al. Neural correlates of emotional responses to music: an EEG study
Liu et al. EEG databases for emotion recognition
Brouwer et al. Estimating workload using EEG spectral power and ERPs in the n-back task
US9131889B2 (en) Cognitive impairment determination apparatus, cognitive impairment determination system and program
Moore et al. EEG mu component responses to viewing emotional faces
Klados et al. A framework combining delta event‐related oscillations (EROs) and synchronisation effects (ERD/ERS) to study emotional processing
Ren et al. Off-line and on-line stress detection through processing of the pupil diameter signal
Buard et al. Altered oscillation patterns and connectivity during picture naming in autism
Christian et al. When imagining yourself in pain, visual perspective matters: The neural and behavioral correlates of simulated sensory experiences
JP7307198B2 (ja) 囲まれた環境内の投影コンテンツを評価するための方法および装置、ならびに記憶媒体
Buchner et al. Fast visual evoked potential input into human area V5
Schneider et al. Modulation of neuronal oscillatory activity in the beta-and gamma-band is associated with current individual anxiety levels
Aricò et al. How neurophysiological measures can be used to enhance the evaluation of remote tower solutions
Pane et al. Identifying severity level of cybersickness from eeg signals using cn2 rule induction algorithm
Mizokami et al. Difference in brain activations during appreciating paintings and photographic analogs
Sivakami et al. Analysis of EEG for motor imagery based classification of hand activities
Du et al. Alpha activity during emotional experience revealed by ERSP
Rho et al. A preliminary quantitative EEG study on Augmented Reality Guidance of Manual Tasks
Levy et al. Selective neural synchrony suppression as a forward gatekeeper to piecemeal conscious perception
Dai et al. Mental workload classification in n-back tasks based on single trial EEG
Du et al. Power spectral performance analysis of EEG during emotional auditory experiment
Yumatov et al. The experimental behavioral model and software to identify of mental activity of the brain
Friedman et al. A data-driven validation of frontal EEG asymmetry using a consumer device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230629

R150 Certificate of patent or registration of utility model

Ref document number: 7307198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150