JP7454163B2 - 対象の脳波の強度を推定するシステム、方法、およびプログラム - Google Patents

対象の脳波の強度を推定するシステム、方法、およびプログラム Download PDF

Info

Publication number
JP7454163B2
JP7454163B2 JP2022018779A JP2022018779A JP7454163B2 JP 7454163 B2 JP7454163 B2 JP 7454163B2 JP 2022018779 A JP2022018779 A JP 2022018779A JP 2022018779 A JP2022018779 A JP 2022018779A JP 7454163 B2 JP7454163 B2 JP 7454163B2
Authority
JP
Japan
Prior art keywords
intensity
subject
image
brain waves
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022018779A
Other languages
English (en)
Other versions
JP2023116149A (ja
Inventor
イ シン リン
エイサー ユー チャン チャン
幸人 蓬田
優 桑原
良太 金井
俊太朗 笹井
幸大郎 能村
宣翔 野辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Araya Corp
Original Assignee
Araya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Araya Corp filed Critical Araya Corp
Priority to JP2022018779A priority Critical patent/JP7454163B2/ja
Priority to PCT/JP2023/004115 priority patent/WO2023153418A1/ja
Publication of JP2023116149A publication Critical patent/JP2023116149A/ja
Application granted granted Critical
Publication of JP7454163B2 publication Critical patent/JP7454163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、対象の脳波の強度を推定するシステム、方法、およびプログラムに関する。
人体から脳波を計測するための計測装置が知られている(例えば、特許文献1)
特表2019-515777号公報
本発明の発明者は、脳波データを簡易に取得することを可能にするために、鋭意研究の結果、対象の脳波の強度を推定する新規のシステム等を開発した。
本発明は、例えば、以下の項目を提供する。
(項目1)
対象の脳波の強度を推定するシステムであって、
対象の画像を受信する受信手段と、
前記画像から特徴量を抽出する抽出手段と、
少なくとも前記特徴量に基づいて、前記対象の脳波の少なくとも1つの成分の強度を推定する第1の推定手段であって、前記第1の推定手段は、特徴量を入力されると、対応する脳波の少なくとも1つの成分の強度を出力するように訓練されている少なくとも1つの学習済モデルを備える、第1の推定手段と
を備えるシステム。
(項目2)
前記第1の推定手段は、脳波の所定の成分の強度を推定し、前記所定の成分は、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分のうちの少なくとも1つを含む、項目1に記載のシステム。
(項目3)
前記所定の成分は、脳波の複数の成分を含む、項目2に記載のシステム。
(項目4)
前記画像は、動画であり、前記第1の推定手段は、前記動画の各フレームに対して前記対象の脳波の少なくとも1つの成分の強度を推定することにより、前記脳波の少なくとも1つの成分の強度の時系列変動を推定する、項目1~3のいずれか一項に記載のシステム。
(項目5)
前記第1の推定手段によって推定された脳波の強度に基づいて、前記対象の状態を推定する第2の推定手段をさらに備える、項目1~4のいずれか一項に記載のシステム。
(項目6)
前記受信手段は、前記対象の生体情報をさらに受信するように構成され、
前記推定手段は、前記特徴量と前記生体情報とから前記対象の脳波の少なくとも1つの成分の強度を推定するように構成され、前記少なくとも1つの学習済モデルは、特徴量と生体情報とを入力されると、対応する脳波の少なくとも1つの成分の強度を出力するように訓練されている、項目1~5のいずれか一項に記載のシステム。
(項目7)
対象の脳波の強度を推定する方法であって、
対象の画像を受信することと、
前記画像から特徴量を抽出することと、
少なくとも1つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の強度を推定することと
を含み、前記少なくとも1つの学習済モデルは、特徴量を入力されると、対応する脳波の強度を出力するように訓練されている、方法。
(項目7A)
上記項目に記載の特徴のうちの1つまたは複数を備える、項目7に記載の方法。
(項目8)
対象の脳波の強度を推定するプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータにおいて実行され、前記プログラムは、
対象の画像を受信することと、
前記画像から特徴量を抽出することと、
少なくとも1つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の強度を推定することと
を含む処理を前記プロセッサ部に行わせ、前記少なくとも1つの学習済モデルは、特徴量を入力されると、対応する脳波の強度を出力するように訓練されている、プログラム。
(項目8A)
上記項目に記載の特徴のうちの1つまたは複数を備える、項目8に記載のプログラム。
本発明によれば、対象の脳波の強度を推定するシステム等を提供することができる。このシステム等により、脳波データを簡易に取得することが可能である。また、脳波データを用いて、対象の状態を推定することも可能である。
本発明のAIを用いて、対象の脳波の強度を推定するフローの一例を概略的に示す図 対象の脳波の強度を推定するシステム100の構成の一例を示す図 プロセッサ部120の構成の一例を示す図 プロセッサ部120の代替実施形態であるプロセッサ部120Aの構成の一例を示す図 少なくとも1つの学習済モデルを構築し得るニューラルネットワークモデル400の構造の一例を示す図 本発明の対象の脳波の強度を推定するシステム100における処理500の一例を示すフローチャート 実施例による予測の結果を示す図
(定義)
本明細書において、「対象」とは、脳波の強度を推定する対象となる任意の人物または動物のことをいう。本明細書において、「被験体」は、脳波の強度を推定するために利用される少なくとも1つの学習済モデルを構築するための学習処理において利用される教師データを取得する対象となる任意の人物または動物を指す。
本明細書において、「画像」とは、静止画および動画の両方を含む。動画は、連続する複数の静止画である。
以下、図面を参照しながら、本発明の実施の形態を説明する。
(1.脳波の強度を推定可能な新たなAI)
本発明の発明者は、対象の画像から対象の脳波の強度を推定することができる人工知能(AI)を開発した。このAIに対象の画像(例えば、顔の画像)を投入すると、このAIは、その画像に対応する脳波の強度を示すデータを出力することができる。例えば、このAIに動画を投入すると、このAIは、脳波の強度の時系列変動を示すデータを出力することができる。ここで、AIとは、“Artificial Intelligence”の略語であり、人間の知能(もしくは、人間の知能を凌駕する知能)を人工的にコンピュータシステム上に実装するための技術、または、そのような技術が実装されたコンピュータシステムをいう。
図1は、本発明のAIを用いて、対象の脳波の強度を推定するフローの一例を概略的に示す。
ステップS1において、対象10の画像が取得される。対象10の画像は、例えば、カメラ20によって取得される。カメラ20は、静止画を取得可能なスチルカメラであってもよいし、動画を取得可能なビデオカメラであってもよい。カメラ20は、例えば、赤外線カメラであってもよい。ステップS1では、対象10の動画が取得されることが好ましい。動画の場合は時系列的に静止画が取得されることから、対象の脳波の強度の時系列変動を容易に推定することが可能となるためである。
対象10の画像は、好ましくは、対象10の顔の画像であり得る。対象10の画像は、顔の画像に加えて、および/または、顔の画像に代えて、他の部位の画像であってもよい。他の部位の画像は、例えば、対象の姿勢を捉えた対象の全身または一部の画像であってもよい。
ステップS2において、ステップS1で取得された画像がAI30に投入される。AI30は、画像から抽出される特徴量と、脳波の強度との関係を学習している。これにより、AI30は、投入された画像から抽出される特徴量から脳波の強度を出力することができるのである。
AI30は、例えば、画像から抽出される特徴量と、脳波中のデルタ波成分(約1Hz~約4Hzの成分)の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から脳波のデルタ波成分の強度を出力することができる。AI30は、例えば、画像から抽出される特徴量と、脳波中のシータ波成分(約4Hz~約8Hzの成分)の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から脳波のシータ波成分の強度を出力することができる。AI30は、例えば、画像から抽出される特徴量と、脳波中のアルファ波成分(約8Hz~約13Hzの成分)の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から脳波のアルファ波成分の強度を出力することができる。AI30は、例えば、画像から抽出される特徴量と、脳波中のベータ波成分(約13Hz以上の成分)の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から脳波のベータ波成分の強度を出力することができる。
AI30は、例えば、画像から抽出される特徴量と、脳波中の複数の成分の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から複数の成分の強度を出力することができる。例えば、AI30は、画像から抽出される特徴量と脳波中のデルタ波成分の強度との関係、および、画像から抽出される特徴量と脳波中のアルファ波成分の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から脳波のデルタ波成分の強度と脳波のアルファ波成分の強度とを出力することができる。例えば、AI30は、画像から抽出される特徴量と脳波中のデルタ波成分の強度との関係、画像から抽出される特徴量と脳波中のアルファ波成分の強度との関係、および、画像から抽出される特徴量と脳波中のベータ波成分の強度との関係を学習することができ、このAI30は、投入された画像から抽出される特徴量から脳波のデルタ波成分の強度と脳波のアルファ波成分の強度と脳波のベータ波成分の強度とを出力することができる。
ステップS3において、AI30は、対象10の脳波の強度を示すデータ40を出力する。図1に示される例では、脳波の強度を示すデータ40は、グラフ形式で出力されているが、脳波の強度を示すデータの形式はこれに限定されず、任意の形式であり得る。
このようにして、AI30を用いて、対象10の脳波の強度を推定することができる。
出力された脳波の強度を示すデータは、任意の用途に使用されることができる。好ましい実施形態では、脳波の強度を示すデータは、対象10の状態を推定するために使用されることができる。このとき、脳波の強度を示すデータは、脳波の強度の時系列変動を示すデータであることが好ましい。
例えば、AI30からデルタ波成分の強度が出力された場合、デルタ波成分は眠気を表す指標であることから、出力された脳波の強度を示すデータを用いて、対象10の眠気の程度(すなわち、対象10が眠い状態にあるかどうか)を推定することができる。
例えば、AI30からアルファ波成分の強度が出力された場合、アルファ波成分はリラックス度を表す指標であることから、出力された脳波の強度を示すデータを用いて、対象10のリラックスの程度(すなわち、対象10がリラックスした状態にあるかどうか)を推定することができる。
例えば、AI30からベータ波成分の強度が出力された場合、ベータ波成分は集中度を表す指標であることから、出力された脳波の強度を示すデータを用いて、対象10の集中の程度(すなわち、対象10が集中している状態にあるかどうか)を推定することができる。
例えば、AI30から脳波の複数の成分の強度が出力された場合、複数の成分を総合して、対象の状態を推定することができる。
例えば、AI30からデルタ波成分、アルファ波成分、ベータ波の強度が出力された場合、出力された脳波の各成分の強度を示すデータを用いて、対象10のパフォーマンスの良し悪し(すなわち、対象10が良好なパフォーマンスを発揮できる状態にあるかどうか)を推定することができる。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物(例えば、自動車、二輪車、電車、航空機等)を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること等を含む。
一実施形態において、脳波の強度を示すデータは、対象10の感情を分析するために使用されることができる。別の一実施形態において、脳波の強度を示すデータは、外部機器を操作するために使用されることができる。別の一実施形態において、脳波の強度を示すデータは、任意の事物に対する対象の選好を示すために使用されることができる。例えば、脳波の強度が所定の閾値を超えるまたは脳波の強度の時系列変動が所定のパターンを呈する場合に、対象がその事物を好んでいるまたは嫌っていることを示すことができる。
上述したAI30は、例えば、後述する、対象の脳波の強度を推定するシステム100によって実装され得る。
(2.対象の脳波の強度を推定するシステムの構成)
図2は、対象の脳波の強度を推定するシステム100の構成の一例を示す。
システム100は、インターフェース部110と、プロセッサ部120と、メモリ部130とを備える。システム100は、データベース部200に接続されている。
インターフェース部110は、システム100の外部と情報のやり取りを行う。システム100のプロセッサ部120は、インターフェース部110を介して、システム100の外部から情報を受信することが可能であり、システム100の外部に情報を送信することが可能である。インターフェース部110は、任意の形式で情報のやり取りを行うことができる。例えば、ユーザ装置(例えば、スマートフォン、タブレット、スマートウォッチ、スマートグラス、ラップトップコンピュータ、デスクトップコンピュータ等)、または撮像手段(例えば、カメラ等)は、インターフェース部110を介して、システム100と通信することができる。
インターフェース部110は、例えば、システム100に情報を入力することを可能にする入力部を備える。入力部が、どのような態様でシステム100に情報を入力することを可能にするかは問わない。例えば、入力部は、ユーザが情報を直接入力することを可能にし得る装置(例えば、キーボード、マウス、タッチパネル、マイク等)を備え得る。例えば、入力部がデータ読み取り装置である場合には、システム100に接続された記憶媒体から情報を読み取ることによって情報を入力するようにしてもよい。あるいは、入力部が受信器である場合、受信器がネットワークを介してシステム100の外部から情報を受信することにより入力してもよい。この場合、ネットワークの種類は問わない。例えば、受信器は、インターネットを介して情報を受信してもよいし、LANを介して情報を受信してもよい。インターフェース部110に入力された情報は、プロセッサ部120に渡され、プロセッサ部120は、これを受信する。
インターフェース部110は、例えば、画像をシステム100の外部から受信することができる。インターフェース部110は、例えば、システム100と通信し得るユーザ装置または撮像手段から画像を受信することができる。インターフェース部110は、例えば、データベース部200から画像を受信することができる。
インターフェース部110は、例えば、対象の生体情報をシステム100の外部から受信することができる。インターフェース部110は、例えば、システム100と通信し得るユーザ装置または生体情報を測定する測定手段から生体情報を受信することができる。インターフェース部110は、例えば、データベース部200から生体情報を受信することができる。
対象の生体情報は、任意の測定手段によって測定されることができる。対象の生体情報は、例えば、体温、心拍数、皮膚電気活動、血中酸素飽和度、眼球運動、瞳孔径、筋電位を含むが、これらに限定されない。生体情報は、例えば、対象に装着可能なウェアラブルデバイスによって測定され得る。生体情報は、通信機能を有するウェアラブルデバイスによって測定されることが好ましい。システム100がウェアラブルデバイスから直接生体信号を受信することができ、例えば、遅延を最小限にすることができるからである。生体情報は、例えば、体温計、活動量計(アクティビティトラッカー)、パルスオキシメーター、アイトラッカー、筋電計のうちの少なくとも1つの計測機器によって計測され得る。これらの計測機器のうちのいくつかは、単一の計測機器に組み込まれてもよい。
インターフェース部110は、例えば、システム100から情報を出力することを可能にする出力部を備える。出力部が、どのような態様でシステム100から情報を出力することを可能にするかは問わない。例えば、出力部がデータ書き込み装置である場合、システム100に接続された記憶媒体に情報を書き込むことによって情報を出力するようにしてもよい。あるいは、出力部が送信器である場合、送信器がネットワークを介してシステム100の外部に情報を送信することにより出力してもよい。この場合、ネットワークの種類は問わない。例えば、送信器は、インターネットを介して情報を送信してもよいし、LANを介して情報を送信してもよい。
インターフェース部110は、例えば、推定された脳波の強度を示すデータをシステム100の外部に出力することができる。インターフェース部110は、例えば、システム100と通信し得るユーザ装置に脳波の強度を示すデータを提供することができる。インターフェース部110は、例えば、データベース部200に脳波の強度を示すデータを提供することができる。
インターフェース部110は、例えば、脳波の強度(例えば、強度の値および/または強度の時系列的な変化の度合い)に基づいて推定された対象の状態を示すデータをシステム100の外部に出力することができる。インターフェース部110は、例えば、システム100と通信し得るユーザ装置に対象の状態を示すデータを提供することができる。インターフェース部110は、例えば、データベース部200に対象の状態を示すデータを提供することができる。
対象の状態は、対象の生理的な状態および/または対象の心理的な状態を含む。対象の生理的な状態は、例えば、所定の疾患に罹患している状態、疲労している状態等を含む。対象の心理的な状態は、例えば、覚醒状態、睡眠状態、集中している状態、リラックスしている状態、イライラしている状態、疲労を感じている状態、良好なパフォーマンスを発揮している状態、任意の事物を好ましいと感じている状態、任意の事物を好ましくないと感じている状態、特定の感情(例えば、喜び、怒り、悲しみ、楽しみ)を感じている状態等を含む。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物(例えば、自動車、二輪車、電車、航空機等)を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること、頭脳労働をすること等を含む。
プロセッサ部120は、システム100の処理を実行し、かつ、システム100全体の動作を制御する。プロセッサ部120は、メモリ部130に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、システム100を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部120は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。
メモリ部130は、システム100の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部130は、対象の脳波の強度を推定するための処理をプロセッサ部に行わせるためのプログラム(例えば、後述する図5に示される処理を実現するプログラム)を格納してもよい。ここで、プログラムをどのようにしてメモリ部130に格納するかは問わない。例えば、プログラムは、メモリ部130にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部130にインストールされるようにしてもよい。あるいは、プログラムは、非一過性のコンピュータ読み取り可能な記憶媒体に格納されていてもよい。メモリ部130は、任意の記憶手段によって実装され得る。
データベース部200には、予め被験体から取得された画像および脳波データが記憶されることができる。また、データベース部200には、少なくとも1つの学習済モデルを実装するためのデータが格納され得る。
図2に示される例では、データベース部200は、システム100の外部に設けられているが、本発明はこれに限定されない。データベース部200をシステム100の内部に設けることも可能である。このとき、データベース部200は、メモリ部130を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部130を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部200は、システム100のための格納部として構成される。データベース部200の構成は、特定のハードウェア構成に限定されない。例えば、データベース部200は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部200は、システム100の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。
図3Aは、プロセッサ部120の構成の一例を示す。
プロセッサ部120は、受信手段121と、抽出手段122と、推定手段123とを備える。
受信手段121は、対象の画像を受信するように構成されている。対象の画像は、好ましくは、対象の顔の画像であり得る。対象の画像は、顔の画像に加えて、および/または、顔の画像に代えて、他の部位の画像であってもよい。他の部位の画像は、例えば、対象の姿勢を捉えた対象の全身または一部の画像であってもよい。受信された対象の画像は、抽出手段122に渡される。
受信手段121は、対象の画像に加えて、対象の生体情報も受信するように構成されることができる。対象の生体情報は、対象の画像が取得されたときに対象から測定された生体情報であり得る。対象の生体情報は、例えば、体温、心拍数、皮膚電気活動、血中酸素飽和度、眼球運動、瞳孔径、筋電位を含むが、これらに限定されない。好ましくは、対象の生体情報は、眼球運動、瞳孔径のうちの少なくとも1つであり得る。眼球運動および瞳孔径は、脳波の強度を推定する精度を顕著に向上させることができる点で好ましい。受信された生体情報は、推定手段123に渡される。
抽出手段122は、受信手段121によって受信された画像から特徴量を抽出するように構成されている。抽出手段122は、当該技術分野において公知の技術を用いて、画像から特徴量を抽出することができる。
一実施形態において、抽出手段122は、画像中の対象のランドマークに対応する座標を特徴量として抽出することができる。座標は、画像が2次元画像である場合には、(x,y)の2次元座標であり得、画像が奥行き情報を含む3次元画像である場合には、(x,y,z)の3次元座標であり得る。対象のランドマークは、例えば、眉毛、眼、唇等を含む。抽出手段122は、例えば、OpenCVライブラリ中のshape_predictor関数を用いて、対象のランドマークに対応する座標を抽出することができる。
一例において、抽出手段122は、左眼に対応する6座標、右眼に対応する6座標、唇外形に対応する20座標、唇内形に対応する8座標を特徴量として抽出し得る。
画像が動画である場合、動画の各フレームに対して抽出手段122によって特徴量として抽出された座標は、カメラ等の撮像手段の傾き、撮像手段と対象との間の距離、または、対象の動き等に起因する影響を受けている可能性がある。そのため、動画の各フレームに対して抽出された座標は、これらの影響を低減または排除するように補正されることが好ましい。
例えば、右眼の左端の座標および右端の座標から推定される右眼の中心と、左眼の左端の座標および右端の座標から推定される左眼の中心とから、対象に対する撮像手段の傾き(すなわち、画像中の水平方向に対する両眼を結ぶ直線の傾き)、および、両眼間の距離が算出される。算出された傾きを相殺するように画像を回転させることで、カメラ等の撮像手段の傾きに起因する影響が低減または排除され得る。また、座標値を両眼間の距離で除算することで、撮像手段と対象との間の距離に起因する影響が低減または排除され得る。
例えば、動画の各フレームについて、全座標の平均値を算出し、その平均値が原点となるように、全座標を移動させることができる。これにより、動画の各フレームの座標がセンタリングされる。
例えば、動画の複数のフレーム間で、対応する座標が低周波でドリフトするとき、その低周波のドリフトを除去することにより、対象の動きに起因する影響が低減または排除され得る。低周波のドリフトは、例えば、約10Hz以下の変動のことをいう。
抽出手段122は、さらに、アイアスペクト比(EAR)を特徴量として抽出することができる。EARは、開かれた眼の垂直距離と水平距離との比として定義される。EARは、例えば、各眼について、対応する6座標から算出されることができる。
抽出手段122によって抽出された特徴量は、推定手段123に渡される。
推定手段123は、抽出手段122によって抽出された特徴量に基づいて、対象の脳波の少なくとも1つの成分の強度を推定するように構成されている。推定手段123は、少なくとも1つの学習済モデルを備えており、その少なくとも1つの学習済モデルによって、脳波の少なくとも1つの成分の強度を推定することができる。
少なくとも1つの学習済モデルは、特徴量と、脳波の少なくとも1つの成分の強度との関係を学習している。言い換えると、少なくとも1つの学習済モデルは、特徴量を入力されると、対応する脳波の少なくとも1つの成分の強度を出力するように訓練されている。これにより、例えば、抽出手段122によって抽出された特徴量が少なくとも1つの学習済モデルに入力されると、対応する脳波の少なくとも1つの成分の強度が出力されることができる。
少なくとも1つの学習済モデルは、特徴量と、脳波の所定の成分の強度との関係を学習するようにしてもよい。これにより、例えば、抽出手段122によって抽出された特徴量が少なくとも1つの学習済モデルに入力されると、対応する脳波の所定の成分の強度が出力されることができる。所定の成分は、例えば、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも1つであり得る。所定の成分は、複数の成分であってもよい。
一実施形態において、推定手段123は、抽出手段122によって抽出された特徴量と、受信手段121によって受信された生体情報に基づいて、対象の脳波の少なくとも1つの成分の強度を推定するように構成されてもよい。この構成において、推定手段123が備える少なくとも1つの学習済モデルは、特徴量と、生体情報と、脳波の少なくとも1つの成分の強度との関係を学習している。言い換えると、少なくとも1つの学習済モデルは、特徴量および生体情報を入力されると、対応する脳波の少なくとも1つの成分の強度を出力するように訓練されている。これにより、例えば、抽出手段122によって抽出された特徴量および受信手段121によって受信された生体情報が少なくとも1つの学習済モデルに入力されると、対応する脳波の少なくとも1つの成分の強度が出力されることができる。
少なくとも1つの学習済モデルは、特徴量と、生体情報と、脳波の所定の成分の強度との関係を学習するようにしてもよい。これにより、例えば、抽出手段122によって抽出された特徴量および受信手段121によって受信された生体情報が少なくとも1つの学習済モデルに入力されると、対応する脳波の所定の成分の強度が出力されることができる。所定の成分は、例えば、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも1つであり得る。所定の成分は、複数の成分であってもよい。
推定手段123は、特徴量に加えて、生体情報も利用することで、推定される脳波の強度の精度を向上させることができる。特に、生体情報として、眼球運動、瞳孔径のうちの少なくとも1つを用いることで、推定される脳波の強度の精度を大きく向上させることができる。
推定手段123は、脳波の複数の成分の強度を推定するようにしてもよい。例えば、推定手段123は、複数の学習済モデルを備えており、複数の学習済モデルによって、脳波の複数の成分の強度を推定することができる。複数の学習済モデルのそれぞれが、それぞれ異なる成分の強度を推定することができるように訓練され得る。すなわち、複数の学習済モデルのうちの第1の学習済モデルが、複数の成分のうちの第1の成分の強度を推定するように訓練され得、複数の学習済モデルのうちの第2の学習済モデルが、複数の成分のうちの第2の成分の強度を推定するように訓練され得、・・・複数の学習済モデルのうちの第iの学習済モデルが、複数の成分のうちの第iの成分の強度を推定するように訓練され得る。
推定手段123が備える少なくとも1つの学習済モデルは、当該技術分野において公知の手法で構築された機械学習モデルを用いて構築されることができる。機械学習モデルは、例えば、ニューラルネットワークモデルであり得る。
図4は、少なくとも1つの学習済モデルを構築し得るニューラルネットワークモデル400の構造の一例を示す。
ニューラルネットワークモデル400は、入力層と、中間層と、出力層とを有する。ニューラルネットワークモデル400の入力層のノード数は、入力されるデータの次元数(例えば、抽出手段122によって抽出された特徴量の次元数、あるいは、抽出手段122によって抽出された特徴量の次元数と受信手段121によって受信された生体情報の次元数とを合わせた数)に対応する。ニューラルネットワークモデルの出力層のノード数は、出力されるデータの次元数に対応する。例えば、特定の成分の脳波の強度を示す値を出力する場合、出力層のノード数は、1であり得る。ニューラルネットワークの中間層は、任意のアーキテクチャを有し得る。好ましい実施形態では、中間層は、少なくとも1つのLSTM層によって構築され得る。少なくとも1つのLSTM層の各層は、任意の数のノードを有し得る。
ニューラルネットワークモデル400は、複数の被験体から取得された画像と、そのときの被験体から取得された脳波の強度とを用いて予め学習処理がなされ得る。学習処理は、複数の被験体から取得された画像から抽出された特徴量と、脳波の強度とを使用して、ニューラルネットワークモデルの中間層の各ノードの重み係数を計算する処理である。
脳波の強度は、例えば、脳波計を用いて測定され得る。一例において、脳波計は、g.Nautilus RESEARCH(https://www.gtec.at/product/gnautilus-research/)のg.SAHARAシステム「Nautilus Multi-Prpose 32」であり得る。
学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、被験体から取得された画像から抽出された特徴量を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波の強度を出力用教師データとして、複数の被験体のデータを使用してニューラルネットワークモデルの中間層の各ノードの重み係数を計算することにより、被験体の画像から抽出される特徴量と脳波の強度とを相関させることが可能な学習済モデルを構築することができる。
例えば、教師あり学習のための(入力用教師データ,出力用教師データ)の組は、(第1の時刻に取得された第1の被験体の画像から抽出された特徴量,第1の時刻の第1の被験体の脳波の強度)、(第2の時刻に取得された第1の被験体の画像から抽出された特徴量,第2の時刻の第1の被験体の脳波の強度)、・・・(第iの時刻に取得された第1の被験体の画像から抽出された特徴量,第iの時刻の第1の被験体の脳波の強度)、・・・等であり得る。このように、単一の被験体から教師データが取得され得る。あるいは、例えば、教師あり学習のための(入力用教師データ,出力用教師データ)の組は、(第1の被験体の画像から抽出された特徴量,画像が取得されたときの第1の被験体の脳波の強度)、(第2の被験体の画像から抽出された特徴量,画像が取得されたときの第2の被験体の脳波の強度)、・・・(第iの被験体の画像から抽出された特徴量,画像が取得されたときの第iの被験体の脳波の強度)、・・・等であり得る。このように、複数の被験体から教師データが取得され得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量を入力すると、その画像が取得されたときのその対象の脳波の強度が出力層に出力される。
例えば、ニューラルネットワークモデルにデルタ波成分の強度を出力させるように学習処理を行う場合、被験体から取得された画像から抽出された特徴量を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波のデルタ波成分の強度を出力用教師データとして、学習処理が行われ得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量を入力すると、その画像が取得されたときのその対象の脳波のデルタ波成分の強度が出力層に出力される。
受信手段121によって受信された生体情報を利用する実施形態において、ニューラルネットワークモデル400は、複数の被験体から取得された画像と、そのときの被験体から取得された生体情報と、そのときの被験体から取得された脳波の強度とを用いて予め学習処理がなされ得る。学習処理は、複数の被験体から取得された画像から抽出された特徴量と、生体情報と、脳波の強度とを使用して、ニューラルネットワークモデルの中間層の各ノードの重み係数を計算する処理である。
学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、被験体から取得された画像から抽出された特徴量および画像が取得されたときのその被験体から取得された生体情報を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波の強度を出力用教師データとして、複数の被験体のデータを使用してニューラルネットワークモデルの中間層の各ノードの重み係数を計算することにより、被験体の画像から抽出される特徴量と生体情報と脳波の強度とを相関させることが可能な学習済モデルを構築することができる。
例えば、教師あり学習のための(入力用教師データ,出力用教師データ)の組は、((第1の時刻に取得された第1の被験体の画像から抽出された特徴量、第1の時刻に取得された第1の被験体の生体情報),第1の時刻の第1の被験体の脳波の強度)、((第2の時刻に取得された第1の被験体の画像から抽出された特徴量、第2の時刻に取得された第1の被験体の生体情報),第2の時刻の第1の被験体の脳波の強度)、・・・((第iの時刻に取得された第1の被験体の画像から抽出された特徴量、第iの時刻に取得された第1の被験体の生体情報),第iの時刻の第1の被験体の脳波の強度)、・・・等であり得る。このように、単一の被験体から教師データが取得され得る。あるいは、例えば、教師あり学習のための(入力用教師データ,出力用教師データ)の組は、((第1の被験体の画像から抽出された特徴量、画像が取得されたときの第1の被験体の生体情報),画像が取得されたときの第1の被験体の脳波の強度)、((第2の被験体の画像から抽出された特徴量、画像が取得されたときの第2の被験体の生体情報),画像が取得されたときの第2の被験体の脳波の強度)、・・・((第iの被験体の画像から抽出された特徴量、画像が取得されたときの第iの被験体の生体情報),画像が取得されたときの第iの被験体の脳波の強度)、・・・等であり得る。このように、複数の被験体から教師データが取得され得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量および生体情報を入力すると、その画像が取得されたときのその対象の脳波の強度が出力層に出力される。
例えば、ニューラルネットワークモデルにデルタ波成分の強度を出力させるように学習処理を行う場合、被験体から取得された画像から抽出された特徴量および画像が取得されたときのその被験体から取得された生体情報を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波のデルタ波成分の強度を出力用教師データとして、学習処理が行われ得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量および生体情報を入力すると、その画像が取得されたときのその対象の脳波のデルタ波成分の強度が出力層に出力される。
画像が動画である好ましい実施形態では、推定手段123は、動画の各フレームから、それぞれの脳波の強度を推定することができ、それらを結合することにより、推定された脳波の強度の時系列変動を出力することができる。
推定手段123によって推定された脳波の強度は、システム100の外部へと出力され、任意の用途に利用されることができる。
好ましい実施形態では、脳波の強度を示すデータは、対象の状態を推定するために使用されることができる。この構成は、図3Bを参照して後述する。
一実施形態において、脳波の強度を示すデータは、対象の感情を分析するために使用されることができる。別の実施形態において、脳波の強度を示すデータは、外部機器を操作するために使用されることができる。
図3Bは、プロセッサ部120の代替実施形態であるプロセッサ部120Aの構成の一例を示す。プロセッサ部120Aは、第2の推定手段124をさらに備える点を除いて、プロセッサ部120と同様の構成を有する。ここでは、図3Aを参照して上述した構成と同一の構成には、同一の参照番号を付し、詳細な説明は省略する。
プロセッサ部120Aは、受信手段121と、抽出手段122と、第1の推定手段123と、第2の推定手段124とを備える。
受信手段121は、対象の画像を受信するように構成されている。受信された対象の画像は、抽出手段122に渡される。受信手段121は、対象の画像に加えて、対象の生体情報も受信するように構成されることができる。受信された生体情報は、第1の推定手段123に渡される。
抽出手段122は、受信手段121によって受信された画像から特徴量を抽出するように構成されている。抽出手段122によって抽出された特徴量は、第1の推定手段123に渡される。
第1の推定手段123は、抽出手段122によって抽出された特徴量から対象の脳波の少なくとも1つの成分の強度を推定するように構成されている。第1の推定手段123は、図3Aを参照して上述した推定手段123と同一の構成を有し得る。第1の推定手段123は、推定された脳波の少なくとも1つの成分の強度は、第2の推定手段124に渡される。
第2の推定手段124は、第1の推定手段123によって推定された脳波の少なくとも1つの成分の強度(例えば、強度の値および/または強度の時系列的な変化の度合い)に基づいて、対象の状態を推定するように構成されている。好ましくは、第2の推定手段124は、第1の推定手段123によって推定された脳波の複数の成分の強度(例えば、強度の値および/または強度の時系列的な変化の度合い)に基づいて、対象の状態を推定し得る。対象の状態は、対象の生理的な状態および/または対象の心理的な状態を含む。対象の生理的な状態は、例えば、所定の疾患に罹患している状態、疲労している状態等を含む。対象の心理的な状態は、例えば、覚醒状態、睡眠状態、集中している状態、リラックスしている状態、イライラしている状態、疲労を感じている状態、良好なパフォーマンスを発揮している状態、任意の事物を好ましいと感じている状態、任意の事物を好ましくないと感じている状態、特定の感情(例えば、喜び、怒り、悲しみ、楽しみ)を感じている状態等を含む。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物(例えば、自動車、二輪車、電車、航空機等)を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること、頭脳労働をすること等を含む。
一例において、良好なパフォーマンスを発揮している状態であるか否かの尺度で対象の状態を表すことができる。このような尺度は、覚醒度、集中度等の質的に異なり得る尺度を一元化する尺度であると考えられる。
第2の推定手段124は、例えば、脳波の特定の強度または特定の範囲の強度と、対象の特定の状態との関連付けに基づいて、脳波の強度から対象の状態を推定することができる。脳波の特定の強度または特定の範囲の強度と、対象の特定の状態との関連付けは、例えば、事前に決められたルールまたはルックアップテーブルに従うものであってもよいし、機械学習によって見出されるものであってもよい。
一実施形態において、第2の推定手段124は、少なくとも1つの学習済モデルを備えており、その少なくとも1つの学習済モデルによって、対象の状態を推定することができる。少なくとも1つの学習済モデルは、脳波の強度(例えば、所定の成分の強度または複数の成分の強度)と、対象の状態との関係を学習している。言い換えると、少なくとも1つの学習済モデルは、脳波の強度(例えば、所定の成分の強度または複数の成分の強度)を入力されると、対応する対象の状態を示す値を出力するように訓練されている。これにより、例えば、第1の推定手段123によって抽出された脳波の強度が少なくとも1つの学習済モデルに入力されると、対応する対象の状態を示す値が出力されることができる。
第2の推定手段124が備える少なくとも1つの学習済モデルは、当該技術分野において公知の手法で構築された機械学習モデルを用いて構築されることができる。機械学習モデルは、例えば、ニューラルネットワークモデルであり得る。
ニューラルネットワークモデルは、複数の被験体から取得された脳波の強度と、そのときの被験体の状態とを用いて予め学習処理がなされ得る。学習処理は、複数の被験体から取得された脳波の強度と、被験体の状態を示す値とを使用して、ニューラルネットワークモデルの中間層の各ノードの重み係数を計算する処理である。
学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、被験体から取得された脳波の強度を入力用教師データとし、脳波が取得されたときのその被験体の状態を示す値を出力用教師データとして、複数の被験体のデータを使用してニューラルネットワークモデルの中間層の各ノードの重み係数を計算することにより、被験体の脳波の強度と状態とを相関させることが可能な学習済モデルを構築することができる。
例えば、教師あり学習のための(入力用教師データ,出力用教師データ)の組は、(第1の時刻に取得された第1の被験体の脳波の強度,第1の時刻の第1の被験体の状態を示す値)、(第2の時刻に取得された第1の被験体の脳波の強度,第2の時刻の第1の被験体の状態を示す値)、・・・(第iの時刻に取得された第1の被験体の脳波の強度,第iの時刻の第1の被験体の状態を示す値)、・・・等であり得る。あるいは、例えば、教師あり学習のための(入力用教師データ,出力用教師データ)の組は、(第1の被験体の脳波の強度,脳波が取得されたときの第1の被験体の状態を示す値)、(第2の被験体の脳波の強度,脳波が取得されたときの第2の被験体の状態を示す値)、・・・(第iの被験体の脳波の強度,脳波が取得されたときの第iの被験体の状態を示す値)、・・・等であり得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から推定された脳波の強度を入力すると、その画像が取得されたときのその対象の状態を示す値が出力層に出力される。
第2の推定手段124によって推定された対象の状態は、システム100の外部へと出力され、任意の用途に利用されることができる。
例えば、推定された対象の状態は、推定された対象の状態を改善するように、対象にアイテムまたはアクションをリコメンドするために利用され得る。例えば、対象の状態が、眠気が強い状態であると推定された場合には、その旨を対象にフィードバックし、かつ/または、眠気覚ましのアイテム(ガム、コーヒー等)またはアクション(仮眠を取ること等)を対象にリコメンドすることができる。例えば、対象の状態が、イライラしている状態または怒りの感情を感じている状態であると推定された場合には、その旨を対象にフィードバックし、かつ/または、重大な決断を行わないよう対象にリコメンドすることができる。
なお、上述したシステム100の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。本発明のシステム100は、特定のハードウェア構成には限定されない。プロセッサ部120または120Aをデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。本発明のシステム100の構成は、その機能を実現できる限りにおいて上述したものに限定されない。
(3.対象の脳波の強度を推定するシステムにおける処理)
図5は、本発明の対象の脳波の強度を推定するシステム100における処理500の一例を示す。処理500は、プロセッサ部120が、メモリ部130に格納されたプログラムを実行することによって行われ得る。なお、処理500は、プロセッサ部120Aにおいても同様に行われることができる。
ステップS501では、プロセッサ部120の受信手段121が、対象の画像を受信する。受信手段121は、システム100の外部からインターフェース部110を介して取得された画像を受信することができる。対象の画像は、好ましくは、対象の顔の画像であり得る。対象の画像は、顔の画像に加えて、および/または、顔の画像に代えて、他の部位の画像であってもよい。画像は、好ましくは、動画であり得る。
受信手段121は、対象の画像に加えて、対象の生体情報も受信することができる。対象の生体情報は、対象の画像が取得されたときに対象から測定された生体情報であり得る。
ステップS502では、プロセッサ部120の抽出手段122が、ステップS501で受信された画像から特徴量を抽出する。抽出手段122は、当該技術分野において公知の技術を用いて、画像から特徴量を抽出することができる。
抽出手段122は、例えば、画像中の対象のランドマークに対応する座標を特徴量として抽出することができる。好ましくは、抽出手段122は、画像中の対象の顔の右眼、左眼、および唇に対応する座標を特徴量として抽出し得る。より好ましくは、抽出手段122は、画像中の対象の顔の右眼、左眼、および唇に対応する座標、ならびに、EARを特徴量として抽出し得る。
抽出手段122が抽出する特徴量は、推定手段123が備え得る少なくとも1つの学習済モデルの学習に用いられた特徴量に対応するようにすべきであることが留意される。
ステップS503では、プロセッサ部120の推定手段123が、ステップS502で抽出された特徴量に基づいて、対象の脳波の少なくとも1つの成分の強度を推定する。推定手段123は、少なくとも1つの学習済モデルを備えており、その少なくとも1つの学習済モデルによって、脳波の少なくとも1つの成分の強度を推定することができる。ステップS502で抽出された特徴量が少なくとも1つの学習済モデルに入力されると、対応する脳波の少なくとも1つの成分の強度が出力される。
推定手段123は、ステップS502で抽出された特徴量に加えて、ステップS501で受信された生体情報にも基づいて、対象の脳波の少なくとも1つの成分の強度を推定することができる。ステップS502で抽出された特徴量と、ステップS501で受信された生体情報とが少なくとも1つの学習済モデルに入力されると、対応する脳波の少なくとも1つの成分の強度が出力される。
ステップS503では、特徴量に加えて、生体情報も利用することで、推定される脳波の強度の精度を向上させることができる。特に、生体情報として、眼球運動、瞳孔径のうちの少なくとも1つを用いることで、推定される脳波の強度の精度を大きく向上させることができる。
推定手段123は、脳波の所定の成分の強度を推定することができる。所定の成分は、例えば、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも1つであり得る。所定の成分は、複数の成分であってもよい。推定手段123が複数の成分の強度を推定するとき、推定手段123は、複数の学習済モデルを用いて、複数の成分の強度を推定することができる。
処理500は、ステップS503で終了し得、処理500によって推定された脳波の少なくとも1つの成分の強度は、システム100の外部へと出力され、任意の用途に利用されることができる。
処理500がプロセッサ部120Aにおいて行われる場合、処理500は、追加のステップS504を含み得る。
ステップS504では、プロセッサ部120Aの第2の推定手段124が、ステップS503で推定された脳波の少なくとも1つの成分の強度(例えば、強度の値および/または強度の時系列的な変化の度合い)に基づいて、対象の状態を推定する。好ましくは、第2の推定手段124は、ステップS503で推定された脳波の複数の成分の強度(例えば、強度の値および/または強度の時系列的な変化の度合い)に基づいて、対象の状態を推定する。対象の状態は、対象の生理的な状態および/または対象の心理的な状態を含む。対象の生理的な状態は、例えば、所定の疾患に罹患している状態、疲労している状態等を含む。対象の心理的な状態は、例えば、覚醒状態、睡眠状態、集中している状態、リラックスしている状態、イライラしている状態、疲労を感じている状態、良好なパフォーマンスを発揮している状態、任意の事物を好ましいと感じている状態、任意の事物を好ましくないと感じている状態、特定の感情(例えば、喜び、怒り、悲しみ、楽しみ)を感じている状態等を含む。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物(例えば、自動車、二輪車、電車、航空機等)を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること、頭脳労働をすること等を含む。
第2の推定手段124は、少なくとも1つの学習済モデルを備えており、その少なくとも1つの学習済モデルによって、対象の状態を推定することができる。ステップS503で推定された脳波の少なくとも1つの成分の強度が少なくとも1つの学習済モデルに入力されると、対応する対象の状態を示す値が出力される。
処理500は、ステップS504で終了し得、処理500によって推定された対象の状態は、システム100の外部へと出力され、任意の用途に利用されることができる。
なお、上述した例では、特定の順序で各ステップが行われることを説明したが、各ステップが行われる順序は示されるものに限定されない。各ステップは、論理的に可能な任意の順序で行われることができる。
図5を参照して上述した例では、図5に示される各ステップの処理は、プロセッサ部120または120Aとメモリ部130に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図5に示される各ステップの処理のうちの少なくとも1つは、制御回路などのハードウェア構成によって実現されてもよい。
システム100は、サーバ装置として実装されてもよいし、端末装置として実装されてもよい。システム100は、任意の情報端末装置によって実装されることができる。
本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
対象に運転ゲームを行わせ、そのときに取得された画像および脳波の強度を利用して、学習済モデルを構築した。構築された学習済モデルを用いて、対象の画像から脳波の強度を推定することができるかを検証した。
(データ取得方法)
脳波データは、g.Nautilus RESEARCH(https://www.gtec.at/product/gnautilus-research/)のg.SAHARAシステム「Nautilus Multi-Prpose 32」を用いて取得した。脳波のサンプリング周波数は、250Hzであった。脳波記録時に、バンドパス(約0.1~約100Hz)フィルタおよびノッチ(約48~約52Hz)フィルタを使用した。
動画データは、対象の正面顔を撮影するために、Microsoft Lifecam Studioウェブカメラを使用して取得した。動画のサンプリングレートは、30fpsであった。
脳波データと動画データとの同時録画は、g.tec(https://www.gtec.at/)のソフトウェア「g.Recorder」で制御した。脳波データと動画データとの同時録画を行っているときに、対象は運転ゲームを行った。3つのセッション(セッション#1、#2、#3)では、対象の車の脇を他の車が通過する様子を映し出した。その後の3つのセッション(セッション#4、#5、#6)では、対象は、単調な走行路を単独で運転した。
取得された脳波データのうち、デルタバンド(0.1~4.1Hz)で取得された脳波をモデル予測の対象とした。
(動画データ解析方法)
動画データを、OpenCVライブラリ(http://opencv.org/)を用いて画像としてコンピュータに取り込んだ。それぞれの画像を独立して処理し、顔の位置と顔のランドマークを検出した。顔の位置は、dlibライブラリで事前に学習したモデルにより、「get_frontal_face_detector」関数を用いて検出した。顔のランドマークは、「shape_predictor」関数を用いて検出した。検出されたランドマークのうち、特徴量として、左眼に対応する6個の(x,y)座標、右眼に対応する6個の(x,y)座標、唇外形に対応する20個の(x,y)座標、唇内形に対応する8個の(x,y)座標の計40個の(x,y)座標を選択した。
両眼のそれぞれの左端および右端のx座標を用いて、眼の中心を推定した。両眼の中心に基づいて、両眼間の中心、両眼間の距離、頭部の回転角度を算出した。カメラと対象との間の距離の影響を、座標の値を両眼間の距離で除算することで補正した。頭部の回転角度を反転させることで、頭部傾斜の影響を補正した。
x座標およびy座標のそれぞれの平均値を算出し、それらの平均値を原点(0,0)として、すべてのランドマークの座標を移動させ、データのセンタリングを行った。
センタリングされたデータを全セッションにわたって連結した。連結されたデータに対して、30秒間のウインドウで移動平均を行い、低頻度のドリフトを観察した。各x座標、y座標のデータの線形回帰分析を行い、それぞれの低周波ドリフトを回帰した。各x座標、y座標のデータの残差について、Zスコアを算出した。
各眼の6個の(x,y)座標から、各眼のEARを算出した。各動画フレームから2つのEARが得られた。EARを全セッションで連結し、データを平均値と二乗の合計の平方根とで正規化した。
(脳波データ解析方法)
データ解析は、PythonのMNEライブラリ(https://mne.tools/stable/index.html)を用いて行った。6セッションのデータを連結し、バンドパスフィルタリング(約0.5~約25Hz)を行った。ノイズを除去し、周波数平滑化を行った。
(ディープラーニングモデル)
4つのLSTM層をカスケード接続したモデルを用いた。第1のLSTM層は、82入力を受け、64の隠れニューロンを含み、第2のLSTM層は、64入力を受け、32の隠れニューロンを含み、第3のLSTM層は、32入力を受け、16の隠れニューロンを含み、第4のLSTM層は、16入力を受け、8の隠れニューロンを含んでいた。各LSTM層には、双曲線正接(tanh)関数で形成される活性化関数が続いた。第4のLSTM層のtanh関数の出力は完全連結層に送られ、この層は、8つの入力を受け取り、デルタバンドパワーの予測値として1つの値に変換した。
動画データと脳波データとを時間的に整列させたうえで、教師用入力データとして、40個のランドマーク座標(x,y)から得られる80個の入力ベクトルと、左右の眼のEARの2個の入力ベクトルとを含む82個の特徴量を用いた。教師用出力データとして、対応する脳波データを用いた。
トレーニングセット:セッション#1、#2、#3、#5、#6のデータには、533個のセグメントが含まれており、これらのデータをモデルの学習に使用した。
テストセット:セッション#4のデータには、120個のセグメントが含まれており、これらのデータをモデルの性能をテストするために使用した。
予測誤差の評価基準として、各エポックにおける平均二乗誤差を算出した。オプティマイザとして、オプティマイザ・アダムを使用した。初期学習率を3.33×10-5とした。学習率は、500回の反復が終わるごとに、1/3ずつ減少させた。エポック数は、10,000とした。
トレーニングセットのデータを用いて、モデルの学習と検証とを行った。モデルのパラメータは、得られたエポックに起きて損失が新たな最小値に達する度に保存された。10,000エポックの反復が終了した後、テストセットのデータを投入し、モデルの予測性能を検証した。
(結果)
図6は、本実施例で構築されたモデルによる予測の結果を示す。
濃い実線が、予測された脳波のデルタ波成分の強度を表し、薄い実線が、実際に測定された脳波のデルタ波成分の強度を表している。横軸がセグメントを時系列に表しており、縦軸が正規化されたデルタ波成分の強度を表ししている。セッション#4がテストセットによる結果である。
図6の結果から分かるように、デルタ波成分の変動を推定できていることがわかる。特に、セッション#1~#3での低い強度から、セッション#4で増加している傾向を精度よく捉えることができている。
本発明は、対象の脳波の強度を推定するシステム、方法、およびプログラムを提供するものとして有用である。
10 対象
20 カメラ
30 AI
40 脳波の強度を示すデータ
100 システム
110 インターフェース部
120 プロセッサ部
130 メモリ部
200 データベース部

Claims (8)

  1. 対象の脳波の強度を推定するシステムであって、
    対象の画像を受信する受信手段であって、前記画像は、前記対象の少なくとも眼の画像である、受信手段と、
    前記画像から前記対象の少なくとも眼に関連する特徴量を抽出する抽出手段と、
    少なくとも前記特徴量に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定する第1の推定手段であって、前記第1の推定手段は、被験体の少なくとも眼に関連する特徴量を入力されると、前記入力された特徴量に対応するデルタ波成分の強度を出力するように訓練されている少なくとも1つの学習済モデルを備える、第1の推定手段と
    を備えるシステム。
  2. 前記特徴量は、前記画像中の前記対象のランドマークに対応する座標であり、前記第1の推定手段は、少なくとも前記座標に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定し、前記少なくとも1つの学習済モデルは、被験体のランドマークに対応する座標を入力されると、前記入力された座標に対応するデルタ波成分の強度を出力するように訓練されている、請求項1に記載のシステム。
  3. 前記第1の推定手段は、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも1つの強度をさらに推定する、請求項1に記載のシステム。
  4. 前記画像は、動画であり、前記第1の推定手段は、前記動画の各フレームに対して前記対象の脳波の少なくともデルタ波成分の強度を推定することにより、前記脳波の少なくともデルタ波成分の強度の時系列変動を推定する、請求項1~3のいずれか一項に記載のシステム。
  5. 前記第1の推定手段によって推定された脳波の少なくともデルタ波成分の強度に基づいて、前記対象の状態を推定する第2の推定手段をさらに備える、請求項1~4のいずれか一項に記載のシステム。
  6. 前記受信手段は、前記対象の生体情報をさらに受信するように構成され、
    前記第1の推定手段は、前記特徴量と前記生体情報とから前記対象の脳波の少なくともデルタ波成分の強度を推定するように構成され、前記少なくとも1つの学習済モデルは、被験体の少なくとも眼に関連する特徴量と前記被験体の生体情報とを入力されると、前記入力された特徴量および生体情報に対応するデルタ波成分の強度を出力するように訓練されている、請求項1~5のいずれか一項に記載のシステム。
  7. 対象の脳波の強度を推定する方法であって、
    対象の画像を受信することであって、前記画像は、前記対象の少なくとも眼の画像である、ことと、
    前記画像から前記対象の少なくとも眼に関連する特徴量を抽出することと、
    少なくとも1つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定することと
    を含み、前記少なくとも1つの学習済モデルは、被験体の少なくとも眼に関連する特徴量を入力されると、前記入力された特徴量に対応するデルタ波成分の強度を出力するように訓練されている、方法。
  8. 対象の脳波の強度を推定するプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータにおいて実行され、前記プログラムは、
    対象の画像を受信することであって、前記画像は、前記対象の少なくとも眼の画像である、ことと、
    前記画像から前記対象の少なくとも眼に関連する特徴量を抽出することと、
    少なくとも1つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定することと
    を含む処理を前記プロセッサ部に行わせ、前記少なくとも1つの学習済モデルは、被験体の少なくとも眼に関連する特徴量を入力されると、前記入力された特徴量に対応するデルタ波成分の強度を出力するように訓練されている、プログラム。
JP2022018779A 2022-02-09 2022-02-09 対象の脳波の強度を推定するシステム、方法、およびプログラム Active JP7454163B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022018779A JP7454163B2 (ja) 2022-02-09 2022-02-09 対象の脳波の強度を推定するシステム、方法、およびプログラム
PCT/JP2023/004115 WO2023153418A1 (ja) 2022-02-09 2023-02-08 対象の脳波の強度を推定するシステム、方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022018779A JP7454163B2 (ja) 2022-02-09 2022-02-09 対象の脳波の強度を推定するシステム、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2023116149A JP2023116149A (ja) 2023-08-22
JP7454163B2 true JP7454163B2 (ja) 2024-03-22

Family

ID=87564401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022018779A Active JP7454163B2 (ja) 2022-02-09 2022-02-09 対象の脳波の強度を推定するシステム、方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP7454163B2 (ja)
WO (1) WO2023153418A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017122958A (ja) 2016-01-04 2017-07-13 パイオニア株式会社 情報処理装置およびコンピュータプログラム
JP2018094029A (ja) 2016-12-12 2018-06-21 ダイキン工業株式会社 精神疾患判定装置
US20190254525A1 (en) 2016-11-08 2019-08-22 Sony Corporation Information processing device, information processing method, and program
US20200008725A1 (en) 2018-07-05 2020-01-09 Platypus Institute Identifying and strengthening physiological/neurophysiological states predictive of superior performance
JP2020022732A (ja) 2018-08-06 2020-02-13 ライオン株式会社 睡眠状態判定装置、睡眠状態判定システム及び睡眠状態判定プログラム
CN113729710A (zh) 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统
JP2022062574A (ja) 2020-10-08 2022-04-20 国立大学法人広島大学 人の表出情報からの脳活動状態推定

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017122958A (ja) 2016-01-04 2017-07-13 パイオニア株式会社 情報処理装置およびコンピュータプログラム
US20190254525A1 (en) 2016-11-08 2019-08-22 Sony Corporation Information processing device, information processing method, and program
JP2018094029A (ja) 2016-12-12 2018-06-21 ダイキン工業株式会社 精神疾患判定装置
US20200008725A1 (en) 2018-07-05 2020-01-09 Platypus Institute Identifying and strengthening physiological/neurophysiological states predictive of superior performance
JP2020022732A (ja) 2018-08-06 2020-02-13 ライオン株式会社 睡眠状態判定装置、睡眠状態判定システム及び睡眠状態判定プログラム
JP2022062574A (ja) 2020-10-08 2022-04-20 国立大学法人広島大学 人の表出情報からの脳活動状態推定
CN113729710A (zh) 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统

Also Published As

Publication number Publication date
WO2023153418A1 (ja) 2023-08-17
JP2023116149A (ja) 2023-08-22

Similar Documents

Publication Publication Date Title
Mumtaz et al. Review of challenges associated with the EEG artifact removal methods
Pilz et al. Local group invariance for heart rate estimation from face videos in the wild
KR102221264B1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
JP7014129B2 (ja) 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム
von Lühmann et al. A new blind source separation framework for signal analysis and artifact rejection in functional near-infrared spectroscopy
US20070179396A1 (en) Method and System for Detecting and Classifying Facial Muscle Movements
Chang et al. Physiological emotion analysis using support vector regression
CN111728609A (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Xu et al. Photoplethysmography motion artifacts removal based on signal-noise interaction modeling utilizing envelope filtering and time-delay neural network
CN108451494B (zh) 使用瞳孔反应来检测时域心脏参数的方法及系统
Rescio et al. Ambient and wearable system for workers’ stress evaluation
Tsai et al. Development of an adaptive artifact subspace reconstruction based on Hebbian/anti-Hebbian learning networks for enhancing BCI performance
Sugita et al. Noise reduction technique for single-color video plethysmography using singular spectrum analysis
Mcduff et al. Using high-fidelity avatars to advance camera-based cardiac pulse measurement
Chowdhury et al. LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams
JP7454163B2 (ja) 対象の脳波の強度を推定するシステム、方法、およびプログラム
Abhishek et al. Stress analysis of a computer game player using electroencephalogram
Pinti et al. Non-invasive optical imaging of brain function with fNIRS: current status and way forward
Llanes-Jurado et al. Automatic artifact recognition and correction for electrodermal activity in uncontrolled environments
Wessel Pioneering research into brain computer interfaces
Ramalho et al. An augmented teleconsultation platform for depressive disorders
Pilz et al. Heart rate from face videos under realistic conditions for advanced driver monitoring
Falcon-Caro et al. A diffusion adaptation approach to model brain responses in an EEG-based hyperscanning study
Kraft et al. Reliability factor for accurate remote PPG systems
Alabsi et al. Emotion recognition based on wireless, physiological and audiovisual signals: A comprehensive survey

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R150 Certificate of patent or registration of utility model

Ref document number: 7454163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150