JP7454163B2 - 対象の脳波の強度を推定するシステム、方法、およびプログラム - Google Patents

Description

本発明は、対象の脳波の強度を推定するシステム、方法、およびプログラムに関する。

人体から脳波を計測するための計測装置が知られている（例えば、特許文献１）

特表２０１９－５１５７７７号公報

本発明の発明者は、脳波データを簡易に取得することを可能にするために、鋭意研究の結果、対象の脳波の強度を推定する新規のシステム等を開発した。

本発明は、例えば、以下の項目を提供する。
（項目１）
対象の脳波の強度を推定するシステムであって、
対象の画像を受信する受信手段と、
前記画像から特徴量を抽出する抽出手段と、
少なくとも前記特徴量に基づいて、前記対象の脳波の少なくとも１つの成分の強度を推定する第１の推定手段であって、前記第１の推定手段は、特徴量を入力されると、対応する脳波の少なくとも１つの成分の強度を出力するように訓練されている少なくとも１つの学習済モデルを備える、第１の推定手段と
を備えるシステム。
（項目２）
前記第１の推定手段は、脳波の所定の成分の強度を推定し、前記所定の成分は、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分のうちの少なくとも１つを含む、項目１に記載のシステム。
（項目３）
前記所定の成分は、脳波の複数の成分を含む、項目２に記載のシステム。
（項目４）
前記画像は、動画であり、前記第１の推定手段は、前記動画の各フレームに対して前記対象の脳波の少なくとも１つの成分の強度を推定することにより、前記脳波の少なくとも１つの成分の強度の時系列変動を推定する、項目１～３のいずれか一項に記載のシステム。
（項目５）
前記第１の推定手段によって推定された脳波の強度に基づいて、前記対象の状態を推定する第２の推定手段をさらに備える、項目１～４のいずれか一項に記載のシステム。
（項目６）
前記受信手段は、前記対象の生体情報をさらに受信するように構成され、
前記推定手段は、前記特徴量と前記生体情報とから前記対象の脳波の少なくとも１つの成分の強度を推定するように構成され、前記少なくとも１つの学習済モデルは、特徴量と生体情報とを入力されると、対応する脳波の少なくとも１つの成分の強度を出力するように訓練されている、項目１～５のいずれか一項に記載のシステム。
（項目７）
対象の脳波の強度を推定する方法であって、
対象の画像を受信することと、
前記画像から特徴量を抽出することと、
少なくとも１つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の強度を推定することと
を含み、前記少なくとも１つの学習済モデルは、特徴量を入力されると、対応する脳波の強度を出力するように訓練されている、方法。
（項目７Ａ）
上記項目に記載の特徴のうちの１つまたは複数を備える、項目７に記載の方法。
（項目８）
対象の脳波の強度を推定するプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータにおいて実行され、前記プログラムは、
対象の画像を受信することと、
前記画像から特徴量を抽出することと、
少なくとも１つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の強度を推定することと
を含む処理を前記プロセッサ部に行わせ、前記少なくとも１つの学習済モデルは、特徴量を入力されると、対応する脳波の強度を出力するように訓練されている、プログラム。
（項目８Ａ）
上記項目に記載の特徴のうちの１つまたは複数を備える、項目８に記載のプログラム。

本発明によれば、対象の脳波の強度を推定するシステム等を提供することができる。このシステム等により、脳波データを簡易に取得することが可能である。また、脳波データを用いて、対象の状態を推定することも可能である。

本発明のＡＩを用いて、対象の脳波の強度を推定するフローの一例を概略的に示す図 対象の脳波の強度を推定するシステム１００の構成の一例を示す図 プロセッサ部１２０の構成の一例を示す図 プロセッサ部１２０の代替実施形態であるプロセッサ部１２０Ａの構成の一例を示す図 少なくとも１つの学習済モデルを構築し得るニューラルネットワークモデル４００の構造の一例を示す図 本発明の対象の脳波の強度を推定するシステム１００における処理５００の一例を示すフローチャート 実施例による予測の結果を示す図

（定義）
本明細書において、「対象」とは、脳波の強度を推定する対象となる任意の人物または動物のことをいう。本明細書において、「被験体」は、脳波の強度を推定するために利用される少なくとも１つの学習済モデルを構築するための学習処理において利用される教師データを取得する対象となる任意の人物または動物を指す。

本明細書において、「画像」とは、静止画および動画の両方を含む。動画は、連続する複数の静止画である。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（１．脳波の強度を推定可能な新たなＡＩ）
本発明の発明者は、対象の画像から対象の脳波の強度を推定することができる人工知能（ＡＩ）を開発した。このＡＩに対象の画像（例えば、顔の画像）を投入すると、このＡＩは、その画像に対応する脳波の強度を示すデータを出力することができる。例えば、このＡＩに動画を投入すると、このＡＩは、脳波の強度の時系列変動を示すデータを出力することができる。ここで、ＡＩとは、“Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ”の略語であり、人間の知能（もしくは、人間の知能を凌駕する知能）を人工的にコンピュータシステム上に実装するための技術、または、そのような技術が実装されたコンピュータシステムをいう。

図１は、本発明のＡＩを用いて、対象の脳波の強度を推定するフローの一例を概略的に示す。

ステップＳ１において、対象１０の画像が取得される。対象１０の画像は、例えば、カメラ２０によって取得される。カメラ２０は、静止画を取得可能なスチルカメラであってもよいし、動画を取得可能なビデオカメラであってもよい。カメラ２０は、例えば、赤外線カメラであってもよい。ステップＳ１では、対象１０の動画が取得されることが好ましい。動画の場合は時系列的に静止画が取得されることから、対象の脳波の強度の時系列変動を容易に推定することが可能となるためである。

対象１０の画像は、好ましくは、対象１０の顔の画像であり得る。対象１０の画像は、顔の画像に加えて、および／または、顔の画像に代えて、他の部位の画像であってもよい。他の部位の画像は、例えば、対象の姿勢を捉えた対象の全身または一部の画像であってもよい。

ステップＳ２において、ステップＳ１で取得された画像がＡＩ３０に投入される。ＡＩ３０は、画像から抽出される特徴量と、脳波の強度との関係を学習している。これにより、ＡＩ３０は、投入された画像から抽出される特徴量から脳波の強度を出力することができるのである。

ＡＩ３０は、例えば、画像から抽出される特徴量と、脳波中のデルタ波成分（約１Ｈｚ～約４Ｈｚの成分）の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から脳波のデルタ波成分の強度を出力することができる。ＡＩ３０は、例えば、画像から抽出される特徴量と、脳波中のシータ波成分（約４Ｈｚ～約８Ｈｚの成分）の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から脳波のシータ波成分の強度を出力することができる。ＡＩ３０は、例えば、画像から抽出される特徴量と、脳波中のアルファ波成分（約８Ｈｚ～約１３Ｈｚの成分）の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から脳波のアルファ波成分の強度を出力することができる。ＡＩ３０は、例えば、画像から抽出される特徴量と、脳波中のベータ波成分（約１３Ｈｚ以上の成分）の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から脳波のベータ波成分の強度を出力することができる。

ＡＩ３０は、例えば、画像から抽出される特徴量と、脳波中の複数の成分の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から複数の成分の強度を出力することができる。例えば、ＡＩ３０は、画像から抽出される特徴量と脳波中のデルタ波成分の強度との関係、および、画像から抽出される特徴量と脳波中のアルファ波成分の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から脳波のデルタ波成分の強度と脳波のアルファ波成分の強度とを出力することができる。例えば、ＡＩ３０は、画像から抽出される特徴量と脳波中のデルタ波成分の強度との関係、画像から抽出される特徴量と脳波中のアルファ波成分の強度との関係、および、画像から抽出される特徴量と脳波中のベータ波成分の強度との関係を学習することができ、このＡＩ３０は、投入された画像から抽出される特徴量から脳波のデルタ波成分の強度と脳波のアルファ波成分の強度と脳波のベータ波成分の強度とを出力することができる。

ステップＳ３において、ＡＩ３０は、対象１０の脳波の強度を示すデータ４０を出力する。図１に示される例では、脳波の強度を示すデータ４０は、グラフ形式で出力されているが、脳波の強度を示すデータの形式はこれに限定されず、任意の形式であり得る。

このようにして、ＡＩ３０を用いて、対象１０の脳波の強度を推定することができる。

出力された脳波の強度を示すデータは、任意の用途に使用されることができる。好ましい実施形態では、脳波の強度を示すデータは、対象１０の状態を推定するために使用されることができる。このとき、脳波の強度を示すデータは、脳波の強度の時系列変動を示すデータであることが好ましい。

例えば、ＡＩ３０からデルタ波成分の強度が出力された場合、デルタ波成分は眠気を表す指標であることから、出力された脳波の強度を示すデータを用いて、対象１０の眠気の程度（すなわち、対象１０が眠い状態にあるかどうか）を推定することができる。

例えば、ＡＩ３０からアルファ波成分の強度が出力された場合、アルファ波成分はリラックス度を表す指標であることから、出力された脳波の強度を示すデータを用いて、対象１０のリラックスの程度（すなわち、対象１０がリラックスした状態にあるかどうか）を推定することができる。

例えば、ＡＩ３０からベータ波成分の強度が出力された場合、ベータ波成分は集中度を表す指標であることから、出力された脳波の強度を示すデータを用いて、対象１０の集中の程度（すなわち、対象１０が集中している状態にあるかどうか）を推定することができる。

例えば、ＡＩ３０から脳波の複数の成分の強度が出力された場合、複数の成分を総合して、対象の状態を推定することができる。

例えば、ＡＩ３０からデルタ波成分、アルファ波成分、ベータ波の強度が出力された場合、出力された脳波の各成分の強度を示すデータを用いて、対象１０のパフォーマンスの良し悪し（すなわち、対象１０が良好なパフォーマンスを発揮できる状態にあるかどうか）を推定することができる。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物（例えば、自動車、二輪車、電車、航空機等）を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること等を含む。

一実施形態において、脳波の強度を示すデータは、対象１０の感情を分析するために使用されることができる。別の一実施形態において、脳波の強度を示すデータは、外部機器を操作するために使用されることができる。別の一実施形態において、脳波の強度を示すデータは、任意の事物に対する対象の選好を示すために使用されることができる。例えば、脳波の強度が所定の閾値を超えるまたは脳波の強度の時系列変動が所定のパターンを呈する場合に、対象がその事物を好んでいるまたは嫌っていることを示すことができる。

上述したＡＩ３０は、例えば、後述する、対象の脳波の強度を推定するシステム１００によって実装され得る。

（２．対象の脳波の強度を推定するシステムの構成）
図２は、対象の脳波の強度を推定するシステム１００の構成の一例を示す。

システム１００は、インターフェース部１１０と、プロセッサ部１２０と、メモリ部１３０とを備える。システム１００は、データベース部２００に接続されている。

インターフェース部１１０は、システム１００の外部と情報のやり取りを行う。システム１００のプロセッサ部１２０は、インターフェース部１１０を介して、システム１００の外部から情報を受信することが可能であり、システム１００の外部に情報を送信することが可能である。インターフェース部１１０は、任意の形式で情報のやり取りを行うことができる。例えば、ユーザ装置（例えば、スマートフォン、タブレット、スマートウォッチ、スマートグラス、ラップトップコンピュータ、デスクトップコンピュータ等）、または撮像手段（例えば、カメラ等）は、インターフェース部１１０を介して、システム１００と通信することができる。

インターフェース部１１０は、例えば、システム１００に情報を入力することを可能にする入力部を備える。入力部が、どのような態様でシステム１００に情報を入力することを可能にするかは問わない。例えば、入力部は、ユーザが情報を直接入力することを可能にし得る装置（例えば、キーボード、マウス、タッチパネル、マイク等）を備え得る。例えば、入力部がデータ読み取り装置である場合には、システム１００に接続された記憶媒体から情報を読み取ることによって情報を入力するようにしてもよい。あるいは、入力部が受信器である場合、受信器がネットワークを介してシステム１００の外部から情報を受信することにより入力してもよい。この場合、ネットワークの種類は問わない。例えば、受信器は、インターネットを介して情報を受信してもよいし、ＬＡＮを介して情報を受信してもよい。インターフェース部１１０に入力された情報は、プロセッサ部１２０に渡され、プロセッサ部１２０は、これを受信する。

インターフェース部１１０は、例えば、画像をシステム１００の外部から受信することができる。インターフェース部１１０は、例えば、システム１００と通信し得るユーザ装置または撮像手段から画像を受信することができる。インターフェース部１１０は、例えば、データベース部２００から画像を受信することができる。

インターフェース部１１０は、例えば、対象の生体情報をシステム１００の外部から受信することができる。インターフェース部１１０は、例えば、システム１００と通信し得るユーザ装置または生体情報を測定する測定手段から生体情報を受信することができる。インターフェース部１１０は、例えば、データベース部２００から生体情報を受信することができる。

対象の生体情報は、任意の測定手段によって測定されることができる。対象の生体情報は、例えば、体温、心拍数、皮膚電気活動、血中酸素飽和度、眼球運動、瞳孔径、筋電位を含むが、これらに限定されない。生体情報は、例えば、対象に装着可能なウェアラブルデバイスによって測定され得る。生体情報は、通信機能を有するウェアラブルデバイスによって測定されることが好ましい。システム１００がウェアラブルデバイスから直接生体信号を受信することができ、例えば、遅延を最小限にすることができるからである。生体情報は、例えば、体温計、活動量計（アクティビティトラッカー）、パルスオキシメーター、アイトラッカー、筋電計のうちの少なくとも１つの計測機器によって計測され得る。これらの計測機器のうちのいくつかは、単一の計測機器に組み込まれてもよい。

インターフェース部１１０は、例えば、システム１００から情報を出力することを可能にする出力部を備える。出力部が、どのような態様でシステム１００から情報を出力することを可能にするかは問わない。例えば、出力部がデータ書き込み装置である場合、システム１００に接続された記憶媒体に情報を書き込むことによって情報を出力するようにしてもよい。あるいは、出力部が送信器である場合、送信器がネットワークを介してシステム１００の外部に情報を送信することにより出力してもよい。この場合、ネットワークの種類は問わない。例えば、送信器は、インターネットを介して情報を送信してもよいし、ＬＡＮを介して情報を送信してもよい。

インターフェース部１１０は、例えば、推定された脳波の強度を示すデータをシステム１００の外部に出力することができる。インターフェース部１１０は、例えば、システム１００と通信し得るユーザ装置に脳波の強度を示すデータを提供することができる。インターフェース部１１０は、例えば、データベース部２００に脳波の強度を示すデータを提供することができる。

インターフェース部１１０は、例えば、脳波の強度（例えば、強度の値および／または強度の時系列的な変化の度合い）に基づいて推定された対象の状態を示すデータをシステム１００の外部に出力することができる。インターフェース部１１０は、例えば、システム１００と通信し得るユーザ装置に対象の状態を示すデータを提供することができる。インターフェース部１１０は、例えば、データベース部２００に対象の状態を示すデータを提供することができる。

対象の状態は、対象の生理的な状態および／または対象の心理的な状態を含む。対象の生理的な状態は、例えば、所定の疾患に罹患している状態、疲労している状態等を含む。対象の心理的な状態は、例えば、覚醒状態、睡眠状態、集中している状態、リラックスしている状態、イライラしている状態、疲労を感じている状態、良好なパフォーマンスを発揮している状態、任意の事物を好ましいと感じている状態、任意の事物を好ましくないと感じている状態、特定の感情（例えば、喜び、怒り、悲しみ、楽しみ）を感じている状態等を含む。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物（例えば、自動車、二輪車、電車、航空機等）を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること、頭脳労働をすること等を含む。

プロセッサ部１２０は、システム１００の処理を実行し、かつ、システム１００全体の動作を制御する。プロセッサ部１２０は、メモリ部１３０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、システム１００を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部１２０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

メモリ部１３０は、システム１００の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部１３０は、対象の脳波の強度を推定するための処理をプロセッサ部に行わせるためのプログラム（例えば、後述する図５に示される処理を実現するプログラム）を格納してもよい。ここで、プログラムをどのようにしてメモリ部１３０に格納するかは問わない。例えば、プログラムは、メモリ部１３０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部１３０にインストールされるようにしてもよい。あるいは、プログラムは、非一過性のコンピュータ読み取り可能な記憶媒体に格納されていてもよい。メモリ部１３０は、任意の記憶手段によって実装され得る。

データベース部２００には、予め被験体から取得された画像および脳波データが記憶されることができる。また、データベース部２００には、少なくとも１つの学習済モデルを実装するためのデータが格納され得る。

図２に示される例では、データベース部２００は、システム１００の外部に設けられているが、本発明はこれに限定されない。データベース部２００をシステム１００の内部に設けることも可能である。このとき、データベース部２００は、メモリ部１３０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部１３０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２００は、システム１００のための格納部として構成される。データベース部２００の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２００は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２００は、システム１００の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。

図３Ａは、プロセッサ部１２０の構成の一例を示す。

プロセッサ部１２０は、受信手段１２１と、抽出手段１２２と、推定手段１２３とを備える。

受信手段１２１は、対象の画像を受信するように構成されている。対象の画像は、好ましくは、対象の顔の画像であり得る。対象の画像は、顔の画像に加えて、および／または、顔の画像に代えて、他の部位の画像であってもよい。他の部位の画像は、例えば、対象の姿勢を捉えた対象の全身または一部の画像であってもよい。受信された対象の画像は、抽出手段１２２に渡される。

受信手段１２１は、対象の画像に加えて、対象の生体情報も受信するように構成されることができる。対象の生体情報は、対象の画像が取得されたときに対象から測定された生体情報であり得る。対象の生体情報は、例えば、体温、心拍数、皮膚電気活動、血中酸素飽和度、眼球運動、瞳孔径、筋電位を含むが、これらに限定されない。好ましくは、対象の生体情報は、眼球運動、瞳孔径のうちの少なくとも１つであり得る。眼球運動および瞳孔径は、脳波の強度を推定する精度を顕著に向上させることができる点で好ましい。受信された生体情報は、推定手段１２３に渡される。

抽出手段１２２は、受信手段１２１によって受信された画像から特徴量を抽出するように構成されている。抽出手段１２２は、当該技術分野において公知の技術を用いて、画像から特徴量を抽出することができる。

一実施形態において、抽出手段１２２は、画像中の対象のランドマークに対応する座標を特徴量として抽出することができる。座標は、画像が２次元画像である場合には、（ｘ，ｙ）の２次元座標であり得、画像が奥行き情報を含む３次元画像である場合には、（ｘ，ｙ，ｚ）の３次元座標であり得る。対象のランドマークは、例えば、眉毛、眼、唇等を含む。抽出手段１２２は、例えば、ＯｐｅｎＣＶライブラリ中のｓｈａｐｅ＿ｐｒｅｄｉｃｔｏｒ関数を用いて、対象のランドマークに対応する座標を抽出することができる。

一例において、抽出手段１２２は、左眼に対応する６座標、右眼に対応する６座標、唇外形に対応する２０座標、唇内形に対応する８座標を特徴量として抽出し得る。

画像が動画である場合、動画の各フレームに対して抽出手段１２２によって特徴量として抽出された座標は、カメラ等の撮像手段の傾き、撮像手段と対象との間の距離、または、対象の動き等に起因する影響を受けている可能性がある。そのため、動画の各フレームに対して抽出された座標は、これらの影響を低減または排除するように補正されることが好ましい。

例えば、右眼の左端の座標および右端の座標から推定される右眼の中心と、左眼の左端の座標および右端の座標から推定される左眼の中心とから、対象に対する撮像手段の傾き（すなわち、画像中の水平方向に対する両眼を結ぶ直線の傾き）、および、両眼間の距離が算出される。算出された傾きを相殺するように画像を回転させることで、カメラ等の撮像手段の傾きに起因する影響が低減または排除され得る。また、座標値を両眼間の距離で除算することで、撮像手段と対象との間の距離に起因する影響が低減または排除され得る。

例えば、動画の各フレームについて、全座標の平均値を算出し、その平均値が原点となるように、全座標を移動させることができる。これにより、動画の各フレームの座標がセンタリングされる。

例えば、動画の複数のフレーム間で、対応する座標が低周波でドリフトするとき、その低周波のドリフトを除去することにより、対象の動きに起因する影響が低減または排除され得る。低周波のドリフトは、例えば、約１０Ｈｚ以下の変動のことをいう。

抽出手段１２２は、さらに、アイアスペクト比（ＥＡＲ）を特徴量として抽出することができる。ＥＡＲは、開かれた眼の垂直距離と水平距離との比として定義される。ＥＡＲは、例えば、各眼について、対応する６座標から算出されることができる。

抽出手段１２２によって抽出された特徴量は、推定手段１２３に渡される。

推定手段１２３は、抽出手段１２２によって抽出された特徴量に基づいて、対象の脳波の少なくとも１つの成分の強度を推定するように構成されている。推定手段１２３は、少なくとも１つの学習済モデルを備えており、その少なくとも１つの学習済モデルによって、脳波の少なくとも１つの成分の強度を推定することができる。

少なくとも１つの学習済モデルは、特徴量と、脳波の少なくとも１つの成分の強度との関係を学習している。言い換えると、少なくとも１つの学習済モデルは、特徴量を入力されると、対応する脳波の少なくとも１つの成分の強度を出力するように訓練されている。これにより、例えば、抽出手段１２２によって抽出された特徴量が少なくとも１つの学習済モデルに入力されると、対応する脳波の少なくとも１つの成分の強度が出力されることができる。

少なくとも１つの学習済モデルは、特徴量と、脳波の所定の成分の強度との関係を学習するようにしてもよい。これにより、例えば、抽出手段１２２によって抽出された特徴量が少なくとも１つの学習済モデルに入力されると、対応する脳波の所定の成分の強度が出力されることができる。所定の成分は、例えば、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも１つであり得る。所定の成分は、複数の成分であってもよい。

一実施形態において、推定手段１２３は、抽出手段１２２によって抽出された特徴量と、受信手段１２１によって受信された生体情報に基づいて、対象の脳波の少なくとも１つの成分の強度を推定するように構成されてもよい。この構成において、推定手段１２３が備える少なくとも１つの学習済モデルは、特徴量と、生体情報と、脳波の少なくとも１つの成分の強度との関係を学習している。言い換えると、少なくとも１つの学習済モデルは、特徴量および生体情報を入力されると、対応する脳波の少なくとも１つの成分の強度を出力するように訓練されている。これにより、例えば、抽出手段１２２によって抽出された特徴量および受信手段１２１によって受信された生体情報が少なくとも１つの学習済モデルに入力されると、対応する脳波の少なくとも１つの成分の強度が出力されることができる。

少なくとも１つの学習済モデルは、特徴量と、生体情報と、脳波の所定の成分の強度との関係を学習するようにしてもよい。これにより、例えば、抽出手段１２２によって抽出された特徴量および受信手段１２１によって受信された生体情報が少なくとも１つの学習済モデルに入力されると、対応する脳波の所定の成分の強度が出力されることができる。所定の成分は、例えば、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも１つであり得る。所定の成分は、複数の成分であってもよい。

推定手段１２３は、特徴量に加えて、生体情報も利用することで、推定される脳波の強度の精度を向上させることができる。特に、生体情報として、眼球運動、瞳孔径のうちの少なくとも１つを用いることで、推定される脳波の強度の精度を大きく向上させることができる。

推定手段１２３は、脳波の複数の成分の強度を推定するようにしてもよい。例えば、推定手段１２３は、複数の学習済モデルを備えており、複数の学習済モデルによって、脳波の複数の成分の強度を推定することができる。複数の学習済モデルのそれぞれが、それぞれ異なる成分の強度を推定することができるように訓練され得る。すなわち、複数の学習済モデルのうちの第１の学習済モデルが、複数の成分のうちの第１の成分の強度を推定するように訓練され得、複数の学習済モデルのうちの第２の学習済モデルが、複数の成分のうちの第２の成分の強度を推定するように訓練され得、・・・複数の学習済モデルのうちの第ｉの学習済モデルが、複数の成分のうちの第ｉの成分の強度を推定するように訓練され得る。

推定手段１２３が備える少なくとも１つの学習済モデルは、当該技術分野において公知の手法で構築された機械学習モデルを用いて構築されることができる。機械学習モデルは、例えば、ニューラルネットワークモデルであり得る。

図４は、少なくとも１つの学習済モデルを構築し得るニューラルネットワークモデル４００の構造の一例を示す。

ニューラルネットワークモデル４００は、入力層と、中間層と、出力層とを有する。ニューラルネットワークモデル４００の入力層のノード数は、入力されるデータの次元数（例えば、抽出手段１２２によって抽出された特徴量の次元数、あるいは、抽出手段１２２によって抽出された特徴量の次元数と受信手段１２１によって受信された生体情報の次元数とを合わせた数）に対応する。ニューラルネットワークモデルの出力層のノード数は、出力されるデータの次元数に対応する。例えば、特定の成分の脳波の強度を示す値を出力する場合、出力層のノード数は、１であり得る。ニューラルネットワークの中間層は、任意のアーキテクチャを有し得る。好ましい実施形態では、中間層は、少なくとも１つのＬＳＴＭ層によって構築され得る。少なくとも１つのＬＳＴＭ層の各層は、任意の数のノードを有し得る。

ニューラルネットワークモデル４００は、複数の被験体から取得された画像と、そのときの被験体から取得された脳波の強度とを用いて予め学習処理がなされ得る。学習処理は、複数の被験体から取得された画像から抽出された特徴量と、脳波の強度とを使用して、ニューラルネットワークモデルの中間層の各ノードの重み係数を計算する処理である。

脳波の強度は、例えば、脳波計を用いて測定され得る。一例において、脳波計は、ｇ．Ｎａｕｔｉｌｕｓ ＲＥＳＥＡＲＣＨ（https://www.gtec.at/product/gnautilus-research/）のｇ．ＳＡＨＡＲＡシステム「Ｎａｕｔｉｌｕｓ Ｍｕｌｔｉ－Ｐｒｐｏｓｅ ３２」であり得る。

学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、被験体から取得された画像から抽出された特徴量を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波の強度を出力用教師データとして、複数の被験体のデータを使用してニューラルネットワークモデルの中間層の各ノードの重み係数を計算することにより、被験体の画像から抽出される特徴量と脳波の強度とを相関させることが可能な学習済モデルを構築することができる。

例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（第１の時刻に取得された第１の被験体の画像から抽出された特徴量，第１の時刻の第１の被験体の脳波の強度）、（第２の時刻に取得された第１の被験体の画像から抽出された特徴量，第２の時刻の第１の被験体の脳波の強度）、・・・（第ｉの時刻に取得された第１の被験体の画像から抽出された特徴量，第ｉの時刻の第１の被験体の脳波の強度）、・・・等であり得る。このように、単一の被験体から教師データが取得され得る。あるいは、例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（第１の被験体の画像から抽出された特徴量，画像が取得されたときの第１の被験体の脳波の強度）、（第２の被験体の画像から抽出された特徴量，画像が取得されたときの第２の被験体の脳波の強度）、・・・（第ｉの被験体の画像から抽出された特徴量，画像が取得されたときの第ｉの被験体の脳波の強度）、・・・等であり得る。このように、複数の被験体から教師データが取得され得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量を入力すると、その画像が取得されたときのその対象の脳波の強度が出力層に出力される。

例えば、ニューラルネットワークモデルにデルタ波成分の強度を出力させるように学習処理を行う場合、被験体から取得された画像から抽出された特徴量を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波のデルタ波成分の強度を出力用教師データとして、学習処理が行われ得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量を入力すると、その画像が取得されたときのその対象の脳波のデルタ波成分の強度が出力層に出力される。

受信手段１２１によって受信された生体情報を利用する実施形態において、ニューラルネットワークモデル４００は、複数の被験体から取得された画像と、そのときの被験体から取得された生体情報と、そのときの被験体から取得された脳波の強度とを用いて予め学習処理がなされ得る。学習処理は、複数の被験体から取得された画像から抽出された特徴量と、生体情報と、脳波の強度とを使用して、ニューラルネットワークモデルの中間層の各ノードの重み係数を計算する処理である。

学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、被験体から取得された画像から抽出された特徴量および画像が取得されたときのその被験体から取得された生体情報を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波の強度を出力用教師データとして、複数の被験体のデータを使用してニューラルネットワークモデルの中間層の各ノードの重み係数を計算することにより、被験体の画像から抽出される特徴量と生体情報と脳波の強度とを相関させることが可能な学習済モデルを構築することができる。

例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（（第１の時刻に取得された第１の被験体の画像から抽出された特徴量、第１の時刻に取得された第１の被験体の生体情報），第１の時刻の第１の被験体の脳波の強度）、（（第２の時刻に取得された第１の被験体の画像から抽出された特徴量、第２の時刻に取得された第１の被験体の生体情報），第２の時刻の第１の被験体の脳波の強度）、・・・（（第ｉの時刻に取得された第１の被験体の画像から抽出された特徴量、第ｉの時刻に取得された第１の被験体の生体情報），第ｉの時刻の第１の被験体の脳波の強度）、・・・等であり得る。このように、単一の被験体から教師データが取得され得る。あるいは、例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（（第１の被験体の画像から抽出された特徴量、画像が取得されたときの第１の被験体の生体情報），画像が取得されたときの第１の被験体の脳波の強度）、（（第２の被験体の画像から抽出された特徴量、画像が取得されたときの第２の被験体の生体情報），画像が取得されたときの第２の被験体の脳波の強度）、・・・（（第ｉの被験体の画像から抽出された特徴量、画像が取得されたときの第ｉの被験体の生体情報），画像が取得されたときの第ｉの被験体の脳波の強度）、・・・等であり得る。このように、複数の被験体から教師データが取得され得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量および生体情報を入力すると、その画像が取得されたときのその対象の脳波の強度が出力層に出力される。

例えば、ニューラルネットワークモデルにデルタ波成分の強度を出力させるように学習処理を行う場合、被験体から取得された画像から抽出された特徴量および画像が取得されたときのその被験体から取得された生体情報を入力用教師データとし、画像が取得されたときのその被験体から取得された脳波のデルタ波成分の強度を出力用教師データとして、学習処理が行われ得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から抽出された特徴量および生体情報を入力すると、その画像が取得されたときのその対象の脳波のデルタ波成分の強度が出力層に出力される。

画像が動画である好ましい実施形態では、推定手段１２３は、動画の各フレームから、それぞれの脳波の強度を推定することができ、それらを結合することにより、推定された脳波の強度の時系列変動を出力することができる。

推定手段１２３によって推定された脳波の強度は、システム１００の外部へと出力され、任意の用途に利用されることができる。

好ましい実施形態では、脳波の強度を示すデータは、対象の状態を推定するために使用されることができる。この構成は、図３Ｂを参照して後述する。

一実施形態において、脳波の強度を示すデータは、対象の感情を分析するために使用されることができる。別の実施形態において、脳波の強度を示すデータは、外部機器を操作するために使用されることができる。

図３Ｂは、プロセッサ部１２０の代替実施形態であるプロセッサ部１２０Ａの構成の一例を示す。プロセッサ部１２０Ａは、第２の推定手段１２４をさらに備える点を除いて、プロセッサ部１２０と同様の構成を有する。ここでは、図３Ａを参照して上述した構成と同一の構成には、同一の参照番号を付し、詳細な説明は省略する。

プロセッサ部１２０Ａは、受信手段１２１と、抽出手段１２２と、第１の推定手段１２３と、第２の推定手段１２４とを備える。

受信手段１２１は、対象の画像を受信するように構成されている。受信された対象の画像は、抽出手段１２２に渡される。受信手段１２１は、対象の画像に加えて、対象の生体情報も受信するように構成されることができる。受信された生体情報は、第１の推定手段１２３に渡される。

抽出手段１２２は、受信手段１２１によって受信された画像から特徴量を抽出するように構成されている。抽出手段１２２によって抽出された特徴量は、第１の推定手段１２３に渡される。

第１の推定手段１２３は、抽出手段１２２によって抽出された特徴量から対象の脳波の少なくとも１つの成分の強度を推定するように構成されている。第１の推定手段１２３は、図３Ａを参照して上述した推定手段１２３と同一の構成を有し得る。第１の推定手段１２３は、推定された脳波の少なくとも１つの成分の強度は、第２の推定手段１２４に渡される。

第２の推定手段１２４は、第１の推定手段１２３によって推定された脳波の少なくとも１つの成分の強度（例えば、強度の値および／または強度の時系列的な変化の度合い）に基づいて、対象の状態を推定するように構成されている。好ましくは、第２の推定手段１２４は、第１の推定手段１２３によって推定された脳波の複数の成分の強度（例えば、強度の値および／または強度の時系列的な変化の度合い）に基づいて、対象の状態を推定し得る。対象の状態は、対象の生理的な状態および／または対象の心理的な状態を含む。対象の生理的な状態は、例えば、所定の疾患に罹患している状態、疲労している状態等を含む。対象の心理的な状態は、例えば、覚醒状態、睡眠状態、集中している状態、リラックスしている状態、イライラしている状態、疲労を感じている状態、良好なパフォーマンスを発揮している状態、任意の事物を好ましいと感じている状態、任意の事物を好ましくないと感じている状態、特定の感情（例えば、喜び、怒り、悲しみ、楽しみ）を感じている状態等を含む。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物（例えば、自動車、二輪車、電車、航空機等）を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること、頭脳労働をすること等を含む。

一例において、良好なパフォーマンスを発揮している状態であるか否かの尺度で対象の状態を表すことができる。このような尺度は、覚醒度、集中度等の質的に異なり得る尺度を一元化する尺度であると考えられる。

第２の推定手段１２４は、例えば、脳波の特定の強度または特定の範囲の強度と、対象の特定の状態との関連付けに基づいて、脳波の強度から対象の状態を推定することができる。脳波の特定の強度または特定の範囲の強度と、対象の特定の状態との関連付けは、例えば、事前に決められたルールまたはルックアップテーブルに従うものであってもよいし、機械学習によって見出されるものであってもよい。

一実施形態において、第２の推定手段１２４は、少なくとも１つの学習済モデルを備えており、その少なくとも１つの学習済モデルによって、対象の状態を推定することができる。少なくとも１つの学習済モデルは、脳波の強度（例えば、所定の成分の強度または複数の成分の強度）と、対象の状態との関係を学習している。言い換えると、少なくとも１つの学習済モデルは、脳波の強度（例えば、所定の成分の強度または複数の成分の強度）を入力されると、対応する対象の状態を示す値を出力するように訓練されている。これにより、例えば、第１の推定手段１２３によって抽出された脳波の強度が少なくとも１つの学習済モデルに入力されると、対応する対象の状態を示す値が出力されることができる。

第２の推定手段１２４が備える少なくとも１つの学習済モデルは、当該技術分野において公知の手法で構築された機械学習モデルを用いて構築されることができる。機械学習モデルは、例えば、ニューラルネットワークモデルであり得る。

ニューラルネットワークモデルは、複数の被験体から取得された脳波の強度と、そのときの被験体の状態とを用いて予め学習処理がなされ得る。学習処理は、複数の被験体から取得された脳波の強度と、被験体の状態を示す値とを使用して、ニューラルネットワークモデルの中間層の各ノードの重み係数を計算する処理である。

学習処理は、例えば、教師あり学習である。教師あり学習では、例えば、被験体から取得された脳波の強度を入力用教師データとし、脳波が取得されたときのその被験体の状態を示す値を出力用教師データとして、複数の被験体のデータを使用してニューラルネットワークモデルの中間層の各ノードの重み係数を計算することにより、被験体の脳波の強度と状態とを相関させることが可能な学習済モデルを構築することができる。

例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（第１の時刻に取得された第１の被験体の脳波の強度，第１の時刻の第１の被験体の状態を示す値）、（第２の時刻に取得された第１の被験体の脳波の強度，第２の時刻の第１の被験体の状態を示す値）、・・・（第ｉの時刻に取得された第１の被験体の脳波の強度，第ｉの時刻の第１の被験体の状態を示す値）、・・・等であり得る。あるいは、例えば、教師あり学習のための（入力用教師データ，出力用教師データ）の組は、（第１の被験体の脳波の強度，脳波が取得されたときの第１の被験体の状態を示す値）、（第２の被験体の脳波の強度，脳波が取得されたときの第２の被験体の状態を示す値）、・・・（第ｉの被験体の脳波の強度，脳波が取得されたときの第ｉの被験体の状態を示す値）、・・・等であり得る。このような学習済のニューラルネットワークモデルの入力層に、対象から取得された画像から推定された脳波の強度を入力すると、その画像が取得されたときのその対象の状態を示す値が出力層に出力される。

第２の推定手段１２４によって推定された対象の状態は、システム１００の外部へと出力され、任意の用途に利用されることができる。

例えば、推定された対象の状態は、推定された対象の状態を改善するように、対象にアイテムまたはアクションをリコメンドするために利用され得る。例えば、対象の状態が、眠気が強い状態であると推定された場合には、その旨を対象にフィードバックし、かつ／または、眠気覚ましのアイテム（ガム、コーヒー等）またはアクション（仮眠を取ること等）を対象にリコメンドすることができる。例えば、対象の状態が、イライラしている状態または怒りの感情を感じている状態であると推定された場合には、その旨を対象にフィードバックし、かつ／または、重大な決断を行わないよう対象にリコメンドすることができる。

なお、上述したシステム１００の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。本発明のシステム１００は、特定のハードウェア構成には限定されない。プロセッサ部１２０または１２０Ａをデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。本発明のシステム１００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

（３．対象の脳波の強度を推定するシステムにおける処理）
図５は、本発明の対象の脳波の強度を推定するシステム１００における処理５００の一例を示す。処理５００は、プロセッサ部１２０が、メモリ部１３０に格納されたプログラムを実行することによって行われ得る。なお、処理５００は、プロセッサ部１２０Ａにおいても同様に行われることができる。

ステップＳ５０１では、プロセッサ部１２０の受信手段１２１が、対象の画像を受信する。受信手段１２１は、システム１００の外部からインターフェース部１１０を介して取得された画像を受信することができる。対象の画像は、好ましくは、対象の顔の画像であり得る。対象の画像は、顔の画像に加えて、および／または、顔の画像に代えて、他の部位の画像であってもよい。画像は、好ましくは、動画であり得る。

受信手段１２１は、対象の画像に加えて、対象の生体情報も受信することができる。対象の生体情報は、対象の画像が取得されたときに対象から測定された生体情報であり得る。

ステップＳ５０２では、プロセッサ部１２０の抽出手段１２２が、ステップＳ５０１で受信された画像から特徴量を抽出する。抽出手段１２２は、当該技術分野において公知の技術を用いて、画像から特徴量を抽出することができる。

抽出手段１２２は、例えば、画像中の対象のランドマークに対応する座標を特徴量として抽出することができる。好ましくは、抽出手段１２２は、画像中の対象の顔の右眼、左眼、および唇に対応する座標を特徴量として抽出し得る。より好ましくは、抽出手段１２２は、画像中の対象の顔の右眼、左眼、および唇に対応する座標、ならびに、ＥＡＲを特徴量として抽出し得る。

抽出手段１２２が抽出する特徴量は、推定手段１２３が備え得る少なくとも１つの学習済モデルの学習に用いられた特徴量に対応するようにすべきであることが留意される。

ステップＳ５０３では、プロセッサ部１２０の推定手段１２３が、ステップＳ５０２で抽出された特徴量に基づいて、対象の脳波の少なくとも１つの成分の強度を推定する。推定手段１２３は、少なくとも１つの学習済モデルを備えており、その少なくとも１つの学習済モデルによって、脳波の少なくとも１つの成分の強度を推定することができる。ステップＳ５０２で抽出された特徴量が少なくとも１つの学習済モデルに入力されると、対応する脳波の少なくとも１つの成分の強度が出力される。

推定手段１２３は、ステップＳ５０２で抽出された特徴量に加えて、ステップＳ５０１で受信された生体情報にも基づいて、対象の脳波の少なくとも１つの成分の強度を推定することができる。ステップＳ５０２で抽出された特徴量と、ステップＳ５０１で受信された生体情報とが少なくとも１つの学習済モデルに入力されると、対応する脳波の少なくとも１つの成分の強度が出力される。

ステップＳ５０３では、特徴量に加えて、生体情報も利用することで、推定される脳波の強度の精度を向上させることができる。特に、生体情報として、眼球運動、瞳孔径のうちの少なくとも１つを用いることで、推定される脳波の強度の精度を大きく向上させることができる。

推定手段１２３は、脳波の所定の成分の強度を推定することができる。所定の成分は、例えば、デルタ波成分、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも１つであり得る。所定の成分は、複数の成分であってもよい。推定手段１２３が複数の成分の強度を推定するとき、推定手段１２３は、複数の学習済モデルを用いて、複数の成分の強度を推定することができる。

処理５００は、ステップＳ５０３で終了し得、処理５００によって推定された脳波の少なくとも１つの成分の強度は、システム１００の外部へと出力され、任意の用途に利用されることができる。

処理５００がプロセッサ部１２０Ａにおいて行われる場合、処理５００は、追加のステップＳ５０４を含み得る。

ステップＳ５０４では、プロセッサ部１２０Ａの第２の推定手段１２４が、ステップＳ５０３で推定された脳波の少なくとも１つの成分の強度（例えば、強度の値および／または強度の時系列的な変化の度合い）に基づいて、対象の状態を推定する。好ましくは、第２の推定手段１２４は、ステップＳ５０３で推定された脳波の複数の成分の強度（例えば、強度の値および／または強度の時系列的な変化の度合い）に基づいて、対象の状態を推定する。対象の状態は、対象の生理的な状態および／または対象の心理的な状態を含む。対象の生理的な状態は、例えば、所定の疾患に罹患している状態、疲労している状態等を含む。対象の心理的な状態は、例えば、覚醒状態、睡眠状態、集中している状態、リラックスしている状態、イライラしている状態、疲労を感じている状態、良好なパフォーマンスを発揮している状態、任意の事物を好ましいと感じている状態、任意の事物を好ましくないと感じている状態、特定の感情（例えば、喜び、怒り、悲しみ、楽しみ）を感じている状態等を含む。パフォーマンスは、例えば、所定の課題に対するパフォーマンスであり得る。所定の課題は、任意の課題であり得、例えば、乗り物（例えば、自動車、二輪車、電車、航空機等）を運転すること、スポーツをすること、ゲームをすること、勉強をすること、試験を受けること、頭脳労働をすること等を含む。

第２の推定手段１２４は、少なくとも１つの学習済モデルを備えており、その少なくとも１つの学習済モデルによって、対象の状態を推定することができる。ステップＳ５０３で推定された脳波の少なくとも１つの成分の強度が少なくとも１つの学習済モデルに入力されると、対応する対象の状態を示す値が出力される。

処理５００は、ステップＳ５０４で終了し得、処理５００によって推定された対象の状態は、システム１００の外部へと出力され、任意の用途に利用されることができる。

なお、上述した例では、特定の順序で各ステップが行われることを説明したが、各ステップが行われる順序は示されるものに限定されない。各ステップは、論理的に可能な任意の順序で行われることができる。

図５を参照して上述した例では、図５に示される各ステップの処理は、プロセッサ部１２０または１２０Ａとメモリ部１３０に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図５に示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。

システム１００は、サーバ装置として実装されてもよいし、端末装置として実装されてもよい。システム１００は、任意の情報端末装置によって実装されることができる。

本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

対象に運転ゲームを行わせ、そのときに取得された画像および脳波の強度を利用して、学習済モデルを構築した。構築された学習済モデルを用いて、対象の画像から脳波の強度を推定することができるかを検証した。

（データ取得方法）
脳波データは、ｇ．Ｎａｕｔｉｌｕｓ ＲＥＳＥＡＲＣＨ（https://www.gtec.at/product/gnautilus-research/）のｇ．ＳＡＨＡＲＡシステム「Ｎａｕｔｉｌｕｓ Ｍｕｌｔｉ－Ｐｒｐｏｓｅ ３２」を用いて取得した。脳波のサンプリング周波数は、２５０Ｈｚであった。脳波記録時に、バンドパス（約０．１～約１００Ｈｚ）フィルタおよびノッチ（約４８～約５２Ｈｚ）フィルタを使用した。

動画データは、対象の正面顔を撮影するために、Ｍｉｃｒｏｓｏｆｔ Ｌｉｆｅｃａｍ Ｓｔｕｄｉｏウェブカメラを使用して取得した。動画のサンプリングレートは、３０ｆｐｓであった。

脳波データと動画データとの同時録画は、ｇ．ｔｅｃ（https://www.gtec.at/）のソフトウェア「ｇ．Ｒｅｃｏｒｄｅｒ」で制御した。脳波データと動画データとの同時録画を行っているときに、対象は運転ゲームを行った。３つのセッション（セッション＃１、＃２、＃３）では、対象の車の脇を他の車が通過する様子を映し出した。その後の３つのセッション（セッション＃４、＃５、＃６）では、対象は、単調な走行路を単独で運転した。

取得された脳波データのうち、デルタバンド（０．１～４．１Ｈｚ）で取得された脳波をモデル予測の対象とした。

（動画データ解析方法）
動画データを、ＯｐｅｎＣＶライブラリ（http://opencv.org/）を用いて画像としてコンピュータに取り込んだ。それぞれの画像を独立して処理し、顔の位置と顔のランドマークを検出した。顔の位置は、ｄｌｉｂライブラリで事前に学習したモデルにより、「ｇｅｔ＿ｆｒｏｎｔａｌ＿ｆａｃｅ＿ｄｅｔｅｃｔｏｒ」関数を用いて検出した。顔のランドマークは、「ｓｈａｐｅ＿ｐｒｅｄｉｃｔｏｒ」関数を用いて検出した。検出されたランドマークのうち、特徴量として、左眼に対応する６個の（ｘ，ｙ）座標、右眼に対応する６個の（ｘ，ｙ）座標、唇外形に対応する２０個の（ｘ，ｙ）座標、唇内形に対応する８個の（ｘ，ｙ）座標の計４０個の（ｘ，ｙ）座標を選択した。

両眼のそれぞれの左端および右端のｘ座標を用いて、眼の中心を推定した。両眼の中心に基づいて、両眼間の中心、両眼間の距離、頭部の回転角度を算出した。カメラと対象との間の距離の影響を、座標の値を両眼間の距離で除算することで補正した。頭部の回転角度を反転させることで、頭部傾斜の影響を補正した。

ｘ座標およびｙ座標のそれぞれの平均値を算出し、それらの平均値を原点（０，０）として、すべてのランドマークの座標を移動させ、データのセンタリングを行った。

センタリングされたデータを全セッションにわたって連結した。連結されたデータに対して、３０秒間のウインドウで移動平均を行い、低頻度のドリフトを観察した。各ｘ座標、ｙ座標のデータの線形回帰分析を行い、それぞれの低周波ドリフトを回帰した。各ｘ座標、ｙ座標のデータの残差について、Ｚスコアを算出した。

各眼の６個の（ｘ，ｙ）座標から、各眼のＥＡＲを算出した。各動画フレームから２つのＥＡＲが得られた。ＥＡＲを全セッションで連結し、データを平均値と二乗の合計の平方根とで正規化した。

（脳波データ解析方法）
データ解析は、ＰｙｔｈｏｎのＭＮＥライブラリ（https://mne.tools/stable/index.html）を用いて行った。６セッションのデータを連結し、バンドパスフィルタリング（約０．５～約２５Ｈｚ）を行った。ノイズを除去し、周波数平滑化を行った。

（ディープラーニングモデル）
４つのＬＳＴＭ層をカスケード接続したモデルを用いた。第１のＬＳＴＭ層は、８２入力を受け、６４の隠れニューロンを含み、第２のＬＳＴＭ層は、６４入力を受け、３２の隠れニューロンを含み、第３のＬＳＴＭ層は、３２入力を受け、１６の隠れニューロンを含み、第４のＬＳＴＭ層は、１６入力を受け、８の隠れニューロンを含んでいた。各ＬＳＴＭ層には、双曲線正接（ｔａｎｈ）関数で形成される活性化関数が続いた。第４のＬＳＴＭ層のｔａｎｈ関数の出力は完全連結層に送られ、この層は、８つの入力を受け取り、デルタバンドパワーの予測値として１つの値に変換した。

動画データと脳波データとを時間的に整列させたうえで、教師用入力データとして、４０個のランドマーク座標（ｘ，ｙ）から得られる８０個の入力ベクトルと、左右の眼のＥＡＲの２個の入力ベクトルとを含む８２個の特徴量を用いた。教師用出力データとして、対応する脳波データを用いた。

トレーニングセット：セッション＃１、＃２、＃３、＃５、＃６のデータには、５３３個のセグメントが含まれており、これらのデータをモデルの学習に使用した。

テストセット：セッション＃４のデータには、１２０個のセグメントが含まれており、これらのデータをモデルの性能をテストするために使用した。

予測誤差の評価基準として、各エポックにおける平均二乗誤差を算出した。オプティマイザとして、オプティマイザ・アダムを使用した。初期学習率を３．３３×１０^－５とした。学習率は、５００回の反復が終わるごとに、１／３ずつ減少させた。エポック数は、１０，０００とした。

トレーニングセットのデータを用いて、モデルの学習と検証とを行った。モデルのパラメータは、得られたエポックに起きて損失が新たな最小値に達する度に保存された。１０，０００エポックの反復が終了した後、テストセットのデータを投入し、モデルの予測性能を検証した。

（結果）
図６は、本実施例で構築されたモデルによる予測の結果を示す。

濃い実線が、予測された脳波のデルタ波成分の強度を表し、薄い実線が、実際に測定された脳波のデルタ波成分の強度を表している。横軸がセグメントを時系列に表しており、縦軸が正規化されたデルタ波成分の強度を表ししている。セッション＃４がテストセットによる結果である。

図６の結果から分かるように、デルタ波成分の変動を推定できていることがわかる。特に、セッション＃１～＃３での低い強度から、セッション＃４で増加している傾向を精度よく捉えることができている。

本発明は、対象の脳波の強度を推定するシステム、方法、およびプログラムを提供するものとして有用である。

１０ 対象
２０ カメラ
３０ ＡＩ
４０ 脳波の強度を示すデータ
１００ システム
１１０ インターフェース部
１２０ プロセッサ部
１３０ メモリ部
２００ データベース部

Claims (8)

1. 対象の脳波の強度を推定するシステムであって、
   対象の画像を受信する受信手段であって、前記画像は、前記対象の少なくとも眼の画像である、受信手段と、
   前記画像から前記対象の少なくとも眼に関連する特徴量を抽出する抽出手段と、
   少なくとも前記特徴量に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定する第１の推定手段であって、前記第１の推定手段は、被験体の少なくとも眼に関連する特徴量を入力されると、前記入力された特徴量に対応するデルタ波成分の強度を出力するように訓練されている少なくとも１つの学習済モデルを備える、第１の推定手段と
   を備えるシステム。
2. 前記特徴量は、前記画像中の前記対象のランドマークに対応する座標であり、前記第１の推定手段は、少なくとも前記座標に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定し、前記少なくとも１つの学習済モデルは、被験体のランドマークに対応する座標を入力されると、前記入力された座標に対応するデルタ波成分の強度を出力するように訓練されている、請求項１に記載のシステム。
3. 前記第１の推定手段は、シータ波成分、アルファ波成分、ベータ波成分、ガンマ波成分のうちの少なくとも１つの強度をさらに推定する、請求項１に記載のシステム。
4. 前記画像は、動画であり、前記第１の推定手段は、前記動画の各フレームに対して前記対象の脳波の少なくともデルタ波成分の強度を推定することにより、前記脳波の少なくともデルタ波成分の強度の時系列変動を推定する、請求項１～３のいずれか一項に記載のシステム。
5. 前記第１の推定手段によって推定された脳波の少なくともデルタ波成分の強度に基づいて、前記対象の状態を推定する第２の推定手段をさらに備える、請求項１～４のいずれか一項に記載のシステム。
6. 前記受信手段は、前記対象の生体情報をさらに受信するように構成され、
   前記第１の推定手段は、前記特徴量と前記生体情報とから前記対象の脳波の少なくともデルタ波成分の強度を推定するように構成され、前記少なくとも１つの学習済モデルは、被験体の少なくとも眼に関連する特徴量と前記被験体の生体情報とを入力されると、前記入力された特徴量および生体情報に対応するデルタ波成分の強度を出力するように訓練されている、請求項１～５のいずれか一項に記載のシステム。
7. 対象の脳波の強度を推定する方法であって、
   対象の画像を受信することであって、前記画像は、前記対象の少なくとも眼の画像である、ことと、
   前記画像から前記対象の少なくとも眼に関連する特徴量を抽出することと、
   少なくとも１つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定することと
   を含み、前記少なくとも１つの学習済モデルは、被験体の少なくとも眼に関連する特徴量を入力されると、前記入力された特徴量に対応するデルタ波成分の強度を出力するように訓練されている、方法。
8. 対象の脳波の強度を推定するプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータにおいて実行され、前記プログラムは、
   対象の画像を受信することであって、前記画像は、前記対象の少なくとも眼の画像である、ことと、
   前記画像から前記対象の少なくとも眼に関連する特徴量を抽出することと、
   少なくとも１つの学習済モデルを用いて、少なくとも前記特徴量に基づいて、前記対象の脳波の少なくともデルタ波成分の強度を推定することと
   を含む処理を前記プロセッサ部に行わせ、前記少なくとも１つの学習済モデルは、被験体の少なくとも眼に関連する特徴量を入力されると、前記入力された特徴量に対応するデルタ波成分の強度を出力するように訓練されている、プログラム。