JP2023554231A - 人工知能アルゴリズムを使用して少なくとも１つのｅｅｇ波形を処理することによって人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法、及びそのような方法を実施するように構成されたシステム - Google Patents

Abstract

少なくとも１つの適切にトレーニングされた畳み込みニューラルネットワークにより人の少なくとも１つのＥＥＧ波形を処理することによって該人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法、及び人の少なくとも１つのＥＥＧ波形を処理することによってそのような人のマイクロ睡眠の精神状態を検出するためのシステム。【選択図】図１

Description

本発明は、人工知能アルゴリズムによって、人の少なくとも１つのＥＥＧ波形を処理することによって、特定の人の精神状態、具体的には人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法に関する。

さらに、そのようなコンピュータ実施方法は、該精神状態を検出するとき、該人に警告することを提供する。

また、本発明は、前述の人工知能アルゴリズムによって、前述のＥＥＧ波形を処理することによって、前述の人の精神状態を検出するためのシステムに関する。

よく知られているように、ＥＥＧは、シナプス後電位の時空間的加重によって生成された細胞外の電流フローを測定する。これらのシナプス後電位について、１０～１００ｍｓの期間、２０ｍＶの最大振幅を有する。

これらの信号は、「国際１０－２０システム」と呼ばれる標準的な位置決めに従って、人の頭上に１つ以上の電極を設置することによって獲得され、「国際１０－２０システム」は、特に、各々、そのような人の頭皮上の左前頭極位置及び右前頭極位置にあるＦＰ１及びＦＰ２と呼ばれる２つの電極を設置することを含む。

さらに、獲得されるＥＥＧ信号は、生理的及び非生理的な性質があり得る複数のアーティファクトに影響を受けることが知られている。具体的には、生理学的性質のアーティファクトは、特にまぶたを開閉する運動を含む眼球運動に起因するアーティファクトを含む。

詳細には、眼球運動に起因するこれらのアーティファクトは、具体的には、無視できない振幅を提示し、特に、前述の２つの位置ＦＰ１及びＦＰ２で獲得されたＥＥＧ信号で、信号の残り部分から明確に区別可能である。

この理由から、これらの信号は、そのようなアーティファクトを信号からなくし、シナプス後電位に独占的に関連する信号を処理するために、常に適切にフィルタリングされる。

人に生じる可能性がある精神状態の観点から、眠気の精神状態が存在する。具体的には、この用語は、概して、また本発明の文脈では、起きていることが困難であることを意味し、通常、そのような眠気は睡眠－覚醒サイクルの遷移段階である。眠気は、麻痺状態及び意識レベルの低下を特徴とし、眠りに落ちる直前の典型的な兆候である。

眠気は、イライラ、注意力の欠如、まぶたの重苦しさの感情、あくび、及び目のこすりによって表れる。

この状態は、人の日中の様々な段階で、多くの場合、自然に、いずれかの禁忌症もなく発生する可能性があり、しかしながら、眠気が発生するとき、特に、人が車を運転するとき、非常に危険な状況をもたらす可能性がある。

この理由から、最近、人に警告し、彼または彼女がその精神状態から脱することを目的として、人がモーター付き車両を運転している間、そのような精神状態の発生を迅速に検出することが可能であるデバイスを発見することを可能にするために、多くの研究が行われている。

しかしながら、第１の分類のデバイスは、そのような精神状態を区別するために、ＥＥＧ信号と、頭の傾き等の人の運転中の身体運動を検出することが可能である器具とを組み合わせて使用することが必要になる。この場合、不利に、これらのデバイスは非常に複雑であり、１人により効果的に使用するために連結される。

先行技術に関する他の分類のデバイスは、連結式ではなく、使用するのがより簡単であるが、そのような眠気の精神状態及びリスクを迅速に検出することが不可能であり、そのような状態の報告がかなり遅くなり、したがって、事故及び危険な状況の可能性が増加する。

本発明は、先行技術の欠点を克服することを目的としている。

具体的には、本発明の目的は、先行技術によって提案されたシステム及びデバイスよりも効果的にそのような精神状態を検出することが可能である人工知能アルゴリズムによって少なくとも１つのＥＥＧ波形を処理することによって、特定の人の精神状態を検出するためのコンピュータ実施方法を提案することである。

本発明のさらなる目的は、先行技術によって提案されたシステム及びデバイスよりも速く特定の人の精神状態を検出することが可能である方法を提案することである。

前述の目的は、参照がなされる主要な請求項に従って、人工知能アルゴリズムによって少なくとも１つのＥＥＧ波形を処理することによって、特定の人の精神状態を検出するためのコンピュータ実施方法によって実現する。

本発明の方法のさらなる特性は従属請求項に説明される。

また、本発明の一部は、請求項１４に従った該人工知能アルゴリズムによって、該ＥＥＧ波形を処理することによって、該人の精神状態を検出するためのシステムである。

前述の目的は、下記に言及される利点と一緒に、添付図を参照して非限定的な例によって与えられる本発明のいくつかの好ましい実施形態の説明を通して良く強調される。

本発明のシステムの第１の実施形態の概略図を示す。 本発明のシステムの第２の実施形態の概略図を示す。

好ましいが非限定的な実施形態で以下に説明される本発明のコンピュータ実施方法は、人工知能アルゴリズムによって、好ましくは、少なくとも１つの適切にトレーニングされた畳み込みニューラルネットワークによって、さらにより好ましくは、「時間的畳み込みネットワーク」タイプの少なくとも１つの適切にトレーニングされたネットワークによって、同じ人について獲得された少なくとも１つのＥＥＧ波形を処理することによって、特定の人の精神状態を検出することを目的とする。

下記に検討される本発明の方法の実施例では、特定の人の精神状態は、「マイクロ睡眠」として定義された精神状態に対応して検出されることを目的とし、「マイクロ睡眠」は、上まぶたが完全に瞳孔を覆うまでの同じ人の上まぶたが垂れ下がるとき開始する人の身体状態を意味し、この覆われることは少なくとも０．５秒間維持される。

発明者による実験によって識別された前述のマイクロ睡眠状態は、それ自体、人の眠い精神状態の前段階として現れ、特許請求される方法を実証する発明者自身の本発明に関する発想は、結果として、同じ人と対話するための、または人に関するさらなる分析を開始するための適切なアクションを迅速に実施するために、そのようなマイクロ睡眠の精神状態の識別を活用することが可能になる。

本発明の好ましい実施形態によると、好ましいが必ずしもそうではなく、そのようなマイクロ睡眠の精神状態の検出は彼／彼女が車を運転中に人に対して実施され、これは、該人の覚醒状態から傾眠状態への起こり得る遷移を検出するために、そして、その結果、車を運転する同じ人に、彼／彼女が置かれている危険な状況が増大して差し迫っていることについて、迅速に警告するために行われる。

実際には、過度の眠気は交通事故の原因の約５分の１に関連し、高速道路での死亡事故の主な原因の１つであることがよく知られている。

しかしながら、そのようなマイクロ睡眠の精神状態の状況の検出は、アクチグラフィ調査を実行する等、他の目的のために使用され得ることが除外されるわけではない。

実際に、アクチグラフィは、夜間睡眠を評価するために使用される器具を用いた調査であることがよく知られている。より正確に言えば、アクチグラフィは、運動状態（覚醒状態）及び顕著な運動の減少（睡眠）の長時間の監視を可能する方法であり、睡眠－覚醒リズムの十分な客観的指標である。これに関連して、本発明の方法によるマイクロ睡眠の精神状態の検出により、前述の覚醒状態から個々の睡眠状態への遷移を迅速及び正確に検出することを可能にし、その検出の瞬間から、想定される前述のアクチグラフィ法によって想定されたさらなる分析を開始できる。

そのようなマイクロ睡眠の精神状態を検出するために、本発明のコンピュータ実施方法は、最初に、該人工知能アルゴリズムのトレーニングステップ、具体的には、該畳み込みニューラルネットワークのトレーニングステップを含む。

このトレーニングステップは、具体的には、そのようなＥＥＧ波形を獲得するために１つ以上の電極が装備された特殊デバイスによって、数人について獲得された複数のＥＥＧ波形を含むトレーニングＥＥＧ波形のセットを受信することを含む。

より正確に言えば、これらの波形の獲得に関して、発明者は、いくつかの運転セッションにわたって、具体的には、それぞれ約４０分続く、ドライバーごとに７セッションにわたって運転している数人を含む正確なプロトコルを設定している。

各セッション中、運転中の人は、既定の波形に従って一定速度を維持する必要があり、少なくとも１つのＥＥＧ波形は、１０－２０規格によって定義された人の頭皮上の位置の１つで、好ましくは、そのような頭皮上に２つある前頭極位置ＦＰ１または前頭極位置ＦＰ２のうちの１つで、人について獲得された。さらにより好ましくは、両方のＥＥＧ波形は、２つの前頭極位置ＦＰ１及びＦＰ２で獲得される。

実際に、そのような位置は、有利に、眼球運動に起因するアーティファクトのより正確及びより確実な検出を可能にする。

さらにより具体的には、前述のＥＥＧ波形の獲得は、６個の電極の使用を含み、４個の電極は前方（ＦＰ１，ＦＰ２，ＡＦ７，ＡＦ８）にあり、２つの電極はＴ５及びＴ６に位置付けられ、グランド電極はＡＦ８に位置付けられ、基準電極はＡＦ７に位置付けられる。基準電極がＡＦ７に設置されると、収集された信号は、ＦＰ１－ＡＦ７、ＦＰ２－ＡＦ７、Ｔ５－ＡＦ７、及びＴ６－ＡＦ７であり、畳み込みニューラルネットワークへの入力に適切な信号、すなわちＦＰ１－Ｔ６及びＦＰ２－Ｔ５のペアを定義するために、以下の減算を操作することによって、信号を再参照する。（ＦＰ２－ＡＦ７）－（Ｔ５－ＡＦ７）＝ＦＰ２－Ｔ５、及び（ＦＰ１－ＡＦ７）－（Ｔ６－ＡＦ７）＝ＦＰ１－Ｔ６。前額部ひいては髪が存在しない位置に設置された基準電極及びグランド電極を使用すると、有利に、電極自体が最適なインピーダンスレベルにすぐに到達することが可能になる。

しかしながら、本発明の変形実施形態によると、例えば位置Ｆ３－Ｆ７－Ｆｚ－Ｆ４－Ｆ８で、１０－２０規格に従って、異なる位置で、使用されるＥＥＧ波形を獲得し得ることが除外されるわけではない。

同時に、これらの運転セッション中、その人の目の画像、具体的には、その人の瞳孔の画像は、高精度の２つのマイクロカメラが装備された特殊眼鏡またはアイトラッカーを使用してキャプチャされる。

各セッションの最後に、獲得されたＥＥＧ波形を人の目の獲得された画像と経時的に比較し、そして、上まぶたが対象の目の瞳孔を完全に覆うまで同じ人の上まぶたが垂れ下がるときのそのセッション中の期間が記録される。この状態は少なくとも０．５秒間発生する。

このように、したがって、該身体状態が発生したＥＥＧ波形の一部を区別することが可能であった。

運転中の人の目に関するＥＥＧ波形及びビデオのこれらの獲得は、９人に対して実行された。しかしながら、治験に関わる９人よりも少ないまたは多い人数であり得ることが除外されるわけではない。

本質的に、発明者は、これらの実験の全体を通して、前述のマイクロ睡眠の精神状態、眠気状態の前段階を検出するために、眼球運動、具体的にはまぶたを開閉する運動のアーティファクトに起因する、ＥＥＧ波形がとる特定の波形を活用する可能性が理解される。

したがって、本発明の方法の説明に戻り、第１の好ましい実施形態によると、そのようなトレーニングＥＥＧ波形を受信することが想定され、さらに、前述のアノテーションを受信すること、このマイクロ睡眠の精神状態の場合、前述の精神状態のＥＥＧ波形の少なくとも１つの期間の検出を示すことが想定される。

具体的には、ＥＥＧ波形に関する信号はアナログ信号であるため、信号は人工知能アルゴリズムに入力される前に、本発明の好ましい実施形態に従って、最初に、同じアナログ信号を数値信号（またはデジタル信号）に変換することが想定される前処理ステップを提供する。そうすることで、後続の処理の結果を否定的に変え得る周波数成分をなくすために、信号の変換前にアナログ信号のフィルタリング操作も提供される。

具体的には、本発明のこの好ましい実施形態によると、０．００１～０．０５Ｈｚに選ばれたカットオフ周波数を有する高域フィルター及び／または１０～２５Ｈｚに選ばれたカットオフ周波数を有する低域フィルターによって、ＥＥＧ波形に関するアナログ信号をフィルタリングする。

明確に、これらのフィルターの両方を使用するとき、バンドパスフィルターが該２つのカットオフ周波数の値の間の帯域幅で取得される。

有利に、上述のカットオフ周波数がある高域フィルターの使用は、獲得された信号の背景雑音を除去することを可能にする。低域フィルターは、上述のカットオフ周波数において、筋肉アーティファクトに起因するそれらの周波数の全てを信号から除外することを可能し、代わりに、脳波周波数、及び眼球アーティファクト（まぶた運動）に起因する周波数を維持する。

上述のアノテーションに関して、入力として上記のＥＥＧ波形のそれぞれに、１つのアノテーションを受信することが想定される。

さらにより具体的には、好ましくは、そのようなアノテーションのそれぞれは、本明細書に説明される方法の第１の実施形態によると、第１のベクトルを含み、第１のベクトルは、さらには、既定のサンプリング範囲によって分割された、受信されたＥＥＧ波形の期間に等しいメモリセルの数を含み、該メモリセルのそれぞれには、特定のＥＥＧ波形の区間のサンプリング範囲のそれぞれについて、識別される人の精神状態の有無にアノテーションをつける。本明細書に説明される実施例は、好ましいが必ずしもそうではなく、このサンプリング範囲は５ｍｓ～５０ｍｓに、さらにより好ましくは１０ｍｓに選択されることが想定される。

さらにより好ましくは、上述の第１のベクトルのこれらのメモリセルのそれぞれは１ビットによって定義され、特定の精神状態（マイクロ睡眠）がＥＥＧ波形の関連の１０ｍｓで検出された場合、値１をとり得る、または、この精神状態が検出されなかった場合、値０をとり得る。

しかしながら、本発明の異なる実施形態によると、そのようなアノテーションのそれぞれは、単一のメモリセルが、該ＥＥＧ波形区間では、検出されるマイクロ睡眠の精神状態が少なくともある期間に検出されているかどうかを示すことを含むことが除外されるわけではない。

本発明の方法、具体的には、本発明の方法のトレーニングステップは、続いて、該人工知能アルゴリズムに、具体的には該時間的畳み込みネットワークに、ＥＥＧ波形及びそのアノテーションのそれぞれを入力データとして提供することを含む。

本発明に従った人工知能アルゴリズムに関して、そのアルゴリズムは、活性化関数、好ましくはシグモイド活性化関数で終了する。その関数では、入力されたＥＥＧ波形区間で、検出されるマイクロ睡眠の精神状態を検出する確率を記録する分類出力信号が取得される。

最後に、本発明の方法のトレーニングステップは、人工知能アルゴリズムは、処理することによって取得された分類出力信号を同じＥＥＧ波形に関するアノテーションと比較することによって、人工知能アルゴリズム自体をトレーニングするために、ＥＥＧ波形のそれぞれを処理することが想定される。

本発明の好ましい実施形態に従った分類出力信号に関して、分類出力信号は、第２のベクトルを含み、第２のベクトルは、さらには、既定のサンプリング範囲によって分割されたＥＥＧ波形の期間に等しいメモリセルの数を含み、メモリセルのそれぞれは、ＥＥＧ波形の特定のサンプリング範囲で、人の精神状態の検出の確率を記録する。

また、この場合、好ましいが必ずしもそうではなく、このサンプリング範囲は５ｍｓ～５０ｍｓに、さらにより好ましくは１０ｍｓに選ばれるはずである。

さらにより好ましくは、前述の第２のベクトルのこれらのメモリセルのそれぞれは、８バイト（「ダブルフロート」データ型）によって定義され、その値は、その１０ｍｓの期間でマイクロ睡眠の精神状態を検出する、または検出しない人工知能アルゴリズムによって計算された確率に従って変わる。

８バイトの使用は、第２のベクトルのメモリセルごとに、特定の１０ｍｓの範囲で人の精神状態を検出するまたは検出しない確率に関する倍精度データを取得するのに有利になる。

また、この場合、本発明の異なる実施形態によると、この分類出力信号は、入力されたＥＥＧ波形で特定のマイクロ睡眠の精神状態の検出の確率を記録することが可能である場合、異なる構造を提示し得ることが除外されるわけではない。

具体的には、各メモリセルのこのサイズは８バイトとは異なり得ることが除外されるわけではない。

本発明のコンピュータ実施方法の第１の好ましい実施形態の説明に戻ると、本方法は、さらに、好ましくは同じ人の頭皮上の前頭極位置ＦＰ１及び前頭極位置ＦＰ２に各々配置された２つの電極によって、人について獲得された１つ以上のＥＥＧ波形を分類するステップを含む。

上述したように、そのような１つ以上のＥＥＧ波形は、上述の位置ＦＰ１またはＦＰ２の１つだけで獲得され得ることが除外されるわけではない。

この分類ステップの目的は、該人の特定のマイクロ睡眠の精神状態の識別するまたは識別しないかの判断を可能にする。

本発明に従った分類ステップは、トレーニングステップの場合のように、少なくとも１つのＥＥＧ波形を受信することと、そのようなＥＥＧ波形に対して前処理ステップを行うことを含む。

処理されるＥＥＧ波形の前処理ステップは、トレーニングＥＥＧ波形の前処理ステップに関して上記に説明したように、同じ動作を正確に行うことを含む。この理由から、簡潔にするために、この説明は、また、処理されるＥＥＧ波形の分類ステップについても言及する。したがって、上記の広範囲に扱われる上述の動作の全てを繰り返すことが必要でなくなる。

したがって、本発明の方法は、上記に説明したトレーニングステップによって、人工知能アルゴリズムのトレーニング後に明確に、そのようなＥＥＧ波形を入力として、人工知能アルゴリズムに、具体的には、時間的畳み込みネットワークタイプのネットワークに提供することが想定される。

この時点でトレーニングされた人工知能アルゴリズムは、本発明に従って、該ＥＥＧ波形のそれぞれに、上記に説明したタイプの分類出力信号を出力として提供するように、ＥＥＧ波形を処理する。具体的には、上記に確認できるように、この信号は、前述の活性化関数の出力に提供される。

さらに、本発明の方法、具体的には、そのような分類ステップは、人工知能アルゴリズムによって提供された分類出力信号に基づいて、人の前述のマイクロ睡眠の精神状態の検出または非検出についての決定を提供する。

本発明の第１の好ましい実施形態によると、この決定ステップは、特定の分類出力信号に示される人の精神状態の検出の確率が所定の最小期間で所定閾値よりも大きいかどうかを検査することを含む。

例えば、この最小期間は０．６秒を下限値として選ばれ得る。しかしながら、その最小期間は１．２秒、１．８秒等として選ばれ得る。

代替として、本発明の異なる実施形態によると、この分類ステップ、具体的には、マイクロ睡眠の精神状態を検出するかどうかに関する決定は、人工知能アルゴリズムの下流に配置されたリカレントニューラルネットワーク、具体的には、時間的畳み込みネットワークタイプのネットワークによって実施され得、その結果、同じリカレントニューラルネットワークは、人工知能アルゴリズム自体によって、具体的には、時間的畳み込みネットワークタイプのネットワークによって生成された分類出力信号を入力として受信することが可能である。

そのようなリカレントネットワークの使用は、いわゆる、まばたきとして知られているものから、すなわち、まぶたの急速な一連の開閉から、マイクロ睡眠の精神状態であるとして、ここで定義されているものについての判別に有利に働く。

言い換えれば、本発明のそのような代替の実施形態によると、人工知能アルゴリズムへの入力としてのＥＥＧ波形でマイクロ睡眠の精神状態を検出するかどうかに関する決定は、また、「従来的」アルゴリズムよりはむしろ、人工知能アルゴリズムに任せられるであろうことが想定され得る。

最後に、本発明の第１の好ましい実施形態によると、本方法が少なくとも１つの獲得されたＥＥＧ波形区間におけるマイクロ睡眠の精神状態を検出すると、同じ方法は、警告信号を同じ人に迅速に提供することを提供し、その結果、運転中である場合、彼／彼女がそのような精神状態から脱するように促され、覚醒の精神状態に戻される。

そのような警告信号は、振動信号または低強度電気信号等、音声信号、視覚信号、または触覚信号であり得る。

明確に、人のＥＥＧ波形を獲得するステップ、該ＥＥＧ波形を分類するステップ、マイクロ睡眠の精神状態の存在を決定するステップが行われ、続いて、彼または彼女が彼自身または彼女自身で気付いている危険状態について、運転中の人に迅速に警告することが可能であるように、順に及びリアルタイムでそのように実行する必要がある場合、警告信号を生成するステップが行われる。

本発明の方法の第２の好ましい実施形態は、下記に説明される違いを除いて、上述の第１の実施形態に関して既に広範囲に説明された全てのステップが想定される。

具体的には、トレーニングステップ中及び分類ステップ中の両方に、該第２の好ましい実施形態に従った本発明の方法では、該前処理ステップは、また、好ましくはデジタルに変換されると、既定期間Ｘの時間区間へのＥＥＧ波形のそれぞれの再分割を含むことが提供される。本明細書に説明されるこの例示的な実施形態によると、好ましいが必ずしもそうではなく、この既定期間Ｘは１秒～１５秒に含まれる範囲に選ばれ、さらにより好ましくは、その期間は８秒として選ばれる。

有利に、既定期間Ｘのそのような８秒の時間値の選択により、ＥＥＧ波形区間の処理時間の短縮と、同じＥＥＧ波形区間で検出される人の起こり得る精神状態の十分な検出の保証との間の妥協を可能にする。

しかしながら、異なる値はそのような既定期間Ｘとして選ばれ得ることが除外されるわけではない。

その上、好ましいが必ずしもそうではなく、この時間区間への分割は、ＥＥＧ波形の隣接区間の各ペアが該既定期間Ｘの半分に等しい持続時間で重複することが必要になる。したがって、この場合、隣接区間の各ペアは４秒の重複がある。また、この点で、本発明の異なる実施形態によると、そのような重複が提供されないこと、または、そのような重複の時間が上述の既定期間Ｘの半分と異なること、が除外されるわけではない。

さらに、本発明の方法は、この第２の好ましい実施形態によると、この前処理ステップ中、各ＥＥＧ波形区間が時間領域から周波数領域に変換され、２次元デジタル画像として表されることが提供される。

周波数領域の変換に関して、好ましくはフーリエ変換に基づくアルゴリズム、具体的には高速フーリエ変換（ＦＦＴ）を使用して実行される。

より正確に言えば、このフーリエ変換によって導出された画像は、好ましくは、変換中、周波数０．１Ｈｚ、０．２５Ｈｚ、０．５Ｈｚと、１～２５Ｈｚの整数値の全ての周波数を考慮することによって取得される。

具体的には、フーリエ変換を実行するための周波数値のこの選択は、眼球運動の信号特性の成分、具体的には前述のマイクロ睡眠の精神状態の間に発生する眼球運動の信号特性の成分を不変に維持することを可能にし、同時に、信号から、この眼球運動に関連がないそれらの成分の全てを除去することを可能にする。

本発明の方法の代替の実施形態によると、フーリエ変換を実施するために考慮される周波数の数及び値は、本発明の第１の好ましい実施形態に関して上記に示したものと異なり得ることが除外されるわけではない。

本発明の方法の前述の第２の好ましい実施形態の説明に戻ると、前述の変換情報を２次元画像として表すことに関して、該画像は好ましくは２８×１５４画素のサイズの２次元グレースケールデジタル画像であり、各画素は４バイト（「フロート」データタイプ）によって表される。

画像の特定のサイズは以下のロジックに従って選ばれる。行数、すなわち２８行は、フーリエ変換中に考慮される前述の周波数の数に等しくなるように選ばれる一方、列数、すなわち１５４列は、信号がＥＥＧ波形区間に関する時間領域で分割されたウィンドウの数であり、ウィンドウのそれぞれに、この変換が行われる。各画素が４バイトで表される選択に関して、これは、有利に、各画素が表すデータの精度に起因する。

結果として、このことから、本発明の方法の異なる実施形態によると、フーリエ変換中に考慮される周波数の選択に応じて及び該選ばれた再分割ウィンドウの数に応じて、また、画像のサイズは状況に応じて変わり得る。

また、各画素のサイズは４バイトとは異なるように選ばれ得ることも除外されるわけではない。

本発明の第１の好ましい実施形態と同様に、各アノテーションを識別する第１のベクトル及び各分類信号を定義する第２のベクトルの両方は、該既定のサンプリング範囲によって分割された該既定期間Ｘに等しいメモリセルの数を有する。

しかしながら、第２の好ましい実施形態の場合、このサンプリング範囲の値は５０ｍｓ～１５０ｍｓ、さらにより好ましくは１００ｍｓに選ばれる。

したがって、本発明の方法の第２の好ましい実施形態の場合、上記に確認できるように、各ＥＥＧ波形区間の該既定期間が８秒になるように選ばれるため、該第１のベクトルは８０個のメモリセル（８秒／１００ｍｓ）を含み、したがって、それぞれ、１００ｍｓの期間があるそのようなＥＥＧ波形区間の期間に関する。

したがって、本発明の方法は、第２の好ましい実施形態によると、各ＥＥＧ波形区間は、前述の人工知能アルゴリズムに、具体的には畳み込みニューラルネットワークに、それぞれ２次元デジタル画像の形式で入力されることが提供される。

人工知能アルゴリズムのアーキテクチャ、具体的には前述の少なくとも１つの畳み込みニューラルネットワークのアーキテクチャに関して、好ましいが必ずしもそうではなく、そのアーキテクチャは、連続的に、
－さらには順に、３２個の４×４フィルターを伴う畳み込み層、ＲｅＬＵ（修正線形ユニット）層、及び正規化層を含む、第１の畳み込みブロック、
－さらには順に、６４個の４×４フィルターを伴う畳み込み層、ＲｅＬＵ（修正線形ユニット）層、正規化層、及び２０％ドロップアウト層を含む、第２の畳み込みブロック、
－２×２のサイズ及びピッチ２のプーリング層、
－さらには順に、６４個の４×４フィルターを伴う畳み込み層、ＲｅＬＵ（修正線形ユニット）層、及び正規化層を含む、第３の畳み込みブロック、
－さらには順に、６４個の４×４フィルターを伴う畳み込み層、ＲｅＬＵ（修正線形ユニット）層、正規化層、及び２０％ドロップアウト層を含む、第４の畳み込みブロック、
－さらには順に、３２個の３×３フィルターを伴う畳み込み層、ＲｅＬＵ（修正線形ユニット）層、及び正規化層を含む、第５の畳み込みブロック、
－順に、１２８個のニューロンのＦＣ層及びＲｅＬＵ（修正線形ユニット）層が装備された、第１のＦＣ（全結合）ブロック、
－上述の活性化関数、具体的にはシグモイド活性化関数を定義する８０個のニューロンを伴う第２のＦＣ（全結合）ブロック、を提供する。

明確に上記に示されるように、先ほど説明した人工知能アルゴリズムのアーキテクチャは、好ましいが非限定的な実施形態である。言い換えれば、本発明の方法の異なる実施形態は、前述のマイクロ睡眠の精神状態を検出することが可能である場合、異なるアーキテクチャを有する人工知能アルゴリズムを含み得る。

上述したように、本発明の一部は、また、人の少なくとも１つのＥＥＧ波形を処理することによって、該人の精神状態を検出するためのシステム１であり、システム１の第１の好ましい実施形態は図１に示される。

具体的には、本発明の好ましい実施形態によると、システム１は、人のマイクロ睡眠の精神状態の存在を検出するように構成され、陽性の事例では、彼または彼女が車を運転している場合、彼または彼女が置かれている危険状態について人に迅速に信号を発するように、警告信号を該人に送るように構成される。

本発明によると、システム１は、図１で２によって示された人Ｐによって装着可能なデバイスを含み、その結果、同じウェアラブルデバイス２は、少なくとも、そのような人Ｐの頭皮の前部に設置される。好ましいが必ずしもそうではなく、そのようなウェアラブルデバイス２は、そのような人の頭上に装着できるように円環形を有する。

本発明のシステム１に関するウェアラブルデバイス２の好ましい実施形態は、前頭極位置ＦＰ１及びＦＰ２で、人Ｐの頭皮と接触して配置されるように構成されたＥＥＧ波形を獲得するために２つの電極３及び４を含む。さらに、本発明の好ましい実施形態によると、システム１に付属するウェアラブルデバイス２は６個の電極を含み、６個の電極のうち、４個は前方の電極（図１で、３で示されるＦＰ１、４で示されるＦＰ２、１５で示されるＡＦ７、１６で示されるＡＦ８）であり、２個は、図１に見えないＴ５、図１に１７で示されるＴ６に位置付けられ、グランド電極はＡＦ８に位置付けられ、基準電極はＡＦ７に位置付けられる。基準電極がＡＦ７に設置されると、収集された信号は、ＦＰ１－ＡＦ７、ＦＰ２－ＡＦ７、Ｔ５－ＡＦ７、及びＴ６－ＡＦ７であり、畳み込みニューラルネットワークへの入力に適切な信号、すなわちＦＰ１－Ｔ６及びＦＰ２－Ｔ５のペアを定義するために、以下の減算を操作することによって、信号を再参照する。（ＦＰ２－ＡＦ７）－（Ｔ５－ＡＦ７）＝ＦＰ２－Ｔ５、及び（ＦＰ１－ＡＦ７）－（Ｔ６－ＡＦ７）＝ＦＰ１－Ｔ６。前額部ひいては髪が存在しない位置に設置された基準電極及びグランド電極を使用すると、有利に、電極自体が最適なインピーダンスレベルにすぐに到達することが可能になる。

代替として、図２に示されるように、デバイスは、前頭極位置ＦＰ１及びＦＰ２で、人Ｐの頭皮と接触して設置されるように構成されたＥＥＧ波形を獲得するために前述の２つの電極３及び４を含み得、さらに、同じデバイスは、位置ＣＺに該人の頭皮と接触するように設置されるのに適切な第３の基準電極５を含み得る。

また、この場合、ウェアラブルデバイス２は、バイアス電極またはグランド電極として知られている追加電極を含む。

これらの実施形態の両方に従って、好ましくは全ての電極はドライ電極であり、「ドライタイプの電極」とも呼ばれ、すなわち、それらの電極は、電極自体と人の頭皮との間に導体ペーストの塗布が必要ない。しかしながら、電極自体はウェットであり得、「ウェット」タイプとも呼ばれ、すなわち、そのような導体ペーストの塗布が必要になることが除外されるわけではない。

さらに、本発明の異なる実施形態によると、ウェアラブルデバイス２は、該基準電極が明確に設けられたことに加えて、前頭極位置ＦＰ１に、または代替として前頭極位置ＦＰ２に、人の頭皮と接触して配置されるように構成された単一電極が設けられていることが除外されるわけではない。

さらに、そのようなウェアラブルデバイスは、前頭極位置ＦＰ１及びＦＰ２で人の頭皮と接触して設置されるように構成された２つの電極に加えて、または２つの電極の代替として、位置Ｆ３－Ｆ７－Ｆｚ－Ｆ４－Ｆ８等、同じ人の頭皮の異なる位置にＥＥＧ波形を獲得するように構成された追加電極を提供し得ることが除外されるわけではない。

本発明の好ましい実施形態によると、該ウェアラブルデバイス２は、また、電極３及び電極４から該ＥＥＧ波形を受信し、アナログＥＥＧ波形をデジタルＥＥＧ波形に変換（ＡＤＣ変換）を行うように構成された、ウェアラブルデバイス２自体の制御論理ユニット６も含む。

その上、ウェアラブルデバイス２は、また、警告手段７も装備され、警告手段７の有用性は簡単に詳細に説明される。

さらに、本発明の好ましい実施形態は、ウェアラブルデバイス２には、外部電子デバイスとの該ウェアラブルデバイス２の通信が有効にすることを可能にする第１の無線通信手段８が設けられることが想定される。

具体的には、ウェアラブルデバイス２の制御論理ユニット６は、該ＥＥＧ波形が獲得され、デジタル形式に変換されると、そのような第１の無線通信手段８を介して、該波形を該外部デバイスに伝達するように構成される。

好ましい実施形態と異なる実施形態によると、そのような第１の無線通信手段８は存在しないことが除外されるわけではない。実際には、そのような代替の実施形態に関して明らかに簡単になるように、ウェアラブルデバイス２は、実質的に、スタンドアローンデバイスである。

本発明の好ましい実施形態の説明に戻ると、システム１はさらに電子制御ユニット９を含み、電子制御ユニット９は、さらには、本発明の方法の説明中に提示された前述の人工知能アルゴリズムを記憶する記憶手段１０を含む。さらに、電子制御ユニット９は、そのような人工知能アルゴリズムを実行するように構成された処理手段１１、好ましくはマイクロプロセッサ１２を含む。

本発明の好ましい実施形態によると、該電子制御ユニット９は例えばスマートフォンまたはタブレット等のモバイルデバイス１３に付属し、モバイルデバイス１３は、さらには、同じウェアラブルデバイス２によって獲得された該ＥＥＧ波形を受信するために、ウェアラブルデバイス２の第１の無線通信手段７との無線通信を確立するように構成された第２の無線通信手段１４が装備される。

この場合、そのような第１の無線通信手段８及び第２の無線通信手段１４は近接無線通信手段であり、例えば、それらの無線通信手段は、ＢｌｕｅｔｏｏｔｈまたはＢＬＥ通信技術を実装し得る。

本発明のシステム１の代替の実施形態では、他方では、該電子制御ユニット９は図に示されないリモートサーバーに付属することが想定され得る。この場合、そのような第１の無線通信手段８及び第２の無線通信手段１４は、サーバーとウェアラブルデバイス２との間でインターネット接続を確立することを可能にする。

さらに、本発明の第３の代替の実施形態によると、この電子制御ユニット９は、ウェアラブルデバイス２の制御論理ユニット６に対応し得る。したがって、そのような場合、上述したように、ウェアラブルデバイス２は、独立して、本発明の方法を実施することが可能であり、前述の第１の無線通信手段８がない場合があり得、したがって、スタンドアローンタイプデバイスを実装する。

上記に説明したように、前述の人工知能アルゴリズムが実行中にセットされ、入力されたＥＥＧ波形をウェアラブルデバイス２から受信するとき、人工知能アルゴリズムは、上記の長さに説明されている前述のトレーニングステップ、分類ステップ、またはそれらのステップの両方を行うように構成される。

この電子制御ユニット９は、前述の適切にトレーニングされた人工知能アルゴリズムによって分類ステップを行う場合、また、人のマイクロ睡眠の精神状態の特定の場合、人工知能アルゴリズム自体によって生成された分類出力信号に基づいて、精神状態を識別するまたは識別しないかに関する意思決定ステップを実行するように構成される。この意思決定ステップは、上記に説明した２つの代替手段によって実施できる。

電子制御ユニット９はこの意思決定ステップを実行して、前述のマイクロ睡眠の精神状態を検出することを決めると、同じ電子制御ユニット９は、前述の第１の無線通信手段８及び第２の無線通信手段１４によって、警告信号ＡＳをウェアラブルデバイス２に送信するように構成される。前述の警告信号ＡＳの受信に続いて、ウェアラブルデバイス２は、前述の警告手段７によって、同じウェアラブルデバイス２を装着している人が置かれている危険状態について信号を送るように構成される。

好ましくは、そのような警告手段７は、振動または低強度の電気信号等、可聴警告手段及び／または視覚警告手段及び／または触覚警告手段を含む。

上述したように、この一連の動作はリアルタイムで実行され、該人が車を運転する場合、そして前述のマイクロ睡眠の精神状態、眠気状態の前段階に入る場合に極めて効果的である。

しかしながら、本発明のシステム１の異なる実施形態によると、ウェアラブルデバイス２は前述の警告手段７が設けられていなく、そして、分類ステップ、及びマイクロ睡眠の精神状態を検出する後続のステップを使用して、人の覚醒状態から睡眠状態への遷移を迅速及び正確に検出し、その検出の瞬間から、例えば、前述のアクチグラフィ法によって想定されたさらなる分析を開始することが可能になることが除外されるわけではない。

この目的を達成するために、ウェアラブルデバイス２には、必ず、前頭極位置ＦＰ１及びＦＰ２に設置するのに適切な２つの電極３及び４と、後頭部位置Ｏ１及びＯ２に設置されるのに適切な図に示されない２つの追加電極と、さらにパルスオキシメーターと、を装備する必要がある。

さらに、本発明の変形実施形態によると、ウェアラブルデバイス２は、また、人の頭の垂れ下がりに関連する運動を検出することによって、特定の精神状態、具体的にはマイクロ睡眠を検出する性能を改善するために、ＩＭＵ（慣性測定ユニット）が装備され得る。

加えて、ウェアラブルデバイス２は皮膚電気活動を測定するセンサーが装備され得、そのセンサーは、ユーザーが「汗をかいている」かどうかを検出し、その後、収集される信号の品質を改善するために、電極の下にある皮膚を乾かす必要性について、彼／彼女に警告し得る。

上述に従って、コンピュータ実施方法、及び該方法を実施するように適応するシステムは、事前に定められた全ての目標を実現する。

具体的には、先行技術によって提案されたシステム及びデバイスよりも効果的にそのような精神状態を検出することが可能である人工知能アルゴリズムによって少なくとも１つのＥＥＧ波形を処理することによって、特定の人の精神状態を検出するためのコンピュータ実施方法を提案する目標が実現される。

本発明によって実現するさらなる目的は、先行技術によって提案されたシステム及びデバイスよりも速く特定の人の精神状態を検出することが可能である方法を提案することである。

Claims (15)

1. 人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法であって、マイクロ睡眠は、瞳孔を完全に覆うために人の上まぶたが下がるときに開始する人の身体状態を意味し、前記覆われることは少なくとも０．５秒間維持され、陽性の事例では、前記人に警告するために、前記検出は、少なくとも１つの適切にトレーニングされた畳み込みニューラルネットワークによって、前記人の少なくとも１つのＥＥＧ波形を処理することによって実施され、前記方法は、
   －数人の頭皮上の前頭極位置ＦＰ１またはＦＰ２に設置された少なくとも１つの電極によって、２人以上について獲得された複数の前記ＥＥＧ波形を含むトレーニングＥＥＧ波形のセットを受信する動作と、
   －前記トレーニングＥＥＧ波形のそれぞれについて、前記マイクロ睡眠の精神状態の前記ＥＥＧ波形の少なくとも１つの期間を検出することを目的とする識別を示すアノテーションを受信する動作と、
   －前記ＥＥＧ波形及び前記関連のアノテーションのそれぞれを、前記畳み込みニューラルネットワークの入力データとして提供する動作であって、前記畳み込みニューラルネットワークは、前記入力されたＥＥＧ波形の前記マイクロ睡眠の精神状態の前記検出の確率が記録される分類出力信号を取得するために、シグモイド活性化関数で終了し、提供する動作と、
   －前記畳み込みニューラルネットワークによって、前記ＥＥＧ波形のそれぞれを処理して、前記畳み込みニューラルネットワークをトレーニングし、前記分類出力信号を前記ＥＥＧ波形に関する前記アノテーションを比較する動作と、
   を含む、トレーニングステップを含むことを特徴とする、コンピュータ実施方法。
2. 前記コンピュータ実施方法は、そのように、前記人の前記マイクロ睡眠の精神状態を識別するまたは識別しないように、前記人の前記頭皮上における前頭極位置ＦＰ１またはＦＰ２に配置された少なくとも１つの電極によって人について獲得された少なくとも１つのＥＥＧ波形を分類するステップを含み、前記分類ステップは、
   －前記少なくとも１つのＥＥＧ波形を受信する動作と、
   －前記畳み込みニューラルネットワークをトレーニングした後、前記ＥＥＧ波形を入力として前記畳み込みニューラルネットワークに提供する動作と、
   －前記既にトレーニングされた畳み込みニューラルネットワークによって前記ＥＥＧ波形を処理する動作と、
   －前記ＥＥＧ波形の前記分類出力信号を前記活性化関数から受信し、前記分類出力信号に基づいて、前記人の前記マイクロ睡眠の精神状態の前記識別するまたは識別しないかを決定する動作と、
   を含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
3. 前記分類ステップ、具体的には、前記人の前記マイクロ睡眠の精神状態を検出または検出しないかの前記決定は、前記人の前記頭皮上の前頭極位置ＦＰ１及び前頭極位置ＦＰ２に配置された２つの電極によって獲得された前記ＥＥＧ波形を処理することによって取得された前記分類出力信号に基づいていることを特徴とする、請求項２に記載のコンピュータ実施方法。
4. 前記コンピュータ実施方法は、前記トレーニングステップ及び前記分類ステップの両方に関して、０．００１～０．０５Ｈｚに選ばれたカットオフ周波数を有する高域フィルター及び／または１０～２５Ｈｚに選ばれたカットオフ周波数を有する低域フィルターによって、前記ＥＥＧ波形をフィルタリングすることを含む前記ＥＥＧ波形の前処理ステップを含むことを特徴とする、請求項２または３に記載のコンピュータ実施方法。
5. 前記畳み込みニューラルネットワークは「時間的畳み込みネットワーク」タイプのネットワークであることを特徴とする、請求項２～４のいずれか１項に記載のコンピュータ実施方法。
6. 前記人の精神状態を検出するかどうかを決定する前記動作は、前記少なくとも１つの畳み込みニューラルネットワークの下流に配置された少なくとも１つのリカレントニューラルネットワークによって実施され、その結果、前記リカレントニューラルネットワークは、前記畳み込みニューラルネットワークによって生成された前記分類出力信号を入力として受信することを特徴とする、請求項２～４のいずれか１項に記載のコンピュータ実施方法。
7. 前記ＥＥＧ波形において前記人の精神状態を検出または検出しないかの意思決定動作は、前記分類出力信号に示された前記マイクロ睡眠の精神状態を識別する尤度が、所定の最小期間でプリセットした閾値よりも大きいかどうかを検証することが想定されることを特徴とする、請求項２～４のいずれか１項に記載のコンピュータ実施方法。
8. 前記コンピュータ実施方法は、前記トレーニングステップ及び前記分類ステップの両方に関して、前記畳み込みニューラルネットワークの入力として前記ＥＥＧ波形を提供する前に、前記ＥＥＧ波形に対して前処理ステップを行うことが想定され、前記前処理ステップは、既定の期間（Ｘ）の時間区間への前記ＥＥＧ波形のそれぞれの少なくとも１つの再分割を含むことを特徴とする、請求項２または３に記載のコンピュータ実施方法。
9. 前記ＥＥＧ波形区間は、人工知能アルゴリズムに入力としてセットされる前に、時間領域から周波数領域に変換され、２次元デジタル画像として示されることを特徴とする、請求項８に記載のコンピュータ実施方法。
10. 前記２次元デジタル画像はサイズ２８×１５４のグレースケール２次元デジタル画像であることを特徴とする、請求項９に記載のコンピュータ実施方法。
11. 前記ＥＥＧ波形の前記アノテーションのそれぞれは、プリセットしたサンプリング範囲で分割された前記ＥＥＧ波形のそれぞれの前記期間に等しいメモリセルの数を含む第１のベクトルを含み、前記メモリセルのそれぞれには、前記ＥＥＧ波形の前記サンプリング範囲のそれぞれについて、前記人の精神状態の有無が記録されることを特徴とする、請求項２～１０のいずれか１項に記載のコンピュータ実施方法。
12. 前記分類出力信号は、プリセットしたサンプリング範囲で分割された前記ＥＥＧ波形のそれぞれの前記期間に等しいメモリセルの数を含む第２のベクトルを含み、前記メモリセルのそれぞれには、前記ＥＥＧ波形の特定のサンプリング範囲のそれぞれにおいて、前記人の精神状態を識別する尤度が記録されることを特徴とする、請求項２～１１のいずれか１項に記載のコンピュータ実施方法。
13. 前記サンプリング範囲は５ｍｓ～５０ｍｓに含まれ、好ましくは、前記サンプリング範囲は１０ｍｓになるように選ばれることを特徴とする、請求項１１または１２に記載のコンピュータ実施方法。
14. 人（Ｐ）の少なくとも１つのＥＥＧ波形を処理することによって、前記人（Ｐ）の精神状態を検出するためのシステム（１）であって、
    －前記人（Ｐ）によって装着可能なデバイス（２）であって、前記ウェアラブルデバイス（２）は少なくとも前記人（Ｐ）の頭皮の前部に設置され、前記ウェアラブルデバイス（２）は、前記人（Ｐ）の前記頭皮自体の前記前頭極位置ＦＰ１またはＦＰ２で前記人（Ｐ）の前記頭皮と接触して設置されるように適応する少なくとも１つの電極（３，４）が設けられ、前記ウェアラブルデバイス（２）は、前記電極（３，４）によって前記人（Ｐ）の前記少なくとも１つのＥＥＧ波形を獲得するように構成される、ウェアラブルデバイス（２）と、
    －畳み込みニューラルネットワークが請求項１～１３のいずれか１項に従って記憶される記憶手段（１０）と、前記畳み込みニューラルネットワークを実行するように構成された処理手段（１１）とを含む、電子制御ユニット（９）と、を備え、前記畳み込みニューラルネットワークは、
    －前記畳み込みニューラルネットワークが前記トレーニングＥＥＧ波形ならびに前記トレーニングＥＥＧ波形のアノテーションを入力として受信するときに、請求項１に記載の前記トレーニングステップ、及び／または
    －前記人の特定のマイクロ睡眠の精神状態を検出するまたは検出しないように、前記畳み込みニューラルネットワークが前記人（Ｐ）の少なくとも１つのＥＥＧ波形を入力として受信するとき、請求項２に記載の前記分類ステップ、
    －前記電子制御ユニットが前記人の前記マイクロ睡眠の精神状態を検出するとき、前記マイクロ睡眠の精神状態の前記検出について、前記人に警告するように構成された警告手段、
    を実行するように構成されることを特徴とする、システム（１）。
15. 前記ウェアラブルデバイスは第１の無線通信手段（８）が設けられ、前記電子制御ユニット（９）はデバイス（１３）に付属し、前記デバイス（１３）は、前記ウェアラブルデバイス（２）と異なり、第２の無線通信手段（１４）が設けられ、前記ウェアラブルデバイス（２）は、前記少なくとも１つのＥＥＧ波形が獲得されると、前記第１の無線通信手段（８）及び前記第２の無線通信手段（１４）によって、前記少なくとも１つのＥＥＧ波形を前記電子デバイス（１３）に移送するように構成されることを特徴とする、請求項１３に記載のシステム（１）。

Images