JP6959793B2

JP6959793B2 - 瞬き検出システム、瞬き検出方法

Info

Publication number: JP6959793B2
Application number: JP2017154272A
Authority: JP
Inventors: 知明大槻; 幸平山本; 健太郎豊田
Original assignee: Data Solutions Inc
Current assignee: Data Solutions Inc
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2021-11-05
Anticipated expiration: 2037-08-09
Also published as: JP2019030582A

Description

本発明は、瞬き検出システム、瞬き検出方法に関する。

近年、被験者の疲労度、ストレス、健康状態等を把握するために、例えばドップラーセンサを用いて非接触で瞬きを検出する瞬き検出システムが検討されている。ドップラーセンサを用いた瞬き検出システムにおいて、瞬きの検出精度を向上することは重要な課題であり、そのために様々な提案がなされている。

例えば、機械学習に基づいて瞬きを検出する手法が提案されている（例えば、非特許文献１参照）。この手法では、瞬き信号について５つの特徴量（電圧最大値、時間幅、分散、生信号の分散、生信号の電圧最大値）を定義し、機械学習の一つであるＳＶＭ（Support Vector Machine）により瞬きと非瞬きを識別することで一定の検出精度を確保している。

しかしながら、従来から提案されている手法では、例えば、車内環境のような雑音レベルが高く、顔の向きが変化し易く、瞬きと同じような周波数成分を含む素早い体動が発生するような環境では、十分な検出精度が得られなかった。

C，Tamba and T．Ohtsuki，"Learning−based Blink Detection Using a Doppler Sensor，"IEICE technical report，vol．114，no．418，ASN2014−123，pp．97−102．Jan．2015．

本発明は、上記の点に鑑みてなされたものであり、瞬きの検出精度を向上することを目的とする。

本瞬き検出システムは、被験者からの反射波を受信してＩ信号及びＱ信号を取得するドップラーセンサと、前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出部と、前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出部と、前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出部と、各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き判定部と、を有することを要件とする。

開示の技術によれば、瞬きの検出精度を向上することができる。

本実施の形態に係る瞬き検出システムの概略構成を例示する図である。ドップラーセンサで得た信号の一例である。本実施の形態に係る信号処理部のハードウェアブロックを例示する図である。本実施の形態に係る信号処理部の機能ブロックを例示する図である。本実施の形態に係る瞬き検出システムの動作を示すフローチャートの一例である。Ｉ信号及びＱ信号から得た信号の一例である。振幅信号から算出したスペクトログラムの一例である。スペクトログラム上のエネルギー積分の積分値の一例である。ＣＡ−ＣＦＡＲ検出について説明する図である。複数のビンから構成されるウィンドウの一例である。ウィンドウ内の各ビンに含まれるエネルギーを要素とする行列Ｍｅの一例である。特徴量ベクトルの形成について説明する図である。瞬きと分類されたデータ、非瞬きと分類されたデータの一例である。

以下、図面を参照して、実施の形態の説明を行う。なお、各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

図１は、本実施の形態に係る瞬き検出システムの概略構成を例示する図である。図１に示すように、瞬き検出システム１は、主要な構成要素として、ドップラーセンサ１０と、信号処理部２０とを有している。

ドップラーセンサ１０は、ドップラー効果による送信信号と受信信号の周波数シフトを観測することで、観測対象（被験者）の動きを検出するセンサである。本実施の形態では、一例として、送信波として無変調連続波（ＣＷ：Continuous Wave）を用いる。

ドップラーセンサ１０は被験者の近傍に配置され、被験者の瞼又はその近傍で反射された信号（反射波）を受信し、観測対象の動きにより発生した信号を得ることができる。被験者としては、例えば、車両の運転者、画像表示端末（ＶＤＴ）で作業する作業者等が挙げられる。

図２は、ドップラーセンサで得た信号の一例である。図２に示す信号は、送信信号と受信信号の間の周波数シフトを表わす信号を時間の関数として取得したものであり、送信信号と同相（In-phase）成分であるＩ信号、及び直交位相（Quadrature）成分であるＱ信号で構成される。

瞬き、心拍や呼吸、体動（身体による動作）等の身体の表面の動きはドップラーセンサ１０により観測できる。瞬き検出を行う際には、ハイパスフィルタやバンドパスフィルタ等を用いて適宜ノイズ除去を行うことが好ましい。

図１に戻り、信号処理部２０は、ドップラーセンサ１０の出力信号に基づいて、被験者の瞬きを検出する。信号処理部２０は、適宜、ドップラーセンサ１０で受信した信号のＩ信号及びＱ信号をそのまま利用したり、Ｉ信号及びＱ信号に基づいて各種信号（振幅、位相、それらの積分値等）を生成したりすることができる。

図３は、本実施の形態に係る信号処理部のハードウェアブロックを例示する図である。図３を参照するに、信号処理部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、Ｉ／Ｆ２４と、バスライン２５とを有している。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及びＩ／Ｆ２４は、バスライン２５を介して相互に接続されている。

ＣＰＵ２１は、信号処理部２０の各機能を制御する。記憶手段であるＲＯＭ２２は、ＣＰＵ２１が信号処理部２０の各機能を制御するために実行するプログラムや、各種情報を記憶している。記憶手段であるＲＡＭ２３は、ＣＰＵ２１のワークエリア等として使用される。又、ＲＡＭ２３は、所定の情報を一時的に記憶することができる。Ｉ／Ｆ２４は、瞬き検出システム１を他の機器等と接続するためのインターフェイスである。瞬き検出システム１は、Ｉ／Ｆ２４を介して、外部ネットワーク等と接続されてもよい。

但し、信号処理部２０の一部又は全部は、ハードウェアのみにより実現されてもよい。ハードウェアの一例としては、ＡＳＩＣ（Application Specific Integrated Circuit)、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。又、信号処理部２０は、物理的に複数の装置等により構成されてもよい。

図４は、本実施の形態に係る信号処理部の機能ブロックを例示する図である。図４を参照するに、信号処理部２０は、機能ブロックとして、信号算出部２０１と、スペクトログラム算出部２０２と、積分値算出部２０３と、積算出部２０４と、信号検出部２０５と、特徴量ベクトル形成部２０６と、瞬き判定部２０７とを有している。各機能ブロックの具体的な機能については、図５等の説明の中で後述する。

図５は、本実施の形態に係る瞬き検出システムの動作を示すフローチャートの一例である。図５を中心にして適宜他の図も参照しながら、本実施の形態に係る瞬き検出方法について説明する。

まず、ステップＳ１１では、信号算出部２０１は、ドップラーセンサ１０で被験者からの反射波を受信して信号を取得する。ここで取得する信号は、例えば、図２に示すようなＩ信号及びＱ信号で構成されている。

次に、ステップＳ１２では、ステップＳ１１で受信したＩ信号及びＱ信号のノイズ成分の除去を行う。ノイズ成分の除去は、例えば、ドップラーセンサ１０と信号処理部２０との間にバンドパスフィルタを挿入してハードウェア的に行うことができる。又、ドップラーセンサ１０の出力信号を直接信号処理部２０に入力し、信号処理部２０内においてディジタル信号処理（ディジタルフィルタ等）により行ってもよい。バンドパスフィルタの通過帯域は、例えば、４Ｈｚ〜３０Ｈｚ程度とすることができる。

次に、ステップＳ１３では、信号算出部２０１は、バンドパスフィルタでノイズ成分を除去したＩ信号及びＱ信号から、ドップラー信号＝Ｉ（ｔ）＋ｊＱ（ｔ）を算出する。例えば、図２に示す信号から図６（ａ）に示すドップラー信号を得ることができる。

次に、ステップＳ１４では、信号算出部２０１は、バンドパスフィルタでノイズ成分を除去したＩ信号及びＱ信号から、振幅信号＝√（Ｉ（ｔ）^２＋Ｑ（ｔ）^２）を算出する。例えば、図２に示す信号から図６（ｂ）に示す振幅信号を得ることができる。

次に、ステップＳ１５では、信号算出部２０１は、バンドパスフィルタでノイズ成分を除去したＩ信号及びＱ信号から、位相信号＝ｔａｎ^−１（Ｑ（ｔ）／Ｉ（ｔ））を算出する。例えば、図２に示す信号から図６（ｃ）に示す位相信号を得ることができる。なお、Ｓ１３〜Ｓ１５の処理順序は任意として構わない。

次に、ステップＳ１６では、スペクトログラム算出部２０２は、ステップＳ１３で算出したドップラー信号、ステップＳ１４で算出した振幅信号、及びステップＳ１５で算出した位相信号の各々からスペクトログラムを算出する。つまり、３種類のスペクトログラムが算出される。

スペクトログラムとは、横軸を時間、縦軸を周波数とした平面上に、信号に含まれるエネルギーの周波数分布を表現したものであり、例えば、信号を短時間フーリエ変換（Short-Time Fourier Transform：STFT）することにより算出できる。短時間フーリエ変換は、例えば、ウィンドウサイズ５１２ｍｓ、オーバーラップ５ｍｓの条件で行うことができる。

図７は、ステップＳ１６で振幅信号から算出したスペクトログラムの一例であり、時間、ドップラー周波数、及び信号成分の強さをグレースケールで表示している。なお、ドップラー信号及び位相信号のスペクトログラムの図示は省略するが、図７と同様に、時間、ドップラー周波数、及び信号成分の強さを表示したものとなる。但し、ドップラー信号のスペクトログラムは、近接運動に対応する正のドップラー周波数と、離隔運動に対応する負のドップラー周波数とを含むものとなる。

次に、ステップＳ１７では、積分値算出部２０３は、ドップラー信号、振幅信号、及び位相信号の各々のスペクトログラム上のエネルギー積分を行う。ドップラー信号、振幅信号、及び位相信号の各々の積分範囲は、例えば、−３０Ｈｚ〜−４Ｈｚ及び４Ｈｚ〜３０Ｈｚ、４Ｈｚ〜３０Ｈｚ、４Ｈｚ〜３０Ｈｚとすることができる。

すなわち、積分値算出部２０３は、ドップラー信号のスペクトログラムにおいて、−３０Ｈｚ〜−４Ｈｚ及び４Ｈｚ〜３０Ｈｚに含まれる各周波数の振幅を時刻毎に積分し、振幅の積分値の時間変化を算出する。例えば、図８（ａ）に示す積分値Ｅｄが得られる。

同様に、積分値算出部２０３は、振幅信号のスペクトログラムにおいて、４Ｈｚ〜３０Ｈｚに含まれる各周波数の振幅を時刻毎に積分し、振幅の積分値の時間変化を算出する。例えば、図８（ｂ）に示す積分値Ｅａが得られる。

同様に、積分値算出部２０３は、位相信号のスペクトログラムにおいて、４Ｈｚ〜３０Ｈｚに含まれる各周波数の振幅を時刻毎に積分し、振幅の積分値の時間変化を算出する。例えば、図８（ｃ）に示す積分値Ｅｐが得られる。

次に、ステップＳ１８では、積算出部２０４は、３つの積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を時刻毎に乗算して積の時間変化を算出する。例えば、図８（ｄ）に示す積Ｅｃ（＝Ｅｄ×Ｅａ×Ｅｐ）が得られる。なお、図８（ａ）〜図８（ｄ）では、便宜上、実際に瞬きが起きた時刻を破線で示している。

次に、ステップＳ１９では、信号検出部２０５は、ＣＡ−ＣＦＡＲ（Cell Averaging Constant False Alarm Rate）処理に基づいて、瞬きが起きた可能性のある時刻を検出する。具体的には、信号検出部２０５はＣＡ−ＣＦＡＲ処理において閾値ＴＨ_１を決定し、ステップＳ１８で算出した積Ｅｃを閾値ＴＨ_１と比較して、閾値ＴＨ_１以上である時刻の信号を検出する。

ここで、ＣＡ−ＣＦＡＲ処理において閾値ＴＨ_１を決定するには、図９に示すように積Ｅｃを時間軸方向に連続する複数のセルに分割し、注目するセル（Ｃｕｔ：Cell under test）を決定する。

次に、Ｃｕｔに隣接しない前後のセルの振幅値に基づいて閾値ＴＨ_１を決定する。具体的には、Ｃｕｔの直前の所定数のセルをガードセルＧ_Ｆ、Ｃｕｔの直後の所定数のセルをガードセルＧ_Ｒとし、更に、ガードセルＧ_Ｆの直前の所定数のセルをフロントセルＦ、ガードセルＧ_Ｒの直後の所定数のセルをリアセルＲとする。ドップラーセンサ１０で観測された瞬き信号の時間長は、経験的に約０．２秒であることがわかっている。そこで、図９における各セルのセル長は０．２秒程度に設定することが好ましい。

なお、図９では、ガードセルＧ_Ｆ、ガードセルＧ_Ｒ、フロントセルＦ、及びリアセルＲをそれぞれ３セルで構成しているが、これは一例であり、ガードセルＧ_Ｆ、ガードセルＧ_Ｒ、フロントセルＦ、及びリアセルＲを構成するセル数は適宜決定することができる。

次に、フロントセルＦの振幅値とリアセルＲの振幅値の平均値Ａ_ＡＶＥを算出し、平均値Ａ_ＡＶＥを係数α倍したものを閾値ＴＨ_１とする。すなわち、閾値ＴＨ_１＝Ａ_ＡＶＥ×αである。なお、ガードセルＧ_Ｆ及びＧ_Ｒは閾値ＴＨ_１の算出には用いない。これは、注目するセルであるＣｕｔ自身が閾値ＴＨ_１へ影響することを防ぐためである。

閾値ＴＨ_１が低すぎると、多くの雑音を瞬きと誤検出しＦＰ（False Positive）が増加する。一方、閾値ＴＨ_１が高すぎると、瞬きの検出漏れが多くなりＦＮ（False Negative）が増加する。そこで、係数αを適切な値に設定する必要があるが、発明者らの事前実験により、α＝３．４程度とすることでＦＰ及びＦＮを低減できることがわかっている。

以上のようにして閾値ＴＨ_１が決定されると、信号検出部２０５は、Ｃｕｔにおいて閾値ＴＨ_１以上の信号成分を検出する。引き続きＣｕｔの位置を移動させながら同様の検出を繰り返して積Ｅｃを閾値ＴＨ_１と比較して、閾値ＴＨ_１以上である時刻の信号を検出する。

なお、以上のステップＳ１７〜Ｓ１９は、事前検出ステップであり、瞬きが起きた可能性のある時刻及び信号を検出する。一方、以下のステップＳ２０及びＳ２１は、分類ステップであり、瞬きが起きた可能性のある時刻及び信号を、瞬きが起きた時刻及び信号と、瞬きが起きていない（非瞬き）時刻及び信号に分類する。

具体的には、ステップＳ２０では、特徴量ベクトル形成部２０６は、ステップＳ１６で振幅信号から算出したスペクトログラム（例えば、図７）において、閾値ＴＨ_１以上の信号成分が検出された時刻を含む信号に基づいて特徴量ベクトルを形成する。なお、振幅信号から算出したスぺクトログラムを用いる理由は、振幅信号から算出したスぺクトログラムでは、ドップラー信号から算出したスぺクトログラムや位相信号から算出したスぺクトログラムよりも、瞬きと非瞬きの差が顕著に現れるからである。

特徴量ベクトルを形成するには、まず、特徴量ベクトル形成部２０６は、振幅信号から算出したスペクトログラムの所定の周波数帯域内において、縦横に配置された複数のビン（単位領域）から構成されるウィンドウを、閾値ＴＨ_１以上の信号成分が検出された時刻を中心に設定する。そして、特徴量ベクトル形成部２０６は、設定したウィンドウ内の各ビンに含まれるエネルギーを要素とする行列Ｍｅを生成する。

例えば、１４Ｈｚ以上３０Ｈｚ以下の周波数範囲に幅５００ｍｓのウィンドウを設定し、１つのビンを縦２Ｈｚ、横５ｍｓとすると、図１０に示すように、設定したウィンドウ内に８×１００のビンができ、ウィンドウ内の各ビンに含まれるエネルギーを要素とする行列Ｍｅ（８×１００）を生成できる。図１１に行列Ｍｅの具体例を示す。

なお、瞬きの周波数は４Ｈｚ〜３０Ｈｚ程度であるが、車の中では瞬き以外の体の揺れが生じやすく、それは４Ｈｚから１４Ｈｚ程度の周波数帯に現れやすい。つまり、４Ｈｚから１４Ｈｚ程度の周波数帯は雑音が多いため、この周波数帯を除いた１４Ｈｚ以上３０Ｈｚ以下の周波数範囲でウィンドウを設定している。

又、瞬きの時間は約２００ｍｓ〜１２００ｍｓ程度であるが、エネルギーの広がりを考えると、５００ｍｓのウィンドウ幅があれば瞬きを十分に捉えることができる。又、ビンの縦幅である２Ｈｚは、短時間フーリエ変換の条件（例えば、ウィンドウサイズ５１２ｍｓ、オーバーラップ５ｍｓ）から決定される。

瞬きと非瞬きでは、エネルギーの生じ方が異なる。一方、時間及び周波数領域に対するエネルギーの生じ方はどの瞬きも類似している。そこで、ここでは、スペクトログラム上のエネルギーの生じ方に注目して共分散行列により特徴量スペクトルを抽出する。

具体的には、特徴量ベクトル形成部２０６は、行列Ｍｅの共分散行列Ｘを算出する。図１２（ａ）に共分散行列Ｘの具体例を示す。そして、共分散行列Ｘの共分散要素を、図１２（ａ）の線Ｌ_１に沿って１列に並べる。例えば、図１２（ｂ）に示すように、［1.2948、0.6550、…、0.0244］となる。

なお、共分散行列Ｘの対角成分は自己分散であり意味を持たないので使用しない。又、共分散要素は、共分散行列Ｘの対角成分に対して対称であるので、ここでは対角成分の右上側の共分散要素のみを使用する。

次に、特徴量ベクトル形成部２０６は、行列Ｍｅの転置行列Ｍｅ^Ｔに対しても同様に共分散行列を算出し、転置行列Ｍｅ^Ｔの共分散行列の共分散要素を１列に並べる。例えば、図１２（ｃ）に示すように、［3.2315、1.0102、…、0.0143］となる。

次に、特徴量ベクトル形成部２０６は、行列Ｍｅの共分散行列の共分散要素及び転置行列Ｍｅ^Ｔの共分散行列の共分散要素に基づいて、特徴量ベクトルを形成する。具体的には、図１２（ｂ）及び図１２（ｃ）で１列に並べた共分散要素を結合し、特徴量ベクトルを形成する。例えば、図１２（ｄ）に示すように、［1.2948、0.6550、…、0.0244、3.2315、1.0102、…、0.0143］となる。

なお、特徴量ベクトルは、振幅信号のスペクトログラム上において、ステップＳ１９で検出した瞬きが起きた可能性のある全ての時刻で形成する。

次に、ステップＳ２１では、瞬き判定部２０７は、ステップＳ２０で形成した特徴量ベクトルに機械学習アルゴリズムを適用して、被験者の瞬きを検出する。具体的には、例えば、機械学習アルゴリズムとしてランダムフォレストを用い、ランダムフォレストにより瞬きと非瞬きを分類する。

なお、ランダムフォレストとは、複数の決定木を使用し、各々の決定木によって決定された最頻値を最終的な出力とする分類器である。ここでは、一例として、決定木の数を５０とし、最大分割数（決定木の深さ）を２０としている。図１３に、瞬きと分類されたデータ、非瞬きと分類されたデータの一例を示す。図１３に示すように、瞬きと非瞬きとでは特徴量ベクトルが大きく異なるため、ランダムフォレストを用いた精度のよい分類が可能となる。

このように、瞬き検出システム１では、ドップラーセンサ１０で取得したＩ信号及びＱ信号に基づいてドップラー信号、振幅信号、及び位相信号を算出し、ドップラー信号、振幅信号、及び位相信号の各々からスペクトログラムを算出する。そして、各々のスペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を算出し、更に、各々の積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を時刻毎に乗算して積Ｅｃの時間変化を算出する。

積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を時刻毎に乗算して積Ｅｃの時間変化を算出することにより、積Ｅｃの雑音レベルが積分値Ｅｄ、Ｅａ、及びＥｐの雑音レベルよりも低下する。例えば、図８（ｄ）の２７〜２８秒及び３７秒付近ではＦＰが低減し、図８（ｄ）の２９秒付近ではＦＮが低減している。そのため、積Ｅｃに基づいて瞬き検出を行うことで、瞬きの検出精度を向上することができる。

但し、瞬き判定部２０７は、要求される検出精度に応じ、３つの積分値Ｅｄ、Ｅａ、及びＥｐの時間変化に基づいて被験者の瞬きを検出してもよい。又、瞬き判定部２０７は、要求される検出精度に応じ、積Ｅｃの時間変化に基づいて被験者の瞬きを検出してもよいし、閾値ＴＨ_１以上の信号成分に基づいて被験者の瞬きを検出してもよい。

［実施例］
実施例では、本実施の形態に係る瞬き検出システム１を用いて瞬き検出を行った。具体的には、瞬き検出システム１を用い、運転者と乗員３人の計４人が乗車した自動車で一般道を走行時及び停車時に被験者である運転者が計８１回（走行時：６４回、停車時：１７回）行った瞬きの検出を試みた。但し、停発車の前後１秒以内は除外した。なお、ドップラーセンサ１０は、被験者が運転席に着座した状態で、送受信信号がハンドルにより遮蔽されないように配慮し、被験者の顔正面で約４０〜５０ｃｍ離隔するようにダッシュボード上に配置した。

実験の諸元を表１に、実験の結果を表２に示す。なお、比較例として、Ｉ信号及びＱ信号から振幅信号を求め、求めた振幅信号をＣＡ−ＣＦＡＲ処理して瞬き候補を選出し、選出した瞬き候補から体動を除去して瞬きを検出する方法を用いた場合の結果も表２に示した。

表２に示すように、実施例では、走行時のRecall（検出率）が７２％、走行時のPrecision（適合率）が７０％、停車時のRecall（検出率）が８２％、停車時のPrecision（適合率）が７８％であった。

一方、比較例では、走行時のRecall（検出率）が２０％、走行時のPrecision（適合率）が３３％、停車時のRecall（検出率）が３５％、停車時のPrecision（適合率）が４３％であった。

このように、実施例では、Recall（検出率）、Precision（適合率）共に比較例よりも大幅に改善され、瞬き検出の精度を向上できることが確認された。

なお、実施例では、停車時においても比較例と比べて検出精度が向上しているが、これは、停車時にもエンジンがかかっており、エンジンの振動に伴う体の細かい揺れ等により生じる雑音を、実施例では除去できたが比較例では除去できなかったためと考えられる。このように、実施例は、比較例よりも雑音に強いアルゴリズムである。

以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態等に種々の変形及び置換を加えることができる。

１瞬き検出システム
１０ドップラーセンサ
２０信号処理部
２１ＣＰＵ
２２ＲＯＭ
２３ＲＡＭ
２４Ｉ／Ｆ
２５バスライン
２０１信号算出部
２０２スペクトログラム算出部
２０３積分値算出部
２０４積算出部
２０５信号検出部
２０６特徴量ベクトル形成部
２０７瞬き判定部

Claims

被験者からの反射波を受信してＩ信号及びＱ信号を取得するドップラーセンサと、
前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出部と、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出部と、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出部と、
各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き判定部と、を有する瞬き検出システム。
前記瞬き判定部は、前記振幅信号から算出した前記スペクトログラムに基づいて、前記被験者の瞬きを検出する請求項１に記載の瞬き検出システム。
前記振幅信号から算出した前記スペクトログラムにおいて、各々の前記積分値の時間変化に基づいて決定された閾値以上の信号成分が検出された時刻を含む信号に基づいて特徴量ベクトルを形成する特徴量ベクトル形成部を有し、
前記瞬き判定部は、前記特徴量ベクトルに基づいて、前記被験者の瞬きを検出する請求項２に記載の瞬き検出システム。
前記瞬き判定部は、前記特徴量ベクトルに機械学習アルゴリズムを適用して、前記被験者の瞬きを検出する請求項３に記載の瞬き検出システム。
前記機械学習アルゴリズムはランダムフォレストである請求項４に記載の瞬き検出システム。
前記閾値は、各々の前記積分値の時間変化を時間軸方向に連続する複数のセルに分割し、注目するセルに隣接しない前後のセルの振幅値に基づいて決定される請求項３乃至５の何れか一項に記載の瞬き検出システム。
前記特徴量ベクトル形成部は、
前記振幅信号から算出した前記スペクトログラムの所定の周波数帯域内において、縦横に配置された複数の単位領域から構成されるウィンドウを、前記閾値以上の信号成分が検出された時刻を中心に設定し、
各々の前記単位領域に含まれるエネルギーを要素とする行列及び前記行列の転置行列を生成し、
前記行列及び前記転置行列の各々の共分散行列を算出し、
各々の前記共分散行列の共分散要素に基づいて前記特徴量ベクトルを形成する請求項３乃至６の何れか一項に記載の瞬き検出システム。
前記瞬き判定部は、各々の前記積分値の時間変化を時刻毎に乗算した積の時間変化に基づいて、前記被験者の瞬きを検出する請求項１乃至７の何れか一項に記載の瞬き検出システム。
ドップラーセンサで被験者からの反射波を受信してＩ信号及びＱ信号を取得する信号取得ステップと、
前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出ステップと、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出ステップと、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出ステップと、
各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き検出ステップと、を有する瞬き検出方法。