JP6197451B2

JP6197451B2 - 情報処理装置および情報処理方法

Info

Publication number: JP6197451B2
Application number: JP2013160723A
Authority: JP
Inventors: 泰彦中野; 佐野　聡; 聡佐野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-08-01
Filing date: 2013-08-01
Publication date: 2017-09-20
Anticipated expiration: 2033-08-01
Also published as: JP2015029647A

Description

本発明は、情報処理装置および情報処理方法に関する。

従来、人の覚醒度を判定するために、被験者の生体情報として心拍間隔を取得し、心拍間隔のゆらぎ解析を行うことで、交感神経および副交感神経の活動度合いを計測する技術がある。心拍間隔は、１回の拍動で最も振幅の大きい波であるＲ波を用いて算出できる。なお、心拍間隔は、例えば、心拍の隣接する２つのＲ波の時間間隔で表すことができ、ＲＲＩ（R−R Interval）と表現される。脈波の場合は、心拍間隔をＡＡＩ（Amplitude−Amplitude Interval）として表す。以下、ＲＲＩもＡＡＩも心拍間隔という意味では同じ意味で用いる。

この技術は、例えば、心拍検知装置として、車両の運転者に対して用いることが提案されている。心拍検知装置は、ＲＲＩを算出するために運転者の心拍を取得しようとすると、車両の振動等の影響で心電にノイズとして生じ、ノイズの入った信号として取得してしまうことになる。心拍検知装置は、算出したＲＲＩが異常値であれば、ＲＲＩの算出に用いたＲ波はノイズであるとして再度心拍からＲ波を算出する。心拍検知装置は、再算出したＲ波に基づいてＲＲＩの再算出を行い、ＲＲＩのゆらぎ解析を行うことで覚醒度を判定する。なお、ＲＲＩの異常値は、例えば、基準値から所定パーセントの範囲、または、心拍数の上限値および下限値に対応する値の範囲を超えたものとすることができる。

特開２０１０−１４２４５６号公報

しかしながら、覚醒努力による細かな体動、または、自律神経活動の急激な変動によって、通常とは異なるＲＲＩの変動が発生する。この様な場合には、これらのノイズを含んだ状態で覚醒度を判定するので、覚醒度推定が誤報となる確率が増大する。

一つの側面では、精度良く覚醒度を推定できる情報処理装置および情報処理方法を提供することにある。

一つの実施態様では、情報処理装置は、解析部と監視部と推定部とを有する。当該情報処理装置の解析部は、自己回帰モデルを用いて心拍間隔情報を周波数領域で解析する。当該情報処理装置の監視部は、フーリエ変換を用いて前記心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定範囲であるか否かを監視する。当該情報処理装置の推定部は、前記解析部の解析結果および前記監視部の解析結果に基づいて、被験者の覚醒度を推定する。

精度良く覚醒度を推定できる。

図１は、実施例の端末装置の構成の一例を示すブロック図である。図２は、心拍信号の一例を示す説明図である。図３は、正常な脈波の一例を示す説明図である。図４は、異常な脈波の一例を示す説明図である。図５は、心拍間隔を算出する処理を説明する説明図である。図６は、心拍間隔データの一例を示す説明図である。図７は、呼吸性洞性不整脈について説明する説明図である。図８は、呼吸性洞性不整脈の生理的メカニズムを説明する説明図である。図９は、スペクトル密度データの一例を示す説明図である。図１０は、極大周波数を時系列で表した説明図である。図１１は、極大スペクトル密度を時系列で表した説明図である。図１２は、ＦＦＴでＲＳＡ領域にピークがある場合の一例を示す説明図である。図１３は、ＦＦＴでＲＳＡ領域にピークがない場合の一例を示す説明図である。図１４は、スケールの一例を示す説明図である。図１５は、端末装置の覚醒度推定処理の一例を示すフローチャートである。図１６は、時間領域処理の一例を示すフローチャートである。図１７は、ＡＡＩドロップレートの一例を示す説明図である。図１８は、第１の周波数領域処理の一例を示すフローチャートである。図１９は、ＦＦＴによる最大ＰＳＤを持つ周波数の一例を示す説明図である。図２０は、第２の周波数領域処理の一例を示すフローチャートである。図２１は、ＡＲモデルの予測誤差の一例を示す説明図である。図２２は、情報処理プログラムを実行するコンピュータの一例を示す説明図である。

以下、図面に基づいて、本願の開示する情報処理装置および情報処理方法の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例の端末装置の構成の一例を示すブロック図である。図１に示す端末装置１００は、検出部１１０と、算出部１２０と、解析部１３０と、監視部１４０と、スケール記憶部１５０と、推定部１６０と、調整部１７０とを有する。なお、端末装置１００は、例えば、スマートフォン、携帯電話機、ＰＨＳ（Personal Handy phone System）、ＰＤＡ（Personal Digital Assistant、または、Personal Data Assistance）等を用いることができる。

検出部１１０は、被験者の心拍信号を検出する。例えば、検出部１１０は、被験者に接触する電極に対して電圧を印加し、被験者の心拍信号を各電極の電位差から取得する。なお、検出部１１０によって用いられる電極は、例えば、胸ベルトタイプのものや腕時計型の小型機器に埋め込まれた電極（両手が必要になる）に対応する。脈波取得であれば、光学式となり、腕時計タイプやリストバンドタイプ（反射型）、イヤクリップ型（反射型、透過型）等がある。

図２は、検出部により検出される心拍信号の一例を示す図である。図２の横軸は時間の経過を示し、縦軸は心電の強さを示す。図２に示すように、健常者の心電信号は、一般的に４つの波形を有し、時系列順にＰ波、ＱＲＳ波、Ｔ波、Ｕ波と呼ばれる。特に、ＱＲＳ波は、鋭角なピークとして検出され、ピーク開始点であるＱ波、ピーク頂点であるＲ波、ピーク終了点であるＳ波を含む。Ｐ波からＵ波までの各波形一回分は、心拍一回分に対応する。Ｒ波から次のＲ波までの間隔として算出されるＲＲＩ２ａは、心拍の時間間隔を示す心拍間隔に対応する。検出部１１０は、検出した心拍信号のデータを心拍信号データとして算出部１２０に出力する。

また、検出部１１０は、例えば、被験者の耳たぶ等の血流を光で計測し、脈波を取得するようにしてもよい。図３は、正常な脈波の一例を示す説明図である。検出部１１０は、脈波を検出する場合は、振幅のピークから次の振幅のピークまでの間隔をＡＡＩとして算出する。算出されたＡＡＩは、ＲＲＩと同様に心拍信号として用いることができ、以下の説明ではＲＲＩを用いるがＡＡＩを用いてもよい。図４は、異常な脈波の一例を示す説明図である。ここで、検出部１１０は、図４に示すように、脈波の波形が歪んでＡＡＩが正しく算出できない場合には、時間的に前後のＡＡＩから補完してＡＡＩを算出する。

算出部１２０は、被験者の心拍信号から心拍間隔（ＲＲＩ）および心拍間隔の変動値（差分）を算出する。そして、算出部１２０は、算出したＲＲＩおよび心拍間隔の変動値を心拍間隔情報として解析部１３０と監視部１４０とに出力する。以下では、算出部１２０の処理を詳細に説明する。

例えば、算出部１２０は、検出部１１０により入力された心拍信号データから心拍間隔を算出する。図５は、心拍間隔を算出する処理を説明する説明図である。図５の横軸は時間の経過を示し、縦軸は心電の強さを示す。図５に示すように、算出部１２０は、心拍信号の振幅が閾値以上となる振幅ピークをＲ波として検出する。そして、算出部１２０は、Ｒ波を検出するごとに、検出した各Ｒ波の出現時間から心拍間隔３ａを算出する。なお、振幅ピークの検出方法は、上述の方法に限定されるものではない。例えば、算出部１２０は、心拍信号の微分係数が正から負に変わるゼロクロス点を用いる方法や、パターンマッチングを行って振幅ピークを検出する方法などを用いても良い。

例えば、算出部１２０は、算出した心拍間隔の時間経過による変動を示す心拍間隔データを生成する。図６は、心拍間隔データの一例を示す図である。図６の横軸は時間の経過を示し、縦軸は心拍間隔を示す。図６に示すように、例えば、算出部１２０は、算出した心拍間隔とＲ波の検出時間とを対応づけて心拍間隔データを生成する。また、算出部１２０は、監視部１４０から心拍間隔（ＲＲＩ）の補完を行うように指示を受けた場合には心拍間隔の補完を行う。

例えば、算出部１２０は、生成した心拍間隔データから心拍間隔の変動値を算出する。なお、算出部１２０が算出する心拍間隔の変動値は、例えば、ＲＳＡ（Respiratory Sinus Arrhythmia：呼吸性洞性不整脈）値に対応する。

図７、８を用いて、呼吸性洞性不整脈（ＲＳＡ）について説明する。図７は、呼吸性洞性不整脈について説明する説明図である。図７の横軸は時間の経過を示し、縦軸は心電の強さを示す。ＲＳＡは、吸気時に頻拍となり、呼気時に徐拍となる生理的な不整脈である。つまり、ＲＳＡは、図７に示すように、吸気時５ａには心拍間隔が短縮して心拍間隔５ｂとなり、呼気時５ｃには心拍間隔が延長して心拍間隔５ｄとなる心拍間隔の変動として検出される。心拍間隔５ｄと心拍間隔５ｂとの差分はＲＳＡ値を示し、ＲＳＡの程度を定量的に評価する指標となる。

ＲＳＡ値は、覚醒時と非覚醒時とで変化することが知られている。ＲＳＡ値は、被験者の状態が覚醒状態から非覚醒状態に変化すると大きくなる。ＲＳＡ値が変化するのは、非特許文献（生体リズムの加齢変化、早野順一郎、９５ＣＬＩＮＩＣＩＡＮ、９４Ｎｏ．４２９）などに開示されているように、種々の生理的メカニズムによる制御を受けるからである。図８は、呼吸性洞性不整脈の生理的メカニズムを説明する説明図である。図８に示すように、ＲＳＡ９ａは、心臓迷走神経活動９ｂの活動レベルに応じて現れる。心臓迷走神経活動９ｂの活動レベルは、呼吸中枢からの干渉９ｃと、圧受容体および化学受容体反射による興奮性刺激９ｄと、中枢性迷走神経興奮性刺激９ｅとの３種類の制御を受ける。このうち、呼吸中枢からの干渉９ｃは、吸気時の抑制性刺激と呼気時の興奮性刺激とを含む。覚醒時には、ＲＳＡ９ａは、圧受容体及び化学受容体反射による興奮性刺激９ｄおよび中枢性迷走神経興奮性刺激９ｅによる制御を受けにくく、呼吸中枢からの干渉９ｃの制御のみを強く受ける。

図１の説明に戻って、解析部１３０は、算出部１２０から入力された心拍間隔情報に対して周波数解析を行うことで、周波数ごとのスペクトル密度を算出する。解析部１３０は、例えば、自己回帰（ＡＲ：Auto Regressive）モデルを用いてスペクトル密度を算出する。ＡＲモデルは、非特許文献（佐藤俊輔、吉川昭、木竜徹、“生体信号処理の基礎”、コロナ社）などに開示されているように、ある時点の状態を過去の時系列データの線形和で表すモデルである。ＡＲモデルは、フーリエ変換と比較して少ないデータ数でも明瞭な極大点が得られるという特徴がある。

時系列ｘ（ｓ）のｐ次のＡＲモデルは、過去の値に対する重みであるＡＲ係数ａ（ｍ）及び誤差項ｅ（ｓ）を用いて、

によって表される。なお、理想的には、ｅ（ｓ）は、ホワイトノイズである。

そして、ｐを同定次数、ｆ_ｓをサンプリング周波数、ε_ｐを同定誤差とし、

をｋ次のＡＲ係数とすると、スペクトル密度Ｐ_ＡＲ（ｆ）は、

によって表される。解析部１３０は、式（３）及び心拍間隔情報に基づいて、スペクトル密度を算出する。なお、スペクトル密度の算出方法は、上述の方法に限定されるものではない。

解析部１３０は、スペクトル密度を算出するごとに、周波数ごとのスペクトル密度を示すスペクトル密度データを生成する。図９は、スペクトル密度データの一例を示す説明図である。図９の横軸は周波数を示し、縦軸はスペクトル密度を示す。例えば、０．０５〜０．１５Ｈｚ近辺の領域に現れるスペクトル密度の成分は、交感神経の活動状態を反映するLow Frequency（ＬＦ）成分である。また、例えば、０．１５〜０．４Ｈｚ近辺の領域に現れるスペクトル密度の成分は、副交感神経の活動状態を反映するHigh Frequency（ＨＦ）成分である。ＬＦ領域を代表する成分としては、血圧性変動に関係することが知られているＭＷＳＡ（Mayer Wave Sinus Arrhythmia）がある。また、ＨＦ領域を代表する成分としては、呼吸性洞性不整脈（ＲＳＡ）がある。

解析部１３０は、スペクトル密度データのスペクトル密度が極大となる極大点を取得する。例えば、解析部１３０は、

となる周波数ｆを極大点の周波数として算出し、この極大点の周波数を式（３）に代入することによって極大点のスペクトル密度を算出する。図９に示す例では、解析部１３０は、２つの極大点５１、５２を取得する。なお、極大点の周波数を「極大周波数」と表記し、極大点のスペクトル密度を「極大スペクトル密度」と表記する。

解析部１３０は、取得した極大点５１、５２のうち、ＨＦ成分に含まれる極大点を１つ選択する。図９に示すように、ＨＦ成分に極大点５２が１つ含まれる場合には、解析部１３０は、該当極大点５２を選択する。また、ＨＦ成分に極大点が複数含まれる場合には、解析部１３０は、最も周波数が低い極大点を選択する。これは、ＨＦ成分に含まれる極大点のうち低周波側の極大点を選択することで、被験者の眠気をより正確に判定できるからである。なお、ＨＦ成分に極大点が含まれない場合には、解析部１３０は、０．４Ｈｚより高周波側の領域から最も周波数が低い極大点を１つ選択する。

解析部１３０は、取得した極大点における極大周波数及び極大スペクトル密度を算出する。図１０は、極大周波数を時系列で表した説明図である。図１０の横軸は時間の経過を示し、縦軸は周波数を示す。図１１は、極大スペクトル密度を時系列で表した説明図である。図１１の横軸は時間の経過を示し、縦軸はスペクトル密度を示す。解析部１３０が１０秒間隔でスペクトル密度データを算出する場合には、図１０および図１１に示す時系列方向の点の間隔は１０秒間隔である。図１０および図１１に示すように、解析部１３０は、一定時間ごとに極大周波数および極大スペクトル密度を算出する。解析部１３０は、算出された極大周波数および極大スペクトル密度を、推定部１６０と調整部１７０とに出力する。また、解析部１３０は、ＡＲモデルの予測誤差を監視部１４０に出力する。

図１の説明に戻って、監視部１４０は、算出部１２０から入力された心拍間隔情報に対して周波数解析を行うことで、周波数ごとのスペクトル密度を算出する。監視部１４０は、例えば、ＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を用いてスペクトル密度を算出する。

監視部１４０は、スペクトル密度を算出するごとに、周波数ごとのスペクトル密度を示すスペクトル密度データを生成する。図１２は、ＦＦＴでＲＳＡ領域にピークがある場合の一例を示す説明図である。図１２の横軸は周波数を示し、縦軸はスペクトル密度を示す。監視部１４０は、スペクトル密度データのスペクトル密度が極大となる極大点を取得する。図１２に示す例では、監視部１４０は、ＨＦ成分に含まれる極大点５３を取得する。監視部１４０は、取得した極大点５３における極大周波数及び極大スペクトル密度を算出する。監視部１４０は、一定時間ごとに極大周波数および極大スペクトル密度を算出する。監視部１４０は、算出された極大周波数および極大スペクトル密度を、推定部１６０と調整部１７０とに出力する。

監視部１４０は、解析結果のピーク値である極大周波数が所定範囲、つまり、所定の周波数範囲の下限値であるか否かを監視する。監視部１４０は、所定の周波数範囲として、例えば、ＨＦ領域（０．１５Ｈｚ〜０．４０Ｈｚ）とすることができる。つまり、所定の周波数範囲の下限値は、０．１５Ｈｚとなる。

ここで、極大周波数が所定の周波数範囲の下限値である場合について説明する。図１３は、ＦＦＴでＲＳＡ領域にピークがない場合の一例を示す説明図である。図１３の例では、スペクトル密度データのＨＦ領域において、目立ったピークがなく、ＨＦ領域の下限値である０．１５Ｈｚがピーク５４となっている。監視部１４０は、スペクトル密度データがＨＦ領域の下限値に、所定の時間継続して張り付いているか否かを監視する。周波数スペクトルは、１／ｆ揺らぎ特性を持っており、ＦＦＴにおいてスペクトル密度データのピークが周波数範囲の下限値となるということは、ＡＲモデルにおいて擬似ピークがあることを示す。

擬似ピークの判定について、図９、１２、１３を用いて説明する。図９に示すスペクトル密度データは、解析部１３０が、ある心拍間隔情報についてＡＲモデルを用いて解析を行ったものとする。ここで、同じ心拍間隔情報について、監視部１４０がＦＦＴを用いて解析を行う。監視部１４０は、図１２に示すように、解析結果について周波数範囲の下限値以外に極大点（ピーク）５３が存在する場合は、図９の極大点（ピーク）５２は所望の心拍間隔（ＲＲＩ）に基づくものであり、解析部１３０の解析結果は有効であると判定する。

監視部１４０は、図１３に示すように、解析結果について周波数範囲の下限値に極大点（ピーク）５４が存在する場合は、図９の極大点（ピーク）５２はノイズに基づく擬似ピークであると判定する。監視部１４０は、所定時間内における擬似ピークの率、つまりピークが周波数範囲の下限値である率を算出する。監視部１４０は、算出した下限値である率が所定の率、例えば、１０秒間のうち５０％を超えると、解析部１３０の解析結果は無効であると判定する。監視部１４０は、解析部１３０の解析結果が無効である場合には、無効情報を推定部１６０に出力する。

また、監視部１４０は、心拍間隔情報の各間隔のずれ率、および、ＡＲモデルの予測誤差が所定の閾値を超えるか監視する。監視部１４０は、算出部１２０から心拍間隔情報が入力され、解析部１３０からＡＲモデルの予測誤差が入力される。監視部１４０は、心拍間隔情報の各間隔のずれ率を算出する。監視部１４０は、ずれ率を算出するために、心拍間隔の差分を算出する。当該差分は、例えば、ある心拍間隔（ＲＲＩ）が９５０ｍｓであり、他のＲＲＩが１０００ｍｓであったとすると、５０ｍｓとなる。監視部１４０は、差分からずれ率を算出すると、５０／９５０＝０．０５３＝５．３％となる。ここで、ずれ率の算出タイミングは、例えば、１０秒間とすることができ、ずれ率の算出タイミング間のＲＲＩを平均して、新たに入力されたＲＲＩの当該平均値に対するずれ率を算出してもよい。監視部１４０は、ずれ率が予め設定された所定の閾値、例えば、±２０％を超えるかを監視する。監視部１４０は、ずれ率が所定の閾値を超えた場合には、無効情報を推定部１６０に出力する。また、監視部１４０は、隣り合う心拍間隔（ＲＲＩ）が所定の閾値を超えた場合、つまり、隣り合う心拍間隔のずれ率が所定の閾値を超えた場合、算出部１２０に対してＲＲＩの補完を指示する。

監視部１４０は、ＡＲモデルの予測誤差を所定の期間で蓄積する。ＡＲモデルの予測誤差は、式（１）のｅ（ｓ）項であり、ＡＲモデルがあわない場合は、このｅ（ｓ）項が急激に変化するので、この項を見ることによってノイズを判定できる。監視部１４０は、所定期間、例えば、１０秒間、予測誤差を蓄積し、蓄積した予測誤差が所定の閾値を超えるか監視する。監視部１４０は、蓄積した予測誤差が所定の閾値を超えた場合には、無効情報を推定部１６０に出力する。なお、ずれ率およびＡＲモデルの予測誤差における所定の閾値および算出タイミングは、調整部１７０から入力される調整情報に基づいて調整できる。例えば、ずれ率の所定の閾値は±２０％から±１５％に下げる、算出タイミングは１０秒間隔から５秒間隔に短くするように調整できる。

図１の説明に戻って、スケール記憶部１５０は、推定部１６０で覚醒度を推定するためのスケールを記憶する。スケールは、予め覚醒時および非覚醒時における極大周波数および極大スペクトル密度を用いて、周波数およびスペクトル密度が変化しうる範囲を、覚醒度の指標として生成する。

図１４は、スケールの一例を示す説明図である。図１４の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１４に示す例では、スケール１６ａは、眠気方向１６ｂに示すように、右上ほど眠気がなく、左下ほど眠気が強くなるように設定される。この場合、スケール１６ａは、右上から左下へと５つの領域に分割され、５つの領域それぞれに５段階の眠気レベルが割り当てられる。つまり、スケール１６ａにより判定される眠気レベルは、レベル１からレベル５の順に眠気が強くなり、覚醒度が低くなる。スケール記憶部１５０は、図１４に示すように、正規化されたスケール１６ａを記憶する。スケール記憶部１５０に記憶されるスケールのデータは、例えば、スケール内の各領域の境界を示す式と眠気レベル値とを含むデータである。なお、図１４では、正規化されたスケール１６ａの各領域の幅が等間隔である場合を説明したが、これに限定されるものではない。例えば、正規化されたスケール１６ａの各領域の幅は、眠気レベルが高くなるほど狭くなるように調整されてもよい。また、スケールのデータは、上述の構成に限定されるものではなく、例えば、覚醒時データの周波数及びスペクトル密度と、非覚醒時データの周波数及びスペクトル密度とで構成されてもよい。

図１の説明に戻って、推定部１６０は、被験者の覚醒度を推定する。推定部１６０は、解析部１３０および監視部１４０から、それぞれ極大周波数および極大スペクトル密度が入力される。また、推定部１６０は、監視部１４０から無効情報が入力される。推定部１６０は、監視部１４０から無効情報が入力されると、無効情報が周波数領域の処理に基づくものであるか否かを判定する。推定部１６０は、無効情報が周波数領域の処理に基づくものである場合は、調整部１７０に対して設定値の調整を行うように設定情報を出力する。ここで、設定値は、ずれ率、ずれ率の算出タイミング、および、ＡＲモデルの予測誤差の設定値である。

推定部１６０は、解析部１３０から入力された極大周波数および極大スペクトル密度と、スケール記憶部１５０に記憶された覚醒度の指標とを比較することで、被験者の覚醒度を推定する。例えば、推定部１６０は、被験者による識別情報の入力を受け付けて、識別情報に対応するスケールをスケール記憶部１５０から読み出す。推定部１６０は、解析部１３０により算出された極大点と読み出したスケールとを比較することで、被験者の覚醒度を推定する。具体的には、例えば、推定部１６０は、スケールの各領域を表す式に極大点の極大周波数及び極大スペクトル密度を代入することで、算出された極大点が含まれる領域を判定する。推定部１６０は、極大点が含まれると判定された領域に応じて、被験者の眠気レベルを推定する。そして、推定部１６０は、推定結果を出力する。推定部１６０は、例えば、図示しないモニタやスピーカを用いて、推定結果として被験者の覚醒度が低下した旨の情報を、被験者や被験者の周囲の者などに報知する。なお、識別情報の受け付け方法は、上述の方法に限定されるものではない。例えば、推定部１６０は、現在の被験者を撮影したカメラ画像から識別情報を取得する方法や、心拍信号のうち個人に特徴的な領域を用いて判定する方法などを利用しても良い。

調整部１７０は、解析部１３０および監視部１４０から極大周波数および極大スペクトル密度が入力される。調整部１７０は、推定部１６０から設定情報が入力されると、入力された極大周波数および極大スペクトル密度に基づいて、心拍間隔のずれ率およびＡＲモデルの予測誤差の所定の閾値を調整する調整情報を生成する。調整部１７０は、例えば、心拍間隔のずれ率について、所定の閾値を±２０％から±１５％に下げる調整情報を生成し、ずれ率の算出タイミングについて、１０秒間隔から５秒間隔に短くする調整情報を生成する。また、調整部１７０は、例えば、ＡＲモデルの予測誤差について、所定の閾値を５×１０^−７から４×１０^−７に下げる調整情報を生成する。調整部１７０は、生成した調整情報を監視部１４０に出力する。

次に、実施例の端末装置１００の動作について説明する。

図１５は、端末装置の覚醒度推定処理の一例を示すフローチャートである。端末装置１００は、まず初期設定として、監視部１４０に対して、心拍間隔情報の各間隔のずれ率、算出タイミング、および、ＡＲモデルの予測誤差について、所定の閾値を設定する（ステップＳ１）。所定の閾値は、例えば、ずれ率は±２０％、算出タイミングは１０秒間隔、ＡＲモデルの予測誤差は５×１０^−７と設定する。

端末装置１００は、初期設定が完了すると、心拍データの取得を開始する（ステップＳ２）。検出部１１０は、取得した心拍信号データを算出部１２０に出力する。算出部１２０は、被験者の心拍信号から心拍間隔（ＲＲＩ）および心拍間隔の変動値を算出する（ステップＳ３）。算出部１２０は、ＲＲＩおよび算出した心拍間隔の変動値を心拍間隔情報として解析部１３０と監視部１４０とに出力する。

監視部１４０は、入力された心拍間隔情報に基づいて、時間領域処理を実行する（ステップＳ４）。図１６は、時間領域処理の一例を示すフローチャートである。監視部１４０は、心拍間隔情報のＲＲＩに基づいて、隣り合う心拍間隔（ＲＲＩ）の差分を算出する（ステップＳ４１）。なお、監視部１４０は、ＲＲＩの差分として、心拍間隔情報の心拍間隔の変動値を用いてもよい。監視部１４０は、所定期間内、つまり算出タイミング間において、隣り合う心拍間隔の差分からずれ率を算出する（ステップＳ４２）。すなわち、監視部１４０は、ある心拍間隔とその１つ前の心拍間隔との差分に基づいてずれ率を算出し、新たに心拍間隔が入力されると、新たな心拍間隔とある心拍間隔との差分に基づいてずれ率を算出する。このため、監視部１４０は、心拍間隔ごとにずれ率を算出することになる。

図１７は、ＡＡＩドロップレートの一例を示す説明図である。図１７は、心拍間隔としてＡＡＩを用いた場合の、ずれ率（ドロップレート）の時間の経過による変化を表したグラフである。図１７の例では、ずれ率は６５０秒まではほぼ０％であり、６５０秒から９００秒までは数％となっている。また、所定の閾値５５は、２０％に設定されており、ずれ率は所定の閾値５５以下となっている。

図１６の説明に戻って、監視部１４０は、ずれ率が規定値内、つまり所定の閾値内であるか否かを判定する（ステップＳ４３）。監視部１４０は、ずれ率が規定値内であれば（ステップＳ４３：肯定）、時間領域処理を終了し、元の処理に戻る。監視部１４０は、ずれ率が規定値内でなければ（ステップＳ４３：否定）、アウトオブサービス、つまり無効情報を推定部１６０に出力し、元の処理に戻る（ステップＳ４４）。

図１５の説明に戻って、監視部１４０は、入力された心拍間隔情報に基づいて、第１の周波数領域処理を実行する（ステップＳ５）。図１８は、第１の周波数領域処理の一例を示すフローチャートである。監視部１４０は、ＦＦＴを用いて心拍間隔情報を解析し、スペクトル密度を算出する（ステップＳ５１）。監視部１４０は、スペクトル密度を算出するごとに、周波数ごとのスペクトル密度を示すスペクトル密度データを生成する。

監視部１４０は、所定時間内におけるスペクトル密度（ＰＳＤ）の擬似ピークの率、つまりスペクトル密度のピークが、周波数範囲の下限値である率を算出する（ステップＳ５２）。図１９は、ＦＦＴによる最大ＰＳＤを持つ周波数の一例を示す説明図である。図１９は、ＦＦＴによってスペクトル密度のピークを持つ周波数の時間の経過による変化を表したグラフである。図１９の例では、ピークの周波数は概ね０．３Ｈｚ程度で推移しているが、３００秒および５００秒付近で約０．１８Ｈｚとなっている。スペクトル密度のピークは、当該約０．１８Ｈｚとなっている時間について、例えば、周波数範囲の下限値５６が０．１８Ｈｚであったとすると、周波数範囲の下限値５６に張り付いていることになる。監視部１４０は、例えば、スペクトル密度のピークが０．１８Ｈｚにある時間が１秒、所定時間を１０秒とすると、所定時間内におけるスペクトル密度のピークが周波数範囲の下限値である率は１０％と算出する。

図１８の説明に戻って、監視部１４０は、算出した所定時間内におけるスペクトル密度のピークが周波数範囲の下限値である率が規定値内であるか否かを判定する（ステップＳ５３）。監視部１４０は、算出した下限値である率が規定値内でない場合は（ステップＳ５３：否定）、解析部１３０の解析結果は無効であるとして、アウトオブサービス、つまり無効情報を推定部１６０に出力し、元の処理に戻る（ステップＳ５４）。監視部１４０は、算出した下限値である率が規定値内である場合は（ステップＳ５３：肯定）、第１の周波数領域処理を終了し、元の処理に戻る。

図１５の説明に戻って、解析部１３０は、入力された心拍間隔情報に基づいて、第２の周波数領域処理を実行する（ステップＳ６）。図２０は、第２の周波数領域処理の一例を示すフローチャートである。解析部１３０は、ＡＲモデルを用いて心拍間隔情報を解析し、スペクトル密度を算出する（ステップＳ６１）。解析部１３０は、スペクトル密度を算出するごとに、周波数ごとのスペクトル密度を示すスペクトル密度データを生成する。また、解析部１３０は、スペクトル密度データのスペクトル密度が極大となる極大点を取得し、一定時間ごとに取得した極大点における極大周波数及び極大スペクトル密度を算出する。解析部１３０は、算出された極大周波数および極大スペクトル密度を、推定部１６０と調整部１７０とに出力する。また、解析部１３０は、ＡＲモデルの予測誤差を監視部１４０に出力する。

監視部１４０は、入力されたＡＲモデルの予測誤差を所定期間、例えば１０秒間蓄積する（ステップＳ６２）。図２１は、ＡＲモデルの予測誤差の一例を示す説明図である。図２１は、ＡＲモデルの予測誤差の時間の経過による変化を表したグラフである。図２１の例では、予測誤差の所定の閾値５７、つまり規定値を５×１０^−７とすると、７５０秒付近以降は予測誤差が所定の閾値を超えている。

図２０の説明に戻って、監視部１４０は、蓄積したＡＲモデルの予測誤差が所定の閾値を超えるか監視する。つまり、監視部１４０は、蓄積したＡＲモデルの予測誤差が規定値内であるか否かを判定する（ステップＳ６３）。監視部１４０は、蓄積したＡＲモデルの予測誤差が規定値内でない場合には（ステップＳ６３：否定）、解析部１３０の解析結果は無効であるとして、アウトオブサービス、つまり無効情報を推定部１６０に出力し、元の処理に戻る（ステップＳ６４）。監視部１４０は、蓄積したＡＲモデルの予測誤差が規定値内である場合には（ステップＳ６３：肯定）、第２の周波数領域処理を終了し、元の処理に戻る。

図１５の説明に戻って、推定部１６０は、監視部１４０からアウトオブサービス、つまり無効情報が入力されたか否かを判定する（ステップＳ７）。推定部１６０は、無効情報が入力された場合は（ステップＳ７：肯定）、無効情報（アウトオブサービス）が第１の周波数領域処理または第２の周波数領域処理に基づくものであるか否かを判定する（ステップＳ８）。推定部１６０は、無効情報が第１の周波数領域処理または第２の周波数領域処理に基づくものである場合は（ステップＳ８：肯定）、調整部１７０に対して設定値の調整を行うように設定情報を出力する。ここで、設定情報は、心拍間隔のずれ率およびＡＲモデルの予測誤差の所定の閾値を調整するように指示する情報である。

調整部１７０は、推定部１６０から設定情報が入力されると、解析部１３０および監視部１４０から入力された極大周波数および極大スペクトル密度に基づいて、心拍間隔のずれ率およびＡＲモデルの予測誤差の所定の閾値を調整する調整情報を生成する。調整部１７０は、生成した調整情報を監視部１４０に出力する。監視部１４０は、調整情報に基づいて、ずれ率およびＡＲモデルの予測誤差における所定の閾値および算出タイミングを調整する（ステップＳ９）。また、推定部１６０は、設定情報を出力すると、推定結果の代わりにアウトオブサービスであることを被験者に通知し（ステップＳ１０）、ステップＳ２へと戻る。

推定部１６０は、無効情報が第１の周波数領域処理または第２の周波数領域処理に基づくものでない場合は（ステップＳ８：否定）、推定結果の代わりにアウトオブサービスであることを被験者に通知し（ステップＳ１０）、ステップＳ２へと戻る。なお、端末装置１００は、アウトオブサービスであることを被験者に通知後も、ステップＳ２からステップＳ１０の処理を繰り返し、ステップＳ４〜Ｓ６の処理でアウトオブサービスとならなくなった場合は、引き続き覚醒度の推定を行うことができる。

推定部１６０は、無効情報が入力されない場合（ステップＳ７：否定）、解析部１３０から入力された極大周波数および極大スペクトル密度と、スケール記憶部１５０に記憶された覚醒度の指標とを比較することで、被験者の覚醒度を推定する（ステップＳ１１）。推定部１６０は、例えば、図示しないモニタやスピーカを用いて、推定結果として被験者の覚醒度が低下した旨の情報を、被験者や被験者の周囲の者などに通知する（ステップＳ１２）。推定部１６０は、覚醒度の推定が終了したか否かを判定する（ステップＳ１３）。推定部１６０は、覚醒度の推定が終了していない場合は（ステップＳ１３：否定）、ステップＳ２に戻り、引き続き覚醒度推定処理を行う。推定部１６０は、覚醒度の推定が終了した場合は（ステップＳ１３：肯定）、覚醒度推定処理を終了する。

このように、端末装置１００は、自己回帰モデルを用いて心拍間隔情報を周波数領域で解析し、フーリエ変換を用いて心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定範囲であるか否かを監視する。端末装置１００は、自己回帰モデルを用いた解析結果およびフーリエ変換を用いた解析結果に基づいて、被験者の覚醒度を推定する。その結果、精度良く覚醒度を推定できる。

また、端末装置１００は、所定範囲として周波数範囲を用い、ピーク値が解析を行った周波数範囲の下限値にあるか監視し、ピーク値が解析を行った周波数範囲の下限値にある場合に、自己回帰モデルを用いた解析結果を無効とする。その結果、自己回帰モデルの擬似ピークによる誤判定を防止して覚醒度の推定精度を向上できる。

また、端末装置１００は、さらに、心拍間隔情報の各間隔のずれ率を算出し、ずれ率および自己回帰モデルの予測誤差のうち１つ以上が所定の閾値を超えるか監視する。端末装置１００は、ずれ率および自己回帰モデルの予測誤差のうち１つ以上が所定の閾値を超える場合に、自己回帰モデルを用いた解析結果を無効とする。その結果、脈波のように不連続になりやすい信号や、自己回帰モデルが実際の心拍間隔とあわない場合に覚醒度の推定を停止して、覚醒度の信頼性を向上させることができる。また、誤報を減らすことで車両の運転者の煩わしさを減らすことができる。

また、端末装置１００は、さらに、自己回帰モデルを用いた解析結果およびフーリエ変換を用いた解析結果のうち１つ以上に基づいて、所定の閾値を下げる、および、ずれ率の算出タイミングを短くすることのうち１つ以上を行うように調整する。その結果、解析を行う条件を厳しくしてノイズの影響を減らすことができる。また、誤報を減らすことで車両の運転者の煩わしさを減らすことができる。

また、上記実施例では、情報処理装置として端末装置１００を例示したが、これに限定されない。情報処理装置は、例えば、パーソナルコンピュータ、ワークステーションを用いてもよい。また、情報処理装置は、例えば、車両に搭載する場合に車両の制御装置を用いてもよいし、カーナビゲーション装置を用いてもよいし、運行記録計（デジタルタコグラフ）を用いてもよい。

上記実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。例えば、図１５に示した端末装置１００の一連の処理は、端末装置１００を搭載した車両のシステムが起動した後に、運転者による指示を受け付けることを契機として実行されても良い。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、監視部１４０は、ＦＦＴによる解析処理と、心拍間隔、解析結果等の監視を行う処理とを分けて構成してもよい。

図２２は、本実施例にかかる情報処理プログラムを実行するコンピュータの一例を示す説明図である。図２２に示すように、コンピュータ３００は、ユーザからデータの入力を受け付ける入力装置３０１と、モニタ３０２と、記憶媒体からプログラム等を読み取る媒体読み取り装置３０３と、他の装置とデータの授受を行うインターフェース装置３０４とを有する。また、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０５と、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。また、各装置３０１〜３０７は、バス３０８に接続される。また、コンピュータ３００は、被験者の心拍信号を検出する心拍センサ３１０と、スピーカ３２０と、インターフェース装置３０４を介して接続される。

ハードディスク装置３０７は、図１に示した、算出部１２０、解析部１３０、監視部１４０、推定部１６０および調整部１７０の各処理部と同様の機能を有する各種プログラムを記憶する。また、ハードディスク装置３０７は、スケール記憶部１５０として、被験者のスケールを、被験者を識別する識別情報に対応付けて記憶する。

ＣＰＵ３０５が各種プログラムをハードディスク装置３０７から読み出してＲＡＭ３０６に展開して実行することにより、各種プログラムは、各種プロセスとして機能する。すなわち、各種プログラムは、算出部１２０、解析部１３０、監視部１４０、推定部１６０および調整部１７０の各処理部と同様のプロセスとして機能する。

なお、上記の各種プログラムは、必ずしもハードディスク装置３０７に記憶されている必要はない。例えば、コンピュータが読み取り可能な記録媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしても良い。コンピュータが読み取り可能な記録媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、Local Area Network（ＬＡＮ）、Wide Area Network（ＷＡＮ）等に接続された装置にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしても良い。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）自己回帰モデルを用いて心拍間隔情報を周波数領域で解析する解析部と、
フーリエ変換を用いて前記心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定範囲であるか否かを監視する監視部と、
前記解析部の解析結果および前記監視部の解析結果に基づいて、被験者の覚醒度を推定する推定部と、
を有することを特徴とする情報処理装置。

（付記２）前記監視部は、前記所定範囲として周波数範囲を用い、前記ピーク値が解析を行った前記周波数範囲の下限値にあるか監視し、
前記推定部は、前記ピーク値が解析を行った前記周波数範囲の下限値にある場合に、前記解析部の解析結果を無効とすることを特徴とする付記１に記載の情報処理装置。

（付記３）前記監視部は、さらに、前記心拍間隔情報の各間隔のずれ率を算出し、前記ずれ率および前記自己回帰モデルの予測誤差のうち１つ以上が所定の閾値を超えるか監視し、
前記推定部は、前記ずれ率および前記自己回帰モデルの予測誤差のうち１つ以上が所定の閾値を超える場合に、前記解析部の解析結果を無効とすることを特徴とする付記２に記載の情報処理装置。

（付記４）さらに、前記解析部の解析結果および前記監視部の解析結果のうち１つ以上に基づいて、前記所定の閾値を下げる、および、前記ずれ率の算出タイミングを短くすることのうち１つ以上を行うように調整する調整部
を有することを特徴とする付記３に記載の情報処理装置。

（付記５）コンピュータが、
自己回帰モデルを用いて心拍間隔情報を周波数領域で解析し、
フーリエ変換を用いて前記心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定範囲であるか否かを監視し、
前記自己回帰モデルを用いた解析結果および前記フーリエ変換を用いた解析結果に基づいて、被験者の覚醒度を推定する
処理を実行することを特徴とする情報処理方法。

（付記６）コンピュータに、
自己回帰モデルを用いて心拍間隔情報を周波数領域で解析し、
フーリエ変換を用いて前記心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定範囲であるか否かを監視し、
前記自己回帰モデルを用いた解析結果および前記フーリエ変換を用いた解析結果に基づいて、被験者の覚醒度を推定する
処理を実行させることを特徴とする情報処理プログラム。

１００端末装置
１１０検出部
１２０算出部
１３０解析部
１４０監視部
１５０スケール記憶部
１６０推定部
１７０調整部

Claims

自己回帰モデルを用いて心拍間隔情報を周波数領域で解析する解析部と、
フーリエ変換を用いて前記心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定の周波数範囲における所定値であるか否かを監視する監視部と、
前記監視部の監視結果が前記所定値でない場合に、前記解析部の解析結果および前記監視部の解析結果に基づいて、被験者の覚醒度を推定する推定部と、
を有することを特徴とする情報処理装置。
前記監視部は、前記ピーク値が解析を行った前記所定の周波数範囲の下限値にあるか監視し、
前記推定部は、前記ピーク値が解析を行った前記所定の周波数範囲の下限値にある場合に、前記解析部の解析結果を無効とすることを特徴とする請求項１に記載の情報処理装置。
前記監視部は、さらに、前記心拍間隔情報の各間隔のずれ率を算出し、前記ずれ率および前記自己回帰モデルの予測誤差のうち１つ以上が所定の閾値を超えるか監視し、
前記推定部は、前記ずれ率および前記自己回帰モデルの予測誤差のうち１つ以上が所定の閾値を超える場合に、前記解析部の解析結果を無効とすることを特徴とする請求項２に記載の情報処理装置。
さらに、前記解析部の解析結果および前記監視部の解析結果のうち１つ以上に基づいて、前記所定の閾値を下げる、および、前記ずれ率の算出タイミングを短くすることのうち１つ以上を行うように調整する調整部
を有することを特徴とする請求項３に記載の情報処理装置。
コンピュータが、
自己回帰モデルを用いて心拍間隔情報を周波数領域で解析し、
フーリエ変換を用いて前記心拍間隔情報を周波数領域で解析し、当該解析の解析結果のピーク値が所定の周波数範囲における所定値であるか否かを監視し、
監視結果が前記所定値でない場合に、前記自己回帰モデルを用いた解析結果および前記フーリエ変換を用いた解析結果に基づいて、被験者の覚醒度を推定する
処理を実行することを特徴とする情報処理方法。