JP3960168B2 - 生体状態推定方法及び装置、プログラム - Google Patents
生体状態推定方法及び装置、プログラム Download PDFInfo
- Publication number
- JP3960168B2 JP3960168B2 JP2002251468A JP2002251468A JP3960168B2 JP 3960168 B2 JP3960168 B2 JP 3960168B2 JP 2002251468 A JP2002251468 A JP 2002251468A JP 2002251468 A JP2002251468 A JP 2002251468A JP 3960168 B2 JP3960168 B2 JP 3960168B2
- Authority
- JP
- Japan
- Prior art keywords
- biological
- biological signal
- parameter
- relational expression
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Description
【発明の属する技術分野】
本発明は、作業者の生体信号に基づいて該作業者の生体状態を推定する生体状態推定方法及び装置、プログラムに関する。
【0002】
【従来の技術】
従来より、作業者の覚醒度や疲労度等の生体状態を、その作業者のまぶたや眼球の運動を表す生体信号から推定する技術が知られている。但し、生体状態を直接的に評価することが困難であるため、生体状態と強い相関関係を有する作業能力を測定し、この作業能力から生体状態を定量的に評価することが考えられている。
【0003】
例えば、作業者が車両運転中のドライバー、生体状態が覚醒度である場合を考えると、ドライバーの覚醒度が低下するに従い、目が泳ぎ、まぶたが垂れて目が半開きの状態となり、最終的にはまぶたが閉じられてしまう。これと共に、ドライバーの運転能力(作業能力)が低下し、車両がふらつくことにより、車両の目標走行軌跡に対する横ずれ量が大きくなる。
【0004】
つまり、まぶたや眼球の運動を表わす生体信号と、ドライバーの運転能力に密接に関係した車両の横ずれ量との関係を測定し、その測定結果から両者の関係式を予め求めておけば、その関係式を用いて、生体信号からドライバーの運転能力のレベル、ひいては生体状態を評価できるのである。
【0005】
この場合、生体信号と車両の横ずれ量との関係式を精度良く求めることが重要となる。但し、生体信号には個人差があるため、生体信号から生体状態を評価するための関係式は、作業者毎に異なったものとなる。
このため、例えば特開平5−92039号公報には、実際に生体信号から生体状態(覚醒度)の推定を行う前に、その対象となる各作業者に簡単な作業を行わせて、その作業結果から、作業能力に密接に関係する物理量(刺激に対する反応時間)と生体信号との関係式を作業者毎に予め求めておく方法が開示されている。
【0006】
また、特開平8−225028号公報には、作業(自動車の運転)開始からしばらくの時間内に、生体信号(瞬きパラメータ)と作業能力に密接に関係する物理量(運転挙動)との相関関係を学習し、その学習により得られた情報に基づいて関係式を求める方法が開示されている。
【0007】
【発明が解決しようとする課題】
しかし、前者では、作業を開始する前に、各作業者に対して、関係式を求めるための事前拘束を強いることになるという問題があった。
一方、後者では、各作業者に合わせた関係式を求めるための学習が、その作業(車両の運転)中になされるため、事前拘束の必要はないが、覚醒度が低下した状態の時のデータも、その作業中に取得しなければならないため、必要なデータが完備するまでの間は作業の安全性を充分に確保することができないという問題があった。
【0008】
本発明は、上記問題点を解決するために、作業者の生体信号から作業者の生体状態を推定する生体状態推定方法及び装置において、作業前の事前拘束を強いたり、作業中の安全性を低下させることなく、どの作業者に対しても生体信号から生体状態を正しく推定できるようにすることを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するための発明である請求項1記載の生体状態推定方法では、被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと、被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を複数人の被験者について測定した結果に基づいて、生体信号パラメータと作業能力パラメータとの関係について各被験者に共通する変化の傾向を記述した関係式を予め定義しておく。
【0010】
そして、対象となる作業者から抽出した生体信号に基づいて生体信号パラメータを生成し、その生体信号パラメータから、上述の関係式に基づいて作業能力パラメータを求めることにより、作業者の生体状態を推定する。
つまり、作業者に応じて個別の関係式を用いるのではなく、規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全ての作業者について共通の関係式を適用できるようにされている。
【0011】
従って、本発明の生体状態推定方法によれば、各作業者に対応した個別の関係式を作成する必要がないため、作業者に事前拘束を強いることがなく、また、作業の初期から精度のよい生体状態の推定結果を得ることができる。
次に請求項2記載の生体状態推定装置では、関係式記憶手段に、被験者の生体信号から生成され、生体信号の個人差が吸収されるように規格化された生体信号パラメータと被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を複数人の被験者について測定した結果に基づいて、生体信号パラメータと作業能力パラメータとの関係について各被験者に共通する変化の傾向を記述した関係式が記憶されている。
【0012】
そして、パラメータ生成手段が、作業者から抽出した生体信号から生体信号パラメータを生成し、生体状態推定手段が、関係式記憶手段に記憶された関係式に基づいて、パラメータ生成手段が生成した生体信号パラメータから作業能力パラメータを求めることにより、作業者の生体状態を推定する。
【0013】
つまり本発明の生体状態推定装置は、請求項1記載の方法を実現するものであり、従って、その方法を実施した場合と同様の効果を得ることができる。
なお、関係式記憶手段に記憶される関係式としては、例えば請求項3記載のように、生体信号パラメータと作業能力パラメータとの相関関係の測定結果を表す散布図から回帰分析(生体信号パラメータが複数ある場合には重回帰分析)をすることで求めた回帰式を用いることができる。
なお、請求項4に記載のように、回帰式によって表される回帰直線は、屈曲点を有していてもよい。また、回帰式は、請求項5に記載のように、2本の直線からなる折れ線で近似されていてもよいし、請求項6に記載のように、曲線で近似されていてもよい。
【0014】
ここで、パラメータ生成手段は、例えば請求項7記載のように構成することができる。即ち、特徴値生成手段が、生体信号から該生体信号の特徴を表す特徴値を生成し、基準値設定手段が、作業開始後の一定時間内に特徴値生成手段にて生成される特徴値に基づいて、該特徴値についての基準値を設定する。そして、相対値算出手段が、その設定された基準値に対する特徴値の相対値を求め、その算出された相対値に基づいて、演算手段が生体信号パラメータを求める。
【0015】
つまり、作業者の生体状態(例えば覚醒度)が、その作業(例えば車両の運転)を行うのに適した状態(覚醒状態)にあることが期待できる作業開始後の一定時間内に、その作業者の基準値を求め、この基準値からの相対変化を求めることで、生体信号に含まれる個人差分が除去された生体信号パラメータを得ているのである。
【0016】
なお、この場合、作業開始後の一定時間の間は、基準値を求めるための情報収集を行う必要があるが、作業開始後に関係式を学習する場合とは異なり、生体状態が作業の遂行に好ましくない状態に変化した時の情報を収集する必要がないため、安全に且つ短期間で必要な情報を得ることができる。
【0017】
ところで、生体信号としては、例えば請求項8記載のように、まぶたの動きを表す信号を用いることができる。この場合、例えば請求項9記載のように、特徴値生成手段は、特徴値として、上まぶたと下まぶたとの間隔を生体信号から求め、基準値設定手段は、その特徴値の平均値に0以上1未満に設定された係数を乗じた値を基準値とするように構成することができる。
【0018】
即ち、基準値設定手段が生成する特徴値の平均値は、作業者が覚醒状態にあると期待できる間に取得された特徴値に基づくものであるため、1である係数を乗じた基準値とはまぶたが完全に開いた時の特徴値、0である係数を乗じた基準値とは、まぶたが完全に閉じた時の特徴値に相当する。つまり、まぶたが完全に閉じた状態、または半開きの状態を表わす特徴値が基準値として設定されることになる。
【0019】
但し、まぶたが完全に開いた状態は変動が大きいため、その変動領域に基準値が設定されてしまうことがないように、係数は、請求項10記載のように、0以上0.5以下(より好ましくは0.35程度)であることが望ましい。
また、このように平均的なまぶたの開度を検出する場合、まぶたの開度を瞬時的に変化させる瞬きはノイズ成分となるため、特徴値生成手段は、請求項11記載のように、特徴値から瞬きに対応するものを排除するように構成することが望ましい。
【0020】
そして、演算手段は、例えば請求項12記載のように、特徴値が基準値より大又は小である期間の時間割合から生体信号パラメータを求めるように構成することができる。また、この場合、時間割合そのものを生体信号パラメータとしてもよいが、例えば請求項13記載のように、時間割合の移動平均を生体信号パラメータとしてもよい。
【0021】
また、特徴値生成手段は、請求項14記載のように、生体信号を周波数解析した結果を特徴値としてもよい。この場合、演算手段は、請求項15記載のように、特徴値に基づき、いわゆる主成分分析等の統計的な手法を用いることで、各特徴値に共通する変化の傾向を記述する一乃至複数の主成分を生体信号パラメータとして求めるようにしてもよい。
【0022】
また、この場合、生体信号としては、例えば請求項16記載のように、眼球運動を表す信号を用いることができる。
なお、作業者が車両のドライバーである場合には、請求項17記載のように、車両の横ずれ量を作業能力パラメータとして用いることができる。
【0023】
なお、請求項2乃至請求項18いずれか記載の生体状態推定装置を構成する各手段は、コンピュータをこれら各手段として動作させるためのプログラムにて構成してもよい。
【0024】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
[第1実施形態]
図1は、車両に搭載され、ドライバーの生体信号からその作業能力を推定することで、ドライバーの覚醒度や疲労度等の生体状態を推定する第1実施形態の生体状態推定装置1の構成を示すブロック図である。
【0025】
図1(a)に示すように、本実施形態の生体状態推定装置1は、CCDカメラからドライバーの眼部周辺を撮像してなる画像データを生体信号として取得する生体信号取得部10と、生体信号取得部10にて取得された生体信号から、後述する生体信号パラメータを生成するパラメータ生成手段としての生体信号パラメータ生成部12と、生体信号パラメータと覚醒度や疲労度等の生体状態に応じて変化する物理量である作業能力パラメータとの相関関係を定義した関係式を記憶する関係式記憶手段としての関係式記憶部14と、関係式記憶部14に記憶された関係式に基づき、生体信号パラメータ生成部12にて生成された生体信号パラメータから作業能力パラメータを求める生体状態推定手段としての作業能力推定部16とを備えている。
【0026】
そして、生体信号パラメータ生成部12は、図1(b)に示すように、生体信号取得部10にて取得された生体信号から、周知の画像処理手法を用いて上まぶたと下まぶたとの間隔を求めることで、まぶたの開度を表わした特徴データを抽出する特徴データ抽出部20と、特徴データ抽出部20が抽出した特徴データから、瞬きに対応するものを除去するフィルタ部21とを備えている。
【0027】
なお、特徴データ抽出部20では、上まぶたと下まぶたとの間の画素数を特徴データとして抽出し、また、フィルタ部21では、例えば、100msec以下の時間範囲内で、高速に変化するデータを瞬きに基づくものであると判断し、これを瞬きノイズとして除去するように構成されている。
【0028】
また、生体信号パラメータ生成部12は、ドライバーの覚醒度が高い状態であることが期待できる運転開始後、一定時間(本実施形態では3分間)内の特徴データの平均値を求める平均値算出部23と、平均値算出部23での算出値に予め設定された係数(本実施形態では0.35)を乗じることにより、特徴データの基準値を求める係数乗算部24とからなる基準値生成部22を備えている。
【0029】
つまり、平均値算出部23が算出する特徴データの平均値は、覚醒状態にあるドライバーのまぶたの開き度合いを表わしており、係数乗算部24にて係数を乗じることにより、まぶたが特定の半開きの状態が基準となるようにされている。更に、生体信号パラメータ生成部12は、瞬きノイズが除去された特徴データと上述の基準値とを比較する比較部25と、比較部25での比較結果に従い、基準値以下となる特徴データが占める時間割合を単位時間(本実施形態では10秒)毎に算出する時間割合算出部26と、時間割合算出部26での算出結果に従って、図2に示すように、30秒間の窓を20秒毎にシフトさせた時間割合の移動平均を算出する移動平均算出部27とを備えおり、移動平均算出部27から20秒間隔で算出される時間割合の移動平均を、生体信号パラメータとして出力する。つまり、時間割合の移動平均からなる生体信号パラメータは0〜1の実数値をとる。
【0030】
なお、生体信号パラメータ生成部12において、特徴データ抽出部20及びフィルタ部21が特徴値抽出手段、基準値生成部22が基準値設定手段、比較部25が相対値算出手段、時間割合算出部26及び移動平均算出部27が演算手段に相当する。
【0031】
このように構成された本実施形態の生体状態推定装置1では、生体信号パラメータ生成部12にて、まぶたの開度が基準値に対応する開度以下となる時間割合を表わす生体信号パラメータが生成され、この生体信号パラメータと、関係式記憶部14に記憶された関係式とに基づいて、作業能力パラメータが求められる。
【0032】
なお、上述の生体状態推定装置1では、基準値を求めるためのデータを収集する一定時間を3分、生体信号パラメータを求めるために相対値の移動平均を求める際の移動窓の幅を30秒、窓の移動量を20秒としたが、これらの値に限定されるものではなく、使用する生体信号等に応じて適宜設定すればよい。
【0033】
次に、関係式記憶部14に記憶される関係式の生成方法について説明する。
図3はドライビングシミュレータを利用して関係式を生成するためのデータを収集するデータ収集装置3の構成を表わすブロック図、図4は関係式の生成手順を示すフローチャートである。
【0034】
図3に示すように、データ収集装置3は、ドライビングシミュレータから車線中央からの車両の横ずれ量を評価データとして取得する評価データ取得部30と、評価データ取得部30が取得した評価データの移動平均を算出する移動平均算出部34からなり、移動平均算出部34での算出値を作業能力パラメータとして出力する作業能力パラメータ生成部32とを備えている。
【0035】
なお、移動平均算出部34は、生体信号パラメータ生成部12が相対値の移動平均を算出する場合と同様に、20秒ずつシフトさせた30秒間分の評価データの平均値を連続的に求めるように構成されている(図2参照)。但し、作業能力パラメータの最大値は6[m]に制限されている。これは、運転している車両が中央分離帯や路側壁を乗り越えて飛び出してしまった状態に相当し、実験的にも、作業能力パラメータが6[m]以上の時には、ドライバーが居眠り状態になっていることが確認されている。
【0036】
また、データ収集装置3は、CCDカメラからドライビングシミュレータを操作する被験者の眼部周辺を撮像してなる画像データを生体信号として取得する生体信号取得部40と、生体信号取得部40にて取得された生体信号から生体信号パラメータを生成する生体信号パラメータ生成部42とを備えている。
【0037】
なお、生体信号取得部40及び生体信号パラメータ生成部42は、生体状態推定装置1における生体信号取得部10及び生体信号パラメータ生成部12と全く同様に構成されているため、ここでは説明を省略する。
このように構成されたデータ収集装置3では、ドライビングシミュレータを使用する被験者の生体信号と、被験者の操作に基づく評価データ(車両横ずれ量)とを同時に取得し、これら生体信号及び評価データに基づいて、生体信号パラメータ及び作業能力パラメータを生成する。
【0038】
そして、図4に示すように、関係式を生成する際には、データ収集装置3を使用して複数の被験者についての生体信号パラメータ及び作業能力パラメータを取得する第1のステップS1と、これら取得したパラメータを同一の散布図上に表わす第2のステップS2と、散布図上のパラメータに対して公知の回帰分析を実施することで回帰直線を求め、この回帰直線を表わす回帰式を求める第3のステップS3とを実行し、この第3のステップS3にて得られた回帰式を関係式として、関係式記憶部14に記憶する。
【0039】
但し、第2のステップS2にて散布図を作成する際に、作業能力パラメータの最大値が1となるように規格化を行う。即ち、作業能力パラメータは、覚醒度が高い状態では0であり、覚醒度が低下するほど値は大きくなり、居眠り状態では1となるように変換される。
【0040】
従って、散布図においては、作業能力パラメータが0に近づくほど、車両横ずれ量も小さく、ドライバの覚醒度が高いことを意味し、また作業能力パラメータが1に近づくほど、車両横ずれ量も大きく、ドライバーの覚醒度が低いことを意味する。
【0041】
ここで、図5は、データ収集装置3を使用して3人の被験者から生体信号パラメータ及び作業能力パラメータを取得し、生体信号パラメータを横軸、作業能力パラメータを縦軸に取って作成した散布図、及び散布図に基づいて求められた回帰直線を表わすグラフである。
【0042】
なお、両パラメータを取得する際にドライビングシミュレータの設定を、他の車両が走行していない高速道路を100km/hの定速走行する走行場面とした。
また、被験者には、走行車線中央に沿って走行するように60分間ハンドル操作だけを行わせた。この状態で、走行車線中央からの車両の横ずれ量を10ms周期(サンプリング周波数100Hz)で取得したものを評価データとし、同様に特徴データも、生体信号に基づいて10ms周期で生成した。
【0043】
つまり、評価データに、被験者の作業能力とは関係のない、いわゆる外乱(路上の障害物回避など)により生じる車両の横ずれ量が含まれないように条件を設定した。
この結果、図5に示されているように、回帰直線は、2本の直線からなる折線、即ち2つの関係式にて近似されるという結果を得た。なお、折線の屈曲点は、生体信号パラメータが約0.1(3/30)のところにあり、この屈曲点までの間は直線の傾きが小さく、この屈曲点を超えると、直線の傾きが大きくなる。但し、屈曲点に対応する生体信号パラメータは、基準値を求めるための係数に依存し、この係数に応じて1/30〜7/30の間で変化する。
【0044】
次に、このようにして得られた関係式が関係式記憶部14に格納された生体状態推定装置1を用いて、被験者とは異なるドライバーの作業能力、ひいては覚醒度も推定できることを検証した。
即ち、関係式を導いた際に測定した被験者とは異なる被験者の生体信号から、同様の方法で時系列の生体信号パラメータを求め、前述の関係式に入力し、時系列の車両の横ずれ量の推定値を算出する。この推定した車両横ずれ量と、生体信号取得の際に同時に取得した実際の車両横ずれ量とを比較した。図9は、両者を同じグラフに示したものであり、両者が非常に良く一致している(相関値:0.81)ことがわかる。
【0045】
これにより、異なる作業者においても、共通の関係式を用いて、作業者の生体信号パラメータから作業能力が検出できることが実証された。
以上説明したように、本実施形態では、ドライバーが覚醒状態にあることが期待できる作業開始初期に、各人の基準となる生体信号を取得し、基準値に対する生体信号の大小時間割合を生体信号パラメータとしている。
【0046】
つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全てのドライバーについて共通の関係式を適用できるようにされている。
【0047】
従って、本実施形態によれば、各ドライバーに対応した個別の関係式を作成する必要がないため、ドライバーに関係式を求めるための事前拘束を強いることがなく、また、運転初期からドライバーの作業能力、ひいては覚醒度や疲労度を精度よく推定することができる。
【0048】
また、本実施形態では、生体信号から抽出した特徴データ(まぶたの開度データ)から、瞬き時に抽出された特徴データを除去するようにされているため、基準値や生体信号パラメータの生成精度を高めることができ、その結果、推定精度をより向上させることができる。
【0049】
更に、本実施形態では、関係式を求めるためのデータの収集に、ドライビングシミュレータを利用しているため、覚醒度の高い状態(横ずれ量小)から、覚醒度の大幅な低下状態(居眠り状態:横ずれ量大)までのデータを安全に取得することができる。しかも、生体状態とは関係のない外乱による車両の横ずれを確実に排除できるため、車両横ずれ量が覚醒度の低下状態と非常に強い相関を持つデータを得ることができ、精度のよい関係式を得ることができる。
【0050】
なお、本実施形態では、回帰式を2本の直線からなる折線で近似したが、曲線による近似を用いてもよいことは自明である。
[第2実施形態]
次に、第2実施形態について説明する。
【0051】
本実施形態では、生体信号として、CCDカメラからドライバーの眼部周辺を撮像してなる画像データの代わりに、目尻の両端に電極を貼った、いわゆるEOG(Electro-Oculogram )からの眼球運動に対応して変動する信号を用いる点で第1実施形態とは異なっている。
【0052】
具体的には、生体状態推定装置1及びデータ収集装置3を構成する生体信号パラメータ生成部の構成、及び生体信号パラメータと作業能力パラメータとから関係式を求める手順が、第1実施形態とは異なるだけであるため、この相違する部分を中心に説明する。
【0053】
即ち、本実施形態では、生体信号パラメータ生成部12,42の代わりに、図6に示す生体信号パラメータ生成部52が用いられている。この生体信号パラメータ生成部52は、生体信号をサンプリングすると共に、128個のサンプリングデータからなる眼球運動データを、20秒毎に生成するデータ抽出部60と、データ抽出部60にて生成された眼球運動データに対してFFT処理を施すことにより周波数解析部61と、周波数解析部61での解析により得られた眼球運動スペクトルを構成する各周波数成分の振幅をLOG(常用対数)変換するLOG変換部62とを備えている。
【0054】
なお、データ抽出部60では、図7に示すように、10ms周期(サンプリング周波数100Hz)にて生体信号をサンプリングし、瞬きに対応したスパイク状のノイズを含まない連続した128個のサンプリングデータを20秒毎に過去30秒間分のサンプリングデータの中から抽出することで眼球運動データを生成する。
【0055】
また生体信号パラメータ生成部52は、ドライバーの覚醒度が高い状態であることが期待できる運転開始後、一定時間(本実施形態では3分間)内で生成された眼球運動スペクトルの平均値を求めることで、基準スペクトルを生成する平均値算出部63と、平均値算出部63からの基準スペクトルに対するLOG変換部62からの眼球運動スペクトルの相対値を求める相対値算出部64と、眼球運動スペクトルの相対値を、後述する変換式を用いて、複数(本実施形態では4)個の主成分に変換する主成分変換部65とを備え、この主成分変換部65にて変換された主成分を生体信号パラメータとして出力する。
【0056】
但し、データ収集装置3を構成する生体信号パラメータ生成部52では、主成分変換部65が省略され、相対値算出部64が算出した眼球運動スペクトルの相対値を出力するように構成されている。
なお、生体状態推定装置1を構成する生体信号パラメータ生成部52において、データ抽出部60,周波数解析部61,LOG変換部62が特徴値生成手段、平均値算出部63が平均値算出手段、相対値算出部64が相対値算出手段、主成分変換部65が演算手段に相当する。
【0057】
次に、関係式の生成手順について説明する。
関係式を生成する際には、図8に示すように、記生体信号パラメータ生成部52にて構成されたデータ収集装置3を使用して複数の被験者についての眼球運動スペクトルの相対値及び作業能力パラメータを取得する第1のステップS11と、これら取得した眼球運動スペクトルの相対値とこれに対応する作業能力パラメータ(車両横ずれ量)とを、多次元空間の散布図上に表わす第2のステップS12と、散布図上のパラメータに対して公知の主成分分析を行い、眼球運動スペクトルの共通的特徴を表わす第1〜第4主成分まで求めるための変換式を得る第3のステップS13と、この変換式に基づき多次元空間上の全点を主成分に変換する第4のステップS14と、第4のステップS14にて得られた4つの主成分(生体信号パラメータ)と作業能力パラメータとからなる5次元空間上の散布図に基づき、両者の関係式を公知の重回帰分析により求める第5のステップS15とを実行する。
【0058】
そして、第3のステップS13にて得られる変換式を主成分変換部65に設定し、第5のステップS15にて得られる関係式を関係式記憶部14に記憶する。以上説明したように、本実施形態では、ドライバーが覚醒状態にあることが期待できる作業開始初期に取得した生体信号から、各人の基準となる基準スペクトルを求め、この基準スペクトルに対する眼球運動スペクトルの相対値を、主成分に変換したものを生体信号パラメータとするようにされている。
【0059】
つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全てのドライバーについて共通の関係式を適用できるようにされ、また、生体信号から瞬きに対応するデータを除去して眼球運動スペクトルを求めるようにされている。
【0060】
従って、本実施形態によれば、第1実施形態の場合と同様の効果を得ることができる。
なお、本実施形態において、生体信号パラメータ生成部52では、眼球運動スペクトルに対してLOG変換を施し、更に基準スペクトルに対する眼球運動スペクトルの相対値を求めているが、これに限らず、各ドライバー(作業者)毎に基準値を設定し、この基準値を基に生体信号の相対変化を求め、どのドライバーの生体信号であっても同じ重みで処理できるようにされていればよい。
【0061】
また、関係式を求める際の作業者数やFFT処理に使用するサンプリングデータの個数、主成分分析の次数などは、上述の値に限るものではなく、各種条件に応じて適宜設定すればよい。
また、眼球運動スペクトルの相対値から共通適特徴を抽出する方法としては、主成分分析に限るものではなく、その他の特徴抽出が行える既存の手段、アルゴリズムを用いてもよい。
【0062】
以上本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
例えば、上記実施形態では、ドライビングシミュレータを使用して取得した評価データから関係式を求めているが、ドライビングシミュレータの代わりに、実際の道路を走行した時に得られる車両横ずれ量を評価データとして用いてもよい。この場合、評価データから外乱(路上の障害物回避など)に基づくものを除去するように構成することが望ましい。またこの場合、車両横ずれ量は、例えば時々刻々と得られる車速と操舵角とから求めるようにすればよい。
【0063】
また、ドライビングシミュレータを使用する代わりに、例えば、パソコンディスプレイ上を移動するターゲットに追従して、マウスを操作することで、ポインターを追従操作させることで、生体信号と作業能力との関係を測定して、関係式を求めるようにしてもよい。この場合、作業能力、すなわち移動するターゲットに対してマウス操作によるポインターの追従誤差は、ほぼ覚醒度の低下のみの影響を受けて増大し、外乱成分は含まれないため、精度の高い関係式を得ることができる。
【0064】
更に、上記実施形態では、生体状態推定装置1による推定対象の作業者を、車両のドライバーとしたが、これに限らず、他の分野の作業者、例えば、工業プラントの監視業務や、他の交通手段の操縦者(航空機のパイロットや船舶の操船者等)等であってもよい。こえらの場合、それぞれのオペレーション操作を代表する作業における作業能力を測定し、生体信号との関係を示す関係式を求めればよい。いずれの作業も、覚醒度の低下と共に作業能力が低下する相関関係が認められるものであればよい。
【図面の簡単な説明】
【図1】 第1実施形態における生体状態推定装置の構成を示すブロック図である。
【図2】 生体信号パラメータの算出方法及びタイミングを示す説明図である。
【図3】 第1実施形態におけるデータ収集装置の構成を示すブロック図である。
【図4】 第1実施形態における関係式の生成手順を示すフローチャートである。
【図5】 生体信号パラメータと作業能力パラメータとの測定結果を示す散布図である。
【図6】 第2実施形態における生体状態推定装置及びデータ収集装置を構成する生体信号パラメータ生成部の構成を示すブロック図である。
【図7】 FFT処理に使用するサンプリングデータを示す説明図である。
【図8】 第2実施形態における関係式の生成手順を示すフローチャートである。
【図9】 生体信号から推定した車両横ずれ量と、実際の車両横ずれ量との関係を示すグラフである。
【符号の説明】
1…生体状態推定装置、3…データ収集装置、10…生体信号取得部、12…生体信号パラメータ生成部、14…関係式記憶部、16…作業能力推定部、20…特徴データ抽出部、21…フィルタ部、22…基準値生成部、23…平均値算出部、24…係数乗算部、25…比較部、26…時間割合算出部、27…移動平均算出部、30…評価データ取得部、32…作業能力パラメータ生成部、34…移動平均算出部、40…生体信号取得部、42…生体信号パラメータ生成部、52…生体信号パラメータ生成部、60…データ抽出部、61…周波数解析部、62…LOG変換部、63…平均値算出部、64…相対値算出部、65…主成分変換部。
Claims (18)
- 被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと前記被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を複数人の被験者について測定した結果に基づいて、前記生体信号パラメータと前記作業能力パラメータとの関係について、各被験者に共通する変化の傾向を記述した関係式を予め定義しておき、
作業者から抽出した生体信号から前記生体信号パラメータを生成し、該生体信号パラメータから前記関係式に基づいて前記作業能力パラメータを求めることにより、前記作業者の生体状態を推定することを特徴とする生体状態推定方法。 - 被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと前記被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を複数人の被験者について測定した結果に基づいて、前記生体信号パラメータと前記作業能力パラメータとの関係について、各被験者に共通する変化の傾向を記述した関係式を記憶する関係式記憶手段と、
作業者から抽出した生体信号から前記生体信号パラメータを生成するパラメータ生成手段と、
前記関係式記憶手段に記憶された関係式に基づいて、前記パラメータ生成手段が生成した生体信号パラメータから前記作業能力パラメータを求めることにより、前記作業者の生体状態を推定する生体状態推定手段と、
を備えることを特徴とする生体状態推定装置。 - 前記関係式記憶手段に記憶される関係式は、前記生体信号パラメータと前記作業能力パラメータとの相関関係の測定結果を表す散布図から求めた回帰式であることを特徴とする請求項2記載の生体状態推定装置。
- 前記回帰式によって表される回帰直線は、屈曲点を有することを特徴とする請求項3に記載の生体状態推定装置。
- 前記回帰式は、2本の直線からなる折れ線で近似されていることを特徴とする請求項3に記載の生体状態推定装置。
- 前記回帰式は、曲線で近似されていることを特徴とする請求項3に記載の生体状態推定装置。
- 前記パラメータ生成手段は、
前記生体信号から該生体信号の特徴を表す特徴値を生成する特徴値生成手段と、
作業開始後の一定時間内に前記特徴値生成手段にて生成される特徴値に基づいて、該特徴値についての基準値を設定する基準値設定手段と、
該基準値設定手段にて設定された基準値に対する前記特徴値の相対値を求める相対値算出手段と、
該相対値算出手段にて算出された相対値に基づいて、前記生体信号パラメータを求める演算手段と、
を備えることを特徴とする請求項2乃至請求項6いずれか記載の生体状態推定装置。 - 前記生体信号は、まぶたの動きを表す信号であることを特徴とする請求項7記載の生体状態推定装置。
- 前記特徴値生成手段は、上まぶたと下まぶたとの間隔を前記特徴値として求め、
前記基準値設定手段は、前記特徴値の平均値に0以上1未満に設定された係数を乗じた値を前記基準値とすることを特徴とする請求項8記載の生体状態推定装置。 - 前記係数は0以上0.5以下であることを特徴とする請求項9記載の生体状態推定装置。
- 前記特徴値生成手段は、前記特徴値から瞬きに対応するものを排除することを特徴とする請求項9又は請求項10記載の生体状態推定装置。
- 前記演算手段は、前記特徴値が前記基準値より大又は小である期間の時間割合から前記生体信号パラメータを求めることを特徴とする請求項7乃至請求項11いずれか記載の生体状態推定装置。
- 前記演算手段は、前記時間割合の移動平均を前記生体信号パラメータとすることを特徴とする請求項12記載の生体状態推定装置。
- 前記特徴値生成手段は、前記生体信号を周波数解析した結果を前記特徴値とすることを特徴とする請求項7記載の生体状態推定装置。
- 前記演算手段は、前記生体信号パラメータとして、前記特徴値に基づき、各特徴値に共通する変化の傾向を記述する一乃至複数の主成分を求めることを特徴とする請求項14記載の生体状態推定装置。
- 前記生体信号は、眼球運動を表す信号であることを特徴とする請求項14又は請求項15記載の生体状態推定装置。
- 前記作業者は、車両のドライバーであり、
前記作業能力パラメータは、車両の横ずれ量であることを特徴とする請求項2乃至請求項16いずれか記載の生体状態推定装置。 - コンピュータを、請求項2乃至請求項17いずれか記載の生体状態推定装置を構成する各手段として動作させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002251468A JP3960168B2 (ja) | 2002-08-29 | 2002-08-29 | 生体状態推定方法及び装置、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002251468A JP3960168B2 (ja) | 2002-08-29 | 2002-08-29 | 生体状態推定方法及び装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004089272A JP2004089272A (ja) | 2004-03-25 |
JP3960168B2 true JP3960168B2 (ja) | 2007-08-15 |
Family
ID=32058039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002251468A Expired - Fee Related JP3960168B2 (ja) | 2002-08-29 | 2002-08-29 | 生体状態推定方法及び装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3960168B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4935146B2 (ja) * | 2006-03-29 | 2012-05-23 | トヨタ自動車株式会社 | 車両用制御装置 |
US8045766B2 (en) | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
JP4899059B2 (ja) * | 2007-03-30 | 2012-03-21 | 国立大学法人静岡大学 | 眠気検知装置 |
JP2010250577A (ja) * | 2009-04-16 | 2010-11-04 | Nec Corp | 情報処理装置およびプログラムおよび携帯型無線通信機器および居眠り防止システムおよび居眠り検知方法 |
DE102015211443A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite |
JP7045639B2 (ja) | 2017-02-28 | 2022-04-01 | パナソニックIpマネジメント株式会社 | 作業適正度判定システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63125624U (ja) * | 1987-02-09 | 1988-08-16 | ||
JP3435413B2 (ja) * | 1990-06-06 | 2003-08-11 | 独立行政法人産業技術総合研究所 | 車両用ヒューマンマシンシステム |
JPH08112253A (ja) * | 1994-10-14 | 1996-05-07 | Nissan Motor Co Ltd | 覚醒状態低下判定装置 |
JP3127760B2 (ja) * | 1995-02-20 | 2001-01-29 | 株式会社豊田中央研究所 | 運転者の覚醒度検出装置 |
JP3312562B2 (ja) * | 1996-07-18 | 2002-08-12 | 日産自動車株式会社 | 居眠り状態検出装置 |
JP3223851B2 (ja) * | 1997-07-04 | 2001-10-29 | 日産自動車株式会社 | メンタルストレス判定装置 |
JP3769442B2 (ja) * | 2000-02-15 | 2006-04-26 | ナイルス株式会社 | 眼の状態検出装置 |
-
2002
- 2002-08-29 JP JP2002251468A patent/JP3960168B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004089272A (ja) | 2004-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Solovey et al. | Classifying driver workload using physiological and driving performance data: two field studies | |
Lanatà et al. | How the autonomic nervous system and driving style change with incremental stressing conditions during simulated driving | |
US8400313B2 (en) | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device | |
CN102098955B (zh) | 检测微入睡事件的方法和设备 | |
US8862581B2 (en) | Method and system for concentration detection | |
US9282934B2 (en) | Composite brain function monitoring and display system | |
EP2087841A1 (en) | Arousal level judging method and arousal level judging program | |
US20090040054A1 (en) | Real-time driving danger level prediction | |
Li et al. | Drunk driving detection based on classification of multivariate time series | |
JP6375496B2 (ja) | 眠気検出方法及び眠気検出装置 | |
US10877444B1 (en) | System and method for biofeedback including relevance assessment | |
Liu et al. | A review of driver fatigue detection: Progress and prospect | |
Ma et al. | Real time drowsiness detection based on lateral distance using wavelet transform and neural network | |
Tansakul et al. | Fatigue driver detection system using a combination of blinking rate and driving inactivity | |
Hayashi et al. | Individualized drowsiness detection during driving by pulse wave analysis with neural network | |
US11672455B2 (en) | Alert versus fatigue discriminator | |
CN109858178A (zh) | 一种基于智能手环的营运车辆驾驶员疲劳预警方法 | |
JP3960168B2 (ja) | 生体状態推定方法及び装置、プログラム | |
Baccour et al. | Camera-based driver drowsiness state classification using logistic regression models | |
Dehzangi et al. | Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors | |
Vasudevan et al. | Driver drowsiness monitoring by learning vehicle telemetry data | |
Albalawi et al. | Single-channel real-time drowsiness detection based on electroencephalography | |
CN117136027A (zh) | 从rgb图像提取心率的方法和系统 | |
CN114435373B (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
CN116798189A (zh) | 一种状态的检测方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070507 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |