JP4711826B2 - 運転者の障害を認識するための方法およびシステム - Google Patents

Description

本発明は、人の頭部運動を検出して評価することによって、特に居眠り、注意散漫および／または作業負荷によって生じる、特には自動車の運転者である人の障害および／または不注意を認識および／または検出するための方法およびシステムに関する。

アメリカの研究（トリート（Treat）、１９７９年）によれば約９０％もの大多数の交通事故は、運転者のミスによって発生する。運転者の不注意は、衝突事故の最も一般的な主因であり、事故の推定２５〜５５％を占めている（年間２５００万件を越える牽引撤去事故を示すＣＤＳデータベースのＮＨＴＳＡ研究による、ワング（Wang）ら、１９９６年）。実質的には、以下の３つの構成要素のうちの少なくとも１つが、運転者の不注意の原因である。すなわち、居眠り、注意散漫および／または作業負荷である。不注意によって生じる一般的な事故の種類および現場は、追突事故、交差点・車線変更／合流地点・道路分岐点での事故、さらには、単独車両事故または速度規制の緩い車道における事故である。

さらに詳細に言えば、居眠りによって引き起こされる衝突事故は、非常に深刻な道路安全上の問題である。質問を受けた運転者の５７％は、眠気を催したまま運転したことがあると語り、２３％は、運転しながら実際に寝入ってしまったことがあると述べている（ジョンソン（Johnson）、１９９８年）。運転者は、疲労によって、いつ重大な注意力の欠如またはこらえきれない睡眠発作に至るまで正常に機能しなくなるのかを確実に見定めることができない（ワイリー（Wylie）ら、１９９６年;ブラウン（Brown）、１９９７年）。注意力の低下およびその後の居眠りの段階は、集中力および判断力を損なうものであり、結果的に、運転能力も低下させる（ウィリアムソン（Williamson）ら、２００１年）。疲労は、全ての事故の２％〜２３％に関わるものであると推定されている（ニップリング（Knipling）およびワング（Wang）、１９９５年）。これらの事故は、深夜または昼下がりに非常に多く発生する。それらは、典型的には、高速で車線または道路から逸脱する単独車両によるものであり、運転者がこれを回避しようと試みた徴候はない（ＮＨＴＳＡ、１９９８年）。事故の場合の怪我は、重傷であることが多い。眠気を催した運転者は、追突および正面衝突事故にも、関与していることが多い（前掲書中）。運転者は眠気が事故を引き起こした要因であったと認識または承認することを嫌がる傾向があるので、これらの統計値は、おそらく実際の問題の過小評価であるに過ぎない（シュタッツ（Stutts）、ウィルキンス（Wilkens）およびヴォーン（Vaughn）、１９９９年）。

さらになお、運転者は、運転に関係のない物事に注意を払うことが多い。これらの物事は、しばしば二次作業と呼ばれているものであり、注意散漫の潜在的な理由である。残念なことに、運転者は、注意散漫が運転作業に及ぼす影響を承知していないことがよくある（ボーズ（Boase）その他、１９８８年；スターン（Stern）その他、１９９６年）。その結果、注意散漫（視覚的な注意散漫と、精神的な注意散漫、すなわち見てはいるが意識してはいない状況とを含む）が少なくとも２２．９％の事故の原因であると判明している（ワング（Wang）ら、１９９６年）。１９９６年以降、例えば、携帯電話、ナビゲーション装置、インターネット、ｅサービスのように、自動車の内部で使用され得る新しい情報システムおよび機能性が急速に増加して、市場に浸透してきている。注意を散漫にするこれらのものは、運転者の意識を過剰に集中させるため、注意散漫の原因に基づく衝突事故を潜在的に増加させ得る。

一般的に、二次作業は、運転者の意識が運転の状況とは無関係である情報に集中するとき、以下のような程度まで、注意散漫（視覚的、聴覚的、精神的、認識的および生体力学的な注意散漫を含む）を引き起こす。
（ａ）運転の主要な制御作業のために不十分な注意力だけが残される程度、および／または、
（ｂ）運転能力（例えば車線維持または速度制御）および安全性が危うくなる程度。

最後に、作業負荷は、運転者の忙しさの程度と、運転者がすぐに実行する必要がある作業の労力とについて言及する。やるべきことがたくさんあるということ（「高い作業負荷」）は、注意すべき多くのこと（すなわち高い知覚的な要求）と、取り組むべき多くのこと（すなわち高い行動的な要求）とを生み出す。例えば、運転者の作業負荷は、上述のような二次作業の遂行（注意散漫）だけでなく、主要な運転作業の要求（例えば、道路および環境条件、交通、運転スタイル等に起因する）に関しても増大する。したがって、高い作業負荷の状況は、運転者が注意散漫になる可能性を増大させる。

特許文献１は、運転者が運行中に１つ以上のアクチュエータによって積極的に相互作用する自動車のステアリングまたはその他の部分に刺激を与えることによって、運転者の覚醒度を監視するための方法および手段を開示している。この刺激に対する運転者の自然反応が、１つ以上のセンサによって検出され、運転者の冷静さに関する結論を出すべく衝撃自体と比較される。しかしながら、自動車のいかなる部分に対して刺激を与えることも、有害だとみなされる。さらになお、運転者の覚醒度は、連続的に監視され得るものでなく、そのような刺激が与えられる瞬間だけ監視され得る。

２００２年６月付の記事「操作およびシステムの実現可能性の原理（Principles of operation and system feasibility）」において開示されるように、運転者の覚醒度の判定に対するもう１つの方法は、スペリコン社（Spericon Ltd.）の「運転者の覚醒度表示システム（Driver alertness indication system）」（DAISY）である。このシステムによれば、自動車に対して付加され且つその進路に沿った自動車の運動を混乱させる外力の累積作用が検出され、自動車を道路上に維持するように作用する運転者の動作が分析される。混乱のパターンに対する運転パターンの分析は、運転者の覚醒レベルの連続的な判定を可能にする。しかしながら、運転者によって開始される運動（ステアリングホイールによる）と外部の混乱に起因する運動（ロードホイールによる）との間の必要な分離は、自動車のステアリングシステムにおける自由な遊びおよびタイムラグを考慮して評価されなければならないため、数学的および工学的技術の集約的利用だけでなく、複雑なアルゴリズムの適用も必要とされる。

特許文献２は、「障害を受けた輸送自動車のオペレータシステム（Impaired transportation vehicle operator system）」と、運転者の頭部位置および頭部運動が３つの静電結合センサによって検出される関連方法とを開示している。各センサの出力信号は、オペレータの頭部運動データを記録し、追跡して、記憶された正常な頭部運動のプロファイルおよび正常に機能しない頭部運動のプロファイルと比較し、オペレータの障害を示す頭部運動を検出するマイクロプロセッサによって分析される。しかしながら、このシステムおよび方法は、どの形式の頭部運動が、正常プロファイルの一部であるのか、そして正常に機能しないプロファイルの一部であるのかを検出して、定量化することはできない。

国際公開第０１／６０２５４号パンフレット 米国特許第５６９１６９３号明細書

本発明の１つの目的は、例えばプロセスの監視時に、運転の安全性の低下に至る可能性のある、例えば自動車運転時の自動車運転者である人の障害および／または不注意（特に居眠り、注意散漫および／または作業負荷によって生じる）を検出または認識するための方法およびシステムを提供することである。

本発明のもう１つの目的は、特には自動車運転者である人の障害および／または不注意のレベルを定量化するための方法およびシステムを提供することである。

さらに、本発明のもう１つの目的は、頭部運動パターンに基づいて、特には自動車運転者である人の障害および／または不注意のレベルを定量化するために障害および／または不注意を検出または認識するための方法およびシステムを提供することである。

これらの目的は、請求項１および６に記載の方法と、請求項１４に記載のシステムとによって解決される。

従属請求項は、請求項１，６および１４のそれぞれに記載の方法およびシステムに関する有利な実施形態を開示している。

本発明のさらなる詳細、特徴および利点は、以下のものを概略的に示している各図面に関連する本発明の例示的な実施形態に関する後続の説明から明らかになる。

以下では、本発明は、まず初めに、居眠りを認識するための好適な方法およびシステムの形態で説明されるものとする。

本発明の方法およびシステムの基礎は、人は眠気を催すとき筋肉が弛緩状態になるということである。そのような眠気は、例えば、疲労および／またはアルコールおよび／または麻薬および／または薬および／または中毒等によって生じ得る。背景として、骨格筋の緊張は全てが、脊髄から来る神経インパルスに起因する。これらは、続いて、部分的には脳から伝達されるインパルスによって制御され、部分的には筋肉自体の中に位置する筋紡錘体を起源とするインパルスによって制御される。筋紡錘体のインパルスは、各々の筋肉からの情報の連続的なフィードバックを神経系に提供するものであり、長さ、緊張状態、さらには筋肉の長さまたは緊張が迅速に変化する様式など、それぞれの瞬間における各々の筋肉の状態を提示する。したがって、一般的に居眠りには、筋緊張の弛緩が伴うのである。特に首における筋緊張の消失、および混乱に対する反応の鈍さの結果、頭部は、より大きな運動の振幅を備えて、より大きく動き回り始める。この頭部運動の変化が、本発明による方法およびシステムによって定量化され得る。

居眠りに関する以下の計測値は、その全てが絶対的または相対的な数値として使用され得る。絶対的な数値としては、計測値を、覚醒状態から睡眠状態までの尺度で眠気のレベルを表示するために採用する。相対的な数値としては、計測値を、運転者が覚醒している運転区域と比較したときの差違を示すために使用する。頭部運動は、人毎に相違し得るので、その方法は、正常すなわち覚醒している行動が、記録および／または分析され、定量化されて、比較のために使用される初期段階を有しても良い。その結果、この正常すなわち覚醒している行動からの逸脱の度合いが、眠気を表示するのである。

一般的に、頭部運動のみから眠気を検出すること（本発明の第１の実施形態）と、混乱に関わる頭部運動の比較によって眠気を検出すること（本発明の第２の実施形態）とは、区別されるべきである。

ここで、先行の段落において述べられた第１の実施形態が、さらに詳細に説明されるものとする。

頭部運動は、一般的に、３つの頭部回転成分（ピッチ、ヨーおよびロール）と、軸ｘ，ｙおよびｚを備えたデカルト座標系に従った３つの頭部並進成分（Ｐｏｓ_ｘ，Ｐｏｓ_ｙ，Ｐｏｓ_ｚ）とによって説明される。これらの６つの成分は、頭部運動を完全に説明する頭部運動信号ＨＭＯＶＥへと結合され得る。

好ましくは、６つの信号成分の各々は、事前処理されて、計測値ノイズおよび運転者の長期の姿勢変化を除去する。これを達成する１つの方法は、本来、低い頻度のものである長期の姿勢変化を除去するために高域フィルタを使用し、信号ノイズを抑制または少なくとも軽減するために低域フィルタを使用することである。当然ながら、両方とも、１つの適当な帯域フィルタによって同様に達成されることも可能である。

この事前処理の後、全体的な頭部運動ＨＭＯＶＥの包括的な計測値は、例えば、方程式（１．１）に従って、６つの自由度の関数として、さらにはそれらの１次および２次の時間依存性導関数として表現され、計算され得る。

この一般的な関数すなわちモデルは、様々な用途のために様々に選択され、調整され得る。例えば、包括的な頭部運動の計測値は、方程式（１．２）に従って規定されることも可能である。

ここで、ＡからＦは、様々な種類の頭部運動についての感度を決定し、したがって、計測値の感度も決定する重み係数である。

この頭部運動信号ＨＭＯＶＥからの眠気の検出に関して、本発明の方法およびシステムは、正常領域中心点（ＮＲＣＰ）Ｘまたは正常領域（ＮＲ）の（第１の）基準計算に基づいており、それを利用する。ＮＲによって取り囲まれるそのようなＮＲＣＰを示している図１を参照する。さらになお、第１、第２および第３の正常外領域ＯＮＲ１，ＯＮＲ２，ＯＮＲ３が、ＮＲを取り囲む同心円の形態で示される（図１は、２次元領域（例えばピッチおよびヨー運動）を示しているが、これは、例えば上述の全ての６次元にまで適用して、拡大され得る）。

まず初めに、図１に示されたようなＮＲＣＰが、運転の初めの数分（例えば３分）またはある環境における運転の初めの数分（例えば３分）の間に上述のように計測された各々の頭部回転および頭部並進の信号成分に関して計算される。そのような計算の例示的な結果が、図３および図４に示されている。

図３は、覚醒している複数の運転者に関する（具体例としての）水平方向および垂直方向の頭部回転に関連する信号成分の結果として生じる密度のプロットを示しており、図４は、眠気を催した複数の運転者に関するこの密度を示している。これらの両図面におけるｘ軸上では、垂直方向回転（頭部のピッチ運動の度数）の信号成分が示され、ｙ軸上では、水平方向回転（頭部のヨー運動の度数）の信号成分が示されており、ｚ軸上では、ビンまたはファンネル当たりのパーセントでこれらの運動の密度が示されている。図１および図２によるＮＲＣＰは、ｘ＝０およびｙ＝０の各数値における点に対応する。

図３は、好ましくはそれぞれの運転の初めの３分の間における１２名の覚醒している運転者の頭部回転信号に関するそのような第１の基準計算の結果を示している。これと対比して、図４は、１２名の運転者が眠気を催した場合に関する第２の計算（以下で説明されるような）の結果を示している。

覚醒している運転者および眠気を催した運転者の両方に関して、ＮＲＣＰ（Ｘ）とみなされる信号成分の密度の明確なピークが存在している。ＮＲＣＰは、運転者の障害および／または不注意から独立して生じるため、図３と図４を比較することによって、ＮＲＣＰは、覚醒している運転者によって左右されるものではないという所見が明らかになる。

第２に、図３および図４の異なった領域の間における信号成分の密度分布の変化が、居眠りとして分類され得る方法が評価される。最新の分布をもう１つの分布と比較するために、各々の個別の運転者に関して基本トラフが規定される。その基本トラフは、運転の初めの数分（または特定の環境における運転の初めの数分）の間の頭部運動に基づいて設定される。したがって、基本トラフに基づく相対的な計測値に関しては、運転者は、これらの較正のための初めの数分間、覚醒しており、麻薬の影響下にはないと想定しなければならない。絶対的な計測値に関しては、閾値が事前設定されており、較正周期は全く必要とされない。

一般的に、基本トラフは、それが運転者のための運転者独立基準として使用され得るように、覚醒している複数の運転者に基づいて規定され得るものであるが、さもなければ、基本トラフは、関連システムによって監視されている各々の特定の（覚醒している）運転者のために個別に設定される。

これらの計測のために使用されるセンサは、例えば、１台または２台のカメラおよびカメラの出力信号を処理するコンピュータソフトウェアに基づいた頭部および眼球追跡器である。そのセンサは、特には、３次元座標における頭部の位置および方向を計測する。当然ながら、その他の計測技術またはその他のセンサ（例えば赤外線センサ）も使用され得る。

各々の領域（例えば図１によるＮＲＣＰおよび各々のＮＲおよびＯＮＲ）内における頭部運動の分布を計算するために、（各々の頭部運動信号における）各々の信号成分は、その対応する領域内においてカウントされる。１つの領域内の信号成分（例えばＰｏｓ_ｘおよびＰｏｓ_ｙ）が多ければ多いほど、この領域に関しては数値がより高くなり、その他の領域に関しては数値がより低くなる（各々の頭部運動信号に関しては全ての領域の合計が１００％になる）。図１の各領域が図３および図４のｘ／ｙ平面内に展開される場合、それらは、これらの２つの信号成分に関して、各々の領域内における水平方向および垂直方向の頭部運動の量を示す（ほとんどの運動は正常領域ＮＲ内にある）。図３および図４からは、各領域の間における分布が、覚醒している運転者と眠気を催した運転者の間では相当に異なっているということもまた明らかである。

各領域は、ビン／ファンネルのグリッドの形態（図３および図４によれば長方形、円形であり、さもなければ、その他の形状を有する）を有するものであり、その分布は、ビン／ファンネルのサイズに基づいた信号成分に関する標準化ヒストグラムである。例えば、特定の信号成分に関しては、０と１の間の第１領域、１と２の間の第２領域および２と３の間の第３領域が規定され、０，５；１，１；２，４；０，９および０，３の各数値を有する信号成分の５つのサンプルが検討されると想定する。結果として生じる分布は、各数値の６０％が領域１内にあって、各々の２０％がそれぞれ領域２および領域３の中にあることになる。しかしながら、本発明によれば、このようにして評価される６次元のヒストグラム／分布が存在し、これらの分布の所定の「形状」が居眠りを示すものだと想定される。

各々の頭部回転および頭部並進信号成分に関しては、各々のサンプルが、例えば０．９８×０．９８度（まっすぐ、すなわちゼロ点から＋／−３０度の場合に１２８×１２８）のファンネルサイズが使用され得る関連の（回転および並進）ファンネルに対して追加される。その後、各ファンネルの最頻値（ファンネル内における最大頻度を備えたサンプル）が、各々の回転および並進信号成分それぞれに関する正常領域中心点（ＮＲＣＰ）Ｘとして設定され、記憶される。

その後、上述の第１（基準）の計算（それによって、ＮＲＣＰまたはＮＲが計算された）が、複数の第２の計算として、所定の時間間隔を備えて好ましくは周期的に繰り返される。後続の第２の計算に関する各々の結果は、第１の計算と比較される。両者の間における相違が所定の数値を超過する場合、運転者は、眠気を催していると想定され、信号が出力されるか、または警報装置が起動される。なお、それは、連続して計算される分布である。この目的のためには、例えば運転に関する過去の分またはその他の時間間隔に焦点を絞り、この時間間隔の前に生じた内容を無視するができるスライド式時間窓が使用される。その後、連続して計算された分布は、基準分布（または事前に規定された「覚醒」分布）と比較される。その相違が所定の閾値を超過するとき、または連続して計算された分布が所定の基準形状から逸脱しているかまたはある所定形状を有しているとき、運転者は眠気を催していると想定される。

本件の開示において、「スライド式時間窓」は、信号と共にスライドする窓である。新しいサンプルが追加されると、時間窓内の最も古いサンプルは、削除される。全ての計測値は、スライド式時間窓内部のサンプルに基づいて計算される。

図２において示されるように、正常外領域ＯＮＲ１，ＯＮＲ２，ＯＮＲ３は、それぞれ、２から９、１０から１７、および１８から２５の小領域にさらに分割されても良い（領域１は正常領域ＮＲであるとみなされる）。これにより、ファンネル／ビンの個数およびそれらの形状およびサイズは、図１に示された分割とは異なり得る。これは、一定の信号成分に関する所定の分布を評価して比較するために有益であり得る（例えば、水平方向および垂直方向の頭部回転に関する図３および図４の事例）。

正常領域計測値パーセント（ＰＮＲ）を評価する場合、まず初めに、スライド式時間窓（例えば６０ヘルツの更新周波数を備えた１分の時間窓）内部の各々のサンプルが、正常領域判定基準に基づいて、「１」、すなわち正常領域（ＮＲ）内に位置しているか、または、「０」、すなわち正常外領域（ＯＮＲ）に位置しているものとして分類される。正常領域判定基準は、例えば、正常領域中心点Ｘからの距離をとって、例えば、頭部の回転位置に関しては５度、および／または頭部の並進位置に関しては例えば図１において示されたような第１の正常領域ＮＲを表示する正常領域中心点Ｘの周りにおける半径として５ｃｍであるように、切捨て閾値を設定することによって計算される。

当然ながら、様々な閾値を備えた数個の正常領域判定基準が設定可能であり、それぞれに、関連する閾値に対応する半径を有する、第２の正常領域ＮＲ２、第３の正常領域ＮＲ３、第４の正常領域ＮＲ４等を導くことになる。

切捨て閾値は、例えば、正常領域中心点Ｘからの１つの標準偏差内のデータとしても規定され得るものであり、またはクラスタリングアルゴリズムによって別途指定されることも可能であり、それによって、同様に正常領域ＮＲが非円形であることを可能にする。

ここでもまた、切捨て閾値内のサンプルは、「関連の正常領域内（ＮＲ）」として分類され、そこから出るサンプルは、「関連の正常領域外（ＯＮＲ）」として分類される。

次のステップにおいて、パーセントの計算は、関連の正常領域ＮＲ内部のデータポイントの個数を時間窓内のデータポイントの総数で除算し、例えばその結果に１００を乗算することによって行われて、正常領域計測値パーセント（ＰＮＲ）が得られるようになる。

正常領域計測値パーセント（ＰＮＲ）以外にも、最頻道路中心値（ＳＤ−ＭＲＣ）から正常領域中心点までの距離の標準偏差（ＳＤ＿ＤＮＲＣ）が、その平均値が最頻値に代替されることを除いて、標準偏差公式に従って、上述のものと同じ時間窓内において計算され得る。

より詳細に言えば、ＮＲＣＰと最新の信号数値との間の距離（ＤＮＲＣと呼ばれる）の標準偏差（ＳＤ）が計算される。しかしながら、ＳＤ−公式において使用される通常の平均値は、最頻値すなわちＮＲＣＰに代替されなければならない。その計算は、スライド式時間窓の内部に含まれる限られた量のデータに関して実行される。その結果、それは、ＤＮＲＣのＲＭＳ（二乗平均平方根）になる。例えば覚醒している運転者のＳＤの２倍である閾値が設定され、その閾値が到達または超過されると、その運転者は、眠気を催していると想定される。

公式（１．３）におけるＲ^Ｎは、ＨＭＯＶＥおよびＮＲＣＰを形成するために幾つの信号成分が使用されたかに応じて、Ｎ＝１，２，３，４，５，６，７，８，・・・である、次元Ｎの実数である（複素数ではない）。したがって、公式（１．４）におけるＲ（すなわちＲ^１）は、１次元の実数である。

方程式（１．３）において、ＨＭＯＶＥは、例えば公式（１．５）に従って規定され得る。

ここで、ＡからＦは、重み係数である。

その後、眠気は、正常領域ＮＲ；ＮＲ１，ＮＲ２，・・・および／または正常外領域ＯＮＲ１，ＯＮＲ２，・・・およびセグメント２，３，・・・２５の間における頭部運動の分布のパターン認識（例えばニューラルネットまたは統計による）に基づいて計算された。覚醒している運転者は、図１または図２による各領域内において、眠気を催した運転者と比較して異なった分布を有する。

より詳細に言えば、各々の瞬間の時間に関して且つ各々の運転者に関しては、様々な領域ＮＲ，ＯＮＲ内における頭部運動の独特な分布が存在する。各々の分布は、運転者が過去Ｘ分（スライド式時間窓の長さに従属する）の間にその頭部の動き方を示している。眠気を催した運転者の分布は、覚醒している運転者とは相当に異なると想定される（ここでもまた、図３および図４を参照）。眠気を催した運転者の分布を有する運転者を分類するためには、パターン認識方法が使用される。図４によれば、眠気を催した運転者は、図３による覚醒している運転者と比較して信号成分の密度に関してはるかに不鮮明な分布を有する。

非常に単純な具体例では、眠気は、所定の円（図３および図４ではｘ／ｙ平面内に配置される）の外側における頭部運動の所定数値Ｘ％を有するものとして規定されても良い。図３および図４は、２次元のみを示しているが、分布および認識は、例えば、頭部運動および頭部回転の両者だけでなく、頭部運動の速度または角速度も分析して、Ｎ次元（信号成分）において実行され得る。

図５は、ヘルツ周波数（ｘ軸上において示される）に関して覚醒している運転者（曲線Ａ）と比較される眠気を催した運転者（曲線Ｂ）の垂直方向頭部回転（ピッチ運動）のパワースペクトル密度（ｙ軸上において示される）のプロットを示している。

図６は、覚醒している運転者（曲線Ａ）と比較される眠気を催した運転者（曲線Ｂ）の垂直方向頭部位置（並進運動）のパワースペクトル密度に関するプロットを示しており、図７は、ここでもまた、覚醒している運転者（曲線Ａ）と比較される眠気を催した運転者（曲線Ｂ）に関して、好ましくは前後の方向における運動成分から成る、水平方向（深さ）の頭部位置（並進運動）のパワースペクトル密度に関するプロットを示している。図６および図７におけるｙ軸は、ここでもまたパワースペクトル密度が表示され、図５および図６のｘ軸は、ヘルツ周波数が表示されている。

図５から図７は、眠気を催した運転者の頭部運動の全般的な増大を示している。より詳細に言えば、曲線Ａは、それぞれ２０分にわたって運転する１２名の覚醒している運転者の頭部運動の周波数成分を表示している。図５から図７において、覚醒している運転者は、全ての周波数にわたって、より少ない頭部運動を示している。

眠気を催した運転者のデータは、２０分毎のブロックにおいて計測された（例えば、眠気ブロック（ＤＢ）１が１２名全員の眠気を催した運転者の最初の２０分を示し、眠気ブロック（ＤＢ）２が次の２０分を示している、等である）。そのようなＤＢ１からＤＢ４（この具体例では、ＤＢ１の終了の４０分後に始まり、２０分にわたって継続する）からのデータにおける傾向は、眠気を催した運転者が作業時間によって影響を受けることを示している。運転者はそれに応じて、より長く運転していることになるため、ＤＢ１からＤＢ３までの頭部運動には全般的な増大が存在することが計測された。しかしながら、この傾向は、ＤＢ４がＤＢ３よりもわずかに下であるが、それでもＤＢ２より上のレベルを有するように、逆転されることもある。この理由は、旅程が終りになることを運転者が予期し、その結果、旅程の終点に向かってわずかに用心深くなるからであろう。図５から図７における曲線Ｂは、１から４のそのような全ての眠気ブロック（ＤＢ１からＤＢ４）の合計としてのパワースペクトル密度曲線を示している。これらのＤＢ１からＤＢ４の眠気ブロックの曲線は、図５から図７では破線で示されている。

各ＤＢにおけるデータの提示は、眠気の増大に従って増大する頭部運動の傾向の説明を提供している。図示の曲線Ｂは、図３および図４において示されたものと同じデータに対応するパワースペクトル密度内容を示している。

これらのパワースペクトル密度データは、運転者が眠気を増すにつれて実際に頭部運動の増大が存在することを示す強力な証拠を提供する。

もう１つの選択肢は、眠気に関するリアルタイムの計測が実行され得るように、リアルタイムベースでパワースペクトル密度データを計測することである。この目的のために、パワースペクトル密度データは、例えば図５から図７において示されたような周波数の全体またはこれらの周波数の部分集合にわたってリアルタイムで計算され得る。

本発明による方法およびシステムの第２の実施形態は、混乱の場合における頭部運動反応を比較することによって眠気を検出するために提案されており、ここで、より詳細に説明されるものとする。

一般的に、運転者は、眠くなればなるほど、この事例では混乱に対抗しようと努める頭部運動を意味する調節的な頭部運動の制御を失うものである。その混乱とは、横風、荒れた路面、または車両自体によって誘発される単純な運動（トラックでは一般的である）であっても良い。基本的な原理は、混乱および運転者の調節的な頭部運動を計測することである。頭部運動反応（ＨＭＲ）計測値であるこれらの信号（混乱および反応）の間の相違は、運転者がどのように混乱を補正するかについての推定値である。覚醒している運転者は、より速く、より正確且つ吸収的な反応を有するものであるが、眠気を催した運転者は、より遅く、より不正確且つより大きくずれた振幅を備えたずさんな反応を示す（＜＜首のグラツキ＞＞）。その結果、眠気を催した運転者の場合は、混乱と反応の間の相違がより大きいのである。

まず初めに、混乱自体が計測されなければならない。これは、例えば以下のような数多くの様式（またはこれらの組合せ）で実行され得る。
−例えば背景に対する身体運動または遊離した物体である、カメラ視野における物体の動的特性を計測すること。
−加速度センサ（例えば座席内に配置される）を使用して運転者に作用する力を計測すること。
−トラックの残りの部分と比較した車室のエアサスペンションおよび傾斜角度を計測すること。
−ステアリングホイールの運動を計測すること。

混乱に対する反応は、頭部運動の中に含まれる（頭部運動は、刺激駆動［反応］または目標駆動［意図的なもの］のいずれであっても良い）。混乱に対する頭部運動反応（ＨＭＲ）は、例えば以下のような多数の様式において確認され、フィルタ処理され得る。
−閾値トリガーが、混乱信号に対して設定され得る。反応は、一定の閾値より大きい混乱に関してのみ計算される。その結果、その計測は、プローブベース（プローブが混乱である）であり、連続的な信号に基づくものではない。
−頭部運動は、自動車が所定の時間周期にわたって且つ所定の速度閾値を越えて相当にまっすぐ走行している場合にのみ使用され得るのであり、すなわち、方向転換して新しい道路に進入したり、ロータリーを周回したり、または市街地を走行している間は使用され得ない。
−頭部運動は、車線を変更する信号表示の際には無視されるべきである。

最後に、ＧＰＳおよびマップ対応データおよび／または統計パターン認識データの組合せは、環境を規定するために使用され得るものであり、自動車が相当にまっすぐ走行または進行しているか否かを評価し、混乱が使用され得るかまたは使用されなければならないときおよび使用されないときを評価するために使用され得る。

上述のように、ＨＭＲ計測値は、混乱および反応の関数である。

混乱は、運転者に作用する力であり、反応は、頭部運動に関する運転者の応答反応である。ＨＭＲ関数は、例えば、以下のように規定されても良い。
−反応と正常領域中心点（ＮＲＣＰ）Ｘとの間における（例えば転位に関する）相違。その相違は、眠気を催した運転者の場合は、覚醒している運転者の場合よりも大きい。
−反応と正常領域中心点Ｘとの間における相違のＲＭＳ（二乗平均平方根）数値。ここでもまた、低いＲＭＳ数値は、頭部運動が有効に制御されていて、運転者が覚醒していることを示す。高いＲＭＳ数値は、眠気を催した運転者を示す。
−ＨＭＲのパターン認識。
−混乱に反応する頭部運動の基準モデルと同じ混乱に反応する頭部運動計測値との間における誤差。この誤差は、眠気の量を示す。覚醒している運転者の混乱に応答する頭部運動は、例えば、上側接合部および底部における下側接合部によって連結される２本の棒の頂部における質点質量の物理的モデルであっても良く、それは、頭部および脊椎の単純なモデルである。下側接合部は運転者の座席との接触を示し、下側の棒は胴体を示し、上側接合部は首を示し、質点質量は頭部を示している。運転者の環境（トラック運転台）における混乱は、計測されて、モデルに対して導入され、それが結果としてモデル化された頭部運動を生じ、続いて、それが頭部運動計測値と比較される。そのモデルは、覚醒しているときの運転者として反応するように調整される。衝突実験のダミーのようなモデルが使用されても構わない。

本発明による方法およびシステムの第３の実施形態に従えば、運転者の注意散漫が、上述の方法を以下のような様式で適用することによって認識され得る。

特にはトラック、バス、トレーラーにおけるものであるが、小型自動車においても、運転台または車室内部の統合システムとの相互作用は、大きな眼球運動（道路の中心とシステムの間の前後方向）を要求することがあり、それには、しばしば、同じ方向における前後の小さな頭部運動が随伴される。これは、サイドミラーのチェックおよび肩越しのチェックに対しても当てはまる。これらの頭部運動は、注意散漫にさせる作業として指定され分類され得るものであり、上で説明されたように検出されて評価されても良い。

本発明による方法およびシステムの第４の実施形態に従えば、運転者の作業負荷は、頭部運動の量に関して作業負荷が定量化され得るという事実を考慮して、上述の方法を適用することによって、認識され得る。以下の２つの方程式が、このことを例証する。

ＳＤは標準偏差を表わし、ＲＭＳは二乗平均平方根を表わし、ＨＭＯＶＥは、方程式（１．２）において例証されたように規定されても良い。

方程式（４．１）および（４．２）は、数秒（例えば４秒）のスライド式時間窓の全体にわたって計算される。これらの計測値が、作業負荷の連続的な定量化を算出する。閾値は、好ましくはブール数値を入手するために使用され得るものであり、すなわち、高作業負荷または低作業負荷および高作業負荷から低作業負荷への遅延が数値のちらつきを防止するために使用される。絶対値に関する高い重み係数の使用（方程式１．１）は、例えばピッチおよびヨー運動の両者によって構成される中心スタックに向かう指向性運動である頭部運動を説明するために使用される数個の条件の同時変化に対して推定値をより敏感にさせ、主としてヨー運動である道路の湾曲によって生じる頭部運動に対しては余り敏感でないようにさせる。信号の動力学は、時間窓の長さおよび／または重み係数の大きさを調節することによって調整され得る。１つの閾値およびブール数値の代わりに、複数の閾値が、それに応じた作業負荷の数個のレベルを入手するために使用されても良い。

頭部位置および頭部回転に関する時間依存性導関数が、作業負荷を検出するために類似の様式で使用されることも可能である。例えば、速い頭部運動は、遅い頭部運動よりも高い作業負荷を示すことになる。

本発明は、自動車の運転者に対してだけでなく、航空機のパイロット、航空交通管制官、機関士、または、寝入ってしまわずに警戒していなければならず、じっと静かに座っていて、ほとんどの時間にわたって同じ方向を見ていなければならないあらゆる人物に対しても適用可能である。

本件の開示において説明された計測値の全ては、例えばスマートカードである運転者身分証明チップ上に個別の特殊データ（例えば覚醒状態に関する所定の頭部運動信号成分の密度分布）をセーブすることによって個別化されても良い。

図８は、信号密度の覚醒分布（またはそのような密度の事前記憶分布）を頭部運動に関する関連信号密度の最新の分布と比較することによって単純に居眠りを検出する、本発明による方法の第１の実施形態に関する概略的なフローチャートを示している。

図８における構成要素は、以下の通りに表示される。
矢印Ｈ：運転者の頭部運動信号（前述のように全ての６つの成分）の入力。
１：ノイズ抑制および姿勢の影響の除去を包含する事前処理段階。
２：運転者に特有なシステムパラメータを初期化するための初期化・適応ブロック（これは、連続的な適応も含み得る）。
３：覚醒している初期化周期（または覚醒している運転者の所定の頭部運動分布の適応性）に関する頭部運動分布の計算。このステップは、所定の時間周期の後に休止され、その後、覚醒している運転者のための基準分布として機能する。
矢印Ｅ：初期化が完了したとき眠気の計算を可能にする。
４：運転の所定の過去Ｘ分（「スライド式時間窓」）にわたって構成要素１によって送られる運転者の事前処理頭部運動信号に基づいた、頭部運動信号分布の連続的な計算。
５：最新の頭部運動信号分布を覚醒している運転者の頭部運動信号分布と比較すること。この構成要素は、運転者が眠気を催していると考えられるときのための判定基準および／または閾値を含む。
矢印Ｏ：連続的または離散的な眠気数値の出力。

図９は、混乱の場合における頭部運動反応を比較することによって眠気を検出する、本発明による方法の第２の実施形態に関する概略的なフローチャートを示している。

図９における構成要素は、以下の通りに表示される。
矢印Ｈ：運転者の頭部運動信号（前述のように全ての６つの成分）の入力。
１：ノイズ抑制および姿勢の影響の除去を包含する事前処理段階。
２：運転者に特有なシステムパラメータを初期化するための初期化・適応ブロック（これは、連続的な適応も含み得る）。
矢印Ｅ：初期化が完了したとき眠気の計算を可能にする。
矢印Ｄ：混乱信号（例えば加速度計の信号）の入力。
３：プローブトリガーおよび／または運転者の単純な基準モデル。どの混乱が使用できるほど大きい（且つ所定の数値を超過する）のかと、どれが比較構成要素５に送られるのかが決定される。当該構成要素３は、運転者の単純な基準モデル（例えば前述のような機械的モデル）も同様に含む。混乱Ｄが、モデルに対して適用され、続いて、その出力（シミュレーションされた頭部運動）が、比較構成要素５に対して送られる。
矢印Ｐ：計測値の比較および／または計算を行うべきときを示すトリガー信号。
４：運転の所定の過去Ｘ分にわたる頭部運動計測値（頭部運動分布を含む）に関する連続的な計算。
５：最新の頭部運動計測値をモデル化された頭部運動分布と比較すること。この構成要素は、この比較と頭部運動および混乱計測値の数値とに基づいて、運転者が眠気を催していると考えられるときのための判定基準および／または閾値を含む。
矢印Ｏ：連続的または離散的な眠気数値の出力。

頭部運動の正常領域および正常外領域の概略図である。 頭部運動の正常外領域内における小領域の概略図である。 覚醒している運転者の水平方向および垂直方向の頭部回転に関する密度のプロットである。 眠気を催した運転者の水平方向および垂直方向の頭部回転に関する密度のプロットである。 眠気を催した運転者と比較した覚醒している運転者の垂直方向の頭部回転に関する第１のパワースペクトル密度のプロットである。 眠気を催した運転者と比較した覚醒している運転者の垂直方向の頭部位置に関する第２のパワースペクトル密度のプロットである。 眠気を催した運転者と比較した覚醒している運転者の水平方向（深さ）の頭部位置に関する第３のパワースペクトル密度のプロットである。 本発明による方法の第１の実施形態に関する概略的なフローチャートである。 本発明による方法の第２の実施形態に関する概略的なフローチャートである。

Claims (20)

1. ３つの頭部回転成分（ピッチ、ヨー、ロール）のうちの少なくとも１つおよび／または３つの頭部並進成分（それぞれが直交する方向の成分）のうちの少なくとも１つに基づいて、人の頭部運動を検出して評価することによって、人の障害および／または不注意を認識および／または検出するための方法において、
   少なくとも１つの所定長さの時間間隔であって時間の経過とともに前記所定長さのまま時間軸上をスライドするスライド式時間窓内に亘り連続的に、
   密度パターンのピークを含む正常領域（ＮＲ）または正常領域中心点（ＮＲＣＰ）と前記正常領域（ＮＲ）または正常領域中心点（ＮＲＣＰ）を取り囲む複数の事前設定正常外領域（ＯＮＲ１，ＯＮＲ２，・・・）との間における少なくとも１つの成分の多数のサンプルの実際の分布の形態をとる少なくとも１つの頭部回転成分および／または少なくとも１つの頭部並進成分の実際の密度パターン形態を算出し、
   前記それらの領域は、予め定められた幾何学形状に区切られたグリッドの形態を有し、その分布は、前記領域のサイズに基づいた信号成分の標準化ヒストグラムであり、
   上記の各領域内における少なくとも１つの成分のサンプルの基準分布の形態をとる少なくとも１つの成分の基準密度パターン形態と実際の密度パターン形態を比較し、
   両者のパターンまたは分布の間における形態の相違を評価し、その相違が所定の数値を超過する場合に信号を出力する、
   各ステップを含むことを特徴とする方法。
2. 基準密度パターン形態は、人が障害および／または不注意の基準レベルを有する少なくとも１つの所定の時間間隔の間に評価されることを特徴とする請求項１に記載の方法。
3. 基準密度パターン形態は、その人からは独立して任意の人のための基準として事前に規定される少なくとも１つの閾値分布の形態をとって提供されることを特徴とする請求項１に記載の方法。
4. 前記人の頭部運動は、
   ｘ軸，ｙ軸そしてｚ軸回りの前記頭部回転成分を、それぞれｐｉｔｃｈ（ピッチ），ｙａｗ（ヨー）そしてｒｏｌｌ（ロール）と定義し、ｘ軸，ｙ軸そしてｚ軸方向の前記頭部並進成分を、それぞれＰｏｓ_ｘ，Ｐｏｓ_ｙそしてＰｏｓ_ｚと定義し、Ａ，Ｂ，Ｃ，Ｄ，ＥそしてＦを、各計測値の感度を決定する重み係数と定義すると、数式（１．２）
   

   

   により導出される頭部運動信号（ＨＭＯＶＥ）に基づき、検出され評価されることを特徴とする請求項１に記載の方法。
5. １つまたは複数の閾値が、１つまたは複数の正常領域のそれぞれを規定するために事前に決定されることを特徴とする請求項１に記載の方法。
6. それらの閾値は、正常領域中心点からの標準偏差に関して規定されることを特徴とする請求項５に記載の方法。
7. 実際の密度パターン形態を基準密度パターン形態と比較することが、様々な正常領域および／または少なくとも１つの正常領域の各セグメントの両者の間における相違を評価することを含むことを特徴とする請求項５に記載の方法。
8. 人の頭部運動反応を引き起こす外的要因値によって物体または自動車が影響されるか影響を受ける、特には自動車である物体に対して作用的または反応的に関連付けられる、特には自動車の運転者である人の障害および／または不注意を認識および／または検出するための方法において、
   外力によって物体または自動車に対して付加される外的要因値を検出し、
   ３つの頭部回転成分（ピッチ、ヨー、ロール）のうちの少なくとも１つおよび／または３つの頭部並進成分（それぞれが直交する方向の成分）のうちの少なくとも１つに基づいて、外的要因値に対する人の頭部運動反応を検出し、
   頭部運動反応と所定の基準頭部運動反応または前記外的要因値に際して記憶された先行の頭部運動反応との間における相違を評価し、
   その相違が所定の数値を超過する場合に信号を出力する、
   各ステップを含むことを特徴とする方法。
9. その物体が自動車であり、外的要因値を検出することが、
   自動車内部における各物体の動的特性と、
   人に作用する加速力と、
   特にはトラックの場合に自動車の残りの部分と比較した車室の傾斜角度と、
   ステアリングホイールの運動と、
   から成る各数値のうちの少なくとも１つを計測することを含むことを特徴とする請求項８に記載の方法。
10. 頭部運動反応を検出することが、
    外的要因値信号に関する閾値を事前に規定して、その外的要因値が閾値を超過する場合に頭部運動反応を評価し、
    自動車が実質的に所定の時間周期にわたって且つ所定の速度閾値の上において実質的にまっすぐな方向において走行している場合に頭部運動を評価し、
    自動車が実質的に所定の時間周期にわたっておよび／または所定の速度閾値の上において実質的にまっすぐな方向において走行していない場合には頭部運動を無視する、
    各計測および各評価のうちの少なくとも１つをそれぞれ含むことを特徴とする請求項８に記載の方法。
11. 実質的にまっすぐな方向における走行および／または自動車の速度が、ＧＰＳおよびマップ対応データおよび／または類似のナビゲーション／位置推定システムおよびデータに基づいて評価されることを特徴とする請求項１０に記載の方法。
12. 頭部運動反応を検出することが、ＧＰＳおよびマップ対応データおよび／または類似のナビゲーション／位置推定システムおよびデータに基づいて、起動されおよび／または停止されることを特徴とする請求項１０に記載の方法。
13. 相違の評価が、
    反応と標準領域中心点の間における相違と、
    反応と標準領域中心点の間における相違のＲＭＳ（二乗平均平方根）数値と、
    外的要因値に反応する頭部運動のモデルと同じ外的要因値に反応する頭部運動計測値との間の誤差とから成る各計測のうちの少なくとも１つを含むことを特徴とする請求項８に記載の方法。
14. 頭部運動の評価が、人の居眠りおよび／または注意散漫および／または作業負荷を検出するために行われることを特徴とする請求項１または８に記載の方法。
15. ３つの頭部回転成分（ピッチ、ヨー、ロール）のうちの少なくとも１つおよび／または３つの頭部並進成分のうちの少なくとも１つの量および／または時間依存性導関数に基づいて人の頭部運動を検出して評価することによって、人の作業負荷を認識および／または検出することを特徴とする請求項１４に記載の方法。
16. ３つの頭部回転成分（ピッチ、ヨー、ロール）のうちの少なくとも１つおよび／または３つの頭部並進成分（それぞれが直交する方向の成分）のうちの少なくとも１つの量および／または時間依存性導関数に基づいて人の頭部運動を検出して評価することによって、人の作業負荷に基づいて障害および／または不注意を認識および／または検出するための方法において、
    所定長さの時間間隔であって時間の経過とともに前記所定長さのまま時間軸上をスライドするスライド式時間窓内に亘り連続的に、
    少なくとも１つの成分の標準偏差および二乗平均平方根数値および／またはその時間依存性導関数を計算して、作業負荷の連続的な定量化を実行し、
    その定量化された作業負荷を少なくとも１つの閾値と比較して、その相違が閾値のうちの少なくとも１つを超過する場合に信号を出力する各ステップを含むことを特徴とする方法。
17. 請求項１または８または１６に記載の方法を実行するためのシステム。
18. プログラムがプログラム可能なマイクロコンピュータにおいて実行されるとき、請求項１から１６のうちの少なくとも１つに記載の方法を実行するように適応されるコンピュータプログラムコード手段を含むことを特徴とするコンピュータプログラム。
19. インターネットに接続されるコンピュータにおいて実行されるとき、請求項１７に記載のシステムまたはその構成要素のうちの１つに対してダウンロードされるように適応されることを特徴とする請求項１８に記載のコンピュータプログラム。
20. 請求項１８に記載のコンピュータプログラムコード手段を含むことを特徴とするコンピュータで使用可能な媒体上に記憶されるコンピュータプログラム製品。

Images