JP5036814B2 - 視覚的関心場所の決定および分析のための方法および装置 - Google Patents

視覚的関心場所の決定および分析のための方法および装置 Download PDF

Info

Publication number
JP5036814B2
JP5036814B2 JP2009515343A JP2009515343A JP5036814B2 JP 5036814 B2 JP5036814 B2 JP 5036814B2 JP 2009515343 A JP2009515343 A JP 2009515343A JP 2009515343 A JP2009515343 A JP 2009515343A JP 5036814 B2 JP5036814 B2 JP 5036814B2
Authority
JP
Japan
Prior art keywords
driver
location
data
road
glance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009515343A
Other languages
English (en)
Other versions
JP2009540459A5 (ja
JP2009540459A (ja
Inventor
ヴィクター，トレント
クロンベルグ，ペッテル
Original Assignee
ボルボ テクノロジー コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ボルボ テクノロジー コーポレイション filed Critical ボルボ テクノロジー コーポレイション
Publication of JP2009540459A publication Critical patent/JP2009540459A/ja
Publication of JP2009540459A5 publication Critical patent/JP2009540459A5/ja
Application granted granted Critical
Publication of JP5036814B2 publication Critical patent/JP5036814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Description

本発明は、概して乗り物の案内に関し、より詳細には運転者の視覚的特性および挙動に関し、その後それが運転経験および運転者の動作を容易にするべく分析される。
運転者の疲労、注意散漫、作業負荷、およびそのほかの潜在的に危険な運転状況を作り出す運転者の状態関連の要因に関する進行中の研究がかなりある。すべての交通事故の約９５パーセントが運転者の誤りに起因し、その中でも運転者の不注意がもっとも一般的な原因因子であることを考えればこれは驚くことでない。多数の研究が、目の動きと高等な認識に関するプロセスの間における関係を確立している。これらの研究は、概して、目の動きは、ある程度まで、運転者の認識に関する状態を反映することを主張する。いくつかの研究においては、目の動きが、運転者の認識に関する注意力レベルの直接測度として、かつ精神的な作業負荷に代わるべきものとして使用される。
運転者がどこに目を向けているかを知ることは、乗り物事故、特に衝突を回避するべく設計されたシステムのための重要な入力要因として一般に認められている。運転者がどこに目を向けているかを突きとめることによって、マン・マシン・インターフェース（ＨＭＩ）システムの最適化が可能であり、前方衝突警報（ＦＷＣ）等の能動的な安全機能を、運転者の目の向きおよび動きを基礎として適合することが可能になる。これは、多くの対象者のオフライン分析として、またはオンライン、またはリアル‐タイム・アルゴリズムを使用して行われて、おそらくはＦＣＷスレッショルド(thresholds)といったものを現在の運転者の状態に適合できる。
すべてのタイプの乗り物の運転者は、しばしば眠気および注意散漫が有する、乗り物の制御についての自分自身の能力への効果に気付かない。人間は、概して、また特に運転者としての、自分自身の動作の能力のよしあしがよくわからない。通常、運転者は、自分自身の能力に対して現実よりよい印象を有する。基本的に良好な運転スキルを有する人でさえ、乗り物を運転するとき、常に一様に動作することはない。さらに、運転トリップの間においては、運転タスクの実行に関して運転者に要求されることが非常にわずかしかないことが多くある。その結果として運転者は、注意力が運転タスクにほとんど充当されない精神状態になる。驚くべきことではないが、運転者の不注意は、乗り物衝突の、特に自動車衝突の主な原因である。米国運輸省高速道路交通安全局（ＮＨＴＳＡ）の年間２５０万を超える牽引撤去した衝突の研究によれば運転者の不注意が衝突の主要原因であり、衝突のうちの推定２５から５６パーセントを占める。その研究において、不注意は３つの構成要素、すなわち視覚的注意散漫、精神的注意散漫（眺めているが見ていない）、および眠気を有するとして定義された。不注意によって起こされた衝突に共通するタイプは、後部追突、交差点における衝突、車線変更または合流中の衝突、道路離脱、単独乗り物衝突、および低速制限道路上で生じる衝突である。
眠そうな運転者は、よく知られた現象である。少なくとも１つの調査は、調査対象の運転者の５７パーセントが遡る１年内に眠気を感じて運転し、２３パーセントが実際に運転中に眠りに落ちたことを示した。疲労が運転者の動作、警戒心、および判断力を損なうことは周知である。眠気によって起こされる衝突は、深刻な道路安全問題であり、疲労は、全体の２３パーセントに上る衝突に関わると見積もられている。
技術的な観点から見ると、携帯電話、ナビゲーション補助、インターネット、およびそのほかのタイプの電子サービスを含む乗り物内で使用できる進行中の、また急速に増加する新しい情報システムおよび機能が存在する。運転者に対する携帯電話使用の効果は、それらの広く行きわたった使用からもっともよく知られているが、ナビゲーション補助およびＩＴサービスの販売もまた急速に成長している。携帯電話だけで、１年間で３００乃至１０００の死者を合衆国内に招いたと見積もられ、これは、２００４年には年間４０００の死者に達すると予測される。ハンド・ヘルド電話使用、標識の読み取り、食事、ほかの搭乗者との対話、目標物の観察、乗り物内のデバイスの操作等の注意散漫は、運転者の注意力を過剰な方法で奪い、したがって安全を危うくする。これらの新しいタイプのサービスおよび活動が運転環境の中でより一般的になっていることから、運転の安全が危うくされないことが特に重要である。
運転者の作業負荷は、それらの新しい機能およびテクノロジの利用に基づいて増加する。これに関して『作業負荷』は、人がどの程度忙しいかということ、および要求されるタスクを行うために人が必要とする努力の量を言うと理解されるものとする。運転者が多くのやるべきことを有し、かつ高い作業負荷を経験しているとき、多くのことが同時になされる必要があることから、運転者に高い注意力要求が課せられる。運転者は、しばしば、運転者の乗り物の制御に関係のないこと、したがって運転状況とは技術的に無関係のことに傾注する。これらのことは、しばしば二次的タスクと呼ばれ、一次的な運転タスクに対する運転者の注意力の潜在的な散漫要因である。二次的タスクは、それによって運転者の注意力が、運転の一次的な制御タスクのために不充分な注意力しか残されない程度まで奪われるとき、注意散漫（視覚的、聴覚的、認識的、および生体力学的注意散漫）になる。その結果、車線の維持および速度制御等の運転動作が、最終的には安全が危うくされる。
運転タスクおよび二次的タスクは、図１に図式的に示されるとおり、いくつかの二次的タスクが運転に関係するという意味においてオーバーラップする。運転および二次的タスクの間のこの関係から２つの困難が生じる。第１は、いずれの二次的タスク情報が『運転状況に無関係』でありいずれがそうでないかの線引きが困難となり得ることであり、第２は、たとえば街路の看板を探す、または運転経路を計画するといった特定の運転関連二次的タスクもまた、図１に図表で示されているとおり、安全を危うくすると見られることである。
認識される必要があるが、運転者は、しばしば運転タスクに対する注意散漫の効果に気付かない。また運転者は、疲労によって自分自身が、深刻な覚醒状態の低下または制御不能な睡魔に襲われるポイントまで害されていることを、信頼性をもって決定できない。ここで概説される注意力管理システムは、眠気、注意散漫、および／または高作業負荷状況にある運転者を補助することによって安全を向上させるべく意図される。
上で述べたとおり、目の動きについての興味深い用途がエルゴノミクスおよびＨＭＩ分野にある。たとえば、道路および交通情報（ＲＴＩ）ディスプレイのための最良配置の決定をはじめ、特定のＨＭＩが課する視覚的要求が別のものより少ないか否かの分析の中にその種の利用があると見られる。これらのタイプの分析は可能であり、デバイスＨＭＩを使用する間の対象者の目の動きを研究することによってなされる。しかしながら現在の方法に関連付けされる主要な欠点は、分析を行うための適切な自動化されたツールが、仮に存在したとしても、ほとんどなく、それらがなければ、訴える手段は、一般に行われている労働集約的なマニュアル分析となる。
現在の目の動きの研究における有意の問題は、研究チームごとにそれぞれ独自の定義および目の動きの信号をデコードするソフトウエアを使用していると見られることである。これは、研究結果を互いの間で比較することを非常に困難にする。視覚的測度および概念を定義する標準を有することが望ましい。ＩＳＯ １５００７およびＳＡＥＪ‐２３９６は、それらが乗り物内の視覚的要求の測定方法を規定し、一瞥の頻度、一瞥の時間、前方道路シーンを離れる時間、および一瞥の持続時間等の視覚上の特性についての定量化の規則、およびそれらを獲得する手順を提供することからその種の標準の例を構成する。しかしながら、これら２つの標準は、録画済みビデオ・テクニックに基づき、かつフレームごとの人間の評価者による分析に頼っており、時間を要し、しかもかなり信頼できない。多様な乗り物内情報の数および運転者補助システムおよびデバイスが増加するに従って、運転者の目の動きおよびそのほかの認識指標についての有望な関心も増加することになろう。したがって、目の動きについての標準化され、かつ自動化された堅牢な分析方法の必要性が存在し、将来においてはより一層重要になるであろう。
特定の目の追跡方法および分析手順が、ＩＳＯ １５００７およびＳＡＥＪ‐２３９６の規定に対して統計的に検証された。これらのシステムの物理的な部分は、侵入的または非常に環境依存的のいずれでもなく構成可能である。少なくとも１つの例は、運転者の正面に位置決めされる２つのカメラ（ステレオ・ヘッド）に基づく。頭のポジションおよび回転（向き）、瞬き、瞬きの頻度、および目の開度といったことを表示する注視ベクトルおよびそのほかの興味深い測度のリアル‐タイム計算にソフトウエアが使用される。このソフトウエア内の中でも特に重要な特徴は、頭ポジション／回転（向き）および注視の回転のリアルタイムでの同時計算であり、以前には利用可能でなかった特徴である。また、それは、乗り物の内側に生じるようなノイズの多い環境に対して敏感でない。とりわけデータ内の『ノイズ』は、変化しやすい照明条件および頭／注視の動き等に起因してデータ品質低下に影響を与える有意な要因になることが明らかにされている。
目の追跡関連の研究の分野においてなされた以前の研究は、妥当に網羅的であるように思える。しかしながら、目の追跡をより堅牢に、かつポータブルにすることを可能にする進歩が行われるに従って、このテクノロジ分野は拡張を続ける。しかしながら運転タスク関連の運転者特性の路上研究は多くなく、今日まで、視覚的および認識的注意散漫等の測度の計算に対する目の追跡データのリアル‐タイム・ベースの利用は存在しない（図２乃至４参照）。これは、少なくとも部分的にマニュアル・セグメンテーションの時間を要するという性質および／または一般的に使用される目の追跡システムの非可搬性に関連する技術的困難の結果である。しかしながら、実験室環境内において行われた研究では、多様なアルゴリズムが開発されている。たとえばニューラル・ネットワーク、適応ディジタル・フィルタ、隠れマルコフ・モデル、平均最小二乗法、ばらつきまたは速度ベースの方法、およびそのほかのより高い誘導方法を使用する多くの異なるアプローチが採用された。しかしながらこれらの方法の多くは、サンプリング頻度等の目の追跡器の代表的な特性を基礎とし、ほかのその種のシステムを用いては良好に機能しない。
以前は、運転者のどのような特性（１つまたは複数）が測定されるべきか、またそれらがどのように測定されるべきかを定義するための標準が存在しなかった。サッケード、固視、および閉瞼を含む基本的な視覚上のセグメンテーションを参照する標準はなかった。標準は、一瞥だけ、すなわち視野を横切る迅速な目の動きの発生だけを考慮する。
興味深いことに、いずれの現在の方法も滑らかな目の動きまたは追随、言い替えると道路標識を通過するときに見る（読む）といった運転経路から目的を持って目を逸らすことを考慮していない。実際、多くの研究は、たとえば追随する目標物が存在しないことを仮定することによって、滑らかな追随が決して生じないように設計される。現在の研究によるこの回避は理解可能であり、滑らかな追随とサッケードまたは固視を弁別することは困難となり得る。これらの特性は、文献の中でほとんど述べられていない。これらの特性が考慮されなかった理由（１つまたは複数）の如何によらず、その種の滑らかな目の動きが実際の運転条件の下に確かにきわめて頻繁に生じることから、ここに開示された本発明（１つまたは複数）に関しては滑らかな追随が考慮される。
乗り物の運転の基本は、乗り物を目的とし、その経路または進行方向を検出し、物体によるか事象によるかによらず潜在的衝突の脅威を検出する必要性である。この道路シーンの自覚は、乗り物の縦横の制御に不可欠である。認識される必要があるが、道路中心は、必ずしも乗り物の縦軸の前の直線ではなく、程度の多少はあってもほとんど常に道路に存在するカーブに起因してしばしば中心線外となる。そうであっても、研究は、運転者が実質的に（道路の曲率のための妥当な逸脱を考慮に入れて）まっすぐ前を見る傾向にあり、ほとんどの時間、すなわち約８５から９５パーセントの時間は道路上に目を向けることを示している。さらにまた、慎重であるということが平均的な運転者に教えるところは、道路中心または移動経路から逸れる一瞥を、乗り物を目標に合わせることを妨げず、かつ予期しない事象の発生または物体との遭遇の低い可能性と一致する時期にもっとも良好に合わせるということである。仮にそのとおりであっても、上記の統計は、慎重な運転者でさえ、常には運転要求に心を集中してなく、また運転時に自分自身の作業負荷および注意散漫を継続的に良好に管理していない。
道路中心の概念についての理論的根拠は、乗り物制御の視覚的な案内が、前方の道路領域内の光学的な流れ情報に基づくと考える。もっとも関連のある視覚的情報を受け取るために、運転者は、特定の場所、すなわち『アンカー・ポイント』を固視する傾向にある。情報が２つのその種のアンカー・ポイント、すなわち１つの遠点および１つの近点から主として獲得されることが提唱された（たとえば、サルブッキ（Ｓａｌｖｕｃｃｉ）およびグレイ（Ｇｒａｙ）、２００４年）。遠い領域については、最も有効なアンカー・ポイントがステアリングの指向される目標となることが提案されたが（ウィルキィ（Ｗｉｌｋｉｅ）およびワン（Ｗａｎｎ）、２００５年）、ほかのアンカー・ポイントも同様に可能である（当該文献のレビューについてのビクター（Ｖｉｃｔｏｒ）、２００５年を参照されたい）。近点は、乗り物の直前に置かれる（サルブッキ（Ｓａｌｖｕｃｃｉ）およびグレイ（Ｇｒａｙ）、２００４年）。遠点は、光学的な流れの回転成分を説明するべく提案されたが、近点は、より良好に、平行移動成分の取り込みに適する（ビクター（Ｖｉｃｔｏｒ）、２００５年）。
アンカー・ポイントによって定義される領域は、ここでは、道路中心（ＲＣ）として概念化される。正常運転の間、運転者は、通常、道路中心とほかの情報源、たとえばミラー、道路標識、または乗り物の内側および外側のそのほかの物体の間において視覚的注意力を共有する。しかしながら、拡張された視覚的な時間共有の間、たとえば乗り物内情報システム（ＩＶＩＳ）に対するタスクの実行時は、道路上の一瞥が、経路制御にもっとも関連のある領域、すなわちアンカー・ポイントに焦点される必要がある。これは、道路前方の一瞥の強い集中に帰着する（ビクター（Ｖｉｃｔｏｒ）ほか、２００５年）。上で述べたとおりこれは、視覚的要求の測定のための基礎として道路中心の一瞥を使用することについての基本的な動機づけの１つである。同様に経験的結果によって確認された（ビクター（Ｖｉｃｔｏｒ）ほか、２００５年）第２の基本的な動機づけは、ＩＶＩＳタスク実行間のＲＣを逸れる一瞥の大半がＩＶＩＳ目標に向かうことである。
道路中心識別‐‐重要なことであるが、道路中心の場所が、運転者の視点から見て、環境に対する体および乗り物のポジション／向きによって決定されることに注意する。したがって、道路中心の変動の実質的な量は、様々な運転者の物理的な寸法、座っている姿勢をはじめ、道路の曲率によって導かれる。この理由のため、ＲＣが、ボトム‐アップの形でデータから評価される。
運転は、ほとんどの場合に特に過酷な要求のあるタスクではない。たとえば、ほとんどの各州間運転の間において、使用される運転者の知覚容量が５０パーセントに満たないと見積もられている。このことから、しばしば運転者は、携帯電話をダイアルする、ラジオのチャンネルを変更するといった二次的タスクを行う。二次的タスクが行われるとき、道路と当該タスクの間において目が前後にシフトされる時分割的な一瞥の挙動が示される。この視覚の時間的な共有は、単一の視覚的資源を有することを意味する。二次的タスクが、それに対するものに代わって行われる間、道路がサンプリングされると言うことができる。衝突を誘導する問題は、道路から目が離れている間に予期しないことが生じるおそれがあり、それらの予期しない事象、または物体に対する反応が有意に遅くなり得るということである。
ここで与えられる新しい測度および分析テクニックは、この基本的かつ不可欠な、まっすぐ前方または乗り物の経路を見るという運転の目の動きの挙動を利用する。当該測度は、従来的な測度との相関が高いことが明らかにされた、視覚的に、認識的に、またはマニュアル的に過酷な要求のある乗り物内タスクを行うことの視覚的な影響の正確なオフ‐ライン評価を与える。それらはまた、正常な運転との比較を可能にする。ここで与えられる測度は、重要なことであるが、この視覚的影響のオン‐ライン計算および評価にも適しており、したがって注意散漫および作業負荷の検出のために使用可能なリアル‐タイム測度を表す。
特許文献１は、対象者の視覚上の、および／または頭の向きの特性を分析するための方法を開示する。運転者の頭のポジションおよび／または目の動きの検出および定量化が、環境に対して行われる。データのテストが行われ、データから、経験されるエリアの場所／対象者の関心がある目標物が導き出される。注視方向データを使用することによって、頭の向きに基づくかまたは目の（視覚上の）向きに基づくかによらず、道路中心および計器クラスタの相対的な場所が特定の運転者のために演繹される。道路中心を識別する概念が開示されている。
特許文献２は、運転者の生理学的な変量の測定、少なくとも前記測定された生理学的変量に基づく運転者の挙動パラメータの評価、および評価された運転者の挙動パラメータの運転者への通知を含む、運転者の生理学的な挙動を監視するためのシステムおよび方法を開示する。生理学的変量の測定は、運転者の目の動きの測定、運転者の目の注視方向の測定、運転者の閉瞼の量の測定、運転者の瞬きの動きの測定、運転者の頭の動きの測定、運転者の頭のポジションの測定、運転者の頭の向きの測定、運転者が動かせる顔の表情の測定、および運転者の顔の温度画像の測定を含むことができる。
米国特許出願公開第２００５／００７３１３６号明細書 国際公開公報０３／０７００９３号パンフレット 米国特許出願第１０／６０５，６３７号明細書 米国特許第６，９７４，４１４号明細書
本発明（１つまたは複数）の少なくとも１つの特徴は、頭／目／体追跡システムによって作り出された行動上の動きデータの自動化された分析、人間の評価者の実質的な排除、および誤りおよびノイズに対して堅牢なフィルタリング済みおよび確証済みの特性データの出力を容易にする確証された分析方法およびアルゴリズムを提供することである。好ましくは、これらの容易化が、ＩＳＯ／ＳＡＥおよび同様に容認された現在および将来の標準に従って行われる。特定のアルゴリズム、標準、および容易化は、特許文献３の中で論じられており、その内容は、参照によって完全にこれに援用される。
本発明は、乗り物内における運転者の生理学的な向きに基づいて検知されるデータの分析に関する方法を提供する。データは、運転者の注視方向を描写し、データ・セットによって定義可能である。データは、コンピュータを使用して処理され、そのデータの少なくとも一部から運転者の関心の場所を定義する評価基準が決定される。決定された評価基準に基づいて、注視方向に関するデータ（注視方向のインスタンスによるデータを含む）が、指定の場所上または該場所外のいずれかとして分類される。分類された注視方向に関するデータは、その後、視覚的な関心の場所に関しての分析のために使用可能である。追加の分析は、概して、運転者の眠気ではなく高められた運転者の作業負荷の時間に関連する。
指定の場所は、任意の関心場所とすることが可能であり、たとえば場所は、道路中心、運転者の背後の場所、運転者の右または左の場所、リア・ビュー・ミラー、サイド・ミラー、中央コンソール、車両アクセサリ（たとえば、ラジオ、窓スイッチ、ナビゲーション・システム）、個人用アクセサリ（たとえば、携帯電話、ＰＤＡ、ラップトップ）、または同乗者（たとえば、自動車の座席または後部座席にいる子供）を含むことができる。上記のリストはすべてを含むものではなく、場所のいくつかの例を示すだけのために提供されている。上の例からわかるとおり、場所が固定されている必要はなく、時間とともに変化可能であり、たとえば場所が携帯電話またはＰＤＡであるとき、ユーザが電話をダイアルするとき、電話に応答するとき、携帯ＩＤをチェックするとき、着信メッセージをチェックするとき、または送信メッセージを送るとき、時間とともに場所が変化する。
分類された注視方向に関するデータは、２つのバイナリ値（たとえば、１および０）のうちの１つに変換され、それぞれの分類済み運転者注視方向に関する前記データが前記場所上であるか、または前記場所外であるかを表す。バイナリ値の使用は、処理および分析をより効率的にする。
さらにまた、本発明は、場所上の運転者注視方向として分類される決定済み評価基準を満たさなかったときに、少なくともいくつかの前記分類が、前記場所外の運転者注視方向に関する前記データとしてとして推定されることを可能にする。
本発明は、注視方向に関する前記データが検知され、行動上の動きから導かれることを提供する。たとえば注視方向に関する前記データは、検知済みの、運転者の身体の腰上部分、運転者の身体の上側胴部分、運転者の頭、および／または運転者の少なくとも１つの目の向きから導くことが可能である。行動上の動きを測定するためのセンサは、特に、カメラ、超音波センシング・デバイス、静電容量センサを含む多様なセンサを含む。
上記からわかるとおり、本発明のねらいは、データを指定の場所上または外のいずれかとして特徴記述する単純化された特徴記述規則を提供することである。１つの例示的な実施態様においては、この特徴記述が、道路中心固視、または非道路中心固視のいずれかになる。道路中心固視は、概して、運転者が典型的な運転態様において前方を見ているとき、すなわち運転者が道路中心上に視覚的に固定されているときに特徴記述される。運転者が道路中心から目を逸らせている非道路中心固視は、道路中心固視として特徴記述されない固視から推論されることが可能である。
別の例示的な実施態様においては、特徴記述がリア・ビュー・ミラー固視または非リア・ビュー・ミラー固視のいずれかになる。リア・ビュー・ミラー固視は、概して、運転者が乗り物の背後を見るべくリア・ビュー・ミラー内を覗いているときに特徴分類される。運転者がリア・ビュー・ミラーを覗き込んでいない非リア・ビュー・ミラー固視は、リア・ビュー・ミラー固視として特徴記述されない固視から推論されることが可能である。
別のねらいは、特定のアルゴリズムをリアル‐タイム環境に適応させることである。別のねらいは、運転者サポートを識別し、提供することであり、これは視覚的挙動を基礎とし、かつ運転者に焦点を変えさせる実装済みシステムに起因する潜在的に有害な状況を回避する運転者を補助することができる。
１つの態様において本発明は、運転者の関心事であると見られる多様な目標物およびエリアを相対的に位置づけることが可能な乗り物内の１つの標準的な基準を有することの必要性に取り組む。多様なサイズ、身長、および挙動のオペレータから獲得される頭／顔／目の追跡データを翻訳することが可能な基準の標準フレーム（乗り物内部における相対的なポジション／場所／向き｛この開示に関しては、通常のスラッシュ記号「／」が『および／または』関係を示すために利用される｝によって定義される）は、それが、ここに述べられたいくつかの目的のための優雅な処理のためにその種のデータを『標準化』することから望ましい。
少なくとも１つの実施態様においては、現在開示されている発明を、乗り物の運転者の視覚上の、および／または頭の向きの特性を分析するための方法として定義できる。認識される必要があるが、述べられている分析テクニックまたはプロセスは、通常は時間に関してマークされたストア済みの追跡データ、またはその性質から時間をデータ・ストリーム内の限定要因と見なし、したがって記述的な名前である『リアル‐タイム』データが与えられるリアル‐タイム・データに適用可能であるとして企図される。いずれの場合においても、本発明のこの実施態様は、乗り物の搭乗者室内の空間に対する運転者の頭のポジションの検出および定量化を企図する。『ベンチ‐マーク』運転者の頭（またはその部分）の基準ベース・ポジションが提供され、それが運転者の関心エリア／物体の場所の、それに対する交差参照を可能にする。認識される必要があるが、それらの運転者の関心エリア／物体は、乗り物の内側または外側であってよく、（１）オーディオのコントロール、スピードメータおよびそのほかの計器等の『物』、および（２）『道路前方』および隣接車線内の車線変更クリアランス空間等のエリアまたはポジションによって構成され得る。関心の乗り物に関して追跡データを『標準化』するために、運転者の頭のポジションの定量化が基準ベース・ポジションに対して正規化され、それによって（１）運転者の視覚上の向き、または（２）運転者の頭の向きのうちのいずれかまたは両方に関係する検知済み情報に基づく運転者が関心を示した場所（１つまたは複数）の演繹を可能にする。
別の実施態様においては、ここで開示される本発明が、道路中心（ＲＣ）ベースの測度の一般的概念を与え、それにおいては視覚的要求が、オフ‐ラインおよびオン‐ライン（リアル‐タイム）応用の両方のために道路中心から逸れる一瞥に関して定量化される。この単純化の主要な利点は、（ＲＣエリア外側の注視が無視されることから）道路から離れる一瞥の間のデータ品質を下げることが可能なことである。
追跡情報が運転者の頭および目の特性両方に対して利用可能な場合は、運転者の視覚上の向きに関する検知済み情報が優先的に、運転者の関心の場所（１つまたは複数）の演繹のためのベースとして利用される。運転者の視覚上の向きに関する検知済み情報の品質が、規定されたスレッショルド注視信頼度レベルを超えて低下したときは、運転者の関心がどこに示されたかを演繹するためのベースとして運転者の頭の向きに関する検知済み情報への切り替えがなされる。例として、運転者の目が遮られたとき、すなわちその追跡を妨げる何らかの形で不明瞭になるか覆われたときにこの切り替えが必要とされることがある。遮られる条件もまた、たとえば相対的な顔の表情の識別／位置づけができないことに起因して追跡センサ（１つまたは複数）が目を追跡できない状況を含むことが企図される。たとえば目対鼻対口の向きおよび参照が演繹不能である（いくつかの追跡システムは、追跡され、かつデータ値によって特徴記述されることになる目を位置づけするために顔についての基準のフレームが確立されることを必要とする。顔が正しく参照されないとき、いくつかのセンサ・システムが、たとえば対象者の目と混同された鼻孔を追跡すること、または装着されている眼鏡が目の画像を（屈折により）ひずませるか、または不明瞭にする（サングラス）可能性がある。目が遮られる別の例は、運転者の頭のポジションが、目の前方の（優勢な運転の）向きから、逸脱の許容度を超えて逸れるときである。これらの場合においては、運転者の目（１つまたは複数）が、最終的に、目の向きのデータを生成している追跡装置（センサ）から視覚的に遮蔽される。）。
好ましくは数学的変換が利用されて、基準ベース・ポジションに対する運転者の頭のポジションの定量化の正規化が達成される。オン‐ボード実装においては、数学的変換が乗り物ベースのコンピュータを使用し、実質的にリアル‐タイム・ベースで実行されることが好ましい。
基準ベース・ポジションに対して運転者の関心エリア／物体の有望なポジションが規定される。これに関して言えば、この種の規定はテンプレートとして作用し、検知済みデータをそれに対して読み取るか、またはそれの上に重ねることが可能である。
代替として運転者の関心エリア／物体の有望なポジションが、検知された運転者の視覚上の特性に基づき、基準ベース・ポジションに対して定義される。１つの例示の発展においては、基準ベース・ポジションに対するその種の運転者の関心エリア／物体の有望なポジションの定義が、検知された運転者の注視頻度の視覚上の特性を基礎として確立されることが可能である。これにおいて注視頻度の確立は、収集された注視密度特性に基づく。
本発明の１つの実施態様においては、運転者の関心エリア／物体（複数の運転者の関心エリア／物体も取り囲むとして解釈される必要がある）が、検知された運転者の視覚上の特性を、基準ベース・ポジションに対する運転者の関心エリア／物体の規定された、または定義済みの有望な場所にマッピングすることによって運転者の視覚上の特性に基づいて識別される（例示的に追跡データとして表される）。言い替えると、おそらくは運転者の関心事であるとして演繹された物体またはエリアの識別を、観察されたデータ（頭および／または目の追跡データ）の、上で定義されるところの規定されたテンプレートに対する比較によって、または運転者がおそらく関心を持つ特定の物体および／またはエリアに対して相関済みの既知のデータ・セットに対する比較によって行うことができる。
１つの例は、運転者が多様な場所／物体を見る相対的頻度が識別される、特定の乗り物のために考案されたエリア‐ベースのテンプレートとなろう。たとえば、典型的な運転者は、運転時間の約４０パーセントにわたってまっすぐ前の方向を、運転時間の約２０パーセントにわたってスピードメータを含む計器クラスタを見ていることが明らかにされるとしてもよい。また空間的に、それらの２つのエリアの中心が、一方が他方の下側になることも周知である。したがって、注視方向データ（それが頭の向きに基づくか、または目の（視覚上の）向きに基づくかによらず）を利用すると、道路中心および計器クラスタの相対的な場所を特定の運転者について演繹することが可能になる。その参照の基本フレームが確立された後は、当該特定の乗り物について現実に対する対応を演繹することが可能であり、かつ基準フレームへの翻訳が決定できる。さらにまた、乗り物のオーディオ・コントロールに対する一瞥もまた、たとえば典型的な運転者が正常な運転時間の約１０パーセントにわたってオーディオ・コントロールを見ることが統計的に周知であるとすれば、演繹が可能である。『学習時間』の期間が記録された後は、運転者の多数の関心エリア／物体の相対的な場所を、統計的なベースで突きとめることが、物体／エリアの任意の周知のマップ、または乗り物内の基準フレームとは独立している場合でさえも可能である。
別の態様において、この開示は、乗り物によって行われる規定の機能を、マップ済みの運転者の視覚上の特性に基づいて調整することを述べる。これは、運転者が道路から離れたところを見ている時間が長すぎることが検出されたときに、注意散漫警報を適応させてサウンドを生じさせ、先行する乗り物の後方で維持される干渉ゾーンの増加を適応クルーズ・コントロール・システムによって生じさせる程度に簡単にすることができる。
これらの運転者の関心エリア／物体は、完全に注視の成角の測度だけによって構成される運転者の視覚上の向きに関係する検知済みの情報を部分的に、または排他的に基礎として識別することが可能である。特定の乗り物（例示的に、自動車の特定の型およびモデルとして識別される）内の少なくとも基準フレームに関しては、エリア／物体の角位置が、距離を考慮する必要性が取り除かれることから特に優雅になる。言い替えると、エリア‐場所が統計的（確率論的に）に有望な運転者の関心エリア／物体を表すとして識別されることになる場合、エリアが基準フレームから離れて位置づけされる距離が既知とならなければならない。これは、頂点から広がる円錐と非常に類似して、定義済みエリアが焦点から広がるという事実を表わす。しかしながら頂点からの角度は、離散的な測度である（図５参照）。
注視の成角の測度は、検知した眼球方位ベースの注視方向ベクトルから導出可能である。これは、１つの眼球の観察から獲得できるが、好ましくは、両眼から得られた観察の集まりとして得られる。したがって代表ベクトルは、より正確に、対象者の鼻橋の領域から発し、観察された成角の平均と平行に向けられるベクトルとして記述される。さらにまた、注視の成角の測度は、頭、顔、またはそのほかの身体の動きおよび／またはポジションの観察から評価することができる。
本発明は、これまで眼球の成角に特有の詳細に関して述べられてきたが、類似でないとしても関連する結果が頭の向きに基づく類似の観察から獲得可能であることも企図される。概して言えば、この対照を、基準フレームの向きによって定義される基準フレームから向けられた目の方向に対立するものとして鼻ポイント（頭ベース）の方向を使用し、検知された頭の向きに基づいて基準ベース・ポジションに対する運転者の関心エリア／物体の有望なポジションを定義することとして記述できる。
少なくとも１つの実施態様においては、運転者の関心エリア／物体の有望なポジションの定義が、顔の前方向が演繹される検知済みの頭の向きに基づいて基準ベース・ポジションに対して決定される。この場合においては、眼球軌跡測定データと同様に、運転者が特定の方向を見る頻度を示す密度マッピングを利用して特定の頭の向き、したがって顔の前方向を確立できる。
運転者の関心物体／エリアは、代表マッピングを、基準ベース・ポジションに対する運転者の関心エリア／物体の、規定された／定義された有望な場所に相関させることによって（したがってこれは、成角の直接データから達成されることも可能である）識別可能である。
頭の向きベースの分析に取り組むときは、注視の成角の測度を、検知済みの頭の向きベースの注視方向ベクトルから導出できる。
別の実施態様において、本発明は、運転者の活動および／または運転者の状態の評価における比較のためにベンチ‐マーク（基準フレーム）を展開するための方法の形式を取る。この方法は、運転者の検知済み特性に基づき、かつそれらから展開された密度パターンに基づく注視方向データのストリームの収集（記録済みデータのストリームの使用も含むことができる）、少なくとも１つの有望な運転者関心領域に対応する注視方向ベースのパラメータの定義を包含する（すなわち、それを含むが、それに限定されない）。
前と同様に、この方法は、（１）運転者の視覚上の向き、および（２）運転者の頭の向きのうちの少なくとも１つの測度を利用して注視方向データを構成することを伴う。
典型的な目の前方の運転を表す領域は、収集された注視方向データから評価される高密度パターンに基づいて確立される。例として、当該領域は、放物形等の２次元で定義された面積、または基準フレームから、基本的にその頂点を確立済みの基準フレームに対する類型化された運転者の目のポジションに置いて広がる円錐等の３次元で定義される体積として定義できる。
収集された注視方向データは、確立済みの代表領域と比較され、それによってその比較に基づいて注視の逸脱が識別される。類似の比較に基づき、そのほかの、環境または運転者の量を演繹できる。たとえば、運転者の認識的注意散漫、運転者の視覚的注意散漫、および／または運転者の高作業負荷状態といったものの識別および／または測度に注視方向データが使用されることが可能である。
さらにまた、この方法は、突きとめられた頻度または持続時間（発生が離散的であるか、または連続的な出来事であるかに依存する）、すなわち規定された時間期間内に注視の逸脱、認識的注意散漫、（３）視覚的注意散漫、および（４）運転者の高作業負荷等を示す状態が検出されることに基づいて運転タスクの実行に関する運転者の機能障害の深刻度（程度）を定量化するための手段を企図し、かつ提供する。
関心出来事は、プロセッサによるその先の分析のためにログに記録されること、ストアされること、および／または送信されることが可能である。その逆に関心出来事を表すデータを、リアル‐タイム・ベースでローカルに、またはリアル‐タイムの送信も行われるのであればリモートで分析することも可能である。
注意力管理システムおよび方法は、眠気、注意散漫、および／または高作業負荷状態にある運転者を補助することによって安全を向上させることを目的として有する。眠気管理部分、注意散漫管理部分、注意散漫のための管理部分の前方衝突および車線変更警報システムへの適応、および運転者の視覚的挙動から観察されるか、または演繹される運転要求の評価に基づいて少なくとも部分的に制御される作業負荷管理部分を含むことが特徴として記述できるいくつかの注意力管理システムについての機能的な明細が提供される。これらの運転者注意力管理タスクを実行するべく適切に採用可能なハードウエア・システムも述べられる。マン・マシン・インターフェース（ＨＭＩ）に基づく瞬時的な眠気および注意散漫管理部分の開発のための『プラットフォーム』も、連続およびトリップ後の注意力フィードバック・システムの記述と同様に開示される。このＨＭＩアプローチは、切迫した衝突警報をはじめ、積極的な行動上の変更を生じさせる注意力フィードバック両方を提供することによって、運転者の不注意に対処することをその目的として有する。
その種の分析の少なくとも１つの利用は、深刻度の定量化が規定された深刻度スレッショルド・レベルを超えるときに運転者にフィードバックを提供することである。たとえば、過剰なレベルの視覚的注意散漫（目を逸らしすぎる）または認識的注意散漫（充分に目を逸らさない‐‐夢中になっているとき前方を凝視する）が生じるときに運転者に警報を与えることができる。
分析からの出力の別の利用は、深刻度の定量化が規定された深刻度スレッショルド・レベルを超えるときに乗り物によって実行される規定の機能を調整することである。一例は、運転者が注意散漫または不注意であると評価されるときに、適応クルーズ・コントロール・システムに、先行する乗り物との間に追加の空間を設定させることとなろう。
収集された注視方向データのストリームを分析するための１つの特に有利なモードは、データ・シリーズを横切る規定期間の一次移動時間ウインドウ（統計分析分野の当業者には周知の分析ツール）の利用、および当該一次移動時間ウインドウ内の運転者の時分割的活動の発生を示す特性の検出である。一例は、移動する９０秒のウインドウ内における特定のデータの平均を採用することである。データ・シリーズに沿ってウインドウが進むに従って、考察に新しいデータが追加され、もっとも古いデータが無視される（時間に基づく等量のニュー‐イン、オールド‐アウト）。
このプロセスは、スレッショルドを超える運転者の時分割的な活動の発生の頻度に基づく運転者の高作業負荷の期間の識別に利用することが可能である。検出された発生の効果をウインドウから取り除くために、運転者の時分割的活動の発生の停止の検出時に一次移動時間ウインドウのリフレッシュ（フラッシングまたは正常状態への復帰）が生じる。この方法においては、発生の影響が検出および分析後に最小化され、それによって次の正常からの逸脱のためにシステムの準備が整えられる。
以下においてより詳細に論じるとおり、視覚的活動のいくつかの特性は、観察された目の活動に基づいて識別可能である。専門家でない者によって容易に認識されるいくつかの共通の特性は、瞬きおよび一瞥である。専門家でない者によって容易に認識されないことは、一瞥等が、サッケード、固視、および遷移等といったあまり知られていない構成成分の目の活動に基づいて特徴記述できるか、または識別できることであり、これらのそれぞれは測定可能な限定特性を有する。
別の実施態様においては、本発明が、目の動きデータの自動化された分析ための方法の形式を取り、それが、対象者の中に観察された目の動きを記述するデータを、コンピュータ‐ベースのプロセッサを使用して、当該データに分類規則を適用することによって処理し、それにより、対象者によって経験された少なくとも固視を識別することを含む。これらの規則または特徴は、以下においてより詳細に論じられている。識別された固視に関連付けされる注視方向情報の分析も行われ、それによって、現在分析されているデータの収集の期間中に対象者が固視した方向を表すデータを明らかにする。
適用される分類規則は、少なくとも固視および遷移を定義する評価基準を包含する。サッケードを定義する評価基準も提供する分類規則が付加的に利用される。
データは、少なくとも部分的に固視の注視方向に基づいて、範囲が定められたデータ・セットに分離可能であり、それぞれの範囲が定められたデータ・セットは、データ収集の期間中に存在した対象者の関心エリア／物体を表す。
別の関係においては、一瞥が、少なくとも１つの一瞥定義規則をデータに適用することによって識別され、識別された一瞥のそれぞれは、少なくとも１つの識別済みの固視を囲い込む。本発明のこの態様においては、概して一瞥定義規則が、次の特性、すなわち一瞥の持続、一瞥の頻度、合計の一瞥の時間、および合計のタスク時間のうちの少なくとも１つによって定義される。
別の態様においては、１つの一瞥セットの相対密度が、少なくとも１つのほかの一瞥セットに対する比較において評価され、それに基づいてこの方法が、比較される一瞥セットの、代表される対象者の関心エリア／物体を識別する。
類似の関連で、本発明の方法は、複数の一瞥セットの間において少なくとも１つの一瞥セットの相対密度を評価し、当該評価された相対密度の、目の動きデータが収集されたタイプのセッティングに関連付けされた既知の相対密度に対するマッピングに基づいて、比較される一瞥セットの、代表される対象者の関心エリア／物体を識別することを企図する。たとえば、正常な運転状態の間における運転者の特定の関心物体またはエリア上での既知の休止期間についてのパーセンテージを使用して、収集されたデータからそれらの物体またはエリアを識別することが可能である。
別の態様においては、空間的に既知のセッティング内で観察された目の動きを記述するデータから明らかにされる少なくとも２つの一瞥セットの相対密度が評価され、それらから、２つの比較される一瞥セットのそれぞれの、代表される対象者の関心エリア／物体が評価される。代表される対象者の関心エリア／物体の場所が、その後、当該既知のセッティング内において突きとめられ、演繹された場所を既知の物体／エリアの場所にマップし、または重ね合わせできることから、それによって既知のセッティングについての基準フレームを確立する。
特に好ましい実施態様においては、対象者が乗り物の運転者であり、一瞥データ・セットのうちの少なくとも１つの密度に基づいて、目の前方の、正常な運転者の目の向きが演繹される。
乗り物の運転者が対象者となる本発明の追加の態様は、複数の分析プロトコルの利用を企図し、その選択は、処理中のデータ・セットに関連付けされる優勢なノイズ特性に依存する。
１つの発展においては、あらかじめ決定済みの緊縮度の第１のデータ・フィルタが、乗り物の運転者に観察される目の動きを記述するデータを包含するデータの入力ストリームに適用される。コンピュータ‐ベースのプロセッサが利用され、そこから、入力データ・ストリームに対応する第１のフィルタリング済みデータ・ストリームが出力される。（この対応の概念は、それぞれの出力される値が、出力される値が導出された入力済みの値に対応するという概念とすることが可能である。出力される第１のフィルタリング済みデータ・ストリームの品質は、第１の承認規則をそれに適用することによって評価され、第１の承認規則に合格した当該出力される第１のフィルタリング済みデータ・ストリームのデータが出力されて承認済み第１のデータ・ストリームを構成する。）
追加の発展においては、コンピュータ‐ベースのプロセッサを利用し、第１のデータ・フィルタより大きな緊縮度（データをより強くスムージングする）の第２のデータ・フィルタがデータの入力ストリームに対して適用され、そこから、第１のフィルタリング済みデータ・ストリームに対応する第２のフィルタリング済みデータ・ストリームが、それの、データの入力ストリームからの共通誘導を介して出力される（これにおいても、同一の入力データ値から計算されたことに基づく対応／比較）。出力される第２のフィルタリング済みデータ・ストリームの品質は、第２の承認規則をそれに適用することによって評価され、第２の承認規則に合格した当該出力される第２のフィルタリング済みデータ・ストリームのデータが出力されて承認済み第２のデータ・ストリームを構成する。
２つの承認済みデータ・ストリームから、承認済み第１のデータ・ストリーム全体によって構成される集合的承認済みデータ・ストリームが組み立てられ、さらに当該集合的承認済みデータ・ストリームは、出力される第１のフィルタリング済みデータ・ストリームの承認されなかった部分に対応する承認済み第２のデータ・ストリームの部分によって構成される。
少なくとも１つの実施態様においては、第１および第２の承認規則が同一であり、別の態様においては、第１および第２の承認規則が同一の評価基準に基づくが、同一の規則でなくてよい。
追加の発展においては、この方法が、（１）グループのほかの要素と比して低ノイズ含有の目および眼瞼の挙動データにもっとも適する速度ベースの二重スレッショルド・プロトコル、（２）グループのほかの要素と比して中ノイズ含有の目および眼瞼の挙動データにもっとも適する距離ベースのばらつき間隔プロトコル、および（３）グループのほかの要素と比して高ノイズ含有の目および眼瞼の挙動データにもっとも適する視覚的特性ベースの規則指向プロトコルからなるグループからの複数を構成する少なくとも２つの分析プロトコルの選択を包含する。
関連する態様においては、任意の与えられたデータ・セットのためのプロトコル選択を、当該データ・セット内の検出されたノイズに依存して３つのプロトコルのうちの１つに偏らせる。別の態様においては、規則指向プロトコルが、固視とサッケードの間の弁別において、（１）固視の持続時間は１５０ミリ秒を超えなければならない、（２）サッケードの持続時間は２００ミリ秒を超えてはならず、かつサッケードの開始および終了は２つの異なる場所になる、とする標準のうちの１つまたは複数を考慮する。
追加の関連においては、挙動の動きを記述するデータの品質が、複数の分析プロトコルの間におけるそれぞれの分析プロトコルの相対的な利用に基づいて評価される。代替として、またはそれに関連付けして、時間ベースの、規定済みの時間間隔にわたる複数の分析プロトコルの間におけるそれぞれの分析プロトコルの相対的な利用を考慮して品質評価を行うことが可能である。
運転制御タスクと二次的タスクの相互関係を図式的に表した説明図である。 多様な乗り物内タスクの相対的影響を測定するための道路中心のパーセントの使用を示す具体例のグラフである。 注意散漫のほかの測度との関係で示された道路中心の絶対パーセントの具体例のグラフである。 異なる時間スレッショルドについての道路中心から逸れる長い一瞥のパーセントの具体例のグラフである。 注視方向の測度を具体例で示した略図である。 マイクロ‐サッケード、ドリフト、および眼振を具体例で示す２つの目の動きの詳細を示したグラフである。 目の動きの標本の異なる成分の特性の具体例のグラフである。 複数の固視およびサッケードを図示したグラフである。 検知、計算、ＨＭＩ、および電源のためのハードウエアおよび機能モジュールを含む注意力管理システムの１つの実施態様を表したフローチャートである。 いくつかの眠気管理部分の対応策を例示的に実装できるプラットフォームの図式表現である。 運転者に対する可能な表示警報を図示した例示的な表現である。 例示的なインタラクティブ運転者応答パネルを図示した説明図である。 運転者の注視を向け直すための例示的な実施態様を図示した説明図である。 運転者の不注意の構成成分のインタラクションを図式的に図解した説明図である。 本発明の教示に従ってリアル‐タイム運転者情報を表示するための多様な『能動的』な図画形式のディスプレイを図解した説明図である。 最適注意力レベルの表示に対する比較フォーマットのリアル‐タイム運転者フィードバックを図解した説明図である。 検出された作業負荷／不注意レベルの増加の根拠の、例示的にフォーマットされた説明を図解した説明図である。 オン‐スクリーンのトリップ後フィードバックを例示的に図解した説明図である。 前方衝突の状況についてのヘッド‐アップまたはスクリーン・ディスプレイ警報を例示的に図解した説明図である。 車線変更衝突の状況についてのヘッド‐アップまたはスクリーン・ディスプレイ警報を例示的に図解した説明図である。 本発明に従って処理される、測度が運転者の生理学的特性から作られるシステムおよび方法についての例示的なフローチャートである。別のステップにおいては、運転者の注意散漫または注意力負荷のレベル等の挙動パラメータが評価される。さらに別のステップにおいては、その評価に関するフィードバックが運転者に対して行われる。 一瞥を構成する目の動きの成分を図解した説明図である。 オフ‐ラインのハイブリッド・アルゴリズムを図式的に図解した説明図である。 固視およびサッケードを定義するスレッショルド規則を具体的に示すグラフである。 信号ノイズの量に基づく分析ツールの選択を具体例で図式的に図解した説明図である。 オン‐ラインのハイブリッド・アルゴリズムを図式的に図解した説明図である。 場所上および場所外データの分類およびクラスタリングのための装置を図式的に図解した説明図である。 単一の追跡カメラまたはモニタがある計器パネルに向かって得られた乗り物内側の斜視図である。 この開示の道路中心エリアの概念の環境を略図的に図解した説明図である。 実際のクラスタまたは密度に基づく対象者の２つの関心エリア／物体を示したグラフである。 目の動きを時間に対してプロットしたグラフである。 （ａ）フィルタリングされていないデータを具体的に図解した説明図である。（ｂ）データのフィルタリングを具体的に図解した説明図である。 （ａ）瞥挙動に基づく前方の道路中心エリアの識別を具体的に示した２次元グラフである。（ｂ）一瞥挙動に基づく前方の道路中心エリアの識別を時間の関数として具体的に示した３次元グラフである。 道路中心エリアの代替具体例を図解した説明図である。 向きデータのリアル‐タイム分析に作用するための代替装置を図示した説明図である。 基準フレームに対する実際の頭のポジションの変換を略図的に示した説明図である。 道路中心のパーセントまたはピークを例示的に識別する日中のクラスタまたは密度のコレクションを多様な形で具体的に図示したグラフである。 道路中心のパーセントまたはピークを例示的に識別する日中のクラスタまたは密度のコレクションを多様な形で具体的に図示したグラフである。 道路中心のパーセントまたはピークを例示的に識別する日中のクラスタまたは密度のコレクションを多様な形で具体的に図示したグラフである。 道路中心のパーセントまたはピークを例示的に識別する日中のクラスタまたは密度のコレクションを多様な形で具体的に図示したグラフである。 ２台の『立体』追跡カメラまたはモニタがある計器パネルに向かって得られた乗り物内側の斜視図である。 瞬きが補間された注視の水平信号を具体的に示したグラフである。 水平の注視および瞬きに起因する３つの落ち込みを具体的に示したグラフである。 スレッショルドに関して目の動きの速度を具体的に示したグラフである。 セグメント化された注視信号を具体的に示したグラフである。 復元された固視を具体的に示したグラフである。 前方道路シーンから逸れる複数の一瞥を具体的に示したグラフである。 ２つの関心エリア／物体を示す休止のヒストグラムである。 前方道路シーンの境界の確立を具体的に示したグラフである。 運転者によって行われた典型的な一瞥の多様な構成要素を具体的に示したグラフである。 運転者によって行われた典型的な一瞥の多様な構成要素を具体的に示したグラフである。 運転者によって行われた典型的な一瞥の多様な構成要素を具体的に示したグラフである。 運転者によって行われた典型的な一瞥の多様な構成要素を具体的に示したグラフである。 一瞥データの特定の統計的分析を具体的に示したグラフである。 一瞥データの特定の統計的分析を具体的に示したグラフである。 一瞥データの特定の統計的分析を具体的に示したグラフである。
ここに開示される本発明（１つまたは複数）の焦点である実際のデータ処理テクニックを述べる前に、目の動きの基本の特性に関するいくつかの基本的な情報をはじめ、頭および／または目の向き（場所および動きの特性）を記述するデータの検知、定量化、およびオプションとして記録に使用可能な典型的な追跡システムについてのいくつかの一般情報を、これらの分野の当業者に満たないスキルの読者を容易にする努力として提供する。
少なくとも目の動きベースのシステムに関して、目の動きデータを収集するために使用される現在利用可能なセンシング・システムは、どちらかというとノイズが多く、アーティファクトを含む『生』の目の動き信号を生む。この開示の残りを読むことから明らかになるとおり、通常、頭の向きの追跡データは、近似として、したがって、しばしば目の追跡データのための有効な代用として利用可能である。
本発明（１つまたは複数）のアルゴリズムは、この情報を処理し、一瞥の頻度（あらかじめ定義済みの時間期間の間の目標エリアに向かう一瞥の数）、単一の一瞥の持続時間、合計の一瞥時間、および合計のタスク時間の測度といったものを表す出力を生成する。アルゴリズムは、異なる警報をトリガするべく定義される規則、たとえば運転者が、道路に目を戻すことなく２秒を超えて自分自身の携帯電話を見ているか否かといった規則を具体化する。厳密なトリガ規則の定義は、引き続き開発下にあるリアル‐タイム・システムにおける仕上げに追加される部分からもたらされる。
現在開示されている本発明の態様は、異なる基礎を有する２つのアルゴリズム、すなわちオフ‐ラインのデータ収集後処理のための１つ、およびデータ収集と基本的に同時に（定量化される特性が実行されているときに）行われるリアル‐タイム処理のための１つを含む。これらは類似の基礎を有するが、リアル‐タイム・アルゴリズムは、初期化手順を有し、オフ‐ラインの特徴のいくつかを欠く。オフ‐ライン分析の主要な目的および利点は、記録済みまたはストア済み特性データの処理である。リアル‐タイム分析の主要な目的は、収集されたデータの即座の処理であり、観察されている対象者に対するフィードバック等の同時利用、または観察の対象者が乗り物の運転者のときは乗り物システム等の関連するシステムの適応のためのそれの利用を可能にする。
運転者に関して言えば、オフ‐ライン・アルゴリズムの目的の１つは、ラジオ局の変更、またはＲＴＩシステムの（運転中の）使用等のタスクからの目の動きデータを分析し、どの程度の視覚的要求を当該ユニットが運転タスクに課するかを決定することである。リアル‐タイム・アルゴリズムの目的はどの程度運転者が道路に注目しているかを決定することである。本発明の１つの目的は、オフ‐ライン・アルゴリズムからの類似の結果が獲得されるようにリアル‐タイム・アルゴリズムを適応または有効にすることである。
目の動きは、概して２つのカテゴリ、すなわちサッケードおよび固視に分けることが可能である。固視は、目が何かのもの、たとえばこのページの文字に固定されているときに生じる。これはまた、固視が焦点されているもの（１つまたは複数）の視覚的な像として解釈される情報を脳が吸収可能なときでもある。これに対してサッケードは、固視の間の移動であり、言い替えると関心ポイントを変化させていることである。サッケードは非常に高速であり（大きな振幅の場合は、７００°／秒のピーク速度を伴う）、観察者の脳は、このときに網膜を横切る光が脳によって解釈されるには速すぎることから、これらの出来事の認識を抑圧する。
何かのもの、たとえば携帯電話に向けられる一瞥は、あらかじめ定義済みの目標エリア（たとえば道路）から離れるサッケード、一瞥の開始、および新しい目標エリア（たとえば携帯電話）における固視の組み合わせである。一瞥は、２番目の目標エリアから離れる新しいサッケードが開始されるときに終了する。同一の目標エリア内における連続するサッケードおよび固視は、同一の一瞥の部分として定義される。
本発明（１つまたは複数）の達成目標および有利な態様のいくつかを、次のとおりに要約することが可能である。（１）ハイブリッド・アルゴリズムは、速度およびばらつきベースのアルゴリズムを単に結合するレベルにおいてさえ、特に視覚上の規則と組み合わせられるときには新しい。これまでは、目の動きをセグメント化するときに目の物理的能力が考慮されなかった。（２）道路中心エリアの位置を、単純に『山』の平均値を指定するより詳細な密度関数のピークをその中心使用して与えるアイディアおよび手順。（３）全体としてのアルゴリズム、およびそれぞれの異なるアルゴリズムの部分がほかと協同する方法。運転者の心的集中の測度としての道路中心のパーセント（ＰＲＣ）および道路中心の絶対パーセント（Ａ‐ＰＲＣ）。
これらのアルゴリズムは、記述される測度を生み出すべく意図されるだけでなく、ＩＳＯ １５００７‐２の中で定義されるすべての測度をはじめ、ＳＡＥＪ‐２３９６の中の測度の決定に使用される。
眼球運動の概念は、充分に研究されており、概して、視覚上の動きは、サッケード、マイクロ‐サッケード、滑らかな追随、両眼転導、眼振、ドリフト、およびこれらの類として例示できるいくつかの異なるカテゴリに分けられる。しかしながら本発明の目的のため、視覚上の動きを２つの基本的なカテゴリ、すなわちサッケードおよび固視に分ける。本発明の根本原理は、サッケードを除くすべてのデータ・ポイントは固視であるということである。これは、運転中に頻繁に生じる滑らかな追従を以下に述べられる固視の概念の中に含める。
固視は、目が情報を吸収できる情報価値のある領域上での休止として定義される。有効な固視であるためには、当該休止が少なくとも、人間の脳が情報を利用するために要する概略の時間と同一の１５０ミリ秒にわたって持続しなければならない。『固視』と呼ばれるが、目は動いており、エリア上の『固視』の間にドリフト、眼振、およびマイクロ‐サッケードを行う。これらの小さい動きは非常に振幅が低く、固視を定義するものの部分となる。図６は、ドリフト、眼振、およびマイクロ‐サッケードを伴う典型的な固視を表す。それにおいては対象者の２つの目の活動が一方を他方の上に置いてグラフ化されており、時間が水平軸に示され、距離が垂直軸上に表される。これらの動きは、幸運にも非常に遅いか（通常、４乃至２００ｓ.sup‐１）または非常に小さく（通常、２０乃至４０インチ）、これらのタイプの応用で使用される通常の装置による検出を妨げる。このことは、それ以外の場合にはそれらの逸脱がノイズとして観察されることになるため有利である。
そのほかの、より大きいがサッケード未満の速度を伴う動きは、滑らかな追随と呼ばれる。それらは、固視のサブカテゴリであり、言い替えると移動する目標上の固視、または観察者が移動する間の静止（または移動）目標上の固視である。われわれが目標を追跡するとき、目は、小さいサッケードを使用して当該目標上に中心窩を移動し、その後、当該目標を追跡するより遅い、その速度に依存する連続的な移動が行われる。この遅い移動は、概略で秒当たり８０と１６０度の範囲にわたる速度を伴い、滑らかな追従を構成する。この挙動が図７にグラフで示されており、それにおいては対象者が曲線（ａ）によって表される波状の経路上を移動する点を追跡している。曲線（ｅ）は全体の目の動きを表し、サッケードおよび滑らかな追随を含む。曲線（ｅｓａ）は、滑らかな追随の除去を表し、（ｅｓｍ）はサッケードを除去した曲線を示す。概して、全体の追跡挙動は、滑らかな追随と呼ばれ、ドリフトする固視と見なすことができる。この理由からこのタイプの挙動を、本発明（１つまたは複数）に関して、この動きの間に情報が処理され、かつ利用可能な目の動き追跡システムを用いて検出されるにはサッケードが小さすぎるという事実に起因して固視とここで呼ぶ。
サッケードは、人の視点が２つのポイントの間において変化するときに生じるすばやい目の動きである。サッケード状の動きは、振幅、持続時間、速度、および方向において変動する。振幅において約５度より大きいサッケードの持続時間は、約２０乃至３０ミリ秒となり、その後、それぞれの追加される度ごとに２ミリ秒を追加できる。ピークの速度は、通常、０．１度より小さい振幅についての秒当たり１０度から、より大きい振幅についての秒当たり７００度以上の範囲にわたる。
１つの関心ポイントから別のそれへの典型的なサッケードを、実質的にノイズを伴わない良好な追跡測定の例を図示した図８に示す。ポイント（Ａ）において開始し、ポイント（Ｂ）において終了する例示的なサッケードが示されている。また、図解された目の動きは、１つの軸周りの動きだけからなり、言い替えると水平面内においてはサッケードが測定されていない。
サッケード状の動きの間、網膜上の光の移動が高速に過ぎることから、概して人間の脳は情報を知覚しない。しかしながら認識される必要があるが、実際、いくつかの情報がサッケードの間に実際に処理されていることが示されている。認識される知覚は、観察される物体が目と同じ速度および同じ方向に動いている場合にだけ生じる。情報の包括的な不在は、脳に、あらかじめ振幅および持続時間の計算を行うことを強いる。このプロセスにおける不正確およびノイズは、ほとんど常にある程度の不足または行き過ぎを生成する。これは、ドリフトまたは以前のものよりはるかに短い、したがってより精密な新しいサッケードによって補正される。ここでは、トレースの長い垂直部分（Ａ）によって表されるサッケードの不足が、より短い補正的な微小サッケード（Ｂ）を表す垂直部分によって補正される。その種の補正的なサッケードは、しばしば振幅が非常に低く、周知の目の追跡機械を使用して検出不能であり、むしろ追加されたノイズと見なされる。
これら３つの種類の動きとは別に、異なる種類の、一般に瞬きと呼ばれる視覚的な挙動が存在する。人間は、通常、おおむね２秒ごとに１度の瞬きを行うが、これは、注視の評価に対する破壊的な影響を有する特性である。瞬きの間の実際に目が閉じられている間は注視が測定不可能であり、瞬きがサッケードおよび固視の両方の間に生じることから、追跡機械に再び可視となるときに目が見ているところを予測するこことは困難である。幸運にも瞬きは非常に高速であり、全体の瞬きについて２００ミリ秒台である。このことは、約１００乃至１５０ミリ秒しか目が完全に遮られないことを意味する。概して対象者が、瞬きの発生に完全に気付かないことから、本発明は、サッケードおよび瞬きの両方の認識を抑圧することによって、よりコヒーレントで安定した現実性の知覚を達成する。
目の性質はセグメンテーションに有利に作用し、これは、分類のための規則を提供する視覚上の動きについて物理的な境界が存在することを意味する。たとえば１つのサッケードに、別のそれが、約１８０ミリ秒より短い間隔を伴って続くことは不可能であり、このことは、２００ミリ秒を超えてサッケードが持続することはありがちでないことを意味する。２００ミリ秒のサッケードは、約９０度の振幅を有することになり、非常に一般的でない。さらにまた、測定された約２２０ミリ秒より長いサッケードは、間に１つの固視を伴う２つのサッケードとするほうがより尤もらしい。別の興味深い事実は、上で述べた対象者の瞬き認識の抑圧である。対象者は、概して、瞬きの発生に気付かず、したがって、目の挙動がそれらの発生によって影響されないことから概して除去できる。以下は、本発明（１つまたは複数）に関係する目の物理的境界を定める。すなわち、固視が少なくとも１５０ミリ秒にわたって持続すること、サッケードは、１８０ミリ秒より短い間隔を伴って別のそれが続くことが不可能であること、人間の視界が限定されていること、固視は、空間的に大きくなり得ること（滑らかな追随）、サッケードが視覚的な中心によって抑圧されること、瞬きが視覚的な中心によって抑圧されることである。
乗り物の運転者については、運転の間、特にタスクの間でないときに内部の天井または床に対する固視が見られることが尤もらしくないこと、対象者の注意力（および固視）の有意の割合が、道路中心上に見つかりがちであり、滑らかな追随の速度が低または中であることといったさらに多くの制限が存在し得る。一例として、接近する交通および道路信号は、ほとんどのゆっくりした追随をトリガする。本発明においては、これらの境界が使用され、運転者の目の動きのセグメンテーションの部分として使用可能なフレームワークを定義する。
本発明によれば、視覚上の測度が２つのグループ、すなわち一瞥ベースの測度および非一瞥ベースの測度に分けられる。これら２つのグループは、固視、サッケード、および閉瞼が識別される基本的な視覚上のセグメンテーションの結果によって形成される。
上で暗に示したとおり、異なる研究者は、データの分析および固視／サッケードの定義のための異なる方法を有する。一様な規則およびベンチ‐マークを有することは重要であり、その結果、すべてのその種の分析方法が一般に受け入れられた国際標準に基づくことが可能になる。それが、この研究における測度がＩＳＯ １５００７‐２およびＳＡＥＪ‐２３９６の中の定義に基づいている理由である。それらはともに運転者の視覚上の挙動の測定に関係する定義およびメトリクスをはじめ、実際的な環境の適正な状態を保証する手順を標準化する。ＳＡＥドキュメントはＩＳＯ標準の多くの用語に依存し、それぞれは他方の相補として働く。
マン・マシン・インターフェース（ＨＭＩ）もまた考察され、その種のＨＭＩ概念の例は、特許文献４の中でより完全に述べられたが、それの開示は、その全体がこれによって明示的に援用される。その中では、これらの警報を与える方法についての概念が示されている。
少なくとも１つの実施態様において本発明は、発明的な機能の達成が可能な例示的なハードウエアを含めて、乗り物内の注意力管理の概念の実装を可能にするシステムおよび方法を提供する。いくつかの基本的な問題および達成目標がここで取り組まれ、それには、運転者がどのような視覚的に導かれるサポートを必要としているか、また受け入れを達成するためにはそれをどのように概念化するべきかということ、運転誤りを低減し、事故を防止するためには運転者の視覚的な挙動のリアル‐タイム認識をどのように適用できるかと言うこと、実装の商業的可能性は何かということが含まれる。機能的な記述は、眠気管理部分、注意散漫管理部分、前方衝突および車線変更警報システムの注意散漫適応、および作業負荷管理部分について提供される。視覚的挙動からの運転要求評価を実装するためのシステムおよび方法も含まれる。
これらのシステムおよび方法のうちの１つまたは複数は、いわゆる注意力管理システムを構成するとして個別の記述をはじめ、集合的な記述がなされる。これらのシステムの１つの可能構成要素をはじめ、ここで述べられているいくつかの発明の構成要素は、立証およびテストのためのシステムおよび方法の実装に使用可能な注意力支援立証要素である。視覚的挙動からの運転要求評価の例もまた、ここで述べられる。
１つの実施態様においては注意力管理システムが、（１）検知、（２）計算、（３）ＨＭＩ、および（４）電源のためのハードウエアを含む。ユニットまたは機能モジュールは、図９に図解されているとおりに例示的に構成（相互に関係付ける）ことが可能であり、自動車およびトラック等の乗り物内における実装に適する。
乗り物内における取り付けに適応可能な視覚的挙動センサ、たとえばシーイングマシーンズ（ＳｅｅｉｎｇＭａｃｈｉｎｅｓ）社から入手可能なもの等が採用される。このタイプのシステムは、（１）ステレオ・カメラ・ヘッド、（２）パーソナル・コンピュータ（ＰＣ）、および（３）適切な駆動ソフトウエアを含むことが可能である。スマートアイ（ＳＭＡＲＴＥＹＥ）の商品名の下に製造され、販売されているもののような視覚的挙動センサもまた、オプションとして採用できる。このほかの視覚的挙動測定デバイスは、たとえばカメラ、超音波デバイス、および容量性センサを含むこともできる。カメラは、目の動き、閉瞼、および／または頭の動きデータを獲得するための画像処理を実行するために使用することが可能である。超音波デバイスおよび容量性センサは、ポジション情報、たとえば体の姿勢および頭のポジションを提供するために使用することが可能である。
１つの例においては、乗り物のパフォーマンス信号をＣＡＮバスから取得できる。ステアリング・ホイール角度センサをはじめ、車線追跡ハードウエアおよびソフトウエアもまた利用可能である。注釈ボックスおよびビデオ録画ハードウエアが利用される。オンボード・パーソナル・コンピュータ、または類似の能力のあるコンピューティング・デバイスが利用される。代替として、また特にテストおよび実装を容易にするために、『ディレクタ（Ｄｉｒｅｃｔｏｒ）』および『シムリンク（Ｓｉｍｕｌｉｎｋ）』等のソフトウエアを例示的に実行するラップトップ・コンピュータを採用することが可能である。ｘＰＣのインストールおよび利用も可能である。ハードウエアの観点から、ＬＥＤコントローラ・ハードウエアが採用される。オーディオＨＭＩ（警報サウンド、録音済みメッセージ）が、コンピューティング・デバイスを介して提供される。ユーザ入力用のタッチ‐スクリーンも利用可能である。認識される必要があるが、これらの実施態様のうちのいくつかは、製品開発に適しており、システムのテストを容易にするが、商品化されるときは、いくつかの構成要素が乗り物内に直接統合される。
座席振動装置または類似の運転者警告を含めることが可能である。好ましい実施態様においては、ＬＥＤ ＨＵＤ（ヘッド・アップ・ディスプレイ）が採用される。ＬＥＤコントローラによって制御されるＬＥＤアレイ（ディスプレイ）もまた利用可能である。全体のシステムのための電源は、担持する乗り物から分岐させることが可能である。
眠気管理部分は、２つの構成で実装できる。第１の例においては、完全にＰＣベースであり、言い替えると外部ハードウエアまたは外部通信機能がまったく要求されない。この実施態様は、シナリオ・ベースであり、言い替えるとリアル‐タイムとは逆に実際のＰＥＲＣＬＯＳ（固視、サッケードの潜伏、およびこれらの類のスキャン・パターン、回数および長さを考察する分析）データに基づいて眠気症状の発現を追跡する。ハードウエア機能は、ＬＥＤベースまたはＨＵＤ等の視覚的表示といった刺激、または座席の振動等の物理的な刺激を介して運転者を刺激する。他方の実施態様においては、ＨＭＩハードウエアおよびシムリンク（Ｓｉｍｕｌｉｎｋ）通信が実装される。
いくつかの眠り管理部分の対策を実装できる『プラットフォーム』は望ましく、それに対してテストを行うことができる。その種の実装のための例示的なプラットフォームが、略図的に図１０内に図解されている。
図１０の図解は、ディレクタ・プログラムを図示していると考えることができる。その種の構成は、異なるＨＭＩ構成要素に関する、たとえば（１）運転者への連続情報ストリーミング、（２）警戒警報、（３）突出した危険の警報アラーム、（４）運転者応答テスト、（５）トリップ後の要約情報、および（６）オペレータ入力セット‐アップ・メニュー（１つまたは複数）を提供するべく変更が容易である。
１つの実施態様においては、運転者に対する警戒警報が提供される。運転者は、警報のバージョンの間を選択できるが、警報を完全に無効にすることはできない。例として、ビープ音およびそれに続くオプションの音声メッセージ警報、たとえば『＜眠気起因の自動挿入＞「休憩をとってください」』を運転者に向けて再生することが可能である。代替としてアイコンを独立に、または聴覚警報とともに、または警報のテキスト・バージョンとともに運転者に標示することが可能である。
例示的なアイコン警報が、図１１（ａ）乃至（ｄ）に（ａ）大きな閉瞼の検出、（ｂ）一貫性のないステアリングの検出、（ｃ）一貫性のない車線維持の検出、および（ｄ）運転者の眠気の検出について示されている。これらのアイコンの１つまたは複数を、検出された運転者の状態に応じて同時に表示することが可能である。
別の実施態様においては、留守番電話機およびそのほかのカスタム化可能なオーディオ再生デバイスに非常に類似する形で運転者が自分自身の警報を録音または供給できるように、マイクロフォンが含められる。
さらに別の実施態様においては、運転者を物理的に刺激する警報が適用される。好ましくは、セット‐アップ・メニュー内において運転者が警報タイプの間を選択可能であるが、少なくとも１つの実施態様においては、オペレータが物理的警報を完全に無効にすることが妨げられる。その種の物理的刺激の例は、座席の振動となろう。
別のバージョンでは、運転者を鋭く刺激するべく点滅する『ＨＵＤ』ＬＥＤが、この場合においても単独で、またはここに述べられているほかのタイプの警報とともに使用されることがある。好ましい実施態様においては、述べられている警報タイプのうちの最大３つがアクティブ時に同時に与えられるべく有効にするための機能が運転者に提供される。
運転者応答機能、すなわち信号に対する応答時間もまた提供される。この機能に関しては、運転者が、有効および無効の両方をはじめ、警報のバージョンの間の選択をセット‐アップ・メニュー内において行うことができる。
あらかじめ決定済みの時間量の、たとえば５乃至８秒のポスト警報の中で運転者応答機能が動作する。例示として、図１２に図解されているとおり、タッチ・スクリーン上に与えられる下に『押してください』のテキストを伴うボタンとともにビープ音が与えられる。運転者が規定の時間量内に応答しないか、またはそのほかの応答時間ベースのアルゴリズムに従ってアラーム警報が発せれることになる。これは、運転者が乗り物を停止するか、注意怠りない状態となってシステムがこの事実を検出するか、または運転者が機能をオフにするまで続く。
カスタム化された機能をオペレータに提供するために、ＨＭＩ構成要素を介して選択できる例示的なオプションを以下に実例で示す。
ＨＭＩ構成要素のオプション（１つまたは複数）（１）連続眠気フィードバックのオン／オフ、いくつかのバージョンのうちの１つのフィードバック選択、（２）警戒音声メッセージ警報のオン／オフ、デフォルト・メッセージのオン／オフ、ユーザ供給メッセージのオン／オフ、複数アイコンの使用またはデフォルト・アイコンの使用、（３）アラーム／次の刺激（少なくとも１つの警報がチェックされなければならない）、すなわち座席振動のオン／オフ、サウンドのオン／オフ、ＨＵＤ視覚的警報のオン／オフ、ファン（反復１内には実装されていない）、芳香（反復１内には実装されていない）、希釈ガス（反復１内には実装されていない）、路側への運転（反復１内には実装されていない）、複数アイコンの使用またはデフォルト・アイコンの使用、（４）運転者応答、運転者応答のオン／オフ。
注意散漫管理部分は、２つの実施態様の中に実装可能である。第１の実施態様においては、注意散漫管理部分が完全にＰＣベースであり、外部ハードウエアまたは通信能力を伴わない。これはシナリオ・ベースであり、言い替えるとリアル‐タイムとは逆に注意散漫症状の発現のタイムラインが与えられる。ハードウエア機能がシミュレーションされる。第２の実施態様は、ハードウエア実装に基づき、リアル‐タイム通信能力を含む。
本発明の別の態様は、安全スレッショルドベースの注意散漫警報である。安全を危うくする注意散漫な挙動を運転者に知らせる警報が提供される。これまでで認識されたとおり、運転者は、しばしば自分自身の注意散漫が運転能力に及ぼす効果に気付かない。したがって、安全ベースの注意散漫警報の達成目標は、運転制御タスクの動作の低下についてのフィードバックを運転者に与えることである。言い替えると、注意散漫が検出された場合（たとえば、一瞥の挙動が適切な安全スレッショルドを超えるか、かつ／または一瞥の挙動の間に乗り物の動作が質的に低下する）、システムは、次の警告のうちの１つまたは複数を提供する。単純なビープ音、またはいずれの動作の低下が検出されたかを参照する動作固有の音声メッセージといったサウンドを提供できる。たとえば、一瞥の挙動が一瞥安全スレッショルド標準（たとえば、ＥＵは、４つの一瞥または２秒の単一の一瞥の持続時間を推奨し、ＵＳ ＡＡＡは、１０秒の合計の一瞥の持続時間の推奨する）を超える場合に、メッセージ『視覚的注意散漫が検出されました』または『道路から目を逸らしすぎです』を発することができる。二次的タスクの一瞥の挙動の間にステアリングが常軌からはずれると、メッセージ『視覚的注意散漫の間の一貫性のないステアリングです』を発することができる。二次的タスクの一瞥の挙動の間に車線維持が常軌からはずれると、メッセージ『視覚的注意散漫の間の一貫性のない車線維持です』を発することができる。二次的タスクの一瞥の挙動（ｓｅｃｏｎｄａｒｙ＿ｔａｓｋ＿ｇｌａｎｃｅ＿ｂｅｈａｖｉｏｒ）の間に大幅な速度低下（ｌａｒｇｅ＿ｓｐｅｅｄ＿ｒｅｄｕｃｔｉｏｎ）が検出されると、『視覚的注意散漫の間の大幅な速度低下です』といったメッセージを発することができる。複数原因（ｍｕｌｔｉｐｌｅ＿ｃａｕｓｅｓ）が検出されると、『視覚的注意散漫が検出されました』といったメッセージを発することができる。二次的タスクの一瞥の挙動の間、異なる道路タイプまたは異なる要求レベルの間に制御タスクの割り込みが検出されると、対応する警報が発せられる。警報の形式（１つまたは複数）は、運転者が録音または提供したメッセージ、シートの前方部分における座席の振動、または以下に述べるとおりの注視の向け直しを含むことが可能である。
この開示は、また、『注視の向け直し』という新しい概念も含み、それが図１３に図解されている。それにおいては、運転者の注意散漫が検出されると、インターフェースが運転者の目を前方の（すなわち、正面のウインドシールドを通した）運転シーンに向けさせる。例として述べれば、３つのＬＥＤの『ライン』のうちの１つまたは複数（左、中央、または右）を追随する光の波が、運転者の注視がどこに検出されたかに応じて開始されることになる。光の波の後、オプションとして大きな円をライト・アップし、その後、中央のラインのＬＥＤをライト・アップすることができ、それぞれは、必要な場合に運転者の注意力をより明確に焦点させることを目的とする。いくつかのＬＥＤの厳密な配置およびタイミングは決定的でなく、色もそれに同じである。実際、タイミングは閾値下に、すなわち意識的に知覚されないほど高速にすることができる。代替として適切な光を最初はゆっくりとした点滅とし、正しい挙動が行われたか否かを決定するべくシステムが運転者を評価することができる。行われていなければ、点滅のタイミングをはじめ、光の強度を増加できる。
注意散漫フィードバックのためのセット‐アップ・メニューは、以下に示されるような例示的なロジックを有することができる。
ＨＭＩ構成要素のオプション（１つまたは複数）（１）連続注意散漫フィードバックのオン／オフ、（２）安全音声メッセージのオン／オフ、スレッショルドの動作固有メッセージのオン／オフ、ベースのデフォルト／複数原因メッセージのオン／オフ、注意散漫のユーザ供給メッセージのオン／オフ、警報の座席振動のオン／オフ、注視の向け直しのオン／オフ。
別の態様において、本発明は、運転者の視覚的な挙動から導出された運転要求の評価を伴う作業負荷管理の概念を組み込む。概して言えば『作業負荷管理部分』の概念は、情報をカテゴリ分けし、かつおそらくは、運転者への情報の提示を、運転者の作業負荷が充分に低くなるまで遅延させ、情報の受け入れに関連付けされるリスクを回避する優先システムである。統合された乗り物内情報システムのインターフェースは、適正な注意力が運転タスクに与えられることが保証されるべく適応できる。ここで引用された注意散漫管理アルゴリズムからの出力は、作業負荷管理部分に対する入力として使用することが可能である。
ここに開示されているタイプの作業負荷管理部分は、運転要求の視覚的活動の測度を使用して運転者の運転要求の作業負荷を正確に測定する。例として述べるが、これは、運転者がどの程度『視覚的に活動的か』、すなわち頭および目の動き（回転）の可変性の非身体接触のオン‐ボード測定である。
作業負荷管理部分の１つの態様は、聴覚的な会話または情報のダイアログを休止することである。例としてこれは、システムにより開始されるか、または自動的に開始される情報（たとえば、電子メールおよび重要でないナビゲーション・システム情報のテキスト読み上げ）を含み、ランダムに開始される話し言葉のダイアログ（たとえば、着信または発信の電話会話）を、高い視覚的活動の間に休止することが可能である。
例として、一連の電子メールを運転者に配信することが可能であり、たとえば１０通の新しい電子メールが、テキスト読み上げシステムによって大声でメモリから『読み出される』。その種の聴覚送信の途中で、運転者の高い視覚的活動の期間が管理システムによって検出される。それに応答してシステムは、聴覚送信を停止し、運転者の注意力の負荷があらかじめ選択済みのレベルを超えて増加することを回避するが、その種のレベルは、例として述べれば、それを超えると運転能力が危険にさらされる注意力の負荷に対応する。オプションとして管理システムは、運転者に対するトーンまたはその類を介したその種の割り込みの聴覚表示を含むことが可能であり、それはまた、運転者に対する高い注意力負荷状態の通知として働くこともできる。聴覚送信は、運転者の開始またはシステムの開始に基づいて再開することが可能であるが、これは、システムによる注意力負荷における充分な低下の検出、すなわち例として述べれば、運転者がその種の聴覚情報を受け取る安全な状態に対応するあらかじめ選択済みのレベルに至る低下の検出に依存する。
別の態様においては、連続的および／またはトリップ後の注意力負荷フィードバックが、開示されている管理システムを介して有効とされる。この態様は、一般にフィードバック原理と呼ばれる基本的な人間の挙動特性に準じて有効とされ、その種の包括的にフィードバックを保持する原理は動作を高める。これは、タスク／スキル学習（たとえば、安全な運転の学習）およびジョブの動機づけ両方について当て嵌まる。これまでで認識されたとおり、運転者は、一般に自分自身の動作のよしあしがよくわからない。タスク／スキルの動作に関する直接、正確、迅速、かつ連続する情報が利用可能な程度は、運転者の動作および動機づけの向上における鍵となる要素である。注意力フィードバックは、これまでほかの方法によっては運転者に利用不可能であった本質的な運転フィードバックの形をなす。このアプローチは、切迫した衝突警報と言うよりは、積極的な行動上の適応およびライフスタイルの変化の１つである。たとえば、一部の研究者は、警戒心を増加するための主要なメカニズムは『決断力』であると考えている。決断力の概念は、この性質（運転者の注意力負荷および警戒状態）の情報が、休憩のために停止する、コーヒーを飲む、アルコールの摂取を減らす、またはそのほかの挙動を変えるか否かについての運転者の決定に作用することを規定する。
注意力フィードバックの目的は、したがって、複数の（多様な）時間フレームのうちの１つまたは複数にわたる積極的な挙動の変更、たとえば（１）即座（たとえば、姿勢の変更、または複雑なタスクの中止といった短期の代償性の挙動）、（２）トリップ（たとえば、仮眠のための停止、携帯電話をオフにする）、（３）日々（注意力の低い日の後のより多くの睡眠、前方座席からのビデオ・スクリーンの除去）、および（４）長期（異なる睡眠ライフスタイルまたは気晴らしの採用）である。このフィードバックは、運転者の不注意な挙動の自己洞察を向上させ、かつよりよい自己管理を可能にする。
２つの主要なフィードバック・タイプが考察される。第１は、運転者に、リアル‐タイムの心的集中動作情報を提供する連続乗り物内フィードバックであり、たとえば運転の間に呈示される情報である。この情報は、それ自体が安全を危うくしない形で伝達される。その概念は、注意力メータ、警戒心メータ（アラートメータ）、または安全／危険運転動作メータの類を提供することである。第２のフィードバック・タイプは、トリップ後フィードバックであり、運転が停止した後に、運転者に、より詳細な心的集中動作情報を提供する。
トリップ後フィードバックの『ファイルへの』保存は、フリート‐ベースの安全フィードバック点を、偶然の出来事等の結果の測度とは逆に、原因挙動に焦点させることを可能にする。おそらくは運転者の受け入れに寄与する１つのオプションは、階層システムの提供である。その種の階層システムにおいては、運転者がデータに対する連続的なアクセスを有し、フリート管理者が、要約済みデータに対するアクセスを有し、規制機関には要約データに対するアクセスを与えることができる。したがって、フリートの運転者の場合においては、本発明が、役立つツールとしてより良好に享受されることが可能であり、必ずしも雇用者報告の特性について運転者の理解を誘導しなければならないということはない。
注意力フィードバックを与えることを可能にするために、管理システムを運用可能にしなければならない。不注意は、眠気／機能障害、注意散漫、および高作業負荷の要因からなると見てよい。したがって、図１４に図解されるとおり、各タイプの不注意を考察する統合されたモデルが好ましい。そこには、運転者の不注意、作業負荷、および眠気または注意散漫等の個人的な特性を選択的に考察可能な本発明に従って構成された１つのシステム・モデルが示されている。
本発明の別の態様においては、多様な情報またはフィードバックを運転者に表示するための一意的な方法が提供される。連続的な注意力フィードバックの場合においては、図８（ａ）乃至（ｃ）に、管理システムによって検知または生成されたリアル‐タイム運転者情報を表示するための多様な『能動的』な図画形式のディスプレイが具体的に示されている。例として、ディスプレイを『包括的』なもの、または眠気、注意散漫、および作業負荷の合成された測度として、注意力／不注意のレベル等の合成注意力フィードバック量とすることが可能である。図１５（ａ）の例には、傾向情報を伴わない単純な光のスタックが例示されている。図１５（ｂ）の例においては、現在のレベルの周囲にボックスが位置決めされ、傾向情報が『フェード・アウト』の形式でイネーブルされる『航空機レーダ・タイプ』のディスプレイが利用される。図１５（ｃ）は、ヒストグラムを具体的に示しており、それにおいては、瞬時的な『リアル‐タイム』情報が細長い／矩形のバー（比較的広い）として右側に示され、あらかじめ選択済みの持続時間の期間にわたり集計された統計値（平均、メディアン、およびこれらの類）が、より細いバーによって左側に表される。このようにして傾向情報が具体的に示される。図１５（ｃ）の図解的な例においては、先行する５つの期間が表される。認識される必要があるが、ディスプレイのための制御ロジックおよびメモリ容量に従って、先行する任意数の期間を表示することができる。
別の態様において、本発明は、最適注意力レベルの表示に対する比較フォーマットのリアル‐タイム運転者フィードバックも提供する。その種のディスプレイの例示的な実施態様が図１６に図解されており、それにおいては運転者が、最適注意力に対する自分自身の注意散漫または過負荷の程度を観察できる。
さらに別の態様においては、本発明を使用して、検出された運転者の不注意の期間を測定し、状態の通知を提供することができる。運転者は、その後、何が問題であったか（たとえば、スクリーンに触れることによって）『尋ね』、検出された増加した作業負荷／不注意レベルの根拠の説明を受けることができる。その種のフィードバックは、例として述べるが、言葉によるメッセージの形式、および／または図１７に示されるとおり図画形式で提供することが可能である。そこには、眠気、注意散漫、および作業負荷の３つの図画形式の表現が右側に図示され、運転者の相対的な注意力を示す当該効果の合成が左側に示されている。
上で説明したとおり、トリップ・レポーティングの態様は、運転者の学習および挙動の修正のために非常に有利となり得る。したがって、オン‐スクリーンのトリップ後フィードバックを提供する発明的な方法が開示され、図１８に例示的に図解されている。この例示的な図解においては、ディスプレイ・スクリーンからのメニュー選択肢がトリップ後フィードバック用に選択され、閉瞼時間のパーセント、ステアリングの一貫性、およびこれらの類といった測定済み特性の関連ディスプレイが履歴フォーマットで表示される。当然のことながら、この同じ情報を、後の分析および使用のために都合よくログすることが可能である。
上で論じた運転者機能は、前方衝突、後方衝突、および車線変更衝突警報（ＦＣＷ、ＲＣＷ、およびＬＣＷ）システム等のほかの乗り物システムの注意散漫適応にも利用可能である。後方衝突は、自動車の衝突の約２８パーセントを占める。運転者の不注意が、これらの衝突の６０パーセントを超えて寄与する要因であることから、衝突警報および回避システムは、衝突を減らし、命を助ける重要なツールである。本件の注意管理システムの１つの目的は、たとえば先行する乗り物の急ブレーキおよび運転者の目が道路から逸れている状態といった交通環境内における不注意および安全に決定的な事象の同時発生を検出することである。この２つの例を、前方衝突‐‐および車線変更‐‐警報を適応する視覚的挙動情報として使用することが可能である。
定量化された二次的タスクの検出（たとえば、ボタンを押すことまたは目の動きを検出することによって）の組み込みは、運転者が潜在的な注意散漫デバイスまたはそのほかのタスクに従事しているか否かに従って衝突警報スレッショルドを動的に調整することによって衝突警報システムを大きく向上させる。たとえば衝突警報システムは、運転者が携帯電話の会話に熱中していることを検出した場合に、より早期に警報を発生できる。早期の衝突警報は、遅い警報または警報がまったくないことに比べて、運転者がより迅速に応答し、より多くの衝突を回避する助けとなる。運転者が、運転タスクの特定の側面に関して不注意である場合、たとえば前方衝突の尤度が検出されたときに前方から逸れたところを見ている場合、または可能性のある車線変更衝突が検出されたときに横の道路を見ていなかった場合には、その種の状態の警報がより早期に起動される。研究では、運転者が目を逸らせているとき、警報が１秒早いだけでも衝突の回避のために非常に効果的であることが明らかにされている。
運転者が注意深くあることが検出されると、警報を遅延すること、さらにはキャンセルすることさえ可能である。警報の呈示における遅延は、警報が必要とされていることを前方衝突および車線変更警報アルゴリズムがより確実に突きとめるためのより多くの時間を与え、それによって偽アラームが低減される。さらにまた、運転者が道路またはサイド・ミラーを見ているときは衝突警報がアクティブにされない選択を運転者が選択する運転者キャンセルもまた、煩わしい偽アラームを排除することになる。
実装ストラテジとしては、第１の段階において、その種の警報を『ソフト』にするが、状態が悪化して衝突がより逼迫するに従って強度が増加されるようにできる。前方衝突警報の場合には、ヘッド‐アップまたはスクリーン・ディスプレイ警報が最初に呼び出されるが、その後、衝突状態が強まるに従って聴覚警報が結合されるようにできる。その種の警報およびそれの制御パラメータの例（運転者に表示されることもあれば、表示されないこともある）を、前方衝突の状況に関して図１９に、車線変更衝突の状況に関して図２０に示す。
運転者の特性に関連してこの上で述べた検出機能は、そのほかの環境において、また明示的に記述された以外の目的のために使用することもできる。当該検出機能が、ほかの乗り物内システムにおける採用のために統合されてもよい。たとえば、受動安全機能として、運転者／同乗者の頭が、展開されたエアバッグを受ける適正なポジションにないことを検出する『スマート』エアバッグを有効にすることができる。それに応答してエアバッグの展開を、検知した頭のポジションに適応させるべく修正できる。
別の能力においては、検知された挙動を使用して、運転者を識別するか、または許可運転者が運転していることを少なくとも除外し、それによって盗難防護を容易にすることができる。また頭および目のセンサを使用し、ミラー、座席のポジション、およびこれらの類を自動的に合わせることができる。口の追跡は、スピーチ認識アクセサリの強化に使用可能である。接近するヘッドライトのためのフィルタを目のポジションおよび動きに基づいて適応させることが可能であり、運転者用のディスプレイについても同様に可能である。
本発明（１つまたは複数）を述べる間においては、シミュレーションされた環境をはじめ、路上トライアル両方のために適する装置および手順が明らかにされた。しかしながら両方の標準（ＳＡＥおよびＩＳＯ）は、ビデオ・テクニック、たとえばカメラおよび録画機の利用に基づき、人間の評価者によって行われる固視およびサッケードのマニュアル（オフ‐ライン）分類を伴う。マニュアルのビデオ・トランスクリプションは時間を要し、潜在的に信頼できないタスクである。したがって、本発明が基礎を置くもののような自動化された方法が好ましい。ＩＳＯ／ＳＡＥ‐タイプの測度の組み込みおよび規範としての信頼性は、マニュアルまたは自動のいずれであっても目の動きを分類する任意のシステムの使用時に好都合に頼ることができる。
次に、３つの基本的な視覚上のセグメンテーションのサブセクションをはじめ２つの測度のグループについて述べる。基本的な視覚上のセグメンテーションは、目の動きを、利用可能な目の追跡システムを用いた最小測定可能量に分割する。目の動きの『ブリック』は、一瞥ベースの、および統計的測度が導出されるベースを表す。要約すると、それらは（１）１つの関心エリアから別のそれを見るときに生じる迅速な動きを定義するサッケード、（２）目標の像が所定の時間期間にわたって中心窩に落ちるように目のポジションの照準または安定状態を向ける固視、（３）短い持続時間の閉瞼は瞬きと呼ばれ、長い閉瞼は眠気として特徴記述できる閉瞼を含む。
ＩＳＯ／ＳＡＥドキュメント内に使用されている測度を理解するためには、一瞥の定義に慣れることが重要であり、ＳＡＥ標準によれば、これは、目が新しいエリアに向けられるまでの目標エリアにおける一連の固視と見なされる。たとえば、運転者が最初にまっすぐ前方（道路上）を、その後、ラジオを見るとき、初めにディスプレイ、その後音量コントロールの固視を行うとすれば、その運転者は２つの固視（最初の１つのまっすぐ前方はカウントしていない）および２つのサッケードを行ったことになり、それらすべては１つの一瞥を構成する。一瞥は、道路から離れる最初のサッケードが始まるときに開始し（このサッケードは、遷移と呼ばれる）、ラジオにおける最後の固視が終わるときに終了する。図２２は、代表的な運転者の３つの一瞥の連続の成分のグラフによる図解を提供する。その中では、固視、サッケード、および遷移が、いくつかの一瞥の成分として定量化されている。
すべての一瞥ベースの測度は、これらの定義から導かれ、手前のセクションの中に述べられている『ブリック』を構成する目の動きの『より高レベルの』記述と考えられる。これらの測度は、時分割、作業負荷、および視覚的注意力要求等の異なる性質を反映する。ＩＳＯおよびＳＡＥプロトコル内において定義され、使用される測度は次のとおりである。（１）注視の方向が目標に向かって移動してから、それがそこから離れる瞬間までの時間として定義される一瞥持続時間。相当に長い持続時間は、そのエリア内における高い作業負荷要求を示す。（２）それぞれの一瞥が異なる目標に対する少なくとも１つの一瞥によって分離される、あらかじめ定義済みのサンプリング時間期間内の目標に対する一瞥の回数として定義される一瞥頻度。低い一瞥頻度が長い一瞥持続時間に関連付けされることがあるため、この測度は、一瞥持続時間とともに考察される必要がある。（３）ある目標に関連付けされる合計の一瞥時間として定義される合計一瞥時間。これは、その場所によって課せられる視覚的要求の測度を提供する。（４）所定の場所に対する一瞥についての確率として定義される一瞥確率。この測度は、目標に関連付けされる相対的な注意力要求を反映する。相互に排他的かつ網羅的な目標のセットにわたって計算した場合に、その種の分布を使用して統計的な比較を行うことが可能である。（５）一瞥を開始するサッケードを差し引いた合計一瞥時間として定義される休止時間。（６）２つの異なる場所の間における一瞥の遷移の確率として定義されるリンク値確率。この測度は、異なる目標エリアの間において注意力を時分割する必要性を反映する。（７）非道路目標に対する一瞥によって分けられる前方道路シーンに対する２つの連続する一瞥の間における合計時間として定義される前方道路シーン外時間（『前方道路シーン』は、リア・ビュー・ミラーおよびサイド・ミラーを除外する）。（８）１つの定義済みの目標場所から異なるところへの目の固視場所における変化、すなわち一瞥を開始するサッケードとして定義される遷移。（９）目標場所における固視の終了と、別の目標場所における新しい固視の開始の間の持続時間として定義される遷移時間。遷移の間は新しい情報が非常にわずか、またはまったくないことから、増加された遷移時間は、新しい運転者情報のための可用性の低減を反映する。（１０）タスクの間の最初の一瞥開始ポイントから最後の一瞥終了までの時間として順次定義されるタスクの合計時間として定義される合計タスク時間。
非一瞥ベースの測度は、ＩＳＯ／ＳＡＥ標準内の定義以外で計算が可能なすべてのほかの測度である。２つの例として（１）異なるクラスタ内の固視ポジション、たとえば前方道路シーンおよび携帯電話の平均値および標準偏差、および（２）異なるクラスタおよび／または異なるタスク内における固視の休止時間の平均値および標準偏差が含まれる。これらは、たとえば運転者が数学的タスクに熱中していた場合に生じるような高い認識負荷期間の間の運転に匹敵する正常な運転の分析を行うときに興味深いタイプの測度である。
本発明の包括的な目的は、ＩＳＯ １５００７‐２およびＳＡＥＪ‐２３９６の方法の中で述べられている測度に焦点を当てた、輸送情報および制御システムに関して運転者の視覚的挙動の測定のための目の動きのデータ分析の自動化を提供することである。この自動化において利用される例示的なツールは、ほかの点ではここでより詳細に論じられている目の追跡システムを含む。都合よくは、アルゴリズムおよび実装システムが、データのロード／保存および検出されたクラスタおよびアウトライアの目視検査等の最低限の人間のインタラクションだけを必要とするものとする。
この開示の開始ポイントは、利用可能なセンシング・システムを使用して自動化された分析が可能であると示すことであり、特定の研究が、すべての測度に対する高い相関関係を明らかにした。この例においては、ノイズを低減し、いくつかのアウトライアおよび瞬きを除去するべく、スライドする１３標本のメディアン・ウインドウ・フィルタを使用して信号がフィルタリングされた。サッケードと固視（滑らかな追随は固視と見なされた）を区別するべく速度スレッショルド・アルゴリズムが開発され、クラスタのマニュアル限界決定が一瞥の分類のための基礎を提供した。その手順は、有意のオペレータの入力および注意力を必要とし、たとえば信号はフィルタリングされなければならず、アウトライア、短い固視、およびそのほかのアーティファクトは、マニュアルで識別された。発明が現在の開示のポイントまで進歩するに従って、これらのオペレータの時間集約的手順は除去された。
最初は、すべての対象者についてメディアン・フィルタが最適でなく、ノイズ・レベルに比例して長さを設定する必要があった。それに応答して、異なるフィルタ・タイプおよびパラメータが使用された。また、速度アルゴリズムがノイズに敏感であることも学習された。このことからスレッショルドが秒当たり３４０度に設定されたが、これはサッケードの開始および終了速度より実質的に高い。これを補償するため、２つの、サッケードの前後に続く標本もまた、サッケードの速度を有するとしてマークされた。サッケードが振幅およびピーク速度において変動することから、それらの加速度も変動する。その結果、この先駆方法は、サッケードの開始および終了の良好な近似だけを提供した。したがって、現在開発された本発明の目的は、より正確なサッケード／固視の識別のための堅牢なテクニックを提供することである。
さらに、一瞥目標エリアおよび一瞥を自動的に識別するクラスタリング・テクニックの必要性が明らかにされた。目的は、人間が評価する伝統的な手段によらずに、自動化された方法の中のアウトライアおよびそのほかのアーティファクトを除去することであった。
ここに開示されたデータの出所および性質を理解することは、検出アルゴリズムを設計するときに重要となる。したがって、利用可能なデータおよびそのデータの獲得に使用される技術的なプラットフォームについて述べる。
説明中の本発明（１つまたは複数）に関して、添付図面の図２３は、例示的なオフ‐ライン分析アルゴリズムの全般概要を提供する。生の目の動きデータが左上のボックスにおいて入力され、そこで前処理が実行される。例として述べれば、その種の前処理は、ノイズ、アーティファクト、および瞬きを弱めるメディアン・フィルタを含む。またすべての非追跡データが、この機能ステーションにおいて除去される。
大きな中間のボックスは、図解されているとおり、２つの広く使用されるデータ処理アルゴリズム（二重スレッショルド速度検出およびばらつきおよび規則ベースの検出）の間におけるハイブリッド処理である例示的なアルゴリズムを表す。中間のボックス内の右の部分に示されているとおり、適用される視覚上の規則は、人間の視覚上の能力によって一般的に定義される固視の最小長さ（時間に関する）等の視覚上の挙動の特定側面の周知の限界またはパラメータに基づく。ハイブリッド・アルゴリズムの内側の下端のボックスは、固視を、その１つまたは複数の特性に基づいてクラスタ化する適応クラスタリング・アルゴリズムを表し、実践においては、クラスタに、サンプリングされる一瞥の数の増加に従って適所に『浮く』傾向を持たせる。
ハイブリッド・アルゴリズムの内側上のボックスによって表される二重スレッショルド速度検出アルゴリズムは、目の動きの速度（度／秒）に基づく。図２４を参照すると、高いスレッショルド（上の平坦な破線）が、それらの低い速度を有するものの間において固視をサッケードから弁別する。下側の一点鎖線の曲線は、実際の目の動きを表し、１次元で図解されており、ピークに達する実線の曲線は、その微分、すなわち目の動きの速度を表す。サッケードが検出された後は、低いスレッショルド（長短の破線）が適用されて開始および終了ポイントが決定される。２つのスレッショルドを使用する理由は、サッケードの検出によって生じるノイズのトリガを回避することである。しかしながら認識される必要があるが、ノイズの増加に従ってこのプロトコルの誤りも増加する。
サッケード検出に加えて、適用される視覚上の規則とともにばらつきプロトコルが使用される。この規則は、検出されたサッケードおよび固視が自然でないとき、すなわちそれらの定義するデータが、何らかの形で、割り当て済み分類（サッケードおよび固視）のための許容された特性パラメータの外になる場合の決定を行う。
その種の規則の例は、固視が１５０ミリ秒を超えて持続しなければならないこと、およびサッケードが、いくらかのあらかじめ決定済みのより短い期間によって測定されることとすることができる。またサッケードは、それの開始と同一のエリアに戻ることはできない。これらの規則が適用されて固視をサッケードの一部に、またはサッケードを固視の一部に変更する場合は常に、ばらつきアルゴリズムが、どのように状況が取り扱われることになるかを決定する。たとえば、同一の目標における２つの連続する固視が、間にサッケードを挟んで６０ミリ秒内に検出される場合に、サッケード検出をトリガしたノイズがあったおそれがあると演繹することが可能である。それがノイズであるか否かは、ばらつきプロトコルによって決定される。２つの固視が互いから特定距離内にある場合（ばらつきスレッショルド）、それらは同一の固視の部分であり、サッケードが、その固視の部分に変更されるが、それ以外はそれが正しい検出であることがもっともありがちとなる。
ハイブリッド・アルゴリズムの主要な指針は、いずれの処理アルゴリズム（またはその部分）がデータに適用されることになるかについての『決定』を現在のノイズ・レベルに基づいて自動的に偏らせることである。図２５に図示されるとおり、比較的ノイズの少ない、より質の高い追跡データは、主として二重スレッショルド速度検出を使用して処理されることになる。平均的または中間的な量のデータのノイズの存在／品質は、データのばらつき検出処理の影響を増加する。最後に、また図２５の右側に表されているとおり、データが非常多くのノイズを含み、品質が低いときには固視の復元が影響を受ける可能性がある。通常、その種の低品質またはノイズの多いデータは、遷移効果に過ぎず、全体的なデータ・ストリームに適用されないことになる。データのその部分がそのように低いグレードの品質である場合には、対応するデータに厳重なフィルタを適用し、それが、極端なノイズの下にある挙動を識別する上で充分に『落ち着いた』（滑らかになった）か否かを調べることによってその部分の復元が行われる。この復元は、より厳重にフィルタリングされた出力が、より緩くフィルタリングされたデータが失敗した『妥当性』規則に合格するとき、重く処理が行われた部分の『置換』によって達成される。
すべての固視およびサッケードの検出が完了すると、データが、実行されたクラスタ分析の結果に基づいて一瞥を識別するクラスタリング・アルゴリズムに入力され、その例示的な詳細を以下により完全に明らかにする。
図２６は、リアル‐タイム追跡データ処理の実行に利用されるハイブリッド・アルゴリズムを図示している。生の追跡データが、頭および／または目の向きおよび動きに関して、通常は任意のデータ・ストリーム形式でセンサ・システムから獲得される。処理がリアル‐タイム・ベースで行われることから、その先の任意のフィルタリングの通過のためにデータのリサイクルが可能であるという贅沢が、それが規則の評価基準を満たすことに失敗すると享受されない。最良可能データが常時利用可能にされなければならない。したがって、リアル‐タイムのハイブリッド・アルゴリズムは、基本的に、同一データの２つのタンデム処理を実行する。図２６に図示されるとおり、ソース・データは、標準フィルタを使用して上側で処理されると同時に、より厳重なフィルタを使用して並列して下側で処理される。これらの異なってフィルタリングされたソース・データは、同時に、規則のセットを用いて処理される。通常、各フィルタリング済みデータ・ストリームに適用される規則は同一であるが、それぞれのフィルタリングの特性に応じてそれぞれが調整されることもある。
２つの規則処理のそれぞれからデータ・ストリームが作られる。図２６から認識できるとおり、２つの出力されたフィルタリング済みストリームの特性は異なる。好ましくは標準フィルタが、データのスムージングに関してきわめて緩く、データ・ストリームに適用される規則セットが、有効な固視またはサッケードが生じているか否かの決定に努力する。規則を満たすことができないときはデータ・ストリームが出力されない。このデータ内の空白を、図２６の上の右側の角に認めることができる。適用される規則（１つまたは複数）を満たすことに失敗したデータ・ストリームの部分は、単にノイズが多すぎるとすることが可能である。
この全体の時間の間に、上で述べたとおり、厳重なフィルタを用いたデータの処理も行われる。通常、厳重なフィルタは、ノイズを除去する努力のなかで相当にデータを『滑らかに』する。出力されるデータは、あまり鋭くないものとなり得るが、このより高度にフィルタリングされたデータの、標準的にフィルタリングされたデータが規則に適合しない空白ゾーンに対応する部分に同一の規則が適用されると、サッケードまたは固視の特性が認められるようになる。それが当て嵌まるとき、規則を通過してデータの有効な特性記述が獲得される。無効にされた、規則を満たしていない、より少なくフィルタリングされたデータのゾーンに対応する、より高度にフィルタリングされたデータのこの規則通過部分は、標準のフィルタリング後の合格した出力ストリームに併合される。これが、コンパイル後の処理済みデータ・ストリームとして図２６に図解されている。
コンパイル後のデータ・ストリームは、可能性として異なってフィルタリングされたデータ・ストリームのいずれもが適用された規則（１つまたは複数）に合格しなかった短い空白部分を有するが、一般的な意味において、ソース・データが許容可能な品質（ノイズがない）のものであれば、実質的に連続する。言い替えると、非常に低い品質のデータが許容可能となることはなく、通常、許容可能としてフィルタリングまたは処理されることが不可能である。しかしながら、ソース・データが、特定の標準に満たない部分を除いて概して許容可能である場合には、リアル‐タイム追跡データを処理するための例示的なハイブリッド・アルゴリズムが、その先の処理、たとえばより詳細をここで述べるとおりのクラスタおよび密度分析に適した分類可能な固視およびサッケードからなるコンパイル後の出力データ・ストリームを作成する。
図２７は、記述的なデータ補正、場所上または場所外の固視の分類、および分類済みデータのクラスタリングに関連するアルゴリズムの代表的な略図を提供する。
場所は、任意の関心場所とすることが可能であり、たとえば場所は、道路中心、運転者の背後の場所、運転者の左または右の場所、リア・ビュー・ミラー、サイド・ミラー、中央コンソール、車両アクセサリ（たとえば、ラジオ、窓スイッチ、ナビゲーション・システム）、個人用アクセサリ（たとえば、携帯電話、ＰＤＡ、ラップトップ）、または同乗者（たとえば、自動車の座席または後部座席にいる子供）を含むことができる。上記のリストはすべてを含むものではなく、場所のいくつかの例を示すだけのために提供されている。上の例からわかるとおり、場所が固定されている必要はなく、時間とともに変化可能であり、たとえば場所が携帯電話またはＰＤＡであるとき、ユーザが電話をダイアルするとき、電話に応答するとき、携帯ＩＤをチェックするとき、着信メッセージをチェックするとき、または送信メッセージを送るとき、時間とともに場所が変化する。
１つの構成においては、データ処理プロセスが、場所上または場所外の固視として固視が分類可能であるか否かの決定を伴って開始する。さらに、望ましい場合には、場所上の固視の決定に基づいて場所外の固視を決定することも可能である。たとえば、データが場所上の固視として分類される場合に、そのデータは、そのとおりに分類される。データが場所上の固視として分類されない場合には、そのデータを場所外のデータであるとして分類できる。この単純化の主要な利点は、場所外の注視が無視可能であることから、道路から逸れる一瞥の間において、より低いデータ品質を許容できることである。
さらに、この構成は、運転者が常軌からはずれるポジション、すなわち場所外を見ているときの信号の部分の処理を必要とする以前の解決策より、行動上の動きのより堅牢な評価を提供する。たとえば、場所上の固視として分類されない行動上の動きは、無視されて場所外の固視として評価されることが可能である。
結果として、この構成は、テクノロジへの要求を下げ、より単純かつ安価な測定デバイスを可能にする。たとえば、より少ない、テクノロジ的にあまり進んでいない測定デバイスを使用してシステムの実装コストを下げることが可能である。同様に、あまり強力でないプロセッサを、測定デバイスから獲得された情報の処理に使用することが可能である。
測定デバイスが最適性能を提供するエリアだけが考慮され、したがって高品質の測定が保証される。たとえば、道路中心の固視の測定は、図２８に見られるとおり、実質的に運転者の正面に直接配置される測定デバイスを含むことができる。道路から逸れる一瞥は、運転者が道路上を見ていないときの状態から推論される。別の例においては、リア・ビュー・ミラーの固視の測定が、リア・ビュー・ミラー内または周囲に配置される測定デバイスを含むことができる。
図２９は、道路中心の概念の教示的な図解を提供する。認識される必要があるが、道路中心の概念は、収集後のオフ‐ラインの運転者自覚の分析およびリアル‐タイムの運転者自覚の機能の両方に適用可能である。
ＲＣエリアの正確な場所は、測定デバイスによって測定されたとおりの実際の道路中心のクラスタが、あらかじめ定義済みのＲＣエリアによって制約される必要があることから重要である。したがって、ＲＣエリアの場所は、連続的にリアル‐タイムで有利に調整することが可能である。前方シーン（運転者の観点から）内のＲＣクラスタおよびそのほかのクラスタの相対的な地理的ポジションについての優先情報もまた、ＲＣエリアの場所の評価をさらに向上させるために使用することができる。
道路中心エリアのサイズおよび形状は、それの意図される応用のために有利に調整できる。さらに、異なる道路特性に相関する異なる視覚的挙動が高い感度で測定されることが望ましいとき、および特定の機能が実現されることになるとき、オーバーレイ態様で複数のＲＣエリアを定義してもよい。たとえば、大きなＲＣエリアが定義され、運転者が積極的に道路から目を逸らしているときを確実に知る必要がある安全上決定的なリアル‐タイム応用によって使用される。同時に別の応用は道路外の一瞥に注目するが、道路外の一瞥のより多くを捕らえるために、より小さなエリアを使用する。
以下の表は、ＩＳＯの測度および対応するＲＣの近似を要約する。
Figure 0005036814
現在利用可能な頭／目の測定デバイスのほとんどは、目の動きより堅牢に頭の動きを測定する（対象者がセンサから目を逸らすとき、頭の動きの方がより容易に追跡される）。本発明の１つの実施態様においては、頭の動きを使用して、測定される目の動きの方向のより良好な評価を、同時にその頭の動きの方向を考慮する（したがって、特定の方向に目が動く尤度を評価する）ことによって提供できる。別の実施態様においては、頭の動きが目の動きの方向の評価を提供する（すなわち、目の追跡が不充分であるか、まったくないときに目の動きの近似として頭の動きが使用される）。頭の動きは、ピッチ、ヨー、およびロールといった回転運動に関して測定可能であり、また単独で、またはヒーブ、スウェイ、およびボブといった位置運動とともに測定可能である。これら３つの回転および３つの位置の運動を合わせて６自由度（６ＤＯＦ）と呼ばれる。
６ＤＯＦを分析するときは、頭の動きが、概して頭の３つの回転成分（ピッチ、ヨー、およびロール）および、ｘ、ｙ、およびｚ軸を伴うデカルト座標系に従った頭の３つの平行移動成分（Ｐｏｓｘ，Ｐｏｓｙ，Ｐｏｓｚ）によって記述される。これら６つの成分は、頭の動きを完全に記述する頭の動き信号ＨＭＯＶＥに合成できる。
好ましくは、６つの信号成分のそれぞれが前処理され、測定ノイズおよび運転者の長期的な姿勢変化が除去される。これを達成する１つの方法は、本質的に低周波となる長期的な姿勢変化を除去するハイ‐パス・フィルタ、および信号ノイズを抑圧するか、または少なくとも減衰させるロー‐パス・フィルタの使用である。当然のことながら、適切なバンド‐パス・フィルタによってもこれら両方を達成することが可能である。
この前処理の後、総合的な頭の動きの包括的な測定が、たとえば次の式（１．１）に従って、６自由度およびそれらの１階および２階時間微分の関数として表現され、かつ計算されることが可能になる。
Figure 0005036814
この一般関数またはモデルは、異なる応用のための異なる選択および調整が可能である。たとえば、包括的な頭の動きの測度は、次の式（１．２）に従って定義できる。
Figure 0005036814
それにおいてＡ乃至Ｆは重み付け係数であり、異なるタイプの頭の動きのための感度、したがって測定の感度を決定する。
別の実施態様においては、測定される目の動きの方向の評価を提供するべく身体のポジションを使用できる。運転者の身体の向きは、測定される目および頭の動きの方向のより良好な評価を、同時に身体の方向を考慮する（したがって、特定の方向に目が動く尤度を評価する）ことによって提供するべく使用できる。別の実施態様においては、身体の動きが目の動きの方向の評価を提供する（すなわち、目および／または頭の追跡が不充分であるか、まったくないときに目の動きの近似として頭の動きが使用される）。
測定デバイスの特性に応じて、場所上／外の分類が不正確になる状況を扱うために追加の信号処理が必要になる（または有利になる）ことがある。たとえば、瞬きは時として下を見ているとして測定デバイスによって誤った解釈がなされることがある。これは、多様な形で、たとえば、指定の長さより短い一瞥を、短すぎて実際の自然な一瞥であることが尤もらしくないとして無視するフィルタの適用によって扱うことができる。このフィルタは測定される信号またはバイナリの場所上／外の分類信号に作用できる。フィルタの動作は、オフ‐ラインおよびオン‐ライン（リアル‐タイム）両方の分析に適用可能である。
リモート測定デバイスから、行動上の動きの角度、振幅、および／または方向を表す測定信号が出力される。ここでは、それらの信号が、上で提案された方法を適用することによって信号の各標本の場所上／外の分類を行うために使用される。図３１を参照されたい。
分類ステップの結果（出力）は、各標本（または時間単位）内において目／頭／顔が道路（すなわち、ＲＣ領域）上にあるか、または道路外にあるかを決定する分類信号である。動作上は、これが、各標本（または時間単位）内において、ＲＣエリアの原点に対する測定済みの注視ポイントのユークリッド距離（または頭／顔の方位座標）を考慮することによってなされる。結果が、ＲＣエリアによって画定される周囲／境界内に落ちる場合には、それがＲＣ領域上に属し、そのとおりに分類されるが、そのほかの場合にはＲＣ外に属するとして分類される。
時としてセンサが運転者の追跡を失うことがある（すなわち、目／頭／顔／身体の動きの測定がなくなる）。多くの場合、これは、運転者が道路から目を逸らしているという事実に起因することになり、この失われた追跡は、道路外の一瞥として解釈／分類されることになる。失われた追跡の発現の性質（たとえば、持続時間、大きさ、およびそれらの類）に応じ、特殊なフィルタを用いて追跡の喪失を扱う必要が生じることがある。
図３２ａおよび３２ｂは、結果として得られた分類をどのようにフィルタリングし、場所から離れる／場所に向かう不自然な（すなわち、もっとも解釈誤りでありがちな）一瞥を除去できるかの例を具体的に示す。図３２ａには、オリジナルの分類が具体的に示されている。図３２ｂには、非常に短い一瞥（２０標本より短い）がフィルタリングまたは無視され、言い替えると『メインの』一瞥に属するとして再分類されている。
評価された場所と、その場所に対する運転者の注視からなる実際のクラスタが整列しない場合は、注視が場所の縁に向けられているときに（したがって、注視は、おおむね空間内の同一の場所に向けられているが、場所上／外の間を交番している）誤りが分類ステップに導入されていることがある。これは、主として図３２ａおよび３２ｂに与えられているものと同一のアプローチによって処理される。
頭および目の動きの生理学についての優先知識もまた、アルゴリズムの性能をさらに強化するべく使用できる。サッケードの遷移速度および最小休止時間は、いずれの一瞥が正しいかを決定するため、したがって尤もらしさのテストをアルゴリズムによって行われたリアル‐タイム分類に適用するための生理学的な基礎（または動機付け）を供給できる。
呈示されたバイナリの場所上‐外の分類は、いくつかの関心エリアを与えるべく拡張できる。
分類が行われた後は、上に示されている一瞥頻度および一瞥持続時間の測度の計算が、それぞれ分類信号内の「上」および「外」の区間の数のカウントだけを必要とする。一瞥持続時間は、同一の方法で分類されたそれぞれの連続するセグメントの開始および終了を考慮することによっても計算される。
図３３ａおよび３３ｂは、一瞥の挙動の図解例を提供する。図３３ａにおいて、円は、道路中心エリアが位置する場所を具体的に示し、運転者の前方シーンにおける道路の視点をグラフ的に図解している。図３３ｂは、同一の視点を示すが、時間軸が追加されている。
関連する態様において、測定デバイスがより大きなエリア内において明白かつ良好な注視または頭の追跡能力を提供する状況のために、実際の道路中心エリアを取り囲む、より大きなエリアを考慮することによって測定エリアを拡張できる。その種の場合においては、図３４に図解されるとおり、追加の測定が追加の堅牢性を提供できる。
図３５は、データの前処理、前方道路の識別、クラスタリング、およびハイブリッド・アルゴリズムの適用に関連するリアル‐タイム・アルゴリズムの代替表現の略図を提供し、それらすべてが合わさって最終的に意味をなす出力測度をもたらす。
この構成においては、データ処理プロセスが、前方道路シーンとして何が定義されるかを見つけ出す自動初期化を伴って開始する。これは、密度表面を形成することによってなされ、それにおいては運転者が特定の方向を見る時間が、このエリア内の注視密度によって記述される。たとえば、あるエリアを運転者がより多く見るほど、そのエリア内の注視密度が高くなる。運転者の注意のほとんどは、前方道路シーンの中心と呼ばれるところの中に見つかる傾向にあり、図３０に図解されているとおり、このエリアの中心内に『注意力のピーク』が存在することになる。この図解においては、２つのピークが立ち上がっている平面を、運転者がウインドシールドに面しているときに顔面と垂直になると解釈する。高いピークは、前方道路シーンを表し、より低い方のピークは集中ポイントを表す。マップされた例においては、対象者にナビゲーション・システムの言語を変更することが求められており、それがより低い方のピークによって表されている。
運転の間は、高い（左の）ピークが徐々に積み上がり、約２分後に、ピーク道路中心（ＰＲＣ）ポジションが安定する。道路中心エリアがこの山の基部として、ピークがその中心として定義される。この基部は、山がガウス形状を有し、平均値がピークのポジションになるとする近似に基づいて計算された９５％の信頼値であると考えられる。これが行われた後は、前方道路ポジションから離れる一瞥の検出が可能であり、したがって注意力および運転者作業負荷を、以下に述べるとおり、ピークの道路中心の定義を使用して計算することができる。
さらに進んだ道路中心の識別の概念の発展においては、データの前処理が、純粋に数学的な平行移動および回転をはじめ、信号フィルタを利用して行われる。目の注視は、それが目の間のポイントから始まるベクトルであることから、頭のポジションに依存する。運転者の視野内のすべての物体は、運転者の目からの視角によって位置決定が可能である。しかしながらこの角度は運転者の頭のポジションおよび回転に強く依存し、それもまた運転者の高さおよび好みの運転ポジションに依存する。異なる頭のポジション／回転は、注視信号をはじめ頭の動きの性質に影響する。これらの効果を最小化するために頭のポジションが、ほとんどの運転者の概略の平均ポジションとして好都合に採用される基準ポジションに対して正規化される。これは、図３６に図示されるとおり、運転者の正面に置かれた理論上のミラーを介して達成される。
それにおいて、測定された注視および頭の角度がこの平面を介して、静止の、または基準の頭に投影される。この実施態様においては、静止している頭の注視および頭の角度がアルゴリズム内において使用される。
注視の信頼度が低いとき、たとえば目が遮られているときは、アルゴリズムが自動的に頭の向きに切り替わり、顔が前方をポイントする方向を、あたかもそれが注視ベクトルであるかのように使用する。その後、結果として得られる信号が、ここに述べられているハイブリッド・アルゴリズムに供給され、注視密度関数を介して道路中心が突きとめられる。初期化手順は、７０ｋｍ／ｈを超える速度を伴う正常運転で約２０秒を要する。この特定の応用においては、道路中心が、まっすぐ前方の視点の密度関数評価によって中心決めされる２０×４０度の楕円として定義された。しかしながら道路中心のジオメトリは、速度および／または環境に依存できる。
上で述べた楕円は、中程度の交通量を伴う２車線の自動車道路上における、７０ｋｍ／ｈを超え、約１２０ｋｍ／ｈ未満の速度に理想的である。このほかのジオメトリが、いくつかの環境、異なる速度における移動、およびそのほかの応用にとって最良に作用することは可能である。長い一瞥持続時間、すなわち時間的に引き延ばされる１つの一瞥の測度は、注視密度関数によって垂直の中心決めがなされる２０度の水平の帯を用いるとより良好に作用すると見られる。
道路中心は、運転者の視界の中のワールド目標物を定義する。運転者は、道路中心を見るか、または見ないかのいずれかである。注視が道路中心の縁の直上にあるときの信号のちらつきを回避するために、遷移遅延が使用される。遷移が記録されるためには、注視が、２つの目標（道路上または外）のうちの１つの上に１００ミリ秒を超えて一定にとどまらなければならない。
道路中心が有効になった（すなわち、注視密度関数が安定した）後は、ＰＲＣ（ここでは、ピーク道路中心またはパーセント道路中心のいずれかを意味すると捉える）の計算が開始される。ソース追跡データが存在しない場合には常に、やむを得ずアルゴリズムが休止する。さらに、また好ましい実施態様においては、乗り物の速度が６５ｋｍ／ｈを下回ると常に、アルゴリズムが無効にされる。これはまた、ＰＲＣの値を８０パーセントにリセットする。
ＰＲＣアルゴリズムの１つのバージョンにおいては、ｍａｘＰＲＣパラメータが、ＰＲＣが８０パーセントを越えて上昇することを防止する。これは、正常運転の間におけるＰＲＣを安定化させる単純な方法である（一部の対象者については、概略で７５と８５パーセントのＰＲＣ値の間で正常運転が変動する。この制限を使用すると、ＰＲＣが、特定数の一瞥について常に特定レベル（ＰＲＣ ８０％から）に落ちることになる。同一の理由がｍｉｎＰＲＣおよび認識的注意散漫に当て嵌まる。）。
より短いＰＲＣウインドウ（３乃至１０秒）が時分割的挙動、すなわち２つの目標エリアの間の複数の一瞥を示すために使用される。時分割的挙動の表示は、その挙動が終了したとき、たとえば二次的タスクの終了時にＰＥＣを８０％にリセットするために使用される。
例示的に述べるが、３つの異なる警報／フィードバックを運転者に与えることが可能である。ＰＲＣがスレッショルド未満に落ちる場合であっても、運転者が道路から目を離すまでは警報が与えられない（認識的な警報はこれの例外である）。視覚的注意散漫の場合においては、対象者がわずかに気を逸らされるとき、すなわちＰＲＣが６５％未満に落ちるとき、くすぐられたときのレベルに到達する。警報は、運転者が道路から目を離しているときに限り、１０秒の期間内に２回を最大として与えられ、言い替えると警報は、ＰＲＣが６５％未満に落ちた後の、道路中心から離れる最初の２つの一瞥に与えられる。別の警報レベルは、対象者が深刻に気を逸らされるとき、すなわちＰＲＣが５８％未満に落ちるときに到達する。この場合には、この警報が発せられた直後にＰＲＣが正常運転、すなわち８０％にリセットされる。
認識的注意散漫の場合には、運転者が認識的に気を逸らされるとき、すなわちＰＲＣが９２％を超えるときに認識警報が発せられる。その後ＰＲＣは、８０にリセットされる。長い（道路から離れる）一瞥警報は、道路中心の外となる一瞥が４秒を超えて続くとき、常に発せられる。
時間ウインドウの使用が最適でないこともあり得る。１分の時間ウインドウは、１分の履歴を有し、したがって１／２分前に運転者が何をしたかが、ＰＲＣをはじめ現在のタスクに影響することになる。運転者がラジオの局選択を行い、したがってラジオに対する４つの一瞥を有しているとすれば、その運転者は、少なくとも１／２分にわたりそれら４つの一瞥によって処せらることになり、言い替えると、運転者が正常運転に戻ったとしても、少なくとも３０秒にわたってＰＲＣが低い状態にとどまる（これは、タスクが最大で３０秒にわたって持続することを仮定している）。この問題を扱う方法はいくつか存在する。
１つは、緩衝係数（概略で同一のウインドウ・ダイナミクスを獲得するため）を伴うより短いウインドウの使用である。他方は、タスクが完了したときは常にウインドウをフラッシュすることである。さらにまた、はるかに短い、たとえば３乃至１５秒の時間ウインドウを、タスクが行われているか否かの決定に使用することができる。
時分割の検出器を使用して、ＰＲＣ合計（通常、時間ウインドウ内のすべての道路中心上一瞥の合計時間）が道路上一瞥を無視するべきか否かを決定してもよく、言い替えるとこれは、タスクを実行する間にＰＲＣ合計が道路中心外一瞥時間に比例して減少するが、道路中心上一瞥時間を無視し、したがってウインドウと同じ合計のダイナミクスを与える。
現在のアルゴリズムに伴う別の問題は、瞬きがかなりしばしば計器クラスタに向かう下向きの一瞥として解釈されることである。標準のデータ・フィルタは、注視信号内のわずかな相違特性に起因する瞬きをフィルタ・アウトしない。提案された解決策は、目開き信号を使用してそれが瞬きであるかまたは一瞥であるかを決定することを含む。これは、プログラムが『非待ち時間モード』にあるとき、ログ・データ内に目開き信号が存在することを必要とする。代替は、瞬き検出器を設計することである。瞬きは、一瞥であるとするには短すぎ、したがってフィルタ内で遮断することが可能である。しかしながらこれは、システムに少なくとも１５０ミリ秒の遅延を導入することになる。
上のアルゴリズムは、中程度の交通量の自動車道路の約７０乃至１２０ｋｍ／ｈの速度の運転に調整されている。当該アルゴリズムを異なる速度および環境に適応させるいくつかの方法が存在する。１つは、道路中心エリアを速度および環境に適応させることである。速度が減少するに従って、道路中心は、サイズにおいて、多くは水平視野において増加することになる。道路中心は、その速度および環境における正常運転がおおむね８０％のＰＲＣを有するように増加される。これを行う方法は２つある。１つは、オン‐ラインで各運転者に適応させることである。他方は、あらかじめ定義済みの道路中心ジオメトリを、異なる速度および環境用に提供することである。さらに別には、特定の速度および環境用の正常運転のＰＲＣレベルに従って警報スレッショルドを調整する。さらに別には、環境または少なくとも運転の挙動によって示される環境の記述を提供する。
制限は、運転者の頭が道路中心から逸れて約６０度を超えて回転される場合、言い替えると運転者が隣接車線に車がいるか否かを調べるために自分自身の肩越しに横を見た場合にアルゴリズムが失敗することである。この空白を埋めるためにパターン認識を使用できる。
直接警報とは別に、ＰＣＲをサード・パーティのシステムの有効／無効に、または異なるモードへのそれの設定に使用することが可能である。たとえばＰＲＣを使用して前方衝突警報（ＦＣＷ）システムを『敏感』モードにセットし、警報が有効とされるべきか否かの決定に道路中心に目が注がれていることを示す瞬時的な信号を使用することが可能である。これはまた、適応クルーズ・コントロール（ＡＣＣ）の制御ループのための時間ギャップの調整（安全距離の増加または減少）またはそのほかの警報およびシステムの有効／無効にも使用できる。
ここに概説された測度の多くは、道路中心ポイント（ＲＣＰ）の基準の計算を使用する。垂直および水平の道路中心ポイントは、たとえば３分のデータのセグメント化された目の動きデータのセット（固視／滑らかな追随およびサッケードにセグメント化される）から計算される。最初に、各固視のデータ‐ポイントが垂直および水平の、たとえば０．９８×０．９８度の（まっすぐ前方またはゼロ・ポイントから±３０度について１２８×１２８個）のビン‐サイズのビン内に加算される。次にビンのモード（ビン内の最大頻度）が道路中心の垂直および水平ポイントとしてセットされる。これらのデータ‐ポイント‐ベースの測度が、より完全に図３７乃至４０内に図解されており、それにおいては道路中心ポイントが、運転者の目のポジションの標本密度に基づいて識別される。まっすぐな２車線の高速道路上における正常運転状態の目の動きが、これらの図の中に図示されている。データは、道路中心ポイントの周りに集中され、それに基づいて道路中心ポイントがゼロにセットされる。ユニット内の頻度は、ビン当たりの合計頻度のパーセントを表す（１つのビンは、０．９８度×０．９８度に等しい）。左および上に向かう目の動きが正であり、右および下に向かう目の動きが負として図解されている。
移動時間ウインドウ、たとえば６０Ｈｚの更新頻度を伴う１分の時間ウインドウ内の各ステップについて、次のことが計算される。時間ウインドウ内の各固視データ‐ポイントが、『道路中心』を表すタイプ『１』または『非道路中心』を表すタイプ『０』のうちのいずれかであるとして分類され、その弁別は、定義済みの道路中心エリアの内側であるか、または外側であるかを基礎として行われる。道路中心エリアは、たとえば、道路中心ポイントからの度／ラジアンにおける距離を採用し、カットオフ・スレッショルドを、たとえばその周囲の半径として８度にセットすることによって計算される。カットオフ・スレッショルド内に落ちる固視データ‐ポイントは『道路中心』として分類され、外側に落ちるものは『非道路中心』として分類される。この例においては、カットオフ・スレッショルドが道路中心エリアの形状を定義する。
道路中心エリアはまた、半径カットオフ・スレッショルドの使用の代替としてほかの形でも定義可能である。たとえば、道路中心エリアを、非対称形状として定義することができる。非対称の道路中心識別は、湾曲した、または混雑した道路環境で運転するときに有用である。非対称形状を定義するいくつかの方法に次のものがある。（１）スレッショルド・レベルをビンごとの頻度、図３９内に示された水平道路中心エリア・ラインにセットすることが可能である。図３８の輪郭のような幾何学的形状が結果となる。（２）道路中心エリアを、たとえば道路中心ポイントからの１または２標準偏差内のデータとして定義することが可能である。標準偏差は、中心ポイントの半径に基づいて、または別々に垂直および水平成分に基づいて定義できる。垂直／水平の標準偏差の定義は、形状が楕円として計算されることを可能にする。（３）湾曲した道路環境においては、ほとんどの固視データ‐ポイントが乗り物の将来の経路周辺に中心決めされる。瞬時的な経路の軌跡は、乗り物のヨー・レート（またはステアリング・ホイール角度に基づく測度）から一般に計算される。この湾曲した経路の軌跡（視覚的角度に変換される）は、有効な『経路上の固視』のエリアの定義に使用可能である。この軌跡を使用し、たとえば乗り物の経路から特定距離内の一瞥の『経路上エリア』を定義できる。したがって、上で述べたものと同じ方法で、道路中心エリアを経路上エリアに置き換え、ＰＲＣ、Ａ‐ＰＲＣ、およびＰＬＧを計算することが可能である。最後に、ウインドウ内の道路中心データ‐ポイントの数を合計の固視データ‐ポイントの数で除し、結果に１００を乗ずることによってパーセンテージの計算がなされる。したがって、パーセンテージの計算は、サッケードおよび欠落データを無視する。
上記と同一の時間ウインドウ内において、所定のＰＲＣ値、たとえば正常運転のＰＲＣ値からの絶対差分として道路中心の絶対パーセント（Ａ‐ＰＲＣ）が計算される。図３は、Ａ‐ＰＲＣと、ほかのいくつかの注意散漫の共通測度の比較を示す。
道路中心から逸れる長い一瞥のパーセント（ＰＬＧ）が、上記と同一の時間ウインドウ内において、特定の時間スレッショルド、たとえば図４に例示されているとおり、２秒を超える一瞥（ＳＡＥＪ‐２３９６標準によって定義されるとおり）に分類される固視データ‐ポイントのパーセントとして計算される。
モード道路中心からの標準偏差（ＳＤ‐ＭＲＣ）が、上記と同一の時間ウインドウ内において、標準偏差の公式に従って計算されるが、平均が、次式によって例示されるとおりのモードに置換される。
ＤｉｓｔＲｏａｄＣｅｎｔｅｒ＝ｓｑｒｔ（（（ＶｅｒｔｉｃａｌＰｏｓ‐ＶｅｒｔｉｃａｌＭｏｄｅ） ｛ｃｉｒｃｕｍｆｌｅｘ ｏｖｅｒ （ ）｝２）＋（（Ｈｏｒｉｚｏｎｔａｌ‐ ＨｏｒｉｚｏｎｔａｌＭｏｄｅ） ｛ｃｉｒｃｕｍｆｌｅｘ ｏｖｅｒ （ ）｝２））
ＳＤ‐ＭＲＣ＝ｓｑｒｔ（ｓｕｍ（（ＤｉｓｔＲｏａｄＣｅｎｔｅｒ） ｛ｃｉｒｃｕｍｆｌｅｘ ｏｖｅｒ （ ）｝２）／ｌｅｎｇｔｈ（ＮｏｎＦｉｘａｔｉｏｎ‐ ｓ））
乗り物外側のパーセント（ＰＯＶ）が、上記と同一の時間ウインドウ内において、乗り物の外側に落ちる固視データ‐ポイントおよびリアまたはサイド・ミラー上に落ちる固視データ‐ポイントのパーセントとして計算される。乗り物の内部は、度またはラジアンにおける幾何学的エリアとして定義される。
本発明に関連した例のデータ・セットが収集された。妥当性確認研究が、１１１度の視界および４８Ｈｚにおける２４５６×７５０の解像度を伴う７．５ｍ×２．２ｍの『パワーウォール』スクリーンを使用するシミュレータ環境内で行われた。１４人の対象者がこの研究に参加し、携帯電話の使用、ラジオ局の変更、およびこれらの類といった多様な車内タスクが行なわれた。データが収集されたが、またそれは、ＩＳＯ １５００７‐２の方法（ＩＳＯ １９９９）に従ったビデオ・トランスクリプション形式でも利用できる。ＧＩＢ‐Ｔ覚醒状態研究と呼ばれる研究において、上記の環境で、少ない交通量の４車線自動車道路上を運転する１２人の者を含めて同一のシミュレーションが行われた。各人は２つの出来事、すなわち正常条件下における３０分の運転および睡眠遮断を伴う約２・１／４時間の運転に関係し、結果がビデオ録画機を使用して記録された。このセットは、１６人の対象者が関係したより大規模な道路上実験の一部である。各人は、３０キロメートルの運転および約１５分の正常な自動車道路運転の間に多様な車内タスクを実行する。
追跡システムは、頭のポジションおよび角度をはじめ、注視角度を、固定座標系に関して追跡する。追跡システムはステレオ‐ビジョンを、言い替えると頭のポジションおよび注視を追跡するために、図４１に図示されるとおり、対象の運転者の正面の、計器クラスタの前であるがステアリング・ホイールの後ろに位置決めされる２つのカメラを使用する。代替として、また好ましくは、図２８に図解されるとおり、単一のカメラも利用することができる。これは、ほかの既存の侵入的な目追跡システムに対する有意の向上である。このテクニックを使用するトレードオフは、非視界ベースのストラテジと比較して、注視の評価（±３°）が、何らかの種類の角膜反射を使用するシステムのそれ（±１°）より劣ることである。これらのほかのタイプの視界ベースのシステムは、モノ‐ビジョンに依存し、同様に機能しない。現在開示されているシステムの１つの実質的な利点は、それが頭および目のベクトルの両方を同時に出力することである。
利用されているシステムは、眉、口の角、および目等の顔の特徴を見つけ出すテンプレート整合アルゴリズムを使用する。各テンプレートは、３Ｄ剛体顔モデルの部分と見なされる。いくつかの特徴が両方のピクチャ内に見つかると、頭および目の３Ｄポジションが、モデルの回転および平行移動の最小二乗最適化を使用して計算される。この問題の解は、遮蔽、ノイズ、および透視ひずみに関してそれを堅牢にする、良好に追跡するポイントに向けて偏りが与えられる。さらに、ノイズを低減し、かつ次の反復における頭の姿勢を予測するべくカルマン・フィルタが使用されるが、これが次のフレームのための計算時間を短縮する。
注視評価は、頭‐目ポジションに基づく。眼球の回転中心および瞳の中心の測定を使用し、これら２つのポイントを通る光線として注視が計算される。両方の目が可視であるとき、２つのベクトルの平均として注視方向が計算されるが、それ以外は可視の目の光線が使用される。いずれの目も検出可能でないとき、たとえば対象者の頭が約６０度を超えて回転されるとき、または両目が遮られるとき、顔の法線が注視方向として使用される。
いったいいつ対象者が瞬きを行っているかを決定するために閉瞼検出アルゴリズムが使用される。目の角の間の距離によってスケーリングされた上まぶたと下まぶたの間の距離が、閉瞼の測度として使用される。これらの距離を計算するために、システムは、エッジ検出器を使用し、その後、各まぶたについて１つの目の両角を通過する放物線を近似する。閉瞼の測度およびほかのいくつかの測度（目の像領域の垂直の光の流れ、領域の時間的変化レート、目の鞏膜の色を伴うピクセルの数、および目のテンプレートの相関係数）が、その後まとめて重み付けされ、いったいいつ対象者が瞬きを行っているかをスレッショルドが決定する。
システムは、多くの信号を出力し、そのいくつかの例は、限定ではないが以下を含む。（１）注視信号『ｇａｚｅ＿ｒｏｔａｔｉｏｎ＿ｒａｗ』および『ｇａｚｅ＿ｒｏｔａｔｉｏｎ＿ｆｉｌｔｅｒｅｄ』は、この場合においては、すべての調査についてフィルタ・パラメータがゼロにセットされたことから同一信号である。これらの信号は、半径で与えられる２つの方向、すなわちピッチおよびヨーからなる。（２）『ｇａｚｅ＿ｃｏｎｆｉｄｅｎｃｅ』信号は、注視評価アルゴリズムの信頼性測度を提供する。（３）『ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｆｉｌｔｅｒｅｄ』および『ｈｅａｄ＿ｒｏｔａｔｉｏｎ＿ｆｉｌｔｅｒｅｄ』は、頭の３Ｄポジションおよび回転を一意的に決定する。これらは、利用可能なデータ内においてすべてのフィルタ・パラメータがゼロにセットされたことから『ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒａｗ』およびｈｅａｄ＿ｒｏｔａｔｉｏｎ＿ｒａｗ』と同じである。（４）『ｔｒａｃｋｉｎｇ』状態は、システムが追跡にあるか、またはサーチ・モードにあるかを示す。（５）『ｂｌｉｎｋｉｎｇ』は、対象者が瞬きを行っているか否かを示す。（６）『ｔｉｍｅ』は、各評価に関連付けされるＣＰＵ時間である。
注視信号内の情報内容が完全に定数でなく、むしろ時間にわたって変化すると見られる。記録の間は、対象運転者の膝、乗り物内部の天井、およびそれらの類といったこの点において焦点されることが尤もらしくない物体に向かう随時の一瞥が存在する。これらの一瞥のいくつかは、注視信号内の落ち込みを生じさせる検出されない閉瞼と呼ぶことができる。システムは、また異なる照明レベルに敏感となり得る。背景光内における変化を取り扱うことは可能であるが、乗り物が移動して陰になった道路帯から日向のそれへ出る場合のように変化が急激な場合は可能でない。結果は、高いノイズ・レベルとなり、場合によってはほとんど情報内容が存在しなくなる。カメラ・レンズ内への直射日光は、レンズのフレアに起因して信号をさらにノイズの多いものとする。時としてこれは、数秒にわたる追跡の喪失を導く。
上で述べた閉瞼の間の『落ち込み』は、疑いなく、目が閉じられているという事実に起因し、それが近似の失敗（導入部分で述べたとおり）を導く。落ち込みは、ピッチ信号内において３０乃至４０度程度となって非常に目立つが、ヨー信号内においても知覚可能である。典型的な瞬きの持続は、３００ミリ秒台であるが、落ち込みは約１００ミリ秒しか持続しない。このように評価は、目がほとんど閉じられるまで挫折しない。落ち込みは、前処理段階においてメディアン・フィルタを使用して容易に除去される。例示の実施態様においては、システムが、瞬きが補間された図４２に例示されているとおり、瞬き信号によって示される瞬き部分を単純に切り捨て、最後の既知の標本と最初の新しいそれの間を線形補間する。結果は、データの、しばしばほぼ３００ミリ秒に達する有意の部分が除去され、むしろいくぶん不自然な表現、すなわち直線で置換されることになる。瞬きがサッケードの間にしばしば生じることから、正しい測定が行われることができない。正確な測定を行うために、これらの特徴を復元することが有利となった。
瞬き信号は、実際には常に一貫しているわけでない。これは、対象者がタスクを実行しているとき、瞬き信号によれば瞬きがまったくないが、実際には瞬きが生じたに違いないとがわかることは自明である。例示のシステムにおいては、対象者が注視を移動するほど、瞬き信号が正確でなくなる。
注視信頼度信号を使用して、上に述べられた欠陥のほとんどの部分を克服できる。しかしながら経験は、信号品質および注視信頼性の測度が常には相関しないことを示す。異なる対象者についてだけでなく、同一対象者から獲得された異なる標本についても有意に異なることが可能である。さらにまた、信頼性測度は、瞬きごとにゼロまで落ち込む。検出されない瞬きの場合においては、当該事象が実際に信頼度をゼロに駆動した瞬きであったか、アーティファクトであったかを確かめることが不可能である。したがって、信頼度信号に絶対的に頼ることは不可能である。
システムの演算レートが『約６０Ｈｚ』であるという事実は、サンプリング間隔が一定ではなく、むしろ各フレームのための演算時間に依存することを示す。しかしながら例示のシステムにおいては、秒およびミリ秒の時間をはじめ、ミリ秒での演算遅延信号を利用できる。遅延は、１５０乃至２００ミリ秒台になる。
最後に、異なる対象者は異なる顔の特徴を有し、それがシステム‐ベースの測定のためにより適したもの、またはあまり適さないものとなる。良好なコントラストを伴う顔の特徴は、良好なデータ品質、したがってカメラ視野内に中心決めされる正しい頭のポジションとしばしば相関する。
変更検出アルゴリズムの設計は、常に、真の変化の検出と偽アラームの回避の間の折衷を行う。多様なノイズおよび信号の性質が、グレイ・ゾーンをよりいっそう長くする。信号品質が変動することから、案は、この問題を克服するべく適応フィルタを使用することであった。概して、適応フィルタが提案されるとき、それは、ある種の評価プロセス、たとえば平均最小二乗法（ＬＭＳ）を使用して信号に適応するフィルタリング係数である。しかしながらデータ信号は、情報内容の変更および奇妙なアーティファクト等の特性を有することが立証され、そのことが、この種の適応にそれ自体をより適さないものとする。それに代わり、２つの前処理メディアン・フィルタを使用するハイブリッド・アルゴリズムが開発された。この章においてはこれが、オフ‐ラインおよびリアル‐タイム両方のアルゴリズムについて述べられる。しかし、最初に、目の動きのセグメンテーションのために一般に使用されるいくつかの異なるアルゴリズムを簡単に振り返る。
サルブッキ（Ｓａｌｖｕｃｃｉ）およびゴールドバーグ（Ｇｏｌｄｂｅｒｇ）の研究は、『アイデンティファイイング・フィクゼイション・アンド・サッケーズ・イン・アイ‐トラッキング・プロトコルズ（Ｉｄｅｎｔｉｆｙｉｎｇ Ｆｉｘａｔｉｏｎｓ ａｎｄ Ｓａｃｃａｄｅｓ ｉｎ Ｅｙｅ‐Ｔｒａｃｋｉｎｇ Ｐｒｏｔｏｃｏｌｓ）』の中に定義されているが、それの中で、いくつかの異なるテクニックがサッケードおよび固視を識別するために集められた。
速度ベース
速度スレッショルド識別（ＶＴ‐Ｉ）
ＨＭＭ識別（ＨＭＭ‐Ｉ）
ばらつきベース
ばらつきスレッショルド識別（ＤＴ‐Ｉ）
最小化スパニング・ツリー（ＭＳＴ）識別（ＭＳＴ‐Ｉ）
エリア‐ベース
関心エリア識別（ＡＯＩ‐Ｉ）
検証済みの研究がすでにＶＴ‐Ｉ方法に対して行われていることから、最初のアプローチがＤＴ‐Ｉを使用して行われた。ＤＴ‐Ｉアルゴリズムは、きわめて正確かつ堅牢であると考えられたが、ここで使用された目追跡器の不正確性およびノイズからあまり適さないものであった。サッケードがノイズおよびスパイクに起因して識別され、固視の開始／終了は、信号の性質、たとえば固視が多少なりとも静止する前の偶発的なドリフト等に起因して不正確である。別の問題は滑らかな追随であり、滑らかな追随を１つの固視と見なすとき、このアルゴリズムを挫折させる。したがってばらつき方法は、単独で使用することが可能でない。
これに対してＨＭＭ‐Ｉは、確率論的な分析を使用してもっともありがちな識別を決定する。ＨＭＭ‐Ｉ内のＨＭＭモデルは、２つの状態モデルである。最初の状態は、より高速なサッケード・ポイントを表し、２番目の状態は、より低速の固視ポイントを表す。この遷移確率を前提としてＨＭＭ‐Ｉは、最大確率によって各プロトコル・ポイントのもっともありがちな識別を決定する。このアルゴリズムは、正しいパラメータを前提として正確かつ堅牢であると考えられる。これらは、ＨＭＭの主として込み入った部分である再評価プロセスを使用して評価される。この評価の実装は、複雑かつ時間を要する。
ＶＴ‐Ｉアルゴリズムは、上に述べられた問題を有していない。しかしながら、速度スレッショルドが、ノイズを拾うことと、正確な固視の開始および終了の間における折衷案になる。この問題を最小化するためにデュアル・スレッショルド・アルゴリズムが採用された（デュアルＶＴ‐Ｉ）。高いスレッショルドは、適正なサッケード識別を保証する。サッケードが検出されると、低いスレッショルドが開始および終了の計算に使用される。
ＶＴ‐Ｉアルゴリズムの主要な欠点は、堅牢性の欠如であった。しかしながらこれは、デュアルＶＴ‐Ｉにおいて大きく改善される。
手前のセクションの中で述べられた識別方法のいずれも、何らかの形で完全ではなく、すべてが異なる欠点を有する。したがって、２つのアルゴリズムおよび目の動きについての追加の規則の組み合わせがこの研究用に選択され、すなわちそれがデュアルＶＴ‐ＩおよびＤＴ‐Ｉである。この組み合わせは、ノイズの増加時にデュアルＶＴ‐Ｉの性質が保存される一方、決定が自動的にＤＴ‐Ｉおよび規則ベースの部分に向かって偏らされるという意味において、適応アルゴリズムとして働く。これは、デュアルＶＴ‐Ｉ速度プロトコルの正確性、およびＤＴ‐Ｉばらつきプロトコルの堅牢性を結合させる。これを観察する１つの方法は、規則をアルゴリズム制御と見なすことであり、これは、それらが『決定』を、現在の時点においてもっとも正確に働くアルゴリズム部分に向けて偏らせることを意味する。アルゴリズムの協働が、図２５に図解されている。
前処理について言えば、セグメンテーションに先行して生データが前処理される必要がある。それは、多少なりともノイズが多く、瞬きおよび非追跡部分を含む。
多くの研究者は、メディアン・フィルタおよびＦＩＲ‐ハイブリッド‐メディアン（ＦＨＭ）フィルタが、目の動きに適切であることを指摘している。メディアン・フィルタの、鋭いエッジを保存しつつノイズおよびアウトライアが弱められるという特殊な特性は、サッケード状の信号に適する。概して言えばＦＨＭまたは重み付きＦＨＭフィルタは、もっとも良好に働くと考えられるが、１５標本のスライディング‐ウインドウ・メディアン・フィルタは、ノイズを充分に低減する。建設的な副作用としてこれは、対象者が瞬きを行うとかならず作られる『瞬きの落ち込み』も、図４３に具体的に示されているとおり、充分に抑圧してそれが検出されないでセグメンテーションを通過させる。
完全に異なる問題は、手前で述べたとおり、瞬きの補間であり、それにおいては注視信号が線形補間によって置換される。これが固視の間に生じるときには、通常、問題とならない。しかしながら人間は、１００ミリ秒程度しか持続しないサッケードの間においてもしばしば瞬きを行い、２００乃至３００ミリ秒が直線に置換される。この問題を避けるためには、復元が必要になる。本発明は、適切な数の一瞥を提供する単純かつ堅牢な解決策を採用するが、時間ベースの測度はあまり正確でない。信号内に存在するものと同じ振幅のノイズが、５度より少ないばらつきを伴うすべての瞬きに追加され、そのほかのすべての瞬きがサッケードとしてマークされる。５度のスレッショルドは、偽固視の検出を伴わないすべての利用可能なデータに基づいてセットされた。幸運にも対象者は、複数の一瞥を伴うタスクの間においてはあまり瞬きを行わない傾向にある。
手前に述べられているとおり、選択された識別アルゴリズムは、速度およびばらつきプロトコルをはじめ、目および目の追跡装置の物理的特性によって輪郭が描かれる規則の間におけるハイブリッド・アルゴリズムである。オフ‐ライン・バージョンにおいては、処理が直列に行われ、最初に速度プロトコルが、デュアル・スレッショルドを使用して適用され、その後、規則を伴うばらつきプロトコルが適用される。これが図２３に図解されている。固視復元アルゴリズムは、ノイズまたはそのほかの何らかの信号の性質が（視覚上の規則に従って存在するべき）固視の検出を妨げたときに使用される。これが、ＤＴ‐Ｉおよび規則ベースのブロックからデュアルＶＴ‐Ｉブロックに戻る矢印として図解されている。また自動クラスタリング・アルゴリズムが、ハイブリッド・シェル内に導入された。これは、一瞥検出を管理する。
ここでは、さらに詳細に各アルゴリズム部分を説明する。導関数（速度）評価は、次の２点中心差分の平均、
∂ｙ（ｘ）＝（ｙ（ｘ＋ｈ）‐ｙ（ｘ‐ｈ））／２ｈ
が各注視成分に適用され、その後、二乗和の平方を用いてともに重み付けされて２‐Ｄ速度が形成されることによって計算される。ノイズは、信号を微分するとき常に問題であり、この問題を取り扱う１つの方法は、導関数のロー‐パス・フィルタリングである。しかしながら中心の差は、理想的な微分器および直列のロー‐パス・フィルタとして記述可能である。周波数応答は、次式により計算される。
Figure 0005036814
サンプリング・レートが約６０Ｈｚに設定されるとき、このフィルタは、約１４Ｈｚの３ｄＢカット‐オフ周波数を有する。このどちらかと言えば低いカット‐オフは、エイリアシングを防止し、３０Ｈｚを超える周波数が弱められるが、サッケードの開始および終了をひずませないだけの高さがまだあることを保証する。デュアル・スレッショルドおよび速度評価を図４４に示す。
５つの導関数アルゴリズムの１つの実験に基づく比較は、２点中心差分が１２ビットのデータについてもっとも正確なテクニックであることを明らかにした。この方法の利点の中でも、特にこれは単純、正確、かつ高速である。
サッケード検出のためのスレッショルドは、主として、結果と以前に行われた半自動分析の結果の比較によってセットされた。
ここでは、導関数の近似が自動的にロー‐パス・フィルタリングされるが、それでもなおノイズが多く、ノイズ・レベルは約７０°／秒である。しかしながら、データ収集システムが最良でも±３°の不正確性を有すること、および約３乃至４度を超える振幅についてサッケードの動きのピーク速度が１００°／秒より高いことから、まったく問題は提起されない。これにもかかわらず実際的な評価は、偶発的な誤りが滑り抜けることが、特にノイズが増加するときにあることを明らかにした。それらの不正確な識別は、セグメンテーション処理の次のステップ内のＤＴ‐Ｉ部分によって検出されて取り除かれる。したがって、速度評価のために３つの標本を使用する正確性のトレードオフは、無視可能であることが立証された。
第２ステップにおいては、上に述べた物理的な評価基準、およびばらつきベースのアルゴリズムの部分が、検出されたサッケードおよび固視が有効であるか否かを決定する（規則の適用）。例示的なサッケードおよび固視の３次元表現が図４５に提供されている。ノイズ・レベルが高いとき、導関数の近似がより敏感になり、混乱を招くアーティファクトが時として固視の中に検出される。それらの除去は、判断誤りを防止するいくつかの基本原則、すなわち（１）サッケードは、新しい固視のばらつきがスレッショルドより小さい場合に固視の部分に変更可能であり、また（２）サッケードは、固視の分散がスレッショルドより小さい場合に固視の部分に変更可能であるという基本原則を有する。
これらの評価基準が満たされるとき、２つの固視が、いくらかの追加ノイズを伴う線形補間を使用して結合される。ノイズは、信号のこの部分が非物理的になることを回避するために導入される。オリジナルの信号は、しばしばある種のスパイクを含み、そのために補間もそのようにする。
同様に、固視が非物理的、すなわちその持続時間が約１５０ミリ秒より短いときには、それが取り除かれ、単純にサッケードとしてマークされる。これは、信号の情報内容が低いときに生じる。
オフ‐ライン・バージョン（長い遅延が許容可能なとき）においては、注視信号内の、しばしば低い情報内容を補償するべく図４６に図解されるとおりの固視の復元アルゴリズムが開発された。これは、アルゴリズム自体がまだ安定していないとき、固視の開始時において生じ得る。サッケードが２００ミリ秒を超えて持続することはないという仮定の下にそれが良好に働き、そのようになる場合には、２つのサッケードおよびそれらの間の検出されていない固視であることがもっともありがちとなる。このことに基づき、アルゴリズムは、検出されていない固視を含むであろうと見られるサッケードを突きとめ、その後それらのフィルタリングを、前処理において使用されるもの（２０標本）よりいくらか長いスライディング・メディアン・フィルタを使用して行う。これは信号ノイズを、しばしば、新しい固視の検出に充分なまで静める。ここでは、これが多少なりとも検出を強要する簡単であり危険な方法であるように思われるかも知れない。しかしながらそれは、単にセグメンテーション公式の適応的性質にすぎず、妥当性検査部分に関して現実性と強く相関することが立証された。
一瞥分類アルゴリズムは、２つのステップで作用する。最初にすべてのクラスタに、それらの合計休止時間を基礎として自動的に位置が与えられる。２番目のステップにおいては、それらのクラスタが同じ休止データに基づいてそれら自体でクラスタ化し、ワールド・モデル目標物が形成される。ワールド・モデルは、異なるあらかじめ定義済みの視界エリアの単純な記述であり、たとえば右のリア・ビュー・ミラーまたは道路のまっすぐ前方等である。すべてのモデルは、運転者が道路のまっすぐ前方を見ているとき、その運転者に対して垂直の平面内において定義される。
最初のステップにおいて、クラスタの場所の粗い近似が、２Ｄ休止時間ヒストグラム、言い替えると図４７および４８に図示されるとおり、各固視の持続時間および平均ポジションに基づく異なる視界エリア内の合計の固視時間を使用して行われる。平均ポジションの使用は、ノイズ問題を軽減する単純な方法となることが判明した。ヒストグラムのビン‐サイズは、主として試行錯誤によって３×３度にセットされた。これは、各ピークがクラスタの概略のポジションを示す適切かつ滑らかなヒストグラムを作り出す。注視データが半径で与えられることから、実際のクラスタ平面は平面でなく、むしろ円筒の内側になる。したがって注視角度は、クラスタのサイズに影響を及ぼさない。概略のクラスタ・ポジションが決定された後は、各平均固視ポイントが、ユークリッド平均によって、もっとも近いクラスタ‐ポイントに割り当てられる。その後、すべてのクラスタがそれぞれのクラスタに関連するポイントの平均ポジションに更新される。
アルゴリズムはまた、各分類済み事象が、数値にエンコードされたそのポジション、開始、終了、持続時間、関連するクラスタ、およびタイプとともにマトリクス内にストアされる分類ログを作成し、それにおいてタイプはサッケードまたは固視になる。このログ‐マトリクスは、単純にデータの縮小であり、後に統計関数の計算のための基礎として使用される。
２番目のステップにおいては、すべてのクラスタがワールド・モデル上にマップされる。異なる幾何学的エリア、たとえばボックス、円、または同一またはほかの形状の組み合わせが、ミラー、中央スタック、計器クラスタ、およびこれらの類といった目標物を定義する。いくつかのクラスタが、通常、同一の一瞥に属する同一エリア内となる。それらがここで１つのクラスタに結合され、その平均ポジションが再計算される。ワールド・モデル目標物の数は、タスクとともに変動する。この研究のために３つの目標物の基本モデルが選択され、休止ヒストグラムに基づくアルゴリズムが、それらの目標物を適所に『フロート』させる。その後、目標物中心とすべてのクラスタ・ポジションの間の距離の標準偏差を計算する。目標物の９５％の信頼値内に落ちるクラスタは、それの部分と見なされ、その結果、そのクラスタを包含するべく目標物のサイズが調整される。ワールド・モデル目標物の数は、パラメータを介して容易に制御される。
これは、検査を、また場合によっては実験者から訂正を要求できる１つのステップである。これは、何が目標物であり、何がそうでないかに係る決定が、生信号内のノイズおよび非追跡に起因して非常に異なるからであり、実験者によって条件付きの推測が行わなければならない。人間の評価者を排除する１つの方法は、データを収集するときに日差しの強い日を避けることである。カメラ内への直射日光は、ほとんどすべての固視の食い違いを代表する１つの原因である。
ワールド・モデル・アプローチは、一瞥の分類以外の、たとえば道路上道路外比およびより大きなスケールの視覚的スキャン‐パターン等のほかの測定目的のために非常に有用となり得る。またそれは、注視信号がノイズを多く含むか、または信頼できないとき（たとえば、日光によって）および固視がより大きなエリア内において散乱され、実際にあるより多くのクラスタを形成する時にも有用である。処理の間は、ログ‐マトリクスが継続的に更新される。
関心エリアのテンプレートの作成時に２つの主要な問題、すなわち（１）それぞれすべての対象者および走行について較正が行われる必要があるという問題、および（２）目標物が、センサ・システムの不正確性に起因して、しばしば実際より大きく定義される必要があるという問題が存在する。データを調べる前にワールド目標物がどの程度の大きさを必要とするかを決定することは困難である。目標物が大きすぎれば、アウトライアが導入される可能性、または目標物が互いにオーバーラップしなければならない可能性が常に存在する。
これに照らせば、データの分析時にワールド・モデルを定義し、現在の状況にそれを適応させる方がより容易である。
最後に、ログ‐マトリクスを使用して統計的測度が作られる。それらの測度は、（１）休止時間、（２）一瞥の持続時間、（３）一瞥の頻度、（４）合計の一瞥時間、（５）一瞥の確率、（６）リンク値の確率、（７）前方道路シーン外の時間、（８）合計のタスク時間、および（９）遷移時間として定義されるところのものとなる。
一瞥の分類が実行された後は、それらの測度の計算は簡単であり、したがって含められていない。
リアル‐タイム実装の例は、オフ‐ライン・アルゴリズムに非常に類似している。相違は、『前方道路シーン』および『そのほかのエリア』だけがワールド・モデル目標物として定義されることである。出力は、各タスクについて、一瞥の合計数および、道路上および外の合計の一瞥時間である。タスクの開始および終了は、注釈または時間ギャップによってログ‐ファイル内に示される（ログ作成の間にマニュアルで行われる）。
いずれかの分類が行われる前に、前方道路シーンのワールド目標物が突きとめられる。これは、初期化段階の、特定の対象者および走行のためのセットアップの較正を使用して行われる。前方道路シーンのエリアは、注視密度関数によって突きとめられる。運転者の注意力のほとんどは、このエリアに向けられ、休止時間密度関数は、常に、図４８に示されるとおり、それの中心に非常に有意なピークを有する。このエリア内における固視の分布は、ガウス分布であると近似される。したがって、休止ヒストグラム内のもっとも高いポイントを平均の固視ポジションの値として使用して標準偏差を計算することが可能である。技術的には、計算されるのは標準偏差でなく、正確に言えばモードの偏差である。前方道路シーンが、その後、９５％の信頼性の値内にあると見なされる。この手順は、ヨーおよびピッチ両方についてそれぞれ行われ、その結果、前方道路シーンを表す楕円のエリアが形成される。
初期化の間にサーチ・エリアが、おそらくは前方道路シーンとなるところ、通常は、半径１０°および中心（０，０）を伴う円に限定され、このエリア内に落ちる固視だけが計算のために使用される。これにもかかわらず、９５％の信頼度境界に、数人の対象者について良好に作用するようにするために下および右に約２度の偏り、すなわち対象者の注視が道路の湾曲を追随するときに生じる特性が与えられなければならなかった。これらの逸脱に対する単純な解決策は、例として述べれば、湾曲の追随を可能にする時間ウインドウを使用する、より長い初期化期間または追加の計算である。ヨー‐レートが使用可能な場合には、前方道路シーンの中心をこの信号に適応させて問題を解決することがおそらく可能であったが、現時点においてはこれが乗り物内に一般的なセンサでない。初期化段階を図４９に見ることができる。較正プロセスは、有効な値を生成する前に、約５分間の正常運転を使用して最適に動作するべく調整された。
類似の問題が、運転者がタスクを実行するときに生じる。目は、前方道路エリアの中心に戻るように思われず、むしろある程度二次的タスク（運転が一次）の方向になる。頭の偏りをこの挙動の答えとすることができ、これはそれが前方道路シーンに対して垂直でなく、したがって注視の評価に偏りを導入していることを意味する。対象者が前方道路シーンとするところから目を逸らすほど、注視の評価があまり正確でなくなる。
初期段階が完了するとすぐに、デュアルＶＴ‐Ｉ、ＤＴ‐Ｉ、および規則が有効とされる。デュアルＶＴ‐Ｉが、最初にサッケード‐固視の組み合わせを識別する。これが、すなわち一瞥の最短形式が、その後ＤＴ‐Ｉおよび規則に、その一瞥時間とともに送られる。微小一瞥、たとえばあるエリア内の固視の連続は、それらが同一のエリア内に属する場合には結合され、言い替えるとＩＳＯ／ＳＡＥ標準に従って一瞥が形成される。一瞥時間が合計され、図３５に図示されているところのクラスタリング・アルゴリズムからの出力である前方道路上／外信号と同期されたカウンタに転送される。カウンタは、同一のタスクに属するすべての一瞥および一瞥時間を記録し、その後、新しいタスクごとにリセットされる。しかしながらリセットが実行される前に、データがログ作成目的のために送出され、処理される。この場合においては、タスクの開始および終了を示すために時間ギャップが使用される。
アルゴリズムは、ビデオ・トランスクリプションを使用するＶＤＭ妥当性確認研究からのデータに対して妥当性検査が行われた。ビデオ・トランスクリプションは、ＩＳＯ １５００７‐２およびＳＡＥＪ‐２３９６方法に従って行われた。７人の対象者を使用し、４つの測度、すなわち（１）タスクの長さ、（２）一瞥の頻度、（３）平均の一瞥持続時間、および（４）合計の一瞥時間が比較された。
妥当性検査は、視覚的に確認された各一瞥を伴うタスクごとにあらかじめ形成され、適正なアルゴリズム機能が保証された。いくつかの固視が、非常に良好に作用することが立証された復元アルゴリズムを使用して自動的に復元され、またそれは、実際に計算誤りを生じなかった。
ピアソン積移動は、すべての重要な測度に対する分析タイプの間の高い相関を明らかにし、タスクの長さはｒ＝０．９９９、一瞥の頻度はｒ＝０．９９８、平均の一瞥持続時間はｒ＝０．８１６、また合計の一瞥時間はｒ＝０．９９５であった。これは、それぞれがｒ＝０．９９１、ｒ＝０．９９７、ｒ＝０．７３２、およびｒ＝０．９９５となる『自動運転者視覚挙動測定』における結果に匹敵することになる。図５０乃至５３は、各タスクについて平均および標準偏差のプロットである。
リアル‐タイム・アルゴリズムは、ＶＤＭ妥当性確認研究からビデオ・トランスクライブされた６人の対象者に対して妥当性検査された。オフ‐ラインの妥当性検査に使用された対象者の１人は、ベースライン運転がない（較正データがない）ことから外さなければならなかった。
３つの測度、すなわち（１）一瞥の数、（２）合計の一瞥時間、および（３）平均の一瞥時間が比較された。
各対象者の全体の運転は、連続してアルゴリズムを通じて行われた。各走行は、５分しか必要がないところ、安全を見越して２０分のシステムを較正するための正常な自動車道路（ベースライン）の運転を伴って開始された。ピアソン積移動は、２つの測度に対する分析タイプの間の高い相関を明らかにし、一瞥の数はｒ＝０．９２５、および合計の一瞥時間はｒ＝０．９６４であった。しかしながら、平均の一瞥時間は、非常によくは相関せず、ｒ＝０．３０１であった。図５４乃至５６は、各タスクについて平均および標準偏差のプロットである。
妥当性検査からの結果は、データ品質が、それの最適レベルにないときであってもこのアルゴリズムがきわめて信頼できるものであることを立証し、たとえばこのアルゴリズムは、変動するノイズ・レベルおよび信号の正確度に対しても堅牢である。また、視覚上の動きの規則を使用し、アルゴリズムは、信号内のほとんど消滅してしまっている固視を回復することができる。
分析方法の間の相関は非常に高く、平均の一瞥持続時間も強い（ｒ＝０．８２）とは言え、それを除くすべての測度について０．９９の領域内（オフ‐ライン・バージョン）となる。しかしながら低い相関が、ほかの２つに基づく測度から予測できた。
前処理もまた、良好に機能することが立証された。１５標本メディアン・フィルタは、ノイズおよび瞬きを非常に効率的に弱める一方、サッケードの開始／終了を保存した。
デュアルＶＴ‐Ｉ、ＤＴ‐Ｉ、および規則の組み合わせは、期待以上に機能することが立証された。デュアルＶＴ‐Ｉの精度およびＤＴ‐Ｉの信頼度は、目の動きについての物理的規則と協働して、一時的なセンサの信頼度の低下および高いノイズ・レベルに対して堅牢なアルゴリズムを形成した。
堅牢かつ信頼性のあるリアル‐タイム一瞥検出を有することが可能であることが示された。シミュレーションは、２つの測度（一瞥の数および合計の一瞥時間）に関する高い相関を明らかにした。しかしながら、平均の一瞥時間については相関が低かった（ｒ＝０．３０１）。リアル‐タイム・アルゴリズムが、ミラーに向かう一瞥とラジオに向かうそれを区別できないことを念頭に置くと、すべての測度がむしろ低いことが予想できた。リアル‐タイム・アルゴリズムをオフ‐ライン・バージョンと等しく正確にすることは可能である。これは、乗り物の内側でもっとも一般的に見られる物体、たとえば内部のミラー、サイド・ミラー、計器クラスタ、および中央スタックを識別することによって達成されることになる。これらの物体は、乗り物内において明瞭に引き離されており、したがって互いに混同されることはない。さらに、この特定の物体のための開始段階を始めるには、これらの物体の１つのためのもっともありがちなエリアとして定義されるエリア内において、わずかに１つまたは２つの一瞥だけを採用すればよい。もっとも一般に見られる物体は、この誤りにもっとも寄与するものであり、またもっとも検出が容易なものでもある。
このほかのデータ・セットがビデオ・トランスクライブされていないか、またはほかの方法で分析されていないことから、異なるアルゴリズム部分、たとえばリアル‐タイム初期化をテストするためにそれだけが使用された。しかしながらこの研究は、このデータの分析のための扉を開いた。
ＩＳＯ １５００７‐２およびＳＡＥＪ‐２３９６標準内の定義および測度に従って機能する堅牢なハイブリッド・アルゴリズムが開発された。当該方法は、実質的にビデオ・トランスクリプションより高速であり、１時間のデータがビデオ・トランスクリプションでは約１日を要するのに比べて、現在のノイズ・レベルに対しても自動的に適応するこのアルゴリズムを用いれば数分である。
本発明（１つまたは複数）の開発の間に、次の事項の達成が観察された。（１）前処理メディアン・フィルタの長さが、６０Ｈｚにおいてサンプリングされたデータについて１５標本に最適化された。（２）視覚上の規則によると固視が存在するべきノイズの多い信号部分に対しては２０標本のメディアン・フィルタが使用される。これは、固視を検出するに充分なまで信号を静める。（３）現在のノイズ・レベルに適応する２つの固視／サッケード検出アルゴリズムの堅牢なハイブリッド、および決定アルゴリズムが開発され、６０Ｈｚのデータ用に調整された。（４）目の動きについての物理的な規則が、スマート決定および制御アルゴリズムとして実装される。（５）自動および堅牢な、最低限のインタラクションを必要とする方法がタスク分析用に開発された。（６）アルゴリズムのリアル‐タイム・バージョンが開発され、妥当性検査された。（７）アルゴリズムのリアル‐タイム・バージョンは、一瞥を『まっすぐ前方の道路』または『そのほか』のカテゴリにセグメント化する新しいフレームワークを使用する。（８）ＩＳＯ／ＳＡＥ内のすべての測度が実装された。
この論文は、実際の道路上環境においてテストされる目の動きデータを使用できるいくつかの興味深い乗り物内製品応用のための扉を開く。たとえば、作業負荷評価、注意力評価、眠気検出、適応インターフェース、適応警報等、エルゴノミクス評価、ＨＭＩ研究、認識作業負荷の研究、注意散漫、眠気、およびこれらの類は、すべて、ここに定義された本発明の潜在的な興味深い応用である。
このように運転者の心理への新しい道筋が開かれた。今日的環境においては、まだ、データのロードおよび保存、セグメンテーションの目視検査、および時折のワールド・モデルの調整といったいくつかのマニュアル・ステップが行われる。しかしながらこれらのマニュアル・タスクを自動化すること、および本発明に従ってそれを実行することは企図されており、また当業者の理解の充分に内側である。これは特に、固視を大きなエリアにわたって散乱させ、場合によってはクラスタを互いに『溶融させる』ことさえあるカメラ内への直射日光を伴うときに当て嵌まる。したがって、その分析ツールは、より堅牢かつ正確になり、これらのステップのいくつかが必要なくなり、おそらくはバッチ処理が可能となろう。
本発明は、運転者の目からの可能な限りの有用な情報を乗り物（および研究者）に提供するべく堅牢かつ知的に機能するリアル‐タイム・アルゴリズムを有することを企図する。当該リアル‐タイム・アルゴリズムは、いくつかの目標物の堅牢かつ知的な分類が可能になるであろう。実世界に対するワールド・モデル目標物のリアル‐タイム適応は、事象およびデータのログを行うことになる。１つの興味深いアプローチは、ＨＭＭ状態として目標エリアを実装することである。この統計的アプローチの目標分類の導入は、それが目標エリアの境界をより浮動的にすることから強化することができる。１つの興味深いアイディアは、ワールド・モデル・エリアに、固視がほかの目標物の外、またはそれから距離が離れて登録されるとき、常に、動的ワールド・モデルをポップ・アップさせることである。ワールド・モデルは、この目標物の履歴を使用してワールド・モデルを較正し、インテリジェントな決定、たとえば目標物の完全なタスク指向の決定を行うことができる。
検出アルゴリズムに関しては、ほかのセンサ情報を利用することが可能である。近代的な車両においては、ＣＡＮバスに、ステアリング角度、方向指示器の作動、乗り物の速度、および特定のボタンが押されたか否かといった、追跡が失敗したときに注視方向の評価に有用となり得るセンサ信号で満ちている。これはまた、交通環境についての情報も提供し、したがって地方、郊外、および都市の交通等の特定の交通環境についてセグメンテーション・パラメータを最適化できる。大規模運転パターンを認識する相当に好結果のアプローチも完成された。
復元アルゴリズムが使用される、より良好な、道路から逸れる固視の開始の中のノイズを低減する方法が存在するか否かを明らかにするために、ほかのＷＨＭ‐フィルタをテストすることが可能である。フィルタの叢は、厖大であると思われる。
アルゴリズムをサポートする１つの形は、対象者の頭がしばしば目と同一の方向に、少なくとも横の注視について移動するという事実とすることができる。このアプローチの欠点は、対象者個別の相違から生ずる。一部の対象者は、実質的にまったく頭を動かさないが、ほかの対象者は常に動かす。それでもなおこれは、注視がノイズを多く含むときにセグメンテーションを補助する適切な方法となり得る。
リアル‐タイム・アルゴリズムにおいては、続く６つの標本の予測が、１００ミリ秒の速度の向上をもたらすことになる。サッケード信号は、少なくともいくつかのポイントにおいて、非常に小さな誤差を伴い、５ポイントの二次予測器を使用して予測が可能である。速度は、リアル‐タイム・アルゴリズムにおいてもっとも高い重要性を有する事項である。
上に述べられていることに照らせば、これらのアルゴリズムの微調整が将来に続くことは明らかである。すでに進行中の１つの開発は、『視覚的要求測定ツール』または単純に『ＶＤＭ‐ツール』と呼ばれるアルゴリズムＧＵＩである。このプログラムの目的は、目の動きの分析を希望する任意の者のために分析ツールを使用容易にすることである。
方法およびそれらの方法を実行できる装置両方を含む本発明の分析テクニックの多くの態様を開示してきた。この分析の重要な特性は、少なくとも部分的な根拠を運転者の目の動きおよびリアル‐タイム・ベースで行われる評価に関して含む。

Claims (28)

  1. 乗り物内における運転者の生理学的な向きの観察から導かれる運転者の視覚的関心場所を分析する方法であって、
    複数の運転者注視方向に関するデータを獲得すること、およびそれにおいて各運転者注視方向に関する前記データがあらかじめ定められたデータ・セットによって定義されること、
    前記データを、コンピュータ‐ベースのプロセッサを使用して処理すること、
    前記複数の運転者注視方向に関する前記データを、前記運転者の視覚的関心場所に関しての分析のために、指定の場所上または該場所外のいずれかとして分類すること、
    前記分類済み運転者注視方向に関する前記データを部分集合化することを包含する該方法において、
    前記複数の分類済み運転者注視方向に関する前記データのそれぞれを、それぞれの運転者注視方向に関する前記データが前記場所上であるか、または前記場所外であるかを表す２つのバイナリ値のうちの１つに変換することで、各標本または時間単位内において前記運転者の視覚的関心場所が前記場所上であるか、または前記場所外であるかを表す分類信号を形成すること、
    前記分類信号により前記場所上と前記場所外との周期の数をカウントすることによって一瞥の頻度を計算すること、および
    前記分類信号により前記場所上と前記場所外との前記周期における連続する注視区間の開始および終了に基づいて一瞥の持続時間を計算すること、
    を特徴とする方法。
  2. 測定デバイスにより最適性能が提供されるエリアだけが運転者注視方向に関する前記データに利用される、請求項１に記載の方法。
  3. 測定デバイスによって測定される実際の道路中心の部分集合は、分析のためにあらかじめ定義された道路中心エリアに含まれる、請求項１に記載の方法。
  4. 異なる道路特性に関連して異なる視覚的挙動が測定されるときは、重ね合わせた態様で複数の道路中心エリアが定義される、請求項１に記載の方法。
  5. 前記バイナリ値は１および０であり、前記分析において、前記１および０の値が、前記１および０の値が導かれた前記獲得されたデータを用いるよりも、より迅速に処理可能である、請求項１に記載の方法。
  6. 場所上の運転者注視方向に関する前記データとして分類される決定済み評価基準を満たさなかったときに、少なくともいくつかの前記分類が、前記場所外の運転者注視方向に関する前記データとして推定される、請求項１に記載の方法。
  7. 前記分析は、運転者の眠気ではなく高められた運転者の作業負荷の時間に関連する、請求項１に記載の方法。
  8. 運転者注視方向に関する前記データを定義する各データ・セットは、検知された前記運転者の身体の腰上部分の向きから導かれる、請求項１に記載の方法。
  9. 運転者注視方向に関する前記データを定義する各データ・セットは、検知された前記運転者の身体の上側胴部分の向きから導かれる、請求項１に記載の方法。
  10. 前記検知された上側胴部分の向きは、超音波デバイスを使用して検知される、請求項９に記載の方法。
  11. 前記検知された前記運転者の頭の向きは、カメラ・センサを使用して検知される、請求項９に記載の方法。
  12. 運転者注視方向に関する前記データを定義する各データ・セットは、検知された前記運転者の頭の向きから導かれる、請求項１に記載の方法。
  13. 前記検知された前記運転者の頭の向きは、カメラ・センサを使用して検知される、請求項１２に記載の方法。
  14. 前記検知された前記運転者の頭の向きは、静電容量センサを使用して検知される、請求項１２に記載の方法。
  15. 運転者注視方向に関する前記データを定義する各データ・セットは、検知された前記運転者の少なくとも１つの目の向きから導かれる、請求項１に記載の方法。
  16. 前記場所は、道路中心の場所である、請求項１に記載の方法。
  17. 前記場所は、リア・ビュー・ミラーの場所である、請求項１に記載の方法。
  18. 前記場所は、サイド・ミラーの場所である、請求項１に記載の方法。
  19. 前記場所は、車両アクセサリの場所である、請求項１に記載の方法。
  20. 前記場所は、個人用アクセサリの場所である、請求項１に記載の方法。
  21. さらに、コンピュータ‐ベースのプロセッサを使用して前記分類済み注視方向に関する前記データを分析すること、およびそれらから運転者の注意力の過剰な量が前記場所外に注がれているか否かを運転者の作業負荷の評価に基づいて決定することを包含する、請求項１に記載の方法。
  22. さらに、運転者の注意力の過剰な量が前記場所外に注がれていると決定した後に、運転制御タスクに向けた前記運転者の注意力の刺激を開始することを包含する、請求項２１に記載の方法。
  23. さらに、前記運転者の注意力の刺激に先行して運転制御タスクの動作の減退を検出することを包含する、請求項２２に記載の方法。
  24. 前記運転制御タスクの動作の減退は、一貫性のないステアリングに基づく、請求項２３に記載の方法。
  25. 前記運転制御タスクの動作の減退は、一貫性のない車線維持に基づく、請求項２３に記載の方法。
  26. 前記運転制御タスクの動作の減退は、一貫性のない乗り物速度に基づく、請求項２３に記載の方法。
  27. さらに、コンピュータ‐ベースのプロセッサを使用して前記分類済み注視方向に関する前記データを分析すること、およびそれらから運転者の注意力の過剰な量が前記道路中心の場所外に注がれているか否かを運転者の作業負荷の評価に基づいて決定することを包含する、請求項１６に記載の方法。
  28. さらに、運転者の注意力の過剰な量が前記場所外に注がれていると決定した後に、運転制御タスクに向けた前記運転者の注意力の刺激を開始することを包含する、請求項２７に記載の方法。
JP2009515343A 2006-06-11 2007-06-11 視覚的関心場所の決定および分析のための方法および装置 Expired - Fee Related JP5036814B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80444406P 2006-06-11 2006-06-11
US60/804,444 2006-06-11
PCT/SE2007/000567 WO2007145566A1 (en) 2006-06-11 2007-06-11 Method and apparatus for determining and analyzing a location of visual interest

Publications (3)

Publication Number Publication Date
JP2009540459A JP2009540459A (ja) 2009-11-19
JP2009540459A5 JP2009540459A5 (ja) 2012-07-19
JP5036814B2 true JP5036814B2 (ja) 2012-09-26

Family

ID=38831990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009515343A Expired - Fee Related JP5036814B2 (ja) 2006-06-11 2007-06-11 視覚的関心場所の決定および分析のための方法および装置

Country Status (6)

Country Link
US (1) US8487775B2 (ja)
EP (1) EP2032034B1 (ja)
JP (1) JP5036814B2 (ja)
CN (1) CN101466305B (ja)
BR (1) BRPI0712837B8 (ja)
WO (1) WO2007145566A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4261072A1 (en) * 2022-03-28 2023-10-18 Honeywell International Inc. Systems and methods for transforming video data in an indirect vision system

Families Citing this family (235)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893507B2 (ja) * 2007-07-04 2012-03-07 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP4946672B2 (ja) * 2007-07-04 2012-06-06 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
FR2943901B1 (fr) * 2009-04-01 2017-11-17 E(Ye)Brain Procede et systeme de detection d'anomalies oculomotrices.
JP5287746B2 (ja) * 2009-05-21 2013-09-11 日産自動車株式会社 運転支援装置、及び運転支援方法
US8761821B2 (en) 2009-07-21 2014-06-24 Katasi Llc Method and system for controlling a mobile communication device in a moving vehicle
US9386447B2 (en) 2009-07-21 2016-07-05 Scott Ferrill Tibbitts Method and system for controlling a mobile communication device
US9615213B2 (en) 2009-07-21 2017-04-04 Katasi Llc Method and system for controlling and modifying driving behaviors
CN102666207A (zh) * 2009-09-29 2012-09-12 沃尔沃技术公司 准备传感器组件的传感器输出数据在至少一个应用中和/或通过至少一个算法来进一步处理的方法和系统
US9688286B2 (en) * 2009-09-29 2017-06-27 Omnitracs, Llc System and method for integrating smartphone technology into a safety management platform to improve driver safety
CA2781064C (en) * 2009-11-19 2019-07-02 Esight Corp. Image magnification on a head mounted display
JP2013514592A (ja) * 2009-12-18 2013-04-25 本田技研工業株式会社 視線技術、死角インジケータ及びドライバ経験を用いる予測ヒューマン・マシン・インタフェース
US8825304B2 (en) 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5810511B2 (ja) * 2010-11-10 2015-11-11 日産自動車株式会社 車両用表示装置および車両用表示方法
US9691289B2 (en) * 2010-12-22 2017-06-27 Brightstar Learning Monotonous game-like task to promote effortless automatic recognition of sight words
WO2012089261A1 (en) * 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
US9952046B1 (en) 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
CN102151120B (zh) * 2011-02-24 2012-12-12 复旦大学 眩光动态评估系统
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8766819B2 (en) * 2011-06-17 2014-07-01 The Boeing Company Crew allertness monitoring of biowaves
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013023061A1 (en) * 2011-08-09 2013-02-14 Ims Solutions, Inc. Vehicle monitoring system with automatic driver identification
DE102011111213A1 (de) * 2011-08-20 2013-02-21 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Vorrichtung und Verfahren zur Ausgabe von Informationen
US9442565B2 (en) * 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
JP5657809B2 (ja) * 2011-10-06 2015-01-21 本田技研工業株式会社 脇見検出装置
DE102011117850B4 (de) * 2011-11-08 2020-12-03 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug
TWI478691B (zh) * 2012-01-06 2015-04-01 Wistron Corp 睡意偵測方法及其裝置
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
JP6219952B2 (ja) * 2012-08-14 2017-10-25 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
JP6215944B2 (ja) * 2012-08-20 2017-10-18 オートリブ ディベロップメント エービー 眠気を検知するための、まぶたの動きに関する処理
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
US9428052B1 (en) * 2012-09-08 2016-08-30 Towers Watson Software Limited Automated distraction measurement of machine operator
JP6288653B2 (ja) * 2012-10-19 2018-03-07 オートリブ ディベロップメント エービー 運転者注意力検出方法および装置
CN102930693B (zh) * 2012-11-06 2015-01-21 深圳市艾大机器人有限公司 安全驾驶预警方法
US9031729B2 (en) * 2012-11-29 2015-05-12 Volkswagen Ag Method and system for controlling a vehicle
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
JP6068964B2 (ja) * 2012-12-07 2017-01-25 公立大学法人首都大学東京 人の状態推定装置およびそれを備えた輸送機器
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
DE102014100352B4 (de) 2013-01-18 2020-07-23 Carnegie Mellon University Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
DE102014100364B4 (de) * 2013-01-18 2020-08-13 Carnegie Mellon University Verfahren zum Bestimmen, ob eine Augen-abseits-der-Straße-Bedingung vorliegt
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
JP6221292B2 (ja) * 2013-03-26 2017-11-01 富士通株式会社 集中度判定プログラム、集中度判定装置、および集中度判定方法
DE102013206212A1 (de) * 2013-04-09 2014-10-09 Ford Global Technologies, Llc Verfahren zur Steuerung eines Fahrzeugs mit temporär autonomer Fahrzeugführung sowie Steuerungseinrichtung
CN104112334B (zh) * 2013-04-16 2017-12-22 百度在线网络技术（北京）有限公司 疲劳驾驶预警方法及系统
FI124068B (en) * 2013-05-03 2014-02-28 Jyvaeskylaen Yliopisto Procedure for improving driving safety
KR101500085B1 (ko) * 2013-06-13 2015-03-18 현대자동차주식회사 벡터를 이용한 시선 추적 장치 및 방법
DE102013213236A1 (de) * 2013-07-05 2015-01-08 Robert Bosch Gmbh Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers
TWI493511B (zh) * 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
PT3063694T (pt) * 2013-11-01 2020-04-13 Cybergym Control Ltd Defesa cibernética
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
KR101539302B1 (ko) * 2013-12-11 2015-07-30 현대자동차주식회사 차량 및 그 제어방법
US20150185831A1 (en) * 2013-12-26 2015-07-02 Dinu Petre Madau Switching between gaze tracking and head tracking
US10417486B2 (en) * 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
US8977376B1 (en) 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement
CN103767715B (zh) * 2014-01-15 2015-10-28 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测装置
DE102014201036A1 (de) * 2014-01-21 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
US20150221341A1 (en) * 2014-01-31 2015-08-06 Audi Ag System and method for enhanced time-lapse video generation using panoramic imagery
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
US9189692B2 (en) * 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
US9412363B2 (en) 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
US9827992B2 (en) * 2014-03-19 2017-11-28 Ford Global Technologies, Llc Driver anomaly detection
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
CN104008664B (zh) * 2014-04-18 2017-03-01 小米科技有限责任公司 路况信息获取方法及相关装置
CN103903276B (zh) * 2014-04-23 2017-01-11 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
JP6409318B2 (ja) * 2014-04-25 2018-10-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
WO2015175435A1 (en) * 2014-05-12 2015-11-19 Automotive Technologiesinternational, Inc. Driver health and fatigue monitoring system and method
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US9754325B1 (en) 2014-05-20 2017-09-05 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10319039B1 (en) 2014-05-20 2019-06-11 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10185999B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and telematics
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
KR20150139229A (ko) * 2014-06-03 2015-12-11 현대모비스 주식회사 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
US9849834B2 (en) * 2014-06-11 2017-12-26 Ford Gloabl Technologies, L.L.C. System and method for improving vehicle wrong-way detection
AU2015278237B2 (en) * 2014-06-20 2018-01-18 Sdip Holdings Pty Ltd Monitoring drowsiness
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
CN106663377B (zh) 2014-06-23 2019-04-09 株式会社电装 驾驶员的驾驶不能状态检测装置
WO2015198542A1 (ja) 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
GR1008670B (el) 2014-07-03 2016-02-03 Ιωαννης Μηνα Ασλανης-Ασλανιδης Συσκευη οφθαλμικης ιχνηλατησης κατα την αναγνωση
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
JP6065885B2 (ja) * 2014-07-15 2017-01-25 株式会社デンソー 状態判定装置
US10475127B1 (en) 2014-07-21 2019-11-12 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and insurance incentives
US9972184B2 (en) * 2014-07-24 2018-05-15 State Farm Mutual Automobile Insurance Company Systems and methods for monitoring a vehicle operator and for monitoring an operating environment within the vehicle
EP3147171A4 (en) * 2014-08-05 2018-01-24 Launch Tech Company Limited Method, device, and system for generating driving behavior guidance information
US9778628B2 (en) * 2014-08-07 2017-10-03 Goodrich Corporation Optimization of human supervisors and cyber-physical systems
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
KR101628493B1 (ko) * 2014-10-10 2016-06-21 현대자동차주식회사 안경 착용자의 시선 추적 장치 및 그 방법
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
US20200219197A1 (en) 2014-11-13 2020-07-09 State Farm Mutual Automobile Insurance Company Personal insurance policies
DE102014117830A1 (de) * 2014-12-04 2016-06-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines fahrerspezifischen Totwinkelfeldes für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzeug
CN104463916B (zh) * 2014-12-31 2017-04-12 武汉大学 基于随机游走的眼动注视点测定方法
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
DE102015201369A1 (de) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US20160267335A1 (en) * 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
US9798941B2 (en) 2015-03-18 2017-10-24 Ford Global Technologies, Llc Driver visual sensor behavior study device
CN104700090B (zh) * 2015-03-25 2017-11-28 武汉大学 基于密度的眼动注视点测定方法及系统
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
US10434878B2 (en) 2015-07-02 2019-10-08 Volvo Truck Corporation Information system for a vehicle with virtual control of a secondary in-vehicle display unit
US10475299B2 (en) 2015-07-20 2019-11-12 Banner Engineering Corporation Modular indicator
US9997031B2 (en) 2015-07-20 2018-06-12 Banner Engineering Corporation Modular indicator
EP3332554B1 (en) 2015-08-07 2022-07-06 Apple Inc. System and method for displaying a stream of images
US10546193B2 (en) 2015-08-07 2020-01-28 Apple Inc. Method and system to control a workflow and method and system for providing a set of task-specific control parameters
US9845097B2 (en) * 2015-08-12 2017-12-19 Ford Global Technologies, Llc Driver attention evaluation
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9868394B1 (en) 2015-08-28 2018-01-16 State Farm Mutual Automobile Insurance Company Vehicular warnings based upon pedestrian or cyclist presence
US11162793B2 (en) * 2015-09-15 2021-11-02 Here Global B.V. Method and apparatus for autonomous navigation speed at intersections
DE102015217783A1 (de) 2015-09-17 2017-03-23 Conti Temic Microelectronic Gmbh Verbesserter Spurassistent
US10401953B2 (en) * 2015-10-26 2019-09-03 Pillantas Inc. Systems and methods for eye vergence control in real and augmented reality environments
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US9886958B2 (en) 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
US10040551B2 (en) * 2015-12-22 2018-08-07 International Business Machines Corporation Drone delivery of coffee based on a cognitive state of an individual
CN106923908B (zh) * 2015-12-29 2021-09-24 东洋大学校产学协力团 性别注视特性分析系统
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US10156848B1 (en) 2016-01-22 2018-12-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle routing during emergencies
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
EP3235701B1 (en) * 2016-04-20 2021-08-18 Honda Research Institute Europe GmbH Method and driver assistance system for assisting a driver in driving a vehicle
JP6699831B2 (ja) * 2016-04-28 2020-05-27 トヨタ自動車株式会社 運転意識推定装置
US10083672B1 (en) 2016-04-29 2018-09-25 Rich Media Ventures, Llc Automatic customization of e-books based on reader specifications
US9886172B1 (en) * 2016-04-29 2018-02-06 Rich Media Ventures, Llc Social media-based publishing and feedback
US10015244B1 (en) 2016-04-29 2018-07-03 Rich Media Ventures, Llc Self-publishing workflow
US9864737B1 (en) 2016-04-29 2018-01-09 Rich Media Ventures, Llc Crowd sourcing-assisted self-publishing
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
CN114666499A (zh) * 2016-05-11 2022-06-24 索尼公司 图像处理设备、图像处理方法和可移动体
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US10963741B2 (en) * 2016-06-07 2021-03-30 Toyota Motor Europe Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
CN106080194A (zh) * 2016-06-14 2016-11-09 李英德 防疲劳驾驶的预警方法和系统
JP6759743B2 (ja) * 2016-06-17 2020-09-23 アイシン精機株式会社 視認方向推定装置
US10726576B2 (en) 2016-06-29 2020-07-28 Seeing Machines Limited System and method for identifying a camera pose of a forward facing camera in a vehicle
US9972134B2 (en) 2016-06-30 2018-05-15 Microsoft Technology Licensing, Llc Adaptive smoothing based on user focus on a target object
JP2019531560A (ja) 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US10025383B2 (en) * 2016-07-20 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Automatic pause and resume of media content during automated driving based on driver's gaze
US9760827B1 (en) * 2016-07-22 2017-09-12 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US10210451B2 (en) 2016-07-22 2019-02-19 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US20180032816A1 (en) * 2016-07-29 2018-02-01 Worcester Polytechnic Institute Fixation identification using density optimization
JP2019527832A (ja) 2016-08-09 2019-10-03 ナウト, インコーポレイテッドNauto, Inc. 正確な位置特定およびマッピングのためのシステムおよび方法
EP3500975A1 (en) * 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for providing visual allocation management
EP3500466A2 (en) * 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for using an attention buffer to improve resource allocation management
EP3290284A1 (en) * 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
CN106529409B (zh) * 2016-10-10 2019-08-09 中山大学 一种基于头部姿态的眼睛注视视角测定方法
US10246014B2 (en) * 2016-11-07 2019-04-02 Nauto, Inc. System and method for driver distraction determination
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
JP2018081539A (ja) * 2016-11-17 2018-05-24 パイオニア株式会社 制御装置、制御方法及びプログラム
WO2018097204A1 (ja) * 2016-11-22 2018-05-31 国立研究開発法人宇宙航空研究開発機構 注意力低下状態の推定のためのシステム、方法、プログラム、及びプログラムを記憶した記憶媒体
US10796147B1 (en) * 2016-12-12 2020-10-06 Keith Hanna Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
US10346697B2 (en) 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
JP6344747B2 (ja) * 2016-12-26 2018-06-20 ヤマハ発動機株式会社 演算処理装置及び人の状態推定方法
US10891502B1 (en) * 2017-01-19 2021-01-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for alleviating driver distractions
US20180225617A1 (en) * 2017-02-06 2018-08-09 Google Inc. Method and system for automated work pattern quantification
JP7021236B2 (ja) * 2017-02-09 2022-02-16 グーグル エルエルシー 視覚入力を使用したエージェントナビゲーション
US10296786B2 (en) * 2017-02-15 2019-05-21 International Business Machines Corporation Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
US10191462B2 (en) * 2017-06-06 2019-01-29 International Business Machines Corporation Vehicle electronic receptionist for communications management
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
WO2018229548A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for contextualized vehicle operation determination
CN107368808B (zh) * 2017-07-20 2020-02-21 湖南科乐坊教育科技股份有限公司 一种儿童阅读状态检测方法及装置
DE102017213679A1 (de) * 2017-08-07 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Fahrerzustandsbewertung sowie Fahrzeug
JP7329755B2 (ja) * 2017-08-31 2023-08-21 パナソニックＩｐマネジメント株式会社 支援方法およびそれを利用した支援システム、支援装置
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
US10572745B2 (en) 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US11042994B2 (en) * 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints
CN111970958A (zh) * 2017-11-30 2020-11-20 思维股份公司 用于检测神经障碍和测量一般认知能力的系统和方法
WO2019125098A1 (es) * 2017-12-19 2019-06-27 Dino Alejandro Pardo Guzman Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos
US10528802B2 (en) * 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
CN108491823B (zh) * 2018-03-30 2021-12-24 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
US10528832B2 (en) * 2018-04-17 2020-01-07 GM Global Technology Operations LLC Methods and systems for processing driver attention data
CN108596106B (zh) * 2018-04-26 2023-12-05 京东方科技集团股份有限公司 基于vr设备的视觉疲劳识别方法及其装置、vr设备
JP7099037B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution
WO2019235263A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10849543B2 (en) * 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
GB2591036B (en) * 2018-09-19 2023-03-15 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
GB2577270B (en) * 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
JP7263734B2 (ja) * 2018-10-29 2023-04-25 株式会社アイシン 視認対象判定装置
US11150656B2 (en) * 2018-11-19 2021-10-19 Honda Motor Co., Ltd. Autonomous vehicle decision making
FR3090172B1 (fr) * 2018-12-13 2020-11-20 Continental Automotive France Procédé de détermination d’un niveau de vigilance d’un conducteur
US11488399B2 (en) * 2018-12-19 2022-11-01 Magna Electronics Inc. Vehicle driver monitoring system for determining driver workload
CN109752727B (zh) * 2019-01-11 2022-03-04 山东科技大学 一种机载LiDAR测深海气界面折射改正方法
US10921883B2 (en) 2019-01-17 2021-02-16 International Business Machines Corporation Eye tracking for management of mobile device
JP2020158047A (ja) * 2019-03-28 2020-10-01 本田技研工業株式会社 車両制御システム
GB2582775B (en) * 2019-04-02 2022-04-06 Jaguar Land Rover Ltd Attention level determination
KR102610759B1 (ko) * 2019-04-03 2023-12-08 현대자동차주식회사 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법
CN110298865B (zh) * 2019-05-22 2023-07-07 深空探测科技(北京)有限责任公司 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法
CN110276334A (zh) * 2019-06-28 2019-09-24 海马汽车有限公司 一种针对用户车辆使用情况的分析方法及系统
CN112446499A (zh) * 2019-08-30 2021-03-05 西门子医疗有限公司 改进用于自动量化冠状动脉疾病的机器学习模型的性能
US11429185B2 (en) * 2019-09-19 2022-08-30 GM Global Technology Operations LLC Apparatus and method for assessing occupant gazes
US10803334B1 (en) 2019-10-18 2020-10-13 Alpine Electronics of Silicon Valley, Inc. Detection of unsafe cabin conditions in autonomous vehicles
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN110928618B (zh) * 2019-10-30 2022-09-27 西北工业大学 一种座舱人机界面注意力分配计算方法
US11538259B2 (en) * 2020-02-06 2022-12-27 Honda Motor Co., Ltd. Toward real-time estimation of driver situation awareness: an eye tracking approach based on moving objects of interest
JP7331729B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
US11647925B2 (en) 2020-03-20 2023-05-16 Starkey Laboratories, Inc. Alertness mode initiation for non-alert detection using ear-worn electronic devices
WO2021205430A1 (en) * 2020-04-06 2021-10-14 Adam Cogtech Ltd. Generation and presentation of stimuli
US11611587B2 (en) 2020-04-10 2023-03-21 Honda Motor Co., Ltd. Systems and methods for data privacy and security
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles
US11862022B2 (en) 2021-02-03 2024-01-02 Geotab Inc. Methods for characterizing a vehicle collision
US11941986B2 (en) 2021-02-03 2024-03-26 Geotab Inc. Methods for characterizing a low-impact vehicle collision using high-rate acceleration data
US11884285B2 (en) * 2021-02-03 2024-01-30 Geotab Inc. Systems for characterizing a vehicle collision
FR3121347B1 (fr) 2021-04-01 2023-06-02 Faurecia Interieur Ind Dispositif électronique et procédé de surveillance du comportement d’un conducteur lors de la conduite d’un véhicule, système électronique de supervision et programme d’ordinateur associés
US11794753B2 (en) 2021-04-09 2023-10-24 Ford Global Technologies, Llc Eyes-on-road detection
CN113468956A (zh) * 2021-05-24 2021-10-01 北京迈格威科技有限公司 注意力判定方法、模型训练方法及对应装置
US20220392261A1 (en) * 2021-06-04 2022-12-08 Rockwell Collins, Inc. Pilot safety system with context-sensitive scan pattern monitoring and alerting
EP4113464A1 (en) 2021-06-30 2023-01-04 Tobii AB An eye tracking system
US11847840B2 (en) * 2021-08-24 2023-12-19 Toyota Research Institute, Inc. Visual notification of distracted driving
US20230110464A1 (en) * 2021-10-08 2023-04-13 Woven Alpha, Inc. Vehicle occupant gaze detection system and method of using
US11745744B2 (en) * 2021-12-15 2023-09-05 Honda Motor Co., Ltd. System and method for determining object-wise situational awareness
JP7460867B2 (ja) 2021-12-24 2024-04-03 パナソニックオートモーティブシステムズ株式会社 推定装置、推定方法及びプログラム
US11780458B1 (en) * 2022-12-14 2023-10-10 Prince Mohammad Bin Fahd University Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system
CN115844404B (zh) * 2023-03-01 2023-05-12 中国民航大学 一种基于眼动数据的管制员注意力特征评价方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
WO1998049028A1 (en) * 1997-04-25 1998-11-05 Applied Science Group, Inc. An alertness monitor
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
JP4603264B2 (ja) * 2002-02-19 2010-12-22 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
WO2004034905A1 (en) 2002-10-15 2004-04-29 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6906619B2 (en) * 2003-02-27 2005-06-14 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4261072A1 (en) * 2022-03-28 2023-10-18 Honeywell International Inc. Systems and methods for transforming video data in an indirect vision system

Also Published As

Publication number Publication date
CN101466305A (zh) 2009-06-24
WO2007145566A1 (en) 2007-12-21
US8487775B2 (en) 2013-07-16
EP2032034B1 (en) 2020-04-01
EP2032034A1 (en) 2009-03-11
BRPI0712837A8 (pt) 2017-11-07
CN101466305B (zh) 2012-05-30
US20100033333A1 (en) 2010-02-11
BRPI0712837B1 (pt) 2019-10-29
BRPI0712837B8 (pt) 2021-06-22
EP2032034A4 (en) 2010-03-17
BRPI0712837A2 (pt) 2012-07-31
JP2009540459A (ja) 2009-11-19

Similar Documents

Publication Publication Date Title
JP5036814B2 (ja) 視覚的関心場所の決定および分析のための方法および装置
JP4551766B2 (ja) 被験者の頭及び目の動きを分析する方法及び装置
Braunagel et al. Ready for take-over? A new driver assistance system for an automated classification of driver take-over readiness
US11738757B2 (en) Information processing device, moving apparatus, method, and program
EP3809227B1 (en) Driving assistance apparatus and driving assistance method
JP3257310B2 (ja) 漫然運転検出装置
US7792328B2 (en) Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US11861916B2 (en) Driver alertness monitoring system
Guria et al. Iot-enabled driver drowsiness detection using machine learning
US20200000391A1 (en) Operation aptitude judgment device and operation aptitude judgment method
JP6689470B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
Larsson Automatic visual behavior analysis
Almazroi et al. Real-Time CNN-Based Driver Distraction & Drowsiness Detection System.
US11780458B1 (en) Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system
Malimath et al. Driver Drowsiness Detection System
Janjua et al. A Mobile-Edge-Based Smart Driver Drowsiness Detection System
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers
Agarkar et al. Driver Drowsiness Detection and Warning using Facial Features and Hand Gestures
Jibran et al. Securing Human Life By Fatigue Detection During Driving

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5036814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees