JP7290567B2 - 運転者の注意散漫決定のためのシステム及び方法 - Google Patents

運転者の注意散漫決定のためのシステム及び方法 Download PDF

Info

Publication number
JP7290567B2
JP7290567B2 JP2019522480A JP2019522480A JP7290567B2 JP 7290567 B2 JP7290567 B2 JP 7290567B2 JP 2019522480 A JP2019522480 A JP 2019522480A JP 2019522480 A JP2019522480 A JP 2019522480A JP 7290567 B2 JP7290567 B2 JP 7290567B2
Authority
JP
Japan
Prior art keywords
driver
distraction
vehicle
score
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019522480A
Other languages
English (en)
Other versions
JP2020501227A (ja
Inventor
ラミラ レコヴァ,
ステファン ヘック,
ベンジャミン,オー. アルパート,
ラヴィ サゾダ,
スチトラ サシャナラヤナ,
ヴィヴェク セカー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nauto Inc
Original Assignee
Nauto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nauto Inc filed Critical Nauto Inc
Publication of JP2020501227A publication Critical patent/JP2020501227A/ja
Application granted granted Critical
Publication of JP7290567B2 publication Critical patent/JP7290567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、一般的には車両のインタラクション分野に関し、そしてより具体的には車両のインタラクション分野において運転者の注意散漫を決定するための、新規で有用なシステム及び方法に関する。
2017年7月5日に出願された米国特許出願第15 / 641,982号明細書 2017年7月5日に出願された米国特許出願第15 / 642,094号明細書 2017年9月14日に出願された米国特許出願第15 / 705,043号明細書
運転者の注意散漫決定方法のフローチャート図である。 運転者の注意散漫決定のための例示的なシステムの概略図である。 決定モジュールの更新の一例の概略図である。 運転セッションについて決定された、ルートに沿って車両がトラバースした複数の位置のそれぞれについて決定された複数の運転者注意散漫スコアに関連付けられている例示的なルートの概略図である。 本方法の例示的な実装に関連付けられている例示的な情報及び処理フロー経路の概略図である。 本方法の特定の例示的な実装形態のフローチャート図である。 本方法の特定の例示的な実装形態のフローチャート図である。
本発明の好ましい実施形態の以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するものではなく、むしろ当業者が本発明を製造及び使用することを可能にすることを意図する。
1.概要
図1に示されるように、運転者の注意散漫決定のための本方法100は、運転セッション中にセンサ測定値をサンプリングする(S110);前記センサ測定値に基づいて注意散漫係数値を決定する(S120);前記係数値に基づいて運転者の注意散漫を決定する(S130)ことを含む。本方法100は、運転セッション中に運転者が注意散漫になっているか否かを決定するように機能する。いくつかの変形態様では、本方法100は、頻度、重症度、位置、周囲のコンテキスト(例:並行する交通パラメータ、並行する車両内部パラメータ、等)、及び/又は運転者の注意散漫イベントの他の適切なパラメータ(例:運転者の注意散漫パラメータ)を決定することが出来る。本方法は、オプションで、前記センサ測定値を遠隔コンピューティング・システムに送る(S140);運転者の注意散漫の決定に基づいて通知を生成する(S150);そして、前記運転者の注意散漫決定をアプリケーションで使用する(S160)ことを、含むことが出来る。
本方法100の全部又は一部は、リアルタイムで又はほぼリアルタイムで(例:新しいセンサ測定値がサンプリングされているとき等のような運転セッション中に)実行させることが好ましいが、これに代えて、非同期で(例:車外データを送るための適切なネットワーク・リンクが利用可能であるときに、運転セッションが既に終了した後、等)、又は任意の他の適切な時点で実行させることも出来る。本方法100は、複数の運転者及び複数の運転セッションに対して実行させることが好ましいが、これに代えて、単一の運転者、単一の運転セッション、又は任意の適切な運転者の集団もしくは運転セッションに対して実行させることも出来る。本方法100は、運転セッションを通して複数回繰り返すことが好ましいが、これに代えて、決定イベントの発生に応答して実行させる、運転セッションごとに1回実行させる(例:注意散漫係数値が閾値を超えるとき;衝突危機イベントが発生するとき;ユーザが注意散漫の決定を開始したとき、等)、又は他の適切な時点又は頻度で実行させることも出来る。
本方法100は、車両に搭載されたシステム(例:車載システム)によって全体的に又は部分的に実行させることが出来る。このシステムは、車両、車両自体、ユーザデバイスに後付けされる補助システム、又は他の任意の適切なシステムとすることが出来る。このシステムは、センサ(例:光学センサ、音声センサ、ステレオカメラ、ステレオマイクロホン、慣性センサ、加速度計、ジャイロスコープ、磁力計、等)、処理システム(例:CPU、GPU)、出力部(例:スピーカ、振動機構)、位置システム(例:GPS、セルラ三辺測量システム、等)、通信システム(例:セルラ又はWiFi等の長距離接続、BLE又はNFC等の近距離接続、車両データバス等の有線接続、等)、電力システム(例:車両電源プラグ、バッテリ、等)、又は任意の他の適切な構成要素を含むことが出来る。一変形態様では、システムは、内部に向いているカメラ(例:車内方向に、又は運転者の頭部の領域に向いているカメラ)、外部に向いているカメラ(例:地平線に向いている、道路に向いている、等のカメラ)、音声センサの組、慣性センサの組、位置特定システム、及びシステムを車両のダッシュボード、フロントガラス、バックミラー、又は車両の他の適切な部分に取り付けるように構成されたマウントを含む。別の変形態様では、本方法100は、参照によりその全体が本明細書に組み込まれている特許文献3に実質的に記載されているシステムによって実行される。しかしながら、この方法は、他の任意の適切なシステムによって実行させることも出来る。一例では、内部に向いているカメラと外部に向いているカメラとの間の相対的な位置及び/又は相対的な視野の関係(例:x、y、zの関係、角度の関係、等)は、既知でありかつ静的に結合されているので、内部に向いているカメラ(内部向きカメラ)によってサンプリングされた画像から抽出された情報は、外部に向いているカメラによってサンプリングされた画像(外部画像)から抽出された情報に、空間的にマッピングさせることが出来る。特定の例では、内部画像から決定された運転者の注視方向は、外部画像に現れる車両周囲環境内の物理的領域に空間的にマッピングさせることが出来る。しかしながら、センサ間の空間的関係は、他にも使用することが出来る。
これに加えて又はこれに代えて、本方法100の全部又は一部は、遠隔コンピューティング・システム(例:遠隔サーバ)によって、二次システムによって、又は任意の他の適切なシステムによって、実行させることも出来る。分割コンピューティングの一変形態様では、注意散漫係数に関連付けられているセンサ測定値をサンプリングし、このセンサ測定値を注意散漫係数値に処理し、この注意散漫係数値に基づく注意散漫イベント(例:危急の、発生、又は以前に発生した注意散漫イベント)を識別することは、全て、車載システムにより実行させることが出来るが、注意散漫イベントの検証及び他のプロセスへの適用(例:注意散漫ヒートマップへの後処理、最適ルートのための運転ルートのフィルタリング、等)は、遠隔コンピューティング・システムによって実行させることが出来る。この変形態様では、車載システムは、注意散漫イベントに関連付けられているセンサ測定値(例:注意散漫イベントの前、最中、及び/又は後に記録されたセンサ測定値)、注意散漫イベントに関連付けられている派生情報(例:1つ以上のセンサ又は他の入力タイプから生成された派生情報))、注意散漫イベント・パラメータ値(例:時点、運転者、位置、重症度、等)、又は他の任意の適切な情報を、注意散漫の決定直後に(例:通信システムを使用して)、高帯域幅接続に接続されたときに(例:家庭用又はオフィス用のWiFiシステムへの接続時に)、又は任意の他の適切な時点に、遠隔コンピューティング・システムに送ることが出来る。第2の変形態様では、センサ測定値は、本方法100の残りの部分を実行する遠隔コンピューティング・システムに、リアルタイム又はほぼリアルタイムで、送ることが出来る。しかしながら、本方法100は、他の任意の適切なシステムの組によってこれとは異なるように実行させることも出来る。
検出された運転者の注意散漫(注意散漫イベント、注意散漫状態)は、1つ又は複数のアプリケーションで使用することが出来る。第1のアプリケーションでは、検出された注意散漫イベントは、最適ルートの計画を検討するために複数の運転ルート(例:トラバーサルルート)の中から運転ルート(トラバーサル経路)をフィルタリングするために使用することが出来る。ここで、この最適ルートは、次いで、運転者に提案して、自律走行車両を誘導するため又は他のアプリケーションに使用することが出来る。例えば、注意散漫イベント(又は閾値レベルを超える注意散漫スコア)に関連付けられている第1のルート又はルート・セクションは、検討から除外させることが出来るのに対し、注意散漫イベントに関連付けられていない(又は閾値を下回る注意散漫イベントの)第2のルート又はルート・セクションは、最適なルート決定のために保持させることが出来る。
第2のアプリケーションでは、検出された注意散漫イベント又はそのスコアは、通知パラメータを動的に調整するために使用することが出来る。この通知は、危急の衝突イベントの通知、注意散漫である運転者に警告するための通知、又は他の任意の適切な通知とすることが出来る。危急の衝突イベントは、車両の予測されるトラバーサル経路内に移動しつつある又は既にその中に移動してしまっているオブジェクトとの衝突、又は任意の他の適切な衝突イベントとすることが出来る。危急の衝突イベントは、外部カメラによって(例:オブジェクトの検出、追跡、等を使用して)記録された画像から、(例:近接センサ、RFセンサ、等の)車両センサから、決定することが出来、又は他の態様で検出することが出来る。一変形態様では、通知パラメータ値(例:音量、明るさ、継続時間、等)は、(例:危急の衝突イベントの検出時点に対して計算された)運転者の注意散漫スコアの関数として比例的に増加させることが出来る。第2の変形態様では、通知タイプは、(例:危急の衝突イベント検出時点に対して計算された)運転者の注意散漫スコアに基づいて選択することが出来る。例えば、注意散漫スコアが閾値スコアを下回ると駆動輪を振動させることができ、他方、注意散漫スコアが閾値スコアを上回ったときには、車両のオーディオシステムが音声通知を発するように制御することが出来る。しかしながら、これ以外の状況でも、通知パラメータは、注意散漫スコアに基づいて動的に調整することが出来る。
第3のアプリケーションでは、検出された注意散漫イベント又はそのスコアは、衝突危機イベントが既に発生しているか否かを決定する衝突危機決定モジュールに供給することが出来る。第4のアプリケーションでは、注意散漫スコアは、運転者が衝突の原因であったか否かを、又は運転者に適用される過失割合を決定するために使用することが出来る。例えば、運転者が、注意散漫ではなかった場合、又は運転者の注意散漫スコアが、衝突時の間又は衝突前の時間間隔内の閾値レベルを下回る場合、運転者には、運転者が注意散漫であった場合、又は運転者の注意散漫スコアが、衝突の間又は衝突前の時間間隔内の閾値レベルを上回る場合よりも低い過失割合を、適用させることが出来る。この時間間隔は、衝突の種類に応じて一定の期間とする又は可変とすることが出来る。
第5のアプリケーションでは、検出された注意散漫イベント又はそのスコアは、運転者の識別子に関連付けて(例:運転者のプロファイルに)格納することが出来る。この運転者のプロファイルは、運転者固有の通知、警告、ルート、又はその他の適切な情報を決定するために使用することが出来る。一変形態様では、本方法100は、所与の運転者についてのより高い注意散漫頻度に関連付けられているコンテキストを(例:注意散漫パターンの履歴に基づいて)識別することと、(例:その全体が本明細書に組み込まれている特許文献2に開示された方法、又は任意の他の適切な方法を使用して識別される)運転者の注意散漫の確率を最小にする(例:注意散漫に関連付けられている、遭遇したコンテキストの数を最小にする)ルートを自動的に決定することとを、含むことが出来る。第2の変形態様では、本方法100は、運転者についての注意散漫イベントに履歴上関連付けられている位置に接近しつつあるときに、先行して運転者に通知することを含むことが出来る。第3の変形態様では、本方法100は、運転者に関連付けられている過去の注意散漫イベントのデータに基づいて、運転者にコーチングを提供すること(例:将来の注意散漫行動を防ぐために、過去の行動に基づいて,本方法により類似の行動パターンが決定される時点又は他の適切な時点に、運転者にフィードバックを提供すること)を含むことが出来る。しかしながら、運転者のプロファイルは、他の態様で適切に使用することも出来る。更に、検出された注意散漫イベント又はそのスコアは、他の態様で適切に使用することも出来る。本出願及び関連出願では、スコア(例:注意散漫スコア)は、スコア付与モジュールによって決定されることが好ましいが、他の態様で適切に決定することも出来る。
本方法100及び/又はそのブロックは、コンピューティング・システムの1つ又は複数のモジュール(例:注意散漫モジュール、オブジェクト分類モジュール、オブジェクト検出モジュール、スコア付与モジュール、顔検出モジュール、他の任意の適切なコンピューティング・モジュール、等)によって実装させることが、好ましい。複数のモジュールの各モジュールは、(例:ロジスティック回帰を用いる、逆伝播ニューラル・ネットワークを用いる、ランダムフォレスト、決定木を用いる、等の)教師あり学習、(例:アプリオリ(Apriori)アルゴリズムを用いる、K平均法クラスタリングを用いる)教師なし学習、半教師つき学習、(例:エンドツーエンド学習を使用する、Q学習アルゴリズムを使用する、時間差学習を使用する)強化学習、及び他の任意の適切な学習スタイル、の内の1つ以上を利用することが出来る。複数のモジュールの各モジュールは、(例:通常の最小二乗法、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン、局所的に推定される散布図平滑化、等の)回帰アルゴリズム、(例:最隣接、学習ベクトル量子化、自己組織化マップ、等の)インスタンス・ベース方法、(例:リッジ回帰、最小絶対収縮及び選択演算子、エラスティック・ネット、等の)正則化方法、(例:分類及び回帰木、反復二分法3、C4-5、カイ二乗自動インタラクション検出、決定スタンプ、ランダムフォレスト、多変量適応回帰スプライン、勾配ブーストマシン、等の)決定木学習方法、(ナイーブベイズ(
Figure 0007290567000001
)、AODE(averaged one-independence estimators)、ベイジアン(Bayesian)ネットワーク、等の)ベイズ(Bayesian)法、(例:サポートベクターマシン、動径基底関数、線形判別分析、等の)カーネル法、(例:K平均法クラスタリング、期待値最大化、等の)クラスタリング法、(例:アプリオリ・アルゴリズム、Eclatアルゴリズム、等の)関連規則学習アルゴリズム、(例:Perceptron法、逆伝播法、Hopfieldネットワーク法、自己組織化マップ法、学習ベクトル量子化法、等の)人工ニューラル・ネットワークモデル、(例:制限付きボルツマン・マシン、ディープ・ビリーフ・ネットワーク法、畳み込みネットワーク法、スタックド・オートエンコーダ法、等の)深層学習アルゴリズム、(主要コンポーネント分析、部分最小二乗回帰、サモン(Sammon)マッピング、多次元スケーリング、射影追跡、等の)次元削減法、(ブースティング、ブートストラップ集計、アダブースト(AdaBoost)、積み上げ一般化、勾配ブースティング・マシン法、ランダムフォレスト法、等の)アンサンブル法、及び任意の適切な形態のマシン学習アルゴリズム、の内の任意の1つ以上を実装することが出来る。各モジュールは、これに加えて又はこれに代えて、確率的モジュール、ヒューリスティック・モジュール、決定論的モジュール、又は他の任意の適切な計算方法、マシン学習方法、又はこれらの組み合わせを活用する任意の他の適切なモジュールとすることが出来る。各モジュールは、新しく受取られた最新の測定値、動作セッション中に記録された過去の測定値、過去の動作セッション中に記録された過去の測定値合成データ又は他の適切なデータに基づいて、生成、確認、検証、強化、較正、又は更新させることが出来る。例えば、注意散漫モジュール及び/又は顔認識モジュールは、過度に露出され、(例:車両のフレームからの影をシミュレートする影又は線を含む様に)編集され、(例:異なるカメラ位置又は差異をシミュレートするために)ワープされ、及び/又は異なる撮像条件をシミュレートするために別の方法で修正される、運転者の顔面の実画像の組を含むことが出来る合成画像の組を使用して訓練することが出来る。しかしながら、参照によりその全体が本明細書に組み込まれている特許文献1に開示されている方法を用いて生成されたデータ、又は任意の他の適切なデータセット等の任意の適切なデータセットも使用することが出来る。各モジュールは、所定の頻度で、本方法が実行されるたびに、予期しない測定値が受取られるたびに、又は他の適切な頻度で、実行又は更新させることが出来る。モジュールの組は、1つ以上の他のモジュールと並行して、順次に、様々な頻度で、又は他の任意の適切な時点に、実行又は更新させることが出来る。
2.利点
本方法100の変形は、様々な利益及び/又は利点を付与することが出来る。
第1に、本方法の変形は、運転者の行動に基づいて、彼又は彼女が注意散漫である、又は注意散漫になりそうであることを警告(例:通知)することによって、起こり得る衝突を回避させることが出来る。例えば、この方法は、運転者の注視が(例:閾値時間より長時間、車両の進行方向から閾値角度を超えて)既にドリフトしてしまっているときに、音声警報を生成し、これにより、運転者の注意を再度道路に集中させること、を含むことが出来る。
第2に、本方法の変形は、遠隔のエンティティ(例:全車両マネージャ)が、複数の運転者のパフォーマンス(例:注意散漫レベル、状態、スコア、等)を同時に監視することを可能にする。例えば、全車両の各車両に搭載された車載システムは、運転者が注意散漫状態にあるのか覚醒状態にあるのかを独立に検出し、そして運転者の状態を、遠隔エンティティに関連付けられている遠隔コンピューティング・システムに送ることが出来る。
第3に、本方法の変形は、コンピューティング・システム及びそのモジュールの性能を向上させるための分散計算を可能にする。例えば、この方法は、車載システムの計算モジュールを使用して運転者の注意散漫状態を検出することを含むことができ、そして初期の検出を確認又は拒否するために、第1の注意散漫状態の検出結果(及び/又は基本センサデータ)を遠隔コンピューティング・システムに送ることが出来る。したがって、前述の例では、車載システムは、偽陰性検出を回避することが出来る(例:車載システムは、注意散漫のより低い検出閾値及び/又はそれほど複雑でない計算モデルを実装することが出来るが、遠隔コンピューティング・システムは、運転者に否定的な影響をもたらす可能性(例:保険料が高くなる、彼又は彼女の失職、等)がある偽陽性検出を回避することが出来る。)
第4に、本方法の変形は、コンテキスト・ベースのアクション(例:通知)を可能にする。例えば、センサのデータは、複数の分析モジュールに供給することが出来る。ここで、1つの分析モジュールの出力は、トリガイベントとして、又は別の分析モジュールに対する二次検証として、機能させることが出来る。これに加えて又はこれに代えて、複数の分析モジュールの結果は、下流モジュール(例:スコア付与モジュール、通知モジュール)に供給することが出来る。下流モジュールは、モジュールの出力値に基づいて、動的に、動作パラメータ(例:通知強度、タイプ、開始時点、終了時点、等)を選択する。特定の例では、緊急通知は、運転者が注意散漫でありかつ運転者が煽り運転をしているとき(例:それぞれ、注意散漫モジュール及び煽り運転モジュールからの出力)に、迅速に提示させることが出来、そして警告通知は、運転者が注意散漫でありかつ運転者が煽り運転をしていないときには、注意散漫が継続していることが検出された場合のみ、提示させることが出来る。他の例では、通知は、注意散漫イベントと、他の関係する交通状況(例:赤色又は黄色の信号機への接近、一時停止標識への接近、歩行者又は車両への接近、等)との組み合わせが検出されるときに、運転者に提示させることが出来る。しかしながら、分析モジュールは、他の態様で使用することも出来る。
しかしながら、本方法100の変形は、これに加えて又はこれに代えて、任意の適切な利益及び/又は利点を付与することも出来る。
3.方法
本方法100は、センサ測定値をサンプリングすることを含むブロックS110を含む。センサ測定値をサンプリングすることは、所与の時点又は時間間隔において運転者が注意散漫であることを示す信号をサンプリングするように機能する。センサ測定値は、運転セッション中にサンプリング(例:記録)されることが好ましいが、運転セッションの直前又は直後、運転セッションの実質的前後に、複数の運転セッションにわたって、又は任意の他の適切な時間に、実行させることも出来る。センサ測定値は、所定の頻度(例:2-5Hz、10Hz、100Hz、等)で記録させることが出来、記録イベントの発生(例:近接センサが近距離オブジェクトを検出したとき、車両の速度が閾値速度を超えたとき、等)に応答して記録させる、又は任意の適切なトリガ又はイベントに応答して及び/又はそれに基づいて、任意の他の適切な時点で記録させることが出来る。センサ測定値は、車載システムによって記録させることが好ましいが、代わりに他の適切なセンサの組によって記録させることも出来る。
第1の変形態様では、センサ測定値は、車内の画像又はビデオ(例:画像の組)を含むことが出来る。これらは、運転者席側の頭部領域に向けられた内方向に向いているカメラによってサンプリングさせる、又は他の方法(図2に示される例)で、運転者の画像をサンプリングさせることが出来る。例えば、ブロックS110は、車両の車載システムで、運転者の画像を備えるセンサ測定値を、サンプリングすることを含む(例:S110a、S110 ’)ことが出来る。カメラの視野は、運転者の頭部の全部又は一部を含むことが好ましく、そしてオプションとして、同乗者席側の領域(例:同乗者の体又は頭)の全部又は一部、後部座席の全部又は一部、後部窓の全て又は一部、運転席側窓、同乗者席側窓、又は車室内の他の適切な部分を含むことも出来る。画像は、運転者の頭部の位置、頭部の動き、目の位置(例:注視方向)、目の動き、それらのパラメータ(例:持続時間、角度等)、又は他の適切な注意散漫係数の値を光学的に識別及び/又は追跡するために使用することが出来る。画像は、更に、車内に同乗者がいるか否か、同乗者がいる位置、車窓を通して見える車の周囲の環境、及び/又は画像から派生可能な他の適切な任意のコンテキスト等の運転コンテキストを決定するために使用することが出来る。画像は、更に、他の注意散漫係数の値を検証する又は確認するために使用することが出来る。例えば、運転者のユーザデバイス(例:電話)とのインタラクションは、ユーザデバイスが、並行して記録された画像内に存在するときに、検証させることが出来る。画像は、可視スペクトル画像、ハイパースペクトル画像、IR画像とする、又は任意の他の適切な波長でサンプリングさせることが出来る。画像は、周囲光、(例:LEDフラッシュ等からの)発光体によって放射された光を使用して、又は他の任意の適切な光源を使用して、記録させることが出来る。画像は、(例:ステレオカメラによって記録された)立体画像、単一の画像、又は任意の他の適切な画像とすることが出来る。
第2の変形態様では、センサ測定値は、キャビンのオーディオ(例:車内騒音)を含むことが出来るが、これは、運転者の領域に近接して配置された、(例:関連付けられているユーザデバイスの一部である車載システムと統合された)オーディオセンサによって、サンプリングさせることが出来る。キャビンのオーディオは、運転者の頭部の位置、(例:運転者が落ち着いているか否か、車内に子供がいるか否か、等の)運転コンテキストを推論するために、又は他のアプリケーションに使用することが出来る。キャビンのオーディオは、運転者のオーディオを含むことが好ましく、そしてオプションとして、同乗者席側オーディオ、後部座席オーディオ、(例:車両によって生成される)車両オーディオ、路面騒音、ラジオのオーディオ、通知オーディオ、又は任意の他の適切なオーディオストリームを含むことが出来る。キャビンのオーディオは、(例:単一オーディオセンサによって記録される)単一ストリーム、(例:キャビンのオーディオがステレオで記録される、複数の並置された又は遠位のオーディオセンサによって記録される、等の)マルチストリーム、又は任意の適切な数のオーディオストリームとすることが出来る。
第3の変形態様では、センサ測定値は、ユーザデバイスが決定する、又は他の態様(図2に示される例)で決定することが出来るユーザデバイスの動作パラメータを含む。ユーザデバイスの動作パラメータは、(例:アクティビティ・モニタ、CPU負荷、GPU負荷等から決定されるような)ユーザデバイスの処理負荷、処理負荷の変化、電力消費、タッチ入力動作、センサ測定値、又は任意の他の適切な動作パラメータの組を含むことが出来る。ユーザデバイス・センサの測定値は、ユーザデバイスの運動学、圧力、温度、周囲光の妨害、又は運転者のユーザデバイスとのインタラクションを示す他の適切なパラメータ測定値を含むことが出来る。ユーザデバイスの動作パラメータは、ユーザデバイス上で実行される1つ又は複数の(例:アプリケーション、複数のアプリケーション上のSDK、等の)クライアントによって又は他の態様で決定することが出来る。変形態様の一例では、処理負荷の増加は、ユーザとユーザデバイスとのインタラクションを示すことが出来る。変形態様の第2の例では、タッチ入力動作は、ユーザがデータをユーザデバイスに入力することを示すことが出来る。第3の変形態様では、ユーザデバイスの振動は、ユーザデバイスがユーザによってノックされていることを示すことが出来る。第4の例では、ユーザデバイスの移動は、ユーザがユーザデバイスを持ち上げ、又は拾い上げていることを示すことが出来る。第5の例では、サンプリングされたユーザデバイスにおける圧力又は温度の上昇は、ユーザデバイスが保持されていることを示すことが出来る。しかしながら、他の任意の適切なユーザデバイスパラメータも、ユーザとユーザデバイスとのインタラクションを監視することが出来る。
第4の変形態様では、センサ測定値は、車両が決定することが出来る、又は他の態様(図2に示される例)で決定することが出来る車両のセンサデータを含む。車両のセンサデータは、車両データバスを介して車両から、又は無線通信により車両から、又は他の態様で車両から受取ることが出来る。車両のセンサデータは、(例:無線機が変更されているか否か、ユーザインターフェースが使用されているか否か、等の)制御パネル信号、(例:ステアリングホイールのタッチ数、高圧領域、高温領域、等の)ステアリングホイール信号、(例:運転者の体重分布又は経時変化、等の)座席センサ信号、又は任意の他の適切な測定値の組を含むことが出来る。しかしながら、他の任意の適切なセンサ測定値の組も、サンプリングすることが出来る。
第5の変形態様では、センサ測定値は、車両外部の画像又はビデオ(例:画像の組)を含むことが出来、これらは、車両の前方に向けられた外方向に向いているカメラによって(例:フロントガラスを介して)サンプリングさせる、又は他の方法(例:図2に示されるような例)でサンプリングさせることが出来る。カメラの視野は、好ましくは、(例:車両の前方にある前景、車両が移動している車線、隣接する車線、等の)車両の前方を向く道路の全部又は一部を含み、そしてオプションで、車両の側面(例:運転席側、同乗者席側)領域、車両の後方領域、(例:サンルーフ及び/又はムーンルーフを通る)車両の上方領域、又は車両外部の環境の他の適切な部分を含むことが出来る。画像は、(例:車両の位置を特定する)環境内の車両の位置、車線内の位置、(例:車両、歩行者、等の)他のオブジェクトに対する位置を光学的に識別及び/又は追跡するため、又は他の適切なパラメータ値を決定するために使用することが出来る。画像は、更に、センサが設置されている車両の前方又は横に第2の車両があるか否かのような運転コンテキストを決定するために使用することも出来る。画像は、更に、他の注意散漫係数値を決定、検証、及び/又は確認するためにも使用することが出来る。例えば、運転者の注意力は、道路の車線内での横方向のドリフトの量及び/又は頻度に基づいて測定することが出来る。車線内でのドリフトは、車両経路の抽出(例:1つ又は複数の画像からの車両軌跡の抽出)と、道路の画像から抽出された車線マーカとの比較に基づいて決定することが出来る。画像は、可視スペクトル画像、ハイパースペクトル画像、IR画像とする、又は任意の他の適切な波長でサンプリングさせることが出来る。画像は、周囲光、(例:LEDフラッシュ等からの)発光体によって放射された光を使用して、又は他の任意の適切な光源を使用して、記録することが出来る。画像は、(例:ステレオカメラによって記録された)立体画像、単一の画像、又は任意の他の適切な画像とすることが出来る。
第6の変形態様では、センサ測定値は、運動学信号を含む。運動学信号は、好ましくは、車両の運動学変数(例:加速度、速度、位置、ジャーク、等)を示すが、これに加えて又はこれに代えて、車両及び/又は車両乗員(例:運転者、同乗者、等)に関連付けられている任意の適切な運動変数を示すことも出来る。運動学信号は、車載システムの運動学測定機構(例:慣性測定ユニット)によって収集されることが好ましいが、これに加えて又はこれに代えて、任意の他の適切な構成要素によって収集させることも出来る。第1の例では、センサ測定値は、車載システムの慣性測定ユニットの加速度計出力を含む。しかしながら、センサ測定値は、他の任意の適切な運動学信号、車両情報(例:ステアリングホイール位置、ペダル位置)、指標、又は他の情報を含むことも出来る。
本方法100は、センサ測定値に基づいて注意散漫係数値を決定することを含むブロックS120を含む。注意散漫係数の値を決定することは、運転者の注意力、注意散漫のレベル、又は運転者の注意力の他の適切な指標を、自動車の運転に関連付けられているタスクの組に、特徴付けるように機能する。値を決定することが出来る注意散漫係数は、運転者の注視方向、運転者の目の動き、運転者の頭部の方向、運転者の体の位置、車内騒音、ユーザとデバイスのインタラクション(例:電話による通話、車両の制御パネルとのインタラクション)、又は危急の、即時の、又は以前の運転者の注意散漫を示す他の任意の係数を含むことが出来る。1つ又は複数の注意散漫係数値は、並行して又は非同期に決定し、そして注意散漫イベントの検出に使用することが出来る。
注意散漫係数値は、好ましくは、センサ測定値に基づいて決定されるが、これに加えて又はこれに代えて、(例:前処理システム又はデータベースから)受取り、検索し、又は他の態様で決定することも出来る。注意散漫係数値は、単一のセンサ測定タイプから決定させる、複数のセンサ測定タイプから(例:センサ合成を使用して)決定させる、又は別の方法で決定させることが出来る。これに加えて又はこれに代えて、決定された係数値は、第二のセンサ測定タイプを使用して検証させることも出来る。
注意散漫係数の値は、運転者の注意散漫のモデル内で暗黙的に決定させることが好ましいが、これに加えて又はこれに代えて、明示的に決定させる及び/又は他の態様で計算させることも出来る。第1の例では、ブロックS120は、少なくとも部分的に「エンドツーエンド」方法で訓練された学習モジュールとして実装される。ここで、入力が、モジュールに提供され、そして出力には、肯定的(例:注意散漫である)又は否定的(例:注意散漫でない)の何れかがラベル付されるが、学習モジュールによって実装されるモデルの特徴(例:注意散漫係数の値)は、予め指定されてはいない。しかしながら、ブロックS120は、非学習モジュールとして、及び/又は他の任意の適切な方法で訓練された学習モジュールとして適切に実装させることも出来る。
決定された各注意散漫係数の値は、基本センサ測定値の記録時点、(例:システム位置特定システム、車両位置特定システム等を使用して決定される)記録時点に関連付けられている車両位置、(例:運転者の生体認証、運転者のユーザデバイス、等から決定される)運転セッション及び/又は記録時点に関連付けられている運転者、又は任意の他の適切な並行するパラメータに、関連付けることが出来る。しかしながら、注意散漫係数の値は、他の適切な時点、位置、運転者、又は情報に関連付けることも出来る。
注意散漫係数値は、方程式、回帰、分類、ニューラル・ネットワーク(例:畳み込みニューラル・ネットワーク、ディープニューラル・ネットワーク)、ヒューリスティック、(例:ライブラリ、グラフ、チャートからの)選択、インスタンス・ベース手法(例:最近傍)、正則化手法(例:リッジ回帰)、決定木、ベイジアン(Baysean)手法、カーネル手法、確率、決定論、上記の組合せ又は他の適切な方法を使用して、(例:図2にその一例が示されている伸延検出モジュールにより)決定させることが出来る。注意散漫係数の値は、二値状態(例:注意散漫である及び注意散漫でない)、スコア(例:注意散漫スコア、等)、重症度(例:注意散漫状態又は物質的損失をもたらすイベントの可能性、注意散漫状等に関連付けられている危険係数、等)、又は運転者の注意散漫レベルの他の適切な尺度とすることが出来る。
特定の例では、ブロックS120は、車載システムの顔検出モジュールでセンサ測定値(例:画像)を受取る(例:S120a、S120’)ことを含むことが出来る。この例は、画像内に顔が存在することを示す出力を、顔検出モジュールで生成することを含むことが出来る。この出力は、運転者注意散漫モジュールが、注意散漫イベント及び/又は注意散漫状態を誤ってラベル付けしたか否かを決定する、運転者注意散漫モジュールの出力のチェック(例:複数のチェックの内の1つ)として使用することが出来る。しかしながら、画像内の顔の存在を示す第1の出力は、(例:運転者を識別する)他の態様でも適切に使用することが出来る。
別の特定の例では、ブロックS120は、車載システムの運転者注意散漫モジュールでセンサ測定値(例:画像、画像のシーケンス、等)を受取ることを含むことが出来る。この例は、注意散漫状態(例:S120b、S120’’)を示す出力を、運転者注意散漫モジュールで生成することを含むことが出来る。運転者注意散漫モジュールの出力は、好ましくは、顔検出モジュールの出力と平行して(例:リアルタイムで、ほぼリアルタイムで、同時点に、同時間に、マイクロ秒間隔内に、第2の間隔内に、等で)生成されるが、これに加えて又はこれに代えて、(例:顔検出モジュールの出力の前又は後に)順次生成させる、及び/又は他の適切なモジュールの適切な生成出力に対して適切な時間的関係を持たせて、生成させることも出来る。さらなる代替形態では、運転者注意散漫モジュールは、(いくつかの変形態様では省略することが出来る)顔検出モジュールとは独立して動作させることも出来る。
第1の変形態様では、注意散漫係数値を決定することは、注視方向、注視持続時間、(例:参照点に対する)注視角度、注視方向の変化率、又は他の適切な注視パラメータ、等の運転者の注視パラメータを決定することを含むことが出来る。これは、サンプリングされた画像又はビデオフレーム内において、運転者の角膜反射率、瞳孔、網膜パターン、又は他の目のパラメータ(例:運転者の領域に関連付けられている画像セグメント)を識別することと、注視推定、頭部姿勢の決定、又は他の適切な技術を用いて、運転者の注視方向を決定することとを含むことが出来る。注視方向は、オプションで、所定の方向の組(例:前方、右側、左側、後方、等)の内の1つに分類する、又は別の態様で特徴付けることも出来る。これに加えて又はこれに代えて、注視の数、頻度、持続時間、又は他のパラメータは、頭部の姿勢、継続時間のそれぞれに対して決定する、又は他の任意の組の画像から決定することも出来る。
第2の変形態様では、注意散漫係数値を決定することは、運転者の頭部の動きを決定することを含むことが出来る。これは、画像内の運転者の頭部を認識するためにオブジェクトの認識を使用すること、画像のシーケンスにより頭部(例:認識されたオブジェクト)の動きを追跡する(例:オブジェクト追跡を使用する)こと、頭部の動きのパラメータ(例:回転方向、動作の持続時間、等)を決定することを、含むことが出来る。この変形態様は、オプションとして、頭部運動パラメータに基づいて、現在の又は予測される頭部姿勢を決定することを含むことが出来る。
第3の変形態様では、注意散漫係数の値を決定することは、運転者の頭部の姿勢を決定することを含むことが出来る。これは、画像内において運転者の頭部を認識すること、運転者が前方を見ていた間の運転者の頭部の参照画像を検索すること、及び新しい画像内の運転者の頭部と参照画像内の運転者の頭部との差に基づいて運転者の頭部姿勢を決定することを、含むことが出来る。一実施形態では、これは、オブジェクト認識を使用して画像内の運転者の頭部を認識すること、頭部姿勢決定方法(例:反復最短曲線マッチング)を使用して頭部の姿勢を決定すること、及び決定された頭部の姿勢を参照画像内の頭部の姿勢と比較することを、含むことが出来る。第2の実施形態では、これは、オブジェクト認識を使用して現在の画像内の運転者の頭部を認識すること、運転者の頭部の1つ以上の参照点(例:目、鼻、ほくろ、そばかす、等)を識別すること、参照画像上の参照点に対応する基準を識別すること、そして参照画像内の参照点の位置と参照画像との位置との差に基づいて運転者の現在の頭部姿勢を決定することを、含むことが出来る。参照画像(又は参照頭部姿勢)は、(例:運転者が、画像記録中に前方を注視するように指示される)車両内の運転者の事前記録画像、運転者の頭部の領域内に重ね合わされた運転者の事前記録画像(例:運転免許証の標準画像)、一つ以上の運転セッションにわたって記録された複数の画像から合成された画像(例:平均的な頭部の姿勢)、又は任意の他の適切な参照画像、とすることが出来る。この変形は、オプションで、車両内のオブジェクト(例:子供、同乗者、等)を認識すること、車両内のオブジェクトの位置を決定すること、及び運転者とオブジェクトとのインタラクションを評価すること、を含むことが出来る。例えば、運転者の頭部の回転は、同乗者が乗車していないときには注意散漫スコアが低い死角チェックとして分類し、そして子供がカメラフレーム内に現れたときには注意散漫スコアが高い子供インタラクションとして分類することが出来る。しかしながら、頭部の姿勢は、他の態様で決定することも出来る。
第4の変形態様では、注意散漫係数の値を決定することは、キャビンの音響に基づいて運転者の頭部の姿勢を決定することを含むことが出来る。一実施形態では、頭部の姿勢は、一組のステレオマイクロホンによって記録された単一の音響フレームから決定することが出来る。この実施形態では、本方法100は、(例:パターンマッチング、騒音低減、等を使用して)第1及び第2の各マイクロフォンからの第1及び第2の信号から、運転者の声に関連する音響信号を抽出し、第1の信号と第2の信号の間の運転者の声の大きさ又は振幅を比較し、そして運転者の頭部の向きを、大きな声を測定するマイクに向かうように決定することを含むことが出来る。第2の実施形態では、頭部の動きは、1組のステレオマイクロホンによって記録された音響フレームの組から決定することが出来る。一例では、第2のマイクロフォンによってサンプリングされた音響強度が増加したのに対して、第1のマイクロフォンによってサンプリングされた音響強度が減少したことは、(例:パターンマッチング、等を使用して)頭部が第2のマイクロフォンの方に回転したと解釈することが出来る。
これに加えて又はこれに代えて、キャビンの音響は、運転コンテキストの決定に使用することが出来る。一例では、キャビンの音響は、(例:第2の音声の検出に基づいて)同乗者が車内にいるか否かを決定する、同乗者を(例:子供、大人、潜在的な注意散漫、等に)分類するのに使用する、同乗者の位置を特定するために使用する、又は他の態様に使用する、ことが出来る。
第5の変形態様では、注意散漫係数の値を決定することは、ユーザデバイスとユーザのインタラクションの程度(例:頻度、持続時間、強度、等)を決定することを含むことが出来る。一例では、本方法100は、ユーザデバイスでユーザ入力(例:タッチ入力、触覚入力、等)を受取ることと、ユーザがユーザデバイスとインタラクションを行ったことを決定することとを、含むことが出来る。第2の例では、本方法100は、ユーザ入力のパラメータ(例:入力頻度、ターゲット入力又は騒音の多い入力タイプ、アプリケーションの切替え頻度、インタラクション型のアプリケーションのタイプ、等)を決定し、かつユーザ入力パラメータに基づいてユーザ・インタラクションの程度を決定することを含むことが出来る。特定の例では、ターゲットを絞ったユーザ入力(例:正確なキー入力)、高頻度のユーザ入力、及びメッセージング・アプリケーションは、高度なユーザ・インタラクションに関連付けることが出来る一方で、騒々しいユーザ入力、低頻度入力、及びマップ・アプリケーションは、程度の低いユーザ・インタラクションに関連付けることが出来る。第3の例では、本方法100は、サンプリングされた信号(例:画像)中の運転者の身体部分の全体又は一部(例:手、胴)を識別し、身体部分(例:サイズ、位置、姿勢、コンテキスト、行動、等)を特徴付け、そしてこの特徴付けに基づいて注意散漫係数の値を決定する、ことを含むことが出来る。例えば、高い注意散漫値は、(例:前方向ではなく)横に向いている胴体の向きに、ステアリングホイール上で検出される手が閾値割合に満たない状況に、又は任意の他の適切な身体部分の特徴付けに、関連付けることが出来る。
ユーザのデバイスとのインタラクションの程度を決定することは、オプションとして、デバイスとインタラクションを行うユーザIDを決定することを含むことが出来る。一変形態様では、ユーザIDは、ユーザデバイスによって測定されたユーザのバイオメトリクス(例:指紋)を使用して決定することが出来る。第2の変形態様では、ユーザ識別情報は、インタラクション・セッション中に、車両内のユーザデバイスの位置を使用して、決定することが出来る。一例では、車両内のユーザデバイスの位置は、ユーザデバイスと、位置が知られている1つ又は複数の二次エンドポイント(例:Aピラーに取り付けられたビーコン、運転者領域の近くに取り付けられたビーコン)との間に確立された1つ又は複数の短距離接続から決定することが出来る。特定の例では、ユーザデバイスの位置は、接続の強度に基づいて決定することが出来る。例えば、ユーザデバイスが、運転者側ビーコンには弱く接続されているが、同乗者席側ビーコンには強く接続されている場合、インタラクション・セッションは、(運転者のインタラクション・セッションに代えて)同乗者インタラクション・セッションに分類することが出来る。しかしながら、ユーザIDは他の態様で決定することも出来る。ユーザとデバイスとのインタラクションの程度を決定することは、オプションとして、ユーザが発生させたデバイスの動きから、車両によるデバイスの動きをフィルタリングすることを含むことが出来る。この動きは、(例:動きが、周囲温度の上昇に関連付けられているか否かについての)並行して測定された温度、(例:測定された瞬間的な車両運動学に対して、以前に車両の動きに関連付けられたパターンを使用する)パターンマッチング、又は分類を用いてフィルタリングする、又は他の態様で決定することが出来る。しかしながら、車両の動きは、他の態様でユーザデバイスの動きからフィルタリングすることも出来る。
別の例では、注意散漫係数値は、外部オブジェクトとの運転者の注視の重なり量に基づいて、又は運転者の予測される注視と、車両に対する外部オブジェクトの予測位置との重なりに基づいて、決定することが出来る。特定の例では、本方法100は、(例:外部画像から)外部オブジェクトを識別すること、(例:車両の運動学、計画ルート、等に基づいて)識別された各オブジェクトに衝突リスクを割り当てること、(例:内部に向いているカメラによってサンプリングされた画像から)運転者の注視方向を決定すること、オプションとして、運転者の視野を決定し、そして閾値リスク値を超える衝突リスクを有する識別されたオブジェクトと視野が重なる運転者の注視又は視野の量に基づいて、注意散漫スコアを決定すること、を含むことが出来る。しかしながら、外部信号は、他の態様で使用することも出来る。
更に別の例では、注意散漫係数の値は、運転者が注視するオブジェクトが変化する速度に基づいて、決定することが出来る。例えば、レートが閾値レベルを下回る場合(これは、運転者が、運転中に道路を適切にスキャンすることなく、固定点を注視している(例:そして物思いにふけっている)ことを示すことが出来る)、注意散漫スコアは、増加させることが出来る。
しかしながら、注意散漫係数の値は、他の態様で決定することも出来る。
本方法100は、オプションとして、注意散漫状態の重症度を特徴付けることを可能にするように機能する、注意散漫状態のコンテキストを決定することを含むことが出来る。変形態様では、コンテキストを決定することは、決定された注意散漫(例:決定された注意散漫スコア)の重症度を微調整するように機能することが出来る、スケーリング係数値を決定することを含む。これに加えて又はこれに代えて、スケーリング係数値は、注意散漫決定モジュールへの入力として使用する、又は他の態様で使用することも出来る。
第1の変形態様では、スケーリング係数値は、車両動作パラメータ(図2に示される例)に基づいて決定することが出来る。車両動作パラメータは、車両運動学(例:速度、加速度)、車両位置、車両通知、車両駆動機器の位置(例:ブレーキ位置、アクセル位置、ステアリングホイール位置、ホイール位置、等)、又は任意の他の適切な操作パラメータを、含むことが出来る。車両動作パラメータは、車両、システム、ユーザデバイス、又は他の任意の適切なシステムによって決定することが出来る。一実施形態では、スケーリング係数値は、車両動作パラメータに基づいて決定されるように、衝突確率と共に変化することが出来る。しかしながら、スケーリング係数値は他の態様で決定することも出来る。一例では、注意散漫スコアは、車両の運動学の大きさの関数としてスケール変更させることが出来る(例:車両が速く動いているときは高く、車両が停止しているときは低い)。第2の例では、(例:注意散漫イベントが記録されているか否かを決定するため、通知を提示すべきか否かを決定するため、等に使用される)異なるスコア閾値は、車両運動学の大きさ(例:車両速度)に基づいて選択することが出来る。第3の例では、異なるスケーリング係数値(例:重量)は、注意散漫イベントに関連付けられている位置(例:地理的位置)に基づいて選択することが出来る。位置に割り当てられたスケーリング係数値は、運転者に固有のもの(例:運転者のプロファイルに基づいて決定されるもの)、運転者の人口統計学に固有のもの、ユニバーサルなもの、又は他の態様で共有されるものとすることが出来る。この位置に割り当てられたスケーリング係数値は、静的な、動的な(例:その位置に隣接する交通、この位置から上流の交通等と共に変化する)ものとする、又は他の態様で決定することが出来る。
第2の変形態様では、スケーリング係数値は、運転環境(図2に示される例)を示す信号に基づいて決定することが出来る。これらの信号は、(例:車両周囲環境の)外部信号、(例:車両内部環境の)内部信号、又は任意の他の適切な信号の組、を含むことが出来る。
外部信号は、交通パラメータ(例:交通の混雑度、交通の流れレート、等)、道路タイプ(例:高速道路又は都市道路)、交通信号(例:道路標識、一時停止標識、一時停止信号、等)、(例:予想されるトラバーサル経路における)オブジェクト又は障害物、(例:天気予報に基づいて又は周囲環境に対してほぼリアルタイムで決定される)気象条件、隣接する運転者のプロファイル、隣接する運転者の注意散漫レベル、又は運転リスクに関連付けられている任意の他の適切な外部パラメータ、を含むことが出来る。交通パラメータは、(例:交通情報を入力する複数のユーザによって手動で生成させ、複数のシステムからそれぞれ外部カメラを用いて自動的に生成させる、等して)クラウドソース化させ、(例:外部方向に向いているカメラによってサンプリングされた画像を使用して)自動的に決定させ、車両の位置及びその位置に対する過去の交通パターン及び反復期間から決定させ、又は他の態様で決定させることが出来る。道路のタイプは、市の地図及び車両の位置に基づいて決定させ、車両の速度に基づいて決定させ(例:速度が60mphを超える場合、高速道路に分類される)、外部画像から抽出された特徴又はオブジェクトに基づいて決定させ、又は他の態様で決定させることが出来る。
一例では、交通量が多いときに運転者が注意散漫になると、注意散漫スコアは、より高くスケール変更させることが出来る(例:スケーリング係数をより大きくすることが出来る)。第2の例では、外部画像(例:外部方向に向いているカメラによってサンプリングされた画像)内に一時停止標識又は赤信号が現れるときには、注意散漫スコアは、より低くスケール変更させ、そして外部画像に交通標識が現れていない又は緑信号が現れるときには、注意散漫スコアは、より高くスケール変更させることが出来る。第3の例では、一時停止標識又は赤信号が外部環境の画像に現れ、かつ交通信号に対して所定の位置(例:0フィート、5フィート、等)で、車両速度が閾値(例:0mph、5mph)を超える場合(これは、車両がより高い注意を必要とするシナリオに入っていることを示す)、注意散漫スコアは、より高くスケール変更させる(例:ウェイトを増やす)ことが出来る。しかしながら、注意散漫スコアは、これに加えて又はこれに代えて、任意の適切な決定に基づいてより高く又はより低くスケール変更させることが出来る。
内部信号は、同乗者の存在、同乗者の種類、同乗者の活動(例:これらは、全て、センサ測定値から又は他の態様で決定することが出来る)、車両の運動学(例:急発進又は急停止)、再発時点(例:時刻、月、年)、運転者の予定表、同乗者の予定表、又は運転リスクに関連付けられているその他の適切な内部パラメータ、を含むことが出来る。内部信号は、車両センサ、システム・センサ、ユーザデバイス・センサ、ユーザアカウントに関連付けられた二次ユーザアカウント(例:OAuthを通じてユーザアカウントに関連付けられたカレンダ)から受取る、又は他の態様で決定することが出来る。
段落0056
第3の変形態様では、スケーリング係数値は、車両パラメータに基づいて決定することが出来る(図2に示される例)。車両パラメータは、車両の自立走行タイプ(例:自立走行、半自立走行、手動、等)、車両クラス(例:セダン、トラック、等)、車両最低地上高、車両制動力、車両馬力、車両トルク、又は他の適切な車両パラメータ、を含むことが出来る。車両パラメータは、ユーザから受取られ(例:ユーザによって入力され)、データベースから自動的に決定され、車両電子制御ユニットから自動的に決定され、センサ測定値から(例:車両の内装を、内部画像からの車両内装に一致させることにより、外部画像内に見られる道路の割合から)自動的に決定され、又はその他の態様で決定される。一例では、注意散漫スコアは、車両が完全自立走行車両である場合には大幅に割り引かれ、そして車両がレベル0又はレベル1のSAE自動車両クラスである場合にはスケールアップさせることが出来る。第2の例では、通知提示、注意散漫スコア格納、又は他のアプリケーションに使用される注意散漫閾値は、車両パラメータ値に基づいて選択することが出来る。例えば、第1の閾値を、レベル0又はレベル1の車両に対して選択し、第1の閾値より高い第2の閾値を、半自立走行車両に対して選択し、そして第2の閾値より高い第3の閾値を、自立走行車両に対して選択することが出来る。第2の閾値は、第3の閾値よりも第1の閾値に近い値にさせることが出来るが、閾値は、他の態様で分散させることも出来る。しかしながら、係数値及び/又はスケーリング係数値は他の態様で決定することも出来る。
本方法100は、係数値に基づいて、車両の運転者が、注意散漫状態にあると特徴付けられていると決定する(例:運転者の注意散漫を決定する)ことを含むステップS130を含む。注意散漫係数の値に基づいて運転者の注意散漫を決定することは、所与の時間間隔に対する運転者の注意散漫の尺度を決定するように機能する。運転者の注意散漫は、方程式、回帰、分類、ニューラル・ネットワーク(例:畳み込み型ニューラル・ネットワーク、ディープニューラル・ネットワーク)、ヒューリスティック、(例:ライブラリ、グラフ、又はチャートからの)選択、インスタンス・ベースの方法(例、最近傍法)、相関法、正則化法(例、リッジ回帰)、決定木、ベイジアン(Baysean)法、カーネル法、確率、決定論、上記の組み合わせ、又は他の適切な方法を用いて、(例:図2に示される例の運転者注意散漫モジュールによって)決定することが出来る。運転者の注意散漫は、二値分類又は二値スコア(例:注意散漫であるか否か)、スコア(例:連続又は不連続、一様な注意散漫スケールと整合する又は整合しない、等)、分類(例:高、中、低)、又は注意散漫の他の適切な尺度、とすることが出来る。運転者の注意散漫は、利用可能なコンピューティング・リソースに基づいて選択された頻度で、又は任意の他の適切な時点で決定された頻度で、決定イベントの発生に応答して(例:車両経路内の障害物の識別に応答して、既定の角度領域の外部に向いている運転者の注視に応答して、等)、所定の頻度で(例:5秒ごとに、連続的に、等)、決定することが出来る。
運転者の注意散漫は、時点又は時間間隔、運転者、位置、運転コンテキスト、(例:図4に例として示される)ルート、又は任意の他の適切なパラメータ値に関連付けることが出来る。運転者の注意散漫に関連付けられているパラメータ値は、運転者の注意散漫を決定するために使用される運転者注意散漫係数値に関連付けられているパラメータ値から、抽出されることが好ましいが、他の適切なパラメータ値とすることも出来る。例えば、決定された運転者の注意散漫に関連付けられている時点は、運転者の注意散漫決定時点ではなく、基本データのサンプリング時点であることが好ましい。しかしながら、決定された運転者の注意散漫に関連付けられている時点は、運転者の注意散漫決定時点とする、又は他の適切な時点とすることも出来る。
運転者の注意散漫は、注意散漫係数の値に基づいて決定されることが好ましいが、他の適切な情報に基づいて決定させることも出来る。運転者の注意散漫を決定するために使用される注意散漫係数値は、所定の時間間隔内(例:参照時点の2秒以内)にサンプリングすることが好ましい。ここで、参照時点は、画像のサンプリング時点、位置のサンプリング時点、ランダムに選択された時点、又は任意の他の適切な時点とすることが出来るが、これに代えて他の態様で関係付けることも出来る。画像フレームの閾値数が、注意散漫を示す注意散漫係数値を生成した後には、運転者が注意散漫である(例:注意散漫状態にあると特徴付けられている)と見なされることが好ましい。しかしながら、これに代えて、値が所定の条件を満たす(例:閾値を超える)場合又は他の態様で決定される場合に、単一のフレームからの値が注意散漫を示した後に、注意散漫であると見なすことも出来る。画像フレームの閾値数は、予め、(例:外部障害物の近接性、顔の検出、車両の運動学のような他のモジュールの出力値に基づいて)動的に、又は他の態様で、決定することが出来る。例えば、フレームの閾値数は、先行車両との間隔の減少及び/又は車両速度の増加と共に減少させることが出来る。画像フレームの時系列は、連続的(contiguous)又は非連続的(noncontiguous)とすることが出来る。ここで、注意散漫フレームの数又は頻度は、コンテキスト(例:他のモジュールの出力値)に基づいて動的に調整することが出来(例:注意散漫状態に関連付けられているフレームは、注意散漫でない状態に関連付けられているフレームによって分離することが出来る)、又はその他の態様で決定することが出来る。
第1の例では、運転者が前方を注視しているとき(例:内部画像から決定される)、運転者注意散漫モジュールは、第1の運転者注意散漫スコアを決定し、そして運転者が下向き又は横向きを注視しているときには、第1のスコアより高い第2の運転者注意散漫スコアを決定する。運転者が側方に注視していてかつ騒がしい子供が後部座席にいるとき、又は運転者が、(例:車両近接センサ、外部画像、等から決定される)車両経路内で検出された障害物と重ならない視野の外を注視している又はそのような視野を有しているとき、運転者注意散漫モジュールは、更に、第2スコアより高い第3運転者注意散漫スコアを決定することが出来る。しかしながら、運転者注意散漫モジュールは、他の任意の適切な入力の組が与えられた場合にも、他の任意の適切な運転者注意散漫スコアを決定することが出来る。
第2の例では、運転者注意散漫モジュールは、(例:同時間に発生する、非同期に発生する、等の)顔検出モジュール出力に対して結果をチェックすることに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定することが出来る。この例では、ブロックS130は、運転者注意散漫モジュールの出力と顔検出モジュールの出力との組み合わせに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定すること(S130a、S130’)を含むことが出来る。この例では、運転者注意散漫モジュールは、入力データ(例:画像データ)が運転者の注意散漫を示しているか否かを決定し、そして顔検出モジュールは、入力データが顔を含んでいるか否かを決定する。この例で、顔は検出されないが、運転者注意散漫モジュールが、運転者が注意散漫であると決定した場合、運転者注意散漫モジュールの出力は、偽陽性であると推定される。
本方法100のブロックS130は、注意散漫スコアとは別個のものとすることが出来る運転者スコアを、決定することを含むことが出来る(例:S130c)。運転者スコアは、好ましくは、以前の運転セッション及び現在の運転セッション中に決定されかつ記録された、注意散漫スコアの履歴に基づく累積スコアである。個々の運転者は、この運転者に関連付けられている単一の運転者スコアを有することが好ましいが、これに加えて又はこれに代えて、複数の運転者スコアに関連付けることも出来る。運転者スコアは、上述したように、本方法100の様々なブロックにおいて、他のスコア(例:注意散漫スコア)と同様に利用することが出来るが、他の態様で適切に利用することも出来る。運転者スコアは、少なくとも部分的に、スコア付与モジュールによって(例:S130cにおけるように、運転者に関連付けられた注意散漫スコアの時間履歴等を含むデータベースと併せて)決定させることが好ましい。
ブロックS130は、変形態様では、遠隔コンピューティング・システムで、部分的又は全体的に実装させることが出来る。第1の例では、ブロックS130は、遠隔コンピューティング・システムにセンサ測定値を提供することによって、遠隔コンピューティング・システムに実装された第2の運転者注意散漫モジュールで、第1の注意散漫決定の結果をチェックすることを含むことが出来る。この例では、ブロックS130は、遠隔コンピューティング・システムの運転者注意散漫モジュールで、センサ測定値に基づいて、運転者が注意散漫状態にあると特徴付けられていることを示す出力を生成することを含む(S130b)。この例及び他の例では、車載運転者注意散漫モジュールは、遠隔運転者注意散漫モジュールよりも計算は高速ではあるが精度が低くなるように構成することが出来る(例:車載システムは、遠隔システムより少ないニューロンを有するニューラル・ネットワークとして実装することが出来る)。遠隔運転者注意散漫モジュールは、車載運転者注意散漫モジュールによって生成された偽陽性を修正するために使用することが出来る。
ブロックS130は、注意散漫状態のコンテキストを決定すること(例:S130’’)を含むことが出来る。このコンテキストは、上述のようにセンサ測定値に基づいて決定することも出来るが、他の態様で適切に決定することも出来る。ブロックS130は、更に、注意散漫状態のコンテキストに基づいて(例:上述のように)スコアを決定する(例:S130’’’)ことを含むことが出来る。例えば、注意散漫状態のコンテキストを決定することは、交通量レベルがまばらであると決定することを含み、そして交通量がまばらであることは、スコアに重み付けをするために使用する(例:車両又は人的な損失の危険性が低いために、注意散漫レベルの厳しさを軽減する)ことが出来る。しかしながら、コンテキストは、これに加えて又はこれに代えて、他の態様で適切に決定することも出来る。
運転者の注意散漫を決定することは、オプションとして、運転者の注意散漫決定に使用する注意散漫モデルを選択することを含むことが出来る。これは、複数の注意散漫モデルが、運転者の注意散漫決定に利用可能であるときに有用とすることが出来る。一変形態様では、注意散漫モデルは、注意散漫係数値に基づいて選択することが出来る。一例では、注意散漫モデルは、運転者の注視方向又は現在の車両位置のような注意散漫係数の限定されたサブセットに対する注意散漫係数値に基づいて、選択することが出来る。特定の例では、運転者の注視が前方を向いているときには、第1の注意散漫モデル(例:相関モデル)を選択することが出来、そして運転者の注視が後ろ向き又は横向きであるときには、第2の注意散漫モデル(例:畳み込みニューラル・ネットワーク又は他のより複雑なモデル)を選択することが出来る。後者の例では、頭部が回転したと言う根本的な原因に関連して増大した複雑さを処理するために、より複雑なモデルを選択することが出来る。しかしながら、他の任意の適切なモデルを選択することも出来る。第2の具体例では、車内に子供がいるときには、第1の注意散漫モデル(例:相関モデル)を、選択することができ、そして車内に子供がいないときには、第2の注意散漫モデル(例:畳み込みニューラル・ネットワーク又は他のより複雑なモデル)を、選択することが出来る。
第2の例では、注意散漫モデルは、それらのそれぞれの閾値を超える並行する多数の注意散漫係数に基づいて、選択することが出来る。特定の例では、注意散漫係数がそれらの閾値を超えない(例:運転者の注視が前方に向けられ、車両内には注意散漫がなく、車両経路には障害物がない、等の)場合、第1の注意散漫モデル(例:方程式)を、選択することが出来、注意散漫要因のサブセットがそれらの閾値を超える(例:運転者の注視が前方に向けられ、車両内に注意散漫はないが、車両経路には障害物がある)場合、第2のモデルを、選択することが出来、そして異なる数の注意散漫要因がそれらの閾値を超える(例:運転者の注視が後方を向いている、車両内に注意散漫があり、車両経路に障害物がある)場合、第3のモデルを、選択することが出来る。しかしながら、注意散漫モデルは、他の態様で選択することも出来る。
本方法100は、オプションとして、注意散漫モデルを更新することを含むことが出来る。注意散漫モデルは、自動的に、手動で、又は他の態様で、更新させることが出来る。注意散漫モデルは、更新イベントの発生に応答して(例:決定された注意散漫スコアが、実際の注意散漫スコアと閾値の差より大きく相違することに応答して)、定期的に(例:所定の頻度で)、又は他の適切な時点で、更新させることが出来る。注意散漫モデルを更新することは、ラベル付き訓練データを使用してモデルを再訓練すること、又は注意散漫モデルを更新することを含むことが出来る。訓練データは、自動的に生成する、手動で生成する、又は他の態様で決定することが出来る。
図3に示されるように、第1の変形態様では、本方法100は、第1の時間間隔中にサンプリングされたセンサ測定値に基づいて、注意散漫モジュールを使用して運転者の注意散漫スコアを決定すること、第1の時間間隔の後の第2の時間間隔中に(例:第1の時間間隔の所定の持続時間内に)サンプリングされた後続のセンサ測定値に基づいて、注意散漫関連イベント(例:衝突、衝突危機、 車両の急転回、緊急ブレーキ、等)を識別すること、注意散漫関連イベントに基づいて実際の注意散漫スコアを決定すること、第1の時間間隔中にサンプリングされたセンサ測定値に実際の注意散漫スコアをタグ付けすること、そして決定された運転者注意散漫スコアが実際の注意散漫スコアと実質的に一致するまで、注意散漫モジュールを較正又は再訓練することを含む。しかしながら、注意散漫モジュール又はモデルは、他の態様でも更新させることが出来る。
本方法100は、オプションとして、センサ測定値を遠隔コンピューティング・システムS140に送ることを含むことが出来る。ブロックS140は、遠隔コンピュータシステムにセンサ測定値を提供するように機能する。このセンサ測定値は、車載システムで利用可能なものに追加する又はそれを代替するモジュールによって、集約及び/又は作用させることが出来る。ブロックS140は、センサ測定値の収集と非同期的に実行されることが好ましく、そして変形態様では、所定の特性(例:容量、アップリンク速度、帯域幅、接続品質、等)を有するネットワークデータリンクへの車載システムの接続に応答して、注意散漫スコアが閾値注意散漫スコア値を上回るとの決定に応答して、又は任意の他の適切なイベントに応答して、実行させることが出来る。一例では、ブロックS140は、車両の運転者が注意散漫状態にあると特徴付けられると決定したことに応答して、センサ測定値を遠隔コンピューティング・システムに送る(S140a)ことを含むことが出来る。しかしながら、ブロックS140は、これに加えて又はこれに代えて、リアルタイム又はほぼリアルタイムで、実質的にリアルタイムで、同時点に、同時間に、又はセンサ測定に関して他の適切な時間的特性を用いて、実行させることが出来る。
本方法100は、オプションとして、運転者の注意散漫の決定S150に基づいて通知を生成することを含むことが出来る。ブロックS150は、運転者が注意散漫であると決定されたことをエンティティ(例:運転者、遠隔フリート管理者、同乗者)に通知するように機能する。通知は、テキスト形式、オーディオ形式、ビデオ形式(例:注意散漫状態が決定される時間間隔に渡るビデオクリップの記録)を含む任意の適切な形式を有する、又は任意の他の適切な形式を有することが出来る。ブロックS150は、好ましくは、運転者の注意散漫及び/又はスコア又は他の特徴付けの決定とほぼ同時に実行されるが、これに加えて又はこれに代えて、トリガイベント(例:適切な特性を有するネットワーク・リンクへの接続)に応答して、非同期的に、及び/又は任意の他の適切な時間的関係で、実行させることも出来る。
一例では、ブロックS150は、ブロックS130で決定された注意散漫状態、注意散漫状態のコンテキスト及び注意散漫状態のスコアに基づいて、車両の車載システムの出力でかつ実質的にリアルタイムで、運転者に通知する(例:S150’)ことを含むことが出来る。別の例では、ブロックS150は、運転者スコアの更新に(例:リアルタイムで、非同期で、等で)応答して、所定の期間(例:1日、5分、等)内に注意散漫状態を連続的に決定した結果として、運転者の運転者スコアが、既に閾値を下回ったことを、遠隔コンピューティング・システム(例:ローカルPC端末、フリートマネージャに関連付けられ、遠隔コンピューティング・システムに通信可能に結合されたユーザデバイス等)のインターフェースで、フリートマネージャに通知することを含むことが出来る。しかしながら、ブロックS150は、これに加え又はこれに代えて、任意の適切な方法で通知を生成すること、及び任意の適切な方法で任意の適切なエンティティに通知を送る及び/又はレンダリングすることを含むことが出来る。
一例が図5に示される方法の一変形態様では、本方法は、画像データ及び信号データ(例:時系列信号)を含むセンサ測定値をサンプリングすることを含むことが出来る。本方法は、オブジェクト検出及び分類モジュール、顔検出モジュール、注意散漫モジュール、及び運転者行動モジュールを含む複数のモジュールでサンプリングされたセンサ測定値を受取ることを含むことが出来る。この変形態様では、顔検出モジュールは、注意散漫モジュールによる運転者の注意散漫の決定と平行して、(例:マシン学習アルゴリズムにより、任意の適切な画像処理技術、ハフ(Hough)変換、等により)注意散漫モジュールへの入力として受取られたセンサ測定値に基づいて、顔が入力画像に存在するか否かを決定する。顔検出モジュールの出力(例:顔が画像中で検出されたか検出されなかったことを示す2値出力)は、注意散漫モジュールの偽陽性出力を排除する(例:顔が検出されない場合、注意散漫モジュールによって出力された、運転者の注意が散漫であるという指示は、否定することが出来る)ために使用することが出来る。オブジェクト検出及び分類モジュール、(例:顔検出モジュールの出力をチェックする)注意散漫モジュール、及び(例:参照によりその全体が本明細書に組み込まれている特許文献3に実質的に記載されている、運転者及び/又はオペレータの行動を決定する)注意散漫モジュール、及び運転者行動モジュールの出力は、規則ベースの比較器で受取ることが出来る。この比較器は、この変形態様では、運転者が、注意散漫状態にあると特徴づけられるか否かを決定するように機能し、そしてこれらのモジュールの出力に基づいて注意散漫の程度(例:重症度、注意散漫スコア等)を決定するように機能させることが出来る。この変形態様では、入力(例:センサ測定値、上流モジュールの出力等)から出力への変換は、連続的に、リアルタイムで又はほぼリアルタイムで、実行されることが好ましいが、これに加え又はこれに代えて、任意の適切な頻度で及び/又は任意の適切な時間的特性で(例:非同期的に、同期的に、トリガイベントに応答して、4Hzの頻度で、任意の適切な頻度で、等で)実行させることも出来る。
第1の特定の例では、図6に示されるように、本方法100は、車両の車載システムでセンサ測定値をサンプリングするステップであって、センサ測定値が運転者の画像を備えるステップ(S110a);車載システムの顔検出モジュールで画像を受取り、そして画像内の顔の存在を示す第1の出力を生成するステップ(S120a);車載システムの運転者注意散漫モジュールで画像を受取り、そして第1の出力を生成する時間と同一時間内で、注意散漫状態を示す第2の出力を生成するステップ(S120b):第1の出力と第2の出力との組み合わせに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定するステップ(S130a);車両の運転者が注意散漫状態にあると特徴付けられていると決定したことに応答して、センサ測定値を遠隔コンピューティング・システムに送るステップ(S140a):遠隔コンピューティング・システムの第2の運転者注意散漫モジュールで、センサ測定値に基づいて、運転者が注意散漫状態にあると特徴付けられることを示す第3の出力を生成するステップ(S130b);第3の出力を生成することに応答しかつセンサ測定値及び注意散漫状態に基づいて、遠隔コンピューティング・システムのスコア付与モジュールで、運転者スコアを計算するステップ(S130c)、を備える。
第2の特定の例では、図7に示されるように、本方法100は、車両の車載システムで、運転者の画像を備えるセンサ測定値をサンプリングするステップ(S110’);車載システムの顔検出モジュールで画像を受取り、そして画像内の顔の存在を示す第1の出力を生成するステップ(S120’);車載システムの運転者注意散漫モジュールで画像を受取り、そして第1の出力を生成する時間と同一時間内に、注意散漫状態を示す第2の出力を生成するステップ(S120’’);第1の出力と第2の出力との組み合わせに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定するステップ(S130’);注意散漫状態のコンテキストを決定するステップ(S130’’);注意散漫状態のコンテキストに基づいて注意散漫状態のスコアを決定するステップ(S130’’’);注意散漫状態、注意散漫状態のコンテキスト、及び注意散漫状態のスコアに基づいて、車両の車載システムの出力で、かつ実質的にリアルタイムで、運転者に通知するステップ(S150’)を備える。
システム及び/又は方法の実施形態は、さまざまなシステム構成要素及びさまざまな方法プロセスのあらゆる組み合わせ及び置換を含むことができ、そしてこの方法プロセスは、任意の適切な順序で、順次又は並行して実行することが出来る。
当業者であれば、前述の詳細な説明、図面及び特許請求の範囲から明らかであるように、特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正及び変更を加えることが出来る。
(関連出願についてのクロス・リファレンス)
本出願は、2016年11月7日に出願された米国仮特許出願第62 / 418,655号の優先権を主張し、そしてこの米国出願は参照によって本明細書に完全に組み込まれている。

Claims (17)

  1. 車両の運転者の注意散漫を決定する方法であって、
    ・前記車両の車載システムで、前記運転者の画像を備えるセンサ測定値をサンプリングするステップと、
    ・前記車載システムの顔検出モジュールで、前記画像を受取り、かつ前記画像内の顔の存在または不存在を示す第1の出力を生成するステップと、
    ・前記車載システムの運転者注意散漫モジュールにより、前記画像に基づいて、前記第1の出力とは独立して生成される、注意散漫状態を示す第2の出力を生成するステップと、
    ・前記第1の出力と前記第2の出力との組合せに基づいて、前記車両の前記運転者が、前記注意散漫状態にあると決定される、ステップと、
    ・前記注意散漫状態のコンテキストを決定するステップであって、前記注意散漫状態のコンテキストが、前記画像のシーケンスから測定された前記注意散漫状態の持続時間および前記画像に描かれた前記運転者の頭部の動きの少なくとも1つに基づいているステップと、
    ・前記注意散漫状態の前記コンテキストに基づいて前記注意散漫状態のスコアを決定するステップと、
    ・前記車両の前記車載システムの出力で、前記注意散漫状態の前記スコアに基づいて、前記運転者に通知を提供するステップとを、
    備える方法。
  2. 前記第2の出力を生成する前記ステップが、前記画像からの前記運転者の注視方向に基づいている、請求項1に記載の方法。
  3. 前記注意散漫状態の前記決定されたスコアに基づいて前記遠隔エンティティに通知を送るステップを、更に備える、請求項1に記載の方法。
  4. 前記センサ測定値が、加速度計出力を含み、かつ、
    前記加速度計の出力に基づいて、前記車載システムの運転者行動分析モジュールで前記運転者の行動を決定するステップを、更に、備え、
    前記車両の前記運転者が、前記決定された運転者の行動に基づいて前記注意散漫状態にあると特徴付けられている、
    請求項1に記載の方法。
  5. 前記注意散漫状態のコンテキストを決定するステップであって、前記センサ測定値が、オブジェクトと前記車両との間の距離を示すセンサデータも備える、ステップ、更に、備える、請求項1に記載の方法。
  6. 前記注意散漫状態のスコアが閾値スコアを超えることに応答して、前記センサ測定値を遠隔コンピューティング・システムに送るステップを、更に備える、請求項1に記載の方法。
  7. 前記センサ測定値を前記遠隔コンピューティング・システムに送る前記ステップが、前記注意散漫状態のスコアが前記閾値スコアを超えると決定した時点の後に実行される、請求項6に記載の方法。
  8. 前記遠隔コンピューティング・システムの第2の運転者注意散漫モジュールで、前記センサ測定値に基づいて、前記運転者が前記注意散漫状態にあると特徴付ける第3の出力を生成するステップを、更に備える、請求項6に記載の方法。
  9. 前記第3の出力の生成に応答して、前記運転者に関連付けられた遠隔エンティティに通知を送るステップを、更に備え、前記通知が、前記注意散漫状態の前記スコア、前記注意散漫状態の前記コンテキスト、及び注意散漫状態決定の時点を備える、請求項8に記載の方法。
  10. 前記センサ測定値、前記決定されたスコア、及び前記運転者に関連付けられているスコアの時間履歴に基づいて、前記遠隔コンピューティング・システムのスコア付与モジュールで、運転者スコアを計算するステップを、更に、備える、請求項6に記載の方法。
  11. 車両の運転者の注意散漫を決定する方法であって、
    ・運転セッション中に、前記車両の車載システムで、前記運転者の画像を備えるセンサ測定値をサンプリングするステップと、
    ・前記車載システムの顔検出モジュールで、前記画像を受取り、かつ前記画像内の顔の存在または不存在を示す第1の出力を生成するステップと、
    ・前記車載システムの運転者注意散漫モジュールにより、前記画像に基づいて、前記第1の出力とは独立して生成される、注意散漫状態を示す第2の出力を生成するステップと、
    ・前記第1の出力と前記第2の出力との組合せに基づいて、前記車両の前記運転者が、前記注意散漫状態にあると決定される、ステップと、
    ・前記車両の前記運転者が前記注意散漫状態を有すると特徴付けられていることに応答して、前記センサ測定値を前記車両の外にある遠隔コンピューティング・システムに送るステップと、
    ・前記遠隔コンピューティング・システムで、前記センサ測定値に基づいて、前記運転者が前記注意散漫状態にあると特徴付ける第3の出力を生成するステップと、
    ・前記センサ測定値に基づいて、前記遠隔コンピューティング・システムのスコア付与モジュールで運転者スコアを計算するステップとを、
    備える方法。
  12. 前記センサ測定値が、画像のシーケンスを備え、前記注意散漫状態が、前記運転者の注視方向の変化率に基づいていて、そして前記視線方向の変化率が、前記画像のシーケンスと組み合わせた前記画像に基づいて計算される、請求項11に記載の方法。
  13. 前記センサ測定値を前記遠隔コンピューティング・システムに送る前記ステップが、前記車両の前記運転者が前記注意散漫状態により特徴付けられているとの決定の時点の後に実行される、請求項11に記載の方法。
  14. 前記車両の前記車載システムで、前記注意散漫状態のコンテキストを決定するステップであって、前記注意散漫状態のコンテキストが、前記画像のシーケンスから測定された前記注意散漫状態の持続時間、および前記画像に描かれた前記運転者の頭部の動きの少なくとも1つに基づいているステップを備える、請求項11に記載の方法。
  15. 前記注意散漫状態の前記コンテキストに基づいて、前記注意散漫状態の前記スコアを決定するテップを、更に、備える、請求項1に記載の方法。
  16. 前記注意散漫状態の前記スコアに基づいて、前記車両の車載システムの出力で、前記運転者に通知を提供するステップを、更に、備える、請求項1に記載の方法。
  17. 前記センサ測定値を前記遠隔コンピューティング・システムに送る前記ステップが、前記注意散漫状態の前記スコアが閾値スコアを超えることに応答して実行される、請求項1に記載の方法。
JP2019522480A 2016-11-07 2017-11-07 運転者の注意散漫決定のためのシステム及び方法 Active JP7290567B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662418655P 2016-11-07 2016-11-07
US62/418,655 2016-11-07
PCT/US2017/060307 WO2018085804A1 (en) 2016-11-07 2017-11-07 System and method for driver distraction determination

Publications (2)

Publication Number Publication Date
JP2020501227A JP2020501227A (ja) 2020-01-16
JP7290567B2 true JP7290567B2 (ja) 2023-06-13

Family

ID=62066042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019522480A Active JP7290567B2 (ja) 2016-11-07 2017-11-07 運転者の注意散漫決定のためのシステム及び方法

Country Status (5)

Country Link
US (3) US10246014B2 (ja)
EP (1) EP3535646A4 (ja)
JP (1) JP7290567B2 (ja)
CN (1) CN110178104A (ja)
WO (1) WO2018085804A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7493507B2 (ja) 2019-07-17 2024-05-31 株式会社クラレ 水溶性フィルムおよび包装体

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11465640B2 (en) * 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US9535878B1 (en) 2012-12-19 2017-01-03 Allstate Insurance Company Driving event data analysis
US9524269B1 (en) 2012-12-19 2016-12-20 Allstate Insurance Company Driving event data analysis
US9690292B1 (en) * 2015-01-13 2017-06-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for transitioning between autonomous and manual modes of vehicle operations
JP6193912B2 (ja) * 2015-04-24 2017-09-06 株式会社パイ・アール ドライブレコーダ
FR3038770B1 (fr) * 2015-07-10 2021-03-19 Innov Plus Systeme de surveillance de l'etat de vigilance d'un operateur
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
WO2017136796A1 (en) * 2016-02-04 2017-08-10 Ciuperger Vasile Vehicle perimeter alert system
EP3535646A4 (en) * 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10328913B2 (en) * 2016-11-18 2019-06-25 International Business Machines Corporation Facilitation of automatic adjustment of a braking system
JP6766967B2 (ja) 2016-12-27 2020-10-14 株式会社デンソー マイクロロケーションセンサ通信のためのシステムおよび方法
JP6982767B2 (ja) * 2017-03-31 2021-12-17 パナソニックIpマネジメント株式会社 検知装置、学習装置、検知方法、学習方法、およびプログラム
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
US10902577B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify object
US10592785B2 (en) * 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
US10907980B2 (en) * 2017-08-11 2021-02-02 Here Global B.V. Method and apparatus for detecting false positive slippery road reports using mapping data
CN107679448B (zh) * 2017-08-17 2018-09-25 平安科技(深圳)有限公司 眼球动作分析方法、装置及存储介质
US10373500B1 (en) * 2017-09-22 2019-08-06 State Farm Mutual Automobile Insurance Company Technology for using image data to assess vehicular risks and communicate notifications
US20190120640A1 (en) 2017-10-19 2019-04-25 rideOS Autonomous vehicle routing
US10572745B2 (en) 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
JP6777060B2 (ja) * 2017-11-15 2020-10-28 オムロン株式会社 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム
JP2019091267A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
JP7299840B2 (ja) * 2017-11-17 2023-06-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
US10783346B2 (en) * 2017-12-11 2020-09-22 Invensense, Inc. Enhancing quality of a fingerprint image
DE102017223005A1 (de) * 2017-12-18 2019-06-19 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Verletzungsinformation über eine Verletzung eines ungeschützten Verkehrsteilnehmers bei einer Kollision mit einem Fahrzeug
SG11202004317RA (en) * 2017-12-20 2020-06-29 Felica Networks Inc Information processing device and information processing method
JP6844568B2 (ja) * 2018-03-27 2021-03-17 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
US11565693B2 (en) * 2018-05-03 2023-01-31 Honda Motor Co., Ltd. Systems and methods for distracted driving detection
US10915769B2 (en) 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
CN109002757A (zh) * 2018-06-04 2018-12-14 上海商汤智能科技有限公司 驾驶管理方法和系统、车载智能系统、电子设备、介质
US10970571B2 (en) 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
CN110633593A (zh) * 2018-06-21 2019-12-31 北京嘀嘀无限科技发展有限公司 一种恶性事件预测方法及系统
JP2021530069A (ja) * 2018-06-26 2021-11-04 カッツ,イテイ 状況的ドライバ監視システム
US10655978B2 (en) * 2018-06-27 2020-05-19 Harman International Industries, Incorporated Controlling an autonomous vehicle based on passenger behavior
US11180158B1 (en) * 2018-07-31 2021-11-23 United Services Automobile Association (Usaa) Routing or driving systems and methods based on sleep pattern information
GB2577270B (en) 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
US10746112B2 (en) * 2018-10-18 2020-08-18 Ford Global Technologies, Llc Method and system for NVH control
US11948348B2 (en) * 2018-10-23 2024-04-02 5DT, Inc. Operator behavior monitoring system
US10807605B2 (en) * 2018-12-19 2020-10-20 Waymo Llc Systems and methods for detecting and dynamically mitigating driver fatigue
US11577734B2 (en) * 2018-12-20 2023-02-14 Nauto, Inc. System and method for analysis of driver behavior
US10635917B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
GB2582775B (en) * 2019-04-02 2022-04-06 Jaguar Land Rover Ltd Attention level determination
KR20200117641A (ko) * 2019-04-05 2020-10-14 현대자동차주식회사 경로 안내 장치 및 그 방법
JP7031998B2 (ja) * 2019-04-19 2022-03-08 矢崎総業株式会社 オーディオ制御システム及びオーディオ制御方法
US12056922B2 (en) * 2019-04-26 2024-08-06 Samsara Inc. Event notification system
US10672249B1 (en) 2019-05-06 2020-06-02 Cambridge Mobile Telematics Inc. Determining, scoring, and reporting mobile phone distraction of a driver
US10759441B1 (en) * 2019-05-06 2020-09-01 Cambridge Mobile Telematics Inc. Determining, scoring, and reporting mobile phone distraction of a driver
US11281920B1 (en) * 2019-05-23 2022-03-22 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating a vehicle driver signature
CN110232341B (zh) * 2019-05-30 2022-05-03 重庆邮电大学 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
WO2021003172A1 (en) * 2019-06-30 2021-01-07 Moment Ai, Inc. Facial recognition and monitoring device, system, and method
US11496617B2 (en) 2019-07-22 2022-11-08 Jeremy Davis Car surveillance system
KR102218526B1 (ko) * 2019-07-26 2021-02-19 엘지전자 주식회사 졸음 운전을 방지하기 위한 방법, 시스템 및 차량
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
KR20190116187A (ko) * 2019-09-23 2019-10-14 엘지전자 주식회사 차량 단말 및 그의 동작 방법
US11587461B2 (en) * 2019-10-23 2023-02-21 GM Global Technology Operations LLC Context-sensitive adjustment of off-road glance time
CN110816543B (zh) * 2019-10-28 2021-04-06 东南大学 一种车辆转弯和变道场景下驾驶员分神驾驶检测和预警系统及方法
US10861144B1 (en) * 2019-11-27 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Image-processing method
JP7358958B2 (ja) * 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
EP3845431B1 (en) * 2020-01-06 2024-08-07 Aptiv Technologies AG Driver-monitoring system
CN111317469B (zh) * 2020-01-10 2022-12-02 深圳市宏智力科技有限公司 一种脑电波监测设备、系统及监测方法
WO2021155294A1 (en) * 2020-01-29 2021-08-05 Netradyne. Inc. Combination alerts
KR20210111558A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 운전자 보조 장치 및 그의 경고 방법
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
DE102020110417A1 (de) * 2020-04-16 2021-10-21 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Assistenz eines Fahrers
US20210334289A1 (en) * 2020-04-22 2021-10-28 Morgan State University System and method for synchronization of asynchronous datasets
US11571969B2 (en) * 2020-06-04 2023-02-07 Toyota Motor Engineering & Manufacturing North America, Inc. External communication suppression device for driving automation
US20220032924A1 (en) * 2020-07-30 2022-02-03 Morgan State University System and method for driver distraction detection and classification
JP7359099B2 (ja) * 2020-07-31 2023-10-11 トヨタ自動車株式会社 移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラム
DE102020123744A1 (de) 2020-09-11 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Blickrichtung einer Person
US11748407B2 (en) 2020-10-12 2023-09-05 Robert Bosch Gmbh Activity level based management and upload of ride monitoring data of rides of a mobility service provider
US11941150B2 (en) 2020-10-12 2024-03-26 Robert Bosch Gmbh In-vehicle system for monitoring rides of a mobility service provider
US11518401B2 (en) * 2020-10-14 2022-12-06 Magna Electronics Inc. Vehicular driving assist with driver monitoring
KR20220055209A (ko) * 2020-10-26 2022-05-03 현대자동차주식회사 차량 및 그 제어방법
DE102020213755B4 (de) 2020-11-02 2023-05-04 BSH Hausgeräte GmbH Kopplung eines Haushaltsgeräts mit einem Mobilgerät
US11352013B1 (en) 2020-11-13 2022-06-07 Samsara Inc. Refining event triggers using machine learning model feedback
US11341786B1 (en) 2020-11-13 2022-05-24 Samsara Inc. Dynamic delivery of vehicle event data
US11643102B1 (en) * 2020-11-23 2023-05-09 Samsara Inc. Dash cam with artificial intelligence safety event detection
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles
DE102021200898A1 (de) 2021-02-01 2022-08-04 Volkswagen Aktiengesellschaft Schätzung eines Fahrer-Ablenkungsgrades
US11545029B2 (en) * 2021-02-16 2023-01-03 Atieva, Inc. Distraction-sensitive traffic drive-off alerts
US11945435B2 (en) * 2021-06-15 2024-04-02 Nauto, Inc. Devices and methods for predicting collisions and/or intersection violations
US20210312193A1 (en) * 2021-06-15 2021-10-07 Nauto, Inc. Devices and methods for predicting intersection violations and/or collisions
EP4355626A1 (en) * 2021-06-15 2024-04-24 Nauto, Inc. Devices and methods for predicting collisions, predicting intersection violations, and/or determining region of interest for object detection in camera images
US20220410908A1 (en) * 2021-06-29 2022-12-29 Bendix Commercial Vehicle Systems, Llc System and method for controlling vehicle functions based on evaluated driving team composition
US12031374B2 (en) * 2021-08-17 2024-07-09 Ford Global Technologies, Llc Vehicle having imaging device for driver and window monitoring
US11386325B1 (en) 2021-11-12 2022-07-12 Samsara Inc. Ensemble neural network state machine for detecting distractions
US11352014B1 (en) 2021-11-12 2022-06-07 Samsara Inc. Tuning layers of a modular neural network
US12043115B2 (en) * 2021-12-01 2024-07-23 GM Global Technology Operations LLC Control system comprising first, second, and third inputs and first, second, and third displays, and a method of operating the same
CN114386763B (zh) * 2021-12-10 2023-05-23 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
CN114187581B (zh) * 2021-12-14 2024-04-09 安徽大学 一种基于无监督学习的驾驶员分心细粒度检测方法
US20230304800A1 (en) * 2022-03-28 2023-09-28 Arm Limited Method of augmenting human perception of the surroundings
CN115923809A (zh) * 2022-11-30 2023-04-07 蔚来软件科技(上海)有限公司 人机共驾控制方法、装置、系统及车辆
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质
JP7538280B1 (ja) 2023-04-05 2024-08-21 三菱電機株式会社 管制支援装置、管制支援方法及び管制支援プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004347464A (ja) 2003-05-22 2004-12-09 Nissan Motor Co Ltd 脇見検出装置
JP2011180873A (ja) 2010-03-02 2011-09-15 Panasonic Corp 運転支援装置、及び運転支援方法
JP2013014225A (ja) 2011-07-04 2013-01-24 Toyota Motor Corp 車両の追突警報装置
US20140139655A1 (en) 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20140210978A1 (en) 2013-01-25 2014-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
JP2015510619A (ja) 2011-12-16 2015-04-09 マイクロソフト コーポレーション 推論された車両状態に基づいたユーザ・インタフェース体験の提供
US20160267335A1 (en) 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system

Family Cites Families (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69032348T2 (de) 1990-07-31 1998-09-24 Hewlett Packard Co Objektbasiertes System
US7788008B2 (en) 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
US8604932B2 (en) 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US7421321B2 (en) 1995-06-07 2008-09-02 Automotive Technologies International, Inc. System for obtaining vehicular information
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US5642106A (en) 1994-12-27 1997-06-24 Siemens Corporate Research, Inc. Visual incremental turn detector
US5798949A (en) 1995-01-13 1998-08-25 Kaub; Alan Richard Traffic safety prediction model
US6662141B2 (en) 1995-01-13 2003-12-09 Alan R. Kaub Traffic safety prediction model
US6720920B2 (en) 1997-10-22 2004-04-13 Intelligent Technologies International Inc. Method and arrangement for communicating between vehicles
US7085637B2 (en) 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US20070154063A1 (en) 1995-06-07 2007-07-05 Automotive Technologies International, Inc. Image Processing Using Rear View Mirror-Mounted Imaging Device
US5898390A (en) 1995-09-14 1999-04-27 Zexel Corporation Method and apparatus for calibration of a distance sensor in a vehicle navigation system
EP0892956A4 (en) 1996-02-09 2002-07-24 Sarnoff Corp METHOD AND APPARATUS FOR FORMING A NEURONAL NETWORK FOR THE DETECTION AND CLASSIFICATION OF OBJECTS WITH UNCERTAINED TRAINING DATA
EP2175659B1 (en) 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
DE19752127A1 (de) 1997-11-25 1999-07-29 Stockhausen Chem Fab Gmbh Verfahren zur Herstellung von synthetischen Polymerisaten mit sehr niedrigem Restmonomergehalt, danach hergestellte Produkte und deren Verwendung
US6240367B1 (en) 1998-11-27 2001-05-29 Ching-Fang Lin Full fusion positioning method for vehicle
JP3243236B2 (ja) 1999-09-24 2002-01-07 松下電器産業株式会社 位置データ間引き装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6502033B1 (en) 2000-10-05 2002-12-31 Navigation Technologies Corp. Turn detection algorithm for vehicle positioning
FR2816200A1 (fr) 2000-11-06 2002-05-10 Praxim Determination de la position d'une prothese du genou
US6496117B2 (en) 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
AU2002342067A1 (en) 2001-10-12 2003-04-22 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
DE10210130B4 (de) 2002-03-08 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerwarnung
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US20040051659A1 (en) 2002-09-18 2004-03-18 Garrison Darwin A. Vehicular situational awareness system
EP2204118B1 (en) 2002-10-15 2014-07-23 Volvo Technology Corporation Method for interpreting a drivers head and eye activity
US20060106534A1 (en) 2002-10-22 2006-05-18 Yukihiro Kawamata Map data delivering method for communication-type navigation system
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
DE10323915A1 (de) 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
US7639148B2 (en) 2003-06-06 2009-12-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7212651B2 (en) 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
DE10336638A1 (de) 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
US7471929B2 (en) 2004-01-20 2008-12-30 Omron Corporation Device and method for telephone countermeasure in using telephone during driving
US20050234679A1 (en) 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US7689321B2 (en) 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
CA2559726C (en) 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
JP4329622B2 (ja) 2004-06-02 2009-09-09 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
DE102004031557B4 (de) 2004-06-29 2016-12-22 Conti Temic Microelectronic Gmbh Verfahren und Crash-Sensor für eine Vorrichtung zur insassengefährdungsrelevanten Aktivierung von Insassen-Schutzeinrichtungen in einem Kraftfahrzeug bei Crashfällen
US7195394B2 (en) 2004-07-19 2007-03-27 Vijay Singh Method for resonant wave mixing in closed containers
US7228230B2 (en) 2004-11-12 2007-06-05 Mitsubishi Denki Kabushiki Kaisha System for autonomous vehicle navigation with carrier phase DGPS and laser-scanner augmentation
JP4811019B2 (ja) 2005-01-17 2011-11-09 株式会社豊田中央研究所 衝突挙動制御装置
ES2921886T3 (es) 2005-03-18 2022-09-01 Gatekeeper Systems Inc Sistema de comunicación bidireccional para el seguimiento de la ubicación y el estado de los vehículos sobre ruedas
KR101235815B1 (ko) 2005-04-25 2013-02-21 가부시키가이샤 지오 기쥬츠켄큐쇼 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
EP1904347B1 (en) 2005-07-11 2011-09-28 Volvo Technology Corporation Methods and arrangement for performing driver identity verification
US20070050108A1 (en) 2005-08-15 2007-03-01 Larschan Bradley R Driver activity and vehicle operation logging and reporting
EP1754621B1 (en) 2005-08-18 2009-10-14 Honda Research Institute Europe GmbH Driver assistance system
US7933786B2 (en) 2005-11-01 2011-04-26 Accenture Global Services Limited Collaborative intelligent task processor for insurance claims
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US7646922B2 (en) 2005-12-30 2010-01-12 Honeywell International Inc. Object classification in video images
US9477639B2 (en) * 2006-03-08 2016-10-25 Speed Demon Inc. Safe driving monitoring system
TWI302879B (en) 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP4724043B2 (ja) 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
JP4680131B2 (ja) 2006-05-29 2011-05-11 トヨタ自動車株式会社 自車位置測定装置
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
US9558505B2 (en) 2006-07-18 2017-01-31 American Express Travel Related Services Company, Inc. System and method for prepaid rewards
US7853072B2 (en) 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
US7912288B2 (en) 2006-09-21 2011-03-22 Microsoft Corporation Object detection and recognition system
US7579942B2 (en) * 2006-10-09 2009-08-25 Toyota Motor Engineering & Manufacturing North America, Inc. Extra-vehicular threat predictor
US8174568B2 (en) 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US7787689B2 (en) 2007-07-06 2010-08-31 Topcon Corporation Location measuring device and method
JP2009117832A (ja) 2007-11-06 2009-05-28 Asml Netherlands Bv リソグラフィの基板を準備する方法、基板、デバイス製造方法、密封コーティングアプリケータ及び密封コーティング測定装置
WO2009076600A2 (en) 2007-12-12 2009-06-18 New York University System, method and computer-accessible medium for normalizing databases through mixing
US8022831B1 (en) 2008-01-03 2011-09-20 Pamela Wood-Eyre Interactive fatigue management system and method
GB2471036B (en) 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
EP2305594B1 (en) 2008-07-23 2015-04-08 Daifuku Co., Ltd. Learning device and learning method in article conveyance facility
US8666644B2 (en) 2008-12-25 2014-03-04 Toyota Jidosha Kabushiki Kaisha Drive assistance apparatus
US7868821B2 (en) 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
DE102009005730A1 (de) 2009-01-22 2010-07-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Überwachung der Aufmerksamkeit eines Fahrzeugführers
US8854199B2 (en) 2009-01-26 2014-10-07 Lytx, Inc. Driver risk assessment system and method employing automated driver log
US20100209881A1 (en) 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on behavioral diagnosis
US20100209891A1 (en) 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on stop-and-go driving behavior
US8254670B2 (en) 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
JP5142047B2 (ja) 2009-02-26 2013-02-13 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーション用プログラム
JP5041099B2 (ja) 2009-02-27 2012-10-03 トヨタ自動車株式会社 車両相対位置推定装置及び車両相対位置推定方法
US8266132B2 (en) 2009-03-03 2012-09-11 Microsoft Corporation Map aggregation
JP4788798B2 (ja) 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
KR101004664B1 (ko) 2009-06-03 2011-01-04 주식회사 하이닉스반도체 반도체 메모리 장치 및 그 동작방법
US8369608B2 (en) 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
WO2010151603A1 (en) 2009-06-23 2010-12-29 L&P Property Management Company Drowsy driver detection system
US9491420B2 (en) 2009-09-20 2016-11-08 Tibet MIMAR Vehicle security with accident notification and embedded driver analytics
US8502860B2 (en) 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
AU2009243442B2 (en) 2009-11-30 2013-06-13 Canon Kabushiki Kaisha Detection of abnormal behaviour in video objects
US8805707B2 (en) 2009-12-31 2014-08-12 Hartford Fire Insurance Company Systems and methods for providing a safety score associated with a user location
EP2395478A1 (en) 2010-06-12 2011-12-14 Toyota Motor Europe NV/SA Monocular 3D pose estimation and tracking by detection
US8676498B2 (en) 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
JP5257433B2 (ja) 2010-09-30 2013-08-07 ブラザー工業株式会社 画像読取装置
KR101231510B1 (ko) 2010-10-11 2013-02-07 현대자동차주식회사 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
DE102010049351A1 (de) 2010-10-23 2012-04-26 Daimler Ag Verfahren zum Betreiben einer Bremsassistenzvorrichtung und Bremsassistenzvorrichtung für ein Fahrzeug
US8447519B2 (en) 2010-11-10 2013-05-21 GM Global Technology Operations LLC Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors
US9146558B2 (en) 2010-11-30 2015-09-29 Irobot Corporation Mobile robot and method of operating thereof
KR101306286B1 (ko) 2010-12-17 2013-09-09 주식회사 팬택 X-레이 뷰 기반의 증강 현실 제공 장치 및 방법
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8862395B2 (en) 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
US8620026B2 (en) 2011-04-13 2013-12-31 International Business Machines Corporation Video-based detection of multiple object types under varying poses
US20140049601A1 (en) 2011-05-05 2014-02-20 Panono Gmbh Camera system for capturing images and methods thereof
US8195394B1 (en) 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US8761439B1 (en) 2011-08-24 2014-06-24 Sri International Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
US8606492B1 (en) 2011-08-31 2013-12-10 Drivecam, Inc. Driver log generation
US8744642B2 (en) 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
US9235750B1 (en) 2011-09-16 2016-01-12 Lytx, Inc. Using passive driver identification and other input for providing real-time alerts or actions
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US20130093886A1 (en) 2011-10-18 2013-04-18 Ariel Inventions, Llc Method and system for using a vehicle-based digital imagery system to identify another vehicle
US9111147B2 (en) 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US20130147661A1 (en) 2011-12-07 2013-06-13 International Business Machines Corporation System and method for optical landmark identification for gps error correction
EP2797794A4 (en) 2011-12-29 2017-01-04 Intel Corporation Systems, methods, and apparatus for identifying an occupant of a vehicle
US9784843B2 (en) 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
JP5863481B2 (ja) 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
JP5729345B2 (ja) 2012-04-10 2015-06-03 株式会社デンソー 感情モニタリングシステム
US8634822B2 (en) 2012-06-24 2014-01-21 Tango Networks, Inc. Automatic identification of a vehicle driver based on driving behavior
SE536586C2 (sv) 2012-07-02 2014-03-11 Scania Cv Ab Anordning och förfarande för att bedöma olycksrisk vid framförande av ett fordon
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
JP5944781B2 (ja) 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US8510196B1 (en) 2012-08-16 2013-08-13 Allstate Insurance Company Feedback loop in mobile damage assessment and claims processing
US9365162B2 (en) 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
DE102012016800A1 (de) 2012-08-23 2014-02-27 Audi Ag Verfahren und Vorrichtung zur Ermittlung einer Fahrzeugposition in einer kartierten Umgebung
DE102012216386A1 (de) 2012-09-14 2014-03-20 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
GB2506365B (en) 2012-09-26 2017-12-20 Masternaut Risk Solutions Ltd Vehicle incident detection
US9488492B2 (en) 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP2014081831A (ja) * 2012-10-17 2014-05-08 Denso Corp 画像情報を用いた車両用運転支援システム
US9081650B1 (en) 2012-12-19 2015-07-14 Allstate Insurance Company Traffic based driving analysis
US9535878B1 (en) * 2012-12-19 2017-01-03 Allstate Insurance Company Driving event data analysis
EP2752348A1 (en) 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Adaptive emergency brake and steer assist system based on driver focus
WO2014109016A1 (ja) 2013-01-09 2014-07-17 三菱電機株式会社 車両周辺表示装置
US9439036B2 (en) 2013-01-25 2016-09-06 Visa International Service Association Systems and methods to select locations of interest based on distance from route points or route paths
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US9092986B2 (en) 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US8799034B1 (en) 2013-03-08 2014-08-05 Allstate University Company Automated accident detection, fault attribution, and claims processing
US20140267703A1 (en) 2013-03-15 2014-09-18 Robert M. Taylor Method and Apparatus of Mapping Landmark Position and Orientation
US9349113B2 (en) 2013-03-26 2016-05-24 3 Strike, Llc Storage container with inventory control
GB2512317A (en) 2013-03-26 2014-10-01 Jaguar Land Rover Ltd Vehicle control system and method
JP5878491B2 (ja) 2013-03-27 2016-03-08 株式会社日本自動車部品総合研究所 運転支援装置
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
EP3017403A2 (en) 2013-07-01 2016-05-11 Agent Video Intelligence Ltd. System and method for abnormality detection
US20150025917A1 (en) 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information
JP6398347B2 (ja) 2013-08-15 2018-10-03 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
US9201424B1 (en) 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
EP2851870B1 (en) 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Method for estimating ego motion of an object
US20150084757A1 (en) 2013-09-23 2015-03-26 Agero, Inc. Methods and systems for determining auto accidents using mobile phones and initiating emergency response
US9495602B2 (en) 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
US9305214B1 (en) 2013-10-29 2016-04-05 The United States Of America, As Represented By The Secretary Of The Navy Systems and methods for real-time horizon detection in images
CN103661375A (zh) * 2013-11-25 2014-03-26 同济大学 一种考虑驾驶分心状态的车道偏离报警方法及系统
JP6325806B2 (ja) 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
US9327743B2 (en) 2013-12-19 2016-05-03 Thales Canada Inc Guideway mounted vehicle localization system
JP6268303B2 (ja) * 2014-02-04 2018-01-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 2d画像分析装置
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US9342888B2 (en) 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
US20170011529A1 (en) 2014-02-14 2017-01-12 Nec Corporation Video analysis system
US10049408B2 (en) 2014-04-15 2018-08-14 Speedgauge, Inc. Assessing asynchronous authenticated data sources for use in driver risk management
US9158962B1 (en) 2014-05-07 2015-10-13 Lytx, Inc. Passive driver identification
EP2950294B1 (en) 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
WO2015186002A2 (en) 2014-06-03 2015-12-10 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
CN106463054B (zh) 2014-06-03 2019-04-02 宝马股份公司 高级驾驶辅助系统(adas)的自适应报警管理
US9242654B2 (en) 2014-06-27 2016-01-26 International Business Machines Corporation Determining vehicle collision risk
WO2015199553A2 (en) 2014-06-27 2015-12-30 Crown Equipment Limited Lost vehicle recovery utilizing associated feature pairs
US20160063761A1 (en) 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of spatial information based on driver attention assessment
JP6441616B2 (ja) 2014-08-29 2018-12-19 株式会社ゼンリン 位置特定装置、運転支援装置および制御プログラム
US20160086021A1 (en) 2014-09-24 2016-03-24 1A Smart Start, Inc. Substance Testing Systems and Methods with Test Subject Identification Using Electronic Facial Recognition Techniques
US9519289B2 (en) 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9886856B2 (en) 2014-12-04 2018-02-06 Here Global B.V. Near miss system
DE102014226185B4 (de) 2014-12-17 2022-09-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug
US9573592B2 (en) 2014-12-23 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Risk mitigation for autonomous vehicles relative to oncoming objects
EP3057061B1 (en) 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Method and device for the estimation of car egomotion from surround view images
US20160244022A1 (en) 2015-02-24 2016-08-25 Ford Global Technologies, Llc Vehicle control action sequence for operator authentication
JP6411917B2 (ja) 2015-02-27 2018-10-24 株式会社日立製作所 自己位置推定装置および移動体
US11113941B2 (en) 2015-02-27 2021-09-07 Carrier Corporation Ambient light sensor in a hazard detector and a method of using the same
GB201503413D0 (en) 2015-02-27 2015-04-15 Caring Community Sa Improved navigation system
WO2016146486A1 (en) * 2015-03-13 2016-09-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device for multi-user eye tracking and eye tracking device
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
KR20160114992A (ko) 2015-03-25 2016-10-06 한국전자통신연구원 빈피킹 시스템 및 빈피킹 수행 방법
JP2016197083A (ja) 2015-04-06 2016-11-24 ソニー株式会社 制御装置および方法、並びにプログラム
DE102015206200A1 (de) 2015-04-08 2016-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers
US20160300242A1 (en) 2015-04-10 2016-10-13 Uber Technologies, Inc. Driver verification system for transport services
US9767625B1 (en) 2015-04-13 2017-09-19 Allstate Insurance Company Automatic crash detection
US20160325680A1 (en) 2015-05-04 2016-11-10 Kamama, Inc. System and method of vehicle sensor management
KR101693991B1 (ko) 2015-05-18 2017-01-17 현대자동차주식회사 친환경 차량의 제어 시스템 및 방법
US10035509B2 (en) 2015-08-06 2018-07-31 Safer Technology Solutions LLC Early warning intersection device
US9679480B2 (en) 2015-08-07 2017-06-13 Ford Global Technologies, Llc Vehicle driver responsibility factor assessment and broadcast
US9845097B2 (en) 2015-08-12 2017-12-19 Ford Global Technologies, Llc Driver attention evaluation
KR20170020036A (ko) 2015-08-13 2017-02-22 현대자동차주식회사 운전자의 생체 정보에 관한 비밀 모드가 적용된 시스템 및 그 동작 방법
US10586102B2 (en) 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
US20170053555A1 (en) 2015-08-21 2017-02-23 Trimble Navigation Limited System and method for evaluating driver behavior
JP6406171B2 (ja) 2015-08-25 2018-10-17 トヨタ自動車株式会社 瞬目検知装置
US9996756B2 (en) 2015-08-31 2018-06-12 Lytx, Inc. Detecting risky driving with machine vision
US10382804B2 (en) 2015-08-31 2019-08-13 Orcam Technologies Ltd. Systems and methods for identifying exposure to a recognizable item
US10150448B2 (en) 2015-09-18 2018-12-11 Ford Global Technologies. Llc Autonomous vehicle unauthorized passenger or object detection
US11307042B2 (en) 2015-09-24 2022-04-19 Allstate Insurance Company Three-dimensional risk maps
US9914460B2 (en) 2015-09-25 2018-03-13 Mcafee, Llc Contextual scoring of automobile drivers
EP3358550A4 (en) 2015-09-30 2019-06-12 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US9718468B2 (en) 2015-10-13 2017-08-01 Verizon Patent And Licensing Inc. Collision prediction system
US9981662B2 (en) 2015-10-15 2018-05-29 Ford Global Technologies, Llc Speed limiting comfort enhancement
US10515417B2 (en) 2015-10-16 2019-12-24 Accenture Global Services Limited Device based incident detection and notification
EP3159853B1 (en) 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10019637B2 (en) 2015-11-13 2018-07-10 Honda Motor Co., Ltd. Method and system for moving object detection with single camera
US9491374B1 (en) 2015-12-11 2016-11-08 Fuji Xerox Co., Ltd. Systems and methods for videoconferencing input and display management based on activity
US10242455B2 (en) 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
US10460600B2 (en) 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US10269075B2 (en) 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
US9892558B2 (en) 2016-02-19 2018-02-13 The Boeing Company Methods for localization using geotagged photographs and three-dimensional visualization
US10289113B2 (en) 2016-02-25 2019-05-14 Ford Global Technologies, Llc Autonomous occupant attention-based control
JP6724425B2 (ja) 2016-03-04 2020-07-15 アイシン精機株式会社 駐車支援装置
US10235585B2 (en) 2016-04-11 2019-03-19 The Nielsen Company (US) Methods and apparatus to determine the dimensions of a region of interest of a target object from an image using target object landmarks
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US9896096B2 (en) 2016-04-11 2018-02-20 David E. Newman Systems and methods for hazard mitigation
US10323952B2 (en) 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
US10126141B2 (en) 2016-05-02 2018-11-13 Google Llc Systems and methods for using real-time imagery in navigation
JP6702543B2 (ja) 2016-05-31 2020-06-03 株式会社東芝 情報処理装置、方法およびプログラム
JP6384521B2 (ja) 2016-06-10 2018-09-05 トヨタ自動車株式会社 車両の運転支援装置
US10007854B2 (en) 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
IL247101B (en) 2016-08-03 2018-10-31 Pointgrab Ltd Method and system for determining present in the image
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US20180046869A1 (en) 2016-08-10 2018-02-15 Surround.IO Corporation Method and Apparatus for Providing Information Via Collected and Stored Metadata Using Inferred Attentional Model
EP3504676A4 (en) 2016-08-26 2020-03-25 Allstate Insurance Company AUTOMATIC HELL DAMAGE DETECTION AND REPAIR
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US9739627B1 (en) 2016-10-18 2017-08-22 Allstate Insurance Company Road frustration index risk mapping and mitigation
EP3535646A4 (en) * 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US20180176173A1 (en) 2016-12-15 2018-06-21 Google Inc. Detecting extraneous social media messages
US10259452B2 (en) 2017-01-04 2019-04-16 International Business Machines Corporation Self-driving vehicle collision management system
JP6867184B2 (ja) 2017-02-13 2021-04-28 トヨタ自動車株式会社 運転支援装置
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
US10078790B2 (en) 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004347464A (ja) 2003-05-22 2004-12-09 Nissan Motor Co Ltd 脇見検出装置
US20140139655A1 (en) 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP2011180873A (ja) 2010-03-02 2011-09-15 Panasonic Corp 運転支援装置、及び運転支援方法
JP2013014225A (ja) 2011-07-04 2013-01-24 Toyota Motor Corp 車両の追突警報装置
JP2015510619A (ja) 2011-12-16 2015-04-09 マイクロソフト コーポレーション 推論された車両状態に基づいたユーザ・インタフェース体験の提供
US20140210978A1 (en) 2013-01-25 2014-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
US20160267335A1 (en) 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7493507B2 (ja) 2019-07-17 2024-05-31 株式会社クラレ 水溶性フィルムおよび包装体

Also Published As

Publication number Publication date
JP2020501227A (ja) 2020-01-16
US20190152390A1 (en) 2019-05-23
US10703268B2 (en) 2020-07-07
WO2018085804A1 (en) 2018-05-11
EP3535646A1 (en) 2019-09-11
EP3535646A4 (en) 2020-08-12
CN110178104A (zh) 2019-08-27
US10246014B2 (en) 2019-04-02
US20200331387A1 (en) 2020-10-22
US11485284B2 (en) 2022-11-01
US20180126901A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
JP7290567B2 (ja) 運転者の注意散漫決定のためのシステム及び方法
US11375338B2 (en) Method for smartphone-based accident detection
US11023751B2 (en) Systems and methods for safe route determination
US10769456B2 (en) Systems and methods for near-crash determination
US11945435B2 (en) Devices and methods for predicting collisions and/or intersection violations
US10336252B2 (en) Long term driving danger prediction system
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
JP2020521978A (ja) 安全ルート決定のためのシステムと方法
WO2019232022A1 (en) Systems and methods for safe route determination
JP2024525153A (ja) 衝突を予測する、交差点での違反を予測する、および/またはカメラ画像内のオブジェクト検出の対象領域を決定するためのデバイスおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230601

R150 Certificate of patent or registration of utility model

Ref document number: 7290567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150