JP7499256B2 - ドライバの挙動を分類するためのシステムおよび方法 - Google Patents

Description

本開示は、一般に、テレマティクス、より詳細には車両テレマティクスを記載する。

テレマティクスとは、通信デバイス、グローバルポジショニングデバイス（ＧＰＳ）、または他のそうしたセンサであって、それらのセンサに関連するリモートデバイスを観察する、解析する、またはそのリモートデバイスと対話するためのセンサに関するデータを送信、受信および記憶する分野を意味することがある。いくつかの場合では、テレマティクスデータを提供する１つまたは複数のセンサは、自動車などの車両に関することが可能である。センサによって提供されたテレマティクスデータは、車両および車両のドライバ（運転者）の挙動を観察するように用いられることが可能である。

１つの態様では、データ処理システムが提供される。データ処理システムは、画像データをキャプチャするように構成されたカメラと、テレマティクスデータをキャプチャするように構成された１つまたは複数のセンサと、フィーチャベクトル用の分類尺度を、１つまたは複数の動作を行うことによって生成するように構成されたフィーチャ分類エンジンと、を備える。前記１つまたは複数の動作は、少なくとも部分的には前記画像データおよび前記テレマティクスデータに基づいて、前記画像データおよび前記テレマティクスデータの対象のイベントを表すフィーチャを含む前記フィーチャベクトルを生成することを含む。前記１つまたは複数の動作は、機械学習論理を用いて、前記フィーチャベクトルの各フィーチャについて分類尺度を決定することを含む。前記データ処理システムは、生じた前記対象のイベントのうちの１つの予測された見込みを示す予測値を、１つまたは複数の動作を行うことによって、生成するように構成された予測エンジンを備える。前記１つまたは複数の動作は、少なくとも部分的には前記それぞれのフィーチャの前記分類尺度に基づいて、各フィーチャに対し予測の重みを割り当てることを含む。前記１つまたは複数の動作は、少なくとも部分的には予測の重みに基づいて、前記予測値を前記フィーチャベクトルの残りのフィーチャについて決定することを含む。

前記対象のイベントは、相対速度超過イベント、車間距離イベント、交通密度イベント、ローリングイベント、不停止イベント、旋回挙動イベント、急停止イベント、低下した視認性イベント、または横断歩道挙動イベントのうちの１つまたは複数を含むことが可能である。前記フィーチャは、街路灯、車両、道路標識、路面表示、歩行者、自転車に乗る人、または動物のうちの１つまたは複数を含むことが可能である。前記テレマティクスデータは、加速データ、位置データ、および無線信号強度データのうちの１つまたは複数を含むことが可能である。前記画像データは、１つの画像もしくは一連の画像、またはビデオのうちの１つまたは複数を含むことが可能である。

前記予測エンジンは、少なくとも部分的には前記予測値に基づいてドライバに関連付けられた危険スコアを生成するように構成されることが可能である。前記予測エンジンおよび前記フィーチャ分類エンジンは、モバイルデバイスの一部であることが可能である。前記予測エンジンおよび前記フィーチャ分類エンジンは、車両の一部であることが可能である。前記予測エンジンおよび前記フィーチャ分類エンジンは、モバイルデバイスが通信するリモートコンピュータサービスの一部であることも可能である。

これらのおよび他の態様、特徴、および実装は、方法、装置、システム、コンポーネント、プログラム製品、営業方法、機能を行うための手段または工程、および他の手法により示されることが可能であり、特許請求の範囲を含む以下の記載から明らかとなる。

本明細書に記載される方法およびシステムの実装は、以下の利点のうちの１つまたは複数を含む。テレマティクスデータを用いてドライバの挙動を評価するための従来の技術とは対照的に、画像データ（例えば、ビデオデータ）が、ドライバの挙動を評価するためのテレマティクスデータ用のコンテキストを提供するように処理され分類される。例えば、スマートフォンセンサ、車載センサ、およびアフターマーケットテレマティクスデバイスからの位置、速度、および加速データは、本明細書に記載される処理システムによって運転品質をスコアリングするように分類されるテレマティクスデータを提供する。例えば、より高いスコアは、安全および／またはより少ない危険の運転挙動（例えば、運転挙動における増加した危険を示す、より低いスコアに対して）に対応する。ドライバ挙動は、電話による注意散漫、過度の速度超過、（例えば、記載された速度制限を超える１５マイル毎時（２４キロメートル毎時））、急停止または厳しい停止（例えば、制動）イベント（例えば、車両の速度を１秒以内に７マイル毎時（１１．２キロメートル毎時）減少させる、車両の速度を１秒以内に２０マイル毎時（３２キロメートル毎時）減少させる、など）、粗暴な加速（例えば、車両を速度において１秒以内に８マイル毎時（１２．８キロメートル毎時）に増加させる）または急カーブを切ること、運転された走行距離、運転の期間、運転の時刻などの要因に基づいて分類されスコアリングされる。そうしたドライバの動作は、テレマティクスデータから識別され、ドライバのスコアに悪影響を与える得る危険な挙動として標識される。従来の技術と比較したとき、テレマティクスデータを標識することの精度を増加させるように、テレマティクスデータ（例えば、位置データ、速度データ、加速データなど）は、画像データとともに処理され分類される。データ処理システムは、例えば、危険な挙動を示すテレマティクスデータがドライバスコアに悪影響を及ぼすか否か、および／またはどのくらい及ぼすかを続けて決定することによって、増加した信用によりテレマティクスデータを危険なドライバ挙動を示すものと分類するように、画像データからの追加のコンテキストを用いる。画像データは、ドライバが不適切な危険を冒しているか、またはドライバが適切に環境に応じているかを決定するように、テレマティクスデータにコンテキストを提供する。例えば、ドライバは、ドライバが別の車両に非常に近接して追尾していたために突然制動をかける必要がある場合があるが、ドライバは、停止標識を無視する別のドライバを避けるように突然制動をかける必要がある場合もある。画像データは、ドライバに責任があるか、部分的に責任があるか、またはドライバが適切に運転していたかを決定するのに必要なコンテキストを提供することが可能である。

本開示の１つまたは複数の実装の詳細が、添付の図面および以下の記載において説明される。本開示の他の特徴、目的、および利点は、記載および図面から、また特許請求の範囲から明らかとなる。

ドライバの挙動をコンテキストにより分類するためのデータを処理するための例示的なシステムを示す図。 ドライバの挙動をコンテキストにより分類するためのデータを処理する方法を示す図。 例示的な画像データを示す図。 対象のイベントを検出するように機械学習演算を行うためのデータ処理システムの一例を示す図。

様々な図面における同様の参照符号は、同様の要素を示す。
本開示は、車両がドライバによってどのように操作されるかを分類するように自動車などの車両に関連付けられたテレマティクスデータを処理するためのデータ処理技術およびシステムを記載する。画像データは、センサ（例えば、スマートフォンセンサ、埋め込みテレマティクスデバイス、または車両における同様のデバイスのセンサなど）によって取得されたテレマティクスデータ（例えば、位置データ、速度データ、加速データなど）と併せて処理される。画像データ（例えば、ビデオデータ）は、テレマティクスデータ用のコンテキストを提供するように、処理システムによって処理され用いられる。画像データおよびテレマティクスデータは、ドライバの運転挙動を識別するように、生じている運転操作、ドライバの運転品質のスコア付け、またはそれらの組合せを決定するように、処理システムによって分類される。

ドライバの挙動を識別し分類する１つの例示的な応用は、自動車保険ポリシーについての危険評価のためであることが可能であり、ここで、より多くの危険操作を伴うドライバは、衝突に対するより大きい危険にさらされると示されている。本明細書に記載されるシステムおよび処理は、衝突の危険を予測するためのドライバについての運転スコアを決定する。例えば、ドライバについてのスコアは、そのドライバが衝突に巻き込まれる可能性を示すことが可能である。本明細書に記載されるシステムおよび方法によって生成されたスコアは、安全運転、安全運転コンテキストの走行について割引および報酬を提供する保険料を設定すること、およびドライバが自身の運転を向上させることが可能であるようにドライバに対しフィードバックおよび見識を提供することなど、複数の他の応用にとって有用であることも可能である。

本明細書に記載されるシステムおよび方法は、ドライバの挙動を分類する際に使用するための画像（例えば、ビデオ）データを収集し、処理し、記憶するように構成される。本明細書に記載されるシステムおよび方法は、特に、画像コンテキストをテレマティクスデータに提供するために必要とされる量のデータを収集し、処理し、記憶し、送信することの困難を克服する。システムは、ビデオデータをリモートコンピュータ環境（例えば、クラウドコンピュータ環境）に対し送信するためのバンド幅の要求を低減させるように、ビデオデータを車両に対してローカルに処理するように構成されることが可能である。これは、すべてのキャプチャされた画像データをサーバに対し無線ネットワークを介して送ることは、いくつかの場合には、相当なネットワーク帯域幅および電話上のストレージを消費し得るため、システムがコンテキスト用の画像データを解析することを可能とする。本明細書に記載されるシステムおよび方法は、以前のシステムおよび技術において必要とされたコンピュータ処理の量を減少させ、コンテキストをテレマティクスデータに提供するのに必要とされる電力を減少させることが可能である。例えば、コンピュータ電力を減少させることは、データを処理し得るモバイルデバイスのバッテリの消耗を減少させることが可能であり、したがって、デバイスにとってより長い動作時間を可能とする。

本明細書は、以前のシステムおよび技術とは対照的に、画像データから新たに識別されることが可能である様々なコンテキストの挙動を記載する。本明細書は、危険をコンテキストの挙動に帰属させるための、画像データからコンテキストを推測するための、またはその両方のためのシステムおよび方法を記載する。

図１は、ドライバの挙動をコンテキストにより分類するようにデータを処理するための例示的なシステム１００を示す。システム１００は、画像データ１１２をキャプチャするように構成されたカメラ１０２を備える。画像データ１１２は、データ処理用の個々の画像、ビデオ、一連のバースト画像などを表すことが可能である。システム１００は、センサデータ１１４（例えば、テレマティクスデータ）を集める１つまたは複数のセンサ１０４を備える。センサ１０４は、加速度計、位置センサ（例えば、ＧＰＳセンサ）、測距センサ、音響センサ、紫外線（ＵＶ）検出センサ、赤外線センサなどのうちの１つまたは複数を含む。まとめると、センサデータ１１４および画像データ１１２は、集合データ１０８を生成するように組み合わせられることが可能である。車両１１８は、集合データ１０８の記憶および処理用のオンボード（ローカル）コンピュータシステム（例えば、処理ユニット）１０６を備える。ローカルコンピュータシステムが集合データ１０８を処理すると、前処理された集合データ１１６が、リモートコンピュータ環境１１０（例えば、クラウドコンピュータ環境）に対し送信される。車両１１８は、ナビゲーションを行う、典型的には車両におけるオペレータによって運転されている、任意の輸送デバイスを含むことが可能である。車両１１８は、車、トラック、バンなどを含むことが可能である。

カメラ１０２は、車両１１８の周りの環境の画像データ１１２（例えば、図３を参照）をキャプチャするように構成されることが可能である。カメラ１０２は、センサ１０４によって集められたセンサデータ１１４に対しコンテキストを提供するのに適することが可能である画像データなどの、車両の周りの環境の画像データ１１２をキャプチャするように、車両１１８上または車両１１８内のどこにでも搭載されることが可能である。例えば、カメラ１０２は、車両１１８のドライバによって観察される場面をキャプチャするように、車両１１８の移動に対する長手方向を向くこと（例えば、前面ダッシュボードカメラまたは後面カメラ）が可能である。カメラ１０２には、ドライバの視野角（例えば、約１３０度）に類似する視野角を適応させるように、広角レンズが備えられることが可能である。レンズによって生じる画像の任意の光学的歪みは、画像処理によって補正されることが可能である。いくつかの実装では、カメラは広角レンズを備えず、歪み補正が行われない。いくつかの実装では、カメラ１０２は、車両の一部である。いくつかの実装では、カメラ１０２は、携帯電話などのモバイルコンピュータデバイスの一部、ダッシュボードカメラなどである。示される実装は１つのカメラ１０２しか示さないが、実装はそのように限定されない。いくつかの実装では、システム１００は、２つ以上のカメラ１０２を備える。例えば、システムは、２つが車両１１８の移動に対し長手方向の両方に向き、２つが車両１１８の移動に対し側方方向の両方に向く、４つのカメラ１０２を備えることが可能である。

センサ１０４は、上記の通り、テレマティクスデータ１１４を車両１１８のコンピュータシステム１０６に対し提供することが可能である任意のセンサを含む。センサ１０４は、車両１１８自身に搭載される（例えば、車両コンピュータシステムの一部、図示せず）ことが可能である。いくつかの実装では、センサ１０４は、ローカル車両コンピュータシステム１０６の一部ではないモバイルコンピュータデバイス（例えば、スマートフォン）の一部である。そうした場合には、モバイルコンピュータデバイスは、１つまたは複数の通信プロトコルによって車両の動作システムとインタフェースされる。例えば、モバイルコンピュータデバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標），ＴＣＰ／ＩＰ，Ｚｉｇｂｅｅ（登録商標）または他のそうしたＩＥＥＥ８０２．１５．４通信プロトコルなどのプロトコルおよびハードワイヤ通信（例えば、ユニバーサルシリアルバス（ＵＳＢ）またはＩＥＥＥ１３９４ファイヤワイヤプロトコルなど）を用いて車両１１８と通信してよい。

テレマティクスデータ１１４をキャプチャする際に便利であり得るモバイルコンピュータデバイス上にて利用可能なセンサは、位置センサ（例えば、グローバルポジショニングシステム、ＧＰＳ）、３つの直交軸に沿って電話の加速を測定するための３軸加速度計、および３つの軸に沿って電話の角速度を測定するための３軸ジャイロスコープを含むが、これらに限定されない。

用語「モバイルデバイス」は、例えば、通信リンクに対する有線接続を必要とせず、ユーザが運転している間、運転することからユーザの注意散漫を生じ得るように用いられやすい、ユーザによって運ばれることが可能である任意の種類の機器を含むように用いられる。いくつかの実装では、モバイルデバイスは、携帯電話およびウェアラブルデバイス（例えば、スマートウォッチ）を含むが、タブレット、ラップトップ等を含むことも可能である。

車両１１８のローカルコンピュータシステム１０６は、図４について後にさらに詳細に記載される。ローカルコンピュータシステム１０６は、集合データ１０８を処理するための１つまたは複数の処理ユニットを備える。ローカルコンピュータシステム１０６は、集合データ１０８とその集合データ１０８を処理するために必要とされる任意の他のデータとを記憶するためのストレージを備える。ローカルコンピュータシステム１０６は、カメラ１０２、センサ１０４、モバイルデバイス、車両１１８のオンボードコンピュータデバイス、またはそれらの組合せなどと一体化されることが可能である。いくつかの実装では、ローカルコンピュータシステム１０６は、車両自身の一部であり、他の車両機能を制御することが可能である。いくつかの実装では、ローカルコンピュータシステム１０６は、モバイルデバイス（例えば、センサ１０４および／またはカメラ１０２のうちの１つまたは複数を備えるモバイルコンピュータデバイス）の一部である。

リモートコンピュータ環境１１０は、ローカルコンピュータシステム１０６からデータを送受信するように構成された１つまたは複数のネットワーク化された処理デバイスを備える。リモートコンピュータ環境１１０は、クラウド処理用のクラウドコンピュータ環境を含む。リモートコンピュータ環境１１０は、前処理されたテレマティクスデータ１１６などのデータをコンピュータシステム１０６から受信し、車両１１８のドライバについての危険スコアを決定するための追加の計算を行う。例えば、リモートコンピュータ環境１１０は、前処理されたテレマティクスデータ１１６に対し機械学習分類演算を行い、危険の量（例えば、危険の重み値）を示すデータを分類し、続けてドライバについてのスコアを生成し、ドライバについてのスコアを調節し、またはその両方を行ってよい。したがって、高水準にて、システム１００は、センサデータ１１４（テレマティクスデータ１１４）および画像データ１１２をキャプチャするように、またキャプチャされたデータに少なくとも部分的には基づいてコンテキスト化された危険スコアを決定するように用いられることが可能である。

いくつかの実装では、ユーザ（例えば、車両１１８のドライバ）は、モバイルアプリケーション（アプリ）を携帯電話にインストールし、車両１１８におけるモバイルデバイス（例えば、車両１１８の一部に付加された）を伴って運転する。アプリケーションは、バックグラウンド状態において実行されることが可能であり、位置および携帯電話活動アプリケーションプログラミングインタフェース（ＡＰＩ）からの情報（例えば、デバイスの動作システムによって提供される）を用いて、車両１１８の各移動の出発および停止を自動的に検出する。いくつかの実装では、位置データは、電話上の慣性センサからの情報により拡張される。いくつかの実装では、米国特許出願第２０１５／０３１２６５５号明細書（その全体が参照により本明細書に組み込まれる）に記載されるものなど、タグデバイスなどの車載デバイスからの無線信号が用いられることが可能である。

ローカルコンピュータシステム１０６は、ユーザ（電話の）が運転しているときに、センサデータ１１４をセンサ１０４から受信することができる。センサデータ１１４は、ローカルコンピュータシステム１０６（いくつかの実装では、携帯電話と一体化されている）によって解析され、最初に処理される。センサデータ１１４は、無線ネットワーク（例えば、Ｗｉ－Ｆｉ、セルラー、またはサーバに対する接続性を提供する任意の他のネットワーク）を通じてリモートコンピュータ環境１１０に対し送信される。リモートコンピュータ環境１１０にて、テレマティクスエンジン１２０は、車両の動力学と車両内の携帯電話の移動パターンとの両方を正確に評価するように、ローカルコンピュータシステム１０６からの前処理されたデータ１１６を処理する。いくつかの実装では、そうした計算は、データがリモートコンピュータ環境１１０に対し送信されずに、ローカルコンピュータシステム１０６自身の上において行われる。

センサ１０４からのデータは、センサデータ１１４から識別された「危険」イベントの種類について十分なコンテキストを提供するように、画像データ１１２によりコンテキスト化される。例えば、車両１１８の前方における動物のジャンプに起因する制動イベントは、ドライバが自身の電話によって注意散漫となり、結果として交通信号が赤色に変わったことを見逃したために生じる制動イベントと比べ、より低い危険の運転挙動に関連付けられてよい。歩行者または自転車に乗る人を予期しなかったドライバによって生じる急制動イベントは、人通りのない道の停止標識における急制動イベントよりも危険な挙動であると決定されてよい。

画像データ１１２からそうしたコンテキストを提供することによって、画像データ１１２を伴わないドライバの挙動測定システムについてのいくつかの欠点が克服される。例えば、システム１００は、回避不可能である、したがって、実質的にドライバが示す危険な運転挙動によって生じているのではないイベントを識別することができる。例えば、動物の存在に応答した急制動イベントまたは厳しい制動イベントの場合、または他の車の実勢速度が、掲示された速度制限を十分に上回る環境における速度超過についてユーザにフラグを立てる場合には、危険な挙動と考えなくてもよい。

これに加えて、システム１００は、過度の加速または速度超過イベントとして視認できない危険な状況を識別することが可能である。例えば、２車線道路において頻繁に追い越すこと、雪の中の運転、またはローリングで停止標識を通過するなどの挙動が、画像データ１１２から識別されることが可能である。

システム１００によるそうした解析は、危険を適切に測定し、より正確な危険評価を保険申込などのドライバ安全データの消費者に提供するシステム１００の性能を強化することが可能である。これに加えて、危険評価技術を用いたドライバの体験が向上し、ドライバは、センサデータ１１４用のコンテキストの欠落に起因して危険と表示された回避不可能な操作について不公平に罰せられると感じることが多い場合がある。

さらに詳細に以下に記載されるように、車載カメラからの画像データとともにテレマティクスデータを拡張することによって、このコンテキスト情報を推測する手法を提供することが可能である。コンピュータ版アルゴリズムを用いて、運転中に遭遇する多数のオブジェクトおよびフィーチャが、より良いドライバ品質スコアリング用のコンテキスト情報を提供するように認識され標識されることが可能である。さらに、キャプチャされた画像データは、ユーザエンゲージメントおよびフィードバックを補助することが可能である。例えば、自身のスコアを低下させる挙動を示すユーザに対し、ビデオのセグメントを提供することによって、ユーザが危険な操作を思い出し、理解し、回避することを促進することが可能である。

図１を参照して前に記載されたように、カメラ１０２からの画像データ１１２は、センサ１０４（例えば、モバイルデバイス、車載電子コンポーネント、アフターマーケットデバイス、またはそれらの組合せ）からの他のセンサデータ１１４（例えば、テレマティクスデータ）と組み合わせられ、画像データ１１２からコンテキストにより関連するイベントを識別するように、または対象のイベントを含む画像データ１１２の位置をフィルタリングするように、ローカルコンピュータシステム１０６（モバイルデバイス、専用テレマティクスデバイス、機内コンピュータシステム、カメラ１０２、またはそれらの組合せと一体化されることが可能である）によって前処理される。前処理されたデータ１１６の特定の要素は、次いで、さらなる改良および処理のためにリモートコンピュータ環境１１０に対し送信される。様々な実装が可能である。いくつかの実装では、画像データ１１２のすべての処理およびキャプチャがカメラ１０２によって行われる。いくつかの実装では、センサデータ１１４のすべての処理およびキャプチャがセンサ１０４によって行われる。いくつかの実装では、車両１１８のローカルコンピュータシステム１０６は、リモートコンピュータ環境１１０を使用することなく、画像データ１１２およびセンサデータ１１４のすべての処理を行うことができる。

カメラ１０２によってキャプチャされた画像データ１１２から識別可能な特定の運転挙動およびコンテキスト情報のいくつかの例は、以下、すなわち、相対速度超過（例えば、ドライバが道路における他の車または掲示された速度制限よりも早くまたは遅く進行している）、道路における他の車両に対する車両の車間距離（例えば、テールゲーティング）、交通密度（例えば、車両１１８が交通渋滞において操作されているか、または車両１１８のごく近くの他の車両の数の測定）、停止標識または信号機における停止し損ないを識別すること（例えば、車両１１８が、示された停止標識または信号機における赤信号を通過する前に、完全停止になり損なうとき）、黄信号を通り過ぎる粗暴な加速（例えば、信号機にて黄信号に遭遇するときに車両１１８が加速する場合）、旋回挙動（例えば、右側運転の国において左折する前に車両１１８の左折信号が作動しないとき、または車両１１８が左折すべきときを示す左折信号を信号機が作動させる前に、車両１１８が信号機にて左折するとき）、コンテキスト化された急制動イベント（例えば、急制動イベントが人、動物、または他の車両の突然の出現に起因したかを認識する）、気象条件（例えば、車両１１８が雪、雨または霧の中を運転されているために、車両１１８のドライバの視認性が低下しているかを判定する）、周囲光条件、横断する歩行者または自転車に乗る人のために停止し損なったまたは速度を落とし損なったか、および車両１１８が歩行者または他の車両に対し非常に近くにて動作しているか、のうちの１つまたは複数を含む。

システム１００は、後にさらに詳細に記載されるように、画像から上記の要素、加速、速度および位置データを推測するよう、１つまたは複数の方法を用いることが可能である。システム１００は、オブジェクトおよびバウンディングボックス検出、ならびにＹｏｌｏまたはＳＳＤなどの画像フレームを処理するための認識モジュール（オブジェクト検出器と呼ばれることもある）を用いることが可能である。このオブジェクト検出器は、車、人、自転車、および交通標識／信号などのオブジェクトを識別することができ、各検出されたオブジェクトの周りの近似的なバウンディングボックスを提供する。さらに、エリック・ロイヤー（Ｅｒｉｃ Ｒｏｙｅｒ）、マキシム・ルイリエ（Ｍａｘｉｍｅ Ｌｈｕｉｌｌｉｅｒ）、ミシェル・ドーム（Ｍｉｃｈｅｌ Ｄｈｏｍｅ）、ジャンマルク・ラベスト（Ｊｅａｎ－Ｍａｒｃ Ｌａｖｅｓｔ）による、モバイルロボットローカリゼーションおよび自律ナビゲーション用の単眼ビジョン（Ｍｏｎｏｃｕｌａｒ Ｖｉｓｉｏｎ ｆｏｒ Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ａｕｔｏｎｏｍｏｕｓ Ｎａｖｉｇａｔｉｏｎ）、コンピュータビジョンの国際ジャーナル，シュプリンガー出版社（Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ）、２００７年、７４（３）、２３７－２６０ページ（その全体が参照により本明細書に組み込まれる）に記載されるように、カメラ１０２が車両１１８における既知の固定された配向にあると仮定すると、オブジェクト検出器のオブジェクトを３Ｄに近似的に位置させる性能が想定される。オブジェクト検出器は、
オブジェクトクラス、時間、ｘ位置、ｙ位置、幅、高さ
の形態の、一連のオブジェクト検出を生成することができる。

ここで、ｘ位置は、カメラ１０２の左（負）または右（正）への距離（例えば、メートルによる）を参照し、ｙ位置はカメラ１０２の前の距離である。
さらに、検出が付与されると、例えば、機械学習（ＧＯＴＵＲＮ）、光学フロー、または他の視覚的コヒーレンス方法のいずれかに基づくオブジェクト追跡方法は、オブジェクトを経時的に追うように用いられることが可能であり、時刻ｔ１にて検出されたクラスＣのオブジェクトが付与されると、時刻ｔ２におけるオブジェクトクラスＣの後の検出が同一のオブジェクトであるかを決定するように用いられることが可能である。

これに加えて、カメラ１０２を備える車両１１８の速度、位置、および方位の見積りは、規則的なサンプルレート（例えば、１秒に１回）にて入手可能であると想定される。これは、センサ１１４を用いて取得されることが可能である。

システム１００が前に記載された８つのコンテキスト挙動を抽出するために用いられ得る方法が、これより説明される。
相対速度超過
相対速度超過は、車両１１８が、その車両１１８に近接する環境における他の車両の実勢速度にて、または実質的にその速度を超えてもしくはその速度以下にて動いているかとして定められる。他の車両よりも遥かに速くまたは遅く運転することは、危険であると推定され得る。コンテキストの速度超過を決定するための方法は、各オブジェクトの速度を、カメラ１０２からのオブジェクトの相対距離の変化を経時的に測定することによって見積ることを含むことが可能である。時刻Ｔ１にて位置Ｄ１にあるオブジェクトＯ（後に、時刻Ｔ２にて位置Ｄ２にある）が与えられると、車両１１８に対するＯの速度は、（Ｄ２－Ｄ１）／（Ｔ２－Ｔ１）として定められることが可能である。

時間ウィンドウＷ［Ｔａ，Ｔｂ］（時刻ＴａとＴｂとの間）にわたる車両１１８の相対速度スコアは、以下の方法を用いて定められる。時間ウィンドウ中に観察された他の車両の相対速度のすべてを単純に平均化することは、非常に速くまたは非常に遅く動くいくつかの車両の寄与を重み付けしすぎる場合がある。したがって、車両１１８よりも大幅に速くまたは遅く動いている他の車両の一部をカウントする方法が所望されてよい。そのアプローチは、以下に係る疑似コードに記載されることが可能である。

カウント＝０，閾値カウント＝０に初期化
Ｗ中に２回以上検出された１組のすべての車両Ｖが付与されると、
Ｖにおける各別個のｖについて、Ｗにおける時刻Ｔｖ１にて最初におよびＷにおける時刻Ｔｖ２にて最後に、対応する「ｙ軸」位置Ｄｖ１およびＤｖ２（ｙ軸の原点は観察する車両の位置である）とともに検出される。

Ｓｖ＝（Ｄｖ２－Ｄｖ１）／（Ｔｖ２－ＴＶ１）とする。
カウント＝カウント＋１とする。
Ｓｖ＞速度閾値の場合
閾値カウント＝閾値カウント＋１
Ｓｖ＜－速度閾値の場合
閾値カウント＝閾値カウント－１
相対速度スコア＝閾値カウント／カウント
したがって、相対速度スコアは、特定の期間にわたって他の車両の一部が車両１１８よりも大幅に遅くまたは速く動いていることを示す、－１と１との間の数であることが可能である。総合的なドライバの危険を評価するためのこの尺度（メトリック；ｍｅｔｒｉｃ）の特定の使用は、後にさらに詳細に記載される。

車間距離
他の車両を、特に高速道路において非常に近くにて追尾すると、危険な挙動と推定され得る。車間距離は、相対速度超過と同様の方法により計算されることが可能である。例えば、車間距離の尺度は、ウィンドウ中の時間の一部が、車両１１８がその車両のいくつかの閾値距離以内（例えば、別の車両の後方にて１０フィート（３メートル）未満）の別の車両の近くにて動作されていたときに、０と１との間の数字であることが可能である。

各車両検出では、検出された車両がほぼドライバの真正面にある場合（すなわち、いくらか小さい値の閾値Ｘについて、ｘ位置が［閾値Ｘ，＋閾値Ｘ］にある）、検出は検出ビン「検出セット」に加えられる。次いで、時間ウィンドウ［Ｔａ，Ｔｂ］の間、車間距離がいくつかの閾値［閾値Ｙ］未満であった時間の一部が、以下の疑似コードを用いて示されるように生成される。

近接カウント＝０、カウント＝０に初期化
ウィンドウＷ＝［Ｔ１，Ｔ２］中に検出された検出セットにおける１組のすべての車両が付与される
検出セットにおける各ｖについて、ｄ＝ｖ．ｙ位置（すなわち、車両に対する距離）とする
ｄ＜閾値Ｘの場合
近接カウント＝近接カウント＋１とする
カウント＝カウント＋１とする。

車間距離尺度＝近接カウント／カウント
総合的なドライバの危険を評価するためのこの尺度の特定の使用が後により詳細にように記載される。

交通密度
「交通規制の」状況は危険な傾向があり得るため、高い交通密度のエリアにおける運転は、衝突の見込みを増加させ得る。いくつかの実装では、交通密度は、付与された時間ウィンドウにおける車両１１８に近接した他の車両の数を測定することによって見積もられる。しかしながら、車両１１８に対し反対方向に進行する他の車両を測定することを避けるため、画像データ１１２およびセンサデータ１１４は、車両１１８と同一方向に進行する他の車両の数を測定するように用いられることが可能である。例えば、車両１１８に対し同一方向に進行する他の車両は、画像データ１１２においてある時間ウィンドウにおいて２回以上検出された他の車両を識別することによって測定されることが可能である。これは、多くの例において、車両１１８に対し反対方向に進行する他の車両は、少なくない画像フレームについて視認されそうもないという事実を利用する。特定の他の車両が閾値数のフレーム（例えば、動的または静的閾値）より多くのフレームに存在する場合、特定の他の車両が同一方向に進行すると識別されることが可能である。閾値は、車両１１８の速度および車両１１８の位置などの環境因子に依存して、動的に設定されることが可能である。例えば、車両１１９が動いていない（例えば、駐車している）場合、交通密度の尺度は無視されることが可能である。しかしながら、車両１１８が動いていないものの動くために示された車道区画にある場合、車両１１８は赤信号にて停止していると決定されることが可能であり（例えば、システム１００は、車両１１８が、赤信号に起因して静止位置にあると決定することが可能である）、または、車両１１８が「交通渋滞」イベントにあると決定されることが可能である。以下の測定、すなわち
密度の危険＝時間ウィンドウ中に２回以上検出された他の車両Ｖの数
を用いると、「交通密度危険スコア」が総合的なドライバの危険を評価するように用いられることが可能である。総合的なドライバの危険を評価するためのこの尺度の使用の例は、以下にさらに詳細に記載される。

ローリング停止／黄信号を走行
ローリングで停止標識を通過（例えば、車両１１８が停止標識を通過して前進する前に完全な停止にならないとき）および黄／赤信号を通り過ぎる加速は、両方とも、画像データ１１２から検出されることが可能である危険な操作と考えられ得る。車両１１８が停止標識または信号機を通過して前進するとき、システム１００は、車両１１８がその停止標識または信号機を通過して前進する前に減速または停止し損なうかを決定することが可能である。例えば、システム１００は、画像データ１１２を用いて停止標識または赤信号を識別し、次いで、標識または信号を観察して数秒以内に車両１１８が完全な停止になるかを決定することが可能である。いくつかの例では、停止標識は、システム１００によって検出されてよいが、車両１１８の進行の方向にない場合がある。そうした例では、システム１００は、停止標識または信号機を無視することが可能である。そうした決定は、他のデータに基づいて（車両１１８内または車両１１８上のカメラ１０２の配置／配向、画像データ１１２の後続のフレームにおける標識／信号の位置、車両１１８の位置などに基づいてなど）行われることが可能である。

時間ウィンドウが付与されると、このシステム１００は、車両１１８が停止標識または赤信号に対して完全な停止になり損なった例の数を測定することが可能である。各例について、システム１００は、し損ないの位置、し損ないが赤／黄信号機または停止標識に対応したか、し損ない中の速度分布（最小速度を含む）のうちの１つまたは複数を決定することが可能である。システム１００は、後により詳細に記載されるように、危険スコアを各例に割り当てるよう、このデータを用いることが可能である。いくつかの実装では、車両１１８が黄信号を通過して前進するとき、システム１００は、その黄信号からの車両１１８がいた距離を決定する。例えば、閾値数のフレーム以下である複数のフレームについて信号が黄である場合、システム１００は、例えば、別の車両が車両１１８を追跡しており、追跡している車両のドライバは車両１１８が停止状態になることを予期しない場合など、１１８車両に突然停止状態にさせることがより危険な挙動であり得るため、黄信号を通過する前進に関連付けられた相対的に小さい危険しかない（または危険がない）と決定することが可能である。

旋回挙動
いくつかの例では、車両１１８を旋回させることは危険と考えられ得、対面交通に対する左折（右側運転の国において）は特に危険であり得る。画像データ１１２を用いると、システム１００は、左折が「保護されない」とき（例えば、交通信号が旋回を特に認める左折矢印を示さない、また、車両１１８が旋回を完了させるために対面交通を横切る必要があるように対面交通が存在するとき）を識別することが可能である。

画像データ１１２とともに、位置および方位情報を含むセンサデータ１１４の時間ウィンドウＷが付与されると、システム１００は、反時計回り（左向き）方向におけるＤ度より大きい方位変化を伴う＜Ｋ秒の期間として、方位情報における左折を識別することが可能であり、ここで、ＫおよびＤは、構成可能な閾値（典型的には、３０秒および６０度）である。各旋回について、システム１００は、旋回の開始前Ｐ秒から旋回後Ｋ秒まで（Ｋ秒を含む）の画像データ１１２を抽出することが可能である。

各旋回について、システム１００は、画像データ１１２を用いて、１）画像データ１１２の画像フレームのいずれかに緑左折矢印が存在したか、および／または２）旋回中に観察される他の近づいてくる車両の速度および数、を識別することが可能である。特定の他の車両が近づいてくる車両であるかを決定する間、システム１００は、同一の他の車両の連続した観察を識別することが可能であり、他の車両の相対位置（例えば、ｙ距離）が経時的に減少するかを決定することが可能である。左折は完全に行われるのに数秒要するため、多くの近づいてくる車両は、複数の画像フレームにおいて観察される（交通密度の場合におけるものとは異なり、大半の近づいてくる車両は素早くフレームから出て行く）。付与されたウィンドウの間、危険な旋回はＶを超える近づいてくる車両を伴う複数の左折を測定し、ここでＶは構成可能な閾値（２など）である。この尺度が総合的なドライバの危険を評価するようにどのように用いられ得るかについてのさらなる詳細が、後に記載される。

コンテキスト化された急停止
車両１１８の経路に突然出現する動物などの予期できないイベントによる急制動イベントまたは厳しい制動イベントは、ドライバの将来的な危険の予兆とは必ずしもなり得ない。この理由のため、画像データから推測可能なコンテキストに基づいて、危険の様々なレベルを様々な急制動イベントまたは厳しい制動イベントに対し割り当てることが有益であり得る。

センサデータ１１４からシステム１００によって検出された各急制動イベント（ここで、制動イベントは、１秒以内に７マイル毎時（１１．２７キロメートル毎時）など、いくらかの時間の間にいくつかの閾値を上回る減速として定義されてよい）について、システム１００は、以下を含む動作を行うことが可能である。

イベント前のＣ秒におけるビデオデータＶＤを抽出する（例えば、Ｃ＝２秒）。
検出されたオブジェクト＝ＶＤにおけるすべてのオブジェクトｖとする。ここで、ｖ．ｙ距離＜Ｔ１メートルかつ｜ｖ．ｘ距離｜＜Ｔ２メートル（ここで、Ｔ１およびＴ２は構成可能な閾値、例えば、５メートルおよび２メートル）
コンテキスト停止尺度＝危険関数（検出されたオブジェクト、イベント規模）とする。

危険関数によって、危険の様々なレベルが様々な種類のオブジェクトに対し割り当てられることを可能とする。例えば、他の動物と比較したとき比較的素早く動くことが可能である犬および鹿は、ドライバがそれらを必ずしも予期し得ないため、低い危険レベルに割り当てられてよい。一方、犬または鹿よりも予測可能に動くものの車道に予測不可能に入ることもある歩行者および自転車は、普通の危険レベルに割り当てられてよく、すべての他のオブジェクト（または０個のオブジェクト）は、危険の最高レベルに割り当てられてよい。この尺度が総合的なドライバの危険を評価するようにどのように用いられるかについてのさらなる詳細が、以下に記載される。

低下した視認性
厳しい天候は、視認性を低下させ得ることが多く、運転の危険を増加させる。カメラ１０２によってキャプチャされた画像データ１１２は、視認性を測定するように用いられることが可能である。例えば、システム１００は、画像データ１１２によって示された総合的な歪みを評価すること、総合的な明るさおよび輝き（例えば、カメラ１０２の開口によって生じる変化を考慮する）を見積もること、またはその両方を行うことが可能である。いくつかの実装では、車両１０２のドライバが完全にオブジェクトを観察できないときの危険を帰属させるように、システム１００は、時間ウィンドウＷにおける検出された車両（またはオブジェクト）最大ｙ距離と全時間にわたってすべての検出された車両のｙ距離のｋ番目のパーセンタイル値との比率を測定することが可能である（ここで、ｋは構成可能なパラメータであり、いくつかの実装では９５である）。いくつかの実装では、システム１００は、以下に係る動作を行う。

最大過去Ｙ＝ｙ距離のすべての車両検出のうちｋ番目のパーセンタイル値とする。
ウィンドウ最大＝０とする。
付与された時間ウィンドウＷ＝［Ｔ１，Ｔ２］間、Ｖ＝［Ｔ１，Ｔ２］におけるすべての車両検出とする。

Ｖにおける各ｖについて、ｖ．ｙ距離＜ウィンドウ最大である場合、ウィンドウ最大＝ｖ．ｙ距離とする。
視認性尺度＝０とする。
ウィンドウ最大＞０かつウィンドウ最大／最大過去Ｙ＜ｖｉｓ閾値である場合、
視認性尺度＝ｌｏｇ（１／ウィンドウ最大／最大過去Ｙ）とする。

ここで、ｖｉｓ閾値は構成可能なパラメータであり、＜１、典型的には０．９である。
したがって、いくつかの例では、視認性尺度は、時間ウィンドウにおける車両について検出された最大距離に反比例する。この尺度が、低下した視認性に起因するドライバの危険を評価するようにどのように用いられ得るかについてのさらなる詳細が、後に記載される。

横断歩道挙動
横断歩道における歩行者のために自身の車両を停止させないドライバは、歩行者の負傷を生じる危険があり得る。これに加えて、歩行者が居る横断歩道における停止し損ないは、ドライバの注意散漫、または焦燥（それ自身が危険な運転挙動に関連し得る）の表れであることもある。いくつかの実装では、システム１００は、以下に係る挙動を検出する。

付与されたウィンドウＷ＝［Ｔ１，Ｔ２］において
Ｐ＝検出された各歩行者オブジェクトｐとし、ここで横断歩道オブジェクトも存在し、歩行者と横断歩道とのｙ距離が互いのＤメートル以内であり、ここでＤは構成可能な閾値、典型的には１メートルであり、歩行者の検出されたバウンディングボックスが横断歩道の検出されたバウンディングボックスに重なり、歩行者が横断歩道にいることを示し、Ｐに対するｙ距離が＜Ｄ横断であり、ここでＤ横断はドライバが横断歩道の近くにいる（典型的には１０メートル）ことを示す構成可能なパラメータであり、ここでＤ横断は車両の速度に依存してよい。

Ｐｅｄ尺度＝０、
Ｐの各ｐについて、減速を、車両がいくらかの速度＜Ｓ横断（ここで、Ｓ横断は構成可能なパラメータ、典型的には５ｍ／ｓ）に減速しなかったかを示す、すなわち、横断歩道が近づくときに車両が減速したことを示す二進変数とする。

Ｐｅｄ尺度＝Ｐｅｄ尺度＋減速
したがって、歩行者尺度は、車両が減速し損なった、歩行者が居る横断歩道の数の測定であることが可能である。歩行者尺度が、ドライバの横断歩道関連危険についてスコア付けするようにどのように用いられるかに関するさらなる詳細が後に記載される。

挙動への危険の帰属
システム１００は、各ドライバについて、特定の危険挙動に対する自身の露出の程度を示す危険スコアのベクトルを生成する例えば、危険ベクトルは、注意散漫の危険、制動の危険、および相対速度超過の危険のうちの１つまたは複数であることが可能である。

様々なドライバについてのそうした危険ベクトルの収集がそれらのドライバについての過去の事故頻度データとして付与されると、次いで、衝突または支払い要求の頻度をリスク変数から予測するように、モデルがデータにフィッティングされることが可能である。いくつかの実装では、機械学習エンジン３００（例えば、後に図４に関して記載されるように）が、危険スコアを算出すべくイベントを分類／識別するように用いられることが可能である。

１．相対速度超過
システム１００は、１つまたは複数の相対速度超過スコアを決定することができる。例えば、システム１００は、ドライバが実勢速度以下において車両を運転する頻度に対して決定される低速スコア、およびドライバが実勢速度を超えて運転する頻度に対する高速スコアを計算することが可能である。

システム１００は、相対速度超過挙動が最も関連すると決定される道路区画（例えば、ドライバが一般に、実勢速度制限にてまたはおよそその速度制限にて進行する幹線道路区画）を識別することができる。そうした道路区画は、車両１１８の軌道を、道路マップ上の区画がその区画の分類（例えば、高速道路、一般道路など）により標識される下層の道路マップに一致させること（例えば、米国特許８，４５７，８８０号明細書に記載され、参照によりその全体が本明細書に組み込まれる）を含むことが可能である。システム１００は、車両１１８が、連続した一連のそうした区画を横断する期間を決定すること、また各そうした期間について相対速度超過尺度Ｍを決定する（上の相対速度超過の定義、例えば、－１と１との間の数を用いて）ことができる。１つのそうした尺度は、車両が動作されていたＴ分以下の各間隔について生成されることが可能であり、例えば、Ｔが５分であり、車両１１８が一連の幹線道路区画を２０分間横断した場合、システム１００は４つの尺度を生成することが可能である。各尺度Ｍについて、｜Ｍ｜＞閾値（例えば、０．２５）である場合、かつ、Ｍが正である場合、システム１００は、ドライバの高速スコアを増加させることが可能である。対照的に、Ｍが負である場合、システム１００は、ドライバの低速スコアを増加させることが可能である。ドライバの低速および高速相対速度の危険は、ユーザが低速／高速運転をする、より多くの頻度を蓄積する。いくつかの実装では、システム１００は、運転の総量またはドライバが車両１１８を特定の道路上において動作させた時間の時間数について正規化をしない。

２．車間距離
車間距離についての危険スコアを計算することは、車両１１８が、他の車両を近接して「テールゲーティング」することが、他の区画（例えば、住宅地の道路）より危険である区画（例えば、高速道路区画）において動作していた期間を識別すること、次いでテールゲーティングに費やした時間の総量に基づいて「追尾危険スコア」を蓄積することを含むことが可能である。車両１１８が幹線道路区画（前に記載されたように、マップ一致により推測されることが可能である）を横断した一連の期間が与えられると、システム１００は、それらの期間を最大Ｔ分のウィンドウへと分割することができ、各ウィンドウについて車間距離尺度を決定することができる。システム１００は、車間距離尺度がいくつかの閾値（例えば、０．２５）を超えたとき、各そうしたウィンドウについて総合的な追尾スコアを１増加させることができる。このようにして、システム１００は、ドライバが車両１１８を経時的に他の車両に対し近接して動作させる（例えば、テールゲーティング）際に、車間距離危険尺度を蓄積することが可能である。

３．交通密度
システム１００は、ドライバの運転時間のすべてを長さＴ以下の間隔へと分割し、密度尺度がＤ個の車両を超えたときにそうした間隔の数を測定することとによって、交通密度についての危険スコア決定することが可能である。値Ｄは、ピクセルの数に対して相当のばらつきが存在し得るため、使用時のカメラ１０２およびオブジェクト検出器の解像度に基づいて選択されることが可能である。特定の他の車両は異なるオブジェクト検出器によって識別されるように占有する必要がある。

４．不停止（ローリング停止／し損なった停止）
システム１００は、スコアリング期間中（例えば、２週間）の不停止の数を測定することによって、し損なった／ローリング停止についての危険スコアを決定することが可能である。いくつかの実装では、いくつかの不停止は、他より高く重み付けされてよい。例えば、車両１１８が、停止標識を通過してある速度より速く（例えば、１５マイル毎時（２４キロメートル毎時））前進する場合、不停止は、車両１１８が黄信号を通過して前進するまたは停止標識を通過して遅く前進する（例えば、２マイル毎時（３．２キロメートル毎時））例よりも高く重み付けされることが可能である。

５．旋回挙動
システム１００は、ドライバについて決定された算出された旋回尺度のすべてを合算することによって、安全でない旋回についての危険スコアを決定することが可能である。

６．コンテキスト化された急停止
システム１００は、コンテキスト化された急停止を、コンテキスト化された急停止尺度のすべての急制動イベントにわたる合算として決定することが可能である。いくつかの実装では、このコンテキスト化された危険尺度は、非画像向上制動危険の代わりに、または非画像向上制動危険とともに用いられてよい。
７．低下した視認性
システム１００は、運転時間をＴ分のウィンドウへと分割し、次いで視認性尺度をすべてのそうしたウィンドウにわたって合算することによって、視認性についての合計危険スコアを決定することが可能である。

８．横断歩道挙動
システム１００は、横断歩道尺度をすべての運転時間にわたって合算することによって、横断歩道挙動についての合計危険スコアを決定することが可能である。いくつかの実装では、尺度は異なる道路の種類について別々に決定されることが可能であり、より速い車両を有するより大きい道路（例えば、軽い交通量を有する高速道路）は、より遅い車両を有するより小さい道路（例えば、住宅地区）よりも高く重み付けされるように、スケーリングされることが可能である。

モバイルコンピュータシステムにおける画像データの取扱い
スマートフォンベースの画像解析の困難は、カメラによって生成されたデータの容量をある帯域幅および電力効率にて扱うことに関連し得る。このデータを処理、送信、および記憶することは、スマートフォンのバッテリを激減させ、貴重なネットワーク帯域幅を使用し、またサーバ上の大容量のストレージを消費することがある。

前に記載された方法が、あるエネルギーにより、また計算効率よく実行されることを依然として可能としながら、これらの問題を監査するのに役立つことが可能である、画像データ１１２を処理するための方法が本明細書に記載される。

すべての画像データ１１２をリモートコンピュータ環境１１０に対し送信するよりも、むしろシステム１００は、加速、速度、および位置データをローカルコンピュータシステム１０６上にて処理し、対象の時間範囲を識別し、対象の時間範囲に対応するセンサデータ１１４をリモートコンピュータ環境１１０に対し送信することが可能である。帯域幅をさらに減少させるように、リモートコンピュータ環境１１０に対し送信する前に、ローカル処理アルゴリズムがデータ（例えば、携帯電話上の）に適用されることが可能である。例えば、目的が交通密度を識別することである場合、システム１００は、電話上のプロセッサを用いて他の車両を識別し、次いで、車の数および各車に対する近接（電話上にて処理することによって識別される）に関連する情報をリモートコンピュータ環境１１０に対し送信することが可能である。

いくつかの実装では、処理アルゴリズムは計算的に高価であり得るため、ローカルコンピュータシステム１０６かリモートコンピュータ環境か、どちらにおいて処理することがより安価であるかを決定する１つのアプローチが、ローカルコンピュータシステム１０６の処理能力に基づいて決定されることが可能である。例えば、システム１００は、ローカルコンピュータシステム１０６とリモートコンピュータ環境１１０との各々について計算時間を示すプロファイルを生成することが可能である。

図２を参照すると、ドライバの挙動をコンテキストにより分類するためのテレマティクスデータの画像処理のための方法２００が示される。コンピュータシステム１０６（例えば、携帯電話）は、ビデオデータをローカルに、すなわちカメラ上またはデバイスストレージ上にキャプチャし記憶する（２０２）。これに加えて、コンピュータシステム１０６は、位置、速度、加速、および回転（ジャイロ）データなどの他のテレマティクスデータをキャプチャする。他のデータ１０４は、処理用にリモートコンピュータ環境１１０にアップロードされ（２０４）、ユーザが急制動イベントまたは過度な速度超過をした場所などの、１組の「対象である」期間が、コンピュータシステム１０６に送信し返される（２０６）。

対象の期間からのビデオは、ローカルに処理され（２０８）、その処理の結果もしくはローカルデータ、またはその両方は、さらなる処理のためにリモートコンピュータ環境１１０に対し送信される（２１０）。ローカルに適用される処理の種類の決定は、電話の能力だけでなく、行われている特定の解析（例えば、尺度が上記のように算出されている）に依存する。

具体的には、ローカルコンピュータシステム１０６においてローカルに処理することを適用するか、リモートコンピュータ環境１１０においてリモートに処理することを適用するかを選択する方法は、以下のように動作する。電話からサーバに対し送信するためのコスト（ドルまたはエネルギーにおける）Ｔ（Ｄ）を有する一連のビデオ、Ｄが存在するとする。さらに、このデータを、電話上のいくつかのローカル処理アルゴリズムにより処理し、電話からサーバに対し送信するためのコストＴ（Ｄ’）により、減少したデータセットＤ’を生成するためのコストＰ（Ｄ）が存在するとする。Ｔ（Ｄ）およびＰ（Ｄ）は、例えば、少量のデータをローカルに送信／処理することと、エネルギー消費におけるＯＳレベル尺度を観察することとによって見積もられることが可能である。次いで、この方法は、Ｔ（Ｄ）＞Ｔ（Ｄ’）＋Ｐ（Ｄ）であるとき、データをローカルに処理し、Ｄ’を送信することを選び、そうでない場合は、Ｄを直接処理用のサーバに対し送る。

いくつかの例では、図２を参照して前に記載された方法２００は、いくつかの対象のイベントを欠いている場合がある。例えば、方法２００は、極度の加速イベントとしてフラグを立てられない、車両１１８が黄信号を通り過ぎて加速しているイベントを欠いていることがある。例えば、いくつかの例では、携帯電話は計算的必要性に起因してビデオのすべてのフレームを処理せず、したがって、携帯電話は処理用のビデオフレームを優先させることが可能である。

この潜在的な制限を克服するように、コンピュータシステム１０６は、図２を参照して前に記載された方法２００におけるように、「対象のイベント」を含まなくても、ビデオフレームの一部分における電話上検出を行うように構成される。したがって、システム１００は、検出アルゴリズムを適用するためのフレームの一部分を選ぶように構成されることが可能である。

運転状況における大半の対象のオブジェクトおよび挙動は、特に、厳しい減速（例えば、衝突に起因する）が存在しないときに、数秒間のビデオにおいて生じる。例えば、停止標識および信号機は、ドライバが停止標識および信号機に接近すると、通常、数秒間視認できる。したがって、ビデオ（３０ｆｐｓ以上にてキャプチャされてよい）のすべてのフレームを解析する必要はなくてよく、代わりに、システム１００は、フレームが停止標識または信号機を含むかを決定するように、数秒ごとにフレームを処理するように構成されることが可能である。

いくつかの場合、センサデータ１０４は、対象のイベントが画像データ１１２において生じるところについてコンテキストを提供することが可能である。例えば、停止標識は、一般に幹線道路にないが、動物は、一般に都会環境に存在し得ず、ドライバは一般に停止標識に接近したとき減速し得る。この一般的な認識は、画像データ１１２に含まれるフレームまたはフレームの群について重み付けを生成するように用いられることが可能である。重み付けは、処理用の画像フレームを優先させるように用いられることが可能である。

例えば、これらの観察は、他の近くのフレームが解析されているかに基づいて、様々なオブジェクトの種類の頻度に関する観察された統計に基づいて、またはその両方に基づいて、各フレームに対し値を割り当てる総合的な方法に導くことが可能である。これらの値は、バッテリ消費を制限するように、または電話に電力供給される（例えば、電源に接続される）ときのみ、フレームのあるレートまで割り当てられることが可能である。

そうした値を割り当てる処理は、以下の疑似コードに従って記載されることが可能である。
電話または処理デバイスが十分な電力を有する（例えば、接続されている）とき
Ｖ＝いくつかの規則的な間隔（例えば、毎秒１回）にてサンプリングされたビデオフレームの組とする
Ｖにおける各未処理フレームｆについて
Ｅ＝ｆの周りの対象のイベント（例えば、粗暴な制動、速度超過など）とする
Ｃ＝ｆの周りの運転コンテキスト（例えば、高速道路対非高速道路、都会対田舎）とする
Ｈ＝ｆの周りの検出器履歴（例えば、最後のものがＫ秒前に検出器を実行）
処理するか？（ｆ、Ｅ，Ｃ，Ｈ）
Ｄ＝検出器を選択（ｆ、Ｅ，Ｃ，Ｈ）とする
ｆＤ＝Ｄ（ｆ）とする／／検出器を実行
ｆＤが空でない場合
ｆＤを検出器として保存
ｆＤをサーバに対する送信用に加える
ｆを処理済みとして表示
したがって、フレームを処理するかの選択は、フレームがキャプチャされた時刻におけるイベント、運転コンテキスト（例えば、車両１１８が高速道路を横断していたか）、およびフレームが解析された最後の時刻にてどのくらい前に何が検出されたかに依存する（例えば、車両１１８が密集した都会環境において低速にて動いているとき、車両１１８が田舎環境において高速に動いているときほど頻繁に新たなフレームを処理することは有益となり得ない）。使用のためのオブジェクト検出器の選択は、このコンテキスト情報に依存し得る。例えば、異なるオブジェクト検出器が、田舎環境に対して都会において用いられてよい。これは、検出器がオブジェクトのより多くまたはより大きい分類を検出できる必要があるときに、オブジェクト検出器が、オブジェクトを検出するのにより長い時間を必要とし得るため、またより遅くなることが可能であるため、重要であり得る。

図３は、例示的な画像データ３００を示す。前向きカメラ１０２は、街路灯３０６、道路標識３０４、他の車両３０２をフィーチャとしてキャプチャする。車両１１８が前方に動くと、カメラ１０２によってキャプチャされた画像データ３００の後続のフレームは、他の車両、車道、道路標識などをフレームにおける更新された位置にて示す。センサ１０４から集められた位置／速度データは、前に記載されたように、対象のイベントの決定を行うよう、１つのフレームから次のフレームに、画像データ３００のフィーチャをマッピングするように用いられることが可能である。いくつかの実装では、これらのフィーチャは、図４を参照して後に記載されるものなどの機械学習技術を用いて画像データ３００から抽出される。

図４は、機械学習動作を行うためのデータ処理システム４００の一例を示す。いくつかの実装では、データ処理システム４００は、ローカルコンピュータデバイス１０６とリモートコンピュータ環境１１０との一方または両方を含むことが可能である。データ処理システム４００は、フィーチャ分類エンジン４０２および予測エンジン４０４を備える。フィーチャ分類エンジン４０２および予測エンジン４０４は、互いと、クライアントデバイス１０５と、またはその両方と通信していることが可能である。

識別された（前に記載されたように）危険イベントは、フィーチャ（特徴）ベクトル４０６のフィーチャによって表される。フィーチャベクトル４０６は、キャプチャされたデータ１１２，１１４の特性を簡潔に表し、ニューラルネットワークまたは他の機械学習技術を用いてなど、データ処理システム４００によって処理されることが可能である。フィーチャベクトル４０６は、フィーチャベクトル論理４０８を用いて生成される。フィーチャベクトル論理４０８は、カメラ１０２およびセンサ１０４によってキャプチャされたデータ１１２，１１４（すなわち、集合データ１０８）を処理し、そのデータ１１２，１１４を、画像データ１１２およびセンサデータ１１４のフィーチャを表すフォーマットされたベクトルへと変換することができる。これらのフィーチャは、対象のイベントを識別するのに有用であり得る。示される例では、画像データ１１２の１群の赤ピクセルの検出は、停止標識または赤信号が画像フレームにおいて検出されたかを決定するように用いられるフィーチャであることが可能である。別の例では、加速値のベクトルは、急制動イベントを識別するように用いられることが可能である。

フィーチャベクトル４０６は、クライアントデバイスからデータ処理システム４００のフィーチャ分類エンジン４０２に対し送られる。フィーチャ分類エンジン４０２は、フィーチャベクトル４０６を、予測エンジン４０４によってドライバについての対象のイベントの予測を行うように用いられることが可能であるフィーチャ分類データ４１４へと変換する論理を含む。フィーチャ分類エンジン４０２は、フィーチャ変換論理エンジン４１０および機械学習論理４１２を含む。

フィーチャ変換論理４１０は、フィーチャベクトルを機械学習論理４１２用の入力へと変換できる。例えば、フィーチャ変換論理４１０は、フィーチャベクトル４０６のフィーチャを、ニューラルネットワーク用の活性化入力などの機械学習論理４１２によって認識されることが可能である値に正規化することが可能である。いくつかの実装では、機械学習論理４１２は、サポートベクトルマシンである。いくつかの実装では、フィーチャベクトル４０６のフィーチャは、非線形変換により０と１との間の値へと変換され、ここで、正規化された値はニューラルネットワーク用の活性化レベルを表し、正規化されたスケールは正規化処理前のフィーチャの値の非線形表示である。フィーチャが変換された値は、用いられている機械学習論理の種類、および機械学習論理に関連付けられた重み付けスキームに依存することが可能である。

機械学習論理４１２（例えば、ニューラルネットワーク、サポートベクトルマシンなど）は、フィーチャベクトル４０６の正規化されたフィーチャを受信することと、深層学習処理を通じてなど、分類データ４１４を計算することとができる。例えば、ニューラルネットワーク論理は、フィーチャベクトル４０６のフィーチャ間の依存性を追跡する長・短期記憶ニューラルネットワークを含むことが可能である。他の回帰型ニューラルネットワークは、他の機械学習分類器とともに用いられることが可能である。

フィーチャ分類器データ４１４は、フィーチャライブラリからなど、既知のフィーチャの対象を基準に評価するように、フィーチャベクトル４０６のフィーチャのうちの１つまたは複数についての分類尺度を含む。例えば、パーセンテージ分類が各フィーチャについて計算されることが可能である。予測エンジン４０４は、フィーチャ分類データ４１４の分類値を閾値分類と比較し、不十分な分類を有するフィーチャを廃棄することが可能である。フィーチャは互いに対する依存性を有することが可能であるため、分類尺度は、フィーチャが廃棄される前に決定されることが可能である。

いくつかの実装では、分類尺度の値は、フィーチャインデックスに記憶されることが可能である。インデックスは、インデックスの各フィーチャについての分類値を示すことができる。予測エンジン４０４は、分類値を用いて、各対象のイベントについての１つまたは複数の予測値を表す予測データ４１６を生成することができる。予測値が所定の閾値を超える場合、予測エンジン４０４は、対象のイベントが生じていることを予測することが可能である。例えば、所定の閾値が５０％を超える予測値であることが可能である。いくつかの実装では、誤った正または誤った負を減少させるように、所定の閾値は、５０％よりも高いパーセンテージまたは低いパーセンテージであることが可能である。

本明細書において用いられる際、用語「車両」は、例えば、車、トラック、バス、自転車、オートバイ、またはレクリエーション用車両などの、任意の種類の地上運搬を含むように広く定義される。

説明のため、ドライバは人間ドライバの場合において記載されているが、実装はそのように限定されない。例えば、ドライバは、オンボードコンピュータ（例えば、自動運転）、または人間ドライバとオンボードコンピュータの組合せ（例えば、半自動運転）を参照することが可能である。

他の実装は、本記載および請求項の範囲および趣旨内である。これに加えて、ソフトウェアの性質に起因して、上記の機能はソフトウェア、ハードウェア、ファームウェア、ハードワイヤ、またはそれらの任意の組合せを用いて実装されることが可能である。機能を実装するフィーチャは、機能の一部が様々な物理的位置にて実装されるように、分散していることを含む、様々な位置に物理的に位置してもよい。本明細書において用いられる際、用語「１つの（ａ）」の使用は、減点するように用いられるのではなく、したがって、用語「１つの（ａ）」について複数の意味または「１つまたは複数」の意味を排除する意図ではない。これに加えて、仮出願に対し主張される優先権の範囲に、仮出願が限定されるのではなく、本明細書に記載される技術がどのように実装され得るかの例を含むと理解される。

他の実施形態は、以下の請求項の範囲内である。

Claims (14)

1. データ処理システムであって、
   １つまたは複数のプロセッサと、
   （ａ）１つまたは複数の時間の間に車両にて生じ得る１つ以上の対象のイベントの、前記車両における１つまたは複数のセンサによってキャプチャされた位置、速度、または加速データからの検出と、（ｂ）前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両におけるカメラによってキャプチャされた画像データと、の組合せの処理と、の対応付けを行って、前記１つ以上の対象のイベントが生じることの予測見込みを決定するように、前記１つまたは複数のプロセッサによって実行可能な命令を記憶しているメモリと、を備え、
   前記（ａ）と前記（ｂ）との対応付けを行うように前記１つまたは複数のプロセッサによって実行可能な記憶された前記命令は、前記１つまたは複数のプロセッサによって、
   前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データを電子的に受信する工程と、
   前記１つまたは複数の時間の間に前記車両において生じ得る１つ以上の対象のイベントを示すデータを検出するように、前記位置、速度、または加速データを処理する工程と、
   前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データと、の組合せを処理する組合せ処理工程であって、
   前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データを電子的に受信する工程と、
   電子的に受信された前記画像データと、前記１つまたは複数の時間の間にキャプチャされた前記位置、速度、または加速データとを組み合わせて、前記１つ以上の対象のイベントを表す集合データを生成し電子的に記憶する工程と、
   電子的に記憶された前記集合データに少なくとも部分的に基づいて、前記１つ以上の対象のイベントのコンテキストを決定する工程と、を含む、組合せ処理工程と、
   少なくとも部分的には前記コンテキストおよび前記１つ以上の対象のイベントに基づいて、前記車両または前記車両のドライバに関連付けられた危険スコアを生成する工程であって、前記１つ以上の対象のイベントは危険に関連付けられており、前記危険は前記車両の前記ドライバについての前記危険スコアを生成するように、前記コンテキストに基づいて調節される、工程と、を行うように実行可能な記憶された命令を含む、システム。
2. 前記対象のイベントは、相対速度超過イベント、車間距離イベント、交通密度イベント、ローリングイベント、不停止イベント、旋回挙動イベント、急停止イベント、低下した視認性イベント、または横断歩道挙動イベントを含む、請求項１に記載のシステム。
3. 前記画像データは、１つの画像および一連の画像のうちの一方または両方を含む、請求項１に記載のシステム。
4. 前記１つまたは複数のプロセッサは、モバイルデバイスまたは車両デバイスの一部である、請求項１に記載のシステム。
5. コンピュータ実装方法であって、
   車両における１つまたは複数のセンサによってキャプチャされた位置、速度、また加速データを受信する工程と、
   前記車両における１つ以上の対象のイベントが１つまたは複数の時間の間に生じ得ることを示すデータを検出するように、前記位置、速度、または加速データを処理する工程と、
   前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両におけるカメラによってキャプチャされた画像データと、の組合せを処理する組合せ処理工程であって、
   前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データを受信する工程と、
   受信された前記画像データと前記１つまたは複数の時間の間にキャプチャされた前記位置、速度、または加速データとを組み合わせて、前記１つ以上の対象のイベントを表す集合データを生成し記憶する工程と、
   記憶された前記集合データに少なくとも部分的に基づいて、前記１つ以上の対象のイベントのコンテキストを生成する工程と、を含む、組合せ処理工程と、
   少なくとも部分的には前記コンテキストおよび前記１つ以上の対象のイベントに基づいて、前記車両または前記車両のドライバに関連付けられた危険スコアを生成する工程であって、前記１つ以上の対象のイベントは危険に関連付けられており、前記危険は前記車両の前記ドライバについての前記危険スコアを生成するように、前記コンテキストに基づいて調節される、工程と、を備える、方法。
6. 前記画像データおよび前記位置、速度、または加速データのうちの１つまたは複数は、前処理されたデータを生成するようにモバイルデバイスによって処理され、前記前処理されたデータは、さらなる処理のためにリモートコンピュータ環境に対し送られる、請求項５に記載の方法。
7. 前記１つ以上の対象のイベントは、相対速度超過イベント、車間距離イベント、交通密度イベント、ローリングイベント、不停止イベント、旋回挙動イベント、急停止イベント、低下した視認性イベント、または横断歩道挙動イベントのうちの１つまたは複数を含む、請求項５に記載の方法。
8. １つまたは複数のプロセッサによって実行可能な命令を有する非一時的なコンピュータ可読記憶媒体であって、前記命令は、前記プロセッサに、
   車両における１つまたは複数のセンサによってキャプチャされた位置、速度、また加速データを電子的に受信する工程と、
   １つまたは複数の時間の間に前記車両において生じ得る１つ以上の対象のイベントを示すデータを検出するように、前記位置、速度、または加速データを処理する工程と、
   前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両におけるカメラによってキャプチャされた画像データと、の組合せを処理する組合せ処理工程であって、
   前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データを電子的に受信する工程と、
   電子的に受信された前記画像データと前記位置、速度、または加速データとを組み合わせて、前記１つ以上の対象のイベントを表す集合データを生成し電子的に記憶する工程と、
   電子的に記憶された前記集合データに少なくとも部分的に基づいて、前記１つ以上の対象のイベントのコンテキストを生成する工程と、を含む、組合せ処理工程と、
   少なくとも部分的には前記コンテキストおよび前記１つ以上の対象のイベントに基づいて、前記車両または前記車両のドライバに関連付けられた危険スコアを生成する工程であって、前記１つ以上の対象のイベントは危険に関連付けられており、前記危険は前記車両の前記ドライバについての前記危険スコアを生成するように、前記コンテキストに基づいて調節される、工程と、を備える動作を行わせる、非一時的なコンピュータ可読記憶媒体。
9. 前記画像データおよび前記位置、速度、または加速データのうちの１つまたは複数は、前処理されたデータを生成するようにモバイルデバイスによって処理され、前記前処理されたデータは、さらなる処理のためにリモートコンピュータ環境に対し送られる、請求項８に記載の非一時的なコンピュータ可読記憶媒体。
10. 前記１つ以上の対象のイベントは、相対速度超過イベント、車間距離イベント、交通密度イベント、ローリングイベント、不停止イベント、旋回挙動イベント、急停止イベント、低下した視認性イベント、または横断歩道挙動イベントを含む、請求項８に記載の非一時的なコンピュータ可読記憶媒体。
11. 前記１つまたは複数のプロセッサは、
    前記１つまたは複数の時間の前に、前記車両における前記コンテキストに関する情報を受信する工程と、
    前記１つまたは複数の時間の前に、前記車両における前記コンテキストに関する前記情報に少なくとも部分的に基づいて、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされる前記画像データを処理するかを決定する工程と、を行うように構成されている、請求項１に記載のシステム。
12. データ処理システムであって、
    １つまたは複数のプロセッサと、
    （ａ）１つまたは複数の時間の間に車両にて生じ得る１つ以上の対象のイベントの、前記車両における１つまたは複数のセンサによってキャプチャされた位置、速度、または加速データからの検出と、（ｂ）前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両におけるカメラによってキャプチャされた画像データと、の組合せの処理と、の対応付けを行って、前記１つ以上の対象のイベントが生じることの予測見込みを決定するように、前記１つまたは複数のプロセッサによって実行可能な命令を記憶しているメモリと、を備え、
    前記（ａ）と前記（ｂ）との対応付けを行うように前記１つまたは複数のプロセッサによって実行可能な記憶された前記命令は、前記１つまたは複数のプロセッサによって、
    前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データを電子的に受信する工程と、
    前記１つまたは複数の時間の間に前記車両において生じ得る１つ以上の対象のイベントを示すデータを検出するように、前記位置、速度、または加速データを処理する工程と、
    前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データと、の組合せを処理する組合せ処理工程であって、
    前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データを電子的に受信する工程と、
    電子的に受信された前記画像データと、前記１つまたは複数の時間の間にキャプチャされた前記位置、速度、または加速データとを組み合わせて、前記１つ以上の対象のイベントを表す集合データを生成し電子的に記憶する工程と、
    電子的に記憶された前記集合データに少なくとも部分的に基づいて、前記１つ以上の対象のイベントのコンテキストを決定する工程と、を含む、組合せ処理工程と、
    １つ以上の対象のイベントを表す前記集合データのフィーチャを表すフィーチャベクトルを生成する工程と、
    機械学習論理を用いて、前記フィーチャベクトルの各フィーチャについて重み付け用の尺度を決定する工程と、
    少なくとも部分的には前記フィーチャそれぞれの重み付け用の前記尺度に基づいて、各フィーチャに対し予測の重みを割り当てる工程と、
    少なくとも部分的には前記集合データおよび前記予測の重みに基づいて、前記１つ以上の対象のイベントのコンテキストを決定する工程と、を行うように実行可能な記憶された命令を含む、システム。
13. コンピュータ実装方法であって、
    車両における１つまたは複数のセンサによってキャプチャされた位置、速度、また加速データを受信する工程と、
    前記車両における１つ以上の対象のイベントが１つまたは複数の時間の間に生じ得ることを示すデータを検出するように、前記位置、速度、または加速データを処理する工程と、
    前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両におけるカメラによってキャプチャされた画像データと、の組合せを処理する組合せ処理工程であって、
    前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データを受信する工程と、
    受信された前記画像データと前記１つまたは複数の時間の間にキャプチャされた前記位置、速度、または加速データとを組み合わせて、前記１つ以上の対象のイベントを表す集合データを生成し記憶する工程と、
    記憶された前記集合データに少なくとも部分的に基づいて、前記１つ以上の対象のイベントのコンテキストを生成する工程と、を含む、組合せ処理工程と、
    １つ以上の対象のイベントを表す前記集合データのフィーチャを表すフィーチャベクトルを生成する工程と、
    機械学習論理を用いて、前記フィーチャベクトルの各フィーチャについて重み付け用の尺度を決定する工程と、
    少なくとも部分的には前記フィーチャそれぞれの重み付け用の前記尺度に基づいて、各フィーチャに対し予測の重みを割り当てる工程と、
    少なくとも部分的には前記集合データおよび前記予測の重みに基づいて、前記１つ以上の対象のイベントのコンテキストを決定する工程と、を備える、方法。
14. １つまたは複数のプロセッサによって実行可能な命令を有する非一時的なコンピュータ可読記憶媒体であって、前記命令は、前記プロセッサに、
    車両における１つまたは複数のセンサによってキャプチャされた位置、速度、また加速データを電子的に受信する工程と、
    １つまたは複数の時間の間に前記車両において生じ得る１つ以上の対象のイベントを示すデータを検出するように、前記位置、速度、または加速データを処理する工程と、
    前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記１つまたは複数のセンサによってキャプチャされた前記位置、速度、または加速データと、前記１つまたは複数の時間の間に前記車両におけるカメラによってキャプチャされた画像データと、の組合せを処理する組合せ処理工程であって、
    前記１つ以上の対象のイベントを示す前記データを検出した後にのみ、前記１つまたは複数の時間の間に前記車両における前記カメラによってキャプチャされた前記画像データを電子的に受信する工程と、
    電子的に受信された前記画像データと前記位置、速度、または加速データとを組み合わせて、前記１つ以上の対象のイベントを表す集合データを生成し電子的に記憶する工程と、
    電子的に記憶された前記集合データに少なくとも部分的に基づいて、前記１つ以上の対象のイベントのコンテキストを生成する工程と、を含む、組合せ処理工程と、
    １つ以上の対象のイベントを表す前記集合データのフィーチャを表すフィーチャベクトルを生成する工程と、
    機械学習論理を用いて、前記フィーチャベクトルの各フィーチャについて重み付け用の尺度を決定する工程と、
    少なくとも部分的には前記フィーチャそれぞれの重み付け用の前記尺度に基づいて、各フィーチャに対し予測の重みを割り当てる工程と、
    少なくとも部分的には前記集合データおよび前記予測の重みに基づいて、前記１つ以上の対象のイベントのコンテキストを決定する工程と、を備える動作を行わせる、非一時的なコンピュータ可読記憶媒体。

Images