JP7068260B2 - データ処理を優先順位付けするシステム及び方法 - Google Patents

データ処理を優先順位付けするシステム及び方法 Download PDF

Info

Publication number
JP7068260B2
JP7068260B2 JP2019229146A JP2019229146A JP7068260B2 JP 7068260 B2 JP7068260 B2 JP 7068260B2 JP 2019229146 A JP2019229146 A JP 2019229146A JP 2019229146 A JP2019229146 A JP 2019229146A JP 7068260 B2 JP7068260 B2 JP 7068260B2
Authority
JP
Japan
Prior art keywords
vehicle
data
current
sensor data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229146A
Other languages
English (en)
Other versions
JP2020125098A5 (ja
JP2020125098A (ja
Inventor
エイチ．パレク デバン
オグデン クリストファー
Original Assignee
トヨタ モーター ノース アメリカ，インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ モーター ノース アメリカ，インコーポレイティド filed Critical トヨタ モーター ノース アメリカ，インコーポレイティド
Publication of JP2020125098A publication Critical patent/JP2020125098A/ja
Publication of JP2020125098A5 publication Critical patent/JP2020125098A5/ja
Application granted granted Critical
Publication of JP7068260B2 publication Critical patent/JP7068260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
    • G06F9/4831—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本明細書において記述されている実施形態は、一般に、車両と共に使用されるデータ処理を優先順位付けするシステム及び方法に関し、且つ、更に詳しくは、車両の現時点の動作状態に基づいてデータ処理を優先順位付けするシステム及び方法に関する。
車両によって生成及び送信されるデータの量が劇的に増大している。いくつかの車両は、処理されると共にクラウドネットワークなどを介してリモートコンピュータシステムに送信される、大量のデータを既に生成している。このようなデータの処理及び転送には、既に費用を所要している。このような支出は、その増大のみが予想されている。
車両は、実質的にリアルタイムの判定を必要とする運転イベントに遭遇する場合がある。様々な運転イベントについて、リアルタイム判定を実施するには、車両演算システムは、大量の車両データを迅速に処理する必要がありうる。大量の車両データが実質的に同時に処理される場合には、プロセッサが、車両の現時点の動作状態が必要としている結果を返さない場合がある。例えば、自律型の車両は、近傍の建物の検出よりも高い優先順位により、運動する歩行者を識別する必要がありうるが、プロセッサが、異なる順序によって車両データを処理する場合がある。更には、プロセッサが、同時のデータ処理により、過負荷状態となる場合があり、且つ、非効率性及び／又は遅延を結果的にもたらす場合がある。従って、車両の現時点の動作状態に基づいて、車両データの処理を優先順位付けするシステム及び方法を提供するニーズが存在している。又、優先される処理をトリガ(trigger)又は指示しうる、処理優先順位と関連する車両の現時点の動作状態を判定するシステム及び方法を提供するニーズも存在している。
一実施形態においては、車両データ処理システムは、センサのグループと、コントローラと、通信インターフェイスと、を含む。センサのグループは、搭載状態において配置されており、且つ、運転イベントデータを検出及びキャプチャ(capture)するべく動作可能である。コントローラは、センサのグループに結合されており、且つ、センサのグループから、運転イベントデータを示す１つ又は複数のデータストリーム(data streams)を受け取るべく動作可能である。コントローラは、（ｉ）１つ又は複数のデータストリームを分析し、（ｉｉ）１つ又は複数のデータストリームに基づいて車両の現時点の動作状態を判定し、（ｉｉｉ）車両の現時点の動作状態が、１つ又は複数のデータストリームの優先される処理をトリガしているかどうかを判定し、且つ、（ｉｖ）優先される処理がトリガされている、と判定した際に、優先される処理を適用するべく、更に動作可能である。
別の実施形態においては、車両データ処理システムは、複数のセンサと、プロセッサと、メモリと、を有する。複数のセンサは、車両の運転イベントに関係する１つ又は複数のデータポイントを収集している。プロセッサは、複数のセンサに結合されており、且つ、１つ又は複数のデータポイントを受け取るべく動作可能である。プロセッサは、１つ又は複数のデータポイントに基づいて車両の現時点のアクションを判定するべく更に動作可能である。メモリは、プロセッサに結合されており、且つ、状態マネージャプログラムと、現在の基準点の前のセンサデータの組を保存するためのセンサデータキュー(sensor data queue)と、を保存している。プロセッサによる実行の際に、状態マネージャプログラムは、プロセッサが、車両の現時点のアクションに基づいて、現在の基準点において複数のセンサによって収集されている現在のセンサデータと、センサデータキュー内においてキューイングされているセンサデータの組と、を優先順位付け及び処理するようにしている。
別の実施形態においては、車両データ処理方法は、（ｉ）車両の運転イベントに関係する１つ又は複数のデータポイントを複数のセンサによって収集するステップと、（ｉｉ）現在の基準点の前に収集されたセンサデータの組をセンサデータキュー内において保存するステップと、（ｉｉｉ）複数のセンサから、１つ又は複数のデータポイントをプロセッサにおいて受け取るステップと、（ｉｖ）１つ又は複数のデータポイントに基づいて車両の現時点のアクションを判定するステップと、（ｖ）車両の現時点のアクションに基づいて、現在の基準点において複数のセンサによって収集されている現在のセンサデータと、センサデータキュー内においてキューイング(queued)されているセンサデータの組と、をプロセッサにより、優先順位付け及び処理するステップと、を有する。
本開示の実施形態によって提供されている、これらの且つ更なる特徴については、添付図面との関連において、以下の詳細な説明に鑑み、更に十分に理解することができよう。
添付図面において記述されている実施形態は、その特性が例示及び例証を目的としており、従って、本開示の限定を意図したものではない。例示用の実施形態に関する以下の詳細な説明については、同一の構造が同一の参照符号によって示されている以下の添付図面との関連において参照された際に、理解することができる。
本明細書において図示及び記述されている１つ又は複数の実施形態による、接続された自動車のシステムを概略的に描く。 本明細書において図示及び記述されている１つ又は複数の実施形態による、車両データ優先処理システムのブロックダイアグラムを概略的に描く。 図２の車両データ優先処理システム内において使用されている優先処理アルゴリズムの実行のフローチャートを描く。 本明細書において図示及び記述されている１つ又は複数の実施形態による、優先される処理の判定及び実行のフローチャートを描く。 本明細書において図示及び記述されている１つ又は複数の実施形態による、優先される処理をトリガ又は指示する様々な要因を描く。 本明細書において図示及び記述されている１つ又は複数の実施形態による、第１優先アルゴリズムの実行のフローチャートを描く。 本明細書において図示及び記述されている１つ又は複数の実施形態による、第２優先アルゴリズムの実行のフローチャートを描く。 センサデータセットの例示用の階層的優先順位層を描く。
接続された自動車は、無線及び／又はセルラーネットワークを介して利用可能な接続を利用することにより、その他の装置と通信するべく、装備することができる。接続された自動車は、その環境に接続されていてもよく、且つ、これと通信していてもよい。接続された自動車は、車両－インフラストラクチャ間（「Ｖ２Ｉ」）、車両－車両間（「Ｖ２Ｖ」）、車両－クラウド間（「Ｖ２Ｃ」）、及び車両－すべてのもの間（「Ｖ２Ｘ」）通信モデルを含む、様々な通信モデルを介して通信することができる。Ｖ２Ｉ通信モデルは、車両と１つ又は複数のインフラストラクチャ装置の間の通信を促進しており、この結果、車両によって生成されたデータ及びインフラストラクチャに関する情報の交換が可能となりうる。Ｖ２Ｖ通信モデルは、車両の間の通信を促進しており、且つ、周辺車両の速度及び位置情報を含む、周辺車両によって生成されるデータの交換を許容することができる。Ｖ２Ｃ通信モデルは、車両とクラウドシステムの間の情報の交換を促進している。Ｖ２Ｘ通信モデルは、すべてのタイプの車両及びインフラストラクチャシステムを互いに相互接続している。
上述のように、接続された自動車は、車両、周辺車両、環境などに関する大量のデータをキャプチャ及び生成するべく、動作している。接続された自動車は、このようなデータを周辺車両、クラウドサーバー、その他のインフラストラクチャなどにシームレスに送信することができると共に、ネットワークを介して、これらと通信することができる。本明細書において開示されている実施形態は、車両の現時点の動作状態に基づいて車両データの処理を優先順位付けするシステム及び方法を含む。本明細書において記述されている車両データの処理を優先順位付けするシステム及び方法の実施形態は、接続された自動車と共に使用された場合に、利点を提供することができる。例えば、実施形態は、既定の優先順位又は既定の優先順位の階層的な層に基づいて、大きなサイズの車両データを効果的に処理することができる。この結果、車両データの、より高速の、より効率的な、処理をもたらすことができると共に、車両が運転イベントに応答して判定を実施できるようにすることができる。
本明細書において開示されている実施形態においては、車両データの優先される処理により、特定の時点において処理されるべき車両データのサイズ又は容積を低減することができる。本明細書において開示されている実施形態においては、車両データの処理は、同時処理ではなく、既定の優先順位に基づいて実行することができる。いくつかの実施形態においては、優先される処理は、データの特性、データの目的、シーン内の識別された物体、車両の場所、自律型車両のプログラミングされた車両動作など、のような、車両の現時点の動作状態を表す複数の要因に基づいて実行することができる。複数の要因は、現時点の動作状態及び様々な運転イベントに基づいて変化しうると共に、変更可能であってよい。
本明細書において開示されている実施形態においては、車両の既定の動作状態を示しているかどうかについて、センサデータ及びビデオデータなどの車両データを判定することができる。いくつかの実施形態においては、このような判定は、優先される処理が必要とされているかどうか、の判定と関連付けられている。車両の現時点の動作状態に応じて、優先される処理を特定のデータに適用することができる。例えば、（例えば、ハイウェイ上において運転している最中の）高速度において移動している車両は、優先される処理を車両の速度に関係する車両センサからのデータストリームに対して適用することができる。別の例として、車両が街路に沿って移動しており、且つ、右折を計画している場合には、優先順位付けのシステムに従って、車両の右側の近傍において運動する物体をキャプチャするカメラなどの、右折に関係する車両センサからのデータストリームを処理することができる。
本明細書において記述されている実施形態は、車両の動作との関係におけるその即座のニーズに基づいて、データ処理を優先順位付けすることに関する。いくつかの実施形態においては、様々なセンサからのデータが処理及び／又は送信される順序は、データの使用法に基づいて優先順位付けされている。例えば、ナビゲーション、衝突回避、又はその他の関係するシステムのために画像データを使用している車両との関係においては、徒歩移動に関係する（例えば、識別された歩行者に関係する）画像データは、優先的に処理されうる一方において、背景建物を含むデータ又は画像又は画像の一部分は、後から処理されてもよく、その理由は、歩行者のトラフィックデータのような動的データの更新は、建物などの、より静的な写真よりも優先されうる、からである。以下、対応する図面を具体的に参照し、車両データの処理を優先順位付けする様々なシステム及び方法について、更に詳しく説明することとする。
図１は、車両１００と、クラウド演算システム２０と、を含む、接続された自動車のシステム１０を概略的に示している。車両１００は、ヘッドユニット１２０と、ストレージ１４０と、様々なセンサを含むセンサのグループ１５０と、を含む。ヘッドユニット１２０は、キャプチャされた、且つ、センサ１５０から送信された、データポイントに基づいて、車両１００の動作を制御している。ストレージ１４０は、ヘッドユニット１２０に結合されており、且つ、ヘッドユニット１２０の制御下においてデータポイントの組を保存している。センサ１５０は、車両１００内において使用されている様々なタイプのセンサを含む。いくつかの実施形態においては、センサ１５０は、１つ又は複数のカメラ、ＬＩＤＡＲセンサ、レーザーセンサ、超音波センサ、加速度計、近接性センサ、制動センサ、モーションセンサなどを含む。車両１００内において使用されているセンサ１５０は、これらに限定されうるものではなく、且つ、その他のセンサを実装することができる。
又、いくつかの実施形態においては、車両１００は、車両１００の外側において配置されうるセンサのグループ１７０からデータポイントを受け取っている。例えば、センサ１７０は、駐車構造、自治体インフラストラクチャ、車両１００の周囲などのような近傍の建物の上部に又はその近くに配置することができる。車両１００は、ネットワーク２００を介してセンサ１７０からデータポイントを受け取ることができる。その他の実施形態においては、車両１００は、Ｖ２Ｖ通信チャネルを介して周辺車両２１０からデータポイントを受け取ることができる。センサ１７０は、１つ又は複数のカメラ、ＬＩＤＡＲセンサ、加速度計、近接性センサ、制動センサ、モーションセンサ、及びこれらに類似したものなどの、様々なタイプのセンサを含みうる。
図１に示されているように、車両１００は、車両１００とネットワーク２００の間においてデータ及び情報を交換する通信ユニット１８０を含む。図１に示されているように、車両１００は、１つ又は複数のエッジサーバー２２０、２４０、及び２６０と接続されていてもよく、且つ、これらと通信していてもよい。エッジサーバー２２０、２４０、及び２６０は、中央サーバー３００と接続されていてもよく、且つ、これと通信していてもよい。中央サーバー３００は、レシーバ２８０、２８５と通信状態にあってもよい。又、レシーバ２８０、２８５は、車両１００及び２１０とも通信している。
図２を参照し、本明細書において図示及び記述されている１つ又は複数の実施形態による車両データ優先処理システム４００の構造及び動作について詳細に説明する。車両データ優先処理システム４００は、プロセッサ４１０と、メモリ４２０と、センサのグループ４６０と、を含む。コントローラエリアネットワーク（ＣＡＮ）バス４４０は、プロセッサ４１０、メモリ４２０、及びセンサのグループ４６０に接続されており、且つ、通信インターフェイスとして動作している。センサ４６０は、様々なデータポイントをプロセッサ４１０に提供しており、この結果、プロセッサ４１０が、様々な目的のために、このようなデータポイントを処理している。プロセッサ４１０は、様々な判定を実施するべく、センサ４６０からのデータポイントを分析している。いくつかの実施形態においては、プロセッサ４１０は、このようなデータポイントが保存されるのか又は破棄されるのか、並びに、保存される場合には、搭載状態において保存されのか、或いは、外部的に保存されるのか、を判定するべく、データを分析している。その他の実施形態においては、プロセッサ４１０は、データポイントに対する必要なアクション又は反応を判定するべく、データを分析している。例えば、プロセッサ４１０は、加速度計などのセンサからデータポイントを受け取り、且つ、データポイントを分析し、且つ、車両１００が衝突状況のリスクを有しうることを見出している。次いで、プロセッサ４１０は、車両１００の停止、或いは、車両１００の運転速度の低減を要求する警告の出力、などの、アクションが発生するようにするべく、判定を実施することができる。
或いは、この代わりに、又はこれに加えて、プロセッサ４１０は、車両１００の動作状態、速度、回転、加速、減速、操向、物体の運動などを判定するべく、センサ４６０からのデータポイントを分析している。その他の実施形態においては、プロセッサ４１０は、車両１００のエンジンがなんらかの保守課題を有しうるかどうかなどの、車両１００の様々なコンポーネントの、動作状態や保守ニーズなどを判定することができる。
いくつかの実施形態においては、車両データ優先処理システム４００は、図１に示されているように、ヘッドユニット１２０内において実装することができる。その他の実施形態においては、車両データ優先処理システム４００は、ヘッドユニット１２０とは独立的に、且つ、これとは別個に、実装することができる。いくつかの実施形態においては、車両データ優先処理システム４００は、車両１００内に含まれていてもよい。
いくつかの実施形態においては、メモリ４２０は、優先処理アルゴリズム４３０と、既知の動作状態４３５と、を含む。優先処理アルゴリズム４３０は、様々な要因に基づいてデータ処理を優先順位付けするように構成されている。いくつかの実施形態においては、優先処理アルゴリズム４３０は、車両１００の動作との関係におけるその即座のニーズに基づいてデータ処理を優先順位付けするように構成されている。その他の実施形態においては、優先処理アルゴリズム４３０は、車両データの使用法、車両の動作状態、車両１００の場所、必要とされる応答時間、データ処理要件、又はこれらの組合せに基づいてデータ処理を優先順位付けするように構成されている。
いくつかの実施形態においては、メモリ４２０は、それぞれの動作状態に合致する優先順位と相関しうる既定の動作状態の組４３５を含む。例えば、自律型車両の運転の場合には、静的な特徴よりも、歩行者の運動などの、動的な特徴の処理及び検出を優先することができる。別の例として、車両が交差点において停止している際には、車両、歩行者、及び物体の追跡が優先権を有しうる。別の例として、車両の運動の次のシーケンスの完了又は補完に関係する車両データの処理を優先することができる。別の例として、ナビゲーション、衝突回避、又はその他の関係するシステムのために画像データを使用している車両との関係においては、徒歩移動に関係する（例えば、識別された歩行者に関係する）画像データは、優先的に処理されうる一方において、背景の建物を含むデータ又は画像又は画像の一部分は、後から処理されてもよく、その理由は、その更新が、徒歩移動の更新ほどには、即座のニーズを必要としえないからである。いくつかの実施形態においては、既定の動作状態の組４３５は、優先順位に基づいた処理をトリガ又は指示しうる車両状態、動作、運転イベントコンテキストなどを定義している。
いくつかの実施形態においては、優先処理アルゴリズム４３０は、データポイントを処理する機械言語に基づいたプログラムを含む。これに加えて、又はこの代わりに、メモリ４２０は、例えば、深層学習プログラム、ニューラルネットワークプログラム、パターン認識プログラム、又はこれらに類似したものなどの、１つ又は複数の機械学習アルゴリズム又はプログラムを保存することができる。機械学習アルゴリズムは、システムが、車両１００の運転パターンを学習し、車両１００のクラッシュ又は衝突を結果的にもたらしうる状況を予測し、且つ、これらに類似したことを実行できるようにすることができる。その他の実施形態においては、メモリ４２０は、車両の設定が相応して変化しうるように、ユーザープロファイルを認識及び変更するプログラムを更に保存している。メモリ４２０は、センサ１５０及び／又はセンサ１７０のデータポイントの分析に関係する様々なプログラムを更に保存している。又、メモリ４２０は、メディアプレーヤー、ナビゲーションプログラム、車両の設定において使用されるプログラムなどのような、様々なアプリケーションプログラムをも保存している。
図３を参照し、優先処理アルゴリズム４３０を実行するプロセス５００のフローチャートについて詳細に説明する。プロセッサ４１０は、センサ４６０からデータポイントを受け取っている（ステップ５１０）。上述のように、センサ４６０は、車両１００の様々な動作状態を示すデータストリームを生成する、様々な且つ異なるセンサの組を含む。受け取られたデータポイントに基づいて、プロセッサ４１０は、車両の現時点の動作状態を判定している（ステップ５２０）。いくつかの実施形態においては、車両１００の現時点の動作状態は、運転速度、運転場所、運転環境（例えば、道路状態、天候状態）、車両保守状態（例えば、コンポーネント誤動作、コンポーネント交換など）、又はこれらの組合せを含む。これに加えて、或いは、この代わりに、現時点の動作状態は、車両データの優先される処理の判定に結び付きうる任意のインジケータを含むこともできる。これに加えて、現時点の動作状態は、車両データの重要性及び／又は使用法について更に示しうる。
いくつかの実施形態においては、現時点の動作状態は、優先される処理が必要とされうるかどうかを示すことができる。例えば、運転速度、運転場所、運転環境、保守状態、車両データの重要性、車両状態の使用法、又はこれらの組合せを示す現時点の動作状態は、優先される処理をトリガ、指示、又は起動することができる。現時点の動作状態及び優先される処理については、以下の図４Ａ及び図４Ｂとの関連において更に詳細に説明することとする。再度図３を参照すれば、データポイントが現時点の動作状態に対応していると判定されたら（ステップ５３０）、現時点の動作状態に関連する優先順位処理を適用することができる（ステップ５４０）。次いで、プロセッサ４１０は、優先される処理に基づいて出力を生成している（ステップ５５０）。
図４Ａは、車両データポイントが現時点の動作状態に対応しているかどうかの判定（ステップ６１０）との関係において、ステップ５３０の詳細を更に示すフローチャートを示している。現時点の動作状態は、優先される処理を実行するように、プロセッサ４１０をトリガする又はこれに指示することができる。いくつかの実施形態においては、現時点の動作状態は、リアルタイム応答が必要とされうる、車両の次の運動が関係しうる、損傷及び／又は負傷の軽減と関係しうる、緊急事態の防止が関係しうる、などの、状況を示すことができる。これに加えて、或いは、この代わりに、現時点の動作状態は、現時点の運転イベントとの関連において、より強い関連性を有する且つ高い緊急性を有するコンテキスト又は状況について示すこともできる。図４Ａに示されているように、車両データポイントは、例えば、データポイントが、衝突回避（ステップ６２０）、歩行者追跡（ステップ６３０）、動作の次のシーケンス（ステップ６４０）などを伴っている、現時点の動作状態に対応している。これらの動作状態は、一例に過ぎず、且つ、車両データ優先処理システム４００は、これに限定されうるものではない。いくつかの実施形態においては、車両データポイントが、衝突回避（ステップ６２０）を示す現時点の動作状態に対応している際に、優先される処理が発生している（ステップ６６０）。現時点の動作状態が、事故に近い、又は事故の、状況を示している場合には、プロセッサ４１０は、車両データポイントの優先される処理を実行し、且つ、従って、より迅速な且つ必要な応答を提供することができる。より迅速な且つ必要な応答は、結果的に、衝突回避をもたらしうる。
車両データポイントが、歩行者追跡（ステップ６３０）を示す現時点の動作状態に対応している際に、優先される処理が発生している（ステップ６６０）。例えば、自律型車両などの車両が交差点において停止している際には、歩行者の追跡を優先的に処理する必要がありうる。別の例として、車両が混雑したエリア内において運転している際には、歩行者追跡と関連するデータを優先的に処理する必要がありうる。車両が運転している最中には、建物や樹木などのような静的な物体の検出よりも、歩行者などの運動する物体の追跡が重要でありうる。別の例として、車両の現時点の動作状態は、車両の周囲の交通状態、車両が配置されている場所（例えば、ハイウェイ、田舎道、街路）、車両が移動している速度、停止／進行の頻度、又はこれらの組合せなどを判定するステップを含みうる。優先される処理を実行することにより、プロセッサ４１０は、車両が存在している状況を迅速に判定することができると共に、状況に対処するべく迅速な応答を提供することができる。
その他の実施形態においては、自律型車両のコンテキストにおいては、自律型車両が現時点の景色に依存していることに伴って、その他の処理ニーズよりも、３次元（３Ｄ）の景色の生成のニーズのほうに、処理リソースを優先的に割り当てることができる。これに加えて、又はこの代わりに、３Ｄ景色内においては、自律型車両のコンテキストにおけるかどうかを問わず、建物や樹木などの場所の更新などの静的なものよりも、歩行者の運動などの動的な特徴の処理及び検出を優先することができる。
図４Ａにおいて示されているように、データポイントが現時点の動作状態に対応していない場合には、プロセッサ４１０は、通常処理用の既定の順序に基づいて、このようなデータポイントを処理することができる（ステップ６５０）。いくつかの実施形態においては、既定の順序は、プロセッサ４１０におけるデータポイントの受取りのタイミング、そのデータポイントを処理するべく必要とされる処理時間、プロセッサ４１０における現在の処理負荷、クラウド又は車両の任意のその他のコンポーネントからのデータポイントに対する外部要求が存在しているかどうか、又はこれらの組合せなどの、複数の要因に基づいたものであってよい。既定の順序に基づいて、処理が発生している（ステップ６７０）。
図４Ｂは、優先される処理６９０をトリガ又は指示しうる様々な状況を示している。いくつかの実施形態においては、様々な状況は、現時点の動作状態、現時点のアクション、運転イベント、運転状態、運転環境、車両データの特性及び目的、処理及び／又は応答時間、演算リソースなどを含む。図４Ｂに示されているように、様々な状況の一例は、データの重要性６８０を含む。いくつかの実施形態においては、情報の処理又は送信の順序は、その重要性及び／又はその使用法に基づいて優先順位付けすることができる。例えば、歩行者に関係する情報は、車両の地理的な場所に基づいて即座に車両に送信されうる一方で、天候状態に関係する情報は、後から中央サーバーに送信されてもよい。
別の要因は、事故の回避６８２を含みうる。例えば、ナビゲーション、衝突回避、又はその他の関係するシステムを使用している車両との関係において、徒歩移動に関係する（例えば、識別された歩行者に関係する）画像データは、最初に処理されうる一方で、背景建物を含むデータ又は画像又は画像の一部分は、後から処理されてもよく、その理由は、このようなデータの更新は、徒歩移動との比較において、優先されえないからである。
車両の保守６８４は、関連する状況においては、優先されうる。例えば、オイルの品質、オイルのレベル、或いは、これらに類似したものに関するエンジン状態データは、車両が走行している最中には、道路をナビゲートするための画像データの観点において、優先順位を引き下げることができる。車両が停止した際には、車両のエンジン及び／又は保守状態と関連するデータは、優先されうると共に、演算リソースが利用可能である場合には、処理することができる。
様々な状況の別の例は、応答時間６８８を含む。いくつかの実施形態においては、データ処理の優先順位の判定は、結果を実現するべくデータを処理するのに所要する時間及び／又は処理及び結果の受取りのための非搭載状態での情報の送信（即ち、別の車両又はサーバーへの送信）までの応答時間の推定に基づいて判定することができる。いくつかの例においては、特に、大量のデータの処理が必要とされる、或いは、複雑な画像が取得される、際には、必要とされる結果の優先順位を実現するべく、データが、その他のローカルな演算装置に分散されることが望ましい場合がある。優先順位付けは、データが、局所的分散ネットワーク、地域的分散ネットワーク、及び中央分散ネットワークの間において送信される順序を含みうる。
様々な状況の更なる別の例は、車両の運転場所６９２を含む。例えば、車両が、ハイウェイを運転している、或いは、街路を運転している、際には、優先される処理が変化しうる。例として、車両がハイウェイを運転している最中には、車両が運動中ではない又は低速運転中である間に処理されうるデータポイントの処理よりも、ハイウェイをナビゲートするための画像データの処理を優先することができる。別の例として、車両が街路の交差点において運転している最中には、近傍の建物などの静的物体の検出よりも、運動する歩行者や隣接する車両などに関係するデータポイントの処理を優先することができる。
別の例として、運転状態及び／又は運転環境６８６に関係するセンサデータを優先的に処理することができる。例えば、処理するべく、道路状態の判定（例えば、道路の窪みなどの道路の異常の識別）が優先されてもよい。
別の要因は、データポイントの即座のニーズ６９４を含みうる。いくつかの実施形態においては、即座のニーズは、車両の現時点のアクションに基づいて定義することができる。画像データは、車両の動きに対する即座のニーズを有しうることから、車両が運動している最中には、道路をナビゲートするための画像データの観点において、例えば、オイルの品質、オイルのレベル、又はこれらに類似したものに関するエンジン状態データの優先順位を引き下げることができる。
図４Ｂは、優先される処理６９０をトリガしうるいくつかの要因を示しているが、これらの要因は、ある程度、オーバーラップする場合がある。例えば、データの重要性６８０は、即座のニーズ６９４と関連付けられていてもよい。その他の実施形態においては、場所６９２は、データの重要性６８０及び即座のニーズ６９４に対して影響を及ぼしうる。運転状態及び運転環境６８６は、車両保守６８４及び事故回避６８２に対して影響を及ぼしうる。
いくつかの実施形態においては、車両のセンサ４６０からのデータポイントの処理及び／又は送信は、車両の現在の状況、データポイントからの結果に対するニーズ、及び／又は利用可能な処理リソースに基づいて優先順位付けすることができる。例えば、車両が運動している最中に、道路をナビゲートするための画像データの観点において、オイルの品質、オイルのレベル、又はこれらに類似したものに関するエンジン状態データの優先順位が引き下げられた場合には、車両が停止した際に、エンジン状態の再優先順位付け及び処理が発生しうる。別の例として、車両の品質評価の実施及び保守が必要であるかどうかの判定よりも、道路状態の判定が優先される場合もある。
いくつかの実施形態においては、車両の動作状態が変化するのに伴って、異なる且つ様々なセンサデータセットの間の優先順位を変更及び更新することができる。換言すれば、車両の変化した動作状態は、既存の優先順位に影響しうることから、優先順位が引き下げられた、又は優先されている、データポイントの再優先順位付けが発生しうる。いくつかの実施形態においては、異なるデータポイントの間の優先順位は、相対的な優先順位であってよい。
いくつかの実施形態においては、車両データ優先処理システム４００は、車両内の複数のセンサ４６０及び様々なコンポーネントからデータを収集していてもよい。メモリ４２０は、例えば、ハイウェイ上の走行、街路のナビゲーション、赤信号における停止、駐車場における駐車、又はこれらに類似したものなどの、車両の現時点のアクションを示す、状態マネージャプログラムを含みうる。メモリ４２０は、センサ４６０によって現時点において収集されているセンサデータと、過去において、より低い優先順位によって優先順位付けされうる、且つ、現時点においてキューイングされうる、センサデータと、を更に保存している。例えば、オイルの品質、オイルのレベル、又はこれらに類似したものに関するエンジン状態データは、運動中の車両の現時点のアクションの観点において、優先順位が引き下げられており、且つ、キューイングされている。現時点のアクションが、車両が運動中である、というものである最中に、現時点において収集されている画像データには、道路をナビゲートするべく、優先される処理が適用される。車両が静止状態にある際には、エンジン状態データは、優先順位が引き下げられた状態から変更されてもよく、且つ、演算リソースが利用可能である場合には、処理することができる。
図５は、本明細書において図示及び記述されている１つ又は複数の実施形態による第１優先アルゴリズム７００の実行のフローチャートを示している。プロセッサ４１０は、複数のセンサ４６０及び／又はクラウドサーバーからデータポイントを受け取っている（ステップ７１０）。プロセッサ４１０は、受け取られたデータポイントに基づいて、現時点の動作状態を識別することができる（ステップ７２０）。次いで、プロセッサ４１０は、現時点の動作状態に鑑み、データポイントの重要性を判定している（ステップ７３０）。次のステップは、データポイントが、優先される処理の基準を充足しているかどうか、である（ステップ７４０）。優先される処理の基準がデータポイントによって充足されている場合には、これらのデータポイントには、優先される処理が適用される（ステップ７６０）。基準が充足されえない場合には、データポイントの処理の既定の順序を取得することができる（ステップ７５０）。その後に、データポイントは、取得された既定の順序に基づいて処理することができる（ステップ７５５）。
図６は、本明細書において図示及び記述されている１つ又は複数の実施形態による第２優先アルゴリズム８００の実行のフローチャートを示している。プロセッサ４１０は、複数のセンサ４６０及び／又はクラウドサーバーからデータポイントを受け取っている（ステップ８１０）。プロセッサ４１０は、受け取られたデータポイントに基づいて、現時点の動作状態を識別することができる（ステップ８２０）。次いで、プロセッサ４１０は、現時点において収集されている、且つ、過去において異なる優先順位によってキューイングされている、センサデータにアクセスしている（ステップ８３０）。プロセッサ４１０は、車両の現時点の動作に基づいてセンサデータ処理を優先順位付けしている（ステップ８４０）。車両の現時点の動作は変化しうる。いくつかの実施形態においては、車両の現時点の動作は、走行中というものであってもよく、且つ、次いで、停止するべく変更されうる。その他の実施形態においては、又、車両の現時点の動作は、ハイウェイ上の運転から街路上の運転に変化しうる。車両の現時点の動作が変化しうることから、キュー上のセンサデータの優先順位を調節することができる（ステップ８５０）。プロセッサ４１０は、処理に関連する出力を生成している（ステップ８６０）。
図７は、データキュー９００内において保存されている、複数のセンサ４６０からのセンサデータの階層的優先順位層の一例を示している。データキュー９００内において保存されているセンサデータは、異なる優先順位のレベルを有することができる。いくつかの実施形態においては、衝突回避は、より高い優先順位レベル９１０を有しており、且つ、衝突９２０に潜在的に結びつくデータは、次の優先順位レベルを取得しうる。即座の事故状況に結び付くハードウェア誤動作９３０は、次の、より低い優先順位レベルであってよい。新しいコンポーネントによって交換されうるコンポーネント誤動作９４０は、最低の優先順位レベルをとりうる。図７に示されている階層的な関係は、一例であるに過ぎず、且つ、本明細書において記述されている優先処理システム及び方法は、これに限定されるものではない。
その他の実施形態においては、より高い優先順位レベルは、車両が交差点において停止している際の、車両、歩行者、及び運動する物体の追跡を含みうる。このケースにおいては、物体の検出及び局所的環境の定義は、例えば、歩行者追跡の検出よりも低い優先順位であってよい。別の例として、より高い優先順位レベルは、ルートが既知であるか、或いは、操向などの次の動きが予期されている場合に、「次の動き」の完了又は補完に関係するセンサデータの処理の優先順位が、天候処理、車両間通信、及び要求などの、その他のセンサデータの処理よりも優先されうる、という状況を含みうる。更に別の例として、自律型車両のコンテキストにおいては、自律型車両が現時点の景色に依存していることから、その他の処理ニーズよりも、３Ｄ景色の生成のニーズのほうに、処理リソースを優先的に割り当てることができる。これに加えて、又はこの代わりに、３Ｄ景色内においては、自律型車両のコンテキストにおけるかどうかを問わず、建物や樹木などの場所の更新などの静的なものよりも、歩行者の運動などの動的な特徴の処理及び検出を優先することができる。
一実施形態においては、車両データ処理システムは、センサのグループと、コントローラと、通信インターフェイスと、を含む。センサのグループは、搭載状態において配置されており、且つ、運転イベントを検出及びキャプチャするべく動作可能である。コントローラは、センサのグループに結合されており、且つ、センサのグループから、運転イベントデータを示す１つ又は複数のデータストリームを受け取るべく動作可能である。通信インターフェイスは、データ送信のためにセンサのグループ及びコントローラに結合されている。コントローラは、（ｉ）１つ又は複数のデータストリームを分析し、（ｉｉ）１つ又は複数のデータストリームに基づいて車両の現時点の動作状態を判定し、（ｉｉｉ）車両の現時点の動作状態が、１つ又は複数のデータストリームの優先される処理をトリガしているかどうかを判定し、且つ、（ｉｖ）優先される処理がトリガされている、という判定の際に、優先される処理を適用するべく、更に動作可能である。
別の実施形態においては、現時点の動作状態は、衝突回避、運動する物体の追跡、或いは、これらの両方を示している。別の実施形態においては、現時点の動作状態は、車両の速度、車両の場所、運転環境、或いは、これらの組合せを示している。更に別の実施形態においては、現時点の動作状態は、自律型車両の動作の次のシーケンスを示している。
更に別の実施形態においては、コントローラは、（ｉ）１つ又は複数のデータストリームの第１の組に基づいて車両の第１運転イベントを判定し、（ｉｉ）１つ又は複数のデータストリームの第２の組に基づいて車両の第２運転イベントを判定し、且つ、（ｉｉｉ）車両の現時点の動作状態に基づいて第１運転イベント及び第２運転イベントの間の優先順位を判定するべく、更に動作可能である。
更に別の実施形態においては、コントローラは、車両の現時点の動作状態が変化するのに伴って、第１運転イベントと第２運転イベントの間の優先順位を調節するべく、更に動作可能である。
更に別の実施形態においては、コントローラは、演算リソースが利用可能である際に、優先順位が引き下げられた運転イベントの１つ又は複数のデータストリームを処理するべく、更に動作可能である。
別の実施形態においては、車両データ処理システムは、複数のセンサと、プロセッサと、メモリと、を有する。複数のセンサは、車両の運転イベントに関係する１つ又は複数のデータポイントを収集している。プロセッサは、複数のセンサに結合されており、且つ、１つ又は複数のデータポイントを受け取るべく動作可能である。プロセッサは、１つ又は複数のデータポイントに基づいて車両の現時点のアクションを判定するべく、更に動作可能である。メモリは、プロセッサに結合されており、且つ、状態マネージャプログラムと、現在の基準点の前のセンサデータの組を保存するためのセンサデータキューと、を保存している。プロセッサによる実行の際に、状態マネージャプログラムは、プロセッサが、車両の現時点のアクションに基づいて、現在の基準点において複数のセンサによって収集されている現在のセンサデータと、センサデータキュー内においてキューイングされているセンサデータの組と、を優先順位付け及び処理するようにしている。
別の実施形態においては、プロセッサは、車両の現時点のアクションが変化するのに伴って、現在のセンサデータ及びセンサデータの組を再優先順位付けするべく、更に動作可能である。更に別の実施形態においては、プロセッサは、車両の現時点のアクションが静止型のアクションに変化した際に、より低い優先順位によってキューイングされているセンサデータの組を処理するべく、更に動作可能である。更に別の実施形態においては、プロセッサは、演算リソースが利用可能である際に、より低い優先順位によってキューイングされているセンサデータの組を処理するべく、更に動作可能である。更に別の実施形態においては、プロセッサは、車両の現時点のアクションによって必要とされている１つ又は複数のデータポイントの処理を優先順位付けするべく、更に動作可能である。
更に別の実施形態においては、プロセッサは、車両の現時点のアクションに基づいて、現在のセンサデータ及びセンサデータキュー内において保存されているセンサデータの組の１つ又は複数のものの優先順位を引き下げるべく、更に動作可能である。
別の実施形態においては、車両データ処理方法は、（ｉ）車両の運転イベントに関係する１つ又は複数のデータポイントを複数のセンサによって収集するステップと、（ｉｉ）現在の基準点の前に収集されたセンサデータの組をセンサデータキュー内において保存するステップと、（ｉｉｉ）複数のセンサから、１つ又は複数のデータポイントをプロセッサにおいて受け取るステップと、（ｉｖ）１つ又は複数のデータポイントに基づいて車両の現時点のアクションを判定するステップと、（ｖ）車両の現時点のアクションに基づいて、現在の基準点において複数のセンサによって収集されている現在のセンサデータと、センサデータキュー内においてキューイングされているセンサデータの組と、をプロセッサにより、優先順位付け及び処理するステップと、を有する。
別の実施形態においては、車両データ処理方法は、車両の現時点のアクションが変化するのに伴って、現在のセンサデータ及びセンサデータの組を再優先順位付けするステップを更に有する。車両データ処理方法は、車両の現時点のアクションが静止型のアクションに変化した際に、より低い優先順位によってキューイングされているセンサデータの組を処理することを更に有する。車両データ処理方法は、演算リソースが利用可能である際に、より低い優先順位によってキューイングされているセンサデータの組を処理することを更に有する。
更に別の実施形態においては、車両データ処理方法は、車両の現時点のアクションによって必要とされている１つ又は複数のデータポイントの処理を優先順位付けすることを更に有する。車両データ処理方法は、車両の現時点のアクションに基づいて、現在のセンサデータ及びセンサデータキュー内において保存されているセンサデータの組の１つ又は複数のものの優先順位を引き下げることを更に有する。
更に別の実施形態においては、車両データ処理方法は、（ｉ）１つ又は複数のデータポイントの第１の組に基づいて車両の第１運転イベントを判定するステップと、（ｉｉ）１つ又は複数のデータポイントの第２の組に基づいて車両の第２運転イベントを判定するステップと、（ｉｉｉ）車両の現時点の動作状態に基づいて第１運転イベントと第２運転イベントの間の優先順位を判定するステップと、を更に有する。
本明細書においては、特定の実施形態が図示及び記述されているが、特許請求されている主題の精神及び範囲を逸脱することなしに、様々なその他の変更及び変形が実施されうることを理解されたい。更には、本明細書においては、特許請求されている主題の様々な態様が記述されているが、このような態様の組合せにおける利用は、必須ではない。従って、添付の請求項は、特許請求されている主題の範囲に含まれる、すべてのこのような変更及び変形を含むべく意図されている。
〔例１〕
車両データ処理システムであって、
車両に搭載状態において配置され、運転イベントデータを検出及びキャプチャするべく動作可能である、センサのグループと、
センサのグループに結合され、センサのグループから、運転イベントデータを示す１つ又は複数のデータストリームを受け取るべく動作可能である、コントローラと、
を有し、
コントローラは、
１つ又は複数のデータストリームを分析し、
１つ又は複数のデータストリームに基づいて車両の現時点の動作状態を判定し、
車両の現時点の動作状態が、１つ又は複数のデータストリームの優先される処理をトリガしているかどうかを判定し、
優先される処理がトリガされている、という判定の際に、優先される処理を適用する、
べく、更に動作可能である。
〔例２〕
例１の車両データ処理システムであって、現時点の動作状態は、衝突の回避又は運動する物体の追跡、或いは、これらの両方を示している。
〔例３〕
例１の車両データ処理システムであって、現時点の動作状態は、車両の速度、車両の場所、運転環境、又はこれらの組合せを示している。
〔例４〕
例１の車両データ処理システムであって、現時点の動作状態は、自律型車両の動作の次のシーケンスを示している。
〔例５〕
例１の車両データ処理システムであって、コントローラは、
１つ又は複数のデータストリームの第１の組に基づいて車両の第１運転イベントを判定し、
１つ又は複数のデータストリームの第２の組に基づいて車両の第２運転イベントを判定し、且つ、
車両の現時点の動作状態に基づいて第１運転イベントと第２運転イベントの間の優先順位を判定する、
べく、更に動作可能である。
〔例６〕
例５の車両データ処理システムであって、コントローラは、
車両の現時点の動作状態が変化するのに伴って、第１運転イベントと第２運転イベントの間の優先順位を調節するべく、更に動作可能である。
〔例７〕
例６の車両データ処理システムであって、コントローラは、
演算リソースが利用可能である際に、優先順位が引き下げられた運転イベントの１つ又は複数のデータストリームを処理するべく、更に動作可能である。
〔例８〕
車両データ処理システムであって、
車両の運転イベントに関係する１つ又は複数のデータポイントを収集する複数のセンサと、
複数のセンサに結合され、１つ又は複数のデータポイントを受け取るべく動作可能である、プロセッサであって、１つ又は複数のデータポイントに基づいて車両の現時点のアクションを判定するべく更に動作可能であるプロセッサと、
プロセッサに結合され、状態マネージャプロブラムと、現在の基準点の前のセンサデータの組を保存するためのセンサデータキューと、を保存するメモリと、
を有し、
プロセッサによる実行の際に、状態マネージャプログラムは、プロセッサが、車両の現時点のアクションに基づいて、現在の基準点において複数のセンサによって収集されている現在のセンサデータと、センサデータキュー内においてキューイングされているセンサデータの組と、を優先順位付け及び処理するようにしている。
〔例９〕
例８の車両データ処理システムであって、プロセッサは、車両の現時点のアクションが変化するのに伴って、現在のセンサデータ及びセンサデータの組を再優先順序付けするべく、更に動作可能である。
〔例１０〕
例９の車両データ処理システムであって、プロセッサは、車両の現時点のアクションが静止型のアクションに変化した際に、より低い優先順位によってキューイングされているセンサデータの組を処理するべく、更に動作可能である。
〔例１１〕
例９の車両データ処理システムであって、プロセッサは、演算リソースが利用可能である際に、より低い優先順位によってキューイングされているセンサデータの組を処理するべく、更に動作可能である。
〔例１２〕
例８の車両データ処理システムであって、プロセッサは、車両の現時点のアクションによって必要とされている１つ又は複数のデータポイントの処理を優先順位付けするべく、更に動作可能である。
〔例１３〕
例８の車両データ処理システムであって、プロセッサは、車両の現時点のアクションに基づいて、現在のセンサデータ及びセンサデータキュー内において保存されているセンサデータの組の１つ又は複数のものの優先順位を引き下げるべく、更に動作可能である。
〔例１４〕
車両データ処理方法であって、
車両の運転イベントに関係する１つ又は複数のデータポイントを複数のセンサによって収集することと、
現在の基準点の前に収集されたセンサデータの組をセンサデータキュー内において保存することと、
複数のセンサから、１つ又は複数のデータポイントをプロセッサにおいて受け取ることと、
１つ又は複数のデータポイントに基づいて車両の現時点のアクションを判定することと、
車両の現時点のアクションに基づいて、現在の基準点において複数のセンサによって収集されている現在のセンサデータと、センサデータキュー内においてキューイングされているセンサデータの組と、をプロセッサにより、優先順位付け及び処理することと、
を有する。
〔例１５〕
例１４の車両データ処理方法であって、
車両の現時点のアクションが変化するのに伴って、現在のセンサデータ及びセンサデータの組を再優先順位付けすることを更に有する。
〔例１６〕
例１４の車両データ処理方法であって、
車両の現時点のアクションが静止型のアクションに変化した際に、より低い優先順位によってキューイングされているセンサデータの組を処理することを更に有する。
〔例１７〕
例１５の車両データ処理方法であって、
演算リソースが利用可能である際に、より低い優先順位によってキューイングされているセンサデータの組を処理することを更に有する。
〔例１８〕
例１４の車両データ処理方法であって、
車両の現時点のアクションによって必要とされている１つ又は複数のデータポイントの処理を優先順位付けすることを更に有する。
〔例１９〕
例１４の車両データ処理方法であって、
車両の現時点のアクションに基づいて、現在のセンサデータ及びセンサデータキュー内に保存されているセンサデータの組の１つ又は複数のものの優先順位を引き下げることを更に有する。
〔例２０〕
例１４の車両データ処理方法であって、
１つ又は複数のデータポイントの第１の組に基づいて車両の第１運転イベントを判定することと、
１つ又は複数のデータポイントの第２の組に基づいて車両の第２運転イベントを判定することと、
車両の現時点の動作状態に基づいて第１運転イベントと第２運転イベントの間の優先順位を判定することと、
を更に有する。

Claims (14)

  1. 車両データ処理システムであって、
    車両に搭載状態において配置され、運転イベントデータを検出及びキャプチャするべく動作可能である、センサのグループと、
    前記センサのグループに結合され、前記センサのグループから、前記運転イベントデータを示す１つ又は複数のデータストリームを受け取るべく動作可能である、コントローラと、
    を有し、
    前記コントローラは、
    前記１つ又は複数のデータストリームを分析し、
    前記１つ又は複数のデータストリームに基づいて前記車両の現時点の動作状態を判定し、
    前記車両の現時点の動作状態が前記１つ又は複数のデータストリームの優先される処理をトリガしているかどうかを判定し、
    前記優先される処理がトリガされている、という判定の際に、前記優先される処理を適用するべく、更に動作可能であり、
    前記優先される処理を適用することは、現在の基準点における第１運転イベントに対応する第１のデータストリームを、現在の基準点における第２運転イベントに対応する第２のデータストリームよりも前に処理することを含み、前記優先される処理が、それぞれの結果を得るために前記第１のデータストリームおよび前記第２のデータストリームを処理するそれぞれの時間に基づいており、
    前記コントローラは更に、
    前記車両の現時点の動作状態に基づいて前記第１運転イベントと前記第２運転イベントの間の優先順位を判定するべく、動作可能であり、
    前記車両の現時点の動作状態が変化するのに伴って、前記第１運転イベントと前記第２運転イベントの間の前記優先順位を調節するべく、動作可能であり、
    演算リソースが利用可能である際に、優先順位が引き下げられた運転イベントの前記１つ又は複数のデータストリームを処理するべく、動作可能である、
    車両データ処理システム。
  2. 前記現時点の動作状態は、衝突の回避、運動する物体の追跡、又はこれらの両方を示す、請求項１に記載の車両データ処理システム。
  3. 前記現時点の動作状態は、前記車両の速度、前記車両の場所、運転環境、又はこれらの組合せを示す、請求項１に記載の車両データ処理システム。
  4. 前記現時点の動作状態は、自律型車両の動作の次のシーケンスを示す、請求項１に記載の車両データ処理システム。
  5. 前記優先される処理は、前記第１のデータストリームおよび前記第２のデータストリームの非搭載状態での送信から、前記第１のデータストリームおよび前記第２のデータストリームの非搭載状態での送信に応答してそれぞれの結果を受信するまでのそれぞれの応答時間にさらに基づいている、請求項１に記載の車両データ処理システム。
  6. 車両データ処理システムであって、
    車両の運転イベントに関係する１つ又は複数のデータポイントを収集する複数のセンサと、
    前記複数のセンサに結合され、前記１つ又は複数のデータポイントを受け取るべく動作可能である、プロセッサであって、前記１つ又は複数のデータポイントに基づいて前記車両の現時点のアクションを判定するべく更に動作可能であるプロセッサと、
    前記プロセッサに結合され、状態マネージャプログラムと、現在の基準点の前のセンサデータの組を保存するためのセンサデータキューと、を保存する、メモリと、
    を有し、
    前記プロセッサによる実行の際に、前記状態マネージャプログラムは、前記プロセッサが、前記車両の現時点のアクションに基づいて、前記現在の基準点において前記複数のセンサによって収集されている現在のセンサデータと、前記センサデータキュー内においてキューイングされている前記センサデータの組と、を優先順位付け及び処理するようにしており、
    前記優先順位付けおよび処理は、前記車両の現在の行動に基づいて、前記センサデータキューにキューイングされているセンサデータの組よりも前に、前記現在の基準点において前記複数のセンサによって収集されている現在のセンサデータを優先して処理することを含み、
    前記優先順位付けおよび処理は、第１のデータストリームおよび第２のデータストリームを処理してそれぞれの結果を得るためのそれぞれの時間に基づいており、
    前記プロセッサが更に、
    前記車両の現時点のアクションが変化するのに伴って、前記現在のセンサデータ及び前記センサデータの組を再優先順位付けするようにし、
    前記車両の現時点のアクションが静止型のアクションに変化した際に、より低い優先順位によってキューイングされている前記センサデータの組を処理するようにし、
    演算リソースが利用可能である際に、より低い優先順位によってキューイングされている前記センサデータの組を処理するようにしている、
    車両データ処理システム。
  7. 前記プロセッサは、前記車両の現時点のアクションによって必要とされている前記１つ又は複数のデータポイントの処理を優先順位付けするべく、更に動作可能である、請求項６に記載の車両データ処理システム。
  8. 前記プロセッサは、前記車両の現時点のアクションに基づいて、前記現在のセンサデータ及び前記センサデータキュー内に保存されている前記センサデータの組の１つ又は複数のものの優先順位を引き下げるべく、更に動作可能である、請求項６に記載の車両データ処理システム。
  9. 前記優先順位付け及び処理は、前記第１のデータストリームおよび前記第２のデータストリームの非搭載状態での送信から、前記第１のデータストリームおよび前記第２のデータストリームの非搭載状態での送信に応答してそれぞれの結果を受信するまでのそれぞれの応答時間にさらに基づいている、請求項６に記載の車両データ処理システム。
  10. 車両データ処理方法であって、
    車両の運転イベントに関係する１つ又は複数のデータポイントを複数のセンサによって収集することと、
    現在の基準点の前に収集されたセンサデータの組をセンサデータキュー内において保存することと、
    前記複数のセンサから、１つ又は複数のデータポイントをプロセッサにおいて受け取ることと、
    前記１つ又は複数のデータポイントに基づいて前記車両の現時点のアクションを判定することと、
    前記車両の現時点のアクションに基づいて、前記現在の基準点において前記複数のセンサによって収集されている現在のセンサデータと、前記センサデータキュー内においてキューイングされている前記センサデータの組と、を前記プロセッサにより、優先順位付け及び処理することと、
    を有し、
    前記優先順位付けおよび処理は、前記車両の現在の行動に基づいて、前記センサデータキューにキューイングされているセンサデータの組よりも前に、前記現在の基準点において前記複数のセンサによって収集されている現在のセンサデータを優先して処理することを含み、
    前記優先順位付けおよび処理は、第１のデータストリームおよび第２のデータストリームを処理してそれぞれの結果を得るためのそれぞれの時間に基づいており、
    前記車両データ処理方法は更に、
    前記車両の現時点のアクションが変化するのに伴って、前記現在のセンサデータ及び前記センサデータの組を再優先順位付けすることと、
    前記現在のセンサデータおよび前記センサデータの組の更なる優先順位付けおよび処理することであって、前記更なる優先順位付けおよび処理が、前記センサデータキューにキューイングされている前記センサデータの組を処理するための異なる時間量と比較して、前記現在のセンサデータを処理するための時間量に基づいている、更なる優先順位付けおよび処理することと、
    前記車両の現時点のアクションが静止型のアクションに変化した際に、より低い優先順位によってキューイングされている前記センサデータの組を処理することと、
    演算リソースが利用可能である際に、より低い優先順位によってキューイングされている前記センサデータの組を処理することと、
    を有する、車両データ処理方法。
  11. 前記車両の現時点のアクションによって必要とされている前記１つ又は複数のデータポイントの処理を優先順位付けすることを更に有する、請求項１０に記載の車両データ処理方法。
  12. 前記車両の現時点のアクションに基づいて前記現在のセンサデータ及び前記センサデータキュー内において保存されている前記センサデータの組の１つ又は複数のものの優先順位を引き下げることを更に有する、請求項１０に記載の車両データ処理方法。
  13. 前記１つ又は複数のデータポイントの第１の組に基づいて前記車両の第１運転イベントを判定することと、
    前記１つ又は複数のデータポイントの第２の組に基づいて前記車両の第２運転イベントを判定することと、
    前記車両の現時点のアクションに基づいて前記第１運転イベントと前記第２運転イベントの間の優先順位を判定することと、
    を更に有する、請求項１０に記載の車両データ処理方法。
  14. 前記優先順位付けおよび処理は、前記第１のデータストリームおよび前記第２のデータストリームの非搭載状態での送信から、前記第１のデータストリームおよび前記第２のデータストリームの非搭載状態での送信に応答してそれぞれの結果を受信するまでのそれぞれの応答時間にさらに基づいている、請求項１０に記載の車両データ処理方法。
JP2019229146A 2018-12-20 2019-12-19 データ処理を優先順位付けするシステム及び方法 Active JP7068260B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/227,787 US11042159B2 (en) 2018-12-20 2018-12-20 Systems and methods for prioritizing data processing
US16/227,787 2018-12-20

Publications (3)

Publication Number Publication Date
JP2020125098A JP2020125098A (ja) 2020-08-20
JP2020125098A5 JP2020125098A5 (ja) 2021-10-21
JP7068260B2 true JP7068260B2 (ja) 2022-05-16

Family

ID=71097647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229146A Active JP7068260B2 (ja) 2018-12-20 2019-12-19 データ処理を優先順位付けするシステム及び方法

Country Status (3)

Country Link
US (1) US11042159B2 (ja)
JP (1) JP7068260B2 (ja)
CN (1) CN111353375A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042153B2 (en) * 2018-12-21 2021-06-22 Zoox, Inc. Adaptive multi-network vehicle architecture
US20190318257A1 (en) * 2019-06-28 2019-10-17 Helen Adrienne Frances Gould Assessment and response mechanism for autonomous systems
US11526175B1 (en) * 2019-09-30 2022-12-13 Aurora Operations, Inc. Sensor data prioritization for autonomous vehicle based on vehicle operation data
US11550322B1 (en) 2019-09-30 2023-01-10 Aurora Operations, Inc. External environment sensor data prioritization for autonomous vehicle
US20210362749A1 (en) * 2020-05-20 2021-11-25 Gm Cruise Holdings Llc Hardware accelerated network interface for an autonomous vehicle switched-network
CN114521026A (zh) * 2020-11-20 2022-05-20 辰芯科技有限公司 通信数据调度处理方法、装置、计算机设备及存储介质
CN113344345A (zh) * 2021-05-21 2021-09-03 深圳裹动智驾科技有限公司 用于自动驾驶车辆的数据处理方法、装置及计算机设备
US20220388534A1 (en) * 2021-06-02 2022-12-08 Argo AI, LLC Method and system for predicting behavior of actors in an environment of an autonomous vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006134232A (ja) 2004-11-09 2006-05-25 Toyota Motor Corp 車両用立体物検出装置
JP2017161998A (ja) 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用画像生成装置
JP2018036796A (ja) 2016-08-30 2018-03-08 日立オートモティブシステムズ株式会社 外界情報処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146260B2 (en) 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
JP4613741B2 (ja) * 2005-08-05 2011-01-19 トヨタ自動車株式会社 車両用データ記録装置
JP5147874B2 (ja) 2010-02-10 2013-02-20 日立オートモティブシステムズ株式会社 車載画像処理装置
US8923147B2 (en) 2011-10-03 2014-12-30 Qualcomm Incorporated Method and apparatus for filtering and processing received vehicle peer transmissions based on reliability information
US9147336B2 (en) 2012-02-29 2015-09-29 Verizon Patent And Licensing Inc. Method and system for generating emergency notifications based on aggregate event data
GB2523351B (en) 2014-02-21 2017-05-10 Jaguar Land Rover Ltd Automatic recognition and prioritised output of roadside information
DE102015000894A1 (de) * 2015-01-23 2016-07-28 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Elektronisches Parkbremssystem mit externer Ansteuerung
US10029698B2 (en) * 2016-07-19 2018-07-24 Futurewei Technologies, Inc. Adaptive passenger comfort enhancement in autonomous vehicles
US10114374B2 (en) * 2016-11-16 2018-10-30 Baidu Usa Llc Emergency handling system for an autonomous driving vehicle (ADV)
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
CN108834425B (zh) * 2017-03-03 2021-07-20 百度时代网络技术（北京）有限公司 用于控制自动驾驶车辆进入自动驾驶模式的方法及系统
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
US11373552B2 (en) * 2017-08-17 2022-06-28 Virginia Commonwealth University Anatomically accurate brain phantoms and methods for making and using the same
US10948919B2 (en) * 2017-09-11 2021-03-16 Baidu Usa Llc Dynamic programming and gradient descent based decision and planning for autonomous driving vehicles
US10782684B2 (en) * 2018-04-20 2020-09-22 Lyft, Inc. Secure communication between vehicle components via bus guardians
US10328947B1 (en) * 2018-04-20 2019-06-25 Lyft, Inc. Transmission schedule segmentation and prioritization
US11403517B2 (en) * 2018-09-27 2022-08-02 Intel Corporation Proximity-based distributed sensor processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006134232A (ja) 2004-11-09 2006-05-25 Toyota Motor Corp 車両用立体物検出装置
JP2017161998A (ja) 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用画像生成装置
JP2018036796A (ja) 2016-08-30 2018-03-08 日立オートモティブシステムズ株式会社 外界情報処理装置

Also Published As

Publication number Publication date
CN111353375A (zh) 2020-06-30
US11042159B2 (en) 2021-06-22
US20200201325A1 (en) 2020-06-25
JP2020125098A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
JP7068260B2 (ja) データ処理を優先順位付けするシステム及び方法
US20190370581A1 (en) Method and apparatus for providing automatic mirror setting via inward facing cameras
US11250335B2 (en) Joint processing for embedded data inference
JP7338637B2 (ja) 交通支援システム、サーバ及び方法、車載装置及びその動作方法、コンピュータプログラム、記録媒体、コンピュータ、並びに半導体集積回路
JP2022009142A (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
US11566904B2 (en) Map change detection
JP2021524087A (ja) Ｖ２ｘおよびセンサデータを使用するためのシステムおよび方法
JP2023533225A (ja) 自律走行車ポリシーを動的にキュレーションする方法及びシステム
JP2022091936A (ja) 車路協同自動運転の制御方法、装置、電子機器及び車両
US11398150B2 (en) Navigation analysis for a multi-lane roadway
JP2021180016A (ja) クラウドコントロールプラットフォームに用いるイベント検出方法、装置、設備、記憶媒体、及びプログラム
WO2020231480A1 (en) Map updates based on data captured by an autonomous vehicle
JP2023529959A (ja) 離脱予測とトリアージ支援のためのシステムと方法
US20220198839A1 (en) Distributed data processing task allocation systems and methods for autonomous vehicles
US20230415753A1 (en) On-Vehicle Driving Behavior Modelling
US11913791B2 (en) Crosswalk detection
JP2022058611A (ja) 運転者及び乗客用の車載音響監視システム
KR20180068462A (ko) 신호등 제어 시스템 및 방법
KR102562381B1 (ko) 차량 호라이즌에서 오브젝트를 컨텍스트화 하기 위한 시스템 및 방법
EP4071728A1 (en) Artificial intelligence model integration and deployment for providing a service
WO2022136734A1 (en) Distributed data processing task allocation systems and methods for autonomous vehicles
KR20230120642A (ko) 동시 실행 뉴럴 네트워크들에의 프로세싱 자원들의 배정
EP4202476A1 (en) Anomaly prioritization using dual-mode adaptive radar
CN113276863B (zh) 车辆控制方法、装置、设备、介质及程序产品
JP7363831B2 (ja) 情報収集制御装置、情報収集制御方法、情報収集制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210907

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220428

R150 Certificate of patent or registration of utility model

Ref document number: 7068260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150