JP6729673B2 - 複数車両の協力による交通イベントの位置特定 - Google Patents

複数車両の協力による交通イベントの位置特定 Download PDF

Info

Publication number
JP6729673B2
JP6729673B2 JP2018235823A JP2018235823A JP6729673B2 JP 6729673 B2 JP6729673 B2 JP 6729673B2 JP 2018235823 A JP2018235823 A JP 2018235823A JP 2018235823 A JP2018235823 A JP 2018235823A JP 6729673 B2 JP6729673 B2 JP 6729673B2
Authority
JP
Japan
Prior art keywords
image
situation
vehicle
objects
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018235823A
Other languages
English (en)
Other versions
JP2019125361A (ja
Inventor
ゴ,レイ
ピライ,プリーティ
尾口 健太郎
健太郎 尾口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2019125361A publication Critical patent/JP2019125361A/ja
Application granted granted Critical
Publication of JP6729673B2 publication Critical patent/JP6729673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/091Traffic information broadcasting
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Description

(関連出願への相互参照)
本出願は、「LOCALIZING TRAFFIC SITUATION USING MULTI-VEHICLE COLLABORATION」と題し、2018年1月13日に出願された米国特許出願第15/870,870号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。
本開示は交通状況(Traffic situation, 例えば道路工事といった道路上に存在する交
通に影響を与えるイベントを指す)の位置を特定することに関する。より具体的な例では、本開示は、複数の協力車両からのデータを使用して、道路上の交通状況の位置を特定する技術に関する。
経路計画は、しばしば、交通状況の地理的位置がそれに応じて適応することを必要とする。しかしながら、地理的地図上の交通状況の正確な地理的位置を特定することは困難である。今日、いくつかの現代の車両は、それらの周囲環境の再現のためにそれらが取り込む一連の画像に依存している。しかしながら、これらの車両は、概して、再現された道路景観において具体的な交通状況の位置を特定することができないか、または、交通状況の位置を特定できる範囲では、一連の画像が取り込まれた単一の車両の限定された均一の視野角に起因して、そのような位置特定はしばしば不完全または不正確である。加えて、これらの既存の技法は、通常、交通状況が時間とともに動的に変化するにつれて、交通状況の正確な位置を更新することができない。
特開2007−003568号公報
本開示に記載される主題は、交通イベントの位置を特定するための新規技術を提供することにより、既存の解決策の欠点および限界を克服する。
本開示に記載される主題の1つの革新的な態様によれば、コンピュータ実装方法は、
車両から画像を含む状況データを受信するステップと、車両の中から地理的領域内に位置する1つまたは複数の車両の状況データに含まれる画像を画像クラスタの中にクラスタリングするステップと、画像クラスタの1つまたは複数の画像内に1つまたは複数の関連状況物体を配置するステップと、画像クラスタ内の異なる車両からの画像を照合するステップであって、一致した画像が1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する、ステップと、一致した画像内の1つまたは複数の関連状況の1つまたは複数の対応する特徴を使用して、一致した画像のうちの少なくとも1つに関連付けられた対象車両のセンサ位置に対する1つまたは複数の関連状況物体の3次元(3D)センサ座標を特定するステップと、一致した画像に関連付けられた異なる車両の地理的位置データを使用して、1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換するステップと、1つまたは複数の関連状況物体の地理的位置座標に基づいて、交通状況のカバレージエリアを特定するステップとを備える。
一般に、本開示に記載される主題の別の革新的な態様は、車両から画像を含む状況データを受信するステップと、車両の中から地理的領域内に位置する1つまたは複数の車両の状況データに含まれる画像を画像クラスタの中にクラスタリングするステップと、画像ク
ラスタの1つまたは複数の画像内に1つまたは複数の関連状況物体を配置するステップと、画像クラスタ内の異なる車両からの画像を照合するステップであって、一致した画像が1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する、ステップと、一致した画像内の1つまたは複数の関連状況の1つまたは複数の対応する特徴を使用して、一致した画像のうちの少なくとも1つに関連付けられた対象車両のセンサ位置に対する1つまたは複数の関連状況物体の3次元(3D)センサ座標を特定するステップと、一致した画像に関連付けられた異なる車両の地理的位置データを使用して、1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換するステップと、1つまたは複数の関連状況物体の地理的位置座標に基づいて、交通状況のカバレージエリアを特定するステップと、交通状況のカバレージエリアに基づいて、地理的領域に関連付けられたナビゲーション経路を決定するステップとを備えるコンピュータ実装方法において具現化されうる。
一般に、本開示に記載される主題の別の革新的な態様は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行された場合に、車両から画像を含む状況データを受信することと、車両の中から地理的領域内に位置する1つまたは複数の車両の状況データに含まれる画像を画像クラスタの中にクラスタリングすることと、画像クラスタの1つまたは複数の画像内に1つまたは複数の関連状況物体を配置することと、画像クラスタ内の異なる車両からの画像を照合することであって、一致した画像が1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する、照合することと、一致した画像内の1つまたは複数の関連状況の1つまたは複数の対応する特徴を使用して、一致した画像のうちの少なくとも1つに関連付けられた対象車両のセンサ位置に対する1つまたは複数の関連状況物体の3次元(3D)センサ座標を特定することと、一致した画像に関連付けられた異なる車両の地理的位置データを使用して、1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換することと、1つまたは複数の関連状況物体の地理的位置座標に基づいて、交通状況のカバレージエリアを特定することとをシステムに行わせる命令を記憶する1つまたは複数のメモリとを備えるシステムにおいて具現化されうる。
これらおよび他の実装形態は、各々、オプションで、以下の特徴:
異なる車両からの一致した画像が異なるセンサ構成を有する画像センサによって取り込まれること、
1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換することが、一致した画像に関連付けられた異なる車両のセンサ位置の地理的位置座標を特定し、第1の関連状況物体の3Dセンサ座標を使用して、一致した画像に関連付けられた異なる車両のセンサ位置から1つまたは複数の関連状況物体の中の第1の関連状況物体への視野角を特定し、三角測量計算を使用して、異なる車両のセンサ位置の地理的位置座標、および異なる車両のセンサ位置から第1の関連状況物体への視野角に基づいて、第1の関連状況物体の地理的位置座標を特定することを含むこと、
交通状況のカバレージエリアを特定することが、1つまたは複数の関連状況物体の地理的位置座標を使用して、地理的領域に関連付けられた地理的地図上に1つまたは複数の関連状況物体を配置し、地理的地図上の1つまたは複数の関連状況物体を包含する凸状の地理的領域を交通状況のカバレージエリアであると決定することを含むこと、
第1の時間における交通状況の第1のカバレージエリアを特定し、第2の時間における交通状況の第2のカバレージエリアを特定し、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差を特定し、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定し、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定したことに応答して、交通状況の第2のカバレージエリアを含むように地理的領域に関連付けられた地理的地図を更新すること、
第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定することが、第1のカバレージエリアに関連付けられた1つまたは複数の第1の車線を特定し、第2のカバレージエリアに関連付けられた1つまたは複数の第2の車線を特定し、1つまたは複数の第2の車線が1つまたは複数の第1の車線と異なると判定することを含むこと、
地理的領域に関連付けられた1つまたは複数の近接車両を特定し、1つまたは複数の近接車両に状況更新の通知を送信し、状況更新の通知が交通状況の第2のカバレージエリアを含むこと、地理的領域があらかじめ定義された道路セグメントであること、地理的領域内に位置する1つまたは複数の車両の状況データに含まれる画像をクラスタリングすることが、画像の画像タイムスタンプに基づいて画像をクラスタリングすることを含むこと、
車両の中の第1の車両から受信された状況データが、第1の車両の画像センサによって取り込まれた第1の画像、第1の画像に関連付けられた画像データ、画像センサのセンサ構成、および第1の画像に関連付けられた第1の車両の地理的位置データのうちの1つまたは複数を含むこと
のうちの1つまたは複数を含みうる。
これらおよび他の態様のうちの1つまたは複数の他の実装形態は、非一時的コンピュータストレージデバイス上に符号化された方法の動作を実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。
本開示に提示された交通状況の位置を特定するための新規技術は、いくつかの点で特に有利である。たとえば、本明細書に記載された技術は、交通状況に含まれる関連状況物体の地理的座標を特定することが可能である。したがって、交通状況を表すカバレージエリアは、地理的地図上に正確にレンダリングされ、様々な局面(たとえば、地理的位置、幾何学的境界、景観構成要素、物体分布など)における交通状況の包括的な理解を提供することができる。さらなる例として、本技術は、複数の協力車両の複数の視点から取り込まれたデータに基づいて交通状況の位置を特定する。したがって、本技術は、個々の車両の単一の視点からの限られた観測に起因する潜在的な繰り返される誤りを回避することができ、交通状況の位置特定の精度を向上させることができる。さらに、本明細書に記載された技術は、リアルタイムで交通状況の動的変化を検出し、それに応じて交通状況のカバレージエリアを更新することもできる。
本発明に係る方法は、道路上で発生する交通イベントに対応する範囲を特定する方法であって、画像を含む状況データを車両から受信する受信ステップと、一台以上の前記車両から受信した前記状況データに含まれる画像を、前記車両の位置に基づいて画像クラスタに分類する分類ステップと、前記画像クラスタに含まれる、異なる車両から送信された複数の画像から、関連状況物体を検出し、同一の前記関連状況物体を含む複数の画像を特定する物体特定ステップと、前記特定した複数の画像に含まれる関連状況物体の特徴と、当該画像を送信した車両の地理的位置に基づいて、前記関連状況物体の地理的位置を特定する位置特定ステップと、前記関連状況物体の地理的位置に基づいて、マップ上における前記交通イベントの範囲を特定する範囲特定ステップと、を含む。
なお、前記範囲特定ステップでは、複数の前記関連状況物体の属性に基づいて、同一の属性を持つ前記関連状況物体を包含する領域を生成し、前記領域を、前記交通イベントの範囲とすることを特徴としてもよい。
また、前記位置特定ステップは、第一の車両が有する第一の画像センサから見た前記関連状況物体の角度を算出する第一ステップと、第二の車両が有する第二の画像センサから見た前記関連状況物体の角度を算出する第二ステップと、前記算出した二つの角度と、前記第一および第二の車両の地理的位置に基づいて、前記関連状況物体の地理的位置を特定する第三ステップと、を含むことを特徴としてもよい。
また、前記第三ステップでは、前記第一の車両における前記第一の画像センサの配置位置、および、前記第二の車両における前記第二の画像センサの配置位置にさらに基づいて、前記関連状況物体の地理的位置を特定することを特徴としてもよい。
また、前記範囲特定ステップでは、一つ以上の前記関連状況物体の地理的位置を使用して、前記マップ上に一つ以上の前記関連状況物体を配置し、前記マップ上にある一つ以上の関連状況物体を包含するエリアを生成し、前記交通イベントの範囲とすることを特徴としてもよい。
また、第一の時間における前記交通イベントに対応する第一の範囲を特定し、第二の時間における前記交通イベントに対応する第二の範囲を特定し、前記第一および第二の範囲の位置的差分が所定の値以上である場合に、前記交通イベントの第二の範囲によって、前記マップを更新することを特徴としてもよい。
また、第一の時間における前記交通イベントに対応する第一の範囲を特定し、第二の時間における前記交通イベントに対応する第二の範囲を特定し、前記第一および第二の範囲が支障する車線の数が異なる場合に、前記交通イベントの第二の範囲によって、前記マップを更新することを特徴としてもよい。
また、前記マップを更新した場合に、前記交通イベントに近接する車両に対して、前記交通イベントに対応する前記第二の範囲を含む状況更新通知を送信するステップと、をさらに含むことを特徴としてもよい。
また、前記分類ステップでは、所定の道路セグメントごとに前記画像を画像クラスタに分類することを特徴としてもよい。
また、前記分類ステップでは、前記画像のタイムスタンプにさらに基づいて前記画像を画像クラスタに分類することを特徴としてもよい。
また、前記状況データは、前記画像、前記画像を捉えた画像センサに関する情報、前記車両の位置情報を含むことを特徴としてもよい。
前述の利点は例として提供されており、この技術は多くの他の利点および利益を有しうることを理解されたい。
本開示は、添付図面の図において限定としてではなく例として示され、添付図面の図では、同様の参照番号は同様の要素を指すために使用される。
交通状況の位置を特定するための例示的なシステムのブロック図である。 例示的な状況位置特定アプリケーションのブロック図である。 交通状況の位置を特定するための例示的な方法のフローチャートである。 関連状況物体の地理的座標を特定するための例示的な方法のフローチャートである。 交通状況を表すカバレージエリアを更新するための例示的な方法のフローチャートである。 交通状況を検出し、交通状況を記述する状況データを生成するための例示的な方法のフローチャートである。 2つの異なる視点から取り込まれた2つの画像の画像平面への物理的特徴点の投影を示す図である。 第2のカメラ座標系から第1のカメラ座標系への画像特徴点の座標変換を示す図である。 画像座標系からカメラ座標系への画像特徴点の座標変換を示す図である。 第1の時間における交通状況を有する例示的な道路セグメントを示す図である。 第2の時間における交通状況を有する例示的な道路セグメントを示す図である。
本明細書に記載された技術によると、複数車両の協働によって、道路上の交通状況の地理的位置および幾何学的境界を正確に特定することができる。
なお、本明細書における「交通状況(Traffic Situation)」とは、道路上で発生するイ
ベントないし当該イベントに関連する物体を指す。例えば、交通状況が「道路工事」であった場合、当該道路工事が行われている位置や領域を特定する。また、「関連状況物体(Related situation object)」とは、イベントに含まれる物体を指す。例えば、交通状況が「道路工事」であった場合、関連状況物体は、工事の実施を示す看板やカラーコーン(登録商標)等でありうる。
以下にさらに詳細に記載されるように、この技術は、複数の車両によって異なる視点から取り込まれた道路景観画像内の関連状況物体の対応する特徴に基づいて、関連状況物体の地理的位置座標を特定することができる方法および対応するシステムを含む。結果として、交通状況に含まれる関連状況物体の位置を地理的地図上で正確に特定することができ、それにより、交通状況のカバレージエリア(交通状況が存在する道路上の領域を指す)が示される。本開示では、交通状況の精細または正確な位置特定は、選択された基準点に対する交通状況の位置を推定するのではなく、関連状況物体の地理的位置(たとえば、GPS座標)を使用して、交通状況の位置を特定することを指しうる。
なお、本明細書における「地理的位置」とは、GPS座標等の絶対位置を表す。
図1は、道路上の交通状況の位置を特定するための例示的なシステム100のブロック図である。図示されたように、システム100は、サーバ101、およびネットワーク105を介して電子通信用に結合された1つまたは複数の車両プラットフォーム103a…103nを含む。図1および残りの図では、参照番号の後の文字、たとえば「103a」は、その特定の参照番号を有する要素への参照を表す。それに続く文字をもたないテキスト内の参照番号、たとえば「103」は、その参照番号を有する要素のインスタンスへの一般的な参照を表す。図1に描写されたシステム100は一例として提供され、システム100や本開示によって考えられるさらなるシステムは、さらなる、またはより少ない構成要素を含みうるし、構成要素を組み合わせ、または1つもしくは複数の構成要素をさらなる構成要素に分割しうる。たとえば、システム100は、任意の数の車両プラットフォーム103、ネットワーク105、またはサーバ101を含みうる。
ネットワーク105は、従来型、有線、またはワイヤレスでありうるし、スター構成、トークンリング構成、または他の構成を含む多数の異なる構成を有しうる。たとえば、ネットワーク105は、1つまたは複数のローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(たとえば、インターネット)、パーソナルエリアネットワーク(PAN)、パブリックネットワーク、プライベートネットワーク、仮想ネットワーク、仮想プライベートネットワーク、ピアツーピアネットワーク、近接ネットワーク(たとえば、Bluetooth(登録商標)、NFCなど)、車両ネットワーク、または、複数のデバイスが通信しうる他の相互接続されたデータパスを含みうる。
ネットワーク105はまた、様々な異なる通信プロトコルでデータを送信するための電気通信ネットワークの部分に結合されうるし、またはそれらを含みうる。例示的なプロトコルには、限定はしないが、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、伝送制御プロトコル(TCP)、ハイパーテキスト転送プロトコル(HTTP)、セキュアハイパーテキスト転送プロトコル(HTTPS)、動的適応ストリーミングオーバーHTTP(DASH)、リアルタイムストリーミングプロトコル(RTSP)、リアルタイムトランスポートプロトコル(RTP)およびリアルタイムトランスポート制御プロトコル(RTCP)、ボイスオーバーインターネットプロトコル(VOIP)、ファイル転送プロトコル(FTP)、ウェブソケ
ット(WS)、ワイヤレスアクセスプロトコル(WAP)、様々なメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAVなど)、または他の適切なプロトコルが含まれる。いくつかの実施形態では、ネットワーク105は、DSRC(専用短距離通信)、WAVE、802.11p、a、3G、4G、5G+ネットワーク、WiFi(登録商標)、衛星ネットワーク、車両間(V2V)ネットワーク、車両対基盤/基盤対車両(V2I/I2V)ネットワーク、または任意の他のワイヤレスネットワークなどの接続を使用するワイヤレスネットワークである。図1は、サーバ101および車両プラットフォーム103に結合するネットワーク105用の単一のブロックを示しているが、上述されたように、ネットワーク105は、実際にはネットワークの任意の数の組合せを備えうることを理解されたい。
車両プラットフォーム103は、センサ113、プロセッサ115、メモリ117、通信ユニット119、車両データストア121、状況位置特定アプリケーション120、およびナビゲーションアプリケーション122を有するコンピューティングデバイス152を含む。コンピューティングデバイス152の例には、1つまたは複数のセンサ113、アクチュエータ、モチベータなどの車両プラットフォーム103の他の構成要素に結合された、仮想または物理コンピュータプロセッサ、制御ユニット、マイクロコントローラなどが含まれうる。車両プラットフォーム103は、信号線141を介してネットワーク105に結合されうるし、他の車両プラットフォーム103またはサーバ101との間でデータを送受信しうる。いくつかの実施形態では、車両プラットフォーム103は、あるポイントから別のポイントに移動することが可能である。車両プラットフォーム103の非限定的な例には、車両、自動車、バス、ボート、飛行機、バイオニックインプラント、ロボット、または非一時的コンピュータ電子機器(たとえば、プロセッサ、メモリ、もしくは非一時的コンピュータ電子機器の任意の組合せ)を有する任意の他のプラットフォームが含まれる。車両プラットフォーム103は、本明細書では車両と呼ばれうる。
プロセッサ115は、様々な入出力、論理演算、または数学演算を実行することにより、ソフトウェア命令(たとえば、タスク)を実行しうる。プロセッサ115は、データ信号を処理する様々なコンピューティングアーキテクチャを有しうる。プロセッサ115は、物理的または仮想的でありうるし、単一のコアまたは複数の処理ユニットもしくはコアを含みうる。車両プラットフォーム103においては、プロセッサは、自動車などの車両プラットフォーム103に実装された電子制御ユニット(ECU)でありうるが、他のタイプのプラットフォームも可能であり、考えられる。ECUは、センサデータを受信し、状況位置特定アプリケーション120によるアクセスまたは検索のために、車両データストア121に車両動作データとして記憶しうる。いくつかの実装形態では、プロセッサ115は、電子表示信号を生成し入出力デバイスに提供すること、画像の表示をサポートすること、画像を取り込み送信すること、様々なタイプの物体認識および状況検出を含む複雑なタスクを実行することなどが可能でありうる。いくつかの実装形態では、プロセッサ115は、バス154を介してメモリ117に結合されて、そこからデータおよび命令にアクセスし、そこにデータを記憶しうる。バス154は、たとえば、センサ113、メモリ117、通信ユニット119、または車両データストア121などを含む、車両プラットフォーム103の他の構成要素にプロセッサ115を結合しうる。
状況位置特定アプリケーション120は、道路上の交通状況の位置を特定するように実行可能なコンピュータロジックである。図1に示されたように、サーバ101および車両プラットフォーム103a…103nは、状況位置特定アプリケーション120のインスタンス120aおよび120b…120nを含みうる。いくつかの実施形態では、各インスタンス120aおよび120b…120nは、図2に描写された状況位置特定アプリケーション120の1つまたは複数の構成要素を備えうるし、インスタンスがどこに存在するかに応じて、本明細書に記載された機能を完全または部分的に実行するように構成され
うる。いくつかの実施形態では、状況位置特定アプリケーション120は、1つまたは複数のコンピュータデバイスの1つまたは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、またはハードウェアとソフトウェアの組合せなどを使用して実装されうる。状況位置特定アプリケーション120は、センサデータまたは車両データを受信および処理し、バス154を介して、メモリ117、通信ユニット119、車両データストア121などの車両プラットフォーム103の他の要素と通信しうる。状況位置特定アプリケーション120は、少なくとも図2〜図8Bを参照して以下で詳細に記載される。
ナビゲーションアプリケーション122は、ユーザにナビゲーションガイダンスを提供するように実行可能なコンピュータロジックである。図1に示されたように、サーバ101および車両プラットフォーム103a…103nは、ナビゲーションアプリケーション122のインスタンス122aおよび122b…122nを含みうる。いくつかの実施形態では、ナビゲーションアプリケーション122は、1つまたは複数のコンピュータデバイスの1つまたは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、またはハードウェアとソフトウェアの組合せなどを使用して実装されうる。いくつかの実施形態では、ナビゲーションアプリケーション122は、経路計画を実行して、状況位置特定アプリケーション120によって特定された1つまたは複数の交通状況のカバレージエリアに基づいて、ナビゲーション経路を決定または更新し、対応するナビゲーション命令を生成して、道路を占有する交通状況のカバレージエリアにナビゲーション経路を適応させ(たとえば、車線変更措置を示唆すること)、車両プラットフォーム103の1つまたは複数の出力デバイスを介してユーザにナビゲーション指示を提供しうる。
メモリ117は、プロセッサ115により、またはプロセッサ115とともに処理するための、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを包含、記憶、通信、伝搬、または伝送することができる、任意の有形の非一時的な装置またはデバイスでありうる、非一時コンピュータ使用可能(たとえば、読取り可能、書込み可能など)媒体を含む。たとえば、メモリ117は、状況位置特定アプリケーション120またはナビゲーションアプリケーション122を記憶しうる。いくつかの実装形態では、メモリ117は、揮発性メモリおよび不揮発性メモリのうちの1つまたは複数を含みうる。たとえば、メモリ117には、限定はしないが、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、ディスクリートメモリデバイス(PROM、FPROM、ROM)、ハードディスクドライブ、光ディスクドライブ(CD、DVD、ブルーレイ(登録商標)など)が含まれうる。メモリ117は、単一のデバイスでありうるし、または複数のタイプのデバイスおよび構成を含みうることを理解されたい。
通信ユニット119は、ワイヤレスおよび/または有線の接続を使用して(たとえば、ネットワーク105を介して)通信可能に結合された他のコンピューティングデバイスにデータを送信し、他のコンピューティングデバイスからデータを受信する。通信ユニット119は、データを送信および受信するための1つまたは複数の有線インターフェースまたはワイヤレストランシーバを含みうる。通信ユニット119は、ネットワーク105に結合し、他の車両プラットフォーム103またはサーバ101などの他のコンピューティングノードと通信しうる。通信ユニット119は、上述された通信方法などの標準的な通信方法を使用して、他のコンピューティングノードとデータを交換しうる。
センサ113は、車両プラットフォーム103に適した任意のタイプのセンサを含む。
センサ113は、車両プラットフォーム103またはその内部環境および外部環境の特性を特定するのに適した任意のタイプの信号データを収集するように構成されうる。センサ113の非限定的な例には、様々な光学センサ(CCD、CMOS、2D、3D、光検出および測距(LIDAR)、カメラなど)、音響センサ、動き検出センサ、気圧計、高度計、熱電対、湿気センサ、赤外線(IR)センサ、レーダーセンサ、他の光センサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、ブレーキセンサ、スイッチ、車両インジケータセンサ、フロントガラスワイパセンサ、地理的位置センサ、方位センサ、ワイヤレストランシーバ(たとえば、セルラー、WiFi(登録商標)、近距離など)、ソナーセンサ、超音波センサ、タッチセンサ、近接センサ、距離センサなどが含まれる。いくつかの実施形態では、1つまたは複数のセンサ113は、車両プラットフォーム103のまわりの状況的背景を取り込むために、車両プラットフォーム103の前側、後側、右側、または左側に設けられた外向きセンサを含みうる。
いくつかの実施形態では、センサ113は、ビデオ画像および静止画像を含む画像を記録するように構成された1つまたは複数の画像センサ(たとえば、光学センサ)を含みうるし、任意の適用可能なフレームレートを使用してビデオストリームのフレームを記録しうるし、任意の適用可能な方法を使用して取り込まれたビデオ画像および静止画像を符号化または処理しうる。いくつかの実施形態では、画像センサ113は、それらのセンサ範囲内の周囲環境の画像を取り込むことができる。たとえば、車両プラットフォームにおいては、画像センサ113は、道路、建物、路側構造物、静的道路物体(たとえば、カラーコーン、バリケード、交通標識、車線、道路標示など)、または動的道路物体(たとえば、周囲の車両プラットフォーム103、道路作業者、工事車両など)など)を含む、車両プラットフォーム103のまわりの環境を取り込むことができる。いくつかの実施形態では、画像センサ113は、車両屋根の上または車両プラットフォーム103の内部に取り付けられて、車両プラットフォーム103の移動方向に対して任意の方向(前方、後方、側方、上方、下方向きなど)で検知しうる。いくつかの実施形態では、画像センサ113は、多方向(たとえば、LIDAR)でありうる。いくつかの実施形態では、異なる車両プラットフォーム103に設置された画像センサ113は、異なるカメラパラメータを有しうるし、異なる設定、設置、または構成で構成されうる。
車両データストア121は、様々なタイプのデータを記憶する非一時的記憶媒体を含む。たとえば、車両データストア121は、コントローラエリアネットワーク(CAN)バスなどのバスを使用して、所与の車両プラットフォーム103の異なる構成要素間で通信される車両データを記憶しうる。いくつかの実施形態では、車両データは、これらの構成要素の動作状態、たとえば、トランスミッション、速度、加速度、減速度、車輪速度(1分当たりの回転数−RPM)、ステアリング角、制動力などを監視するための、車両プラットフォーム103の異なる構成要素に結合された複数のセンサ113から収集された車両動作データを含みうる。いくつかの実施形態では、車両データは、移動方向、車両プラットフォーム103の地理的位置を示す車両地理的位置(たとえば、GPS(全地球測位システム)座標)を含みうる。いくつかの実施形態では、車両データは、車両プラットフォーム103の1つまたは複数の画像センサ113によって取り込まれた道路景観画像、およびこれらの画像に関連付けられた画像データも含みうる。いくつかの実施形態では、画像データは、画像が取り込まれた日時を示す画像タイムスタンプ、画像内の検出物体の物体カテゴリ、または物体カテゴリに関連付けられた交通状況のタイプなどを含みうる。
いくつかの実施形態では、車両データは、センサ113のセンサ構成も含みうる。一例として、車両プラットフォーム103の各画像センサ113に関連付けられたセンサ構成は、画像センサの外部カメラパラメータおよび内部カメラパラメータを含みうる。いくつかの実施形態では、外部カメラパラメータは、世界座標系(たとえば、GPS座標系)における画像センサのセンサ位置およびセンサ方位を示しうる。外的カメラパラメータの非
限定的な例には、限定はしないが、視野(たとえば、視野角)、カメラの高さ(たとえば、画像センサから地面までの距離)などが含まれうる。いくつかの実施形態では、画像センサの外部カメラパラメータは、回転行列および並進ベクトルによって表されうる。
いくつかの実施形態では、内部カメラパラメータは、画像センサの内部特性を示しうるし、カメラ構成によって指定されうる。内部カメラパラメータの非限定的な例には、限定はしないが、焦点距離、解像度、歪みメトリック、スキュー係数などが含まれうる。いくつかの実施形態では、画像センサの内部カメラパラメータは、カメラ固有行列によって表されうる。いくつかの実施形態では、外部カメラパラメータ(たとえば、回転行列および並進ベクトル)ならびに内部カメラパラメータ(たとえば、カメラ固有行列)は、様々な変換を実行するために使用されうるし、それにより、世界座標系における状況物体の物理的特徴点が、画像センサによって取り込まれた道路景観画像の画像座標系における対応する画像特徴点に投影される。
いくつかの実施形態では、車両データストア121は、様々なタイプの交通状況を含む状況物体データベースも記憶しうるし、交通状況の各タイプは、交通状況に潜在的に存在する複数の物体カテゴリに関連付けられうる。たとえば、状況物体データベースは、「工事現場」の交通状況、「事故現場」の交通状況、「天候関連イベント」の交通状況、「地域イベント」の交通状況などを含みうる。一例として、「工事現場」の交通状況は、「工事標識」の物体カテゴリ、「工事車両」の物体カテゴリ、「道路作業者」の物体カテゴリ、「カラーコーン」の物体カテゴリなどに関連付けられうる。別の例では、「事故現場」の交通状況は、「バリケード」の物体カテゴリ、「道路閉鎖標識」の物体カテゴリ、「警察官」の物体カテゴリ、「緊急車両」(たとえば、救急車、消防車、パトカーなど)の物体カテゴリなどに関連付けられうる。いくつかの実施形態では、各物体カテゴリは、物体カテゴリに分類された様々な状況物体を記述しうる。たとえば、「工事標識」の物体カテゴリは、異なる設計、形状、色などを有する様々なタイプの工事標識を記述しうる。いくつかの実施形態では、車両データストア121は、データへのアクセスを記憶し提供するためのデータストレージシステム(たとえば、標準データまたはデータベースの管理システム)の一部でありうる。車両データストア121に記憶される他のタイプのデータも可能であり、考えられる。
サーバ101は、プロセッサ、メモリ、およびネットワーク通信能力(たとえば、通信ユニット)を含むハードウェアサーバまたは仮想サーバを含む。サーバ101は、信号線145によって表されるように、ネットワーク105に通信可能に結合されうる。いくつかの実施形態では、サーバは、システム100の他のエンティティ、たとえば、1つまたは複数の車両プラットフォーム103との間でデータを送受信しうる。描写されたように、サーバ101は、状況位置特定アプリケーション120aまたはナビゲーションアプリケーション122aのインスタンスを含みうる。サーバ101は、これらのアプリケーションによるアクセスまたは検索のための様々なタイプのデータを記憶するデータストア104も含みうる。たとえば、データストア104は、車両プラットフォーム103から受信された状況データ、交通状況の位置特定データ、状況物体データベース、地図データベースなどを記憶しうる。いくつかの実施形態では、地図データベースは、地理的地図に含まれる1つまたは複数の地理的領域を記述する地図データを含みうる。たとえば、地図データは、特定の道路を複数の地理的領域に分割しうるし、各地理的領域は、特定の道路のあらかじめ定義された道路セグメントに対応する。いくつかの実施形態では、特定の交通状況の位置特定データは、様々な時点における、その交通状況(たとえば、地理的位置、幾何学的境界(たとえば、幾何学的形状、占有された車線)、交通状況内に存在する関連状況物体など)を表すカバレージエリアを記述しうる。
他の変形または組合せも可能であり、考えられる。図1に示されたシステム100は例
示的なシステムの代表であり、様々な異なるシステム環境およびシステム構成が考えられ、本開示の範囲内にあることを理解されたい。たとえば、様々な動作または機能は、サーバからクライアントへ、またはその逆に移動されうるし、データは単一のデータストアに集約されるか、またはさらなるデータストアにさらにセグメント化されうるし、いくつかの実装形態は、さらなるまたはより少ないコンピューティングデバイス、サービス、またはネットワークを含みうるし、クライアントまたはサーバ側の様々な機能を実装しうる。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスもしくはシステムに統合されうるし、またはさらなるコンピューティングデバイスもしくはシステムなどに分割されうる。
図2は、例示的な状況位置特定アプリケーション120のブロック図である。描写されたように、状況位置特定アプリケーション120は、ローカル状況検出器202、状況画像分類器204、カメラ座標プロセッサ206、状況位置計算器208、および状況位置特定マネージャ210を含みうる。状況位置特定アプリケーション120は、限定はしないが、構成エンジン、他の訓練エンジン、暗号化/暗号解読エンジンなどのさらなる構成要素を含みうるし、またはこれらの様々な構成要素は、単一のエンジンに組み合わされうるか、もしくはさらなるエンジンに分割されうることを理解されたい。
ローカル状況検出器202、状況画像分類器204、カメラ座標プロセッサ206、状況位置計算器208、および状況位置特定マネージャ210は、ソフトウェア、ハードウェア、または前述の組合せとして実装されうる。いくつかの実施形態では、ローカル状況検出器202、状況画像分類器204、カメラ座標プロセッサ206、状況位置計算器208、および状況位置特定マネージャ210は、バス154またはプロセッサ115により、互いに、またはコンピューティングデバイス152の他の構成要素に通信可能に結合されうる。いくつかの実施形態では、構成要素103、202、204、206、208、または210のうちの1つまたは複数は、それらの機能を提供するためにプロセッサ115によって実行可能な命令のセットである。さらなる実施形態では、構成要素103、202、204、206、208、または210のうちの1つまたは複数は、メモリ117に記憶可能であり、それらの機能を提供するためにプロセッサ115によってアクセス可能かつ実行可能である。前述の実施形態のいずれにおいても、これらの構成要素103、202、204、206、208、210は、プロセッサ115およびコンピューティングデバイス152の他の構成要素との協働および通信に適合されうる。
状況位置特定アプリケーション120およびその構成要素202、204、206、208、および210は、少なくとも図3〜図8Bを参照して以下でさらに詳細に記載される。
本明細書の他の箇所で説明されたように、状況位置特定アプリケーション120は、道路上の交通状況の位置を特定するように実行可能なコンピュータロジックである。交通状況は、道路の少なくとも一部分を占有し、交通状況で検出された関連状況物体を包含するカバレージエリアによって表されうる。したがって、いくつかの実施形態では、交通状況のカバレージエリアは、関連状況物体の地理的位置を特定し、これらの関連状況物体をカバーする凸状の地理的領域を特定することによって位置が特定されうる。交通状況のカバレージエリアは、地理的地図上にレンダリングされうるし、したがって、交通状況の地理的位置および幾何学的境界が正確に示される。
図3は、交通状況の位置を特定するための例示的な方法300のフローチャートである。ブロック302において、状況画像分類器204は、たとえば通信ユニット119を介して、車両プラットフォーム103から状況データを受信するように(たとえば、プロセッサ115をプログラミングすることによって)実行可能である。いくつかの実施形態で
は、車両プラットフォーム103は、道路に沿って移動するにつれて、交通状況を検出することができる。車両プラットフォーム103が交通状況に遭遇すると、車両プラットフォーム103は、交通状況を検出し、そのそれぞれの視点からローカルに知覚されたように交通状況を記述する状況データを生成し、システム100の処理エンティティ、たとえばサーバ101に状況データを送信する。
さらなる例示として、図6は、交通状況を検出し、交通状況を記述する状況データを生成するための例示的な方法600のフローチャートである。いくつかの実施形態では、方法600は、車両プラットフォーム103に含まれる状況位置特定アプリケーション120のローカル状況検出器202によって実行されうる。本明細書の他の箇所で記載されたように、状況位置特定アプリケーション120は、ローカル状況検出器202を有効または無効にするように構成されうる。たとえば、状況位置特定アプリケーション120が車両プラットフォーム103に含まれる場合、ローカル状況検出器202は有効にされ、交通状況を検出し、状況データを生成するように構成される。状況位置特定アプリケーション120がサーバ101に含まれる場合、ローカル状況検出器202は無効にされる。
ブロック602において、ローカル状況検出器202は、車両プラットフォーム103の画像センサ113から画像を受信する。画像センサ113は、車両プラットフォーム103が道路に沿って移動するにつれて、道路景観の画像を取り込む。いくつかの実施形態では、これらの道路景観画像は、あらかじめ定義されたレート/間隔(たとえば、5秒ごと、10秒ごと、30秒ごとなど)で取り込まれる。
ブロック604において、ローカル状況検出器202は、画像内の1つまたは複数の物体を検出する。たとえば、ローカル状況検出器202は、(たとえば、視覚アルゴリズムを使用して)画像上で物体認識を実行して、道路景観内に存在する1つまたは複数の物体を検出する。ブロック606において、ローカル状況検出器202は、検出物体を物体カテゴリに分類する。いくつかの実施形態では、物体認識は機械学習技法を使用して実行され、各検出物体は信頼スコアで認識される。一例として、ローカル状況検出器202は、画像内の3つの物体を検出する。ローカル状況検出器202は、最初の検出物体を72.5%の信頼スコアで「カラーコーン」の物体カテゴリに分類し、2番目の検出物体を54%の信頼スコアで「工事車両」の物体カテゴリに分類し、3番目の検出物体を63%の信頼スコアで「車両」の物体カテゴリに分類する。いくつかの実施形態では、所定の信頼しきい値未満の(たとえば、50%を下回る)信頼スコアを有する検出物体は無視される。
ブロック608において、ローカル状況検出器202は、1つまたは複数の検出物体の物体カテゴリが、状況物体データベース内の交通状況のタイプに対応するかどうかを判定する。交通状況に関連付けられた物体カテゴリを有する検出物体は、本明細書では関連状況物体と呼ばれる。ブロック608において、ローカル状況検出器202が、1つまたは複数の検出物体の物体カテゴリが交通状況のタイプに対応すると判定した場合、方法600はブロック610に進む。ブロック610において、ローカル状況検出器202は、交通状況が検出されたと判断する。いくつかの実施形態では、ローカル状況検出器202は、状況検出ステータスを「真」に更新し、関連するデータを集約して、交通状況を記述する状況データを生成する。
いくつかの実施形態では、ローカル状況検出器202は、車両プラットフォーム103が遭遇する交通状況のタイプも特定する。具体的には、ローカル状況検出器202は、同じタイプの交通状況、たとえば「工事現場」の交通状況に関連付けられた物体カテゴリを有する画像内の検出物体の数を特定する。この例では、「工事現場」の交通状況に関連付けられた物体カテゴリを有する検出物体の数が所定の数のしきい値を満たす(たとえば、4つを超える)場合、ローカル状況検出器202は、車両プラットフォーム103が工事
現場の交通状況に遭遇したと判断する。いくつかの実施形態では、ローカル状況検出器202は、特定されたタイプの交通状況または関連状況物体の物体カテゴリを、車両データストア121内の画像に関連付けられた画像データとして記憶しうる。
ブロック612において、ローカル状況検出器202は、車両データストア121から画像を取り込む画像センサのセンサ構成を検索する。本明細書の他の箇所で説明されたように、センサ構成は、世界座標系における画像センサのセンサ位置およびセンサ方位を表す外部カメラパラメータ(たとえば、回転行列および並進ベクトル)、ならびに画像センサの内部特性を示す内部カメラパラメータ(たとえば、カメラ固有行列)を含む。
ブロック614において、ローカル状況検出器202は、車両データストア121から画像に関連付けられた車両プラットフォーム103の画像データおよび地理的位置データを取り出す。本明細書の他の箇所で説明されたように、画像データは、画像が取り込まれた日時を示す画像タイムスタンプ、画像内の1つもしくは複数の検出物体の物体カテゴリ、またはこれらの物体カテゴリに関連付けられた交通状況のタイプを含む。画像に関連付けられた地理的位置データは、画像が取り込まれた際の車両プラットフォーム103の車両地理的位置(たとえば、GPS座標)を示し、画像タイムスタンプを使用して取り出される。
ブロック616において、ローカル状況検出器202は、車両プラットフォーム103のそれぞれの視点から交通状況を記述する状況データを生成する。いくつかの実施形態では、状況データには、取り込まれた画像、画像に関連付けられた画像データ、画像を取り込んだ画像センサのセンサ構成、および画像に関連付けられた車両プラットフォーム103の地理的位置データが含まれる。いくつかの実施形態では、状況データは、任意の形式のデータファイルフォーマットで生成され、システム100の異なるエンティティ間で効率的に交換されるように圧縮または暗号化される。ブロック618において、ローカル状況検出器202は、たとえばネットワーク105を介して、サーバ101に状況データを送信する。
ブロック608において、画像内の1つまたは複数の検出物体の物体カテゴリが状況物体データベース内のいかなるタイプの交通状況にも関連付けられないとローカル状況検出器202が判定した場合、方法600はブロック620に進む。ブロック620において、ローカル状況検出器202は、物体検出の実行を続行するべきかどうかを判定する。たとえば、ローカル状況検出器202は、画像内の関連状況物体を検出するための処理時間の量がしきい値の時間量を満たす(たとえば、30秒未満)場合、画像内の物体の検出および分類を続行することを決定する。別の例では、ローカル状況検出器202は、画像内の関連状況物体を検出する試みの回数がしきい値の回数を満たす(たとえば、4回を超える)場合、物体の検出および分類を(たとえば、一時的に、所定の時間期間の間)一時停止すること、または続行しないことを決定する。ブロック620において、ローカル状況検出器202が物体検出の実行を続行することを決定した場合、方法600はブロック604に進む。ブロック620において、ローカル状況検出器202が物体検出の実行を続行しないことを決定した場合、方法600は終了する。
図3を再び参照すると、ブロック304において、状況画像分類器204は、車両プラットフォーム103から受信された状況データを処理する。具体的には、状況画像分類器204は、各車両プラットフォーム103から受信された状況データを処理して、車両プラットフォーム103の画像センサによって取り込まれた画像、画像に関連付けられた画像データ、画像に関連付けられた車両プラットフォーム103の地理的位置データ(たとえば、画像が取り込まれたときの車両プラットフォーム103の地理的位置(たとえば、GPSなど)座標)、および画像を取り込む画像センサのセンサ構成を抽出する。
ブロック306において、状況画像分類器204は、車両プラットフォーム103の中から特定の地理的領域内に位置する1つまたは複数の車両プラットフォーム103の状況データに含まれる画像をクラスタリングする。具体的には、状況画像分類器204は、データストア124内の地図データベースからの地理的領域(たとえば、あらかじめ定義された道路セグメント)を記述する地図データ、および車両プラットフォーム103の状況データから抽出された車両の地理的位置(たとえば、GPS座標)を取り出す。状況画像分類器204は、車両プラットフォーム103の車両の地理的位置を地理的領域にマッピングし、車両プラットフォーム103の中から同じ地理的領域内に位置する1つまたは複数の車両プラットフォーム103を特定する。同じ地理的領域内に位置する車両プラットフォーム103の状況データから抽出された画像は、1つの画像クラスタの中にクラスタリングされる。結果として、同じ画像クラスタ内の画像は、地理的領域内に位置する複数の車両プラットフォーム103に対応する様々な視点から様々なカメラ構成で、同じ地理的領域内の同じ交通状況を描写しうる。これらのクラスタリングされた画像を使用して交通状況の位置を特定することは、道路景観の不完全な観測および知覚をもたらす単一の車両の同様の視点によって引き起こされる潜在的な誤りまたは障害を低減するので特に有利である。
いくつかの実施形態では、状況画像分類器204はまた、画像の画像タイムスタンプに基づいて、状況データから抽出された画像をクラスタリングしうる。結果として、画像クラスタは、同じ地理的領域内に位置する車両プラットフォーム103の画像センサによって同じ時間ウィンドウ内に取り込まれた画像を含む。たとえば、(ワシントンストリートとビーコンストリートとの間のメインストリート)のあらかじめ定義された道路セグメント内に位置し、(2017年12月25日午前8時〜午前9時)の時間ウィンドウ内の画像タイムスタンプを有する車両プラットフォーム103の状況データから抽出された画像は、一緒にクラスタリングされて画像クラスタを生成する。
ブロック308において、カメラ座標プロセッサ206は、画像クラスタの1つまたは複数の画像内から1つまたは複数の関連状況物体を検出する。カメラ座標プロセッサ206は、交通状況を検出するために車両プラットフォーム103で実行される物体検出よりも高いレベルの精密度で関連状況物体を検出し、したがって、画像内のさらなる関連状況物体が識別される。いくつかの実施形態では、カメラ座標プロセッサ206は、画像に関連付けられた画像データを使用して、画像クラスタの画像内に取り込まれた交通状況のタイプを特定する。本明細書の他の箇所で説明されたように、画像に関連付けられた画像データは、対応する車両プラットフォーム103によって生成された状況データに含まれる。いくつかの実施形態では、交通状況のタイプは、画像に関連付けられた画像データから直接抽出され、または画像に関連付けられた画像データから抽出された物体カテゴリに基づいて特定される。いくつかの実施形態では、カメラ座標プロセッサ206は、状況物体データベース内の交通状況のタイプに関連付けられた物体カテゴリを特定し、画像内からこれらの物体カテゴリの関連状況物体を検出する。
一例として、画像クラスタの画像に関連付けられた画像データは、画像が「カラーコーン」の物体カテゴリ内の1つまたは複数の関連状況物体を含むことを示す。カメラ座標プロセッサ206は、「カラーコーン」の物体カテゴリが、状況物体データベース内の「工事現場」の交通状況に関連付けられると特定しうる。状況物体データベースでは、「工事現場」の交通状況は、「カラーコーン」の物体カテゴリに関連付けられ、「工事標識」の物体カテゴリ、「工事車両」の物体カテゴリ、「道路作業員」の物体カテゴリにも関連付けられる。したがって、カメラ座標プロセッサ206は、これらの物体カテゴリに分類された関連状況物体を画像内で特定する。結果として、カメラ座標プロセッサ206は、「工事現場」の交通状況に存在しうるが、何らかの理由で画像の画像データ内に検出されな
いかまたは含まれない、取り込まれた画像内のさらなる関連状況物体を識別する。
ブロック310において、カメラ座標プロセッサ206は、画像クラスタ内の異なる車両プラットフォーム103から得た画像を照合し、一致する画像を検索する。
以降、「一致した画像」とは、同一の関連状況物体を含む複数の画像を意味する。
一致した画像は、1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する。たとえば、カメラ座標プロセッサ206は、第1の車両プラットフォーム103の第1の画像センサによって取り込まれた第1の画像を、第2の車両プラットフォーム103の第2の画像センサによって取り込まれた第2の画像と照合しうる。第1の画像および第2の画像は、同じ画像クラスタに含まれうるし、第1の画像を取り込む第1の画像センサは、第2の画像を取り込む第2の画像センサとは異なるセンサ構成(たとえば、異なる外部カメラパラメータまたは異なる内部カメラパラメータ)を有しうる。
具体的には、カメラ座標プロセッサ206は、第1の画像内の第1の関連状況物体を記述する1つまたは複数の特徴を特定する。いくつかの実施形態では、特徴は、第1の画像内の第1の関連状況物体の物体外観(たとえば、物体の目印、境界、構造、形状、サイズなど)を記述する1つまたは複数の第1の画像特徴点を含む。いくつかの実施形態では、カメラ座標プロセッサ206は、第1の画像内の第1の画像特徴点に一致する第2の画像内の第2の画像特徴点を特定する。たとえば、カメラ座標プロセッサ206は、類似性スコアを生成するために、第1の画像特徴点および第2の画像特徴点(たとえば、ピクセル色、輝度値、形状など)の様々な態様を比較する。第1の画像特徴点と第2の画像特徴点との間の類似性を示す類似性スコアが所定の類似性しきい値を満たす場合、カメラ座標プロセッサ206は、第2の画像内の第2の画像特徴点が第1の画像内の第1の画像特徴点に対応していると判断し、第2の画像を画像クラスタ内の第1の画像に一致させうる。いくつかの実施形態では、第1の画像および第2の画像内の対応する特徴は、深度学習アルゴリズムを使用して識別されてもよい。
いくつかの実施形態では、第1の画像内の第1の画像特徴点および第1の画像特徴点に一致する第2の画像内の第2の画像特徴点は、それぞれ、第1の画像および第2の画像への第1の関連状況物体の同じ物理的特徴点の投影である。図7Aは、現実世界における第1の関連状況物体の物理的特徴点Pの、第1の画像702内の第1の画像特徴点Pおよび第2の画像704内の第2の画像特徴点Pへの投影を示す。本明細書の他の箇所で説明されたように、第1の画像702は、第1のセンサ構成を有する第1の車両プラットフォーム103の第1の画像センサによって取り込まれ、第2の画像704は、第2のセンサ構成を有する第2の車両プラットフォーム103の第2の画像センサによって取り込まれる。したがって、図7Aに描写されたように、第1の画像特徴点Pを含む第1の画像702は、第1の画像センサの第1のカメラ座標系(X,Y,Z)に関連付けられる。第2の画像特徴点Pを含む第2の画像704は、第2の画像センサの第2のカメラ座標系(X,Y,Z)に関連付けられる。
いくつかの実施形態では、第1の画像センサの第1のカメラ座標系(X,Y,Z)は、第1の画像702が取り込まれたときの第1の画像センサの第1のセンサ位置を示す、第1の原点Cを有する3次元(3D)座標系である。第1の原点Cは、第1の画像センサの光学的中心(たとえば、投影の中心)に配置される。同様に、第2の画像センサの第2のカメラ座標系(X,Y,Z)は、第2の画像704が取り込まれたときの第2の画像センサの第2のセンサ位置を示す、第2の原点Cを有する3D座標系である。第2の原点Cは、第2の画像センサの光学的中心(たとえば、投影の中心)に配置される。
いくつかの実施形態では、第2の画像センサの第2のカメラ座標系(X,Y,Z
)は、回転行列Rおよび並進ベクトルtを使用して、第1の画像センサの第1のカメラ座標系(X,Y,Z)に変換できる。回転行列Rおよび並進ベクトルtは、第1の画像センサの外部カメラパラメータ、第2の画像センサの外部カメラパラメータ、一致した画像が取り込まれたときの第1の画像センサと第2の画像センサとの間の距離などに基づいて決定できる。本明細書の他の箇所で説明されたように、画像センサの外部カメラパラメータは、その画像センサのセンサ位置およびセンサ方位を示す。一致した画像が取り込まれたときの第1の画像センサと第2の画像センサとの間の距離は、第1の画像702に関連付けられた第1の車両プラットフォーム103の車両の地理的位置および第2の画像704に関連付けられた第2の車両プラットフォーム103の車両の地理的位置から導出できる。図7Aに示されたように、第1の画像702は第1の画像座標系(a,b)によって表され、第2の画像704は第2の画像座標系(a,b)によって表される。第1の画像702の画像平面を表す第1の画像座標系(a,b)および第2の画像704の画像平面を表す第2の画像座標系(a,b)は、2次元(2D)座標系である。
図3を再び参照すると、ブロック312において、カメラ座標プロセッサ206は、一致した画像内の少なくとも1つの画像に関連付けられた対象車両プラットフォームのセンサ位置に対する1つまたは複数の関連状況物体の3Dセンサ座標を特定する。いくつかの実施形態では、関連状況物体の3Dセンサ座標は、対象車両プラットフォームに関連付けられた画像センサのカメラ座標系における関連状況物体の3Dカメラ座標である。いくつかの実施形態では、カメラ座標プロセッサ206は、画像クラスタの少なくとも1つの一致した画像に関連付けられた車両プラットフォーム103を識別し、少なくとも1つの一致した画像に関連付けられた車両プラットフォーム103から対象車両プラットフォームをランダムに選択する。いくつかの実施形態では、カメラ座標プロセッサ206は、対象車両プラットフォームに関連付けられた画像センサのカメラ座標系を、関連状況物体の3Dカメラ座標が特定される対象カメラ座標系として使用する。上記の例では、画像クラスタの一致した画像は、第1の画像および第2の画像を含む。カメラ座標プロセッサ206は、第1の画像に関連付けられた第1の車両プラットフォーム103を対象車両であるように選択する。したがって、対象カメラ座標系は、第1の車両プラットフォーム103に関連付けられた第1の画像センサの第1のカメラ座標系(X,Y,Z)である。
いくつかの実施形態では、対象車両プラットフォームのセンサ位置に対する関連状況物体の3Dセンサ座標は、一致した画像内の関連状況物体の対応する特徴を使用して特定される。本明細書の他の箇所で説明されたように、関連状況物体は、対応する特徴を有する一致した画像内で表され、一致した画像は、異なる車両プラットフォーム103の異なる視点から取り込まれる。したがって、関連状況物体の3Dセンサ座標(たとえば、対象カメラ座標系における関連状況物体の3Dカメラ座標)は、一致した画像内のこれらの対応する特徴から特定される。上記の例では、第1の画像702内の第1の画像特徴点Pは、第2の画像704内の第2の画像特徴点Pに対応している。第1の画像特徴点Pおよび第2の画像特徴点Pは、第1の画像センサおよび第2の画像センサの異なるセンサ構成を使用して異なる視点から取り込まれた2つの一致した画像内の同じ物理的特徴点Pを表す。したがって、対象カメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標は、第1の画像702内の第1の画像特徴点Pおよび第2の画像704内の第2の画像特徴点Pから算出される。
図7Aに描写されたように、第1の画像特徴点Pを含む第1の画像702は、第1の画像センサの第1のカメラ座標系(X,Y,Z)に関連付けられ、第2の画像特徴点Pを含む第2の画像704は、第2の画像センサの第2のカメラ座標系(X,Y,Z)に関連付けられる。したがって、カメラ座標プロセッサ206は、座標変換を実行して、第1の画像特徴点Pの座標または第2の画像特徴点Pの座標を、同じカメラ
座標系、たとえば、対象カメラ座標系(X,Y,Z)に変換する。第1の画像特徴点Pおよび第2の画像特徴点Pが同じ対象カメラ座標系(X,Y,Z)に関連付けられると、対象カメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標は、上述されたように、第1の画像特徴点Pおよび第2の画像特徴点Pに基づいて特定される。カメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標は、第1のカメラ座標系(X,Y,Z)の第1の原点Cに対する物理的特徴点Pの3Dセンサ座標を示す。本明細書の他の箇所で記載されたように、第1の原点Cは、第1の画像702が取り込まれたときに対象車両プラットフォームとして選択された第1の車両プラットフォーム103の第1のセンサ位置を示す。
いくつかの実施形態では、カメラ座標プロセッサ206によって実行される座標変換は、画像の画像座標系の画像特徴点の2D画像座標を、画像を取り込む対応する画像センサのカメラ座標系における画像特徴点の3Dカメラ座標に変換することを含む。カメラ座標プロセッサ206によって実行される座標変換は、対応する画像センサのカメラ座標系における画像特徴点の3Dカメラ座標を、対象カメラ座標系における画像特徴点の3Dカメラ座標に変換することも含む。たとえば、カメラ座標プロセッサ206は、第1の画像702の第1の画像座標系(a,b)における第1の画像特徴点Pの2D画像座標を、第1の画像センサの第1のカメラ座標系(X,Y,Z)における第1の画像特徴点Pの3Dカメラ座標に変換する。第1の画像センサの第1のカメラ座標系(X,Y,Z)も対象カメラ座標系なので、第1の画像特徴点Pに対してそれ以上の座標変換は必要とされない。同様に、カメラ座標プロセッサ206は、第2の画像704の第2の画像座標系(a,b)における第2の画像特徴点Pの2D画像座標を、第2の画像センサの第2のカメラ座標系(X,Y,Z)における第2の画像特徴点Pの3Dカメラ座標に変換する。次いで、第2の画像センサの第2のカメラ座標系(X,Y,Z)における第2の画像特徴点Pの3Dカメラ座標は、第1の画像センサの第1のカメラ座標系(X,Y,Z)(たとえば、対象カメラ座標系)における第2の画像特徴点Pの3Dカメラ座標に変換される。
図7Cは、画像における画像座標系から、画像を取り込む画像センサのカメラ座標系への画像特徴点の座標変換を示す。具体的には、図7Cは、第2の画像704の第2の画像座標系(a,b)における第2の画像特徴点Pの2D画像座標を、第2の画像センサの第2のカメラ座標系(X,Y,Z)における第2の画像特徴点Pの3Dカメラ座標に変換する座標変換を示す。いくつかの実施形態では、そのような座標変換は、第2の画像センサの内部カメラパラメータを使用して実行される。たとえば、カメラ座標プロセッサ206は、第2の画像704の第2の画像座標系(a,b)における第2の画像特徴点Pの2D画像座標を特定し、第2の画像センサの倍率、歪みメトリック、スキュー係数などを使用して、第2の画像座標系(a,b)における第2の画像特徴点Pの2D画像座標を、ピクセル座標形(u,v)における第2の画像特徴点Pの2D画像座標に変換する。
いくつかの実施形態では、カメラ座標プロセッサ206は、次いで、第2の画像センサの焦点距離fを使用して、ピクセル座標系(u,v)における第2の画像特徴点Pの2D画像座標を、第2の画像センサの第2のカメラ座標系(X,Y,Z)における第2の画像特徴点Pの3Dカメラ座標に変換する。図7Cに描写されたように、第2の画像704の画像平面を表す第2の画像座標系(a,b)は、第2の画像センサの光軸Zに垂直であり、第2のカメラ座標系(X,Y,Z)の第2の原点Cまで焦点距離fの距離にある。したがって、第2の画像特徴点Pが物理的特徴点Pの虚像か実像かに応じて、第2の画像特徴点PのZ軸上のz座標はfまたは−fとなる。同様に、カメラ座標プロセッサ206は、同様の方式で、第1の画像702の第1の画像座標系(a,b)における第1の画像特徴点Pの2D画像座標を、第1の画像
センサの第1のカメラ座標系(X,Y,Z)における第1の画像特徴点Pの3Dカメラ座標に変換する。
いくつかの実施形態では、カメラ座標プロセッサ206は、次いで、第2の画像センサの第2のカメラ座標系(X,Y,Z)における第2の画像特徴点Pの3Dカメラ座標を、第1の画像センサの第1のカメラ座標系(X,Y,Z)における第2の画像特徴点Pの3Dカメラ座標に変換する。本明細書の他の箇所で説明されたように、そのような座標変換は、回転行列Rおよび並進ベクトルtに反映された第1の画像センサおよび第2の画像センサの外部カメラパラメータを使用して実行できる。いくつかの実施形態では、第2のカメラ座標系(X,Y,Z)から第1のカメラ座標系(X,Y,Z)への第2の画像特徴点Pの座標変換は、そこに含まれる第2の画像特徴点Pとともに第2のカメラ座標系(X,Y,Z)を第1のカメラ座標系(X,Y,Z)に置き換えることとして考えられる。
図7Bは、第2のカメラ座標系(X,Y,Z)およびそこに含まれる第2の画像特徴点Pが第1のカメラ座標系(X,Y,Z)に変換される、第1のカメラ座標系(X,Y,Z)を示す。描写されたように、第2のカメラ座標系(X,Y,Z)のX軸、Y軸、およびZ軸は、それぞれ、第1のカメラ座標系(X,Y,Z)のX軸、Y軸、およびZ軸と位置合せされている。第1のカメラ座標系(X,Y,Z)における第2の原点Cの3Dカメラ座標は、第1の原点Cによって示された第1の画像センサの第1のセンサ位置と、第2の原点Cによって示された第2の画像センサの第2のセンサ位置との間の相対位置を示しうる。
第1の原点C、第2の原点C、第1の画像特徴点P、および第2の画像特徴点Pが、同じ対象カメラ座標系(たとえば、第1のカメラ座標系(X,Y,Z))に関連付けられ、第1のカメラ座標系(X,Y,Z)におけるそれらの3Dカメラ座標が特定されると、カメラ座標プロセッサ206は、3Dカメラ座標に基づいて、第1のカメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標を算出する。いくつかの実施形態では、カメラ座標プロセッサ206は、物理的特徴点Pを第1のカメラ座標系(X,Y,Z)に投影するための投影行列を算出する。投影行列は、複数の行列を一緒に乗算することによって生成される。複数の行列は、第1の画像センサおよび第2の画像センサの外部カメラパラメータおよび/または内部カメラパラメータを反映する。いくつかの実施形態では、カメラ座標プロセッサ206は、第1の画像特徴点Pの2D画像座標を投影行列と乗算することにより、第1のカメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標を計算する。他の実施形態では、カメラ座標プロセッサ206は、第2の画像特徴点Pの2D画像座標を投影行列と乗算することにより、第1のカメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標を計算する。
図3を再び参照すると、ブロック314において、状況位置計算器208は、一致した画像に関連付けられた車両プラットフォーム103の地理的位置データを使用して、1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換する。たとえば、状況位置計算器208は、第1の画像702に関連付けられた第1の車両プラットフォーム103の地理的位置データおよび第2の画像704に関連付けられた第2の車両プラットフォーム103の地理的位置データを使用して、第1のカメラ座標系(X,Y,Z)における物理的特徴点Pの3Dカメラ座標を、物理的特徴点Pの地理的位置座標(たとえば、GPS座標)に変換する。
さらなる例示として、図4は、関連状況物体の地理的座標を特定するための例示的な方法400のフローチャートである。ブロック402において、状況位置計算器208は、
一致した画像に関連付けられた異なる車両プラットフォーム103のセンサ位置の地理的位置座標を特定する。いくつかの実施形態では、一致した画像に関連付けられた異なる車両プラットフォーム103のセンサ位置の地理的位置座標は、一致した画像が取り込まれたときの車両プラットフォーム103の地理的位置座標であり、車両プラットフォーム103に関連付けられた状況データから取り出される。
上記の例では、状況位置計算器208は、第1の画像702に関連付けられた第1の車両プラットフォーム103の第1のセンサ位置の地理的位置座標を、第1の画像702が取り込まれたときの第1の車両プラットフォーム103の地理的位置座標(たとえば、GPS座標)であると特定する。次いで、状況位置計算器208は、第1の原点Cの地理的位置座標(たとえば、GPS座標)を、第1の画像702に関連付けられた第1の車両プラットフォーム103の第1のセンサ位置の地理的位置座標であると特定する。同様に、状況位置計算器208は、第2の画像704に関連付けられた第2の車両プラットフォーム103の第2のセンサ位置の地理的位置座標を、第2の画像704が取り込まれたときの第2の車両プラットフォーム103の地理的位置座標(たとえば、GPS座標)であると特定する。次いで、状況位置計算器208は、第2の原点Cの地理的位置座標(たとえば、GPS座標)を、第2の画像704に関連付けられた第2の車両プラットフォーム103の第2のセンサ位置の地理的位置座標であると特定する。
ブロック404において、状況位置計算器208は、一致した画像に関連付けられた異なる車両プラットフォーム103のセンサ位置から、一致した画像内の関連状況物体の中の第1の関連状況物体への視野角(view angle,画像センサから見た物体の角度を意味する)を特定する。いくつかの実施形態では、これらの視野角は、第1の関連状況物体の3Dセンサ座標を使用して特定される。本明細書の他の箇所で説明されたように、上記の例では、第1の画像702に関連付けられた第1の車両プラットフォーム103の第1のセンサ位置は、第1の原点Cによって示され、第2の画像704に関連付けられた第2の車両プラットフォーム103の第2のセンサ位置は、第2の原点Cによって示される。したがって、状況位置計算器208は、第1の原点Cおよび第2の原点Cから第1の関連状況物体の物理的特徴点Pへの視野角を特定できる。第1の原点C、第2の原点C、および物理的特徴点Pは、同じ対象カメラ座標系(たとえば、第1のカメラ座標系(X,Y,Z))に関連付けられ、第1のカメラ座標系(X,Y,Z)におけるそれらの3Dカメラ座標が特定されたので、状況位置計算器208は、これらの3Dカメラ座標に基づいて、第1の原点Cおよび第2の原点Cから物理的特徴点Pへの視野角を算出する。
ブロック406において、状況位置計算器208は、三角測量計算を使用して、異なる車両プラットフォーム103のセンサ位置の地理的位置座標、および異なる車両プラットフォーム103のセンサ位置から第1の関連状況物体への視野角に基づいて、第1の関連状況物体の地理的位置座標(たとえば、GPS座標)を特定する。具体的には、上記の例では、第1の原点C、第2の原点C、および物理的特徴点Pは、三角形を形成する。第1の原点Cの地理的位置座標、第2の原点Cの地理的位置座標、および第1の原点Cおよび第2の原点Cから物理的特徴点Pへの視野角が特定されたので、状況位置計算器208は、三角測量計算を使用してこれらの要因に基づいて物理的特徴点Pの地理的位置座標(たとえば、GPS座標)を算出できる。いくつかの実施形態では、GPS座標系における物理的特徴点Pの絶対距離、座角、または方位角が特定される。
いくつかの実施形態では、状況位置計算器208は、物理的特徴点Pの地理的位置座標を検証する。たとえば、状況位置計算器208は、第1の画像702内の第1の画像特徴点Pを、異なる第2の車両プラットフォーム103によって取り込まれた様々な第2の画像704内の様々な第2の画像特徴点Pと照合する。(第1の画像特徴点P、第2
の画像特徴点P)の各照合ペアは、上述されたように物理的特徴点Pの地理的位置座標を算出するために使用される。いくつかの実施形態では、状況位置計算器208は、(第1の画像特徴点P、第2の画像特徴点P)の様々な照合ペアから計算された物理的特徴点Pの地理的位置座標を比較する。物理的特徴点Pのこれらの地理的位置座標間の差が所定の差のしきい値を満たす(たとえば、これらの地理的位置座標間の距離が25cmを下回る)場合、状況位置計算器208は、物理的特徴点Pの地理的位置座標が正確であることを検証する。
図3を再び参照すると、ブロック316において、状況位置計算器208は、関連状況物体の地理的位置座標に基づいて交通状況のカバレージエリアを特定する。いくつかの実施形態では、状況位置計算器208は、地図データベースから一致した画像内に取り込まれた地理的領域(たとえば、あらかじめ定義された道路セグメント)の地理的地図を取り出す。地理的領域は、一致した画像を含む画像クラスタに関連付けられる。いくつかの実施形態では、状況位置計算器208は、関連状況物体の地理的位置座標を使用して、地理的領域の地理的地図上に関連状況物体を配置する。たとえば、状況位置計算器208は、物理的特徴点Pの地理的位置座標(たとえば、GPS座標)を使用して、地理的地図上に第1の関連状況物体の物理的特徴点Pを配置する。第1の関連状況物体の複数の物理的特徴点が地理的地図上に配置されたので、第1の関連状況物体は、その正確な地理的位置で地理的地図上に投影される。
いくつかの実施形態では、状況位置計算器208は、地理的地図上の関連状況物体を包含する凸状の地理的領域を、交通状況のカバレージエリアであると特定する。たとえば、状況位置計算器208は、グラハムスキャンアルゴリズムを使用して、関連状況物体をカバーする最大の凸包を決定しうる。関連状況物体は、それらの対応する地理的位置座標で地理的地図上に配置されるので、カバレージエリアは正確に位置特定され、様々な局面における交通状況の包括的な理解を提供する。たとえば、交通状況のカバレージエリアは、交通状況の地理的位置、交通状況の幾何学的境界(たとえば、幾何学的形状、占有された車線)、景観構成要素(たとえば、交通状況内に存在する関連状況物体)、これらの関連状況物の分布などを示す。
なお、凸状の地理的領域は、同一の属性を持つ関連状況物体を含むように生成してもよい。例えば、道路工事に関連する関連状況物体を包含する領域は、道路工事に対応するカバレージエリアとなる。
いくつかの実施形態では、状況位置特定アプリケーション120の状況位置特定マネージャ210は、交通状況を監視し、交通状況が時間とともに動的に変化するにつれて、交通状況を表すカバレージエリアを更新する。図5は、交通状況を表すカバレージエリアを更新するための例示的な方法500のフローチャートである。ブロック502において、状況位置特定マネージャ210は、第1の時間における交通状況の第1のカバレージエリアを特定する。一例として、図8Aは、第1の時間t=tにおける道路セグメント810上の工事現場の交通状況を示す。描写されたように、第1の時間t=tにおける工事現場の交通状況は、第1のカバレージエリア802によって表される。第1のカバレージエリア802は、複数の関連状況物体(たとえば、カラーコーン804および工事標識806)をカバーし、第1の時間t=tにおいて道路セグメント810に位置する車両プラットフォーム103によって取り込まれた画像に基づいて特定される。
状況位置特定マネージャ210は、多種多様な車両のための交通状況カバレージエリアデータを処理し、交通状況の追跡の開始、終了、拡大、および縮小などの、交通状況および経時的なそれらの進展を反映する動的地図を維持する。状況位置特定マネージャ210は、データストア124またはメモリ117または車両プラットフォーム103の他の非一時的ストレージデバイスに動的地図データを記憶させる。ナビゲーションアプリケーシ
ョン122は、動的地図データを検索および処理して、ナビゲーションルート、交通渋滞推定を計算し、または、警報、更新、ルート再計算、もしくは他の情報を生成し提供する。たとえば、ナビゲーションアプリケーション122は、限定はしないが、車両が接近している可能性があるもの、事前に計算された移動ルートに沿ったもの、ユーザが横断している可能性がある任意のルートに沿ったものなどの関連交通状況のカバレージエリアの記述などの、車両プラットフォームのドライバまたは乗客への指示的フィードバック、警報などを、タッチセンサ式ディスプレイ上に表示し、またはスピーカを介して出力しうる。ナビゲーション情報は、交通状況を横断または回避するための最良の情報とともに、交通状況の最新の状態を反映しうる。たとえば、以前に開いていた車線はそれを占有するレッカー車を今や有しうるし、ナビゲーションアプリケーション122によって提示された動的交通情報は、交通状況の足跡、障害物(レッカー車、故障車、またはそれらを横断するためのルートなど)を示すグラフィック情報をディスプレイ上に動的に示す。
いくつかの実施形態では、ナビゲーションアプリケーション122は、ナビゲーションアプリケーション122によって提示された(たとえば、警報、ナビゲーションデータなどに対応する)情報に関連付けられた動作を実行するように要求する入力データをユーザから受信し、動作を実行するようにナビゲーションアプリケーション122に指示することができる。たとえば、ユーザは、バス154に結合された専用ハードウェアボタンもしくは車両プラットフォームの(バス154に結合された)タッチセンサ式ディスプレイ上に提示されたデジタルボタンを選択するか、または音声システム(たとえば、バス154に結合されたマイクロフォンなど)などを介して音声コマンドを発行する。車両プラットフォーム103は、人または他のデバイスから様々な制御入力(たとえば、ジェスチャ、音声制御)を受信するように構成された任意の標準デバイスを備えうる1つまたは複数の入力デバイスを含む。非限定的な例示的な入力デバイス219として、テキスト情報を入力し、選択を行い、ユーザと対話するためのタッチスクリーン、動き検出入力デバイス、オーディオ入力デバイス、他のタッチベースの入力デバイス、キーボード、ポインタデバイス、インジケータ、または人もしくは他のデバイスとの通信もしくは対話を容易にするための任意の他の入力構成要素が含まれる。入力デバイスは、人々またはセンサから受信された入力/信号を中継するために、直接的にまたは介在するコントローラを介して、車両プラットフォーム103の他の構成要素に結合されうる。
ナビゲーションアプリケーション122は、入力を受信し、それを処理(たとえば、ボタン押下、音声コマンドなどを解釈)し、レストランにナビゲートする動作コマンドであるように、代替ルートを受け入れるか拒否するか、交通状況の存在を確認するなどの、コマンドに対応する動作を実施する。たとえば、ナビゲーションアプリケーション122は、ナビゲーションアプリケーション122に代替ルートまたはウェイポイントを介してどこで曲がるかの指示を提供させる、代替ルートまたはウェイポイントを設定する。別の例では、ナビゲーションアプリケーション122は、交通状況または他の近くの状況もしくは接近している状況に関する情報を提示する。描写されていないが、車両プラットフォームは、ユーザまたは他のデバイスに情報を出力または表示するように構成された任意のデバイスを備えてもよいし、バスに結合された出力デバイスを含んでもよい。非限定的な例示的な出力デバイス221として、通知、ナビゲーション情報、マルチメディア情報、設定などを表示するためのタッチスクリーン、音声情報を配信するためのオーディオ再生デバイス(たとえば、スピーカ)、ユーザに文字情報またはグラフィック情報を提示するためのディスプレイ/モニタが含まれる。出力情報は、ドライバもしくは乗客または他のデバイスによって理解されうるテキスト、グラフィック、触覚、オーディオ、ビデオ、および他の情報であってもよいし、あるいは、車両プラットフォーム103または他のコンピューティングデバイスのオペレーティングシステムによって読取り可能であるデータ、ロジック、プログラミングであってもよい。出力デバイスは、直接的にまたは介在するコントローラを介して、車両プラットフォーム103の他の構成要素に結合される。いくつか
の実装形態では、1組の出力デバイス221は、車両プラットフォーム103の設定または制御(たとえば、ドライバ制御、インフォテインメント制御、ガイダンス制御、安全制御など)を調整するために人が対話する制御パネルに含まれるか、または制御パネルを形成する。
ブロック504において、状況位置特定マネージャ210は、第2の時間における交通状況の第2のカバレージエリアを特定する。一例として、図8Bは、第2の時間t=tにおける道路セグメント810上の工事現場の同じ交通状況を示す。描写されたように、第2の時間t=tにおける工事現場の交通状況は、第2のカバレージエリア852によって表される。第2のカバレージエリア852は、複数の関連状況物体(たとえば、カラーコーン804、工事標識806、および工事車両854)をカバーし、第2の時間t=tにおいて道路セグメント810に位置する車両プラットフォーム103によって取り込まれた画像に基づいて特定される。この例では、第2の時間t=tにおける交通状況を表す第2のカバレージエリア852は、さらなる関連状況物体(たとえば、工事車両854)を含み、既存の関連状況物体(たとえば、カラーコーン804および工事標識806)が再配置される。いくつかの実施形態では、ナビゲーションアプリケーション122は、交通状況に関連する物体または交通状況の動的状態への変化を示す動的情報を提示する。交通状況としてのこの利点は、しばしば動的または半動的/静的であり、時間(分、時間、日など)とともに変化する可能性が高い。
ブロック506において、状況位置特定マネージャ210は、交通状況の第1のカバレージエリアと第2のカバレージエリアとの間の位置の差を特定する。ブロック508において、状況位置特定マネージャ210は、交通状況の第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすかどうかを判定しうる。いくつかの実施形態では、位置の差は、交通状況の第1のカバレージエリアおよび第2のカバレージエリアによって占有された車線に基づいて特定される。第2のカバレージエリアによって占有された1つまたは複数の第2の車線が、第1のカバレージエリアによって占有された1つまたは複数の第1の車線と異なる場合、状況位置特定マネージャ210は、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を超えたと判定する。
一例として、状況位置特定マネージャ210は、第1の時間t=tにおける交通状況の第1のカバレージエリア802、および第2の時間t=tにおける交通状況の第2のカバレージエリア852を、道路セグメント810の地理的地図にマッピングする。それに応じて、状況位置特定マネージャ210は、第1のカバレージエリア802が道路セグメント810の2つの車線(たとえば、車線3および車線4)を占有し、一方、第2のカバレージエリア852が道路セグメント810の3つの車線(たとえば、車線3、車線4、および車線5)を占有すると判断する。第2のカバレージエリア852は第1のカバレージエリア802と比較してさらなる車線(たとえば、車線5)を占有するので、状況位置特定マネージャ210は、第1のカバレージエリア802と第2のカバレージエリア852との間の位置の差がしきい値を満たすと判定する。別の例として、さらなる関連状況物体が加わり、または既存の関連状況物体の位置が変更されるが、第2のカバレージエリア852が第1のカバレージエリア802と同じ2つの車線(たとえば、車線3および車線4)を依然占有していると仮定する。この例では、状況位置特定マネージャ210は、交通状況の第1のカバレージエリア802と第2のカバレージエリア852との間の位置の差がしきい値を満たさないと判定する。
ブロック508において、状況位置特定マネージャ210が、交通状況の第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定した場合、方法500はブロック510に進む。ブロック510において、状況位置特定マネー
ジャ210は、交通状況の第2カバレージエリアを含むように、地理的領域に関連付けられた地理的地図を更新する。たとえば、状況位置特定マネージャ210は、第2の時間t=tにおける交通状況を表す第2のカバレージエリア852を含むように、道路セグメント810の地理的地図を更新する。
ブロック512において、状況位置特定マネージャ210は、地理的領域(たとえば、道路セグメント810)に関連付けられた近接車両プラットフォーム103に、状況更新の通知を送信する。いくつかの実施形態では、地理的領域に関連付けられた近接車両プラットフォーム103は、地理的領域に現在近接している車両プラットフォーム103を含む。地理的領域に関連付けられた近接車両プラットフォーム103の例には、限定はしないが、地理的領域に接近している車両プラットフォーム103(たとえば、次の15分以内に道路セグメント810に到達すると予測される車両プラットフォーム103)、地理的領域を通過した車両プラットフォーム103(たとえば、過去10分以内に道路セグメント810を通過した車両プラットフォーム103)、地理的領域から所定の距離内を移動している車両プラットフォーム103(たとえば、道路セグメント810から2マイルの半径内を移動している車両)などが含まれる。いくつかの実施形態では、状況更新の通知は、交通状況の第2のカバレージエリアを含む。状況更新の通知または交通状況の第2のカバレージエリアは、地理的領域の少なくとも一部分を占有する交通状況についてユーザに知らせるために、近接車両プラットフォーム103の出力デバイス上に表示される。
いくつかの実施形態では、状況位置特定マネージャ210は、ナビゲーションアプリケーション122に状況更新の通知を送信して、交通状況の第2のカバレージエリアに従って近接車両プラットフォーム103のナビゲーションパスを調整する。たとえば、図8Aおよび図8Bを参照して、近接車両プラットフォーム103が車線6上を走行しており、最近、道路セグメント810を通過したと仮定する。この近接車両プラットフォーム103は、上述されたように「交通状況が車線5をさらに占有している」ことを示す、交通状況の第2のカバレージエリアを有する状況更新の通知を受信する。道路セグメント810上の車線5内の交通は、交通状況に起因して進むことができないので、したがって、車線5内の道路セグメント810の前に道路セグメントに接近している車両は存在しないはずである。したがって、ナビゲーションアプリケーション122は、それに応じて、近接車両プラットフォーム103のナビゲーション経路を更新し、より速い通勤のために、車線6から車線5に移動するナビゲーション提案をそのユーザに提供する。
以上の説明では、本発明を十分に理解できるように、多くの詳細について説明した。しかしながら、各実施形態はこれらの具体的な詳細無しでも実施できることは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、本実施形態は、データおよびコマンドを受信する任意のタイプのコンピュータシステム、および、サービスを提供する任意の周辺機器について適用できる。
本明細書における「一実施形態」または「ある実施形態」等という用語は、その実施形態と関連づけて説明される特定の特徴・構造・性質が、少なくとも一つの実施形態に含まれることを意味する。「一実施形態における」等という用語は本明細書内で複数用いられるが、これらは必ずしも同一の実施形態を示すものとは限らない。
以上の詳細な説明の一部は、非一時的(non-transitory)なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるもので
ある。なお、本明細書において(また一般に)アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算(処理)」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー(登録商標)ディスク・光ディスク・CD−ROM・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光学式カード、USBキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも1つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
入力/出力(I/O)装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはI/Oコントローラを介して直接あるいは間接的にシステムに接続される。
データ処理システムが、介在するプライベートネットワークおよび/またはパブリックネットワークを介して、他のデータ処理システム、ストレージデバイス、リモートプリンタなどに結合されるようになることを可能にするために、ネットワークアダプタもシステ
ムに結合されうる。ワイヤレス(たとえば、Wi−Fi(登録商標))トランシーバ、イーサネット(登録商標)アダプタ、およびモデムは、ネットワークアダプタのほんの数例に過ぎない。プライベートネットワークおよびパブリックネットワークは、任意の数の構成および/またはトポロジを有しうる。データは、たとえば、様々なインターネットレイヤ、トランスポートレイヤ、またはアプリケーションレイヤのプロトコルを含む、様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間で送信されうる。たとえば、データは、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、伝送制御プロトコル(TCP)、ハイパーテキスト転送プロトコル(HTTP)、セキュアハイパーテキスト転送プロトコル(HTTPS)、動的適応ストリーミングオーバーHTTP(DASH)、リアルタイムストリーミングプロトコル(RTSP)、リアルタイムトランスポートプロトコル(RTP)およびリアルタイムトランスポート制御プロトコル(RTCP)、ボイスオーバーインターネットプロトコル(VOIP)、ファイル転送プロトコル(FTP)、ウェブソケット(WS)、ワイヤレスアクセスプロトコル(WAP)、様々なメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAVなど)、または他の既知のプロトコルを使用して、ネットワークを介して送信されうる。
最後に、本明細書において提示される構造、アルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。
さらに、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できる。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。
100 システム
101 サーバ
103 車両プラットフォーム
105 ネットワーク
113 センサ
115 プロセッサ
117 メモリ
119 通信ユニット
120 状況位置特定アプリケーション
121 車両データストア
122 ナビゲーションアプリケーション
124 データストア
152 コンピューティングデバイス

Claims (12)

  1. 道路上で発生する交通イベントに対応する範囲を特定する方法であって、
    画像を含む状況データを一台以上の車両から受信する受信ステップと、
    前記一台以上の車両から受信した前記状況データに含まれる画像を、前記一台以上の車両の位置に基づいて画像クラスタに分類する分類ステップと、
    同一の前記画像クラスタに含まれる、異なる車両から送信された複数の画像から、一つ以上の関連状況物体を検出し、同一である一つ以上の前記関連状況物体を含む複数の画像を特定する照合ステップと、
    前記一つ以上の関連状況物体の、カメラ座標系における3Dセンサ座標を、前記同一の関連状況物体を含む複数の画像に含まれる、前記一つ以上の関連状況物体の特徴に基づいて取得する取得ステップと、
    前記画像を送信した車両の地理的位置を用いて、前記一つ以上の関連状況物体の3Dセンサ座標を地理的座標に変換する変換ステップと、
    前記一つ以上の関連状況物体の地理的座標に基づいて、マップ上における前記交通イベントの範囲を特定する範囲特定ステップと、
    を含む、方法。
  2. 前記範囲特定ステップでは、複数の前記関連状況物体の属性に基づいて、同一の属性を持つ前記関連状況物体を包含する領域を生成し、前記領域を、前記交通イベントの範囲とする、
    請求項1に記載の方法。
  3. 前記変換ステップは、
    第一の車両が有する第一の画像センサから見た前記関連状況物体の角度を算出する第一ステップと、
    第二の車両が有する第二の画像センサから見た前記関連状況物体の角度を算出する第二ステップと、
    前記算出した二つの角度と、前記第一および第二の車両の地理的位置に基づいて、前記関連状況物体の地理的座標を特定する第三ステップと、を含む、
    請求項1または2に記載の方法。
  4. 前記第三ステップでは、前記第一の車両における前記第一の画像センサの配置位置、および、前記第二の車両における前記第二の画像センサの配置位置にさらに基づいて、前記関連状況物体の地理的座標を特定する、
    請求項3に記載の方法。
  5. 前記範囲特定ステップでは、
    一つ以上の前記関連状況物体の地理的座標を使用して、前記マップ上に一つ以上の前記関連状況物体を配置し、前記マップ上にある一つ以上の関連状況物体を包含するエリアを生成し、前記交通イベントの範囲とする、
    請求項1から4のいずれかに記載の方法。
  6. 第一の時間における前記交通イベントに対応する第一の範囲を特定し、
    第二の時間における前記交通イベントに対応する第二の範囲を特定し、
    前記第一および第二の範囲の位置的差分が所定の値以上である場合に、前記交通イベントの第二の範囲によって、前記マップを更新する、
    請求項1から5のいずれかに記載の方法。
  7. 第一の時間における前記交通イベントに対応する第一の範囲を特定し、
    第二の時間における前記交通イベントに対応する第二の範囲を特定し、
    前記第一および第二の範囲が支障する車線の数が異なる場合に、前記交通イベントの第二の範囲によって、前記マップを更新する、
    請求項1から5のいずれかに記載の方法。
  8. 前記マップを更新した場合に、前記交通イベントに近接する車両に対して、前記交通イベントに対応する前記第二の範囲を含む状況更新通知を送信するステップと、
    をさらに含む、
    請求項6または7に記載の方法。
  9. 前記分類ステップでは、所定の道路セグメントごとに前記画像を画像クラスタに分類する、
    請求項1から8のいずれかに記載の方法。
  10. 前記分類ステップでは、前記画像のタイムスタンプにさらに基づいて前記画像を画像クラスタに分類する、
    請求項9に記載の方法。
  11. 前記状況データは、前記画像、前記画像を捉えた画像センサに関する情報、前記車両の位置情報を含む、
    請求項1から10のいずれかに記載の方法。
  12. 道路上で発生する交通イベントに対応する範囲を特定する情報処理装置であって、
    画像を含む状況データを一台以上の車両から受信する受信手段と、
    前記一台以上の車両から受信した前記状況データに含まれる画像を、前記一台以上の車両の位置に基づいて画像クラスタに分類する分類手段と、
    同一の前記画像クラスタに含まれる、異なる車両から送信された複数の画像から、一つ以上の関連状況物体を検出し、同一である一つ以上の前記関連状況物体を含む複数の画像を特定する照合手段と、
    前記一つ以上の関連状況物体の、カメラ座標系における3Dセンサ座標を、前記同一の関連状況物体を含む複数の画像に含まれる、前記一つ以上の関連状況物体の特徴に基づい
    て取得する取得手段と、
    前記画像を送信した車両の地理的位置を用いて、前記一つ以上の関連状況物体の3Dセンサ座標を地理的座標に変換する変換手段と、
    前記一つ以上の関連状況物体の地理的座標に基づいて、マップ上における前記交通イベントの範囲を特定する範囲特定手段と、
    を含む、情報処理装置。
JP2018235823A 2018-01-13 2018-12-17 複数車両の協力による交通イベントの位置特定 Active JP6729673B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/870,870 2018-01-13
US15/870,870 US10586118B2 (en) 2018-01-13 2018-01-13 Localizing traffic situation using multi-vehicle collaboration

Publications (2)

Publication Number Publication Date
JP2019125361A JP2019125361A (ja) 2019-07-25
JP6729673B2 true JP6729673B2 (ja) 2020-07-22

Family

ID=67213955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018235823A Active JP6729673B2 (ja) 2018-01-13 2018-12-17 複数車両の協力による交通イベントの位置特定

Country Status (2)

Country Link
US (1) US10586118B2 (ja)
JP (1) JP6729673B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446350B (zh) * 2014-09-26 2018-05-29 科沃斯机器人股份有限公司 自移动机器人移动界限划定方法
GB201716442D0 (en) * 2017-10-06 2017-11-22 Highway Resource Solutions Ltd Governing the operation of an asset within a geo-zone
US11417107B2 (en) * 2018-02-19 2022-08-16 Magna Electronics Inc. Stationary vision system at vehicle roadway
US10306430B1 (en) * 2018-04-27 2019-05-28 Lyft, Inc. Vehicle-to-infrastructure communication
US11164015B2 (en) * 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
CN112739244B (zh) * 2018-07-13 2024-02-09 美国iRobot公司 移动机器人清洁系统
US11184556B2 (en) * 2018-10-31 2021-11-23 Signify Holding B.V. Camera vision system overlap management without network coordination
CN111223302B (zh) * 2018-11-23 2021-12-03 明创能源股份有限公司 移动载具用外部坐标实时三维路况辅助装置及该系统
US11151866B2 (en) * 2019-02-05 2021-10-19 Intel Corporation Enhanced high definition maps for a vehicle
CN113454692B (zh) * 2019-02-19 2024-04-16 Sk电信有限公司 驾驶信息提供方法以及车辆地图提供服务器和方法
US10665109B1 (en) * 2019-05-17 2020-05-26 sibrtech inc. Construction zone apparatus and method
KR20210037791A (ko) * 2019-09-27 2021-04-07 현대모비스 주식회사 자율 주행 장치 및 방법
US11640675B2 (en) 2019-12-13 2023-05-02 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for interpreting traffic scenes
KR20220140850A (ko) 2020-02-20 2022-10-18 톰톰 글로벌 콘텐트 비.브이. 지도 변경 데이터의 사용
CN111674388B (zh) * 2020-05-19 2022-02-22 阿波罗智联(北京)科技有限公司 用于车辆弯道行驶的信息处理方法和装置
US11368991B2 (en) 2020-06-16 2022-06-21 At&T Intellectual Property I, L.P. Facilitation of prioritization of accessibility of media
US11233979B2 (en) 2020-06-18 2022-01-25 At&T Intellectual Property I, L.P. Facilitation of collaborative monitoring of an event
US11411757B2 (en) 2020-06-26 2022-08-09 At&T Intellectual Property I, L.P. Facilitation of predictive assisted access to content
US11037443B1 (en) 2020-06-26 2021-06-15 At&T Intellectual Property I, L.P. Facilitation of collaborative vehicle warnings
US11184517B1 (en) 2020-06-26 2021-11-23 At&T Intellectual Property I, L.P. Facilitation of collaborative camera field of view mapping
US11356349B2 (en) 2020-07-17 2022-06-07 At&T Intellectual Property I, L.P. Adaptive resource allocation to facilitate device mobility and management of uncertainty in communications
US11768082B2 (en) 2020-07-20 2023-09-26 At&T Intellectual Property I, L.P. Facilitation of predictive simulation of planned environment
CN112015937B (zh) * 2020-08-31 2024-01-19 核工业北京地质研究院 一种图片地理定位方法及系统
CN112965466B (zh) 2021-02-18 2022-08-30 北京百度网讯科技有限公司 自动驾驶系统的还原测试方法、装置、设备及程序产品
JP7398498B2 (ja) 2022-03-25 2023-12-14 本田技研工業株式会社 制御装置
FR3135046B1 (fr) * 2022-05-02 2024-03-15 Psa Automobiles Sa Système de commande d’un dispositif d’assistance au changement de voie
JP7469401B2 (ja) 2022-08-15 2024-04-16 株式会社Nttドコモ 工事検出システム
CN117576652B (zh) * 2024-01-19 2024-04-26 福思(杭州)智能科技有限公司 道路对象的识别方法、装置和存储介质及电子设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230834A (ja) * 1999-02-10 2000-08-22 Daihatsu Motor Co Ltd 道路地図情報の更新装置及びその制御方法
JP4882289B2 (ja) 2005-06-21 2012-02-22 日産自動車株式会社 地図情報生成システム
DE602005017144D1 (de) * 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
JP2007122247A (ja) 2005-10-26 2007-05-17 Fujifilm Corp 自動ランドマーク情報作成方法及びシステム
JP2007206099A (ja) 2006-01-30 2007-08-16 Mobile Mapping Kk 地図作成支援システム
US8212812B2 (en) 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8401241B2 (en) 2008-10-17 2013-03-19 Honda Motor Co., Ltd. Structure and motion with stereo using lines
US8249361B1 (en) 2010-04-22 2012-08-21 Google Inc. Interdependent learning of template map and similarity metric for object identification
JP5258859B2 (ja) * 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
US9300947B2 (en) 2011-03-24 2016-03-29 Kodak Alaris Inc. Producing 3D images from captured 2D video
US8970357B2 (en) * 2011-04-13 2015-03-03 Toyota Jidosha Kabushiki Kaisha Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same
US8442307B1 (en) * 2011-05-04 2013-05-14 Google Inc. Appearance augmented 3-D point clouds for trajectory and camera localization
WO2013170882A1 (en) 2012-05-15 2013-11-21 Telefonaktiebolaget L M Ericsson (Publ) Collaborative vehicle detection of objects with a predictive distribution
EP2669845A3 (en) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
US8805091B1 (en) * 2012-08-17 2014-08-12 Google Inc. Incremental image processing pipeline for matching multiple photos based on image overlap
US9148650B2 (en) 2012-09-17 2015-09-29 Nec Laboratories America, Inc. Real-time monocular visual odometry
US9141107B2 (en) 2013-04-10 2015-09-22 Google Inc. Mapping active and inactive construction zones for autonomous driving
CN105313782B (zh) * 2014-07-28 2018-01-23 现代摩比斯株式会社 车辆行驶辅助系统及其方法
US9916508B2 (en) * 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
JP5889463B1 (ja) * 2015-03-30 2016-03-22 ソフトバンク株式会社 画像管理システム、サーバ、画像管理方法、サーバ制御方法、及びサーバプログラム
US9436895B1 (en) 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US11307042B2 (en) * 2015-09-24 2022-04-19 Allstate Insurance Company Three-dimensional risk maps
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9911198B2 (en) 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
US9805276B2 (en) * 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes
US20180018757A1 (en) 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
WO2018031959A1 (en) 2016-08-12 2018-02-15 Aquifi, Inc. Systems and methods for automatically generating metadata for media documents
US20180069937A1 (en) 2016-09-02 2018-03-08 VeriHelp, Inc. Event correlation and association using a graph database
US9979813B2 (en) * 2016-10-04 2018-05-22 Allstate Solutions Private Limited Mobile device communication access and hands-free device activation
US10254758B2 (en) * 2017-01-18 2019-04-09 Ford Global Technologies, Llc Object tracking by unsupervised learning
US10282999B2 (en) * 2017-03-17 2019-05-07 GM Global Technology Operations LLC Road construction detection systems and methods
US10725475B2 (en) 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US10175340B1 (en) * 2018-04-27 2019-01-08 Lyft, Inc. Switching between object detection and data transfer with a vehicle radar

Also Published As

Publication number Publication date
US20190220678A1 (en) 2019-07-18
US10586118B2 (en) 2020-03-10
JP2019125361A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
JP6729673B2 (ja) 複数車両の協力による交通イベントの位置特定
JP6741107B2 (ja) 交通状況のリアルタイム検出
US10916135B2 (en) Similarity learning and association between observations of multiple connected vehicles
US10867510B2 (en) Real-time traffic monitoring with connected cars
US11465626B2 (en) Virtualized driver assistance
EP3511863B1 (en) Distributable representation learning for associating observations from multiple vehicles
US10867404B2 (en) Distance estimation using machine learning
CN111332309B (zh) 驾驶员监视系统及其操作方法
JP2018027776A (ja) 運転者行動予測モデルの個人適合
CN113302621A (zh) 将运载工具中捕获的乘客关注数据用于定位和基于地点的服务
US11238370B2 (en) Approaches for determining sensor calibration
US11796335B2 (en) Method of and system for controlling operation of self-driving car
TW201333896A (zh) 使用視訊雷達的遠距交通管理系統
US11548528B2 (en) Method of and system for computing data for controlling operation of self driving car (SDC)
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230347979A1 (en) Methods and processors for controlling steering of self-driving car
US11568651B2 (en) System and method for localization of traffic signs
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
US20230408644A1 (en) Intrinsic noise characterizations for increased radar sensor sensitivity
US20240160804A1 (en) Surrogate model for vehicle simulation
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
KR20230033557A (ko) 자율 주행 차량 사후 동작 설명 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R151 Written notification of patent or utility model registration

Ref document number: 6729673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250