JP6414255B2 - 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 - Google Patents
道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 Download PDFInfo
- Publication number
- JP6414255B2 JP6414255B2 JP2017040721A JP2017040721A JP6414255B2 JP 6414255 B2 JP6414255 B2 JP 6414255B2 JP 2017040721 A JP2017040721 A JP 2017040721A JP 2017040721 A JP2017040721 A JP 2017040721A JP 6414255 B2 JP6414255 B2 JP 6414255B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- lane
- data
- scene
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/005—Moving wireless networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Description
開示は、道路シーン記述を作成し、車両間で交換するための技術に関する。
において具現化することができる。
道路シーン記述を調整させ、調整したセマンティック道路シーン記述に基づいて道路区間に関する1つまたは複数の外部状態を特定し、1つまたは複数の外部状態に基づいて1つまたは複数の対話型ルーチンを実行することを含んでもよい。
・道路上または道路近傍のある物体・道路を取り巻く環境等の状態を含む概念である。道路の状態には、例えば、車線の数、通行規制の有無および内容、路面状態などが含まれる。道路上または道路近傍の物体には、車両(自動車、トラック、自動二輪車等)、歩行者、道路工事作業員、交通標識、ガードレール、中央分離帯、障害物、路側機などが含まれる。これらの物体の状態には、それらの位置、移動方向、移動速度および加速度、目的地などが含まれる。道路を取り巻く環境には、気象、明暗、日時などが含まれる。
本開示において「シーンレベルコンテキスト」は、道路に関するコンテキストを表し、気象、明暗、日時、交通状況(交通渋滞、道路工事、運転し易さ(度合い)、横断可能な道路領域)などが含まれる。
本開示において「車線レベルアクティビティ」は、車線上の道路物体が行っている活動を表す。車線レベルアクティビティは、例えば、どの車両がどの車線上を走行あるいは停止しているか、その移動速度、移動方向などを表す。また、移動以外の任意の動作もアク車線レベルティビティに含まれてよい。
本開示において「車線レベル空間レイアウト」は、道路上の道路物体の車線ごとの空間配置を表す。車線レベル空間レイアウトは、ある車線上での物体間の距離や位置関係を含む。
本開示における「セマンティック道路シーン記述」は、道路シーン状況を要約するものである。セマンティック道路シーン記述は、あらかじめ定義されたオントロジーを用いて表現することができる。
道路に対して移動する物体であり、例えば、車両(自動車、トラック、自動二輪車等)、歩行者、道路工事作業員が含まれる。
可能なフォーマットで現在の道路シーン状況を表すことができるものである。シーン状況の交換は、車車間(V2V)プロトコルを使用した複数の車両の間や、車路間/路車間(V2I/I2V)プロトコルを使用した車両と路側機(インフラストラクチャー。基盤とも称する。)の間で行われる。下記でさらに詳細に記載されるように、いくつかの実施形態では、交換されるべきセマンティック道路シーン記述は、対象車両の環境の様々な側面を記述することができ、一例として、内部環境や外部環境が含まれる。たとえば、当該記述は、車両が存在・移動している道路区間(road segment)に関連付けられた1つまたは複数の外部状態(outside condition)を含む。そのような状態の非限定的な例には、現
在のシーン構成要素(current scene composition)、個々のオブジェクト属性(たとえ
ば、車両の色やモデル)、シーン内に存在する1つまたは複数の道路物体によって実行されるアクティビティとそのアクティビティタイプ、シーン内の物体間関係(object-to-object relationship)、シーンパラメータなどが含まれる。シーンパラメータの非限定的
な例には、気象状態、明暗状態、地域のタイプ、運転のし易さの基準(ease-of-drive metric)、横断可能な道路領域などが含まれる。通信範囲内の別の車両からセマンティック記述を受信する車両は、セマンティック道路シーン記述から必要な情報を抽出し、それを処理して予測サービスをその乗員に提供することができる。
101、地図サーバ170、基盤サーバ190、クライアントデバイス115、および移動プラットフォーム135に結合するネットワーク105用の単一ブロックを示すが、ネットワーク105は、実際には、上述されたように、ネットワークの任意の数の組合せを備える場合があることを理解されたい。
ン状況を記述するための用語データ(terminology data)を記憶することができる。図1では、サーバ101が状況オントロジーデータベース103を含むものとして示されているが、移動プラットフォーム135および/またはクライアントデバイス115が、追加および/または代替として、用語データを記憶する場合があることを理解されたい。たとえば、移動プラットフォーム135および/またはクライアントデバイス115は、状況オントロジーデータベース103のインスタンスを含む場合があり、状況オントロジーデータベース103からのデータをキャッシュする(たとえば、様々な間隔で用語データをダウンロードする)ことなどができる。たとえば、用語データは、移動プラットフォーム135の中に事前に記憶/インストールされ、セットアップまたは最初の使用時に記憶および/またはリフレッシュされ、様々な間隔で複製されるなどの場合がある。さらなる実施形態では、状況オントロジーデータベース103からのデータは、実行時に要求/ダウンロードされる場合がある。他の適切な変形形態も可能であり、考えられる。
ライアントデバイス115の非限定的な例には、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイル電話、携帯情報端末(PDA)、モバイル電子メールデバイス、または、情報を処理し、ネットワーク105にアクセスすることが可能な任意の他の電子デバイスが含まれる。いくつかの実施形態では、クライアントデバイスは、1つまたは複数のセンサ106を含む場合がある。
ント、スマートフォン端末、タブレット端末、ポータブルコンピュータ端末、または、非一時的コンピュータエレクトロニクス(たとえば、プロセッサ、メモリ、もしくは非一時的コンピュータエレクトロニクスの任意の組合せ)を有する任意の他のモバイルシステムが含まれる。ユーザ125は、線154によって表されるように、移動プラットフォーム135と対話することができる。ユーザ125は、移動プラットフォーム135を運転する人間のユーザであり得る。たとえば、ユーザ125は車両のドライバであり得る。
ム(たとえば、標準のデータまたはデータベースの管理システム)の一部であり得る。
成が考えられ、本開示の範囲内にあることを理解されたい。たとえば、様々な行為および/または機能をサーバからクライアントに、またはその逆に移動することができ、データは、単一のデータストアに統合されるか、または追加のデータストアの中にさらにセグメント化される場合があり、いくつかの実装形態は、追加のまたはより少ないコンピューティングデバイス、サービス、および/またはネットワークを含む場合があり、様々な機能のクライアントまたはサーバ側を実装する場合がある。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスもしくはシステムの中に統合されるか、または追加のコンピューティングデバイスもしくはシステムの中に分割される場合などがある。
書の中の他の場所で説明されるように、ある時点に第1の移動プラットフォーム135のある特定の範囲内に位置する道路シーンアプリケーション109のインスタンスから受信される場合がある。
む場合がある。より具体的には、地図データは、道路の進行方向、その道路上の車線の数、その道路の出口および入口、1つまたは複数の車線が特殊な状況を有している(たとえば、カープール車線である)かどうか、それらの車線における道路の状態、それらの車線についての交通および/または事故のデータ、それらの車線に関連する交通規制(たとえば、車線標識、路面標識、交通信号、交通標識など)などを記述することができる。いくつかの実施形態では、地図データベース174は、データを記憶しデータへのアクセスを提供するためのデータベース管理システム(DBMS)を含み、かつ/またはそれに関連付けられる場合がある。
、本開示の範囲から逸脱することなく、他の形態を取り、追加のまたはより少ない構成部品を含む場合があることを理解されたい。たとえば、図示されていないが、コンピューティングデバイス200は、様々なオペレーティングシステム、ソフトウェア構成部品、ハードウェア構成部品、および他の物理構成を含む場合がある。
び/または、必要な任意の他の電気的、機械的、構造的、および機械的な構成部品などの、移動プラットフォーム135の様々なプラットフォーム構成部品を含み、かつ/またはそれらに結合される場合がある。
タティックランダムアクセスメモリ(SRAM)デバイス、ディスクリートメモリデバイス(たとえば、PROM、FPROM、ROM)、ハードディスクドライブ、光ディスクドライブ(CD、DVD、Blu−ray(登録商標)など)のうちの1つまたは複数を含む場合がある。メモリ215は単一のデバイスであり得るか、または複数のタイプのデバイスおよび構成を含む場合があることを理解されたい。
可能であり、それらの機能を実現するためにプロセッサ213によってアクセス可能かつ実行可能である。上記の実装形態のいずれにおいても、これらの構成部品109、252、254、256、258、260、262、および/または264は、プロセッサ213およびコンピューティングデバイス200の他の構成部品との連携および通信に適合することができる。
両Aが識別した動的道路物体に第1のセットの物体IDを割り当て、車両Bが識別した動的道路物体に第2のセットの物体IDを割り当てると仮定する。第1のセットおよび第2のセットの中の物体IDは、それぞれ車両Aおよび車両Bに対してローカルに一意であり得るが、第1のセットの中の車両Aによって割り当てられた1つまたは複数の物体IDは、第2のセットの中の車両Bによって割り当てられた物体IDとランダムに同じ場合がある。いくつかの実施形態では、物体IDは普遍的に一意(ユニバーサルユニーク)であり得るし、各物体IDはシーン内に存在する動的道路物体を一意に識別することができ、したがって、異なる移動プラットフォーム135は同じ物体IDを使用して同じ動的道路物体を引用することができることを意味する。
本明細書でさらに記載されるように、道路区間の各車線に関連付けられたアクティビティ情報および/もしくは空間レイアウトに基づいて特定することができるか、または地図データもしくは移動プラットフォーム135の地理位置から特定することができる。さらなる例では、シーンレベルコンテキスト検出器712は、道路シーンデータを処理してシーン内の物体を特定し、物体に基づいてコンテキストを特定することができる。
に説明されるように、セマンティック道路シーン記述を作成する際に使用することができる。
び左側の白い破線を検出する。シーンプロセッサ254は、地図データを参照し、移動プラットフォーム135が高速道路の車線2を移動していると判断する。第1の移動プラットフォーム135の隣の左車線にいる他の移動プラットフォーム135は、車線1を走行している。有利なことには、地図データは、道路構造が複雑(たとえば、複数車線の高速道路、複雑な交差点など)である場合、第1の移動プラットフォーム135および動的道路物体の位置を特定するのに役立てることができる。複雑な道路構造により、移動プラットフォーム135の視点から検出された静的道路物体のみに基づいて、車線位置を特定することが困難になり得る。
ことができる。次いで、アクティビティアグリゲータ256は、車両1の車両動作データ(たとえば、速度計出力)によって識別されたように、車両10が約55mphで走行していると判断することができる。
車線レベルアクティビティ情報を集約するときの重複を回避することが可能になるので、これは有利である。たとえば、車両13が車線3から車線4に変更したことを車両Aから受信された車線レベルアクティビティ情報が示し、車両13が水をまき散らしていることを車両Bから受信された車線レベルアクティビティ情報が示す。物体ID(たとえば、物体ID=13)に基づいて、基盤サーバ190および/またはサーバ101および/または受信側車両は、車両Aおよび車両Bから受信された車線レベルアクティビティ情報を集約することができ、車両13が車線3から車線4に変更し、車両13が水をまき散らしているとの結論に達することができる。
けられた物体IDは、各移動プラットフォーム135に対して普遍的に一意(ユニバーサルユニーク)であってもよく、ローカルに一意(ローカルユニーク)であってもよい。上記の例では、物体IDは普遍的に一意であり、したがって、車両Aおよび車両Bは、同じ物体ID(たとえば、物体ID=13)を使用して、同じ動的道路物体(たとえば、同じ車両13)について言及することができる。しかしながら、物体IDを生成した車両(たとえば、第1の車両)においてのみ物体IDが一意(ローカルユニーク)である実施形態でも、物体IDの使用は依然として有利であり得る。詳細には、物体IDは、異なる時点で同じ送信側エンティティから受信された車線レベルアクティビティ情報を集約するために、依然として使用することができる。たとえば、時間t=t1において車両Aから受信された車線レベルアクティビティ情報は、車両14が衝突したことを示し、時間t=t2において車両Aから受信された車線レベルアクティビティ情報は、車両14が緊急車線に移動したことを示す。物体ID(たとえば、物体ID=14)に基づいて、基盤サーバ190および/またはサーバ101および/または受信側車両は、時間t1およびt2において車両Aから受信された車線レベルアクティビティ情報を集約して、道路区間上の現在の状況を識別することができる。この例では、車両Cが車両14に異なる物体IDを割り当てることができるが、物体ID14は、車両Aの視点から分かるように、基盤サーバ190および/またはサーバ101および/または受信側車両に対して依然として一意である。したがって、物体ID14は、有利なことに、車両Aから受信された車両14に関するアクティビティ情報を処理するために使用することができる。いくつかの実施形態では、動的道路物体に対応する物体IDは、暗号化され、セマンティック道路シーン記述に含まれる場合がある。いくつかのさらなる実施形態では、物体IDはセマンティック道路シーン記述から割愛される場合がある。
ジンは、適度な交通状態では25mのセンサ範囲内に通常3台の車があると判断することができる。空間レイアウトエンコーダ258は、したがって、車両の位置が互いに近すぎるので、車線4において車両が一団になっていると判断することができる。空間レイアウトエンコーダ258は、したがって、車線4内の前方で渋滞状況が発生していると予測することができる。
し、この表現はその後、複数の車両および/または基盤と共有される。場合によっては、セマンティック道路シーン記述は、効率的な送信用に圧縮される場合がある。
度(moderate)」として示すコンテキスト属性のうちの1つまたは複数を含む場合がある。
する1つまたは複数の態様を含む場合がある。いくつかの実施形態では、これらの態様は、各車線の車線固有情報、たとえば、車線番号、車線レベルアクティビティ情報(たとえば、車線内に存在する1つまたは複数の動的道路物体の属性(物体タイプ、物体IDなど)、1つまたは複数の動的道路物体のアクティビティなど)、および車線レベル空間レイアウト(たとえば、車線を占有する動的道路物体の数、車線内の物体間関係など)などを記述することができる。たとえば、図9に描写されたように、セマンティック道路シーン記述900は、道路区間の車線1、車線2、および車線3に対応する3つの態様を含む場合がある。図示されたように、態様「車線1」は、互いの間に3.5mの距離を置いて車線1を移動している3台の車があることを示す。態様「車線2」は、車線2を占有している2つのタイプの動的道路物体を記述する。詳細には、車線2を適度な速度で移動している3台の車および車線2をゆっくり移動している2台のトラックが存在する。態様「車線2」は、車線2内の車両の平均車間距離が2秒であることも示す。態様「車線3」は、物体ID=14を有する車が衝突し、車線3内の他の車両(たとえば、5台の車)が停止したことを示す。いくつかの実施形態では、セマンティック道路シーン記述は、他の道路シーン態様を含む場合がある。
の容量(たとえば、V2V通信ネットワークおよび/またはV2I/I2V通信ネットワークの帯域幅制限)に応じてリアルタイムまたは非リアルタイムで、1つまたは複数の受信側エンティティ(たとえば、他の移動プラットフォーム135、基盤構成要素、サーバ101、クライアントデバイス115など)に配布することができる。一例として、V2V通信ネットワークの利用可能な帯域幅がしきい値を満たす(しきい値以上である)場合、道路シーンデータがセンサ106から取り込まれ/収集され、道路シーンアプリケーション109によって処理されると、第1の車両はリアルタイムで他の車両にセマンティック道路シーン記述を通信する。いくつかの実施形態では、移動プラットフォーム135は、指定された間隔で(たとえば、4秒ごとに)セマンティック道路シーン記述を送信する。いくつかの実施形態では、セマンティック道路シーン記述の作成および送信は、ユーザの介入なしに道路シーンアプリケーション109によって自動的に実行される。
記述した内容に基づいて、道路区間の外部状況を再現(reconstruct)することができる
。詳細には、受信側車両は、2つ以上のセマンティック道路シーン記述を、それらに含まれる1つまたは複数の道路シーン態様に基づいて統合することができる。
た第1のセマンティック記述は、車線1内の車が物体間距離3秒でスムーズに移動していることを記述し、第2の送信側車両から受信された第2のセマンティック記述は、車線1内の車およびトラックが物体間距離2.7秒でスムーズに移動していることを記述する。統合したセマンティック記述の車線1に関連付けられた道路シーン態様に基づいて、受信側車両の道路シーンアプリケーション109は、車線1内の車両は車およびトラックを含み、それらが2.7秒と3秒との間のいずれかの車間距離でスムーズに走行していると判断することができる。
差点にある同じ交通信号を記述する。第2のセマンティック記述はさらに、ワシントン通りの車線4および車線5の赤信号で車およびトラックが停止しており、右折信号を出していることを記述する。静的道路物体(たとえば、交通信号)に基づいて、受信側車両の道路シーンアプリケーション109は、第1のセマンティック記述を第2のセマンティック記述と統合して、交差点におけるより完全な外部状況を理解することができる。たとえば、受信側車両の道路シーンアプリケーション109は、車線2内の赤信号で停止している2台の車および牽引車両があり、右折してワシントン通りを離れようとしている車線4内の車および車線5内のトラックがあると判断することができる。
る道路シーン状況を記述するセマンティック記述を受信する。次いで、道路シーンアプリケーション109は、各位置に関連付けられた外部状態を再現(再構成)し、インターフェースエンジン264は、これらの位置における現在の道路シーン状況をユーザに報告する状況地図を作成する。たとえば、図10に示されるように、状況地図1010は、位置1002にあるエンジンが止まった車、位置1004にある工事ゾーン、および位置1006にある水をまき散らしている車を記述する。状況地図は、特定の地理空間領域内の現在の外部状態をユーザに知らせることができ、ユーザは、したがって、これらの道路シーン状況を自分が望むように回避および/または適合することができる。いくつかの実施形態では、インターフェースエンジン264は、クライアントデバイス115および/またはモバイルコンピューティングシステム135にグラフィカルデータを送り、ユーザにユーザインターフェースを提示することをクライアントデバイス115および/またはモバイルコンピューティングシステム135に行わせる。
では、第2の車両は、道路区間に関連付けられた車両(たとえば、道路区間に近接している車両)であり得る。
用可能なタイプのネットワークアダプタのうちのほんの一部である。
101 サーバ
103 状況オントロジーデータベース
107 車両CAN(コントローラエリアネットワーク)データストア
108 道路シーンデータストレージ
109 道路シーンアプリケーション
115 クライアントデバイス
117 ナビゲーションアプリケーション
135 移動プラットフォーム
170 地図サーバ
172 関心地点(POI)データベース
174 地図データベース
190 基盤サーバ
192 V2Vデータストア
194 V2I/I2Vデータストア
Claims (16)
- コンピュータによって実行される方法であって、
道路区間上の第1の車両のセンサから、道路シーンデータおよび車両動作データを受信するステップと、
状況オントロジーデータを受信するステップと、
前記道路シーンデータ、前記車両動作データ、および前記状況オントロジーデータを用いて、前記道路区間のセマンティック道路シーン記述を自動的に作成するステップと、
前記セマンティック道路シーン記述を、通信ネットワークを介して、前記道路区間に関連付けられた第2の車両に送信するステップと、
前記道路シーンデータに基づいて、静的道路物体を検出するステップと、
検出された前記静的道路物体に基づいて、前記道路区間上の車線を決定するステップと、
前記道路シーンデータに基づいて、動的道路物体を検出するステップと、
車線情報と動的道路物体情報とに基づいて、車線レベルアクティビティ情報を決定するステップと、
前記車線情報と前記動的道路物体情報とに基づいて、車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
を含み、
車線レベル空間レイアウトをそれぞれの車線について決定する前記ステップは、
前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
前記動的道路物体の監視された動きおよび車線位置に基づいて、車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
を含み、
前記動きおよび前記車線位置を空間的および時間的に監視する前記ステップは、
検出された前記動的道路物体に一意の物体識別子を割り当てるステップと、
割り当てられた前記物体識別子に基づいて、前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
を含む方法。 - コンピュータによって実行される方法であって、
道路区間上の第1の車両のセンサから、道路シーンデータおよび車両動作データを受信するステップと、
状況オントロジーデータを受信するステップと、
前記道路シーンデータ、前記車両動作データ、および前記状況オントロジーデータを用いて、前記道路区間のセマンティック道路シーン記述を自動的に作成するステップと、
前記セマンティック道路シーン記述を、通信ネットワークを介して、前記道路区間に関連付けられた第2の車両に送信するステップと、
前記道路シーンデータに基づいて、静的道路物体を検出するステップと、
検出された前記静的道路物体に基づいて、前記道路区間上の車線を決定するステップと、
前記道路シーンデータに基づいて、動的道路物体を検出するステップと、
車線情報と動的道路物体情報とに基づいて、車線レベルアクティビティ情報を決定するステップと、
前記車線情報と前記動的道路物体情報とに基づいて、車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
を含み、
車線レベル空間レイアウトをそれぞれの車線について決定する前記ステップは、
前記道路シーンデータに基づいて、各車線上の動的道路物体の数を決定するステップと、
各車線上の動的道路物体の数と前記第1の車両のセンサのセンサ範囲とに基づいて、各車線について車線レベル空間レイアウトを決定するステップと、
を含む方法。 - 前記道路区間に関連付けられた第2の車両は、前記道路区間に近接している車両である、
請求項1または2に記載の方法。 - 前記状況オントロジーデータは、道路シーン状況を記述するあらかじめ定義されたセマンティック用語を含む、
請求項1から3のいずれか1項に記載の方法。 - 前記道路区間上の車線を決定する前記ステップは、
前記道路区間に関連付けられた地図データを受信するステップと、
前記地図データと前記検出された静的道路物体とに基づいて、前記道路区間の車線を決定するステップと、
を含む、請求項1から4のいずれか1項に記載の方法。 - 前記道路区間に関連付けられた地域属性、明暗属性、気象属性、およびシーンレベルコンテキストのうちの少なくともいずれかを、前記道路シーンデータに基づいて決定するステップと、
前記道路区間に関連する路面状態を、前記気象属性および前記車両動作データに基づいて決定するステップと、
車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
を含み、
前記道路区間について生成される前記セマンティック道路シーン記述は、前記道路区間に関連付けられた、前記地域属性、前記明暗属性、前記気象属性、前記シーンレベルコンテキスト、前記路面状態、前記各車線についての車線レベルアクティビティ情報を、および前記各車線についての車線レベル空間レイアウトの少なくともいずれかを含む、
請求項1から5のいずれか1項に記載の方法。 - 前記道路区間に関連付けられた複数の車両のそれぞれから、複数の他のセマンティック道路シーン記述を受信するステップと、
前記他のセマンティック道路シーン記述のそれぞれについての態様に基づいて、前記複数の他のセマンティック道路シーン記述を調整するステップと、
調整された前記セマンティック道路シーン記述に基づいて、前記道路区間に関する外部状態を決定するステップと、
前記外部状態に基づいて、対話型ルーチンを実行するステップと、
をさらに含む、請求項1から6のいずれか1項に記載の方法。 - 前記他のセマンティック道路シーン記述のそれぞれについての態様は車線情報であり、
前記複数の他のセマンティック道路シーン記述を調整する前記ステップでは、前記他のセマンティック道路シーン記述のそれぞれに含まれる前記車線情報に基づいて前記複数の他のセマンティック道路シーン記述を調整する、
請求項7に記載の方法。 - 前記道路区間に関連付けられた地図データを受信するステップをさらに含み、
前記複数の他のセマンティック道路シーン記述を調整する前記ステップでは、前記他のセマンティック道路シーン記述のそれぞれに含まれる前記車線情報と前記地図データとに基づいて前記複数の他のセマンティック道路シーン記述を調整する、
請求項7または8に記載の方法。 - 前記対話型ルーチンを実行する前記ステップは、
前記外部状態に基づいて、ナビゲーションガイダンスを生成するステップと、
前記ナビゲーションガイダンスを、前記第1の車両のユーザに提供するステップと、
を含む、請求項7から9のいずれか1項に記載の方法。 - 前記の車両は、前記第1の車両の無線通信範囲内に位置し、
前記通信ネットワークは、車車間通信または路車間通信である、
請求項1から10のいずれか1項に記載の方法。 - 前記道路シーンデータは、光学センサによって取得された画像データを含む、
請求項1から11のいずれか1項に記載の方法。 - コンピュータによって実行される方法であって、
道路区間上の第1の車両のセンサから、道路シーンデータを受信するステップと、
状況オントロジーデータを受信するステップと、
前記道路シーンデータに基づいて、静的道路物体を検出するステップと、
前記道路シーンデータに基づいて、動的道路物体を検出するステップと、
検出された前記静的道路物体に基づいて、前記道路区間上の車線を決定するステップと、
前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
前記動的道路物体の監視された動きおよび車線位置に基づいて、各車線についての車線レベルアクティビティ情報を作成するステップと、
前記状況オントロジーデータを用いて、各車線の車線レベルアクティビティ情報を含むセマンティック道路シーン記述を各車線について自動的に作成するステップと、
前記セマンティック道路シーン記述を、通信ネットワークを介して、前記道路区間に関連付けられた第2の車両に送信するステップと、
を含み、
前記動的道路物体の動きおよび車線位置を空間的および時間的に監視する前記ステップは、
検出された前記動的道路物体に一意の物体識別子を割り当てるステップと、
割り当てられた前記物体識別子に基づいて、前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
を含む方法。 - 前記道路シーンデータに基づいて、各車線上の動的道路物体の数を決定するステップと、
各車線上の動的道路物体の数と前記第1の車両のセンサのセンサ範囲とに基づいて、各車線について車線レベル空間レイアウトを決定するステップと、
をさらに含み、
前記道路区間について生成される前記セマンティック道路シーン記述は、前記道路区間に関連付けられた各車線の車線レベル空間レイアウトを含む、
請求項13に記載の方法。 - 請求項1から14のいずれか1項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
- プロセッサと、
請求項1から14のいずれか1項に記載の方法の各ステップを前記プロセッサに実行させるためのプログラムを格納したメモリと、
を備える、コンピュータシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/081,756 US9792821B1 (en) | 2016-03-25 | 2016-03-25 | Understanding road scene situation and semantic representation of road scene situation for reliable sharing |
US15/081,756 | 2016-03-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017174417A JP2017174417A (ja) | 2017-09-28 |
JP6414255B2 true JP6414255B2 (ja) | 2018-10-31 |
Family
ID=59898153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040721A Active JP6414255B2 (ja) | 2016-03-25 | 2017-03-03 | 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9792821B1 (ja) |
JP (1) | JP6414255B2 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6391507B2 (ja) * | 2015-03-18 | 2018-09-19 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置、ナビゲーションプログラム、及びナビゲーション方法 |
KR20180104089A (ko) * | 2016-01-29 | 2018-09-19 | 닛산 지도우샤 가부시키가이샤 | 차량의 주행 제어 방법 및 차량의 주행 제어 장치 |
US10184800B2 (en) * | 2016-05-17 | 2019-01-22 | Here Global B.V. | Sharing safety driving metrics for navigable segments |
US9747793B1 (en) * | 2016-08-21 | 2017-08-29 | International Business Machines Corporation | Transportation vehicle traffic management |
US11144592B2 (en) * | 2016-10-27 | 2021-10-12 | Ricoh Company, Ltd. | Extendable JSON configuration architecture |
US10297147B2 (en) * | 2016-12-06 | 2019-05-21 | Flir Commercial Systems, Inc. | Methods and apparatus for monitoring traffic data |
US10679669B2 (en) * | 2017-01-18 | 2020-06-09 | Microsoft Technology Licensing, Llc | Automatic narration of signal segment |
US10942519B2 (en) * | 2017-07-07 | 2021-03-09 | Autox, Inc. | System and method for navigating an autonomous driving vehicle |
JP7040936B2 (ja) * | 2017-12-26 | 2022-03-23 | 株式会社ゼンリンデータコム | 情報収集システムおよび情報収集装置 |
KR102595787B1 (ko) | 2018-02-27 | 2023-11-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US10867510B2 (en) * | 2018-04-05 | 2020-12-15 | Toyota Jidosha Kabushiki Kaisha | Real-time traffic monitoring with connected cars |
CN108564126B (zh) * | 2018-04-19 | 2022-04-19 | 郑州大学 | 一种融合语义控制的特定场景生成方法 |
US20190329770A1 (en) * | 2018-04-27 | 2019-10-31 | Honda Motor Co., Ltd. | System and method for lane level hazard prediction |
CN108764137A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 基于语义分割的车辆行驶车道定位方法 |
JP6750646B2 (ja) * | 2018-06-07 | 2020-09-02 | トヨタ自動車株式会社 | 車載装置、情報処理方法、および、情報処理プログラム |
CN110163405B (zh) * | 2018-07-23 | 2022-03-25 | 腾讯大地通途(北京)科技有限公司 | 通行时间确定方法、装置、终端及存储介质 |
KR102521834B1 (ko) | 2018-08-21 | 2023-04-17 | 삼성전자주식회사 | 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치 |
US11280625B2 (en) | 2018-09-07 | 2022-03-22 | Waymo Llc | Ambient lighting conditions for autonomous vehicles |
US10969456B2 (en) * | 2018-09-13 | 2021-04-06 | Toyota Jidosha Kabushiki Kaisha | Context system for improved understanding of vehicle-to-everything (V2X) communications by V2X receivers |
AT521607B1 (de) * | 2018-10-24 | 2020-03-15 | Avl List Gmbh | Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem |
US11263245B2 (en) * | 2018-10-30 | 2022-03-01 | Here Global B.V. | Method and apparatus for context based map data retrieval |
US11543262B2 (en) * | 2018-12-05 | 2023-01-03 | Toyota Motor North America, Inc. | Data analytics for smart vehicle fueling |
CN109635719B (zh) * | 2018-12-10 | 2023-11-17 | 宽凳(北京)科技有限公司 | 一种图像识别方法、装置和计算机可读存储介质 |
US10929665B2 (en) * | 2018-12-21 | 2021-02-23 | Samsung Electronics Co., Ltd. | System and method for providing dominant scene classification by semantic segmentation |
US11194847B2 (en) * | 2018-12-21 | 2021-12-07 | Here Global B.V. | Method, apparatus, and computer program product for building a high definition map from crowd sourced data |
US11409285B2 (en) * | 2018-12-27 | 2022-08-09 | Continental Automotive Systems, Inc. | Method for maneuver prediction of traffic participant |
CN111553374B (zh) * | 2019-02-12 | 2022-07-26 | 腾讯大地通途(北京)科技有限公司 | 道路场景划分方法、装置、电子设备及存储介质 |
CN111316288A (zh) * | 2019-02-28 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 道路结构信息的提取方法、无人机及自动驾驶系统 |
CN110332945B (zh) * | 2019-08-01 | 2021-06-04 | 北京眸星科技有限公司 | 基于交通道路标线视觉识别的车载导航方法和装置 |
US10885386B1 (en) | 2019-09-16 | 2021-01-05 | The Boeing Company | Systems and methods for automatically generating training image sets for an object |
US11113570B2 (en) | 2019-09-16 | 2021-09-07 | The Boeing Company | Systems and methods for automatically generating training image sets for an environment |
CN110599570B (zh) * | 2019-09-17 | 2022-09-20 | 武汉中海庭数据技术有限公司 | 基于众包数据开放场景下的地图生成方法及系统 |
KR20210044961A (ko) * | 2019-10-15 | 2021-04-26 | 현대자동차주식회사 | 자율주행차량의 차선변경 전략 결정 장치 및 그 방법 |
CN110827578B (zh) * | 2019-10-23 | 2022-05-10 | 江苏广宇协同科技发展研究院有限公司 | 一种基于车路协同的车辆防碰撞提示方法、装置及系统 |
US11640675B2 (en) | 2019-12-13 | 2023-05-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for interpreting traffic scenes |
US10909392B1 (en) * | 2019-12-27 | 2021-02-02 | Lyft, Inc. | Systems and methods for computer-based labeling of sensor data captured by a vehicle |
JP7444736B2 (ja) | 2019-12-30 | 2024-03-06 | 株式会社Subaru | 交通制御システム |
CN113128303A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 一种自动驾驶方法、相关设备及计算机可读存储介质 |
CN111582019B (zh) * | 2020-03-24 | 2023-10-03 | 北京掌行通信息技术有限公司 | 无人车车道级场景的判定方法、系统、终端及存储介质 |
CN111797183B (zh) * | 2020-05-29 | 2024-08-20 | 汉海信息技术(上海)有限公司 | 挖掘信息点的道路属性的方法、装置及电子设备 |
CN111739294B (zh) * | 2020-06-11 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 一种路况信息收集方法、装置、设备及存储介质 |
US11302181B2 (en) * | 2020-07-16 | 2022-04-12 | Toyota Motor North America, Inc. | Methods and systems for enhancing vehicle data access capabilities |
CN115705773A (zh) * | 2021-08-12 | 2023-02-17 | 华为技术有限公司 | 交互方法、交互装置 |
CN113947893A (zh) * | 2021-09-03 | 2022-01-18 | 网络通信与安全紫金山实验室 | 一种自动驾驶车辆行车场景还原方法及系统 |
US12026955B2 (en) * | 2021-09-29 | 2024-07-02 | Nvidia Corporation | Assigning obstacles to lanes using neural networks for autonomous machine applications |
WO2023239955A1 (en) * | 2022-06-09 | 2023-12-14 | AeroCine Ventures, Inc. | Localization processing service and observed scene reconstruction service |
CN115223119B (zh) * | 2022-06-15 | 2024-06-11 | 广州汽车集团股份有限公司 | 一种可行驶区域检测方法与系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7555165B2 (en) | 2003-11-13 | 2009-06-30 | Eastman Kodak Company | Method for semantic scene classification using camera metadata and content-based cues |
JP4350000B2 (ja) * | 2004-08-17 | 2009-10-21 | 富士通テン株式会社 | エンジン制御装置 |
DE602005017144D1 (de) | 2005-08-18 | 2009-11-26 | Honda Res Inst Europe Gmbh | Fahrerassistenzsystem |
JP4914592B2 (ja) * | 2005-09-05 | 2012-04-11 | クラリオン株式会社 | ナビゲーション装置 |
JP5200926B2 (ja) | 2008-12-26 | 2013-06-05 | トヨタ自動車株式会社 | 運転支援装置 |
JP5557472B2 (ja) * | 2009-05-21 | 2014-07-23 | 三菱電機株式会社 | 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム |
US20130031479A1 (en) * | 2011-07-25 | 2013-01-31 | Flowers Harriett T | Web-based video navigation, editing and augmenting apparatus, system and method |
JP2013073422A (ja) * | 2011-09-28 | 2013-04-22 | Daihatsu Motor Co Ltd | 携帯端末装置 |
JP2014029655A (ja) * | 2012-07-31 | 2014-02-13 | Jvc Kenwood Corp | 渋滞情報提供システム、渋滞情報提供装置、渋滞情報提供方法、及び、プログラム |
US9461876B2 (en) * | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
WO2014072767A1 (en) * | 2012-11-06 | 2014-05-15 | Nokia Corporation | Apparatus and method for displaying image-based representations of geographical locations in an electronic text |
FR3024699B1 (fr) * | 2014-08-06 | 2016-07-22 | Renault Sa | Systeme d’aide a la conduite et procede mis en oeuvre dans un tel systeme |
-
2016
- 2016-03-25 US US15/081,756 patent/US9792821B1/en active Active
-
2017
- 2017-03-03 JP JP2017040721A patent/JP6414255B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017174417A (ja) | 2017-09-28 |
US9792821B1 (en) | 2017-10-17 |
US20170278402A1 (en) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6414255B2 (ja) | 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 | |
US11257377B1 (en) | System for identifying high risk parking lots | |
US10867510B2 (en) | Real-time traffic monitoring with connected cars | |
EP3451312B1 (en) | Providing a confidence-based road event message | |
EP3441724B1 (en) | Method and apparatus for detecting false positive slippery road reports using mapping data | |
US10859396B2 (en) | Warning polygons for weather from vehicle sensor data | |
JP6468563B2 (ja) | 運転サポート | |
US20220013014A1 (en) | Method, apparatus, and system for detecting lane departure events based on probe data and sensor data | |
CN111301390A (zh) | 基于传感器数据更新自动驾驶车辆的地图数据 | |
US11663830B2 (en) | Node-based near-miss detection | |
US10783384B2 (en) | Object detection using shadows | |
US20210404818A1 (en) | Method, apparatus, and system for providing hybrid traffic incident identification for autonomous driving | |
US20230196855A1 (en) | Detecting and Mitigating Local Individual Driver Anomalous Behavior | |
US11227420B2 (en) | Hazard warning polygons constrained based on end-use device | |
US20230252084A1 (en) | Vehicle scenario mining for machine learning models | |
US20230417559A1 (en) | Method, apparatus, and system for detecting road obstruction intensity for routing or mapping | |
US20230222905A1 (en) | Method, apparatus, and system for traffic light signal phase and timing verification using sensor data and probe data | |
US20230298362A1 (en) | Method, apparatus, and system for estimating a lane width | |
US20230408276A1 (en) | Methods and apparatuses for late lane change prediction and mitigation | |
US20240221498A1 (en) | Method and apparatus for suppressing a false positive roadwork zone | |
US20230085192A1 (en) | Systems and methods for traffic control | |
US20240125617A1 (en) | Aggregation of Data Representing Geographical Areas | |
US20240124009A1 (en) | Optimizing alerts for vehicles experiencing stuck conditions | |
CN116534047A (zh) | 用于自主运载工具的方法、系统和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6414255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |