JP6935948B2 - 自律走行車両を学習、テスティング及び検証をするために仮想走行環境に対するドメイン適応された交通シナリオを生成するための方法及び装置 - Google Patents

自律走行車両を学習、テスティング及び検証をするために仮想走行環境に対するドメイン適応された交通シナリオを生成するための方法及び装置 Download PDF

Info

Publication number
JP6935948B2
JP6935948B2 JP2020009531A JP2020009531A JP6935948B2 JP 6935948 B2 JP6935948 B2 JP 6935948B2 JP 2020009531 A JP2020009531 A JP 2020009531A JP 2020009531 A JP2020009531 A JP 2020009531A JP 6935948 B2 JP6935948 B2 JP 6935948B2
Authority
JP
Japan
Prior art keywords
traffic
scenario
data
vehicle
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020009531A
Other languages
English (en)
Other versions
JP2020123351A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東洙 申
東洙 申
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
明春 李
明春 李
炯樹 李
炯樹 李
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020123351A publication Critical patent/JP2020123351A/ja
Application granted granted Critical
Publication of JP6935948B2 publication Critical patent/JP6935948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、自律走行車両の学習のための仮想走行環境に関し；より詳しくは、前記自律走行車両を学習、テスティング及び検証するための仮想走行環境における交通シナリオを生成する方法及び装置に関する。
現代の車両、特に自動車は、自律走行と、ブラインドスポットモニター、自動駐車、及び自動ナビゲーションのような走行補助システムをますます提供している。しかしながら、自律走行及び自律補助システムをテスティングし、検証することは非常に複雑であり、長期的な道路走行テスティング（例えば、数百万時間とマイル）が必要であり得る。自律走行及び走行補助システムのアップデートは再検証を必要とし、車種によって個別の検証が求められることを踏まえると、テスティングや検証の努力が倍になり得る。
また、自律走行自動車の自律走行システム及び走行補助システムを学習させるための学習データを十分に確保することにも困難がある。
したがって、実際の走行状況を仮想化した仮想走行環境で走行する自律走行自動車の自律走行システム及び走行補助システムを学習、テスティング、及び検証する方法が提案されている。
仮想走行環境における自律走行自動車の自律走行システム及び走行補助システムを学習、テスティング、及び検証をするために、仮想走行環境における周辺情報についてのシナリオが提供されるべきである。
しかし、従来の仮想走行環境において、特定の交通状況に対するシナリオのみを提供してくれるので、実際の走行環境のような多様で精巧なシナリオを提供できないという問題点がある。
本発明は、前述した問題点を全て解決することを目的とする。
本発明は、仮想走行環境において、実際の走行環境のような多様で精巧なシナリオを生成できるようにすることを他の目的とする。
本発明は、データ増強によって仮想走行環境において多様で精巧な交通シナリオを生成できるようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する方法において、（ａ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、交通シナリオ生成装置が、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両（ｅｇｏ−ｖｅｈｉｃｌｅ）に対する車両状態情報を抽出させるプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンス（ｓｅｑｕｅｎｃｅ）による順次交通ログ（ｌｏｇ）を生成するプロセスを遂行する段階；及び（ｂ）前記交通シナリオ生成装置が、前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピング（ｍａｐｐｉｎｇ）するプロセスを遂行する段階；を含み、前記以前交通データは、映像基盤（Ｖｉｓｉｏｎ−ｂａｓｅｄ）ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）により少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散（ｄｉｓｃｒｅｔｅ）交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次（ｓｅｑｕｅｎｔｉａｌ）交通データに対応するメタデータであることを特徴とする方法が提供される。
一実施例として、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ）を含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記交通シナリオ生成装置は、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強される。
一実施例として、前記交通シナリオ生成装置は、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワード（ｒｅｗａｒｄ）を利用した方策勾配（ｐｏｌｉｃｙ ｇｒａｄｉｅｎｔ）によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行する。
一実施例として、前記（ｂ）段階で、前記交通シナリオが有効でないものと決定されたら、前記交通シナリオ生成装置は、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させる。
一実施例として、前記交通シナリオ生成装置は、順次データから前記クリティカルイベントを抽出するか、クリティカルイベントデータベースから前記クリティカルイベントを抽出する。
一実施例として、前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含む。
一実施例として、前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）と、車道検出と、車線検出と、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測と、相対速度予測とのうちの少なくとも一つを遂行する。
一実施例として、前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含む。
本発明の他の態様によれば、少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する交通シナリオ生成装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両に対する車両状態情報を抽出するようにするプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンス（ｓｅｑｕｅｎｃｅ）による順次交通ログを生成するプロセスを遂行するプロセス、及び（ＩＩ）前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピングするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含み、前記以前交通データは、映像基盤ＡＤＡＳにより少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次交通データに対応するメタデータであることを特徴とする交通シナリオ生成装置が提供される。
一実施例として、ＬＳＴＭを含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記プロセッサは、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強される。
一実施例として、前記プロセッサは、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワードを利用した方策勾配によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行する。
一実施例として、前記（ＩＩ）プロセスで、前記交通シナリオが有効でないものと決定されたら、前記プロセッサは、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させる。
一実施例として、前記プロセッサは、順次データから前記クリティカルイベントを抽出するか、クリティカルイベントデータベースから前記クリティカルイベントを抽出する。
一実施例として、前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含む。
一実施例として、前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）と、車道検出と、車線検出と、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測と、相対速度予測とのうちの少なくとも一つを遂行する。
一実施例として、前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含む。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
本発明によれば、実際の走行データを基盤に仮想走行環境での精巧な交通シナリオを生成できる効果がある。
また、本発明によれば、特定交通状況に対する離散及び順次データの増強により仮想走行環境で多様な交通シナリオを生成できる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、本発明の一実施例に係る仮想走行環境での少なくとも一つの交通シナリオを生成する交通シナリオ生成装置を概略的に示した図面である。 図２は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成するシナリオ生成方法を概略的に示した図面である。 図３は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成する前記方法において少なくとも一つの条件を追加するプロセスを概略的に示した図面である。 図４は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成する前記方法においてシナリオ増強ネットワークを学習するプロセスを概略的に示した図面である。 図５は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成する前記方法においてシナリオ増強ネットワークを学習するプロセスを概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
本願に提供されている本発明の題名及び要約は、便宜のためのものであり、実施例の範囲を限定したり、実施例の意味を解析したりするものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
図１は、本発明の一実施例に係る仮想走行環境での少なくとも一つの交通シナリオを生成する交通シナリオ生成装置を概略的に示した図面である。図１を参照すれば、前記交通シナリオ生成装置１００は、前記仮想走行環境での前記交通シナリオを生成するためのインストラクションを格納するメモリ１１０及び前記メモリ１１０に格納された前記インストラクションに対応して仮想走行環境での前記交通シナリオを生成するプロセスを遂行するプロセッサ１２０を含むことができる。
具体的に、前記交通シナリオ生成装置１００は、典型的にコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、または、その他の既存のコンピューティング構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、コンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させるインストラクション）との組み合わせを利用して、希望するシステム性能を達成するものであり得る。
前記コンピューティング装置の前記プロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などを含み得る。また、前記コンピューティング装置は、オペレーティングシステム及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、前記コンピューティング装置１００が本発明を行うためのミディアム（ｍｅｄｉｕｍ）、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
このように構成された本発明の一実施例に係る交通シナリオ生成装置１００を利用して前記仮想の走行環境での前記交通シナリオを生成する方法を、図２を参照して説明する。
まず、前記交通シナリオ生成装置１００は、以前交通データと詳細交通データとを取得するか、他の装置をもって取得するよう支援することができる。
その際、前記以前交通データは、車両事故のように実際の走行環境において取得しにくいデータであり得、現在のコンピュータ映像技術基盤のＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を活用して、少なくとも一つの走行イベントを含む少なくとも一つの既存走行映像から抽出されたメタデータであり得る。一方、前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）と、車道検出と、車線検出と、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測と、相対速度予測とのうちの少なくとも一つを遂行することができる。
そして、前記詳細交通データは、実際の走行環境で走行される車両の一つ以上のセンサ、例えばライダ（ＬｉＤＡＲ）、レーダ（Ｒａｄａｒ）、カメラ、ＧＰＳ装置などから収集されたメタデータであり得る。
一方、前記以前交通データは、離散（ｄｉｓｃｒｅｔｅ）交通データであり得、前記詳細交通データは順次（ｓｅｑｕｅｎｔｉａｌ）交通データであり得る。
次に、前記交通シナリオ生成装置１００は、前記以前交通データ及び前記詳細交通データを参照して走行データを取得することができる。一例として、前記走行データは、前記車両の入力センサに対応する、前記ＧＰＳ装置、前記ライダ、前記レーダ、前記カメラ等から取得した情報のような、前記車両に関連する前記走行データであり得る。
そして、前記交通シナリオ生成装置１００は、前記走行データを状況分析器１３０に入力して、前記状況分析器１３０をもって、前記走行データから走行環境情報を抽出するようにするプロセス、及び、前記走行データを車両情報抽出器１４０に入力して、前記車両情報抽出器１４０をもって、前記走行データから自車両（ｅｇｏ−ｖｅｈｉｃｌｅ）に対する車両状態情報を抽出するようにするプロセスを遂行することができる。その際、通常の技術者に広く知られているように、前記自車両は対象車両、例えば本発明に係る前記仮想走行環境において走行される車両を意味し得る。
一例として、前記状況分析機１３０は、物体検出情報、距離予測情報、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）情報、車道検出情報、車線検出情報、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測情報、相対速度予測情報等の中から少なくとも一部を前記走行データから取得することができる。
また、前記車両情報抽出器１４０は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを抽出することができる。
次に、前記交通シナリオ生成装置１００は、前記状況分析器１３０からの前記走行環境情報と、前記車両情報抽出器１４０からの前記車両状態情報とを参照して、前記走行イベントを含む走行シークエンス（ｓｅｑｕｅｎｃｅ）による順次交通ログ（ｌｏｇ）を生成することができる。
一例として、前記交通シナリオ生成装置１００は、前記状況分析器１３０によって取得された前記走行環境情報を前記車両情報抽出器１４０から取得された前記車両状態情報にマッチングさせることにより、イメージフレームを生成することができる。この際、前記イメージフレームは、離散及び順次データであり得、これは、トンネルまたは橋梁進入イベント、車線変更イベント、トンネルまたは橋梁通過イベント等の特定イベントが発生する前後の前記走行データであり得る。
そして、前記交通シナリオ生成装置１００は、前記離散及び順次データに含まれた前記走行イベントを後処理（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）することにより、離散的及び順次的二次加工データである一つ以上の順次交通ログを生成することができる。
この際、前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含み得る。
その後、前記交通シナリオ生成装置１００は、前記順次交通ログを順次メタデータに変換することができる。
つまり、前記交通シナリオ生成装置１００は、少なくとも一つの順次メタコンバータをもって、前記順次交通ログに含まれた、前記状況分析器１３０及び前記車両情報抽出器１４０によって抽出されたデータをエンコードするようにして、少なくとも一つの交通シミュレータが前記エンコードされたデータを識別するようにすることができる。
次に、前記交通シナリオ生成装置１００は、前記順次交通ログをシナリオ増強ネットワーク１５０に入力して、前記シナリオ増強ネットワーク１５０をもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセスを遂行することができる。
一例として、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ
ｍｅｍｏｒｙ）を含む生成器１５１が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器１５１の状態として設定した状態で、前記シナリオ増強ネットワーク１５０は、前記生成器１５１によって一つ以上の予測交通ログをそれに対応する次の動作として生成することにより前記生成器１５１によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログは、前記イベント走行環境に対応するように増強され得る。
図３を参照すれば、前記シナリオ増強ネットワーク１５０は、少なくとも一つのレイテントコード（ｌａｔｅｎｔ ｃｏｄｅ）ｚと少なくとも一つのクリティカルイベントｙとを前記生成器１５１に入力することにより、前記生成器１５１をもって、前記初期交通ログに対応する前記予測交通ログを生成するようにして、前記予測交通ログが前記走行環境内の前記クリティカルイベントに対応するようにすることができる。
この際、順次データから前記クリティカルイベントが抽出され得、または多様なクリティカルイベントを格納するクリティカルイベントデータベース１６０から特定クリティカルイベントが検索され得る。
一例として、前記クリティカルイベントは、緊急状況での急停車、交差点での交通信号変化などのような走行イベントのうちの特定走行イベントであり得、前記交差点で青信号が赤信号に変更されるのと同じく、多様な条件が設定され得、このようなクリティカルイベント及び前記様々な条件によって、前記生成器１５１は、前記実際の走行状況のように様々な交通シナリオを生成することができる。
一方で、前記シナリオ増強ネットワーク１５０は、前記交通シナリオを生成する前記生成器１５１と、前記交通シナリオを評価する判別器１５２とが互いに並列に、競争的に学習して、前記生成器が前記判別器を騙すことができるほどに精巧なデータを生成するようにする構成を有することができる。
前記シナリオ増強ネットワーク１５０は、少なくとも一つの状態と少なくとも一つの動作とで構成され、前記離散データをモデリングするのに容易であり、リワード（ｒｅｗａｒｄ）を基盤にして部分的に確率的方策（ｓｔｏｃｈａｓｔｉｃ ｐｏｌｉｃｙ）を取得することができる方策基盤強化学習技法である方策勾配（ｐｏｌｉｃｙ ｇｒａｄｉｅｎｔ）を利用することにより、前記生成器１５１を学習させることができる。また、方策勾配技法のうちのモンテカルロ方策勾配（Ｍｏｎｔｅ Ｃａｒｌｏ ｐｏｌｉｃｙ ｇｒａｄｉｅｎｔ）が利用され得る。この際、前記モンテカル方策勾配は、（ｉ）現在の状態から次の状態を予測できるネットワークの一つであるロールアウト方策、及び（ｉｉ）効率的非全面（ｎｏｎ−ｅｘｈａｕｓｔｉｖｅ）探索アルゴリズムの一つであるＭＣＴＳ（Ｍｏｎｔｅ Ｃａｒｌｏ Ｔｒｅｅ Ｓｅａｒｃｈ）を用いて、前記確率的方策を生成する学習手法であり得る。一例として、前記状態は、トークン（ｔｏｋｅｎ）として設定され得、前記動作は、次のトークンを付与する行動として設定され得、エージェント（ａｇｅｎｔ）は、前記生成器１５１として設定され得る。前記判別器１５２によって決定されるラベルは、前記リワードとしてモデリングされることにより、前記生成器１５１を学習させ得る。この際、前記生成器１５１は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内、勾配消失（ｖａｎｉｓｈｉｎｇ ｇｒａｄｉｅｎｔ）問題のない少なくとも一つのＬＳＴＭを利用することができ、前記判別器１５２は、ＣＮＮを利用することができる。
つまり、図４及び図５を参照すれば、前記シナリオ増強ネットワーク１５０は、前記生成器１５１をもって生成された前記予測交通ログ及び前記順次交通ログを前記判別器１５２に入力することにより、前記判別器１５２をもって、これの入力データが実際のデータであるか偽のデータであるかを決定させることができ、前記判別器１５２の一つ以上の出力を利用して、前記判別器１５２を学習させて前記判別器１５２が前記順次交通ログと、前記予測交通ログとを区別するようにすることができる。
また、前記判別器１５２を学習させた後、前記ＬＳＴＭを含む生成器１５１が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器１５１の状態として設定した状態で、前記シナリオ増強ネットワーク１５０は、前記生成器１５１によって、前記予測交通ログをそれに対応する次の動作として生成し、前記順次交通ログと、前記予測交通ログと、前記条件とを前記判別器１５２に入力することにより、前記判別器１５２をもって、前記予測交通ログが前記順次交通ログ及び前記条件に合わせて生成されたか否かを示す、少なくとも一つのリワードを出力するようにすることができる。そして、前記シナリオ増強ネットワーク１５０は、前記リワードを利用する前記方策勾配を参照して前記生成器１５１を学習させることができる。
次に、前記交通シナリオ生成装置１００が、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセスを遂行することができる。
この際、前記交通シナリオ生成装置１００は、最小限の予め設定された交通規則情報と、前記交通シナリオとを比較して、前記交通シナリオが有効であるかどうかを決定することができる。一例として、前記交通シナリオが高速道路進入イベントを含み、前記交通シナリオ内の全てのイベントが前記高速道路上の走行中に発生すると想定し、交通法規データベースを参照した場合、前記高速道路上で交通信号が許可されない前記交通規則情報が存在する場合、前記交通信号に係るイベントは有効でないものであり得る。
そして、前記生成された交通シナリオが有効であると決定されると、前記交通シナリオ生成装置１００が前記交通シナリオを前記仮想走行環境の前記交通シミュレータにマッチングさせることができる。
一方で、前記交通シナリオが有効ではないことが決定されると、前記交通シナリオ生成装置１００は、前記のような検証プロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成するプロセスを遂行し、前記シナリオ増強ネットワーク１５０をもって、前記変更された条件を利用して前記順次交通ログを増強させることで新たな交通シナリオを生成することができる。
前記で説明したように、本発明は、特定交通状況に対する静的データと前記順次データとを生成し、前記仮想走行環境内の周辺情報であるターゲット車両及び歩行者等に対する前記交通シナリオを生成し、前記生成された交通シナリオを前記仮想走行環境の前記交通シミュレータにマッピング（ｍａｐｐｉｎｇ）し、仮想走行の前記生成された交通シナリオを活用することができるようになる。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (16)

  1. 少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する方法において、
    （ａ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、交通シナリオ生成装置が、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両に対する車両状態情報を抽出させるプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンスによる順次交通ログを生成するプロセスを遂行する段階；及び
    （ｂ）前記交通シナリオ生成装置が、前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通規則情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピングするプロセスを遂行する段階；
    を含み、前記以前交通データは、映像基盤ＡＤＡＳにより少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次交通データに対応するメタデータであり、前記クリティカルイベントは、前記走行イベントのうち、事故発生の危険があった特定の走行イベントであることを特徴とする方法。
  2. ＬＳＴＭを含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記交通シナリオ生成装置は、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強されることを特徴とする請求項１に記載の方法。
  3. 前記交通シナリオ生成装置は、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワードを利用した方策勾配によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行することを特徴とする請求項２に記載の方法。
  4. 前記（ｂ）段階で、
    前記交通シナリオが有効でないものと決定されたら、前記交通シナリオ生成装置は、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させることを特徴とする請求項１に記載の方法。
  5. 前記交通シナリオ生成装置は、前記走行環境情報を前記車両状態情報にマッチングさせることによって離散及び順次データを生成し、前記離散及び順次データに含まれた前記走行イベントを後処理することにより前記順次交通ログを生成することを特徴とする請求項１に記載の方法。
  6. 前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含むことを特徴とする請求項１に記載の方法。
  7. 前記映像基盤ＡＤＡＳは、前記既存の走行映像を利用する、物体検出と、距離予測と、ＴＳＲと、車道検出と、車線検出と、ＴＴＣ予測と、相対速度予測とのうちの少なくとも一つを遂行することを特徴とする請求項１に記載の方法。
  8. 前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含むことを特徴とする請求項１に記載の方法。
  9. 少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する交通シナリオ生成装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両に対する車両状態情報を抽出するようにするプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンスによる順次交通ログを生成するプロセスを遂行するプロセス、及び（ＩＩ）前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通規則情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピングするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含み、前記以前交通データは、映像基盤ＡＤＡＳにより少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次交通データに対応するメタデータであり、前記クリティカルイベントは、前記走行イベントのうち、事故発生の危険があった特定の走行イベントであることを特徴とする交通シナリオ生成装置。
  10. ＬＳＴＭを含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記プロセッサは、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強されることを特徴とする請求項９に記載の交通シナリオ生成装置。
  11. 前記プロセッサは、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワードを利用した方策勾配によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行することを特徴とする請求項１０に記載の交通シナリオ生成装置。
  12. 前記（ＩＩ）プロセスで、
    前記交通シナリオが有効でないものと決定されたら、前記プロセッサは、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させることを特徴とする請求項９に記載の交通シナリオ生成装置。
  13. 前記プロセッサは、前記走行環境情報を前記車両状態情報にマッチングさせることによって離散及び順次データを生成し、前記離散及び順次データに含まれた前記走行イベントを後処理することにより前記順次交通ログを生成することを特徴とする請求項９に記載の交通シナリオ生成装置。
  14. 前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含むことを特徴とする請求項９に記載の交通シナリオ生成装置。
  15. 前記映像基盤ＡＤＡＳは、前記既存の走行映像を利用する、物体検出と、距離予測と、ＴＳＲと、車道検出と、車線検出と、ＴＴＣ予測と、相対速度予測とのうちの少なくとも一つを遂行することを特徴とする請求項９に記載の交通シナリオ生成装置。
  16. 前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含むことを特徴とする請求項９に記載の交通シナリオ生成装置。
JP2020009531A 2019-01-30 2020-01-23 自律走行車両を学習、テスティング及び検証をするために仮想走行環境に対するドメイン適応された交通シナリオを生成するための方法及び装置 Active JP6935948B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798705P 2019-01-30 2019-01-30
US62/798,705 2019-01-30
US16/731,066 2019-12-31
US16/731,066 US10636295B1 (en) 2019-01-30 2019-12-31 Method and device for creating traffic scenario with domain adaptation on virtual driving environment for testing, validating, and training autonomous vehicle

Publications (2)

Publication Number Publication Date
JP2020123351A JP2020123351A (ja) 2020-08-13
JP6935948B2 true JP6935948B2 (ja) 2021-09-15

Family

ID=70332697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009531A Active JP6935948B2 (ja) 2019-01-30 2020-01-23 自律走行車両を学習、テスティング及び検証をするために仮想走行環境に対するドメイン適応された交通シナリオを生成するための方法及び装置

Country Status (5)

Country Link
US (1) US10636295B1 (ja)
EP (1) EP3690754A1 (ja)
JP (1) JP6935948B2 (ja)
KR (1) KR102440938B1 (ja)
CN (1) CN111506980B (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT521607B1 (de) * 2018-10-24 2020-03-15 Avl List Gmbh Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
JP7192709B2 (ja) * 2019-08-09 2022-12-20 トヨタ自動車株式会社 車両遠隔指示訓練装置
KR102306085B1 (ko) * 2019-10-28 2021-09-28 고려대학교 세종산학협력단 도로교통 운행환경정보 기반 교통사고 영상을 활용한 자율주행 테스트 시나리오 도출 방법 및 절차
CN111932869A (zh) * 2020-06-25 2020-11-13 厦门迅优通信科技有限公司 一种基于交通流粒子性特征的三参数分析法
CN111983934B (zh) * 2020-06-28 2021-06-01 中国科学院软件研究所 一种无人车仿真测试用例生成方法及系统
CN111967124A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种用于智能汽车重组场景通用扩增的生成方法
CN111599181B (zh) * 2020-07-22 2020-10-27 中汽院汽车技术有限公司 用于智能驾驶系统测试的典型自然驾驶场景识别提取方法
KR20220039903A (ko) * 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
US11755469B2 (en) * 2020-09-24 2023-09-12 Argo AI, LLC System for executing structured tests across a fleet of autonomous vehicles
CN112053433A (zh) * 2020-09-30 2020-12-08 中国汽车技术研究中心有限公司 民航机场动态场景的构建方法及机场特种车辆培训方法
CN112462759B (zh) * 2020-11-12 2024-02-27 浙江吉利控股集团有限公司 规控算法的评估方法、系统及计算机存储介质
CN114694449B (zh) * 2020-12-25 2023-04-18 华为技术有限公司 一种生成车辆交通场景的方法和装置、训练方法和装置
US20240005197A1 (en) * 2020-12-28 2024-01-04 Korea Electronics Technology Institute Method and system for generating ai training hierarchical dataset including data acquisition context information
DE102021201177A1 (de) 2021-02-09 2022-08-11 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zur Generierung von Fahrstrecken für ein automatisiertes Fahrsystem
DE102021104077B3 (de) 2021-02-22 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur automatisierten Generierung von Verkehrsdaten
CN113139644B (zh) * 2021-03-24 2024-02-09 北京科技大学顺德研究生院 一种基于深度蒙特卡洛树搜索的信源导航方法及装置
JP2022157321A (ja) * 2021-03-31 2022-10-14 トヨタ自動車株式会社 交通管制システム、交通管制方法及びプログラム
KR102568969B1 (ko) 2021-03-31 2023-08-23 주식회사 한국디지털트윈연구소 디지털트윈 기술을 이용한 자율주행시험용 주행환경 시나리오 발생장치
CN113254336B (zh) * 2021-05-24 2022-11-08 公安部道路交通安全研究中心 自动驾驶汽车交通法规符合性仿真测试方法及系统
CN116761998A (zh) * 2021-05-28 2023-09-15 深圳市大疆创新科技有限公司 一种车辆系统的安全测试方法和测试用车辆
DE102021206737A1 (de) 2021-06-29 2022-12-29 Psa Automobiles Sa Auslegen eines Automatisierungsalgorithmus eines Fahrzeugs
CN113361144B (zh) * 2021-07-15 2022-05-20 中交第二公路勘察设计研究院有限公司 一种基于bim的道路驾驶模拟环境建立方法
CN113642108B (zh) * 2021-08-11 2023-11-10 北京航空航天大学 一种无人车十字路口通行场景关键测试案例生成方法
CN113836701A (zh) * 2021-09-03 2021-12-24 东风小康汽车有限公司重庆分公司 一种仿真场景构建方法、装置、计算机设备和存储介质
CN113532888B (zh) * 2021-09-17 2022-03-18 北京智能车联产业创新中心有限公司 纯视觉自动驾驶车辆测试方法及装置
KR102580532B1 (ko) 2021-11-22 2023-09-20 오토아이티(주) 자율주행차량의 성능 검증을 위한 실내 테스트 시스템
KR20230075300A (ko) 2021-11-22 2023-05-31 오토아이티(주) 자율주행차량을 위한 실내 학습 시스템
CN114913620A (zh) * 2022-05-18 2022-08-16 一汽解放汽车有限公司 数据提取方法、装置、计算机设备和存储介质
US20240096232A1 (en) * 2022-08-31 2024-03-21 Zoox, Inc. Safety framework with calibration error injection
KR20240043971A (ko) 2022-09-28 2024-04-04 (주)이노시뮬레이션 육상 이동체 자율 주행 시뮬레이션을 위한 가상 환경 자동 생성 장치 및 이의 실행 방법
KR102598898B1 (ko) * 2022-10-07 2023-11-06 주식회사 자동차공학연구소 가상 도로주행 공간의 설계 방법 및 가상 도로주행 공간의 설계 시스템
KR102489534B1 (ko) * 2022-11-14 2023-01-18 주식회사 마키나락스 수집이 필요한 정보의 영역을 예측하는 방법
KR102579590B1 (ko) * 2022-12-28 2023-09-18 도로교통공단 도로교통법 기반 자율주행차 운전능력 평가시나리오 생성 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3316919B2 (ja) * 1993-03-09 2002-08-19 三菱電機株式会社 道路交通管制シミュレーション装置
JP3475240B2 (ja) * 2000-11-22 2003-12-08 国土交通省国土技術政策総合研究所長 道路交通評価システム
JP3472818B2 (ja) * 2000-11-24 2003-12-02 国土交通省国土技術政策総合研究所長 交通シミュレーション方法
JP2010002714A (ja) * 2008-06-20 2010-01-07 Toyota Motor Corp シミュレータ装置、運転課題提供方法
US9240124B2 (en) * 2012-08-08 2016-01-19 Hitachi, Ltd. Traffic-volume prediction device and method
US8874301B1 (en) * 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
CN105718065B (zh) * 2016-01-27 2018-08-21 北京交通大学 车路协同环境下的交互式视景仿真系统
CN105807922B (zh) * 2016-03-07 2018-10-02 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及系统
KR101902824B1 (ko) * 2016-04-12 2018-10-02 자동차부품연구원 V2x 통신 기반 드라이빙 통합 시뮬레이션 장치
KR101850038B1 (ko) * 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR102057532B1 (ko) * 2016-10-12 2019-12-20 한국전자통신연구원 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법
CN106777747A (zh) * 2016-12-29 2017-05-31 广西航程威特科技有限公司 一种三维交通仿真模拟系统
US10118628B2 (en) * 2017-02-21 2018-11-06 Allstate Insurance Company Data processing system for guidance, control, and testing autonomous vehicle features and driver response
US10229590B2 (en) * 2017-08-14 2019-03-12 GM Global Technology Operations LLC System and method for improved obstable awareness in using a V2X communications system
CN108091203A (zh) * 2017-12-07 2018-05-29 中国航空工业集团公司西安航空计算技术研究所 一种基于虚拟现实技术的应激交通场景驾驶培训系统
EP3543985A1 (de) * 2018-03-21 2019-09-25 dSPACE digital signal processing and control engineering GmbH Simulieren verschiedener verkehrssituationen für ein testfahrzeug
US11994860B2 (en) * 2018-06-15 2024-05-28 Allstate Insurance Company Processing system for evaluating autonomous vehicle control systems through continuous learning

Also Published As

Publication number Publication date
KR20200094650A (ko) 2020-08-07
CN111506980A (zh) 2020-08-07
CN111506980B (zh) 2023-09-08
KR102440938B1 (ko) 2022-09-06
EP3690754A1 (en) 2020-08-05
US10636295B1 (en) 2020-04-28
JP2020123351A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
JP6935948B2 (ja) 自律走行車両を学習、テスティング及び検証をするために仮想走行環境に対するドメイン適応された交通シナリオを生成するための方法及び装置
JP6916552B2 (ja) 走行途中に発生する走行シナリオを検出して、運転者の走行習慣を評価するための情報の提供する方法及び装置
US10919543B2 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
CN110597086A (zh) 仿真场景生成方法和无人驾驶系统测试方法
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
CN112703459A (zh) 对抗场景的迭代生成
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
CN107310550A (zh) 道路交通工具行驶控制方法和装置
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
CN112163446B (zh) 一种障碍物检测方法、装置、电子设备及存储介质
US20220198107A1 (en) Simulations for evaluating driving behaviors of autonomous vehicles
CN110389582A (zh) 利用多个线索跟踪对象
US20230331250A1 (en) Method and apparatus for configuring deep learning algorithm for autonomous driving
CN115165398A (zh) 车辆的行驶功能测试方法、装置、计算设备及介质
CN114444208A (zh) 自动驾驶系统的可靠性确定方法、装置、设备及介质
KR20200082672A (ko) 게임서버 연계 자율주행 시뮬레이션 방법
KR102197251B1 (ko) Rlr 판별 및 사고 방지를 위한 교통 신호 제어 방법 및 장치
KR20230143961A (ko) 시뮬레이션된 상태들에 기초한 차량 행동 선택
Li A scenario-based development framework for autonomous driving
US20230294736A1 (en) Offline Tracking System for Autonomous Vehicle Control Systems
US20220172606A1 (en) Systems and Methods for Extracting Data From Autonomous Vehicles
CN111077893A (zh) 一种基于多灭点的导航方法、电子设备和存储介质
US20230185993A1 (en) Configurable simulation test scenarios for autonomous vehicles
US20230195958A1 (en) Generating simulations based on real-world scenarios

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6935948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150