JP7442227B2 - 仮想環境における自動運転車両のシミュレーション方法 - Google Patents

仮想環境における自動運転車両のシミュレーション方法 Download PDF

Info

Publication number
JP7442227B2
JP7442227B2 JP2022516018A JP2022516018A JP7442227B2 JP 7442227 B2 JP7442227 B2 JP 7442227B2 JP 2022516018 A JP2022516018 A JP 2022516018A JP 2022516018 A JP2022516018 A JP 2022516018A JP 7442227 B2 JP7442227 B2 JP 7442227B2
Authority
JP
Japan
Prior art keywords
information
simulation
server
vehicle
sensor unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022516018A
Other languages
English (en)
Other versions
JP2022548015A (ja
Inventor
ジュン、ジウォン
ホン、ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MORAI
Original Assignee
MORAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MORAI filed Critical MORAI
Publication of JP2022548015A publication Critical patent/JP2022548015A/ja
Application granted granted Critical
Publication of JP7442227B2 publication Critical patent/JP7442227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/02CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4411Configuring for operating with peripheral devices; Loading of device drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、仮想環境における自動運転車両(autonomous driving vehicle)のシミュレーション方法に関し、より詳細には、自動運転車両の制御アルゴリズムを検証するための仮想環境である自動運転車両のシミュレータ上において、効率的なデータ処理によりリソースを最適化するように維持するシミュレーション方法に関する。
自動運転車両は、ドライバーが直接的に運転操作を行わなくとも走行できる自動車である。このような自動運転車両は、一般的に2次元/3次元の地図情報に基づいて走行経路を追従し、走行中に周辺の事物をリアルタイムで測定して、変数の発生時に前記走行経路を変更できるようにする。
また、前記自動運転車両は、周辺の地形地物から認知されるデータと、これを処理する走行制御アルゴリズムにより自動運転が行われ、前記認知の場合には、車両に搭載されたレーダー(Radar)、ライダー(Lidar)、GPS(Global Positioning System)及びカメラ(Camera)などのようなセンサを用いて、道路上に存在する車両、歩行者及び障害物などの走行環境を認識するように構成される。合わせて、前記走行制御アルゴリズムは、前記認知の段階において算出された出力データに基づいて走行状況を演算/推論し、演算/推論された値に基づいて車両の構成要素に対する制御信号を生成できる。
このとき、前記自動運転車両は、韓国公開特許公報第10-2018-0086632号(「自動運転車両の行動決定装置及び方法」、2018.08.01.公開)や、韓国公開特許公報第10-2018-0104947号(「自動運転車両の制御システム及び方法」、2018.09.27.公開)に開示されているように、より多量の情報を細密に認知し、これを制御する方向に開発されつつある。このために、従来は、多くの変数間で正確な判断を導出できるように、走行制御アルゴリズムが進歩する方向に開発されていった。
また、開発された走行制御アルゴリズムは、実際の自動車両に適用する前に、これを検証する過程が伴うが、これは、韓国登録特許公報第10-1984762号(「ネットワークプラットフォームを適用した自動運転車両のシミュレータ」、2019.06.03.公告)や、韓国登録特許公報第10-1996230号(「自動運転車両のシミュレーションのためのテスト情報提供方法及び装置」、2019.07.04.公告)などに開示されている。
ここで、シミュレータは、物理法則がリアルタイムで演算される物理エンジンに基づいて形成された仮想環境上において、実際のセンサを模写した仮想のセンサらが仮想環境内でデータを獲得し、各々の自動運転車両の走行制御アルゴリズムによりデータを処理するように形成される。このように、シミュレータの物理エンジン及び仮想のセンサら、そして走行制御アルゴリズムが、多量のデータを入出力して演算しなければならない。しかし、プロセッサーの性能から逸脱するデータを処理する場合には、全体システムの処理可能な水準を逸脱することになるため、一部分に対して資源の分配が行われず、全体の仮想環境上において遅延や途切れを発生させるという問題点があった。
本発明は、前記問題点を解決するために案出されたもので、本発明の目的は、仮想環境であるシミュレータ上において、より細密な走行制御アルゴリズムの検証が必要な場合や、仮想のセンサに対する正確なデータが要求される場合を別途管理してデータセットを構築し、構築したデータセットに対してより多様な検証を行うようにすることで、シミュレータの途切れを改善させると同時に、より正確なセンサ部出力データを生成できる、仮想環境における自動運転車両のシミュレーション方法を提供することにある。
前記目的を達成するための本発明の移動体のシミュレーション方法は、(a)第1のサーバが、所定の時間の間にシミュレーション対象道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の少なくとも一つを含む環境情報を生成するシミュレーション前処理段階、及び、(b)第2のサーバが、前記環境情報を用いて前記所定の時間の間にシミュレーション対象車両の走行による前記シミュレーション対象車両のセンサ部出力データを算出するシミュレーション段階を含むことができる。
また、本発明は、前記段階(a)の以後に前記段階(b)を遂行し、前記段階(a)は、前記環境情報を保存する段階をさらに含み、前記段階(b)において、前記第2のサーバが前記段階(a)において保存された環境情報を利用することで、シミュレーションのための電算資源の負担を低減できる。
また、前記第1のサーバ及び前記第2のサーバは、同一のサーバで構成できる。
また、前記段階(a)及び前記段階(b)が同時に遂行され、前記段階(b)において利用する前記環境情報は、前記第2のサーバが前記第1のサーバからリアルタイムで受信することで、シミュレーションのための前記第2のサーバの電算資源の負担を低減することもできる。
また、前記第1のサーバ及び前記第2のサーバは、別のサーバで構成することもできる。
また、前記段階(a)及び前記段階(b)のシミュレーション時刻を同期化できるように、前記環境情報はシミュレーション時刻情報を含むことができる。
また、前記シミュレーション対象車両は、自動運転車両からなることができる。
また、前記センサ部は、ライダー、レーダー、GPS及びカメラの中で少なくとも一つを含むことができる。
また、本発明は、前記段階(a)の以前又は以後に、ユーザからシミュレーション対象車両情報、シミュレーション対象車両のセンサ部情報及び車両走行制御アルゴリズム情報の中から少なくとも一つを含むシミュレーション設定情報を受信する段階をさらに含むことができる。
また、前記シミュレーション対象車両情報は、車両の種類、模様、サイズ、ホイールベース間隔、高さ及び重心の中から少なくとも一つを含むことができる。
また、前記シミュレーション対象車両のセンサ部情報は、前記センサ部が含むセンサの個数、種類、スペック及び車両内の設置位置の中から少なくとも一つを含むことができる。
また、前記車両走行制御アルゴリズム情報は、前記シミュレーション対象車両のセンサ部出力データに基づいて車両の走行指令を算出するアルゴリズムであり得る。
また、前記車両の走行指令は、車両の加速、減速、停止、走行方向及び方向指示灯、点灯の中から少なくとも一つを含むことができる。
また、前記段階(b)において、算出された前記車両のセンサ部出力データに基づいて前記シミュレーション対象車両の走行を制御できる。
また、本発明は、前述した移動体のシミュレーション方法を遂行する第1のサーバ及び第2のサーバを含む移動体のシミュレーションシステムから構成されることもできる。
また、本発明は、前述した移動体のシミュレーション方法を遂行する命令語が保存された記録媒体から構成されることもできる。
前記のような本発明の構成による仮想環境における自動運転車両のシミュレーション方法は、第1のサーバ及び第2のサーバが互いに演算処理を分担することにより、多数の演算データの処理により発生するシミュレータの途切れを効率よく解決できる利点がある。
また、本発明は、全体の運用情報のうち、より細密なセンサ部出力データが要求される所定時間の間の情報をデータセットに区分して環境情報を生成することにより、シミュレータの途切れ又は遅延による出力データのエラーの発生を抑制できる。
また、本発明は、第1のサーバで持続的にシミュレータが作動され、第2のサーバでは所定時間の間の情報を提供されて、検証が要求される区間のみを再演できるので、第1のサーバに多数の接続者が接続して必要とする環境情報を提供されて、自分のアルゴリズムを検証できる環境を提供できる。
本発明による自動運転車両のシミュレーション方法を遂行するシステムの概略図である。 自動運転車両のシミュレーション方法の一実施例によるシステムの構成図である。 自動運転車両のシミュレーション方法の一実施例による制御のフローチャートである。 自動運転車両のシミュレーション方法の一実施例による制御のフローチャートである。 自動運転車両のシミュレーション方法の他の実施例によるシステムの構成図である。 自動運転車両のシミュレーション方法の他の実施例による制御のフローチャートである。 自動運転車両のシミュレーション方法の他の実施例による制御のフローチャートである。
以下、添付図面に基づき、本発明の多様な実施例による仮想環境における自動運転車両のシミュレーション方法を詳細に説明する。後述する図面らは、当業者に本発明の思想を十分に伝達させるために例として提供されるものである。よって、本発明は、以下の提示図面らに限定されず、他の形態で具体化することもできる。また、明細書の全般にわたって同一の参照番号は同一の構成要素を示す。
このとき、使用される技術用語及び科学用語において、他の定義がない限り、この発明が属する技術分野における通常の知識を有した者が通常的に理解している意味を有し、下記の説明及び添付図面において本発明の要旨を不要にぼやかす恐れがある場合、公知の機能や構成に関する説明は省略する。
図1は、本発明である自動運転車両のシミュレーション方法を遂行するシステムに関するもので、図1はシステムの概略図を示す。図1に示すように、本発明の自動運転車両のシミュレーションシステムは、外部機器等に対してデータ通信が可能であり、物理エンジン基盤のシミュレータが内蔵されて、自動運転車両に対するアルゴリズムの検証が可能な第1のサーバ(100)及び第2のサーバ(200)を含むことができる。このとき、データ通信は、周辺機器等と有線を介して連結されて他のサーバ又は装置等とデータ送受信が行われるか、或いは、無線通信を介して遠隔のサーバ又は装置等とデータ送受信が行われる。
また、第1のサーバ(100)及び第2のサーバ(200)は、相互間のデータ通信が行われることもでき、各々には内部記憶装置が含まれてシミュレータの作動のための情報らが保存されることもでき、外部に配置された別の記憶装置(10)と連結されてデータの入出力が行われることもできる。
前記第1のサーバ(100)及び第2のサーバ(200)は、自動運転車両の制御アルゴリズムに対する検証を行うことができる。また、仮想環境上には、地形地物、道路形態、歩行者、自動運転車両及び天気などのようなデータを具現でき、落石や交通事故などのようなイベント情報データも発生し得るように提供できる。合わせて、仮想環境上には多数の車両データを具現でき、一部の車両は入力された走行アルゴリズムに応じて周辺環境により走行経路が変更されるように提供でき、他の一部の車両は既定の走行経路により走行アルゴリズムを検証するように構成できる。そして、第1のサーバ(100)及び第2のサーバ(200)は、シミュレータに連結された出力装置をさらに含むことができ、前記出力装置には前述したデータらが可視化してユーザが映像で確認するように提供できる。
前記第2のサーバ(200)は、仮想環境上に模写されたセンサ部に基づき、仮想環境上で選択された対象の自動運転車両を中心として周辺環境や車両配置に対してセンサ部出力データが得られる。ここで、センサ部は、仮想環境で模写された自動運転車両のライダー、レーダー、GPS及びカメラの中から少なくとも一つを含むことができる。また、仮想環境上に模写されたセンサ部は、選択された自動運転車両と関連した他の可視化したデータらに対するプロセッサーの演算により測定データを生成できる。これは、後述する本発明の多様な実施例により詳細に説明する。
図2乃至図4は、本発明である自動運転車両のシミュレーション方法の一実施例に関するもので、図2はシステムの構成図、図3及び図4は自動運転車両のシミュレーション方法の制御のフローチャートを各々示す。
まず、図2に示すように、本発明の第1のサーバ及び第2のサーバは、互いに同一のサーバから構成され得り、当該実施例では、互いに同一の第1のサーバ及び第2のサーバを「サーバ」と通称する。このとき、サーバは、記憶装置と、前記記憶装置からデータを提供されて制御/演算するプロセッサーを含むシミュレータと、外部からデータが入力されたり、データを外部に出力したりする入出力装置とを含むことができる。
前記サーバは、記憶装置において、プロセッサー上に環境情報、物理エンジン、実際のセンサを模写した仮想のセンサに関する情報ら(以下、「センサ部」という。)及び走行制御アルゴリズム(以下、「走行アルゴリズム」という。)を提供し、前記プロセッサーから提供された情報に基づいて制御/演算して出力値が出力装置上で可視化して表出されるか、或いは、出力値が記憶装置に再保存されるように形成できる。ここで、記憶装置から提供される多様な情報は、一つのディスクでない多数のディスクに分離されて保存されるか、或いは、一部が外部から提供されることもできる。
前記記憶装置に保存された環境情報は第1の環境情報及び第2の環境情報に区分でき、第2の環境情報は第1の環境情報の全体データの一部のデータから構成されるデータセットであり得る。ここで、第1の環境情報及び第2の環境情報は、シミュレーション対象道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含むことができる。また、第2の環境情報は、第1の環境情報から入力された基準により分割されたシミュレーション対象道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含むことができ、ここで、入力された基準は所定の時間基準であり得る。このとき、所定の時間基準とは、第1の環境情報によりシミュレータが作動して演算した情報が出力される場合、シミュレータの作動時間が基準になり得、RTC(Real-Time Clock)基準により所定の時間(T1~T2)の間の領域が決定されることもできる。合わせて、シミュレーション対象は走行アルゴリズムを検証するための車両が対象になり得、対象の周辺は当該車両を基準として仮想フィールド上で一定の範囲内に配置された地形地物が対象の周辺になり得る。
次に、図3に示すように、サーバの内部記憶装置上に環境データが保存される場合による自動運転車両のシミュレーション方法を順次説明すれば、次の通りである。まず、サーバのシミュレータは、第1の環境情報によるシミュレーション情報を出力装置に転送して映像により可視化できる。そして、ユーザ端末から環境情報ロギング(logging)要請が前記サーバの通信装置に受信される場合、第2の環境情報生成要請メッセージがサーバの記憶装置に転送されることができる。このとき、第2の環境情報は、第1の環境情報から分割されてデータセットから構成されることができ、本発明のサーバは、プロセッサーを介してこれを制御するか、或いは、別のDBMS等を介してデータ管理が行われる。ここで、前記環境情報ロギング要請は、リアルタイムで出力されるシミュレーション映像基準、一定時間(T1~T2)の間の映像と関連したデータらに関する情報であり得る。
サーバの記憶装置から第2の環境情報が生成される場合、第1の環境情報で作動しているシミュレータが中断し、第2の環境情報に基づいてシミュレータの作動が行われる。また、前記サーバは、記憶装置に保存されたセンサ部データを前記シミュレータに提供し、前記シミュレータは、第2の環境情報及びセンサ部データを介してセンサ部出力データであるセンサデータを算出できる。また、センサデータは、前記記憶装置に再保存されて活用できる。このとき、前述した段階の以後又は以前にユーザ端末からセンサ部パラメーター設定情報が入力されることもでき、センサ部パラメーター設定情報は、全体のセンサ部の中からどのセンサをシミュレータに反映するかに対する制御信号であり得る。例えば、保存されたセンサ部の総量が6つである場合、4つのセンサ部のみをシミュレータに反映するように設定されたり、全てのセンサ部が反映されるように設定されたりする等、多様な方式により制御できる。そして、本発明は、前記記憶装置から前記シミュレータに第2の環境情報と共にセンサ部情報を入力できる。ここで、センサ部情報は、センサの個数、種類、スペック及び車両内の設置位置の中から少なくとも一つを含むことができ、各センサは、データを固有な出力値に変換するように演算アルゴリズムを含むセンサ部データを持つことができる。
次に、本発明は、ユーザ端末から転送された走行アルゴリズムや、記憶装置上に保存された走行アルゴリズムを、センサデータが算出されたシミュレータ上に適用して検証するように構成できる。ここで、アルゴリズムが入力されたシミュレーション情報は、出力装置によりリアルタイムでディスプレイできる。
図4に示すように、外部記憶装置上に第2の環境情報が保存された場合による自動運転車両のシミュレーション方法を説明すれば、次の通りである。本発明の移動体のシミュレーション方法は、前処理段階及びシミュレーション段階に大別される。そして、前処理段階は、前記サーバ上の入力装置により入力された信号や、ユーザ端末から転送された信号に基づき、記憶装置の第1の環境情報から所定の時間の間のシミュレーション対象道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含む第2の環境情報を分割して生成するように行われる。また、第2の環境情報は、通信装置や出力装置により外部記憶装置に転送され、外部記憶装置で保存され得る。
前記外部記憶装置上にデータセット化した第2の環境情報が保存された場合、前記サーバには、入力装置又は通信装置により外部記憶装置から前記環境データが提供される。これにより分割された第2の環境情報は、外部記憶装置により多数のサーバに提供され得る。
前記サーバからリアルタイムでシミュレーションが行われる場合、リアルタイムで出力される映像から正確な方式により自動運転車両が運用されなかったり、或いは、より細密なアルゴリズムの検証が必要な状況での環境データを予めデータセットに分類できる。これにより、細密な検証が行われるべき状況をサーバで繰り返すようにするが、多様な走行アルゴリズムを入力及び検証できる。また、本発明は、第1の環境情報から分割された第2の環境情報を含んで第3の環境情報、第Nの環境情報など、より多くの細部データセットを生成できる。
図5乃至図7は、本発明である自動運転車両のシミュレーション方法の他の実施例に関するもので、図5はシステムの構成図、図6及び図7は自動運転車両のシミュレーション方法の制御のフローチャートを各々示す。
まず、図6に示すように、本発明は、第1の環境情報を含む記憶装置、シミュレータ、入出力装置及び通信装置を含む第1のサーバと、第2の環境情報を含む記憶装置、シミュレータ、入出力装置及び通信装置を含む第2のサーバで構成されることができる。ここで、第2のサーバの第2の環境情報は、第1のサーバの第1の環境情報から時間基準に分割された第1の環境情報の一部であり得る。また、第1のサーバ及び第2のサーバの記憶装置には、物理法則に基づいたシミュレータの作動のための物理エンジンをさらに含むことができ、第2のサーバには、実際のセンサをコピーした仮想のセンサであるセンサ部及びセンサデータに基づいて車両の走行指令を算出する走行アルゴリズムをさらに含むことができる。
前記第1のサーバは、リアルタイムで第1の環境情報によるシミュレーション情報を映像データに変換して、出力装置又は通信装置によりディスプレイできる。そして、第2のサーバには、全体データでない重要度が高い一部分に対する状況のみを分割した第2の環境情報に基づいてシミュレータが作動できる。また、第2のサーバは、第2の環境情報によるシミュレーション情報を映像データに変換して、当該サーバの出力装置又は通信装置によりディスプレイできる。
また、前記第1の環境情報及び第2の環境情報は、車両配置、地形地物、イベント情報、歩行者情報及び道路情報などを含むことができる。そして、第2の環境情報は、選択されたシミュレーション対象基準道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含むことができる。前記第2の環境情報の出力は、例えば、ユーザが第1のサーバから出力される映像をリアルタイムで確認しながら、走行車両の走行アルゴリズムに問題がある場合や、道路上に歩行者が歩行中であったり、突然な落石が発生したりするイベントなどのより細密な検証が必要な場合を別途分割してデータセットとして構成されることができる。このとき、分割の基準は、第1のサーバのシミュレータの作動時間やRTCなど表出される時間を基準として区画できる。
次に、図6に示すように、各構成間の制御を詳細に説明すれば、次の通りである。これは、第1のサーバは、記憶装置に保存された第1の環境情報をプロセッサーである第1のシミュレータに提供し、第1のシミュレータは、リアルタイムで演算されるシミュレーション情報を出力装置に転送できる。このとき、前記第1のシミュレータから転送されるシミュレーション情報は、映像データに変換された情報であり得、通信装置により第2のサーバを含む他のサーバに転送できる。
以後、前記第1のサーバは、入力装置、第2のサーバを含む他のサーバ又はユーザー端末から所定の時間の間のシミュレーション対象道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含む第2の環境情報に対する生成要請メッセージである環境情報ロギング要請を受信できる。ここで、第1のサーバは、地形地物や道路情報などのようなシミュレーション時に変更されない固定データと、車両配置や歩行者などのようなシミュレーション時に変更され得る可変データを別途管理することもできる。このような場合、第1のサーバのシミュレーション映像内のユーザが確認中である自動運転車両に基づき、第2の環境情報は、選択された自動運転車両の一定範囲内の固定データと、設定時間の間の可変データを含むこともできる。このように、前記第1の環境情報から分割された第2の環境情報は、第1のサーバの通信装置により前記第2のサーバの通信装置に転送できる。そして、第2のサーバの通信装置から受信された第2の環境情報は、記憶装置で保存されたり、第2のシミュレータに提供されることができる。このような過程により、第1のサーバ上に分割された第2の環境情報が保存されたり、第2のサーバに第2の環境情報が転送及び保存されるシミュレーション前処理段階が行われる。
また、第2のサーバ上の記憶装置に保存されたセンサ部データを含むセンサ部情報と、前記第2の環境情報とは、第2のシミュレータ上に入力されることができる。そして、前記第2のシミュレータは、前記情報に基づいてシミュレーションし、映像に変換して出力できる。ここで、本発明は、ユーザ端末からセンサ部パラメーター設定情報を受信されるように形成でき、センサ部パラメーター設定情報は、複数で構成されるセンサ部の中から第2のシミュレータに適用されるセンサ部を選択する要請に関するメッセージであり得る。また、前記過程により、第2の環境情報及びセンサ部データを介してシミュレーション対象車両の走行によるシミュレーションが行われるシミュレーション段階が行われ得る。また、前記センサ部情報は、実際のセンサをコピーした仮想のセンサデータであるセンサ部データを含み、前記センサ部が含むセンサの個数、種類、スペック及び車両内の設置位置の中から少なくとも一つをさらに含むことができる。
第2のサーバの第2のシミュレータは、受信された第2の環境情報及びセンサ部データを共にシミュレーションでき、シミュレーションされたシミュレーション対象車両のセンサ部出力データであるセンサデータは、第2のサーバの記憶装置に保存できる。そして、本発明は、ユーザ端末から提供されるか、或いは、第2のサーバに既保存の走行アルゴリズムを前記第2のシミュレータに入力し、前記走行アルゴリズムに前記センサデータを入力して、入力された走行アルゴリズムに対する検証が行われる。これにより、ユーザは膨大なデータでなく、比較的に縮小された設定時間内の状況のみをもって、自分のアルゴリズムを繰り返して検証でき、多様な走行アルゴリズムを入力してより効率よく検証できるという長所がある。合せて、多数のユーザが第1のサーバに接続して自分が必要とする環境情報のみを提供されて、各自のアルゴリズムを検証するように提供されることもできる。
次に、図7に示すように、本発明は、センサ部が複数で構成され得て、複数のセンサ部の各センサ部データが第2のシミュレータ上において順次演算されるように提供できる。より詳しくは、第2のサーバがユーザ端末から同一の第2の環境情報に基づいてセンサ部の個数及び種類などを異なるようにし、第2のシミュレータが複数回作動できる。そして、各々のシミュレーション結果である第1のセンサデータや第2のセンサデータなどは記憶装置に保存でき、互いに同様に同期化できる。また、前記第2のサーバは、同期化したセンサデータ及び前記第2の環境情報を第2のシミュレータに入力し、ユーザ端末から入力されるか、或いは、既保存された走行アルゴリズムをシミュレータに適用してアルゴリズムの検証を行うことができる。
また、本発明は、前述した全ての実施例にシミュレーション設定情報を受信する段階を含むことができる。ここで、シミュレーション設定情報を受信する段階は、前処理段階の以前又は以後に行われ、ユーザ端末からシミュレーション対象車両情報、シミュレーション対象車両のセンサ部情報及び車両走行アルゴリズム情報の中から少なくとも一つを含むことができる。前記シミュレーション対象車両情報は、車両の種類、模様、サイズ、ホイールベース間隔、高さ及び重心の中から少なくとも一つを含むことができ、前記シミュレーション対象車両のセンサ部情報は、前記センサ部が含むセンサの個数、種類、スペック及び車両内の設置位置の中から少なくとも一つを含むことができる。また、前記車両走行制御アルゴリズム情報は、前記シミュレーション対象車両のセンサ部出力データに基づいて車両の走行指令を算出するアルゴリズムから構成されることができる。このとき、前記車両の走行指令は、車両の加速、減速、停止、走行方向及び方向指示灯、点灯の中から少なくとも一つを含むことができる。ここで、前記シミュレーション対象車両のセンサ部情報は、サーバで第2の環境情報及びセンサ部データによりセンサ部出力データを算出する前に受信され、前記車両走行制御アルゴリズム情報は第2のシミュレータ上で検証する前に受信されることが可能だが、シミュレーション上での変数が可変されて段階を繰り返すことができるので、これに限定されるものでない。
以上のように、本発明では、具体的な構成要素などのような特定事項等、限定された実施例及び図面により説明されたが、これは、本発明のより全般的な理解のために提供されるだけで、本発明は、前記一実施例に限定されず、本発明が属する分野における通常の知識を有した者であれば、このような記載から多様な修正及び変形が可能である。
したがって、本発明の思想は、説明された実施例に限定されず、後述する特許請求の範囲だけでなく、その特許請求の範囲と均等又は等価的な変形がある全てのものは、本発明の思想の範疇内に属するべきである。

Claims (17)

  1. 移動体のシミュレーション方法であって、
    (a)シミュレーション前処理ステップであって、
    第1のサーバが、所定の時間の間の、道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含む、シミュレーション対象のための第1の環境情報を生成するステップと、
    前記第1のサーバが、リアルタイムで算出され画像データに変換されたシミュレーション情報を出力装置に送信するステップと、
    前記第1のサーバが、入力装置、他のサーバ又はユーザ端末のうちの少なくとも1つから、シミュレーション対象車両のための第2の環境情報の生成要請を表す情報ロギング要請を受信するステップであって、当該第2の環境情報が前記第1の環境情報から時間で分割された前記第1の環境情報の一部である、情報ロギング要請を受信するステップと、を含む、シミュレーション前処理ステップと、
    前記ステップ(a)の以前又は以後に、第2のサーバによって、ユーザ端末から入力された車両走行制御アルゴリズムを含む、シミュレーション設定情報を受信するステップと、
    (b)シミュレーションステップであって、
    前記第2のサーバが、前記第2の環境情報を用いて、前記所定の時間の間の、前記シミュレーション対象車両の走行に応じた前記シミュレーション対象車両のセンサ部出力データを算出するステップと、
    前記第2のサーバが、前記センサ部出力データを前記車両走行制御アルゴリズムに入力するステップであって、前記車両走行制御アルゴリズムが前記シミュレーション対象車両の前記センサ部出力データに基づいて当該シミュレーション対象車両の走行命令を算出するアルゴリズムである、入力するステップと、を含む、シミュレーションステップと、を含むことを特徴とする、移動体のシミュレーション方法。
  2. 前記ステップ(a)の以後に前記ステップ(b)を遂行し、
    前記ステップ(a)は、前記第2の環境情報を保存するステップをさらに含み、
    前記ステップ(b)において、前記第2のサーバが前記ステップ(a)において保存された前記第2の環境情報を利用することで、シミュレーションのための電算資源の負担を低減できることを特徴とする、請求項1に記載の移動体のシミュレーション方法。
  3. 前記ステップ(a)及び前記ステップ(b)が同時に遂行され、
    前記ステップ(b)において利用する前記第2の環境情報は、前記第2のサーバが前記第1のサーバからリアルタイムで受信することで、シミュレーションのための前記第2のサーバの電算資源の負担を低減できることを特徴とする、請求項1に記載の移動体のシミュレーション方法。
  4. 前記第1のサーバ及び前記第2のサーバは、別のサーバであることを特徴とする、請求項3に記載の移動体のシミュレーション方法。
  5. 前記ステップ(a)及び前記ステップ(b)のシミュレーション時刻を同期化できるように、前記第1及び第2の環境情報はシミュレーション時刻情報を含むことを特徴とする、請求項1乃至4のいずれか1項に記載の移動体のシミュレーション方法。
  6. 前記シミュレーション対象車両は、自動運転車両であることを特徴とする、請求項1乃至5のいずれか1項に記載の移動体のシミュレーション方法。
  7. 前記センサ部出力データは、ライダー、レーダー、GPS及びカメラの出力データの中から少なくとも一つを含むことを特徴とする、請求項1乃至6のいずれか1項に記載の移動体のシミュレーション方法。
  8. 受信した前記シミュレーション設定情報が、シミュレーション対象車両情報及び前記シミュレーション対象車両のセンサ部情報のうち少なくとも一つをさらに含むことを特徴とする、請求項1乃至7のいずれか1項に記載の移動体のシミュレーション方法。
  9. 前記シミュレーション対象車両情報は、車両の種類、模様、サイズ、ホイールベース間隔、高さ及び重心の中から少なくとも一つを含むことを特徴とする、請求項8に記載の移動体のシミュレーション方法。
  10. 前記シミュレーション対象車両のセンサ部情報は、センサの個数、種類、スペック及び車両内の設置位置の中から少なくとも一つを含むことを特徴とする、請求項8または9に記載の移動体のシミュレーション方法。
  11. 前記シミュレーション対象車両の走行指令は、当該シミュレーション対象車両にかかる、加速、減速、停止、走行方向、及び、方向指示灯点灯のうち少なくとも一つを含むことを特徴とする、請求項1乃至10のいずれか1項に記載の移動体のシミュレーション方法。
  12. 前記ステップ(b)において、算出された前記シミュレーション対象車両のセンサ部出力データに基づいて前記シミュレーション対象車両の走行を制御することを特徴とする、請求項1乃至11のいずれか1項に記載の移動体のシミュレーション方法。
  13. 前記ステップ(b)が、前記第2のサーバが前記ユーザ端末からセンサ部パラメータ設定情報を受信するステップを含み、当該センサ部パラメータ設定情報が、複数のセンサ部の中から前記第2のサーバのシミュレータに適用されるセンサ部を選択する要請を表し、
    前記第2のサーバが前記センサ部出力データを算出するステップにおいて、前記センサ部パラメータ設定情報に応じた前記センサ部出力データが算出される、
    請求項1乃至12のいずれか1項記載の移動体のシミュレーション方法。
  14. 移動体のシミュレーション方法であって、
    (a)第1のサーバが、所定の時間の間の、道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含む、シミュレーション対象のための環境情報を生成するシミュレーション前処理ステップと、
    (b)第2のサーバが、前記環境情報を用いて、前記所定の時間の間の、シミュレーション対象車両の走行に応じた前記シミュレーション対象車両のセンサ部出力データを算出するシミュレーションステップと、を含み、
    前記ステップ(a)及び前記ステップ(b)が同時に遂行され、
    前記ステップ(b)において利用する前記環境情報は、前記第2のサーバが前記第1のサーバからリアルタイムで受信することで、シミュレーションのための前記第2のサーバの電算資源の負担を低減できることを特徴とする、移動体のシミュレーション方法。
  15. 移動体のシミュレーション方法であって、
    (a)第1のサーバが、所定の時間の間の、道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺表示板情報及びイベント情報の中から少なくとも一つを含む、シミュレーション対象のための環境情報を生成するシミュレーション前処理ステップと、
    (b)第2のサーバが、前記環境情報を用いて、前記所定の時間の間の、シミュレーション対象車両の走行に応じた前記シミュレーション対象車両のセンサ部出力データを算出するシミュレーションステップと、を含み、
    前記ステップ(a)及び前記ステップ(b)のシミュレーション時刻を同期化できるように、前記環境情報はシミュレーション時刻情報を含むことを特徴とする、移動体のシミュレーション方法。
  16. 請求項1乃至15のいずれか1項に記載の移動体のシミュレーション方法を遂行する第1のサーバ及び第2のサーバを含むことを特徴とする、移動体のシミュレーションシステム。
  17. 請求項1乃至15のいずれか1項に記載の移動体のシミュレーション方法をプロセッサに実行させるためのプログラムを記憶した記録媒体。
JP2022516018A 2020-01-06 2020-09-18 仮想環境における自動運転車両のシミュレーション方法 Active JP7442227B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200001206A KR102139172B1 (ko) 2020-01-06 2020-01-06 가상환경에서의 자율주행차량 시뮬레이션 방법
KR10-2020-0001206 2020-01-06
PCT/KR2020/012594 WO2021141206A1 (ko) 2020-01-06 2020-09-18 가상환경에서의 자율주행차량 시뮬레이션 방법

Publications (2)

Publication Number Publication Date
JP2022548015A JP2022548015A (ja) 2022-11-16
JP7442227B2 true JP7442227B2 (ja) 2024-03-04

Family

ID=71893747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022516018A Active JP7442227B2 (ja) 2020-01-06 2020-09-18 仮想環境における自動運転車両のシミュレーション方法

Country Status (7)

Country Link
US (1) US11514212B2 (ja)
EP (1) EP3872633A4 (ja)
JP (1) JP7442227B2 (ja)
KR (1) KR102139172B1 (ja)
CN (1) CN114365108A (ja)
IL (1) IL285850B2 (ja)
WO (1) WO2021141206A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102139172B1 (ko) * 2020-01-06 2020-07-29 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법
CN112800613B (zh) * 2021-02-04 2022-09-20 西南交通大学 一种铁道车辆在线监测算法开发系统
CN112965466B (zh) 2021-02-18 2022-08-30 北京百度网讯科技有限公司 自动驾驶系统的还原测试方法、装置、设备及程序产品
JP7565232B2 (ja) 2021-02-24 2024-10-10 日産自動車株式会社 車両評価方法及び車両評価装置
CN114610410B (zh) * 2022-03-16 2024-05-24 北京三快在线科技有限公司 一种仿真环境下的参数配置方法及装置
KR20240077631A (ko) 2022-11-24 2024-06-03 아이피지오토모티브코리아(유) 가상 센서 데이터를 이용한 자율주행차량의 성능평가 방법 및 장치
KR102551145B1 (ko) * 2022-11-30 2023-07-04 주식회사 모라이 주행 환경과 연관된 혼합 현실 영상 생성 방법 및 시스템
KR102699301B1 (ko) * 2023-11-29 2024-08-27 주식회사 모라이 무인 이동체의 주행 시뮬레이션 환경 생성 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984762B1 (ko) 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455084B1 (ko) * 2012-12-13 2014-10-28 한국교통연구원 차량통신 시스템 기반의 교통 통신 통합 시뮬레이션 시스템
KR20140144921A (ko) 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR101515496B1 (ko) * 2013-06-12 2015-05-04 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20160105011A (ko) 2015-02-27 2016-09-06 재단법인 씨윗코리아 차량주행 시뮬레이션용 주행환경모델 생성 시스템
US20160314224A1 (en) * 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
US10386845B1 (en) * 2016-01-22 2019-08-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle parking
KR101850038B1 (ko) 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR101880180B1 (ko) 2016-05-31 2018-08-16 박무영 드라이빙 시뮬레이터의 동작 방법 및 드라이빙 시뮬레이터
KR20180086632A (ko) 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법
KR20180104947A (ko) 2017-03-14 2018-09-27 현대자동차주식회사 자율주행차량의 제어 시스템 및 방법
WO2018204544A1 (en) * 2017-05-02 2018-11-08 The Regents Of The University Of Michigan Simulated vehicle traffic for autonomous vehicles
JP6824137B2 (ja) * 2017-10-13 2021-02-03 キャッツ株式会社 自動運転車両の動作シミュレータ、自動運転車両の動作確認方法、自動運転車両の制御装置及び自動運転車両の制御方法
KR101996230B1 (ko) 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
KR102068473B1 (ko) 2018-03-30 2020-02-11 (주)에스더블유엠 차량 시뮬레이션 방법 및 장치
US11328219B2 (en) 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
KR102042261B1 (ko) * 2018-04-24 2019-11-07 국방과학연구소 무인 차량의 최적 속도를 결정하는 장치, 방법 및 무인 차량
US20200226226A1 (en) * 2019-01-10 2020-07-16 Uatc, Llc Autonomous Vehicle Service Simulation
KR102139172B1 (ko) * 2020-01-06 2020-07-29 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984762B1 (ko) 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터

Also Published As

Publication number Publication date
US20210374308A1 (en) 2021-12-02
CN114365108A (zh) 2022-04-15
US11514212B2 (en) 2022-11-29
EP3872633A4 (en) 2022-08-17
IL285850B2 (en) 2024-07-01
WO2021141206A1 (ko) 2021-07-15
IL285850B1 (en) 2024-03-01
JP2022548015A (ja) 2022-11-16
IL285850A (en) 2021-10-31
EP3872633A1 (en) 2021-09-01
KR102139172B1 (ko) 2020-07-29

Similar Documents

Publication Publication Date Title
JP7442227B2 (ja) 仮想環境における自動運転車両のシミュレーション方法
CN113661525B (zh) 自动驾驶车辆系统和组件的仿真和验证
CN112286206B (zh) 自动驾驶的模拟方法、系统、设备、可读存储介质及平台
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
CN113032285B (zh) 一种高精地图测试方法、装置、电子设备及存储介质
US20190278698A1 (en) Autonomous Vehicle Simulation And Testing
CN108319249B (zh) 基于驾驶模拟器的无人驾驶算法综合测评系统及方法
RU2017146151A (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
US11995730B2 (en) System and method for providing digital reality experiences and decentralized transactions of real estate projects
US10885240B2 (en) Deterministic simulation framework for autonomous vehicle testing
EP3800518A1 (en) System, device and method for testing autonomous vehicles
KR102171269B1 (ko) 이미지의 채색 완성 방법, 장치 및 컴퓨터 프로그램과 인공 신경망 학습 방법, 장치 및 컴퓨터 프로그램
CN116403174A (zh) 一种端到端自动驾驶方法、系统、仿真系统及存储介质
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
Bai et al. Cyber mobility mirror for enabling cooperative driving automation in mixed traffic: A co-simulation platform
US20240219569A1 (en) Surfel object representation in simulated environment
US20240160804A1 (en) Surrogate model for vehicle simulation
CN115782921A (zh) 用于自动驾驶的环境感知方法、装置及电子设备
US20210348938A1 (en) Sensor calibration for space translation
US20240220675A1 (en) Light ranging and detection (lidar) beam divergence simulation
US20240169112A1 (en) Simulation fidelity for end-to-end vehicle behavior
CN118626209A (zh) 仿真校验方法、装置、服务器、存储介质及程序产品
US12072437B2 (en) Radar inter-pulse doppler phase generation using performant bounding volume hierarchy micro-step scene interpolation
US20240169111A1 (en) Parameterizing hot starts to maximize test repeatability
US20240232457A1 (en) Test validation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7442227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150