JP7441981B2 - 切り替え可能モデルを有する自律運転シミュレーションアーキテクチャを提供するためのシステムと方法 - Google Patents

Description

開示は、自律運転シミュレーション技術の分野に関し、特には、自律運転シミュレーションモデルとツールを統合するシステムと方法に関する。

自律車両の開発が加速度的に進むにつれて、車両を制御する（または、車両の制御に影響を与える）自律車両ソフトウェアアプリケーションの開発も加速している。自律車両（エゴ車両）に対するソフトウェアまたはアプリケーションの開発者は、そのリリースの前に、アプリケーションの安全性と、アプリケーションが適切に機能することをテストおよび検証できなくてはならない。このテストと検証は、エゴ車両の動作をシミュレートする（模擬実験（シミュレーション）を行う）自律運転シミュレーションシステムを使用して行われる。関連する技術の自律運転シミュレーションシステムは、コアシミュレータ、車両シミュレータ、および１つ以上のセンサシミュレータを含んでいる。

コアシミュレータは、シミュレーションを作動させるシナリオを作成、編集、および／または実行するシミュレーションツールである。コアシミュレータを介して、アクタおよびそれらの動きと共に、シミュレーションの仮想世界を定義できる。車両シミュレータは、自律運転車両（エゴ車両）をシミュレートし、周囲の対象物に基づいて車両の位置を制御するための車両コントローラを含んでいる。センサシミュレータは、仮想世界におけるエゴ車両の周囲の画像を取り込むためのカメラセンサモデルなどのような、エゴ車両の種々のセンサをシミュレートする。

開発中のアプリケーションをテストする中核においては、ソフトウェアの開発者は、シミュレーションデータモデルの組み合わせを使用してアプリケーションをテストすることがよくある。しかし、これらのシミュレーションモデルは、データの入力と出力に対して異なるフォーマットを有する種々のソースからのモデルである可能性がある。そのため、ソフトウェア開発者は、何れのシミュレーションデータモデルをテストに対して使用できるかについて、コアシミュレータにより制限されてしまう。従って、テストを合理化し、選択できるシミュレーションモデルのライブラリまたは選択範囲を拡張し、および安全性を損なうことなくソフトウェア開発サイクルを短くするために、種々のソースからのモデルとツールを単一のシミュレーション環境に統合できる共通アーキテクチャに対する必要性がある。

更に、開発中のアプリケーションによっては、あるデータモデルは、テストに対して必要不可欠であるが、他のデータモデルはそうでないということもあり得る。例えば、１つのアプリケーション（例えば、自律運転スタック）は、テストのためのコアシミュレータと統合またはそれを有して実現された車両シミュレーションモデルとセンサシミュレーションモデルの両者を要求する可能性があり、一方、他のアプリケーション（例えば、知覚アプリケーション）は、センサシミュレーションモデルのみが、テストのためのコアシミュレータと統合またはそれを有して実現されることを要求する可能性がある。

従って、異なるフォーマットにおけるシミュレーションデータを処理するために、異なるモデルが統合されている共通シミュレーションアーキテクチャが、異なるタイプのアプリケーションの可変テスト要求に対応するために必要とされる。しかし、そのようなアーキテクチャは、所与のアプリケーションをテストするためには要求されない、または、必要不可欠ではないモデルを含む可能性があり、それにより、開発者が不要なコストを抱え込み、処理負荷に過剰な負担を課し、テストのためにより長い時間を消費するということになる。例えば、あるアプリケーションは、テストのために高精度の画像またはセンサデータを要求しない可能性がある。そのような場合、高精度のセンサシミュレータを実現または含んでいる共通シミュレーションアーキテクチャは、開発者に対する不要なコスト、処理負荷に対する負担、およびテストのために過剰な時間という結果になる。

本開示は、異なるソース（例えば、シミュレータ供給元、ベンダなど）からの異なるシミュレーションデータモデルを統合することができ、アプリケーションの機能またはテスト要求に従って、任意の特別なモデルのスイッチオンまたはオフ、および／または「ダミー」モデルとの交換を可能にできる自律運転シミュレーションアーキテクチャを提供する。従って、所与のアプリケーションをテストするための最小限の実現可能な要求を満たす、カスタマイズされたシミュレータを達成でき、それにより、コスト、複雑さの程度、処理時間、および処理負荷を削減する。

本開示の１つの態様は、アプリケーションをテストするための自律運転シミュレーションアーキテクチャを提供するためのサーバを提供する。サーバは、複数のシミュレーションデータモデルを格納している格納装置と、少なくとも１つのプロセッサを含んでいる。少なくとも１つのプロセッサは、複数のシミュレーションデータモデルを、アプリケーションをテストするための自律運転シミュレーションを作動させる第１コアシミュレータと統合するための少なくとも１つの第１インタフェース、第１コアシミュレータを、アプリケーションを提供するクライアント装置に選択的に接続するための共通インタフェース、および、複数のシミュレーションデータモデルの中の第１シミュレーションデータモデルを、第１コアシミュレータから選択的に切り離すための第１スイッチを実現するために命令を実行するように構成されている。

上記の態様においては、第１スイッチは、少なくとも１つの第１インタフェースを介しての第１コアシミュレータとの統合のために、第１シミュレーションデータモデルから第１ダミーモデルに切り替えることにより、第１シミュレーションダミーモデルを切り離すことができ、第１ダミーモデルは、第１シミュレーションデータモデルよりも精度が低くてもよい。

上記の態様においては、少なくとも１つのプロセッサは更に、複数のシミュレーションデータモデルの１つ以上を第２コアシミュレータと接続するための少なくとも１つの第２インタフェースを実現するために命令を実行するように構成できる。

上記の態様においては、共通インタフェースは、第１コアシミュレータまたは第２コアシミュレータをクライアント装置に選択的に接続できる。

上記の態様においては、少なくとも１つのプロセッサは更に、第１コアシミュレータとの統合のために、複数のシミュレーションデータモデルの中の第２シミュレーションデータモデルと、第２ダミーモデルとの間を選択的に切り替えるための第２スイッチを実現するために命令を実行するように構成できる。

上記の態様においては、複数のシミュレーションデータモデルは、エゴ車両をシミュレートするための車両シミュレーションモデルと、エゴ車両の１つ以上のセンサをシミュレートするためのセンサシミュレーションモデルを含むことができる。

上記の態様においては、少なくとも１つの第１インタフェースは、複数のシミュレーションデータモデルの１つ以上のデータフォーマットと、第１コアシミュレータのデータフォーマットとの間でデータを変換するように構成できる。

本開示の他の態様は、アプリケーションをテストするための自律運転シミュレーションアーキテクチャを提供するための方法を提供する。方法は、複数のシミュレーションデータモデルを、アプリケーションをテストするための自律車両シミュレーションを作動させる第１コアシミュレータと統合することと、第１コアシミュレータを、アプリケーションに選択的に接続することと、複数のシミュレーションデータモデルの中の第１シミュレーションデータモデルを、第１コアシミュレータから選択的に切り離すことを含んでいる。

上記の態様においては、第１シミュレーションデータモデルを、第１コアシミュレータから選択的に切り離すことは、第１コアシミュレータとの統合のために、第１シミュレーションデータモデルから第１ダミーモデルに切り替えることにより、第１シミュレーションダミーモデルを切り離すように第１スイッチを制御することを含むことができ、ここにおいて第１ダミーモデルは、第１シミュレーションデータモデルよりも精度が低い。

上記の態様においては、方法は、複数のシミュレーションデータモデルの１つ以上を第２コアシミュレータと接続することを含むことができる。

上記の態様においては、方法は、第１コアシミュレータまたは第２コアシミュレータを、共通インタフェースを介してクライアント装置に選択的に接続することを含むことができる。

上記の態様においては、方法は、第１コアシミュレータとの統合のために、複数のシミュレーションデータモデルの中の第２シミュレーションデータモデルと、第２ダミーモデルとの間を選択的に切り替えるように第２スイッチを制御することを含むことができる。

上記の態様においては、複数のシミュレーションデータモデルは、エゴ車両をシミュレートするための車両シミュレーションモデルと、エゴ車両の１つ以上のセンサをシミュレートするためのセンサシミュレーションモデルを含んでいる。

上記の態様においては、方法は、複数のシミュレーションデータモデルの１つ以上のデータフォーマットと、第１コアシミュレータのデータフォーマットとの間でデータを変換することを含むことができる。

本開示の他の態様は、方法を実行するために、少なくとも１つのプロセッサにより実行可能な命令を格納している非一時的コンピュータ読み取り可能格納媒体を提供する。方法は、複数のシミュレーションデータモデルを、アプリケーションをテストするための自律車両シミュレーションを作動させる第１コアシミュレータと統合することと、第１コアシミュレータを、アプリケーションに選択的に接続することと、複数のシミュレーションデータモデルの中の第１シミュレーションデータモデルを、第１コアシミュレータから選択的に切り離すことを含んでいる。

開示の例としての実施形態の特徴、利点、および技術的且つ産業的意味は、付随する図面を参照して下記に記述され、図面においては類似の符号は類似の要素を示している。
図１は、実施形態に係わる、自律運転シミュレーションアーキテクチャを実現するためのシステムを例示している図である。 図２は、実施形態に係わる、自律運転シミュレーションアーキテクチャを実現するためのシステムを例示している詳細ブロック図である。 図３は、実施形態に係わる、自律運転シミュレーションアーキテクチャを提供する方法を例示しているフローチャートである。 図４は、実施形態に係わる、自律運転シミュレーションアーキテクチャを例示しているブロック図である。

開示の実施形態が、付随する図面を参照して下記に詳細に記述される。図面において使用されている同じ参照番号は、同じまたは類似の要素を示すことができる。開示において使用されている用語は、開示において定義されているように厳密に解釈されるべきではなく、この技術における通常の技量を有する者が、開示の状況において理解するであろうものとして解釈されるべきである。更に、開示の実施形態は、異なる形状であることもでき、ここにおいて記述されている実施形態に制限されないということに留意すべきである。

図１は、実施形態に係わる、自律運転シミュレーションアーキテクチャを実現するシステム１０を例示している図である。

図１を参照すると、自律運転シミュレーションアーキテクチャを実現するためのシステム１０は、ネットワーク１００、サーバ２００、および複数の端末装置３００－１～３００－Ｎ（まとめて「端末装置３００」）を含むことができる。端末装置３００（またはクライアント装置）は、ネットワーク１００を通してサーバ２００に接続できる。端末装置３００は任意の演算装置であってよく、制限されることはないが、サーバ、デスクトップコンピュータ、ラップトップ、ワークステーション、モバイル演算装置などの少なくとも１つを含んでいる。サーバ２００は独立したサーバとして、または、複数のサーバを含むサーバクラスタとして実現できる。サーバ２００は、実施形態に係わる自律運転シミュレーションアーキテクチャを含むことができ、そこから、カスタマイズされたシミュレータを、テストのためのアプリケーションを提供する各端末装置３００にそれぞれ提供できる。例えば、各端末装置３００は、異なるアプリケーション開発者に対応できる。

ネットワーク１００は、有線および／または無線通信ネットワークを含むことができ、任意の数のネットワークを含むことができる。ネットワーク１００は、回線交換および／またはパケット交換チャネルにおいてデータを交換できる。例えば、ネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ＷｉＦｉネットワーク、および／またはインターネットを含むことができる。

図２は、実施形態に係わる、自律運転シミュレーションアーキテクチャを実現するシステム１０を例示している詳細図である。

図２を参照すると、サーバ２００は、プロセッサ２１０、通信インタフェース２２０、入／出力インタフェース２３０、ディスプレイ２４０、格納装置２５０、およびメモリ２６０を含むことができる。端末装置３００はそれぞれ、プロセッサ３１０、通信インタフェース３２０、入／出力インタフェース３３０、ディスプレイ３４０、格納装置３５０、およびメモリ３６０を含むことができる。上述したように、サーバ２００は、複数のサーバとして提供でき、各サーバは、異なるアセット、モデル、シミュレータなどを格納または実行する。ここで、サーバ２００と端末装置３００の構成要素は、同じまたは類似の機能を実行するように構成できる。従って、記述の利便性のために、サーバ２００の構成要素がここにおいては主に記述される。

プロセッサ２１０は、サーバ２００の全体動作を制御できる。具体的には、プロセッサ２１０は、メモリ２６０、通信インタフェース２２０、入／出力インタフェース２３０、およびディスプレイ２４０に接続でき、それらの動作を制御するように構成できる。例えば、プロセッサ２１０は、特定用途向け集積回路（ＡＳＩＣ）、埋め込み型プロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタル信号プロセッサ（ＤＳＰ）、ニューラルネットワークプロセッサ（ＮＰＵ）などの少なくとも１つとして実現できる。プロセッサ２１０は、中央演算処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、およびメイン処理ユニット（ＭＰＵ）などを含むことができる。追加的に、プロセッサ２１０は、１つ以上のプロセッサを含むことができる。

メモリ２６０は、開示の実施形態に係わる、サーバ２００を動作させるための少なくとも１つの命令および種々のソフトウェアプログラムまたはアプリケーションを格納できる。例えば、メモリ２６０は、フラッシュメモリなどのような半導体メモリ、ハードディスクなどのような磁気格納媒体などを含むことができる。メモリ２６０とは、プロセッサ２１０に通信可能に結合されている任意の揮発性または不揮発性メモリ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、または、サーバ２００に接続可能なメモリカード（例えば、マイクロＳＤカード、メモリスティック）を指すことができる。

具体的には、メモリ２６０は、サーバ１１０を動作させるための種々のソフトウェアモジュールまたはコードを格納でき、プロセッサ２１０は、メモリ２６０に格納されている種々のソフトウェアモジュールを実行することにより、サーバ２００の動作を制御できる。つまり、メモリ２６０は、データの読み取り、記録、修正、消去、更新などを実行するためにプロセッサ２１０によりアクセスできる。

メモリ２６０は、車両の電子制御ユニット（ＥＣＵ）上で実行可能なオペレーティングシステムなどのような、車両の自律制御のための自律運転オペレーティングシステム（ＯＳ）を格納できる。メモリ２６０はまた、ＯＳと、自律運転のために使用されるアプリケーションとの間のインタフェースを取る少なくとも１つのアプリケーションプログラミングインタフェース（ＡＰＩ）を格納でき、アプリケーションは、ここにおいて開示されているシミュレーションアーキテクチャを介してテストできるアプリケーションを含んでいる。少なくとも１つのＡＰＩは、共通メッセージングフォーマット（例えば、ＲＯＳ、ＲＯＳ２など）を使用してアプリケーションと通信できる。更に、メモリ２６０は、自律運転ＯＳと、コアシミュレータ２５１、車両シミュレーションモデル２５３、センサシミュレーションモデル２５５、ダミーシミュレーションモデル２５７などのようなシミュレーションモデルとの間の通信のためのミドルウェアを格納できる。ミドルウェアは、ＯＳのデータフォーマット（例えば、ＯＳの共通メッセージングフォーマット）へ変換、またはそこから変換するためと共に、シミュレーションモデルのメッセージングフォーマット（例えば、ＤＩＲＥＣＴ ＡＣＣＥＳＳ、ＧＲＰＣなど）間の変換を行うための１つ以上のデータ変換器を含むことができる。

通信インタフェース２２０は、ネットワーク１００を通して端末装置３００と通信するように構成されている回路を含むことができる。通信インタフェース２２０は、Ｗｉ－Ｆｉモジュール、ブルートゥース（登録商標）モジュール、無線通信モジュール、または、近距離通信（ＮＦＣ）モジュールの少なくとも１つを含むことができる。具体的には、Ｗｉ－ＦｉモジュールはＷｉ-Ｆｉ方法で通信でき、ブルートゥース（登録商標）モジュールは、ブルートゥース（登録商標）方法で通信できる。Ｗｉ-Ｆｉモジュールまたはブルートゥース（登録商標）モジュールを使用するときは、サービスセット識別子（ＳＳＩＤ）などのような種々の接続情報を通信接続のために送信および受信でき、そして種々の情報を送信および受信できる。

入／出力インタフェース２３０は、ユーザまたは他の装置からの入力を受信するように構成でき、プロセッサ２１０は、入／出力インタフェース２３０を通して、サーバ２００の動作を制御するためのユーザコマンドを受信できる。入／出力インタフェース２３０は、例えば、マイクロフォン、カメラ、リモートコントローラ、キーボード、マウスなどを含むことができる。

ディスプレイ２４０は、液晶ディスプレイ（ＬＣＤ）パネル、有機発光ダイオード（ＯＬＥＤ）、フレキシブルディスプレイ、タッチスクリーンディスプレイ、透明ディスプレイなどとして実現できる。プロセッサ２１０はメモリ２６０から受信した、または通信インタフェース２２０を通して端末装置３００から受信した画像信号を表示するようにディスプレイ２４０を制御できる。しかし、ディスプレイ２４０の実現形態はそれに制限されない。

格納装置２５０は、自律運転シミュレーションアーキテクチャを提供するための種々のシミュレーションモデルを格納するように構成できる。例えば、格納装置２５０は、１つ以上のコアシミュレータ２５１、１つ以上の車両シミュレータ２５３（または、車両シミュレーションモデル）、１つ以上のセンサシミュレータ２５５（または、センサシミュレーションモデル）、および１つ以上のダミーシミュレータ２５７（または、ダミーシミュレーションモデル）に対応する実行可能命令、コード、データオブジェクトなどを格納できる。ここで、格納装置２５０は、信号（例えば、電磁波）を含まない実体装置である非一時的格納媒体の形で提供できる。上述したように、上記のシミュレータとモデルは、複数のサーバにわたり分散できるということは理解される。

コアシミュレータ２５１は、自律車両のシミュレーションを実行できるシナリオを作成、編集、および実行する主要シミュレーションツールであってよい。例えば、コアシミュレータ２５１は、仮想環境におけるアクタとアクタの動きと共に、仮想世界または環境を定義できる。具体的には、コアシミュレータ２５１は、エゴ車両がそのようなシナリオにおいてどのように挙動または動作するかをテストするために、特別な軌道上を特別な速度で移動している歩行者と非エゴ車両を含むシナリオをシミュレートするように構成できる。ここで、エゴ車両という用語は、自動化運転システム（ＡＤＳ）により制御される、または、ＡＤＳを少なくとも装備している車両のことを指すことができる。ＡＤＳは、手動で車両を制御できるエゴ運転手による何の物理的行動も要求されない自己運転機能を提供できる。自己運転機能は、例えば、人間の介在なしに、種々のセンサとソフトウェアを使用して車両を走行させ、または運転することを含むことができる。

車両シミュレータ２５３は、エゴ車両をシミュレートするモデルであってよい。車両シミュレータは、車両の物理的動きをシミュレートする車両動力学シミュレーション、車両の種々のユニット（例えば、エンジン、バッテリ、空調機など）をシミュレートする車両コントローラまたはユニットシミュレーション、および車両本体の構成要素（例えば、ライト、ドア、警告ランプなど）をシミュレートする車両本体シミュレーションを含むことができる。車両シミュレータ２５３は、自動車製造業者により供給することができ、および／または、特別な車両とその属性に対応することができる。

センサシミュレータ２５５は、エゴ車両の種々のセンサをシミュレートするモデルであってよい。センサシミュレータ２５５によりシミュレートできるセンサには、カメラ、ライダーセンサ、レーダーセンサなどを含むことができる。例えば、センサシミュレータ２５５は、シミュレートされたシーンのカメラ画像を出力できる。センサシミュレータ２５５によりシミュレートできるセンサはそれらに制限されず、エゴ車両の自己運転機能を提供することに適切であることができる他のセンサを含むことができる。

更に、格納装置２５０はまた、他のシミュレーションモデルに取って代わることができ、または１つ以上のコアシミュレータ２５１と統合またはそれにより実現できる１つ以上のダミーシミュレータ２５７を格納できる。ダミーシミュレータ２５７は、図４を参照して下記においてより詳細に記述される。

実施形態によれば、コアシミュレータ２５１、車両シミュレータ２５３、センサシミュレータ２５５、およびダミーシミュレータ２５７はメモリ２６０に格納でき、または、プロセッサ２１０により処理されるためにメモリ２６０に一時的に格納できる。

上記のように、端末装置３００の構成要素（例えば、プロセッサ３１０、通信インタフェース３２０、入／出力インタフェース３３０、ディスプレイ３４０、格納装置３５０、およびメモリ３６０）は、サーバ２００に関して上述した構成要素と同じに、またはそれと類似して構成できる。しかし、端末装置３００の構成要素は、サーバ２００の構成要素とは異なるように構成できるということは理解される。例えば、端末装置３００は、コアシミュレータ２５１、車両シミュレータ２５３、センサシミュレータ２５５、およびダミーシミュレータ２５７を格納していなくてもよく、自律運転ＯＳを格納していなくてもよい。正確に言えば、各端末装置３００は、開発中またはテスト中のアプリケーションを、自律運転シミュレーションアーキテクチャを使用して実行できる。この目的のため、端末装置３００は、メッセージとデータを、自律運転シミュレーションアーキテクチャを提供するサーバ２００に送信でき、そこからメッセージとデータを受信できる。

追加的に、実施形態によれば、ここにおいて開示されている方法と装置は、コンピュータプログラム製品のソフトウェアとして提供できる。コンピュータプログラム製品は、機械読み取り可能格納媒体（例えば、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ））の形で配布でき、または、アプリケーション店を通してオンラインで配布でき、または装置間で直接配布できる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部（例えば、ダウンロード可能アプリケーション）は、製造業者のサーバ、アプリケーション店におけるサーバ、または中継サーバにおけるメモリなどのような格納媒体に一時的に、または、少なくとも一時的に格納できる。

図３は、実施形態に係わる、自律運転シミュレーションアーキテクチャを提供する方法を例示しているフローチャートである。

実施形態によれば、自律運転シミュレーションアーキテクチャを提供する方法は、サーバ２００のプロセッサ２１０（図２において示されている）により命令を実行することを介して実行または制御される。

図３を参照すると、ステップＳ３０１において、実施形態に係わる共通自律運転シミュレーションアーキテクチャが提供される。例えば、共通自律運転シミュレーションアーキテクチャは、複数のシミュレーションデータモデルの１つ以上を、１つ以上のコアシミュレータと統合することにより提供される。複数のシミュレーションデータモデルはサーバ２００において提供でき、コアシミュレータは、同じサーバ２００または別個のサーバにおいて提供できる。１つ以上のシミュレーションデータモデルは、１つ以上のシミュレーションデータモデルの出力フォーマットと、コアシミュレータの入力フォーマットとの間でデータを変換するサーバ２００におけるインタフェース（シミュレーションデータモデルインタフェース）を介してコアシミュレータに接続できる。シミュレーションデータモデルインタフェースは、プロセッサ２１０により実行される命令により実現される１つ以上のインタフェースであってよい。更に、シミュレーションデータモデルインタフェースは、サーバ２００のシミュレータミドルウェアに含むことができる。

実施形態に係わる自律運転シミュレーションアーキテクチャは、複数のコアシミュレータ、例えば、ソフトウェアインザループシミュレーションのために構成または最適化されている第１コアシミュレータと、ハードウェアインザループシミュレーションのために構成または最適化されている第２コアシミュレータを含むことができる。複数のコアシミュレータは、異なるソースまたは異なるベンダからのものであってよい。シミュレーションデータモデルは、シミュレーションデータモデルとコアシミュレータとの間の選択的接続を介して（例えば、ユーザ入力、入力命令などに応答する論理スイッチの使用により）、およびそれぞれのコアシミュレータと開発中のアプリケーションとの間の選択的接続を介して、異なるコアシミュレータにより使用（再使用）できる。選択的接続は、ユーザの入力により制御できる（ＯＮ／ＯＦＦ）。

例として、１つ以上のシミュレーションデータモデルは、第１フォーマットまたはプロトコル（例えば、ＤＩＲＥＣＴ ＡＣＣＥＳＳ）におけるデータを入力および出力する車両シミュレーションモデル、第１フォーマットまたは第２フォーマットにおけるデータを入力および出力するセンサエミュレータまたはシミュレーションモデル、種々のシミュレーションシナリオにおいて使用可能な三次元アセット（例えば、メッシュ、材質、テクスチャ、アニメーションなど）などを含むことができる。シミュレーションデータモデルインタフェースは、第１フォーマットおよび／または第２フォーマットのデータを、コアシミュレータの第３メッセージフォーマット（例えば、ＧＲＰＣ）に変換し、またその逆の変換を行うように構成されている。

データ変換器を含んでいるシミュレーションデータモデルインタフェースの使用により、複数の異なるソースの任意のソースからのシミュレーションデータモデルを、複数の異なるコアシミュレータと統合できる。そのため、開示の実施形態は、エゴ車両に対するアプリケーションをテストするときの使用のための利用可能なシミュレーションモデルの数と多様性を増大する向上された自律運転シミュレーションアーキテクチャを提供する。

ステップＳ３０３において、１つ以上のスイッチは、１つ以上のシミュレーションデータモデルの少なくとも１つをコアシミュレータから選択的に切り離すように制御される。例えば、サーバ２００は、所与のシミュレーションのためにまたは特別なアプリケーションをテストするために要求されない、必要不可欠でない、または所望されていない少なくとも１つのシミュレーションデータモデル（または高精度モデル）に関する、直接ユーザ入力、または端末３００（例えば、アプリケーション開発者の端末）からの入力を受信できる。

実施形態によれば、サーバ２００のプロセッサ２１０は、通信インタフェース２２０を通して、端末装置３００からの入力コマンドおよびユーザによる入力を受信するように構成できる。ここで、入力コマンドは、端末装置３００の入／出力インタフェース３３０によりユーザから受信でき、受信した入力コマンドは、端末装置３００の通信インタフェース３２０を通してサーバ２００に送信できる。しかし、１つ以上の他の実施形態はそれに制限されず、入力コマンドは、サーバ２００の入／出力インタフェース２３０により直接受信できる。

上述したように、１つのアプリケーション（例えば、自律運転スタック）は、テストのためのコアシミュレータと統合またはそれにより実現された車両シミュレーションモデルとセンサシミュレーションモデルの両者を要求する可能性があり、一方、他のアプリケーション（例えば、知覚アプリケーション）は、センサシミュレーションモデルのみが、テストのためのコアシミュレータと統合またはそれにより実現されることを要求する可能性がある。後者の場合、車両シミュレーションデータモデル（または、高精度車両シミュレーションデータモデル）はスイッチを切ることができ、または、コアシミュレータから切り離すことができる。ここで、スイッチ（例えば、プロセッサ２１０により実行可能な命令）は、インタフェース（つまり、シミュレーションデータモデルインタフェース）を介してのコアシミュレータとの統合のために、車両シミュレーションデータモデルからダミーモデルに切り替えることにより、車両シミュレーションデータモデルを切り離すことができる。ダミーモデルは、切り離されたデータモデル（例えば、車両シミュレーションデータモデル）よりは精度が低く、および／または、複雑さの程度が低い。従って、ユーザは、アプリケーションをテストするために要求されない、または必要とされない車両シミュレーションモデルをコアシミュレータから切り離し、アプリケーションをテストするために要求され、または必要とされるセンサシミュレーションモデルを統合することのみを行うことにより処理負荷を削減できる。実施形態によれば、プロセッサ２１０は、格納装置２５０からダミーモデルを取得し、取得したダミーモデルを、インタフェースを介してコアシミュレータに統合するように構成できる。

ステップＳ３０５において、コアシミュレータは、アプリケーション開発者のクライアント装置またはシステムなどのような端末３００に接続される。コアシミュレータは、サーバ２００におけるインタフェース（共通インタフェース）を介して端末３００に接続される。共通インタフェースは、ミドルウェア、アプリケーションプログラミングインタフェース、共通オペレーティングシステム、または、サーバ２００により提供されるシミュレーションアーキテクチャと、端末３００における開発中の、またはテスト中のアプリケーションとのインタフェースを取る共通エコシステムの少なくとも１つを介して、コアシミュレータを端末３００に接続するように構成されている。共通インタフェースは、コアシミュレータのメッセージングフォーマット（例えば、ＧＲＰＣ）のデータを、共通オペレーティングシステムまたは、端末３００上のアプリケーションがシミュレートされるエコシステムの共通メッセージフォーマット（例えば、ＲＯＳ、ＲＯＳ２など）に変換し、およびその逆を行うために、プロセッサ２１０により実行される命令により実現される。

ステップＳ３０７において、シミュレーションを作動させ、アプリケーションは、シミュレーションデータモデルインタフェースと共通インタフェースを使用して、端末３００、コアシミュレータ、および接続されたシミュレーションモデルの間でメッセージとデータを変換することによりテストされる。シミュレーションデータモデルインタフェースおよび／または共通インタフェースは、サーバ２００において実行されるアプリケーションプログラミングインタフェース、ミドルウェアなどに含むことができる。

コアシミュレータを、アプリケーションをテストするために作動させると、アプリケーションの実行に従ってログデータを生成でき、このログデータは、その後、アプリケーションをデバッグするために、ログプレーヤにより使用または再生できる。例えば、自律運転スタックの場合、アプリケーションは、センサシミュレーションまたはエミュレータモデルでシミュレートされている２台のカメラからの画像データをコアシミュレータに入力でき、コアシミュレータは、２台のカメラからの入力画像データに基づいて、車両制御データを車両シミュレーションモデルに出力できる。このようにして、コアシミュレータは、２台のカメラからの入力画像データ、および、入力画像データに基づいてエゴ車両を制御する出力車両制御データに関して、シナリオを開発者により視覚化または研究できるアプリケーションをテストまたはシミュレートできる。そのような視覚的観測に基づいて、開発者は、例えば、２台のカメラの１つからの画像データを入力しないと決定でき、エゴ車両に対するより精度の高い車両制御データを、１台のみのカメラからの画像データに基づいて生成できるかどうかをテストするためにシミュレーションを再作動させることができる。

上述したように、サーバ２００は、１つ以上のシミュレーションデータモデルの出力フォーマットと、コアシミュレータの入力フォーマットとの間でデータを変換する１つ以上のシミュレーションデータモデルインタフェースを含んでいる。更に、サーバ２００は、コアシミュレータのデータまたはメッセージングフォーマットと、サーバ２００により提供されたアーキテクチャまたはエコシステムの共通フォーマットとの間でメッセージを変換することにより、コアシミュレータを端末に接続するための共通インタフェースを含んでいる。サーバ２００は更に、共通フォーマットと、端末３００のデータまたはメッセージングフォーマットとの間でデータまたはメッセージを変換するための追加的インタフェースを含むことができる。従って、実施形態は、データを異なるフォーマットで処理する異なるソースからの異なるモデルを統合できる共通シミュレーションアーキテクチャを提供する。

更に、サーバ２００は、シミュレーションモデルの１つ以上を選択的に切り離すための１つ以上のスイッチを含んでいる。従って、実施形態は、異なるタイプのアプリケーションの可変テスト要求を収容できる共通シミュレーションアーキテクチャを提供し、テスト中のアプリケーションの最小限の実現可能な要求を満たすカスタマイズされたシミュレーションツールを提供する。結果として、所与のアプリケーションをテストするためのコスト、処理負荷、および時間が削減される。

図４は、実施形態に係わる自律運転シミュレーションアーキテクチャを例示しているブロック図である。

上述したように、あるアプリケーションテスト環境においては、処理負荷を削減し、自律運転シミュレーションを実現することに関連するコストを削減するために、ダミーモデルを、より精度の高いシミュレーションデータモデルの代わりに提供できる。

図４を参照すると、実施形態に係わる自律運転シミュレーションアーキテクチャは、コアシミュレータ５００、第１高精度シミュレーションモデル４５３ａ、第１ダミーシミュレーションモデル４５３ｂ、第２高精度シミュレーションモデル４５５ａ、第２ダミーシミュレーションモデル４５５ｂ、第１スイッチ４７０ａ、第２スイッチ４７０ｂ、第１インタフェース４８０ａ、第２インタフェース４８０ｂ、および共通インタフェース４９０を含んでいる。上記の構成要素の１つ、幾つか、またはすべては、サーバ２００の少なくとも１つのプロセッサ２１０により実行される命令により実現でき、または、複数のサーバにわたり分散されたプロセッサにより実行される命令により実現できるということは理解される。１つの例として、コアシミュレータ５００および／または第１高精度シミュレーションモデル４５３ａは、１つ以上の別個のサーバにおいて提供できる。

コアシミュレータ５００は、シミュレーションを動作させるシナリオを作成、編集、および／または実行するシミュレーションツールである。コアシミュレータ５００を介して、アクタとそれらの動きと共に、シミュレーションの仮想世界を定義できる。コアシミュレータ５００は、コアシミュレータと同じサーバに格納されている、または別個のサーバに格納されている三次元アセットを使用してシナリオを作成または編集できる。更に、コアシミュレータ５００は、三次元アセットを描画するためのレンダラを含むことができる。三次元アセットは、メッシュ、材質、テクスチャ、およびアニメーション対象物を含むことができる。コアシミュレータ５００は、シミュレーションを動作させるシナリオを実行する。図４において例示されているアーキテクチャは、１つのコアシミュレータ５００を含んでいるが、実施形態はそれに制限されず、複数のコアシミュレータを提供できるということは理解される。例えば、第１コアシミュレータは、ソフトウェアインザプールシミュレータ（ＳＩＬＳ）であってよく、第２コアシミュレータは、ハードウェアインザプールシミュレータ（ＨＩＬＳ）であってよい。追加的スイッチおよび／または変換器は、所与のシミュレーションに対するコアシミュレータを端末３００およびシミュレーションデータモデルに選択的に接続し、選択的にコアシミュレータを切り離すために提供できる。

第１インタフェース４８０ａ（または、第１シミュレーションデータモデルインタフェース）は、第１シミュレーションモデル４５３ａの第１メッセージ（またはデータ）フォーマットを、コアシミュレータ５００の第３メッセージ（またはデータ）フォーマットに変換するための変換器を含んでいる。第２インタフェース４８０ｂ（または、第２シミュレーションデータモデルインタフェース）は、第２シミュレーションモデル４５５ａの第２メッセージ（またはデータ）フォーマットを、コアシミュレータ５００の第３メッセージ（またはデータ）フォーマットに変換するための変換器を含んでいる。ここで、第１メッセージフォーマットと第２メッセージフォーマットは同じであっても異なっていてもよい。２つのメッセージフォーマットが同じ場合、第１および第２インタフェース４８０ａおよび４８０ｂは、単一のインタフェースと置き換えることができる。上述したように、第１および第２インタフェース４８０ａおよび４８０ｂは、プロセッサにより実行可能な命令として実現でき、ミドルウェア、アプリケーションプログラミングインタフェース、または、サーバ２００のオペレーティングシステムの構成要素に含むことができる。

第１高精度シミュレーションモデル４５３ａと第２高精度シミュレーションモデル４５５ａは、自律車両の種々の構成要素をエミュレートするためのシミュレーションデータモデルである。例えば、第１高精度シミュレーションモデル４５３ａは、自律またはエゴ車両をシミュレートする車両シミュレーションモデルであってよい。車両シミュレーションモデルは、車両の物理的動きをシミュレートする車両動力学シミュレーション、車両の種々のユニット（例えば、エンジン、バッテリ、空調機など）をシミュレートする車両コントローラまたはユニットシミュレーション、および、車両本体の構成要素（例えば、ライト、ドア、警告ランプなど）をシミュレートする車両本体シミュレーションを含むことができる。更に、第２高精度シミュレーションモデル４５５ａは、カメラ、ライダーセンサ、レーダーセンサなどのような、エゴ車両の種々のセンサをシミュレートするセンサシミュレーションモデルであってよい。

図４の実施形態は、２つのみの高精度シミュレーションモデルを含んでいるとして例示されているが、１つ以上の他の実施形態に係わる自律運転シミュレーションアーキテクチャはそれに制限されず、３つ以上の高精度シミュレーションモデルを含むことができるということは理解される。

第１ダミーシミュレーションモデル４５３ｂと第２ダミーシミュレーションモデル４５５ｂはそれぞれ、第１高精度シミュレーションモデル４５３ａと第２高精度シミュレーションモデル４５５ａに対応しているが、精度はより低く、複雑さの程度はより低く、コストと処理時間はより少なく、および／または処理要請の程度もより低い。図４の実施形態は、２つのみのダミーシミュレーションモデルを含んでいるとして例示されているが、１つ以上の他の実施形態に係わる自律運転シミュレーションアーキテクチャはそれに制限されず、３つ以上または２つ未満のダミーシミュレーションモデルを含むことができるということは理解される。更に、１つの高精度シミュレーションモデルに対応して、２つ以上のダミーシミュレーションモデルを含むことができるということは理解される。例えば、複雑さおよび／または精度の異なる程度の２つ以上のダミーシミュレーションモデルを、１つの高精度シミュレーションモデルに対応して含むことができる。この場合、対応するスイッチは、複数のダミーシミュレーションモデルの１つに選択的に切り替えるように構成できる。

第１スイッチ４７０ａは、第１インタフェース４８０ａを介してのコアシミュレータ５００との接続のために、第１高精度シミュレーションモデル４５３ａと第１ダミーシミュレーションモデル４５３ｂと間で選択的に切り替える。同様に、第２スイッチ４７０ｂは、第２インタフェース４８０ｂを介してのコアシミュレータ５００との接続のために、第２高精度シミュレーションモデル４５５ａと第２ダミーシミュレーションモデル４５５ｂと間で選択的に切り替える。図４の実施形態は、２つのスイッチのみを含んでいるとして例示されているが、１つ以上の他の実施形態に係わる自律運転シミュレーションアーキテクチャはそれに制限されず、例えば、アーキテクチャに含まれているダミーシミュレーションモデルの数によっては、３つ以上または２つ未満のスイッチを含むことができるということは理解される。

共通インタフェース４９０は、コアシミュレータ５００と端末３００との間でメッセージを変換するための変換器を含んでいる。特には、変換器は、コアシミュレータ５００により出力されるメッセージとデータのメッセージングフォーマットを、コアシミュレータ５００の第３メッセージフォーマット（例えば、ＧＲＰＣ）から、自律運転シミュレーションアーキテクチャ４００のオペレーティングシステムまたはエコシステムの共通メッセージフォーマットであってよい第４メッセージフォーマットに変換する。例として、第４メッセージフォーマットは、ＲＯＳ、ＲＯＳ２などであってよい。更に、変換器は、コアシミュレータ５００に入力された（例えば、端末３００から）メッセージとデータのメッセージングフォーマットを、第４メッセージフォーマットから、コアシミュレータ５００の第３メッセージフォーマットに変換する。実施形態によれば、共通インタフェース４９０はまた、１つ以上のコアシミュレータを選択的に接続、および／または、端末３００から選択的に切り離す１つ以上のスイッチを含むことができる。

入力されたコマンド（例えば、シミュレーションアーキテクチャのユーザまたは管理者から）、命令、または特定の実現形態設計に基づいて、上記の１つ以上のスイッチは、特別な顧客（例えば、アプリケーション開発者）に対して、またはテストされる特別なアプリケーションに対してカスタマイズされた共通シミュレーションアーキテクチャからシミュレーションツールまたはパッケージを提供するように制御できる。例えば、１つの実現形態においては、シミュレーションツールは、第１高精度シミュレーションモデル４５３ａを切り離し、第１ダミーシミュレーションモデル４５３ｂを接続するように第１スイッチ４７０ａを動作させることによりカスタマイズできる。

更に詳細には、自律運転スタックなどのようなアプリケーションは、テストのためのコアシミュレータと統合またはそれを有して実現された車両シミュレーションモデルとセンサシミュレーションモデルの両方を要求する可能性があるが、一方、知覚アプリケーションなどのような他のアプリケーションは、センサシミュレーションモデルのみが、テストのためのコアシミュレータと統合またはそれを有して実現されることを要求する可能性がある。後者の場合、第１スイッチ４７０ａは、接続されたモデルを、車両シミュレーションモデルに対応する第１高精度シミュレーションモデル４５３ａから、第１ダミーシミュレーションモデル４５３ｂに切り替えることができる。従って、カスタマイズされたシミュレーションツールまたはパッケージは、アプリケーション開発者またはテストを行う人間に提供でき、コスト、演算の複雑さの程度、処理負荷、および処理時間を削減する。例えば、カスタマイズされたシミュレーションツールは、所与のアプリケーションをテストするための最小限の実現可能な要求を満たすために提供できる。

上記の例は、１つの高精度シミュレーションモデルを、１つのダミーシミュレーションモデルと置き換えることを記述しているのみであるが、実施形態はそれに制限されず、スイッチ４７０ａと４７０ｂは、所与のアプリケーションをテストするために、複数の高精度シミュレーションデータモデルと複数のダミーシミュレーションデータモデルを選択的に切り替えることができるということは理解される。

開示の実施形態が示され記述されてきたが、開示の実施形態は前述の特定の実施形態に制限されない。種々の修正、置換、および改良を、開示が属する技術分野においてこの技術における通常の技量を有する者により、付随する特許請求の範囲により請求されているような開示の精神から逸脱することなく行うことができるということは理解され得る。そのような修正、置換、および改良は、開示の保護される範囲内であり、開示の技術的思想または将来性とは無関係に解釈されるべきではないということは理解されるべきである。

Claims (15)

1. アプリケーションをテストするための自律運転シミュレーションアーキテクチャを提供するためのサーバであって、
   複数のシミュレーションデータモデルを格納している格納装置と、
   少なくとも１つのプロセッサを備え、
   前記少なくとも１つのプロセッサは、
   前記複数のシミュレーションデータモデルを、前記アプリケーションをテストするための自律運転シミュレーションを作動させる第１コアシミュレータと統合するための少なくとも１つの第１インタフェースと、
   前記第１コアシミュレータを、前記アプリケーションを提供するクライアント装置に選択的に接続するための共通インタフェースと、
   前記複数のシミュレーションデータモデルの中の第１シミュレーションデータモデルを、前記第１コアシミュレータから選択的に切り離すための第１スイッチと、
   を実現するために命令を実行するように構成されていることを特徴とするサーバ。
2. 前記第１スイッチは、前記少なくとも１つの第１インタフェースを介しての、前記第１コアシミュレータとの統合のために、前記第１シミュレーションデータモデルから第１ダミーモデルに切り替えることにより、前記第１シミュレーションダミーモデルを切り離し、
   前記第１ダミーモデルは、前記第１シミュレーションデータモデルよりも精度が低いことを特徴とする請求項１に記載のサーバ。
3. 前記少なくとも１つのプロセッサは更に、前記複数のシミュレーションデータモデルの１つ以上を第２コアシミュレータと接続するための少なくとも１つの第２インタフェースを実現するために前記命令を実行するように構成されていることを特徴とする請求項１又は２に記載のサーバ。
4. 前記共通インタフェースは、前記第１コアシミュレータまたは前記第２コアシミュレータを前記クライアント装置に選択的に接続することを特徴とする請求項３に記載のサーバ。
5. 前記少なくとも１つのプロセッサは更に、前記第１コアシミュレータとの統合のために、前記複数のシミュレーションデータモデルの中の第２シミュレーションデータモデルと、第２ダミーモデルとの間を選択的に切り替えるための第２スイッチを実現するために前記命令を実行するように構成されていることを特徴とする請求項１又は２に記載のサーバ。
6. 前記複数のシミュレーションデータモデルは、エゴ車両をシミュレートするための車両シミュレーションモデルと、前記エゴ車両の１つ以上のセンサをシミュレートするためのセンサシミュレーションモデルを備えていることを特徴とする請求項１又は２に記載のサーバ。
7. 前記少なくとも１つの第１インタフェースは、前記複数のシミュレーションデータモデルの１つ以上のデータフォーマットと、前記第１コアシミュレータのデータフォーマットとの間でデータを変換するように構成されていることを特徴とする請求項１又は２に記載のサーバ。
8. アプリケーションをテストするための自律運転シミュレーションアーキテクチャを提供するための方法であって、
   複数のシミュレーションデータモデルを、前記アプリケーションをテストするための自律車両シミュレーションを作動させる第１コアシミュレータと統合することと、
   前記複数のシミュレーションデータモデルの中の第１シミュレーションデータモデルを、前記第１コアシミュレータから選択的に切り離すことと、
   前記第１コアシミュレータを、前記アプリケーションに選択的に接続すること、
   を備えていることを特徴とする方法。
9. 前記第１シミュレーションデータモデルを、前記第１コアシミュレータから前記選択的に切り離すことは、
   前記第１コアシミュレータとの統合のために、前記第１シミュレーションデータモデルから第１ダミーモデルに切り替えることにより、第１シミュレーションダミーモデルを切り離すように第１スイッチを制御することを備え、
   前記第１ダミーモデルは、前記第１シミュレーションデータモデルよりも精度が低いことを特徴とする請求項８に記載の方法。
10. 前記複数のシミュレーションデータモデルの１つ以上を第２コアシミュレータと接続することを更に備えていることを特徴とする請求項８又は９に記載の方法。
11. 前記第１コアシミュレータまたは前記第２コアシミュレータを、共通インタフェースを介してクライアント装置に選択的に接続することを更に備えていることを特徴とする請求項１０に記載の方法。
12. 前記第１コアシミュレータとの統合のために、前記複数のシミュレーションデータモデルの中の第２シミュレーションデータモデルと、第２ダミーモデルとの間を選択的に切り替えるように第２スイッチを制御することを更に備えていることを特徴とする請求項８又は９に記載の方法。
13. 前記複数のシミュレーションデータモデルは、エゴ車両をシミュレートするための車両シミュレーションモデルと、前記エゴ車両の１つ以上のセンサをシミュレートするためのセンサシミュレーションモデルを備えていることを特徴とする請求項８又は９に記載の方法。
14. 前記複数のシミュレーションデータモデルの１つ以上のデータフォーマットと、前記第１コアシミュレータのデータフォーマットとの間でデータを変換することを更に備えていることを特徴とする請求項８又は９に記載の方法。
15. 方法を実行するために、少なくとも１つのプロセッサにより実行可能な命令を格納している非一時的コンピュータ読み取り可能格納媒体であって、前記方法は、
    複数のシミュレーションデータモデルを、アプリケーションをテストするための自律車両シミュレーションを作動させる第１コアシミュレータと統合することと、
    前記複数のシミュレーションデータモデルの中の第１シミュレーションデータモデルを、前記第１コアシミュレータから選択的に切り離すことと、
    前記第１コアシミュレータを前記アプリケーションに選択的に接続することと、
    を備えていることを特徴とする非一時的コンピュータ読み取り可能格納媒体。