JP2024008926A - センサデータ生成方法、装置、システム及び記憶媒体 - Google Patents

Abstract

【課題】関連技術に存在する時間や労力の消耗という課題を解決するために、主にセンサデータ生成方法、装置、システムを提供する。【解決手段】需要側から送信されるターゲットセンサの故障種類を受信することと、前記ターゲットセンサの故障種類に対応する命令を生成し、前記命令が故障パラメータを含み、前記故障パラメータが前記故障種類の注入方式と故障発生確率を含むことと、前記故障種類の注入方式と故障発生確率に基づいて前記故障種類を有するターゲットセンサデータを取得する。【選択図】図２

Description

本願は知能化運転技術分野に関し、具体的にセンサデータ生成方法、装置、システム及び記憶媒体に関する。

自動運転システムの試験中に、車両に設けられるセンサによってデータを収集すると共に、収集されたセンサデータに基づいて測位、感知、意思決定又は制御論理演算を実現する必要がある。

現在、センサデータの取得について、自動運転システムが実際のセンサデータに基づいて正確な意思決定などの情報を出力するように、主に自動運転車両を利用して実際の物理シーンで実際試験を行って実際のセンサデータを収集する。ところが、このような方式は、人力や物資が消耗され、試験の効率が低く、特に特殊シーン（例えば、暴雨や落雷などの悪天候）でセンサデータを取得する場合、潜在的なハザードが生じやすく、有効データの収集効率が低い。

本願は、関連技術に存在する時間や労力の消耗という課題を解決するために、主にセンサデータ生成方法、装置、システムを提供することを目的とする。

上記目的を実現するために、第１の態様において、本願は、
需要側から送信されるセンサの故障種類に関する情報を受信することと、
センサの故障種類に対応する命令を生成し、命令が故障パラメータを含み、故障パラメータが故障種類の注入方式と故障発生確率を含むことと、故障種類の注入方式と故障発生確率に基づいて当該故障種類を有するターゲットセンサデータを取得することと、を含む、センサデータ生成方法を提供する。

第２の態様において、本発明の実施例は、

需要側から送信されるターゲットセンサの故障種類に関する情報を受信する受信モジュールと、
ターゲットセンサの故障種類に対応する命令を生成し、命令が故障パラメータを含み、故障パラメータが故障種類の注入方式と故障発生確率を含む命令生成モジュールと、
故障種類の注入方式と故障発生確率に基づいて当該故障種類を有するターゲットセンサデータを取得するセンサデータ生成モジュールと、を含む、センサデータ生成装置を提供する。

第３の態様において、本発明の実施例は、
需要側から送信されるセンサの故障種類に関する情報を受信すると共に、センサの故障種類に対応する命令を生成し、命令が故障パラメータを含み、故障パラメータが故障種類の注入方式と故障発生確率を含むコンピューティングデバイスと、
コンピューティングデバイスから送信される当該命令を受信すると共に、当該故障種類の注入方式と故障発生確率に基づいて当該故障種類を有するターゲットセンサデータを生成するシミュレーションデバイスと、を含む、センサデータ生成システムを提供する。

第４の態様において、本発明の実施例は、メモリと、プロセッサと、メモリに記憶されると共にプロセッサで実行可能なコンピュータプログラムとを含み、プロセッサによってコンピュータプログラムを実行する場合に上記何れか１つのセンサデータ生成方法のステップを実現する、コンピューティング装置を提供する。

第５の態様において、本発明の実施例は、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される場合に上記何れか１つのセンサデータ生成方法のステップを実現する、コンピュータ読み取り可能な記憶媒体を提供する。

本発明の技術案にターゲットセンサの故障種類の注入メカニズムを追加すると共に、故障種類に基づいて異なるシーンに対応するターゲットセンサデータをレンダリングして、オフライン環境でターゲットセンサデータをレンダリングするだけでなく、特殊シーンにおけるターゲットセンサデータを含む事務所で様々なシーンをそのままレンダリングすることで、使用される実際試験のリソースが減少される。

また、本技術案は、より現実的なセンサモデル（即ちバーチャルセンサモデル）を更に提出し、異なるセンサに対して時系列モデリングを行って、モデルの真実性を十分に保証することで、知能化運転システムのシミュレーション環境における実行が実世界における実行と差異はなくなる。また、本技術案は、取得されるターゲットセンサデータを逆解析して最もオリジナルなセンサデータを取得すると共に、自動運転ソフトウェアシステム（又はダウンストリームサーバとも呼ばれる）に送信し、システムにおけるセンサノードによってデータを解析してから感知などのアルゴリズムモジュールに接続することで、シミュレーション環境と現実環境における計算力使用の真実性及び一致性を保証する。

本願の一部を構成する図面は、本願を深く理解するためのものであり、本願のその他の特徴、目的、優位性をより目立たせるためのものである。本願の模式的な実施例図面及びその説明は、本願を解釈するためのものであるが、本願を不適切に限定するものではない。図面において、
本発明の実施例により提供されるセンサデータ生成方法の適用シーンの模式図である。 本発明の実施例により提供されるセンサデータ生成方法を実現するフローチャートである。 本発明の実施例により提供されるレーザレーダ高反射シーンにおける「鏡像」現象の模式図である。 本発明の一実施例により提供されるセンサデータ生成システムの構造模式図である。 本発明の実施例により提供されるセンサデータに対応する露光又は走査時間の模式図である。 本発明の別の実施例により提供されるセンサデータ生成システムの構造模式図である。 本発明の実施例により提供されるセンサデータ生成装置の構造模式図である。 本発明の別の実施例により提供されるセンサデータ生成方法のフローチャートである。 本発明の別の実施例により提供されるセンサデータ生成システムの構造模式図である。 本発明の実施例により提供されるコンピューティング装置の模式図である。

以下、本発明の実施例の目的、技術案及び優位性をより明確にするために、本発明の実施例における図面を参照しながら、本発明の実施例における技術案を明確で完全に説明するが、説明される実施例は本発明の一部の実施例に過ぎず、全ての実施例ではない。本発明における実施例に基づき、当業者が創造的な工夫せずに得た他の実施例の全ては、本発明の請求の範囲に属する。

本発明の明細書、特許請求の範囲及び上記図面における「第１」「第２」「第３」「第４」など（存在する場合）の用語は、類似する対象を区別するために使用され、必ず特定の順序又は優先順位を説明するために使用されるわけではない。このように使用されるデータは、ここで説明される本発明の実施例が、ここで図示又は説明されたもの以外の順序で実施できるように、適当な場合に互いに交換してもよいと理解すべきである。

本発明の様々な実施例において、各プロセスの番号の大きさは実行順序の優先度を意味するわけではなく、各プロセスの実行順序はその機能及び内部ロジックによって決定されるものであり、本発明の実施例の実施プロセスを限定するものではないと理解すべきである。

本発明において、「含む」及び「有する」並びにこれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップやユニットを含むプロセス、方法、システム、製品又は機器は明確に挙げられたステップやユニットに限定されず、明確に挙げられていない、又はこれらのプロセス、方法、製品や機器に固有の他のステップやユニットを含んでもよいと理解すべきである。

本発明において、「複数」は２つ以上を指すと理解すべきである。「及び／又は」は関連対象の関連関係を記述するものに過ぎず、３種類の関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合と、Ａ及びＢが同時に存在する場合と、Ｂが単独で存在する場合との３つの状況を示すことができる。「／」という符号は一般的に前後の関連対象が「又は」の関係であることを示す。「Ａ、Ｂ及びＣを含む」「Ａと、Ｂと、Ｃとを含む」はＡ、Ｂ、Ｃの三者を含むことを示し、「Ａ、Ｂ又はＣを含む」はＡ、Ｂ、Ｃの三者の１つを含むことを示し、「Ａ、Ｂ及び／又はＣを含む」はＡ、Ｂ、Ｃの三者の何れか１つ、２つ又は３つを含むことを示す。

本発明において、「Ａに対応するＢ」「Ａに相応するＢ」「ＡがＢに相応する」又は「ＢがＡに相応する」はＢがＡに関連することを示し、ＡによってＢを決定できると理解すべきである。ＡによってＢを決定することはＡによってＢを決定することだけ意味せず、Ａ及び／又はその他の情報によってＢを決定してもよい。ＡとＢのマッチングとは、ＡとＢの類似度が事前に設定される閾値以上である。

ここで使用される「もし」は、文脈によって解釈が異なるが、例えば、「......際に」「......場合に」「決定することに応答して」又は「検出することに応答して」と解釈してもよい。

以下、具体的な実施例により本発明の技術案について詳しく説明する。下記の幾つかの具体的な実施例は互いに参照できるが、同一の又は類似する概念又はプロセスについて、特定の実施例では説明を省略できる。

本発明の目的、技術案、優位性をより明確にするために、以下、図面を参照して具体的な実施例により説明する。

本願により提供されるセンサデータ生成方法は、図１に示される適用環境に適用できる。そのうち、需要側１０２がコンピューティングデバイス１０４と通信する。コンピューティングデバイス１０４は需要側１０２から送信されるターゲットセンサの故障種類を受信してから、ターゲットセンサの故障種類に対応する命令を生成すると共に、命令に基づいて故障種類を有するターゲットセンサデータを取得する。そのうち、需要側１０２とコンピューティングデバイス１０４が同一機器であってもよく、需要側１０２がコンピューティングデバイス１０４とワイヤレスネットワークなどの任意の通信方式により通信してもよい。そのうち、需要側１０２は故障種類の配置機能を有する任意の装置又は機器であり、ユーザーのコンピュータなどのクライアントであってもよく、クラウドサーバであってもよく、また、需要側１０２が１つ又は複数であってもよい。コンピューティングデバイス１０４は独立したコンピューティングデバイス又は複数のコンピューティングデバイスからなるコンピューティングクラスタにより実現できる。

幾つかの実施例において、コンピューティングデバイス１０４が更にシミュレーションデバイス１０６と通信接続してもよい。そのうち、需要側１０２が第１のコンピューティングデバイスであり、コンピューティングデバイス１０４が第２のコンピューティングデバイスであり、シミュレーションデバイス１０６が第３のコンピューティングデバイスである。シミュレーションデバイスにプロセッサとメモリが配置されると共に、シミュレーションデバイスがシミュレーションシーン及びシミュレーションシーンにおける様々な静的エンティティ又は動的エンティティを表示できる。シミュレーションシーンはシミュレーション地図、天気環境などのシミュレーションに必要な静的情報を含み、シミュレーション地図として高精度地図を利用してもよい。シミュレーション地図に表示される情報は道路標識、道路属性、車線、速度制限情報、勾配情報、道路材質、道路走行円滑性を含むがこれらに限定されない。道路属性は高速道路、都市道路、ランプ、丁字路、十字路、ラウンドアバウト、トンネルなどを含むがこれらに限定されず、制限速度情報は最高速度、最低速度などを含む。勾配情報は勾配の角度及び勾配の長さなどを含む。道路材質はコンクリート舗装道路、アスファルト舗装道路、砂土舗装道路などを含む。道路走行円滑性は、水たまりの有無、窪みの有無などを含む。また、シミュレーション地図に道路上のインフラが更に表示され、インフラは信号機、遮断機、ロードコーン、バリケードなどを含むがこれらに限定されない。シミュレーションシーンに試験対象のバーチャル車両と当該バーチャル車両の周辺の環境車両が運転しており、バーチャル車両が環境車両及び各道路インフラに基づいて経路計画と意思決定制御を行う。

また、コンピューティングデバイスは各センサの配置項目をシミュレーションデバイスに事前に送信でき、当該配置項目がバーチャル車両に対するセンサの位置と角度を含む。シミュレーションデバイスは各センサの配置項目を受信してから、バーチャル車両の対応位置に対応センサを模擬すると共に、センサモデルに基づいて周辺の環境データをレンダリングできる。模擬されるセンサがバーチャルセンサとも呼ばれ、当該バーチャルセンサとターゲットセンサ（又は物理センサとも呼ばれ）が同じ内部パラメータと外部パラメータ、同じ姿勢などの同じパラメータを有するため、当該バーチャルセンサは当該物理センサを示す。バーチャル車両に複数のセンサを異なる位置と角度で模擬できる。当該複数のセンサはバーチャル車両に出現してもよい。バーチャルセンサは１つの点、１つの枠又は１つの丸などの任意の記号で示してもよく、勿論、これらに限定されない。バーチャルセンサは当該バーチャル車両に出現しなくてもよく、当該バーチャルセンサとバーチャル車両の相対的な位置と相対的な角度が分かれば、各バーチャルセンサの出現すべき位置と角度を決定でき、その後、当該センサの位置と角度に基づいて周辺の環境データをレンダリングする。

幾つかの実施例において、コンピューティングデバイス１０４が更に記憶機器１０８（データ記憶機器とも呼ばれ、例えば、データベース）と通信接続してもよく、道路で実際に走行する車両から収集される路上試験データがデータ記憶機器に記憶される。また、路上試験中に事前に記憶される各種類の故障が発生する場合のシーン情報がデータ記憶機器に更に記憶してもよく、シーン情報は自車車速、自車姿勢、環境エンティティの分布、環境エンティティの速度と姿勢、天気、地図などを含むがこれらに限定されない。

一実施例において、図２に示されるように、センサデータ生成方法を提供し、当該方法を図１におけるコンピューティングデバイス１０４に適用する場合を例として説明し、下記ステップを含む。

ステップＳ２０１：需要側から送信されるターゲットセンサの故障種類に関する情報を受信する。即ち、需要側から送信されるターゲットセンサの故障種類を含む請求を受信する。また、ターゲットセンサの標識を更に受信してもよく、当該標識がターゲットセンサの種類と番号を含む。センサ標識がセンサの種類と番号を指示し、例えば、１番は中距離レーザレーダであり、２番は長焦点撮影カメラである。撮影カメラセンサの種類は、短焦点撮影カメラ、長焦点撮影カメラ、魚眼撮影カメラを含むがこれらに限定されない。レーザレーダセンサの種類は、短距離レーザレーダ、中距離レーザレーダ、長距離レーザレーダを含むがこれらに限定されない。ユーザーは需要側又はコンピューティングデバイスにおける配置ページにテストの配置項目を１回配置することができる。当該配置ページは様々なメニューバーを提供し、ドロップダウンリスト、入力ボックス、オプションボックス、ターゲットセンサを生成するための標識、発生する必要がある故障種類などの配置項目を含むがこれらに限定されない。更に、ユーザーは故障継続時間（例えば、電源切れの継続時間）などの当該故障に必要なパラメータ値を決定してもよい。

そのうち、ターゲットセンサは画像収集装置、ポイントクラウド収集装置、統合ナビゲーションデバイスの少なくとも１つを含む。画像収集装置が車載撮影カメラ、車載カメラなどであってもよく、ポイントクラウド収集装置がレーザレーダ、ミリ波レーダを含むがこれらに限定されなく、統合ナビゲーションデバイスが全地球測位システムセンサ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、ＧＮＳＳ）、慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、ＩＭＵ）を含んでもよい。なお、画像収集装置、ポイントクラウド収集装置、統合ナビゲーションデバイスが上記具体的な例に限定されない。また、ターゲットセンサは、車輪回転計、レーダ（ＲＡＤＡＲ）ユニット、音響センサ、酸素モニタ、燃料計センサ、エンジン油圧センサなどのその他のセンサを更に含んでもよい。各センサは対応する幾つかの故障種類が発生する。本開示は各故障種類の発生に必要なパラメータ項目を設ければ、当該故障種類が再現できる。

故障種類は第１の故障種類、第２の故障種類の少なくとも１つを含む。第１の故障種類はデータ品質故障、センサ位置故障、センサハードウェア故障の少なくとも１つを含む。データ品質故障とは受信されるデータに異常データが存在することである。ここでのデータがセンサ種類によって決まる。センサが車載撮影カメラである場合、データが画像データである。この場合、データ品質故障とは一部の画像データの欠落による画像のぼやけである。センサ位置故障とは、センサのターゲット位置パラメータと事前に設定される位置パラメータとの差異が大きいこと、又はセンサの目標位置パラメータが事前に設定される閾値を超えることであり、センサの内部パラメータ変化と外部パラメータ変化を含む。センサ位置故障は、双眼ピッチ（ｐｉｔｃｈ）角の差異が大きいことであり、即ち、改造又は長期間稼動の構造ガタツキによる双眼モジュールのピッチ角の差異が大きくなることで、下流アルゴリズムモジュールの精度に影響することであってもよい。センサハードウェア故障とは、センサのターゲットハードウェアパラメータと事前に設定されるハードウェアパラメータとの差異が大きいこと、又はセンサのターゲットハードウェアパラメータが事前に設定される閾値を超えることである。センサハードウェア故障は、センサそのもののハードウェア、接続線などによる通信遮断によってノードがデータを正確に受信できないことであってもよい。第２の故障種類はデータ伝送故障を含み、データ伝送故障はデータフレーム損失、フレーム落ち、エラーフレームの少なくとも１つを含む。

本実施例において、需要側から送信されるセンサの故障種類に関する情報を受信することは、下記少なくとも１つの場合を含む。第１の場合として、センサが画像収集装置を含み、画像収集装置の第１の故障種類が画像のモザイキング、画像の縞模様、画像の色収差、画像の眩輝、画像のゴーストイメージ、画像の露光異常、レンズの異物付着、撮影カメラのフォーカスシフト、撮影カメラのガタツキ、撮影カメラの電源切れの少なくとも１つを含む。第２の場合として、センサがポイントクラウド収集装置を含み、ポイントクラウド収集装置の第１の故障種類がポイントクラウドの識別度無し、過剰のノイズポイント、ポイントクラウドのゴーストイメージ、ポイントクラウドの鏡像、ポイントクラウドの点欠落、通信の途切れ、センサのガタツキ、センサ表面の異物付着の少なくとも１つを含む。第３の場合として、センサが統合ナビゲーションデバイスを含み、統合ナビゲーションデバイスの第１の故障種類が方向角のミス、測位精度の偏差、通信の途切れ、センサのガタツキの少なくとも１つを含む。

なお、上記３つの場合に限定されず、ターゲットセンサは故障種類と任意に組合せてもよく、例えば、上記画像収集装置、ポイントクラウド収集装置、統合ナビゲーションデバイスをそれぞれ第２の故障種類と組合せて、対応する故障現象を起こしてもよいが、ここで詳しく説明しない。

上記のように、センサの主な故障種類について種類ごとに例を挙げたが、ここで故障種類として、撮影カメラのハードウェア任意組合せによるシャットダウン後の再接続及びレーザレーダ高反射に存在可能な「鏡像」について、それぞれ実例で説明する。

撮影カメラのハードウェア任意組合せによるシャットダウン後の再接続について、本開示はセンサのＩＤとシャットダウン時間の長さなど、２つの次元の配置項目を提供し、ユーザーが需要側又はコンピューティングデバイスの配置ページに必要とされる故障種類を配置し、命令をコンピューティングデバイスにおける故障注入モジュールに伝送して、故障注入モジュールによって命令に基づいてバーチャルセンサプロトコルの一環で対応するＩＤのセンサに対してオンオフ制御を行う。

レーザレーダ高反射シーンに存在可能な「鏡像」について、ポイントクラウドにおける点が実質的にレーザによる有効的な距離測定の結果であるため、且つセンサ固有特性の限界性があるため、レーザの進行経路で反射が複数回発生する可能性があり、現在の方位角で間違った距離測定の結果が出て、即ち、本来物体のない空間にレーザポイントクラウド、通称「鏡像」が発生する。図３において、ｅｇｏ車両が試験対象のバーチャル車両であり、プラス記号がレーザレーダであり、ｎｐｃ車両が自車両（ｅｇｏ）近くにある環境車両であり、ｎｐｃ'が当該ｎｐｃ車両の鏡像車両である。本来、ｅｇｏ車両がｎｐｃ車両のポイントクラウドデータを収集するはずであるが、レーザレーダから複数の方向へ照射される複数本のビームがあり、更にレーザの進行経路で反射が発生するため、自車両（ｅｇｏ）がレーザレーダによって収集されるデータの一部はｎｐｃ車両からのものであり、別の一部は当該ｎｐｃ車両の鏡像車両からのものであり、そのため、間違った結果が出る。

「鏡像」という課題が知能化運転感知モジュールに大きな影響を与えるため、不適切な処理によって誤検出、検出漏れなどの不具合が起きる場合、知能化運転の安全性に重大な影響を与える。このようなシーンに対応するために、本開示は「鏡像」ポイントクラウドの産生確率配置を提供し、需要側又はコンピューティングデバイスにシミュレーションシーンにおける鏡像ポイントクラウドの発生確率を配置し、故障注入モジュールによってバーチャルセンサモデルを修正することで、当該確率情報をレーザレーダのセンサモデルにコードし、特定のシミュレーションシーンにおいてシミュレーションデバイスによって配置される確率に基づいて「鏡像」という課題を生成する。知能化運転システムの観点から、取得されるポイントクラウド情報と物理的な実世界の「鏡像」という課題とは区別がなく、現実的な物理世界における鏡像課題を反映できる。

配置ページにおける上記配置によって、故障発生確率の配置インターフェースによって大量なシーンデータが発生でき、実際のシーンに依存せず、感知モデルのトレーニングに大量なデータを提供する一方、大量な配置可能な試験例を提供することで、感知モデルの汎化性能と知能化システムのロバスト性を容易に測定できる。

ステップＳ２０２：ターゲットセンサの故障種類に対応する命令を生成する。即ち、当該故障種類を含む情報又は請求に基づいて当該命令を生成する。

そのうち、命令がターゲットセンサの標識と当該故障種類を生成する故障パラメータを含む。そのうち、故障パラメータが故障種類の注入方式と故障発生確率を含む。また、故障パラメータが故障発生時間の長さ、故障発生時のセンサの内部パラメータ及び外部パラメータの少なくとも１つを更に含んでもよい。

幾つかの実施例において、故障種類の注入方式は路上試験データの処理方式と、センサの内部パラメータ及び外部パラメータの少なくとも１つの調整と、の少なくとも１つを含む。路上試験データの処理方式は、画像データの処理方式、ポイントクラウドデータの処理方式、測位データの処理方式の少なくとも１つを含む。そのうち、画像データの処理方式は、隣り合う連続的な２フレームの画像のモザイキング、画像への縞模様の追加、画像輝度又はコントラストの調整、画像露光値の調整、画像への陰影やゴーストイメージの追加、画像における特定箇所の黒染め、画像における特定箇所の遮蔽（撮影カメラの異物付着を模擬）、画像のぼかしなどの少なくとも１つを含む。これらの方式が上記で言及される画像収集装置の故障種類を実現することに対応する。ポイントクラウドデータの処理方式は、ポイントクラウドの点の識別度の調整、複数のノイズポイントの新規追加、ポイントクラウドの一部の点の鏡像処理、ポイントクラウドの一部の点の削除、特定箇所のポイントクラウドの点の削除（レーザレーダの異物付着を模擬）、ポイントクラウドのぼかしの少なくとも１つを含む。測位処理の処理方式は、測位データ値の修正（例えば数値を全体的に１つ増加）、異常変異値の設定、測位データのばらつき方変化の生成などの少なくとも１つを含む。センサの内部パラメータの調整は、例えば、撮影カメラの露光値、ゲイン値、焦点距離などの調整である。センサの外部パラメータの調整は、例えば、センサ同士の変換マトリクスなどの調整、センサ同士の位置と角度などの調整である。これらの方式が上記で言及されるポイントクラウド収集装置の故障種類を実現することに対応する。

故障発生確率は、センサデータに当該故障が出現するはずの確率を示す。例えば、発生確率が１００００分の１である場合、当該センサデータに１００００フレームにつき当該故障が１回出現すると考えてもよい。当該１００００フレームのうちのどの１フレームに故障が出現したかというと、ランダムで選択してもよく、カノニカル分布、ガウス分布、周期的分布（数フレームごとに故障１回）などの特定の分布規律に基づいて選択してもよく、本開示はこれについて限定されない。また、本開示は故障分布規律を更に設けてもよく、例えば、撮影カメラの遮蔽故障を模擬する場合、撮影カメラの異なる位置が遮蔽されるように設け、即ち、撮影カメラのイメージング領域を複数の領域に分けて、特定の分布規律に基づいてその都度遮蔽される領域を設けてもよい。故障発生時間の長さは、センサの電源切れ時間の長さ、画像のモザイキング時間の長さ、センサの異物付着時間などの故障継続時間を含む。

幾つかの実施例において、故障パラメータは故障発生タイミングを更に含んでもよく、即ち、各故障種類が好適にどのシーンで生成するかを決定し、当該特定のシーンに達成した場合、事前に配置される確率で対応する故障を発生させる。従って、本開示は、実際の路上試験中に各故障が発生する場合の物理シーンを事前に記憶して、シミュレーションデバイスにおけるシミュレーションシーンと当該故障種類に対応する物理シーンとの類似度を検出するが、類似度が所定の閾値に合致する場合に応答して、当該時点から故障を発生させ、最終的に当該故障の出現確率が事前に設定される故障発生確率に合致する。当業者が必要に応じて当該所定の閾値を設定してもよく、本開示はこれについて限定しない。

例えば、センサジッタ故障が起伏路面に発生しやすいため、本開示は、シミュレーションデバイスの道路の起伏程度を検出し、道路の起伏程度と実際のシーンにおける道路の起伏程度が類似する場合、センサジッタ故障を発生させて、事前に配置される確率に基づいて撮影カメラにジッタを発生させる。当業者が必要に応じてシミュレーションシーンと物理シーンとの類似度の評価基準を設定してもよく、本開示はこれについて限定しないと理解すべきである。例えば、全部又は一部のシーン情報をベクトル値にベクトル化して、ベクトル値同士の類似度を比較する。ここで、故障種類によって重要なシーン情報が異なり、例えば、センサジッタ故障が道路の起伏程度に比較的に関連するため、当該故障を道路の起伏程度と重点的に比較してもよい。

また、本開示は、記憶される同一の故障種類が複数回発生する場合の複数のシーン情報について統計して分析し、当該故障種類が発生する場合の最も可能なシーン情報を取得して、当該故障種類に対応する物理シーン、及びシミュレーションプラットフォームにおける故障発生タイミングの参照としてもよい。

更に、故障種類に対応する故障パラメータを設定することで、特定の故障種類の異なる故障形態を実現できる。故障種類が画像のモザイキングである場合、例えば、継続的な３フレームをモザイキングとするなど、画像のモザイキング時間の長さを設定してもよく、或いは、例えば、１００００フレームにつき１回の画像モザイキング出現など、画像のモザイキングの確率を設定してもよい。画像モザイキングの故障パラメータは、１フレーム前画像の後のｍ行画素と現在フレーム画像の前のｎ行画像とのモザイキングを更に含んでもよく、即ち、ｍとｎのパラメータ値を含む。センサジッタの故障パラメータは、例えば、ジッタ方向、ジッタ幅などを含む。これらのパラメータについて、需要側に事前に配置してもよく、故障解析の需要に基づいて適切な数値又は数値区間を自動的に生成してもよい。本開示は、各故障の特性に基づいて各故障の実現に必要なパラメータを適切に配置することで、故障種類と故障パラメータとのマッピング関係を形成してもよく、これらの故障パラメータ値を決定することで当該故障を実現できる。

ステップＳ２０３：命令に基づいて故障種類を有するターゲットセンサデータを取得する。当該ターゲットセンサデータは当該種類の故障が発生する場合のデータを含むと共に、故障の発生が当該故障発生確率と合致する。

幾つかの実施例において、ステップＳ２０３は、命令をシミュレーションデバイスに送信し、命令における故障パラメータに基づいてシミュレーションデバイスにおけるバーチャルセンサを稼動させて、シミュレーションデバイスが当該バーチャルセンサの位置と向きに基づいて、当該バーチャルセンサの観点からセンサデータをレンダリングすることと、シミュレーションデバイスから伝送されるセンサデータを受信して、当該ターゲットセンサデータとすることと、を含んでもよい。

別の幾つかの実施例において、ステップＳ２０３は、データベースからターゲットセンサに相応する路上試験データを取得することと、命令における故障パラメータに基づいて路上試験データを処理して、ターゲットセンサデータを取得することと、を含んでもよい。

別の幾つかの実施例において、故障パラメータがデータソース種類を更に含んでもよく、データソース種類がデータベースソース、シミュレーションデバイスソースの少なくとも１つを含む。本開示は、シミュレーションデバイスによって複数の故障種類を有するセンサデータを生成してもよく、路上試験データの処理方式によって複数の故障種類を有するセンサデータを生成してもよく、更に２つの故障発生方式を組合せてもよいと理解すべきである。本開示は、各故障種類に対応するデータソースを事前に設定して、需要側の故障種類を受信する場合、どの方式によって故障データを生成するかについて決定してもよい。

従って、ステップＳ２０３は、最初に故障種類に対応するデータソース種類を決定してもよく、当該データソースがデータベースソースであることに応答して、当該データベースから路上試験データを取得すると共に、当該路上試験データを処理して、ターゲットセンサデータを取得し、並びに、当該データソースがシミュレーションデバイスソースであることに応答して、シミュレーションデバイスからレンダリングされるセンサデータを取得して、当該ターゲットセンサデータとする。

一実施例において、図４を参照しながら上記ステップＳ２０３について下記のように詳しく説明する。

コンピューティングデバイスにおける故障注入モジュールが需要側から送信されるターゲットセンサの故障種類に基づいて命令を生成すると共に、命令をシミュレーションデバイスに送信し、シミュレーションデバイスが命令に基づいて第１のセンサデータをレンダリングするようにする。

シミュレーションデバイスが第１のセンサデータをレンダリングする具体的な実現形態は、コンピューティングデバイスに各センサのバーチャルセンサモデル（又はセンサモデルと略称）が設定され、コンピューティングデバイスがバーチャルセンサモデルをシミュレーションデバイスに事前に送信して、シミュレーションデバイスがバーチャルセンサモデルに基づいて第１のセンサデータをレンダリングすることを含む。センサモデルがシミュレーションデバイスの当該センサに対するデータレンダリングメカニズムを含み、具体的に、対応するセンサの開始姿勢（例えば、当該バーチャルセンサのバーチャル車両に対する開始姿勢）、開始内部パラメータ、開始外部パラメータ、及び撮影カメラのデータ収集フレームレート、レーザレーダの回転数などのデータ収集時に必要なパラメータを含んでもよい。そのうち、姿勢は位置と姿態を含むがこれらに限定されない。姿態はヨー角、ピッチ角、ロール角を含むがこれらに限定されない。シミュレーションデバイスのシミュレーション画面に当該バーチャルセンサが表示されないにも関わらず、対応する位置に当該バーチャルセンサがあるとして、当該バーチャルセンサの観点からシミュレーションデバイスによって現在の環境データがレンダリングされる。同一センサが同一センサモデルを共用してもよく、例えば、複数の撮影カメラが同一撮影カメラモデルを共用し、複数のレーザレーダが同一レーザレーダモデルを共用することで、データ処理効率が向上され、市販の同一センサの異なる型番のデータ収集メカニズムに対応するために、各センサにそれぞれのセンサモデルをそれぞれ配置してもよい。シミュレーションデバイスは、その模擬されるセンサと対応するセンサモデルと関連付けて、当該センサモデルに基づいて当該センサに対応するデータをレンダリングする。

特定の時点でセンサから瞬時データを収集する瞬時モデルに区別して、本開示のセンサモデルは実際のセンサのデータ収集プロセスをより現実的に反映できる。以下、撮影カメラによって生成される画像とレーザレーダによって生成される３次元ポイントクラウドを例として、本願におけるバーチャルセンサモデル について詳しく説明する。具体的に図５を参照する。図５において、ｔ_１、ｔ_２...ｔ_ｎは撮影カメラ又はレーザレーダの露光又は走査の開始時間を示し、δ＋ｎは１フレームデータの露光又は走査時間を示し、δは理論上の時間を示し、ｎはノイズ項目を示す。ローリングシャッタ式撮影カメラの露光時間とローリングシャッタ特徴、逐一走査して距離を測定するレーザレーダから考えれば、１フレーム画像とポイントクラウドデータの何れも特定時点のデータではなく、特定時点から始まる特定時間帯内に１フレームデータの露光と距離測定を完了させるだけのことである。従って、ｔ_１、ｔ_２...ｔ_ｎ時点に対応する時点の画像と３次元ポイントクラウドデータを生成するだけでは、センサの実際データの収集メカニズムに合致していない。

更に、レーザレーダを例として展開する場合、３６０°機械的回転式レーザレーダにしても、小ＦＯＶ振動鏡式レーザレーダにしても、実質的に同一時点で限られたレーザヘッドによる距離測定情報だけであり、機械的回転又は振動鏡によってレーザヘッドの向きを調整して新しい距離測定情報を取得し、一定時間で累積して、ＦＯＶ全体をカバーするポイントクラウドの集合を取得する。同一時点で全ての方位の距離測定情報を取得して１フレームのポイントクラウドデータを生成する場合、実際の走査プロセスと合致しない可能性がある。実際のシーンにおいて、模擬される運動本体がｔ_ｉからｔ_ｉ＋１までの時点に連続的に運動しているため、δ＋ｎ内に走査される各点について、対応する時点（ｔ_ｉからｔ_ｉ＋１までの特定の細分化時点）に新しい本体位置で環境に対して距離を測定したものであり、一概にｔ_ｉ又はｔ_ｉ＋１時点に距離を測定したものではない。

更に、運動本体以外に、環境におけるその他の運動物体も同様に常に運動しているため、これらの運動物体に照射されるレーザポイントクラウドについて、上記方法によってより細かいシミュレーションモデリングを行うべきである。上記方法によってシミュレーションモデリングを行わない場合、レーザレーダポイントクラウドを特定時点の環境ポイントクラウド情報に表現するが、これは非常に好適ではないことであり、本体と環境におけるその他の物体の運動情報を含むことはなく、動的シーンに対して、レーザレーダポイントクラウドから取得される情報は静的である。従って、実際のシーンの運動特性を考える必要があり、即ち、レーザレーダなどについて、一定時間で感知することで取得されるセンサ情報に対して歪曲収差補正処理を行う必要があり、車両運動モデルによって一定時間内で取得されるレーザポイントクラウド位置情報を特定時点（例えば、１フレームデータの最初の収集時点）に逆推定して、１フレームの完全なポイントクラウドデータを取得する。

本願におけるバーチャルセンサモデルがシミュレーションデバイスの各センサに対するデータレンダリングメカニズムを含み、シミュレーションデバイスが車両運動モデルと車両の開始姿勢に基づいて、１フレーム収集サイクル内の異なる時点におけるバーチャル車両の姿勢を計算すると共に、当該バーチャルセンサモデルに基づいて異なる時点における環境データをレンダリングすることで、シングルフレームセンサデータを取得する。

１フレームデータについて、センサモデルのレンダリングメカニズムは、１フレームの最初のデータ収集時点から、履歴の車両姿勢と速度予測の次の時点における車両姿勢に基づいて、当該次の時点で対応するセンサのデータ収集を１回行うと共に、収集されるデータを当該フレームデータに添加することを含む。その後、１フレームの完全なデータを取得するまで、車両姿勢の予測、データ収集、データ添加ステップを繰り返して実行する。次に、次のフレームのデータをレンダリングする。センサによって、バーチャルセンサモデルのレンダリングメカニズムも異なる。レーザレーダを例として、具体的に、ローリングシャッタ式撮影カメラの場合、通常、シングルフレーム画像の露光時間が数ミリ秒から十数ミリ秒までであり、車両の連続運動状態を考えれば、バーチャルセンサモデルが時間に関連するローリングシャッタ露光モデルに定義され、即ち、履歴の車両姿勢と速度予測の未来時点における車両姿勢に基づいて、特定時点において対応する特定車両姿勢で特定画像を露光させて、ローリングシャッタ式撮影カメラのローリングシャッタ効果に対して精密化モデリングを行う。レーザレーダについて、通常、限られた数量のレーザヘッドとで電気モータの連続稼動を合わせることで、画角全体に対する観測を実現するが、同様にバーチャルセンサモデルが時間に関連するレーザレーダ走査モデルに定義される。そのうち、バーチャルセンサモデルのレンダリングメカニズムは、１．履歴の車両姿勢と速度予測の次のレーザ距離測定に対応する時点における車両姿勢に基づくこと、２．レーザ距離測定を１回行って、距離、反射率などの情報を取得すること、３．今回の単点観測情報を現在フレームのポイントクラウドデータに添加すること、４．１フレームポイントクラウドの全てのレーザ点の距離測定を完了させるまでステップ１を繰り返して、１フレームの完全なポイントクラウドデータを取得すること、を含む。

本願は、シミュレーションの真実性をできる限り保証するために、知能化運転システム全体をブラックボックスとして扱うため、知能化運転システムを現実環境とシミュレーションシーンで差異なく稼動させる。本願の優位性を示すだけでなく、従来技術と比較すれば、シミュレーションモデリングはより現実的で物理モデルと合致している。また、本願におけるバーチャルセンサモデルはそのレンダリングメカニズムにおけるモデリングに対して精密化処理を行うことで、取得されるターゲットセンサデータの正確性を向上させて、例えば、レーダポイントクラウドにおける「ゴーストイメージ」のシミュレーション、降雪時の局部遮蔽などのシミュレーションなどの、特殊状況に対する有効性を効果的に向上させる。

区別するために、シミュレーションデバイスによってレンダリングされるセンサデータは第１のセンサデータであってもよく、コンピューティングデバイスからシミュレーションデバイスに送信される命令に故障パラメータが含まれる場合、当該第１のセンサデータが対応する故障種類を有するが、コンピューティングデバイスからシミュレーションデバイスに送信される命令に故障パラメータが含まれない場合、当該第１のセンサデータが対応する故障種類を有しない。データベースから取得される路上試験データは第２のセンサデータであってもよく、コンピューティングデバイスが命令における故障パラメータに基づいて第２のセンサデータを処理した場合、取得されるデータが対応する故障種類を有する。

また、命令はコンピューティングデバイスと通信接続されるシミュレーションデバイスが第１の故障種類を有するターゲットセンサデータを生成するように指示するだけでなく、コンピューティングデバイスが第２の故障種類を有するターゲットセンサデータを生成するように更に指示する。

具体的に、シミュレーションデバイスが第１のセンサデータをレンダリングした場合、第１のセンサデータをコンピューティングデバイスに送信して、第１のセンサデータの命令に基づいてコンピューティングデバイスにターゲットセンサデータを生成させる。そのうち、命令はコンピューティングデバイスが第１のセンサデータに基づいて第２の故障種類を有するターゲットセンサデータを生成するように指示する。具体的に、シミュレーションデバイスによってレンダリングされる第１のセンサデータが第１の故障種類を含むセンサデータ又は故障種類を含まないセンサデータ（故障していない正常センサデータ）であるため、命令によって第１の故障種類を含むセンサデータ又は故障種類を含まないセンサデータに対して、フレーム損失、フレーム落ちなどの伝送故障を処理して、第２の故障種類を有するターゲットセンサデータを生成する。

コンピューティングデバイスは、シミュレーションレンダリングプラットフォームから送信される第１のセンサデータに対して上記処理を行ってターゲットセンサデータを生成するほかに、データ記憶機器と通信接続されると共に、データ記憶機器からターゲットセンサに対応する第２のセンサデータを取得し、そのうち、路上試験中に各センサによって収集される第２のセンサデータがデータ記憶機器に記憶される。

コンピューティングデバイスが第２のセンサデータを取得した場合、命令はコンピューティングデバイスが第２のセンサデータに基づいて第２の故障種類を有するターゲットセンサデータを生成するように指示すると共に、コンピューティングデバイスが第２のセンサデータを処理して第１の故障種類を有するターゲットセンサデータを取得するように指示する。具体的に、コンピューティングデバイスが第２のセンサデータを取得した場合、命令によって第２のセンサデータに対してフレーム損失、フレーム落ちなどの伝送故障を処理して、即ち、データ伝送プロセスに伝送されない特定のフレームを設定し、第２の故障種類を有するターゲットセンサデータを生成すると共に、命令によって第２のセンサデータに対して故障加工処理を行って、例えば、画像データに対してモザイキング、ぼやけなどの処理を行って、第１の故障種類を有するターゲットセンサデータを生成する。

また、故障注入モジュールが命令をシミュレーションデバイスに送信して、更にシミュレーションデバイスに命令に基づいてターゲットセンサデータをレンダリングさせる。具体的に、命令に故障種類に対応する故障パラメータが含まれるため、バーチャル車両が受信される命令に含まれる故障パラメータと収集されるセンサデータによってそのままターゲットセンサデータをレンダリングする。例えば、レンダリングされるターゲットセンサデータに画像のモザイキング故障が存在するように、画像のモザイキング故障に対応する故障パラメータを１００００フレームにつき１回の画像モザイキング出現に選択した場合、バーチャル車両がセンサデータを収集するにあたって、この故障パラメータに基づいて、収集されるセンサデータに対して、１００００フレームにつき１回の画像モザイキング出現という処理を行う。

総じて、本開示は、シミュレーションデバイスから当該故障種類を有するセンサデータを取得して、ターゲットセンサデータとしてもよく、データベースからセンサデータを取得すると共に、命令に伴われるデータ処理方式に基づいて当該センサデータを処理して、対応するターゲットセンサデータを取得してもよく、シミュレーションデバイスから第１のセンサデータを取得し、及び／又はデータベースから第２のセンサデータを取得すると共に（当該第１のセンサデータ及び第２のセンサデータが故障データであってもよく、正常データであってもよい）、事前に配置されるデータ伝送故障確率に基づいてセンサデータを自動運転ソフトウェアシステムに伝送してもよい。命令が配置された場合、シミュレーションデバイス側にしても、コンピューティングデバイス側にしても、命令に基づいて対応するロジックを実行するとよい。

更に、コンピューティングデバイスによって生成される命令は第１の命令と第２の命令を含んでもよく、第１の命令はシミュレーションデバイスがセンサデータを収集及びレンダリングするように指示し、第２の命令はコンピューティングデバイスがデータを処理及び／又は伝送するように指示する。シミュレーションデバイスによって故障を有するセンサデータを生成する必要がある場合、当該第１の命令が故障パラメータを有し、コンピューティングデバイスが第１の命令をシミュレーションデバイスに送信して、シミュレーションデバイスに当該命令に基づいて対応する故障種類を有するセンサデータをレンダリングさせる。コンピューティングデバイスによって路上試験データを処理し、又はデータのフレーム損失、フレーム落ち、エラーフレームなどのデータ伝送故障を注入する必要がある場合、当該第２の命令が故障パラメータを有し、当該故障パラメータが路上試験データの処理方式及び／又はデータ伝送故障確率を含む。当然、シミュレーションデバイスによって故障を有するデータを意図的に生成する必要がない場合、第１の命令が故障パラメータを有さず、或いは故障パラメータ値を全て０又はブランクに設定するとよい。コンピューティングデバイスによってデータ伝送故障を意図的に注入する必要がない場合、第２の命令がデータ伝送故障のパラメータを有さず、或いは故障パラメータ値を全て０又はブランクに設定するとよい。

上記実施例を基に、自動運転ソフトウェアシステムがターゲットセンサデータに基づいて走行ポリシーを生成すると共に、シミュレーションデバイスにおけるバーチャル車両が走行ポリシー基づいて故障シミュレーションを行うように、コンピューティングデバイスが命令に基づいて故障種類を有するターゲットセンサデータを生成してから、ターゲットセンサデータを自動運転ソフトウェアシステムに伝送する。

具体的に、図６を参照する。自動運転ソフトウェアシステムがフォーマット変換済みのターゲットセンサデータに基づいて走行ポリシーを生成するように、コンピューティングデバイスがターゲットセンサデータを生成してから、バーチャルセンサプロトコルによってターゲットセンサデータのフォーマットを実際の路上試験中にターゲットセンサによって収集されるデータのフォーマットに変換し、その後、フォーマット変換済みのターゲットセンサデータを自動運転ソフトウェアシステムに伝送する。バーチャルセンサプロトコルによってセンサデータの前処理プロセスと伝送プロトコルが定義され、即ち、ターゲットセンサデータをどう処理するか（例えば、データの解凍及び／又はフォーマット変換）、及び処理済のターゲットセンサデータをバックエンドサーバにどう送信するかについて定義される。

また、データベースに記憶される路上試験データのフォーマットが実際のセンサによって収集されるデータのフォーマットと異なることを考えれば、通常、データの圧縮フォーマットである。従って、幾つかの実施例において、画像取得機器にとって、上記フォーマット変換プロセスは、画像圧縮データを解凍して、ＢＧＲ（青緑赤）フォーマットの画像データを形成することと、ＢＧＲフォーマットの画像データに対して画像フォーマット変換を行い、画像取得機器に対応するＢａｙｅｒ画像データを形成して、画像伝送標準プロトコルと合致する画像データパッケージとすることと、を含む。レーザレーダにとって、上記フォーマット変換プロセスは、ポイントクラウドデータパッケージ群を分解し、レーザレーダに対応するポイントクラウドデータパッケージを形成して、ユーザデータグラムプロトコルＵＤＰ及び伝送制御プロトコルＴＣＰと合致するポイントクラウドデータパッケージとすること、を含む。ＧＮＳＳセンサにとって、上記フォーマット変換プロセスは、ＧＮＳＳ記憶データをデコードしてＧＮＳＳ情報データを形成することと、ＧＮＳＳ情報データをコードし、ＧＮＳＳセンサに対応するＧＮＳＳネットワークデータパッケージを形成して、ＴＣＰプロトコルと合致するＧＮＳＳオリジナルデータパッケージとすることと、を含む。

データを実車センサによって収集されるデータのフォーマットに変換することで、実際車両のデータ収集と送信プロセスをより正確に再現して、自動運転システムの試験正確性を保証する。また、実際車両のデータ伝送プロセスにできる限り近づけるために、コンピューティングデバイスと自動運転システムとのデータ伝送線路の長さを実際車両におけるセンサとバックエンドサーバとの線路の長さと同じように設定してもよい。

自動運転ソフトウェアシステムがフォーマット変換済みのターゲットセンサデータに基づいて走行ポリシーを生成した場合、シミュレーションデバイスにおけるバーチャル車両が走行ポリシーに基づいて故障シミュレーションを行うように、自動運転ソフトウェアシステムが走行ポリシーをシミュレーションデバイスに送信する。

上記センサデータ生成方法を基に、図７に示されるように、本願の実施例は、
需要側から送信されるターゲットセンサの故障種類を受信する受信モジュール７０１と、
ターゲットセンサの故障種類に対応する命令を生成し、命令が故障種類に相応する故障パラメータを含む命令生成モジュール７０２と、
命令に基づいて故障種類を有するターゲットセンサデータを生成するセンサデータ生成モジュール７０３と、を含む、センサデータ生成装置を更に提供する。

本願のセンサデータ生成装置について、図１～図６に基づく記述によって詳しく開示されたため、ここで詳しく説明しない。

図８は、別の実施例に係る、シミュレーションデバイスで実行されることに適するセンサデータ生成方法を示した。当該方法は、
コンピューティングデバイスから送信される命令を受信し、当該命令がターゲットセンサの故障種類に対応すると共に、故障種類を生成する故障パラメータを含み、当該故障パラメータが故障種類の注入方式、故障発生確率、故障発生時間の長さを含むステップＳ８０１と、
当該命令に基づいて当該故障種類を有するセンサデータを生成すると共に、当該センサデータをコンピューティングデバイスに送信するステップＳ８０２と、を含む。

図８は、シミュレーションデバイスに基づいてセンサの故障データをレンダリングする例を提供し、ここでの故障種類は上記第１の故障種類であり、当該命令は故障パラメータを有する第１の命令である。ステップ８０１とステップ８０３の詳細は上記のように詳しく開示されたため、ここで詳しく説明しない。

上記センサデータ生成方法を基に、図９に示されるように、本願の実施例は、
コンピューティングデバイスと通信接続され、コンピューティングデバイスにターゲットセンサの故障種類を送信する需要側と、
需要側から送信されるターゲットセンサの故障種類を受信すると共に、ターゲットセンサの故障種類に対応する命令を生成し、命令が故障パラメータを含み、故障パラメータが故障種類の注入方式と故障発生確率を含み、命令に基づいて故障種類を有するターゲットセンサデータを取得するコンピューティングデバイスと、を含む、センサデータ生成システムを更に提供する。

また、当該システムはシミュレーションデバイス（図示せず）を更に含んでもよい。シミュレーションデバイスは、コンピューティングデバイスから送信される命令を受信し、当該命令に基づいて故障種類を有するセンサデータを生成すると共に、当該データをコンピューティングデバイスに送信して、前記ターゲットセンサデータとする。

上記実施例における各ステップの番号の大きさは実行順序の優先度を意味するわけではなく、各プロセスの実行順序はその機能及び内部ロジックによって決定されるものであり、本発明の実施例の実施プロセスを限定するものではないと理解すべきである。

下記は本発明の装置の実施例であり、その記述していない詳細について、上記の対応する方法の実施例を参照してもよい。

図１０は、本発明の実施例により提供されるコンピューティング装置的模式図である。上記で言及される需要側１０２、コンピューティングデバイス１０４、データ記憶機器１０８、シミュレーションデバイス１０６は、図１０に示されるコンピューティング装置の構造を利用してもよい。図１０に示されるように、当該実施例のコンピューティングデバイス１０は、プロセッサ１００１と、メモリ１００２と、メモリ１００２に記憶されると共にプロセッサ１００１で実行可能なコンピュータプログラム１００３と、を含む。プロセッサ１００１でコンピュータプログラム１００３を実行する場合、上記各センサデータ生成方法の実施例におけるステップ、例えば、図２に示されるステップＳ２０１～ステップＳ２０３、図８におけるステップＳ８０１～ステップＳ８０３を実現する。或いは、プロセッサ１００１でコンピュータプログラム１００３を実行する場合、上記各センサデータ生成装置の実施例における各モジュール／ユニットの機能、例えば、図７に示されるモジュール／ユニット７１～７３の機能を実現する。

本発明は、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される場合に上記各実施形態により提供されるセンサデータ生成方法を実現する、読み取り可能な記憶媒体を更に提供する。

そのうち、読み取り可能な記憶媒体はコンピュータ記憶媒体であってもよく、通信媒体であってもよい。通信媒体は１つの箇所からもう１つの箇所にコンピュータプログラムを容易に伝送する任意の媒体を含む。コンピュータ記憶媒体は汎用又は専用コンピュータがアクセス可能な任意の使用可能な媒体であってもよい。例えば、読み取り可能な記憶媒体をプロセッサに結合することで、プロセッサは当該読み取り可能な記憶媒体から情報を読み取ると共に、当該読み取り可能な記憶媒体に情報を書き込むことができる。当然、読み取り可能な記憶媒体はプロセッサの構成部分であってもよい。プロセッサと読み取り可能な記憶媒体が特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、略称：ＡＳＩＣ）にあってもよい。また、当該ＡＳＩＣがユーザー機器にあってもよい。当然、プロセッサと読み取り可能な記憶媒体はディスクリートモジュールとして通信機器に存在してもよい。読み取り可能な記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ‐ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。

本発明は、読み取り可能な記憶媒体に記憶される実行命令を含むプログラム製品を更に提供する。機器の少なくとも１つのプロセッサは読み取り可能な記憶媒体から当該実行命令を読み取ることができる。少なくとも１つのプロセッサは、機器が上記各実施形態により提供されるセンサデータ生成方法を実施するように、当該実行命令を実行する。

上記機器の実施例において、プロセッサは中央処理ユニット（英語：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称：ＣＰＵ）であってもよく、その他の汎用プロセッサ、デジタルシグナルプロセッサ（英語：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、略称：ＤＳＰ）、特定用途向け集積回路（英語：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、略称：ＡＳＩＣ）などであってもよいと理解すべきである。汎用プロセッサは、マイクロプロセッサであってもよく、又は、当該プロセッサは、任意の通常のプロセッサなどであってもよい。本発明により開示された方法のステップと合わせることで、そのまま、ハードウェアプロセッサによる実行完了、又はプロセッサのハードウェアとソフトウエアモジュールとの組合せによる実行完了と表現できる。

上記実施例は本発明の技術案を説明するためのものだけであり、限定するものではなく、上記実施例を参照しながら本発明について詳しく説明したが、当業者にとって、上記各実施例に記載される技術案を修正、又はその一部の技術特徴を同等的に置換してもよいと理解すべきであり、相応する技術案の本質はこれらの修正又は置換によって本発明各実施例の技術案の趣旨及び範囲から逸脱することはなく、本発明の保護範囲内に含まれる。

Claims (15)

1. コンピューティングデバイスで実行されることに適するセンサデータ生成方法であって、
   需要側から送信されるセンサの故障種類を受信することと、
   前記センサの故障種類に対応する命令を生成し、前記命令が故障パラメータを含み、前記故障パラメータが前記故障種類の注入方式と故障発生確率を含むことと、
   前記故障種類の注入方式と故障発生確率に基づいて前記故障種類を有するターゲットセンサデータを取得することと、を含む、センサデータ生成方法。
2. 前記コンピューティングデバイスがシミュレーションデバイスと通信接続され、前記シミュレーションデバイスにバーチャル車両が模擬され、
   前記故障種類の注入方式と故障発生確率に基づいて前記故障種類を有するターゲットセンサデータを取得することは、
   前記シミュレーションデバイスが前記故障種類の注入方式と故障発生確率に基づいてセンサデータをレンダリングするように、前記命令をシミュレーションデバイスに送信することと、
   前記シミュレーションデバイスから送信されるセンサデータを受信して、前記ターゲットセンサデータとすることと、を含む、請求項１に記載の方法。
3. 前記故障種類の注入方式が前記センサの内部パラメータと外部パラメータの少なくとも１つを調整することを含む、請求項１に記載の方法。
4. 前記センサが前記コンピューティングデバイスと通信接続されるシミュレーションデバイスにおけるバーチャルセンサであり、前記バーチャルセンサが物理センサと同じパラメータを有し、前記コンピューティングデバイスが更にデータベースと通信接続され、路上試験中に前記物理センサによって収集される路上試験データが前記データベースに記憶される、請求項１に記載の方法。
5. 前記故障種類の注入方式が路上試験データの処理方式を含み、前記故障種類の注入方式と故障発生確率に基づいて前記故障種類を有するターゲットセンサデータを取得することは、
   前記データベースから前記物理センサの路上試験データを取得することと、
   前記命令における故障パラメータに基づいて前記路上試験データを処理して、前記ターゲットセンサデータを取得することと、を含む、請求項４に記載の方法。
6. 路上試験中に対応する種類の故障が発生する場合の物理シーンが前記データベースに更に記憶され、
   前記シミュレーションデバイスにおけるシミュレーションシーンと前記物理シーンとの類似度を計算することと、
   前記類似度が所定の閾値以上であることに応答して、前記故障を発生させることと、を更に含む、請求項４に記載の方法。
7. 前記故障パラメータがデータソース種類を更に含み、前記データソース種類がシミュレーションデバイスソースとデータベースソースの少なくとも１つを含み、前記命令に基づいて前記故障種類を有するターゲットセンサデータを取得することは、
   前記故障種類に対応するデータソース種類を決定することと、
   前記データソース種類がシミュレーションデバイスソースであることに応答して、前記シミュレーションデバイスからセンサデータを受信して、前記ターゲットセンサデータとするように、前記命令を前記シミュレーションデバイスに送信することと、
   前記データソース種類がデータベースソースであることに応答して、前記データベースから前記路上試験データを取得すると共に、前記命令に基づいて前記路上試験データを処理して、前記ターゲットセンサデータを取得することと、を含む、請求項４に記載の方法。
8. 前記故障種類がデータ品質故障、センサ位置故障、センサハードウェア故障、データ伝送故障の少なくとも１つを含み、前記データ伝送故障がデータのフレーム損失、フレーム落ち、エラーフレームの少なくとも１つを含み、前記故障パラメータが故障の発生時間の長さを更に含み、
   前記故障種類の注入方式が画像データの処理方式、ポイントクラウドデータの処理方式、測位データの処理方式の少なくとも1つを含む、請求項１に記載の方法。
9. 前記センサが画像収集装置を含み、前記画像収集装置の故障種類が画像のモザイキング、画像の縞模様、画像の色収差、画像の眩輝、画像のゴーストイメージ、画像の露光異常、レンズの異物付着、撮影カメラのフォーカスシフト、撮影カメラのガタツキ、撮影カメラの電源切れの少なくとも１つを含む、請求項１に記載の方法。
10. 前記センサがポイントクラウド収集装置を含み、前記ポイントクラウド収集装置の故障種類がポイントクラウドの識別度無し、過剰のノイズポイント、ポイントクラウドのゴーストイメージ、ポイントクラウドの鏡像、ポイントクラウドの点欠落、通信の途切れ、センサのガタツキ、センサ表面の異物付着の少なくとも１つを含み、
    前記センサが統合ナビゲーションデバイスを含み、前記統合ナビゲーションデバイスの故障種類が方向角のミス、測位精度の偏差、通信の途切れ、センサのガタツキの少なくとも１つを含む、請求項１に記載の方法。
11. 前記シミュレーションデバイスが車両運動モデルに基づいて、１フレーム収集サイクル内の異なる時点における前記バーチャル車両の姿勢を計算するように、前記シミュレーションデバイスに前記センサのセンサモデルを送信すると共に、前記センサモデルに基づいて前記異なる時点における環境データをレンダリングして、シングルフレームセンサデータを取得すること、を更に含み、
    そのうち、前記センサモデルが前記センサのデータレンダリングメカニズム、前記センサの前記バーチャル車両に対する開始姿勢を含む、請求項２に記載の方法。
12. 自動運転ソフトウェアシステムが前記ターゲットセンサデータに基づいて走行ポリシーを生成すると共に、前記シミュレーションデバイスにおけるバーチャル車両が前記走行ポリシーに基づいて故障シミュレーションを行うように、前記ターゲットセンサデータを自動運転ソフトウェアシステムに伝送すること、を更に含み、
    前記故障発生確率がデータ伝送故障確率を含み、前記ターゲットセンサデータを自動運転ソフトウェアシステムに伝送することは、
    前記データ伝送故障確率に基づいて前記ターゲットセンサデータを前記自動運転ソフトウェアシステムに伝送すること、を含み、
    前記ターゲットセンサデータを自動運転ソフトウェアシステムに伝送することは、
    前記ターゲットセンサデータのフォーマットを路上試験中にターゲットセンサによって収集されるデータのフォーマットに変換することと、
    フォーマット変換済みのデータを前記自動運転ソフトウェアシステムに伝送することと、を含む、請求項２に記載の方法。
13. シミュレーションデバイスで実行されることに適するセンサデータ生成方法であって、
    コンピューティングデバイスから送信される命令を受信し、前記命令が需要側から送信されるセンサの故障種類に対応し、前記命令が故障パラメータを含み、前記故障パラメータが前記故障種類の注入方式と故障発生確率を含むことと、
    前記故障種類の注入方式と故障発生確率に基づいて前記故障種類を有するセンサデータを生成すると共に、前記センサデータを前記コンピューティングデバイスに送信することと、を含む、方法。
14. メモリと、前記メモリに通信接続される１つ又は複数のプロセッサと、を含み、
    前記メモリに前記１つ又は複数のプロセッサによって実行可能な命令が記憶され、前記命令が前記１つ又は複数のプロセッサによって実行されて、前記１つ又は複数のプロセッサに請求項１～１３の何れか１項に記載の方法を実現させる、ことを特徴とする、コンピューティング装置。
15. プログラム又は命令を含み、前記プログラム又は命令がコンピュータで実行される場合、請求項１～１３の何れか１項に記載の方法を実現する、ことを特徴とする、コンピュータ読み取り可能な記憶媒体。