JP6855535B2 - シミュレーションデータの最適化方法、装置、記憶媒体及びプログラム - Google Patents

Description

本発明は、情報技術分野に関し、特に、シミュレーションデータの最適化方法、装置及びコンピュータ可読記憶媒体に関する。

シミュレーションは、模擬とも言え、モデルにより実際のシステムで発生する本質的な過程を再現し、システムモデルに対する実験によって存在又は設計中のシステムを検討するものである。検討するシステムのコストが高く、実験の危険性が大きい、又はシステムのパラメータの変化による影響を理解するのにかなりの時間がかかる場合、シミュレーションは特に有効な検討手段である。一般的に、複雑なシステムに対するシミュレーションは、主にシステムに含まれる物理法則について適切な記述を行ってそのシミュレーション効果を実現する。しかし、システムに存在する大量の騒音と不明な規則は、シミュレータの精度を著しく阻害する場合が多い。

測定機器（レーザーレーダ等）により得られる被検出体の外観表面の点のデータ集合は点群とも言える。一本のレーザーが物体の表面に照射されると、反射したレーザーは方位や、距離等の情報を携帯する。レーザー光をある軌跡に沿って走査させると、走査しながら反射するレーザースポットの情報を記録する。極めて精細に走査するため、大量のレーザースポットが得られ、レーザーの点群を形成することができる。

３次元データに対するレーザーの点群の表現の正確性を考慮して、レーザーの点群をシステム情報の主要なキャリアとして研究を進めることができる。シミュレータは、主に模擬測定機器によりレーザー光を放射し、反射信号を受信する等の物理過程によって、点群を生成する。

点群のデータ品質の確保及び向上を実現するために、従来の技術案としては、主にデータ選別、先験的知識追加等がある。ここで、データ選別の技術案は、点群中の物体分布の統計的性質や、物体検出の正確率等に基づいて異常値を除去し、先験的知識追加の技術案は、物体の種類の増加や、物体の姿勢の多様化等で素材ライブラリを拡張及び詳細化する。

シミュレーションデータの正確度は、主に実世界においてレーザーレーダが点群データを生成する過程に達成できるシミュレータの模擬正確度に依存する。しかし、実世界は極めて複雑なシステムである。周知の物理知識に基づいて構築したシミュレータの達成できる精度はあくまでも限りがある。例えば、距離が長くなると点群が次第に疎らになる規律や、レーザーが異なる物質を遭遇するのに加えて環境騒音の影響で反射が異なる規律等の場合、シミュレータの達成できる精度にはある程度の制限がある。一方、データ選別や、先験追加等のような点群を矯正する従来の技術案には、いずれも深刻な弊害が存在する。但し、データ選別は、主にシミュレーションデータに十分量の良質サンプルが存在し、良質サンプルは十分な多様性があることを前提とし、シミュレータの精度に対する要求は厳しく、実現は困難である。また、先験追加には、人手や物的資源を費やして物体情報を収集し、３次元モデルを構築しなければならず、且つ、複雑なシステムにとっては切りのない作業となる。

本発明の実施例は、少なくとも従来技術における一つ又は複数の技術問題を解決するために、シミュレーションデータの最適化方法、装置及びコンピュータ可読記憶媒体を提供する。

第一態様によれば、本発明の実施例は、シミュレータの生成したシミュレーションデータを、遷移モデルを含む第一生成式対抗ネットワークに入力するステップと、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成するステップと、を含むシミュレーションデータの最適化方法を提供する。

第一態様によれば、本発明の実施例は、第一態様の第一実現形態において、前記第一生成式対抗ネットワークは、第一判別モデルをさらに含み、前記方法は、シミュレータの生成したシミュレーションデータを前記遷移モデルに入力し、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化し、最適化シミュレーションデータを出力するステップと、実データと前記最適化シミュレーションデータとを前記第一判別モデルに入力し、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成するステップと、前記真実性確率に従って、前記遷移モデルと前記第一判別モデルとの博戯学習によって、前記第一生成式対抗ネットワークを訓練するステップと、をさらに含んで前記第一生成式対抗ネットワークに対する訓練を行う。

第一態様によれば、本発明の実施例は、第一態様の第二実現形態において、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成することは、前記遷移モデルのネットワーク転送過程において、残差ニューラルネットワークを利用して前記遷移モデルにおける各サブネットワークに損失出力データを生成することと、各サブネットワークの前記損失出力データを入力データに重ね合わせた後に前記遷移モデルの損失関数に入力することと、前記損失関数によって前記シミュレータの生成したシミュレーションデータを最適化することと、をさらに含む。

第一態様の第一実現形態によれば、本発明の実施例は、第一態様の第三実現形態において、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成することは、フラグメントレベルを用いて前記第一判別モデルの損失程度を統計し、ネットワークの収束傾向、入力データにおける物体分布状況に応じて前記フラグメントレベルの大きさを設定することをさらに含む。

第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態によれば、本発明の実施例は、第一態様の第四実現形態において、シミュレータの生成したシミュレーションデータを第一生成式対抗ネットワークに入力する前に、第二生成式対抗ネットワークによりセマンティックマップを生成することと、前記セマンティックマップを先験情報として前記シミュレータに入力することと、をさらに含む。

第一態様の第四実現形態によれば、本発明の実施例は、第一態様の第五実現形態において、前記第二生成式対抗ネットワークは、生成モデルと第二判別モデルとを含み、第二生成式対抗ネットワークによりセマンティックマップを生成することは、騒音ベクトルを前記生成モデルに入力し、前記生成モデルでセマンティックマップを生成することと、実セマンティックマップと前記生成モデルの出力したセマンティックマップを前記第二判別モデルに入力し、前記第二判別モデルで前記生成モデルの出力したセマンティックマップの真実性確率を生成することと、前記真実性確率に従って、前記生成モデルと前記第二判別モデルとの博戯学習によって、前記第二生成式対抗ネットワークを訓練することと、訓練された前記第二生成式対抗ネットワークによって、セマンティックマップを生成することと、を含む。

第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態によれば、本発明の実施例は、第一態様の第六実現形態において、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成することは、異なる場面に適用されるコントローラベクトルを設定することと、前記遷移モデルのネットワーク転送過程において前記コントローラベクトルを入力して、異なる場面に適用される前記最適化シミュレーションデータを生成することと、をさらに含む。

第二態様によれば、本発明の実施例は、シミュレータの生成したシミュレーションデータを、遷移モデルを含む第一生成式対抗ネットワークに入力するためのシミュレーションデータ入力ユニットと、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成するためのシミュレーションデータ最適化ユニットと、を備えるシミュレーションデータの最適化装置を提供する。

第二態様によれば、本発明の実施例は、第二態様の第一実現形態において、前記第一生成式対抗ネットワークは、第一判別モデルをさらに含み、前記装置は、訓練ユニットをさらに備え、前記訓練ユニットは、シミュレータの生成したシミュレーションデータを前記遷移モデルに入力し、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化し、最適化シミュレーションデータを出力するための第一サブユニットと、実データと前記最適化シミュレーションデータとを前記第一判別モデルに入力し、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成するための第二サブユニットと、前記真実性確率に従って、前記遷移モデルと前記第一判別モデルとの博戯学習によって、前記第一生成式対抗ネットワークを訓練するための第三サブユニットとを備える。

第二態様によれば、本発明の実施例は、第二態様の第二実現形態において、前記シミュレーションデータ最適化ユニットは、前記遷移モデルのネットワーク転送過程において、残差ニューラルネットワークを利用して前記遷移モデルにおける各サブネットワークに損失出力データを生成し、各サブネットワークの前記損失出力データを入力データに重ね合わせた後に前記遷移モデルの損失関数に入力し、前記損失関数によって、前記シミュレータの生成したシミュレーションデータを最適化するためにさらに用いられる。

第二態様の第一実現形態によれば、本発明の実施例は、第二態様の第三実現形態において、前記第二サブユニットは、フラグメントレベルを用いて前記第一判別モデルの損失程度を統計し、ネットワークの収束傾向、入力データにおける物体分布状況に応じて前記フラグメントレベルの大きさを設定するためにさらに用いられる。

第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態によれば、本発明の実施例は、第二態様の第四実現形態において、第二生成式対抗ネットワークによりセマンティックマップを生成するためのセマンティックマップ生成ユニットと、前記セマンティックマップを先験情報として前記シミュレータに入力するためのセマンティックマップ入力ユニットと、をさらに含む。

第二態様の第四実現形態によれば、本発明の実施例は、第二態様の第五実現形態において、前記第二生成式対抗ネットワークは、生成モデルと第二判別モデルとを含み、前記セマンティックマップ生成ユニットは、騒音ベクトルを前記生成モデルに入力し、前記生成モデルでセマンティックマップを生成し、実セマンティックマップと前記生成モデルの出力したセマンティックマップとを前記第二判別モデルに入力し、前記第二判別モデルで前記生成モデルの出力したセマンティックマップの真実性確率を生成し、前記真実性確率に従って、前記生成モデルと前記第二判別モデルとの博戯学習によって、前記第二生成式対抗ネットワークを訓練し、訓練された前記第二生成式対抗ネットワークによって、セマンティックマップを生成するためにさらに用いられる。

第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態によれば、本発明の実施例は、第二態様の第六実現形態において、前記シミュレーションデータ最適化ユニットは、異なる場面に適用されるコントローラベクトルを設定し、前記遷移モデルのネットワーク転送過程において前記コントローラベクトルを入力して、異なる場面に適用される前記最適化シミュレーションデータを生成するためにさらに用いられる。

一つの可能な構想において、シミュレーションデータの最適化装置の構造には、プロセッサーと、メモリーとが含まれ、前記メモリーは、シミュレーションデータの最適化装置による上記第一態様におけるシミュレーションデータの最適化方法の実行をサポートするプログラムを記憶するためのものであり、前記プロセッサーは、前記メモリーに記憶されたプログラムを実行するように配置される。前記シミュレーションデータの最適化装置は、シミュレーションデータの最適化装置と他の機器又は通信ネットワークとを通信させるための通信インターフェースをさらに備える。

第三態様によれば、本発明の実施例は、一つ又は複数のプロセッサーと、一つ又は複数のプログラムを記憶するためのメモリーとを備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサーにより実行される時、前記一つ又は複数のプロセッサーが上記第一態様のいずれか１項に記載の方法を実現するようにするシミュレーションデータの最適化装置を提供する。

第四態様によれば、本発明の実施例は、プロセッサーにより実行されると、上記第一態様におけるいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

上記技術案は、生成式対抗ネットワークでシミュレーションデータを最適化することによって、シミュレーションデータの特徴を更に実データに近づけ、シミュレーションデータの品質と精度を確保するだけでなく、ある程度にシミュレーションデータの真実性・信頼性を高め、同時に、シミュレータ構築のコストも低減させるという利点又は有益な効果がある。

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面において、特に断らない限り、複数の図面を通して同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺で描かれたものではない。なお、これらの図面は本発明に開示された幾つかの実施形態のみを示し、本発明の範囲を限定するものではない。
本発明の一実施例が提供するシミュレーションデータの最適化方法におけるフローチャートである。 本発明の他の実施例が提供するシミュレーションデータの最適化方法におけるフローチャートである。 本発明の他の実施例が提供するシミュレーションデータの最適化方法におけるネットワーク訓練のフローチャートである。 本発明の他の実施例が提供するシミュレーションデータの最適化方法におけるセマンティックマップ生成のフローチャートである。 本発明の一実施例が提供するシミュレーションデータの最適化装置の構造ブロック図である。 本発明のまた一実施例が提供するシミュレーションデータの最適化装置の訓練ユニットの構造ブロック図である。 本発明のまた一実施例が提供するシミュレーションデータの最適化装置の構造ブロック図である。 本発明のまた一実施例が提供するシミュレーションデータの最適化装置の構造ブロック図である。

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

生成式対抗ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）は、深層学習モデルである。このようなモデルは、生成モデル（Ｇｅｎｅｒａｔｉｖｅ Ｍｏｄｅｌ、「Ｇ」と略称する）及び判別モデル（Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｍｏｄｅｌ、「Ｄ」と略称する）を含む。２つのモデルの相互博戯学習によりかなりよい出力が生じる。実用上では、いずれも深層ニューラルネットワークを生成モデルＧ及び判別モデルＤとして用いるのが一般的である。

図１は、本発明の一実施例が提供するシミュレーションデータの最適化方法におけるフローチャートである。図１に示すように、ステップＳ１１では、シミュレータによりシミュレーションデータを生成し、ステップＳ１２では、シミュレーションデータを生成式対抗ネットワークの生成モデルに入力し、ステップＳ１３では、生成モデルがシミュレーションデータに対して改良作業を行って、最適化シミュレーションデータを生成し、その後、ステップ１４と１５では、最適化シミュレーションデータと実データを生成式対抗ネットワークの判別モデルに入力し、判別モデルにより最適化シミュレーションデータの真実性確率を判別する。出力の真実性確率が１であると、最適化シミュレーションデータが１００％の真である判別結果を意味し、即ち、最適化効果が非常に高く、最適化後のシミュレーションデータがほぼ実データと同じであることを意味する。出力の真実性確率が０であると、真実のデータである可能性がないことを意味し、即ち、シミュレーション効果が悪く、シミュレーションデータと実データとの差が大きいことを意味する。

生成式対抗ネットワークの訓練過程において、生成モデルＧは、できるだけ本物のグラフィックスを生成して判別モデルＤを騙すことを目標とする。一方、判別モデルＤは、生成モデルＧの生成したデータと実データとをできるだけ区別するようにすることを目標とする。このように、ＧとＤとは動的な「博戯過程」を構成している。

最終の博戯結果として、最も理想的な状態で、Ｇは「本物と見紛うばかり」のデータを生成することができる。Ｄにとって、Ｇの生成したデータが一体真実であるか否かを判定することは難しいため、Ｄの出力の真実性確率は０．５である。このように、博戯学習の過程を経て、最終的にシミュレーションデータを最適化できる生成式のモデルＧが得られる。

図２は、本発明の他の実施例が提供するシミュレーションデータの最適化方法におけるフローチャートである。図２に示すように、本発明の実施例のシミュレーションデータの最適化方法は、シミュレータが生成したシミュレーションデータを、遷移モデルを含む第一生成式対抗ネットワークに入力するステップＳ１１０と、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成するステップＳ１２０と、を含む。

本発明の実施例は、生成式対抗ネットワークを利用して、シミュレーションデータが統計分布で次第に実データの統計分布に近づき、シミュレーションデータのより優れた表現が得られるように、シミュレーションデータを修正する。例えば、最適化後のシミュレーションデータを利用して画像分類、物体検出、物体分割等の問題を解決することができる。

従来の生成式対抗ネットワークにおける生成モデルの入力情報は騒音ベクトルであり、生成モデルが騒音ベクトルを処理して、処理後のデータを生成する。本発明では、従来の生成式対抗ネットワークにおける生成モデルをそのまま用いることではなく、遷移モデルを用いるわけである。遷移モデルは、シミュレータが出力したあまり正確ではないシミュレーションデータに対して領域適応性のモデル構築を行い、最適化後のシミュレーションデータを実データにより近づける。例えば、実世界における異なる材質の物質に対するシミュレーションデータの説明能力をより強くなるようにする。遷移モデルは、原始シミュレーションデータ、即ち、シミュレータが出力したシミュレーションデータが入力され、原始シミュレーションデータに対する改良操作後の最適化シミュレーションデータを出力する。

本発明の実施例は、遷移モデルによりシミュレータが生成したシミュレーションデータを最適化し、同等の条件下でシミュレータの性能指標の要求を下げ、シミュレータの構築コストも低減させる。

図３は、本発明の他の実施例が提供するシミュレーションデータの最適化方法におけるネットワーク訓練のフローチャートである。図３に示すように、一つの可能な実現形態において、前記第一生成式対抗ネットワークは、第一判別モデルをさらに含み、前記方法は、シミュレータが生成したシミュレーションデータを前記遷移モデルに入力し、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化し、最適化シミュレーションデータを出力するステップＳ２１０と、実データと前記最適化シミュレーションデータとを前記第一判別モデルに入力し、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成するステップＳ２２０と、前記真実性確率に従って、前記遷移モデルと前記第一判別モデルとの博戯学習によって、前記第一生成式対抗ネットワークを訓練するステップＳ２３０と、をさらに含んで前記第一生成式対抗ネットワークに対する訓練を行う。

具体的な使用場面において、シミュレーションの要求する精度に応じて真実性確率の閾値を設定することができる。例えば、真実性確率が０．４５〜０．５５間に設定されると、モデルの訓練が期待通りの効果を達成すると認められ、遷移モデルの訓練が完了し、シミュレーションデータの最適化に利用することができる。

また、一つの可能な実現形態において、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成することは、前記遷移モデルのネットワーク転送過程において、残差ニューラルネットワークを利用して前記遷移モデルにおける各サブネットワークに損失出力データを生成することと、各サブネットワークの前記損失出力データを入力データに重ね合わせた後に前記遷移モデルの損失関数に入力することと、前記損失関数によって前記シミュレータが生成したシミュレーションデータを最適化することと、をさらに含む。

遷移モデルにおいて、深層残差ネットワークを利用して、入力と出力とを一般化加算し、最終的に品質向上のシミュレーションデータを合成する。遷移モデルは、データの処理過程において、解像度の異なる統計情報を生成する。ここで、高解像度の統計情報はもっとディテールの記述を重視し、低解像度の統計情報は全体の特徴を体現している。以上のデータ処理に対する解像度の異なるニーズには、異なるサンプリングレートの要求が対応する。ネットワークの転送過程において、ディテール情報が失われないように、ネットワークを構築する複数のサブブロックにいずれも出力を生成させ、ネットワークの複数のサブブロックの出力を損失関数の入力の一部として、ネットワークに対する損失関数の誘導強さを強化する。

また、一つの可能な実現形態において、特徴図のディテール情報のような拡張畳み込みメンテナンス情報を用いて、ダウンサンプリングによるディテール損失を回避する。拡張畳み込みと通常畳み込みとの区別は、拡張畳み込みがより広い受容野を持っていることである。受容野は、畳み込みカーネルが画像上に見られるサイズである。例えば、３×３の畳み込みカーネルの受容野のサイズは９である。通常畳み込みによりダウンサンプリングを行うとディテール損失を招くが、拡張畳み込みメンテナンス情報を利用するとこの問題を効果的に回避できる。

また、遷移モデルのデータ処理過程において、点群データのディテール分散性と実世界物体の連続性を考慮して、遷移モデルに入力された原始情報を局所的統計情報に変換することによって、物体の連続性に対する記述を実現する。例えば、分散したデータを局所的に情報統合し、統合後のデータが物体の連続性に対する記述に適切であれば画素レベルの情報統合であってもよい。さらに、複数のサイズの統計情報を同時に用いることで、データの最適化の実際ニーズに応じて統計情報のサイズの大きさを選択し、分散と連続との間に異なる程度のトレードオフを行う。例えば、３次元データを２次元平面に投影すると、データの緊密さを増加し、データが疎らになる問題を効果的に解決することができる。

また、一つの可能な実現形態において、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化することは、前記遷移モデルの損失関数に注意力モデルを埋め込んで、異なる特徴に対する前記遷移モデルの異なる関心度を実現することをさらに含む。損失関数に注意力モデルを埋め込むことによって、前景・背景、多次元物体、多様な距離等に対する異なる関心度を表現することができる。なお、注意力に対する制御は、自己適応的なことであり、主にネットワークの収束状況や、ネットワークの後方向伝播の勾配数値を根拠とする。

また、一つの可能な実現形態において、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化することは、物体のセマンティックと境界情報を先験情報として前記遷移モデルに入力し、前記遷移モデルの損失程度を検証することをさらに含む。物体のセマンティックは、点群情報におけるタグを含んでもよい。タグによって、点群情報を生成する被検出体が何者かを分かることができる。被検出体は、例えば建物、車又は木等であってもよい。物体のセマンティックと物体の境界情報を用いると、モデルの先験条件としてネットワーク訓練をサポートすることができる。

また、一つの可能な実現形態において、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成することは、フラグメントレベルを用いて前記第一判別モデルの損失程度を統計し、ネットワークの収束傾向、入力データにおける物体分布状況に応じて前記フラグメントレベルの大きさを設定することをさらに含む。

第一判別モデルの入力情報は、実データ及び遷移モデルの出力したシミュレーションデータであり、出力情報は、遷移モデルの出力したシミュレーションデータの真実性確率である。真実性確率が１であると、遷移モデルの出力したシミュレーションデータが真実であると判断することを意味し、真実性確率が０であると、遷移モデルの出力したシミュレーションデータが真実ではないと判断することを意味し、０．５であると、遷移モデルの出力したシミュレーションデータが一体真実であるか否かを判定しにくいことを意味する。

従来の判別モデルの損失関数の設計に比べて、本発明の実施例における第一判別モデルの損失統計は、画素レベルでも全体図レベルでもなく、フラグメントレベルの損失である。一実施形態において、ネットワークの収束傾向、即ち、損失関数の収束傾向に応じて自己適応的対策を採用してフラグメントの大きさを設定する。例えば、訓練初期の場合、フラグメントの大きさの設定値は比較的に大きいが、ネットワークの収束に伴って、フラグメントの大きさの設定値も次第に小さくなる。また、一つの実施形態において、入力データにおける物体分布状況に応じて自己適応的対策を採用し、フラグメントの大きさを設定してもよい。ここで、入力データにおける物体分布状況は、入力データの点群情報における被検出体の数を含んでもよい。点群情報における物体のセマンティックから入力データにおける物体分布状況を分かることができる。例えば、入力データの点群情報中に何台の車が存在するか等を分かることができる。入力データの点群情報中の被検出体の個数が多いと、フラグメントの大きさの設定値は対応して比較的に小さいものであってもよい。逆に、入力データの点群情報中の被検出体の個数が少ないと、フラグメントの大きさの設定値は対応して比較的に大きい。フラグメントの大きさが異なる場合について、例えば正規化操作のような対応する標準化操作を行って、損失数値のカーブの平滑性を維持することができる。

また、一つの可能な実現形態において、シミュレータが生成したシミュレーションデータを第一生成式対抗ネットワークに入力する前に、第二生成式対抗ネットワークによりセマンティックマップを生成することと、前記セマンティックマップを先験情報として前記シミュレータに入力することと、をさらに含む。

セマンティックマップは、物体のセマンティック、即ち、点群情報中のタグを含み、例えば、タグによって、被検出体が建物、車又は木等であることを標記することができる。生成式対抗ネットワークによってセマンティックマップ（ｓｅｍａｎｔｉｃ ｍａｐ）を生成し、点群データの有効範囲内の前景物体の地理分布と形態表現、背景環境の場面レイアウト等のセマンティックの設定を完了する。セマンティックマップをシミュレータに入力して、シミュレータのシミュレーションデータの生成に先験的知識を提供し、シミュレータの作業量を減らし、シミュレータの性能指標の要求を下げ、シミュレータ構築のコストも低減させる。従来のシミュレータは、模擬されたデータが実データとある程度ずれているため、現実感を増加するために、セマンティックマップをランダムに生成することが一般的である。ランダムにセマンティックマップを生成すると、シミュレーションデータに悪影響を与え、ランダム的要因は外乱誤差を引き起こすことになる。本発明の実施例は、セマンティックマップを先験情報としてシミュレータに入力し、システムに多すぎるランダム的要因が追加されることによる外乱誤差を低減することができる。

図４は、本発明の他の実施例が提供するシミュレーションデータの最適化方法におけるセマンティックマップの生成フローチャートである。図４に示すように、一つの可能な実現形態において、前記第二生成式対抗ネットワークは、生成モデルと第二判別モデルとを含み、第二生成式対抗ネットワークによってセマンティックマップを生成することは、騒音ベクトルを前記生成モデルに入力し、前記生成モデルでセマンティックマップを生成するステップＳ３１０と、実セマンティックマップと前記生成モデルの出力したセマンティックマップとを前記第二判別モデルに入力し、前記第二判別モデルで前記生成モデルの出力したセマンティックマップの真実性確率を生成するステップＳ３２０と、前記真実性確率に従って、前記生成モデルと前記第二判別モデルとの博戯学習によって、前記第二生成式対抗ネットワークを訓練するステップＳ３３０と、訓練された前記第二生成式対抗ネットワークによって、セマンティックマップを生成するステップＳ３４０と、を含む。

ここで、生成モデルの入力情報は騒音ベクトルであり、その出力情報はセマンティックマップであり、判別モデルの入力情報は実セマンティックマップと生成モデルの出力したセマンティックマップであり、その出力情報は生成モデルの出力したセマンティックマップが実セマンティックマップである確率である。

生成式対抗ネットワークによって、セマンティックマップを生成し、点群データの有効範囲内の前景物体の地理分布と形態表現、背景環境の場面レイアウト等のセマンティックの設定を完了すると、訓練サンプルの数を増加して、訓練サンプルの内容をより豊かにすることができる。

また、一つの可能な実現形態において、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成することは、異なる場面に適用されるコントローラベクトルを設定することと、前記遷移モデルのネットワーク転送過程において前記コントローラベクトルを入力して、異なる場面に適用される前記最適化シミュレーションデータを生成することをさらに含む。

このような実施形態において、コントローラベクトルを設定して、モデルの中間条件として遷移モデルに埋め込む。例えば、ニューラルネットワークが前向きに伝播される過程にコントローラベクトルを入力し、ニューラルネットワークの先の伝播結果と組み合わせた後に引き続けて前向きに伝播することができる。コントローラベクトルによって監視学習することでネットワークの出力したコントローラセマンティックを損失計算して矯正を実現し、異なる場面（天候等）のシミュレーションデータの生成を制御できる能力をネットワークに持たせる。

天候状態を示すようにコントローラベクトルを設定する。例えば、コントローラベクトルにおける要素を、「０」は晴れ、「１」は曇りを表すように設定してもよい。コントローラベクトルを遷移モデルに入力すると、異なる天候状況でのシミュレーションデータを制御可能に生成する。

上記技術案は次のような利点又は有益な効果を有する。即ち、生成式対抗ネットワークによって、シミュレーションデータを最適化して、シミュレーションデータの特徴を更に実データに近づけ、シミュレーションデータの品質と精度を確保するだけでなく、ある程度にシミュレーションデータの真実性・信頼性を高め、同時に、シミュレータ構築のコストも低減させる。

図５は、本発明の一実施例が提供するシミュレーションデータの最適化装置の構造ブロック図である。図５に示すように、本発明の実施例のシミュレーションデータの最適化装置は、シミュレータが生成したシミュレーションデータを、遷移モデルを含む第一生成式対抗ネットワークに入力するためのシミュレーションデータ入力ユニット１００と、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成するためのシミュレーションデータ最適化ユニット２００と、を備える。

図６は、本発明のまた一実施例が提供するシミュレーションデータの最適化装置の訓練ユニットの構造ブロック図である。図７は、本発明のまた一実施例が提供するシミュレーションデータの最適化装置の構造ブロック図である。図６及び図７に示すように、一つの可能な実現形態において、前記第一生成式対抗ネットワークは、第一判別モデルをさらに含み、前記装置は、訓練ユニット３００をさらに備え、前記訓練ユニット３００は、シミュレータが生成したシミュレーションデータを前記遷移モデルに入力し、前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化し、最適化シミュレーションデータを出力するための第一サブユニット３１０と、実データと前記最適化シミュレーションデータとを前記第一判別モデルに入力し、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成するための第二サブユニット３２０と、前記真実性確率に従って、前記遷移モデルと前記第一判別モデルとの相互博戯学習によって、前記第一生成式対抗ネットワークを訓練するための第三サブユニット３３０と、を備える。

一つの可能な実現形態において、前記シミュレーションデータ最適化ユニット２００は、前記遷移モデルのネットワーク転送過程において、残差ニューラルネットワークを利用して前記遷移モデルにおける各サブネットワークに損失出力データを発生し、各サブネットワークの前記損失出力データを入力データに重ね合わせた後に前記遷移モデルの損失関数に入力し、前記損失関数によって前記シミュレータが生成したシミュレーションデータを最適化するためにさらに用いられる。

また、一つの可能な実現形態において、前記第二サブユニット３２０は、フラグメントレベルを用いて前記第一判別モデルの損失程度を統計し、ネットワークの収束傾向、入力データにおける物体分布状況に応じて前記フラグメントレベルの大きさを設定するためにさらに用いられる。

図７に示すように、一つの可能な実現形態において、前記装置は、第二生成式対抗ネットワークによりセマンティックマップを生成するためのセマンティックマップ生成ユニット４００と、前記セマンティックマップを先験情報として前記シミュレータ６００に入力するためのセマンティックマップ入力ユニット５００と、をさらに備える。

また、一つの可能な実現形態において、前記第二生成式対抗ネットワークは、生成モデルと第二判別モデルとを含み、前記セマンティックマップ生成ユニット４００は、騒音ベクトルを前記生成モデルに入力し、前記生成モデルでセマンティックマップを生成し、実セマンティックマップと前記生成モデルの出力したセマンティックマップとを前記第二判別モデルに入力し、前記第二判別モデルで前記生成モデルの出力したセマンティックマップの真実性確率を生成し、前記真実性確率に従って、前記生成モデルと前記第二判別モデルとの博戯学習によって、前記第二生成式対抗ネットワークを訓練し、訓練された前記第二生成式対抗ネットワークによって、セマンティックマップを生成するためにさらに用いられる。

また、一つの可能な実現形態において、前記シミュレーションデータ最適化ユニット２００は、異なる場面に適用されるコントローラベクトルを設定し、前記遷移モデルのネットワーク転送過程において前記コントローラベクトルを入力して、異なる場面に適用される前記最適化シミュレーションデータを生成するためにさらに用いられる。

本発明の実施例のシミュレーションデータの最適化装置において、各ユニットの機能は上記した方法の関連説明を参照すればよく、ここではさらに詳しく説明しない。

一つの可能な構想において、シミュレーションデータの最適化装置の構造には、プロセッサーと、メモリーとが含まれ、前記メモリーは、シミュレーションデータの最適化装置による上記シミュレーションデータの最適化方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサーは、前記メモリーに記憶されたプログラムを実行するように配置される。前記シミュレーションデータの最適化装置は、シミュレーションデータの最適化装置と他の機器又は通信ネットワークとを通信させるための通信インターフェースをさらに備える。

図８は、本発明のまた一実施例が提供するシミュレーションデータの最適化装置の構造ブロック図である。図８に示すように、当該装置は、メモリー１０１とプロセッサー１０２とを備え、メモリー１０１にはプロセッサー１０２で稼働できるコンピュータプログラムが記憶されている。前記プロセッサー１０２は、前記コンピュータプログラムを実行すると、上記実施例におけるシミュレーションデータの最適化方法を実現する。前記メモリー１０１とプロセッサー１０２の数は、一つ又は複数であってもよい。

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース１０３をさらに備える。

メモリー１０１は、高速ＲＡＭメモリーを含む可能性もあるし、更に不揮発性メモリー（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも一つの磁気ディスクメモリーを備える可能性もある。

メモリー１０１、プロセッサー１０２及び通信インターフェース１０３が独立して実現する場合、メモリー１０１、プロセッサー１０２及び通信インターフェース１０３はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ｃｏｍｐｏｎｅｎｔ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図８では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

選択的に、具体的に実現する時、メモリー１０１、プロセッサー１０２及び通信インターフェース１０３が１枚のチップに統合される場合、メモリー１０１、プロセッサー１０２及び通信インターフェース１０３は内部インターフェースによって相互間の通信を実現することができる。

また一態様として、本発明の実施例は、プロセッサーにより実行されると、上記シミュレーションデータの最適化方法におけるいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサーを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリー（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリーに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリー、磁気ディスク又は光ディスク等であってもよい。

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims (15)

1. コンピュータによって実行される、シミュレーションデータの最適化方法であって、
   シミュレータが生成したシミュレーションデータを、遷移モデルを含む第一生成式対抗ネットワークに入力するステップと、
   前記遷移モデルにより前記シミュレータが生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成するステップと、を含み、
   シミュレータの生成したシミュレーションデータを前記第一生成式対抗ネットワークに入力する前に、
   第二生成式対抗ネットワークによりセマンティックマップを生成することと、
   前記セマンティックマップを先験情報として前記シミュレータに入力することと、をさらに含むことを特徴とするシミュレーションデータの最適化方法。
2. 前記第一生成式対抗ネットワークは、第一判別モデルをさらに含み、前記シミュレーションデータの最適化方法は、
   シミュレータの生成したシミュレーションデータを前記遷移モデルに入力し、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化し、最適化シミュレーションデータを出力するステップと、
   実データと前記最適化シミュレーションデータとを前記第一判別モデルに入力し、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成するステップと、
   前記真実性確率に従って、前記遷移モデルと前記第一判別モデルとの博戯学習によって、前記第一生成式対抗ネットワークを訓練するステップと、
   をさらに含んで前記第一生成式対抗ネットワークに対する訓練を行うことを特徴とする請求項１に記載のシミュレーションデータの最適化方法。
3. 前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成することは、
   前記遷移モデルのネットワーク転送過程において、残差ニューラルネットワークを利用して前記遷移モデルにおける各サブネットワークに損失出力データを生成することと、
   各サブネットワークの前記損失出力データを入力データに重ね合わせた後に前記遷移モデルの損失関数に入力することと、
   前記損失関数によって、前記シミュレータの生成したシミュレーションデータを最適化することと、をさらに含むことを特徴とする請求項１に記載のシミュレーションデータの最適化方法。
4. 前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成することは、
   フラグメントレベルを用いて前記第一判別モデルの損失程度を統計し、ネットワークの収束傾向および/または入力データにおける物体分布状況に応じて前記フラグメントレベルの大きさを設定することをさらに含むことを特徴とする請求項２に記載のシミュレーションデータの最適化方法。
5. 前記第二生成式対抗ネットワークは、生成モデルと第二判別モデルとを含み、前記第二生成式対抗ネットワークによりセマンティックマップを生成することは、
   騒音ベクトルを前記生成モデルに入力し、前記生成モデルでセマンティックマップを生成することと、
   実セマンティックマップと前記生成モデルの出力したセマンティックマップとを前記第二判別モデルに入力し、前記第二判別モデルで前記生成モデルの出力したセマンティックマップの真実性確率を生成することと、
   前記真実性確率に従って、前記生成モデルと前記第二判別モデルとの博戯学習によって、前記第二生成式対抗ネットワークを訓練することと、
   訓練された前記第二生成式対抗ネットワークによって、セマンティックマップを生成することと、を含むことを特徴とする請求項１に記載のシミュレーションデータの最適化方法。
6. 前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成することは、
   異なる場面に適用されるコントローラベクトルを設定することと、
   前記遷移モデルのネットワーク転送過程において前記コントローラベクトルを入力して、異なる場面に適用される前記最適化シミュレーションデータを生成することと、をさらに含むことを特徴とする請求項１乃至４のいずれか１項に記載のシミュレーションデータの最適化方法。
7. シミュレータの生成したシミュレーションデータを、遷移モデルを含む第一生成式対抗ネットワークに入力するためのシミュレーションデータ入力ユニットと、
   前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化して、最適化シミュレーションデータを生成するためのシミュレーションデータ最適化ユニットと、
   第二生成式対抗ネットワークによりセマンティックマップを生成するためのセマンティックマップ生成ユニットと、
   前記セマンティックマップを先験情報として前記シミュレータに入力するためのセマンティックマップ入力ユニットと、を備えることを特徴とするシミュレーションデータの最適化装置。
8. 前記第一生成式対抗ネットワークは、第一判別モデルをさらに含み、前記シミュレーションデータの最適化装置は、訓練ユニットをさらに備え、前記訓練ユニットは、
   シミュレータの生成したシミュレーションデータを前記遷移モデルに入力し、前記遷移モデルにより前記シミュレータの生成したシミュレーションデータを最適化し、最適化シミュレーションデータを出力するための第一サブユニットと、
   実データと前記最適化シミュレーションデータとを前記第一判別モデルに入力し、前記第一判別モデルにより前記最適化シミュレーションデータの真実性確率を生成するための第二サブユニットと、
   前記真実性確率に従って、前記遷移モデルと前記第一判別モデルとの博戯学習によって、前記第一生成式対抗ネットワークを訓練するための第三サブユニットと、を備えることを特徴とする請求項７に記載のシミュレーションデータの最適化装置。
9. 前記シミュレーションデータ最適化ユニットは、 前記遷移モデルのネットワーク転送過程において、残差ニューラルネットワークを利用して前記遷移モデルにおける各サブネットワークに損失出力データを生成し、
   各サブネットワークの前記損失出力データを入力データに重ね合わせた後に前記遷移モデルの損失関数に入力し、
   前記損失関数によって、前記シミュレータの生成したシミュレーションデータを最適化するためにさらに用いられることを特徴とする請求項７に記載のシミュレーションデータの最適化装置。
10. 前記第二サブユニットは、
    フラグメントレベルを用いて前記第一判別モデルの損失程度を統計し、ネットワークの収束傾向および/または入力データにおける物体分布状況に応じて前記フラグメントレベルの大きさを設定するためにさらに用いられることを特徴とする請求項８に記載のシミュレーションデータの最適化装置。
11. 前記第二生成式対抗ネットワークは、生成モデルと第二判別モデルとを含み、前記セマンティックマップ生成ユニットは、
    騒音ベクトルを前記生成モデルに入力し、前記生成モデルでセマンティックマップを生成し、
    実セマンティックマップと前記生成モデルの出力したセマンティックマップとを前記第二判別モデルに入力し、前記第二判別モデルで前記生成モデルの出力したセマンティックマップの真実性確率を生成し、
    前記真実性確率に従って、前記生成モデルと前記第二判別モデルとの博戯学習によって、前記第二生成式対抗ネットワークを訓練し、
    訓練された前記第二生成式対抗ネットワークによって、セマンティックマップを生成するためにさらに用いられることを特徴とする請求項７に記載のシミュレーションデータの最適化装置。
12. 前記シミュレーションデータ最適化ユニットは、
    異なる場面に適用されるコントローラベクトルを設定し、
    前記遷移モデルのネットワーク転送過程において前記コントローラベクトルを入力して、異なる場面に適用される前記最適化シミュレーションデータを生成するためにさらに用いられることを特徴とする請求項７乃至１０のいずれか１項に記載のシミュレーションデータの最適化装置。
13. 一つ又は複数のプロセッサーと、
    一つ又は複数のプログラムを記憶するためのメモリーと、を備え、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサーにより実行される時、前記一つ又は複数のプロセッサーが請求項１乃至６のいずれか１項に記載のシミュレーションデータの最適化方法を実現するようにすることを特徴とするシミュレーションデータの最適化装置。
14. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサーにより実行されると、請求項１乃至６のいずれか１項に記載のシミュレーションデータの最適化方法を実現することを特徴とするコンピュータ可読記憶媒体。
15. コンピュータにおいて、プロセッサーにより実行される場合、請求項１乃至６のいずれか一項に記載のシミュレーションデータの最適化方法を実現することを特徴とするプログラム。
    

Images