JP6972395B2 - テストデータセットの生成方法、テスト方法、システムの動作方法、機器、制御システム、コンピュータプログラム製品、コンピュータ可読媒体、生成及び使用 - Google Patents

テストデータセットの生成方法、テスト方法、システムの動作方法、機器、制御システム、コンピュータプログラム製品、コンピュータ可読媒体、生成及び使用 Download PDF

Info

Publication number
JP6972395B2
JP6972395B2 JP2020570681A JP2020570681A JP6972395B2 JP 6972395 B2 JP6972395 B2 JP 6972395B2 JP 2020570681 A JP2020570681 A JP 2020570681A JP 2020570681 A JP2020570681 A JP 2020570681A JP 6972395 B2 JP6972395 B2 JP 6972395B2
Authority
JP
Japan
Prior art keywords
image
algorithm
data set
test
action area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020570681A
Other languages
English (en)
Other versions
JP2021527891A (ja
Inventor
ハルブラウブ，アンドレス ボテロ
ゲッツ，ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Industry Software NV
Original Assignee
Siemens Industry Software NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Industry Software NV filed Critical Siemens Industry Software NV
Publication of JP2021527891A publication Critical patent/JP2021527891A/ja
Application granted granted Critical
Publication of JP6972395B2 publication Critical patent/JP6972395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、アルゴリズムのためのテストデータセットの生成方法と、そのようなもののテスト方法に関する。さらに、本発明は、装置の自動化された画像依存制御のためのシステムの動作方法と、その方法を実行するための機器に関する。そして、本発明は、そのような機器を備える装置用制御システム、コンピュータプログラム製品、コンピュータ可読媒体、データキャリアの生成、及び人工知能の使用に関する。
制御ソフトウェアの開発分野においては、ソフトウェアのテストが開発コストのかなりの部分を占める。このことは、とりわけ、品質テストの設計が複雑であり、また、エラー検出が困難且つ自明ではない、という事情による。特に、テストされるべきアルゴリズムが複雑であればあるほど、これのテストもより複雑になる。とりわけ、「包括的に」テストすること、つまり必要とされるテスト網羅性を達成することも困難である。
また、画像処理アルゴリズムは、コンピュータシステムにおける最も複雑なアルゴリズムに数えられる。本出願人には、例えば、先進運転支援（英語ではAdvanced Driver Assistance、ＡＤＡＳ）又は自律車両運転の分野で用いられるアルゴリズムが、記録されたテストデータセットに基づくテストシナリオを用いた、人によるチェックを受けること、又は「実世界テスト（Real-Life-Tests）」が試験場又は現実環境で行われることは、既知である。
予め記録され、高度な人的介入により生成された現実のビデオシーケンスにおける予め定義された「最良ケースアクション（Best-Case-Actions）」に対してチェックを行うことができる。新しいテストケースの各々は手動で生成され、テストシナリオにランダム性の余地を残さない。
既知の複数のアプローチは、テストデータ及び予想される振る舞いが、人のアクターとの密接な相互作用によって特徴付けられ、自動化されたテストセットアップへの統合には困難さを伴う点で共通している。テストの拡張は複雑で困難である。
また本出願人には、いくつかの製造業者においてはテストフェーズがさらに製品供給後の期間にまで延長され、監視された自律走行プロセス中にテストデータが、これらに基づいてアルゴリズムを改善するために、収集されることは、既知である。
Ian Goodfellow他「GenerativeAdversarial Nets」（ＧＡＮｓ）、ArXiv: 1406.2661[statML]661vl、2014年1月10日 Alec Redfort他「Unsupervised Representation Learning With Deep Convolutional GenerativeAdversarial Networks」、ArXiv: 1511.064V2[cs.LG]、2016年1月7日 SeppHochreiter、Juergen Schmidhuber「Long ShortTerm Memory」（ＬＳＴＭ） Neural Computation 9(8):1735‐1780、1997年
これに基づいて、本発明の課題は、複雑な画像処理アルゴリズムをテストするための改善されたオプションを提供することである。
本課題は、以下のような方法により、解決される、即ち、入力として画像データを取得しまた出力として画像データに依存するアクション領域を出力する及び／又は入力としてセンサデータを取得しまた出力としてセンサデータに依存するアクション領域を出力するアルゴリズムのための少なくとも１つのテストデータセットの生成方法であって、以下のステップを有する、即ち、
ステップ１．１ 訓練された人工知能が提供されるステップ、
ステップ１．２ 人工知能が刺激されるステップ、及び
ステップ１．３ 刺激された人工知能が、画像データ及び画像データに関連するアクション領域及び／又はセンサデータ及びセンサデータに関連するアクション領域を含む、少なくとも１つのテストデータセットを生成するステップ、
を有する方法により、解決される。
好ましくは、ステップ１．１において、長・短期記憶ネットワークを含むか又はそのようなものにより与えられている、人工知能が提供される。また、好ましくは、ステップ１．１において、少なくとも１つの生成ネットワーク及び／又は少なくとも１つの識別ネットワークを含むか又はそのようなものにより与えられている、人工知能が提供される。また、特に好ましくは、ステップ１．２において、人工知能の少なくとも１つの生成ネットワークが刺激され、好ましくは、ステップ１．３において、人工知能の少なくとも１つの刺激された生成ネットワークがテストデータセットを出力する。敵対的生成ネットワーク、特に少なくとも１つの生成ネットワーク及び／又は少なくとも１つの識別ネットワークとは、好適には、人工ニューラルネットワークである。
なお、ネットワークという用語の代わりに、原則的にシステム又はモデル又はネットワークという用語を同義語として用いることもできる。
好ましくは、ステップ１．１において、学習データセットを用いて調整された、訓練された人工知能が提供される。特に好ましくは、少なくとも１つの画像取得装置によって記録された実画像データ及び実画像データに関連するアクション領域及び／又は少なくとも１つのセンサ装置によって記録された実センサデータ及び実センサデータに関連するアクション領域を含む、学習データセットを用いる。
特に好ましくは、ステップ１．１において提供される訓練された人工知能を取得するために、以下のステップ、即ち、
ステップ２．１ 少なくとも１つの画像取得装置によって記録された実画像データ及び実画像データに関連するアクション領域並びに／又は少なくとも１つのセンサ装置によって記録された実センサデータ及び実センサデータに関連するアクション領域を含む、学習データセットが提供されるステップ、
ステップ２．２ 人工知能が提供されるステップ、及び、
ステップ２．３ 人工知能は、提供された学習データセットを用いて調整されるステップ、が実行される。
さらに好ましくは、ステップ１．１及び／又はステップ２．２において提供される人工知能に関して、この人工知能は、敵対的ネットワーク、特に敵対的生成ネットワークを含むか、又はそのようなものにより与えられている。
本発明は、初期データセットから画像データ及び／又はセンサデータ並びに関連するアクション領域を生成するために人工知能を用いるという考えに基づいており、これらを用いて、アルゴリズムを特には、画像依存制御の、特には画像シーケンス依存制御の領域から、或いは、センサ値依存制御の領域から、その性能又はその振る舞いについてチェックすることができる。この場合、本発明においては訓練された人工知能が用いられる。
人工知能は、好ましくは、特に現実の状況の観測或いは記録により、また人との相互作用により、取得された学習データセットを用いて、調整される、つまり訓練される、或いは、好ましくは、特に現実の状況の観測又は記録により、また人との相互作用により、取得された学習データセットを用いて、調整／訓練済みであり、この場合テストデータを生成するために利用可能である。
訓練された人工知能を用いて生成されたデータセットは、「合成的に」取得されたテストデータであり、当該テストデータ、そのタイプ及び合目的性に関して、特に提供された学習データセットと同様であって、また、現実に近いものであるか又は現実のデータとは区別できない。人工知能の方法は、好ましくは敵対的生成ネットワークによって、特には画像シーケンス及びそれに適合するアクションを生成するために、用いられる。
特に、例えば画像シーケンスの形態の高次元データ、及びアクション領域又はアクション通路（英語ではaction corridors）の形態の、特に許容的制御パラメータを示す、低次元データは、特に、画像依存制御アルゴリズム又はセンサ値依存制御アルゴリズムの性能又は挙動を分類するために、テストケース生成器を訓練するために、処理される。調整は、好ましくはアクション領域に関してベクトルの級数として補完されている画像データ及び／又はセンサデータに、基づいている。
テストデータセットが決定されており、入力として画像データを取得し、そして、出力として画像データに依存するアクション領域を出力するアルゴリズムは、特に好ましくは、制御アルゴリズムである。特に、例えば車両又はロボットといった装置を制御するためのアルゴリズムであってよい。
好適には、アクション領域は、各々少なくとも１つの許容的アクション、好ましくは、各々複数の許容的アクションを含むか、又はそれによって与えられている。これらは特に各々、関連する画像データ又はセンサデータに関して或いはこれらに照らして、許容的である、例えば制御プロセスといったアクションを有する（目標）領域である。
好ましい構成では、アクション領域は、許容的制御パラメータを示す。特に好ましくは、それらは、自動化され、画像サポートされた、装置の制御のためのシステム用の許容的制御パラメータを示す或いは含む、或いは、そのようなものによって構成される。
アクション領域は、例えば少なくとも１つの制御パラメータ又は制御値を含むか、例えば少なくとも１つの制御パラメータ又は制御値によって構成又は定義される。少なくとも１つの制御パラメータ又は制御値は、それが関連する画像データ又はセンサデータに照らして許容的な（制御）アクションを示すものであってよい。好ましくは、センサ依存／画像依存で制御される装置の１つ又は複数の制御値又は制御パラメータである。
一般に、画像データ及び／又はセンサデータによって取得することができるか或いは取得されている所与の初期状況に関して、１つの制御パラメータ又は制御値が可能／許容的であるだけでなく、関連する１つの目標領域が存在し、当該目標領域は複数のアクション又はこれらを示す複数の制御値又は制御パラメータを含んでいる。アクション領域は、適宜、複数の制御パラメータ又は制御値によって定義又は構成されていてもよく、それらは目標領域内にあるか、又はそのような領域にわたっている。
特に、アクション領域は、これら各々が関連する画像データ又はセンサデータに依存して許容的である、パラメータ又は値、好ましくは制御パラメータ又は制御値を示す。アクション領域は、複数のパラメータ又は値によって又はそれらの集合によって、特には複数の制御パラメータ又は制御値によって又はそれらの集合によって、定義されていてもよく、これらが実施されると、特には、例えば車両又はロボットといったアルゴリズムを介して制御される装置と共に、（許容的な）アクション領域内を移動する。
アクション領域に関して画像データ及び／又はセンサデータを補完することによって、さらなるテストシナリオを生成するために必要なテスト情報を有する注釈付きデータセットが取得される。好ましくは、個々のネットワーク、特に敵対的生成ネットワーク、好ましくは識別ネットワークの調整は、１つの生成ネットワークにより交替で行う生成及び生成されたものの（敵対的）チェックつまり敵対的ネットワーク、特に識別ネットワークによる人工画像データ及び／又はセンサデータ並びに関連するアクション領域の（敵対的）チェックによって、行われる。
ここで、好ましくは、本発明の基礎となるテストデータ生成スキームは、非特許文献１の論文において発表されたIan Goodfellow他の業績、非特許文献２の論文によるAlec Redfort他の業績、及び特に非特許文献３の論文によるSepp HochreiterとJuergen Schmidhuberの業績に基づく。
訓練された人工知能は刺激される。刺激は、人工知能に入力、例えば少なくとも１つの入力ファイルが供給されることによって行われ得る。特には入力の供給といった刺激に応答して、人工知能は出力を生成する。
訓練された人工知能の刺激は、原則的に様々な方法で行われ得て、例えば少なくとも１つのランダム信号を入力として用いて行われ得る。ランダム信号は、例えばノイズのみを示す或いは含む画像或いは画像ファイルによって、与えられていてもよい。
また、刺激は、少なくとも１つの刺激画像を用いて、好ましくは２つ以上の刺激画像或いは刺激画像シーケンスを用いて、及び／又は、少なくとも１つの刺激ビデオを用いて、行われ得て、それらは好ましくは、例えば走行状況或いは走行シーンといった、具体的なコンテンツ或いはシーン或いは状況を示している。
特に現実のコンテンツを示す刺激画像（或いはそのようなもののシーケンス）及び／又は刺激ビデオの使用は、一般に、ランダム信号の使用に比べてより多くの制御オプションを提供する。
特に、ＧＡＮのアプローチは、好ましくはランダム信号（英語ではrandomsignal）による刺激への又は視覚概念に関する準線形性特性の使用への人工知能の適用から、データセットを生成するために用いられ、それはAlec Redford他による２０１６年の非特許文献２の上記刊行物、特にこの刊行物の１０頁の図７に記載されているように行われる。ここで、生成ネットワーク或いは生成アルゴリズムは、通常のアプローチとは逆に用いられており、このことは、生成ネットワーク又は生成アルゴリズムにパターンを認識しそれらを分類することを可能にする代わりに、プロセスが逆になり、例えばランダム信号などの「分類入力」によってシステムが刺激され、新しい「パターン」（英語ではPattern）が生成されることを意味する。GoodfellowとRedfordは、２０１４年と２０１６年のその著作で、新しい画像の作成がほとんどベクトル空間で略線形演算になることを示している。これは、新しいシーケンスを生成するためにアルゴリズムがより容易にチューニングされ得ることを意味する。
特に刺激すべき人工知能に（現実の）コンテンツ或いはシーン或いは状況を示す少なくとも１つの画像及び／又はビデオ（或いは対応するファイル）が刺激用に供給される場合に対しては、人工知能は、合成画像或いは合成画像シーケンスを、視覚概念に関する準線形特性を用いて又はそれによって、生成することができる。
ここで、線形性とは、特に重ね合わせの原理と理解されるべきである（画像＿Ａ＋パラメータ＊画像＿Ｂ＝画像＿Ｃ）。「準」とは、特に、既存の個々の画像から新しい画像又は刺激ビデオが生成されることと理解されるべきである（関数＿ａ（画像＿Ａ）＋パラメータ＊関数＿ｂ（画像＿Ｂ）＝画像＿Ｃ、その際、関数＿ａ及び関数＿ｂは非線形関数である）。
純粋に一例として、好天時の道路を示す画像と、雨を示す画像とから、視覚概念の準線形特性を考慮して、雨を含む道路或いは雨天時の道路を示す（合成そして生成された）画像が取得される。人工知能に、例えば好天時の道路を含む画像と雨を含む画像が刺激画像として供給される場合、雨天時の道路を示す（関連するアクション領域を有する）合成画像が、取得され得る。このようにして、既存の画像から、既存の画像においては元々示されていなかった、とりわけ新しいシナリオを取得することができる。なお、道路と雨の組み合わせは純粋に一例として理解されるべきであり、人工知能にはもちろん、他のシーン又は状況を刺激画像として供給され得て、当然のことながら３つ以上の画像も供給され得ることが強調される。
この原理について、非特許文献２の上記論文の図７は、一例として顔を含む画像を用いて記載していることも注意すべきである
刺激画像及び／又は刺激ビデオは、例えばカメラを用いて記録されたもので、現実のシーン或いは状況、例えば現実の走行シーン或いは走行状況を示す画像又はビデオであってよい。しかし、代替的に又は追加的に、構築されたか又は合成の画像及び／又はビデオが人工知能を刺激するために用いられることを排除するものでもない。
新しいデータを生成するために、１つ又は複数の訓練されたネットワーク、システム或いはモデルを用いてよい。特に人工知能の生成ネットワークを刺激することにより、新しい画像データ及び／又はセンサデータ並びに関連するアクション領域を、学習された規則を用いて生成してよい。
特に、ＧＡＮの特性に起因して、生成物は単純な算術演算により影響される場合がある。例えば、並木通り−樹木＝単純な道路、又は、直線道路＋カーブ＝難所なども取得することができる。
特に好ましくは、古典的な畳み込みネットワークの代わりに、ＬＳＴＭネットワーク、特に畳み込みＬＳＴＭネットワークが、１つ又は複数の生成ネットワークと１つ又は複数の敵対的ネットワークのために用いられる。ＬＳＴＭネットワークを用いることの有利な点はとりわけ、（画像データ又はセンサデータ及び関連するアクティビティ領域の）時間依存シーケンスが取得され、ＬＳＴＭによってノイズ効果（非物理的アーティファクト）が避けられることである。ＬＳＴＭネットワークとは、特に、過去の状態が考慮されるネットワークと理解されるべきである。ＬＳＴＭは、このタイプのネットワークの特殊化である。このようにして、特に、画像シーケンス及びアクション領域或いはアクション通路を必要とする時間依存性が共にモデル化され得る。本発明の枠内で使用可能なＬＳＴＭネットワークは、例えば、Sepp HochreiterとJuergen Schmidhuberによる非特許文献３に記載されている。
このアプローチは拡張され、畳み込みＬＳＴＭネットワークが繰り返し起きる過去の状態を即座に捕捉することを可能にするが、これは、特にＧＡＮシステムを含むか又はそのようなものにより与えられている人工知能を訓練するために、つまり、画像データ、特に画像シーケンス、及び／又はセンサデータ、及び関連するアクション領域を取得するために、行われる。これにより、テストシーンの動的な振る舞いをモデル化することが可能になる。
本発明に係る方法は、様々な有利な点を提供する。一方では、複雑なアルゴリズムをテストする際、人との相互作用或いは人的介入の範囲を大幅に削減することができる。また、非常に多数のテストデータも提供することが問題なく可能であるため、複雑なアルゴリズムのテスト網羅性（英語ではtest coverage）を大幅に高めることができる。
特に広範囲に深くテスト可能であるため、特に信頼性高く働くアルゴリズムを取得することができ、このことは、とりわけ先進運転支援又は自律走行の分野で行われるような、画像サポートされる制御の領域にとって、著しい長所である、或いは、必要不可欠なものである。その結果、そのようなシステムの品質及び信頼性を大幅に向上させることができ、それに伴うコスト管理が非常に容易である。さらなる有利な点は、本発明によれば、テストハーネス及びテストベクタの生成が１つの前処理ステップのみで行われることである。
好ましい実施形態においては、入力として画像シーケンスを取得し、出力として画像シーケンスに依存するアクション領域を出力するアルゴリズムのために、特に自律的に車両を案内するためのシステム又は好ましくは先進運転支援システムのアルゴリズムのために、少なくとも１つのテストデータセットが生成され、特に、ステップ２．１において学習データセットが提供され、当該学習データセットは少なくとも１つの画像取得装置によって記録された実画像シーケンスと、特に装置の自動化され、画像サポートされた制御のためのシステムの許容的制御パラメータを表す、シーケンスの画像に関連するアクション領域を含み、そして、ステップ１．３において、刺激された人工知能は、特に人工知能の少なくとも１つの生成ネットワークは、新しい画像シーケンス及び新しい画像シーケンスに関連するアクション領域を含むこの少なくとも１つのテストデータセットを生成する。
なお、本発明に従うアプローチが特に先進運転支援及び自律走行の領域に適しているのは、例えばビデオといった画像シーケンスに依存して制御コマンドが出力されることがこれらの領域において必要であるためであるが、本発明に係るアプローチはこれら両方の例に限定されるものではない。むしろ、テストデータセットは、他の領域のアルゴリズムのために生成されてもよく、例えば、画像サポートされ自動化されたロボット制御又は自動化された分類プロセスの分野で例えば組み立てラインにて使用されるアルゴリズムのために生成されてもよい。また、画像サポートされておらずセンサデータに基づく制御のためのアルゴリズムも、本発明に従ってテストすることができる。
好ましくは、人工知能、特にＧＡＮシステムを調整するために、オリジナルの実画像データ、特に画像シーケンス、及び／又は、センサデータ並びに関連するアクション領域が、学習データセットとして用いられる。
したがって、好ましくは、まず少なくとも１つの画像データセット、特に画像シーケンス、及び／又は、少なくとも１つのセンサデータセットが取得され、これは、十分に知られている画像取得装置、例えば１つ又は複数のカメラ又はセンサ装置などを用いて行うことができる。例えば、車両又はロボットに設けられており車両が走行している間又はロボットが動作している間に記録を行うカメラを、使用することができる。特に、取得された画像シーケンス又は取得されたビデオは、特にはテストベクタである。実画像データ又は実センサデータに関連するアクション領域が算出され、画像データ又はセンサデータ及びアクション領域が互いに割り当てられ、テストデータセットが取得される。現実のテストデータセットがまずこのようにして生成されることの代替として、適切なテストデータセットが利用可能である限り、既存のテストデータセットにアクセスすることもできる。
次のステップにおいて、人工知能は、特に人工知能の生成ネットワークは、好ましくは、現実のテストデータを用いて訓練され、その後、新しい画像データ、特に画像シーケンス、及び／又は、センサデータ並びに関連するアクション領域を生成するために、例えば１つ又は複数のランダム信号を用いて刺激されてよい。
その後、これらの新たに取得した合成のテストデータは、必要に応じて学習データセットに追加して、テストされるべきアルゴリズムに供給され得るが、その目的はこのアルゴリズムをチェックすることである。
特に少なくとも１つのテストデータセットが先進運転支援システムのアルゴリズムのために又は自律的に車両を案内するためのシステムのアルゴリズムのために生成される場合には、別の好ましい構成において、人工知能の訓練のために提供される学習データセットが、走行状況の画像を含む画像シーケンスを含むこと、及び／又は、画像の各々に関して、関連するアクション領域として走行軌跡と、好ましい構成においては、走行軌跡に関する目標領域を定義する、走行軌跡の各々に関連する目標通路を含むこと、が企図されている。
発展形態においては、さらにステップ１．３において、少なくとも１つのテストデータセットが生成され、当該少なくとも１つのテストデータセットは、走行状況の画像を含む画像シーケンス、及び／又は、各々の画像のために関連するアクション領域として走行軌跡、及び特には、各々の走行軌跡に関連する目標通路とを含み、走行軌跡に関する目標領域を定義する、画像シーケンスを含む。
本発明のさらなる対象は、以下のステップを含む、アルゴリズムのテスト方法である、即ち、
ステップ９．１ テストされるべきアルゴリズムであって、入力として画像データを取得し、出力として画像データに依存するアクション領域を出力する、及び／又は、入力としてセンサデータを取得し、出力としてセンサデータに依存するアクション領域を出力する、アルゴリズム、が提供されるステップ、
ステップ９．２ 画像データ及び画像データに関連するアクション領域を含む、及び／又は、センサデータ及びセンサデータに関連するアクション領域を含む、少なくとも１つのテストデータセットを取得するために、請求項１〜８の何れか１項に記載の方法を実行するステップ、
ステップ９．３ 少なくとも１つのテストデータセットが提供されるステップ、
ステップ９．４ 少なくとも１つのテストデータセットの画像データ及び／又はセンサデータが、テストされるべきアルゴリズムに入力として供給されるステップ、
ステップ９．５ アルゴリズムが実行され、出力としてアクション領域を出力するステップと、
ステップ９．６ アルゴリズムにより出力として出力されたアクション領域が、少なくとも１つのテストデータセットのアクション領域と比較されるステップ、
ステップ９．７ 比較の結果から、テストされたアルゴリズムの品質が推論されるステップ、
を含む、アルゴリズムのテスト方法である。
好ましい構成では、ステップ９．１において、先進運転支援システムのアルゴリズム又は自律車両運転用システムのためのアルゴリズムが、テストされるべきアルゴリズムとして提供される。
本発明に係るアルゴリズムのテスト方法の１つの実施形態は、ステップ９．１から９．７の実行に続き、本発明に係るテストデータセットの生成方法のステップ１．２及び１．３が、以前に生成されたテストデータセットとは異なる少なくとも１つのさらなるテストデータセットを生成するために、再び実行され、少なくとも１つのさらなるテストデータセットが提供され、特にはアルゴリズムのさらなる様相をテストするために、ステップ９．４から９．７が繰り返されること、を特徴とする。
この方法は、特に有利であることが証明されている。生成ステップを１回繰り返すことによって又は複数回繰り返すことによっても、特に、テストされるべきアルゴリズムの新しい、さらなる様相を、繰り返しチェックすることが可能である。
また、本発明のさらなる対象は、特には車両又はロボットといった装置の自動化された特に画像依存の及び／又はセンサ依存の制御のためのシステムの動作方法であり、システムは、少なくとも１つの画像取得装置、特にカメラ、及び／又は、少なくとも１つのセンサ装置、並びに評価・制御ユニット、及び装置の制御手段を含み、制御・評価ユニット内に以下のようなアルゴリズム、即ち、入力として画像データを取得し、出力として、特に許容的制御パラメータを示す画像データに依存するアクション領域を出力し、及び／又は、入力としてセンサデータを取得し、出力として、特に許容的制御パラメータを示すセンサデータに依存するアクション領域を出力するアルゴリズムが、格納されているか又は格納されることになり、アルゴリズムは本発明に係るアルゴリズムのテスト方法の実行中にテストされ、テストの結果、アルゴリズムの機能性が不十分である場合、アルゴリズムは所定の方法で適合され、アルゴリズムを用いて装置の制御が行われる、方法である。
システムとは、例えば、自律車両制御のために、又は車両、例えば乗用車において特に先進運転支援のために使用される、ものであってよい。
本発明に係る方法で生成された少なくとも１つのテストデータセットを用いて、特に本発明に係るアルゴリズムのテスト方法の実行中に、チェックされ、必要に応じて適合されたアルゴリズムに基づいて装置が、例えば車両又はロボットが、制御される場合、制御を特に信頼性高く行うことができ、自動化された制御の安全性を大幅に向上させることができる。
好ましい実施形態において、装置の自動化された特に画像依存及び／又はセンサ依存制御のためのシステムの動作方法は、システムは少なくとも１つの画像取得装置を含み、システムの少なくとも１つの画像取得装置を用いて画像のシーケンスが取得され、シーケンスの画像にアクション領域が割り当てられ、割り当てられたアクション領域を含む画像シーケンスは、人工知能を訓練するための学習データセットとして、特にステップ２．１において提供されることを特徴とする。代替的又は追加的に、システムは少なくとも１つのセンサ装置を含み、システムの少なくとも１つのセンサ装置を用いてセンサデータが取得され、センサデータにアクション領域が割り当てられ、割り当てられたアクション領域を含むセンサデータは、人工知能を訓練するための学習データセットとして、特にステップ２．１において提供されることが企図され得る。ステップ２．１は、特に本発明に係るテストデータセットの生成方法の第１のステップであり、当該第１のステップはテストデータセットを取得するために本発明に係るアルゴリズムのテスト方法のステップ９．２において実行される。
本発明のさらなる対象は訓練された人工知能の使用であり、当該人工知能は、入力として画像データを取得し、出力として、特に許容的制御パラメータを示す画像データに依存するアクション領域を出力するアルゴリズムのため、及び／又は、入力としてセンサデータを取得し、出力として、特に許容的制御パラメータを示すセンサデータに依存するアクション領域を出力するアルゴリズムのため、少なくとも１つのテストデータセットを生成するための、特に敵対的生成ネットワークを含むか又はそのようなものにより与えられている。なお、人工知能及び／又は少なくとも１つのテストデータセットに関して上記した全ての特徴は、各々個別に又は組み合わせて、本発明に係る使用の枠内においても、実現することができることを指摘する。
また、本発明のさらなる対象は、本発明に係るアルゴリズムのためのテストデータセットの生成方法を実行するように、又は、本発明に係るアルゴリズムのテスト方法を実行するように、又は、本発明に係る装置の自動化された特に画像依存制御のためのシステムの動作方法を実行するように、構成及び適合されている機器に関する。
本発明に係る機器は、好ましくは、少なくとも１つのプロセッサと、特にデータ保存部を備える。本発明に係る機器は、例えばコンピュータ、特にＰＣを含んでよく、又はそのようなものとして構成されていてもよい。
また、本発明に係る機器は、例えば、装置用の、特に車両用又はロボット用の制御システムの一部を構成してもよい。
また、本発明の対象は、本発明に係るアルゴリズムのためのテストデータセットの生成方法を実行するための、或いは、本発明に係るアルゴリズムのテスト方法を実行するための、或いは、本発明に係る装置の自動化された画像依存制御のためのシステムの動作方法を実行するためのプログラムコード手段を含むコンピュータプログラム製品である。
また、本発明の対象はデータキャリアの生成でもあり、当該データキャリには少なくとも１つのテストデータセットが保存されており、当該少なくとも１つのデータセットは本発明に係る少なくとも１つのテストデータセットの生成方法の実行下において保存されている。
最後に、本発明の対象はコンピュータ可読媒体であり、当該コンピュータ可読媒体は、以下のような命令を含んでいる、即ち、少なくとも１つのコンピュータ上で実行される場合、少なくとも１つのコンピュータに、本発明に係るアルゴリズムのためのテストデータセットの生成方法のステップ、或いは、本発明に係るアルゴリズムのテスト方法のステップ、或いは、本発明に係る装置の自動化された画像依存制御のためのシステムの動作方法のステップ、を実行させる命令を含んでいる。
例えば、コンピュータ可読媒体は、例えばＣＤ‐ＲＯＭ、ＤＶＤ、又はフラッシュメモリ、又はＵＳＢメモリといったデータキャリアの形態で存在することができる。なお、コンピュータ可読媒体としては、単に物理メディアのみが理解されるべきはなく、そのようなものは、例えばデータストリーム及び／又はデータストリームを示す信号の形態でも存在することができる。
以下の例示的な記載により、本発明に係る方法のさらなる特徴及び有利な点が添付の図面を参照しながら明らかになるだろう。
本発明に係るアルゴリズムのテスト方法の１つの実施例の経過に対する単なる概略図である。 人工知能の調整を単に概略的に説明するためのブロック図である。 画像シーケンスと、関連する走行軌跡及び通路の形態をした関連するアクション領域を有する、学習データセットの単に概略的な図である。 テストデータセットの生成及びアルゴリズムのテストを単に概略的に説明するためのブロック図である。 それぞれが、画像シーケンスと、関連する走行軌跡及び通路の形態をした関連するアクション領域を有する、３つのテストデータセットの単に概略的な図である。
図１は、本発明に係るアルゴリズム１のテスト方法の１つの実施例の経過に対する単に概略的な図を示す。ここで、図面において、実施例の枠内において実行されるステップが、ブロック図或いはフローチャートで表されている。
図示されている実施例の枠内では、第１のステップＳ１では、自律車両運転のための制御アルゴリズム１であるテストされるべきアルゴリズム１が、提供される。図４のみにおいてブロック要素によって単に概略的に示されている自律的な車両運転のためのアルゴリズム１は、以下のように構成されている、即ち、既知の方法で、入力として画像シーケンス、具体的には車両周囲のビデオを取得し、出力として、シーケンスのそれぞれの画像に依存して車両の許容的制御パラメータを示す画像シーケンスに依存するアクション領域を出力するように、構成されている。
ステップＳ１におけるアルゴリズム１の提供に続いて、本発明に係るテストデータセットの生成方法の実施例が実行される。
ここで、具体的には、ステップＳ２において、以下のような学習データセット２が提供される、即ち、時間的関連性を有しこの場合は走行状況の複数の記録を示している複数の画像４を有する実画像シーケンス３の形態の実画像データを含む学習データセット２が、提供される。実画像シーケンス３は、図２には不図示の画像取得装置を用いて、具体的には同様に不図示の車両に設けられたカメラを用いて、車両走行中に記録されたものである。
学習データセット２は、画像シーケンス３に加えて、これに関連するアクション領域５を含み、アクション領域５は、本実施例においては、画像シークエンス３のそれぞれの画像４に対応する走行軌跡６並びに走行軌跡６のための関連する目標通路７により与えられている。
図２には、画像４及びアクション領域５のためのブロック要素を有する学習データセット２が単に概略的に表されており、また、図３は学習データセット２の同様の概略図を含んでおり、図３内では一例として、９つの画像４並びに関連するアクション領域５を形成する３つのそれぞれ関連する走行軌跡６及び目標通路７が示されている。なお、目標通路７は、走行軌跡６の目標領域を定義することが指摘される。９つの画像４は、９つの互いに連続する時点を示しており、このことは、図３においてそれぞれの画像４の上の表示Ｔ＝１、・・・、９により示唆されている。
ステップＳ３では、人工知能８が提供され、当該人工知能８は図示の実施例では長・短期記憶敵対的生成ネットワーク（ＬＳＴＭ‐ＧＡＮ）によって与えられている。ＬＳＴＭ‐ＧＡＮ８は、図示の実施例では、長・短期記憶生成ネットワーク９並びに長・短期記憶識別ネットワーク１０の形態で存在しており、その一方、このことは図２においては単に概略的にブロック要素によって描かれている。両方のネットワーク９、１０のアーキテクチャは、例えばIanGoodfellow他による非特許文献１の論文に記載されている。これとは異なり、ネットワーク９、１０は、ここでは、この論文にあるような古典的な「畳み込み」ネットワークとして設計されていないが、「畳み込み」ＬＳＴＭネットワーク９、１０として、つまりSepp HochreiterとJuergen Schmidhuberによる非特許文献３の論文に記載されているような、長・短期記憶「畳み込み」ネットワーク９、１０として設計されている。
ステップＳ４では、人工知能８は、提供された学習データセット２を用いて調整される。この際、ここで説明する例においては、図２において単に概略的に矢印によって示唆されているように、画像シーケンス３とアクション領域５が組み合わされ、これは、参照番号１１を有するブロック要素によって象徴的に描かれており、ＬＳＴＭ識別ネットワーク１０に伝送される。ＬＳＴＭ生成ネットワーク９は、刺激入力１２を介して刺激され、その出力、つまり生成物は同様に、その都度正確／不正確の判定を行うＬＳＴＭ識別システム１０へ伝送され、これは、参照番号１３を有するブロック画像要素によって示唆されている。刺激入力１２は、ランダム信号によって与えられていてもよい。また、ＬＳＴＭ生成ネットワーク９がゼロから開始することも可能である。
正確／不正確の判定１３とは、特に、生成ネットワーク９により出力された生成物が識別ネットワーク１０に伝送された学習データセットのデータと一致するか否かの判定、或いは、それと区別されるか否かの判定である。ネットワーク９、１０の方法は、特に、生成ネットワーク９により生成された生成物が、可能な限り学習データセット２によるデータからもはや区別できなくなるまで改善される。ＧＡＮの訓練に関連して、非特許文献１の論文の序文も参照されたい。
調整に続いて、ステップＳ５では、調整された人工知能８の生成ネットワーク９は、図示の実施例においてはランダム信号（英語ではrandom signal）１２によって再び刺激される。このことは、図４に概略的に示唆されている。ランダム信号１２は、ノイズが多い或いはノイズのみを示す少なくとも１つの画像或いは少なくとも１つの画像ファイルによって、与えられていてもよいが、これは単に一例として理解されるべきである。
ランダム信号１２により、インスタンスの応答として、新しいシナリオが生成される。これには、訓練された構成に応じて様々な次元が可能である。これは、テレビのノイズのように観測され得る。
また、ランダム信号１２の代わりに、又はそれに加えて、特に（例えば、走行状況を示す）現実のコンテンツを有する、少なくとも１つの刺激画像も、好ましくは２つ以上の刺激画像、或いはそのようなものを含むシーケンス、或いは少なくとも１つの刺激ビデオが、刺激入力１２として利用され得る。
刺激されたＬＳＴＭ生成ネットワーク９は、新しい画像シーケンス１５並びに新しい画像シーケンス１５に関連するアクション領域１６を含む少なくとも１つのテストデータセット１４を生成する（ステップＳ６）。調整されたＬＳＴＭ生成ネットワーク９を用いて取得された少なくとも１つのテストデータセット１４は、記載された実施例では、学習データセット２と同様に、画像シーケンス１５を含むが、それは複数の合成的に生成された画像１７を有している、また、シーケンス１５のそれぞれの画像１７に関して存在するアクション領域１６は、同じく学習データセット２と同様に、それぞれ関連する走行軌跡１８並びに関連する目標通路１９を含んでいる。このことは、図５において再度単に概略的且つ例示的に、合計３つの生成されたテストデータセット１４に関して具体的に示されている。
とりわけ、人工知能に、現実のコンテンツ（例えば走行状況）を有する１つ或いは複数の刺激画像及び／又は１つ或いは複数の刺激ビデオが、刺激用の入力信号として供給される場合、合成画像は、視覚概念に関する準線形特性によって、或いはそれを考慮して、或いはそれを用いて、生成或いは取得され得る。視覚概念に関する準線形特性に関連して、Alec Redford他による２０１６年の非特許文献２の論文、特に１０頁の図７を参照されたい。
ステップＳ７では、上記方法で得られた少なくとも１つのテストデータセット１４が提供され、ステップＳ８では、画像シーケンス１５が、テストされるべきアルゴリズム１に入力として供給され、このことは図４において、単に概略的に、これに対応して画像シーケンス１５から概略的にブロック要素として示されるアルゴリズム１に至る矢印によって示唆されている。
ステップＳ９では、アルゴリズム１は実行され、出力としてアクション領域２０を出力する。
ステップＳ１０では、アルゴリズム１によって出力として出力されたアクション領域２０は、生成ネットワーク９を用いて生成されたテストデータセット１４のアクション領域１６と比較される。この比較は、図中で、参照番号２１を有するブロック要素によって概略的に示されている。
ステップＳ１１では、比較の結果から、テストされたアルゴリズム１の品質或いは機能性が推論される。
比較の結果に基づいて、テストされるべきアルゴリズム１の十分な品質又は機能性を推論できる場合、アクション領域２０を正確なアクション領域２２として出力することができ、このことは、図４において、再度単に概略的にブロック画像要素によって示唆されている（ステップＳ１２）。
正確なアクション領域２２に基づいて、この場合は車両を特に信頼性高く制御することができる（ステップＳ１３）。
複数のテストデータセット１４が生成された場合、全てのテストデータセット１４の画像シーケンス１５が、テストされるべきアルゴリズム１に供給されてもよく、アルゴリズム１によりそれに応答して出力されるアクション領域２０は、テストデータセット１４の、それぞれの画像シーケンス１５に関連するアクション領域１６と、つまり走行軌跡１８及び関連する目標通路１９と、比較され得て、また、アルゴリズム１の品質或いは機能性についての逆推論が導出され得る。複数のテストデータセット１４が生成されまた使用される場合、アルゴリズム１は、特には包括的に、チェックされ得る。
本発明は詳細に関して好ましい実施例により詳しく例示し、説明されたが、本発明は開示された例によって限定されず、他の複数の変形形態が当業者により本発明の保護の範囲から逸脱することなく本開示から導かれ得る。

Claims (15)

  1. アルゴリズム（１）のための少なくとも１つのテストデータセット（１４）の生成方法にして、当該アルゴリズム（１）は入力として画像データ（１７）を取得し、出力として前記画像データに依存するアクション領域（１６）を出力し、及び／又は、当該アルゴリズム（１）は入力としてセンサデータを取得し、出力として前記センサデータに依存するアクション領域を出力する方法であって、以下のステップを有する、即ち、
    ステップ１．１ 訓練された人工知能（８）が提供されるステップ、
    ステップ１．２ 前記人工知能（８）が刺激されるステップ、及び、
    ステップ１．３ 刺激された前記人工知能（８）が、画像データ（１５）及び前記画像データ（１５）に関連するアクション領域（１６）及び／又はセンサデータ及び前記センサデータに関連するアクション領域を含む、少なくとも１つのテストデータセット（１４）を生成するステップ、
    を有し、
    ステップ１．１で提供される訓練された前記人工知能を取得するために、以下のステップが実行されること、即ち、
    ステップ２．１ 少なくとも１つの画像取得装置を用いて記録された実画像データ（３）及び前記実画像データ（３）に関連するアクション領域（５）及び／又は少なくとも１つのセンサ装置を用いて記録された実センサデータ及び前記実センサデータに関連するアクション領域を含む学習データセット（２）が、提供されるステップ、
    ステップ２．２ 人工知能が提供されるステップ、及び、
    ステップ２．３ 前記人工知能（８）は、提供された前記学習データセット（２）を用いて調整されるステップ、
    が実行される方法。
  2. 請求項１に記載の方法において、
    ステップ２．１では、少なくとも１つの画像取得装置を用いて記録された実画像シーケンス（３）及び前記シーケンス（３）の画像（４）に関連するアクション領域（５）を含む、学習データセット（２）が提供され、ステップ１．３では、刺激された前記人工知能（８）は、新しい画像シーケンス（１５）及び前記新しい画像シーケンス（１５）に関連するアクション領域（１６）を含む、少なくとも１つのテストデータセット（１４）を生成し、及び／又は、ステップ２．１では、実画像シーケンス（３）を含む学習データセット（２）が提供され、前記学習データセット（２）の前記アクション領域（５）は、前記画像シーケンス（３）のそれぞれの画像（４）のために、少なくとも１つの制御パラメータ又はこれを示す値、及び、それぞれの少なくとも１つの制御パラメータ又はこれを示す値のために関連する目標領域、を含むこと、
    を特徴とする方法。
  3. 請求項１又は２に記載の方法において、
    先進運転支援システムのアルゴリズム（１）のための又は自律車両運転用システムのアルゴリズムのための少なくとも１つのテストデータセット（１５）が生成され、提供された前記学習データセット（２）は画像シーケンス（３）を含み、当該画像シーケンス（３）は走行状況の画像を含んでいる及び／又はそれぞれの画像（４）に対して関連するアクション領域（５）として走行軌跡（６）を含んでいること、
    を特徴とする方法。
  4. 請求項１〜３の何れか１項に記載の方法において、
    少なくとも１つのテストデータセット（１４）が、入力として画像シーケンス（１７）を取得しまた出力として前記画像シーケンス（１７）に依存するアクション領域（１６）を出力するアルゴリズム（１）のために、生成されること、
    を特徴とする方法。
  5. 請求項１〜４の何れか１項に記載の方法において、
    ステップ１．３では、画像シーケンス（１５）を含む少なくとも１つのテストデータセット（１２）が生成され、当該画像シーケンス（１５）は走行状況の画像（１７）を含んでいる及び／又は当該画像シーケンス（１５）はそれぞれの画像（１７）に対して関連するアクション領域（１６）として走行軌跡（１８）を含んでいること、
    を特徴とする方法。
  6. 請求項１〜５の何れか１項に記載の方法において、
    ステップ１．１では、長・短期記憶ネットワーク（９、１０）を含むか又はそのようなものにより与えられている人工知能（８）が、提供されること、
    を特徴とする方法。
  7. 請求項１〜６の何れか１項に記載の方法において、
    ステップ１．１では、少なくとも１つの生成ネットワーク（９）及び／又は少なくとも１つの識別ネットワーク（１０）を含むか又はそのようなものにより与えられている人工知能（８）が、提供されること、
    を特徴とする方法。
  8. アルゴリズム（１）のテスト方法であって、以下のステップを有する、即ち、
    ステップ９．１ テストされるべきアルゴリズム（１）が提供されるステップであり、当該アルゴリズム（１）は入力として画像データ（１５）を取得しまた出力として前記画像データ（１５）に依存するアクション領域（２０）を出力する、及び／又は、当該アルゴリズム（１）は入力としてセンサデータを取得しまた出力として前記センサデータに依存するアクション領域を出力する、
    ステップ９．２ 画像データ（１５）及び前記画像データ（１５）に関連するアクション領域（１６）を含む及び／又はセンサデータ及び前記センサデータに関連するアクション領域を含む、少なくとも１つのテストデータセット（１４）を取得するために、請求項１〜７の何れか１項に記載の方法を実行するステップ、
    ステップ９．３ 前記少なくとも１つのテストデータセット（１４）が提供されるステップ、
    ステップ９．４ 前記少なくとも１つのテストデータセット（１４）の前記画像データ（１５）及び／又は前記センサデータが、テストされるべき前記アルゴリズム（１）に入力として供給されるステップ、
    ステップ９．５ 前記アルゴリズム（１）が実行され、出力としてアクション領域（２０）を出力するステップ、
    ステップ９．６ 前記アルゴリズムにより出力として出力された前記アクション領域（２０）が、前記少なくとも１つのテストデータセット（１４）の前記アクション領域（１６）と比較されるステップ、
    ステップ９．７ 比較（２１）の結果から、テストされた前記アルゴリズム（１）の品質が推論されるステップ、
    を有する方法。
  9. 請求項８に記載の方法において、
    ステップ９．１〜９．７の実行に続いて、請求項１〜７の何れか１項に記載の少なくとも１つのテストデータセット（１４）の生成方法のステップ１．２及びステップ１．３が、以前に生成された前記テストデータセット（１４）とは異なる少なくとも１つのさらなるテストデータセット（１４）を生成するために、再び実行され、前記少なくとも１つのさらなるテストデータセット（１４）が提供され、前記ステップ９．４から前記ステップ９．７が繰り返されること、
    を特徴とする方法。
  10. 装置の自動化された制御のためのシステムの動作方法にして、前記システムは、少なくとも１つの画像取得装置及び／又は少なくとも１つのセンサ装置、並びに評価・制御ユニット及び前記装置の制御手段、を含み、また、前記制御・評価ユニット内にアルゴリズム（１）が格納されているか又は格納されることになり、当該アルゴリズム（１）は入力として画像データ（１７）を取得し、出力として前記画像データに依存するアクション領域（１６）を出力するか、又は、当該アルゴリズム（１）は入力としてセンサデータを取得し、出力として前記センサデータに依存するアクション領域を出力する方法であって、前記アルゴリズム（１）は請求項８又は９に記載の方法の実行中にテストされ、テストの結果、前記アルゴリズム（１）の機能性が不十分である場合、前記アルゴリズム（１）は所定の方法で適合され、前記アルゴリズム（１）を用いて前記装置の制御が行われる、方法。
  11. 請求項１０に記載の方法において、
    前記システムは少なくとも１つの画像取得装置を含み、前記システムの前記少なくとも１つの画像取得装置を用いて画像（４）のシーケンス（３）が取得され、前記シーケンス（３）の前記画像（４）にアクション領域（５）が割り当てられ、割り当てられた前記アクション領域（５）を含む前記画像シーケンス（３）は、前記人工知能（８）を訓練するための学習データセット（２）として提供されること、及び／又は、前記システムは少なくとも１つのセンサ装置を含み、前記システムの前記少なくとも１つのセンサ装置を用いてセンサデータが取得され、前記センサデータにアクション領域が割り当てられ、割り当てられた前記アクション領域を含む前記センサデータは、前記人工知能（８）を訓練するための学習データセットとして提供されること、
    を特徴とする方法。
  12. 請求項１〜７の何れか１項に記載の方法の実行中に取得された前記少なくとも１つのテストデータセットが格納されているデータキャリアの生成。
  13. 請求項１〜７の何れか１項に記載の方法、又は請求項８又は９に記載の方法、又は請求項１０又は１１に記載の方法を実行するように形成及び調整されている機器。
  14. 請求項１〜７の何れか１項に記載の方法、又は請求項８又は９に記載の方法、又は請求項１０又は１１に記載の方法を実行するためのプログラムコード手段を含むコンピュータプログラム製品。
  15. 少なくとも１つのコンピュータ上で実行されると、前記少なくとも１つのコンピュータに、請求項１〜７の何れか１項に記載の方法のステップ、又は請求項８又は９に記載の方法のステップ、又は請求項１０又は１１に記載の方法のステップを実行させる命令を含むコンピュータ可読媒体。
JP2020570681A 2018-06-20 2019-05-17 テストデータセットの生成方法、テスト方法、システムの動作方法、機器、制御システム、コンピュータプログラム製品、コンピュータ可読媒体、生成及び使用 Active JP6972395B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18178772.2A EP3584748A1 (de) 2018-06-20 2018-06-20 Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung
EP18178772.2 2018-06-20
PCT/EP2019/062774 WO2019242955A1 (de) 2018-06-20 2019-05-17 Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung

Publications (2)

Publication Number Publication Date
JP2021527891A JP2021527891A (ja) 2021-10-14
JP6972395B2 true JP6972395B2 (ja) 2021-11-24

Family

ID=62873124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570681A Active JP6972395B2 (ja) 2018-06-20 2019-05-17 テストデータセットの生成方法、テスト方法、システムの動作方法、機器、制御システム、コンピュータプログラム製品、コンピュータ可読媒体、生成及び使用

Country Status (6)

Country Link
US (1) US20210216063A1 (ja)
EP (2) EP3584748A1 (ja)
JP (1) JP6972395B2 (ja)
KR (1) KR102355815B1 (ja)
CN (1) CN112292695A (ja)
WO (1) WO2019242955A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930078B (zh) * 2020-06-21 2024-04-19 中国舰船研究设计中心 一种面向核控系统的网络测试装置
US11763135B2 (en) * 2021-03-01 2023-09-19 Robert Bosch Gmbh Concept-based adversarial generation method with steerable and diverse semantics
CN115658550B (zh) * 2022-12-09 2023-04-07 合肥高维数据技术有限公司 提升大规模样本测试效率的自动化测试方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860950B2 (en) * 2016-08-31 2020-12-08 Sas Institute Inc. Automated computer-based model development, deployment, and management
EP3309721A1 (en) * 2016-09-23 2018-04-18 KPIT Technologies Ltd. Autonomous system validation
KR101813698B1 (ko) * 2016-12-21 2018-01-30 한국항공대학교산학협력단 공중 로봇의 이동 속도 추정 장치 및 방법
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
CN106844949B (zh) * 2017-01-18 2020-01-10 清华大学 一种用于实现机车节能操纵的双向lstm模型的训练方法
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN107330444A (zh) * 2017-05-27 2017-11-07 苏州科技大学 一种基于生成对抗网络的图像自动文本标注方法
DE102017213634A1 (de) * 2017-08-07 2019-02-07 Ford Global Technologies, Llc Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
US10831636B2 (en) * 2018-01-08 2020-11-10 Waymo Llc Software validation for autonomous vehicles

Also Published As

Publication number Publication date
EP3584748A1 (de) 2019-12-25
CN112292695A (zh) 2021-01-29
KR20210014740A (ko) 2021-02-09
US20210216063A1 (en) 2021-07-15
EP3782081A1 (de) 2021-02-24
WO2019242955A1 (de) 2019-12-26
JP2021527891A (ja) 2021-10-14
EP3782081B1 (de) 2022-12-07
KR102355815B1 (ko) 2022-02-08

Similar Documents

Publication Publication Date Title
JP6972395B2 (ja) テストデータセットの生成方法、テスト方法、システムの動作方法、機器、制御システム、コンピュータプログラム製品、コンピュータ可読媒体、生成及び使用
Giese et al. Neural and computational mechanisms of action processing: interaction between visual and motor representations
Howard et al. A unified mathematical framework for coding time, space, and sequences in the hippocampal region
JP2022505762A (ja) 画像セマンティックセグメンテーションネットワークのトレーニング方法、装置、機器及びコンピュータプログラム
CN112560886A (zh) 训练类条件生成对抗序列网络
US20180275667A1 (en) Machine Learning for Event Detection and Classification in Autonomous Vehicles
KR102204829B1 (ko) 딥러닝 기반의 어노테이션 툴을 제공하는 방법 및 시스템
CN110077416B (zh) 一种基于决策树的驾驶员意图分析方法及系统
US10736561B2 (en) Neural model-based controller
US10733511B1 (en) Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same
CN107944382A (zh) 目标跟踪方法、装置及电子设备
Hsu et al. End-to-end deep learning for autonomous longitudinal and lateral control based on vehicle dynamics
JP2023540613A (ja) 運転者支援システムを試験するための方法およびシステム
JP6856936B2 (ja) 学習方法、学習装置及び学習プログラム
US10984311B2 (en) Involved generative machine learning models for functional testing
Cazin et al. Real-time sensory–motor integration of hippocampal place cell replay and prefrontal sequence learning in simulated and physical rat robots for novel path optimization
CN115690526A (zh) 具有对象检测的设备和方法
CN113095351A (zh) 借助于初始标记的改善生成经标记的数据的方法
KR102565826B1 (ko) 데이터 재사용을 통해 컨볼루션 연산 속도를 향상시킨 3차원 객체 인식 방법 및 장치
CN110719487A (zh) 视频预测方法和装置、电子设备及车辆
CN110852394B (zh) 数据处理方法及装置、计算机系统以及可读存储介质
KR20230099941A (ko) 자기 지도학습과 복사-붙이기 데이터 증강을 이용한 건설객체 분할모델 일반화방법 및 일반화시스템
DE102020212921A1 (de) Verfahren, Computerprogramm und Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten
EP4365853A1 (en) Method for detecting an object in an image
KR102467047B1 (ko) 어노테이션 평가 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210825

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211102

R150 Certificate of patent or registration of utility model

Ref document number: 6972395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150