JP6923021B2 - 評価方法、トレーニングデータセット、エミュレータ作成方法、分類方法、試験方法、車両制御装置、および車両 - Google Patents

評価方法、トレーニングデータセット、エミュレータ作成方法、分類方法、試験方法、車両制御装置、および車両 Download PDF

Info

Publication number
JP6923021B2
JP6923021B2 JP2020023570A JP2020023570A JP6923021B2 JP 6923021 B2 JP6923021 B2 JP 6923021B2 JP 2020023570 A JP2020023570 A JP 2020023570A JP 2020023570 A JP2020023570 A JP 2020023570A JP 6923021 B2 JP6923021 B2 JP 6923021B2
Authority
JP
Japan
Prior art keywords
image data
rank
data unit
visibility
data units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020023570A
Other languages
English (en)
Other versions
JP2020135887A (ja
Inventor
フェルディナンド ハーマン
フェルディナンド ハーマン
ヨハネス レーム
ヨハネス レーム
ノエル トルヒーヨ
ノエル トルヒーヨ
フランシスコ エスラバ・メディーナ
フランシスコ エスラバ・メディーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of JP2020135887A publication Critical patent/JP2020135887A/ja
Application granted granted Critical
Publication of JP6923021B2 publication Critical patent/JP6923021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、コンピュータビジョンの技術分野、特に、車両の環境に関する画像データユニットに含まれる画像情報を評価するためのコンピュータ実行技術に関する。画像情報の評価は、特に画像特性の評価および/または画像の分類に関係する場合がある。本発明はさらに、人間の意思決定行動をエミュレートするための人工知能を使用する分野に関する。
人工知能(AI)とその応用は絶え間のない開発途上にあり、この分野の一般的な用語は確立されていない。したがって、いくつかの重要な用語は、既知のAIアルゴリズムと肺がんの診断へのAIアルゴリズムの応用に基づいて説明される。
人工知能(AI)アルゴリズムは、コンピュータで実行されるAIメソッドまたはAIソフトウェアモジュールに含まれており、以前は人間が行っていた決定をエミュレートするために使用できることが知られている。これが、既知の例に基づいて説明される。
AIアルゴリズムには、さまざまなサンプルデータユニットと、関連付けられるパラメータまたはクラスとを含むトレーニングデータセットが提供されえる。AIアルゴリズムは、サンプルデータユニットを分析し、フィルタルールを確立することができ、それにより、明示的に知られないが、パラメータと相関を持つ、特定の特性がサンプルデータに発見される。
AIアルゴリズムのこのような使用は、たとえば肺癌の診断で知られている。その場合、トレーニングデータセットは人間の肺のX線画像で構成され、画像の一部はさまざまな病期の癌を伴う肺に関係し、他の画像は健康な患者の肺に関係する。さらに、画像に関連付けられたパラメータには、癌の存在または非存在のコンピュータ読み取り可能な識別子、および最終的に癌の病期の識別子が含まれる。
さらに、このようなトレーニングデータセットに基づいてAIアルゴリズムで確立されたフィルタルールは、癌診断パラメータを伴うトレーニングデータセットにおいて、画像にラベルを付けた人間の診断者の意思決定行動をエミュレートできることが知られている。フィルタルールを用いることで、病気の初期段階で正しい癌診断を提供することさえ可能となるが、一部の人間の診断者では、肺のほんのわずかな目に見える変化に気付かなかったかもしれない。その結果、癌とその病期を分類するためのコンピュータ実行分類方法を開発することができた。AIアルゴリズムで作成された上記のフィルタルールを使用するこの分類方法は、医学における人間の意思決定行動の有効なエミュレータであることが証明されている。
ただし、このアプローチは、人間の評価者が関連する分類パラメータ(ここでは癌診断パラメータ)を提供し、それらをテスト画像に関連付けることができる問題に対してのみ使用可能である。しかし、以下でさらに説明するように、関連する分類パラメータに関する人間の知識が常に存在するとは限らない。
さらに、実際に、車両、特に自動車/車の視覚センサ、およびそれらが車両の環境について提供する画像データが、自動運転または高度に自動化された運転を促進するための重要な基礎をなすことが知られている。特に、カメラベースの先進運転者支援システム(ADAS)は、入力画像の可視性レベルに大きく依存する。
車両制御システム、特にADASは、視覚センサからの画像データの処理に基づいて、実世界の対象物の内部表現を生成し、ステアリング、加速、駐車などの車両機能を制御する。
視覚センサから提供される画像データに含まれる画像情報が、可視性の低下の影響を受ける場合、つまり収集された画像が不完全な視界状態の影響を受ける場合、誤解が発生し、誤った制御の決定や危険な交通状況につながる可能性がある。
過去に、さまざまな視界低下の影響を分類し、特定の視界低下の影響に基づく視界の低下が、視覚センサからの画像データに含まれる画像情報にどの程度強く影響するかを評価するための評価スキームを確立することが試みられた。しかし、そのような試みでは、車両とそのビジョンシステムが現実の世界で直面する可能性のある膨大な種類の視界条件に対処することができる評価スキームを提供できなかった。
本開示は、上記の欠点に鑑みてなされたものである。本開示の目的は、画像データユニットに含まれる画像情報の可視性低下を評価するための分類手法を提供することである。分類手法は、画像情報の可視性または可視性の低下を、それを引き起こした視界低下の影響とは無関係に記述するパラメータを出力することができる。このパラメータは、特に、単一の値、つまり可視性低下の種類または発生源から独立した可視性低下の総合評価ランキングを含む。
本開示の別の、しかし関連する目的は、信頼性または視覚センサ入力を管理するための自己診断技術を提供することである。
本開示は、独立請求項に明記される様々な方法および装置によってこの目的を解決する。本開示のさらなる有利な変形は、従属請求項に含まれる。
本開示は、人工知能アプローチに基づいてフィルタルールを自動的に生成するための様々な方法および装置を提案し、帰属するランクパラメータ(R*)によって、新たに収集された画像データユニット(P*)の可視性低下を推定できる分類装置(4)を提供し、これにより、視覚センサデータの信頼性を判断することが可能となる。
本開示は、目的に貢献するために単独でまたは組み合わせて使用できる、さまざまな態様を含む。これらの態様は、開示された分類手法の一部を個別におよび/または任意の可能な組み合わせで形成されえる。これらは、次の副目的に向けられた抽象概念レベルである。
1.入力画像の可視性レベルを評価するための決定ルールを意味するグラウンドトゥルースを生成する方法、つまり、AIアルゴリズムで使用できる形式で画像データ要素の可視性低下を評価する方法。
2.このような1の解決策が見つかった場合、自動的に、つまり現在取得された画像情報のみに基づいて(およびいかなる追加の人間の評価なしで)、車両制御システムによって処理可能な形式で、新しく収集された画像データ要素の可視性低下を推定する方法。
本開示は、上記の副目的の技術的解決策と、したがって上記の一般的な目的のための総合的な解決策とを提供する。これらの技術的解決策は、いくつかの態様に向けられたいくつかの方法と装置を含む。
本開示は、例示的かつ概略的な方法で図面に描かれている。
視覚センサを備える車両、その環境、およびいくつかの画像データユニットの概略図である。 本開示によるコンピュータ処理される分類装置の使用を示すボックス図である。 本開示による評価方法の第1の部分を示す概略図である。 評価方法の第2の部分を示す概略図である。 本開示によるエミュレータ作成方法を示す概略図である。 本開示の様々な方法および装置がどのように時間的および/または空間的に分散され得るか、またはそれらがどのように互いに連携しえるかを示す概要図である。 本開示による試験方法を示す概略図である。 評価方法内のオプションである改善ステップを示す概略図である。
以下、本開示の実施形態について図面を参照しつつ説明する。具体的な実施形態を説明する前に、本開示の概略的な第1〜第6の態様について説明する。
第1の態様は、可視性の低下を評価するための新しいアプローチに関する。第2の態様は、評価結果の保存、共有、およびさらなる処理が可能になる、特定の形式を持つ順序付けられたデータ構造に関する。第3の態様は、評価結果をフィルタルールに変換するエミュレータの作成に関する。第4の態様は、コンピュータ実行の分類方法でのこのようなフィルタルールの使用に関するもので、フィルタルールを実行することにより、新たに収集された画像情報に対して同等の評価を実施することができる。第5の態様は、以前のステップの結果のテストと、さまざまな以前の態様の改善のためのそれらの使用に関する。そして、第6の態様は、より安全な車両制御行動のために可視性低下の分類を利用する車両制御装置に関する。
本開示による分類手法は、評価スキームをエミュレートするための、コンピュータ実行AIアルゴリズムを使用する。ただし、この評価スキームは以前のアプローチとは異なり、画像情報の可視性または可視性低下を評価するため、間接的にのみ人間の決定に基づいている。
可視性の低下の判断は非常に主観的である。しかし、AIアルゴリズムの検証とトレーニングには、信頼できる客観的なグラウンドトゥルースが必要である。本開示の分類技術、特に評価方法は、このような客観的なグラウンドトゥルースを作成する。また、このグラウンドトゥルースは、特に、コンピュータで保存および読み取ることができる形式で作成されえる。
本開示内では、画像情報は画像データユニットに含まれると常に想定される。画像データユニットは、車両に搭載された視覚センサから収集され、それらは、特に車両がさまざまな視界条件の下で、さまざまな環境/交通状況で移動/運転している場合、車両の環境に関係する。説明を簡素化するために、一部では、画像データユニットが、含まれる画像情報の同義語として使用される場合がある。これは、例えば「画像データユニットの可視性低下」が「画像データユニットに含まれる画像情報の可視性低下」として理解されるべきことを意味する。
画像データユニットは、コンピュータが読み取り可能なファイルまたはデータである。それは、画像情報を記憶できる任意のデータ型またはデータ形式を採ることができる。画像データユニットは、特に、視覚センサから受信されるビットマップファイルまたはデータストリームであってもよい。画像データユニットは、視覚センサによって撮影された完全画像または任意の画像部分を含んでもよい。特に、画像データユニットは、いわゆる関心領域を含む、全画像の一部分のみを含んでもよい。視覚センサによって撮影された1枚の完全画像から、取り扱われ、又は処理される、1つ、2つ、またはいくつかの画像データユニットが作成されてもよい。本開示の分類技術は、画像全体、画像の部分または一部の両方に使用可能であり、あるいは両方の組み合わせに使用可能である。
本開示による新しい評価アプローチでは、画像データユニット(または、含まれる画像情報)は、人間の評価者が可視性または可視性の低下の評価を提供するために、評価者に提示される。
人間の評価者は、(癌とその病期について上記で説明したのと同様に)画像情報の可視性の低下を記述する単一の絶対評価パラメータを提供できないことがわかった。その理由は、可視性低下のレベルを測定または評価するための全体的な基盤として使用できる一般的な評価スキームが知られていないことにある可能性がある。
たとえば、最初の画像がグレアの影響を受け、別の画像が(たとえば雨などの)液滴または汚染(たとえばレンズの汚れ)の影響を受けている場合、人間の評価者は、そのような画像の可視性がどの程度強く低下されているかの問題に対して絶対的な評価を行うことができないようである。人間の評価者は、しばしば、これらのケースを分離し、最初の視界低下効果(たとえば液滴/雨)の影響を受ける画像の最初のグループ内のみで第1評価値を提供し、異なる視界低下効果(たとえば汚染)の影響を受ける画像の別のグループ内で別の第2評価値を提供しようとする。その結果、人間の評価者から、単一の尺度、つまり、特定の視界低下の影響から独立した、可視性の低下を記述する絶対的なパラメータを受け取ることはできない。
しかしながら、画像データに基づいて車両制御装置を操作するためには、そのような単一の絶対評価パラメータを持つことが強く望まれる。
本開示によれば、視界の低下を評価するために新しいアプローチが選択された。評価アプローチは2つのステップを含む。(1)制限された数の画像データユニットの相対的な比較に基づく可視性低下の(人間の)評価、および(2)数学的演算を適用することによる比較結果の絶対可視性ランク順への(コンピュータの)変換。
ステップ1では、人間の評価者の主観的評価能力(のみ)を利用する。ステップ2では、主観的な相対評価の結果を、AIアルゴリズムのグラウンドトゥルースとして使用することが可能な、絶対的な尺度に変換する。
この2ステップ評価アプローチの結果、画像データユニットを、それぞれの画像データユニットに含まれる画像情報がどの程度強く可視性低下の影響を受けているか、最小値と最大値との間のスケールで記述する絶対ランクパラメータと関連付けることができる。たとえば、可視性の低下が最も強い(つまり、ほとんど何も見えない)画像データユニットは、最低ランクのパラメータを受け取り、それに対し、完全な視界条件の下で収集された画像データユニットは、最高ランクのパラメータを受け取ることができる。多かれ少なかれ視界障害によって影響される、他のすべての画像データユニットは、中間ランクを受け取る。
絶対的な可視性のランク順では、より高いランクのパラメータは「少ない可視性の低下を含む」と解釈されえる。
前の例は、ランクが高いほど可視性が向上するか、それぞれ可視性の低下が少なくなることを示すという仮定に基づいている。当業者は、より高いランクのパラメータが「より多くの可視性低下を含む」と解釈されるように、尺度を逆にすることもできることを理解するだろう。分かりやすくするために、以下の説明は、より高いランクはより高い可視性を意味することを前提としている。
本開示の2ステップ評価アプローチの大きな利点は、視覚センサから取得される画像情報に生じたり、作用したりするさまざまな視界低下の影響を区別する必要がなく、特に、区別する意図もないことである。代わりに、画像データユニットが収集されたどのような条件下でも、人間の評価者は相対的な比較決定(より良い/悪い/等しく見える)を行うことを必要とされるだけである。比較結果は、計算によって画像データユニットの絶対ランクパラメータに変換され、計算された絶対ランクパラメータは、可視性がどの程度強く低下されているかを単一の尺度で表す。ランクパラメータに基づいて、画像データユニットを、最低可視から最高可視まで、または最も強い可視性の低下を含むものから可視性の低下を含まないものまで、絶対的な可視性のランク順に並べることができる。
そして、画像データユニットと関連付けられたランクパラメータがAIアルゴリズムのトレーニングデータセットに含められる。AIアルゴリズムは、画像データユニットに含まれる画像情報を分析し、フィルタルールを確立することができる。フィルタルールは、絶対可視性ランクパラメータに起因する画像データユニット内の構造を識別する。このように、フィルタルールは、人間の評価者には不可能であった、決定スキームをトレーニングデータセットに基づいてエミュレートする。
フィルタルールは、コンピュータ処理される可視性低下分類装置を作成または構成するために使用することができる。言い換えれば、フィルタルールに基づいて、新しい画像データユニットを取得し、それらにエミュレートされた決定スキームを適用することができる、コンピュータ実装分類方法が実行されえる。その結果は、エミュレートされたランクパラメータである。このエミュレートされたランクパラメータは、トレーニングデータセットに包括される絶対可視ランク順において、新しく受信した画像データユニットがどこに仕分けできるかを示す。したがって、分類方法は、新しい画像データユニットの画像情報が影響を受けている、可視性の低下に関する定量的評価を提供する。
そのようなエミュレートされたランクパラメータに基づいて、車両制御装置は、さらなる処理のために画像情報をどれだけ信頼できるかを判断することができる。
ここで、本開示の様々な態様をより詳細に説明する。
第1の態様は、トレーニングデータセットを作成するためのコンピュータで実施される評価方法を含む。トレーニングデータセットは、エミュレータ(フィルタルール16)を作成するため、またはコンピュータで実行する分類方法を構成するため、AIメソッドまたはAIソフトウェアモジュールの入力として機能するように予定され、設計されている。
評価方法は、以下のステップを有する。画像データユニットのメインセットが収集される。画像データユニットは、車両の環境に関するものである。画像データユニットの少なくとも一部は、少なくとも1つの視界低下の影響に基づく可視性低下の対象となる画像情報を含む。この用語は、一部の画像データユニットが可視性低下の影響を受ける一方で、他の画像データユニットは影響を受けない場合を含む。ただし、1つの画像データユニットの一部またはサブエリアのみが可視性低下の影響を受け、同じ画像データユニットの他の部分またはサブエリアが可視性低下の影響を受けない場合も含まれる。したがって、トレーニングデータセットは、
−可視性低下のない画像データユニット、
−1つの画像データユニットの一部のみに影響する可視性低下を伴う画像データユニット、
−含まれるすべての画像情報に影響する可視性低下を伴う画像データユニット、
の中の少なくとも2つの集まりを含んでもよい。
画像データユニットの複数のサブセットが定義され、それぞれのサブセットでの画像データユニットの相対的な比較の比較結果が収集される。収集された比較結果はそれぞれのサブセットに関連付けられ、このサブセット内における画像データユニット間の可視性または可視性低下の相対的な順序を示す。
複数のサブセットとそれぞれの比較結果が処理される。その処理では、相対比較結果の絶対順序への変換が実行される。これは、任意の適切な手順またはスキームによって実行することができる。以下で、Eloソートと呼ばれる、特に適した計算スキームについて説明する。処理または変換に基づいて、処理されたサブセット内の画像データユニットの絶対的な可視性ランク順序が確立される。
ランクパラメータは画像データユニットに関連付けられる。これは、処理/変換内のステップとして実行できる。ランクパラメータは、処理されたサブセットの複数の比較結果に基づいて計算される。ランクパラメータは、絶対的な可視性ランク順序内のランクを定義する。
絶対ランク順序の確立とランクパラメータの計算は、並行して、重複するステップ/反復で、または順々に実行することができる。画像データユニットに対して新しく計算されたランクは、絶対ランク順の変更およびその逆を引き起こしてもよい。絶対ランク順は、特定の時間に計算されたランクパラメータのセットまたはグループでありえる。あるいは、絶対ランク順は、別個の情報部分、特に別個に保存可能なデータセットとすることもできる。
処理されたサブセットの画像データユニットと関連付けられたランクパラメータとを含むトレーニングデータセットが出力される。第2の態様によれば、トレーニングデータセットは、コンピュータ可読ファイルまたはデータ構造であってもよい。それは、物理的なデータキャリアに保存され、またはデータ通信インターフェースを介して送信されてもよい。トレーニングデータセットは、複数の画像データユニットと複数のランクパラメータを有する。
トレーニングデータセット内の画像データユニットの少なくとも一部には、それぞれのランクパラメータが関連付けられている。各ランクパラメータは、絶対的な可視性のランク順内で、関連付けられた画像データユニットのランクを定義する。
第3の態様によれば、コンピュータで実行されるエミュレータ作成方法が提案される。それは、以下のステップを有する。
トレーニングデータセットが、コンピュータで実行されるAIメソッドまたはAIソフトウェアモジュールへの入力として与えられる。トレーニングデータセットは、画像データユニットと関連付けられたランクパラメータとを含む。それは、上記で説明したように、好ましくはコンピュータで実行される評価方法によって作成され、および/または上記で説明した形式および内容を有してもよい。
トレーニングデータセットは、AIメソッドまたはAIソフトウェアモジュールのグラウンドトゥルースとして定義される。これは、AIメソッドまたはAIソフトウェアモジュールが、さまざまな画像データユニットに含まれる画像情報と、分類子として関連付けられたランクパラメータを提供されることを意味する。AIメソッドまたはAIソフトウェアモジュールは、それ自体で学習し、含まれる画像情報内の構造がいずれかに基づいて、関連付けられるランクパラメータをもたらす決定がなされる。AIメソッドまたはAIソフトウェアモジュールは、それ自体でどの構造が使用可能であるかを見つけ、そのような構造からランクパラメータへの帰属を自動的に作成する。
このように、AIメソッドまたはAIソフトウェアモジュールは、画像データユニットに含まれる画像情報を分析し、(内部)フィルタルールを確立するように構成されている。フィルタルールは、画像情報から各画像データユニットの関連ランクパラメータへの帰属を提供する。このように、フィルタルールは、グラウンドトゥルースに従って(または絶対的な可視性ランク順に従ってそれぞれ間接的に)画像データユニットに含まれる画像情報の可視性劣化の評価をエミュレートする。
実際のところ、フィルタルールは、グラウンドトゥルースの内容によって定義される決定動作のエミュレータである。そのため、このようなフィルタルールを作成するためにAIメソッドまたはAIソフトウェアモジュールを使用する方法は、エミュレータを作成する方法である。
フィルタルールは、保存および/または送信することができる。同様に、AIソフトウェアモジュールは保存または送信することができる。さらに、分類ソフトウェアモジュールは、フィルタルールを用いて作成または構成することができる。また、コンピュータ処理される分類装置も、フィルタルールに基づいて構成することができる。
好ましい実施形態では、AI方法またはAIソフトウェアモジュールは、いわゆる畳み込みニューロンネットワークを含むフィルタルールを有してもよい。あるいは、任意の他の適切なAI方法またはAIソフトウェアモジュールが利用されてもよい。
第4の態様によれば、コンピュータで実行される分類方法(CM)が提案される。これは、画像データユニットに含まれる画像情報に基づいて、推定ランクパラメータを帰属させるように設計されたフィルタルールを含む。分類方法のフィルタルールは、上記で説明したコンピュータで実行されるエミュレータ作成方法(EM)によって作成される同じフィルタルールであってもよい。あるいは、分類方法は独自の(分類)フィルタルールを含んでもよく、しかし、それは、上記で説明したコンピュータで実行されるエミュレータ作成方法(EM)によって作成されるフィルタルールに基づいて構成することができる。いずれの場合でも、分類方法で使用されるフィルタルールは、明確化のために「分類フィルタルール」と呼ばれる場合がある。
分類方法は、以下のステップを備える。車両の環境に関する画像データユニットが収集される。画像データユニットに含まれる画像情報は、少なくとも1つの視界低下の影響に基づく可視性低下の対象となる場合がある。(分類)フィルタルールは画像データユニットに適用される。フィルタルールによって画像データユニット(P*)に帰属する推定ランクパラメータが出力として提供される。推定ランクパラメータは、最小値と最大値の間の絶対可視性ランク順内のランクを示し、その結果、推定ランクは可視性の低下の程度を表す。
第5の態様によれば、トレーニングデータセットを評価または改善するためのコンピュータで実行される試験方法が提案される。この方法は、図面を参照して以下でさらに説明される。
第6の態様によれば、車両制御装置が提案され、これも、図面を参照することによって以下でさらに説明される。
上記の説明により、遡及的アプローチと人間の評価に基づいて、絶対的な可視性ランク順序がどのように確立されるか、理解されえる。このような評価の結果は、順序付けられたデータ構造として、つまり、それはトレーニングデータセットであり、コンピュータ読み取り可能な形式で、保存されえる。トレーニングデータセットは、物理的なデータキャリア、たとえば、コンピュータのメモリ内、CD/DVD、USBスティックなどに保存されえる。それは、データ通信インターフェースを介して、たとえば、インターネット接続、ネットワークソケットなどを介して送信されることもできる。トレーニングデータセットは、コンピュータで実行されるAIアルゴリズムでさらに使用できるような形式で評価結果を保存するために設計されている。
以下に、具体的な実施形態の例を、図面を参照して説明する。
図1は、視覚センサ2を装備した車両1を示している。車両1は、自動車、乗用車、トラック、または任意の他の種類の車両、特に陸上車両でありえる。ここで、車両1は、試験視覚センサ2を装備した試験車両であると仮定される。試験車両は、本開示による評価方法AMのための画像データユニットPiを収集するために使用され得る。試験車両1は、トレーニングデータセットの一部になる画像データユニットの最初の収集またはその後の収集に使用されてもよい。さらに、試験車両は、完全または部分的にトレーニングされたAIソフトウェアモジュールおよび/またはコンピュータ処理される分類装置4の品質を検証するために使用されてもよい。さらに以下で名前が付けられる自車両1’は、自動車メーカーが販売し、第三者が所有または使用している実際の車でありえる。試験車両1と自車両1’との区別は、本開示によるAI技術の開発プロセスおよびその後の使用を説明するためにのみなされる。しかし、この区別は、本開示に含まれる方法または装置の技術的機能にとって重要ではない。
視覚センサ2は、任意の種類のものであってよい。例えば、CMOSカメラまたは任意の他の適切なタイプの電子カメラであってもよい。それは、単一の画像ファイルおよび/または画像データストリームを出力しえる。視覚センサ2によって収集された画像情報には、グレースケール情報または色情報、あるいはその両方が含まれていてもよい。視覚センサ2は、さらなる光学機器、特に1つまたは複数のレンズおよび/または光学フィルタを備えてもよい。
好ましくは、視覚センサ2の取り付け位置および/または向きが既知である。本開示の技術には厳密には必要ではないが、試験車両1の視覚センサ2、その取り付け位置および/または向きが、本開示による分類方法CMのための新しい画像データユニットP*を収集するために使用される視覚センサ2’と同じであるか、非常に類似していると有利でありえる。同様に、試験車両1の試験視覚センサ2と私的に使用される車両1’のアプリケーションドメイン視覚センサ2’の取り付け位置および/または向きが一致することが望ましい(図6と比較)。
以下の説明は、試験車両センサ2およびアプリケーションドメイン視覚センサ2’に適用することができる。したがって、これらの視覚センサ2、2’または車両1、1’のさらなる区別はなされない。
視覚センサ2は、好ましくは、車両1、1’の環境3に向けられている。特に、車両1、1’の前方または車両1、1’の後方の環境3に向けられてもよい。あるいは、視覚センサ2、2’の任意の他の向きも可能である。たとえば、視覚センサは側方カメラでありえる。それは、例えばピンホールカメラ、180°魚眼カメラなどとして、任意の構造形式で作り出されたものであってもよい。
図1の例では、特に、路側物体、路上物体、障害物、交通参加者など、さまざまな可視要素または構造が環境3の一部であり、それらに関して、視覚センサ2によって画像情報が収集される。本技術は、画像データユニットPiの画像情報に含まれる可能性のある可視要素または構造のタイプ、サイズ、または数とは無関係である。
説明のために、図1は4つの画像データユニットまたはそれらに含まれるそれぞれの画像情報を示しており、それらは、異なる視界低下の影響を受けている。描かれている画像データユニットは、同じシーン/交通状況に関するものである。ただし、これは単純化のためだけに選択されている。実際には、画像データユニットは、同じおよび/または異なる交通状況から取得されえる。
画像データユニットP1は、液滴5の影響を受けており、それは可視領域の一部を覆っており、そうでなければ見ることが可能な、環境3内の現実世界の要素または構造を部分的または完全に隠している。
画像データユニットP2はグレア6の影響を受けている。画像データユニットP3は暗闇7の影響を受け、画像データユニットP4は汚染、つまり可視領域内の汚れやその他の望ましくない物質の影響を受けている。図示されていないが、視界低下のいずれの形態による影響も受けていない、つまり、完全な視界条件の下で収集された、クリーン画像または画像データユニットである、1つまたは複数の画像データユニットが存在してもよい。
図2は、本開示による分類技術により達成される重要な利点の1つを示している。コンピュータ処理される分類装置4(フィルタルール16、したがって好ましくはトレーニングされたニューロンネットワークを含む)には、新しい画像データユニットP*が供給される。コンピュータ処理される分類装置4は、フィルタルール16を新しい画像データユニットP*に適用し、帰属される、エミュレートされた可視性ランクパラメータR*を出力する。
エミュレートされた可視性ランクパラメータ(R*)は保存され、新しい画像データユニットP*と関連付けられ、および/またはさらなる処理のためにコンピュータ化された別の装置に送信されえる。そのようなさらにコンピュータ化された装置は、特にADAS(高度運転支援システム)または自動運転車両の車両制御装置であってもよい。
ここで、図3および図4を参照して、本開示によるコンピュータで実行される評価方法をより詳細に説明する。
画像データユニットP1、P2、P3、P4のメインセットMが収集される。画像データユニットは、図1を参照して上で説明したように、車両1に取り付けられた視覚センサ2から直接取得することができる。代替的に、または追加的に、画像データユニットのいくつかまたはすべてを、ストックから、特にデータベースから取得してもよい。ただし、ストックまたはデータベースには、車両1、1’に取り付けられた視覚センサ2、2’によって収集された画像データユニットを含めることができる。
図3に示すように、複数のサブセットS1、S2、S3が定義され、各サブセットS1、S2、S3は画像データユニットPiの組、特に画像データユニットのペアを含む。
すべてのサブセットSiが、同じ数の画像データユニット、特に2つの同一ではない画像データユニットを含むことが好ましい。ただし、評価方法は、異なる数の画像データユニットを含むサブセットS1、S2、S3に対しても実行可能である。
評価方法AMの最初の実行において、1つまたは複数のサブセットS1、S2、S3が作成されてもよい。評価方法AMの実行中はいつでも、特定の数のサブセットS1、S2、S3が既に存在し、少なくとも1つの新しいサブセットS*が作成されてもよい。言い換えると、サブセットS1、S2、S3の数が増えてもよい。同様に、サブセットの数が減らされてもよい。サブセットの数の減少は、たとえば、サブセットの一部がAIメソッドのさらなるトレーニングの成功に寄与しない場合に推奨されえる。その場合、トレーニングの利益を提供する、サブセットのみを保持することが推奨されえる。役に立たないサブセットを削除すると、必要な計算の労力を減らすことができる。
サブセットS1、S2、S3、S*に含まれる画像データユニット(P1とP2、P3とP4、P3とP2)は、任意に、および/または選択ルールに基づいて選択されてもよい。選択ルールは、任意の方法で定義されもよい。以下にいくつかの例が与えられる。
好ましい実施形態では、サブセットS1、S2、S3は、重複サブセットが回避されるような方法で生成される。言い換えれば、第1の特定の画像データユニットと、1つ以上のさらなる画像データユニットの組は、サブセット全体の中で一度だけ発生する。換言すると、新しく作成されるサブセットS*は、すべての既存のサブセットS1、S2、S3とは異なる必要がある。別の実施形態では、重複サブセットが許容されるか、意図的に生成されてもよい。これは特に、さまざまな評価者14に困難なケースに直面させるために行われてもよい。異なる評価者の(潜在的に異なる)比較結果を保存および処理することにより、トレーニングされたフィルタルールが、単一の「誤った」入力に基づき、「誤った」または「理解できない」エミュレートされたランクパラメータを出力する傾向を減じることができる。
一方、メインセットMの利用可能な画像データユニットP1、P2、P3、P4の少なくとも大半が、少なくとも2つ、好ましくは3つ、4つ以上のサブセットS1、S2、S3に含まれていることが提案される。
実用的な結果がトレーニングデータセットに記録され、そこにおいて、画像データユニットの過半数またはそれぞれが、30〜70個のサブセット、特に約50個のサブセットに含まれる。
評価方法AMにおいて、それぞれのサブセットS1、S2、S3の画像データユニットP1/P2、P3/P4、P3/P2の相対比較に関して、比較結果C1、C2、C3が収集される。比較結果C1、C2、C3の収集は、任意の方法で実行されえる。好ましくは、サブセットに含まれる画像データユニットPiが、ディスプレイ11で(人間の)評価者14に提示される。これは、反復プロセスにて実行される。「ラベラー」は、単一の人物、すなわち常に同じ人物であってもよいし、または好ましくは人物のグループであってもよい。
反復ごとに、少なくとも1つのサブセットS1、S2、S3が選択され、含まれる画像データユニットP1、P2、P3、P4が、特に、評価者14によって監視されるスクリーンに表示されてもよい。2つ以上のサブセットが選択されている場合、含まれる画像データユニットは、時間的および/または空間的に分離して表示され、またはグルーピングして表示される。
対応する比較結果C1、C2、C3は、任意の方法で収集されえる。好ましくは、それぞれのS1、S2、S3の比較結果C1、C2、C3を識別する入力パラメータが収集される。入力パラメータは、評価者14によってなされる直接入力であってもよい。あるいは、入力パラメータは、別の入力から間接的に導出されてもよい。
図3の例において、画像データユニットP1、P2に加えてプロンプトが表示されている。プロンプトには、たとえば「P1>P2?」のような比較結果に関する質問が含まれてもよい。入力パラメータは、このプロンプトに対する応答であってもよい。図3の例では、評価者14は、評価(C1:NO、C2:YES、C3:YES)を伴った応答を入力することができる。以下でさらに説明するように、入力応答は、比較された画像に同程度の可視性の低下が存在することを示す場合もありえる。
代替的に、評価者14は、たとえば、低い可視性低下から始まり最も強い可視性低下へ向かう、またはその逆の、含まれる可視性低下のレベルに従って、表示された画像データユニットP1、P2をソートすることが求められてもよい。
好ましい実施形態によれば、各サブセットSiは、制限された数の画像データユニットのみを含むことができ、その制限された数は、メインセットMに含まれる画像データユニットの総数よりはるかに少ない。
特に好ましい実施形態では、各サブセットS1、S2、S3は、表示される画像データユニットのペアを含む。そして、比較結果は、含まれる画像データユニットのどれが可視性の低下によってより多くの(またはより少ない)影響を受けているかを識別するものであってもよい。
相対的な比較結果は、任意の方法で収集され、またはまとめられてもよい。ただし、それは、サブセット内の表示画像データユニットの中の可視性(または可視性低下)の相対的な順序をコンピュータ可読形式で示す必要がある。
1つの画像データユニットが、最大または最小の可視性の低下を伴うものとして選択されることが必要になる場合がある。
対比較の場合、これは、「第1画像データユニットは第2画像データユニットよりも可視性の低下が大きい」または「第1画像データユニットは第2画像データユニットよりも可視性の低下が小さい」という意味の比較結果に対応する。あるいは、画像データユニットの対等関係、すなわち「第1画像データユニットは第2画像データユニットと可視性低下による等しい影響を受ける」ことも許容されてもよい。
比較結果は、表示されたそれぞれのサブセットS1、S2、S3に関連付けられる。好ましくは、サブセットS1、S2、S3は、それぞれの画像データユニットPiと比較結果Ciとを含む組として保存されてもよい。
図4は、本開示によるコンピュータ実行評価方法AMの第2の部分を示している。ここでは、サブセットSi、またはそれぞれ関連付けられた比較結果Ciを持つ画像データユニットPiの絶対可視性ランク順序15への変換が示されている。また、この変換は、以下で説明される、反復プロセス、特に1つまたはいくつかのステップの繰り返しで、行われてもよい。したがって、説明において、ステップの単一実行とステップの繰り返し実行とは区別されない。
複数のサブセットS1、S2、S3およびそれぞれの比較結果C1、C2、C3が処理される。処理されたサブセットS1、S2、S3の画像データユニットP1、P2、P3、P4に対して、絶対的な可視性ランク順序15が確立される。処理は、現在利用可能なすべてのサブセットS1、S2、S3に対して実行されてもよい。あるいは、一部のサブセットに対してのみ実行されてもよい。代替的に、または追加的に、新しいサブセットS*が追加され、さらなる反復において処理されてもよい。
変換は、任意の適切な変換方法TMを使用して実行されえる。たとえば、すべてのサブセットおよびすべての画像データユニットに対し、比較結果において、可視性の低下が小さいものとして、各処理された画像データユニットが命名された頻度をカウントしてもよい。すべてのサブセットとすべての処理された画像データユニットをカウントする代わりに、サブセットの過半数および/または画像データユニットの過半数、または、十分と考えられる数のそれぞれサブセットと画像データユニットに対してのみカウントを実行するだけで十分な場合がある。
小さい可視性の低下をカウントする代わりに、またはそれに加えて、それぞれの画像データユニットが、それぞれのサブセットにおいてより大きい又は最も大きい可視性の低下を持つものとして(最大比較)、またはそれぞれのサブセットにおいてより小さい又は最も小さい可視性低下を持つものとして(最小比較)、命名された頻度をカウントしてもよい。
このカウントまたはそれぞれの最大比較ランキング頻度または最小比較ランキング頻度に基づいて、処理される画像データユニットがソートされてもよい。
2つの画像データユニットが同じカウント/ランキング頻度を受け取った場合、オプションとしてのステップで、それらの同等にランク付けされた画像データユニットの少なくとも1を含む新しいサブセットS*が作成され、新しい比較結果が収集されてもよい。これは、十分に正確な絶対ランキングを達成するために必要とされる限り、繰り返されてもよい。
いくつかの反復の後、画像データユニットは、最小可視性(可視性低下による最大の影響、最小)と最大可視性(可視性低下による最小の影響、最大)の間の絶対可視性ランク順序15でソートされる。このようにソートされた順序が、図8に例示されている。
ランクパラメータ(Ri/R1、R2、R3、R4)は、画像データユニット(Pi/P1、P2、P3、P4)に関連付けられる。ランクパラメータは、処理されたサブセットS1、S2、S3の複数の比較結果C1、C2、C3に基づいて計算される。
ランクパラメータは、任意の形式を持つことができる。それは、コンピュータで読み取り可能な形式で保存される。
カウントに基づいて画像データユニットをソートする前述の例では、ランクパラメータRiは、最も低い可視性(Min)を持つ、図8の画像データユニットPiの位置(ランク0)と、絶対的な可視性のランク順序15の反対の端(Max)における画像データユニットPiの位置番号との間の位置番号であってもよい。あるいは、ランクパラメータRiの形式の他の適切な計算が使用されてもよい。
ただし、ランクパラメータR1、R2、R3は、絶対可視性ランク順序15内の各画像データユニットPiのランクを定義する必要がある。
一実施形態では、ランクパラメータは単一の値であることが必要とされる場合があり、すなわち、各ランクパラメータRiは、最大で1つの画像データユニットPiに関連付けられることが強制される場合がある。この場合、絶対可視性ランク順序15内の画像データユニットPiの対等関係は、(図8に示されるように)回避される。あるいは、画像データユニットPiの対等関係が許容されてもよく、すなわち、2つ以上の画像データユニットが同じランクに関連付けられてもよい。
最終結果または暫定結果として、コンピュータ実行評価方法AMは、処理されるサブセットS1、S2、S3の画像データユニットP1、P2、P3および関連付けられたランクパラメータR1、R2、R3を含むトレーニングデータセット10を出力する。
上記で説明したように、評価方法AMのさまざまなステップが繰り返し実行されてもよい。これは、説明されているすべてのステップが1回のみまたは複数回実行されてもよいことを意味する。好ましくは、サブセットS1、S2、S3の定義とその処理、および/またはランクパラメータR1、R2、R3の計算は、事前定義されたランク順序評価基準が満たされるまで実行される。
ランク順序評価基準は、特にエミュレータ作成方法EMでの使用を目的としたAIアルゴリズムに基づいて、任意に定義されてもよい。基準は、たとえば、ランクの最小数(関連付けられた値の数またはランクパラメータの範囲)、絶対可視性ランク順序15内のランクの最小値および/または最大値の均質性、または、例えば指定されたランク間の平均差Riなどのような、分布パラメータの特定の望ましい範囲を定義してもよい。代替的に、または追加的に、画像当たりの(すでに実行された)比較の数を計算し、ランク順序評価基準として分析してもよい。
図6の上半分に、評価方法AMの中間結果または最終結果の分析に適格性評価方法QMがどのように適用されえるかを示す。特に、各反復ステップについて、ランク順序評価基準が監視され、それに応じて次の反復の実行が計画されえる。
評価方法AMに含まれる方法ステップのさらなる反復は、適格性しきい値からの瞬間的な適格性結果の偏差、特に上記のランク順序評価基準からの偏差に基づいてトリガされてもよい。
評価方法AMのサブセットS1、S2、S3の定義には、以下のステップを含むことができる。
メインセットMの画像データユニットP1、P2、P3、P4が、いくつの既存のサブセットS1、S2、S3に含まれるかを示す、サブセットカウントパラメータが計算される。画像データユニットPiのサブセットカウントパラメータが事前に定義されたカウントしきい値を下回っている場合、選択された画像データユニットPiと、メインセットMからの少なくとも1つの別の画像データユニットPiとで新しいサブセットS*が定義される。次いで、この新しいサブセットは、評価方法AMにおいてさらに処理される。
代替的に、または追加的に、サブセットS1、S2、S3の定義は、少なくとも1回実行される以下のステップを含んでもよい。
メインセットM内の複数の画像データユニットPiの既に計算されたランクパラメータRiが分析される。これは、特に、上記で説明したように分布適格性パラメータを計算することで実行されえる。最初のターゲット範囲T1と少なくとも1つの別のターゲット範囲T2が、絶対ランク順序15で識別される(図8参照)。この識別は、特に、所望のランク分布に基づいてもよい。
図8の例では、ターゲット範囲T1、T2は絶対的な可視性のランク順序15の区間をカバーしており、隣接する範囲と比較した場合に、含まれるランクパラメータRiの不均一性の増加を示している。このような局所的な不均一性は、最初のまたは別のターゲット範囲T1、T2を選択するための1つの基準となりえる。あるいは、最初のターゲット範囲と少なくとも別のターゲット範囲の特定のために、任意の異なる基準が使用されてもよい。
ターゲット範囲は、1、2、3、またはそれ以上の既存のランクパラメータRiおよび関連する画像データユニットPiを含んでもよい。
図8の例では、ランクパラメータR1が最初のターゲット範囲T1内に位置する最初の画像データユニットP1が選択され、ランクパラメータR4が別のターゲット範囲T2内に位置する別の画像データユニットP4が選択される。選択された画像データユニットP1、P4を含む新しいサブセットS*が定義され、この新しいサブセットS*が処理される。
サブセットS1、S2、S3の定義に適した別のアプローチは、以下のステップを含む。
最初の画像データユニットP1が、例えば、この画像データユニットP1および/またはその現在のランクパラメータR1の番号または既に実行された比較に基づいて選択される。次いで、少なくとも1つのターゲット範囲T1、T2が、選択された画像データユニットP1およびそのランクパラメータR1に基づいて定義され得る。このターゲット範囲T1、T2から、別の画像データユニットP4が選択され、この別の画像データユニットP4の選択は、ターゲット範囲T1、T2内において、ランダムベース又は確率ベースのピッキングに基づくことができる。ランダムベースまたは確率ベースのピッキングは、画像データユニットP1、P4の現在のランクパラメータR1、R4の偏差を分析してもよい。この偏差は、第1の偏差しきい値より小さく、および/または第2の偏差しきい値より大きいことが望ましい。特に、ランクパラメータの絶対偏差|R1−R2|が計算され、少なくとも1つの偏差しきい値と比較されてもよい。
上記で説明したように、サブセットを作成し、および、絶対可視性ランク順序15を確立し、および/またはランクパラメータRiを計算するために、任意の変換方法が使用されてもよい。
ランクパラメータRiの計算にelo格付け方法(ELO)を使用することにより、特に良い結果が得られた。elo格付け方法は、一般的にチェストーナメントで知られている。それは、elo格付けシステムとも呼ばれている。
チェスゲームのelo格付けシステムは、チェスプレーヤーのいわゆるスキルレベルを計算する方法を備えている。スキルレベルまたはelo評価値は、格付けされたプレイヤー間のチェスゲームの結果に応じて増減する。毎ゲーム後、勝ったプレイヤーは負けたプレイヤーからポイントを獲得する。(ゲーム前の)勝者と敗者の格付けの差が、ゲーム後に獲得または失ったポイントの総数と相関する。ゲームの前に勝者はより高い格付けを有していた場合、勝者の格付けはわずかにしか増えない(敗者の格付けはわずかにしか減らない)。しかし、ゲーム前に敗者がより高い格付けを有していた場合、この格付けは大幅に低下する(勝者の格付けは大幅に増加する)。したがって、ゲーム前の格付け間の差が、ゲームで獲得または失ったポイントに影響を及ぼしますが、獲得または失ったポイントは、ゲームの結果にも依存します。
同様の計算手法を、画像データユニットPiに関連付けられる絶対ランクパラメータRiに適用することができる。比較結果C1、C2、C3は、チェスゲームの結果と見なすことができる。可視性の低下による影響が少ないと評価されている画像データユニットは、このサブセットの勝者と見なすことができる。含まれている他の画像データユニット(ペアの場合)、または他の画像データユニット(より大きな組の場合)は、敗者と見なすことができる。elo格付け方法を実施するための様々な計算ルールが従来技術に見られる。
elo格付け方法に基づいて計算されるランクパラメータRiは、整数または浮動小数点数である。ランクパラメータの可能な範囲は、処理される新しいサブセットまたは比較結果ごとに増加する可能性がある。
最初に計算された数を事前に定義された範囲、特にゼロの最小可能ランクパラメータ(Min)と1に等しい最大可能ランクパラメータ(Max)の間の範囲に変換すると有益であると考えらる。その結果、elo格付け方法に基づいて計算されるランクパラメータRiは、0〜1の間の浮動小数点数になり得る。別のオプションは、2つのしきい値、例えばB1とB2を定義し、B1以下のすべての値を0に設定し、B2以上のすべての値を1に設定し、B1とB2との間のすべての値を、例えば(Ri−B1)/(B2−B1)を用いて、スケーリングされた値に設定することである。スケーリングされた値は、線形スケーリングまたは非線形スケーリングによって導出され得る。
図5は、本開示による、コンピュータ実行エミュレータ作成方法EMを示している。エミュレータ作成方法EMは、人工知能方法、人工知能ソフトウェアプロダクト9、またはそれぞれに含まれる(AIアルゴリズム)を使用する。このようなAIメソッドとAIソフトウェアプロダクトは基本的に公知である。
上記で説明したように、トレーニングデータセット10は、コンピュータ実行の人工知能方法または人工知能ソフトウェアモジュール9への入力として提供される。トレーニングデータセット10は、特にデータキャリアに保存された(上記参照)、コンピュータで読み取り可能な形式の画像データユニットPiと関連ランクパラメータRiを含む。
トレーニングデータセット10は、人工知能法または人工知能ソフトウェアモジュール9)のグラウンドトゥルースとして定義される。AIメソッドまたはAIソフトウェアプロダクトは、画像データユニットPiに含まれる画像情報を分析し、(内部)フィルタルール16を確立するように構成(および使用)される)。フィルタルール16には任意の定義があり、それは、使用される人工知能方法または人工知能ソフトウェアモジュール9の種類に依存することができる。
フィルタルール16は、画像データユニットPiに含まれる画像情報から、各画像データユニットPiの関連ランクパラメータRiへの帰属を提供し、その結果、フィルタルール16は、グラウンドトゥルースに従って、画像データユニットPiに含まれる画像情報の可視性低下の評価をエミュレートする。
好ましい実施形態では、人工知能方法または人工知能ソフトウェアモジュール9は、畳み込みニューロンネットワークを含む(内部)フィルタルール16を含む。したがって、フィルタルール16は、ニューロンネットワークの構造、ニューロン間の重み、および/またはニューロンの入力閾値(この先、バイアスと呼ばれる)を含み得る。ニューロンの種類と数、およびそれらの接続によって、ニューロンネットワークの構造が定義され得る。ニューロンと接続は、好ましくは、層にグループ化される。構造には、応答ニューロン(通常のニューロン)、つまり入力信号が入力閾値を超えるとアクティブになる前の層に接続されたニューロン、およびオプションでバイアスニューロン(常にアクティブなニューロン、前の層に接続されていない)が含まれてもよい。
AIソフトウェアモジュール9または畳み込みニューロンネットワーク(CNN)のトレーニング中に、トレーニングデータセット(画像データユニットRi)に向き合ったとき、ニューロンネットワークが、グラウンドトゥルースと一致する出力(推定ランクパラメータR*)を提供するように、重みおよび/またはバイアスが繰り返し変更される。実際、トレーニングされたニューロンネットワークまたはAIソフトウェアモジュールは、画像データユニットPiおよび関連ランクパラメータRiに基づいて、トレーニングデータセットに定義される決定行動をエミュレートできる必要がある。重みとバイアスの反復的な変更のため、勾配スキームを使用するコスト削減アルゴリズムが実行されてもよい。重みまたはバイアスは、グラウンドトゥルースに対する現出力の偏差が最小になるように、各反復で変更される。
現在のAI技術は、通常、事前に定義されているニューロンネットワークの固定構造を使用するが、ニューロンネットワークの構造が、トレーニング中に変更または拡張されることも可能である。また、ニューロンネットワークの構造に対するそのような変更または拡張は、コスト削減アルゴリズムに基づいて、人間のニューロンネットワークの場合のように実行することができ、そこでは、新しいニューロンが生成され、現在のネットワークの機能を変更又は低下させることなく、すでにトレーニングされたネットワークに追加される。
フィルタルール16は、そのフィルタルールが与えられた画像データユニットから可視性低下ランクパラメータを自動的に推定するように、(事実上の)決定ルールのエミュレータとして機能し、その結果、出力(エミュレートされたランクパラメータ)が、トレーニングデータセット10内のその画像のグラウンドトゥルースランクパラメータRiに一致する。
フィルタルール16は、例えばニューロンネットワームの構造定義と、トレーニングプロセスの結果である重みとバイアスの値との形式で、保存することができる。フィルタルールは、代替的にまたは追加的に送信されてもよい。同様に、人工知能ソフトウェアモジュール9自体(フィルタルールと実行手段を含むソフトウェアパーツ)または人工知能メソッドの定義パラメータ(フィルタルールと実行手段でAIソフトウェアモジュールを再作成するための複製情報)が保存され、または送信されてもよい。
特に、分類ソフトウェアモジュールは、フィルタルール16に基づいて構成されてもよいし、コンピュータ処理される分類装置4が、フィルタルール16に基づいて構成されてもよい。これは、図6に例示されており、そこでは、コンピュータ実行のエミュレータ作成方法EMで作成されるフィルタルール16(エミュレータ)が、コンピュータ処理される分類装置4に転送される。
コンピュータ処理される分類装置4は、本開示によるコンピュータ実行分類方法CMを実行するように設計された分類セクションを備える。それは、新しい画像データユニットP*を受信すると、推定ランクパラメータR*を出力するように、さらに適合される。したがって、分類セクションは、(分類)フィルタルールに基づいてエミュレーションジョブを実行する。
コンピュータ化された分類装置は、例えば、特定用途向け集積回路(ASIC)を含むデータ処理装置であってもよい。特定用途向け集積回路(ASIC)は、フィルタルール16で定義される帰属を高い演算速度で計算するために最適化されえる。
あるいは、コンピュータ処理される分類装置は、車両(1,1’)の電子制御ユニット、または多目的コンピュータであってもよい。
本開示による分類ソフトウェアプロダクトは、データ処理装置で、特に電子制御ユニットまたは多目的コンピュータで実行されてもよく、それにより、コンピュータ実行分類方法について定義されたステップが実行される。
分類ソフトウェアプロダクトは、物理データキャリアに保存されるか、通信インターフェースを介して送信されてもよい。それは、コンピュータ実行分類方法CMを実行するための命令を備えている。
コンピュータ実行分類方法CMは、画像データユニットP*に含まれる画像情報に基づいて、推定ランクパラメータR*を割り当てるように設計された、(分類)フィルタルール16を含む。
以下の説明では、エミュレータ作成方法EMまたはAIメソッドまたはAIソフトウェアプロダクト9(つまり、製造元で作成されたトレーニング済みのニューロンネットワーク)によって作成された(内部)フィルタルール16と、分類方法、分類装置、または分類ソフトウェアプロダクト(転送または複製されたトレーニング済みニューロンネットワーク)で使用される(分類)フィルタルール16は、同じであるか、または等価であってもよい。あるいは、(内部)フィルタルールと(分類)フィルタルールとは異なっていてもよい。たとえば、製造元で最初に作成された(内部)フィルタルール(ニューロンネットワークの構造定義と、トレーニングプロセスの結果としての重みとバイアスの値)に基づいて、機能的に等価またはさらに改善された(分類)フィルタルールが、現場で使用される、分類方法、または分類ソフトウェアプロダクトにおける使用のために作成されてもよい。機能的に同等または改善されたフィルタルールの作成は、たとえば、AIソフトウェアモジュールの異なるバージョン、ソフトウェア変換アダプターなどの使用に基づく場合がある。ただし、これらの異なる(内部)フィルタルールと(分類)フィルタルールによってなされる帰属(画像データユニットに対する推定ランクパラメータ)は、同じであるか、または非常に類似している必要がある。
画像データユニットP*は、任意の方法で収集されてもよい。それは、インターフェースを介して受信されるか、データキャリアから読み出されるか、データストリームとして受信されるか、ソケットを介して受信されるか、視覚センサ(2,2’)によって直接検出されてもよい。
画像データユニットP*に含まれる画像情報は、図1に示すように、少なくとも1つの視界低下の影響5、6、7、8に基づいて、可視性低下の対象となりえる(または、なりえない)。代替的に、または追加的に、他のタイプの視力低下の影響が発生するかもしれない。
(分類)フィルタルール16を画像データユニットP*に適用することにより、推定ランクパラメータR*が割り当てられる。この推定ランクパラメータR*が出力される。それは、絶対的な可視性のランク順序15内のランクを示す。したがって、推定ランクパラメータR*は、最小値(Min)と最大値(Max)の間の値になるため、推定ランクパラメータR*は、それぞれの新しい画像データユニットP*が影響を受けている、可視性低下のレベルを表す。
図7は、本開示によるコンピュータ実行試験方法を示している。試験方法は、上記の説明に従って作成されたデータセット10を評価および/または改善するために使用される。同様に、試験方法は、本開示によるAIシステム、分類装置または他の保護エンティティを(直接的または間接的に)改善するために使用されてもよい。コンピュータ実行試験方法は、以下のステップを含む。
新しいデータユニットP*が収集される。それは、やはり車両の環境(1、1’)に関係する。画像データユニットP*は、上記の説明に従ってコンピュータ実行分類方法CMによって評価される。それにより、推定ランクパラメータR*が新しい画像データユニットP*に関連付けられる。そして、この推定ランクパラメータ(R *)が、以下で説明するように、グラウンドトゥルースとの整合性について試験される。
新しい画像データユニットP*と、既存のトレーニングデータセット10または画像データユニットP1、P2、P3、P4のメインセットMから選択される少なくとも1つの別の画像データユニットPiとを含む新しいサブセットS*が作成される。
新しい画像データユニットP*には、可視性の低下の影響を受ける画像情報が含まれているかもしれない。図7の例では、新たに収集された画像データユニットP*は、メインデータセットMの画像データユニットP1、P2、P3、P4に以前は含まれていなかった靄や霧、つまり視界低下の影響を受けている。このような状況では、瞬間的な形式のコンピュータ実行分類方法のフィルタルール16は、グラウンドトゥルースまたは評価者14の潜在的な決定に正しく適合する推定ランクパラメータR*を割り当てるかどうか定かではないが、可能である。
本開示による試験方法では、現在のフィルタルール16に基づいて割り当てられた推定ランクパラメータR*に基づいて、および、別の画像データユニットPiに関連付けられている既知のランクパラメータRiに基づいて、推定比較結果C’が確立される。
選択された画像データユニットPiと新しい画像データユニットP*は、推定比較結果C’の検証のために、特にディスプレイ11に表示することによって、(人間の)評価者14に少なくとも1回表示される。エミュレートされたランクパラメータR*が現在のフィルタルール16によって正しく割り当てられたならば、(人間の)評価者は、(1回の検証または複数の検証の(大)多数で)推定比較結果C’によって表されるような、画像データユニットPi、P*の相対順序について同じ評価に達するべきである。
検証比較結果C*を特定する入力パラメータが収集される。入力パラメータは、評価方法について上記で説明したのと同じ方法で評価者14によって提供されえる。
推定比較結果C’が、(1回または好ましくは複数回)検証比較結果C*と等しい場合、グラウンドトゥルースとの整合が決定される。すると、フィルタルールの試験は、
肯定的な結果を提供する。したがって、画像データユニットP*)および関連付けられた推定ランクパラメータR*をトレーニングデータセット10に追加することができる。代替的に、または追加的に、検証の肯定結果が保存されてもよい。
トレーニングデータセット10に新しい画像データユニットP*と(肯定的なテスト結果で確認された)エミュレートされたランクパラメータR*を含めると、トレーニングデータセットのボリュームを拡大する。エミュレータ作成方法EMを再度実行すると、新しいまたは改善されたフィルタルールが作成される場合があるが、それは、以前のバージョンと非常に類似しているかもしれない。
推定比較結果C’が検証比較結果C*から外れている場合、不整合が判定される。その場合、検証否定結果が保存されてもよい。それは、フィルタルールの試験が改善の可能性を示していると判断されえる。その場合、新たに収集された画像データユニットP*が少なくとも1つの別のサブセットS*に含まれ、その後処理されるように、評価方法AMのステップのさらなる反復を適用する必要がある。その結果、新しく収集された画像データユニットP*は、エミュレートされたランクパラメータR*とは異なる別のランクパラメータを受け取る。新しく収集された画像データユニットP*と新しいランクパラメータがトレーニングデータセット10に含まれている場合、実際の知識獲得が達成される。このトレーニングデータセットにエミュレータ作成方法EMを再度適用すると、新しいフィルタルールが作成され、それは、実際のところ以前のルールと相違し、改善された分類を可能とする。
試験では、検証比較結果C*は、新たに収集された画像データユニットP*と、メインセットMの既存の画像データユニットPiとのただ1回の比較のために収集されてもよい。あるいは、複数の検証比較結果C*が、複数のそのような比較/いくつかの新しく作成されたサブセットS*のために収集されてもよい。
上記の例において、新しい画像データユニットP*は、完全に新しい画像データユニットとすることができる。しかし、試験方法のために、いずれのサブセットでもまだ処理されていない、トレーニングデータセットに含まれるいずれかの画像データユニットも、新しいデータユニットP*として使用されてもよい。このように、試験方法は、トレーニングデータセットに含まれる画像データユニットの一部のみと直面していた、部分的にトレーニングされたフィルタルール/部分的にトレーニングされたニューロンネットワークに適用されてもよい。言い換えれば、トレーニングデータセットは、試験用に予約されている1つまたはいくつかの画像データユニットを含むことができる。各試験の反復中に、これらの予約された画像データユニットの少なくとも1つが、試験方法における「新しい画像データユニット」として使用されえる。
図6は、下半分に、本開示による車両制御装置13を示している。この車両制御装置は、特に、上記のような自動車1’または他の種類の車両に適合されえる。ただし、図6の下部の車両1’は、上記の試験車両1ではなく、個人所有の車または車両(アプリケーションドメイン車両)でありえる。
車両制御装置13は、車両1’の環境に関する画像データユニットP*を収集するための視覚センサ2’を備えることができる。代替的に、または追加的に、車両制御装置13は、画像データユニットP*を取得するための視覚データインターフェース18を備えていてもよい。視覚データインターフェース18を介して、車両制御装置13は、車両制御装置13の一部ではない外部の視覚センサに接続されてもよい。
車両制御装置13は、車両制御部17をさらに備える。これは、上記で説明したように、任意の種類のデータ処理装置であってもよく、特にASIC、電子制御ユニット、または多目的コンピュータであってもよい。車両制御部17は、視覚センサ2’から受信した、および/または視覚データインターフェース18を介して収集された画像データユニットP*に基づいて、車両制御アクションを実行するように設計されている。
本開示による車両制御装置13は、コンピュータ処理される分類装置4(上記で説明した)をさらに備える。
車両制御装置13は、少なくとも1つの新しく収集された画像データユニットP*について、コンピュータ処理される分類装置4によって出力される、少なくとも1つの推定ランクパラメータR*に基づいて、可視性低下安全パラメータZ*が計算されるように設計されている。
車両制御部17は、可視性低下安全パラメータZ*が安全閾値の観点から不十分であるならば、またはそのときに、車両制御アクションを一時停止または変更するように設計されている。
可視性低下安全パラメータZ*は、任意の方法で計算することができる。たとえば、可視性低下安全パラメータZ*は、一連の新しく収集された画像データユニットP*に帰属された、いくつかの推定ランクパラメータR*の平均値、特に浮動小数点算術平均または幾何平均であってもよい。あるいは、推定ランクパラメータR*の値が、可視性低下安全パラメータとしてそのまま使用されてもよい(Z*=R*)。
可視性低下安全パラメータZ*は、静的な値として定義されている安全閾値と比較されてもよい。あるいは、安全閾値は、特に交通状況、車両制御目標、運転者のアクティブ/非アクティブ状態などに基づいて動的に定義されてもよい。同様に、いくつかの可視性低下安全パラメータZ*を定義したり、さまざまな用途向けに、例えば動的に計算したりしてもよく、例えば、安全関連機能(例えば、衝突回避、車線または距離維持など)と便利機能(無料駐車スペースの強調表示など)とで、パラメータZ*を異ならせてもよい。
可視性低下安全パラメータZ*が不十分であると考えられる場合、車両制御部は、安全スキームの下で車両制御アクションを変更してもよい。そのような安全スキームは、リスク低減制御アクションが選択または優先されること、例えば、走行速度が低下されること、運転者が警告を与えられること、または、車両1’の他のセンサシステムにさらに基づいて、別の車両制御アクションを提供してもよい。視覚情報の信頼性が不十分である場合、制御アクションは、たとえば、レーダ情報および/または車々間通信ベースの情報および/またはナビゲーションマップベースの情報などにさらに基づくものであってもよい。代替的に、または追加的に、安全スキームの下での車両制御アクションは、視覚センサのクリーニングを命じてもよい。
上記の説明による車両制御装置13を備える車両は、大きな利点を提供する。特に、視覚情報の信頼性評価が利用可能になると、このタイプの入力情報が十分に信頼できると見なされる場合、自動または自律車両制御アクションは視覚センサ情報のみに基づくことができる。また、容認できない程度までの視界低下の影響を受ける画像情報に基づいた制御アクションのリスク増加の可能性を回避することができる。したがって、本開示による分類手法、および1つまたはいくつかのコンピュータ実行方法またはコンピュータ処理される装置におけるその適用は、自律運転および高度自動運転の安全性を高めることができる。
本発明は様々な形態で変形可能である。特に、様々な実施形態で開示された特徴は、任意に組み合わせられ、または交換されてもよい。本開示によるすべてのコンピュータ実行方法は、それぞれのソフトウェアプロダクト、すなわち、評価ソフトウェアプロダクト、エミュレータ作成ソフトウェアプロダクト、分類ソフトウェアプロダクト(上記で説明)、試験ソフトウェアプロダクトまたは車両制御ソフトウェアプロダクトに組み込むことができる。それぞれのソフトウェアプロダクトは、特にソフトウェアプロダクトが電子制御ユニット、多目的コンピュータ、または他の適切なデータ処理装置で実行されるとき、それぞれのコンピュータに実装された方法を実行するための命令を含むことができる。これらのソフトウェアプロダクトの各々は、物理データキャリアに保存されるか、インターフェース、特に通信インターフェースを介して送信されてもよい。
同様に、開示されたコンピュータ実行方法のそれぞれに基づいて、それぞれのコンピュータ化された装置、特にコンピュータ化された評価装置、コンピュータ化されたエミュレータ作成装置、コンピュータ化された分類装置(上記のように)、コンピュータ化された試験装置および/またはコンピュータ化された車両制御装置(上記で説明)を作成することができる。
1 試験車両、1’自車両、2 視覚センサ(試験車両)、2’ 視覚センサ、3 環境、4 コンピュータ化された分類装置、5 液滴、6 グレア、7 暗闇、8 汚染、9 AIソフトウェアモジュール/AIアルゴリズム/畳み込みニューロンネットワーク、10 トレーニングデータセット、11 ディスプレイ 12 変換装置、13 車両制御装置、14 評価者、15 絶対的な可視性のランク順序、16 フィルタルール/エミュレータ/トレーニングされたニューロンネットワーク、17 車両制御部、18 視覚データインターフェース

Claims (14)

  1. トレーニングデータセット(10)を作成するためのコンピュータで実行される評価方法(AM)であって、トレーニングデータセット(10)は、エミュレータ(16)を作成するため、または、コンピュータ実行分類方法(CM)を構成するため、AIメソッドまたはAIソフトウェアモジュール(9)の入力およびグラウンドトゥルースとして機能するように設計され、
    車両(1、1’)の環境(3)に関する画像データユニット(P1、P2、P3、P4)のメインセット(M)を収集すること、そこにおいて、画像データユニット(P1、P2、P3、P4)の少なくとも1部は、少なくとも1つの視界低下の影響(5、6、7、8)に基づいて可視性低下の対象となる画像情報を含み、
    画像データユニット(P1、P2、P3、P4)の複数のサブセット(S1、S2、S3、S4)を定義し、それぞれのサブセット(S1、S2、S3)の画像データユニットの相対的な比較(P1/P2、P3/P4、P3/P2)の比較結果(C1、C2、C3)を収集すること、そこにおいて、比較結果(C1、C2、C3)は、それぞれのサブセ
    ット(S1、S2、S3)に関連付けられ、サブセット(S1、S2、S3)の画像データユニット(P1/P2、P3/P4、P3/P2)間の可視性または可視性低下の相対的な順序を示し、
    複数のサブセット(S1、S2、S3)とそれぞれの比較結果(C1、C2、C3)を処理すること、そこにおいて、処理されるサブセット(S1、S2、S3)内の画像データユニット(P1、P2、P3、P4)に対して、絶対的な可視性ランク順序(15)が確立され、
    画像データユニット(P1、P2、P3、P4)にランクパラメータ(R1、R2、R3)を関連付けること、そこにおいて、ランクパラメータ(R1、R2、R3)は、処理されるサブセット(S1、S2、S3)の複数の比較結果(C1、C2、C3)に基づいて計算され、および、ランクパラメータ(R1、R2、R3)は、絶対的な可視性ランク順序(15)内のランクを定義し、
    処理されるサブセット(S1、S2、S3)の画像データユニット(P1、P2、P3、P4)と、関連付けられたランクパラメータ(R1、R2、R3)とを含むトレーニングデータセット(10)を出力すること、の各ステップを備えるコンピュータ実行評価方法。
  2. 比較結果(C1、C2、C3)の収集は、
    サブセット(S1、S2、S3)を選択し、含まれている画像データユニット(P1、P2、P3、P4)を表示すること、
    サブセット(S1、S2、S3)の比較結果(C1、C2、C3)を特定する入力パラメータを収集すること、の各ステップを含み、各ステップは複数回実行される、請求項1に記載のコンピュータ実行評価方法。
  3. サブセット(S1、S2、S3)の定義およびサブセットの処理、および/または、ランクパラメータ(R1、R2、R3)の計算は、事前定義されたランク順序評価基準が満たされる(QM)まで、繰り返し実行される、請求項1または2に記載のコンピュータ実行評価方法。
  4. サブセット(S1、S2、S3)の定義は、
    メインセット(M)の画像データユニット(P1、P2、P3、P4)が、既存のいくつのサブセット(S1、S2、S3)に含まれるかを示す、サブセットカウントパラメータを計算すること、
    画像データユニット(P1)のサブセットカウントパラメータが事前定義されたカウント閾値を下回っている場合、選択された画像データユニット(P1)とメインセット(M)からの別の画像データユニット(P4)とで新しいサブセットを定義すること、
    新しいサブセットを処理すること、を含む請求項1乃至3のいずれか1項に記載のコンピュータ実行評価方法。
  5. サブセット(S1、S2、S3、S4)の定義は、
    最初の画像データユニット(P1)を選択すること、
    メインセット(M)の複数の画像データユニット(P1、P2、P3、P4)のすでに計算されたランクパラメータ(R1、R2、R3、R4)を分析すること、
    絶対ランク順序(15)内で少なくとも1つのターゲット範囲(T1、T2)を特定すること、
    ランクパラメータ(R4)がターゲット範囲(T1、T2)にある、少なくとも1つの別の画像データユニット(P4)を選択すること、
    選択された画像データユニット(P1、P4)を含む新しいサブセット(S*)を定義し、その新しいサブセット(S*)を処理すること、の各ステップを含み、各ステップは少なくとも1回実行される、請求項1乃至4のいずれか1項に記載のコンピュータ実行評価方法。
  6. ランクパラメータ(Ri)の計算が、Elo格付け方法(ELO)を使用することによって実行される、請求項1乃至5のいずれか1項に記載のコンピュータ実行評価方法。
  7. コンピュータで実行されるエミュレータ作成方法であって、
    トレーニングデータセット(10)を、コンピュータで実行されるAIメソッド又はAIソフトウェアモジュールへ入力として与えること、
    トレーニングデータセット(10)は、画像データユニット(P1、P2、P3、P4)と、関連付けられたランクパラメータ(R1、R2、R3、R4)とを含み、
    トレーニングデータセット(10)は、請求項1乃至6のいずれか1項に記載のコンピュータ実行評価方法(AM)によって作成され、
    トレーニングデータセット(10)は、AIメソッドまたはAIソフトウェアモジュール(9)のグラウンドトゥルースとして定義され、
    AIメソッドまたはAIソフトウェアモジュール(9)は、画像データユニット(P1、P2、P3、P4)に含まれる画像情報を分析して、画像情報から各画像データユニット(P1、P2、P3、P4)の関連付けられるランクパラメータ(R1、R2、R3、R4)への帰属を提供するフィルタルール(16)を確立するように構成され、それにより、フィルタルール(16)は、グラウンドトゥルースに従って、画像データユニット(P1、P2、P3、P4)に含まれる画像情報の可視性低下の評価をエミュレートし、
    フィルタルール(16)を保存または送信し、あるいは、AIソフトウェアモジュール(9)を保存または送信し、あるいは、フィルタルール(16)に基づいて分類ソフトウェアモジュールを構成し、あるいは、フィルタルール(16)に基づいてコンピュータ処理される分類装置を構成すること、の各ステップを備えるコンピュータ実行エミュレータ作成方法。
  8. AIメソッドまたはAIソフトウェアモジュール(9)は、トレーニングされたニューロンネットワークを含むフィルタルール(16)を含む、請求項に記載のコンピュータ実行エミュレータ作成方法。
  9. 画像データユニット(P*)に含まれる画像情報に基づいて、推定ランクパラメータ(R*)を割り当てるように設定されたフィルタルール(16)を含むコンピュータで実行される分類方法(CM)であって、
    フィルタルール(16)は、請求項に記載のコンピュータ実行エミュレータ作成方法(EM)によって作成された、または、そのフィルタルールに基づいて構成されたフィルタルールであり、
    車両(1、1’)の環境に関する画像データユニット(P*)を収集すること、そこにおいて、画像データユニット(P*)に含まれる画像情報は、少なくとも1つの視界低下の影響(5、6、7、8)に基づく可視性低下の対象となっており、
    フィルタルール(16)を画像データユニット(P*)に適用すること、
    フィルタルール(16)によって画像データユニット(P*)に帰属される推定ランクパラメータ(R*)を出力すること、そこにおいて、推定ランクパラメータ(R*)は、最小値(MIN)と最大値(MAX)の間の絶対的な可視性ランク順序(15)内のランクを示し、その結果、推定ランク(R*)は可視性の低下の程度を表す、コンピュータ実行分類方法。
  10. 物理的なデータキャリアに保存され、または、通信インターフェースを介して送信される分類ソフトウェアプロダクトであって、請求項に記載のコンピュータ実行分類方法(CM)を実行するための命令を含む、分類ソフトウェアプロダクト。
  11. 車両(1、1’)の環境(3)に関する画像データユニット(P*)を収集する視覚センサ(2、2’)、および/または画像データユニット(P*)を取得する視覚データインターフェース(18)を備える、コンピュータ化された分類装置であって、
    分類装置(4)は、新しい画像データユニット(P*)を受信すると、推定ランクパラメータ(R*)を出力するように適合され、
    コンピュータ化された分類装置(4)は、請求項に記載のコンピュータ実行分類方法(CM)を実行するように設計された分類部を備える、コンピュータ化された分類装置。
  12. 請求項9に記載のコンピュータ実行分類方法を評価または改善するためのコンピュータで実行される試験方法であって、
    車両(1、1’)の環境に関する新しい画像データユニット(P*)が、トレーニングデータセット(10)内の未処理の画像データユニットのセットから収集または取得され、
    新しい画像データユニット(P*)が、請求項に記載のコンピュータ実行分類方法(CM)によって評価され、そこにおいて、推定ランクパラメータ(R*)が新しい画像データユニット(P*)に関連付けられており、
    新しい画像データユニット(P*)と、トレーニングデータセット(10)から選択される少なくとも1つの別の処理される画像データユニット(Pi)を含む新しいサブセット(S*)が作成され、
    推定ランクパラメータ(R*)、および別の画像データユニット(Pi)に関連付けられている既知のランクパラメータ(Ri)に基づいて、推定比較結果(C’)が確立され、
    画像データユニット(P*、P3)が、推定比較結果(C’)の検証のために少なくとも1回表示され、
    検証比較結果(C*)を特定する入力パラメータが収集され、
    推定比較結果(C’)が検証比較結果(C*)と等しい場合、新しい画像データユニット(P*)および関連付けられた推定ランクパラメータ(R*)がトレーニングデータセット(10)に追加され、および/または、検証の肯定的な結果が保存され、および/または、推定比較結果(C*)が検証比較結果(C’)から外れている場合、検証の否定的な結果が保存される、コンピュータ実行試験方法。
  13. 特に自動車(1’)に適合される車両制御装置であって、
    車両(1’)の環境に関する画像データユニット(P*)を収集するための視覚センサ(2’)、および/または、画像データユニット(P*)を取得するための視覚データインターフェース(18)、および
    視覚センサ(2’)から受信した、および/または視覚データインターフェース(18)を介して収集された画像データユニット(P*)に基づいて、車両制御アクションを実行するように設計された車両制御部(17)を備え、
    車両制御装置(13)は、請求項11に記載のコンピュータ化された分類装置(4)を含み、
    車両制御装置(13)は、少なくとも1つの新しく収集された画像データユニット(P*)について、コンピュータ化された分類装置(4)によって出力される少なくとも1つの推定ランクパラメータ(R*)に基づいて、視界低下安全パラメータ(Z*)が計算されるように設計されており、
    車両制御部(17)は、視界低下安全パラメータ(Z*)が安全閾値と比較して不十分である場合、または不十分であるとき、車両制御アクションを一時停止または変更するように設計される、車両制御装置。
  14. 請求項13に記載の車両制御装置(13)を備える車両。
JP2020023570A 2019-02-19 2020-02-14 評価方法、トレーニングデータセット、エミュレータ作成方法、分類方法、試験方法、車両制御装置、および車両 Active JP6923021B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19157941 2019-02-19
EP19157941.6A EP3699810B1 (en) 2019-02-19 2019-02-19 Classification technique for assessing a visibility degradation in image data units

Publications (2)

Publication Number Publication Date
JP2020135887A JP2020135887A (ja) 2020-08-31
JP6923021B2 true JP6923021B2 (ja) 2021-08-18

Family

ID=65494002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020023570A Active JP6923021B2 (ja) 2019-02-19 2020-02-14 評価方法、トレーニングデータセット、エミュレータ作成方法、分類方法、試験方法、車両制御装置、および車両

Country Status (2)

Country Link
EP (1) EP3699810B1 (ja)
JP (1) JP6923021B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835341B (zh) * 2020-12-31 2022-02-01 北京国家新能源汽车技术创新中心有限公司 一种自动驾驶域控制器的实车测试评估方法
US20220309810A1 (en) * 2021-03-26 2022-09-29 Howard University Method for the detection, segmentation and morphological mapping on neural cell images of the whole brain

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793571B2 (ja) * 2006-08-23 2011-10-12 社団法人北海道開発技術センター 走行支援システム及び走行支援方法
DE102010002310A1 (de) * 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld

Also Published As

Publication number Publication date
EP3699810B1 (en) 2021-04-28
JP2020135887A (ja) 2020-08-31
EP3699810A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
Kläs et al. Uncertainty in machine learning applications: A practice-driven classification of uncertainty
Roesener et al. A scenario-based assessment approach for automated driving by using time series classification of human-driving behaviour
US10235629B2 (en) Sensor data confidence estimation based on statistical analysis
CN110390248A (zh) 用于操作技术系统的方法、设备、产品和计算机程序
CN108319907A (zh) 一种车辆识别方法、装置和存储介质
CN108885700A (zh) 数据集半自动标记
KR102481817B1 (ko) 전달 학습을 통한 운전자의 시선 응시영역 추정 방법
JP6923021B2 (ja) 評価方法、トレーニングデータセット、エミュレータ作成方法、分類方法、試験方法、車両制御装置、および車両
CN111738337B (zh) 一种混行交通环境下的驾驶人分心状态检测识别方法
KR20220026804A (ko) 역강화학습 기반 배달 수단 탐지 장치 및 방법
CN111914665A (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
JP7434829B2 (ja) モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
CN109886198B (zh) 一种信息处理方法、装置及存储介质
Ferreira et al. Simood: Evolutionary testing simulation with out-of-distribution images
Aydin et al. Identification of test scenarios for autonomous vehicles using fatal accident data
CN117437615A (zh) 雾天交通标志检测方法、装置、存储介质和电子设备
Klingelschmitt et al. Probabilistic, discriminative maneuver estimation in generic traffic scenes using pairwise probability coupling
US12091051B2 (en) Generating unknown-unsafe scenarios, improving automated vehicles, and computer system
US20220189148A1 (en) Determination of the image components relevant to decision-making for an image classifier through modification in latent space
DE102022110766A1 (de) Verbessertes maschinelles lernen
Aldawsari et al. Real‐Time Instance Segmentation Models for Identification of Vehicle Parts
CN108510350A (zh) 融合多平台征信数据的征信分析方法、装置及终端
Yusuf et al. Automotive parts assessment: applying real-time instance-segmentation models to identify vehicle parts
CN112149790A (zh) 用于检查人工神经网络的鲁棒性的方法和设备
CN116324904A (zh) 用于注释传感器数据的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R151 Written notification of patent or utility model registration

Ref document number: 6923021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250