JP7372488B2

JP7372488B2 - 機械学習モデルの精度を調べるためのグラウンドトゥルースを修正するための装置と方法

Info

Publication number: JP7372488B2
Application number: JP2023007371A
Authority: JP
Inventors: 林玉孫
Original assignee: ウーブン・バイ・トヨタ株式会社
Priority date: 2022-03-07
Filing date: 2023-01-20
Publication date: 2023-10-31
Anticipated expiration: 2043-01-20
Also published as: CN116778283A; US20230282002A1; JP2023130300A

Description

本開示は機械学習モデルに関し、より特別には、機械学習モデルの精度をテストするためのグラウンドトゥルースデータに関する。

自律運転アプリケーションは典型的に、決定を行うために、センサにより取り込まれたデータを解析する。例えば、自律運転アプリケーションは、カメラにより取り込まれた画像データを利用できる。この画像データは、車両の周囲の対象物を検出するために、訓練データセットを使用して訓練された機械学習モデルに入力できる。

図８を参照すると、例えば、対象物（つまり、車両１０１、１０２、オートバイに乗っている人１０３、および歩行者１０４）は、カメラにより取り込まれた画像データから知覚または検出でき、別個のカテゴリ（つまり、車両、歩行者、オートバイに乗っている人など）に分類できる。決定は、検出された対象物に基づいてなされ、例えば、車両の位置および／または速度は、検出された対象物との衝突を回避するために自律的に変更または修正される。

上述したように、機械学習モデルは、画像における対象物を検出するために使用できる。例えば、ＵＳ２０１８／０３３６４２４における電子装置は、フレームにおける対象物を検出し、第１訓練済みモデルと、車両の運転中に取得された複数のフレームを含むビデオシーケンスを使用して、対象物の位置を認識する。ＵＳ２０２０／００７４２３０の自動化された訓練データセット生成器においては、生成器は、仮想環境に基づく、現実世界の自律運転アプリケーションにおける使用のための訓練データセットを生成する。訓練データセットは、現実世界の自律車両を制御するために機械学習モデルを訓練することと関連付けることができる。

関連する技術の機械学習モデルは、モデルの精度をテストするために使用されるテストデータ、例えば、訓練データに基づいて洗練且つ更新される。モデルの精度をテストするときは、テストデータセットからの画像が機械学習モデルに入力される。そして、機械学習モデルは典型的には、二次元または三次元バウンディングボックス、画像における目標対象物のクラス（例えば、車両、歩行者、オートバイなど）、画像セグメンテーションなどのような結果を出力する。モデルの精度をテストするために、これらの結果は、画像における目標対象物のグラウンドトゥルースデータ（つまり、実際の分類、セグメンテーションなど）に対して比較される。

シミュレータにより生成された画像データ、例えば、車両モデルを取り囲んでいる仮想世界の画像であって、自律運転シミュレータのカメラセンサモデルにより取り込まれた画像の状況においては、すべての目標対象物の位置が、グラウンドトゥルース（例えば、グラウンドトゥルースデータまたは信号）に含まれている。言い換えると、シミュレータにより生成または出力されたグラウンドトゥルースデータは、隠されている目標対象物を含んでいる。例えば、シミュレータは、仮想世界のセンサにより取り込まれた画像において隠されている車両、または、オートバイの背後に位置している車両を含むグラウンドトゥルースデータを出力する。しかし、このグラウンドトゥルースが、機械学習モデルの精度をテストするために、または、訓練データセットの目標変数を定義するために使用される場合は、精度は低くなり、過小評価されてしまう。これは、機械学習モデルは、隠されている対象物を検出する可能性が低く、一方、シミュレータにより出力されるグラウンドトゥルースは隠されている対象物を含んでいるからである。

例えば、図８において、機械学習モデルは、車両１０１の背後に位置している車両１０２を検出する可能性は低く、一方、グラウンドトゥルースセグメンテーションは、車両１０２全体を含んでいる。

本開示は、テストデータのグラウンドトゥルースセグメンテーションに含まれる目標対象物に対する可視率を組み入れることにより、自律運転および自律運転シミュレータにおいて使用される機械学習モデルをより精度よくテストするための装置と方法を提供する。

本開示の態様は、対象物検出機械学習モデルの精度をテストするためのグラウンドトゥルースデータを修正するための方法を提供する。方法は、カメラ視点からの画像取り込み領域の画像データを取得することと、画像取り込み領域における対象物に関するグラウンドトゥルースデータを取得することと、取得した画像データに含まれている対象物の可視率を決定することと、決定された可視率に基づいて、グラウンドトゥルースデータを修正することを含んでいる。

可視率を決定することは、対象物の全体のサイズを決定することと、取得した画像データにおける対象物の可視領域のサイズを計算することと、可視率を取得するために、可視領域のサイズを対象物の全体のサイズで割ることを含むことができる。

対象物の全体のサイズを決定することは、対象物を個々に完全に描画することと、個々に描画された対象物の領域を計算することを含むことができる。

対象物の全体のサイズを決定することは、画像取り込み領域の全シーンに対するグラウンドトゥルース対象物セグメンテーションを取得することと、グラウンドトゥルース対象物セグメンテーションにおける対象物の領域を計算することを含むことができる。

取得した画像データにおける対象物の可視領域のサイズを計算することは、可視領域に含まれている画素の数を決定すること、または、可視領域の境界を形成する多角形の領域を決定することを含むことができる。

画像取り込み領域の画像データを取得することは、自律運転シミュレータのカメラセンサモデルにより生成された画像データを取得することを含むことができる。

本開示の他の態様は、対象物検出機械学習モデルの精度をテストするための画像データのグラウンドトゥルースを修正するための装置を提供する。装置は、命令を格納しているメモリと、少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、カメラ視点からの画像取り込み領域の画像データを取得し、画像取り込み領域における対象物に関するグラウンドトゥルースデータを取得し、取得した画像データに含まれている対象物の可視率を決定し、決定された可視率に基づいて、グラウンドトゥルースデータを修正するために、命令を実行するように構成されている。

少なくとも１つのプロセッサは更に、対象物の全体のサイズを決定し、取得した画像データにおける対象物の可視領域のサイズを計算し、可視率を取得するために、可視領域のサイズを対象物の全体のサイズで割るために、命令を実行するように構成できる。

少なくとも１つのプロセッサは更に、対象物を個々に完全に描画し、対象物の全体のサイズとして、個々に描画された対象物の領域を計算するために、命令を実行するように構成できる。

少なくとも１つのプロセッサは更に、画像取り込み領域の全シーンに対するグラウンドトゥルース対象物セグメンテーションを取得し、対象物の全体のサイズとして、グラウンドトゥルース対象物セグメンテーションにおける対象物の領域を計算するために、命令を実行するように構成できる。

少なくとも１つのプロセッサは更に、可視領域に含まれている画素の数を決定することにより、または、可視領域の境界を形成する多角形の領域を決定することにより、取得した画像データにおける対象物の可視領域のサイズを計算するために、命令を実行するように構成できる。

少なくとも１つのプロセッサは更に、自律運転シミュレータのカメラセンサモデルにより生成された画像データを取得するために、命令を実行するように構成できる。

本開示の他の態様は、命令を記録している非一時的コンピュータ読み取り可能記録媒体を提供し、その命令は、対象物検出機械学習モデルの精度をテストするための画像データのグラウンドトゥルースを修正するための方法を実行するために少なくとも１つのプロセッサにより実行可能である。方法は、カメラ視点からの画像取り込み領域の画像データを取得することと、画像取り込み領域における対象物に関するグラウンドトゥルースデータを取得することと、取得した画像データに含まれている対象物の可視率を決定することと、決定された可視率に基づいて、グラウンドトゥルースデータを修正することを含んでいる。

開示の例としての実施形態の特徴、利点、および技術的且つ産業的意味は、付随する図面を参照して下記に記述され、図面においては類似の符号は類似の要素を示している。

実施形態に係わる、グラウンドトゥルースデータを修正するための方法を例示しているフローチャートである。

実施形態に係わる、対象物の可視率を決定するための方法を例示しているフローチャートである。

第１実施形態に係わる、対象物の全体のサイズを取得するための方法を例示しているフローチャートである。

第２実施形態に係わる、対象物の全体のサイズを取得するための方法を例示しているフローチャートである。

自律運転シミュレータのカメラセンサモデルにより生成された画像データの例である。

実施形態に係わる、対象物に対する可視率決定の例の模式図である。

実施形態に係わる、グラウンドトゥルースデータを修正するための装置のブロック図である。

以降、本開示が適用される特定の実施形態を、図面を参照して詳細に記述する。本開示は下記の実施形態に制限されない。追加的に、下記の記述と図面は、明確性のために適切に簡略化されている。

実施形態に係わる、グラウンドトゥルースを修正するための方法が、ここで図１から図６を参照して記述される。図１は、第１実施形態に係わる、グラウンドトゥルースデータを修正するための方法を例示しているフローチャートを示している。

図１を参照すると、ステップＳ１００において、カメラ視点に対応する画像データが取得される。つまり、画像データは、カメラから見える画像取り込み領域の画像データである。画像データは、自律運転アプリケーションにおいて対象物（例えば、バウンディングボックス、クラス、セグメンテーションなど）を識別するために訓練された機械学習モデルをテストするためのテストデータであってよい。例えば、画像データは、自律運転シミュレータのカメラセンサモデルにより生成できる。カメラセンサモデルは、自律運転シミュレータに埋め込むことができ、または、自律運転シミュレータと相互動作できるが、それに制限されない。自律運転シミュレータは、自律運転アプリケーションとアルゴリズムをテストするために利用される任意のシミュレータを含むことができる。

自律運転シミュレータは、１つ以上のコンピュータ読み取り可能記録媒体に格納されている命令を実行するように構成されている少なくとも１つのプロセッサを含むことができる。これらの命令は、コアシミュレータ、車両シミュレータ、およびセンサシミュレータを定義でき、または、それらを実現するために実行できる。コアシミュレータは、シミュレーションを作動させるシナリオを作成、編集、および／または実行するシミュレーションツールである。コアシミュレータを介して、アクタとそれらの動きと共に、シミュレーションの仮想世界（つまり、グラウンドトゥルース）を定義できる。車両シミュレータは、自律運転車両（エゴ車両）をシミュレートし、周囲の対象物に基づいて車両の位置を制御するための車両コントローラを含んでいる。センサシミュレータは、エゴ車両の種々のセンサをシミュレートし、仮想世界におけるエゴ車両の周囲の画像を取り込むためのカメラセンサモデルを含んでいる。

カメラセンサモデルにより生成された画像データは、個々のカメラセンサから、または、シミュレータ内の、自律運転車両上の複数の箇所に位置している複数のカメラセンサから取得した画像データを含むことができる。これらの箇所は、車両の前部、車両の側部、車両の後部、車両の上部、またはそれらの組み合わせの少なくとも１つを含むことができる。画像データは、カメラセンサモデルにより取り込まれた仮想世界の画像取り込み領域の画像である。

追加的に、車両は自動車に制限されず、人間または物を輸送するための（つまり、トラック、バス、オートバイ、トラクタ、電動スクータなど）、そして自律的に運転することができる任意の機構を含むことができる。

画像取り込み領域におけるすべての対象物（隠されている対象物を含む）に関するグラウンドトゥルースデータがステップＳ１０１において取得される。例えば、グラウンドトゥルースデータは、シミュレータ（例えば、コアシミュレータ）から、または、仮想世界に含まれている対象物についての情報を有している（または対象物データを格納している）任意のツール、モデル、または装置から取得される。グラウンドトゥルースデータは、画像データに対応する画像取り込み領域における対象物（例えば、他の車両、歩行者、物理的障害物など）の実際の分類、セグメンテーションなどを含むことができる。グラウンドトゥルースデータは、画像データにおいて、カメラ（例えば、カメラセンサモデル内のカメラセンサ）の視点から部分的に、または完全に隠されている対象物を含む、画像取り込み領域のすべての対象物をその全体において含んでいる。例えば、グラウンドトゥルースセグメンテーションは、駐車している車両の背後に位置している歩行者の全体を含むことができ、およびそれを分類できる。図８を参照すると、グラウンドトゥルースは、第２車両１０２が第１車両１０１の背後に位置していても、第２車両１０２の全体のセグメントを分類する。

図１に戻って参照すると、カメラの視点からの画像データにおける対象物の可視率が、ステップＳ１０２において決定される。

図２は、実施形態に係わる、対象物の可視率を決定するための方法のフローチャートを示している。図２を参照すると、対象物の全体のサイズ（つまり、隠されている何れの部分も含む、グラウンドトゥルースデータにおける元々のサイズ）がステップＳ２０１において決定される。対象物の全体のサイズは、実施形態に係わる種々の方法で決定できる。例えば、全体のサイズは、第１実施形態（図３を参照して下記に記述される）に従って対象物を個々に描画することにより決定でき、または、グラウンドトゥルースセグメンテーション（図４を参照して下記に記述される）を使用して決定できる。

図３は、第１実施形態に係わる、対象物の全体のサイズを取得する方法を例示しているフローチャートである。図３を参照すると、画像取り込み領域における対象物は、ステップＳ３０１において個々に完全に描画される。例えば、対象物は、コアシミュレータを介して作成または組み込まれた仮想世界に対する対象物定義を使用して描画できる。特別な目標対象物のみを個々に描画でき、または、画像取り込み領域における対象物のそれぞれをステップＳ３０１において個々に描画できるということは理解される。更に、特別な対象物のそれぞれを、実施形態に従って個々に描画できる。例えば、全体的に、および／または部分的に隠されている対象物を個々に描画でき、または、特別な分類を有している対象物（例えば、歩行者および／または車両）を種々の実施形態において個々に描画できる。次に、個々に描画された対象物の全体の領域が、ステップＳ３０２において計算でき、または取得できる。例えば、全体の領域は、描画された対象物を構成している画素の数を決定することにより、または、描画された対象物の境界を形成する多角形の領域を計算することにより取得できる。

図４は、第２実施形態に係わる、対象物の全体のサイズを取得する方法を例示しているフローチャートである。第２実施形態によれば、対象物の全体のサイズは、典型的なグラウンドトゥルースセグメンテーションを介して、ステップＳ２０１において決定できる。図４を参照すると、画像取り込み領域に対するグラウンドトゥルースセグメンテーションをステップＳ４０１において取得でき、各対象物、または１つ以上の特定の対象物の全体の領域は、ステップＳ４０２において計算または取得される。例えば、全体の領域は、グラウンドトゥルースセグメンテーションにおける対象物を構成している画素の数を決定することにより、または、グラウンドトゥルースセグメンテーションにおける対象物の境界を形成している多角形の領域を計算することにより取得できる。更に、画像セグメンテーションにおけるすべての対象物の領域を取得でき、関心のある対象物（例えば、部分的または全体的に隠されている特別な目標対象物）の領域のみを取得でき、または、特別な対象物（例えば、歩行者および／または車両などのような特別な分類を有している対象物、部分的に隠されている目標対象物、および／または、全体的に隠されている目標対象物）の領域のみを取得できる。

図２に戻って参照すると、画像データにおける対象物の可視領域（つまり、センサの視点からの）は、ステップＳ２０２において決定される。可視領域は、画像データの対象物セグメンテーションを利用することにより決定できる。この場合、画像データは正常に描画でき、そこにおける対象物の可視領域も描画される。そして、描画された画像における対象物の可視部分はセグメント化でき（例えば、グラウンドトゥルースセグメンテーションを利用することにより）、セグメント化された対象物の領域（つまり、可視領域）を決定できる。図５を参照すると、例えば、他の対象物１１（歩行者）の背後で部分的に隠されている対象物１２（駐車しているバン）の可視領域は、センサの視点からの対象物に対するセグメンテーション画像から計算できる。

描画された画像からの対象物の可視領域は、対象物の可視部分の画素の数を計算することにより、または、対象物の可視領域に類似しているサイズである多角形（例えば、対象物の可視領域の境界を形成している多角形）を計算することにより計算できる。しかし、対象物の可視領域を計算することはそれに制限されず、画像内の対象物の領域を計算するために利用できる任意の式またはアルゴリズムを含むことができる。ステップＳ２０１とＳ２０２は、如何なる順序でも実行でき、または同時に、実質的に同時に、または部分的に同時に実行できるということは理解される。

対象物の可視率はステップＳ２０３において決定される。可視率は、ステップＳ２０２において決定された対象物の可視領域のサイズを、ステップＳ２０１において決定された対象物の全体のサイズで割ることにより計算できる。例えば、対象物の可視部分の画素の数を、対象物の全体のサイズの画素の数で割ることができ、センサの視点から見ることができる対象物の割合（つまり、可視率）という結果になる。他の例として、可視率は、対象物の可視領域の多角形の領域（面積）を、対象物の全体のサイズの多角形の領域（面積）で割ることにより計算できる。

図１に戻って参照すると、可視率は、ステップＳ１０３においてグラウンドトゥルースデータを修正するために利用される。例えば、可視率が５０％の場合、グラウンドトゥルースデータは、個々の対象物に対してこの率で修正される。この場合、インターセクションオバーユニオン（ＩＯＵ（２つの領域の共通部分（インターセクション）を和集合（ユニオン）で割ったもので、２つの領域がどのくらい重なっているかを示す指標））、ミーンアヴェレッジプレシジョン（ｍＡＰ（検出した物体の分類があっている程度を示す指標））、または他の評価測定基準は、可視率をグラウンドトゥルースデータに組み込むことができる。更に、可視率が０％の場合（また、所定の閾値未満の場合）、対象物はグラウンドトゥルースデータから省略できる。追加的に、実施形態によれば、対象物に対する所定の閾値未満（例えば、８５％または７５％未満）の可視率のみがグラウンドトゥルースデータを修正するために使用できる。

図６の例を参照すると、対象物２、３、および４に対する可視率は示されているように決定されている。つまり、対象物２と４は１００％の可視率を有し、一方、対象物３は２０％の可視率を有している。上述したように、対象物３の可視率は、第１実施形態に従って、その全体のサイズを計算するために対象物３を個々に描画することにより決定でき、または、第２実施形態に従って、画像取り込み領域（つまり、グラウンドトゥルースセグメンテーション）の全シーンに対するセグメンテーション画像からその全体のサイズを取得することにより決定できる。対象物３の全体のサイズは、３００画素と決定できる。更に、対象物３の可視領域は、センサにより取り込まれた画像データにおける対象物をセグメント化することにより決定できる。この例においては、対象物３の可視領域は６０画素と決定できる。そのため、２０％の可視率は、可視領域（６０画素）のサイズを、対象物の全体のサイズ（３００画素）で割ることにより決定できる。

そして、グラウンドトゥルースデータは、図６における対象物２、３、および４のそれぞれに対する可視率に基づいて修正できる。この修正は、グラウンドトゥルースデータに含まれている対象物の隠された部分を明らかにし、それに従ってグラウンドトゥルースデータを修正する。修正されたグラウンドトゥルースデータは、機械学習モデルを使用して対象物検出の精度をテストするときに、機械学習モデルからの結果を評価する（例えば、修正されたグラウンドトゥルースデータを、機械学習モデルからの結果と比較することにより）ために利用でき、それにより、より精度の高いテストという結果になる。

図７は、実施形態に係わる、グラウンドトゥルースデータを修正するための装置７００のブロック図である。装置７００は、パーソナルコンピュータ、ラップトップコンピュータ、モバイル装置、ワークステーション、クライアント端末、サーバなどとして実現でき、または、それらの内部において実現できる。図７を参照すると、装置７００は、命令および／またはソフトウェアコードを格納しているメモリ７１０と、図１から４を参照して上述した方法の１つ以上を実現するために、それらの命令および／またはコードを実行するように構成されているプロセッサ７２０（例えば、少なくとも１つのプロセッサ）を含んでいる。プロセッサ７２０は、特定用途向け集積回路（ＡＳＩＣ）、埋め込み型プロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタル信号プロセッサ（ＤＳＰ）、ニューラルネットワークプロセッサ（ＮＰＵ）などの少なくとも１つとして実現できる。プロセッサ７２０は、中央演算処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、メイン処理ユニット（ＭＰＵ）などを含むことができる。追加的に、プロセッサ７２０は、１つ以上のプロセッサを含むことができる。

メモリ７１０は、フラッシュメモリなどのような半導体メモリ、ハードディスクなどのような磁気格納媒体などを含むことができる。メモリ７１０とは、プロセッサ１１０に通信可能に結合される任意の揮発性または不揮発性メモリ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、または、装置１００に接続可能なメモリカード（例えば、マイクロＳＤカード、メモリスティック）を指すことができる。メモリ７１０は、装置７００を動作させるための種々のソフトウェアモジュールまたはコードを格納でき、プロセッサ７２０は、メモリ７１０に格納されている種々のソフトウェアモジュールを実行することにより、装置７００の動作を制御できる。つまり、メモリ７１０は、データの読み取り、記録、修正、消去、更新などを実行するためにプロセッサ７２０によりアクセスできる。更に、メモリ７１０は、実行可能な命令、コード、データオブジェクトなどを格納できる。

追加的に、装置７００は、ディスプレイ７３０と入力インタフェース７４０を含むことができる。実施形態によれば、ディスプレイ７３０は、上記の画像の何れも出力できる。例えば、ディスプレイ７３０は、カメラの視点からの画像取り込み領域、個々に描画された対象物、および／または、グラウンドトゥルースセグメンテーションの画像データを出力できる。入力インタフェース７４０は、可視率を計算し、および／または、グラウンドトゥルースデータを修正する対象である、表示されている画像における目標対象物を選択するためのユーザ入力を受信できる。

ディスプレイ７３０は、液晶ディスプレイ（ＬＣＤ）パネル、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルディスプレイ、タッチスクリーンディスプレイ、透明ディスプレイなどとして実現できる。プロセッサ７２０は、画像信号を表示するようにディスプレイ７３０を制御できる。

入力インタフェース７４０は、ユーザまたは他の装置からの入力を受信するように構成でき、プロセッサ７２０は、入力インタフェース７４０を通して、装置７００の動作を制御するためのユーザコマンドを受信できる。入／出力インタフェース１５０は、例えば、マイクロフォン、カメラ、リモートコントローラ、キーボード、マウス、タッチスクリーンなどを含むことができる。

実施形態によれば、ここにおいて開示されている方法と装置は、コンピュータプログラム製品のソフトウェアとして提供できる。コンピュータプログラム製品は、機械読み取り可能格納媒体（例えば、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ））の形で配布でき、または、アプリケーション店を通してオンラインで配布でき、または装置間で直接配布できる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部（例えば、ダウンロード可能アプリケーション）は、製造業者のサーバ、アプリケーション店におけるサーバ、または中継サーバにおけるメモリなどのような格納媒体に一時的に、または、少なくとも一時的に格納できる。

開示の実施形態が上記に示され記述されてきたが、開示の実施形態は前述の特定の実施形態に制限されない。種々の修正、置換、および改良を、開示が属する技術分野においてこの技術における通常の技量を有する者により、付随する特許の請求範囲により請求されているような開示の精神から逸脱することなく行うことができるということは理解され得る。そのような修正、置換、および改良は、開示の保護される範囲内であり、開示の技術的思想または将来性とは無関係に解釈されるべきではないということは理解されるべきである。

Claims

対象物検出機械学習モデルの精度をテストするための画像データのグラウンドトゥルースを修正するための方法であって、
カメラ視点からの画像取り込み領域の画像データを取得することと、
前記画像取り込み領域における対象物に関するグラウンドトゥルースデータを取得することと、
前記取得した画像データに含まれている対象物の可視率を決定することと、
前記決定された可視率に基づいて、前記グラウンドトゥルースデータを修正することと、
を備えていることを特徴とする方法。
前記可視率を前記決定することは、
前記対象物の全体のサイズを決定することと、
前記取得した画像データにおける前記対象物の可視領域のサイズを計算することと、
前記可視率を取得するために、前記可視領域の前記サイズを前記対象物の前記全体のサイズで割ることと、
を備えていることを特徴とする請求項１に記載の方法。
前記対象物の前記全体のサイズを前記決定することは、
前記対象物を個々に完全に描画することと、
前記個々に描画された対象物の領域を計算することと、
を備えていることを特徴とする請求項２に記載の方法。
前記対象物の前記全体のサイズを前記決定することは、
前記画像取り込み領域の全シーンに対するグラウンドトゥルース対象物セグメンテーションを取得することと、
前記グラウンドトゥルース対象物セグメンテーションにおける前記対象物の領域を計算することと、
を備えていることを特徴とする請求項２に記載の方法。
前記取得した画像データにおける前記対象物の前記可視領域の前記サイズを前記計算することは、前記可視領域に含まれている画素の数を決定すること、または、前記可視領域の境界を形成する多角形の領域を決定することを備えていることを特徴とする請求項２に記載の方法。
前記画像取り込み領域の前記画像データを前記取得することは、自律運転シミュレータのカメラセンサモデルにより生成された前記画像データを取得することを備えていることを特徴とする請求項１～５のいずれか１項に記載の方法。
対象物検出機械学習モデルの精度をテストするための画像データのグラウンドトゥルースを修正するための装置であって、
命令を格納しているメモリと、
少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
カメラ視点からの画像取り込み領域の画像データを取得し、
前記画像取り込み領域における対象物に関するグラウンドトゥルースデータを取得し、
前記取得した画像データに含まれている対象物の可視率を決定し、
前記決定された可視率に基づいて、前記グラウンドトゥルースデータを修正する、
ために前記命令を実行するように構成されていることを特徴とする装置。
前記少なくとも１つのプロセッサは更に、
前記対象物の全体のサイズを決定し、
前記取得した画像データにおける前記対象物の可視領域のサイズを計算し、
前記可視率を取得するために、前記可視領域の前記サイズを前記対象物の前記全体のサイズで割る、
ために前記命令を実行するように構成されていることを特徴とする請求項７に記載の装置。
前記少なくとも１つのプロセッサは更に、
前記対象物を個々に完全に描画し、
前記対象物の前記全体のサイズとして、前記個々に描画された対象物の領域を計算する、
ために前記命令を実行するように構成されていることを特徴とする請求項８に記載の装置。
前記少なくとも１つのプロセッサは更に、
前記画像取り込み領域の全シーンに対するグラウンドトゥルース対象物セグメンテーションを取得し、
前記対象物の前記全体のサイズとして、前記グラウンドトゥルース対象物セグメンテーションにおける前記対象物の領域を計算する、
ために前記命令を実行するように構成されていることを特徴とする請求項８に記載の装置。
前記少なくとも１つのプロセッサは更に、前記可視領域に含まれている画素の数を決定することにより、または、前記可視領域の境界を形成する多角形の領域を決定することにより、前記取得した画像データにおける前記対象物の前記可視領域の前記サイズを計算するために前記命令を実行するように構成されていることを特徴とする請求項８に記載の装置。
前記少なくとも１つのプロセッサは更に、自律運転シミュレータのカメラセンサモデルにより生成された前記画像データを取得するために前記命令を実行するように構成されていることを特徴とする請求項７～１１のいずれか１項に記載の装置。
命令を記録している非一時的コンピュータ読み取り可能記録媒体であって、前記命令は、対象物検出機械学習モデルの精度をテストするための画像データのグラウンドトゥルースを修正するための方法を実行するために少なくとも１つのプロセッサにより実行可能であり、前記方法は、
カメラ視点からの画像取り込み領域の画像データを取得することと、
前記画像取り込み領域における対象物に関するグラウンドトゥルースデータを取得することと、
前記取得した画像データに含まれている対象物の可視率を決定することと、
前記決定された可視率に基づいて、前記グラウンドトゥルースデータを修正することと、
を備えていることを特徴とする非一時的コンピュータ読み取り可能記録媒体。
前記可視率を前記決定することは、
前記対象物の全体のサイズを決定することと、
前記取得した画像データにおける前記対象物の可視領域のサイズを計算することと、
前記可視率を取得するために、前記可視領域の前記サイズを前記対象物の前記全体のサイズで割ることと、
を備えていることを特徴とする請求項１３に記載の非一時的コンピュータ読み取り可能記録媒体。
前記対象物の前記全体のサイズを前記決定することは、
前記対象物を個々に完全に描画することと、
前記個々に描画された対象物の領域を計算することと、
を備えていることを特徴とする請求項１４に記載の非一時的コンピュータ読み取り可能記録媒体。
前記対象物の前記全体のサイズを前記決定することは、
前記画像取り込み領域の全シーンに対するグラウンドトゥルース対象物セグメンテーションを取得することと、
前記グラウンドトゥルース対象物セグメンテーションにおける前記対象物の領域を計算することと、
を備えていることを特徴とする請求項１４に記載の非一時的コンピュータ読み取り可能記録媒体。
前記取得した画像データにおける前記対象物の前記可視領域の前記サイズを前記計算することは、前記可視領域に含まれている画素の数を決定すること、または、前記可視領域の境界を形成する多角形の領域を決定することを備えていることを特徴とする請求項１４に記載の非一時的コンピュータ読み取り可能記録媒体。
前記画像取り込み領域の前記画像データを前記取得することは、自律運転シミュレータのカメラセンサモデルにより生成された前記画像データを取得することを備えていることを特徴とする請求項１３～１７のいずれか１項に記載の非一時的コンピュータ読み取り可能記録媒体。