JP7842892B2 - 画像データセット処理方法、装置、機器および記憶媒体 - Google Patents

画像データセット処理方法、装置、機器および記憶媒体

Info

Publication number
JP7842892B2
JP7842892B2 JP2024558970A JP2024558970A JP7842892B2 JP 7842892 B2 JP7842892 B2 JP 7842892B2 JP 2024558970 A JP2024558970 A JP 2024558970A JP 2024558970 A JP2024558970 A JP 2024558970A JP 7842892 B2 JP7842892 B2 JP 7842892B2
Authority
JP
Japan
Prior art keywords
area
score
confidence
threshold
evaluation score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024558970A
Other languages
English (en)
Other versions
JP2025528640A (ja
Inventor
倩 徐
▲きん▼ 楊
楠 賈
光銀 熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Desay Sv Kawa Technology Co Ltd
Original Assignee
Chengdu Desay Sv Kawa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Desay Sv Kawa Technology Co Ltd filed Critical Chengdu Desay Sv Kawa Technology Co Ltd
Publication of JP2025528640A publication Critical patent/JP2025528640A/ja
Application granted granted Critical
Publication of JP7842892B2 publication Critical patent/JP7842892B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Description

本願は、2023年07月26日に中国専利局に提出された出願番号が202310922726.Xである中国特許出願に対して優先権を主張するものであり、上記出願の全ての内容を引用により本願に援用する。
本願の実施例は、画像処理の技術分野に関し、特に、画像データセット処理方法、装置、機器および記憶媒体に関する。
周知のように、自動運転の発展は人工知能技術の進歩と密接不可分であり、データ、計算力およびアルゴリズムは、人工知能の3つの要素として自動運転技術の成熟度に顕著な影響を及ぼすが、この3つの要素のうち、データは重要な作用を持つ。人工知能は、大量のデータのトレーニングを経てから、ルールをまとめることができる。人工知能は、実際の適用において、トレーニングセットにないシーンが現れた場合、人工知能はほぼ当てずっぽうな状態にあり、予測が間違っている場合が現れ、そのため、確実かつ高品質なデータの自動運転開発過程での作用は、特に重要となる。
高レベルの自動運転試験車両の毎日収集するデータ量がテラバイト(TB)レベルの容量で、且つペタバイト(PB)レベルの記憶空間が必要であるが、これらのデータのうち、自動運転のトレーニングに使用可能な価値データは、約5%以下である。どのように膨大なデータから現在最も価値がある困難なサンプルを見つけ、これらの困難なサンプルを優先的にタグ付けし、自動運転モデルのイテレーションおよびアルゴリズムの量産化を加速するかは、早急に解決すべき問題となる。
本願の実施例は、画像データセット処理の精度を向上させることができる画像データセット処理方法、装置、機器および記憶媒体を提供する。
態様1において、本願の実施例は、
複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得することと、
前記初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得することと、
前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得することであって、前記第1画像検出結果を基準検出結果とすることと、
前記比較結果に基づいて比較タイプを確定し、前記比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含むことと、
前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定することと、
前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択し、前記目標自動運転画像データセットにおけるタグを調整することと、を含む、
画像データセット処理方法を提供する。
態様2において、本願の実施例は、
複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得するための初期自動運転画像データセット取得モジュールと、
前記初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得するための画像検出結果取得モジュールと、
前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得するための画像検出結果比較モジュールであって、前記第1画像検出結果を基準検出結果とする画像検出結果比較モジュールと、
前記比較結果に基づいて比較タイプを確定するための比較タイプ確定モジュールであって、前記比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含む比較タイプ確定モジュールと、
前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定するための評価スコア確定モジュールと、
前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択し、前記目標自動運転画像データセットにおけるタグを調整するための目標自動運転画像データセット選択モジュールと、を備える、
画像データセット処理装置を更に提供する。
態様3において、本願の実施例は、
1つまたは複数のプロセッサと、
1つまたは複数のプログラムを記憶するための記憶装置と、を備え、
前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサは、本願の実施例に係る画像データセット処理方法を実現する、
電子機器を更に提供する。
態様4において、本願の実施例は、
コンピュータプロセッサによって実行されると、本願の実施例に係る画像データセット処理方法を実行するためのコンピュータ実行可能命令を含む、
記憶媒体を更に提供する。
本実施例で開示された技術案において、複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得し、初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得し、第1画像検出結果を基準検出結果として第1画像検出結果と第2画像検出結果とを比較して比較結果を取得し、比較結果に基づいて比較タイプを確定し、比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含み、比較タイプに基づいて複数の初期自動運転画像の評価スコアを確定し、複数の初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択し、目標自動運転画像データセットにおけるタグを調整する。本願の実施例は、第1画像検出結果と第2画像検出結果との間の比較結果に基づいて比較タイプを確定し、比較タイプに基づいて初期自動運転画像の評価スコアを確定し、初期自動運転画像の評価スコアに基づいて目標自動運転画像データセットを選択する方式により、画像データセット処理の精度を向上させることができる。
図面と結び付けて以下の具体的な実施形態を参照し、本願の各実施例の上記および他の特徴、利点および形態は、より明らかになる。図面全体を通して、同じまたは類似する参照番号は、同じまたは類似する要素を表す。図面は模式的なものであり、原本および要素は、必ずしも縮尺どおりに製作するわけではないことが理解されるべきである。
本願の実施例に係る画像データセット処理方法のフローチャートである。 本願の実施例に係る別の画像データセット処理方法のフローチャートである。 本願の実施例に係るIoUおよびIoU評価スコアの効果模式図である。 本願の実施例に係る信頼度と第2評価スコアとの間の効果模式図である。 本願の実施例に係る信頼度と第1評価スコアとの間の効果模式図である。 本願の実施例に係る面積と第2評価スコアとの間の効果模式図である。 本願の実施例に係る面積と第1評価スコアとの間の効果模式図である。 本願の実施例に係る第1画像検出結果の効果模式図である。 本願の実施例に係る第2画像検出結果の効果模式図である。 本願の実施例に係る画像データセット処理装置の構造模式図である。 本願の実施例に係る電子機器の構造模式図である。
以下、図面を参照しながら本願の実施例についてより詳細に説明する。図面に本願のいくつかの実施例が示されるが、本願は、様々な形式で実現でき、ここで記述される実施例に限定されるものと解釈されるべきではなく、逆に、本願をより明瞭かつ完全に理解するために、これらの実施例を提供することが理解されるべきである。本願の図面および実施例は、例示的なものに過ぎず、本願の保護範囲を限定するためのものではないことが理解されるべきである。
本願の方法の実施形態に記載される各ステップは、異なる順序で実行されてもよいし、および/または並行に実行されてもよいことが理解されるべきである。また、方法の実施形態は、追加のステップおよび/または実行が省略されて示されたステップを含んでもよい。本願の範囲は、この点で限られない。
本稿で使用される「含む」という用語およびその変形は、開放的な包含であり、即ち、「含むが、これらに限定されない」。「基づく」という用語は、「少なくとも部分的に基づく」という意味である。「1つの実施例」という用語は、「少なくとも1つの実施例」を表す。「別の実施例」という用語は、「少なくとも1つの別の実施例」を表す。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を表す。他の用語の関連定義は、以下の記述で与えられる。
なお、本願に言及される「第1」、「第2」等の概念は、装置、モジュールまたはユニットを区分するためのものに過ぎず、これらの装置、モジュールまたはユニットが実行する機能の順序または相互依存関係を限定するためのものでもない。
なお、本願に言及される「1つ」、「複数」という修飾は、模式的なものであるが、限定的なものではなく、当業者は、文脈が明確に例外を示さない限り、「1つまたは複数」として理解されるべきであることを理解すべきである。
本技術案に係るデータ(データ自体、データの取得または使用を含むが、これらに限定されない)は、対応する法律法規および関連規定の要求に従うべきであることが理解できる。
図1は、本願の実施例に係る画像データセット処理方法のフローチャートである。本実施例は、初期自動運転画像データセットから目標自動運転画像データセットを選択する場合に適用でき、なお、本実施例は、自動運転フロントカメラのシーンの目標検出タスクに限定されず、他のシーンタスクであってもよく、シーンタスクを切り替えると、モデル能力およびプロジェクトのニーズに応じて関連設定情報を修正する。本実施例において、初期自動運転画像データセットから目標自動運転画像データセットを選択する場合は、データマイニングの場合と理解されてもよく、膨大なデータから最も価値がある困難なサンプルを見つけ、優先的にタグ付けし、モデルイテレーションを加速する。該方法は、画像データセット処理装置で実行でき、具体的に、以下のステップを含む。
S110において、初期自動運転画像データセットを取得する。
ここで、初期自動運転画像データセットは、複数の初期自動運転画像および対応するタグを含む。ここで、タグは、初期自動運転画像に対応する検出枠情報、カテゴリ、信頼度、面積等の情報を含む。本実施例が3次元シーンタスクに使用される場合、面積は、3次元目標の体積または投影面積であってもよい。
ここで、初期自動運転画像は、高レベルの自動運転試験車両により採集できる。自動運転画像データセットには、タグが含まれてもよいし、タグが含まなくてもよく、本実施例において、これについて限定しない。
S120において、初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得する。
ここで、第1自動運転検出モデルはサーバ側モデルであってもよく、該サーバ側モデルは、計算力が十分でオフライン処理が可能であり、大規模モデルと呼ぶことができる。第2自動運転検出モデルは、エッジ側モデルであってもよく、該モデルは、計算力が限られてリアルタイム性要求が高く、小規模モデルと呼ぶことができる。
好ましくは、ここで、各初期自動運転画像は少なくとも1つの目標対象を含み、第1画像検出結果は、少なくとも1つの目標対象の第1検出枠情報、少なくとも1つの目標対象のそれぞれに対応する第1カテゴリ、第1カテゴリの第1信頼度、および第1検出枠情報に対応する第1面積を含み、第2画像検出結果は、少なくとも1つの目標対象の第2検出枠情報、少なくとも1つの目標対象のそれぞれに対応する第2カテゴリ、第2カテゴリに対応する第2信頼度、第2検出枠情報に対応する第2面積を含む。
ここで、目標対象は、車両、欄干、歩行者、住宅等であってもよく、本実施例は、これについて限定しない。検出枠情報は、検出枠の長さ、幅および高さを含んでもよい。
S130において、第1画像検出結果を基準検出結果して第1画像検出結果と第2画像検出結果とを比較し、比較結果を取得する。
本実施例において、第1画像検出結果と第2画像検出結果とを対応して比較し、対応する比較結果を取得し、比較結果は、比較一致および比較不一致を含む。
好ましくは、比較結果はカテゴリ比較結果を含み、第1画像検出結果と第2画像検出結果とを比較し、比較結果を取得することは、第1カテゴリと第2カテゴリとを比較し、カテゴリ比較一致およびカテゴリ比較不一致を含むカテゴリ比較結果を取得することを含む。
本実施例において、第1カテゴリと第2カテゴリとを比較することにより、カテゴリ比較結果を取得することができ、カテゴリ比較結果に基づいて比較タイプを確定する。
S140において、比較結果に基づいて比較タイプを確定する。
ここで、比較タイプは、真ポジティブ例(True Positive、TP)、偽ポジティブ例(False Positive、FP)および偽ネガティブ例(False Negtive、FN)を含む。例示的には、カテゴリ比較一致である場合、比較タイプは真ポジティブ例であり、カテゴリ比較不一致である場合、比較タイプは偽ポジティブ例または偽ネガティブ例である。
好ましくは、比較結果に基づいて比較タイプを確定することは、第1検出枠情報および第2検出枠情報に基づいてIoUを確定することと、第1面積および/または第2面積に基づいて第1のIoU設定値を確定することと、IoUが第1のIoU設定値以上であり、且つカテゴリ比較結果がカテゴリ比較一致である場合、比較タイプを真ポジティブ例として確定することと、IoUが第1のIoU設定値よりも小さく、および/またはカテゴリ比較結果がカテゴリ比較不一致である場合、比較タイプを偽ポジティブ例および偽ネガティブ例として確定することと、または、第1画像検出結果に目標対象の第1検出枠情報が含まれ、第2画像検出結果に目標対象の第2検出枠情報が含まない場合、比較タイプを偽ネガティブ例として確定することと、第1画像検出結果に目標対象の第1検出枠情報が含まず、第2画像検出結果に目標対象の第2検出枠情報が含まれる場合、比較タイプを偽ポジティブ例として確定することと、を含む。
本実施例において、第1検出枠情報および第2検出枠情報に基づいてIoUを確定することができ、第1面積および/または第2面積に基づいて目標対象の大きさを確定し、第1面積および/または第2面積が32*32よりも小さい場合、目標対象は小さい目標であり、対応する第1のIoU設定値は0.3であってもよく、第1面積および/または第2面積が32*32以上である場合、目標対象は正常な目標であり、対応する第1のIoU設定値は0.5であってもよい。
IoUが第1のIoU設定値以上であり、且つカテゴリ比較結果がカテゴリ比較一致である場合、比較タイプを真ポジティブ例として確定する。IoUが第1のIoU設定値よりも小さく、および/またはカテゴリ比較結果がカテゴリ比較不一致である場合、比較タイプを偽ポジティブ例および偽ネガティブ例として確定する。または、第1画像検出結果に目標対象の第1検出枠情報が含まれ、第2画像検出結果に目標対象の第2検出枠情報が含まない場合、比較タイプを偽ネガティブ例として確定し、即ち、第1画像検出結果が第2画像検出結果に対して多い検出枠は、対応する比較タイプがいずれも偽ネガティブ例である。第1画像検出結果に目標対象の第1検出枠情報が含まず、第2画像検出結果に目標対象の第2検出枠情報が含まれる場合、比較タイプを偽ポジティブ例として確定し、即ち、第2画像検出結果が第1画像検出結果に対して多い検出枠は、対応する比較タイプがいずれも偽ポジティブ例である。
本実施例は、比較結果およびIoUに基づいて比較タイプを確定する方式、または第1画像検出結果および第2画像検出結果に同じ目標対象の検出枠情報が含まれるか否かを判断することで比較タイプを確定する方式により、比較タイプを正確に確定することができる。
S150において、比較タイプに基づいて複数の初期自動運転画像の評価スコアを確定する。
本実施例において、各初期自動運転画像の評価スコアの確定方式は、以下のとおりである。比較タイプに基づいて初期自動運転画像における全ての目標対象の評価スコアを確定し、目標対象の評価スコアは、IoUスコア、信頼度スコア、面積スコアおよびカテゴリスコアを含み、全ての目標対象の評価スコアおよび初期自動運転画像のシーンスコアに基づいて該初期自動運転画像の評価スコアを取得し、全ての初期自動運転画像の評価スコアを取得することができる。
S160において、複数の初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択し、目標自動運転画像データセットにおけるタグを調整する。
本実施例において、全ての初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択することができる。ここで、目標自動運転画像データセットは、第2自動運転検出モデル(他の自動運転検出モデルであってもよい)の検出精度に大きな影響を及ぼすデータセットと理解されてもよいし、目標価値が大きなデータセットと理解されてもよい。目標自動運転画像データセットにおけるタグを調整することにより、自動運転検出モデルの検出精度を向上させることができる。
本実施例において、2つのモデル間の比較に限定されず、複数のモデル間の2つずつの比較であってもよく、1つの初期自動運転画像の評価スコアで複数の価値スコアを取得することができ、最も大きなスコアを取り、もしくは他のスコア融合アルゴリズムにより最終的な価値スコアを取得する。
本実施例において、1つのモデルだけを使用してもよいが、TTA(Test Time Augmentation)モードおよび正常モードのような2種の異なるモードの順方向計算を行う必要があり、2グループの異なる検出結果を取得する。
本実施例で開示された技術案において、複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得し、初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得し、第1画像検出結果を基準検出結果として第1画像検出結果と第2画像検出結果とを比較し、比較結果を取得し、比較結果に基づいて比較タイプを確定し、比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含み、比較タイプに基づいて複数の初期自動運転画像の評価スコアを確定し、複数の初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択し、目標自動運転画像データセットにおけるタグを調整する。本願の実施例は、第1画像検出結果と第2画像検出結果との間の比較結果に基づいて比較タイプを確定し、比較タイプに基づいて初期自動運転画像の評価スコアを確定し、初期自動運転画像の評価スコアに基づいて目標自動運転画像データセットを選択する方式により、画像データセット処理の精度を向上させることができる。
図2は、本願の実施例に係る別の画像データセット処理方法のフローチャートである。本願の実施例は、上記発明の実施例の基に具体化されたものであり、図2を参照し、本願の実施例に係る方法は、具体的に、以下のステップを含む。
S201において、初期自動運転画像データセットを取得する。
S202において、初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得する。
S203において、第1画像検出結果と第2画像検出結果とを比較し、比較結果を取得する。
S204において、比較結果に基づいて比較タイプを確定する。
S205において、いずれかの初期自動運転画像の評価スコアに対し、比較タイプに基づいて初期自動運転画像における目標対象の評価スコアを確定する。
ここで、目標対象の評価スコアは、目標対象のIoUスコア、信頼度スコア、面積スコアおよびカテゴリスコア等を含む。本実施例において、比較タイプによって、目標対象の評価スコアは異なる。比較タイプに基づき、初期自動運転画像における全ての目標対象の評価スコアまたは一部の目標対象の評価スコアを確定することができる。
好ましくは、比較タイプに基づいて初期自動運転画像における目標対象の評価スコアを確定することは、比較タイプに基づいて目標対象のIoUスコア、信頼度スコアおよび面積スコアのうちの少なくとも1つを確定することと、目標対象に対応する予め設定されたカテゴリスコアを取得することと、IoUスコア、信頼度スコア、面積スコアおよびカテゴリスコアのうちの少なくとも1つに基づいて目標対象の評価スコアを確定することと、を含む。
本実施例において、各目標対象の評価スコアは、以下の方式により得られる。それぞれ比較タイプに基づいて目標対象のIoUスコア、信頼度スコアおよび面積スコアを取得し、目標対象に対応する予め設定されたカテゴリスコアを取得する。IoUスコア、信頼度スコア、面積スコアおよびカテゴリスコアを乗算または加重平均し、乗算後の結果または加重平均後の結果を目標対象の評価スコアとする。本実施例において、目標対象の評価スコアを確定する要素は、IoUスコア、信頼度スコア、面積スコアおよびカテゴリスコアに限定されず、対応する要素を追加したり減少したりしてもよい。
なお、各目標対象のカテゴリには、いずれも対応するカテゴリ重みが予め設定され、即ち、カテゴリスコアが予め設定され、カテゴリスコアの範囲は[0,1]である。目標対象の属するカテゴリを予測した後、予測したカテゴリに対応するカテゴリスコアを取得することができる。カテゴリ重みについては、初期自動運転画像データセットの分布情報を融合し、ロングテール部分に対してより高いカテゴリ重みを設定することができる。テストセットでのモデルの評価結果を融合し、精度の悪いカテゴリに対して重みを増加することもできる。
本実施例は、IoUスコア、信頼度スコア、面積スコアおよびカテゴリスコアのうちの少なくとも1つに基づいて目標対象の評価スコアを確定する方式により、目標対象の評価スコアを正確に確定することができる。
好ましくは、比較タイプに基づいて目標対象のIoUスコアを確定することは、第1面積および/または第2面積に基づいて第2のIoU設定値を確定することと、比較タイプ、第1のIoU設定値、第2のIoU設定値およびIoUに基づいてIoU評価スコアを確定することと、を含む。
ここで、第2のIoU設定値は、第1のIoU設定値よりも大きく、第2のIoU設定値は、最も大きなIoU閾値と理解されてもよく、第1のIoU設定値は、最も小さなIoU閾値と理解されてもよい。本実施例において、第1面積および/または第2面積に基づいて目標対象の大きさを確定し、第1面積および/または第2面積が32*32よりも小さい場合、目標対象は小さな目標であり、対応する第2のIoU設定値は0.7であってもよく、第1面積および/または第2面積が32*32以上である場合、目標対象は正常な目標であり、対応する第1のIoU設定値は0.9であってもよい。
例示的には、IoU閾値の式は、以下のとおりである。
ただし、iou_threshはIoU閾値を表し、目標対象が小さな目標である場合、第1のIoU設定値は0.3であってもよく、第2のIoU設定値は0.7であってもよい。目標対象が正常な目標である場合、第1のIoU設定値は0.5であってもよく、第2のIoU設定値は0.9であってもよい。
具体的には、比較タイプが偽ポジティブ例または偽ネガティブ例で、且つIoUが第1のIoU設定値よりも小さい場合、IoU評価スコアを直接取得することができる。比較タイプが真ポジティブ例で、且つIoUが第2のIoU設定値以上である場合、IoU評価スコアを直接取得することができる。比較タイプが真ポジティブ例で、且つIoUが第1のIoU設定値と第2のIoU設定値で構成された区間内にある場合、第1のIoU設定値、第2のIoU設定値およびIoUに基づいてIoU評価スコアを確定することができる。
本実施例は、比較タイプ、第1のIoU設定値、第2のIoU設定値およびIoUに基づいてIoU評価スコアを確定する方式により、IoU評価スコアを正確に確定することができる。
好ましくは、比較タイプ、第1のIoU設定値、第2のIoU設定値およびIoUに基づいてIoU評価スコアを確定することは、比較タイプが偽ポジティブ例または偽ネガティブ例で、且つIoUが第1のIoU設定値よりも小さい場合、IoU評価スコアは第1設定IoU評価スコアであることと、比較タイプが真ポジティブ例で、且つIoUが第2のIoU設定値以上である場合、IoU評価スコアは第2設定IoU評価スコアであることと、比較タイプが真ポジティブ例で、且つIoUが第1のIoU設定値と第2のIoU設定値で構成された区間内にある場合、第2のIoU設定値およびIoUに基づいて第1のIoU評価スコアを確定することと、第2のIoU設定値および第1のIoU設定値に基づいて第2のIoU評価スコアを確定することと、第1のIoU評価スコアおよび第2のIoU評価スコアに基づいてIoU評価スコアを確定することと、を含む。
例示的には、IoU評価スコアの式は、以下のとおりである。
ただし、iou_scoreはIoU評価スコアであり、min_iouは第1のIoU設定値であり、max_iouは第2のIoU設定値であり、iouはIoU(Intersection Over Union)である。ここで、第1設定IoU評価スコアは1であり、第2設定IoU評価スコアは0である。
ここで、比較タイプが偽ポジティブ例または偽ネガティブ例で、且つIoUが第1のIoU設定値よりも小さい場合、価値は最も高くなり、IoU評価スコアは1であり、比較タイプが真ポジティブ例で、且つIoUが第2のIoU設定値以上である場合、モデルが小さなエッジの違いに注目する必要がなく、価値がなく、IoU評価スコアが0であると考えられ、比較タイプが真ポジティブ例で、且つIoUが第1のIoU設定値と第2のIoU設定値で構成された区間内にある場合、IoUが低いほど、価値は高くなり、第1のIoU評価スコアはmax_iou-iouであり、第2のIoU評価スコアはmax_iou-min_iouであり、IoU評価スコアは(max_iou-iou)/(max_iou-min_iou)である。
例示的には、図3は、本願の実施例に係るIoUおよびIoU評価スコアの効果模式図である。図3に示すように、横軸はIoUiouであり、縦軸はIoU評価スコアiou_scoreである。目標対象が小さな目標または正常な目標であり、IoUとIoU評価スコアとの間は反比例することが見られる。
なお、目標対象を目標の大きさに従って区別して扱う理由は、目標位置が同じである絶対座標ずれ(画素を計量単位とする)は、アライメント時に小さな目標のIoU値に与える影響がより大きいため、一般的には、小さな目標のIoU値が高くなく、より多くの小さな目標の評価スコアを高くし、これは、「大きな目標の価値がより大きい」という理念に合致しないためである。
本実施例は、比較タイプが偽ポジティブ例または偽ネガティブ例で、且つIoUが第1のIoU設定値よりも小さい場合、第1設定IoU評価スコアをIoU評価スコアとし、比較タイプが真ポジティブ例で、且つIoUが第2のIoU設定値以上である場合、第2設定IoU評価スコアをIoU評価スコアとし、比較タイプが真ポジティブ例で、且つIoUが第1のIoU設定値と第2のIoU設定値で構成された区間内にある場合、第1のIoU評価スコアおよび第2のIoU評価スコアに基づいてIoU評価スコアを確定する方式により、IoU評価スコアを正確に確定することができる。
好ましくは、比較タイプに基づいて目標対象の信頼度スコアを確定することは、比較タイプが偽ポジティブ例である場合、第2信頼度の第1評価スコアを確定し、第2信頼度の第1評価スコアを目標対象の信頼度スコアとすることと、比較タイプが偽ネガティブ例である場合、第1信頼度の第1評価スコアを確定し、第1信頼度の第1評価スコアを目標対象の信頼度スコアとすることと、比較タイプが真ポジティブ例である場合、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアをそれぞれ確定し、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアに基づいて目標対象の信頼度スコアを確定することと、を含む。
例示的には、目標対象の信頼度スコアを確定する式は、以下のとおりである。
ただし、matched_conf_scoreは、目標対象の信頼度スコアであり、conf_scoresmall1は、比較タイプが偽ポジティブ例である場合における第2信頼度の第1評価分であり、即ち、比較タイプが偽ポジティブ例である場合における目標対象の信頼度スコアである。conf_scorebig1は、比較タイプが偽ネガティブ例である場合における第1信頼度の第1評価スコアであり、即ち、比較タイプが偽ネガティブ例である場合における目標対象の信頼度スコアである。(conf_scorebig2+conf_scoresmall2)/2は、比較タイプが真ポジティブ例である場合における目標対象の信頼度スコアである。conf_scorebig2は第1信頼度の第2評価スコアであり、conf_scoresmall2は第2信頼度の第2評価スコアである。
本実施例において、比較タイプが偽ポジティブ例である場合、第2自動運転検出モデルから出力された第2信頼度の第1評価スコアを確定し、第2信頼度の第1評価スコアを、比較タイプが偽ポジティブ例である場合における目標対象の信頼度スコアとする方式と、比較タイプが偽ネガティブ例である場合、第1自動運転検出モデルから出力された第1信頼度の第1評価スコアを確定し、第1信頼度の第1評価スコアを、比較タイプが偽ネガティブ例である場合における目標対象の信頼度スコアとする方式と、比較タイプが真ポジティブ例である場合、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアをそれぞれ確定し、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアに基づいて比較タイプが真ポジティブ例である場合における目標対象の信頼度スコアを確定する方式とにより、目標対象の信頼度スコアを正確に確定することができる。
好ましくは、第1信頼度の第1評価スコアを確定すること、または第2信頼度の第1評価スコアを確定することは、第1信頼度閾値および第2信頼度閾値を取得し、第2信頼度閾値が第1信頼度閾値よりも大きいことと、第1信頼度または第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第1評価スコアまたは第2信頼度の第1評価スコアとすることと、第1信頼度が第2信頼度閾値以上であり、または、第2信頼度が第2信頼度閾値以上である場合、第2設定信頼度スコアを第1信頼度の第1評価スコアまたは第2信頼度の第1評価スコアとすることと、第1信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第1信頼度、第2信頼度閾値および第1信頼度閾値に基づいて第1信頼度スコアを確定することと、第2信頼度閾値および第1信頼度閾値に基づいて第2信頼度スコアを確定することと、第1信頼度スコアおよび第2信頼度スコアに基づいて第1信頼度の第1評価スコアを確定することと、または、第2信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第2信頼度、第2信頼度閾値および第1信頼度閾値に基づいて第3信頼度スコアを確定することと、第2信頼度閾値および第1信頼度閾値に基づいて第4信頼度スコアを確定することと、第3信頼度スコアおよび第4信頼度スコアに基づいて第2信頼度の第1評価スコアを確定することと、を含む。
例示的には、比較タイプがFPである場合、第2信頼度の第1評価スコアを確定する式は、以下のとおりである。
ただし、第2信頼度閾値は0.5であってもよく、第1信頼度閾値は0.3であってもよい。第1設定信頼度スコアは0であってもよく、第2設定信頼度スコアは1であってもよい。
ここで、比較タイプが偽ポジティブ例である場合、confは第2信頼度であり、第2信頼度が第1信頼度閾値よりも小さい場合、第2信頼度の第1評価スコアは0であり、価値がなく、第2信頼度が第2信頼度閾値以上である場合、第2信頼度の第1評価スコアは1であり、価値が最も大きく、第2信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、{0.5*(conf+max_conf)-min_conf}/(max_conf-min_conf)は第2信頼度の第1評価スコアである。
本実施例は、第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第2信頼度の第1評価スコアとし、第2信頼度が第2信頼度閾値以上である場合、第2設定信頼度スコアを第2信頼度の第1評価スコアとし、第2信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第3信頼度スコアおよび第4信頼度スコアに基づいて第2信頼度の第1評価スコアを確定する方式により、第2信頼度の第1評価スコアを正確に確定することができる。
例示的には、比較タイプがFNである場合、第1信頼度の第1評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが偽ネガティブ例である場合、confは第1信頼度であり、第1信頼度が第1信頼度閾値よりも小さい場合、第1信頼度の第1評価スコアは0であり、価値がなく、第1信頼度が第2信頼度閾値以上である場合、第1信頼度の第1評価スコアは1であり、価値が最も大きく、第1信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、{0.5*(conf+max_conf)-min_conf}/(max_conf-min_conf)は第1信頼度の第1評価スコアである。
本実施例は、第1信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第1評価スコアとし、第1信頼度が第2信頼度閾値以上である場合、第2設定信頼度スコアを第1信頼度の第1評価スコアとし、第1信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第1信頼度スコアおよび第2信頼度スコアに基づいて第1信頼度の第1評価スコアを確定する方式により、第1信頼度の第1評価スコアを正確に確定することができる。
好ましくは、第1信頼度の第2評価スコアを確定すること、または第2信頼度の第2評価スコアを確定することは、第1信頼度または第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第2評価スコアまたは第2信頼度の第2評価スコアとすることと、第1信頼度が第1信頼度閾値以上であり、もしくは第2信頼度が第2信頼度閾値以上である場合、第1設定信頼度スコアを第1信頼度の第2評価スコアまたは第2信頼度の第2評価スコアとすることと、第1信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第1信頼度および第2信頼度閾値に基づいて第5信頼度スコアを確定することと、第2信頼度閾値および第1信頼度閾値に基づいて第6信頼度スコアを確定することと、第5信頼度スコアおよび第6信頼度スコアに基づいて第1信頼度の第2評価スコアを確定することと、または、第2信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第2信頼度および第2信頼度閾値に基づいて第7信頼度スコアを確定することと、第2信頼度閾値および第1信頼度閾値に基づいて第8信頼度スコアを確定することと、第7信頼度スコアおよび第8信頼度スコアに基づいて第2信頼度の第2評価スコアを確定することと、を含む。
例示的には、比較タイプが真ポジティブ例である場合、第2信頼度の第2評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが真ポジティブ例である場合、conf1は第2信頼度であり、第2信頼度が第1信頼度閾値よりも小さい場合、第2信頼度の第2評価スコアは0であり、価値がなく、第2信頼度が第2信頼度閾値以上である場合、第2信頼度の第2評価スコアは0であり、価値がなく、第2信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、(max_conf-conf1)/(max_conf-min_conf)は第2信頼度の第2評価スコアである。
本実施例は、第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第2信頼度の第2評価スコアとし、第2信頼度が第2信頼度閾値以上である場合、第1設定信頼度スコアを第2信頼度の第2評価スコアとし、第2信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第7信頼度スコアおよび第8信頼度スコアに基づいて第2信頼度の第2評価スコアを確定する方式により、第2信頼度の第2評価スコアを正確に確定することができる。
例示的には、比較タイプが真ポジティブ例である場合、第1信頼度の第2評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが真ポジティブ例である場合、conf2は第1信頼度であり、第1信頼度が第1信頼度閾値よりも小さい場合、第1信頼度の第2評価スコアは0であり、第1信頼度が第1信頼度閾値以上である場合、第1信頼度の第2評価スコアは0であり、第1信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、(max_conf-conf2)/(max_conf-min_conf)は第1信頼度の第2評価スコアである。
本実施例は、第1信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第2評価スコアとし、第1信頼度が第1信頼度閾値以上である場合、第1設定信頼度スコアを第1信頼度の第2評価スコアとし、第1信頼度が第1信頼度閾値と第2信頼度閾値で構成された区間内にある場合、第5信頼度スコアおよび第6信頼度スコアに基づいて第1信頼度の第2評価スコアを確定する方式により、第1信頼度の第2評価スコアを正確に確定することができる。
例示的には、図4は、本願の実施例に係る信頼度と第2評価スコアとの間の効果模式図である。図4に示すように、比較タイプが真ポジティブ例である場合、横軸はconfであり、confは第1信頼度または第2信頼度であり、min_confは第1信頼度閾値であり、max_confは第2信頼度閾値である。縦軸はconf_scoreであり、conf_scoreは第1信頼度または第2信頼度の第2評価スコアである。第1信頼度または第2信頼度が第1信頼度閾値よりも小さい場合、または第2信頼度閾値以上である場合、第2評価スコアはいずれも0であり、価値がない。confが第1信頼度閾値と第2信頼度閾値との間にある場合、第2評価スコア(価値と理解されてもよい)と信頼度の間は反比例する。
例示的には、図5は、本願の実施例に係る信頼度と第1評価スコアとの間の効果模式図である。図5に示すように、比較タイプが偽ネガティブ例または偽ポジティブ例である場合、横軸はconfであり、confは第1信頼度または第2信頼度であり、min_confは第1信頼度閾値であり、max_confは第2信頼度閾値であり、縦軸はconf_scoreであり、conf_scoreは第1信頼度または第2信頼度の第1評価スコアである。第1信頼度または第2信頼度が第1信頼度閾値よりも小さい場合、第1評価スコアは全て0であり、価値がない。第1信頼度または第2信頼度が第2信頼度閾値以上である場合、価値は最も大きく、第1評価スコアは全て1である。confが第1信頼度閾値と第2信頼度閾値との間にある場合、第1評価スコア(価値と理解されてもよい)と信頼度との間は比例する。
好ましくは、比較タイプに基づいて目標対象の面積スコアを確定することは、比較タイプが偽ポジティブ例である場合、第2面積の第1評価スコアを確定し、第2面積の第1評価スコアを目標対象の面積スコアとすることと、比較タイプが偽ネガティブ例である場合、第1面積の第1評価スコアを確定し、第1面積の第1評価スコアを目標対象の面積スコアとすることと、比較タイプが真ポジティブ例である場合、第1面積の第2評価スコアおよび第2面積の第2評価スコアをそれぞれ確定し、第1面積の第2評価スコアおよび第2面積の第2評価スコアに基づいて目標対象の面積スコアを確定することと、を含む。
例示的には、目標対象の面積スコアを確定する式は、以下のとおりである。
ただし、matched_area_scoreは目標対象の面積スコアであり、area_scoresmall1は、比較タイプが偽ポジティブ例である場合における第2面積の第1評価スコアであり、即ち、比較タイプが偽ポジティブ例である場合における目標対象の面積スコアである。area_scorebig1は、比較タイプが偽ネガティブ例である場合における第1面積の第1評価スコアであり、即ち、比較タイプが偽ネガティブ例である場合における目標対象の面積スコアである。(area_scorebig2+area_scoresmall2)/2は、比較タイプが真ポジティブ例である場合における目標対象の面積スコアである。area_scorebig2は第1面積の第2評価スコアであり、area_scoresmall2は第2面積の第2評価スコアである。
本実施例は、比較タイプが偽ポジティブ例である場合、第2面積の第1評価スコアを確定し、第2面積の第1評価スコアを、比較タイプが偽ポジティブ例である場合における目標対象の面積スコアとし、比較タイプが偽ネガティブ例である場合、第1面積の第1評価スコアを確定し、第1面積の第1評価スコアを、比較タイプが偽ネガティブ例である場合における目標対象の面積スコアとし、比較タイプが真ポジティブ例である場合、第1面積の第2評価スコアおよび第2面積の第2評価スコアに基づいて比較タイプが真ポジティブ例である場合における目標対象の面積スコアを確定する方式により、目標対象の面積スコアを正確に確定することができる。
好ましくは、第1面積の第1評価スコアを確定すること、または第2面積の第1評価スコアを確定することは、第1面積閾値および第2面積閾値を取得し、第2面積閾値が第1面積閾値よりも大きいことと、第1面積または第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第1評価スコアまたは第2面積の第1評価スコアとすることと、第1面積が第2面積閾値以上であり、もしくは第2面積が第2面積閾値以上である場合、第2設定面積スコアを第1面積の第1評価スコアまたは第2面積の第1評価スコアとすることと、第1面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第1面積、第2面積閾値および第1面積閾値に基づいて第1面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第2面積スコアを確定することと、第1面積スコアおよび第2面積スコアに基づいて第1面積の第1評価スコアを確定することと、または、第2面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第2面積、第2面積閾値および第1面積閾値に基づいて第3面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第4面積スコアを確定することと、第3面積スコアおよび第4面積スコアに基づいて第2面積の第1評価スコアを確定することと、を含む。
ここで、第1面積閾値は30*30で、第2面積閾値は500*500であってもよく、第1設定面積スコアは0であってもよく、第2設定面積スコアは1であってもよい。
例示的には、比較タイプがFNである場合、第1面積の第1評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが偽ネガティブ例である場合、areaは第1面積であり、第1面積が第1面積閾値よりも小さい場合、第1面積の第1評価スコアは0であり、第1面積が第2面積閾値以上である場合、第1面積の第1評価スコアは1であり、第1面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、{0.5*(area+max_area)-min_area}/(max_area-min_area)は第1面積の第1評価スコアである。
本実施例は、第1面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第1評価スコアとし、第1面積が第2面積閾値以上である場合、第2設定面積スコアを第1面積の第1評価スコアとし、第1面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第1面積スコアおよび第2面積スコアに基づいて第1面積の第1評価スコアを確定する方式により、第1面積の第1評価スコアを正確に確定することができる。
例示的には、比較タイプがFPである場合、第2面積の第1評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが偽ポジティブ例である場合、areaは第2面積であり、第2面積が第1面積閾値よりも小さい場合、第2面積の第1評価スコアは0であり、第2面積が第2面積閾値以上である場合、第2面積の第1評価スコアは1であり、第2面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、{0.5*(area+max_area)-min_area}/(max_area-min_area)は第2面積の第1評価スコアである。
本実施例は、第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第2面積の第1評価スコアとし、第2面積が第2面積閾値以上である場合、第2設定面積スコアを第2面積の第1評価スコアとし、第2面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第3面積スコアおよび第4面積スコアに基づいて第2面積の第1評価スコアを確定する方式により、第2面積の第1評価スコアを正確に確定することができる。
好ましくは、第1面積の第2評価スコアを確定すること、または第2面積の第2評価スコアを確定することは、第1面積または第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第2評価スコアまたは第2面積の第2評価スコアとすることと、第1面積が第1面積閾値以上であり、もしくは第2面積が第1面積閾値以上である場合、第2設定面積スコアを第1面積の第2評価スコアまたは第2面積の第2評価スコアとすることと、第1面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第1面積および第1面積閾値に基づいて第5面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第6面積スコアを確定することと、第5面積スコアおよび第6面積スコアに基づいて第1面積の第2評価スコアを確定することと、または、第2面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第2面積および第1面積閾値に基づいて第7面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第8面積スコアを確定することと、第7面積スコアおよび第8面積スコアに基づいて第2面積の第2評価スコアを確定することと、を含む。
例示的には、比較タイプが真ポジティブ例である場合、第1面積の第2評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが真ポジティブ例である場合、conf2は第1面積であり、第1面積が第1面積閾値よりも小さい場合、第1面積の第2評価スコアは0であり、第1面積が第1面積閾値以上である場合、第1面積の第2評価スコアは1であり、第1面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、(area1-min_area)/(max_area-min_area)は第1面積の第2評価スコアである。
本実施例は、第1面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第2評価スコアとし、第1面積が第1面積閾値以上である場合、第2設定面積スコアを第1面積の第2評価スコアとし、第1面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第5面積スコアおよび第6面積スコアに基づいて第1面積の第2評価スコアを確定する方式により、第1面積の第2評価スコアを正確に確定することができる。
例示的には、比較タイプが真ポジティブ例である場合、第2面積の第2評価スコアを確定する式は、以下のとおりである。
ただし、比較タイプが真ポジティブ例である場合、area2は第2面積であり、第2面積が第1面積閾値よりも小さい場合、第2面積の第2評価スコアは0であり、第2面積が第1面積閾値以上である場合、第2面積の第2評価スコアは1であり、第2面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、(area2-min_area)/(max_area-min_area)は第2面積の第2評価スコアである。
本実施例は、第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第2面積の第2評価スコアとし、第2面積が第1面積閾値以上である場合、第2設定面積スコアを第2面積の第2評価スコアとし、第2面積が第1面積閾値と第2面積閾値で構成された区間内にある場合、第7面積スコアおよび第8面積スコアに基づいて第2面積の第2評価スコアを確定する方式により、第2面積の第2評価スコアを正確に確定することができる。
例示的には、図6は、本願の実施例に係る面積と第2評価スコアとの間の効果模式図である。図6に示すように、比較タイプが真ポジティブ例である場合、横軸はareaであり、areaは第1面積または第2面積であり、min_areaは第1面積閾値であり、max_confは第2面積閾値である。縦軸はarea_scoreであり、area_scoreは第2評価スコアである。第1面積または第2面積が第1面積閾値よりも小さい場合、第2評価スコアはいずれも0であり、価値がない。第1面積または第2面積が第2面積閾値以上である場合、価値は最も大きく、第2評価スコアは全て1である。areaが第1面積閾値と第2面積閾値との間にある場合、第2評価スコア(価値と理解されてもよい)と面積との間は比例する。
例示的には、図7は、本願の実施例に係る面積と第1評価スコアとの間の効果模式図である。図7に示すように、比較タイプが偽ネガティブ例または偽ポジティブ例である場合、横軸はareaであり、areaは第1面積または第2面積であり、min_areaは第1面積閾値であり、max_areaは第2面積閾値であり、縦軸はarea_scoreであり、area_scoreは面積の第1評価スコアである。第1面積または第2面積が第1面積閾値よりも小さい場合、第1評価スコアは全て0であり、価値がない。第1面積または第2面積が第2面積閾値以上である場合、価値は最も大きく、第1評価スコアは全て1である。areaが第1面積閾値と第2面積閾値との間にある場合、第1評価スコア(価値と理解されてもよい)と面積との間は比例する。
S206において、初期自動運転画像のシーンスコアを確定する。
本実施例において、初期自動運転画像のシーンを制限せず、例えば、雨のシーン、雪のシーン、渋滞のシーン、オフロードのシーン等である。
本実施例において、初期自動運転画像に基づいて実際シーン情報を取得し、初期自動運転画像を自動運転シーンモデルに入力し、予測シーン情報を出力し、予測シーン情報と実際シーン情報との類似度に基づいてシーンスコアを取得することができる。
好ましくは、初期自動運転画像のシーンスコアを確定することは、初期自動運転画像を自動運転シーンモデルに入力し、予測シーン情報を出力することと、初期自動運転画像に対応する設定シーン情報を取得することと、予測シーン情報および設定シーン情報に基づいてシーン類似度を確定することと、シーン類似度に基づいて初期自動運転画像のシーンスコアを確定することと、を含む。
ここで、自動運転シーンモデルは、任意の深層学習アルゴリズムに基づくシーンモデルであってもよい。設定シーン情報は、初期自動運転画像に対応するリアルシーン情報であってもよい。本実施例において、初期自動運転画像を自動運転シーンモデルに入力し、対応する予測シーン情報を出力し、初期自動運転画像に対応する設定シーン情報を取得し、任意の類似度アルゴリズムに基づいて予測シーン情報と設定シーン情報との間のシーン類似度を計算し、シーン類似度に基づいて初期自動運転画像のシーンスコアを確定する。ここで、シーン類似度の範囲は[0,1]であり、即ち、シーンスコアの範囲は[0,1]である。
本実施例は、予測シーン情報と設定シーン情報との間のシーン類似度に基づいて初期自動運転画像のシーンスコアを確定する方式により、初期自動運転画像のシーンスコアを正確に確定することができる。
S207において、目標対象の評価スコアおよびシーンスコアに基づいて初期自動運転画像の評価スコアを確定する。
本実施例において、いずれかの初期自動運転画像の評価スコアの計算方式は、以下のとおりである。現在の初期自動運転画像における全ての目標対象の評価スコアを累加算し、累加算結果を取得してから、累加算結果とシーンスコアとを乗算し、現在の初期自動運転画像の評価スコアを取得する。
例示的には、初期自動運転画像の評価スコアを確定する式は、以下のとおりである。
ただし、img_value_scoreは初期自動運転画像の評価スコアを表し、scene_scoreはシーンスコアを表し、bbox_value_scoreは目標対象の評価スコアを表す。
S208において、複数の初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択し、目標自動運転画像データセットにおけるタグを調整する。
本実施例において、各初期自動運転画像の評価スコアに従い、初期自動運転画像データセット内の初期自動運転画像を高い順に順位付け、上位の設定数の初期自動運転画像を抽出し、設定数の目標自動運転画像とし、且つ、設定数の目標自動運転画像に対応するタグを全て調整する。
好ましくは、複数の初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択することは、複数の初期自動運転画像の評価スコアに基づいて複数の初期自動運転画像を順位付け、順位付けた後の初期自動運転画像データセットを取得することと、順位付けた後の初期自動運転画像データセットから設定数の目標自動運転画像データセットを選択することと、を含む。
具体的には、複数の初期自動運転画像の評価スコアに基づいて複数の初期自動運転画像を高い順に順位付け、順位付けた後の初期自動運転画像データセットを取得し、順位付けた後の初期自動運転画像データセットから上位の設定数の目標自動運転画像データセットを選択し、即ち、最初からの設定数の初期自動運転画像を抽出して設定数の目標自動運転画像とする。または、複数の初期自動運転画像の評価スコアに基づいて複数の初期自動運転画像を低い順に順位付け、順位付けた後の初期自動運転画像データセットを取得し、順位付けた後の初期自動運転画像データセットから下位の設定数の目標自動運転画像データセットを選択し、即ち、最後からの設定数の初期自動運転画像を抽出して設定数の目標自動運転画像とする。
本実施例において、順位付けた後の初期自動運転画像データセットから設定数の目標自動運転画像データセットを選択することにより、目標自動運転画像を正確に選択することができる。
例示的には、図8は、本願の実施例に係る第1画像検出結果の効果模式図である。図9は、本願の実施例に係る第2画像検出結果の効果模式図である。図8は、第1自動運転検出モデルで検出された第1画像検出結果であり、図9は、第2自動運転検出モデルで検出された第2画像検出結果である。図8および図9から見られるように、
第1自動運転検出モデルで検出された1グループの自転車は1つの枠だけから出ているが、第2自動運転検出モデルで検出された各自転車はいずれも個別に枠から出ているため、全ての自転車の枠が合致せず、比較タイプはFNまたはFPであり、図8または図9における一番後ろの柱は、第1自動運転検出モデルで検出されたが、第2自動運転検出モデルで検出されておらず、比較タイプはFNで、価値スコアが高く、そのため、目標対象の評価スコアは、ほとんどFNおよびFPの評価スコアであり、スコアが高い。
図10は、本願の実施例に係る画像データセット処理装置の構造模式図であり、図10に示すように、装置は、初期自動運転画像データセット取得モジュール1001、画像検出結果取得モジュール1002、画像検出結果比較モジュール1003、比較タイプ確定モジュール1004、評価スコア確定モジュール1005、および目標自動運転画像データセット選択モジュール1006を備える。
初期自動運転画像データセット取得モジュール1001は、複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得することに用いられる。
画像検出結果取得モジュール1002は、前記初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得することに用いられる。
画像検出結果比較モジュール1003は、前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得することに用いられ、前記第1画像検出結果が基準検出結果とされている。
比較タイプ確定モジュール1004は、前記比較結果に基づいて比較タイプを確定することに用いられ、前記比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含む。
評価スコア確定モジュール1005は、前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定することに用いられる。
目標自動運転画像データセット選択モジュール1006は、前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択し、前記目標自動運転画像データセットにおけるタグを調整することに用いられる。
本実施例で開示された技術案において、初期自動運転画像データセット取得モジュールにより、複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得し、画像検出結果取得モジュールにより、初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得し、画像検出結果比較モジュールにより、第1画像検出結果を基準検出結果として第1画像検出結果と第2画像検出結果とを比較し、比較結果を取得し、比較タイプ確定モジュールにより、比較結果に基づいて比較タイプを確定し、比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含み、評価スコア確定モジュールにより、比較タイプに基づいて複数の初期自動運転画像の評価スコアを確定し、目標自動運転画像データセット選択モジュールにより、複数の初期自動運転画像の評価スコアに基づいて初期自動運転画像データセットから目標自動運転画像データセットを選択し、目標自動運転画像データセットにおけるタグを調整する。本願の実施例は、第1画像検出結果と第2画像検出結果との間の比較結果に基づいて比較タイプを確定し、比較タイプに基づいて初期自動運転画像の評価スコアを確定し、初期自動運転画像の評価スコアに基づいて目標自動運転画像データセットを選択する方式により、画像データセット処理の精度を向上させることができる。
好ましくは、ここで、各初期自動運転画像は少なくとも1つの目標対象を含み、前記第1画像検出結果は、少なくとも1つの目標対象の第1検出枠情報、前記少なくとも1つの目標対象のそれぞれに対応する第1カテゴリ、前記第1カテゴリの第1信頼度、および前記第1検出枠情報に対応する第1面積を含み、前記第2画像検出結果は、少なくとも1つの目標対象の第2検出枠情報、前記少なくとも1つの目標対象のそれぞれに対応する第2カテゴリ、前記第2カテゴリに対応する第2信頼度、前記第2検出枠情報に対応する第2面積を含み、前記比較結果はカテゴリ比較結果を含み、好ましくは、画像検出結果比較モジュールは、具体的に、前記第1カテゴリと前記第2カテゴリとを比較し、カテゴリ比較一致およびカテゴリ比較不一致を含むカテゴリ比較結果を取得することに用いられる。
好ましくは、比較タイプ確定モジュールは、具体的に、第1検出枠情報および前記第2検出枠情報に基づいてIoUを確定することと、前記第1面積および/または第2面積に基づいて第1のIoU設定値を確定することと、前記IoUが第1のIoU設定値以上であり、且つ前記カテゴリ比較結果がカテゴリ比較一致である場合、前記比較タイプを真ポジティブ例として確定することと、前記IoUが第1のIoU設定値よりも小さく、および/または前記カテゴリ比較結果がカテゴリ比較不一致である場合、前記比較タイプを偽ポジティブ例および偽ネガティブ例として確定することと、または、前記第1画像検出結果に目標対象の第1検出枠情報が含まれ、前記第2画像検出結果に前記目標対象の第2検出枠情報が含まない場合、前記比較タイプを偽ネガティブ例として確定することと、前記第1画像検出結果に目標対象の第1検出枠情報が含まず、前記第2画像検出結果に前記目標対象の第2検出枠情報が含まれる場合、前記比較タイプを偽ポジティブ例として確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、具体的に、いずれかの初期自動運転画像の評価スコアに対し、比較タイプに基づいて初期自動運転画像における目標対象の評価スコアを確定することと、前記初期自動運転画像のシーンスコアを確定することと、前記目標対象の評価スコアおよび前記シーンスコアに基づいて初期自動運転画像の評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、比較タイプに基づいて目標対象のIoUスコア、信頼度スコアおよび面積スコアのうちの少なくとも1つを確定することと、目標対象に対応する予め設定されたカテゴリスコアを取得することと、前記IoUスコア、前記信頼度スコア、前記面積スコアおよび前記カテゴリスコアのうちの少なくとも1つに基づいて目標対象の評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記第1面積および/または第2面積に基づいて第2のIoU設定値を確定し、前記第2のIoU設定値が前記第1のIoU設定値よりも大きいことと、前記比較タイプ、前記第1のIoU設定値、第2のIoU設定値および前記IoUに基づいてIoU評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記比較タイプが偽ポジティブ例または偽ネガティブ例で、且つ前記IoUが前記第1のIoU設定値よりも小さい場合、IoU評価スコアは第1設定IoU評価スコアであることと、前記比較タイプが真ポジティブ例で、且つ前記IoUが前記第2のIoU設定値以上である場合、IoU評価スコアは第2設定IoU評価スコアであることと、前記比較タイプが真ポジティブ例で、且つ前記IoUが前記第1のIoU設定値と第2のIoU設定値で構成された区間内にある場合、第2のIoU設定値および前記IoUに基づいて第1のIoU評価スコアを確定することと、前記第2のIoU設定値および前記第1のIoU設定値に基づいて第2のIoU評価スコアを確定することと、前記第1のIoU評価スコアおよび前記第2のIoU評価スコアに基づいてIoU評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記比較タイプが偽ポジティブ例である場合、第2信頼度の第1評価スコアを確定し、前記第2信頼度の第1評価スコアを目標対象の信頼度スコアとすることと、前記比較タイプが偽ネガティブ例である場合、第1信頼度の第1評価スコアを確定し、前記第1信頼度の第1評価スコアを目標対象の信頼度スコアとすることと、前記比較タイプが真ポジティブ例である場合、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアをそれぞれ確定し、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアに基づいて目標対象の信頼度スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、第1信頼度閾値および第2信頼度閾値を取得し、前記第2信頼度閾値が前記第1信頼度閾値よりも大きいことと、前記第1信頼度または前記第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第1評価スコアまたは第2信頼度の第1評価スコアとすることと、前記第1信頼度が第2信頼度閾値以上であり、もしくは前記第2信頼度が第2信頼度閾値以上である場合、第2設定信頼度スコアを第1信頼度の第1評価スコアまたは第2信頼度の第1評価スコアとすることと、前記第1信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第1信頼度、前記第2信頼度閾値および前記第1信頼度閾値に基づいて第1信頼度スコアを確定することと、前記第2信頼度閾値および前記第1信頼度閾値に基づいて第2信頼度スコアを確定することと、前記第1信頼度スコアおよび前記第2信頼度スコアに基づいて第1信頼度の第1評価スコアを確定することと、または、前記第2信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第2信頼度、前記第2信頼度閾値および前記第1信頼度閾値に基づいて第3信頼度スコアを確定することと、前記第2信頼度閾値および前記第1信頼度閾値に基づいて第4信頼度スコアを確定することと、前記第3信頼度スコアおよび前記第4信頼度スコアに基づいて第2信頼度の第1評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記第1信頼度または前記第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第2評価スコアまたは第2信頼度の第2評価スコアとすることと、前記第1信頼度が第1信頼度閾値以上であり、もしくは前記第2信頼度が第2信頼度閾値以上である場合、第1設定信頼度スコアを第1信頼度の第2評価スコアまたは第2信頼度の第2評価スコアとすることと、前記第1信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第1信頼度および第2信頼度閾値に基づいて第5信頼度スコアを確定することと、第2信頼度閾値および第1信頼度閾値に基づいて第6信頼度スコアを確定することと、前記第5信頼度スコアおよび前記第6信頼度スコアに基づいて第1信頼度の第2評価スコアを確定することと、または、前記第2信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第2信頼度および第2信頼度閾値に基づいて第7信頼度スコアを確定することと、第2信頼度閾値および第1信頼度閾値に基づいて第8信頼度スコアを確定することと、前記第7信頼度スコアおよび前記第8信頼度スコアに基づいて第2信頼度の第2評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記比較タイプが偽ポジティブ例である場合、第2面積の第1評価スコアを確定し、前記第2面積の第1評価スコアを目標対象の面積スコアとすることと、前記比較タイプが偽ネガティブ例である場合、第1面積の第1評価スコアを確定し、前記第1面積の第1評価スコアを目標対象の面積スコアとすることと、前記比較タイプが真ポジティブ例である場合、第1面積の第2評価スコアおよび第2面積の第2評価スコアをそれぞれ確定し、第1面積の第2評価スコアおよび第2面積の第2評価スコアに基づいて目標対象の面積スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、第1面積閾値および第2面積閾値を取得し、前記第2面積閾値が第1面積閾値よりも大きいことと、前記第1面積または前記第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第1評価スコアまたは第2面積の第1評価スコアとすることと、前記第1面積が第2面積閾値以上であり、もしくは前記第2面積が第2面積閾値以上である場合、第2設定面積スコアを第1面積の第1評価スコアまたは第2面積の第1評価スコアとすることと、前記第1面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第1面積、第2面積閾値および第1面積閾値に基づいて第1面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第2面積スコアを確定することと、前記第1面積スコアおよび前記第2面積スコアに基づいて第1面積の第1評価スコアを確定することと、または、前記第2面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第2面積、第2面積閾値および第1面積閾値に基づいて第3面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第4面積スコアを確定することと、前記第3面積スコアおよび前記第4面積スコアに基づいて第2面積の第1評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記第1面積または前記第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第2評価スコアまたは第2面積の第2評価スコアとすることと、前記第1面積が第1面積閾値以上であり、もしくは前記第2面積が第1面積閾値以上である場合、第2設定面積スコアを第1面積の第2評価スコアまたは第2面積の第2評価スコアとすることと、前記第1面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第1面積および第1面積閾値に基づいて第5面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第6面積スコアを確定することと、前記第5面積スコアおよび前記第6面積スコアに基づいて第1面積の第2評価スコアを確定することと、または、前記第2面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第2面積および第1面積閾値に基づいて第7面積スコアを確定することと、第2面積閾値および第1面積閾値に基づいて第8面積スコアを確定することと、前記第7面積スコアおよび前記第8面積スコアに基づいて第2面積の第2評価スコアを確定することとに用いられる。
好ましくは、評価スコア確定モジュールは、更に、前記初期自動運転画像を自動運転シーンモデルに入力し、予測シーン情報を出力することと、前記初期自動運転画像に対応する設定シーン情報を取得することと、前記予測シーン情報および前記設定シーン情報に基づいてシーン類似度を確定することと、前記シーン類似度に基づいて初期自動運転画像のシーンスコアを確定することとに用いられる。
好ましくは、目標自動運転画像データセット選択モジュールは、具体的に、前記複数の初期自動運転画像の評価スコアに基づいて前記複数の初期自動運転画像を順位付け、順位付けた後の初期自動運転画像データセットを取得することと、前記順位付けた後の初期自動運転画像データセットから設定数の目標自動運転画像データセットを選択することとに用いられる。
本願の実施例に係る画像データセット処理装置は、本願のいずれかの実施例に係る画像データセット処理方法を実行することができ、方法の実行に対応する機能モジュールおよび有益な効果を備える。
なお、上記装置が備える各ユニットおよびモジュールは、機能ロジックに従って分割されたものに過ぎず、上記分割に限定されるものではなく、対応する機能を実現できれば良い。また、各機能ユニットの具体的な名称も、互いに区別しやすいためのものに過ぎず、本願の実施例の保護範囲を制限するものではない。
図11は、本願の実施例に係る電子機器の構造模式図である。以下、図11を参照し、本願の実施例を実現するために適した電子機器(例えば、図11における端末機器またはサーバ)1100の構造模式図を示す。本願の実施例における端末機器は、携帯電話機、ノートパソコン、デジタル放送受信機、PDA(パーソナルデジタルアシスタント)、PAD(タブレットコンピュータ)、PMP(ポータブルマルチメディアプレイヤー)、車載端末(例えば、車載ナビゲーション端末)等のようなモバイル端末、およびデジタルTV、デスクトップ型コンピュータ等のような固定端末を含んでもよいが、これらに限定されない。図11に示す電子機器は一例に過ぎず、本願の実施例の機能および使用範囲に何かの制限を与えるものではない。
図11に示すように、電子機器1100は、処理装置(例えば、中央プロセッサ、グラフィックプロセッサ等)1101を備えてもよく、読み出し専用メモリ(ROM)1102に記憶されたプログラム、または記憶装置1108からランダムアクセスメモリ(RAM)1103にロードされたプログラムに基づき、様々な適当な動作および処理を実行することができる。RAM 1103には、電子機器1100の操作に必要な様々なプログラムおよびデータが更に記憶されている。処理装置1101、ROM 1102およびRAM 1103は、バス1104を介して互いに接続されている。入力/出力(I/O)インタフェース115もバス1104に接続されている。
通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置1106、例えば、液晶ディスプレイ(LCD)、スピーカ、バイブレータ等を含む出力装置1107、例えば、磁気テープ、ハードディスク等を含む記憶装置1108、および通信装置1109は、I/Oインタフェース1105に接続することができる。通信装置1109は、電子機器1100が他の機器と無線または有線通信してデータを交換することを可能にする。図11は、様々な装置を備える電子機器1100を示したが、全ての示された装置を実施または具備することが必要ではないことが理解されるべきである。代わりに、より多いまたはより少ない装置を実施または具備してもよい。
特に、本願の実施例によれば、上記フローチャートを参照して記述した過程は、コンピュータソフトウェアプログラムとして実現され得る。例えば、本願の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信装置1109によりネットワークからダウンロードされてインストールされてもよいし、記憶装置1108からインストールされてもよいし、ROM 1102からインストールされてもよい。該コンピュータプログラムが処理装置1101により実行されると、本願の実施例の方法で限定される上記機能を実行する。
本願の実施形態における複数の装置間でインタラクションされるメッセージまたは情報の名称は、説明するためのものに過ぎず、これらのメッセージまたは情報の範囲を限定するためのものではない。
本願の実施例に係る電子機器は、上記実施例に係る画像データセット処理方法と同じ発明思想に属し、本実施例で詳しく説明されていない技術詳細は、上記実施例を参照することができ、且つ、本実施例は上記実施例と同じ有益な効果を有する。
本願の実施例は、プロセッサによって実行されると、上記実施例に係る画像データセット処理方法を実現するコンピュータプログラムが記憶されるコンピュータ記憶媒体を提供する。
なお、本願に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、コンピュータ可読記憶媒体であってもよいし、上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、あるいは以上の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の更なる具体的な例は、1つまたは複数のリード線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。本願において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスに使用され得る、または命令実行システム、装置またはデバイスと合わせて使用され得るプログラムを含有または記憶する任意の有形的な媒体であってもよい。本願において、コンピュータ可読信号媒体は、ベースバンドでまたは搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが担持されている。このような伝搬されるデータ信号は、様々な形式を採用することができ、電磁信号、光信号または上記内容の任意の適当な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送でき、電線、光ケーブル、RF(無線周波数)等、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。
いくつかの実施形態において、クライアント、サーバは、HTTP(Hyper Text Transfer Protocol、ハイパーテキストトランスファープロトコル)のような、任意の現在知られているまたは将来研究開発されるネットワークプロトコルを利用して通信することができ、且つ、任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、ネットワークオフネットワーク(例えば、インターネット)およびピアツーピアネットワーク(例えば、ad hocピアツーピアネットワーク)、および任意の現在知られているまたは将来研究開発されるネットワークを含む。
上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、単独で存在して該電子機器に取り付けられていないものであってもよい。
上記コンピュータ可読媒体に1つまたは複数のプログラムが担持され、上記1つまたは複数のプログラムが該電子機器により実行されると、該電子機器は、
複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得し、前記初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得し、前記第1画像検出結果を基準検出結果として前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得し、前記比較結果に基づいて比較タイプを確定し、前記比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含み、前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定し、前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択し、前記目標自動運転画像データセットにおけるタグを調整する。
1種または複数種のプログラミング言語またはその組み合わせで本願の操作を実行するためのコンピュータプログラムコードを記述することができ、上記プログラミング言語は、Java、Smalltalk、C++のようなオブジェクト指向プログラミング言語を含み、「C」言語のような通常の手続型プログラミング言語または類似するプログラミング言語を更に含む。プログラムコードは、完全にユーザのコンピュータで実行されてもよいし、部分的にユーザのコンピュータで実行されてもよいし、1つの独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザのコンピュータで部分的にリモートコンピュータで実行されてもよいし、完全にリモートコンピュータまたは業務サーバで実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータ(例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する)に接続することができる。
図面におけるフローチャートおよびブロック図は、本願の様々な実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示す。この点で、フローチャートまたはブロック図における各ブロックは、1つのモジュール、プログラム、またはコードの一部を表すことができ、該モジュール、プログラム、またはコードの一部は、所定のロジック機能を実現するための1つまたは複数の実行可能命令を含む。なお、代替としてのいくつかの実現において、ブロックに記載された機能は、図面に記載された順序と異なる順序で発生してもよい。例えば、接続されているように示された2つのブロックは、関する機能によって、実際にほぼ並行して実行してもよいし、逆の順序で実行してもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、所定の機能または操作を実行する専用のハードウェアに基づくシステムで実現してもよいし、専用のハードウェアとコンピュータ命令との組み合わせで実現してもよい。
本願の実施例に係るユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、ある場合、該ユニット自体を限定するものではなく、例えば、第1取得ユニットは、「少なくとも2つのインターネットプロトコルアドレスを取得するユニット」と記述されてもよい。
本稿に係る機能は、少なくとも部分的に1つまたは複数のハードウェアロジックコンポーネントにより実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準パーツ(ASSP)、システムオンチップのシステム(SOC)、複合プログラマブルロジックデバイス(CPLD)等を含む。
本願の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、1つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用ディスク(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。
以上の記述は、本願の好ましい実施例および使用される技術原理についての説明に過ぎない。当業者であれば、本願に係る開示範囲は、上記技術的特徴の特定の組み合わせで構成される技術案に限定されるものではなく、それとともに、上記開示の思想から逸脱しない場合、上記技術的特徴またはその均等な特徴を任意に組み合わせることで形成される他の技術案も含むべきであることが理解されるべきである。例えば、上記特徴と本願に開示された(これらに限定されない)類似する機能を持つ技術的特徴とを互いに置き換えて形成される技術案である。
また、特定の順番で各操作を記述したが、これらの操作を示された特定の順番または正方向順番で実行する必要があると理解されるべきではない。一定の環境において、マルチタスクおよび並行処理が有利である可能性がある。同様に、以上の検討に複数の具体的な実現詳細が含まれているが、これらは本願の範囲を限定するものと理解されるべきではない。単独な実施例の説明に記述された一部の特徴は、組み合わせて単一の実施例で実現されてもよい。逆に、単一の実施例の説明に記述された様々な特徴は、単独で、または任意の適当なサブ組み合わせの方式で複数の実施例で実現されてもよい。
構造的特徴および/または方法論理動作に特定された言語を用いて本主題を記述したが、添付の特許請求の範囲に限定される主題は、必ずしも上述した特定の特徴または動作に限定されないことが理解されるべきである。逆に、上述した特定の特徴および動作は、特許請求の範囲を実現する例示的な形式に過ぎない。

Claims (18)

  1. 記憶装置とプロセッサとを備える画像データセット処理装置により実行される画像データセット処理方法であって、
    前記プロセッサが、高レベルの自動運転試験車両により採集される複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを前記記憶装置から取得することと、
    前記プロセッサが、前記初期自動運転画像データセットを、記憶装置に記憶されたサーバ側モデルである第1自動運転検出モデルおよびエッジ側モデルである第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得することと、
    前記プロセッサが、前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得することであって、前記第1画像検出結果を基準検出結果とすることと、
    前記プロセッサが、前記比較結果に基づいて比較タイプを確定し、前記比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含むことと、
    前記プロセッサが、前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定することと、
    前記プロセッサが、前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択し、前記目標自動運転画像データセットにおけるタグを調整することと、を含む、
    画像データセット処理方法。
  2. 各初期自動運転画像は、少なくとも1つの目標対象を含み、
    前記第1画像検出結果は、少なくとも1つの目標対象の第1検出枠情報、前記少なくとも1つの目標対象のそれぞれに対応する第1カテゴリ、前記第1カテゴリの第1信頼度、および前記第1検出枠情報に対応する第1面積を含み、
    前記第2画像検出結果は、少なくとも1つの目標対象の第2検出枠情報、前記少なくとも1つの目標対象のそれぞれに対応する第2カテゴリ、前記第2カテゴリに対応する第2信頼度、前記第2検出枠情報に対応する第2面積を含み、
    前記比較結果は、カテゴリ比較結果を含み、
    前記プロセッサが、前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得することは、
    前記第1カテゴリと前記第2カテゴリとを比較し、カテゴリ比較一致およびカテゴリ比較不一致を含むカテゴリ比較結果を取得することを含む、
    請求項1に記載の方法。
  3. 前記プロセッサが、前記比較結果に基づいて比較タイプを確定することは、
    第1検出枠情報および前記第2検出枠情報に基づいてIoUを確定することと、
    前記第1面積および/または第2面積に基づいて第1のIoU設定値を確定することと、
    前記IoUが第1のIoU設定値以上であり、且つ前記カテゴリ比較結果がカテゴリ比較一致である場合、前記比較タイプを真ポジティブ例として確定することと、
    前記IoUが第1のIoU設定値よりも小さく、および/または前記カテゴリ比較結果がカテゴリ比較不一致である場合、前記比較タイプを偽ポジティブ例および偽ネガティブ例として確定し、または、
    前記第1画像検出結果に目標対象の第1検出枠情報が含まれ、前記第2画像検出結果に前記目標対象の第2検出枠情報が含まない場合、前記比較タイプを偽ネガティブ例として確定し、
    前記第1画像検出結果に目標対象の第1検出枠情報が含まず、前記第2画像検出結果に前記目標対象の第2検出枠情報が含まれる場合、前記比較タイプを偽ポジティブ例として確定することと、を含む、
    請求項2に記載の方法。
  4. 前記プロセッサが、前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定することは、
    いずれかの初期自動運転画像の評価スコアに対し、比較タイプに基づいて初期自動運転画像における目標対象の評価スコアを確定することと、
    前記初期自動運転画像のシーンスコアを確定することと、
    前記目標対象の評価スコアおよび前記シーンスコアに基づいて初期自動運転画像の評価スコアを確定することと、を含む、
    請求項3に記載の方法。
  5. 比較タイプに基づいて初期自動運転画像における目標対象の評価スコアを確定することは、
    比較タイプに基づいて目標対象のIoUスコア、信頼度スコアおよび面積スコアのうちの少なくとも1つを確定することと、
    目標対象に対応する予め設定されたカテゴリスコアを取得することと、
    前記IoUスコア、前記信頼度スコア、前記面積スコアおよび前記カテゴリスコアのうちの少なくとも1つに基づいて目標対象の評価スコアを確定することと、を含む、
    請求項4に記載の方法。
  6. 比較タイプに基づいて目標対象のIoUスコアを確定することは、
    前記第1面積および/または第2面積に基づいて第2のIoU設定値を確定し、前記第2のIoU設定値が前記第1のIoU設定値よりも大きいことと、
    前記比較タイプ、前記第1のIoU設定値、第2のIoU設定値および前記IoUに基づいてIoU評価スコアを確定することと、を含む、
    請求項5に記載の方法。
  7. 前記比較タイプ、前記第1のIoU設定値、第2のIoU設定値および前記IoUに基づいてIoU評価スコアを確定することは、
    前記比較タイプが偽ポジティブ例または偽ネガティブ例で、且つ前記IoUが前記第1のIoU設定値よりも小さい場合、IoU評価スコアは第1設定IoU評価スコアであることと、
    前記比較タイプが真ポジティブ例で、且つ前記IoUが前記第2のIoU設定値以上である場合、IoU評価スコアは第2設定IoU評価スコアであることと、
    前記比較タイプが真ポジティブ例で、且つ前記IoUが前記第1のIoU設定値と第2のIoU設定値で構成された区間内にある場合、第2のIoU設定値および前記IoUに基づいて第1のIoU評価スコアを確定することと、
    前記第2のIoU設定値および前記第1のIoU設定値に基づいて第2のIoU評価スコアを確定することと、
    前記第1のIoU評価スコアおよび前記第2のIoU評価スコアに基づいてIoU評価スコアを確定することと、を含む、
    請求項6に記載の方法。
  8. 比較タイプに基づいて目標対象の信頼度スコアを確定することは、
    前記比較タイプが偽ポジティブ例である場合、第2信頼度の第1評価スコアを確定し、前記第2信頼度の第1評価スコアを目標対象の信頼度スコアとすることと、
    前記比較タイプが偽ネガティブ例である場合、第1信頼度の第1評価スコアを確定し、前記第1信頼度の第1評価スコアを目標対象の信頼度スコアとすることと、
    前記比較タイプが真ポジティブ例である場合、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアをそれぞれ確定し、第1信頼度の第2評価スコアおよび第2信頼度の第2評価スコアに基づいて目標対象の信頼度スコアを確定することと、を含む、
    請求項5に記載の方法。
  9. 第1信頼度の第1評価スコアを確定すること、または第2信頼度の第1評価スコアを確定することは、
    第1信頼度閾値および第2信頼度閾値を取得し、前記第2信頼度閾値が前記第1信頼度閾値よりも大きいことと、
    前記第1信頼度または前記第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第1評価スコアまたは第2信頼度の第1評価スコアとすることと、
    前記第1信頼度が第2信頼度閾値以上であり、もしくは前記第2信頼度が第2信頼度閾値以上である場合、第2設定信頼度スコアを第1信頼度の第1評価スコアまたは第2信頼度の第1評価スコアとすることと、
    前記第1信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第1信頼度、前記第2信頼度閾値および前記第1信頼度閾値に基づいて第1信頼度スコアを確定することと、
    前記第2信頼度閾値および前記第1信頼度閾値に基づいて第2信頼度スコアを確定することと、
    前記第1信頼度スコアおよび前記第2信頼度スコアに基づいて第1信頼度の第1評価スコアを確定することと、
    または、
    前記第2信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第2信頼度、前記第2信頼度閾値および前記第1信頼度閾値に基づいて第3信頼度スコアを確定することと、
    前記第2信頼度閾値および前記第1信頼度閾値に基づいて第4信頼度スコアを確定することと、
    前記第3信頼度スコアおよび前記第4信頼度スコアに基づいて第2信頼度の第1評価スコアを確定することと、を含む、
    請求項8に記載の方法。
  10. 第1信頼度の第2評価スコアを確定すること、または第2信頼度の第2評価スコアを確定することは、
    前記第1信頼度または前記第2信頼度が第1信頼度閾値よりも小さい場合、第1設定信頼度スコアを第1信頼度の第2評価スコアまたは第2信頼度の第2評価スコアとすることと、
    前記第1信頼度が第1信頼度閾値以上であり、もしくは前記第2信頼度が第2信頼度閾値以上である場合、第1設定信頼度スコアを第1信頼度の第2評価スコアまたは第2信頼度の第2評価スコアとすることと、
    前記第1信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第1信頼度および第2信頼度閾値に基づいて第5信頼度スコアを確定することと、
    第2信頼度閾値および第1信頼度閾値に基づいて第6信頼度スコアを確定することと、
    前記第5信頼度スコアおよび前記第6信頼度スコアに基づいて第1信頼度の第2評価スコアを確定することと、
    または、
    前記第2信頼度が前記第1信頼度閾値と前記第2信頼度閾値で構成された区間内にある場合、前記第2信頼度および第2信頼度閾値に基づいて第7信頼度スコアを確定することと、
    第2信頼度閾値および第1信頼度閾値に基づいて第8信頼度スコアを確定することと、
    前記第7信頼度スコアおよび前記第8信頼度スコアに基づいて第2信頼度の第2評価スコアを確定することと、を含む、
    請求項9に記載の方法。
  11. 比較タイプに基づいて目標対象の面積スコアを確定することは、
    前記比較タイプが偽ポジティブ例である場合、第2面積の第1評価スコアを確定し、前記第2面積の第1評価スコアを目標対象の面積スコアとすることと、
    前記比較タイプが偽ネガティブ例である場合、第1面積の第1評価スコアを確定し、前記第1面積の第1評価スコアを目標対象の面積スコアとすることと、
    前記比較タイプが真ポジティブ例である場合、第1面積の第2評価スコアおよび第2面積の第2評価スコアをそれぞれ確定し、第1面積の第2評価スコアおよび第2面積の第2評価スコアに基づいて目標対象の面積スコアを確定することと、を含む、
    請求項5に記載の方法。
  12. 第1面積の第1評価スコアを確定すること、または第2面積の第1評価スコアを確定することは、
    第1面積閾値および第2面積閾値を取得し、前記第2面積閾値が第1面積閾値よりも大きいことと、
    前記第1面積または前記第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第1評価スコアまたは第2面積の第1評価スコアとすることと、
    前記第1面積が第2面積閾値以上であり、もしくは前記第2面積が第2面積閾値以上である場合、第2設定面積スコアを第1面積の第1評価スコアまたは第2面積の第1評価スコアとすることと、
    前記第1面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第1面積、第2面積閾値および第1面積閾値に基づいて第1面積スコアを確定することと、
    第2面積閾値および第1面積閾値に基づいて第2面積スコアを確定することと、
    前記第1面積スコアおよび前記第2面積スコアに基づいて第1面積の第1評価スコアを確定することと、
    または、
    前記第2面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第2面積、第2面積閾値および第1面積閾値に基づいて第3面積スコアを確定することと、
    第2面積閾値および第1面積閾値に基づいて第4面積スコアを確定することと、
    前記第3面積スコアおよび前記第4面積スコアに基づいて第2面積の第1評価スコアを確定することと、を含む、
    請求項11に記載の方法。
  13. 第1面積の第2評価スコアを確定すること、または第2面積の第2評価スコアを確定することは、
    前記第1面積または前記第2面積が第1面積閾値よりも小さい場合、第1設定面積スコアを第1面積の第2評価スコアまたは第2面積の第2評価スコアとすることと、
    前記第1面積が第1面積閾値以上であり、もしくは前記第2面積が第1面積閾値以上である場合、第2設定面積スコアを第1面積の第2評価スコアまたは第2面積の第2評価スコアとすることと、
    前記第1面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第1面積および第1面積閾値に基づいて第5面積スコアを確定することと、
    第2面積閾値および第1面積閾値に基づいて第6面積スコアを確定することと、
    前記第5面積スコアおよび前記第6面積スコアに基づいて第1面積の第2評価スコアを確定することと、
    または、
    前記第2面積が前記第1面積閾値と前記第2面積閾値で構成された区間内にある場合、前記第2面積および第1面積閾値に基づいて第7面積スコアを確定することと、
    第2面積閾値および第1面積閾値に基づいて第8面積スコアを確定することと、
    前記第7面積スコアおよび前記第8面積スコアに基づいて第2面積の第2評価スコアを確定することと、を含む、
    請求項12に記載の方法。
  14. 前記初期自動運転画像のシーンスコアを確定することは、
    前記初期自動運転画像を自動運転シーンモデルに入力し、予測シーン情報を出力することと、
    前記初期自動運転画像に対応する設定シーン情報を取得することと、
    前記予測シーン情報および前記設定シーン情報に基づいてシーン類似度を確定することと、
    前記シーン類似度に基づいて初期自動運転画像のシーンスコアを確定することと、を含む、
    請求項4に記載の方法。
  15. 前記プロセッサが、前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択することは、
    前記複数の初期自動運転画像の評価スコアに基づいて前記複数の初期自動運転画像を順位付け、順位付けた後の初期自動運転画像データセットを取得することと、
    前記順位付けた後の初期自動運転画像データセットから設定数の目標自動運転画像データセットを選択することと、を含む、
    請求項1に記載の方法。
  16. 複数の初期自動運転画像および対応するタグを含む初期自動運転画像データセットを取得するように構成される初期自動運転画像データセット取得モジュールと、
    前記初期自動運転画像データセットを第1自動運転検出モデルおよび第2自動運転検出モデルにそれぞれ入力し、第1画像検出結果および第2画像検出結果をそれぞれ取得するように構成される画像検出結果取得モジュールと、
    前記第1画像検出結果と前記第2画像検出結果とを比較し、比較結果を取得するように構成される画像検出結果比較モジュールであって、前記第1画像検出結果を基準検出結果とする画像検出結果比較モジュールと、
    前記比較結果に基づいて比較タイプを確定するように構成される比較タイプ確定モジュールであって、前記比較タイプが真ポジティブ例、偽ポジティブ例および偽ネガティブ例を含む比較タイプ確定モジュールと、
    前記比較タイプに基づいて前記複数の初期自動運転画像の評価スコアを確定するように構成される評価スコア確定モジュールと、
    前記複数の初期自動運転画像の評価スコアに基づいて前記初期自動運転画像データセットから目標自動運転画像データセットを選択し、前記目標自動運転画像データセットにおけるタグを調整するように構成される目標自動運転画像データセット選択モジュールと、を備える、
    画像データセット処理装置。
  17. 少なくとも1つのプロセッサと、
    少なくとも1つのプログラムを記憶するように構成される記憶装置と、を備え、
    前記少なくとも1つのプログラムが前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサは、請求項1から15のいずれか1項に記載の画像データセット処理方法を実現する、
    電子機器。
  18. コンピュータプロセッサによって実行されると、請求項1から15のいずれか1項に記載の画像データセット処理方法を実行するためのコンピュータ実行可能命令を含む、
    記憶媒体。
JP2024558970A 2023-07-26 2024-03-29 画像データセット処理方法、装置、機器および記憶媒体 Active JP7842892B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202310922726.X 2023-07-26
CN202310922726.XA CN117115580B (zh) 2023-07-26 2023-07-26 图像数据集处理方法、装置、设备及存储介质
PCT/CN2024/084979 WO2025020569A1 (zh) 2023-07-26 2024-03-29 图像数据集处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2025528640A JP2025528640A (ja) 2025-09-02
JP7842892B2 true JP7842892B2 (ja) 2026-04-08

Family

ID=88795550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024558970A Active JP7842892B2 (ja) 2023-07-26 2024-03-29 画像データセット処理方法、装置、機器および記憶媒体

Country Status (4)

Country Link
EP (1) EP4528669A4 (ja)
JP (1) JP7842892B2 (ja)
CN (1) CN117115580B (ja)
WO (1) WO2025020569A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115580B (zh) * 2023-07-26 2026-02-06 成都市德赛西威卡蛙科技有限公司 图像数据集处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021105951A (ja) 2019-12-27 2021-07-26 日本電気株式会社 画像分析装置、画像分析方法及びコンピュータプログラム
CN114022858A (zh) 2021-10-18 2022-02-08 西南大学 一种针对自动驾驶的语义分割方法、系统、电子设备及介质
CN114511715A (zh) 2022-01-05 2022-05-17 惠州市德赛西威汽车电子股份有限公司 一种驾驶场景数据挖掘方法
CN114742145A (zh) 2022-04-02 2022-07-12 中国科学院软件研究所 目标检测模型的性能测试方法、装置、设备及存储介质
CN115713749A (zh) 2022-11-30 2023-02-24 北京百度网讯科技有限公司 自动驾驶模型的训练方法、装置、电子设备和存储介质
US20230061830A1 (en) 2021-09-02 2023-03-02 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2892036B1 (en) * 2014-01-06 2017-12-06 Harman International Industries, Incorporated Alert generation correlating between head mounted imaging data and external device
US20190294927A1 (en) * 2018-06-16 2019-09-26 Moshe Guttmann Selective update of inference models
US11164399B2 (en) * 2019-06-29 2021-11-02 Gm Cruise Holdings Llc Automatic detection of data for annotation for autonomous vehicle perception
CN112200218B (zh) * 2020-09-10 2023-06-20 浙江大华技术股份有限公司 一种模型训练方法、装置及电子设备
CN115661502A (zh) * 2021-07-07 2023-01-31 华为技术有限公司 图像处理方法、电子设备及存储介质
CN114415628A (zh) * 2021-12-28 2022-04-29 阿波罗智联(北京)科技有限公司 自动驾驶测试方法及装置、电子设备和存储介质
CN114299037B (zh) * 2021-12-30 2023-09-01 广州极飞科技股份有限公司 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质
CN114527675B (zh) * 2021-12-31 2025-05-09 广州文远知行科技有限公司 自动驾驶仿真测试方法、装置、设备及存储介质
CN115439828A (zh) * 2022-09-22 2022-12-06 东风汽车股份有限公司 自动驾驶数据增广方法、装置、设备及存储介质
CN115527083B (zh) * 2022-09-27 2023-04-11 中电金信软件有限公司 图像标注方法、装置和电子设备
CN115797701A (zh) * 2022-12-22 2023-03-14 重庆长安汽车股份有限公司 目标分类方法、装置、电子设备及存储介质
CN116091869A (zh) * 2023-02-23 2023-05-09 长城汽车股份有限公司 模型训练方法、图像标注方法、装置、电子设备及介质
CN116452957B (zh) * 2023-06-20 2023-09-26 小米汽车科技有限公司 图像标注数据的质量检测方法、装置及电子设备
CN117115580B (zh) * 2023-07-26 2026-02-06 成都市德赛西威卡蛙科技有限公司 图像数据集处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021105951A (ja) 2019-12-27 2021-07-26 日本電気株式会社 画像分析装置、画像分析方法及びコンピュータプログラム
US20230061830A1 (en) 2021-09-02 2023-03-02 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
CN114022858A (zh) 2021-10-18 2022-02-08 西南大学 一种针对自动驾驶的语义分割方法、系统、电子设备及介质
CN114511715A (zh) 2022-01-05 2022-05-17 惠州市德赛西威汽车电子股份有限公司 一种驾驶场景数据挖掘方法
CN114742145A (zh) 2022-04-02 2022-07-12 中国科学院软件研究所 目标检测模型的性能测试方法、装置、设备及存储介质
CN115713749A (zh) 2022-11-30 2023-02-24 北京百度网讯科技有限公司 自动驾驶模型的训练方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN117115580A (zh) 2023-11-24
WO2025020569A1 (zh) 2025-01-30
CN117115580B (zh) 2026-02-06
JP2025528640A (ja) 2025-09-02
EP4528669A4 (en) 2026-01-21
EP4528669A1 (en) 2025-03-26

Similar Documents

Publication Publication Date Title
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
JP6893564B2 (ja) ターゲット識別方法、装置、記憶媒体および電子機器
US20250086806A1 (en) Image processing method and apparatus, electronic device and storage medium
CN115061386B (zh) 智能驾驶的自动化仿真测试系统及相关设备
CN110660102B (zh) 基于人工智能的说话人识别方法及装置、系统
US11521331B2 (en) Method and apparatus for generating position information, device, and medium
CN111222509B (zh) 目标检测方法、装置及电子设备
JP7842892B2 (ja) 画像データセット処理方法、装置、機器および記憶媒体
CN110069997B (zh) 场景分类方法、装置及电子设备
CN112861935B (zh) 模型生成方法、对象分类方法、装置、电子设备及介质
CN113269301A (zh) 基于神经网络估计多目标跟踪系统参数的方法及系统
CN112906551B (zh) 视频处理方法、装置、存储介质及电子设备
CN115130604B (zh) 多任务模型训练方法、检测方法、装置、终端设备及介质
CN111832354A (zh) 目标对象年龄识别方法、装置及电子设备
CN111684491A (zh) 目标跟踪方法、目标跟踪装置和无人机
CN117201836A (zh) 一种视频画质检测方法、装置、设备和存储介质
CN117765358A (zh) 一种多尺度多采样点的采样融合方法及装置
CN112926629B (zh) 超参数确定方法、装置、深度强化学习框架、介质及设备
CN116358530A (zh) 姿态信息估计方法、装置、存储介质及设备
CN111124862B (zh) 智能设备性能测试方法、装置及智能设备
CN115619456A (zh) 对象推荐方法、装置、介质以及电子设备
CN114648629A (zh) 感兴趣区域生成方法、装置、设备和计算机可读介质
CN112926735B (zh) 深度强化学习模型的更新方法、装置、框架、介质及设备
CN117808848B (zh) 一种识别跟踪方法、装置、电子设备及存储介质
CN115267851B (zh) 一种导航同步通讯方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260327

R150 Certificate of patent or registration of utility model

Ref document number: 7842892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150