JP7467773B2 - 教師データ生成装置、教師データ生成方法、及び画像処理装置 - Google Patents

教師データ生成装置、教師データ生成方法、及び画像処理装置 Download PDF

Info

Publication number
JP7467773B2
JP7467773B2 JP2023523453A JP2023523453A JP7467773B2 JP 7467773 B2 JP7467773 B2 JP 7467773B2 JP 2023523453 A JP2023523453 A JP 2023523453A JP 2023523453 A JP2023523453 A JP 2023523453A JP 7467773 B2 JP7467773 B2 JP 7467773B2
Authority
JP
Japan
Prior art keywords
input image
generating
polygon data
data
recognition target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023523453A
Other languages
English (en)
Other versions
JPWO2022249997A1 (ja
JPWO2022249997A5 (ja
Inventor
康平 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2022249997A1 publication Critical patent/JPWO2022249997A1/ja
Publication of JPWO2022249997A5 publication Critical patent/JPWO2022249997A5/ja
Application granted granted Critical
Publication of JP7467773B2 publication Critical patent/JP7467773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Description

関連出願へのクロスリファレンス
本出願は、日本国特許出願２０２１－８７２０６号（２０２１年５月２４日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本開示は、教師データ生成装置、教師データ生成方法、及び画像処理装置に関する。
従来、機械学習モデルを用いて画像をセグメンテーションした結果に基づいて画像に付したラベルを含む教師データを作成する装置が知られている（例えば特許文献１参照）。
特開２０１９－１０１５３５号公報
本開示の一実施形態に係る教師データ生成装置は、入力部と、制御部と、出力部とを備える。前記入力部は、認識対象の画像を含む少なくとも１つの入力画像を取得する。前記制御部は、前記入力画像の第１領域から前記認識対象の画像と判断された部分の輪郭に沿ったポリゴンデータの生成を行う第１の処理を実行する。前記制御部は、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行する。前記制御部は、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータを修正した修正ポリゴンデータを生成する。前記制御部は、前記入力画像に対してラベル情報を付与し、教師データを生成する。前記出力部は、前記教師データを出力する。
本開示の一実施形態に係る教師データ生成方法は、認識対象の画像を含む少なくとも１つの入力画像を取得することを含む。前記教師データ生成方法は、前記入力画像の第１領域から前記認識対象の画像と判断された部分の輪郭に沿ったポリゴンデータの生成を行う第１の処理を実行することを含む。前記教師データ生成方法は、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することを含む。前記教師データ生成方法は、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータを修正した修正ポリゴンデータを生成することを含む。前記教師データ生成方法は、前記入力画像に対してラベル情報を付与することを含む。前記教師データ生成方法は、教師データを生成して出力することを含む。
本開示の一実施形態に係る画像処理装置は、入力部と、制御部とを備える。前記入力部は、認識対象の画像を含む少なくとも１つの入力画像を取得する。前記制御部は、前記入力画像の第１領域から前記認識対象の画像と判断された部分の輪郭に沿ったポリゴンデータの生成を行う第１の処理を実行する。前記制御部は、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行する。前記制御部は、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータを修正した修正ポリゴンデータを生成する。
一実施形態に係る教師データ生成装置の構成例を示すブロック図である。 認識対象を含む入力画像の一例を示す図である。 入力画像に対して前処理を実行した前処理画像の一例を示す図である。 認識対象の初期ポリゴンを生成した初期ポリゴン画像の一例を示す図である。 初期ポリゴンの生成モードを選択する操作画面の一例を示す図である。 スーパーピクセルを実行して領域を生成したセグメント画像の一例を示す図である。 指定領域に対してスーパーピクセルを実行したセグメント画像の一例を示す図である。 認識対象のポリゴンに含まれる領域のうち削除領域が特定されたセグメント画像の一例を示す図である。 初期ポリゴンを修正して修正ポリゴンを生成した修正ポリゴン画像の一例を示す図である。 初期ポリゴンと修正ポリゴンとを比較する図である。 教師データ生成方法の手順例を示すフローチャートである。 機械学習による推論によって初期ポリゴンを生成する手順の一例を示すフローチャートである。 色相データを用いた前景抽出によって初期ポリゴンを生成する手順の一例を示すフローチャートである。 グラフカットによって初期ポリゴンを生成する手順の一例を示すフローチャートである。 ポリゴンの修正データに基づいて初期ポリゴンの生成のための機械学習を実行する手順例を示すフローチャートである。 図１５のフローチャートの続きの手順を示すフローチャートである。
機械学習モデルを用いて対象物にラベル情報を付与する場合において、学習した対象物とは異なる対象物に対するラベル情報の付与の精度が低下し得る。つまり、ラベル情報の付与におけるロバスト性が低下し得る。本開示の一実施形態に係る教師データ生成装置、及び教師データ生成装置によれば、ラベル情報の付与におけるロバスト性が向上し得る。
（教師データ生成装置１０の構成例）
本開示の一実施形態に係る教師データ生成装置１０は、画素を有する画像データであって、認識対象５０（図２等参照）の画像を含む画像データに対して画素の単位でセグメンテーションを行う機械学習モデルを生成するための教師データを作成する。セグメンテーションを行う機械学習モデルは、第１機械学習モデルとも称される。教師データ生成装置１０は、認識対象５０の画像を含む少なくとも１つの入力画像４０（図２等参照）に対して認識対象５０の輪郭を表すポリゴンを関連づけた情報を、教師データとして生成する。
教師データ生成装置１０は、例えば以下の手順を実行することによって、教師データを生成してよい。教師データ生成装置１０は、入力画像４０において認識対象５０の画像と判断された部分の輪郭に沿ったポリゴンデータを生成する第１の処理を実行する。教師データ生成装置１０は、第１の処理において、ポリゴンデータの初期値として初期ポリゴン５１（図４参照）を生成する。また、教師データ生成装置１０は、入力画像４０を輝度勾配に基づいて領域分割したセグメント５２（図６等参照）を設定する第２の処理を実行する。教師データ生成装置１０は、第２の処理としてスーパーピクセルを実行し、入力画像４０に対してセグメンテーション情報を付与してよい。言い換えれば、教師データ生成装置１０は、スーパーピクセルを実行することによって、入力画像４０に対してセグメント５２を設定する。教師データ生成装置１０は、画像データに設定されたセグメント５２に基づいてポリゴンを修正し、修正ポリゴン５５（図９参照）を生成する。修正ポリゴン５５は、修正ポリゴンデータとも称される。教師データ生成装置１０は、入力画像４０においてポリゴンデータとして修正ポリゴン５５を生成したデータに入力画像４０に対するラベル情報を付与したデータを、教師データとして生成する。
図１に示されるように、教師データ生成装置１０は、入力部１２と、制御部１４と、出力部１６とを備える。入力部１２は、入力画像４０の入力を受け付ける。制御部１４は、入力部１２から入力画像４０を取得し、入力画像４０に基づいて教師データを生成する。出力部１６は、制御部１４で生成された教師データを出力する。
入力部１２は、入力画像４０の入力を受け付けるインタフェースを備える。出力部１６は、教師データを出力するインタフェースを備える。インタフェースは、有線又は無線で通信可能に構成される通信デバイスを含んで構成されてよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信デバイスは、既知の通信技術により構成することができる。
入力部１２は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてもよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。
制御部１４は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、制御部１４の種々の機能を実現するプログラムを実行してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
制御部１４は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報を格納する。記憶部は、制御部１４で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、制御部１４のワークメモリとして機能してよい。記憶部の少なくとも一部は、制御部１４とは別体として構成されてもよい。
本実施形態において、制御部１４は、画像処理部１４１と、初期ポリゴン生成部１４２と、スーパーピクセル部１４３と、ポリゴン修正部１４４と、ラベル付与部１４５と、教師データ生成部１４６とを備える。制御部１４の各構成部は、教師データを生成するために必要な処理を実行可能に構成されるとする。制御部１４は、複数の構成部それぞれに対応する複数のプロセッサを備えてよい。各プロセッサは、各構成部の処理を分担して実行可能に構成される。制御部１４は、１つのプロセッサで必要な処理を実行可能に構成されてもよい。
（教師データ生成装置１０の動作例）
教師データ生成装置１０の具体的な動作例が以下説明される。
＜画像の入力＞
入力部１２は、図２に例示される入力画像４０の入力を受け付け、制御部１４に出力する。入力画像４０は、認識対象５０の画像を含み、教師データの生成のために用いられる。入力部１２は、入力画像４０として、１枚の画像の入力を受け付けてもよいし、２枚以上の画像の入力を受け付けてもよい。
＜前処理＞
制御部１４の画像処理部１４１は、入力部１２から取得した入力画像４０に含まれるノイズの低減、及び、認識対象５０の輪郭の強調を目的とした画像処理を実行する。画像処理部１４１は、例えば、コントラスト補正、ガンマ補正、バイラテラルフィルタ、又はガウシアンフィルタ等の処理を実行してよい。画像処理部１４１は、取得した入力画像４０の内容、又は、画像処理の目的に応じて、認識対象５０の輪郭が強調されるように、処理を選択したり処理のパラメータを調整したりする。画像処理部１４１が実行する処理は、前処理とも称される。入力画像４０に対して前処理を実行して得られた画像は、前処理画像４１とも称される。前処理画像４１が図３に例示される。
＜初期ポリゴン生成＞
制御部１４の初期ポリゴン生成部１４２は、図４に例示されるように、前処理画像４１に対して初期ポリゴン５１を生成する。初期ポリゴン５１は、認識対象５０の輪郭を表す線である。初期ポリゴン５１を生成した画像は、ポリゴン生成画像４２とも称される。初期ポリゴン生成部１４２は、前処理が実行されない場合、入力画像４０に対して初期ポリゴン５１を生成する。初期ポリゴン５１を生成する処理は、第１の処理に含まれる。初期ポリゴン生成部１４２は、初期ポリゴン５１を生成するために、以下に述べる処理を実行してよい。
＜＜機械学習による推論＞＞
初期ポリゴン生成部１４２は、事前学習済みの機械学習モデルを用いて、入力された入力画像４０又は前処理画像４１に対して機械学習による物体検出の推論を実行し、出力された輪郭情報を初期ポリゴン５１として使用してよい。初期ポリゴン５１を生成するための推論に用いられる機械学習モデルは、第２機械学習モデルとも称される。初期ポリゴン生成部１４２は、認識対象５０の輪郭が複雑である場合に真の輪郭が出力されない可能性を考慮して、機械学習の推論によって得られた初期ポリゴン５１をコスト関数として、ポリゴン生成画像４２に対するグラフカット処理を更に実行してよい。初期ポリゴン生成部１４２は、グラフカット処理によって得られるデータを初期ポリゴン５１として使用してよい。
＜＜色相データを用いた前景抽出＞＞
輪郭抽出において、複数の認識対象５０を１つのクラスとして学習させて前景抽出に特化したモデルを事前学習済みモデルとして用いることが有効であると知られている。そこで、初期ポリゴン生成部１４２は、入力画像４０又は前処理画像４１に対して領域を指定し、指定した領域の背景色データを抽出し、背景色データの色相値を用いて得られる前景の輪郭を初期ポリゴン５１として使用してよい。このように前景を抽出する手法は、クロマキー合成等で知られる一般的な手法である。画像の背景が単純な構造である場合、認識対象５０としての前景の物体が複数ある場合においても高速に輪郭が抽出され得る。
＜＜グラフカット＞＞
初期ポリゴン生成部１４２は、ユーザが作成したコスト関数をグラフカット処理にかけて、得られたデータを初期ポリゴン５１として使用してもよい。
＜＜処理の選択＞＞
教師データ生成装置１０は、初期ポリゴン生成部１４２がどの処理を実行するか、ユーザが指定する入力を入力部１２で受け付けてよい。入力部１２は、ユーザインタフェースを含んでよい。例えば、入力部１２は、図５に示されるような選択画面をユーザに提示してユーザから処理を選択する入力を受け付けてもよい。図５に例示される各モードは、上述した処理のどれを実行するか指定する情報に関連づけられてよいし、上述した各処理を実行する際に指定するパラメータに関連づけられてもよい。
初期ポリゴン生成部１４２は、色相データを用いた前景抽出、グラフカット、若しくは、機械学習による推論のいずれかの手法、又は、これらを組み合わせた手法によって、初期ポリゴン５１を生成してもよい。色相データを用いた前景抽出は、色相情報に基づく背景除去とも言い換えられる。機械学習による推論は、第２機械学習モデルによる認識対象５０の検出の推論とも言い換えられる。初期ポリゴン生成部１４２は、第１の処理において、色相情報に基づく背景除去、グラフカット、及び、第２機械学習モデルによる認識対象５０の検出の推論のうち少なくとも１つを含む所定のアルゴリズムに基づいて、ポリゴンデータを生成してよい。
初期ポリゴン生成部１４２は、入力画像４０の少なくとも一部の領域を指定して、その領域内において初期ポリゴン５１を生成してよい。初期ポリゴン５１を生成する対象として指定される領域は、第１領域とも称される。
＜スーパーピクセル＞
スーパーピクセルは、入力画像４０の輝度勾配が高い箇所を抽出し、輪郭線に沿って画像内を複数領域に分割する画像処理手法として知られている。制御部１４のスーパーピクセル部１４３は、図６及び図７に例示されるように、入力画像４０の少なくとも一部を含む指定領域５３に対してスーパーピクセルを実行してセグメント５２に分割する。スーパーピクセル部１４３は、生成したセグメント５２の境界を特定するセグメンテーション情報を、画像に関連づける。セグメンテーション情報が関連づけられた画像は、セグメント画像４３とも称される。スーパーピクセルの実行は、第２の処理に含まれる。
スーパーピクセル部１４３は、スーパーピクセルの対象とする指定領域５３（図６参照）を適宜設定してよい。指定領域５３は、第２領域とも称される。スーパーピクセル部１４３は、初期ポリゴン５１のデータに基づいて初期ポリゴン５１を全て含むように指定領域５３を設定してもよい。例えば、図６において、スーパーピクセル部１４３は、４つの認識対象５０を含む範囲を指定領域５３としてセグメント５２を生成している。スーパーピクセル部１４３は、複数の初期ポリゴン５１が生成されている場合、各初期ポリゴン５１を個別に含むように指定領域５３を設定してもよい。例えば、図７において、スーパーピクセル部１４３は、各認識対象５０を個別に含む範囲を指定領域５３としてセグメント５２を生成している。スーパーピクセル部１４３は、ユーザから範囲を指定する入力を受け付けてユーザの指定に基づいて指定領域５３を設定してもよい。スーパーピクセル部１４３が指定領域５３を自動的に設定する場合、指定領域５３が初期ポリゴン５１の領域に対してどの程度の大きくするかを設定できるようにしてもよい。スーパーピクセル部１４３は、画像全体ではなく処理範囲を限定することによって、スーパーピクセル処理を高速化したり、スーパーピクセル処理の負荷を低減したりできる。
＜ポリゴン修正＞
制御部１４のポリゴン修正部１４４は、初期ポリゴン５１に基づいて、初期ポリゴン５１に対するセグメント５２の追加、又は、初期ポリゴン５１からの一部のセグメント５２の削除等を実行する。ポリゴン修正部１４４は、初期ポリゴン５１が認識対象５０の輪郭を正確に捉えていない箇所について、ユーザの操作に基づいて初期ポリゴン５１を修正したり、ラベルを付与しない初期ポリゴン５１のデータを削除したりする。例えば図８に示されるように、初期ポリゴン５１が認識対象５０の輪郭として認識対象５０の影も含んでいる場合、ポリゴン修正部１４４は、星印が付されたセグメント５２を削除対象領域５４として指定し、初期ポリゴン５１から削除する。ポリゴン修正部１４４は、削除対象領域５４を初期ポリゴン５１から削除することによって、図９に例示されるように認識対象５０の輪郭を正確にとらえた修正ポリゴン５５を生成できる。修正ポリゴン５５の情報が関連づけられた画像は、ポリゴン修正画像４４とも称される。なお、初期ポリゴン５１が、認識対象５０の輪郭を完全に含んでいない場合、すなわち星印が付されたセグメント５２が認識対象５０の物体の輪郭を形成している場合には、ポリゴン修正部１４４は、星印が付されたセグメント５２を初期ポリゴン５１として追加して修正ポリゴン５５を生成してもよい。
図１０を参照して、初期ポリゴン５１と修正ポリゴン５５とが比較される。ポリゴン修正部１４４は、初期ポリゴン５１に囲まれている範囲のうち削除対象領域５４を削除することによって、認識対象５０の真の輪郭に近い輪郭を表す修正ポリゴン５５を生成できる。
ポリゴン修正部１４４は、ユーザによる任意の画素又は領域の指定に基づいて初期ポリゴン５１を修正することに加えて、スーパーピクセル部１４３で生成したセグメンテーション情報に基づいて初期ポリゴン５１を修正してよい。ポリゴン修正部１４４は、例えばユーザから任意の画素値が指定された場合に、指定された画素値を含むセグメント５２を前景又は背景として修正することによって修正ポリゴン５５を生成できる。セグメンテーション情報に基づいて初期ポリゴン５１を修正する場合、ユーザが認識対象５０の真の輪郭線をなぞるように入力することによって修正する場合と比較して、初期ポリゴン５１を修正するために必要なユーザ操作が減少され得る。また、初期ポリゴン５１の修正が高速化され得る。例えば、図１０において、初期ポリゴン５１に囲まれている範囲のうち削除対象領域５４を背景として指定することによって、認識対象５０の影に相当する部分の修正が少ない操作で実現され得る。
ポリゴン修正部１４４は、自動で初期ポリゴン５１を修正してもよい。
制御部１４のラベル付与部１４５は、初期ポリゴン５１又は修正ポリゴン５５で輪郭を表した認識対象５０を説明するラベル情報を入力画像４０又は前処理画像４１に付与する。ラベル付与部１４５は、入力画像４０又は前処理画像４１で初期ポリゴン５１又は修正ポリゴン５５が生成されている場合、ラベル情報を初期ポリゴン５１又は修正ポリゴン５５に付与する。ラベル付与部１４５は、ユーザからラベル情報の入力を受け付け、ユーザが指定したラベル情報を付与してよい。ラベル付与部１４５は、機械学習による推論で決定されるラベル情報を付与してもよい。ラベル付与部１４５は、入力部１２から入力画像４０を取得した後からポリゴン修正部１４４で修正ポリゴン５５を生成するまでの期間の任意のタイミングでラベル情報を付与してよい。
制御部１４の教師データ生成部１４６は、入力画像４０と、修正ポリゴン５５のデータと、ラベル情報とを関連づけたデータを教師データとして生成し、出力部１６に出力する。
制御部１４は、入力部１２から複数の入力画像４０を取得した場合、各入力画像４０について上述してきた各処理を実行して教師データを生成する。
出力部１６は、制御部１４から取得した教師データを外部装置に出力する。
以上述べてきたように、本実施形態に係る教師データ生成装置１０は、初期ポリゴン５１を生成して修正することによって教師データを生成できる。
（教師データ生成方法の手順例）
教師データ生成装置１０の制御部１４は、図１１に例示されるフローチャートの手順を含む教師データ生成方法を実行してもよい。教師データ生成方法は、教師データ生成装置１０の制御部１４を構成するプロセッサに実行させる教師データ生成プログラムとして実現されてもよい。教師データ生成プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。
教師データ生成装置１０の制御部１４は、入力部１２を介して入力画像４０を取得する（ステップＳ１）。制御部１４は、入力画像４０に対して前処理を実行する（ステップＳ２）。制御部１４は、初期ポリゴン５１の生成モードを選択する（ステップＳ３）。制御部１４は、機械学習による推論、色相データを用いた前景抽出、及びグラフカットのいずれかのモードを選択する。
制御部１４は、初期ポリゴン５１を生成する（ステップＳ４）。制御部１４は、ステップＳ３の手順で選択したモードで初期ポリゴン５１を生成する。
＜機械学習による推論＞
制御部１４は、機械学習による推論のモードで初期ポリゴン５１を生成するために、図１２に示されるフローチャートの手順を実行する。
制御部１４は、機械学習モデルを取得する（ステップＳ１１）。制御部１４は、機械学習モデルを用いて入力画像４０から認識対象５０の輪郭を検出する推論を実行する（ステップＳ１２）。
制御部１４は、グラフカットを実行するか判定する（ステップＳ１３）。制御部１４は、グラフカットを実行すると判定しない場合（ステップＳ１３：ＮＯ）、ステップＳ１５の手順に進む。制御部１４は、グラフカットを実行すると判定した場合（ステップＳ１３：ＹＥＳ）、推論の実行によって検出した輪郭をコスト関数として入力画像４０にグラフカットを実行する（ステップＳ１４）。
制御部１４は、推論の実行によって検出された認識対象５０の輪郭に基づいて初期ポリゴン５１を生成する（ステップＳ１５）。制御部１４は、ステップＳ１５の手順の実行後、図１２のフローチャートの実行を終了して図１１のステップＳ５の手順に進む。
＜色相データを用いた前景抽出＞
制御部１４は、色相データを用いた前景抽出のモードで初期ポリゴン５１を生成するために、図１３に示されるフローチャートの手順を実行する。
制御部１４は、前景を抽出する対象とする範囲を指定する（ステップＳ２１）。制御部１４は、指定した範囲における背景色を周辺色相として取得する（ステップＳ２２）。制御部１４は、背景を除去する（ステップＳ２３）。制御部１４は、背景を除去することによって抽出した前景の輪郭に基づいて初期ポリゴン５１を生成する（ステップＳ２４）。制御部１４は、ステップＳ２４の手順の実行後、図１３のフローチャートの実行を終了して図１１のステップＳ５の手順に進む。
＜グラフカット＞
制御部１４は、グラフカットのモードで初期ポリゴン５１を生成するために、図１４に示されるフローチャートの手順を実行する。
制御部１４は、マスクを生成する（ステップＳ３１）。制御部１４は、マスクに基づいてグラフカットを実行する（ステップＳ３２）。制御部１４は、グラフカットが終了したか判定する（ステップＳ３３）。制御部１４は、グラフカットが終了していない場合（ステップＳ３３：ＮＯ）、ステップＳ３１の手順に戻る。制御部１４は、グラフカットが終了した場合（ステップＳ３３：ＹＥＳ）、グラフカットによる認識対象５０の抽出結果に基づいて初期ポリゴン５１を生成する（ステップＳ３４）。制御部１４は、ステップＳ３４の手順の実行後、図１４のフローチャートの実行を終了して図１１のステップＳ５の手順に進む。
制御部１４は、スーパーピクセルを実行する（ステップＳ５）。制御部１４は、スーパーピクセルによって生成したセグメント５２を特定するセグメンテーション情報に基づいてポリゴンを修正する（ステップＳ６）。制御部１４は、ラベル情報を付与する（ステップＳ７）。制御部１４は、他に教師データを生成する入力画像４０が存在するか、つまり次の画像データが存在するか判定する（ステップＳ８）。制御部１４は、次の入力画像４０が存在する場合（ステップＳ８：ＹＥＳ）、ステップＳ２の手順に戻って次の入力画像４０を処理する。制御部１４は、次の入力画像４０が存在しない場合（ステップＳ８：ＮＯ）、入力画像４０に対して入力画像４０において生成したポリゴンのデータとポリゴンに付与したラベル情報とを関連づけて教師データを生成する（ステップＳ９）。制御部１４は、ステップＳ９の手順の実行後、図１１のフローチャートの手順の実行を終了する。
制御部１４は、ステップＳ７のラベル情報の付与の手順をステップＳ１の後からステップＳ６の後までのどのタイミングで実行してもよい。制御部１４は、初期ポリゴン５１を生成する前にラベル情報を付与する場合、入力画像４０にラベル情報を付与する。制御部１４は、ラベル情報を付与した入力画像４０において初期ポリゴン５１を生成する場合、生成した初期ポリゴン５１に対して入力画像４０に付与したラベル情報を付与する。制御部１４は、入力画像４０に付与したラベル情報に適合する認識対象５０を抽出し、抽出した認識対象５０について初期ポリゴン５１を生成してもよい。
制御部１４は、図１１のステップＳ４の初期ポリゴン５１を生成する手順を、ステップＳ５のスーパーピクセルを実行する手順より後で実行してもよい。この場合、制御部１４は、セグメンテーション情報に基づいて初期ポリゴン５１を生成できる。
制御部１４は、ポリゴンを修正する際に、画像全体に再度スーパーピクセルを実行してもよい。例えば、制御部１４がステップＳ５の手順において入力画像４０の一部の範囲だけにスーパーピクセルを実行した場合、スーパーピクセルの範囲外にセグメンテーション情報が関連づけられない。したがって、制御部１４がポリゴンを修正する際に画像全体に再度スーパーピクセルを実行することは、種々の実施態様において想定され得る。
（小括）
以上述べてきたように、本実施形態に係る教師データ生成装置１０及び教師データ生成方法によれば、初期ポリゴン５１を生成して修正することによって、認識対象５０の輪郭を表すポリゴンを描画するためにかかる時間が短縮される。また、認識対象５０を前景として認識して初期ポリゴン５１を生成するためのユーザ操作が減少する。
また、入力された入力画像４０又は前処理画像４１に対してスーパーピクセルを実行することによって設定されるセグメント５２を特定するセグメンテーション情報に基づいて初期ポリゴン５１が修正される。このようにすることで、修正ポリゴン５５によって表される輪郭が認識対象５０の真の輪郭に近づくように、高精度に初期ポリゴン５１が修正される。また、初期ポリゴン５１の修正にかかる時間が短縮される。
また、スーパーピクセルを初期ポリゴン５１又は認識対象５０の周辺の範囲に限定して実行することによって、スーパーピクセルの処理負荷が低減される。その結果、計算コストが削減され得る。
比較例として、認識対象５０としての物体の輪郭を表すポリゴンデータをユーザの手作業によって生成する構成が考えられる。この場合、物体の輪郭が複雑であるほど、ユーザが輪郭を指定する作業量及び作業時間が増大する。本実施形態に係る教師データ生成装置１０及び教師データ生成方法によれば、初期ポリゴン５１の生成とその修正によって、ユーザの作業なしでも高精度でポリゴンが生成され得る。その結果、ユーザの作業量及び作業時間が低減され得る。
また、比較例として、連続画像に対して背景差分と深層学習とを組み合わせたアノテーションを実行することによって教師データを生成する構成が考えられる。しかし、この構成は、対象物が移動する連続画像であれば有効である一方、対象物が異なる複数の画像を含む場合、又は、物体が写っていない背景画像がない場合において有用でない。本実施形態に係る教師データ生成装置１０及び教師データ生成方法によれば、ポリゴンが高精度で生成され得る。その結果、同一ではない対象物に対するロバスト性が向上し得る。
また、比較例として、任意の背景から前景の輪郭を高精度で検出することによって教師データを生成する構成が考えられる。しかし、この構成において、１つの画像に複数の物体の画像が含まれる場合、前景領域の形状を入力する作業が増大する。本実施形態に係る教師データ生成装置１０及び教師データ生成方法によれば、初期ポリゴン５１の生成によって前景領域の形状の入力が省略され得る。その結果、ユーザの作業量及び作業時間が低減され得る。
また、比較例として、機械学習モデルを用いて画像の各画素のセグメンテーションにラベルを付与する構成が考えられる。しかし、この構成において、ラベルの付与の精度を高めるために、教師データを高精度に作成する必要がある。高精度な教師データを作成するために、初期の教師データを準備する作業時間及び作業コスト、並びに、機械学習モデルを生成するための学習を実行する計算負荷及び計算コストが発生する。本実施形態に係る教師データ生成装置１０及び教師データ生成方法によれば、初期ポリゴン５１の生成とその修正によって、ユーザの作業なしでも高精度でポリゴンが生成され得る。その結果、ユーザの作業量及び作業時間が低減され得る。
（他の実施形態）
以下、他の実施形態が説明される。
＜初期ポリゴン５１の修正データのフィードバック＞
教師データ生成装置１０は、複数の入力画像４０それぞれについて教師データを順次生成することがある。この場合、教師データ生成装置１０は、早い順番で処理した入力画像４０における初期ポリゴン５１の修正データを、後の順番で処理する入力画像４０における初期ポリゴン５１の生成にフィードバックしてよい。このようにすることで、初期ポリゴン５１の精度が高められる。その結果、初期ポリゴン５１の修正にかかる作業負荷又は計算負荷が低減し得る。
例えば、入力画像４０において生成した初期ポリゴン５１に認識対象５０である物体の影が含まれていたと仮定する。この場合、教師データ生成装置１０は、制御部１４のポリゴン修正部１４４において初期ポリゴン５１から影の部分を削除して修正ポリゴン５５を生成する。制御部１４は、削除した影の部分の画像を修正データとして特徴化し、後の順番で処理する入力画像４０における初期ポリゴン５１の生成に、修正データを特徴化したデータをフィードバックする。制御部１４は、影の部分の画像を修正データとして特徴化したデータに基づいて、入力画像４０から影の部分を検出し、初期ポリゴン５１を生成する際に最初から影の部分を除去できる。
影の部分等の修正した部分の画像を含む修正データを特徴化したデータは、例えば、画像の画素値情報、テキスチャ情報、又は形状情報等を含む。初期ポリゴン５１の修正データを特徴化したデータは、特徴化データとも称される。特徴化データは、制御部１４の画像処理部１４１において画像処理の種類を選択したり画像処理のパラメータを決定したりする条件としても使用され得る。つまり、画像処理部１４１は、ポリゴンデータの修正データに基づいて、後で処理する入力画像４０に対する前処理に適用するパラメータを修正してよい。前処理に適用するパラメータは、前処理パラメータ値とも称される。
制御部１４は、教師データを作成する場合に、同一種類の物体の画像を含む複数の入力画像４０を処理することがある。制御部１４が機械学習による推論で、同一種類の物体の画像を含む複数の入力画像４０を処理して初期ポリゴン５１を生成する場合、推論に用いる機械学習モデルとして、入力画像４０に対して過学習となっている機械学習モデルが使用され得る。例えば、制御部１４は、次の入力画像４０の処理を開始する際に所定条件を満たす場合に、既に処理した入力画像４０に基づいて生成した教師データを用いた学習によって、初期ポリゴン５１の生成のために用いる機械学習モデルを生成して転移してもよい。
制御部１４は、以前に実行した入力画像４０の処理における初期ポリゴン５１（ポリゴンデータ）と修正ポリゴン５５（修正ポリゴンデータ）との差分に基づいて、次に処理する入力画像４０の前処理として入力画像４０を補正してもよい。また、制御部１４は、以前に実行した入力画像４０の処理における初期ポリゴン５１（ポリゴンデータ）から修正ポリゴン５５（修正ポリゴンデータ）への修正データに基づいて、次に処理する入力画像４０の前処理として入力画像４０を補正してもよい。
制御部１４は、図１５及び図１６に例示されるフローチャートの手順を含む教師データ生成方法を実行することによって、以上述べてきたように初期ポリゴン５１の修正データをフィードバックしてもよい。
制御部１４は、入力部１２を介して入力画像４０を取得する（ステップＳ５１）。制御部１４は、入力画像４０に対して前処理を実行する（ステップＳ５２）。制御部１４は、初期ポリゴン５１の生成モードを選択する（ステップＳ５３）。制御部１４は、初期ポリゴン５１を生成する（ステップＳ５４）。制御部１４は、ステップＳ５３の手順で選択したモードで初期ポリゴン５１を生成する。制御部１４は、ステップＳ５４の手順において、図１２、図１３又は図１４のいずれかに示される手順を実行してよい。図１５のステップＳ５１からＳ５４までの各手順は、図１１のステップＳ１からＳ４までの各手順に対応する。
制御部１４は、初期ポリゴン５１を自動で修正する（ステップＳ５５）。具体的に、制御部１４は、現在処理中の入力画像４０より前に入力画像４０を処理したときの初期ポリゴン５１の修正データに基づいて、初期ポリゴン５１を修正してよい。制御部１４は、ステップＳ５５の手順を実行しなくてもよい。
制御部１４は、スーパーピクセルを実行する（ステップＳ５６）。制御部１４は、スーパーピクセルによって生成したセグメント５２を特定するセグメンテーション情報に基づいてポリゴンを修正する（ステップＳ５７）。制御部１４は、ラベル情報を付与する（ステップＳ５８）。制御部１４は、他に教師データを生成する入力画像４０が存在するか、つまり次の画像データが存在するか判定する（ステップＳ５９）。制御部１４は、次の入力画像４０が存在しない場合（ステップＳ５９：ＮＯ）、入力画像４０に対して入力画像４０において生成したポリゴンのデータとポリゴンに付与したラベル情報とを関連づけて教師データを生成する（ステップＳ６０）。制御部１４は、ステップＳ６０の手順の実行後、図１１のフローチャートの手順の実行を終了する。図１５のステップＳ５６からＳ６０までの各手順は、図１１のステップＳ５からＳ９までの各手順に対応する。
制御部１４は、次の入力画像４０が存在する場合（ステップＳ５９：ＹＥＳ）、前の入力画像４０の処理においてポリゴンの修正があったか判定する（ステップＳ６１）。制御部１４は、前の入力画像４０の処理においてポリゴンの修正が無かった場合（ステップＳ６１：ＮＯ）、ステップＳ５２の手順に戻って次の入力画像４０を処理する。制御部１４は、前の入力画像４０の処理においてポリゴンの修正があった場合（ステップＳ６１：ＹＥＳ）、修正データを特徴化する（ステップＳ６２）。制御部１４は、修正データを学習する（ステップＳ６３）。制御部１４は、修正データの学習によって初期ポリゴン５１を生成するために用いる機械学習モデルを生成してもよい。制御部１４は、ステップＳ６３の手順の実行後、ステップＳ５２の手順に戻って次の入力画像４０を処理する。
以上述べてきたように、教師データ生成装置１０は、特徴化データをフィードバックすることによって、初期ポリゴン５１の精度を高めることができる。また、教師データ生成装置１０は、特徴化データに基づいて初期ポリゴン５１を自動修正することによって、初期ポリゴン５１の精度をより一層高めることができる。また、教師データ生成装置１０は、特徴化したデータに基づいて入力画像４０の前処理におけるパラメータを調整することによって、認識対象５０の輪郭を強調して初期ポリゴン５１を検出しやすくできる。その結果、初期ポリゴン５１の精度がより一層高められる。
以上、教師データ生成装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であっても良い。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の処理は、第２の処理と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
本開示に係る構成は、認識対象５０の画像を含む少なくとも１つの入力画像４０を取得する入力部１２と、入力画像４０の第１領域から認識対象５０の画像と判断された部分の輪郭に沿ったポリゴンデータの生成を行う第１の処理と、入力画像４０を輝度勾配に基づき領域分割したセグメント５２を設定する第２の処理と、第２の処理で設定したセグメント５２に基づきポリゴンデータを修正した修正ポリゴンデータの生成する制御部１４とを備える画像処理装置として実現されてもよい。
１０ 教師データ生成装置（１２：入力部、１４：制御部、１６：出力部、１４１：画像処理部、１４２：初期ポリゴン生成部、１４３：スーパーピクセル部、１４４：ポリゴン修正部、１４５：ラベル付与部、１４６：教師データ生成部）
４０ 入力画像
４１ 前処理画像
４２ ポリゴン生成画像
４３ セグメント画像
４４ ポリゴン修正画像
５０ 認識対象
５１ 初期ポリゴン
５２ セグメント
５３ 指定領域
５４ 削除領域
５５ 修正ポリゴン

Claims (23)

  1. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成と、前記入力画像に対するラベル情報の付与とを実行し、教師データを生成する制御部と、
    前記教師データを出力する出力部と
    を備え、
    前記制御部は、前記第１の処理において、前記入力画像に含まれる前景と背景の認識に基づいて前記ポリゴンデータの生成を行う、
    教師データ生成装置。
  2. 前記制御部は、前記第２の処理において、前記入力画像を前記セグメントに分割するスーパーピクセルを実行する、請求項１に記載の教師データ生成装置。
  3. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成と、前記入力画像に対するラベル情報の付与とを実行し、教師データを生成する制御部と、
    前記教師データを出力する出力部と
    を備え、
    前記制御部は、前記入力画像のうち前記認識対象を含む領域を対象として前記第２の処理を行うことによって前記セグメントを設定し、前記第２の処理を行った前記入力画像の領域における前記ポリゴンデータの作成を行う、
    教師データ生成装置。
  4. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成と、前記入力画像に対するラベル情報の付与とを実行し、教師データを生成する制御部と、
    前記教師データを出力する出力部と
    を備え、
    前記制御部は、前記入力画像に前記ラベル情報を付与し、前記ラベル情報に適合する前記ポリゴンデータを生成する、
    教師データ生成装置。
  5. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成と、前記入力画像に対するラベル情報の付与とを実行し、教師データを生成する制御部と、
    前記教師データを出力する出力部と
    を備え、
    前記制御部は、前記第１の処理において、色相情報に基づく背景除去、グラフカット、及び、第２機械学習モデルによる前記認識対象の検出の推論のうち少なくとも１つを含む所定のアルゴリズムに基づいて、前記ポリゴンデータを生成する、
    教師データ生成装置。
  6. 前記制御部は、前記所定のアルゴリズムとして、前記認識対象の検出の推論で得られた前記認識対象の輪郭をコスト関数として前記グラフカットを実行する、請求項５に記載の教師データ生成装置。
  7. 前記制御部は、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータを修正した結果に基づいて、前記第２機械学習モデルを学習させる、請求項５に記載の教師データ生成装置。
  8. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成と、前記入力画像に対するラベル情報の付与とを実行し、教師データを生成する制御部と、
    前記教師データを出力する出力部と
    を備え、
    前記制御部は、前記ポリゴンデータと前記修正ポリゴンデータの差分又は前記修正ポリゴンデータへの修正データに基づき、入力される前記入力画像を補正する、
    教師データ生成装置。
  9. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成と、前記入力画像に対するラベル情報の付与とを実行し、教師データを生成する制御部と、
    前記教師データを出力する出力部と
    を備え、
    前記制御部は、ポリゴンデータの修正データに基づいて、後で処理される前記入力画像に対する前処理に適用する前処理パラメータ値を修正する、
    教師データ生成装置。
  10. 前記制御部は、生成された前記ポリゴンデータに対応する部分を含む前記入力画像の第２領域に前記第２の処理を行い、前記第２の処理で設定されたセグメントに基づき修正して生成した前記修正ポリゴンデータに対応する前記入力画像の部分に対して前記ラベル情報の付与を実行する、請求項１から９までのいずれか一項に記載の教師データ生成装置。
  11. 前記制御部は、前記入力画像のうち前記ポリゴンデータを生成した部分を対象として前記第２の処理を実行する、請求項１０に記載の教師データ生成装置。
  12. 前記制御部は、前記第２領域を前記第１領域よりも小さく設定する、請求項１０に記載の教師データ生成装置。
  13. 認識対象の画像を含む少なくとも１つの入力画像を取得することと、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理を実行することと、
    前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することと、
    前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータを生成することと、
    前記入力画像に対してラベル情報を付与することと、
    教師データを生成して出力することと、
    前記第１の処理において、前記入力画像に含まれる前景と背景の認識に基づいて前記ポリゴンデータの生成を行うことと
    を含む教師データ生成方法。
  14. 認識対象の画像を含む少なくとも１つの入力画像を取得することと、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理を実行することと、
    前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することと、
    前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータを生成することと、
    前記入力画像に対してラベル情報を付与することと、
    教師データを生成して出力することと、
    前記入力画像のうち前記認識対象を含む領域を対象として前記第２の処理を行うことによって前記セグメントを設定し、前記第２の処理を行った前記入力画像の領域における前記ポリゴンデータの作成を行うことと
    を含む教師データ生成方法。
  15. 認識対象の画像を含む少なくとも１つの入力画像を取得することと、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理を実行することと、
    前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することと、
    前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータを生成することと、
    前記入力画像に対してラベル情報を付与することと、
    教師データを生成して出力することと、
    前記入力画像に前記ラベル情報を付与し、前記ラベル情報に適合する前記ポリゴンデータを生成することと
    を含む教師データ生成方法。
  16. 認識対象の画像を含む少なくとも１つの入力画像を取得することと、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理を実行することと、
    前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することと、
    前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータを生成することと、
    前記入力画像に対してラベル情報を付与することと、
    教師データを生成して出力することと、
    前記第１の処理において、色相情報に基づく背景除去、グラフカット、及び、第２機械学習モデルによる前記認識対象の検出の推論のうち少なくとも１つを含む所定のアルゴリズムに基づいて、前記ポリゴンデータを生成することと
    を含む教師データ生成方法。
  17. 認識対象の画像を含む少なくとも１つの入力画像を取得することと、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理を実行することと、
    前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することと、
    前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータを生成することと、
    前記入力画像に対してラベル情報を付与することと、
    教師データを生成して出力することと、
    前記ポリゴンデータと前記修正ポリゴンデータの差分又は前記修正ポリゴンデータへの修正データに基づき、入力される前記入力画像を補正することと
    を含む教師データ生成方法。
  18. 認識対象の画像を含む少なくとも１つの入力画像を取得することと、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理を実行することと、
    前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理を実行することと、
    前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータを生成することと、
    前記入力画像に対してラベル情報を付与することと、
    教師データを生成して出力することと、
    ポリゴンデータの修正データに基づいて、後で処理される前記入力画像に対する前処理に適用する前処理パラメータ値を修正することと
    を含む教師データ生成方法。
  19. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成とを実行する制御部と、を備え、
    前記制御部は、前記第１の処理において、前記入力画像に含まれる前景と背景の認識に基づいて前記ポリゴンデータの生成を行う、
    画像処理装置。
  20. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成とを実行する制御部と、を備え、
    前記制御部は、前記入力画像のうち前記認識対象を含む領域を対象として前記第２の処理を行うことによって前記セグメントを設定し、前記第２の処理を行った前記入力画像の領域における前記ポリゴンデータの作成を行う、
    画像処理装置。
  21. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成とを実行する制御部と、を備え、
    前記制御部は、前記第１の処理において、色相情報に基づく背景除去、グラフカット、及び、第２機械学習モデルによる前記認識対象の検出の推論のうち少なくとも１つを含む所定のアルゴリズムに基づいて、前記ポリゴンデータを生成する、
    画像処理装置。
  22. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成とを実行する制御部と、を備え、
    前記制御部は、前記ポリゴンデータと前記修正ポリゴンデータの差分又は前記修正ポリゴンデータへの修正データに基づき、入力される前記入力画像を補正する、
    画像処理装置。
  23. 認識対象の画像を含む少なくとも１つの入力画像を取得する入力部と、
    前記入力画像の第１領域から前記認識対象と判断された部分の輪郭に沿った外縁を有するとともに前記認識対象と判断された前記部分を示すポリゴンデータの生成を行う第１の処理と、前記入力画像を輝度勾配に基づき領域分割したセグメントを設定する第２の処理と、前記第２の処理で設定したセグメントに基づき前記ポリゴンデータの前記外縁を修正した修正ポリゴンデータの生成とを実行する制御部と、を備え、
    前記制御部は、ポリゴンデータの修正データに基づいて、後で処理される前記入力画像に対する前処理に適用する前処理パラメータ値を修正する、
    画像処理装置。
JP2023523453A 2021-05-24 2022-05-20 教師データ生成装置、教師データ生成方法、及び画像処理装置 Active JP7467773B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021087206 2021-05-24
JP2021087206 2021-05-24
PCT/JP2022/021023 WO2022249997A1 (ja) 2021-05-24 2022-05-20 教師データ生成装置、教師データ生成方法、及び画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024060418A Division JP2024088718A (ja) 2021-05-24 2024-04-03 教師データ生成装置、教師データ生成方法、及び画像処理装置

Publications (3)

Publication Number Publication Date
JPWO2022249997A1 JPWO2022249997A1 (ja) 2022-12-01
JPWO2022249997A5 JPWO2022249997A5 (ja) 2024-01-31
JP7467773B2 true JP7467773B2 (ja) 2024-04-15

Family

ID=84229873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023523453A Active JP7467773B2 (ja) 2021-05-24 2022-05-20 教師データ生成装置、教師データ生成方法、及び画像処理装置

Country Status (4)

Country Link
EP (1) EP4350610A1 (ja)
JP (1) JP7467773B2 (ja)
CN (1) CN117377985A (ja)
WO (1) WO2022249997A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085233A (ja) 2010-10-14 2012-04-26 Sharp Corp 映像処理装置、映像処理方法、及びプログラム
JP2017220098A (ja) 2016-06-09 2017-12-14 日本電信電話株式会社 画像処理装置、画像処理方法、画像処理プログラム及び画像認識システム
JP2018510320A (ja) 2014-12-09 2018-04-12 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
JP2019061658A (ja) 2017-08-02 2019-04-18 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 領域判別器訓練方法、領域判別装置、領域判別器訓練装置及びプログラム
CN111489357A (zh) 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
WO2020174862A1 (ja) 2019-02-28 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101535A (ja) 2017-11-29 2019-06-24 コニカミノルタ株式会社 教師データ作成装置および該方法ならびに画像セグメンテーション装置および該方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085233A (ja) 2010-10-14 2012-04-26 Sharp Corp 映像処理装置、映像処理方法、及びプログラム
JP2018510320A (ja) 2014-12-09 2018-04-12 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
JP2017220098A (ja) 2016-06-09 2017-12-14 日本電信電話株式会社 画像処理装置、画像処理方法、画像処理プログラム及び画像認識システム
JP2019061658A (ja) 2017-08-02 2019-04-18 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 領域判別器訓練方法、領域判別装置、領域判別器訓練装置及びプログラム
CN111489357A (zh) 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
WO2020174862A1 (ja) 2019-02-28 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム

Also Published As

Publication number Publication date
WO2022249997A1 (ja) 2022-12-01
JPWO2022249997A1 (ja) 2022-12-01
CN117377985A (zh) 2024-01-09
EP4350610A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
KR101901184B1 (ko) 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
US10922801B2 (en) Channel-based binarization of color
WO2012074361A1 (en) Method of image segmentation using intensity and depth information
CN111753762B (zh) 视频中关键标识的识别方法、装置、设备以及存储介质
JP2006318474A (ja) 画像シーケンス内のオブジェクトを追跡するための方法及び装置
WO2019011342A1 (zh) 布料识别的方法、设备、电子设备及储存介质
EP2808828A2 (en) Image matching method, image matching device, model template generation method, model template generation device, and program
CN105404846A (zh) 一种图像处理方法及装置
JP7173309B2 (ja) 学習方法、学習プログラム、および、学習装置
CN112270745B (zh) 一种图像生成方法、装置、设备以及存储介质
EP2919164A1 (en) Image processing apparatus and segmentation method
US20220051387A1 (en) Image processing method, image processing apparatus, and program
CN106331746B (zh) 用于识别视频文件中的水印位置的方法和装置
JP7467773B2 (ja) 教師データ生成装置、教師データ生成方法、及び画像処理装置
CN112307923A (zh) 一种分区域的表情迁移方法和系统
JP2024088718A (ja) 教師データ生成装置、教師データ生成方法、及び画像処理装置
JP2003303346A (ja) 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体
CN114550173A (zh) 图像预处理方法、装置、电子设备以及可读存储介质
US20240221197A1 (en) Teaching data generation device, teaching data generation method, and image processing device
JP2020135653A (ja) 映像補正装置及びそのプログラム
KR101796558B1 (ko) 모션모델에 기반한 고속 깊이영역 확장방법 및 장치
JP2001209808A (ja) 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体
JP2022147713A (ja) 画像生成装置、学習装置、及び、画像生成方法
JP5786838B2 (ja) 画像領域分割装置、方法、およびプログラム
JP2005217984A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150