JP7459713B2 - 選別プログラム、選別方法、および情報処理装置 - Google Patents

Description

本発明は、選別プログラム、選別方法、および情報処理装置に関する。

近年、様々な分野において画像からの対象物の認識に、機械学習により得られた認識モデルが利用されている。高精度な認識モデルを生成するためには、正解がラベルされている教師データを大量に用意することが望ましい。一方で、大量の教師データを用意するには手間がかかる。また、状況によっては大量の教師データを用意することが難しいこともある。

教師データを拡充するための技術として、データ拡張が知られている。なお、データ拡張は、例えば、データ・オーギュメンテーション（data augmentation）と呼ばれることもある。データ拡張では、例えば、正解がラベルされている教師データの画像に対して様々な摂動を与えて新たな教師データを生成する。それにより、教師データの数を水増しすることができる。画像に与える摂動は、例えば、平行移動、拡大縮小、回転、明るさの変更、コントラストの変更、ノイズの付与などが挙げられる。

また、データ拡張に関連する技術が知られている（例えば、特許文献１から特許文献３）。

特開２０１９－０３２８２１号公報 特表２０１８－５０３１６１号公報 特開２０２０－０３４９９８号公報

データ拡張の手法として、背景となる背景画像の上に、認識モデルによる認識対象とする要素が写る要素画像をランダムに少なくとも１つ配置して、教師データの画像を作成することも考えられる。また、配置する際に要素画像を適度に重ね合わせて対象要素の一部が隠された画像を生成することで、ロバストな認識モデルの作成に適した教師データの画像を作成することができる。一方で、要素画像の重なりが過度になると、下側に配置されている要素画像が前面に配置された要素画像により遮蔽されてあまり見えなくなるため、画像から対象物を検出することが困難になることがある。例えば、そのような画像を用いて無理に機械学習を行うと、機械学習で得られた認識モデルの検出精度が低下することがある。そのため、例えば、作成した教師データの画像が、機械学習に適しているかを人手で判断して、不適切な画像を排除する作業が行われることがある。しかしながら、人手での判断には、ばらつきがあるため、結果として作成される教師データの品質が低下することがある。

１つの側面では、本発明は、モデルの機械学習に適した画像を選別する技術を提供することを目的とする。

本発明の一つの態様の情報処理装置は、対象要素が写る複数の要素画像を背景画像の上に配置して生成された合成画像が、要素画像の重なりを含む場合、重なりにおいて背面に配置されている第１の要素画像が、重なりにおいて前面に配置されている第２の要素画像によって遮蔽される度合いを表す遮蔽度合いを特定する特定部と、遮蔽度合いが、第１の要素画像の複雑さに応じて特定される上限値以下の場合、対象要素を検出する認識モデルを生成するための機械学習で用いる教師データとして合成画像を選別する選別部と、を含む。

モデルの機械学習に適した画像を選別することができる。

例示的な合成画像の作成を説明する図である。 例示的な合成画像の作成を示す図である。 実施形態に係る情報処理装置のブロック構成を例示する図である。 実施形態に係る要素画像の複雑さに基づく分類について例示する図である。 実施形態に係るクラス分類のための学習済みモデルの生成処理の動作フローを例示する図である。 実施形態に係る学習済みモデルを例示する図である。 実施形態に係るクラス上限情報を例示する図である。 実施形態に係る要素画像の遮蔽度合いの特定の一例を示す図である。 実施形態に係る合成画像の選別を例示する図である。 実施形態に係る教師データの作成処理の動作フローを例示する図である。 実施形態に係る教師データの選別処理の動作フローを例示する図である。 実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

図１は、例示的な合成画像の作成を説明する図である。また、図２は、例示的な合成画像の作成を示す図である。図１に示すように、背景画像に少なくとも１つの要素画像をランダムに配置することで、合成画像を作成することができる。背景画像は、例えば、背景として用いる画像であり、機械学習で作成する認識モデルで認識する対象要素が写っていない画像であってよい。また、要素画像は、例えば、作成する認識モデルで認識対象とする要素が写る画像から、要素の写る領域を切り出した画像であってよい。

例えば、猫を検出する認識モデルを作成する場合、図２に示すように、猫が写る画像から猫が写る領域を切り出して得られた少なくとも１つの要素画像を、猫が写っていない背景画像に配置することで、様々な合成画像２０３を作成することができる。図２では、背景画像２０１の上に、要素画像２０２－１から要素画像２０２－３の３つの要素画像を配置して合成画像２０３が作成されている。

また、要素画像２０２を適度に重ね合わせることで、対象物の一部が隠された合成画像２０３を作成することができる。例えば、図２では、要素画像２０２－１と、要素画像２０２－２が重ねて配置されており、背面に配置されている要素画像２０２－１の一部が、前面に配置されている要素画像２０２－２によって隠されている。このように要素画像２０２を重ね合わせて合成画像２０３を作成することで、ロバストな認識モデルを作成するのに適した教師データの画像を作成することができる。

一方で、要素画像２０２の重なりが過度になると、下側に配置されている要素画像２０２が前面に配置された要素画像２０２により遮蔽されてあまり見えなくなり、作成した教師データの画像から対象要素を検出することが困難になることがある。例えば、背面に配置された要素画像２０２の大部分が前面に配置されている要素画像２０２により隠されてしまった場合、背面に配置されている要素画像２０２から特徴を抽出できなくなるため、対象要素を認識できなくなる。そのため、例えば、作成した合成画像２０３が、機械学習に適しているかを人手でチェックして、不適切な画像を排除する作業が行われる。しかしながら、人手でのチェックには工数がかかる。また、人手での判断には、ばらつきがあるため、結果として作成される教師データの品質が低下することがある。そのため、作成した合成画像２０３のうちから機械学習に適していない画像を適切に排除することのできる技術の提供が求められている。

本願の発明者らは、要素画像２０２が遮蔽を許容できる程度は、要素画像２０２の複雑さと関係していると考えている。そのため、以下で述べる実施形態では、要素画像２０２の複雑さに応じて遮蔽を許容する上限値を異なる値に設定する。例えば、形状や色などが複雑な要素画像２０２の場合、遮蔽度合いが大きくても要素画像２０２に写る対象要素を認識可能であることが多い。また、要素画像２０２の遮蔽度合いを高くした方が、ロバストな認識モデルの作成に適した合成画像２０３を得ることができる。一方、複雑さの度合いが低く単純な画像の場合、遮蔽度合いが大きくなると対象要素の認識が難しくなるため、遮蔽度合いを低く抑えた方が認識精度の高い認識モデルを作成することができる。そのため、実施形態では、或る要素画像よりも別の要素画像の方が、複雑さが高いと評価される場合に、或る要素画像で許容する遮蔽度合いの上限値よりも、別の要素画像で許容する遮蔽度合いの上限値を高い値に設定する。以下、実施形態を更に詳細に説明する。

図３は、実施形態に係る情報処理装置３００のブロック構成を例示する図である。情報処理装置３００は、例えば、制御部３０１、および記憶部３０２を含む。制御部３０１は、例えば特定部３１１および選別部３１２などを含み、またその他の機能部を含んでもよい。記憶部３０２は、例えば、背景画像２０１、要素画像２０２、並びに、後述する画像クラス情報４００、およびクラス上限情報７００などの情報を記憶している。これらの各部の詳細および記憶部３０２に格納されている情報の詳細については後述する。

図４は、実施形態に係る要素画像２０２の複雑さに基づく分類について例示する図である。図４（ａ）では、要素画像２０２として猫が写る領域を抽出した画像が示されている。要素画像２０２からは、複雑さの指標を取得することができる。複雑さの指標は、例えば、要素画像２０２に写る対象要素の複雑さを表す情報であってよい。一例では、複雑さの指標は、要素画像２０２の色数および角数などであってよい。色数は、例えば、要素画像２０２で用いられる色の数である。色数は、一例では、ＲＧＢ（red-green-blue）でカウントされた色数であってもよいし、HSV色空間で表された値でカウントされてもよい。また、要素画像２０２の複雑さの評価には、例えば、エッジ検出により要素の輪郭を検出して輪郭からピーク点を検出する技術を活用してもよい。例えば、角数は、要素画像２０２で要素の輪郭に含まれる角の数であってよい。なお、複雑さの指標は、色数および角数に限定されるものではなく、要素画像２０２の複雑さを表す値であれば、その他の値を用いることもできる。例えば、別の実施形態では、要素画像２０２に写る要素のシルエットの曲率が複雑さの指標として用いられてもよい。そして、例えば、要素画像２０２の分類を行う担当者は、これらの複雑さの指標、および要素画像２０２の見た目を参考に、経験および感覚に基づいて、要素画像２０２を複雑さに応じてクラス分けする。なお、クラス分けの結果は画像クラス情報４００に登録されていてよい。

図４（ｂ）は、実施形態に係る画像クラス情報４００を例示する図である。画像クラス情報４００には、例えば、要素画像ＩＤ（Identifier）およびクラスを対応づけるレコードが登録されている。要素画像ＩＤは、例えば、レコードと対応する要素画像２０２を識別する識別情報である。クラスは、例えば、レコードと対応する要素画像２０２を、分類の担当者が複雑さに応じて分類したクラスであってよい。図４（ｂ）に示す例では、クラス１、クラス４、およびクラス５の３つのクラスが示されており、要素画像２０２が複雑なほど高い数値のクラスに分類されている。クラスは、例えば、要素画像２０２が許容可能な遮蔽度合いを特定するために用いられる。

そして、例えば、制御部３０１は、図４（ｃ）に示すように、画像クラス情報４００の要素画像ＩＤで識別される要素画像２０２を説明変数としてモデルに入力し、画像クラス情報４００のクラスを目的変数として教師有りの機械学習を行う。それにより、要素画像２０２から対応するクラスを特定する学習済みモデルを作成することができる。なお、機械学習には、例えば、ニューラルネットワークおよびディープラーニングなどが利用されてよい。

図５は、実施形態に係るクラス分類のための学習済みモデルの作成処理の動作フローを例示する図である。制御部３０１は、例えば、学習済みモデルの作成指示が入力されると図５の動作フローを開始する。

ステップ５０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ５０１と表記する）において制御部３０１は、画像クラス情報４００のレコードの情報に基づいて、要素画像２０２と、クラスとを対応づけた教師データのセットを読み出す。Ｓ５０２において制御部３０１は、教師データをモデルに入力して機械学習を実行する。

Ｓ５０３において制御部３０１は、学習により得られた学習済みモデルを記憶部３０２に保存し、本動作フローは終了する。

図５の動作フローによれば制御部３０１は、要素画像２０２から、要素画像２０２の複雑さに応じたクラスを判定する学習済みモデルを作成することができる。

図６は、実施形態に係るクラス判定の学習済みモデルを例示する図である。例えば、図６に示すように、要素画像２０２を学習済みモデルに入力することで、要素画像２０２のクラスを判定することができる。

なお、図４の例では、機械学習の入力に要素画像２０２を用いる例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では制御部３０１は、要素画像２０２に加えて更に、要素画像２０２から取得した色数、角数、および曲率などの複雑さの指標を機械学習の説明変数として入力してもよい。

続いて、実施形態に係る要素画像２０２を用いた合成画像２０３の作成について述べる。上述の図２を参照して述べたように、制御部３０１は、例えば、複数の背景画像２０１のうちからランダムに１枚の背景画像２０１を選択する。そして、制御部３０１は、背景画像２０１の上に、複数の要素画像２０２のうちからランダムに少なくとも１枚の要素画像を選択して配置することで、合成画像２０３を作成することができる。

なお、背景画像２０１の上に配置する要素画像２０２の配置数の上限は、所定の数に設定されていてよい。図２では、１枚から８枚の要素画像２０２を選択する例が示されており、要素画像２０２－１、要素画像２０２－２、および要素画像２０２－３の３枚の要素画像２０２が背景画像２０１の上に配置されている。

また、合成画像２０３の作成では、配置数の上限の他にも、画像サイズ、配置サイズなどのその条件が設定されていてもよい。画像サイズは、例えば、最終的に作成される合成画像２０３の画像サイズであってよく、一例では、３２０ピクセル×３２０ピクセルなどのピクセル単位で指定されていてよい。また、配置サイズは、例えば、合成画像２０３に要素画像２０２を配置する際の倍率の許容範囲を指定する情報であってよく、一例では、倍率の許容範囲は、要素画像２０２のサイズの０．０５倍～０．７倍などの範囲に設定されていてよい。

また、合成画像２０３の作成の際に、その他の画像パラメータを摂動させてもよい。例えば、データ拡張では、画像に与える摂動として、平行移動、拡大縮小、回転、明るさの変更、コントラストの変更、ノイズの付与などの摂動が知られている。これらの摂動が、合成画像２０３の作成の際に、例えば、背景画像２０１、要素画像２０２、および合成画像２０３に与えられてもよい。例えば、制御部３０１は、合成画像２０３の作成の際に、背景画像２０１および要素画像２０２に、ブライトネス増減、コントラスト増減、色合い増減、シャープネス増減、画像反転などの摂動を与えてもよい。以下には、摂動範囲の一例を示す。
・ブライトネス増減：０．３～１．７ （基準値：１．０）
・コントラスト増減：０．５～１．５ （基準値：１．０）
・色合い増減：０．３～１．７ （基準値：１．０）
・シャープネス増減：－１．０～１．０ （基準値：０）
・画像反転：反転する、または、反転しない

この様に、合成画像２０３の作成の際に、様々な摂動を与えることで多様な合成画像２０３を作成することができる。摂動の種類および範囲は、例えば、実際には適用する機会学習のモデル、および配置したい要素画像２０２の種類などによって変更されてもよい。

また、図２の合成画像２０３では、要素画像２０２－１の前面に要素画像２０２－２が重ねて配置されている。ここで、要素画像２０２が遮蔽を許容できる度合いは、要素画像２０２の複雑さと関係していると考えられる。そのため、実施形態では、要素画像２０２が許容可能な遮蔽度合いの上限を、クラスごとに定めている。なお、以下では、遮蔽度合いとして、背面に配置されている要素画像２０２が、前面に配置された要素画像２０２により遮蔽される割合を用いる例を述べる。しかしながら、実施形態はこれに限定されるものではなく、背面に配置された要素画像２０２の遮蔽度合いを表す値であれば、その他の値が用いられてもよい。

図７は、実施形態に係るクラス上限情報７００を例示する図である。クラス上限情報７００には、例えば、クラスと対応する許容可能な遮蔽の上限値を示すレコードが登録されている。クラス上限情報７００のクラスは、例えば、図４から図６を参照して述べた学習済みモデルにより分類されるクラスであってよい。また、クラス上限情報７００の上限値は、例えば、レコードのクラスに対して設定されている遮蔽の割合の上限を示す情報である。

なお、クラス上限情報７００に設定されている各クラスに対する遮蔽の割合の上限値は、例えば、以下のようにして決定することができる。

例えば、制御部３０１は、各クラスの要素画像２０２ごとにクラスに含まれる要素画像２０２を用いて複数の合成画像２０３を作成する。そして、制御部３０１は、クラスごとに得られた複数の合成画像２０３について、画像内での要素画像２０２の遮蔽の上限として異なる複数の値を設定する（例えば、１０％、３０％、５０％、７０％、９０％など）。制御部３０１は、上限として設定した複数の値ごとに、画像内での要素画像２０２が受ける遮蔽が遮蔽の上限値以下となる合成画像２０３を、作成した複数の合成画像２０３のうちから選別する。

そして、制御部３０１は、上限として設定した値ごとに、抽出した合成画像２０３を教師データとして用いて合成画像２０３に配置した要素画像に写る要素を検出する認識モデルを作成するように機械学習を実行する。例えば、遮蔽の上限値：９０％と対応する認識モデルを作成するとする。この場合、制御部３０１は、要素画像２０２を用いて作成した複数の合成画像２０３のうちから、遮蔽の割合が９０％を超える合成画像を排除して、遮蔽の上限値：９０％と対応する教師データのセットを作成する。そして、制御部３０１は、遮蔽の上限値：９０％と対応する教師データのセットを用いて機械学習を実行し、合成画像２０３から要素画像２０２に写る対象要素を検出するための認識モデルを生成する。

同様に、１０％、３０％、５０％、７０％の遮蔽の上限値についても、それぞれの遮蔽の上限値と対応する教師データのセットを用いて機械学習を実行することで、合成画像２０３から要素画像２０２に写る対象要素を検出する認識モデルを生成することができる。

そして、それぞれの上限値で機械学習を行い得られた認識モデルによる要素の検出精度を評価することで、各クラスに応じた好ましい上限値を特定することができる。一例では、検出精度の最も高かった上限値を、クラスに対する上限値として採用することができる。

なお、実施形態に係る要素画像２０２が受ける遮蔽の割合は、例えば、以下のように特定されてよい。

図８は、実施形態に係る要素画像２０２が受ける遮蔽の割合の特定の例を説明する図である。図８（ａ）には、図２で例示する合成画像２０３から切り出された要素画像２０２の重なりを含む領域が示されている。なお、要素画像２０２は、一例では、ＲＧＢＡ（Red Green Blue Alpha）で表現されていてよい。図８（ｂ）および図８（ｃ）には要素画像２０２の要素のシルエットを示す画像が示されている。例えば、図８（ｂ）および図８（ｃ）に示す画像において黒色の領域は、要素画像２０２において完全透過な領域であってよい。

この場合、制御部３０１は、完全透過でない領域が認識対象の要素が写る要素領域と認識できる。また、合成画像２０３は階層構造になっている。例えば、図８（ａ）の合成画像２０３では背景が一番下の第１層、要素画像２０２－１が下から２番目の第２層、要素画像２０２－２が下から３番目で最前面の第３層に配置されている。この様に、要素画像２０２に重なりがある場合、その重なっている要素画像２０２の前面および背面の関係を明確に特定することができる。

そして、２つの要素画像２０２が重なっている重なり領域は、要素のシルエットの論理積をとることで求めることができる。例えば、制御部３０１は、図８（ｂ）の要素画像２０２－２に写る要素のシルエットの画像配列と、図８（ｃ）の要素画像２０２－２に写る要素のシルエットの画像配列との論理積を求めることで、図８（ｄ）の重なり領域８０１を特定することができる。なお、配列の論理積は、例えば、Python（登録商標）の演算ライブラリで実行することができる。そして、制御部３０１は、論理積により求めた重なり領域８０１の面積を、背面にある要素画像２０２（図８では要素画像２０２－１）の面積で割ることで遮蔽の割合を求めることができる。遮蔽の割合は、例えば、背面に配置されている要素画像２０２－１が、前面に配置されている要素画像２０２－２により遮蔽される割合を示す値である。

また、例えば、要素画像２０２が３枚以上重なっている場合には、以下のように遮蔽の割合が求められてもよい。

例えば、遮蔽の割合を求める対象となる背面側に配置されている要素画像２０２を対象要素画像とする。そして、対象要素画像よりも前面の階層にある要素画像２０２を上位要素画像とする。この場合に、対象要素画像に対して、上位要素画像が複数ある場合は、複数の上位要素画像のそれぞれと対象要素画像との論理積を求め、得られた論理積の結果の論理和を対象要素画像の重なり領域８０１の面積として用いてよい。そして、得られた対象要素画像の重なり領域の面積を、対象要素画像の面積で割ることで遮蔽の割合が求められてよい。

以下には、遮蔽の割合の算出例を示す。例えば、最下層の背景画像２０１から上層へと要素画像Ａ、要素画像Ｂ、要素画像Ｃの順番で重ねて配置されているものとする。この場合、要素画像Ａの遮蔽の割合は、例えば、以下で求めることができる。
要素画像Ａ ∩ 要素画像Ｂ ＝ Ｘ（論理積）
要素画像Ａ ∩ 要素画像Ｃ ＝ Ｙ（論理積）
Ｘ ｜｜ Ｙ ＝ Ｚ（論理和）
Ｚ ÷ 要素画像Ａの面積 ＝ 要素画像Ａの遮蔽の割合

この様に、合成画像２０３において３枚以上の要素画像２０２が重ねて配置されているとする。この場合、遮蔽度合いの特定対象の要素画像に対して、前面に配置されている少なくとも１つの要素画像によって特定対象の要素画像が遮蔽される領域が占める割合を、遮蔽度合いとして特定してよい。

また、要素画像Ｂの遮蔽の割合は、例えば、以下で求めることができる。
要素画像Ｂ ∩ 要素画像Ｃ ＝ Ｗ（論理積）
Ｗ ÷ 要素画像Ｂの面積 ＝ 要素画像Ｂの遮蔽の割合

このように、合成画像２０３において、別の要素画像２０２によって遮蔽される要素画像２０２の領域が、その要素画像２０２に対して占める割合を、遮蔽度合いとして特定してよい。

例えば、以上のようにして、合成画像２０３に配置されている要素画像２０２に重なりがある場合、その重なりによる遮蔽の割合を、遮蔽度合いを示す値として特定することができる。

そして、得られた遮蔽度合いを用いて、認識モデルを作成するための機械学習に用いる教師データとして、合成画像２０３が適切か否かを判定することができる。

図９は、実施形態に係る合成画像２０３の選別を例示する図である。制御部３０１は、例えば、合成画像２０３に含まれる要素画像２０２の重なりごとに、背面に配置されている要素画像２０２の遮蔽度合いを求める（図９の（１））。また、制御部３０１は、例えば、図６を参照して述べたように、遮蔽度合いを求めた要素画像２０２をクラス判定の学習済みモデルに入力することで、複雑さに応じたクラスを特定する（図９の（２））。そして、制御部３０１は、特定したクラスと対応する遮蔽の上限値をクラス上限情報７００から取得し、背面に配置されている要素画像２０２の遮蔽度合いが上限値以下か否かを判定する（図９の（３））。例えば、制御部３０１は、要素画像２０２の遮蔽度合いが上限値以下である場合、認識モデルを作成するための機械学習で用いる教師データとして合成画像２０３を選別してよい（図９の（４））。一方、例えば、制御部３０１は、要素画像２０２の遮蔽度合いが、上限値を超えている場合、合成画像２０３は機械学習に不適切な画像であるとして教師データから合成画像２０３を排除してよい（図９の（５））。

以上の図９で述べたように、制御部３０１は、合成画像２０３が重なりを含む場合、要素画像２０２の複雑さに応じて特定される遮蔽度合いの上限値により、適切な合成画像２０３を教師データとして選別することができる。

続いて、認識対象の要素を検出する認識モデルの機械学習のための教師データの作成処理について説明する。図１０は、実施形態に係る教師データの作成処理の動作フローを例示する図である。例えば、制御部３０１は、教師データの作成指示が入力されると、図１０の動作フローを開始してよい。

Ｓ１００１において制御部３０１は、背景画像２０１を選択する。例えば、制御部３０１は、複数の背景画像２０１のうちから、１枚の背景画像２０１をランダムに選択する。

Ｓ１００２において制御部３０１は、所定数以下の少なくとも１つの要素画像２０２をランダムに選択し、背景画像２０１の上に配置して合成画像２０３を作成する。なお、要素画像２０２は、例えば、機械学習において認識モデルの認識対象とする要素の画像であってよい。

Ｓ１００３において制御部３０１は、得られた合成画像２０３に、配置した要素画像２０２に写る要素と、配置した位置とを示すラベルを対応づけて、記憶部３０２に記憶する。

Ｓ１００４において制御部３０１は、合成画像２０３の作成が完了したか否かを判定する。例えば、制御部３０１は、合成画像２０３の作成を所定回数繰り返してよく、Ｓ１００４において繰り返しの回数が所定回数に達していれば作成完了と判定してもよい。合成画像２０３の作成が完了していない場合（Ｓ１００４がＮＯ）、フローはＳ１００１に戻り、更に合成画像２０３の作成を継続する。一方、合成画像２０３の作成が完了している場合（Ｓ１００４がＹＥＳ）、フローはＳ１００５に進む。

Ｓ１００５において制御部３０１は、教師データの選別処理を実行し、本動作フローは終了する。教師データの選別処理では、制御部３０１は、例えば、得られた合成画像２０３のうちから、要素画像２０２に写る要素を検出する認識モデルの作成に適した合成画像２０３を選別し、教師データとして保存する。また、制御部３０１は、教師データの選別処理で機械学習に不適切な合成画像２０３を排除する処理を実行してよい。

図１１は、実施形態に係る教師データの選別処理の動作フローを例示する図である。制御部３０１は、例えば、Ｓ１００５に進むと、図１１の動作フローを開始してよい。

Ｓ１１０１において制御部３０１は、作成した合成画像２０３のうちから１枚の合成画像２０３を選択する。Ｓ１１０２において制御部３０１は、選択した合成画像２０３が要素画像２０２の重なりを含む場合、その要素画像２０２の重なりについて遮蔽の割合を特定する。例えば、制御部３０１は、背面に配置されている要素画像２０２が、前面に配置されている要素画像２０２により遮蔽される割合を、遮蔽の割合として求めてよい。なお、合成画像２０３が要素画像２０２の重なりを複数含む場合、制御部３０１は、複数の重なりのそれぞれについて、遮蔽の割合を求めてよい。一例では、制御部３０１は、図８を参照して例示したように、要素画像２０２の遮蔽の割合を求めてよい。

Ｓ１１０３において制御部３０１は、遮蔽の割合を求めた背面に配置されている要素画像２０２のクラスを特定する。例えば、制御部３０１は、遮蔽の割合を求めた要素画像２０２のクラスを画像クラス情報４００から特定してよい。別の例では、制御部３０１は、重なりにおいて背面に配置されている要素画像２０２を、クラス判定の学習済みモデルに入力してクラスを特定してもよい。

Ｓ１１０４において制御部３０１は、要素画像２０２の遮蔽の割合が、要素画像２０２のクラスと対応する上限値以下であるか否かを判定する。例えば、制御部３０１は、要素画像２０２のクラスと対応する上限値をクラス上限情報７００から取得し、Ｓ１１０２で特定した遮蔽の割合が上限値以下であるか否かを判定してよい。遮蔽の割合がクラスと対応する上限値以下である場合（Ｓ１１０４がＹＥＳ）、フローはＳ１１０５に進む。この場合、合成画像２０３は、認識モデルの機械学習に適した教師データである。そのため、制御部３０１は、合成画像２０３を、Ｓ１００３で付与されたラベルの情報と対応づけて教師データとして選別し、記憶部３０２に保存して、フローはＳ１１０７に進む。

一方、Ｓ１１０４において要素画像２０２の遮蔽の割合がクラスと対応する上限値を超えている場合（Ｓ１１０４がＮＯ）、フローはＳ１１０６に進む。この場合、選択した合成画像２０３では、重なりにより背面の要素画像２０２が遮蔽されすぎており、認識モデルの機械学習に適した画像ではない。そのため、制御部３０１は、選択した合成画像２０３を教師データから排除して、フローはＳ１１０７に進む。一例では、制御部３０１は、選択した合成画像２０３を破棄してよい。なお、合成画像２０３に複数の要素画像２０２の重なりが含まれていることもある。この場合、背面に配置されているいずれの要素画像２０２でも遮蔽の割合が上限値以下であれば、制御部３０１は、Ｓ１１０４においてＹＥＳと判定してよい。

Ｓ１１０７において制御部３０１は、未処理の合成画像２０３があるか否かを判定する。未処理の合成画像２０３がある場合（Ｓ１１０７がＹＥＳ）、フローはＳ１１０１に戻り、未処理の合成画像２０３を更に選択して処理を繰り返す。一方、未処理の合成画像２０３がない場合（Ｓ１１０７がＮＯ）、本動作フローは終了し、フローはＳ１００５の処理に戻って、図１０の動作フローも終了する。

以上の図１０および図１１の動作フローによれば、制御部３０１は、要素画像２０２が、モデルの機械学習に適した度合いで遮蔽されている教師データを作成することができる。そのため、得られた教師データを用いて認識モデルの機械学習を行うことで、認識対象の要素の検出精度の高い認識モデルを作成することができる。

また、上述の実施形態では、要素画像２０２は、複雑さに応じて複数のクラスに分類されている。また、複数のクラスのうちの或るクラスに設定されている許容可能な遮蔽度合いの上限値は、そのクラスに分類される要素画像２０２よりも複雑さが低く評価された要素画像２０２が分類される別のクラスに設定されている上限値よりも高い値に設定されている。このように、要素画像２０２の複雑さに基づいて許容可能な遮蔽度合いの上限を異ならせることで、複雑さに応じて機械学習に適した教師データを作成することができる。

なお、上述の実施形態は、例えば、機械学習のための教師データの作成に利用されてよい。また、別の例では、例えば、少量の画像から大量のアノテーション済み教師データを作成する支援サービスにおいて利用されてもよい。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、図１１のＳ１１０２とＳ１１０３の処理は順序を入れ替えて実行されてもよい。

また、上述の例では、許容可能な重なりを定める値として、遮蔽の割合を用いる例を述べているが、実施形態はこれに限定されるものではなく、遮蔽の度合いを表すその他の値で許容可能な遮蔽の度合いの上限値が定められてもよい。

なお、上述の実施形態においてＳ１１０２の処理で、制御部３０１は、例えば、特定部３１１として動作する。Ｓ１００５およびＳ１１０５の処理で、制御部３０１は、例えば、選別部３１２として動作する。

図１２は、実施形態に係る情報処理装置３００を実現するためのコンピュータ１２００のハードウェア構成を例示する図である。図１２の情報処理装置３００を実現するためのハードウェア構成は、例えば、プロセッサ１２０１、メモリ１２０２、記憶装置１２０３、読取装置１２０４、通信インタフェース１２０６、および入出力インタフェース１２０７を備える。なお、プロセッサ１２０１、メモリ１２０２、記憶装置１２０３、読取装置１２０４、通信インタフェース１２０６、入出力インタフェース１２０７は、例えば、バス１２０８を介して互いに接続されている。

プロセッサ１２０１は、例えば、シングルプロセッサであっても、マルチプロセッサまたはマルチコアであってもよい。プロセッサ１２０１は、メモリ１２０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部３０１の一部または全部の機能を提供する。例えば、情報処理装置３００のプロセッサ１２０１は、記憶装置１２０３に格納されているプログラムを読み出して実行することで、特定部３１１および選別部３１２として動作する。

メモリ１２０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１２０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置１２０４は、プロセッサ１２０１の指示に従って着脱可能記憶媒体１２０５にアクセスする。着脱可能記憶媒体１２０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

記憶部３０２は、例えばメモリ１２０２、記憶装置１２０３、および着脱可能記憶媒体１２０５を含んでいる。例えば、情報処理装置３００の記憶装置１２０３には、例えば、背景画像２０１、要素画像２０２、画像クラス情報４００、およびクラス上限情報７００などの情報が格納されている。

通信インタフェース１２０６は、プロセッサ１２０１の指示に従って、有線または無線通信で他の装置と通信する。

入出力インタフェース１２０７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置３００に提供される。
（１）記憶装置１２０３に予めインストールされている。
（２）着脱可能記憶媒体１２０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図１２を参照して述べた情報処理装置３００を実現するためのコンピュータ１２００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部３０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

２０１ 背景画像
２０２ 要素画像
２０３ 合成画像
３００ 情報処理装置
３０１ 制御部
３０２ 記憶部
３１１ 特定部
３１２ 選定部
１２００ コンピュータ
１２０１ プロセッサ
１２０２ メモリ
１２０３ 記憶装置
１２０４ 読取装置
１２０５ 着脱可能記憶媒体
１２０６ 通信インタフェース
１２０７ 入出力インタフェース
１２０８ バス

Claims (7)

1. 対象要素が写る複数の要素画像を背景画像の上に配置して作成された合成画像が、要素画像の重なりを含む場合、前記重なりにおいて背面に配置されている第１の要素画像が、前記重なりにおいて前面に配置されている第２の要素画像によって遮蔽される度合いを表す遮蔽度合いを特定し、
   前記遮蔽度合いが、前記第１の要素画像の複雑さに応じて特定される上限値以下の場合、前記対象要素を検出する認識モデルを生成するための機械学習で用いる教師データとして前記合成画像を選別する、
   処理をコンピュータに実行させる選別プログラム。
2. 前記選別する処理は、前記遮蔽度合いが、前記第１の要素画像の複雑さに応じて特定される前記上限値よりも高い場合、前記教師データから前記合成画像を排除する、請求項１に記載の選別プログラム。
3. 前記複数の要素画像は、要素画像の複雑さに応じて複数のクラスに分類されており、
   前記複数のクラスのうちの第１のクラスに設定されている第１の上限値は、前記第１のクラスに分類される要素画像よりも複雑さが低く評価された要素画像が分類される第２のクラスに設定されている第２の上限値よりも高い値に設定されている、請求項１または２に記載の選別プログラム。
4. 前記特定する処理は、前記合成画像において、前記第２の要素画像によって遮蔽される前記第１の要素画像の領域が、前記第１の要素画像に対して占める割合を、前記遮蔽度合いとして特定する、請求項１から３のいずれか１項に記載の選別プログラム。
5. 前記特定する処理は、前記合成画像において３枚以上の要素画像が重ねて配置されている場合、前記遮蔽度合いの特定対象の要素画像に対して、前記特定対象の要素画像の前面に配置されている少なくとも１つの要素画像によって遮蔽される領域が占める割合を、前記遮蔽度合いとして特定する、請求項１から４のいずれか１項に記載の選別プログラム。
6. 対象要素が写る複数の要素画像を背景画像の上に配置して作成された合成画像が、要素画像の重なりを含む場合、前記重なりにおいて背面に配置されている第１の要素画像が、前記重なりにおいて前面に配置されている第２の要素画像によって遮蔽される度合いを表す遮蔽度合いを特定し、
   前記遮蔽度合いが、前記第１の要素画像の複雑さに応じて特定される上限値以下の場合、前記対象要素を検出する認識モデルを生成するための機械学習で用いる教師データとして前記合成画像を選別する、
   ことを含む、コンピュータが実行する選別方法。
7. 対象要素が写る複数の要素画像を背景画像の上に配置して作成された合成画像が、要素画像の重なりを含む場合、前記重なりにおいて背面に配置されている第１の要素画像が、前記重なりにおいて前面に配置されている第２の要素画像によって遮蔽される度合いを表す遮蔽度合いを特定する特定部と、
   前記遮蔽度合いが、前記第１の要素画像の複雑さに応じて特定される上限値以下の場合、前記対象要素を検出する認識モデルを生成するための機械学習で用いる教師データとして前記合成画像を選別する選別部と、
   を含む、情報処理装置。
   
   

Images