JP7355111B2 - 学習データ生成装置、学習データ生成方法、及び、プログラム - Google Patents

Description

本発明は、物体検出などに用いられる正解データを生成する技術に関する。

近年、深層学習の発達により、物体認識や物体検出の精度が飛躍的に改善している。深層学習を用いたモデルを学習するためには、十分な学習データが不可欠である。また、物体認識や物体検出の精度を確保するためには、学習データとして様々な環境における画像が必要となる。従来は、様々な環境で対象物を含む画像を撮影し、個々の画像に対して人手により正解付けの作業を行っていたため、学習データを用意するために大量な時間と労力を要していた。このような観点から、学習データを効率的に作成することが要求されている。特許文献１は、環境の異なる画像を収集し、これを教師データとして識別器の学習を行う手法を開示している。

特開２０１４－８５７９５号公報

しかし、特許文献１の手法においても、まず大量の画像の撮影を行う必要がある。

本発明の１つの目的は、画像の撮影を行う必要なく、物体検出装置などの学習に使用可能な学習データを効率的に生成する手法を提供することにある。

上記の課題を解決するため、本発明の一つの観点では、学習データ生成装置は、
対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成する識別モデル生成手段と、
前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出する注目領域検出手段と、
前記注目領域に外接する矩形を生成する矩形生成手段と、
前記対象物のラベル及び前記矩形を含む学習データを出力する学習データ出力手段と、
前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力する画像マスク手段と、を備え、
当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記注目領域検出手段は前記マスク画像から前記注目領域を検出し、前記矩形生成手段は前記マスク画像から検出された注目領域に基づいて矩形を再生成する。

本発明の他の観点では、学習データ生成方法は、
識別モデル生成手段が、対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成し、
注目領域検出手段が、前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出し、
矩形生成手段が、前記注目領域に外接する矩形を生成し、
学習データ出力手段が、前記対象物のラベル及び前記矩形を含む学習データを出力し、
画像マスク手段が、前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力し、
当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記注目領域検出手段は前記マスク画像から前記注目領域を検出し、前記矩形生成手段は前記マスク画像から検出された注目領域に基づいて矩形を再生成する。

本発明のさらに他の観点では、プログラムは、
対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成し、
前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出し、
前記注目領域に外接する矩形を生成し、
前記対象物のラベル及び前記矩形を含む学習データを出力し、
前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力し、
当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記マスク画像から前記注目領域を検出し、前記マスク画像から検出された注目領域に基づいて矩形を再生成する処理をコンピュータに実行させる。

本発明によれば、画像の撮影を行う必要なく、物体検出装置などの学習に使用可能な学習データを効率的に生成することが可能となる。

第１実施形態に係る学習データ生成装置のハードウェア構成を示す。 第１実施形態に係る学習データ生成装置の機能構成を示す。 対象物画像に対する注目領域及び矩形の例を示す。 第１実施形態による学習データ生成処理のフローチャートである。 矩形が対象物の一部にしか対応していない場合の例を示す。 矩形が複数の対象物を含む場合の例を示す。 第２実施形態に係る学習データ生成装置の機能構成を示す。 第２実施形態による学習データ生成処理のフローチャートである。 第３実施形態に係る学習データ生成装置の機能構成を示す。

以下、図面を参照して、本発明の好適な実施形態について説明する。
［概要説明］
以下に説明する実施形態では、新たな画像の撮影を行うことなく、既存の画像データに基づいて物体検出装置の学習に用いられる学習データを生成する。一般的に、物体検出装置は、画像に含まれる１又は複数の対象物の領域を検出し、その対象物のラベル及びその領域の位置を出力する。検出すべき対象物は予め決められている。例えば、「人」、「犬」、「猫」が対象物と決められている場合、物体検出装置は、画像からそれら３つの対象物を検出し、対象物毎にそのラベルと、画像における対象物の位置とを出力する。なお、一般的に、対象物の位置としては、画像においてその対象物が占める領域を示す矩形、具体的には対象物に外接する矩形を示す座標が用いられる。

物体検出装置をニューラルネットワークにより構成する場合、物体検出モデルを学習するために、学習用の画像と、その画像に含まれる対象物のラベルと、その対象物の位置を示す矩形とを含む学習データが必要となる。なお、学習データは教師データとも呼ばれる。この学習データは、通常は、まず、対象物を含む多数の画像を撮影し、次に各画像に対して人手によりラベル及び矩形を付与することにより行われるが、前述のように、この作業は非常に多くの時間と労力を必要とする。

そこで、本実施形態では、学習データを自動生成する。具体的に、本実施形態では、まず、ラベルが付与されている既存の画像を集め、その画像に対して対象物の位置を示す矩形を付与して学習データを生成する。ラベルが付与されている画像としては、ウェブサイトなどにおいて公開されている画像などを用いることができる。例えば、対象物が「猫」である場合、ウェブ上に公開されている猫の画像データをウェブ検索などにより集めることができる。こうして得た画像は、既に対象物である「猫」のラベル付けが済んだ画像と考えることができる。但し、その画像における対象物「猫」の位置を示す矩形の情報は含まれていないため、その画像に矩形を付与する処理が必要となる。そこで、本実施形態では、ラベルが付与された画像を収集し、各画像に対して対象物の位置を示す矩形を自動生成することにより、学習データを生成する。これにより、画像を撮影したり、その画像に含まれる対象物にラベル付けする手間を省くことができ、効率的に学習データを生成することが可能となる。また、ウェブ上に公開されている画像などを使用することにより、様々な環境で撮影された画像を用いて学習データを生成することができる。

［第１実施形態］
（ハードウェア構成）
図１は、第１実施形態に係る学習データ生成装置のハードウェア構成を示すブロック図である。図示のように、学習データ生成装置１０は、インタフェース（Ｉ／Ｆ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。

インタフェース１２は、外部装置との間でデータの入出力を行う。具体的に、インタフェース１２は、学習データの基になる画像を学習データ生成装置１０に入力したり、学習データ生成装置１０が生成した学習データを出力する際に使用される。

プロセッサ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＣＰＵとＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習データ生成装置１０の全体を制御する。具体的に、プロセッサ１３は、後述する学習データ生成処理を実行する。

メモリ１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１４は、学習データ生成装置１０が使用する識別モデルを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習データ生成装置１０に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。学習データ生成装置１０が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。

データベース１６は、学習データの生成のために使用される画像データを記憶する。なお、上記に加えて、学習データ生成装置１０は、ユーザが指示や入力を行うためのキーボード、マウスなどの入力機器や表示部を備えていても良い。

（機能構成）
次に、学習データ生成装置の機能構成について説明する。図２は、第１実施形態に係る学習データ生成装置の機能構成を示すブロック図である。図示のように、学習データ生成装置１０は、識別モデル生成部２１と、識別モデル２２と、注目領域検出部２３と、矩形生成部２４と、学習データ生成部２５と、を備える。

識別モデル生成部２１には、対象物を含む画像である対象物画像Ｄｏと、対象物以外の物体（以下、「非対象物」と呼ぶ。）を含む画像である非対象物画像Ｄｎと、が入力される。ここで、対象物画像Ｄｏには、対象物を示すラベルが付与されている。例えば、対象物が「猫」である場合、対象物画像Ｄｏは猫の画像として収集されたものであり、「猫」を示すラベル情報が付加されている。一方、非対象物画像Ｄｎは、対象物以外の物体を含む画像であり、ラベルは付与されていなくてもよい。

識別モデル生成部２１は、画像から対象物を識別するための識別モデル２２を生成する。識別モデル２２は、ニューラルネットワークを用いて構成され、対象物画像Ｄｏと非対象物画像Ｄｎにより学習される。対象物画像Ｄｏと非対象物画像Ｄｎを用いて学習することにより、識別モデル２２は、入力された画像に含まれる物体が対象物であるか否かを識別できるようになる。

識別モデル２２が生成されると、対象物を含む対象物画像Ｄｏが識別モデル２２に入力される。ここで入力される対象物画像Ｄｏは、学習データの基になる画像である。注目領域検出部２３は、対象物画像Ｄｏが入力された状態の識別モデル２２を用いて、画像中の注目領域を検出する。ここで、「注目領域」とは、画像において対象物が存在すると予測される領域である。具体的に、注目領域検出部２３は、対象物画像Ｄｏが入力された状態の識別モデル２２から特徴マップを生成する。ここで、「特徴マップ」は、入力された画像全体について画像の特徴量を示すマップである。なお、特徴マップは、識別モデルを構成するニューラルネットワークにおいて、画像全体の特徴量を示す層から取得することができる。一例としては、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）を用いたＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）などにより特徴マップを得ることができる。注目領域は、特徴マップにおいて特徴量の値が大きい領域となる。

図３に、対象物画像Ｄｏの例を示す。いま、対象物を「車」とする。識別モデル２２に車の対象物画像を入力し、特徴マップを取得する。この特徴マップにおいて、特徴量の値が大きい領域（図３において、明るく表示されている領域）が注目領域として検出される。

矩形生成部２４は、特徴マップにおける注目領域に対応する矩形を生成する。具体的には、矩形生成部２４は、特徴マップにおける特徴量の値が所定の閾値以上である領域に外接する矩形を生成する。図３の例では、特徴マップにおいて明るく表示されている領域が注目領域であり、矩形生成部２４は注目領域に外接する矩形を生成する。この矩形が、対象物画像Ｄｏにおける対象物の位置を示す矩形となる。矩形生成部２４は、生成した矩形を学習データ生成部２５に供給する。

学習データ生成部２５は、学習データを生成し、出力する。学習データ生成部２５には、対象物画像Ｄｏが入力されており、学習データ生成部２５は、対象物画像Ｄｏにもともと付与されているラベルと、矩形生成部２４が生成した矩形とを学習データとして出力する。

（学習データ生成処理）
次に、第１実施形態に係る学習データ生成装置１０による学習データ生成処理について説明する。図４は、第１実施形態による学習データ生成処理のフローチャートである。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実施される。

まず、識別モデル生成部２１は対象物画像Ｄｏ及び非対象物画像Ｄｎを取得し（ステップＳ１１）、それらを用いて識別モデル２２を生成する（ステップＳ１２）。識別モデル２２が生成されると、対象物画像Ｄｏが識別モデル２２に入力される（ステップＳ１３）。注目領域検出部２３は、識別モデル２２から特徴マップを生成して注目領域を検出し（ステップＳ１４）、矩形生成部２４は注目領域に外接する矩形を生成する（ステップＳ１５）。そして、学習データ生成部２５は、対象物画像Ｄｏに付与されているラベルと、矩形生成部２４が生成した矩形とを含む学習データを生成し、出力する（ステップＳ１６）。

次に、予め用意された全ての対象物画像Ｄｏの処理が終了したか否かが判定される（ステップＳ１７）。全ての対象物画像Ｄｏの処理が終了していない場合（ステップＳ１７：Ｎｏ）、処理はステップＳ１３に戻り、次の対象物画像ＤｏについてステップＳ１３～１６の処理を行う。そして、全ての対象物画像Ｄｏの処理が終了すると（ステップＳ１７：Ｙｅｓ）、学習データ生成処理は終了する。

［第２実施形態］
次に、第２実施形態の学習データ生成装置について説明する。第１実施形態では、特徴マップの注目領域に外接する矩形を学習データとして出力しているが、実際には、特徴マップの注目領域に基づいて生成された矩形が、対象物の位置を正しく示していないことが起こりうる。具体的には、以下の２つのケースが考えられる。

（ケースＡ）矩形が対象物の一部にしか対応していない
図５に、この場合の対象物画像の例を示す。この例では、対象物が「飛行機」であるとする。この対象物画像の場合、正しい矩形は、飛行機全体に対応する矩形４０である。ところが、対象物画像を識別モデルに入力して得られた特徴マップでは、飛行機の一部（右翼の付け根の部分）のみが注目領域として検出されており、その結果得られた矩形４１は飛行機の一部にしか対応していない。

このような場合、学習データ生成装置は図５に示す矩形の拡大処理を行えばよい。なお、実際には学習データ生成装置は矩形４１がケースＡに該当するか否かを知ることはできないが、ケースＡに該当する可能性があるとして、得られた全ての矩形に対して以下の拡大処理を実行する。

まず、学習データ生成装置は、得られた矩形４１の領域をマスクしてマスク画像を生成する。具体的には、矩形４１の領域における特徴マップの特徴量を全て「０」又は十分小さい値に置き換える。そして、学習データ生成装置は、マスク画像を再度識別モデルに入力し、識別モデルがマスク画像を飛行機と認識するか否かを判定する。具体的には、学習データ生成装置は、識別モデルによる飛行機としての識別結果の信頼度が所定値以上であるか否かを判定する。

図５の例の場合、即ち、矩形がケースＡに該当する場合、特徴マップ上には矩形４１の領域以外にも飛行機としての特徴が存在し、矩形４１よりも大きな領域が飛行機に対応すると考えられるので、マスク画像も飛行機と認識される可能性が高い。よって、識別モデルがマスク画像を飛行機と認識した場合、学習データ生成装置は、マスク画像に基づいて特徴マップを生成し、矩形を再生成する。これにより、図５に示すように、正解の矩形４０に近い新たな矩形４１ｘが得られる。一方、識別モデルがマスク画像を飛行機と認識しなかった場合、矩形４１の領域以外には飛行機としての特徴が存在しない、即ち、矩形４１はケースＡには該当しないと考えられるので、学習データ生成装置は元の矩形４１を採用し、処理を終了する。

（ケースＢ）矩形が複数の対象物を含む
図６は、この場合の対象物画像の例を示す。この例では、複数の飛行機が一団となって飛行しており、複数（本例では５つ）の飛行機の領域全体が１つの矩形４１として検出されている。このような場合、理想的には、個々の飛行機の領域４０を矩形として検出できることが望ましい。

この場合、学習データ生成装置は、図６に示すように矩形の縮小処理を行えばよい。なお、実際には、学習データ生成装置は矩形４１がケースＢに該当するか否かを知ることはできないが、ケースＢに該当する可能性があるとし、得られた全ての矩形４１に対して以下の縮小処理を実行する。

まず、学習データ生成装置は、得られた矩形４１の領域を切り出して切り出し画像を生成する。そして、切り出し画像を識別モデルに入力し、識別モデルが切り出し画像を飛行機と認識するか否かを判定する。

切り出し画像は元の画像よりも矩形４１の領域にズームした画像であるので、ケースＢの場合、即ち、切り出し画像が図６のように複数の物体を含んでいる場合、切り出し画像も飛行機と認識される可能性が高い。よって、識別モデルが切り出し画像を飛行機と認識した場合、学習データ生成装置は、切り出し画像を新たな対象物画像Ｄｏとして識別モデルを再学習し、再学習された識別モデルに切り出し画像を入力し、特徴マップを作成して矩形を再生成する。こうすると、再学習により、識別モデルは複数の飛行機を含む画像から個々の飛行機を検出しやすくなるので、再生成された矩形は、矩形４０のように個々の飛行機を示す矩形となる可能性が高くなる。

一方、識別モデルが切り出し画像を飛行機と認識しなかった場合、矩形４１は図６のように複数の飛行機を含むものではなく、上記のケースＢには該当しないと考えられる。よって、学習データ生成装置は、元の矩形４１を採用し、処理を終了する。

このように、第２実施形態では、最初に得られた矩形が上記のケースＡ又はケースＢに該当している可能性があるため、矩形の拡大処理及び縮小処理を行ってみる。これにより、最初に得られた矩形が実際にケースＡ又はケースＢに該当するときには、より精度の高い矩形を再生成することが可能となる。一方、最初に得られた矩形がケースＡ又ケースＢに該当しない場合には、元の矩形が採用されるので問題はない。なお、矩形の拡大処理及び縮小処理を行う回数は、実験などにより予め決めておくことが好ましい。

（機能構成）
図７は、第２実施形態に係る学習データ生成装置の機能構成を示すブロック図である。なお、第２実施形態に係る学習データ生成装置のハードウェア構成は図１に示すものと同様である。図示のように、第２実施形態に係る学習データ生成装置１０ａは、図２に示す第１実施形態の学習データ生成装置１０の構成に加えて、矩形調整部２６を備える。矩形調整部２６は、本発明の画像マスク部及び画像切り出し部の一例である。なお、矩形調整部２６以外の、識別モデル生成部２１、識別モデル２２、注目領域検出部２３、矩形生成部２４及び学習データ生成部２５は、基本的に第１実施形態と同様に動作する。

矩形調整部２６は、まず、上記のケースＡの場合に対応するため、矩形の拡大処理を行う。具体的には、矩形調整部２６は、矩形の領域をマスクしたマスク画像を生成し、識別モデル２２に入力する。そして、識別モデル２２がマスク画像を対象物と認識した場合、注目領域検出部２３はマスク画像に基づいて注目領域を検出し、矩形生成部２４はその注目領域に基づいて矩形を再生成する。

また、矩形調整部２６は、上記のケースＢの場合に対応するため、矩形の縮小処理を行う。具体的には、矩形調整部２６は、矩形の領域を切り出して切り出し画像を生成し、識別モデル２２に入力する。そして、識別モデル２２が切り出し画像を対象物と認識した場合、矩形調整部２６は切り出し画像を識別モデル生成部２１に入力して識別モデル２２の再学習を行い、注目領域検出部２３は再学習後の識別モデルを用いて切り出し画像から注目領域を検出し、矩形生成部２４はその注目領域に基づいて矩形を再生成する。

（学習データ生成処理）
次に、第２実施形態による学習データ生成処理について説明する。この処理は、図１に示すプロセッサ１３が、予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実施される。

第２実施形態の学習データ生成処理のメインルーチンは、基本的には図４に示す第１実施形態と同様である。但し、第２実施形態は、図４に示すステップＳ１５の矩形生成処理において上述の矩形の拡大及び縮小処理を行う点が第１実施形態と異なる。図７は、第２実施形態における矩形生成処理を示すフローチャートである。

まず、矩形生成部２４は、第１実施形態と同様に最初の矩形を生成する（ステップＳ２２）。次に、矩形の拡大処理が行われる。まず、矩形調整部２６は矩形をマスクしてマスク画像を生成し、識別モデル２２に再入力する（ステップＳ２３）。次に、マスク画像が識別モデル２２により対象物と認識されたか否かが判定される（ステップＳ２４）。マスク画像が対象物と認識された場合（ステップＳ２４：Ｙｅｓ）、矩形は上記のケースＡに該当すると考えられる。よって、注目領域検出部２３はマスク画像に対する特徴マップを再生成して注目領域を再検出し（ステップＳ２５）、矩形生成部２４は注目領域に基づいて矩形を再生成する（ステップＳ２６）。

次に、ステップＳ２３～Ｓ２６の拡大処理が所定回数行われたか否かが判定される（ステップＳ２７）。拡大処理が所定回数行われていない場合（ステップＳ２７：Ｎｏ）、処理はステップＳ２３へ戻り、ステップＳ２３～Ｓ２６が繰り返される。一方、拡大処理が所定回数行われた場合（ステップＳ２７：Ｙｅｓ）、処理は図４に示すメインルーチンに戻る。

ステップＳ２４において、マスク画像が対象物と認識されなかった場合、矩形はケースＡには該当しないと考えられる。よって、次に矩形の縮小処理が行われる。具体的には、矩形調整部２６が矩形を切り出して切り出し画像を生成し、識別モデル２２に再入力する（ステップＳ２８）。次に、切り出し画像が識別モデル２２により対象物と認識されたか否かが判定される（ステップＳ２９）。切り出し画像が対象物と認識された場合（ステップＳ２９：Ｙｅｓ）、矩形はケースＢに該当すると考えられる。よって、識別モデル生成部２１は切り出し画像を用いて識別モデル２２を再学習する（ステップＳ３０）。次に、再学習した識別モデルに切り出し画像が入力され、注目領域検出部２３は切り出し画像に対する特徴マップを再生成して注目領域を再検出し（ステップＳ３１）、矩形生成部２４は注目領域に基づいて矩形を再生成する（ステップＳ３２）。

次に、ステップＳ２８～Ｓ３２の縮小処理が所定回数行われたか否かが判定される（ステップＳ３３）。縮小処理が所定回数行われていない場合（ステップＳ３３：Ｎｏ）、処理はステップＳ２８へ戻る。一方、拡大処理が所定回数行われた場合（ステップＳ３３：Ｙｅｓ）、処理は図４に示すメインルーチンに戻る。

ステップＳ２９において、切り出し画像が対象物と認識されなかった場合、矩形はケースＢには該当しないと考えられる。よって、処理は、ステップＳ２３に戻る。こうして、矩形の拡大処理及び縮小処理が予め決められた回数にわたり実行され、最終的な矩形が決定される。そして、処理は図４に示すメインルーチンに戻る。その後の処理は、第１実施形態と同様である。

以上のように、第２実施形態では、最初に得られた矩形に対して拡大処理及び縮小処理を行うことにより、矩形が上記のケースＡ又はケースＢに該当する場合に、より正確な矩形を再生成することができる。

［第３実施形態］
次に、第３実施形態について説明する。図９は、第３実施形態に係る学習データ生成装置３０の機能構成を示すブロック図である。なお、第３実施形態の学習データ生成装置３０のハードウェア構成は図１と同様である。学習データ生成装置３０は、識別モデル生成部３１と、注目領域検出部３２と、矩形生成部３３と、学習データ出力部３４と、を備える。

識別モデル生成部３１は、対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成する。注目領域検出部３２は、対象物画像を識別モデルに入力し、対象物を含むと予測される領域である注目領域を検出する。矩形生成部３３は、注目領域に基づいて、対象物に外接する矩形を生成する。学習データ出力部３４は、対象物のラベル及び矩形を含む学習データを出力する。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成する識別モデル生成部と、
前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出する注目領域検出部と、
前記注目領域に基づいて、前記対象物に外接する矩形を生成する矩形生成部と、
前記対象物のラベル及び前記矩形を含む学習データを出力する学習データ出力部と、
を備える学習データ生成装置。

（付記２）
前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力する画像マスク部を備え、
当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記注目領域検出部は前記マスク画像から前記注目領域を検出し、前記矩形生成部は前記マスク画像から検出された注目領域に基づいて矩形を再生成する付記１に記載の学習データ生成装置。

（付記３）
前記対象物画像における前記矩形を切り出して切り出し画像を生成し、前記識別モデルに再入力する画像切り出し部を備え、
当該切り出し画像が前記識別モデルにより前記対象物と認識された場合、前記識別モデル生成部は当該切り出し画像を用いて前記識別モデルを再学習し、前記注目領域検出部は再学習された識別モデルを用いて前記切り出し画像から前記注目領域を検出し、前記矩形生成部は前記切り出し画像から検出された注目領域に基づいて矩形を再生成する付記１又は２に記載の学習データ生成装置。

（付記４）
前記注目領域検出部は、前記対象物画像が入力された際に識別モデルが生成する特徴量に基づいて、前記対象物画像全体に対応する特徴マップを生成し、当該特徴マップ内の閾値以上の値を有する領域を前記注目領域として検出する付記１乃至３のいずれか一項に記載の学習データ生成装置。

（付記５）
対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成し、
前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出し、
前記注目領域に基づいて、前記対象物に外接する矩形を生成し、
前記対象物のラベル及び前記矩形を含む学習データを出力する学習データ生成方法。

（付記６）
前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力し、
当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記マスク画像から前記注目領域を検出し、前記マスク画像から検出された注目領域に基づいて矩形を再生成する付記５に記載の学習データ生成方法。

（付記７）
前記対象物画像における前記矩形を切り出して切り出し画像を生成し、前記識別モデルに再入力し、
当該切り出し画像が前記識別モデルにより前記対象物と認識された場合、当該切り出し画像を用いて前記識別モデルを再学習し、再学習された識別モデルを用いて前記切り出し画像から前記注目領域を検出し、前記切り出し画像から検出された注目領域に基づいて矩形を再生成する付記５又は６に記載の学習データ生成方法。

（付記８）
前記注目領域の検出は、前記対象物画像が入力された際に識別モデルが生成する特徴量に基づいて、前記対象物画像全体に対応する特徴マップを生成し、当該特徴マップ内の閾値以上の値を有する領域を前記注目領域として検出することにより行われる付記５乃至７のいずれか一項に記載の学習データ生成方法。

（付記９）
対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成し、
前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出し、
前記注目領域に基づいて、前記対象物に外接する矩形を生成し、
前記対象物のラベル及び前記矩形を含む学習データを出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０、１０ａ、３０ 学習データ生成装置
２１ 識別モデル生成部
２２ 識別モデル
２３ 注目領域検出部
２４ 矩形生成部
２５ 学習データ生成部

Claims (7)

1. 対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成する識別モデル生成手段と、
   前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出する注目領域検出手段と、
   前記注目領域に外接する矩形を生成する矩形生成手段と、
   前記対象物のラベル及び前記矩形を含む学習データを出力する学習データ出力手段と、
   前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力する画像マスク手段と、を備え、
   当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記注目領域検出手段は前記マスク画像から前記注目領域を検出し、前記矩形生成手段は前記マスク画像から検出された注目領域に基づいて矩形を再生成する学習データ生成装置。
2. 前記対象物画像における前記矩形を切り出して切り出し画像を生成し、前記識別モデルに再入力する画像切り出し手段を備え、
   当該切り出し画像が前記識別モデルにより前記対象物と認識された場合、前記識別モデル生成手段は当該切り出し画像を用いて前記識別モデルを再学習し、前記注目領域検出手段は再学習された識別モデルを用いて前記切り出し画像から前記注目領域を検出し、前記矩形生成手段は前記切り出し画像から検出された注目領域に基づいて矩形を再生成する請求項１に記載の学習データ生成装置。
3. 前記注目領域検出手段は、前記対象物画像が入力された際に識別モデルが生成する特徴量に基づいて、前記対象物画像全体に対応する特徴マップを生成し、当該特徴マップ内の閾値以上の値を有する領域を前記注目領域として検出する請求項１又は２に記載の学習データ生成装置。
4. 識別モデル生成手段が、対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成し、
   注目領域検出手段が、前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出し、
   矩形生成手段が、前記注目領域に外接する矩形を生成し、
   学習データ出力手段が、前記対象物のラベル及び前記矩形を含む学習データを出力し、
   画像マスク手段が、前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力し、
   当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記注目領域検出手段は前記マスク画像から前記注目領域を検出し、前記矩形生成手段は前記マスク画像から検出された注目領域に基づいて矩形を再生成する学習データ生成方法。
5. 画像切り出し手段が、前記対象物画像における前記矩形を切り出して切り出し画像を生成し、前記識別モデルに再入力し、
   当該切り出し画像が前記識別モデルにより前記対象物と認識された場合、当該切り出し画像を用いて前記識別モデルを再学習し、再学習された識別モデルを用いて前記切り出し画像から前記注目領域を検出し、前記切り出し画像から検出された注目領域に基づいて矩形を再生成する請求項４に記載の学習データ生成方法。
6. 前記注目領域の検出は、前記対象物画像が入力された際に識別モデルが生成する特徴量に基づいて、前記対象物画像全体に対応する特徴マップを生成し、当該特徴マップ内の閾値以上の値を有する領域を前記注目領域として検出することにより行われる請求項４又は５に記載の学習データ生成方法。
7. 対象物を含み当該対象物のラベルが付与された対象物画像と、非対象物を含む非対象物画像とを用いて、画像に含まれる対象物を識別する識別モデルを生成し、
   前記対象物画像を前記識別モデルに入力し、前記対象物を含むと予測される領域である注目領域を検出し、
   前記注目領域に外接する矩形を生成し、
   前記対象物のラベル及び前記矩形を含む学習データを出力し、
   前記対象物画像における前記矩形をマスクしてマスク画像を生成し、前記識別モデルに再入力し、
   当該マスク画像が前記識別モデルにより前記対象物と認識された場合、前記マスク画像から前記注目領域を検出し、前記マスク画像から検出された注目領域に基づいて矩形を再生成する処理をコンピュータに実行させるプログラム。

Images