JP6810359B2 - 情報処理装置、制御方法、プログラム - Google Patents

Description

本発明は、機械学習における教師データ作成に関する。

近年、ディープラーニング技術の発展などにより、機械学習による画像中の物体認識技術の開発が一層盛んにおこなわれている。機械学習により物体認識を行うには、その物体が何であるかという正解ラベル（教師信号）を伴った画像が大量に必要となる。正解ラベルと画像のペアを学習データまたは教師データと呼ぶ。本発明では特に、画像中に対象物体が複数存在しており、対象物体の位置を矩形で指定することを想定している。機械学習を行う上で、学習データは一般に数千から数万枚程度必要と言われ、この学習データを作成することが、非常に大きな労力を要する。

そこで、特許文献１には、半導体ウエハース画像等を対象に、学習済みの判別器を用いるか、又は、正常の画像と比較を行うことで、傷などの欠陥を検出・ラベル推定を行い、正解ラベルの候補とし、その後人手で修正し、学習データとする学習型分類システムが提案されている。

特許文献２には、特定物体ではなく、より広い範囲の物体を対象として、学習済みの判別器を用いるか、又は、色・輝度値による分割後人手による統合を行うことで、物体の検出・ラベル推定を行い、正解ラベルの候補とし、その後人手で修正し、学習データとする学習型分類システムが提案されている。

特開２００５−２９３２６４号公報 特開２０１１−１００４５９号公報

特許文献１では、学習済みの検出器を利用するか、又は、半導体ウエハースの様に正常な物体の見え方が明らかな場合にその正常物体との比較によって、傷などの欠陥を検出する。

しかしながら、学習済みの検出器を利用するために、一度学習を行う必要があり、学習データがまだ十分にない状態では、利用することはできない。また、正常物体との比較を行うためには正常である物体の見え方が明確である必要があり、半導体ウエハースの様な特定の物体に対してしか、利用することはできない。また時系列の画像データのような類似性または規則性を持った複数の画像データを対象とする場合には、各画像データに対してそれぞれ処理するため、その類似性または規則性の特徴を活用することができない。

特許文献２では、対象物体を広く利用できるシステムである。特許文献２では、学習済みの検出器を利用するか、又は、色・輝度による画像分割後、人手による統合を行うことで、対象物体を検出・推定する。

しかしながら、特許文献１と同様に、学習済みの検出器を利用するためには、一度学習を行う必要があり、学習データがまだ十分にない状態では、利用することはできない。また、学習済みの検出器を利用できない場合には、色・輝度による画像分割後に人手による統合を行うが、分割された領域を人手で統合することは、手間が大きく、人の負担軽減への効果は限定的である。また時系列の画像データのような類似性または規則性を持った複数の画像データを対象とする場合には、特許文献１と同様、各画像データに対してそれぞれ処理するため、その類似性または規則性の特徴を活用することができない。

そこで、本発明では、２つのデータの部分間の対応関係に基づいて、効率的に機械学習に使用する教師データを作成可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置であって、前記記憶手段に記憶されている第１のデータの中の物体の部分の情報に基づき、第２のデータの中で抽出された部分と前記情報が記憶されている前記第１のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定手段と、前記第２のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御手段と、前記第２のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付手段とを有することを特徴とする。

本発明により、２つのデータの部分間の対応関係に基づいて、効率的に機械学習に使用する教師データを作成可能な仕組みを提供することができるようになる。

本発明の実施形態である学習データ作成補助システムのシステム構成の一例を示すブロック図。 本発明の実施形態である学習データ作成補助システムのＰＣ等に適用可能なハードウェア構成の一例を示すブロック図。 本発明の実施形態である学習データ作成補助システムの機能構成の一例を示すブロック図。 本発明の実施形態である学習データ作成補助システムの全体処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの正解ラベル推定処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの正解ラベル推定処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの結果調整処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの調整画面表示処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの調整画面表示処理の一例を示すフローチャート。

ユーザ操作受付・実行処理の一例を示すフローチャート。
本発明の実施形態である学習データ作成補助システムの使用データの一例を示すデータ構成図。 本発明の実施形態である学習データ作成補助システムの結果調整画面の一例を示す画面イメージ。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の学習データ作成補助システムの構成の一例を示すシステム構成図である。

図１（ａ）は構成例の１つであり、ＰＣ１０１のみで構成される。ＰＣ１０１がデータ管理から、画面表示や操作受付を含むプログラム実行まで全てを実施する。

図１（ｂ）は構成例の１つであり、ＰＣ１０１とデータベースサーバ１０２がＬＡＮ（ローカルエリアネットワーク）１０４で接続されて構成される。ＰＣ１０１がプログラムを実行し、データはデータベースサーバ１０２に格納される。ＰＣ１０１はプログラム実行に必要なデータを逐次データベースサーバ１０２から取得し、実行結果等をデータベースサーバ１０２に登録する。

図１（ｃ）は構成例の１つであり、ＰＣ１０１とアプリケーションサーバ１０３がＬＡＮ１０４で接続されて構成される。アプリケーションサーバ１０３がプログラムを実行し、ＰＣ１０１はアプリケーションサーバ１０３から送信された画像データを表示し、ユーザから受け付けた入力や操作内容をアプリケーションサーバ１０３に送信する。また、データを管理するためのデータベースサーバを別途備えてもよい。

本実施例は図１（ａ）の構成を前提にして説明するが、本発明は図１（ｂ）や図１（ｃ）の構成でも実施可能である。

図２は、図１に示したＰＣ１０１のハードウェア構成の一例を示すブロック図である。本構成は、図１に示したデータベースサーバ１０２、アプリケーションサーバ１０３にも適用可能である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９、マウス２１２等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０への表示を制御する。なお、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、マウス２１２等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

図３は、本実施形態の機能構成の一例を示すブロック図である。

本実施形態における学習データ作成補助システムは、ＰＣ１０１により構成される。

ＰＣ１０１は、画像データ記憶部３０１、正解データ記憶部３０２、一時データ記憶部３０３、正解ラベル推定部３０４、結果調整部３０５から構成される。

画像データ記憶部３０１は、時系列の画像データと画像データの管理情報を記憶する機能部であり、記憶されている時系列の画像データおよび管理情報は、正解ラベル推定部３０４、結果調整部３０５における処理で使用される。

正解データ記憶部３０２は、機械学習における教師データとなる正解データを記憶する機能部であり、記憶されている正解データは、正解ラベル推定部３０４、結果調整部３０５の処理結果として求められる。

一時データ記憶部３０３は、結果調整を行うための一時データを記憶する機能部であり、記憶されている一時データは、正解ラベル推定部３０４の処理結果として求められ、結果調整部３０５の処理の中で更新される。また記憶されている一時データは、処理対象の時刻を進めるごとにクリアされ新たに作成される。

正解ラベル推定部３０４は、画像データ記憶部３０１に記憶されている画像データから今回および前回時刻の画像データを取得し、今回時刻の画像データに対して、正解データの候補となる部分画像を抽出し、正解ラベルを推定する機能部である。処理結果は、後続の結果調整部３０５の処理用に、一時データ記憶部３０３に格納される。

結果調整部３０５は、一時データ記憶部３０３に記憶されている前回および今回時刻の画像データに関する一時データを取得して結果調整画面を表示し、ユーザからの操作を受け付けることにより調整処理を実施する機能部である。受け付けた操作に応じて、一時データ記憶部３０３の今回時刻の画像データに対する一時データを更新し、最終的に一時データ記憶部３０３の今回時刻の画像データに対する一時データから必要データを正解データ記憶部３０２に正解データとして登録する。

以下、本実施形態における学習データ作成補助システムの処理の前提を説明する。

まず、正解ラベルを付与したい時系列画像を用意する。時系列画像とは、固定点カメラによる時間間隔ごとの撮影データや、固定されたビデオカメラによる動画データのコマ送り画像の様な、同じ撮影視点から撮影され、撮影時間ごとに並べられた画像群のことである。

また、正解ラベル付けとは、画像内の特定の物体が写された部分画像を抽出して、当該物体を示す情報を付与することを意味する。本実施例では、正解ラベル付けの一例として、植物全体を写した画像に対して、花が写された部分画像を抽出し、「花」を示すラベル情報を付与する。この部分画像情報およびラベル情報を教師データとして検出器に学習させることにより、任意の画像に対して「花」が存在するかどうかを検出できるようになる。本実施例では、「花」のラベルが付与された部分画像のみを教師データとして保存しているが、「葉」、「背景」などの他のラベルが付与された部分画像を教師データとして採用し保存してもよい。

以下、図４を参照して、本実施形態の学習データ作成補助システムにおける全体処理について説明する。

図４は一連の画像群に正解ラベル付けを行う全体処理の一例を示すフローチャートである。本処理はＰＣ１０１にて実施され、ＰＣ１０１のＣＰＵ２０１が外部メモリ２１１等に記憶されたプログラムを必要に応じてＲＡＭ２０３にロードして実行することにより実現されるものである。

ステップＳ４０１では、ＰＣ１０１のＣＰＵ２０１は、外部メモリ２１１等に記憶された正解ラベルを付与したい画像群を取得する。ここで取得する画像群は前述した通り、時系列データを対象とする。撮影時刻と画像ファイル名の対応は図６の時系列画像情報テーブル１００１にて管理され、画像ファイルはデータベースに保存されている。

ステップＳ４０２では、ＰＣ１０１のＣＰＵ２０１は、取得した時系列を持つ画像ごとに、その時刻順にステップＳ４０３からＳ４０４までの処理を繰り返す。具体的には、図１０に示す時系列画像情報テーブル１００１に登録されたレコードに対応する画像を順に今回画像として取り込んで処理する。

ステップＳ４０３では、ＰＣ１０１のＣＰＵ２０１は、今回画像に対して、正解候補矩形の推定処理を行う。詳細に関しては図５で後述する。

ステップＳ４０４では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ４０３における推定結果に対してユーザによる調整を行う。詳細に関しては図７で後述する。

ステップＳ４０５では、ＰＣ１０１のＣＰＵ２０１は、次の時系列画像に移行して処理を繰り返す。具体的な操作としては、図１１に示す操作ボタン画面ウィンドウ１１０３にて次の画像ボタン１１１５が押下されることにより、次の時系列画像に移行する。

全ての時系列画像に対して処理を実行すれば本処理フローを終了する。

以下、図５を参照して、ステップＳ４０３の正解ラベル推定の詳細処理について説明する。

ステップＳ５０１では、ＰＣ１０１のＣＰＵ２０１は、正解矩形情報テーブル１００２（図１０）に前回画像に対応するレコードが存在するかどうかを判断する。もし時系列画像の最初の１枚であったり、前回画像の中に正解矩形が存在しなかった等の理由でレコードが存在しなかった場合は、ステップＳ５０６に進む。

ステップＳ５０２では、ＰＣ１０１のＣＰＵ２０１は、正解矩形情報テーブル１００２の中から前回画像に対する正解矩形情報を読み込む。すなわち、前回の画像に基づいて作成された教師データを記憶手段から取得する処理の一例を示すステップである。

ステップＳ５０３では、ＰＣ１０１のＣＰＵ２０１は、読み込んだ前回画像に対する正解矩形情報ごとに、ステップＳ５０４にて前回矩形情報テーブル１００３（図１０）にコピーする処理を繰り返す。ステップＳ５０５では、次の正解矩形情報に移行して繰り返し処理の最初のステップに戻る。

ステップＳ５０６では、ＰＣ１０１のＣＰＵ２０１は、今回時刻画像における物体の候補矩形の抽出を行う。すなわち、今回の画像からラベル付与の対象となる部分画像を抽出する処理の一例を示すステップである。具体的な手法としては例えば、以下の手法が採用できる。

一つ目の手法は、前回時刻における正解ラベル群と類似度が大きい矩形を検出して、それを候補矩形とする手法である。類似度の計算を行うだけなので、学習済みのモデルは必要としない。ただし、最初の時系列画像には使用できない。

二つ目の手法は、汎用的な物体検出器を利用して、物体と推定される矩形画像を検出して、それを候補矩形として推定する手法である。この手法では、物体画像と背景画像との画像特徴量の差異や、画像から検知した物体の輪郭情報等をもとに候補矩形を推定するため、学習済みのモデルは必要としない。また、最初の時系列画像でも使用することができる。

三つ目の手法は、今回ラベル付け対象である特定物体の学習済み検出器を利用して、その物体を検出して、それを候補矩形として推定する手法である。この手法では、今回ラベル付け対象である特定物体の学習データで学習を行った学習済みモデルが必要である。そのため、学習データがまだ十分にない状態では利用することができない。

上記は物体検出の手法の一例であるが、物体の候補矩形の抽出のために、上記の手法の１つを使用してもよいし、複数の手法を組み合わせて使用してもよい。

ステップＳ５０７では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５０６で推定された候補矩形群の位置（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を今回矩形情報テーブル１００４（図１０）の該当する項目に保存する。

ステップＳ５０８では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５０６にて抽出した候補矩形ごとに、ステップＳ５０９からＳ５１３までの処理を繰り返す。

ステップＳ５０９では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形に対し、前回時刻画像への物体追跡処理を行い、対応する前回時刻正解矩形の情報を求める。

ここで、図６を参照して、ステップＳ５０９の今回矩形と前回矩形の対応付けの詳細処理について説明する。

ステップＳ６０１では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形が、前回時刻画像中ではどの矩形領域に存在したかを物体追跡技術により推定する。例えば、一定速度で一定方向に移動する物体（例えば、道路を走行する車、など）であれば、前回時刻からの経過時間と速度から移動距離を求め、前回時刻画像中の矩形領域を推定する。また、経過時間内ではほぼ固定、または、微小な移動しかしない物体（例えば、今回対象としている花、など）であれば、前回時刻の矩形領域は、今回時刻の矩形領域と同じとみなすこと等により前回時刻画像中の矩形領域を推定することができる。前回時刻画像中の対応する矩形領域を追跡矩形と呼ぶ。つまり、追跡矩形は、今回対象の候補矩形を基に経過時間による移動分を補正した前回時刻での推定矩形という意味を持つ。

以下の処理で、前回時刻の正解矩形と今回対象の候補矩形との相関度合いを示す追跡信用度を算出し、追跡信用度が最大となる前回時刻の正解矩形を今回対象の候補矩形に対応付ける。すなわち、抽出された今回の部分画像の情報と、前回の教師データに含まれる部分画像の情報とに基づいて、今回の部分画像に対応する前回の教師データを特定する処理の一例を示す一連のステップである。

ステップＳ６０２では、ＰＣ１０１のＣＰＵ２０１は、探索の評価尺度となる追跡信用度の最大値を一時記憶する最大追跡信用度を０に初期化する。

ステップＳ６０３では、ＰＣ１０１のＣＰＵ２０１は、前回時刻正解矩形の情報を前回矩形情報テーブル１００３から読み込む。

ステップＳ６０４では、ＰＣ１０１のＣＰＵ２０１は、読み込んだ前回時刻の正解矩形ごとにステップＳ６０５からＳ６１０までの処理を繰り返す。対象とする前回時刻の正確矩形を対応候補前回矩形と呼ぶことにする。

ステップＳ６０５では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形と対応候補前回矩形との追跡信用度を求める。追跡信用度の算出方法は、一例として、追跡矩形と対応候補前回矩形との中心点間距離が近くなるほど大きくなるように追跡信用度を定義することができる（例えば、該距離の逆数）。これは、物体追跡による位置関係のみを評価する方法である。すなわち、今回の部分画像の位置情報と、前回の教師データに含まれる部分画像の位置情報とにより求められる位置関係に基づいて、対応する教師データを特定する処理の一例を示す。

また、別の算出方法として、今回対象の候補矩形と対応候補前回矩形の各画像の特徴量を既知の技術により求めてそれぞれの特徴量の差から類似度Ｓを算出し、追跡矩形と対応候補前回矩形との中心点間距離ｄとしたときに、追跡信用度Ｃは以下の様に定義することできる。
Ｃ＝Ｓ／ｄ

これは位置関係と画像内容の評価を併用する方法で、対応候補前回矩形が追跡矩形に位置的に近く、対応候補前回矩形が今回対象の候補矩形と画像として類似していれば追跡信用度が大きくなることがわかる。

また、別の算出方法として、前記中心点間距離ｄが所定の値以下ならば、つまり対応候補前回矩形が追跡矩形の近傍にある場合に、前記類似度Ｓをそのまま追跡信用度Ｃとし、中心点間距離が所定の値を超える場合には、追跡信用度Ｃをゼロとする方法でもよい。これは、物体追跡技術による推定位置（追跡矩形）と大きくずれることはなく、近傍内ではより画像が類似したものを選択する、という考え方に基づく。すなわち、今回の部分画像と、前回の教師データに含まれる部分画像との間の類似度に基づいて、対応する教師データを特定する処理の一例を示す。

上記は追跡信用度の算出方法の一例であり、画像の特性によって適切な方法を選定すればよい。また、複数の方法を組み合わせて使用してもよい。

ステップＳ６０６では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形と対応候補前回矩形との追跡信用度が ループ現時点での追跡信用度の最大値より大きい、かつ、事前設定していた追跡信用度閾値より大きいかどうかの判断を行う。もし成り立つのであれば、ステップＳ６０７に進む。成り立たないのであれば、次のループに移る。なお、追跡信用度閾値を設定せず、単に追跡信用度が最大かどうかの判断だけを行ってもよい。

ステップＳ６０７では、ＰＣ１０１のＣＰＵ２０１は、対応候補前回矩形の「前回矩形ＩＤ」を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「対応前回矩形ＩＤ」に設定する。

ステップＳ６０８では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ６０５で求めた追跡信用度を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「追跡信用度」に設定する。

ステップＳ６０９では、ＰＣ１０１のＣＰＵ２０１は、対応候補前回矩形の「ラベル」を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「仮ラベル」に設定する。すなわち、今回の部分画像に対して、特定された前回の教師データのラベルを付与する処理の一例を示すステップである。本実施例では、正解ラベルとして「１（花）」のみを登録しているため、本処理で「仮ラベル」に設定される値は「１（花）」のみとなるが、正解ラベルとして「０（背景）」も対象としている場合は、対応候補前回矩形の「ラベル」に従った値が「仮ラベル」に設定される。

ステップＳ６１０では、ＰＣ１０１のＣＰＵ２０１は、ループ現時点での追跡信用度の最大値を、今回対象の候補矩形と対応候補前回矩形との追跡信用度で更新を行う。

ステップＳ６１１では、ＰＣ１０１のＣＰＵ２０１は、次の対応候補前回矩形に移行して、繰り返し処理の最初に戻る。

上記処理により、今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「対応前回矩形ＩＤ」、「追跡信用度」に、追跡信用度が最大となる対応候補前回矩形に対する「前回矩形ＩＤ」、最大追跡信用度が設定される。
図５の説明に戻る。

ステップＳ５１０では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５０９の結果、今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードに「対応前回矩形ＩＤ」が設定されているかどうか判別を行う。「対応前回矩形ＩＤ」が設定されていなければ、ステップＳ５１１に進み、設定されていれば、何も行わず次のループへと進む。

ステップＳ５１１では、ＰＣ１０１のＣＰＵ２０１は、確信度の算出を行う。確信度とは、今回対象の候補矩形が正解矩形である確からしさを表す数値であり、具体的な算出手法としては、ステップＳ５０６の候補矩形抽出で用いた類似度や検出器によるスコアを算出する方法を適用すればよい。また、最初の時系列画像に対する候補矩形の場合のように確信度を算出することが困難な場合は、確信度は未定としておいてもよい。

ステップＳ５１２では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５１１で求めた確信度を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「確信度」に設定する。

ステップＳ５１３では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「仮ラベル」に「０（背景）」を設定する。本処理は、対応する前回時刻正解矩形が存在しないため、正解矩形かどうかの判断ができないため、仮に「花」以外としておく、という考え方に基づく。また、「確信度」に閾値を設定しておき、今回対象の候補矩形の「確信度」が閾値以上となるならば「仮ラベル」に「１（花）」を設定するようにしてもよい。

ステップＳ５１４では、ＰＣ１０１のＣＰＵ２０１は、次の候補矩形に移行し、繰り返し処理の最初に戻る。

上記の処理により、今回画像に対し、正解矩形の候補となる矩形を抽出し、前回画像の正解矩形との対応付けを行い、仮ラベルを設定することができる。

以下、図７を参照して、ステップＳ４０４の結果調整の詳細処理の一例について説明する。

ステップＳ７０１では、ＰＣ１０１のＣＰＵ２０１は、図１１に示す結果調整画面をディスプレイ２１０に表示する。詳細処理については図８で後述する。

ステップＳ７０２では、ＰＣ１０１のＣＰＵ２０１は、ステップ７０１にて表示した結果調整画面において、ユーザからの操作をキーボード２０９やマウス２１２から受け付け、必要な処理を実施する。詳細処理については図９で後述する。

以下、図８を参照して、ステップＳ７０１の調整画面表示処理の詳細処理の一例について説明する。

また、本処理にて表示する結果調整画面の一例を図１１に示し、説明の中で都度参照する。

ステップＳ８０１では、ＰＣ１０１のＣＰＵ２０１は、ディスプレイ２１０にメイン画面ウィンドウ１１０１を表示する。以降、ステップＳ８１０までの処理にてメイン画面の内容を表示する。

ステップＳ８０２では、ＰＣ１０１のＣＰＵ２０１は、前回矩形情報テーブル１００３から前回矩形情報を読み込む。

ステップＳ８０３では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０２にて読み込んだ前回矩形情報の「画像ファイル名」を基に、前回時刻の画像ファイルを取得する。

ステップＳ８０４では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０３にて取得した画像ファイルを基に、前回時刻の画像１１０４を表示する。

ステップＳ８０５では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報テーブル１００４から今回矩形情報を読み込む。

ステップＳ８０６では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０５にて読み込んだ今回矩形情報の「画像ファイル名」を基に、今回時刻の画像ファイルを取得する。

ステップＳ８０７では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０６にて取得した画像ファイルを基に、今回時刻の画像１１０５を表示する。

ステップＳ８０８では、ＰＣ１０１のＣＰＵ２０１は、前回矩形情報および今回矩形情報の矩形座標（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を基に、前回画像および今回画像の上に、矩形枠（１１０６、１１０７など）を表示する。

ステップＳ８０９では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「対応前回矩形ＩＤ」を基に、前回画像の矩形枠と今回画像の矩形枠との対応関係を特定し、対応するそれぞれの矩形枠の間を線（１１０８など）で結んで表示する。今回矩形情報で対応前回矩形ＩＤがブランクになっている今回の矩形や、今回矩形情報の対応矩形ＩＤにて対応付けがされていない前回の図形については、線で結ばれず、矩形枠単体で表示される。

ステップＳ８１０では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「追跡信用度」および「確信度」を基に、矩形枠と線の表示色を変更する。本実施例では、追跡信用度が高い矩形枠とそれらを結ぶ線は青色、信用度が低い矩形枠とそれらを結ぶ線は赤色で表示する。また、対応する今回矩形のない前回矩形については矩形枠を黒色で表示し、一方、対応する前回矩形のない今回矩形ついては、確信度が高い矩形枠は黒色、確信度が低い矩形枠は灰色で表示する。これにより、追跡の確からしさや、正解画像としての尤もらしさを直感的に把握することができる。

ステップＳ８１１では、ＰＣ１０１のＣＰＵ２０１は、ディスプレイ２１０にズーム画面ウィンドウ１１０２を表示する。以降、ステップＳ８１７までの処理にてズーム画面の内容を表示する。

ステップＳ８１２では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０２にて読み込んだ前回矩形情報の矩形座標（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を基に、ステップＳ８０３にて取得した画像ファイルから矩形画像を抽出する。

ステップＳ８１３では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０５にて読み込んだ今回矩形情報の矩形座標（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を基に、ステップＳ８０６にて取得した画像ファイルから矩形画像を抽出する。

ステップＳ８１４では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「対応前回矩形ＩＤ」を基に、前回矩形画像（１１０９など）と今回矩形画像（１１１０など）との対応関係を示す対応画像を表示する。本実施例では、２つの画像を矢印をはさんで左右に表示する。すなわち、今回の部分画像と、前回の教師データに含まれる部分画像とを対応付けて表示する処理の一例を示すステップである。ただし、対応する今回矩形のない前回矩形については対応画像を表示せず、対応する前回矩形のない今回矩形については、前回矩形画像の表示位置にはメッセージ画像等を表示して対応する前回矩形がないことを表す。

ステップＳ８１５では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８１４にて表示した前回矩形画像と今回矩形画像の対応画像の表示順序を変更する。本実施例では、以下のソート順で表示順序を変更する。

［１］今回矩形について「仮ラベル」が１（花）であり、「対応前回矩形ＩＤ」が設定されているもので、「追跡信用度」の高い順。

［２］今回矩形について「仮ラベル」が１（花）であり、「対応前回矩形ＩＤ」が設定されていないもので、「確信度」の高い順。

［３］今回矩形について「仮ラベル」が０（背景）であり、「確信度」の高い順。

［１］については、ステップＳ８１５にて前回矩形と今回矩形とが対応付けられたものでユーザに削除されていない（削除操作は後述）が対象となり、［２］についてはステップＳ８１５にて前回矩形と対応付けはされなかったものでユーザに採用された（採用操作は後述）ものが対象となり、［３］については前回矩形との対応付けはされなかったもので［２］に該当するもの以外が対象となる。

ステップＳ８１６では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「追跡信用度」および「確信度」を基に、矩形画像の背景の表示色を変更する。色の決定方法はステップＳ８１０と同じである。

ステップＳ８１７では、ＰＣ１０１のＣＰＵ２０１は、前ステップまでで表示された前回矩形画像と今回矩形画像の対応画像に対し、削除ボタン１１１２、または、採用ボタン１１１３を表示する。具体的には、上述の［１］と［２］に含まれる対応画像については削除ボタン１１１２を表示し、［３］については採用ボタン１１１３を表示する。

ステップＳ８１８では、ＰＣ１０１のＣＰＵ２０１は、ディスプレイ２１０に操作ボタン画面ウィンドウ１１０３を表示する。

ステップＳ８１９では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８１８にて表示した操作ボタン画面ウィンドウ１１０３上に各機能ボタンを表示する。本実施例では、機能ボタンとして、前の画像ボタン１１１４、次の画像ボタン１１１５、前の矩形ボタン１１１６、次の矩形ボタン１１１７、保存ボタン１１１８を表示する。

なお、本実施例では、ズーム画面ウィンドウ１１０２および操作ボタン画面ウィンドウ１１０３を、メイン画面ウィンドウ１１０１とは別に表示しているが、１つのウィンドウにまとめて表示してもよい。

以下、図９を参照して、ステップＳ７０２のユーザ操作受付・実行の詳細処理について説明する。

ステップＳ９０１では、ＰＣ１０１のＣＰＵ２０１は、キーボード２０９やマウス２１２からユーザによる操作を受け付ける。

ステップＳ９０２では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ９０１にて受け付けた操作の種類を判定する。操作の種類としては、本実施例では、矩形枠採用、矩形枠削除、矩形枠サイズ変更、矩形枠位置変更、新規矩形枠作成、保存があり、操作の種類によっては事前に矩形選択の操作を伴う。以下にそれぞれの具体的操作の一例について説明する。

矩形枠採用は、メイン画面ウィンドウ１１０１上で対象の今回矩形枠（前回矩形枠と線で結ばれていないもの）を選択した後キーボード２０９にて「ａ」キーを押下するか、ズーム画面ウィンドウ１１０２上で対象の矩形画像（前回矩形との対応付けのないもの）に表示された採用ボタンをマウス２１２にてクリックする。

矩形枠削除は、メイン画面ウィンドウ１１０１上で対象の今回矩形枠を選択した後キーボード２０９にて「ｄ」キーを押下するか、ズーム画面ウィンドウ１１０２上で対象の矩形画像に表示された削除ボタンをマウス２１２にてクリックする。すなわち、抽出された部分画像に対して採否（取消の方）を受け付ける処理の一例を示す。

矩形枠サイズ変更は、メイン画面ウィンドウ１１０１上でマウス２１２にて対象の今回矩形枠の隅または辺をクリックして選択し、サイズ変更したい所までドラッグして離す。

矩形位置変更は、メイン画面ウィンドウ１１０１上でマウス２１２にて対象の今回矩形枠内の任意の表示位置をクリックして選択し、位置変更したい所までドラッグして離す。

新規矩形枠作成は、メイン画面ウィンドウ１１０１上で今回画像中で対象の１つの隅となる位置をクリックして選択し、そこを起点の隅として対角の隅までドラッグして離す。

保存は、操作ボタン画面ウィンドウ１１０３上で、保存ボタンをクリックする。すなわち、抽出された部分画像に対して採否（採用の方）を受け付ける処理の一例を示す。

なお上記は具体的操作の一例であり、これに限るものではない。また、矩形枠や矩形画像の選択には、マウス２１２にて直接、矩形枠や矩形画像をクリックして選択する方法の他に、操作ボタン画面の前の矩形ボタン１１１６、または、次の矩形ボタン１１１７をクリックして今回矩形情報テーブル１００４に登録された順で前後の矩形を選択する方法も使用できる。

ステップＳ９０３では、ステップＳ９０２にて”矩形枠採用”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、ズーム画面の対象の矩形画像に表示されていた採用ボタンを非表示にし、削除ボタンを表示する。

ステップＳ９０４では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードについて、「仮ラベル」を１（花）に更新する。ここで、ユーザにより採用されたことを受けて「確信度」を最大値である１に更新する。

なお、本実施例では、ステップＳ９０４にて「仮ラベル」に設定する内容が１（花）のみであるため、ユーザ操作として「採用」ボタンを押下させているが、設定内容が複数ある場合は、直接「仮ラベル」の内容を入力させるか、ドロップダウンリスト等から選択させてもよい。すなわち、ステップＳ９０３は、対応する教師データが特定されなかった場合に、ラベルの指定を受け付ける処理の一例を示し、ステップＳ９０４は、今回の部分画像に対して、指定を受け付けたラベルを付与する処理の一例を示す。

ステップＳ９０５では、ステップＳ９０２にて”矩形枠削除”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、対象の今回矩形に対し、メイン画面に表示されていた矩形枠と線、および、ズーム画面に表示されていた矩形画像を表示削除する。

ステップＳ９０６では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードを削除する。ここで、レコードを削除せず、削除フラグ（不図示）を設定するようにしてもよい。すなわち、取消を受け付けた場合には、今回の部分画像に対する教師データを作成しないよう実行制御する処理の一例を示すステップである。

ステップＳ９０７では、ステップＳ９０２にて”矩形枠サイズ変更”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、対象の今回矩形に対し、サイズ変更表示する。具体的には、メイン画面では、今回矩形枠を変更されたサイズで表示し、前回矩形枠と結んでいた線を変更して表示する。ズーム画面では、サイズ変更された領域の画像を抽出して表示する。

ステップＳ９０８では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードについて、変更されたサイズに従って座標情報「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」を更新する。

ステップＳ９０９では、ステップＳ９０２にて”矩形枠位置変更”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、対象の今回矩形に対し、位置変更表示する。具体的には、メイン画面では、今回矩形枠を変更された位置に表示し、前回矩形枠と結んでいた線を変更して表示する。ズーム画面では、位置変更された領域の画像を抽出して表示する。

ステップＳ９１０では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードについて、変更された位置に従って座標情報「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」を更新する。

ステップＳ９１１では、ステップＳ９０２にて”新規矩形枠作成”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、新規作成された矩形枠を表示する。具体的には、メイン画面では、今回矩形枠を新規作成された位置・サイズに従って表示し、ズーム画面では、新規作成された領域の画像を抽出して表示する。表示イメージは、前回矩形との対応のない今回矩形と同じである。

ステップＳ９１２では、ＰＣ１０１のＣＰＵ２０１は、新たな「今回矩形ＩＤ」にて今回矩形情報テーブル１００４にレコード追加し、新規作成された矩形枠の位置・サイズに従って座標情報「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」を設定し、「仮ラベル」に１（花）を設定する。「確信度」には、ユーザにより新規登録されたことを受けて最大値である１を設定する。

ステップＳ９１３では、ステップＳ９０２にて”保存”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、現在の調整内容で正解矩形情報テーブル１００２を更新する。具体的には、今回矩形情報テーブル１００４において、「仮ラベル」が１（花）に設定されているレコードを選択し、正解矩形情報テーブル１００２に新たな「正解矩形ＩＤ」にてレコードを追加し、今回矩形情報テーブル「画像ファイル名」、「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」、「仮ラベル」を正解矩形情報テーブル１００２の「画像ファイル名」、「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」、「ラベル」にコピーする。すなわち、採用を受け付けた場合に、今回の部分画像に対して、前回の教師データのラベルを付与することにより教師データを作成するよう実行制御する処理の一例を示すステップである。すでに今回時刻で正解矩形情報テーブル１００２にデータが登録されている場合は、今回時刻のデータを削除してから上記処理を実施する。

ステップＳ９１４では、ＰＣ１０１のＣＰＵ２０１は、今回時刻分の操作が終了したかどうかを判定し、終了したと判定されればステップＳ９１５に進む。終了していないと判定されればステップＳ９０１に戻る。今回時刻分の操作が終了したと判定される操作としては、本実施例では、操作ボタン画面上で、前の画像ボタン１１１４、または、次の画像ボタン１１１５がマウス２１２によりクリックされた場合がある。この操作により、前の画像、次の画像に対して上述の一連の処理が可能となる。

ステップＳ９１５では、ＰＣ１０１のＣＰＵ２０１は、現在の調整内容で正解矩形情報テーブル１００２を更新する。具体的な処理は、ステップＳ９１３と同じである。すなわち、作成された教師データを記憶手段に登録する処理の一例を示すステップである。

上記により、今回時刻の正解矩形候補と前回時刻の正解矩形とを対応付けて表示することにより、今回時刻の正解矩形候補に対する正解かどうかの判断を効率的に行うことができる。

また、類似性または規則性を持った時系列画像データに対し、今回時刻の正解矩形候補の抽出のために、前回時刻の正解矩形情報を利用することにより、精度を高めることが期待できる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

また、本発明におけるプログラムは、図４〜図９の処理をコンピュータに実行させるプログラムである。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ ＰＣ
１０２ データベースサーバ
１０３ アプリケーションサーバ
１０４ ＬＡＮ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力装置
２１０ ディスプレイ装置
２１１ 外部メモリ
２１２ マウス

Claims (7)

1. 機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置であって、
   前記記憶手段に記憶されている第１のデータの中の物体の部分の情報に基づき、第２のデータの中で抽出された部分と前記情報が記憶されている前記第１のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定手段と、
   前記第２のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御手段と、
   前記第２のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付手段と
   を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記第２のデータの中で抽出された部分の前記所定のラベルに対する確信度に基づいて前記レベルを識別表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記第２のデータの中で抽出された部分と前記判定された前記第１のデータの中の部分との追跡信用度に基づいて前記レベルを識別表示することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判定手段は、前記記憶されている前記第１のデータの中の前記所定のラベルが付与された物体の部分の位置と前記第２のデータの中で前記抽出された部分の位置との距離に基づいて判定することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記判定手段は、前記情報が記憶されている前記第１のデータの中の前記所定のラベルが付与された物体の部分のデータの特徴量と前記第２のデータの中で前記抽出された部分のデータの特徴量との類似度に基づいて判定することを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置の制御方法であって、
   判定手段が、前記記憶手段に記憶されている第１のデータの中の物体の部分の情報に基づき、第２のデータの中で抽出された部分と前記情報が記憶されている前記第１のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定ステップと、
   表示制御手段が、前記第２のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御ステップと、
   受付手段が、前記第２のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付ステップと
   を有することを特徴とする情報処理装置の制御方法。
7. 機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置において実行可能なプログラムであって、
   前記情報処理装置を、
   前記記憶手段に記憶されている第１のデータの中の物体の部分の情報に基づき、第２のデータの中で抽出された部分と前記情報が記憶されている前記第１のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定手段と、
   前記第２のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御手段と、
   前記第２のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付手段
   として機能させるためのプログラム。

Images