JP2024008593A - 情報処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 学習データとして利用する複数の画像における各画像内の対象物の検証部位の位置とサイズに異常があるか否かを効率的に判定できる環境をユーザに提供する。【解決手段】 画像内の対象物の検証部位の位置とサイズを表す情報についての、正誤の判定を支援する情報処理装置であって、複数の画像と、当該複数の画像それぞれの画像における、対象物を包含する基準枠の位置とサイズを表す基準枠情報、並びに、対象物の検証部位を包含する検証枠の位置とサイズを表す検証枠情報を取得する取得部と、取得した基準枠情報が表す基準枠のサイズを正規化し、当該正規化に従って対応する検証枠のサイズと位置を正規化する正規化部と、複数の画像における各画像について、正規化後の基準枠を予め設定された位置に表示し、正規化後の検証枠を、正規化後の基準枠に対する、正規化後の位置とサイズに応じた相対位置に重畳表示する表示制御部とを有する。【選択図】 図１

Description

本発明は情報処理装置及びその制御方法及びプログラムに関するものである。

近年、撮影された画像を処理して、画像内の物体を検出する手法が多く提案されている。特にその中でも、ディープネット（或いはディープニューラルネット、ディープラーニングとも称される）と呼ばれる多階層のニューラルネットワークを用いて、画像中の物体の特徴を学習し、物体の位置や種類を認識する手法に関して、盛んに研究されている。非特許文献１にはディープネットを用いて画像から物体を検出する手法について開示されている。

物体の特徴の学習を行うには、人が画像に対して物体の位置やサイズといった正解情報を設定する必要がある。この画像と正解情報を学習データと呼ぶ。精度の高い認識器を作るためには、学習データを大量に用意する必要がある。特許文献１は、「人が正解情報を付ける操作」と「検出器の精度を評価する操作」とを所望の精度に達するまで繰り返すことで、十分な精度が確保された学習データを取得する方法を記載している。

特許第５９５３１５１号公報 特開２０１９－４６０９５号公報

SSD: Single Shot MultiBox Detector, Wei Liu et al., 2015 安部将成 ＭＴ法におけるしきい値設定法の提案と比較 Jiankang Deng et al., "RetinaFace: Single-stage Dense Face Localisation in the Wild" 2 May 2019

ユーザが手作業で学習データを準備すると、作業ミスや学習データの定義の誤解により位置やサイズの正解情報が誤った状態で入力される可能性がある。それ故、特許文献１に記載の技術では、誤った正解情報を含む学習データを利用して学習を行ってしまうと、認識器の精度が低下するという問題が残る。

特許文献２では、信頼度が低い学習データの画像と正解情報とを選択して表示することで、ユーザが学習データを効率的に見直すことが可能となる方法が記載されている。しかしながら、特許文献２の方法では、単一画像の確認方法の効率化に留まっており、複数枚画像の正解情報を確認するには時間がかかるといった課題がある。

本発明は、上記の課題に鑑みてなされたものであり、学習データとして利用する複数の画像における各画像内の対象物の検証部位の位置とサイズに異常があるか否かを効率的に判定できる環境をユーザに提供するものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
画像内の対象物の検証部位の位置とサイズを表す情報についての、正誤の判定を支援する情報処理装置であって、
複数の画像と、当該複数の画像それぞれの画像における、対象物を包含する基準枠の位置とサイズを表す基準枠情報、並びに、前記対象物の検証部位を包含する検証枠の位置とサイズを表す検証枠情報を取得する取得手段と、
取得した基準枠情報が表す基準枠のサイズを正規化し、当該正規化に従って対応する検証枠のサイズと位置を正規化する正規化手段と、
前記複数の画像における各画像について、正規化後の基準枠を予め設定された位置に表示し、正規化後の検証枠を、前記正規化後の基準枠に対する、正規化後の位置とサイズに応じた相対位置に重畳表示する表示制御手段とを有する。

本発明によれば、ユーザは、学習データとして利用する複数の画像における各画像内の対象物の検証部位の位置とサイズに異常があるか否かを効率的に判定できるようになる。

第１の実施形態におけるシステム構成の一例を示す図。 第１の実施形態における情報処理装置の機能構成図。 第１の実施形態における情報処理装置の処理の流れを示すフローチャート。 第１の実施形態における画像と枠情報の一例を示す図。 第１の実施形態における正規化処理の流れを示すフローチャート。 第１の実施形態における正規化基準枠と正規化検証枠の枠情報の表示の一例及び表示遷移の一例を示す図。 第２の実施形態における情報処理装置の機能構成図。 第２の実施形態における情報処理装置の処理の流れを示すフローチャート。 第２の実施形態における統計情報算出処理の流れを示すフローチャート。 第２の実施形態における正規化基準枠と正規化検証枠の枠情報、統計情報の表示の一例と統計情報の選択の一例を示す図。 第３実施形態における情報処理装置の機能構成図。 第３の実施形態における統計情報算出処理の流れを示すフローチャート。 第４の実施形態における情報処理装置の機能構成図。 実施形態の枠情報保持部が保持する情報の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態]
本実施形態では、人の顔が写った画像に、事前に入力された当該人物の瞳の正解情報である枠の検証、修正を支援するためのツールを例にとり説明する。瞳と位置、またはサイズに相関のある当該人物の頭部の枠を基準の枠（以下、基準枠）として、検証する瞳の枠（以下、検証枠）との相対位置や相対サイズを比較することで、検証枠の妥当性を検証する。入力画像、基準枠、及び検証枠の対応関係については、図４において後述する。本実施形態では、位置及びサイズに相関がある例を例示するが、どちらかに相関があればよい。また、サイズ情報のない物体の位置のみを示す座標点を設定するようにしてもよいし、画像上にランダムに現れる、位置に相関のない物体のサイズ情報を比較してもよい。また、検証部位が瞳であるものとするが、これは便宜的なものであって、瞳以外の顔のパーツであっても良い。

＜システム構成＞
本実施形態に係る情報処理装置１００のシステム構成例を図１に示す。情報処理装置１００は、システム構成として、制御装置１１、記憶装置１２、演算装置１３、入力装置１４、出力装置１５、Ｉ／Ｆ装置１６とを有する。

制御装置１１は、情報処理装置１００の全体を制御するもので、ＣＰＵ、及び、ＣＰＵが実行するプログラムを格納するメモリで構成される。

記憶装置１２は、制御装置１１の動作に必要なプログラム及びデータを保持するものであり、典型的にはハードディスクドライブ等である。

演算装置１３は、制御装置１１からの制御に基づき、必要な演算処理を実行する。

入力装置１４は、ヒューマンインターフェースデバイス等であり、ユーザの操作を情報処理装置１００に伝達する。入力装置１４は、例えば、スイッチ、ボタン、キー、タッチパネル、キーボードなどの入力デバイス群で構成される。

出力装置１５は、ディスプレイ等であり、情報処理装置１００の処理結果等をユーザに提示する。

Ｉ／Ｆ装置１６は、ユニバーサルシリアルバス、イーサネット、光ケーブル等の有線インタフェース、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の無線インタフェースである。Ｉ／Ｆ装置１６は、例えばカメラ等の撮像装置が接続可能である。そして、Ｉ／Ｆ装置１６は、その撮像装置による撮影画像を情報処理装置１００に取り込むインタフェースとしても機能する。また、Ｉ／Ｆ装置１６は、情報処理装置１００で得られた処理結果を外部に送信するインタフェースとしても機能する。更に、Ｉ／Ｆ装置１６は、情報処理装置１００の動作に必要なプログラムやデータ等を情報処理装置１００に入力するためのインタフェースとしても機能する。

図２は情報処理装置１００の機能構成を示す図である。情報処理装置１００は、画像保持部１０１、枠情報保持部１０２、正規化処理部１０３、表示制御部１０４、ユーザ操作取得部１０５、枠情報修正部１０６を備える。

なお、図１に示す制御装置１１は、記憶装置１２に格納されたプログラムをメモリにロードし、実行する。図２の機能構成図を構成する各機能部は、制御装置１１がプログラムを実行することで機能するものと理解されたい。

画像保持部１０１は、複数の画像を保持する。保持対象の画像はカメラ等により撮影された画像でもよいし、ハードディスクなどの記憶装置に記録されている画像でもよいし、インターネット等のネットワークを介して受信された画像でもよい。画像保持部１０１は、例えば記憶装置１２により実現する。

枠情報保持部１０２は、画像保持部１０１で保持される各画像に紐づけられ、事前に入力された枠情報を管理するテーブルを保持する。本実施形態における枠情報は、画像内の対象物体（人物）の存在に関する情報であり、画像上の対象部位（顔）を包含する基準枠（典型的には外接矩形枠）の位置とサイズ、並びに、顔のパーツ（実施形態では目）を包含する枠の位置とサイズを示す情報である。位置は、枠の左上隅の２次元座標の値である。サイズは枠の水平方向の長さと垂直方向の長さを表す値である。また、この枠情報保持部１０２は、例えば記憶装置１２により実現する。

図１４は、枠情報保持部１０２が保持するテーブルの一例を示す。テーブルの第１フィールドは、画像ファイルを特定するＩＤである。画像ファイルを特定するのであれば画像ファイル名であっても良い。第２フィールドは、画像ファイルが表す画像のサイズ（水平、垂直方向の画素数）である。第３フィールドは、画像内の人物の顔領域を包含する基準枠の位置とサイズである。画像の左上隅の位置を原点（０，０）とし、その原点から水平右方向をｘ軸の正の方向、垂直下方向をｙ軸の正の方向と定義する。基準枠の位置は、その基準枠の左上隅の位置を表し、基準枠のサイズはその基準枠の水平、垂直方向のサイズ（画素数）である。

テーブルの第４フィールドは、検証枠Ａ（例えば人物の右目）を包含する矩形枠の位置とサイズである。位置、サイズの定義は、検証枠で説明した通りである。第５フィールドは、第４フィールドの検証枠Ａに対する正誤確認フラグを示し、初期段階では未確認を示す“０”が格納される。

第６フィールドは、検証枠Ｂ（例えば人物の左目）を包含する矩形枠の位置とサイズである。第７フィールドは、第６フィールドの検証枠Ｂに対する正誤確認フラグを示し、初期段階では未確認を示す“０”が格納される。

正規化処理部１０３は、枠情報保持部１０２より取得した複数の枠に正規化処理を実施する。ここで、正規化処理とは、枠の２次元座標上の変換処理のことを指す。例えば、ある基準枠が画像上の２次元座標上の固定位置、固定サイズとなるように変換する処理である。検証枠も、正規化された基準枠に従って同様に変換される。正規化処理の目的は、個々の画像の基準枠、検証枠の相対位置や相対サイズを把握し易くすることにある。

表示制御部１０４は、正規化処理部１０３による正規化後の基準枠（以降、正規化基準枠）、及び、正規化後の検証枠（以下、正規化検証枠）、画像保持部１０１に保持された画像を出力装置１５に表示する。

ユーザ操作取得部１０５は、入力装置１４で入力されたユーザの操作情報を取得する。

枠情報修正部１０６は、ユーザ操作取得部１０５で取得したユーザ操作に従って、枠情報を修正し、修正した枠情報を枠情報保持部１０２に保存する。

次に、本実施形態に係る情報処理装置１００の処理の流れの例を、図３を用いて説明する。

Ｓ３０１において、制御装置１１は、枠情報保持部１０２に保持されたテーブルを参照し、基準枠および検証枠の枠情報を取得する。

図４（ａ）は、画像と枠情報の一例を示す図である。図４（ａ）中、参照符号４０１は対象物体（人物）を含む画像であり、参照符号４０３は対象物体の対象部位（頭部）に対応する基準枠、及び、参照符号４０４，４０５は検証枠（実施形態では目）である。また、図４（ａ）には、他の人物画像４０２も示されている。この画像４０２には、基準枠４０６，検証枠４０７、４０８も示されている。なお、簡単のため、画像４０１、４０２には一人の人物が写っているものとする。

Ｓ３０１において、制御装置１１は、枠情報保持部１０２に保持されたテーブル（図１４）を参照し、各画像の基準枠（図４の参照符号４０３、４０６等）、検証枠（参照符号４０４，４０５，４０７，４０８等）の枠情報を取得する。

Ｓ３０２において、正規化処理部１０３は、取得した基準枠、検証枠の正規化処理を行う。正規化処理の流れを図５に示し、説明する。ここでは、図４（ａ）の基準枠４０３を例に説明する。

Ｓ５０１において、正規化処理部１０３は、基準枠４０３の幅及び高さが固定サイズになるように基準枠及び検証枠を変倍（縮小または拡大）する。例えば、目標とする固定サイズの水平方向、及び、垂直方向とも５００画素であり、基準枠４０３の水平方向サイズが４００画素、垂直方向が３００であった場合、正規化処理部１０３は、水平方向の倍率を１．２５倍（＝５００／４００）、垂直方向の倍率を１．６７倍（＝５００／３００）とする。そして、正規化処理部１０３は、決定した垂直及び水平方向の倍率に従い、基準枠の位置とサイズを変更する。例えば、図１４の画像ＩＤ＝０００１の基準枠が、上記基準枠４０３であった場合、正規化処理部１０３は、水平成分を含むＲＸ１及びＲＷを１．２５倍し、垂直成分を含むＲＹ１及びＲＨ１を１．６７倍する。また、正規化処理部１０３は、決定した垂直及び水平方向の倍率に従い、検証枠Ａ，Ｂの位置とサイズについても変更する。

Ｓ５０２において、正規化処理部１０３は、正規化した基準枠中心の座標を指定位置に平行移動する。例えば、指定位置が（ｘ、ｙ）＝（５００ピクセル、５００ピクセル）、基準枠４０３の中心の座標が（ｘ、ｙ）＝（３００ピクセル、２００ピクセル）だった場合、基準枠４０３をｘ方向に＋２００ピクセル、ｙ方向に＋３００ピクセル平行移動する。同様に検証枠４０４、４０５の座標を平行移動する。

Ｓ５０３において、正規化処理部１０３は、基準枠４０３の周辺領域にある検証枠情報を保持する。例えば、座標上のｘ座標、ｙ座標が０～１０００ピクセルに含まれる検証枠情報を記憶装置１２に保持する。

正規化処理部１０３は、これらＳ５０１～Ｓ５０３のステップを、Ｓ３０１で取得した全ての基準枠について繰り返し処理する。このようにして、複数の正規化した基準枠（以下、正規化基準枠）の枠情報である正規化基準枠情報、および正規化した検証枠（以下、正規化検証枠）の枠情報である正規化検証枠情報が得られる。

続いて、図４（ｂ）を参照して、正規化基準枠と正規化検証枠の表示例について説明する。図４（ｂ）中、参照符号４１０は正規化基準枠を示す。個々の画像のサイズや基準枠はまちまちであっても、正規化基準枠は同じサイズであり、ズレは発生しない。参照符号４１２、及び、正規化基準枠４１０内にある実線の複数の枠は、正規化検証枠である。また、参照符号４１１は、Ｓ５０３で計算された周辺領域を表す枠である。頭部と瞳の位置には相関があるため、瞳の位置を正しく表してない検証枠４０８に対応する正規化検証枠４１２が、他の検証枠に対し大きくずれた位置にあることがわかる。このように、複数枚数の画像の正規化基準枠と正規化検証枠を重畳表示することで、複数枚数の枠を同時に確認し、不自然な枠を識別することができる。

図３の説明に戻る。Ｓ３０３において、表示制御部１０４はＳ３０２で算出した正規化基準枠と正規化検証枠の枠情報と、Ｓ３０３で算出された統計情報を出力装置１５に表示させる制御を行う。

図６を参照して、正規化基準枠と正規化検証枠の枠情報の表示例及び表示遷移例を説明する。図６（ａ）における参照符号６０１は、出力装置１５に表示するウインドウである。ウインドウ６０１中の参照符号４１１は、図４（ｂ）で例示した正規化基準枠の周辺領域を表した枠である。周辺領域４１１には、正規化基準枠に対する複数の正規化検証枠が重畳して表示されている。

Ｓ３０４において、ユーザ操作取得部１０５は、ユーザの入力に従って検証枠を選択する。ここでは、ユーザの入力はマウス等のポインティングデバイスの操作によって、検証枠の選択を受け付ける。図６（ｂ）中、参照符号６０２はマウスカーソルを示し、ユーザはこのマウスカーソルの位置の変更操作を行うことで、目的とする検証枠を選択できる。実施形態の場合、ウインドウ６０１内に、他の検証枠から不自然に離れている正規化検証枠４１２をユーザが選択することになる。なお、タッチ入力を利用する場合には、ユーザは正規化検証枠４１２をタッチすれば良いので、マウスカーソルの表示は不要である。

Ｓ３０５において、表示制御部１０４は、Ｓ３０５で選択した検証枠情報を受けて、図６（ｂ）のウインドウ６０１から、ユーザによる編集可能な図６（ｃ）のウインドウ６０３に画面遷移する。この際、表示制御部１０４は、図１４のテーブルを参照して、Ｓ３０５で選択した検証枠４１２に紐づけられた画像４０２と基準枠４０６、検証枠４０７、４０８を表示する。また、表示制御部１０４は、枠情報修正を受け付けるため修正ボタン６０４とウインドウ６０１に戻るためのＯＫボタン６０５をウインドウ６０３に配置し、表示する。

Ｓ３０６にて、表示制御部１０４は、ＯＫボタン６０５が押下されたと判定した場合、枠は問題ないと判定し、Ｓ３０７をスキップする。また、表示制御部１０４は、ＯＫボタンが押下された正規化検証枠を後述のＳ３０９で非表示とするために、当該枠の正誤情報として、正しい枠というフラグ情報を枠情報保持部１０２に保存する。例えば、表示制御部１０４は、図１４のテーブルの該当する検証枠用のフラグを“１”１として保存する。

一方、Ｓ３０６にて、表示制御部１０４は修正ボタン６０４を押下されたと判定した場合、枠は問題ありと判定され、処理をＳ３０７に進める。このＳ３０７にて、表示制御部１０４は枠を修正するために、図６（ｄ）のウインドウ６０６に遷移し、ユーザが枠情報を修正できるようにする。例えば、検証枠４０８の中央部を押下し続けたままで移動操作（ドラッグ操作）することでその位置を修正し、検証枠４０８の枠線上を押下し続けることで枠サイズの修正をすることができるようにする。この修正後の正規化検証枠の位置とサイズに対して正規化とは逆の処理を行って元の画像のスケールに応じた位置とサイズに変換した上で、テーブルを修正する。

図６（ｄ）は、修正後の例として、ウインドウ６０６にて検証枠４０８が検証枠６０７に修正されていることを示している。修正された検証枠６０７の位置やサイズの枠情報は枠情報修正部１０６によって、枠情報保持部１０２に再保存される（図１４のテーブルが更新される）。

Ｓ３０８にて、表示制御部１０４は、修正後にＯＫボタン６０５の押下を検出すると、図６（ｅ）のウインドウ６０８に遷移する。また、ＯＫボタンが押下された正規化検証枠を後述のＳ３０９で非表示とするために、当該枠の正誤情報として、正しい枠というフラグを“１”として保存する。表示制御部１０４は、フラグが“１”となった検証枠は非表示とする。この結果、他の確認していない他の正規化検証枠が見やすくなる。

続いてＳ３０９において、表示制御部１０４は、ユーザから処理を終了するか否か指示入力を待つ。一連の修正作業を終了指示のボタン（不図示）の押下や、すべての枠の修正作業か完了した場合、表示制御部１０４は本処理を終了する。なお、本処理を終了したとき、フラグが初期値の“０”のままの検証枠は正しいものとして判定される。そして、Ｓ３０９で終了された場合、表示制御部１０４は、ウインドウ６０８を閉じる。Ｓ３０９で終了されなかった場合、表示制御部１０４は、ウインドウ６０８の表示を継続し、ユーザが検証枠の確認及び修正ができるようにする。また、Ｓ３０６、Ｓ３０８でフラグ情報が１となっていた場合、表示制御部１０４は、該当する正規化検証枠４１２を非表示にする。

なお、本実施形態では検証枠として、矩形の枠を表示する例について説明したが、例えば多角形や円形の領域枠を設定するようにしてもよい。また、サイズ情報のない物体の位置のみを示す座標点を設定するようにしてもよいし、画像上にランダムに現れる、位置に相関のない物体のサイズ情報を比較することもできる。さらに、画素単位のラベル情報に適用してもよい。また、本形態では、頭部の枠と顔の枠で例示したが、全身の枠と頭部の枠でもよいし、全身の枠と人物が保持する任意物体との対応でもよい。

さらに、上記では人物の例を示したが、一般物体にも適応可能で、例えばバイクに乗った人の全領域を外接する枠を想定した場合に、正しくバイクと人の両方を囲った枠と、誤ってバイクのみを囲った枠を分離することもできる。

以上説明したように、本実施形態に係る情報処理装置は、検証枠（瞳）と位置及びサイズに相関のある基準枠（頭）との相対位置を同時に表示することで、ユーザが誤りと疑われる学習データを効率的に見直すことが可能となる。

［第２の実施形態］
本第２の実施形態では、統計情報の分布を用いた正規化検証枠の選択及び修正の構成について説明する。第１の実施形態と同じ部分については説明を省略し、異なる点のみについて説明する。

図７は、第２の実施形態における情報処理装置１００の機能構成図である。第１の実施形態の図２との違いは、統計情報算出部１０７が追加されている点である。

統計情報算出部１０７は、正規化処理部１０３で正規化した検証枠の相対距離、相対サイズ、相対角度を算出する。また、統計情報算出部１０７は、計算された相対距離、相対サイズ、相対角度をもとにヒストグラムや散布図等のグラフを作成する。

表示制御部１０４は、統計情報算出部１０７で算出された統計情報を出力装置１５に表示する。

本第２の実施形態に係る情報処理装置１００の処理の流れの例を、図８のフローチャートを参照して、以下に説明する。

Ｓ８０１にて、統計情報算出部１０７は、正規化検証枠の統計情報を算出する。この統計情報算出処理の詳細を図９のフローチャートを参照して説明する。

Ｓ９０１にて、統計情報算出部１０７は、正規化基準枠の中心座標と正規化検証枠の中心座標との距離を算出する。距離として、例えば、ユークリッド距離を用いる。

Ｓ９０２にて、統計情報算出部１０７は、正規化検証枠のサイズを算出する。例えば、正規化検証枠の対角線の長さをサイズとする。

Ｓ９０３にて、統計情報算出部１０７は、正規化検証枠の角度を算出する。角度として、例えば、統計情報算出部１０７は、画像座標ｘ軸に対する、正規化基準枠の中心座標と正規化検証枠の中心座標間の直線の角度として算出し、該角度を基にコサイン類似度を算出する。

Ｓ９０４にて、統計情報算出部１０７は、正規化基準枠と正規化検証枠の重複度を算出する。統計情報算出部１０７は、重複度として、例えば、着目する二つの領域の和集合の面積に対する、当該二つの領域の積集合（重複領域）の面積の比（IoU:Intersection over Union）を算出する。

Ｓ９０５にて、統計情報算出部１０７は、全検証枠についてＳ９０１からＳ９０４の処理を実施したか判定する。

Ｓ９０５にて、統計情報算出部１０７が、処理を実施していない検証枠がまだ残っていると判定した場合、処理をＳ９０１に戻し、次の検証枠について処理を実施する。

一方、Ｓ９０５にて、統計情報算出部１０７が全検証枠に対して処理を実施したと判定した場合、処理をＳ９０６に進める。このステップＳ９０６にて、統計情報算出部１０７は、計算された相対距離、相対サイズ、相対角度をもとにヒストグラム、散布図を作成する。ヒストグラムは相対距離、相対サイズ、相対角度を横軸としたときの検証枠の頻度のヒストグラムであり、１変数の分布から外れている検証枠情報を確認する目的で作成する。また、散布図は、相対距離と相対サイズの散布図、相対距離と相対角度の散布図、相対サイズと相対角度の散布図であり、２変数の分布から外れている枠情報を確認する目的で作成する。２変数の分布は散布図でなく、ヒートマップ表示としてもよい。

図８の説明に戻る。Ｓ８０２において、表示制御部１０４はＳ３０２で算出した正規化基準枠と正規化検証枠の枠情報と、Ｓ８０１で算出された統計情報を出力装置１５に表示させる制御を行う。

図１０（ａ）乃至（ｃ）に正規化基準枠と正規化検証枠の枠情報、統計情報の表示例と統計情報の選択例を示す。図１０（ａ）における参照符号１００１は、出力装置１５に表示するウインドウである。ウインドウ１００１における、参照符号４１０は正規化基準枠である。参照符号４１２、１００２、１００３、及び、正規化基準枠４１０内にある実線の枠は正規化検証枠である。Ｓ８０１で算出された統計情報のヒストグラム、及び、散布図を参照符号１００４、１００５、１００６に示すように表示される。ヒストグラム１００４は距離に対するヒストグラムを示し、ヒストグラム１００５はサイズに対するヒストグラムである。また、散布図１００６は、サイズと距離の散布図である。ここでは、角度や重複度に関するヒストグラムや散布図を例示していないが、角度や重複度のヒストグラムや散布図を、不図示のボタンを押下することで表示してもよい。また、ユーザが表示したい情報のヒストグラムや散布図を、不図示のプルダウンから選択できるようにしてもよい。

Ｓ８０３にて、表示制御部１０４は、ユーザ操作取得部１０５からのユーザの入力に従って統計情報の分布に対する階級や領域を選択する。ユーザに統計情報の分布に対する階級や領域を選択させ、検証枠の表示数を限定することで、正規化検証枠を確認しやすくする。図１０（ｂ）中、参照符号１００７はマウス操作に連動するマウスカーソルである。図示の場合、マウスカーソル１００７は距離に対するヒストグラムの一番大きな階級を表すグラフ要素を選択している。表示制御部１０４は、この選択を受け、図１０（ｂ）のウインドウ１００１から図１０（ｃ）のウインドウ１００９に画面を遷移する。表示制御部１０４は、ウインドウ１００１にてユーザが選択した階級を塗りつぶすことで、どの階級を選択したか、確認できるようにする。また、表示制御部１０４は、塗りつぶした階級に該当する正規化検証枠４１２、１００４のみを、周辺領域４１１に表示することで、多くの検証枠が表示されている場合でも、確認する検証枠を限定することができる。

ここでは、距離によるヒストグラムの階級を選択する例を示したが、サイズのヒストグラム１００５の一番大きな階級を選択することで、他の枠より大きな正規化検証枠１００３のみを表示させることもできる。

また、本第２の実施形態では統計情報の階級を選択することで、正規化検証枠を表示する例を述べたが、例えば図６（ｃ）のウインドウ６０３に画面遷移し、ユーザに画像と検証枠の確認を促してもよい。

さらに、散布図である１００６の領域をマウス操作等で不図示の円を描くなどして選択することで、円に含まれる正規化表示枠のみを表示させるようにしてもよい。また、ウインドウ１００１の４１１内の正規化検証枠の範囲を不図示の円描くなどして指定することで、円に含まれる正規化検証枠のみを表示するようにしてもよい。また、この状態で、第１の実施形態と同様に、編集処理に移行できるようにしても良い。

以上説明したように、本第２の実施形態では、検証枠の統計情報の分布を可視化し、分布の階級や正規化検証枠の集団を選択させ表示する。当該表示により、誤っていると疑われる検証枠のみをユーザが視認することができ、検証枠の確認作業が容易となる。

［第３の実施形態］
本第３の実施形態では、統計情報を用いて誤っていると疑われる正規化検証枠を自動で選択する構成について説明する。第２の実施形態と同じ部分については説明を省略し、異なる点のみについて説明する。

図１１は、第３の実施形態における情報処理装置１００の機能構成図である。第２の実施形態の図７との違いは、誤り検証枠情報判定部１０８が追加された点にある。

誤り検証枠情報判定部１０８は、誤りの可能性が高い枠を統計情報から判定する。統計情報として、１つの正規化検証枠が、相対距離、相対サイズ、相対角度、重複度の４つのベクトル成分を持つものとし、非特許文献２に記載のマハラノビス距離を算出し、マハラノビス距離があらかじめ設定された閾値を超えた場合に誤りの可能性が高い正規化検証枠と判定する。

本第３の実施形態に係る統計情報算出処理の流れを図１２に示す。第２の実施形態における図９の統計情報算出処理の流れと異なる部分のみを説明する。

Ｓ９０５にて、統計情報算出部１０７は、全検証枠に対して、Ｓ９０１からＳ９０４の処理を実施したか判定する。Ｓ９０５にて、統計情報算出部１０７は、全検証枠についての処理を終えたと判定した場合、Ｓ９０６の処理を経て、Ｓ１２０１において、各検証枠に対する距離、サイズ、角度、重複度のマハラノビス距離を算出する。

そして、Ｓ１２０２にて、統計情報算出部１０７は、マハラノビス距離が閾値を超える正規化検証枠が存在するか否かの判定を行う。たとえば、ここで規定する閾値を１と設定する。続いてＳ８０２において、表示制御部１０４は、閾値を超えた正規化検証枠のみを表示する。

なお、本実施形態で、閾値はあらかじめ設定した例を説明したが、閾値は不図示の入力フォームによってユーザにより任意に変えられるようにしてもよい。また、閾値を単一でなく複数設定し、複数の閾値で区切られる領域毎に正規化検証枠を表示する不図示のボタンで切り替えるようにしてもよい。

また、閾値を超えない正規化検証枠を非表示にするのではなく、色分けして見やすくしてもよいし、マハラノビス距離を枠の近くに表示することでユーザに判断のための情報を与えてもよい。

なお、本実施形態ではマハラノビス距離を用いて正規化検証枠を限定したが、例えば平均値を中心として、標準偏差の３倍以上離れた値を外れ値として、誤り検証枠候補としてもよい。また、中央値と四分位数を用いて、第一四分位値から四分位差離れた値を外れ値として誤り検証枠候補としてもよい。

以上説明したように、本第３の実施形態によれば、検証枠の統計情報から、当該検証枠情報の統計情報の外れ値を閾値処理によって判定する。これにより、誤っていると疑われる検証枠をユーザに提案することができ、検証枠の確認作業が容易となる。

［第４の実施形態］
本第４の実施形態では、基準枠をあらかじめ準備した枠でなく、物体枠検出部を用いて検出した枠を用いて正規化処理を実施し、検証枠を選択する構成について説明する。第３の実施形態と同じ部分については説明を省略し、異なる点のみについて説明する。

図１３は、本第４の実施形態における情報処理装置１００の機能構成図である。第３の実施形態の構成に加えて、物体枠検出部１０９を備える点が異なる。

この物体枠検出部１０９は、画像と検証枠のペアを入力したとき、その画像から、例えば非特許文献１、３に示されるような階層型畳み込みニューラルネットワークを用いて、基準枠の検出を行う。これにより、基準枠をあらかじめ準備しなくても、その基準枠に対する検証枠の検証することができ、基準枠の入力の手間を省くことができる。

なお、物体検出部１０９による検出枠を検証する方法として、あらかじめ準備した基準枠と、物体枠検出部を用いて検出した検証枠に対して、正規化処理を実施し、検証枠を選択する構成をとってもよい。

以上第１乃至第４の実施形態を説明した。上記実施形態では、人間の目を検証枠が示すものとしたため、１つの基準枠に対する検証枠は２つの例であったが、特に検証枠の個数は１以上であれば良く、その個数は特に制限はないことを付言しておく。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の情報処理装置、方法及びプログラムを含む。
（項目１）
画像内の対象物の検証部位の位置とサイズを表す情報についての、正誤の判定を支援する情報処理装置であって、
複数の画像と、当該複数の画像それぞれの画像における、対象物を包含する基準枠の位置とサイズを表す基準枠情報、並びに、前記対象物の検証部位を包含する検証枠の位置とサイズを表す検証枠情報を取得する取得手段と、
取得した基準枠情報が表す基準枠のサイズを正規化し、当該正規化に従って対応する検証枠のサイズと位置を正規化する正規化手段と、
前記複数の画像における各画像について、正規化後の基準枠を予め設定された位置に表示し、正規化後の検証枠を、前記正規化後の基準枠に対する、正規化後の位置とサイズに応じた相対位置に重畳表示する表示制御手段と
を有することを特徴とする情報処理装置。
（項目２）
表示された前記検証枠を選択する選択手段と、
選択した検証枠のサイズと位置を修正する編集手段とを有し、
前記表示制御手段は、前記編集手段で編集された検証枠については、非表示とする
ことを特徴とする項目１に記載の情報処理装置。
（項目３）
前記複数の画像、及び、各画像の基準枠情報及び前記編集手段による編集を経た検証枠情報は、学習データとして利用されることを特徴とする項目２に記載の情報処理装置。
（項目４）
前記基準枠は画像中の人物の顔を包含する枠であって、前記検証枠は顔を構成する部位を包含する少なくも１つの枠である
ことを特徴とする項目１乃至３のいずれか１つに記載の情報処理装置。
（項目５）
前記正規化手段による正規化された前記基準枠情報、及び、前記検証枠情報から、各検証枠の位置とサイズの相対的なズレを表す、少なくとも１つの統計情報を算出する算出手段を更に有し、
前記表示制御手段は、
前記算出手段で算出した統計情報をグラフとして表示し、
前記選択手段によって、表示された前記グラフの要素が選択された場合には、該当する要素に属する前記検証枠のみを表示する
ことを特徴とする項目１乃至４のいずれか１つに記載の情報処理装置。
（項目６）
前記算出手段は、前記基準枠と前記検証枠との間の相対距離、相対サイズ、もしくは、相対角度から統計情報を算出することを特徴とする項目５に記載の情報処理装置。
（項目７）
前記算出手段で算出した統計情報に基づき、前記検証枠の位置とサイズの誤りの程度を表す値を算出し、予め設定された閾値と比較することで、誤りがあるか否かを判定する判定手段を更に有し、
前記表示手段は、前記判定手段によって誤りが有ると判定した検証枠と、対応する画像を、編集可能に表示する
ことを特徴とする項目５に記載の情報処理装置。
（項目８）
前記判定手段は、マハラノビス距離を、誤りの程度を表す値として算出することを特徴とする項目７に記載の情報処理装置。
（項目９）
画像を入力し、前記基準枠を検出するため、前記画像における前記対象物体を検出する物体検出手段を更に有し、
前記取得手段は、前記物体検出手段により得た前記画像と当該画像における対象物に対する基準枠情報とを取得する
ことを特徴とする項目１乃至８のいずれか１つに記載の情報処理装置。
（項目１０）
画像内の対象物の検証部位の位置とサイズを表す情報についての、正誤の判定を支援する情報処理装置の制御方法であって、
複数の画像と、当該複数の画像それぞれの画像における、対象物を包含する基準枠の位置とサイズを表す基準枠情報、並びに、前記対象物の検証部位を包含する検証枠の位置とサイズを表す検証枠情報を取得する取得工程と、
取得した基準枠情報が表す基準枠のサイズを正規化し、当該正規化に従って対応する検証枠のサイズと位置を正規化する正規化工程と、
前記複数の画像における各画像について、正規化後の基準枠を予め設定された位置に表示し、正規化後の検証枠を、前記正規化後の基準枠に対する、正規化後の位置とサイズに応じた相対位置に重畳表示する表示制御工程と
を有することを特徴とする情報処理装置の制御方法。
（項目１１）
コンピュータが読み込み実行することで、前記コンピュータに、項目１乃至９のいずれか１つの記載の装置が有する各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…情報処理装置、１１…制御装置、１２…記憶装置、１３…演算装置、１４…入力装置、１５…出力装置、１６…Ｉ／Ｆ装置、１０１…画像保持部、１０２…枠情報保持部、１０３…正規化部、１０４…表示制御部、１０５…ユーザ操作取得部、１０６…枠情報修正部

Claims (11)

1. 画像内の対象物の検証部位の位置とサイズを表す情報についての、正誤の判定を支援する情報処理装置であって、
   複数の画像と、当該複数の画像それぞれの画像における、対象物を包含する基準枠の位置とサイズを表す基準枠情報、並びに、前記対象物の検証部位を包含する検証枠の位置とサイズを表す検証枠情報を取得する取得手段と、
   取得した基準枠情報が表す基準枠のサイズを正規化し、当該正規化に従って対応する検証枠のサイズと位置を正規化する正規化手段と、
   前記複数の画像における各画像について、正規化後の基準枠を予め設定された位置に表示し、正規化後の検証枠を、前記正規化後の基準枠に対する、正規化後の位置とサイズに応じた相対位置に重畳表示する表示制御手段と
   を有することを特徴とする情報処理装置。
2. 表示された前記検証枠を選択する選択手段と、
   選択した検証枠のサイズと位置を修正する編集手段とを有し、
   前記表示制御手段は、前記編集手段で編集された検証枠については、非表示とする
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の画像、及び、各画像の基準枠情報及び前記編集手段による編集を経た検証枠情報は、学習データとして利用されることを特徴とする請求項２に記載の情報処理装置。
4. 前記基準枠は画像中の人物の顔を包含する枠であって、前記検証枠は顔を構成する部位を包含する少なくも１つの枠である
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記正規化手段による正規化された前記基準枠情報、及び、前記検証枠情報から、各検証枠の位置とサイズの相対的なズレを表す、少なくとも１つの統計情報を算出する算出手段を更に有し、
   前記表示制御手段は、
   前記算出手段で算出した統計情報をグラフとして表示し、
   前記選択手段によって、表示された前記グラフの要素が選択された場合には、該当する要素に属する前記検証枠のみを表示する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記算出手段は、前記基準枠と前記検証枠との間の相対距離、相対サイズ、もしくは、相対角度から統計情報を算出することを特徴とする請求項５に記載の情報処理装置。
7. 前記算出手段で算出した統計情報に基づき、前記検証枠の位置とサイズの誤りの程度を表す値を算出し、予め設定された閾値と比較することで、誤りがあるか否かを判定する判定手段を更に有し、
   前記表示手段は、前記判定手段によって誤りが有ると判定した検証枠と、対応する画像を、編集可能に表示する
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記判定手段は、マハラノビス距離を、誤りの程度を表す値として算出することを特徴とする請求項７に記載の情報処理装置。
9. 画像を入力し、前記基準枠を検出するため、前記画像における前記対象物体を検出する物体検出手段を更に有し、
   前記取得手段は、前記物体検出手段により得た前記画像と当該画像における対象物に対する基準枠情報とを取得する
   ことを特徴とする請求項１に記載の情報処理装置。
10. 画像内の対象物の検証部位の位置とサイズを表す情報についての、正誤の判定を支援する情報処理装置の制御方法であって、
    複数の画像と、当該複数の画像それぞれの画像における、対象物を包含する基準枠の位置とサイズを表す基準枠情報、並びに、前記対象物の検証部位を包含する検証枠の位置とサイズを表す検証枠情報を取得する取得工程と、
    取得した基準枠情報が表す基準枠のサイズを正規化し、当該正規化に従って対応する検証枠のサイズと位置を正規化する正規化工程と、
    前記複数の画像における各画像について、正規化後の基準枠を予め設定された位置に表示し、正規化後の検証枠を、前記正規化後の基準枠に対する、正規化後の位置とサイズに応じた相対位置に重畳表示する表示制御工程と
    を有することを特徴とする情報処理装置の制御方法。
11. コンピュータが読み込み実行することで、前記コンピュータに、請求項１０に記載の方法の各工程を実行させるためのプログラム。

Images