JP7104292B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラムに関し、特に検出物体のラベル付けの精度を算出することにより、教師データの品質低下を抑制することが可能な仕組みに関する。

近年、ディープラーニングと呼ばれる機械学習技術を応用した画像認識技術が発展しており、画像に写っている物体（カテゴリ）が何か、またその位置（画像中座標）はどこにあるのか、を検出する手法が数多く提案されている。

ディープラーニング技術を用いた物体検出器を構築するためには、大量の画像と教師データ（画像中のどこに、何のカテゴリの物体があるかを示すアノテーションデータ）が必要となる。

また、当該教師データの品質も担保される必要があり、教師データの質が低いと、正しく学習が行われず、検出精度の低い物体検出器が構築されてしまう。

したがって、１枚の画像に写っている検出対象の物体を精度よくラベル付け（検出対象の物体が写っている領域の指定と、その物体が何であるかの指定）することが、非常に重要となっている。

特開２０１５―１６６９７５号公報

特許文献１には、信頼性の高い人同士の同じ対象へのラベル付けの重複を抑制する技術が開示されている。また、特許文献１には、ラベル付けを行った、人の専門性や国籍、性別等に基づいて信頼度を決めることが開示されている。すなわち、特許文献１に記載の技術では、各ラベルの精度が良いか悪いかを判定するものではないため、必ずしもラベル付された教師データの品質を担保できない恐れがあった。

本発明は、検出物体のラベル付けの精度を算出することにより、教師データの品質低下を抑制することが可能な仕組みを提供することを目的とする。

本発明は、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付手段と、前記受付手段により、ラベル付けを受け付けたときの作業内容を特定する特定手段と、前記特定手段により特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出手段とを備えることを特徴とする。

また、本発明は、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付工程と、前記受付工程でラベル付けを受け付けたときの作業内容を特定する特定工程と、前記特定工程で特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出工程とを備えることを特徴とする。

また、本発明は、情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付手段と、前記受付手段により、ラベル付けを受け付けたときの作業内容を特定する特定手段と、前記特定手段により特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出手段として機能させることを特徴とする。

本発明によると、検出物体のラベル付けの精度を算出することにより、教師データの品質低下を抑制することができる。

本発明における情報処理システムの構成の一例を示す図 本発明の情報処理装置（クライアント端末１０１、サーバ装置１０２）のハードウェア構成の一例を示すブロック図 ラベル付け作業をする画面の一例を示す図 画像を拡大表示した画面の一例を示す図 ラベル付け処理の一例を示す図 学習処理の一例を示す図 ラベル付けの処理の詳細を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図 各種データテーブルの一例を示す図 各種データテーブルの一例を示す図 見直し要求通知画面の一例を示す図 近傍８画像のイメージ図

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

図１は、本発明における情報処理システムの構成の一例を示す図である。図１に示すように、本発明における情報処理システムは、クライアント端末１０１とサーバ装置１０２が通信可能に接続された構成となっている。

クライアント端末１０１は、検出物体に対してラベル付け作業をするユーザが利用する端末であり、俯瞰画像や拡大画像等を表示し、ラベル付けの指示を受け付ける。

ラベル付け作業は、表示された画像において、検出物体が写っている領域の指定と、当該検出物体が何であるかの指定を受け付ける作業である。なお、本実施形態では、ラベルのことをカテゴリともいう。なお、後述する検出物体矩形とは、検出物体が写っているとして指定された領域を囲む矩形のことである。

例えば、図３に示す画面では、画像に写っている人物の顔が男性であるか女性であるか、およびおおよその年齢（例えば、１０代か２０代か等）のラベル付けをした例を示している。人間の顔に相当する領域を矩形で囲み、その矩形内の顔が男性であるか女性であるか、およびおおよその年齢のラベル付けを行う。

この際、小さく写っている顔は、そのままのサイズだと判別できないため、拡大表示してラベル付けを行う（図４）。

また、クライアント端末１０１は、信頼度を算出する処理を行う。なお、他の実施形態として、信頼度の算出をサーバ装置１０２が行うことも可能である。

サーバ装置１０２は、ラベル付けの結果を管理する。

クライアント端末１０１、サーバ装置１０２が実行する処理の詳細は、図５以降の図面を用いて後述する。

次に、図２を用いて、図１に示したクライアント端末１０１とサーバ装置１０２に適用可能な情報処理装置のハードウェア構成について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。

次に図５～図１５のフローチャート等を用いて、本発明で実行される処理の説明を行う。各フローチャートに示す処理は、クライアント端末１０１、またはサーバ装置１０２のＣＰＵ２０１が実行する。

まず、図５について説明する。図５は、本発明におけるラベル付け処理の一例を示す図である。

ステップＳ５０１において、クライアント端末１０１は、ラベル付けを行う作業者から、これからラベル付けを行う画像の選択を受け付ける。

ステップＳ５０２において、クライアント端末１０１は、ステップＳ５０１で選択を受け付けた画像のラベル付けを図３に示す画像上で受け付ける。ステップＳ５０２の処理の詳細は、後ほど図７を用いて説明する。

ステップＳ５０３において、クライアント端末１０１は、ラベル付けの信頼度を算出する。ステップＳ５０３の処理の詳細は、後ほど図８を用いて説明する。

ステップＳ５０３は、本発明における、前記特定手段により特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出手段の一例である。

ステップＳ５０４において、クライアント端末１０１は、信頼度が０より小さいかを判定する。クライアント端末１０１は、信頼度が０より小さければ、ステップＳ５０５で、作業者に対して見直し要求を行い、信頼度が０以上であれば、本処理を終了する。

なお、ラベル付けされた画像データの情報は、クライアント端末１０１からサーバ装置１０２に送信され、図１６の「検出物体矩形１６００－５」に示すデータテーブルの形式でサーバ装置１０２の外部メモリ２１１で管理される。

図１６の「検出物体矩形１６００－５」は、どの画像（画像パス）のどの領域（切り出し画像座標）を切り出し、どのカテゴリに分類したかの情報とともに、作業時の情報、具体的には、どの程度の倍率（拡大倍率）で表示したか、カテゴリを何回変更したか、居眠りをしたか、何かを見ながら（ながら作業）ラベル付け作業を行ったかの情報等、と作業時の情報から算出される信頼度とを管理するデータテーブルである。作業時の情報は、ステップＳ５０２のラベル付け処理を実行したときに更新される。

なお、本実施形態では、信頼度が０より小さいか否かによって、見直し要求を行うか否かを決定しているが、他の実施形態として、画像の総信頼度（その画像に含まれる検出物体矩形の信頼度の合計）がＸ点（所定の点）以下の場合に見直し要求を行うとしても良い。

ステップＳ５０５は、本発明における、前記管理手段で管理する信頼度が所定の条件を満たすことを条件に、当該画像データに対して行われたラベル付けを見直させるべく通知する通知手段の一例である。

以上で図５の説明を終了し、次に図６の学習処理について説明する。図６の処理は、任意のタイミングで実行されるものとする。

ステップＳ６０１において、サーバ装置１０２は、図５の処理でラベル付けされた画像データ（学習データ）の中から、学習する画像データを選択し、ステップＳ６０２において、学習（機械学習）を実行する。以上で、図６の説明を終了し、次に、図７を用いて、図５のステップＳ５０２の処理の詳細について説明する。

図７は、ラベル付けの処理の詳細を示すフローチャートの一例を示す図である。

ステップＳ７０１において、クライアント端末１０１は、カメラでクライアント端末１０１を操作する作業者を撮影し、撮影により得られる画像データを既知の技術を用いて解析して、ユーザが居眠りをしていないか（所定時間以上目をつぶっていないか）を検知する。

居眠り検知に用いるカメラとしては、例えば、クライアント端末１０１に内蔵されたカメラや、クライアント端末１０１と接続するカメラを用いることができる。

居眠りを検知した場合、居眠り状態を記録し、「検出物体矩形１６００－５」中の、居眠り中に作成された「ＩＤ」の「居眠り時作成」の項目が「ＴＲＵＥ」に更新される。

なお、何秒以上目をつむっていた場合に居眠りと判断するかは、図１７の減点ルール設定（作業者）１７０３の「減点ルール名」が「居眠り」の行の「設定値」の欄に記憶されている時間によって決定される。

ステップＳ７０２において、クライアント端末１０１は、既知のアプリケーション監視ツールを用いて、ながら作業を行っていないか（例えば、動画サイトの動画をみながらラベル付けを行っていないか）を特定する。

ながら作業を検知した場合、ながら状態として記録し、「検出物体矩形１６００－５」中の、ながら作業中に作成された「ＩＤ」の「ながら作業」の項目が「ＴＲＵＥ」になる。

なお、アプリケーションによっては、ながら作業を行ってよい場合もありうるので、図１７の減点ルール設定（作業者）１７０３の「減点ルール名」が「ながら作業」の行の「設定値」の欄に記憶されているものを見ながら作業を行っている場合に「ＴＲＵＥ」とする。

ステップＳ７０３において、クライアント端末１０１は、検出物体矩形のラベル付け（検出物体が写っている領域の指定と、当該検出物体が何であるかの指定を受け付ける作業）を作業者から受け付ける。そして、その結果を「検出物体矩形１６００－５」に記憶する。

また、このとき画像を拡大してラベル付けを行っている場合には、そのときの拡大倍率を、その拡大倍率においてラベル付けされた「ＩＤ」の「拡大倍率」欄に記憶する。

ステップＳ７０３は、本発明における、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付手段の一例である。

ステップＳ７０４において、クライアント端末１０１は、図３に示すラベル付け作業をする画面において、次の画像ボタン３０２、または前の画像ボタン３０１がユーザ操作に従って選択されたかを判定する。

クライアント端末１０１は、次の画像ボタン３０２、または前の画像ボタン３０１が選択されたならば、本処理を終了し、そうでなければステップＳ７０１に処理を戻す。

なお、次の画像ボタン３０２が選択され、図３に示すラベル付け作業をする画面において、複写チェック３０３にチェックが入っている場合には、次の画像の編集時に、現在の画像の検出物体矩形をすべてコピーする。検出物体矩形をコピーした場合には、図１６の「画像１６００－４」の対象画像の「ＩＤ」と同一の行の「複写元画像」の欄に、複写元となった画像のパスが記憶される。

複写が有効な場合とは、例えば、時系列の画像にラベル付けする場合であって、時系列的に前後の画像で、大きく矩形の変化がない場合である。より具体的には、植物の花のラベル付け（桜の枝についているのが、つぼみであるか、開花しているかのラベル付け）等の場合に、１つずつラベル付けするよりも、一旦前の画像の検出物体矩形をコピーして、変更すべき検出物体矩形だけを変更するほうが効率的である。

また、ステップＳ５０１で作業者から画像の選択を受け付けた時間は、画像１６０４－４中の当該画像の「編集開始時刻」に記憶され、ステップＳ７０４で、次の画像ボタン３０２、または前の画像ボタン３０１が選択された時間は、画像１６０４－４中の当該画像の「編集終了時刻」に記憶される。

ステップＳ５０１、ステップＳ７０１～ステップＳ７０４、後述するステップＳ１１０６は、後述するステップＳ１３０４は、本発明における、前記受付手段により、ラベル付けを受け付けたときの作業内容を特定する特定手段の一例である。

以上で図７の説明を終了する。次に、図８を用いて、図５のステップＳ５０３の処理の詳細について説明する。図８は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

ステップＳ８０１において、クライアント端末１０１は、図５のステップＳ５０２でラベル付けされた画像を、信頼度を算出する対象の画像（以下、「対象画像」とも称す）として取得する。

ステップＳ８０２において、クライアント端末１０１は、図５のステップＳ５０１では、対象画像に該当する検出物体矩形群を取得する。例えば、対象画像が「１．ｊｐｇ」の場合、図１６に示す検出物体矩形１６００－５のうち、画像パスが「／ｉｍａｇｅ／１．ｊｐｇ」となっているＩＤが１～３の３つの検出物体矩形矩形が取得される。

ステップＳ８０３において、クライアント端末１０１は、ステップＳ８０２で取得した検出物体矩形群の検出物体矩形１６００－５の「信頼度」を０に初期化する。

ステップＳ８０４において、クライアント端末１０１は、複写チェックによる信頼度計算を行う。ステップＳ８０４の処理の詳細は、図９を用いて後ほど説明する。

ステップＳ８０５において、クライアント端末１０１は、作業時間による信頼度計算を行う。ステップＳ８０５の処理の詳細は、図１０を用いて後ほど説明する。

ステップＳ８０６において、クライアント端末１０１は、カテゴリ・矩形個数比率による信頼度計算を行う。ステップＳ８０６の処理の詳細は、図１１を用いて後ほど説明する。

ステップＳ８０７において、クライアント端末１０１は、拡大倍率による信頼度計算を行う。ステップＳ８０７の処理の詳細は、図１２を用いて後ほど説明する。

ステップＳ８０８において、クライアント端末１０１は、カテゴリ変更回数による信頼度計算を行う。ステップＳ８０８の処理の詳細は、図１３を用いて後ほど説明する。

ステップＳ８０９において、クライアント端末１０１は、ながら作業による信頼度計算を行う。ステップＳ８０９の処理の詳細は、図１４を用いて後ほど説明する。

ステップＳ８１０において、クライアント端末１０１は、居眠り検知による信頼度計算を行う。ステップＳ８１０の処理の詳細は、図１５を用いて後ほど説明する。

以上で図８の説明を終了する。次に、図９を用いて、図８のステップＳ８０４の処理の詳細について説明する。図９は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図９の処理では、検出物体矩形が複写で作られているとき、複写元からコピーしたまま一切編集していなければ減点する。

ステップＳ９０１において、クライアント端末１０１は、複写チェックルールが有効か、無効かを、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「複写チェック」の行の「有効」の欄を参照することにより、判定する。

複写チェックルールが有効ならばステップＳ９０２に処理を移行し、複写チェックルールが無効ならば本処理を終了する。

なお、本発明においては、複写チェックルールが有効か、無効かは、管理者があらかじめ設定するものとする。

ステップＳ９０２において、クライアント端末１０１は、複写チェックルールの減点数を、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「複写チェック」の行の「減点」の欄を参照することにより特定する。

ステップＳ９０３において、クライアント端末１０１は、対象画像の複写元画像が存在するかを、図１６の「画像１６００－４」の対象画像の「ＩＤ」と同一の行の「複写元画像」の欄に、複写元となった画像のパスが記憶されているかにより判定する（記憶されている場合には「ＹＥＳ」と判断）。クライアント端末１０１は、複写元画像が存在するならば、ステップＳ９０４に処理を移行し、複写元画像が存在しなければ本処理を終了する。

ステップＳ９０４において、クライアント端末１０１は、複写元画像を取得する。

ステップＳ９０５において、クライアント端末１０１は、複写元画像に該当する検出物体矩形群を取得する。例えば、複写元画像が「２．ｊｐｇ」の場合、図１６に示す検出物体矩形１６００－５のうち、画像パスが「／ｉｍａｇｅ／２．ｊｐｇ」となっている「ＩＤ」が「４」の検出物体矩形が取得される。

次に、クライアント端末１０１は、対象画像と複写元画像の検出物体矩形ごとにステップＳ９０６の処理を繰り返す。

ステップＳ９０６において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「切り出し画像座標」、「カテゴリ名」が、複写元画像の検出物体矩形の「切り出し画像座標」、「カテゴリ名」と同じであるかを判定する。同じである場合、クライアント端末１０１は、同じであった対象画像の検出物体矩形ごとに、ステップＳ９０７の処理を実行し、同じでない場合には、本処理を終了する。

ステップＳ９０７において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ９０２で取得した点数分減点する。

以上で図９の説明を終了する。次に、図１０を用いて、図８のステップＳ８０５の処理の詳細について説明する。図１０は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図１０の処理では、全画像の平均作業時間（μ）と、標準偏差（σ）を計算し、作業時間＜μ－２ｘσの画像の検出物体矩形は減点する。

ステップＳ１００１において、クライアント端末１０１は、作業時間ルールが有効か、無効かを図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「作業時間」の行の「有効」の欄を参照することにより、判定する。

作業時間ルールが有効ならばステップＳ９０２に処理を移行し、作業時間ルールが無効ならば本処理を終了する。

なお、本発明においては、作業時間ルールが有効か、無効かは、管理者があらかじめ設定するものとする。

ステップＳ１００２において、クライアント端末１０１は、作業時間ルールの減点数を、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「作業時間」の行の「減点」の欄を参照することにより取得する。

ステップＳ１００３において、クライアント端末１０１は、ラベル付けが完了している画像の枚数（図１６の画像１６００－４で管理されている画像の数）が、必要サンプル数より多いかを判定する。クライアント端末１０１は、ラベル付けが完了している画像の枚数が、必要サンプル数より多ければ、ステップＳ１００４に処理を移行し、少なければ、本処理を終了する。必要サンプル数は、限定ルール設定（アノテーション）１７０１中の「限定ルール名」が「作業時間」で「設定名」が「必要サンプル数」となっている行の「設定値」の値を用いる。

ステップＳ１００３の処理を実行する理由は、後述するステップＳ１００４～ステップＳ１００６の処理を実行するためには、ある程度のサンプル数が必要なためである。

ステップＳ１００４において、クライアント端末１０１は、ラベル付け済みの各画像について、作業時間の平均を計算する。作業時間は、図１６の画像１６００－４の「編集終了時刻」から「編集開始時刻」を引くことにより求められる。

ステップＳ１００５において、クライアント端末１０１は、ラベル付けが完了している画像の枚数の情報と、作業時間の情報、作業時間の平均の情報をもとに、標準偏差を計算する。

ステップＳ１００６において、クライアント端末１０１は、対象画像の作業時間の値が、作業時間の平均―２ｘ標準偏差より小さいかを判定する。小さければ、クライアント端末１０１は、対象画像の検出物体矩形ごとに、ステップＳ１００７の処理を実行し、大きければ本処理を終了する。

ステップＳ１００７において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ１００２で取得した点数分減点する。

以上で図１０の説明を終了する。次に、図１１を用いて、図８のステップＳ８０６の処理の詳細について説明する。図１１は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図１１は、画像同士のカテゴリ・個数比率が近傍の画像と似ていないものが多い時、減点する処理である。「似ていない」はカテゴリごとの個数列をベクトルとし、ベクトル間のコサイン類似度で定義される。

ステップＳ１１０１において、クライアント端末１０１は、カテゴリ・個数比率ルールが有効か、無効かを、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「カテゴリ・個数比率」の行の「有効」の欄を参照することにより、判定する。

カテゴリ・個数比率ルールが有効ならばステップＳ９０２に処理を移行し、カテゴリ・個数比率ルールが無効ならば本処理を終了する。

なお、本発明においては、カテゴリ・個数比率ルールが有効か、無効かは、管理者があらかじめ設定するものとする。

カテゴリ・個数比率ルールを有効とすべき場合とは、例えば、時系列の画像にラベル付けする場合であって、時系列的に前後の画像で、大きく矩形の変化がない場合である。より具体的には、植物の花のラベル付け（桜の枝についているのが、つぼみであるか、開花しているかのラベル付け）等の場合である。

ステップＳ１１０２において、クライアント端末１０１は、カテゴリ・個数比率ルールの減点数を、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「カテゴリ・個数比率」の行の「減点」の欄を参照することにより取得する。

ステップＳ１１０３において、クライアント端末１０１は、カテゴリ・個数比率ルールの設定値を、図１７の減点ルール設定（アノテーション）１７０１の「減点ルール名」が「カテゴリ・個数比率」で「設定名」が「カテゴリ個数比率の類似度閾値」、「カテゴリ個数比率の基準個数」となっている行の「設定値」の欄を参照することにより取得する。

ステップＳ１１０４において、クライアント端末１０１は、対象画像の近傍８画像を取得する。

近傍８画像とは、図１９に示すイメージ図の（１）～（８）に示すとおり、対象画像のｔ－１、ｔ＋１の画像と、撮影場所が対象画像の隣で、撮影時刻がｔ－１、ｔ、ｔ＋１の画像である。

なお、本実施形態では近傍８画像としたが、他の実施形態として、近傍２画像（図１９の（４）と（５）、または（２）と（７））でも良い。

ステップＳ１１０５において、クライアント端末１０１は、類似度が低い近傍画像数ｉを０で初期化し、以下ステップＳ１１０６～ステップＳ１１０８の処理を近傍８画像ごとに実行する。

ステップＳ１１０６において、クライアント端末１０１は、対象画像と近傍画像のコサイン類似度を計算する。

例えば、カテゴリ１～５があり、対象画像がそれぞれ２、５、１０、１、０個の検出物体矩形を持ち、近傍画像（１）がそれぞれ１、３、７、１、５個の検出物体矩形を持つ時を考える。コサイン類似度を計算する元になるベクトルは、
対象画像：（２，５，１０，１，０）
近傍画像（１）：（１，３，７，１，５）
となり、ベクトル同士のコサイン類似度を計算できる。コサイン類似度は－１～１の範囲をとり、大きいほど似ていることを表すため、カテゴリごとの個数比率が大きく異なる場合、類似度は低くなる。上記例では、コサイン類似度は０．８３７になる。

ステップＳ１１０７において、クライアント端末１０１は、ステップＳ１１０６で計算したコサイン類似度が、ステップＳ１１０３で取得した「カテゴリ個数比率の類似度閾値」、の行の「設定値」の値より小さいかを判定する。小さい場合には、ステップＳ１１０８において、ｉに１を加算する。

ステップＳ１１０９において、クライアント端末１０１は、ステップＳ１１０３で取得した「カテゴリ個数比率の基準個数」の行の「設定値」の値が、ステップＳ１１０８までの処理を近傍８画像ごとに繰り返した後のｉの値より小さいかを判定する。小さい場合には、対象画像の検出物体矩形ごとに、ステップＳ１１１０の処理を実行し、大きければ本処理を終了する。

ステップＳ１１１０において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ１１０２で取得した点数分減点する。

以上で図１１の説明を終了する。次に、図１２を用いて、図８のステップＳ８０７の処理の詳細について説明する。図１２は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図１２の処理では、ラベル付け時の拡大倍率が他のもの比べて小さい検出物体矩形の信頼度を減点する。

ステップＳ１２０１において、クライアント端末１０１は、拡大倍率ルールが有効か、無効かを、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「拡大倍率」の行の「有効」の欄を参照することにより、判定する。

拡大倍率ルールが有効ならばステップＳ９０２に処理を移行し、拡大倍率ルールが無効ならば本処理を終了する。

なお、本発明においては、拡大倍率ルールが有効か、無効かは、管理者があらかじめ設定するものとする。

ステップＳ１２０２において、クライアント端末１０１は、拡大倍率ルールの減点数を、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「拡大倍率」の行の「減点」の欄を参照することにより特定する。

ステップＳ１２０３において、クライアント端末１０１は、拡大倍率ルールの設定値を、図１７の減点ルール設定（アノテーション）１７０１の「減点ルール名」が「拡大倍率」で「設定名」が「倍率減点基準」となっている行の「設定値」の欄を参照することにより取得する。

ステップＳ１２０４において、クライアント端末１０１は、検出物体矩形群の拡大倍率の中央値を計算する。各検出物体矩形群の拡大倍率は、「検出物体矩形１６００－５」中の「拡大倍率」を参照することにより特定される。

ステップＳ１２０４の処理を終了すると、検出物体矩形ごとにステップＳ１２０５～ステップＳ１２０６の処理を繰り返す。

ステップＳ１２０５において、クライアント端末１０１は、（ステップＳ１２０４で計算した）中央値＊（ステップＳ１２０３で取得した）設定値の値が拡大倍率より大きいかを判定する。例えば、設定値「０．５」、中央値「４」のとき、４の半分の２より小さい倍率でラベル付けされたものを減点する。判定に平均値ではなく中央値を用いるのは、平均値を使用する場合、外れ値が存在すると判定が大きくぶれてしまうためである。

大きい場合には、クライアント端末１０１は、ステップＳ１２０６に処理を移行する。

ステップＳ１２０６において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ１２０２で取得した点数分減点する。

以上で図１２の説明を終了する。次に、図１３を用いて、図８のステップＳ８０８の処理の詳細について説明する。図１３は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図１３の処理では、カテゴリ変更数が設定値を上回っている場合に、ラベル付けに迷った、あるいはラベル付けの難易度が高い検出物体矩形として、信頼度を減点する。

ステップＳ１３０１において、クライアント端末１０１は、カテゴリ変更数ルールが有効か、無効かを図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「カテゴリ変更数」の行の「有効」の欄を参照することにより、判定する。

カテゴリ変更数ルールが有効ならばステップＳ１３０２に処理を移行し、カテゴリ変更数ルールが無効ならば本処理を終了する。

なお、本発明においては、カテゴリ変更数ルールが有効か、無効かは、管理者があらかじめ設定するものとする。

ステップＳ１３０２において、クライアント端末１０１は、カテゴリ変更数ルールの減点数を、図１７の減点ルール（アノテーション）１７００の「減点ルール名」が「カテゴリ変更数」の行の「減点」の欄を参照することにより取得する。

ステップＳ１３０３において、クライアント端末１０１は、カテゴリ変更数ルールの設定値を、図１７の減点ルール設定（アノテーション）１７０１の「カテゴリ変更数」で「設定名」が「カテゴリ変更数」となっている行の「設定値」の欄を参照することにより取得する。

ステップＳ１３０３の処理を終了すると、検出物体矩形ごとにステップＳ１３０４～ステップＳ１３０５の処理を繰り返す。

ステップＳ１３０４において、クライアント端末１０１は、検出物体矩形のカテゴリ変更数が設定値より大きいかを判定する。大きい場合には、クライアント端末１０１は、ステップＳ１３０５に処理を移行する。

カテゴリ変更数は、「検出物体矩形１６００－５」中の「カテゴリ変更数」を、参照することにより特定される。

ステップＳ１３０５において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ１３０２で取得した点数分減点する。

以上で図１３の説明を終了する。次に、図１４を用いて、図８のステップＳ８０９の処理の詳細について説明する。図１４は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図１４の処理では、ながら作業でラベル付けされた検出物体矩形の信頼度を減点する。

ステップＳ１４０１において、クライアント端末１０１は、ながら作業ルールが有効か、無効かを図１７の減点ルール（作業者）１７０２の「減点ルール名」が「ながら作業」の行の「有効」の欄を参照することにより、判定する。

カテゴリ変更数ルールが有効ならばステップＳ１４０２に処理を移行し、カテゴリ変更数ルールが無効ならば本処理を終了する。

なお、本発明においては、ながら作業ルールが有効か、無効かは、管理者があらかじめ設定するものとする。

ステップＳ１４０２において、クライアント端末１０１は、ながら作業ルールの減点数を、図１７の減点ルール（作業者）１７０２の「減点ルール名」が「ながら作業」の行の「減点」の欄を参照することにより取得する。

ステップＳ１４０２の処理を終了すると、検出物体矩形ごとにステップＳ１４０３～ステップＳ１４０４の処理を繰り返す。

ステップＳ１４０３において、クライアント端末１０１は、作業者がながら作業を行っていたかを判定する。ながら作業を行っている場合には、クライアント端末１０１は、ステップＳ１４０４に処理を移行し、ながら作業を行っていなければ、本処理を終了する。

ながら作業を行っていたかは、「検出物体矩形１６００－５」中の「ながら作業」を、参照することにより特定される。

ステップＳ１４０４において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ１４０２で取得した点数分減点する。

以上で図１４の説明を終了する。次に、図１５を用いて、図８のステップＳ８１０の処理の詳細について説明する。図１５は、ラベル付けの信頼度を算出する処理を示すフローチャートの一例を示す図である。

図１５の処理では、居眠りをしながらラベル付けされた検出物体矩形の信頼度を減点する。

ステップＳ１５０１において、クライアント端末１０１は、居眠りルールが有効か、無効かを図１７の減点ルール（作業者）１７０２の「減点ルール名」が「居眠り」の行の「有効」の欄を参照することにより、判定する。

居眠りルールが有効ならばステップＳ１７０２に処理を移行し、居眠りルールが無効ならば本処理を終了する。

なお、本発明においては、居眠りルールが有効か、無効かは、管理者があらかじめ設定するものとする。

ステップＳ１５０２において、クライアント端末１０１は、居眠りルールの減点数を、図１７の減点ルール（作業者）１７０２の「減点ルール名」が「居眠り」の行の「減点」の欄を参照することにより取得する。

ステップＳ１５０２の処理を終了すると、検出物体矩形ごとにステップＳ１５０３～ステップＳ１５０４の処理を繰り返す。

ステップＳ１５０３において、クライアント端末１０１は、作業者が居眠りしながらラベル付けを行っていたかを判定する。居眠りしながらラベル付けを行っている場合には、クライアント端末１０１は、ステップＳ１５０４に処理を移行し、居眠りしながらラベル付けを行っていなければ、本処理を終了する。

居眠りしながらラベル付けを行ってたかは、「検出物体矩形１６００－５」中の「居眠り時作業」を、参照することにより特定される。

ステップＳ１５０４において、クライアント端末１０１は、対象画像の検出物体矩形について、「検出物体矩形１６００－５」中の「信頼度」を、ステップＳ１５０２で取得した点数分減点する。

以上で図１５の説明を終了する。次に、図１８を用いて、ステップＳ５０５における見直し要求の処理において、クライアント端末１０１のディスプレイ２１０に表示される画面について説明する。図１８は、見直し要求通知画面の一例を示す図である。

図１８の各画面には、ステップＳ５０４の処理でＹＥＳと判定された対象の画像が表示されるとともに、見直し要求を示す通知（図１８の１８０１、１８０２）が表示される。

１８０１の表示がされた場合には、ＯＫボタンを作業者が選択すれば終了するが、１８０２の表示がされた場合には、各検出物体矩形を作業者が１つ１つ選択し、すべて選択しなければＯＫボタンが選択できず、終了できない。

１８０１と１８０２のいずれの通知がなされるかは、どういう理由（作業内容）で信頼度が減点されたかによって変わる。より具体的には、減点ルール（アノテーション）１７００のルールにより減点された場合には、１８０１の表示がされ、減点ルール（作業者）１７０２のルールにより減点された場合には、１８０２の表示がされる。

すなわち、居眠りやながら作業のように、ラベル付け作業に集中していないような場合には、ラベル付けの精度が非常に低い恐れがあるため、１つ１つ選択させることで再確認させる。一方、減点ルール（アノテーション）１７００のルールにより減点される場合は、必ずしもラベル付けの精度が悪いとは限らないため、簡単な確認だけさせることで作業者の作業効率の低下を抑制する。

図１８の１８０１、１８０２の通知を行うことにより、ユーザのラベル付けの精度低下を抑制することが可能となる。

また、本実施形態では、同一作業者に対して、１８０１、および１８０２の通知をするが、他の実施形態として、減点ルール（アノテーション）１７００のルールにより減点された場合には、１８０１の通知を同一作業者に対して行い、減点ルール（作業者）１７０２のルールにより減点された場合には、他の作業者に対して１８０２の通知を行い、他の作業者に改めて確認させることも可能である。

他の作業者として、どの作業者を選択するかは、例えば、直近１週間のラベル付け作業の減点が少ない作業者を選択する方法や、減点された作業者の上司を選択する方法がある。そうすることで、よりラベル付けの精度を向上させることが可能となる。以上で図１８の説明を終了する。

次に、図１６、図１７を用いて各種データテーブルについて説明する。

図１６、図１７は、各種データテーブルの一例を示す図である。

カテゴリラベル１６００－１は、検出物体のカテゴリ（何であるかを示す情報）が登録されたテーブルである。登録するカテゴリ名は、何を検出する物体検出器を構築するかにより異なるものである。本実施例のように画像に含まれる人物の性別および年代を検出する検出器を構築する場合には、図８の例のように、男性・女性、１０代・２０代といったカテゴリを登録する。

撮影場所１６００－２は、各画像が撮影される場所の情報が管理するテーブルである。

表示矩形１６００－３は、どの画像のどの領域をどの程度の倍率で表示したかを示す情報を管理するテーブルである。

画像１６００―４は、ラベル付けを行う元画像を管理するテーブルである。

検出物体矩形１６００－５は、どの画像のどの領域にどのカテゴリの物体が存在するのかを示す情報と、作業時の情報とが登録されるテーブルである。例えば、ＩＤ：１で特定される検出物体矩形は、画像：１．ｊｐｇの（１４，２０，３０，５０）で特定される領域に２０代の男性の顔が存在し、１倍の拡大倍率でラベル付けがなされ、１度カテゴリが変更され、居眠りはしておらず、ながら作業も行っておらず、信頼度が１点減点されていることを示す。

検出物体矩形１６００－５は、本発明にける、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けがされた画像データと、当該ラベル付けの精度を示す信頼度とを管理する管理手段の一例である。

減点ルール（アノテーション）１７００、減点ルール（作業者）１７０２は、本発明の処理に必要な減点ルールやその減点数、およびそのルールが有効となっているかが登録されたテーブルである。

減点ルール設定（アノテーション）１７０１、減点ルール設定（作業者）１７０３は、本発明の処理に必要な設定値が登録されたテーブルである。以上で図１６、図１７の説明を終了する。

以上、本発明によると、検出物体のラベル付けの精度を算出することにより、教師データの品質低下を抑制することができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ－ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ クライアント端末
１０２ サーバ装置

Claims (12)

1. 画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付手段と、
   前記受付手段により、ラベル付けを受け付けたときの作業内容を特定する特定手段と、
   前記特定手段により特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出手段と、
   を備え、
   前記作業内容には、他の画像データに対して受け付けたラベル付けの内容を前記画像データに複写する作業を含み、
   前記算出手段は、前記複写する作業が行われることを条件に、信頼度を低下させることを特徴とする情報処理装置。
2. 画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付手段と、
   前記受付手段により、ラベル付けを受け付けたときの作業内容を特定する特定手段と、
   前記特定手段により特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出手段と、
   を備え、
   前記作業内容には、前記画像データにおいて、指定を受け付けた検出対象物体の領域の数および指定されたラベルの数の比率を含み、
   前記算出手段は、前記比率が他の画像データにおける比率よりも低いことを条件に、信頼度を低下させることを特徴とする情報処理装置。
3. 画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付手段と、
   前記受付手段により、ラベル付けを受け付けたときの作業内容を特定する特定手段と、
   前記特定手段により特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出手段と、
   を備え、
   前記作業内容には、前記受付手段によりラベル付けを受け付けたときの前記画像データの拡大倍率を含み、
   前記算出手段は、前記拡大倍率が所定の値を示すことを条件に、信頼度を低下させることを特徴とする情報処理装置。
4. 前記算出手段により算出された信頼度が所定の条件を満たすかを判定する判定手段と、
   前記判定手段により所定の条件を満たすと判定されること条件に通知する通知手段と
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記作業内容には、ひとつの検出対象物体に対するラベル付けに要した作業時間を含み、
   前記算出手段は、前記作業時間が所定の値を示す場合に、信頼度を低下させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記作業内容には、同一の検出対象物体に対するラベルの指定の変更回数を含み、
   前記算出手段は、前記変更回数が所定の値を示す場合に、信頼度を低下させることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記作業内容には、前記ラベル付けとは異なる作業を行っていたかを示す情報を含み、
   前記算出手段は、前記ラベル付けとは異なる作業を行っていたことを条件に、信頼度を低下させることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記作業内容には、前記ラベル付けを行ったときに居眠りをしていたかを示す情報を含み、
   前記算出手段は、居眠りをしていたことを条件に、信頼度を低下させることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 情報処理装置の受付手段が、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付工程と、
   前記情報処理装置の特定手段が、前記受付工程でラベル付けを受け付けたときの作業内容を特定する特定工程と、
   前記情報処理装置の算出手段が、前記特定工程で特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出工程と
   を備えることを特徴とする情報処理装置の制御方法。
10. 情報処理装置の受付手段が、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付工程と、
    前記情報処理装置の特定手段が、前記受付工程でラベル付けを受け付けたときの作業内容を特定する特定工程と、
    前記情報処理装置の算出手段が、前記特定工程で特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出工程と、
    を備え、
    前記作業内容には、前記画像データにおいて、指定を受け付けた検出対象物体の領域の数および指定されたラベルの数の比率を含み、
    前記算出工程は、前記比率が他の画像データにおける比率よりも低いことを条件に、信頼度を低下させることを特徴とする情報処理装置の制御方法。
11. 情報処理装置の受付手段が、画像データに含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける受付工程と、
    前記情報処理装置の特定手段が、前記受付工程でラベル付けを受け付けたときの作業内容を特定する特定工程と、
    前記情報処理装置の算出手段が、前記特定工程で特定された作業内容の情報を用いて、前記ラベル付けの精度を示す信頼度を算出する算出工程と、
    を備え、
    前記作業内容には、前記受付手段によりラベル付けを受け付けたときの前記画像データの拡大倍率を含み、
    前記算出工程は、前記拡大倍率が所定の値を示すことを条件に、信頼度を低下させることを特徴とする情報処理装置の制御方法。
12. コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images