JP6535605B2

JP6535605B2 - 物体領域選択方法、装置、及びプログラム

Info

Publication number: JP6535605B2
Application number: JP2016004494A
Authority: JP
Inventors: 周平田良島; 豪入江; 隆行黒住; 杵渕　哲也; 哲也杵渕
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-01-13
Filing date: 2016-01-13
Publication date: 2019-06-26
Anticipated expiration: 2036-01-13
Also published as: JP2017126162A

Description

本発明は、物体領域選択方法、装置、及びプログラムに関する。

ユーザが撮影した画像に写る物体を認識し、その結果に基づき付加関連情報を提供するサービスは、スマートフォン/タブレットの普及や無線ネットワークの高速化を背景として今後更なる利用拡大が見込まれている。画像に写る物体の自動認識を精度よく実現するには、認識対象の物体に関する様々な見え（方向や照明条件、物体そのものの見た目のバリエーション）の辞書画像を予め用意・登録しておく必要がある。物体認識のための辞書構築に最低限必要な作業は、（ｉ）対象物体の写った画像の用意と、（ｉｉ）画像中の物体領域の特定であるが、これを全て手動で実施するのは非常にコストが高い。

物体認識のための辞書自動構築を行うにあたり、対象物体の見えのモデルの存在を仮定するのは現実的ではない。対象物体の見えのモデルを用いることなくその物体領域を自動で特定する代表的なアプローチは、対象物体の写り込んだ複数の画像を入力とし、入力中の各画像に共通して対象物体が写り込んでいるという情報を陽に活用するというものである。

より具体的には、まず入力中の各画像から公知の技術（例えば、非特許文献１など）を用いて物体候補領域を複数抽出し、その中から、所定の指標に基づいて最も対象物体を正しく捉えていると考えられる物体候補領域を選択する。例えば非特許文献２に記載の技術では、入力中の他の画像に見た目の類似した領域を含むようなより対象物体らしい領域こそが抽出対象物体を捉えているという仮説のもと、非特許文献２の技術を用いて抽出した複数の物体候補領域の対象物体らしさのスコアと物体候補領域間の画像特徴量の類似度に基づく目的関数を最適化することで、最も対象物体領域をよく捉えていると推定された物体候補領域を各画像から一つずつ選択する技術が開示されている。

B. Alexe et al., "Measuring the Objectness of Image Window", in TPAMI, 2012.［平成２７年１２月２４日検索］、インターネット（URL: http://groups.inf.ed.ac.uk/calvin/Publications/alexe12pami.pdf） T. Deselaers et al., "Weakly Supervised Localization and Learning with Generic Knowledge", in IJCV, 2012.［平成２７年１２月２４日検索］、インターネット（URL: http://calvin.inf.ed.ac.uk/wp-content/uploads/Publications/deselaers12ijcv.pdf）

上記非特許文献１に記載の技術では、基本的に上記非特許文献２に記載の技術で算出される対象物体らしさが高い物体候補領域ほど物体領域として選択されやすいという性質を持つ。しかし、上記非特許文献２の技術で算出される対象物体らしさは顕著性・色コントラスト・エッジといったプリミティブな画像特徴から評価されているため、上記非特許文献１の技術で最終的に選択される物体候補領域は、抽出対象物体の全貌を必ずしも必ずしも正確に捉えてはいないという問題がある。

図７に具体例を示す。図７の左部の入力（ここでは、共通して「車」が写り込んだ画像群）中の各画像から物体候補領域を抽出すると、対象物体（＝「車」）を正しく捉えた矩形領域よりも、車のパーツ（例えば、「タイヤ」「窓」等。図７では「タイヤ」）を捉えた物体候補領域の対象物体らしさの方がより高く算出される。これは、画像中で顕著であり、周辺との色コントラストが高く、領域縁部にエッジ強度が多いという意味で上記非特許文献２の技術が評価する対象物体らしさを満たしているものの、明らかに入力画像中の対象物体（＝「車」）全貌を正しく捉えてはいない。図７の例のように、入力画像の多くで、上記非特許文献２で定義される対象物体らしさは高いものの、対象物体の全貌を正しく捉えていない物体候補領域が抽出された場合、上記非特許文献１の技術によって特定された物体領域もまた、対象物体の全貌を正しく捉えることはできない。

上記の問題は、上記非特許文献２の技術をはじめとするいずれの物体候補領域抽出に関する方法を用いても回避することはできない。比較的単純な見えの対象物体であれば、一般的な物体らしさに基づいて領域を限定することは有効な手段であるものの、複雑な対象物体(例えば上記例にあげた「車」のような、部分領域にも対象物体らしい領域が含まれるような物体)については、物体候補領域抽出の結果のみからどの候補領域が対象物体の全貌を正確に捉えているかを判定することが難しいためである。以上から、既存の公知の技術には、入力画像群中の対象物体の見えが複雑な場合、その全貌を正しく特定することができないという問題があった。

本発明は、上記の事情に鑑みてなされたもので、画像に含まれる対象物体を精度よく特定することができる物体領域選択方法、装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の物体領域選択方法は、物体候補領域抽出部、重複度算出部、特徴類似度算出部、物体候補領域ランキング部、及び物体領域選択部を含み、複数の画像の各々について、前記画像に含まれる対象物体を表す物体領域を選択する物体領域選択装置における物体領域選択方法であって、前記物体候補領域抽出部が、前記複数の画像の各々から前記対象物体の物体候補領域を抽出するステップと、前記重複度算出部が、前記物体候補領域抽出部によって同じ前記画像から抽出された前記物体候補領域のペアの各々に対し、前記物体候補領域間の重複度を算出するステップと、前記特徴類似度算出部が、前記物体候補領域抽出部によって前記複数の画像の各々の前記物体候補領域の各々から抽出された画像特徴量に基づいて、前記物体候補領域のペアの各々に対し、前記物体候補領域間の類似度を算出するステップと、前記物体候補領域ランキング部が、前記重複度算出部によって算出された前記物体候補領域間の重複度と、前記特徴類似度算出部によって算出された前記物体候補領域間の類似度とに基づいて、前記物体候補領域の各々をランキングする際に、前記物体候補領域の各々について、ランキング上位の前記物体候補領域との間の前記重複度が大きい前記物体候補領域ほど上位にランキングされ、かつランキング上位の前記物体候補領域との間の前記類似度が大きい前記物体候補領域ほど上位にランキングされるように、前記物体候補領域をランキングするステップと、前記物体領域選択部が、前記物体候補領域ランキング部によって得られた前記物体候補領域の各々のランキング結果に基づいて、前記物体候補領域の各々から、前記物体領域を選択するステップと、を含む。

本発明の物体領域選択装置は、複数の画像の各々について、前記画像に含まれる対象物体を表す物体領域を選択する物体領域選択装置であって、前記複数の画像の各々から前記対象物体の物体候補領域を抽出する物体候補領域抽出部と、前記物体候補領域抽出部によって同じ前記画像から抽出された前記物体候補領域のペアの各々に対し、前記物体候補領域間の重複度を算出する重複度算出部と、前記物体候補領域抽出部によって前記複数の画像の各々の前記物体候補領域の各々から抽出された画像特徴量に基づいて、前記物体候補領域のペアの各々に対し、前記物体候補領域間の類似度を算出する特徴類似度算出部と、
前記重複度算出部によって算出された前記物体候補領域間の重複度と、前記特徴類似度算出部によって算出された前記物体候補領域間の類似度とに基づいて、前記物体候補領域の各々をランキングする際に、前記物体候補領域の各々について、ランキング上位の前記物体候補領域との間の前記重複度が大きい前記物体候補領域ほど上位にランキングされ、かつランキング上位の前記物体候補領域との間の前記類似度が大きい前記物体候補領域ほど上位にランキングされるように、前記物体候補領域をランキングする物体候補領域ランキング部と、前記物体候補領域ランキング部によって得られた前記物体候補領域の各々のランキング結果に基づいて、前記物体候補領域の各々から、前記物体領域を選択する物体領域選択部と、を含んで構成されている。

また、前記物体領域選択部は、前記物体候補領域ランキング部によって得られた前記ランキング結果に基づいて、前記画像毎に、前記物体候補領域の各々から少なくとも１つの前記物体領域を選択するようにしてもよい。

また、前記物体領域選択部は、前記物体候補領域ランキング部によって得られた前記ランキング結果に基づいて、前記物体候補領域の各々から、予め定められた個数の前記物体領域を選択するようにしてもよい。

また、前記物体領域選択部は、前記物体候補領域ランキング部によって得られた前記ランキング結果に基づいて、前記画像の前記物体候補領域の各々から複数の前記物体領域を選択する際に、ランキングスコアの高い順に、ランキングスコアが予め定められた第１の閾値よりも大きい前記画像の前記物体候補領域であって、かつ、既に選択された前記物体領域との前記重複度が予め定められた第２の閾値よりも小さい前記物体候補領域を前記物体領域として選択するようにしてもよい。

本発明のプログラムは、上記物体領域選択方法の各ステップをコンピュータに実行させるためのプログラムである。

以上説明したように、本発明の物体領域選択方法、装置、及びプログラムによれば、物体候補領域間の重複度と、物体候補領域間の類似度とに基づいて、物体候補領域の各々をランキングする際に、物体候補領域の各々について、ランキング上位の物体候補領域との間の重複度が大きい物体候補領域ほど上位にランキングされ、かつランキング上位の物体候補領域との間の類似度が大きい物体候補領域ほど上位にランキングされるように、物体候補領域をランキングし、物体候補領域の各々のランキング結果に基づいて、物体候補領域の各々から、物体領域を選択することにより、画像に含まれる対象物体を精度よく特定することができる、という効果が得られる。

本実施の形態に係る物体領域選択装置の機能的な構成例を示すブロック図である。重複度の算出方法の一例を説明するための説明図である。類似度の算出方法の一例を説明するための説明図である。第１の実施の形態における物体領域の選択方法の一例を説明するための説明図である。本実施の形態における物体領域選択処理ルーチンを示すフローチャートである。第２の実施の形態における物体領域の選択方法の一例を説明するための説明図である。従来技術を用いて画像から物体領域を抽出した場合の一例を示す図である。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態の概要＞

まず、本発明の実施の形態の概要について説明する。本発明の実施の形態は、入力画像群中に含まれる主要な対象物体の領域を特定する方法に関する。また、本発明の実施の形態は、物体認識のための辞書構築コストの削減を目的として、辞書構築に最低限必要な作業のうち、画像中の対象物体の領域の特定を自動化する技術に関する。

上記非特許文献１で開示されている公知の技術では、上記非特許文献２で得られる物体候補領域をそのまま用いていたために、各物体候補領域が対象物体の全貌をどの程度捉えられているか評価する手段がなく、最終的に選択される各画像中の物体領域が対象物体全貌を必ずしも捉えることができなかった。

そこで、本発明の実施の形態では、各画像から抽出される物体候補領域間の画像内での空間的な重複度と、入力画像群中の物体候補領域間の見た目の類似度とを同時に考慮して物体候補領域をランキングすることでこの問題を解決する。

具体的には、ランキング上位の物体候補領域とより空間的に重複した物体候補領域ほど上位にランキングされるように、かつ、ランキング上位の物体候補領域と見た目の類似した物体候補領域ほど上位にランキングされるように、入力画像群から抽出される全物体候補領域をランキングし、ランキング上位の物体候補領域を主要物体領域として選択することで、対象物体の全貌を正確に捉えつつ対象物体の領域を特定する。

物体候補領域間の空間的な重複度を考慮する理由は、仮に物体候補領域が、主要な対象物体を正しく捉えている度合で理想的にランキングされていると仮定すると、主要な対象物体を正しく捉えた物体候補領域は、対象物体を正しく捉えている度合の高い他の物体候補領域と多くの領域を共有しているであろうという考察に基づいている。

また、物体候補領域の見た目の類似度を評価する理由も同様であり、主要な対象物体を正しく捉えている度合で物体候補領域がランキングされているならば、対象物体の物体領域を正確に捉えた物体候補領域は、ランキング上位の物体候補領域と見た目が類似しているはずであるという考察に基づいている。

上記の条件を同時に満たすよう物体候補領域をランキングすることで、主要な対象物体の全貌を正しく捉えた物体候補領域を上位にランキングすることが可能となり、それらを選択することで、入力画像中の対象物体の物体領域を精度よく特定することが可能となる。

＜本発明の第１の実施の形態に係る物体領域選択装置の構成＞
本発明の第１の実施の形態に係る物体領域選択装置１００は、ＣＰＵ（Central Processing Unit）と、ＣＰＵが後述する各処理ルーチンを実行するためのプログラム等を記憶したＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、を備えたコンピュータで構成することができる。この物体領域選択装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。物体領域選択装置１００は、複数の画像の各々について、当該画像に含まれる対象物体を表す物体領域を選択する。

入力部１０は、対象物体を表す画像を含む複数の画像を受け付ける。

演算部２０は、画像集合データベース２２と、物体候補領域抽出部２４と、重複度算出部２６と、特徴類似度算出部２８と、物体候補領域ランキング部３０と、物体領域選択部３２とを備える。

画像集合データベース２２には、入力部１０によって受け付けられた複数の画像が格納される。

物体候補領域抽出部２４は、画像集合データベース２２に格納された複数の画像の各々から、対象物体の物体候補領域を抽出する。

具体的には、画像集合データベース２２に格納された画像集合をＩとすると、物体候補領域抽出部２４は、各画像Ｉ^ｍ∈Ｉから、一つ以上の物体候補領域を抽出する。なお、ｍは画像のインデックスを表す。

物体候補領域を抽出する方法は任意の方法を用いることが可能であり、例えば上記非特許文献２に開示されている技術や、以下の参考文献１で開示されている技術を用いることができる。上記非特許文献２及び以下の参考文献１で出力される物体候補領域の数は画像サイズやその内容によって変わり得るが、それらは全てを以降の処理で用いても構わないし、あるいは各技術所定の評価関数によるスコアリングの結果を利用し、物体らしさの特に高い上位Ｎ^ｍ領域のみを選択して以降の処理で用いてもよい。なお、Ｎ^ｍは画像Ｉ^ｍから抽出される物体候補領域の数を表す。また、Ｎ^ｍは各画像Ｉ^ｍで独立に設定可能なパラメータであり、例えば手動で１００などと設定することができる。

［参考文献１］M. M. Cheng et al., “Binarized Normed Gradients for Objectness Estimation at 300fps”, in Proc. CVPR, 2014.

重複度算出部２６は、物体候補領域抽出部２４によって同じ画像から抽出された物体候補領域のペアの各々に対し、物体候補領域間の重複度を算出する。

図２に、物体候補領域間の重複度の算出方法の一例を示す。例えば、重複度算出部２６は、図２に示すように、画像集合データベース２２に格納された各画像Ｉ^ｍ∈Ｉから抽出された物体候補領域の集合Ｒ^ｍに含まれる全ての物体候補領域のペアについて、空間的な重複度を算出する。物体候補領域間の空間的な重複度の算出には、例えばＪａｃｃａｒｄ係数を用いればよい。重複度としてＪａｃｃａｒｄ係数を用いる場合、物体候補領域ｒ_ｉ∈Ｒ^ｍと物体候補領域ｒ_ｊ∈Ｒ^ｍとの重複度Ｊ_ｉｊは、以下の式（１）で算出することができる。なお、ｉ，ｊは物体候補領域のインデックスを表す。

上記式（１）におけるｂ_ｉは物体候補領域ｒ_ｉに対応するバイナリマスクである。Ｊａｃｃａｒｄ係数以外にも、空間的に重複する物体候補領域のペアほど当該値が高くなるような指標であれば、任意の手法を用いることができる。以下では、重複度算出部２６で算出される各画像内の全ての物体候補領域のペアの重複度を行列

と表す。

特徴類似度算出部２８は、物体候補領域抽出部２４によって抽出された複数の画像の各々の物体候補領域の各々から画像特徴量を抽出し、抽出した画像特徴量に基づいて、物体候補領域のペアの各々に対し、物体候補領域間の類似度を算出する。

図３に、物体候補領域間の類似度の算出方法の一例を示す。例えば、特徴類似度算出部２８は、図３に示すように、各画像から抽出される各物体候補領域から画像特徴量を算出し、得られた画像特徴量の比較に基づいて全ての物体候補領域のペアの見た目の類似度を算出する。各物体候補領域から抽出する画像特徴量は任意であり、例えば、以下の参考文献２で開示されているSpatial Pyramid Codingや、以下の参考文献３で開示されているGIST、以下の参考文献４で開示されているRCNNを用いればよい。

そして、特徴類似度算出部２８は、抽出された画像特徴量を用いて、各物体候補領域間の類似度を算出する。ここで、物体候補領域ｒ_ｉ∈Ｉ^ｍと物体候補領域ｒ_ｊ∈Ｉ^ｎとから抽出される画像特徴量をｆ_ｉ，ｆ_ｊとすると、物体候補領域ｒ_ｉと物体候補領域ｒ_ｊとの類似度Ｖ_ｉｊ ^ｍｎは、例えば以下の式（２）で算出することができる。

上記式（２）におけるσはパラメータであり、σ＝１０などとあらかじめ決めてもよいし、全ての物体候補領域のペアの画像特徴間の距離の値を参照して決定してもよい。

［参考文献２］S. Lazebnik et al., “Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories”, in Proc. CVPR, 2006.
［参考文献３］A. Oliva et al., “Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope”, in IJCV, 2001.
［参考文献４］R. Girshick et al., “Rich feature hierarchies for accurate object detection and semantic segmentation”, in Proc. CVPR, 2014.

以下では、画像Ｉ^ｍ∈Ｉから得られる物体候補領域の集合Ｒ^ｍと、Ｉ^ｎ∈Ｉから抽出される物体候補領域の集合Ｒ^ｎの各物体候補領域のペアについて、上記式（２）に基づいて算出される類似度から得られる行列を

とする。

物体候補領域ランキング部３０は、重複度算出部２６によって算出された物体候補領域間の重複度と、特徴類似度算出部２８によって算出された物体候補領域間の類似度とに基づいて、物体候補領域の各々をランキングする際に、物体候補領域の各々について、ランキング上位の物体候補領域との間の重複度が大きい物体候補領域ほど上位にランキングされ、かつランキング上位の物体候補領域との間の類似度が大きい物体候補領域ほど上位にランキングされるように、物体候補領域をランキングする。

上記を満たすようなランキングは、Ｎ＝Σ_ｍＮ_ｍを物体候補領域の総数とすれば、例えば以下の式（３）を満たすランキングスコアのベクトルｐ∈Ｒ^Ｎを求めることで得ることができる。

上記式（３）右辺のＡは、重複度算出部２６で得られた物体候補領域間の重複度と、特徴類似度算出部２８で得られた物体候補領域間の類似度とを用いて、以下の式（４）のように算出される。

上記式（４）のＪ、Ｖは以下の式（５）、式（６）で表される。なお、上記式（４）におけるαはパラメータであり、例えばα＝２などとあらかじめ決めておくものとする。

また、上記式（３）のＤ^−１は対角行列であり、行列Ａの要素をＡ_ｉｊとすると、Ｄ^−１の対角成分Ｄ_ｉｉは、Ｄ_ｉｉ＝（Σ_ｊＡ_ｉｊ）^−１である。

上記式（３）は類似度行列Ａに関するPageRankと呼ばれるものであり、例えば以下の参考文献５に示されている公知のアルゴリズムを用いて、ランキングスコアのベクトルｐ∈Ｒ^Ｎを求めることができる。ランキングスコアのベクトルｐ∈Ｒ^Ｎの各要素は対応する物体候補領域のランキングスコアに対応しており、当該値を用いて後述する物体領域選択部３２によって、物体候補領域の選択が行われる。

［参考文献５］P. Berkhin et al., “A Survey on PageRank Computing”, in Internet Mathmatics, 2005.

物体領域選択部３２は、物体候補領域ランキング部３０によって得られた物体候補領域の各々のランキング結果に基づいて、物体候補領域の各々から、物体領域を選択する。物体領域選択部３２によって、対象物体を捉えていると考えられる物体候補領域が物体領域として選択、特定される。

図４に、物体領域の選択方法の一例を示す。例えば、物体領域選択部３２は、図４に示すように、物体候補領域ランキング部３０によって得られたランキング結果に基づいて、画像毎に、物体候補領域の各々から１つの物体領域を選択する。第１の実施の形態において、物体候補領域から物体領域を特定する方法は、画像毎に物体領域の選択を行うというものであり、画像Ｉ^ｍ毎に順番に、当該画像Ｉ^ｍに含まれるランキングスコアが高い物体候補領域を選択していくことで実現される。

なお、物体領域は各画像につき複数選択することも可能である。例えば、物体領域選択部３２は、物体候補領域ランキング部３０によって得られたランキング結果に基づいて、画像毎に、当該画像に含まれる物体候補領域の各々から２つ目以降の物体領域を選択する際に、ランキングスコアの高い順に、ランキングスコアが予め定められた第１の閾値よりも大きい画像の物体候補領域であって、かつ、既に選択された物体領域との重複度が予め定められた第２の閾値よりも小さい物体候補領域を物体領域として選択する。

例えば、物体領域選択部３２は、当該画像に含まれる物体候補領域の各々から２つ目以降の物体領域を選択する際に、予め定められた第１の閾値としてランキングスコアの閾値ｐ_{ｔｈｒｅｓｈｏｌｄ}を予め決めておき、ｐ_ｉ＞ｐ_{ｔｈｒｅｓｈｏｌｄ}を満たす当該画像内の物体候補領域について、ランキングスコアの高い順に、物体領域として既に選択された物体候補領域と重複度が予め定められた第２の閾値Ｊ_{ｔｈｒｅｓｈｏｌｄ}よりも小さいものを順に選択すればよい。Ｊ_{ｔｈｒｅｓｈｏｌｄ}は閾値に関するパラメータであり、手動でＪ_{ｔｈｒｅｓｈｏｌｄ}＝０．５などと設定すればよい。この方法は、入力中の各画像中に対象物体が少なくも一つ必ず含まれている場合に有効である。

出力部４０は、物体領域選択部３２によって得られた物体領域の集合を結果として出力する。

＜本発明の第１の実施の形態に係る物体領域選択装置の作用＞
次に、本発明の第１の実施の形態に係る物体領域選択装置１００の作用について説明する。入力部１０より対象物体を表す画像を含む複数の画像が入力されると、物体領域選択装置１００は、図５に示す物体領域選択処理ルーチンを実行する。

ステップＳ１００において、入力部１０は、対象物体を表す画像を含む複数の画像を受け付け、画像集合データベース２２に格納する。

ステップＳ１０２において、物体候補領域抽出部２４は、上記ステップＳ１００で画像集合データベース２２に格納された複数の画像の各々から、対象物体の物体候補領域を抽出する。

ステップＳ１０４において、重複度算出部２６は、上記ステップＳ１０２で同じ画像から抽出された物体候補領域のペアの各々に対し、物体候補領域間の重複度を算出する。

ステップＳ１０６において、特徴類似度算出部２８は、上記ステップＳ１０２で抽出された複数の画像の各々の物体候補領域の各々から、画像特徴量を抽出する。

ステップＳ１０８において、特徴類似度算出部２８は、上記ステップＳ１０２で抽出された画像特徴量に基づいて、物体候補領域のペアの各々に対し、物体候補領域間の類似度を算出する。

ステップＳ１１０において、物体候補領域ランキング部３０は、上記ステップＳ１０４で算出された物体候補領域間の重複度と、上記ステップＳ１０８で算出された物体候補領域間の類似度とに基づいて、物体候補領域の各々をランキングする際に、物体候補領域の各々について、ランキング上位の物体候補領域との間の重複度が大きい物体候補領域ほど上位にランキングされ、かつランキング上位の物体候補領域との間の類似度が大きい物体候補領域ほど上位にランキングされるように、物体候補領域をランキングする。

ステップＳ１１２において、物体領域選択部３２は、上記ステップＳ１１０で得られた物体候補領域の各々のランキング結果に基づいて、物体候補領域の各々から、物体領域を選択する。

ステップＳ１１４において、出力部４０は、物体領域選択部３２によって得られた物体領域の集合を結果として出力して、物体領域選択処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る物体領域選択装置によれば、物体候補領域間の重複度と、物体候補領域間の類似度とに基づいて、物体候補領域の各々をランキングする際に、物体候補領域の各々について、ランキング上位の物体候補領域との間の重複度が大きい物体候補領域ほど上位にランキングされ、かつランキング上位の物体候補領域との間の類似度が大きい物体候補領域ほど上位にランキングされるように、物体候補領域をランキングし、物体候補領域の各々のランキング結果に基づいて、物体候補領域の各々から、物体領域を選択することにより、画像に含まれる対象物体を精度よく特定することができる。

また、画像群中に含まれる主要な対象物体の全貌を精度よく特定することができる。

[第２の実施の形態]
＜本発明の第２の実施の形態に係る物体領域選択装置の構成＞
次に、本発明の第２の実施の形態について説明する。なお、第２の実施の形態に係る物体領域選択装置の構成は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第２の実施の形態では、物体候補領域のランキング結果に基づいて、物体候補領域の各々から、予め定められた個数の物体領域を選択する点が、第１の実施の形態と異なっている。

第２の実施の形態に係る物体領域選択装置の物体領域選択部３２は、物体候補領域ランキング部３０によって得られたランキング結果に基づいて、物体候補領域の各々から、予め定められた個数の物体領域を選択する。

図６に、物体領域の選択方法の一例を示す。例えば、物体領域選択部３２は、図６に示すように、物体候補領域の集合全体でランキング上位の物体候補領域を物体領域として選択してしまい、物体領域として特定する。第２の実施の形態では、画像あたりで選択される物体候補領域の数が予め指定されない。そのため、１つの画像から複数の物体領域が選択されることや、１つの画像から物体領域の選択がされないといったことが可能となる。

なお、選択されるランキング上位の物体候補領域の予め定められた個数Ｎ_{ｔｈｒｅｓｈｏｌｄ}＜Ｎはパラメータである。

また、画像内で２つ目以降の物体候補領域が選択される場合には、上記第１の実施の形態における物体領域の選択方法と同様の方法で、ランキングスコアの高い順に、ランキングスコアが予め定められた第１の閾値よりも大きい画像の物体候補領域であって、かつ、既に選択された物体領域との重複度が予め定められた第２の閾値よりも小さい物体候補領域を物体領域として選択すればよい。この方法を用いると、必ずしも全ての画像から物体領域が特定されるとは限らないため、画像に対象物体を全く含まない画像が混在している場合に好適である。

以上説明したように、本発明の第２の実施の形態に係る物体領域選択装置によれば、物体候補領域のランキング結果に基づいて、物体候補領域の各々から、予め定められた個数の物体領域を選択することにより、対象物体を全く含まない画像が混在している場合であっても、画像に含まれる対象物体を精度よく特定することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述の物体領域選択装置１００は、画像集合データベース２２を備えている場合について説明したが、例えば画像集合データベース２２が物体領域選択装置１００の外部装置に設けられ、物体領域選択装置１００は、外部装置と通信手段を用いて通信することにより、画像集合データベース２２を参照するようにしてもよい。

また、上述の物体領域選択装置１００は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭやメモリーカード等に格納して提供することも可能である。

１０入力部
２０演算部
２２画像集合データベース
２４物体候補領域抽出部
２６重複度算出部
２８特徴類似度算出部
３０物体候補領域ランキング部
３２物体領域選択部
４０出力部
１００物体領域選択装置

Claims

物体候補領域抽出部、重複度算出部、特徴類似度算出部、物体候補領域ランキング部、及び物体領域選択部を含み、複数の画像の各々について、前記画像に含まれる対象物体を表す物体領域を選択する物体領域選択装置における物体領域選択方法であって、
前記物体候補領域抽出部が、前記複数の画像の各々から前記対象物体の物体候補領域を抽出するステップと、
前記重複度算出部が、前記物体候補領域抽出部によって同じ前記画像から抽出された前記物体候補領域のペアの各々に対し、前記物体候補領域間の重複度を算出するステップと、
前記特徴類似度算出部が、前記物体候補領域抽出部によって抽出された前記複数の画像の各々の前記物体候補領域の各々から画像特徴量を抽出し、抽出した画像特徴量に基づいて、前記物体候補領域のペアの各々に対し、前記物体候補領域間の類似度を算出するステップと、
前記物体候補領域ランキング部が、前記重複度算出部によって算出された前記物体候補領域間の重複度と、前記特徴類似度算出部によって算出された前記物体候補領域間の類似度とに基づいて、前記物体候補領域の各々をランキングする際に、前記物体候補領域の各々について、ランキング上位の前記物体候補領域との間の前記重複度が大きい前記物体候補領域ほど上位にランキングされ、かつランキング上位の前記物体候補領域との間の前記類似度が大きい前記物体候補領域ほど上位にランキングされるように、前記物体候補領域をランキングするステップと、
前記物体領域選択部が、前記物体候補領域ランキング部によって得られた前記物体候補領域の各々のランキング結果に基づいて、前記物体候補領域の各々から、前記物体領域を選択するステップと、
を含む物体領域選択方法。
前記物体領域選択部が前記物体領域を選択するステップは、前記物体候補領域ランキング部によって得られた前記ランキング結果に基づいて、前記画像毎に、前記物体候補領域の各々から少なくとも１つの前記物体領域を選択する
請求項１に記載の物体領域選択方法。
前記物体領域選択部が前記物体領域を選択するステップは、前記物体候補領域ランキング部によって得られた前記ランキング結果に基づいて、前記物体候補領域の各々から、予め定められた個数の前記物体領域を選択する
請求項１に記載の物体領域選択方法。
前記物体領域選択部が前記物体領域を選択するステップは、前記物体候補領域ランキング部によって得られた前記ランキング結果に基づいて、前記画像の前記物体候補領域の各々から複数の前記物体領域を選択する際に、ランキングスコアの高い順に、ランキングスコアが予め定められた第１の閾値よりも大きい前記画像の前記物体候補領域であって、かつ、既に選択された前記物体領域との前記重複度が予め定められた第２の閾値よりも小さい前記物体候補領域を前記物体領域として選択する
請求項２又は３に記載の物体領域選択方法。
複数の画像の各々について、前記画像に含まれる対象物体を表す物体領域を選択する物体領域選択装置であって、
前記複数の画像の各々から前記対象物体の物体候補領域を抽出する物体候補領域抽出部と、
前記物体候補領域抽出部によって同じ前記画像から抽出された前記物体候補領域のペアの各々に対し、前記物体候補領域間の重複度を算出する重複度算出部と、
前記物体候補領域抽出部によって抽出された前記複数の画像の各々の前記物体候補領域の各々から画像特徴量を抽出し、抽出した画像特徴量に基づいて、前記物体候補領域のペアの各々に対し、前記物体候補領域間の類似度を算出する特徴類似度算出部と、
前記重複度算出部によって算出された前記物体候補領域間の重複度と、前記特徴類似度算出部によって算出された前記物体候補領域間の類似度とに基づいて、前記物体候補領域の各々をランキングする際に、前記物体候補領域の各々について、ランキング上位の前記物体候補領域との間の前記重複度が大きい前記物体候補領域ほど上位にランキングされ、かつランキング上位の前記物体候補領域との間の前記類似度が大きい前記物体候補領域ほど上位にランキングされるように、前記物体候補領域をランキングする物体候補領域ランキング部と、
前記物体候補領域ランキング部によって得られた前記物体候補領域の各々のランキング結果に基づいて、前記物体候補領域の各々から、前記物体領域を選択する物体領域選択部と、
を含む物体領域選択装置。
請求項１〜請求項４の何れか１項記載の物体領域選択方法の各ステップをコンピュータに実行させるためのプログラム。