JP6220737B2 - 被写体領域抽出装置、方法、及びプログラム - Google Patents

被写体領域抽出装置、方法、及びプログラム Download PDF

Info

Publication number
JP6220737B2
JP6220737B2 JP2014123525A JP2014123525A JP6220737B2 JP 6220737 B2 JP6220737 B2 JP 6220737B2 JP 2014123525 A JP2014123525 A JP 2014123525A JP 2014123525 A JP2014123525 A JP 2014123525A JP 6220737 B2 JP6220737 B2 JP 6220737B2
Authority
JP
Japan
Prior art keywords
image
subject
unit
graph
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014123525A
Other languages
English (en)
Other versions
JP2016004369A (ja
Inventor
周平 田良島
周平 田良島
豪 入江
豪 入江
新井　啓之
啓之 新井
行信 谷口
行信 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014123525A priority Critical patent/JP6220737B2/ja
Publication of JP2016004369A publication Critical patent/JP2016004369A/ja
Application granted granted Critical
Publication of JP6220737B2 publication Critical patent/JP6220737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、被写体領域抽出装置、方法、及びプログラムに係り、特に、入力された画像について被写体領域を抽出するための被写体領域抽出装置、方法、及びプログラムに関する。
撮像機能を備えたモバイルデバイス(スマートフォン、タブレット、スマートグラス等)の普及に伴い、従来のテキストクエリに基づく画像検索に加え、上記デバイスで撮影した画像をクエリとした画像検索(以下、モバイル画像検索)が急速に普及しつつある。モバイル画像検索における検索対象は様々考えられるが、中でも画像中に映り込んだ被写体の検索は、例えば物販への応用等、商業上の利用価値が非常に高い。
また、クエリ画像中に映り込んだ被写体は、様々な見えで撮影されることは想像に難くない。このことは、モバイルデバイスを用いてクエリ画像を撮影する場合や、撮影被写体が立体的な構造を有している場合に特に顕著である。これら被写体の見えの変化に頑健な画像検索を実現するための方法の１つとして、様々な見えで撮影された検索対象被写体をあらかじめデータベースに登録しておくといったアプローチが考えられる。このアプローチを用いれば、検索時に撮影される被写体の画像が見えも類似した状態でデータベース上に格納されている可能性は必然的に高くなり、マッチング精度が向上するため、見えの変化により頑健な被写体検索が可能となる。ここで、様々な見えで撮影された検索対象被写体をあらかじめデータベースに登録しておくためには、何らかの方法で被写体の映り込んだ画像を複数枚収集する必要がある。これら被写体画像を収集する方法は、大きく人手で撮影する方法と、検索エンジンを利用したウェブクロール等を利用して自動で収集する方法が考えられる。
また、対象画像群のうち一部画像には、抽出対象の被写体が含まれないような場合においても、頑健に各画像から対象被写体の領域を抽出する技術がある（非特許文献１）。非特許文献１の技術は、画像間でＳＩＦＴ−Ｆｌоｗに基づく被写体領域のマッチングを行っているため、被写体そのものを含まない画像からは領域を抽出することなくかつ被写体を含む画像からは頑健にその領域を抽出することを可能としている。
M. Rubinstein et. al., "Unsupervised Joint Object Discovery and Segmentation in Internet Images," in Proc. CVPR, 2013.
しかし、検索対象となる被写体の数が膨大である場合、人手による画像撮影に基づくデータベース構築のコストは非常に高いという問題がある。
また、被写体に関する辞書データベースを自動構築する方法においては、ウェブクロールにより得られた画像群中に被写体と無関係のノイズが含まれているため、得られた画像群をそのままデータベースに登録しても、検索精度があまり向上しないという問題がある。ウェブクロール結果として表示される画像群に含まれる、被写体検索の精度向上に寄与しないノイズの例を図５に示している。ノイズは大きく２種類に分類することができる。１つは、画像中の被写体以外が映っている領域、すなわち背景である。ウェブクロールで得られる被写体画像群から辞書データベースを構築するためには、これら背景を除去し、被写体領域を抽出する必要がある。更には、ウェブクロールの結果には、被写体そのものが映り込んでいない画像（図中、点線で囲われた画像を参照のこと）も少数ながら含まれている可能性がある。これらの画像は被写体領域を全く含まないため、画像そのものを除去できることが望ましい。したがって、ウェブクロールに基づいて被写体辞書データベースを自動構築するためには、被写体そのものが映り込んでいない画像も含まれている可能性がある被写体画像群を入力として、各画像から、検索対象の被写体領域を自動で抽出する必要がある。
また、上記の非特許文献１の技術においては、ＳＩＦＴ−Ｆｌоｗに基づく被写体マッチングは、画像間で被写体の見えが同一であることを仮定している。そのため対象画像群の中に、抽出対象の被写体が異なる見えで含まれていたり、多少の変形を伴った状態で含まれていたりする場合には、被写体マッチングに失敗し、よって被写体領域抽出精度が低下するという問題がある。また、各被写体について見えの変化がついている場合、被写体の見えの変化や変形にマッチング精度が強く影響を受けるという問題がある。また、対象画像群の全ピクセル数の二乗の要素数で構成される行列を用いた二次計画問題を解く必要があり、計算コストが高いという問題もある。
本発明では、上記問題を解決するために成されたものであり、被写体領域を精度良く抽出することができる被写体領域抽出装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明に係る被写体領域抽出装置は、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割する部分領域分割部と、前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出する部分領域特徴抽出部と、前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化する被写体候補領域初期化部と、前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築する画像グラフ構築部と、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うグラフマッチング部と、前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築する全体グラフ構築部と、前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新する被写体候補領域更新部と、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す反復判定部と、を含んで構成されている。
第２の発明に係る被写体領域抽出方法は、部分領域分割部と、部分領域特徴抽出部と、被写体候補領域初期化部と、画像グラフ構築部と、グラフマッチング部と、全体グラフ構築部と、被写体候補領域更新部と、反復判定部と、を含む被写体領域抽出装置における被写体領域抽出方法であって、前記部分領域分割部は、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割し、前記部分領域特徴抽出部は、前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出し、前記被写体候補領域初期化部は、前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化し、前記画像グラフ構築部は、前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築し、前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行い、前記全体グラフ構築部は、前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築し、前記被写体候補領域更新部は、前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新し、前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す。
第１及び第２の発明によれば、部分領域分割部により、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、画像を複数の部分領域に分割し、部分領域特徴抽出部により、分割された画像の複数の部分領域の各々について画像特徴量を抽出し、被写体候補領域初期化部により、分割された画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化し、画像グラフ構築部により、初期化された被写体候補領域、又は前回更新された被写体候補領域について、被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築し、グラフマッチング部により、画像ペアの各々について、画像ペアに含まれる画像の複数の部分領域の各々の画像特徴量に基づいて、画像ペアに含まれる画像の各々に対して構築されたグラフ構造を比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、全体グラフ構築部により、画像ペアの各々についての対応付けの結果に基づいて、画像の被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する部分領域のペアに対応するノードの各々を結んだエッジ、及び画像ペア間で対応付けられた部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築し、被写体候補領域更新部により、画像の各々に対し、画像の被写体候補領域に含まれる部分領域の各々について、構築されたグラフ構造についてクラスタリングを行ってグラフ構造に含まれる複数のノードをクラスタに分類したときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新し、反復判定部により、予め定められた繰り返し終了条件を満たすまで、グラフ構造の構築と、対応付けと、全体グラフの構築と、更新とを繰り返す。
このように、画像集合に含まれる画像の各々について、複数の部分領域に分割し、初期化された被写体候補領域、又は前回更新された被写体候補領域について、グラフ構造を構築し、画像ペアの各々について、構築されたグラフ構造を比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、画像ペアの各々についての対応付けの結果に基づいて、グラフ構造を構築し、画像の被写体候補領域に含まれる部分領域の各々について、構築されたグラフ構造についてクラスタリングを行ったときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新することを繰り返すことにより、被写体領域を精度良く抽出することができる。
また、第１の発明において、被写体画像判定部を更に含み、前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うと共に、前記部分領域の対応付けの各々についてマッチングスコアを更に取得し、前記被写体画像判定部は、前記画像集合に含まれる画像の各々について、前記画像の前記被写体候補領域に含まれる部分領域との対応付けについて取得したマッチングスコアに基づいて、前記画像が前記抽出対象の被写体を表す画像であるか否かを判定し、前記全体グラフ構築部は、前記被写体画像判定部によって前記抽出対象の被写体を表す画像であると判定された画像の各々の前記被写体候補領域に含まれる部分領域の各々に対応するノードを、前記グラフ構造のノードとして構築し、前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記被写体画像判定部による判定と、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返してもよい。
また、本発明のプログラムは、コンピュータを、上記の被写体領域抽出装置を構成する各部として機能させるためのプログラムである。
以上説明したように、本発明の被写体領域抽出装置、方法、及びプログラムによれば、画像集合に含まれる画像の各々について、複数の部分領域に分割し、初期化された被写体候補領域、又は前回更新された被写体候補領域について、グラフ構造を構築し、画像ペアの各々について、構築されたグラフ構造を比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、画像ペアの各々についての対応付けの結果に基づいて、グラフ構造を構築し、画像の被写体候補領域に含まれる部分領域の各々について、構築されたグラフ構造についてクラスタリングを行ったときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新することを繰り返すことにより、被写体領域を精度良く抽出することができる。
本発明の第１の実施の形態に係る被写体領域抽出装置の機能的構成を示すブロック図である。 本発明の第１の実施の形態に係る被写体領域抽出装置における被写体領域抽出処理ルーチンを示すフローチャート図である。 本発明の第２の実施の形態に係る被写体領域抽出装置の機能的構成を示すブロック図である。 本発明の第２の実施の形態に係る被写体領域抽出装置における被写体領域抽出処理ルーチンを示すフローチャート図である。 ノイズの例を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本実施の形態の原理＞
まず、本実施の形態における原理について説明する。本実施の形態は、画像の各々について、複数の部分領域に分割することにより、各画像を構成するピクセル集合が部分領域としてまとめられるため、二次計画問題における行列の要素数を大幅に削減することができる。また、画像間の被写体マッチングを、被写体候補領域の抽出及びグラフマッチングを用いて実施する。具体的には、被写体候補領域を構成する部分領域をノード、部分領域間の隣接関係をエッジとするグラフを各画像で構築し、得られたグラフの類似度を画像間で比較することにより、被写体マッチングを行う。非特許文献１で用いられているＳＩＦＴ−Ｆｌоｗとは異なり、グラフマッチングは被写体を構成する部分領域の位相関係に基づいてマッチングする技術であるため、画像間で被写体の見えが異なっていたり変形したりしても、より精度よく被写体マッチングを行うことが可能となる。そのため、対象画像群の中に被写体が異なる見えや変形した状態で写っていても、各画像から被写体領域を精度よく抽出することが可能となる。
＜本発明の第１の実施の形態に係る被写体領域抽出装置の構成＞
次に、本発明の第１の実施の形態に係る被写体領域抽出装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る被写体領域抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する被写体領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この被写体領域抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
入力部１０は、抽出対象の被写体が映り込んだ複数の画像を含む画像集合Ｉ（Ｉ＝｛Ｉ０，Ｉ１，…ＩＮ−１｝）を受け付け、画像記憶部２２に記憶する。ここで、Ｎは画像集合Ｉに含まれる画像の数であり、画像集合には、被写体そのものをまったく含まない画像が含まれていてもよい。
演算部２０は、画像記憶部２２と、部分領域分割部２４と、部分領域特徴抽出部２６と、スコア算出部２８と、被写体候補領域初期化部３０と、画像グラフ構築部３２と、グラフマッチング部３４と、コセグメンテーション部３５と、反復判定部４２と、被写体領域記憶部４４と、を備えている。
画像記憶部２２には、入力部１０において受け付けた画像集合Ｉが記憶されている。
部分領域分割部２４は、画像記憶部２２に記憶されている画像集合Ｉに含まれる画像Ｉｎの各々について、部分領域の各々に分割する。画像Ｉｎを構成する部分領域集合を
とする。具体的には、画像Ｉｎについて、非特許文献２に記載されているＭｅａｎ Ｓｈｉｆｔや（D. Comaniciu et. al., Mean Shift: A Robust Approach Toward Feature Space Analysis, in TPAMI, 24(5), pp.603.-619, 2002）、非特許文献３に記載されているＴｕｒｂｏｐｉｘｅｌ（A. Levinstein, TurboPixels: Fast Superpixels Using Geometric Flows, in TPAMI, 31(12), pp., 2009）や、非特許文献４に記載されているＳＬＩＣを用いる（R. Achanta et. al,, SLIC Superpixels Compared to State-of-the-art Superpixel Methods, TPAM, 34(11), pp. 2274-2282, 2012.）。なお、部分領域の分割は、各画像を構成する領域の境界線を可能な限り反映したものとする。
部分領域特徴抽出部２６は、部分領域分割部２４において取得した各画像Ｉｎの各部分領域ｓｎ，ｉについて、画像特徴量ｆｎ，ｉを抽出する。画像特徴量としては任意の特徴量を１つ以上用いることができ、第１の実施の形態においては、例えば、部分領域を構成する各ピクセルのＨＳＶ値に基づくカラーヒストグラムを用いる。
スコア算出部２８は、部分領域分割部２４において取得した各画像Ｉｎの各部分領域ｓｎ，ｉについて、被写体らしさを示すスコア
を算出する。具体的には、部分領域ｓｎ，ｉを構成する各ピクセルの被写体らしさを評価し、部分領域ｓｎ，ｉを構成する各ピクセルの被写体らしさに基づく統計量（例えば、平均等）を当該部分領域ｓｎ，ｉの被写体らしさを示すスコアとして算出する。ここで、部分領域ｓｎ，ｉを構成する各ピクセルの被写体らしさを評価する方法は、例えば、非特許文献５に記載されているＯｂｊｅｃｔｎｅｓｓ指標を用いる（B. Alexe et.al., Measuring the Objectness of image windows, in TPAMI, 2012）。
被写体候補領域初期化部３０は、各画像Ｉｎについて、当該画像Ｉｎを構成する各部分領域ｓｎ，ｉの被写体らしさを示すスコアｐｎ，ｉに基づいて、当該画像Ｉｎの部分領域集合Ｓｎの部分集合として、被写体候補領域Ｖｎ⊂Ｓｎの初期化を行う。具体的には、当該画像Ｉｎの各部分領域ｓｎ，ｉについて、予め定められた閾値と、当該部分領域ｓｎ，ｉの被写体らしさを示すスコアｐｎ，ｉとを比較し、当該部分領域ｓｎ，ｉの被写体らしさを示すスコアｐｎ，ｉが予め定められた閾値以上の場合、当該部分領域を被写体候補領域とする。
画像グラフ構築部３２は、各画像Ｉｎについて、被写体候補領域初期化部３０において取得した、又は被写体候補領域更新部４０において前回更新された当該画像の被写体候補領域Ｖｎに基づいて、グラフＧｎ＝｛Ｅｎ，Ｖｎ｝を構築する。ここで、各画像Ｉｎについて構築されるグラフＧｎは、被写体候補領域Ｖｎに含まれる部分領域の各々に対応するノードをノード集合とし、エッジ集合Ｅｎは、空間的に隣接する被写体候補領域に含まれる部分領域ペアｖｎ，ｉ、ｖｎ，ｊ（ｉ≠ｊ）を結んだエッジから構成されているものとする。なお、エッジには重みはないものとしてグラフを構築する。
グラフマッチング部３４は、画像集合Ｉに含まれる各画像Ｉｎの組み合わせからなる画像ペア（Ｉｎ、Ｉｍ）の各々について、部分領域特徴抽出部２６によって抽出された画像特徴量に基づいて、画像グラフ構築部３２において構築された当該画像ペアにおける各画像のグラフＧｎ、Ｇｍ（ｎ≠ｍ）を比較して、当該画像ペア間での被写体候補領域に含まれる部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアを取得する。なお、第１の実施の形態においては、以後グラフＧｎのノード数
とグラフＧｍのノード数
が同一であるものとして説明する。具体的には、画像ペアの各々について、下記（１）式の目的関数Ｆ（Ｐｎｍ）を最小化するような組み合わせ行列Ｐを求める問題である。なお、αは重みパラメータでありメモリ（図示省略）に記憶されており、Ｆ（Ｐｎｍ）がマッチングスコアとなる。
ただし、
は
の行列であり、ｉ行ｊ列目の要素
は、ｖｎ，ｉとｖｎ，ｊがエッジで接続されている場合１を、それ以外の場合０をとる。組み合わせ行列Ｐｎｍは
の行列であり、ｉ行ｊ列目の要素Ｐｎｍ（ｉ，ｊ）は、ｖｎ，ｉとｖｍ，ｊが対応する場合に１を、それ以外の場合に０をとる。また、行列Ｃｎｍは
の行列であり、ｉ行ｊ列目の要素Ｃｎｍ（ｉ，ｊ）は、被写体候補領域に含まれる部分領域の特徴量ｆｎ，ｉとｆｍ，ｊの類似度である。ここで、ｆｎ，ｉとｆｍ，ｊの類似度は、例えばｆｎ，ｉとｆｍ，ｊのユークリッド距離をｄ（ｆｎ，ｉ，ｆｍ，ｉ）として、下記（２）式に従って算出する。ここで、β、及びσは正の値をとるパラメータとし、メモリ（図示省略）に記憶されている。
なお、グラフマッチングは、任意の方法を用いることが可能であり、例えば、第１の実施の形態においては、非特許文献６（M. Zaslavskiy et. al., A PATH Following Algorithm for the Graph Matching Problem, in TPAMI, 31(12), pp. 2227-2242, 2009）、及び非特許文献７（O. Duchenne et al., Tensor-based algorithm for High-Order Graph Matching, in TPAMI, 33(12), pp.2382-2395, 2011）に記載の方法を用いる。
コセグメンテーション部３５は、グラフマッチング部３４により取得した画像ペアの各々の被写体候補領域に含まれる部分領域の対応付けを用いてコセグメンテーションを行い、画像Ｉｎの各々の被写体候補領域Ｖｎに含まれる部分領域ｓｎ，ｉの各々を更新する。また、コセグメンテーション部３５は、全体グラフ構築部３６と、被写体候補領域更新部４０とを備えている。なお、第１の実施の形態においては、非特許文献１に記載の技術について、各ピクセルに対する処理を、各画像Ｉｎの被写体候補領域Ｖｎに含まれる各部分領域ｓｎ，ｉに対する処理と対応付けることにより行う。
全体グラフ構築部３６は、グラフマッチング部３４において画像ペアの各々について取得した当該画像ペア間における部分領域の対応付け（組み合わせ行列集合Ｐ＝｛Ｐ０１，Ｐ０２，…，Ｐｎｍ，…｝）に基づいて、画像集合Ｉにおける被写体候補領域の部分領域の対応関係を示した全体グラフを構築する。具体的には、まず、各画像Ｉｎについて、当該画像Ｉｎの被写体候補領域集合Ｖｎに含まれる部分領域の各々をノード、ノード間の関係性をエッジとするグラフを構築（空間的に隣接する被写体候補領域に含まれる部分領域間にエッジを張る。）する。そして、グラフマッチング部３４において取得した画像ペアの各々の当該画像ペアの被写体候補領域に含まれる部分領域の対応付けに基づいて、構築された各画像Ｉｎのグラフに対して、画像間における対応する被写体候補領域に含まれる部分領域同士のノード間に、関係性を示すエッジを張ることにより、全体グラフを構築する。ここで、画像間Ｉｎ、Ｉｍにおけるエッジの重みについては、被写体候補領域に含まれる部分領域間の特徴量ｆｎ，ｉとｆｍ，ｊと用いて、上記（２）式に従って類似度を算出し、当該類似度を重みとして用いる。
被写体候補領域更新部４０は、全体グラフ構築部３６において構築された全体グラフに対してクラスタリングを行い、全体グラフ構造に含まれる複数のノードをクラスタに分類したときに、画像Ｉｎの各々の被写体候補領域に含まれる部分領域の各々について、当該部分領域がクラスタに属するか否かを判定し、画像Ｉｎの各々の被写体候補領域を、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新する。具体的には、各画像Ｉｎに含まれる被写体候補領域Ｖｎに含まれる全部分領域の各々をクエリとし、ローカルグラフクラスタリングを用いて、クエリとなる部分領域が属するクラスタを発見し、クラスタが発見された部分領域を、更新後の被写体候補領域に含めるようにする（非特許文献８：R. Andersen et al.,, Local Graph Partitioning using PageRank Vectors in Proc. FOCS, 2006）。
反復判定部４２は、予め定められた繰り返し終了条件を満たしたか否かを判定する。第１の実施の形態では、被写体候補領域更新部４０による、各画像Ｉｎの被写体候補領域Ｖｎの更新処理が、予め定められた繰り返し回数以上行われたか否かを判定する。各画像Ｉｎの被写体候補領域Ｖｎの更新処理が、予め定められた繰り返し回数以上行われている場合には、被写体候補領域更新部４０により更新された、各画像Ｉｎの被写体候補領域Ｖｎを、各画像Ｉｎの被写体領域として、被写体領域記憶部４４に記憶すると共に、出力部９０に出力する。各画像Ｉｎの被写体候補領域Ｖｎの更新処理が、予め定められた繰り返し回数行われていない場合には、画像グラフ構築部３２による画像グラフの構築処理、グラフマッチング部３４によるマッチング処理、全体グラフ構築部３６による全体グラフの構築処理、被写体候補領域更新部４０による被写体候補領域の更新処理を繰り返す。
被写体領域記憶部４４には、各画像Ｉｎの被写体領域が記憶されている。なお、各画像Ｉｎの被写体領域は、当該画像Ｉｎの部分領域集合の部分集合として得られているものとする。
＜本発明の第１の実施の形態に係る被写体領域抽出装置の作用＞
次に、本発明の第１の実施の形態に係る被写体領域抽出装置１００の作用について説明する。まず、画像集合Ｉを受け付け、画像記憶部２２に記憶する。そして、画像記憶部２２から画像集合Ｉを読みだすと、被写体領域抽出装置１００は、図２に示す被写体領域抽出処理ルーチンを実行する。
まず、ステップＳ１０２では、読み込んだ画像集合Ｉに含まれる、画像Ｉｎの各々について、当該画像Ｉｎを部分領域ｓｎ，ｉの各々に分割する。
次に、ステップＳ１０４では、画像Ｉｎの各々に対し、ステップＳ１０２において取得した当該画像Ｉｎの部分領域ｓｎ，ｉの各々について、画像特徴量ｆｎ，ｉを抽出する。
次に、ステップＳ１０６では、画像Ｉｎの各々に対し、ステップＳ１０２において取得した当該画像Ｉｎの部分領域ｓｎ，ｉの各々について、被写体らしさを示すスコアｐｎ，ｉを算出する。
次に、ステップＳ１０８では、画像Ｉｎの各々について、ステップＳ１０６において取得した、当該画像Ｉｎの部分領域ｓｎ，ｉの各々についての被写体らしさを示すスコアｐｎ，ｉと、予め定められた閾値と、に基づいて、当該画像Ｉｎにおける被写体候補領域となる部分領域ｓｎ，ｉの各々を判定し、当該画像Ｉｎにおける被写体候補領域Ｖｎを初期化する。
次に、ステップＳ１１０では、画像Ｉｎの各々について、ステップＳ１０８において取得した当該画像Ｉｎにおける被写体候補領域Ｖｎに含まれる部分領域の各々、又は前回の処理におけるステップＳ１１８において取得した更新された被写体候補領域に含まれる部分領域の各々に基づいて、グラフＧｎ＝｛Ｅｎ，Ｖｎ｝を構築する。
次に、ステップＳ１１２では、画像集合Ｉに含まれる各画像Ｉｎの組み合わせからなる画像ペア（Ｉｎ、Ｉｍ）の各々について、ステップＳ１１０において取得した当該画像ペアにおける各画像のグラフＧｎ、Ｇｍと、ステップＳ１０４において取得した当該画像ペアにおける各画像の被写体領域に含まれる各部分領域の特徴量ｆｎ，ｓ、ｆｍ，ｓと、メモリ（図示省略）に記憶されている重みパラメータαと、パラメータβ、及びσと、に基づいて、当該画像ペア間における被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得する。
次に、ステップＳ１１４では、ステップＳ１０８において取得した、画像Ｉｎの各々についての被写体候補領域Ｖｎに含まれる部分領域の各々と、ステップＳ１１２において取得した画像ペアの各々についての被写体候補領域に含まれる部分領域の対応付けとに基づいて、全体グラフを構築する。
次に、ステップＳ１１８では、画像Ｉｎの各々について、ステップＳ１０８において取得した被写体候補領域Ｖｎに含まれる部分領域の各々と、ステップＳ１１４において取得した全体グラフとに基づいて、当該画像Ｉｎに含まれる被写体候補領域Ｖｎに含まれる全部分領域の各々をクエリとし、ローカルグラフクラスタリングを用いて、クエリとなる部分領域が属するクラスタを発見し、当該画像Ｉｎにおける被写体候補領域を、クラスタが発見された部分領域からなる被写体候補領域に更新する。
次に、ステップＳ１２０では、繰り返し処理の終了条件を満たすか否かを判定する。繰り返しの終了条件を満たす場合には、ステップＳ１２２に移行し、繰り返しの終了条件を満たさない場合には、ステップＳ１１０に移行し、ステップＳ１１０〜ステップＳ１２０の処理を繰り返す。
次に、ステップＳ１２２では、画像Ｉｎの各々について、ステップＳ１１８において取得した当該画像Ｉｎの被写体候補領域を、当該画像Ｉｎの被写体領域として被写体領域記憶部４４に記憶すると共に、出力部９０に出力する。
以上説明したように、本発明の第１の実施の形態に係る被写体領域抽出装置によれば、画像集合に含まれる画像の各々について、複数の部分領域に分割し、初期化された被写体候補領域、又は前回更新された被写体候補領域について、グラフを構築し、画像ペアの各々について、構築されたグラフを比較して、画像ペア間で被写体候補領域に含まれる部分領域の対応付けを行い、画像ペアの各々についての対応付けの結果に基づいて、全体グラフを構築し、画像の被写体候補領域に含まれる部分領域の各々について、構築された全体グラフについてクラスタリングを行ったときに、部分領域がクラスタに属するか否かを判定し、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新することを繰り返すことにより、被写体領域を精度良く抽出することができる。
また、被写体そのものを含まない画像を一部含む被写体画像の集合の各画像から、各画像に含まれる被写体の見えが変化、変形している場合であっても、精度よくかつ高速に被写体の写っている領域を自動で抽出することが可能となり、抽出された被写体領域を元に辞書データベースを構築することで、見えの変化に頑健な被写体検索が実現できる。
また、初期化された被写体候補領域を更新していくことで、最終的に抽出される被写体領域の精度を向上させることができる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、第１の実施の形態において、グラフＧｎのエッジには重みはないものとする場合について説明したが、これに限定されるものではなく、空間的に隣接する被写体候補領域に含まれる部分領域ペアｖｎ，ｉ、ｖｎ，ｊの中心間の距離の逆乗を以ってノード間の重みとしてもよい。また、エッジの重みを任意で設定してもよい。
また、第１の実施の形態において、部分領域の各々の画像特徴量として当該部分領域を構成する各ピクセルのＨＳＶ値に基づくカラーヒストグラムを用いる場合について説明したが、これに限定されるものではない。例えば、画像特徴量として、各ピクセルから抽出可能な局所特徴量(例えば、SIFTやColor-SIFTといった局所特徴量（非特許文献９：D.G.Lowe, Distinctive Image Features from Scale-Invariant Keypoints, in IJCV, 60(2),pp. 91-110, 2004.、非特許文献１０：KEA van de Sande, Evaluating Color Descriptors for Object and Scene Recognition, in TPAMI, 32(9), pp. 1582-1596, 2010）)を、あらかじめ作成しておいたコードブック(例えば２５６次元)に基づいて量子化することで得られるＢａｇ−ｏｆ−Ｖｉｓｕａｌ−Ｗｏｒｄｓ特徴量を用いてもよい。
また、第１の実施の形態において、各部分領域ｓｎ，ｉを構成する各ピクセルの被写体らしさを評価する方法として、Ｏｂｊｅｃｔｎｅｓｓ指標を用いる場合について説明したが、これに限定されるものではない。例えば、画像中に映り込んだ被写体が画像中に目立って映っていることが仮定できる場合には、非特許文献１１に記載されている任意のＳａｌｉｅｎｃｙ指標（M.M. Cheng et al., Global Contrast based Salient Region Detection, in Proc. CVPR, 2013）を用いることができる。
また、第１の実施の形態において、画像集合Ｉに含まれる各画像Ｉｎにおける全ての組み合わせにおける画像ペアの各々について、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得する場合について説明したが、これに限定されるものではない。例えば、全体の色味、全体から抽出される色、又は全体から抽出される模様が類似する画像ペアの各々についてのみ、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得してもよい。
また、第１の実施の形態において、被写体候補領域に含まれる部分領域を初期化する際に用いる閾値が予め定められている場合について説明したが、これに限定されるものではない。例えば、閾値は任意の設定方法を用いることができ、各画像Ｉｎの中で最も被写体らしい部分領域が持つスコアをｓｎ，ｍａｘとした場合、閾値を０．６ｓｎ，ｍａｘとしてもよい。
次に、第２の実施の形態に係る被写体領域抽出装置について説明する。
第２の実施の形態においては、画像ペアの各々について取得した当該画像ペア間における部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアの双方を用いてコセグメンテーションを行い、画像Ｉｎの各々の被写体候補領域Ｖｎに含まれる部分領域の各々を更新する点が第１の実施の形態と異なる。なお、第１の実施の形態に係る被写体領域抽出装置と同様の構成及び作用については、同一の符号を付して説明を省略する。
＜本発明の第２の実施の形態に係る被写体領域抽出装置の構成＞
次に、本発明の第２の実施の形態に係る被写体領域抽出装置の構成について説明する。図３に示すように、本発明の第２の実施の形態に係る被写体領域抽出装置２００は、ＣＰＵと、ＲＡＭと、後述する被写体領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この被写体領域抽出装置２００は、機能的には図３に示すように入力部１０と、演算部２２０と、出力部９０とを備えている。
演算部２２０は、画像記憶部２２と、部分領域分割部２４と、部分領域特徴抽出部２６と、スコア算出部２８と、被写体候補領域初期化部３０と、画像グラフ構築部２３２と、グラフマッチング部２３４と、コセグメンテーション部２３５と、反復判定部２４２と、被写体領域記憶部２４４と、を備えている。
画像グラフ構築部２３２は、画像集合Ｉに含まれる各画像Ｉｎ、又は被写体画像判定部２２１において前回、被写体が写っていると判定された各画像Ｉ´ｎについて、被写体候補領域初期化部３０において取得した、又は被写体候補領域更新部４０において前回更新された当該画像の被写体候補領域Ｖｎに基づいて、グラフＧｎ＝｛Ｅｎ，Ｖｎ｝を構築する。ここで、各画像Ｉｎ又は各画像Ｉ´ｎについて構築されるグラフＧｎは、被写体候補領域Ｖｎに含まれる部分領域の各々をノード集合とし、エッジ集合Ｅｎは、空間的に隣接する被写体候補領域に含まれる部分領域ペアｖｎ，ｉ、ｖｎ，ｊ（ｉ≠ｊ）間に張られたエッジから構成されているものとする。なお、エッジには重みはないものとしてグラフを構築する。
グラフマッチング部２３４は、画像集合Ｉに含まれる各画像Ｉｎの組み合わせからなる画像ペア（Ｉｎ、Ｉｍ）、又は被写体画像判定部２２１において前回、被写体が写っていると判定された各画像Ｉ´ｎの組み合わせからなる画像ペア（Ｉ´ｎ、Ｉ´ｍ）の各々について、部分領域特徴抽出部２６によって抽出された画像特徴量に基づいて、画像グラフ構築部２３２において構築された当該画像ペアにおける各画像のグラフＧｎ、Ｇｍ（ｎ≠ｍ）を比較して、当該画像ペア間での被写体候補領域に含まれる部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアを取得する。
コセグメンテーション部２３５は、グラフマッチング部２３４により取得した画像ペアの各々の被写体候補領域に含まれる部分領域の対応付け、及び部分領域の対応付けの各々についてのマッチングスコアを用いてコセグメンテーションを行い、被写体が写っていると判定された画像Ｉ´ｎの各々の被写体候補領域Ｖｎに含まれる部分領域の各々を更新する。また、コセグメンテーション部２３５は、被写体画像判定部２２１と、全体グラフ構築部２３６と、被写体候補領域更新部２４０とを備えている。
被写体画像判定部２２１は、グラフマッチング部２３４により取得した画像ペアの各々の、部分領域の対応付け毎についてのマッチングスコアに基づいて、各画像が、被写体が写っている画像であるか否かを判定し、被写体が写っている画像Ｉ´ｎの各々を取得する。具体的には、各画像Ｉｎ又は被写体画像判定部２２１の前回の処理において取得した各画像Ｉ´ｎについて、当該画像の被写体候補領域Ｖｎに含まれる部分領域に関するマッチングスコアの和を下記（３）式に従って算出し、当該算出された値と、予め定められた閾値とを比較し、当該値が、当該閾値以下である場合に、当該画像を被写体が写っている画像と判定する。
全体グラフ構築部２３６は、グラフマッチング部２３４において画像ペアの各々について取得した当該画像ペア間における部分領域の対応付け（組み合わせ行列集合Ｐ＝｛Ｐ０１，Ｐ０２，…，Ｐｎｍ，…｝）に基づいて、被写体画像判定部２２１において被写体が写っていると判定された画像Ｉ´ｎの各々における被写体候補領域の部分領域の対応関係を示した全体グラフを構築する。
被写体候補領域更新部２４０は、全体グラフ構築部２３６において構築された全体グラフに対してクラスタリングを行い、全体グラフ構造に含まれる複数のノードをクラスタに分類したときに、画像Ｉ´ｎの各々の被写体候補領域に含まれる部分領域の各々について、当該部分領域がクラスタに属するか否かを判定し、画像Ｉ´ｎの各々の被写体候補領域を、クラスタに属すると判定された部分領域の各々からなる被写体候補領域に更新する。
反復判定部２４２は、予め定められた繰り返し終了条件を満たしたか否かを判定する。被写体候補領域更新部２４０による、各画像Ｉ´ｎの被写体候補領域Ｖｎの更新処理が、予め定められた繰り返し回数以上行われたか否かを判定する。各画像Ｉ´ｎの被写体候補領域Ｖｎの更新処理が、予め定められた繰り返し回数以上行われている場合には、被写体候補領域更新部２４０により更新された、各画像Ｉ´ｎの被写体候補領域Ｖｎを、各画像Ｉ´ｎの被写体領域として、被写体領域記憶部２４４に記憶すると共に、出力部９０に出力する。各画像Ｉ´ｎの被写体候補領域Ｖｎの更新処理が、予め定められた繰り返し回数行われていない場合には、画像グラフ構築部２３２による画像グラフの構築処理、グラフマッチング部２３４によるマッチング処理、被写体画像判定部２２１による判定処理、全体グラフ構築部２３６による全体グラフの構築処理、被写体候補領域更新部２４０による被写体候補領域の更新処理を繰り返す。
被写体領域記憶部２４４には、各画像Ｉ´ｎの被写体領域が記憶されている。
＜本発明の第２の実施の形態に係る被写体領域抽出装置の作用＞
次に、本発明の第２の実施の形態に係る被写体領域抽出装置２００の作用について説明する。まず、画像集合Ｉを受け付け、画像記憶部２２に記憶する。そして、画像記憶部２２から画像集合Ｉを読み出すと、被写体領域抽出装置２００は、図４に示す被写体領域抽出処理ルーチンを実行する。
ステップＳ２００では、画像集合Ｉに含まれる画像Ｉｎの各々又は後述するステップＳ２０４において前回取得した画像Ｉ´ｎの各々について、ステップＳ１０８において取得した当該画像Ｉｎ又は当該画像Ｉ´ｎにおける被写体候補領域Ｖｎに含まれる部分領域の各々、又は後述するステップＳ２０８において前回取得した更新された被写体候補領域Ｖｎに含まれる部分領域の各々に基づいて、グラフＧｎ＝｛Ｅｎ，Ｖｎ｝を構築する。
次に、ステップＳ２０２では、画像集合Ｉに含まれる各画像Ｉｎの組み合わせからなる画像ペア、又はステップＳ２０４において前回取得した各画像Ｉ´ｎの組み合わせからなる画像ペアの各々について、ステップＳ２００において取得した当該画像ペアにおける各画像のグラフＧｎ、Ｇｍと、ステップＳ１０４において取得した当該画像ペアにおける各画像の被写体領域に含まれる各部分領域の特徴量ｆｎ，ｓ、ｆｍ，ｓと、メモリ（図示省略）に記憶されている重みパラメータαと、パラメータβ、及びσと、に基づいて、当該画像ペア間における被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを取得する。
次に、ステップＳ２０４では、ステップＳ２０２において取得した画像ペアの各々についての部分領域の対応付け及びマッチングスコアに基づいて、各画像が、被写体が写っている画像であるか否かを判定し、被写体が写っている画像Ｉ´ｎの各々を取得する。
次に、ステップＳ２０６では、ステップＳ１０８において取得した、ステップＳ２０４において取得した画像Ｉ´ｎの各々についての被写体候補領域Ｖｎに含まれる部分領域の各々と、ステップＳ２０２において取得した画像ペアの各々についての部分領域の対応付けとに基づいて、全体グラフを構築する。
次に、ステップＳ２０８では、ステップＳ２０４において取得した画像Ｉ´ｎの各々について、ステップＳ１０８において取得した被写体候補領域Ｖｎに含まれる部分領域の各々と、ステップＳ２０６において取得した全体グラフとに基づいて、当該画像Ｉ´ｎに含まれる被写体候補領域Ｖｎに含まれる全部分領域の各々をクエリとし、ローカルグラフクラスタリングを用いて、クエリとなる部分領域が属するクラスタを発見し、当該画像Ｉ´ｎにおける被写体候補領域を、クラスタが発見された部分領域からなる被写体候補領域に更新する。
次に、ステップＳ２１０では、繰り返し処理の終了条件を満たすか否かを判定する。繰り返しの終了条件を満たす場合には、ステップＳ２１２に移行し、繰り返しの終了条件を満たさない場合には、ステップＳ２００に移行し、ステップＳ２００〜ステップＳ２１０の処理を繰り返す。
次に、ステップＳ２１２では、画像Ｉ´ｎの各々について、ステップＳ２０８において取得した当該画像Ｉ´ｎの被写体候補領域を、当該画像Ｉ´ｎの被写体領域として被写体領域記憶部２４４に記憶すると共に、出力部９０に出力する。
以上説明したように、本発明の第２の実施の形態に係る被写体領域抽出装置によれば、被写体が写っている画像を判定し、被写体が写っている画像について、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアに基づいて、被写体候補領域に含まれる部分領域の更新を繰り返すことにより、被写体領域を精度良く抽出することができる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、第２の実施の形態において、被写体が写っている画像を判定する際に用いた閾値を予め定める場合について説明したが、これに限定されるものではなく、上記（３）式で得られた値のうち最小のものから５倍以上の値を閾値として設定してもよい。
また、第２の実施の形態において、コセグメンテーションの際に、被写体候補領域に含まれる部分領域の対応付け及びマッチングスコアを用いる場合について説明したが、これに限定されるものではない。例えば、マッチングスコアのみを用いてコセグメンテーションを行ってもよい。この場合、被写体候補領域に含まれる部分領域の対応付けは、マッチングスコアが存在するか否かにより行う。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
１０ 入力部
２０ 演算部
２２ 画像記憶部
２４ 部分領域分割部
２６ 部分領域特徴抽出部
２８ スコア算出部
３０ 被写体候補領域初期化部
３２ 画像グラフ構築部
３４ グラフマッチング部
３５ コセグメンテーション部
３６ 全体グラフ構築部
４０ 被写体候補領域更新部
４２ 反復判定部
４４ 被写体領域記憶部
９０ 出力部
１００ 被写体領域抽出装置
２００ 被写体領域抽出装置
２２０ 演算部
２２１ 被写体画像判定部
２３２ 画像グラフ構築部
２３４ グラフマッチング部
２３５ コセグメンテーション部
２３６ 全体グラフ構築部
２４０ 被写体候補領域更新部
２４２ 反復判定部
２４４ 被写体領域記憶部

Claims (4)

  1. 抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割する部分領域分割部と、
    前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出する部分領域特徴抽出部と、
    前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化する被写体候補領域初期化部と、
    前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築する画像グラフ構築部と、
    前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うグラフマッチング部と、
    前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築する全体グラフ構築部と、
    前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新する被写体候補領域更新部と、
    予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す反復判定部と、
    を含む、被写体領域抽出装置。
  2. 被写体画像判定部を更に含み、
    前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行うと共に、前記部分領域の対応付けの各々についてマッチングスコアを更に取得し、
    前記被写体画像判定部は、前記画像集合に含まれる画像の各々について、前記画像の前記被写体候補領域に含まれる部分領域との対応付けについて取得したマッチングスコアに基づいて、前記画像が前記抽出対象の被写体を表す画像であるか否かを判定し、
    前記全体グラフ構築部は、前記被写体画像判定部によって前記抽出対象の被写体を表す画像であると判定された画像の各々の前記被写体候補領域に含まれる部分領域の各々に対応するノードを、前記グラフ構造のノードとして構築し、
    前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記被写体画像判定部による判定と、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す請求項１記載の被写体領域抽出装置。
  3. 部分領域分割部と、部分領域特徴抽出部と、被写体候補領域初期化部と、画像グラフ構築部と、グラフマッチング部と、全体グラフ構築部と、被写体候補領域更新部と、反復判定部と、を含む被写体領域抽出装置における被写体領域抽出方法であって、
    前記部分領域分割部は、抽出対象の被写体を表す複数の画像を含む画像集合に含まれる画像の各々について、前記画像を複数の部分領域に分割し、
    前記部分領域特徴抽出部は、前記画像集合に含まれる画像の各々に対し、前記部分領域分割部により分割された前記画像の複数の部分領域の各々について画像特徴量を抽出し、
    前記被写体候補領域初期化部は、前記画像集合に含まれる画像の各々について、前記部分領域分割部により分割された前記画像の複数の部分領域からなる部分領域集合のうちの部分集合を、被写体候補領域として初期化し、
    前記画像グラフ構築部は、前記画像集合に含まれる画像の各々に対し、初期化された被写体候補領域、又は前回更新された前記被写体候補領域について、前記被写体候補領域に含まれる部分領域の各々に対応するノード及び隣接する前記部分領域のペアに対応するノードの各々を結んだエッジからなるグラフ構造を構築し、
    前記グラフマッチング部は、前記画像集合に含まれる画像のうちの画像ペアの各々について、前記画像ペアに含まれる画像の前記複数の部分領域の各々の画像特徴量に基づいて、前記画像ペアに含まれる画像の各々に対して構築された前記グラフ構造を比較して、前記画像ペア間で前記被写体候補領域に含まれる部分領域の対応付けを行い、
    前記全体グラフ構築部は、前記グラフマッチング部による前記画像ペアの各々についての対応付けの結果に基づいて、前記画像集合に含まれる画像の前記被写体候補領域に含まれる部分領域の各々に対応するノード、隣接する前記部分領域のペアに対応するノードの各々を結んだエッジ、及び前記画像ペア間で対応付けられた前記部分領域の各々に対応するノードの各々を結んだエッジからなるグラフ構造を構築し、
    前記被写体候補領域更新部は、前記画像集合に含まれる画像の各々に対し、前記画像の被写体候補領域に含まれる部分領域の各々について、前記全体グラフ構築部により構築されたグラフ構造についてクラスタリングを行って前記グラフ構造に含まれる複数のノードをクラスタに分類したときに、前記部分領域がクラスタに属するか否かを判定し、前記クラスタに属すると判定された前記部分領域の各々からなる前記被写体候補領域に更新し、
    前記反復判定部は、予め定められた繰り返し終了条件を満たすまで、前記画像グラフ構築部によるグラフ構造の構築と、前記グラフマッチング部による対応付けと、前記全体グラフ構築部による全体グラフの構築と、前記被写体候補領域更新部による更新とを繰り返す、
    被写体領域抽出方法。
  4. コンピュータを、請求項１又は請求項２記載の被写体領域抽出装置を構成する各部として機能させるためのプログラム。
JP2014123525A 2014-06-16 2014-06-16 被写体領域抽出装置、方法、及びプログラム Active JP6220737B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014123525A JP6220737B2 (ja) 2014-06-16 2014-06-16 被写体領域抽出装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014123525A JP6220737B2 (ja) 2014-06-16 2014-06-16 被写体領域抽出装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016004369A JP2016004369A (ja) 2016-01-12
JP6220737B2 true JP6220737B2 (ja) 2017-10-25

Family

ID=55223615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014123525A Active JP6220737B2 (ja) 2014-06-16 2014-06-16 被写体領域抽出装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6220737B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101874471B1 (ko) 2016-11-07 2018-07-04 광주과학기술원 객체 검색 후보 영역을 개선하기 위한 방법, 컴퓨터-판독가능 저장 매체 및 장치
JP6670787B2 (ja) * 2017-03-23 2020-03-25 日本電信電話株式会社 繰り返しパターン発見装置、方法、及びプログラム
JP7086892B2 (ja) * 2019-05-14 2022-06-20 Kddi株式会社 対象の情報を接地点含有画像領域から推定する装置、プログラム及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332166B2 (ja) * 1992-09-30 2002-10-07 株式会社日立製作所 動画像の検索装置
US8107726B2 (en) * 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data
EP2548174B1 (en) * 2010-03-15 2015-05-27 Panasonic Corporation Method and apparatus for trajectory estimation, and method for segmentation
JP5836779B2 (ja) * 2011-12-02 2015-12-24 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置およびプログラム

Also Published As

Publication number Publication date
JP2016004369A (ja) 2016-01-12

Similar Documents

Publication Publication Date Title
JP5818327B2 (ja) 三次元物体認識用画像データベースの作成方法および作成装置
CN106682700B (zh) 基于关键点描述算子的分块快速匹配方法
US10339408B2 (en) Method and device for Quasi-Gibbs structure sampling by deep permutation for person identity inference
Venkateswaran et al. Performance analysis of GA and PSO based feature selection techniques for improving classification accuracy in remote sensing images
CN113420640B (zh) 红树林高光谱图像分类方法、装置、电子设备及存储介质
US8463050B2 (en) Method for measuring the dissimilarity between a first and a second images and a first and second video sequences
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN103942563A (zh) 一种多模态行人再辨识技术
Bhuiyan et al. Person re-identification by discriminatively selecting parts and features
JP6220737B2 (ja) 被写体領域抽出装置、方法、及びプログラム
JP4721829B2 (ja) 画像検索方法及び装置
CN111680183B (zh) 对象检索方法及装置、存储介质及电子设备
JP6448036B2 (ja) 物体領域特定方法、装置、及びプログラム
JP6062981B2 (ja) 映像検索装置、方法、及びプログラム
CN104504409B (zh) 一种基于全局字典特征的古代壁画病害标识方法
Pang et al. Insect recognition under natural scenes using R-FCN with anchor boxes estimation
JP6670787B2 (ja) 繰り返しパターン発見装置、方法、及びプログラム
JP2017021606A (ja) 動画像検索方法、動画像検索装置及びそのプログラム
Guerrero-Peña et al. Search-space sorting with hidden Markov models for occluded object recognition
Prashar et al. A review on efficient identification of american cotton leaf diseases through training set
Setyanto et al. Comparison of SIFT and SURF Methods for Porn Image Detection
Wang et al. Pedestrian detection in highly crowded scenes using “online” dictionary learning for occlusion handling
Hallé et al. Towards a completely blind classifier for hyperspectral images
Abu Mangshor et al. “myHerbs”: A mobile based application for herbal leaf recognition using sift
Thakare et al. Image texture classification and retrieval using self-organizing map

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6220737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150