JP6393230B2 - オブジェクト検出方法及び画像検索システム - Google Patents

Description

本発明は、画像から所定のオブジェクトを検出する技術に関する。

近年、ネットワークのブロードバンド化、各種記憶装置の大容量化により、大規模に画像や映像を蓄積し、それらを配信するサービスが可能となっている。

大規模にコンテンツを扱うシステムでは検索技術が重要である。一般的な検索技術として、画像や映像コンテンツと関連付けられたテキスト情報を検索する技術である。文書情報の検索技術では、一つ又は複数個のキーワードをクエリとして入力し、入力されたキーワードが含まれるテキスト情報と関連付けられた画像や映像を検索結果として返す。また、画像自体から情報を抽出し、検索する技術も提案されている。特許文献１及び特許文献２等に記載されているように、類似画像検索では、検索対象となる登録画像の特徴を数値化した画像特徴量をデータベースに登録することによって高速な検索を実現している。

類似画像検索における画像特徴量の抽出は、検索対象となる事物が含まれる画像中の部分領域を検出する処理が重要となる場合が多い。例えば、類似画像検索を用いた顔検索では、顔領域を検出し、検出された顔領域から画像特徴量を抽出する。同様に、車両の類似検索では、画像中の車両が存在する領域を検出する。

画像中から特定の物体が存在する領域を検出する方法として、学習データを用いる方法が提案されている。例えば、検出対象となる物体が撮像された画像の集合を学習データとして用いたＡｄａブースト法による学習によって、局所的な特徴の一致に基づく弱識別器をカスケード上に並べて識別器を構成する。この方法は、特に、人物の顔領域検出の分野で、高い有効性を示す。

また、この方法では、検出する対象物のカテゴリーごとに識別器の学習を行う必要がある。この場合のカテゴリーは、単なる意味的なカテゴリー分けでは不十分である。各カテゴリー内では、画像の見えが、ある程度均質である必要がある。例えば、顔検出では、正面顔と横顔は、別々の識別器として学習する。また、各学習では、大量の学習用データが必要である。

これに対して、部分画像が登録された辞書パターンを用いる方法が提案されている。例えば、検出したい対象物が含まれる部分画像をデータベースに辞書パターンとして登録し、画像中から辞書パターンと類似した部分領域を効率的に抽出することによって部分領域の検出を実現している。この方法では、見え方が異なる多様な対象物を一括して検出することができる。

特開２０００−１２３１７３号公報 特開２００７−３３４４０２号公報

前述した従来技術において、検索したい画像が画像中の部分領域である場合、前述した検出処理が必要である。前述した検出処理を行うためには、いずれの方法においても、検索対象として想定される事物の画像を事前に収集する必要がある。例えば、収集した画像に基づき識別器の学習を実施したり、収集した画像を辞書パターンに登録する。いずれの方法でも、着目する事物を事前に決定して検出処理を行い、データベースを構築する。従って、着目する事物が事前に不明である場合、いずれの方法も適切ではない。

検索システムを使用するユーザが、どのような事物に着目して検索するかを事前に網羅的に想定することは、一般的には困難である。また、検索したい事物を想定できても、手掛かりとなる情報、すなわち、検索クエリとなる情報が、隠蔽等により事物の部分のみしか知り得ない場合もある。このような場合、事前に検索対象となる画像を検出処理によってデータベース化することはできない。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、プロセッサ及びメモリを有する計算機によって構成される画像解析装置が実行するオブジェクト検出方法であって、前記プロセッサが、画像の入力を受け、前記メモリに格納する第１ステップと、前記プロセッサが、前記入力された画像から、その一部である部分領域を抽出して、前記メモリに格納する第２ステップと、前記プロセッサが、前記部分領域から抽出した特徴量と、前記特徴量を鏡映変換した後の鏡映特徴量とを用いて、前記部分領域の対称性を評価する第３ステップと、前記プロセッサが、所定の閾値より前記対称性が高いと評価された部分領域を、検出対象が写っているオブジェクト領域であると判定する第４ステップと、を有し、前記第３ステップでは、前記入力された画像が２値画像である場合、前記特徴量として抽出される輝度勾配ベクトルの方向を０度から１８０度の範囲に分布させて処理し、前記入力された画像が２値画像でない場合、前記特徴量として抽出される輝度勾配ベクトルの方向を０度から３６０度の範囲に分布させて処理する。

本発明によって、着目すべき部分領域を的確に検出することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

第１実施例の画像特徴量の抽出を説明する図である。 第１実施例対称軸を説明する図である。 第１実施例における微分フィルタを説明する図である。 第１実施例の輝度勾配強度分布特徴量を説明する図である。 第１実施例の輝度ベクトル勾配の方向を説明する図である。 第１実施例の画像評価システムの物理的な構成を示すブロック図である。 第１実施例の画像評価処理のフローチャートである。 第２実施例の画像検索システムの構成を示す図である。 第２実施例の画像検索システムの論理的な構成を示す図である。 第２実施例の着目領域抽出部による処理のフローチャートである。 第２実施例の着目領域抽出処理のステップ７０１〜７０３を説明する図である。 第２実施例の着目領域抽出部処理の詳細化処理（ステップ７０６）を説明する図である。

次に、本発明の実施例について、図面を参照して説明する。

＜実施例１＞
図１は、第１実施例の検索方法において、局所的な対称性を評価するための画像特徴量の抽出を説明する図である。

画像１０１の中の任意の矩形部分領域１０２を、さらに、所定数（図示する例では３×３）のブロックに分割し、各ブロックの領域の画像特徴量ベクトル１０３を抽出する。この９個の画像特徴量ベクトルの各々をｆ００、ｆ１０、ｆ２０、ｆ０１、ｆ１１、ｆ２１、ｆ０２、ｆ１２、ｆ２２で示す。画像特徴量ベクトルを示す符号の１番目の添え字は各ブロックのｘ方向の位置を表し、２番目の添え字はｙ方向の位置を表す。

次に、図２に示すように、各ブロックの領域の画像特徴量ベクトルに対して、４つの軸を中心とした鏡映変換を考える。ここで、各軸を中心とした鏡映変換を画像特徴量ベクトルに対して適用するための行列を、Ｔ０、Ｔ１、Ｔ２、Ｔ３で表す。すなわち、Ｔ０は、左右に鏡映変換するための行列であり、Ｔ１は、右上４５度の軸を中心に鏡映変換するための行列であり、Ｔ２は、上下に鏡映変換するための行列であり、Ｔ３は、右下４５度の軸を中心に鏡映変換するための行列である。なお、図２は、各行列によって行われる鏡映変換の中心となる軸を示す。

各ブロックの領域で抽出された画像特徴量ベクトルに、前述した変換行列を適用することによって、矩形部分の領域内の対称性を評価する。例えば、左右対称性を評価するためには、ｙ軸を中心として対称な位置に存在するｆ００とｆ２０について、ｆ２０を左右に鏡映変換したベクトル、すなわち、ｆ２０にＴ０を乗じたベクトルがｆ００と近ければ、対称性が高いと考えられる。同様に、ｆ０１とｆ２１については、ｆ２１にＴ０を乗じたベクトル、ｆ０２とｆ２２については、ｆ２２にＴ０を乗じたベクトルがそれぞれ近ければ、対称性が高いと考えられる。このようにして、左右対称性は、数式（１）に示すような特徴量ベクトル間の三つの二乗距離から構成されるベクトルＤ０として表すことができる。

同様に、右上４５度の軸を中心とする対称性は、数式（２）のＤ１として表すことができる。

同様に、上下対称性は、数式（３）のＤ２として表すことができる。

同様に、右下４５度の軸を中心とする対称性は、数式（４）のＤ３として表すことができる。

一方、本実施例の方法では、特徴量ベクトルの変換によって、変換前より対称性が増大する場合に、対称性が高いと評価する。例えば、Ｄ０の算出で用いられるｆ００とｆ０２が、元々、左右の鏡映変換を行っても対称性の変化が小さい場合、左右対称性が大きいとは考えない。このような性質を定量的に表現する補正項として、数式（５）に示すような、鏡映変換を適用しない場合に対応するブロックの領域の特徴量ベクトル間の二乗距離から構成されるベクトルＥ０を定義する。

同様に、Ｄ１に対する補正項Ｅ１は、数式（６）で表される。

同様に、Ｄ２に対する補正項Ｅ２は、数式（７）で表される。

同様に、Ｄ３に対する補正項Ｅ３は、数式（８）で表される。

Ｄ０、Ｄ１、Ｄ２、Ｄ３、および、Ｅ０、Ｅ１、Ｅ２、Ｅ３を用いて、矩形部分領域の対称性を評価する。具体的な評価関数としては、以下の四つを定義する。

数式（９）に示す評価関数は、Ｄ０、Ｄ１、Ｄ２、Ｄ３の各要素の総和と、Ｅ０、Ｅ１、Ｅ２、Ｅ３の各要素の総和との比を用いて対称性を評価する。

数式（１０）に示す評価関数は、４方向の対称性を評価した後、その平均値を用いて総合的な対称性を評価する。

数式（１１）に示す評価関数は、対応する各ブロック間で対称性を評価した後、その平均値を用いて総合的な対称性を評価する。

数式（１２）に示す評価関数は、４方向ごとの対称性を評価した後、その最大値を用いて総合的な対称性を評価する。

これらの評価関数は、本発明が適用される具体的な事案に最も適切なものを採用するとよい。

次に、本実施例で用いる画像特徴量について説明する。

本実施例で用いる画像特徴量は、ブロックに分割された領域の中から所定次元のベクトルとして抽出可能なアルゴリズムによって抽出されるものでなければならない。さらに、鏡映変換に関して不変な特徴量は採用できない。例えば、ブロック内の色平均特徴量、すなわち、画像を構成するＲＧＢ値の平均から構成される特徴量は、鏡映変換に関して不変であるので、本実施例では用いることができない。

鏡映変換に関して不変ではない特徴量の抽出については、複数の公知技術がある。例えば、ブロックの領域内を更に小ブロックに分割して、小ブロックごとに色平均を算出した特徴量や、小ブロックごとの色分布をヒストグラム化した特徴量は、鏡映変換に関して不変ではない。また、白黒濃淡画像の場合、局所的な輝度変化のパターンの性質を抽出するエッジパターン特徴量も、鏡映変換に関して不変ではない。以下の説明では、本実施例の方法を分かりやすく説明するために、輝度勾配ベクトルの強度分布を特徴量として用いた例について詳細に説明する。

輝度勾配ベクトルは、白黒濃淡画像に二次元の数値微分を適用することによって算出できる。図３は、数値微分を行うためのフィルタの例である。微分フィルタによって求められた画素位置（ｘ，ｙ）上の輝度勾配ベクトル（ｇｘ，ｇｙ）から、数式（１３）のように、ベクトルの方向θとベクトルの二乗ノルムｐを算出することができる。

ベクトルの方向θは、０度から３６０度の範囲に分布する。これを適切なレベルで等間隔に量子化し、二乗ノルムｐを矩形領域内で集計することによって、輝度勾配ベクトルの強度分布を方向のヒストグラム状のデータとして表現することができる。

図４は、この処理を説明する図である。

まず、画素の輝度の勾配を示す輝度勾配ベクトル４０１を画像から抽出し、抽出した輝度勾配ベクトルを集計して、ヒストグラム状のデータ４０２を算出する。なお、本実施例の方法における４方向の鏡映変換を適用するために、量子化のレベル数は８、又は８の倍数とする。また、量子化の最初の値域の中心をｘ軸方向に一致させるとよい。

本特徴量において量子化のレベル数を８とすれば、各ブロックの領域から８次元の画像特徴量ベクトルが抽出される。このとき、左右の対称性を評価するための鏡映変換行列Ｔ０は数式（１４）で表される。

同様に、右上４５度方向の軸を中心とする対称性を評価するための鏡映変換行列Ｔ１は数式（１５）で表される。

同様に、上下対称性を評価するための鏡映変換行列Ｔ２は数式（１６）で表される。

同様に、右下４５度方向の軸を中心とする対称性を評価するための鏡映変換行列Ｔ３は数式（１７）で表される。

輝度勾配ベクトルに基づく特徴量では、明るい画素から暗い画素に向かう輝度勾配と、暗い画素から明るい画素に向かう輝度勾配との明暗反転を無視し、ベクトルの方向θを０度から１８０度の範囲に分布させて処理してもよい。この場合、本実施例の方法における４方向の鏡映変換を適用するために、量子化のレベル数は４、又は４の倍数とするとよい。

図５を用いて、輝度勾配ベクトルの方向を説明する。

図５（Ａ）に示すような、２値画像（例えば、白黒２値による線画）では、反対方向の輝度勾配ベクトルが近接して現れる。このため、一方の輝度勾配ベクトルのみを使用して輝度勾配ベクトルの方向の分布を求めれば十分であり、０°〜１８０°の範囲に輝度勾配ベクトルを分布させればよい。一方、図５（Ｂ）に示すような、多値画像（例えば、多値のグレースケース画像や、カラー画像）では、様々な方向に輝度勾配ベクトルが現れる。このため、０°〜３６０°の範囲に輝度勾配ベクトルを分布させる必要がある。特に、図５（Ｃ）に示すように背景の輝度が変わる場合、０°〜１８０°の範囲では、輝度勾配ベクトルの分布を正確に求めることができない。このように、入力された画像の種類に応じて輝度勾配ベクトルの分布の範囲を変えるとよい。

輝度勾配ベクトルの分布の範囲の切替は、入力画像に性質に応じてオペレータが設定してもよい。また、計算機が入力された画像を判定し、入力された画像が２値画像である場合、輝度勾配ベクトルの方向を０度から１８０度の範囲に分布させ、それ以外の場合、輝度勾配ベクトルの方向を０度から３６０度の範囲に分布させるように処理してもよい。

本特徴量において量子化のレベル数を４とすれば、各ブロックの領域から４次元の画像特徴量ベクトルが抽出される。このとき、左右対称性を評価するための鏡映変換行列Ｔ０は数式（１８）で表される。

同様に、右上４５度方向の軸を中心とする対称性を評価するための鏡映変換行列Ｔ１は
数式（１９）で表される。

また、この場合、上下対称性を評価するための鏡映変換行列Ｔ２は、Ｔ０と同一であり、右下４５度方向の軸を中心とする対称性を評価するための鏡映変換行列Ｔ３は、Ｔ１と同一である。

なお、輝度勾配ベクトルに基づく特徴量を用いた場合、数式（９）から数式（１２）で定義される評価関数は、全て、特徴量ベクトルのノルムに対して不変である。これは、画像の絶対的なコントラスト等に対して不変に対称性を評価できる利点がある。一方で、輝度勾配がほとんど存在しない領域、すなわち、各特徴量ベクトルがゼロベクトルに近い領域では、評価関数が不安定となる。このような事態に対応するため、領域内の輝度勾配強度の平均又は和が一定の閾値以下である矩形領域は、評価対象から排除するとよい。さらに、領域内の輝度勾配強度の平均又は和が小さいと評価関数の値が増大する補正項を加えることによって、より適切な着目部分領域を推定してもよい。

図６は、第１実施例の画像評価システムの物理的な構成を示すブロック図である。

本実施形態の画像評価システムは、プロセッサ（ＣＰＵ）１、メモリ２、補助記憶装置３、通信インターフェース４、入力インターフェース５及び出力インターフェース８を有する計算機によって構成される。

プロセッサ１は、メモリ２に格納されたプログラムを実行する。メモリ２は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサ１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置３は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置３は、プロセッサ１が実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置３から読み出されて、メモリ２にロードされて、プロセッサ１によって実行される。

通信インターフェース４は、所定のプロトコルに従って、他の装置（ファイルサーバやゲートウェイなど）との通信を制御するネットワークインターフェース装置である。

入力インターフェース５は、キーボード６やマウス７などが接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース８は、ディスプレイ装置９やプリンタなどが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。

プロセッサ１が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して画像評価システムに提供され、非一時的記憶媒体である不揮発性の補助記憶装置３に格納される。このため、画像評価システムは、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

画像評価システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

図７は、第１実施例の対称性評価処理のフローチャートである。

まず、プロセッサ１は、評価される画像の入力を受領する（７１１）。例えば、入力画像は、通信インターフェース４から入力されたり、図示を省略するデータ入出力ポート（例えば、ＵＳＢポート）から、オペレータの指示に従って入力されるとよい。

その後、入力された画像から部分領域を抽出し（７１２）、抽出した部分領域の変換前の特徴量を抽出する（７１３）。その後、抽出した部分領域の特徴量を鏡像変換し、鏡映変換後の特徴量を抽出する（７１４）。

その後、鏡像変換前の特徴量と、鏡映変換後の特徴量とを比較し、対称性を評価する（７１５）。

以上に説明したように、本発明の第１実施例によると、対象となる事物を事前に想定することなく、着目するべき部分領域を検出することができる。

＜実施例２＞
次に、第２実施例として、第１実施例の方法を画像検索サービスに適用したシステムについて説明する。

図８は、第２実施例の画像検索システムの構成を示す図である。

計算機システム５００は、検索サービスを提供する。検索サービスが提供する各種機能は、ネットワークシステム５１０を経由して、端末計算機５２０を用いるユーザに提供される。

計算機システム５００は、プロセッサ、メモリ及び通信インターフェースを有する一般的なサーバ装置によって構成することができる。計算機システム５００の物理的な構成は、図６に示す計算機と同じでよい。

計算機システム５００のメモリ２には、後述する画像登録部６１１、着目領域抽出部６１２、検索用特徴量抽出部６１３、クエリ画像解析部６３１、類似検索部６３２及び検索結果出力部６３４を実現するためのプログラムが格納される。

端末計算機５２０は、プロセッサ、メモリ及び通信インターフェースを有する一般的なパーソナルコンピュータやタブレット端末によって構成することができる。端末計算機５２０の物理的な構成は、図６に示す計算機と同じでよい。端末計算機５２０がユーザに提供する機能は、ｗｅｂブラウザで構成しても、専用アプリケーションで構成してもよい。

図９は、第２実施例の画像検索システムの論理的な構成を示す図である。

画像登録部６１１は、検索対象となる登録画像６１０を受領すると、画像データの保存先、表示用サムネール画像、及び画像に付随する各種書誌情報などをデータベース６２０に保存する。次に、着目領域抽出部６１２は、第１実施例の方法を適用して、登録画像から着目すべき矩形部分領域の集合を抽出する。その後、検索用特徴量抽出部６１３は、抽出された各矩形部分領域の画像特徴量を抽出する。抽出された画像特徴量は、登録画像と対応付けられてデータベース６２０に保存される。

検索時には、クエリ画像解析部６３１は、クエリ画像６３０が与えられると、検索用の画像特徴量を抽出する。その後、類似検索部６３２は、クエリ画像から抽出された画像特徴量と、データベース６２０に保存された矩形部分領域の画像特徴量との間で、ベクトル間距離に基づく類似検索処理を行い、クエリ画像と類似した矩形部分領域を検索結果として取得する。最後に、検索結果出力部６３４は、類似検索の結果、及びデータベース６２０に格納された各種情報を用いて、検索要求元に返信すべき情報を生成し、検索結果６４０として検索要求元に送信する。

検索用特徴量抽出部６１３及びクエリ画像解析部６３１が用いる画像特徴量は、色分布、輝度勾配ベクトルの分布などに基づいて算出する。具体的な画像特徴量は公知のものを用いることができる。また、これらの特徴量を用いた類似検索処理も公知のものを用いることができる。

次に、本実施例の方法が直接的に適用されている着目領域抽出部６１２の処理の詳細について説明する。

本発明の実施例のシステムの実装例として、図８及び図９に示す画像検索システムの他、例えば、画像登録部６１１、着目領域抽出部６１２及び検索用特徴量抽出部６１３を含み、オブジェクトを検出する画像解析装置６５０がある。

図１０は、着目領域抽出部６１２による処理のフローチャートである。

まず、登録画像６１０から、適切なスケールおよびアスペクトに変換した複数個の画像を生成する（７０１）。このアスペクト（画像の縦横比）は、ユーザが設定すればよい。また、探したい画像のアスペクトによって、アスペクト比を自動的に設定してもよい。さらに、探したい画像の種類によって、アスペクト比を自動的に設定してもよい。例えば、人の画像を探したい場合、縦長の画像を用いるとよい。

さらに、生成した複数個の画像を多重解像度化する（７０２）。その後、後述する走査処理によって、多重解像度化した複数個の画像から着目部分領域の候補となる矩形部分領域を生成し、生成された各部分領域の対称性を算出する（７０３）。このステップ７０３の処理は、前述した第１実施例の対称性評価処理（図７）である。

その後、走査処理によって生成される多数個の部分領域を、対称性の評価値に基づいてソートし、上位の一定の件数の部分領域を、着目すべき部分領域の候補として保持する（７０４）。次に、収束判定処理（７０５）によって着目すべく部分領域の絞り込みが完了したかを判定する。具体的には、着目領域が変動しない場合、又は、繰り返し回数が所定回数を越えた場合に収束したと判定する。

その後、着目すべく部分領域の絞り込みが完了していないと判定された後、後述する詳細化処理によって、その時点の着目領域候補から新たに部分領域を生成し、各部分領域の対称性を算出して、着目領域候補を追加する（７０６）。そして、ステップ７０４に戻り、再び対称性を評価することによって、詳細化処理によって生成された着目領域候補を絞り込む。

図１１は、着目領域抽出部処理（図１０）のステップ７０１〜７０３を説明する図である。

着目領域の抽出では、応用分野に応じて、画像中の部分領域の大きさを適切に見積もる必要がある。特に、必要以上に小さな領域を部分領域に設定すると、不必要な部分領域の抽出、すなわち、誤検出及び処理時間が増大し、運用上の問題の原因となる。例えば、本方式の対称性評価における１ブロックの大きさを８×８画素とすれば、部分領域の大きさは２４×２４画素となる。仮に、着目するべき部分領域が、画像の大きさの１０％程度までで十分とすれば、画像の大きさは、２４０×２４０画素程度で十分となる。

また、着目部分領域の形状は、必ずしも、正方形ではなく、横長又は縦長の矩形領域の抽出が必要な場合も多い。本実施例では、横長の矩形を抽出する必要がある場合は、元画像のアスペクトを縦長に変形して、正方格子状のブロック分割により対称性を評価する。このような処理によって生成された矩形領域を元の画像の座標系に戻せば、横長の矩形となる。同様に、縦長の矩形を抽出する必要がある場合は、元画像のアスペクトを横長に変形して処理を行う。

前述の二つの観点から行われる処理が図１１の登録画像８０１から画像８０３への変換である。

登録画像８０１から、適切なスケールに変換して、幅を半分に縮小した画像、アスペクト比を保持した画像、及び高さを半分に縮小した画像の、三つの画像８０２を生成する。さらに、多重解像度処理で、各画像を１／２ずつ２段階まで縮小した画像８０３を生成する。このようにして生成された九つの画像８０３に対して走査処理を行う（８１０）。走査処理８１０では、各画像内の窓を一定画素数ずつ平行に移動することによって、矩形領域を粗く生成する。

図１２は、着目領域抽出部処理（図１０）の詳細化処理（ステップ７０６）を説明する図である。

ある着目部分領域の候補に対して、微小に縦横に平行移動した矩形領域９１０、微小に拡大縮小を行った矩形領域９２０、及び、拡大縮小された矩形領域を更に縦横に平行移動した矩形領域を、新たな着目部分領域の候補として生成する。平行移動によって生成される矩形領域の数は、上下、左右及び斜めの移動で８パターンある。拡大縮小で生成される矩形領域は２パターンで、拡大及び縮小の矩形領域の平行移動で、拡大及び縮小のそれぞれについて８パターンの矩形領域が生成される。合わせて、一つの種となる矩形領域に対して、最大で２６パターンの新たな矩形領域が生成され、その対称性が評価される。

前述したように、詳細化処理７０６は繰り返し実行される。各繰り返し処理における各微小変動量は、次式によって定義することができる。

数式（２０）において、ｑは詳細化処理の繰り返しの回数、ｓｘ及びｓｙは走査処理７０３において平行移動を行った際の横方向及び縦方向それぞれのステップ幅、ｄｘ及びｄｙはｑ回目の詳細化処理における横方向及び縦方向それぞれの変動量である。一方、ｄｚはｑ回目の詳細化処理での拡大率であり、縮小する場合の縮小率は１／ｄｚである。数式（２０）から明らかなように、変動の大きさは、本処理の繰り返しの回数に応じて小さくなる。対象となる画像は離散的なデジタル画像であるから、本処理を十分に多い回数繰り返せば、微小変動によって新たな領域候補が生成されなくなる。少なくとも、新たな領域候補が生成されなくなれば、詳細化処理７０６は終了してもよい。

以上に説明したように、本発明の実施例によると、対象物によらず着目すべき部分領域を的確に検出することができる。

また、部分領域から抽出した特徴量と、特徴量を鏡映変換した後の鏡映特徴量と、特徴量の平均強度とを用いて部分領域の対称性を評価するので、部分領域を高精度で検出することができる。

また、部分領域を所定の大きさの矩形のブロックに分割し、各ブロックから特徴量を抽出して、各ブロックの特徴量を鏡映変換するので、簡単な演算で鏡映特徴量を計算することができる。

また、部分領域の位置及び大きさの少なくとも一方を変更した領域を生成し、部分領域の特徴量及び前記生成された領域の特徴量の対称性を評価するので、着目すべき部分が見切れることがない適切な部分領域を抽出することができる。このため、例えば、人の顔が見切れることがなく、部分領域の中心に顔があった方がよい顔認証への応用が容易になる。

また、入力された画像の種類によって特徴量として抽出される輝度勾配ベクトルの方向を分布させる範囲を変えるので、的確に特徴量を計算できる。

また、入力された画像を所定の縦横比に変換し、縦横比を変換された画像から部分領域を抽出するので、抽出される特徴量（輝度勾配ベクトル）の異方性がなくなり、正確に特徴量を計算できる。すなわち、長方形の部分領域を用いると輝度ベクトルのヒストグラムの偏りが生じることがあり、対称性を評価するためには部分領域は正方形が望ましい。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

５００ 計算機システム
５１０ ネットワーク
５２０ 端末計算機
６１０ 登録画像
６１１ 画像登録部
６１２ 着目領域抽出部
６１３ 検索用特徴量抽出部
６２０ データベース
６３０ クエリ画像
６３１ クエリ画像解析部
６３２ 類似検索部
６３４ 検索結果出力部
６４０ 検索結果

Claims (6)

1. プロセッサ及びメモリを有する計算機によって構成される画像解析装置が実行するオブジェクト検出方法であって、
   前記プロセッサが、画像の入力を受け、前記メモリに格納する第１ステップと、
   前記プロセッサが、前記入力された画像から、その一部である部分領域を抽出して、前記メモリに格納する第２ステップと、
   前記プロセッサが、前記部分領域から抽出した特徴量と、前記特徴量を鏡映変換した後の鏡映特徴量とを用いて、前記部分領域の対称性を評価する第３ステップと、
   前記プロセッサが、所定の閾値より前記対称性が高いと評価された部分領域を、検出対象が写っているオブジェクト領域であると判定する第４ステップと、を有し、
   前記第３ステップでは、
   前記入力された画像が２値画像である場合、前記特徴量として抽出される輝度勾配ベクトルの方向を０度から１８０度の範囲に分布させて処理し、
   前記入力された画像が２値画像でない場合、前記特徴量として抽出される輝度勾配ベクトルの方向を０度から３６０度の範囲に分布させて処理するオブジェクト検出方法。
2. 請求項１に記載のオブジェクト検出方法であって、
   前記第３ステップでは、前記部分領域から抽出した特徴量と、前記特徴量を鏡映変換した後の鏡映特徴量と、前記特徴量の平均強度とを用いて前記部分領域の対称性を評価するオブジェクト検出方法。
3. 請求項１に記載のオブジェクト検出方法であって、
   前記第３ステップでは、前記部分領域を所定の大きさの矩形のブロックに分割し、前記各ブロックから特徴量を抽出するオブジェクト検出方法。
4. 請求項１に記載のオブジェクト検出方法であって、
   前記第３ステップでは、前記部分領域の位置及び大きさの少なくとも一方を変更した領域を生成し、前記部分領域の特徴量の対称性及び前記生成された領域の特徴量の対称性を評価し、所定の閾値より前記対称性が高いと評価された領域を、検出対象が写っているオブジェクト領域であると判定するオブジェクト検出方法。
5. 請求項１に記載のオブジェクト検出方法であって、
   前記第２ステップでは、前記入力された画像を所定の縦横比に変換し、前記縦横比を変換された画像から部分領域を抽出するオブジェクト検出方法。
6. 登録画像を検索する画像検索システムであって、
   入力された登録画像について請求項１から５のいずれか一つに記載の方法によって判定されたオブジェクト領域の特徴量をデータベースに格納し、
   入力されたクエリ画像から抽出された特徴量と、前記登録画像の特徴量とを比較することによって、前記クエリ画像と類似する登録画像を検索する画像検索システム。