JP5894492B2 - 画像処理装置、画像検索装置及びプログラム - Google Patents

Description

本発明は、画像特徴を算出する画像処理装置、画像検索装置及びプログラムに関する。

従来、画像の特徴量を算出して、算出した特徴量を後段の処理で用いる技術がある。例えば、画像上における色や模様などの特徴の配置情報を保持し、その配置情報を用いて画像検索が行われる。

このとき、格子状に分割された画像の各ブロック領域から画像特徴量を計算し、位置が対応するブロック領域同士で画像特徴量を比較する手法がある（特許文献１、２）。しかし、ブロックを固定的に分割する手法の場合、被写体は同じだが位置や大きさが異なる２枚の画像の類似度が低くなってしまうケースが生じる。

図１は、ブロックを固定的に分割する場合の問題点を説明するための図である。図１に示す例では、中央部にりんごが撮影された画像ｉｍ１０２と、３枚の画像（第一の画像ｉｍ１１２、第二の画像ｉｍ１１４、第三の画像ｉｍ１１６）との類似度を算出する。

第一の画像ｉｍ１１２は、画像ｉｍ１０２と比較して、りんごの位置が移動している画像である。第二の画像ｉｍ１１４は、画像ｉｍ１０２と比較して、りんごが拡大されている画像である。第三の画像ｉｍ１１６は、中央部にレモンが撮影された画像である。

図１に示す例で、ブロックを固定的に分割し、ブロック領域同士で類似度を算出する場合、第三の画像ｉｍ１１６との類似度が最大となってしまう。この理由は、りんごの位置や大きさが異なる第一の画像ｉｍ１１２や第二の画像ｉｍ１１４では、類似度が小さくなり、第三の画像ｉｍ１１６では、背景部分での類似度が大きいため、結果的に類似度が大きくなってしまうからである。

上記問題を解決するため、動的網モデルＡｃｔｉｖｅ Ｎｅｔの変形を利用し、被写体と思われる領域の輪郭を追随してブロック領域を設定する手法がある（特許文献３）。

特開平１０−２６０９８３号公報 特開２００１−３１９２３２号公報 特開２００１−２４３２４９号公報

しかしながら、被写体と思われる領域の輪郭を追随する手法は、複数の画像に対して画像特徴量を算出する際に以下の問題が考えられる。
・Ａｃｔｉｖｅ Ｎｅｔの形状に拘束条件がある。
大きな被写体の位置ずれに対しては、それを追随したブロック設定を行うことは難しい。
・ブロック設定位置が、初期設定位置の近傍における局所的画像特徴の変化の大きい場所となる。
あくまで近傍における変化の大きい場所を設定するので、被写体の輪郭を捉えていない可能性がある。

よって、従来技術では、画像特徴量を算出する際に、被写体の輪郭を適切に捉えることができず、また、被写体の位置ずれが大きい場合には対応することができないという問題点があった。

そこで、本発明は、上記問題点に鑑みてなされたものであり、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる画像処理装置、画像検索装置、及びプログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、画像を複数のブロックに分割するブロック分割部と、前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する矩形設定部と、前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する初期配置部と、配置された各ブロックを移動し、前記ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する位置決定部と、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する特徴量算出部と、を備える。

また、前記位置決定部は、前記配置された各ブロックに対し、前記矩形領域の中心方向に局所探索処理を行い、前記分散値が最も小さくなる位置を決定してもよい。

また、前記初期配置部は、予め設定された中央領域に含まれる前記ブロックを中央ブロックとし、前記矩形領域を該中央ブロックの数の領域に分割し、分割された各領域の中心位置に、該領域に対応する前記中央ブロックの中心位置を配置してもよい。

また、前記複数のブロックに対して重み係数を算出する際、前記ブロックが前記中央ブロックである場合、前記顕著性マップが生成される際に求められた前記ブロック内の顕著性値を用いて前記重み係数を算出する重み係数算出部をさらに備えてもよい。

また、前記矩形設定部は、前記顕著性マップを生成する際に求められた顕著性値が所定値以上である画素を、所定個にクラスタリングし、各クラスタを含む最小矩形を前記矩形領域に設定してもよい。

また、上記の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出する類似度算出部と、前記類似度に基づいて画像検索を行う検索部と、を備える画像検索装置であってもよい。

また、上記の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出し、該類似度に前記重み係数により重み付けを行う類似度算出部と、前記類似度算出部により重み付けされた類似度に基づいて画像検索を行う検索部と、を備える画像検索装置であってもよい。

また、本発明の他の態様におけるプログラムは、コンピュータに、画像を複数のブロックに分割する分割ステップと、前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する設定ステップと、前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する配置ステップと、配置された各ブロックを移動し、前記ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する決定ステップと、位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する算出ステップと、を実行させる。

本発明によれば、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる。

ブロックを固定的に分割する場合の問題点を説明するための図。 実施例１における画像処理装置の概略構成の一例を示すブロック図。 実施例１における画像処理装置の機能の一例を示すブロック図。 ブロック分割の例を示す図。 図４に示す画像の顕著性マップを示す図。 外縁領域の一例を示す図。 要素矩形の例を示す図。 ラベル付け後の要素矩形の例を示す図。 被写体矩形領域の例を示す図。 中央領域の一例を示す図。 中央ブロックの一例を示す図。 中央ブロックの初期配置の例を示す図。 決定されたブロック位置の例を示す図。 実施例１における画像特徴量算出処理の一例を示すフローチャート。 実施例２における画像処理装置の機能の一例を示すブロック図。 実施例２における前処理の一例を示すフローチャート。 実施例２における検索処理の一例を示すフローチャート。 実施例２における重み付け類似度の算出処理の一例を示すフローチャート。

以下、添付図面を参照しながら各実施例について詳細に説明する。

［実施例１］
実施例１では、画像中央部のブロックを、その他のブロックとは独立して移動させることにより、被写体の位置ずれが大きい場合に対応できない問題を抑制する。また、実施例１では、ブロックの移動先となる被写体領域を求めるための情報として、画像全体における「目立つ領域」を表す「顕著性マップ」を用いることで、被写体の輪郭を捉えられないケースを減らす。

「顕著性マップ」については、「L.Itti,C.Koch, and E.Niebur,“A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”,IEEE Transactions on Pattern Analysis and Machine Intelligence,VOl.20,No11,November 1998.」や特許公表２００７−５１５００９を参照されたい。

＜構成＞
図２は、実施例１における画像処理装置１０の概略構成の一例を示すブロック図である。図２に示すように、画像処理装置１０は、制御部１０２、主記憶部１０４、補助記憶部１０６、ドライブ装置１０８、ネットワークＩ／Ｆ部１１０、入力部１１２、及び表示部１１４を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１０２は、主記憶部１０４又は補助記憶部１０６に記憶された画像特徴量算出処理のプログラムを実行する演算装置である。制御部１０２は、入力部１１２や記憶装置からデータを受け取り、演算、加工した上で、表示部１１４や記憶装置などに出力する。

主記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０４は、制御部１０２が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１０８は、記録媒体１１６、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

また、記録媒体１１６に、所定のプログラムを格納し、この記録媒体１１６に格納されたプログラムはドライブ装置１０８を介して画像処理装置１０にインストールされる。インストールされた所定のプログラムは、画像処理装置１０により実行可能となる。

ネットワークＩ／Ｆ部１１０は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された周辺機器と画像処理装置１０とのインターフェースである。

入力部１１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１１４の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部１１２は、ユーザが制御部１０２に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部１１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０２から入力される表示データに応じた表示が行われる。

＜機能＞
次に、実施例１における画像処理装置１０の機能について説明する。図３は、実施例１における画像処理装置１０の機能の一例を示すブロック図である。図２に示す画像処理装置１０は、画像特徴量算出部２０を少なくとも有する。画像特徴量算出部２０は、画像検索などの後段の画像処理に用いるための好適な画像特徴量を算出する。

画像特徴量算出部２０は、ブロック分割部２０２、矩形設定部２０４、初期配置部２０６、位置決定部２０８、重み係数算出部２１０、及び特徴量算出部２１２を少なくとも有する。

画像特徴量算出部２０は、例えば制御部１０２及びワークメモリとしての主記憶部１０４により実現されうる。

ブロック分割部２０２は、入力された画像を複数のブロックに分割する。ブロック分割部２０２は、例えば、画像を格子状にＭ×Ｎ個のブロックに分割する。ブロック分割部２０２は、分割した各ブロックの位置を初期配置部２０６に通知する。

矩形設定部２０４は、ブロック分割部２０２に入力された画像と同じ画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する。矩形設定部２０４は、顕著性マップ生成部２４２を有する。

顕著性マップ生成部２４２は、画像から公知の技術を用いて顕著性マップを生成する。顕著性マップとは、色、輝度、方向などを考慮し、画像中の物体領域について視覚的注意が導かれる領域を可視化したマップである。顕著性マップ生成部２４２は、例えば、入力画像を階層ガウシアン画像に展開し、階層間の差を取ることで周辺領域との違いの程度を算出する。以降では、周辺領域との違いの程度を、顕著性値ともいう。

矩形設定部２０４は、顕著性マップ生成部２４２により生成された顕著性マップを生成する際に求められた顕著性値が所定値以上である画素を、所定個にクラスタリングし、各クラスタを含む最小矩形を矩形領域に設定する。矩形領域の設定の詳細については後述する。矩形設定部２０４は、設定した矩形領域を初期配置部２０６に出力する。

初期配置部２０６は、設定された矩形領域を複数の領域に分割し、分割された各領域に対応するブロックを所定位置に配置する。所定位置は、例えばブロックに対する分割領域の中心位置である。この場合、初期配置部２０６は、分割された領域の中心位置に、この領域に対応するブロックの中心位置を配置する。

また、初期配置部２０６は、予め設定された中央領域を含むブロックを中央ブロックとし、矩形領域を、この中央ブロックの数の領域に分割する。中央ブロックを用いる理由は、中央領域には被写体が含まれている可能性が高いからである。

初期配置部２０６は、分割された各領域に対応する中央ブロックの中心位置を、領域の中心位置に配置してもよい。初期配置部２０６は、配置したブロックの位置を位置決定部２０８に出力する。

位置決定部２０８は、初期配置部２０６により配置された各ブロックを移動し、ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する。位置決定部２０８は、例えば、配置された各ブロックに対し、矩形領域の中心に向かって局所探索法を用いて輝度値の分散値が小さくなる位置を決定する。位置決定部２０８は、各ブロックの決定した位置を重み係数算出部２１０及び特徴量算出部２１２に出力する。

重み係数算出部２１０は、重み係数算出の対象ブロックが、中央ブロックであるか否かで重み係数の算出方法を変える。重み係数算出部２１０は、対象ブロックが中央ブロックである場合、顕著性マップが生成される際に求められたブロック内の顕著性値を用いて重み係数を算出する。

重み係数算出部２１０は、対象ブロックが中央ブロック以外のブロックである場合、重み係数を例えば１とする。重み係数の具体的な算出方法は後述する。重み係数算出部２１０は、各ブロックで算出した重み係数をリスト化し、このリストを重み係数リストとして保持する。なお、重み係数算出部２１０は、必ずしも必要な構成ではない。

特徴量算出部２１２は、位置決定部２０８により位置が決定された各ブロックを含む複数のブロックの画像特徴量を算出する。画像特徴量は、例えば、色特徴を示す値や、モノクロ特徴（テクスチャ特徴）を示す値や、色特徴とテクスチャ特徴との組み合わせを示す値のいずれかである。

色特徴を示す値としては、例えばＲＧＢ平均値ベクトル、又は色相ヒストグラムなどがある。モノクロ特徴を示す値としては、例えば平均輝度値、エッジ画像の輝度値の合計を示すエッジ量、又はエッジ方向ヒストグラムなどがある。色特徴とテクスチャ特徴とを組み合わせを示す値としては、ＲＧＢ平均値ベクトルとエッジ量の組み合わせ、又は色相ヒストグラムとエッジ方向ヒストグラムの組み合わせなどがある。

特徴量算出部２１２は、上記のいずれかの値を算出し、各ブロックの画像特徴量を連結した画像特徴ベクトルをリスト化し、このリストを画像特徴ベクトルリストとして保持する。

以上の機能構成を有することで、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる。なお、画像処理装置１０は、図示していないが、重み係数リストや画像特徴ベクトルリストを記憶する記憶部を有する。

＜各処理＞
次に、画像特徴量算出処理の各処理について具体的に説明する。

《ブロック分割処理》
ブロック分割部２０２は、入力された画像Ｉ＿ｄをＭ×Ｎのブロックに分割する。分割されたブロックをＢ（ｍ，ｎ）（ｍ＝０，１，２，・・・，Ｍ、ｎ＝０，１，２，・・・，Ｎ）とする。

図４は、ブロック分割の例を示す図である。図４に示す例では、飛行機が撮影された画像ｉｍ２０２と、蕾が撮影された画像ｉｍ２０４とに対し、ブロック分割が行われている。図４に示す例では、Ｍ＝Ｎ＝４である。

《顕著性マップ生成処理》
顕著性マップ生成部２４２は、入力された画像から顕著性マップを生成する。図５は、図４に示す画像の顕著性マップを示す図である。図５に示す画像ｉｍ３０２が、画像ｉｍ２０２の顕著性マップを表し、画像ｉｍ３０４が、画像ｉｍ２０４の顕著性マップを表す。図５に示す顕著性マップの各画素がその位置の「顕著性値」を表し、輝度の高さが顕著性値の大きさを表す。

《矩形領域の設定処理》
矩形設定部２０４は、生成された顕著性マップに対し、予め設定された外縁領域の顕著性値の平均値Ｋ＿１を求める。図６は、外縁領域の一例を示す図である。図６に示す第一の領域ａｒ１０２が外縁領域であり、第二の領域ａｒ１０４が、被写体が存在する可能性が高い領域である。第二の領域を被写体存在領域とも呼ぶ。

図６に示す外縁領域ａｒ１０２は、顕著性マップの幅Ｗに対して、両端からＷ／８の領域、及び、顕著性マップの高さＨに対して、両端からＨ／８の領域とする。図６に示す外縁領域はあくまでも一例であり、実験などにより適切な領域が設定されればよい。

矩形設定部２０４は、被写体存在領域ａｒ１０４内の画素のうち、以下の式（１）を満たす画素を求める。
顕著性値≧Ｋ＿１＋α ・・・式（１）
α：オフセット値
矩形設定部２０４は、求めた画素を、Ｐ＿１，Ｐ＿２，・・・，Ｐ＿ｈと設定する。画素Ｐ＿１，Ｐ＿２，・・・，Ｐ＿ｈは、まとめて画素Ｐと表記する。

矩形設定部２０４は、求めた画素Ｐを、各画素の座標位置に基づいて所定個Ｌにクラスタリングする。所定個Ｌは、設定変更可能であり、適切な値が設定されればよい。クラスタリング結果の各クラスタは、Ｃ＿１，Ｃ＿２，・・・，Ｃ＿Ｌと設定される。

矩形設定部２０４は、各クラスタＣ＿ｉ（ｉ＝１，２，・・・，Ｌ）に属する全ての画素を外接して囲むことができる最小の矩形を求め、その矩形をＲ＿ｉとする。

矩形設定部２０４は、各矩形Ｒ＿ｉについて、顕著性マップ上における矩形内の顕著性値の平均値を求め、次の式（２）を満たす場合、矩形Ｒ＿ｉを削除する。
矩形Ｒ＿ｉの顕著性値の平均値＜Ｋ＿１＋β ・・・式（２）
β：オフセット値
矩形設定部２０４は、削除されずに残った矩形をＲ’＿１，Ｒ’＿２，・・・，Ｒ’＿Ｌ’とする。以降では、残った矩形を要素矩形とも呼ぶ。

図７は、要素矩形の例を示す図である。図７に示す例では、画像ｉｍ３０２には、要素矩形Ｒ’＿１〜Ｒ’＿４の４個の要素矩形があり、画像ｉｍ３０４には、要素矩形Ｒ’＿１〜Ｒ’＿６の６個の要素矩形がある。

矩形設定部２０４は、要素矩形に対し、最も近接した要素矩形の辺同士の距離が閾値ｄ＿ｔｈ以下であれば、その近接した要素矩形に同じ数値ラベルを付与する。このとき、付与された数値ラベルを１，２，・・・，Ｊ＿ｄとする。閾値ｄ＿ｔｈは、予め設定される所定値であり、実験などにより適切な値が設定される。

図８は、ラベル付け後の要素矩形の例を示す図である。図８に示す画像ｉｍ３０２では、Ｊ＿ｄ＝１であり、全ての要素矩形に同じラベルが付与される。図８に示す画像ｉｍ３０４では、Ｊ＿ｄ＝２であり、要素矩形が２つに分けられる。

矩形設定部２０４は、同じラベルの要素矩形を全て包含する最小の矩形領域ｊを設定する。以降では、この矩形領域ｊを被写体矩形領域ｊとも呼ぶ。

図９は、被写体矩形領域の例を示す図である。図９に示す画像ｉｍ３０２では、ラベル１の要素矩形を全て含む被写体矩形領域ａｒ３０２が設定される。図９に示す画像ｉｍ３０４では、ラベル１の要素矩形全てを含む被写体矩形領域ａｒ３０４が設定され、ラベル２の要素矩形全てを含む被写体矩形領域ａｒ３０６が設定される。被写体矩形領域の数は、ラベルの最大値と同じである。

《初期配置処理》
初期配置部２０６は、分割されたブロックＢ（ｍ，ｎ）のうち、中央領域に含まれるブロックを、Ｂ＿ｃ（ｍ’，ｎ’）（ｍ’＝１，・・・，Ｍ’、ｎ’＝１，・・・，Ｎ’）と設定する。以降では、Ｂ＿ｃ（ｍ’，ｎ’）を中央ブロックとも呼ぶ。

図１０は、中央領域の一例を示す図である。図１０に示す中央領域は、画像の幅Ｗに対して、両端からＷ／４の領域、及び、画像の高さＨに対して、両端からＨ／４の領域とする。なお、図１０に示す中央領域の例は一例であり、ブロック分割の数に応じて設定されてもよい。

図１１は、中央ブロックの一例を示す図である。図１１に示す例では、図４に示す画像ｉｍ２０２の各ブロックに対し、図１０に示す中央領域に含まれる中央ブロックＢ＿ｃ（ｍ’，ｎ’）を表す。

図１１に示す例では、ｍ’＝ｎ’＝２である。図１１に示す例では、中央ブロックにつて、Ｂ＿ｃ（ｍ’，ｎ’）＝Ｂ（ｍ’＋１，ｎ’＋１）が成り立つ。

初期配置部２０６は、被写体矩形領域を格子状にｍ’×ｎ’個の領域ｒ（ｍ’，ｎ’）に分割する。初期配置部２０６は、領域ｒ（ｍ’，ｎ’）の中心に、Ｂ＿ｃ（ｍ’，ｎ’）の中心がくるようにＢ＿ｃ（ｍ’，ｎ’）を配置する。

図１２は、中央ブロックの初期配置の例を示す図である。図１２に示す各画像の各被写体矩形領域内の点は、分割された領域ｒ（ｍ’，ｎ’）の中心位置を示す。図１２に示すように、中央ブロックＢ＿ｃ（ｍ’，ｎ’）の中心位置が、対応する領域ｒ（ｍ’，ｎ’）の中心位置にくるように、初期配置部２０６により移動される。

《位置決定処理》
位置決定部２０８は、初期配置された各中央ブロックＢ＿ｃ（ｍ’，ｎ’）について、被写体矩形領域ｊの中心に近づく方向の近傍を探索し、中央ブロック内の輝度値の分散値が低い方向に位置をずらす。位置決定部２０８は、現在の位置よりも輝度値の分散値が低い位置がない場合は探索を終了する。

位置決定部２０８は、位置が決定した各中央ブロックを含む全ブロックの位置を決定する。中央ブロック以外のブロックは、元のブロック位置に決定される。

図１３は、決定されたブロック位置の例を示す図である。図１３に示すように、被写体部分のブロックは、被写体に追随している。これにより、比較的大きな位置ずれにも対応することができる。

《重み係数算出処理》
重み係数算出部２１０は、各ブロックＢ（ｍ，ｎ）について、後段の処理の画像検索で使用する重み係数ｗ（ｍ，ｎ）を次の式により算出する。
（１）Ｂ（ｍ，ｎ）が中央ブロックである場合
ｗ’＝（ブロック領域内の顕著性の平均値）／（Ｋ＿１＋γ）
ｗ’＜１．０の場合 ｗ（ｍ，ｎ）＝１．０
そうでない場合 ｗ（ｍ，ｎ）＝ｗ’
γ：オフセット値
（２）Ｂ（ｍ，ｎ）が中央ブロックでない場合
ｗ（ｍ，ｎ）＝１．０
重み係数算出部２１０は、重み係数ｗ（ｍ，ｎ）を並べたベクトル［ｗ（１，１），ｗ（２，１），…，ｗ（Ｍ，Ｎ）］を重み係数ベクトルＷ＿ｄ（ｊ）とし、重み係数ベクトルリストＷＬ＿ｄに追加する。

《特徴量算出処理》
特徴量算出部２１２は、各ブロックＢ（ｍ，ｎ）について、ブロック領域内の画像特徴ベクトルｖ（ｍ，ｎ）を計算する。ｖ（ｍ，ｎ）の例としては、上記で説明したいずれかの特徴である。画像特徴ベクトルとしては、例えば色特徴や、モノクロ特徴（テクスチャ特徴）や、色特徴とテクスチャ特徴との組み合わせを用いることができる。

特徴量算出部２１２は、全ての画像特徴ベクトルｖ（ｍ，ｎ）を連結したベクトル［ｖ（１，１），ｖ（２，１），…，ｖ（Ｍ，Ｎ）］を入力画像Ｉ＿ｄの画像特徴ベクトルＶ＿ｄ（ｊ）とし、画像特徴ベクトルリストＶＬ＿ｄに追加する。

これにより、画像特徴量算出部２０は、各入力画像Ｉ＿ｄに対して、画像特徴ベクトルリストＶＬ＿ｄ、及び重み係数ベクトルリストＷＬ＿ｄを算出することができる。

＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図１４は、実施例１における画像特徴量算出処理の一例を示すフローチャートである。図１４に示す処理は、１つの画像に対して行われる処理である。

ステップＳ１０１で、ブロック分割部２０２は、入力画像Ｉ＿ｄを複数のブロックに分割する。分割されたブロックはＢ（ｍ，ｎ）と表記する。

ステップＳ１０２で、顕著性マップ生成部２４２は、入力画像Ｉ＿ｄから公知の技術を用いて顕著性マップを生成する。

ステップＳ１０３で、矩形設定部２０４は、顕著性マップを用いて被写体を含む矩形領域を設定する。矩形領域の設定については上述した通りである。設定した矩形領域の数は、Ｊ＿ｄ（≧１）で表される。被写体がない場合は、Ｊ＿ｄは０である。

ステップＳ１０４で、画像特徴量算出部２０は、矩形領域の数を表す変数ｊに１を設定し、画像特徴ベクトルリストＶＬを空集合にし、重み係数ベクトルリストＷＬを空集合にする。

ステップＳ１０５で、初期配置部２０６は、矩形領域ｊを、例えば中央ブロックの数（Ｍ’×Ｎ’）になるように格子状に分割する。分割された領域はｒ（ｍ’，ｎ’）と表記する。

ステップＳ１０６で、初期配置部２０６は、各中央ブロックＢ＿ｃ（ｍ’，ｎ’）の中心位置が、対応する領域ｒ（ｍ’，ｎ’）の中心位置にくるように各中央ブロックを配置する。

ステップＳ１０７で、位置決定部２０８は、各中央ブロックＢ＿ｃ（ｍ’，ｎ’）について、矩形領域ｊの中心に近づく方向に、例えば局所探索法を用いて輝度値の分散値が小さくなる方向に位置をずらす。位置決定部２０８は、現在の位置より輝度値の分散値が小さくならなければ探索を終了する。

ステップＳ１０８で、重み係数算出部２１０は、各ブロックＢ（ｍ，ｎ）について重み係数ｗ（ｍ，ｎ）を算出する。重み係数算出部２１０は、重み係数を並べたベクトルを重み係数ベクトルＷ＿ｄ（ｊ）とし、リストＷＬ＿ｄに追加する。

ステップＳ１０９で、特徴量算出部２１２は、各ブロックＢ（ｍ，ｎ）について画像特徴量を算出する。画像特徴量として例えば画像特徴ベクトルｖ（ｍ，ｎ）を算出する。特徴量算出部２１２は、全てのｖ（ｍ，ｎ）を連結したベクトルを入力画像Ｉ＿ｄの画像特徴ベクトルＶ＿ｄ（ｊ）とし、リストＶＬ＿ｄに追加する。

ステップＳ１１０で、画像特徴量算出部２０は、ｊに１を加算する。ステップＳ１１１で、画像特徴量算出部２０は、ｊ＞Ｊ＿ｄであるか否かを判定する。ｊ＞Ｊ＿ｄであれば（ステップＳ１１０−ＹＥＳ）算出処理を終了し、ｊ＞Ｊ＿ｄでなければ（ステップＳ１１０−ＮＯ）ステップＳ１０５に戻り、他の矩形領域で画像特徴を算出する。

なお、ステップＳ１０３の処理で、矩形領域が設定されなければ、この算出処理を終了するようにしておけばよい。ステップＳ１０１の処理と、ステップＳ１０２〜Ｓ１０３の処理は、順不同である。

以上、実施例１によれば、画像特徴量を算出する際、被写体の輪郭を適切に捉えつつ、被写体の位置ずれが大きい場合にも対応することができる
［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、実施例１で求められた画像特徴量を用いて画像検索を行う。これにより、被写体の位置ずれが大きい場合や、被写体が拡縮されている場合でも、適切に画像検索を行うことができるようになる。実施例２における画像処理装置は、画像検索装置として機能する。

＜構成＞
実施例２における画像処理装置の構成は、図２に示す構成と同様であるため、同じ符号を用いて説明する。

＜機能＞
図１５は、実施例２における画像処理装置１０の機能の一例を示すブロック図である。図１５に示す画像処理装置１０は、対象画像記憶部３０２、前処理部３０４、リスト記憶部３０６、及び検索処理部３０８を少なくとも有する。

前処理部３０４及び検索処理部３０８は、例えば制御部１０２及びワークメモリとしての主記憶部１０４により実現されうる。対象画像記憶部３０２及びリスト記憶部３０６は、例えば補助記憶部１０６や主記憶部１０４などにより実現されうる。

対象画像記憶部３０２は、複数の検索対象画像を記憶する。検索対象画像をＩ＿１，Ｉ＿２，・・・，Ｉ＿Ｄ（Ｄ：検索対象画像の数）とする。

前処理部３０４は、対象画像記憶部３０２に記憶される各検索対象画像から、実施例１で説明した画像特徴量を求める。前処理部３０４は、実施例１の画像特徴量算出部２０を有する。前処理部３０４は、画像Ｉ＿ｄに対し、画像特徴ベクトルリストＶＬ＿ｄ＝＝｛Ｖ＿ｄ（１），・・・，Ｖ＿ｄ（Ｊ＿ｄ）｝を算出する。「Ｊ＿ｄ」は、画像Ｉ＿ｄの被写体矩形領域の数である。

リスト記憶部３０６は、前処理部３０４で算出された各画像の画像特徴ベクトルリストＶＬ＿ｄを記憶する。

検索処理部３０８は、検索を要求された画像Ｉ＿Ｑ（以下、要求画像とも呼ぶ）が入力され、要求画像の画像特徴量を算出し、検索対象画像との類似度を算出し、検索結果を出力する。検索処理部３０８は、画像特徴量算出部２０、類似度算出部３８２、及び検索部３８４を有する。

画像特徴量算出部２０は、実施例１と同様にして、要求画像に対して画像特徴量を算出する。算出した画像特徴量は、類似度算出部３８２に出力される。

類似度算出部３８２は、要求画像Ｉ＿Ｑの画像特徴ベクトルリストＶＬ＿Ｑと、リスト記憶部３０６に記憶されている画像特徴ベクトルリストＶＬ＿ｄとの類似度を算出する。また、類似度算出部３８２は、算出したブロック毎の類似度に、実施例１で算出された重み係数を用いて重み付けしてもよい。類似度算出部３８２は、算出された各類似度を検索部３８４に出力する。

検索部３８４は、類似度算出部３８２から取得した類似度、又は重み付けされた類似度に基づいて画像検索を行う。例えば、検索部３８４は、類似度が高い上位Ｒ枚の検索対象画像を対象画像記憶部３０２から取得し、このＲ枚の検索対象画像を検索結果とする。

また、検索部３８４は、上位Ｒ枚の検索対象画像に類似度の高い順に順位をつけて表示したり、類似度が所定値以上の検索対象画像を検索結果としたりしてもよい。

＜各処理＞
次に、検索処理の各処理について具体的に説明する。

《類似度算出処理》
類似度算出部３８２は、要求画像Ｉ＿Ｑの画像特徴ベクトルリストＶＬ＿Ｑのｊ番目の画像特徴ベクトルＶ＿Ｑ（ｊ）と、検索対象画像Ｉ＿ｄの画像特徴ベクトルリストＶＬ＿ｄのｊ’番目の画像特徴ベクトルＶ＿ｄ（ｊ’）との類似度を求める。
Ｖ＿Ｑ（ｊ）＝［ｖ＿ｑ（１，１），ｖ＿ｑ（２，１），…，ｖ＿ｄ（Ｍ，Ｎ）］
Ｖ＿ｄ（ｊ’）＝［ｖ＿ｄ（１，１），ｖ＿ｄ（２，１），…，ｖ＿ｄ（Ｍ，Ｎ）］
類似度算出部３８２は、全てのｍ，ｎ（ｍ＝１，…，Ｍ，ｎ＝１，…，Ｎ）について、ｖ＿ｑ（ｍ，ｎ）とｖ＿ｄ（ｍ，ｎ）の類似度ｓ（ｍ，ｎ）を計算する。この類似度は、ベクトル同士の内積など、０〜１の範囲の値をとる一般的なものである。類似度は、値が大きいほど類似性が高い。

類似度算出部３８２は、類似度ｓ（ｍ，ｎ）に対して重み係数を用いて重み付けを行い、重み付けした類似度Ｓ（ｊ，ｄ，ｊ’）を、以下の式により算出する。

ここで、ｗ（ｍ，ｎ）は、Ｉ＿Ｑのブロック重み係数リストＷＬ＿Ｑ＝｛Ｗ＿Ｑ（１），…，Ｗ＿Ｑ（Ｊ＿Ｑ）｝のｊ番目のベクトル
Ｗ＿Ｑ（ｊ）＝［ｗ（１，１），ｗ（２，１），…，ｗ（Ｍ，Ｎ）］
のｎ×Ｍ＋ｍ番目の要素（ブロック領域Ｂ（ｍ，ｎ）の重み係数）である。

類似度算出部３８２は、算出されたＳ（ｊ，ｄ，ｊ’）（ｊ＝１，・・・，Ｊ＿Ｑ、ｊ’＝１，・・・，Ｊ＿ｄ）の中の最大値をＳ’（ｄ）とする。類似度算出部３８２は、算出したＳ’（ｄ）を検索部３８４に出力する。

《検索処理》
検索部３８４は、全ての検索対象画像の類似度Ｓ’（ｄ）を取得すると、類似度Ｓ’（ｄ）の高い上位Ｒ枚の検索対象画像Ｉ＿ｄ_１，Ｉ＿ｄ_２，・・・，Ｉ＿ｄ_Ｒを検索結果として出力する。

これにより、色や模様の配置などの画像全体の類似性を保持しながら、被写体の位置ずれや大きさの違いによる類似度の低下を抑制した画像検索を行うことができる。

＜動作＞
次に、実施例２における画像処理装置１０の動作について説明する。図１６は、実施例２における前処理の一例を示すフローチャートである。図１６に示すステップＳ２０１で、前処理部３０４は、検索対象画像数の変数を表すｄに１を代入する。

ステップＳ２０２で、前処理部３０４は、画像Ｉ＿ｄに対し、画像特徴ベクトルリストＶＬ＿ｄ＝＝｛Ｖ＿ｄ（１），・・・，Ｖ＿ｄ（Ｊ＿ｄ）｝を算出する。

ステップＳ２０３で、前処理部３０４は、ｄに１を加算する。ステップＳ２０４で、前処理部３０４は、ｄ＞Ｄ（Ｄ：検索対象画像の数）であるかを判定する。ｄ＞Ｄであれば（ステップＳ２０４−ＹＥＳ）前処理を終了し、ｄ＞Ｄでなければ（ステップＳ２０４−ＮＯ）ステップＳ２０２に戻る。これにより、検索対象画像全てで、画像特徴ベクトルリストが生成される。

図１７は、実施例２における検索処理の一例を示すフローチャートである。図１７に示すステップＳ３０１で、画像特徴量算出部２０は、要求画像Ｉ＿Ｑを入力する。

ステップＳ３０２で、画像特徴量算出部２０は、要求画像Ｉ＿Ｑから、画像特徴ベクトルリストＶＬ＿Ｑ及び重み係数リストＷＬ＿Ｑを算出する。

ステップＳ３０３で、類似度算出部３８２は、ｄに１を代入する。ステップＳ３０４で、類似度算出部３８２は、要求画像Ｉ＿Ｑの被写体矩形領域の数を表す変数ｊに１を代入する。ステップＳ３０５で、類似度算出部３８２は、検索対象画像Ｉ＿ｄの被写体領域矩形の数を表す変数ｊ’に１を代入する。

ステップＳ３０６で、類似度算出部３８２は、Ｖ＿Ｑ（ｊ）とＶ＿ｄ（ｊ’）との類似度Ｓ（ｊ、ｄ、ｊ’）を算出する。この算出処理は、図１８を用いて説明する。

ステップＳ３０７で、類似度算出部３８２は、ｊ’に１を加算する。ステップＳ３０８で、類似度算出部３８２は、ｊ’＞Ｊ＿ｄ（Ｊ＿ｄ：画像Ｉ＿ｄの被写体矩形領域の数）であるかを判定する。ｊ’＞Ｊ＿ｄであれば（ステップＳ３０８−ＹＥＳ）ステップＳ３０９に進み、ｊ’＞Ｊ＿ｄでなければ（ステップＳ３０８−ＮＯ）ステップＳ３０６に戻る。

ステップＳ３０９で、類似度算出部３８２は、ｊに１を加算する。ステップＳ３１０で、類似度算出部３８２は、ｊ＞Ｊ＿Ｑ（Ｊ＿Ｑ：画像Ｉ＿Ｑの被写体矩形領域の数）であるかを判定する。ｊ＞Ｊ＿Ｑであれば（ステップＳ３１０−ＹＥＳ）ステップＳ３１１に進み、ｊ＞Ｊ＿Ｑでなければ（ステップＳ３１０−ＮＯ）ステップＳ３０５に戻る。

ステップＳ３１１で、類似度算出部３８２は、Ｓ（ｊ、ｄ、ｊ’）の最大値をＳ’（ｄ）に設定する。これにより、検索対象画像Ｉ＿ｄに対応する類似度は、Ｓ’（ｄ）に設定される。

ステップＳ３１２で、類似度算出部３８２は、ｄに１を加算する。ステップＳ３１３で、ｄ＞Ｄであるかを判定する。ｄ＞Ｄであれば（ステップＳ３１３−ＹＥＳ）ステップＳ３１４に進み、ｄ＞Ｄでなければ（ステップＳ３１３−ＮＯ）ステップＳ３０４に戻る。

ステップＳ３１４で、検索部３８４は、類似度Ｓ’（ｄ）が高い上位Ｒ枚の検索対象画像Ｉ＿ｄ_１，Ｉ＿ｄ_２，・・・，Ｉ＿ｄ_Ｒを検索結果として表示部１１４などに出力する。

図１８は、実施例２における重み付け類似度の算出処理の一例を示すフローチャートである。図１８に示すステップＳ４０１で、類似度算出部３８２は、ｍに１を代入する。ステップＳ４０２で、類似度算出部３８２は、ｎに１を代入する。

ステップＳ４０３で、類似度算出部３８２は、ｖ＿ｑ（ｍ，ｎ）とｖ＿ｄ（ｍ，ｎ）との類似度ｓ（ｍ，ｎ）を算出する。

ステップＳ４０４で、類似度算出部３８２は、ｎに１を加算する。ステップＳ４０５で、類似度算出部３８２は、ｎ＞Ｎであるかを判定する。ｎ＞Ｎであれば（ステップＳ４０５−ＹＥＳ）ステップＳ４０６に進み、ｎ＞Ｎでなければ（ステップＳ４０５−ＮＯ）ステップＳ４０３に戻る。

ステップＳ４０６で、類似度算出部３８２は、ｍに１を加算する。ステップＳ４０７で、類似度算出部３８２は、ｍ＞Ｍであるかを判定する。ｍ＞Ｍであれば（ステップＳ４０７−ＹＥＳ）ステップＳ４０８に進み、ｍ＞Ｍでなければ（ステップＳ４０７―ＮＯ）ステップＳ４０２に戻る。

ステップＳ４０８で、類似度算出部３８２は、式（３）を用いて類似度Ｓ（ｊ、ｄ、ｊ’）を算出する。

以上、実施例２によれば、色や模様の配置などの画像全体の類似性を保持しながら、被写体の位置ずれや大きさの違いによる類似度の低下を抑制した画像検索を行うことができる。

なお、実施例２では、実施例１で求めた画像特徴量を画像検索に用いる場合について説明したが、この画像特徴量を大量画像の分類処理などにも適用することができる。また、実施例２における対象画像記憶部３０２、前処理部３０４、及びリスト記憶部３０６と、検索処理部３０８とは、別々の装置に設けられてもよい。

なお、上記の画像処理装置１０で実行されるプログラムは、実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部１０２が補助記憶部１０６からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部１０４上にロードされ、１又は複数の各部が主記憶部１０４上に生成されるようになっている。

また、上述した実施例で説明した画像特徴量算出処理又は検索処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像特徴量算出処理又は検索処理を実現することができる。

また、このプログラムを記録媒体１１６に記録し、このプログラムが記録された記録媒体１１６をコンピュータや携帯端末に読み取らせて、前述した処理を実現させることも可能である。

なお、記録媒体１１６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施例以外にも種々の変形及び変更が可能である。

１０ 画像処理装置
２０ 画像特徴量算出部
１０２ 制御部
１０４ 主記憶部
１０６ 補助記憶部
２０２ ブロック分割部
２０４ 矩形設定部
２０６ 初期配置部
２０８ 位置決定部
２１０ 重み係数算出部
２１２ 特徴量算出部
２４２ 顕著性マップ生成部
３０２ 対象画像記憶部
３０４ 前処理部
３０６ リスト記憶部
３０８ 検索処理部
３８２ 類似度算出部
３８４ 検索部

Claims (8)

1. 画像を複数のブロックに分割するブロック分割部と、
   前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する矩形設定部と、
   前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する初期配置部と、
   配置された各ブロックを移動し、前記ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する位置決定部と、
   位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する特徴量算出部と、
   を備える画像処理装置。
2. 前記位置決定部は、
   前記配置された各ブロックに対し、前記矩形領域の中心方向に局所探索処理を行い、前記分散値が最も小さくなる位置を決定する請求項１記載の画像処理装置。
3. 前記初期配置部は、
   予め設定された中央領域に含まれる前記ブロックを中央ブロックとし、前記矩形領域を該中央ブロックの数の領域に分割し、分割された各領域の中心位置に、該領域に対応する前記中央ブロックの中心位置を配置する請求項１又は２記載の画像処理装置。
4. 前記複数のブロックに対して重み係数を算出する際、前記ブロックが前記中央ブロックである場合、前記顕著性マップが生成される際に求められた前記ブロック内の顕著性値を用いて前記重み係数を算出する重み係数算出部をさらに備える請求項３記載の画像処理装置。
5. 前記矩形設定部は、
   前記顕著性マップを生成する際に求められた顕著性値が所定値以上である画素を、所定個にクラスタリングし、各クラスタを含む最小矩形を前記矩形領域に設定する請求項１乃至４いずれか一項に記載の画像処理装置。
6. 請求項１乃至５いずれか一項に記載の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出する類似度算出部と、
   前記類似度に基づいて画像検索を行う検索部と、
   を備える画像検索装置。
7. 請求項４に記載の画像処理装置により複数の検索対象画像から算出された前記画像特徴量毎に、検索を要求された画像の前記画像特徴量との類似度を算出し、該類似度に前記重み係数により重み付けを行う類似度算出部と、
   前記類似度算出部により重み付けされた類似度に基づいて画像検索を行う検索部と、
   を備える画像検索装置。
8. コンピュータに、
   画像を複数のブロックに分割する分割ステップと、
   前記画像から生成した顕著性マップに基づいて、被写体を含む矩形領域を設定する設定ステップと、
   前記矩形領域を複数の領域に分割し、分割された各領域に対応する前記ブロックを所定位置に配置する配置ステップと、
   配置された各ブロックを移動し、前記ブロック内の輝度値の分散値が局所的に小さくなる位置を決定する決定ステップと、
   位置が決定された各ブロックを含む前記複数のブロックの画像特徴量を算出する算出ステップと、
   を実行させるためのプログラム。