JP5520198B2

JP5520198B2 - 画像切出装置及びプログラム

Info

Publication number: JP5520198B2
Application number: JP2010264822A
Authority: JP
Inventors: 貴裕望月; 真人藤井
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-11-29
Filing date: 2010-11-29
Publication date: 2014-06-11
Anticipated expiration: 2030-11-29
Also published as: JP2012118578A

Description

本発明は、画像検索等の画像処理分野において好適に用いることができる画像切出装置及びプログラムに関し、特に、画像検索のための画像（質問画像）を描画する際に用いるブロック領域画像の切り出し技術に関する。

従来、画像全体の類似性に基づいて画像検索を行う画像検索技術の開発が進められている。この画像検索技術においては、ユーザにより作成された質問画像に類似する画像を、複数の検索対象画像から検索する場合に、ユーザは、自らの意図が反映された質問画像を、如何にして効率良く作成するかが重要になっている。

例えば、複数の検索対象画像のそれぞれをブロック領域画像に分割し、分割した全てのブロック領域画像から代表ブロック領域画像を抽出し、ユーザの操作に従って、代表ブロック領域画像を用いて質問画像を描画し、質問画像に類似する画像の検索を行う画像検索装置が知られている（特許文献１を参照）。

図１１は、特許文献１の画像検索装置において、従来の画像切出処理を説明する図である。この従来の画像検索装置は、検索対象画像の集合のそれぞれを、予め設定されたＭ×Ｎ個の領域にブロック分割し、分割した領域をブロック領域画像として切り出す。Ｍは、画像検索画像を横に区切った数を示し、Ｎは、画像検索画像を縦に区切った数を示す。そして、画像検索装置は、切り出した全てのブロック領域画像を対象にして特徴ベクトルを生成し、特徴ベクトルに基づいて、ブロック領域画像をカテゴリ及びクラス分けし、代表的なブロック領域画像のみを代表ブロック領域画像として抽出する処理（代表ブロック領域画像抽出処理）を行う。そして、画像検索装置は、所定数のブロック領域画像を代表ブロック領域画像として抽出し、画面の右中央部に一覧表示する。これにより、ユーザは、画面に表示された所定数の代表ブロック領域画像の一覧から所望の画像を指定し、質問画像のブロックに割り当てる操作を行うことで、そのブロックを所望の代表ブロック領域画像で描画した質問画像を作成することができる。また、ユーザは、画面右下部のカラー一覧から所望の色を指定し、質問画像のブロックに割り当てる操作を行うことで、そのブロックを所望の色で描画した質問画像を作成することができる。

特開２００２−１４０３３１号公報

図１１を用いて説明したように、従来の画像検索装置では、質問画像を描画する際にユーザにより指定される代表ブロック領域画像の一覧は、検索対象画像の集合から切り出した全てのブロック領域画像を対象にして、ブロック領域画像の特徴ベクトルに基づいて、カテゴリ及びクラス分けすることにより抽出される。したがって、代表ブロック領域画像の一覧には、ユーザが質問画像を作成する際に不適な画像も含まれてしまう。

図１２は、代表ブロック領域画像として不適な例を説明する図である。この代表ブロック領域画像は、画像内部に、輪郭、地平線等を含んでいる。このような代表ブロック領域画像が不適であるのは、ユーザが複数の代表ブロック領域画像を指定し、これらに組み合わせて質問画像を作成する際に、あるブロックに割り当てた代表ブロック領域画像における輪郭等と、隣接する他のブロックに割り当てた代表ブロック領域画像における輪郭等とを合わせることが困難になるからである。つまり、このような代表ブロック領域画像を、隣接したブロックにそれぞれ割り当てたときに、輪郭等が繋がっていない質問画像が作成され、ユーザにとって意図しない質問画像になってしまうからである。

また、代表ブロック領域画像としては、単色の画像は不適である。これは、図１１に示したように、ユーザが画面内のカラー一覧から所望の色を指定し、ブロックに割り当てる操作を行うことで、そのブロックを所望の色で描画した質問画像を作成することができるからである。つまり、画像検索装置は単色を描画する機能を有するのが通常であるから、単色の画像のみからなるブロック領域画像を代表ブロック領域画像に加える必要がないからである。

このように、従来の画像検索装置では、代表ブロック領域画像が、全てのブロック領域画像を対象にして抽出されるから、結果として、不適な画像も含まれてしまうという問題があった。このため、ユーザは、図１２に示した不適な代表ブロック領域画像を用いた場合には、自らの意図が反映された質問画像を作成することが困難になる。また、代表ブロック領域画像に単色の画像が含まれる場合には、その代表ブロック領域画像を指定する操作の代わりに、カラー一覧から所望の色を指定する操作を用いることができるから、単色のブロック領域画像を代表ブロック領域画像に含める必要がなく、しかも、ユーザにより実質的に指定可能な代表ブロック領域画像の数が少なくなってしまうから、ユーザの操作性が悪くなってしまう。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ユーザの操作により代表ブロック領域画像の一覧から所望の画像が指定されて質問画像が作成され、検索対象画像の集合から質問画像に類似する画像を検索する際に、ユーザが自らの検索意図を反映した質問画像を容易に作成できるように、代表ブロック領域画像を抽出するときに用いる適切なブロック領域画像を切り出すことが可能な画像切出装置及びプログラムを提供することにある。

前記目的を達成するために、本発明による画像切出装置は、検索対象画像の集合のそれぞれを複数のブロック領域画像に分割し、前記複数のブロック領域画像から、質問画像を描画するために用いる代表ブロック領域画像を抽出し、前記代表ブロック領域画像を用いて前記質問画像を描画し、前記質問画像に基づいて前記検索対象画像を検索する場合に、前記代表ブロック領域画像を抽出する際に用いる前記ブロック領域画像を切り出す画像切出装置において、前記分割した複数のブロック領域画像毎に、前記ブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度に基づいて、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出す色分布判定手段、を備えたことを特徴とする。

また、本発明による画像切出装置は、前記色分布判定手段が、前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置をシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度が所定の閾値以上である場合に、前記シフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする。

また、本発明による画像切出装置は、前記色分布判定手段が、前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置を所定の範囲内でシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記所定の範囲内でシフトした全てのブロック領域画像の類似度のうち、最も大きい類似度を特定し、前記最も大きい類似度が所定の閾値以上である場合に、前記最も大きい類似度を有するシフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする。

また、本発明による画像切出装置は、さらに、前記色分布判定手段により切り出されたブロック領域画像を格納する記憶手段と、前記記憶手段からブロック領域画像を読み出し、前記ブロック領域画像内の画素値が所定の閾値以上に変化するエッジ成分を有する画素を検出し、ブロック領域エッジ画像を生成し、前記ブロック領域エッジ画像を複数の領域に分割し、前記領域内のエッジ量を算出し、前記エッジ量に基づいて、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す模様判定手段と、を備えたことを特徴とする。

また、本発明による画像切出装置は、前記模様判定手段が、前記ブロック領域エッジ画像を分割した全ての領域のエッジ量が、所定の閾値以上である場合に、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す、ことを特徴とする。

さらに、本発明によるプログラムは、コンピュータを、前記画像切出装置として機能させることを特徴とする。

以上のように、本発明によれば、ブロック領域画像を切り出す際に、不適なブロック領域画像を除外するようにした。これにより、代表ブロック領域画像は、不適な画像が除外されたブロック領域画像から抽出されるから、代表ブロック領域画像には不適な画像が含まれなくなる。したがって、ユーザは、自らの検索意図を反映した質問画像を、容易に作成することができる。

実施例１，２の概要を説明する図である。実施例１，２による画像切出装置（ブロック領域画像切出部）を含む画像検索装置の構成を示すブロック図である。実施例１によるブロック領域画像切出部の構成を示すブロック図である。色分布判定手段の処理を示すフローチャートである。類似度Ｓ_Ｖ，Ｓ_Ｈの算出処理を説明する図である。色分布判定手段により切り出されたブロック領域画像の位置の例を示す図である。実施例２によるブロック領域画像切出部の構成を示すブロック図である。模様判定手段の処理を示すフローチャートである。ブロック領域エッジ画像の生成処理を説明する図である。エッジ占有率Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４の算出処理を説明する図である。従来の画像切出処理を説明する図である。代表ブロック領域画像として不適な例を説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔本発明の概要〕
まず、本発明の概要について説明する。図１は、本発明による実施例１，２の概要を説明する図であり、図１１に示した従来技術に対応している。本発明による実施例１，２の画像切出装置は、従来技術と同様に、検索対象画像の集合のそれぞれを、予め設定されたＭ×Ｎ個の領域にブロック分割し、分割した領域をブロック領域画像として切り出す。そして、画像切出装置は、全てのブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定して切り出す（実施例１）。これにより、切り出したブロック領域画像を対象にして、代表ブロック領域画像抽出処理が行われ、抽出された代表ブロック領域画像が画面に一覧表示される。また、画像切出装置は、全てのブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定し、さらに、色分布が一様なブロック領域画像から、模様（細かい濃淡の変化等）を有するブロック領域画像を選定して切り出す（実施例２）。これにより、切り出したブロック領域画像（色分布が一様かつ模様を有するブロック領域画像）を対象にして、代表ブロック領域画像抽出処理が行われ、抽出された代表ブロック領域画像が画面に一覧表示される。

図１１に示した従来の画像切出処理と、図１に示した実施例１，２の画像切出処理とを比較すると、実施例１，２の画像切出処理は、従来の画像切出処理と同様に全てのブロック領域画像を切り出す点で同一であるが、その後、さらに、色分布が一様なブロック領域画像、または色分布が一様かつ模様を有するブロック領域画像を選定して切り出す点で相違する。

これにより、ブロック領域画像から代表ブロック領域画像を抽出する処理を行う際に、実施例１によって、図１２に示した画像内部に輪郭、地平線等を含むブロック領域画像が除外され、実施例２によって、さらに、単色ベタ塗りで濃淡の変化が殆ど無いブロック領域画像が除外されるから、これらの不適な画像を含まない代表ブロック領域画像を抽出することができる。したがって、ユーザは、不適な画像を含まない代表ブロック領域画像を用いることができるから、自らの意図を反映した質問画像を、容易に作成することができる。

〔画像検索装置〕
次に、本発明による実施例１，２の画像切出装置を含む画像検索装置について説明する。図２は、画像検索装置の構成を示すブロック図である。この画像検索装置１は、画像切出装置（以下、ブロック領域画像切出部という。）２、代表ブロック領域画像抽出部１０、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３を備えている。また、検索対象画像ＤＢ１４は、ＨＤ（ハードディスク）に格納されている。検索対象画像ＤＢ１４には、複数の検索対象画像が格納されており、検索対象画像は、画像検索装置１により検索対象画像ＤＢ１４から読み出される。

画像検索装置１のブロック領域画像切出部２は、検索対象画像ＤＢ１４から検索対象画像を読み出し、予め設定されたＭ×Ｎ個のブロック領域画像に分割し、分割した全てのブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定し（実施例１）、または、色分布が一様かつ模様を有するブロック領域画像を選定する（実施例２）。そして、ブロック領域画像切出部２は、選定したブロック領域画像を代表ブロック領域画像抽出部１０に出力する。

代表ブロック領域画像抽出部１０は、ブロック領域画像切出部２からブロック領域画像を入力し、入力したブロック領域画像を対象にして、ブロック領域画像の特徴ベクトルを生成し、特徴ベクトルに基づいて、ブロック領域画像をカテゴリ及びクラス分けし、代表的なブロック領域画像のみを代表ブロック領域画像として抽出する代表ブロック領域画像抽出処理を行う。そして、代表ブロック領域画像抽出部１０は、抽出した代表ブロック領域画像を質問画像描画部１１に出力する。尚、代表ブロック領域画像抽出処理は既知であり、前述の特許文献１に記載されているから、ここでは詳細な説明は省略する（特許文献１の段落２６〜４８、図４〜６を参照）。

質問画像描画部１１は、代表ブロック領域画像抽出部１０から所定数の代表ブロック領域画像を入力し、画面に一覧表示する。これにより、ユーザは、画面に表示された代表ブロック領域画像の一覧から所望の画像を指定し、質問画像のブロックに割り当てる操作を行うことができる。そして、質問画像描画部１１は、ユーザの操作に従って、代表ブロック領域画像を質問画像のブロックに割り当て、質問画像を描画し、質問画像を質問画像特徴ベクトル生成部１２に出力する。

質問画像特徴ベクトル生成部１２は、質問画像描画部１１から質問画像を入力し、質問画像を所定数のブロック領域画像に分割し、各ブロック領域画像の特徴ベクトルを生成し、ブロック領域画像の特徴ベクトルを検索部１３に出力する。

検索部１３は、質問画像特徴ベクトル生成部１２から、質問画像におけるブロック領域画像の特徴ベクトルを入力し、特徴ベクトルに基づいて、検索対象画像ＤＢ１４の検索対象画像を検索し、質問画像に類似する検索対象画像を選定する。尚、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３による処理は既知であり、前述の特許文献１に記載されているから、ここでは詳細な説明は省略する。

次に、図２に示した画像検索装置１における実施例１のブロック領域画像切出部２について説明する。前述のとおり、実施例１によるブロック領域画像切出部２は、ブロック領域画像に基づいて、色分布が一様なブロック領域画像を選定して切り出す処理を行う。ブロック領域画像切出部２により切り出されたブロック領域画像は、代表ブロック領域画像を抽出するために用いられる。

図３は、実施例１によるブロック領域画像切出部２の構成を示すブロック図である。このブロック領域画像切出部２−１は、色分布判定手段３を備えている。色分布判定手段３は、検索対象画像を入力し、検索対象画像を分割した全てのブロック領域画像に対し、上下左右の領域に分割し、さらに、ブロック領域画像をシフトさせた後のブロック領域画像に対し、上下左右の領域に分割し、これらの分割領域の類似度を求め、類似度が閾値以上のブロック領域画像を、色分布が一様なブロック領域画像に選定する。そして、色分布判定手段３は、選定したブロック領域画像をブロック領域画像Ａとして出力する。

図４は、図３に示した色分布判定手段３の処理を示すフローチャートである。まず、色分布判定手段３は、ｎ＝１を設定し（ステップＳ４０１）、検索対象画像ＤＢ１４から番号ｎの検索対象画像を読み出し（ステップＳ４０２）、読み出した検索対象画像をＭ×Ｎ個のブロック領域画像に分割する（ステップＳ４０３）。

色分布判定手段３は、Ｍ×Ｎ個のブロック領域画像のうちの１個のブロック領域画像について、検索対象画像内のブロック領域画像の位置を、初期位置に設定する（ステップＳ４０４）。そして、色分布判定手段３は、このブロック領域画像の領域を左右に２分割し、左領域及び右領域の画像特徴量を算出し、画像特徴量から両領域間における画像特徴の類似度Ｓ_Ｖを算出すると共に、そのブロック領域画像の領域を上下に２分割し、上領域及び下領域の画像特徴量を算出し、画像特徴量から両領域間における画像特徴の類似度Ｓ_Ｈを算出する（ステップＳ４０５）。

図５は、類似度Ｓ_Ｖ，Ｓ_Ｈの算出処理を説明する図であり、Ｍ＝Ｎ＝４の場合を示している。（１）は、初期位置のブロック領域画像を示しており、（２）はシフト後のブロック領域画像を示している。図４のステップＳ４０４において、検索対象画像内のブロック領域画像の位置が初期位置とされ（図５（１）の斜線部を参照）、この位置のブロック領域画像の領域が、左右及び上下にそれぞれ２分割される。色分布判定手段３は、ステップＳ４０５において、ブロック領域画像の左領域及び右領域に対して色特徴量（例えば、ＲＧＢ平均値ベクトル）をそれぞれ算出し、左領域の色特徴量及び右領域の色特徴量に基づいて、色特徴の類似度Ｓ_Ｖを算出する。同様にして、ブロック領域画像における上領域及び下領域の類似度Ｓ_Ｈも算出する。例えば、色分布判定手段３は、各領域において、各画素のＲ、Ｇ、Ｂ値を基に、領域内の平均ＲＧＢベクトルを算出し、２つの領域間での平均ＲＧＢベクトルの距離に反比例する値を類似度として算出する。平均ＲＧＢベクトル間の距離が小さい場合は類似度が大きく、距離が大きい場合は類似度が小さくなる。

図４に戻って、色分布判定手段３は、ステップＳ４０５において算出した画像特徴の類似度Ｓ_Ｖ，Ｓ_Ｈが、予め設定された閾値Ｔｈ１以上であるか否かを判定し（ステップＳ４０６）、類似度Ｓ_Ｖ，Ｓ_Ｈが閾値Ｔｈ１以上であると判定した場合（ステップＳ４０６：Ｙ）、ステップＳ４０７へ移行する。

一方、色分布判定手段３は、ステップＳ４０６において、類似度Ｓ_Ｖ，Ｓ_Ｈが閾値Ｔｈ１以上でないと判定した場合（ステップＳ４０６：Ｎ）、初期位置のブロック領域画像の領域を、検索対象画像内においてＲピクセルの範囲で上下左右にシフトさせ、シフト後のブロック領域画像を取得する（ステップＳ４０９、図５（２）の斜線部を参照）。そして、色分布判定手段３は、シフト後のブロック領域画像について、ステップＳ４０５と同じ処理を行い、シフト後のブロック領域画像における左右領域の類似度Ｓ_Ｖを算出すると共に、シフト後のブロック領域画像における上下領域の類似度Ｓ_Ｈを算出する（ステップＳ４１０）。そして、色分布判定手段３は、類似度Ｓ_Ｖ，Ｓ_Ｈのうちの小さい方を最小値Ｓ_ＭＩＮに設定する（ステップＳ４１１）。これにより、シフト後のブロック領域画像における類似度の最小値Ｓ_ＭＩＮが求められる。

色分布判定手段３は、Ｒピクセルの範囲内でシフトした全てのブロック領域画像の処理が完了したか否かを判定し（ステップＳ４１２）、シフトした全てのブロック領域画像の処理が完了していないと判定した場合（ステップＳ４１２：Ｎ）、ステップＳ４０９へ移行し、Ｒピクセルの範囲で新たに上下左右にシフトさせ、シフト後の新たなブロック領域画像を取得し、ステップＳ４０９〜ステップＳ４１１の処理を行う。このようにして、初期位置のブロック領域画像の領域を基準に、検索対象画像内においてＲピクセルの範囲で１ピクセル毎に上下左右のいずれかにシフトさせた後の全てのブロック領域画像について、類似度の最小値Ｓ_ＭＩＮが求められる。

一方、色分布判定手段３は、ステップＳ４１２において、シフトした全てのブロック領域画像の処理が完了したと判定した場合（ステップＳ４１２：Ｙ）、シフト後の全てのブロック領域画像における類似度の最小値Ｓ_ＭＩＮのうち最大の値Ｓを特定する（ステップＳ４１３）。そして、色分布判定手段３は、最大値Ｓが、予め設定された閾値Ｔｈ２以上であるか否かを判定し（ステップＳ４１４）、最大値Ｓが閾値Ｔｈ２以上であると判定した場合（ステップＳ４１４：Ｙ）、ステップＳ４０７へ移行し、最大値Ｓが閾値Ｔｈ２以上でないと判定した場合（ステップＳ４１４：Ｎ）、ステップＳ４１５へ移行する。

色分布判定手段３は、ステップＳ４０６またはステップＳ４１４から移行し、初期位置のブロック領域画像、または、２分割した領域の類似度が最も高いシフト後の位置のブロック領域画像について、色分布が一様であると判定し（ステップＳ４０７）、その位置のブロック領域画像を選定する（ステップＳ４０８）。これをブロック領域画像Ａとする。

色分布判定手段３は、ステップＳ４０８またはステップＳ４１４から移行し、ステップＳ４０３において分割した全てのブロック領域画像の処理が完了したか否かを判定し（ステップＳ４１５）、分割した全てのブロック領域画像の処理が完了していないと判定した場合（ステップＳ４１５：Ｎ）、ステップＳ４０４へ移行し、他のブロック領域画像についてステップＳ４０４〜ステップＳ４１４の処理を行う。

一方、色分布判定手段３は、ステップＳ４１５において、分割した全てのブロック領域画像の処理が完了したと判定した場合（ステップＳ４１５：Ｙ）、ｎ＝ｎ＋１を設定し（ステップＳ４１６）、ｎが、予め設定された検索対象画像の数を示すＮ_ＩＭＧよりも大きいか否かを判定し（ステップＳ４１７）、ｎがＮ_ＩＭＧよりも大きくないと判定した場合（ステップＳ４１７：Ｎ）、ステップＳ４０２へ移行し、検索対象画像ＤＢ１４から新たな番号ｎの検索対象画像を読み出し、ステップＳ４０２〜ステップＳ４１６の処理を行う。

一方、色分布判定手段３は、ステップＳ４１７において、ｎがＮ_ＩＭＧよりも大きいと判定した場合（ステップＳ４１７：Ｙ）、ステップＳ４０８において選定した全てのブロック領域画像Ａを切り出して出力する（ステップＳ４１８）。

図６は、色分布判定手段３により切り出されたブロック領域画像の位置の例を示す図である。図６において、四角の白抜き枠の位置が、色分布判定手段３により切り出されたブロック領域画像Ａの位置を示している。色分布が一様であるとして切り出されたブロック領域画像Ａは、初期位置だけでなく、初期位置から所定ピクセル分シフトしたシフト後の位置にも存在することがわかる。

以上のように、実施例１のブロック領域画像切出部２−１によれば、色分布判定手段３が、全ての検索対象画像を入力し、検索対象画像を分割した全てのブロック領域画像に対し、上下左右の領域に分割し、さらに、１ピクセル毎にシフトさせた後のブロック領域画像に対し、上下左右の領域に分割し、これらの分割領域の類似度を求め、類似度が閾値以上のブロック領域画像を、色分布が一様なブロック領域画像に選定し、ブロック領域画像Ａとして切り出すようにした。

これにより、図１２に示した画像内部に輪郭、地平線等を含むブロック領域画像が不適な画像として除外され、不適な画像を含まないブロック領域画像Ａが切り出される。したがって、代表ブロック領域画像抽出処理において、不適な画像を含まない代表ブロック領域画像が抽出される。つまり、ユーザは、不適な画像を含まない代表ブロック領域画像を用いて、検索対象画像を検索するための質問画像を作成できるから、自らの検索意図を反映した質問画像を、容易に作成することができる。

次に、図２に示した画像検索装置１における実施例２のブロック領域画像切出部２について説明する。前述のとおり、実施例２によるブロック領域画像切出部２は、ブロック領域画像に基づいて、色分布が一様かつ模様を有するブロック領域画像を選定して切り出す処理を行う。ブロック領域画像切出部２により切り出されたブロック領域画像は、代表ブロック領域画像を抽出するために用いられる。実施例１では、切り出されたブロック領域画像Ａには、図１２に示した画像内部に輪郭、地平線等を含むブロック領域画像が含まれないが、単色ベタ塗りで濃淡の変化が殆ど無いブロック領域画像（単色のブロック領域画像）が含まれる。単色のブロック領域画像は、図１１に示したように、ユーザによって色を指定することで生成することができるから、ブロック領域画像切出部２により切り出される必要がなく、除外されるべきである。そこで、実施例２では、単色のブロック領域画像を除外するように、ブロック領域画像を切り出す。

図７は、実施例２によるブロック領域画像切出部２の構成を示すブロック図である。このブロック領域画像切出部２−２は、色分布判定手段３、記憶手段４及び模様判定手段５を備えている。色分布判定手段３は、図３に示した色分布判定手段３と同様の処理を行い、色分布が一様なブロック領域画像を選定し、選定したブロック領域画像をブロック領域画像Ａとして記憶手段４に格納する。

模様判定手段５は、記憶手段４から、色分布が一様なブロック領域画像Ａを読み出し、ブロック領域画像Ａからブロック領域エッジ画像を生成し、ブロック領域エッジ画像を上下左右の４領域に分割し、それぞれの領域のエッジ占有率を求め、エッジ占有率が閾値以上であるブロック領域エッジ画像のブロック領域画像Ａを、色分布が一様かつ模様を有するブロック領域画像に選定する。そして、模様判定手段５は、選定したブロック領域画像をブロック領域画像Ｂとして出力する。

図８は、図７に示した模様判定手段５の処理を示すフローチャートである。まず、模様判定手段５は、ｍ＝１を設定し（ステップＳ８０１）、記憶手段４から番号ｍのブロック領域画像Ａを読み出す（ステップＳ８０２）。そして、模様判定手段５は、読み出したブロック領域画像Ａからブロック領域エッジ画像を生成する（ステップＳ８０３）。

図９は、ブロック領域エッジ画像の生成処理を説明する図である。図９の左側の画像をブロック領域画像Ａとし、右側の画像をブロック領域エッジ画像とする。模様判定手段５は、ブロック領域画像Ａについて、隣接する画素の画素値の変化が、予め設定された閾値以上である箇所を、エッジ成分を有する画素として検出し、エッジ成分を有する画素（図９のαを参照）及びエッジ成分を有さない画素からなるブロック領域エッジ画像を生成する。

図８に戻って、模様判定手段５は、ステップＳ８０３において生成したブロック領域エッジ画像を上下左右に４分割し、それぞれの分割領域についてエッジ占有率Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４を算出する（ステップＳ８０４）。

図１０は、エッジ占有率Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４の算出処理を説明する図である。図１０の例では、エッジ成分を有する画素αが右下の分割領域に最も多く存在するから、右下の分割領域のエッジ占有率Ｅ_４が他のエッジ占有率Ｅ_１，Ｅ_２，Ｅ_３よりも大きいことがわかる。また、右上の分割領域のエッジ占有率Ｅ_３がエッジ占有率Ｅ_１，Ｅ_２よりも大きいことがわかる。

図８に戻って、模様判定手段５は、ステップＳ８０４において算出したエッジ占有率Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４から最小の値を最小値Ｅに設定する（ステップＳ８０５）。これにより、ブロック領域画像におけるエッジ占有率の最小値Ｅが求められる。

模様判定手段５は、エッジ占有率の最小値Ｅが、予め設定された閾値Ｔｈ３以上であるか否かを判定し（ステップＳ８０６）、エッジ占有率の最小値Ｅが閾値Ｔｈ３以上であると判定した場合（ステップＳ８０６：Ｙ）、ブロック領域画像Ａについて色分布が一様かつ模様を有すると判定し（ステップＳ８０７）、そのブロック領域画像Ａを選定する（ステップＳ８０８）。これをブロック領域画像Ｂとする。一方、模様判定手段５は、ステップＳ８０６において、エッジ占有率の最小値Ｅが閾値Ｔｈ３以上でないと判定した場合（ステップＳ８０６：Ｎ）、ステップＳ８０９へ移行する。

模様判定手段５は、ステップＳ８０８またはステップＳ８０６から移行し、ｍ＝ｍ＋１を設定し（ステップＳ８０９）、ｍが、予め設定されたブロック領域画像Ａの数を示すＮ_ＢＬＫよりも大きいか否かを判定する（ステップＳ８１０）。模様判定手段５は、ステップＳ８１０において、ｍがＮ_ＢＬＫよりも大きくないと判定した場合（ステップＳ８１０：Ｎ）、ステップＳ８０２へ移行し、記憶手段４から新たな番号ｍのブロック領域画像Ａを読み出し、ステップＳ８０２〜ステップＳ８０９の処理を行う。

一方、模様判定手段５は、ステップＳ８１０において、ｍがＮ_ＢＬＫよりも大きいと判定した場合（ステップＳ８１０：Ｙ）、ステップＳ８０８において選定した全てのブロック領域画像Ｂを切り出して出力する（ステップＳ８１１）。

以上のように、実施例２のブロック領域画像切出部２−２によれば、模様判定手段５が、記憶手段４から色分布が一様なブロック領域画像Ａを読み出し、ブロック領域画像Ａからブロック領域エッジ画像を生成し、ブロック領域エッジ画像を上下左右の４領域に分割し、それぞれの領域のエッジ占有率を求め、エッジ占有率が閾値以上のブロック領域エッジ画像のブロック領域画像Ａを、色分布が一様かつ模様を有するブロック領域画像に選定し、ブロック領域画像Ｂとして切り出すようにした。

これにより、ブロック領域画像Ａから単色のブロック領域画像が除外され、不適な画像を含まないブロック領域画像Ｂが切り出される。したがって、代表ブロック領域画像抽出処理において、不適な画像を含まない代表ブロック領域画像が抽出される。つまり、ユーザは、不適な画像を含まない代表ブロック領域画像を用いて、検索対象画像を検索するための質問画像を作成できるから、自らの検索意図を反映した質問画像を、容易に作成することができる。

以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図２に示した画像検索装置１は、ブロック領域画像切出部２及び代表ブロック領域画像抽出部１０等を備えているが、ブロック領域画像切出部２、代表ブロック領域画像抽出部１０、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３をそれぞれ分離し、この構成部を備えたそれぞれの装置が通信ネットワーク（例えばインターネット）を介して接続されるようにしてもよい。この場合、画像切出装置（ブロック領域画像切出部２）は、切り出したブロック領域画像を、通信ネットワークを介して、代表ブロック領域画像抽出部１０を備えた装置へ送信する。

また、図２に示した画像検索装置１は、外部のハードディスクに格納された検索対象画像ＤＢ１４から検索対象画像を読み出すようにしたが、このハードディスクは、画像検索装置１の内部に備えるようにしてもよい。また、画像検索装置１は、検索対象画像ＤＢ１４が格納されたファイルサーバに、通信ネットワークを介してアクセスし、検索対象画像を受信するようにしてもよい。

また、図３に示したブロック領域画像切出部２−１の色分布判定手段３は、ブロック領域画像を左右２分割及び上下２分割して類似度Ｓ_Ｖ，Ｓ_Ｈを算出し、色分布が一様であるか否かを判定するようにしたが、必ずしも左右２分割及び上下２分割する必要はない。例えば、色分布判定手段３は、左右２分割のみして類似度Ｓ_Ｖを算出し、色分布が一様であるか否かを判定するようにしてもよいし、上下２分割のみして判定するようにしてもよい。本発明は、分割の仕方及び分割数を限定するものではない。

また、図３に示したブロック領域画像切出部２−１の色分布判定手段３は、ブロック領域画像を分割した領域について、画像特徴量としてＲＧＢ平均値ベクトルを算出するようにした。しかし、本発明は、画像特徴量をＲＧＢ平均値ベクトルに限定するものではなく、例えば、色のヒストグラムを求め、そのヒストグラムを画像特徴量とするようにしてもよい。要するに、画像特徴量は、領域を構成する画像の特徴を示すデータであればよい。

また、図７に示したブロック領域画像切出部２−２の模様判定手段５は、ブロック領域画像Ａからブロック領域エッジ画像を生成し、４分割の領域のエッジ占有率を算出し、色分布が一様かつ模様を有するか否かを判定するようにしたが、ブロック領域画像Ａを４分割し、隣り合う画素における輝度値または画素値の変化量を算出し、その変化量のヒストグラムを求め、４分割の領域における変化量の平均値を算出し、色分布が一様かつ模様を有するか否かを判定するようにしてもよい。また、本発明は、分割の仕方及び分割数を限定するものではない。また、分割した領域が同じ場合、エッジ占有率の代わりに、エッジ成分を有する画素の数（エッジ量）を算出し、この画像数によって、色分布が一様かつ模様を有するか否かを判定するようにしてもよい。

尚、本発明の実施例１，２によるブロック領域画像切出部２である画像切出装置のハードウェア構成としては、通常のコンピュータを使用することができる。画像切出装置は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。実施例１の画像切出装置に備えた色分布判定手段３、及び、実施例２の画像切出装置に備えた色分布判定手段３、記憶手段４及び模様判定手段５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

また、図２に示した画像検索装置１のハードウェア構成としても、通常のコンピュータを使用することができる。画像検索装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像検索装置１に備えたブロック領域画像切出部２、代表ブロック領域画像抽出部１０、質問画像描画部１１、質問画像特徴ベクトル生成部１２及び検索部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、画像切出装置と同様に、磁気ディスク等の記憶媒体に格納して頒布することもできる。

１画像検索装置
２ブロック領域画像切出部
３色分布判定手段
４記憶手段
５模様判定手段
１０代表ブロック領域画像抽出部
１１質問画像描画部
１２質問画像特徴ベクトル生成部
１３検索部
１４検索対象画像ＤＢ

Claims

検索対象画像の集合のそれぞれを複数のブロック領域画像に分割し、前記複数のブロック領域画像から、質問画像を描画するために用いる代表ブロック領域画像を抽出し、前記代表ブロック領域画像を用いて前記質問画像を描画し、前記質問画像に基づいて前記検索対象画像を検索する場合に、前記代表ブロック領域画像を抽出する際に用いる前記ブロック領域画像を切り出す画像切出装置において、
前記分割した複数のブロック領域画像毎に、前記ブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度に基づいて、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出す色分布判定手段、を備えたことを特徴とする画像切出装置。
請求項１に記載の画像切出装置において、
前記色分布判定手段は、
前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、
前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、
前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置をシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記類似度が所定の閾値以上である場合に、前記シフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする画像切出装置。
請求項１または２に記載の画像切出装置において、
前記色分布判定手段は、
前記ブロック領域画像における領域間の類似度が所定の閾値以上であるか否かを判定し、
前記類似度が所定の閾値以上であると判定した場合、前記ブロック領域画像を、色分布が一様なブロック領域画像として切り出し、
前記類似度が所定の閾値以上でないと判定した場合、前記検索対象画像における全体領域内の前記ブロック領域画像の位置を所定の範囲内でシフトし、前記シフト後のブロック領域画像を複数の領域に分割し、前記領域について画像特徴量を算出し、前記画像特徴量に基づいて前記領域間の類似度を算出し、前記所定の範囲内でシフトした全てのブロック領域画像の類似度のうち、最も大きい類似度を特定し、前記最も大きい類似度が所定の閾値以上である場合に、前記最も大きい類似度を有するシフト後のブロック領域画像を、色分布が一様なブロック領域画像として切り出す、ことを特徴とする画像切出装置。
請求項１から３までのいずれか一項に記載の画像切出装置において、
さらに、前記色分布判定手段により切り出されたブロック領域画像を格納する記憶手段と、
前記記憶手段からブロック領域画像を読み出し、前記ブロック領域画像内の画素値が所定の閾値以上に変化するエッジ成分を有する画素を検出し、ブロック領域エッジ画像を生成し、前記ブロック領域エッジ画像を複数の領域に分割し、前記領域内のエッジ量を算出し、前記エッジ量に基づいて、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す模様判定手段と、を備えたことを特徴とする画像切出装置。
請求項４に記載の画像切出装置において、
前記模様判定手段は、
前記ブロック領域エッジ画像を分割した全ての領域のエッジ量が、所定の閾値以上である場合に、前記ブロック領域画像を、色分布が一様かつ模様を有するブロック領域画像として切り出す、ことを特徴とする画像切出装置。
コンピュータを、請求項１から５までのいずれか一項に記載の画像切出装置として機能させるためのプログラム。