JP4190739B2 - 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 - Google Patents
画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 Download PDFInfo
- Publication number
- JP4190739B2 JP4190739B2 JP2001042132A JP2001042132A JP4190739B2 JP 4190739 B2 JP4190739 B2 JP 4190739B2 JP 2001042132 A JP2001042132 A JP 2001042132A JP 2001042132 A JP2001042132 A JP 2001042132A JP 4190739 B2 JP4190739 B2 JP 4190739B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- generating
- rectangular
- area
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、指定された画像と候補画像との類似性を判定し、指定された画像に類似する候補画像を検索する画像検索に用いられる、画像特徴量の生成技術に関する。さらに詳しくは、本発明は、任意形状を持つ画像から、画像検索に用いる特徴量を生成する画像特徴量生成装置とその画像特徴量生成方法、及び画像特徴量生成プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】
従来より、画像データを、その特徴を示す画像特徴量により表現し、この画像特徴量を用いて各画像の類似性を判定することが行われている。また、類似する画像を（例えば、蓄積されている画像の中から）検索するための装置やコンピュータプログラムが開発されている。こうした画像検索の従来の技術では、主として、画像中に含まれる色および画像のもつ構造を表現する特徴量（以降、色構造特徴量と呼ぶ）を用いて、この特徴の類似性から類似画像を検索する方法が採用されている。
【０００３】
ここで、画像の持つ色特徴および構造特徴を表現するための従来の技術の一例が、特開平１１−３１６８１９号公報や特開２０００−２５９８３２号公報に開示されている。
【０００４】
特開平１１−３１６８１９号公報は、画像を複数のブロックに分割して各ブロック中に含まれる色ヒストグラムを計算し、その各ブロック毎の色ヒストグラムの値の集合を色分布特徴量とし、これを類似性の判定や検索に用いる方法を提案している。この色分布特徴量では、色ヒストグラムが各ブロック毎に示されるため、画像の持つ色特徴および構造特徴を類似性の判定に反映させることができる。特開２０００−２５９８３２号公報は、画像の持つ色構造を周波数領域で表現した周波数分布特徴量を画像特徴量として利用する画像検索技術を開示している。ここで、画像の周波数分布特徴量とは、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、周波数解析して得られた帯域毎のエネルギーを示す画像特徴量である。
【０００５】
図７は、この特開２０００−２５９８３２号公報記載の画像検索システムの要部の構成を示すブロック図である。この画像検索システムは、入力される画像データ１０１から周波数分布特徴量１０３を生成する画像特徴量生成部１０２と、検索対象の画像の周波数分布特徴量を予め記憶しておく周波数分布特徴量記憶部１０４と、入力された画像の周波数分布特徴量１０３と周波数分布特徴量記憶部１０４に記憶された特徴量１０５とを用いて類似度１０７を算出する類似度算出部１０６を備えている。
【０００６】
ここで、画像特徴量生成部１０２は、画像データ１０１から縮小画像１１１を生成する縮小画像生成手段１１０と、生成された縮小画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる直交変換係数１１３の内、直流成分及び一部交流成分を周波数分布特徴量１０３として抽出する直流成分及び一部交流成分抽出手段１１４を備えている。
【０００７】
【発明が解決しようとする課題】
上記の色分布特徴量および周波数分布特徴量は、画像が矩形であることを前提として抽出された特徴量であるため、任意の形状を持つ画像からこれらの特徴量を抽出することができなかった。このため、さまざまな形状を持つ画像の混在する画像データベースを対象に画像検索を行うことができなかった。
【０００８】
本発明の目的は、上記従来技術の欠点を解決し、任意の形状を持つ画像から画像検索を実現するための画像特徴量を生成する画像特徴量生成装置とその画像特徴量生成方法、及び画像特徴量生成プログラムを記録した記憶媒体を提供することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するため本発明の画像特徴量生成装置は、任意の形状を持つ画像から画像検索に用いる画像特徴量を生成する画像特徴量生成装置であり；特徴量を生成する対象である対象画像を内部に含む矩形領域を生成する矩形領域生成手段と；前記矩形領域生成手段により得られる矩形領域に対して、前記対象画像を含まない領域に所定の画素値を補間し矩形画像を生成する矩形画像生成手段と；前記矩形画像生成手段により得られた矩形画像に対して特徴量を生成する画像特徴量生成手段；とを備えることを特徴とする。
【００１０】
本発明の画像特徴量生成方法は、画像特徴量を生成する対象である対象画像から画像特徴量を生成する画像特徴量生成方法であり；前記対象画像を内部に含む矩形領域を生成する矩形領域生成工程と；前記矩形領域生成工程により得られる矩形領域に対して、前記対象画像を含まない領域に画素値を補間し矩形画像を生成する矩形画像生成工程と；前記矩形画像生成工程により得られた矩形画像に対して特徴量を生成する画像特徴量生成工程；とを備えることを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
［第１の実施の形態］
図１は、本発明の第１の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図１を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。
【００１３】
まず矩形領域生成手段２は、特徴量を生成する対象である画像１を内部に含むように矩形領域で囲む。矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成することが望ましい。
【００１４】
矩形画像生成手段３は、矩形領域生成手段２より得られる矩形領域のうち、画像１の画素を含まない領域に所定の画素値を補間することにより、画像１を内部に含む矩形画像を生成する。補間する画素値は、あらかじめ決定しておくことも、補間画素値選定手段５により選定された画素値を利用することもできる。補間画素値選定手段５は、画像１より画像を代表する代表色を選定する。ここで、補間する画素値の選択方法としてはさまざまな方法があるが、ここでは代表的な方法を４つ挙げるにとどめる。
【００１５】
１つ目は、画像１に含まれる画素の平均値を選定する方法である。平均値を補間することにより、画像特徴量として例えば周波数分布特徴量を生成する場合に直流成分のばらつきを抑えることが可能となる。２つ目は、画像１より画像を代表する色を選定し、代表する色を画素値として補間する方法である。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。３つ目は、画像の持つ形状特徴を際立たせるため、代表色や平均色と大きく異なる色を補間する方法である。４つ目は、画像１に関係なく同じ画素値（例えば灰色となる画素値）を補間する方法である。
【００１６】
次に、画像特徴量生成手段４は、矩形画像生成手段３より生成された画像より画像特徴量を抽出する。
【００１７】
ここで、画像特徴量生成手段４の処理方法の一例を図２を用いて説明する。
【００１８】
画像特徴量生成手段４は、画像サイズ変換手段４０と画像特徴量抽出手段４１とを持つ。画像サイズ変換手段４０は、ブロック分割手段４０１と、代表色算出手段４０２と、代表色画像生成手段４０３とからなり、矩形画像生成手段３より生成された矩形画像を、定められたサイズの画像に拡大又は縮小することにより、代表色画像を生成したうえで画像特徴量抽出を行う。
【００１９】
図２の画像特徴量生成手段４では、ブロック分割手段４０１は、矩形画像生成部３より生成された矩形画像をあらかじめ定められたブロック数に分割する。ブロック分割の方法としては、所望の画像サイズに変換するように行う。例えば、８画素×８画素の画像を生成したい場合には、矩形画像生成手段３より生成された矩形画像を６４ブロック（縦８ブロック×横８ブロック）に分割する。
【００２０】
代表色算出手段４０２は、ブロック分割手段４０１により得られる各ブロックを代表する色を算出する。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。また、各ブロックに含まれる画素の平均値を利用することもできる。
【００２１】
次に、代表色画像生成手段４０３は、代表色算出手段４０２より算出された各ブロックの代表色を画素とする代表色画像を生成する。
【００２２】
なお、画像サイズ変換手段４０は、矩形画像生成手段３より生成された矩形画像をブロック分割して画像を縮小する以外にも、矩形画像生成手段３より生成された矩形画像をフィルタなどを用いて定められたサイズの画像に拡大又は縮小することもできる。
【００２３】
画像特徴量抽出手段４１は、画像サイズ変換手段から得られる画像の画像特徴量を生成する。生成する特徴量としては、例えば色分布特徴量、周波数分布特徴量等がある。ここで代表色画像生成手段４０３により得られた代表色画像を色分布特徴量として利用することができる。また、画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として一定のサイズに変換された画像を、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００２４】
上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００２５】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、また矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外の画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００２６】
［第２の実施の形態］
図３は、本発明の第２の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図３を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。更に、補間画素選定手段５は、領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３と備えている。
【００２７】
図３に示した本発明の第２の実施の形態の画像特徴量生成装置は、図１に示した第１の実施の形態の画像特徴量生成装置の構成とは、補間画素値選定手段５が領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３とを有する点、及び、補間画素値選定手段５が矩形領域生成手段２と接続されている点で異なる。ここで、補間画素値選定手段５の動作を詳細に説明する。
【００２８】
補間画素値選定手段５において、まず領域分割手段５１は、矩形領域生成手段２より生成された矩形領域を小領域に分割する。
【００２９】
小領域代表色算出手段５２は、領域分割手段５１により得られる各小領域を代表する色を算出する。各小領域の代表色は、各小領域内の画素のうち、画像１の画素のみを対象に選定する。なお、各小領域内の画像１の画素数または画素数の割合が一定のしきい値を下回った場合には、無効領域として、値を代入しない。
【００３０】
次に、補間色選定手段５３は、小領域代表色算出手段５２より算出された各小領域の代表色の集合から、代表色を１つ算出し、補間に用いる画素値として出力する。
【００３１】
これ以降の動作は、第１の実施形態と同様である。上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００３２】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外の画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００３３】
［第３の実施の形態］
図４は、本発明の第３の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図４を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。矩形画像生成手段３は、ブロック分割手段３１と、ブロック代表色算出手段３２と、代表色画像生成手段３３とからなる。
【００３４】
まず矩形領域生成手段２は、特徴量を生成する対象である画像１を内部に含むように矩形領域で囲む。矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成することが望ましい。
【００３５】
矩形画像生成手段３は、矩形領域生成手段２により得られる矩形領域および内部に含まれる対象画像を、定められたサイズの領域および画像に変換し、前記定められたサイズの領域に対して、定められたサイズの画像の画素を含まない領域に所定の画素値を補間し矩形画像を生成する。補間する画素値は、あらかじめ決定しておくことも、補間画素値選定手段５により選定された画素値を利用することもできる。矩形画像生成手段３の動作例を具体的に説明する。
【００３６】
ブロック分割手段３１は、矩形領域生成手段２より生成された矩形領域をあらかじめ定められたブロック数に分割する。ブロック分割の方法としては、所望の画像サイズに変換するように行う。例えば、８画素×８画素の画像を生成したい場合には、矩形画像生成部３より生成された矩形画像を６４ブロック（縦８ブロック×横８ブロック）に分割する。
【００３７】
ブロック代表色算出手段３２は、ブロック分割手段３１により得られる各ブロックを代表する色を算出する。各小領域の代表色は、各ブロック内の画素のうち、画像１の画素のみを対象に選定する。なお、各ブロック内の画像１の画素数または画素数の割合が一定のしきい値を下回った場合には、補間画素値選定手段５より選定された画素値をブロックの代表色として補間する。また、ブロック内の画像１の画素数または画素数の割合が一定のしきい値を上回っている場合には、ブロック内の画素より代表色を算出する。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。また、各ブロックに含まれる画素の平均値を利用することもできる。
【００３８】
次に、代表色画像生成手段３３は、代表色算出手段３２より算出された各ブロックの代表色を画素とする代表色画像を生成する。
【００３９】
補間画素値選定手段５は、画像１より画像を代表する代表色を選定する。ここで、補間する画素値の選択方法としてはさまざまな方法があるが、代表的な方法を４つ挙げる。１つ目は、画像１に含まれる画素の平均値を選定する方法である。平均値を補間することにより、画像特徴量として例えば周波数分布特徴量を生成する場合に直流成分のばらつきを抑えることが可能となる。２つ目は、画像１より画像を代表する色を選定し、代表する色を画素値として補間する方法である。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。３つ目は、画像の持つ形状特徴を際立たせるため、代表色や平均色と大きく異なる色を補間する方法である。４つ目は、画像１に関係なく同じ画素値（例えば灰色となる画素値）を補間する方法である。
【００４０】
次に、画像特徴量生成手段４は、矩形画像生成手段３より生成された画像より画像特徴量を抽出する。
【００４１】
画像特徴量生成手段４は、矩形画像生成手段３から得られる画像の画像特徴量を生成する。生成する特徴量としては、例えば色分布特徴量、周波数分布特徴量等がある。ここで代表色画像生成手段３３により得られた代表色画像を色分布特徴量として利用することができる。また、画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として一定のサイズに変換された画像を、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００４２】
上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００４３】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、また矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外の画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００４４】
［第４の実施の形態］
図５は、本発明の第４の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図５を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。また、矩形画像生成手段３は、ブロック分割手段３１と、ブロック代表色算出手段３２と、代表色画像生成手段３３と備えている。さらに、補間代表色選定部５が領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３とを備えている。
【００４５】
図５に示した本発明の第４の実施の形態の画像特徴量生成装置は、図４に示した第３の実施の形態の画像特徴量生成装置の構成に加え、補間画素値選定手段５が領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３とを有する点で異なる。この補間代表色選定部５は、第２の実施の形態に示した補間代表色選定部５と同様の働きをするため、重複した説明は省略する。上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００４６】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外のの画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００４７】
［検索システムの実施の形態］
図６は、本発明の画像検索システムのの構成を示すブロック図である。図６を参照すると、本実施の形態の画像検索システムは、画像特徴量記憶部２０１、類似度算出部２０２からなる。
【００４８】
画像特徴量記憶部２０１は、画像データより抽出した画像特徴量を画像特徴量としてあらかじめ保存しておく。なお、画像特徴量としては、図１から図５に示した第１から第４のの実施の形態の画像特徴量生成装置によって得られる画像特徴量を利用している。類似度算出部２０２は、問合せ画像データの画像特徴量と、画像特徴量の類似度を算出する。類似性を判定し、類似する画像を検索する。問合せ画像データの画像特徴量も、、図１から図５に示した第１から第４の実施の形態の画像特徴量生成装置によって得ることができる。上記の手順により、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００４９】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外のの画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。また、画像特徴量を用いて個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００５０】
以上好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【００５１】
【発明の効果】
以上説明したように本発明の画像特徴量生成装置及びその方法によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外のの画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。 また、画像特徴量を用いて個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図２】 本発明の第１の実施の形態の画像特徴量生成手段の構成を示すブロック図である。
【図３】 本発明の第２の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図４】 本発明の第３の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図５】 本発明の第４の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図６】 本発明の画像検索システムの要部の構成を示すブロック図である。
【図７】 従来の画像検索システムの主要な構成を示すブロック図である。
【符号の説明】
１ 画像
２ 矩形領域生成手段
３ 矩形画像生成手段
３１ ブロック分割手段
３２ ブロック代表色算出手段
３３ 代表色画像生成手段
４ 画像特徴量生成手段
４０１ ブロック分割手段
４０２ 代表色算出手段
４０３ 代表色画像生成手段
４１ 画像特徴量抽出手段
５ 補間画素値選定手段
５１ 領域分割手段
５２ 小領域代表色算出手段
５３ 補間色選定手段
２０１ 画像特徴量記憶部
２０２ 類似度算出手段
【発明の属する技術分野】
本発明は、指定された画像と候補画像との類似性を判定し、指定された画像に類似する候補画像を検索する画像検索に用いられる、画像特徴量の生成技術に関する。さらに詳しくは、本発明は、任意形状を持つ画像から、画像検索に用いる特徴量を生成する画像特徴量生成装置とその画像特徴量生成方法、及び画像特徴量生成プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】
従来より、画像データを、その特徴を示す画像特徴量により表現し、この画像特徴量を用いて各画像の類似性を判定することが行われている。また、類似する画像を（例えば、蓄積されている画像の中から）検索するための装置やコンピュータプログラムが開発されている。こうした画像検索の従来の技術では、主として、画像中に含まれる色および画像のもつ構造を表現する特徴量（以降、色構造特徴量と呼ぶ）を用いて、この特徴の類似性から類似画像を検索する方法が採用されている。
【０００３】
ここで、画像の持つ色特徴および構造特徴を表現するための従来の技術の一例が、特開平１１−３１６８１９号公報や特開２０００−２５９８３２号公報に開示されている。
【０００４】
特開平１１−３１６８１９号公報は、画像を複数のブロックに分割して各ブロック中に含まれる色ヒストグラムを計算し、その各ブロック毎の色ヒストグラムの値の集合を色分布特徴量とし、これを類似性の判定や検索に用いる方法を提案している。この色分布特徴量では、色ヒストグラムが各ブロック毎に示されるため、画像の持つ色特徴および構造特徴を類似性の判定に反映させることができる。特開２０００−２５９８３２号公報は、画像の持つ色構造を周波数領域で表現した周波数分布特徴量を画像特徴量として利用する画像検索技術を開示している。ここで、画像の周波数分布特徴量とは、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、周波数解析して得られた帯域毎のエネルギーを示す画像特徴量である。
【０００５】
図７は、この特開２０００−２５９８３２号公報記載の画像検索システムの要部の構成を示すブロック図である。この画像検索システムは、入力される画像データ１０１から周波数分布特徴量１０３を生成する画像特徴量生成部１０２と、検索対象の画像の周波数分布特徴量を予め記憶しておく周波数分布特徴量記憶部１０４と、入力された画像の周波数分布特徴量１０３と周波数分布特徴量記憶部１０４に記憶された特徴量１０５とを用いて類似度１０７を算出する類似度算出部１０６を備えている。
【０００６】
ここで、画像特徴量生成部１０２は、画像データ１０１から縮小画像１１１を生成する縮小画像生成手段１１０と、生成された縮小画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる直交変換係数１１３の内、直流成分及び一部交流成分を周波数分布特徴量１０３として抽出する直流成分及び一部交流成分抽出手段１１４を備えている。
【０００７】
【発明が解決しようとする課題】
上記の色分布特徴量および周波数分布特徴量は、画像が矩形であることを前提として抽出された特徴量であるため、任意の形状を持つ画像からこれらの特徴量を抽出することができなかった。このため、さまざまな形状を持つ画像の混在する画像データベースを対象に画像検索を行うことができなかった。
【０００８】
本発明の目的は、上記従来技術の欠点を解決し、任意の形状を持つ画像から画像検索を実現するための画像特徴量を生成する画像特徴量生成装置とその画像特徴量生成方法、及び画像特徴量生成プログラムを記録した記憶媒体を提供することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するため本発明の画像特徴量生成装置は、任意の形状を持つ画像から画像検索に用いる画像特徴量を生成する画像特徴量生成装置であり；特徴量を生成する対象である対象画像を内部に含む矩形領域を生成する矩形領域生成手段と；前記矩形領域生成手段により得られる矩形領域に対して、前記対象画像を含まない領域に所定の画素値を補間し矩形画像を生成する矩形画像生成手段と；前記矩形画像生成手段により得られた矩形画像に対して特徴量を生成する画像特徴量生成手段；とを備えることを特徴とする。
【００１０】
本発明の画像特徴量生成方法は、画像特徴量を生成する対象である対象画像から画像特徴量を生成する画像特徴量生成方法であり；前記対象画像を内部に含む矩形領域を生成する矩形領域生成工程と；前記矩形領域生成工程により得られる矩形領域に対して、前記対象画像を含まない領域に画素値を補間し矩形画像を生成する矩形画像生成工程と；前記矩形画像生成工程により得られた矩形画像に対して特徴量を生成する画像特徴量生成工程；とを備えることを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
［第１の実施の形態］
図１は、本発明の第１の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図１を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。
【００１３】
まず矩形領域生成手段２は、特徴量を生成する対象である画像１を内部に含むように矩形領域で囲む。矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成することが望ましい。
【００１４】
矩形画像生成手段３は、矩形領域生成手段２より得られる矩形領域のうち、画像１の画素を含まない領域に所定の画素値を補間することにより、画像１を内部に含む矩形画像を生成する。補間する画素値は、あらかじめ決定しておくことも、補間画素値選定手段５により選定された画素値を利用することもできる。補間画素値選定手段５は、画像１より画像を代表する代表色を選定する。ここで、補間する画素値の選択方法としてはさまざまな方法があるが、ここでは代表的な方法を４つ挙げるにとどめる。
【００１５】
１つ目は、画像１に含まれる画素の平均値を選定する方法である。平均値を補間することにより、画像特徴量として例えば周波数分布特徴量を生成する場合に直流成分のばらつきを抑えることが可能となる。２つ目は、画像１より画像を代表する色を選定し、代表する色を画素値として補間する方法である。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。３つ目は、画像の持つ形状特徴を際立たせるため、代表色や平均色と大きく異なる色を補間する方法である。４つ目は、画像１に関係なく同じ画素値（例えば灰色となる画素値）を補間する方法である。
【００１６】
次に、画像特徴量生成手段４は、矩形画像生成手段３より生成された画像より画像特徴量を抽出する。
【００１７】
ここで、画像特徴量生成手段４の処理方法の一例を図２を用いて説明する。
【００１８】
画像特徴量生成手段４は、画像サイズ変換手段４０と画像特徴量抽出手段４１とを持つ。画像サイズ変換手段４０は、ブロック分割手段４０１と、代表色算出手段４０２と、代表色画像生成手段４０３とからなり、矩形画像生成手段３より生成された矩形画像を、定められたサイズの画像に拡大又は縮小することにより、代表色画像を生成したうえで画像特徴量抽出を行う。
【００１９】
図２の画像特徴量生成手段４では、ブロック分割手段４０１は、矩形画像生成部３より生成された矩形画像をあらかじめ定められたブロック数に分割する。ブロック分割の方法としては、所望の画像サイズに変換するように行う。例えば、８画素×８画素の画像を生成したい場合には、矩形画像生成手段３より生成された矩形画像を６４ブロック（縦８ブロック×横８ブロック）に分割する。
【００２０】
代表色算出手段４０２は、ブロック分割手段４０１により得られる各ブロックを代表する色を算出する。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。また、各ブロックに含まれる画素の平均値を利用することもできる。
【００２１】
次に、代表色画像生成手段４０３は、代表色算出手段４０２より算出された各ブロックの代表色を画素とする代表色画像を生成する。
【００２２】
なお、画像サイズ変換手段４０は、矩形画像生成手段３より生成された矩形画像をブロック分割して画像を縮小する以外にも、矩形画像生成手段３より生成された矩形画像をフィルタなどを用いて定められたサイズの画像に拡大又は縮小することもできる。
【００２３】
画像特徴量抽出手段４１は、画像サイズ変換手段から得られる画像の画像特徴量を生成する。生成する特徴量としては、例えば色分布特徴量、周波数分布特徴量等がある。ここで代表色画像生成手段４０３により得られた代表色画像を色分布特徴量として利用することができる。また、画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として一定のサイズに変換された画像を、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００２４】
上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００２５】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、また矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外の画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００２６】
［第２の実施の形態］
図３は、本発明の第２の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図３を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。更に、補間画素選定手段５は、領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３と備えている。
【００２７】
図３に示した本発明の第２の実施の形態の画像特徴量生成装置は、図１に示した第１の実施の形態の画像特徴量生成装置の構成とは、補間画素値選定手段５が領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３とを有する点、及び、補間画素値選定手段５が矩形領域生成手段２と接続されている点で異なる。ここで、補間画素値選定手段５の動作を詳細に説明する。
【００２８】
補間画素値選定手段５において、まず領域分割手段５１は、矩形領域生成手段２より生成された矩形領域を小領域に分割する。
【００２９】
小領域代表色算出手段５２は、領域分割手段５１により得られる各小領域を代表する色を算出する。各小領域の代表色は、各小領域内の画素のうち、画像１の画素のみを対象に選定する。なお、各小領域内の画像１の画素数または画素数の割合が一定のしきい値を下回った場合には、無効領域として、値を代入しない。
【００３０】
次に、補間色選定手段５３は、小領域代表色算出手段５２より算出された各小領域の代表色の集合から、代表色を１つ算出し、補間に用いる画素値として出力する。
【００３１】
これ以降の動作は、第１の実施形態と同様である。上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００３２】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外の画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００３３】
［第３の実施の形態］
図４は、本発明の第３の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図４を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。矩形画像生成手段３は、ブロック分割手段３１と、ブロック代表色算出手段３２と、代表色画像生成手段３３とからなる。
【００３４】
まず矩形領域生成手段２は、特徴量を生成する対象である画像１を内部に含むように矩形領域で囲む。矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成することが望ましい。
【００３５】
矩形画像生成手段３は、矩形領域生成手段２により得られる矩形領域および内部に含まれる対象画像を、定められたサイズの領域および画像に変換し、前記定められたサイズの領域に対して、定められたサイズの画像の画素を含まない領域に所定の画素値を補間し矩形画像を生成する。補間する画素値は、あらかじめ決定しておくことも、補間画素値選定手段５により選定された画素値を利用することもできる。矩形画像生成手段３の動作例を具体的に説明する。
【００３６】
ブロック分割手段３１は、矩形領域生成手段２より生成された矩形領域をあらかじめ定められたブロック数に分割する。ブロック分割の方法としては、所望の画像サイズに変換するように行う。例えば、８画素×８画素の画像を生成したい場合には、矩形画像生成部３より生成された矩形画像を６４ブロック（縦８ブロック×横８ブロック）に分割する。
【００３７】
ブロック代表色算出手段３２は、ブロック分割手段３１により得られる各ブロックを代表する色を算出する。各小領域の代表色は、各ブロック内の画素のうち、画像１の画素のみを対象に選定する。なお、各ブロック内の画像１の画素数または画素数の割合が一定のしきい値を下回った場合には、補間画素値選定手段５より選定された画素値をブロックの代表色として補間する。また、ブロック内の画像１の画素数または画素数の割合が一定のしきい値を上回っている場合には、ブロック内の画素より代表色を算出する。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。また、各ブロックに含まれる画素の平均値を利用することもできる。
【００３８】
次に、代表色画像生成手段３３は、代表色算出手段３２より算出された各ブロックの代表色を画素とする代表色画像を生成する。
【００３９】
補間画素値選定手段５は、画像１より画像を代表する代表色を選定する。ここで、補間する画素値の選択方法としてはさまざまな方法があるが、代表的な方法を４つ挙げる。１つ目は、画像１に含まれる画素の平均値を選定する方法である。平均値を補間することにより、画像特徴量として例えば周波数分布特徴量を生成する場合に直流成分のばらつきを抑えることが可能となる。２つ目は、画像１より画像を代表する色を選定し、代表する色を画素値として補間する方法である。代表する色の算出方法としては、最も支配的な色、最頻色、中央値を出力する方法などが挙げられる。３つ目は、画像の持つ形状特徴を際立たせるため、代表色や平均色と大きく異なる色を補間する方法である。４つ目は、画像１に関係なく同じ画素値（例えば灰色となる画素値）を補間する方法である。
【００４０】
次に、画像特徴量生成手段４は、矩形画像生成手段３より生成された画像より画像特徴量を抽出する。
【００４１】
画像特徴量生成手段４は、矩形画像生成手段３から得られる画像の画像特徴量を生成する。生成する特徴量としては、例えば色分布特徴量、周波数分布特徴量等がある。ここで代表色画像生成手段３３により得られた代表色画像を色分布特徴量として利用することができる。また、画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として一定のサイズに変換された画像を、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００４２】
上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００４３】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、また矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外の画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００４４】
［第４の実施の形態］
図５は、本発明の第４の実施の形態の画像特徴量生成装置の構成を示すブロック図である。図５を参照すると、本実施の形態の画像特徴量生成装置は、矩形領域生成手段２、矩形画像生成手段３、画像特徴量生成手段４、補間画素選定手段５とを備えている。また、矩形画像生成手段３は、ブロック分割手段３１と、ブロック代表色算出手段３２と、代表色画像生成手段３３と備えている。さらに、補間代表色選定部５が領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３とを備えている。
【００４５】
図５に示した本発明の第４の実施の形態の画像特徴量生成装置は、図４に示した第３の実施の形態の画像特徴量生成装置の構成に加え、補間画素値選定手段５が領域分割手段５１と、小領域代表色算出手段５２と、補間色選定手段５３とを有する点で異なる。この補間代表色選定部５は、第２の実施の形態に示した補間代表色選定部５と同様の働きをするため、重複した説明は省略する。上記の手順により得られた画像特徴量を用いて、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００４６】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外のの画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。
【００４７】
［検索システムの実施の形態］
図６は、本発明の画像検索システムのの構成を示すブロック図である。図６を参照すると、本実施の形態の画像検索システムは、画像特徴量記憶部２０１、類似度算出部２０２からなる。
【００４８】
画像特徴量記憶部２０１は、画像データより抽出した画像特徴量を画像特徴量としてあらかじめ保存しておく。なお、画像特徴量としては、図１から図５に示した第１から第４のの実施の形態の画像特徴量生成装置によって得られる画像特徴量を利用している。類似度算出部２０２は、問合せ画像データの画像特徴量と、画像特徴量の類似度を算出する。類似性を判定し、類似する画像を検索する。問合せ画像データの画像特徴量も、、図１から図５に示した第１から第４の実施の形態の画像特徴量生成装置によって得ることができる。上記の手順により、個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００４９】
以上説明したように、本実施の形態の画像特徴量生成装置によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外のの画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。また、画像特徴量を用いて個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【００５０】
以上好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【００５１】
【発明の効果】
以上説明したように本発明の画像特徴量生成装置及びその方法によれば、任意形状領域を持つ画像を内部に含むように矩形領域で囲み、かつ矩形領域の各辺に画像１の少なくとも１点が隣接するような矩形領域を生成し、原画像に属する画素以外のの画素に所定の画素値を補間することによって、任意の形状を持つ画像からの画像特徴量の生成を実現することができる。 また、画像特徴量を用いて個々の画像の類似性を判定し、指定された画像に類似する画像を検索することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図２】 本発明の第１の実施の形態の画像特徴量生成手段の構成を示すブロック図である。
【図３】 本発明の第２の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図４】 本発明の第３の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図５】 本発明の第４の実施の形態の画像特徴量生成装置の構成を示すブロック図である。
【図６】 本発明の画像検索システムの要部の構成を示すブロック図である。
【図７】 従来の画像検索システムの主要な構成を示すブロック図である。
【符号の説明】
１ 画像
２ 矩形領域生成手段
３ 矩形画像生成手段
３１ ブロック分割手段
３２ ブロック代表色算出手段
３３ 代表色画像生成手段
４ 画像特徴量生成手段
４０１ ブロック分割手段
４０２ 代表色算出手段
４０３ 代表色画像生成手段
４１ 画像特徴量抽出手段
５ 補間画素値選定手段
５１ 領域分割手段
５２ 小領域代表色算出手段
５３ 補間色選定手段
２０１ 画像特徴量記憶部
２０２ 類似度算出手段
Claims (26)
- 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
前記対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域内の、前記対象画像を含まない領域に前記対象画像の画素の平均値を補間し、矩形画像を生成する矩形画像生成手段と、
前記矩形画像生成手段により得られた矩形画像の特徴量を生成する画像特徴量生成手段と、
を有する画像特徴量生成装置。 - 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
前記対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域内の、前記対象画像を含まない領域に前記対象画像の代表色を補間し、矩形画像を生成する矩形画像生成手段と、
前記矩形画像生成手段により得られた矩形画像の特徴量を生成する画像特徴量生成手段と、
を有する画像特徴量生成装置。 - 前記矩形領域生成手段により得られた領域を小領域に分割する領域分割手段と、
前記領域分割手段により得られた各小領域の代表色を算出する小領域代表色算出手段と、
前記算出された各小領域の代表色の集合より、補間する代表色を選択する補間色選択手段とをさらに有する、請求項２に記載の画像特徴量生成装置。 - 前記領域分割手段は、前記矩形領域を６４個の矩形領域に分割する、請求項３に記載の画像特徴量生成装置。
- 前記小領域代表色算出手段は、前記領域分割手段により得られた小領域のうち、前記対象画像の画素数が所定のしきい値以下の小領域からは代表色を抽出しない、請求項３に記載の画像特徴量生成装置。
- 前記小領域代表色算出手段は、前記領域分割手段により得られた小領域のうち、前記対象画像の画素数が所定のしきい値以上の小領域内に含まれる前記対象画像の画素のみにより代表色を算出する、請求項３に記載の画像特徴量生成装置。
- 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域および内部に含まれる対象画像を定められたサイズの領域および画像にそれぞれ変換し、前記定められたサイズの領域の、定められたサイズの画像の画素を含まない領域に前記対象画像の画素の平均値を補間し、矩形画像を生成する矩形画像生成手段と、
前記矩形画像生成手段により得られた画像の特徴量を生成する画像特徴量生成
手段と、
を備える画像特徴量生成装置。 - 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域および内部に含まれる対象画像を定められたサイズの領域および画像にそれぞれ変換し、前記定められたサイズの領域の、定められたサイズの画像の画素を含まない領域に前記対象画像の代表色を補間し、矩形画像を生成する矩形画像生成手段と、
前記矩形画像生成手段により得られた画像の特徴量を生成する画像特徴量生成手段と、
を備える画像特徴量生成装置。 - 前記矩形領域生成手段により得られた領域を小領分割する領域分割手段と、
前記領域分割手段により得られた各小領域の代表色を算出する小領域代表色算
出手段と、
前記算出された各小領域の代表色の集合より、補間する代表色を選択する補間
色選択手段
を含む、請求項８に記載の画像特徴量生成装置。 - 前記領域分割手段は、前記矩形領域を６４個の矩形領域に分割する、請求項９に記載の画像特徴量生成装置。
- 前記小領域代表色算出手段は、前記領域分割手段により得られた小領域のうち、前記対象画像の画素数が所定のしきい値以下の小領域からは代表色を抽出しない、請求項９に記載の画像特徴量生成装置。
- 前記小領域代表色算出手段は、前記領域分割手段により得られた小領域のうち、前記対象画像の画素数が所定のしきい値以上の小領域内に含まれる前記対象画像の画素のみにより代表色を算出する、請求項９に記載の画像特徴量生成装置。
- 前記矩形画像生成手段が、
前記矩形領域生成手段より得られる領域をブロックに分割するブロック分割手段と、
前記領域分割手段により得られる各ブロックの代表色を算出するブロック代表色算出手段と、
前記算出された各ブロックの代表色の集合を画素値とする代表色画像生成手段と、
を含む、請求項１２に記載の画像特徴量生成装置。 - 前記ブロック分割手段は、前記矩形領域を６４個のブロックに分割する、請求項１３に記載の画像特徴量生成装置。
- 前記ブロック代表色算出手段は、前記領域分割手段により得られたブロックのうち、ブロック内に含まれる前記対象画像の画素数が所定のしきい値以下のブロックの場合には、前記対象画像を含まない領域に補間するための画素値を選択する補間画素選択手段により選択された画素値を代表色として補間する、請求項１３に記載の画像特徴量生成装置。
- 前記ブロック代表色算出手段は、前記領域分割手段により得られたブロックの
うち、ブロック内に含まれる前記対象画像の画素数が所定のしきい値以上のブロックの場合には、該ブロック内に含まれる前記対象画像の画素のみより代表色を算出する、請求項１３に記載の画像特徴量生成装置 - コンピュータに、画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成するコンピュータプログラムであって、
前記対象画像を内部に含む矩形領域を生成する第１の命令セットと、
前記第１の命令セットにより得られた矩形領域内の、前記対象画像を含まない領域に前記対象画像の画素の平均値を補間し、矩形画像を生成する第２の命令セットと、
前記第２の命令セットにより得られた矩形画像の特徴量を生成する第３の命令セットと、
を有するコンピュータプログラム。 - コンピュータに、画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成するコンピュータプログラムであって、
前記対象画像を内部に含む矩形領域を生成する第１の命令セットと、
前記第１の命令セットにより得られた矩形領域内の、前記対象画像を含まない領域に前記対象画像の代表色を補間し、矩形画像を生成する第２の命令セットと、
前記第２の命令セットにより得られた矩形画像の特徴量を生成する第３の命令セットと、
を有するコンピュータプログラム。 - コンピュータに、画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成するコンピュータプログラムであって、
前記対象画像を内部に含む矩形領域を生成する第１の命令セットと、
前記第１の命令セットにより得られた矩形領域および内部に含まれる対象画像を定められたサイズの領域および画像にそれぞれ変換し、前記定められたサイズの領域の、定められたサイズの画像の画素を含まない領域に前記対象画像の画素の平均値を補間し、矩形画像を生成する第２の命令セットと、
前記第２の命令セットにより得られた矩形画像の特徴量を生成する第３の命令セットと、
を有するコンピュータプログラム。 - コンピュータに、画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成するコンピュータプログラムであって、
前記対象画像を内部に含む矩形領域を生成する第１の命令セットと、
前記第１の命令セットにより得られた矩形領域および内部に含まれる対象画像を定められたサイズの領域および画像にそれぞれ変換し、前記定められたサイズの領域の、定められたサイズの画像の画素を含まない領域に前記対象画像の代表色を補間し、矩形画像を生成する第２の命令セットと、
前記第２の命令セットにより得られた矩形画像の特徴量を生成する第３の命令セットと、
を有するコンピュータプログラム。 - 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
前記対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域内画像をＮ個のブロックに分割し、前記対象画像に属する画素が所定数以上含まれているブロックについては、そのブロックの代表値を求め、そうでないブロックについては、前記対象画像の画素の平均値をそのブロックの代表値とすることにより、Ｎ画素の代表画像を生成する矩形画像生成手段と、
この代表画像の特徴量を生成する画像特徴量生成手段と、
を有する画像特徴量生成装置。 - 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
前記対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域内画像をＮ個のブロックに分割し、前記対象画像に属する画素が所定数以上含まれているブロックについては、そのブロックの代表色を求めて代表値とし、そうでないブロックについては、前記対象画像の画素の代表色をそのブロックの代表値とすることにより、Ｎ画素の代表画像を生成する矩形画像生成手段と、
この代表画像の特徴量を生成する画像特徴量生成手段と、
を有する画像特徴量生成装置。 - 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
前記対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域内画像をＮ個のブロックに分割し、前記対象画像に属するデータが所定数以上含まれているブロックについては、そのブロックの代表値を求め、そうでないブロックについては、前記対象画像に属するデータが所定数以上含まれているブロックについての代表値の平均値をそのブロックの代表値とすることにより、Ｎ画素の代表画像を生成する矩形画像生成手段と、
この代表画像の特徴量を生成する画像特徴量生成手段と、
を有する画像特徴量生成装置。 - 画像特徴量を生成する対象である対象画像から画像検索に用いる画像特徴量を生成する装置であって、
前記対象画像を内部に含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域生成手段により得られた矩形領域内画像をＮ個のブロックに分割し、前記対象画像に属するデータが所定数以上含まれているブロックについては、代表色を求めてそのブロックの代表値とし、そうでないブロックについては、前記対象画像に属するデータが所定数以上含まれているブロックの代表色から求められた値を代表値とすることにより、Ｎ画素の代表画像を生成する矩形画像生成手段と、
この代表画像の特徴量を生成する画像特徴量生成手段と、
を有する画像特徴量生成装置。 - 前記対象画像に属するデータが所定数以上含まれているブロックの代表値は、そのブロックに含まれる対象画像に属する画素の代表色を求めて算出されることを特徴とする請求項２２または２４記載の画像特徴量生成装置。
- 前記対象画像に属するデータが所定数以上含まれているブロックの代表値は、前記ブロックに含まれる対象画像に属する画素の平均を求めて算出されることを特徴とする請求項２１または２３記載の画像特徴量生成装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001042132A JP4190739B2 (ja) | 2001-02-19 | 2001-02-19 | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 |
| US10/467,371 US7697753B2 (en) | 2001-02-19 | 2002-02-19 | Device for creating image feature from image having any shape |
| PCT/JP2002/001396 WO2002067197A1 (fr) | 2001-02-19 | 2002-02-19 | Dispositif de creation de caracteristique d'image a partir d'une image de n'importe quelle forme |
| EP02712440.3A EP1365357B1 (en) | 2001-02-19 | 2002-02-19 | Creating image features from an image having any shape |
| KR1020037010669A KR100565403B1 (ko) | 2001-02-19 | 2002-02-19 | 임의의 형상을 갖는 화상으로부터 화상 특징량을 생성하는장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001042132A JP4190739B2 (ja) | 2001-02-19 | 2001-02-19 | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002245456A JP2002245456A (ja) | 2002-08-30 |
| JP4190739B2 true JP4190739B2 (ja) | 2008-12-03 |
Family
ID=18904474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001042132A Expired - Lifetime JP4190739B2 (ja) | 2001-02-19 | 2001-02-19 | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7697753B2 (ja) |
| EP (1) | EP1365357B1 (ja) |
| JP (1) | JP4190739B2 (ja) |
| KR (1) | KR100565403B1 (ja) |
| WO (1) | WO2002067197A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007052466A (ja) * | 2003-11-17 | 2007-03-01 | Nec Corp | 画像処理方法、画像処理システム、および画像処理プログラム |
| JP4712613B2 (ja) * | 2006-05-25 | 2011-06-29 | 富士通株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP4935960B2 (ja) * | 2009-03-13 | 2012-05-23 | 日本電気株式会社 | 画像識別子抽出装置 |
| EP2360639B1 (en) * | 2009-03-13 | 2016-11-16 | Nec Corporation | Image identifier matching device |
| CN102349092B (zh) * | 2009-03-13 | 2015-08-12 | 日本电气株式会社 | 图像签名提取设备 |
| JP4968291B2 (ja) * | 2009-07-14 | 2012-07-04 | 富士通株式会社 | 画像処理装置 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| JPH08241417A (ja) | 1995-03-03 | 1996-09-17 | Dainippon Printing Co Ltd | グラデーション処理方法および帳票類デザインシステム |
| JP3637927B2 (ja) | 1995-03-14 | 2005-04-13 | 富士ゼロックス株式会社 | 画像処理装置 |
| TW366648B (en) * | 1996-10-24 | 1999-08-11 | Matsushita Electric Ind Co Ltd | Method of supplementing pixel signal coding device, and pixel signal decoding device |
| DE19648963C1 (de) | 1996-11-26 | 1998-04-30 | Siemens Ag | Verfahren zur Bildcodierung eines digitalisierten Bildes, Verfahren zur Bilddecodierung eines digitalisierten Bildes und Anordnung zur Durchführung der Verfahren |
| US7057653B1 (en) * | 1997-06-19 | 2006-06-06 | Minolta Co., Ltd. | Apparatus capable of image capturing |
| US6504949B2 (en) * | 1997-08-19 | 2003-01-07 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP3045114B2 (ja) | 1997-08-19 | 2000-05-29 | 日本電気株式会社 | 荷電粒子線描画用データ作成方法並びに描画用パターンデータ作成プログラムを記録した記録媒体 |
| US6292574B1 (en) | 1997-08-29 | 2001-09-18 | Eastman Kodak Company | Computer program product for redeye detection |
| US6208753B1 (en) * | 1998-02-27 | 2001-03-27 | International Business Machines Corporation | Quality of digitized images through post-scanning reregistration of their color planes |
| US6801665B1 (en) * | 1998-09-15 | 2004-10-05 | University Of Maryland | Method and apparatus for compressing and decompressing images |
| JP4298001B2 (ja) | 1998-04-30 | 2009-07-15 | キヤノン株式会社 | 画像検索装置及び方法 |
| EP0947937B1 (en) * | 1998-04-02 | 2010-11-03 | Canon Kabushiki Kaisha | Image search apparatus and method |
| US6603885B1 (en) * | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
| JP3496559B2 (ja) | 1999-01-06 | 2004-02-16 | 日本電気株式会社 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
| JP2001016470A (ja) | 1999-06-25 | 2001-01-19 | Minolta Co Ltd | 画像処理装置 |
| US6266453B1 (en) * | 1999-07-26 | 2001-07-24 | Computerized Medical Systems, Inc. | Automated image fusion/alignment system and method |
| US6683992B2 (en) * | 1999-12-28 | 2004-01-27 | Matsushita Electric Industrial Co., Ltd. | Image decoding apparatus and image coding apparatus |
| US6493387B1 (en) * | 2000-04-10 | 2002-12-10 | Samsung Electronics Co., Ltd. | Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together |
| US6625212B1 (en) * | 2000-06-30 | 2003-09-23 | Intel Corporation | Pixel padding procedure using SIMD operations or vector processing |
| US6879717B2 (en) * | 2001-02-13 | 2005-04-12 | International Business Machines Corporation | Automatic coloring of pixels exposed during manipulation of image regions |
-
2001
- 2001-02-19 JP JP2001042132A patent/JP4190739B2/ja not_active Expired - Lifetime
-
2002
- 2002-02-19 US US10/467,371 patent/US7697753B2/en active Active
- 2002-02-19 EP EP02712440.3A patent/EP1365357B1/en not_active Expired - Lifetime
- 2002-02-19 WO PCT/JP2002/001396 patent/WO2002067197A1/ja active IP Right Grant
- 2002-02-19 KR KR1020037010669A patent/KR100565403B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002245456A (ja) | 2002-08-30 |
| EP1365357B1 (en) | 2013-12-18 |
| US20040061842A1 (en) | 2004-04-01 |
| EP1365357A4 (en) | 2009-11-25 |
| WO2002067197A1 (fr) | 2002-08-29 |
| US7697753B2 (en) | 2010-04-13 |
| KR100565403B1 (ko) | 2006-03-30 |
| EP1365357A1 (en) | 2003-11-26 |
| KR20030078915A (ko) | 2003-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2394913C (en) | Image retrieval apparatus and image retrieving method | |
| JP2003141540A (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
| JPH0946519A (ja) | 画像処理装置および方法 | |
| JP4078085B2 (ja) | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 | |
| JP4190739B2 (ja) | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 | |
| JP2002358515A5 (ja) | ||
| JP3743389B2 (ja) | 画像圧縮装置および画像圧縮プログラム | |
| JP3889178B2 (ja) | 解像度変換画像圧縮復号装置 | |
| JP4063486B2 (ja) | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 | |
| JP4189575B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
| JP2002077657A (ja) | 画像処理装置及び方法、並びに記憶媒体 | |
| JP3250507B2 (ja) | 画像データの符号量制御方法および装置 | |
| JPH07334648A (ja) | 画像処理方法及びその装置 | |
| JPH11238067A (ja) | 画像検索システムおよび記録媒体 | |
| JP4662189B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4307485B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4515698B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| EP1079635A1 (en) | Data compressing device and method, data expanding device and method, data compressing/expanding system and method, code book making method, and vector quantizing device and method | |
| JP2002133414A (ja) | 画像処理方法及びその装置、記憶媒体 | |
| JPH1115971A (ja) | 画像領域分割方法および画像領域分割装置 | |
| KR100855450B1 (ko) | 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치 | |
| JP3578947B2 (ja) | 均等色領域抽出方法、装置及び記録媒体 | |
| JPH10254993A (ja) | 文字抽出装置及び文字抽出方法 | |
| JP2004200786A (ja) | 画像縮小装置、画像縮小方法、プログラム及び記録媒体 | |
| JPH0944519A (ja) | 画像検索方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060531 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060808 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070117 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4190739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |