JP4078085B2 - 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 - Google Patents
変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP4078085B2 JP4078085B2 JP2002018936A JP2002018936A JP4078085B2 JP 4078085 B2 JP4078085 B2 JP 4078085B2 JP 2002018936 A JP2002018936 A JP 2002018936A JP 2002018936 A JP2002018936 A JP 2002018936A JP 4078085 B2 JP4078085 B2 JP 4078085B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- small space
- small
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 102
- 238000004590 computer program Methods 0.000 title claims description 11
- 230000008569 process Effects 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 61
- 230000010354 integration Effects 0.000 claims description 32
- 239000003086 colorant Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 102100040836 Claudin-1 Human genes 0.000 description 2
- 101100113671 Homo sapiens CLDN1 gene Proteins 0.000 description 2
- 101100113675 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CLD1 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、原画像（入力画像）の特徴量を求め、その特徴量を利用する画像処理の分野に関し、特に、原画像を変倍する画像処理の分野に関する。
【０００２】
【従来の技術】
従来より、原画像の特徴量を求め、その特徴量を利用して各種の画像処理が行われている。
【０００３】
このような原画像の特徴量の求め方の一例としては、まず、変倍目標である縦×横の画素数（以下、縦横画素数）で原画像（入力画像）を分割すると共に、分割によって生成された複数のブロック画像内の画素（画素値）の平均値を算出することによって当該原画像の変倍画像を生成する。そして、生成された変倍画像に対して公知の離散コサイン変換(以下、ＤＣＴ)処理と量子化処理とを施し、その結果得られた係数のうち、低周波成分側から幾つかの係数が、当該原画像の特徴量として取り出される。取り出された特徴量は、例えば、画像検索に用いるデータに使用することができる（ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual Working Draft 4.0" ( [VWD4.0]）、あるいは、ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual part of eXperimentation Model Version 7.0" ( [VXM7.0]))。
【０００４】
ここで、上記従来の特徴量の抽出手順について説明する。図１は、色レイアウト指標量の抽出処理の流れを説明する図であり、[VWD4.0]もしくは[VXM7.0]に記載されている手順を示す。また、図３は、従来における色レイアウト指標量の抽出処理を示すフローチャートである。
【０００５】
図１及び図３において、まず、原画像10001を、８×８画素の複数のブロック画像に変倍する(ステップＳ10201)。原画像の変倍画像を生成するに際しては、変倍目標の縦横画素数で原画像を分割することによって得られたブロック内の画素の平均値が利用される。
【０００６】
次に、生成された８×８画素のブロック画像（10011, 10012, 10013）を構成する各画素を、Y, Cb, Cr色空間データ（10021, 10022, 10023）に変換する(ステップＳ10202)。
【０００７】
次に、Y, Cb, Cr色空間の各成分データ10021, 10022, 10023に対してＤＣＴ処理を施す(ステップＳ10203)ことにより、ＤＣＴ係数10031, 10032, 10033を取得し、更にＤＣＴ係数10031, 10032, 10033に対して量子化を施す(ステップＳ10204)。
【０００８】
ここで、[VWD4.0]もしくは[VXM7.0]では、上記の画像変倍処理、色変換処理、ＤＣＴ変換処理は公知の手法で良いとされ、特に標準化されていない。
【０００９】
また、[VWD4.0]もしくは[VXM7.0]では、画像変倍処理に関して、単純に原画像を８×８画素のブロックに分割し、夫々のブロック内の画素の平均色を採ることを推奨している。例えば、[VWD4.0]によれば、量子化処理は、Y成分、並びにCb/Cr成分のそれぞれについて、ＤＣ成分とＡＣ成分とで異なる処理が行われる。
【００１０】
次に、量子化処理の結果得られた量子化ＤＣＴ係数10041, 10042, 10043のうち、低周波数成分側から幾つかの係数を選択する(ステップＳ10205)。図１に示す例では、Y成分の係数に関しては６個（１００５１）、Cb/Cr成分の係数に関しては３個ずつ（１００５２，１００５３）選択されている。
【００１１】
図２は、係数選択のためのジグザグスキャン処理を説明する図である。ステップＳ10205における係数の選択は、同図に例示するように、８×８画素の如く２次元に配置された係数を、ジグザグスキャンによって１次元に並び替え、その先頭から幾つかを選択することによって実現される。ここで、図２の各ブロックに書かれている１から６４の数字は、１次元に並び替えられた後にその係数が先頭から何番目に配置されるかを示す数字である。
【００１２】
[VWD4.0]によれば、係数選択において取り出すべき係数は、1, 3, 6, 10, 15, 21, 28, 64の何れかである。また、係数の数は、Cb成分係数とCr成分係数とに関しては同数であるが、Y成分係数の数とCb/Cr成分係数との数には、別々の数を設定可能である。[VWD4.0]によれば、デフォルトではY成分係数に関して６個、Cb/Cr成分係数に関しては３個の係数を選択する。即ち、選択された係数10051, 10052, 10053をもって、原画像10001の色のレイアウトを表わす特徴データ（色レイアウト指標量：Color Layout descriptor value）とする。
【００１３】
また、複数の画像について上記の如く算出した色レイアウト指標量を利用すれば、類似画像の検索を行うことができる。この特徴データ間の類似度については、[VXM7.0]によれば以下の如く算出される。例えば、２つの画像の色レイアウト指標量CLD1(YCoeff, CbCoeff, CrCoeff)と、CLD2(YCoeff', CbCoeff', CrCoeff')との間の類似度Ｄは、数１で算出される。
【００１４】
【数１】
【００１５】
数１において、λは各係数に関する重み付けであり、[VXM7.0]には、表１のような重み付け値が示されている。表１において値が示されていないものについては、重み付け値は１である。
【００１６】
【表１】
【００１７】
【発明が解決しようとする課題】
しかしながら、上記従来の特徴量の抽出方法においては、ステップＳ10201において原画像の変倍画像を生成するに際して、変倍目標の縦横画素数で原画像を分割することによって得られたブロック内の画素の平均値を利用するため、原画像の構図情報が不明確になってしまう。
【００１８】
更に、上述した如く変倍画像に対してＤＣＴ処理を施して得られた量子化係数の低周波成分側から幾つかの係数を取り出すため、原画像のトータルな系に対する平滑化作用が強く効き過ぎてしまい、原画像の構図情報が更に不明確になってしまうという問題がある。
【００１９】
そこで本発明は、変倍対象の画像の特徴を良く表わす変倍画像を生成する変倍画像生成装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供を第１の目的とする。
【００２０】
また、画像の色レイアウトの特徴を良く表わす特徴量（指標量）を算出する画像特徴算出装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供を第２の目的とする。
【００２１】
【課題を解決するための手段】
上記の第１の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
【００２２】
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接する場合に、それら２つの小空間に属する画素の平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする。
【００２３】
本発明の第２の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは最も頻度の高い小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記統合判断手段によって統合できると判断された場合に、前記小空間群を１つに統合することにより、統合小空間を生成する小空間統合手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、最も頻度の高い統合小空間を再帰的に算出すると共に、その最も頻度の高い統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定手段と
を備えることを特徴とする。
【００２４】
本発明の第３の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算手段と、
前記演算手段による演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素と、その第１小空間の次に頻度の高い第２小空間に属する画素との差分が第１閾値より小さい場合、或いは、該差分が前記対象ブロックを構成する総画素数に対する第２閾値より小さい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備えることを特徴とする。
【００２６】
本発明の第４の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算手段と、
前記演算手段による演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素に対して、次に頻度の高い第２小空間に属する画素の比率または割合が第１閾値より大きい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、前記第１小空間に属する画素に対する比率または割合が第５閾値以下である単数または複数の第５小空間が存在する場合に、これらの小空間に対して隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記統合判断手段によって統合できると判断された場合に、前記第１及び第４小空間と、前記他の小空間群とからなる１つの統合小空間を生成する小空間統合手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、前記第１小空間が唯一であり、且つ、最も頻度の高い第１統合小空間に属する画素に対して、次に頻度の高い第２統合小空間に属する画素の比率または割合が固定或いは再帰処理の回数に応じて変化する第６閾値より小さいという条件を満足するところの、最も頻度の高い統合小空間を再帰的に算出すると共に、その統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定手段と
を備えることを特徴とする。
【００２７】
本発明の第５の目的を達成するため、本発明に係る変倍画像生成方法は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備え、
前記色決定工程では、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接する場合に、それら２つの小空間に属する画素の平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする。
【００２８】
本発明の第６の目的を達成するため、本発明に係る変倍画像生成方法は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備え、
前記色決定工程は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは最も頻度の高い小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断工程と、
前記統合判断工程にて統合できると判断した場合に、前記小空間群を１つに統合することにより、統合小空間を生成する小空間統合工程と、
前記小空間統合工程にて生成した統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、最も頻度の高い統合小空間を再帰的に算出すると共に、その最も頻度の高い統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定工程と
を備えることを特徴とする。
【００２９】
本発明の第７の目的を達成するため、本発明に係る変倍画像生成方法は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算工程と、
前記演算工程における演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素と、その第１小空間の次に頻度の高い第２小空間に属する画素との差分が第１閾値より大きい場合、或いは、該差分が前記対象ブロックを構成する総画素数に対する第２閾値より大きい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備えることを特徴とする。
【００３５】
また、上記の変倍画像生成方法を、コンピュータにおいて実現することが可能な動作指示をなすコンピュータプログラム、並びにそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても上記の目的は達成される。
【００３６】
【発明の実施の形態】
以下、本発明に係る画像検索装置の一実施形態を、図面を参照して詳細に説明する。本実施形態において、当該画像検索装置は、大別して、装置内に画像の登録を行う機能を有すると共に、登録されている複数の画像の中から所望の検索対象の画像に類似する画像を検索する機能を有する。
【００３７】
【第１の実施形態】
図８は、第１の実施形態に係る画像検索装置の機能構成を示すブロック図である。
【００３８】
同図において、10701は、画像検索処理と画像登録処理とをオペレータが切り替え可能なユーザ・インタフェースモジュールである。10702は、スキャナ、デジタルカメラ、或いは通信ネットワーク等を介して画像（例えば、JPEG圧縮画像データ）を取り込む画像入力モジュールである。10703は、後述する色レイアウト指標量（Color Layout descriptor）演算の実行に先立って、原画像を一時的に蓄積する画像メモリである。10704は、画像入力モジュール10702を介して入力された複数の画像を、ハードディスク装置等の記憶装置や携帯可能な記憶媒体に蓄積する画像蓄積モジュールである。
【００３９】
また、10705は、本実施形態において特徴的な色レイアウト指標量の算出を行う色レイアウト指標量演算モジュールである。10706は、算出された色レイアウト指標量、原画像の格納アドレス情報、並びにその他の属性情報を格納する検索情報ＤＢである。10707は、類似画像の検索を行うに際して検索対象となる画像等をオペレータが指示可能な検索条件指示モジュールである。10708は、類似度を計算する類似度演算モジュールである。10709は、検索結果をディスプレイ（不図示）に表示する検索結果表示モジュールである。
【００４０】
尚、本実施形態において、モジュールとは、当該画像検索装置が実行可能なある機能単位を示しており、ハードウエア単体で実現する場合、或いはハードウエア及びソフトウエアによって実現する場合が想定される。
【００４１】
また、図８に示す機能構成を備える画像検索装置は、例えばパーソナルコンピュータ等の単体の情報処理装置によっても、或いは、クライアント・サーバ環境の如く複数台の情報処理装置が各種の通信回線を介して連携して動作するシステムによっても実現可能である。係る情報処理装置の装置構成には、現在では一般的なものを採用することができるので、本実施形態における詳細な説明は省略する。
【００４２】
このような機能構成を備える本実施形態の画像検索装置では、画像登録処理と画像検索処理とが行われる。ここで、その処理について概説する。
【００４３】
・画像登録処理：
画像入力モジュール10702によって取得した画像（原画像）は、画像蓄積モジュール10704に格納されると共に、後述する色レイアウト指標量の演算のために画像メモリ10703に一時的に蓄積される。
【００４４】
画像メモリ10703に一時的に蓄積された画像に関して色レイアウト指標量演算モジュール10705によって算出された色レイアウト指標量は、検索情報ＤＢ10706に格納される。
【００４５】
色レイアウト指標量は、当該画像検索装置において一義的に発行される画像識別情報（以下、画像ＩＤ）を仲立ちとして、画像蓄積モジュール10704内に格納された画像と対応付け（関連付け）される。
【００４６】
検索結果表示モジュール10709で用いられる検索結果表示用の縮小画像は、検索情報ＤＢ10706に格納される。この縮小画像は、例えば公知のJPEG(Joint Photographic Experts Group)圧縮を行った画像である。
【００４７】
・画像検索処理：
類似画像を検索すべくオペレータによって検索条件指示モジュール10707にて選択された画像（検索対象画像）は、その画像に類似する画像を検出すべく、類似度演算モジュール10708により、画像蓄積モジュール10704に格納されている全ての画像との類似度Ｄが算出される。
【００４８】
類似度Ｄの算出には、検索対象画像の色レイアウト指標量と、検索情報ＤＢ10706に格納されている色レイアウト指標量とが利用される。検索結果表示モジュール10709は、算出された類似度Ｄが高い順番に、検索情報ＤＢ10706に格納されている縮小画像を並べて表示する。
【００４９】
尚、検索情報ＤＢ10706には、上記のデータ項目に加えて、キーワードや撮影日時等の属性情報を記憶しても良い。この場合、画像検索に際しては、属性情報と類似画像検索との論理積演算を行い、所定の属性の付与された画像に関してのみ色レイアウト指標量を用いた類似度演算を行い、類似する画像を類似度が高い順番に縮小画像で並べて表示しても良い。
【００５０】
以下、画像登録処理及び画像検索処理について詳細に説明する。
【００５１】
［画像登録処理］
図９は、第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートであり、図８に示す各モジュールのうち、画像の登録に関するモジュールの動作が記述されたソフトウエアを実行するところの、不図示のＣＰＵが行う処理手順を示す。
【００５２】
図９において、登録対象の画像として画像入力モジュール10702より入力された画像を、画像メモリ10703に一時記憶すると共に、その画像に対して、画像ＩＤを発行する(ステップＳ10801)。発行された画像ＩＤは、本画像検索装置において重複することが無いように管理する必要がある。
【００５３】
画像ＩＤが発行された画像に対して、色レイアウト指標量の抽出処理を施す(ステップＳ10802)。この処理の詳細については、図１１を参照して後述する。
【００５４】
ステップＳ10801にて発行した画像ＩＤと、ステップＳ10802にて算出した色レイアウト指標量とを対応付け（関連付け）した状態で、検索情報ＤＢ10706に格納する（ステップＳ10803）。更に、当該画像ＩＤと、登録対象の画像の縮小画像（ステップＳ10802にて生成された変倍画像）とを対応付け（関連付け）した状態で、検索情報ＤＢ10706に格納する(ステップＳ10804)。
【００５５】
画像メモリ10703に一時記憶している登録対象の画像を、画像蓄積モジュール10704に記憶すると共に、その画像ファイルを記憶した格納アドレスを、検索情報ＤＢ10706に格納する(ステップＳ10805)。
【００５６】
以上の画像登録処理により、検索情報ＤＢ10706には、登録対象の画像に関して、図１２に例示するスキーマの如くレコードが記憶される。
【００５７】
尚、上述したステップＳ10805の処理は、ステップＳ10801にて画像ＩＤを発行した後であれば何れのタイミングでも実行することができ、また、ステップＳ10804の処理も同様に、ステップＳ10801にて画像ＩＤを発行した後であれば何れのタイミングでも実行できる。従って、本実施形態における画像登録処理は、図９に示すフローチャートに限定されるものではない。但し、ステップＳ10801乃至ステップＳ10803の処理順序に関して、入れ替えはあってはならない。
【００５８】
＜色レイアウト指標量の抽出処理＞
次に、本実施形態において特徴的な色レイアウト指標量の抽出処理について説明する。この色レイアウト指標量の抽出処理は、登録対象の原画像を変倍した画像を生成するに際して、元の原画像の色レイアウトに忠実な変倍画像を実現するために行われる。
【００５９】
また、本実施形態において、JPEG圧縮画像、或いはMPEG(Moving Picture coding Experts Group)-1、MPEG-2およびMPEG-4のフレームの符号化は、所謂Y, Cb, Cr色空間で行われており、符号データを復号した時点で既に色変換が行わた状態である。
【００６０】
図１１は、第１の実施形態に係る画像登録処理において行われる色レイアウト指標量の抽出処理を示すフローチャートである。
【００６１】
同図において、登録対象の画像（JPEG圧縮画像）を、公知の手法によって復号する(ステップＳ11001)。即ち、JPEG圧縮画像を、Y, Cb, Cr色空間における輝度情報と、色差情報とに分解し、それぞれの情報に公知のＤＣＴ処理を施すことによって圧縮符号化を行う(ステップＳ11001)。従って、本実施形態において、逆ＤＣＴ処理を行った直後の情報は、各画素毎のY, Cb, Crの輝度情報と色差情報とによって構成されており、既にY, Cb, Cr色変換が行われた状態である。
【００６２】
本実施形態において、登録対象の原画像の縮小画像は、別途行われる画像検索の結果表示に使用される。このため、登録対象の原画像の縮小画像を検索情報ＤＢ10706に予め格納すべく、ステップＳ11001にて取得した画像データの変倍処理を行う(ステップＳ11002)。
【００６３】
ここで、ステップＳ11002における変倍処理について詳細に説明する。
【００６４】
従来技術として上述した[VWD4.0]もしくは[VXM7.0]では、原画像を分割した各ブロックに含まれる画素の平均色を計算することによって変倍画像を生成するため、原画像の構図情報が不明確になってしまうという問題がある。
【００６５】
これに対して、本実施形態では、図４に示すように、原画像を縦横に８分割することによってトータル６４個のブロック画像（以下、ブロック）に分割することは従来例と同じであるが、本実施形態における特徴的な手順として、以下に説明する方法を利用して各ブロックを代表する色を決定することにより、８×８の６４画素の変倍画像を生成する。
【００６６】
然るに、本実施形態の如く各ブロックの代表色によって変倍画像を生成すると、原画像には存在しない色が現れることが懸念される。この問題は、色空間における距離が互いに遠い色同士が同一ブロック内に存在する場合に特に顕著に現れる。例えば、日本の国旗である日の丸の変倍画像を平均色で生成した場合、白地と赤丸の両方にかかるブロックに関してはピンク色となり、元の画像の色レイアウトに忠実な変倍画像ではなくなってしまう。
【００６７】
そこで、本実施形態では、各ブロックをそのブロックに属する画素の平均色によって表わすのではなく、そのブロックをより良く（より忠実に）代表する色を求める処理を行う。
【００６８】
図６は、第１の実施形態における変倍画像の生成処理を示すフローチャートであり、原画像の色レイアウトに忠実な変倍画像を実現すべく、ステップＳ11002（図１１）にて行われる処理の詳細な手順を示す。
【００６９】
同図において、まず、Y, Cb, Cr色空間を複数の部分空間（小空間：以下、「ビン」と呼ぶ）に分けるためのデータをロードする(ステップＳ10501)。
【００７０】
図５は、Y, Cb, Cr色空間とビンとの関係を示す図であり、同一と見なす色を大まかに決めると共に、色のヒストグラムを求める階級を作るべく使用される。
【００７１】
但し、色空間をどのようなビンに分割するかは、実験によって定められるべきものであり、[VWD4.0]もしくは[VXM7.0]で定められているものがあればそれに従えば良い。
【００７２】
また、装置内部におけるビンの実態は、ＬＵＴ（Look Up Table）であろうと、数式や論理式であっても良い。
【００７３】
また、ステップＳ10501におけるデータロードのタイミングは、ヒストグラムを計算する前であれば良く、そのタイミングは限定されない。また、複数の画像の変倍画像を求める場合、ステップＳ10501におけるデータロードは、その画像毎に行う必要は無く、最初の画像を処理するときに一度読み込んでおけば良い。
【００７４】
次に、変倍画像を求める対象の原画像を読み込み(ステップＳ10502)、読み込んだ原画像を、図４に例示するように、縦横に８分割することによってトータル６４個のブロックに分割する(ステップＳ10503)。
【００７５】
ここで、対象とすべき原画像には、大別して、ポートレイト（縦長）画像、ランドスケープ（横長）画像、正方形画像の３種類があるが、各ブロックのサイズは、原画像の分割数に合わせて決定すれば良い。本実施形態では、図４に示す富士山のランドスケープ画像を利用する。原画像の縦あるいは横のサイズが８で割り切れない場合には、余りの画素を何れかのブロックに割り振るなどすれば良く、この端数による例外処理の方法は問わない。
【００７６】
次に、ステップＳ10504乃至ステップＳ10510において、各ブロックを構成する画素が色空間のどのビンに該当するかを求める。即ち、各ブロックの代表色を、ヒストグラム計算によって決定する。ステップＳ10504乃至ステップＳ10506は、カウンタＩに対してのループ処理であり、ステップＳ10507乃至ステップＳ10509は、カウンタＪに対してのループ処理をなしており、これらのループ処理により、８×８画素の各ブロックに対する代表色を決定する。
【００７７】
以下、各ブロックに対して代表色を求める処理(ステップＳ10510)の詳細を説明する。
【００７８】
図７は、第１の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【００７９】
同図において、まず、ステップＳ10601及びステップＳ10602では、原画像を分割することによって得られた各ブロックの画素がY, Cb, Cr色空間内のどのビンに該当するかを、ヒストグラム計算の結果に基づいて求める。
【００８０】
即ち、係る各ブロックのうち、今回の制御周期において対象としているブロック内の全画素に関して、図５に示す如くY, Cb, Cr色空間を構成する各ビンに対する頻度および各ビンの画素値の累積値を求め(ステップＳ10601)、その結果から、最も頻度の多いビン（以下、「最頻のビン」と称する）を決定する(ステップＳ10602)。
【００８１】
そして、最頻のビンが一意に定まる場合には(ステップＳ10603でＹＥＳの場合)、そのビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ10604)。
【００８２】
これに対して、最頻のビンが２つである場合(ステップＳ10605でＹＥＳの場合)には、それら２つのビンがY, Cb, Cr色空間内において隣接しているかどうか判断する(ステップＳ10606)。この判断の結果、当該２つのビンが隣接している場合(ステップＳ10606でＹＥＳの場合)には、それら隣接する２つのビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ10607)。
【００８３】
尚、複数のビンが互いに隣接しているかどうかを判断する方法としては、各ビンについて隣接する他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何学関係を予めビンのＩＤを用いて数式で関係付ける等の方法があるが、その実現方法は問わない。
【００８４】
また、最頻のビンが２つであり、その２つのビンが互いに隣接しない場合(ステップＳ10606でＮＯの場合)には、それら２つのビンに隣接する他の複数のビン群を１つのビンとして統合する（以下、統合されたビンを「統合ビン」と称する）として設定すると共に、その統合ビンの頻度とすべく、統合された複数のビンの頻度を足す(ステップＳ10608)。
【００８５】
ステップＳ10609では、統合するビンが存在しないかをチェックすることにより、無限ループに陥らないための判断を行う。そして、ステップＳ10608においてビンの統合を行えたとき(ステップＳ10609でＹＥＳの場合)には、ステップＳ10603乃至ステップＳ10609の処理を再帰的に行うことにより、最頻の統合ビンを求めることができる。そして、この統合ビンに該当する画素の平均色を求め、この平均色を、対象とするブロックの代表色とする。
【００８６】
更に、最頻のビンが３つ以上の場合(ステップＳ10605でＮＯの場合)には、それらのビンに隣接する他のビン群を統合することによって頻度を足し(ステップＳ10608)、ステップＳ10603乃至ステップＳ10609の処理を再帰的に行うことによって最頻の統合ビンを求める。そして、この統合ビンに該当する画素の平均色を求め、この平均色を、対象とするブロックの代表色とする。
【００８７】
ここで、再帰処理の具体的な処理を説明すると、まず各最頻のビンに隣接するビンを探し、そのビンと最頻のビンとが隣接している場合にはこれら２つのビンを統合することによって１つの最頻の統合ビンとする(ステップＳ10608)。
【００８８】
従って、全ての最頻のビンが隣接していれば、最終的には、１つの統合ビンが得られる(ステップＳ10603のＹＥＳの場合)ので、得られた統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色とする(ステップＳ10604)。
【００８９】
これに対して、全ての最頻ビンが隣接していない場合には、ビンの統合処理(ステップＳ10608)と、最頻の統合ビンを求める処理(ステップＳ10602)とを、最頻の統合ビンが１つになるか(ステップＳ10603でＹＥＳの場合)、或いは２つの最頻のビンが隣接する(ステップＳ10606でＹＥＳの場合)まで再帰的に行う。そして、ステップＳ10604において、得らえた最頻の統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色とする。
【００９０】
尚、最後まで最頻ビンが定まらない場合(ステップＳ10609でＮＯの場合)には、ブロック全体の画素の平均色を求め、その平均色を、対象とするブロックの代表色とする。
【００９１】
また、上述した説明において、最頻のビンが２つであり、その２つのビンが隣接しない場合に代表色を決定する際には、最大の頻度となる統合ビンを求め、その統合ビンに該当する画素の平均値を対象とするブロックの代表色とした。しかしながら、本願出願人による実験によれば、対象とするブロックの代表色として、大元の小空間（ビン）であるところの、統合前の初期の最頻ビンに該当する画素の平均値を採用しても、良好な結果が得られることが判っており、この方法で分割ブロックの代表色を決定しても良い。
【００９２】
以上説明した処理を、６４個の全てのブロックに施すことにより、原画像の色のレイアウトを忠実に保った変倍画像の生成が可能となる。
【００９３】
尚、変換された色空間上でヒストグラムを計算し、色変換処理後の変倍画像を生成する方法が考えられる。例を挙げると、圧縮符号化は通常の場合、色空間変換を行った後に行われる。実際、JPEG画像であっても、MPEG動画中のフレーム画像であっても、画像圧縮は、Y, Cb, Cr色空間上でＤＣＴ変換を行っており、復号のために逆ＤＣＴを行うことによってY, Cb, Cr色空間上での値が得られ、これをＲＧＢ色空間に変換することにより、人間の視覚にとって自然な色で表示される。
【００９４】
ここで、図１１の説明に戻る。以降、係数を選択するまでの各ステップの処理は、図１を参照して説明した従来の手順と同様であるため、図１に示す図面の参照番号を参照して説明する。
【００９５】
ステップＳ11003では、生成された８×８画素のブロック画像（10011, 10012, 10013）を構成する各画素を、Y, Cb, Cr色空間データ（10021, 10022, 10023）に変換する。
【００９６】
ステップＳ11004では、Y, Cb, Cr色空間の各成分データ10021, 10022, 10023に対して、一般的なＤＣＴ処理を施すことにより、ＤＣＴ係数10031, 10032, 10033を求める。
【００９７】
ステップＳ11005では、ＤＣＴ係数10031, 10032, 10033に対して、量子化処理を施す。量子化処理は、例えば[VWD4.0]によれば、Y成分とCb/Cr成分それぞれについて、ＤＣ成分とＡＣ成分とで異なる処理をしている。
【００９８】
そして、ステップＳ11006では、量子化ＤＣＴ係数10041, 10042, 10043のうち低周波数成分側から幾つかの係数を選択する。図１に示す例では、Y成分の係数に関しては６個（１００５１）、Cb/Cr成分の係数に関しては３個ずつ（１００５２，１００５３）選択されている。
【００９９】
ステップＳ11006における係数の選択は、図２に例示するように、８×８画素の如く２次元に配置された係数を、ジグザグスキャンによって１次元に並び替え、その先頭から幾つかを選択することによって実現される。ここで、図２の各ブロックに書かれている１から６４の数字は、１次元に並び替えられた後にその係数が先頭から何番目に配置されるかを示す数字である。そして、選択した係数を、低周波成分側から順に取り出す。[VWD4.0]によれば、取り出すべき係数の数は、1, 3, 6, 10, 15, 21, 28, 64の何れかである。
【０１００】
また、係数の数は、Cb成分係数とCr成分係数に関しては同数であるが、Y成分係数の数とCb/Cr成分係数の数とには、別々の数を設定可能である。[VWD4.0]によれば、デフォルトではY成分係数に関して６個、Cb/Cr成分係数に関しては３個の係数が選択される。選択された係数10051, 10052, 10053をもって、原画像10001における色レイアウトの特徴を表わすところの、色レイアウト指標量とする。
【０１０１】
上記の如く算出された色レイアウト指標量は、図１２に例示するように、画像ＩＤと関連付けされて検索情報ＤＢ10706に格納される。
【０１０２】
図１２は、第１の実施形態における検索情報ＤＢ内のレコードのスキーマを例示する図である。
【０１０３】
同図に示すように、検索情報ＤＢ10706では、各原画像に関して、画像識別番号（ＩＤ）、その画像ファイルの格納アドレス、縮小画像（変倍画像）データ、色レイアウト指標量、並びにその他の画像属性情報が関連付けされて記憶される。このように各データアイテムが関連付けされた状態で記憶されることにより、後述する画像検索処理（図１０）を効率的に実現することができる。即ち、色レイアウトの特徴を表わす指標量である色レイアウト指標量を利用して、利便性の高い画像検索を実現することができる。
【０１０４】
尚、色レイアウト指標量を利用して、縮小画像を検索及び表示するだけであれば、検索情報ＤＢ10706には、少なくとも原画像の縮小画像（変倍画像）と、その原画像の色レイアウト指標量とが関連付けされたデータ構造を採用すれば良い。
【０１０５】
このように、本実施形態では、原画像の変倍画像を生成するに際して、ブロック内の画素のヒストグラムを色空間上のビンを基準として算出し、最頻のビンに該当する画素の平均値に従って色を決定するので、原画像の特徴を効率良く表わすと共に、原画像の色レイアウトに忠実な変倍画像を生成することができる。更に、原画像の画像構図情報を保った色レイアウト指標量を生成することができる。
【０１０６】
尚、上述した説明においては、最頻のビンが２つであって、その２つのビンが隣接しない場合に代表色を決定する際には、最大の頻度となる統合ビンを求め、統合されたビンに該当する画素の平均値を対象とするブロックの代表色とした。しかしながら、本願出願人による実験によれば、対象とするブロックの代表色として、大元の小空間（ビン）であるところの、統合前の初期の最頻ビンに該当する画素の平均値を採用しても、良好な結果が得られることが判っており、この方法で分割ブロックの代表色を決定しても良い。
【０１０７】
［画像検索処理］
次に、本実施形態に係る画像検索装置における画像検索処理について説明する。
【０１０８】
図１０は、第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートであり、図８に示す各モジュールのうち、画像の検索に関するモジュールの動作が記述されたソフトウエアを実行するところの、不図示のＣＰＵが行う処理手順を示す。
【０１０９】
画像検索処理では、上述した画像登録処理によって画像蓄積モジュール10704に予め格納された全ての原画像（以下、登録画像と称する場合がある）に関して、それらの画像の色レイアウト指標量が検索情報ＤＢ10706に用意されていることが必要とされる。
【０１１０】
まず、ステップＳ10901では、ユーザ・インタフェースモジュール10701においてオペレータが画像検索を行うモードを選択するのに応じて、全ての登録画像の色レイアウト指標量を、検索情報ＤＢ10706からメモリに読み込む。
【０１１１】
ここで、色レイアウト指標量の読み込みは、画像検索が実行される度に行うのではなく、初回の検索時、或いはシステム起動時に一回だけ行うように構成すると良い。
【０１１２】
検索条件指示モジュール10707においてオペレータによって選択された画像（以下、検索対象画像）を、類似画像の検索のための元画像として設定する(ステップＳ10902)。本ステップにおける画像選択の態様としては、例えば、ディスプレイ上に複数の縮小画像をタイル状にランダムに並べて、それら縮小画像の中から所望のものを選択する等が挙げられる。その場合、画像ＩＤの乱数を生成して、対応する画像ＩＤに相当する縮小画像を、検索情報ＤＢ10706から読み出して表示すれば良い。
【０１１３】
オペレータが選択した画像に対応する画像ＩＤをキーとして、その画像ＩＤに関連付けされている色レイアウト指標量を、検索情報ＤＢ10706から取り出す(ステップＳ10903)。
【０１１４】
類似度演算モジュール10708により、ステップＳ10903にて取得した検索対象画像の色レイアウト指標量と、ステップＳ10901にて読み込んだ全ての登録画像の色レイアウト指標量とを利用して、上記の数１によって類似度Ｄを計算する(ステップＳ10904)。例えば、２つの画像の色レイアウト指標量が、CLD1(YCoeff, CbCoeff, CrCoeff)、CLD2(YCoeff', CbCoeff', CrCoeff')である場合に、それら２つの特徴量の間の類似度Ｄは、[VXM7.0]の規定に従って数１により算出することができる。数１において、λは各係数に関する重み付けであり、[VXM7.0]には、表１のような重み付け値が示されている。表１において値が示されていないものについては、重み付け値は１である。
【０１１５】
検索結果表示モジュール10709により、ステップＳ10904にて算出した類似度Ｄに応じて、例えば昇順に(即ち、類似度の低い順に)画像ＩＤをソートし(ステップＳ10905)、ソートした画像ＩＤに対応する縮小画像を、検索情報ＤＢ10706から読み込んでディスプレイ（不図示）に表示する(ステップＳ10906)。ここで、昇順としたのは、数１の数式を見れば判るように、似ているものほど値が０に近く、似ていないものほどその値が大きくなるからである。
【０１１６】
上記の画像検索処理によれば、オペレータが指定した検索対象画像に類似する縮小画像を、その類似度が高い順番で一覧表示することが可能となる。このとき、オペレータは、一覧表示された縮小画像の中に気に入ったものが有れば、ユーザ・インタフェースモジュール10701を介してその所望の縮小画像を選択する。その際、検索結果表示モジュール10709は、オペレータの選択操作によって選択された縮小画像の画像ＩＤをキーとして検索情報ＤＢ10706を参照することにより、対応する格納アドレス情報を取得すると共に、取得した格納アドレス情報に従って画像蓄積モジュール10704に格納されている画像データを読み出し、ディスプレイ上に表示する。
【０１１７】
【第２の実施形態】
次に、上述した第１の実施形態に係る画像検索装置を基本とする第２の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【０１１８】
本実施形態では、上述した第１の実施形態における変倍画像の生成処理にて行われたブロック代表色の算出処理(図７)とは異なる手順により、原画像を分割することによって得られた各ブロックに対して代表色を求める処理(ステップＳ10510)を実現する。
【０１１９】
図１３は、第２の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートであり、この処理は、本実施形態においても、当該各ブロックに対して行われる。
【０１２０】
同図において、まず、係る各ブロックのうち、今回の制御周期において対象としているブロック内の全画素に関して、そのブロックの画素がY, Cb, Cr色空間内のどのビンに該当するかを、ヒストグラム計算の結果に基づいて求める(ステップＳ11301)。即ち、ステップＳ11301では、対象としているブロックを構成する全画素に関して、図５に示す如くY, Cb, Cr色空間を構成する各ビンに対する頻度および各ビンの画素値の累積値を求めるヒストグラム計算を行なう。
【０１２１】
そして、このヒストグラム計算の結果を利用して、最頻のビン（即ち、図７の場合と同様に、最も頻度の多いビン）と、その最頻のビンの頻度との差（差分）が予め定められた閾値以上のビン（以下、第２ビンと称する）とを求める(ステップＳ11302)。ここで、第２ビンは、例えば、最頻のビンの次に頻度の高いビンである。
【０１２２】
そして、ステップＳ11303でＮＯの場合（即ち、最頻のビンが唯一存在するだけであり、第２ビンは存在しない場合）には、ステップＳ11302にて求められた最頻のビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ11304)。
【０１２３】
これに対して、ステップＳ11303でＹＥＳの場合には、ステップＳ11305に進む。即ち、ステップＳ11303にて最頻のビンと第２ビンとが存在すると判断されたので、ステップＳ11305では、その最頻のビンと第２ビンとが、Y, Cb, Cr色空間内において全て隣接した状態であるかどうか判断する。
【０１２４】
そして、ステップＳ11305でＹＥＳの場合（即ち、最頻のビンと第２ビンとが隣接している場合）には、当該第２ビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ11306)。
【０１２５】
一方、ステップＳ11305でＮＯの場合（即ち、最頻のビンが複数である場合、或いは、最頻のビンと第２ビンとが全て隣接している訳ではない場合)には、それらのビンに対して隣接する他の複数のビン（第３ビン）群を、統合ビン（即ち、図７の場合と同様に、１つのビンとして統合された複数のビン）として設定すると共に、その統合ビンの頻度とすべく、統合された複数のビンの頻度を足す(ステップＳ11307)。
【０１２６】
尚、複数のビンが互いに隣接しているかどうかを判断する方法としては、各ビンについて隣接する他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何学関係を予めビンのＩＤを用いて数式で関係付ける等の方法があるが、その実現方法は問わない。
【０１２７】
ステップＳ11308では、統合すべきビンが存在しないかをチェックすることにより、無限ループに陥らないための判断を行う。ステップＳ11307においてビンの統合を行えたとき(ステップＳ11308でＹＥＳの場合)には、ステップＳ11303乃至ステップＳ11308の処理を再帰的に行うことにより、最終的には、ステップＳ11302において最頻の統合ビンを求めることができる。従って、この場合は、ステップＳ11304において、この統合ビンに該当する画素の平均色を求め、この平均色を、対象とするブロックの代表色とする。
【０１２８】
ここで、再帰処理の具体的な処理を説明する。まず、ステップＳ11305において各最頻のビンを基準として、それら最頻のビンと第２ビンに隣接するビン（以下、第３ビン）が存在するかを探す。
【０１２９】
そして、ステップＳ11305でＹＥＳの場合には、最終的に１つの統合ビンが得られるので、得られた統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色とする(ステップＳ11306)。
【０１３０】
これに対して、ステップＳ11305でＮＯの場合には、上記の第３ビン群が存在するので、当該最頻のビンと、第３ビンとを統合することによって１つの統合ビンとする統合処理（ステップＳ11307）と、最頻の統合ビンを求める処理(ステップＳ11302)とを、最頻のビンが唯一で且つ最頻の統合ビンとの頻度の差が閾値未満となるビンが存在しなくなるまで(ステップＳ11303でＮＯの場合)、或いは、最頻のビンと第３ビンが互いに全て隣接(ステップＳ11305でＹＥＳの場合)まで再帰的に行う。そして、ステップＳ11304では、得らえた最頻の統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色に決定する。
【０１３１】
尚、最後まで最頻のビンが唯一でない或いは最頻の統合ビンと頻度の差が閾値未満となるビンが存在する場合(ステップＳ11308でＮＯの場合)には、ブロック全体の画素の平均色を求め、その平均色を、対象とするブロックの代表色とする。
【０１３２】
また、上述した本実施形態において、ステップＳ11305でＮＯの場合には、唯一存在し且つ最大の頻度となる統合ビンを求め、その統合ビンに該当する画素の平均値を対象とするブロックの代表色とした。しかしながら、本願出願人による実験によれば、対象とするブロックの代表色として、大元の小空間（ビン）であるところの、統合前の初期の最頻ビンに該当する画素の平均値を採用しても、良好な結果が得られることが判っており、この方法で分割ブロックの代表色を決定しても良い。
【０１３３】
尚、再帰処理における最頻のビンとの頻度差の判断に使用する閾値に関しては、初回の閾値と値を変えてもよく、例えば再帰処理においてはこの閾値を１とすることにより、単なる大小比較判定とすることも可能である。
【０１３４】
また、再帰処理の回数に応じて、最頻のビンとの頻度差の判断に使用する閾値の大きさを変化させても良く、例えば、再帰処理回数が増えると閾値を減少させれば、統合するビンが減少していくことによって頻度差が増えて行かない場合にも対処可能となる。
【０１３５】
以上説明した処理を、６４個の全てのブロックに施すことにより、第１の実施形態と同様に、原画像の色のレイアウトを忠実に保った変倍画像の生成が可能となる。
【０１３６】
【第３の実施形態】
次に、上述した第１及び第２の実施形態に係る画像検索装置を基本とする第３の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【０１３７】
本実施形態では、第２の実施形態において説明した処理手順を基本として、更に異なる方法で、各ブロックに対して代表色を求める処理(ステップＳ10510)を実現する。
【０１３８】
図１４は、第３の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【０１３９】
第２の実施形態（図１３）では、最頻のビンと、その頻度との「差」が予め定められた閾値以上のビンを「第２ビン」としたのに対して、本実施形態では、同図に示すように、最頻のビンと、その最頻のビンに対する「頻度の比率（或いは割合）」が予め定められた閾値以上であるビンを「第２ビン」とする点が異なるが、処理の手順は同様であるため、詳細な説明は省略する。
【０１４０】
尚、本実施形態において、第２ビンは、例えば、最頻のビンの次に頻度の高いビンである。
【０１４１】
このような本実施形態によっても、第１の実施形態と同様に、原画像の色のレイアウトを忠実に保った変倍画像の生成が可能となる。
【０１４２】
＜実施形態の変形例＞
上述した各実施形態では、画像入力モジュール10702にて取得した画像を画像蓄積モジュール10704に記憶し、検索情報ＤＢ10706に格納される画像ＩＤを仲立ちとして、対応する色レイアウト指標量と対応付けしたが、登録画像は必ずしも画像蓄積モジュール10704に記憶する必要は無く、例えばインターネットサーバ上に画像の実体が存在し、検索情報ＤＢ10706に記述する画像のアドレスは、そのサーバのインターネットアドレスでも良い。
【０１４３】
また、上述した実施形態では、画像検索処理に関して、検索対象画像を選択し、その画像に類似する縮小画像を類似度が高い順番に並べて表示したが、検索対象画像を手書きのスケッチで与え、その手書き画像の色レイアウト指標量を算出し、その色レイアウト指標量と登録画像の色レイアウト指標量とから類似する画像を検索する実施形態も想定される。
【０１４４】
また、画像蓄積モジュール10704に登録していない画像を指示し、その画像の色レイアウト指標量を算出してから、類似画像を検索する実施形態も想定される。
【０１４５】
また、上述した実施形態では、類似画像の検索結果として縮小画像の一覧表示するときに、画像蓄積モジュール10704中のフィールドに縮小画像を格納したがその保持の仕方に限定は無く、ファイルの形態で存在し、画像ＩＤあるいは原画像のデータファイルと対応が取れるようにしても良い。
【０１４６】
更に、本実施形態における画像の変倍処理によれは、人が見て良質な縮小画像を作成することが可能であり、８×８画素の固定サイズのブロック画像ではなく、原画像の縦横サイズに応じた異なるサイズへのブロック分割を行うと共に、分割によって得られた各ブロック画像に対して、上記の如く代表色を決定しても良い。
【０１４７】
【他の実施形態】
上述した各実施形態を例に説明した本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１４８】
尚、本発明は、前述した各実施形態において説明したフローチャートの機能を実現するソフトウェアのプログラムを、上述した画像検索装置として動作するシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【０１４９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１５１】
プログラムを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明のクレームに含まれるものである。
【０１５３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１５５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１５６】
【発明の効果】
上記の本発明によれば、変倍対象の画像の特徴を良く表わす変倍画像を生成する変倍画像生成装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供が実現する。
【０１５７】
また、本発明によれば、画像の色レイアウトの特徴を良く表わす特徴量（指標量）を算出する画像特徴算出装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供が実現する。
【図面の簡単な説明】
【図１】色レイアウト指標量の抽出処理の流れを説明する図である。
【図２】係数選択のためのジグザグスキャン処理を説明する図である。
【図３】従来における色レイアウト指標量の抽出処理を示すフローチャートである。
【図４】登録すべき原画像と、その分割状態を例示する図である。
【図５】 Y, Cb, Cr色空間とビンとの関係を示す図である。
【図６】第１の実施形態における実施形態における変倍画像の生成処理を示すフローチャートである。
【図７】第１の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【図８】第１の実施形態に係る画像検索装置の機能構成を示すブロック図である。
【図９】第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートである。
【図１０】第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートである。
【図１１】第１の実施形態に係る画像登録処理において行われる色レイアウト指標量の抽出処理を示すフローチャートである。
【図１２】第１の実施形態における検索情報ＤＢ内のレコードのスキーマを例示する図である。
【図１３】第２の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【図１４】第３の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【発明の属する技術分野】
本発明は、原画像（入力画像）の特徴量を求め、その特徴量を利用する画像処理の分野に関し、特に、原画像を変倍する画像処理の分野に関する。
【０００２】
【従来の技術】
従来より、原画像の特徴量を求め、その特徴量を利用して各種の画像処理が行われている。
【０００３】
このような原画像の特徴量の求め方の一例としては、まず、変倍目標である縦×横の画素数（以下、縦横画素数）で原画像（入力画像）を分割すると共に、分割によって生成された複数のブロック画像内の画素（画素値）の平均値を算出することによって当該原画像の変倍画像を生成する。そして、生成された変倍画像に対して公知の離散コサイン変換(以下、ＤＣＴ)処理と量子化処理とを施し、その結果得られた係数のうち、低周波成分側から幾つかの係数が、当該原画像の特徴量として取り出される。取り出された特徴量は、例えば、画像検索に用いるデータに使用することができる（ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual Working Draft 4.0" ( [VWD4.0]）、あるいは、ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual part of eXperimentation Model Version 7.0" ( [VXM7.0]))。
【０００４】
ここで、上記従来の特徴量の抽出手順について説明する。図１は、色レイアウト指標量の抽出処理の流れを説明する図であり、[VWD4.0]もしくは[VXM7.0]に記載されている手順を示す。また、図３は、従来における色レイアウト指標量の抽出処理を示すフローチャートである。
【０００５】
図１及び図３において、まず、原画像10001を、８×８画素の複数のブロック画像に変倍する(ステップＳ10201)。原画像の変倍画像を生成するに際しては、変倍目標の縦横画素数で原画像を分割することによって得られたブロック内の画素の平均値が利用される。
【０００６】
次に、生成された８×８画素のブロック画像（10011, 10012, 10013）を構成する各画素を、Y, Cb, Cr色空間データ（10021, 10022, 10023）に変換する(ステップＳ10202)。
【０００７】
次に、Y, Cb, Cr色空間の各成分データ10021, 10022, 10023に対してＤＣＴ処理を施す(ステップＳ10203)ことにより、ＤＣＴ係数10031, 10032, 10033を取得し、更にＤＣＴ係数10031, 10032, 10033に対して量子化を施す(ステップＳ10204)。
【０００８】
ここで、[VWD4.0]もしくは[VXM7.0]では、上記の画像変倍処理、色変換処理、ＤＣＴ変換処理は公知の手法で良いとされ、特に標準化されていない。
【０００９】
また、[VWD4.0]もしくは[VXM7.0]では、画像変倍処理に関して、単純に原画像を８×８画素のブロックに分割し、夫々のブロック内の画素の平均色を採ることを推奨している。例えば、[VWD4.0]によれば、量子化処理は、Y成分、並びにCb/Cr成分のそれぞれについて、ＤＣ成分とＡＣ成分とで異なる処理が行われる。
【００１０】
次に、量子化処理の結果得られた量子化ＤＣＴ係数10041, 10042, 10043のうち、低周波数成分側から幾つかの係数を選択する(ステップＳ10205)。図１に示す例では、Y成分の係数に関しては６個（１００５１）、Cb/Cr成分の係数に関しては３個ずつ（１００５２，１００５３）選択されている。
【００１１】
図２は、係数選択のためのジグザグスキャン処理を説明する図である。ステップＳ10205における係数の選択は、同図に例示するように、８×８画素の如く２次元に配置された係数を、ジグザグスキャンによって１次元に並び替え、その先頭から幾つかを選択することによって実現される。ここで、図２の各ブロックに書かれている１から６４の数字は、１次元に並び替えられた後にその係数が先頭から何番目に配置されるかを示す数字である。
【００１２】
[VWD4.0]によれば、係数選択において取り出すべき係数は、1, 3, 6, 10, 15, 21, 28, 64の何れかである。また、係数の数は、Cb成分係数とCr成分係数とに関しては同数であるが、Y成分係数の数とCb/Cr成分係数との数には、別々の数を設定可能である。[VWD4.0]によれば、デフォルトではY成分係数に関して６個、Cb/Cr成分係数に関しては３個の係数を選択する。即ち、選択された係数10051, 10052, 10053をもって、原画像10001の色のレイアウトを表わす特徴データ（色レイアウト指標量：Color Layout descriptor value）とする。
【００１３】
また、複数の画像について上記の如く算出した色レイアウト指標量を利用すれば、類似画像の検索を行うことができる。この特徴データ間の類似度については、[VXM7.0]によれば以下の如く算出される。例えば、２つの画像の色レイアウト指標量CLD1(YCoeff, CbCoeff, CrCoeff)と、CLD2(YCoeff', CbCoeff', CrCoeff')との間の類似度Ｄは、数１で算出される。
【００１４】
【数１】
数１において、λは各係数に関する重み付けであり、[VXM7.0]には、表１のような重み付け値が示されている。表１において値が示されていないものについては、重み付け値は１である。
【００１６】
【表１】
【発明が解決しようとする課題】
しかしながら、上記従来の特徴量の抽出方法においては、ステップＳ10201において原画像の変倍画像を生成するに際して、変倍目標の縦横画素数で原画像を分割することによって得られたブロック内の画素の平均値を利用するため、原画像の構図情報が不明確になってしまう。
【００１８】
更に、上述した如く変倍画像に対してＤＣＴ処理を施して得られた量子化係数の低周波成分側から幾つかの係数を取り出すため、原画像のトータルな系に対する平滑化作用が強く効き過ぎてしまい、原画像の構図情報が更に不明確になってしまうという問題がある。
【００１９】
そこで本発明は、変倍対象の画像の特徴を良く表わす変倍画像を生成する変倍画像生成装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供を第１の目的とする。
【００２０】
また、画像の色レイアウトの特徴を良く表わす特徴量（指標量）を算出する画像特徴算出装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供を第２の目的とする。
【００２１】
【課題を解決するための手段】
上記の第１の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
【００２２】
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接する場合に、それら２つの小空間に属する画素の平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする。
【００２３】
本発明の第２の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは最も頻度の高い小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記統合判断手段によって統合できると判断された場合に、前記小空間群を１つに統合することにより、統合小空間を生成する小空間統合手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、最も頻度の高い統合小空間を再帰的に算出すると共に、その最も頻度の高い統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定手段と
を備えることを特徴とする。
【００２４】
本発明の第３の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算手段と、
前記演算手段による演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素と、その第１小空間の次に頻度の高い第２小空間に属する画素との差分が第１閾値より小さい場合、或いは、該差分が前記対象ブロックを構成する総画素数に対する第２閾値より小さい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備えることを特徴とする。
【００２６】
本発明の第４の目的を達成するため、本発明に係る変倍画像生成装置は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算手段と、
前記演算手段による演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素に対して、次に頻度の高い第２小空間に属する画素の比率または割合が第１閾値より大きい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、前記第１小空間に属する画素に対する比率または割合が第５閾値以下である単数または複数の第５小空間が存在する場合に、これらの小空間に対して隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記統合判断手段によって統合できると判断された場合に、前記第１及び第４小空間と、前記他の小空間群とからなる１つの統合小空間を生成する小空間統合手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、前記第１小空間が唯一であり、且つ、最も頻度の高い第１統合小空間に属する画素に対して、次に頻度の高い第２統合小空間に属する画素の比率または割合が固定或いは再帰処理の回数に応じて変化する第６閾値より小さいという条件を満足するところの、最も頻度の高い統合小空間を再帰的に算出すると共に、その統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定手段と
を備えることを特徴とする。
【００２７】
本発明の第５の目的を達成するため、本発明に係る変倍画像生成方法は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備え、
前記色決定工程では、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接する場合に、それら２つの小空間に属する画素の平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする。
【００２８】
本発明の第６の目的を達成するため、本発明に係る変倍画像生成方法は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備え、
前記色決定工程は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは最も頻度の高い小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断工程と、
前記統合判断工程にて統合できると判断した場合に、前記小空間群を１つに統合することにより、統合小空間を生成する小空間統合工程と、
前記小空間統合工程にて生成した統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、最も頻度の高い統合小空間を再帰的に算出すると共に、その最も頻度の高い統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定工程と
を備えることを特徴とする。
【００２９】
本発明の第７の目的を達成するため、本発明に係る変倍画像生成方法は、以下の構成を特徴とする。
即ち、複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算工程と、
前記演算工程における演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素と、その第１小空間の次に頻度の高い第２小空間に属する画素との差分が第１閾値より大きい場合、或いは、該差分が前記対象ブロックを構成する総画素数に対する第２閾値より大きい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備えることを特徴とする。
【００３５】
また、上記の変倍画像生成方法を、コンピュータにおいて実現することが可能な動作指示をなすコンピュータプログラム、並びにそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても上記の目的は達成される。
【００３６】
【発明の実施の形態】
以下、本発明に係る画像検索装置の一実施形態を、図面を参照して詳細に説明する。本実施形態において、当該画像検索装置は、大別して、装置内に画像の登録を行う機能を有すると共に、登録されている複数の画像の中から所望の検索対象の画像に類似する画像を検索する機能を有する。
【００３７】
【第１の実施形態】
図８は、第１の実施形態に係る画像検索装置の機能構成を示すブロック図である。
【００３８】
同図において、10701は、画像検索処理と画像登録処理とをオペレータが切り替え可能なユーザ・インタフェースモジュールである。10702は、スキャナ、デジタルカメラ、或いは通信ネットワーク等を介して画像（例えば、JPEG圧縮画像データ）を取り込む画像入力モジュールである。10703は、後述する色レイアウト指標量（Color Layout descriptor）演算の実行に先立って、原画像を一時的に蓄積する画像メモリである。10704は、画像入力モジュール10702を介して入力された複数の画像を、ハードディスク装置等の記憶装置や携帯可能な記憶媒体に蓄積する画像蓄積モジュールである。
【００３９】
また、10705は、本実施形態において特徴的な色レイアウト指標量の算出を行う色レイアウト指標量演算モジュールである。10706は、算出された色レイアウト指標量、原画像の格納アドレス情報、並びにその他の属性情報を格納する検索情報ＤＢである。10707は、類似画像の検索を行うに際して検索対象となる画像等をオペレータが指示可能な検索条件指示モジュールである。10708は、類似度を計算する類似度演算モジュールである。10709は、検索結果をディスプレイ（不図示）に表示する検索結果表示モジュールである。
【００４０】
尚、本実施形態において、モジュールとは、当該画像検索装置が実行可能なある機能単位を示しており、ハードウエア単体で実現する場合、或いはハードウエア及びソフトウエアによって実現する場合が想定される。
【００４１】
また、図８に示す機能構成を備える画像検索装置は、例えばパーソナルコンピュータ等の単体の情報処理装置によっても、或いは、クライアント・サーバ環境の如く複数台の情報処理装置が各種の通信回線を介して連携して動作するシステムによっても実現可能である。係る情報処理装置の装置構成には、現在では一般的なものを採用することができるので、本実施形態における詳細な説明は省略する。
【００４２】
このような機能構成を備える本実施形態の画像検索装置では、画像登録処理と画像検索処理とが行われる。ここで、その処理について概説する。
【００４３】
・画像登録処理：
画像入力モジュール10702によって取得した画像（原画像）は、画像蓄積モジュール10704に格納されると共に、後述する色レイアウト指標量の演算のために画像メモリ10703に一時的に蓄積される。
【００４４】
画像メモリ10703に一時的に蓄積された画像に関して色レイアウト指標量演算モジュール10705によって算出された色レイアウト指標量は、検索情報ＤＢ10706に格納される。
【００４５】
色レイアウト指標量は、当該画像検索装置において一義的に発行される画像識別情報（以下、画像ＩＤ）を仲立ちとして、画像蓄積モジュール10704内に格納された画像と対応付け（関連付け）される。
【００４６】
検索結果表示モジュール10709で用いられる検索結果表示用の縮小画像は、検索情報ＤＢ10706に格納される。この縮小画像は、例えば公知のJPEG(Joint Photographic Experts Group)圧縮を行った画像である。
【００４７】
・画像検索処理：
類似画像を検索すべくオペレータによって検索条件指示モジュール10707にて選択された画像（検索対象画像）は、その画像に類似する画像を検出すべく、類似度演算モジュール10708により、画像蓄積モジュール10704に格納されている全ての画像との類似度Ｄが算出される。
【００４８】
類似度Ｄの算出には、検索対象画像の色レイアウト指標量と、検索情報ＤＢ10706に格納されている色レイアウト指標量とが利用される。検索結果表示モジュール10709は、算出された類似度Ｄが高い順番に、検索情報ＤＢ10706に格納されている縮小画像を並べて表示する。
【００４９】
尚、検索情報ＤＢ10706には、上記のデータ項目に加えて、キーワードや撮影日時等の属性情報を記憶しても良い。この場合、画像検索に際しては、属性情報と類似画像検索との論理積演算を行い、所定の属性の付与された画像に関してのみ色レイアウト指標量を用いた類似度演算を行い、類似する画像を類似度が高い順番に縮小画像で並べて表示しても良い。
【００５０】
以下、画像登録処理及び画像検索処理について詳細に説明する。
【００５１】
［画像登録処理］
図９は、第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートであり、図８に示す各モジュールのうち、画像の登録に関するモジュールの動作が記述されたソフトウエアを実行するところの、不図示のＣＰＵが行う処理手順を示す。
【００５２】
図９において、登録対象の画像として画像入力モジュール10702より入力された画像を、画像メモリ10703に一時記憶すると共に、その画像に対して、画像ＩＤを発行する(ステップＳ10801)。発行された画像ＩＤは、本画像検索装置において重複することが無いように管理する必要がある。
【００５３】
画像ＩＤが発行された画像に対して、色レイアウト指標量の抽出処理を施す(ステップＳ10802)。この処理の詳細については、図１１を参照して後述する。
【００５４】
ステップＳ10801にて発行した画像ＩＤと、ステップＳ10802にて算出した色レイアウト指標量とを対応付け（関連付け）した状態で、検索情報ＤＢ10706に格納する（ステップＳ10803）。更に、当該画像ＩＤと、登録対象の画像の縮小画像（ステップＳ10802にて生成された変倍画像）とを対応付け（関連付け）した状態で、検索情報ＤＢ10706に格納する(ステップＳ10804)。
【００５５】
画像メモリ10703に一時記憶している登録対象の画像を、画像蓄積モジュール10704に記憶すると共に、その画像ファイルを記憶した格納アドレスを、検索情報ＤＢ10706に格納する(ステップＳ10805)。
【００５６】
以上の画像登録処理により、検索情報ＤＢ10706には、登録対象の画像に関して、図１２に例示するスキーマの如くレコードが記憶される。
【００５７】
尚、上述したステップＳ10805の処理は、ステップＳ10801にて画像ＩＤを発行した後であれば何れのタイミングでも実行することができ、また、ステップＳ10804の処理も同様に、ステップＳ10801にて画像ＩＤを発行した後であれば何れのタイミングでも実行できる。従って、本実施形態における画像登録処理は、図９に示すフローチャートに限定されるものではない。但し、ステップＳ10801乃至ステップＳ10803の処理順序に関して、入れ替えはあってはならない。
【００５８】
＜色レイアウト指標量の抽出処理＞
次に、本実施形態において特徴的な色レイアウト指標量の抽出処理について説明する。この色レイアウト指標量の抽出処理は、登録対象の原画像を変倍した画像を生成するに際して、元の原画像の色レイアウトに忠実な変倍画像を実現するために行われる。
【００５９】
また、本実施形態において、JPEG圧縮画像、或いはMPEG(Moving Picture coding Experts Group)-1、MPEG-2およびMPEG-4のフレームの符号化は、所謂Y, Cb, Cr色空間で行われており、符号データを復号した時点で既に色変換が行わた状態である。
【００６０】
図１１は、第１の実施形態に係る画像登録処理において行われる色レイアウト指標量の抽出処理を示すフローチャートである。
【００６１】
同図において、登録対象の画像（JPEG圧縮画像）を、公知の手法によって復号する(ステップＳ11001)。即ち、JPEG圧縮画像を、Y, Cb, Cr色空間における輝度情報と、色差情報とに分解し、それぞれの情報に公知のＤＣＴ処理を施すことによって圧縮符号化を行う(ステップＳ11001)。従って、本実施形態において、逆ＤＣＴ処理を行った直後の情報は、各画素毎のY, Cb, Crの輝度情報と色差情報とによって構成されており、既にY, Cb, Cr色変換が行われた状態である。
【００６２】
本実施形態において、登録対象の原画像の縮小画像は、別途行われる画像検索の結果表示に使用される。このため、登録対象の原画像の縮小画像を検索情報ＤＢ10706に予め格納すべく、ステップＳ11001にて取得した画像データの変倍処理を行う(ステップＳ11002)。
【００６３】
ここで、ステップＳ11002における変倍処理について詳細に説明する。
【００６４】
従来技術として上述した[VWD4.0]もしくは[VXM7.0]では、原画像を分割した各ブロックに含まれる画素の平均色を計算することによって変倍画像を生成するため、原画像の構図情報が不明確になってしまうという問題がある。
【００６５】
これに対して、本実施形態では、図４に示すように、原画像を縦横に８分割することによってトータル６４個のブロック画像（以下、ブロック）に分割することは従来例と同じであるが、本実施形態における特徴的な手順として、以下に説明する方法を利用して各ブロックを代表する色を決定することにより、８×８の６４画素の変倍画像を生成する。
【００６６】
然るに、本実施形態の如く各ブロックの代表色によって変倍画像を生成すると、原画像には存在しない色が現れることが懸念される。この問題は、色空間における距離が互いに遠い色同士が同一ブロック内に存在する場合に特に顕著に現れる。例えば、日本の国旗である日の丸の変倍画像を平均色で生成した場合、白地と赤丸の両方にかかるブロックに関してはピンク色となり、元の画像の色レイアウトに忠実な変倍画像ではなくなってしまう。
【００６７】
そこで、本実施形態では、各ブロックをそのブロックに属する画素の平均色によって表わすのではなく、そのブロックをより良く（より忠実に）代表する色を求める処理を行う。
【００６８】
図６は、第１の実施形態における変倍画像の生成処理を示すフローチャートであり、原画像の色レイアウトに忠実な変倍画像を実現すべく、ステップＳ11002（図１１）にて行われる処理の詳細な手順を示す。
【００６９】
同図において、まず、Y, Cb, Cr色空間を複数の部分空間（小空間：以下、「ビン」と呼ぶ）に分けるためのデータをロードする(ステップＳ10501)。
【００７０】
図５は、Y, Cb, Cr色空間とビンとの関係を示す図であり、同一と見なす色を大まかに決めると共に、色のヒストグラムを求める階級を作るべく使用される。
【００７１】
但し、色空間をどのようなビンに分割するかは、実験によって定められるべきものであり、[VWD4.0]もしくは[VXM7.0]で定められているものがあればそれに従えば良い。
【００７２】
また、装置内部におけるビンの実態は、ＬＵＴ（Look Up Table）であろうと、数式や論理式であっても良い。
【００７３】
また、ステップＳ10501におけるデータロードのタイミングは、ヒストグラムを計算する前であれば良く、そのタイミングは限定されない。また、複数の画像の変倍画像を求める場合、ステップＳ10501におけるデータロードは、その画像毎に行う必要は無く、最初の画像を処理するときに一度読み込んでおけば良い。
【００７４】
次に、変倍画像を求める対象の原画像を読み込み(ステップＳ10502)、読み込んだ原画像を、図４に例示するように、縦横に８分割することによってトータル６４個のブロックに分割する(ステップＳ10503)。
【００７５】
ここで、対象とすべき原画像には、大別して、ポートレイト（縦長）画像、ランドスケープ（横長）画像、正方形画像の３種類があるが、各ブロックのサイズは、原画像の分割数に合わせて決定すれば良い。本実施形態では、図４に示す富士山のランドスケープ画像を利用する。原画像の縦あるいは横のサイズが８で割り切れない場合には、余りの画素を何れかのブロックに割り振るなどすれば良く、この端数による例外処理の方法は問わない。
【００７６】
次に、ステップＳ10504乃至ステップＳ10510において、各ブロックを構成する画素が色空間のどのビンに該当するかを求める。即ち、各ブロックの代表色を、ヒストグラム計算によって決定する。ステップＳ10504乃至ステップＳ10506は、カウンタＩに対してのループ処理であり、ステップＳ10507乃至ステップＳ10509は、カウンタＪに対してのループ処理をなしており、これらのループ処理により、８×８画素の各ブロックに対する代表色を決定する。
【００７７】
以下、各ブロックに対して代表色を求める処理(ステップＳ10510)の詳細を説明する。
【００７８】
図７は、第１の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【００７９】
同図において、まず、ステップＳ10601及びステップＳ10602では、原画像を分割することによって得られた各ブロックの画素がY, Cb, Cr色空間内のどのビンに該当するかを、ヒストグラム計算の結果に基づいて求める。
【００８０】
即ち、係る各ブロックのうち、今回の制御周期において対象としているブロック内の全画素に関して、図５に示す如くY, Cb, Cr色空間を構成する各ビンに対する頻度および各ビンの画素値の累積値を求め(ステップＳ10601)、その結果から、最も頻度の多いビン（以下、「最頻のビン」と称する）を決定する(ステップＳ10602)。
【００８１】
そして、最頻のビンが一意に定まる場合には(ステップＳ10603でＹＥＳの場合)、そのビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ10604)。
【００８２】
これに対して、最頻のビンが２つである場合(ステップＳ10605でＹＥＳの場合)には、それら２つのビンがY, Cb, Cr色空間内において隣接しているかどうか判断する(ステップＳ10606)。この判断の結果、当該２つのビンが隣接している場合(ステップＳ10606でＹＥＳの場合)には、それら隣接する２つのビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ10607)。
【００８３】
尚、複数のビンが互いに隣接しているかどうかを判断する方法としては、各ビンについて隣接する他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何学関係を予めビンのＩＤを用いて数式で関係付ける等の方法があるが、その実現方法は問わない。
【００８４】
また、最頻のビンが２つであり、その２つのビンが互いに隣接しない場合(ステップＳ10606でＮＯの場合)には、それら２つのビンに隣接する他の複数のビン群を１つのビンとして統合する（以下、統合されたビンを「統合ビン」と称する）として設定すると共に、その統合ビンの頻度とすべく、統合された複数のビンの頻度を足す(ステップＳ10608)。
【００８５】
ステップＳ10609では、統合するビンが存在しないかをチェックすることにより、無限ループに陥らないための判断を行う。そして、ステップＳ10608においてビンの統合を行えたとき(ステップＳ10609でＹＥＳの場合)には、ステップＳ10603乃至ステップＳ10609の処理を再帰的に行うことにより、最頻の統合ビンを求めることができる。そして、この統合ビンに該当する画素の平均色を求め、この平均色を、対象とするブロックの代表色とする。
【００８６】
更に、最頻のビンが３つ以上の場合(ステップＳ10605でＮＯの場合)には、それらのビンに隣接する他のビン群を統合することによって頻度を足し(ステップＳ10608)、ステップＳ10603乃至ステップＳ10609の処理を再帰的に行うことによって最頻の統合ビンを求める。そして、この統合ビンに該当する画素の平均色を求め、この平均色を、対象とするブロックの代表色とする。
【００８７】
ここで、再帰処理の具体的な処理を説明すると、まず各最頻のビンに隣接するビンを探し、そのビンと最頻のビンとが隣接している場合にはこれら２つのビンを統合することによって１つの最頻の統合ビンとする(ステップＳ10608)。
【００８８】
従って、全ての最頻のビンが隣接していれば、最終的には、１つの統合ビンが得られる(ステップＳ10603のＹＥＳの場合)ので、得られた統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色とする(ステップＳ10604)。
【００８９】
これに対して、全ての最頻ビンが隣接していない場合には、ビンの統合処理(ステップＳ10608)と、最頻の統合ビンを求める処理(ステップＳ10602)とを、最頻の統合ビンが１つになるか(ステップＳ10603でＹＥＳの場合)、或いは２つの最頻のビンが隣接する(ステップＳ10606でＹＥＳの場合)まで再帰的に行う。そして、ステップＳ10604において、得らえた最頻の統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色とする。
【００９０】
尚、最後まで最頻ビンが定まらない場合(ステップＳ10609でＮＯの場合)には、ブロック全体の画素の平均色を求め、その平均色を、対象とするブロックの代表色とする。
【００９１】
また、上述した説明において、最頻のビンが２つであり、その２つのビンが隣接しない場合に代表色を決定する際には、最大の頻度となる統合ビンを求め、その統合ビンに該当する画素の平均値を対象とするブロックの代表色とした。しかしながら、本願出願人による実験によれば、対象とするブロックの代表色として、大元の小空間（ビン）であるところの、統合前の初期の最頻ビンに該当する画素の平均値を採用しても、良好な結果が得られることが判っており、この方法で分割ブロックの代表色を決定しても良い。
【００９２】
以上説明した処理を、６４個の全てのブロックに施すことにより、原画像の色のレイアウトを忠実に保った変倍画像の生成が可能となる。
【００９３】
尚、変換された色空間上でヒストグラムを計算し、色変換処理後の変倍画像を生成する方法が考えられる。例を挙げると、圧縮符号化は通常の場合、色空間変換を行った後に行われる。実際、JPEG画像であっても、MPEG動画中のフレーム画像であっても、画像圧縮は、Y, Cb, Cr色空間上でＤＣＴ変換を行っており、復号のために逆ＤＣＴを行うことによってY, Cb, Cr色空間上での値が得られ、これをＲＧＢ色空間に変換することにより、人間の視覚にとって自然な色で表示される。
【００９４】
ここで、図１１の説明に戻る。以降、係数を選択するまでの各ステップの処理は、図１を参照して説明した従来の手順と同様であるため、図１に示す図面の参照番号を参照して説明する。
【００９５】
ステップＳ11003では、生成された８×８画素のブロック画像（10011, 10012, 10013）を構成する各画素を、Y, Cb, Cr色空間データ（10021, 10022, 10023）に変換する。
【００９６】
ステップＳ11004では、Y, Cb, Cr色空間の各成分データ10021, 10022, 10023に対して、一般的なＤＣＴ処理を施すことにより、ＤＣＴ係数10031, 10032, 10033を求める。
【００９７】
ステップＳ11005では、ＤＣＴ係数10031, 10032, 10033に対して、量子化処理を施す。量子化処理は、例えば[VWD4.0]によれば、Y成分とCb/Cr成分それぞれについて、ＤＣ成分とＡＣ成分とで異なる処理をしている。
【００９８】
そして、ステップＳ11006では、量子化ＤＣＴ係数10041, 10042, 10043のうち低周波数成分側から幾つかの係数を選択する。図１に示す例では、Y成分の係数に関しては６個（１００５１）、Cb/Cr成分の係数に関しては３個ずつ（１００５２，１００５３）選択されている。
【００９９】
ステップＳ11006における係数の選択は、図２に例示するように、８×８画素の如く２次元に配置された係数を、ジグザグスキャンによって１次元に並び替え、その先頭から幾つかを選択することによって実現される。ここで、図２の各ブロックに書かれている１から６４の数字は、１次元に並び替えられた後にその係数が先頭から何番目に配置されるかを示す数字である。そして、選択した係数を、低周波成分側から順に取り出す。[VWD4.0]によれば、取り出すべき係数の数は、1, 3, 6, 10, 15, 21, 28, 64の何れかである。
【０１００】
また、係数の数は、Cb成分係数とCr成分係数に関しては同数であるが、Y成分係数の数とCb/Cr成分係数の数とには、別々の数を設定可能である。[VWD4.0]によれば、デフォルトではY成分係数に関して６個、Cb/Cr成分係数に関しては３個の係数が選択される。選択された係数10051, 10052, 10053をもって、原画像10001における色レイアウトの特徴を表わすところの、色レイアウト指標量とする。
【０１０１】
上記の如く算出された色レイアウト指標量は、図１２に例示するように、画像ＩＤと関連付けされて検索情報ＤＢ10706に格納される。
【０１０２】
図１２は、第１の実施形態における検索情報ＤＢ内のレコードのスキーマを例示する図である。
【０１０３】
同図に示すように、検索情報ＤＢ10706では、各原画像に関して、画像識別番号（ＩＤ）、その画像ファイルの格納アドレス、縮小画像（変倍画像）データ、色レイアウト指標量、並びにその他の画像属性情報が関連付けされて記憶される。このように各データアイテムが関連付けされた状態で記憶されることにより、後述する画像検索処理（図１０）を効率的に実現することができる。即ち、色レイアウトの特徴を表わす指標量である色レイアウト指標量を利用して、利便性の高い画像検索を実現することができる。
【０１０４】
尚、色レイアウト指標量を利用して、縮小画像を検索及び表示するだけであれば、検索情報ＤＢ10706には、少なくとも原画像の縮小画像（変倍画像）と、その原画像の色レイアウト指標量とが関連付けされたデータ構造を採用すれば良い。
【０１０５】
このように、本実施形態では、原画像の変倍画像を生成するに際して、ブロック内の画素のヒストグラムを色空間上のビンを基準として算出し、最頻のビンに該当する画素の平均値に従って色を決定するので、原画像の特徴を効率良く表わすと共に、原画像の色レイアウトに忠実な変倍画像を生成することができる。更に、原画像の画像構図情報を保った色レイアウト指標量を生成することができる。
【０１０６】
尚、上述した説明においては、最頻のビンが２つであって、その２つのビンが隣接しない場合に代表色を決定する際には、最大の頻度となる統合ビンを求め、統合されたビンに該当する画素の平均値を対象とするブロックの代表色とした。しかしながら、本願出願人による実験によれば、対象とするブロックの代表色として、大元の小空間（ビン）であるところの、統合前の初期の最頻ビンに該当する画素の平均値を採用しても、良好な結果が得られることが判っており、この方法で分割ブロックの代表色を決定しても良い。
【０１０７】
［画像検索処理］
次に、本実施形態に係る画像検索装置における画像検索処理について説明する。
【０１０８】
図１０は、第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートであり、図８に示す各モジュールのうち、画像の検索に関するモジュールの動作が記述されたソフトウエアを実行するところの、不図示のＣＰＵが行う処理手順を示す。
【０１０９】
画像検索処理では、上述した画像登録処理によって画像蓄積モジュール10704に予め格納された全ての原画像（以下、登録画像と称する場合がある）に関して、それらの画像の色レイアウト指標量が検索情報ＤＢ10706に用意されていることが必要とされる。
【０１１０】
まず、ステップＳ10901では、ユーザ・インタフェースモジュール10701においてオペレータが画像検索を行うモードを選択するのに応じて、全ての登録画像の色レイアウト指標量を、検索情報ＤＢ10706からメモリに読み込む。
【０１１１】
ここで、色レイアウト指標量の読み込みは、画像検索が実行される度に行うのではなく、初回の検索時、或いはシステム起動時に一回だけ行うように構成すると良い。
【０１１２】
検索条件指示モジュール10707においてオペレータによって選択された画像（以下、検索対象画像）を、類似画像の検索のための元画像として設定する(ステップＳ10902)。本ステップにおける画像選択の態様としては、例えば、ディスプレイ上に複数の縮小画像をタイル状にランダムに並べて、それら縮小画像の中から所望のものを選択する等が挙げられる。その場合、画像ＩＤの乱数を生成して、対応する画像ＩＤに相当する縮小画像を、検索情報ＤＢ10706から読み出して表示すれば良い。
【０１１３】
オペレータが選択した画像に対応する画像ＩＤをキーとして、その画像ＩＤに関連付けされている色レイアウト指標量を、検索情報ＤＢ10706から取り出す(ステップＳ10903)。
【０１１４】
類似度演算モジュール10708により、ステップＳ10903にて取得した検索対象画像の色レイアウト指標量と、ステップＳ10901にて読み込んだ全ての登録画像の色レイアウト指標量とを利用して、上記の数１によって類似度Ｄを計算する(ステップＳ10904)。例えば、２つの画像の色レイアウト指標量が、CLD1(YCoeff, CbCoeff, CrCoeff)、CLD2(YCoeff', CbCoeff', CrCoeff')である場合に、それら２つの特徴量の間の類似度Ｄは、[VXM7.0]の規定に従って数１により算出することができる。数１において、λは各係数に関する重み付けであり、[VXM7.0]には、表１のような重み付け値が示されている。表１において値が示されていないものについては、重み付け値は１である。
【０１１５】
検索結果表示モジュール10709により、ステップＳ10904にて算出した類似度Ｄに応じて、例えば昇順に(即ち、類似度の低い順に)画像ＩＤをソートし(ステップＳ10905)、ソートした画像ＩＤに対応する縮小画像を、検索情報ＤＢ10706から読み込んでディスプレイ（不図示）に表示する(ステップＳ10906)。ここで、昇順としたのは、数１の数式を見れば判るように、似ているものほど値が０に近く、似ていないものほどその値が大きくなるからである。
【０１１６】
上記の画像検索処理によれば、オペレータが指定した検索対象画像に類似する縮小画像を、その類似度が高い順番で一覧表示することが可能となる。このとき、オペレータは、一覧表示された縮小画像の中に気に入ったものが有れば、ユーザ・インタフェースモジュール10701を介してその所望の縮小画像を選択する。その際、検索結果表示モジュール10709は、オペレータの選択操作によって選択された縮小画像の画像ＩＤをキーとして検索情報ＤＢ10706を参照することにより、対応する格納アドレス情報を取得すると共に、取得した格納アドレス情報に従って画像蓄積モジュール10704に格納されている画像データを読み出し、ディスプレイ上に表示する。
【０１１７】
【第２の実施形態】
次に、上述した第１の実施形態に係る画像検索装置を基本とする第２の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【０１１８】
本実施形態では、上述した第１の実施形態における変倍画像の生成処理にて行われたブロック代表色の算出処理(図７)とは異なる手順により、原画像を分割することによって得られた各ブロックに対して代表色を求める処理(ステップＳ10510)を実現する。
【０１１９】
図１３は、第２の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートであり、この処理は、本実施形態においても、当該各ブロックに対して行われる。
【０１２０】
同図において、まず、係る各ブロックのうち、今回の制御周期において対象としているブロック内の全画素に関して、そのブロックの画素がY, Cb, Cr色空間内のどのビンに該当するかを、ヒストグラム計算の結果に基づいて求める(ステップＳ11301)。即ち、ステップＳ11301では、対象としているブロックを構成する全画素に関して、図５に示す如くY, Cb, Cr色空間を構成する各ビンに対する頻度および各ビンの画素値の累積値を求めるヒストグラム計算を行なう。
【０１２１】
そして、このヒストグラム計算の結果を利用して、最頻のビン（即ち、図７の場合と同様に、最も頻度の多いビン）と、その最頻のビンの頻度との差（差分）が予め定められた閾値以上のビン（以下、第２ビンと称する）とを求める(ステップＳ11302)。ここで、第２ビンは、例えば、最頻のビンの次に頻度の高いビンである。
【０１２２】
そして、ステップＳ11303でＮＯの場合（即ち、最頻のビンが唯一存在するだけであり、第２ビンは存在しない場合）には、ステップＳ11302にて求められた最頻のビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ11304)。
【０１２３】
これに対して、ステップＳ11303でＹＥＳの場合には、ステップＳ11305に進む。即ち、ステップＳ11303にて最頻のビンと第２ビンとが存在すると判断されたので、ステップＳ11305では、その最頻のビンと第２ビンとが、Y, Cb, Cr色空間内において全て隣接した状態であるかどうか判断する。
【０１２４】
そして、ステップＳ11305でＹＥＳの場合（即ち、最頻のビンと第２ビンとが隣接している場合）には、当該第２ビンに該当する画素の平均色を求め、この平均色を、対象としているブロックの代表色とする(ステップＳ11306)。
【０１２５】
一方、ステップＳ11305でＮＯの場合（即ち、最頻のビンが複数である場合、或いは、最頻のビンと第２ビンとが全て隣接している訳ではない場合)には、それらのビンに対して隣接する他の複数のビン（第３ビン）群を、統合ビン（即ち、図７の場合と同様に、１つのビンとして統合された複数のビン）として設定すると共に、その統合ビンの頻度とすべく、統合された複数のビンの頻度を足す(ステップＳ11307)。
【０１２６】
尚、複数のビンが互いに隣接しているかどうかを判断する方法としては、各ビンについて隣接する他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何学関係を予めビンのＩＤを用いて数式で関係付ける等の方法があるが、その実現方法は問わない。
【０１２７】
ステップＳ11308では、統合すべきビンが存在しないかをチェックすることにより、無限ループに陥らないための判断を行う。ステップＳ11307においてビンの統合を行えたとき(ステップＳ11308でＹＥＳの場合)には、ステップＳ11303乃至ステップＳ11308の処理を再帰的に行うことにより、最終的には、ステップＳ11302において最頻の統合ビンを求めることができる。従って、この場合は、ステップＳ11304において、この統合ビンに該当する画素の平均色を求め、この平均色を、対象とするブロックの代表色とする。
【０１２８】
ここで、再帰処理の具体的な処理を説明する。まず、ステップＳ11305において各最頻のビンを基準として、それら最頻のビンと第２ビンに隣接するビン（以下、第３ビン）が存在するかを探す。
【０１２９】
そして、ステップＳ11305でＹＥＳの場合には、最終的に１つの統合ビンが得られるので、得られた統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色とする(ステップＳ11306)。
【０１３０】
これに対して、ステップＳ11305でＮＯの場合には、上記の第３ビン群が存在するので、当該最頻のビンと、第３ビンとを統合することによって１つの統合ビンとする統合処理（ステップＳ11307）と、最頻の統合ビンを求める処理(ステップＳ11302)とを、最頻のビンが唯一で且つ最頻の統合ビンとの頻度の差が閾値未満となるビンが存在しなくなるまで(ステップＳ11303でＮＯの場合)、或いは、最頻のビンと第３ビンが互いに全て隣接(ステップＳ11305でＹＥＳの場合)まで再帰的に行う。そして、ステップＳ11304では、得らえた最頻の統合ビンに該当する画素の平均色を求め、その平均色を、対象とするブロックの代表色に決定する。
【０１３１】
尚、最後まで最頻のビンが唯一でない或いは最頻の統合ビンと頻度の差が閾値未満となるビンが存在する場合(ステップＳ11308でＮＯの場合)には、ブロック全体の画素の平均色を求め、その平均色を、対象とするブロックの代表色とする。
【０１３２】
また、上述した本実施形態において、ステップＳ11305でＮＯの場合には、唯一存在し且つ最大の頻度となる統合ビンを求め、その統合ビンに該当する画素の平均値を対象とするブロックの代表色とした。しかしながら、本願出願人による実験によれば、対象とするブロックの代表色として、大元の小空間（ビン）であるところの、統合前の初期の最頻ビンに該当する画素の平均値を採用しても、良好な結果が得られることが判っており、この方法で分割ブロックの代表色を決定しても良い。
【０１３３】
尚、再帰処理における最頻のビンとの頻度差の判断に使用する閾値に関しては、初回の閾値と値を変えてもよく、例えば再帰処理においてはこの閾値を１とすることにより、単なる大小比較判定とすることも可能である。
【０１３４】
また、再帰処理の回数に応じて、最頻のビンとの頻度差の判断に使用する閾値の大きさを変化させても良く、例えば、再帰処理回数が増えると閾値を減少させれば、統合するビンが減少していくことによって頻度差が増えて行かない場合にも対処可能となる。
【０１３５】
以上説明した処理を、６４個の全てのブロックに施すことにより、第１の実施形態と同様に、原画像の色のレイアウトを忠実に保った変倍画像の生成が可能となる。
【０１３６】
【第３の実施形態】
次に、上述した第１及び第２の実施形態に係る画像検索装置を基本とする第３の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【０１３７】
本実施形態では、第２の実施形態において説明した処理手順を基本として、更に異なる方法で、各ブロックに対して代表色を求める処理(ステップＳ10510)を実現する。
【０１３８】
図１４は、第３の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【０１３９】
第２の実施形態（図１３）では、最頻のビンと、その頻度との「差」が予め定められた閾値以上のビンを「第２ビン」としたのに対して、本実施形態では、同図に示すように、最頻のビンと、その最頻のビンに対する「頻度の比率（或いは割合）」が予め定められた閾値以上であるビンを「第２ビン」とする点が異なるが、処理の手順は同様であるため、詳細な説明は省略する。
【０１４０】
尚、本実施形態において、第２ビンは、例えば、最頻のビンの次に頻度の高いビンである。
【０１４１】
このような本実施形態によっても、第１の実施形態と同様に、原画像の色のレイアウトを忠実に保った変倍画像の生成が可能となる。
【０１４２】
＜実施形態の変形例＞
上述した各実施形態では、画像入力モジュール10702にて取得した画像を画像蓄積モジュール10704に記憶し、検索情報ＤＢ10706に格納される画像ＩＤを仲立ちとして、対応する色レイアウト指標量と対応付けしたが、登録画像は必ずしも画像蓄積モジュール10704に記憶する必要は無く、例えばインターネットサーバ上に画像の実体が存在し、検索情報ＤＢ10706に記述する画像のアドレスは、そのサーバのインターネットアドレスでも良い。
【０１４３】
また、上述した実施形態では、画像検索処理に関して、検索対象画像を選択し、その画像に類似する縮小画像を類似度が高い順番に並べて表示したが、検索対象画像を手書きのスケッチで与え、その手書き画像の色レイアウト指標量を算出し、その色レイアウト指標量と登録画像の色レイアウト指標量とから類似する画像を検索する実施形態も想定される。
【０１４４】
また、画像蓄積モジュール10704に登録していない画像を指示し、その画像の色レイアウト指標量を算出してから、類似画像を検索する実施形態も想定される。
【０１４５】
また、上述した実施形態では、類似画像の検索結果として縮小画像の一覧表示するときに、画像蓄積モジュール10704中のフィールドに縮小画像を格納したがその保持の仕方に限定は無く、ファイルの形態で存在し、画像ＩＤあるいは原画像のデータファイルと対応が取れるようにしても良い。
【０１４６】
更に、本実施形態における画像の変倍処理によれは、人が見て良質な縮小画像を作成することが可能であり、８×８画素の固定サイズのブロック画像ではなく、原画像の縦横サイズに応じた異なるサイズへのブロック分割を行うと共に、分割によって得られた各ブロック画像に対して、上記の如く代表色を決定しても良い。
【０１４７】
【他の実施形態】
上述した各実施形態を例に説明した本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１４８】
尚、本発明は、前述した各実施形態において説明したフローチャートの機能を実現するソフトウェアのプログラムを、上述した画像検索装置として動作するシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【０１４９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１５１】
プログラムを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明のクレームに含まれるものである。
【０１５３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１５５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１５６】
【発明の効果】
上記の本発明によれば、変倍対象の画像の特徴を良く表わす変倍画像を生成する変倍画像生成装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供が実現する。
【０１５７】
また、本発明によれば、画像の色レイアウトの特徴を良く表わす特徴量（指標量）を算出する画像特徴算出装置及び方法、及びそのコンピュータ・プログラムとコンピュータ読み取り可能な記憶媒体の提供が実現する。
【図面の簡単な説明】
【図１】色レイアウト指標量の抽出処理の流れを説明する図である。
【図２】係数選択のためのジグザグスキャン処理を説明する図である。
【図３】従来における色レイアウト指標量の抽出処理を示すフローチャートである。
【図４】登録すべき原画像と、その分割状態を例示する図である。
【図５】 Y, Cb, Cr色空間とビンとの関係を示す図である。
【図６】第１の実施形態における実施形態における変倍画像の生成処理を示すフローチャートである。
【図７】第１の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【図８】第１の実施形態に係る画像検索装置の機能構成を示すブロック図である。
【図９】第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートである。
【図１０】第１の実施形態の画像検索装置で行われる画像登録処理を示すフローチャートである。
【図１１】第１の実施形態に係る画像登録処理において行われる色レイアウト指標量の抽出処理を示すフローチャートである。
【図１２】第１の実施形態における検索情報ＤＢ内のレコードのスキーマを例示する図である。
【図１３】第２の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
【図１４】第３の実施形態に係る変倍画像の生成処理におけるブロック代表色の算出処理を示すフローチャートである。
Claims (12)
- 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接する場合に、それら２つの小空間に属する画素の平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする変倍画像生成装置。 - 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは最も頻度の高い小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記統合判断手段によって統合できると判断された場合に、前記小空間群を１つに統合することにより、統合小空間を生成する小空間統合手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、最も頻度の高い統合小空間を再帰的に算出すると共に、その最も頻度の高い統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定手段と
を備えることを特徴とする変倍画像生成装置。 - 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算手段と、
前記演算手段による演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素と、その第１小空間の次に頻度の高い第２小空間に属する画素との差分が第１閾値より小さい場合、或いは、該差分が前記対象ブロックを構成する総画素数に対する第２閾値より小さい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備えることを特徴とする変倍画像生成装置。 - 前記色決定手段は、
前記ヒストグラム演算の結果、前記第１小空間が唯一つであり、且つ、その第１小空間に属する画素との差分が第３閾値以下である第３小空間が前記第１小空間に隣接する場合に、更に、該第３小空間に属する画素との平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする請求項３に記載の変倍画像生成装置。 - 前記色決定手段は、
前記ヒストグラム演算の結果、前記第１小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは前記第１小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、前記第１小空間が唯一つであり、且つ、最も頻度の高い第１統合小空間に属する画素に対して、次に頻度の高い第２統合小空間に属する画素の差分が固定或いは再帰処理の回数に応じて変化する第４閾値より小さいという条件を満足するところの、最も頻度の高い統合小空間を再帰的に算出すると共に、その統合小空間の起点となった統合前の前記第１小空間が１つである場合に、その第１小空間に属する画素の平均色を、前記対象ブロックの代表色に決定する第１代表色決定手段と、
前記起点となった統合前の前記第１小空間が複数である場合に、これら全ての第１小空間に属する画素の平均色を求めると共に、前記統合小空間に該当する画素の平均色を求め、これら２つの平均色に対する平均色を、前記対象ブロックの代表色に決定する第２代表色決定手段と、
を備えることを特徴とする請求項３に記載の変倍画像生成装置。 - 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割手段と、
前記画像の色空間を、複数の小空間に分割する色空間分割手段と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算手段と、
前記演算手段による演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素に対して、次に頻度の高い第２小空間に属する画素の比率または割合が第１閾値より大きい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定手段と
を備え、
前記色決定手段は、
前記ヒストグラム演算の結果、前記第１小空間に属する画素に対する比率または割合が第５閾値以下である単数または複数の第５小空間が存在する場合に、これらの小空間に対して隣接する他の小空間群を１つに統合できるか否かを判断する統合判断手段と、
前記統合判断手段によって統合できると判断された場合に、前記第１及び第４小空間と、前記他の小空間群とからなる１つの統合小空間を生成する小空間統合手段と、
前記小空間統合手段によって生成された統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、前記第１小空間が唯一であり、且つ、最も頻度の高い第１統合小空間に属する画素に対して、次に頻度の高い第２統合小空間に属する画素の比率または割合が固定或いは再帰処理の回数に応じて変化する第６閾値より小さいという条件を満足するところの、最も頻度の高い統合小空間を再帰的に算出すると共に、その統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定手段と
を備えることを特徴とする変倍画像生成装置。 - 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備え、
前記色決定工程では、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接する場合に、それら２つの小空間に属する画素の平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする変倍画像生成方法。 - 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を行うと共に、その結果、前記複数の小空間のうち最も頻度の高い小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備え、
前記色決定工程は、
前記ヒストグラム演算の結果、最も頻度の高い小空間が２つ存在すると共に、それらの小空間が隣接しない、或いは最も頻度の高い小空間が３つ以上存在する場合に、それら小空間に隣接する他の小空間群を１つに統合できるか否かを判断する統合判断工程と、
前記統合判断工程にて統合できると判断した場合に、前記小空間群を１つに統合することにより、統合小空間を生成する小空間統合工程と、
前記小空間統合工程にて生成した統合小空間について前記ヒストグラム演算に基づく頻度値を足すことにより、最も頻度の高い統合小空間を再帰的に算出すると共に、その最も頻度の高い統合小空間に該当する画素の平均色を求め、その平均色を、前記対象ブロックの代表色に決定する代表色決定工程と
を備えることを特徴とする変倍画像生成方法。 - 複数画素からなる画像を縦横に区切ることによって複数のブロックに分割する画像分割工程と、
前記画像の色空間を、複数の小空間に分割する色空間分割工程と、
前記小空間を一単位として、前記複数のブロックのうち対象ブロックを構成する各画素についてヒストグラム演算を施す演算工程と、
前記演算工程における演算の結果、前記複数の小空間のうち最も頻度の高い第１小空間に属する画素と、その第１小空間の次に頻度の高い第２小空間に属する画素との差分が第１閾値より大きい場合、或いは、該差分が前記対象ブロックを構成する総画素数に対する第２閾値より大きい場合に、前記第１小空間と前記第２小空間に属する画素の平均色に従って、その対象ブロックの代表色を決定する色決定工程と
を備えることを特徴とする変倍画像生成方法。 - 前記色決定工程において、
前記ヒストグラム演算の結果、前記第１小空間が唯一つであり、且つ、その第１小空間に属する画素との差分が第３閾値以下である全ての第３小空間が前記第１小空間に隣接する場合には、前記第１小空間に属する画素と、該第３小空間に属する画素との平均色に応じて、前記対象ブロックの代表色を決定する
ことを特徴とする請求項９に記載の変倍画像生成方法。 - 請求項７乃至請求項１０の何れか１項に記載の変倍画像生成方法をコンピュータによって実現可能な動作指示をなすことを特徴とするコンピュータプログラム。
- 請求項１１に記載のコンピュータプログラムが格納されていることを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018936A JP4078085B2 (ja) | 2001-03-26 | 2002-01-28 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
| US10/103,627 US7027646B2 (en) | 2001-03-26 | 2002-03-22 | Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-88483 | 2001-03-26 | ||
| JP2001088483 | 2001-03-26 | ||
| JP2002018936A JP4078085B2 (ja) | 2001-03-26 | 2002-01-28 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002358515A JP2002358515A (ja) | 2002-12-13 |
| JP2002358515A5 JP2002358515A5 (ja) | 2007-03-01 |
| JP4078085B2 true JP4078085B2 (ja) | 2008-04-23 |
Family
ID=26612095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002018936A Expired - Fee Related JP4078085B2 (ja) | 2001-03-26 | 2002-01-28 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7027646B2 (ja) |
| JP (1) | JP4078085B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004030122A (ja) * | 2002-06-25 | 2004-01-29 | Fujitsu Ltd | 図面検索支援装置および図面検索方法 |
| JP2004234613A (ja) * | 2002-12-02 | 2004-08-19 | Nec Corp | 映像記述システムおよび方法、映像識別システムおよび方法 |
| US7369699B1 (en) | 2003-08-29 | 2008-05-06 | Apple Inc. | Methods and apparatuses for restoring color and enhancing electronic images |
| WO2005096180A1 (ja) * | 2004-03-31 | 2005-10-13 | Pioneer Corporation | 画像検索方法、装置及びプログラムを記録した記録媒体 |
| JP2006235157A (ja) * | 2005-02-24 | 2006-09-07 | Seiko Epson Corp | 画像表示装置、画像表示方法、およびプログラム |
| CN101246475B (zh) * | 2007-02-14 | 2010-05-19 | 北京书生国际信息技术有限公司 | 一种基于版面信息的检索方法 |
| JP4866340B2 (ja) * | 2007-12-25 | 2012-02-01 | 富士フイルム株式会社 | 画像縮小装置および画像縮小方法 |
| US20100013039A1 (en) * | 2008-07-21 | 2010-01-21 | Omnivision Technologies, Inc. | Backside-illuminated imaging sensor including backside passivation |
| FI127117B (fi) * | 2009-06-17 | 2017-11-30 | Gurulogic Microsystems Oy | Kuvaprosessoija ja tietokoneohjelma |
| US9710491B2 (en) * | 2009-11-02 | 2017-07-18 | Microsoft Technology Licensing, Llc | Content-based image search |
| US20110106798A1 (en) * | 2009-11-02 | 2011-05-05 | Microsoft Corporation | Search Result Enhancement Through Image Duplicate Detection |
| EP2355037A1 (en) * | 2009-12-18 | 2011-08-10 | Nxp B.V. | Method of and system for determining an average colour value for pixels |
| CN107766087A (zh) * | 2017-10-31 | 2018-03-06 | 歌尔科技有限公司 | 图片处理方法、用户界面显示方法及设备 |
| JP7326972B2 (ja) * | 2019-07-30 | 2023-08-16 | 株式会社リコー | 表面特性評価方法、表面特性評価装置、及び表面特性評価プログラム |
| US20220094951A1 (en) * | 2020-09-23 | 2022-03-24 | Ati Technologies Ulc | Palette mode video encoding utilizing hierarchical palette table generation |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3851655T2 (de) * | 1987-06-09 | 1995-02-09 | Sony Corp | Verarbeitung des Bewegungsvektors in Fernsehbildern. |
| JPH07146871A (ja) * | 1993-11-24 | 1995-06-06 | Hitachi Ltd | 静止画検索装置および静止画検索方法 |
| US5577135A (en) * | 1994-03-01 | 1996-11-19 | Apple Computer, Inc. | Handwriting signal processing front-end for handwriting recognizers |
| EP0693738A3 (en) * | 1994-06-23 | 1996-11-06 | Dainippon Screen Mfg | Device and method for producing colored masks |
| JPH08331373A (ja) * | 1995-05-31 | 1996-12-13 | Omron Corp | カラー画像縮小装置およびカラー画像縮小方法 |
| JP3778229B2 (ja) * | 1996-05-13 | 2006-05-24 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
| JP3658893B2 (ja) * | 1996-11-15 | 2005-06-08 | カシオ計算機株式会社 | 宅配荷物管理装置 |
| US6377702B1 (en) * | 1999-12-08 | 2002-04-23 | Sony Corporation | Color cast detection and removal in digital images |
-
2002
- 2002-01-28 JP JP2002018936A patent/JP4078085B2/ja not_active Expired - Fee Related
- 2002-03-22 US US10/103,627 patent/US7027646B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7027646B2 (en) | 2006-04-11 |
| JP2002358515A (ja) | 2002-12-13 |
| US20030026476A1 (en) | 2003-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4078085B2 (ja) | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 | |
| Fang et al. | Saliency detection in the compressed domain for adaptive image retargeting | |
| CN100501742C (zh) | 表示图像组的方法和装置 | |
| KR100492437B1 (ko) | 화상 검색 시스템 및 화상 검색 방법 | |
| US7248782B2 (en) | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method | |
| JP2006190259A (ja) | 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム | |
| JP4505760B2 (ja) | 情報処理装置および方法、プログラム、並びに、記録媒体 | |
| JP3915272B2 (ja) | 量子化方法，および量子化プログラムを記録した記録媒体 | |
| JP2006092559A (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| JP5939154B2 (ja) | 画像処理装置およびコンピュータプログラム | |
| US7657108B2 (en) | Encoding of digital data combining a plurality of encoding modes | |
| JPH0946519A (ja) | 画像処理装置および方法 | |
| US7369706B2 (en) | Image-data processing device, image-data processing method, image-data distributing device and image-data transmitting system | |
| KR101106910B1 (ko) | 큰 스틸 사진 처리 방법 및 디바이스와 컴퓨터 판독가능 저장 매체 | |
| KR20090085195A (ko) | 썸네일 이미지 생성 방법 및 장치 | |
| JP2004048219A (ja) | 電子透かし情報の挿入方法 | |
| US20030113037A1 (en) | Method, apparatus and recording medium for image file generation and image reproduction | |
| JP2006039753A (ja) | 画像処理装置、画像処理方法 | |
| JP4190739B2 (ja) | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 | |
| KR100464224B1 (ko) | 화상처리방법 및 그 장치, 기억매체 | |
| JPH11238067A (ja) | 画像検索システムおよび記録媒体 | |
| JP5371232B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2003338934A (ja) | 画像処理装置および方法 | |
| KR100855450B1 (ko) | 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치 | |
| JP4966167B2 (ja) | 画像評価装置及びこの画像評価装置を有するカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |