JPH023872A - 画像検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、多数の画像情報の中から所望の画像情報を検
策するに適した画像検索装置に関するものである。

従来の技術 最新の高密度記録技術の進歩により、大容量の磁気ディ
スク装置あるいは光デイスク装置が開発されている。特
に光デイスク装置は大容量であり、従来困難であった画
像の多数のファイリングが可能となった。このような多
量の画像データが記憶されている画像検索装置から所望
の画像を検索する場合、従来は画像に付けた名前、ある
いはその画像の内容の記述等に基づいて画像自体を検索
していた。この場合、画像のすべてが全く別々の内容で
あれば、画像名と内容の記述により簡単に検索すること
が可能であるが、似通った画像の場合は間違って他の画
像を読出す可能性が高く、作業効率が低下する。また、
ファイルを作成した人間と別の人間がファイルを検索す
る場合、画像名と内容の記述だけでは、どんな画像であ
るか把握するのが難しく、所望の画像を検索するまでに
多数回の検索が必要となり、検索に時間がかかるという
欠点があった。

この欠点を解決するために特開昭６１−２６４４４８号
で示されるように、記憶する画像情報を特徴部等を残し
て圧縮する手段と、この圧縮した画像情報を格納する手
段と、圧縮した画像情報を再生して表示する手段を有し
、画像記憶時、この圧縮画像と元の画像とを記憶してお
き、検索時に、まず圧縮画像を読出して表示し、この表
示された圧縮画像に基づいて検索を行う画像検索装置が
ある。

発明が解決しようとする課題 しかしながら圧縮画像による検索では、原画像が類似し
ている場合には、圧縮画像に差異が出なくなり圧縮画像
による検索だけでは必要な画像を識別して検索すること
が困難になる。更に、圧縮画像と元の画像とを別の領域
に記憶しているだけでなく、原画像をそのまま記憶して
いるだめ記憶に必要な容量が膨大になり、しかも、狭帯
域伝送に利用しようとした場合、画像伝送完結までの待
ち時間が非常に長くなり、２次検索の効率がわるいとい
う間諜点を有していた。

本発明は、かかる点に鑑み、類似画像であっても短時間
で検索することが可能で、しかも記憶に必要なデータ容
量を少なくできる画像検索装置分提供することを目的と
する。

課題を解決するための手段 Ｎ×Ｎ画素のブロックに変換された画像データを、直交
変換器で直交変換し、ビット割当回路によシ決定された
ビット数に基づいて量子化し、記憶装置に記憶する。画
像データを読み出す際、次候補画像を選択後、記憶装置
５から、各画像の領域　のデータセットを順に読み出し
、縮小画像の一覧表示をし、２次候補画像を選択し通常
サイズの画像表示をするとき、復号に用いる変換係数を
順次増やしながら、階層的に表示し検索を行なうもので
ある。

作用 本発明は、前記した構成により、各ブロックの直交変換
係数の内、第１シーケンス成分（ブロック内画素の平均
値）のみを取り出し復号することで縮小画像が得られ画
面上にキーワード検索等により選ばれた１次候補画像の
一覧表示が可能で、１次候補画像からの選択作業が効率
的に行なえる。

１次候補画像の中に類似した画像が含まれており、１つ
の画像にしぼりきれない場合、逆変換に用いる変換係数
を低い周波数成分から順次増しながら逆変換し検索画像
を再生していくことで、検索画像は粗い画像から順次細
かい画像が階層的に再生され、２次検索時に、いきなり
原画像を再生する場合にくらべて、待ち時間が少なくて
済み利用者の心理的な負担を軽減できる。

特に２次候補画像が背景等画像の大部分が非常に類似し
ており（類似領域）、特徴的な部分（特徴領域）が限ら
れているような画像の場合には、特徴領域に属するブロ
ックの逆変換に用いる変換係数領域を類似領域よりも大
きく設定するように制御することで、特徴領域が早い時
点で明確になり、２次候補画像の識別が容易になる。ま
た識別できた時点で再生を中止し、次の画像の再生に移
ることも可能であるため、２次検索の効率化が計れる。

一方、直交変換処理を用いていることから、画像データ
を記憶するためのビット数が削減でき、しかも、直交変
換係数の第１シーケンス成分は、ブロック内画素の平均
値に相当するので、その成分が直接縮小画像の作成に利
用できるので、縮小画像の記憶領域を改めて設ける必要
がない。

実施例 第１図は本発明の第１の実施例における画像検索装置の
ブロック図を示すものである。第１図において、１は入
力された画像データをＮｘＮ画素のブロックに分割する
ラスタ／ブロック変換器、２はＮ×Ｎ画素のブロックに
Ｎ次の２次元直交変換を施し、直交変換係数を後述する
係数符号化器に出力する直交変換器、３は直交変換係数
の大きさに基づいて、係数符号化器内の量子化のビット
数を決定するビット割当回路、４は前述のビット割当に
基づいて各直交変換係数を量子化する係数符号化器、５
は符号化データを記憶しておく記憶装置、６は記憶装置
５から読出された符号化データを復号する係数復号器、
７は復号された直交変換係数に逆直交変換を施し、入力
画像を復元する逆直交変換器、８は一次候補画像（索引
画像）を−覧表示する際て、縮小画像を一時記憶する第
１のバックアメモリ、９は二次候補画像を再生する際、
復号係数を一時記憶する第２のバックアメモリ、１ｏは
二次候補画像を再生する際に通常サイズの画像を一時記
憶する第３のバッファメモリ、１１は一次及び二次検索
時に必要な制御信号を発生する検索コントローラ、１２
は索引画像の一覧表示及び通常サイズの復元画像を再生
する表示装置である。以上のように構成された本実施例
の画像検索装置てついて、以下その動作を説明する。

ここではブロックサイズが４×４の場合を例に説明する
。

ラスタ／ブロック変換器１によって分割された画像デー
タに直交変換（２次元）を施すと、画像の周波数成分に
相当するシーケンシ成分に変換され、第２図に示すよう
に左上の成分の周波数は低く、ブロックの右下の方へ行
く程（シーケンシ番号が大きくなる程）周波数が高くな
る。次に、変換係数の大きさに基づいて、各変換係数を
量子化する際のビット数がビット割当回路３により決定
され、そのビット割当に基づいて量子化され、記憶装置
５に蓄えられる。このとき、第３図に示すように画像デ
ータ人の各ブロックの領域乙に属するデータ（’ｔＡ　
Ｉ　’２□、・・・・・・’ｎＡ＋ｎはブロック数）を
まとめて第１階層記憶領域に記憶する。それ以外の成分
については、第３図（１）に示すように領域分割しくす
、ｃ、ｄ、ｅ領域）、それぞれ別の階層の記憶領域に記
憶する。同様に他の画像についても各領域のデータはそ
れぞれ別の階層の記憶領域に記憶される（第３図（■）
）。

一般に、直交変換係数の大きさは、画像の統計的性質か
ら低い周波数は大きく、高い周波数成分になるにつれて
小さくなるので、低い周波数成分を表す係数ては多くの
ビットを割当て、高い周波数成分の係数には少ないビッ
ト数を割当てると、全体として、符号化ビット数は削減
され、記憶容量も少なくて済む。例えば、第２図にある
領域ａの各データには８ビツト、領域すの各データには
４ビツト、領域Ｃの各データには３ビツト、領域ｄの各
データには２ビツト、領域ｅ各データには１ビツトを割
当てた場合、−画素当りの記憶ビット数は平均（８＋４
Ｘ２＋３Ｘ３＋２Ｘ４＋ｌＸ６）／１６＝２．４ビツト
／ｐｅβとすることができる。

実際には、領域ｄ１の成分は無視できることが多いので
、さらにビット数の削減が可能になり、圧縮画像と元の
画像を記憶する場合の１画素当りの記憶ビット数が８ビ
ツト以上になる（元の画像データが１画素当り８ビツト
であるとする）のに比べてかなりの記憶容量を削減でき
る。

以上のようにして記憶された画像データを検索して読出
す場合について、ブロックサイズが４×４の場合を例に
以下説明する。

キーワード検索等によって一次候補画像を選択した後、
記憶装置６の第１階層記憶領域から、各候補画像のａ領
域のデータセット（例えば画像人の場合’ＩＡ　〜’ｎ
Ａ画像Ｂ画像台’ＩＢ　〜’ｎＢ　）を順に読出し、復
号後、第１のバッファメモリ８に蓄え順次表示装置１２
に表示してゆくと、直交変換係数の第１シーケンシ成分
はそのブロック内画素の平均値を表わすので、只の縮小
画像１元の画像サイズが２５６×２６６）の−覧表示が
可能となる。

次に、これらの−覧表示の中から２次候補画像を選択し
、検索コントローラの制御だより対応する画像データを
以下に説明するように階層的に表示してゆく。

まず、２次候補画像の中から１つの画像を選択し、その
画像の縮小画像データを第２のバッフ１メモリ９に転送
すると同時に第２階層記憶領域からその２次候補画像の
領域すのデータセットを読出し、復号後第２のバッフ１
メモリ９に追加してゆく。そして、逆直交変換器７で復
元しながら、第３のバッフ１メモＩ）１０ｆ介して再生
すると表示装置１２には、通常サイズの粗い復元画像（
１次復元画像）が表示される。更に細かい画像が必要な
場合は、第３階層記憶領域から領域０のデータセットを
読出し、同様の手順で再生すると、より細かい画（２次
復元画像）が表示されることになる。

持て画像データが第４図（？Ｌ）に示すように、背景等
類似部分（類似領域）が多く、特徴的な部分（特徴領域
）が限られているような画像の場合には、１次復元画像
を再生する際、類似領域に属するブロックに関しては、
前記同様、第４図（ｂ）に示す領域（イ）の変換係数を
逆変換に用いて再生するのに対して、特徴領域に属する
ブロックに関しては、この段階で領域ｂ（第３図）の変
換係数に加えて、領域Ｃ（第３図）の変換係数を読出し
ておく、つまり、第４図（Ｃ）に示す領域（ｏ）の変換
係数を逆変換に用いて再生を行なう。更に細かい画像が
必要な場合、類似領域については領域Ｃの変換を、特徴
領域については、領域ｄの変換係数を読出し再生する。

このとき、画像の類似度によっては、特徴領域のみ、変
換係数を追加することも可能である。

このようにして、逆直交変換に用いる直交変換係数を低
周波成分の方から順次増して行くことで、通常サイズの
画像を階層的に伝送及び表示しながら検索が行なえるの
で、２次検索時に、最初から原画像を再生する場合にく
らべて、再生完了までの待ち時間が短かくて済み、利用
者の心理的負担を軽減できる。しかも、階層的表示の各
段階で、特徴領域の再生に用いる変換係数の領域を類似
領域よりも大きくなるように制御することで、識別の着
眼点である特徴領域が早い時点で明確になり、２次候補
画像の識別が容易になる。また、検索画像が識別できた
時点で再生を中止し、次の画像の再生に移れるので、デ
ータの伝送効率だけでなく、検索効率も向上する。

なお、本実施例において、直交変換器２は、アダマール
変換、コサイン変換、傾斜変換等が考えられる。

発明の詳細 な説明したように、本発明によれば、第１階層記憶領域
に記憶されている、直交変換後の各ブロックの直流成分
を読出すことで容易に縮小画像が得られ、画面上にキー
ワード検索等により選ばれた１次候補画像の一覧表示が
可能であり、１次候補画像からの選択作業が効率的に行
なえる。また、１次候補画像の中に類似した画像が含ま
れており、１つの画像にしぼりきれない場合、別の階層
の記憶領域に記憶されている変換係数を、低周波成分の
方から順次読出し、逆直交変換することで、通常サイズ
の画像を階層的に表示でき、特に２次候補画像が、背景
等類似部分（類似領域）が多く、特徴的な部分（特徴領
域）が限られているような画像の場合には、特徴領域だ
属するブロックの逆直交変換に用いる変換係数領域を階
層的表示の各段階で、類似領域よりも犬きくなるよう制
御すると識別の着眼点である特徴領域が早い時点で明確
に表示できることから、２次候補画像の識別が容易にな
り、しかも２次検索時に、最初から原画像を再生する場
合にくらべて、再生完了捷での待ち時間が少なくて済み
、利用者の心理的負担を軽減できる。

また、検索画像が識別できた時点で再生を中止し、次の
２次候補画像の再生に移ることも可能であるため、２次
検索の効率化が計れる。

一方、直交変換処理を用いていることから、画像データ
を記憶するためのビット数が削減でき、直交変換係数の
第１シーケンシ成分は、ブロック内画素の平均値に相当
するので、その成分がその一！ま縮小画像の作成に利用
できるので、縮小画像記憶領域を別に設ける必要がない
。

【図面の簡単な説明】

第１図は本発明の一実施例の画像検索装置のブロック図
、第２図は同実施例において直交変換係数のシーケンス
番号を示す説明図、第３図は同実施例の直交変換係数の
領域分割と記憶順序を示す概念図、第４図は同実施例の
逆直交変換に用いる変換係数の領域を表す説明図である
。 １・・・・・・ラスタノブロック変換器、２・・・・・
・直交変換器、３・・・・・・ビット割当回路、４・・
・・・・係数符号化器、５・・・・・・記憶装置、６・
・・・・・係数復号器、７・・・・・・逆直交変換器、
８〜１０・・・・・・バッファメモリ、１１・・・・・
・検索コントローラ、１２・・・・・・表示装置。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名第 図 第 図 ＆１炙の旬Ｉ代 （ｂン 頻ＤＡ句１或 ＩＣ） 特腟←頃域

Claims (1)

【特許請求の範囲】
1. 画像データをＮ×Ｎ画素のブロックに分割し、このブロ
   ックを直交変換する手段と、前記直交変換係数の大きさ
   に基づいて量子化のビット割当を行なう手段と、前記ビ
   ット割当に基づいて、前記変換係数を量子化し符号化す
   る手段と、前記符号化されたデータを記憶する手段と、
   この記憶されたデータを読出す際、各ブロックの第１シ
   ーケンス成分（直流成分）のみを読出すことにより縮小
   画像の一覧表示を行なう手段と、各ブロックから読出さ
   れた変換係数を逆直交変換する手段と、前記逆直交変換
   に用いる変換係数を前記記憶手段から読出す際、ブロッ
   ク毎に読出す領域を制御する手段とを備えたことを特徴
   とする画像検索装置。