JP3870458B2 - Image data retrieval apparatus and method - Google Patents
Image data retrieval apparatus and method Download PDFInfo
- Publication number
- JP3870458B2 JP3870458B2 JP29998496A JP29998496A JP3870458B2 JP 3870458 B2 JP3870458 B2 JP 3870458B2 JP 29998496 A JP29998496 A JP 29998496A JP 29998496 A JP29998496 A JP 29998496A JP 3870458 B2 JP3870458 B2 JP 3870458B2
- Authority
- JP
- Japan
- Prior art keywords
- minimum value
- image
- database
- data
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像データ検索装置および方法に関し、特に、検索画像のデータをエンコードして重要語を抽出し、データベースに記憶されている複数の画像の重要語と比較することで、迅速に検索を行うことができるようにした、画像データ検索装置および方法に関する。
【0002】
【従来の技術】
最近、コンピュータの普及に伴い、各種の情報をデータベース化し、利用するようになされてきた。例えば、画像をデータベース化する場合、できるだけ多くの画像をデータベースに登録することができるように、画像を圧縮することが考えられる。圧縮した画像は、逆に伸長処理することで、もとの画像に戻すことができる。
【0003】
【発明が解決しようとする課題】
しかしながら、このように画像を圧縮してデータベース化すると、その伸長処理に時間がかかるため、多くの画像が圧縮されているデータベースから所望の画像を検索するような場合、データベース化されている画像を伸長して、検索すべき画像と比較する処理を行わなければならないために、検索に時間がかかる課題があった。
【0004】
本発明はこのような状況に鑑みてなされたものであり、迅速に所望の画像を検索することができるようにするものである。
【0005】
【課題を解決するための手段】
請求項1に記載の画像データ検索装置は、検索画像のデータを取り込む取込手段と、取り込まれた検索画像のデータをADRCによりエンコードし、信号レベルの最小値を抽出するエンコード手段と、エンコードされてデータベースにあらかじめ記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像のデータから、各画像の最小値を読み出す第1の読出手段と、抽出された検索画像の最小値と、データベースから読み出された最小値とを比較する比較手段と、比較結果に対応して最小値からなる画像をデコードして表示し、最小値からなる画像のうちの所定のものを指定する指定手段と、指定された最小値からなる画像のダイナミックレンジおよび量子化コードを、データベースから読み出す第2の読出手段と、指定された画像の最小値とダイナミックレンジおよび量子化コードをデコードして、指定された最小値からなる画像に対応するデータベースの画像のデータを出力する出力手段とを備えることを特徴とする。
【0006】
請求項2に記載の画像データ検索方法は、検索画像のデータを取り込む取込ステップと、取り込まれた検索画像のデータをADRCによりエンコードし、信号レベルの最小値を抽出するエンコードステップと、エンコードされてデータベースにあらかじめ記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像のデータから、各画像の最小値を読み出す第1の読出ステップと、抽出された検索画像の最小値と、データベースから読み出された最小値とを比較する比較ステップと、比較結果に対応して最小値からなる画像をデコードして表示し、最小値からなる画像のうちの所定のものを指定する指定ステップと、指定された最小値からなる画像のダイナミックレンジおよび量子化コードを、データベースから読み出す第2の読出ステップと、指定された画像の最小値とダイナミックレンジおよび量子化コードをデコードして、指定された最小値からなる画像に対応するデータベースの画像のデータを出力する出力ステップとを備えることを特徴とする。
【0007】
請求項1に記載の画像データ検索装置および請求項2に記載の画像データ検索方法においては、検索画像のデータがエンコードされて、信号レベルの最小値が抽出される。また、データベースに記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像の中から、最小値が読み出され、検索画像の最小値と比較される。そして、比較結果に対応して最小値からなる画像がデコードして表示され、最小値からなる画像のうちの所定のものが指定され、指定された最小値からなる画像のダイナミックレンジおよび量子化コードがデータベースから読み出され、指定された画像の最小値とダイナミックレンジおよび量子化コードがデコードされ、指定された最小値からなる画像に対応するデータベースの画像のデータが出力される。
【0008】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態(但し一例)を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【0009】
請求項1に記載の画像データ検索装置は、検索画像のデータを取り込む取込手段(例えば図6のステップS11)と、取り込まれた検索画像のデータをADRCによりエンコードし、信号レベルの最小値を抽出するエンコード手段(例えば図6のステップS12)と、エンコードされてデータベースにあらかじめ記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像のデータから、各画像の最小値を読み出す第1の読出手段(例えば図6のステップS14)と、抽出された検索画像の最小値と、データベースから読み出された最小値とを比較する比較手段(例えば図6のステップS15)と、比較結果に対応して最小値からなる画像をデコードして表示し、最小値からなる画像のうちの所定のものを指定する指定手段(例えば図6のステップS19)と、指定された最小値からなる画像のダイナミックレンジおよび量子化コードを、データベースから読み出す第2の読出手段(例えば図6のステップS20)と、指定された画像の最小値とダイナミックレンジおよび量子化コードをデコードして、指定された最小値からなる画像に対応するデータベースの画像のデータを出力する出力手段(例えば図6のステップS22)とを備えることを特徴とする。
【0011】
請求項2に記載の画像データ検索方法は、検索画像のデータを取り込む取込ステップ(例えば図6のステップS11)と、取り込まれた検索画像のデータをADRCによりエンコードし、信号レベルの最小値を抽出するエンコードステップ(例えば図6のステップS12)と、エンコードされてデータベースにあらかじめ記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像のデータから、各画像の最小値を読み出す第1の読出ステップ(例えば図6のステップS14)と、抽出された検索画像の最小値と、データベースから読み出された最小値とを比較する比較ステップ(例えば図6のステップS15)と、比較結果に対応して最小値からなる画像をデコードして表示し、最小値からなる画像のうちの所定のものを指定する指定ステップ(例えば図6のステップS19)と、指定された最小値からなる画像のダイナミックレンジおよび量子化コードを、データベースから読み出す第2の読出ステップ(例えば図6のステップS20)と、指定された画像の最小値とダイナミックレンジおよび量子化コードをデコードして、指定された最小値からなる画像に対応するデータベースの画像のデータを出力する出力ステップ(例えば図6のステップS22)とを備えることを特徴とする。
【0012】
図1は、本発明の画像データ検索装置の構成例を示すブロック図である。画像取込装置1は、例えばスキャナ、ビデオテープレコーダ、ビデオカメラ、ビデオディスクレコーダなどにより構成され、例えばスキャナの場合、写真などの画像をスキャンし、A/D変換回路2に出力する。A/D変換回路2は、入力された画像信号をA/D変換して、ブロック化回路3に出力している。ブロック化回路3は、入力された走査線単位の画像データをブロック化し、ブロック化したデータを最大値検出回路4、最小値検出回路6、および遅延回路7に出力している。
【0013】
最大値検出回路4は、入力されたブロックデータ中の最大値を検出し、検出した最大値をダイナミックレンジ検出回路5に出力している。最小値検出回路6は、入力されたブロックデータの中から最小値を検出し、最小値のデータをダイナミックレンジ検出回路5、減算回路8、およびバッファメモリ9に出力している。遅延回路7は、入力されたブロックデータを最大値検出回路4、および最小値検出回路6における処理時間に対応する時間だけ遅延した後、減算回路8に出力している。
【0014】
ダイナミックレンジ検出回路5は、最大値検出回路4の出力する最大値と、最小値検出回路6の出力する最小値の差からダイナミックレンジを検出し、検出したダイナミックレンジのデータをバッファメモリ9と適応型デコーダ10に出力している。減算回路8は、遅延回路7の出力から最小値検出回路6の出力する最小値を減算し、適応型エンコーダ10に出力している。適応型エンコーダ10は、ダイナミックレンジ検出回路5が出力するダイナミックレンジに対応して、減算回路8より供給されるデータを適応的にエンコードし、量子化コードをバッファメモリ9に出力するようになされている。
【0015】
バッファメモリ9に記憶されたデータは、フォーマット/デフォーマット回路11に入力され、所定のフォーマットのデータに変換され、記録再生回路12により所定の変調方式で変調された後、ハードディスク13に記録されるようになされている。制御回路14は、入力装置15からの入力に対応して、ハードディスク13に対する記録動作を制御するようになされている。
【0016】
また、制御回路14は、入力装置15からの指令に対応して、ハードディスク13に記録されているデータを読み出させ、記録再生回路12により復調させた後、フォーマット/デフォーマット回路11においてデフォーマットさせ、バッファメモリ9に出力させるようになされている。
【0017】
バッファメモリ9に書き込まれたデータは、制御回路14により制御され、適宜読み出され、そのうちの量子化コードとダイナミックレンジは、適応型デコーダ16に供給され、最小値は加算回路17に供給されるようになされている。適応型デコーダ16は、入力された量子化コードとダイナミックレンジに対応して、適応的にデコード処理を行い、デコード出力を加算回路17に出力している。加算回路17は、適応型デコーダ16の出力と最小値とを加算して、ブロック分解回路18に出力している。ブロック分解回路18は、入力されたブロック単位のデータのブロックを分解し、走査線単位のデータに変換する処理を行うようになされている。D/A変換回路19は、ブロック分解回路18の出力をD/A変換変換した後、ディスプレイ20に出力するようになされている。
【0018】
次に、その動作について説明する。入力装置15より画像データの記録を指令すると、制御回路14は、図2のフローチャートに従って、画像データ記録処理を実行する。すなわち、最初にステップS1において、画像データ取り込み処理が実行される。このとき、画像取込装置1は、写真をスキャンし、その画像を取り込む。あるいは、ビデオテープレコーダ、ビデオディスクレコーダなどの出力から画像データを取り込む。
【0019】
次に、ステップS2において、取り込んだ画像データをADRC(Adaptive Dynamic Range Coding)によりエンコードする処理が実行される。すなわち、A/D変換回路2は、画像取込装置1が出力する画像信号をA/D変換し、ブロック化回路3に出力する。ブロック化回路3は、走査線単位で入力される画像データを、図3に模式的に示すようにブロック化する処理を実行する。図3の例においては、N×M個の1画面分の画素データが、n×m個の画素データごとにブロック化され、この例の場合、B1乃至B9の9個のブロックにブロック化されている。
【0020】
ブロック化回路3により、n×m個の画素データにより構成されるブロックにブロック化されたデータは、最大値検出回路4、最小値検出回路6、および遅延回路7に出力される。最大値検出回路4は、入力されたブロックのn×m個の画素データの中から最大値(MAX)を検出し、最小値検出回路6は、最小値(MIN)を検出する。ダイナミックレンジ検出回路5は、そのブロックの最大値と最小値の差を演算し、その差をダイナミックレンジ(例えば8ビットのデータ)として、バッファメモリ9に出力する。
【0021】
例えば図4に示すように、そのブロックのn×m個の画素データは、それぞれが例えば8ビットの符号で表されるレベルを有しており、そのうちの最小値と最大値との差が、そのブロックにおけるダイナミックレンジとして検出される。
【0022】
一方、減算回路8は、遅延回路7から供給される画素データから、最小値検出回路6より供給される最小値を減算する。すなわち、この減算回路8の出力する差信号は、いわば、そのブロックにおける最小値を最低レベル(0レベル)とした場合における画素のレベルを表していることになる。適応型エンコーダ10は、この減算回路8の出力する差信号のレベルをダイナミックレンジ検出回路5が出力するダイナミックレンジに対応して、適応的に、例えば4ビットで量子化し、量子化コードQを出力する処理を実行する。この場合、適応型エンコーダ10においては、次の演算が行われる。
【0023】
Q=(x−MIN)/Δ
なお、ここでxは画素データ、Δ=DR/24であり、DRは次式により表される値(ダイナミックレンジ)である。
DR=MAX−MIN+1
【0024】
すなわち、ブロックごとに最大値MAXと最小値MINから、そのブロック内におけるダイナミックレンジDRが求められ、このダイナミックレンジDRを16分割することで、量子化ステップ幅Δが求められる。画素データxから最小値MINを減算し、その減算結果を量子化ステップ幅Δによって割算することで、4ビットの量子化コードQを得ることができる。
【0025】
バッファメモリ9には、このようにして、ADRCによりエンコードされた4ビットの量子化コードQと、8ビットのダイナミックレンジDRが、8ビットの最小値MINとともにブロックごとに記憶される。
【0026】
次にステップS3に進み、最小値(重要語)と、その他のデータ(ダイナミックレンジと量子化コード)を、最小値を分離して(独立に)読み出すことができるようにデータベースに記録する処理が実行される。すなわち、フォーマット/デフォーマット回路11は、バッファメモリ9に記憶された最小値、量子化コード、およびダイナミックレンジの各データを読み出して、これをフォーマット化し、記録再生回路12に出力する。記録再生回路12は、入力されたデータを所定の方式で変調し、ハードディスク13のデータベースに記録する。
【0027】
図5は、ハードディスク13に形成されるデータベースを模式的に表している。同図に示すように、このデータベースには、各画像のIDごとに、その画像の各ブロックB1乃至B9の最小値、量子化コード、およびダイナミックレンジが記録される。このデータベースからは、各画像IDの最小値(重要語)を他の量子化コードおよびダイナミックレンジ(非重要語)とは独立して読み出すことができるようになされている。すなわち、例えば、画像ID0001のブロックB1乃至B9の最小値だけを読み出したり、画像ID0003のブロックB1乃至B9の最小値だけを読み出すことができるようになされている。
【0028】
次に、入力装置15を操作して、所定の検索画像の検索を指令すると、制御回路14は、図6のフローチャートに示す処理を実行する。最初にステップS11において、検索画像取り込み処理が実行される。すなわち、このとき、画像取込装置1は、例えば所定の検索画像の写真を取り込む処理を実行する。次にステップS12に進み、検索画像データをADRCによりエンコードする処理が実行される。このとき、ステップS11で、画像取込装置1により取り込まれた検索画像データが、図2のフローチャートのステップS2における場合と同様に処理され、ADRCによりエンコードされる。そして、ステップS13に進み、ステップS12より求められた最小値と他のデータ(ダイナミックレンジと量子化コード)がバッファメモリ9に記憶される。
【0029】
次に、ステップS14において、制御回路14は、ハードディスク13を制御し、そのデータベース中に記録されている最初の画像の最小値を読み出す処理を実行する。ハードディスク13より読み出された、例えば、画像ID0001の各ブロックの最小値は、記録再生回路12に入力され復調された後、フォーマット/デフォーマット回路11に供給され、デフォーマットされる。そして、デフォーマットされた最小値データは、バッファメモリ9に書き込まれる。
【0030】
次にステップS15に進み、ステップS14で読み出されたデータベースの画像の最小値は、ステップS13でバッファメモリ9に書き込まれた検索画像の最小値と近似した値であるか否かが判定される。すなわち、制御回路14は、バッファメモリ9に記憶されている検索画像の最小値と、画像ID0001の画像の最小値とを比較し、その誤差が、予め設定されている所定の基準値の範囲内であるか否かを判定する。
【0031】
2つの画像の最小値の差が、予め設定されている所定の基準の範囲内であるとき、ステップS16に進み、その最小値の画像を表示する処理が実行される。すなわち、このとき制御回路14は、バッファメモリ9に書き込まれたデータベースの画像ID0001の最小値のデータを読み出し、加算回路17に出力させる。このとき、量子化コードとダイナミックレンジは読み出されていないので、加算回路17は、実質的に、この最小値をそのままブロック分解回路18に供給する。
【0032】
ブロック分解回路18は、入力されたブロック単位の画素データを走査線単位の画素データに変換して、D/A変換回路19でD/A変換させた後、ディスプレイ20に出力し、表示させる。これにより、ディスプレイ20には、検索画像に近似したデータベースから読み出された画像であって、最小値だけによる画像が表示される。この画像は、最小値だけをもとにして復号した画像であるから、もとの正確な画像とは若干異なる画像であるが、この最小値は、オリジナルの画像に対応しているデータであるため、使用者は、この最小値の画像からオリジナルの画像を充分予測することが可能である。
【0033】
ステップS15において、データベースから読み出された画像の最小値と検索画像の最小値の差が、所定の基準の範囲内にないと判定された場合、ステップS16の処理はスキップされる。そして、ステップS15またはステップS16の処理の次にステップS17に進み、データベース中のすべての画像が検索されたか否かが判定される。まだ検索されていない画像が、データベース中に存在する場合においてはステップS14に戻り、次の画像、例えば、画像ID0002の画像の最小値が読み出され、同様の処理が実行される。
【0034】
以上のようにして、データベース中のすべての画像が検索されたとステップS17において判定された場合、ステップS18に進み、ステップS16で表示された最小値の画像が複数存在するか否かが判定される。複数存在すると判定された場合、ステップS19に進み、複数の画像の中から、ユーザに所定の画像を指定させる処理が実行される。すなわち、このとき制御回路14は、ディスプレイ20に所定のメッセージを表示させ、複数の最小値画像の中から所望の画像を指定させる。ユーザは、このメッセージに対応して入力装置15を操作し、検索画像に近いと判断する最小値画像を指定する。
【0035】
ステップS18において、表示されている画像が複数ではないと判定された場合、ステップS19の処理はスキップされる。そして、ステップS18またはS19の処理の次にステップS20に進み、ユーザにより指定された最小値画像、または1つのみ表示されている最小値画像の他のデータ(ダイナミックレンジと量子化コード)を読み出す処理が実行される。すなわち、このとき制御回路14は、ハードディスク13に記憶されている指定された画像に対応するダイナミックレンジと量子化コードを読み出させる。そして、ステップS21において、ADRCによるデコード処理が実行される。すなわち、ハードディスク13より読み出された量子化コードとダイナミックレンジは、バッファメモリ9から適応型デコーダ16に供給される。適応型デコーダ16は、次式を演算する。
xD0=(Q+1/2)×Δ
【0036】
加算回路17は、適応型デコーダ16より供給されるxD0と、最小値MINとを加算する次式を演算する。
xD=xD0+MIN=(Q+1/2)×Δ+MIN
【0037】
すなわち、これにより、データベース中に圧縮して記録されていた画像データが伸長され、復号されたことになる。
【0038】
次にステップS22に進み、画像出力処理が実行される。すなわち、このとき、加算回路17より出力されたブロック単位のデータが、走査線単位のデータに変換され、D/A変換回路19によりD/A変換された後、ディスプレイ20に出力され、表示される。これによりユーザは、データベースから検索されたオリジナルの画像を確認することができる。
【0039】
このように、この実施の形態においては、データベース中の画像をADRCによりデコードし、デコードした画像と検索画像とを比較するのではなく、検索画像をADRCによりエンコードし、最小値を抽出し、この最小値をデータベース中の画像の最小値と比較するようにしたので、迅速に検索を行うことが可能となる。
【0040】
なお、上記実施の形態においては、ADRCにより画像をエンコードまたはデコードするようにしたが、例えばDCT(Discrete Cosine Transform)によりエンコードまたはデコード(圧縮伸長)することも可能である。この場合、各ブロックの画素データをDCT処理すると、例えば図7に示すように、直流成分とそれ以外の交流成分とにDCT係数が区分される。この直流成分だけによる画像でも、オリジナルの画像を大体判別することが可能である。
【0041】
そこで、この直流成分を、上記した最小値と同様に重要語として、非重要語としての交流成分から独立に分離可能な状態でデータベースに記録しておき、検索画像をDCT処理して、その直流成分を抽出し、検索画像の直流成分とデータベースの画像の直流成分とを比較して検索を行うようにすることもできる。このようにしても、上述した場合と同様に、データベース中に多くの画像を圧縮して記録することができるばかりでなく、検索を迅速に実行することが可能となる。
【0042】
図8は、この場合の構成例を表している。なお、図8において、図1に対応する部分には同一の符号を付してあり、その説明は、適宜省略する。画像取込装置1で取り込まれた画像信号は、A/D変換回路2でA/D変換され、フレームメモリ31に供給され記憶される。フレームメモリ31に記憶された画像データは、そこから読み出され、減算器32を介して、DCT回路33に供給される。DCT回路33は、入力されたデータをDCT係数に変換した後、量子化回路34に出力する。量子化回路34は、入力されたDCT係数を量子化する。
【0043】
量子化回路34より出力されたデータは、VLC回路(可変長符号化回路)35に供給されるとともに、逆量子回路36に供給され、逆量子化され、IDCT回路37に供給されるようになされている。IDCT回路37は、入力されたデータを逆DCT処理し、加算器38を介して動き補償回路39に出力する。動き補償回路39は、入力されたデータを動きベクトルに対応して動き補償した後、予測メモリ40に記憶させるようになされている。予測メモリ40に記憶されたデータは、減算器32に供給され、フレームメモリ31から供給されるデータから減算されるようになされている。また、加算器38で、IDCT回路39からのデータに加算されるようになされている。
【0044】
動きベクトル検出回路41は、フレームメモリ31より出力されたデータの動きベクトルを検出し、その検出結果を動き補償回路39に供給している。
【0045】
VLC回路35の出力は、バッファメモリ9に供給され、記憶されるようになされている。バッファメモリ9に記憶されたデータは、適宜読み出され、図1の実施の形態の場合と同様に、フォーマット/デフォーマット回路11、記録再生回路12を介して、ハードディスク13に記録されるようになされている。そして、ハードディスク13の記録再生は、入力装置15からの指令に対応して、制御回路14により制御されるようになされている。
【0046】
バッファメモリ9より読み出されたデータは、VLD(可変長符号復号化回路)61に入力され、可変長復号化処理されるようになされている。VLD61の出力は、逆量子化回路62に入力され、逆量子化されるようになされている。逆量子化回路62の出力は、IDCT回路63に供給され、IDCT処理されるようになされている。
【0047】
加算器64は、IDCT回路63より供給されたデータと、予測メモリ66に予め記憶されている予測画像データとを加算し、D/A変換回路19を介してディスプレイ20に出力するようになされている。また、加算器64の出力するデータは、動き補償回路65において、動き補償された後、予測メモリ66に予測画像として記憶されるようになされている。
【0048】
次に、その動作について説明する。入力装置15から記録が指令されると、画像取込処理が実行される。画像取込装置1により取り込まれた画像信号は、A/D変換回路2によりA/D変換された後、フレームメモリ31に記憶される。フレームメモリ31より読み出されたデータは、Iピクチャの場合(取り込まれる画像が写真の画像である場合、各画像は基本的にはIピクチャとなる)、加算器32を介してそのままDCT回路33に供給される。これに対して、PピクチャまたはBピクチャの場合、予測メモリ40に記憶されている動き予測画像との差分が減算器32において求められ、その差分データがDCT回路33に供給される。
【0049】
DCT回路33は、入力されたデータを各マクロブロックのブロック単位でDCT係数Coeff[u][v]に変換する。量子化回路34は、DCT回路33より供給されたDCT係数Coeff[u][v]を量子化レベルQF[u][v]に変換する。そして、この量子化レベルQF[u][v]をジグザグスキャンする。
【0050】
逆量子化回路36は、量子化回路34より出力されたデータを逆量子化する。すなわち、量子化回路34における処理と逆の処理を施す。逆量子化回路36より出力されたデータは、IDCT回路37に入力され、逆DCT処理される。すなわち、DCT回路33における場合と逆の処理が施される。
【0051】
IDCT回路37より出力データは、加算器38において予測メモリ40より供給される予測画像データと加算され、差分データから元のデータに戻される。そして、このデータは動き補償回路39に入力される。動き補償回路39には、動きベクトル検出回路41より動きベクトルが入力されており、動き補償回路39は、この動きベクトルに対応して加算器38を介してIDCT回路37より入力されたデータの動き補償を施す。そして、動き補償した後のデータを予測メモリ40に供給し、記憶させる。このようにして、予測メモリ40には、動き予測画像が記憶される。
【0052】
一方、VLC回路35は、量子化回路34より入力された量子化レベルQF[u][v]のデータを可変長符号に変換する。VLC回路35により可変長符号化されたデータは、バッファメモリ9に記憶される。このデータは、図1の実施の形態における場合と同様に、ハードディスク13のデータベースに、上述した場合と同様に、各画像のブロックの直流成分が、交流成分から分離して読み出すことができるように記録される。
【0053】
一方、入力装置15より所定の画像の検索が指令されたとき、画像取込装置1により検索画像が取り込まれ、上述した場合と同様にして、バッファメモリ9に、その検索画像の直流成分と交流成分が記憶される。
【0054】
そして制御回路14は、ハードディスク13のデータベース中に記録されている最初の画像の直流成分を読み出し、記録再生回路12、フォーマット/デフォーマット回路11を介して、バッファメモリ9に記憶させる。
【0055】
制御回路14は、画像取込装置1により取り込まれた検索画像の直流成分と、ハードディスク13のデータベースから読み出された直流成分の差を演算し、その差が、予め設定してある所定の基準値の範囲内であるか否かを判定する。所定の基準値の範囲内であるとき、データベースから読み出された画像の直流成分はVLD61に供給される。VLD61は、入力されたデータを可変長復号化処理する。逆量子化回路62は、VLD61より入力された可変長復号化データを逆量子化して、IDCT回路63に出力する。IDCT回路63は、入力されたデータをIDCT処理し、加算器64に出力する。加算器64は、予測メモリ66より読み出された予測画像データとIDCT回路63より供給されたデータとを加算し、D/A変換回路19によりD/A変換させた後、ディスプレイ20に出力し、表示させる。
【0056】
また、加算器64の出力するデータは、動き補償回路65で動き補償された後、予測メモリ66に供給され、予測画像として記憶される。なお、動き補償回路65が動き補償を行う上において必要な動きベクトルは、直流成分とともにデータベースから分離抽出される。
【0057】
以上のようにして、ハードディスク13に記憶されているデータベースの画像と検索画像が直流成分同士で比較され、検索される。そして、ディスプレイ20に表示された直流成分の画像の中からユーザが所定の画像を指定すると、制御回路14は、ハードディスク13のデータベースから、対応する画像の交流成分を読み出し、バッファメモリ9に供給し、記憶させる。そして、以後、直流成分と交流成分をもとにして、VLD61乃至予測メモリ66により、復号処理が行われ、ディスプレイ20にオリジナルの画像が表示される。
【0058】
【発明の効果】
以上の如く、請求項1に記載の画像データ検索装置および請求項2に記載の画像データ検索方法によれば、検索画像のデータをADRCによりエンコードして信号レベルの最小値を抽出し、あらかじめデータベースに記憶されている信号レベルの最小値、ダイナミックレンジ、および量子化コードからなる画像の最小値と比較することで、検索を行うようにしたので、データベースにより多くの画像を記憶することが可能となるばかりでなく、迅速な検索を行うことができる。
【図面の簡単な説明】
【図1】本発明のデータ検索装置の実施の形態の構成例を示すブロック図である。
【図2】図1の画像データ検索装置の画像データ記録時の動作を説明するフローチャートである。
【図3】図1のブロック化回路の動作を説明する図である。
【図4】図2のステップS2のADRCによるエンコードを説明する図である。
【図5】データベースの構成例を示す図である。
【図6】図1の画像データ検索装置の検索時の動作を説明するフローチャートである。
【図7】DCT係数を説明する図である。
【図8】本発明のデータ検索装置の実施の形態の他の構成例を示すブロック図である。
【符号の説明】
1 画像取込装置, 3 ブロック化回路, 4 最大値検出回路, 5 ダイナミックレンジ検出回路, 6 最小値検出回路, 9 バッファメモリ, 10 適応型エンコーダ, 13 ハードディスク, 14 制御回路, 16適応型デコーダ, 17 加算回路, 18 ブロック分解回路, 20 ディスプレイ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data search apparatus and method, and more particularly to search data quickly by encoding search image data to extract important words and comparing them with important words of a plurality of images stored in a database. The present invention relates to an image data search apparatus and method that can be performed.
[0002]
[Prior art]
Recently, with the spread of computers, various types of information have been put into a database and used. For example, when creating an image into a database, it is conceivable to compress the image so that as many images as possible can be registered in the database. The compressed image can be restored to the original image by decompression processing.
[0003]
[Problems to be solved by the invention]
However, when images are compressed and converted into a database in this way, the decompression process takes time. Therefore, when a desired image is searched from a database in which many images are compressed, the images stored in the database are not stored. Since it is necessary to perform a process of decompressing and comparing with an image to be searched, there is a problem that it takes time to search.
[0004]
The present invention has been made in view of such a situation, and makes it possible to quickly search for a desired image.
[0005]
[Means for Solving the Problems]
The image data search device according to
[0006]
Claim2The image data search method described in 1) includes a capturing step of capturing search image data, an encoding step of encoding the captured search image data by ADRC, and extracting a minimum value of the signal level, and encoding the data into a database. Read the minimum value of each image from the minimum value of the signal level stored in advance and the data of multiple images consisting of the dynamic range and quantization code corresponding to the minimum value.FirstA comparison step for comparing the reading step with the minimum value of the extracted search image and the minimum value read from the database;Corresponding to the comparison result, an image consisting of the minimum value is decoded and displayed, a designation step for designating a predetermined one of the images consisting of the minimum value, and a dynamic range and quantization of the image consisting of the designated minimum value A second reading step of reading the code from the database, and decoding the minimum value and dynamic range and quantization code of the specified image to correspond to the image consisting of the specified minimum valueAnd an output step of outputting image data of the database.
[0007]
The image data search device according to
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below, but in order to clarify the correspondence between each means of the invention described in the claims and the following embodiments, in parentheses after each means, The features of the present invention will be described with the corresponding embodiment (however, an example) added. However, of course, this description does not mean that each means is limited to the description.
[0009]
The image data search apparatus according to
[0011]
Claim2The image data search method described in 1) includes an acquisition step (for example, step S11 in FIG. 6) for acquiring search image data, an encoding for encoding the acquired search image data by ADRC, and extracting a minimum value of the signal level. From each step (for example, step S12 in FIG. 6), a minimum value of the encoded signal level stored in advance in the database, and a plurality of image data including a dynamic range and a quantization code corresponding to the minimum value. Read the minimum value of the imageFirstA reading step (for example, step S14 in FIG. 6), a comparison step (for example, step S15 in FIG. 6) for comparing the extracted minimum value of the search image with the minimum value read from the database;In response to the comparison result, an image consisting of the minimum value is decoded and displayed, a designation step (eg, step S19 in FIG. 6) for designating a predetermined one of the images consisting of the minimum value, and the designated minimum value A second reading step (for example, step S20 in FIG. 6) for reading the dynamic range and quantization code of the image to be read from the database, and decoding the specified minimum value, dynamic range and quantization code of the specified image. Corresponds to an image consisting of the smallest valueOutput step for outputting database image data(For example, step S22 in FIG. 6)It is characterized by providing.
[0012]
FIG. 1 is a block diagram illustrating a configuration example of an image data search apparatus according to the present invention. The image capturing
[0013]
The maximum
[0014]
The dynamic range detection circuit 5 detects the dynamic range from the difference between the maximum value output from the maximum
[0015]
The data stored in the
[0016]
The control circuit 14 reads out data recorded on the
[0017]
The data written in the
[0018]
Next, the operation will be described. When the recording of image data is instructed from the input device 15, the control circuit 14 executes an image data recording process according to the flowchart of FIG. That is, first, in step S1, an image data capturing process is executed. At this time, the
[0019]
Next, in step S2, a process for encoding the captured image data by ADRC (Adaptive Dynamic Range Coding) is executed. That is, the A /
[0020]
Data blocked by the
[0021]
For example, as shown in FIG. 4, each of the n × m pixel data of the block has a level represented by, for example, an 8-bit code, and the difference between the minimum value and the maximum value is It is detected as a dynamic range in the block.
[0022]
On the other hand, the
[0023]
Q = (x−MIN) / Δ
Here, x is pixel data, Δ = DR / 2FourDR is a value (dynamic range) represented by the following equation.
DR = MAX-
[0024]
That is, the dynamic range DR in the block is obtained from the maximum value MAX and the minimum value MIN for each block, and the quantization step width Δ is obtained by dividing the dynamic range DR into 16. A 4-bit quantization code Q can be obtained by subtracting the minimum value MIN from the pixel data x and dividing the subtraction result by the quantization step width Δ.
[0025]
In this way, the
[0026]
In step S3, the minimum value (important word) and other data (dynamic range and quantization code) are recorded in the database so that the minimum value can be separated (independently) and read. Executed. That is, the format / deformat circuit 11 reads the minimum value, quantization code, and dynamic range data stored in the
[0027]
FIG. 5 schematically shows a database formed on the
[0028]
Next, when the input device 15 is operated to instruct a search for a predetermined search image, the control circuit 14 executes the processing shown in the flowchart of FIG. First, in step S11, a search image capturing process is executed. That is, at this time, the
[0029]
Next, in step S14, the control circuit 14 controls the
[0030]
Next, proceeding to step S15, it is determined whether or not the minimum value of the database image read in step S14 is a value approximate to the minimum value of the search image written in the
[0031]
When the difference between the minimum values of the two images is within a predetermined reference range set in advance, the process proceeds to step S16, and processing for displaying the image of the minimum value is executed. That is, at this time, the control circuit 14 reads the data of the minimum value of the
[0032]
The
[0033]
If it is determined in step S15 that the difference between the minimum value of the image read from the database and the minimum value of the search image is not within a predetermined reference range, the process of step S16 is skipped. After step S15 or step S16, the process proceeds to step S17, where it is determined whether all images in the database have been searched. If there is an image that has not been searched yet in the database, the process returns to step S14, the minimum value of the next image, for example, the image with the
[0034]
As described above, when it is determined in step S17 that all images in the database have been searched, the process proceeds to step S18, and it is determined whether or not there are a plurality of minimum value images displayed in step S16. . If it is determined that there are a plurality of images, the process proceeds to step S19, and a process for allowing the user to designate a predetermined image from the plurality of images is executed. That is, at this time, the control circuit 14 displays a predetermined message on the
[0035]
If it is determined in step S18 that there are not a plurality of displayed images, the process of step S19 is skipped. Then, after the process of step S18 or S19, the process proceeds to step S20 to read out the minimum value image designated by the user or other data (dynamic range and quantization code) of only one minimum value image displayed. Processing is executed. That is, at this time, the control circuit 14 causes the dynamic range and the quantization code corresponding to the designated image stored in the
xD0= (Q + 1/2) × Δ
[0036]
The adder circuit 17 is supplied with x from the adaptive decoder 16.D0And the following expression for adding the minimum value MIN.
xD= XD0+ MIN = (Q + 1/2) × Δ + MIN
[0037]
In other words, the image data that has been compressed and recorded in the database is decompressed and decoded.
[0038]
In step S22, image output processing is executed. That is, at this time, the block unit data output from the adder circuit 17 is converted into scan line unit data, D / A converted by the D /
[0039]
Thus, in this embodiment, instead of decoding the image in the database by ADRC and comparing the decoded image with the search image, the search image is encoded by ADRC and the minimum value is extracted. Since the minimum value is compared with the minimum value of the image in the database, it is possible to search quickly.
[0040]
In the above embodiment, the image is encoded or decoded by ADRC. However, it is also possible to encode or decode (compress and decompress) by DCT (Discrete Cosine Transform), for example. In this case, when the pixel data of each block is subjected to DCT processing, for example, as shown in FIG. 7, the DCT coefficient is divided into a DC component and other AC components. It is possible to roughly discriminate an original image from an image using only the DC component.
[0041]
Therefore, this DC component is recorded in the database as an important word as in the case of the above-mentioned minimum value in a state where it can be separated independently from the AC component as a non-important word, and the search image is subjected to DCT processing, and the DC It is also possible to extract a component and perform a search by comparing the DC component of the search image with the DC component of the database image. Even in this case, as in the case described above, not only can a large number of images be compressed and recorded in the database, but also the search can be executed quickly.
[0042]
FIG. 8 shows a configuration example in this case. In FIG. 8, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. The image signal captured by the
[0043]
The data output from the
[0044]
The motion
[0045]
The output of the
[0046]
Data read from the
[0047]
The
[0048]
Next, the operation will be described. When recording is instructed from the input device 15, an image capturing process is executed. The image signal captured by the
[0049]
The
[0050]
The
[0051]
The output data from the
[0052]
On the other hand, the
[0053]
On the other hand, when a search for a predetermined image is instructed from the input device 15, the search image is captured by the
[0054]
The control circuit 14 reads the DC component of the first image recorded in the database of the
[0055]
The control circuit 14 calculates the difference between the DC component of the search image captured by the
[0056]
The data output from the
[0057]
As described above, the database image stored in the
[0058]
【The invention's effect】
As described above, the image data retrieval device according to
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of an embodiment of a data search apparatus of the present invention.
FIG. 2 is a flowchart for explaining an operation at the time of image data recording of the image data search apparatus of FIG. 1;
FIG. 3 is a diagram for explaining the operation of the blocking circuit of FIG. 1;
4 is a diagram for explaining encoding by ADRC in step S2 of FIG. 2; FIG.
FIG. 5 is a diagram illustrating a configuration example of a database.
6 is a flowchart for explaining the operation at the time of retrieval of the image data retrieval apparatus of FIG. 1;
FIG. 7 is a diagram illustrating DCT coefficients.
FIG. 8 is a block diagram showing another configuration example of the embodiment of the data search device of the present invention.
[Explanation of symbols]
DESCRIPTION OF
Claims (2)
取り込まれた前記検索画像のデータをADRC(Adaptive Dynamic Range Coding)によりエンコードし、信号レベルの最小値を抽出するエンコード手段と、
エンコードされてデータベースにあらかじめ記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像のデータから、各画像の最小値を読み出す第1の読出手段と、
抽出された前記検索画像の最小値と、前記データベースから読み出された最小値とを比較する比較手段と、
比較結果に対応して前記最小値からなる画像をデコードして表示し、前記最小値からなる画像のうちの所定のものを指定する指定手段と、
指定された前記最小値からなる画像のダイナミックレンジおよび量子化コードを、前記データベースから読み出す第2の読出手段と、
指定された前記画像の最小値とダイナミックレンジおよび量子化コードをデコードして、指定された前記最小値からなる画像に対応する前記データベースの画像のデータを出力する出力手段と
を備えることを特徴とする画像データ検索装置。Capture means for capturing search image data;
Encoding means for encoding the retrieved search image data by ADRC (Adaptive Dynamic Range Coding) and extracting a minimum signal level;
First reading means for reading the minimum value of each image from the minimum value of the signal level encoded and stored in advance in the database, and the data of a plurality of images consisting of the dynamic range and quantization code corresponding to the minimum value When,
Comparison means for comparing the extracted minimum value of the search image with the minimum value read from the database;
A designation means for decoding and displaying the image consisting of the minimum value corresponding to the comparison result, and designating a predetermined one of the images consisting of the minimum value;
Second reading means for reading the dynamic range and quantization code of the image having the specified minimum value from the database;
Output means for decoding the specified minimum value, dynamic range, and quantization code of the specified image, and outputting image data of the database corresponding to the specified image of the minimum value , An image data retrieval device.
検索画像のデータを取り込む取込ステップと、
取り込まれた前記検索画像のデータをADRCによりエンコードし、信号レベルの最小値を抽出するエンコードステップと、
エンコードされてデータベースにあらかじめ記憶されている信号レベルの最小値と、その最小値に対応したダイナミックレンジおよび量子化コードからなる複数の画像のデータから、各画像の最小値を読み出す第1の読出ステップと、
抽出された前記検索画像の最小値と、前記データベースから読み出された最小値とを比較する比較ステップと、
比較結果に対応して前記最小値からなる画像をデコードして表示し、前記最小値からなる画像のうちの所定のものを指定する指定ステップと、
指定された前記最小値からなる画像のダイナミックレンジおよび量子化コードを、前記データベースから読み出す第2の読出ステップと、
指定された前記画像の最小値とダイナミックレンジおよび量子化コードをデコードして、指定された前記最小値からなる画像に対応する前記データベースの画像のデータを出力する出力ステップと
を備えることを特徴とする画像データ検索方法。In the image data search method of the image data search device for storing a plurality of image data consisting of a minimum value of the signal level, a dynamic range corresponding to the minimum value, and a quantization code as a database,
A capture step for retrieving search image data;
An encoding step of encoding the retrieved image data by ADRC and extracting a minimum signal level;
A first reading step of reading the minimum value of each image from the minimum value of the signal level encoded and stored in advance in the database, and the data of a plurality of images consisting of the dynamic range and quantization code corresponding to the minimum value When,
A comparison step of comparing a minimum value of the extracted search image with a minimum value read from the database;
A designation step for decoding and displaying the image consisting of the minimum value corresponding to the comparison result, and designating a predetermined one of the images consisting of the minimum value;
A second reading step of reading the dynamic range and quantization code of the image having the specified minimum value from the database;
An output step of decoding the specified minimum value, dynamic range, and quantization code of the specified image, and outputting data of the database image corresponding to the specified image of the minimum value; and Image data search method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29998496A JP3870458B2 (en) | 1996-11-12 | 1996-11-12 | Image data retrieval apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29998496A JP3870458B2 (en) | 1996-11-12 | 1996-11-12 | Image data retrieval apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10143524A JPH10143524A (en) | 1998-05-29 |
JP3870458B2 true JP3870458B2 (en) | 2007-01-17 |
Family
ID=17879351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29998496A Expired - Fee Related JP3870458B2 (en) | 1996-11-12 | 1996-11-12 | Image data retrieval apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3870458B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110211A (en) * | 2007-10-29 | 2009-05-21 | Sony Corp | Information encoding device and method, information retrieving device and method, information retrieving system and method, and program |
CN102693227B (en) * | 2011-03-22 | 2015-08-26 | 炬芯(珠海)科技有限公司 | A kind of output intent of swf file data, system and Flash player |
-
1996
- 1996-11-12 JP JP29998496A patent/JP3870458B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10143524A (en) | 1998-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1107613B1 (en) | Picture recording apparatus and methods | |
JP3380810B2 (en) | Image coding method | |
JP3097665B2 (en) | Time-lapse recorder with anomaly detection function | |
WO1997046021A1 (en) | Device and method for predicting and encoding image, device and method for predicting and decoding image, and recording medium | |
KR19980071541A (en) | Image processing apparatus and image processing method | |
KR100897644B1 (en) | Image processor, image processing method, and recording medium | |
JPH05219385A (en) | Picture compression expansion method and device | |
US5291283A (en) | Decoding apparatus of a compressed digital video signal | |
JP3140487B2 (en) | Image recording and playback device | |
US7551788B2 (en) | Digital image coding device and method for noise removal using wavelet transforms | |
JP3870458B2 (en) | Image data retrieval apparatus and method | |
JP3089941B2 (en) | Inter prediction coding device | |
JP3398343B2 (en) | Embedding device, digital camera and recording medium | |
JPH06113291A (en) | Picture coder and decoder | |
JP3348776B2 (en) | Moving picture coding apparatus and method | |
KR0170636B1 (en) | Supervisory camera system | |
JP3034933B2 (en) | Image data recording device | |
KR100715512B1 (en) | Apparatus for image processing and method thereof | |
KR100530745B1 (en) | Method of displaying a high-resolution digital image on a low-resolution display | |
KR100773501B1 (en) | Video storage device for digital camera and method thereof | |
JPH09214976A (en) | Device and method for generating still picture data | |
JPH08186842A (en) | Noise reducing device for image data and method therefor | |
JPH10313455A (en) | Supervisory image recording device and its reproducing device | |
KR100246390B1 (en) | Block noise removing apparatus in image signal processor | |
JP4799813B2 (en) | Image compression apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061009 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |