JP4486780B2 - 画像情報検索のための非線形量子化及び類似度マッチング方法 - Google Patents

画像情報検索のための非線形量子化及び類似度マッチング方法 Download PDF

Info

Publication number
JP4486780B2
JP4486780B2 JP2002536846A JP2002536846A JP4486780B2 JP 4486780 B2 JP4486780 B2 JP 4486780B2 JP 2002536846 A JP2002536846 A JP 2002536846A JP 2002536846 A JP2002536846 A JP 2002536846A JP 4486780 B2 JP4486780 B2 JP 4486780B2
Authority
JP
Japan
Prior art keywords
image
edge
images
sub
edge histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002536846A
Other languages
English (en)
Other versions
JP2004512596A (ja
Inventor
ス ジュン パク
チ ソン ウォン
ドン クォン パク
ヒョン ジン キム
ソン ヒ パク
ミョン ギル ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2004512596A publication Critical patent/JP2004512596A/ja
Application granted granted Critical
Publication of JP4486780B2 publication Critical patent/JP4486780B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【0001】
(技術分野)
本発明は、画像検索方法に関し、より詳細には、減少したビットを有するエッジヒストグラム記述子のビット表現を構成する方法と、その記述子の符号化された表現から効果的に抽出された情報を用いることによって画像情報を検索する方法に関する。
【0002】
(背景技術)
JPEG(Joint Photographic Experts Group)は、止画像の国際的な標準であり、MPEG−1(Moving Picture Experts Group−1)及びMPEG−2は、動画像の国際的標準である。圧縮画像情報において、各画像の特徴的な情報は、抽出後キーフレーム抽出、画像検索、ブラウジングなどに応用される。
【0003】
特徴情報を抽出するため、明暗またはカラーヒストグラムが広く用いられる。明暗ヒストグラム及びカラーヒストグラムは、各々ある画像における明暗及びカラー(赤、緑または青)の相対的頻度を示す。特に、最近では止画像及びデジタル動画像ヒストグラムを用いた比較方法が多く提案されている。ヒストグラムが 画像検索及び画面境界探知(shot boundary detection)に用いられることによって、既存のヒストグラム技術が向上するようになるだろう。すなわち、エッジヒストグラムのように画像内容をより率的に表すヒストグラム記述子を用いる必要があるということである。また、記述子を2進数で表現することも簡潔になるべきであり、類似度マッチングのための計算もより簡単になるべきである。
【0004】
画面境界探知のため、カラーヒストグラム及びエッジマップを用いる方法が米国特許5,805,733("Method and System for Detecting Scenes and Summarizing Video Sequences")に開示されている。前記発明がたとえ人間の視覚システムに比べて色情報を抽出することに効果的ではあるが、明暗情報を抽出することはできない。
【0005】
また、色情報を受信した後ヒストグラムインターセクション法(histogram intersection technique)を用いて画像間の類似度を測定して索引する方法が論文に開示されている(M. J. Swain, et al.,"Color Indexing," International Journal of Computer Vision, Vol. 7−1、pp.11−32, 1991)。しかし、この方法は、明暗及びエッジ情報を使用しないので、正確性が保障されない。また、既存の方法に離散量子化法を使用してヒストグラムを発生させるので、同様の効果を得るのに相対的に多くの数のヒストグラムビン(histogram bin)が必要である。結果的に、格納及び類似度測定にいて非効率的である。しかも、既存では特徴的な画像がピクセルで抽出されるので、この方法を用いると特徴情報が制限的に発生するという問題がある。
【0006】
一方、ヒストグラムが画像検索などに広く用いられるので、最近ではヒストグラム情報を率的に格納できる方法が要求される。既存のヒストグラム格納方法によると、ヒストグラムビン値が線量子化を用いた正規化を通して決められた大きさの格納領域に格納される。その結果、ビット量の増加によってヒストグラム格納に対する前記線正規化方法は問題点を引き起こす。
【0007】
(発明の開示)
本発明の目的は、多数の画像をより少ないビット数で表現する画像情報を格納するデータベースを構成する方法を提供することにある。
【0008】
本発明のまた他の目的は、高速及び高い正確度を有するデータベースに基づいて質疑画像に該当するイメージを検索する方法を提供することにある。
【0009】
前記目的を達成するための本発明は、多数の画像を表現する画像情報を有するデータベース構築方法において、対象画像に対して、各々5個の正規化エッジヒストグラムビンを含んで、サブ画像に含まれた4個の方向性エッジと一つの非方向性エッジとからなる5個の基準エッジの空間分布を示すL(Lは正の整数)個のエッジヒストグラムを生成するため、Lx5個の正規化エッジ ヒストグラムビンを計算する第aステップと、前記対象画像に対してLx5個の量子化索引値を生成するため、前記Lx5個の正規化エッジヒストグラムビンを非線的に量子化する第bステップと、前記Lx5個の量子化索引値をデータベースに格納する第cステップと、前記画像情報を有するデータベースを構成するため、格納された全ての画像が処理されるときまで前記第aないし第cステップを繰り返す第dステップとからなることを特徴とする多数の画像を表現する画像情報を有するデータベース構築方法が提供される。
【0010】
また、前記目的を達成するための本発明は、データベースに基づいて質疑画像に対する該当画像を検索する方法において、前記質疑画像に対して、各々サブ画像に含まれた4個の方向性エッジと一つの非方向性エッジとからなる5個の基準エッジの空間分布を示すL個(但し、Lは正の整数)のローカルエッジヒストグラムを前記質疑画像の画像記述子で計算する第aステップと、前記データベースの画像情報に基づいて、各対象画像に対してL個のローカルエッジヒストグラムを含む、前記対象画像に対する多数の画像記述子を抽出する第bステップと、前記質疑画像に対する画像記述子を対象画像の各画像記述子と比較して比較結果を生成する第cステップと、前記比較結果に基づいて前記質疑画像と類似した少なくとも一つの対象画像を検索する第dステップとを含むことを特徴とするデータベースに基づいた質疑画像に対する該当画像検索方法が提供される。
【0011】
本発明の他の目的及び思想は添付する図面を参照した次の実施例に対する詳細な説明でより明らかにする。
【0012】
(発明の実施のための最良の形態)
以下には、添付する図面を参照して本発明に係る最適実施例を説明する。図1は、本発明に係る多数の該当画像のための画像記述子を有したデータベースを構築する過程を示すブロック図である。処理ブロックS101で、入力された画像は、NxN個のサブ画像(例えば、4x4個のサブ画像、但し、Nは正の整数)に分割される。分割されたサブ画像は、前記画像のための第1画像記述子が抽出される処理ブロックS103に連結される。すなわち、エッジの多様性を利用して各サブ画像のためのエッジヒストグラムを得る。そうしてから、前記画像のための80個の正規化ローカルエッジヒストグラムビン(normalized local edge histogram bins)は、第1画像記述子として処理ブロックS105に連結される。
【0013】
処理ブロックS105で、前記第1画像記述子は、非線的に量子化されて第2画像記述子である量子化索引値グループを生成する。その後、前記画像の第2 画像記述子は、データベースS107に入力されて格納される。前記過程は、前記第2画像記述子を用いて表現される前記画像の全部が処理されるときまで繰り返す。
【0014】
図2ないし6は、前記図1で説明した1画像記述子を求めるための過程を示す説明図である。図2を参照すると、該当する第1画像記述子を求めるため、入力画像200は、NxN個の互いに重ならないサブ画像に分割される。例えば、前記画像は、4x4個のサブ画像に分割されて16個の四角形サブ画像211ないし226を形成する。各々のサブ画像は多数のピクセルを含む。
【0015】
上記したように、前記第1画像記述子は、各サブ画像のためのエッジヒストグラムを生成する正規化エッジヒストグラムビンを示す。前記エッジヒストグラムは、サブ画像におけるエッジの空間分布を示す。
【0016】
前記エッジヒストグラムを抽出するため、各サブ画像は、MxK個の互いに重ならない四角形の画像ブロックに分割される。前記画像ブロックの大きさは、前記画像の大きさに応じて異なる。各画像ブロックは、画像ブロックがそのエッジの内一つを用いて描写されるエッジ決定過程で使用される。
【0017】
本発明の一実施例により、図3Aないし3Eを参照すると、前記エッジ決定過程は、五種類のエッジを含み、その内一つのエッジが画像ブロックのために選択される。前記エッジには、垂直型、水平型、45゜型及び135゜型301、303、305 及び307エッジのような方向性エッジ及び特定方向を示す少なくとも一つの非方向性エッジを含む。
【0018】
一つのサブ画像のためのエッジヒストグラムを生成するためには、画像ブロックからエッジ特徴を見つけることが重要である。すなわち、前記エッジ決定過程は、画像ブロックにどんなエッジを割り当てるかを決定するためである。このようなエッジ抽出は、空間領域でデジタルフィルタを用いる方法を使用して実行される。
【0019】
図4を参照すると、前記エッジ決定過程で、画像ブロックは、4個のサブブロックに分割される。すなわち、図に示すように、符号400は、画像ブロックを、そして符号411、413、415及び417は、各々画像ブロック400のための0、1、2及び3で表示されたサブブロックを示す。ここで各サブブロックは、該当フィルタ係数を割り当てられてエッジ大きさ集合を求めることができる。
【0020】
本発明の好ましい一実施例によると、各画像ブロック400を2x2サブブロックに分割し、各サブブロックを0、1、2または3で表示する。
【0021】
各画像ブロックに対して、次の数式を用いて五種類のエッジに該当する五つのエッジ大きさの集合を求める。
【0022】
【数13】
Figure 0004486780
【0023】
【数14】
Figure 0004486780
【0024】
【数15】
Figure 0004486780
【0025】
【数16】
Figure 0004486780
【0026】
【数17】
Figure 0004486780
【0027】
ここで、mv(i,j),mh(i,j),md-45(i,j),md-135(i,j),及びmnd(i,j)の各々は、(i,j)番目の画像ブロックのための垂直型、水平型、45゜型、135゜型及び非方向性エッジ大きさを示す。また、ak(i,j)は(i,j)番目の画像ブロックにおいてkと表示されたサブブロックに対する平均グレイスケールを示す。そして、fv(k),fh(k),fd-45(k),fd-135(k)及びfnd(k)は、各々垂直型、水平型、45゜型、135゜型及び非方向性エッジに対するフィルタ係数を示す。ここで、k=0、1、2及び3は、各々のサブブロックを示す。
【0028】
図面において、符号501、503、505、507及び509は、各々前記垂直型、水平型、45゜型、135゜型及び非方向性エッジに対するフィルタ係数を示す。各画像ブロックは、五つのエッジ大きさの中から選択されたエッジ大きさを使用して表すことができる。ここで各々の大きさは、各エッジに対して計算される。
【0029】
一つの画像ブロックに該当するエッジを決定するため、前記数式と通して得られた五種類エッジ大きさを互いに比較する。比較の結果、残りのエッジより相対的に最大であるエッジ大きさを有するエッジで前記画像ブロックを示す。ここで、前記最大エッジ大きさは、所定のしきい値より大きいべきである。もし最大エッジ大きさがしきい値より小さい場合、その画像ブロックはエッジを含まないと決定する。
【0030】
前記画像ブロックのために選択されたエッジがエッジ大きさ間の比較を通して決定されると、前記サブ画像のための該当エッジヒストグラムビンを一つ増加させる。エッジヒストグラムビンには、垂直型、水平型、45゜型、135゜型 及び非方向性ビンの五種類がある。前記五種類のエッジヒストグラムビンは、エッジヒストグラムを表すのに必要な構成要素である。前記サブ画像に含まれた全画像ブロックに対して該当エッジを検出した後、検出した各エッジに該当するエッジヒストグラムビンをもう一つ増加させてローカルエッジヒストグラムというサブ画像のためのエッジヒストグラムを生成する。16個のサブ画像全てに対して、上記のエッジ決定(detection)及びエッジヒストグラム生成過程を実行する。
【0031】
前記ローカルエッジヒストグラムは、一つのサブ画像における五つのエッジ 種類の分布を示す。すなわち、一つのサブ画像に対するエッジヒストグラムを示すのである。サブ画像の数は、16個に決められており、各サブ画像は、5個のエッジヒストグラムビンを割り当てられているので、前記16個のサブ画像 全てに対する該当ローカルエッジヒストグラムを生成するためには、80個のエッジヒストグラムビンが必要となる。すなわち、ビンの番号に応じた各ビンの意味は、表1のように定義される。
【0032】
【表8】
Figure 0004486780
【0033】
ここで、ビン[0]、ビン[1]、...、ビン[79」は、各々エッジヒストグラム記述子の最終符号化ビット示す。
【0034】
図6は、一つの画像に対応する80個のエッジヒストグラムビンを羅列した説明図である。例えば、図2の(0、0)に位置したサブ画像211に対するローカルエッジヒストグラムは、図6で示すように、各々垂直型、水平型、45゜型、135゜型及び非方向性であるエッジヒストグラムビン600、601、602、603及び604を含む。同様に、図2の(0、1)に位置したサブ画像212に該当するローカルエッジヒストグラムは、5個のエッジヒストグラムビン605、606、607、608及び609をサブ画像211のビンと同じ順序で含む。したがって、16個サブ画像全てに対して各々16個のローカルエッジヒストグラムを生成するためには、総80個のエッジヒストグラムビンを必要とする。ここで、前記80個のビンは、5個のエッジヒストグラムビンを16個のサブ画像に乗じることによって計算される。
【0035】
第1画像記述子を求めるため、一つのサブ画像のためのローカルエッジヒストグラムの各エッジヒストグラムビンは、各ビンをサブ画像に含まれた画像ブロックの総数で分けることによって正規化される。したがって、前記ローカルエッジヒストグラムのためのエッジヒストグラムビンの各々は、0から1までの範囲にあるビン値を有するようになる。前記画像のための正規化ビン値は、第1画像記述子として図1の処理ブロックS105に連結される。処理ブロックS105で、前記第1画像記述子は、多数の量子化表を用いて非線的に量子化される。
【0036】
すなわち、第2画像記述子を求めるため、前記正規化ビン値は、量子化されて2進数で表現される。前記量子化は、前記80個のビン値全てに対して実行される。ここで、前記正規化ビン値は、非線的に量子化されるので、前記2進数で表現するために用いられる全体ビット数は最小化される。
【0037】
その結果、一つのグループの量子化索引値を第2画像記述子で求めることができるようになる。前記非線量子化は、例えば、本発明の一実施例によってロイド−マックスアルゴリズムで設計された、非線量子を用いて実行される。
【0038】
前記量子化のために、表2ないし6のように、垂直型エッジ、水平型エッジ、45゜型エッジ135度エッジ及び非方向性エッジヒストグラムビンに対する5個の非線量子化表が各々用いられる。
【0039】
【表9】
Figure 0004486780
【0040】
【表10】
Figure 0004486780
【0041】
【表11】
Figure 0004486780
【0042】
【表12】
Figure 0004486780
【0043】
【表13】
Figure 0004486780
【0044】
本発明の前記量子化表において、ビン当たり最適のビット数は、八個の量子化レベルを有するために3に固定された。その後、前記第2画像記述子は、データベースS107に格納されて、質疑画像入力に応答して検索される。
【0045】
図7は、ロイド−マックス(Lloyd−Max)量子化を用いた非線量子化及び線量子化間の検索性能差を示すグラフィックである。図面に示すように、グラフのY軸は検索性能を表す平均正規化修正検索等級(Average Normalized Modified Retrieval Rank: ANMRR)を示し、X軸は、量子化表を生成するのにおけるエッジビン当たりのビット数に基づいた画像当たりのビット数を示す。実線 700と点線701は、各々非線量子化と線量子化を用いたときの検索性能を示す。直線700から分かるように、もしエッジビン当たりのビット数が3であるとすると、3ビットを80エッジヒストグラムビンに乗じると、得られる画像当たりのビット数は240となる。前記平均正規化修正検索等級(ANMRR)は、0から1の間の実数である。平均正規化修正検索等級(ANMRR)が0に近いほど、検索性能、すなわち、検索正確度は高くなる。したがって、各エッジヒストグラムビンに3ビットずつ割り当てることは、検索性能やビット発生量全てを考慮するとき最も効率的な符号化を実行するようにする。
【0046】
図8A及び8Bは、本発明の好ましい実施例に係る、各々入力される質疑画像に応答して要求される画像を検索する過程を説明するブロック図である。
【0047】
質疑画像は、受信された後、前記図1の処理ブロックS101及びS103と同じ方法で処理される。すなわち、前記質疑画像に対する第1画像記述子が前記で述べた方法により得られる。前記第1画像記述子は、前記質疑画像に対する正規化エッジヒストグラムビンを含む。
【0048】
次に、前記質疑画像に対するローカルエッジヒストグラム、包括型エッジヒストグラム及び半包括型エッジヒストグラムが前記正規化エッジヒストグラムビンに基づいて画像記述子で生成される。包括型エッジヒストグラムは、全体画像区域でのエッジ分布を示す。前記包括型エッジヒストグラム及び半包括型エッジヒストグラムは、以下により詳細に述べる。
【0049】
一方、図8Aを参照すると、本発明の好ましい実施例に係る、多数の非線逆量子化表を用いて入力された質疑画像に対する所望の画像を検索する第1方法が図面に説明されている。ここで、前記非線逆量子化表は、前記の表2、3、4、5及び6となり得る。
【0050】
質疑画像が入力されると、前記処理ブロックS101のような過程、すなわち、画像分割過程が処理ブロックS801で実行される。
【0051】
処理ブロックS803では、前記処理ブロックS103と同じ過程、すなわち、エッジヒストグラム生成過程が実行される。
【0052】
高い検索性能を得るため、前記質疑画像に対する包括型エッジヒストグラムと半包括型エッジヒストグラムが前記処理ブロックS803で生成されたローカルエッジヒストグラムビンに基づいて処理ブロックS805でさらに生成されることができる。
【0053】
データマッチング過程のため、対象画像に該当する多数の第2画像記述子が既に設定されたデータベースS107から順次的に検索を実行する。格納されている対象画像のためには、一つのグループの量子化索引値を検索して前記非線逆量子化表S807に連結される。前記非線逆量子化表の使用を通して、量子化索引値が対象画像のための正規化エッジヒストグラムビンに転換される。
【0054】
処理ブロックS809で、前記正規化エッジヒストグラムビンは、ローカルエッジヒストグラムビン、包括型エッジヒストグラム及び半包括型エッジヒストグラムを抽出するのに用いられる。すなわち、検索性能を高めるために、正規化エッジヒストグラム、包括型エッジヒストグラム及び半包括型エッジヒストグラムを含むローカルエッジヒストグラムがデータマッチング過程で対象画像のための画像記述子に用いられる。データマッチング過程S811で、質疑画像Aと質疑画像Bのローカル、半包括型及び包括型エッジヒストグラムの間の距離を算出することによって、前記2つの画像間の類似度は次の通り決定される。
【0055】
【数18】
Figure 0004486780
【0056】
ここで、Local_A[i]とLocal_B[i」は、各々対象画像A及びBのビン[i]の各ローカルエッジヒストグラムビンに割り当てられた索引値を表し、Global_A[] 及びGlobal_B[」は、対象画像A及びBのビン[i]の各包括型エッジヒストグラムビンに割り当てられた索引値、そして、Semi_Global_A[]及びSemi_Global_B[」は、対象画像A及びBの各半包括型エッジヒストグラムのi番目のビンに割り当てられた索引値を表す。
【0057】
前記包括型エッジヒストグラムのビンの数は、ローカル及び半包括型エッジヒストグラムのビンの数より相対的に少ないので、加重値5が前記数式に適用される。
【0058】
前記で述べたように、数式6及び逆量子化表を用いて2つの画像AとBとの間の類似度も測定できる。この場合、前記画像のためのエッジヒストグラムビン値は、前記逆量子化表を参照して復号化できるので、数式6は複雑であるが、正確な検索のための応用分野で広く用いられる。ここで、前記逆量子化表の各々は、表2ないし6に表したエッジ量子化表の各々に対応する。前記過程は、全ての対象画像が処理されるときまで繰り返す。
【0059】
一方、図8Bを参照すると、本発明の好ましい実施例によって、多数の非線逆量子化表を用いて入力された質疑画像に対応する所望の画像を検索する第2方法が図面に説明されている。すなわち、第2方法では、画像に対するローカルエッジヒストグラムが前記逆量子化表なしに高速で格納されることができる。
【0060】
入力された質疑画像に対して、前記に述べたように、前記処理ブロックS801、S803及びS805の過程が実行される。処理ブロックS808では、量子化索引値集合を前記データベースS107から検索する。この量子化索引値集合は、正規化されて正規化索引値集合を生成し、処理ブロックS810に連結される。
【0061】
処理ブロックS810で、正規化索引値は、前記格納された画像のためのエッジヒストグラムビンの値に用いられる。すなわち、前記格納画像のための包括型エッジヒストグラム及び半包括型エッジヒストグラムは、前記復号化された画像のローカルエッジヒストグラムビン値という正規化エッジヒストグラムビン値に基づいて生成される。
【0062】
処理ブロックS812で、前記質疑画像と前記復号化された画像のローカル、半包括型及び包括型エッジヒストグラムを含む画像記述子間の距離を算出して2つの画像、すなわち質疑画像Aと対象画像Bとの間の類似度を決定する。
【0063】
非線量子化表においてエッジヒストグラムビン値が単調に増加するので、本発明の量子化表の各々は、エッジ発生率が高い0附近一部区間で線的に増加する特性を有する。これは、索引値集合自体が画像検索過程で逆量子化表を参照しなくても類似度を測定できる値に用いられることができることを意味する。
【0064】
次の数式7は、前記格納画像のための索引値に基づいて直接求められた2つの画像AとBとの間でエッジヒストグラムの距離を求めることに用いられる。
【0065】
【数19】
Figure 0004486780
【0066】
類似度は、また前記逆量子化表の部分の線的特性を考慮して、前記数式7と号化された索引値集合を使用することによって測定できる。したがって、図8Bで説明した検索過程が図8Aの検索過程よりより速いことが分かる。
【0067】
図9Aないし9Cは、本発明に係る、半包括型エッジヒストグラムに提供された13個のサブ画像集合を示す例示図である。エッジ決定のため、画像領域を設定することにおいて、図2のように、画像を四等分に垂直及び水平分割して16個のサブ画像を形成する。また、画像の大きさに関係なしに常に16個のサブ画像が形成されるので、前記画像の量子化索引値は固定されたビット長さに符号化されてデータベースに格納されることができる。
【0068】
各サブ画像から符号化されたローカルエッジヒストグラムは、互いに結合して包括型エッジヒストグラム及び半包括型エッジヒストグラムの追加的なエッジヒストグラムを獲得するように再使用できる。
【0069】
包括型エッジヒストグラムは、16分割された一つの画像のサブ画像のためのローカルエッジヒストグラムを結合することによって生成される。前記で 説明したように、各エッジヒストグラムは、垂直型、水平型、45゜型、135゜型及び非方向性エッジヒストグラムビン等五種類のエッジヒストグラムビンを含んでいる。16個のローカルエッジヒストグラムを結合するためには、各エッジヒストグラムからの16個の垂直型エッジヒストグラムビンを足すべきである。同様の方式で、垂直型、水平型、45゜型、135゜型及び非方向性エッジヒストグラムビンを合算する。したがって、包括型エッジヒストグラムから全体画像に対するエッジ分布情報を獲得できる。
【0070】
図9Aないし9Cをまた参照すると、各行1ないし4に垂直方向に含まれた4個のサブ画像からなる集合4個は、各々順にサブ画像901、903、905及び907の第1ないし第4集合に設定される。そして、各列5ないし8に水平方向に含まれた4個のサブ画像からなる集合4個は、各々順にサブ画像909、911、913及び915の第5ないし第8列に設定される。また、4つのサブ画像からなる集合5個は、サブ画像917、919、921、923及び925の第9、10、11、12、13集合に設定される。
【0071】
前記第9ないし12集合917、919、921、923は、各々画像の左側上段、右側上段、左側下段及び右側下段に位置したサブ画像を有する。そして、第13集合925は、画像の中央を中心に4個のサブ画像を含む。前記サブ画像901ないし925の第1ないし13集合は、65個のエッジヒストグラムビンを含む。ここで、エッジヒストグラムビンの数65は、総サブ画像数である13と各サブ画像のためのエッジヒストグラムビンの数である5を乗じて得られる。結果的に、4個のサブ画像からなる集合13個に対して、65エッジヒストグラムビンを有する半包括型エッジヒストグラムが生成される。
【0072】
2つの画像間の類似度を決定するため、前記ローカルエッジヒストグラムのための80個のエッジヒストグラムビンのみならず、前記半包括型エッジヒストグラムのための65個のエッジヒストグラムビン及び前記包括型エッジヒストグラムのための5個のエッジヒストグラムビンを使用することによって、システム検索効率性が向上する。
【0073】
特に、前記13個の集合は、画像での物体の位置変化により敏感ではない特性により、半包括型エッジヒストグラムを生成するため、各々4個のサブ画像からなる前記13個の集合を選定することによって、検索性能を向上させることができる。
【0074】
本発明によると、量子化索引値格納に必要なビット数が大きく減ることができる。また、類似度を計算することにおける煩雑さも非線量子の使用により有意に減少できる。
【0075】
尚、本発明は、本実施例に限られるものではない。本発明の趣旨から逸脱しない範囲内で多様に変更実施することが可能である。
【図面の簡単な説明】
【図1】 本発明に係る多数の該当画像のための画像記述子を有するデータベースを構築する過程を示すブロック図である。
【図2】 画像記述子により示される、16個のサブ画像(sub−image)を有する画像の説明図である。
【図3A】 本発明に係るエッジ決定過程に用いられる五種類のエッジを描写した例示図である。
【図3B】 本発明に係るエッジ決定過程に用いられる五種類のエッジを描写した例示図である。
【図3C】 本発明に係るエッジ決定過程に用いられる五種類のエッジを描写した例示図である。
【図3D】 本発明に係るエッジ決定過程に用いられる五種類のエッジを描写した例示図である。
【図3E】 本発明に係るエッジ決定過程に用いられる五種類のエッジを描写した例示図である。
【図4】 各々フィルタ係数が割り当てられた4個のサブブロック(sub−block)に分けられた画像ブロックを示す説明図である。
【図5A】 各イメージブロックのサブブロックが5種のエッジに該当するフィルタ係数を有したイメージブロックを示す説明図である。
【図5B】 各イメージブロックのサブブロックが5種のエッジに該当するフィルタ係数を有したイメージブロックを示す説明図である。
【図5C】 各イメージブロックのサブブロックが5種のエッジに該当するフィルタ係数を有したイメージブロックを示す説明図である。
【図5D】 各イメージブロックのサブブロックが5種のエッジに該当するフィルタ係数を有したイメージブロックを示す説明図である。
【図5E】 各イメージブロックのサブブロックが5種のエッジに該当するフィルタ係数を有したイメージブロックを示す説明図である。
【図6】 画像に対応する80個のエッジヒストグラムビンを羅列した説明図である。
【図7】 ロイド−マックス(Lloyd−Max)量子化を用いた非線量子化と線量子化との間の検索性能差を示すグラフィック図である。
【図8A】 本発明に係る、各々入力される質疑画像に応答して要求される画像を検索する過程を説明するブロック図である。
【図8B】 本発明に係る、各々入力される質疑画像に応答して要求される画像を検索する過程を説明するブロック図である。
【図9A】 本発明に係る、半包括型エッジヒストグラムに提供された13個サブ画像集合を示す例示図である。
【図9B】 本発明に係る、半包括型エッジヒストグラムに提供された13個サブ画像集合を示す例示図である。
【図9C】 本発明に係る、半包括型エッジヒストグラムに提供された13個サブ画像集合を示す例示図である。

Claims (40)

  1. 明暗情報を含む複数の画像を入力して格納部に格納し、格納されたそれぞれの画像を表現する画像情報を作成する装置における、多数の画像を表現する画像情報を有するデータベース構築する方法において、
    前記格納部から取り出した一つの対象画像に対して、各々5個の正規化エッジヒストグラムビンを含んで、サブ画像に含まれた4個の方向性エッジと一つの非方向性エッジとからなる5個の基準エッジの空間分布を示すL(Lは正の整数)個のエッジヒストグラムを生成するため、Lx5個の正規化エッジヒストグラムビンを計算する第aステップと、
    前記対象画像に対してLx5個の量子化索引値を生成するため、前記Lx5個の正規化エッジヒストグラムビンを非線形的に量子化する第bステップと、
    前記Lx5個の量子化索引値を、前記対象画像を表現する画像情報としてデータベースに格納する第cステップと、
    前記格納部に格納された全ての画像が処理されるまで前記第aないし第cステップを繰り返す第dステップ
    とからなることを特徴とする多数の画像を表現する画像情報を有するデータベース構築方法。
  2. 前記方向性エッジは、
    垂直型、水平型、45゜型及び135゜型エッジを含み、
    前記非方向性エッジは、前記4個の方向性エッジを除いた、決められた方向がないエッジを表すことを特徴とする請求項1に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  3. 前記垂直型、水平型、45゜型、135゜型及び非方向性エッジは、各々、
    Figure 0004486780
    に示されるように表現されることを特徴とする請求項2に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  4. 前記第aステップは、
    前記対象画像をL個のサブ画像に分割し、さらに各々のサブ画像をSxK(但し、S及びKは、正の整数)個の画像ブロックに分割する第a1ステップと、
    前記基準エッジの内一つを各画像ブロックに割り当てて前記対象画像に対して各々Lx5個のエッジヒストグラムビンを含むL個のエッジヒストグラムを生成する第a2ステップと、
    一つのサブ画像に含まれた画像ブロックの数であるSxKに前記エッジヒストグラムビンを正規化して各々0と1間の実数を有するLx5個の正規化エッジヒストグラムビンを生成する第a3ステップと
    を含むことを特徴とする請求項3に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  5. 前記第a1ステップは、
    前記対象画像をNxN(但し、Nは正の整数)個の互いに重ならないサブ画像に分割してL個の四角形サブ画像を形成する第a1−1ステップと、
    各サブ画像をSxK個の互いに重ならないブロックに分割してSxK個の四角形画像ブロックを形成する第a1−2ステップと
    を含むことを特徴とする請求項4に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  6. 前記第a2ステップは、
    前記基準エッジの内一つを各画像ブロックに割り当てる第a2−1ステップと、
    前記対象画像に対するL個のエッジヒストグラムを生成するため、各サブ画像に含まれた基準エッジの数をカウントする第a2−2ステップと
    を含むことを特徴とする請求項5に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  7. 前記第a2−1ステップは、
    各画像ブロックを2x2個のサブブロックに分割する第a2−11ステップと、
    該当フィルタ係数を各サブブロックに割り当てる第a2−12ステップと、
    各画像ブロックのための5個のエッジに該当する五種類のエッジ大きさの集合を計算する第a2−13ステップと、
    前記計算されたエッジ大きさを互いに比較して、前記画像ブロックを最大エッジ大きさを有するエッジで表現する第a2−14ステップと
    を含むことを特徴とする請求項6に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  8. 前記五種類のエッジ大きさは、mv(i,j),mh(i,j),md-45(i,j),md-135(i,j),及びmnd(i,j)の各々は、(i,j)番目の画像ブロックのための垂直型、水平型、45゜型、135゜型及び非方向性エッジ大きさを表し、ak(i,j)は(i,j)番目の画像ブロックでkと表示されたサブブロックに対する平均グレイスケール(grey scale)を表し、および、fv(k),fh(k),fd-45(k),fd-135(k)及びfnd(k)は、各々垂直型、水平型、45゜型、135゜型及び非方向性エッジに対するフィルタ係数を表しているとすると、次の5個の数式、
    Figure 0004486780
    Figure 0004486780
    Figure 0004486780
    Figure 0004486780
    Figure 0004486780
    から求められることを特徴とする請求項7に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  9. 前記最大エッジ大きさが所定のしきい値より小さい場合、前記画像ブロックを、エッジを一つも含まないとして表すことを特徴とする請求項7に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  10. 前記第bステップは、
    各々特定基準エッジに対応する5個の非線形量子化表の内該当非線形量子化表を用いることによって、各正規化エッジヒストグラムビンを非線形的に量子化する第b1ステップを含むことを特徴とする請求項1に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  11. 前記第b1ステップは、
    各正規化エッジヒストグラムビンを各該当基準エッジ量子化表に含まれた表現値にマッピングする第b2−1ステップと、
    各正規化エッジヒストグラムビンのための表現値を表す量子化索引値3ビット生成してLx5個の量子化索引値を前記対象画像の第2画像記述子に生成する第b2−2ステップと
    を含むことを特徴とする請求項10に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  12. 前記正規化エッジヒストグラムビンは、ロイド−マックス(Lloyd−Max)アルゴリズムに基づいた非線形量子を用いて非線形的に量子化されることを特徴とする請求項10に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  13. 前記Nは、4であることを特徴とする請求項5に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  14. 前記量子化表は、前記サブ画像において垂直型エッジの個数を表す垂直型エッジヒストグラムビンのための表を含み、当該垂直型エッジヒストグラムビンのための表は、
    Figure 0004486780
    で示されることを特徴とする請求項12に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  15. 前記量子化表は、前記サブ画像において水平型エッジの個数を表す水平型エッジヒストグラムビンのための表をさらに含み、当該水平型エッジヒストグラムビンのための表は、
    Figure 0004486780
    で示されることを特徴とする請求項12に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  16. 前記量子化表は、前記サブ画像において45゜型エッジの個数を表す45゜型エッジヒストグラムビンのための表をさらに含み、当該45゜型エッジヒストグラムビンのための表は、
    Figure 0004486780
    で示されることを特徴とする請求項12に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  17. 前記量子化表は、前記サブ画像において135゜型エッジの個数を表す135゜型エッジヒストグラムビンのための表をさらに含み、当該135゜型エッジヒストグラムビンのための表は、
    Figure 0004486780
    で示されることを特徴とする請求項12に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  18. 前記量子化表は、非方向性エッジの個数を表す非方向性エッジヒストグラムビンのための表をさらに含み、当該非方向性エッジヒストグラムビンのための表は、
    Figure 0004486780
    で示されることを特徴とする請求項12に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  19. ビンの番号に応じたエッジヒストグラムビンの各々の意味は、
    Figure 0004486780
    のように定義されることを特徴とする請求項6に記載の多数の画像を表現する画像情報を有するデータベース構築方法。
  20. 明暗情報を含む質疑画像を入力して格納部に格納し、格納された質疑画像を表現する画像情報を作成し、作成した画像情報に基づいて、データベースから質疑画像に対する該当画像を検索する装置における、データベースから質疑画像に対する該当画像を検索する方法において、
    前記格納部から取り出した前記質疑画像に対して、各々サブ画像に含まれた4個の方向性エッジと一つの非方向性エッジとからなる5個の基準エッジの空間分布を示すL個(但し、Lは正の整数)のローカルエッジヒストグラムを前記質疑画像の画像記述子として算出する第aステップと、
    前記データベースの画像情報に基づいて、各対象画像に対してL個のローカルエッジヒストグラムを含む、前記対象画像に対する多数の画像記述子を、前記対象画像を表現する画像情報として抽出する第bステップと、
    前記質疑画像に対する画像記述子を対象画像の各画像記述子と比較して比較結果を生成する第cステップと、
    前記比較結果に基づいて前記対象画像を検索する第dステップと
    を含むことを特徴とするデータベースから質疑画像に対する該当画像検索する方法。
  21. 前記ローカルエッジヒストグラムの各々は、基準エッジに該当する5個のエッジヒストグラムビンを有することを特徴とする請求項20に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  22. 前記方向性エッジは、垂直型、水平型、45゜型及び135゜型エッジを含んで、前記非方向性エッジは、前記4つの方向性エッジを除いた、決められた方向がないエッジを表すことを特徴とする請求項20に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  23. 前記第aステップは、
    前記質疑画像を各々SxK(但し、S及びKは正の整数)個の画像ブロックに分割されるNxN個の互いに重ならないサブ画像に分割してL個の四角形サブ画像を形成する第a1ステップと、
    前記基準エッジの内一つを各画像ブロックに割り当てて各々Lx5個のエッジヒストグラムビンを含む前記質疑画像に対するL個のエッジヒストグラムを生成する第a2ステップと、
    一つのサブ画像に含まれた画像ブロックの数であるSxKに前記エッジヒストグラムビンを正規化して各々0と1間の実数を有するLx5個の正規化エッジヒストグラムビンを生成する第a3ステップと
    を含むことを特徴とする請求項22に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  24. 前記第a2ステップは、
    前記基準エッジらの内一つを各画像ブロックに割り当てる第a2−1ステップと、
    各サブ画像に含まれた基準エッジの数をカウントして前記質疑画像に対するL個のエッジヒストグラムを生成する第a2−2ステップと
    を含むことを特徴とする請求項23に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  25. 前記第a2−1ステップは、
    各画像ブロックを2x2個のサブブロックに分割する第a2−11ステップと、
    該当フィルタ係数を各サブブロックに割り当てる第a2−12ステップと、
    前記フィルタ係数を用いて各画像ブロックのための5個のエッジに該当する五種類エッジ大きさの集合を計算する第a2−13ステップと、
    前記計算されたエッジ大きさを互いに比較して、前記画像ブロックを最大エッジ大きさを有するエッジで表す第a2−14ステップと
    を含むことを特徴とする請求項24に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  26. 前記五種類エッジ大きさを、mv(i,j),mh(i,j),md-45(i,j),md-135(i,j),及びmnd(i,j)の各々は、(i,j)番目の画像ブロックのための垂直型、水平型、45゜型、135゜型及び非方向性エッジ大きさを表し、ak(i,j)は(i,j)番目の画像ブロックでkと表示されたサブブロックに対する平均グレイスケールを表し、fv(k),fh(k),fd-45(k),fd-135(k)及びfnd(k)は、各々垂直型、水平型、45゜型、135゜型及び非方向性エッジに対するフィルタ係数を表しているとすると、それぞれは
    Figure 0004486780
    Figure 0004486780
    Figure 0004486780
    Figure 0004486780
    Figure 0004486780
    の数式5個から獲得することを特徴とする請求項25に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  27. 前記最大エッジの大きさが所定のしきい値より小さい場合、前記画像ブロックを、エッジを一つも含まないとして表すことを特徴とする請求項25に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  28. 質疑及び対象画像に対する前記画像記述子は、各々前記Lx5個の正規化エッジヒストグラムビンに基づいて包括型エッジヒストグラム及びR個の(但し、Rは正の整数)半包括型エッジヒストグラムをさらに含むことを特徴とする請求項20に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  29. 前記包括型エッジヒストグラムは、前記質疑及び対象画像の全体空間上でのエッジ分布を表し、各半包括型エッジヒストグラムは、前記質疑及び対象画像のサブ画像の該当集合でのエッジ分布を表すことを特徴とする請求項28に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  30. 前記NとRが各々4と13であることを特徴とする請求項28に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  31. 各4個のサブ画像からなる13個の集合の各々に対して前記13個の半包括型エッジヒストグラムが生成され、前記13個の集合は(各々垂直方向に形成された前記画像の第1ないし4行に)4個のサブ画像を含んでいる4個の集合と(水平方向に形成された前記画像の第1ないし4列に)4個のサブ画像を含んでいる4個の集合からなり、前記4個の集合の各々は、該当サブ画像及びそのサブ画像を隣接した3個のサブ画像を含み、前記該当サブ画像は、各々左側上段、右側上段、左側下段及び右側下段に位置し、前記画像の中央を中心に4個のサブ画像を含むことを特徴とする請求項30に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  32. 前記第bステップは、
    各対象画像に対してLx5個の量子化索引値を検索する第b1ステップと、
    五種類非線形逆量子化表を用いて前記Lx5個の量子化索引値の各々をLx5個の各対象画像に対する正規化エッジヒストグラムビンに転換する第b2ステップと、
    Lx5個の正規化エッジヒストグラムビンに基づいてL個のローカルエッジヒストグラムを生成する第b3ステップと
    を含むことを特徴とする請求項20に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  33. 前記bステップは、
    前記Lx5個の正規化エッジヒストグラムビンに基づいて、各対象画像に対して包括型エッジヒストグラム及びR個の半包括型エッジヒストグラムをさらに生成する第b4ステップをさらに含むことを特徴とする請求項32に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  34. 前記第bステップは、
    各対象画像に対してLx5個の量子化索引値を検索する第b1ステップと、
    前記Lx5個の量子化索引値を正規化して前記Lx5個の量子化索引値の各々をLx5個の各対象画像に対する正規化エッジヒストグラムビンに転換する第b2ステップと、
    Lx5個の正規化エッジヒストグラムビンに基づいてL個のローカルエッジヒストグラムを生成する第b3ステップと
    を含むことを特徴とする請求項20に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  35. 前記第bステップは、
    前記Lx5個の正規化エッジヒストグラムビンに基づいて、各対象画像に対して包括型エッジヒストグラム及びR個の半包括型エッジヒストグラムをさらに生成する第b4ステップをさらに含むことを特徴とする請求項34に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  36. 前記第cステップは、
    Local_A[i]とLocal_B[i」は、各々対象画像A及びBのビン[i]の各ローカルエッジヒストグラムビンに割り当てられた索引値を表し、Global_A[]及びGlobal_B[」は、対象画像A及びBのビン[i]の各包括型エッジヒストグラムビンに割り当てられた索引値、そして、Semi_Global_A[]及びSemi_Global_B[」は、対象画像A及びBのビン[i]の各半包括型エッジヒストグラムビンに割り当てられた索引値を表しているとすると、
    Figure 0004486780
    の数式によって、前記質疑画像と対象画像との間の距離を測定するステップを含むことを特徴とする請求項33に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  37. 前記第cステップは、
    Local_A[i]とLocal_B[i」は、各々対象画像A及びBのビン[i]の各ローカルエッジヒストグラムビンに割り当てられた索引値を表し、Global_A[]及びGlobal_B[」は、対象画像A及びBのビン[i]の各包括型エッジヒストグラムビンに割り当てられた索引値、および、Semi_Global_A[]及びSemi_Global_B[」は、対象画像A及びBのビン[i]の各半包括型エッジヒストグラムビンに割り当てられた索引値を表しているとすると、
    Figure 0004486780
    の数式によって、前記質疑画像と対象画像との間の距離を測定するステップを含むことを特徴とする請求項35に記載のデータベースに基づいた質疑画像に対する該当画像検索方法。
  38. 明暗情報を含む画像を入力して、前記画像を表現する画像情報を作成する装置における、画像情報を作成する対象画像に対してエッジヒストグラム記述子のビット表現を構成する方法において、
    前記対象画像を入力して、前記対象画像をL個のサブ画像に分割し、各々のサブ画像を、SxK個の(但し、S及びKは正の整数)画像ブロックに分割する第aステップと、
    4個の方向性エッジ及び一つの非方向性エッジを含む5個の基準エッジの内一つを各画像ブロックに割り当てて前記対象画像に対して各々Lx5個のエッジヒストグラムビンを含むL個のエッジヒストグラムを生成する第bステップと、
    各エッジヒストグラムに含まれている前記エッジヒストグラムビンを前記SxK個の画像ブロックの数で正規化することによって、各々0と1の間の実数を有するLx5個の正規化エッジヒストグラムビンを生成する第cステップと、
    Lx5個の正規化エッジヒストグラムビンを非線形的に量子化してLx5個の量子化索引値を前記対象画像に対する第2画像記述子で生成する第dステップと
    を含み、前記画像情報を前記第2画像記述子として生成することを特徴とするエッジヒストグラム記述子のビット表現を構成する方法。
  39. 各量子化索引値は、3ビットで表現されることを特徴とする請求項38に記載のエッジヒストグラム記述子のビット表現を構成する方法。
  40. 前記方向性エッジは、垂直型、水平型、45゜型及び135゜型エッジを含み、前記非方向性エッジは、前記4つの方向性エッジを除いた、決められた方向がないエッジを表すことを特徴とする請求項39に記載のエッジヒストグラム記述子のビット表現を構成する方法。
JP2002536846A 2000-10-21 2001-10-18 画像情報検索のための非線形量子化及び類似度マッチング方法 Expired - Fee Related JP4486780B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020000062137A KR20020031015A (ko) 2000-10-21 2000-10-21 에지 히스토그램 빈의 비선형 양자화 및 유사도 계산
PCT/KR2001/001754 WO2002033978A1 (en) 2000-10-21 2001-10-18 Non-linear quantization and similarity matching methods for retrieving image data

Publications (2)

Publication Number Publication Date
JP2004512596A JP2004512596A (ja) 2004-04-22
JP4486780B2 true JP4486780B2 (ja) 2010-06-23

Family

ID=19694745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002536846A Expired - Fee Related JP4486780B2 (ja) 2000-10-21 2001-10-18 画像情報検索のための非線形量子化及び類似度マッチング方法

Country Status (7)

Country Link
US (1) US7295718B2 (ja)
EP (1) EP1329107A4 (ja)
JP (1) JP4486780B2 (ja)
KR (2) KR20020031015A (ja)
CN (1) CN1218582C (ja)
AU (1) AU2002211027A1 (ja)
WO (1) WO2002033978A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
KR100437801B1 (ko) * 2002-06-04 2004-06-30 엘지전자 주식회사 장면 전환 검출 장치 및 방법
KR100488011B1 (ko) * 2002-10-07 2005-05-06 엘지전자 주식회사 칼라 히스토그램의 빈값 양자화 방법
WO2004040912A1 (en) * 2002-10-31 2004-05-13 Electronics And Telecommunications Research Institute Non-linear quantization and similarity matching methods for retrieving video sequence having a set of image frames
CN100446569C (zh) * 2002-10-31 2008-12-24 韩国电子通信研究院 用于检索具有图像帧组视频序列的非线性量化和相似性匹配方法
KR100959053B1 (ko) * 2003-01-13 2010-05-20 한국전자통신연구원 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
US7609908B2 (en) * 2003-04-30 2009-10-27 Eastman Kodak Company Method for adjusting the brightness of a digital image utilizing belief values
US20050163378A1 (en) * 2004-01-22 2005-07-28 Jau-Yuen Chen EXIF-based imaged feature set for content engine
DE602004014901D1 (de) * 2004-04-29 2008-08-21 Mitsubishi Electric Corp Adaptive Quantisierung einer Tiefenkarte
US7570403B2 (en) * 2005-03-16 2009-08-04 Kabushiki Kaisha Toshiba Color image processing apparatus
US7778468B2 (en) * 2005-03-23 2010-08-17 Fuji Xerox Co., Ltd. Decoding apparatus, dequantizing method, and program thereof
JP5196731B2 (ja) * 2006-04-20 2013-05-15 キヤノン株式会社 画像処理装置及び画像処理方法
KR100834095B1 (ko) * 2006-12-02 2008-06-10 한국전자통신연구원 디지털 미디어의 데이터 고유특성을 이용한 논블라인드워터마크 삽입/추출 장치 및 워터마크 삽입/추출 방법
US20080240239A1 (en) * 2007-04-02 2008-10-02 Stuart David A Methods and apparatus to selectively reduce streaming bandwidth consumption
DE102007019057A1 (de) * 2007-04-23 2008-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen eines Kanten-Histogramms, Vorrichtung und Verfahren zum Ablegen eines Bildes in einer Bilddatenbank, Vorrichtung und Verfahren zum Auffinden von zwei ähnlichen Bildern und Computerprogramm
US8260048B2 (en) * 2007-11-14 2012-09-04 Exelis Inc. Segmentation-based image processing system
US8208731B2 (en) 2008-04-07 2012-06-26 Microsoft Corporation Image descriptor quantization
WO2009136673A1 (en) * 2008-05-09 2009-11-12 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Matching images with shape descriptors
US20100246969A1 (en) * 2009-03-25 2010-09-30 Microsoft Corporation Computationally efficient local image descriptors
CN104067272A (zh) * 2011-11-21 2014-09-24 诺基亚公司 用于图像处理的方法和装置
US9870517B2 (en) * 2011-12-08 2018-01-16 Excalibur Ip, Llc Image object retrieval
US9087260B1 (en) * 2012-01-03 2015-07-21 Google Inc. Hierarchical randomized quantization of multi-dimensional features
KR101336025B1 (ko) * 2012-03-22 2013-12-05 인하대학교 산학협력단 조직세포 영상의 관부위 이형성 표현을 위한 관부위 이형성 진폭 시그니쳐 생성 방법
US8805123B2 (en) * 2012-10-09 2014-08-12 Samsung Electronics Co., Ltd. System and method for video recognition based on visual image matching
CN103024378B (zh) * 2012-12-06 2016-04-13 浙江大学 一种视频编解码中运动信息导出方法及装置
CN103338373B (zh) * 2013-06-15 2016-05-04 浙江大学 一种相邻边界长度导出方法及装置
US9805280B2 (en) 2015-02-16 2017-10-31 Netspark Ltd. Image analysis systems and methods
WO2017074336A1 (en) * 2015-10-28 2017-05-04 Hewlett Packard Enterprise Development Lp Identification of images
KR101905403B1 (ko) * 2017-02-15 2018-10-08 동명대학교산학협력단 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술
CN108256532A (zh) * 2018-01-10 2018-07-06 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746408A (ja) 1993-07-31 1995-02-14 Shimadzu Corp 医療画像記録装置
DE69606441T2 (de) 1996-04-18 2000-06-15 Nokia Mobile Phones Ltd Videodatenkodierer und -dekodierer
US6072904A (en) 1997-12-31 2000-06-06 Philips Electronics North America Corp. Fast image retrieval using multi-scale edge representation of images
JP2002536746A (ja) * 1999-02-01 2002-10-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動画シーケンスを表す記述子とその記述子を使用する画像検索システム
KR100364753B1 (ko) * 1999-11-19 2002-12-16 엘지전자 주식회사 칼라 히스토그램의 빈값 양자화 방법

Also Published As

Publication number Publication date
EP1329107A4 (en) 2005-08-03
EP1329107A1 (en) 2003-07-23
US7295718B2 (en) 2007-11-13
JP2004512596A (ja) 2004-04-22
KR100556832B1 (ko) 2006-03-10
US20020136454A1 (en) 2002-09-26
CN1218582C (zh) 2005-09-07
WO2002033978A1 (en) 2002-04-25
KR20020031015A (ko) 2002-04-26
AU2002211027A1 (en) 2002-04-29
KR20040028658A (ko) 2004-04-03
CN1470131A (zh) 2004-01-21

Similar Documents

Publication Publication Date Title
JP4486780B2 (ja) 画像情報検索のための非線形量子化及び類似度マッチング方法
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
US7702152B2 (en) Non-linear quantization and similarity matching methods for retrieving video sequence having a set of image frames
CN104012093B (zh) 用于处理图像的方法
CN105912643A (zh) 一种基于内容改进型均值哈希的图像检索方法
Kekre et al. Image retrieval by Kekre's transform applied on each row of Walsh transformed VQ codebook
CN104376003A (zh) 一种视频检索方法及装置
JP2004045565A (ja) 類似時系列検出方法及び装置、並びにプログラム及び記録媒体
Vázquez et al. Using normalized compression distance for image similarity measurement: an experimental study
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN110110120B (zh) 一种基于深度学习的图像检索方法和装置
CN114387454A (zh) 一种基于区域筛选模块和多层次对比的自监督预训练方法
CN116383470A (zh) 一种具有隐私保护的图像搜索方法
JP6151908B2 (ja) 学習装置、識別装置、およびそのプログラム
CN114372169A (zh) 一种同源视频检索的方法、装置以及存储介质
KR100959053B1 (ko) 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
JPH08167028A (ja) 画像処理方法
Panchanathan et al. Indexing and retrieval of color images using vector quantization
KR100324255B1 (ko) 내용 기반 동영상 검색 방법
Doulamis et al. Efficient content-based image retrieval using fuzzy organization and optimal relevance feedback
CN110427348B (zh) 基于大数据的智慧安防系统数据共享方法
CN100446569C (zh) 用于检索具有图像帧组视频序列的非线性量化和相似性匹配方法
Dong Image classification algorithm based on multi—Feature fusion and deep belief network
ARUNA Dot Diffusion Block Truncation Coding for Effective Image Retrieval System
Chiu et al. Compressed domain feature transformation using evolutionary strategies for image classification

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071112

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080519

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20080520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080520

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080701

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080808

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees