JP3636674B2 - 映像の類似度評価方法及びその装置 - Google Patents
映像の類似度評価方法及びその装置 Download PDFInfo
- Publication number
- JP3636674B2 JP3636674B2 JP2001165519A JP2001165519A JP3636674B2 JP 3636674 B2 JP3636674 B2 JP 3636674B2 JP 2001165519 A JP2001165519 A JP 2001165519A JP 2001165519 A JP2001165519 A JP 2001165519A JP 3636674 B2 JP3636674 B2 JP 3636674B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- texture
- similarity
- cognitive
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像の類似度評価方法及びその装置に係り、さらに詳細には正確に類似度を評価する映像の類似度評価方法及びその装置に関する。
【０００２】
【従来の技術】
映像の検索(ｓｅａｒｃｈ)及び呼入れ(ｒｅｔｒｉｅｖａｌ)のためにテクスチャの統計的な属性(ａｔｔｒｉｂｕｔｅ)を用いた技術(ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）が広く用いられている。このような技術によってテクスチャ記述子(ｔｅｘｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ)が求められる。テクスチャ記述子は統計を基盤にする類似度抽出成分(Ｓｉｍｉｌａｒｉｔｙ Ｒｉｔｒｉｅｖａｌ Ｃｏｍｐｏｎｅｎｔ:ＳＲＣ)と、例を挙げれば、方向性、テクスチャ規則性の強度等のようなテクスチャの認知的属性を記述するために開発された認知的ブラウジング成分(Ｐｅｒｃｅｐｔｕａｌ Ｂｒｏｗｓｉｎｇ Ｃｏｍｐｏｎｅｎｔ:ＰＢＣ）の２種成分でなっており、このようなテクスチャ記述子は映像のブラウジング及び分類を目的に用いられる。映像のブラウジング及び分類は差異評価(ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅ)を基盤にする。差異評価は特徴ベクトルを基礎に定義され、映像の類似度(ｓｉｍｉｌａｒｉｔｙ)／差異度(ｄｉｓｉｍｉｌａｒｉｔｙ)を提供する。
【０００３】
従来の類似度評価方法は、統計を基盤にするテクスチャ記述子を用いる。前記方法によると、特徴ベクトル空間内で照会映像の特徴ベクトルを中心にする円の半径を拡張してその円内に他の特徴ベクトルが存在するならば照会映像と前記他の特徴ベクトルに該当する映像のテクスチャ特徴は照会映像と認知的に似ている確率が非常に高いことに決定される。
【０００４】
しかし、このような従来の類似度評価方法によると、円の半径を増加させることによって半径が増加された円内で新しく通過する特徴ベクトルに該当する映像は認知的に照会映像と似ている確率が非常に急激に低下する。したがって、統計を基盤にするテクスチャ記述子を用いる従来の類似度評価方法によって照会映像と認知的に類似の映像として検索された映像は照会映像と認知的な類似性を有しない場合があるという問題点がある。
【０００５】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は正確に２映像の類似度を評価する映像の類似度評価方法を提供することにある。
【０００６】
本発明が解決しようとする技術的課題は、前記映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵するコンピュータ読取り可能記録媒体を提供することにある。
【０００７】
本発明が解決しようとするまた他の技術的課題は、前記映像の類似度評価方法を遂行する映像の類似度評価装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決するために本発明の一側面による映像の類似度評価方法は、(ａ)類似度を評価する映像の統計的差異度を計算する段階、(ｂ)類似度を評価する映像の認知的差異度を計算する段階、及び(ｃ)統計的差異度と認知的差異度とを基礎に映像のテクスチャ特徴の差異度を計算する段階を含むことを特徴とする。
【０００９】
また、前記(ｂ)段階は、(ｂ−１)映像のテクスチャの規則性を計算する段階、及び(ｂ−２)計算されたテクスチャの規則性の差異を計算する段階を含むことが望ましい。
【００１０】
また、前記(ｃ)段階は、(ｃ−１)認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度に比例する値に決定する段階を含むことが望ましい。
【００１１】
また、前記(ｃ)段階は、(ｃ−１)認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度の認知的差異度に該当する指数乗を基礎に決定する段階を含むことが望ましい。
【００１２】
また、前記課題を解決するために本発明の他側面による映像の類似度評価方法は、(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異(ｄｉｓｓｉｍｉｌａｒｉｔｙ)ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含むことが望ましい。
【００１３】
また、前記他の課題を解決するために本発明の他側面によるコンピュータ読取り可能記録媒体は、(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含む映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵することを特徴とする。
【００１４】
また、前記また他の課題を解決するために本発明の他側面による映像のテクスチャ類似度評価装置は、類似度を評価する映像の統計的差異度を計算する統計的差異度計算部、類似度を評価する映像の認知的差異度を計算する認知的差異度計算部、及び統計的差異度と認知的差異度とを基礎に映像のテクスチャ特徴の差異度を計算するテクスチャ特徴差異度計算部を含むことを特徴とする。
【００１５】
【発明の実施の形態】
以下、添付した図面を参照しながら本発明の望ましい実施形態を詳細に説明する。
【００１６】
図１には本発明の実施形態による映像の類似度評価装置をブロック図で示した。図１を参照すると、本発明の実施形態による映像の類似度評価装置は統計的差異度計算部１０２、認知的差異度計算部１０４、及びテクスチャ特徴差異度計算部１０６を備える。認知的差異度計算部１０４はテクスチャ規則性評価部１０４ａ１と規則性差異計算部１０４ａ２とを備える。図２には図１の装置内で遂行される本発明の実施形態による映像の類似度評価方法の主要段階を流れ図で示した。図２は以下で随時参照される。
【００１７】
図１を参照して本発明の実施形態による映像の類似度評価装置の動作を説明すると、まず、統計的差異度計算部１０２は統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度を計算する(段階２０２)。計算された差異度はｄ（ｉ，ｊ）で示す。
【００１８】
次に、認知的差異度計算部１０４内のテクスチャ規則性評価部１０４ａ１は、テクスチャの認知的属性を定量的に評価する。本実施形態で、テクスチャ規則性評価部１０４ａ１はテクスチャの認知的属性としてテクスチャの規則性を定量的に評価する。すなわち、テクスチャ規則性評価部１０４ａ１は２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める(段階２０４)。定量的評価値Ｐ(i)及びＰ(j)は一定な範囲の定数である。前記定量的評価値が大きければ大きいほどテクスチャの規則性が大きい。２映像ｉとｊの規則性はテクスチャの認知的属性に対する定量的評価を用いて計算できる。テクスチャの認知的属性に対する定量的評価を基礎に認知的ブラウジング成分を抽出することによって認知的ブラウジング成分を含むテクスチャ記述子を求める方法は本明細書に参照として統合されて本出願人によって１９９９．３．１９日付に出願された米国特許出願０９／２７２、３２１号に開示されている。したがって、本明細書では認知的ブラウジング成分を含むテクスチャ記述子に対してこれ以上説明しない。
【００１９】
次に、規則性差異計算部１０４ａ２は、２映像ｉとｊのテクスチャパターンに対する規則性の差異を計算する(段階２０６)ことにより規則性差異データ|Ｐ(i)−Ｐ(j)|を出力する。図３には２映像の類似度評価のためのフレーム・ワークを説明するための図面を示した。図３を参照すると、映像ｉとｊに対して各々統計的成分と認知的成分を求めて、求めた統計的成分と認知的成分とを用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）と認知的差異度ｄ＾（Ｐ(i)，Ｐ(j)）とを求める。前記実施形態では認知的差異度ｄ＾（Ｐ(i)，Ｐ(j)）はテクスチャ特徴の規則性から求められる。
【００２０】
これから、テクスチャ特徴差異度計算部１０６は、統計的差異度計算部１０２から出力された統計的差異度データと規則性差異計算部１０４ａ２から出力された規則性差異度データを用いて２映像のテクスチャ特徴の差異度を求める。本実施形態ではαは所定のスケーリング係数とする時、２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を、
【数７】
によって計算する(段階２０８)。参考に、ｄ（ｉ，ｊ）は統計を基盤にするテクスチャ記述子を用いて計算された差異度を示して、ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数を示し、本実施形態でｄ＾（Ｐ(i)，Ｐ(j)）は２映像ｉとｊのテクスチャパターンに対する規則性差の評価結果を示し、一例としてｄ＾の計算は、
【数８】
で定義される。
【００２１】
以下では上述した映像の類似度評価方法を用いてそれぞれ他の状況別に前記数７による類似度を評価した結果を説明する。
【００２２】
最初に、本発明によると、統計的差異度と認知的差異度とが所定の臨界値より大きければテクスチャ特徴の差異度は統計的差異度と認知的差異度との少なくとも合計で決定される。本実施形態では映像ｊが検査される映像で映像ｉが照会映像であると仮定する時、もしも２映像ｉとｊに対する統計的差異度ｄ（ｉ，ｊ）が大きくて認知的差異度が大きければ、すなわち、|Ｐ(i)−Ｐ(j)|＞１であれば、
【数９】
は指数的に増加する。したがって、２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）は急激に増加する。このような場合は映像ｊのテクスチャ特徴の規則性側面で映像ｉと非常に異なるケースに該当する。
【００２３】
第二、本発明によると、認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度は統計的差異度に比例する値で決定される。本実施形態ではもしも２映像ｉとｊの認知的差異度が小さければ、すなわち、|Ｐ(i)−Ｐ(j)|≦１であれば、
【数１０】
で示される指数項の大きさは急激に減少して０に近くなる。したがって、テクスチャパターンの差異度Ｄ（ｉ，ｊ）は統計的差異度ｄ（ｉ，ｊ）に近接する。
【００２４】
第三、本発明によると、統計的差異度は所定の臨界値より小さいが認知的差異度は所定の臨界値以上であれば、テクスチャ特徴の差異度は認知的差異度にある程度影響を受けて決定される。本実施形態では、統計的差異度ｄ（ｉ，ｊ）は小さいが認知的差異度が大きければ、すなわち、|Ｐ(i)−Ｐ(j)|＞１であれば、テクスチャパターンの差異度Ｄ（ｉ，ｊ）は統計的差異度の認知的差異度に該当する指数乗として決定されるが統計的差異度が相対的に小さい値であるのでテクスチャ特徴の差異度は認知的差異度にある程度影響を受けるがそれほど大きい影響を受けない。
【００２５】
前記映像の類似度評価方法は、テクスチャ特徴の統計的差異と認知的差異とをすべて用いてテクスチャ特徴の差異を決定する。上述した映像の類似度評価方法によって照会映像と認知的に類似の映像を検索すると、検索された映像が照会映像と認知的な類似性を有しない場合が少ない。したがって、本発明による映像の類似度評価方法を用いて照会映像とテクスチャ特徴が類似の映像を検索する時映像の検索性能を改善できる。前記のような映像の類似度評価方法はコンテンツ基盤の映像検索に適用することが適している。
【００２６】
一方、差異度が大きければ類似度が小さくて、差異度が小さければ類似度が大きいので、差異度の評価は類似度の評価と同一な意味を有する。したがって、本願発明の方法では差異度を評価するが類似度を測定する方法であると称する。
【００２７】
また、前記のような本発明による映像の類似度評価方法は個人用またはサーバー級のコンピュータ内で実行されるプログラムで作成可能である。前記プログラムを構成するプログラムコード及びコードセグメントは該分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムはコンピュータ読取り可能記録媒体に貯蔵できる。前記記録媒体は磁気記録媒体、光記録媒体、及び電波媒体を含む。
【００２８】
以上の実施形態ではテクスチャ特徴の差異度を統計的差異度の認知度差異度に該当する指数乗を用いることを例として説明したが添付された請求項によって定義される本発明の範囲内で当業者によって適切に変更または修正することが可能である。したがって、添付された請求項によって定義される本発明の範囲は上述した実施形態に限定されない。
【００２９】
【発明の効果】
上述したように本発明による映像の類似度評価方法によって照会映像と認知的に類似の映像を検索すると、検索された映像が照会映像と認知的な類似性を有しない場合が少ない。したがって、本発明による映像の類似度評価方法を用いて照会映像とテクスチャ特徴が類似の映像を検索する時映像の検索性能を改善できる。
【図面の簡単な説明】
【図１】 本発明の実施形態による映像の類似度評価装置の構造を図示したブロック図である。
【図２】 図１の装置内で遂行される本発明の実施形態による映像の類似度評価方法の主要段階を示した流れ図である。
【図３】 ２映像の類似度評価のためのフレーム・ワークを説明するための図面である。
【符号の説明】
２０２：２映像ｉとｊの統計的差異度を計算する段階
２０４：テクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階
２０６：２映像ｉとｊのテクスチャパターンに対する規則性の差異を計算する段階
２０８：２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を計算する段階
【発明の属する技術分野】
本発明は映像の類似度評価方法及びその装置に係り、さらに詳細には正確に類似度を評価する映像の類似度評価方法及びその装置に関する。
【０００２】
【従来の技術】
映像の検索(ｓｅａｒｃｈ)及び呼入れ(ｒｅｔｒｉｅｖａｌ)のためにテクスチャの統計的な属性(ａｔｔｒｉｂｕｔｅ)を用いた技術(ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）が広く用いられている。このような技術によってテクスチャ記述子(ｔｅｘｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ)が求められる。テクスチャ記述子は統計を基盤にする類似度抽出成分(Ｓｉｍｉｌａｒｉｔｙ Ｒｉｔｒｉｅｖａｌ Ｃｏｍｐｏｎｅｎｔ:ＳＲＣ)と、例を挙げれば、方向性、テクスチャ規則性の強度等のようなテクスチャの認知的属性を記述するために開発された認知的ブラウジング成分(Ｐｅｒｃｅｐｔｕａｌ Ｂｒｏｗｓｉｎｇ Ｃｏｍｐｏｎｅｎｔ:ＰＢＣ）の２種成分でなっており、このようなテクスチャ記述子は映像のブラウジング及び分類を目的に用いられる。映像のブラウジング及び分類は差異評価(ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅ)を基盤にする。差異評価は特徴ベクトルを基礎に定義され、映像の類似度(ｓｉｍｉｌａｒｉｔｙ)／差異度(ｄｉｓｉｍｉｌａｒｉｔｙ)を提供する。
【０００３】
従来の類似度評価方法は、統計を基盤にするテクスチャ記述子を用いる。前記方法によると、特徴ベクトル空間内で照会映像の特徴ベクトルを中心にする円の半径を拡張してその円内に他の特徴ベクトルが存在するならば照会映像と前記他の特徴ベクトルに該当する映像のテクスチャ特徴は照会映像と認知的に似ている確率が非常に高いことに決定される。
【０００４】
しかし、このような従来の類似度評価方法によると、円の半径を増加させることによって半径が増加された円内で新しく通過する特徴ベクトルに該当する映像は認知的に照会映像と似ている確率が非常に急激に低下する。したがって、統計を基盤にするテクスチャ記述子を用いる従来の類似度評価方法によって照会映像と認知的に類似の映像として検索された映像は照会映像と認知的な類似性を有しない場合があるという問題点がある。
【０００５】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は正確に２映像の類似度を評価する映像の類似度評価方法を提供することにある。
【０００６】
本発明が解決しようとする技術的課題は、前記映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵するコンピュータ読取り可能記録媒体を提供することにある。
【０００７】
本発明が解決しようとするまた他の技術的課題は、前記映像の類似度評価方法を遂行する映像の類似度評価装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決するために本発明の一側面による映像の類似度評価方法は、(ａ)類似度を評価する映像の統計的差異度を計算する段階、(ｂ)類似度を評価する映像の認知的差異度を計算する段階、及び(ｃ)統計的差異度と認知的差異度とを基礎に映像のテクスチャ特徴の差異度を計算する段階を含むことを特徴とする。
【０００９】
また、前記(ｂ)段階は、(ｂ−１)映像のテクスチャの規則性を計算する段階、及び(ｂ−２)計算されたテクスチャの規則性の差異を計算する段階を含むことが望ましい。
【００１０】
また、前記(ｃ)段階は、(ｃ−１)認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度に比例する値に決定する段階を含むことが望ましい。
【００１１】
また、前記(ｃ)段階は、(ｃ−１)認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度の認知的差異度に該当する指数乗を基礎に決定する段階を含むことが望ましい。
【００１２】
また、前記課題を解決するために本発明の他側面による映像の類似度評価方法は、(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異(ｄｉｓｓｉｍｉｌａｒｉｔｙ)ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含むことが望ましい。
【００１３】
また、前記他の課題を解決するために本発明の他側面によるコンピュータ読取り可能記録媒体は、(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含む映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵することを特徴とする。
【００１４】
また、前記また他の課題を解決するために本発明の他側面による映像のテクスチャ類似度評価装置は、類似度を評価する映像の統計的差異度を計算する統計的差異度計算部、類似度を評価する映像の認知的差異度を計算する認知的差異度計算部、及び統計的差異度と認知的差異度とを基礎に映像のテクスチャ特徴の差異度を計算するテクスチャ特徴差異度計算部を含むことを特徴とする。
【００１５】
【発明の実施の形態】
以下、添付した図面を参照しながら本発明の望ましい実施形態を詳細に説明する。
【００１６】
図１には本発明の実施形態による映像の類似度評価装置をブロック図で示した。図１を参照すると、本発明の実施形態による映像の類似度評価装置は統計的差異度計算部１０２、認知的差異度計算部１０４、及びテクスチャ特徴差異度計算部１０６を備える。認知的差異度計算部１０４はテクスチャ規則性評価部１０４ａ１と規則性差異計算部１０４ａ２とを備える。図２には図１の装置内で遂行される本発明の実施形態による映像の類似度評価方法の主要段階を流れ図で示した。図２は以下で随時参照される。
【００１７】
図１を参照して本発明の実施形態による映像の類似度評価装置の動作を説明すると、まず、統計的差異度計算部１０２は統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度を計算する(段階２０２)。計算された差異度はｄ（ｉ，ｊ）で示す。
【００１８】
次に、認知的差異度計算部１０４内のテクスチャ規則性評価部１０４ａ１は、テクスチャの認知的属性を定量的に評価する。本実施形態で、テクスチャ規則性評価部１０４ａ１はテクスチャの認知的属性としてテクスチャの規則性を定量的に評価する。すなわち、テクスチャ規則性評価部１０４ａ１は２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める(段階２０４)。定量的評価値Ｐ(i)及びＰ(j)は一定な範囲の定数である。前記定量的評価値が大きければ大きいほどテクスチャの規則性が大きい。２映像ｉとｊの規則性はテクスチャの認知的属性に対する定量的評価を用いて計算できる。テクスチャの認知的属性に対する定量的評価を基礎に認知的ブラウジング成分を抽出することによって認知的ブラウジング成分を含むテクスチャ記述子を求める方法は本明細書に参照として統合されて本出願人によって１９９９．３．１９日付に出願された米国特許出願０９／２７２、３２１号に開示されている。したがって、本明細書では認知的ブラウジング成分を含むテクスチャ記述子に対してこれ以上説明しない。
【００１９】
次に、規則性差異計算部１０４ａ２は、２映像ｉとｊのテクスチャパターンに対する規則性の差異を計算する(段階２０６)ことにより規則性差異データ|Ｐ(i)−Ｐ(j)|を出力する。図３には２映像の類似度評価のためのフレーム・ワークを説明するための図面を示した。図３を参照すると、映像ｉとｊに対して各々統計的成分と認知的成分を求めて、求めた統計的成分と認知的成分とを用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）と認知的差異度ｄ＾（Ｐ(i)，Ｐ(j)）とを求める。前記実施形態では認知的差異度ｄ＾（Ｐ(i)，Ｐ(j)）はテクスチャ特徴の規則性から求められる。
【００２０】
これから、テクスチャ特徴差異度計算部１０６は、統計的差異度計算部１０２から出力された統計的差異度データと規則性差異計算部１０４ａ２から出力された規則性差異度データを用いて２映像のテクスチャ特徴の差異度を求める。本実施形態ではαは所定のスケーリング係数とする時、２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を、
【数７】
【数８】
【００２１】
以下では上述した映像の類似度評価方法を用いてそれぞれ他の状況別に前記数７による類似度を評価した結果を説明する。
【００２２】
最初に、本発明によると、統計的差異度と認知的差異度とが所定の臨界値より大きければテクスチャ特徴の差異度は統計的差異度と認知的差異度との少なくとも合計で決定される。本実施形態では映像ｊが検査される映像で映像ｉが照会映像であると仮定する時、もしも２映像ｉとｊに対する統計的差異度ｄ（ｉ，ｊ）が大きくて認知的差異度が大きければ、すなわち、|Ｐ(i)−Ｐ(j)|＞１であれば、
【数９】
【００２３】
第二、本発明によると、認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度は統計的差異度に比例する値で決定される。本実施形態ではもしも２映像ｉとｊの認知的差異度が小さければ、すなわち、|Ｐ(i)−Ｐ(j)|≦１であれば、
【数１０】
【００２４】
第三、本発明によると、統計的差異度は所定の臨界値より小さいが認知的差異度は所定の臨界値以上であれば、テクスチャ特徴の差異度は認知的差異度にある程度影響を受けて決定される。本実施形態では、統計的差異度ｄ（ｉ，ｊ）は小さいが認知的差異度が大きければ、すなわち、|Ｐ(i)−Ｐ(j)|＞１であれば、テクスチャパターンの差異度Ｄ（ｉ，ｊ）は統計的差異度の認知的差異度に該当する指数乗として決定されるが統計的差異度が相対的に小さい値であるのでテクスチャ特徴の差異度は認知的差異度にある程度影響を受けるがそれほど大きい影響を受けない。
【００２５】
前記映像の類似度評価方法は、テクスチャ特徴の統計的差異と認知的差異とをすべて用いてテクスチャ特徴の差異を決定する。上述した映像の類似度評価方法によって照会映像と認知的に類似の映像を検索すると、検索された映像が照会映像と認知的な類似性を有しない場合が少ない。したがって、本発明による映像の類似度評価方法を用いて照会映像とテクスチャ特徴が類似の映像を検索する時映像の検索性能を改善できる。前記のような映像の類似度評価方法はコンテンツ基盤の映像検索に適用することが適している。
【００２６】
一方、差異度が大きければ類似度が小さくて、差異度が小さければ類似度が大きいので、差異度の評価は類似度の評価と同一な意味を有する。したがって、本願発明の方法では差異度を評価するが類似度を測定する方法であると称する。
【００２７】
また、前記のような本発明による映像の類似度評価方法は個人用またはサーバー級のコンピュータ内で実行されるプログラムで作成可能である。前記プログラムを構成するプログラムコード及びコードセグメントは該分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムはコンピュータ読取り可能記録媒体に貯蔵できる。前記記録媒体は磁気記録媒体、光記録媒体、及び電波媒体を含む。
【００２８】
以上の実施形態ではテクスチャ特徴の差異度を統計的差異度の認知度差異度に該当する指数乗を用いることを例として説明したが添付された請求項によって定義される本発明の範囲内で当業者によって適切に変更または修正することが可能である。したがって、添付された請求項によって定義される本発明の範囲は上述した実施形態に限定されない。
【００２９】
【発明の効果】
上述したように本発明による映像の類似度評価方法によって照会映像と認知的に類似の映像を検索すると、検索された映像が照会映像と認知的な類似性を有しない場合が少ない。したがって、本発明による映像の類似度評価方法を用いて照会映像とテクスチャ特徴が類似の映像を検索する時映像の検索性能を改善できる。
【図面の簡単な説明】
【図１】 本発明の実施形態による映像の類似度評価装置の構造を図示したブロック図である。
【図２】 図１の装置内で遂行される本発明の実施形態による映像の類似度評価方法の主要段階を示した流れ図である。
【図３】 ２映像の類似度評価のためのフレーム・ワークを説明するための図面である。
【符号の説明】
２０２：２映像ｉとｊの統計的差異度を計算する段階
２０４：テクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階
２０６：２映像ｉとｊのテクスチャパターンに対する規則性の差異を計算する段階
２０８：２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を計算する段階
Claims (8)
- 映像間のテクスチャ特徴の類似度を評価する方法において、
(ａ)類似度を評価する映像の統計的差異度を計算する段階、
(ｂ)類似度を評価する映像の認知的差異度を計算する段階、及び
(ｃ)統計的差異度と認知的差異度とを基礎に、前記統計的差異度が前記映像のテクスチャ特徴の類似度に反映される程度を前記認知的差異度に基づき決定して、映像のテクスチャ特徴の差異度を計算する段階を含み、
前記 ( ｃ ) 段階は、
認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度に比例する値に決定する段階と、
認知的差異度が所定の臨界値より大きければテクスチャ特徴の差異度を統計的差異度の認知的差異度に該当する指数乗を基礎に決定する段階とを含むことを特徴とする映像の類似度評価方法。 - 前記(ｂ)段階は、
(ｂ−１)映像のテクスチャの規則性を計算する段階、及び
(ｂ−２)計算されたテクスチャの規則性の差異を計算する段階を含むことを特徴とする請求項１に記載の映像の類似度評価方法。 - 映像間のテクスチャ特徴の類似度を評価する方法において、
(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、
(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、
(ｃ)ｄ＾（以後、“ｄ＾”は、“ｄ”の上に“＾”を付した記号を表すものとする）は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含み、
前記(ｃ)段階は、
(ｃ−１)αは所定のスケーリング係数(ｓｃａｌｉｎｇ ｆａｃｔｏｒ)として、ｄ＾は
- 映像間のテクスチャ特徴の類似度を評価する方法を遂行するコンピュータプログラムを貯蔵するコンピュータ読取り可能記録媒体において、
(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、
(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び
(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含み、
前記映像の類似度評価方法は、(ｄ)αは所定のスケーリング係数として、ｄ＾は
ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を、
- 映像間のテクスチャ特徴の類似度を評価する装置において、
類似度を評価する映像の統計的差異度を計算する統計的差異度計算部、
類似度を評価する映像の認知的差異度を計算する認知的差異度計算部、
及び統計的差異度と認知的差異度とを基礎に、前記統計的差異度が前記映像のテクスチャ特徴の類似度に反映される程度を前記認知的差異度に基づき決定して、映像のテクスチャ特徴の差異度を計算するテクスチャ特徴差異度計算部を含み、
前記テクスチャ特徴差異度計算部は、αは所定のスケーリング係数として、ｄ＾は
- 前記認知的差異度計算部は、
類似度を評価する映像のテクスチャの認知的属性を定量的に計算することを特徴とする請求項５に記載の映像のテクスチャ類似度評価装置。 - 前記認知的差異度計算部は、
テクスチャの認知的属性としてテクスチャの規則性を定量的に評価するテクスチャ規則性評価部、及びテクスチャパターンに対する規則性の差異を計算する規則性差異計算部を含むことを特徴とする請求項５に記載の映像のテクスチャ特徴類似度評価装置。 - 前記テクスチャ規則性評価部は、
２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求めて、前記規則性差異計算部はｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求めることを特徴とする請求項７に記載の映像のテクスチャ特徴類似度評価装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/822,853 US7308140B2 (en) | 2000-05-31 | 2001-04-02 | Method and device for measuring similarity between images |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US20795800P | 2000-05-31 | 2000-05-31 | |
| KR200048324 | 2000-08-21 | ||
| KR207,958 | 2000-08-21 | ||
| KR1020000048324A KR100677096B1 (ko) | 2000-05-31 | 2000-08-21 | 영상의 유사도 평가방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002032761A JP2002032761A (ja) | 2002-01-31 |
| JP3636674B2 true JP3636674B2 (ja) | 2005-04-06 |
Family
ID=26638327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001165519A Expired - Fee Related JP3636674B2 (ja) | 2000-05-31 | 2001-05-31 | 映像の類似度評価方法及びその装置 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP1160729A3 (ja) |
| JP (1) | JP3636674B2 (ja) |
| KR (1) | KR100677096B1 (ja) |
| CN (1) | CN1326169A (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100442126B1 (ko) * | 2001-01-12 | 2004-07-30 | 주식회사 코어트러스트 | 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법 |
| WO2004047026A1 (ja) * | 2002-11-20 | 2004-06-03 | Fujitsu Limited | 画像検索プログラム |
| JP2007026386A (ja) * | 2005-07-21 | 2007-02-01 | Fuji Xerox Co Ltd | 画像検索システム及び方法 |
| US7764849B2 (en) | 2006-07-31 | 2010-07-27 | Microsoft Corporation | User interface for navigating through images |
| US7712052B2 (en) | 2006-07-31 | 2010-05-04 | Microsoft Corporation | Applications of three-dimensional environments constructed from images |
| WO2010023809A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | 画像特徴量抽出装置 |
| JP2011188342A (ja) | 2010-03-10 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| CN110223264B (zh) * | 2019-04-26 | 2022-03-25 | 中北大学 | 基于直觉可能性集的图像差异特征属性融合有效度分布构造及合成方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09101970A (ja) * | 1995-10-06 | 1997-04-15 | Omron Corp | 画像検索方法および画像検索装置 |
| JP3609225B2 (ja) * | 1996-11-25 | 2005-01-12 | 日本電信電話株式会社 | 類似オブジェクト検索装置 |
| JPH1131153A (ja) * | 1997-07-11 | 1999-02-02 | Hitachi Ltd | 画像類似度計算方法 |
| JPH11110556A (ja) * | 1997-10-02 | 1999-04-23 | Ntt Data Corp | 画像類似度判定方法、類似画像判定装置及び記録媒体 |
| KR100243351B1 (ko) * | 1997-12-23 | 2000-02-01 | 정선종 | 와이.유.브이(yuv) 공간에서 컬러 특성 분포를 이용한 유사도 측정 방법 |
| KR100340035B1 (ko) * | 1998-08-17 | 2002-11-23 | 주식회사 케이티 | 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법 |
| US6373979B1 (en) * | 1999-01-29 | 2002-04-16 | Lg Electronics, Inc. | System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination |
| US7308140B2 (en) * | 2000-05-31 | 2007-12-11 | Samsung Electronics Co., Ltd. | Method and device for measuring similarity between images |
-
2000
- 2000-08-21 KR KR1020000048324A patent/KR100677096B1/ko not_active IP Right Cessation
-
2001
- 2001-03-06 CN CN01110943A patent/CN1326169A/zh active Pending
- 2001-03-30 EP EP01303087A patent/EP1160729A3/en not_active Withdrawn
- 2001-05-31 JP JP2001165519A patent/JP3636674B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1160729A3 (en) | 2002-12-11 |
| EP1160729A2 (en) | 2001-12-05 |
| CN1326169A (zh) | 2001-12-12 |
| JP2002032761A (ja) | 2002-01-31 |
| KR20010109068A (ko) | 2001-12-08 |
| KR100677096B1 (ko) | 2007-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100353798B1 (ko) | 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법 | |
| EP2638701B1 (en) | Vector transformation for indexing, similarity search and classification | |
| US8073818B2 (en) | Co-location visual pattern mining for near-duplicate image retrieval | |
| US8190592B1 (en) | Similarity-based searching | |
| Dong et al. | Asymmetric distance estimation with sketches for similarity search in high-dimensional spaces | |
| JP4981221B2 (ja) | メディア・セグメント化システムおよび関連する方法 | |
| Yang | Symbol recognition via statistical integration of pixel-level constraint histograms: A new descriptor | |
| EP2657884B1 (en) | Identifying multimedia objects based on multimedia fingerprint | |
| US20080159624A1 (en) | Texture-based pornography detection | |
| JP2003216776A (ja) | Ｗｅｂ利用状況の解析によるユーザープロフィールの分類方法 | |
| US9025889B2 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
| US8417038B2 (en) | Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium | |
| JP3636674B2 (ja) | 映像の類似度評価方法及びその装置 | |
| US7308140B2 (en) | Method and device for measuring similarity between images | |
| Datseris et al. | Estimating fractal dimensions: A comparative review and open source implementations | |
| CN110210572B (zh) | 图像分类方法、装置、存储介质及设备 | |
| Yang et al. | Adaptive density peak clustering for determinging cluster center | |
| JP2008165572A (ja) | データ分類装置、データ分類プログラム | |
| JP2010271769A (ja) | 画像処理方法及び装置、並びに、そのためのコンピュータプログラム | |
| Mohammadi et al. | A large-scale performance study of entropy-based image thresholding techniques using new SAD metric | |
| CN118364127B (zh) | 基于特征融合的家纺图像检索重排序方法及装置 | |
| US8495087B2 (en) | Aggregate contribution of iceberg queries | |
| JP2010511246A (ja) | 検索ログ悪用防止方法及び装置 | |
| JP3477359B2 (ja) | テンプレートマッチング方法およびそのプログラムを記録した記録媒体 | |
| Singh et al. | Robust Dependence Measure using RKHS based Uncertainty Moments and Optimal Transport |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |