JP3560159B2

JP3560159B2 - 周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法

Info

Publication number: JP3560159B2
Application number: JP2001542051A
Authority: JP
Inventors: ムン−チュール・キム; ジン−ウーン・キム; ビー・エス・マンジュナス; ヨン−マン・ロ; ヒュン−ドー・シン; ヤン−リム・チョイ
Original assignee: Electronics and Telecommunications Research Institute ETRI; University of California
Current assignee: Electronics and Telecommunications Research Institute ETRI; University of California
Priority date: 1999-12-03
Filing date: 2000-11-30
Publication date: 2004-09-02
Anticipated expiration: 2020-11-30
Also published as: KR20010078707A; NZ513086A; CN1319030C; US6870965B2; KR100355404B1; US20010031103A1; MXPA01007847A; CN1342300A; WO2001041071A1; EP1159709A4; CA2360364A1; CA2360364C; AU1900201A; BR0007955A; EP1159709A1; JP2003515852A; AU767153B2

Description

【０００１】
【発明の属する技術分野】
本発明は映像のテクスチャを記述する方法に係り、より詳細には時間領域の映像を周波数領域の映像に変換し、ガボールフィルタリングしてテクスチャ特徴を抽出する周波数空間上でのテクスチャ記述方法に関する。また、本発明は前述のテクスチャ記述方法で索引された映像についてのテクスチャ基盤映像検索方法に関する。
【０００２】
【従来の技術】
映像でテクスチャ情報はその映像の特徴を示す重要な視覚的特徴のうち一つとして長い間研究されてきた。このような映像のテクスチャ情報は映像またはビデオデータを内容基盤索引及び要約化することにおいて、主要な下位レベル記述子として用いられる。また、この映像のテクスチャ情報は電子アルバムで特定写真を検索したり、タイルまたは織物データベースでの内容基盤検索に重要に用いられる情報である。
【０００３】
現在までは映像のテクスチャ特徴を抽出するために時間領域や周波数領域で特徴値を計算した。特に周波数領域で映像のテクスチャ特徴を抽出する方法は多様な形態の映像のテクスチャ特徴を記述するのに適したものと知られてきた。
【０００４】
これに関する論文が次のように発表された。著者がＢ．Ｓ．ＭａｎｊｕｎａｔｈとＷ．Ｙ．Ｍａであり、論文題目が”Ｔｅｘｔｕｒｅｆｅａｔｕｒｅｓｆｏｒｂｒｏｗｓｉｎｇａｎｄｒｅｔｒｉｅｖａｌｏｆｉｍａｇｅｄａｔａ”であり、掲載誌が”ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ”第１８巻第８号であり、１９９６年８月に発表された論文では、周波数空間でガボールフィルタリングした後に得た映像で各チャンネルでの平均と分散とを映像テクスチャの特徴値として抽出して特徴ベクトルを計算する方法が発表された。
【０００５】
しかしこのような従来のガボールフィルタリングを用いた映像テクスチャ記述技法は次のような問題点がある。第一に、映像のガボールフィルタリングを信号領域で行うことによって計算時間が長くかかる。第二に、直交周波数空間を用いるために低周波領域で狭い通過帯域を有するガボールフィルタを使用してテクスチャ情報を抽出する場合に映像の周波数サンプリングの密度が低くて充分な情報を獲得できない。第三に、映像輝度値の平均と分散とを映像のテクスチャ特徴としてどちらも用いるために特徴技術のためのデータサイズが大きいという短所がある。
【０００６】
【発明が解決しようとする課題】
したがって、本発明は前述のような従来の技術の問題点を解決するために案出されたものであり、本発明の目的は、映像の信号領域ではない周波数領域でガボールフィルタリングを行うことによって、フィルタリング計算時間を短縮する周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法を提供することである。
【０００７】
本発明の他の目的は、極座標系を用いてガボールフィルタリングを行うことによって、映像の低周波領域には周波数サンプリング密度を高くして映像のテクスチャ情報が充分に抽出されようにし、高周波領域には周波数サンプリング密度を低くして広い通過帯域を有するガボールフィルタリングを行っても充分なテクスチャ情報を抽出させる周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法を提供することである。
【０００８】
本発明のまた他の目的は、映像テクスチャの特徴記述子のために映像の輝度値の平均、映像輝度値の分散、エネルギー、及びエネルギー分散値を使用することによって、検索率を高める周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法を提供することである。
【０００９】
本発明のさらに他の目的は、ガボールフィルタをデザインする時、映像の低周波成分の変化に敏感で高周波成分の変化には鈍感な人間の視覚認知特性に基づいて、低周波領域は周波数通過帯域を狭く設計し、高周波領域に行くほど周波数通過帯域を広く設計することによって、人間の視覚認知特性を考慮した周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法を提供することである。
【００１０】
本発明のさらに他の目的は、映像が回転及び拡大／縮少されてもその変化量が微細であれば映像のテクスチャ記述子の値はほとんど変化しないようにガボールフィルタリングすることによって、微細な量で変化された映像は容易に検索できる周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法を提供することである。
【００１１】
【課題を解決するための手段】
前記目的を達成するための本発明に係る周波数空間上でのガボールフィルタを用いたテクスチャ記述方法は、時間領域の映像を周波数領域の映像に変換する第１段階と、ＮとＭを各々所定の正の整数とする時、変換された周波数領域の映像をＮ×Ｍ個のフィルタリング領域を有するガボールフィルタを使用してフィルタリングする第２段階と、前記ガボールフィルタのＮ×Ｍフィルタ領域に対応する周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のテクスチャ特徴値を抽出する第３段階と、前記映像のテクスチャ特徴値を用いて前記映像のテクスチャ記述子を記述する第４段階とを含むことを特徴とする。
【００１２】
望ましくは、前記第１段階は、前記時間領域の映像を２次元フーリエ変換して直交座標系周波数領域の映像に変換したり、前記時間領域の映像をラドン変換した後、１次元フーリエ変換して極座標系周波数領域の映像に変換することを特徴とする。
【００１３】
また、本発明によれば、前述した周波数空間上でのガボールフィルタを用いたテクスチャ記述方法を実行するためのプログラムを記録したコンピュータで読出しうる記録媒体が提供される。
【００１４】
また、本発明に係る周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法は、データ映像をガボールフィルタを用いてフィルタリングすることによってデータテクスチャ記述子を抽出し、抽出されたデータテクスチャ記述子をデータベースに貯蔵する第１段階と、質疑映像が入力されれば前記質疑映像の質疑テクスチャ記述子をガボールフィルタを用いて抽出して貯蔵する第２段階と、前記データテクスチャ記述子と質疑テクスチャ記述子とを整合して二つのテクスチャ記述子間の距離を測定する第３段階と、前記二つのテクスチャ記述子間の距離によって二つの映像の類似度を判定する第４段階とを含むことを特徴とする。
【００１５】
望ましくは、前記第１段階と第２段階とで、前記データテクスチャ記述子と質疑テクスチャ記述子とを抽出する過程は、時間領域の映像を周波数領域の映像に変換する第１下位段階と、ＮとＭを各々所定の正の整数とする時、前記周波数領域の映像をＮ×Ｍ個のフィルタ領域を有するガボールフィルタを使用してフィルタリングする第２下位段階と、前記ガボールフィルタのＮ×Ｍフィルタ領域に対応する周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のテクスチャ特徴値を抽出する第３下位段階と、前記映像のテクスチャ特徴値を用いて前記映像のテクスチャ記述子を記述する第４下位段階とを含むことを特徴とする。
【００１６】
また、本発明によれば、前述した周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法を実行するためのプログラムを記録したコンピュータで読出しうる記録媒体が提供される。
【００１７】
【発明の実施の形態】
以下、添付した図面を参照して本発明の一実施形態に係る”周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びこれを用いたテクスチャ基盤映像検索方法”をより詳細に説明すれば次の通りである。
【００１８】
図１は、本発明に係るガボールフィルタを用いた周波数空間上でのテクスチャ記述方法を示す処理フローチャートである。
【００１９】
このようなテクスチャ記述方法は、映像をテクスチャ情報基盤索引する時とテクスチャ情報基盤検索する時とにどちらにも使われるところ、入力された映像を処理してテクスチャ記述子を作る方法である。すなわち、データベースに索引して貯蔵しようとする映像が入力されれば図１のテクスチャ記述方法によってデータテクスチャ記述子を生成し、生成されたテクスチャ記述子をデータベースに貯蔵する。また、質疑映像が入力されれば図１のテクスチャ記述方法によって質疑映像のテクスチャ記述子を生成し、生成されたテクスチャ記述子とデータベースに貯蔵されたデータ映像のテクスチャ記述子とを比較することによって検索される。
【００２０】
図１を参照して本発明に係るテクスチャ記述方法を詳細に説明すれば次の通りである。
【００２１】
先ず、任意の映像を入力し（Ｓ１１）、入力された映像をフーリエ変換（Ｓ１２）することによって直交座標系または極座標系周波数空間上の映像に変換する。ここで、入力される映像は前述したようにデータ映像または質疑映像になりうる。入力された映像を２次元フーリエ変換すれば直交座標系周波数空間上のデータに変換される。また、入力された映像をラドン変換した後、変換されたデータを１次元フーリエ変換すれば極座標系周波数空間上のデータに変換される。
【００２２】
入力された映像を極座標系周波数空間に変換する過程を説明すれば次の通りである。先ず入力された映像をラドン変換するが、ラドン変換とは、２次元映像または多次元マルチメディアデータを角度によって線積分しつつ１次元投影データを得る一連の過程をいう。すなわち、物体は見る角度により異なって見られ、ある物体をあらゆる角度から見ればその物体の輪郭の見当がつけられるが、ラドン変換はこのような原理を用いたものである。
【００２３】
このような２次元映像についてのラドン変換式は数式１のように表現される。
【数１】

【００２４】
ここで、ｆ（ｘ，ｙ）は直交座標系時間領域での映像関数であり、ｐ_θ（Ｒ）は直交座標系で原点を通過しつつ正のｘ軸となす角がθの光線軸に沿って線積分して得た１次投影関数、すなわち１次ラドン変換関数である。δ（ｘ）関数はｘ値が０の時に１になる関数である。２次元映像は直交座標系で’−∞＜ｘ，ｙ＜∞’の領域を有し、ラドン座標系で’０＜ｓ＜∞、０＜θ＜π’の領域を有する。ｘｃｏｓ０＋ｙｓｉｎ０＝ｓの時、δ（ｘｃｏｓ０＋ｙｓｉｎ０−ｓ）＝１になる。
【００２５】
このようにθを０度から１８０度まで回転して得た１次ラドン変換関数ｐ_θ（Ｒ）の集合をシグノグラムという。このシグノグラムをフーリエ変換すれば直交座標系時間領域での映像関数ｆ（ｘ，ｙ）を２次元フーリエ変換した関数と数式２のような関係式が成立する。
【数２】

【００２６】
ここで、Ｐ（ω，θ）はラドン変換関数ｐ_θ（Ｒ）のフーリエ変換関数である。そして、ωは（ω_ｘ ^２＋ω_ｙ ^２）の平方根であり、θはｔａｎ^−１（ω_ｙ／ω_ｘ）である。
【００２７】
セントラルスライス理論によれば、シグノグラムフーリエ変換は２次元原映像フーリエ変換関数を各θ軸に沿って切断することによって得られる１次元関数値である。このように映像をラドン変換後フーリエ変換すれば、映像は極座標系周波数領域の映像に変換する。
【００２８】
次に、段階Ｓ１３では各チャンネル別テクスチャ記述子を抽出するために、図２に示したような周波数空間分割レイアウトを使用してフィルタリングを行う。図３には図２の周波数空間分割をより実際的な形で示した。段階Ｓ１３でのフィルタリングのためのガボールフィルタは、図３に示したように分割された特徴チャンネルに基づいて設計されたものと理解されうる。すなわち、本実施形態では放射方向に５つの領域、角度方向に６つの領域に分割された５×６特徴チャンネルに基づいて設計されたガボールフィルタを使用してガボールフィルタリングを行う。ここで、図２のように分割された各周波数領域は特徴チャンネルに該当する。
【００２９】
前述したように設計されたガボールフィルタの動作を説明するために先ず数式３のようにガボールフィルタの応答特性を表現する。
【数３】

【００３０】
ここではＡ_ｓ，ｒ定数であり、Ｇ_Ｐｓ，ｒ（ω，θ）（ここで、“Ｐｓ，ｒ”は、“Ｐ_ｓ，ｒ”を表すものとする）はｓ番目放射方向、ｒ番目角度方向に該当する特徴チャンネルに該当するフィルタの応答特性を示し、ｓは｛０，１，２，３，４｝のうち一つの整数値として放射方向への位置を、ｒは｛０，１，２，３，４，５｝のうち一つの整数値として角度方向への位置を示す。また、σ_ρ _ｓ ^２とσ_θ _ｒ ^２（ここで、“ρｓ”，“θｒ”は、“ρ_ｓ”，“θ_ｒ”をそれぞれ表すものとする）は各々ｓとｒ方向に関する座標ρとθ方向の特徴チャンネルの標準偏差値で、角度方向、放射方向の特徴チャンネルの幅に該当すると理解されうる。
【００３１】
本実施形態のように５×６のフィルタ個数を有するガボールフィルタ内で特徴チャンネルの標準偏差は下記の表１及び表２のように示しうる。表１には放射方向でのガボールフィルタ変数値を示し、表２には角度方向でのガボールフィルタ変数値を示した。
【表１】

【表２】

【００３２】
次に、段階Ｓ１５では直交座標系周波数領域または極座標周波数領域でガボールフィルタリングされた映像のテクスチャ特徴を抽出する。この時、直交座標系周波数領域または極座標系周波数領域は人間視覚認知システムに基づいて図２に示したように分割されるが、分割された各周波数領域を特徴チャンネルという。この特徴チャンネルをＣ_ｉに表示し、ｉ＝６×ｓ＋ｒ＋１であり、Ｃ_ＯはＤＣ特徴チャンネルを示す。
【００３３】
極座標系周波数領域分割レイアウトは、周波数領域を人間視覚認知システム（ＨＶＳ：ＨｕｍａｎＶｉｓｕａｌＳｙｓｔｅｍ）に基づいて分割したものである。これはガボールフィルタの−３ｄＢ通過帯域周波数特性がＨＶＳに合うように周波数領域で配列されるようにデザインする。このような周波数領域分割方法及びガボールフィルタデザイン原則は直交座標系でも類似して適用される。すなわち、ＨＶＳは低周波成分に敏感で高周波成分に鈍感な特性を示すが、このような特徴を用いて周波数分割レイアウトを決定する。これに係る詳細な事項を以下で記述する。
【００３４】
本発明では映像のテクスチャ特徴として、各ガボールフィルタリングされた周波数領域のエネルギー平均値とエネルギー分散値とを用いる。
【００３５】
図２は、人間視覚認知システムに基づいてエネルギー平均を抽出するための極座標周波数空間分割レイアウトを示す図面である。
【００３６】
図２に示したように極座標周波数空間は放射方向と角度方向とに分割されるが、放射方向はオクターブ間隔で原点から遠ざかる方向に分割し、角度方向はθを１８０／Ｐ（ここで、Ｐはθの分割解像度である）に分割する。このように分割すればエネルギー平均を抽出するための極座標周波数レイアウトは、低周波領域は周波数空間が稠密に分割され、高周波領域は粗く分割される。各分割された周波数領域が特徴チャンネルＣ_ｉであり、斜線をひいた部分が５番特徴チャンネルである。
【００３７】
ここで、本発明の主要な特徴が分かるが、本発明ではラドン変換により低周波領域でのサンプリングは稠密にし、高周波領域でのサンプリングは粗くし、これをＨＶＳに基づいて分割する時に低周波領域は稠密に分け、高周波領域は粗く分ける。分割された各周波数領域別に、すなわち、各チャンネル別に抽出された特徴値がテクスチャ特徴を巧みに反映する。
【００３８】
各チャンネル別にエネルギー平均値とエネルギー分散値とが求められれば、段階Ｓ１５でこの特徴値から映像のテクスチャを記述する映像のテクスチャ記述子、すなわち、特徴ベクトルを計算する。エネルギー平均値とエネルギー分散値を求める方法は後述する。
【００３９】
このテクスチャ記述子は数式４のように表現される。
【数４】

【００４０】
ここで、ｅ（ｉ）は図２の周波数レイアウトでｉ番目ガボールフィルタリングされたチャンネルでのエネルギー平均値であり、ｄ（ｉ）は図２の周波数レイアウトでｉ番目ガボールフィルタリングされたチャンネルでのエネルギー分散値である。ここで、特にｆ_ＤＣはＤＣチャンネルのエネルギーを示し、ｆ_ＳＴＤは映像で全体画素値の分散を示す。前述の数式４で各特徴値はそのチャンネルの優先順位によって先ず記述され、チャンネルの重要度によって重要度が低いチャンネルの特徴値は除外することによってデータ容量を減少させうる。また特徴の重要度によって各チャンネルのエネルギーだけを特徴値として用いるか、またはエネルギーとエネルギー分散とをどちらも用いてテクスチャ記述子特徴ベクトルを構成することもできる。
【００４１】
前述の特徴ベクトルをなすエネルギー平均値ｅ（ｉ）とエネルギー分散値ｄ（ｉ）とは下記の数式６と数式８とにより求められ、このために数式５ではフーリエ変換後にガボールフィルタリングされた関数Ｇ_Ｐｓ，ｒ（ω，θ）・Ｐ（ω，θ）（ここで、“Ｐｓ，ｒ”は、“Ｐ_ｓ，ｒ”を表すものとする）を用いてｐ（ｉ）値を求める。このｐ（ｉ）を数式６に適用すればエネルギー平均値ｅ（ｉ）を求めうる。また、数式７ではフーリエ変換された１次ラドン変換関数と数式５で求めたｐ（ｉ）値とを用いてｑ（ｉ）値を求める。このｑ（ｉ）を数式８に適用すればエネルギー分散値ｄ（ｉ）を求めうる。
【数５】

【数６】

【数７】

【数８】

【００４２】
これにより各チャンネルでのエネルギー平均値とエネルギー分散値とよりなるテクスチャ記述子が求められる。
【００４３】
入力される全ての映像に対して前記Ｓ１１ないし段階Ｓ１６を反復実行して各データテクスチャ記述子をデータベースに貯蔵する。
【００４４】
このようにデータベースに貯蔵されたデータテクスチャ記述子は、質疑映像から求められた質疑テクスチャ記述子と整合して質疑映像と類似の映像を検索するのに使われる。下では本発明の実施形態に係るテクスチャ基盤検索方法について記述する。
【００４５】
データベースにはデータテクスチャ記述子Ｆを使用してインデクシングされていると仮定する。次に、質疑映像ｑを図１を参照して説明したテクスチャ記述方法によって質疑テクスチャ記述子Ｆ_ｑを抽出して、データベース内の任意の映像データｄのテクスチャ記述子Ｆ_ｄと質疑テクスチャ記述子Ｆ_ｑとの類似度を計算することによって整合度を測定する。
【００４６】
この類似度は、数式９により求められる二つのテクスチャ記述子間の距離Ｄ_ｍに反比例する値である。
【数９】

【００４７】
ここでＦ＝｛ｆ（ｋ），ｋ＝１，Ｋ｝であり、ω（ｋ）は各チャンネルの加重値を示す。このように、データテクスチャ記述子と質疑テクスチャ記述子との距離は各チャンネル別にその平均と分散とを比較することによって得られる。
【００４８】
回転された映像をフーリエ変換した結果は、回転される前の映像のフーリエ変換中に周波数領域で回転した結果と同一である。したがって、二つの映像を比較して検索する時、周波数領域で回転しつつ比較すれば回転角度が相異なる類似した二つの映像を捜し出せる。このような回転不変性を式で表現すれば数式１０の通りである。
【数１０】

ここで、φ＝３０度である。
【００４９】
このように質疑映像を周波数領域で回転させつつデータ映像と比較することによって二つの映像間の距離を求めた後、その距離の最小値を最終的な二つの映像間の非類似度として設定する。これを式で表現すれば数式１１の通りである。
【数１１】

【００５０】
また、大きさ変化された映像をフーリエ変換した結果は、大きさ変化される前の映像のフーリエ変換中に周波数領域で大きさ変換した結果と同一である。二つの映像を比較する時、周波数領域で大きさ変化させつつ比較すれば大きさが相異なる類似した二つの映像を捜し出せる。このような大きさ変化不変性を式で表現すれば数式１２の通りである。
【数１２】

【００５１】
ここで、ｎは大きさ変化された場合の数である。
本発明の好ましい実施形態によれば、テクスチャ基盤映像検索方法は、質疑映像を周波数領域における所定のスケールにおいて大きさ変化する段階と、各々のスケールのためのテクスチャ記述子を抽出する段階と、これらのテクスチャ記述子間の距離を、データ映像テクスチャ記述子とともに計算する段階と、最小距離を２つの映像間の距離として選択する段階と有する。最小距離を選択する段階を式で表現すれば数式１３の通りである。
【数１３】

【００５２】
ここで、Ｎは質疑映像の実際の大きさ変換された数字である。
【００５３】
前述において望ましい実施形態に基づいてこの発明を説明したが、この実施形態はこの発明を制限するものではなく例示するものである。この発明が属する分野の当業者にはこの発明の技術思想から逸脱せずに前述の実施形態についての多様な変化や変更または調節が可能であることは明らかである。したがって、この発明の保護範囲は特許請求範囲のみにより限定され、前述のような変化例や変更例または調節例を全て含むことと解釈されねばならない。
【００５４】
【発明の効果】
以上のように本発明によれば、周波数空間でガボールフィルタリング方法と、各特徴値を抽出するのに適した極座標系周波数空間分割レイアウト、各周波数領域での特徴値抽出方法、各周波数チャンネルに重要度及び優先順位付与技術を用いることによって、映像のテクスチャをより正確に記述できるだけでなく効率的な索引及び検索が可能になる。
【００５５】
このようなテクスチャ記述方法により抽出された映像のテクスチャ記述子は、ぼう大な大きさの航空写真及び軍事用レーダー映像で特別な特徴を有する映像を探そうとする時に有用な検索の手掛かりとして用いられうる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る周波数空間上でのテクスチャ記述方法を示すフローチャートである。
【図２】本発明で各チャンネル別テクスチャ記述子を抽出するために使用する周波数空間分割レイアウトを示す図である。
【図３】本発明で各チャンネル別テクスチャ記述子を抽出するために使用するガボールフィルタの構造を説明するための図である。
【符号の説明】
Ｓ１１任意の映像を入力する段階
Ｓ１２入力された映像をフーリエ変換する段階
Ｓ１３周波数空間分割レイアウトを使用してフィルタリングを行う段階
Ｓ１５ガボールフィルタリングされた映像のテクスチャ特徴を抽出する段階

Claims

映像のテクスチャ情報を記述する方法において、
時間領域の映像を周波数領域の映像に変換する第１段階と、
NとMを各々所定の正の整数とする時、変換された周波数領域の映像をN×M個のフィルタリング領域を有するガボールフィルタを使用してフィルタリングする第２段階と、
前記ガボールフィルタのN×Mフィルタ領域に対応する周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のテクスチャ特徴値を抽出する第３段階と、
前記映像のテクスチャ特徴値を用いて前記映像のテクスチャ記述子を記述する第４段階とを含むことを特徴とする周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記第１段階は、
前記時間領域の映像を２次元フーリエ変換し、直交座標系周波数領域の映像に変換することを特徴とする請求項１に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記第１段階は、
前記時間領域の映像をラドン変換した後で１次元フーリエ変換し、極座標系周波数領域の映像に変換することを特徴とする請求項１に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記第３段階の前記周波数空間分割レイアウトは、人間視覚認知システム(HVS)に基づいて作ることを特徴とする請求項１ないし請求項３のうちいずれか一項に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記周波数空間分割レイアウトは、
周波数空間を放射方向にオクターブ間隔で原点から遠ざかる方向に分割し、角度方向に‘１８０/分割解像度’間隔で分割して作ることを特徴とする請求項４に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記周波数空間分割レイアウトの各チャンネルについて重要度または優先順位を与えることを含むことを特徴とする請求項４に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記第３段階は、
前記周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のエネルギー平均値とエネルギー分散値とのうち少なくとも一つの値を特徴値として抽出することを特徴とする請求項４に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
前記テクスチャ記述子はDCチャンネルのエネルギーと、映像の全体画素値の分散と、各チャンネル別に求められたエネルギー平均値及び/または各チャンネル別に求められたエネルギー分散値とを含むことを特徴とする請求項７に記載の周波数空間上でのガボールフィルタを用いたテクスチャ記述方法。
コンピュータに、
時間領域の映像を周波数領域の映像に変換する第１段階と、
NとMを各々所定の正の整数とする時、前記周波数領域の映像をN×M個のフィルタ領域を有するガボールフィルタを使用してフィルタリングする第２段階と、
前記ガボールフィルタのN×Mフィルタ領域に対応する周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のテクスチャ特徴値を抽出する第３段階と、
前記映像のテクスチャ特徴値を用いて前記映像のテクスチャ記述子を記述する第４段階とを実行させるためのプログラムを記録したコンピュータで読出しうる記録媒体。
質疑映像と類似のデータ映像をテクスチャ基盤検索する方法において、
データベースに貯蔵するデータ映像を周波数領域に変換し、データテクスチャ記述子をガボールフィルタを用いて抽出して貯蔵する第１段階と、
質疑映像が入力されれば前記質疑映像を、質疑テクスチャ記述子をガボールフィルタを用いて抽出して貯蔵する第２段階と、
前記データテクスチャ記述子と質疑テクスチャ記述子とを整合して二つのテクスチャ記述子間の距離を測定する第３段階と、
前記二つのテクスチャ記述子間の距離によって二つの映像の類似度を判定する第４段階とを含むことを特徴とする周波数空間上でガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記第１段階と第２段階とで、
前記データテクスチャ記述子と質疑テクスチャ記述子とを抽出する過程は、
時間領域の映像を周波数領域の映像に変換する第１下位段階と、
NとMを各々所定の正の整数とする時、前記周波数領域の映像をN×M個のフィルタ領域を有するガボールフィルタを使用してフィルタリングする第２下位段階と、
前記ガボールフィルタのN×Mフィルタ領域に対応する周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のテクスチャ特徴値を抽出する第３下位段階と、
前記映像のテクスチャ特徴値を用いて前記映像のテクスチャ記述子を記述する第４下位段階とを含むことを特徴とする請求項１０に記載の周波数空間上でガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記第１下位段階は、
前記時間領域の映像を２次元フーリエ変換し、直交座標系周波数領域の映像に変換することを特徴とする請求項１１に記載の周波数空間上でガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記第１下位段階は、
前記時間領域の映像をラドン変換した後で１次元フーリエ変換し、極座標系周波数領域の映像に変換することを特徴とする請求項１１に記載の周波数空間上でガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記第３下位段階の前記周波数空間分割レイアウトは、人間視覚認知システム(HVS)に基づいて作ることを特徴とする請求項１１ないし請求項１３のうちいずれか一項に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記周波数空間分割周波数レイアウトは、
周波数空間を放射方向にオクターブ間隔で原点から遠ざかる方向に分割し、角度方向に‘１８０/分割解像度’間隔で分割して作られたことを特徴とする請求項１４に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記周波数空間分割レイアウトの各チャンネルの重要度または優先順位を付与することを含むことを特徴とする請求項１４に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記第３下位段階は、
前記周波数空間分割レイアウトの各チャンネルから前記ガボールフィルタリングされた映像のエネルギー平均値とエネルギー分散値とのうち少なくとも一つの値を特徴値として抽出することを特徴とする請求項１４に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記テクスチャ記述子はDCチャンネルのエネルギーと、映像の全体画素値の分散と、各チャンネル別に求められたエネルギー平均値及び/または各チャンネル別に求められたエネルギー分散値を含むことを特徴とする請求項１７に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記第３下位段階で二つのテクスチャ記述子間の距離は、各チャンネル別に抽出された特徴値を各々比較して測定することを特徴とする請求項１７に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記質疑映像を周波数領域で一定角度ずつ回転しつつ前記データ映像との距離を測定し、最小になる距離を二つの映像間の距離と設定することを特徴とする請求項１９に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
前記質疑映像を周波数領域で大きさ変換しつつ前記データ映像との距離を測定し、最小になる距離を二つの映像間の距離と設定することを特徴とする請求項１９に記載の周波数空間上でのガボールフィルタを用いたテクスチャ基盤映像検索方法。
コンピュータに、
データ映像をガボールフィルタを用いてフィルタリングすることによってデータテクスチャ記述子を抽出し、抽出されたデータテクスチャ記述子をデータベースに貯蔵する第１段階と、
質疑映像が入力されれば前記質疑映像を周波数領域の映像に変換し、変換された映像をガボールフィルタリングすることによって特徴値を抽出し、抽出された特徴値を質疑テクスチャ記述子として決定する第２段階と、
前記データテクスチャ記述子と前記質疑テクスチャ記述子とを整合して二つのテクスチャ記述子間の距離を測定する第３段階と、
前記二つのテクスチャ記述子間の距離によって二つの映像の類似度を判定する第４段階とを実行させるためのプログラムを記録したコンピュータで読出しうる記録媒体。