JP4733813B2

JP4733813B2 - 周波数空間上における質感表現方法

Info

Publication number: JP4733813B2
Application number: JP2000206877A
Authority: JP
Inventors: 紋哲金; 鎭雄金; 勇滿魯; 基源兪
Original assignee: Electronics and Telecommunications Research Institute ETRI
Current assignee: Electronics and Telecommunications Research Institute ETRI
Priority date: 1999-07-09
Filing date: 2000-07-07
Publication date: 2011-07-27
Anticipated expiration: 2020-07-07
Also published as: KR20010012020A; GB2355378A; GB0016488D0; EP1183651A1; EP1183651A4; DE10033462B4; HK1036660A1; FR2861876A1; DE10033462A1; KR100308456B1; FR2798748A1; FR2861877B1; CA2367966C; FR2798748B1; FR2861876B1; FR2861877A1; US6803919B1; WO2001004842A1; JP2001067462A; CA2367966A1

Description

【０００１】
【発明の属する技術分野】
本発明は映像の質感を表現する方法に係り、より詳細にいえば映像信号を周波数極座標系（Ｐｏｌａｒｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ）空間に変換して、質感特徴を抽出する周波数空間上における質感表現方法（Texture description method in frequency domain）に関する。また、本発明は前記の質感表現方法で索引された映像に対する質感ベースの検索方法（texture-based retrieval method）に関するものでもある。
【０００２】
【従来の技術】
映像で質感情報は、その映像の特徴を示す重要な視覚的特徴中の一つとして、カラー情報と一緒に長らく研究されてきた。このような映像の質感情報は、映像または、ビデオデータを内容基盤索引（ｉｎｄｅｘｉｎｇ）及び要約化（ａｂｓｔｒａｃｔｉｏｎ）することにおいて、主要な下位レベル記述子（ｄｅｓｃｒｉｐｔｏｒ）として利用される。また、この映像の質感情報は、電子アルバムで特定フォトを検索したり、タイルまたは、織物データベースにおける内容基盤検索に重要に利用される情報である。
【０００３】
現在までは、映像の質感特徴を抽出するために時間領域や周波数領域で特徴値を計算した。特に周波数領域から映像の質感特徴を抽出する方法は、多様な形態の映像の質感特徴表現に適合なことと知られてきた。この周波数領域から質感特徴を抽出する方法は、用いる座標系によって直交座標系方式と極座標系方式とに分けられる。
【０００４】
既存には、直交座標系周波数領域における質感特徴抽出方法が主に利用されており、これに関する論文が次のように発表された。
著者がビ・エス・マンジュナス（Ｂ．Ｓ．Ｍａｎｊｕｎａｔh）とダブルユー・ワイ・マ（Ｗ．Ｙ．Ｍａ）であり、論文題目が“Ｔｅｘｔｕｒｅｆｅａｔｕｒｅｓｆｏｒｂｒｏｗｓｉｎｇａｎｄｒｅｔｒｉｅｖａｌｏｆｉｍａｇｅｄａｔａ”であり、掲載誌が“ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃhｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ”第１８卷第８号であって、１９９６年８月に発表された論文では、直交座標系周波数空間をＨＶＳ（ＨｕｍａｎＶｉｓｕａｌＳｙｓｔｅｍ）によって分割して、各チャネルをガボル（Ｇａｂｏｒ）フィルタリングした後、各チャネルにおける平均と分散とを映像質感の特徴値として抽出して、特徴ベクトルを計算する方法が発表された。
【０００５】
しかし、このような直交座標系周波数空間における映像質感表現方法は、人間の視覚認知システムに適合でなくて映像質感検索率が低い短所を有する。
このような従来の直交座標系周波数空間における映像質感表現方法の問題点を解決するための方法として、極座標系周波数空間における映像質感表現方法に対する論文が発表された。
【０００６】
１９９９年２月に、ジョージ・エム・ハレイ（ＧｅｏｇｅＭ．Ｈａｌｅｙ）と、ビ・エス・マンジュナス（Ｂ．Ｓ．Ｍａｎｊｕｎａｔh）が論文誌ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ第８卷第２号に発表した“Ｒｏｔａｔｉｏｎ−ｉｎｖａｒｉａｎｔｔｅｘｔｕｒｅｃｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇａｃｏｍｐｌｅｔｅｓｐａｃｅｆｒｅｑｕｅｎｃｙｍｏｄｅｌ”論文には、極座標周波数空間をＨＶＳによって分割した後、各チャネルに合うようにデザインされたガボルフィルタを利用して、９個の特徴値を抽出して、あらゆるチャネルに対して抽出された特徴値を利用して、質感を表現する方式が発表された。
【０００７】
しかし、この方式は、各チャネルによってガボルフィルタをデザインして用いるために使用に不便さが多くて、あらゆる特徴値を同一な極座標系周波数レイアウトを利用するために特徴値に対する正確度と検索率とが落ちる問題点があった。
【０００８】
【発明が解決しようとする課題】
本発明は前記のような従来技術の問題点を解決するために案出されたものであり、本発明の目的は、人間の視覚認知システムに適合する周波数空間上で映像の質感特徴を計算して索引する周波数空間上における質感表現方法を提供することにある。
【０００９】
また、本発明の他の目的は、周波数空間上における質感表現方法により生成されたデータ質感記述子と、質の質感記述子とを回転させたり拡大／縮少させながら比較したり、明るさを考慮しなくて比較することによって、回転されたり拡大／縮少されたり明るさが異なる類似映像を検索する周波数空間上における質感ベースの検索方法を提供することにある。
【００１０】
【課題を解決するための手段】
前記の目的を達成するための本発明によると周波数空間上における質感表現方法が提供される。このような質感表現方法は、少なくとも一個以上の質感特徴に対して、各々の特徴値を抽出するために周波数空間を少なくとも二つ以上の周波数領域に分割して、周波数空間分割レイアウトを作る第１段階と、前記分割された各周波数領域から前記映像の質感特徴値を抽出する第２段階と、前記各周波数空間分割レイアウトの各周波数領域から抽出された特徴値を利用して、映像の質感記述子を特徴ベクトルの形態で表現する第３段階とを含んだことを特徴とする。
【００１１】
望ましくは、前記第１段階で、前記周波数空間分割レイアウトは、人間視覚認知システム（ＨＶＳ）によって作り、前記第１段階の周波数空間は、直交座標系周波数空間または、極座標系周波数空間である。
【００１２】
より望ましくは、前記第１段階は、前記周波数空間分割レイアウトの各チャネルに対して重要度または、優先順位を与えるサブ段階を含む。
望ましくは、前記第２段階は、映像をラドン変換する第１サブ段階と、前記ラドン変換された映像をフーリェ変換する第２サブ段階と、前記分割された各周波数領域から前記フーリェ変換された映像に対して、各周波数チャネルから特徴値を抽出する第３サブ段階とを含む。
【００１３】
より望ましくは、前記第３サブ段階は、各周波数領域におけるエネルギー値と、エネルギーの分散値とのうち、少なくとも一つの値を特徴値として抽出する段階である。
【００１４】
ここで、前記エネルギー平均値を求めるための周波数レイアウトと、エネルギー分散値を求めるための周波数レイアウトとが別途に生成されることがより望ましくて、前記エネルギー平均値を求めるための周波数レイアウトは、周波数空間を放射方向に２ｌ（０≦ｌ＜ｌｏｇ₂（Ｎ／２）−１）、オクターブ間隔で原点から遠ざかる方向に分割して、角度方向に‘１８０／分割解像度’間隔で分割する。前記エネルギー分散値を求めるための周波数レイアウトは、周波数空間を放射方向に均等な間隔で分割して、角度方向に‘１８０／分割解像度’間隔で分割する。
【００１５】
望ましくは、前記第３段階は、主映像の質感情報を利用して映像の回転方向基準軸を探して、前記回転方向基準軸を基準に前記周波数空間分割レイアウトを回転させた後、映像の質感記述子を抽出する。ここで、前記回転方向基準軸は、映像をラドン変換してエネルギーまたは、エントロピーまたは、周期的成分が最も多く分布されている放射方向の軸として設定される。
【００１６】
望ましくは、前記第３段階は、映像をフーリェ変換して放射方向基準点を探して、その基準点を基準にフーリェ変換を正規化させた後、正規化されたフーリェ変換結果値を利用して質感記述子を表現する。ここで、前記放射方向基準点は、周波数空間で原点から同一な距離にあるフーリェ変換映像のエネルギーまたは、エントロピーまたは、周期的成分が最も多く分布されている円弧を探して、前記見つけられた円弧の半径を基準点として設定する。
【００１７】
また、本発明によると上述した周波数空間上における質感表現方法を実現するためのプログラムを記録した記録媒体が提供される。
また、本発明によると周波数空間上における質感ベースの検索方法が提供される。このような質感ベースの検索方法は、データベースに貯蔵する映像の質感特徴ベクトルである質感記述子を抽出して貯蔵する第１段階と、質の映像が入力されると前記質の映像の質感特徴ベクトルである質感記述子を抽出する第２段階と、前記データ質感記述子を前記質の質感記述子と整合して、二質感記述子間の距離を測定する第３段階と、前記二質感記述子間の距離により二映像の類似度を判定する第４段階とを含んだことを特徴とする。
【００１８】
望ましくは、前記第１段階ないし第２段階の質感記述子抽出段階は、少なくとも一個以上の質感特徴に対して、各々の特徴値を抽出するために周波数空間を少なくとも二つ以上の周波数領域に分割して周波数空間分割レイアウトを作る第１サブ段階と、前記分割された各周波数領域から前記映像の質感特徴値を抽出する第２サブ段階と、前記各周波数空間分割レイアウトの各周波数領域から抽出された特徴値を利用して、映像の質感記述子を特徴ベクトルの形態で表現する第３サブ段階とを含んだことを特徴とする。
【００１９】
望ましくは、映像の回転不変性を考慮した質感ベースの検索で前記第３段階は、任意の一つのデータ質感記述子を一定角度内で回転させながら前記質の質感記述子と整合して各角度で二質感記述子間の距離を測定する第１サブ段階と、前記各角度における二質感記述子間の距離中、最も最小の距離を二質感記述子間の距離として判定する第２サブ段階とを含む。
【００２０】
望ましくは、映像の縮少／拡大不変性を考慮した質感ベースの検索で前記第３段階は、質の映像から一個以上の拡大映像または、縮少映像を作って各大きさにおける質の質感記述子を抽出する第１サブ段階と、前記各大きさにおける質の質感記述子とデータ質感記述子との距離を各々測定する第２サブ段階と、前記第２サブ段階の距離測定結果二質感記述子間の距離中、最も最小の距離を二質感記述子間の距離として判定する第３サブ段階とを含む。
【００２１】
望ましくは、前記質の質感記述子とデータ質感記述子とは映像の回転方向基準軸と放射方向基準点と明るさ情報とを含むことができて、この時、映像の回転不変性を考慮した質感ベースの検索で前記第３段階は、前記質の映像の回転方向基準軸とデータ映像の回転方向基準軸とが一致するように二質感記述子を整列した後、前記二質感記述子間の距離を測定する段階である。
【００２２】
より望ましくは、映像の明るさ不変性を考慮した質感ベースの検索で前記第３段階は、前記質の質感記述子とデータ質感記述子とから明るさ情報を除いて二質感記述子間の距離を測定する段階である。
【００２３】
より望ましくは、映像の縮少／拡大不変性を考慮した質感ベースの検索で第３段階は、質の映像とデータ映像との放射方向基準点を基準にして、データ質感記述子を放射方向のチャネルで隣接チャネルどうしに併合したり、隣接チャネルに質感記述子の特徴値を移動させる第１サブ段階と、縮少／拡大により原点で伸びたり／縮少された自己チャネルをさがした後、二質感記述子間の距離を測定する第２サブ段階とを含む。ここで、前記放射方向基準点は、周波数空間で原点から同一距離にあるフーリェ変換映像のエネルギーまたは、エントロピーまたは、周期的成分が最も多く分布されている円弧を探して、前記見つけられた円弧の半径を基準点として設定する。
【００２４】
より望ましくは、映像の縮少／拡大不変性及び回転不変性を同時に考慮した質感ベースの検索で前記第３段階は、質の映像とデータ映像との放射方向基準点を基準にして、データ質感記述子を放射方向のチャネルで隣接チャネルどうしに併合したり、隣接チャネルに質感記述子の特徴値を移動させて変更された自己チャネルを探す第１サブ段階と、変更された自己チャネルの特徴値を一定角度内で回転させながら前記質の質感記述子と整合して回転角度による二質感記述子間の距離を測定する第２サブ段階と、前記回転角度による二質感記述子間の距離中、最も最小の距離を二質感記述子間の距離として判定する第３サブ段階とを含む。
【００２５】
より望ましくは、映像の縮少／拡大不変性及び回転不変性を同時に考慮した質感ベースの検索で前記第３段階は、質の映像とデータ映像との放射方向基準点を基準にして、データ質感記述子を放射方向のチャネルで隣接チャネルどうしに併合したり、隣接チャネルに質感記述子の特徴値を移動させて変更された自己チャネルを探す第１サブ段階と、前記質の映像の回転方向基準軸とデータ映像の回転方向基準軸とが一致するように二質感記述子を整列した後、前記二質感記述子間の距離を測定する第２サブ段階とを含む。
【００２６】
望ましくは、前記質感記述子抽出段階の第１サブ段階は、人間視覚認知システムを考慮して一つ以上の周波数空間分割レイアウトを作る第１サブサブ段階と、前記周波数空間分割レイアウトの各チャネルに対して重要度または、優先順位を与える第２サブサブ段階とを含む。
【００２７】
望ましくは、前記質感記述子抽出段階の第２サブ段階は、入力された映像をラドン変換する第１サブサブ段階と、前記ラドン変換された映像をフーリェ変換する第２サブサブ段階と、前記分割された各周波数領域で前記フーリェ変換された映像から特徴値を抽出する第３サブサブ段階とを含む。ここで、前記第３サブサブ段階は、各周波数領域におけるエネルギーの平均値と分散値とのうち、少なくとも一つの値を特徴値として抽出する段階である。
【００２８】
また、本発明によると上述した周波数空間上における質感ベースの検索方法を実現するためのプログラムを記録した記録媒体が提供される。
また、本発明による質感ベースの検索方法は、データベースに貯蔵する映像の質感特徴値と映像の回転情報とを含む質感記述子を抽出して貯蔵する第１段階と、質の映像が入力されると前記質の映像の質感特徴値と映像の回転情報とを含む質感記述子を抽出する第２段階と、前記データ質感記述子の回転情報と質の質感記述子の回転情報とを利用して二質感記述子の回転角度を相互一致させる第３段階と、前記二質感記述子の回転角度を一致させた状態で二映像の質感記述子を整合して、二質感記述子間の距離を測定する第４段階と、前記二質感記述子間の距離により二映像の類似度を判定する第５段階とを含んだことを特徴とする。
【００２９】
望ましくは、前記第１段階及び第２段階の質感記述子抽出段階は、少なくとも一つ以上の質感特徴に対して各々の特徴値を抽出するために周波数空間を少なくとも二つ以上の周波数領域に分割して周波数空間分割レイアウトを作る第１サブ段階と、前記分割された各周波数領域から前記映像の質感特徴値を抽出する第２サブ段階と、前記各周波数空間分割レイアウトの各周波数領域から抽出された特徴値を利用して、映像の質感記述子を特徴ベクトルの形態で表現する第３サブ段階とを含んだことを特徴とする。
【００３０】
望ましくは、第１段階と第２段階との映像回転情報抽出段階は、入力された映像をフーリェ変換してエネルギーが多く分布されている方向を探す第１サブ段階と、前記エネルギーが多く分布された方向を基準軸にして周波数空間分割レイアウトを生成する第２サブ段階と、前記第２サブ段階で生成された周波数空間分割レイアウトの回転情報を前記映像質感記述子に含める第３サブ段階とを含む。
【００３１】
より望ましくは、前記質感記述子抽出段階の第１サブ段階は、人間視覚認知システムを考慮して一つ以上の周波数空間分割レイアウトを作る第１サブサブ段階と、前記周波数空間分割レイアウトの各チャネルに対して重要度または、優先順位を与える第２サブサブ段階とを含む。
【００３２】
より望ましくは、前記質感記述子抽出段階の第２サブ段階は、入力された映像をラドン変換する第１サブサブ段階と、前記ラドン変換された映像をフーリェ変換する第２サブサブ段階と、前記分割された各周波数領域で前記フーリェ変換された映像から特徴値を抽出する第３サブサブ段階とを含む。ここで、前記第３サブサブ段階は、各周波数領域におけるエネルギーの平均値と分散値とのうち、少なくとも一つの値を特徴値として抽出する段階である。
【００３３】
また、本発明によると上述した周波数空間上における質感ベースの検索方法を実現するためのプログラムを記録した記録媒体が提供される。
【００３４】
【発明の実施の形態】
以下、添付された図面を参照しながら本発明の一実施例による‘周波数空間上における質感表現方法及び質感ベースの検索方法（Texture description method and texture-based retrieval method in frequency domain）’をより詳細に説明すると次のようである。
【００３５】
図１は、本発明によるラドン変換を利用した周波数空間上における質感表現方法の処理流れ図を示す。
このような質感表現方法は、映像を質感情報基盤索引する時（質感情報ベースで索引する時）と質感情報基盤検索する時（質感情報ベースで検索する時）とにすべて用いられるが、入力された映像を処理して質感記述子を作る。データベースに貯蔵する映像が入力されるとデータ質感記述子を生成して、生成された質感記述子をデータベースに貯蔵する。また、質の映像が入力されると質の質感記述子を生成して、データベースに貯蔵されたデータ質感記述子と比較することにより検索が行なわれる。
【００３６】
図１を参照しながら本発明による質感表現方法を詳細に説明すると次のようである。
まず、任意の映像が入力されると（Ｓ１１）、段階Ｓ１２で入力された映像をラドン変換する。ここで、ラドン変換（ＲａｄｏｎＴｒａｎｓｆｏｒｍ）とは、２次元映像または、多次元マルチメディアデータを角度によって線積分しながら１次元投影データを獲得する一連の過程をいう。すなわち、物体は見る角度によって異なって見え、一つの物体をあらゆる角度で眺めるとその物体の輪郭を推測することができるが、ラドン変換はこのような原理を利用したものである。
【００３７】
このような２次元映像に対するラドン変換式は、数式１のように表現される。
【００３８】
【数１】

ここで、ｆ（ｘ、ｙ）は、直交座標系における映像関数であり、ｐθ（Ｒ）は、直交座標系で原点を通過しながら陽のｘ軸と形成する角がθである光線軸を沿って線積分して得た１次投影関数、すなわち１次ラドン変換関数である。
【００３９】
δ（ｘ）関数は、ｘ値が０である時1になる関数である。２次元映像は、直交座標系で‘−∞＜ｘ、ｙ＜∞’の領域を有して、ラドン座標系で‘０＜ｓ＜∞、０＜θ＜π’の領域を有する。すなわち、x cosθ+y sinθ=sである時δ(x cosθ+y sinθ-s)=1になる。
【００４０】
このようにθを０度から１８０度まで回転して得た１次ラドン変換関数（ｐθ（Ｒ））の集合をシノグラム（Ｓｉｇｎｏｇｒａｍ）というが、次の段階Ｓ１３でシノグラムをフーリェ変換する。このシノグラムをフーリェ変換すると直交座標系における映像関数（ｆ（ｘ、ｙ））をフーリェ変換したフーリェ関数と数式２とのような関係式が成立する。
【００４１】
【数２】

ここで、Ｇθ（λ）は、ｐθ（Ｒ）のフーリェ変換された関数である。そして、λは、√(ω_x ²＋ω_y ²)であり、θは、tan^-1(ω_y/ω_x)である。
【００４２】
図２は、セントラルスライス（ＣｅｎｔｒａｌＳｌｉｃｅ）理論であり、シノグラムとシノグラムの１次元フーリェ変換との関係を示した図面である。シノグラムのフーリェ変換は、２次元元映像のフーリェ変換関数を各θ軸を沿って切断して得られる１次元関数値である。
【００４３】
すなわち、映像関数をラドン変換した後、フーリェ変換すると図2の（ｂ）に示されたように極座標周波数空間に移動して、極座標周波数空間における周波数サンプリングは図3のように示される。
【００４４】
図３は、極座標周波数空間における周波数サンプリング構造を示した図面である。ラドン変換を利用したフーリェ変換は、映像信号を極座標周波数領域に変換する。この時の周波数サンプリングは、低周波と中低周波領域とでは稠密して、高周波領域に行くほどサンプリング密度が低くなる形態で表現される。
【００４５】
このようなサンプリング構造は、一般的な映像質感が中低周波領域に情報が集まっている特性と非常によく合致して、このような周波数サンプリング構造から抽出された特徴が映像の質感特性をよく示すようになる。
【００４６】
次に、段階Ｓ１４では図３のような周波数サンプリング構造を有する極座標周波数領域から映像の質感特徴を抽出する。この時、段階Ｓ１５で生成された極座標系周波数領域分割レイアウトが用いられる。分割された各周波数領域を特徴チャネルという。
【００４７】
前記の極座標系周波数領域分割レイアウトは、周波数領域を人間視覚認知システム（ＨＶＳ:ＨｕｍａｎＶｉｓｕａｌＳｙｓｔｅｍ）によって分割する。すなわち、ＨＶＳは、低周波成分に敏感で高周波成分には鈍感な特性を見せるが、このような特徴を利用して周波数レイアウトを決定する。これに関する詳細な事項は後述する。
【００４８】
本発明では映像の質感特徴として、各分割された周波数領域すなわち、各チャネルにおけるフーリェ変換係数のエネルギー平均値とエネルギー分散値とを利用する。このためにエネルギー平均を抽出するための極座標系周波数レイアウトと、エネルギー分散を抽出するための極座標系周波数レイアウトとを別途に生成する。
【００４９】
図４は、人間視覚認知システムによってエネルギー平均を抽出するための極座標周波数空間分割レイアウトを示した図面である。
図４に示したように極座標周波数空間は、放射方向と角度方向とに分割されるが、放射方向は、２ｌ（０≦ｌ＜ｌｏｇ₂（Ｎ／２）−１）オクターブ間隔で原点から遠ざかる方向に分割して、角度方向は、θを１８０／Ｐ（ここで、Ｐはθの分割解像度である。）に分割する。このように分割するとエネルギー平均を抽出するための極座標周波数レイアウトは、低周波領域は周波数空間が稠密に分割されて高周波領域は疎らに分割される。各分割された周波数領域が特徴チャネルであり、斜線影付けた部分が５番チャネルである。
【００５０】
ここで、本発明の主要な特徴がわかるが、本発明ではラドン変換により低周波領域におけるサンプリングは、稠密にして高周波領域におけるサンプリングは、疎らにして、これをＨＶＳによって分割する時低周波領域は稠密に分けて高周波領域は大きく分ける。すなわち、分割された各周波数領域別にすなわち、各チャネル別に抽出された特徴値が質感特徴をよく反映するようになる。
【００５１】
図５は、人間視覚認知システムによってエネルギー分散を抽出するための極座標周波数空間分割レイアウトを示した図面である。
このエネルギー分散を抽出するための極座標周波数レイアウトは、エネルギー平均を抽出するための極座標周波数レイアウトとは別に放射方向を均等に分割する。しかし、角度方向は図４の周波数レイアウトのようにθを１８０／Ｐ（ここで、Ｐはθの分割解像度である。）に分割する。分割された各周波数領域が特徴チャネルであり、３５番目チャネルが斜線影付けている。
【００５２】
このように本発明では各々の周波数空間分割レイアウトを抽出した特徴値によってデザインする。これは各特徴に対して高い検索率を提供するために最適の周波数空間分割レイアウトを許すことができるように柔軟性を与えるようになる。
【００５３】
各チャネル別にエネルギー平均値とエネルギー分散値とが求められると、段階Ｓ１６でこの特徴値から映像の質感を表現する映像の質感記述子すなわち、特徴ベクトルを計算する。
【００５４】
この質感記述子は、数式３のように表現できる。
【００５５】
【数３】

ここで、ｅ_iは、図４の周波数レイアウトでｉ番目チャネルにおけるエネルギー平均値であり、ｄ_jは、図５の周波数レイアウトでｊ番目チャネルにおけるエネルギー分散値である。ここで、特にｅ₀は、ＤＣチャネルのエネルギーを示す。Ｐは、極座標周波数空間で角度方向に分割された領域の個数であり、Ｑは、放射方向に分割された領域の個数である。
【００５６】
前記の数式３で各特徴値は、そのチャネルの優先順位によってまず表現できて、チャネルの重要度によって重要度が低いチャネルの特徴値は除外させることによって、データ容量を減少させることもできる。
【００５７】
前記の特徴ベクトルを形成するエネルギー平均値ｅ_iとエネルギー分散値ｄ_jとは、数式５と数式７とにより求められて、このために数式４ではフーリェ変換された１次ラドン変換関数（Ｇθ（λ））を利用してｐ_i値を求めて、数式６ではフーリェ変換された１次ラドン変換関数と数式４で求めたｐ_i値とを利用してｑ_j値を求める。
【００５８】
【数４】

【００５９】
【数５】

【００６０】
【数６】

【００６１】
【数７】

前記のように各チャネルにおけるエネルギー平均値とエネルギー分散値とで構成された質感記述子が求められる。
【００６２】
入力されるあらゆる映像に対して、前記Ｓ１１ないし段階Ｓ１６を反復遂行して各データ質感記述子をデータベースに貯蔵する。
このようにデータベースに貯蔵されたデータ質感記述子は、質の映像から求められた質の質感記述子と整合して質の映像と類似の映像を検索することに用いられる。
【００６３】
このような極座標周波数空間上における質感ベースの検索方法を詳細に説明すると次のようである。
質の映像と類似のデータ映像とを検索するために、本発明では３種を考慮する。第一、明るさ不変性を考慮する。すなわち、映像の明るさを考慮しなくて質感が類似の映像を検索する場合と、映像の明るさを考慮して質感と明るさとが類似の映像を検索する場合とを区分する。第二、回転不変性を考慮する。すなわち、映像の回転を考慮した検索と考慮しない検索とを区分する。第三、大きさ不変性を考慮する。すなわち、元映像をズーム・イン（ｚｏｏｍｉｎ）／ズーム・アウト（ｚｏｏｍｏｕｔ）して映像が拡大／縮少されても検索できるようにする。
【００６４】
まず、映像の明るさ変化に対して不変性を有する検索を遂行する方法を説明する。映像の明るさは、質感記述子ＴＤベクトルのＤＣチャネルｅ₀値で表現される。すなわち、映像が明るければｅ₀値が大きくて、暗ければｅ₀値が小さい。したがって、映像の明るさ変化に対する不変性を有する検索を遂行しようとする場合には、データ質感記述子のＴＤベクトルからｅ₀値を除いた後、質の質感記述子と整合する。しかし、映像の明るさ変化を一緒に考慮した検索をしようとする場合には、データ質感記述子ＴＤベクトルからｅ₀値を除かなくて質の質感記述子と整合する。
【００６５】
次に、映像の回転不変性を有する検索方法の第１実施例を説明する。同一な映像に対して映像が回転されていると、従来の質感ベースの検索方法では同一な映像に検索されなかった。しかし、本発明では映像の回転に対する不変性を有する映像の整合を遂行することによって、また回転性を考慮しなくて検索することもできる。まず映像の回転に対する不変性を有する検索方法は次のようである。任意の映像を回転してフーリェ変換した結果値は、その映像をフーリェ変換した後、周波数領域で回転した結果値と同一である。
【００６６】
データベースにデータ質感記述子ＴＤが貯蔵されている状態で、質の映像を図１の質感表現方法で処理して質の質感記述子ＴＤ_queryが与えられると、任意のデータ質感記述子ＴＤ_mと質の質感記述子ＴＤ_queryとの類似度を計算して整合程度を測定する。
【００６７】
この類似度は、数式８により求められるＤ_mに反比例した値である。
【００６８】
【数８】

このように、データ質感記述子と質の質感記述子との間の距離（ｄｉｓｔａｎｃｅ）は、各チャネル別にその平均値と分散値とを比較することにより得られる。上述したように回転した映像をフーリェ変換したことは、回転する前の映像のフーリェ変換を周波数領域で回転した結果と同一である。二映像を比較する時周波数領域で回転しながら比較すると類似の二映像を捜し出すことができる。
【００６９】
したがって、本発明では質感記述子を比較して二質感記述子間の距離を求める時このような回転可能性を予め考慮して整合を遂行する。こういうわけで回転されている類似映像をすべて検索することができる。このような整合は、数式９のように表現される。
【００７０】
【数９】

ここで、ψは、１８０／Ｐであり、ｋは、１とＰとの間の定数である。すなわち、数式９は、データ質感記述子を周波数領域で任意の角度ψほどずつ回転させながら回転されたデータ質感記述子と質の質感記述子との間の距離を求める式である。
【００７１】
前記数式９で求められた各回転角度における距離を数式１０に適用して最小距離を探す。
【００７２】
【数１０】

このようにデータ質感記述子を微少回転角度ほどずつ回転させながら質の質感記述子と比較して、二質感記述子間の最小距離を二質感記述子間の距離として選択することにより映像が回転しても類似の映像を検索することができる。これにより検索が映像の回転に対して不変的特性を有する。これと反対に映像の回転に不変性を有しなくて検索する場合には数式８により類似度を検索する。
【００７３】
このような回転不変性を考慮しながら質感ベースの検索を行う場合、上述したように映像の明るさを考慮する時には質感記述子ＴＤベクトルにｅ₀値を含めて、明るさを考慮しない時には質感記述子ＴＤベクトルからｅ₀値を除外させた次に、回転不変性を考慮した質感ベースの検索を遂行する。
【００７４】
これから、映像の回転不変性を有する検索方法の第２実施例を説明する。上述したように回転した映像のフーリェ変換は、回転前の映像のフーリェ変換を周波数領域で回転した結果と同一である。それで質感記述子を整合する時このような回転可能性を考慮して整合を遂行すると同一な質感映像でありまた回転された映像をすべて検索することができる。このために回転不変性を有する検索方法の第１実施例ではデータ質感記述子を微少な角度ほどずつ回転しながら質の質感記述子と整合する方法を提示している。
【００７５】
反面、本発明の第２実施例では、質感記述子に回転情報を追加する方法を提示する。すなわち、映像をラドン変換すると最も周期的とかエネルギーが多く分布されている基準角度方向が見つけられる。この方向を基準軸にして極座標周波数空間分割レイアウト（変形されたレイアウト）を生成した後、図１の質感表現方法によって質感記述子を計算する。この時この変形されたレイアウトは、図４ないし図５の極座標周波数レイアウトに比べて回転された状態であり、変形されたレイアウトの基準軸と元来の極座標周波数レイアウトの基準軸とを回転情報として質感記述子に追加する。
【００７６】
このように回転情報を含んだデータ質感記述子が貯蔵されたデータベースと一緒に回転情報を含んだ質の質感記述子が与えられながら検索が要求されると、データ質感記述子の回転情報と質の質感記述子の回転情報とを利用して二質感記述子の回転角度を一致させる。
【００７７】
すなわち、二映像において基準角度方向を一致させるが、この状態で二映像の質感記述子を比較して二映像間の距離を求める。このような第２実施例は、第１実施例とは別にデータ質感記述子を回転しながら質の質感記述子と比較して二質感記述子間の距離を求める過程がなくても二映像の類似度を求めることができる利点があるが、回転情報を求めて質感記述子に含める過程が質感表現段階で追加されるために質感記述子を計算する過程がさらに複雑になる。
【００７８】
ここでは映像のラドン変換を利用して最も周期的とかエネルギーが多く分布する方向を基準方向として回転情報を表現したが、映像の質感情報を利用して回転方向の基準軸を探して、周波数空間分割レイアウトをその基準軸に合わせて質感を表現する方法、または基準軸を利用しなくて周波数空間分割レイアウトを用いる質感表現方法を含んで、本発明はこれに限定されない。
【００７９】
本発明の一実施例による質感ベースの検索方法で三番目に考慮しなければならない事項は、上述したように映像の拡大／縮少不変性である。これを詳細に説明すると次のようである。
【００８０】
カメラのズーム（ｚｏｏｍ）を変化させながら映像を獲得する時、その獲得された映像は、カメラのズーム倍率によって拡大または縮少される。このような効果を映像信号の周波数ドメインで解釈すると、元映像より拡大された映像の周波数スペクトラム分布は、元来のスペクトラムより周波数領域の原点に向けて凝集されている。また、元映像より縮少された映像の周波数スペクトラム分布は、元来のスペクトラムより周波数領域の原点から伸びている。
【００８１】
映像をラドン変換すると投影データのエネルギーを基準にスケール基準が見つけられる。このような映像に対して縮少／拡大不変性を有する質感ベースの検索をする場合、スケール基準で放射方向のチャネルで隣接チャネルどうしに一つのチャネルずつ重複されるように特徴値を加えたり、縮少／拡大により原点で伸びたり／縮少された自己チャネルを探して数式１１のように類似度を計算する。このように加えたチャネルを併合チャネルまたは一致チャネルと呼んで、統合して変更チャネル（ｍｏｄｉｆｉｅｄｃhａｎｎｅｌ）と呼ぶ。
【００８２】
【数１１】

映像の質感情報を利用して放射方向の基準点を探してその基準点を基準にフーリェ変換を正規化させた後、正規化されたフーリェ変換に対して特徴値を抽出して質感記述子を構成する場合、数式８を利用して類似度検索を遂行することができる。
【００８３】
ここで、放射方向基準点は、周波数空間で原点から同一距離にあるフーリェ変換映像のエネルギーまたは、エントロピーまたは、周期的成分が最も多く分布されている円弧を探して、前記見つけられた円弧の半径を基準点として設定する。
【００８４】
縮少／拡大に対して不変性を有する検索方法の他の実施例は次のようである。一つの与えられた質の映像を一個以上の拡大映像または一個以上の縮少映像に作った後、各々の拡大／縮少された質の映像として質感記述子を表現する。その次に、各々の拡大／縮少された質の映像に対して質感記述子を抽出してデータ質感記述子との距離を数式８により測定する。各々の拡大／縮少された質の映像の質感記述子に対してデータ質感記述子との距離中、最も最小になる距離を元来の質の映像の質感記述子とデータ質感記述子との間の距離として判定する。
【００８５】
拡大／縮少に対する不変性を有しない検索を行なう場合にも数式８により類似度を計算する。
回転と縮少／拡大に対して同時に不変性を有する検索を行なう場合には、まず拡大／縮少不変的検索で隣接チャネルを併合、変更した後変更されたチャネルの特徴値を回転不変的検索をするが、一旦数式１１を利用して数式９と数式１０とを利用して類似度検索を遂行する。
【００８６】
数式３に表現された質感記述子ＴＤベクトルは、質感構造に対する情報がその質感記述子の特徴値の配列パターンから類推できる。これは概略的に質感の特定構造を捜し出してブラウジングする機能を支援できる。そうした簡単なブラウジングを支援するために本発明では図４に示されたようなエネルギーチャネルから抽出された特徴値を利用して質感の簡単な構造情報を計算する。質感構造を計算する方法は、３０個のエネルギーチャネルの特徴値に対するエントロピー（ｅｎｔｒｏｐｙ）を求めたり、エネルギーチャネルレイアウトで二つの最大エネルギー間の各間隔（ａｎｇｕｌａｒｄｉｆｆｅｒｅｎｃｅ）を計算したり、放射間隔（ｒａｄｉａｌｄｉｆｆｅｒｅｎｃｅ）を計算する。
【００８７】
前記のように望ましい実施例に基づいてこの発明を説明したが、このような実施例は、この発明を制限することでなく例示することである。この発明が属する分野の熟練者にはこの発明の技術思想を逸脱しない範囲内で前記実施例に対する多様な変化や変更または調節が可能なことが自明なことである。それゆえ、この発明の保護範囲は、添付された請求範囲によってのみ限定されることであり、前記のような変化例や変更例または調節例をすべて含むことと解釈しなければならない。
【００８８】
【発明の効果】
以上のように本発明によると、ラドン変換による極座標系における周波数空間分割方法と、各特徴値を抽出することに適合な極座標系周波数空間分割レイアウト、各周波数領域における特徴値抽出方法、各周波数チャネルに重要度及び優先順位付与、回転不変性と縮少／拡大不変性と明るさ不変性とを支援する質感索引方法、回転不変性を支援する質感記述子整合方法などの技術を利用することによって、映像の質感をより正確に表現できるのみならず効率的な索引及び検索が可能になる。
【００８９】
このような質感表現方法により抽出された映像の質感記述子は、ぼう大な大きさの航空写真及び軍事用レーダー映像等から特別の特徴を有する映像を探そうとする時有用な検索端緒として利用できる。
【図面の簡単な説明】
【図１】本発明の一実施例による周波数空間上における質感表現方法を示した流れ図である。
【図２】一般的なセントラルスライス（ＣｅｎｔｒａｌＳｌｉｃｅ）理論を説明するために示した図である。
【図３】ラドン変換を利用した周波数領域における周波数サンプリング構造を示した図である。
【図４】本発明で各チャネル別エネルギー平均を抽出するために用いる周波数空間分割レイアウトを示した図である。
【図５】本発明で各チャネル別エネルギー分散を抽出するために用いる周波数空間分割レイアウトを示した図である。
【符号の説明】
S11…映像入力部、S12…ラドン変換部、S13…フーリエ変換部、S14…特徴抽出部、S15…周波数レイアウト生成部、S16…特徴ベクトル計算部。

Claims

映像の質感情報を表現する方法において、
映像入力部に入力された映像を、ラドン変換部がラドン変換してシノグラムを得る段階と、
得られたシノグラムをフーリェ変換部がフーリェ変換して前記シノグラムを極座標周波数空間に変換する段階と、
周波数レイアウト生成部が、前記極座標周波数空間を複数の周波数領域に分割する周波数空間分割レイアウトを生成する第１段階と、
前記分割された各周波数領域から特徴抽出部が前記映像の質感特徴値を抽出する第２段階と、
特徴ベクトル計算部が前記各周波数空間分割レイアウトの各周波数領域から抽出した特徴値を利用して映像の質感記述子を特徴ベクトルの形態で表現する第３段階と、
を含み、前記第１段階では、前記極座標周波数空間を、低周波領域では稠密に分け高周波領域では大きく分けるように前記周波数空間分割レイアウトを生成し、前記ラドン変換後の前記フーリェ変換における周波数サンプリングでは、低周波領域のサンプリング密度を稠密にし高周波領域のサンプリング密度を疎らにすることを特徴とする周波数空間上における質感表現方法。
前記第１段階で、前記周波数レイアウト生成部は、前記周波数空間分割レイアウトを、人間視覚認知システム（ＨＶＳ）によって作ることを特徴とする請求項１に記載の周波数空間上における質感表現方法。
前記第１段階は、前記周波数空間分割レイアウトの各周波数領域に対して重要度または、優先順位を与えるサブ段階を含んだことを特徴とする請求項２に記載の周波数空間上における質感表現方法。
前記第２段階は、
各周波数領域におけるエネルギー値とエネルギーの分散値とのうち、少なくとも一つの値を特徴値として抽出することを特徴とする請求項１に記載の周波数空間上における質感表現方法。
前記周波数空間分割レイアウトは、前記エネルギー値の平均値を求めるための周波数空間分割レイアウトと、エネルギー分散値とを求めるための周波数空間分割レイアウトが別途に生成されることを特徴とする請求項４に記載の周波数空間上における質感表現方法。
前記エネルギー値の平均値を求めるための周波数空間分割レイアウトは、周波数空間を放射方向に２ｌ（０≦ｌ＜ｌｏｇ₂（Ｎ／２）−１）、オクターブ間隔で原点から遠ざかる方向に分割して、角度方向に‘１８０／分割解像度’間隔で分割することによって生成されることを特徴とする請求項５に記載の周波数空間上における質感表現方法。
前記エネルギー分散値を求めるための周波数空間分割レイアウトは、周波数空間を放射方向に均等な間隔で分割し、かつ、角度方向に‘１８０／分割解像度’間隔で分割することによって生成されることを特徴とする請求項５または６に記載の周波数空間上における質感表現方法。
前記第３段階は、映像の質感情報を利用して映像の回転方向基準軸を探して、前記回転方向基準軸を基準に前記周波数空間分割レイアウトを回転させた後、映像の質感記述子を抽出することを特徴とする請求項１に記載の周波数空間上における質感表現方法。
前記回転方向基準軸は、映像をラドン変換してエネルギーまたは、エントロピーまたは、周期的成分が最も多く分布されている放射方向の軸として設定されることを特徴とする請求項８に記載の周波数空間上における質感表現方法。
前記第３段階は、映像をフーリェ変換して放射方向基準点を探して、その基準点を基準にフーリェ変換を正規化させた後、正規化されたフーリェ変換結果値を利用して、質感記述子を表現することを特徴とする請求項１に記載の周波数空間上における質感表現方法。
前記放射方向基準点は、周波数空間で原点から同一距離にあるフーリェ変換映像のエネルギーまたは、エントロピーまたは、周期的成分が最も多く分布されている円弧を探して、当該円弧の半径を基準点として設定することを特徴とする請求項１０に記載の周波数空間上における質感表現方法。
前記第３段階は、映像の明るさ情報を抽出して前記映像の質感記述子に含めることを特徴とする請求項１に記載の周波数空間上における質感表現方法。
コンピュータに、
映像入力部に入力された映像を、ラドン変換部がラドン変換してシノグラムを得る段階と、
得られたシノグラムをフーリェ変換部がフーリェ変換して前記シノグラムを極座標周波数空間に変換する段階と、
前記極座標周波数空間を複数の周波数領域に分割する周波数空間分割レイアウトを生成する第１段階と、
前記分割された各周波数領域から前記映像の質感特徴値を抽出する第２段階と、
前記各周波数空間分割レイアウトの各周波数領域から抽出された特徴値を利用して、映像の質感記述子を特徴ベクトルの形態で表現する第３段階と、
前記ラドン変換後の前記フーリェ変換における周波数サンプリングでは、低周波領域のサンプリング密度を稠密にして高周波領域のサンプリング密度を疎らにし、
前記第１段階では、前記極座標周波数空間を低周波領域では稠密に分けて高周波領域では大きく分けるように前記周波数空間分割レイアウトを生成すること
を実行させて映像の質感情報を表現するプログラムを記録したコンピュータ読み取り可能な記録媒体。