JP3936822B2 - 静止画像検索装置 - Google Patents
静止画像検索装置 Download PDFInfo
- Publication number
- JP3936822B2 JP3936822B2 JP23317899A JP23317899A JP3936822B2 JP 3936822 B2 JP3936822 B2 JP 3936822B2 JP 23317899 A JP23317899 A JP 23317899A JP 23317899 A JP23317899 A JP 23317899A JP 3936822 B2 JP3936822 B2 JP 3936822B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- luminance
- similarity
- complexity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、計算機および記録媒体を用い、一枚の画像を入力とし画像の全体的な特徴量を利用して検索を行う静止画像検索装置に関する。
【０００２】
【従来の技術】
最近、画像の被写体の内容ではなく画像全体の類似性に基づいて画像検索を行う技術が研究されている。フラクタル次元を特徴量として用いる手法（以下、手法１という）、図形の概略形状、周波数特徴、局所相関の各特徴をベクトルとして用いる手法（以下、手法２という）などが提案されている。
【０００３】
フラクタル次元は画像の相似性を表す特徴量で、複雑な画像ほど次元は大きく、単純な画像では次元が小さくなるため、画像の複雑さという人間の感性に類似した特徴を表現する特徴量として注目されている。一般に、天然の物体表面や自然の風景などではフラクタル次元は求められるが、ビルなどの街の風景やデザイン画など人工的な物については次元は求められない。手法１では、このような性質を持つフラクタル次元を特徴量としているが、フラクタル次元そのものは情報が少ないため、検索対象画像の種類を限定しなくてはならない。すなわち、デザイン画のみ、自然画のみなど、特定の種類の画像だけを対象としている（林 世紀他、「混合フラクタルモデルに基づく画像特徴量とその画像検索応用における性能評価」、情報処理学会論文誌 Vol．３８、Ｎｏ．１０（１９９７−１０）、PP.１９６６−１９７５、参照）。
【０００４】
手法２は、フラクタル次元とは異なる複数の特徴量を用いているものであるが、テザイン画にしぼった上で必要な画像特徴を求めている（大津他、「パターン認識理論と応用」、朝倉書店（１９９６）、ＰＰ．１８４−１８６参照）。
【０００５】
このように、これまでの画像検索手法は、対象となる画像の種類を限定しており、それに応じた特徴量を利用しているため、用途も限られていた。
【０００６】
一方、似ているか似ていないかは検索システムの利用者が判断することであり、何らかの手段で、検索における類似性の判断に利用者の感性や好みを反映させる必要がある。だが、利用者の感性や好みはそれぞれ異なるものであり、一種類の判断基準で類似性を判断したのでは、個人によって似ていると思う利用者もあれば、そう思わない利用者も出てくる。手法３は、このような個人差に対応しようとする手法の代表的なもので、画像特徴ベクトルと各種キーワードとの関係をあらかじめ求めておき、入力画像との類似性を利用者の選んだキーワード軸（意味軸）に沿った類似性とすることで、利用者の望みの類似画像を見いだそうとするものである。しかし、この手法３では、各種キーワードと特徴ベクトルとの関係を求めるために非常に多数（多次元）の特徴を用いて複雑な計算を行う必要があるなど、必ずしも簡便ではない（武者 義則他、「類似画像検索における検索結果の可視化インターフェース ―可視軸として意味軸を用いる方法―」、電子情報通信学会技術報告ＰＲＭＵ９９−５７（１９９９−０７）、PP.５９−６４参照）。
【０００７】
【発明が解決しようとする課題】
本発明は、上述の点に鑑みてなされたもので、その第１の目的は、画像の種類（テクスチャ、デザイン、自然画像、顔など）を限定すること無く、任意の画像集合（データベース）を利用することを可能にする静止画像検索装置を提供することにある。
【０００８】
また、本発明の第２の目的は、上記目的に加えて、ユーザの好みに応じて類似性の判断尺度を変更することを可能とする簡便な構成の静止画像検索装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、記録媒体中のデータベースである画像集合の各画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により求める簡易構図２値情報行列からなる複数種類の特徴量を抽出するデータベース特徴量抽出手段と、使用者が表示された入力画像を参照し、複数の特徴量の類似度計算時における重み分配を選択、決定する特徴量重み決定手段と、参照画像である入力画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により求める簡易構図２値情報行列からなる複数種類の特徴量を抽出する参照画像特徴量抽出手段と、前記画像集合の個々の画像に対し、前記データベース特徴量抽出手段で抽出された画像集合の各画像の複数種類の特徴量と、前記参照画像特徴量抽出手段で抽出された前記入力画像の複数種類の特徴量との類似度を、前記特徴量重み決定手段で選択された重み分配に従い、組み合わせて計算する類似度計算手段と、前記画像集合の各画像を、前記類似度計算手段で計算した類似度の高い順に順位付けを行い、所定の順位までのデータベースナンバーおよびその縮小画像を出力・表示する順位決定・結果出力部手段とを具備し、前記データベース特徴量抽出手段は、前記画像集合中の各画像について輝度変化の複雑度に関する特徴量ベクトルの抽出を行う第１の特徴量ベクトル抽出手段と、前記画像集合中の各画像についてエッジ量の複雑度に関する特徴量ベクトルの抽出を行う第２の特徴量ベクトル抽出手段と、前記画像集合中の各画像について画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列の抽出を行う第３の特徴量ベクトル抽出手段とを含み、前記参照画像特徴量抽出手段は、前記入力画像について輝度変化の複雑度に関する特徴量ベクトルの抽出を行う第４の特徴量ベクトル抽出手段と、前記入力画像についてエッジ量の複雑度に関する特徴量ベクトルの抽出を行う第５の特徴量ベクトル抽出手段と、前記入力画像について画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列の抽出を行う第６の特徴量ベクトル抽出手段とを含むことを特徴とする。
【００１７】
また、前記第１の特徴量ベクトル抽出手段は、前記画像集合中の各画像を一辺数画素の格子で分割し、分割した各格子について輝度変化体積を計算し、該輝度変化体積の数値列を前記輝度変化の複雑度に関する特徴量ベクトルとして出力し、前記第２の特徴量ベクトル抽出手段は、前記画像集合中の各画像についてエッジ量を抽出し、前記画像集合中の各画像を一辺数画素の格子で分割し、分割した全格子の中でエッジ画像を所定の値以上含む格子の数をもとに計算された数値列を前記エッジ量の複雑度に関する特徴量ベクトルとして出力し、前記第３の特徴量ベクトル抽出手段は、前記画像集合中の各画像について画像全体の輝度の平均値、画像内の輝度の最小値、最大値を求め、求めたこれらの値を用いて輝度分布切り分けの下方閾値、上方閾値を設定し、前記各画像を複数個に分割し、分割した各領域全てについての輝度の平均値と前記下方閾値、上方閾値の比較により前記２値構図情報特徴量行列を生成することを特徴とすることができる。
【００１９】
また、前記第４の特徴量ベクトル抽出手段は、前記入力画像を一辺数画素の格子で分割し、分割した各格子について輝度変化体積を計算し、該輝度変化体積の数値列を前記輝度変化の複雑度に関する特徴量ベクトルとして出力し、前記第５の特徴量ベクトル抽出手段は、前記入力画像についてエッジ量を抽出し、前記画像集合中の各画像、または前記入力画像を一辺数画素の格子で分割し、分割した全格子の中でエッジ画像を所定の値以上含む格子の数をもとに計算された数値列を前記エッジ量の複雑度に関する特徴量ベクトルとして出力し、前記第６の特徴量ベクトル抽出手段は、前記入力画像について画像全体の輝度の平均値、画像内の輝度の最小値、最大値を求め、求めたこれらの値を用いて輝度分布切り分けの下方閾値、上方閾値を設定し、前記各画像を複数個に分割し、分割した各領域全てについての輝度の平均値と前記下方閾値、上方閾値の比較により前記２値構図情報特徴量行列を生成することを特徴とすることができる。
【００２０】
また、前記特徴量重み決定手段は、使用者が呈示された入力画像を参照しながら、複数種類の特徴量のうちどの特徴量へ重みをおく検索が適しているか考察し、類似度計算時の輝度変化の複雑度に関する特徴量に関する類似度、エッジ量の複雑度に関する特徴量に関する類似度、前記データベース特徴量抽出手段と前記参照画像特徴量抽出手段で抽出された前記２値構図情報特徴量行列に関する類似度の少なくとも３種類の類似度への重み分配を数種類呈示された選択肢から選択、決定することを特徴とすることができる。
【００２３】
（作用）
本発明では、上記構成により次のような作用を行う。まず、入力画像および記録媒体中の画像集合（データベース）の各画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化によりもとめる簡易構図２値情報行列など複数種類の特徴量を抽出する。ここで、エッジ画像の抽出方法、および輝度変化・エッジ量のフラクタル計算手法については一般的な画像処理分野における既存の手法を適応することが可能である。次に、入力画像とデータベース各画像についてのそれら複数の特徴量を、使用者が入力画像を参照して選択・決定した重み分配に従って組み合わせて類似度を計算し、その類似度の高い方からある順位までのデータベースナンバーおよびその縮小画像を出力する。その出力を、入力画像と複雑度、構図等が類似していると思われる画像の検索結果として決定する。検索結果として決定したデータベースナンバーおよびその縮小画像の集合は、その順位にしたがってディスプレイに配置・表示する。
【００２４】
従って、本発明によれば、入力画像と複雑度、構図等が類似している画像を自動的にデータベースから選択・抽出する静止画像検索において、データベース画像の種類を限定することなく、画像全体の情報を用いて従来よりも多種の画像からなるデータベースに対して同様の検索を行うことが可能となる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２６】
図１に本発明の一実施形態における静止画像検索装置の全体構成を示す。まず、前処理部（データベース特徴量抽出部）１００では、記録媒体中の画像集合（データベース）の各画像から輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により、もとめる簡易構図２値情報行列などの複数種類の特徴量を抽出する。
【００２７】
特徴量重み決定部２００では、使用者が表示された入力画像（参照画像）を参照し、複数の特徴量の類似度計算時における重み分配を選択、決定する。
【００２８】
特徴量重み決定部２００と平行して行われる処理として、参照画像特徴量抽出部３００で入力画像（参照画像）から輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化によりもとめる簡易構図２値情報行列などの複数種類の特徴量を抽出する。
【００２９】
次に、類似度計算部４００において、データベースの個々の画像に対し、前処理部１００で抽出されたデータベースの各画像の複数種類の特徴量と、参照画像特徴量抽出部３００で抽出された入力画像の複数種類の特徴量との類似度を、特徴量重み決定部２００で選択された重み分配に従い、組み合わせて計算する。
【００３０】
そして最後に、順位決定・結果出力部５００において、データベース各画像を類似度計算部４００で計算した類似度の高い順に順位付けを行い、ある順位までのデータベースナンバーおよびその縮小画像を出力する。
【００３１】
【実施例】
次に、さらに図面を参照して詳細な本発明の一実施例について詳述する。
【００３２】
前処理部１００では、図２に示すように、データベース１０１中の各画像ｉ（ｉ＝０，１，．．．，Ｎ，Ｎはデータベース中の画像の枚数）について、特徴量ベクトル1-1、1-2抽出部１０４で輝度変化の複雑度に関する特徴量ベクトル1-1（＝ａ11[i]）、1-2（＝ａ12[i]）の抽出を行い、特徴量ベクトル2-1、2-2抽出部１０５でエッジ量の複雑度に関する特徴量ベクトル2-1（＝ａ21[i]）、2-2（＝ａ22[i]）の抽出を行い、特徴量ベクトル3-1、3-2抽出部１０６で画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列3-1（＝ＩL[i]）、3-2（＝ＩH[i]）の抽出を行う。
【００３３】
図２の特徴量ベクトル1-1、1-2抽出部１０４の動作を図３を参照して詳述する。
【００３４】
特徴量ベクトル1-1の抽出は次のような処理手順で行う。
【００３５】
ステップ１１１； ｋ＝０とする。
【００３６】
ステップ１１２、１１３； 入力画像を一辺ｒ（＝２k+1）画素の格子でMk×Nk分割する。
【００３７】
ステップ１１４； その各格子（ｉ，ｊ）（ｉ＝０，．．．，Ｍｋ−１，ｊ＝０，．．．，Ｎｋ−１）について輝度変化体積ｖ（図４参照）を計算し、その一格子あたりの平均をＶ1（ｋ）とする。
【００３８】
ステップ１１５、１１６； ｋ＝ｋ＋１としステップ１１２へ戻る。ｋがある値ＫTh1へ達したならばステップ１１７へ進む。
【００３９】
ステップ１１７； 数値列
【００４０】
【数１】
ａ11＝（logＶ1（０），logＶ1（１），．．．，logＶ1（ＫTh1−１））…（１）
を特徴量ベクトル1-1とする。
【００４１】
図４の輝度変化体積において、格子（一辺ｒ）内の四隅画素ＡＢＣＤの輝度値をそれぞれＩａ，Ｉｂ，Ｉｃ，Ｉｄとし、その中の最大値をＩｄ，最小値をＩａとする（図４の（A））。そして、図４の（B）のように、Ｄ’Ｄ＝Ｉｄ−Ｉａ，Ｃ’Ｃ＝Ｉｃ−Ｉａ，Ｂ’Ｂ＝Ｉｂ−Ｉａ，Ｄ’Ｄ⊥面ＡＢＣＤ，Ｃ’Ｃ⊥面ＡＢＣＤ，Ｂ’Ｂ⊥面ＡＢＣＤなる立体Ｄ’−Ｃ’Ｂ’−ＡＢＣＤを仮定する。この立体の体積をこの格子の「輝度変化体積（仮想体積）」とする。
【００４２】
特徴量ベクトル1-2の抽出は次のような処理手順で行う。
【００４３】
ステップ１２１； 入力画像を縦Ｄx個、横Ｄy個（Ｄx×横Ｄy）に分割する。
【００４４】
ステップ１２２〜１３３； そのＤx，Ｄy個の各領域（ｉ，ｊ）について，その領域を１枚の画像とみなし、上記の特徴量ベクトルト１の抽出処理と同様の処理を行なう。すなわち、領域（ｉ，ｊ）をｒ×ｒの格子でMk×Nk分割し（ステップ１２６）、その領域の各格子（ｉ，ｊ）（ｉ＝０，．．．．，Ｍｋ−１，ｊ＝０，．．．．，Ｎｋ−１）について、上述の輝度変化体積ｖを計算し、その一格子あたりの平均をＶ2（Ｉ，Ｊ，ｋ）とする（ステップ１２７）。その処理で計算された数値列を
【００４５】
【数２】
ａ1（ｉ，ｊ）＝（logＶ2（ｉ，ｊ，０），logＶ2（ｉ，ｊ，１），．．．．，logＶ2（ｉ，ｊ，ＫTh2−１）） …（２）
とする。
【００４６】
ステップ１３４； 全ての領域（ｉ，ｊ）対するステップ１２７の処理によって定式（２）で計算された数値列の集合を１次元的に接続した
【００４７】
【数３】
ａ12＝（ａ1（０，０），ａ1（０，１），．．．．，ａ1（ｉ，ｊ），．．．．，ａ1（Ｄx−１，Ｄy−１）） …（３）
を特徴量ベクトル1-2とする。
【００４８】
図２の特徴量ベクトル2-1-2-2抽出部１０５の動作を図５を参照して詳述する。
【００４９】
特徴量ベクトル2-1の抽出は次のような処理手順で行う。
【００５０】
ステップ１４１； エッジ画像を抽出する。
【００５１】
ステップ１４２； ｋ＝０とする。
【００５２】
ステップ１４３、１４５； 入力画像を一辺ｒ（＝２k+1）画素の格子でMk×Nk分割する。
【００５３】
ステップ１４６； 全格子の中で、エッジ画素をある値Ｅth（＝（１／１６）ｒ2）をこえて含む格子の数をＮ1（ｋ）とする。
【００５４】
ステップ１４７、１４８； ｋ＝ｋ＋１としステップ１４３へ戻る。ｋがある値ＫTh1へ達したならばステップ１４９へ移行する。
【００５５】
ステップ１４９； 計算された数値列
【００５６】
【数４】
ａ21＝（logＮ1（０），logＮ1（１），．．．．，logＮ1（KTh1−１））…（４）
を特徴量ベクトル2-1とする。
【００５７】
特徴量ベクトル2-2の抽出は次のような処理手順で行う。
【００５８】
ステップ１５２； エッジ画像を縦Ｄx個、横Ｄy個（Dx×Dｙ）に分割する。
【００５９】
ステップ１５３〜１６３； そのＤxＤy個の各領域（ｉ，ｊ）について，その領域を１枚の画像とみなし、上記の特徴量ベクトル2-1の抽出と同様の処理を行なう。すなわち、分割した領域（ｉ，ｊ）をｒ×ｒの格子でMk×Nk分割し（ステップ１５６）、その領域の各格子（ｉ，ｊ）（ｉ＝０，．．．．，Ｍk-1，ｊ＝０，．．．．，Ｎk-1）の中で、エッジ画像をＥth（＝（１／１６）ｒ2）をこえて含む格子の数をＮ2（Ｉ，Ｊ，ｋ）とする（ステップ１５７）。その処理で計算された数値列を
【００６０】
【数５】
ａ2（ｉ，ｊ）＝（logＮ2（ｉ，ｊ，０），logＮ2（ｉ，ｊ，１），．．．．．，logＮ2（ｉ，ｊ，ＫTh2−１）） …（５）
とする。
【００６１】
ステップ１６４； 全ての領域（ｉ，ｊ）対するステップ１５７の処理によって上式（５）で計算された数値列の集合を１次元的に接続した
【００６２】
【数６】
ａ22＝（ａ2（０，０），ａ2（０，１），、，ａ2（ｉ，ｊ），．．，ａ2（Ｄx−１，Ｄy−１）） …（６）
を特徴量ベクトル2-2とする。
【００６３】
図２の特徴量行列3-1、3-2抽出部１０６の動作を図６を参照して詳述する。
【００６４】
特徴量行列3-1の抽出は次のような処理手順で行う。
【００６５】
ステップ１７１； 入力画像全体の輝度の平均値Ｉaveを計算する。また、画像内の輝度の最小値をＩmin、最大値をＩmaxとする。
【００６６】
輝度分布切り分けの下方閾値を
【００６７】
【数７】
ＩthL＝Ｉave−Ｒ（Ｉave−Ｉmin） …（７）
上方閾値を
【００６８】
【数８】
ＩthH＝Ｉave＋Ｒ（Ｉmax−Ｉave） …（８）
とする（０＜Ｒ＜１）。Ｒは例えば１／３とする。
【００６９】
ステップ１７２； 入力画像を縦Ｍ個、横Ｎ個に分割する。
【００７０】
ステップ１７３〜１７９およびステップ１８３〜１８９；
分割した各領域（ｉ，ｊ）（ｉ＝０，１，．．．，Ｍ−１，ｊ＝０，１，．．．，Ｎ−１）全てについて次の処理を行い、２次元Ｍ×Ｎ行列ＩL、ＩHを生成する。
【００７１】
【数９】
【００７２】
【数１０】
ステップ１８０および１９０； ＩL（２次元Ｍ×Ｎ行列）を特徴量行列3-1，ＩH（２次元Ｍ×Ｎ行列）を特徴量行列3-2とする。
【００７３】
図２の１０２〜１０８で上記のような抽出処理を繰り返し、ｉ＝Ｎ、即ちデータベース中のファイルの画像を全て処理すると、データベース前画像の特徴量の抽出が完了する（ステップ１０９）。
【００７４】
図１の特徴量重み決定部２００の詳細を図７に示す。特徴量重み決定部２００においては、使用者がディスプレイ等に呈示された入力画像を参照しながら、複数種類の特徴量のうちどの特徴量へ重みをおく検索が適しているか考察し、類似度計算時の特徴量1-1・1-2に関する類似度、特徴量2-1・2-2に関する類似度、特徴量行列3-1・3-2に関する類似度の３種類の類似度への重み分配（その重みをそれぞれＷ[1]、Ｗ[2]、Ｗ[3]とする）を数種類呈示された選択肢から選択、決定する。以下にその選択肢の一例を示す。
【００７５】
２０２： 輝度変化の複雑度、フラクタル性に着目して検索したい（入力画像例：「山」「木」など）場合は、インテンシティ・フラクタル・サーチを選択すると、
⇒Ｗ[1]＝２／３，Ｗ[2]＝１／３，Ｗ[3]＝０
に重み分配される。
【００７６】
２０３： エッジ量の複雑度、フラクタル性に着目して検索したい（入力画像例：「地図」など）場合は、エッジ・フラクタル・サーチを選択すると、
⇒Ｗ［１〕＝１／３，Ｗ[2]＝２／３，Ｗ[3]＝０
に重み分配される。
【００７７】
２０４： 複雑度に着目して検索したいが、輝度変化・エッジ量どちらとはいいにくい場合は、フラクタル・サーチを選択すると、
⇒Ｗ[1]＝１／２，Ｗ[2]＝１／２，Ｗ[3]＝０
に重み分配される。
【００７８】
２０５： 画面いっぱいに広がったテクスチャ画像の検索をしたい場合は、テクスチャー・サーチを選択すると、
⇒Ｗ[1]＝２／５，Ｗ[2]＝２／５，Ｗ[3]＝１／５
に重み分配される。
【００７９】
２０６： 複雑度よりも構図的な特徴を重視して検索をしたい（入力画像例：「空に浮かぶ林檎」など）場合は、ストラクチャー・サーチを選択すると、
⇒Ｗ[1]＝１／５，Ｗ[2]＝１／５，Ｗ[3]＝３／５
に重み分配される。
【００８０】
２０７： 何に着目していいかわからないがとりあえず検索をしたい場合は、ノーマル・サーチを選択すると、
⇒Ｗ[1]＝１／３，Ｗ[2]＝１／３，Ｗ[3]＝１／３
に重み分配される。
【００８１】
図１の参照画像特徴量抽出部３００の詳細を図８に示す。特徴量重み決定部２００の上記の処理と平行して、参照画像特徴量抽出部３００においては、入力画像に対して特徴量ベクトル1-1、1-2抽出部３０１で輝度変化の複雑度に関する特徴量ベクトル1-1（＝ａ’11）、1-2（＝ａ’12）の抽出を行い、特徴量ベクトル2-1、2-2抽出部３０２でエッジ量の複雑度に関する特徴量ベクトル2-1（＝ａ’21）、2-2（＝ａ’22）の抽出を行い、特徴量ベクトル3-1、3-2抽出部３０３で画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列3-1（＝Ｉ’L）、3-2（＝Ｉ’H）の抽出を行う。
【００８２】
なお、上記特徴量ベクトル1-1、1-2抽出部３０１は上述の図３の特徴量ベクトル1-1、1-2抽出部１０４と同様な構成・機能であり、上記特徴量ベクトル2-1、2-2抽出部３０２は上述の図５の特徴量ベクトル2-1、2-2抽出部１０５と同様な構成・機能であり、上記特徴量ベクトル3-1、3-2抽出部３０３は上述の図６の特徴量ベクトル3-1、3-2抽出部１０６と同様な構成・機能であるので、その詳細な説明は省略する。
【００８３】
図１の類似度計算部４００の詳細を図９に示す。上述した前処理部（データベース特徴量抽出部）１００、特徴量重み決定部２００、参照画像特徴量抽出部３００のそれぞれの処理の終了に続いて、類似度計算部４００において、データベース（画像Ｎ枚とする）の全ての画像に対し、前処理部１００で抽出した特徴量と、参照画像特徴量抽出部３００で抽出した入力画像との特徴量の類似度を、特徴量重み決定部２００で選択した重み分配に従って計算する。その処理の詳細は以下の通りである。
【００８４】
ステップ４０１； ｉ＝０とする。
【００８５】
ステップ４０２； データベース画像ｉの特徴量ベクトルａ11[i]を選択する。
【００８６】
ステップ４０３； 入力画像の特徴量ベクトルａ’11を選択する。
【００８７】
ステップ４１４； 入力画像の特徴量ベクトルａ’11とデータベース画像ｉの特徴量ベクトルａ11[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ11[i]とする。
【００８８】
ステップ４０４、４０５、４１５； 同様に入力画像の特徴量ベクトルａ’22とデータベース画像ｉの特徴量ベクトルａ12[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ12[i]とする。ここで特徴量ベクトルの類似度計算手法は、従来のベクトル比較手法が適用可能である。
【００８９】
ステップ４１９；
【００９０】
【数１１】
Ｓ1[i]＝０．５（Ｓ11[i]＋Ｓ12[i]） …（１１）
とする。このＳ1[i]が、入力画像とデータベース画像ｉとの輝度変化の複雑度に関する類似度である。
【００９１】
ステップ４０６、４０７、４１６； 入力画像の特微量ベクトルａ’21とデータベース画像ｉの特徴量ベクトルａ21[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ21[i]とする。
【００９２】
ステップ４０８、４０９、４１７； 同様に入力画像の特徴量ベクトルａ’22とデータベース画像ｉの特徴量ベクトルａ22[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ22[i]とする。ここでも特徴量ベクトルの類似度計算手法は、従来のベクトル比較手法が適用可能である。
【００９３】
ステップ４２０；
【００９４】
【数１２】
Ｓ2[i]＝０．５（Ｓ21[i]＋Ｓ22[i]） …（１２）
とする。このＳ2[i]が、入力画像とデータベース画像ｉとのエッジ量の複雑度に関する類似度である。
【００９５】
ステップ４１０、４１１、４１２、４１３、４１８； 入力画像とデータベース画像ｉとの特徴量行列（構図情報）に関する類似度を図１１の処理手順に従って計算する。まずＩ’LとＩL[i]の類似度を近傍要素も考慮した図１２の行列類似度計算手法で計算し（＝ＳLL[i]（０≦ＳLL[i]≦１））、同様にＩ’HとＩH[i]の類似度も同じ計算手法で計算する（＝ＳHH[i]（０≦ＳHH[i]≦１））。
【００９６】
【数１３】
ＳLLHH[i]＝０．５（ＳLL[i]＋ＳHH[i]） …（１３）
とする（０≦ＳLLHH[i]≦１）。
【００９７】
次に、Ｉ’LとＩH[i]の類似度を上記と同じ図１２の行列類似度計算手法で計算し（＝ＳLH[i]（０≦ＳLH[i]≦１））、同様にＩ’HとＩL[i]の類似度も同じ計算手法で計算する（＝ＳHL[i]（０≦ＳH[i]≦１））。
【００９８】
【数１４】
ＳLHHL[i]＝０．５（ＳLH[i]十ＳHL[i]） …（１４）
とする（０≦ＳLHHL[i]≦１）。
【００９９】
次に、ＳLLHH[i]とＳLHHL[i]のうち、値の大きい方を入力画像とデータベース画像ｉとの構図情報行列に関する類似度Ｓ3[i]とする。
【０１００】
なお、図６の特徴量行列3-1・3-2の抽出部１０６、３０３において、輝度分布の上下領域をある閾値で切り分けて構図情報行列を抽出しているが（ステップ１７５、１８５参照）、これは“背景”と“物体”を分離する処理である。よって、入力画像とデータベース画像ｉとが、「背景と物体の濃淡関係が同じで構図が酷似している」場合はＳLLHH[i]の値が高くなり、「背景と物体の濃淡関係が逆で構図が酷似している」場合はＳLHHL[i]の値が高くなるはずである。
【０１０１】
ステップ４２１；
【０１０２】
【数１５】
Ｓ[i]＝Ｗ[1]Ｓ1[i]＋Ｗ[2]Ｓ2[i]＋Ｗ[3]Ｓ3[i] …（１５）
とする。ここで、Ｗ[1]，Ｗ[2]，Ｗ[3]は特徴量重み決定部２００で決定した重み分配である。このＳ[i]を入力画像とデータベース画像ｉとの最終的な類似度とする。
【０１０３】
ステップ４２２、４２３； ｉ＝ｉ＋１としてステップ４０２へ戻る。ただし、ｉ＝Ｎとなったら、すなわちデータベース全ての画像について類似計算が完了したら、類似度計算部４００での処理を終了する。
【０１０４】
ここで、上記の行列類似度計算手法について図１２を参照して説明する。
【０１０５】
類似度をとりたい２つの２値Ｍ×Ｎ行列をＩ1，Ｉ2とする。
【０１０６】
ステップ４６１； Ｓ12＝０．０とする。以下、ステップ４６４で「Ｉ1→Ｉ2向きの」類似スコアＳ12（０≦Ｓ12≦ＭＮ）を計算する。
【０１０７】
ステップ４６４； Ｉ1の全ての要素Ｉ1[i][j]について、次の処理を行う。
【０１０８】
・Ｉ1[i][j]＝１かつＩ2[i][j]＝１の場合 ⇒Ｓ12＝Ｓ12＋１．０
・Ｉ1[i][j]＝１かつＩ2[i][j]＝０かつＩ2[i][j]の８近傍のどれか＝１
の場合 ⇒Ｓ12＝Ｓ12＋０．５
・Ｉ1[i][j]＝０かつＩ2[i][j]＝０の場合 ⇒Ｓ12＝Ｓ12＋１．０
・Ｉ1[i][j]＝０かつＩ2[i][j]＝１かつＩ2[i][j]の８近傍のどれか＝０
の場合 ⇒Ｓ12＝Ｓ12＋０．５
ステップ４７１； Ｓ21＝０．０とする。以下、ステップ４７４で「Ｉ2→Ｉ1向きの」類似スコアＳ21（０≦Ｓ21≦ＭＮ）を計算する。
【０１０９】
ステップ４７４； Ｉ2の全ての要素Ｉ2[i][j]について、次の処理を行う。
【０１１０】
・Ｉ2[i][j]＝１かつＩ1[i][j]＝１ の場合 ⇒Ｓ21＝Ｓ21＋１．０
・Ｉ2[i][j]＝１かつＩ1[i][j]＝０かつＩ1[i][j]の８近傍のどれか＝１の場合 ⇒Ｓ21＝Ｓ21＋０．５
・Ｉ2[i][j]＝０かつＩ1[i][j]＝０の場合 ⇒Ｓ21＝Ｓ21＋１．０
・Ｉ2[i][j]＝０かつＩ1[i][j]＝１かつＩ1[i][j]の８近傍のどれか＝０の場合 ⇒Ｓ21＝Ｓ21＋０．５
ステップ４７９；
【０１１１】
【数１６】
Ｓ＝（Ｓ12＋Ｓ21）／２ＭＮ（０≦Ｓ≦１） …（１６）
をＩ1とＩ2の類似度とする。
【０１１２】
図１の順位決定・結果出力部５００の詳細を図１３に示す。最後に、順位決定・結果出力部５００において、類似度の高い順にデータベース画像へ順位をつけ、上位からある順位までのファイルナンバーとその縮小画像を検索結果として出力する（ステップ５０１〜５０６）。ここでの、順位付け手法はアルゴリズム解析分野における公知のソーティング手法を用いる。また、画像の縮小手法についても、画像処理分野における従来の公知の画像スケーリング手法を適用する。
【０１１３】
（他の実施の形態）
なお、本発明の目的は、前述した実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体（記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し、実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。そのプログラムコードを記録し、またテーブル等の変数データを記録する記録媒体としては、例えばフロッピディスク（ＦＤ）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭなどを用いことができる。
【０１１４】
【発明の効果】
以上説明したように、本発明によれば、従来は検索対象画像（データベース画像）の種類をある程度限定しなければならなかったような、入力画像と複雑度、構図等が類似している画像を自動的にデータベースから選択・抽出する静止画像検索において、データベース画像の種類を限定することなく、従来よりも多種の画像からなるデータベースに対して同様の検索を簡潔な構成で行うことができる。
【図面の簡単な説明】
【図１】本発明による静止画像検索装置の全体構成を示すブロック図である。
【図２】本発明の一実施例における図１の前処理部の機能構成を示すフローチャートである。
【図３】本発明の一実施例における図２および図８の特徴量ベクトル１−１・特徴量ベクトル１−２抽出部の処理の詳細を示すフローチャートである。
【図４】本発明の一実施例における輝度変化体積の概念を示す模式図である。
【図５】本発明の一実施例における図２および図８の特徴量ベクトル２−１・特徴量ベクトル２−２抽出部の処理の詳細を示すフローチャートである。
【図６】本発明の一実施例における図２および図８の特徴量ベクトル３−１・特徴量ベクトル３−２抽出部の処理の詳細を示すフローチャートである。
【図７】本発明の一実施例における図１の特徴量重み決定部の機能構成を示すフローチャートである。
【図８】本発明の一実施例における図１の参照画像特徴量抽出部の機能構成を示すフローチャートである。
【図９】本発明の一実施例における図１の類似度計算部の機能構成を示すフローチャートである。
【図１０】本発明の一実施例における図９の点列類似度計算部の処理の詳細を示すフローチャートである。
【図１１】本発明の一実施例における図９の特徴量３類似度計算部の処理の詳細を示すフローチャートである。
【図１２】本発明の一実施例における図１１の行列類似度計算部の処理の詳細を示すフローチャートである。
【図１３】本発明の一実施例における図１の順位決定・結果出力部の機能構成を示すフローチャートである。
【符号の説明】
１００ 前処理部（データベース特徴量抽出部）
１０４ 特徴量ベクトル１−１・特徴量ベクトル１−２抽出部
１０５ 特徴量ベクトル２−１・特徴量ベクトル２−２抽出部
１０６ 特徴量ベクトル３−１・特徴量ベクトル３−２抽出部
２００ 特徴量重み決定部
２０１ スイッチ部
３００ 参照画像特徴量抽出部
３０１ 特徴量ベクトル１−１・特徴量ベクトル１−２抽出部
３０２ 特徴量ベクトル２−１・特徴量ベクトル２−２抽出部
３０３ 特徴量ベクトル３−１・特徴量ベクトル３−２抽出部
４００ 類似度計算部
４１５〜４１７ 点列類似度計算部
４１８ 特徴量３類似度計算部
４４５〜４４６ 行列類似度計算部
５００ 順位決定・結果出力部
【発明の属する技術分野】
本発明は、計算機および記録媒体を用い、一枚の画像を入力とし画像の全体的な特徴量を利用して検索を行う静止画像検索装置に関する。
【０００２】
【従来の技術】
最近、画像の被写体の内容ではなく画像全体の類似性に基づいて画像検索を行う技術が研究されている。フラクタル次元を特徴量として用いる手法（以下、手法１という）、図形の概略形状、周波数特徴、局所相関の各特徴をベクトルとして用いる手法（以下、手法２という）などが提案されている。
【０００３】
フラクタル次元は画像の相似性を表す特徴量で、複雑な画像ほど次元は大きく、単純な画像では次元が小さくなるため、画像の複雑さという人間の感性に類似した特徴を表現する特徴量として注目されている。一般に、天然の物体表面や自然の風景などではフラクタル次元は求められるが、ビルなどの街の風景やデザイン画など人工的な物については次元は求められない。手法１では、このような性質を持つフラクタル次元を特徴量としているが、フラクタル次元そのものは情報が少ないため、検索対象画像の種類を限定しなくてはならない。すなわち、デザイン画のみ、自然画のみなど、特定の種類の画像だけを対象としている（林 世紀他、「混合フラクタルモデルに基づく画像特徴量とその画像検索応用における性能評価」、情報処理学会論文誌 Vol．３８、Ｎｏ．１０（１９９７−１０）、PP.１９６６−１９７５、参照）。
【０００４】
手法２は、フラクタル次元とは異なる複数の特徴量を用いているものであるが、テザイン画にしぼった上で必要な画像特徴を求めている（大津他、「パターン認識理論と応用」、朝倉書店（１９９６）、ＰＰ．１８４−１８６参照）。
【０００５】
このように、これまでの画像検索手法は、対象となる画像の種類を限定しており、それに応じた特徴量を利用しているため、用途も限られていた。
【０００６】
一方、似ているか似ていないかは検索システムの利用者が判断することであり、何らかの手段で、検索における類似性の判断に利用者の感性や好みを反映させる必要がある。だが、利用者の感性や好みはそれぞれ異なるものであり、一種類の判断基準で類似性を判断したのでは、個人によって似ていると思う利用者もあれば、そう思わない利用者も出てくる。手法３は、このような個人差に対応しようとする手法の代表的なもので、画像特徴ベクトルと各種キーワードとの関係をあらかじめ求めておき、入力画像との類似性を利用者の選んだキーワード軸（意味軸）に沿った類似性とすることで、利用者の望みの類似画像を見いだそうとするものである。しかし、この手法３では、各種キーワードと特徴ベクトルとの関係を求めるために非常に多数（多次元）の特徴を用いて複雑な計算を行う必要があるなど、必ずしも簡便ではない（武者 義則他、「類似画像検索における検索結果の可視化インターフェース ―可視軸として意味軸を用いる方法―」、電子情報通信学会技術報告ＰＲＭＵ９９−５７（１９９９−０７）、PP.５９−６４参照）。
【０００７】
【発明が解決しようとする課題】
本発明は、上述の点に鑑みてなされたもので、その第１の目的は、画像の種類（テクスチャ、デザイン、自然画像、顔など）を限定すること無く、任意の画像集合（データベース）を利用することを可能にする静止画像検索装置を提供することにある。
【０００８】
また、本発明の第２の目的は、上記目的に加えて、ユーザの好みに応じて類似性の判断尺度を変更することを可能とする簡便な構成の静止画像検索装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、記録媒体中のデータベースである画像集合の各画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により求める簡易構図２値情報行列からなる複数種類の特徴量を抽出するデータベース特徴量抽出手段と、使用者が表示された入力画像を参照し、複数の特徴量の類似度計算時における重み分配を選択、決定する特徴量重み決定手段と、参照画像である入力画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により求める簡易構図２値情報行列からなる複数種類の特徴量を抽出する参照画像特徴量抽出手段と、前記画像集合の個々の画像に対し、前記データベース特徴量抽出手段で抽出された画像集合の各画像の複数種類の特徴量と、前記参照画像特徴量抽出手段で抽出された前記入力画像の複数種類の特徴量との類似度を、前記特徴量重み決定手段で選択された重み分配に従い、組み合わせて計算する類似度計算手段と、前記画像集合の各画像を、前記類似度計算手段で計算した類似度の高い順に順位付けを行い、所定の順位までのデータベースナンバーおよびその縮小画像を出力・表示する順位決定・結果出力部手段とを具備し、前記データベース特徴量抽出手段は、前記画像集合中の各画像について輝度変化の複雑度に関する特徴量ベクトルの抽出を行う第１の特徴量ベクトル抽出手段と、前記画像集合中の各画像についてエッジ量の複雑度に関する特徴量ベクトルの抽出を行う第２の特徴量ベクトル抽出手段と、前記画像集合中の各画像について画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列の抽出を行う第３の特徴量ベクトル抽出手段とを含み、前記参照画像特徴量抽出手段は、前記入力画像について輝度変化の複雑度に関する特徴量ベクトルの抽出を行う第４の特徴量ベクトル抽出手段と、前記入力画像についてエッジ量の複雑度に関する特徴量ベクトルの抽出を行う第５の特徴量ベクトル抽出手段と、前記入力画像について画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列の抽出を行う第６の特徴量ベクトル抽出手段とを含むことを特徴とする。
【００１７】
また、前記第１の特徴量ベクトル抽出手段は、前記画像集合中の各画像を一辺数画素の格子で分割し、分割した各格子について輝度変化体積を計算し、該輝度変化体積の数値列を前記輝度変化の複雑度に関する特徴量ベクトルとして出力し、前記第２の特徴量ベクトル抽出手段は、前記画像集合中の各画像についてエッジ量を抽出し、前記画像集合中の各画像を一辺数画素の格子で分割し、分割した全格子の中でエッジ画像を所定の値以上含む格子の数をもとに計算された数値列を前記エッジ量の複雑度に関する特徴量ベクトルとして出力し、前記第３の特徴量ベクトル抽出手段は、前記画像集合中の各画像について画像全体の輝度の平均値、画像内の輝度の最小値、最大値を求め、求めたこれらの値を用いて輝度分布切り分けの下方閾値、上方閾値を設定し、前記各画像を複数個に分割し、分割した各領域全てについての輝度の平均値と前記下方閾値、上方閾値の比較により前記２値構図情報特徴量行列を生成することを特徴とすることができる。
【００１９】
また、前記第４の特徴量ベクトル抽出手段は、前記入力画像を一辺数画素の格子で分割し、分割した各格子について輝度変化体積を計算し、該輝度変化体積の数値列を前記輝度変化の複雑度に関する特徴量ベクトルとして出力し、前記第５の特徴量ベクトル抽出手段は、前記入力画像についてエッジ量を抽出し、前記画像集合中の各画像、または前記入力画像を一辺数画素の格子で分割し、分割した全格子の中でエッジ画像を所定の値以上含む格子の数をもとに計算された数値列を前記エッジ量の複雑度に関する特徴量ベクトルとして出力し、前記第６の特徴量ベクトル抽出手段は、前記入力画像について画像全体の輝度の平均値、画像内の輝度の最小値、最大値を求め、求めたこれらの値を用いて輝度分布切り分けの下方閾値、上方閾値を設定し、前記各画像を複数個に分割し、分割した各領域全てについての輝度の平均値と前記下方閾値、上方閾値の比較により前記２値構図情報特徴量行列を生成することを特徴とすることができる。
【００２０】
また、前記特徴量重み決定手段は、使用者が呈示された入力画像を参照しながら、複数種類の特徴量のうちどの特徴量へ重みをおく検索が適しているか考察し、類似度計算時の輝度変化の複雑度に関する特徴量に関する類似度、エッジ量の複雑度に関する特徴量に関する類似度、前記データベース特徴量抽出手段と前記参照画像特徴量抽出手段で抽出された前記２値構図情報特徴量行列に関する類似度の少なくとも３種類の類似度への重み分配を数種類呈示された選択肢から選択、決定することを特徴とすることができる。
【００２３】
（作用）
本発明では、上記構成により次のような作用を行う。まず、入力画像および記録媒体中の画像集合（データベース）の各画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化によりもとめる簡易構図２値情報行列など複数種類の特徴量を抽出する。ここで、エッジ画像の抽出方法、および輝度変化・エッジ量のフラクタル計算手法については一般的な画像処理分野における既存の手法を適応することが可能である。次に、入力画像とデータベース各画像についてのそれら複数の特徴量を、使用者が入力画像を参照して選択・決定した重み分配に従って組み合わせて類似度を計算し、その類似度の高い方からある順位までのデータベースナンバーおよびその縮小画像を出力する。その出力を、入力画像と複雑度、構図等が類似していると思われる画像の検索結果として決定する。検索結果として決定したデータベースナンバーおよびその縮小画像の集合は、その順位にしたがってディスプレイに配置・表示する。
【００２４】
従って、本発明によれば、入力画像と複雑度、構図等が類似している画像を自動的にデータベースから選択・抽出する静止画像検索において、データベース画像の種類を限定することなく、画像全体の情報を用いて従来よりも多種の画像からなるデータベースに対して同様の検索を行うことが可能となる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２６】
図１に本発明の一実施形態における静止画像検索装置の全体構成を示す。まず、前処理部（データベース特徴量抽出部）１００では、記録媒体中の画像集合（データベース）の各画像から輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により、もとめる簡易構図２値情報行列などの複数種類の特徴量を抽出する。
【００２７】
特徴量重み決定部２００では、使用者が表示された入力画像（参照画像）を参照し、複数の特徴量の類似度計算時における重み分配を選択、決定する。
【００２８】
特徴量重み決定部２００と平行して行われる処理として、参照画像特徴量抽出部３００で入力画像（参照画像）から輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化によりもとめる簡易構図２値情報行列などの複数種類の特徴量を抽出する。
【００２９】
次に、類似度計算部４００において、データベースの個々の画像に対し、前処理部１００で抽出されたデータベースの各画像の複数種類の特徴量と、参照画像特徴量抽出部３００で抽出された入力画像の複数種類の特徴量との類似度を、特徴量重み決定部２００で選択された重み分配に従い、組み合わせて計算する。
【００３０】
そして最後に、順位決定・結果出力部５００において、データベース各画像を類似度計算部４００で計算した類似度の高い順に順位付けを行い、ある順位までのデータベースナンバーおよびその縮小画像を出力する。
【００３１】
【実施例】
次に、さらに図面を参照して詳細な本発明の一実施例について詳述する。
【００３２】
前処理部１００では、図２に示すように、データベース１０１中の各画像ｉ（ｉ＝０，１，．．．，Ｎ，Ｎはデータベース中の画像の枚数）について、特徴量ベクトル1-1、1-2抽出部１０４で輝度変化の複雑度に関する特徴量ベクトル1-1（＝ａ11[i]）、1-2（＝ａ12[i]）の抽出を行い、特徴量ベクトル2-1、2-2抽出部１０５でエッジ量の複雑度に関する特徴量ベクトル2-1（＝ａ21[i]）、2-2（＝ａ22[i]）の抽出を行い、特徴量ベクトル3-1、3-2抽出部１０６で画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列3-1（＝ＩL[i]）、3-2（＝ＩH[i]）の抽出を行う。
【００３３】
図２の特徴量ベクトル1-1、1-2抽出部１０４の動作を図３を参照して詳述する。
【００３４】
特徴量ベクトル1-1の抽出は次のような処理手順で行う。
【００３５】
ステップ１１１； ｋ＝０とする。
【００３６】
ステップ１１２、１１３； 入力画像を一辺ｒ（＝２k+1）画素の格子でMk×Nk分割する。
【００３７】
ステップ１１４； その各格子（ｉ，ｊ）（ｉ＝０，．．．，Ｍｋ−１，ｊ＝０，．．．，Ｎｋ−１）について輝度変化体積ｖ（図４参照）を計算し、その一格子あたりの平均をＶ1（ｋ）とする。
【００３８】
ステップ１１５、１１６； ｋ＝ｋ＋１としステップ１１２へ戻る。ｋがある値ＫTh1へ達したならばステップ１１７へ進む。
【００３９】
ステップ１１７； 数値列
【００４０】
【数１】
ａ11＝（logＶ1（０），logＶ1（１），．．．，logＶ1（ＫTh1−１））…（１）
を特徴量ベクトル1-1とする。
【００４１】
図４の輝度変化体積において、格子（一辺ｒ）内の四隅画素ＡＢＣＤの輝度値をそれぞれＩａ，Ｉｂ，Ｉｃ，Ｉｄとし、その中の最大値をＩｄ，最小値をＩａとする（図４の（A））。そして、図４の（B）のように、Ｄ’Ｄ＝Ｉｄ−Ｉａ，Ｃ’Ｃ＝Ｉｃ−Ｉａ，Ｂ’Ｂ＝Ｉｂ−Ｉａ，Ｄ’Ｄ⊥面ＡＢＣＤ，Ｃ’Ｃ⊥面ＡＢＣＤ，Ｂ’Ｂ⊥面ＡＢＣＤなる立体Ｄ’−Ｃ’Ｂ’−ＡＢＣＤを仮定する。この立体の体積をこの格子の「輝度変化体積（仮想体積）」とする。
【００４２】
特徴量ベクトル1-2の抽出は次のような処理手順で行う。
【００４３】
ステップ１２１； 入力画像を縦Ｄx個、横Ｄy個（Ｄx×横Ｄy）に分割する。
【００４４】
ステップ１２２〜１３３； そのＤx，Ｄy個の各領域（ｉ，ｊ）について，その領域を１枚の画像とみなし、上記の特徴量ベクトルト１の抽出処理と同様の処理を行なう。すなわち、領域（ｉ，ｊ）をｒ×ｒの格子でMk×Nk分割し（ステップ１２６）、その領域の各格子（ｉ，ｊ）（ｉ＝０，．．．．，Ｍｋ−１，ｊ＝０，．．．．，Ｎｋ−１）について、上述の輝度変化体積ｖを計算し、その一格子あたりの平均をＶ2（Ｉ，Ｊ，ｋ）とする（ステップ１２７）。その処理で計算された数値列を
【００４５】
【数２】
ａ1（ｉ，ｊ）＝（logＶ2（ｉ，ｊ，０），logＶ2（ｉ，ｊ，１），．．．．，logＶ2（ｉ，ｊ，ＫTh2−１）） …（２）
とする。
【００４６】
ステップ１３４； 全ての領域（ｉ，ｊ）対するステップ１２７の処理によって定式（２）で計算された数値列の集合を１次元的に接続した
【００４７】
【数３】
ａ12＝（ａ1（０，０），ａ1（０，１），．．．．，ａ1（ｉ，ｊ），．．．．，ａ1（Ｄx−１，Ｄy−１）） …（３）
を特徴量ベクトル1-2とする。
【００４８】
図２の特徴量ベクトル2-1-2-2抽出部１０５の動作を図５を参照して詳述する。
【００４９】
特徴量ベクトル2-1の抽出は次のような処理手順で行う。
【００５０】
ステップ１４１； エッジ画像を抽出する。
【００５１】
ステップ１４２； ｋ＝０とする。
【００５２】
ステップ１４３、１４５； 入力画像を一辺ｒ（＝２k+1）画素の格子でMk×Nk分割する。
【００５３】
ステップ１４６； 全格子の中で、エッジ画素をある値Ｅth（＝（１／１６）ｒ2）をこえて含む格子の数をＮ1（ｋ）とする。
【００５４】
ステップ１４７、１４８； ｋ＝ｋ＋１としステップ１４３へ戻る。ｋがある値ＫTh1へ達したならばステップ１４９へ移行する。
【００５５】
ステップ１４９； 計算された数値列
【００５６】
【数４】
ａ21＝（logＮ1（０），logＮ1（１），．．．．，logＮ1（KTh1−１））…（４）
を特徴量ベクトル2-1とする。
【００５７】
特徴量ベクトル2-2の抽出は次のような処理手順で行う。
【００５８】
ステップ１５２； エッジ画像を縦Ｄx個、横Ｄy個（Dx×Dｙ）に分割する。
【００５９】
ステップ１５３〜１６３； そのＤxＤy個の各領域（ｉ，ｊ）について，その領域を１枚の画像とみなし、上記の特徴量ベクトル2-1の抽出と同様の処理を行なう。すなわち、分割した領域（ｉ，ｊ）をｒ×ｒの格子でMk×Nk分割し（ステップ１５６）、その領域の各格子（ｉ，ｊ）（ｉ＝０，．．．．，Ｍk-1，ｊ＝０，．．．．，Ｎk-1）の中で、エッジ画像をＥth（＝（１／１６）ｒ2）をこえて含む格子の数をＮ2（Ｉ，Ｊ，ｋ）とする（ステップ１５７）。その処理で計算された数値列を
【００６０】
【数５】
ａ2（ｉ，ｊ）＝（logＮ2（ｉ，ｊ，０），logＮ2（ｉ，ｊ，１），．．．．．，logＮ2（ｉ，ｊ，ＫTh2−１）） …（５）
とする。
【００６１】
ステップ１６４； 全ての領域（ｉ，ｊ）対するステップ１５７の処理によって上式（５）で計算された数値列の集合を１次元的に接続した
【００６２】
【数６】
ａ22＝（ａ2（０，０），ａ2（０，１），、，ａ2（ｉ，ｊ），．．，ａ2（Ｄx−１，Ｄy−１）） …（６）
を特徴量ベクトル2-2とする。
【００６３】
図２の特徴量行列3-1、3-2抽出部１０６の動作を図６を参照して詳述する。
【００６４】
特徴量行列3-1の抽出は次のような処理手順で行う。
【００６５】
ステップ１７１； 入力画像全体の輝度の平均値Ｉaveを計算する。また、画像内の輝度の最小値をＩmin、最大値をＩmaxとする。
【００６６】
輝度分布切り分けの下方閾値を
【００６７】
【数７】
ＩthL＝Ｉave−Ｒ（Ｉave−Ｉmin） …（７）
上方閾値を
【００６８】
【数８】
ＩthH＝Ｉave＋Ｒ（Ｉmax−Ｉave） …（８）
とする（０＜Ｒ＜１）。Ｒは例えば１／３とする。
【００６９】
ステップ１７２； 入力画像を縦Ｍ個、横Ｎ個に分割する。
【００７０】
ステップ１７３〜１７９およびステップ１８３〜１８９；
分割した各領域（ｉ，ｊ）（ｉ＝０，１，．．．，Ｍ−１，ｊ＝０，１，．．．，Ｎ−１）全てについて次の処理を行い、２次元Ｍ×Ｎ行列ＩL、ＩHを生成する。
【００７１】
【数９】
【数１０】
【００７３】
図２の１０２〜１０８で上記のような抽出処理を繰り返し、ｉ＝Ｎ、即ちデータベース中のファイルの画像を全て処理すると、データベース前画像の特徴量の抽出が完了する（ステップ１０９）。
【００７４】
図１の特徴量重み決定部２００の詳細を図７に示す。特徴量重み決定部２００においては、使用者がディスプレイ等に呈示された入力画像を参照しながら、複数種類の特徴量のうちどの特徴量へ重みをおく検索が適しているか考察し、類似度計算時の特徴量1-1・1-2に関する類似度、特徴量2-1・2-2に関する類似度、特徴量行列3-1・3-2に関する類似度の３種類の類似度への重み分配（その重みをそれぞれＷ[1]、Ｗ[2]、Ｗ[3]とする）を数種類呈示された選択肢から選択、決定する。以下にその選択肢の一例を示す。
【００７５】
２０２： 輝度変化の複雑度、フラクタル性に着目して検索したい（入力画像例：「山」「木」など）場合は、インテンシティ・フラクタル・サーチを選択すると、
⇒Ｗ[1]＝２／３，Ｗ[2]＝１／３，Ｗ[3]＝０
に重み分配される。
【００７６】
２０３： エッジ量の複雑度、フラクタル性に着目して検索したい（入力画像例：「地図」など）場合は、エッジ・フラクタル・サーチを選択すると、
⇒Ｗ［１〕＝１／３，Ｗ[2]＝２／３，Ｗ[3]＝０
に重み分配される。
【００７７】
２０４： 複雑度に着目して検索したいが、輝度変化・エッジ量どちらとはいいにくい場合は、フラクタル・サーチを選択すると、
⇒Ｗ[1]＝１／２，Ｗ[2]＝１／２，Ｗ[3]＝０
に重み分配される。
【００７８】
２０５： 画面いっぱいに広がったテクスチャ画像の検索をしたい場合は、テクスチャー・サーチを選択すると、
⇒Ｗ[1]＝２／５，Ｗ[2]＝２／５，Ｗ[3]＝１／５
に重み分配される。
【００７９】
２０６： 複雑度よりも構図的な特徴を重視して検索をしたい（入力画像例：「空に浮かぶ林檎」など）場合は、ストラクチャー・サーチを選択すると、
⇒Ｗ[1]＝１／５，Ｗ[2]＝１／５，Ｗ[3]＝３／５
に重み分配される。
【００８０】
２０７： 何に着目していいかわからないがとりあえず検索をしたい場合は、ノーマル・サーチを選択すると、
⇒Ｗ[1]＝１／３，Ｗ[2]＝１／３，Ｗ[3]＝１／３
に重み分配される。
【００８１】
図１の参照画像特徴量抽出部３００の詳細を図８に示す。特徴量重み決定部２００の上記の処理と平行して、参照画像特徴量抽出部３００においては、入力画像に対して特徴量ベクトル1-1、1-2抽出部３０１で輝度変化の複雑度に関する特徴量ベクトル1-1（＝ａ’11）、1-2（＝ａ’12）の抽出を行い、特徴量ベクトル2-1、2-2抽出部３０２でエッジ量の複雑度に関する特徴量ベクトル2-1（＝ａ’21）、2-2（＝ａ’22）の抽出を行い、特徴量ベクトル3-1、3-2抽出部３０３で画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列3-1（＝Ｉ’L）、3-2（＝Ｉ’H）の抽出を行う。
【００８２】
なお、上記特徴量ベクトル1-1、1-2抽出部３０１は上述の図３の特徴量ベクトル1-1、1-2抽出部１０４と同様な構成・機能であり、上記特徴量ベクトル2-1、2-2抽出部３０２は上述の図５の特徴量ベクトル2-1、2-2抽出部１０５と同様な構成・機能であり、上記特徴量ベクトル3-1、3-2抽出部３０３は上述の図６の特徴量ベクトル3-1、3-2抽出部１０６と同様な構成・機能であるので、その詳細な説明は省略する。
【００８３】
図１の類似度計算部４００の詳細を図９に示す。上述した前処理部（データベース特徴量抽出部）１００、特徴量重み決定部２００、参照画像特徴量抽出部３００のそれぞれの処理の終了に続いて、類似度計算部４００において、データベース（画像Ｎ枚とする）の全ての画像に対し、前処理部１００で抽出した特徴量と、参照画像特徴量抽出部３００で抽出した入力画像との特徴量の類似度を、特徴量重み決定部２００で選択した重み分配に従って計算する。その処理の詳細は以下の通りである。
【００８４】
ステップ４０１； ｉ＝０とする。
【００８５】
ステップ４０２； データベース画像ｉの特徴量ベクトルａ11[i]を選択する。
【００８６】
ステップ４０３； 入力画像の特徴量ベクトルａ’11を選択する。
【００８７】
ステップ４１４； 入力画像の特徴量ベクトルａ’11とデータベース画像ｉの特徴量ベクトルａ11[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ11[i]とする。
【００８８】
ステップ４０４、４０５、４１５； 同様に入力画像の特徴量ベクトルａ’22とデータベース画像ｉの特徴量ベクトルａ12[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ12[i]とする。ここで特徴量ベクトルの類似度計算手法は、従来のベクトル比較手法が適用可能である。
【００８９】
ステップ４１９；
【００９０】
【数１１】
Ｓ1[i]＝０．５（Ｓ11[i]＋Ｓ12[i]） …（１１）
とする。このＳ1[i]が、入力画像とデータベース画像ｉとの輝度変化の複雑度に関する類似度である。
【００９１】
ステップ４０６、４０７、４１６； 入力画像の特微量ベクトルａ’21とデータベース画像ｉの特徴量ベクトルａ21[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ21[i]とする。
【００９２】
ステップ４０８、４０９、４１７； 同様に入力画像の特徴量ベクトルａ’22とデータベース画像ｉの特徴量ベクトルａ22[i]の類似度を図１０の処理手順に従って計算し、その計算結果（０から１の間に正規化）をＳ22[i]とする。ここでも特徴量ベクトルの類似度計算手法は、従来のベクトル比較手法が適用可能である。
【００９３】
ステップ４２０；
【００９４】
【数１２】
Ｓ2[i]＝０．５（Ｓ21[i]＋Ｓ22[i]） …（１２）
とする。このＳ2[i]が、入力画像とデータベース画像ｉとのエッジ量の複雑度に関する類似度である。
【００９５】
ステップ４１０、４１１、４１２、４１３、４１８； 入力画像とデータベース画像ｉとの特徴量行列（構図情報）に関する類似度を図１１の処理手順に従って計算する。まずＩ’LとＩL[i]の類似度を近傍要素も考慮した図１２の行列類似度計算手法で計算し（＝ＳLL[i]（０≦ＳLL[i]≦１））、同様にＩ’HとＩH[i]の類似度も同じ計算手法で計算する（＝ＳHH[i]（０≦ＳHH[i]≦１））。
【００９６】
【数１３】
ＳLLHH[i]＝０．５（ＳLL[i]＋ＳHH[i]） …（１３）
とする（０≦ＳLLHH[i]≦１）。
【００９７】
次に、Ｉ’LとＩH[i]の類似度を上記と同じ図１２の行列類似度計算手法で計算し（＝ＳLH[i]（０≦ＳLH[i]≦１））、同様にＩ’HとＩL[i]の類似度も同じ計算手法で計算する（＝ＳHL[i]（０≦ＳH[i]≦１））。
【００９８】
【数１４】
ＳLHHL[i]＝０．５（ＳLH[i]十ＳHL[i]） …（１４）
とする（０≦ＳLHHL[i]≦１）。
【００９９】
次に、ＳLLHH[i]とＳLHHL[i]のうち、値の大きい方を入力画像とデータベース画像ｉとの構図情報行列に関する類似度Ｓ3[i]とする。
【０１００】
なお、図６の特徴量行列3-1・3-2の抽出部１０６、３０３において、輝度分布の上下領域をある閾値で切り分けて構図情報行列を抽出しているが（ステップ１７５、１８５参照）、これは“背景”と“物体”を分離する処理である。よって、入力画像とデータベース画像ｉとが、「背景と物体の濃淡関係が同じで構図が酷似している」場合はＳLLHH[i]の値が高くなり、「背景と物体の濃淡関係が逆で構図が酷似している」場合はＳLHHL[i]の値が高くなるはずである。
【０１０１】
ステップ４２１；
【０１０２】
【数１５】
Ｓ[i]＝Ｗ[1]Ｓ1[i]＋Ｗ[2]Ｓ2[i]＋Ｗ[3]Ｓ3[i] …（１５）
とする。ここで、Ｗ[1]，Ｗ[2]，Ｗ[3]は特徴量重み決定部２００で決定した重み分配である。このＳ[i]を入力画像とデータベース画像ｉとの最終的な類似度とする。
【０１０３】
ステップ４２２、４２３； ｉ＝ｉ＋１としてステップ４０２へ戻る。ただし、ｉ＝Ｎとなったら、すなわちデータベース全ての画像について類似計算が完了したら、類似度計算部４００での処理を終了する。
【０１０４】
ここで、上記の行列類似度計算手法について図１２を参照して説明する。
【０１０５】
類似度をとりたい２つの２値Ｍ×Ｎ行列をＩ1，Ｉ2とする。
【０１０６】
ステップ４６１； Ｓ12＝０．０とする。以下、ステップ４６４で「Ｉ1→Ｉ2向きの」類似スコアＳ12（０≦Ｓ12≦ＭＮ）を計算する。
【０１０７】
ステップ４６４； Ｉ1の全ての要素Ｉ1[i][j]について、次の処理を行う。
【０１０８】
・Ｉ1[i][j]＝１かつＩ2[i][j]＝１の場合 ⇒Ｓ12＝Ｓ12＋１．０
・Ｉ1[i][j]＝１かつＩ2[i][j]＝０かつＩ2[i][j]の８近傍のどれか＝１
の場合 ⇒Ｓ12＝Ｓ12＋０．５
・Ｉ1[i][j]＝０かつＩ2[i][j]＝０の場合 ⇒Ｓ12＝Ｓ12＋１．０
・Ｉ1[i][j]＝０かつＩ2[i][j]＝１かつＩ2[i][j]の８近傍のどれか＝０
の場合 ⇒Ｓ12＝Ｓ12＋０．５
ステップ４７１； Ｓ21＝０．０とする。以下、ステップ４７４で「Ｉ2→Ｉ1向きの」類似スコアＳ21（０≦Ｓ21≦ＭＮ）を計算する。
【０１０９】
ステップ４７４； Ｉ2の全ての要素Ｉ2[i][j]について、次の処理を行う。
【０１１０】
・Ｉ2[i][j]＝１かつＩ1[i][j]＝１ の場合 ⇒Ｓ21＝Ｓ21＋１．０
・Ｉ2[i][j]＝１かつＩ1[i][j]＝０かつＩ1[i][j]の８近傍のどれか＝１の場合 ⇒Ｓ21＝Ｓ21＋０．５
・Ｉ2[i][j]＝０かつＩ1[i][j]＝０の場合 ⇒Ｓ21＝Ｓ21＋１．０
・Ｉ2[i][j]＝０かつＩ1[i][j]＝１かつＩ1[i][j]の８近傍のどれか＝０の場合 ⇒Ｓ21＝Ｓ21＋０．５
ステップ４７９；
【０１１１】
【数１６】
Ｓ＝（Ｓ12＋Ｓ21）／２ＭＮ（０≦Ｓ≦１） …（１６）
をＩ1とＩ2の類似度とする。
【０１１２】
図１の順位決定・結果出力部５００の詳細を図１３に示す。最後に、順位決定・結果出力部５００において、類似度の高い順にデータベース画像へ順位をつけ、上位からある順位までのファイルナンバーとその縮小画像を検索結果として出力する（ステップ５０１〜５０６）。ここでの、順位付け手法はアルゴリズム解析分野における公知のソーティング手法を用いる。また、画像の縮小手法についても、画像処理分野における従来の公知の画像スケーリング手法を適用する。
【０１１３】
（他の実施の形態）
なお、本発明の目的は、前述した実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体（記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し、実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。そのプログラムコードを記録し、またテーブル等の変数データを記録する記録媒体としては、例えばフロッピディスク（ＦＤ）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭなどを用いことができる。
【０１１４】
【発明の効果】
以上説明したように、本発明によれば、従来は検索対象画像（データベース画像）の種類をある程度限定しなければならなかったような、入力画像と複雑度、構図等が類似している画像を自動的にデータベースから選択・抽出する静止画像検索において、データベース画像の種類を限定することなく、従来よりも多種の画像からなるデータベースに対して同様の検索を簡潔な構成で行うことができる。
【図面の簡単な説明】
【図１】本発明による静止画像検索装置の全体構成を示すブロック図である。
【図２】本発明の一実施例における図１の前処理部の機能構成を示すフローチャートである。
【図３】本発明の一実施例における図２および図８の特徴量ベクトル１−１・特徴量ベクトル１−２抽出部の処理の詳細を示すフローチャートである。
【図４】本発明の一実施例における輝度変化体積の概念を示す模式図である。
【図５】本発明の一実施例における図２および図８の特徴量ベクトル２−１・特徴量ベクトル２−２抽出部の処理の詳細を示すフローチャートである。
【図６】本発明の一実施例における図２および図８の特徴量ベクトル３−１・特徴量ベクトル３−２抽出部の処理の詳細を示すフローチャートである。
【図７】本発明の一実施例における図１の特徴量重み決定部の機能構成を示すフローチャートである。
【図８】本発明の一実施例における図１の参照画像特徴量抽出部の機能構成を示すフローチャートである。
【図９】本発明の一実施例における図１の類似度計算部の機能構成を示すフローチャートである。
【図１０】本発明の一実施例における図９の点列類似度計算部の処理の詳細を示すフローチャートである。
【図１１】本発明の一実施例における図９の特徴量３類似度計算部の処理の詳細を示すフローチャートである。
【図１２】本発明の一実施例における図１１の行列類似度計算部の処理の詳細を示すフローチャートである。
【図１３】本発明の一実施例における図１の順位決定・結果出力部の機能構成を示すフローチャートである。
【符号の説明】
１００ 前処理部（データベース特徴量抽出部）
１０４ 特徴量ベクトル１−１・特徴量ベクトル１−２抽出部
１０５ 特徴量ベクトル２−１・特徴量ベクトル２−２抽出部
１０６ 特徴量ベクトル３−１・特徴量ベクトル３−２抽出部
２００ 特徴量重み決定部
２０１ スイッチ部
３００ 参照画像特徴量抽出部
３０１ 特徴量ベクトル１−１・特徴量ベクトル１−２抽出部
３０２ 特徴量ベクトル２−１・特徴量ベクトル２−２抽出部
３０３ 特徴量ベクトル３−１・特徴量ベクトル３−２抽出部
４００ 類似度計算部
４１５〜４１７ 点列類似度計算部
４１８ 特徴量３類似度計算部
４４５〜４４６ 行列類似度計算部
５００ 順位決定・結果出力部
Claims (4)
- 記録媒体中のデータベースである画像集合の各画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により求める簡易構図２値情報行列からなる複数種類の特徴量を抽出するデータベース特徴量抽出手段と、
使用者が表示された入力画像を参照し、複数の特徴量の類似度計算時における重み分配を選択、決定する特徴量重み決定手段と、
参照画像である入力画像から、輝度変化のフラクタル次元を求める際に計算される数値列全体、エッジ量のフラクタル次元を求める際に計算される数値列全体、および輝度分布の分化により求める簡易構図２値情報行列からなる複数種類の特徴量を抽出する参照画像特徴量抽出手段と、
前記画像集合の個々の画像に対し、前記データベース特徴量抽出手段で抽出された画像集合の各画像の複数種類の特徴量と、前記参照画像特徴量抽出手段で抽出された前記入力画像の複数種類の特徴量との類似度を、前記特徴量重み決定手段で選択された重み分配に従い、組み合わせて計算する類似度計算手段と、
前記画像集合の各画像を、前記類似度計算手段で計算した類似度の高い順に順位付けを行い、所定の順位までのデータベースナンバーおよびその縮小画像を出力・表示する順位決定・結果出力部手段とを具備し、
前記データベース特徴量抽出手段は、
前記画像集合中の各画像について輝度変化の複雑度に関する特徴量ベクトルの抽出を行う第１の特徴量ベクトル抽出手段と、
前記画像集合中の各画像についてエッジ量の複雑度に関する特徴量ベクトルの抽出を行う第２の特徴量ベクトル抽出手段と、
前記画像集合中の各画像について画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行列の抽出を行う第３の特徴量ベクトル抽出手段とを含み、
前記参照画像特徴量抽出手段は、
前記入力画像について輝度変化の複雑度に関する特徴量ベクトルの抽出を行う第４の特徴量ベクトル抽出手段と、
前記入力画像についてエッジ量の複雑度に関する特徴量ベクトルの抽出を行う第５の特徴量ベクトル抽出手段と、
前記入力画像について画像全体の輝度分布の上下切り分けによる２値構図情報特徴量行
列の抽出を行う第６の特徴量ベクトル抽出手段とを含むことを特徴とする静止画像検索装置。 - 前記第１の特徴量ベクトル抽出手段は、前記画像集合中の各画像を一辺数画素の格子で分割し、分割した各格子について輝度変化体積を計算し、該輝度変化体積の数値列を前記輝度変化の複雑度に関する特徴量ベクトルとして出力し、
前記第２の特徴量ベクトル抽出手段は、前記画像集合中の各画像についてエッジ量を抽出し、前記画像集合中の各画像を一辺数画素の格子で分割し、分割した全格子の中でエッジ画像を所定の値以上含む格子の数をもとに計算された数値列を前記エッジ量の複雑度に関する特徴量ベクトルとして出力し、
前記第３の特徴量ベクトル抽出手段は、前記画像集合中の各画像について画像全体の輝度の平均値、画像内の輝度の最小値、最大値を求め、求めたこれらの値を用いて輝度分布切り分けの下方閾値、上方閾値を設定し、前記各画像を複数個に分割し、分割した各領域全てについての輝度の平均値と前記下方閾値、上方閾値の比較により前記２値構図情報特徴量行列を生成することを特徴とする請求項１に記載の静止画像検索装置。 - 前記第４の特徴量ベクトル抽出手段は、前記入力画像を一辺数画素の格子で分割し、分割した各格子について輝度変化体積を計算し、該輝度変化体積の数値列を前記輝度変化の複雑度に関する特徴量ベクトルとして出力し、
前記第５の特徴量ベクトル抽出手段は、前記入力画像についてエッジ量を抽出し、前記画像集合中の各画像、または前記入力画像を一辺数画素の格子で分割し、分割した全格子の中でエッジ画像を所定の値以上含む格子の数をもとに計算された数値列を前記エッジ量の複雑度に関する特徴量ベクトルとして出力し、
前記第６の特徴量ベクトル抽出手段は、前記入力画像について画像全体の輝度の平均値、画像内の輝度の最小値、最大値を求め、求めたこれらの値を用いて輝度分布切り分けの下方閾値、上方閾値を設定し、前記各画像を複数個に分割し、分割した各領域全てについての輝度の平均値と前記下方閾値、上方閾値の比較により前記２値構図情報特徴量行列を生成することを特徴とする請求項１または２に記載の静止画像検索装置。 - 前記特徴量重み決定手段は、使用者が呈示された入力画像を参照しながら、複数種類の特徴量のうちどの特徴量へ重みをおく検索が適しているか考察し、類似度計算時の輝度変化の複雑度に関する特徴量に関する類似度、エッジ量の複雑度に関する特徴量に関する類似度、前記データベース特徴量抽出手段と前記参照画像特徴量抽出手段で抽出された前記２値構図情報特徴量行列に関する類似度の少なくとも３種類の類似度への重み分配を数種類呈示された選択肢から選択、決定することを特徴とする請求項１ないし３のいずれかに記載の静止画像検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23317899A JP3936822B2 (ja) | 1999-08-19 | 1999-08-19 | 静止画像検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23317899A JP3936822B2 (ja) | 1999-08-19 | 1999-08-19 | 静止画像検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001056820A JP2001056820A (ja) | 2001-02-27 |
| JP3936822B2 true JP3936822B2 (ja) | 2007-06-27 |
Family
ID=16950962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23317899A Expired - Fee Related JP3936822B2 (ja) | 1999-08-19 | 1999-08-19 | 静止画像検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3936822B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100375831B1 (ko) * | 2001-03-14 | 2003-03-15 | 한국전자통신연구원 | 영상의 질감도를 기반으로 한 영상 ｄｂ 브라우징 및 소팅방법 |
| JP4963824B2 (ja) * | 2005-11-14 | 2012-06-27 | 学校法人日本大学 | 変化領域抽出装置及び変化領域抽出方法 |
| JP4797787B2 (ja) * | 2006-05-16 | 2011-10-19 | 日産自動車株式会社 | 運転シーン変化検出装置、自動車及び運転シーン変化検出方法 |
| JP4906900B2 (ja) * | 2009-09-24 | 2012-03-28 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
| JP5094830B2 (ja) * | 2009-12-16 | 2012-12-12 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
-
1999
- 1999-08-19 JP JP23317899A patent/JP3936822B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001056820A (ja) | 2001-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6782395B2 (en) | Method and devices for indexing and seeking digital images taking into account the definition of regions of interest | |
| US6690828B2 (en) | Method for representing and comparing digital images | |
| CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
| KR20010055492A (ko) | 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법 | |
| JP4374902B2 (ja) | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム | |
| CN111950612B (zh) | 基于fpn的融合因子的弱小目标检测方法 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| AU2018202767A1 (en) | Data structure and algorithm for tag less search and svg retrieval | |
| CN112132208A (zh) | 图像转换模型的生成方法、装置、电子设备及存储介质 | |
| JP3936822B2 (ja) | 静止画像検索装置 | |
| CN116721301A (zh) | 目标场景分类模型训练方法、分类方法、设备及存储介质 | |
| WO2004047026A1 (ja) | 画像検索プログラム | |
| CN114332559A (zh) | 一种基于自适应跨模态融合机制和深度注意力网络的rgb-d显著性目标检测方法 | |
| CN114445328A (zh) | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 | |
| CN113205502A (zh) | 一种基于深度学习的绝缘子缺陷检测方法及其系统 | |
| Tang et al. | Image retargetability | |
| JP2001117936A (ja) | ３次元類似画像検索装置 | |
| JP2013008142A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2001229382A (ja) | 情報蓄積装置，情報検索装置および情報蓄積方法，情報検索方法並びにこれらの方法を記録した記録媒体 | |
| CN114581698A (zh) | 一种基于空间交叉注意力机制特征融合的目标分类方法 | |
| CN110569790B (zh) | 基于纹理增强卷积网络的居民区要素提取方法 | |
| CN113963198A (zh) | 一种高光谱图像分类方法、装置、存储介质及终端 | |
| Lippoldt | Efficient colon cancer grading with graph neural networks | |
| JP4076310B2 (ja) | 画像検索装置 | |
| Mojsilovic et al. | Psychophysical approach to modeling image semantics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061013 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070326 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3936822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |