JPH11167642A - 画像の特徴抽出方法、画像の特徴抽出装置、画像検索方法および画像検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像に応じて、その画像の特徴をよく表して
いる分割領域を生成するとともに、分割領域から抽出し
た特徴を該分割領域とは切り離して取り扱えるように
し、画像を検索する際に、キー画像と対象画像との分割
領域の対応関係を無視して高速な処理が行えるようにす
る 【解決手段】 キー画像および対象画像に対して減色処
理を行って連続する同色の分割領域を生成し、各分割領
域からその分割領域の色、面積および重心位置の三つを
一組とした特徴情報を、例えば面積の大きな五つの分割
領域についてそれぞれそ抽出し、キー画像から抽出され
た特徴情報と対象画像から抽出された特徴情報に基づい
て、分割領域を一切考慮することなく、類似度を算出し
て最も類似した目的の画像を検索している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像から特徴を抽
出する画像の特徴抽出方法、画像の特徴抽出装置および
それらを用いた画像検索方法並びに画像検索装置に関す
る。

【０００２】

【従来の技術】従来、索引となるキー画像に基づいて、
多数の対象画像が格納された画像データベースの中から
前記キー画像と同一あるいは類似した目的の画像を検索
するシステムがあるが、かかる画像検索システムでは、
キー画像および画像データベースの中の対象画像を、予
め定めた複数の領域に分割し、対応する各分割領域毎に
画像の特徴量、例えば、分割領域の平均色や分割領域で
最も多く使われている代表色などを抽出し、その特徴量
を使って得られる各分割領域毎の類似度から画像の類似
度を求めて目的の画像を取り出すようにしており、一般
には、画像の分割領域の形状は、予め固定されていた。

【０００３】

【発明が解決しようとする課題】ところが、このような
従来例では、画像の特徴の抽出は、分割領域毎の特徴量
として抽出されているために、分割領域と特徴量とは対
になっており、分割領域と切り離して特徴量のみで類似
度を算出することはできず、あくまでもキー画像の分割
領域と対象画像の分割領域とを対応させた上で類似度を
算出しなければ意味がなく、このように従来では、常に
分割領域を対応させながら特徴量を用いて類似度を算出
しなければならず、処理が面倒であった。

【０００４】しかも、従来では、分割領域の形状が固定
されているために、画像の中でその画像の特徴をよく表
している部分が、うまく分割領域に入らず、複数の分割
領域に亘ってしまい、各分割領域毎の特徴量、例えば平
均色を抽出した場合に、前記特徴のある部分の色が十分
に反映されない場合があり、このように、画像の特徴の
ある部分の特徴量が正確に抽出できない場合があるため
に、精度の高い画像の検索ができないといった難点があ
る。

【０００５】本発明は、上述の点に鑑みて為されたもの
であって、画像に応じて、その画像の特徴をよく表して
いる分割領域を生成するとともに、分割領域から抽出し
た特徴を該分割領域とは切り離して取り扱えるように
し、画像を検索する際に、キー画像と対象画像との分割
領域の対応関係を無視して高速な処理が行えるようにす
ることを目的とする。

【０００６】

【課題を解決するための手段】本発明では、上述の目的
を達成するために、次のように構成している。

【０００７】すなわち、請求項１の本発明の画像の特徴
抽出方法は、画像の特徴を示す特徴情報を抽出する画像
の特徴抽出方法であって、画像からその画像に応じた複
数の分割領域を生成し、生成した分割領域ついての色ま
たは濃淡、大きさ、および、位置の少なくも三つの情報
を組とした前記特徴情報を抽出するものである。

【０００８】請求項２の本発明は、請求項１の発明にお
いて、前記分割領域は、色または濃淡の共通性に基づい
て生成され、前記大きさを、前記分割領域の面積とし、
前記位置を、前記分割領域の重心位置としている。

【０００９】請求項３の本発明は、請求項１または２の
発明において、前記大きさが大きい所定数の分割領域に
対応する特徴情報のみを抽出するものである。

【００１０】請求項４の本発明の画像の特徴抽出装置
は、画像の特徴を示す特徴情報を抽出する画像の特徴抽
出装置であって、画像からその画像に応じた複数の分割
領域を生成する生成手段と、生成した分割領域ついての
色または濃淡、大きさ、および、位置の少なくも三つの
情報を組とした前記特徴情報を抽出する抽出手段とを備
えている。

【００１１】請求項５の本発明は、請求項４の発明にお
いて、前記生成手段は、色または濃淡の共通性に基づい
て前記分割領域を生成するものであり、前記抽出手段
は、分割領域ついての色または濃淡を特定する特定手段
と、分割領域ついての大きさとして面積を算出する面積
算出手段と、分割領域ついての位置として重心位置を算
出する重心位置算出手段とを備えている。

【００１２】請求項６の本発明は、請求項４または５の
発明において、前記抽出手段は、前記大きさが大きい所
定数の分割領域に対応する特徴情報のみを抽出するもの
である。

【００１３】請求項７の本発明の画像検索方法は、キー
画像を索引として画像データベースの対象画像から目的
の画像を検索する画像検索方法であって、前記請求項１
ないし３のいずれかに記載の画像の特徴抽出方法で前記
キー画像から特徴情報を抽出し、前記請求項１ないし３
のいずれかに記載の画像の特徴抽出方法で前記データベ
ースの対象画像から特徴情報を抽出し、キー画像の特徴
情報と対象画像の特徴情報とに基づいて類似度を求めて
目的の画像を検索するものである。

【００１４】請求項８の本発明の画像検索装置は、キー
画像を索引として画像データベースの対象画像から目的
の画像を検索する画像検索装置であって、前記請求項４
ないし６のいずれかに記載の画像の特徴抽出装置と、前
記画像の特徴抽出装置で抽出された前記キー画像の特徴
情報と前記画像の特徴抽出装置で抽出された前記対象画
像の特徴情報とに基づいて類似度を求める類似度算出手
段と、算出された類似度に基づいて、目的の画像を検索
する検索手段とを備えている。

【００１５】請求項１または４の本発明によれば、画像
からその画像に応じた複数の分割領域を生成し、生成し
た分割領域ついての色または濃淡、大きさ、および、位
置の少なくも三つの情報を組とした前記特徴情報を抽出
するので、画像の特徴に応じた分割領域が形成されると
ともに、形成された分割領域から色または濃淡、大き
さ、および、位置の少なくも三つの情報を組とした特徴
情報を抽出するので、この抽出した特徴情報のみで分割
領域とは切り離して画像の特徴を把握できる、例えば、
色または濃淡情報で示される色または濃淡の領域が、大
きさ情報で示される大きさを占めて、位置情報で示され
る位置に存在しているという画像の特徴を把握できる。

【００１６】請求項２または５の本発明によれば、分割
領域は、色または濃淡の共通性に基づいて生成されるの
で、色または濃淡が共通して画像の特徴をよく表してい
る分割領域が生成されることになり、また、その分割領
域の大きさ情報として面積情報が、位置情報として重心
位置情報が、それぞれ抽出されることになる。

【００１７】請求項３または６の本発明によれば、大き
さが大きい所定数の分割領域に対応する特徴情報のみを
抽出するので、画像の中で占める割合が大きい部分の特
徴情報を確実に抽出する一方、画像の中にノイズ的に存
在する部分を無視して抽出処理の高速化を図ることがで
きる。

【００１８】請求項７または８の本発明によれば、前記
請求項１ないし３のいずれかに記載の画像の特徴抽出方
法で前記キー画像から特徴情報を抽出し、前記請求項１
ないし３のいずれかに記載の画像の特徴抽出方法で前記
データベースの対象画像から特徴情報を抽出し、キー画
像の特徴情報と対象画像の特徴情報とに基づいて類似度
を求めて目的の画像を検索するので、固定した分割領域
で画像を分割する従来例に比べて、画像の特徴を表した
分割領域を生成して特徴を抽出できるとともに、類似度
を算出するに際して、キー画像と対象画像との分割領域
の対応関係を考慮する必要がなく、精度の高い検索を高
速で行える。

【００１９】

【発明の実施の形態】以下、図面によって、本発明の実
施の形態について、詳細に説明する。

【００２０】図１は、本発明に係る画通検索システムの
概略構成図である。

【００２１】この画像検索システム１は、キー画像に基
づいて、同一または類似の目的の画像を検索する画像検
索装置としてのコンピュータ２と、多数の対象画像が蓄
積された画像データベース３とを備えており、このよう
な画像検索システムは、例えば、インターネット上の画
像の検索、インテリアや工業デザインの支援あるいはデ
ジタルスチルカメラのアルバムシステムなどの様々な用
途に使用できるものであり、この実施の形態では、入力
されるキー画像と同一または最も類似した目的の画像
を、画像データベース３から検索するものである。

【００２２】この画像検索システムでは、画像の特徴抽
出プログラムを含む画像の検索プログラムを記録したＦ
Ｄ（フロッピーディスク）、ＣＤ−ＲＯＭあるいはＨＤ
（ハードディスク）などの記録媒体を、ドライブ装置に
セットしてコンピュータ２に後述する画像の特徴抽出お
よび検索処理を実行させるものである。

【００２３】図２は、この実施の形態の機能ブロック図
であり、この実施の形態の画像検索システムは、入力さ
れるカラーの静止画像であるキー画像４から特徴情報の
抽出に好適な分割領域を生成するとともに、画像データ
ベース３の対象画像からも同様に分割領域を生成する生
成手段５と、生成された分割領域毎に後述の特徴情報を
抽出する抽出手段６と、抽出された特徴情報からキー画
像４と対象画像との類似度を算出する類似度算出手段７
と、算出した類似度に基づいて同一もしくは最も類似し
た目的の画像８を画像データベース３から取り出す検索
手段９とを備えており、生成手段５および抽出手段６に
よって本発明に係る画像の特徴抽出装置が構成される。

【００２４】この実施の形態では、従来のように固定し
た形状に画像を分割するのではなく、画像の特徴をよく
表している部分に対応して分割領域を生成するものであ
り、生成手段５では、次のようにして分割領域を生成し
ている。

【００２５】すなわち、この実施の形態では、キー画像
について、例えば、１６色への減色処理を行う。この減
色処理は、予め設定した１６色の代表色に各ピクセルを
近似させる処理であり、この減色処理によって、似た色
を持つピクセルは、代表色に変換されて同色による連続
した分割領域を生成する。

【００２６】図３（Ａ）は、キー画像４を、同図（Ｂ）
は減色処理を施した後のキー画像をそれぞれ示してい
る。

【００２７】このようにして分割領域が生成された後
に、抽出手段６では、生成された分割領域毎に、特徴情
報として、その分割領域が前記１６色のどの色であるか
を示す色情報と、その分割領域の大きさを示す面積情報
と、その分割領域の重心位置を示す位置情報として座標
（ＸＹ座標値）の三つの情報を一組の特徴情報として抽
出する。

【００２８】この抽出方法は、色のヒストグラムを利用
して多く使用されている色から順に処理する。同じ色で
連続するピクセルを特定し、面積と重心位置を計算す
る。全ピクセルを処理し、この実施の形態では、面積の
大きい上位５つの分割領域についての特徴情報を抽出す
る。

【００２９】図３（Ｃ）は、抽出した特徴情報を示して
おり、この図３（Ｃ）においては、連続した同色の分割
領域の面積を円の面積として表しており、その円内に色
情報と位置情報である座標（ＸＹ座標値）を示してい
る。この画像では、グレー領域が非常に大きく、ブルー
領域は、分断されている。

【００３０】このようにして、キー画像の上位５つの分
割領域について、色、面積および位置情報（座標）から
なる特徴情報がそれぞれ抽出される。したがって、色、
面積および位置情報を一組とした５組の特徴情報が抽出
されることになる。

【００３１】同様にして、画像データベース３の各対象
画像についても減色処理によって分割領域を生成し、上
位５つの分割領域について、色、面積および位置情報
（座標）からなる特徴情報をそれぞれ抽出する。すなわ
ち、各対象画像毎に、５組の特徴情報が抽出される。

【００３２】このようにして抽出される特徴情報によっ
て、画像の特徴を、分割領域と切り離して把握できるこ
とになり、従来例のように、分割領域とその分割領域か
ら抽出した特徴量とを常に対応させて取り扱う必要がな
くなり、取り扱いが容易となる。

【００３３】また、特徴情報の色情報で示される色の領
域が、面積情報で示される面積を占めて、位置情報で示
される位置を重心として存在しているという画像の特徴
を把握できることになり、しかも、その領域は、色が共
通する領域であって、画像の特徴をよく表している領域
である。

【００３４】次に、類似度算出手段７では、次のように
してキー画像と対象画像との類似度を算出する。

【００３５】今、画像ｉについての５組（ｊ＝１〜５）
の特徴情報をＰｉｊとすると、Ｐｉｊは、色を示すＲＧ
Ｂ値であるＲｉｊ，Ｇｉｊ，Ｂｉｊ、面積を示すＳｉ
ｊ、重心位置を示す座標Ｘｉｊ，Ｙｉｊから構成され
る。

【００３６】したがって、画像ａと画像ｂとを比較する
場合には、画像ａについての５組の特徴情報Ｐａ１〜Ｐ
ａ５に対して、画像ｂについての５組の特徴情報Ｐｂ１
〜Ｐｂ５の全ての組み合わせ、すなわち、２５通りの組
み合わせについて類似度を算出する。例えば、Ｐａ１と
Ｐｂ１との組み合わせの場合には、色類似度Ｃａｂ，位
置類似度Ｌａｂ，面積類似度Ｑａｂは、それぞれ下記の
式で算出される。

【００３７】Ｃａｂ＝｛（Ｒａ１−Ｒｂ１）²＋（Ｇａ
１−Ｇｂ１）²＋（Ｂａ１−Ｂｂ１）²｝^1/2 Ｌａｂ＝｛（Ｘａ１−Ｘｂ１）²＋（Ｙａ１−Ｙｂ
１）²｝^1/2 Ｑａｂ＝（Ｓａ−Ｓｂ）² そして、Ｐａ１とＰｂ１との類似度Ｇａｂを、次式で定
義する。

【００３８】Ｇａｂ＝Ｃａｂ×Ｌａｂ×Ｑａｂ かかる計算を、２５通りの組み合わせについて全て行
い、Ｇａｂの総和を、画像ａと画像ｂとの最終的な類似
度とするものである。

【００３９】検索手段８は、以上のようにして算出した
類似度の値が最も小さい対象画像を、最も類似した目的
の画像であるとして画像データベース３から取り出すも
のである。

【００４０】図４は、以上の特徴抽出および検索処理の
動作説明に供するフローチャートである。

【００４１】本発明に係る画像の特徴抽出装置を構成す
る生成手段５および抽出手段６によって、キー画像４お
よび画像データベース３の対象画像１０から特徴情報を
抽出し（ステップｎ１）、キー画像３の特徴情報と対象
画像１０との特徴情報とから上述のようにして類似度を
算出し（ステップｎ２）、最大の類似度、すなわち、最
も類似しているか否かを判断し（ステップｎ３）、最も
類似しているときには、類似度を更新し（ステップｎ
５）、類似していないときには、画像データベース３に
検索対象が存在するか否かを判断し（ステップｎ４）、
存在するときには、ステップｎ１に戻ってその対象画像
について同様に特徴情報を抽出して類似度を算出し、検
索対象が存在しないときには、それまでで最も類似して
いた対象画像を目的の画像として検索結果を出力するも
のである。

【００４２】このように、画像の特徴を示す特徴情報と
して、色、面積および位置の情報を抽出し、これら特徴
情報に基づいて、類似度を算出して検索を行うので、分
割領域と切り離して類似度算出および検索処理を行うこ
とができ、キー画像と対象画像の分割領域を対応させて
類似度を算出して検索を行う従来例に比べて、高速な処
理が行える。

【００４３】しかも、特徴情報を抽出する分割領域を、
画像に応じて生成するので、分割領域が固定されていた
従来例に比べて、画像の特徴をよく表した分割領域を生
成することができ、精度の高い検索が行われることにな
る。

【００４４】上述の実施の形態では、色、面積および位
置の３つを特徴情報として抽出したけれども、本発明の
他の実施の形態として、さらに、次式で示される注目度
Ａｉを特徴情報として抽出するようにしてもよい。

【００４５】Ａｉ＝Ｌｉ／Ｓｉ ここで、Ｌｉは、分割領域の周長に対応するものであっ
て、例えば、分割領域の外周を構成するピクセルの個数
であり、Ｓｉは、この分割領域の面積に対応するもので
あって、分割領域を構成するピクセルの数である。

【００４６】注目度Ａｉは、図５（Ａ）に示されるよう
に、領域の形状が円の時最も小さくなり、注目度が最も
高いと判断する。同じ周長でも図５（Ｂ）に示されるよ
うに、細長い図形になれば、面積Ｓｉが小さくなり、視
覚的に目立たない存在となる。

【００４７】そこで、注目度Ａｉを類似度の算出に適用
することで、注目度を加味した類似度判断が可能とな
る。例えば、画像ａ，ｂの各分割領域の注目度を、Ａ
ａ，Ａｂとすると、類似度Ｇａｂは、次式のようにな
る。

【００４８】 Ｇａｂ＝Ｃａｂ×Ｌａｂ×Ｑａｂ×Ａａ×Ａｂ この類似度Ｇａｂの値が小さい程、類似度が高いと判定
するものである。

【００４９】このようにして、視覚的に目立つ分割領域
では、類似度の判定の比重を重く、視覚的に目立たない
分割領域では、類似度の判定の比重を軽くするのであ
る。

【００５０】上述の実施の形態では、色の特徴情報の類
似度Ｃａｂの算出に、ＲＧＢ空間を使用しているが、Ｒ
ＧＢ値から計算可能なＬａ＊ｂ＊空間やＮＣＳ空間を使
用してもよい。また、ＲＧＢ空間での類似度を、単純距
離として算出しているが、自乗根を用いない自乗距離算
出方法を利用してもよい。

【００５１】上述の実施の形態では、連続した同色の分
割領域について重心を求めたけれども、連続してない複
数の同色領域の重心位置を求めるようにしてもよく、こ
の場合には、連続していない複数の同色領域を一つの分
割領域として把握し、複数の同色領域の面積の和を、前
記一つの分割領域の面積情報としてもよい。なお、特定
の距離内に存在する複数の同色領域のみについて一つの
分割領域として把握するようにしてもよい。例えば、上
述の図３（Ｃ）において、左上と左中央との分断された
ブルー領域をまとめて一つの分割領域として扱ってもよ
い。また、例えば、水玉模様などは、連続した領域は小
さいが、連続してない複数の同色領域の重心位置を求め
て処理することにより、集合体として処理できることに
なる。

【００５２】上述の実施の形態では、面積の大きな上位
５つの分割領域についての特徴情報を抽出したけれど
も、本発明は、５つに限るものでないのは勿論であり、
その数も使用者が入力設定できるようにしてもよい。

【００５３】上述の実施の形態では、１６色に減色処理
を行って同じ代表色の分割領域を生成したけれども、本
発明は、１６色に限らず減色してもよいし、また、減色
処理を行うことなく、同じ色の分割領域を形成してもよ
い。

【００５４】さらに、本発明の分割領域は、色に限ら
ず、画像のエッジを検出して生成してもよい。

【００５５】上述の各実施の形態では、カラー画像の特
徴抽出および画像検索に適用して説明したけれども、本
発明はカラー画像に限るものではなく、白黒の濃淡画像
に適用してもよく、この場合には、色情報に代えて、例
えば所定の単位領域における全ピクセルの中に黒のピク
セルが占める割合である濃淡（濃度）情報を用いてもよ
い。

【００５６】

【発明の効果】以上のように本発明によれば、次の効果
が奏される。

【００５７】すなわち、請求項１または４の本発明によ
れば、画像からその画像に応じた複数の分割領域を生成
し、生成した分割領域ついての色または濃淡、大きさ、
および、位置の少なくも三つの情報を組とした特徴情報
を抽出するので、この抽出した特徴情報のみで分割領域
とは切り離して画像の特徴、例えば、その画像は、色ま
たは濃淡情報で示される色または濃淡の領域が、大きさ
情報で示される大きさを占めて、位置情報で示される位
置に存在しているという特徴を把握できることになり、
また、分割領域は、画像に応じて生成されるので、分割
領域が固定されている従来例に比べて、画像の特徴をよ
く表している分割領域を生成することができる。

【００５８】請求項２または５の本発明によれば、分割
領域は、色または濃淡の共通性に基づいて生成されるの
で、画像の特徴をよく表した色または濃淡が共通する分
割領域が生成されることになり、その分割領域から特徴
情報が抽出されることになる。 請求項３または６の本
発明によれば、大きさが大きい所定数の分割領域に対応
する特徴情報のみを抽出するので、画像の中で占める割
合が大きい部分の特徴情報を確実に抽出する一方、画像
の中にノイズ的に存在する部分を無視して抽出処理の高
速化を図ることができる。

【００５９】請求項７または８の本発明によれば、固定
した分割領域で画像を分割する従来例に比べて、画像の
特徴を表した分割領域を生成して特徴を抽出できるとと
もに、類似度を算出するに際して、キー画像と対象画像
との分割領域の対応関係を考慮する必要がなく、特徴情
報に基づいて精度の高い検索を高速で行える。

【図面の簡単な説明】

【図１】本発明に係る画像検索システムの構成図であ
る。

【図２】図１の実施の形態の機能ブロック図である。

【図３】キー画像の一例を示す図である。

【図４】動作説明に供するフローチャートである。

【図５】注目度を説明するための図である。

【符号の説明】

３ 画像データベース ４ キー画像 ５ 生成手段 ６ 抽出手段 ７ 類似度算出手段 ９ 検索手段

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像の特徴を示す特徴情報を抽出する画
   像の特徴抽出方法であって、 画像からその画像に応じた複数の分割領域を生成し、 生成した分割領域ついての色または濃淡、大きさ、およ
   び、位置の少なくも三つの情報を組とした前記特徴情報
   を抽出する画像の特徴抽出方法。
2. 【請求項２】 前記分割領域は、色または濃淡の共通性
   に基づいて生成され、前記大きさは、前記分割領域の面
   積であり、前記位置は、前記分割領域の重心位置である
   請求項１記載の画像の特徴抽出方法。
3. 【請求項３】 前記大きさが大きい所定数の分割領域に
   対応する特徴情報のみを抽出する請求項１または２記載
   の画像の特徴抽出方法。
4. 【請求項４】 画像の特徴を示す特徴情報を抽出する画
   像の特徴抽出装置であって、 画像からその画像に応じた複数の分割領域を生成する生
   成手段と、 生成した分割領域ついての色または濃淡、大きさ、およ
   び、位置の少なくも三つの情報を組とした前記特徴情報
   を抽出する抽出手段と、 を備える画像の特徴抽出装置。
5. 【請求項５】 前記生成手段は、色または濃淡の共通性
   に基づいて前記分割領域を生成するものであり、 前記抽出手段は、分割領域ついての色または濃淡を特定
   する特定手段と、分割領域ついての大きさとして面積を
   算出する面積算出手段と、分割領域ついての位置として
   重心位置を算出する重心位置算出手段とを備える請求項
   ４記載の画像の特徴抽出装置。
6. 【請求項６】 前記抽出手段は、前記大きさが大きい所
   定数の分割領域に対応する特徴情報のみを抽出する請求
   項４または５記載の画像の特徴抽出装置。
7. 【請求項７】 キー画像を索引として画像データベース
   の対象画像から目的の画像を検索する画像検索方法であ
   って、 前記請求項１ないし３のいずれかに記載の画像の特徴抽
   出方法で前記キー画像から特徴情報を抽出し、 前記請求項１ないし３のいずれかに記載の画像の特徴抽
   出方法で前記データベースの対象画像から特徴情報を抽
   出し、 キー画像の特徴情報と対象画像の特徴情報とに基づいて
   類似度を求めて目的の画像を検索することを特徴とする
   画像検索方法。
8. 【請求項８】 キー画像を索引として画像データベース
   の対象画像から目的の画像を検索する画像検索装置であ
   って、 前記請求項４ないし６のいずれかに記載の画像の特徴抽
   出装置と、 前記画像の特徴抽出装置で抽出された前記キー画像の特
   徴情報と前記画像の特徴抽出装置で抽出された前記対象
   画像の特徴情報とに基づいて類似度を求める類似度算出
   手段と、 算出された類似度に基づいて、目的の画像を検索する検
   索手段と、を備えることを特徴とする画像検索装置。