JPH0773195A

JPH0773195A - 画像検索方法並びにその装置

Info

Publication number: JPH0773195A
Application number: JP5218462A
Authority: JP
Inventors: Kazuko Tsujimura; 和子辻村; Yuichi Sakauchi; 祐一坂内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-02
Filing date: 1993-09-02
Publication date: 1995-03-17
Anticipated expiration: 2016-12-04
Also published as: DE69433373T2; EP0643358A3; EP0643358B1; JP3234064B2; EP0643358A2; DE69433373D1; US5586197A

Abstract

(57)【要約】【目的】画像データベースから、色情報を用いて高精
度な検索を行う検索方法とその検索装置を提供すること
を目的とする。【構成】例示画入力部３０が、検索キーである例示画
を検索者が作成して入力し、例示画色情報抽出部５０は
例示画からＨＳＶ色空間データを抽出し、蓄積画像デー
タ色情報抽出部４０は画像データベース２０からＨＳＶ
色空間データを抽出し、３属性の各有効度決定部６０は
ＨＳＶ色空間における各成分有効度を決定し、検索候補
決定部７０は類似度を計算し、検索候補を決定し、表示
部９０に検索候補画像を表示する。制御部９０は、画像
検索装置全体の制御を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データベースから
画像を検索する画像処理方法並びにその装置に関する。

【０００２】

【従来の技術】従来、画像データベースから必要な画像
を検索する方法の一つに、検索者が所望の画像の例示画
を作成して、その例示画からの色情報をもとに検索する
方法がある。ここで色情報を色相、彩度、明度（以下、
これらを合わせて色の３属性と呼ぶ）の３軸によって構
成される色知覚空間を用いて抽出する。そして、画像デ
ータベースに蓄積された画像から同色知覚空間を用いて
抽出される色情報との間で、３属性をどの色において
も、各々同等に用いて類似度を求め、求められた類似度
の高い順に検索候補として候補順位を決定し、その順位
をもとに表示をするという方法があった。

【０００３】

【発明が解決しようとする課題】しかし、色のデータ
は、その色の持つ３属性の相互の値によって３属性の各
有効性が異なってくる。例えば、黒や白に近い低彩度、
低明度の色は、色みを表わす属性である色相の有効性が
低くなる。にもかかわらず、全ての色において、３属性
各々同等に用いて類似度を求めると、有効ではない値も
用いて類似度計算を行なうため、検索精度が悪くなると
いう問題があった。

【０００４】本発明は上記従来例に鑑みてなされたもの
で、画像データベースから、画像を検索する際に、色情
報を用いた検索の精度を向上させて、検索者が意図する
画像検索が行ないやすい画像処理方法並びにその装置を
提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像処理方式並びにその装置は以下の構成
を備える。即ち、色情報を含む例示画を生成する生成工
程と、前記例示画の色情報から色情報の有効度を計算す
る有効度計算工程と、前記色情報の有効度を用いて、前
記色情報を含む例示画と画像データベースの各画像間の
類似度を計算する類似度計算工程と、前記類似度の高い
順に、前記画像データベースの画像を表示する表示工程
とを備える。また、別の発明は、色情報を含む例示画を
生成する生成手段と、前記例示画の色情報から色情報の
有効度を計算する有効度計算手段と、前記色情報の有効
度を用いて、前記色情報を含む例示画と画像データベー
スの各画像間の類似度を計算する類似度計算手段と、前
記類似度の高い順に、前記画像データベースの画像を表
示する表示手段とを備える。

【作用】以上の構成において、色情報を含む例示画を生
成工程が生成し、前記例示画の色情報から色情報の有効
度を有効度計算工程が計算し、類似度計算工程が、前記
色情報の有効度を用いて、前記色情報を含む例示画と画
像データベースの各画像間の類似度を計算し、表示工程
が、前記類似度の高い順に、前記画像データベースの画
像を表示する。また、別の発明は、色情報を含む例示画
を生成手段が生成し、前記例示画の色情報から色情報の
有効度を有効度計算手段が計算し、類似度計算手段が、
前記色情報の有効度を用いて、前記色情報を含む例示画
と画像データベースの各画像間の類似度を計算し、表示
手段が、前記類似度の高い順に、前記画像データベース
の画像を表示する。

【実施例】

（第１の実施例）図１は、本発明の実施例である画像処
理装置のブロック構成図である。図２は、第１の実施例
の画像検索処理フローを示す。図３は例示画を作成する
処理を示す。

【０００６】図４は例示画作成時の色指定の実施例を示
す。図５は、例示画と蓄積された各画像との類似度を求
める具体的な処理フローを示す。図６は色データの３属
性の各有効度決定部の処理フローを示す。

【０００７】第１の実施例においては、色データを色
相、彩度、明度によって表わす色知覚空間として、例え
ばＨＳＶ色空間（Hue:色相、Saturation:彩度、Value:
明度）を採用する。図１において、１０はデータベース
に蓄積される画像データを入力するための蓄積画像デー
タ入力部、２０は蓄積画像データ入力部１０において入
力された画像データを蓄積する画像蓄積部、３０は、所
望の画像を得るための例示画を検索者が作成して、それ
を入力する例示画入力部であり、ポインテイング入力デ
バイス３１を備える。また、４０は画像蓄積部２０で蓄
積されている各々の画像データからＨＳＶ色空間を用い
て色情報を抽出する蓄積画像データ色情報抽出部、５０
は例示画入力部３０において入力された例示画からＨＳ
Ｖ色空間を用いて色情報を抽出する例示画色情報抽出
部、６０は色データのＨＳＶ色空間における色相Ｈ、彩
度Ｓ、明度Ｖの各有効度を決定する３属性の各有効度決
定部、７０は類似度を計算して、検索候補を決定する候
補画像決定部、８０は本実施例装置全体の制御を行なう
制御部、９０は検索候補画像を表示する表示部である。

【０００８】図２は、図１の構成において実行する画像
検索処理のフローチャートであり、以下、図２を参照し
ながら、画像検索処理手順を説明する。

【０００９】ステップＳ１では、検索者が例示画入力部
３０から、所望の画像についての例示画を作成／入力し
て、その例示画を制御部８０に送る。尚、例示画の作成
の手順の詳細は、図３のフローチャートと、図４の表示
画面図を用いて後述する。

【００１０】ステップＳ２では、例示画色情報抽出部５
０によって、入力された例示画からの色情報、即ち、Ｈ
ＳＶ色空間における３属性の値Ｈ1 ，Ｓ1 ，Ｖ1 を抽出
する。

【００１１】ステップＳ３では、蓄積画像データ色情報
抽出部４０によって、まず、画像蓄積部２０に蓄積され
た各画像ｉ（i=1,2,...n :nは蓄積画像枚数）中で、例
示画で指定した領域に対応する領域内での画素の最頻色
をその領域の代表値とする。そして、その代表値から、
ＨＳＶ色空間における各３属性値Ｈ2i，Ｓ2i，Ｖ2iの値
を抽出する。

【００１２】尚、上記実施例では、代表値としてその
領域での最頻色を選んだが、これは例えば平均値でもよ
いし、中央値でもよい。

【００１３】ステップＳ４では、抽出された２つの色情
報（Ｈ1 ，Ｓ1 ，Ｖ1 ）、（Ｈ2i，Ｓ2i，Ｖ2i）と、３
属性の各有効度決定部６０で決定された各有効度とから
例示画と蓄積されている各画像との類似度Ｒi（i=1,2,
3...n）を計算する。この詳細な処理内容は、図５を参
照して後述する。

【００１４】ステップＳ５では、類似度Ｒi（i=1,2,
3,...n）によって、類似度の高い順にソーティングを行
なう。そして、類似度のより高い画像の方が、例示画に
より近い検索画像と判断する。尚、ステップＳ４〜Ｓ５
の処理は候補画像決定部７０にて行なわれる。

【００１５】ステップＳ６では、類似度のより高い画像
の順に、表示部９０に表示する。

【００１６】以上説明した手順に従って、検索者が作成
した例示画像の色情報をもとに、蓄積された画像データ
から所望の画像を検索することができる。

【００１７】次に、ステップＳ１の例示画入力処理を、
図３のフローチャートを参照して説明する。検索者は、
図３の流れにしたがって、画像処理装置の表示部９０の
ディスプレイ上に開かれるウィンドウ内に例示画を作成
する。

【００１８】ステップＳ１０では、まず検索者は、所望
の画像中のオブジェクトを表わす領域をポインテイング
入力デバイス３１によって指定する。

【００１９】ステップＳ１１では、その領域の色を指定
する。表示部９０の表示画面を用いて、色の指定を行う
例を図４に示す。４１は色の３原色（赤、緑、青）とそ
の３原色の中間色（黄、シアン、マゼンタ）の合計６色
の色票、４２はＨＳＶの各値を調整をするバーで、検索
者は４１の中から領域の色を示すのに最も近いと思われ
る色をポインテイング入力デバイス３１で指定する。そ
して、その色を基準としてＨＳＶの各値をスライドバー
を用いて、所望の画像中のオブジェクトにより近い色と
なるようにポインテイング入力デバイス３１で調整す
る。調整中の色は４３に表示され、検索者が作り出す色
がどのような色であるか確認できる。そして、調整が終
了すると、ポインテイング入力デバイス３１の「quit」
ボタンをクリックし色の指定を終了させる。これで、例
示画の領域の色が決定される。

【００２０】ステップＳ１２では、ステップＳＳ１０に
て指定された領域をステップＳ１１で指定された色によ
って塗りつぶす。

【００２１】ステップＳ１３では、また別の領域を指定
をするかどうかチェックし、別の領域を指定をする必要
がなければ、例示画像の作成処理を終了する。また、別
の領域を指定をする必要があれば、ステップＳ１０から
の処理ステップに戻り、同様の処理を繰り返す。

【００２２】以上のステップを実行することにより、例
示画を作成することができる。

【００２３】次に、図５のフローチャートを参照して、
ステップＳ４の例示画と蓄積された各画像との類似度を
求める処理を詳述をする。尚、ここでは、検査者が指定
した領域が１つであるとしている。この処理では、例示
画色情報（Ｈ1 ，Ｓ1 ，Ｖ1）と蓄積された各画像の色
情報（Ｈ2i，Ｓ2i，Ｖ2i）を用いて、類似度を求める。

【００２４】ステップＳ３０では、まず例示画色情報Ｈ
1 ，Ｓ1 ，Ｖ1 の３属性の各正規化有効度ＲH ，ＲS ，
ＲV を、３属性の各有効度決定部６０をコールして決定
する。３属性の各有効度決定部６０の処理内容は、図６
を参照して後述するものとする。

【００２５】ステップＳ３１では、例示画の色情報Ｈ1
，Ｓ1 ，Ｖ1 と蓄積画像の色情報Ｈ2i，Ｓ2i，Ｖ2iの
３属性値の各差Δｈi（Δｈi＝｜Ｈ1 −Ｈ2i｜），Δｓ
i（Δｓi＝｜Ｓ1 −Ｓ2i｜），Δｖi（Δｖi＝｜Ｖ1 −
Ｖ2i｜）を求める。

【００２６】ステップＳ３２では、ステップＳ３０で求
められたＲH ，ＲS ，ＲV とステップＳ３１で求められ
たΔｈi，Δｓi，Δｖiから、有効度を反映した色差Ｄh
i （Ｄhi ＝ＲH*Δｈi），ＤSi（ＤSi ＝ＲS*Δｓi），
Ｄｖi（Ｄvi ＝ＲＶ*Δｖi）を求める。

【００２７】ステップＳ３３では、Ｄhi ＋Ｄsi ＋Ｄｖ
iを加算して、マイナス符号をつけたもの（−（Ｄhi ＋
Ｄsi ＋Ｄvi ））を類似度Ｒiとする。そして、全ての
i,即ち、全ての蓄積された各画像に対する類似度Ｒi（i
=1,2,3,...n）を求める。一方、領域数が複数の時は、
各領域ごとに類似度Ｒij（i=1,2,3,...n; j=1,2,3,...
m; mは領域数）を求める。そして、各画像に対する代表
の類似度を、例えば、その画像に関する全ての領域での
類似度の総和値、即ち、[Ｒi=Ｒi1+Ｒi2+...+Ｒim]とす
る。

【００２８】次に、ステップＳ３０の有効度を決定する
処理を、図５のフローチャートを用いて説明する。この
フローチャートは、３属性の各有効度決定部６０での処
理である。以下、その内容を説明する。

【００２９】尚、ここで、３属性の各有効度を以下、Ｒ
h ，Ｒs ，Ｒv と表わし、その値域を０．０〜１．０と
する。また、これら３つの値を正規化したものを、正規
化有効度ＲH ，ＲS ，ＲVとする。各有効度決定部６０
にて出力される各有効度値は、これら正規化処理後のＲ
H ，ＲS ，ＲVとなる。

【００３０】ステップＳ２０では、図２のステップＳ２
で抽出された例示画色情報（Ｈ1 ，Ｓ1 ，Ｖ1 ）を例示
画入力部３０から、制御部８０を介して３属性の各有効
度決定部６０に読み込む。

【００３１】ステップＳ２１では、ステップＳ２０で読
み込んだ例示画色情報（Ｈ1 ，Ｓ1，Ｖ1 ）の内、明度
Ｖ1が低くないかどうか、具体的には、ある所定のしき
い値Ｔv以上であるかどうかを調べる。そして、明度Ｖ1
がしきい値Ｔvより小さければ、ステップＳ２６に進
み、色相Ｈの有効度Ｒh ＝０、彩度Ｓの有効度Ｒs ＝
０、明度Ｖの有効度Ｒv ＝１とする。即ち、明度が低い
場合、彩度値の有効度は低いことを意味する。そして、
ステップＳ２４へ進む。

【００３２】ステップＳ２４では、各有効度Ｒh ，Ｒs
，Ｒv が決定したので、これら３つの値の正規化を行
ない正規化有効度ＲH ，ＲS ，ＲVを得る。尚、正規化
は、次式を計算することによって求める。ＲH＝Ｒh／（Ｒh＋Ｒs＋Ｒv）ＲS＝Ｒs／（Ｒh＋Ｒs＋Ｒv）ＲV＝Ｒv／（Ｒh＋Ｒs＋Ｒv）

【００３３】次に、ステップＳ２２の説明を行う。ステ
ップＳ２２では、彩度Ｓ1が低くないかどうか、具体的
には、彩度Ｓ1がある所定の閾値Ｔs 以上かであるかを
調べる。ここで、彩度Ｓ1がしきい値Ｔsより小さけれ
ば、ステップＳ２７に進み、色相Ｈの有効度Ｒh ＝０、
彩度Ｓの有効度Ｒs ＝１、明度Ｖの有効度Ｒv ＝１とす
る。そして、ステップＳ２４へ進む。また、彩度Ｓ1が
しきい値Ｔs以上であれば、ステップＳ２３へ進み、Ｒh
＝１，Ｒs ＝０，Ｒv ＝０とする。そして、ステップ
Ｓ２４へ進み正規化処理を行う。

【００３４】以上説明した手順で、３属性の正規化有効
度ＲH ，ＲS ，ＲV を決定する。

【００３５】以上説明したように、検索者が作成した例
示画像の色情報をもとに、蓄積された画像データから所
望の画像を検索することができる。

【００３６】尚、例示画入力の第２の実施例として、手
元の紙などに描いて作成して、スキャナによって読み込
ませてもよい。

【００３７】また、例示画作成時の領域の色の指定方法
は、以下の方法によってでもよい。即ち、１画面に表示されるいくつかの限定色の中から選ぶ、２手元の色票などを用いて色を指定し、色表の識別番
号を入力する、３ＲＧＢやＨＳＶなどの色データの値を、数値によっ
て指定する等の方法である。

【００３８】尚、例示画データとしてＲＧＢ色データを
用いた場合は、画像蓄積部２０の画像データはＨＳＶ空
間データであるので、一旦ＨＳＶ空間データに変換する
必要がある。これは、次の変換式によってＲＧＢデータ
からＨＳＶデータへ変換できる。尚、この変換方法は、
参考文献（J.D.Foley,A.VANDAM,Fundamentals of Inter
ractive Computer Graphic p.613-620）で説明されて
いる。尚、第１の実施例では、色相、彩度、明度で定義される
色知覚空間としてＨＳＶ色空間を採用したが、ＨＳＬ色
空間やＨＳＩ色空間、マンセル色空間といった他の色知
覚空間を用いることも可能であることは言うまでもな
い。

【００３９】以上説明したように、本実施例によれば以
下のような効果が得られる。即ち、画像データベースか
ら類似の画像を色情報を用いて検索する際に色情報を用
いた検索の精度を向上させて、検索者が意図する画像検
索が行ないやすくなる。

【００４０】（第２の実施例）色データの３属性の各有
効度の決定方法として、第１の記実施例のようにしきい
値Ｔv ，Ｔs を用いて有効度を求めたが、別の決定方法
として、所定のメンバシップ関数を用いて有効度を求め
ることができる。第２の実施例は、３属性の各有効度決
定部６０の別の実現例を示す。

【００４１】図７、図８はそれぞれ、明度の低さに関す
るメンバーシップ関数、彩度の低さに関するメンバーシ
ップ関数の形状の例を示す。図７で、横軸は明度値で、
縦軸は明度値に対応する所属度である。同様に、図８で
は、横軸は彩度値で、縦軸は彩度値に対応する所属度で
ある。図７の示す明度の低さに関するメンバーシップ関
数は、低明度であることを示すメンバーシップ関数１０
１と低明度でないことを示すメンバーシップ関数１００
の２つで表現される。また、図８の彩度を表現するメン
バーシップ関数は低彩度であることを示すメンバーシッ
プ関数１０３と低彩度でないことを示すメンバーシップ
関数１０２の２つで表現される。以後、メンバシップ関
数１０１、１００をそれぞれ、Ｍlv(i),Ｍhv(i) とす
る。ここで、iは明度である。また、Ｍlv(i),Ｍhv(i)は
それぞれ、明度iに関する所属度である。同様に、メン
バシップ関数１０３、１０２をそれぞれ、Ｍls(j),Ｍhs
(j)とする。ここで、jは彩度である。また、Ｍls(j),Ｍ
hs(j)はそれぞれ、彩度jに関する所属度である。

【００４２】以下、図９〜図１０のフローチャートを参
照して、は色データの３属性の各有効度を決定する処理
内容を説明する。ここでは、ＨＳＶ色空間を用いて表わ
される例示画の色データＸ（Ｈ1，Ｓ1，Ｖ1）の有効度
Ｒh ，Ｒs ，Ｒv をメンバシップ関数を用いて求める。
以下、各ステップごとの処理を説明する。

【００４３】ステップＳ４０では、図２のステップＳ２
で抽出された例示画色情報（Ｈ1 ，Ｓ1 ，Ｖ1 ）を例示
画入力部３０から、制御部８０を介して３属性の各有効
度決定部６０に読み込む。

【００４４】ステップＳ４１では、図７に示すメンバシ
ップ関数１０１、１００を用いて、明度Ｖ1に対するそ
れぞれの所属度Ｍlv(Ｖ1)、Ｍhv(Ｖ1)を求める。

【００４５】ステップＳ４２では、図８に示すメンバシ
ップ関数１０３、１０２を用いて、彩度Ｓ1に対するそ
れぞれの所属度Ｍls(Ｓ1)、Ｍhs(Ｓ1)を求める。

【００４６】ステップＳ４３では、ステップＳ４１、Ｓ
４２で求められた各々の所属度を用いて、色データＸの
３つのケース、即ち、case1 （明度Ｖが低い）、case2
(明度Ｖが高く、かつ、彩度Ｓが低い）、case3(明度Ｖ
が高く、かつ、彩度Ｓが高い）へのそれぞれの所属度Ｃ
1(x),Ｃ2(x),Ｃ3(x) を求める。Ｃl(x),Ｃ2(x),Ｃ3(x)
は次式を用いて求める。

【００４７】Ｃl(Ｘ)=Ｍlv(Ｖ1), Ｃ2(Ｘ)=min(Ｍhv(Ｖ1),Ｍls(Ｓ1)), Ｃ3(Ｘ)=min(Ｍhv(Ｖ1),Ｍhs(Ｓ1)) ステップＳ４４では、図９のＳ４４に示すマトリクス計
算をすることで３属性の有効度Ｒh ，Ｒs ，Ｒv を求め
る。

【００４８】ステップＳ４５では、これら３つの値の正
規化し、正規化有効度ＲH，ＲS ，ＲVを得る。尚、正規
化は、次式を計算することによって求める。ＲH＝Ｒh／（Ｒh＋Ｒs＋Ｒv）ＲS＝Ｒs／（Ｒh＋Ｒs＋Ｒv）ＲV＝Ｒv／（Ｒh＋Ｒs＋Ｒv）

【００４９】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００５０】以上説明したように、本実施例によれば以
下のような効果が得られる。即ち、画像色成分の各有効
度を、メンバーシップ関数を用いて求めることにより、
さらに、精度の良い画像色成分の有効度を求めることが
でき、そのことにより、高精度の画像検索を行うことが
できる。

【００５１】

【発明の効果】以上説明したように本発明によれば、画
像データベースから、画像を検索する際に、色情報を用
いた検索の精度を向上させことができる。

【００５２】

【図面の簡単な説明】

【図１】第１、第２の実施例である画像検索装置のブロ
ック構成図である。

【図２】検索処理のフローチャートである。

【図３】例示画作成の手順を示すフローチャートであ
る。

【図４】例示画作成時の色指定を行うための表示画面の
構成を示す図である。

【図５】類似度を求める処理を示すフローチャートであ
る。

【図６】色データの３属性の各有効度の計算処理示すフ
ローチャートである。

【図７】明度に関するメンバシップ関数の形状を示す図
である。

【図８】彩度に関するメンバシップ関数の形状を示す図
である。

【図９】メンバシップ関数を用いた有効度の計算処理示
すフローチャートである。

【図１０】メンバシップ関数を用いた有効度の計算処理
示すフローチャートである。

【符号の説明】

１０蓄積画像データ入力部２０画像蓄積部３０例示画入力部３１ポインテイング入力デバイス４０蓄積画像データ色情報抽出部５０例示画色情報抽出部６０３属性の各有効度決定部７０候補画像決定部８０制御部９０表示部

Claims

【特許請求の範囲】

【請求項１】画像データベースから色情報を用いて画
像を検索する方法であって、色情報を含む例示画を生成する生成工程と、前記例示画の色情報から色情報の有効度を計算する有効
度計算工程と、前記色情報の有効度を用いて、前記色情報を含む例示画
と画像データベースの各画像間の類似度を計算する類似
度計算工程と、前記類似度の高い順に、前記画像データベースの画像を
表示する表示工程と、を備えることを特徴とする画像検
索方法。
【請求項２】前記有効度計算工程は、例示画の色相、
彩度、明度の各データの強度の組み合わせから、前記色
相、前記彩度、前記明度の各有効度を計算することを特
徴とする請求項１に記載の画像検索方法。
【請求項３】前記有効度計算工程は、例示画の色情報
に関し、有効度を表す複数のメンバーシップ関数を用い
て計算することを特徴とする請求項１に記載の画像検索
方法。
【請求項４】画像データベースから色情報を用いて画
像を検索する検索装置であって、色情報を含む例示画を生成する生成手段と、前記例示画の色情報から色情報の有効度を計算する有効
度計算手段と、前記色情報の有効度を用いて、前記色情報を含む例示画
と画像データベースの各画像間の類似度を計算する類似
度計算手段と、前記類似度の高い順に、前記画像データベースの画像を
表示する表示手段と、を備えることを特徴とする画像検
索装置。
【請求項５】前記有効度計算手段は、例示画の色相、
彩度、明度の各データの強度の組み合わせから、前記色
相、前記彩度、前記明度の各有効度を計算することを特
徴とする請求項４に記載の画像検索装置。
【請求項６】前記有効度計算手段は、例示画の色情報
に関し、所属度を表す複数のメンバーシップ関数を用い
て計算することを特徴とする請求項４に記載の画像検索
装置。