JPH11353319A

JPH11353319A - 画像検索方法

Info

Publication number: JPH11353319A
Application number: JP10158816A
Authority: JP
Inventors: Rie Kobayashi; り恵小林; Kazumasa Iwasaki; 一正岩崎; Shigeru Matsuzawa; 茂松澤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-06-08
Filing date: 1998-06-08
Publication date: 1999-12-24

Abstract

(57)【要約】【課題】検索者が種画像を指定し、その画像に類似する
画像を検索するシステムでは、種画像候補として与えら
れた画像の部分画像しか、取得したい画像と「似てい
る」と感じられるものがないような場合に、この部分を
種画像として、検索対象画像から希望する画像を抽出す
る手段がない。このため、取得したい画像に辿り着くた
めには、何度も検索を行なわなければならない場合があ
る。【解決手段】検索者によって指定された部分画像を種画
像として画像特徴量検索が行なえる手段、また、指定し
た画像をテクスチャ成分とする画像を種画像として画像
特徴量検索が行なえる手段、を提供することで、取得し
たい画像に辿り着くまでの検索回数を減らすことができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像特徴量を用い
て画像データを検索する場合の検索条件の指定方法に関
する。

【０００２】

【従来の技術】大量の画像データから、検索者が望む画
像を検索する手段として、検索者が指定した画像を元
に、それと類似した画像データを抽出する方法がある。
例えば、特開平９−２０４４４０号公報では、ランダム
に表示した画像の中から、検索者が所望する画像に近い
画像が複数選択され、選択された画像の各属性の類似度
を算出し、類似度が所定値以上の属性を注目属性と判定
し、検索対象画像に対して、各選択画像との類似度を計
算し、注目属性に対しては重み付けを行ない、類似度の
合計が所定の閾値を超える場合は候補画像として表示
し、さらに、表示された画像に対して上記の処理を繰り
返すことで絞り込んでいく方法が提案されている。

【０００３】ここで、検索者が希望する画像に「似てい
る」画像が予め表示された画像の中に存在しない場合、
検索が行き詰まってしまうため、これを解決するため
に、特開平８−２４９３５３号公報では、特徴の異なる
２つ以上の例示画の中から、希望する画像と類似する画
像、類似しない画像を１若しくは２以上指定させ、類似
／非類似の指定を元に、検索条件を算出し、検索対象画
像から検索条件に一致するデータを検索し、表示し、さ
らに、表示された画像に対して上記の処理を繰り返すこ
とで絞り込んでいく方法が提案されている。

【０００４】また、予め表示された画像の部分範囲を指
定してその範囲と「似ている」部分を持つ画像を検索す
るために、特開平８−２６３５２２号公報では、検索者
に、任意の画像の部分範囲（テンプレート画像）とマッ
チング手法を指定させ、各検索対象データの画像領域内
で、テンプレート画像を順次移動させながら、マッチン
グ関数を検出し、所定の閾値の値を超える場合は候補画
像とする方法が提案されている。

【０００５】

【発明が解決しようとする課題】このように、任意の画
像（以後、「種画像」と呼ぶ）の画像特徴量を用いた検
索方法では、表示されている画像の部分画像が、検索者
が望む画像に「似ている」場合の指定手段がない、とい
う問題がある。前記の３番目の公知例が提案している方
法を用いれば、部分画像を種画像として、その種画像に
「似ている」部分を持つ画像を検索することは可能であ
るが、その部分画像が全体に似ている場合、すなわち、
部分画像を全体に拡大したような画像が取得したい場合
の指定方法がない。また、ある画像が全体に敷き詰めら
れたような画像、すなわち、一つの画像を縦横に複数個
並べたような画像を検索する場合は、前記の方法では大
変に時間がかかってしまう、という問題がある。

【０００６】本発明の目的は、このような、表示された
画像の部分画像しか、取得したい画像と「似ている」と
感じられるものがないような場合に、この部分画像を種
画像として、検索対象画像から希望する画像を検索する
手段を提供すること、ある画像が全体に敷き詰められた
ような画像を効率よく検索する手段を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記の第一の目的を達成
するために、検索者によって指定された部分画像を、使
用する画像特徴量算出アルゴリズムが特徴量を算出でき
るデータサイズ内に収まるように拡大・縮小し、その画
像データを種画像として、画像特徴量を用いて検索する
手段を提供する。また、第二の目的を達成するために、
検索者によって指定された画像と、その画像をどのよう
に並べるかの指定から、画像を全体に敷き詰めたような
画像を作成し、使用する画像特徴量算出アルゴリズムが
特徴量を算出できるデータサイズ内に収まるように拡大
・縮小し、その画像データを種画像として画像特徴量を
用いて検索する手段を提供する。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を、図
を参照して説明する。

【０００９】図１に、本発明システムの全体構成を示
す。図１に示すシステムは、本発明により提供されるツ
ールが格納される画像検索サーバ１、ネットワーク経由
で画像検索サーバにアクセスするクライアント２、検索
対象画像のデータが格納されている画像データサーバ１
３、からなる。

【００１０】画像検索サーバ１は、検索者が表示された
画像をもとに種画像や検索パラメータを指定するための
画面を生成する。初期画面生成部３、検索者が指定した
データから種画像を作成する。種画像生成部４、作成し
た種画像５、作成した種画像の画像特徴量を計算する。
特徴量取得部６、計算した種画像の特徴量７、種画像の
特徴量７と検索対象データの特徴量９との類似度を順次
計算する。類似度計算部８、計算した類似度を値の高い
順に並べた類似度データ１０、類似度データ１０の一定
数に対応する実データを画像データ１１から取り出して
表示する。データ表示部１２、から成る。

【００１１】画像データサーバ１３は、検索対象画像の
特徴量が格納されている画像特徴量ファイル９、検索対
象画像の実データが格納されている画像データファイル
１１、から成る。

【００１２】クライアント２は、検索者がクライアント
プログラムを使用して入力した条件を、画像検索サーバ
１に渡して検索を実行し、結果を受け取って画面に表示
する。まず、クライアントプログラムを起動し、サーバ
名を指定して、画像検索サーバ１にアクセスし、初期画
面生成部３を起動する。初期画面生成部３では、クライ
アント用の初期画面を生成してクライアント２に表示す
る。クライアント２に表示された画面では、検索者によ
って指定された検索条件をパラメタとして、種画像生成
部４を起動する。

【００１３】種画像生成部４では、指定された画像デー
タと、部分画像の指定位置、画像を全体に敷き詰めるか
どうかの指定（以後、テクスチャ指定と呼ぶ）、等のパ
ラメタから、画像特徴量算出アルゴリズムが特徴量算出
可能なデータサイズの種画像データを作成して、種画像
５に格納し、特徴量取得部６を起動する。

【００１４】特徴量取得部６では、種画像５の特徴量を
算出して、種画像特徴量７に格納し、類似度計算部８を
起動する。類似度計算部８は、画像データサーバ１３の
画像特徴量ファイル９のデータと、種画像特徴量７との
類似度を算出して、値の高い順に類似度データ１０に格
納し、データ表示部１２を起動する。データ表示部１２
は、類似度データ１０の内容に対応する画像の実データ
を、画像データサーバ１３の画像データファイル１１か
ら取り出して、クライアント２に表示する。

【００１５】さらに、クライアント２からは、表示され
た検索結果の次の結果を表示させるために、データ表示
部１２が起動され、データ表示部１２は、表示してある
データの次の類似度データ１０の内容に対応する画像の
実データを、画像データサーバ１３の画像データファイ
ル１１から取り出して、クライアント２に表示する。

【００１６】このようにして、クライアント２から渡さ
れたデータをもとに、画像検索サーバ１で種画像を作成
することで、表示された画像の部分画像しか、取得した
い画像と「似ている」と感じられるものがないような場
合に、この部分画像を種画像として、検索対象画像から
希望する画像を取得することができる。

【００１７】図２は、本システムのハードウェア構成で
ある。本システムは、クライアント２１、画像検索サー
バ２５、画像データサーバ２６、の３つの計算機システ
ムから成る。各マシンは、ネットワーク２４を介して互
いに結合されている。各マシンは、ＣＰＵ２６１，２６
２，２６３、メモリ２７１，２７２，２７３、および、
ネットワークコントローラ２８１，２８２，２８３から
成る。クライアント２１は、画面表示のためのモニタ等
の表示装置２２と条件指定を行なうキーボード、マウス
等の入力装置２３を持つ。また、画像データサーバ２６
は、２次記憶装置２７を持つ。この構成で、クライアン
ト２１は、画像検索サーバ２５にアクセスし、画像検索
サーバ２５は、画像データサーバ２６にアクセスする。

【００１８】図３に、初期画面生成部３が生成し、検索
者によって検索条件が入力される、クライアントの画面
を示す。画面は、種画像指定のための何個かの画像３
１、種画像を指定するラジオボタン３２、色と形の類似
の割合を指定するためのスライダーバー３４、テクスチ
ャ指定をするチェックボックス３５、画像を敷き詰める
場合の縦横の数の比率を指定する入力領域３６，３７、
縦横比率の個数で述べた場合に対して面積比での倍率を
指定する入力領域３８、検索を実行するための検索ボタ
ン３９、から成る。検索条件は、検索者によって、次の
手順で指定される。

【００１９】まず、種画像としたい画像をチェックする
３２。部分画像を指定する場合には、チェックした画像
の指定したい範囲をマウスで選択する３３。色の類似と
形の類似のどちらを重視するかをスライダーバー３４で
指定する。右に行くほど、色を重視し、左に行くほど形
を重視し、真ん中の場合は、均等に評価する。指定画像
をテクスチャ成分とする種画像を作成する場合は、テク
スチャ指定をチェックし３５、並べる画像の縦横比を指
定する３６１，３６２。さらに、全体の大きさの面積比
での倍率３７、または、縦横の倍率３８１，３８２を指
定して、全体への敷詰めの密度を指定する。これらの条
件を指定したら、検索ボタン３９を押下する。検索者に
よる、この一連の操作により、指定された検索条件をパ
ラメタとして検索が開始される。

【００２０】図４に、種画像生成部４の詳細を示す。種
画像生成部４では、パラメタの取得４１、部分画像が指
定された場合の指定画像の抽出４３、テクスチャ指定の
ある場合のテクスチャデータの作成４５、画像特徴量算
出アルゴリズムに対応したデータサイズへの拡大４７・
縮小４９、の処理を行なう。図３で検索ボタン３８が押
下されると、図３で指定した値をパラメタとして、種画
像生成部４が起動される。まず、指定された画像デー
タ、色・形の重み、部分指定の開始・終了位置、テクス
チャの縦横比、面積の倍率、縦横の倍率のパラメタを取
得し、記憶する４１。次に、部分指定の開始位置、終了
位置が共に（０，０）だったら、部分指定なしとみなす
４２。部分指定ありの場合は、パラメタとして渡された
指定画像データの開始位置・終了位置で囲まれた範囲を
取り出して指定画像データに再設定する４３。

【００２１】次に、テクスチャの縦横比が（０，０）だ
ったら、テクスチャ指定なしとみなす４４。テクスチャ
指定ありの場合は、縦横比、倍率にしたがって、指定画
像データを並べたデータを作成し、指定画像データに再
設定する４５。倍率は、面積比、縦横比の両方が設定さ
れていたら、面積比を優先する。さらに、作成した画像
データのサイズが、画像特徴量算出アルゴリズムで特徴
量を算出可能な最小サイズより小さい場合は４６、算出
可能な最小データサイズに拡大する４７。また、作成し
た画像データのサイズが、画像特徴量算出アルゴリズム
で特徴量を算出可能な最大サイズより大きい場合は４
８、算出可能な最大データサイズに縮小する４９。この
場合の拡大・縮小の方法は、補完や間引きなどの一版的
な画像データの拡大・縮小手段を用いる。

【００２２】この処理によって、表示された画像の部分
画像しか、取得したい画像と「似ている」と感じられる
ものがないような場合に、部分画像を種画像とすること
ができ、さらに、種画像をテクスチャの構成要素とする
ような画像を検索したい場合の種画像を作成することが
できる。

【００２３】図５に図４で作成した種画像の例を示す。
指定画像５１、画像５１の部分画像５３、テクスチャ指
定なしの場合の種画像５４、テクスチャ指定ありの場合
の種画像５５，５６，５７である。指定画像５１の部分
画像の開始位置・終了位置５２、から図４のステップ４
３によって、部分画像５３が抽出される。部分画像５３
に対する種画像は、テクスチャ指定なしの場合は、画像
特徴量算出可能サイズに拡大され、種画像となる５４。
テクスチャ指定ありの場合は、図４のステップ４５によ
って、縦横比２：４、面積倍率１の場合は、部分画像５
３を縦に２つ横に４つ並べた画像データが作成され、種
画像となる５５。縦横比２：４、面積倍率４の場合は、
部分画像５３を縦に２つ横に４つ並べた画像データの面
積で４倍（縦横に２倍）の画像データが作成され、画像
特徴量算出可能サイズに縮小され、種画像となる５６。
縦横比２：４、縦５倍、横３倍、の場合は、部分画像５
３を縦に２つ横に４つ並べた画像データの縦に５倍、横
に３倍の画像データが作成され、画像特徴量算出可能サ
イズに縮小され、種画像となる５７。

【００２４】次に、画像特徴量について説明する。図１
の特徴量取得部６では、種画像５の画像特徴量を計算し
て、種画像特徴量７を取得する。画像特徴量の例として
は、色特徴量と微分方向特徴量の二つの画像特徴量を持
つ方法がある。ここで述べる画像特徴量は、以下に説明
する２つの特徴量を記憶したものである。

【００２５】図６（ａ），（ｂ）に、色特徴量の例を示
す。色特徴量は、一つの領域に対して色情報を階調分け
して作られたヒストグラムの集まりである。画像データ
の構図を判定するために画像を分割してそれぞれの領域
でヒストグラムを作成する。ヒストグラムは、ＲＧＢの
各色成分について、一つの領域に含まれる個々のピクセ
ルを１度数とし、該当する階調に振り分け作成する。図
６（ａ）の「１６分割した画像例」のように、特徴量を
抽出する画像を複数の領域に分割する。この分割した部
分の特徴量を比較することで構図を判定することができ
る。図６（ｂ）の「Ａ領域に対する１６階調のヒストグ
ラム例」は、１６分割した領域のＡ領域６１の範囲に含
まれる個々のピクセルを１度数とし、１６階調のうちの
該当する階調に振り分けて作成したヒストグラムの例で
ある。これにより、画面の色成分の分布がわかる。ま
た、画面を分割し分割画面単位に色特徴量を求めること
により、色分布による部分構造がわかる。

【００２６】図７（ａ），（ｂ）に、微分特徴量の例を
示す。微分特徴量は、一つの領域に対して色情報の輝度
情報を微分することにより方向を求め、それを階調分け
して作られたヒストグラムの集まりである。画像データ
の構図を判定するために画像を分割してそれぞれの領域
でヒストグラムを作成する。方向（θ）を求める式は、

【００２７】

【数１】θ＝arctan(fy/fx) f:輝度画像である。

【００２８】図７（ａ）の「１６分割した画像例」のよ
うに、特徴量を抽出する画像を複数の領域に分割する。
この分割した部分の特徴量を比較することで構図を判定
することができる。図７（ｂ）の「Ａ領域に対する８階
調のヒストグラム例」は、１６分割した領域のＡ領域７
１の範囲で上記のθを算出し、８階調のうちの該当する
階調に振り分けて作成したヒストグラムの例である。こ
れにより、画面の輝度の方向の分布がわかり、質感や輪
郭がわかる。また、画面を分割した分割画面単位に微分
特徴量を求めることにより、輝度の方向の部分構造がわ
かる。

【００２９】図１の特徴量取得部６では、種画像に対し
て上記の２つの特徴量を計算し、両方を種画像特徴量７
に記憶する。また、画像特徴量ファイル９は、全検索対
象画像について同様に計算し、結果を格納したものであ
る。

【００３０】図８に、類似度計算部８の詳細を示す。類
似度計算部８では、全検索対象画像の画像特徴量である
画像特徴量ファイル９の全データと種画像特徴量７との
類似度の計算８３を行ない、類似度の高い順にその値、
および対応する検索対象データの実データのファイル名
を、類似度データ１０に格納する８６。まず、カウンタ
に０を設定し８１、カウンタが検索対象画像数より小さ
い間８２、カウンタ番目の検索対象画像の画像特徴量と
種画像特徴量との類似度を図４のステップ４１で取得し
た、色と形の重み付けの値を加味して計算し、テンポラ
リに記憶して８３、カウンタを１つ上げる８４。次に、
記憶したデータを、類似度の高い順に並べ替え８５、そ
の順番に、類似度と、対応する画像データのファイル名
称を、類似度データ１０に格納する８６。これにより、
検索対象画像と種画像との類似の順に画像データファイ
ルを取り出すことができるようになる。

【００３１】図９に、類似度の計算の例を示す。類似度
の計算の例としては、前記の各ヒストグラムの度数の差
を２乗後加算して求める方法がある。これは、以下の式
で求める。

【００３２】

【数２】類似度＝Σ（Ｘ１−Ｘ２）２×色の重み係数＋
Σ（Ｙ１−Ｙ２）２×微分方向の重み係数０＜重み係数＜１００Ｘ１：種画像の色ヒストグラムの各階調の度数Ｘ２：検索対象画像の色ヒストグラムの各階調の度数Ｙ１：種画像の微分方向ヒストグラムの各階調の度数Ｙ２：検索対象画像の微分方向ヒストグラムの各階調の
度数ここで、重み係数とは、色と微分方向をどのくらいの比
率で組み合わせるかを意味する。

【００３３】図９では、種画像と検索対象画像のうちの
一つの画像との類似度の計算の例を示している。「種画
像のヒストグラム例」は、種画像のヒストグラムであ
り、「検索対象画像のヒストグラム例」は、検索対象画
像のうちのある一つの画像のヒストグラムである。この
二つのヒストグラムの差分を求めたものが「差分のヒス
トグラム」である。この差分の各階調を二乗したヒスト
グラムが「２乗したヒストグラム」である。

【００３４】この２乗したヒストグラムから、上記の式
を用いて、類似度を計算する。図８のステップ８３の類
似度は、上記の式で計算し、ステップ８３の「色の重み
付け」の値が上記の「色の重み係数」に相当し、ステッ
プ８３の「形の重み付け」の値が上記の「微分方向の重
み係数」に相当する。このようにして、色、形、のどち
らを重視するかの重みをつけて、類似度を計算すること
ができる。

【００３５】図１０に、類似度計算部８で算出された類
似度を記憶する類似度データ１０のデータ形式を示す。
類似度データ１０は、全検索対象画像数であるｎ個の要
素を持つ配列データdata１０１であり、各配列要素data
［ｉ］は、要素数２の配列データへのポインタとなって
いる。図８のステップ８６において、類似度の値の高い
順に、data［ｉ］のポイント先の配列データの第１要素
similarity１０２には、図８のステップ８３で算出し
た、類似度が格納され、配列の第２要素file１０３に
は、この類似度を算出した検索対象画像の画像データの
ファイル名称が格納される。これにより、類似度の順に
類似度および画像データを抽出することができる。

【００３６】図１１に、データ表示部１０が表示するク
ライアント画面を示す。画面には、検索結果である一定
数の画像１１１と、検索の種画像１１２、表示されてい
ない検索結果画像のうち、表示画像より後ろの画像の表
示を指示するボタン１１４、表示画像より前の画像の表
示を指示するボタン１１３、が表示される。ただし、最
初の検索結果画面では、ボタン１１３は表示されない。
検索結果の画像１１１は、表示データ類似度計算部８で
抽出された、類似度データ１０のデータを上から順に一
定数表示している。ここで、次の画像データ表示ボタン
１１４が押下されると、表示中の最初の画像の番号と
「次」を示す値をパラメタとして、データ表示部１２が
起動され、検索結果の次の一定数の画像が表示される。
２ページめ以降は、前の画像データの表示を指示するボ
タン１１３も表示される。このようにして、検索結果の
画像を次々表示することができる。

【００３７】図１２に、データ表示部１２の詳細を示
す。ここでは、類似度データ１０の指定されたデータを
表示する処理を行なう。まずパラメタとして、最初の画
像の番号と、「前」か「次」かの指示が渡される１２
１。最初に起動する時は、最初の画像の番号は０とし、
この時は、「前」か「次」かのチェックはしない１２
２。次に、「前」か「次」かをチェックし１２３、
「前」の場合は、画像番号から表示画像数をマイナスし
た値を次に表示する画像の番号とする１２４。

【００３８】「次」の場合は、画像番号に表示画像数を
プラスした値を次に表示する画像の番号とする１２５。
表示画像番号が０以下の時は１２６、１を設定する１２
７。次に、表示画像番号から、表示画像数分のデータを
類似度データ１０から取り出し１２８、そのデータが示
す実データを画像データファイル１１から取り出して１
２９、種画像とともに、画面に表示する１３０。これに
より、検索結果の画像を前後に次々に表示できる。

【００３９】

【発明の効果】以上述べたように、本発明によれば、種
画像候補として与えられた画像の部分画像しか、取得し
たい画像と「似ている」と感じられるものがないような
場合に、この部分を種画像として、検索対象画像から希
望する画像を抽出することができる、また、この部分画
像または画像全体をテクスチャ成分とする画像を作成し
て種画像とすることができ、取得したい画像に辿り着く
ための検索回数を減らすことができる。

【図面の簡単な説明】

【図１】本発明の画像検索システムの全体構成図。

【図２】図１を実現するためのマシン構成を示す図。

【図３】クライアントの検索画面を示す図。

【図４】種画像生成部のフローチャート。

【図５】種画像生成例を示す図。

【図６】（ａ）及び（ｂ）は色特徴量の例を示す１６分
割した画像図及び（ａ）の階調ヒストグラム図。

【図７】（ａ）及び（ｂ）は微分特徴量の例を示す１６
分割した画像図及び（ａ）の階調ヒストグラム図。

【図８】類似度計算部のフローチャート。

【図９】類似度の例を示すヒストグラム図。

【図１０】類似度データのデータ形式を示す図。

【図１１】クライアントの検索結果画面を示す図。

【図１２】データ表示部のフローチャート。

【符号の説明】

１…画像検索サーバ、２…クライアント、３…初期画面
生成部、４…種画像生成部。

Claims

【特許請求の範囲】

【請求項１】検索者によって指定された、部分または全
域の画像から算出した画像特徴量と、検索対象画像の画
像特徴量との、類似を用いて画像を検索するシステムに
おいて、検索者によって指定された画像を特徴量算出可
能な画像データに加工し、画像特徴量を算出することを
特徴とする画像検索方法。
【請求項２】請求項１記載の画像検索方法において、検
索者によって指定された画像データを、画像特徴量算出
アルゴリズムが特徴量算出可能な最小サイズに拡大、ま
たは、最大サイズに縮小することを特徴とする画像検索
方法。
【請求項３】請求項１記載の画像検索方法において、検
索者によって指定された画像データを、検索者の指定に
従って、縦横に複数個並べた画像データを作成し、画像
特徴量算出アルゴリズムが特徴量算出可能な最小サイズ
に拡大、または、最大サイズに縮小することを特徴とす
る画像検索方法。