JPH11353319A - 画像検索方法 - Google Patents
画像検索方法Info
- Publication number
- JPH11353319A JPH11353319A JP10158816A JP15881698A JPH11353319A JP H11353319 A JPH11353319 A JP H11353319A JP 10158816 A JP10158816 A JP 10158816A JP 15881698 A JP15881698 A JP 15881698A JP H11353319 A JPH11353319 A JP H11353319A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- seed
- similarity
- feature quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】検索者が種画像を指定し、その画像に類似する
画像を検索するシステムでは、種画像候補として与えら
れた画像の部分画像しか、取得したい画像と「似てい
る」と感じられるものがないような場合に、この部分を
種画像として、検索対象画像から希望する画像を抽出す
る手段がない。このため、取得したい画像に辿り着くた
めには、何度も検索を行なわなければならない場合があ
る。 【解決手段】検索者によって指定された部分画像を種画
像として画像特徴量検索が行なえる手段、また、指定し
た画像をテクスチャ成分とする画像を種画像として画像
特徴量検索が行なえる手段、を提供することで、取得し
たい画像に辿り着くまでの検索回数を減らすことができ
る。
画像を検索するシステムでは、種画像候補として与えら
れた画像の部分画像しか、取得したい画像と「似てい
る」と感じられるものがないような場合に、この部分を
種画像として、検索対象画像から希望する画像を抽出す
る手段がない。このため、取得したい画像に辿り着くた
めには、何度も検索を行なわなければならない場合があ
る。 【解決手段】検索者によって指定された部分画像を種画
像として画像特徴量検索が行なえる手段、また、指定し
た画像をテクスチャ成分とする画像を種画像として画像
特徴量検索が行なえる手段、を提供することで、取得し
たい画像に辿り着くまでの検索回数を減らすことができ
る。
Description
【0001】
【発明の属する技術分野】本発明は、画像特徴量を用い
て画像データを検索する場合の検索条件の指定方法に関
する。
て画像データを検索する場合の検索条件の指定方法に関
する。
【0002】
【従来の技術】大量の画像データから、検索者が望む画
像を検索する手段として、検索者が指定した画像を元
に、それと類似した画像データを抽出する方法がある。
例えば、特開平9−204440号公報では、ランダム
に表示した画像の中から、検索者が所望する画像に近い
画像が複数選択され、選択された画像の各属性の類似度
を算出し、類似度が所定値以上の属性を注目属性と判定
し、検索対象画像に対して、各選択画像との類似度を計
算し、注目属性に対しては重み付けを行ない、類似度の
合計が所定の閾値を超える場合は候補画像として表示
し、さらに、表示された画像に対して上記の処理を繰り
返すことで絞り込んでいく方法が提案されている。
像を検索する手段として、検索者が指定した画像を元
に、それと類似した画像データを抽出する方法がある。
例えば、特開平9−204440号公報では、ランダム
に表示した画像の中から、検索者が所望する画像に近い
画像が複数選択され、選択された画像の各属性の類似度
を算出し、類似度が所定値以上の属性を注目属性と判定
し、検索対象画像に対して、各選択画像との類似度を計
算し、注目属性に対しては重み付けを行ない、類似度の
合計が所定の閾値を超える場合は候補画像として表示
し、さらに、表示された画像に対して上記の処理を繰り
返すことで絞り込んでいく方法が提案されている。
【0003】ここで、検索者が希望する画像に「似てい
る」画像が予め表示された画像の中に存在しない場合、
検索が行き詰まってしまうため、これを解決するため
に、特開平8−249353号公報では、特徴の異なる
2つ以上の例示画の中から、希望する画像と類似する画
像、類似しない画像を1若しくは2以上指定させ、類似
/非類似の指定を元に、検索条件を算出し、検索対象画
像から検索条件に一致するデータを検索し、表示し、さ
らに、表示された画像に対して上記の処理を繰り返すこ
とで絞り込んでいく方法が提案されている。
る」画像が予め表示された画像の中に存在しない場合、
検索が行き詰まってしまうため、これを解決するため
に、特開平8−249353号公報では、特徴の異なる
2つ以上の例示画の中から、希望する画像と類似する画
像、類似しない画像を1若しくは2以上指定させ、類似
/非類似の指定を元に、検索条件を算出し、検索対象画
像から検索条件に一致するデータを検索し、表示し、さ
らに、表示された画像に対して上記の処理を繰り返すこ
とで絞り込んでいく方法が提案されている。
【0004】また、予め表示された画像の部分範囲を指
定してその範囲と「似ている」部分を持つ画像を検索す
るために、特開平8−263522号公報では、検索者
に、任意の画像の部分範囲(テンプレート画像)とマッ
チング手法を指定させ、各検索対象データの画像領域内
で、テンプレート画像を順次移動させながら、マッチン
グ関数を検出し、所定の閾値の値を超える場合は候補画
像とする方法が提案されている。
定してその範囲と「似ている」部分を持つ画像を検索す
るために、特開平8−263522号公報では、検索者
に、任意の画像の部分範囲(テンプレート画像)とマッ
チング手法を指定させ、各検索対象データの画像領域内
で、テンプレート画像を順次移動させながら、マッチン
グ関数を検出し、所定の閾値の値を超える場合は候補画
像とする方法が提案されている。
【0005】
【発明が解決しようとする課題】このように、任意の画
像(以後、「種画像」と呼ぶ)の画像特徴量を用いた検
索方法では、表示されている画像の部分画像が、検索者
が望む画像に「似ている」場合の指定手段がない、とい
う問題がある。前記の3番目の公知例が提案している方
法を用いれば、部分画像を種画像として、その種画像に
「似ている」部分を持つ画像を検索することは可能であ
るが、その部分画像が全体に似ている場合、すなわち、
部分画像を全体に拡大したような画像が取得したい場合
の指定方法がない。また、ある画像が全体に敷き詰めら
れたような画像、すなわち、一つの画像を縦横に複数個
並べたような画像を検索する場合は、前記の方法では大
変に時間がかかってしまう、という問題がある。
像(以後、「種画像」と呼ぶ)の画像特徴量を用いた検
索方法では、表示されている画像の部分画像が、検索者
が望む画像に「似ている」場合の指定手段がない、とい
う問題がある。前記の3番目の公知例が提案している方
法を用いれば、部分画像を種画像として、その種画像に
「似ている」部分を持つ画像を検索することは可能であ
るが、その部分画像が全体に似ている場合、すなわち、
部分画像を全体に拡大したような画像が取得したい場合
の指定方法がない。また、ある画像が全体に敷き詰めら
れたような画像、すなわち、一つの画像を縦横に複数個
並べたような画像を検索する場合は、前記の方法では大
変に時間がかかってしまう、という問題がある。
【0006】本発明の目的は、このような、表示された
画像の部分画像しか、取得したい画像と「似ている」と
感じられるものがないような場合に、この部分画像を種
画像として、検索対象画像から希望する画像を検索する
手段を提供すること、ある画像が全体に敷き詰められた
ような画像を効率よく検索する手段を提供することにあ
る。
画像の部分画像しか、取得したい画像と「似ている」と
感じられるものがないような場合に、この部分画像を種
画像として、検索対象画像から希望する画像を検索する
手段を提供すること、ある画像が全体に敷き詰められた
ような画像を効率よく検索する手段を提供することにあ
る。
【0007】
【課題を解決するための手段】上記の第一の目的を達成
するために、検索者によって指定された部分画像を、使
用する画像特徴量算出アルゴリズムが特徴量を算出でき
るデータサイズ内に収まるように拡大・縮小し、その画
像データを種画像として、画像特徴量を用いて検索する
手段を提供する。また、第二の目的を達成するために、
検索者によって指定された画像と、その画像をどのよう
に並べるかの指定から、画像を全体に敷き詰めたような
画像を作成し、使用する画像特徴量算出アルゴリズムが
特徴量を算出できるデータサイズ内に収まるように拡大
・縮小し、その画像データを種画像として画像特徴量を
用いて検索する手段を提供する。
するために、検索者によって指定された部分画像を、使
用する画像特徴量算出アルゴリズムが特徴量を算出でき
るデータサイズ内に収まるように拡大・縮小し、その画
像データを種画像として、画像特徴量を用いて検索する
手段を提供する。また、第二の目的を達成するために、
検索者によって指定された画像と、その画像をどのよう
に並べるかの指定から、画像を全体に敷き詰めたような
画像を作成し、使用する画像特徴量算出アルゴリズムが
特徴量を算出できるデータサイズ内に収まるように拡大
・縮小し、その画像データを種画像として画像特徴量を
用いて検索する手段を提供する。
【0008】
【発明の実施の形態】以下、本発明の実施の形態を、図
を参照して説明する。
を参照して説明する。
【0009】図1に、本発明システムの全体構成を示
す。図1に示すシステムは、本発明により提供されるツ
ールが格納される画像検索サーバ1、ネットワーク経由
で画像検索サーバにアクセスするクライアント2、検索
対象画像のデータが格納されている画像データサーバ1
3、からなる。
す。図1に示すシステムは、本発明により提供されるツ
ールが格納される画像検索サーバ1、ネットワーク経由
で画像検索サーバにアクセスするクライアント2、検索
対象画像のデータが格納されている画像データサーバ1
3、からなる。
【0010】画像検索サーバ1は、検索者が表示された
画像をもとに種画像や検索パラメータを指定するための
画面を生成する。初期画面生成部3、検索者が指定した
データから種画像を作成する。種画像生成部4、作成し
た種画像5、作成した種画像の画像特徴量を計算する。
特徴量取得部6、計算した種画像の特徴量7、種画像の
特徴量7と検索対象データの特徴量9との類似度を順次
計算する。類似度計算部8、計算した類似度を値の高い
順に並べた類似度データ10、類似度データ10の一定
数に対応する実データを画像データ11から取り出して
表示する。データ表示部12、から成る。
画像をもとに種画像や検索パラメータを指定するための
画面を生成する。初期画面生成部3、検索者が指定した
データから種画像を作成する。種画像生成部4、作成し
た種画像5、作成した種画像の画像特徴量を計算する。
特徴量取得部6、計算した種画像の特徴量7、種画像の
特徴量7と検索対象データの特徴量9との類似度を順次
計算する。類似度計算部8、計算した類似度を値の高い
順に並べた類似度データ10、類似度データ10の一定
数に対応する実データを画像データ11から取り出して
表示する。データ表示部12、から成る。
【0011】画像データサーバ13は、検索対象画像の
特徴量が格納されている画像特徴量ファイル9、検索対
象画像の実データが格納されている画像データファイル
11、から成る。
特徴量が格納されている画像特徴量ファイル9、検索対
象画像の実データが格納されている画像データファイル
11、から成る。
【0012】クライアント2は、検索者がクライアント
プログラムを使用して入力した条件を、画像検索サーバ
1に渡して検索を実行し、結果を受け取って画面に表示
する。まず、クライアントプログラムを起動し、サーバ
名を指定して、画像検索サーバ1にアクセスし、初期画
面生成部3を起動する。初期画面生成部3では、クライ
アント用の初期画面を生成してクライアント2に表示す
る。クライアント2に表示された画面では、検索者によ
って指定された検索条件をパラメタとして、種画像生成
部4を起動する。
プログラムを使用して入力した条件を、画像検索サーバ
1に渡して検索を実行し、結果を受け取って画面に表示
する。まず、クライアントプログラムを起動し、サーバ
名を指定して、画像検索サーバ1にアクセスし、初期画
面生成部3を起動する。初期画面生成部3では、クライ
アント用の初期画面を生成してクライアント2に表示す
る。クライアント2に表示された画面では、検索者によ
って指定された検索条件をパラメタとして、種画像生成
部4を起動する。
【0013】種画像生成部4では、指定された画像デー
タと、部分画像の指定位置、画像を全体に敷き詰めるか
どうかの指定(以後、テクスチャ指定と呼ぶ)、等のパ
ラメタから、画像特徴量算出アルゴリズムが特徴量算出
可能なデータサイズの種画像データを作成して、種画像
5に格納し、特徴量取得部6を起動する。
タと、部分画像の指定位置、画像を全体に敷き詰めるか
どうかの指定(以後、テクスチャ指定と呼ぶ)、等のパ
ラメタから、画像特徴量算出アルゴリズムが特徴量算出
可能なデータサイズの種画像データを作成して、種画像
5に格納し、特徴量取得部6を起動する。
【0014】特徴量取得部6では、種画像5の特徴量を
算出して、種画像特徴量7に格納し、類似度計算部8を
起動する。類似度計算部8は、画像データサーバ13の
画像特徴量ファイル9のデータと、種画像特徴量7との
類似度を算出して、値の高い順に類似度データ10に格
納し、データ表示部12を起動する。データ表示部12
は、類似度データ10の内容に対応する画像の実データ
を、画像データサーバ13の画像データファイル11か
ら取り出して、クライアント2に表示する。
算出して、種画像特徴量7に格納し、類似度計算部8を
起動する。類似度計算部8は、画像データサーバ13の
画像特徴量ファイル9のデータと、種画像特徴量7との
類似度を算出して、値の高い順に類似度データ10に格
納し、データ表示部12を起動する。データ表示部12
は、類似度データ10の内容に対応する画像の実データ
を、画像データサーバ13の画像データファイル11か
ら取り出して、クライアント2に表示する。
【0015】さらに、クライアント2からは、表示され
た検索結果の次の結果を表示させるために、データ表示
部12が起動され、データ表示部12は、表示してある
データの次の類似度データ10の内容に対応する画像の
実データを、画像データサーバ13の画像データファイ
ル11から取り出して、クライアント2に表示する。
た検索結果の次の結果を表示させるために、データ表示
部12が起動され、データ表示部12は、表示してある
データの次の類似度データ10の内容に対応する画像の
実データを、画像データサーバ13の画像データファイ
ル11から取り出して、クライアント2に表示する。
【0016】このようにして、クライアント2から渡さ
れたデータをもとに、画像検索サーバ1で種画像を作成
することで、表示された画像の部分画像しか、取得した
い画像と「似ている」と感じられるものがないような場
合に、この部分画像を種画像として、検索対象画像から
希望する画像を取得することができる。
れたデータをもとに、画像検索サーバ1で種画像を作成
することで、表示された画像の部分画像しか、取得した
い画像と「似ている」と感じられるものがないような場
合に、この部分画像を種画像として、検索対象画像から
希望する画像を取得することができる。
【0017】図2は、本システムのハードウェア構成で
ある。本システムは、クライアント21、画像検索サー
バ25、画像データサーバ26、の3つの計算機システ
ムから成る。各マシンは、ネットワーク24を介して互
いに結合されている。各マシンは、CPU261,26
2,263、メモリ271,272,273、および、
ネットワークコントローラ281,282,283から
成る。クライアント21は、画面表示のためのモニタ等
の表示装置22と条件指定を行なうキーボード、マウス
等の入力装置23を持つ。また、画像データサーバ26
は、2次記憶装置27を持つ。この構成で、クライアン
ト21は、画像検索サーバ25にアクセスし、画像検索
サーバ25は、画像データサーバ26にアクセスする。
ある。本システムは、クライアント21、画像検索サー
バ25、画像データサーバ26、の3つの計算機システ
ムから成る。各マシンは、ネットワーク24を介して互
いに結合されている。各マシンは、CPU261,26
2,263、メモリ271,272,273、および、
ネットワークコントローラ281,282,283から
成る。クライアント21は、画面表示のためのモニタ等
の表示装置22と条件指定を行なうキーボード、マウス
等の入力装置23を持つ。また、画像データサーバ26
は、2次記憶装置27を持つ。この構成で、クライアン
ト21は、画像検索サーバ25にアクセスし、画像検索
サーバ25は、画像データサーバ26にアクセスする。
【0018】図3に、初期画面生成部3が生成し、検索
者によって検索条件が入力される、クライアントの画面
を示す。画面は、種画像指定のための何個かの画像3
1、種画像を指定するラジオボタン32、色と形の類似
の割合を指定するためのスライダーバー34、テクスチ
ャ指定をするチェックボックス35、画像を敷き詰める
場合の縦横の数の比率を指定する入力領域36,37、
縦横比率の個数で述べた場合に対して面積比での倍率を
指定する入力領域38、検索を実行するための検索ボタ
ン39、から成る。検索条件は、検索者によって、次の
手順で指定される。
者によって検索条件が入力される、クライアントの画面
を示す。画面は、種画像指定のための何個かの画像3
1、種画像を指定するラジオボタン32、色と形の類似
の割合を指定するためのスライダーバー34、テクスチ
ャ指定をするチェックボックス35、画像を敷き詰める
場合の縦横の数の比率を指定する入力領域36,37、
縦横比率の個数で述べた場合に対して面積比での倍率を
指定する入力領域38、検索を実行するための検索ボタ
ン39、から成る。検索条件は、検索者によって、次の
手順で指定される。
【0019】まず、種画像としたい画像をチェックする
32。部分画像を指定する場合には、チェックした画像
の指定したい範囲をマウスで選択する33。色の類似と
形の類似のどちらを重視するかをスライダーバー34で
指定する。右に行くほど、色を重視し、左に行くほど形
を重視し、真ん中の場合は、均等に評価する。指定画像
をテクスチャ成分とする種画像を作成する場合は、テク
スチャ指定をチェックし35、並べる画像の縦横比を指
定する361,362。さらに、全体の大きさの面積比
での倍率37、または、縦横の倍率381,382を指
定して、全体への敷詰めの密度を指定する。これらの条
件を指定したら、検索ボタン39を押下する。検索者に
よる、この一連の操作により、指定された検索条件をパ
ラメタとして検索が開始される。
32。部分画像を指定する場合には、チェックした画像
の指定したい範囲をマウスで選択する33。色の類似と
形の類似のどちらを重視するかをスライダーバー34で
指定する。右に行くほど、色を重視し、左に行くほど形
を重視し、真ん中の場合は、均等に評価する。指定画像
をテクスチャ成分とする種画像を作成する場合は、テク
スチャ指定をチェックし35、並べる画像の縦横比を指
定する361,362。さらに、全体の大きさの面積比
での倍率37、または、縦横の倍率381,382を指
定して、全体への敷詰めの密度を指定する。これらの条
件を指定したら、検索ボタン39を押下する。検索者に
よる、この一連の操作により、指定された検索条件をパ
ラメタとして検索が開始される。
【0020】図4に、種画像生成部4の詳細を示す。種
画像生成部4では、パラメタの取得41、部分画像が指
定された場合の指定画像の抽出43、テクスチャ指定の
ある場合のテクスチャデータの作成45、画像特徴量算
出アルゴリズムに対応したデータサイズへの拡大47・
縮小49、の処理を行なう。図3で検索ボタン38が押
下されると、図3で指定した値をパラメタとして、種画
像生成部4が起動される。まず、指定された画像デー
タ、色・形の重み、部分指定の開始・終了位置、テクス
チャの縦横比、面積の倍率、縦横の倍率のパラメタを取
得し、記憶する41。次に、部分指定の開始位置、終了
位置が共に(0,0)だったら、部分指定なしとみなす
42。部分指定ありの場合は、パラメタとして渡された
指定画像データの開始位置・終了位置で囲まれた範囲を
取り出して指定画像データに再設定する43。
画像生成部4では、パラメタの取得41、部分画像が指
定された場合の指定画像の抽出43、テクスチャ指定の
ある場合のテクスチャデータの作成45、画像特徴量算
出アルゴリズムに対応したデータサイズへの拡大47・
縮小49、の処理を行なう。図3で検索ボタン38が押
下されると、図3で指定した値をパラメタとして、種画
像生成部4が起動される。まず、指定された画像デー
タ、色・形の重み、部分指定の開始・終了位置、テクス
チャの縦横比、面積の倍率、縦横の倍率のパラメタを取
得し、記憶する41。次に、部分指定の開始位置、終了
位置が共に(0,0)だったら、部分指定なしとみなす
42。部分指定ありの場合は、パラメタとして渡された
指定画像データの開始位置・終了位置で囲まれた範囲を
取り出して指定画像データに再設定する43。
【0021】次に、テクスチャの縦横比が(0,0)だ
ったら、テクスチャ指定なしとみなす44。テクスチャ
指定ありの場合は、縦横比、倍率にしたがって、指定画
像データを並べたデータを作成し、指定画像データに再
設定する45。倍率は、面積比、縦横比の両方が設定さ
れていたら、面積比を優先する。さらに、作成した画像
データのサイズが、画像特徴量算出アルゴリズムで特徴
量を算出可能な最小サイズより小さい場合は46、算出
可能な最小データサイズに拡大する47。また、作成し
た画像データのサイズが、画像特徴量算出アルゴリズム
で特徴量を算出可能な最大サイズより大きい場合は4
8、算出可能な最大データサイズに縮小する49。この
場合の拡大・縮小の方法は、補完や間引きなどの一版的
な画像データの拡大・縮小手段を用いる。
ったら、テクスチャ指定なしとみなす44。テクスチャ
指定ありの場合は、縦横比、倍率にしたがって、指定画
像データを並べたデータを作成し、指定画像データに再
設定する45。倍率は、面積比、縦横比の両方が設定さ
れていたら、面積比を優先する。さらに、作成した画像
データのサイズが、画像特徴量算出アルゴリズムで特徴
量を算出可能な最小サイズより小さい場合は46、算出
可能な最小データサイズに拡大する47。また、作成し
た画像データのサイズが、画像特徴量算出アルゴリズム
で特徴量を算出可能な最大サイズより大きい場合は4
8、算出可能な最大データサイズに縮小する49。この
場合の拡大・縮小の方法は、補完や間引きなどの一版的
な画像データの拡大・縮小手段を用いる。
【0022】この処理によって、表示された画像の部分
画像しか、取得したい画像と「似ている」と感じられる
ものがないような場合に、部分画像を種画像とすること
ができ、さらに、種画像をテクスチャの構成要素とする
ような画像を検索したい場合の種画像を作成することが
できる。
画像しか、取得したい画像と「似ている」と感じられる
ものがないような場合に、部分画像を種画像とすること
ができ、さらに、種画像をテクスチャの構成要素とする
ような画像を検索したい場合の種画像を作成することが
できる。
【0023】図5に図4で作成した種画像の例を示す。
指定画像51、画像51の部分画像53、テクスチャ指
定なしの場合の種画像54、テクスチャ指定ありの場合
の種画像55,56,57である。指定画像51の部分
画像の開始位置・終了位置52、から図4のステップ4
3によって、部分画像53が抽出される。部分画像53
に対する種画像は、テクスチャ指定なしの場合は、画像
特徴量算出可能サイズに拡大され、種画像となる54。
テクスチャ指定ありの場合は、図4のステップ45によ
って、縦横比2:4、面積倍率1の場合は、部分画像5
3を縦に2つ横に4つ並べた画像データが作成され、種
画像となる55。縦横比2:4、面積倍率4の場合は、
部分画像53を縦に2つ横に4つ並べた画像データの面
積で4倍(縦横に2倍)の画像データが作成され、画像
特徴量算出可能サイズに縮小され、種画像となる56。
縦横比2:4、縦5倍、横3倍、の場合は、部分画像5
3を縦に2つ横に4つ並べた画像データの縦に5倍、横
に3倍の画像データが作成され、画像特徴量算出可能サ
イズに縮小され、種画像となる57。
指定画像51、画像51の部分画像53、テクスチャ指
定なしの場合の種画像54、テクスチャ指定ありの場合
の種画像55,56,57である。指定画像51の部分
画像の開始位置・終了位置52、から図4のステップ4
3によって、部分画像53が抽出される。部分画像53
に対する種画像は、テクスチャ指定なしの場合は、画像
特徴量算出可能サイズに拡大され、種画像となる54。
テクスチャ指定ありの場合は、図4のステップ45によ
って、縦横比2:4、面積倍率1の場合は、部分画像5
3を縦に2つ横に4つ並べた画像データが作成され、種
画像となる55。縦横比2:4、面積倍率4の場合は、
部分画像53を縦に2つ横に4つ並べた画像データの面
積で4倍(縦横に2倍)の画像データが作成され、画像
特徴量算出可能サイズに縮小され、種画像となる56。
縦横比2:4、縦5倍、横3倍、の場合は、部分画像5
3を縦に2つ横に4つ並べた画像データの縦に5倍、横
に3倍の画像データが作成され、画像特徴量算出可能サ
イズに縮小され、種画像となる57。
【0024】次に、画像特徴量について説明する。図1
の特徴量取得部6では、種画像5の画像特徴量を計算し
て、種画像特徴量7を取得する。画像特徴量の例として
は、色特徴量と微分方向特徴量の二つの画像特徴量を持
つ方法がある。ここで述べる画像特徴量は、以下に説明
する2つの特徴量を記憶したものである。
の特徴量取得部6では、種画像5の画像特徴量を計算し
て、種画像特徴量7を取得する。画像特徴量の例として
は、色特徴量と微分方向特徴量の二つの画像特徴量を持
つ方法がある。ここで述べる画像特徴量は、以下に説明
する2つの特徴量を記憶したものである。
【0025】図6(a),(b)に、色特徴量の例を示
す。色特徴量は、一つの領域に対して色情報を階調分け
して作られたヒストグラムの集まりである。画像データ
の構図を判定するために画像を分割してそれぞれの領域
でヒストグラムを作成する。ヒストグラムは、RGBの
各色成分について、一つの領域に含まれる個々のピクセ
ルを1度数とし、該当する階調に振り分け作成する。図
6(a)の「16分割した画像例」のように、特徴量を
抽出する画像を複数の領域に分割する。この分割した部
分の特徴量を比較することで構図を判定することができ
る。図6(b)の「A領域に対する16階調のヒストグ
ラム例」は、16分割した領域のA領域61の範囲に含
まれる個々のピクセルを1度数とし、16階調のうちの
該当する階調に振り分けて作成したヒストグラムの例で
ある。これにより、画面の色成分の分布がわかる。ま
た、画面を分割し分割画面単位に色特徴量を求めること
により、色分布による部分構造がわかる。
す。色特徴量は、一つの領域に対して色情報を階調分け
して作られたヒストグラムの集まりである。画像データ
の構図を判定するために画像を分割してそれぞれの領域
でヒストグラムを作成する。ヒストグラムは、RGBの
各色成分について、一つの領域に含まれる個々のピクセ
ルを1度数とし、該当する階調に振り分け作成する。図
6(a)の「16分割した画像例」のように、特徴量を
抽出する画像を複数の領域に分割する。この分割した部
分の特徴量を比較することで構図を判定することができ
る。図6(b)の「A領域に対する16階調のヒストグ
ラム例」は、16分割した領域のA領域61の範囲に含
まれる個々のピクセルを1度数とし、16階調のうちの
該当する階調に振り分けて作成したヒストグラムの例で
ある。これにより、画面の色成分の分布がわかる。ま
た、画面を分割し分割画面単位に色特徴量を求めること
により、色分布による部分構造がわかる。
【0026】図7(a),(b)に、微分特徴量の例を
示す。微分特徴量は、一つの領域に対して色情報の輝度
情報を微分することにより方向を求め、それを階調分け
して作られたヒストグラムの集まりである。画像データ
の構図を判定するために画像を分割してそれぞれの領域
でヒストグラムを作成する。方向(θ)を求める式は、
示す。微分特徴量は、一つの領域に対して色情報の輝度
情報を微分することにより方向を求め、それを階調分け
して作られたヒストグラムの集まりである。画像データ
の構図を判定するために画像を分割してそれぞれの領域
でヒストグラムを作成する。方向(θ)を求める式は、
【0027】
【数1】θ=arctan(fy/fx) f:輝度画像 である。
【0028】図7(a)の「16分割した画像例」のよ
うに、特徴量を抽出する画像を複数の領域に分割する。
この分割した部分の特徴量を比較することで構図を判定
することができる。図7(b)の「A領域に対する8階
調のヒストグラム例」は、16分割した領域のA領域7
1の範囲で上記のθを算出し、8階調のうちの該当する
階調に振り分けて作成したヒストグラムの例である。こ
れにより、画面の輝度の方向の分布がわかり、質感や輪
郭がわかる。また、画面を分割した分割画面単位に微分
特徴量を求めることにより、輝度の方向の部分構造がわ
かる。
うに、特徴量を抽出する画像を複数の領域に分割する。
この分割した部分の特徴量を比較することで構図を判定
することができる。図7(b)の「A領域に対する8階
調のヒストグラム例」は、16分割した領域のA領域7
1の範囲で上記のθを算出し、8階調のうちの該当する
階調に振り分けて作成したヒストグラムの例である。こ
れにより、画面の輝度の方向の分布がわかり、質感や輪
郭がわかる。また、画面を分割した分割画面単位に微分
特徴量を求めることにより、輝度の方向の部分構造がわ
かる。
【0029】図1の特徴量取得部6では、種画像に対し
て上記の2つの特徴量を計算し、両方を種画像特徴量7
に記憶する。また、画像特徴量ファイル9は、全検索対
象画像について同様に計算し、結果を格納したものであ
る。
て上記の2つの特徴量を計算し、両方を種画像特徴量7
に記憶する。また、画像特徴量ファイル9は、全検索対
象画像について同様に計算し、結果を格納したものであ
る。
【0030】図8に、類似度計算部8の詳細を示す。類
似度計算部8では、全検索対象画像の画像特徴量である
画像特徴量ファイル9の全データと種画像特徴量7との
類似度の計算83を行ない、類似度の高い順にその値、
および対応する検索対象データの実データのファイル名
を、類似度データ10に格納する86。まず、カウンタ
に0を設定し81、カウンタが検索対象画像数より小さ
い間82、カウンタ番目の検索対象画像の画像特徴量と
種画像特徴量との類似度を図4のステップ41で取得し
た、色と形の重み付けの値を加味して計算し、テンポラ
リに記憶して83、カウンタを1つ上げる84。次に、
記憶したデータを、類似度の高い順に並べ替え85、そ
の順番に、類似度と、対応する画像データのファイル名
称を、類似度データ10に格納する86。これにより、
検索対象画像と種画像との類似の順に画像データファイ
ルを取り出すことができるようになる。
似度計算部8では、全検索対象画像の画像特徴量である
画像特徴量ファイル9の全データと種画像特徴量7との
類似度の計算83を行ない、類似度の高い順にその値、
および対応する検索対象データの実データのファイル名
を、類似度データ10に格納する86。まず、カウンタ
に0を設定し81、カウンタが検索対象画像数より小さ
い間82、カウンタ番目の検索対象画像の画像特徴量と
種画像特徴量との類似度を図4のステップ41で取得し
た、色と形の重み付けの値を加味して計算し、テンポラ
リに記憶して83、カウンタを1つ上げる84。次に、
記憶したデータを、類似度の高い順に並べ替え85、そ
の順番に、類似度と、対応する画像データのファイル名
称を、類似度データ10に格納する86。これにより、
検索対象画像と種画像との類似の順に画像データファイ
ルを取り出すことができるようになる。
【0031】図9に、類似度の計算の例を示す。類似度
の計算の例としては、前記の各ヒストグラムの度数の差
を2乗後加算して求める方法がある。これは、以下の式
で求める。
の計算の例としては、前記の各ヒストグラムの度数の差
を2乗後加算して求める方法がある。これは、以下の式
で求める。
【0032】
【数2】類似度=Σ(X1−X2)2×色の重み係数+
Σ(Y1−Y2)2×微分 方向の重み係数 0<重み係数<100 X1:種画像の色ヒストグラムの各階調の度数 X2:検索対象画像の色ヒストグラムの各階調の度数 Y1:種画像の微分方向ヒストグラムの各階調の度数 Y2:検索対象画像の微分方向ヒストグラムの各階調の
度数 ここで、重み係数とは、色と微分方向をどのくらいの比
率で組み合わせるかを意味する。
Σ(Y1−Y2)2×微分 方向の重み係数 0<重み係数<100 X1:種画像の色ヒストグラムの各階調の度数 X2:検索対象画像の色ヒストグラムの各階調の度数 Y1:種画像の微分方向ヒストグラムの各階調の度数 Y2:検索対象画像の微分方向ヒストグラムの各階調の
度数 ここで、重み係数とは、色と微分方向をどのくらいの比
率で組み合わせるかを意味する。
【0033】図9では、種画像と検索対象画像のうちの
一つの画像との類似度の計算の例を示している。「種画
像のヒストグラム例」は、種画像のヒストグラムであ
り、「検索対象画像のヒストグラム例」は、検索対象画
像のうちのある一つの画像のヒストグラムである。この
二つのヒストグラムの差分を求めたものが「差分のヒス
トグラム」である。この差分の各階調を二乗したヒスト
グラムが「2乗したヒストグラム」である。
一つの画像との類似度の計算の例を示している。「種画
像のヒストグラム例」は、種画像のヒストグラムであ
り、「検索対象画像のヒストグラム例」は、検索対象画
像のうちのある一つの画像のヒストグラムである。この
二つのヒストグラムの差分を求めたものが「差分のヒス
トグラム」である。この差分の各階調を二乗したヒスト
グラムが「2乗したヒストグラム」である。
【0034】この2乗したヒストグラムから、上記の式
を用いて、類似度を計算する。図8のステップ83の類
似度は、上記の式で計算し、ステップ83の「色の重み
付け」の値が上記の「色の重み係数」に相当し、ステッ
プ83の「形の重み付け」の値が上記の「微分方向の重
み係数」に相当する。このようにして、色、形、のどち
らを重視するかの重みをつけて、類似度を計算すること
ができる。
を用いて、類似度を計算する。図8のステップ83の類
似度は、上記の式で計算し、ステップ83の「色の重み
付け」の値が上記の「色の重み係数」に相当し、ステッ
プ83の「形の重み付け」の値が上記の「微分方向の重
み係数」に相当する。このようにして、色、形、のどち
らを重視するかの重みをつけて、類似度を計算すること
ができる。
【0035】図10に、類似度計算部8で算出された類
似度を記憶する類似度データ10のデータ形式を示す。
類似度データ10は、全検索対象画像数であるn個の要
素を持つ配列データdata101であり、各配列要素data
[i]は、要素数2の配列データへのポインタとなって
いる。図8のステップ86において、類似度の値の高い
順に、data[i]のポイント先の配列データの第1要素
similarity102には、図8のステップ83で算出し
た、類似度が格納され、配列の第2要素file103に
は、この類似度を算出した検索対象画像の画像データの
ファイル名称が格納される。これにより、類似度の順に
類似度および画像データを抽出することができる。
似度を記憶する類似度データ10のデータ形式を示す。
類似度データ10は、全検索対象画像数であるn個の要
素を持つ配列データdata101であり、各配列要素data
[i]は、要素数2の配列データへのポインタとなって
いる。図8のステップ86において、類似度の値の高い
順に、data[i]のポイント先の配列データの第1要素
similarity102には、図8のステップ83で算出し
た、類似度が格納され、配列の第2要素file103に
は、この類似度を算出した検索対象画像の画像データの
ファイル名称が格納される。これにより、類似度の順に
類似度および画像データを抽出することができる。
【0036】図11に、データ表示部10が表示するク
ライアント画面を示す。画面には、検索結果である一定
数の画像111と、検索の種画像112、表示されてい
ない検索結果画像のうち、表示画像より後ろの画像の表
示を指示するボタン114、表示画像より前の画像の表
示を指示するボタン113、が表示される。ただし、最
初の検索結果画面では、ボタン113は表示されない。
検索結果の画像111は、表示データ類似度計算部8で
抽出された、類似度データ10のデータを上から順に一
定数表示している。ここで、次の画像データ表示ボタン
114が押下されると、表示中の最初の画像の番号と
「次」を示す値をパラメタとして、データ表示部12が
起動され、検索結果の次の一定数の画像が表示される。
2ページめ以降は、前の画像データの表示を指示するボ
タン113も表示される。このようにして、検索結果の
画像を次々表示することができる。
ライアント画面を示す。画面には、検索結果である一定
数の画像111と、検索の種画像112、表示されてい
ない検索結果画像のうち、表示画像より後ろの画像の表
示を指示するボタン114、表示画像より前の画像の表
示を指示するボタン113、が表示される。ただし、最
初の検索結果画面では、ボタン113は表示されない。
検索結果の画像111は、表示データ類似度計算部8で
抽出された、類似度データ10のデータを上から順に一
定数表示している。ここで、次の画像データ表示ボタン
114が押下されると、表示中の最初の画像の番号と
「次」を示す値をパラメタとして、データ表示部12が
起動され、検索結果の次の一定数の画像が表示される。
2ページめ以降は、前の画像データの表示を指示するボ
タン113も表示される。このようにして、検索結果の
画像を次々表示することができる。
【0037】図12に、データ表示部12の詳細を示
す。ここでは、類似度データ10の指定されたデータを
表示する処理を行なう。まずパラメタとして、最初の画
像の番号と、「前」か「次」かの指示が渡される12
1。最初に起動する時は、最初の画像の番号は0とし、
この時は、「前」か「次」かのチェックはしない12
2。次に、「前」か「次」かをチェックし123、
「前」の場合は、画像番号から表示画像数をマイナスし
た値を次に表示する画像の番号とする124。
す。ここでは、類似度データ10の指定されたデータを
表示する処理を行なう。まずパラメタとして、最初の画
像の番号と、「前」か「次」かの指示が渡される12
1。最初に起動する時は、最初の画像の番号は0とし、
この時は、「前」か「次」かのチェックはしない12
2。次に、「前」か「次」かをチェックし123、
「前」の場合は、画像番号から表示画像数をマイナスし
た値を次に表示する画像の番号とする124。
【0038】「次」の場合は、画像番号に表示画像数を
プラスした値を次に表示する画像の番号とする125。
表示画像番号が0以下の時は126、1を設定する12
7。次に、表示画像番号から、表示画像数分のデータを
類似度データ10から取り出し128、そのデータが示
す実データを画像データファイル11から取り出して1
29、種画像とともに、画面に表示する130。これに
より、検索結果の画像を前後に次々に表示できる。
プラスした値を次に表示する画像の番号とする125。
表示画像番号が0以下の時は126、1を設定する12
7。次に、表示画像番号から、表示画像数分のデータを
類似度データ10から取り出し128、そのデータが示
す実データを画像データファイル11から取り出して1
29、種画像とともに、画面に表示する130。これに
より、検索結果の画像を前後に次々に表示できる。
【0039】
【発明の効果】以上述べたように、本発明によれば、種
画像候補として与えられた画像の部分画像しか、取得し
たい画像と「似ている」と感じられるものがないような
場合に、この部分を種画像として、検索対象画像から希
望する画像を抽出することができる、また、この部分画
像または画像全体をテクスチャ成分とする画像を作成し
て種画像とすることができ、取得したい画像に辿り着く
ための検索回数を減らすことができる。
画像候補として与えられた画像の部分画像しか、取得し
たい画像と「似ている」と感じられるものがないような
場合に、この部分を種画像として、検索対象画像から希
望する画像を抽出することができる、また、この部分画
像または画像全体をテクスチャ成分とする画像を作成し
て種画像とすることができ、取得したい画像に辿り着く
ための検索回数を減らすことができる。
【図1】本発明の画像検索システムの全体構成図。
【図2】図1を実現するためのマシン構成を示す図。
【図3】クライアントの検索画面を示す図。
【図4】種画像生成部のフローチャート。
【図5】種画像生成例を示す図。
【図6】(a)及び(b)は色特徴量の例を示す16分
割した画像図及び(a)の階調ヒストグラム図。
割した画像図及び(a)の階調ヒストグラム図。
【図7】(a)及び(b)は微分特徴量の例を示す16
分割した画像図及び(a)の階調ヒストグラム図。
分割した画像図及び(a)の階調ヒストグラム図。
【図8】類似度計算部のフローチャート。
【図9】類似度の例を示すヒストグラム図。
【図10】類似度データのデータ形式を示す図。
【図11】クライアントの検索結果画面を示す図。
【図12】データ表示部のフローチャート。
1…画像検索サーバ、2…クライアント、3…初期画面
生成部、4…種画像生成部。
生成部、4…種画像生成部。
Claims (3)
- 【請求項1】検索者によって指定された、部分または全
域の画像から算出した画像特徴量と、検索対象画像の画
像特徴量との、類似を用いて画像を検索するシステムに
おいて、検索者によって指定された画像を特徴量算出可
能な画像データに加工し、画像特徴量を算出することを
特徴とする画像検索方法。 - 【請求項2】請求項1記載の画像検索方法において、検
索者によって指定された画像データを、画像特徴量算出
アルゴリズムが特徴量算出可能な最小サイズに拡大、ま
たは、最大サイズに縮小することを特徴とする画像検索
方法。 - 【請求項3】請求項1記載の画像検索方法において、検
索者によって指定された画像データを、検索者の指定に
従って、縦横に複数個並べた画像データを作成し、画像
特徴量算出アルゴリズムが特徴量算出可能な最小サイズ
に拡大、または、最大サイズに縮小することを特徴とす
る画像検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10158816A JPH11353319A (ja) | 1998-06-08 | 1998-06-08 | 画像検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10158816A JPH11353319A (ja) | 1998-06-08 | 1998-06-08 | 画像検索方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11353319A true JPH11353319A (ja) | 1999-12-24 |
Family
ID=15680000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10158816A Pending JPH11353319A (ja) | 1998-06-08 | 1998-06-08 | 画像検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11353319A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002073818A (ja) * | 2000-08-28 | 2002-03-12 | Matsushita Electric Works Ltd | 食事管理支援システム及び食事管理支援方法 |
JP2007102824A (ja) * | 2007-01-24 | 2007-04-19 | Matsushita Electric Works Ltd | 食事管理支援システム |
JP2007102825A (ja) * | 2007-01-24 | 2007-04-19 | Matsushita Electric Works Ltd | 食事管理支援システム |
JP2008276770A (ja) * | 2007-04-26 | 2008-11-13 | Nhn Corp | キーワード推薦基準に従って広告キーワードを推薦する方法およびそのシステム |
JP2011059733A (ja) * | 2009-09-04 | 2011-03-24 | Canon Inc | 画像検索装置及び画像検索方法 |
-
1998
- 1998-06-08 JP JP10158816A patent/JPH11353319A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002073818A (ja) * | 2000-08-28 | 2002-03-12 | Matsushita Electric Works Ltd | 食事管理支援システム及び食事管理支援方法 |
JP4496624B2 (ja) * | 2000-08-28 | 2010-07-07 | パナソニック電工株式会社 | 食事管理支援システム及び食事管理支援方法 |
JP2007102824A (ja) * | 2007-01-24 | 2007-04-19 | Matsushita Electric Works Ltd | 食事管理支援システム |
JP2007102825A (ja) * | 2007-01-24 | 2007-04-19 | Matsushita Electric Works Ltd | 食事管理支援システム |
JP2008276770A (ja) * | 2007-04-26 | 2008-11-13 | Nhn Corp | キーワード推薦基準に従って広告キーワードを推薦する方法およびそのシステム |
US8364523B2 (en) | 2007-04-26 | 2013-01-29 | Nhn Business Platform Corporation | Method and system for recommending advertisement keyword according to keyword recommendation standard |
JP2011059733A (ja) * | 2009-09-04 | 2011-03-24 | Canon Inc | 画像検索装置及び画像検索方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4363792B2 (ja) | 情報検索システムおよび方法 | |
JP4579404B2 (ja) | 画像処理方法及びその装置 | |
JP3781696B2 (ja) | イメージ検索方法及び検索装置 | |
JP5229744B2 (ja) | 画像分類装置および画像分類プログラム | |
JP4972358B2 (ja) | 文書検索装置、文書検索方法、文書検索プログラム及び記録媒体。 | |
US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
JPH09101970A (ja) | 画像検索方法および画像検索装置 | |
US20070088748A1 (en) | Image display control device | |
US20050210019A1 (en) | Method and apparatus for retrieving image from database, and computer product | |
JP4374902B2 (ja) | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム | |
JP2005025746A (ja) | 視覚的類似性を測定する方法及び装置 | |
JPH10154149A (ja) | 類似オブジェクト検索方法および装置 | |
JP4948607B2 (ja) | 画像検索装置、画像分類装置及び方法並びにプログラム | |
JP2018156517A (ja) | 情報処理装置 | |
JPH0610812B2 (ja) | 表示装置 | |
JP4143234B2 (ja) | 文書分類装置、文書分類方法及び記憶媒体 | |
JPH11353319A (ja) | 画像検索方法 | |
JPH08263514A (ja) | 文書の自動分類方法、および情報空間の可視化方法、ならびに情報検索システム | |
JP3686802B2 (ja) | データベース検索方法、装置、およびデータベース検索プログラムを記録した記録媒体 | |
JP2001325294A (ja) | 類似画像検索方法および類似画像検索装置 | |
JPH08263522A (ja) | 画像検索方法 | |
JPH08249353A (ja) | 画像検索方法及び装置 | |
JP4324123B2 (ja) | モデルデータ表示プログラム、モデルデータ表示装置およびモデルデータ表示方法 | |
US9020955B2 (en) | Compositional balance driven content retrieval | |
JPH0981591A (ja) | 画像データベースの検索キー登録方法 |