JPH1049659A - 情報検索装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 検索の入力としては、日常使われる言葉を主
体とした検索用語を用い、客観性のある検索を可能とし
ながら、画像の登録時にキーワード等を入力する手間を
不要にする。 【解決手段】 画像データ解析処理装置１２は画像デー
タ蓄積装置１１から画像情報を取り出し、色彩情報、テ
クスチャ情報、形状情報などの特徴を解析する。特徴デ
ータ蓄積装置１３は画像データ解析処理装置１２の結果
を特徴データとして蓄積する。検索式変換処理装置１４
は、入力された検索用語と特徴データとを関連付け、検
索に用いる検索評価式群を変換する。画像類似度解析処
理装置１５は検索評価式群をもとに特徴データ蓄積装置
１３の特徴データとの間で類似度の評価を行う。類似画
像出力処理装置１６は画像類似度解析処理装置１５の評
価結果を元に画像データ蓄積装置１１から対応する画像
群を取り出し、出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データベース
等のシステムにおいて、検索用語と画像特徴量からなる
情報群を独立させ、それぞれの検索用語を画像特徴の情
報群から構成される評価式群に変換し、その評価式群を
用いて画像の検索を行う画像検索装置および方法に関す
る。

【０００２】

【従来の技術】従来技術として、一般のデータベースに
おけるキーワード付与を基本とした検索手法がある。こ
の検索手法においては、キーワード付与を画像登録者が
実施する。もしくは、あらかじめキーワードとなる言葉
を決めておき、登録ごとにこれらキーワード群を参照
し、適切なキーワードを付与する。他方、検索の際に
は、検索者の意図によるキーワードもしくはキーワード
群から適切な用語を選び検索を実行する。ここでは単語
の一致を基本として検索が行われる。

【０００３】検索に例示画像を使う手法も知られてい
る。例えば特開平４−６０７７０号公報、４−３０７６
６８号公報、６−２４３１７８号公報はこの手法を開示
している。これは蓄積画像から画像特有の視覚的特徴に
基づく検索を実現させるための手法であり、実現手法と
しては、概略画像からの検索を基本とし、さらに形状以
外への対応、検索時の高速化へと発展させている手法で
ある。基本的には画像情報を構成物の形、大きさ、位
置、さらには色、テクスチャ等を記述した概略画像を用
い、蓄積画像全体に対して条件に合う画像を検索する手
法である。また蓄積画像からの検索の効率化をはかるた
め、登録画像の代表色をマッピングし、検索キーとなる
画像の持つ代表色をこの色空間上にマッピングし、この
近傍に存在する画像に対してのみ整合・評価を行うこと
により、初期段階である程度の大分類を実施することに
より高速化を計っている。

【０００４】例示画像検索では検索の自由度を上げるた
め、例示画像の中身をある程度理解する必要があり、こ
の性能により検索結果が異なる問題があった。これら問
題を解決する手法として例えば特開平１−１３０２７８
号公報がある。この手法は概略画像作成段階で素材の構
成情報とその属性情報を作図プロセッサなどを用いて簡
易に作成／登録できる手法であり、検索も構成情報とそ
の属性情報のテーブルを用いて実施するものである。こ
こでの構成要素とは例えば机、りんごであり、その属性
情報は位置、大きさ、姿勢等であるため、確度の高い検
索は可能であるが、あらかじめ蓄積画像に対してこれら
構成情報／属性情報を付加する必要がある。

【０００５】また、客観的な検索情報を与える手法も知
られている。この手法の一例として特開平２−１８７８
６４号公報がある。これは画像データの領域を設定し、
さらにその領域に含まれる色情報、周波数情報などの物
理情報を抽出し、領域と物理情報の関係から、例えば
空、海等の言葉に結び付けることを可能にしている。

【０００６】また、自然画像の検索を効率よく行う手法
としては、例えば特開平４−２６７４８０号公報があ
る。これは自然画像をコンポーネント化し、コンポーネ
ントの形状／特徴情報を検索キーとする手法である。た
だし、画像のコンポーネント化に際してはマウス／キー
ボード／デジタイザ等による人の介入を前提としてい
る。

【０００７】しかしながら、これまでに述べてきた従来
技術には以下に述べるような不具合点が存在する。

【０００８】キーワード検索はキーワード管理がしっ
かりしていれば検索性、処理効率の両面とも優れてい
る。しかし、全ての蓄積データに対してキーワードを手
動で付与することが前提のため、登録作業が大変なこと
があげられる。さらに、キーワード付与には登録者によ
る偏りがあるため、必ずしも所望の画像を検索できると
は限らない。また、客観性を持たせるために、初期にキ
ーワードを決めた場合には、初期のキーワード登録作業
に工数がかかること、登録者が全てのキーワードを参照
しながら登録を行うため、登録時にも工数が必要とな
る。さらに、新たにキーワードを増やしたい場合、これ
までの蓄積データ全てに対して新たなキーワードとの関
連性を調べなければならないため、データベース管理が
大変になる、等の問題がある。

【０００９】例示画像による検索は類似画像検索とも
呼ばれ、例示した画像特徴を元に蓄積データから似た画
像を検索する方式である。ただし、画像を例示する際に
は同じ画像を想定した場合でも検索者による例示画像の
変動が大きいため、検索者によって検索結果が異なる可
能性がある。また、テクスチャなど特徴解析上ははっき
りした差異が見られるような現象が表現しにくい場合が
ある。また、例示画像に思い違いがあった場合、所望の
検索画像に達することが難しい点が上げられる。また、
基本的には例示画像から特徴を取り出し、その特徴をも
とに蓄積画像を評価し、最終的に例示画像に近い画像を
求める手法のため、例示画像が変わるごとに大きな負荷
のかかる処理が必要になるため、処理効率の点で問題が
ある。

【００１０】ラフスケッチを作図プロセッサ等で支援し
ながら検索を行う手法は、手順としては客観性を保てる
が、基本的にはキーワード検索にそれぞれの属性の位置
情報が付加された手法であるため、キーワード検索で課
題となる登録性／更新性等の問題がある。

【００１１】領域単位の物理情報を使う手法は客観性
は保てるが、これらの情報のみでは検索としての対応範
囲が狭いため汎用性が少ない。

【００１２】画像コンポーネント化は画像処理で難し
い領域分割を手動で実施するため、それ以降の特徴解析
は軽減されるが、登録者への負荷が大きく、また、登録
者の意図が強く現れてしまうなどの欠点がある。

【００１３】

【発明が解決しようとする課題】本発明は、こうした問
題に鑑みてなされたもので、検索の入力としては、日常
使われる言葉を主体とした検索用語を用い、客観性のあ
る検索を可能にするしくみを提供すること、さらに検索
用語の付加が容易であること、特徴量の付加が容易であ
ることにより、汎用性、発展性のある検索環境を提供す
ることを目的としている。

【００１４】

【課題を解決するための手段】本発明によれば、以上の
目的を達成するために、検索用語と画像特徴量からなる
情報を独立させ、検索の際には、検索者に対して客観性
のある検索用語を用い、それを画像特徴の情報から構成
される１または１組の検索評価式に変換し、その検索評
価式を用いて画像の検索を行うことにより、検索の客観
性の向上、検索用語付加の容易性、特徴解析データ付加
の容易性を達成する。

【００１５】すなわち、本発明によれば、情報検索装置
に、画像データを入力する画像データ入力手段と、上記
画像データを蓄積する画像データ蓄積手段と、画像デー
タの解析を行う画像データ解析手段と、解析して得た特
徴データを蓄積する特徴データ蓄積手段と、検索用語を
入力する検索用語入力手段と、上記検索用語を、上記特
徴データを評価する１または１組の評価式に変換する検
索式変換手段と、上記１または１組の評価式を用いて、
特徴データ蓄積手段の対応する特徴データを評価して上
記検索用語と上記画像データとの間の類似度を計算する
画像類似度解析手段と、上記類似度に基づき類似画像を
出力する類似画像出力手段とを備え、画像蓄積時には画
像の特徴データのみを求めて登録し、検索時には検索用
語をもとに類似画像を出力するようにしている。

【００１６】この構成においては、画像について特徴デ
ータを生成して保持する。検索時には検索用語を評価式
に変換し、これを用いて特徴データを評価し、この評価
に基づいて類似度の高い画像を取り出すようにしてい
る。したがって、画像登録時にキーワード等を付与する
手間がなく、しかも検索時には客観的な検索用語を用い
て迅速に検索を行うことができる。

【００１７】また新たな特徴量を付加したい場合、今後
蓄積される画像データ、またはこれまで蓄積された画像
データに対して新たな特徴データに関する画像データ解
析を行い、特徴データ蓄積手段にその情報を新たに付加
し、新たな特徴データに対処できる。

【００１８】また、この構成においては、上記１組の評
価式を、独立した複数の特徴データに対応する評価式の
組合せとすることができる。

【００１９】また、画像データ解析手段は複数の並列動
作する特徴解析モジュールから構成し、かつ特徴解析モ
ジュールは単独での動作も可能にするようにしてもよ
い。

【００２０】また本発明によれば、上述の目的を達成す
るために、情報検索方法において、画像データを入力す
るステップと、上記画像データを蓄積するステップと、
画像データの解析を行うステップと、解析して得た特徴
データを蓄積するステップと、検索用語を入力するステ
ップと、上記検索用語を、上記特徴データを評価する１
または１組の評価式に変換するステップと、上記１また
は１組の評価式を用いて、対応する特徴データを評価し
て上記検索用語と上記画像データとの間の類似度を計算
するステップと、上記類似度に基づき類似画像を出力す
るステップとを実行し、画像蓄積時には画像の特徴デー
タのみを求めて登録し、検索時には検索用語をもとに類
似画像を出力するようにしている。

【００２１】この構成においても、画像登録時にキーワ
ード等を付与する手間がなく、しかも検索時には客観的
な検索用語を用いて迅速に検索を行うことができる。

【００２２】

【発明の実施の形態】以下、添付図面に基づいて本発明
の実施例を説明する。

【００２３】図１は本発明の画像情報検索処理装置の実
施例を示すブロック図である。同図において、画像情報
検索処理装置は特徴解析処理部１および検索処理部２か
らなっている。特徴解析処理部１は、画像データ蓄積装
置１１、画像データ解析処理装置１２および特徴データ
蓄積装置１３等からなっている。検索処理部２は検索式
変換処理装置１４、画像類似度解析処理装置１５および
類似画像出力処理装置１６等からなっている。

【００２４】特徴解析処理部１の画像データ蓄積装置１
１はスキャナから入力された画像、ネットワークを介在
した画像など、様々な媒体及び様式で入力された画像を
蓄積する。画像データ解析処理装置１２は画像データ蓄
積装置１１から画像情報を取り出し、色彩情報、テクス
チャ情報、形状情報などの様々な特徴を解析する。また
特徴データ蓄積装置１３は画像データ解析処理装置１２
の結果を、管理しやすい、さらには検索時の類似度計算
にとって適した状態で特徴データとして蓄積する。

【００２５】また検索処理部２の検索式変換処理装置１
４はキーボード等から入力された検索用語と特徴データ
を関連付け、検索に用いる検索評価式群を変換する。画
像類似度解析処理装置１５は検索式変換処理装置１４か
ら生成された検索評価式群をもとに特徴データ蓄積装置
１３の特徴データとの間で類似度の評価を行う。類似画
像出力処理装置１６は画像類似度解析処理装置１５の評
価結果を元に画像データ蓄積装置１１から対応する画像
群を取り出し、検索者に適した様式で出力する。

【００２６】つぎに特徴解析処理部１の画像データの蓄
積装置１１、画像データ解析処理装置１２、画像データ
蓄積装置１３についてさらに詳細に説明する。

【００２７】画像データ蓄積装置１１はスキャナから入
力された画像、電子スチルカメラから入力された電子画
像、ネットワークを通して配信された画像等を電子デー
タとして蓄積するところである。ここでは画像データ蓄
積装置１１は１つのブロックで示されているが、複数の
画像データ蓄積装置を設け画像データを分散して蓄積さ
れていても構わない。

【００２８】画像データ解析処理装置１２の詳細を図２
に示す。図２に示すように各処理モジュールは基本的に
独立モジュールとして配置する。これにより、汎用性を
確保できるとともに、個別モジュールのみの単独処理も
可能となる。図２では特徴解析処理装置１２の一例とし
て、Ｐｉｘｅｌ頻度解析処理装置１２１、エッジ頻度解
析処理装置１２２、色報頻度解析処理装置１２３、テク
スチャ解析処理装置及びテクスチャ頻度解析処理装置１
２４、円検出処理装置１２５、楕円検出処理装置１２
６、四角形検出処理装置１２７などの特徴解析モジュー
ルがある。それぞれのモジュールの特徴解析結果は特徴
データ情報群として特徴データ蓄積装置１３へ格納され
る。このような構成の場合に、例えば新たな特徴検出処
理装置１２８を加えると、システムとしては特徴処理モ
ジュールの並列要素が１つ増えただけであり、処理の流
れを大きく変える要素はない。そのため、今後蓄積され
る新しい画像データに対してはこれまでよりも特徴量が
１つ（群）増えたとして画像データ解析処理が実施され
る。さらにこれまで蓄積された画像の特徴データに対し
ては新たな特徴検出処理装置１２８のモジュールのみを
稼働させ、新たなデータ解析結果を既存のデータ解析結
果に加えるだけでよい。また、それぞれの特徴モジュー
ルは単独動作が可能であるため、データの更新は特徴解
析モジュールを追加する人が管理するのではなく、シス
テムとして自動的に管理及び更新を行うことが容易にな
る。

【００２９】特徴データ蓄積装置１３には例えば図３に
示すような形式で多次元の特徴データが登録される。こ
こでは一例として図２のデータ解析処理装置１２の構成
の場合の特徴データの例を示している。Ｐｉｘｅｌ頻度
に関しては対象画像をブロック単位にした場合の黒（閾
値以上）画素の分布がＰｉｘｅｌ（ｘ，ｙ）として格納
される。エッジ頻度に関しては対象画像に対してなんら
かのエッジ検出処理を行い、その結果をブロック単位に
した場合のエッジの分布がＥｄｇｅ（ｘ，ｙ）として格
納される。色頻度は対象画像を知覚色形のＨＶＣで表現
した場合のブロック単位の分布がＨ（ｘ，ｙ）、Ｖ
（ｘ，ｙ）、Ｃ（ｘ，ｙ）として格納される。テクスチ
ャに関してはまず対象画像にどのようなテクスチャが含
まれるかを解析し、次いでおのおののテクスチャの分布
がＴｘ（ｎ，ｘ，ｙ）として格納される。円検出処理は
対象画像内に円状の物があるかを解析し、その結果に位
置情報、半径情報を加えてＣｉｒｃｌｅ（ｎ，ｘ，ｙ，
ｒ）として格納する。楕円検出処理は対象画像内に楕円
状の物があるかを解析し、その結果に位置情報、短半径
情報、長半径情報、角度情報を加えてＥｌｌｉｐｓｅ
（ｎ，ｘ，ｙ，ｒ１，ｒ２，θ）として格納する。四角
形検出処理は対象画像内に四角形状の物があるかを解析
し、その結果に位置情報、短辺情報、長辺情報、角度情
報を加えてＳｑｕａｒｅ（ｎ，ｘ，ｙ，ｒ１，ｒ２，
θ）として格納する。ここでは図２に限った特徴解析処
理の例について説明したが、特徴解析処理は上記に限定
されるものではない。例えば、特徴解析モジュールが増
えた場合は、これまでの特徴データに続いて新たな特徴
解析情報データが付加される。また、図２では検索効率
を考えて、画像データと特徴データをそれぞれ分けて蓄
積しているが、同一の蓄積装置にあっても構わないし、
画像データの付帯情報として持っていても構わない。

【００３０】次に検索用語が入力された場合の検索式変
換処理装置１４、画像類似度解析処理装置１５、類似画
像出力処理装置１６について詳細に説明する。

【００３１】検索用語が入力されると検索式変換処理装
置１４により、検索用語と特徴データとの結び付けが行
われ、評価式群として出力される。図４に検索が行われ
た場合の評価式の例及び、評価式群の結び付きの例を示
す。ここでは図３に示す特徴データを用いた場合の評価
式群の例を示す。また、概念理解のため、実際の評価式
群ではなく、それを簡易的に言葉で表した場合で説明す
る。

【００３２】まず、一例として「円」を検索用語とした
場合について説明する。この場合、特徴データ群に円検
出に相当するものがあるため、特徴解析データのＣｉｒ
ｃｌｅ（ｉ，ｊ，ｒ，ｎ）を用いて、円がある（ｎ≧
１）が具体的な評価式となる。

【００３３】次に「赤い円」を検索用語とした場合につ
いて説明する。まず先程の「円」を検索用語とした場合
の評価式を第一の評価式としてを用いる。この評価式を
用いて円が検出された場合、ＡＮＤ条件として次に色に
ついてのの評価を行う。先の評価式で円の有無および、
その存在位置は情報として分かっている。そこでその位
置情報を元に、存在する円の内部が赤いかどうかを色頻
度特徴データのＨ（ｘ，ｙ）、Ｖ（ｘ，ｙ）、Ｃ（ｘ，
ｙ）を用いて領域が赤らしいかどうかを評価する。

【００３４】次に「顔」を検索用語とした場合について
説明する。まず、特徴解析データのＥｌｌｉｐｓｅ
（ｎ，ｘ，ｙ，ｒ１，ｒ２，θ）を用いて、画像内に楕
円状のものがあるかどうかを評価する。次にＡＮＤ条件
として楕円の位置情報を元にして色頻度特徴データのＨ
（ｘ，ｙ）、Ｖ（ｘ，ｙ）、Ｃ（ｘ，ｙ）を用いて楕円
領域内に肌色の分布があるかどうかを評価する。さらに
ＡＮＤもしくはＯＲ条件として楕円の位置情報を元にし
て色頻度特徴データのＨ（ｘ，ｙ）、Ｖ（ｘ，ｙ）、Ｃ
（ｘ，ｙ）を用いて領域内に髪の毛に相当する黒色の分
布があるかどうかを評価する。最後にＡＮＤもしくはＯ
Ｒ条件としてテクスチャ特徴のＴｘ（ｎ，ｘ，ｙ）を用
いて黒領域内が髪にテクスチャを含むかどうかを評価す
る。

【００３５】以上のように、各特徴データを検索用語に
応じて評価することにより、様々な検索用語に対して一
般性のある検索を行うことができる。

【００３６】画像類似度解析処理装置１５は検索式変換
処理装置１４より提供された評価式群を用い類似度の評
価を行う。まず、それぞれの評価式単体での類似度持求
め、次いでそれらをＡＮＤもしくはＯＲ条件でで結び付
けることにより総合的な類似度を求め、順位付を行う。

【００３７】類似画像出力装置１６は画像類似度解析処
理装置１５の結果を受けて、検索結果を検索者とって判
断しやすい環境で提供する。例えば、ＣＲＴを用いて検
索結果を表示する場合、ＣＲＴ上に複数の検索結果画像
を表示する、または一定速度でページめくりをしながら
画像を表示するなど用途に応じた出力を行う。

【００３８】本実施例では画像特徴解析データはあらか
じめ求めておき、検索時の類似度計算はあらかじめ蓄積
されている画像特徴解析データに対して実施している。
より確度の高い検索を行うためには類似度計算時に画像
特徴解析を再度実施するような変換例もありうる。例え
ば「赤い円」を検索したい場合、円特徴より円の半径が
分かっている。そこで色情報としての赤を評価する場合
にブロック単位の領域情報でなく、中心、半径を用いて
より正確な領域における色分布を調べることにより確度
の高い類似度計算が可能になる。

【００３９】また、本実施例の検索式変換処理をさらに
高精度にするための変換例として、検索においては全て
の特徴データを用いることを基本とし、あらかじめ、検
索用語に対するそれぞれの特徴ータの寄与度を求め、各
データの評価時において重み付を行って総合的に類似度
を求めることもできる。

【００４０】本手法は基本的にはキーワード検索であ
り、検索用語の初期における作成及び検索用語の追加、
また検索用語と検索評価式群との関連付けは基本的には
ユーザ側ではなくシステム側が与えるものである。ただ
し、検索用語と検索評価式群の関連付けと蓄積データの
特徴解析はそれぞれ単独に考えることができるため、結
果的には検索用語が増えると検索効率が上がり、特徴解
析データが増えると検索効率が上がる発展系のシステム
となる。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
画像検索者は画像特徴に対して特に知識がなくても、客
観性のある言葉による検索が可能になる。また、検索用
語と画像特徴データを独立させ、検索は特徴データを用
いた評価式で実施するため、特徴データの付加、および
検索用語の付加が容易に実現できる。また、新たな視点
での検索用語が必要になった場合、検索用語と特徴量の
関係を検索式とすることにより、これまでの全ての画像
に対して同一の意図での検索が実施できる環境が提供で
きる。

【図面の簡単な説明】

【図１】 本発明の実施例のブロック図である。

【図２】 上述実施例の画像データ解析処理装置の構成
を説明した図である。

【図３】 上述実施例の特徴解析データの一例を説明し
た図である。

【図４】 上述実施例の検索用語から検索評価式群への
変換を説明した図である。

【符号の説明】

１１ 画像データ蓄積装置 １２ 画像データ解析処理装置 １３ 特徴データ蓄積装置 １４ 検索式変換処理装置 １５ 画像類似度解析処理装置 １６ 類似画像出力処理装置 １２１ Ｐｉｘｅｌ頻度解析処理装置 １２２ エッジ頻度解析処理装置 １２３ 色頻度解析処理装置 １２４ テクスチャ解析処理装置及びテクスチャ頻度
解析処理装置 １２５ 円検出処理装置 １２６ 楕円検出処理装置 １２７ 四角形検出処理装置 １２８ たな特徴検出処理装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像データを入力する画像データ入力手
   段と、 上記画像データを蓄積する画像データ蓄積手段と、 画像データの解析を行う画像データ解析手段と、 解析して得た特徴データを蓄積する特徴データ蓄積手段
   と、 検索用語を入力する検索用語入力手段と、 上記検索用語を、上記特徴データを評価する１または１
   組の評価式に変換する検索式変換手段と、 上記１または１組の評価式を用いて、特徴データ蓄積手
   段の対応する特徴データを評価して上記検索用語と上記
   画像データとの間の類似度を計算する画像類似度解析手
   段と、 上記類似度に基づき類似画像を出力する類似画像出力手
   段とを備え、 画像蓄積時には画像の特徴データのみを求めて登録し、
   検索時には検索用語をもとに類似画像を出力することを
   特徴とした情報検索装置。
2. 【請求項２】 上記１組の評価式を、独立した複数の特
   徴データに対応する評価式の組合せとした請求項１記載
   の情報検索装置。
3. 【請求項３】 画像データ解析手段は複数の並列動作す
   る特徴解析モジュールから構成し、かつ特徴解析モジュ
   ールは単独での動作も可能にした請求項１記載の情報検
   索装置。
4. 【請求項４】 画像データを入力するステップと、 上記画像データを蓄積するステップと、 画像データの解析を行うステップと、 解析して得た特徴データを蓄積するステップと、 検索用語を入力するステップと、 上記検索用語を、上記特徴データを評価する１または１
   組の評価式に変換するステップと、 上記１または１組の評価式を用いて、対応する特徴デー
   タを評価して上記検索用語と上記画像データとの間の類
   似度を計算するステップと、 上記類似度に基づき類似画像を出力するステップとを有
   し、 画像蓄積時には画像の特徴データのみを求めて登録し、
   検索時には検索用語をもとに類似画像を出力することを
   特徴とした情報検索方法。