JPH06309377A - 画像検索方法とその装置 - Google Patents

画像検索方法とその装置

Info

Publication number
JPH06309377A
JPH06309377A JP5096374A JP9637493A JPH06309377A JP H06309377 A JPH06309377 A JP H06309377A JP 5096374 A JP5096374 A JP 5096374A JP 9637493 A JP9637493 A JP 9637493A JP H06309377 A JPH06309377 A JP H06309377A
Authority
JP
Japan
Prior art keywords
image
user
inquiry
area
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5096374A
Other languages
English (en)
Inventor
Kyoji Hirata
恭二 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5096374A priority Critical patent/JPH06309377A/ja
Publication of JPH06309377A publication Critical patent/JPH06309377A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】画像情報を手がかりとして画像検索を行う際に
利用者の画像に対する記憶を反映した検索を行えるよう
にする。 【構成】確信度/重要度付加記憶手段22は問い合わせ
画像入力手段21から入力された問い合わせ画像の各領
域に対して利用者の確信度または重要度に基づく形状情
報および色情報を付加する。構成要素対応関係導出手段
23は問い合わせ画像入力手段21からの問い合わせ画
像と画像格納手段24からの概略画像との各領域の対応
関係を導出し、領域統合手段25は問い合わせ画像と概
略画像との構成要素が一対一に対応づくまで両者の領域
を統合する。整合度導出手段26は各領域の色,形状と
位置の類似度を導出する際に、利用者の領域に対する確
信度または重要度に基づき領域ごとの整合度に重みをつ
ける。出力手段27は検索結果を利用者に提示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像データベース等の大
量に画像を蓄積しておくシステムにおいて検索の際に利
用者の意図を反映することが可能な画像検索方法とその
装置に関する。
【0002】
【従来の技術】画像検索の分野では、画像特有の視覚的
特徴に基づく検索の必要性が高まっている。この画像特
有の視覚的特徴に基づく検索要求の中には、画像中の空
間的特性や構造情報に基づく情報検索等に関するものが
ある。
【0003】従来、これらの検索処理を行う際の検索用
ピクチャインデックス(概略画像)は、例えば、特願平
2−169772号公報「概略画像化方法および装置」
に記載されているように、計算機により自動的に導出し
ていた。
【0004】
【発明が解決しようとする課題】しかしながら、この従
来の手法では、利用者は自分の記憶に基づいてスケッチ
を作成するのみであり、記憶の確かな部分や不確かな部
分等を入力することができず、利用者の正確な検索意図
を反映させることが困難であるという問題点があった。
【0005】本発明の目的は、利用者の画像に対する記
憶を反映した柔軟な検索を行えるようにした画像検索方
法とその装置を提供することにある。
【0006】
【課題を解決するための手段】本発明の画像検索方法
は、画像情報を手がかりとして画像検索を行う際に、利
用者の記憶の確信度または前記利用者の判断による重要
度に基づく形状情報および色情報を前記利用者の描く問
い合わせ画像に付加することを特徴とする。
【0007】本発明の画像検索装置は、利用者が問い合
わせのために描く問い合わせ画像を入力する問い合わせ
画像入力手段と;前記利用者の記憶の確信度または前記
利用者の判断による重要度に基づく形状情報および色情
報を入力する確信度/重要度付加記憶手段と;画像情報
および検索用ピクチャインデックスを記憶する画像格納
手段と;前記問い合わせ画像入力手段から受け取った前
記問い合わせ画像と、前記画像格納手段から受け取った
前記検索用ピクチャインデックスとの構成要素を対応づ
ける構成要素対応関係導出手段と;前記問い合わせ画像
入力手段から受け取った前記問い合わせ画像と、前記画
像格納手段から受け取った前記検索用ピクチャインデッ
クスとの領域が一対一に対応づくまで領域を統合する領
域統合手段と;前記領域統合手段から受け取った統合さ
れた画像結果と、前記確信度/重要度付加記憶手段から
受け取った前記領域に対する前記利用者の前記確信度ま
たは前記重要度との整合度を導出する整合度導出手段
と;この導出された整合度を出力する出力手段とを備え
ることを特徴とする。
【0008】
【実施例】次に、本発明について図面を参照して説明す
る。
【0009】図1は本発明の画像検索方法の一実施例を
説明するための流れ図である。図2は本発明の画像検索
装置の一実施例を示す機能ブロック図、図3は図2にお
ける画像格納手段内の概略画像の一例を示す図、図4は
図2における問い合わせ画像入力手段から入力した問い
合わせ画像と確信度/重要度付加記憶手段による確信度
付加結果の一例を示す図である。図5および図6はそれ
ぞれ図2における構成要素対応関係導出手段および領域
統合手段の処理の流れの一例を示す流れ図である。
【0010】まず、この実施例の画像検索装置の構成に
ついて図2を参照して説明する。
【0011】本実施例の画像検索装置は、利用者が問い
合わせのために描く問い合わせ画像を入力する問い合わ
せ画像入力手段21と、利用者の記憶の確信度または利
用者の判断による重要度に基づく形状情報および色情報
を入力する確信度/重要度付加記憶手段22と、画像情
報および検索用ピクチャインデックスを記憶する画像格
納手段24と、問い合わせ画像入力手段21から受け取
った問い合わせ画像と画像格納手段24から受け取った
検索用ピクチャインデックスとの構成要素を対応づける
構成要素対応関係導出手段23と、問い合わせ画像入力
手段21から受け取った問い合わせ画像と画像格納手段
24から受け取った検索用ピクチャインデックスとの領
域が一対一に対応づくまで領域を統合する領域統合手段
25と、領域統合手段25から受け取った統合された画
像結果と確信度/重要度付加記憶手段22から受け取っ
た領域に対する利用者の確信度または重要度との整合度
を導出する整合度導出手段26と、導出された整合度を
出力する出力手段27とを備えている。
【0012】続いて、本実施例の動作について図1に図
2,図3および図4を併用して説明する。
【0013】画像格納手段24には、検索の対象となる
画像情報をあらかじめ格納してある。また、画像格納手
段24には、同時に検索の際に必要な形状と位置,色,
構造情報を記述した検索用ピクチャインデックス(概略
画像)も格納してある。
【0014】この概略画像としては、例えば図3に示す
ようなものが考えられる。図3では、それぞれ異なるハ
ッチングを施して示したように、領域31,領域32,
領域33および領域34がそれぞれ異なる色を有してい
る。このような概略画像は、画像登録時にユーザが手動
で与えてもよいし、または前述の特願平2−16977
2号公報「画像概略化方法および装置」に記載してある
ように計算機により自動的に導出してもよい。
【0015】問い合わせ画像入力手段21により利用者
は検索の手がかりとなる問い合わせ画像を入力する(ス
テップ11)。この問い合わせ画像としては、例えば図
4に示すような問い合わせ画像を考える。図4には、3
つの領域41,42および43が示されており、各領域
41,42および43における利用者の(色確信度,形
状確信度)をそれぞれ(0.8,1.0),(0.4,
0.8)および(0.5,0.7)としている。
【0016】利用者は領域に対する重み付けを必要と判
断したとき(ステップ12でYES)は、確信度/重要
度付加記憶手段22を用いて利用者の画像に対する記憶
の確信度を付加して入力する(ステップ13)。ここ
で、特に確信度に差異がないとき(ステップ12でN
O)は、確信度を付加しない。また、特に強調したい部
分や特にあやふやな部分のみを指定することも可能であ
る。
【0017】問い合わせ画像に対する確信度の付加例と
しては、例えば上述した図4に示すように色と形状とを
分けて確信度を与える。
【0018】構成要素対応関係導出手段23は問い合わ
せ画像入力手段21から問い合わせ画像(図4に示す)
を受け取り、画像格納手段24から概略画像を受け取
り、両画像の領域ごとの構成要素の対応付けを行う(ス
テップ14)。
【0019】領域統合手段25は問い合わせ画像入力手
段21から受け取った上記問い合わせ画像と画像格納手
段24から受け取った概略画像との領域が一対一に対応
づくまで領域を統合する(ステップ15)。
【0020】整合度導出手段26は領域統合手段25か
ら統合結果画像を受け取り、確信度/重要度付加記憶手
段22から利用者が付加した領域ごとの確信度に関する
情報を受け取って画像間の整合度を導出する(ステップ
16)。
【0021】出力手段27は整合度導出手段26から整
合結果を受け取って、画像格納手段24内の画像から整
合度の高い画像を引いてきて結果出力する(ステップ1
7)。
【0022】ここで、ステップ14における構成要素の
対応関係の導出処理について図5を参照して説明する。
【0023】構成要素対応関係導手段23において、入
力手段231は対応をとるべき2枚の画像を読み込む。
2枚の領域分割画像をAおよびBとすると、画素単位対
応関係導出手段232はこの2枚の領域分割画像Aおよ
びBの画素ごとの対応関係を導出する。
【0024】2枚の領域分割画像AおよびBの領域
(m,n)の値(ここでmはx座標,nはy座標)をそ
れぞれAmn,Bmnとする。いま、領域分割画像Aの
領域aの対応領域bを、領域分割画像A中での領域aに
属するすべての画素(Amn=aなるすべての領域
(m,n))について領域分割画像B中での領域を値B
mnの多数決で決めたものとして、a→bと記す。この
場合、bはaの参照リンク先である。同様に、領域分割
画像B中の領域bの対応領域aを、a←bと記す。この
場合、aはbの参照リンク先である。
【0025】画素単位対応関係導出手段232は領域分
割画像A中のすべての領域について対応領域を求め、ま
た、領域分割画像B中のすべての領域について対応領域
を求め、領域対応関係記憶手段233はこの結果を記憶
する。
【0026】図2に戻って、領域統合手段25は上記2
枚の領域分割画像AおよびBの構成要素が一対一に対応
づくまで領域統合を行う。
【0027】次に、ステップ15における領域統合処理
について図6を参照して説明する。
【0028】上記2枚の領域分割画像AおよびBにおい
て、双方向に対応している、つまりa→bかつa←bな
る領域の組(a,b)を見つけ出し、これらに新たな領
域番号をつける(ステップ251)。
【0029】残った領域のうち、参照リンク先にすでに
新しい領域番号がつけられた領域は、この新しい領域番
号がつけられた領域と対応関係にある領域と統合する
(ステップ253)。このステップ253の処理を領域
分割画像AおよびBのすべての領域に番号がつけられる
まで繰り返す。
【0030】すべての領域に領域番号がついたとき(ス
テップ252でYES)、統合結果画像が出力される
(ステップ254)。
【0031】図1に戻って、ステップ15では、例えば
上記2枚の領域分割画像AおよびBの統合後の領域数を
N、統合後の対応するi番目の領域の重なり画素数をR
S(i)、統合後の対応するi番目の領域の代表色の色
間距離をRC(i)、各領域のi番目の領域の形状に対
する確信度をCS(i)、各領域のi番目の領域の色情
報に対する確信度をCC(i)としたとき、画像間の類
似度Rは R=αN+βΣ(CS(i)×RS(i))+γΣ(C
C(i)×RC(i)) となる。
【0032】但し、α,β,γは重み係数である。ま
た、直接指定されていない確信度の値にはデフォルトと
してあらかじめ設定した値を用いる。
【0033】なお、上記の説明は利用者の記憶の確信度
の値を用いた実施例について行ったが、利用者の判断に
よる記憶の重要度を考慮するときは、図2における確信
度/重要度付加記憶手段22に上記重要度を格納すれば
良いので、詳細な説明を省略する。
【0034】
【発明の効果】以上説明したように本発明は、画像情報
を用いて画像検索を行う際に、検索すべき画像の色や形
状に対する利用者の記憶の確信度または重要度を考慮す
ることができるので、より利用者の検索意図に則した検
索を実行することができ、ユーザインタフェースが向上
するという効果を有する。
【図面の簡単な説明】
【図1】本発明の画像検索方法の一実施例を説明するた
めの流れ図である。
【図2】本発明の画像検索装置の一実施例を示す機能ブ
ロック図である。
【図3】図2における画像格納手段内の概略画像の一例
を示す図である。
【図4】図2における問い合わせ画像入力手段から入力
した問い合わせ画像と確信度/重要度付加記憶手段によ
る確信度付加結果の一例を示す図である。
【図5】図2における構成要素対応関係導出手段の処理
の流れの一例を示す流れ図である。
【図6】図2における領域統合手段の処理の流れの一例
を示す流れ図である。
【符号の説明】
21 問い合わせ画像入力手段 22 確信度/重要度付加記憶手段 23 構成要素対応関係導出手段 24 画像格納手段 25 領域統合手段 26 整合度導出手段 27 出力手段 31,32,33,34,41,42,43 領域 231 入力手段 232 画素単位対応関係導出手段 233 領域対応関係記憶手段

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 画像情報を手がかりとして画像検索を行
    う際に、利用者の記憶の確信度または前記利用者の判断
    による重要度に基づく形状情報および色情報を前記利用
    者の描く問い合わせ画像に付加することを特徴とする画
    像検索方法。
  2. 【請求項2】 利用者が問い合わせのために描く問い合
    わせ画像を入力する問い合わせ画像入力手段と;前記利
    用者の記憶の確信度または前記利用者の判断による重要
    度に基づく形状情報および色情報を入力する確信度/重
    要度付加記憶手段と;画像情報および検索用ピクチャイ
    ンデックスを記憶する画像格納手段と;前記問い合わせ
    画像入力手段から受け取った前記問い合わせ画像と、前
    記画像格納手段から受け取った前記検索用ピクチャイン
    デックスとの構成要素を対応づける構成要素対応関係導
    出手段と;前記問い合わせ画像入力手段から受け取った
    前記問い合わせ画像と、前記画像格納手段から受け取っ
    た前記検索用ピクチャインデックスとの領域が一対一に
    対応づくまで領域を統合する領域統合手段と;前記領域
    統合手段から受け取った統合された画像結果と、前記確
    信度/重要度付加記憶手段から受け取った前記領域に対
    する前記利用者の前記確信度または前記重要度との整合
    度を導出する整合度導出手段と;この導出された整合度
    を出力する出力手段とを備えることを特徴とする画像検
    索装置。
JP5096374A 1993-04-23 1993-04-23 画像検索方法とその装置 Pending JPH06309377A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5096374A JPH06309377A (ja) 1993-04-23 1993-04-23 画像検索方法とその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5096374A JPH06309377A (ja) 1993-04-23 1993-04-23 画像検索方法とその装置

Publications (1)

Publication Number Publication Date
JPH06309377A true JPH06309377A (ja) 1994-11-04

Family

ID=14163199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5096374A Pending JPH06309377A (ja) 1993-04-23 1993-04-23 画像検索方法とその装置

Country Status (1)

Country Link
JP (1) JPH06309377A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239856A (ja) * 1994-02-25 1995-09-12 Canon Inc 画像検索方法および装置
JPH08190568A (ja) * 1995-01-09 1996-07-23 Canon Inc 画像検索装置及びその方法
JPH08202728A (ja) * 1995-01-26 1996-08-09 Canon Inc 画像検索方法及びその装置
JPH1139316A (ja) * 1997-07-15 1999-02-12 Omron Corp 画像入力装置および記録媒体
JP2000285141A (ja) * 1999-01-27 2000-10-13 Ricoh Co Ltd 画像検索装置,画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004362548A (ja) * 1999-10-19 2004-12-24 Lg Electronics Inc マルチメディアのコンテンツ検索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03294965A (ja) * 1990-04-12 1991-12-26 Ricoh Co Ltd 文書検索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03294965A (ja) * 1990-04-12 1991-12-26 Ricoh Co Ltd 文書検索方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239856A (ja) * 1994-02-25 1995-09-12 Canon Inc 画像検索方法および装置
JPH08190568A (ja) * 1995-01-09 1996-07-23 Canon Inc 画像検索装置及びその方法
JPH08202728A (ja) * 1995-01-26 1996-08-09 Canon Inc 画像検索方法及びその装置
JPH1139316A (ja) * 1997-07-15 1999-02-12 Omron Corp 画像入力装置および記録媒体
JP2000285141A (ja) * 1999-01-27 2000-10-13 Ricoh Co Ltd 画像検索装置,画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004362548A (ja) * 1999-10-19 2004-12-24 Lg Electronics Inc マルチメディアのコンテンツ検索方法

Similar Documents

Publication Publication Date Title
US6424752B1 (en) Image synthesis apparatus and image synthesis method
US5680150A (en) Image processing method and apparatus
US6434280B1 (en) System and method for generating super-resolution-enhanced mosaic images
US6714689B1 (en) Image synthesizing method
JP3234064B2 (ja) 画像検索方法並びにその装置
US20040228528A1 (en) Image editing apparatus, image editing method and program
US20020141005A1 (en) Image processing program and image processing apparatus
JPH06309377A (ja) 画像検索方法とその装置
JPH11112790A (ja) 画像合成装置および方法
JP2776746B2 (ja) 歪んだ画像を修正するための画像処理方法及びこれを実行するための装置
JPH0981591A (ja) 画像データベースの検索キー登録方法
JP2745604B2 (ja) カラー画像変換装置
JPS61151890A (ja) 文書画像情報の検索方法
JP3437087B2 (ja) 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体
US20040202378A1 (en) Method and apparatus for enhancing images based on stored preferences
JP4515698B2 (ja) 動画像合成方法および装置並びにプログラム
WO2022107636A1 (ja) 画像認識装置、学習システム、画像蓄積装置、画像認識方法、画像蓄積方法、および記録媒体
JP2840306B2 (ja) 画像処理装置の領域処理方法
JPH02205982A (ja) カラー画像処理装置
JPH06243258A (ja) 奥行き検出装置
JPH06243178A (ja) 画像検索方法および装置
JP2662947B2 (ja) 画像検索方法
KR20200069037A (ko) 카메라를 통해 인식된 사물의 패턴 생성을 이용하여 사물의 정보를 로딩하는 프로그램
JPH1063774A (ja) 文字認識装置
JP2022079898A (ja) 撮影装置、画像の生産方法、およびプログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19961008