JPH04241684A - 画像整合方法及び装置 - Google Patents

画像整合方法及び装置

Info

Publication number
JPH04241684A
JPH04241684A JP3002932A JP293291A JPH04241684A JP H04241684 A JPH04241684 A JP H04241684A JP 3002932 A JP3002932 A JP 3002932A JP 293291 A JP293291 A JP 293291A JP H04241684 A JPH04241684 A JP H04241684A
Authority
JP
Japan
Prior art keywords
image
area
regions
region
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3002932A
Other languages
English (en)
Other versions
JP3010747B2 (ja
Inventor
Kyoji Hirata
恭二 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP3002932A priority Critical patent/JP3010747B2/ja
Publication of JPH04241684A publication Critical patent/JPH04241684A/ja
Application granted granted Critical
Publication of JP3010747B2 publication Critical patent/JP3010747B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像のマッチング装置、
特に画像データベースシステムにおいて検索時に利用す
るための画像統合・整合方式に関する。
【0002】
【従来の技術】画像検索の分野では、画像特有の特徴に
基づく検索の必要性が高まっている。画像の内容に基づ
く検索要求の中に画像中の対象物の空間的特性に基づく
情報検索等に関するものがある。
【0003】このような検索をかける際に、問い合わせ
に用いる領域画像とデータベース中の領域画像をマッチ
ングさせる必要があり、対象物の位置情報と対象物の領
域の形状情報を元に類似度を判断している。なおここで
言う領域画像とは、模様・色・面積・コントラスト等の
特徴量に基づき、マトリクスで領域分割されている画像
のことである。
【0004】
【発明が解決しようとする課題】しかしながら、問い合
わせに用いる領域画像及びデータベース中の領域画像は
違う視点で作成される場合が多く、特に問い合わせに用
いる領域画像は、利用者の記憶違いや、忘却、領域の分
けすぎ等が起こって、実際にマッチングさせる際に困難
を生じる。また、色情報と領域情報の双方を考慮にいれ
た整合を行うには双方の指定の曖昧性や記憶の欠落等を
考慮にいれなければならず、整合が困難であった。
【0005】本発明は、このような問題を解決し、色情
報や形状情報を手がかりに利用者の曖昧な記憶のもとで
も検索できるための画像統合・整合方式の実現を目的と
する。
【0006】
【課題を解決するための手段】本発明の請求項1の画像
統合・整合方式は、あらかじめ領域分割された画像どう
しの整合を行う際に、領域毎の対応関係が明確になるよ
うに領域を統合した後、統合後の領域に対して形状情報
を用いて画像間の整合度を判断する。
【0007】本発明の請求項2の画像統合・整合方式は
、あらかじめ領域分割された画像どうしの整合を行う際
に、領域毎の対応関係が明確になるように領域を統合し
た後、統合後の領域に対して、統合後の形状情報と、統
合前の色情報の双方を用いて整合度を判断する。
【0008】本発明の請求項3の画像統合・整合方式は
、請求項1又は2記載の画像統合・整合方式において二
つの画像の領域同士の対応が一対一となるような領域を
抽出した後、対応のつかない領域は統合により対応関係
を崩さないようにすでに対応のついた領域の一部へと統
合することを繰り返すことにより、統合後の領域が一対
一となるようにする。
【0009】本発明の請求項4の画像統合・整合方式は
、請求項2記載の画像統合・整合方式において領域統合
後の画像の類似度の算出を、統合後の領域毎に同一領域
に統合に統合される前の複数の領域の各領域の画素数と
前もって与えておいた統合前の要素領域の領域間の色の
類似度を掛け合わせた形で測定する。
【0010】
【作用】本発明は画像情報を色や形状に対する断片的な
記憶や曖昧な問い合わせを整合することができる画像統
合・整合方式である。
【0011】
【実施例】本発明の請求項1の実施例について図面を参
照して説明する。
【0012】図1は本発明の請求項1の一実施例を示す
機能ブロック図である。図5は本発明の領域画像の一例
を示す図であり、図6は処理の過程を簡単に示すための
図である。
【0013】図1において、入力手段1により利用者が
問い合わせのために作成した画像を入力する。領域画像
の形態の一例として、図5のように領域を示したマトリ
ックスと領域の特徴量(色、コントラスト)を表した画
像が考えられる。同様にして画像データベース中からも
同様に領域画像を入力する。次に領域分割画像正規化手
段2は入力手段1より領域画像を受け取り、一方あるい
は双方の画像を縮小または拡大することにより同じ画像
サイズにまで正規化する。(図6のステップ1)領域統
合手段3は領域分割画像正規化手段2より正規化された
画像を受け取り、両画像で分けられた領域が明確に対応
づくことができるように領域を統合する。(図6のステ
ップ2)領域統合手段3の実現する為の方法の一つを請
求項3の発明に記載する。
【0014】領域整合度導出手段4は領域統合手段3よ
り統合後の画像を受け取り、領域数と領域毎の形状の整
合度を導出する。一例として同じ座標の領域番号が等し
い画素数を導出する。
【0015】出力手段5は領域整合度導出手段4より整
合結果を受け取り出力する。
【0016】次に本発明の請求項2の実施例について図
面を参照して説明する。
【0017】図2は本発明の請求項2を実施するための
機能ブロック図である。
【0018】図2において入力手段21により利用者が
問い合わせのために作成した画像を入力する。領域画像
の形態の一例として、図5のように領域を示したマトリ
ックスと領域の特徴量を表した画像が考えられる。同様
にして画像データベース中からも同様に領域画像を入力
する。次に領域分割画像正規化手段22は入力手段21
より領域画像を受け取り、一方あるいは双方の画像を縮
小または拡大することにより同じ画像サイズにまで正規
化する。(図6のステップ1)領域統合手段23は領域
分割画像正規化手段22より正規化された画像を受け取
り、両画像で分けられた領域が明確に対応づくことがで
きるように領域を統合する。(図6のステップ2)領域
統合手段23を実現する為の方法の一つを請求項3の発
明に記載する。
【0019】領域整合度導出手段24は領域統合手段2
3より統合後の画像を受け取り、領域数と領域毎の形状
の整合度を導出する。一例として同じ座標の領域番号が
等しい画素数を導出する。
【0020】色情報整合度導出手段25は入力手段21
より領域の色情報を受け取り、また領域統合手段23よ
り統合に関する情報を受け取り色情報についての整合度
を導出する。色情報整合度導出手段25を実現するため
の方法の一つを請求項4の発明に記載する。
【0021】画像間整合度導出手段26は領域整合度導
出手段24及び色情報整合度導出手段25より整合結果
を受け取り、両方を考慮することで画像全体の整合度を
導出する。
【0022】一例として、形状による整合度と色情報に
よる整合度の線形結合によって全体の整合度とし、新た
に導出された整合度を統合後の領域数をもとに前もって
与えておいた値に換算するという方法がある。
【0023】出力手段27は画像間整合度導出手段26
より整合結果を受け取り出力する。
【0024】次に本発明の請求項3の実施例について図
面を参照して説明する。
【0025】図3は本発明の請求項3の一実施例を示す
機能ブロック図である。図7は本発明の請求項3の処理
の流れを示す流れ図である。図8は本発明の請求項3に
おける対応関係を示す図である。
【0026】図3において入力手段31は2枚の領域画
像を読み込む。(図7のステップ71)この際、2枚の
画像をA、Bとする。画素単位対応関係導出手段32は
2枚の画像の画素毎の対応関係を導出する。2枚の領域
画像の(m、n)(x座標がm、y座標がn)の領域の
値をそれぞれAmn、Bmnとする。いま、画像A中の
a領域の対応領域bを、画像A中の領域aに属する全て
の画素(Amn=aなる全ての(m、n))について、
画像B中での領域をBmnの多数決で決めたものとして
a→bと記す。この場合、bはaの参照リンクである。 同様にして画像B中のb領域の対応領域をa←bと記す
。この場合、aはbの参照リンクである。画素単位対応
関係導出手段32は画像A中の全ての領域について対応
領域をもとめ、また、画像B中の全ての領域について対
応領域を求める。(図7のステップ72、73)画素単
位対応関係記憶手段33はこの結果を記憶する。画素単
位対応関係記憶手段33の対応関係の対応の様子を図8
に示す。
【0027】一対一対応領域導出手段4は、a→bかつ
a←bなる領域の組(a、b)を見つけだしこれらに新
たな領域番号をつける。(図7のステップ74)領域統
合手段35は一対一対応領域導出手段34で新たに領域
番号がつけられなかった領域について領域統合を行う。 残った領域のうち、対応領域がすでに新しい領域番号が
つけられた者は、その領域番号を新たな領域番号とする
という処理をA、B全ての領域に番号がつけられるまで
繰り返す。(図7ステップ75)こうして新たにつけら
れた領域番号にしたがった結果を出力手段36は出力す
る。(図7のステップ76)次に本発明の請求項4の実
施例について図面を参照して説明する。
【0028】図4は本発明の請求項4の一実施例を示す
機能ブロック図である。図9は本発明の請求項4におけ
る色整合度の計算方法を示す図である。
【0029】図4において入力手段41は、領域統合後
(領域毎に一対一に対応のとれた)領域画像及び、領域
統合前の画像とその領域についての色情報を入力する。
【0030】領域単位情報抽出手段42は統合後の領域
毎に色整合度を導出するために必要な変数である統合前
の領域の各々の画素数、色情報を抽出する。
【0031】色間距離得点導出手段44は2色の色の入
力があったときにそのあいだの類似度を計算して返す。 一例として、2色の色相、明度成分をそれぞれH1、V
1、H2、V2また、DISTを2つのベクトル間の距
離としたとき   得点=CONST−DIST(A1,A2)  但
しA1=(H1×i,V1×j),A2=(H2×i,
V1×j)(ただしi、jは適当な重み係数、cons
tは得点を正に保つための定数)や彩度の大きさによっ
てiの値を変化させる方法等がある。
【0032】領域単位色整合手段43は、統合前の領域
の画素数、色情報を領域単位情報抽出手段42より受け
取り、色情報を色間距離得点導出手段44に送って得ら
れた色間距離得点と画素数とをかけ算する事によって領
域毎の色整合度を導出する。
【0033】整合総和導出手段45は領域単位色整合手
段43より領域毎の整合度を受け取りそれらを加算する
ことによって画像全体の色整合度を導出する。
【0034】出力手段46は整合総和導出手段45より
結果を受け取り出力する。
【0035】
【発明の効果】以上説明したように、本発明によれば、
問い合わせに用いる領域画像及びデータベース中の領域
画像は違う視点で作成されたことによる、利用者の記憶
違いや、領域の忘却、領域の分けすぎ等によるマッチン
グの困難を解消することができるという効果がある。こ
のことにより、検索の際のマッチングに曖昧性をもたせ
ることが可能になる。すなわち、利用者が問い合わせの
際忘れてしまった特徴についてはたとえデータベース中
で確認されていても統合の段階でまとめられるので高い
得点で検索されるという効果がある。また、逆に利用者
の入力にデータベース中にない特徴が入っていても統合
してから検索するので検索に支障をきたさないという効
果がある。さらに本発明では色情報と形状情報の両方を
効率的に用いているので検索する際どちらか一方の情報
が曖昧になり極端な場合忘れてしまっても検索すること
が可能になるという効果がある。
【図面の簡単な説明】
【図1】本発明の請求項1の一実施例を示す機能ブロッ
ク図
【図2】本発明の請求項2の一実施例を示す機能ブロッ
ク図
【図3】本発明の請求項3の一実施例を示す機能ブロッ
ク図
【図4】本発明の請求項4の一実施例を示す機能ブロッ
ク図
【図5】本発明の領域画像の一例を示す図
【図6】本発
明の請求項1又は2の処理の過程を示す図
【図7】本発
明の請求項3の処理の流れを示す流れ図
【図8】本発明
の請求項3における対応関係を示す図
【図9】本発明の
請求項4における色整合度の計算方法を示す図
【符号の説明】
1  入力手段 2  領域分割画像正規化手段 3  領域統合手段 4  領域整合度導出手段 5  出力手段 21  入力手段 22  領域分割画像正規化手段 23  領域統合手段 24  領域整合度導出手段 25  色情報整合度導出手段 26  画像間整合度導出手段 27  出力手段 31  入力手段 32  画素単位対応関係導出手段 33  領域対応関係記憶手段 34  一対一対応領域導出手段 35  領域統合手段 36  出力手段 41  入力手段 42  領域単位情報抽出手段 43  領域単位色整合手段 44  色間距離得点導出手段 45  整合総和導出手段 46  出力手段

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】  あらかじめ領域分割された画像どうし
    の整合を行う際に、領域毎の対応関係が明確になるよう
    に領域を統合した後、統合後の領域に対して形状情報を
    用いて前記画像間の整合度を判断する画像統合・整合方
    式。
  2. 【請求項2】  あらかじめ領域分割された画像どうし
    の整合を行う際に、領域毎の対応関係が明確になるよう
    に領域を統合した後、統合後の領域に対して、統合後の
    形状情報と、統合前の色情報の双方を用いて前記画像間
    の整合度を判断する画像統合・整合方式。
  3. 【請求項3】  ある画像と整合すべき別の画像の各領
    域ごとに最も対応している相手の画像中の領域を指すリ
    ンクを参照リンクと呼ぶとき、前記ある画像中のある領
    域と前記整合すべき別の画像中のある領域の間で相互に
    参照リンクが張られている領域の対を一対一に対応して
    いる領域として抽出した後、一体一に対応のつかない領
    域は前記対応のつかない領域の参照リンク先の領域がす
    でに前記対応のつかない領域と別の領域の間で一対一の
    対応がついているときに限り、前記対応のつかない領域
    と別の領域と前記対応のつかない領域を統合するという
    処理を繰り返すことにより、統合後の領域が一対一とな
    るようにする請求項1又は2記載の画像統合・整合方式
  4. 【請求項4】  領域統合後の画像の類似度の算出を、
    統合後の領域毎に同一領域に統合される前の複数の領域
    の各領域の画素数と前もって与えておいた統合前の構成
    領域の領域間の色の類似度を掛け合わせた形で測定する
    請求項2記載の画像結合・整合方式。
JP3002932A 1991-01-16 1991-01-16 画像整合方法及び装置 Expired - Fee Related JP3010747B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3002932A JP3010747B2 (ja) 1991-01-16 1991-01-16 画像整合方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3002932A JP3010747B2 (ja) 1991-01-16 1991-01-16 画像整合方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP11250076A Division JP2000067248A (ja) 1999-09-03 1999-09-03 画像整合方法及び装置

Publications (2)

Publication Number Publication Date
JPH04241684A true JPH04241684A (ja) 1992-08-28
JP3010747B2 JP3010747B2 (ja) 2000-02-21

Family

ID=11543123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3002932A Expired - Fee Related JP3010747B2 (ja) 1991-01-16 1991-01-16 画像整合方法及び装置

Country Status (1)

Country Link
JP (1) JP3010747B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195396A (ja) * 1992-09-25 1994-07-15 Nec Corp 画像の構造情報に基づく画像クラスタリング方法及び装置
JPH06243178A (ja) * 1993-02-12 1994-09-02 Nec Corp 画像検索方法および装置
US5781899A (en) * 1994-10-27 1998-07-14 Nec Corporation Image index production method and image index production system for image storage and management system
JP2007259085A (ja) * 2006-03-23 2007-10-04 Casio Comput Co Ltd 撮像装置、画像処理装置、画像補正方法及びプログラム
WO2008120678A1 (ja) * 2007-03-29 2008-10-09 Nec Corporation コンテンツ価値評価方法並びに装置並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195396A (ja) * 1992-09-25 1994-07-15 Nec Corp 画像の構造情報に基づく画像クラスタリング方法及び装置
JPH06243178A (ja) * 1993-02-12 1994-09-02 Nec Corp 画像検索方法および装置
US5781899A (en) * 1994-10-27 1998-07-14 Nec Corporation Image index production method and image index production system for image storage and management system
JP2007259085A (ja) * 2006-03-23 2007-10-04 Casio Comput Co Ltd 撮像装置、画像処理装置、画像補正方法及びプログラム
WO2008120678A1 (ja) * 2007-03-29 2008-10-09 Nec Corporation コンテンツ価値評価方法並びに装置並びにプログラム

Also Published As

Publication number Publication date
JP3010747B2 (ja) 2000-02-21

Similar Documents

Publication Publication Date Title
Han et al. Fuzzy color histogram and its use in color image retrieval
KR100874787B1 (ko) 형태를 사용하여 객체를 표현 및 탐색하기 위한 방법 및장치
Huttenlocher et al. View-based recognition using an eigenspace approximation to the Hausdorff measure
KR100892470B1 (ko) 화상 또는 화상들의 시퀀스 내의 오브젝트를 표시 및 검색하기 위한 방법, 장치 및 컴퓨터 판독가능 기록매체
CN109348731A (zh) 一种图像匹配的方法及装置
US20040062440A1 (en) Sprite recognition in animated sequences
JPH05181411A (ja) 地図情報照合更新方式
JPH04241684A (ja) 画像整合方法及び装置
KR20010026397A (ko) 영상의 유사도 비교방법 및 그를 이용한 영상 검색 방법 및 장치
Cruz et al. Stereo matching technique based on the perceptron criterion function
CN114299101A (zh) 图像的目标区域获取方法、装置、设备、介质和程序产品
JPH08137908A (ja) 画像検索方法及び装置
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
JPH10111946A (ja) 画像追跡装置
EP4036795A1 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
CN115661254A (zh) 一种多人姿态估计方法及相关装置
JP3680658B2 (ja) 画像認識方法及び画像認識装置
JP7369247B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7405448B2 (ja) 画像処理方法及び画像処理システム
Bastos et al. Automatic camera pose initialization, using scale, rotation and luminance invariant natural feature tracking
JP2003323616A (ja) 画像処理装置及びその方法と、画像処理プログラム及びそのプログラムを記録した記録媒体
JP2000067248A (ja) 画像整合方法及び装置
JPH07332970A (ja) 画像処理方式
JP2581380B2 (ja) 画像の構造情報に基づく画像クラスタリング方法及び装置
JP6427534B2 (ja) パターン識別装置、方法、及びプログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071210

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081210

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091210

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees