JPH05135174A - 画像特徴抽出装置、画像照合装置および画像検索装置 - Google Patents

画像特徴抽出装置、画像照合装置および画像検索装置

Info

Publication number
JPH05135174A
JPH05135174A JP3294605A JP29460591A JPH05135174A JP H05135174 A JPH05135174 A JP H05135174A JP 3294605 A JP3294605 A JP 3294605A JP 29460591 A JP29460591 A JP 29460591A JP H05135174 A JPH05135174 A JP H05135174A
Authority
JP
Japan
Prior art keywords
image
feature
unit
midpoint
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3294605A
Other languages
English (en)
Inventor
Hiroshi Akahori
裕志 赤堀
Hisayo Yamazaki
久代 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP3294605A priority Critical patent/JPH05135174A/ja
Publication of JPH05135174A publication Critical patent/JPH05135174A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】検索条件を例示画で与える場合に生じる回転や
位置ずれ、拡大・縮小に強い画像特徴抽出装置、画像照
合装置、画像検索装置を提供すること。 【構成】画像特徴抽出装置11が画像の特徴量として画
像中の直線部分の傾き、あるいは画像中の線分間の配置
関係を求めることにより、位置ずれや拡大・縮小に不変
な特徴量を抽出し、画像照合装置14が抽出した特徴量
をメンバシップ関数を用いて表現し、メンバシップ関数
の重なり度合で画像間の照合を行うことにより、回転に
強い照合を行い、このような画像特徴抽出と画像照合を
行って画像検索を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、利用者が手書きスケッ
チなどの例示画を提示することによって、画像データベ
ースから例示画に類似した画像を検索する場合などに用
いられる画像特徴抽出装置、画像照合装置および画像検
索装置画像検索装置に関するものである。
【0002】
【従来の技術】従来の画像検索装置としては、例えば電
子情報通信学会技術研究報告IE88-118,pp.31-38 に示さ
れているものがある。
【0003】この従来の画像検索装置の構成を図12に
示す。図において、画像入力部16は画像データベース
として蓄積する画像を取り込む手段、エッジ検出部17
は、入力された画像のエッジを検出する手段、細線化部
18はそのエッジを細線化して線画に変換する手段であ
る。特徴量抽出部19は線画の特徴を抽出する手段、特
徴量記憶部20は特徴量抽出部19が抽出した画像特徴
を記憶する手段、画像データ記憶部21は画像入力部1
6から入力された画像データを記憶する手段、例示画入
力部22は検索要求としてユーザが示した例示画を取り
込む手段、特徴量抽出部23は例示画の特徴を抽出する
手段、検索処理部24は特徴量抽出部23で抽出した例
示画の特徴量と特徴量記憶部20が記憶している蓄積画
像の画像特徴を比較して候補画像を求める手段、画像出
力部25は検索処理部24が求めた候補画像を画像デー
タ記憶部21より取り出し出力する手段である。以上の
ように構成された従来の画像検索装置の動作を以下に説
明する。
【0004】画像の蓄積時は、画像データを画像入力部
16から入力する。入力画像は画像データ記憶部21に
記憶されるとともに、エッジ検出部17に与えられてエ
ッジ検出が行われる。エッジ検出された画像は細線化部
18で細線化処理が行われた後に特徴量抽出部19に入
力され、その画像特徴が抽出される。特徴量抽出部19
では画像kの細線化された線画像に対して、図13に示
すように3×3画素のメッシュでの0°、45°、90
°、135°、180°の各方向線分の出現頻度pkを
画像特徴として求め、特徴量記憶部20に記憶する。
【0005】画像検索時は、ユーザは検索要求として例
示画を例示画入力部22に入力する。特徴量抽出部23
では例示画に対して蓄積画と同様の特徴量qを抽出す
る。検索処理部24では、例示画から求めた特徴量qと
画像特徴記憶部20に記憶されている特徴量pkを比較
し、各方向線分の出現頻度が近い画像を候補画像として
求める。検索処理部24で求めた候補画像を画像データ
記憶部21から取り出して、画像出力部25に検索結果
として表示する。
【0006】
【発明が解決しようとする課題】しかしながら、上記の
ように従来の画像検索装置では、画像から抽出する特徴
量は方向線分の出現頻度であった。このためユーザが希
望する画像を蓄積画像の中から取り出すためには、例示
画は原画にかなり正確に似たものでなければならなかっ
た。例えば、例示画の方が原画よりサイズが大きい場
合、各方向線分の出現頻度は例示画の方が多くなり照合
しなくなることがあった。一般には、検索条件を例示画
で与える場合、原画を正確に表現した例示画を描くこと
は不可能に近く、回転や位置ずれ、拡大・縮小は確実に
生じる。したがって、従来の検索装置では検索者の意図
する検索結果が得られないことが多くあった。
【0007】本発明はかかる従来の画像検索装置の課題
に鑑み、検索条件を例示画で与える場合に生じる回転や
位置ずれ、拡大・縮小に強い画像特徴量抽出装置、画像
の特徴を照合する画像照合装置、またそれらを用いた画
像検索装置を提供することを目的とする。
【0008】
【課題を解決するための手段】第1の本発明は、画像か
ら直線を検出する直線検出手段を備え、直線検出手段で
検出した複数の直線の傾きを画像の特徴量とする装置で
ある。
【0009】第2の本発明は、画像から線分を検出する
線分検出手段と、線分の中点を求める中点検出手段と、
中点検出手段で求めた各線分の中点の中心を検出する中
心点検出手段を備え、各線分の傾きと中心点から各線分
の中点への方向を画像の特徴量とする装置である。
【0010】第3の本発明は、画像から求めた画像特徴
量をメンバシップ関数で表現し、画像間の類似度を前記
メンバシップ関数の重なり度合より求める画像照合装置
である。
【0011】第4の本発明は、以上の手段からなる画像
特徴抽出装置と画像照合装置と、画像を記憶する画像記
憶部と、検索要求画像を入力する画像入力部を備えた画
像検索装置である。
【0012】
【作用】本発明では、画像の特徴量として画像中の直線
部分の傾き、あるいは画像中の線分間の配置関係を求め
ることにより、位置ずれや拡大・縮小に不変な特徴量を
抽出することができる。
【0013】また、抽出した特徴量をメンバシップ関数
を用いて表現し、メンバシップ関数の重なり度合で画像
間の照合を行うことにより、回転に強い照合を行うこと
が可能となる。
【0014】また、このような画像特徴抽出装置と画像
照合装置を用いて画像検索装置を構成することにより、
検索者の意図する画像を蓄積した画像の中から取り出す
ことが可能となる。
【0015】
【実施例】以下、本発明の実施例について図面を参照し
て説明する。
【0016】本発明の第1の実施例の画像特徴抽出装置
について説明する。第1の実施例の画像特徴抽出装置の
構成を図1に示す。図1において、画像入力部1は画像
特徴を抽出するための画像を取り込む手段、エッジ検出
部2はエッジ検出を行う手段、直線検出部3はエッジ画
像から直線部分を検出する手段、傾き抽出部4は画像特
徴として直線の傾きを抽出する手段である。
【0017】以上のように構成された第1の実施例の画
像特徴抽出装置の動作について、図2に示す画像から特
徴量を抽出する場合を例にして説明する。まず、図2に
示す画像が画像入力部1から取り込まれる。取り込まれ
た画像に対して、エッジ検出部2において、エッジ検出
が行われる。ここで、エッジ検出の手法にはラプラシア
ンフィルタやソーベルフィルタなど各種の手法が存在す
るが、いずれの手法を用いてもよい。図3にエッジ検出
の結果を示す。エッジ検出部2で求めた図3のようなエ
ッジ画像に対して、直線検出部3で直線検出を行う。直
線検出の手法として、たとえばハフ変換を用いる。ハフ
変換とは、検出したい線の種類が決まっており、その形
状を方程式の形で表現できる場合に、原画像の図形画素
をパラメータ空間に写像し、パラメータ空間内の点の累
積度と分布状態から図形を抽出する手法である。図4の
1〜l5に検出した直線を示す。直線検出部3で検出し
た直線l1〜l5に対し、傾き抽出部4で各直線の傾きを
抽出する。傾き抽出部4で検出した直線の傾きが、画像
の特徴量となる。
【0018】次に本発明の実施例で抽出される画像特徴
量が、位置ずれや拡大・縮小に不変な特徴量であること
を説明する。図5に図2と相似な図形が存在する画像を
示す。図5に示す画像に対して、図2に示した画像と同
様にして本実施例の画像特徴抽出装置を用いて直線の傾
きを抽出すると、図5と図2の特徴量はまったく同一の
ものとなる。すなわち、画像中に存在する図形の相似性
が保存されれば、位置ずれや拡大・縮小が生じたとして
も直線の傾きは変化しないことが分かる。
【0019】以上説明したように、本発明の実施例によ
れば画像中の直線部分の傾きを検出して画像特徴量とす
ることで、位置ずれや拡大・縮小に不変な特徴量を得る
ことが可能となる。
【0020】次に本発明の第2の実施例の画像特徴抽出
装置について説明する。第2の実施例の画像特徴抽出装
置の構成を図6に示す。図1と同一のものには同一番号
を付け、説明を省略する。図6において、線分検出部5
は線分を検出する手段、中点検出部6は線分の中心を検
出する手段、中心点検出部7は中点の中心点を検出する
手段、中点方向検出部8は中心点から各線分の中点への
ベクトルの方向を求める手段である。
【0021】以上のように構成された第2の実施例の画
像特徴抽出装置の動作について、図7に示す画像から特
徴量を抽出する場合を例にして説明する。まず、図7に
示す画像が画像入力部1から取り込まれる。取り込まれ
た画像に対して、直線を検出する過程までは本発明の第
1実施例と同様である。その後、線分検出部5では、直
線検出部3で検出した直線と、エッジ検出部2で求めた
エッジ画像を比較することによって線分を検出し、その
傾きを求める。中点検出部6では、線分検出部5で検出
した各線分の中点c1〜c4を検出する。中心点検出部7
では、中点c1〜c4の中心点gを(数1)にしたがって
求める。
【0022】
【数1】 (gx,gy)=((c1x+c2x+c3x+c4x)/4, (c1y+c2y+c3y+c4y)/4) 図8に各線分の中点c1〜c4と、中点の中心点gを示
す。中点方向検出部8では、図8の矢印で示すように中
心点gから各線分の中点c1〜c4へのベクトルの方向を
求め、線分検出部5で求めた各線分の傾きとともに画像
の特徴量とする。
【0023】以上のように、画像中の線分の傾きと、各
線分の配置関係として中心点からの方向を画像特徴量と
することで、位置ずれや拡大・縮小に不変な特徴量を得
ることが可能となる。
【0024】次に本発明の画像照合装置の実施例につい
て説明する。本実施例は、実施例1もしくは実施例2で
求めた画像特徴を用いて、2枚の画像を照合する装置で
ある。ここでは一例として、直線の傾きを特徴量とした
場合について説明する。
【0025】図9(a)、(b)に照合する2枚の画像
を示す。図9(b)は(a)に似た図形をわずかに回転
させたものである。この2枚の画像はそれぞれ2本の線
分から構成されているので、特徴量として(a)はa
1、a2、(b)はb1、b2の傾きが検出される。a1、
a2、b1、b2は実数値であるが、この値においてメン
バシップ値が1となるメンバシップ関数A1、A2、B
1、B2に変換する。図10に各メンバシップ関数を示
す。このメンバシップ関数を用いて画像間の類似度合を
計算して照合を行う。類似度合の計算は(数2)にした
がって求める。
【0026】
【数2】 min[ max{ max(A1∧B1),max(A1∧B2) }, max{ max(A2∧B1),max(A2∧B2) }] 図10において、(数2)に基づいて類似度合の計算を
行うと、max(A1∧B1) が類似度合となる。
【0027】以上のようにメンバシップ関数を用いて画
像間の照合を行うことによって、照合する画像間で回転
方向に若干のずれがある場合においても、類似度合を求
めることが可能となる。なお、本実施例では照合する2
枚の画像の特徴量をともにメンバシップ関数に変換して
いるが、いずれか一方のみでもよい。
【0028】次に本発明の画像検索装置の実施例につい
て説明する。本実施例は、実施例1もしくは実施例2の
画像特徴抽出装置と、前記画像照合装置を用いて画像検
索装置を構成するものである。その構成を図11に示
す。図において、画像入力部9は画像データベースとし
て蓄積する画像を取り込む手段、例示画入力部10は検
索要求としてユーザが示した例示画を取り込む手段、画
像特徴量抽出装置11は、上記画像特徴装置、画像デー
タ記憶部12は画像入力部9から入力された画像データ
を記憶する手段、徴量記憶部13は画像特徴量抽出装置
11が抽出した画像特徴を記憶する手段、画像照合装置
14は例示画の特徴量と特徴量記憶部13が記憶してい
る蓄積画像の画像特徴を比較して候補画像を求める装
置、画像出力部15は画像照合装置が求めた候補画像を
画像データ記憶部12より取り出し出力する手段であ
る。以上のように構成された画像検索装置の動作を以下
に説明する。
【0029】画像蓄積時には、画像データベースとして
蓄積する画像を画像入力部9が取り込み、画像データ記
憶部12がその画像を記憶する。入力された画像に対
し、画像特徴抽出装置11が画像特徴を抽出する。画像
特徴の抽出に関しては、第1の実施例および第2の実施
例で説明したとおりである。
【0030】画像検索時には、例示画入力部10がユー
ザの示した検索を要求する画像の例示画を取り込む。例
示画は、検索画像のイメージをユーザが手書きで表した
ものや類似した画像で与えられる。取り込まれた画像か
ら、画像特徴抽出装置11が画像特徴を抽出する。画像
照合装置14では、上述したように、画像蓄積時に作成
された画像特徴記憶部13に記憶されている蓄積画像の
特徴量と例示画の特徴量の比較が行われ、蓄積画像と例
示画像の類似度合が求められる。求められた類似度合の
中で最も類似度合が高い画像を画像データ記憶部12か
ら取り出し、画像出力部15に出力する。
【0031】以上説明した本実施例の画像検索装置で
は、画像特徴量として第1および第2の実施例で述べた
ように位置ずれや拡大・縮小に不変な特徴量を用いてい
るため、ユーザーが検索要求として示す例示画は、原画
に対してサイズが異なっていたり、位置がずれていても
よい。また、画像照合装置においては、上述したよう
に、照合する2枚の画像がある程度回転していても照合
可能である。したがって、本実施例の画像検索装置は、
検索要求としての例示画が比較的おおざっぱなものであ
っても、検索者の意図する画像を蓄積した画像の中から
取り出すことが可能となる。
【0032】なお、本実施例において、画像出力部15
は画像照合装置14が求めた照合度合の中で最も高い画
像を出力したが、照合度合がある程度以上の画像を複数
出力するようにしてもよい。
【0033】また、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現しても、それら機能を有す
る専用のハード回路を用いて実現してもかまわない。
【0034】
【発明の効果】以上のように、本発明によれば、位置ず
れや拡大・縮小に不変な画像特徴量を得ることができ
る。
【0035】また、回転に強い画像照合を行うことがで
きる。
【0036】また、これらの画像特徴と画像照合を用い
た画検索装置では、検索者が提示する例示画像はあまり
正確なものでなくても、検索要求に近い画像を得ること
ができる。
【図面の簡単な説明】
【図1】本発明の実施例の画像特徴抽出装置を示すブロ
ック図である。
【図2】本発明の実施例の入力画像例を示す図形図であ
る。
【図3】本発明の実施例のエッジ画像を示す図形図であ
る。
【図4】本発明の実施例で検出した直線を示す図形図で
ある。
【図5】本発明の実施例の入力画像例を示す図形図であ
る。
【図6】本発明の画像特徴抽出装置を示すブロック図で
ある。
【図7】同装置の入力画像を示す図形図である。
【図8】同装置の特徴量抽出手法を説明する図形図であ
る。
【図9】同装置の入力画像を示す図形図である。
【図10】本発明の画像照合装置のメンバーシップ関数
を説明する図である。
【図11】本発明の画像検索装置の実施例を示すブロッ
ク図である。
【図12】従来例の画像検索装置を示すブロック図であ
る。
【図13】従来例の画像特徴量を説明する図形図であ
る。
【符号の説明】
1 画像入力部 2 エッジ検出部 3 直線検出部 4 傾き検出部 5 線分検出部 6 中点検出部 7 中心点検出部 8 中点方向検出部 11 画像特徴抽出装置 14 画像照合装置

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】画像から直線を検出する直線検出手段を備
    え、前記直線検出手段で検出した複数の直線の傾きを画
    像の特徴量とすることを特徴とする画像特徴抽出装置。
  2. 【請求項2】画像から線分を検出する線分検出手段と、
    前記線分の中点を求める中点検出手段と、前記中点検出
    手段で求めた各線分の中点の中心を検出する中心点検出
    手段を備え、各線分の傾きと前記中心点から前記各線分
    の中点への方向を画像の特徴量とすることを特徴とする
    画像特徴量抽出装置。
  3. 【請求項3】画像から求めた画像特徴量をメンバシップ
    関数で表現し、画像間の類似度を前記メンバシップ関数
    の重なり度合より求めることを特徴とする画像照合装
    置。
  4. 【請求項4】請求項1もしくは請求項2記載の画像特徴
    抽出装置と、請求項3記載の画像照合装置と、画像を記
    憶する画像記憶手段と、検索要求画像を入力する画像入
    力手段を備え、前記画像入力手段に入力した検索要求画
    像と前記画像記憶手段に記憶した画像に対して前記特徴
    量抽出装置で画像特徴を抽出し、前記画像照合装置で検
    索要求画像と前記画像記憶手段に記憶した画像との照合
    を行い、前記検索要求画像に類似した画像を前記画像記
    憶手段から取り出すことを特徴とする画像検索装置。
JP3294605A 1991-11-11 1991-11-11 画像特徴抽出装置、画像照合装置および画像検索装置 Pending JPH05135174A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3294605A JPH05135174A (ja) 1991-11-11 1991-11-11 画像特徴抽出装置、画像照合装置および画像検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3294605A JPH05135174A (ja) 1991-11-11 1991-11-11 画像特徴抽出装置、画像照合装置および画像検索装置

Publications (1)

Publication Number Publication Date
JPH05135174A true JPH05135174A (ja) 1993-06-01

Family

ID=17809926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3294605A Pending JPH05135174A (ja) 1991-11-11 1991-11-11 画像特徴抽出装置、画像照合装置および画像検索装置

Country Status (1)

Country Link
JP (1) JPH05135174A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047943A (ja) * 2005-08-08 2007-02-22 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2010003087A (ja) * 2008-06-19 2010-01-07 Canon Inc 画像処理装置および画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047943A (ja) * 2005-08-08 2007-02-22 Canon Inc 画像処理装置及びその制御方法、プログラム
US7876471B2 (en) 2005-08-08 2011-01-25 Canon Kabushiki Kaisha Image processing apparatus, control method and program thereof which searches for corresponding original electronic data based on a paper document
JP2010003087A (ja) * 2008-06-19 2010-01-07 Canon Inc 画像処理装置および画像処理方法
US8326085B2 (en) 2008-06-19 2012-12-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Similar Documents

Publication Publication Date Title
US11288823B2 (en) Logo recognition in images and videos
Schmid et al. Local grayvalue invariants for image retrieval
Chen et al. Noisy logo recognition using line segment Hausdorff distance
US7068843B2 (en) Method for extracting and matching gesture features of image
JP2011519090A (ja) 画像識別のためのスケールにロバストな特徴に基づく識別子
Guerreiro et al. Connectivity-enforcing Hough transform for the robust extraction of line segments
US8027978B2 (en) Image search method, apparatus, and program
US10127681B2 (en) Systems and methods for point-based image alignment
Jayaraman et al. An efficient minutiae based geometric hashing for fingerprint database
Oldal et al. Hand geometry and palmprint-based authentication using image processing
Le et al. Document retrieval based on logo spotting using key-point matching
US7295707B2 (en) Method for aligning gesture features of image
JP2864735B2 (ja) 物体識別方法および装置ならびに物体識別のための画像処理方法および装置
Prakash False mapped feature removal in spin images based 3D ear recognition
Shapiro et al. On hausdorff distance measures
Nam et al. A shape-based retrieval scheme for leaf images
JPH05135174A (ja) 画像特徴抽出装置、画像照合装置および画像検索装置
US7646918B2 (en) Systems and methods for recognizing objects in an image
Cheng The distinctiveness of a curve in a parameterized neighborhood: extraction and applications
JPH01271883A (ja) 指紋中心検出方式
Sukhadan et al. Image based book cover recognition and retrieval
JPH10162139A (ja) 画像処理装置、および画像処理プログラムを記録した媒体
Kurien et al. Accurate and efficient copy-move forgery detection
Fooprateepsiri et al. A highly robust approach image identification based-on Hausdorff-Trace transform
JPH0863599A (ja) クラスタリング方法およびその装置