JPH1139477A - 対応点探索装置 - Google Patents

対応点探索装置

Info

Publication number
JPH1139477A
JPH1139477A JP9191070A JP19107097A JPH1139477A JP H1139477 A JPH1139477 A JP H1139477A JP 9191070 A JP9191070 A JP 9191070A JP 19107097 A JP19107097 A JP 19107097A JP H1139477 A JPH1139477 A JP H1139477A
Authority
JP
Japan
Prior art keywords
template
search
area
image
corresponding point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9191070A
Other languages
English (en)
Inventor
Koichi Fujimura
浩一 藤村
Morihito Shiobara
守人 塩原
Eigo Segawa
英吾 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP9191070A priority Critical patent/JPH1139477A/ja
Publication of JPH1139477A publication Critical patent/JPH1139477A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】ステレオ画像や時系列画像など複数画像の同一
の部分を示すのに必要な画像の対応点探索装置に関し、
探索時間の短縮と対応検出の正確さとを両立させるこ
と、また、対応点探索の出発点を自動的に決定すること
を目的とする。 【解決手段】画像の画素毎の特徴値を抽出する特徴抽出
手段と、探索元となる画像の探索範囲内において、対応
点探索を行うためのテンプレートを画素の特徴値に基づ
いて決定する初期テンプレート設定手段と、初期テンプ
レートを出発点として、テンプレートとの相関値が所定
値以下の近傍内の領域を検出し、検出した領域を含めて
新テンプレートとするテンプレート生成手段と、生成さ
れたテンプレートを使って、探索先の画像においてマッ
チング処理を行う対応点探索手段とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ステレオ画像の対
応する点を特定したり、時系列画像の特定の点を追跡す
るなど、複数画像の同一の部分を示すのに必要な、画像
の対応点探索装置に関する。
【0002】
【従来の技術】画像の対応点探索の基本は、画素のもつ
特徴値に注目し、探索を行う領域に同じか近い特徴値を
もつ画素を探すことである。この場合、単独の画素を対
象にすると特徴値の近い画素が複数存在することがある
ので、近傍の画素も含めてテンプレートとして探索す
る。例えば、あらかじめ用意されたテンプレートを用い
て、それに一致する部分を検出する位置あわせの場合
や、指定された画像範囲をテンプレートとして、他の画
像の対応部分を探索する場合などがあるが、テンプレー
トが小さければ対応点探索を行う領域にテンプレートと
類似した領域が存在する可能性が増え、対応候補が複数
出現し誤対応を生じる。テンプレートを大きくすれば時
間がかかるし、かえって対応が取れなくなる場合もあ
る。
【0003】
【発明が解決しようとする課題】本発明は、探索時間の
短縮と対応検出の正確さとを両立させること、また、対
応点探索の出発点を自動的に決定することを目的とす
る。
【0004】
【課題を解決するための手段】本発明は、探索元側の画
像の領域内で、最初のテンプレートとして設定した領と
類似した領域を検出し、その領域も含めた領域を新テン
プレートとして設定する(テンプレートの拡大)。
【0005】すなわち、本発明は、画像間の対応点を探
索する装置において、画像の画素毎の特徴値を抽出する
特徴抽出手段と、探索元となる画像の探索範囲内におい
て、対応点探索を行うためのテンプレートを画素の特徴
値に基づいて決定する初期テンプレート設定手段と、初
期テンプレートを出発点として、テンプレートとの相関
値が所定値以下の近傍内の領域を検出し、検出した領域
を含めて新テンプレートとするテンプレート生成手段
と、生成されたテンプレートを使って、探索先の画像に
おいてマッチング処理を行う対応探索手段とを付加す
る。
【0006】さらに、このテンプレートと類似する領域
がないことを確認してテンプレートとして確定する。も
し、新テンプレートとの相関値が所定値以下の近傍内の
領域があるなら、同様の処理をなくなるまで繰り返して
順にテンプレートを拡大するとさらに完全になる。
【0007】図1により本発明の構成と動作の概要を説
明する。 初期テンプレートの決定 まず、特徴抽出手段1は処理対象となる画像A、B(ス
テレオ画像・時系列画像等)中の対応点探索を行う領域
a,bの各画素について特徴値を抽出し、特徴値データ
C,Dを得る。これらはそれぞれ領域a,bの各画素に
対応する。ここで抽出する特徴値としては、エッジ強度
・エッジ方向・色情報、それらの組み合わせ(荷重平均
値、ベクトル値)等が考えられる。
【0008】次に初期テンプレート設定手段2は、対応
点探索元とする画像A(例えばステレオ画像であれば左
画像)の指定領域a内の画素または数画素からなる小ブ
ロックから、特徴値が設定した基準値に当てはまるもの
1つを選びこれをテンプレートの初期値(初期テンプレ
ートE)とする。 統合処理、拡大テンプレート生成 初期テンプレートの周囲の所定の範囲(大きさは別途決
めればよい)を、初期テンプレートと特徴値が近い領域
(類似領域)がないか探索する(図3(1))。例え
ば、図4に示すように相関値を求め、所定の値以下であ
れば特徴値が近いとする。見つかれば、図3に示すよう
にその領域と初期テンプレートとを統合して新しいテン
プレートとする。統合方式には、特徴値がもっとも近い
ものと統合、最も位置的に近いものと統合、最も位置的
に遠いものと統合、等の方式が考えられる。どの方式で
もよい。統合処理の例を図3(2)(3)に示す。
【0009】この結合された新しいテンプレートは、初
期テンプレートと類似領域とを含む長方形領域をそのま
まテンプレートとしてもよいが、図5に示すように初期
テンプレートと類似領域とのみを相関演算の対象とする
ようにしてもよい。
【0010】次に、この統合してできたテンプレートを
基準にして、同様にして周囲の所定の範囲に特徴値が近
い領域がないか探索する。なければ統合終了と判定す
る。終了と判定しないときは再度テンプレート拡大、統
合処理を行う。あらかじめ段数の最大値を定めておくか
最大範囲を決めておいてもよい。
【0011】このようにして、多段のテンプレートを生
成し、保存する。 多段探索 統合終了と判定すると、探索先の画像(ステレオ画像で
あれば右画像)の探索領域において、生成した最大のテ
ンプレートを用いてマッチング処理を行う。一致する領
域があれば順に小さいテンプレートを用いてマッチング
処理を続ける。初期テンプレートとのマッチングによ
り、対応点が定まる。
【0012】通常特徴点は複数あるので、特徴点ごとに
以上の処理を行えばよい。なお、本発明は、対象を画像
に限定する必要はない。音声その他の情報であってもよ
い。また、本発明をソフトウェアで実現することが容易
であることは自明である。
【0013】
【発明の実施の形態】図1は本発明の実施例の対応点探
索装置の構成説明図であり、ソフトウェアにより実現し
た。図2はフローチャートである。以下、主に図2を参
照して本発明の実施例を説明する。
【0014】S1: ステレオカメラやビデオカメラ等
により入力された画像、あるいは、元々保存されていた
画像データを、対応点探索元の画像と対応点探索先の画
像に分けてメモリ上に展開する。以下ステレオ画像とし
て説明する。
【0015】この2つの画像に対し特徴抽出手段1にお
いて、対応点探索を行う領域の画素に対し特徴抽出を行
う。対応点探索を行う領域は画像全部でもよいし、操作
者が画面上で指定してもよい。
【0016】S2: 抽出された特徴のうち、対応点探
索元の画像のものは初期テンプレート設定手段2におい
て探索を行う特徴点を決定するために用いられる。特徴
値が、指定されたある値以上のもの、ある範囲に入って
いるもの等を自動的に決定してもよいし、画像上に表示
し、操作者が適当なものを選択指示することによって決
定してもよい。特徴点を中心として数画素の範囲を初期
テンプレートとする。初期テンプレートは1 画素でもよ
い。これらの初期テンプレートのおのおのについて以下
の処理を行う。
【0017】S3: テンプレート生成手段3 は、ま
ず、探索元画像内で類似領域を探す。具体的には初期テ
ンプレートの周囲の適当な範囲(大きさはあらかじめ定
めておけばよい)で特徴値の相関演算を行う。
【0018】図4は相関演算を説明する図である。a(i,
j),b(i,j) は、それぞれテンプレートAと対象領域Bの
位置(i,j)の画素の特徴量である。なお、テンプレ
ートおよび対象領域の要素すべてを演算の対象としなく
てもよい。特に後述する拡大テンプレートの場合は、元
のテンプレートと相関値が小として統合するテンプレー
トとの領域だけを演算対象としてもよい。
【0019】テンプレートAと対象領域Bとの相関値S
は、その2 つの類似度を表す。 S4,S5: 相関値Sが所定の閾値以下であれば、領
域統合・拡大テンプレートの生成の処理を行う。
【0020】領域の統合・拡大テンプレートの生成は、
以下のいずれかで行えばよい。 ・相関値がある閾値以下の領域を全て統合する。 ・相関値がある閾値以下の領域の内最も距離の近い領域
と統合する。 ・相関値がある閾値以下の領域の内最も距離の遠い領域
と統合する。 ・相関値が最小のものと統合する。
【0021】S7: こうして生成したテンプレート
と、その周囲の領域との相関値を求め、相関値の最小値
がある閾値以下の時は近傍に類似した領域があると判断
し、再度領域統合処理をおこなう。
【0022】S8: 最小値がある閾値より大きい時は
近傍に類似した領域は存在しないものと判断しそのテン
プレートを最終テンプレートとする。または所定の探索
範囲を超える場合にはそれで打ちきる。
【0023】統合結果であるテンプレートとそれ以前の
テンプレート(相対位置を記録した履歴としてもよい)
とを対応点探索手段4に渡す。 T1,T2: 対応点探索手段4は、対応点探索先の画
像上の所定の探索範囲に対し、生成されたテンプレート
を使用して、テンプレートが作成された段階を逆にたど
って類似領域を捜す。
【0024】探索範囲はあらかじめ算定しておくことが
できる。例えばステレオ画像では視差情報から中心位置
を算出できる。時系列画像の場合は1つ前の(探索元
の)画像と同じ位置とする。大きさは最終テンプレート
の一定倍とすればよい。その中でテンプレートとの相関
演算を行う。
【0025】T3〜T6: まず最終テンプレートとの
相関値が最小の(最も似ている)位置を求める。そのテ
ンプレートによって決まる位置を中心に少し拡張した範
囲で更に1 つ小さいテンプレートを用いて同様に相関演
算を行う。初期テンプレートで最小の相関値を検出すれ
ばそれが対応点(画素)であるので記録する。
【0026】T7: S3に戻り、初期テンプレートと
してきめたものすべてについて同様の処理を行う。 T8: 対応点のすべてが決まれば、それらを画面上に
表示するなどの後処理を行う。
【0027】なお、T2,T5で類似領域がないという
場合がありうる。例えば、ステレオ画像で前面にある部
分と背景部の画素とが同一テンプレートに入っている場
合である。このとき、左画像と右画像とで背景が異なる
ので相関値が異なることになる。これは無視して他の点
を探索すればよい。
【0028】
【発明の効果】以上説明したように、本発明によれば、
ステレオ画像間や時系列画像間の画素の対応点探索にお
いて、対応点探索を行う画素を含むテンプレートとし
て、近傍の領域との差異が明確なものが得られるため、
誤対応が低減でき、良好な対応点探索が行える。また、
テンプレートは自動的に生成することもできるため対応
点探索が容易になる。
【図面の簡単な説明】
【図1】 実施例の構成説明図
【図2】 実施例の処理フローチャート
【図3】 テンプレート生成例を示す図
【図4】 相関演算の例1
【図5】 相関演算の例2
【図6】 多段テンプレート
【図7】 対応点検索
【符号の説明】
1 特徴抽出手段 2 初期テンプレート設定手段 3 テンプレート生成手段 4 対応点探索手段 A 探索元画像 B 探索先画像 a 探索元探索範囲 b 探索先探索範
囲 C 探索元画像特徴値データ D 探索先画像特
徴値データ E 初期テンプレート F 多段テンプレ
ート G 探索結果

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 画像の画素毎の特徴値を抽出する特徴抽
    出手段と、 探索元となる画像の探索範囲内において、対応点探索を
    行うためのテンプレートを画素の特徴値に基づいて決定
    する初期テンプレート設定手段と、 初期テンプレートを出発点として、テンプレートとの相
    関値が所定値以下の近傍内の領域を検出し、検出した領
    域を含めて新テンプレートとするテンプレート生成手段
    と、 生成されたテンプレートを使って、探索先の画像におい
    てマッチング処理を行う対応点探索手段とを有すること
    を特徴とする画像対応点探索装置。
  2. 【請求項2】 請求項1に記載の対応点探索装置であっ
    て、 テンプレート生成手段は、初期テンプレートを出発点と
    して、テンプレートとの相関値が所定値以下の近傍内の
    領域を検出し、検出した領域を含めて新テンプレートと
    し、新テンプレートとの相関値が所定値以下の近傍内の
    領域がなくなるまで繰り返して最終テンプレートを生成
    し、 対応点探索手段は、テンプレート生成手段によって生成
    した最終テンプレートから初期テンプレートまでのテン
    プレートを使って、探索先の画像を段階的に探索するこ
    とを特徴とする対応点探索装置。
  3. 【請求項3】 データレコードの単位データ毎の特徴値
    を抽出する特徴抽出手段と、 探索元となるデータレコードの探索範囲内において、対
    応点探索を行うためのテンプレートを単位データの特徴
    値に基づいて決定する初期テンプレート設定手段と、 初期テンプレートを出発点として、テンプレートとの相
    関値が所定値以下の近傍内の領域を検出し、検出した領
    域を含めて新テンプレートとし、新テンプレートとの相
    関値が所定値以下の近傍内の領域がなくなるまで繰り返
    すテンプレート生成手段と、 生成されたテンプレートを使って、探索先のデータレコ
    ードにおいてマッチング処理を行う対応点探索手段とを
    有することを特徴とするデータレコード対応点探索装
    置。
  4. 【請求項4】 画像の画素毎の特徴値を抽出させる特徴
    抽出手段と、 探索元となる画像の探索範囲内において、対応点探索を
    行うためのテンプレートを画素の特徴値に基づいて決定
    させる初期テンプレート設定手段と、 初期テンプレートを出発点として、テンプレートとの相
    関値が所定値以下の近傍内の領域を検出し、検出した領
    域を含めて新テンプレートとさせるテンプレート生成手
    段と、 生成されたテンプレートを使って、探索先の画像におい
    てマッチング処理を行わせる対応点探索手段とを有する
    ことを特徴とする画像対応点探索プログラムを記録した
    コンピュータ読み取り可能な記録媒体。
JP9191070A 1997-07-16 1997-07-16 対応点探索装置 Withdrawn JPH1139477A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9191070A JPH1139477A (ja) 1997-07-16 1997-07-16 対応点探索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9191070A JPH1139477A (ja) 1997-07-16 1997-07-16 対応点探索装置

Publications (1)

Publication Number Publication Date
JPH1139477A true JPH1139477A (ja) 1999-02-12

Family

ID=16268379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9191070A Withdrawn JPH1139477A (ja) 1997-07-16 1997-07-16 対応点探索装置

Country Status (1)

Country Link
JP (1) JPH1139477A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020602A (ja) * 2008-07-11 2010-01-28 Nikon Corp 画像マッチング装置、およびカメラ
JP2010165248A (ja) * 2009-01-16 2010-07-29 Casio Computer Co Ltd 画像処理装置、画像照合方法、および、プログラム
JP4614582B2 (ja) * 2000-07-06 2011-01-19 富士通株式会社 部分テンプレート生成装置
JP2011210181A (ja) * 2010-03-30 2011-10-20 Secom Co Ltd 学習装置及び対象物検知装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614582B2 (ja) * 2000-07-06 2011-01-19 富士通株式会社 部分テンプレート生成装置
JP2010020602A (ja) * 2008-07-11 2010-01-28 Nikon Corp 画像マッチング装置、およびカメラ
JP2010165248A (ja) * 2009-01-16 2010-07-29 Casio Computer Co Ltd 画像処理装置、画像照合方法、および、プログラム
US8224069B2 (en) 2009-01-16 2012-07-17 Casio Computer Co., Ltd. Image processing apparatus, image matching method, and computer-readable recording medium
JP2011210181A (ja) * 2010-03-30 2011-10-20 Secom Co Ltd 学習装置及び対象物検知装置

Similar Documents

Publication Publication Date Title
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US6493465B2 (en) Matching point extracting method and apparatus therefor
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
WO2016179808A1 (en) An apparatus and a method for face parts and face detection
JP2003098424A (ja) 画像処理測距装置
CN110807110B (zh) 结合局部和全局特征的图片搜索方法、装置及电子设备
CN111881846B (zh) 图像处理方法和相关装置、设备、存储介质
JPH0746517A (ja) 動画像検索方法及び装置
US20190114501A1 (en) Target tracking method and system adaptable to multi-target tracking
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
EP3043315B1 (en) Method and apparatus for generating superpixels for multi-view images
JPH1139477A (ja) 対応点探索装置
JP2000132692A (ja) 曲線の特徴点抽出方法及びこの方法を記録した記録媒体
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
JPH06169458A (ja) 移動体の自動追尾装置
JP3794199B2 (ja) 画像のマッチング方法
JPH11120351A (ja) 画像マッチング装置および画像マッチングプログラムを格納する記憶媒体
CN107886102B (zh) Adaboost分类器训练方法及系统
JPH1021403A (ja) 対応点抽出方法及び装置
JP4609936B2 (ja) オブジェクト検出方式
CN115035552B (zh) 跌倒检测方法、装置、设备终端和可读存储介质
KR100533209B1 (ko) 영상검출방법
JPH09231358A (ja) 画像対応点抽出装置、及び方法
JP2000348175A (ja) 対応点検出装置及び方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041005