JPH0829126A - 対応点マッチング方法および装置 - Google Patents
対応点マッチング方法および装置Info
- Publication number
- JPH0829126A JPH0829126A JP16014894A JP16014894A JPH0829126A JP H0829126 A JPH0829126 A JP H0829126A JP 16014894 A JP16014894 A JP 16014894A JP 16014894 A JP16014894 A JP 16014894A JP H0829126 A JPH0829126 A JP H0829126A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- block
- blocks
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【目的】 画像中に不連続部が存在しても、ブロックベ
ースで高精度な対応点抽出を行うことができるようにす
ることを目的とする。 【構成】 複数の画像のそれぞれのエッジまたは輪郭線
を抽出する抽出処理（ステップＳ２）と、上記抽出処理
によって抽出されたエッジまたは輪郭線と交差しないよ
うに各画像を複数のブロックに分割する分割処理（ステ
ップＳ４）と、上記分割処理によって複数に分割された
各画像のうち、一方の画像のブロックと他方の画像のブ
ロックとの類似度に基いて、上記複数の画像間の対応点
を決定する対応点決定処理（ステップＳ９）とを行うこ
とにより、不連続部が画像中に存在しても、対応点抽出
をブロックベースで行うことができるようにする。
ースで高精度な対応点抽出を行うことができるようにす
ることを目的とする。 【構成】 複数の画像のそれぞれのエッジまたは輪郭線
を抽出する抽出処理（ステップＳ２）と、上記抽出処理
によって抽出されたエッジまたは輪郭線と交差しないよ
うに各画像を複数のブロックに分割する分割処理（ステ
ップＳ４）と、上記分割処理によって複数に分割された
各画像のうち、一方の画像のブロックと他方の画像のブ
ロックとの類似度に基いて、上記複数の画像間の対応点
を決定する対応点決定処理（ステップＳ９）とを行うこ
とにより、不連続部が画像中に存在しても、対応点抽出
をブロックベースで行うことができるようにする。
Description
【０００１】
【産業上の利用分野】本発明は対応点マッチング方法お
よび装置に係わり、例えば、２つの画像間の対応点を抽
出することにより、画像から視差または奥行き、あるい
は動きベクトルまたは速度を求めるようにする方法およ
び装置に用いて好適なものである。
よび装置に係わり、例えば、２つの画像間の対応点を抽
出することにより、画像から視差または奥行き、あるい
は動きベクトルまたは速度を求めるようにする方法およ
び装置に用いて好適なものである。
【０００２】
【従来の技術】従来、異なる撮像配置（例えば所定の基
線長、輻輳角を有する２台のカメラ）、或いは異なる２
時点、または異なる撮影位置（１台の単眼カメラを用い
た場合）で得られる２つの画像間の対応点を求め、それ
らの相対位置ベクトル或いは視差に基いて、画像から奥
行き（距離）情報を得たり、速度ベクトル（動き）情報
を得る手法が数多く提案されている。
線長、輻輳角を有する２台のカメラ）、或いは異なる２
時点、または異なる撮影位置（１台の単眼カメラを用い
た場合）で得られる２つの画像間の対応点を求め、それ
らの相対位置ベクトル或いは視差に基いて、画像から奥
行き（距離）情報を得たり、速度ベクトル（動き）情報
を得る手法が数多く提案されている。
【０００３】その中でも、画像を所定サイズのブロック
に分割し、２つの画像のブロック間の相関、或いは輝度
差の２乗和などに基いて最も類似度が高い２つのブロッ
クの中心画素を対応点として抽出する手法が良く適用さ
れる。
に分割し、２つの画像のブロック間の相関、或いは輝度
差の２乗和などに基いて最も類似度が高い２つのブロッ
クの中心画素を対応点として抽出する手法が良く適用さ
れる。
【０００４】最近、提案された方式の中には、分割ブロ
ックのサイズを初めは大きく取り、次第に小さくするこ
とにより、大まかな対応付けに基いて対応点探索範囲を
限定していく方法（Ｑｕａｍ “Ｈｉｅｒａｒｃｈｉｃ
ａｌ Ｗａｒｐ Ｓｔｅｒｅｏ”Ｐｒｏｃ．ｏｆ ｔｈ
ｅ ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉ
ｎｇ Ｗｏｒｋｓｈｏｐ ｐｐ．１４９−１５５（１９
８４））がある。
ックのサイズを初めは大きく取り、次第に小さくするこ
とにより、大まかな対応付けに基いて対応点探索範囲を
限定していく方法（Ｑｕａｍ “Ｈｉｅｒａｒｃｈｉｃ
ａｌ Ｗａｒｐ Ｓｔｅｒｅｏ”Ｐｒｏｃ．ｏｆ ｔｈ
ｅ ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉ
ｎｇ Ｗｏｒｋｓｈｏｐ ｐｐ．１４９−１５５（１９
８４））がある。
【０００５】また、強度分布などの分散に基いてブロッ
クサイズを適応的に変える相関法（Ｋａｎａｄｅ ＆
Ｏｋｕｔｏｍｉ “Ａ ｓｔｅｒｅｏ ｍａｔｃｈｉｎ
ｇａｌｇｏｒｉｔｈｍ ｗｉｔｈ ａｎ ａｄａｐｔｉ
ｖｅ ｗｉｎｄｏｗ：Ｔｈｅｏｒｙ ａｎｄ ｅｘｐｅ
ｒｉｍｅｎｔ，Ｐｒｏｃ． ｏｆ Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔ
ｅｒ Ｖｉｓｉｏｎ，ｐｐ．３８３−３８８，（１９９
０））などがある。
クサイズを適応的に変える相関法（Ｋａｎａｄｅ ＆
Ｏｋｕｔｏｍｉ “Ａ ｓｔｅｒｅｏ ｍａｔｃｈｉｎ
ｇａｌｇｏｒｉｔｈｍ ｗｉｔｈ ａｎ ａｄａｐｔｉ
ｖｅ ｗｉｎｄｏｗ：Ｔｈｅｏｒｙ ａｎｄ ｅｘｐｅ
ｒｉｍｅｎｔ，Ｐｒｏｃ． ｏｆ Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔ
ｅｒ Ｖｉｓｉｏｎ，ｐｐ．３８３−３８８，（１９９
０））などがある。
【０００６】
【発明が解決しようとする課題】しかしながら、上記従
来例では分割されたブロック内の画像にカメラから見て
奥行きが変わる部分、または速度ベクトルが不連続に変
わる部分が一方の画像には写っているが、他方の画像に
は写っていない部分が存在するような場合がある。この
ような場合には、これらのブロック間の相関等に基いて
対応点を推定しても正しい対応点が求まらないという問
題点があった。
来例では分割されたブロック内の画像にカメラから見て
奥行きが変わる部分、または速度ベクトルが不連続に変
わる部分が一方の画像には写っているが、他方の画像に
は写っていない部分が存在するような場合がある。この
ような場合には、これらのブロック間の相関等に基いて
対応点を推定しても正しい対応点が求まらないという問
題点があった。
【０００７】本発明は上述の問題点にかんがみ、画像中
に不連続部が存在しても、ブロックベースで高精度な対
応点抽出を行うことができるようにすることを目的とす
る。
に不連続部が存在しても、ブロックベースで高精度な対
応点抽出を行うことができるようにすることを目的とす
る。
【０００８】
【課題を解決するための手段】本発明の複数の画像のそ
れぞれのエッジまたは輪郭線を抽出する抽出処理と、上
記抽出処理によって抽出されたエッジまたは輪郭線と交
差しないように各画像を複数のブロックに分割する分割
処理と、上記分割処理によって複数に分割された各画像
のうち、一方の画像のブロックと他方の画像のブロック
との類似度に基いて、上記複数の画像間の対応点を決定
する対応点決定処理とを行うようにしている。
れぞれのエッジまたは輪郭線を抽出する抽出処理と、上
記抽出処理によって抽出されたエッジまたは輪郭線と交
差しないように各画像を複数のブロックに分割する分割
処理と、上記分割処理によって複数に分割された各画像
のうち、一方の画像のブロックと他方の画像のブロック
との類似度に基いて、上記複数の画像間の対応点を決定
する対応点決定処理とを行うようにしている。
【０００９】また、本発明の他の特徴とするところは、
複数の画像のそれぞれのエッジまたは輪郭線を抽出する
抽出処理と、上記抽出処理によって抽出されたエッジま
たは輪郭線と交差しないように各画像を複数のブロック
に分割する分割処理と、上記分割処理によって複数に分
割された各画像のうち、一方の画像のブロックと他方の
画像のブロックとの類似度に基いて、上記複数の画像間
の各点の視差または動きベクトルを推定する推定処理
と、上記各点の視差または動きベクトル推定値に基い
て、上記各画像を複数のブロックに再分割する再分割処
理と、上記再分割されたブロック同志の類似度に基いて
上記複数の画像間の対応点を決定する対応点決定処理と
を行うようにしている。
複数の画像のそれぞれのエッジまたは輪郭線を抽出する
抽出処理と、上記抽出処理によって抽出されたエッジま
たは輪郭線と交差しないように各画像を複数のブロック
に分割する分割処理と、上記分割処理によって複数に分
割された各画像のうち、一方の画像のブロックと他方の
画像のブロックとの類似度に基いて、上記複数の画像間
の各点の視差または動きベクトルを推定する推定処理
と、上記各点の視差または動きベクトル推定値に基い
て、上記各画像を複数のブロックに再分割する再分割処
理と、上記再分割されたブロック同志の類似度に基いて
上記複数の画像間の対応点を決定する対応点決定処理と
を行うようにしている。
【００１０】また、本発明の他の特徴とするところは、
複数の画像のそれぞれのエッジまたは輪郭線を抽出する
抽出処理と、上記画像間の各エッジまたは輪郭線ごとに
対応を推定する対応推定処理と、上記対応推定処理によ
って得られる各点の視差または動きベクトル推定値が所
定範囲内にあるか否かを判定する判定処理と、上記判定
処理に基いて視差または動きベクトル推定値が所定範囲
外となるエッジまたは輪郭線と交差しないように各画像
を複数のブロックに分割する分割処理と、上記分割処理
によって分割された複数の画像のうち、一方の画像のブ
ロックと他方の画像のブロックとの類似度に基いて、上
記画像間の対応点を決定する対応点決定処理とを行うよ
うにしている。
複数の画像のそれぞれのエッジまたは輪郭線を抽出する
抽出処理と、上記画像間の各エッジまたは輪郭線ごとに
対応を推定する対応推定処理と、上記対応推定処理によ
って得られる各点の視差または動きベクトル推定値が所
定範囲内にあるか否かを判定する判定処理と、上記判定
処理に基いて視差または動きベクトル推定値が所定範囲
外となるエッジまたは輪郭線と交差しないように各画像
を複数のブロックに分割する分割処理と、上記分割処理
によって分割された複数の画像のうち、一方の画像のブ
ロックと他方の画像のブロックとの類似度に基いて、上
記画像間の対応点を決定する対応点決定処理とを行うよ
うにしている。
【００１１】また、本発明のその他の特徴とするところ
は、複数の画像のそれぞれを所定サイズのブロックに分
割する分割処理と、上記分割処理によって分割された複
数の画像のうち、一方の画像のブロックと他方の画像の
ブロックとの類似度に基いて、上記複数の画像間の各点
の視差または動きベクトルを推定する推定処理と、上記
推定処理によって得られた推定値の勾配が基準範囲内に
あるか否かを判定する判定処理と、上記判定処理の結果
に基いて上記複数の画像のブロックを再分割する再分割
処理と、上記再分割後のブロック同志の類似度に基いて
対応点を決定する対応点決定処理とを行うようにしてい
る。
は、複数の画像のそれぞれを所定サイズのブロックに分
割する分割処理と、上記分割処理によって分割された複
数の画像のうち、一方の画像のブロックと他方の画像の
ブロックとの類似度に基いて、上記複数の画像間の各点
の視差または動きベクトルを推定する推定処理と、上記
推定処理によって得られた推定値の勾配が基準範囲内に
あるか否かを判定する判定処理と、上記判定処理の結果
に基いて上記複数の画像のブロックを再分割する再分割
処理と、上記再分割後のブロック同志の類似度に基いて
対応点を決定する対応点決定処理とを行うようにしてい
る。
【００１２】また、本発明のその他の特徴とするところ
は、複数の画像のそれぞれのエッジまたは輪郭線を抽出
する抽出手段と、上記抽出手段によって抽出されたエッ
ジまたは輪郭線と交差しないように各画像を複数のブロ
ックに分割する分割手段と、上記分割手段によって複数
に分割された各画像のうち、一方の画像のブロックと他
方の画像のブロックとの類似度に基いて、上記複数の画
像間の対応点を決定する対応点決定手段とを具備してい
る。
は、複数の画像のそれぞれのエッジまたは輪郭線を抽出
する抽出手段と、上記抽出手段によって抽出されたエッ
ジまたは輪郭線と交差しないように各画像を複数のブロ
ックに分割する分割手段と、上記分割手段によって複数
に分割された各画像のうち、一方の画像のブロックと他
方の画像のブロックとの類似度に基いて、上記複数の画
像間の対応点を決定する対応点決定手段とを具備してい
る。
【００１３】また、本発明のその他の特徴とするところ
は、複数の画像のそれぞれのエッジまたは輪郭線を抽出
する抽出手段と、上記抽出手段によって抽出されたエッ
ジまたは輪郭線と交差しないように各画像を複数のブロ
ックに分割する分割手段と、上記分割手段によって複数
に分割された各画像のうち、一方の画像のブロックと他
方の画像のブロックとの類似度に基いて、上記複数の画
像間の各点の視差または動きベクトルを推定する推定手
段と、上記各点の視差または動きベクトル推定値に基い
て、上記各画像を複数のブロックに再分割する再分割手
段と、上記再分割されたブロック同志の類似度に基い
て、上記複数の画像間の対応点を決定するようにする対
応点決定手段とを具備している。
は、複数の画像のそれぞれのエッジまたは輪郭線を抽出
する抽出手段と、上記抽出手段によって抽出されたエッ
ジまたは輪郭線と交差しないように各画像を複数のブロ
ックに分割する分割手段と、上記分割手段によって複数
に分割された各画像のうち、一方の画像のブロックと他
方の画像のブロックとの類似度に基いて、上記複数の画
像間の各点の視差または動きベクトルを推定する推定手
段と、上記各点の視差または動きベクトル推定値に基い
て、上記各画像を複数のブロックに再分割する再分割手
段と、上記再分割されたブロック同志の類似度に基い
て、上記複数の画像間の対応点を決定するようにする対
応点決定手段とを具備している。
【００１４】また、本発明のその他の特徴とするところ
は、複数の画像のそれぞれのエッジまたは輪郭線を抽出
する抽出手段と、上記画像間の各エッジまたは輪郭線ご
とに対応を推定する対応推定手段と、上記対応推定手段
によって得られる各点の視差または動きベクトル推定値
が所定範囲にあるか否かを判定する判定手段と、上記判
定手段の判定結果に基いて視差または動きベクトル推定
値が所定範囲外となるエッジまたは輪郭線と交差しない
ように各画像を複数のブロックに分割する分割手段と、
上記分割手段によって分割された複数の画像のうち、一
方の画像のブロックと他方の画像のブロックとの類似度
に基いて、上記画像間の対応点を決定する対応点決定手
段とを具備している。
は、複数の画像のそれぞれのエッジまたは輪郭線を抽出
する抽出手段と、上記画像間の各エッジまたは輪郭線ご
とに対応を推定する対応推定手段と、上記対応推定手段
によって得られる各点の視差または動きベクトル推定値
が所定範囲にあるか否かを判定する判定手段と、上記判
定手段の判定結果に基いて視差または動きベクトル推定
値が所定範囲外となるエッジまたは輪郭線と交差しない
ように各画像を複数のブロックに分割する分割手段と、
上記分割手段によって分割された複数の画像のうち、一
方の画像のブロックと他方の画像のブロックとの類似度
に基いて、上記画像間の対応点を決定する対応点決定手
段とを具備している。
【００１５】また、本発明のその他の特徴とするところ
は、複数の画像のそれぞれを所定サイズのブロックに分
割する分割手段と、上記分割手段によって分割された複
数の画像のうち、一方の画像のブロックと他方の画像の
ブロックとの類似度に基いて、上記複数の画像間の各点
の視差または動きベクトルを推定する推定手段と、上記
推定手段によって得られた推定値の勾配が基準範囲内に
なるか否かを判定する判定手段と、上記判定手段の判定
結果に基いて上記複数の画像のブロックを再分割する再
分割手段と、上記再分割後のブロック同志の類似度に基
いて対応点を決定する対応点決定手段とを具備してい
る。
は、複数の画像のそれぞれを所定サイズのブロックに分
割する分割手段と、上記分割手段によって分割された複
数の画像のうち、一方の画像のブロックと他方の画像の
ブロックとの類似度に基いて、上記複数の画像間の各点
の視差または動きベクトルを推定する推定手段と、上記
推定手段によって得られた推定値の勾配が基準範囲内に
なるか否かを判定する判定手段と、上記判定手段の判定
結果に基いて上記複数の画像のブロックを再分割する再
分割手段と、上記再分割後のブロック同志の類似度に基
いて対応点を決定する対応点決定手段とを具備してい
る。
【００１６】
【作用】本発明上記技術手段を有するので、視差の不連
続部や、動きベクトルの不連続部を中に含んだり、或い
はこれらの不連続部と交差したりしないようにしなが
ら、各画素を中心とする複数のブロックに各画像が分割
されるとともに、ブロックごとの類似度が検出され、か
つ、これらの検出されたブロックごとの類似度から対応
点が抽出されるようになるので、上記不連続部が画像中
に存在しても、対応点抽出をブロックベースで行うこと
が可能となる。
続部や、動きベクトルの不連続部を中に含んだり、或い
はこれらの不連続部と交差したりしないようにしなが
ら、各画素を中心とする複数のブロックに各画像が分割
されるとともに、ブロックごとの類似度が検出され、か
つ、これらの検出されたブロックごとの類似度から対応
点が抽出されるようになるので、上記不連続部が画像中
に存在しても、対応点抽出をブロックベースで行うこと
が可能となる。
【００１７】
【実施例】以下、本発明の対応点マッチング方法および
装置の一実施例を図面を参照して説明する。図１は、本
発明の対応点マッチング方法の第１の実施例を説明する
フローチャート、図５は本実施例の対応点マッチング方
法を行う装置の概略構成を示すブロック図である。な
お、以下の実施例においては、便宜上、所定の輻輳角と
基線長とを有するカメラ配置で撮像して得られる２つの
画像間の対応点を抽出する場合について説明する。
装置の一実施例を図面を参照して説明する。図１は、本
発明の対応点マッチング方法の第１の実施例を説明する
フローチャート、図５は本実施例の対応点マッチング方
法を行う装置の概略構成を示すブロック図である。な
お、以下の実施例においては、便宜上、所定の輻輳角と
基線長とを有するカメラ配置で撮像して得られる２つの
画像間の対応点を抽出する場合について説明する。
【００１８】図１に示したように、先ず、最初のステッ
プＳ１では、左右カメラ（図５の左カメラ１L 、右カメ
ラ１R ）からの画像を画像メモリ２にそれぞれ入力し、
ステップＳ２で各画像のエッジ抽出処理を行う。
プＳ１では、左右カメラ（図５の左カメラ１L 、右カメ
ラ１R ）からの画像を画像メモリ２にそれぞれ入力し、
ステップＳ２で各画像のエッジ抽出処理を行う。
【００１９】エッジ抽出方法としては、所定サイズのカ
ウシアンと画像とのコンボリューションをとった後、ラ
プラシアン演算により２次微分を行ったデータのゼロク
ロス点を検出する方法などが適用されるが、本発明にお
いては特定の方式に限定されるものではない。
ウシアンと画像とのコンボリューションをとった後、ラ
プラシアン演算により２次微分を行ったデータのゼロク
ロス点を検出する方法などが適用されるが、本発明にお
いては特定の方式に限定されるものではない。
【００２０】一般的に、エッジ抽出処理によって不要な
エッジ（画像中のノイズ、或いは方式特有の要因によ
る）が生じる。本実施例では、このような不要なエッジ
を取り除くために、ステップＳ３で不要エッジ除去処理
を行っている。この不要エッジ除去処理は、抽出された
エッジの長さが所定値より短い場合には、不要エッジと
みなし、除去または無視するようにする処理である。
エッジ（画像中のノイズ、或いは方式特有の要因によ
る）が生じる。本実施例では、このような不要なエッジ
を取り除くために、ステップＳ３で不要エッジ除去処理
を行っている。この不要エッジ除去処理は、抽出された
エッジの長さが所定値より短い場合には、不要エッジと
みなし、除去または無視するようにする処理である。
【００２１】上記不要エッジ除去処理に関する他の方法
としては、エッジ強度（例えば、ローパスフィルタ後の
画像の階空間微分の絶対値の和｜∂Ｉ* ／∂ｘ｜＋｜Ｉ
* ／∂ｙ｜、Ｉ* はフィルタ後の画像）が所定レベル以
下の場合、不要エッジとみなす。なお、上記ステップＳ
３の処理は省略してもかまわない。
としては、エッジ強度（例えば、ローパスフィルタ後の
画像の階空間微分の絶対値の和｜∂Ｉ* ／∂ｘ｜＋｜Ｉ
* ／∂ｙ｜、Ｉ* はフィルタ後の画像）が所定レベル以
下の場合、不要エッジとみなす。なお、上記ステップＳ
３の処理は省略してもかまわない。
【００２２】次に、ステップＳ４では、画像の各画素を
中心に一定サイズのブロックに分割する。そして、次の
ステップＳ５では、複数に分割した各ブロック内にエッ
ジが存在するか否かを判定し、ステップＳ６で交差有り
を判断した場合には、ステップＳ７に進み、ブロックの
中心画像とエッジとの距離に基いてそのエッジと交差し
ないようにブロックサイズを縮小し、その後、ステップ
Ｓ５に戻る。
中心に一定サイズのブロックに分割する。そして、次の
ステップＳ５では、複数に分割した各ブロック内にエッ
ジが存在するか否かを判定し、ステップＳ６で交差有り
を判断した場合には、ステップＳ７に進み、ブロックの
中心画像とエッジとの距離に基いてそのエッジと交差し
ないようにブロックサイズを縮小し、その後、ステップ
Ｓ５に戻る。
【００２３】ステップＳ６の判断の結果、交差無しと判
断した場合には、次に、ステップＳ８に進み、交差無し
ブロックに分割する処理が完了したか否かを判断し、完
了していない場合は、ステップＳ４に戻る。そして、ス
テップＳ４において、ブロックサイズを所定幅だけ縮小
して更にエッジ有無判定を行い、エッジが存在しなくな
るまで、その処理過程を繰り返す。このようにして、各
画素を中心とする全ブロックについてエッジ交差が存在
しないように分割し直す。
断した場合には、次に、ステップＳ８に進み、交差無し
ブロックに分割する処理が完了したか否かを判断し、完
了していない場合は、ステップＳ４に戻る。そして、ス
テップＳ４において、ブロックサイズを所定幅だけ縮小
して更にエッジ有無判定を行い、エッジが存在しなくな
るまで、その処理過程を繰り返す。このようにして、各
画素を中心とする全ブロックについてエッジ交差が存在
しないように分割し直す。
【００２４】そして、交差無しブロックに分割する処理
が完了した場合には、ステップＳ９に進み、ブロック相
関による対応点抽出を行う。
が完了した場合には、ステップＳ９に進み、ブロック相
関による対応点抽出を行う。
【００２５】次に、ブロック間類似度による対応点抽出
方法について説明する。本実施例では、前述したブロッ
ク分割の結果、画素によってブロックサイズが異なる場
合があるが、これに対処するために類似度を計算する２
つの画像から抽出された２つのブロックの形状の中心画
素を一致させて状態での重なり部分について行う。い
ま、画素（ｉ，ｊ）を中心とするブロックを
「Ｉk i,j 」とする（ｋは画像の番号）と、類似度の尺
度としては，
方法について説明する。本実施例では、前述したブロッ
ク分割の結果、画素によってブロックサイズが異なる場
合があるが、これに対処するために類似度を計算する２
つの画像から抽出された２つのブロックの形状の中心画
素を一致させて状態での重なり部分について行う。い
ま、画素（ｉ，ｊ）を中心とするブロックを
「Ｉk i,j 」とする（ｋは画像の番号）と、類似度の尺
度としては，
【００２６】
【数１】
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】などが用いられるが、これら以外の尺度を
用いても、勿論構わない。但し、Ｃ1、Ｃ2 、Ｃ3 、Ｃ
4 のうち、基本的にはＣ2 、Ｃ4 は相互相関を表し、Ｃ
1 、Ｃ 3 は２つのブロック間を表す。したがって、対応
点を抽出するためにはＣ2 、Ｃ 4 については最大値を与
えるブロックＩR （ｉ´、ｊ´）が最も良くマッチング
する。また、Ｃ1 、Ｃ3 については、最小値を与えるブ
ロックＩR （ｉ´、ｊ´）が左側画像中のブロックＩL
（ｉ、ｊ）に最も良くマッチングする。
用いても、勿論構わない。但し、Ｃ1、Ｃ2 、Ｃ3 、Ｃ
4 のうち、基本的にはＣ2 、Ｃ4 は相互相関を表し、Ｃ
1 、Ｃ 3 は２つのブロック間を表す。したがって、対応
点を抽出するためにはＣ2 、Ｃ 4 については最大値を与
えるブロックＩR （ｉ´、ｊ´）が最も良くマッチング
する。また、Ｃ1 、Ｃ3 については、最小値を与えるブ
ロックＩR （ｉ´、ｊ´）が左側画像中のブロックＩL
（ｉ、ｊ）に最も良くマッチングする。
【００３１】したがって、このような画素の組み合わせ
（（ｉ、ｊ）と（ｉ´、ｊ´））が抽出されるべき対応
点となる。
（（ｉ、ｊ）と（ｉ´、ｊ´））が抽出されるべき対応
点となる。
【００３２】上述したように、図５は立体撮像系におい
て、本実施例の処理部を組み込んだ立体情報抽出系のシ
ステム構成図である。図５中、１L および１R は左右カ
メラ、２は画像メモリ、３は図１に示す処理系を含む対
応点抽出処理部、４は対応点から視差、或いは距離を求
め、適当な補間処理を行って立体形状などを復元する形
状復元処理部、５は結果を表示するモニタである。
て、本実施例の処理部を組み込んだ立体情報抽出系のシ
ステム構成図である。図５中、１L および１R は左右カ
メラ、２は画像メモリ、３は図１に示す処理系を含む対
応点抽出処理部、４は対応点から視差、或いは距離を求
め、適当な補間処理を行って立体形状などを復元する形
状復元処理部、５は結果を表示するモニタである。
【００３３】図６は、本実施例の処理を実際の画像（立
方体）に適用した場合のステップＳ３以降のブロック分
割過程を示す。図中、Ｌの列は左のカメラで得た画像、
Ｒの列は右カメラで得た画像を示している。
方体）に適用した場合のステップＳ３以降のブロック分
割過程を示す。図中、Ｌの列は左のカメラで得た画像、
Ｒの列は右カメラで得た画像を示している。
【００３４】図６において、（Ａ）は、図１のフローチ
ャートのステップＳ３における不要エッジ除去処理で不
要エッジを除去した後のエッジ画像を示している。
ャートのステップＳ３における不要エッジ除去処理で不
要エッジを除去した後のエッジ画像を示している。
【００３５】また、（Ｂ）は、図１のフローチャートの
ステップＳ４の標準ブロック分割で標準サイズのブロッ
クで分割した後の画像を示し、各ブロックの中心はその
ブロックの代表点を表している。実際には、同じサイズ
のブロックを各画素ごとに設定するので、一般的には、
ブロック同志は重なり合うが、便宜上、図中では重なり
間隙のないように表示している。
ステップＳ４の標準ブロック分割で標準サイズのブロッ
クで分割した後の画像を示し、各ブロックの中心はその
ブロックの代表点を表している。実際には、同じサイズ
のブロックを各画素ごとに設定するので、一般的には、
ブロック同志は重なり合うが、便宜上、図中では重なり
間隙のないように表示している。
【００３６】さらに、（Ｃ）は、図１のフローチャート
のステップＳ５→ステップＳ６→ステップＳ５などの各
処理をループで行って得られるエッジ交差なしの分割
を、上述した（Ｂ）と同様に示した図である。この場
合、ブロックの形状は矩形または三角形（直角三角形）
となる。特に、三角形のブロックは立方体の輪郭（エッ
ジ）に沿ったブロック分割を行った結果生じる。一般的
には、物体の輪郭の一部を含んだ形状のブロックが生じ
る。
のステップＳ５→ステップＳ６→ステップＳ５などの各
処理をループで行って得られるエッジ交差なしの分割
を、上述した（Ｂ）と同様に示した図である。この場
合、ブロックの形状は矩形または三角形（直角三角形）
となる。特に、三角形のブロックは立方体の輪郭（エッ
ジ）に沿ったブロック分割を行った結果生じる。一般的
には、物体の輪郭の一部を含んだ形状のブロックが生じ
る。
【００３７】次に、図２を参照しながら本発明の第２の
実施例を説明する。図２は、本発明の第２の実施例の処
理手順を示すフローチャートである。なお、図２におけ
るステップＳ１からステップＳ９までの各ステップは第
１実施例と同じである。
実施例を説明する。図２は、本発明の第２の実施例の処
理手順を示すフローチャートである。なお、図２におけ
るステップＳ１からステップＳ９までの各ステップは第
１実施例と同じである。
【００３８】しかし、本実施例ではステップＳ１０にお
いて、更にエッジに隣接するブロック間での視差或いは
動きベクトル推定値、すなわち、対応点間距離の差（偏
差）を求めるようにしている。
いて、更にエッジに隣接するブロック間での視差或いは
動きベクトル推定値、すなわち、対応点間距離の差（偏
差）を求めるようにしている。
【００３９】上記検出した対応点間距離の差（偏差）が
基準値よりも大きいか否かを、次のステップＳ１１で判
断し、そのエッジは遮蔽輪郭（或いは視差エッジ、速度
エッジ）とみなして、これをはさむブロック分割は変更
しないようにしている。そして、基準値より大きければ
ステップＳ１２に進み、全対応点を算出したか否かを判
断し、全て終了した場合にエンドとなる。
基準値よりも大きいか否かを、次のステップＳ１１で判
断し、そのエッジは遮蔽輪郭（或いは視差エッジ、速度
エッジ）とみなして、これをはさむブロック分割は変更
しないようにしている。そして、基準値より大きければ
ステップＳ１２に進み、全対応点を算出したか否かを判
断し、全て終了した場合にエンドとなる。
【００４０】一方、ステップＳ１１の判断の結果、基準
値以下であれば、そのエッジはなめらかな物体表面上の
模様、照明の分布などによって生じる強度エッジとみな
し、ステップＳ３に戻る。この場合には、第１の実施例
で説明したようなエッジと交差しないブロック分割は不
要であり、エッジ上の画素を含むブロック分割を行って
対応点を求めるのが本実施例の特徴である。なお、ステ
ップＳ１０では、偏差として各点での視差勾配の差、動
きベクトル勾配の差を求めるようにしてもよい。
値以下であれば、そのエッジはなめらかな物体表面上の
模様、照明の分布などによって生じる強度エッジとみな
し、ステップＳ３に戻る。この場合には、第１の実施例
で説明したようなエッジと交差しないブロック分割は不
要であり、エッジ上の画素を含むブロック分割を行って
対応点を求めるのが本実施例の特徴である。なお、ステ
ップＳ１０では、偏差として各点での視差勾配の差、動
きベクトル勾配の差を求めるようにしてもよい。
【００４１】次に、図３を参照しながら本発明の第３の
実施例を説明する。図３は本発明の第３の実施例の処理
手順を示すフローチャートである。図３に示したよう
に、この第３の実施例ではエッジ抽出処理（ステップＳ
２）および不要エッジ除去（ステップＳ３）を行った
後、ステップＳ４においてエッジまたはエッジセグメン
トベースでの対応点抽出を行う。
実施例を説明する。図３は本発明の第３の実施例の処理
手順を示すフローチャートである。図３に示したよう
に、この第３の実施例ではエッジ抽出処理（ステップＳ
２）および不要エッジ除去（ステップＳ３）を行った
後、ステップＳ４においてエッジまたはエッジセグメン
トベースでの対応点抽出を行う。
【００４２】ステップＳ４によってエッジ上の点同志で
の左、右画像中の対応点（対応点の有無も含めて）が求
まり、その距離（或いは視差、動きベクトル）がステッ
プＳ５で算出される。
の左、右画像中の対応点（対応点の有無も含めて）が求
まり、その距離（或いは視差、動きベクトル）がステッ
プＳ５で算出される。
【００４３】次のステップＳ６では、図２のステップＳ
９で求めた距離が基準値より大きいか、対応点が存在し
ない場合に、そのエッジが画像をブロックに分割する際
にブロックと交差したり、中に含まれることを禁止する
ためのフラグ、或いはラベルを立てる処理を行う。
９で求めた距離が基準値より大きいか、対応点が存在し
ない場合に、そのエッジが画像をブロックに分割する際
にブロックと交差したり、中に含まれることを禁止する
ためのフラグ、或いはラベルを立てる処理を行う。
【００４４】具体的には、各画素（ｉ，ｊ）ごとにラベ
ルｅ（ｉ，ｊ）を持ち、はじめにｅ（ｉ，ｊ）＝０に初
期化しておいて、禁止フラグが立つ画素はｅ（ｉ，ｊ）
＝１とする。
ルｅ（ｉ，ｊ）を持ち、はじめにｅ（ｉ，ｊ）＝０に初
期化しておいて、禁止フラグが立つ画素はｅ（ｉ，ｊ）
＝１とする。
【００４５】ステップＳ６以降の処理は、禁止フラグの
立ったエッジと交差しないようにしながらブロック分割
する処理（ステップＳ７，ステップＳ８，ステップＳ１
０）と、その終了後にブロック間類似度に基づく対応点
抽出（ステップＳ１２）が続く。特に、本実施例ではス
テップＳ８での交差判定は、禁止フラグの値に基いて行
われるようにしている。
立ったエッジと交差しないようにしながらブロック分割
する処理（ステップＳ７，ステップＳ８，ステップＳ１
０）と、その終了後にブロック間類似度に基づく対応点
抽出（ステップＳ１２）が続く。特に、本実施例ではス
テップＳ８での交差判定は、禁止フラグの値に基いて行
われるようにしている。
【００４６】次に、図４のフローチャートを参照して第
４の実施例を説明する。本実施例では、ステップＳ２に
おいて各画素を中心に所定サイズでブロック分割する。
次に、ステップＳ３において、上述した第１の実施例と
同様に所定の尺度で求めたブロック間の類似度に基づき
対応点を推定する。
４の実施例を説明する。本実施例では、ステップＳ２に
おいて各画素を中心に所定サイズでブロック分割する。
次に、ステップＳ３において、上述した第１の実施例と
同様に所定の尺度で求めたブロック間の類似度に基づき
対応点を推定する。
【００４７】次に、ステップＳ４に進み、近傍の画素で
の推定から対応点間距離の勾配を算出する。次のステッ
プＳ５では、前のステップＳ４で算出した勾配値が基準
範囲外にあるときは２つの画像間でその画素において視
差（或いは動きベクトル）が不連続に変化しているもの
とみなし、不連続ラベル（禁止フラグ）ｅ（ｉ，ｊ）を
１にセットする（ｅ（ｉ，ｊ）は０に予め初期化されて
いるものとする）。
の推定から対応点間距離の勾配を算出する。次のステッ
プＳ５では、前のステップＳ４で算出した勾配値が基準
範囲外にあるときは２つの画像間でその画素において視
差（或いは動きベクトル）が不連続に変化しているもの
とみなし、不連続ラベル（禁止フラグ）ｅ（ｉ，ｊ）を
１にセットする（ｅ（ｉ，ｊ）は０に予め初期化されて
いるものとする）。
【００４８】次に、ステップＳ６においてブロック内の
不連続性を判断し、ブロック内部でｅ（ｉ，ｊ）＝１な
る不連続部が所定のサイズ（長さ）以上で存在する場合
には不連続部ありと判定して、ステップＳ７に進む。
不連続性を判断し、ブロック内部でｅ（ｉ，ｊ）＝１な
る不連続部が所定のサイズ（長さ）以上で存在する場合
には不連続部ありと判定して、ステップＳ７に進む。
【００４９】ステップＳ７では、ブロックサイズを所定
の方法で縮小する処理を行い、その後、ステップＳ３に
戻って再び対応点推定から不連続性判定での処理を行
う。このような処理を繰り返し行う。
の方法で縮小する処理を行い、その後、ステップＳ３に
戻って再び対応点推定から不連続性判定での処理を行
う。このような処理を繰り返し行う。
【００５０】次に、ステップＳ８において、全ブロック
内部に不連続部が存在するか否かを判断し、存在する場
合にはステップＳ２に戻り、上述した処理を繰り返し行
い、最終的に対応点を得る。
内部に不連続部が存在するか否かを判断し、存在する場
合にはステップＳ２に戻り、上述した処理を繰り返し行
い、最終的に対応点を得る。
【００５１】なお、以上の実施例ではブロックの形状を
基本的に縦ｍ画素、横ｎ画素の長方形または正方形とし
た。しかし、本発明の場合には、必ずしもこれらの形状
に限定されるものではなく、不連続部の形状に応じた任
意の多角形でもよい。ただし、その場合はブロックの中
心（或いは幾何学的重心）はそのブロックを代表する画
素であることはいうまでもない。
基本的に縦ｍ画素、横ｎ画素の長方形または正方形とし
た。しかし、本発明の場合には、必ずしもこれらの形状
に限定されるものではなく、不連続部の形状に応じた任
意の多角形でもよい。ただし、その場合はブロックの中
心（或いは幾何学的重心）はそのブロックを代表する画
素であることはいうまでもない。
【００５２】次に、図７を参照しながら本発明の対応点
マッチング装置の一例を説明する。図７において、は
画像メモリ、は分割手段、は分割画像記憶手段、
は推定手段、は判定手段、は再分割手段、は再分
割画像記憶手段、は対応点決定手段、はモニタであ
る。
マッチング装置の一例を説明する。図７において、は
画像メモリ、は分割手段、は分割画像記憶手段、
は推定手段、は判定手段、は再分割手段、は再分
割画像記憶手段、は対応点決定手段、はモニタであ
る。
【００５３】画像メモリは、外部から入力される映像
信号を取り込んで格納しておくためのメモリであり、こ
こに記憶されている画像が分割手段によって所定数に
分割される。そして、上記分割手段によって分割され
た画像が、分割画像記憶手段に記憶される。
信号を取り込んで格納しておくためのメモリであり、こ
こに記憶されている画像が分割手段によって所定数に
分割される。そして、上記分割手段によって分割され
た画像が、分割画像記憶手段に記憶される。
【００５４】上記分割画像記憶手段に記憶された分割
画像は、推定手段により複数の画像間の各点の視差また
は動きベクトルが推定される。この推定は、一方の画像
のブロックと他方の画像のブロックとの類似度に基いて
行われるものであり、上記複数の画像間の各点の視差ま
たは動きベクトルに基づいて行われる。
画像は、推定手段により複数の画像間の各点の視差また
は動きベクトルが推定される。この推定は、一方の画像
のブロックと他方の画像のブロックとの類似度に基いて
行われるものであり、上記複数の画像間の各点の視差ま
たは動きベクトルに基づいて行われる。
【００５５】上記推定手段によって得られた推定値
は、次段に設けられている判定手段に与えられる。判
定手段は、与えられた推定値の勾配が基準範囲内にな
るか否かを判定し、その判定結果を再分割手段に供給
する。
は、次段に設けられている判定手段に与えられる。判
定手段は、与えられた推定値の勾配が基準範囲内にな
るか否かを判定し、その判定結果を再分割手段に供給
する。
【００５６】再分割手段は、上記分割画像記憶手段
に記憶されている分割画像を、上記判定手段から与え
られる判定結果に基いて再分割し、それを再分割画像記
憶手段に記憶する。
に記憶されている分割画像を、上記判定手段から与え
られる判定結果に基いて再分割し、それを再分割画像記
憶手段に記憶する。
【００５７】上記再分割画像記憶手段に記憶されてい
る再分割画像は、対応点決定手段により対応点が決定
される。上記決定は、ブロック同志の類似度に基いて行
われ、その結果がモニタに表示されるようになされて
いる。
る再分割画像は、対応点決定手段により対応点が決定
される。上記決定は、ブロック同志の類似度に基いて行
われ、その結果がモニタに表示されるようになされて
いる。
【００５８】
【発明の効果】本発明は上述したように、視差の不連続
部や動きベクトルの不連続部を中に含んだり、或いはこ
れらの不連続部と交差したりしないようにしながら、各
画像を各画素を中心とする複数のブロックに分割すると
ともに、ブロックごとの類似度を検出し、上記検出した
ブロックごとの類似度から対応点を抽出するようにした
ので、上記不連続部が画像中に任意の形、或いは任意の
数だけ存在しても、高精度な対応点抽出をブロックベー
スで行うことができる。
部や動きベクトルの不連続部を中に含んだり、或いはこ
れらの不連続部と交差したりしないようにしながら、各
画像を各画素を中心とする複数のブロックに分割すると
ともに、ブロックごとの類似度を検出し、上記検出した
ブロックごとの類似度から対応点を抽出するようにした
ので、上記不連続部が画像中に任意の形、或いは任意の
数だけ存在しても、高精度な対応点抽出をブロックベー
スで行うことができる。
【図１】本発明の第１の実施例の処理手順を示すフロー
チャートである。
チャートである。
【図２】本発明の第２の実施例の処理手順を示すフロー
チャートである。
チャートである。
【図３】本発明の第３の実施例の処理手順を示すフロー
チャートである。
チャートである。
【図４】本発明の第４の実施例の処理手順を示すフロー
チャートである。
チャートである。
【図５】本発明を適用した立体情報抽出システムの構成
図である。
図である。
【図６】ブロック分割の過程（始めと終わり）の説明図
である。
である。
【図７】本発明の対応点マッチング装置の概略を示す機
能構成図である。
能構成図である。
【符号の説明】 画像メモリ 分割手段 分割画像記憶手段 推定手段 判定手段 再分割手段 再分割画像記憶手段 対応点決定手段 モニタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/268 7/32
Claims (8)
- 【請求項１】 複数の画像のそれぞれのエッジまたは輪
郭線を抽出する抽出処理と、 上記抽出処理によって抽出されたエッジまたは輪郭線と
交差しないように各画像を複数のブロックに分割する分
割処理と、 上記分割処理によって複数に分割された各画像のうち、
一方の画像のブロックと他方の画像のブロックとの類似
度に基いて、上記複数の画像間の対応点を決定する対応
点決定処理とを行うことを特徴とする対応点マッチング
方法。 - 【請求項２】 複数の画像のそれぞれのエッジまたは輪
郭線を抽出する抽出処理と、 上記抽出処理によって抽出されたエッジまたは輪郭線と
交差しないように各画像を複数のブロックに分割する分
割処理と、 上記分割処理によって複数に分割された各画像のうち、
一方の画像のブロックと他方の画像のブロックとの類似
度に基いて、上記複数の画像間の各点の視差または動き
ベクトルを推定する推定処理と、 上記各点の視差または動きベクトルの推定値に基いて、
上記各画像を複数のブロックに再分割する再分割処理
と、 上記再分割されたブロック同志の類似度に基いて上記複
数の画像間の対応点を決定する対応点決定処理とを行う
ことを特徴とする対応点マッチング方法。 - 【請求項３】 複数の画像のそれぞれのエッジまたは輪
郭線を抽出する抽出処理と、 上記画像間の各エッジまたは輪郭線ごとに対応を推定す
る対応推定処理と、 上記対応推定処理によって得られる各点の視差または動
きベクトル推定値が所定範囲内にあるか否かを判定する
判定処理と、 上記判定処理に基いて視差または動きベクトル推定値が
所定範囲外となるエッジまたは輪郭線と交差しないよう
に各画像を複数のブロックに分割する分割処理と、 上記分割処理によって分割された複数の画像のうち、一
方の画像のブロックと他方の画像のブロックとの類似度
に基いて、上記画像間の対応点を決定する対応点決定処
理とを行うことを特徴とする対応点マッチング方法。 - 【請求項４】 複数の画像のそれぞれを所定サイズのブ
ロックに分割する分割処理と、 上記分割処理によって分割された複数の画像のうち、一
方の画像のブロックと他方の画像のブロックとの類似度
に基いて、上記複数の画像間の各点の視差または動きベ
クトルを推定する推定処理と、 上記推定処理によって得られた推定値の勾配が基準範囲
内にあるか否かを判定する判定処理と、 上記判定処理の結果に基いて上記複数の画像のブロック
を再分割する再分割処理と、 上記再分割後のブロック同志の類似度に基いて対応点を
決定する対応点決定処理とを行うことを特徴とする対応
点マッチング方法。 - 【請求項５】 複数の画像のそれぞれのエッジまたは輪
郭線を抽出する抽出手段と、 上記抽出手段によって抽出されたエッジまたは輪郭線と
交差しないように各画像を複数のブロックに分割する分
割手段と、 上記分割手段によって複数に分割された各画像のうち、
一方の画像のブロックと他方の画像のブロックとの類似
度に基いて、上記複数の画像間の対応点を決定する対応
点決定手段とを具備することを特徴とする対応点マッチ
ング装置。 - 【請求項６】 複数の画像のそれぞれのエッジまたは輪
郭線を抽出する抽出手段と、 上記抽出手段によって抽出されたエッジまたは輪郭線と
交差しないように各画像を複数のブロックに分割する分
割手段と、 上記分割手段によって複数に分割された各画像のうち、
一方の画像のブロックと他方の画像のブロックとの類似
度に基いて、上記複数の画像間の各点の視差または動き
ベクトルを推定する推定手段と、 上記各点の視差または動きベクトルの推定値に基いて、
上記各画像を複数のブロックに再分割する再分割手段
と、 上記再分割されたブロック同志の類似度に基いて、上記
複数の画像間の対応点を決定するようにする対応点決定
手段とを具備することを特徴とする対応点マッチング装
置。 - 【請求項７】 複数の画像のそれぞれのエッジまたは輪
郭線を抽出する抽出手段と、 上記画像間の各エッジまたは輪郭線ごとに対応を推定す
る対応推定手段と、 上記対応推定手段によって得られる各点の視差または動
きベクトル推定値が所定範囲にあるか否かを判定する判
定手段と、 上記判定手段の判定結果に基いて視差または動きベクト
ル推定値が所定範囲外となるエッジまたは輪郭線と交差
しないように各画像を複数のブロックに分割する分割手
段と、 上記分割手段によって分割された複数の画像のうち、一
方の画像のブロックと他方の画像のブロックとの類似度
に基いて、上記画像間の対応点を決定する対応点決定手
段とを具備することを特徴とする対応点マッチング装
置。 - 【請求項８】 複数の画像のそれぞれを所定サイズのブ
ロックに分割する分割手段と、 上記分割手段によって分割された複数の画像のうち、一
方の画像のブロックと他方の画像のブロックとの類似度
に基いて、上記複数の画像間の各点の視差または動きベ
クトルを推定する推定手段と、 上記推定手段によって得られた推定値の勾配が基準範囲
内になるか否かを判定する判定手段と、 上記判定手段の判定結果に基いて上記複数の画像のブロ
ックを再分割する再分割手段と、 上記再分割後のブロック同志の類似度に基いて対応点を
決定する対応点決定手段とを具備することを特徴とする
対応点マッチング装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16014894A JP3513219B2 (ja) | 1994-07-12 | 1994-07-12 | 対応点マッチング方法および装置 |
| US08/503,405 US5734743A (en) | 1994-07-12 | 1995-07-11 | Image processing method and apparatus for block-based corresponding point extraction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16014894A JP3513219B2 (ja) | 1994-07-12 | 1994-07-12 | 対応点マッチング方法および装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003138454A Division JP3848294B2 (ja) | 2003-05-16 | 2003-05-16 | 対応点マッチング方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0829126A true JPH0829126A (ja) | 1996-02-02 |
| JP3513219B2 JP3513219B2 (ja) | 2004-03-31 |
Family
ID=15708914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16014894A Expired - Fee Related JP3513219B2 (ja) | 1994-07-12 | 1994-07-12 | 対応点マッチング方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5734743A (ja) |
| JP (1) | JP3513219B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2328127B (en) * | 1997-08-05 | 2002-04-10 | Canon Kk | Image processing apparatus |
| US6647146B1 (en) | 1997-08-05 | 2003-11-11 | Canon Kabushiki Kaisha | Image processing apparatus |
| WO2010061858A1 (ja) * | 2008-11-25 | 2010-06-03 | Ｎｅｃシステムテクノロジー株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
| JP2012008998A (ja) * | 2010-06-23 | 2012-01-12 | Ind Technol Res Inst | ３次元の制御ポイントを認識するための方法、及び、それらを用いるコンピュータ読み取り可能な記録媒体 |
| WO2012137511A1 (ja) * | 2011-04-07 | 2012-10-11 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| JP2013021215A (ja) * | 2011-07-13 | 2013-01-31 | Canon Inc | ビーム計測装置、描画装置、および物品の製造方法 |
| WO2021177163A1 (ja) * | 2020-03-05 | 2021-09-10 | ファナック株式会社 | 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
| US6493465B2 (en) * | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
| EP2259586B1 (en) * | 1996-02-28 | 2013-12-11 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device |
| EP0830034B1 (en) * | 1996-09-11 | 2005-05-11 | Canon Kabushiki Kaisha | Image processing for three dimensional display of image data on the display of an image sensing apparatus |
| JP2910698B2 (ja) * | 1996-10-15 | 1999-06-23 | 日本電気株式会社 | 三次元構造推定方法及び装置 |
| EP2259584B1 (en) * | 1996-12-04 | 2013-10-16 | Panasonic Corporation | Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| US6526157B2 (en) | 1997-08-01 | 2003-02-25 | Sony Corporation | Image processing apparatus, image processing method and transmission medium |
| GB2328355B (en) * | 1997-08-05 | 2002-04-17 | Canon Kk | Image processing apparatus |
| KR100307883B1 (ko) * | 1998-04-13 | 2001-10-19 | 박호군 | 정합화소수를이용한유사도측정방법및이를구현하기위한장치 |
| JP2002541568A (ja) | 1999-03-31 | 2002-12-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シーンの第１の画像から第２の画像への画素ブロックの移動量を検出する方法 |
| US6975755B1 (en) * | 1999-11-25 | 2005-12-13 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| EP1126710A1 (en) * | 2000-02-15 | 2001-08-22 | Telefonaktiebolaget L M Ericsson (Publ) | A method and an apparatus for video mixing of bit streams |
| US6972796B2 (en) * | 2000-02-29 | 2005-12-06 | Matsushita Electric Industrial Co., Ltd. | Image pickup system and vehicle-mounted-type sensor system |
| US7454123B2 (en) * | 2002-06-06 | 2008-11-18 | Intel Corporation | Personal video recorder having reduced overscan coding |
| JP4275378B2 (ja) * | 2002-09-27 | 2009-06-10 | 富士重工業株式会社 | ステレオ画像処理装置およびステレオ画像処理方法 |
| US7050625B2 (en) * | 2002-10-21 | 2006-05-23 | Hewlett-Packard Development Company, L.P. | Method and digital camera for indicating when image data has been captured for a three-dimensional target object |
| JP4001162B2 (ja) * | 2005-11-04 | 2007-10-31 | オムロン株式会社 | 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置 |
| US7606424B2 (en) * | 2006-02-13 | 2009-10-20 | 3M Innovative Properties Company | Combined forward and reverse correlation |
| US8553758B2 (en) * | 2007-03-02 | 2013-10-08 | Sony Corporation | Motion parameter engine for true motion |
| US20100128971A1 (en) * | 2008-11-25 | 2010-05-27 | Nec System Technologies, Ltd. | Image processing apparatus, image processing method and computer-readable recording medium |
| US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
| WO2011014419A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene |
| US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
| JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
| CN102331883B (zh) * | 2010-07-14 | 2013-11-06 | 财团法人工业技术研究院 | 三维控制端点的辨识方法及应用其的计算机可读介质 |
| US9344701B2 (en) | 2010-07-23 | 2016-05-17 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation |
| GB2483434A (en) * | 2010-08-31 | 2012-03-14 | Sony Corp | Detecting stereoscopic disparity by comparison with subset of pixel change points |
| KR101640404B1 (ko) * | 2010-09-20 | 2016-07-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| US9185388B2 (en) | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
| US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| JP5906165B2 (ja) * | 2012-10-02 | 2016-04-20 | 日本電信電話株式会社 | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム |
| JP6756054B2 (ja) * | 2017-11-06 | 2020-09-16 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60217470A (ja) * | 1984-04-13 | 1985-10-31 | Hitachi Ltd | 撮影対象画像からの立体形状推定方式 |
| US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
-
1994
- 1994-07-12 JP JP16014894A patent/JP3513219B2/ja not_active Expired - Fee Related
-
1995
- 1995-07-11 US US08/503,405 patent/US5734743A/en not_active Expired - Lifetime
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2328127B (en) * | 1997-08-05 | 2002-04-10 | Canon Kk | Image processing apparatus |
| US6647146B1 (en) | 1997-08-05 | 2003-11-11 | Canon Kabushiki Kaisha | Image processing apparatus |
| WO2010061858A1 (ja) * | 2008-11-25 | 2010-06-03 | Ｎｅｃシステムテクノロジー株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
| JP2010128621A (ja) * | 2008-11-25 | 2010-06-10 | Nec System Technologies Ltd | 画像処理装置、画像処理方法、及びプログラム |
| JP2012008998A (ja) * | 2010-06-23 | 2012-01-12 | Ind Technol Res Inst | ３次元の制御ポイントを認識するための方法、及び、それらを用いるコンピュータ読み取り可能な記録媒体 |
| WO2012137511A1 (ja) * | 2011-04-07 | 2012-10-11 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| CN102859551A (zh) * | 2011-04-07 | 2013-01-02 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
| US8750622B2 (en) | 2011-04-07 | 2014-06-10 | Panasonic Corporation | Image processing device and image processing method |
| JP5908844B2 (ja) * | 2011-04-07 | 2016-04-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像処理装置および画像処理方法 |
| JP2013021215A (ja) * | 2011-07-13 | 2013-01-31 | Canon Inc | ビーム計測装置、描画装置、および物品の製造方法 |
| WO2021177163A1 (ja) * | 2020-03-05 | 2021-09-10 | ファナック株式会社 | 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 |
| JPWO2021177163A1 (ja) * | 2020-03-05 | 2021-09-10 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3513219B2 (ja) | 2004-03-31 |
| US5734743A (en) | 1998-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3513219B2 (ja) | 対応点マッチング方法および装置 | |
| EP0506327B1 (en) | A system and method for ranking and extracting salient contours for target recognition | |
| JP3054681B2 (ja) | 画像処理方法 | |
| CN103679749B (zh) | 一种基于运动目标跟踪的图像处理方法及装置 | |
| JP3242529B2 (ja) | ステレオ画像対応付け方法およびステレオ画像視差計測方法 | |
| EP0952552A2 (en) | Method for generating 2-D images from 3-D video data | |
| JP2003510702A (ja) | 一連の画像を解析することにより三次元のシーンを構築する方法 | |
| CN111340922A (zh) | 定位与地图构建的方法和电子设备 | |
| WO2012100225A1 (en) | Systems and methods for generating a three-dimensional shape from stereo color images | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| JPH0719832A (ja) | 複数画像の対応点抽出方法 | |
| US8264526B2 (en) | Method for front matching stereo vision | |
| Oliveira et al. | Selective hole-filling for depth-image based rendering | |
| CN113570725A (zh) | 基于聚类的三维表面重建方法、装置、服务器及存储介质 | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3170345B2 (ja) | ３次元情報抽出方法 | |
| JP3848294B2 (ja) | 対応点マッチング方法および装置 | |
| US9412188B2 (en) | Method and image processing system for removing a visual object from an image | |
| CN112669360B (zh) | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 | |
| JP2000028354A (ja) | ３次元画像処理装置 | |
| RU2716311C1 (ru) | Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети | |
| JP3058769B2 (ja) | ３次元画像生成方法 | |
| Lee et al. | Removing foreground objects by using depth information from multi-view images | |
| Selsis et al. | Automatic tracking and 3D localization of moving objects by active contour models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040109 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |