JP3060114B2 - 対応点探索方法 - Google Patents
対応点探索方法Info
- Publication number
- JP3060114B2 JP3060114B2 JP2262190A JP26219090A JP3060114B2 JP 3060114 B2 JP3060114 B2 JP 3060114B2 JP 2262190 A JP2262190 A JP 2262190A JP 26219090 A JP26219090 A JP 26219090A JP 3060114 B2 JP3060114 B2 JP 3060114B2
- Authority
- JP
- Japan
- Prior art keywords
- correspondence
- image
- filter
- output
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、対応点の探索方法に係り、特に立体視のた
めの対応点の探索に関する。
めの対応点の探索に関する。
（従来の技術） 機械部品等の対象物を認識するという機能は、五感を
通して得られる外界の各種情報特に視覚系を通して得ら
れる視覚情報が、人間の脳神経系に送り込まれ、高度な
認識処理を行うという最も人間的な機能である。
通して得られる外界の各種情報特に視覚系を通して得ら
れる視覚情報が、人間の脳神経系に送り込まれ、高度な
認識処理を行うという最も人間的な機能である。
このような認識機能を作業機械にもたせることによ
り、従来人間が行っていた作業の一部を自動化すること
ができるとともに、各種作業の自動化を飛躍的に容易化
することができる。
り、従来人間が行っていた作業の一部を自動化すること
ができるとともに、各種作業の自動化を飛躍的に容易化
することができる。
なかでも、三次元物体の認識が種々の作業の自動化に
望まれており、異なる位置から得られた一対の二次元画
像情報を用いて対象物までの距離を計測し、三次元情報
を得るための研究が行われている。
望まれており、異なる位置から得られた一対の二次元画
像情報を用いて対象物までの距離を計測し、三次元情報
を得るための研究が行われている。
このように２つの二次元画像情報から距離情報を得、
これらの情報の対応点を探索し、これら対応点間の距離
を測定することにより、三次元的位置をとらえる方法と
して、従来から、相関法が用いられている。
これらの情報の対応点を探索し、これら対応点間の距離
を測定することにより、三次元的位置をとらえる方法と
して、従来から、相関法が用いられている。
相関法は、その１例を第19図に示すように、CCDカメ
ラにより２つの位置から測定した二次元画像情報のうち
の１つの二次元画像の一点に注目しその点を中心とする
窓を設定する。そして、その窓をもう一方の画像のエピ
ポーラライン（視線像）上を走査して相関演算を行い対
応点を求めるという方法がとられる。大きい窓を設定す
ると、対応点を求めるまでの演算が膨大な量となり時間
がかかり、また小さい窓を設定すると対応点が数多く現
れるため、窓を設定し直しさらに演算を行わねばならな
いためやはり演算に時間がかかるという問題があった。
ラにより２つの位置から測定した二次元画像情報のうち
の１つの二次元画像の一点に注目しその点を中心とする
窓を設定する。そして、その窓をもう一方の画像のエピ
ポーラライン（視線像）上を走査して相関演算を行い対
応点を求めるという方法がとられる。大きい窓を設定す
ると、対応点を求めるまでの演算が膨大な量となり時間
がかかり、また小さい窓を設定すると対応点が数多く現
れるため、窓を設定し直しさらに演算を行わねばならな
いためやはり演算に時間がかかるという問題があった。
このように相関法では演算コストが高く、実用的では
ないという問題があった。
ないという問題があった。
（発明が解決しようとする課題） このように、従来の相関法では多大な演算を行わねば
ならず、演算コストが高く、これが実用化を阻む大きな
問題となっていた。
ならず、演算コストが高く、これが実用化を阻む大きな
問題となっていた。
本発明は前記実情に鑑みてなされたもので、演算量を
低減し、短時間で容易に対応点を探索することのできる
方法を提供することを目的とする。
低減し、短時間で容易に対応点を探索することのできる
方法を提供することを目的とする。
（課題を解決するための手段） 上述した目的を達成するため、本発明では、離間した
２点で物体を撮像し、第１の２次元画像および第２の２
次元画像として出力する撮像工程と、前記第１の２次元
画像および第２の２次元画像の情報に対し、高域（高周
波数領域）ほどサイズを小さくし低域（低周波数領域）
ほどサイズを大きくした複数のバンドパスフィルタによ
り、それぞれフィルタ処理を行うフィルタリング工程
と、前記複数のバンドパスフィルタの出力毎に対応度を
計算し、さらに各出力の対応度を、高域ほど重みを付け
て加算する重み付け加算を行うことにより対応度を算出
し、前記第１の２次元画像および第２の２次元画像にお
ける対応点を抽出する対応点抽出工程と、を含むように
したことを特徴とする。
２点で物体を撮像し、第１の２次元画像および第２の２
次元画像として出力する撮像工程と、前記第１の２次元
画像および第２の２次元画像の情報に対し、高域（高周
波数領域）ほどサイズを小さくし低域（低周波数領域）
ほどサイズを大きくした複数のバンドパスフィルタによ
り、それぞれフィルタ処理を行うフィルタリング工程
と、前記複数のバンドパスフィルタの出力毎に対応度を
計算し、さらに各出力の対応度を、高域ほど重みを付け
て加算する重み付け加算を行うことにより対応度を算出
し、前記第１の２次元画像および第２の２次元画像にお
ける対応点を抽出する対応点抽出工程と、を含むように
したことを特徴とする。
（作用） 本発明は、高域のバンドパスフィルターを通した出力
は、局所的で正確であり、一方低域のバンドパスフィル
ターを通した出力は、大局的で曖昧である点に着目して
なされたものであり、高域から低域にかけて複数段のバ
ンドパスフィルターを通し、これらに対し、高域のバン
ドパスフィルターを通した出力ほど大きい重みを付けて
加算するようにしているため、より正確で大局的な対応
付けを行うことができる。
は、局所的で正確であり、一方低域のバンドパスフィル
ターを通した出力は、大局的で曖昧である点に着目して
なされたものであり、高域から低域にかけて複数段のバ
ンドパスフィルターを通し、これらに対し、高域のバン
ドパスフィルターを通した出力ほど大きい重みを付けて
加算するようにしているため、より正確で大局的な対応
付けを行うことができる。
このようにして２次元情報出力から２つの対応点のず
れ量を算出し、このずれ量と測定点間の距離と、該２次
元情報とから、３角測量法によって３次元情報を検出す
ることができる。
れ量を算出し、このずれ量と測定点間の距離と、該２次
元情報とから、３角測量法によって３次元情報を検出す
ることができる。
（実施例） 以下、本発明の実施例について図面を参照しつつ詳細
に説明する。
に説明する。
第１図は本発明実施例の三次元物体の認識方法を示す
説明図である。
説明図である。
この方法では、第１図に示すように、左右２台のCCD
カメラを用いて物体を撮像し、両者から得られる同一エ
ピポーラライン上の画信号IL,IRをそれぞれ第１乃至第
７のフィルタF1〜F7にかけ、これら各フィルタ出力を対
応させ、各フィルタ出力毎に対応度画像を作成し、この
出力を重み付け加算し、一意対応点をみつけ、この対応
点の距離とこの点の２次元位置情報と、左右のカメラの
間の距離とから３次元位置を算出するものである。
カメラを用いて物体を撮像し、両者から得られる同一エ
ピポーラライン上の画信号IL,IRをそれぞれ第１乃至第
７のフィルタF1〜F7にかけ、これら各フィルタ出力を対
応させ、各フィルタ出力毎に対応度画像を作成し、この
出力を重み付け加算し、一意対応点をみつけ、この対応
点の距離とこの点の２次元位置情報と、左右のカメラの
間の距離とから３次元位置を算出するものである。
これら第１乃至第７のフィルタF1〜F7のうち第１のフ
ィルターは平滑化フィルターであり、第２のフィルター
が最も高周波数領域の信号を通すものであり、順に低周
波数領域の信号を通すようになっている。第１のフィル
ター、第３のフィルター、第５のフィルター、第７のフ
ィルターを第２図に示す。
ィルターは平滑化フィルターであり、第２のフィルター
が最も高周波数領域の信号を通すものであり、順に低周
波数領域の信号を通すようになっている。第１のフィル
ター、第３のフィルター、第５のフィルター、第７のフ
ィルターを第２図に示す。
次に、この方法について、第３図のフローチャートを
参照しつつ説明する。
参照しつつ説明する。
まず、左右２台のCCDカメラを用いて物体を撮像し、
ステレオ画像として画像処理装置に入力する（ステップ
101）。
ステレオ画像として画像処理装置に入力する（ステップ
101）。
そして順次各エピポーララインＥPについて以下のよ
うにして、エピポーラライン１本ごとに対応点を求め
る。
うにして、エピポーラライン１本ごとに対応点を求め
る。
まず、１番目のエピポーララインをEp−N0＝１とする
（ステップ102）。
（ステップ102）。
次に、順次各フィルターについて畳み込みをおこな
う。まずｋ＝１とし（ステップ103）、第１のフィルタ
ーFlについて左右各エピポーララインＥPについての画
像信号の畳み込み（コンボリューション）を行い（ステ
ップ104）、対応度画像を作成する（ステップ105）。
う。まずｋ＝１とし（ステップ103）、第１のフィルタ
ーFlについて左右各エピポーララインＥPについての画
像信号の畳み込み（コンボリューション）を行い（ステ
ップ104）、対応度画像を作成する（ステップ105）。
次いでｋ＝ｋ＋１（ステップ106）とし、次のフィル
ターFnについて左右各エピポーララインＥPについての
画像信号の畳み込みを行い（ステップ104）、対応度画
像を作成し（ステップ105）、ｋ＞７であるか否かを判
断し（ステップ107）、第７番めのフィルターまでの対
応度画像を作成する。
ターFnについて左右各エピポーララインＥPについての
画像信号の畳み込みを行い（ステップ104）、対応度画
像を作成し（ステップ105）、ｋ＞７であるか否かを判
断し（ステップ107）、第７番めのフィルターまでの対
応度画像を作成する。
この畳み込みは、例えばｋ番目については次の式に示
すようにして行う。
すようにして行う。
CLk（ｘ）＝IL（ｘ）＊Fk（ｘ） CRk（ｘ）＝IR（ｘ）＊Fk（ｘ） ここで、CLk（ｘ）,CRk（ｘ）はそれぞれ左右のｋ番
目のフィルタ出力を示し、IL（ｘ）,IR（ｘ）は左右エ
ピポーラライン上の濃度を示し、Fk（ｘ）はｋ番目のフ
ィルタを示す。また「＊」はコンボリューション演算を
表わす。
目のフィルタ出力を示し、IL（ｘ）,IR（ｘ）は左右エ
ピポーラライン上の濃度を示し、Fk（ｘ）はｋ番目のフ
ィルタを示す。また「＊」はコンボリューション演算を
表わす。
第４図（ａ）および第４図（ｂ）にこのときの左およ
び右のCCDカメラの出力を示す。但し、わかり易くする
ために第４図（ａ）および第４図（ｂ）は１番目のエピ
ポーララインではなく例えば50番目のエピポーラライン
（Ep−N0＝50）を示している。
び右のCCDカメラの出力を示す。但し、わかり易くする
ために第４図（ａ）および第４図（ｂ）は１番目のエピ
ポーララインではなく例えば50番目のエピポーラライン
（Ep−N0＝50）を示している。
第５図（ａ）および第５図（ｂ）に同左および右のCC
Dカメラの同一エピポーラライン上の濃度を示す。
Dカメラの同一エピポーラライン上の濃度を示す。
また第６図（ａ）および第６図（ｂ）に第１のフィル
ター出力を示す。
ター出力を示す。
第７図（ａ）および第７図（ｂ）に第３のフィルター
出力を示す。
出力を示す。
第８図（ａ）および第８図（ｂ）に第５のフィルター
出力を示す。
出力を示す。
第９図（ａ）および第９図（ｂ）に第７のフィルター
出力を示す。
出力を示す。
第10図はこの対応度画像の作成方法を示す図である。
ここでは右画像のフィルター出力上の点Ｐと左画像のフ
ィルター出力の差の絶対値が小さいほど対応度は大きく
なる。すなわちこの操作は次の式で示される。
ここでは右画像のフィルター出力上の点Ｐと左画像のフ
ィルター出力の差の絶対値が小さいほど対応度は大きく
なる。すなわちこの操作は次の式で示される。
Dk（lx,rx）＝CRk（Ｘ）−CLk（ｘ） Dk＝DKmax−Dk ここでDk（lx,rx）:k番目のフィルター出力の対応度
画像とし、かりにDk＜０ならばDk＝０とする。
画像とし、かりにDk＜０ならばDk＝０とする。
第11図乃至第14図は、この様にして得られた各フィル
ター出力の対応度画像を示す図である。
ター出力の対応度画像を示す図である。
そしてさらに、この各フィルター出力毎に対応度画像
を重みをつけて加算し、第15図に示すような最終的な対
応度画像を作成する（ステップ108）。
を重みをつけて加算し、第15図に示すような最終的な対
応度画像を作成する（ステップ108）。
ここで重み付けは次式のようにして行う。
Ds（lx,rx）：対応度画像 Wk:重み その後、この最終的な対応度画像Ds（lx,rx）におい
て（lx,rx）が競合する点内で最大値をとるならばその
点を対応点とし順次対応点を求め一意対応の決定とする
（ステップ109）。つまり、第16図に示すようにrx＝Pr
の点における最大値の点と一致するか否かにより一意対
応を決めている。
て（lx,rx）が競合する点内で最大値をとるならばその
点を対応点とし順次対応点を求め一意対応の決定とする
（ステップ109）。つまり、第16図に示すようにrx＝Pr
の点における最大値の点と一致するか否かにより一意対
応を決めている。
式で表わせば、 Ds（lx1,rx1）＞Ds（lx1,rx） （０＜rx＜rxmax,但しrx1を除く） Ds（lx1,rx1）＞Ds（1x,rx1） （０＜lx＜lxmax,但し1x1を除く） （rxmax、lxmaxは水平方向の画素数） この条件を満たす点Ｐ（lx1,rx1）を対応点とする。
第16図のPrをrx＝１からrx＝rxmax−１まで変化させて
上述のようにして順次得られた対応点を表わしたものが
第17図である。
第16図のPrをrx＝１からrx＝rxmax−１まで変化させて
上述のようにして順次得られた対応点を表わしたものが
第17図である。
次に各対応点について視差dx＝lx−rxを計算する（ス
テップ110）。
テップ110）。
そしてEp−N0＝Ep−N0＋１（ステップ111）として２
番目のエピポーララインについて上述のステップ103か
らステップ110の処理を行い、エピポーラライン番号Ep
−N0が入力画像の垂直画素数Ep−maxと等しくなるまで
上述の処理を繰り返し行う（ステップ112）。
番目のエピポーララインについて上述のステップ103か
らステップ110の処理を行い、エピポーラライン番号Ep
−N0が入力画像の垂直画素数Ep−maxと等しくなるまで
上述の処理を繰り返し行う（ステップ112）。
このようにしてえられた対応点間の距離すなわち視差
と、この点の２次元位置情報と、左右のカメラの間の距
離とから３次元位置を算出する。
と、この点の２次元位置情報と、左右のカメラの間の距
離とから３次元位置を算出する。
この算出については第18図に示すような三角測量法に
より通常の演算を行うようにすればよい。
より通常の演算を行うようにすればよい。
このようにして各点の三次元情報を得ることができ
る。
る。
このようにして極めて短時間でより高精度の対応点位
置の探索を行うことができ、２つの対応点のずれ量を算
出し、このずれ量と測定点間の距離と、該２次元情報と
から、３角測量法によって３次元情報を容易に検出する
ことができる。
置の探索を行うことができ、２つの対応点のずれ量を算
出し、このずれ量と測定点間の距離と、該２次元情報と
から、３角測量法によって３次元情報を容易に検出する
ことができる。
なお、前記実施例では７つのフィルターを用いるよう
にしたが、７つに限定されるものではなく高域と低域の
２つ以上であればよく、フィルター特性についても適宜
選択可能である。
にしたが、７つに限定されるものではなく高域と低域の
２つ以上であればよく、フィルター特性についても適宜
選択可能である。
また、第１のフィルターである平滑化フィルターは、
ノズルをとるために使用しており、本発明の必須要件で
はない。
ノズルをとるために使用しており、本発明の必須要件で
はない。
以上説明してきたように、本発明の方法によれば、２
つの離れた位置での検出画像を高域から低域にかけて複
数段のバンドパスフィルターを通し、これらに対し、高
域のバンドパスフィルターを通した出力ほど大きい重み
を付けて加算するようにしているため、より正確で大局
的な対応付けを行うことができ、高速かつ高精度の対応
点の検出を行う事が可能となる。
つの離れた位置での検出画像を高域から低域にかけて複
数段のバンドパスフィルターを通し、これらに対し、高
域のバンドパスフィルターを通した出力ほど大きい重み
を付けて加算するようにしているため、より正確で大局
的な対応付けを行うことができ、高速かつ高精度の対応
点の検出を行う事が可能となる。
第１図は本発明実施例の対応点の探索方法を示す説明
図、第２図は各フィルターを示す図、第３図は同方法を
示すフローチャート図、第４図は左右のCCDカメラの出
力を示す図、第５図は同左右のCCDカメラの同一エピポ
ーラライン上の濃度を示す図、第６図乃至第９図は同濃
度の第1,第3,第5,第７のフィルタ通過後の出力を示す
図、第10図は対応度の検出方法を示す図、第11図乃至第
14図は、各フィルター出力の対応度画像を示す模式図，
第15図は重み付け加算をした対応度画像を示す図、第16
図は一意対応の決定方法を示す図、第17図は１本のエピ
ポーラライン上での対応点を示す模式図、第18図は三角
測量法の説明図、第19図は従来例を説明するための図で
ある。
図、第２図は各フィルターを示す図、第３図は同方法を
示すフローチャート図、第４図は左右のCCDカメラの出
力を示す図、第５図は同左右のCCDカメラの同一エピポ
ーラライン上の濃度を示す図、第６図乃至第９図は同濃
度の第1,第3,第5,第７のフィルタ通過後の出力を示す
図、第10図は対応度の検出方法を示す図、第11図乃至第
14図は、各フィルター出力の対応度画像を示す模式図，
第15図は重み付け加算をした対応度画像を示す図、第16
図は一意対応の決定方法を示す図、第17図は１本のエピ
ポーラライン上での対応点を示す模式図、第18図は三角
測量法の説明図、第19図は従来例を説明するための図で
ある。
Claims (1)
- 【請求項１】離間した２点で物体を撮像し、第１の２次
元画像および第２の２次元画像として出力する撮像工程
と、 前記第１の２次元画像および第２の２次元画像の情報に
対し、高域（高周波数領域）ほどサイズを小さくし低域
（低周波数領域）ほどサイズを大きくした複数のバンド
パスフィルタにより、それぞれフィルタ処理を行うフィ
ルタリング工程と、 前記複数のバンドパスフィルタの出力毎に対応度を計算
し、さらに各出力の対応度を、高域ほど重みを付けて加
算する重み付け加算を行うことにより対応度を算出し、
前記第１の２次元画像および第２の２次元画像における
対応点を抽出する対応点抽出工程と、 を含むようにしたことを特徴とする対応点探索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2262190A JP3060114B2 (ja) | 1990-09-29 | 1990-09-29 | 対応点探索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2262190A JP3060114B2 (ja) | 1990-09-29 | 1990-09-29 | 対応点探索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04138579A JPH04138579A (ja) | 1992-05-13 |
| JP3060114B2 true JP3060114B2 (ja) | 2000-07-10 |
Family
ID=17372325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2262190A Expired - Fee Related JP3060114B2 (ja) | 1990-09-29 | 1990-09-29 | 対応点探索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3060114B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8040396B2 (en) * | 2006-05-18 | 2011-10-18 | Konica Minolta Holdings, Inc. | Image capturing apparatus and image capturing method |
| JP5109691B2 (ja) * | 2008-01-31 | 2012-12-26 | コニカミノルタホールディングス株式会社 | 解析装置 |
-
1990
- 1990-09-29 JP JP2262190A patent/JP3060114B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04138579A (ja) | 1992-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3242529B2 (ja) | ステレオ画像対応付け方法およびステレオ画像視差計測方法 | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| US20070189750A1 (en) | Method of and apparatus for simultaneously capturing and generating multiple blurred images | |
| EP0121411A2 (en) | Stereoscopic vision system | |
| US20150278996A1 (en) | Image processing apparatus, method, and medium for generating color image data | |
| WO2014073670A1 (ja) | 画像処理方法及び画像処理装置 | |
| JP2008070120A (ja) | 距離計測装置 | |
| JP2953154B2 (ja) | 形状合成方法 | |
| EP3582182A1 (en) | A method, a device, and a system for estimating a sub-pixel position of an extreme point in an image | |
| TWI528783B (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
| JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP3060114B2 (ja) | 対応点探索方法 | |
| JP2802034B2 (ja) | 三次元物体の計測方法 | |
| JP2004245701A (ja) | 距離分布検知装置 | |
| JP2004028811A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JPH08329110A (ja) | 画像処理方法 | |
| JPH02100589A (ja) | 両眼視差検出方法 | |
| JPH0875454A (ja) | 測距装置 | |
| JPH0252204A (ja) | ３次元座標計測装置 | |
| JP3002896B2 (ja) | 三次元物体の認識方法 | |
| JPH0933249A (ja) | 三次元画像計測装置 | |
| JP2019192048A (ja) | 撮像装置 | |
| JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
| KR101823657B1 (ko) | 이종 카메라를 위한 스테레오 영상 교정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |