JP2871827B2 - ３次元形状復元装置 - Google Patents
３次元形状復元装置Info
- Publication number
- JP2871827B2 JP2871827B2 JP2242617A JP24261790A JP2871827B2 JP 2871827 B2 JP2871827 B2 JP 2871827B2 JP 2242617 A JP2242617 A JP 2242617A JP 24261790 A JP24261790 A JP 24261790A JP 2871827 B2 JP2871827 B2 JP 2871827B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- edge
- circuit
- output
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は３次元形状復元装置に係わり、特に水平方向
のエッジの奥行きを補完することができる３次元形状復
元装置に関する。
のエッジの奥行きを補完することができる３次元形状復
元装置に関する。
この発明は、左右にずれた位置に設置された撮像装置
により得られる画像から被写体の奥行きを検出し被写体
の３次元形状を復元する装置であって、左右の画像から
得られる情報を用いて３次元情報を補完することによ
り、確実な３次元形状を復元するものである。
により得られる画像から被写体の奥行きを検出し被写体
の３次元形状を復元する装置であって、左右の画像から
得られる情報を用いて３次元情報を補完することによ
り、確実な３次元形状を復元するものである。
従来、左右の異なる位置から撮像した画像から被写体
の奥行きを検出する装置としては、両画像の輝度、
ゼロクロス、方位を持ったエッジ等の類似度を測定
し、被写体の同一点に起源を持つ画像上の点を左右画像
から求め、同点の両画像上でのずれ量を奥行きとして求
めるものがある。また、奥行き形状を測定する装置とし
ては他に、ビーム光を被写体に走査しながら照射し
て、その反射光の時間遅れを測定する方法、ビーム光
を被写体に走査して照射し、その反射光を別の角度から
観測し三角測量の原理により測定する方法などがある。
の奥行きを検出する装置としては、両画像の輝度、
ゼロクロス、方位を持ったエッジ等の類似度を測定
し、被写体の同一点に起源を持つ画像上の点を左右画像
から求め、同点の両画像上でのずれ量を奥行きとして求
めるものがある。また、奥行き形状を測定する装置とし
ては他に、ビーム光を被写体に走査しながら照射し
て、その反射光の時間遅れを測定する方法、ビーム光
を被写体に走査して照射し、その反射光を別の角度から
観測し三角測量の原理により測定する方法などがある。
上述した従来技術の，においては、左右画像で対
応する点を決定する際に、誤った対応を求めてしまうこ
とが多く、正確な奥行きを求めにくいという欠点があ
る。においては、誤対応の問題は生じにくいものの、
水平方向及びそれに近い角度のエッジ成分の対応がとれ
ないため、水平方向の輪郭線が求められず、従って被写
体の正確な３次元形状が得られなかった。の場合、被
写体の正確な形状、奥行きは得られるものの、ビーム光
を走査するのに時間を要する（従って動く被写体に対し
ては適用できない）。また、，において、検出可能
な反射光を得るために強力な光源を要する、ビーム光走
査用の機構が必要、表面の紋様、色などの情報を得るた
めには、別に撮像装置が必要などシステムが複雑になる
という欠点があった。
応する点を決定する際に、誤った対応を求めてしまうこ
とが多く、正確な奥行きを求めにくいという欠点があ
る。においては、誤対応の問題は生じにくいものの、
水平方向及びそれに近い角度のエッジ成分の対応がとれ
ないため、水平方向の輪郭線が求められず、従って被写
体の正確な３次元形状が得られなかった。の場合、被
写体の正確な形状、奥行きは得られるものの、ビーム光
を走査するのに時間を要する（従って動く被写体に対し
ては適用できない）。また、，において、検出可能
な反射光を得るために強力な光源を要する、ビーム光走
査用の機構が必要、表面の紋様、色などの情報を得るた
めには、別に撮像装置が必要などシステムが複雑になる
という欠点があった。
本発明は、従来技術の，のような複雑なシステム
を用いずに、従来技術の，に存する奥行き抽出の不
正確さ及び従来技術のに存する３次元形状の不正確さ
を克服した３次元形状復元装置を提供することを目的と
する。
を用いずに、従来技術の，に存する奥行き抽出の不
正確さ及び従来技術のに存する３次元形状の不正確さ
を克服した３次元形状復元装置を提供することを目的と
する。
上記目的を達成するため本発明は互いに異なる位置か
ら同一被写体を撮像する２台の撮像装置と、該２台の撮
像装置からの撮像信号に基づいて前記被写体のエッジの
奥行きを抽出する奥行き抽出回路と、前記２台のうちの
１台の撮像装置からの撮像信号に基づいて前記被写体の
エッジを各方位について抽出する単画像エッジ抽出回路
と、前記２台の撮像装置による前記被写体の撮像画像の
各画素毎に前記奥行き抽出回路からの出力および前記単
画像エッジ抽出回路の出力のうちの最大値を別々に検出
する最大値検出回路と、該最大値検出回路からの出力に
基づいて前記奥行き抽出回路による前記被写体のエッジ
の奥行き抽出値を補完する奥行き補完回路とを具えたこ
とを特徴とする。
ら同一被写体を撮像する２台の撮像装置と、該２台の撮
像装置からの撮像信号に基づいて前記被写体のエッジの
奥行きを抽出する奥行き抽出回路と、前記２台のうちの
１台の撮像装置からの撮像信号に基づいて前記被写体の
エッジを各方位について抽出する単画像エッジ抽出回路
と、前記２台の撮像装置による前記被写体の撮像画像の
各画素毎に前記奥行き抽出回路からの出力および前記単
画像エッジ抽出回路の出力のうちの最大値を別々に検出
する最大値検出回路と、該最大値検出回路からの出力に
基づいて前記奥行き抽出回路による前記被写体のエッジ
の奥行き抽出値を補完する奥行き補完回路とを具えたこ
とを特徴とする。
本発明によれば奥行き抽出出力および単画像エッジ抽
出出力の各最大値に基づいて各画素毎の前記奥行き抽出
値を補間し、３次元形状を確実に復元する。
出出力の各最大値に基づいて各画素毎の前記奥行き抽出
値を補間し、３次元形状を確実に復元する。
本発明の実施例を図をもって説明する。
第１図は本発明の実施例の模式図である。同図に示す
ように例えば２台のビデオカメラ、2,3で被写体１を撮
像して得られた撮像信号を、それぞれコントラスト抽出
回路4,5によりコントラストを抽出した後、奥行き抽出
回路６に入力する。この奥行き抽出回路６によって、エ
ッジの各方位と奥行き値ｄごとに、その方位、奥行き値
においてエッジの存在する部位のみに大きいアナログ出
力値となる２次元出力が得られる（ただし、1.0を越え
ない）。
ように例えば２台のビデオカメラ、2,3で被写体１を撮
像して得られた撮像信号を、それぞれコントラスト抽出
回路4,5によりコントラストを抽出した後、奥行き抽出
回路６に入力する。この奥行き抽出回路６によって、エ
ッジの各方位と奥行き値ｄごとに、その方位、奥行き値
においてエッジの存在する部位のみに大きいアナログ出
力値となる２次元出力が得られる（ただし、1.0を越え
ない）。
本発明では、これら回路の他に、単画像エッジ抽出回
路7,最大値検出回路8,奥行き補完回路９を加えたことを
特徴とする 単画像エッジ抽出回路７は、コントラスト抽出回路４
からの信号を入力して、奥行き抽出回路６で奥行きを抽
出する際に用いるエッジの方位（例えば、45°〜135
°、225°〜315°まで22.5°間隔）について、それぞれ
のエッジの存在する部位が大きなアナログ出力値となる
ような２次元出力を得る。
路7,最大値検出回路8,奥行き補完回路９を加えたことを
特徴とする 単画像エッジ抽出回路７は、コントラスト抽出回路４
からの信号を入力して、奥行き抽出回路６で奥行きを抽
出する際に用いるエッジの方位（例えば、45°〜135
°、225°〜315°まで22.5°間隔）について、それぞれ
のエッジの存在する部位が大きなアナログ出力値となる
ような２次元出力を得る。
最大値検出回路８は、複数の２次元画像について各画
素の位置ごとに最大値を求めるもので、単画像エッジ抽
出回路７からのすべての方位の出力10の最大値（単画像
エッジ入力）、及び奥行き抽出回路６からの各奥行き値
ごとのすべての方位の出力11の最大値（奥行きエッジ出
力）を各画素ごとに求めて出力する。
素の位置ごとに最大値を求めるもので、単画像エッジ抽
出回路７からのすべての方位の出力10の最大値（単画像
エッジ入力）、及び奥行き抽出回路６からの各奥行き値
ごとのすべての方位の出力11の最大値（奥行きエッジ出
力）を各画素ごとに求めて出力する。
奥行き補完回路９は、奥行き抽出回路６で得られなか
った水平及び水平に近い角度の輪郭線を単画像エッジ抽
出回路７によって得られる完全な輪郭線を用いて補完す
るとともに、補完部分の奥行きについても、妥当な推定
値を与える。この回路９の機能について、第２図をもっ
て説明する。奥行き補完回路９は、奥行き抽出回路６で
検出する奥行きの数と等しい数のエッジ補完回路15と、
一つの重心計算回路16とをもつ。各エッジ補完回路15は
対応する一つの奥行きエッジ出力13（ここではｄ＝１に
ついてのもの）と単画像エッジ出力12とを入力として受
け取り、各エッジ補完回路15からの出力が重心計算回路
16に入力される。
った水平及び水平に近い角度の輪郭線を単画像エッジ抽
出回路７によって得られる完全な輪郭線を用いて補完す
るとともに、補完部分の奥行きについても、妥当な推定
値を与える。この回路９の機能について、第２図をもっ
て説明する。奥行き補完回路９は、奥行き抽出回路６で
検出する奥行きの数と等しい数のエッジ補完回路15と、
一つの重心計算回路16とをもつ。各エッジ補完回路15は
対応する一つの奥行きエッジ出力13（ここではｄ＝１に
ついてのもの）と単画像エッジ出力12とを入力として受
け取り、各エッジ補完回路15からの出力が重心計算回路
16に入力される。
各入出力は、２次元的な関係を保ったまま入力される
が図では、簡単のため一本の線で表わしている。また、
図中、17−1,17−2,…は撮像画像中の奥行きを抽出する
所定の領域の座標の数に対応する数の加算ユニットを示
し、18−１は入力０の時に1.0を出力するユニットを示
す。19−1,19−2,…は、その入力が０より大きい時、そ
の接しているユニットの出力をゼロにするゲートを示
す。20は、入力をそのまま出力する中継ユニットを示
す。21は、加算ユニットと同様の働きをする最大値検出
ユニットを示す。
が図では、簡単のため一本の線で表わしている。また、
図中、17−1,17−2,…は撮像画像中の奥行きを抽出する
所定の領域の座標の数に対応する数の加算ユニットを示
し、18−１は入力０の時に1.0を出力するユニットを示
す。19−1,19−2,…は、その入力が０より大きい時、そ
の接しているユニットの出力をゼロにするゲートを示
す。20は、入力をそのまま出力する中継ユニットを示
す。21は、加算ユニットと同様の働きをする最大値検出
ユニットを示す。
ついでエッジ補完回路15の動作を説明する。
初期状態ではすべての加算ユニットの出力はゼロにし
ておく。いま、画像上の座標（xi,yi）に注目する。単
画像エッジ出力12がこの座標上で０より大きければ、奥
行きエッジ出力13の値はその座標上の加算ユニット17−
２に入力されるが、単画像エッジ出力12が０以下であれ
ば奥行きエッジ出力13からの出力も中継ユニット20から
の出力もゲートの機能により加算ユニット17−２には入
力されない。従って、単画像エッジ出力12がゼロ以下の
座標では、エッジ補完回路15の出力がゼロより大きく奥
行きエッジ出力13がゼロの場合には、もし、座標（xi,y
i）の近傍（例えば周囲の８画素）で加算ユニットが出
力を出していれば、それらに減衰係数αを乗じた値を加
算した値が当該座標上の加算ユニットに入力されるの
で、それがそのままエッジ補完回路15の出力となる。こ
の処理を適当な回数繰り返せば、単画像エッジ出力があ
るのに奥行きエッジ出力がない部分（主に、水平及び水
平に近い角度のエッジの部分）には、単画像エッジの出
力と奥行きエッジ出力がともにゼロより大きい画素か
ら、単画像エッジ出力が途切れていない限り減衰係数α
で伝ぱんしていくことになる。従って、奥行き抽出回路
６で抽出されたエッジに接している水平及び水平に近い
角度のエッジ部分には、接している点からの距離に応じ
て減衰した値が得られる。
ておく。いま、画像上の座標（xi,yi）に注目する。単
画像エッジ出力12がこの座標上で０より大きければ、奥
行きエッジ出力13の値はその座標上の加算ユニット17−
２に入力されるが、単画像エッジ出力12が０以下であれ
ば奥行きエッジ出力13からの出力も中継ユニット20から
の出力もゲートの機能により加算ユニット17−２には入
力されない。従って、単画像エッジ出力12がゼロ以下の
座標では、エッジ補完回路15の出力がゼロより大きく奥
行きエッジ出力13がゼロの場合には、もし、座標（xi,y
i）の近傍（例えば周囲の８画素）で加算ユニットが出
力を出していれば、それらに減衰係数αを乗じた値を加
算した値が当該座標上の加算ユニットに入力されるの
で、それがそのままエッジ補完回路15の出力となる。こ
の処理を適当な回数繰り返せば、単画像エッジ出力があ
るのに奥行きエッジ出力がない部分（主に、水平及び水
平に近い角度のエッジの部分）には、単画像エッジの出
力と奥行きエッジ出力がともにゼロより大きい画素か
ら、単画像エッジ出力が途切れていない限り減衰係数α
で伝ぱんしていくことになる。従って、奥行き抽出回路
６で抽出されたエッジに接している水平及び水平に近い
角度のエッジ部分には、接している点からの距離に応じ
て減衰した値が得られる。
これと全く同一の処理を、残りの各エッジ補完回路に
おいて残りの各奥行き出力に対して行なう。
おいて残りの各奥行き出力に対して行なう。
次に、これらのエッジ補完回路の出力をすべて重心計
算回路16に入力し、以下の計算により最終的な奥行きδ
を求める。即ち、エッジ補完回路がＮ個あるとして、そ
れぞれは、奥行き抽出回路で抽出するＮ種類の奥行きｄ
＝1,d＝2,…,d＝Ｎに対応している。いま、ｊ番目のエ
ッジ補完回路の座標（xi,yi）における出力をvj（xi,y
i）とする時、重心計算回路16は、その出力δ（xi,yi）
を により求める。
算回路16に入力し、以下の計算により最終的な奥行きδ
を求める。即ち、エッジ補完回路がＮ個あるとして、そ
れぞれは、奥行き抽出回路で抽出するＮ種類の奥行きｄ
＝1,d＝2,…,d＝Ｎに対応している。いま、ｊ番目のエ
ッジ補完回路の座標（xi,yi）における出力をvj（xi,y
i）とする時、重心計算回路16は、その出力δ（xi,yi）
を により求める。
このようにして求められたδを最終的な奥行きと定め
ると、一つのエッジ補完回路だけで値を持つ部分はエッ
ジ補完回路において距離に応じ減衰した値で補完された
部分も元々奥行き抽出回路で得られた部分も正規化され
て同じ奥行き値を持つことになる。また、二つ以上のエ
ッジ補完回路で値を持つ部分は、それらの中間の奥行き
値を持つ。例えば、一端がｄ＝ｊの奥行き抽出回路で抽
出された垂直のエッジに接続し、もう一端がｄ＝ｊ＋１
の奥行き抽出回路で抽出された垂直エッジについて考え
ると、その水平エッジは、なめらかに奥行きの変化する
エッジとして再生される。このことはまた、奥行き抽出
回路で複数の奥行きに出力がでている際にその中間の奥
行き値を得ることになり、奥行き抽出回路で抽出できる
奥行きの刻みより精度の高い奥行き抽出が可能となる。
ると、一つのエッジ補完回路だけで値を持つ部分はエッ
ジ補完回路において距離に応じ減衰した値で補完された
部分も元々奥行き抽出回路で得られた部分も正規化され
て同じ奥行き値を持つことになる。また、二つ以上のエ
ッジ補完回路で値を持つ部分は、それらの中間の奥行き
値を持つ。例えば、一端がｄ＝ｊの奥行き抽出回路で抽
出された垂直のエッジに接続し、もう一端がｄ＝ｊ＋１
の奥行き抽出回路で抽出された垂直エッジについて考え
ると、その水平エッジは、なめらかに奥行きの変化する
エッジとして再生される。このことはまた、奥行き抽出
回路で複数の奥行きに出力がでている際にその中間の奥
行き値を得ることになり、奥行き抽出回路で抽出できる
奥行きの刻みより精度の高い奥行き抽出が可能となる。
本発明によれば、従来技術の，，では得られな
かった完全な輪郭情報と奥行き情報を持った奥行き形状
を求めることができる。また、奥行き抽出回路の奥行き
検出刻みよりも高い精度で奥行きを求めることができ
る。
かった完全な輪郭情報と奥行き情報を持った奥行き形状
を求めることができる。また、奥行き抽出回路の奥行き
検出刻みよりも高い精度で奥行きを求めることができ
る。
また、本発明によれば、従来技術の，のように複
雑な機構を要しない。さらに、従来技術の，，等
では、水平及び水平に近い角度のエッジの奥行きを求め
るためには、左右ではなく上下方向に２台の撮像装置を
設置するか、左右２台の他にもう一台設置する必要があ
ったが、本発明によれば左右２台のみの撮像装置です
む。
雑な機構を要しない。さらに、従来技術の，，等
では、水平及び水平に近い角度のエッジの奥行きを求め
るためには、左右ではなく上下方向に２台の撮像装置を
設置するか、左右２台の他にもう一台設置する必要があ
ったが、本発明によれば左右２台のみの撮像装置です
む。
第１図は、本発明にかかる３次元形状復元装置の一実施
例を示すブロック図、 第２図は、同実施例における奥行き補完回路部の一例を
示すブロック図である。 ６……奥行き抽出回路、７……単画像エッジ抽出回路、
８……最大値検出回路、９……奥行き補間回路。
例を示すブロック図、 第２図は、同実施例における奥行き補完回路部の一例を
示すブロック図である。 ６……奥行き抽出回路、７……単画像エッジ抽出回路、
８……最大値検出回路、９……奥行き補間回路。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G01B 11/00 - 11/30 G01C 3/00 - 3/32 G06T 7/00
Claims (1)
- 【請求項１】互いに異なる位置から同一被写体を撮像す
る２台の撮像装置と、該２台の撮像装置からの撮像信号
に基づいて前記被写体のエッジの奥行きを抽出する奥行
き抽出回路と、前記２台のうちの１台の撮像装置からの
撮像信号に基づいて前記被写体のエッジを各方位につい
て抽出する単画像エッジ抽出回路と、前記２台の撮像装
置による前記被写体の撮像画像の各画素毎に前記奥行き
抽出回路からの出力および前記単画像エッジ抽出回路の
出力のうちの最大値を別々に検出する最大値検出回路
と、該最大値検出回路からの出力に基づいて前記奥行き
抽出回路による前記被写体のエッジの奥行き抽出値を補
完する奥行き補完回路とを具えたことを特徴とする３次
元形状復元装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2242617A JP2871827B2 (ja) | 1990-09-14 | 1990-09-14 | ３次元形状復元装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2242617A JP2871827B2 (ja) | 1990-09-14 | 1990-09-14 | ３次元形状復元装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04122810A JPH04122810A (ja) | 1992-04-23 |
| JP2871827B2 true JP2871827B2 (ja) | 1999-03-17 |
Family
ID=17091724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2242617A Expired - Lifetime JP2871827B2 (ja) | 1990-09-14 | 1990-09-14 | ３次元形状復元装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2871827B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2479410A (en) * | 2010-04-09 | 2011-10-12 | Tektronix Uk Ltd | Measuring perceived stereoscopic visual depth |
-
1990
- 1990-09-14 JP JP2242617A patent/JP2871827B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04122810A (ja) | 1992-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5398292A (en) | Edge detecting apparatus | |
| JP2642215B2 (ja) | エッジとラインとの抽出方法とその装置 | |
| US20030038875A1 (en) | Computer vision depth segmentation using virtual surface | |
| JPH10143659A (ja) | 物体検出装置 | |
| JPH07120425B2 (ja) | ２フレーム減算を使用した運動目標検出方法および装置 | |
| JP2001524228A (ja) | 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法 | |
| JP2006071471A (ja) | 移動体高さ判別装置 | |
| KR101589167B1 (ko) | 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법 | |
| JPH0658716A (ja) | 画像上のエッジ検出方法 | |
| Burie et al. | Detecting and localising obstacles in front of a moving vehicle using linear stereo vision | |
| JP2871827B2 (ja) | ３次元形状復元装置 | |
| US5144373A (en) | Detection of range discontinuities in stereoscopic imagery | |
| Kim et al. | An accurate and robust stereo matching algorithm with variable windows for 3D measurements | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JPH06160087A (ja) | 画像を用いた距離測定方法及びその装置 | |
| Bender et al. | A Hand-held Laser Scanner based on Multi-camera Stereo-matching | |
| JP3047017B2 (ja) | 画像処理方法 | |
| JPH01211083A (ja) | 背景画像更新方法 | |
| JP3340599B2 (ja) | 平面推定方法 | |
| JP2860992B2 (ja) | 移動対象抽出方法 | |
| JP3055721B2 (ja) | 左，右カメラの撮像画像の対応点検索方法 | |
| CN113382134B (zh) | 一种线阵工业相机的聚焦调试方法 | |
| JP2993610B2 (ja) | 画像処理方法 | |
| JP2993611B2 (ja) | 画像処理方法 | |
| JPH047805B2 (ja) |