JPH04122810A

JPH04122810A - ３次元形状復元装置

Info

Publication number: JPH04122810A
Application number: JP2242617A
Authority: JP
Inventors: Masato Fujii; 真人藤井; Takayuki Ito; 崇之伊藤
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1990-09-14
Filing date: 1990-09-14
Publication date: 1992-04-23
Anticipated expiration: 2014-03-17
Also published as: JP2871827B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は３次元形状復元装置に係わり、特に水平方向の
エツジの奥行きを補完することができる３次元形状復元
装置に関する。

〔発明の概要〕

この発明は、左右にずれた位置に設置された撮像装置に
より得られる画像から被写体の奥行きを検出し被写体の
３次元形状を復元する装置であって、左右の画像から得
られる情報を用いて３次元情報を補完することにより、
確実な３次元形状を復元するものである。

〔従来の技術Ｊ従来、左右の異なる位置がら撮像した画像から被写体の
奥行きを検出する装置としては、両画像の■輝度、■ゼ
ロクロス、■方位を持ったエツジ等の類似度を測定し、
被写体の同一点に起源を持つ画像上の点を左右画像から
求め、同点の両画像上でのずれ量を奥行きとして求める
ものがある。

また、奥行き形状を測定する装置としては他に、■ビー
ム光を被写体に走査しながら照射して、その反射光の時
間遅れを測定する方法、■ビーム光を被写体に走査して
照射し、その反射光を別の角度から観測し三角測量の原
理により測定する方法などがある。

〔発明が解決しようとする課題〕

上述した従来技術の■、■においては、左右画像で対応
する点を決定する際に、誤った対応を求めてしまうこと
が多く、正確な奥行きを求めにくいという欠点がある。

■においては、誤対応の問題は生じにくいものの、水平
方向及びそれに近い角度のエツジ成分の対応がとれない
ため、水平方向の輪郭線が求められず、従って被写体の
正確な３次元形状が得られなかった。■の場合、被写体
の正確な形状、奥行きは得られるものの、ビーム光を走
査するのに時間を要する（従って動く被写体に対しては
適用できない）。また、■、■において、検出可能な反
射光を得るために強力な光源を要する、ビーム光走査用
の機構が必要、表面の紋様、色などの情報を得るために
は、別に撮像装置が必要などシステムが複雑になるとい
う欠点があった。

本発明は、従来技術の■、■のような複雑なシステムを
用いずに、従来技術の■、■に存する奥行き抽出の不正
確さ及び従来技術の■に存する３次元形状の不正確さを
克服した３次元形状復元装置を提供することを目的とす
る。

〔課題を解決するための手段Ｊ上記目的を達成するため本発明は互いに異なる位置から
同一被写体を撮像する２台の撮像装置と、該２台の撮像
装置からの撮像信号に基づいて前記被写体のエツジの奥
行きを抽出する奥行き抽出回路と、前記２台のうちの１
台の撮像装置からの撮像信号に基づいて前記被写体のエ
ツジを各方位について抽出する単画像エツジ抽出回路と
、前記２台の撮像画！による前記被写体の撮像画像の各
画素毎に前記奥行き抽出回路からの出力および前記単画
像エツジ抽出回路の出力のうちの最大値を別々に検出す
る最大値検出回路と、該最大値検出回路からの出力に基
づいて前記奥行き抽出回路による前記被写体のエツジの
奥行き抽出値を補完する奥行き補完回路とを具えたこと
を特徴とする。

【作　用］本発明によれば奥行き抽出出力および単画像エツジ抽出
出力の各最大値に基づいて各画素毎の前記奥行き抽出値
を補関し、３次元形状を確実に復元する。

【実施例Ｊ本発明の実施例を図をもって説明する。

第１図は本発明の実施例の模式図である。同図に示すよ
うに例えば２台のビデオカメラ、２，３で被写体ｌを撮
像して得られた撮像信号を、それぞれコントラスト抽出
回路４，５によりコントラストを抽出した後、奥行き抽
出回路６に入力する。この奥行き抽出回路６によって、
エツジの各方位と奥行き値ｄごとに、その方位、奥行き
値においてエツジの存在する部位のみに大きいアナログ
出力値となる２次元出力が得られる（ただし、１．０を
越えない）。

本発明では、これら回路の他に、単画像エツジ抽出回路
７．最大値検出回路８．奥行き補完回路９′を加えたこ
とを特徴とする。

単画像エツジ抽出回路７は、コントラスト抽出回路４か
らの信号を入力して、奥行き抽出回路６で奥行きを抽出
する際に用いるエツジの方位（例えば、４５°〜１３５
’　、２２５°〜３１５°まで２２．５＠間隔）につい
て、それぞれのエツジの存在する部位が大きなアナログ
出力値となるような２次元出力を得る。

最大値検出回路８は、複数の２次元画像について各画素
の位置ごとに最大値を求めるもので、単画像エツジ抽出
回路７からのすべての方位の出力ｌＯの最大値（単画像
エツジ出力）、及び奥行き抽出口路６からの各奥行き値
ごとのすべての方位の出力１１の最大値（奥行きエツジ
出力）を各画素ごとに求めて出力する。

奥行き補完回路９は、奥行き抽出回路６で得られなかっ
た水平及び水平に近い角度の輪郭線を単画像エツジ抽出
回路７によって得られる完全な輪郭線を用いて補完する
とともに、補完部分の奥行きについても、妥当な推定値
を与える。この回路９の機能について、第２図をもって
説明する。奥行き補完回路９は、奥行き抽出回路６で検
出する奥行きの数と等しい数のエツジ補完回路１５と、
つの重心計算回路１６とをもつ。各エツジ補完回路１５
は対応する一つの奥行きエツジ出力１３（ここではｄ＝
１についてのもの）と単画像エツジ出力１２とを入力と
して受は取り、各エツジ補完回路１５からの出力が重心
計算回路１６に入力される。

各入出力は、２次元的な関係を保ったまま入力されるが
図では、簡単のため一本の縁で表わしている。また、図
中、１７−１．１７−２．・・・は撮像画像中の奥行き
を抽出する所定の領域の座標の数に対応する数の加算ユ
ニットを示し、１８−１は入力０の時に１．０を出力す
るユニットを示す。１９−１．１９−２．・・・は、そ
の入力が０より大きい時、その接しているユニットの出
力をゼロにするゲートを示す。２０は、入力をそのまま
出力する中継ユニットを示す。２１は、加算ユニットと
同様の働きをする最大値検出ユニットを示す。

ついでエツジ補完回路１５の動作を説明する。

初期状態ではすべての加算ユニットの出力はゼロにして
おく。いま、画像上の座標（ｘｉ、ｙｘ）に注目する。

単画像エツジ出力１２がこの座標上で０より大きければ
、奥行きエツジ出力１３の値はその座標上の加算ユニッ
ト１７−２に入力されるが、単画像エツジ出力１２がＯ
以下であれば奥行きエツジ出力１３からの出力も中継ユ
ニット２０からの出力もゲートの機能により加算ユニッ
ト１７−２には入力されない。従って、単画像エツジ出
力１２がゼロ以下の座標では、エツジ補完回路１５の出
力がゼロより大きく奥行きエツジ出力１３がゼロの場合
には、もし、座標（ｘｉ、ｙｉ）の近傍（例えば周囲の
８画素）で加算ユニットが出力を出していれば、それら
に減衰係数αを乗じた値を加算した値が当該座標上の加
算ユニットに入力されるので、それがそのままエツジ補
完回路１５の出力となる。この処理を適当な回数繰り返
せば、単画像エツジ出力があるのに奥行きエツジ出力が
ない部分（主に、水平及び水平に近い角度のエツジの部
分）には、単画像エツジの出力と奥行きエツジ出力がと
もにゼロより大きい画素から、単画像エツジ出力が途切
れていない限り減衰係数αで伝ばんしていくことになる
。

従って、奥行き抽出回路６で抽出されたエツジに接して
いる水平及び水平に近い角度のエツジ部分には、接して
いる点からの距離に応じて減衰した値が得られる。

これと全く同一の処理を、残りの各エツジ補完回路にお
いて残りの各奥行き出力に対して行なう。

次に、これらのエツジ補完回路の出力をすべて重心計算
回路１６に入力し、以下の計算により最終的な奥行きδ
を求める。即ち、エツジ補完回路がＮ個あるとして、そ
れぞれは、奥行き抽出回路で抽出するＮ種類の奥行きｄ
＝１．ｄ＝２．・・・、　ｄ＝Ｈに対応している。いま
、ｊ番目のエツジ補完回路の座標（ｘｉ、ｙｉ）におけ
る出力をｖｊ（ｘｘ、ｙｘ）とする時、重心計算回路１
６は、その出力δ（ｘｉ、ｙｉ）をにより求める。

このようにして求められたδを最終的な奥行きと定める
と、一つのエツジ補完回路だけで値を持つ部分はエツジ
補完回路において距離に応じ減衰した値で補完された部
分も元々奥行き抽出回路で得られた部分も正規化されて
同じ奥行き値を持つことになる。また、二つ以上のエツ
ジ補完回路で値を持つ部分は、それらの中間の奥行き値
を持つ。例えば、一端がｄ＝ｊの奥行き抽出回路で抽出
された垂直のエツジに接続し、もう一端がｄ＝ｊ＋１の
奥行き抽出回路で抽出された垂直エツジについて考える
と、その水平エツジは、なめらかに奥行きの変化するエ
ツジとして再生される。このことはまた、奥行き抽出回
路で複数の奥行きにａカがでている際にその中間の奥行
き値を得ること、になり、奥行き抽出回路で抽出できる
奥行きの刻みより精度の高い奥行き抽出が可能となる。

〔発明の効果〕

本発明によれば、従来技術の■、■、■では得られなか
った完全な輪郭情報と奥行き情報を持った奥行き形状を
求めることができる。また、奥行き抽出回路の奥行き検
出刻みよりも高い精度で奥行きを求めることができる。

また、本発明によれば、従来技術の■、■のように複雑
な機構を要しない。さらに、従来技術の■、■、■等で
は、水平及び水平に近い角度のエツジの奥行きを求める
ためには、左右ではなく上下方向に２台の撮像装置を設
置するか、左右２台の他にもう一台設置する必要があっ
たが、本発明によれば左右２台のみの撮像装置ですむ。

【図面の簡単な説明】

第１図は、本発明にかかる３次元形状復元装置の一実施
例を示すブロック図、第２図は、同実施例における奥行き補完回路部の一例を
示すブロック図である。６・・・奥行き抽出回路、７・・・単画像エツジ抽出回路、８・・・最大値検出回路、９・・・奥行き補間回路。

Claims

【特許請求の範囲】

１）互いに異なる位置から同一被写体を撮像する２台の
撮像装置と、該２台の撮像装置からの撮像信号に基づい
て前記被写体のエッジの奥行きを抽出する奥行き抽出回
路と、前記２台のうちの１台の撮像装置からの撮像信号
に基づいて前記被写体のエッジを各方位について抽出す
る単画像エッジ抽出回路と、前記２台の撮像装置による
前記被写体の撮像画像の各画素毎に前記奥行き抽出回路
からの出力および前記単画像エッジ抽出回路の出力のう
ちの最大値を別々に検出する最大値検出回路と、該最大
値検出回路からの出力に基づいて前記奥行き抽出回路に
よる前記被写体のエッジの奥行き抽出値を補完する奥行
き補完回路とを具えたことを特徴とする３次元形状復元
装置。