JPH05141930A - 3次元形状計測装置 - Google Patents

3次元形状計測装置

Info

Publication number
JPH05141930A
JPH05141930A JP3303218A JP30321891A JPH05141930A JP H05141930 A JPH05141930 A JP H05141930A JP 3303218 A JP3303218 A JP 3303218A JP 30321891 A JP30321891 A JP 30321891A JP H05141930 A JPH05141930 A JP H05141930A
Authority
JP
Japan
Prior art keywords
dimensional
information
image
section
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3303218A
Other languages
English (en)
Inventor
Takayuki Yasuno
貴之 安野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP3303218A priority Critical patent/JPH05141930A/ja
Publication of JPH05141930A publication Critical patent/JPH05141930A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 エッジ特徴点間の面を検出し、それを補間す
ることが可能な3次元形状計測装置を提供する。 【構成】 物体の画像を運動しながら複数枚入力する画
像入力部と、該画像入力部の画像入力時における位置/
姿勢情報を入力する運動情報入力部と、前記入力された
複数枚の画像と運動情報を用いて被写体の3次元情報を
抽出する3次元情報抽出部と、該3次元情報抽出部が出
力した3次元座標を入力して3次元面の存在を判定する
面存在判定部と、該面存在判定部が出力した面情報を蓄
積し3次元面を生成する面情報生成部と、該面情報生成
部で抽出された3次元面情報を出力する出力部とから構
成され、画像中のノイズの影響を受けることなく、該画
像入力部が運動しながら物体の形状を計測することを特
徴とする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、建築物、地形、人工構
造物体などの3次元構造物の形状を獲得する3次元形状
計測装置に関し、特に、自律自動車の自動運転制御やロ
ボットの視覚制御に利用することが可能な技術に関する
ものである。
【0002】
【従来の技術】従来より、3次元的な構造を有する計測
対象物の3次元座標を計測する手法は種々あるが、その
一つに運動立体視法がある。この手法は、ビデオカメラ
等の画像入力部を運動させ撮影位置を変化させながら計
測対象物を連続的に撮影し、得られる画像上の計測対象
の像の動きから計測対象物の各部分に対する3次元座標
を求める計測方法であり、画像上の投影像の動きは、画
像入力部と計測対象物との距離が近いほど速いという性
質を利用した方法である。
【0003】画像入力部を移動させ連続的に得られた多
重画像間で、計測対象物の像の対応する点同士を決定す
ることによって、その対応点の画像上の移動速度が求め
られる。画像入力部が直線運動をし、さらに撮影光軸方
向が運動方向に垂直のときは、図9に示すように、画像
の対応点はエピポーラ直線と呼ばれる運動方向と平行な
直線上を移動する。従って、多重画像間のエピポーラ直
線上の対応点を探索することによって対応点の速度が求
められ、画像入力部の移動速度を用いて対応点の3次元
座標が決定できる。図10に示すように、画像入力部の
モデルを考え、画像入力部がX軸に沿って移動すると
き、画像入力部の原点からの移動距離をd、画像入力部
の移動速度をd’、撮像面からレンズ中心までの距離を
F、計測対象点Pの座標を(x,y,z)、点Pの撮像
面上の像Piの撮像面に於ける座標を(u,v)、Pi
の撮像面上の移動速度をu’とすると、
【0004】
【数1】
【0005】
【数2】
【0006】から
【0007】
【数3】
【0008】
【数4】
【0009】
【数5】
【0010】となり、計測対象点の3次元位置が決定さ
れる。
【0011】
【発明が解決しようとする課題】ところで、前述した従
来方法による測定においては、3次元位置座標が得られ
る計測点が、画像中の輝度変化が急峻なエッジ特徴点に
限られ、エッジ特徴点間の面の情報が得られない。すな
わち、従来の処理では、物体の特徴点の3次元位置が求
められるだけで、物体の面情報は得られなかった。例え
ば、図11に示すように、背景が縦格子の繰り返しパタ
ーンで、その前に類似の角柱が立っている環境等におい
ては、角柱のエッジ特徴点の3次元位置が求められるだ
けで、そのどちらに空間が存在するのか、あるいは、面
上の文様なのかは判別ができないという問題があった。
【0012】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、エッジ特徴点間の
面を検出し、それを補間することが可能な3次元形状計
測装置を提供することにある。
【0013】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書及び添付図面によって明らかにす
る。
【0014】
【課題を解決するための手段】前記目的を達成するため
に、本発明の3次元形状計測装置は、物体の画像を運動
しながら複数枚入力する画像入力部と、該画像入力部の
画像入力時における位置/姿勢情報を入力する運動情報
入力部と、前記入力された複数枚の画像と運動情報を用
いて被写体の3次元情報を抽出する3次元情報抽出部
と、該3次元情報抽出部が出力した3次元座標を入力し
て3次元面の存在を判定する面存在判定部と、該面存在
判定部が出力した面情報を蓄積し3次元面を生成する面
情報生成部と、該面情報生成部で抽出された3次元面情
報を出力する出力部とから構成され、画像中のノイズの
影響を受けることなく、該画像入力部が運動しながら物
体の形状を計測することを特徴とする。
【0015】
【作用】前述の手段によれば、図3に示すように、エピ
ポーラ直線Lを入力順に積み重ねて横座標u,縦座標d
の画像としたものをエピポーラ画像EPI(Epipolar
Plan Image)と呼ぶと、画像入力部が等速直線運動を
行う時は、計測物体XのエッジP1〜P6の軌跡がエッジ
軌跡直線l1〜l6のようになる。このエッジ軌跡直線
は、式(4)から式(6)で表わされる直線となること
がわかる。
【0016】
【数6】
【0017】この直線の傾きd’/u’と焦点距離Fか
ら式(3)に従って、エッジPの奥行きが決定できる。
【0018】次に、エピポーラ画像EPI中のエッジの
軌跡lからエッジ同士の隠れの情報を抽出して、各々の
エッジのどちら側に面があるかのラベリングを施し、ど
のエッジ同士を結ぶべきであるかを決定する。そのため
に遮蔽類型の概念を導入する。
【0019】エッジ軌跡直線l1〜l6の交点をCa〜Ci
とする。これらの交点は、お互いのエッジがどのように
遮蔽を生じるかによって、以下の種類に分けられる。 (1)T型(Type−T):見えていたものが隠れて
行くもの。 (2)線型(Type−/):既に隠されているもの。 (3)y型(Type−y):隠されていたものが見え
てくるもの。 (4)v型(Type−v):y型のうち更に第3の遮
蔽によって隠されていたもの。 (5)山型(Type−Λ):T型のうち更に第3の遮
蔽によって隠されるもの。 (6)完全遮蔽型:(Type−non)v型、山型の
うち更に遮蔽によって、隠されているもの。
【0020】図4に以上定義した遮蔽類型を示す。図4
中で、実線はエピポーラ画像EPI上に実際に現れてい
るエッジ軌跡直線を示し、点線は遮蔽によって隠されて
いるエッジ軌跡直線を示している。傾きが大きいエッジ
軌跡直線の方が画像入力部からの距離が大きいエッジを
示しており、エピポーラ画像EPI上のエッジ軌跡直線
の交点は局所的にみて図4に示した6種類の遮蔽類型し
か生じない。
【0021】エピポーラ画像EPIで抽出された、エッ
ジ軌跡直線の交点に対して、遮蔽類型の類型分けを行
い、それを基に面を補間すべきエッジの組を判定する。
【0022】処理の手順は以下のようになる。 1.組空間画像のエピポーラ画像EPI(図5(a))
からHough変換によってエッジ軌跡直線を抽出す
る。抽出された直線を逆投影したものを図5(b)に示
す。
【0023】2.求められた直線同士の交点を求め、各
交点の周囲のエッジの連続性から遮蔽類型Type−
T,/,y,Λ,v,nonのラベル付けを行う。(ラ
ベル付けされた交点を図6に示す。)ラベル付けの判定
は直線li上のt=0から数えてj番目の交点をpij
すると、線分pijij+1の上に乗るエッジの数e(j)
の線分pijij+1の長さに対する割合が閾値Tより小さ
い、すなわち、
【0024】
【数7】
【0025】のとき、遮蔽が生じているとする。
【0026】3.エッジ軌跡直線上の交点のラベルか
ら、連結すべきエッジ同士を決定する。ある直線li
の交点の隣同士の遮蔽類型を順次比較して行く。表1に
示す、pij,pij+1のタイプの組は、その交点を成して
いるエッジ間に面が存在する証拠となる。各エッジ軌跡
直線上で面の証拠となる組を累積して行き累積された組
が多いほど、そのエッジ間に面の存在する確率が大きい
といえる。そして、図7に示すように、エッジ軌跡直線
の傾きから求められた各エッジP間の補間すべき立体面
Sを決定する。
【0027】
【表1】
【0028】以上の処理を各走査線のエピポーラ画像E
PI上に施し、面を補間するべきエッジ軌跡直線の組を
決定した後、各エピポーラ画像EPI間の情報を統合
し、エピポーラ画像EPI間で、連続しているエッジを
連結する。例えば、図8に示すように、隣接したエッジ
P11とP21間の遮蔽類型を比較して、同じもの同士
だけを線分SP121で連結する操作をし、同時にその
エッジが構成する立体面も連結してゆき3次元面として
統合する。
【0029】前記本発明の方法により、このように遮蔽
類型を導入することにより、エピポーラ画像EPI間の
連結すべきエッジの判定の信頼性を向上させ、3次元エ
ッジ間の面情報を得ることが可能となり、対象物体の3
次元形状の電子計算機への入力が実現できる。
【0030】
【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図1は、本発明の一実施例の3次元形状計
測装置の概略構成を示すブロック図であり、図2は、図
1の具体的な機能構成を示すブロック図である。図1及
び図2中、Aは運動可能なビデオカメラなどの物体の画
像を入力する画像入力部である。Bは移動装置Tの移動
量を測定することにより、画像入力部Aの運動軌跡を検
出する運動情報入力部である。Cは移動装置Tにより、
画像入力部Aの位置を変えながら計測対象物Xを多数回
撮像し、得られた多数の画像中より計測対象物Xの各部
分の対応点を決定し、画像上における移動速度を求め
て、計測対象物Xの各エッジ特徴点部分の3次元座標を
算出する3次元情報抽出部である。Dはエッジ特徴点の
前後関係と遮蔽関係から、エッジ特徴点間の面の存在を
判定する面存在判定部である。Eは面情報を蓄積し3次
元面を生成する面情報生成部である。Fは面情報生成部
Eで抽出された3次元面情報を出力する出力部を示す。
【0031】前記3次元情報抽出部Cは、対応点抽出部
C1と3次元座標抽出部C2からなる。面存在判定部D
は、遮蔽類型決定部D1と連結点決定部D2からなる。
また、面情報生成部Eは、蓄積部E1と3次元面補間部
E2からなる。
【0032】本実施例の3次元形状計測装置を動作する
には、画像入力部Aに物体の画像情報を入力する。ま
た、運動情報入力部Bに画像入力部の運動情報を入力す
る。3次元情報抽出部Cの対応点抽出部C1は、画像入
力部Aから画像情報を読み出し、同時に運動情報入力部
Bより画像入力部の運動情報を読み出しエピポーラ画像
に変換し、エピポーラ画像上の特徴点の対応を探索し決
定する。3次元座標抽出部C2は、対応点抽出部C1で
決定された対応点と運動情報入力部Bで得られた画像入
力部速度とから式(3)に従って3次元座標を決定す
る。面存在判定部Dの遮蔽類型決定部D1は、3次元座
標抽出部C2で得られた、エピポーラ画像上の対応点の
遮蔽類型を決定する。次に、連結点決定部D2は、遮蔽
類型決定部D1で得られた遮蔽類型を比較して、連結す
べき対応点を決定する。次に、面情報生成部Eの蓄積部
E1は、連結点決定部D2で得られた連結点情報を蓄積
する。そして、3次元面補間部E2は、蓄積部E1で蓄
積された連結点情報から補間すべき3次元面を生成す
る。
【0033】以上の説明からわかるように、本実施例に
よれば、運動立体視法による3次元座標の検出におい
て、遮蔽類型の分類を行い連結点を決定することによ
り、3次元物体の特徴点だけでなく、その間に存在する
3次元面の情報を得ることができる。
【0034】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において、種々変更し
得ることはいうまでもない。
【0035】
【発明の効果】以上、説明したように、本発明によれ
ば、運動立体視法による3次元座標の検出において、測
定対象物の特徴点に対して、遮蔽類型の分類を行い連結
点を決定するので、3次元物体の特徴点だけでなく、そ
の間に存在する3次元面の情報を得ることができ、測定
対象物に関するより多くの3次元情報を得ることができ
る。
【0036】また、本発明は、自然光による測定が可能
であり、自然光中の物体や風景等の3次元座標を測定す
ることができ、また、画像データベースやCAD(Com
puter Aided Design)のための3次元情報を高精度に
入力することができ、更にまた、航空写真による地形解
析や自動車の自動運転、ロボットの視覚制御等に応用で
きる等の利点がある。
【図面の簡単な説明】
【図1】 本発明の一実施例の3次元形状計測装置の概
略構成を示すブロック図、
【図2】 本実施例の具体的な機能構成を示すブロック
図、
【図3】 エピポーラ画像を示す説明図、
【図4】 遮蔽類型を示す説明図、
【図5】 エピポーラ画像のエッジ特徴点と抽出された
直線を示す説明図、
【図6】 遮蔽類型付け結果を示す説明図、
【図7】 エッジ特徴点間の連結を示す説明図、
【図8】 エピポーラ画像間の面の補間を示す説明図、
【図9】 従来の運動立体視の一例を示す説明図、
【図10】 画像入力部の光学モデルを示す説明図、
【図11】 縦格子の背景を持つ角柱を示す説明図。
【符号の説明】
A…画像入力部、B…運動情報入力部、C…3次元情報
抽出部、C1…対応点抽出部、C2…3次元座標抽出
部、D…面存在判定部、D1…遮蔽類型決定部、D2…
連結点決定部、E…面情報生成部、E1…蓄積部、E2
…3次元面補間部。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 物体の画像を運動しながら複数枚入力す
    る画像入力部と、該画像入力部の画像入力時における位
    置/姿勢情報を入力する運動情報入力部と、前記入力さ
    れた複数枚の画像と運動情報を用いて被写体の3次元情
    報を抽出する3次元情報抽出部と、該3次元情報抽出部
    が出力した3次元座標を入力して3次元面の存在を判定
    する面存在判定部と、該面存在判定部が出力した面情報
    を蓄積し3次元面を生成する面情報生成部と、該面情報
    生成部で抽出された3次元面情報を出力する出力部とか
    ら構成され、画像中のノイズの影響を受けることなく、
    該画像入力部が運動しながら物体の形状を計測すること
    を特徴とする3次元形状計測装置。
JP3303218A 1991-11-19 1991-11-19 3次元形状計測装置 Pending JPH05141930A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3303218A JPH05141930A (ja) 1991-11-19 1991-11-19 3次元形状計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3303218A JPH05141930A (ja) 1991-11-19 1991-11-19 3次元形状計測装置

Publications (1)

Publication Number Publication Date
JPH05141930A true JPH05141930A (ja) 1993-06-08

Family

ID=17918303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3303218A Pending JPH05141930A (ja) 1991-11-19 1991-11-19 3次元形状計測装置

Country Status (1)

Country Link
JP (1) JPH05141930A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000073738A1 (fr) * 1999-05-26 2000-12-07 Sanyo Electric Co., Ltd. Dispositif de mesure de forme
JP2001283200A (ja) * 2000-03-30 2001-10-12 Meidensha Corp 物体の三次元形状モデル作製装置
JP2002311523A (ja) * 2001-04-19 2002-10-23 Shimadzu Corp 3次元光学カメラ
JP2005514606A (ja) * 2001-12-28 2005-05-19 アプライド プレシジョン エルエルシー 立体3次元計測システムおよび方法
JP2007256029A (ja) * 2006-03-23 2007-10-04 Denso It Laboratory Inc ステレオ画像処理装置
JP2015122588A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2018527554A (ja) * 2015-09-25 2018-09-20 ▲広▼州▲極飛▼科技有限公司Guangzhou Xaircraft Technology Co., Ltd. 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000073738A1 (fr) * 1999-05-26 2000-12-07 Sanyo Electric Co., Ltd. Dispositif de mesure de forme
US6909513B1 (en) 1999-05-26 2005-06-21 Sanyo Electric Co., Ltd. Shape measuring device
JP2001283200A (ja) * 2000-03-30 2001-10-12 Meidensha Corp 物体の三次元形状モデル作製装置
JP2002311523A (ja) * 2001-04-19 2002-10-23 Shimadzu Corp 3次元光学カメラ
JP2005514606A (ja) * 2001-12-28 2005-05-19 アプライド プレシジョン エルエルシー 立体3次元計測システムおよび方法
JP4896373B2 (ja) * 2001-12-28 2012-03-14 ルドルフテクノロジーズ インコーポレイテッド 立体3次元計測システムおよび方法
JP2007256029A (ja) * 2006-03-23 2007-10-04 Denso It Laboratory Inc ステレオ画像処理装置
JP2015122588A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2018527554A (ja) * 2015-09-25 2018-09-20 ▲広▼州▲極飛▼科技有限公司Guangzhou Xaircraft Technology Co., Ltd. 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機

Similar Documents

Publication Publication Date Title
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
Smith et al. ASSET-2: Real-time motion segmentation and shape tracking
US7667581B2 (en) Pedestrian detector and detecting method using change of velocity of object in image
JP3049603B2 (ja) 立体画像−物体検出方法
JPH0676062A (ja) 画像処理装置
JP2000357233A (ja) 物体認識装置
JPH11252587A (ja) 物体追跡装置
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
JP3577875B2 (ja) 移動物体抽出装置
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
JPH05141930A (ja) 3次元形状計測装置
Zhanabatyrova et al. Automatic map update using dashcam videos
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
JP3465531B2 (ja) 物体認識方法およびその装置
Turk et al. Color road segmentation and video obstacle detection
JP3879874B2 (ja) 物流計測装置
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置
JP3170345B2 (ja) 3次元情報抽出方法
JP3475700B2 (ja) 物体認識方法、物体認識装置、および車輌認識装置
JP3253328B2 (ja) 距離動画像入力処理方法
JP3063481B2 (ja) 車両用物体検出装置
JPH11259658A (ja) 物体認識方法およびその方法を用いた物体認識装置,車輌認識方法,車輌認識装置
JP3808727B2 (ja) 物体検出装置及びその方法
JP3055721B2 (ja) 左,右カメラの撮像画像の対応点検索方法
Elgazzar et al. Active range sensing for indoor environment modeling