JP3170345B2 - 3次元情報抽出方法 - Google Patents

3次元情報抽出方法

Info

Publication number
JP3170345B2
JP3170345B2 JP12041092A JP12041092A JP3170345B2 JP 3170345 B2 JP3170345 B2 JP 3170345B2 JP 12041092 A JP12041092 A JP 12041092A JP 12041092 A JP12041092 A JP 12041092A JP 3170345 B2 JP3170345 B2 JP 3170345B2
Authority
JP
Japan
Prior art keywords
image
camera
space
resolution
voting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12041092A
Other languages
English (en)
Other versions
JPH05314244A (ja
Inventor
偉明 姚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP12041092A priority Critical patent/JP3170345B2/ja
Publication of JPH05314244A publication Critical patent/JPH05314244A/ja
Application granted granted Critical
Publication of JP3170345B2 publication Critical patent/JP3170345B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、自然物体、人工物体な
どの3次元物体の位置、形状を物体の存在する空間から
抽出する方法に関するものである。
【0002】
【従来の技術】従来、自然物体、人工物体などの3次元
物体の位置、形状を求める方法としては以下の方法があ
る。なお、以下の説明ではより具体的に表現するため、
本発明の分野での慣用語であるVoxel(’3次元画
素’の意)、Voting(’物体の画像の存在する前
記3次元画素についてある値を加算する’の意)、シー
ン空間(’物体の存在する空間’の意)を用いる。
【0003】1.カメラを直線並進運動させながら撮影
した画像を時間方向に蓄積することで時空間画像(Sp
atio−temporal image)を作成す
る。これによって特徴点の画像上の軌跡(エピ極線)が
一つの平面(エピポーラ平面)に出現するようになる。
その特徴点軌跡を抽出することで特徴点の奥行きを求め
るという方法である。
【0004】2.基本的には上記1.の方法と同様にエ
ピポーラ平面の解析で3次元情報を抽出しようとする方
法であるが、入力した画像をカメラのレンズ中心を中心
とする球の球面に投影することによってカメラ光軸の回
転が許される方法である。 3.第1図に示すようにシーン空間をVoxelに分割
し、カメラの視線を用いて各Voxelに対してVot
ingを行なう方法である。集積値の高いVoxelは
視線が多く交差しているわけである。
【0005】
【発明が解決しようとする課題】1.と2.の方法では
エピ極線をエピポーラ平面に拘束するため、カメラは直
線並進運動に限定されている。またオクルージョンが発
生する場合はエピポーラ平面上の特徴点の軌跡が分断さ
れるので、信頼性の高い軌跡の抽出は極めて困難であ
る。3.の方法ではエピポーラ平面拘束が不要であるた
め、カメラの運動軌跡が既知であれば、カメラの任意運
動が許される。また特徴点軌跡の抽出が不要であるの
で、極めて高い信頼性を実現している。しかし、実際の
空間では、物体が存在しない領域の割合が高い場合があ
る。このような空間に3.の方法を適用すると、無駄な
Votingが多く発生し、膨大な処理時間が必要とな
る。
【0006】以上より、1.と2.の方法はロバスト性
に欠け、複雑な環境には対応が難しい。3.の方法は広
範囲環境の3次元情報を検出するにはリアルタイムで実
現が極めて難しいことになる。本発明は3.の方法に対
し、無駄なVotingを減少させることで高速に環境
中の物体の3次元位置を検出することと、目的に応じた
精度の3次元形状を復元することを目的としている。
【0007】
【課題を解決するための手段】前記の目的を達成するた
めに、本発明による3次元情報入力方法では、物体に対
してカメラが動きながら複数枚の画像を入力する工程
と、前記画像入力時におけるカメラの位置・姿勢情報を
入力する工程と、前記画像入力工程により入力された画
像の解像度を階層的に落としピラミッド化する工程と、
前記工程によりピラミッド化された画像に対応してシー
ン空間を分割する工程と、入力されたカメラの運動・姿
勢情報を用いてシーン空間に対してVotingし、特
徴点の存在するVoxelを抽出する工程と、ピラミッ
ド化された画像を粗い画像から密な画像へ順次空間分割
とVotingを行ない、前記Voting工程によっ
て物体があると判断されるVoxelだけを必要に応じ
た空間解像度まで続けることを特徴とする。
【0008】
【作用】入力画像の解像度を階層的に落とすことでピラ
ミッド化し、ピラミッド化した画像を粗い画像から密な
画像へ順次シーン空間を分割またはVotingを行な
う。この時において物体が存在していると判断される部
分だけを必要に応じた空間解像度まで続けて空間分割と
Votingを行なうことで不要なVotingを削減
する。
【0009】
【実施例】以下、本発明を図面を参照しながら説明す
る。第2図は本発明の一実施例の構成ブロック図であ
る。この第2図においては21はカメラが動きながら複
数枚の画像を入力する画像入力部である。22は該画像
入力部21の画像入力時におけるカメラの位置・姿勢情
報を入力する運動情報入力部である。23は前記画像入
力部21により入力された複数枚画像の各画像の解像度
を階層的に落としピラミッド化するピラミッド画像部で
ある。24は前記ピラミッド画像部23によるピラミッ
ド化された画像に対応してシーン空間を分割する空間分
割部である。25は前記ピラミッド画像部23によりピ
ラミッド化された画像と、前記運動情報入力部22によ
り入力されたカメラの運動・姿勢情報を用いてシーン空
間に対してVotingをするVoting部である。
26は前記ピラミッド画像部23よりピラミッド化され
た画像の粗い画像から順次に用いて前記空間分割部24
と、かつ前記Voting部25を用いてシーン空間を
前記画像の解像度に対応して分割とVotingを行
い、物体が存在すると判断されるVoxelだけを必要
に応じた空間解像度まで分割とVotingを行なうこ
とを続けることを制御する制御部である。第3図は本方
式による実施例の処理を示すフロー図である。また第5
図は画像解像度と空間解像度の関係を示すものである。
第2図、第3図、第5図を用いて本実施例の動作を説明
する。
【0010】まず画像入力部21より画像が入力され、
2値化される(ステップ31、ステップ33)。次にピ
ラミッド画像部23より
【数1】 に示した演算を繰り返すことにより第5図に示したよう
なピラミッド解像度画像を得ることができる(ステップ
34)。第5図53は画像入力部21より入力された原
画像であり、前記演算を繰り返して・・52・・51、
50の画像を順次作成していく。
【0011】ただし、Pは画素値で、
【数2】 のように表される。ステップ34でピラミッド化された
画像中解像度の一番粗い画像(第5図50参照)を用い
【数3】 に従って空間分割部24よりシーン空間が分割される
(ステップ35)。第4図は画像解像度と空間解像度の
関係を説明するための図である。第6図は制御部によ
り、順次に画像解像度と空間解像度をあげてVotin
gを行うことを説明する図である。これらの図を用いて
具体的な処理を以下に説明する。第4図の座標系の中、
結像面40にXとY軸を設定し、カメラの光軸をZ軸と
設定し、光軸と結像面が交わっているところを座標系の
原点(0,0,0)とすると、画像面に画素41を写像
した特徴点の座標は、次の
【数4】 により得られる。ただし、u、vは画素41の写像面座
標系における座標、fはカメラの焦点距離を示す。一定
解像度の画像の隣画素間の距離をΔu、Δυとすると、
隣Voxel間の距離が、上記式3であれば、分解能が
十分である。カメラの運動軌跡よりカメラとVotin
g空間の最短距離を決め、それを上記式3に代入するこ
とによりステップ34でピラミッド化された画像中解像
度の一番粗い画像と前記運動情報入力部22により入力
されたカメラの運動・姿勢情報によりカメラの視線が求
められる(ステップ36、第4図45、46参照)。ス
テップ36で求めた視線を用いてステップ35で分割さ
れたシーン空間に対してVoting部25によりVo
tingを行う。即ちステップ31により入力された全
画像がステップ34よりピラミッド化された画像中同解
像度の全ての画像に対して、ステップ36により求めた
カメラ視線を用いてVotingを行い、集積値の高い
Voxelをピックアップする(ステップ37)。次に
前記制御部26により空間解像度が十分かどうか、上記
式3を用いてチェックし、Noであればステップ34で
ピラミッド化された画像中、解像度のより高い画像を用
いてステップ35に戻る(第6図62・・・参照)。Y
esであれば処理が終了する。第7図は本実施例により
得られる結果の一例である。第7図の2は一番粗い画像
を用いて空間分割とVotingを行った結果を示して
いる。第7図の62は2に示した結果に対してより高い
解像度の画像を用いて空間分割とVotingを行った
結果を示している。第7図の63は62に示した結果に
対してより高い解像度の画像を用いて空間分割とVot
ingを行った結果を示している。このように順次に画
像解像度と空間解像度をあげながらVotingしてい
くことによって効率的にシーン空間中の物体の3次元情
報を抽出することができる。
【0012】
【発明の効果】本発明によれば、最初に粗い画像を用い
て粗い空間に対して少ないVotingで環境中の物体
が存在する部分空間を確定し、それから順次に画像と空
間の解像度をあげてVotingすることで、無駄なV
otingを削減することができる。この方法によって
迅速に必要に応じた空間解像度の3次元情報を抽出する
ことができる。また本発明は広い空間での物体の3次元
位置を確定するには特に有効であるため、航空写真によ
る地形解析や自動車の自動運転やロボットの視覚制御な
どに応用することができるなどの利点がある。
【図面の簡単な説明】
【図1】第1図は視線によるシーン空間へのVotin
gによる特徴点の3次元位置を確定する原理を示す図で
ある。
【図2】第2図は本発明の一実施例の構成ブロック図で
ある。
【図3】第3図は本発明の実施例の処理を説明するため
のフロー図である。
【図4】第4図は画像解像度と空間解像度の関係を説明
するための図である。
【図5】第5図は画像入力部による入力された画像の解
像度を階層的に落としピラミッド化することを説明する
図である。
【図6】第6図は制御部により、順次に画像解像度と空
間解像度をあげてVotingを行うことを説明する図
である。
【図7】第7図は本実施例により得られる結果を示す図
である。
【符号の説明】
1 シーン空間 2 Voxel 3 視線 4 Pixel 5 画像 21 画像入力部 22 運動情報入力部 23 ピラミッド画像部 24 空間分割部 25 Voting部 26 制御部 40 結像面 41〜42 画素 43〜44 Voxel 45〜46 視線 47 焦点距離 50〜53 順に解像度を落とした画像 54 入力画像 62 Sub−Voxel 63 Sub−Sub−Voxel
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 G01B 11/00 - 11/30

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】物体に対してカメラが動きながら複数枚の
    画像を入力する工程と、前記工程による画像の入力時に
    おけるカメラの位置・姿勢情報を入力する工程と、前記
    入力された画像の解像度を階層的に落としピラミッド化
    する工程と、ピラミッド化された画像に対応して前記物
    体の存在する空間を分割して3次元画素とする工程と、
    入力された前記カメラの位置・姿勢情報を用いて前記物
    体の画像の存在する前記3次元画素についてある値を加
    算して加算結果が一定値以上になるものを特徴点の存在
    する3次元画素として抽出する工程と、ピラミッド化さ
    れた粗い画像から細かな画像までに対応して、前記空間
    を分割する工程と前記3次元画素として抽出する工程と
    を繰り返すことを特徴とする3次元情報抽出方法。
JP12041092A 1992-05-13 1992-05-13 3次元情報抽出方法 Expired - Fee Related JP3170345B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12041092A JP3170345B2 (ja) 1992-05-13 1992-05-13 3次元情報抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12041092A JP3170345B2 (ja) 1992-05-13 1992-05-13 3次元情報抽出方法

Publications (2)

Publication Number Publication Date
JPH05314244A JPH05314244A (ja) 1993-11-26
JP3170345B2 true JP3170345B2 (ja) 2001-05-28

Family

ID=14785536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12041092A Expired - Fee Related JP3170345B2 (ja) 1992-05-13 1992-05-13 3次元情報抽出方法

Country Status (1)

Country Link
JP (1) JP3170345B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265023A (ja) * 2008-04-28 2009-11-12 Mitsubishi Heavy Ind Ltd ワーク計測装置、衝突防止装置および工作機械
WO2011058618A1 (ja) * 2009-11-10 2011-05-19 三菱重工業株式会社 ワーク計測装置、衝突防止装置および工作機械
US8116558B2 (en) 2005-12-16 2012-02-14 Ihi Corporation Three-dimensional shape data position matching method and device
US8121399B2 (en) 2005-12-16 2012-02-21 Ihi Corporation Self-position identifying method and device, and three-dimensional shape measuring method and device
US8300048B2 (en) 2005-12-16 2012-10-30 Ihi Corporation Three-dimensional shape data recording/display method and device, and three-dimensional shape measuring method and device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000040421A (en) * 1998-12-18 2000-07-05 Inst Of Ind Science Pohang System for measuring camber of slab using pyramid image
CN108507476B (zh) * 2018-04-27 2020-08-07 中国石油大学(北京) 用于材料表面的位移场测量方法、装置、设备及存储介质
CN108871197B (zh) * 2018-04-27 2020-07-28 中国石油大学(北京) 用于材料表面的位移场测量方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浜野輝夫、安野貴之、石井健一郎,"空間へのVotingによる3次元環境情報抽出手法",電子情報通信学会論文誌D11,1992年2月,Vol.J75−D−11,No.2,p.342−350

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116558B2 (en) 2005-12-16 2012-02-14 Ihi Corporation Three-dimensional shape data position matching method and device
US8121399B2 (en) 2005-12-16 2012-02-21 Ihi Corporation Self-position identifying method and device, and three-dimensional shape measuring method and device
US8300048B2 (en) 2005-12-16 2012-10-30 Ihi Corporation Three-dimensional shape data recording/display method and device, and three-dimensional shape measuring method and device
JP2009265023A (ja) * 2008-04-28 2009-11-12 Mitsubishi Heavy Ind Ltd ワーク計測装置、衝突防止装置および工作機械
WO2011058618A1 (ja) * 2009-11-10 2011-05-19 三菱重工業株式会社 ワーク計測装置、衝突防止装置および工作機械
US8805570B2 (en) 2009-11-10 2014-08-12 Mitsubishi Heavy Industries, Ltd. Workpiece measuring device, collision preventing device, and machine tool

Also Published As

Publication number Publication date
JPH05314244A (ja) 1993-11-26

Similar Documents

Publication Publication Date Title
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN111899301A (zh) 一种基于深度学习的工件6d位姿估计方法
US5687249A (en) Method and apparatus for extracting features of moving objects
CN111340922B (zh) 定位与地图构建的方法和电子设备
CN110298884A (zh) 一种适于动态环境中单目视觉相机的位姿估计方法
DE102005008131A1 (de) Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
Bethmann et al. Semi-global matching in object space
JP3170345B2 (ja) 3次元情報抽出方法
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
Mundy et al. The evolution and testing of a model-based object recognition system
CN117291930B (zh) 一种基于图片序列中目标物体分割的三维重建方法和系统
JP2532985B2 (ja) 3次元画像評価装置
CN114766039A (zh) 对象检测方法、对象检测设备、终端设备、以及介质
Smith et al. A scene segmenter; visual tracking of moving vehicles
CN113011212B (zh) 图像识别方法、装置及车辆
JPH0814860A (ja) モデル作成装置
Patel et al. Review on identify road potholes using image semantic segmentation for advance driver assistant system
JP3063481B2 (ja) 車両用物体検出装置
JP3275252B2 (ja) 3次元情報入力方法及びそれを使った3次元情報入力装置
JPH05141930A (ja) 3次元形状計測装置
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
Sanfourche et al. Height estimation using aerial side looking image sequences
Smith et al. A scene segmenter; visual tracking of moving vehicles
JPH06243251A (ja) 画像特徴抽出装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees