JPH0777410A - 測距方法および装置 - Google Patents

測距方法および装置

Info

Publication number
JPH0777410A
JPH0777410A JP22238593A JP22238593A JPH0777410A JP H0777410 A JPH0777410 A JP H0777410A JP 22238593 A JP22238593 A JP 22238593A JP 22238593 A JP22238593 A JP 22238593A JP H0777410 A JPH0777410 A JP H0777410A
Authority
JP
Japan
Prior art keywords
distance
subject
image
amount
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP22238593A
Other languages
English (en)
Inventor
Toshiaki Kondo
俊明 近藤
Katsumi Iijima
克己 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP22238593A priority Critical patent/JPH0777410A/ja
Publication of JPH0777410A publication Critical patent/JPH0777410A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

(57)【要約】 【目的】 単一の撮像系のみを用いて高精度に被写体ま
での距離を測定できる測距装置を提供する。 【構成】 画像センサ12において被写体10の画像を
撮像する。得られた画像情報から焦点はずれ量に基づい
て距離の推定値を求めるSFD部13と、画像処理を行
なって被写体10の相対的な動き量を求めこの被写体1
0の形状情報を得るSFM部14とを設ける。そして、
統合処理部15において、SFD部13からの距離の推
定値とSFM部14からの形状情報とを統合し、距離に
ついての最適解を得るようにする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、2次元画像から3次元
の情報を求める測距方法および装置に関し、特に、移動
体の環境認識装置、コンピュータグラフィクス(CG)
やCADのためのソリッドモデルに必要な基礎形状入力
装置、あるいはリモートセンシング装置などに使用され
る測距方法および装置に関する。
【0002】
【従来の技術】被写体までの距離を測定したり被写体の
形状を測定する装置は、測距装置側から被写体に対して
何らかのエネルギーを放射する能動的手法による装置
と、光電変換素子などで撮像された画像信号を解析する
受動的手法による装置とに、大別される。
【0003】能動的手法として、電波、超音波、光など
の波動を被写体に放射して、それが戻ってくるまでの伝
播時間から被写体までの距離を決定する手法や、適当な
光源から規則的な模様を投影して被写体表面に人工的な
模様を生じさせ、その幾何学的歪みからその被写体の形
状を求める手法(例えば、モアレトポグラフィ)が、広
く用いられている。被写体の形状が求められれば、被写
体までの距離を推測することが可能となる。
【0004】一方、受動的手法として、複数の画像セン
サを用いて得られる画像間の対応点の位置関係から三角
測量の原理に基づいて距離測定を行なう手法や、被写体
表面がもつ模様の幾何学的な歪みから当該被写体の立体
構造を求める手法などがある。また、被写体の焦点はず
れ量から被写体までの距離を求める手法も試みられてい
る。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来の手法のうち能動的手法では、超音波や光などの
エネルギーを放出する装置と反射してきたエネルギーを
検出するディテクタとを必要とし、装置が大がかりにな
りやすい。また、放射されたエネルギーを吸収してしま
うような物体に対しては測距できないという問題を内在
している。さらに、規則的な模様を投影する手法では、
原理的に、被写体までの絶対的な距離を測定できない。
【0006】一方、受動的手法のうち三角測量の原理に
基づく手法は、複数の画像センサと複数の撮像系とを必
要とし、小型で安価な測距装置を構成するのには適して
いない。被写体表面の模様の幾何学的な歪みから形状情
報を抽出する手法は、その幾何学模様の性質が事前に知
られていることが必要で、その応用範囲は狭い。さら
に、画像の焦点はずれ量を用いた手法では、正確な距離
測定のためには焦点深度の浅い大口径の明るいレンズが
必要であり、通常のテレビカメラ用のレンズを流用した
場合には、十分な精度を得ることができない。
【0007】本発明の目的は、上述した従来の測距装置
の諸問題点を解決し、小型、安価であってかつ高精度の
測距を行なえる測距装置を提供することにある。
【0008】
【課題を解決するための手段】本発明の測距方法は、被
写体までの距離を測定する測距方法であって、前記被写
体の画像を複数回にわたって撮像し、前記画像から前記
被写体に対する焦点はずれ量を求め、前記画像を処理し
て前記被写体の相対的な動き量を求め、そののち、前記
焦点はずれ量および前記動き量とから前記被写体までの
距離を求める。
【0009】本発明の測距装置は、被写体までの距離を
測定する測距装置であって、前記被写体の画像を撮像す
る撮像手段と、前記画像から前記被写体に対する焦点は
ずれ量を求め距離の推定値を求める第1の計算手段と、
前記画像を処理して前記被写体の相対的な動き量を求め
前記被写体の形状情報を求める第2の計算手段と、前記
距離の推定値と前記形状情報とを統合して距離情報を算
出する統合処理手段とを有する。
【0010】
【作用】被写体の焦点はずれ量と相対的な動き量を求め
た場合、焦点はずれ量から距離を推定することができ、
相対的な動き量から被写体の形状情報を得ることができ
る。そして、推定された距離情報と形状情報とを相互に
参照することによって、これら情報から単独に距離を求
めた場合に比べ、高精度に測距を行なうことができる。
焦点はずれ量の測定、相対的な動き量の測定は単一の画
像センサを用いて行なえるので、結局、単一の画像セン
サ(撮像系)で高精度に距離を決定できることになる。
【0011】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0012】《実施例1》図1は本発明の実施例1の測
距装置の構成を示すブロック図である。この測距装置
は、図示矢印Ω方向に移動している被写体10までの距
離を測定するものであって、撮像系と撮像素子とからな
り画像信号を出力する画像センサ(撮像体)12と、画
像信号が入力し画像上での被写体10の焦点はずれ量を
求め被写体10までの距離を推定するSFD部13と、
画像信号を処理して被写体10の動き量(動きベクト
ル)から被写体10の形状情報を求めるSFM部14
と、これらSFD部13とSFD部14で求められた情
報を統合して距離情報として算出する統合処理部15
と、外部に出力するための出力端子16とによって構成
されている。撮像素子としては、例えば、光電変換を利
用するCCD素子などが利用される。
【0013】SFD部13は、一般にShape from Defoc
usと呼ばれる手法の処理を行なうブロックである、ここ
で、SFD部13の行なう処理、すなわち焦点はずれ量
から距離を求める方法について、図2を用いて説明す
る。ここでは被写体上の物点20をレンズ21によって
投影面22に投射したとする。投影面22は撮像素子の
感光面に対応する。投影面22において物点20はある
大きさ(錯乱円)に投影されたとする。レンズ21の口
径をA、投影面22における焦点はずれ量(錯乱円の半
径)をR、レンズ21と結像面との距離をD、被写体
(物点20)とレンズ21との距離をZ、レンズ21と
物点20の焦点面との距離をZ'とする。
【0014】図2において幾何学的関係
【0015】
【数1】2R:(Z'−D)=A:Z' …(1) が成立し、式(1)から錯乱円の半径Rは、
【0016】
【数2】 と表わされる。ここでレンズ21の焦点距離をf、Fナ
ンバーをFとすると、
【0017】
【数3】 であるから、
【0018】
【数4】 となる、さらにレンズの結像方程式
【0019】
【数5】 を用いると、
【0020】
【数6】 となり、これをZに関して解けば、
【0021】
【数7】 を得る。式(7)にしたがって、レンズ21から被写体ま
での距離Zは、錯乱円の半径Rから直接求めることがで
きる。ただし、一般に、光学系には一定量の被写界深度
があるため、錯乱円の半径Rから求められるのは距離Z
の存在可能範囲である。
【0022】SFM部14は、一般にStructure from M
otionと呼ばれる手法の処理を行なうブロックである、
ここで、SFD部14の行なう処理、すなわち被写体と
撮像系との相対的な動き量から被写体の形状を求める方
法について、図3を用いて説明する。
【0023】被写体として四角形ABCDを仮定する。
この被写体が撮像素子の撮像面24に対して図示矢印
Ω'の方向に並進運動し、次の時刻にA'B'C'D'に示
す位置に移動したとする。被写体上の点A,Bは、レン
ズ21によって、撮像面24上の点a,bに結像する。
同様に、移動後の被写体A'B'C'D'上の点A',B'
は、撮像面24上の点a',b'に結像する。この図にお
いて、レンズ21の中心がOで示され、また、物点A,
Bとレンズ21面までの距離がそれぞれZA,ZBで示さ
れている。レンズ21の焦点距離をfとし、ZA,ZB
fとすると、図3に示された幾何学的関係から、
【0024】
【数8】 が成立し、式(8),(9)より、
【0025】
【数9】 を得る。被写体の形状が移動中に変化しないとすると、
被写体の各点の動き量
【0026】
【外1】 は一定である。したがって、式(10)と式(11)は等しく、
【0027】
【数10】 となる。式(12)を整理すると、
【0028】
【数11】 が得られる。
【0029】
【外2】 は、時系列に連続する画像間の相関演算あるいは時空間
勾配法などの演算によって、動きベクトルとして求めら
れる量である。式(13)から、被写体の各点までの距離の
比すなわち相対的な距離が求まり、被写体の形状を把握
することができる。ただし、被写体の絶対的な大きさ
は、依然不明のままである。なおここでは、ZA,ZB
fとしたが、この仮定が成立しない場合には、レンズの
結像方程式(式(3))を利用して撮像面の位置を実効的
に変更して計算すればよい。
【0030】次に、SFD部13およびSFM部14で
得た結果を統合する処理について、図4を用いて説明す
る。図4の各軸は、それぞれ物点までの距離を示す座標
軸である。上述したように、SFD部13からはある物
点についてその物点までの距離の可能範囲が得られる。
SFM部14からは、被写体上の各点の相対的な距離が
得られる。
【0031】図4の縦軸は物点Aまでの距離ZAを表わ
し、横軸は物点Bまでの距離ZBを表わしている。物点
Aについての焦点はずれ量解析から、距離ZAはα1から
α2までの間にあることが推定されているとする。同様
に、物点Bまでの距離ZBは、β1からβ2までの間にあ
ることが分かっているとする。
【0032】ここで、SFM部14での解析結果すなわ
ち被写体の動きから求められる物点間の拘束式を導入す
る。図4中の直線ZA=k・ZBは式(13)を表わしてお
り、傾きkは物点Aまでの距離と物点Bまでの距離との
比であって、
【0033】
【数12】 で表わされている。この拘束式ZA=k・ZB上にありか
つ焦点はずれ量による推定結果とのずれ量が最小点にな
る点が、最も信頼性の高い距離推定値である。両手法の
推定結果を両立させるための評価関数としては、例え
ば、この拘束式上の点について、焦点はずれ量から推定
される値との自乗誤差の和L2を定義する。
【0034】
【数13】 αmmは、それぞれ焦点はずれ量から定める距離の存
在可能範囲の中間値であり、(αee)は拘束式上の
1点であって、最終的な距離推定値である、この評価関
数L2を最小にする座標(αee)を求めると、
【0035】
【数14】 となる。結局、式(15)より、焦点はずれ量から推定され
る距離範囲の中間値αmmと物点間の相対的な距離比
kとから、任意の物点までの絶対距離を一意に求めるこ
とができたことになる。なお、距離推定誤差の評価関数
として、自乗誤差の代りに例えば絶対値和を用いること
もできる。
【0036】上述の説明では、SFM部14により求め
られる拘束式ZA=k・ZBの信頼性を仮定し、解が拘束
式を満たす(拘束式が表わす直線上に解が存在する)も
のとして評価関数L2を定義した。しかしながら被写体
の動き量が小さいときには、一般に、拘束式の信頼性が
低下してくる。このような場合には、焦点はずれ量によ
る推定値と、被写体の相対的動き量から求められる推定
値とを対等に評価してもよい。例えば、3直線ZA
αm,ZB=βm,ZA=k・ZBからの距離の2乗和を最小
にする点を解(αee)とすることもできる、また、
被写体の動き量に応じて各拘束式の信頼性に重みを付
け、最適解を求めてもよい。
【0037】本実施例では、物点数を2としたが、実際
には被写体上には多数の物点があり、推定値はより限定
され、これによって最適解である距離を容易に求められ
るようになる。
【0038】《実施例2》実施例1では、被写体の動
き、特に並進運動を仮定したが、被写体の動きがない場
合には、撮像体本体を被写体に対して並進運動させなが
ら複数枚の画像を得れば、同様に被写体までの絶対距離
を算出するすることができる。図5は、撮像体側を動か
した場合の距離測定の原理を説明する図である。
【0039】四角形ABCDで表わされる被写体が静止
し、レンズ21で表わされる撮像体が距離Δxだけ被写
体に対して並進運動したとする。レンズ21の中心がそ
れぞれO,O'に位置したときに撮像したとする、レンズ
21の中心が点Oにあるときには、物点A,Bはそれぞ
れ撮像面24上のa,bに結像する。レンズ21の中心
がO'にあるときには、物点A,Bはそれぞれ撮像面24
上のa',b'に結像する。fはレンズ21の焦点距離で
あり、レンズ21から物点A,Bまでの距離がそれぞれ
A,ZBで表わされている。また撮像面24上の点o,
o'は、それぞれ点O,O'の対応点(撮像面24上に下
ろした垂線の足)である。図5における幾何学的関係か
ら、
【0040】
【数15】 が成立する。式(17)〜(20)より、
【0041】
【数16】 を得る。撮像体自体の並進運動を考慮すれば、点o,o'
は同一点である、したがって、点a,a'間のずれ量は、
式(21),(22)より、
【0042】
【数17】 となる。また、式(23),(24)より、
【0043】
【数18】 が求められる。式(25),(26)よりfΔxを消去してまと
めると、
【0044】
【数19】 となり、実施例1での式(13)と同じ式を得る。相関演算
あるいは時空間勾配法などの画像処理演算により、点
a,a'間、点b,b'間の対応関係が求められれば、撮像
面24上での移動量
【0045】
【外3】 が求められるので、被写体上の各物点の相対的な位置関
係から、式(27)よって、その被写体の概形を知ることが
できる。この結果と焦点はずれ量法により推定される距
離情報とを実施例1での手法にしたがって統合すれば、
被写体までの絶対距離を求めることができる。
【0046】ここで、撮像体の移動量Δxが測定可能で
あるならば、焦点はずれ量による推定値あるいは移動量
から求められる推定値を参照して、三角測量法の原理に
したがい、式(25),(26)から距離ZA,ZBを直接求めるこ
とができる。
【0047】《実施例3》実施例1では被写体が動き、
実施例2では撮像体が動いたが、被写体の動きの有無に
応じて適応的に測距方法を切り替えることができる。図
6は、実施例1と実施例2を組み合わせた測距方法の処
理の流れを示すフローチャートである。
【0048】まず、画像入力を行ない(ステップ10
1)、そののち、SFD部13により焦点はずれ量法に
よって距離の粗い推定を行なう(ステップ102)。さ
らに入力画像から、画像メモリに蓄えられた過去の画像
との相関計算あるいは時空間勾配法などの画像処理演算
により、被写体の動き量が検出される(ステップ10
3)。被写体の動きが検出された場合には、SFM部1
4によって被写体の概形が推定され(ステップ10
4)、先に求めた焦点はずれ量からの推定値とあわせて
実施例1と同様に距離情報が統合され(ステップ10
5)、得られた距離が出力される(ステップ106)。
【0049】ステップ103での動き量検出の結果、被
写体の動きがない場合には、実施例2にしたがって、撮
像体を被写体に対して並進運動させ(ステップ10
7)、ここで撮像体の動き量(移動量)を測定する(ス
テップ108)。測定ができない場合には、動きベクト
ルの情報に基づき、ステップ104に移行して被写体の
概形を推定し、以下は上述と同様に処理を続行する。撮
像体の動き量が測定できた場合には、通常の三角測量法
を実施して距離を直接求め(ステップ109)、ステッ
プ106に移行して求めた距離値を出力する。なお、ス
テップ109で三角測量を行なった場合も、さらに焦点
はずれ量からの推定値や動き量から求められる被写体の
概形情報を参照して、高精度に距離を求めるようにして
もよい(図示破線の経路)。
【0050】
【発明の効果】以上説明したように本発明は、被写体の
焦点はずれ量と相対的動き量を求めこれらの測定結果を
統合することにより、焦点はずれ量から推定される距離
情報と相対的な動き量からも求められる形状情報とを相
互に参照することにとなって、1つの撮像系のみを用い
て高精度に被写体までの距離を測定できるようになり、
小型、安価であってかつ高精度の測距装置が得られると
いう効果がある。
【図面の簡単な説明】
【図1】本発明の実施例1の測距装置の構成を示すブロ
ック図である。
【図2】焦点はずれ量から距離を推定する手法の処理の
原理を説明する図である。
【図3】被写体の相対的な動き量から立体の形状を知る
手法の原理を説明する図である。
【図4】最終的な距離推定値を得る過程を説明する図で
ある。
【図5】実施例2での距離測定の原理を説明する図であ
る。
【図6】実施例3での処理の流れを示すフローチャート
である。
【符号の説明】
10 被写体 12 画像センサ 13 SFD部 14 SFM部 15 統合処理部 16 出力端子 20 物点 21 レンズ 22 結像面 24 撮像面 101〜109 ステップ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 被写体までの距離を測定する測距方法で
    あって、前記被写体の画像を複数回にわたって撮像し、
    前記画像から前記被写体に対する焦点はずれ量を求め、
    前記画像を処理して前記被写体の相対的な動き量を求
    め、そののち、前記焦点はずれ量および前記動き量とか
    ら前記被写体までの距離を求める測距方法。
  2. 【請求項2】 被写体上に複数の物点を設定して前記各
    物点ごとに焦点はずれ量と動き量とを求め、前記焦点は
    ずれ量から前記各物点までの距離の推定値を求め、前記
    動き量から前記各物点ごとの距離の比を求め、該比を拘
    束条件として前記距離の推定値に対する誤差評価関数の
    値が最小となるように距離を定める請求項1に記載の測
    距方法。
  3. 【請求項3】 被写体までの距離を測定する測距装置で
    あって、前記被写体の画像を撮像する撮像手段と、前記
    画像から前記被写体に対する焦点はずれ量を求め距離の
    推定値を求める第1の計算手段と、前記画像を処理して
    前記被写体の相対的な動き量を求め前記被写体の形状情
    報を求める第2の計算手段と、前記距離の推定値と前記
    形状情報とを統合して距離情報を算出する統合処理手段
    とを有する測距装置。
JP22238593A 1993-09-07 1993-09-07 測距方法および装置 Pending JPH0777410A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22238593A JPH0777410A (ja) 1993-09-07 1993-09-07 測距方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22238593A JPH0777410A (ja) 1993-09-07 1993-09-07 測距方法および装置

Publications (1)

Publication Number Publication Date
JPH0777410A true JPH0777410A (ja) 1995-03-20

Family

ID=16781535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22238593A Pending JPH0777410A (ja) 1993-09-07 1993-09-07 測距方法および装置

Country Status (1)

Country Link
JP (1) JPH0777410A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
JP2019049457A (ja) * 2017-09-08 2019-03-28 株式会社東芝 画像処理装置および測距装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
JP2019049457A (ja) * 2017-09-08 2019-03-28 株式会社東芝 画像処理装置および測距装置
US11587261B2 (en) 2017-09-08 2023-02-21 Kabushiki Kaisha Toshiba Image processing apparatus and ranging apparatus

Similar Documents

Publication Publication Date Title
US7912673B2 (en) Auto-referenced system and apparatus for three-dimensional scanning
US11243072B2 (en) Method for the three dimensional measurement of moving objects during a known movement
US7724379B2 (en) 3-Dimensional shape measuring method and device thereof
Tajima et al. 3-D data acquisition by rainbow range finder
CN101496032B (zh) 使用斑纹解相关的距离映射的方法及设备
US7471809B2 (en) Method, apparatus, and program for processing stereo image
US9401024B2 (en) Measuring device for determining the spatial position of an auxiliary measuring instrument
EP1202075A2 (en) Distance measuring apparatus and distance measuring method
CN110119731B (zh) 三维图像处理的装置及方法
US7620235B2 (en) Device for scanning three-dimensional objects
KR101674298B1 (ko) 카메라 렌즈 초점거리 정보를 이용한 거리계산 방법
JP2020125960A (ja) 移動体位置推定装置、及び移動体位置推定プログラム
JPH0674761A (ja) 距離測定装置
JPH0777410A (ja) 測距方法および装置
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
JP2024501731A (ja) 複数カメラによる速度測定方法及び速度測定装置
JPH11223516A (ja) 3次元画像撮像装置
WO2023095375A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
US20240070914A1 (en) Method and system for tracking a state of a camera
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP4003274B2 (ja) 距離測定装置
JP2812525B2 (ja) 距離計測方法
Markiel et al. An Algorithm for Automated Feature Extraction from Laser Ranging Data
CN118266003A (en) Three-dimensional model generation method and three-dimensional model generation device
Papadaki et al. Toward the automated extraction of accurate 3D models from close-range photogrammetric networks