JPH05302831A

JPH05302831A - 距離測定装置

Info

Publication number: JPH05302831A
Application number: JP4107556A
Authority: JP
Inventors: Kazuo Sonobe; 和夫園部
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-04-27
Filing date: 1992-04-27
Publication date: 1993-11-16
Anticipated expiration: 2016-02-13
Also published as: JP3135162B2

Abstract

(57)【要約】【目的】この発明の距離測定装置にあっては、単眼で得
られる画像から距離情報を得るために、焦点位置の異な
る画像セットから画像処理的手法により得られる長焦点
深度画像と、焦点位置の異なる各画像を比較して、最も
長焦点深度画像に近い画像を与える焦点位置を距離情報
として得ることを特徴とする。【構成】メモリ７₁，７₂，…，７_mは、撮像素子５、
Ａ／Ｄ変換器６を介して入力された焦点位置の異なる画
像セットをセレクタ４を経て格納する。加算器８と回復
処理装置１１は、これらの画像を加算して回復処理を施
す。領域設定装置１２は、この回復処理後の画像と上記
メモリ７₁，７₂，…，７_mの各画像の領域を指定し、
比較装置１３が回復処理後の画像と上記画像セットの各
画像との比較を行う。画像選択装置１４は、この比較結
果により、画像間の距離を算出してこの距離の中で最小
値を選択し、該画像間の距離を与える焦点位置を得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は距離測定装置に関し、
特に単眼で得られる画像から距離情報を求める距離測定
装置に関するものである。

【０００２】

【従来の技術】従来より、コンピュータビジョン等の分
野では、撮像した画像から距離情報を得ることが求めら
れている。画像から距離情報を得る方法としては、視差
を持った複数の画像から相関を用いて対応点検出を行
い、図１１に示されるように、三角測量と同じ原理によ
って距離情報を計算する方法が、例えば“杉原厚吉「画
像を利用した立体計測法の動向」［第１７回画像工学コ
ンファレンス論文集２−１、３１−３６頁、（１９８
６）］”に記載されている。

【０００３】

【発明が解決しようとする課題】画像から距離情報は、
以上の方法を用いることによって得ることができるが、
距離情報を求めるのに視差を持った画像が必要となる。
このため、撮像装置には、視差を持つように複数の撮像
部を配置しなければならない。また、撮像部を１つしか
用いないのであれば、複数の画像を適当な時間間隔で撮
像し、その時間間隔の間に視差を持つ配置間で撮像部を
正確に移動しなければならない。このように、どちらの
方法も、撮像装置に視差を得るための特別なハードウエ
アを用意しなければならず、不便なものであった。

【０００４】この発明は上記課題に鑑みてなされたもの
で、視差を持った複数の画像を必要としないで、視差を
持たせるための特別なハードウエアを用意しないでも、
単眼で得られる画像から距離情報を得ることのできる距
離測定装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】すなわちこの発明は、焦
点位置の異なる複数の画像セットを入力する入力手段
と、この入力手段により入力された上記複数の画像セッ
トを加算する加算手段と、この加算手段により加算され
た画像に回復処理を施す回復処理手段と、この回復処理
手段による回復処理後の画像と、上記焦点位置の異なる
複数の画像セットの各画像の領域を指定する領域設定手
段と、この領域設定手段で指定された領域に於ける上記
回復処理手段による回復処理後の画像と、上記焦点位置
の異なる複数の画像セットの各画像との比較を行って画
像間の距離を算出する比較手段と、上記画像間の距離の
中で最小値を選択してその画像間の距離を与える焦点位
置を得る画像選択手段とを具備することを特徴とする。

【０００６】

【作用】この発明の距離測定装置にあっては、焦点位置
の異なる複数の画像セットが入力手段により入力され、
これらの画像セットが加算手段で加算される。そして、
この加算手段で加算された画像に回復処理手段で回復処
理が施される。この回復処理後の画像と、上記焦点位置
の異なる複数の画像セットの各画像の領域は、領域設定
手段でその領域が指定され、上記回復処理後の画像と上
記焦点位置の異なる複数の画像セットの各画像との比較
が比較手段で行われる。その結果、画像間の距離が算出
されて、その距離の中で最小値が画像選択手段で選択さ
れ、該画像間の距離を与える焦点位置を得ることができ
る。

【０００７】

【実施例】先ず、画像処理的手法について説明する。

【０００８】この発明では、焦点位置の異なる画像セッ
トから画像処理的手法によって得られる長焦点深度画像
と、焦点位置の異なる各画像との比較を行い、最も長焦
点深度画像に近い画像を与える焦点位置を距離情報とし
ている。この画像処理的手法によって長焦点深度の画像
を得る方法については、例えば特願昭６３−３９９３６
号に記載されている。この特願昭６３−３９９３６号の
方法に基いて、長焦点深度の画像を得る場合について、
図２を参照して説明する。

【０００９】画像入力光学系に於いて、焦点位置をある
物体面に設定したときに入力される画像は、対象物と合
焦面との距離関係により、ぼやけた具合が決定される。
ここで、対象物が、画像入力光学系の焦点深度よりも大
きな構造を持つ場合、ある物体面に焦点位置を設定した
ときに入力される画像は、場所によってぼやけた状態が
異なることになる。

【００１０】次に、焦点位置を変えると、以前に入力し
た画像とはぼやけた状態の分布が異なる画像が入力され
る。つまり、以前に入力した画像ではぼやけていた部分
が、次に入力した画像では焦点が合っていたり、またそ
の逆の現象も起こる。これは上述したように、対象物の
構造と設定焦点位置との距離関係により決定される。

【００１１】そこで、適当な設定範囲に応じて合焦点の
位置を変えながら画像を入力することにより、対象物の
異なる部分に合焦した複数枚の画像を得ることができ
る。これらの画像を全て加え合わせると、画像内の場所
によらずに、ほぼ一様にぼやけた画像が得られる。そこ
で、次に加え合わせた画像について適当な回復処理を行
うことにより、画像内での場所によらずに一様に焦点の
合った画像、すなわち長焦点深度画像を得ることができ
る。以下、図面を参照してこの発明の実施例を説明す
る。図１は、この発明の第１の実施例で、長焦点深度画
像と焦点位置の異なる画像セットを用いて距離情報を得
る距離測定装置のブロック構成図である。

【００１２】同図に於いて、焦点位置設定装置１は、焦
点位置操作部２を介してレンズ３を駆動すると共に、あ
る焦点位置で撮像した画像データをセレクタ４に送る。
このセレクタ４は、撮像素子５からの画像をＡ／Ｄ変換
器６を介して受けるもので、画像を格納するべくメモリ
７₁，７₂，…，７_mに供給する。これらメモリ７₁，
７₂，…，７_mには、後述するように、その焦点位置に
対応したもので焦点位置が異なる画像がそれぞれ格納さ
れる。

【００１３】メモリ７₁，７₂，…，７_mに格納されて
いる焦点位置の異なる画像は、加算器８に供給されて荷
重加算されると共に、セレクタ９に供給される。メモリ
１０は、上記加算器８の出力を格納し、回復処理装置１
１によって、格納した画像に回復処理が施されて長焦点
深度画像を得て格納する。更に、メモリ１０は、領域設
定装置１２からの指定された領域を受け、長焦点深度画
像の領域を比較装置１３に送る。

【００１４】画像選択装置１４は、上記比較装置１３及
び焦点位置設定装置１からデータを得て、セレクタ９及
びメモリ１５にデータを出力する。メモリ１５に格納さ
れたデータは、データ変換装置１６を介して上記メモリ
１０のデータと共に切り換え装置１７に送られる。切り
換え装置１７は、メモリ１０に格納されている長焦点深
度画像とデータ変換装置１６からの距離情報の投影画像
を切り換える。そして、Ｄ／Ａ変換器１８を介してモニ
タ１９に表示画像が出力される。次に、図３のフローチ
ャートを参照して、この発明の第１の実施例の動作を説
明する。

【００１５】先ず、焦点位置設定装置１が、１枚目の画
像ｉ₁を撮像するという意味で、ｎに１が初期設定され
る（ステップＳ１）。次いで、焦点位置設定装置１によ
り、焦点位置操作部２を介してレンズ３が駆動され、ｎ
枚目の画像ｉ_nが焦点位置ｆ_nで撮像される（ステップ
Ｓ２）。そして、撮像素子５からの画像がＡ／Ｄ変換器
６にてＡ／Ｄ変換され、セレクタ４に送られる。このセ
レクタ６には、焦点位置設定装置１からｎを受けて、画
像ｉ_nがメモリ７_nに格納される（ステップＳ３）。

【００１６】焦点位置設定装置１では、画像の番号を表
すｎに１が加えられる（ステップＳ４）。また、焦点位
置設定装置１に於いて、画像の枚数を表すｎと予定画像
枚数ｍとが比較される（ステップＳ５）。ここで、ｎ≦
ｍが成立している間は、上述したステップＳ２〜Ｓ５が
繰返される。

【００１７】上記ステップＳ１からＳ５までの操作によ
って、メモリ７₁，７₂，…，７_n，…，７_m２には、
焦点位置ｆ₁の画像ｉ₁、焦点位置ｆ₂の画像ｉ₂、
…、焦点位置ｆ_nの画像ｉ_n、…、焦点位置ｆ_mの画像
ｉ_mの焦点位置が異なる画像がそれぞれ格納される。ま
た、加算器８は、メモリ７_nに格納されている焦点位置
の異なる画像ｉ_n（ｎ＝１，２，…，ｍ）を荷重加算
し、画像全体にわたって一様にぼやけた画像ｉ_brを得
て、メモリ１０に格納される（ステップＳ６）。

【００１８】次に、回復処理装置１１により、メモリ１
０の一様にぼやけた画像ｉ_brに回復処理が行われ、焦点
位置の異なる対象物に対して一様に合焦された長焦点深
度画像ｉ_brが得られてメモリ１０に格納される（ステッ
プ７）。また、画像選択装置１４では、図４に示される
ような、ｎ枚目に撮像された画像ｉ_nと、その時の焦点
位置（焦点距離）ｆ_nとの対応付けが、焦点位置設定装
置１から得られる（ステップＳ８）。

【００１９】領域設定装置１２では、例えば図５に示さ
れる領域の中で、一番目の領域に処理を行うという意味
で、ｋに１が初期設定される（ステップＳ９）。次い
で、画像選択装置１４にて、１枚目の画像ｉ₁から処理
を行うという意味で、ｎに１が初期設定される（ステッ
プＳ１０）。

【００２０】そして、セレクタ９によって、画像選択装
置１４からのｎでメモリ７_nから画像ｉ_nが呼出され、
更に領域設定装置１３からの領域ｒ_kで画像ｉ_nに領域
指定が行われ、画像ｉ_nの領域ｒ_kが比較装置１３に送
られる。また、メモリ１０に於いて、領域設定装置１２
からの領域ｒ_kにより長焦点深度画像ｉ_dfに領域指定が
行われ、このメモリ１０から長焦点深度画像ｉ_dfの領域
ｒ_kが比較装置１３に送られる。比較装置１３では、画
像ｉ_nの領域ｒ_kと長焦点深度画像ｉ_dfの領域ｒ_kに対
して、数１の関係式で与えられる値が求められる。

【００２１】

【数１】

【００２２】ここで、ｄ^rk _nは領域ｒ_kに於いて画像ｉ
_nと長焦点深度画像ｉ_dfとの距離を評価するための値で
ある。ｄ^rk _nの値が小さい方が、その画像間の距離は近
いということになる。こうして、画像選択装置１４で
は、比較装置１３にて求められたｄ^rk _nが得られる（ス
テップＳ１１）。

【００２３】次いで、画像選択装置１４では、画像の番
号を表すｎに１が加えられる（ステップ１２）。そし
て、画像選択装置１４に於いて、再びｎとｍが比較され
（ステップＳ１３）、ｎ≦ｍが成立している間は、上述
したステップＳ１１〜Ｓ１３が繰返される。

【００２４】上述したステップＳ１１〜Ｓ１３までの操
作により、画像選択装置１４には、ｄ^rk ₁、ｄ^rk ₂、
…、ｄ^rk _n、…、ｄ^rk _mが得られる。この画像選択装置
１４では、ｄ^rk ₁，ｄ^rk ₂，…，ｄ^rk _n，…，ｄ^rk _mの
中から最も小さい値が選択されてｄ^rk _minとされる（ス
テップＳ１４）。ここで、画像選択装置１４にてｄ^rk
_minが与えられる画像ｉ_rnの焦点位置ｆ_rnが、領域ｒ_k
に於ける距離情報ｆ′_kとされる（ステップＳ１５）。
そして、画像選択装置１１からｆ′_kがメモリ１５に送
られる。このメモリ１５は、ｆ′_kが領域設定装置１２
からのｋに従って格納される（ステップＳ１６）。

【００２５】次に、領域設定装置１２にて、領域を表す
ｋに１が加えられる（ステップＳ１７）。そして、ｋと
ｌの値が比較される（ステップＳ１８）。ここで、領域
設定装置１３では、ｋ≦ｌが成立している間は、上述し
たステップＳ１０〜Ｓ１７が繰返される。また、ステッ
プＳ９〜Ｓ１８までの操作によって、メモリ１５には、
領域ｒ_k（ｋ＝１，２，…，ｋ，…，ｌ）に於ける距離
情報ｆ′_k（ｋ＝１，２，…，ｋ，…，１）が得られ
る。

【００２６】こうして、データ変換装置１６は、メモリ
１５に格納されている３次元の距離情報ｆ′_k（ｋ＝
１，２，…，ｋ，…，ｌ）を、例えば図６に示されるよ
うに、２次元の投影データに変換して、切り換え装置１
７に送る。この切り換え装置１７は、操作者の指示に従
って、メモリ１０に格納されている長焦点深度画像とデ
ータ変換装置１６からの距離情報の投影画像を切り換
え、この画像を表示画像としてＤ／Ａ変換器１８に送
る。Ｄ／Ａ変換器１８は、切り換え装置１７からの表示
画像をＤ／Ａ変換するもので、この変換した画像をモニ
タ１９上に表示させる。

【００２７】このような動作を行わせることにより、単
眼で得られる画像から画像処理的手法によって距離情報
を得ることができる。また、得られた距離情報を表示す
る場合にも、距離情報を３次元空間から適当な２次元平
面に投影し、処理の途中で得られる長焦点深度画像とを
切り換え表示することによって、効果的に表示すること
ができる。次に、この発明の第２の実施例について説明
する。

【００２８】上述した第１の実施例に於いては、焦点位
置の異なる画像セットから画像処理的手法によって得ら
れる長焦点深度画像と、適当な焦点位置で撮像された画
像との比較を、数１の関係式に従って画素毎の差分を用
いて行った。この第２の実施例では、上記の比較を、デ
フォーカスによって大きく変化するエッジ量を用いて行
うものである。

【００２９】図７は、この発明の第２の実施例で、距離
測定装置を示したブロック構成図である。この第２の実
施例の構成で第１の実施例と異なるのは、比較装置１
３、メモリ１５及び切り換え装置１７に代えて比較装置
２０、メモリ２１及びスーパーインポーズ装置２２を設
けて、データ変換装置１６を削除し、メモリ１０の出力
とメモリ２１の出力をスーパーインポーズ装置２２を介
してＤ／Ａ変換器１８に出力していることと、上記メモ
リ２１にポインティングデバイス２３からデータが入力
されることである。他の構成は第１の実施例と同様であ
るので、説明は省略する。

【００３０】次に、図８のフローチャートを参照してこ
の第２の実施例の動作を説明する。この第２の実施例の
フローチャートについても、ステップＳ３１が上述した
第１の実施例のフローチャートのステップＳ１１と異な
るだけであり、第２の実施例の他のステップＳ２１〜Ｓ
３０及びＳ３２〜Ｓ３８は、それぞれ第１の実施例のフ
ローチャートのステップＳ１〜Ｓ１０及びＳ１２〜Ｓ１
８と同様であるので、ここでは説明を省略する。

【００３１】比較装置２０では、数２、数３、数４及び
数５の関係式に従って長焦点深度画像ｉ_dfと画像ｉ_nと
のエッジ量の差が、領域ｒ_kに対して求められる。図９
は、その時のエッジ位置の表記について示したものであ
る。図９に示されるように、画素（ｘ，ｙ）と画素（ｘ
＋１，ｙ）の間に存在するｘ方向のエッジ成分をｅ
^x （ｅｘ，ｙ）と表し、画素（ｘ，ｙ）と画素（ｘ，ｙ
＋１）の間に存在するｙ方向のエッジ成分をｅ^y （ｅ，
ｅｙ）と表す。

【００３２】

【数２】但し、ｅ^x （ｅｘ，ｙ）とｅ^y （ｘ，ｅｙ）は、数３及
び数４の関係式のように定められる。

【００３３】

【数３】

【００３４】

【数４】尚、ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素値を表す。

【００３５】

【数５】

【００３６】上記数２の関係式は、領域ｒ_kに含まれる
（ｅｘ，ｙ），（ｘ，ｅｙ）に対して長焦点深度画像ｉ
_dfと画像ｉ_nとのエッジ量の差（ｅ^x _n（ｅｘ，ｙ）−
ｅ^x _df（ｅｘ，ｙ））² と（ｅ^y _n（ｘ，ｅｙ）−ｅ^y
_df（ｘ，ｅｙ））² とを求め、その総和を画像間の距
離とする式である。ｄ^rk _nの値は小さい方が、その画像
間の距離は近いということができる。

【００３７】また、数３及び数４の関係式は、それぞれ
ｘ方向、ｙ方向のエッジ量を求める式である。ここでは
ラプラシアン（２次微分）のゼロクロスによってエッジ
成分の有無を判定し、エッジ成分が有る場合には、その
エッジ量を、隣接する画素間の差分で与えている。更
に、数５の関係式は、ｘ方向、ｙ方向のそれぞれのラプ
ラシアン（２次微分）を求める式である。以上の数２、
数３、数４及び数５の関係式の計算が、図８のフローチ
ャートに於いては、ステップＳ３１に相当する。

【００３８】こうして、比較装置２０を動作させ、他を
上述した第１の実施例と同様に動作させることにより、
第２の実施例のメモリ２１には、デフォーカスによって
大きく変化するエッジ量を比較の基準に用いて、求めら
れた領域ｒ_k（ｋ＝１，２，…，ｋ，…，ｌ）に於ける
距離情報ｆ′_k（ｋ＝１，２，…，ｋ，…，ｌ）を得る
ことができる。

【００３９】また、メモリ２１は、得られた距離情報
ｆ′_k（ｋ＝１，２，…，ｋ，…，ｌ）の中から、ポイ
ンティングデバイス２３を通して指示された領域ｒ_pの
距離情報ｆ′_pを、スーパーインポーズ装置２２に送
る。このスーパーインポーズ装置２２は、距離情報ｆ′
_pを文字化し、例えば図１０に示されるように、メモリ
１０からの長焦点深度画像ｉ_dfにスーパーインポーズす
るものである。そして、Ｄ／Ａ変換器１８は、スーパー
インポーズ装置２２からの画像をＤ／Ａ変換してモニタ
１９に送る。この画像を、モニタ１９が表示する。

【００４０】このような動作を行わせることにより、画
像処理的手法によって長焦点深度の画像を得ることがで
き、客観的な距離情報を、デフォーカスによって大きく
変化するエッジ量という画像の特徴を用いて、より直接
的に得ることができる。

【００４１】また得られた距離情報を表示する場合に
も、指定された任意の領域に対する距離情報を、処理の
途中で得られる長焦点深度画像にスーパーインポーズす
ることにより、効果的に表示することができる。

【００４２】

【発明の効果】以上のようにこの発明によれば、視差を
持った複数の画像を必要としないで、視差を持たせるた
めの特別なハードウエアを用意しないでも、単眼で得ら
れる画像から距離情報を得ることのできる距離測定装置
を提供することができる。

【図面の簡単な説明】

【図１】この発明の第１の実施例で、距離測定装置のブ
ロック構成図である。

【図２】この発明の距離測定装置に適用される画像処理
的手法による長焦点深度の画像を得る例を説明する図で
ある。

【図３】この発明の第１の実施例の動作を説明するフロ
ーチャートである。

【図４】図１の画像選択装置に於ける画像番号ｎと、そ
の焦点距離ｆ_nとの対応付けを表した図である。

【図５】図１の領域設定装置の領域の設定の例を示した
図である。

【図６】３次元の距離情報を、２次元の投影データに変
換する例を示した図である。

【図７】この発明の第２の実施例で、距離測定装置を示
したブロック構成図である。

【図８】この発明の第２の実施例の動作を説明するフロ
ーチャートである。

【図９】長焦点深度画像と画像とのエッジ量の差を領域
に対して求めた時のエッジ位置の表記について示した図
である。

【図１０】距離情報を文字化して長焦点深度画像にスー
パーインポーズした状態を示した図である。

【図１１】従来の三角測量と同じ原理によって距離情報
を計算する方法を示した図である。

【符号の説明】

１…焦点位置設定装置、２…焦点位置操作部、３…レン
ズ、４、９…セレクタ、５…撮像素子、６…Ａ／Ｄ変換
器、７₁，７₂，…，７_m、１０、１５、２１…メモ
リ、８…加算器、１１…回復処理装置、１２…領域設定
装置、１３、２０…比較装置、１４…画像選択装置、１
６…データ変換装置、１７…切り換え装置、１８…Ｄ／
Ａ変換器、１９…モニタ、２２…スーパーインポーズ装
置、２３…ポインティングデバイス。

Claims

【特許請求の範囲】

【請求項１】焦点位置の異なる複数の画像セットを入
力する入力手段と、この入力手段により入力された上記複数の画像セットを
加算する加算手段と、この加算手段により加算された画像に回復処理を施す回
復処理手段と、この回復処理手段による回復処理後の画像と、上記焦点
位置の異なる複数の画像セットの各画像の領域を指定す
る領域設定手段と、この領域設定手段で指定された領域に於ける上記回復処
理手段による回復処理後の画像と、上記焦点位置の異な
る複数の画像セットの各画像との比較を行って画像間の
距離を算出する比較手段と、上記画像間の距離の中で最小値を選択してその画像間の
距離を与える焦点位置を得る画像選択手段とを具備する
ことを特徴とする距離測定装置。