JPH01167610A - 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 - Google Patents

3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置

Info

Publication number
JPH01167610A
JPH01167610A JP63296436A JP29643688A JPH01167610A JP H01167610 A JPH01167610 A JP H01167610A JP 63296436 A JP63296436 A JP 63296436A JP 29643688 A JP29643688 A JP 29643688A JP H01167610 A JPH01167610 A JP H01167610A
Authority
JP
Japan
Prior art keywords
camera
image
dimensional
distance
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63296436A
Other languages
English (en)
Other versions
JP2756803B2 (ja
Inventor
Muralidhara Subbarao
ムラリダーラ・スバラオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State University of New York SUNY
New York University NYU
Original Assignee
State University of New York SUNY
New York University NYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State University of New York SUNY, New York University NYU filed Critical State University of New York SUNY
Publication of JPH01167610A publication Critical patent/JPH01167610A/ja
Application granted granted Critical
Publication of JP2756803B2 publication Critical patent/JP2756803B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
(産業上の利用分野) 本発明は、3次元空間シーン(以下r3Dシーン」と云
う)の表面区画とカメラ装置との間の距離を決定するた
めの方法及びその装置に関するものである。特に1本発
明は3Dシーンの少なくとも1対の2次元像(以下「像
」と云う)を基礎として距離を決定するための方法及び
装置であっで、3Dシーンの各々は相異なるカメラパラ
メータ値を有するカメラ装置によって記録され、そして
カメラ装置から表面区画までの距離を導出するために、
2次元ディジタル処理が並行して行われるものに関する
。 (従来の技術) 30シーンにおける被写体又は可視表面区画の距離決定
は、コンピュータ視覚処理のロボット、その他の型式の
ものにおいて重要な問題である。 光学的距離計及び光学的距離決定法は種々知られており
、このような装置及び処理は、しばしば3Dシーンの「
深度マツプ」と文献で呼ばれる距離情報を記録するカメ
ラとして特徴づけられる。 いくつかの従来の2次元距離決定カメラは、入射光又は
反射光によって照明された被写体の輝度を記録する。こ
のような距離決定カメラは像を記録しで、カメラからの
距離を決定するように2次元像の輝度を解析するが、照
明条件の制御及び高い光強度弁別を要するという著しい
欠点を有する。 光学距離決定カメラには能動型と受動型の2つの型があ
り、これらは被写体又は表面区画がどのように照明され
るかによって分けられている。能動型距離決定カメラは
目標の照明源を制御し、−方受動型距離決定カメラは周
囲の照明に依存する。 光による能動型距離決定は、以下に述べる受動型とは対
照的に、光学的距離決定カメラによって制御される照明
源を必要とする。能fh型距離決定の最も研究の進んで
いる領域としては、3角測量による解析、飛行時間解析
(即ちレーダ)、投影パターン(即ちモアレ)解析及び
焦点キャリブレーション解析がある。 3角測量においで、ステレオカメラ装置の第2のカメラ
は、投影器のような人工光源によって置き換えられる。 典型的には、投影器が直線エツジを含む光パターンを発
生する。投影器の光軸の方を直接見れば、光の当たる表
面の深度輪郭にも拘らず、エツジは直線に見え、一方光
軸からずれた位置から見れば、エツジは湾曲して見える
。そしで、エツジの曲がりの輪郭が、深度と容易に相関
される。 他の人工光法は、被写体上への規則的間隔な持つl対の
2次元パターンの投影を必要とする。2つのパターンは
、容易に撮影できるモアレ縞をつくるために相互に干渉
する。モアレ縞の地形の輪郭は、カメラ装置から被写体
までの距離の変化に比例する。 レーザレーダはレーダによる電磁的測距に類似しており
、パルス変調されたレーザがma型照明源として使用さ
れる点で異る。距離計の特別に設計されたセンサが、レ
ーダによる目標までのパフレスの飛行時間及び距離計ま
での戻り時間を測定する。レーザレーダは、深度マツプ
をつくるためにシーンを順次走査することを要する点で
遅くなり、高価にもなる。 能9)J yJl測距の他の装置は、焦点キャリブレー
ション解析である。このような装置では、光のペンシル
ビームがカメラから送出され、キャリブレーションレン
ズを通して見られるビームの錯乱円の半径が目標距離の
測定値を示す。 受!I!Il型測距の3つの主な原理は、(l)形状解
析、(2)多重(代表的にはステレオ)像解析及び(3
)被写体深度又は光学的焦点解析である。全ての受動型
測距原理は、従来の2次元カメラによって実現され得る
。 例えば、形状解析の1つの形式は、目標被写体又は既知
の大きさの表面区画をam及び記録(即ち撮影)シ、そ
の記録された大きさを簡単に測定してカメラからの距離
を決定することにより実現。 される、一方、被写体の2つの水平にずれたシーンが撮
影され、かつ2つの写真が既知の深度のある点で記録に
重ねられると、他のあらゆる相関された要素の距離が、
記録された写真の間の水平次元の相異を測定することに
よって測定できる。この方法はステレオビジョンとして
も知られている。 最後の受!III!の例は、被写体深度又は焦点解析で
ある。この型式の光学的距離決定カメラは、深度情報が
多くの光学系において固有の限定された被写界深度にな
る焦点勾配から得られるという事実を基にしている。 被写体の最良にフォーカスされた像を与えるレンズセッ
テングのサーチを要するアプローチが、自動焦点法で見
出され得る。自動焦点法は、全て特定の点における最善
集束を与えるレンズセツティングのサーチによって深度
(即ちカメラ及びシーンの点間の距離)を測定する。こ
のような技術は、菖EEE会報、1983年、Vol、
 PAMI−5,122〜1コ9頁のパターン解析及び
機械インテリジェンスに関するR、A、Jarvisに
よる’A Perspective OnRange−
Finding  Techniqes  For  
Computer  Vision」で、論及されてい
る。基本的方法の限界は、−度に唯1つの点の深度を測
定し、かつ最良の結像をもたらすセツティングをサーチ
するために、値の広い範囲に渡ってレンズセツティング
を変えることを必要とすることである。 しかし、オートフォーカス法は、各レンズセツティング
において得られる像を記録し、それから各点での最良の
フォーカス状態の記憶された像をサーチするが、又は最
良のレンズセツティングの並行サーチを行う多数の特殊
化された焦点測定装置を採用することによって改良され
得る。ここで、第1の方法では例えば30以上の像の捕
捉及び記憶を伴う欠点を有し、第2の方法は複雑な並列
のハードウェアを必要とする。 フィールド深度に基く他の方法は、焦点の誤差(即ち焦
点勾配)を測定して深度評価を行う、このような方法は
、1985年8月にthe Proceedingso
f the InternationalJoint 
Conferance onAirjijiHI In
telligenceによって発刊され。 1987年7月に実質的な変更なしに改訂されて再版さ
れたIEEE会報のVol、PAM19、No、4.パ
ターン解析及び機械インテリジェンスに関するAlex
 P’。 Pentlandによる’A New 5ense f
or Depth Field」に開示されている。 Pentlandは、2つの深度マツプを見出す方法を
提案した。第1の方法はフォーカスされた像中に断続的
である工・ンジを含むシーンの単一像を利用するもので
、これらのエツジの位置の認識を必要とし、シーンに完
全な段階的なエツジがなければ利用できない。 第2の方法としで、Pentlandは、1つはピンホ
ールであることを必要とする異なる口径セツティングを
通して2つの像形成を伴うカメラ装置の拡がりパラメー
タを測定する方法を論述している。このアプローチによ
り演算された拡がりパラメータを利用しで、シーンの深
度評価が、幾何学を用いて導出されたレンズ系の公式を
使用して計算され得る。Pentlandの方法は、(
l)単一の非常に小さい光量を集め、そして(ii)形
成された像を歪曲させる回折の劣化効果を増大するピン
ホールカメラを通して像を形成することを本来的に必要
とするので、実用的には大きな困難を伴う。 視界深度解析を利用する他の方法は、Elsevier
Science Publishers、  BzV、
から PatternRecognition 1et
ters%Vo1.5.63〜69頁にPau IGr
osssannによる’Depth From、 Fo
cus」で開示されている。この方法はPentlan
dの第1の方法と非常に類似しており、(i)エツジ位
置についての認識を必要とし、(ii)シーンに完全な
処理階段状エツジか存在しなければ利用され得ない同様
な欠点を有する。 「深度マツプ」再生並びに光学的測距は、例えばGru
metの米国特許4,601,053に開示されている
ように、ステレオ視覚処理を利用することによって受動
的に実現される。 Grusetは、離間した1対のT
Vカメラ(即ち双眼鏡視覚)を採用しで、少なくとも単
一の遠隔の受動的な被写体に対する自動的及び定量的な
測距方法を開示している。ステレオ像対における対応す
る点の小さな変位が、測定されて距離に変換される。 しかしながら、ステレオビジョンを採用した深度マツプ
再生法が周知ではあるが、相異なる像間の形状再生及び
像照合を伴う問題が、このような技術な(i)実施する
ことを技術上困難にし、(ti)演算上複雑で、(ij
i)シーン幾何学について仮定を伴うことにより誤差を
生じ易くしている。 そこで、測距技術分野の前述の先行技術を考える仁、前
述の方法及び装置の欠点を伴うことなしに、3Dシーン
の被写体及び表面区画とカメラ装置との間の距離を受動
的又は能動的にリャルタイみで決定する方法に対する強
い要請があることは明らかである。 (発明が解決しようとする課題) それ故、本発明は、1対の2次元像を基にして3Dシー
ンの表面区画とカメラとの間の距離を決定するための方
法及び装置を提供することを目的とし、その際2次元像
の各々は相異なるカメラパラメータ値を使用して形成さ
れ、カメラパラメータ値の変化は次のカメラパラメータ
の1つ以上で生じることを前提にする。即ち、(i)像
形成系の第2主平面及びカメラ装置の像検出器面との間
の距離、、 (ii)カメラ口径、(iji)像形成装
置の焦点距離である。 本発明の他の目的は、同一の3Dシーンの1対の2次元
像を基にしてカメラ装置から3Dシーンの複数の表面区
画までの測定距離を同時に決定する方法を提供すること
であり、その際2次元シーンの各々は像のいかなる部分
がフォーカスされているか否かに拘らず、異なった組や
カメラパラメータ値を有するカメラ装置を通して形成さ
れる。 本発明の他の目的は、並行的で、かつ単に局部的な演算
を伴う深度マツプ再生処理を提供することである0本発
明の方法によれば、カメラパラメータ値が特別な範囲内
にあることを必要とせず、しかも3D空間シーンが解析
されることについての仮定もない6本発明による方法の
唯一の条件は、カメラパラメータ及びカメラ特性に対す
る認識である。カメラ特性は、深度再生処理中に繰り返
される必要のない適当なカメラキャリブレーション手順
で最初に得ることができる。 本発明のさらに他の目的は、上記方法を使用して決定さ
れる距離測定で、迅速、かつ自動的にフォーカスさせる
カメラ装置及び方法を提供することである。 本発明のさらに他の目的は、本発明による深度マツプ再
生法を使用してフォーカスの改善された2次元像を形成
する方法を提供することである。 本発明のこの側面は、異なる距離の被写体を含むシーン
のテレビジョン放送で役立7.医学(例えば光学的手術
)及び微生物学に使用されるテレビジョン顕微鏡から得
られた3Dシーン試料の像処理においても有用である。 (課題を解決するための手段と作用) 本発明は、コDシーンの表面区画とそと゛から−″れて
位置するカメラ装置との間の距離を決定する方法である
。距離は、少なくとも1つのカメラパラメータ値(例え
ば、第2の主平面及び像検出器面間の距離、レンズ系の
焦点距離又はカメラ口径)の明確な又は極小の変化を有
するカメラ装置を用いてそれぞれ形成される1対の像を
基に決定される。 特に、本発明による方法は、3Dシーンの表面区画及び
カメラ装置間の距離を高信頼度で決定するための演算上
効率的な方法を提供する0本発明によるカメラ装置は、
レンズ系を含み、少なくとも1つ以上が像形成過程中に
異なる値にセットされる少なくとも3つのカメラパラメ
ータによって特徴づけられる。カメラパラメータの全て
は、少なくとも1つの別のカメラパラメータ値が存在す
る少なくとも第1及び第2の組のカメラパラメータを与
えるように、定量的に決定可能でなければならない。 本発明による方法は、電磁波エネルギによって照射され
た3Dシーンの第1の像を形成すること及び第1の組の
カメラパラメータにょ9て特徴づけられるカメラ装置を
使用することを含む、 3Dシーンの第2の像は、電磁
波エネルギ及び第2の組のカメラパラメータによって特
徴づけられるカメラ装置を利用することによって形成さ
れる。注目すべきは、第1及び第2の組のカメラパラメ
ータが、少なくとも1つの同じでないカメラパラメータ
値を有することである。 第1及び第2の副像は、そのように形成された第1及び
第2の像から選択される。副像は、カメラまでの距離が
決定されるための3Dシーンの表面区画に対応する。 第1及び第2の副像を基にしで、第1及び第2の副像に
対応する点拡がり関数の拡がりパラメータの間の第1の
「拘束条件」(数式、結合関係)が、導出される。注目
すべきことは、カメラ装置の点拡がり関数は、30シー
ンの点が、如何にカメラ装置の像検出器面に形成された
観察像中の点に写像されるかを規定することである。カ
メラ装置の点拡がり関数の拡がりパラメータは、像「ぼ
け」の測定である。 カメラパラメータ値を基に、第1及び第2の副像に対応
する点拡がり関数の拡がりパラメータ間の第2の拘束条
件が導出される。 前述の第1及び第2の拘束条件を用いで、拡がりパラメ
ータが決定される。 上記のようにして決定された少なくともiつの拡がりパ
ラメータ及び第1及び第2の組のカメラパラメータを基
にしで、カメラ装置及び3Dシーンの表面区画間の距離
が決定される。 好適な実施例においで、拡がりパラメータ間の第1の拘
束条件は、第1及び第2の副像に対応する第1及び第2
パワースペクトル密度関数を演算することによって導出
される。比率は、第1及び第2のパワースペクトル密度
関数を利用して公式化され、その比率を基にして拡がり
パラメータ間の第1の拘束条件が決定される。 拡がりパラメータ間の第2の拘束条件は、拡がりパラメ
ータ及び3Dシーンの表面区画に対応するぼやけ円の直
径間の関係を公式化することによって導出される。この
関係を使用しで、パラメータ間の第2の拘束条件が導出
される。 好適な実施例においで、カメラ装置は、カメラ口径及び
像検出面を有する像検出器を含み、レンズ系は少なくと
も1つのレンズ要素を含む、レンズ系は第1及び第2の
主平面と焦点距離とで特徴づけられ、第2の主平面は像
検出器面により近く位置している。3つのカメラパラメ
ータは、(i)第2主平面及び像検出器面間の距離、(
ii)カメラ口径及び(iii)レンズ系の焦点距離で
ある。好適、な実施例では、これらのカメラパラメータ
のいずれか1つ又は2つ又は全ての3つを変えることが
できる。 好適な実施例においで、レンズ系は2つのレンズを含む
が、1つ以上のレンズを含むレンズ系も使用できる。カ
メラ装置の点拡がり関数はガウス型であるが、一般的な
方法としては任意の型式の点拡がり関数を使用すること
ができる。 代りに、カメラの結像系は、像形成ミラー、レンズ又は
これらの組み合わせを有する光学系を含むことができる
。 本発明の他の態様としで、前述の方法を利用してカメラ
装置をオートフォーカスさせる方法、即ちカメラ装置及
びフォーカスされるべき3Dシーンの表面区画間の距離
を決定するための方法を含む、この実施例においては、
決定されるカメラパラメータは、レンズ系の有効焦点距
離であるが、又は第2主平面及び副像表面区画をフォー
カスさせる像検出器面間の距離のいずれかである。この
決定は、カメラ装置の幾何学から導出されるレンズ系の
公式を用いてなされる。前述のように決定されたカメラ
パラメータ値は、迅速、かつ自動的にカメラをフォーカ
スさせるためにセットされる。 本発明の他の態様としては、カメラ装置から測定された
3Dシーンの複数の表面区画の距離を決定する方法があ
る。このような方法は、一般的には3Dシーンの深度マ
ツプ再生法と言われる。本発明の他の実施例においで、
カメラ装置は好ましくは単純な焦点距離調節用の多重レ
ンズを有するレンズ系を含む、カメラ装置は点拡がり関
数によって特徴づけられ、ざら、に少なくとも1以上が
像処理過程中に相異なる値にセットされる3つのカメラ
パラメータによって特徴付けられる。全てのカメ2ラパ
ラメータ値は、定量的に決定される必要がある。 深度マツプ再生法は、カメラ装置及び1つの表面区画間
の距離を決定する代りに、30シーン中の複数の表面区
画からカメラ装置までの距離が並列的な方法で決定され
ることを除いては、表面区画及びカメラ装置間の峰離を
決定する方法と類似している。その方法は、前述のよう
に第1及び第2の像を形成し、第1及び第2の像を複数
の副像に分割することを伴い、第1像及び第2の像の各
副像は3Dシーンの表面区画の1つに対応する。 −前述の実施例のように、パワースペクトル密度関数は
、第1及び第2の像の各副像に対して演算される。第1
及び第2の像の各副像に対応する点拡がり関数の拡がり
パラメータは、各副像に対応するパワースペクトル密度
関数及びカメラパラメータの第1及び第2の組を基に並
列的な方法で決定される。その後、並列的な方法で、カ
メラ装置及び3Dシーンの各表面区画間の距離が、前述
の方法のように、予め決定された副像に対応する拡がり
パラメータの1つ及び2組のカメラパラメータを基に決
定される0、この2次元像処理の方法によっで、3Dシ
ーンの深度マツプ再生法が、リアルタイムで演算上に効
率的な方法で得られる。 前述の実施例のように、この方法におけるカメラパラメ
ータの1以上が、像形成過程中に相異なる値にセットさ
れ得る。       ′本発明の他の態様としては1
本発明の原理により形成された1対の第1及び第2像か
らフォーカス改善された像を発生する方法を包含する。 フォーカス改善された像を形成する方法は、上記のよう
に、3Dシーンの深度マツプの再生方法において決定さ
れた複数の拡がりパラメータを使用する、特に、この方
法は、合成された場合に総和が改善された像を発生する
ために、2次元ディジタル信号処理を行うように、各副
像に対応する演算された拡がりパラメータを利用する。 フォーカス改善された像の処理方法は、各副像に対応す
るカメラ装置の変換関数の決定を伴う。 この決定は、カメラ装置の「光学変換関数」 (即ち、
点拡がり関数のフーリエ変換)、各副像に対応する少な
くとも1つの拡がりパラメータ並びに第1及び第2の像
を基に行われる。各副像の2次元フーリエ変換が演算さ
れる。各フォーカス改善された副像に対する2次元フー
リエ変換は、各副像に対するカメラ装置の変換関数及び
それぞれ得られた(即ち、観察された)副像の対応する
2次元フーリエ変換を基に演算される。逆フーリエ変換
は、これに対応するフォーカス改善された副像をもたら
すように、前述の処理ステップで決定される各2次元フ
ーリエ変換のために演算される。 その後、フォーカス改善された副像は、フォーカス改善
された像を形成するように合成される。 前述の実施例において使用されるカメラ装置は、深度マ
ツプ再生法において使用されたものと同一にできる。 3Dシーンの表面区画及び前述のカメラ装置間の距離を
決定するための装置も提供されるが、これは他の実施例
の実行のために使用される。−船釣に、装置は、前述の
カメラ装置及び少なくとも1つ以上のカメラパラメータ
値の変更手段を含む。 装置は、カメラパラメータの変更手段によって行   
−われるカメラパラメータの変化を含む各カメラパラメ
ータ値の大きさを定量的に測定する手段を含む、加えで
、装置は、像検出器からの2次元像を得る手段及びそれ
ぞれの得られた像に対応するディジタル像データを発生
する手段を含む0表面区画及びカメラ装置間の距離の決
定のために、得られた像のディジタル像データを取込み
、処理するための像処理コンピュータが用意される。ざ
らに、装置は、(l)カメラパラメータ値、(ii)像
捕捉過程中に有効になる変化、 (ii+)再生された
深度マツプの3次元グラフィックモデルを表示する手段
を含む。 (発明の効果) 本発明の効果としで、全3Dシーンの深度マツプが、像
のいずれかの部分かフォーカスされたか否かに拘らず、
またカメラパラメータ値の如何に拘らず、直ちに得られ
る。 本発明の好適な実施例においで、各副像に対応する拡が
りパラメータが容易に決定され、特に有意義なことは、
第1及び第2像の形成中にカメラ口径のセツティングに
無関係に決定されることである。この効果は、カメラロ
径セウティングの1つがほとんど零であることを必要と
する先行技術と対照的である。 ツーカス改善された2次元像の形成方法は、3D顕微鏡
の試料のツーカス改善された2次元像を導出するための
顕微鏡検査での利用に好適である。 この方法は、シーン中の前景被写体及び背景被写体が、
3Dシーンの深度次元の前景及び背景の被写体の各位置
に顕著な相違があるにも拘らず、フォーカスされて現れ
る3Dシーンのテレヒ′ジョン像表示を行う重要な用途
を持っている。 本発明の他の利点は、カメラ装置を迅速にオートフォー
カスさせる受動型方法を提供することである。特に、こ
の方法は単に2つの像を捕捉して処理するだけである。 一方、従来技術は、これと対照的に光軸に沿って像検出
器面を往復運動させるが、又は焦点距離の範囲に渡って
レンズ系の焦点距離を変えることによって形成された一
連の像を捕捉して処理することを必要とする。 (発明の実施例) 第1図は、3次元空間シーンを見るカメラ装置の外観図
を示す。 このカメラ装置は、焦点距離fの調整を行えるように、
光軸3に沿って配置された第1のレンズL、及び第2の
レンズL2を有するレンズ系2を含んでいる。焦点距1
tfは、カメラパラメータである。 レンズ系は、レンズL、及びL2の第1の主平面P□及
び第2の主平面P2で特徴付けられる。焦点距離のイ1
は、レンズL2を光軸に沿って前後に並進させることに
より可変される。シーンを直接具る他のレンズL+は、
不動である0両レンズは、凸レンズにするか又は一方は
凹レンズにする。いずれの場合も有効焦点圧fafは1
周知の下記の式から決定゛ される。 ここで、fL、及びfLtは2個のレンズL、、 L、
のそれぞれ焦点距離てあり、「は両レンズ間の距離であ
る。主平面P+、 Pa及び主点q1、勉の位置は、例
えば[K、N、Qgle著、イリノイ州、スプリングフ
ィールド、Charles C,Thomas発行、光
学(l968)の第2部、Vl1章]で議論されている
ように、周知の幾何光学的な方法を用いて決定される。 レンズL2を並進させることによりfを可変させる代り
の方法としで、−個のレンズを別の焦点距離を有する別
のレンズで置換することにより、焦点距離fを可変する
21i以上のレンズを有するレンズ系にすることも可能
である。 カメラ装置は、投影像が形成されて記録される像検出器
面4も含む、第2の主平面P2及び像検出器面4間の距
離は、Sとして指定され、カメラパラメータを構成する
。このSの値は、像検出器面4を光軸に沿って前後に並
進させることにより可変できる。 カメラ装置の第3のカメラパラメータはカメラ開口の直
径りであり、その値は直径を可変させることにより独立
に制御される。より大きなカメラ開口は、(i)より小
さなフィールド深度を生じ、したがってカメラ装置に対
してより大きな距離(深度)弁別能力を与え、(ii)
より大きな像放射照度を与え、 (iii)回折に起因
する劣化作用を減少させるので、できるたけ大きなカメ
ラ開口を有するのが望ましい0本発明方法の前提となる
理論的な根拠を特に第1図及び第2図を基に説明する。 第2図においで、3次元空間シーンの表面区画における
点Pはpoで集光し、像検出器面4上に像pとして投影
される0位21p°及び2間の関係は下記の式で与えら
れる。 l l l    (2) uv ここで、fは有効焦点距離、Uは第1の主平面P、に対
する被写体pの距離、■はフォーカスされた像p゛及び
第2の主平面22間の距離である。 もし、pがフォーカスしないとレンズ系は像検出器面4
上に通常“ぼやけ円”と呼ばれる円形像を生じる。単純
な面幾何学及び上述のレンズ式(2)からぼやけ円の直
径は下記の式で与えられる。 Ds [−−−−−1(3) us ここで、Dはレンズ系の有効直径である。カメラパラメ
ータSでその直径を除算してぼやけ円の空間的な大きさ
を正規化すると、その正規化直径dは下記のようになる
。 d = D [−−−−−]     (4)us 上式においで、正規化直径dは、S≧V又はSくvによ
り正又は負になる。前者の場合、像検出器面はフォーカ
ス像p゛の後に在り、後者の場合前方に在る。幾何光学
に原理に従っで、ぼやけ円内の像強度は、理論的に一定
であり、下記の式て与えられる。 )+”+y”≦d”/4ならば、 ha (x+ ! 
) ” 、 a 2x”+ y”> d”/4ならば、
0(5)しかしながら、回折及びレンズ収差により生ず
る系帯域幅の制限に起因しで、強度分布(即ち点拡がり
関数)のより適切なモデルが、下記の2次元ガウス関数
により与えられる。 1    −1  x”+y” he(x、y)=2fCcr*EXP[−y、□]  
 (a)ここで、σは点拡がり関数の拡散パラメータで
あり、次のようになる。 k≧0に対しで、σ=kd  (7) kは所与のカメラの特性を表わす一定の比例乗数であり
1周知のカメラキャリブレーションにより最初に決定さ
れる。 定義により、 h(x、y)により表わされる点Pのぼ
やけ像は、実際上カメラ装置の点拡がり関数である。上
述の式により拡散パラメータに対して下記の式が導出さ
れる。 点拡がり関数h(x、y)は、拡がりパラメータσで規
定され、したがってレンズ面から異った距離における点
に対して異ることに留意すべきである。 h(x、y)の量は単位元として示され、通常カメラ装
置の光学変換関数と呼ばれるh(に、y)のフーリエ変
換は、次のようになる。 H(w、v) = EXP[−’/2(w”+ v”)
 cr ”]   (9)ここで、W、Vは単位距離に
対するラジアンで表わされる空間周波数パラメータであ
る。カメラ装置の点拡がり関数の数式を説明したので、
次にカメラ装[h(x、y)の点拡がり関数及び表面区
画のフォーカスされた像の空間強度分布f(x、y)で
表わされる像検出器面上の3次元シーンの観察された像
g(x、y)の数式を説明する。 G(w、v)及びF(w、v)は、それぞれg(x 、
y)及びf(x。 y)の2次元フーリエ変換であり、確立された原理によ
り観察された像g(x、y)は下記のように表わせ得る
。 g(x、y)=h(x、y)B(X、y)   (lG
)ここで、*はコンボリューション動作を表わす、空間
ドメインのコンボリューションは、フーリエドメインの
乗法に等価であり、上式は下記のフーリエドメインで表
わされる。 G(w、v)−H(w、v)F(w、v)      
 (l1)確立された原理により、G(w、v)のパワ
ースペクトル密度関数P(w、v)は下記で与えられる
。 P(w、v)= G(w、v)G攻(w、v)    
 (l2)ここで、0本(w、v)はG(w、v)の複
素共役である。 0本(w、v) = Ill(w、v)F喧w、v)な
ので上述の表現は下記のように表わせる。 P(w、v) = H(w、v)11本(w、v)F(
w、v)F”(w、v)  (l3)式(9)からIf
 (w 、 v )を置き換えるとぼやけ像領域のパワ
ースペクトル密度間fiP(w、v)は下記のように表
わせる。 P(w、v)=EXP[−(w”+v”)  cr”l
F(w、v)F本(W、V)上述のパワースペクトル密
度関数P(w、v)は拡がりパラメータσの関数であり
、これはカメラからの異った距離のシーンにおける被写
体に対しては異って示されたので、形成された2次元像
の解析は、拡がりパラメータσが近似的に一定である副
像領域で行われるのが好ましい。 加えで、ぼやけに起因しで、その境界画素の副像の強度
は、隣接副像の強度に作用される。この現象は、像オー
バラップとして知られており、シーンの隣接する可視表
面区画により発生される像強度分布が、aJl測された
像でオーバラップする場合に起こる。像オーバラップの
悪I#響を減少させるために、それぞれの副像強度分布
は、興味の副像を中心にした適当な2次元ガウス関数で
重み付け(即ち乗算)される。そしで、結果としての重
み付けされた副像が本発明の方法で利用されるが、その
数学的な根拠は後述する種々の実施例で示す。 本発明の第1の実施例では、カメラ装置からの所望の表
面区画の距離は、その一対の2次元像gt(x、y)及
びgz(x、y)を用いて決定される。これらの像は、
カメラパラメータとして(st、 f+、 D+)及び
(921f 2+ D t )をそれぞれ有するカメラ
装置により形成される。カメラパラメータのこれらの組
は、明確な相違値を伴う少なくとも1個の別のパラメー
タを有する0式(9)及び(l1)からg+(x、y)
及びgt(x、y)のフーリエ変換は下記の通りである
。 G+(w、v) = EXP[−’八(w” + v”
) cr +”lF+(”+v)(l5A) G*(w、v) =EXP[−’/2(W”+V”) 
 cr’、23F2(w、v)(l5B) 別のカメラパラメータ値(st、 f++ D+)及び
(s2゜r*、 Di)を持って形成された像gt(x
、y)及びga(x、y)に対するパワースペクトル密
度関数は。 下記のようにそれデれ表わされる。 P、(w、v) =EXP[−(w”+v”)σ+’l
F(w、v)Ft(w、v)(l6A) P、(w、v)’ = EXP[−(w”+v”) c
r t”l F(w、v)F本(w、v)式(l6A)
を式(l6B)で除算することにより、下記のようにな
る。 P、(w、す p 、 (、、、>  −E X P [−(w ” 
v ” ) (σr ” −σm ” ) 5   (
” )上式の両側の対数を取り、項を整理して下記のよ
うになる。 空間周波数対(w、v)に対しで、上式(!8)の右辺
は所与の像対Gl(WIV)及びG、(w、v)から演
算され得る。それ故、式(l8)は、観察された像g+
(x、y)及びgs(x、y)からσ−−σ−を決定す
るのに用いられる。原理的には、単一空間周波数点(w
、v)でのパワースペクトル密度を測定することで、σ
12−σ1の値を決定するのには充分であるが、空間周
波数ドメインにおけるある領域について平均することに
より、より確実な評価が得られる。 式(l8)の評価された平均は、下記のCで表わさ得る
。 そしで、RはP、(w、v) =h(w、v)の点を含
まない空間周波数ドメイン上の領域であり、Aは領域凡
の部分である。それ故、am察されたftgt(x、y
)及びgs(x、y)から拡がりパラメータσ、及びσ
。 間の拘束条件は式(l8)から得られる。 σI′−σ、”= C(20) この場合、1式に2個の未知数があり、拡がりリパラメ
ータσ、及びσ糞を解くために、別の式が、2個の別の
組のカメラパラメータ値(SZf、、 D、)及び(5
t、ft+ Dt)から次のように求められる。 式(8)及び 観察像g+(x、y)及びgt(x、y
)に対略する2個のカメラパラメータ組から次の2式か
得られる。 σI冨に+D+[−−1(21八) f、  u  s。 ll σ、璽に*D*[−−1(211’l)f、  u  
s。 これらの2式からカメラ−表面区画間の距離Uを消去す
ると1次の式が得られる。 σIIIασ寥+β          (22)ここ
で、 β=に+D+[−”   −]        (23
B)f皇 f、  s、  St 式σ、′a−σ2=C及びσ−ασ2+βは、共に2個
の未知変数て表わされた2個の式を構成している。 ここで、強調しておくべきことは、これらの2式が本発
明の基礎になることである。即ち、σ−−σz=Cは、
観察像から得られた2個の拡がりパラメータ間の第1の
“拘束条件”を表わす、第2の式、即ちσ−ασ3+β
は、単にカメラパラメータ値及びカメラ特性から得られ
る第2の“拘束条件”を表わす、拡がりパラメータ値σ
1及びσ2を決定するのに別のアプローチも存在する。 しかしながら、採用したアプローチの如何に拘らず、本
発明の方法は、(i)拘束条件の1つは観察された像か
ら得られ、(ii)他の拘束条件はカメラパラメータ値
及びカメラ特性から得られる2flの拘束条件を導出を
伴う、このように導出された2個の式は、広がりパラメ
ータσ、及びσ2を得るために同時に解かれる0重要な
ことは、カメラパラメータ及びカメラ特性で表わされる
拡がりパラメータσ、及びσ2間の拘束条件を規定する
表現は、U察された像の解析のドメインに無関係に得ら
れることである。このようなドメインの例としては、フ
ーリエ、空間、Z変換等を含む。 基本式(20)及び(22)から好適な実施例に対する
次の式が導出される。 (α2−1)σ1+2αβσ2+β”=C(24)上式
は拡がりパラメータσ2で表わされる2次式(即ち多項
式関数)であり、これに対する解法は下記で午えられる
。 一般的には、この式に対して2個の解決がある。しかし
ながら、もし両観察像g 1(x+ y )及びgt(
x、y)が同じカメラ口径の設定、即ちD+=D*を通
して形成されるならば、特異な解法が得られる。また1
例えば2個のカメラ口径が不同(o+≠D、)であり、
焦点距離及び像検出器−第2の主平面間の距離が同じ(
f+= fg= st= St)である場合、特異な解
法が得られる別の特別なケースが生じる。この場合、拡
がりパラメータσ、及びσ2の負の解だけが適用される
。 拡がりパラメータσ、及びσ2並びに確認したカメラパ
ラメータ組Sl+fl、DI及びS1+ m osを解
いで、式(21^)または(21B)を基に表面区画か
らカメラ装置までの間隔又は距離Uが計算される。 または。 別の実施例としで、カメラ装置から所望の表面区画まで
の距離がそのカメラパラメータとして(S、1、D)及
び(S+δs、f+δf、 D+δD)を有するカメラ
装置により形成された一対の2次元像gt(x、y)及
びgt(x、y)を用いて決定される。ここで、δS、
 δf、 δDはそれぞれのパラメータ値の微小変化で
ある。少なくともこれらの1つは0でないようにすべき
である0式(8)から次の表現が得られる。 kD    kD δσ=−δS−−δf+−δD   (27B)s! 
   f”    D 先に導出された式(l4)から次の式が導出される。 δP(w、v) =−2(w”+ v”)P(w、v)
  crδty  (28)上式を変形すると、次の式
が得られる。 その右辺は下記のようにCとして定義する。 原理上、空間周波数ドメインにおける単一点(w、v)
におけるP(w、v)及びδP(w、v)を測定してC
を計算できるが、前述したように、a察された像からC
をより確実に演算で評価できる。 ここで、前述のようにRはδP(w、v)= 0の点を
含まない空間周波数ドメインにおける領域である。そし
で、Aは領域凡の部分である0式(27B)、(29)
及び(31)から下記の式が得られる。 この式は、拡がりパラメータσで表わされた2次式であ
る。 上記の式(32)を解くことにより、拡がりパラメータ
σは、周知の方法を用いて決定される。−船釣に2個の
解法があるが、カメラ口径りが像形成過程中に変化しな
ければ、即ちδD〜0ならば、σに対して特異な解法が
得られる。拡がりパラメータσから距離uは下記の式よ
り得られる。 本発明の主な実施例の理論的根拠を説明したので1次に
表面区画及びカメラ装置間の距離を決定する方法を説明
する。 実施に際しては、第3,4及び5図に示すように、種々
のタイプの装置が考えられる。第5図に示すように、像
形成過程に用いられるカメラ装置は、それぞれ異りだ組
のカメラパラメータで特徴付けられて同じ視点から表面
区画を見る2個の分離したカメラで良い0代りに、第4
図に示すように、可変のカメラパラメータを有する中−
のコンピュータ制御カメラ装置を用いることもできる。 両ケースの場合とも、第3cii1にブロック図て示す
一般的な構成を備える。 第3図の好適な実施例装置は、カメラ装置1、像捕捉装
置5及び像処理コンピュータ6を含むようになっている
。 カメラ装211は、好適な実施例では少なくとも3個の
カメラパラメータS%f、 Dで特徴付けられるレンズ
系である像形成装置を含む。代りに、像形成のために像
形成ミラーを含む像形成装置を使用することも考えられ
る。第8図は、このような代りの装置を示し、カメラ装
Bt”’は1個のレンズ及びl@のミラーを有する像形
成装置を含む。 好適な実施例では、CCDのようなディジタル像検出器
8が、カメラ装置の像検出器面を形成する。像検出器は
写真フィルムても良く、この場合後のディジタル化を必
要とする。従来のディジタル像捕捉装置5は、カメラ装
置lで発生される映像信号(vs)からディジタル像強
度マトリックスg(x、y)が得られるように用いるの
か好ましい。ここで、l≦X≦m及びl≦y≦n、整数
m及びnは像の大きさを特定する。第3図に示すように
、像処理コンピュータ6は、カメラパラメータの値を特
定する入力制御データに応答しで、それぞれのカメラパ
ラメータ値をセットするためにカメラ装置に制御信号を
発生する。 像捕捉後、像処理コンピュータは本発明の像処理方法に
より、ディジタル化像強度マトリックスg(x、y)を
処理する。 第4図は1本発明の方法を実施するのに用い得るカメラ
構成を示し、可変のカメラパラメータを有するコンピュ
ータ制御のカメラ装置を備えている。この装置は、カメ
ラ装置l°、ディジタル捕捉!A: ii!15及び像
処理コンピュータ6を含む、カメラは、レンズ系2、カ
メラ開口を与えるカメラ絞りlO及び像検出器8を含む
、レンズ系は可変距離rて分離された2個のレンズL、
及びL2を含む、カメラ装設1°もレンズL2の位置コ
ントローラ11.像検出器面位置コントローラ12及び
カメラ口径コントローラ13を含み、それでれ像処理コ
ンピュータ6から制御信号を受信し、それぞれのカメラ
パラメータを制御及び/又は測定する。カメラパラメー
タs、 f%Dの測定は、′S″、′f″、′D″とし
てラベルされたセンサにより行われる。これらのセンサ
は1周知の直接接触又は非接触式で良い、L2位置コン
トローラ11はレンズL、及びL2間の距離rを可変す
ることにより、カメラ装置1′の有効焦点距離を制御す
る。像検出器面位置コントローラ12は、カメラパラメ
ータSを直接制御する。カメラ開口コントローラ13は
カメラ口径りを制御する。 第4図のカメラ構成の主な利点は、コンピュータて制御
可能なパラメータを有する単に1個のカメラユニットを
必要とするだけであることである。 第5図は、第3図のカメラ装置の代りの実施例を示す。 この場合、ミラーにより同じ視点から3Dシーンの一対
の像を同時に形成するための2カメラ構造を有するカメ
ラ装置1”か示されている。この実施例では、カメラパ
ラメータ(s、 f、0)の組が、それぞれのカメラユ
ニットに対して異り、像形成以前にプリセ・ントされる
のが好ましく、m4図のカメラ構成で必要とされるよう
に、像形成過程中変える必要はない。 第4及び5図のカメラ構造には、本発明の方法を用いて
決定される距離を可視的に表示するための表示装置14
が設けられている。表示装置14は、カメラパラメータ
等の値を数値表示するのと同様に、 3Dシーンの決定
される深度マツプの外観図をクラフィック表示するのに
適したブラウン管装置が好ましい。 次に、第6図を参照して本発明の方法の動作ステップを
説明する。像g+(x、y)はカメラパラメータC5l
、 r+、0.)で求められ、第2の像gg(x、y)
はカメラパラメータ(sg、f2、D2)で求められる
。 カメラパラメータSが像形成過程(即ちS+≠S−中に
変化する場合、像の大きさの正規化(“空間計測”の形
で)が、パラメータS、で得られる第1の像の点がパラ
メータS2て得られる第2の像の点に確実に対応させる
ために必要となる。 換言すれば、観察された像の大きさは、像検出器面の第
2の主平面P2からの距aSに比例するので、空間像計
測が必要である。それ故、全ての像か同じ大きさを持つ
ように、空間計測が行われる。好ましい実施例としては
s=1に相当する大きさが用いられる。 空間計測は1次の手順で行われる− g+p(x、y)
かg+(x、y)の計測された像、gt*(x、y)か
gt(x、y)の計測された像であるとすると、空間計
測のために次の変換を用い得る。 カメラパラメータs2がカメラパラメータs1よりも大
きい場合、ディジタル捕捉装置5は、g+p(x。 y)よりもgap(x、y)をより高密度にサンプリン
グする。この特定の場合、ga、(x、y)の値は、周
知の補間法を用いてg+s(X、y)がサンプリングさ
れた同じ点で得られる。新たにサンプリングされたg+
+、(X+y)の像は、g2□(x、y)と指定される
。 上述の処理動作が行われた後、必要な場合3Dシーンに
おける同じ表面区画″A”のイメージ像に対応するil
及び第2の副像g+A(X+ y)及びgxA(x、y
)が、第1及び第2の2次元像gtp(x+y)及びg
2p(x、y)からそれぞれ選択される。これらの副像
g+A(x+y)及びgtA(x、y)は、カメラ装置
までの距離Uか決定されるシーンの表面区画″′A″に
対応する。 前述の“オーバラップ効果”の好ましくない作用を緩和
するために(即ち副像の境界を交差して拡がる像ぼやけ
の作用を減少させるために)、それぞれの副像は適当な
“中心重み付け”されたマスクな乗算される。例えば、
拡がりが副像直径の0.2〜0.5倍であるガウスマス
クか用いられる。 この方法の段階で、副像g lA(x + y )及び
gaA(に、y)は、以後“グレーレベル計測°°と称
する動作により、像強度の変化に関して正規化される。 グレーレベル計測は、 g、A(x、y)の平均値に対
する   −g+A(x、y)の平均プレイ値の比で与
えられる定数に、g2A(x、y)のプレイ値を乗算す
ることにより行ねれる。 grAcX、y)及びgaA(x、y)のパワースペク
トル密度関数P、(w、v)及びP2(IIIV)が演
算され、ここでw、vは単位距離に対するラジアンで表
わされる空間周波数パラメータである。 ここで、式(l9)のHkCを演算する。 拡がりパラメータσ2は式(25)から得られる。 この決定されたパラメータσ2を基にカメラ装置及び表
面区画間の距Iauが、下記に再表示する式(26B)
を用いて決定される。 ここで、A、= k、D、s、f、、A、=+ 52f
R*Aユ= kJ2(f*−82) これに関連しで、カメラパラメータ値の小さな(即ち極
小)の変化を用いて距離Uを決定したい場合、上記の方
法に対して変形が在ることに留意すべきである。即ち、
これの変形は、 l)量Cは1式(l9)の代りに1式(31)を用いて
演算される。 2)拡がりパラメータσは、式(25)の代りに1式(
32)を用いて決定される。 3)距j111uは、式(26B)の代りに、式(33
)を用いて決定される。 これに関連しで、オートフォーカスされるべき3Dシー
ン及びカメラ装置の表面区画間の距離を決定する前述の
方法を用いで、カメラ装置をオートフォーカスする方法
を取入れる本発明の別の側面を説明するのか適当である
。 第6図おいで、上述の方法の1つにより表面区画及びカ
メラ装置間の距離Uを決定した後、レンズ系の有効焦点
距glf又は表面区画に対応する副像領域を集束させる
像検出器面の位glsを決定するために、次のレンズ系
公式が用いられる。 本発明のもう1つの側面は、カメラ装置から測定される
3次元空間シーンの複数の表面区画の距離を並列動作で
同時に決定する方法である。カメラパラメータの異った
組て形成された像g+A(x、y)及びgaA(x、y
)に対しで、複数の表面区画に対応する副像は、l≦i
≦m及び1≦j≦nに対するg+ t、j(x、y)及
びg□、j(x+y)により表わせ得る。ここで、それ
ぞれの(i、j)対は、シーンの特異な表面区画を特定
する。副像g+t、a(x+y)及びgai、i(X+
y)に対応して・次の表現法が用いられる。 i)フーリエ変換’ Gr i、 J(”Iv)、Ca
t、バw、v)ii) (i、j)番目の表面区画の集
束された副像は:L、 J(x、y) 1ii)フォーカスされた副像のフーリエ変換:rt、
 J(!+、V) iv)  カメラの光学変換関数=H口、j(l1,’
V)、Hzt、j(w、v) V)パワースペクトル密度関数: P++、 J(w、
V)、P21. J(IJ、V) vi)  拡がりパラメータ=σ口、J、σ2..jv
it)カメラからの距離:uli、j(l!合的に“深
度マツプ”としても知られている。) 第7A及び7B図を基に、深度マツプ再生方法の動作ス
テップを説明する。 2組の不同のカメラパラメータ(St、 L、DI)及
び(s2、f2、Oa)を用いで、像gt(x、y)及
びgt(x、y)がそれぞれ求められる。それぞれのg
t(x、y)及びgt(x、y)についで、前述したよ
うに、グレイレベル及び空間計測動作が行われる。 これらの像は、−組の対応する副像g目、j(X+y)
及びggt、 J(X131)にそれデれ細分される。 副像のフーリエ変換GI1. J(IIIV)、G*r
、 j(l1,V)及びパワースペクトル密度関数Ps
i、 j(”+v)、Ptt、 j(’+’l’)が演
算される。 lhi、J(w+v)、Pat、J(w、
v)及びカメラパラメータ組(St、 f+、0+)、
Cs2、f2、Da)を基に、拡がりパラメータσ1.
j(又はσ2□、、)が、前述したように演算される。 これらの拡がりパラメータ及びカメラパラメータ組を基
に、表面区画距離u(、Jが前述した距離決定方法の1
つにより得られる。 2次元像処理のこの方法により、3次元空間シーンの深
度マツプ再生が、リアルタイムで演算処理上効率的な方
法で得られる。 これに関連して本発明の原理により、形成された一対の
第1及び第2像からフォーカス改善された像を発生する
方法を説明する。再度、第7図を基に前述のように、深
度マツプui、jが得られる。 g目、J(x+y)及びg * i 、 j (X *
 3’ )に対応する光学変換関数J+、 J(l1,
V) (又はHer、 J(W、V))が、拡がりパラ
メータσli、j(又はσ□、J)を基に決定される。 それぞれのフォーカス改善された副像に対する2次元フ
ーリエ変換Fi、 J(W、V)が、下記のように求め
られる。 G11.J(WIV)  G’2i、j(l’J+V)
F、・””” ” ll+ i、 =(w、V)= H
er、 J(WIV)  (35)シーンのそれぞれの
表面区画に対する改良され、た集束像ft、J(x+y
)が、Fr、J(W、v)の逆フーリエ変換を演算する
ことにより得られる0代りに、フォーカス改善された副
像f+、 J(X、y)は周知の方法で逆コンボリュー
ション過程により空間ドメインで演算されるが、好適な
実施例では演算の簡略化のために空間周波数ドメインの
除算動作により実現される。フォーカス改善された副像
r+、J(x+y)を組み合わせで、シーンの改善フォ
ーカスの副像f(x、y)が得られる。 本発明の原理により得られた一対以上の2次元像を用G
1で、3Dシーンの表面区画のカメラ装置に対する距t
llluを決定するのも、本発明の範囲内である。した
がっで、異った組のカメラパラメータ値を用いてn個の
2次元像が得られると、距離Uのn−1の独立した評価
か行われ、これらの距離の平均値が距離の確実な評価を
与える。距離Uの独立の評価は、本発明の距離決定方法
を、それぞれの対がいずれの他の対にも含まれない少な
くとも1個の像を含む対状の像に適用することにより得
られ、また前述した全ての方法の性能は、2個の以上の
像を用いることにより改良される。 加えで、前述の方法は、得られた像及び副像のフーリエ
ドメイン解析に基いているが、別のドメイン(例えば空
間ドメイン、2−変換ドメイン等)て相応の解析を行う
ことも可悌である。フーリエドメインが簡易性のために
選ばれ、また信号処理上から特にパワースペクトル解析
が選ばれている。 距離決定及び深度マツプ再現方法の好ましい実施例とし
で、ガウス点拡がり関数により特徴付けられるカメラ装
置が用いたが、任意の点拡がり関数により特徴付けられ
得るカメラ装置を含むように、方法を変更することも本
発明の範囲内である。このような場合においで、拡がり
パラメータに対して導出される式は異る。以下に、任意
の点拡がり関数で特徴付けられるカメラ装とをモデルと
し、30シーンにおける表面区画までの距離を決定する
1つのアプローチを説明する。 観測された像g+(x、y)、ga(x、y)によるσ
1及びσ2間の第1の拘束条件が、後述するように得ら
れる。 観測された像gt(x+y)、gz(x、y)に対する
光学変換関数は、それぞれ)i cr 、 (W、V)
及びHcrt(w、v)により、それぞれ指定される。 式(l3)を用いてパワースペクトル密度関数は2次に
ように表わされる。 P、(w、v)= H(r、(w、v)H、%(w、v
)F(w、v)F本(w、v)(36A) P2(w、v)=  H(y 、(w、v)H、y 、
零(w、v)F(w、v)Ft(w、v)(36B) 式(36^)を式(36B)て除算することにより1次
の拘束条件が得られる。 重要なことは、この式が、観察された像g+(x+y)
、 gg(x、y)のパワースペクトル密度関数により
拡がりパラメータσ、及びσ2間の第1の拘束条件を規
定することである。この式は、点拡がり関数かガウス形
式である場合に対する式(l7)で規定された第1の拘
束条件に類似である。 任意の点拡がり関数h(x、y)に対しては、拡がりパ
ラメータは下記のように分布h(x、y)の第2の中心
モーメントの平方根として定義され得る。 c−E/−づcA
【(×−貸戸◆(y−9)2】h(x
、y)dxdyl−)2ここで、(5i、y)は下記で
与えられる分布の量の中心である。 拡がりパラメータσは、下記のような関数tにより、ぼ
やけ円の直径dに関係付けられる。 d=t (σ)   −(40) ここで、tはカメラキャリブレーションにより決定され
る。式(40)においで、式(4)からカメラパラメー
タのdを置き換えで、次の式が得られる。 上式(41)を変形して次の式が得られる。 異った2i11Iのカメラパラメータ(sl、「1.0
+)、Cst、[2,02)に対しで、次の式が導出さ
れる。 L式(44A)、(44B)から項Uを消去しで、次の
式か得られる。 t(σ1)=α’ t(σ2)+β’       (
45)ここで、 式(45)は2個の拡がりパラメータσ1及びσ2間の
第2の拘束条件である。この第2の拘束条件は、点拡が
り関数がガウス型式である場合に対する式(22)で定
義される第2の拘束条件に相似である。ガウス点拡がり
関数の場合に対する式(20)、(22)のように、式
(37)、(45)は未知のσ8及びσ2の2個の基本
式を構成する。これらの式(37)、(45)を同時に
解くことにより、拡がりパラメータσ1及びσ2が得ら
れる。これにより、カメラ装置からの表面区画の距離u
が式(26^)又は式(26B)用いて演算される。 その他本発明の範囲内で当業者にと9て種々の変形が可
能なはずである。
【図面の簡単な説明】
第1図は2個の表面区画を含むシーン及び光軸に沿った
レンズ系及び像検出器を含むカメラ装置を示し、カメラ
装置の幾何学及びカメラパラメータを図示する斜視図で
ある。第2図は第1図の側  、面図であり、好ましい
実施例に用いられるカメラ装置の幾何学及びカメラパラ
メータを図示する。 第3図はカメラ装置、ディジタル像捕捉装置及び像処理
コンピュータを示す本発明による装置のブロック図であ
る。第4図は第3図による装置のコンピュータ制御カメ
ラ装置のブロック図であり、レンズ系の焦点距離を可変
させるレンズ位置コントローラ、レンズ系の第2の主平
面及び像検出器面の距離を可変させる像検出器面位置コ
ントローラ及びカメラ開口の直径を可変させるカメラ開
口直径コントローラを図示する。第5図は同じ視点から
シーンの一対の2次元像を同時に形成し、それぞれのカ
メラ装置が少なくとも1個の不同値を有する1組のカメ
ラパラメータを用いる第3図による装置に対する別のカ
メラ装置のブロック図である。第6図は本発明の方法に
より、カメラ装置及びシーンの表面区画間の距離を決定
し、カメラ装置のオートフォーカスを行うステップを示
すフローチャートである。第7a及び7b図は、一体に
なって所与のシーンの深度マツプを再生させ、その一対
の像からフォーカス改善された像を発生させるステップ
を示すフローチャートである。第8図は本発明のカメラ
装置の概略図であり、像形成ミラーを採用した別の像形
成装置の平面図である。 1・・・カメラ装置、  2・・・レンズ系、  3・
・・光軸4・・・像検出器面、 L、・・・第1のレン
ズ、L2・・・第2のレンズ、 P+””第1の主平面
。 P2・・・第2の主平面。

Claims (1)

  1. 【特許請求の範囲】 1)3次元の空間シーンの表面区画及び像形成装置を含
    むカメラ装置間の距離を決定する方法であって、カメラ
    装置が、点拡がり関数と、全てが量的に決定可能で、1
    つ以上が像形成過程中に別の値にセットされ得て、少な
    くとも1つの別のカメラパラメータ値を有する第1及び
    第2組の3個のカメラパラメータとで特徴付けられるよ
    うになった前記距離決定方法において、 (a)第1の組のカメラパラメータを特徴とするカメラ
    装置を用いて3次元空間シーンの第1の2次元像を形成
    し、 (b)第2の組のカメラパラメータを特徴とするカメラ
    装置を用いて前記3次元空間シーンの第2の2次元像を
    形成すると共に、この際前記第1及び第2の組のカメラ
    パラメータは少なくとも1個の別のカメラパラメータ値
    を有するようにし、 (c)前記3次元シーンの表面区画にそれぞれ対応し、
    前記カメラ装置までの距離を決定すべき第1及び第2の
    副像を前記第1及び第2の2次元像から選択し、 (d)前記第1及び第2の副像を基に、これらの副像に
    対応する前記点拡がり関数間の第1の拘束条件を導出し
    、 (e)前記カメラパラメータの値を基に、前記拡がりパ
    ラメータ間の第2の拘束条件を導出し、 (f)前記処理ステップ(d)及び(e)でそれぞれ導
    出された前記第1及び第2の拘束条件を用いて前記拡が
    りパラメータを決定し、 (g)前記処理ステップ(f)で決定された前記拡がり
    パラメータの少なくとも1個及び前記第1及び第2の組
    のカメラパラメータを基に、前記カメラ装置及び前記3
    次元空間シーン間の距離を決定することを特徴とする距
    離決定方法。 2)前記カメラ装置がカメラ開口及び像検出器面を含み
    、前記像形成装置が第1及び第2の主平面並びに焦点距
    離で特徴付けられ、第2の主平面が前記第1の主平面に
    よりも前記像検出器面により近く、さらに前記カメラパ
    ラメータが、 (i)前記第2の主平面及び前記像検出器面間の距離、 (ii)前記カメラ開口の直径、 (iii)前記像形成装置の前記焦点であることを特徴
    とする請求項1に記載の距離決定方法。 3)処理ステップ(a)及び(b)が、3個のカメラパ
    ラメータの少なくとも1個についでは別であるカメラパ
    ラメータ値のカメラ装置を用いて、3次元シーンの第1
    及び第2の2次元像の形成を含むことを特徴とする請求
    項2に記載の距離決定方法。 4)処理ステップ(d)が、 第1及び第2の副像にそれぞれ対応する第1及び第2の
    パワースペクトル密度関数の演算と、前記第1及び第2
    のパワースペクトル密度関数を用いた比の表現での公式
    化及びこの比を基に拡がりパラメータ間の第1の拘束条
    件の公式化と、を含むことを特徴とする請求項1記載の
    距離決定方法。 5)処理ステップ(e)が、3次元シーンの前記表面区
    画に対応するぼやけ円の直径及び前記拡がりパラメータ
    間の関係の公式化と、前記拡がりパラメータ間の前記第
    2の拘束条件を導出すべき前記関係の利用とを含むこと
    を特徴とする請求項1に記載の距離決定方法。 6)像形成装置が、レンズ系を含むことを特徴とする請
    求項2に記載の距離決定方法。 7)像形成装置が、像形成ミラー系を含むことを特徴と
    する請求項2に記載の距離決定方法。 8)点拡がり関数がガウス型であることを特徴とする請
    求項1記載の距離決定方法。 9)カメラ装置及び3次元空間シーンの表面区画間の決
    定された距離が、 下記の処理ステップ、即ち、 (h)前記3次元空間シーンの表面区画及び前記カメラ
    装置間の距離を決定し、 (i)この処理ステップ(h)で決定された前記距離を
    基に、前記カメラ装置の特徴及びカメラ構成から導出さ
    れた像形成装置の公式を使用して、(i)前記像形成装
    置の焦点距離と(ii)前記表面区画をフォーカスさせ
    るレンズ面及び像検出器面間の距離との1つを決定し、 (j)前記像形成装置の公式を使用して決定された値へ
    、前記処理ステップ(i)で決定されたカメラパラメー
    タをセットする処理ステップを含む方法により、カメラ
    装置を自動的にフォーカスするために用いられることを
    特徴とする請求項2に記載の距離決定方法。10)処理
    ステップ(i)が、 変数が像形成装置の焦点距離と、カメラ装置及び3次元
    空間シーンの表面区画間の距離と、像検出器面及びフォ
    ーカスされた2次元副像用第2の主平面間の距離とを含
    む像形成装置の公式を用いて、前記像形成装置の焦点距
    離と、前記第2の主平面及び前記像検出器面間の距離と
    のうちの1つの決定を含むことを特徴とする請求項9に
    記載の距離決定方法。11)像形成装置を含むカメラ装
    置から測定される3次元空間シーンの複数の表面区画の
    距離を決定するための方法であって、カメラ装置が、点
    拡がり関数と、全てが量的に決定可能で、1つ以上が像
    形成過程中に別の値にセットされ得て、少なくとも1つ
    の別のカメラパラメータ値を有する第1及び第2組の3
    個のカメラパラメータとで特徴付け得るようになった距
    離決定方法において、 (k)第1の組のカメラパラメータを特徴とするカメラ
    装置を用いて3次元空間シーンの第1の2次元像を形成
    し、 (l)第2の組のカメラパラメータを特徴とするカメラ
    装置を用いて前記3次元空間シーンの第2の2次元像を
    形成すると共に、この際前記第1及び第2の組のカメラ
    パラメータは少なくとも1個の別のカメラパラメータ値
    を有するようにし、 (m)前記第1及び第2の2次元像を複数の2次元副像
    に分割し、前記第1の2次元像のそれぞれの2次元副像
    が前記第2の2次元像の1つの2次元副像に対応し、前
    記第1及び第2の2次元像のそれぞれの対応する2次元
    副像が前記3次元シーンの前記表面区画の1つに対応す
    るようにし、 (n)それぞれの前記第1及び第2の対応する副像を基
    に、それぞれ前記第1及び第2の対応する副像に対応す
    る前記点拡がり関数の拡がりパラメータ間の第1の拘束
    条件を導出し、 (o)それぞれの前記第1及び第2の対応する副像に対
    して、前記カメラパラメータの値を基にして前記カメラ
    パラメータ間の第2の拘束条件を導出し、 (p)前記処理ステップ(n)及び(o)で導出された
    前記第1及び第2の拘束条件をそれぞれ用いて、それぞ
    れの前記第1及び第2の対応する副像に対して前記拡が
    りパラメータを決定し、 (q)前記処理ステップ(p)で決定された前記拡がり
    パラメータの少なくとも1つを基に、前記カメラ装置及
    び前記3次元空間シーンのそれぞれの前記表面区画間の
    距離を決定し、しかして前記3次元空間シーンの深度マ
    ップを得ることを特徴とする距離決定方法。12)カメ
    ラ装置がカメラ開口及び像検出器面を含み、像形成装置
    が第1及び第2の主平面並びに焦点距離で特徴付けられ
    、前記第2の主平面が前記第1の主平面によりも前記像
    検出器面により近く、さらに3個のカメラパラメータが
    、 (i)前記第2の主平面及び前記像検出器面間の距離、 (ii)前記カメラ口径、 (iii)前記像形成装置の前記焦点であることを特徴
    とする請求項11に記載の距離決定方法。 13)処理ステップ(k)及び(l)が、 3個のカメラパラメータの少なくとも1つを別にするカ
    メラ装置を用いて、3次元シーンの第1及び第2の2次
    元像を形成することを含むことを特徴とする請求項12
    に記載の距離決定方法。 14)処理ステップ(n)が、 それぞれの第1及び第2の対応する副像にそれぞれ対応
    する第1及び第2のパワースペクトル密度関数を演算し
    、 それぞれ前記第1及び第2の対応する副像に対応する前
    記第1及び第2のパワースペクトル密度関数を用いて、
    それぞれ前記第1及び第2の対応する副像に対応する比
    の表現として公式化し、それぞれの前記第1及び第2の
    副像に対する前記比表現を基に、それぞれの前記第1及
    び第2の対応する副像に対する前記拡がりパラメータ間
    の前記第1の拘束条件を公式化することを含むことを特
    徴とする請求項11に記載の距離決定方法。 15)処理ステップ(o)が、 ぼやけ円の直径及びカメラ装置の拡がりパラメータ間の
    関係の公式化し、 それぞれ第1及び第2の対応する副像に対して前記拡が
    りパラメータ間の第2の拘束条件を導出する関係を使用
    することを含むことを特徴とする請求項11記載の距離
    決定方法。16)像形成装置がレンズ系を含むことを特
    徴とする請求項12に記載の距離決定方法。17)像形
    成装置が、像形成ミラー系を含むことを特徴とする請求
    項12に記載の距離決定方法。 18)点拡がり関数がガウス型であることを特徴とする
    請求項11に記載の距離決定方法。 19)それぞれ第1及び第2の対応する副像に対応する
    拡がりパラメータが、下記の処理ステップ、即ち、 第1及び第2の像の少なくとも1つに対してそれぞれの
    第1及び第2の対応する副像に対応する処理ステップ(
    p)で決定される前記拡がりパラメータを基に、それぞ
    れの前記第1及び第2の対応する副像に対応するカメラ
    装置の光学変換関数を決定し、 それぞれの前記第1及び第2の対応する副像の2次元フ
    ーリエ変換を演算し、 それぞれの対応する前記第1及び第2の副像に対する前
    記カメラ装置の変換関数及びそれぞれの前記第1及び第
    2の副像の対応する2次元フーリエ変換を基に、前記カ
    メラ装置の対応する光学変換関数でそれぞれの2次元フ
    ーリエ変換を除算して、それぞれのフォーカス改善され
    た前記第1及び第2の対応する副像に対して前記2次元
    フーリエ変換を演算し、 フォーカス改善された前記2次元副像を与えるために、
    この処理ステップで決定されたそれぞれの前記2次元フ
    ーリエ変換に対する逆フーリエ変換を演算し、 フォーカス改善された前記2次元像を形成するために、
    それぞれのフォーカス改善された前記2次元副像を合成
    する処理ステップを具備する方法により、前記第1及び
    第2の2次元像からフォーカス改善された前記2次元像
    を発生するのに用いられることを特徴とする請求項11
    に記載の距離決定方法。 20)3次元シーンの表面区画及びカメラ装置間の距離
    決定装置において、 (a)像検出器面と、カメラ開口と、第1及び第2の主
    平面並びに焦点距離で特徴付けられる像形成装置とを含
    み、前記第2の主平面は前記第1の主平面よりも前記像
    検出器面により近く、 (i)前記第2の主平面及び像検出器面間の距離、 (ii)前記カメラの口径、 (iii)前記像形成装置の焦点距離の少なくとも3つ
    のカメラパラメータを有するカメラ装置と、 (b)少なくとも1つは別のパラメータ値である一組の
    カメラパラメータ値を用いて、前記像検出器面に表面区
    画の2次元像を形成するために、前記カメラパラメータ
    の少なくとも1つの値を変化させる手段と、 (c)この手段で与えられた前記カメラパラメータ値の
    変化を含むそれぞれの前記カメラパラメータの値を量的
    に測定する手段と、 (d)前記像検出器から2次元像を捕捉し、それぞれの
    捕捉された前記2次元像に対応するディジタル像データ
    を発生させる手段と、 (c)前記ディジタル像データを受信し、このデータを
    前記表面区画及び前記カメラ装置間の距離を決定するた
    めに処理する像処理コンピュータとを具備することを特
    徴とする距離決定装置。 21)カメラパラメータの値及びこのカメラパラメータ
    の変化を表示する表示手段をさらに具備することを特徴
    とする請求項20に記載の距離決定方法。 22)像形成装置が、レンズ系を具備することを特徴と
    する請求項20に記載の距離決定装置。 23)像形成装置が、像形成ミラー系を具備することを
    特徴とする請求項20に記載の距離決定装置。 24)像検出器面が、CCDを具備することを特徴とす
    る請求項20に記載の距離決定装置。 25)像検出器面が、写真フィルムを具備することを特
    徴とする請求項20に記載の距離決定装置。 26)表示手段が、ブラウン管を具備することを特徴と
    する請求項21に記載の距離決定装置。
JP63296436A 1987-11-27 1988-11-25 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 Expired - Lifetime JP2756803B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/126,407 US4965840A (en) 1987-11-27 1987-11-27 Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
US126,407 1987-11-27

Publications (2)

Publication Number Publication Date
JPH01167610A true JPH01167610A (ja) 1989-07-03
JP2756803B2 JP2756803B2 (ja) 1998-05-25

Family

ID=22424652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63296436A Expired - Lifetime JP2756803B2 (ja) 1987-11-27 1988-11-25 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置

Country Status (6)

Country Link
US (1) US4965840A (ja)
EP (1) EP0318188B1 (ja)
JP (1) JP2756803B2 (ja)
AT (1) ATE89407T1 (ja)
DE (1) DE3880975T2 (ja)
ES (1) ES2043846T3 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006123755A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 合焦情報取得装置
WO2007058100A1 (ja) * 2005-11-15 2007-05-24 Olympus Corporation 合焦検出装置
JP2011128623A (ja) * 2009-12-21 2011-06-30 Sony Corp 信頼基準を有するオートフォーカス
WO2014021238A1 (en) 2012-07-31 2014-02-06 Canon Kabushiki Kaisha Image pickup apparatus, depth information acquisition method and program
US8723926B2 (en) 2009-07-22 2014-05-13 Panasonic Corporation Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method
JP2015032144A (ja) * 2013-08-02 2015-02-16 キヤノン株式会社 撮像装置およびその制御方法
EP2858036A1 (en) 2013-10-02 2015-04-08 Canon Kabushiki Kaisha Image processing device, image capturing apparatus, and image processing method for obtaining depth information
JP2015121774A (ja) * 2013-11-19 2015-07-02 パナソニックIpマネジメント株式会社 撮像装置
JP2015200907A (ja) * 2013-11-19 2015-11-12 パナソニックIpマネジメント株式会社 撮像装置
US9264606B2 (en) 2013-10-02 2016-02-16 Canon Kabushiki Kaisha Processing device, image pickup device and processing method
US9299151B2 (en) 2013-08-08 2016-03-29 Canon Kabushiki Kaisha Depth calculation device, imaging apparatus, and depth calculation method
US9324153B2 (en) 2012-05-11 2016-04-26 Canon Kabushiki Kaisha Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
US9661302B2 (en) 2012-08-27 2017-05-23 Canon Kabushiki Kaisha Depth information acquisition apparatus, imaging apparatus, depth information acquisition method and program
US10070038B2 (en) 2013-01-30 2018-09-04 Canon Kabushiki Kaisha Image processing apparatus and method calculates distance information in a depth direction of an object in an image using two images whose blur is different
US10410329B2 (en) 2016-07-29 2019-09-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer readable storage medium

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3305314B2 (ja) * 1989-06-29 2002-07-22 ザ・リサーチ・ファンデーション・オブ・ステート・ユニバーシティ・オブ・ニューヨーク 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置
US5148209A (en) * 1990-07-12 1992-09-15 The Research Foundation Of State University Of New York Passive ranging and rapid autofocusing
JP3047252B2 (ja) * 1990-11-05 2000-05-29 コニカ株式会社 合焦制御装置
MX9702434A (es) 1991-03-07 1998-05-31 Masimo Corp Aparato de procesamiento de señales.
US5208870A (en) * 1991-06-21 1993-05-04 Philip Morris Incorporated Image inspection methods and apparatus
US5231443A (en) * 1991-12-16 1993-07-27 The Research Foundation Of State University Of New York Automatic ranging and automatic focusing
US5305012A (en) * 1992-04-15 1994-04-19 Reveo, Inc. Intelligent electro-optical system and method for automatic glare reduction
JP3225635B2 (ja) * 1992-10-20 2001-11-05 株式会社日立製作所 建設支援装置及び方法
US5453784A (en) * 1993-02-10 1995-09-26 Krishnan; Arun Imaging apparatus and method for determining range and determining focus information
FR2702056A1 (fr) * 1993-02-23 1994-09-02 Centre Nat Rech Scient Appareil et objectif de prise de vues en stéréovision axiale.
US5588428A (en) * 1993-04-28 1996-12-31 The University Of Akron Method and apparatus for non-invasive volume and texture analysis
US5365597A (en) * 1993-06-11 1994-11-15 United Parcel Service Of America, Inc. Method and apparatus for passive autoranging using relaxation
US5764871A (en) * 1993-10-21 1998-06-09 Eastman Kodak Company Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields
JP3486461B2 (ja) * 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
US5579241A (en) * 1994-06-29 1996-11-26 General Electric Company Real-time acquisition and archiving system for multiple time-sampled signals
US5515301A (en) * 1994-06-29 1996-05-07 General Electric Company Real-time visualization system for multiple time-sampled signals
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US5911035A (en) * 1995-04-12 1999-06-08 Tsao; Thomas Method and apparatus for determining binocular affine disparity and affine invariant distance between two image patterns
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5703677A (en) * 1995-11-14 1997-12-30 The Trustees Of The University Of Pennsylvania Single lens range imaging method and apparatus
AU5406796A (en) * 1996-03-28 1997-10-17 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US6028606A (en) * 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
JP2998791B2 (ja) * 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
US6191812B1 (en) * 1997-04-01 2001-02-20 Rt-Set Ltd. Method of providing background patterns for camera tracking
US6002952A (en) 1997-04-14 1999-12-14 Masimo Corporation Signal processing apparatus and method
US6148120A (en) * 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6463311B1 (en) 1998-12-30 2002-10-08 Masimo Corporation Plethysmograph pulse recognition processor
US7278115B1 (en) * 1999-06-18 2007-10-02 Microsoft Corporation Methods, apparatus and data structures for providing a user interface to objects, the user interface exploiting spatial memory and visually indicating at least one object parameter
US6430525B1 (en) 2000-06-05 2002-08-06 Masimo Corporation Variable mode averager
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
US8958654B1 (en) * 2001-04-25 2015-02-17 Lockheed Martin Corporation Method and apparatus for enhancing three-dimensional imagery data
DE10138960A1 (de) * 2001-08-03 2003-02-27 Pilz Gmbh & Co Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs
US7355512B1 (en) 2002-01-24 2008-04-08 Masimo Corporation Parallel alarm processor
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
DE10224031B3 (de) * 2002-05-31 2004-01-29 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung zur Überwachung eines Erfassungsbereiches an einem Arbeitsmittel
JP2004170355A (ja) * 2002-11-22 2004-06-17 Topcon Corp 反射体自動追尾装置
US6970792B1 (en) 2002-12-04 2005-11-29 Masimo Laboratories, Inc. Systems and methods for determining blood oxygen saturation values using complex number encoding
US7139067B2 (en) * 2003-09-12 2006-11-21 Textron Systems Corporation Three-dimensional imaging with multiframe blind deconvolution
US7438683B2 (en) 2004-03-04 2008-10-21 Masimo Corporation Application identification sensor
JP2006003803A (ja) * 2004-06-21 2006-01-05 Olympus Corp 合焦情報取得装置及び合焦情報取得方法
US7333652B2 (en) * 2004-08-03 2008-02-19 Sony Corporation System and method for efficiently performing a depth map recovery procedure
US7620209B2 (en) * 2004-10-14 2009-11-17 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7558709B2 (en) * 2004-11-08 2009-07-07 Muralidhara Subbarao Methods and apparatus for computing the input and output signals of a linear shift-variant system
US20060149425A1 (en) * 2004-12-22 2006-07-06 Davis Raymond A Motion sensor system
WO2006094168A1 (en) 2005-03-01 2006-09-08 Masimo Laboratories, Inc. Noninvasive multi-parameter patient monitor
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
JP2007060520A (ja) * 2005-08-26 2007-03-08 Olympus Corp 撮像装置
US20070164202A1 (en) * 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
WO2009041918A1 (en) * 2007-09-26 2009-04-02 Agency For Science, Technology And Research A method and system for generating an entirely well-focused image of a large three-dimensional scene
WO2009073950A1 (en) * 2007-12-13 2009-06-18 Keigo Izuka Camera system and method for amalgamating images to create an omni-focused image
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
EP2537332A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
EP2537345A1 (en) 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US20120113229A1 (en) * 2010-06-24 2012-05-10 University Of Kentucky Research Foundation (Ukrf) Rotate and Hold and Scan (RAHAS) Structured Light Illumination Pattern Encoding and Decoding
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
TWI542857B (zh) * 2012-05-30 2016-07-21 鴻海精密工業股份有限公司 具有測距功能的電子裝置及測距方法
CN103458159A (zh) * 2012-05-31 2013-12-18 鸿富锦精密工业(深圳)有限公司 具有测距功能的电子装置及测距方法
JP6202927B2 (ja) 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP6405531B2 (ja) * 2013-11-19 2018-10-17 パナソニックIpマネジメント株式会社 撮像装置
CN103745458B (zh) * 2013-12-26 2015-07-29 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
JP5895270B2 (ja) * 2014-03-28 2016-03-30 パナソニックIpマネジメント株式会社 撮像装置
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
JP6463177B2 (ja) 2015-03-11 2019-01-30 キヤノン株式会社 画像処理装置およびその制御方法
JP6645682B2 (ja) * 2015-03-17 2020-02-14 キヤノン株式会社 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法
US10659766B2 (en) 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
JP6616668B2 (ja) 2015-11-17 2019-12-04 キヤノン株式会社 画像処理装置および画像処理方法
US10037612B2 (en) * 2015-12-28 2018-07-31 Empire Technology Development Llc Three dimensional data acquisition with orthogonal composite pattern for structured light illuminated vision
KR102382871B1 (ko) * 2017-07-18 2022-04-05 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
US11451719B2 (en) 2020-02-28 2022-09-20 Canon Kabushiki Kaisha Image processing apparatus, image capture apparatus, and image processing method
CN111457859B (zh) * 2020-03-06 2022-12-09 奥比中光科技集团股份有限公司 3d测量装置对齐标定方法、系统及计算机可读存储介质
DE102020118801A1 (de) 2020-07-16 2022-01-20 Carl Zeiss Microscopy Gmbh Mikroskop und verfahren zur abstandsbestimmung einer probenreferenzebene
DE102021200965A1 (de) * 2021-02-03 2022-08-04 Carl Zeiss Ag Verfahren zur Simulation einer optischen Abbildung

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2655525C3 (de) * 1976-12-08 1979-05-03 Ernst Leitz Wetzlar Gmbh, 6300 Lahn- Wetzlar Verfahren zur Erweiterung des Schärfentiefebereiches fiber die durch die konventionelle Abbildung gegebene Grenze hinaus sowie Einrichtung zur Durchführung dieses Verfahrens
US4410804A (en) * 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
US4404594A (en) * 1981-11-02 1983-09-13 Itek Corporation Imaging system with enlarged depth of field
US4636624A (en) * 1983-01-10 1987-01-13 Minolta Camera Kabushiki Kaisha Focus detecting device for use with cameras
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
US4640620A (en) * 1983-12-29 1987-02-03 Robotic Vision Systems, Inc. Arrangement for rapid depth measurement using lens focusing
US4634278A (en) * 1984-02-06 1987-01-06 Robotic Vision Systems, Inc. Method of three-dimensional measurement with few projected patterns
US4584704A (en) * 1984-03-01 1986-04-22 Bran Ferren Spatial imaging system
JPH07109625B2 (ja) * 1985-04-17 1995-11-22 株式会社日立製作所 三次元立体視方法
US4723139A (en) * 1985-06-26 1988-02-02 Nippon Kogaku K.K. Camera having an auto-focusing device
US4728980A (en) * 1985-08-05 1988-03-01 Minolta Camera Kabushiki Kaisha Automatic focusing device and automatic exposure control device

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006123755A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 合焦情報取得装置
WO2007058100A1 (ja) * 2005-11-15 2007-05-24 Olympus Corporation 合焦検出装置
JP2007139893A (ja) * 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
US8723926B2 (en) 2009-07-22 2014-05-13 Panasonic Corporation Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method
JP2011128623A (ja) * 2009-12-21 2011-06-30 Sony Corp 信頼基準を有するオートフォーカス
US9324153B2 (en) 2012-05-11 2016-04-26 Canon Kabushiki Kaisha Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
US9762788B2 (en) 2012-07-31 2017-09-12 Canon Kabushiki Kaisha Image pickup apparatus, depth information acquisition method and program
WO2014021238A1 (en) 2012-07-31 2014-02-06 Canon Kabushiki Kaisha Image pickup apparatus, depth information acquisition method and program
US9661302B2 (en) 2012-08-27 2017-05-23 Canon Kabushiki Kaisha Depth information acquisition apparatus, imaging apparatus, depth information acquisition method and program
US10070038B2 (en) 2013-01-30 2018-09-04 Canon Kabushiki Kaisha Image processing apparatus and method calculates distance information in a depth direction of an object in an image using two images whose blur is different
JP2015032144A (ja) * 2013-08-02 2015-02-16 キヤノン株式会社 撮像装置およびその制御方法
US9961329B2 (en) 2013-08-02 2018-05-01 Canon Kabushiki Kaisha Imaging apparatus and method of controlling same
US9846944B2 (en) 2013-08-08 2017-12-19 Canon Kabushiki Kaisha Depth calculation device, imaging apparatus, and depth calculation method
US9299151B2 (en) 2013-08-08 2016-03-29 Canon Kabushiki Kaisha Depth calculation device, imaging apparatus, and depth calculation method
US9264606B2 (en) 2013-10-02 2016-02-16 Canon Kabushiki Kaisha Processing device, image pickup device and processing method
EP3327667A1 (en) 2013-10-02 2018-05-30 Canon Kabushiki Kaisha Image processing device, image capturing apparatus, and image processing method for obatining depth information
EP2858036A1 (en) 2013-10-02 2015-04-08 Canon Kabushiki Kaisha Image processing device, image capturing apparatus, and image processing method for obtaining depth information
US9571719B2 (en) 2013-11-19 2017-02-14 Panasonic Intellectual Property Management Co., Ltd. Image-capturing apparatus
JP2015207019A (ja) * 2013-11-19 2015-11-19 パナソニックIpマネジメント株式会社 撮像装置
JP2015200908A (ja) * 2013-11-19 2015-11-12 パナソニックIpマネジメント株式会社 撮像装置
US9832362B2 (en) 2013-11-19 2017-11-28 Panasonic Intellectual Property Management Co., Ltd. Image-capturing apparatus
JP2015200907A (ja) * 2013-11-19 2015-11-12 パナソニックIpマネジメント株式会社 撮像装置
JP2015121774A (ja) * 2013-11-19 2015-07-02 パナソニックIpマネジメント株式会社 撮像装置
US10410329B2 (en) 2016-07-29 2019-09-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer readable storage medium

Also Published As

Publication number Publication date
JP2756803B2 (ja) 1998-05-25
DE3880975T2 (de) 1993-12-23
ATE89407T1 (de) 1993-05-15
EP0318188A3 (en) 1991-03-27
EP0318188B1 (en) 1993-05-12
ES2043846T3 (es) 1994-01-01
US4965840A (en) 1990-10-23
EP0318188A2 (en) 1989-05-31
DE3880975D1 (de) 1993-06-17

Similar Documents

Publication Publication Date Title
JPH01167610A (ja) 3次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置
JP3539788B2 (ja) 画像間対応付け方法
US8305485B2 (en) Digital camera with coded aperture rangefinder
CN106454090B (zh) 基于深度相机的自动对焦方法及系统
US8773550B2 (en) Range measurement using multiple coded apertures
CN105391932B (zh) 图像处理装置及其控制方法、以及摄像装置及其控制方法
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
JP2020501262A (ja) 光学系収差のデジタル補正
CN108020200A (zh) 一种深度测量方法及系统
CN105258673B (zh) 一种基于双目合成孔径聚焦图像的目标测距方法、装置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN113572958B (zh) 一种自动触发摄像机聚焦的方法及设备
JP2953154B2 (ja) 形状合成方法
CN108881717A (zh) 一种深度成像方法及系统
KR20190033037A (ko) 이미징 시스템의 점 확산 함수를 결정하는 방법
JP4403477B2 (ja) 画像処理装置及び画像処理方法
CN107209061B (zh) 用于确定场景相关电磁场的复振幅的方法
KR20220137558A (ko) 프레임 카메라에 대한 이벤트 카메라의 픽셀 단위로의 등록 방법
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
JPH08242469A (ja) 撮像カメラ装置
JPH0721365A (ja) 画像処理方法および装置
JPH10512953A (ja) 光学的なレンジ及び速度検出システム
JP2023070142A (ja) 撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品
US11578968B1 (en) Compact metalens depth sensors
CN108924407A (zh) 一种深度成像方法及系统

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090313

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090313

Year of fee payment: 11