JPH05119252A - カメラの距離測定および迅速自動焦点合せ方法および装置 - Google Patents

Abstract

(57)【要約】 ［目的］ カメラからの被写体の距離を決定し、カメラ
の迅速な自動焦点合せを行い、カメラにより生じたぶれ
を生じた画像から合焦画像を得るための、信号処理技術
に基く装置および方法の提供。 ［構成］ 被写体の少なくとも２つのイメージが１組の
カメラ・パラメータに対する異なる値で記録され、２つ
の正規化イメージを得る。カメラ・パラメータおよび正
規化イメージの値は、被写体の合焦イメージに対する２
つの式を等しくすることにより得られる式に代入され
る。この結果として得る式を解いて被写体の距離に対す
る１組の解を得る。被写体の第３のイメージが１組のカ
メラ・パラメータに対する新しい値で記録される。第３
のイメージおよびカメラ・パラメータに対する新しい値
と一致する距離の解を決定して被写体を得る。

Description

【発明の詳細な説明】

【産業上の利用分野】本発明は、カメラによる被写体の
受動的測距、即ち赤外線、音波、レーザあるいは他の種
類のビームを被写体に向けて送出する如き能動的方法を
使用せず、周囲の光のみを使用するカメラからの被写体
の距離を決定するための信号処理手法に基く装置および
方法に関する。本発明はまた、カメラの迅速な自動焦点
合せ、イメージを得る受動的方法に関する。本発明は、
一般に、線形変位不変系（ｌｉｎｅａｒ ｓｈｉｆｔ−
ｉｎｖａｒｉａｎｔ ｓｙｓｔｅｍ）、即ち入力信号に
ついて畳み込み演算を行う系における系パラメータの推
定および信号の復元に関する。

【従来の技術】カメラ・システムからの被写体の距離の
測定は、ロボット視認、機械視認、自動的な車両運行、
および迅速なカメラ・システムの自動焦点の分野におけ
る用例がある。カメラ・システムからの被写体の距離を
決定するための多くの方法および装置が公知である。本
発明と関連する諸方法の検討は、同じ発明者による下記
の２つの特許出願において見出すことができる。即ち、
（ｉ）１９８７年１１月２７日出願の係属中の米国特許
出願第１２６，４０７号、および（ｉｉ）１９８９年６
月２９日出願の係属中の米国特許出願第０７／３７３９
９６号である。全ての公知の従来技術（例えば、本発明
者出願の米国特許出願第１２６４０７号（１９８７年１
１月２７日出願）および同第０７／３７３９９６号（１
９８９年６月２４日出願）、およびＦＵＪＩに譲渡され
た日本国特公昭和第６２／２８４３１４号（１９８７
年）、およびＣＡＮＮＯＮに譲渡された日本国特開昭第
６３／１２７２１７号（１９８８年５月３１日公開））
においては、多くの共通した重要な欠点がある。関連す
る従来技術においては、距離を決定する方法は全て、２
つ以上の記録されたイメージのフーリェ変換を計算し
て、これら２つのフーリェ変換の比を計算することに基
くものである。記録されたイメージの２次元フーリェ変
換を計算することは計算的に非常に広範囲にわたるもの
である。この計算は、複雑でありかつ高価なハードウエ
アを要する。従来技術の方法の別の欠点は、これらの方
法が小さな被写体の距離の決定には使用できないことで
ある。これらの方法は、大きな被写体の距離の決定には
使用することができる。これは、被写体のイメージのフ
ーリェ係数の信頼のおける計算は被写体のイメージが大
きいことを要求する故である。ある被写体の距離の決定
は、自動焦点合せの方法における、また被写体のぶれを
生じたイメージから合焦したイメージを得る方法におけ
る不可欠なステップである。従って、上記の諸欠点はま
た、自動焦点合せの従来技術およびぶれを生じたイメー
ジから改善された焦点イメージを得るための方法に対し
ても妥当する。

【発明が解決しようとする課題】本発明の目的は、被写
体の少なくとも２つの画像を記録して処理することによ
りカメラ・システムからの被写体の距離を測定する方法
にある。ぼけを避け鮮明さを増すため２つ以上の画像を
用いることもできる。本発明の別の目的は、３つ以上の
イメージを取って処理することにより、カメラの迅速な
自動焦点合せを行う方法にある。本発明の他の目的は、
ぶれのあるイメージから改善された合焦イメージを得る
方法にある。本発明の更に他の目的は、系のパラメータ
を推定して線形変位不変系即ち畳み込み演算を行う系と
してモデル化することができる計器における入力信号を
復元する方法にある。

【課題を解決するための手段】本発明の装置は、（ｉ）
イメージを形成する光学系と、（ｉｉ）イメージを記録
するイメージ検出器と、（ｉｉｉ）光がカメラに進入す
るカメラの開口と、（ｉｖ）カメラ・システムに進入す
る光のスペクトル成分を制御する光フィルタとを含むカ
メラ・システムからなる。光学系は、第１の主要面と第
２の主要面とを特徴とする。この第２の主要面は、第１
の主要面よりもイメージ検出器に近い。このカメラ・シ
ステムは、１組のカメラ・パラメータを特徴としてお
り、これらパラメータは下記を含む。即ち、 （ｉ）第２の主要面とイメージ検出器との間の距離 （ｉｉ）カメラの口径 （ｉｉｉ）光学系の焦点長さ、および （ｉｖ）光フィルタの分光透過率特性。 本発明はまた、カメラのパラメータ値を所要の値に設定
するカメラ・コントローラと、イメージ正規化装置とを
含む。イメージ正規化装置は、各々がカメラのパラメー
タ値の異なる設定で記録された被写体の異なるイメージ
を標準的なフォーマットに変換するため使用される。こ
の標準的フォーマットは、このフォーマットにおいて表
わされる被写体のイメージがカメラの点拡がり関数によ
る被写体の標準的な合焦イメージを畳み込み演算結果と
して表現することができる如きものである。この標準的
フォーマットで表わされるイメージは、正規化イメージ
とも呼ばれる。本装置は更に、正規化されたイメージの
導関数を計算する計算装置と、数式を解く装置と、設定
交差装置とを含む。この数式解装置は、正規化イメージ
の異なる導関数値およびカメラ・パラメータ値を式に代
入し、カメラからの被写体の距離に対する１組の解を得
るため結果として得る式を解くことができる。前記の設
定交差装置は、カメラからの被写体の距離に対する２組
の解を得て、この２組の解を交差して被写体の距離に対
する一般解を見出すため使用される。迅速な自動焦点合
せ装置においては、焦点パラメータ決定装置が、被写体
の距離を決定する装置に付加的に含まれる。この焦点パ
ラメータ決定装置は、カメラ・パラメータがこのように
決定される値に設定される時、被写体が合焦されるよう
に合焦される被写体の距離に基いてカメラ・パラメータ
に対する値を決定するため使用される。カメラからの被
写体の距離を決定する方法は、下記のステップを含んで
いる。即ち、カメラのパラメータは、カメラ・コントロ
ーラにより５組のカメラ・パラメータに設定される。次
いで、被写体の第１のイメージが記録される。次に、カ
メラ・パラメータが、カメラ・コントローラにより第２
の組のカメラ・パラメータ値に設定され、被写体の第２
のイメージが記録される。第１のイメージは、第１の正
規化イメージを得るため予め処理される。この第１の正
規化イメージは、第１の組のカメラ・パラメータ値を特
徴とするカメラの第１の点拡がり関数による被写体の合
焦イメージの畳み込みと等しい如きものである。第２の
イメージは、第１のイメージに似た方法で予め処理され
て第２の正規化イメージを得る。第１の正規化イメージ
の１組の導関数を計算して、第１の組のイメージ導関数
を得る。同様に、第２の正規化イメージの１組の導関数
が計算されて、第２の組のイメージ導関数を得る。前記
第１の組のカメラ・パラメータ値、第２の組のカメラ・
パラメータ値、第１の組のイメージ導関数および第２の
組のイメージ導関数の諸値は、全て予め定めた数式に代
入される。この式は、第１の式を第２の式と等しくさせ
ることにより予め定められ、この第１の式は第１の組の
カメラ・パラメータおよび第１の組のイメージ導関数に
照らして被写体の合焦イメージを与え、第２の式も、被
写体の合焦イメージを与えるが、第２の組のカメラ・パ
ラメータおよび第２の組のイメージ導関数に照らして与
える。予め定めた式への代入後、結果として得る式は、
カメラからの被写体の距離である唯１つの未知の値を含
む。次に、この式を解いて前記距離に対する第１の組の
解を得る。この組は、典型的に２つの項を含む。距離に
対する第１の組の解を得る際に、フーリェ変換が計算さ
れない。比較すれば、従来技術は、複雑で広範囲な演算
であるフーリェ変換の計算を含む。このため、本発明の
方法は、従来技術に勝る大きな利点を有する。次に、カ
メラ・パラメータは、カメラ・コントローラにより第３
の組のカメラ・パラメータに設定され、第３のイメージ
がカメラ内部で形成される。この第３のイメージが記録
される。次いで、第３のイメージおよび第３の組のカメ
ラ・パラメータ値と一致する第１の組の解の項が決定さ
れて、カメラからの被写体の距離を得る。この一致の検
査は、多くの方法で行うことができる。例えば、距離に
対する第２の組の解を得るため第２および第３のイメー
ジを使用することができ、次いで第１の組の解および第
２の組の解を交差させることができ，被写体の距離を与
える共通解を得る。迅速な自動焦点合せの方法において
は、第１に、合焦される被写体の距離が上記方法により
決定される。次に、被写体の距離およびイメージ合焦式
に基いて、新しい組のカメラ・パラメータ値が決定され
る。このカメラ・パラメータは、カメラ・コントローラ
により新しい組のカメラ・パラメータ値に設定され、こ
れにより被写体の自動焦点合せを行う。異なるカメラ設
定により記録されたぶれを有するイメージから被写体の
改善された合焦イメージを決定する方法は、下記の如く
要約することができる。第１に、被写体の距離は、先に
述べた方法を用いて決定される。この距離に基いて、被
写体の記録されたイメージの１つと対応する点拡がり関
数のモーメントのパラメータが決定される。次いで、こ
のイメージおよびその導関数が逆畳み込み式に代入され
て被写体の改善された合焦イメージを得る。 （利点）本発明の重要な利点は、従来技術がフーリェ変
換の計算を伴うが、本発明はフーリェ変換の計算を伴わ
ないことである。フーリェ変換の計算は、計算に非常に
経費がかかる。この演算は遅く、高価なハードウエアを
必要とする。従って、本発明の装置は、従来技術の装置
よりも安価、簡単かつ高速である。本発明の別の重要な
利点は、非常に小さな被写体の距離の決定に使用できる
ことである。この能力は、従来技術には欠けている。本
発明においては、計算がイメージの導関数に基く故に、
小さな被写体の距離の決定が可能である。被写体のイメ
ージの導関数は、被写体のイメージが比較的小さい時で
も計算可能である。このような能力の従来技術における
欠如は、従来技術の方法がフーリェ変換の計算に基くと
いう事実の故である。被写体のイメージのフーリェ変換
の信頼し得る計算は、被写体が比較的大きいことを必要
とする。本発明は、同じ発明者による先発明（１９８９
年６月２９日出願の係属中の米国特許出願第０７／３７
３９９６号）の多くの重要な特徴を共有している。例え
ば、本発明は、カメラの点拡がり関数の形態により制限
を受けない。本発明は、線形変位不変系（即ち、畳み込
み演算を行う系）としてモデル化可能などんなカメラ・
システムにも適用し得る。従って、本発明は、著しい光
収差および回折によるイメージの歪みの存在する場合で
さえ適用し得る。特に、本発明は、ガウス型および円筒
型点拡がり関数に限定されることなく適用し得る。本発
明においては、前記点拡がり関数は、完全に関連するカ
メラのパラメータに関して特徴付けられ、これにより回
折効果およびレンズの収差を説明する。本発明はまた汎
用性を持ち、従って一時に唯１つのカメラ・パラメータ
を変化させるのではなく多くのカメラ・パラメータが同
時に変化し得る。更に、本発明は、どんな数のシステム
・パラメータでも評価しかつ入力信号を評価するための
どんな線形変位不変系にも距離の決定方法を般化する。
本発明の更に他の利点は、以下において本発明が関連す
る当業者には明らかになるであろう。本発明の目的を更
に理解するために、添付図面に関して以降の望ましい実
施態様の記述を参照されたい。

【実施例】図１は、望ましい実施態様のカメラ・システ
ムを示している。これは、光フィルタＬＦと、鏡口絞り
ＡＳと、光学系ＯＳと、イメージ検出器ＩＤとを含む。
光フィルタＬＦは、カメラに進入する光のスペクトル成
分を制御する。例えば、赤のフィルタは、赤の光のみを
通し、他の全ての波長を阻止する。カメラに入る光の量
は、鏡口絞りＡＳにより制御される。望ましい実施態様
においては、この鏡口絞りの鏡口は円形である。従っ
て、光の量は、鏡口絞りの鏡口の直径を変化させること
により制御される。鏡口絞りの鏡口はまた、カメラの絞
りとも呼ばれる。望ましい実施態様においては、光学系
ＯＳはレンズからなっている。この光学系ＯＳは、イメ
ージ検出器ＩＤにおける情景のイメージを形成する。イ
メージ検出器ＩＤに形成されたイメージは、カメラ・シ
ステムの出力を形成する電子的なヒデオ信号へ変換され
る。このカメラは、１組のカメラ・パラメータにより特
徴付けられる。カメラ・パラメータ（図２参照）は、
（ｉ）光学系の第２の主平面Ｐ２とイメージ検出器ＩＤ
との間の距離ｓ、（ｉｉ）カメラの鏡口の直径Ｄと、
（ｉｉｉ） 光学系の焦点距離ｆと、（ｉｖ）光フィル
タＬＦの分光透過率λである。カメラ・パラメータの値
ｓ、ｆおよびＤは、それぞれ３つのコントローラ、即
ち、イメージ検出器位置コントローラ、焦点距離コント
ローラおよび鏡口コントローラによって制御される。こ
れらコントローラは、カメラ・パラメータ値ｓ．ｆ、Ｄ
を所要の値に設定するため使用することができる。この
３つのコントローラが一緒になってカメラのコントロー
ラを構成する。カメラ・システムの別の実施態様は、先
に述べた望ましい実施態様の小さな修正によって得られ
る。この修正された実施態様においては、カメラ・パラ
メータを変化させる手段を提供する１つのカメラ・シス
テムを使用する代わりに、多数のカメラが使用される。
これら多数のカメラは、各個のカメラのカメラ・パラメ
ータ値が、他の全てのカメラと比較して、少なくとも１
つのカメラ・パラメータにおいて異なるようになってい
る。即ち、多数のカメラの内２つのカメラは、全てのカ
メラ・パラメータに対して同じカメラ・パラメータ値を
持たない。この装置においては、個々のカメラのどのカ
メラ・パラメータを変化させる必要がない。各カメラの
全てのカメラ・パラメータを固定することができ、これ
によりカメラ・システムにおいて可動部分の必要を回避
する。従って、本装置は堅牢にすることができる。各カ
メラは、カメラ・パラメータの１組の値と対応する１つ
のイメージを取得する際に使用される。個々のカメラ
は、ビーム・スプリット装置の助けにより共通の鏡口を
介して情景を視認する。上記の相違を除いて、この別の
実施態様は、前記の望ましい実施態様と類似している。
図３は、異なるカメラ・パラメータ値を持つ２つのカメ
ラが銀面のハーフミラーと完全ミラーからなるビーム・
スプリッタを介して情景を視認する。図４のａおよびｂ
は、本発明の望ましい実施態様の装置を示している。こ
れらの図においては、情景からカメラに対する入力は、
情景の合焦イメージｆ（ｘ，ｙ）および情景の幾何学的
形状ｒ（ｘ，ｙ）である。合焦イメージｆ（ｘ，ｙ）
は、（ｘ，ｙ）により指定された情景の特定の方向から
受取る光の量を示す。幾何学的形状ｒ（ｘ，ｙ）は、
（ｘ，ｙ）により指定された方向に沿ってカメラからの
被写体の距離を示す。１組のカメラ・パラメータ｛λ、
ｓ、ｆ、Ｄ｝の値は、カメラ・コントローラによって設
定される。カメラの出力は、記録されたイメージｇ
（ｘ，ｙ）である。図４ａにおいて、１組のカメラ・パ
ラメータ｛λ、ｓ、ｆ、Ｄ｝の３つの異なる値ｅ_ａ１＝
｛λ_１、ｓ_１、ｆ_１、Ｄ_１｝、ｅ_ａ２＝｛λ_２、ｓ_２、
ｆ_２、Ｄ_２｝、ｅ_ａ３＝｛λ_３、ｓ_３、ｆ_３、Ｄ_３｝と
対応するカメラの出力は、それぞれｇ_１（ｘ，ｙ）、ｇ
_２（ｘ，ｙ）、ｇ_３（ｘ，ｙ）により示される。本装置
はまた、イメージ正規化装置を含んでいる。このイメー
ジ正規化装置は、１組のカメラ・パラメータ｛λ、ｓ、
ｆ、Ｄ｝に対する異なる値で記録された異なるイメージ
を標準的なフォーマットへ変換するため使用される。こ
の変換プロセスは、イメージの正規化と呼ばれる。この
イメージ正規化は、正規化後の被写体のイメージが、対
応するカメラ・パラメータ値により特徴付けられるカメ
ラの点拡がり関数で被写体の標準的な合焦イメージの畳
み込み演算を行った結果として表現することができる。
例えば、図４ａにおいて、イメージｇ_１（ｘ，ｙ）、ｇ
_２（ｘ，ｙ）およびｇ_３（ｘ，ｙ）が１組のカメラ・パ
ラメータ｛λ、ｓ、ｆ、Ｄ｝に対する異なる値ｅ_ａ１、
ｅ_ａ２、ｅ_ａ３で記録される。カメラの点拡がり関数
は、ｈ（ｘ，ｙ；ｅ_ａ，ｒ_０）により表わされ、ここで
（ｘ，ｙ）は被写体のイメージにおける１つの位置を表
わし、ｅ_ａ＝｛λ、ｓ、ｆ、Ｄ｝は１組のカメラ・パラ
メータ値を表わし、ｒ_０は（ｘ，ｙ）により指定された
方向に沿った被写体の距離を表わす。合焦イメージｆ
（ｘ，ｙ）と対応する標準的即ち正規化合焦イメージｆ
_ｎ（ｘ，ｙ）は、下式として定義することができる。即
ち、

【数１】

【数２】 直観的に、ｆ_ｎ（ｘ，ｙ）は、（ｘ，ｙ）で示される方
向からカメラの鏡口に入射する全光の一部を示す。正規
化後の３つのイメージｇ_１（ｘ，ｙ）、ｇ_２（ｘ，ｙ）
およびｇ_３（ｘ，ｙ）は、それぞれｇ_ｎ１（ｘ，ｙ）、
ｇ_ｎ２（ｘ，ｙ）およびｇ_ｎ３（ｘ，ｙ）により示され
る。従って、イメージ正規化演算の定義に従って、

【数３】

【数４】

【数５】 但し、＊は畳み込み演算を示す。この畳み込み演算は、
式（３）を用いて下記の事例の如く展開形態で定義する
ことができる。即ち、

【数６】 本装置はまた、正規化イメージの種々の導関数を計算す
るための導関数計算装置を含む。例えば、ｇ_ｎ１（ｘ，
ｙ）の導関数のあるものは、

【数７】 本装置は更に、下記の形態の式を解くことができる式解
明装置を含む。即ち、

【数８】 但し、ω_１，ｉ，ｋ−ｉ（ｈ，ｅ_ａ１，ｒ_０）およびω
_２，ｉ，ｋ−ｉ（ｈ，ｅ_ａ２，ｒ_０）は、重みパラメー
タの表現を表わし、

【数９】

【数１０】 式（８）において、イメージ点（ｘ，ｙ）と対応する被
写体の距離ｒ_０を除く全ての量は既知である。従って、
この式を解いて、ｒ_０に対する１組の解を得る。典型的
には、ｒ_０に対する１組の解は２つの要素を含む。本装
置は、２組と交差してこの両方の組に共通な要素を見出
す組交差装置（図４ｂ参照）を含む。例えば、もしｒ
_ｇ１＝｛ｒ_１１，ｒ_１２｝およびｒ_ｇ２＝｛ｒ_２１，ｒ
_２２｝が２つの組であり、ｒ_１２＝ｒ_２２であるなら
ば、この組交差装置は、｛ｒ_１２｝を与えるためｒ_ａ１
およびｒ_ａ２を交差させることができる。即ち、

【数１１】 迅速自動焦点合せ装置（図４ａおよび図４ｂ参照）は、
被写体の距離を決定するための装置に似ている。主な相
違は、自動焦点合せ装置が図４ｂに示した焦点パラメー
タ決定装置である別の構成要素を有することである。こ
の焦点パラメータ決定装置は、入力として合焦される被
写体の距離を取り、出力として被写体を合焦させるため
の１組のカメラ・パラメータ｛λ、ｓ、ｆ、Ｄ｝に対す
る１組の値｛λ_ｆ、ｓ_ｆ、ｆ_ｆ、Ｄ_ｆ｝を与える。カメ
ラのカメラ・パラメータは、被写体がカメラ内部で合焦
されるように｛λ_ｆ、ｓ_ｆ、ｆ_ｆ、Ｄ_ｆ｝にセットされ
る。被写体の合焦イメージをそのぶれを生じたイメージ
から得る装置（図４ａおよび図４ｂ）もまた被写体の距
離を決定する装置に似ている。唯一の相違は、この合焦
イメージ取得装置が合焦イメージ決定装置と呼ばれる別
の構成要素を有することである。この構成要素は、入力
として被写体のぶれを生じたイメージの種々の導関数、
カメラ・パラメータ値および被写体の距離を取り、これ
らの入力量を逆畳み込み演算式に代入して、出力として
被写体の合焦イメージを提供する。本発明の装置の各構
成要素は、アナログおよびディジタル電子回路を用いて
特殊目的として構成することができる。特に、イメージ
正規化装置、導関数計算装置、式解明装置および組交差
装置を実現するため、マイクロプロセッサの如きディジ
タル・コンピュータを使用することができる。焦点パラ
メータ決定装置および合焦イメージ決定装置もまた、デ
ィジタル・コンピュータを用いて実現することができ
る。図５は、ディジタル・イメージ処理コンピュータが
本発明の装置を構成するため用いられた事例を示してい
る。本発明の装置について記述したが、次に本発明の方
法について記述する。図４ａおよび図４ｂは、本発明の
方法の理解にも役立つ。カメラからの被写体の距離を決
定するため、１組のカメラ・パラメータｅ_ａ＝｛λ、
ｓ、ｆ、Ｄ｝がカメラ・コントローラにより第１の組の
カメラ・パラメータ値ｅ_ａ１＝｛λ_１、ｓ_１、ｆ_１、Ｄ
_１｝にセットされる。即ち、カメラ・コントローラは、
λ＝λ_１、ｓ＝ｓ_１、ｆ＝ｆ_１およびＤ＝Ｄ_１となるよ
うにカメラのセッティングをセットする。次いで、被写
体の第１のイメージｇ_１（ｘ， ｙ）がカメラ内部で形
成され、このイメージが記録される。この組のカメラ・
パラメータｅ_ａが変更され、カメラ・コントローラによ
り第２の組のカメラ・パラメータ値ｅ_ａ２｛λ_２、
ｓ_２、ｆ_２、Ｄ_２｝にセットされる、即ち、カメラ・コ
ントローラが、λ＝λ_２、ｓ＝ｓ_２、ｆ＝ｆ_２およびＤ
＝Ｄ_２となるようにカメラのセッティングを変更する。
この第２の組のカメラ・パラメータ値ｅ_ａ２は、少なく
とも１つの要素における第１の組のカメラ・パラメータ
値と異なるように、即ち、ｅ_ａ１≠ｅ_ａ２、即ち、（λ
_１≠λ_２）、または（ｓ_１≠ ｓ_２）または（ｆ_１≠ｆ
_２）または（Ｄ_１≠Ｄ_２）となるようにする。次いで、
被写体の第２のイメージｇ_２（ｘ，ｙ）カメラ内部に形
成され、イメージが記録される。第１のイメージｇ
（ｘ，ｙ）は、第１の正規化イメージｇ_ｎ１（ｘ，ｙ）
を得るように予め処理される。この第１の正規化イメー
ジは、第１の組のカメラ・パラメータ値ｅ_ａ１（および
被写体の距離ｒ_０）により特徴付けられる第１の点拡が
り関数ｈ_１（ｘ，ｙ；ｅ_ａ１，ｒ_０）による標準的な合
焦イメージｆ_ｎ（ｘ，ｙ）の畳み込み演算と等しいよう
にする。即ち、

【数１２】 第１のイメージｇ_１（ｘ，ｙ）の第１の正規化イメージ
ｇ_ｎ１（ｘ，ｙ）への変換は、イメージ正規化装置を用
いて行われる。この変換プロセスは、イメージ正規化と
呼ばれる。このイメージ正規化プロセスは、カメラのイ
メージ検出器におけるセンサ要素の応答に対する補正、
カメラの不均一な光の透過に対する補正、倍率の変更に
対する補正、および明るさの変更に対する補正の如き多
くの操作を含み得る。これらの操作は、従来技術におい
て公知であり、従って本文では詳細を尽くさない。例え
ば、イメージ正規化操作の詳細な記述は、同じ発明者に
より出願された係属中の米国特許出願（１９８９年６月
２９日出願の米国特許出願第０７／３７３９９６号）に
見出すことができる。第２のイメージｇ_２（ｘ，ｙ）は
また、第２の正規化イメージｇ_ｎ２（ｘ，ｙ）を得るた
め第１のイメージｇ_１（ｘ，ｙ）のそれと似た方法で予
め処理される。従って、第２の正規化イメージｇ
_ｎ２（ｘ，ｙ）は、第２の組のカメラ・パラメータ値ｅ
_ａ２（および被写体の距離ｒ_０）により特徴付けられる
第２の点拡がり関数ｈ（ｘ，ｙ；ｅ_ａ２，ｒ_０）による
標準的な合焦イメージｆ_ｎ（ｘ，ｙ）の畳み込みに等し
いようになる。即ち、

【数１３】 第２のイメージｇ_２（ｘ，ｙ）の第２の正規化イメージ
ｇ_ｎ２（ｘ，ｙ）への変換は、イメージ正規化装置を用
いて行われる。第１の正規化イメージの１組の導関数ｇ
_ｎ１（ｘ，ｙ）を計算して、第１の組のイメージの導関
数を得る。

【数１４】

【数１５】 同様に、第２の正規化イメージの１組の導関数ｇ
_ｎ２（ｘ，ｙ）を計算して、第２の組のイメージ導関数
を得る。

【数１６】 らば、

【数１７】 第１および第２の組のイメージ導関数η_１およびη_２の
計算は、導関数計算装置を用いて行われる。第１の組の
カメラ・パラメータ値ｅ_ａ１、第２の組のカメラ・パラ
メータ値ｅ_ａ２、第１の組のイメージ導関数η_１および
第２の組のイメージ導関数η_２の諸値は全て、式（８）
に代入される（図４ａ参照）。式（８）の性格について
は、以下に説明する。

【数１８】 を、第１の組のイメージ導関数η_１と対応する第１の組
の重みパラメータと定義し、

【数１９】 を、第２の組のイメージ導関数η_２と対応する第２の組
の重みパラメータと定義する。例えば、もしＮ＝２なら
ば、

【数２０】 および

【数２１】 ージ導関数η_１の各項をその対応する重みパラメータで
乗じて、第１の組の重みイメージ導関数

【数２２】 を得ることができる。同様に、第２の組のイメージ導関
数η_２の各項をその対応する重みパラメータで乗じて、
第２の組の重み導関数

【数２３】 を得ることができる。第１の組の重み導関数Ｗ_１の全て
の要素を加算して第１の式を得、これは式（８）の左項
に等しい。同様に、第２の組の重み導関数Ｗ_２の全ての
要素を加算して第２の式を得、これは式（８）の右項に
等しい。従って、式（８）は、まさに第１の式を第２の
式と等化することにより得ることができる。重みパラメ
ータは、第１の式が第１の組のカメラ・パラメータ値ｅ
_ａ１および第１の組のイメージ導関数η_１の項に表わさ
れた被写体の合焦イメージと等しくなるように定義され
る。即ち、重みパラメータω_１，ｉ，ｋ−ｉは、

【数２４】 となるように定義される。同様に、重みパラメータ
ω_２，ｉ，ｋ−ｉは、第２の式が第２の組のカメラ・パ
ラメータ値ｅ_ａ２および第２の組のイメージ導関数η_２
の項に表わされた被写体の合焦イメージと等しくなるよ
うに定義される。即ち、重みパラメータω_２，ｉ，ｋ−
ｉは、

【数２５】 となるように定義される。式（１２）から、ｇ
_ｎ１（ｘ，ｙ）が、合焦イメージｆ_ｎ（ｘ，ｙ）による
第１の点拡がり関数ｈ（ｘ，ｙ；ｅ_ａ１，ｒ_０）の畳み
込みと等しいことを想起すれば、式（２４）は実際に逆
畳み込み式であることが判るであろう。ｇ_ｎ１（ｘ，
ｙ）と対応するぶれを生じたイメージの逆畳み込みによ
り、合焦イメージｆ_ｎ（ｘ，ｙ）を復元する。同様なこ
とが、式（１３）および（２５）にも妥当する。この逆
畳み込み式は、従来技術においては知られていない。こ
の式は、最初に得られたもので、同じ発明者により１９
９０年７月３日出願された別の米国特許出願「畳み込み
により劣化したイメージおよび信号を回復するための方
法および装置」に開示されている。同出願においては、
重みパラメータω_１，ｉ，ｋ−ｉおよびω_２，ｉ，ｋ−
ｉの定義のための手順もまた記載されている。重みパラ
メータω_１，ｉ，ｋ−ｉの各々は、第１の組のモーメン
ト・パラメータＭ_１に関して下式として表現することが
できる。即ち、

【数２６】 但し、

【数２７】 第１の組のモーメント・パラメータＭ_１は、点拡がり関
数ｈ（ｘ，ｙ；ｅ_ａ１，ｒ_０）を特徴とする。この第１
の点拡がり関数は、カメラ・パラメータが第１の組のカ
メラ・パラメータ値に等しく、即ち、ｅ_ａ＝ｅ_ａ１とな
るようにセットされる時、カメラの点拡がり関数とな
る。同様に、重みパラメータω_２，ｉ，ｋ−ｉの各々
は、第２の組のモーメント・パラメータＭ_２に関して下
式として表現することができる。即ち、

【数２８】 但し、

【数２９】 第２の組のモーメント・パラメータＭ_２は、第２の点拡
がり関数ｈ（ｘ，ｙ；ｅ_ａ２，ｒ_０）を特徴とする。こ
の第２の点拡がり関数は、カメラ・パラメータが第２の
組のカメラ・パラメータ値に等しく、即ち、ｅ_ａ＝ｅ
_ａ２となるようにセットされる時、カメラの点拡がり関
数となる。第１の組のモーメント・パラメータＭ_１に関
して重みパラメータω_１，ｉ，ｋ−ｉに対する代数式を
得る方法が、同じ発明者により１９９０年７月３０日出
願された前掲の米国特許出願において記載されている。
同じ方法を用いて、第２の組のモーメント・パラメータ
Ｍ_２に関する重みパラメータω_２，ｉ，ｋ−ｉに対する
代数式を得る。従って、重みパラメータω_１，ｉ，ｋ−
ｉに対する代数式は、ω_１，ｉ，ｋ−ｉ（Ｍ_１）として
短い式形態で表わすことができる。同様に、重みパラメ
ータω_２，ｉ，ｋ−ｉに対する代数式はω_２，ｉ，ｋ−
ｉ（Ｍ_２）として短い形態で示すことができる。例え
ば、Ｎ＝２として、下記の代数式がω_１，ｉ，ｋ−ｉお
よびω_２，ｉ，ｋ−ｉに対して得ることができる。即
ち、

【数３０】 しかし、式（２６）、（２７）によれば、第１の組のモ
ーメント・パラメータＭ_１はそれ自体点拡がり関数ｈ、
第１の組のカメラ・パラメータ値ｅ_ａ１およびカメラか
らの被写体の距離ｒ_０の形成により決定される。従っ
て、代数式ω_１，ｉ，ｋ−ｉ（Ｍ_１）は、重みパラメー
タω_１，ｉ，ｋ−ｉが点拡がり関数ｈ、第１の組のカメ
ラ・パラメータ値ｅ_ａ１およびカメラからの被写体の距
離ｒ_０に関して表わすことができることを更に明瞭に示
すためω_１，ｉ，ｋ−ｉ（ｈ，ｅ_ａ１，ｒ_０）により表
わすことができる。同様な理由のため、代数式ω_２，
ｉ，ｋ−ｉ（Ｍ_２）は、ω_２，ｉ，ｋ−ｉ（ｈ，
ｅ_ａ２，ｒ_０）により表わすことができる。要約すれ
ば、式（８）は、カメラからの被写体の距離ｒ_０である
唯一の未知の式を含む式を得るように式化される。この
式を解いて、第１の組の解ｒ_ｇ１を得る。典型的には、
ｒ_ｇ１は２つの要素を含み、従って、下式として表わす
ことができる。即ち、

【数３１】 従来技術とは対照的に、フーリェ変換を計算することな
く第１の組の解ｒ_ｇ１が得られたことに注意されたい。
このことは、本発明の重要な利点を構成する。被写体の
距離に対する一義的な解を得るためには、別の情報が必
要である。本発明の方法においては、ｅ_ａ３＝ｅ_ａ１お
よびｅ_ａ３＝ｅ_ａ２（即ち、カメラ・パラメータの少な
くとも１つが異なる）となって、カメラ内部の被写体の
イメージを形成し、第３のイメージｇ_３（ｘ，ｙ）を記
録するように、カメラを第３の組のカメラ・パラメータ
値ｅ_ａ３＝｛λ_３、ｓ_３、ｆ_３、Ｄ_３｝にセットするこ
とにより別の情報が得られる。第１の組の解ｒ_ｇ１の項
の内、僅かに１つの項が第３の組のカメラ・パラメータ
値ｅ_ａ３および第３のイメージｇ_３（ｘ，ｙ）と一致す
ることになる。ｅ_ａ３およびｇ_３（ｘ，ｙ）と一致する
この項が、カメラからの被写体の距離を得るように決定
される。ｅ_ａ３およびｇ_３（ｘ，ｙ）を持つ１つの解の
一貫性を調べる多くの方法がある。１つの方法は、第３
のイメージｇ_３（ｘ，ｙ）および第２のイメージｇ
_２（ｘ，ｙ）を使用して、カメラからの被写体の距離に
対する第２の組の解ｒ_ｇ２を決定する。ｇ_３（ｘ，ｙ）
およびｇ_２（ｘ，ｙ）を用いｔｅｒ_ｇ２を決定する方法
は、第１のイメージｇ_１（ｘ，ｙ）および第２のイメー
ジｇ_２（ｘ，ｙ）を用いて第１の組の解ｒ_ｇ１を決定す
る先に述べた方法と非常によく似ている。この第２の組
の解ｒ_ｇ１は、典型的には２つの要素を含むことにな
る。要素ｒ_ｇ２の１つは要素ｒ_ｇ１でもある。この要素
は、組ｒ_ｇ１およびｒ_ｇ２の交差を行うことにより決定
される。この共通要素は、カメラからの被写体の距離に
対する一義的な解を与える。このように、カメラからの
被写体の距離ｒ_０を決定することができる。原理におい
ては、被写体の距離を決定するためには被写体の３つの
イメージを用いて処理することが充分である。しかし、
距離の更に厳密な測定は、被写体のイメージの幾つかの
個々のトリプレットを処理することにより得ることがで
きる。イメージの個々のトリプレットを処理して、１つ
の独立した距離の測定を行う。距離の独立した全ての測
定の加重平均が、厳密な距離の測定をもたらす。一般
に、上記の方法で測定された被写体の距離は、加重平均
を用いて距離のより厳密な評価を行うことにより、他の
独立的な距離の評価（同じ方法あるいは異なる方法によ
り得られる）と組合わせることができる。カメラからの
被写体の距離を決定する上記の方法は、視野における全
ての被写体の距離を得ると同時に、カメラの視野におけ
る全ての被写体に対して適用し得る。例えば、カメラの
視野は、多くの小さな部分視野に分割することができ、
各部分視野においては、この部分視野における被写体の
距離を決定することができる。カメラの視野を多くの部
分視野に分割することは、イメージ検出器に形成される
イメージを各部分イメージが１つの部分視野と対応する
多くの小さな部分イメージに分割することと対応する。
図６は、この概念を示している。各部分イメージは、他
の部分イメージと並行して処理することができ、対応す
る部分視野における被写体の距離を決定する。このよう
に、カメラの視野における全ての被写体の距離は、僅か
に３つのイメージから同時に決定することができる。こ
の方法は、１つの情景における全ての被写体の位置を最
小限の計算により非常に迅速に標定することが要求され
るロボットの視野において重要な用途を有する。カメラ
の小さな部分視野における１つの情景における被写体の
点の距離（即ち、深度）を表わす数字列は、情景の深度
マップと呼ばれる。従って、本発明の方法は、有効な方
法で情景の深度マップを取得する上で有効である。本発
明はまた、カメラの迅速な自動焦点合せの方法を含む
（図４ａおよび図４ｂ参照）。この方法においては、カ
メラからの被写体の距離ｒ_０を決定するための上記の方
法を用いて合焦される被写体の距離が最初に決定され
る。距離ｒ_０およびイメージの合焦式に基いて、所要の
被写体の焦点合せと対応する１組のカメラ・パラメータ
値ｅ_ａｆ＝｛λ_ｆ、ｓ_ｆ、ｆ_ｆ、Ｄ_ｆ｝が決定される。
イメージの合焦式の一例は、カメラの焦点距離を被写体
の距離およびその合焦イメージの距離と関連付ける公知
のレンズ式１／ｆ＝１／ｕ＋１／ｖ（図２参照）であ
る。このイメージの合焦式と１組のカメラ・パラメータ
ｅ_ａｆとの間の関係は、後に説明する式（５８）により
与えられる。カメラは、カメラ・パラメータがｅ_ａｆに
より決定される値に等しくなるように調整される。これ
が自動焦点合せを達成する。被写体の合焦イメージをそ
のぶれを生じたイメージから得る方法（図４ａおよび図
４ｂ参照）において、被写体の距離ｒ_０は、上記の方法
を用いることにより決定される。次に、この距離情報を
用いて重みパラメータω_１，ｉ，ｋ−ｉを計算する。第 代入されて被写体の合焦イメージを得る。あるいはま
た、式（２５）も使用することができる。図７は、Ｎ＝
２、ｇ（ｘ，ｙ）＝ｇ_ｎ１（ｘ，ｙ）、ω_ｉ，ｊ＝ω
_{１，ｉ，ｊ}およびｆ（ｘ，ｙ）＝ｆ_ｎ（ｘ，ｙ）による
逆畳み込みのための式（２４）の構成を示している。 （近軸幾何光学）カメラの点拡がり関数に対する多くの
モデルが存在する。本発明の方法は、全てのモデルに対
して適用し得る。本発明の方法を例示するため、近軸幾
何光学から得た点拡がり関数のモデルを考察する。従来
技術において、近軸幾何光学によれば、カメラの点拡が
り関数が面積がＡに等しい領域内１／Ａに等しいゼロで
ない定数値を持ち、この領域の外側では点拡がり関数の
値がゼロに等しいことが公知である。この領域の形状
は、倍率を除いてカメラの鏡口の形状と同じである。近
軸幾何光学の原理に基くカメラの点拡がり関数の論議
は、下記の論文に見出すことができる。即ち、同じ発明
者による論文「単純な被写体の非合焦イメージからの距
離の決定」（ＴＲ８９．０７．２０、Ｃｏｍｐｕｔｅｒ
Ｖｉｓｉｏｎ Ｌａｂｏｒａｔｏｒｙ、 Ｄｅｐｔ．
ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎ
ｇ， Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｎｅ
ｗ Ｙｏｒｋ， Ｓｔｏｎｙ Ｂｒｏｏｋ， ＮＹ１１
７９４−２３５０、１９８９年７月２０日発行）。本発
明の望ましい実施態様においては、カメラの鏡口の形状
は円形である。従って、点拡がり関数は、円形領域内で
はゼロでない定数値を持ち、円形領域害ではゼロの値を
持つ。図８は、この場合の点拡がり関数を示している。
この円形領域は「ぶれ円」とも呼ばれる。この場合の点
拡がり関数は、このぶれ円の中心において円形状の対称
をなす。もしカメラが第１の組のカメラ・パラメータ値
ｅ_ａ１＝｛λ_１、ｓ_１、ｆ_１、Ｄ_１｝にセットされ、ｒ
_０が被写体の距離であるとすれば、従来技術においては
ぶれ付勢Δ_１が下式として、縮小単位で表わすことがで
きることが知られる。

【数３２】 もしΔ’_１が絶対単位で表わされるぶれ円の半径である
ならば、Δ_１とΔ’_１間の関係は、

【数３３】 例えば、同じ発明者による技術論文「非合焦光学系の点
拡がり関数における深度情報について」参照（ＴＲ９
０．０２．０７、Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＬａ
ｂｏｒａｔｏｒｙ，Ｄｅｐｔ．ｏｆ Ｅｌｅｃｔｒｉｃ
ａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｔａｔｅ Ｕｎｉ
ｖｅｒｓｉｔｙ ｏｆ Ｎｅｗ Ｙｏｒｋ，Ｓｔｏｎｙ
Ｂｒｏｏｋ，ＮＹ １１７９４−２３５０、１９９０
年２月７日発行）。この場合、第１の点拡がり関数ｈ
（ｘ，ｙ；ｅ_ａ１，ｒ_０）は下式により与えられる（図
８参照）。即ち、

【数３４】 上記の式において、直接カメラ・パラメータｅ_ａ１の組
および被写体の距離ｒ_０に関してｈ（ｘ，ｙ；ｅ_ａ１，
ｒ_０）に対する更に明瞭な式を得るため式（３２）から
Δ_１を代入することができる。第１の点拡がり関数ｈ
（ｘ，ｙ；ｅ_ａ１，ｒ_０）の（ｍ，ｎ）番目のモーメン
トは、ｈ_{１，ｍ，ｎ}により表わされ、下式の如くに定義
される。即ち、

【数３５】 ｈ（ｘ，ｙ；ｅ_ａ１，ｒ_０）の全ての奇数モーメントは
ゼロであることが判る。即ち、

【数３６】 実際に、円形対称関数の全ての奇数モーメントがゼロで
ある（ｘ^２＋ｙ^２が一定のままである時、ｈ（ｘ，ｙ）
が定数ならば、関数ｈ（ｘ，ｙ）が円形対称となる）こ
とが容易に示される。点拡がり関数ｈ（ｘ，ｙ；
ｅ_ａ１，ｒ_０）の偶数モーメントは、下式となることが
判る。即ち、

【数３７】 但し、ｐおよびｑは整数である。従って、

【数３８】 を得る。同様に、カメラが第２の組のカメラ・パラメー
タ値ｅ_ａ２＝｛λ_２、ｓ_２、ｆ_２、Ｄ_２｝にセットさ
れ、対応するぶれ円がΔ_２により表わされると、

【数３９】 を得る。上記の値を式（３０）に代入して、

【数４０】 を得る。式（４０）の結果を式（２４）および式（２
５）に代入し、Ｎ＝２をセットすると、

【数４１】

【数４２】 を得る。式（３２）を用いると、合焦イメージはカメラ
・パラメータ値ｅ_ａ１、ｅ_ａ２の組および被写体の距離
ｒ_０に関して下式の如く直接表わすことができる。即
ち、

【数４３】

【数４４】 式（４３）および（４４）の右項を等しくすると、

【数４５】 上式は、式（８）と同じ形態を有する。上式において、
被写体の距離ｒ_０は唯一の未知の値である。従って、式
（４５）は、１つの未知の式を構成する。この式は、被
写体の距離ｒ_０に対する第１の組の解ｒ_ｇ１を得るため
解くことができる。式（４５）を解く１つの方法を以下
に述べる。式（３２）から、

【数４６】 を得る。同様に、ｅ_ａ２で指定される第２のカメラのセ
ッティングのためには、

【数４７】 を得る。式（４５）の右項を式（４６）の右項に等しく
して簡単にすると、

【数４８】 但し、

【数４９】 αおよびβの値は、カメラ・パラメータ値ｅ_ａ１および
ｅ_ａ２の組から直接計算することができる。従って、式
（４５）は、下記の如く書くことができる。即ち、

【数５０】 上式は、Δ_１における２次方程式であり、これは下記の
形態に書くことができる。即ち、

【数５１】 但し、

【数５２】

【数５３】

【数５４】 下記の如く得ることができる。即ち、

【数５５】 Δ_１に対する各解と対応して、距離ｒ_０に対する１つの
解が式（４５）から得ることができる。即ち、

【数５６】

【数５７】 第１の組の解は、下式により与えられる。即ち、

【数５８】 被写体の距離ｒ_０に対する一義的な解を見出すため、第
３のイメージｇ_３（ｘ，ｙ）を用いて、先に述べたよう
に第２の組の解ｒ_ｇ１＝｛ｒ_１１，ｒ_２２｝を見出す。
ｒ_ｇ１およびｒ_ｇ２の双方に共通である要素は、カメラ
からの被写体の距離に対する実際の解である。自動焦点
合せの方法において、最初に距離ｒ_０を決定する上記の
方法を用いて合焦される被写体の距離を決定する。距離
ｒ_０およびイメージの合焦式に基いて、１組のカメラ・
パラメータ値ｅ_ａｆ＝｛λ_ｆ、ｓ_ｆ、ｆ_ｆ、Ｄ_ｆ｝が決
定され、これは所要の被写体の合焦と対応する。イメー
ジ合焦式の一例は、周知のレンズ式１／ｆ＝１／ｕ＋１
／ｖ（図２参照）であり、これがカメラの焦点距離を目
的の位置およびその合焦されるイメージと関連付ける。
このイメージ合焦式と１組のカメラ・パラメータｅ_ａｆ
間の関係は、対応するぶれ円の半径がゼロと等しくなる
ことを要求することにより指定することができる。もし
Δ_ｆがｅ_ａｆにより指定されるカメラのセッティングと
対応するぶれ円の半径を示し、かつｒ_０が被写体の距離
であるならば、ｅ_ａｆは下記の如くΔ_ｆに対する式にお
いてΔ_ｆ＝０をセットすることにより容易に決定するこ
とができる。即ち、

【数５９】 実際には、カメラ・パラメータのｆ_ｆおよびｓ_ｆは共に
自由パラメータである。これらのパラメータの１つの値
を最初に固定し、次いで式（５８）を他のパラメータに
ついて解く。次に、カメラ・パラメータがｅ_ａｆで決定
される値と等しくなるようにカメラを調整する。このこ
とが、自動焦点合せを達成する。被写体の合焦イメージ
をそのぶれを生じたイメージから得る方法において、先
に述べた方法を用いて被写体の距離ｒ_０を最初に決定す
る。距離ｒ_０が決定された後、式（４３）あるいは式
（４４）を用いて被写体の合焦イメージが計算される。
合焦イメージを計算するこの方法は、実際には、式（４
０）を用いて重みパラ 計算して結果として得る値を式（２５）（または式（２
６））により与えられる逆畳み込み式に代入する。 （本方法の一般化）先に述べた距離の決定方法において
は、距離ｒ_０は点拡がり関数が依存する他のカメラ・パ
ラメータｓ，ｆ，Ｄ，λと共にパラメータの１つに過ぎ
ないことが判る。数学的な観点から、ｒ_０を含むこれら
全てのパラメータは式（８）において同じ役割を演じ
る。これらのいずれかと関連する特殊性はない。従っ
て、点拡がり関数が依存する他のパラメータを見出すた
め上記の方法に非常によく似た方法を用いることができ
る。例えば、カメラ・システムの焦点距離ｆを決定する
ため、距離ｒ_０を与えて前のようにｆについて式（８）
を解く。未知の１つのパラメータを決定する上記の方法
は、１つ以上の未知の値を偏差する方法を得るように拡
張することができる。この場合、２つ以上のイメージを
必要とする。一般に、未知数ｎが含まれるとすると、
（ｎ＋１）個のイメージが必要となる。例えば、ｒ_０お
よびｆの２つのパラメータを決定する必要があれば、そ
れぞれｅ_ａ１、ｅ_ａ２およびｅ_ａ３と共に３つの画像ｇ
_１（ｘ，ｙ）、ｇ_２（ｘ，ｙ）およびｇ_３（ｘ，ｙ）を
用いる。ここで、

【数６０】

【数６１】

【数６２】 ３つのイメージに対して式（８）と似た下記の２つの式
を書くことができる。即ち、

【数６３】

【数６４】 式（６２）、（６３）を同時に解いて、２つの未知数
ｆ，ｒ_０を得る。式を解くために先の場合と似た方法を
用いることができる。上記の２つの式は、未知数ｒ_０お
よびｆが３つの全ての画像に対して同じ状態を維持する
ことを示唆する。しかし、このことは、その値の変化が
既知である限り該当する必要はない。例えば、焦点距離
を３つのイメージに対してｆ＋δ_１、ｆ＋δ_２およびｆ
＋δ_３する。ここで値δ_１、δ_２、δ_３の変化は全て既
知である。従って、

【数６５】

【数６６】 上記の２つの式は、僅かに２つの未知数（ｆおよび
ｒ_０）を含み、従って前のように解くことができる。も
し１つ以上の解が得られるならば、スプリアス解を取除
くため別のイメージを使用することができ、一義的な解
を得ることができる。未知のパラメータを決定した後、
合焦イメージを得るため逆畳み込み式（２４）を使用す
ることができる。カメラは、線形変位不変系としてモデ
ル化が可能なより大きな計器クラスの特定例である。異
なるカメラ・パラメータ値による１組のイメージを用い
る未知のカメラ・パラメータを決定する方法を、全ての
線形変位不変系に一般化することができる。線形変位不
変系の入力信号および出力信号は多次元信号でよい。一
般的な線形変位不変系は、ちょうどカメラが１組のカメ
ラ・パラメータで特徴付けられるように１組の系パラメ
ータにより特徴付けられる。線形変位不変系の１組の出
力信号が、系のパラメータの異なる値に対して得られ
る。式（８）と似た１つの式を方式化するように１対の
出力信号を使用することができる。少なくとも未知の系
のパラメータと同数の式を異なる対の出力信号に対して
方式化する。結果として得る式は、全ての未知の系のパ
ラメータを決定するため解くことができる。従って、線
形変位不変系に対する入力信号を得るため式（２４）と
似た逆畳み込み式を用いることができる。本発明者と同
じ発明者により、１９９０年７月３日出願された別の米
国特許出願「畳み込みで劣化した信号を復元するための
方法および装置」において関連した逆畳み込み式が開示
される。本文に概要を示した一般的方法は、広範囲の計
器において使用可能である。カメラ・システムは、この
方法の用途が詳細に提示された計器の一例に過ぎない。
本発明については、主としてロボットの視野、自動車の
自動ナビゲーション、立体写真システムの一部としての
被写体の近似距離の測定、等のような機械の視認用途の
関係に集中している。また、本発明を小さな改変を行っ
た後に使用できる他の用途もある。例えば、３次元の試
料の改善された合焦イメージを得る際にテレビジョン顕
微鏡検査において有効である。別の用途は、写真の撮影
が２つ以上のカメラのセッティングに対して１つの磁気
ディスク上に直接イメージ信号を記憶した後、所要の被
写界深度を持つ写真を得るためこのイメージ信号をカメ
ラ特性に関してコンピュータで処理することを含む完全
に電子的なカメラである。方法、装置および用途の記述
は多くの仕様を含むが、これらは本発明の範囲に対する
限定と見做すべきでなく、本発明の望ましい実施態様の
例示と見做すべきである。本文に開示された本発明の更
なる変更および拡張は、当業者に想着されるものであ
り、全てのかかる変更は、頭書の特許請求の範囲に相等
内容として規定される如き本発明の範囲および趣旨内に
含まれるべきものである。

【図面の簡単な説明】

【図１】焦点長さコントローラ、イメージ検出器位置コ
ントローラ、カメラ口径コントローラ、およびカメラに
入る光のスペクトル成分を制御するフィルタを示す望ま
しい実施例のカメラ・システムのブロック図である。

【図２】カメラ・システムの望ましい実施例におけるカ
メラ・パラメータおよびイメージ形成プロセスを示す図
である。

【図３】異なるカメラ・パラメータ値と共通の口径にお
ける情景を視認するためのビーム・スプリット装置とを
持つ２つのカメラを有する別のカメラの実施例を示すブ
ロック図である。

【図４】ａは、カメラからの被写体の距離を測定する本
発明の装置を示す概略図である。ｂは、ａの続きの図
で、２組の解像度を交差させることにより被写体の距離
に対する一義的な解像度を得る方法、および迅速な自動
焦点合せを行い、被写体の合焦イメージをそのぶれたイ
メージから得る方法を示す図である。

【図５】ディジタル・イメージ処理コンピュータが本発
明の装置の構成において使用された実施例を示す図であ
る。

【図６】多くの小さな部分視野に分割されたカメラの視
野と、イメージが分割された対応する部分イメージとを
示す図である。

【図７】被写体の合焦イメージをそのぶれたイメージか
ら得る新しい逆畳み込み式の構成を示す図である。

【図８】円形口径を持つ非合焦状態のカメラの点拡がり
関数（即ち、インパルス・レスポンス関数）を示す図で
ある。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/62 ４１５ 9287−5Ｌ Ｈ０４Ｎ 5/232 Ａ 9187−5Ｃ (72)発明者 ムラリダラ・スバラオ アメリカ合衆国ニユーヨーク州11776− 2927，ポート・ジエフアーソン・ステーシ ヨン，ユニバーシテイ・ドライブ 23

Claims (28)

【特許請求の範囲】
1. 【請求項１】 １組のカメラ・パラメータを特徴とする
   カメラから被写体の距離を決定する方法において、
   （ａ）前記カメラ・パラメータを第１の組のカメラ・パ
   ラメータ値にセットして、前記カメラ内部に前記被写体
   のイメージを形成し、第１のイメージを記録し、（ｂ）
   前記カメラ・パラメータを第２の組のカメラ・パラメー
   タ値にセットして、前記カメラ内部に前記被写体のイメ
   ージを形成し、第２のイメージを記録し、（ｃ）前記第
   １のイメージを予め処理して第１の正規化イメージを得
   て、該第１の正規化イメージが、前記第１の組のカメラ
   ・パラメータ値を特徴とする前記カメラの第１の点拡が
   り関数による前記被写体の合焦イメージの畳み込みに等
   しくなるようにし、（ｄ）前記第２のイメージを予め処
   理して第２の正規化イメージを得て、該第２の正規化イ
   メージが、前記第２の組のカメラ・パラメータ値を特徴
   とする前記カメラの第２の点拡がり関数の畳み込みと等
   しくなるようにし、（ｅ）前記第１の正規化イメージの
   １組の導関数を計算して第１の組のイメージ導関数を
   得、（ｆ）前記第２の正規化イメージの１組の導関数を
   計算して第２の組のイメージ導関数を得、（ｇ）前記第
   １の組のカメラ・パラメータ値、前記第２の組のカメラ
   ・パラメータ値、前記第１の組のイメージ導関数および
   前記第２の組のイメージ導関数を、前記第１の組のカメ
   ラ・パラメータ値および前記第１の組のイメージ導関数
   に関して前記合焦イメージに対する第１の式を前記第２
   の組のカメラ・パラメータ値および前記第２の組のイメ
   ージ導関数に関して表現された前記合焦イメージに対す
   る第２の式に等しくすることにより得る式に代入するこ
   とにより、前記被写体の距離が唯一の未知の変数である
   式を得、（ｈ）ステップ（ｇ）で得た式を解いて前記被
   写体の距離に対する第１の組の解を得、これにより距離
   を求める解においてフーリェ変換を計算することなく、
   （ｉ）前記カメラ・パラメータ値を第３の組のカメラ・
   パラメータ値にセットして、前記カメラ内部の前記被写
   体のイメージを形成し、第３のイメージを記録し、
   （ｊ）ステップ（ｈ）において得た距離に対して、前記
   第３の組のカメラ・パラメータ値および前記第３のイメ
   ージと一致する前記第１の組の解の項を決定して、カメ
   ラ・システムからの前記被写体の距離を得ることを特徴
   とする方法。
2. 【請求項２】 前記カメラが、イメージを記録するイメ
   ージ検出器と、光が進入するカメラ鏡口と、第１の主要
   面と第２の主要面を特徴とする光学系とを含み、前記第
   ２の主要面が、前記第１の主要面よりも前記イメージ検
   出器および光フィルタに対して近いことを特徴とする請
   求項１記載の方法。
3. 【請求項３】 前記組のカメラ・パラメータが、（ａ）
   前記第２の主要面と前記イメージ検出器間の距離、
   （ｂ）前記カメラ鏡口の直径、（ｃ）前記光学系の焦点
   距離、および（ｄ）前記光フィルタの分光透過特性の少
   なくとも１つを含むことを特徴とする請求項２記載の方
   法。
4. 【請求項４】 前記ステップ（ｃ）および（ｄ）におけ
   る処理操作が、（ａ）前記イメージ検出器のセンサ応答
   特性の補正、（ｂ）前記光学系の不均一な光透過率の補
   正、（ｃ）前記第１のイメージおよび前記第２のイメー
   ジの拡大の正規化、（ｄ）前記第１のイメージおよび前
   記第２のイメージの明るさの正規化、および（ｅ）ノイ
   ズ効果を低減するノイズ濾過、の少なくとも１つの操作
   を含むことを特徴とする請求項３記載の方法。
5. 【請求項５】 前記ステップ（ｇ）における前記第１の
   式が、前記第１の組のイメージ導関数の各項を重みパラ
   メータにより乗じて第１の組の加重イメージ導関数を
   得、前記第１の組の加重イメージ導関数の全ての項を加
   算する結果であることを特徴とする請求項２記載の方
   法。
6. 【請求項６】 前記ステップ（ｇ）における前記第２の
   式が、前記第２の組のイメージ導関数の各項を重みパラ
   メータにより乗じて第２の組の加重イメージ導関数を
   得、前記第２の組の加重イメージ導関数の全ての項を加
   算する結果であることを特徴とする請求項２記載の方
   法。
7. 【請求項７】 前記各重みパラメータが、前記第１の点
   拡がり関数（ステップ（ｃ）における）を共に特徴とす
   る第１の組のモーメント・パラメータに依存することを
   特徴とする請求項５記載の方法。
8. 【請求項８】 前記各重みパラメータが、前記第２の点
   拡がり関数（ステップ（ｄ）における）を共に特徴とす
   る第２の組のモーメント・パラメータに依存することを
   特徴とする請求項６記載の方法。
9. 【請求項９】 前記第１の点拡がり関数が対称的であ
   り、従って、前記第１の組のモーメント・パラメータに
   おける全ての奇数モーメント・パラメータが全てゼロで
   あることを特徴とする請求項７記載の方法。
10. 【請求項１０】 前記第１の点拡がり関数が、倍率を除
    いて、前記カメラ鏡口と同じ形状を持つ領域の内側にお
    いてはゼロでない定数値を持ち、前記領域の外側ではゼ
    ロの値を有することを特徴とする請求項１０記載の方
    法。
11. 【請求項１１】 前記カメラ鏡口が円形状を有し、従っ
    て前記第１の点拡がり関数が、円形領域の内側ではゼロ
    でない値を持ち、また該円形領域の外側ではゼロの値を
    持つことを特徴とする請求項１０記載の方法。
12. 【請求項１２】 前記ステップ（ｊ）が、（ｌ）前記第
    ３のイメージを予め処理して、前記第３の組のカメラ・
    パラメータ値を特徴とする前記カメラの第３の点拡がり
    関数の畳み込みと等しい第３の正規化イメージを得、
    （ｍ）前記第３の正規化イメージの１組の導関数を計算
    して第３の組のイメージ導関数を得、（ｎ）前記第２の
    組のカメラ・パラメータ値と、前記第３の組のカメラ・
    パラメータ値と、前記第２の組のイメージ導関数と、前
    記第３の組のイメージ導関数の諸値を、前記第２の式を
    前記第３の組のカメラ・パラメータ値および前記第３の
    組のイメージ導関数に関して表現された前記合焦イメー
    ジに対する第３の式に等しくすることにより得られる式
    に代入することにより、前記被写体の距離が唯一の未知
    の変数である式を得、（ｏ）ステップ（ｎ）において得
    た式を解いて、前記被写体の距離に対する第２の組の解
    を得、（ｐ）前記第１の組の解と前記第２の組の解とを
    交差させて、前記カメラからの被写体の距離を与える共
    通解を得ることを含むことを特徴とする請求項１記載の
    方法。
13. 【請求項１３】 １組のカメラ・パラメータを特徴とす
    る前記カメラを被写体に対して自動焦点合せを行う方法
    において、（ａ）前記カメラ・パラメータを第１の組の
    カメラ・パラメータ値にセットして、前記カメラ内部に
    前記被写体のイメージを形成し、第１のイメージを記録
    し、（ｂ）前記カメラ・パラメータを第２の組のカメラ
    ・パラメータ値にセットして、前記カメラ内部に前記被
    写体のイメージを形成し、第２のイメージを記録し、
    （ｃ）前記第１のイメージを予め処理して第１の正規化
    イメージを得て、該第１の正規化イメージが、前記第１
    の組のカメラ・パラメータ値を特徴とする前記カメラの
    第１の点拡がり関数による前記被写体の合焦イメージの
    畳み込みと等しくなるようにし、（ｄ）前記第２のイメ
    ージを予め処理して第２の正規化イメージを得て、該第
    ２の正規化イメージが、前記第２の組のカメラ・パラメ
    ータ値を特徴とする前記カメラの第２の点拡がり関数の
    畳み込みと等しくなるようにし、（ｅ）前記第１の正規
    化イメージの１組の導関数を計算して第１の組のイメー
    ジ導関数を得、（ｆ）前記第２の正規化イメージの１組
    の導関数を計算して第２の組のイメージ導関数を得、
    （ｇ）前記第１の組のカメラ・パラメータ値、前記第２
    の組のカメラ・パラメータ値、前記第１の組のイメージ
    導関数および前記第２の組のイメージ導関数を、前記第
    １の組のカメラ・パラメータ値および前記第１の組のイ
    メージ導関数に関して前記合焦イメージに対する第１の
    式を前記第２の組のカメラ・パラメータ値および前記第
    ２の組のイメージ導関数に関して表現された前記合焦イ
    メージに対する第２の式に等しくすることにより得る式
    に代入することにより、前記被写体の距離が唯一の未知
    の変数である式を得、（ｈ）ステップ（ｇ）で得た式を
    解いて前記被写体の距離に対する第１の組の解を得、こ
    れにより距離を求める解においてフーリェ変換を計算す
    ることなく、（ｉ）前記カメラ・パラメータ値を第３の
    組のカメラ・パラメータ値にセットして、前記カメラ内
    部の前記被写体のイメージを形成し、第３のイメージを
    記録し、（ｊ）ステップ（ｈ）において得た距離に対し
    て、前記第３の組のカメラ・パラメータ値および前記第
    ３のイメージと一致する前記第１の組の解の項を決定し
    て、カメラ・システムからの前記被写体の距離を得、
    （ｋ）ステップ（ｊ）で決定された前記被写体の距離に
    基いて前記被写体の焦点合せを行うための新しい１組の
    カメラ・パラメータ値を計算して、該新しい組のカメラ
    ・パラメータ値に前記組のカメラ・パラメータをセット
    することにより、前記カメラの前記被写体に対する自動
    焦点合せを行うことを特徴とする方法。
14. 【請求項１４】 前記カメラが、イメージを記録するイ
    メージ検出器と、光が進入するカメラの鏡口と、第１の
    主要面と第２の主要面とを特徴とする光学系とを含み、
    該第２の主要面は、前記第１の主要面よりも前記イメー
    ジ検出器および光フィルタに対して近いことを特徴とす
    る請求項１３記載の方法。
15. 【請求項１５】 前記組のカメラ・パラメータが、
    （ａ）前記第２の主要面と前記イメージ検出器間の距
    離、（ｂ）前記カメラ鏡口の直径、（ｃ）前記光学系の
    焦点距離、および（ｄ）前記光フィルタの分光透過特性
    の少なくとも１つを含むことを特徴とする請求項１４記
    載の方法。
16. 【請求項１６】 ステップ（ｃ）および（ｄ）における
    処理操作が、（ａ）前記イメージ検出器のセンサ応答特
    性の補正、（ｂ）前記光学系の不均一な光透過率の補
    正、（ｃ）前記第１のイメージおよび前記第２のイメー
    ジの拡大の正規化、（ｄ）前記第１のイメージおよび前
    記第２のイメージの明るさの正規化、および（ｅ）ノイ
    ズ効果を低減するノイズ濾過、の少なくとも１つの操作
    を含むことを特徴とする請求項１５記載の方法。
17. 【請求項１７】 前記ステップ（ｇ）における前記第１
    の式が、前記第１の組のイメージ導関数の各項を重みパ
    ラメータにより乗じて、第１の組の加重イメージ導関数
    を得、該第１の組の加重イメージ導関数の全ての項を加
    算する結果であることを特徴とする請求項１４記載の方
    法。
18. 【請求項１８】 前記ステップ（ｇ）における前記第２
    の式が、前記第２の組のイメージ導関数の各項を重みパ
    ラメータにより乗じて、第２の組の加重イメージ導関数
    を得、該第２の組の加重イメージ導関数の全ての項を加
    算する結果であることを特徴とする請求項１４記載の方
    法。
19. 【請求項１９】 前記各重みパラメータが、前記第１の
    点拡がり関数（ステップ（ｃ）における）を共に特徴と
    する第１の組のモーメント・パラメータに依存すること
    を特徴とする請求項１７記載の方法。
20. 【請求項２０】 前記各重みパラメータが、前記第２の
    点拡がり関数（ステップ（ｄ）における）を共に特徴と
    する第２の組のモーメント・パラメータに依存すること
    を特徴とする請求項１８記載の方法。
21. 【請求項２１】 前記第１の点拡がり関数が対称的であ
    り、従って、前記第１の組のモーメント・パラメータに
    おける全ての奇数モーメント・パラメータが全てゼロで
    あることを特徴とする請求項１９記載の方法。
22. 【請求項２２】 前記第１の点拡がり関数が、倍率を除
    いて、前記カメラ鏡口と同じ形状を持つ領域の内側にお
    いてはゼロでない定数値を持ち、前記領域の外側ではゼ
    ロの値を有することを特徴とする請求項２２記載の方
    法。
23. 【請求項２３】 前記カメラ鏡口が円形状を有し、従っ
    て前記第１の点拡がり関数が、円形領域の内側ではゼロ
    でない値を持ち、また該円形領域の外側ではゼロの値を
    持つことを特徴とする請求項２２記載の方法。
24. 【請求項２４】 前記ステップ（ｊ）が、（ｌ）前記第
    ３のイメージを予め処理して、前記第３の組のカメラ・
    パラメータ値を特徴とする前記カメラの第３の点拡がり
    関数の畳み込みと等しい第３の正規化イメージを得、
    （ｍ）前記第３の正規化イメージの１組の導関数を計算
    して第３の組のイメージ導関数を得、（ｎ）前記第２の
    組のカメラ・パラメータ値と、前記第３の組のカメラ・
    パラメータ値と、前記第２の組のイメージ導関数と、前
    記第３の組のイメージ導関数の諸値を、前記第２の式を
    前記第３の組のカメラ・パラメータ値および前記第３の
    組のイメージ導関数に関して表現された前記合焦イメー
    ジに対する第３の式に等しくすることにより得られる式
    に代入することにより、前記被写体の距離が唯一の未知
    の変数である式を得、（ｏ）ステップ（ｎ）において得
    た式を解いて、前記被写体の距離に対する第２の組の解
    を得、（ｐ）前記第１の組の解と前記第２の組の解とを
    交差させて、前記カメラからの被写体の距離を与える共
    通解を得ることを含むことを特徴とする請求項１３記載
    の方法。
25. 【請求項２５】 被写体の合焦イメージを１組のカメラ
    ・パラメータを特徴とするカメラの内部に形成される該
    被写体のぶれを生じたイメージから得る方法において、
    （ａ）前記カメラ・パラメータを第１の組のカメラ・パ
    ラメータ値にセットして、前記カメラ内部に前記被写体
    のイメージを形成し、第１のイメージを記録し、（ｂ）
    前記カメラ・パラメータを第２の組のカメラ・パラメー
    タ値にセットして、前記カメラ内部に前記被写体のイメ
    ージを形成し、第２のイメージを記録し、（ｃ）前記第
    １のイメージを予め処理して第１の正規化イメージを得
    て、該第１の正規化イメージが、前記第１の組のカメラ
    ・パラメータ値を特徴とする前記カメラの第１の点拡が
    り関数による前記被写体の合焦イメージの畳み込みと等
    しくなるようにし、（ｄ）前記第２のイメージを予め処
    理して第２の正規化イメージを得て、該第２の正規化イ
    メージが、前記第２の組のカメラ・パラメータ値を特徴
    とする前記カメラの第２の点拡がり関数の畳み込みと等
    しくなるようにし、（ｅ）前記第１の正規化イメージの
    １組の導関数を計算して第１の組のイメージ導関数を
    得、（ｆ）前記第２の正規化イメージの１組の導関数を
    計算して第２の組のイメージ導関数を得、（ｇ）前記第
    １の組のカメラ・パラメータ値、前記第２の組のカメラ
    ・パラメータ値、前記第１の組のイメージ導関数および
    前記第２の組のイメージ導関数を、前記第１の組のカメ
    ラ・パラメータ値および前記第１の組のイメージ導関数
    に関する前記合焦イメージに対する第１の式を前記第２
    の組のカメラ・パラメータ値および前記第２の組のイメ
    ージ導関数に関して表現された前記合焦イメージに対す
    る第２の式に等しくすることにより得る式に代入するこ
    とにより、前記被写体の距離が唯一の未知の変数である
    式を得、（ｈ）ステップ（ｇ）で得た式を解いて前記被
    写体の距離に対する第１の組の解を得、これにより距離
    を求める解においてフーリェ変換を計算することなく、
    （ｉ）前記カメラ・パラメータ値を第３の組のカメラ・
    パラメータ値にセットして、前記カメラ内部に前記被写
    体のイメージを形成し、第３のイメージを記録し、
    （ｊ）ステップ（ｈ）において得た距離に対して、前記
    第３の組のカメラ・パラメータ値および前記第３のイメ
    ージと一致する前記第１の組の解の項を決定して、カメ
    ラ・システムからの前記被写体の距離を得、（ｋ）前記
    第１の組のカメラ・パラメータ値、前記第１の組のイメ
    ージ導関数およびステップ（ｊ）で決定された前記カメ
    ラからの前記被写体の距離の諸値を、前記第１の式に代
    入して前記被写体の合焦イメージを得ることを含むこと
    を特徴とする方法。
26. 【請求項２６】 カメラからの被写体の距離を決定する
    装置であって、１組のカメラ・パラメータを特徴とする
    カメラと、該組のカメラ・パラメータを所要の値にセッ
    トするカメラ・コントローラと、前記組のカメラ・パラ
    メータに対する異なる値により記録される異なるイメー
    ジを正規化するイメージ正規化装置と、正規化されたイ
    メージの導関数を計算する導関数計算装置と、正規化さ
    れたイメージの異なる導関数の値とカメラ・パラメータ
    値を式に代入して、カメラ・システムからの前記被写体
    の距離について解くことができる式解明装置と、距離に
    対する２組の解を交差させて前記共通解を決定する組交
    差装置とを含むことを特徴とする装置。
27. 【請求項２７】 前記被写体が、前記組のカメラ・パラ
    メータを焦点パラメータ決定装置により決定される値に
    セットすることにより合焦されるように、前記カメラか
    らの前記被写体の距離に基く前記組のカメラ・パラメー
    タに対する値を決定する焦点パラメータ決定装置を更に
    設けることを特徴とする請求項２６記載の装置。
28. 【請求項２８】 入力として前記被写体のぶれを生じた
    イメージの１組の導関数、前記組のカメラ・パラメータ
    の値および前記カメラからの前記被写体の距離を取り、
    フーリェ変換を計算することなく逆畳み込み式を用い
    て、出力として前記被写体の合焦イメージを与える合焦
    イメージ決定装置を更に設けることを特徴とする請求項
    ２６記載の装置。