JP5866383B2

JP5866383B2 - 画像における焦点誤差推定

Info

Publication number: JP5866383B2
Application number: JP2013555638A
Authority: JP
Inventors: ウィルソンガイスラー; ヨハネスバージ
Original assignee: University of Texas System
Current assignee: University of Texas System
Priority date: 2011-02-25
Filing date: 2012-02-27
Publication date: 2016-02-17
Anticipated expiration: 2032-02-27
Also published as: KR20140057190A; KR101824936B1; EP2678999A2; CA2827236C; CN103503433A; MX2013009389A; WO2012161829A3; US20130329122A1; WO2012161829A2; CN103503433B; US8917346B2; CA2827236A1; JP2014511508A; EP2678999A4

Description

関連出願の相互参照
本出願は、すべての目的でその全体が参照により明示的に本明細書に組み込まれる、２０１１年２月２５日に出願された、「Defocus Estimation in Individual Natural Images」と題する、同時係属中の米国仮出願第６１／４４６５６６号の非仮特許出願である。

連邦支援の研究又は開発の下で行われた発明に対する権利に関する声明
米国政府は、米国国立衛生研究所助成金番号２Ｒ０１ＥＹ１１７４７の条項に従って、本発明に一定の権利を有することができる。

本発明は、自動焦点光学系に関し、より詳細には、光学系を介して受け取った画像における誤差の推定に関する。

自動焦点光学系（例えば、デジタルカメラ、デジタルビデオカメラ、顕微鏡、微細加工デバイス）は、完全に自動的に焦点を合わせるために、又は手動で選択されたポイント若しくはエリアに焦点を合わせるために、センサ、制御システム、及びモータを使用する。正確な焦点を決定するために自動焦点光学系が使用する焦点調節方法には、２つの主要なクラスが存在する。１つのクラスは、「能動」自動焦点調節と呼ばれる。このクラスの自動焦点調節は、信号（例えば、赤外光、超音波）を発することによって、焦点を決定する。音波を発する場合、被写体までの距離は、音波の反射における遅延を測定することによって計算される。赤外光を発する場合、標的距離は、被写体までの距離を三角測量することによって算出される。能動自動焦点調節法は、非常に低光量の条件において機能するが、非常に近い物体（オブジェクト）に焦点を合わせることができず（例えば、マクロ撮影）、また発せられた信号をガラスが反射するので、窓越しに焦点を合わせることができない。

他のクラスの自動焦点調節は、「受動」又は「画像ベース」自動焦点調節と呼ばれる。焦点は、光学系に入った画像を解析することによって決定される。したがって、受動自動焦点調節法は、一般に、超音波又は赤外光波などのいかなるエネルギーも被写体に向けて発しない。受動自動焦点調節の２つの主要な方法は、コントラスト測定及び位相検出である。

コントラスト測定は、画像センサ上の小さなエリア内のピクセルの強度差を測定することによって達成される。センサの隣接ピクセル間の強度差は、一般に、焦点誤差が減少するにつれて増加する。したがって、最大コントラストが検出されるまで、光学系を調整することができる。しかし、この焦点調節方法は、必要な焦点変更の推定値を取得するのではなく、探索するので、低速である。加えて、この方法は、コントラストが焦点誤差に完全に追随するという仮定に依存する。この仮定は、厳密には正しくない。さらに、コントラスト測定は、デフォーカス符号の推定を可能にしない。すなわち、コントラスト測定は、光学系が被写体の前方に焦点を合わせているのか、それとも被写体の後方に焦点を合わせているのかを計算しない。

位相検出自動焦点調節は、入射光を画像のペアに分割し、それらを比較することによって達成される。光学系は、光学系内の専用自動焦点調節センサに光を送り込むために、ビームスプリッタ、小さな２次ミラー、及び２つの光学プリズムを結合する。２つの光学プリズムは、レンズの反対側から来る光線を捕らえ、それらを自動焦点調節センサの方に方向転換させ、開口直径に類似する基線を有する単純な距離計を生成する。２つの画像は、その後、同様の光強度パターン（山及び谷）どうしが解析され、焦点誤差の大きさを決定し、また光学系が被写体の前方に焦点を合わせているのか、それとも被写体の後方に焦点を合わせているのかを決定するために、位相差が計算される。位相検出法は、高速で正確であり、デフォーカス符号を推定するが、特別なビームスプリッタ、ミラー、プリズム、及びセンサを必要とするので、実施するのに大きなコストがかかる。さらに、特別なハードウェアは、光学系のサイズ及び重量を増加させる。加えて、そのような方法は、「ライブビュー」モード（デジタルカメラの表示画面など、光学系の表示画面を、ビューファインダとして使用することを可能にする機能）で動作することができない。

しかし、焦点誤差推定を、反復的な探索を行わず、また追加の光学部品を用いずに実行する技術が開発できれば、コントラスト法及び位相検出法の難点を避けながら、それらの方法の利益を得ることができる。

本発明の一実施形態では、光学系の焦点誤差は、物体の画像データを光学系のセンサアレイ上で受け取った後、光学系の１又は２以上のデフォーカスフィルタの各々についてのフィルタ応答値を計算して、計算された応答値が、受け取った画像データのフィルタ応答ベクトルを構成するようにし、その後、可能な各デフォーカスレベルの確率を識別し、これらの確率からデフォーカスレベルを推定することによって推定される。このように、焦点誤差は、対物レンズとセンサアレイの間の光路を分岐させることなく推定され、決定の最終ステップは、受け取った画像データのフィルタ応答ベクトルに対する相対的に単純な代数計算になる。したがって、焦点誤差は、１つの算出ステップで決定され、コントラスト技術と比較してプロセスがはるかに効率的になり、位相検出技術の複雑なハードウェア構成要素も必要としない。

本発明の他の態様では、画像における焦点誤差を推定するための方法は、画像の統計的記述を取得するために、１組の画像パッチを収集するステップを含む。方法は、ある範囲のデフォーカスレベルの中の複数のデフォーカスレベルの各々別に、点拡がり関数（point-spread function）によって光学系を表現するステップをさらに含む。加えて、方法は、少なくとも波長感度関数（wavelength sensitivity function）及び空間サンプリング関数（spatial sampling function）によってセンサアレイを表現するステップを含む。加えて、方法は、複数のデフォーカスレベルの各々別に、点拡がり関数を用いて、センサアレイ上の１組のデフォーカスされた画像パッチを算出するステップを含む。さらに、方法は、センサアレイの波長関数、空間サンプリング関数、及びノイズ関数を使用して、センサアレイ上の１組のデフォーカスされた画像パッチの各々をサンプリングするステップを含む。さらに、方法は、与えられたクラスのセンサについて、センサアレイから応答を取得するステップを含む。加えて、方法は、複数のデフォーカスレベルの各々別に、センサアレイからのセンサ応答から１組のデフォーカスフィルタを生成するステップを含む。加えて、方法は、１組の画像パッチについて、複数のデフォーカスレベルの各々別に、フィルタ応答分布のパラメータ記述を決定するステップを含む。加えて、方法は、任意のフィルタ応答ベクトルとフィルタ応答分布のパラメータ記述とから、プロセッサが焦点誤差を算出するステップを含む。

上で説明した方法の実施形態の他の形態は、システム及びコンピュータプログラム製品において提供することができる。

上では、以下の本発明の詳細な説明をより良く理解できるように、本発明の１又は２以上の実施形態の特徴及び技術的利点をむしろ概略的に説明した。本発明のさらなる特徴及び利点は、これ以降で説明され、それらは、本発明の特許請求の範囲の主題を形成し得る。

以下の詳細な説明を以下の図面と併せて考察するときに、本発明に対するより良い理解を得ることができる。
本発明の一実施形態に従って構成されたシステムの概略図である。図１のシステムにおいて推定焦点誤差を決定するための、図１のシステムの動作を説明するフロー図である。図１のシステムの焦点誤差決定を利用する、デバイス内での焦点調節を説明するフロー図である。本発明の一実施形態に従って構成されたコンピュータシステムの詳細を示すブロック図である。本発明の一実施形態による、画像における焦点誤差の推定を説明するフロー図である。本発明の一実施形態による、デフォーカスフィルタの生成を説明するフロー図である。図１に示されるような説明的な光学系のためのデフォーカスフィルタを示す図である。図７のフィルタのうちの２つについての、画像のトレーニングセットにおける、スペクトルに対する応答を示す図である。図８のフィルタ応答に適合するガウス分布を示す図である。画像のトレーニングセットについての、デフォーカス推定値を示す図である。

本発明は、画像におけるデフォーカス（すなわち焦点誤差）を推定するための方法、システム、及びコンピュータプログラム製品を含む。本発明の一実施形態では、光学系は、点拡がり関数の波動光学モデルによって表現され、センサアレイは、各センサクラスについての波長感度関数、空間サンプリング関数、及びノイズ関数によって表現される。シャープな画像パッチのトレーニングセットが収集される。点拡がり関数は、各センサクラスについて、指定された範囲内にある複数のデフォーカスレベルの各々別に算出される。さらに、点拡がり関数は、デフォーカスレベルの各々別に、各画像パッチに適用され、その後、画像パッチは、センサアレイ内のセンサの各タイプについて、波長感度関数及び空間サンプリング関数を使用してサンプリングされる。センサアレイ内の各タイプのセンサの各センサ要素からのサンプリングされた応答にノイズが加えられる。センサアレイからのセンサ応答は、統計的学習手順を介して、１組の最適デフォーカスフィルタを生成するために使用される。その後、最適デフォーカスフィルタは、トレーニングセット内の各画像パッチに対するセンサ応答に適用される。合同フィルタ応答分布が、画像パッチのトレーニングセット内の複数のデフォーカスレベルの各々別に決定され（すなわち、条件付き最尤分布）、パラメトリック関数（例えば、多次元ガウス関数）を用いて特徴付けられる。

先のステップは、どのように最適デフォーカスフィルタが学習されるかを示している。以下で説明するステップは、任意の画像パッチについての最適デフォーカス推定を取得するために、どのように最適デフォーカスフィルタが使用されるかを示している。

任意の焦点誤差を有する任意のパッチの焦点誤差を推定するため、任意の画像パッチに対するフィルタ応答ベクトル（すなわち、各フィルタの応答）が計算される。フィルタ応答ベクトルとトレーニングフィルタ応答分布のパラメータ記述とが、指定された範囲内の可能な各デフォーカスレベルの確率を決定するために使用される。この確率分布から、焦点誤差の連続ベイズ最適推定値（continuous Bayes’ optimal estimate）が取得される。このようにして、位相検出自動焦点調節法の高価なハードウェアを必要とせずに焦点誤差推定を実行するためのソフトウェア技術が開発された。このソフトウェア技術は、「ライブビュー」モードに適用でき、またセルフォンカメラ、ミラーレスレンズ交換式カメラ（mirrorless-lens-interchangeable camera）、コンパクトカメラ（point-and-shoot camera）、及び現在はコントラスト測定自動焦点調節を使用している、小型すぎる又は価格面で安すぎるために位相検出自動焦点調節を実施できない、他の撮像システムにおいて実施できるという、さらなる利点を有する。

以下の説明では、本発明を完全に理解することが可能なように、数々の特定の詳細について説明する。しかし、そのような特定の詳細を有さずとも本発明を実施できることは、当業者には明らかであろう。他の例では、不必要な詳細の中に本発明を埋没させないために、よく知られた回路はブロック図形式で示された。ほとんどの場合、タイミング上の検討事項などについて考察する詳細は、本発明の完全な理解を得るためには必要ではなく、当業者であればスキルとして身につけているので、そのような詳細は省略される。

図１は、本発明の一実施形態に従って構成されたシステムの概略図である。システム１００は、外部物体１０２からの光を光学系１０４内に受け入れ、光学系１０４は、物体光をセンサアレイ１０６上に結像させる。光学系は、図１では、光学系１０４の焦点を調整するために互いに対して可動である、対物レンズ１０８と瞳レンズ１１０によって概略的に表されているが、センサアレイ１０６上に物体光が焦点を結ぶように調整できる、任意の数及び構成の光学要素を使用できることを理解されたい。センサアレイ１０６のために様々な構成要素を利用することができ、センサアレイ１０６は、例えば、長波長の光（例えば赤）、中波長の光（例えば緑）、又は短波長の光（例えば青）など、所定の波長の光を受け取ったのに応答して、電気エネルギーを発生させる、光電気センサを備えることができる。典型的なシステム１００では、センサアレイ１０６は、赤色光用の複数のセンサと、青色光用の複数のセンサとを含む。アレイ内の各センサは、それが受け取った光の強度に従って、小さな電流を発生させる。各センサは、受け取ったセンサ画像のピクセルと呼ばれる。

アレイ１０６の各センサからの電流は、算出のためにプロセッサ１１２に提供される。プロセッサは、メモリなどのデータストア１１４から読み取られる、以下でさらに説明される、焦点誤差データを利用する。プロセッサは、メモリ１１４内のデータに基づいた処理に従って、受け取った画像における焦点誤差の符号及び大きさを決定し、受け取った画像の焦点誤差を決定する。プロセッサ１１２は、受け取った画像が実質的にセンサアレイ１０６において焦点を結ぶように、方向符号補償（例えば、後方焦点又は前方焦点）及び大きさ補償を実施する光学系１０４の調整を行うことによって、決定された焦点誤差を補償することができる。すなわち、センサアレイから受け取った１組の画像データに基づいて、プロセッサ１１２は、光学系の１つの作動において、受け取った画像の焦点が合うようにするのに必要とされる、光学系１０４に対する調整を計算することができる。光学系を通過する光路は、物体１０２からセンサアレイ１０６までの光路が、収集された光を消散させる介入構造によって妨害されない経路であるという意味で、直接的な光路である。すなわち、光路は、ビームスプリッタなどを含まない。したがって、コントラスト焦点システムの反復的焦点技術が回避され、位相検出焦点システムの複雑な光路及びプリズムは必要とされない。

本明細書で説明する焦点誤差推定を利用するシステム１００は、光学系を通過した光を受け取るセンサアレイを含む様々なデバイスにおいて具現することができる。例えば、光学系は、デジタルカメラ内に配置することができ、デジタルカメラは、感光センサアレイと、推定された焦点誤差に従って光学系の焦点を調整できるレンズ焦点システムとを有する。本明細書で説明される焦点誤差推定を利用できる他のデバイスは、デジタル顕微鏡を含み、デジタル顕微鏡は、感光センサアレイと、推定された焦点誤差に従って顕微鏡の光学系の焦点を調整できるレンズ焦点システムとを有する。同様に、例示的なデバイスは、デジタル望遠鏡を含むことができ、デジタル望遠鏡は、感光センサアレイと、推定された焦点誤差に従って望遠鏡の光学系の焦点を調整できるレンズ焦点システムとを有する。本明細書で説明される焦点誤差推定を利用できる別の例示的なデバイスは、デジタルビデオカメラを含むことができ、デジタルビデオカメラは、感光センサアレイと、ビデオのフレームを含む画像をセンサアレイ上で受け取り、推定された焦点誤差に従ってビデオカメラの光学系の焦点を調整できるレンズ焦点システムとを有する。すなわち、ビデオの各フレームは、本明細書で説明される技術を使用して、焦点を合わせることができる。デジタルカメラシステムと画像入力を受け取る解析システムとによって制御される多種多様な機械的デバイスは、焦点推定のための本明細書で説明される技術とデバイス制御とを使用することから利益を得ることができる。例えば、微細加工、ロボット工学、及びエキスパートシステムは、本明細書で説明される技術から利益を得ることができる。本明細書で説明される焦点誤差決定技術とともに使用するのに適した他のデバイス及びシステムを当業者は思いつくであろう。

図２は、焦点誤差を決定するための説明される動作を説明するフロー図である。第１の動作２０２において、画像データが外部物体から光学系を通過してセンサアレイにおいて受け取られる。画像データがセンサアレイの各ピクセルから生成された後、次の動作２０４において、光学系のための１又は２以上のデフォーカスフィルタの各々別に、受け取った画像データのフィルタ応答値が計算され、計算された応答値は、受け取った画像データのフィルタ応答ベクトルを構成する。説明する実施形態では、以下でさらに説明する統計的学習手法を使用して、１組のデフォーカスフィルタが識別される。アレイ内の１又は２以上のセンサタイプについて、フィルタ応答値が算出される。例えば、センサアレイは、赤、青、又は緑である光波にそれぞれ敏感な感光ピクセルを含むことができる。焦点誤差の符号を推定すべき場合、フィルタは、それら３つのセンサチャネルのうち任意に選択された少なくとも２つからの画像データを処理する。大きさだけを推定すればよい場合、フィルタは、センサチャネルの１又は２以上からのデータを処理する。

焦点誤差を推定する際、次に、システムは、観測されたフィルタ応答ベクトルが与えられると、指定された範囲内にある可能な各デフォーカスレベルの確率を計算する。これは、フロー図の番号２０６のボックスによって表されている。デフォーカス処理における次のステップは、ボックス２０８において、各デフォーカスレベルの算出された確率に基づいて、受け取った画像データの焦点誤差の推定値を取得することである。確率分布から焦点誤差のベイズ最適推定値を取得するために、標準的な手法（例えば、最小平均２乗誤差（ＭＭＳＥ）推定値又は最大事後（ＭＡＰ）推定値）が使用される。このようにして決定された焦点誤差は、焦点誤差の符号（方向）と焦点誤差の大きさの両方を提供することができる。トレーニング刺激に対するフィルタ応答ベクトルを生成する数学的詳細については以下でさらに説明する。

図３は、デバイスに適用されるような焦点誤差推定技術の動作を説明するフロー図を提供している。

第１のボックス３０２に対応する図３の第１の動作では、画像受け取りプロセスが、デバイスのユーザによって開始される。例えば、デバイスがデジタルカメラである場合、ユーザは、画像キャプチャを開始するほど十分にではないが、シャッタボタンを十分に押し下げることで、画像処理を開始することができる。そのような「画像プレビュー」動作は、従来のデジタルカメラにおいてよく知られている。同様の画像プレビュー動作は、本発明に従って構築されたデジタルカメラ、ビデオカメラ、デジタル顕微鏡、又はデジタル望遠鏡において利用可能とすることができる。ボックス３０４における次の動作は、例えば、図２の動作に関連して説明する本明細書で説明する技術を使用して、受け取った画像における推定される焦点誤差を決定することである。焦点誤差を決定した後、ボックス３０６において、デバイス内の光学系の焦点が、推定された誤差に適合した、外部物体が十分適切に焦点を結ぶように光学系の構成要素を動かす、単一の操作で調整される。その後、ユーザは、判断ボックス３０８における結果が「はい」であれば、別の画像の処理に進むことができ、又はユーザは、判断ボックスにおける結果が「いいえ」であれば、受け取った画像の画像キャプチャを続けることができる。結果が「はい」の場合、デバイス動作は、ボックス３０２における画像受け取りプロセスに戻る。

図４は、本発明の一実施形態に従って構成されたコンピュータシステムの詳細を示すブロック図である。図４は、本発明を実施するためのハードウェア環境を表す、コンピュータシステム４００のハードウェア構成の一実施形態を示している。図４では、コンピュータシステム４００は、システムバス４０２によって他の様々な構成要素に接続されるプロセッサ４０１を含むことができる。図４の様々な構成要素の制御を提供し、それらの機能を調整するために、オペレーティングシステム４０３が、プロセッサ４０１上で動作することができる。本明細書の説明に従って実行されるべき様々な機能又はサービスを実施する、本発明の原理に従ったアプリケーション４０４を提供するために、プログラム命令を、オペレーティングシステム４０３を介して、プロセッサ４０１によって実行することができる。アプリケーション４０４は、例えば、以下でさらに説明するように、画像におけるデフォーカスを推定するための機能及び動作を含むことができる。

図４を再び参照すると、リードオンリメモリ（「ＲＯＭ」）４０５を、システムバス４０２に接続することができ、ＲＯＭ４０５は、コンピュータシステム４００のある基本機能を制御する基本入出力システム（「ＢＩＯＳ」）を含むことができる。ランダムアクセスメモリ（「ＲＡＭ」）４０６及びディスクアダプタ４０７も、システムバス４０２に接続することができる。オペレーティングシステム４０３及びアプリケーション４０４を含むソフトウェア構成要素は、コンピュータシステム４００のメインメモリとすることができるＲＡＭ４０６に、実行のためにロードできることに留意されたい。ディスクアダプタ４０７は、記憶ユニット４０８、例えば、メモリユニット、ハードディスクドライブ、又はソリッドステートドライブと通信する、統合ドライブエレクトロニクス（「ＩＤＥ」）アダプタなどとすることができる。以下でさらに説明する画像におけるデフォーカスを推定するためのプログラムは、記憶ユニット４０８又はアプリケーション４０４内に常駐できることに留意されたい。

コンピュータシステム４００は、バス４０２に接続された通信アダプタ４０９をさらに含むことができる。通信アダプタ４０９は、ネットワークインタフェースを介して、バス４０２を外部ネットワーク（図示されず）と相互接続することができ、それによって、コンピュータシステム４００が他の同様のデバイスと通信することを可能にする。代替として、コンピュータシステム４００は、カメラ又はデジタル顕微鏡などのデバイス内に組み込むことができ、各デバイスは、物体からの光をセンサアレイ上に向ける光学系を有し、光学系は、本明細書の説明に従って、適切に焦点を結ぶように調整することができる。

入出力（Ｉ／Ｏ）デバイスも、ユーザインタフェースアダプタ４１０及びディスプレイアダプタ４１１を介して、コンピュータシステム４００に接続することができる。キーボード４１２、マウス４１３、及びスピーカ４１４はすべて、ユーザインタフェースアダプタ４１０を介して、バス４０２に相互接続することができる。これらのデバイスのいずれかを介して、データをコンピュータシステム４００に入力することができる。ディスプレイモニタ４１５は、ディスプレイアダプタ４１１によってバス４０２に接続することができる。このように、ユーザは、キーボード４１２又はマウス４１３を介して、コンピュータシステム４００に入力を提供することができ、ディスプレイ４１５又はスピーカ４１４を介して、コンピュータシステム４００から出力を受け取ることができる。

当業者が理解するように、本発明の態様は、システム、方法、又はコンピュータプログラム製品として具現することができる。したがって、本発明の態様は、完全なハードウェア実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなど）完全なソフトウェア実施形態、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができ、本明細書では、これらはすべて、一般に「回路」、「モジュール」、又は「システム」と呼ばれることがある。さらに、本発明の態様は、コンピュータ可読プログラムコードがそこに具現された１又は２以上のコンピュータ可読媒体内に具現されたコンピュータプログラム製品の形態を取ることができる。

１又は２以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体、又は非一時的なコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、限定することなく、電子、磁気、光、電磁気、赤外線、若しくは半導体によるシステム、装置、若しくはデバイス、又は上記の任意の適切な組み合わせとすることができる。非一時的なコンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）には、ポータブルコンピュータディスケット（portable computer diskette）、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリメモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）などのデータ記憶媒体、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせが含まれる。本明細書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらとの関連で使用されるプログラムを含むこと、又は記憶することができる、任意の有形な媒体とすることができる。

コンピュータ可読信号媒体は、例えば、ベースバンド内に、又は搬送波の一部として、コンピュータ可読プログラムコードがそこに具現された伝搬データ信号を含むことができる。そのような伝搬信号は、限定することなく、電磁気、光、又はそれらの任意の適切な組み合わせを含む、様々な形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、命令実行システム、装置、若しくはデバイスによって、又はそれらとの関連で使用されるプログラムを伝達、伝搬、又は移送できる、任意のコンピュータ可読媒体とすることができる。

コンピュータ可読媒体上に具現されるプログラムコードは、限定することなく、無線、有線、光ファイバケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含む、任意の適切な媒体を使用して、送信することができる。

本発明の態様に関する動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、又はＣ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似のプログラミング言語などの従来の手続型プログラミング言語とを含む、１又は２以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全部をユーザのコンピュータ上で、一部をユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、一部をユーザのコンピュータ上、一部をリモートコンピュータ上で、又は全部をリモートコンピュータ若しくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介して、ユーザのコンピュータに接続することができ、又は（例えば、インターネットサービスプロバイダを使用し、インターネットを介して）外部コンピュータへの接続を行うことができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明することができる。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータの、専用コンピュータの、又は機械を製造するための他のプログラム可能データ処理装置のプロセッサに提供することができ、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令は、フローチャート及び／又はブロック図の１又は２以上のブロックで指定される機能／動作を実施するための手段を生成する。

コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスに特定の方法で機能するように指示できる、これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶することもでき、コンピュータ可読媒体に記憶された命令は、フローチャート及び／又はブロック図の１又は２以上のブロックで指定される機能／動作を実施する命令を含む製造物を生成する。

コンピュータプログラム命令は、コンピュータ、他のプログラム可能装置、又は他のデバイス上で実行される一連の動作ステップがコンピュータ実施プロセスを生成するように、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスにロードすることもでき、コンピュータ又は他のプログラム可能装置上で実行される命令は、フローチャート及び／又はブロック図の１又は２以上のブロックで指定される機能／動作を実施するためのプロセスを提供する。

背景技術の欄で述べたように、位相検出自動焦点調節は、入射光を画像のペアに分割し、それらを比較することによって達成される。システムは、光を光学系内の専用自動焦点調節センサに送るために、ビームスプリッタ、小さな２次ミラー、及び２つの光学プリズムを結合する。２つの光学プリズムは、レンズの反対側から来る光線を捕らえ、それらを自動焦点調節センサの方に方向転換させ、レンズ直径に等しい基線を有する単純な距離計を生成する。２つの画像は、その後、同様の光強度パターン（山及び谷）どうしが解析され、物体の焦点位置が前方にあるのか、それとも後方にあるのかを見出すために、位相差が計算される。位相検出法は、高速で正確であり、デフォーカス符号を推定するが、特別なビームスプリッタ、ミラー、プリズム、及びセンサを必要とするので、実施するのに大きなコストがかかる。さらに、特別なハードウェアは、光学系のサイズ及び重量を増加させる。加えて、そのような方法は、ビデオモード又は「ライブビュー」モード（デジタルカメラの表示画面など、光学系の表示画面を、ビューファインダとして使用することを可能にする機能）で動作することができない。しかし、最適な焦点誤差推定を実行するソフトウェア技術が開発できれば、位相検出自動焦点調節法の高価なハードウェア要件はもはや必要ない。さらに、光学系の重量が減少する。

したがって、本明細書で説明する焦点誤差推定を使用して、現在はコントラスト検出焦点システムを使用している、モバイル電話用のカメラシステム、及びミラーのない交換式レンズカメラ（すなわち、一眼レフではないカメラ）などの、より小さなシステムにおいて、相対的により大きな位相検出システムに時として関連付けられる性能改善を得ることができる。

本発明の原理は、コントラスト測定によって必要とされる低速の反復的手順を行わず、位相検出自動焦点調節法の高価なハードウェア要件を要しない、以下でさらに説明する「ライブビュー」モードに適用できる、焦点誤差推定を実行するための技術を提供する。図５は、光学系を介して取得した画像における焦点誤差を推定するための方法のフローチャートである。図６は、最適デフォーカスフィルタを生成するための方法のフローチャートである。

図５を参照すると、第１の動作５０１は、光学系（例えば、デジタルカメラ又はデジタル顕微鏡）を点拡がり関数によってモデル化、又は表現することを示している。

光学系のモデリングについて論じる前に、デフォーカスの概念を簡潔に説明しておくのが適切と考える。ターゲット画像領域のデフォーカスは、以下の式（ＥＱ１）に示されるように、レンズ系の現在の倍率とターゲット領域に焦点が合うようにするのに必要な倍率との間の差として定義される。
ΔＤ＝Ｄ_{ｆｏｃｕｓ}−Ｄ_{ｔａｒｇｅｔ} （ＥＱ１）
すなわち、本明細書で説明する技術は、自然画像若しくはコンピュータ生成画像（又は他の任意のクラスの画像）などの画像の各局所領域における、デフォーカスとも呼ばれる焦点誤差（ΔＤ）を推定する。

多くの視覚的推定作業と同様に、デフォーカスの推定は、画像のぼけがデフォーカスによるものか、それともシーンの何らかの特性（例えば霧）によるものかを、画像だけから確実に決定することは不可能である、という「逆光学」問題に悩まされる。焦点誤差推定は、符号の曖昧性に悩まされることがある。ある条件の下では、光屈折距離（dioptric distance）が焦点距離より近くても、又は遠くても、その距離が同じである点ターゲットは、等しく結像される。しかし、本明細書で説明する技術が問題解決を可能にするために利用する数々の制約が存在する。

焦点誤差推定のための説明する手法では、シーンからの入力は、光学系のセンサアレイ面内の各位置ｘ＝（ｘ，ｙ）における、各波長λについての放射輝度を与える、理想化された画像Ｉ（ｘ，λ）によって表すことができる。一般に、光学系は、理想化された画像を悪化させ、ｐｓｆ（ｘ，λ，ΔＤ）によって与えられる点拡がり関数によって表現することができ、点拡がり関数は、波長λ及びデフォーカスΔＤの点ターゲットによって生成される、センサアレイ全域における光の空間分布を記述する。点拡がり関数は、その形式を決定する要因をより明示的にするために、以下の式（ＥＱ２）のように拡張することができ、
ｐｓｆ（ｘ，λ；ａ（ｚ），Ｗ（ｚ，λ，ΔＤ））（ＥＱ２）
ここで、ａ（ｚ）は、開口の形状、大きさ、及び透過率を指定し、Ｗ（ｚ，λ，ΔＤ）は、波面収差関数であり、波面収差関数は、開口面内の位置ｚと、光の波長λと、デフォーカスレベルΔＤと、レンズ系によって導入される他の収差とに依存する。デフォーカスレベルは、画像が焦点ずれを起こしている場合、それが何ジオプトリかを示す。開口関数は、レンズ系の光学的品質に対する回折の影響を決定する。波面収差関数は、回折に起因しない画像品質の悪化を決定する。完璧なレンズ系（すなわち、回折及びデフォーカスによってのみ制限されるレンズ系）は、ターゲット物体上の点から発した光を収束球波面に変換する。波面収差関数は、瞳開口内の各点において、実際の収束波面が完璧な球波面からどれだけ異なるかを記述する。

次の動作５０２において、センサアレイが、センサの各クラスｃについての波長感度関数ｓ_ｃ（λ）、空間サンプリング関数ｓａｍｐ_ｃ（ｘ）によって表現され、センサのクラスは、同じ波長感度プロファイル（スペクトル感度関数）を有するセンサを示す。例えば、センサの１つのクラスは、長波長（例えば赤色）光を感知するために使用することができ、一方、別のクラスは、短波長（例えば青色）光を感知するために使用することができる。これら２つのセンサクラスは、異なる波長感度関数を有さなければならない。一実施形態では、色収差を利用するために、２又は３以上のセンサクラスが使用され、色収差は、本明細書でさらに説明するように、デフォーカスの符号（すなわち、焦点誤差の方向）を決定するために使用することができる。すなわち、色収差を利用するために、２又は３以上のセンサクラスが使用され、色収差は、物体の焦点が前方にあるのか、それとも後方にあるのかを決定するために使用することができ、加えて、引き続き、デフォーカスの大きさを推定する。別の実施形態では、単色収差（例えば、非点収差及び球面収差）を利用するために、１又は２以上のセンサクラスが使用される。単色収差及び色収差は、（自然画像、又はコンピュータ生成画像などの画像を含む、他の任意のクラスの画像などの）画像におけるデフォーカスを推定するために、同時に使用することができる。空間サンプリング関数ｓａｍｐ_ｃ（ｘ）は、特定のクラスのセンサについて、（本明細書では「パッチ」と称する）画像の各部分をサンプリングするために使用される。

次の動作５０３において、最適なデフォーカスフィルタが決定される。一実施形態では、デフォーカスの診断に最も役立つ空間周波数フィルタが発見され、その後、本明細書において以下で説明するように、連続的な焦点誤差推定値を取得するために、そのフィルタ応答が使用される。最適なデフォーカスフィルタを生成するための動作５０３のサブステップについての詳細な説明を、図６を併用して以下で行う。

図６を参照すると、第１の動作６０１において、ランダムに選択された１組のよく焦点が合った（すなわち鮮明な）画像パッチ（例えば画像の部分）が収集される。その後、画像パッチは、デフォーカスレベルの範囲内にある各デフォーカスレベル別に、点拡がり関数を用いてデフォーカスされる。例えば、典型的なデジタルカメラシステムでは、デフォーカスレベルは、約−２．２５ジオプトリから約２．２５ジオプトリまでの範囲など、デフォーカスレベルのある範囲内にあることができる。デフォーカスレベルの範囲は、光学系の焦点範囲に一致することができる。デフォーカスレベルの範囲は、ジオプトリ値が離散的に（例えば、ジオプトリ値が０．２５ずつ）増加するように配列される。増加ジオプトリのステップサイズは、デバイスに良好な連続推定性能を保証するために、必要に応じて調整すべきである。より具体的には、デフォーカスレベルの範囲、及び離散的なジオプトリステップの間隔は、焦点誤差推定値算出を実行するシステムの利用可能な絞り設定及び焦点範囲に従って、事前に決定される。当業者によく知られているように、システム資源及び適用例（例えば、デジタルカメラ、デジタル顕微鏡、デジタル望遠鏡、又はデジタルビデオカメラ）に従って、デフォーカスレベルと増加ジオプトリのステップの他の範囲も選択される。

任意の個別画像についてのセンサアレイデータを構成する画像パッチは、一般に、その画像内の任意のピクセルパッチエリアに制限されることに留意されたい。例えば、パワースペクトルの算出、及び変換などが実行されるパッチエリアは、ユーザが見る光学系の焦点レチクルに対応する画像エリアを含むことができる。そのようなパッチエリアのサイズは、一般に、画像の中央に配置された６４×６４ピクセルエリア、又は１２８×１２８ピクセルエリアのオーダにある。

次の動作６０２において、各画像パッチに対して各デフォーカスレベル別に、点拡がり関数が適用される。

次の動作６０３において、デフォーカスされた各画像パッチが、センサの各クラスｃについての波長感度関数ｓ_ｃ（λ）及び空間サンプリング関数ｓａｍｐ_ｃ（ｘ）によって表現されるセンサアレイによってサンプリングされる。

加えて、ノイズ関数を算出に含めることができる。ノイズ関数は、例えば、光学系内のセンサの応答におけるノイズなど、光学系におけるノイズレベルの模倣（代用）として追加されるノイズのランダム値を含むことができる。

次の動作６０４において、センサの与えられたクラスについてのセンサアレイからの応答が取得される。次の動作６０５において、デフォーカスレベルの各々別に、センサアレイからの応答から、光学デフォーカスフィルタが生成される。光学系のためのデフォーカスフィルタの一般的な数は、６から８である。デフォーカスフィルタの数は、利用可能なシステム資源及び動作の所望の精度によって決定される。上で言及したように、デフォーカスフィルタは、統計的学習手法によって決定することができる。デフォーカスフィルタは、焦点誤差の診断に役立つトレーニングセット内の画像の特徴を表現する。

一実施形態では、最適なデフォーカスフィルタは、次元縮小のためのタスク中心の統計的手法である、精度最大化分析（ＡＭＡ，Accuracy Maximization Analysis）と呼ばれる手法によって取得される。ＡＭＡ法は、主成分分析（ＰＣＡ）など、次元縮小のための従来の方法よりも性能が大幅に優れている。実際、ＡＭＡ法は、デフォーカス推定のタスクを実行するための最適なフィルタ（すなわちベース）を返す。ＡＭＡ法は、例えば、Geisler,W.S.;Najemnik,J.; and Ing, A.D.(2009) in Optimal Stimulus Encoders for Natural Tasks, Journal of Vision 9(13):17,1-16（「AMA document」）において説明されている。AMA documentは、参照により本明細書に組み込まれる。

一実施形態では、センサの与えられたクラスについての応答の空間パターンは、以下の式（ＥＱ３）のようになる。

（ＥＱ３）

ここで、＊は、ｘにおける２次元畳み込みを表し、η_ｃ（ｘ）は、センサクラスｃのノイズ関数を表す。デフォーカスは、利用可能なセンサクラスについての、ＥＱ３によって与えられる、応答の空間パターンから推定される。

上記の式ｒ_ｃ（ｘ）の代替の適切な近似は、以下のようにして（ＥＱ３Ａ）取得することができる。
ｒ_ｃ（ｘ）＝［Ｉ_ｃ（ｘ）＊ｐｓｆ_ｃ（ｘ，ΔＤ）］ｓａｍｐ_ｃ（ｘ）＋η_ｃ（ｘ）（ＥＱ３Ａ）
ここで、式ＥＱ３Ａによるｒ_ｃ（ｘ）の近似は、センサクラスｃのセンサ応答を与え、各画像チャネルは、各ピクセルにおける波長分布とセンサ波長感度とのドット積を取ることによって取得され、η_ｃは、センサクラスｃのノイズ関数を表す。この計算から得られるセンサ応答は、「カラーチャネル」センサ応答と呼ばれる。

センサアレイから受け取ったデータは、画像の各パッチ別、及び各デフォーカスレベル別のセンサ応答のパワースペクトルを見ることによってなど、デフォーカスをどのように推定すべきかを学習するために使用することができる。一実施形態では、センサ応答のパワースペクトルは、サンプリングされた画像パッチ別に変換を実行することによって取得することができる。変換は、例えば、高速フーリエ変換（ＦＦＴ）を含むことができ、例えば、コサイン変換又はハートレー変換（Hartley transform）など、他の変換も可能である。当業者には、他の適切な変換も知られていよう。このように、画像の与えられたパッチにおける空間周波数内容（すなわち、細かい経過詳細の相対量）を異なるデフォーカスレベルを特徴付ける相対量と比較できることがある。

デフォーカスの大きさ及び符号をともに推定するのに色収差が使用できるように、２以上のセンサクラスを有するセンサアレイのためのデフォーカスフィルタを決定することができる。加えて、デフォーカスの大きさ及び符号をともに推定するのに単色収差が使用できるように、１つのセンサクラス内で異なる定位ごとに決定されたデフォーカスフィルタを使用することができる。

図５に戻ると、動作５０４において、図６の第１の動作６０１において受け取った画像パッチなどの、画像パッチのトレーニングセットが、図６の動作６０５において生成されたフィルタに適用される。

図５の次の動作５０５において、デフォーカスレベルについての、画像パッチに対するフィルタ応答の合同確率分布が推定される。具体的には、デフォーカスレベル別に、サンプル平均及び共分散行列を計算することによって、フィルタ応答をガウス分布に適合させる。一実施形態では、デフォーカスレベル別に、ベクトルＲによって表される応答のベクトルが、センサアレイから出力される。観測されたフィルタ応答ベクトルＲを与えると、式（ＥＱ４）にあるように、１組の離散的なデフォーカスレベルにわたって事後確率の加重和を算出することによって、連続的なデフォーカス推定値が取得される（動作５０６との関連で以下でさらに説明する）。

（ＥＱ４）

ここで、ΔＤ_ｊは、トレーニングされるＮ個のデフォーカスレベルの１つであり、ｐ（ΔＤ_ｊ｜Ｒ）は、観測されたフィルタ応答のベクトルＲを与えた場合の、そのデフォーカスレベルの事後確率である。色収差が低レベルであるときに起こるような双峰性を事後確率分布がしばしば見せる場合、他の推定方法（例えば、ＭＡＰ推定）がより適していることがあり、それは、色収差が低レベルであるときは、デフォーカス符号を推定することがより困難になるからである。ベイズの法則が、式（ＥＱ５）にあるように、各特定のデフォーカスレベルΔＤ_ｊの事後確率を与える。

（ＥＱ５）

ここで、ｐ（Ｒ｜ΔＤ_ｊ）は、そのデフォーカスレベルを与えた場合の、観測されたフィルタ応答ベクトルの尤度であり、ｐ（ΔＤ_ｊ）は、そのデフォーカスレベルの事前確率である。一実施形態では、各デフォーカスレベルの尤度は、平均ベクトル及び共分散行列Σ_ｊを有する、（フィルタ当たり１次元の）多変量ガウス分布であることが仮定される（式ＥＱ６）。
ｐ（Ｒ｜ΔＤ_ｊ）＝ｇａｕｓｓ（Ｒ；μ_ｊ，Σ_ｊ）（ＥＱ６）
ここで、μ_ｊ及びΣ_ｊは、原フィルタ応答のサンプル平均及び共分散行列に設定される。フィルタ応答分布の他のパラメータ記述が、より良い性能を提供することがある。デフォーカスレベルの事前確率が等しい場合、事前確率は、ＥＱ５から消去される。しかし、多くの事例では、異なるデフォーカスレベルの事前確率は、焦点距離を考慮した場合は特に、等しくない。例えば、レンズが光学的無限遠に焦点を結ぶ場合、デフォーカスが正となる（すなわち、ターゲットが光学的無限遠の向こうに存在する）確率はゼロである。この情報は、推定値の精度を高めるために使用することができる。

トレーニングセット内の離散的なデフォーカスレベルの数を増やすことによって、連続的な推定値の精度が高まる。すなわち、レベルの数が増えるにつれて、離散的なデフォーカスレベルの識別は、連続的な推定と等価になる。しかし、離散的なデフォーカスレベルの数を増やすことによって、トレーニングセットのサイズ、及びフィルタ学習の算出の複雑さが増加する。実際には、例えば、２ｍｍの開口を用いる場合、トレーニングのために０．２５のジオプトリステップを使用し、続いて、ステップ間のガウス分布を補間によって推定することで、優れた連続的な推定値が取得される。最大マハラノビス距離（すなわち、ｄ−プライム距離（d-prime distance））が０．５以下になるまで、補間された分布が追加される。これらの詳細は、異なる開口、又は新しい光学系を用いる場合は、変更することができる。

受け取った画像の焦点誤差を推定するために本明細書で説明される技術が使用されるシステムでは、上で説明したようなフィルタ応答は、受け取った画像の画像パッチのデフォーカスを推定するために組み合わせることができる。本明細書の説明に鑑みて、ＥＱ４に示された単純な加重和公式を用いて、焦点誤差の推定値が取得されることが当業者には理解されよう。フィルタ応答のベクトルは、各空間周波数フィルタと、パッチに対するセンサ応答の記録された正規化振幅スペクトルとのドット積を取ることによって取得される。上で説明したように、事後確率は、適合された多次元ガウス確率分布とともに、ベイズの法則を適用することによって取得される。ＥＱ４は、Ｎが十分に大きい場合に、推定値の平均２乗誤差を最小化するベイズ最適推定値を与える。他の推定手法を使用することができ、それらは当業者に知られていよう。

式ＥＱ３（又はＥＱ３Ａ）及びＥＱ４は、デフォーカスの推定値を取得するために、任意の画像パッチに適用することができる。これらの推定値は、レンズの焦点を再調節するために、光学系が使用することができる。焦点誤差は、焦点距離の推定値と併せて、深度を推定するために使用することもでき、これは、コンピュータビジョンアプリケーションに役立つことがある。深度の推定は、デジタルカメラの動作には必要ではないが、それにも係わらず、焦点誤差の推定値と焦点距離の推定値とを用いて、深度推定値を取得できることに留意されたい。すなわち、画像内のあらゆる点におけるデフォーカスの正確な推定値を有することによって、焦点距離が知られている場合は、シーン内の対応する点までの距離の推定値を容易に算出することができる。デフォーカスに基づいた距離推定の正確性は、推定される距離に依存し、開口サイズ（すなわちＦ値）を与えた場合、デフォーカスからの距離推定値は、遠い距離よりも近い距離でより正確になる。デフォーカスに基づいた距離推定の正確性は、光学系の開口のサイズにも依存し、焦点距離を与えた場合、デフォーカスからの距離推定値は、小さな開口よりも大きな開口でより正確になる（大きな開口はより浅い被写界深度をもたらす）。したがって、図５で説明した方法は、近くの物体までの距離を推定することに関する、コンピュータビジョン、ロボット工学、又は微細加工などの適用例において特に有益である。

図７、図８、図９、及び図１０は、図５及び図６に関連して上で説明したように、焦点フィルタを使用し、デフォーカス推定値を決定するためのプロセスの説明を提供している。

図７は、回折限界的及びデフォーカス限界的な光学部品を有する光学系、並びに５７０ｎｍの光にだけ敏感なセンサのための選択された、６つのデフォーカスフィルタを示している。フィルタは、上で言及したAMA Documentの手法を使用して選択された。図７は、フィルタがいくつかの興味深い特徴を有することを示している。第１に、これらのフィルタは、関連情報の大部分を捕らえており、追加のフィルタは、全体的な精度に僅かな向上しかもたらさない。第２に、これらのフィルタは、主成分分析又は整合したテンプレートに基づいたフィルタよりも良好な性能を提供する。第３に、これらのフィルタは、相対的に滑らかであり、したがって、網膜又は１次視覚皮質に見出されるような、少数の相対的に単純な中心を取り囲む受容域を組み合わせることによって実施することができる。第４に、フィルタエネルギーは、５〜１５ｃｐｄ（視角１度当たりの周期（cycle per degree））の周波数範囲内に集中し、これは、人間の視力調節を促すことが知られている範囲（４〜８ｃｐｄ）に類似している。

上で言及したように、AMA Documentに従って選択された図７のフィルタは、デフォーカスの推定に関連する局所振幅スペクトル内の情報を符号化する。しかし、AMA Documentの手法に組み込まれたベイズ復号器は、各刺激に対する各フィルタの応答の平均及び分散を取得する必要があるので、トレーニング刺激とともにだけ使用することができる。言い換えると、AMA Documentの手法は、最適なフィルタのみを見出す。次のステップは、任意のデフォーカスレベルを有する任意の画像パッチにおけるデフォーカスを推定するために、フィルタ応答を組み合わせる（プールする）ことである。標準的な（すなわち一般的な）手法が選択された。最初に、トレーニングセット内において、デフォーカスレベル別に、画像パッチに対するフィルタ応答の合同確率分布が推定される。デフォーカスレベル別に、サンプル平均及び共分散行列を計算することによって、フィルタ応答が、ガウス分布と適合させられる。図８は、デフォーカスのいくつかのレベル別に、選択されたフィルタの最初の２つについての応答の合同分布を示している。より具体的には、図８は、トレーニングセットについて、ある範囲のデフォーカスレベルにおける、振幅スペクトルに対するフィルタ応答を示している（デフォーカスレベルが１．２５、１．７５、及び２．２５ジオプトリの場合の応答は、図８にはプロットされていない）。シンボルは、最も多くの情報を提供する２つのフィルタからの合同応答を表している。各軸上には、周辺分布が示されている。プロットされたデフォーカスレベルの各々に対応するシンボルグループの近似的な重心が、図８に示されている。

図９は、適合したガウス分布の輪郭プロットを示している。（１つの次元が各フィルタに対応する、６次元の）合同分布を使用して、第２のステップにおいて、合同応答が決定された後、デフォーカス推定値が、上記の式ＥＱ４によって与えられる加重和公式を用いて取得され、ここで、ΔＤ_ｊは、トレーニングされるＮ個のデフォーカスレベルの１つであり、ＥＱ４における条件付き確率は、観測されたフィルタ応答のベクトルＲを与えた場合の、そのデフォーカスレベルの事後確率である。図９は、フィルタ応答に適合するガウス分布を示している。太線は、トレーニングされるデフォーカスレベルにおける応答分布に対する適合度から決定される最尤面上の等尤度輪郭である。細線は、補間された応答分布上の等尤度輪郭である。図９における円は、１のｄ’（すなわち、マハラノビス距離）によって隔てられた、補間された平均を示す。図９における線分は、プリンシプル分散の方向及び±１ＳＤを示している。応答ベクトルは、各フィルタと記録された正規化振幅スペクトルとのドット積によって与えられる。事後確率は、ベイズの法則を適合したガウス確率分布に適用することによって取得される。式ＥＱ４は、示されたケースがそうであるように、目標が推定値の平均２乗誤差を最小化することであり、Ｎが十分に大きい場合、ベイズ最適推定値を与える。

図１０は、完璧な光学部品及び単一クラスのセンサを有する視覚システムの初期ケースのための、デフォーカスの関数としてプロットされた、テストパッチについてのデフォーカス推定値を示している。どのテストパッチも、トレーニングセット内にはなかった。より具体的には、図１０は、画像のトレーニングセットに属していないテスト刺激に対するデフォーカス推定値を示している。図１０におけるシンボルは、各デフォーカスレベルについての平均デフォーカス推定値を表している。垂直エラーバーは、平均デフォーカス推定値に関する６８％（太いバー）及び９０％（細いバー）信頼区間を表している。ボックスは、画像のトレーニングセット内にないデフォーカスレベルを示している。トレーニングされたレベル及びトレーニングされないレベルの両方においてサイズが等しいエラーバーは、説明された技術が連続的な推定値を出力することを示している。

得られた結果においては、図７、図８、図９、及び図１０に示されるように、おおよそ人間のデフォーカス検出閾値である約０．２５ジオプトリをデフォーカスがひとたび超えると、正確性は相対的に高く、バイアスは相対的に低くなる。ベースデフォーカスがゼロである場合、（例えば、０．２５ジオプトリのオーダの）デフォーカスの穏やかな変化は、振幅スペクトルを大きく変化させず、ベースデフォーカスが非ゼロである場合、より大きな変化が生じるので、低レベルのデフォーカスでは、正確性が低下する。完璧な光学部品と単一の波長にのみ敏感なセンサとを有する視覚システムでは、大きさが同じである正及び負のデフォーカスレベルは、同じ振幅スペクトルをもたらすので、ゼロに近いバイアスが生じる。したがって、バイアスは、境界効果に起因し、推定誤差は、ゼロを上回るが、ゼロを下回らないようにすることができる。図５の方法を２以上のクラスのセンサとともに適用することで、ゼロに近いバイアスを除去することができ、デフォーカスの符号の推定（すなわち、焦点が被写体の前方にあるか、それとも後方にあるかについての推定）を可能にすることができる。

いくつかの実施では、図５の方法は、明瞭にするために示されていない他のステップ及び／又は追加ステップを含むことができる。さらに、いくつかの実施では、方法は、提示されたのと異なる順序で実行することができ、図５の説明で提示された順序は、説明的なものである。加えて、いくつかの実施では、図５の方法のあるステップは、実質的に同時に実行することができ、又は省くことができる。

例えば、一実施形態では、デフォーカスレベルが知られた画像パッチの収集が収集される限り、最適なフィルタを決定するために、光学系及びセンサアレイを表現することが厳密には必要なく、それによって、ステップ５０１及びステップ５０２を回避することができる。図６の動作６０１において、この収集結果を受け取ると、ステップ６０４において、与えられたクラスのセンサについて、センサアレイから応答を取得することができる。すなわち、フィルタを生成する際の唯一のクリティカルな要因は、デフォーカスレベルの各々について、センサアレイ応答の収集結果を取得することである。そのような一実施形態は、結像される物体がすべて１つの深度平面内にある、顕微鏡法又は微細加工において、特に有益なことがある。

本発明の原理は、画像取得デバイス及び撮像環境の特定のクラスに適合させ得ることを理解されたい。例えば、本明細書で説明した技術は、デジタルカメラの様々な設定（例えば、人物、風景、マクロ撮影）で使用するために適合させることができる。上で言及したように、本明細書で説明した技術の利用に適した他のデバイスとして、デジタル顕微鏡、デジタル望遠鏡、及びデジタルビデオカメラが挙げられる。他のデバイス、及び本明細書で説明した技術を使用するための適合が、当業者には思いつくであろう。

方法、システム、及びコンピュータプログラム製品を、いくつかの実施形態との関連で説明したが、本明細書で説明した特定の形態に限定することは意図しておらず、反対に、添付の特許請求の範囲によって規定される本発明の趣旨及び範囲内に合理的に含まれ得る、代替形態、変更形態、及び均等物を包含することが意図されている。

Claims

焦点誤差処理のための方法であって、
オブジェクトの画像データを光学系のセンサアレイ上で受け取るステップと、
前記光学系の１又は２以上のデフォーカスフィルタからなる１組の中の各デフォーカスフィルタ別に、前記受け取った画像データのパッチに対するデフォーカスフィルタのフィルタ応答値を計算するステップであって、前記１組のデフォーカスフィルタの前記計算されたフィルタ応答値が、前記受け取った画像データのフィルタ応答ベクトルを生成する、ステップと、
前記受け取った画像データの前記フィルタ応答ベクトルから、所定の１組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々についての確率を計算するステップと、
前記複数のデフォーカスレベルについての前記計算された確率に基づいて、前記受け取った画像データから焦点誤差の推定値を決定するステップと
を含む方法。
複数のデフォーカスレベルの各々についての確率を計算するステップが、所定の１組のデフォーカスレベルの範囲内にある各デフォーカスレベルについての確率を決定するために、前記所定の１組のデフォーカスレベルに対応する、デフォーカスレベルを有する画像パッチを含む画像のトレーニングセットのパラメトリック関数を使用するステップを含む、請求項１に記載の方法。
焦点誤差の推定値を決定するステップが、所定の１組のデフォーカスレベルから、デフォーカスレベルに関連付けられたトレーニングフィルタ応答ベクトルに最も近似するデフォーカスレベルを選択するステップを含む、請求項１又は２に記載の方法。
１又は２以上のデフォーカスフィルタからなる１組の中の各デフォーカスフィルタ別に、フィルタ応答値を計算するステップが、
受け取った画像データのパッチのフーリエ変換を計算するステップと、
前記受け取った画像データの前記フーリエ変換から、動径方向に平均化されたパワースペクトルを算出するステップと、
各フィルタの応答値を生成するために、前記動径方向に平均化されたパワースペクトルと各デフォーカスフィルタとのドット積を計算するステップと
を含み、
フィルタの応答値からなる１組が、フィルタ応答ベクトルを構成する、
請求項１〜３のいずれかに記載の方法。
焦点誤差の決定された推定値を補償し、焦点が合った画像をセンサアレイにおいて取得するために、光学系を調整するステップ
をさらに含む、請求項１〜４のいずれかに記載の方法。
光学系が、デジタルカメラを含む、請求項１〜５のいずれかに記載の方法。
光学系が、デジタル顕微鏡を含む、請求項１〜５のいずれかに記載の方法。
光学系が、デジタル望遠鏡を含む、請求項１〜５のいずれかに記載の方法。
光学系が、デジタルビデオカメラを含む、請求項１〜５のいずれかに記載の方法。
光学系が、受け取った画像データに応答して制御されるデバイスを含む、請求項１〜９のいずれかに記載の方法。
光学系と、
前記光学系を介して見えるオブジェクトの画像データを受け取るセンサアレイと、
プロセッサと
を備える焦点誤差処理のためのシステムであって、
前記プロセッサが、
前記光学系の１又は２以上のデフォーカスフィルタの各々別に、フィルタ応答値が前記受け取った画像データのフィルタ応答ベクトルを含むように、前記受け取った画像データのパッチに対するデフォーカスフィルタのフィルタ応答値を計算し、
前記受け取った画像データの前記フィルタ応答ベクトルから、所定の１組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々についての確率を計算し、さらに、
前記複数のデフォーカスレベルについての前記計算された確率に基づいて、前記受け取った画像データにおける焦点誤差の推定値を決定する
ように構成された
システム。
光学系を介して受け取った画像における焦点誤差を推定するための方法であって、
画像のトレーニングセットからの１組の画像パッチに対するフィルタ応答を、所定の１組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々別に、画像の前記トレーニングセット内の各画像パッチ別に、光学系の１組のデフォーカスフィルタの中の１又は２以上のデフォーカスフィルタの各々別に算出するステップと、
画像の前記トレーニングセットからの前記１組の画像パッチに対する前記算出されたフィルタ応答から、前記複数のデフォーカスレベルの各デフォーカスレベル別に、フィルタ応答ベクトルの分布を取得するステップと、
フィルタ応答ベクトルの前記分布に基づいて、各デフォーカスレベルについての焦点誤差を推定するステップと
を含む方法。
焦点誤差を推定するための、コンピュータ可読記憶媒体内に具現化されるコンピュータプログラム製品であって、前記コンピュータプログラム製品が、前記媒体上に記録されたプログラミング命令を含み、コンピュータプロセッサによって実行されたときに、前記プログラミング命令が、
画像のトレーニングセットからの１組の画像パッチに対するフィルタ応答を、所定の１組のデフォーカスレベルの範囲内にある複数のデフォーカスレベルの各々別に、画像の前記トレーニングセット内の各画像パッチ別に、光学系の１組のデフォーカスフィルタの中の１又は２以上のデフォーカスフィルタの各々別に算出し、
画像の前記トレーニングセットからの前記１組の画像パッチに対する前記算出されたフィルタ応答から、前記複数のデフォーカスレベルの各デフォーカスレベル別に、フィルタ応答ベクトルの分布を取得し、
フィルタ応答ベクトルの前記分布に基づいて、各デフォーカスレベルについての焦点誤差を推定する
ための方法を提供する、コンピュータプログラム製品。
画像における焦点誤差を推定するためのコンピュータプログラムを記憶するためのメモリユニットと、
前記メモリユニットに接続されたプロセッサであって、前記コンピュータプログラムの実行に応答して、
画像のトレーニングセットからの１組の画像パッチに対するフィルタ応答を、所定の１組のデフォーカスレベルの中の複数のデフォーカスレベルの各々別に、画像の前記トレーニングセット内の各画像パッチ別に、光学系の１組のデフォーカスフィルタの中の１又は２以上のデフォーカスフィルタの各々別に算出し、
画像の前記トレーニングセットからの前記１組の画像パッチに対する前記算出されたフィルタ応答から、前記複数のデフォーカスレベルの各デフォーカスレベル別に、フィルタ応答ベクトルの分布を取得し、
フィルタ応答ベクトルの前記分布に基づいて、各デフォーカスレベルについての焦点誤差を推定する
ための回路を含むプロセッサと
を備えるシステム。
光学系のセンサアレイにおいて受け取った画像における焦点誤差を決定する方法であって、
シミュレーションにおいてデフォーカスされ、センサアレイ上で受け取った、１組のトレーニング画像パッチに対するフィルタ応答を、ある範囲のデフォーカスレベルの中の複数のデフォーカスレベルの各々別に、前記１組のトレーニング画像パッチの中の各画像パッチ別に、また複数のフィルタ別に、前記光学系を表現する点拡がり関数を使用して算出するステップと、
前記センサアレイ上の前記１組のトレーニング画像パッチの各々を、前記センサアレイを表現する波長感度関数及び空間サンプリング関数を使用してサンプリングするステップと、
前記センサアレイ内のセンサのあるクラスについて、前記センサアレイから応答を取得するステップと、
前記複数のデフォーカスレベルの各々別に、前記センサアレイからのセンサ応答から１組のデフォーカスフィルタを生成するステップと、
前記１組のトレーニング画像パッチ内の同じデフォーカスレベルを有するすべての画像パッチについてのフィルタ応答ベクトルの分布を取得することによって、各フィルタ応答ベクトルの確率尤度を決定するステップと、
トレーニングセット内の各デフォーカスレベルに対応するフィルタ応答分布を、パラメトリック多次元関数を用いて特徴付けるステップと、
前記トレーニングセット内のデフォーカスレベルの間にあるデフォーカスレベルのために条件付き尤度分布を補間するステップと、
未知の焦点誤差を有する任意の画像パッチについての焦点誤差の推定値を、
前記任意のパッチに応答して前記フィルタ応答ベクトルを算出し、
指定された範囲内にある各デフォーカスレベルの確率を算出し、
確率分布から焦点誤差の推定値を導出すること
によって導出するステップと
を含む方法。