JP6114289B2 - 電気光学センサ用のぼけキャリブレーションシステム及び移動マルチ焦点マルチターゲットコンステレーションを用いる方法 - Google Patents

Description

（政府の権利）
本発明は、ミサイル防衛局（ＭＤＡ）との契約番号ＨＱ０２７６−１０−Ｃ−０００５の下で、米国政府の支援により成された。米国政府は、本発明において、いくつかの権利を有している。

（関連出願）
この特許出願は、その全ての内容が参照することにより組み込まれている２０１１年８月２２日出願、出願番号１３／２１４，６８３（代理人番号１５４７．１７８ＵＳ１）、発明の名称”blur-calibration system for electro-optical sensors and method using a moving multi-target constellation（電気光学センサのためのぼけキャリブレーションシステムと移動マルチターゲットコンステレーションを用いる方法）”の米国特許出願に関連している。

（関連出願）
この特許出願は、その全ての内容が参照することにより組み込まれている２０１１年３月２８日出願、出願番号１３／０７３，６６１（代理人番号ＲＡＹ１０‐１０３１）、発明の名称”motionless focus evaluation test station for electro-optic (eo) sensors（電気光学（ＥＯ）センサのための静止した焦点評価試験機構）”の米国特許出願に関連している。

（関連出願）
この特許出願は、その全ての内容が参照することにより組み込まれている２０１１年２月５日出願、出願番号１３／０２１，７２９（代理人番号０７／Ｗ１４５Ｄ）、発明の名称”Optical distortion calibration for electro-optical sensors（電気光学センサのための光学的ゆがみのキャリブレーション）”の米国特許出願に関連している。

幾つかの実施形態は、イメージングシステムに属するものである。幾つかの実施形態は、電気光学センサを含むイメージングセンサのぼけキャリブレーションに属するものである。

幾つかの実施形態は、宇宙天文学システムに属するものである。幾つかの実施形態は、撃墜弾及び宇宙システムに属するものである。

イメージングシステムに関する１つの問題は、光学的及び他の構成要素に起因するイメージのぼけの量である。点広がり関数（ＰＳＦ）は、点ターゲットに対するイメージングシステムの応答について記述している。ＰＳＦの幅広がり（ブラーリング）の度合は、イメージングシステムの質の測定である。幾つかの応用において、その場で（in-situ）で成されるシステムPSFの高精度の測定が要求される。これは、画素解像よりはるかに高い解像において、解像されない（点の近くの）ソースの測定を要求するかもしれないので、極めて困難である。幾つかのケースでは、ぼけキャリブレーション問題が一層ひどくなるとき、イメージングセンサの視野（ＦＯＶ）を通してＰＳＦでの変化を測定することもまた必要であるかもしれない。

幾つかのケースでは、高解像合成イメージにフィット（fit）するグローバルパラメータは、イメージングシステムの画素のアクティブエリアで畳み込みされた点類似オブジェクトの入力波面を記述するのに、例えば、ゼルニケ係数を用いて、計算されてもよい。光学システムの不明瞭化に覆われたとき、理想的に検出器に焦点を当てられ（位相及び感知電力の崩れ）、検出器空間応答で畳み込まれた入力波面を記述するために、ゼルニケ係数を用いることで、観測されたイメージを決定する。つまり、イメージングシステムの光学システムの収差を補足し、特徴付けるような方法で、波面は、ソースの点類似オブジェクトから来る光の入力開口を通して空間位相を特徴付ける。ゼルニケ係数は、システムＰＳＦを計算し、ＦＯＶ及び望ましい解像とスペーシングで他のデータプロダクトを通してＰＳＦに変化するのに用いられてもよい。ゼルニケ係数は、係数のただ１つの特定の組である。異なる基底関数に基づいた他の係数もまた、入力波面を記述し、イメージングシステムの光学収差を特徴付けるために使用されてもよい。

高解像合成イメージを生成するために、コントローラは、単一の点類似オブジェクト（例えば、ピンホール）を有するターゲットを、イメージフレームのシーケンスを捕捉する間、イメージングシステムの視野（ＦＯＶ）を通して異なる画素位相でシステムの光学軸に垂直な面で移動させる。そこで、イメージフレームのシーケンスは、合成イメージを形成するためにマップされる。

しかし、ゼルニケ係数が、合成されたイメージへのフィッティングによって計算されるとき、固有記号の曖昧さがある。偶数と奇数のゼルニケ項の相対的記号は、フィットから決定されることができ、絶対的記号は、決定され得ない。このことは、特に、ＦＯＶを通してＰＳＦでの変化を決定するための異なる空間領域からゼルニケ係数を挿入するときに、問題を引き起こす。

異なる焦点位置でフィットする係数値を比較することで、この曖昧さは、取り除かれる。周知の焦点変化を導き出すことは、偶数である焦点項における記号の周知の変化を導き出す。偶数及び奇数係数の両方の絶対記号のための唯一の仮説が、複数測定を通して観測された差と一致するだろう。

曖昧さを取り除くため異なる焦点位置でデータを取得するために、コントローラは、点ターゲットを、焦点調整のステージを変換することで、試験システムの光学軸に沿って異なる焦点位置まで移動させる。各位置において、コントローラは、点ターゲットを、高解像合成イメージを生成し、ゼルニケ係数を計算するためのデータを獲得するために、面移動させる。

複数の焦点位置におけるデータ取得は、時間がかかり、高価である。さらに、現在は、イメージングシステムの最終キャリブレーションは、焦点調整のステージをゼロまで正確に戻すことに依存している。一般的に、試験装置自体がキャリブレートされた後、試験装置焦点調整を絶対的に変化させないでいるのが好ましい。

このぼけキャリブレーション問題は、低温真空条件での操作のような必須の高精度、または、他の条件により、センサ全体のＦＯＶを満たす高精度のコリメートパターンを投射することが実現不可能になるシステムにおいては、著しくより困難である。低温真空チャンバのぼけキャリブレート電気光学センサに使用される従来のアプローチは、時間がかかり、高価であり、精度に限りがある。

従って、費用とキャリブレーション時間を減らし、ぼけキャリブレーションデータの精度を上げるイメージングセンサの改良されたぼけキャリブレーションのためのシステムと方法が一般に必要とされる。低温真空条件での使用に適切なイメージングセンサのぼけキャリブレーションのシステムと方法も同様に必要とされている。

電気光学センサのためのぼけキャリブレーションシステムと移動マルチ焦点マルチターゲットコンステレーションを用いる方法の実施形態が、ここに記述されている。幾つかの実施形態では、イメージングセンサのぼけキャリブレーションは、異なる画素位相で異なるフレームを通してターゲットパターンを提示するためのイメージングセンサのＦＯＶを通して異なる焦点位置で複数の点類似オブジェクトを有する周知のターゲットパターンを移動させることと、異なる焦点位置で点類似オブジェクトをサンプリングし、マルチ焦点イメージデータ出力を生成するために、イメージングセンサのＦＯＶに見られるような移動ターゲットパターンのイメージのフレームを捕捉することを含む。試験装置焦点調整を絶対的に変化させないでいる間に、マルチ焦点イメージデータは、取得されてもよい。マルチ焦点イメージデータ出力は、続けて、異なる焦点位置で捉えられたフレームから生成された高解像合成イメージから異なる焦点位置におけるデータプロダクトを生成するのに処理されてもよい。

幾つかの実施形態では、データプロダクトは、入力波面を記述し、光学システムの収差を特徴付けるゼルニケ係数、点広がり関数（ＰＳＦ）の形、ＦＯＶを通してのＰＳＦの変化、またはスルーフォーカス曲線のような基底関数の係数を表してもよい。

幾つかの実施形態では、マルチ焦点マルチターゲットコンステレーションは、ターゲット表面を通してｘ-ｙ平面における固定された相対位置及びターゲット表面に垂直のｚ方向における不変の位置の複数の点類似オブジェクトを含む。ｚ軸が、試験システムの光学軸から数度離れるように、ターゲットは傾けられる。ターゲットを傾けることは、光学軸に沿って点類似オブジェクトの位置にダイバーシティを提供し、依って、異なる焦点位置である。

幾つかの実施形態では、マルチ焦点マルチターゲットコンステレーションは、試験システムの光学軸に垂直な面に置かれる。マルチターゲットコンステレーションは、ターゲット表面を通してｘ-ｙ平面における固定された相対位置及びターゲット表面に垂直のｚ方向における異なる位置の複数の点類似オブジェクトを含む。ターゲット表面は、光学軸に沿って点類似オブジェクトの位置にダイバーシティを提供するために、ｚ方向における非一様の表面レリーフを有してもよい。依って、異なる焦点位置である。ある実施形態では、点類似オブジェクトの実質的多数（例えば、６０％以上及び適切には９０％以上）は、ｚ方向における同じ位置を有しており、依って、同じ焦点位置である。ターゲットにまばらに分布された少数の点類似オブジェクト（例えば４０％以下及び適切には１０％以下）は、ｚ方向における異なる位置を有し、依って、異なる焦点位置である。

幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションのためのシステムを示している。 幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションで使用するためのターゲットである。 マルチ焦点マルチターゲットコンステレーションを提供するために、図２のターゲットを傾けることを示している。 マルチ焦点マルチターゲットコンステレーションを提供するためにｚ方向における非一様の表面レリーフを示す図２のターゲットの実施形態の断面図である。 幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションで使用するために、マルチ焦点イメージデータ出力を生成する手順である。 幾つかの実施形態に従って、イメージングセンサ用のぼけキャリブレーションデータを生成するために、マルチ焦点イメージデータ出力を処理する手順である。

以下の記述と図は、当業者が実施できるように具体的な実施形態を十分に示している。

他の実施形態は、構造的、論理的、電気的、プロセスの、及び他の変化を組み込んでもよい。幾つかの実施形態の部分と特徴は、他の実施形態の部分と特徴に含まれていたり、置き換えられていてもよい。特許請求の範囲で述べる実施形態は、これら特許請求の範囲の全ての利用可能な均等物を含んでいる。

図１は、幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションのためのシステムを示している。システム１００は、イメージングセンサ１５０のような電気光学センサのための光学ぼけキャリブレーションを実行するために、構成されてもよい。イメージングセンサ１５０は、センサ上のコリメート光線にフォーカスするセンサと光学アセンブリの両方を備える。システム１００は、イメージングセンサ１５０からマルチ焦点イメージデータを取得するために、ぼけキャリブレーションサブシステム１５２を含んでもよく、イメージングセンサ１５０（すなわち、試験下ユニット（ＵＵＴ））用にぼけキャリブレーションデータを生成するためぼけキャリブレーションサブシステム１５２からマルチ焦点イメージデータ出力１１５を処理するためにデータ処理サブシステム１５４を含んでもよい。ＵＵＴのアセンブリの間、センサは、光学アセンブリの焦点面に名目上置かれている。

ぼけキャリブレーションサブシステム１５２は、イメージングセンサ１５０が反応する（例えば、可視０．４〜０．７μｍ、近赤外線（ＮＩＲ）０．７〜１μｍ、短波長赤外線１．１〜２．５μｍ、中間波長赤外線３〜５μｍ、または、長波長赤外線８〜１４μｍ）電磁（ＥＭ）放射の光ソース１０１、マルチ焦点ターゲット１０２、投射要素１０６、コントローラ１１０、イメージ捕捉要素１１２を少なくとも含んでいる。ターゲット１０２、投射要素１０６、イメージングセンサ１５０は、一緒に配置され、一般的に、焦点方向に試験システムの光学軸９９に垂直に配置される。

固定された相対位置で点類似オブジェクト１０３のコンステレーションを備えており、少なくとも１つの点類似オブジェクト１０３は焦点方向に光学軸９９に沿って異なる焦点位置を有している周知のターゲットパターン１０４を、ターゲット１０２は有している。異なる焦点位置を有する点類似オブジェクト１０３の間のスぺーシングは、焦点ターゲットイメージ外の間で干渉を減少させるために広くされてもよい。ターゲット１０２は、固定された焦点位置に置かれてもよい。幾つかの実施形態では、ターゲット１０２は、試験システムの焦点に置かれてもよい。幾つかの実施形態では、ターゲット１０２は、ターゲットの異なる焦点位置が、試験システムの焦点に及ぶように試験システムの焦点の近くに置かれてもよい。幾つかの実施形態では、ターゲット１０２は、ターゲットの異なる焦点位置が試験システムの焦点に及ばないように試験システムの焦点から離れて置かれてもよい。

幾つかの実施形態では、試験装置自体がキャリブレートされた後、試験装置焦点調整を、絶対に変化させないままにしておく。さらに具体的には、ターゲットの焦点位置を、ぼけキャリブレーション処理中、変化させないままにしておく。一般には、焦点調整は、焦点を調整するために、ターゲット、投射要素のコンポーネントまたは、光学軸に沿ったイメージングセンサを変換（translate）するために用いられてもよい。ターゲット１０２は、ターゲットのものではない「固定された焦点位置」を有するとき、投射要素またはイメージングセンサのコンポーネントは、焦点調整を介して変換される。

投射要素１０６は、イメージングセンサ１５０のＦＯＶ内に、少なくともターゲットパターン１０４の一部を投射するように構成されてもよい。コントローラ１１０は、ＦＯＶを通してターゲットパターン１０４を移動させるように構成されてもよい。イメージ捕捉要素１１２は、異なる焦点位置で点類似オブジェクトをサンプリングし、マルチ焦点イメージデータ出力１１５を生成するために、イメージングセンサ１５０のＦＯＶに見られるような移動ターゲットパターン１０４のイメージ１１３のフレーム（すなわち、ヴィデオのフレーム）を捕捉するように構成されてもよい。コントローラ１１０は、ターゲットパターン１０４を、異なる画素上と異なる画素位相での、異なるフレームを通してターゲットパターン１０４を提示するためにＦＯＶを通して移動させるように構成されてもよい。

イメージ捕捉要素１１２からのマルチ焦点イメージデータ出力１１５は、続いて、捕捉されたフレームから生成された異なる焦点位置に関連している高解像合成イメージから異なる焦点位置のデータプロダクト１１７を生成するようにデータ処理要素１１６によって処理されてもよい。データプロダクトは、スルーフォーカス曲線、点広がり関数ＰＳＦの形、ＦＯＶを通して移動するようなＰＳＦでの変化または、ゼルニケ関数のような入力波面を記述する基底関数の係数を提示する。データ処理要素１１６は、下記に詳細を記述するように、イメージ捕捉要素１１２からマルチ焦点イメージデータ出力１１５を処理するように構成されているデータ処理システムまたはコンピュータシステムであってもよい。幾つかの実施形態では、データ処理要素１１６は、イメージ捕捉要素１１２から生成されたイメージデータ出力１１５を処理するためにソフトウェアで構成されてもよい。

幾つかの実施形態では、イメージ捕捉要素１１２は、イメージの捕捉及びイメージの記憶をするように構成されたデジタル回路（ＣＣＤｓ）を備えてもよい。他の実施形態では、イメージ捕捉要素１１２は、イメージの捕捉及びイメージの記憶に適したフィルムまたは磁気メディアのようなアナログメディアを備えてもよい。

ターゲット１０２がＦＯＶを通して動いている間に、システム１００は、イメージングセンサ１５０のぼけキャリブレーションを準備する。このことにより、より効率良く、精密なぼけキャリブレーションを提供する。幾つかの実施形態では、システム１００は、低温真空チャンバのようなチャンバで、イメージングセンサ１５０のための光学ぼけキャリブレーションを実行するために構成されてもよい。

ターゲット１０２が、光学軸に沿って固定された焦点位置を有している間、システム１００は、イメージングセンサ１５０のぼけキャリブレーションを準備する。このことにより、試験装置自身キャリブレートされた後、及び、ぼけキャリブレーション中、試験装置焦点調整を絶対に変化させないままにしておく。システム１００は、焦点位置を変えるためにターゲット、投射要素、または、イメージングセンサの位置を変える必要がなく、係数の曖昧さを除くのに要求されるマルチ焦点データを収集する。

システム１００は、各異なる焦点位置における点類似オブジェクトのための捕捉されたフレームから高解像合成イメージを生成する準備をする。

システム１００は、異なるアプローチで捕捉されたフレームから高解像合成イメージを生成するする準備をする。第１のアプローチでは、高精度のマイクロ動作ステージが、ターゲットパターンを、ｘ-ｙ平面で予め定義されたグリッド上の周知の位置までＦＯＶを通して移動させる。第２のアプローチについては下記に詳細を記述するが、コントローラは、ターゲットパターンを、条件がないような方法で、未知の位置までＦＯＶを通して移動させる。そして、ターゲットパターンの現在の位置は、感知されたイメージで測定される。そこで、捕捉されたフレームのシーケンスは、合成イメージを作成するためにターゲットパターンの周知であるか、または、測定された位置を用いて、マップされる。

幾つかの実施形態では、データ処理要素１１６は、イメージデータ出力１１５のビデオの各フレームにおけるＦＯＶを通して、ターゲットパターン１０４の包括的なシフトを決定するように構成されてもよい。イメージデータ出力１１５のビデオの各フレームで観測された点類似オブジェクトは、ターゲットパターン１０４の対応する点類似オブジェクト１０３に関連してもよい（なぜなら、ターゲットパターン１０４は、周知のターゲットパターンであるので）。１つ以上の副画素の解像合成イメージは、異なる画素位相で取られた同じ点類似オブジェクトの異なるイメージを組み合わせることで、１つ以上の点類似オブジェクト１０３のために生成されてもよい。１つ以上の副画素解像合成イメージは、異なる焦点位置で点類似オブジェクト１０３のために生成されてもよい。各副画素解像合成イメージは、副画素位相を含む、該イメージにおける点類似オブジェクト１０３の相対位置に従って高解像合成イメージ内に効果的に配置されてもよい。これらの実施の形態では、ゼルニケ係数を表し、及び、合成イメージからのＰＳＦの形を表すデータプロダクト１１７を、データ処理要素１１６が生ずるように構成されてもよい。ＰＳＦの形が、ぼけを表す。生じたデータプロダクト１１７は、イメージングセンサ１５０の最終製品（end-item）使用のためのぼけキャリブレーションデータである。ぼけキャリブレーションデータは、ＦＯＶの１つ以上の配置におけるぼけを除去してもよい。

幾つかの実施形態では、同じ点類似オブジェクト１０３のイメージは、合成イメージを生成するためにイメージにあるオブジェクトの相対位置で（すなわち、他のイメージに関連して）、合成イメージに適用（すなわち、合成イメージ内に配置）される。幾つかの実施形態では、システム１００はまた、サンプルの近傍を使用して、各点類似オブジェクトに対するＰＳＦの近似を作成するための高解像合成イメージにおけるエラー減少を提供するように構成してもよい。サンプルの近傍を使用することは、合成イメージにおけるエラーの減少（すなわち、傾斜（slope）が登録エラーの時期を決める）と同様に、高解像合成イメージにおけるノイズ減少を提供する。

幾つかの実施形態では、同じまたは異なる大きさの異なる点類似オブジェクト１０３の複数のイメージが、含まれてもよい。これらの実施形態では、オブジェクトの相対的なオフセットは、周知であってもよく、フィットパラメータとして計算されてもよい。これらの実施形態では、各点類似オブジェクトの各複数のイメージは、記録されてもよい。

異なる画素位相は、各フレーム内の点類似オブジェクトの異なる副画素分数の位置である。異なる副画素分数の位置を使用することで、配列（array）を通してスキャンされるとき、異なる位相における画素に光を当てることを可能にする。異なる画素とソース地点からの結果を組み合わせることで、カメラ固有の画素スペーシング解像をはるかに超えるまでイメージシーケンスの空間（spatial）サンプリングを効果的に増加させる、高集合的な位相ダイバーシティを提供する。これらの実施形態では、異なるピクセルがターゲットパターン１０４の同じ領域を観測するように、ターゲットパターン１０４が異なるフレームを通してスキャンされるように、利得とオフセットが計算されてもよい。

幾つかの実施形態では、ぼけキャリブレーションシステム１５２はまた、ミラー１０８のような１つ以上のミラーを含んでもよい。これらの実施形態では、コントローラ１１０は、１つ以上のミラーを制御し、傾けることにより、ＦＯＶを通してターゲットパターン１０４を移動させるように構成されてもよい。幾つかの実施形態では、コントローラ１１０は、ミラーを制御することによるよりむしろ、イメージングセンサ１５０の動きを制御することでＦＯＶを通してターゲットパターン１０４を移動させるように構成されてもよい。他の実施形態では、ターゲット１０２自身、ＦＯＶを通してターゲットパターン１０４をもたらすように制御されてもよい。

幾つかの実施形態では、投射要素１０６は、イメージングセンサ１５０のＦＯＶ内に、少なくともターゲットパターン１０４の一部を投射するために光線をコリメートするためにコリメータを備えてもよい。これらの実施形態では、コリメート光線は、ターゲット１０２が無限遠または無限遠に近いかのように現わさせる。一般的に、全体のターゲットパターン１０４が、ＦＯＶ内にあることを要求されていない場合、ターゲットパターン１０４の一部のみが、イメージングセンサ１５０のＦＯＶに投射されてもよい。

幾つかの実施形態では、異なる焦点位置での合成イメージは、異なる焦点位置でのデータプロダクト１１７を生成するように処理される。

幾つかの実施形態では、データ処理要素１１６により生じたマルチ焦点データプロダクト１１７は、イメージングセンサ１５０の最終製品使用のためのぼけキャリブレーションデータであってもよい。ぼけキャリブレーションデータは、ＵＵＴの焦点エラーが決定され得るスルーフォーカス曲線を特定してもよい。ぼけキャリブレーションデータは、ＦＯＶの１つ以上の配置におけるぼけの形を特定してもよい。幾つかの場合では、理想点ソースに関連して、初期のピンホールの大きさの効果は、例えば、ゼルニケ係数を生成するために残りのパラメータへのパラメータフィットを介してしばしば達成される、デコンボリューションを介した表面の測定から除去されてもよい。幾つかの実施形態では、ぼけキャリブレーションデータは、ＦＯＶの全てのロケーションでぼけの形を特定してもよい。ゼルニケ係数の曖昧さを除くためにマルチ焦点イメージデータ出力を処理することは、係数がＦＯＶの異なる領域間で適正に挿入されることを可能にする。一般的に、ぼけキャリブレーションデータは、幾つかの予め決定されたロケーション、対、現在点が試験でサンプリングされるところにおいてＰＳＦを記述するように扱われてもよい。ＰＳＦが、実質、ＦＯＶを通して不変である場合に、これは必要でない。これらの実施形態では、ぼけキャリブレーションデータは、単一のデータ組（すなわち、マルチ焦点イメージデータ出力１１５）から生成されてもよい。

図２は、幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションで使用するためのマルチ焦点ターゲットである。ターゲット１０２は、（図１の）ターゲット１０２に対応してもよく、少なくとも１つの点類似オブジェクト１０３が異なる焦点位置（例えば、試験システムの光学軸に沿った焦点方向に異なる相対位置）を有する固定された相対位置で複数の点類似オブジェクト１０３を備えてもよい。幾つかの実施形態では、点類似オブジェクト１０３は、ターゲットパターン１０４（例えば、グリッド）に配置されたピンホールのあるスライド２０７と赤外線（ＩＲ）またはスライドの背後の可視光ソースを用いて生成されてもよい光の個々の点ソースを備えてもよい。図２に示される例示的実施形態は、光ソースとして黒体を用いている。他の実施形態では、光ソースは、コヒーレントであってもよい。

図３に示されるように、幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションで使用するマルチ焦点ターゲットは、試験システムの光学軸に関する図１及び図２のターゲット１０２に対応してもよいターゲット１０２を傾けることで準備する。ターゲット１０２は、ターゲット表面上のｘ-ｙ平面における固定された相対位置及びターゲット表面に垂直のｚ方向における不変の位置で、複数の点類似オブジェクト１０３を有する。ターゲット１０２は、そのｚ軸が、試験システムの光学軸９９から数度になるように、傾けられる。ターゲット１０２を傾けることで、光学軸に沿って点類似オブジェクトの位置に、ダイバーシティを作成し、依って、異なる焦点位置となる。例えば、ｙ軸に沿った線上の点類似オブジェクト１０３が、異なる焦点位置を有する一方、ｘ軸に沿ったターゲット１０２を通じて線上の点類似オブジェクト１０３は、同じ焦点位置を有するだろう。周知のターゲットパターン自身に頼るとき、傾けは、複数の異なる焦点位置を通して点類似オブジェクトのかなり一様な分布を生じてもよい。

図４に示されるように、幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションで使用するマルチ焦点ターゲットは、点類似オブジェクトが、ｘ、ｙ、ｚにおける固定された相対位置を有するように、ｚ方向における非一様の表面レリーフで図１及び図２のターゲット１０２に対応してもよいターゲット１０２を作ることにより準備する。ｚ方向における非一様の表面レリーフは光学軸に沿って点類似オブジェクトの位置にダイバーシティを提供し、依って、異なる焦点位置となる。ある実施形態では、点類似オブジェクトの実質的多数（例えば、少なくとも６０％以上及びできる限り９０％以上）は、ｚにおける同じ位置を有している。ターゲットにまばらに分布された少数の点類似オブジェクト（例えば、４０％以下及びできる限り１０％以下）は、異なるｚを有している。この分布は、データプロダクトを計算するために、ＦＯＶを超える異なる領域における１つの焦点位置で点類似オブジェクトの密集したサンプリングを確実にする。少数の点類似オブジェクトは、データプロダクトの曖昧さを除くためだけに用いられてもよい。

幾つかの実施形態では、ターゲットパターン１０４は、包括的位置がパターン１０４の十分に大きい副領域から決定され得るように構成された非対称パターンであってもよい。これらの実施形態では、ターゲットパターン１０４は、複数の固有サブパターンを備えてもよい。

幾つかの実施形態では、必要条件ではないけれども、ターゲットパターン１０４の点類似オブジェクト１０３は、パターン１０４の中心近くでより広いスペーシング、及び、増加した位相ダイバーシティに対する中心からさらに離れたより近いスペーシングを有している不規則にスペーシングされた点を備えてもよい。

幾つかの実施形態では、ターゲットパターン１０４は、増加する位相ダイバーシティに対して多数のスリット１０５を備えてもよい。スリットは、円の中に配置されてもよく、スライドの中央近くで吸収される放射熱の改良された導電性の熱転送の、また同様に、水平及び垂直スキャンの増加有効範囲に対して、傾けられ、または、角度を付けられてもよい。幾つかの実施形態では、必要条件ではないけれども、ターゲットパターン１０４は、スリット１０５の素数を備えてもよい。これらの実施形態では、スリット１０５は、副画素位置を精密に測定することがより簡単になるように、分解位相ダイバース基準を提供してもよい。

幾つかの実施形態では、ターゲットパターン１０４は、点類似オブジェクト１０３の六角形リングを備えてもよい。これら実施形態の幾つかでは、各点までの半径は、中心からの距離にともなってリニアに減少してもよい。点類似オブジェクト１０３の六角形リングを使用することは、各フレームで観測された点類似オブジェクト１０３を周知のターゲットパターン１０４の対応する点類似オブジェクトと関連づけることに役立てるかもしれない。

幾つかの実施形態では、ターゲットパターン１０４を、ＦＯＶを通して移動させるとき、チョッパー変調は、点類似オブジェクト１０３の強度を変調するために、ターゲットパターン１０４に適用されてもよい。必要条件ではないけれども、チョッパー変調は、点類似オブジェクトの強度がオン・オフされるオン・オフ変調を備えてもよい。チョッパー変調は、スライド２０７の背景を抑制するのに使用されてもよい（すなわち、点類似オブジェクトなしのターゲットの部分）。背景２０７が、決して完全にゼロまたは平らにならないので、チョッパー変調の使用が必要とされてもよい。幾つかの実施形態では、コントローラ１１０は、ターゲット１０２におけるチョッパー変調の適用を制御してもよい。

幾つかの実施形態では、システム１００は、非一様のスライド背景の除去を可能にするために、ビデオのチョッパー変調されたフレームからチョッパーオープン及びチョッパークローズドの合成イメージを別個に生成することにより移動ターゲットパターンの合成イメージを生成するように構成されてもよい。チョッパーオープンの高解像合成イメージは、チョッパークローズド調整フレームと位置を調整されてもよい。スライド背景の効果を除去し、現在のＰＳＦを捕捉するために、位置調整されたフレームをお互いから減算してもよい。これらの実施形態では、移動ターゲットシーケンスをチョッピングすること及び別個のチョッパーオープンとチョッパークローズド合成イメージを作成することは、ＰＳＦをチョッパーオープンとチョッパークローズド合成イメージの間の差異から決定することを可能にする。

幾つかの実施形態では、各フレームのチョッパー変調の時間の位相は、フレームの全体を用いることにより識別されてもよい。オープン、クローズド、いずれかの遷移中のイメージも同様に識別されてもよく、識別された遷移中イメージは、破棄されてもよい。これらの実施形態では、チョッパーオープン及びクローズドのフレームを分離するために、チョッパー波形の移相を使用してもよい。幾つかの代替的な実施形態では、必要条件ではないけれども、チョッパーオープン及びクローズドのフレームを分離するために、強度を使用してもよい。

幾つかの実施形態では、個々のイメージの位置推定は、合成イメージに対する一貫性に（すなわち、イメージシフトへの細かい調整を計算することによる）基づいてもよい。幾つかの実施形態では、入力イメージ画素バイアスへの調整は、合成イメージとの一致に基づいて計算されてもよい。幾つかの実施形態では、入力イメージ画素相対利得への調整は、合成イメージとの一致に基づいて計算されてもよい。時間と共に包括的なイメージＤＣ背景へ調整することは、合成イメージとの一致を介して計算されてもよい。

幾つかの実施形態では、差異の合成表面にフィットするグローバルパラメータは、画素のアクティブエリアで畳み込みされた入力波面を記述するのに、例えば、ゼルニケ係数を用いて計算されてもよい。ゼルニケ係数とは他のタイプの係数は、入力波面を記述するために計算されてもよい。これら他の係数は、ゼルニケ係数とは異なる基底関数を用いる。しかし、ゼルニケ係数のように、これら他の係数は、絶対的な記号が曖昧さを除かれている偶数項及び奇数項の両方を含んでいる。これらパラメータは、望ましい解像とスペーシングで、データプロダクト１１７を計算するのに用いられてもよい。

幾つかの実施形態では、ゼルニケ係数は、各異なる焦点位置における高解像合成イメージから計算されてもよい。異なる焦点位置における係数の比較は、係数の絶対的記号における曖昧さを除去する。幾つかの実施形態では、異なる焦点位置における高解像合成イメージの全ては、曖昧さを除かれたゼルニケ係数を生成するために単一で同時の線形でない最適化を通じて処理される。一般的に、最近のアプローチは、より精密な係数を提供し、しかし、より計算的に強化されている。R.W.Gerchbert他『A Practical Algorithm for the Determination of Phase from Image and Diffraction Plane Pictures』OPTIK Vol. 35 (No. 2) pp. 237-246 （1972年）では、ゼルニケ係数の計算技術が記載されている。

幾つかの実施形態では、曖昧さを除かれたゼルニケ係数は、１組のゼルニケ係数を生成するためにイメージングセンサのＦＯＶの異なる領域間に挿入される。ゼルニケ係数のこの組は、ＦＯＶを通してＰＳＦを生成する、例えばＰＳＦ（ｘ、ｙ）を生成するのに用いられる。

幾つかの実施形態では、ぼけキャリブレーションシステム１５２により生成されたマルチ焦点イメージデータ出力１１５は、データ処理サブシステム１５４による続く処理のために記憶されてもよい。ぼけキャリブレーションサブシステム１５２及びデータ処理サブシステム１５４を含むシステム１００が、幾つかの別個の関数要素を有するように示されているけれども、１つ以上の関数要素は、組み合わされてもよく、デジタル信号プロセッサ（ＤＳＰ）及び／または他のハードウェア要素を含む処理要素のようなソフトウェア構成された要素の組み合わせにより実現されてもよい。例えば、幾つかの要素は、１つ以上のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）及び、少なくともここで記述された関数を実行するための様々なハードウェア及びロジック回路の組み合わせを備えてもよい。幾つかの実施形態では、システム１００の関数要素は、１つ以上の処理要素で作用する１つ以上の処理を参照してもよい。

図５は、幾つかの実施形態に従って、イメージングセンサのぼけキャリブレーションで使用するためのマルチ焦点イメージデータ出力を生成するための手順である。手順３００は、ぼけキャリブレーションサブシステム１５２（図１）により実行されてもよいが、他のサブシステムが、手順３００を実行するように構成されてもよい。手順３００は、イメージングセンサ１５０のＦＯＶの１つ以上のロケーションにおけるぼけを減少する及びできる限り除去するために、イメージングセンサ１５０（図１）のようなイメージングセンサのぼけキャリブレーションの使用のためにマルチ焦点イメージ出力データを生成してもよい。

手順３０２は、少なくとも１つの点類似オブジェクト１０３が異なる焦点位置を有している固定された相対位置で、点類似オブジェクト１０３のコンステレーションを備える周知のターゲットパターン１０４を有するマルチ焦点ターゲットを提供することを備える。

操作３０４は、イメージングセンサ１５０のＦＯＶ内に、少なくともターゲットパターン１０４の一部を投射することを備える。

操作３０６は、異なる画素位相における異なるフレームを通してターゲットパターン１０４を提示するために、ＦＯＶを通してターゲットパターン１０４を移動させることを備える。

操作３０８は、異なる焦点位置における点類似オブジェクトをサンプリングするために、イメージングセンサ１５０のＦＯＶに見られるような移動ターゲットパターン１０４のイメージ１１３のフレームを捕捉することと、マルチ焦点イメージデータ出力１１５を生成することを備えてもよい。マルチ焦点イメージデータ出力は、データ処理サブシステム１５４（図１）により処理されてもよく、または、後の処理のために記憶されてもよい。マルチ焦点イメージデータ出力は、試験システムの焦点調整のステージを変更させることなく収集されてもよい。

図６は、幾つかの実施の形態に従って、イメージングセンサのためのぼけキャリブレーションデータを生成するためにマルチ焦点イメージデータ出力を処理するための手順である。この手順は、合成イメージを生成するための自由形式アプローチに基づいている。代わりに、グリッドアプローチが、用いられ得る。手順４００は、データ処理サブシステム１５４により実行されてもよいが、他のサブシステムが、手順４００を実行するように構成されてもよい。

操作４０２は、イメージデータ出力１１５のビデオの各フレームにおいてＦＯＶを通して、ターゲットパターン１０４の包括的なシフトを決定することを備えている。

操作４０４は、イメージデータ出力１１５のビデオの各フレームで観測された点類似オブジェクトを、周知のターゲットパターン１０４に基づいた対応する周知のターゲットパターン１０４の点類似オブジェクトに関連づけることを備える。

操作４０６は、異なる画素位相で取られた同じ点類似オブジェクトの異なるイメージを組み合わせることにより、少なくとも２つの異なる焦点位置のそれぞれにおける、１つ以上の点類似オブジェクト１０３のための１つ以上の副画素解像合成イメージを生成することを備える。

操作４０８は、合成イメージから、異なる焦点位置におけるデータプロダクト１１７を生じることを備える。データプロダクトは、最適焦点が決定され得るスルーフォーカス曲線、ＰＳＦの形、ＦＯＶを超えてのＰＳＦの形、または、ゼルニケ係数のような入力波面を記述する曖昧さを除かれた基底関数の係数を表してもよい。幾つかの実施形態では、チョッパー変調は、移動ターゲットシーケンスに適用されてもよく、別個のチョッパーオープン及びチョッパークローズド合成イメージが作成される。データプロダクトは、チョッパーオープン及びチョッパークローズド合成イメージ間の差異に少なくとも一部基づいて決定されてもよい。ＰＳＦは、ＦＯＶの１つ以上のロケーションにおけるぼけの形を特定してもよい。

実施の形態は、ハードウェア、ファームウェア、ソフトウェアの１つまたは組み合わせで実現されてもよい。実施形態は、コンピュータ可読記憶デバイス上に記憶された命令として実行されてもよく、命令は、ここに記述された操作を実行するために、少なくとも１つのプロセッサによって、読み込まれて実行されてもよい。コンピュータ可読記憶デバイスは、機械（例えば、コンピュータ）による可読な形態で情報を記憶するための何らかの非一時的メカニズムを含んでもよい。例えば、コンピュータ可読記憶デバイスは、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶メディア、光学記憶メディア、フラッシュメモリデバイス、他の記憶デバイス及びメディアを含んでもよい。幾つかの実施形態では、システム１００及びとりわけデータ処理要素１１６（図１）は、１つ以上のプロセッサを含んでもよく、コンピュータ可読記憶デバイス上に記憶された命令で構成されてもよい。

技術的な開示の性質および要旨を読者が把握できるようにする要約書を要求する米国特許法施行規則セクション１．７２（ｂ）を遵守するように、要約書が提供されている。特許請求の範囲の範囲または意図を限定するあるいは解釈するために使用されないという理解で、要約書は提出されている。以下の特許請求の範囲は、このようにして詳細な説明に組み込まれており、各請求項は、別個の実施形態として、それ自身に基づいている。

Claims (20)

1. イメージングセンサのぼけキャリブレーションのためのシステムであって、前記システムは、焦点方向に光学軸を有し、前記システムは、
   固定された相対位置で複数の点類似オブジェクトを備える周知のターゲットパターンを有するターゲットと、少なくとも１つの前記点類似オブジェクトは、前記光学軸に沿って前記焦点方向に異なる焦点位置を有しており、
   前記イメージングセンサの視野（ＦＯＶ）内に、少なくとも前記ターゲットパターンの一部を投射するための投射要素と、
   ＦＯＶを通してターゲットパターンを移動させるように構成されたコントローラと、
   異なる焦点位置で点類似オブジェクトをサンプリングし、マルチ焦点イメージデータ出力を生成するために、前記イメージングセンサの前記ＦＯＶに見られるような前記移動ターゲットパターンのイメージのフレームを捕捉するためのイメージ捕捉要素とを備え、
   前記コントローラは、前記ターゲットパターンを、異なる画素位相での異なるフレームを通して前記ターゲットパターンを提示するために前記ＦＯＶを通して移動させるように構成されており、
   前記イメージ捕捉要素からの前記マルチ焦点イメージデータ出力は、続けて、前記異なる焦点位置のための前記捕捉されたフレームから生成された高解像合成イメージから異なる焦点位置でデータプロダクトを生成するために処理され、
   前記データプロダクトは、入力波面を記述し、光学システムの収差を特徴付けるゼルニケ係数、点広がり関数（ＰＳＦ）の形、ＦＯＶを通してのＰＳＦの変化、またはスルーフォーカス曲線といった基底関数の係数を表す、
   システム。
2. 前記ターゲットは、前記試験システム内の固定された焦点位置を有している、請求項１記載のシステム。
3. 前記試験システムは、前記ターゲットの焦点位置を変化させるために、前記ターゲット、投射要素または、イメージングセンサの１つを変換することができる焦点調整をさらに備え、前記焦点調整は、前記マルチ焦点イメージデータ出力を生成するために変化させないままにする、請求項２記載のシステム。
4. 前記ターゲットの固定焦点位置は、前記試験システムの前記焦点にある、請求項２記載のシステム。
5. 前記点類似オブジェクトの異なる焦点位置が、前記試験システムの前記焦点に及ぶように、前記ターゲットの固定された焦点位置は、前記試験システムの前記焦点の近くにある、請求項２記載のシステム。
6. 前記点類似オブジェクトの異なる焦点位置が、前記試験システムの前記焦点に及ばないように、前記ターゲットの固定された焦点位置は、前記試験システムの前記焦点から離れている、請求項２記載のシステム。
7. 前記ターゲットは、前記ターゲット表面に垂直なｚ方向における不変の位置で、前記ターゲット表面を通してｘ−ｙ平面における固定された相対位置で前記複数の点類似オブジェクトの前記周知のターゲットパターンを備えており、前記ターゲットは、少なくとも１つの前記点類似オブジェクトが、前記焦点方向に異なる焦点位置を有するように、前記光学軸に沿って前記点類似オブジェクトの前記位置でダイバーシティを作成するために、前記システムの光学軸に関して傾けられる、請求項１記載のシステム。
8. 前記ターゲットは、前記光学軸に垂直な前記ターゲット表面を通してｘ−ｙ平面における固定された相対位置で、前記複数の点類似オブジェクトの前記周知のターゲットパターンを備え、前記ターゲットは、少なくとも１つの前記点類似オブジェクトが、前記焦点方向に異なる焦点位置を有するように、前記光学軸に沿って前記点類似オブジェクトの前記固定された相対位置においてダイバーシティを作成するために、ｚ方向に非一様の表面レリーフを有する、請求項１記載のシステム。
9. 前記点類似オブジェクトの実質的多数は、前記ｚ方向及び同じ焦点位置における前記同じ位置を有し、少数の前記点類似オブジェクトは、前記ｚ方向及び異なる焦点位置における異なる位置を有する、請求項８記載のシステム。
10. 前記点類似オブジェクトの少なくとも６０％は、前記ｚ方向及び同じ焦点位置における前記同じ位置を有し、前記点類似オブジェクトの４０％未満は、前記ｚ方向及び異なる焦点位置における異なる位置を有する、請求項９記載のシステム。
11. データプロセッサは、前記点類似オブジェクトと関連した入力波面を記述する基底関数の偶数及び奇数項の相対的係数を表すデータプロダクトを生成するために前記同じ焦点位置を有する点類似オブジェクトの前記実質的多数から生成された前記高解像合成イメージを処理し、前記データプロセッサは、前記偶数及び奇数項の絶対的記号を決定するため異なる焦点位置を有する前記少数の点類似オブジェクトから生成された前記高解像合成イメージを処理する、請求項１０記載のシステム。
12. データプロセッサは、前記イメージングセンサの前記ＦＯＶを通して、前記点類似オブジェクトと関連した入力波面を記述する基底関数の前記偶数及び奇数項の絶対係数を表すデータプロダクトを生成するために、前記異なる焦点位置のための前記高解像合成イメージを処理する、請求項１記載のシステム。
13. 前記データプロセッサは、前記ＦＯＶを通して係数の組を形成するために、前記ＦＯＶにおける異なる領域間で前記絶対係数を挿入し、前記データプロセッサは、前記ＦＯＶを通して点広がり関数（ＰＳＦ）を生成するために前記係数の組を処理する、請求項１２記載のシステム。
14. データプロセッサは、異なる焦点位置のための点広がり関数（ＰＳＦ）の形を表すデータプロダクトを生成するために、前記異なる焦点位置のための前記高解像合成イメージを処理する、請求項１記載のシステム。
15. データプロセッサは、スルーフォーカス曲線を生成するために、前記異なる焦点位置のための前記高解像合成イメージを処理する、請求項１記載のシステム。
16. イメージングセンサのぼけキャリブレーションのためのシステムであって、前記システムは、焦点方向に光学軸に沿ってシステム焦点を有し、前記システムは、
    前記システム焦点に置かれ、固定された焦点位置を有するターゲットと、前記ターゲットは、固定された相対位置で複数の点類似オブジェクトを備える周知のターゲットパターンを有し、少なくとも１つの前記点類似オブジェクトは、前記光学軸に沿って前記焦点方向に異なる焦点位置を有しており、
    前記イメージングセンサの視野（ＦＯＶ）内に、少なくとも前記ターゲットパターンの一部を投射するための投射要素と、
    前記ターゲットの前記焦点位置を変化させるために前記光学軸に沿って、前記イメージングセンサ、ターゲット、または、投射要素の少なくとも１つを変換することが可能な焦点調整と、前記焦点調整は、前記ぼけキャリブレーション中変化させないままにしておき、
    前記ＦＯＶを通して前記ターゲットパターンを移動させるように構成されたコントローラと、
    異なる焦点位置で点類似オブジェクトをサンプリングし、マルチ焦点イメージデータ出
    力を生成するために、前記イメージングセンサの前記ＦＯＶに見られるような前記移動ターゲットパターンのイメージのフレームを捕捉するためのイメージ捕捉要素とを備え、
    前記コントローラは、前記ターゲットパターンを、異なる画素位相における異なるフレームを通して前記ターゲットパターンを提示するために前記ＦＯＶを通して移動させるように構成されており、
    前記イメージ捕捉要素からの前記マルチ焦点イメージデータ出力は、続けて、前記異なる焦点位置のための前記捕捉されたフレームから生成された高解像合成イメージから異なる焦点位置でデータプロダクトを生成するために処理され、
    前記データプロダクトは、入力波面を記述し、光学システムの収差を特徴付けるゼルニケ係数、点広がり関数（ＰＳＦ）の形、ＦＯＶを通してのＰＳＦの変化、またはスルーフォーカス曲線といった基底関数の係数を表す、
    システム。
17. 前記ターゲットは、前記ターゲット表面に垂直なｚ方向における不変の位置で、前記ターゲット表面位置を通してｘ−ｙ平面における固定された相対位置で前記複数の点類似オブジェクトの前記周知のターゲットパターンを備えており、前記ターゲットは、少なくとも１つの前記点類似オブジェクトが、前記焦点方向に異なる焦点位置を有するように、前記光学軸に沿って前記点類似オブジェクトの前記位置でダイバーシティを作成するために、前記システムの光学軸に関して傾けられる、請求項１６記載のシステム。
18. 前記ターゲットは、前記光学軸に垂直な前記ターゲット表面を通してｘ−ｙにおける固定された相対的な位置で、前記複数の点類似オブジェクトの前記周知のターゲットパターンを備え、前記ターゲットは、少なくとも１つの前記点類似オブジェクトが、前記焦点方向に異なる焦点位置を有するように、前記光学軸に沿って前記点類似オブジェクトの前記位置にダイバーシティを作成するために、ｚ方向に非一様の表面レリーフを有する、請求項１６記載のシステム。
19. 前記点類似オブジェクトの実質的多数は、前記ｚ方向及び同じ焦点位置における前記同じ位置を有し、少数の前記点類似オブジェクトは、前記ｚ方向及び異なる焦点位置における異なる位置を有する、請求項１８記載のシステム。
20. イメージングセンサのぼけキャリブレーションで使用するためのマルチ焦点イメージデータ出力を生成するための方法であって、前記方法は、
    固定された相対位置で複数の点類似オブジェクトを備える周知のターゲットパターンを移動させ、少なくとも１つの前記点類似オブジェクトは、異なる画素位相で異なるフレームを通して前記ターゲットパターンを提示するための前記イメージングセンサの視野（ＦＯＶ）を通して、異なる焦点位置を有し、
    異なる焦点位置で点類似オブジェクトをサンプリングし、マルチ焦点イメージデータ出力を生成するために、前記イメージングセンサの前記ＦＯＶに見られるような前記移動ターゲットパターンのイメージのフレームを捕捉することを備え、
    前記マルチ焦点イメージデータ出力は、続けて、前記異なる焦点位置のための前記捕捉されたフレームから生成された高解像合成イメージから異なる焦点位置でデータプロダクトを生成するために処理されれ、
    前記データプロダクトは、入力波面を記述し、光学システムの収差を特徴付けるゼルニケ係数、点広がり関数（ＰＳＦ）の形、ＦＯＶを通してのＰＳＦの変化、またはスルーフォーカス曲線といった基底関数の係数を表す、
    方法。

Images