JP6778753B2 - 最適化された範囲を有するプレノプティクズーム - Google Patents

Description

本発明の技術分野は、撮像の分野に関する。より具体的には、本発明の分野は、観察されるシーン内の被写体の距離が推定されることを可能にする単一のマトリクス配列検出器を用いる撮像器の分野である。

ライトフィールドカメラと呼ばれるカメラがこの機能を提供する。図１は、そのようなカメラのアーキテクチャを示す。各図において、光学部位品が太い線により、光線が細い線により表される表記法を採用している。カメラは、基本的に対物レンズ１、マイクロレンズ２０のマトリクス配列２、およびマトリクス配列検出器３を含む。対物レンズ１は、出力瞳孔４を含む。カメラは、以下のように動作する。被写体面５の画像が中間面６内の対物レンズ１により形成される。物点Ｍ_ｉは、従って、中間面内に各画像Ｍ_ｉ’を有する。この中間面は、マイクロレンズ２０のマトリクス配列２の正面に配置されるため、この面の画像、すなわちマイクロレンズ２０により生成される画像がマトリクス配列検出器３の面内に形成される。従って、対物レンズの開口および画像Ｍ_ｉ’の位置に応じて、特定の個数のマイクロレンズ２０が、検出器の平面内でこの画像Ｍ_ｉ’から画像Ｍ_ｉｊ’’のモザイクを形成する。例えば、図１において、点Ｍ_０は、３つの点Ｍ’’_０１、Ｍ’’_０２、Ｍ’’_０３を検出器上の画像として与える点Ｍ’_０を中間画像として有し、点Ｍ_１は、点Ｍ’’_１１、Ｍ’’_１２およびＭ’’_１３の三つ組を検出器上の画像として与える点Ｍ’_１を中間画像として有する。検出器上の各種画像Ｍ_ｉｊ’’の位置により、物点Ｍ_ｉの位置および対物レンズまでのその距離を決定することができる。

ライトフィールドカメラに関する追加的な情報として、読者は、参照文献“Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｆｕｌｌ−Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ−Ｆｉｅｌｄ Ｃａｐｔｕｒｅ ａｎｄ Ｒｅｎｄｅｒｉｎｇ”という名称の米国特許第７９６２０３３号明細書および“Ｉｍａｇｅ Ｐｉｃｋｕｐ Ａｐｐａｒａｔｕｓ”という名称の米国特許出願公開第２０１３／０３０８０３５号明細書の出願を参照されたい。読者はまた、“Ｆｏｃｕｓｅｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”（Ａ．Ｌｕｍｄａｉｎｅ ａｎｄ Ｔ．Ｇｅｒｏｇｉｅｖ）および“Ｓｉｎｇｌｅ Ｌｅｎｓ ３Ｄ−Ｃａｍｅｒａ ｗｉｔｈ Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ”（Ｃ．Ｐｅｒｗａｓｓ ａｎｄ Ｌ．Ｗｉｅｔｚｋｅ）という名称の刊行物を参照されたい。１つ以上の光学系を用いて撮像されたシーン内の被写体の距離を推定する方法に関して、“Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ ｉｎ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｅｓ”（Ｊｕｎｇ−Ｙｏｕｎｇ Ｓｏｎ，Ｏｌｅｋｓｉｉ Ｃｈｅｒｎｙｓｈｏｖ，Ｃｈｕｎ−Ｈａｅ Ｌｅｅ，Ｍｉｎ−Ｃｈｕｌ Ｐａｒｋ ａｎｄ Ｓｕｍｉｏ Ｙａｎｏ，Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ／Ｖｏｌ．３０，Ｎｏ．５／Ｍａｙ ２０）という名称の刊行物が挙げられ得る。

この種のカメラにより、所与の被写体面および深さの両方で可能な最良の分解能を得ることが求められることは明らかである。しかし、公知の方法では、深さ分解能を向上させると常に空間分解能の低下が伴う。また、観察される被写体の距離を推定することが可能である距離範囲は、選択された対物レンズのパラメータにより設定および画定される。図２は、この問題を示す。この図は、推定距離Ｄ_Ｅの不確実性Ｉを、所与の焦点距離の対物レンズに対する前記推定距離の関数として示す。従って、２００メートルの推定距離は約１５メートルの測定不確実性に対応し、これは場合により高い。この不確実性は、画像処理方法の精度、すなわち所与の点の各種画像間で１ピクセル未満のサイズのずれを推定する能力に関する。図２の曲線は、ピクセルの１０分の１以内のずれを推定する能力について描かれており、これは、極めて一般的な値に対応する。曲線の上下限Ｂ_ＩＮＦ、Ｂ_ＳＵＰは、対物レンズのこの焦点距離に対するカメラの被写界深度を表す。この場合、被写界深度は３０メートル〜３００メートルである。例えば、被写界深度の計算精度の基準を変更することにより、より大きい限度を選択するか、または所与の対物レンズ焦点距離で焦点ぼけが生じるようにすることによって限度を変更することができるが、ある距離範囲では依然として不確実性が高い。

この欠点を緩和するために各種の方式が試されてきた。従って、“Ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｓｙｎｔｈｅｓｉｚｉｎｇ ａｎ ｉｍａｇｅ ｕｓｉｎｇ ｄａｔａ ｒｅｃｏｒｄｅｄ ｗｉｔｈ ａ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ”という名称の特許欧州特許第２２４４４８４号明細書は、可変焦点距離のマイクロレンズを実装している。この方式はまた、Ｒａｙｔｒｉｘ社による“Ｓｉｎｇｌｅ Ｌｅｎｓ ３Ｄ−Ｃａｍｅｒａ ｗｉｔｈ のＥｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ”（Ｃ．Ｐｅｒｗａｓｓ ａｎｄ Ｌ．Ｗｉｅｔｚｋｅ）という名称の刊行物で扱われている。より最近では、“Ａｎ ｅｌｅｃｔｒｉｃａｌｌｙ ｔｕｎａｂｌｅ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ ｕｓｉｎｇ ａ ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ”（Ｒｅｖｉｅｗ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ ８６，０５３１０１（２０１５））という名称の刊行物は、焦点距離が電気的に制御可能であるマイクロレンズのマトリクス配列を一体化したライトフィールドカメラを提示している。これらの各種方式の欠点は、精巧なマイクロレンズのマトリクス配列を要する点である。

米国特許第７９６，２０３３号明細書 米国特許出願公開２０１３／０３０８０３５号明細書 欧州特許第２２４４４８４号明細書

"Ｆｏｃｕｓｅｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，Ａ．Ｌｕｍｄａｉｎｅ ａｎｄ Ｔ．Ｇｅｒｏｇｉｅｖ "Ｓｉｎｇｌｅ Ｌｅｎｓ ３Ｄ−Ｃａｍｅｒａ ｗｉｔｈ Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ"，Ｃ．Ｐｅｒｗａｓｓ ａｎｄ Ｌ．Ｗｉｅｔｚｋｅ "Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ ｉｎ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｅｓ"，Ｊｕｎｇ−Ｙｏｕｎｇ Ｓｏｎ，Ｏｌｅｋｓｉｉ Ｃｈｅｒｎｙｓｈｏｖ，Ｃｈｕｎ−Ｈａｅ Ｌｅｅ，Ｍｉｎ−Ｃｈｕｌ Ｐａｒｋ ａｎｄ Ｓｕｍｉｏ Ｙａｎｏ，Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ／Ｖｏｌ．３０，Ｎｏ．５／Ｍａｙ ２０ "Ｓｉｎｇｌｅ Ｌｅｎｓ ３Ｄ−Ｃａｍｅｒａ ｗｉｔｈ のＥｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ"，Ｃ．Ｐｅｒｗａｓｓ ａｎｄ Ｌ．Ｗｉｅｔｚｋｅ "Ａｎ ｅｌｅｃｔｒｉｃａｌｌｙ ｔｕｎａｂｌｅ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ ｕｓｉｎｇ ａ ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ"，Ｒｅｖｉｅｗ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ ８６，０５３１０１（２０１５）

本発明による光学系は、これらの欠点を有さず、簡単かつ同一のマイクロレンズのマトリクス配列を採用する。これは、以下の解析に基づいている。

焦点距離が変化する場合、上述の曲線が変動する。従って、図３は、推定距離Ｄ_Ｅの不確実性Ｉを、１１〜１９で示す各種焦点距離の対物レンズの前記推定距離の関数として示す。規模のオーダーを示すと、焦点距離は３０〜２００ミリメートルの範囲にある。従って、所与の距離に位置する被写体について、測定不確実性が最小となる最適焦点距離が存在する。例えば、５０メートルの場合、光学対物レンズは対物レンズ１８であり、この対物レンズの測定不確実性は１メートル以下である。従って、各対物レンズについて、測定不確実性が最小である距離範囲を決定することができる。上述の対物レンズについて、図４に示す範囲が得られる。明快さのため、対物レンズ１１、１２および１３の最短焦点距離は、範囲が互いに近接しているためにこの図には示さない。１つの光学部品ではなく、焦点距離が異なる一連の光学部品を用いることにより、測定不確実性を顕著に低下させることができる。当然ことながら、対物レンズを常に変えることはできない。従って、提案する解決策は、対物レンズとしてズーム、すなわち焦点距離に作用することにより、シーン内の被写体の距離を可能な限り精密に推定できるように連続的または間欠的に動作する可変焦点距離の対物レンズを用いるものである。

より厳密には、本発明の主題は、ズーム型の対物レンズおよび深さ推定光学検出装置を含む光学系であって、前記深さ推定光学検出装置は、マイクロレンズのマトリクス配列およびマトリクス配列検出器を含み、マイクロレンズのマトリクス配列は、ズームの焦点面の画像がマイクロレンズのマトリクス配列によってマトリクス配列検出器の平面上に集光されるように配置されている、光学系において、ズームの第１の焦点距離および所与の被写体について、この被写体の推定距離およびこの推定における測定不確実性を前記第１の焦点距離および前記推定距離に応じて計算する手段と、この推定距離が把握されると、この推定におけるより低い測定不確実性が対応するズームの少なくとも１つの第２の焦点距離が決定されることを可能にする最適化手段とを含むことを特徴とする光学系である。

有利には、最適化手段は、前記推定における最小の測定不確実性が対応する最適焦点距離が決定されることを可能にする反復のループを含み、各反復は、焦点距離の少なくとも１回の変更を含み、かつ新たなに対応する推定距離焦点距離およびこの推定における測定不確実性が計算される。

有利には、反復のループは、固定ズーム焦点面または可変ズーム焦点面内で実行される。

有利には、反復のループは、固定または可変ズーム開口で実行される。

有利には、ズームは、連続的に可変な焦点距離のズームであるか、またはズームは、多焦点対物レンズである。

有利には、深さ推定光学検出装置は、赤外線検出装置である。

以下の非限定的な記述を読みかつ添付図を参照することにより、本発明がよりよく理解されると共に他の利点が明らかになるであろう。

従来技術による固定焦点距離ライトフィールドカメラを示す。 推定距離における測定不確実性を公知の固定焦点距離ライトフィールドカメラの距離の関数として示す。 推定距離における測定不確実性を、焦点距離が伸びる対物レンズを含むライトフィールドカメラの距離の関数として示す。 上記各対物レンズについて、最小の測定不確実性範囲を距離の関数として示す。 ２つの極端な焦点距離構成における本発明のライトフィールドズームを示す。 ２つの極端な焦点距離構成における本発明のライトフィールドズームを示す。 上述のライトフィールドズームの受光部の拡大図を示す。 連続的に可変な焦点距離のライトフィールドズームについて、最小の測定不確実性を推定距離の関数として示す。

本発明の主題は、ズーム型の対物レンズおよび深さ推定光学検出装置を含む光学系であり、前記深さ推定光学検出装置は、マイクロレンズのマトリクス配列およびマトリクス配列検出器を含み、マイクロレンズのマトリクス配列は、ズームの焦点面の画像がマイクロレンズのマトリクス配列によってマトリクス配列検出器の平面上に集光されるように配置されている。

深さが正しく推定することを保証するには、ズームの各種焦点距離値について、このズームの歪曲および像面湾曲を把握する必要がある。

ズームには２つのカテゴリがあり、すなわち連続的に可変な焦点距離のズームおよび多焦点対物レンズとして知られるズームがある。本発明は、これらのカテゴリの両方にあてはまる。

一例として、図５および６は、２つの極端な焦点距離構成における本発明のライトフィールドズームＺを示す。図７は、上述のライトフィールドズームの受光部の拡大図を示す。

このズームＺは、Ｇ１およびＧ２で示す２つの固定レンズ群および３つの可動レンズ群Ｄ１、Ｄ２およびＤ３を含む。これらの３つのレンズの群を所与の方式で動かすことにより、ズームの焦点距離を変更すると共に焦点面上での焦点を維持することができる。従って、図５は、長焦点距離構成のズームを示し、図６は、短焦点距離構成のズームを示す。このズームの場合、焦点距離比は約７である。他のズーム構成も可能である。

本発明によるズームはライトフィールドズームであるため、従来方式のズームで検出器が配置されている箇所に深さ推定光学検出装置を含み、上述の図５および６の丸で囲んだ部分の拡大図を示す図７で分かるように、前記深さ推定光学検出装置は、マイクロレンズＭＭＬのマトリクス配列およびマトリクス配列検出器ＤＭを含む。

上述のように、推定距離毎に、最小の測定不確実性Ｉ_ＭＩＮを与えるズームの焦点距離がある。この最小の測定不確実性を推定距離ＤＥの関数として図８に示す。この不確実性は、光学系の被写界深度限界に依存する。この曲線において、測定不確実性は、１００メートルの距離で１メートル以下である。ズームの焦点距離は、この曲線に沿って変化する。図８の場合、焦点距離は、曲線の最下部と曲線の最上部との間で８倍変動する。ズームは、必然的に最大焦点距離を有する。従って、この曲線は、対物レンズの焦点距離を伸ばすことが可能である前提で線形の断面を有する。焦点距離が最大値に達すると、変動はより大きくなる。

ユーザーが測定を行う場合、ユーザーは、推定される距離を先験的に把握していないため、この距離の測定において不確実性が最小になるズームの焦点距離を事前に把握することができない。従って、本光学系は、
− ズームの第１の焦点距離および所与の被写体について、この被写体の推定距離およびこの推定における測定不確実性を前記第１の焦点距離および前記推定距離に応じて計算する手段と、
− この推定距離が把握されると、この推定におけるより低い測定不確実性が対応するズームの少なくとも１つの第２の焦点距離が決定されることを可能にする最適化手段と
を含む。

推定距離およびこの距離の測定不確実性を計算する手段は、ズームの焦点距離および開口が既知である前提で、ライトフィールドカメラに用いられる従来方法を採用する。

選択された第１の焦点距離は、例えば、ズームの最短焦点距離もしくはその最長焦点距離または中間焦点距離であってよい。この焦点距離の選択は任意であり、距離を測定しようとする被写体が、採用された焦点距離の被写界深度区間に存在しないようにすることが可能である。この場合、距離推定最適化処理を開始するために第１の距離評価値が得られるまで、場合に応じてより長いまたはより短い焦点距離で測定を再開する。

測定の最適化を可能にする各種の技術が存在する。例えば、最適化手段は、前記推定における最小の測定不確実性が対応する最適焦点距離が決定されることを可能にする反復のループを含み、各反復は、焦点距離の少なくとも１回の変更を含み、かつ新たな焦点距離に対応する推定距離およびこの推定における測定不確実性が計算される。従って、最適焦点距離に急速に収束可能である。この処理は、自動化可能であり、最適化手段は、ズームの焦点距離を自動的に調整して所望の精度を得ることができる。

この反復のループは、固定ズーム焦点面内で実行することができる。ズームが到達し得る距離の限度を変更して既知の焦点ぼかしを適用し、このように画定された新たな限度で反復処理を再開することも可能である。

反復のループ内での距離計算を容易にするために固定ズーム開口を用いることも可能である。この場合、被写体視野に位置する一点について、測定に採用したマイクロレンズの個数は不変のままである。また、可変ズーム開口を用いて測定不確実性を向上させることも可能である。この場合、物体視野に位置する一点について、測定に採用したマイクロレンズの個数は開口と共に増大する。

Claims (9)

1. ズーム（Ｚ）型の対物レンズおよび深さ推定光学検出装置を含む光学系であって、前記深さ推定光学検出装置は、マイクロレンズ（ＭＭＬ）のマトリクス配列およびマトリクス配列検出器（ＤＭ）を含み、前記マイクロレンズのマトリクス配列は、ズームの焦点面の画像が前記マイクロレンズのマトリクス配列によって前記マトリクス配列検出器の平面上に集光されるように配置されている、光学系において、前記ズームの第１の焦点距離および所与の被写体について、前記被写体の推定距離（Ｄ_Ｅ）および前記推定における測定不確実性（Ｉ）を前記第１の焦点距離および前記推定距離に応じて計算する手段と、前記推定距離が把握されると、前記推定におけるより低い測定不確実性が対応する前記ズームの少なくとも１つの第２の焦点距離が決定されることを可能にする最適化手段とを含むこと特徴とする光学系。
2. 前記最適化手段は、前記推定における最小の測定不確実性が対応する最適焦点距離が決定されることを可能にする反復のループを含み、各反復は、焦点距離の少なくとも１回の変更を含み、かつ新たな焦点距離に対応する前記推定距離および前記推定における前記測定不確実性が計算されることを特徴とする、請求項１に記載の光学系。
3. 前記反復のループは、固定ズーム焦点面内で実行されることを特徴とする、請求項２に記載の光学系。
4. 前記反復のループは、可変ズーム焦点面内で実行されることを特徴とする、請求項２に記載の光学系。
5. 前記反復のループは、固定ズーム開口で実行されることを特徴とする、請求項２に記載の光学系。
6. 前記反復のループは、可変ズーム開口で実行されることを特徴とする、請求項２に記載の光学系。
7. 前記ズームは、連続的に可変な焦点距離のズームであることを特徴とする、請求項１〜６のいずれか一項に記載の光学系。
8. 前記ズームは、多焦点対物レンズであることを特徴とする、請求項１〜６のいずれか一項に記載の光学系。
9. 前記深さ推定光学検出装置は、赤外線検出装置であることを特徴とする、請求項１〜８のいずれか一項に記載の光学系。

Images