JP6496940B2 - 軸上色収差を有するレンズを含む撮像システム、内視鏡及び撮像方法 - Google Patents

Description

本開示は、奥行き情報を用いて、異なる波長範囲の画像間でシャープネス情報を交換する撮像システムに関する。本開示は、さらに、内視鏡、及び撮像方法に関する。

デジタル撮像システムでは、光学系が３Ｄシーンから光をキャプチャし、キャプチャされた光を画像平面に配置された２Ｄ画像センサ上に投射する。鮮鋭な画像を得るために高い空間周波数が取得され得る範囲の被写界深度は、光学系の物理的寸法に特に依存する。撮像システムへのいくつかの適用例、例えば、燃焼室などの空洞の非破壊検査用の工業用内視鏡、又は、診断及び低侵襲手術用の医療用内視鏡などは、光学系のレンズシステムに対して非常に近い距離に位置する物体を、抑制された物理的寸法及び光学系の絞り値及び焦点距離で結像し、浅い被写界深度を有する。

高いシャープネス及び大きな被写界深度を兼ね備えた小型の光学系を組み合わせた撮像システムが必要とされる。本実施形態の目的は、独立請求項の主題によって達成される。従属請求項は、さらなる実施形態を定義する。

前段落は、概略的な導入として提供されており、下記の特許請求の範囲を限定することを意図するものではない。説明する実施形態は、さらなる利点と共に、添付図面と併せて以下の詳細な説明を参照することにより、最もよく理解されるであろう。

実施形態によれば、撮像システムは、シーンから、シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャするように構成される光学ユニットであって、軸上色収差を有する撮像レンズユニットが、シーンと撮像センサユニットとの間に配置される、光学ユニットを含む。奥行き処理ユニットは、奥行き情報を生成する。シャープネス処理ユニットは、奥行き情報を使用して、第１の画像を結合することによって、出力画像を生成する。

別の実施形態によれば、内視鏡は、チューブ部と、チューブ部の端面に取り付けられる先端部と、を含む。先端部は、シーンから、シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャする光学ユニットを含む。軸上色収差を有する撮像レンズユニットは、シーンと撮像センサユニットとの間に配置される。

さらなる実施形態によれば、撮像方法は、シーンから、シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャすることであって、軸上色収差を有する撮像レンズユニットが、シーンと撮像センサユニットとの間に配置されることを含む。奥行き情報は、第２の画像に基づいて生成される。出力画像は、奥行き情報を使用すること、及び第１の画像を結合することによって生成される。

さらなる実施形態によれば、撮像システムは、シーンから、シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャする機器、例えば、走査機器に配置される第１の手段を含む。第２の手段は、第２の画像に基づいて、奥行き情報を生成し、第２の手段は、信号伝送に関して第１の手段に接続される。第３の手段は、奥行き情報を用いて出力画像を生成し、第１の画像が結合される。第３の手段は、信号伝送に関して第１の手段及び第２の手段に接続される。

以下の図面では、同様の参照番号は、いくつかの図を通して同一又は対応する部分を指定する。図面の要素は、必ずしも互いに対して一定の縮尺ではない。説明する実施形態の特徴は、互いに組み合わされて、さらなる実施形態を形成し得る。

本実施形態に係る撮像システムの概略ブロック図である。 図１の撮像システムの光学ユニットの実施形態の概略ブロック図である。 狭帯域照明に関する本実施形態の効果を説明するための、照明ユニットの発光スペクトルの概略図である。 本実施形態に係る図２Ａ中の光学ユニットの撮像ユニットの詳細を示す概略図である。 図３Ａの撮像ユニットの概略断面図である。 本実施形態に係る図２Ａの光学ユニットの投射ユニットの詳細を示す概略図である。 図４Ａの投射ユニットの光学素子の概略平面図であり、本実施形態に係るシャドーパターンを示す。 本実施形態に係る図１の奥行き処理ユニットの機能ブロックを示す概略ブロック図である。 図５Ａの奥行き処理ユニットで使用されるスケール係数の効果を示す、概略図である。 本実施形態に係る図１のシャープネス処理ユニットの機能ブロックを示す概略ブロック図である。 さらなる実施形態に係るプロセッサシステムの概略機能ブロック図である。 さらなる実施形態に係る内視鏡の概略斜視図である。 さらなる実施形態に係る撮像方法の簡略化したフローチャートである。 本実施形態の効果を説明する、補正された色収差を有するレンズのカラーチャネルのぼけ関数をプロットした図である。 本実施形態の効果を説明する、濃色レンズのカラーチャネルのぼけ関数をプロットした図である。

図１は、例えば、カメラ、工業検査システム、又は、例えば腹腔鏡などの診断及び／若しくは低侵襲手術のための医療用内視鏡といった、撮像装置の撮像システム５００を示す。実施形態によれば、撮像システムの開口径は、５ｍｍより小さく、例えば、３ｍｍである。撮像システム５００は、シーン９００が、非構造化光で完全に照明されているときに、異なる波長範囲に割り当てられる、２つ以上の第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇをキャプチャする、光学ユニット１００を含む。同一のシーン９００が、構造化光で照明されているときに、光学ユニット１００は、同様に、異なる波長範囲の第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔをキャプチャする。光学ユニット１００は、第１の画像及び第２の画像を交互にキャプチャするように制御可能である。光学ユニット１００の光路１０１において、軸上色収差を有する撮像レンズユニット１１２は、シーン９００と、衝突光を第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇ及び第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔを表す電気信号又はデジタル情報に変換する撮像センサユニット１１８と、の間に配置される。

奥行き処理ユニット２００は、構造化光での照明によって得られる第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔを受信し、構造化光でシーン９００を照明中に適用されるシャドーパターンを記述するパターン情報ＰＩを、さらに受信又は保持する。光学三角測量を適用することによって、奥行き処理ユニット２００は、画像の詳細、物体、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔ内の単一画素又は画素群に関する奥行き情報ＤＩを得る。奥行き処理ユニット２００は、機能ブロック、例えば、ソフトウェアプログラム、電子回路、又はソフトウェアプログラムと電子回路の組み合わせである。ここで、ソフトウェアプログラムは、プロセッサ又はコントローラにおいて実行されるプログラムコードである。

シャープネス処理ユニット３００は、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇ、及び奥行き情報ＤＩを受信し、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇの改良バージョンを取得するために、奥行き情報ＤＩを使用して第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇ間でシャープネス情報を交換してもよい。シャープネス処理ユニット３００は、さらに、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇの改良バージョンを結合して、出力画像ＯＩｍｇを生成する。ここで、奥行き情報ＤＩが使用されてもよい。シャープネス処理ユニット３００は、機能ブロック、例えば、ソフトウェアプログラム、電子回路、又はソフトウェアプログラムと電子回路の組み合わせである。奥行き処理ユニット２００及びシャープネス処理ユニット３００は、異なる集積回路、又は、同一の集積回路に統合されてもよい。

光学ユニットの所与の寸法について、撮像システム５００は、深い被写界深度を超えて画質を向上させ、解像度の低下を回避する。解像度は、通常は、絞り値依存のぼけによって制限される。さらに、撮像システム５００は、完全な視野を介した画像コンテンツにほとんど依存しない、奥行き情報ＤＩを得る。奥行き情報ＤＩは、撮像装置のユーザに、シーンに関するさらなる情報を提供するために使用されてもよい。例えば、奥行き情報ＤＩは、モニタ又はディスプレイ上へのシーン９００の３Ｄ表現のために使用されてもよい。

図２Ａ及び図２Ｂは、光学ユニット１００の詳細を参照する。照明ユニット１９０は、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇのキャプチャ中にシーンを完全に照明する。ここで、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇのキャプチャ中に、シーン９００を照明する光は、構造化されていない。投射ユニット１５０は、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔのキャプチャ中に、構造化光でシーンを照明する。照明ユニット１９０及び投射ユニット１５０は、交互にアクティブとなる。撮像ユニット１１０は、軸上色収差を有し、濃色レンズとしての効果がある撮像レンズユニット１１２、並びに、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇ及び第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔをキャプチャする撮像センサユニット１１８を含む。

本実施形態によれば、照明ユニット１９０は、出射面１９１がシーン９００の方向を向き、接合面１９２が外部光源に接続可能な、１つ又は複数の光ファイバ１９５を含む。第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇのキャプチャ中、白色光、又は、可視光、ＵＶ（ｕｌｔｒａｖｉｏｌｅｔ：紫外線）照射及びＩＲ（ｉｎｆｒａｒｅｄ：赤外線）照射を含む波長範囲内の複数の狭い波長範囲が、光ファイバ１９５を通じてシーン９００に供給される。

別の実施形態によれば、照明ユニット１９０は、光学ユニット１００を入れるハウジングに統合される、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ：発光ダイオード）などの１つ又は複数のアクティブ光源を含む。光源は、白色光、又は、可視光、ＵＶ照射及びＩＲ照射を含む波長範囲内の複数の狭い波長範囲を放射してもよい。

照明ユニット１９０は、少なくとも撮像センサユニット１１８によって使用される波長範囲内の照射で、シーン９００を照明するように配置される。例えば、撮像センサユニット１１８が、赤、緑及び青の波長範囲を感知する場合、照明ユニット１９０は、少なくとも赤、緑及び青の波長範囲、例えば、少なくとも赤色光から少なくとも青色光までの波長範囲内で、シーン９００を照明する。撮像センサユニット１１８が、ＩＲ照射に対する感度が高い場合、照明ユニット１９０は、ＩＲ帯域でも、シーンを照明する。

投射ユニット１５０は、投射照明ユニット１５８、照明されるシーン９００と投射照明ユニット１５８との間に配置される投射レンズユニット１５２、及び、投射ユニット１５０の光路内の光学素子１５４と、を含む。

投射照明ユニット１５８は、出射面１９１がシーン９００の方向を向き、接合面１９２が外部光源に接続可能な、１つ又は複数の光ファイバ１９５を含んでもよい。別の実施形態によれば、投射照明ユニット１５８は、光学ユニット１００を入れるハウジングに統合される、ＬＥＤなどの１つ又は複数のアクティブ光源を含む。投射照明ユニット１５８は、照明ユニット１９０と同一のスペクトル分布を有する照射を放射してもよい。さらなる実施形態によれば、共通の光ファイバ、光ファイバ束、又は、アクティブ光源が、例えば、切替可能な光ゲート又は偏光器による照明ユニット１９０及び投射照明ユニット１５８として、交互に有効である。

投射レンズユニット１５２は、軸上色収差を有するレンズシステムであってもよい。本実施形態によれば、投射レンズユニット１５２は、撮像レンズユニット１１２と同一の軸上色収差特性を示す。

投射照明ユニット１５８と照明されるシーン９００との間の光路１０５内の光学素子１５４は、グレーレベルパターンを有するレチクルとして動作し、それは、少なくとも一部が影になっている、即ち、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔのキャプチャ中に完全には照明されていない、シーン９００の部分を定義する。

撮像ユニット１１０の撮像レンズユニット１１２及び撮像センサユニット１１８は、投射ユニット１５０の光軸１０５と一致しない光軸１０１に沿って配置される。撮像ユニット１１０の光軸１０１、及び、投射ユニット１５０の光軸１０５は、互いに交差してもよい。別の実施形態によれば、光軸１０１、１０５は、互いに平行であってもよい。ここで、光軸１０１、１０５間の距離は、この距離が、光学ユニット１００自体の直径を越えることができないように、撮像レンズユニット１１２と投射レンズユニット１５２との間の間隔を制限する光学ユニット１００の直径によって制限される。本実施形態によれば、光軸１０１、１０５間の距離は、最大で２．５ｍｍである。

本実施形態によれば、撮像ユニット１１０及び投射ユニット１５０は、同一の視野を有し、横並び又は上下並びに配置して、互いに整列されてもよい。双方の光学系は、２．５ｍｍより短い、例えば、２ｍｍ〜２．５ｍｍの範囲内の小さな眼球内距離（ｉｎｔｒａｏｃｕｌａｒ ｄｉｓｔａｎｃｅ）を有し、例として、全部のシステム寸法が、現在の腹腔鏡デバイスと同等であってもよい。

図２Ｂの図は、構造光及び非構造光でシーンを照明するための狭帯域レーザ照射を用いる実施形態を参照する。例えば、照明ユニット１９０及び投射照明ユニット１５８の双方が、図中に示すように、赤、緑、及び青のレーザ光１９４ａ、１９４ｂ、１９４ｃでシーンを照明する。さらに、図２Ｂの図は、図３Ｂに示すような赤、緑、及び青のカラーフィルタ部１１４ａについてのカラーフィルタ伝送特性１１９ａ、１１９ｂ、１１９ｃをさらに示す。波長依存倍率（ｗａｖｅｌｅｎｇｔｈ ｄｅｐｅｎｄｅｎｔ ｍａｇｎｉｆｉｃａｔｉｏｎ）は、第１及び第２の画像をぼかすことができないため、半離散波長(ｑｕａｓｉ ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｎｇｔｈ)を使用することによって、より鮮鋭な第１及び第２の画像がもたらされる。

図３Ａ及び図３Ｂは、撮像ユニット１１０をより詳細に示す。シーンのキャプチャ中、可視光、ＵＶ照射、及びＩＲ照射を含んでもよく、シーンの画像について記述的（ｄｅｓｃｒｉｐｔｉｖｅ）である照射は、絞りユニット１１１の絞り１１１ａ及び撮像レンズユニット１１２を通過して、撮像センサユニット１１８上に入射する。絞り１１１ａの大きさは、固定又は制御可能であってもよい。

撮像レンズユニット１１２は、軸上色収差を示し、例えば、第１の焦点面ＦＩＲにおいて赤外線放射、焦点面ＦＲにおいて赤色可視光、焦点面ＦＧにおいて緑色光、及び、焦点面ＦＢにおいて青色光を結像してもよい。撮像レンズユニット１１２は、複数のセグメントを含むマイクロレンズアレイであってもよく、ここで、撮像レンズユニット１１２の各レンズセグメントが、撮像センサユニット１１８の１つの単一画素センサ１１８ａ、及び、カラーフィルタユニット１１４の１つのカラーフィルタ部１１４ａに割り当てられてもよい。

本実施形態によれば、撮像レンズユニット１１２は、ガラス又はプラスティックなどの高分散性素材で形成される複合レンズであってもよい。その場合に、焦点距離が波長の関数として変化するように、屈折率は、入射光の波長の関数である。撮像レンズユニット１１２が、球面収差及び／若しくは視野依存収差（ｆｉｅｌｄ ｄｅｐｅｎｄｅｎｔ ａｂｅｒｒａｔｉｏｎｓ）を全く示さないか、又は、軽微な球面収差及び／若しくは視野依存収差のみを示すように、撮像レンズユニット１１２は、球面収差及び／又は視野依存収差を補償する補償素子を含んでもよい。撮像レンズユニット１１２は、さらに、異なる焦点面において異なる拡大率を補償するように設計されてもよい。

撮像レンズユニット１５２の軸上色収差に起因して、カラー画像の青、緑、赤、及び赤外線は、近距離から遠距離までの異なる距離で焦点を合わせる。カラー画像の間でシャープネスを交換することによって、撮像ユニット１１０の動作範囲が拡大する。以下では、可視スペクトルのサブ範囲、及び、ＩＲ及びＵＶなどの、可視スペクトルに隣接する波長範囲のサブ範囲は、波長範囲が人間の眼で知覚可能か否かに関わらず、「カラー」と呼ばれる。例えば、「カラーフィルタ」は、また、ＩＲ又はＵＶスペクトル範囲における照射のみを通過させるフィルタであってもよい。

撮像センサユニット１１８は、複数の画素センサ１１８ａを含み、ここで、各画素センサ１１８ａは、入射光による光信号を電気信号へと変換するフォトセンサを含む。画素センサ１１８ａは、１つの平面又は異なる平面の半導体基板に形成されてもよい。画素センサ間のピッチ（中心間）距離は、０．５μｍ〜２μｍの範囲内にあってもよい。本実施形態によれば、撮像センサユニット１１８は、約２ＭＰ解像度を有するＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ：高精細）画像センサであってもよい。

例えば、撮像センサユニット１１８は、半導体基板の基板表面に沿って形成されている、深いフォトダイオードが表面フォトダイオードの数ミクロン下の基板部に形成された垂直集積型フォトダイオード構造を有してもよい。可視光は、半導体基板の表面部において吸収される一方、赤外線照射は、より深く半導体基板に浸透する。結果として、深いフォトダイオードは、赤外線照射のみを受信する。別の実施形態によれば、撮像センサユニット１１８は、フォトダイオードがアレイ状に配置された、横集積型フォトダイオード構造を有してもよい。

カラーフィルタユニット１１４は、撮像レンズユニット１１２及び撮像センサユニット１１８の間、又は、開口ユニット１１１及び撮像レンズユニット１１２の間に配置されてもよい。カラーフィルタユニット１１４は、撮像センサユニット１１８に密着して配置されてもよく、複数のカラーフィルタ部１１４ａを含んでもよい。ここで、各カラーフィルタ部１１４ａは、例えば、緑、赤、青、マゼンタ、黄、白、ＩＲ、又はＵＶのフィルタカラーを有する。

各画素センサ１１８ａがカラー固有の画像情報を受信するように、各カラーフィルタ部１１４ａは、１つの単一画素センサ１１８ａに割り当てられてもよい。例えば、カラーフィルタ部１１４ａは、行と列にマトリクス状に配置されてもよい。異なるフィルタカラーに割り当てられるカラーフィルタ部１１４ａは、行方向及び列方向に沿って規則的に交互になっていてもよい。例えば、２×２マトリクスを形成する４つのカラーフィルタ部１１４ａの各グループは、ベイヤーモザイクパターンを形成してもよい。ここで、フィルタカラー「緑」を有するカラーフィルタ部１１４ａは、２×２マトリクスの第１の対角線上に配置され、フィルタカラー「赤」を有する１つのカラーフィルタ部１１４ａ及びフィルタカラー「青」を有する１つのカラーフィルタ部１１４ａは、２×２マトリクスの他の対角線上に配置される。ベイヤーモザイクパターンでは、緑色が人間の眼に対する輝度情報のほとんどを伝達することを考慮して、フィルタカラー「緑」についてのサンプリング率が、フィルタカラー「赤」及び「青」のサンプリング率の２倍である。

別の実施形態によれば、カラーフィルタ部１１４ａは、第４のフィルタカラーとして「エメラルド」を有するＲＧＢＥモザイクパターン、１つのシアン、２つの黄及び１つのマゼンタのカラーフィルタ部１１４ａを有するＣＹＹＭモザイクパターン、又は、１つのシアン、１つの黄、１つの緑及び１つのマゼンタのカラーフィルタ部１１４ａが、２×２単位マトリクスに配置された、ＣＹＧＭモザイクパターンを形成するように配置されてもよい。これらは、カラーフィルタユニット１１４の範囲内に繰り返し配置される。別の実施形態によれば、カラーフィルタユニット１１４は、３つの異なるフィルタカラーの３つのカラーフィルタ部、及び、カラーフィルタリング特性を持たず、可視スペクトル内の全色に対して透明な１つの透明フィルタ部を有する単位マトリクスのモザイクを含む。透明フィルタ部及びカラーフィルタ部１１４ａは、ＲＧＢＷモザイクパターン、例として、例えば４×４又は２×４のＲＧＢＷモザイクパターン、を形成するように配置されてもよい。

本実施形態によれば、カラーフィルタ１１４は、ＩＲ又はＵＶ照射に対して透明な、少なくとも１つのカラーフィルタ部の種類を含む。例えば、カラーフィルタ１１４は、各２×２単位マトリクスが、１つの赤、１つの緑、１つの青、及び１つの赤外線カラーフィルタ部１１４ａを含み、単位マトリクスが、モザイクパターンを形成するように規則的に配置された、ＲＧＢＩＲフィルタである。Ｒ、Ｇ、Ｂ、及びＩＲの４つのカラーは、２×２の単位マトリクス内に任意の順列によって配列され得る。

ＩＲ及び／又はＵＶ照射は、カラーフィルタ部１１４ａ間のＩＲ照射又はＵＶ照射に対して透明な、フィルタ部１１４ａ内のカラーフィルタユニット１１４を通過してもよい。他の実施形態によれば、カラーフィルタ部１１４ａは、赤外線照射の周波数範囲の一部に対して透明であってもよいため、カラーフィルタユニット１１４は、深いフォトダイオードに割り当てられる部分を含まない。

図４Ａは、投射レンズユニット１５２と、投射照明ユニット１５８と投射レンズユニット１５２との間に配置される光学素子１５４と、を有する投射ユニット１５０を示す。図示された実施形態によれば、投射照明ユニット１５８は、例えば、ＬＥＤ又はＬＥＤアレイなどのアクティブ光源１９６である。投射レンズユニット１５２は、同一の軸上色収差を含む撮像レンズユニット１１２と同一の光学性能を有してもよい。ハイパークロマティック投射レンズユニット１５２の場合、少なくとも１つのカラーチャネルにおいて鮮鋭であるため、構造化光パターンが検出され、より確実に処理され得る。さらに、濃色の投射レンズユニット１５２は、撮像レンズユニット１１２の倍率色収差（ｌａｔｅｒａｌ ｃｈｒｏｍａｔｉｃ ａｂｅｒｒａｔｉｏｎ）及び歪曲収差（ｄｉｓｔｏｒｔｉｏｎ）を逆に補償してもよい。

図４Ｂは、図４Ａの光学素子１５４の詳細を示す。光学素子１５４は、レチクルの表面上にインプリントされ得るシャドーパターンを有する微細構造レチクルであってもよい。シャドーパターンは、非シャドーイング（白色）部分及びシャドーイング部分を含み、後者は、完全なシャドーイング（黒）又は部分的なシャドーイング（グレースケール）のいずれかである。本実施形態によれば、シャドーイング部分のグレースケール又はグレーレベルは、元のパターンと投射されたパターンとの間のマッピングにおける曖昧さを回避するために、符号化されてもよい。例えば、４つの異なるグレースケールレベルは、光学素子１５４のシャドーパターンを結像された物体上に投影することから生じる構造化光パターン内の１２個の異なる種類のエッジを符号化してもよい。

部分的なシャドーイング部分は、例えば、１方向に沿って変化するストライプパターンなどの１Ｄパターン、又は、例えば、２つの直交する方向に沿って変化するドットパターン若しくはグリッドなどの２Ｄパターンを形成してもよい。シャドーパターンは、構造化光パターンを復元する間に起こり得る曖昧さを減少させるためのグレーコード化合成パターンであってもよい。

図４Ｂに示されるシャドーパターン８１０は、パターン化された水平線８１２を含み、水平線８１２は、グレーレベルの白ＷＳを有する白線８１４で分けられてもよい。水平線は、全体のシャドーパターンが５つの異なるグレーレベルを含むように、黒と白の間の４つの異なるグレーレベルＧＡ、ＧＢ、ＧＣ、ＧＤの１２個のフィールド８２１を含み得る、繰り返しパターン８２０を含む。

シーン９００上に投射される際、シーン９００内の物体の異なる距離が、投射ユニット１５０の光軸１０５に対して遠くの観察者に対し、投射された構造化光パターンを歪める。投射された構造化光パターンと、パターン情報ＰＩによって記述されるインプリントされたシャドーパターンにおける、対応する点とを比較することによって、奥行き情報ＤＩは、少なくとも、構造光パターンのエッジ上の画素について、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔから導出され得る。

図５Ａは、奥行き処理ユニット２００の機能ブロック、及び奥行き処理ユニット２００によって実行され得る奥行き感知のプロセスを示す。機能ブロック２１０、２２０、２３０、２４０、２５０のそれぞれは、例えば、集積回路、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：特定用途向け集積回路）、若しくはＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ：デジタル信号プロセッサ）などの電子回路、又は、デジタル信号プロセッサにおいて実行され得るプログラムルーチン、又は、両者の組み合わせに対応してもよい。

奥行き処理ユニット２００の第１の機能ブロック２１０は、構造化光でシーンを照明中に、光学ユニット１００によって取得された第２の画像、特に、例えば、赤の波長範囲内でキャプチャされ、投射されたシャドーパターンを含む画像ＲＰａｔを受信する。構造化光は、構造化白色光、又は、ＩＲ照射、可視光、及びＵＶ照射を含むスペクトル範囲内の、少なくとも２つの離れた狭い波長範囲の構造化光であってもよい。

奥行き推定の精度及び堅牢性を向上させるために、第１の機能ブロック２１０は、白色光情報を使用して、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔに投射されたシャドーパターンを復元するためのスケール係数を得てもよい。２Ｄシャドーパターンに基づく、空間情報を排他的に使用する実施形態によれば、スケール係数は、現在の第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔの白色（影になっていない）部分から決定される。

図５Ｂは、非構造化光を用いた照明によって取得される第１の画像ＷＬ中の画素値ｗｌ１、ｗｌ２、グレーレベルｓｌ１、ｓｌ２、ｓｌ３のフィールドで構造化光を用いた照明によって取得される第２の画像ＳＬ中の、対応する画素値ｘ１、ｘ２、及び、非構造化光を用いた照明によって取得される後続の画像ＷＬｎｘｔ中の対応する画素値ｗｌ１ｎｘｔ、ｗｌ２ｎｘｔ、を使用することによる、動きがない場合のスケール係数ｓｆの計算及び使用を示す。

スケール係数ｓｆは、非構造化光を用いた照明によって取得される時間的に隣接する画像中で観測される画素値をワーピング（ｗａｒｐｉｎｇ）すること、及び、ワーピングの結果の逆数値を形成することによって、取得されてもよい。本実施形態によれば、スケール係数ｓｆ（ｘ１）は、２５５／（（ｗｌ１＋ｗｌ１ｎｘｔ）／２）であってもよい。

スケール係数ｓｆは、構造化光を用いた照明によって取得される画像中の対応する画素値ｘ１、ｘ２と乗算されて、構造化光を用いた照明によって取得される画像の補償済みバージョンを取得する。このようにして、スケール係数ｓｆは、構造化光を用いた照明によって取得される画像から、構造化光パターンを復元するために使用されることができ、画像は、構造化光によって照明されるシーン情報を含む。

１Ｄ又は２Ｄシャドーパターンに基づく、動き適用型時空間−時空情報（ｍｏｔｉｏｎ−ａｄａｐｔｉｖｅ ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｉｎｆｏｒｍａｔｉｏｎ）を用いる別の実施形態によれば、第１の機能ブロック２１０は、現在の第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔ、並びに、非構造化光を用いた照明によって取得される、先行及び／又は後続の第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇから、スケール係数を取得する。１Ｄ又は２Ｄシャドーパターンに基づく、動き補償型時空間−時空情報（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｉｎｆｏｒｍａｔｉｏｎ）を用いるさらなる実施形態によれば、第１の機能ブロック２１０は、現在の第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔ、並びに先行及び／又は後続の第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇの動き補償済みバージョンから、スケール係数を取得する。

第２の機能ブロック２２０は、現在の第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔ中の奥行き推定に適した画素又は画素群（奥行きポイント）を決定する。本実施形態によれば、第２の機能ブロック２２０は、サブ画素精度でエッジ位置を検出し、検出されたストライプパターンのエッジにおける画素又は画素群を、奥行きポイントとして選択する。

隣接するストライプのグレースケール値に基づいて、第３の機能ブロック２３０は、奥行きポイントにラベルを割り当ててもよい。

第４の機能ブロック２４０は、奥行きポイントについての奥行き値を決定するために、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔ中のラベルされた奥行きポイント、及び、パターン情報ＰＩによって記述される無歪みのシャドーパターンにおけるそれらの対応箇所に対して、光学三角測量を適用する。本実施形態によれば、第４の機能ブロック２４０は、三角測量結果のエラーを減少させるために、スケール係数及びそれぞれの奥行きポイントにおけるシャープネスについての測定値を使用して信頼性を測定することによって、各三角測量結果の品質をさらに評価する。例えば、それぞれの奥行きポイントにおけるシャープネスの適切な測定値は、エッジの幅であり、それは、それぞれのラベルを定義するエッジの幅である。それは、カラーチャネル毎に導出されるパラメータである。

第５の機能ブロック２５０は、奥行きポイント間の画素又は画素群についての奥行き値を取得するための奥行き伝播アルゴリズムを使用し、奥行き情報ＤＩを出力する。奥行き情報ＤＩは、第２の画像ＲＰａｔ、ＧＰａｔ、ＢＰａｔ内の各画素に奥行き値を割り当てる高密度の奥行きマップ２５０ｂであってもよく、又は、高密度の奥行きマップ２５０ｂを含んでもよい。続いてキャプチャされた第１の画像に結果が適用され得るように、結果は、少なくとも３０Ｈｚのフレームレートに対し、リアルタイムで取得され得る。図５Ａでは、奥行きマップ２５０ｂの奥行き値は、説明のために、色分けされている。

図６は、シャープネス処理ユニット３００の機能ブロック、及び、シャープネス処理ユニット３００によって実行され得るシャープネス転送（ｓｈａｒｐｎｅｓｓ ｔｒａｎｓｆｅｒ）のプロセスを示す。再び、機能ブロック３１０、３２０のそれぞれは、例えば、ＦＰＧＡ、ＡＳＩＣ、若しくはＤＳＰといった集積回路などの電子回路、又は、例えば、ＤＳＰなどの電子回路で実行されるプログラムルーチン、又は、両者の組み合わせに対応してもよい。

シャープネス処理ユニット３００の第１の機能ブロック３１０は、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇ内の単一画素、画素群及び／又は物体について、それぞれの画像部分内のシャープネスについて記述する値、例えば、高空間周波数のコンテンツを比較してもよく、奥行き情報ＤＩを用いて、関係する単一画素、画素群又はオブジェクトについて最も鮮鋭な情報を含むものを識別する。

第２の機能ブロック３２０は、第１の画像の改良バージョンｖＲＩｍｇ、ｖＧＩｍｇ、ｖＢＩｍｇを取得するために、対象領域内で最も高い空間周波数を伝達する第１の画像から他の第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇへ、シャープネス情報を移送してもよい。ここで、第２の機能ブロック３２０は、奥行き情報ＤＩを使用して、最も鮮鋭なチャネルを識別し、各画像領域について第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇのうち最も鮮鋭なものの高い空間周波数を、他の第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇにコピーしてもよい。例えば、第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇのうちの１つのそれぞれのぼやけたサブ領域に対して、それぞれのサブ領域についての最も鮮鋭な第１の画像ＲＩｍｇ、ＧＩｍｇ、ＢＩｍｇのハイパスフィルタリング済みバージョン（ｈｉｇｈ−ｐａｓｓ ｆｉｌｔｅｒｅｄ ｖｅｒｓｉｏｎ）が、追加され、又は、重畳されてもよい。レンズ特性に関する先験的知識が存在するため、ハイパスの強度は、実際の奥行きに従って設定されてもよい。

第３の機能ブロック３３０は、ほぼ全焦点の出力画像ＯＩｍｇを取得するために、改良された第１の画像を結合する。出力画像ＯＩｍｇは、カラー又はグレースケール画像であってもよい。本実施形態によれば、第４の機能ブロック３４０は、さらに、出力画像ＯＩｍｇを奥行き情報ＤＩと結合して、例えば、色分けした２Ｄ表現又は３Ｄ表現によって各ピクセルについての奥行き情報を視覚化する、改良された出力画像ＯＡｄｖを生成してもよい。

出力画像ＯＩｍｇ又は改良された出力画像ＯＡｄｖは、例えば、グレースケール又はカラー画像を表すデジタル値のセットとして、撮像システムの不揮発性メモリに記憶されてもよい。代替的には、又は、加えて、出力画像ＯＩｍｇ又は改良された出力画像ＯＡｄｖは、撮像システムの表示デバイス上に表示されてもよく、有線又は無線通信チャネルを通じて撮像システムに接続された別のシステムに出力されてもよく、又は、出力画像ＯＩｍｇに含まれる情報をさらに処理するための処理システム若しくはアプリケーションに供給されてもよい。

図７は、ハイパークロマティックレンズユニットを含む光学ユニットによって取得される画像に基づいて、出力画像を生成するコンピュータを伴う態様を含む、本開示の態様を具現化する処理システム４００のブロック図である。本明細書で説明するプロセス、アルゴリズム及び電子駆動システムは、処理システム４００と整合する、分離した制御デバイス又はコンピューティングシステムを介して実装され得る。

処理システム４００は、マイクロプロセッサ、又は中央処理装置４８１（ＣＰＵ）若しくは少なくとも１つのアプリケーション固有プロセッサＡＳＰなどの、マイクロプロセッサの均等物を用いて実装され得る。マイクロプロセッサは、マイクロプロセッサを制御して、撮像方法を実行及び／又は制御する、メモリ４６１（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、スタティックメモリ、ＤＲＡＭ、ＳＤＲＡＭ、及びそれらの均等物）などのコンピュータ可読記憶媒体を利用する。他の記憶媒体は、ハードディスクドライブ又は光ディスクドライブを制御する、ディスクコントローラ４６２などのコントローラを介して制御され得る。中央バスシステム４７０は、処理システム４００のコンポーネントを互いに接続してもよく、それらの間のデジタル通信用に少なくとも１つのパスを提供する。

ビデオコントローラ４６０は、出力画像を結像してもよく、又は、奥行き情報を使用して、モニタ４５０に表示され得る３Ｄ画像をレンダリングしてもよい。ビデオコントローラ４６０は、計算効率改善のためのグラフィック処理ユニットを含んでもよい。さらには、Ｉ／Ｏ（入力／出力）インタフェース４８２は、本開示の様々なプロセス及びアルゴリズムのパラメータを制御するため、又は、表示特性を制御するための、キーボード４９０又はポインティングデバイス４９１から入力データを受信してもよい。モニタ４５０は、コマンド／命令インタフェースへのタッチセンシティブインタフェースを含んでもよい。画像ベースのデータ入力が使用されるとき、スキャナ又はウェブカメラを含む、他の周辺機器が組み込まれてもよい。

処理システム４００のコンポーネントは、制御可能なパラメータを含むデータの送信又は受信のために、ネットワークインタフェース４８０を介して、インターネット又はローカルイントラネットなどのネットワーク４８５に連結されてもよい。ネットワーク４８５は、モバイルデバイスに通信パスを提供してもよく、それは、データパケットとして提供され得る。

本実施形態によれば、処理システム４００は、Ｉ／Ｏインタフェース４８２を通じて、第１の画像及び第２の画像を光学ユニットから受信してもよい。別の実施形態によれば、処理システム４００は、ネットワークインタフェース４８０を通じて、第１の画像及び第２の画像を光学ユニットから受信してもよい。

図８は、例として、診断用又は低侵襲手術用の、産業用途で使用され得る内視鏡５０１などの、走査機器の一部を示す。円筒形の先端部５１０が、光ファイバ及び電気配線を含み得る、硬質又は可撓チューブ部５２０の端面に取り付けられる。先端部５１０は、上記で詳細に説明した光学ユニット１００を含む。透明な先端表面及び不透明な円筒面を有するハウジング５３０が、光学ユニット１００を封入してもよい。

光学ユニット１００は、シーンが完全に照明されているとき、シーンから異なる波長範囲の第１の画像をキャプチャする。光学ユニット１００は、さらに、シーンが構造化光で照明されているとき、シーンから異なる波長範囲の第２の画像をキャプチャする。撮像センサユニット１１８を有する撮像ユニット１１０は、先端部５１０の第１の半円筒内に配置され、シャドーパターンを含む光学素子１５４を有する投射ユニット１５０は、第２の半円筒内に配置される。

先端部５１０の直径は、３ｍｍ〜５ｍｍの範囲内にあってもよい。撮像ユニット１１０の絞り値は、Ｆ／４以下であってもよい。内視鏡５０１は、シャープネスが低下することなく、２０ｍｍ〜２００ｍｍの動作範囲で、シーンを結像してもよい。

図９は、撮像方法を示す。シーンが完全に照明されているとき、濃色撮像レンズユニットを用いて、異なる波長範囲の第１の画像がキャプチャされる（７０２）。シーンが構造化光で照明されているとき、同一の異なる波長範囲の第２の画像がキャプチャされ、ここで、同一のハイパークロマティック撮像レンズユニットが使用される（７０４）。第２の画像に基づいて、構造化光のシャドーパターンによって識別される画像部分の光学三角測量を用いて、奥行き情報が取得される（７０６）。取得された奥行き情報を用いて、第１の画像間でシャープネス情報を交換した後、第１の画像を結合することによって、出力画像が生成される。

図１０Ａ及び図１０Ｂは、物体距離ＯＤの関数としてぼけ直径ＢＤをプロットする図によって、ハイパークロマティックレンズの使用による動作範囲の拡大を示している。ぼけ直径ＢＬｉｍは、許容できるぼけ直径を示し、青、緑、及び赤のぼけ関数８０１、８０２、８０３についての動作範囲の限界ＯＤ１、ＯＤ２を設定する。

図１０Ａでは、全ての対象の色が、同一平面に合焦するように、レンズの色収差が、完全に補正される。青、緑、及び赤についてのぼけ関数８０１、８０２、８０３は合致し、それらの動作範囲ＷＢ、ＷＧ、ＷＲは、互いに重なり合う。

図１０Ｂでは、レンズの軸上色収差は、補正されず、又は、補正されていないレンズにおけるよりもさらに顕著になる。それによって、色が、異なる平面に合焦し、関係する色のぼけ関数８０１、８０２、８０３及びそれらの動作範囲ＷＢ、ＷＧ、ＷＲは、互いにシフトする。例えば、青チャネルの動作範囲ＷＢは、より短い距離にシフトし、一方、赤チャネルの動作範囲ＷＲは、より長い距離にシフトする。対象の色の動作範囲ＷＢ、ＷＧ、ＷＲを連結し、全てのカラーチャネル間でシャープネスを交換することにより、全体の動作範囲Ｗｔｏｔａｌの拡大が、達成され得る。

このように、前述した説明は、単に、本開示の例示的な実施形態を開示し、説明する。当業者によって理解されるように、本開示は、本開示の思想又は必須の特性から逸脱することなく、他の特定の形式で具現化されてもよい。したがって、本開示は、例示することを意図しているが、本開示の範囲及び他の請求項を限定するものではない。本開示は、本明細書の教示の、任意の容易に識別可能な変形を含み、前述の請求項の用語の範囲を、部分的に定義する。

本技術は、また、以下で説明されるように構成され得る。

（１）
シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャするように構成される光学ユニットであって、軸上色収差を有する撮像レンズユニットが、前記シーンと撮像センサユニットとの間に配置される、前記光学ユニットと、
前記第２の画像に基づいて、奥行き情報を生成するように構成される、奥行き処理ユニットと、
前記奥行き情報及び前記第１の画像に基づいて、出力画像を生成するように構成される、シャープネス処理ユニットと、
を備える、撮像システム。
（２）
前記光学ユニットは、構造化光で前記シーンを照明するように構成される投射ユニットを備え、
前記投射ユニットは、
制御可能な投射照明ユニットと、
前記投射光源及び前記シーンの間に配置され、軸上色収差を有する投射レンズユニットと、
を備える、（１）に記載の撮像システム。
（３）
前記撮像ユニット及び前記投射ユニットの光軸は、互いに平行である、（２）に記載の撮像システム。
（４）
前記シャープネス処理ユニットは、前記第１の画像間でシャープネス情報を交換後、前記第１の画像に基づいて、前記出力画像を生成するように構成される、（１）〜（３）の何れか１つに記載の撮像システム。
（５）
前記撮像レンズユニット及び前記投射レンズユニットは、同一の軸上色収差を有する、（４）に記載の撮像システム。
（６）
前記投射ユニットは、シャドーパターンを形成する、透明な特徴及び少なくとも部分的に不透明な特徴を含む光学素子を備える、（２）又は（３）に記載の撮像システム。
（７）
前記シャドーパターンは、グレースケール符号化パターンである、（６）に記載の撮像システム。
（８）
前記光学ユニットは、前記第１の画像及び前記第２の画像を交互にキャプチャするように構成される、（１）〜（７）の何れか１つに記載の撮像システム。
（９）
前記第１の画像のキャプチャ中に、前記シーンを非構造化光で照明するように構成される照明ユニットをさらに備える、（１）〜（８）の何れか１つに記載の撮像システム。
（１０）
前記照明ユニットは、出射面が前記シーンの方向を向き、接合面が外部光源に接続可能な、１つ又は複数の光ファイバを含む、（９）に記載の撮像システム。
（１１）
前記照明ユニットは、少なくとも可視光のスペクトル範囲を包含する広帯域発光スペクトルで、前記シーンを照明するように構成される、（９）又は（１０）に記載の撮像システム。
（１２）
前記照明ユニットは、２つ以上の別個の狭帯域発光スペクトルで、前記シーンを照明するように構成される、（９）又は（１０）に記載の撮像システム。
（１３）
前記奥行き処理ユニットは、光学三角測量によって前記第２の画像から前記奥行き情報を生成するように構成される、（１）〜（１２）の何れか１つに記載の撮像システム。
（１４）
前記シャープネス処理ユニットは、シャープネス情報として前記第１の画像の空間周波数分布を取得し、前記第１の画像のうちの少なくとも１つから前記空間周波数分布の高周波数成分を抽出し、前記抽出された高周波数成分を残りの前記第１の画像に加えて補正された第１の画像を生成し、前記奥行き情報を用いて前記補正された第１の画像を結合することによって、前記出力画像を生成するように構成される、（１）〜（１３）の何れか１つに記載の撮像システム。
（１５）
（１）〜（１４）の何れか１つに記載の前記撮像システムを備える、内視鏡システム。
（１６）
チューブ部と、
前記チューブ部の端面に取り付けられ、シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャするように構成される光学ユニットを備える先端部であって、軸上色収差を有する撮像レンズユニットが、前記シーン及び撮像センサユニットの間に配置される、前記先端部と、
を備える、内視鏡。
（１７）
前記第１の画像のキャプチャ中に、前記シーンを照明するように構成される照明ユニットをさらに備える、（１６）に記載の内視鏡。
（１８）
前記光学ユニットは、構造化光で前記シーンを照明するように構成される投射ユニットを備え、
前記投射ユニットは、
制御可能な投射照明ユニットと、
前記投射照明ユニット及び前記シーンの間に配置され、軸上色収差を有する投射レンズユニットと、
を備える、（１６）又は（１７）に記載の内視鏡。
（１９）
シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャすることであって、軸上色収差を有する撮像レンズユニットが、前記シーンと撮像センサユニットとの間に配置される、前記キャプチャすることと、
前記第２の画像に基づいて、奥行き情報を生成することと、
前記奥行き情報を用いて、前記第１の画像を結合することによって、出力画像を生成することと、を含む、撮像方法。
（２０）
奥行き情報は、前記構造化光のシャドーパターンによって識別される画像部分の光学三角測量を用いて生成される、（１９）に記載の撮像方法。
（２１）
シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の第２の画像をキャプチャする機器に配置される第１の手段であって、前記第１の画像及び第２の画像は、軸上色収差を有する撮像レンズユニットを用いてキャプチャされる、前記第１の手段と、
前記第２の画像に基づいて、奥行き情報を生成する第２の手段であって、信号伝送に関して前記第１の手段に接続される、前記第２の手段と、
前記奥行き情報を用いて、前記第１の画像を結合することによって、出力画像を生成する第３の手段であって、信号伝送に関して前記第１の手段及び前記第２の手段に接続される、前記第３の手段と、を備える、撮像システム。

Claims (21)

1. シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の複数の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の複数の第２の画像をキャプチャするように構成される光学ユニットであって、軸上色収差を有する撮像レンズユニットが、前記シーンと撮像センサユニットとの間に配置され、前記複数の第１の画像の前記異なる波長範囲が前記複数の第２の画像の前記異なる波長範囲と同一である、前記光学ユニットと、
   前記第２の画像に基づいて、奥行き情報を生成するように構成される、奥行き処理ユニットと、
   前記奥行き情報及び前記第１の画像に基づいて、出力画像を生成するように構成される、シャープネス処理ユニットと、
   を備える、撮像システム。
2. 前記光学ユニットは、構造化光で前記シーンを照明するように構成される投射ユニットを備え、
   前記投射ユニットは、
   制御可能な投射照明ユニットと、
   前記制御可能な投射照明ユニット及び前記シーンの間に配置され、軸上色収差を有する投射レンズユニットと、
   を備える、請求項１に記載の撮像システム。
3. 前記撮像レンズユニットと前記撮像センサユニットとを有する撮像ユニット及び前記投射ユニットの光軸は、互いに平行である、請求項２に記載の撮像システム。
4. 前記シャープネス処理ユニットは、前記第１の画像間でシャープネス情報を交換後、前記第１の画像に基づいて、前記出力画像を生成するように構成される、請求項１に記載の撮像システム。
5. 前記撮像レンズユニット及び前記投射レンズユニットは、同一の軸上色収差を有する、請求項２に記載の撮像システム。
6. 前記投射ユニットは、シャドーパターンを形成する、透明な特徴及び少なくとも部分的に不透明な特徴を含む光学素子を備える、請求項２に記載の撮像システム。
7. 前記シャドーパターンは、グレースケール符号化パターンである、請求項６に記載の撮像システム。
8. 前記光学ユニットは、前記第１の画像及び前記第２の画像を交互にキャプチャするように構成される、請求項１に記載の撮像システム。
9. 前記第１の画像のキャプチャ中に、前記シーンを非構造化光で照明するように構成される照明ユニットをさらに備える、請求項１に記載の撮像システム。
10. 前記照明ユニットは、出射面が前記シーンの方向を向き、接合面が外部光源に接続可能な、１つ又は複数の光ファイバを含む、請求項９に記載の撮像システム。
11. 前記照明ユニットは、少なくとも可視光のスペクトル範囲を包含する広帯域発光スペクトルで、前記シーンを照明するように構成される、請求項９に記載の撮像システム。
12. 前記照明ユニットは、２つ以上の別個の狭帯域発光スペクトルで、前記シーンを照明するように構成される、請求項９に記載の撮像システム。
13. 前記奥行き処理ユニットは、光学三角測量によって前記第２の画像から前記奥行き情報を生成するように構成される、請求項１に記載の撮像システム。
14. 前記シャープネス処理ユニットは、シャープネス情報として前記第１の画像の空間周波数分布を取得し、前記第１の画像のうちの少なくとも１つから前記空間周波数分布の高周波数成分を抽出し、前記抽出された高周波数成分を残りの前記第１の画像に加えて補正された第１の画像を生成し、前記奥行き情報を用いて前記補正された第１の画像を結合することによって、前記出力画像を生成するように構成される、請求項１に記載の撮像システム。
15. 請求項１に記載の前記撮像システムを備える、内視鏡システム。
16. チューブ部と、
    前記チューブ部の端面に取り付けられ、シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の複数の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の複数の第２の画像をキャプチャするように構成される光学ユニットを備える先端部であって、軸上色収差を有する撮像レンズユニットが、前記シーン及び撮像センサユニットの間に配置され、前記複数の第１の画像の前記異なる波長範囲が前記複数の第２の画像の前記異なる波長範囲と同一である、前記先端部と、
    を備える、内視鏡。
17. 前記第１の画像のキャプチャ中に、前記シーンを照明するように構成される照明ユニットをさらに備える、請求項１６に記載の内視鏡。
18. 前記光学ユニットは、構造化光で前記シーンを照明するように構成される投射ユニットを備え、
    前記投射ユニットは、
    制御可能な投射照明ユニットと、
    前記投射照明ユニット及び前記シーンの間に配置され、軸上色収差を有する投射レンズユニットと、
    を備える、請求項１６に記載の内視鏡。
19. シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の複数の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の複数の第２の画像をキャプチャすることであって、軸上色収差を有する撮像レンズユニットが、前記シーンと撮像センサユニットとの間に配置され、前記複数の第１の画像の前記異なる波長範囲が前記複数の第２の画像の前記異なる波長範囲と同一である、前記キャプチャすることと、
    前記第２の画像に基づいて、奥行き情報を生成することと、
    前記奥行き情報を用いて、前記第１の画像を結合することによって、出力画像を生成することと、を含む、撮像方法。
20. 奥行き情報は、前記構造化光のシャドーパターンによって識別される画像部分の光学三角測量を用いて生成される、請求項１９に記載の撮像方法。
21. シーンから、前記シーンが非構造化光で照明されるとき、異なる波長範囲の複数の第１の画像をキャプチャし、前記シーンが構造化光で照明されるとき、異なる波長範囲の複数の第２の画像をキャプチャする機器に配置される第１の手段であって、前記第１の画像及び第２の画像は、軸上色収差を有する撮像レンズユニットを用いてキャプチャされ、前記複数の第１の画像の前記異なる波長範囲が前記複数の第２の画像の前記異なる波長範囲と同一である、前記第１の手段と、
    前記第２の画像に基づいて、奥行き情報を生成する第２の手段であって、信号伝送に関して前記第１の手段に接続される、前記第２の手段と、
    前記奥行き情報を用いて、前記第１の画像を結合することによって、出力画像を生成する第３の手段であって、信号伝送に関して前記第１の手段及び前記第２の手段に接続される、前記第３の手段と、を備える、撮像システム。