JPWO2013061819A1 - 内視鏡システム - Google Patents

Abstract

内視鏡システムは、ピント位置が異なる２つの光学像を得る内視鏡対物光学系と、２つの光学像を受光し、光電変換する２つの撮像素子と、２つの撮像素子による２つの光学像に対応する２つの画像を１つの画像に合成する画像合成処理部と、内視鏡対物光学系に設けた焦点切替用レンズの位置を移動し、近接観察と遠方観察の２つの観察領域の一方に内視鏡対物光学系の焦点を選択的に切り替える焦点切替機構と、を備え、画像合成処理部は、近接観察と遠方観察の各観察領域の夫々において、２つの画像を合成する。

Description

本発明は内視鏡に設けた対物光学系を２つの撮像素子に結像する内視鏡システムに関する。

近年、撮像素子を搭載した内視鏡を用いた内視鏡システムは医療用分野及び工業用分野において広く用いられるようになっている。
また、撮像素子の高画素化に伴い、被写界深度は一般的に狭くなるため、これに対応する種々の提案がある。
第１の従来例としての日本国特開平９−１１６８０７号公報には、合焦位置に配置した撮像素子に対して、被写界深度の範囲が該合焦位置に配置した撮像素子の被写界深度の範囲と共通部分を有する範囲内で合焦位置からずらして配置した少なくとも１つの撮像素子を配置して、該少なくとも１つの撮像素子の出力信号から高域信号成分を抽出して、前記合焦位置に配置した撮像素子の出力信号に加算する信号処理を行う撮像装置が開示されている。

また、第２の従来例としての日本国特開２００３−７８８０２号公報には、距離が異なる被写体の像を撮像する撮像レンズを通過した光の光路を光路分割手段により複数の光路に分割し、分割された各光路にそれぞれピント位置が異なる撮像素子を配置し、各撮像素子をその光軸方向に沿って移動させる撮像素子駆動装置と、入力された撮像レンズのレンズパラメータに応じて各撮像素子の光軸上の位置を決定する演算処理装置と、各撮像素子から出力された映像信号を合成する画像合成装置とを具える撮像装置が開示されている。
なお、第３の従来例としての日本国特開２００７−３１３１６６号公報には、高画質の画像をえるためにフォーカス調整機構と、水平・垂直方向に約１／２ピッチ画素ずらして配置した２板撮像ユニットを備え、撮像素子の垂直方向画素ピッチと対物光学系のＦナンバーとを所定の条件を満たすように設定した内視鏡が開示されている。

しかしながら第１の従来例の撮像装置を内視鏡に適応する場合、十分に絞りを開いて被写界深度を確保する事を前提にしているため、近接観察から遠方観察までより広い被写界深度が求められる内視鏡に適用した場合、両方の観察の場合に対して必要とされる被写界深度を満足させることは困難になる。
また、第２の従来例の撮像装置を、内視鏡の先端部に搭載しようとした場合、光路分割手段後に配置される各撮像素子を撮像駆動装置によって、各光路方向に駆動する構成となるため、内視鏡先端部の外径が大きくなり、内視鏡に求められる良好な挿入性を確保できない。

また、第３の従来例は、解像度を向上するものであり、近接観察の場合と遠方観察の場合とで必要とされる被写界深度を満たすように設定することが困難になる。
本発明は上述した点に鑑みてなされたもので、近接観察及び遠方観察を行う内視鏡に適用でき、近接観察の場合及び遠方観察の場合にそれぞれ必要とされる被写界深度を満たすようにできる内視鏡システムを提供することを目的とする。

本発明の一態様に係る内視鏡システムは、同一の被写体に対してピント位置が異なる２つの光学像を得る内視鏡対物光学系と、前記ピント位置が異なる前記２つの光学像を受光し、光電変換する２つの撮像素子と、前記２つの撮像素子により前記２つの光学像に対応する２つの画像を１つの画像に合成する画像合成処理部と、前記内視鏡対物光学系に設けた焦点切替用レンズの位置を移動し、近接観察と遠方観察の２つの観察領域の一方に前記内視鏡対物光学系の焦点を選択的に切り替える焦点切替機構と、を備え、前記画像合成処理部は、前記近接観察と前記遠方観察の各観察領域の夫々において、前記２つの画像を合成する。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。 図２Ａは第１の実施形態における対物光学系及び撮像素子の構成を示す図。 図２Ｂは撮像素子の撮像面に取り付けられた補色系の色分離フィルタを示す図。 図３は被写界深度の説明図。 図４Ａは画像合成処理部の構成を示す図。 図４Ｂは第１の実施形態の動作内容を示すフローチャート。 図５はフォーカスレンズを用いた対物光学系の焦点切替による被写界深度を拡大する作用の説明図。 図６は第１の実施形態等における被写界深度等の数値データを表形式で示す図。 図７は第１の実施形態の変形例における撮像ユニットの構成を示す図。 図８は本発明の第２の実施形態における光源装置の構成を示す図。 図９は遠方観察及び近接観察におけるピント位置が異なる２つの撮像素子が１０％以上のＭＴＦを有する被写界深度の深度幅以内で、それぞれの被写界深度が重なるように設定してあることを示す図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡システム１は、被検体内に挿入される内視鏡２と、この内視鏡２に照明光を供給する光源装置３と、内視鏡２に設けられた撮像手段に対する画像処理を行う画像処理装置としてのプロセッサ装置４と、プロセッサ装置４により生成された画像信号を内視鏡画像として表示する画像表示装置５とを有する。
内視鏡２は、被検体内に挿入される細長の挿入部６と、この挿入部６の後端に設けられた操作部７とを有し、操作部７から延出された照明光を伝送するライトガイド８が挿通された第１のケーブル９の端部のライトガイドコネクタ９ａは、光源装置３に着脱自在に接続される。

光源装置３は、光源として例えばキセノンランプ等のランプ１１を内蔵する。なお、光源として、キセノンランプ等のランプ１１に限定されるものでなく、発光ダイオード（ＬＥＤと略記）を用いても良い。ランプ１１により発生した白色光は絞り１２により通過光量が調整された後、コンデンサレンズ１３により集光されてライトガイド８の入射端面に入射（供給）される。なお、絞り１２は、絞り駆動部１４により、絞り１２の開口量が可変される。
上記ライトガイド８は、入射端面に入射された照明光を伝送して、挿入部６の先端部６ａの照明窓の内側に配置された先端面から出射する。この先端面に対向して照明レンズ１５が配置されており、照明レンズ１５はライトガイド８の先端面から出射された光を照明窓から拡開して出射し、被検体内部の観察対象部位を照明する。

照明された観察対象部位は、照明窓に隣接して設けられた観察窓に取り付けられた内視鏡対物光学系（以下、単に対物光学系と略記）１６により、その後方側に配置した２つの撮像素子１７ａ，１７ｂに光学像を結ぶようにしている。
本実施形態における対物光学系１６は、図２Ａに示すようにその光軸Ｏ上に沿って配置した複数の光学素子１６ａ〜１６ｈを有すると共に、光学素子１６ｇの後方側で、かつ２つの撮像素子１７ａ，１７ｂの前方側となる両者の間の光軸Ｏ上に配置された、２つの光学像に分離する光学素子としてのプリズム１８を備える。なお、光学素子１６ｃと１６ｄとの間に明るさ絞り１６ｈが配置されている。

このプリズム１８は、例えば直角三角形のプリズム素子１８ａ、１８ｂの両斜面を当接して形成され、プリズム素子１８ａの端面付近に（該端面に対向するように）一方の撮像素子１７ａが取り付けられ、プリズム素子１８ｂの端面付近に（該端面に対向するように）他方の撮像素子１７ｂが取り付けられている。なお、撮像素子１７ａと撮像素子１７ｂとは同じ特性であり、両特性が揃ったものを用いることが好ましい。
プリズム１８は、光学素子１６ａ〜１６ｈを経て入射される光を、例えば等量の反射光と透過光とに分離することにより、透過光側の光学像と反射光側の光学像との２つの光学像に分離する。撮像素子１７ａは透過光側の光学像を受光して光電変換し、撮像素子１７ｂは反射光側の光学像を受光して光電変換する。

本実施形態においては、撮像素子１７ａ、１７ｂは、ピント位置が異なるように、それぞれプリズム素子１８ａ、１８ｂの端面付近に取り付けられている。例えば、プリズム１８における撮像素子１７ａに至る透過光側の光路長（硝路長）ｄａに対して反射光側の光路長ｄｂが短く（小さく）なるように設定している。そして、両撮像素子１７ａ、１７ｂにおいて、撮像素子１７ａは撮像素子１７ｂに対してそのピント位置が相対的に近点側にシフトしており（ずれており）、撮像素子１７ｂは撮像素子１７ａに対してそのピント位置が相対的に遠点側にシフトしている。
なお、プリズム素子１８ａと１８ｂにおける両者の屈折率を異ならせることにより、撮像素子１７ａ、１７ｂに至る光路長を変え、両撮像素子１７ａ，１７ｂによるピント位置を相対的にずらすようにしても良い。

また、両撮像素子１７ａ，１７ｂの各撮像面には、図２Ｂに示すように補色系の色分離フィルタ２０が取り付けられている。具体的には撮像面における水平方向及び垂直方向に所定の画素ピッチ（ピクセルサイズとも言う）Ｐixで配置された各画素の直前にマゼンタＭｇ、緑（グリーン）Ｇ，シアンＣｙ、黄色（イエロー）Ｃｙの４つの色フィルタ素子からなる色分離フィルタ２０が水平方向及び垂直方向に規則的に配列されている。
Ｍｇ，Ｇは、水平方向に交互に配置され、また垂直方向には２画素分の周期で配置されている。一方、Ｃｙ，Ｙｅは、水平方向には、Ｍｇ，Ｇの場合と同様に交互に配置されているが、垂直方向には２画素おいた画素位置において置換するようにした配置となっている。
なお、原色フィルタをＲ，Ｇ，Ｂで表すと、色透過特性の機能として、Ｍｇ＝Ｒ＋Ｂ、Ｃｙ＝Ｇ＋Ｂ、Ｙｅ＝Ｒ＋Ｇのような関係となる。

上記対物光学系１６と、２つの撮像素子１７ａ，１７ｂとにより、２つの光学像を得て、２つの光学像を光電変換した２つの画像を取得する撮像ユニット１９が形成される。
また、本実施形態においては、対物光学系１６により、遠方観察と近接観察の２つの観察領域にピント又は焦点を選択的に合わせられるように焦点切替機構を設けている。 具体的には、対物光学系１６は、その光軸Ｏの方向における２つの位置Ｐａ，Ｐｂ（図２Ａ参照）に移動可能なフォーカスレンズ２１を有し、このフォーカスレンズ２１は、焦点切替機構を構成するアクチュエータ２２により、２つの位置Ｐａ，Ｐｂ間で一方の位置から他方の位置、他方の位置から一方の位置に移動するように駆動される。

図２Ａの構成例の場合においては、フォーカスレンズ２１は、凹レンズと凸レンズとを接合した例えば正のパワーを持つ接合レンズにより構成され、このフォーカスレンズ２１は、その前方側（物体側）の符号１６ｄで示す明るさ絞りと接合レンズ１６ｆとの間に配置され、これらの間における明るさ絞り１６ｄの直後の位置Ｐａと、接合レンズ１６ｆの直前の位置Ｐｂとの２つの位置Ｐａ，Ｐｂに選択的に設定される。
なお、図５にて後述するように、フォーカスレンズ２１を前方側（物体側）の位置Ｐａに設定した状態においては撮像素子１７ａ、１７ｂにより遠方観察する場合の観察領域の被写体にピントが合うように設定されている。

また、フォーカスレンズ２１を後方側の位置Ｐｂに設定した状態においては撮像素子１７ａ、１７ｂが近接観察する場合の観察領域の被写体にピントが合うように設定されている。
そして、両撮像素子１７ａ、１７ｂでのピント位置が互いにずらしてあり、各ピント位置は後述するようにＭＴＦ（Modulation Transfer Function）が所定の値以上となる各被写界深度の範囲内で重なる設定状態であるので、両撮像素子１７ａ、１７ｂで取得した２つの画像を合成することにより、広い被写界深度を有する合成画像が得られるようにしている。
図１に示すようにアクチュエータ２２は、挿入部６内を挿通された信号線２３と接続され、この信号線２３はさらに操作部７から延出された第２のケーブル２４内を挿通される。この第２のケーブル２４の端部の信号コネクタ２４ａは、プロセッサ装置４に着脱自在に接続され、上記信号線２３は、プロセッサ装置４内に設けたアクチュエータ制御部２５に接続される。

このアクチュエータ制御部２５は、例えば内視鏡２の操作部７に設けた切替操作スイッチ２６からの切替操作信号も入力される。アクチュエータ制御部２５は、切替操作スイッチ２６の操作に応じてアクチュエータ２２を電気的に駆動する駆動信号を印加して、フォーカスレンズ２１を移動する。
なお、切替操作信号を発生する切替操作手段は、切替操作スイッチ２６に限らず、切替操作レバー等でも良い。上記フォーカスレンズ２１と、アクチュエータ２２と、アクチュエータ制御部２５とにより、焦点切替機構が形成される。
上記撮像素子１７ａ，１７ｂは挿入部６、操作部７、第２のケーブル２４内を挿通された信号線２７ａ，２７ｂと接続され、信号コネクタ２４ａがプロセッサ装置４に接続されることにより、プロセッサ装置４内に設けた画像処理部としての画像プロセッサ３０と接続される。

この画像プロセッサ３０は、ピント位置が異なる２つの撮像素子１７ａ、１７ｂにより撮像され、光電変換された画像の画像信号（単に画像と略記）をそれぞれ読み出す画像読出部３１と、この画像読出部３１により読み出された２つの画像に対する画像補正を行う画像補正処理部３２と、補正された２つの画像を合成する画像合成処理を行う画像合成処理部３３とを有する。
画像補正処理部３２は、２つの撮像素子１７ａ，１７ｂの撮像面にそれぞれ結像される夫々の像における相対的な倍率の差異と、位置の差異と、回転の差異と、明るさの差異とを、それぞれ合致させるように、撮像素子１７ａ，１７ｂにより光電変換された２つの画像に対して画像処理により行う。

像を2つに分離し異なる撮像素子に夫々結像させる場合、以下の幾何的な差異が生じる場合がある。
２つの撮像素子１７ａ，１７ｂの撮像面にそれぞれ結像される夫々の像は、相対的に倍率ズレ、位置ズレ、回転方向のズレが発生したり、２つの撮像素子１７ａ，１７ｂの感度差などから明るさの差異が生じる場合がある。これらの差異を製造時などにおいて、完全に解消する事は難しい。しかし、それらのズレ量が大きくなると、合成画像が２重画像となったり、不自然な明るさムラ等が生じてしまう。このため、本実施形態では、画像補正処理部３２にて上述した幾何的な差異、明るさ差異を補正する。

前記相対的な明るさの差異を補正する場合、２つの像または画像のうち輝度の低い方の像または画像、もしくは２つの像または画像の相対的に同一位置における輝度の低い方を基準にして補正を行う。
２つの撮像素子１７ａ，１７ｂの各撮像チップにおける感度差やオンチップレンズの製造誤差等で同じ被写体を撮像した場合の明るさ（輝度値）に差異が生じる場合がある。

このような場合、相対的に明るい方、つまり輝度信号(例えばG信号)の強度（信号レベル）が低い方に合わせる様に明るさ補正を行なう。この補正と逆に明るい方に合わせると、画像に含まれるノイズ成分まで増幅することが必要になり、Ｓ／Ｎが劣化した合成画像になってしまう。
上記のように輝度の低い方を基準にし、輝度の高い方を基準となる輝度の低い方の輝度に合わせるようにゲインを低下（または減衰）させるような明るさ補正を行うことにより、Ｓ／Ｎの劣化による合成画像の画質の低下を防止できるようにしている。

上記画像合成処理部３３は、２つの画像における空間的に同一の画素領域それぞれにおけるコントラストを比較し、相対的にコントラストが高い方の画素領域を選択することにより、２つの画像から合成された１つの画像としての合成画像を生成する。なお、２つの画像のコントラスト差が小さい場合は各画像に所定の重み付けして加算する合成画像処理により、合成画像を生成する。
図４Ａはこのような画像合成処理を行う画像合成処理部３３の構成例を示す。同一の被写体６１に対して、対物光学系１６は、ピント位置が異なる２つのＣＣＤ１７ａ，１７ｂの撮像面に２つの光学像を結像する。ＣＣＤ１７ａ，１７ｂにより光電変換され、画像補正処理部３２等を経た（ＣＣＤ１７ａ、１７ｂの撮像にそれぞれ基づく）第１及び第２の画像データは、画像合成処理部３３内の２つのフレームメモリ６２ａ，６２ｂに画素単位で格納される。

なお、２つのフレームメモリ６２ａ，６２ｂに同一部位に対応する画像データを１フレーム分格納する場合、同一部位に対応する第１の画像データと第２の画像データとは同じアドレスのメモリセルに格納される。

また、以下の説明においては、１つの色信号成分の場合のコントラスト値に対応する輝度値又は輝度レベルの信号で説明し、他の色信号成分に対しても同様の処理を行うとして説明する。なお、Ｒ，Ｇ，Ｂの色成分から公知の輝度信号を生成し、２つの輝度信号のコントタストの比較結果により同様の処理を行うようにしても良い。

同一のアドレスの指定により２つのフレームメモリ６２ａ，６２ｂから同時に読み出された第１の画像及び第２の画像の各信号ｓｉ１，ｓｉ２は、差動アンプなどにより構成される差分算出回路６３に入力され、差分算出回路６３は例えば第１の画像の輝度値から第２の画像の輝度値を減算する等して両信号ｓｉ１，ｓｉ２の差分量を算出する。また、差分算出回路６３は、差分量の正又は負の極性により、いずれの画像の輝度レベルが他方よりも高い（大きい）ことも判定して、２値信号ｓｐを出力する。例えば、極性が正であると、ｓｉ１＞ｓｉ２となり、負であると、ｓｉ１＜ｓｉ２となる。

この差分算出回路６３により算出された差分量の絶対値｜ｓｉ１−ｓｉ２｜は、比較回路６４に入力され、比較回路は差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ以上であるか否かを判定する。比較回路６４は、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ以上である場合にはＨレベル、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ未満である場合にはＬレベルの２値信号を出力する。、比較回路６４の２値信号と、差分算出回路６３による極性に対応する２値信号ｓｐは、デコーダ６５に入力され、デコーダ６５は、２つの２値信号から選択回路６６を構成する２つの切替回路６６ａ，６６ｂの切替を制御する。

切替回路６６ａの接点ａ，ｂには、それぞれ信号ｓｉ１，ｓｉ２が入力され、切替回路６６ｂの接点ａ，ｂには、切替回路６６ａの共通接点ｃを経た信号と加算器６７からの信号とが入力され、切替回路６６ｂの共通接点ｃから画像合成処理した合成信号ｓｃを出力する。

加算器６７は、信号ｓｉ１，ｓｉ２を加算して切替回路６６ｂの接点ｂに出力する。

デコーダ６５は、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ以上である場合には切替回路６６ｂの接点ａを選択し、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ未満である場合には切替回路６６ｂの接点ｂを選択する。また、デコーダ６５は、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ以上である場合においては、極性の２値信号ｓｐに応じて、切替回路６６ａの接点ａ又はｂを選択する。具体的には、２値信号ｓｐがＨレベルであると信号ｓｉ１を選択（図４Ａの実線で示す選択状態）し、２値信号がＬレベルであると信号ｓｉ２を選択する。つまり、切替回路６６ａはコントラスト差が所定値以上のコントラスト差がある場合にはコントラストが高い方の画像部分を選択する。一方、コントラスト差が小さい場合には、２つの信号ｓｉ１，ｓｉ２を加算等して合成信号として出力する。

この場合の動作は以下のようになる。差分算出回路６２は、２つの信号ｓｉ１，ｓｉ２に対して、その差分量を算出する。差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ以上である場合には、切替回路６６ａは輝度レベルが高い方の信号を選択し、さらに切替回路６６ｂを経て合成信号ｓｃとして出力する。

一方、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ未満である場合には、切替回路６６ｂは加算器６７の加算された信号を選択し、この信号を合成信号ｓｃとして出力する。

なお、差分量の絶対値｜ｓｉ１−ｓｉ２｜が閾値Ｖｔ未満である場合において、信号ｓｉ１，ｓｉ２を加算して合成信号ｓｃを生成する代わりに、以下のように重み付けして合成信号ｓｃを生成するようにしても良い。図４Ａにおいて点線で示すように、加算器６７の２つの入力側に乗算器６８ａ，６８ｂを配置し、乗算器６８ａ，６８ｂはそれぞれ信号ｓｉ１，ｓｉ２と、ＲＯＭ６９から出力される重み付け係数ｃ１，ｃ２とを乗算して加算器６７に出力する。

なお、ＲＯＭ６９には、差分量に応じて予め設定された重み付け係数ｃ１，ｃ２が格納されており、ＲＯＭ６９は、差分量の絶対値｜ｓｉ１−ｓｉ２｜と、２値信号ｓｐにより、信号ｓｉ１，ｓｉ２にそれぞれ乗算する重み付け係数ｃ１，ｃ２を出力する。

ＲＯＭ６９に格納される重み付け係数ｃ１，ｃ２は、差分量が０であるとｃ１＝ｃ２＝１となる。また、ＲＯＭ６９に格納される重み付け係数ｃ１，ｃ２は、差分量の絶対値｜ｓｉ１−ｓｉ２｜が大きい程、輝度レベルが高い方の信号に対する重み付け係数が１より大きく、他方の信号に対する重み付け係数が１より小さくなるように設定されている。そして、加算器６７は重み付け係数ｃ１，ｃ２がそれぞれ乗算された信号ｓｉ１，ｓｉ２を加算して合成信号ｓｃとして出力することになる。

上記画像プロセッサ３０は、画像合成処理部３３により合成された１つの画像に対して、輪郭強調、ガンマ補正等の後段画像処理を行う後段画像処理部３４と、後段画像処理された画像を出力する画像出力部３５とを有し、画像出力部３５から出力される画像は画像表示装置５に出力される。

また、この画像プロセッサ３０は、画像読出部３１により読み出された画像から基準の明るさに調光するための調光信号を生成する調光部３６を有し、調光部３６により生成した調光信号を光源装置３の絞り駆動部１４に出力する。絞り駆動部１４は、調光信号に従って、基準の明るさを維持するように絞り１２の開口量を調整する。
また、本実施形態においては、画像補正処理部３２において、画像を補正する場合に使用する補正パラメータ（の情報）を格納した補正パラメータ格納部３７を設けている。

各内視鏡２にはその内視鏡２に固有の内視鏡識別情報（内視鏡ＩＤ）を格納したＩＤメモリ３８を有すると共に、その内視鏡２において補正すべき固有の補正パラメータがある場合には、その内視鏡２に対応した補正パラメータを格納した補正パラメータ格納部３７が設けてある。
図１に示す構成例では、内視鏡２における例えばＩＤメモリ３８内に、補正パラメータを格納した補正パラメータ格納部３７を設けている。
なお、補正すべき固有の補正パラメータがない場合には、補正パラメータ格納部３７を設けることが不必要になる。また、補正パラメータ格納部３７をＩＤメモリ３８の内部に設ける場合に限定されるものでなく、ＩＤメモリ３８と別のメモリに設けるようにしても良い。
そして、プロセッサ３０の制御部３９は補正の有無を内視鏡２側に設けた内視鏡ＩＤで識別して、補正有りの場合には内視鏡２側に格納されているＩＤメモリ３８内の補正パラメータ格納部３７から補正パラメータを読み取り、この補正パラメータを画像補正処理部３２に送る。
画像補正処理部３２は、制御部３９から転送された上記補正パラメータに基いて各内視鏡２に搭載された撮像ユニット１９に対応した画像補正を行う。
また、画像補正処理部３２は、補正パラメータを用いて、２つの像または画像における１つを基準像または基準画像として上述した倍率の差異の補正、位置の差異の補正等、画像の補正を行う。

例えば、２つの画像で倍率ズレが生じる場合は、対物光学系１６の仕様による場合がある。
対物光学系１６のサイズを比較的小さくしようとした場合、テレセントリック性を崩して撮像素子１７ａ，１７ｂへの光線が斜めに入射するような設計が行なわれる場合がある。例えば、光軸とのなす角を入射角として、時計回りをプラス、反時計回りをマイナスとすると、マイナスの入射角となるような設計が行なわれる。
この様なテレセントリック性が崩れた対物光学系でピント位置をズラすと２つの画像間で倍率ズレが生じる事になる。

この様な設計上の仕様であれば、予めそのズレ量を前記補正パラメータ格納部３７に格納しておき、対象の内視鏡２がプロセッサ装置４に接続された場合、その内視鏡２を認識して前記補正パラメータ格納部３７から対応するパラメータを呼び出して補正を行なうようにする。
また、撮像ユニット１９の組立て時に２つの画像の相対的な画素の位置が微小にズレる場合がある。この場合、製造時のズレ量を補正パラメータ格納部３７に格納しておき、画像補正処理部３２にてそのズレ補正を行なう様にする。
位置のズレ補正は例えば撮像素１７ａで撮像された画像と撮像素子１７ｂで撮像された画像との相対的な位置が合致するように２つの画像の読出し位置を修正する様な処理が行なわれ、位置ズレが補正された後、画像合成処理部３３に出力される。

なお、本実施形態における予め設定された補正パラメータによる補正を行う代わりに、内視鏡使用時に、別途用意されるアジャスト用基準チャートによって 補正を行なっても良い。例えば基準チャートを内視鏡２の先端部６ａに所望の位置に配置するようにし、基準チャートに対する２つの画像のズレを画像補正処理部３２にて読み取り、そのズレ補正するようにしても良い。
また、制御部３９は、アクチュエータ制御部２５に対して、各内視鏡２に搭載された対物光学系１６を構成するフォーカスレンズ２１の駆動すべき位置が異なるような場合においても、駆動すべき位置の情報を送り、アクチュエータ制御部２５は内視鏡２の種類が異なるような場合にもアクチュエータ２２を適切に駆動する制御を行う。

なお、アクチュエータ制御部２５が制御部３９を介することなく、ＩＤを取得して、内視鏡２の種類が異なる場合にもアクチュエータ２２を適切に駆動する制御を行うようにしても良い。
また、本明細書における被写界深度の定義を、図３等を参照して以下に説明する。
図３は幾何光学的に決まる被写界深度の説明図を示す。
一般的な内視鏡において、ベスト距離をＸとした場合の対物光学系（その焦点距離Ｆｌ）を用いて像面位置Ｘ'に、図３中に示す画素ピッチＰixの撮像素子を配置した場合を考える。撮像素子を固定した条件において、物体を（Ｘから）Ｘｎまで近接すると、近接時の像面位置Ｘｎ'は、撮像素子の撮像面位置からずれることになる。

このとき、ピントが合っていると見なすことができる最大の錯乱円を、許容錯乱円として、その円径をδとすると、撮像素子の撮像面における錯乱円径がδよりも小さいと認識できる場合、ＸからＸｎまでの物体像はピントが合っていると見なすことができる。
即ち、錯乱円径がδと一致するまでの範囲を近点側の被写界深度と定義することができる。

このとき、ニュートンの結像式から、以下の式が成立する。
１／Ｘｎ − １／Ｘ ＝ δＦno／Ｆｌ^２…（１）
物体を（Ｘから）遠点側にＸｆまで移動した場合を考えることにより、同様に被写界深度の遠点側での式も以下のように定義される。
１／Ｘ − １／Ｘｆ ＝ δＦno／Ｆｌ^２… （２）
（１）式と（２）式を合わせると、
１／Ｘｎ − １／Ｘｆ ＝ ２δＦno／Ｆｌ^２… （３）
となる。そして、焦点深度ｄに対応した被写界深度がＸｎ−Ｘｆとなる。
ただし、上記のようにベスト距離をＸ、被写界深度近点までの距離をＸｎ、被写界深度遠点までの距離をＸｆ、許容錯乱円径をδ、対物光学系の焦点距離をＦｌ、対物光学系の有効ＦナンバーをＦnoとしている。
以上は幾何光学的に決まる一般的な被写界深度の定義である。

本実施形態は、幾何光学的に決まる被写界深度の場合に対して、合成画像により被写界深度を拡大することができるが、回折の影響を無視できない場合においても合成画像により被写界深度を拡大することができるようにしている。
撮像素子をより微細化し、高画素化していくと被写界深度を定義する際には、波動光学的な影響が無視できない事が一般的に知られている。これは焦点位置において、幾何光学的に定義したスポットサイズから、回折の影響からスポットサイズが広がるため幾何光学的な被写界深度の計算からズレが生じるためである。従って、本実施形態のような回折限界に近い有効ＦナンバーＦnoまで絞られるケースが多い多画素の撮像素子を搭載した内視鏡２では、回折が無視できない影響となる。なお、本実施形態の撮像素子１７ａ，１７ｂも図３に示した撮像素子の場合と同様に水平方向及び垂直方向に同じ画素ピッチＰｉｘで規則的に画素が配置されている。

この場合には、像面上の評価空間周波数をＦiとすると、
Ｆi＝1/k1・Ｐix …（４）
となる。
このＦiにおけるデフオーカスのＭＴＦ（Modulation Transfer Function）が約10％あれば、主観評価では像のボケは認識できず「見えている」と判断できる。
言い換えると、ＭＴＦは約IO％となるデフオーカス位置が深度端と見なす事ができる。
本明細書では波動光学的な被写界深度端をＦi=1/k1・Ｐixとした際の評価空間周波数にて評価したＭＴＦの10％を深度端として定義している。
また、本実施形態においては、上述した撮像素子１７ａ，１７ｂを用いた撮像ユニット１９として図６の表に示すような特性が得られるように設定している。

図６においては、Ｆno／Ｐix、Ｐix、Ｆno、ｋ１、ｋ２、far1深度（遠方観察時における撮像素子１７ａによる被写界深度）、far2深度（遠方観察時における撮像素子１７ｂによる被写界深度）、合成far深度（遠方観察時における合成画像の被写界深度）、near1深度（近接観察時における撮像素子１７ａによる被写界深度）、near2深度（近接観察時における撮像素子１７ｂによる被写界深度）、合成near深度（近接観察時における合成画像の被写界深度（範囲））、Near深度幅（合成near深度近点端から合成near深度遠点端までの深度幅）、撮像方式、総画素数（撮像素子の総画素数）の数値データを示している。また、ＢＳＴは、ＭＴＦが最大となる場合の物体距離としてのベスト距離を示している。

以下は、その概略を示す。撮像素子１７ａ、１７ｂとして、１００万画素（１０３０５８０画素）で、１．７μｍの画素（ピクセル）サイズを有する補色系の固体撮像素子を採用している。
また、本実施形態においては、波長λ＝０．５４６１μｍの光に対して、２つの撮像素子１７ａ．１７ｂの垂直方向ピクセルサイズをＰixが１．７０μｍ、補正パラメータとしての解像力係数ｋ１を３．００，Ｆ値マージンｋ２を１．００，対物光学系１６の有効ＦナンバーＦnoを７．６５に設定している。

つまり、
λ 0.5461
Pix 1.70
KI 3.00
ｋ２ 1.00
Ｆno 7.65
そして、本実施形態の撮像ユニット１９は、以下の条件
２．４≦Ｆno/Ｐix≦４．５ …（５）
を満たすように設定している。（５）式の条件は、以下のような理由による。

対物光学系１６を構成するレンズは、結像する際、光が回折の影響を受けることが知られている。 対物光学系１６の有効ＦナンバーＦnoが大きくなるほど、点像は回折の影響により大きくなり、この点像の大きさがある限界を越えるといくらピントを合わせても、被写体の細部がぼけたように見えてしまう。
この限界は、Ｒayleighにより、2つの点像が接近した時、別々の像として識別できる限界の距離として規定されており、λを光の波長、有効ＦナンバーをＦnoとすると、1.22・λ・Ｆnoで表される。2つの点像の分離限界の距離、つまり分解能Ｒは、
Ｒ=1.22・λ・Ｆno …（６）
となる。

一方、撮像素子として、電荷結合素子（ＣＣＤと略記）やＣＭＯＳセンサで撮像する場合、サンプリング理論により限界の分解能は決定される。撮像素子の垂直方向のピクセルサイズをＰixとすると、
Ｒ＝2・Ｐix …（７）
現実的には、採用する撮像方式における補間方法や電気系の特性に影響されるため、分解能Ｒは、任意の係数ｋ１を用いて以下のように表される。
Ｒ＝ｋ１・Ｐix …（８）
係数ｋ１は、撮像素子の性能を十分に引き出す必要があるため一般的には２≦ｋ１≦３程度となる。

（６）、（８）より
ｋ１ ・Ｐix＝1.22・λ・Ｆno …（９）
となる。また、対物光学系１６に設定される有効ＦナンバーＦnoは、製造バラツキなどを考慮して光学性能を十分に発揮できるようにある程度余裕を持たせる必要がある。
従って、Ｒayleigh限界式で規定される有効ＦナンバーＦnoは、実際には任意の係数ｋ２を考慮して設定される。つまり、
kl・Ｐix＝1.22・λ・Ｆno・ｋ２ …（１０）
のように設定される。尚、係数ｋ２は、対物光学系１６のサイズや被写界深度とのバランスを考慮すると、０．７≦ｋ２≦１程度が妥当な範囲となる。
ただし、撮像素子の性能が活かされる前提で、多少の解像力劣化を許容して被写界深度の拡大を優先する場合は、０．７≦k２≦１．２程度に設定しても構わない。
(９)式、(１０)式より設定すべき対物光学系１６の有効ＦナンバーＦnoは、
Ｆno=Ｆno*ｋ２＝(1/1.22・λ)・Ｐix・ｋ１ …（１１）
となる。
ここで(１１)式を有効ＦナンバーＦnoと、ピクセルサイズＰixの関係で示すと以下の(１２)式で示せる。
Ｆno/Ｐix＝(1/1.22・λ)・ｋ１・ｋ２ …（１２）
高画素の撮像素子を用いた内視鏡システムにおいては、上述した
2.4≦Ｆno/Ｐix≦4.5 …（５）
である事が望ましい。

仮に（５）式の範囲の下限の２．４を逸脱してより小さくなると、対物光学系１６の有効ＦナンバーＦnoが小さくなりすぎて所望の被写界深度を得られない。もしくは、被写界深度は十分であるが、イメージャのPixサイズが大きく解像力が低くなる。または、多画素化して解像力は向上するがイメージャサイズが大きくなるため、対物光学系１６が大型化して、内視鏡２の先端部６ａに搭載した場合、外径が大きくなってしない（挿入性が低下するため）好ましくない。
また、反対に（５）式の範囲の上限を超えて大きくなると、対物光学系の有効ＦナンバーＦnoが大きくなりすぎて所望の明るさが得られない。
同時に回折限界を大き<越えてしまう、もしくは妥当な補間方式でないために解像力の劣化が生じてしまう。
本実施形態における上述した図６の表に示す設定においては、撮像ユニット１９は補色系で同時式であり、この場合には係数ｋ１を３程度にすることが一般的である。また、ピクセルサイズが１．７μｍで画素の補色系の同時式撮像素子を用い、対物光学系１６の回折限界Ｆナンバーからのマージン係数ｋ２をｋ２＝１として（１２）式より
Ｆno／Pix＝4.5 …（１３）
となる。

このような構成の内視鏡システム１は、同一の被写体に対してピント位置が異なる２つの光学像を得るための内視鏡対物光学系としての対物光学系１６と、前記ピント位置が異なる前記２つの光学像を受光し、光電変換する２つの撮像素子１７ａ，１７ｂと、前記２つの撮像素子１７ａ，１７ｂにより前記２つの光学像に対応する２つの画像を１つの画像に合成する画像合成処理部３３と、前記内視鏡対物光学系に設けた焦点切替用レンズとしてのフォーカスレンズ２１の位置を移動し、近接観察と遠方観察の２つの観察領域の一方に前記内視鏡対物光学系の焦点を選択的に切り替える焦点切替機構を構成するアクチュエータ２２と、を備え、前記画像合成処理部３３は、前記近接観察と前記遠方観察の各観察領域の夫々において、前記２つの画像を合成することを特徴とする。

次に本実施形態の動作を説明する。以下においては、内視鏡２を用いてユーザとしての術者が体腔内を内視鏡検査する場合における本実施形態の動作を説明する。
図１に示すように内視鏡２を光源装置３と、プロセッサ装置４に接続して、術者は電源をＯＮする。
図４Ｂにおける最初のステップＳ１の初期設定として、制御部３９は、遠方側を観察領域とする設定状態にする制御を行う。そして、制御部３９は、この初期設定の状態における切替操作スイッチ２６が遠方側を観察領域とする信号を制御部３９に出力する設定状態であると見なす。

この初期設定に対応して、ステップＳ２に示すように制御部３９は、アクチュエータ制御部２５、アクチュエータ２２を介してフォーカスレンズ２１を駆動し、対物光学系１６が遠方側を観察領域とするように遠点側にピントがあった設定状態にする。
また、この場合、ステップＳ３に示すように画像補正処理部３２は、２つの撮像素子１７ａ、１７ｂによる２つの画像を、補正パラメータを用いて補正する。
また、ステップＳ４に示すように、この画像補正処理部３２により補正された２つの画像に対して、画像合成処理部３３は、合成した合成画像を生成し、画像表示装置５側に出力し、画像表示装置５は、合成画像を表示する。
図５（Ａ）は、ステップＳ２に対応する撮像ユニット１９の撮像状態を示す。

図５（Ａ）は、対物光学系１６を遠方の観察領域にフォーカスするようにフォーカスレンズ２１を設定した状態における対物光学系１６による撮像素子１７ａ，１７ｂへの結像する様子を示す。
図５（Ａ）は、フォーカスレンズ２１を前方側の位置Ｐａに設定（切替）した状態に対応した対物光学系１６を示し、その結像側に２つの光学像に分離するプリズム１８が配置され、各端面に取り付けた撮像素子１７ａ，１７ｂにより２つの光学像を受光し、それぞれ光電変換した信号を出力する。
この遠方観察の状態において、２つの撮像素子１７ａ，１７ｂにより得られる合成画像により、以下のように被写界深度を拡大する。

上述したようにプリズム１８における撮像素子１７ａ，１７ｂに至る硝路長が異なっており、撮像素子１７ａ，１７ｂによりピント位置が相対的に異なった像の画像を取得する。
例えば、撮像素子１７ｂには、（遠方）遠点側にピントが合った像が結像され、撮像素子１７ａには、撮像素子１７ｂに対して相対的により近接側にピントが合った像が結像される。
この遠方の観察領域の場合における撮像素子１７ａでの被写界深度をＸａｆ、撮像素子１７ｂでの被写界深度をＸｂｆとすると、被写界深度Ｘｂｆの近点側の深度端と、被写界深度Ｘａｆの遠点側の深度端とが重なるように撮像ユニット１９（の対物光学系１６と撮像素子１７ａ，１７ｂ）が設定されている。

図３において説明した被写界深度を適用すると、図５（Ａ）に示すように撮像素子１７ａ、１７ｂに結像する像に対する被写界深度はＸａｆとＸｂｆとなる。
また、図１、図４Ａの画像合成処理部３３による画像合成処理により合成した場合には遠方観察にピントを合わせた状態での合成画像の場合に対応する被写界深度を合成被写界深度とした場合、その合成被写界深度としてＸａｆ＋Ｘｂｆを得ることができる。但し、重なり部分においては（コントラスト差が小さい領域）、各画像に所定の重み付けして加算する合成画像処理により一つの合成被写界深度を得る。つまり、合成被写界深度は、Ｘａｆ＋Ｘｂｆ（６．５４ｍｍ〜１２８．５９ｍｍ）を得る。

特に内視鏡検査において上述したように広い範囲を俯瞰してスクリーニングする際に、このように広い合成被写界深度Ｘａｆ＋Ｘｂｆが得られると、内視鏡検査を円滑に行うことができる。
これに対して、狭い被写界深度しか得られない場合には、スクリーニング中に得られる画像における例えば近点側部分が不鮮明となる可能性が発生してしまい、内視鏡検査を円滑に行い難くなる。

図４ＢのステップＳ５に示すように制御部３９は、術者により切替操作スイッチ２６が操作されたか否かをモニタし、操作されない場合には、ステップＳ５の処理に戻る。
術者は、スクリーニングを終了して、より近接して診断を行おうとする場合には、切替操作スイッチ２６を操作する。
切替操作スイッチ２６が操作された場合には制御部３９は、ステップＳ６の処理に進む。ステップＳ６において、制御部３９は、観察領域を近接側に設定する制御を行う。制御部３９は、アクチュエータ制御部２５、アクチュエータ２２を介してフォーカスレンズ２１を駆動し、対物光学系１６が近接側を観察領域とするように近点側にピントがあった設定状態にする。

また、この場合、ステップＳ７に示すように画像補正処理部３２は、２つの撮像素子１７ａ、１７ｂによる２つの画像を、補正パラメータを用いて補正する。ただし、ステップＳ２に対してステップＳ６の補正量に大きな差異がなければ同一パラメータとして新たに補正を行なわなくても良い。次に、ステップＳ８に示すように、この画像補正処理部３２により補正された２つの画像に対して、画像合成処理部３３は、合成した合成画像を生成し、画像表示装置５側に出力し、画像表示装置５は、合成画像を表示する。
図５（Ｂ）は、ステップＳ６に対応する撮像ユニット１９の撮像状態を示す。
図５（Ｂ）は、図５（Ａ）においてフォーカスレンズ２１を後方側の位置Ｐｂに設定（切替）して近接観察する観察領域にピント（焦点）を合わせた状態に対応した説明図である。

この近接観察の状態においても、２つの撮像素子１７ａ，１７ｂにより得られる合成画像により、図５（Ａ）の場合と同様に以下のように被写界深度を拡大することができる。
撮像素子１７ａでの被写界深度をＸａｎ、撮像素子１７ｂでの被写界深度をＸｂｎとすると、被写界深度Ｘｂｎの近点側の深度端と、被写界深度Ｘａｎの遠点側の深度端とが重なるように撮像ユニット１９（の対物光学系１６と撮像素子１７ａ，１７ｂ）が設定されている。
また、図１の画像合成処理部３３による画像合成処理により合成した場合には近接観察の観察領域にピントを合わせた状態での合成画像の場合に対応する被写界深度を合成被写界深度とした場合、その合成被写界深度としてＸａｎ＋Ｘｂｎを得ることができる。

特に内視鏡検査において、病変の詳細を観察したり、診断する際はこのように近接して観察する近接観察の状態に設定される。
本実施形態においては高い解像力を保ちつつ広い合成被写界深度Ｘａｎ＋Ｘｂｎを得ることができるので、病変の詳細を鮮明に観察でき、診断を円滑に行うことができる。
また、本実施形態においては、図５（Ａ）及び図５（Ｂ）に示すように遠方観察の場合の合成被写界深度Ｘａｆ＋Ｘｂｆ（の範囲）と、近接観察の場合の合成被写界深度Ｘａｎ＋Ｘｂｎ（の範囲）とが重なるように設定されている。このため、本実施形態においては、遠方観察の状態と近接観察の状態とを切り替えた場合において、両観察状態における中間に不鮮明となる（ぼける）観察領域が発生することなく観察することができるため、術者は内視鏡検査を円滑に行うことができる。

本実施形態は、上記の構成及び図４Ｂ、図５にて説明したように、多画素化した撮像素子を使用した場合にも解像力を落とすことな<被写界深度を拡大する事が可能となる。更に焦点切替機構又はフォーカシング機構を設けているので、観察範囲を切り替えて高画質の内視鏡画像により、内視鏡検査に対する観察、診断を円滑に行なうことができる。
図４Ｂにおいて、ステップＳ８の次のステップＳ９において制御部３９は、内視鏡検査を終了の指示操作が行われたか否かを判定し、終了の指示操作が行われた場合には内視鏡検査を終了し、終了の指示操作がされていない場合には次のステップＳ１０において切替操作スイッチ２６が操作されたか否かを判定する。

切替操作スイッチ２６が操作されていない場合には、ステップＳ１０の処理を続行し、切替操作スイッチ２６が操作された場合にはステップＳ２に戻り、観察領域を遠方側に設定して、上述した動作を繰り返す。
このような動作を行う本実施形態によれば、遠方側及び近接側のいずれの観察領域に設定した場合にも、被写界深度を拡大できる。
また、本実施形態は、近接観察及び遠方観察を行う内視鏡に適用でき（つまり、内視鏡２の挿入部６の先端部６ａに搭載でき）、近接観察の場合及び遠方観察の場合にそれぞれ必要とされる被写界深度を満たすようにできる内視鏡システムを提供できる。
また、上述した（５）式を満たすように設定することにより、所望とする被写界深度を得られ、かつ内視鏡２の先端部６ａに搭載可能な小型のサイズにでき、また所望の明るさを確保できると共に、解像力の劣化を防止できる。

なお、ピント位置が異なる２つの光学像を得る対物光学系１６は、主光線が光軸と平行となる（または対物光学系１６の後側焦点の位置に絞りを配置した）テレセントリックにしても良い。
対物光学系１６がテレセントリックであれば、ピント位置による倍率ズレは生じないため、画像処理による補正が不必要になり合成画像を生成する画像処理アルゴリズムの簡略化ができ、好ましい。
内視鏡２の挿入部６の先端部６ａに搭載する対物光学系１６として、その小型化を狙う場合には、対物光学系１６のテレセントリック性を崩してもよい。しかしながら、撮像素子１７ａ、１７ｂの撮像面への入射角をあまり大きくする、ピント位置による倍率差が大きくなり、上述の画像補正処理による補正量が大きくなり、画質の劣化が生じ易くなり、好ましくない。

このため、ピント位置が異なる２つの光学像を得る対物光学系１６は、撮像素子１７ａ，１７ｂの撮像面に結像する光の入射角が、10度未満に設定することが望ましい。 なお、上述した図２等に示す実施形態においては、２つの像に分離する光学素子として直角３角柱形状のプリズム素子１８ａ，１８ｂを用いたプリズム１８を用いていたが、図７に示すような構成でも良い。
図７における対物光学系５１を構成するプリズム５４は、透過光を受光する撮像素子１７ａが取り付けられた第１プリズム５４ａと、反射光を受光する撮像素子１７ｂが取り付けられた第２プリズム５４ｂとからなる。この対物光学系５１と撮像素子１７ａ、１７ｂとにより撮像ユニット５３が形成される。

また、この場合のプリズム５４を除く対物光学系５１は、光学素子５２ａ〜５２ｆを備え、光学素子５２ｃがフォーカスレンズ２１を形成している。なお、光学素子５２ｃと５２ｄとの間に明るさ絞り５２ｆが配置されている。
図７に示す対物光学系５１においては、ペンタプリズムにより構成される第２プリズム５４ｂにおける、第１プリズム５４ａとの接合面Ｍ１は、ハーフミラーとして機能する誘電体膜が（ミラー）コーティングされている。
そして、対物光学系５１の光軸Ｏに沿って入射した光は、この接続面において約半分（５０％）が透過して撮像素子１７ａの撮像面に光学像を結び、残りの約半分が１回目の反射がされた後、反射光側の端面Ｍ２には、ほぼ全反射するように誘電体膜が（ミラー）コーティングされた反射面が形成され、この反射面で２回目の反射された後、この反射光に対向する端面に取り付けられた撮像素子１７ｂにより受光される。尚、端面Ｍ２のコーティングはAl‐SiO2やAg−SiO2等の金属コーティングとしても良い。

この場合には、対物光学系５１を経て撮像素子１７ｂに光学像が結像されるまでに２回、つまり偶数回反射されるので、結像された像は鏡像にならないためプロセッサ装置４において鏡像を反転させる画像処理が不要になる。
このため、この鏡像を反転させる画像処理が不要となるため、処理がより簡単になると共に、反転させる画像処理による画質の劣化も発生しない。但し、アナログの画像をデジタルの画像に変換してメモリに一時的に格納した画像の場合には、メモリから読み出す場合のアドレスを変更することにより、反転した画像を容易に生成できるため、このような場合には、画質の劣化は殆ど発生しない。

なお、上述した図２のプリズム１８の場合には、１回、つまり奇数回の反射後に撮像素子１７ｂに光学像が結像されるため、鏡像となり、プロセッサ装置４において鏡像を反転させる画像処理が施される。
光学的な偶数回の反射による鏡像の補正は対物光学系の大型化やプリズムのコスト高となる可能性があるので、図２のような奇数回の反射による鏡像の補正は、画像補正処理部３２にて鏡像反転により行なう。
当然、対物光学系１６の大型化やコスト面に問題がなければ、図７に示すように光学的に偶数回反射させる構成にしても良い。
次に上述した実施形態と異なる撮像素子等を用いた第２〜第６実施形態を順次説明する。

（第２の実施形態）
第２の実施形態の内視鏡システムは、面順次方式の内視鏡システムであり、以下の数値データからも分かるように明るさを優先させており、明るい画像を取得できる構成にしている。
本内視鏡システムは、図１の内視鏡システム１において、光源装置が図８に示すように面順次の照明光を生成する光源装置３Ｂを採用する。図８の光源装置３Ｂは、図１の光源装置３において、ランプ１１と絞り１２との間の照明光路中に回転フィルタ５５が配置され、この回転フィルタ５５はモータ５６により回転される。
回転フィルタ５５には、赤（Ｒ），緑（Ｇ），青（Ｂ）の光を選択的にそれぞれ透過するＲ，Ｇ，Ｂフィルタが扇形状に設けてあり、図１の構成において、さらに回転フィルタ５５を通すことにより、ライトガイド８にＲ，Ｇ，Ｂの面順次の照明光を供給することができおる。

また、この場合には、図１のプロセッサ装置４における例えば画像読出部３１は、面順次で読み出した画像を一時格納し、同時に読み出すことにより、同時化されたカラーの画像を生成するフレームメモリを備える。
また、第１の実施形態では同時式、つまり色分離フィルタを備えた撮像素子を用いていたが、本実施形態における内視鏡２の挿入部６の先端部６ａに搭載される撮像ユニットを構成する撮像素子は、モノクロの２つの撮像素子６１ａ，６１ｂを採用する。
この場合における撮像ユニットの数値データとしては、波長λ＝０．５４６１μｍの光に対して、２つの撮像素子６１ａ，６１ｂの垂直方向ピクセルサイズをＰixが１．４５μｍ、補正パラメータとしての解像力係数ｋ１を２．００，Ｆ値マージンｋ２を０．８０，対物光学系の有効ＦナンバーＦnoを３．４８に設定している。この実施形態の特徴としては、86万画素1.45μmピクセルのモノクロ撮像素子を使った面順次方式であり、回折限界Fnoに対して余裕マージンを多く取り、より明るさを重視した設定となっている。

そして、本実施形態の撮像ユニットは、Ｆno/Ｐix＝２．４０となる。
より詳細な数値データは、図６の表において示している。なお、図６（Ａ）の表においては、上述の（５）式の条件、２．４≦Ｆno/Ｐix≦４．５ を満たす明るさを優先した実施形態の場合も含めたデータを示す。また、図６（Ｂ）の表においては、後述する（５）′式の条件、２．７≦Ｆno/Ｐix≦４．５ を満たす深度拡大に重点を置いた実施形態（第２′の実施形態）の場合のデータを示す。また、図６（Ｃ）の表においては、後述する（５）″式の条件、３≦Ｆno/Ｐix≦４．２（より厳密には２．９７≦Ｆno/Ｐix≦４．２）を満たす原色ベイヤの同時式に限定し、深度拡大に絞った下限範囲の実施形態の場合のデータを示す。

本実施形態は、面順次方式の場合においても、同様に適用でき、第１の実施形態の場合と同様の効果を有する。

つまり、本実施形態によれば、遠方側及び近接側のいずれの観察領域に設定した場合にも、被写界深度を拡大できる。
また、本実施形態は、近接観察及び遠方観察を行う内視鏡に適用でき（つまり、内視鏡２の挿入部６の先端部６ａに搭載でき）、近接観察の場合及び遠方観察の場合にそれぞれ必要とされる被写界深度を満たすようにできる内視鏡システムを提供できる。
以下に説明する第３の実施形態−第６の実施形態も第１の実施形態とほぼ同様の効果を有する。

（第３の実施形態）
本実施形態の内視鏡システムは、第１の実施形態と同様に、同時式の内視鏡システムである。第１の実施形態においては、撮像ユニット１９の２つの撮像素子１７ａ，１７ｂとして、補色系の色分離フィルタを採用していたが、本実施形態においては原色の色分離フィルタを採用している。この実施形態の特徴としては、150万画素1.1μmピクセルの原色ベイヤ配列の同時式撮像素子を使い、比較的、細径（微小ピクセルなので撮像サイズが小さい）で且つ超高画素内視鏡の実施形態となっている。第１の実施形態，第２の実施形態に対して絶対値的な深度幅は狭いが、実用上の被写界深度を保ちつつ、より細径で高画質な内視鏡画像を提供できる。
この場合における撮像ユニットの数値データとしては、波長λ＝０．５４６１μｍの光に対して、２つの撮像素子の垂直方向ピクセルサイズをＰixが１．１μｍ、補正パラメータとしての解像力係数ｋ１を２．８０，Ｆ値マージンｋ２を１．０，対物光学系の有効ＦナンバーＦnoを４．６２に設定している。

そして、本実施形態の撮像ユニットは、Ｆno/Ｐix＝４．２０となる。
より詳細な数値データは、図６の表において示している。

本実施形態は、第１の実施形態の場合と同様の効果を有する。

（第４の実施形態）
本実施形態の内視鏡システムは、第３の実施形態の変形例に相当する。本実施形態の内視鏡システムは、第3の実施形態と同様の150万画素であるが、撮像素子のピクセルサイズを1.45μmとして開口を大きく取り、ノイズや明るさに対して比較的余裕を考慮した設定になっている。この際、原色ベイヤ配列における補間方法をより最適化する事で、第３の実施形に対して解像力が低下しない様にしつつ、合成画像としては深い被写界深度を得られるようにしている。
この場合における撮像ユニットの数値データとしては、波長λ＝０．５４６１μｍの光に対して、２つの撮像素子の垂直方向ピクセルサイズをＰixが１．４５μｍ、補正パラメータとしての解像力係数ｋ１を２．８０，Ｆ値マージンｋ２を１．０，対物光学系の有効ＦナンバーＦnoを６．０９に設定している。

そして、本実施形態の撮像ユニットは、Ｆno/Ｐix＝４．２０となる。
より詳細な数値データは、図６の表において示している。

本実施形態は、第１の実施形態の場合と同様の効果を有する。

（第５の実施形態）
本実施形態の内視鏡システムは、第３の実施形態の変形例に相当する。本実施形態の内視鏡システムは、120万画素1.1μmピクセルの原色ベイヤ配列の同時式撮像素子を使い、比較的高画素で且つ第３の実施形態より細径を狙っている。また、より絞って解像力よりも深度優先した実施形態であり、解像力は回折限界Fnoを越えて多少劣化するものの実用レベルを保ちつつ、近接観察側はより近接して拡大観察が出来るように、観察距離は3mmまで近接できる様な被写界深度の設定になっている。また、拡大観察を優先して近接するが深度幅は3mmを確保するような合成被写界深度を得ているので内視鏡検査に支障がない様にしている。

この場合における撮像ユニットの数値データとしては、波長λ＝０．５４６１μｍの光に対して、２つの撮像素子の垂直方向ピクセルサイズをＰixが１．１０μｍ、補正パラメータとしての解像力係数ｋ１を２．８０，Ｆ値マージンｋ２を１．０，対物光学系の有効ＦナンバーＦnoを４．６２に設定している。
そして、本実施形態の撮像ユニットは、Ｆno/Ｐix＝４．２０となる。
より詳細な数値データは、図６の表において示している。
本実施形態は、第１の実施形態の場合と同様の効果を有する。

（第６の実施形態）
本実施形態の内視鏡システムは、第３の実施形態の変形例に相当する。本実施形態の内視鏡システムは、100万画素1.7μmピクセルの原色ベイヤ配列の同時式撮像素子を使い、被写界深度よりも観察時の明るさを優先させつつ、合成画像としては広い被写界深度を得られるようにしている。

この場合における撮像ユニットの数値データとしては、波長λ＝０．５４６１μｍの光に対して、２つの撮像素子の垂直方向ピクセルサイズをＰixが１．７０μｍ、補正パラメータとしての解像力係数ｋ１を２．８０，Ｆ値マージンｋ２を１．０，対物光学系の有効ＦナンバーＦnoを７．１４に設定している。
そして、本実施形態の撮像ユニットは、Ｆno/Ｐix＝４．２０となる。
より詳細な数値データは、図６の表において示している。
本実施形態は、第１の実施形態の場合と同様の効果を有する。

ところで、一般的に撮像素子のピクセルサイズが小さくなっていくと被写界深度の確保は難しくなる事から、前述した第２の実施形態の様にｋ２を小さく取って明るさに余裕を持たせる事は難しくなる傾向がある。
この場合は、ｋ２の取り得る範囲は、回折限界Fnoを超えない前提においては０．９〜１．０までが現実的と考えられる。例えば、観察系の明るさにある程度余裕を持った設定とした第２の実施形態で考えると、ｋ２＝０．９とするとＦno/Ｐix＝２．７となる。尚、本願の実施形態で考えると、上限値は第１の実施形態となる。従って、高画素化を狙い観察系の明るさよりも被写界深度の確保を重視する場合は、
２．７≦Ｆno/Ｐix≦４．５ ・・・（５）′
としても良い（図６（Ｂ）の表の第２′の実施形態による（５）′の下限データ、第１の実施形態による（５）′の上限データ参照）。この場合、十分な合成被写界深度を得られるものの、明るさが不足する分は撮像素子に裏面照射型CMOSセンサを採用したり、プロセッサ装置４の図示しないノイズリダクション機能の最適化により、より大きなゲインを掛けるような工夫が考えられる。また、内視鏡先端径に余裕があればライトガイドを増やして総合的な明るさを補っても構わない。

更に、前記裏面照射型CMOSセンサに代表される様に、ピクセルの微細化による多画素化、低消費電力や低コスト化などの要件から、内視鏡の撮像素子にCMOSセンサをに採用するケースは今後増加する事も考えられる。原色ベイヤ配列の一般的なCMOSセンサであれば前述した通り、補間方式の最適化により面順次方式に近しい解像力が期待できる（ｋ１＝２．２程度）。
一方で、ピクセルの微細化はS/Nの劣化なども想定されるものの細径化が好ましい内視鏡においては、より細径、小型化のために微細セルサイズのCMOSを選択する場合も考えられる。この際、補間方法の最適化をしても結果として解像力の低下はある程度想定され、任意の係数ｋ１は補色方式よりは小さくできるもののｋ１＝２．８程度となる可能性もある。つまり、原色ベイヤ配列のCMOSセンサにおいては現実的には２.２≦ｋ１≦２．８程度になると考えられる。

前述した通り被写界深度を重視してｋ２＝０．９〜１．０を取り、且つｋ１＝２．２〜２．８となる場合、本願の実施形態では原色ベイヤ配列のCMOSセンサを前提とした第３〜第６の実施形態が対象となり、（５）′式は更に、
２．９７≦Ｆno/Ｐix≦４．２ ・・・（５）″
となる。従って、被写界深度を重視し且つ撮像素子に原色ベイヤ配列のCMOSセンサを採用する際は（５）″としても十分な被写界深度を得る事ができる（図６（Ｃ）の表の第４の実施形態による（５）″の下限データ、第３′の実施形態による（５）″の上限データ参照）。

上述したようにピント位置が異なる2つ像の合成被写界深度を得る場合、夫々の深度端はＭＴＦが１０％以上であって、かつ重なっていることが望ましい。上述した通り、像面上の評価空間周波数をFiとすると、
Fi=1/k1・Pix …（５）
である。このFiにおけるデフォーカスのＭＴＦが約10％あれば、経験上の主観評価では像のボケは認識できず「見えている」と判断できる。言い換えると、ＭＴＦは約１０％以上あれば被写界深度内と見なせる。

つまり、２つのピント状態の合成被写界深度を得る場合、深度範囲が最大となる条件は夫々の深度端でＭＴＦを約10％を保ったまま合成される事となる。この様子を図９に示す。
図９において実線で示す基準のＭＴＦ特性のものから△と○とで示すように近点側と遠点側とにピント位置がずれた状態のＭＴＦ特性を有するように設定した場合、上述した各実施形態において（２焦点切替時の遠方観察側の合成被写界深度と、近接観察側の合成被写界深度とのいずれにおいても）、ＭＴＦが１０％以上となる裾の深度端で重なっている。

このようにＭＴＦが１０％以上となる裾の深度端で重なる状態で合成した合成画像は深度ギャップが発生することなく、望ましい合成被写界深度を有することになる。なお、上述した第１−第６の実施形態は、この条件を満たす。
これに対して、仮にＭＴＦがIO％未満となる深度端の状態で合成すると、その合成被写界深度範囲内において、ＭＴＦが１０％未満となる深度ギャップ部分を含み、その深度ギャップ部分で画像が不鮮明となるボケる（ボケて見える）観察領域が生じてしまうことになる。

従って、上述した実施形態においては、２焦点切り替えしても不鮮明となる観察領域が発生しないで、広い範囲に渡って鮮明に観察できる広い被写界深度を有する内視鏡システムを提供できる。
なお、２焦点切替時の遠方観察側の合成被写界深度と、近接観察側の合成被写界深度の深度端は重なるような設定にする（第１−第３，第６の実施形態）と、遠方観察から近接観察に切り替えた場合、両者の間で不鮮明となる領域が発生しないで鮮明に観察できるため、スクリーニングや詳細観察を円滑に行い易い。
一方、第４，第５の実施形態のように、遠方観察側合成被写界深度と近接観察側合成被写界深度が連続的に繋がらずに、深度ギャップを生じさせる設定でも良い（Ｎ−Ｆギャップ有り）。
このような設定にすることでより近接した拡大観察が可能となるため、拡大内視鏡を主としたユーザーにはより目的に適した内視鏡を提供できる。
但し、２焦点切替時の視野角変動が殆ど生じないフォーカシングであり、内視鏡の操作性を考慮して深度幅は3mm前後を確保している事が望ましい。

２焦点切替時に視野角が変わる場合は、近接するにつれて観察倍率が大きくなる変倍光学系としても良い。
ところで、上述した実施形態において、基準とする撮像素子は遠点側にピントを合わせた撮像素子に設定しても良い。このようにすると、製造面での調整が行い易い効果を有する。
具体的には、ａ）遠方のピント調整（ピント出し）は、像位置が撮像面より物体側に来る(撮像素子を繰り出す方向)となる。

これに対して、ｂ）近点のピント調整は、像位置が撮像面より手元側に来る(撮像素子を引く方向)となる。ピント調整はａ）の次にｂ）を行う順番が良い。
ｂ）の次にａ）を行う順番でピント調整を行うと、ｂ）後における遠点側の撮像素子のピント調整時に、レンズがぶつかってしまう可能性がある。この場合には、再度ｂ）のピント調整を行わなければならなくなる。
つまり、最初にピント調整によりそのピント調整の条件を固定できる遠点側の撮像素子を基準にして、近点側の撮像素子のピント調整する方が、円滑に行うことができる。 また、このようにした場合、ピント調整の他に、倍率、明るさを除く幾何補正(位置、回転)等の像補正もより円滑に行うことができる。

なお、上述した実施形態においては、フオーカスレンズ２１を光軸方向の２つの位置に切替設定することにより対物光学系１６等を、遠方観察状態と近接観察状態との２焦点切替を行う場合で説明したが、２点の焦点切替に限定されるものでなく、３点、４点のように多数点の焦点（位置）切替にする構成にしても良い。
また、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。

本出願は、２０１１年１０月２７日に日本国に出願された特願２０１１−２３６３８７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

本発明の一態様に係る内視鏡システムは、同一の被写体に対してピント位置が異なる２つの光学像を得る内視鏡対物光学系と、前記２つの光学像を撮像して２つの画像信号を得る撮像素子と、前記２つの画像信号において空間的に同一の画素領域毎にコントラストを比較し、相対的にコントラストが高い方の画素領域を選択することで１つの画像に合成する画像合成処理部と、前記内視鏡対物光学系に設けた焦点切替用レンズの位置を移動し、近接観察と遠方観察の２つの観察領域の一方に前記内視鏡対物光学系の焦点を選択的に切り替える焦点切替機構と、を備え、前記画像合成処理部は、前記近接観察と前記遠方観察の各観察領域の夫々において、前記２つの画像を合成する。

Claims (15)

1. 同一の被写体に対してピント位置が異なる２つの光学像を得る内視鏡対物光学系と、
   前記ピント位置が異なる前記２つの光学像を受光し、光電変換する２つの撮像素子と、
   前記２つの撮像素子により前記２つの光学像に対応する２つの画像を１つの画像に合成する画像合成処理部と、
   前記内視鏡対物光学系に設けた焦点切替用レンズの位置を移動し、近接観察と遠方観察の２つの観察領域の一方に前記内視鏡対物光学系の焦点を選択的に切り替える焦点切替機構と、を備え、
   前記画像合成処理部は、前記近接観察と前記遠方観察の各観察領域の夫々において、前記２つの画像を合成することを特徴とする内視鏡システム。
2. 前記内視鏡対物光学系と前記２つの撮像素子は、内視鏡対物光学系の有効ＦナンバーをＦno、前記２つの撮像素子の撮像面に２次元的に配置されたピクセルのピクセルピッチをＰixと表した場合、
   以下の条件
   ２．４≦Ｆno／Ｐix≦４．５
   を満たすことを特徴とする請求項１に記載の内視鏡システム。
3. 前記ピント位置が異なる２つの光学像を得る内視鏡対物光学系は、
   前記ピント位置が異なる２つの光学像を受光する２つの撮像素子との間に、像を２つに分離する光学素子が配置され、
   前記像を２つに分離する前記光学素子は少なくとも一方の光学像を1回以上反射させる反射面を含み、
   前記反射面で反射された像を前記撮像素子の１つに結像させることを特徴とする前記請求項１の内視鏡システム。
4. 前記２つの撮像素子からの夫々の像における相対的な倍率の差異と、位置の差異と、回転の差異と、明るさの差異とを、合致させる画像処理を行う画像補正処理部を備え、
   前記画像合成処理部は、前記画像補正処理部で補正された夫々の画像を１つに合成することを特徴とする前記請求項１の内視鏡システム。
5. 前記画像補正処理部は、予め定められた補正パラメータを補正パラメータ格納部から読み出して画像補正を行い、
   前記ピント位置が異なる２つの光学像のうちの１つを基準画像とした相対的な差異を、前記補正パラメータに設定することを特徴とした請求項４の内視鏡システム。
6. 前記画像補正処理部で補正される前記相対的な明るさの差異は、前記２つの像のうち輝度の低い方の像、もしくは前記２つの像の相対的に同一位置における輝度の低い方を基準として、補正を行なうことを特長とする請求項４の内視鏡システム。
7. 前記像を２つに分離する前記光学素子の前記反射面による反射が奇数回反射されて前記撮像素子の１つに結像させる場合、
   当該１つの撮像素子から得られる画像を、鏡像反転させる機能を有することを特徴とした請求項４の内視鏡システム。
8. 前記内視鏡対物光学系は、前記近接観察と前記遠方観察の各観察領域の夫々において、前記２つの撮像素子における一方の撮像素子に対する被写界深度の深度範囲が、他方の撮像素子に対する被写界深度の深度範囲と重なるように設定されていることを特徴とした請求項４の内視鏡システム。
9. 前記内視鏡システムは、前記内視鏡対物光学系と、前記２つの撮像素子を備えた内視鏡と、前記内視鏡が着脱自在に接続され、前記画像合成処理部を備えた画像処理装置とを備え、
   前記内視鏡は、前記補正パラメータ格納部を備えることを特徴とした請求項５の内視鏡システム。
10. 前記撮像素子は、原色又は補色のカラーフィルタを有することを特徴とした請求項２の内視鏡システム。
11. 前記撮像素子は、面順次照明光の下で撮像を行うカラーフィルタを有しないモノクロの撮像素子であることを特徴とした請求項２の内視鏡システム。
12. 前記内視鏡対物光学系と前記２つの撮像素子は、内視鏡対物光学系の有効ＦナンバーをＦno、前記２つの撮像素子の撮像面に２次元的に配置されたピクセルのピクセルピッチをＰixと表した場合、
    以下の条件
    ２．７≦Ｆno／Ｐix≦４．５
    を満たすことを特徴とする請求項１に記載の内視鏡システム。
13. 前記内視鏡対物光学系と前記２つの撮像素子は、内視鏡対物光学系の有効ＦナンバーをＦno、前記２つの撮像素子の撮像面に２次元的に配置されたピクセルのピクセルピッチをＰixと表した場合、
    以下の条件
    ３≦Ｆno／Ｐix≦４．２
    を満たすことを特徴とする請求項１に記載の内視鏡システム。
14. 前記画像合成処理部は、前記２つの撮像素子に基づいて生成された第１及び第２の画像データにおける同一の被写体位置にそれぞれ対応する第１及び第２の輝度レベルの差分量を各フレームにおいて算出する差分算出回路と、前記差分量の絶対値が閾値以上であるか否かを比較する比較回路と、前記差分量の絶対値が閾値以上である場合には輝度レベルが高い方の画像を選択し、前記差分量の絶対値が閾値未満である場合には２つの画像の輝度レベルを加算して出力する選択回路と、を有することを特徴とする請求項２に記載の内視鏡システム。
15. 前記画像合成処理部は、前記２つの撮像素子に基づいて生成された第１及び第２の画像データにおける同一の被写体位置にそれぞれ対応する第１及び第２の輝度レベルの差分量を各フレームにおいて算出する差分算出回路と、前記差分量の絶対値が閾値以上であるか否かを比較する比較回路と、前記差分量の絶対値が閾値以上である場合には輝度レベルが高い方の画像を選択し、前記差分量の絶対値が閾値未満である場合には２つの画像の輝度レベルにそれぞれ重み付けした後に合成して出力する選択回路と、を有することを特徴とする請求項８に記載の内視鏡システム。
    
    

Images