JPWO2017094122A1 - 撮像装置、内視鏡装置及び撮像方法 - Google Patents

Abstract

撮像装置は、撮像素子４０と、撮像素子４０に被写体を結像させる光学系１５と、位相差検出部３３０と、を含む。光学系１５は、１つの瞳により被写体を結像させる第１の状態と、２つの瞳により被写体を結像させる第２の状態とを切り替える。位相差検出部３３０は、第１の状態において撮像素子により撮像された第１の撮像画像から疑似的な位相差画像を生成し、第２の状態において撮像素子により撮像された第２の撮像画像と疑似的な位相差画像との間のマッチング処理を行い、２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出する。

Description

本発明は、撮像装置、内視鏡装置及び撮像方法等に関する。

従来より３次元形状を光学的に計測する技術が知られている。例えば、左右両眼の立体視によるステレオ撮像方式や、正弦パターンなどのパターン照明による位相シフト方式、反射光の時間測定によるＴＯＦ（Time of Flight）方式など、種々の方式が提案されている。

ステレオ撮像方式は、撮像系をステレオ光学系にするだけの簡便な機構で良く、特別な照明機構や照明制御、高度な信号処理が不要であるため、昨今の撮像系の小型化技術の進歩を考えると小スペースでの実装には向いている。例えば、内視鏡装置の先端部への実装や小型ロボットの視覚センサなど多くのニーズが存在する。これらは高精度な計測機能だけではなく同時に高画質な通常観察機能も求められることが多く、左右別々の撮像素子を用いるのではなく解像度を確保するために共通の撮像素子に視差画像を結像する形式が取られている。ステレオ撮像方式では、左右画像の視差量から被写体までの距離を求めることが基本なので、共通の撮像素子に結像された左右画像を分離できないと視差量を検出できず、距離情報を求めることができない。

左右画像を分離する手法として、例えば特許文献１には、左右の結像光路をメカニカルシャッターにより時間的に切り替え、左右の画像を分離取得する手法が開示されている。この手法では、照明として例えば白色光を用いることが可能である。

特開２０１４−２８００８号公報

特許文献１のように時分割により左右の画像を分離取得する方法では、左右のどちらの画像も観察用画像としての利用が可能である。しかしながら、ステレオ計測のための左右画像の分離性は優れているが、撮像系又は被写体が動いた場合に時間的に撮像タイミングのずれが生じ、ステレオ計測のための正確な視差量を検出することができない。

一方、ステレオ計測において左右の画像を白色光で同時に取得する手法として、撮像センサを左右に分割した別々の領域に左右の画像を結像させる手法が考えられる。しかしながら、左右画像のいずれかを観察用画像として利用する場合、撮像素子の半分に結像させているため画像が低解像になってしまう。

本発明の幾つかの態様によれば、高解像な画像を撮影できると共にステレオ計測ができる撮像装置、内視鏡装置及び撮像方法等を提供できる。

本実施形態の一態様は、撮像素子と、前記撮像素子に被写体を結像させる光学系と、位相差検出部と、を含み、前記光学系は、１つの瞳により前記被写体を結像させる第１の状態と、２つの瞳により前記被写体を結像させる第２の状態とを切り替え、前記位相差検出部は、前記第１の状態において前記撮像素子により撮像された第１の撮像画像から疑似的な位相差画像を生成し、前記第２の状態において前記撮像素子により撮像された第２の撮像画像と前記疑似的な位相差画像との間のマッチング処理を行い、前記２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出する撮像装置に関係する。

本実施形態の一態様によれば、１つの瞳による第１の撮像画像から疑似的な位相差画像が生成され、２つの瞳による第２の撮像画像と疑似的な位相差画像との間のマッチング処理が行われ、位相差が検出される。これにより、２つの瞳による画像が重畳した第２の撮像画像から位相差を検出してステレオ計測することが可能となる。各瞳の画像を撮像センサの別々の領域に結像させる必要がなく、撮像センサの広い領域に重畳させて結像できるので、高解像な画像を撮影できる。

また本実施形態の他の態様は、上記に記載された撮像装置を含む内視鏡装置に関係する。

また本実施形態の更に他の態様は、光学系が１つの瞳により前記被写体を撮像素子に結像させる第１の状態と、前記光学系が２つの瞳により前記被写体を前記撮像素子に結像させる第２の状態とを切り替え、前記第１の状態において前記撮像素子により撮像された第１の撮像画像から疑似的な位相差画像を生成し、前記第２の状態において前記撮像素子により撮像された第２の撮像画像と前記疑似的な位相差画像との間のマッチング処理を行い、前記２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出する撮像方法に関係する。

内視鏡装置の撮像部の基本構成例。 内視鏡装置の撮像部の基本構成例。 固定マスク、可動マスクの詳細な構成例。 固定マスク、可動マスクの詳細な構成例。 内視鏡装置の構成例。 位相差の検出手法の説明図。 ブレを考慮した位相差の検出手法の説明図。 ステレオ３次元計測の原理の説明図。 内視鏡装置の詳細な構成例。 動画撮影における動作の第１のシーケンス。 動画撮影における動作の第２のシーケンス。 内視鏡装置の撮像部の第２基本構成例。 内視鏡装置の撮像部の第２基本構成例。 固定マスク、可動マスクの第２の詳細な構成例。 固定マスク、可動マスクの第２の詳細な構成例。 固定マスク、可動マスクの第３の詳細な構成例。 固定マスク、可動マスクの第３の詳細な構成例。 位相差の第３検出手法の説明図。 位相差の第３検出手法の説明図。 位相差の第３検出手法の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

例えば以下では工業用の内視鏡装置を本発明の適用例として説明するが、本発明は工業用の内視鏡装置への適用に限定されず、ステレオ撮影方式（視差をもった撮像系で得た２画像の位相差を検出して被写体の距離情報を取得する方法）により３次元形状を計測する３次元計測装置や３次元計測機能を有する撮像装置（例えば医療用の内視鏡装置、顕微鏡、工業用カメラ、ロボットの視覚機能など）であれば適用できる。

１．基本構成
内視鏡装置での検査では、例えば検査対象にスコープを挿入して通常の画像を撮影しながら異常がないかチェックしていき、傷などの詳細に観察したい部分が見つかったときに、その部分の３次元形状を計測して更なる検査が必要かを検討する。このように、通常の観察用画像は白色光で撮影を行う。このような白色光での撮影とステレオ計測を両立する方法として、例えば白色光でステレオ撮影を行うことが考えられる。しかしながら、ステレオ撮影で白色光を用いた場合、イメージセンサを左右に分割して、それぞれの領域に左画像と右画像を結像させる必要があるため、画像が低解像になる。イメージセンサの同一領域に左画像と右画像を結像する手法としては、カラー位相差法があるが、撮影される画像は色ずれ画像になるため観察用画像として用いることができない。

上記のことから、白色光でイメージセンサの同一領域で左画像と右画像を写すためには、時分割切り替え（例えば特許文献１）が必要となる。しかしながら、撮像系と被写体が相対的に動いた場合には左画像と右画像の間に動きブレがあるため、三角測定が不正確になってしまう。特に内視鏡のようにカメラを被写体に対して固定できない場合には、動きブレが発生しやすい。

本実施形態では、白色光で高解像な観察用画像を得ると共に、カラー位相差法を用いることなく非時分割に撮像素子の同一領域に左右瞳の通過光を結像させ、その撮像画像からステレオ計測できる。これによって、上記のような課題を解決できる。また本実施形態では、観察用画像とステレオ計測をリアルタイムに行うことが可能である。

なお、以下で説明する本発明の適用対象として、例えば工業用内視鏡などの撮像系の位置が安定しない（固定しない）装置であり、且つ撮像機構が小さく解像度を確保するために大きな撮像素子を用いることができない装置が想定される。但し、本発明の適用は上記装置に限定されず、高精細観察、高精度計測を目的とする３次元計測装置に広く適用できる。

図１、図２に、内視鏡装置の撮像部の基本構成例を示す。図１、図２には、撮像部を横から見た（光軸を含む平面での）断面図と、撮像素子上の結像の光量（又は撮像素子に撮像された画像の画素値）と位置ｘの関係と、を示す。位置ｘは、結像光学系の光軸に垂直な方向における位置（座標）であり、例えば撮像素子の画素位置である。実際には２次元の座標系であるが、ここでは２次元のうち視差方向の１次元の座標系で説明する。なお以下では照明機構の図示を省略する。

本実施形態の内視鏡装置は、光学系１５（光学装置）、撮像素子４０（撮像センサ、イメージセンサ）を含む。光学系１５は、結像光学系１０、可動マスク３０（第１のマスク）、固定マスク２０（第２のマスク）を含む。

結像光学系１０は、ステレオ光学系を構成する左眼の結像光学系１１（第１光学系）、右眼の結像光学系１２（第２光学系）を含む。各眼の結像光学系は、例えば１又は複数のレンズで構成され、撮像素子４０の画素アレイの全体（又は大部分）に被写体を結像させる。例えば、左眼の結像光学系１１のイメージサークルと右眼の結像光学系１２のイメージサークルは大きく重複しており、その重複部分の中に撮像素子の画素アレイが収まる。ｄは、左眼の結像光学系１１の光軸ＡＸ１と右眼の結像光学系１２の光軸ＡＸ２との間の距離であり、ステレオ計測においては基線長となる。

撮像素子４０は、例えばＲＧＢのベイヤ配列のカラーフィルタを有する。なお、これに限定されず、例えば撮像素子４０は補色フィルタ等を有してもよい。

固定マスク２０、可動マスク３０は、例えば結像光学系１０の瞳位置に設けられる。固定マスク２０は結像光学系１０に対して固定されており、可動マスク３０は光軸ＡＸ１、ＡＸ２に垂直な平面内で位置を切り替えられる構成となっている。可動マスク３０は、図１に示す観察モード（観察状態、第１のモード、第１の状態）と、図２に示すステレオ計測モード（ステレオ計測状態、第２の状態、第２のモード）の２つのモードを高速に切り替えられるようになっている。可動マスク３０は、板状の遮光部（遮光部材）である。第１の状態において、固定マスク２０の２つの絞り孔のうち一方の絞り孔を遮光部が覆るような大きさに、可動マスク３０が構成されている。なお、図１、図２では可動マスク３０が固定マスク２０よりも結像側に設けられる場合を図示しているが、可動マスク３０が固定マスク２０よりも対物側に設けられてもよい。

結像光学系１０による結像光路は、左眼、右眼を通る２つの光路の一方又は両方が固定マスク２０と可動マスク３０により選択される。

図１は、通常の観察用画像を取得する状態（観察モード）を示している。可動マスク３０により右眼光路が遮断（遮光）され、固定マスク２０の絞り孔の左眼光路のみが開放された状態となる。この場合、撮像素子４０に結像される画像は左眼のみによる結像画像ＩＬとなり、通常の（単眼による白色光の）撮像画像が得られる。

一方、図２は、ステレオ画像の左右画像を同時に取得する状態（ステレオ計測モード）を示している。可動マスク３０により左右光路は開放状態となり、左瞳画像ＩＬ’と右瞳画像ＩＲ’が重畳された画像（２重画像）が得られる。左瞳画像ＩＬ’と右瞳画像ＩＲ’は共に白色光画像である。白色光画像は、撮像素子のカラーフィルタの分光特性で撮影された、赤色成分、緑色成分、青色成分を含む画像である。カラーフィルタが近赤外に帯域をもつ場合には、画像の各色の成分には近赤外の成分が含まれてもよい。

２．固定マスク、可動マスク
図３、図４に固定マスク２０、可動マスク３０の詳細な構成例を示す。図３、図４には、結像光学系１０と固定マスク２０と可動マスク３０の断面図と、固定マスク２０と可動マスク３０を光軸方向に見た図（結像側から見た背面図）と、を示す。

固定マスク２０の左瞳の光路には絞り孔２１が構成されており、右瞳の光路には絞り孔２２が構成されている。絞り孔２１、２２は、遮光部２４（遮光部材）に開けられており、いずれも開放状態（スルーホール）である。絞り孔２１、２２は、例えば回転軸３５を中心として同一円上に並ぶ。光軸ＡＸ１、ＡＸ２は、それぞれ絞り孔２１、２２の中心（例えば円の中心）の中心を通る。遮光部２４は、結像光学系１０が収められた筐体を正面（又は背面）から見たときに筐体を塞ぐように設けられており、例えば光軸ＡＸ１、ＡＸ２に対して垂直に設けられた板状部材である。

可動マスク３０は、絞り孔が設けられていない遮光部である。遮光部は、光軸ＡＸ１、ＡＸ２に対して垂直な回転軸３５に接続されており、例えば光軸ＡＸ１、ＡＸ２に対して垂直に設けられた板状部材である。遮光部の形状は、例えば棒状（棒の一端側が回転軸３５に接続される）であるが、これに限定されず、図３及び図４の状態を実現できる形状であればよい。

可動マスク３０は、回転軸３５を中心として光軸ＡＸ１、ＡＸ２に垂直な方向に所定の角度だけ回転する構成となっている。例えばピエゾ素子やモーター等によって回転運動を実現できる。図３の観察モードにおいては、可動マスク３０は右眼側に所定の角度だけ回転し、固定マスク２０の左瞳光路（絞り孔２１）は開放状態となり、右瞳光路（絞り孔２２）は遮光状態となる。図４のステレオ計測モードにおいては、可動マスク３０は回転角０度に戻り、固定マスク２０の左右瞳光路（絞り孔２１、２２）は開放状態となる。

絞り孔２１、２２は、観察用画像の撮影に必要な被写界深度に対応したサイズの孔（例えば円形状の孔で、サイズは直径）である。図１〜図４では、絞り孔２１の面積φＬと絞り孔２２の面積φＲが異なる場合を図示しているが、絞り孔２１の面積φＬと絞り孔２２の面積φＲは同じでもよい。異ならせる場合、例えば、絞り孔２２は絞り孔２１よりも小さいサイズの孔である。図３、図４ではφＬ＞φＲとしているが、これに限らずφＬ＜φＲであっても構わない。

なお、上記では可動マスク３０を所定角度だけ軸回転することにより２つの状態を作る場合を説明したが、これに限定されない。例えば、スライド動作により可動マスク３０を移動させて２つの状態を作るものでもよい。回転動作又はスライド動作は、例えばマグネット機構や、圧電機構などで実現可能であり、高速性や耐久性を考慮して適切なものを選択すればよい。

３．内視鏡装置
図５に、本実施形態の内視鏡装置（広義には撮像装置）の構成例を示す。内視鏡装置は、処理部２１０（処理装置、プロセッサ）、撮像部１０５、記憶部４１０（メモリ）、操作部４２０（操作装置）、表示部２２０（表示装置、ディスプレイ）を含む。処理部２１０は、位相差検出部３３０、画像出力部３２５を含む。

処理部２１０は、内視鏡装置の各部の制御や、例えば画像処理等の種々の情報処理を行う。処理部２１０は、位相差検出部３３０、画像出力部３２５、モード制御部３４５を含む。記憶部４１０は、例えば撮像部１０５により撮像された画像データや内視鏡装置の設定データ等を記憶する。或いは、記憶部４１０は、処理部２１０の一時記憶メモリ（ワーキングメモリ）として利用される。撮像部１０５は、画像（動画像、静止画像）を撮影する。撮像部１０５は、撮像素子４０、光学系１５を含む。また撮像部１０５は、光学系１５のフォーカス機構を駆動する駆動装置等を含むことができる。操作部４２０は、ユーザが撮像装置を操作するための入力装置であり、例えばボタンやレバー、回転リング、マウス、キーボード、タッチパネル等で構成できる。表示部２２０は、撮像部１０５により撮像された画像や、処理部２１０により処理された画像を表示する。表示部４００は、例えば液晶表示装置やＥＬ（Electro-Luminescence）表示装置等で構成できる。

以下、本実施形態の内視鏡装置の構成及び動作の詳細を説明する。

光学系１５は、１つの瞳により被写体５を結像させる第１の状態と、２つの瞳により被写体を結像させる第２の状態とを切り替える。位相差検出部３３０は、第１の状態において撮像素子４０により撮像された第１の撮像画像ＩＬ（ｘ）から疑似的な位相差画像を生成する。位相差検出部３３０は、第２の状態において撮像素子により撮像された第２の撮像画像ＩＬＲ’（ｘ）と疑似的な位相差画像との間のマッチング処理を行う。そして位相差検出部３３０は、２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出する。

第１の状態は、図１、図３の観察用画像取得状態（観察モード）に対応し、第２の状態は、図２、図４の計測用画像取得状態（ステレオ計測モード）に対応する。第１の状態における１つの瞳は、固定マスク２０の絞り孔２１に対応し、第２の状態における２つの瞳は、固定マスク２０の絞り孔２１、２２に対応する。なお、図１〜図４では２つの瞳を左瞳及び右瞳として説明しているが、２つの瞳の分離方向は左右に限定されない。

また疑似的な位相差画像（合成画像、模擬画像、模擬位相差画像）は、第１の撮像画像ＩＬ（ｘ）と、第１の撮像画像ＩＬ（ｘ）に疑似的に位相差を与えて位置をシフトさせた画像とを合成し、第２の撮像画像ＩＬＲ’（ｘ）を模擬した画像である。任意の位相差に相当する変数を与え、その変数の分だけ位置ｘをずらすことが、疑似的に（意図的に）位相差を与えることに相当する。即ち、第１の撮像画像ＩＬ（ｘ）を画像ＩＬ（ｘ−ｓ）に変換することに相当する。マッチング処理においては、疑似的に与える位相差を変化させ、マッチングがとれる位相差を探索する。この位相差の検出手法については図６、図７、図１８〜図２０で詳細に説明する。その詳細な説明において、疑似的な位相差画像は下式（２）の画像ＩＬＲ（ｘ，ｓ）、下式（４）の画像ＩＬＲ（ｘ，δ，ｓ）、下式（２６）のベクトルＮＣＶに対応し、疑似的に与える位相差はｓに対応し、検出される位相差はｓ’（ｘＬ）に対応する。

本実施形態によれば、１つの瞳による第１の撮像画像ＩＬ（ｘ）から疑似的な位相差画像が生成され、２つの瞳による第２の撮像画像ＩＬＲ’（ｘ）と疑似的な位相差画像との間のマッチング処理が行われ、位相差が検出される。第２の撮像画像ＩＬＲ’（ｘ）は、２つの瞳による画像が重畳して同時に取得されている。即ち、各瞳の画像を時分割に取得していないので位相差が被写体や撮像系のブレの影響を受けていない。これにより、撮像系のブレの影響を受けることなく正確な位相差（即ち被写体距離）を検出できる。また、第２の撮像画像ＩＬＲ’（ｘ）を模擬した疑似的な位相差画像を第１の撮像画像ＩＬ（ｘ）から生成し、マッチング処理を行うことによって、２つの瞳による画像が重畳した第２の撮像画像ＩＬＲ’（ｘ）から位相差を検出することが可能となる。重畳した画像から位相差が検出できるので、カラー位相差法を用いる必要がなく、白色光によるステレオ計測が可能となる。また、第１の撮像画像ＩＬ（ｘ）は１つの瞳で撮像されたものであり、それを観察用画像として提供できる。これにより、ステレオ計測と共に観察用画像を提供できる。

なお、本実施形態の内視鏡装置（撮像装置）は以下のように構成されてもよい。即ち、本実施形態の内視鏡装置は、撮像素子４０と、光学系１５と、情報（例えばプログラムや各種のデータ）を記憶するメモリ（記憶部４１０）と、メモリに記憶された情報に基づいて動作するプロセッサ（処理部２１０、ハードウェアを含むプロセッサ）と、を含む。プロセッサは、第１の撮像画像ＩＬ（ｘ）から疑似的な位相差画像を生成し、第２の撮像画像ＩＬＲ’（ｘ）と疑似的な位相差画像との間のマッチング処理を行い、２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出する位相差検出処理を行う。

プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部２１０の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

本実施形態の動作は、例えば以下のように実現される。プロセッサは、光学系１５を第１の状態と第２の状態に切り替える制御を行う。撮像素子４０により撮像された第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）がメモリ（記憶部４１０）に格納される。プロセッサは、メモリから第１の撮像画像ＩＬ（ｘ）を読み出し、疑似的な位相差画像を生成し、その疑似的な位相差画像をメモリに格納する。プロセッサは、メモリから第２の撮像画像ＩＬＲ’（ｘ）と疑似的な位相差画像を読み出し、それらのマッチング処理を行って位相差を検出し、その検出した位相差をメモリに格納する。

また、本実施形態の処理部２１０の各部は、プロセッサ上で動作するプログラムのモジュールとして実現される。例えば、位相差検出部３３０は、第１の撮像画像ＩＬ（ｘ）から疑似的な位相差画像を生成し、第２の撮像画像ＩＬＲ’（ｘ）と疑似的な位相差画像との間のマッチング処理を行い、２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出する位相差検出モジュールとして実現される。

また本実施形態では、位相差検出部３３０は、一方の瞳による結像に対応する第１の疑似瞳画像と、他方の瞳による結像に対応する第２の疑似瞳画像とを、第１の撮像画像ＩＬ（ｘ）から生成する。位相差検出部３３０は、第１の疑似瞳画像と第２の疑似瞳画像の間を位相差に相当するずれ量だけずらして第１の疑似瞳画像と第２の疑似瞳画像を加算処理することで疑似的な位相差画像を生成する。そして、位相差検出部３３０は、ずれ量を変化させながらマッチング処理を行って位相差を検出する。

第１の疑似瞳画像（第１の瞳画像、第１の模擬瞳画像）は、第２の撮像画像ＩＬＲ’（ｘ）に含まれる一方の瞳による画像を、第１の撮像画像ＩＬ（ｘ）に基づいて模擬した画像である。また第２の疑似瞳画像（第２の瞳画像、第２の模擬瞳画像）は、第２の撮像画像ＩＬＲ’（ｘ）に含まれる他方の瞳による画像を、第１の撮像画像ＩＬ（ｘ）に基づいて模擬した画像である。任意の位相差に相当する変数を与え、その変数の分だけ第１の疑似瞳画像と第２の疑似瞳画像の相対位置をずらすことが、瞳画像を模擬することに相当する。図６で後述する手法では、第１、第２の疑似瞳画像は画像ＩＬ（ｘ）、ＩＬ（ｘ，ｓ）に対応する。ＩＬ（ｘ，ｓ）は下式（１）に示す。下式（２）のように、第１、第２の疑似瞳画像を加算処理したものが疑似的な位相差画像ＩＬＲ（ｘ，ｓ）である。また図７で後述する手法では、第１、第２の疑似瞳画像は下式（３）の画像ＩＬ（ｘ，δ）、ＩＬ（ｘ，δ，ｓ）に対応する。下式（４）のように、第１、第２の疑似瞳画像を加算処理したものが疑似的な位相差画像ＩＬＲ（ｘ，δ，ｓ）である。また図１８〜図２０で後述する手法では、第１、第２の疑似瞳画像は下式（２１）のベクトルＲＬ、ＲＲに対応する。下式（２６）のように、第１、第２の疑似瞳画像（ベクトルＲＬ、ＲＲ）を加算処理したものが疑似的な位相差画像（ベクトルＮＣＶ）である。

本実施形態によれば、２つの瞳の各瞳による画像が第１の撮像画像ＩＬ（ｘ）から生成され、それらを加算処理することで疑似的な位相差画像が生成される。これにより、ある位相差（ずれ量）を想定したときの第２の撮像画像ＩＬＲ’（ｘ）を模擬した画像が生成されることになる。そして、その想定した位相差を変えながらマッチング処理を行うことで、２つの瞳による画像が重畳された第２の撮像画像ＩＬＲ’（ｘ）における位相差を、探索的に決定できる。

また本実施形態では、光学系１５の２つの瞳は、互いに大きさが異なる。

瞳の大きさは、瞳の開口の面積である。例えば、開口の面積そのもので瞳の大きさを表してもよいし、或いは、開口の形状において面積を代替できるパラメーターで瞳の大きさを表してもよい。例えば、開口が円の場合には円の直径で瞳の大きさを表してもよい。

マッチング処理では局所領域で比較を行うので、似た画像（波形）があると疑似的に相関が高くなる場合がある。この点、本実施形態では２つの瞳の大きさを変えることで、各瞳による撮像画像の明るさが異なり、第２の撮像画像ＩＬＲ’（ｘ）に特徴付けがされる。これにより、マッチング処理において疑似相関が出る可能性を減らし、より正確な位相差検出が可能となる。

また、図１２〜図１５等で後述するように、光学系１５の結像光学系１０を単眼で構成することも可能である。この場合、下式（１７）のようにフォーカス位置（前ピント、後ピント）に応じて位相差の符号が変わる。仮に各瞳による撮像画像の明るさが同じであれば、位相差の絶対値が同じ場合には符号に依らずに第２の撮像画像ＩＬＲ’（ｘ）が同じになり、位相差を検出できない。この点、本実施形態では各瞳による撮像画像の明るさが異なるので、結像光学系１０が単眼である場合にも位相差を正確に検出できる。

なお、図１〜図４のように結像光学系１０がステレオ光学系である場合には、光学系１５の２つの瞳は同じ大きさであってもよい。

また本実施形態では、位相差検出部３３０は、２つの瞳の互いに異なる大きさに基づくゲイン調整を第１の撮像画像ＩＬ（ｘ）に対して行うことで、一方の瞳による結像に対応する第１の疑似瞳画像と、他方の瞳による結像に対応する第２の疑似瞳画像とを生成する。位相差検出部３３０は、第１の疑似瞳画像と第２の疑似瞳画像の間を位相差に相当するずれ量だけずらして第１の疑似瞳画像と第２の疑似瞳画像を加算処理することで疑似的な位相差画像を生成する。そして位相差検出部３３０は、ずれ量を変化させながらマッチング処理を行って位相差を検出する。

図６で後述する手法では、下式（１）のように画像ＩＬ（ｘ−ｓ）に係数（φＲ／φＬ）を乗じる処理がゲイン調整に対応する。また図７で後述する手法では、下式（３）のように画像ＩＬ（ｘ−δ−ｓ）に係数（φＲ／φＬ）を乗じる処理がゲイン調整に対応する。係数（φＲ／φＬ）は瞳の開口の面積比である。また図１８〜図２０で後述する手法では、下式（２６）のようにベクトルＶＬ、ＶＲに係数ｇＬ、ｇＲを乗じる処理がゲイン調整に対応する。下式（２５）のように、係数ｇＬ、ｇＲはベクトルの大きさ（画像の明るさ）の比である。これは、瞳の開口の面積比に関係している（面積比とほぼ同じであるが、一致するとは限らない）。

本実施形態によれば、光学系１５の２つの瞳の大きさが互いに異なる場合において、適切な疑似的な位相差画像を生成できる。即ち、第１の撮像画像ＩＬ（ｘ）は１つの瞳で撮像された画像であるが、それに対して開口の大きさに基づくゲイン調整を行うことで、開口の大きさが異なる２つの瞳で撮像される第２の撮像画像ＩＬＲ’（ｘ）を模擬した疑似的な位相差画像を生成できる。

また本実施形態では、位相差検出部３３０は、第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）に基づいて、第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）の間の被写体ブレによるブレ量を更に検出する。

被写体ブレは、撮像タイミングが異なる２つの画像上において被写体の撮像位置が移動する（ぶれる）ことである。被写体ブレの要因は、被写体の移動（ブレ）、又は撮像系の移動（ブレ）、又はそれらの両方である。

第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）を時分割に撮像しているので、その間に被写体ブレが生じると、位相差を正確に検出できない可能性がある。この点、本実施形態によれば、第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）の間のブレ量を更に検出することで、被写体ブレに影響されない位相差を抽出できる。２つの瞳による画像が第２の撮像画像ＩＬＲ’（ｘ）として同時に取得されているので、この画像にはブレに影響されていない位相差の情報が含まれている。そのため、被写体ブレと位相差を分離して検出することが可能となる。

また本実施形態では、位相差検出部３３０は、第１の疑似瞳画像と第２の疑似瞳画像の間を位相差に相当する第１ずれ量だけずらすと共に、第１の疑似瞳画像及び第２の疑似瞳画像をブレ量に相当する第２ずれ量だけずらして第１の疑似瞳画像と第２の疑似瞳画像を加算処理することで疑似的な位相差画像を生成する。そして、位相差検出部３３０は、第１ずれ量及び第２ずれ量を独立に変化させながらマッチング処理を行って位相差及びブレ量を検出する。

図７で後述する手法、図１８〜図２０で後述する手法では、疑似的な位相差画像を生成する際に与える第１ずれ量（位相差）はｓであり、第２ずれ量（ブレ量）はδである。マッチング処理により検出される位相差はｓ’（ｘＬ）であり、ブレ量はδ’（ｘＬ）である。

本実施形態によれば、２つの瞳の各瞳による画像が第１の撮像画像ＩＬ（ｘ）から生成され、それらを加算処理することで疑似的な位相差画像が生成される。これにより、ある位相差（第１ずれ量）とブレ量（第２ずれ量）を想定したときの第２の撮像画像ＩＬＲ’（ｘ）を模擬した画像が生成されることになる。そして、その想定した位相差とブレ量を変えながらマッチング処理を行うことで、第２の撮像画像ＩＬＲ’（ｘ）に含まれる位相差の情報を抽出すると共に、第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）との間のブレ量を検出できる。

また本実施形態では、光学系１５は、第ｎのフレーム（ｎは整数）で第１の状態に設定され、第ｎのフレームの後の第ｎ＋１〜第ｎ＋ｊのフレーム（ｊは２以上の整数）で第２の状態に設定される。位相差検出部３３０は、第ｎのフレームで撮影された第１の撮像画像ＩＬ（ｘ）と、第ｎ＋ｉのフレーム（ｉは１以上ｊ以下の整数）で撮影された第２の撮像画像ＩＬＲ’（ｘ）とに基づいて位相差を検出してｊ個の位相差を取得し、ｊ個の位相差を平均処理する。

この処理の詳細は図１１で後述する。図１１では、ｊ＝５であり、下式（１１）によりｊ個の位相差を平均処理して最終的な位相差ｓ’（ｘＬ）を求める。

被写体ブレの影響を考慮する場合、通常であれば第１の状態での撮影と第２の状態での撮影との間隔が短い程よい。一方、本実施形態ではブレ量を位相差とは独立して検出できるので、第１の状態での撮影と第２の状態での撮影との間隔がある程度あっても、正確に位相差を検出できる。これにより、第１の状態で１回撮影した後に第２の状態で連続して複数回の撮影を行い、それによって得た複数の位相差を平均して最終的な位相差を求めることが可能となる。複数の位相差を平均することで、より正確な位相差を検出できる。

また本実施形態では、内視鏡装置は、第１の撮像画像ＩＬ（ｘ）に基づいて観察用の画像を出力する画像出力部３２５を含む。

本実施形態によれば、第１の撮像画像ＩＬ（ｘ）と第２の撮像画像ＩＬＲ’（ｘ）に基づいてステレオ計測を行うと共に、第１の撮像画像ＩＬ（ｘ）に基づいて観察用の画像を出力できる。これにより、観察用画像の撮影と、その被写体のステレオ計測とを、ほぼ同時に行うことが可能となる。図１０、図１１で後述するように、これを動画像において行えば、ほぼリアルタイムな観察用画像の撮影とステレオ計測を実現できる。

また本実施形態では、光学系１５は、第１の開口と第２の開口とを有する固定マスク２０と、固定マスク２０に対して可動である可動マスク３０と、を有する。第１の状態では、可動マスク３０が、第１の開口を非遮蔽にすると共に第２の開口を遮蔽し、光学系１５が、第１の開口を１つの瞳として被写体５を結像させる。第２の状態では、可動マスク３０が、第１の開口及び第２の開口を非遮蔽にし、光学系１５が、第１の開口及び第２の開口を２つの瞳として被写体５を結像させる。

図３、図４では、第１の開口は絞り孔２１に対応し、第２の開口は絞り孔２２に対応する。ここでマスクとは、マスクに入射する光を遮蔽する部材や部品のことである。本実施形態の固定マスク２０では、遮光部２４が光を遮蔽すると共に絞り孔２１、２２が光を通過させる。また可動マスク３０は、開口のない遮光部で構成されており、光を遮蔽する。

本実施形態によれば、可動マスク３０が、第１の開口を非遮蔽にすると共に第２の開口を遮蔽することで、１つの瞳により被写体を結像させる第１の状態を実現できる。また、可動マスク３０が、第１の開口及び第２の開口を非遮蔽にすることで、２つの瞳により被写体を結像させる第２の状態を実現できる。

また本実施形態では、固定マスク２０の第２の開口は、第１の開口よりもサイズが小さい。

本実施形態によれば、互いに大きさが異なる２つの瞳を実現できる。ここで、開口のサイズは、例えば、その開口の形状において面積を代替できるパラメーターである。例えば、開口が円の場合には円の直径である。或いは、開口のサイズは、開口の面積そのものであってもよい。

また本実施形態では、固定マスク２０と可動マスク３０が以下のように構成されてもよい。即ち、固定マスクは開口を有する。そして、第１の状態では、可動マスク３０が、開口を非分割（開放状態）の開口とし、光学系１５が、非分割の開口を１つの瞳として被写体５を結像させる。第２の状態では、可動マスク３０が、開口を第１の分割開口と第１の分割開口よりもサイズが小さい第２の分割開口に分割し、光学系１５が、第１の分割開口及び第２の分割開口を２つの瞳として被写体５を結像させる。

この構成の詳細は図１６、図１７で説明する。図１６、図１７では、固定マスク２０の開口は絞り孔２３に対応し、第１、第２の分割開口は孔ＦＬ、ＦＲに対応する。

本実施形態によれば、可動マスク３０が、固定マスク２０の開口を非分割の開口とすることで、１つの瞳により被写体を結像させる第１の状態を実現できる。また、可動マスク３０が、固定マスク２０の開口を第１の分割開口と第２の分割開口に分割することで、２つの瞳により被写体を結像させる第２の状態を実現できる。

また本実施形態では、内視鏡装置は、光学系１５を第１の状態に設定する第１のモード（観察モード）と、光学系１５を第２の状態に設定する第２のモード（ステレオ計測モード）とを切り替える制御を行うモード制御部３４５を含む。

モード制御部３４５の詳細は図９で説明する。図９の可動マスク制御部３４０がモード制御部３４５に対応する。

本実施形態によれば、モード制御部３４５がモードを設定することで光学系１５の第１の状態と第２の状態を切り替えることができる。また、位相差検出部３３０は、撮像された画像が第１の撮像画像であるか第２の撮像画像であるかを、モード制御部３４５からのモード情報に基づいて判断できる。

また本実施形態では、第１のモードにおいて撮像された画像ＩＬ（ｘ）と第２のモードにおいて撮像された画像ＩＬＲ’（ｘ）とに基づいて、第１のモードにおいて光学系１５が第１の状態に設定されているか否か、及び第２のモードにおいて光学系１５が第２の状態に設定されているか否かの少なくとも一方を検出するエラー検出部３５５を含む。

エラー検出部３５５の詳細は図９で説明する。図９の可動マスク位置検出部３５０がエラー検出部３５５に対応する。

光学系１５は第１の状態と第２の状態を切り替える構成であり、可動部（可動マスク３０）を含んでいる。このような可動部を含む場合、その誤動作の可能性を考慮しておく必要がある。本実施形態では、第１の状態と第２の状態が正しく切り替えられているか否かを画像から検出できる。エラーを検出した場合、例えば撮影を停止してもよいし、或いは可動部の動作を修正してもよい。例えば、一旦、可動部の動作を止めてから再開させ、エラーが検出されなくなれば正常な状態に復帰したと判断する。

４．位相差の検出手法
被写体までの距離は左瞳画像ＩＬ’と右瞳画像ＩＲ’の位相差ｓを検出できなければ求められない。しかしながら、上記のようなステレオ計測モードで得た画像では左瞳画像ＩＬ’と右瞳画像ＩＲ’が重畳されてしまっているので、この画像からだけでは位相差ｓの検出はできない。そこで観察モードで得た画像ＩＬを用いて位相差ｓを求める。以下、この手法について説明する。

図６に、位相差検出手法の説明図を示す。ここでは説明を簡単にするためにｙ座標を省略しｘ座標のみ着目する。画像ＩＬ、ＩＬ’ＩＲ’の画素値を座標ｘの関数とみなし、それぞれＩＬ（ｘ）、ＩＬ’（ｘ）、ＩＲ’（ｘ）と表記する。なお、ステレオ計測モードでは実際にはＩＬＲ’（ｘ）＝［ＩＬ’（ｘ）＋ＩＲ’（ｘ）］が撮像画像として得られるが、図６ではＩＬ’（ｘ）とＩＲ’（ｘ）を個別の波形で図示している。また、位相差の検出処理では、例えば画像ＩＬ（ｘ）、ＩＬＲ’（ｘ）をモノクロ画像（グレースケール画像）に変換し、そのモノクロ画像から位相差を検出する。

まず、観察用の左瞳画像ＩＬ（ｘ）を任意座標ｘＬからｓだけずらした画像ＩＬ（ｘ−ｓ）を生成する。絞り孔２１、２２の大きさが異なるので絞り孔２１、２２の面積φＬ、φＲの比を用いて、ＩＬ（ｘ）を基準にＩＬ（ｘ−ｓ）を下式（１）のようにゲイン調整する。ゲイン調整後の画像をＩＬ（ｘ，ｓ）と表記する。

調整ゲイン（φＲ／φＬ）は、左右瞳画像のゲインを合わせるためのものである。上式（１）では絞り孔２１、２２の面積比でゲインを設定しているが、これに限定されるものではなく、例えば実際の撮像系の光学特性に基づいて最適なゲイン調整を行ってもよい。

次に、上式（１）のＩＬ１（ｘ）、ＩＬ（ｘ，ｓ）を合成し、下式（２）のような合成画像ＩＬＲ（ｘ，ｓ）を生成し、これを探索用比較画像とする。ＩＬＲ（ｘ，ｓ）は、２つの画像ＩＬ（ｘ）（一方はゲイン調整されている）が位相差ｓだけ離れた状態で加算された画像となっている。

次に、ずらし量ｓの値を変化させ、ずらし量ｓの各値での合成画像ＩＬＲ（ｘ，ｓ）と、計測用として撮像された重畳画像ＩＬＲ’（ｘ）［＝ＩＬ’（ｘ）＋ＩＲ’（ｘ）］とのマッチング評価を行う。最もマッチングが取れたときのずらし量ｓを検出し、このときのずらし量ｓを座標ｘＬにおける左瞳画像ＩＬ’（ｘ）と右瞳画像ＩＲ’（ｘ）の位相差ｓ’（ｘＬ）とする。図６のｗは、マッチング評価における類似性比較を行う範囲を意味する。

本手法では、画像ＩＬ（ｘ）、ＩＬ’（ｘ）、ＩＲ’（ｘ）はそれぞれ視点が異なる画像ではあるが、局所的にはほぼ相似関係であると見なしている。即ち、所定区間にてＩＬ（ｘ）とＩＬ’（ｘ）はほぼ一致し、ＩＬ（ｘ）がｓずれた画像もＩＲ’（ｘ）とほぼ一致すると考えている。よってｓを探索値として変化させ、合成された状態のＩＬＲ（ｘ）とＩＬＲ’（ｘ）どうしが一致すれば、ＩＬ（ｘ）とＩＬ’（ｘ）が一致すると共にＩＬ（ｘ−ｓ）とＩＲ’（ｘ）が一致すると判断し、そのときのｓが求める位相差ｓ’であるとしている。

５．ブレを考慮した位相差の検出手法
上記で求めた位相差ｓ’は、撮像系と被写体の間のブレがない状態で取得された画像と見なしている。即ち、画像ＩＬ（ｘ）と画像ＩＬ’（ｘ）は撮像面において同一位置にあることが前提であった。しかしながら、観察用の左瞳画像ＩＬ（ｘ）と計測用の重畳画像ＩＬＲ’（ｘ）とは、連続的ではあるが時分割で撮像される画像なので、その間に撮像系又は被写体がブレた場合は、位相差を求める際にそのブレ量を考慮する必要がある。

図７に、ブレを考慮した位相差の検出手法の説明図を示す。ここでは説明を簡単にするためにｙ座標を省略しｘ座標のみ着目する。ステレオ計測モードではＩＬＲ’（ｘ）＝［ＩＬ’（ｘ）＋ＩＲ’（ｘ）］が撮像画像として得られるが、図７ではＩＬ’（ｘ）とＩＲ’（ｘ）を個別の波形で図示している。

連続して得られる左瞳画像ＩＬ（ｘ）と重畳画像ＩＬＲ’（ｘ）との間のブレ量をδとする。観察用の左瞳画像ＩＬ（ｘ）を、座標ｘＬからブレ量δだけずれた画像ＩＬ（ｘ，δ）とブレ量δに加え位相差ｓをずらした画像ＩＬ（ｘ，δ，ｓ）とに分離し、これらの画像を生成する。次に、絞り孔２１、２２の面積φＬ、φＲの比を用い、ＩＬ（ｘ）を基準に下式（３）のようにゲイン調整する。

ゲイン調整後の画像をＩＬ（ｘ，δ）、ＩＬ（ｘ，δ，ｓ）とする。上式（３）では絞り孔２１、２２の面積比でゲインを設定しているが、これに限定されるものではなく、例えば実際の撮像系を用いて最適なゲイン調整を行ってもよい。

次に、ＩＬ（ｘ，δ）とＩＬ（ｘ，δ，ｓ）を合成して下式（４）のような合成画像ＩＬＲ（ｘ，δ，ｓ）を意図的に生成し、それを探索用比較画像とする。

次に、位相差ｓ及びブレ量δの２つの値を独立に変化させた合成画像ＩＬＲ（ｘ，δ，ｓ）と、計測用の重畳画像ＩＬＲ’（ｘ）との間のマッチング評価を行う。最もマッチングが取れるときの位相差ｓ及びブレ量δを検出し、このときの位相差ｓ及びブレ量δを、それぞれ座標ｘＬにおける左瞳画像ＩＬ’（ｘ）と右瞳画像ＩＲ’（ｘ）の位相差ｓ’（ｘＬ）及びブレ量δ’（ｘＬ）とする。図７のｗはマッチング評価における類似性比較を行う範囲を意味する。

本手法においても、画像ＩＬ（ｘ）、ＩＬ’（ｘ）、ＩＲ’（ｘ）は局所的にみればほぼ相似であると仮定している。画像ＩＬ（ｘ）、ＩＬ’（ｘ）、ＩＲ’（ｘ）は互いに視差がある画像となっているため、厳密には異なる波形であるが、ずらし量ｓとブレ量δが比較的小さい場合は、局所範囲で見れば相似形であると見なせる。

本手法によれば、ブレ量δが含まれた状態であってもブレ量δに影響されずに重畳された計測用ステレオ画像の左瞳画像ＩＬ’（ｘ）と右瞳画像ＩＲ’（ｘ）の位相差が検出できる。これは、ステレオ計測モードにおいて左瞳画像ＩＬ’（ｘ）と右瞳画像ＩＲ’（ｘ）が同時に（重畳画像として）撮像されており、その間の位相差ｓがブレの影響を受けていないためである。これにより、画像ＩＬ（ｘ）、ＩＬＲ’（ｘ）の間のずれ量（即ち、ｓ＋δ）からずれ量δを分離し、位相差ｓを抽出できる。

６．ステレオ３次元計測の原理
図１〜図４の構成例におけるステレオ計測の原理について説明する。

図８に示すように、左眼と右眼の光路が独立して構成され、被写体５からの反射画像は、これら光路を介して撮像センサ面（受光面）に結像する。３次元空間の座標系Ｘ、Ｙ、Ｚを以下のように定義する。即ち、撮像センサ面に沿ってＸ軸と、Ｘ軸に直交するＹ軸とを設定し、撮像センサ面に直交し且つ光軸ＡＸ１、ＡＸ２と平行な方向で被写体に向かう方向にＺ軸を設定する。Ｚ軸はＸ軸、Ｙ軸とゼロ点にて交差するものとする。なお、ここでは便宜上Ｙ軸は省略する。

結像光学系１１、１２（結像レンズ）と撮像センサ面の距離をｂとし、結像光学系１１、１２から被写体５の任意点Ｑ（ｘ，ｚ）までの距離をｚとする。光軸ＡＸ１、ＡＸ２とＺ軸までの距離を同一とし、各ｄ／２とする。つまりステレオ計測における基線長はｄとなる。被写体５の任意点Ｑ（ｘ，ｙ）が結像光学系１１により撮像センサ面に結像された対応点のＸ座標をＸＬとし、被写体５の任意点Ｑ（ｘ，ｙ）が結像光学系１２により撮像センサ面に結像された対応点のＸ座標をＸＲとする。任意点Ｑ（ｘ，ｚ）と座標ＸＬ、ＸＲに囲まれた三角形内にできる複数の部分的な直角三角形の相似関係を使って下式（５）を得ることができる。

ここで、下式（６）、（７）が成り立つ。

これにより、上式（５）の絶対値を下式（８）のように外すことができる。

上式（８）をｘについて解くと下式（９）となる。

上式（９）のｘを上式（８）に代入すると、下式（１０）が得られ、ｚを求めることができる。

ｄ、ｂは既知の設定値であり、未知数（ＸＲ−ＸＬ）は、上述したマッチング処理（相関演算）により位相差ｓとして検出する。各位置ｘについて距離ｚを計算することで被写体の形状が計測できる。なお、マッチングが良好でない場合には距離ｚが求められない可能性があるが、例えば周囲の画素の距離ｚから補間すること等により求めてもよい。

７．内視鏡装置の詳細構成
図９に、内視鏡装置（広義には、撮像装置）の詳細な構成例を示す。内視鏡装置は、スコープ部１００（撮像部）、本体部２００（制御装置）を含む。スコープ部１００は、光学系１５、撮像素子４０、駆動部５０を含む。光学系１５は、結像光学系１０、固定マスク２０、可動マスク３０を含む。本体部２００は、処理部２１０（処理回路、処理装置）、表示部２２０（表示装置）、撮像処理部２３０（撮像処理回路）を含む。処理部２１０は、画像選択部３１０（画像フレーム選択部）、カラー画像生成部３２０（画像出力部）、位相差検出部３３０、可動マスク制御部３４０（モード制御部）、可動マスク位置検出部３５０、距離情報算出部３６０、３次元情報生成部３７０を含む。

スコープ部１００、カラー画像生成部３２０、可動マスク制御部３４０、可動マスク位置検出部３５０は、それぞれ図５の撮像部１０５、画像出力部３２５、モード制御部３４５、エラー検出部３５５に対応する。なお、図５の記憶部４１０、操作部４２０は図９では図示を省略している。また、スコープ部１００は、不図示の構成要素として、例えば処置具や照明装置（光源、レンズ等）等を含んでもよい。

内視鏡装置としては、工業用、医療用のいわゆるビデオスコープ（撮像素子を内蔵した内視鏡装置）を想定できる。スコープ部１００が湾曲可能に構成された軟性鏡、スコープ部１００がスティック状に構成された硬性鏡、いずれにも本発明を適用できる。例えば工業用の軟性鏡の場合、本体部２００及びスコープ部１００は持ち運び可能なポータブル機器として構成されており、工業製品の製造検査やメンテナンス検査、建築物や配管のメンテナンス検査等に用いられる。

駆動部５０は、可動マスク制御部３４０からの制御信号に基づいて可動マスク３０を駆動し、第１の状態（観察モード）と第２の状態（ステレオ計測モード）を切り替える。例えば、駆動部５０はピエゾ素子やマグネット機構によるアクチュエータで構成される。

撮像処理部２３０は、撮像素子４０からの信号に対して撮像処理を行い、撮像画像（例えばベイヤ画像等）を出力する。例えば、相関２重サンプリング処理、ゲインコントロール処理、Ａ／Ｄ変換処理、ガンマ補正、色補正、ノイズ低減等を行う。撮像処理部２３０は、例えばＡＳＩＣ等のディスクリートＩＣで構成されてもよいし、或いは撮像素子４０（センサチップ）や処理部２１０に内蔵されてもよい。

表示部２２０は、スコープ部１００が撮像した画像や、被写体５の３次元形状情報等を表示する。例えば、表示部２２０は、液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等により構成される。

以下、内視鏡装置の動作を説明する。可動マスク制御部３４０は、駆動部５０を制御して可動マスク３０の位置を切り替える。可動マスク制御部３４０が可動マスク３０を観察モードに設定した場合、被写体５からの反射光が左眼光路を介して撮像素子４０に結像される。撮像処理部２３０は、撮像素子４０に結像された画像の画素値を読み出し、Ａ／Ｄ変換等を行って画像選択部３１０に画像データを出力する。

画像選択部３１０は、可動マスク制御部３４０からの制御信号に基づいて可動マスク３０の状態が観察モードであることを検知し、撮像画像ＩＬ（ｘ）をカラー画像生成部３２０と位相差検出部３３０に出力する。カラー画像生成部３２０はデモザイキング処理（ベイヤ画像からＲＧＢ画像を生成する処理）や各種画像処理を行い、３板化ＲＧＢ原色画像を表示部２２０に出力する。表示部２２０は、そのカラー画像を表示する。

可動マスク制御部３４０が可動マスク３０をステレオ計測モードに設定した場合、被写体５からの反射光が左瞳光路及び右瞳光路を介し撮像素子４０に同時に結像される。撮像処理部２３０は、撮像素子４０に結像された画像の画素値を読み出し、Ａ／Ｄ変換等を行って画像選択部３１０に画像データを出力する。

画像選択部３１０は、可動マスク制御部３４０からの制御信号に基づいて可動マスク３０の状態がステレオ計測モードであることを検知し、撮像画像ＩＬＲ’（ｘ）を位相差検出部３３０に出力する。位相差検出部３３０は、画像ＩＬ（ｘ）と画像ＩＬＲ’（ｘ）をモノクロ画像に変換し、その変換後の画像に対して上述したマッチング処理を行い、画素毎に位相差（位相ずれ）を検出する。また位相差検出部３３０は、位相差検出が信頼できるか否かの判断を行い、信頼できないと判断した場合はエラーフラグを画素毎に出力する。従来より２つの類似波形（画像ＩＬＲ（ｘ）と画像ＩＬＲ’（ｘ））の位相差を求めるためのマッチング評価方法はＺＮＣＣ（Zero-mean Normalized Cross-Correlation）に代表される正規化相互相関演算法、相互の差分絶対値の合計によるＳＡＤ（Sum of Absolute Difference）など、種々提案されているので適宜利用が可能である。

なお、画像をモノクロ変換することは必須ではなく、左瞳画像ＩＬ（ｘ）と重畳画像ＩＬＲ’（ｘ）の赤Ｒ又は緑Ｇ又は青Ｂ又は近赤外の成分どうしを用いて位相差を検出しても構わない。被写体の色成分に偏りがある場合は、最も撮像感度、ＳＮ比が高い色成分による検出が有効である。

撮像素子４０が近赤外波長域までの感度を有するものであれば、被写体５への照明光を可視光又は近赤外光を選択照射すれば、観察用画像ＩＬ（ｘ）及び計測用の瞳重畳画像ＩＬＲ’（ｘ）として可視画像又は近赤外画像を選択して得ることができる。色純度を求めるならば可視画像を取得するようにし、高感度で高ＳＮ比を求めるならば可視画像及び近赤外画像を同時取得するようにすれば良い。また特殊用途の画像として近赤外画像のみの画像を取得するようにしても良い。

位相差検出部３３０は、検出した位相差情報とエラーフラグを距離情報算出部３６０に出力する。距離情報算出部３６０は、被写体５の距離情報（例えば図８の距離ｚ）を各画素について計算し、その距離情報を３次元情報生成部３７０に出力する。エラーフラグが立っている画素は、例えば被写体５の平坦部（エッジ成分が少ない領域）と見なして、例えば周囲の画素の距離情報から補間してもよい。３次元情報生成部３７０は、距離情報（又は、距離情報とカラー画像生成部３２０からのＲＧＢ画像）から３次元情報を生成する。３次元情報は、例えばＺ値マップ（距離マップ）やポリゴン、疑似的な３次元表示画像（例えばシェーディング等による形状強調）等、種々の情報を想定できる。３次元情報生成部３７０は、生成した３次元画像や３次元データ、或いはそれらと観察用画像とを重畳した表示画像などを必要に応じ生成し、表示部２２０へ出力する。表示部２２０は、その３次元情報を表示する。

可動マスク位置検出部３５０は、ステレオ計測に用いる画像ＩＬ（ｘ）、ＩＬＲ’（ｘ）を使って、可動マスク３０が観察モードの位置にあるかステレオ計測モードの位置にあるかを検出する。そして、可動マスク３０の状態がモードに一致していないと判断した場合には、可動マスク制御部３４０に位置エラーフラグを出力する。可動マスク制御部３４０は、位置エラーフラグを受けて、可動マスク３０を正しい状態（画像選択に対応した状態）に修正する。修正動作をしても正しい状態にならない場合は、何らかの故障が発生したと判断して全体の機能を停止させる。

可動マスク３０が観察モードの位置にあるかステレオ計測モードの位置にあるかは、例えば以下の第１〜第４の手法で判断できる。第１〜第４の手法のうち、１つの手法を用いてもよいし、複数の手法を用いてもよい。

第１の手法では、画像の所定領域内における位相差ｓの平均が、マイナス値を示すか否かを判断する。観察モードにおいて、可動マスク３０が既定に反して左眼光路を遮断してしまった場合を想定している。この場合、参照する左瞳画像ＩＬ（ｘ）が右瞳画像ＩＲ（ｘ）となるため、重畳画像ＩＬＲ’（ｘ）の成分画像ＩＬ’（ｘ）、ＩＲ’（ｘ）に対して位置関係が逆になり、位相差ｓがマイナス値となる。

第２の手法では、位相差ｓの検出時のマッチング評価値が所定以下の値を示すか否かを判断する。観察モードにおいて、左眼又は右眼の光路を不完全に遮断してしまった場合を想定している。この場合、プロファイルが異なる２重画像どうしのマッチング評価になるので、本来ならマッチングしている位相差ｓにおいてもマッチング評価値が低いままとなる。

第３の手法では、画像の所定領域内における位相差ｓの平均が、所定値以下（ゼロに近い値）を示すか否かを判断する。ステレオ計測モードにおいて、左眼又は右眼の光路を遮断してしまった場合を想定している。この場合、全撮像領域において位相差ｓをもたない画像になるので、位相差ｓがほぼゼロとなる。

第４の手法では、観察用画像ＩＬ（ｘ）と計測用の重畳画像ＩＬＲ’（ｘ）との明るさ比率が、所定範囲を満たしているか否かを判断する。可動マスク３０が正常に動作している場合、それらの画像の明るさ比率はほぼ一定となる。

８．モード切り替えシーケンス
図１０に、動画撮影における動作の第１のシーケンス（第１のタイミングチャート）を示す。

図１０に示すように、可動マスク３０の状態の切り替えと撮像タイミングと撮像画像の選択は連動している。Ａ１、Ａ２に示すように、観察モードのマスク状態とステレオ計測モードのマスク状態を交互に繰り返す。Ａ３、Ａ４に示すように、各マスク状態で１回ずつ撮像が行われる。Ａ５に示すように、観察モードのマスク状態にあるフレームｆｎで撮像素子４０により撮像された画像は、観察用画像ＩＬ（ｘ）として選択される。Ａ６に示すように、ステレオ計測モードのマスク状態にあるフレームｆｎ＋１で撮像素子４０により撮像された画像は、計測用画像ＩＬＲ’（ｘ）として選択される。

このように観察モードとステレオ計測モードを交互に繰り返すことにより、ほぼリアルタイムに近い状態で観察用画像ＩＬ（ｘ）と計測用画像ＩＬＲ’（ｘ）を連続的に得ることができるので、被写体５に動きがある場合も観察と計測を両方実現することができる。観察用画像ＩＬ（ｘ）を表示しつつ、そこに必要に応じて計測された情報を重ねて合わせて表示すれば、ユーザに対して目視検査と定量検査を同時に提供することができ、有用な情報提供が可能となる。

計測処理は、観察用画像ＩＬ（ｘ）とそれに続く計測用画像ＩＬＲ’（ｘ）、又は計測用画像ＩＬＲ’（ｘ）とそれに続く観察用画像ＩＬ（ｘ）を用いて行われる。例えば、Ａ７に示すように、フレームｆｎ＋１における撮影期間の後の計測期間において、フレームｆｎの観察用画像ＩＬ（ｘ）とフレームｆｎ＋１の計測用画像ＩＬＲ’（ｘ）により計測処理Ｍｎ＋１を実行する。或いは、Ａ８に示すように、フレームｆｎ＋２において観察用画像ＩＬ（ｘ）が撮影される。そしてＡ９に示すように、フレームｆｎ＋２における撮影期間の後の計測期間において、フレームｆｎ＋１の計測用画像ＩＬＲ’（ｘ）とｆｎ＋２の観察用画像ＩＬ（ｘ）により計測処理Ｍｎ＋２を実行する。このようにして、各フレームにおいてリアルタイムに近い状態で計測情報を得ることができる。

図１１に、動画撮影における動作の第２のシーケンス（第２のタイミングチャート）を示す。

図１１のＢ１に示すように、１つのフレームで観察モードのマスク状態に設定し、Ｂ２に示すように、それに続く複数のフレームでステレオ計測モードのマスク状態に設定する。なお、図１１では複数のフレームが５フレームである場合を例に説明するが、これに限定されない。Ｂ３に示すように、観察モードのマスク状態で１回撮影され、Ｂ４に示すように、そのフレームｆｎで撮影された画像は観察用画像ＩＬ（ｘ）として選択される。Ｂ５に示すように、ステレオ計測モードのマスク状態で５回撮影され、Ｂ６に示すように、そのフレームｆｎ＋１〜ｆｎ＋５で撮影された各画像は計測用画像ＩＬＲ’（ｘ）として選択される。

フレームｆｎ＋１〜ｆｎ＋５の各フレームをｆｎ＋ｉ（ｉは１≦ｉ≦５の整数）とする。フレームｆｎ＋ｉにおける撮影期間の後の計測期間において、フレームｆｎの観察用画像ＩＬ（ｘ）とフレームｆｎ＋ｉの計測用画像ＩＬＲ’（ｘ）とにより計測処理Ｍｎ＋ｉを実行する。フレームｆｎ＋ｉにおける撮像素子４０の任意画素（座標）ｘＬの位相差をｓ’（ｘＬ）ｉとし、下式（１１）により位相差ｓ’（ｘＬ）を求める。ｊは、１つの観察用画像ＩＬ（ｘ）に対して撮影する計測用画像ＩＬＲ’（ｘ）の数であり、図１１ではｊ＝５である。

このように、位相差をｓ’（ｘＬ）ｎをフレーム間（ｆｎ＋１〜ｆｎ＋５）にて積算平均すれば、よりばらつきの少ない高精度な位相差ｓ’（ｘＬ）が得られる。位相差ｓ’（ｘＬ）ｎとしては、フレーム間でのブレの影響を排除したもの（図７の手法）を用いることが望ましい。

９．第２構成例
図１２、図１３に、内視鏡装置の撮像部の第２基本構成例を示し、図１４、図１５に、固定マスク２０、可動マスク３０の第２の詳細な構成例を示す。図１２、図１３には、撮像部を横から見た（光軸を含む平面での）断面図と、撮像素子上の結像の光量（又は撮像素子に撮像された画像の画素値）と位置ｘの関係と、を示す。図１４、図１５には、結像光学系１０と固定マスク２０と可動マスク３０の断面図と、固定マスク２０と可動マスク３０を光軸方向に見た図（結像側から見た背面図）と、を示す。なお、図１〜図４で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

図１２〜図１５では、結像光学系１０が単眼の光学系となっている。この単眼の光学系は、１又は複数のレンズで構成される。固定マスク２０の絞り孔２１、２２は、単眼の光学系の１つの瞳を左瞳及び右瞳に分割する。絞り孔２１、２２の中心（例えば円状の絞り孔の場合、その円の中心）を通り、結像光学系１０の光軸ＡＸＣに平行な線を中心線ＩＣ１、ＩＣ２とする。例えば、光軸ＡＸＣと中心線ＩＣ１、ＩＣ２の距離は等しい。固定マスク２０は、結像光学系１０の瞳位置に設けられる。図１２、図１４の観察モードにおいて、可動マスク３０は絞り孔２２を遮光する位置に設定される。また、図１３、図１５のステレオ計測モードにおいて、可動マスク３０は絞り孔２１、２２を開放する位置に設定される。

この構成例では、絞り孔２１の面積φＬと絞り孔２２の面積φＲが異なる。例えば、絞り孔２２は絞り孔２１よりも小さいサイズの孔である。図１２〜図１５ではφＬ＞φＲとしているが、これに限らずφＬ＜φＲであっても構わない。

単眼の光学系では、フォーカスが合っている被写体位置では位相差ｓがゼロになり、フォーカスが前側にずれている場合と後側にずれている場合とで位相差ｓの符号が異なる（左瞳画像ＩＬ’と右瞳画像ＩＲ’のずれ方向が逆になる）。本実施形態では、左瞳画像ＩＬ’と右瞳画像ＩＲ’の明るさを異ならせることにより、左瞳画像ＩＬ’に対して右瞳画像ＩＲ’がどちらにずれているかが重畳画像から判別できるようになる。

なお、図１〜図４で説明したステレオ光学系では、フォーカスの状態に関わらず位相差ｓの符号は同じ（左瞳画像ＩＬ’と右瞳画像ＩＲ’のずれ方向は同じ）であるため、左瞳画像ＩＬ’と右瞳画像ＩＲ’の明るさを異ならせなくてもよい。

観察モードで撮影される画像ＩＬ（ｘ）とステレオ計測モードで撮影される画像ＩＬＲ’（ｘ）とから位相差ｓ（ｘ）を検出する手法は、図６又は図７で説明した手法と同じである。また、内視鏡装置も図５や図９と同様に構成できる。

１０．第３構成例
図１６、図１７に、固定マスク２０、可動マスク３０の第３の詳細な構成例を示す。図１６、図１７には、結像光学系１０と固定マスク２０と可動マスク３０の断面図と、固定マスク２０と可動マスク３０を光軸方向に見た図（結像側から見た背面図）と、を示す。なお、図１〜図４、図１２〜図１５で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

図１６、図１７では、結像光学系１０が単眼の光学系となっている。また、固定マスク２０の遮光部２４には１つの絞り孔２３（貫通孔）が設けられる。図１６の観察モードでは、絞り孔２３を開放する位置に可動マスク３０が設定される。図１７のステレオ計測モードでは、絞り孔２３を２つの孔（ＦＬ、ＦＲとする）に分割する位置に可動マスク３０が設定される。これらの孔ＦＬ、ＦＲは、単眼の光学系の１つの瞳を左瞳及び右瞳に分割する。

絞り孔２３は、例えば円形であり、その絞り孔２３の中心線（円の中心）は光軸ＡＸＣに一致している。可動マスク３０の遮光部の幅（長手方向に直交する方向での幅）は、絞り孔２３のサイズ（直径）よりも小さい。ステレオ計測モードにおいて、孔ＦＬ、ＦＲの面積φＬ、φＲが異なるように、可動マスク３０が設定される。例えば、回転軸３５が偏心しており、回転角がゼロになったときに可動マスク３０の遮光部の長手方向の中心線が絞り孔２３の中心を通らないようになっている。

この構成例では、開口が大きな絞り孔２３を用いることができるので、明るい観察用画像ＩＬ（ｘ）を撮影できる。また、絞り孔２３の中心線が光軸ＡＸＣに一致しているので、結像光学系１０の光軸中心の光を利用した高品質な（例えば歪みが小さい、画角が大きい等の）画像が得られる。

観察モードで撮影される画像ＩＬ（ｘ）とステレオ計測モードで撮影される画像ＩＬＲ’（ｘ）とから位相差ｓ（ｘ）を検出する手法は、図６又は図７で説明した手法と同じである。また、内視鏡装置も図５や図９と同様に構成できる。

１１．ステレオ３次元計測の原理
図１２〜図１５の第２構成例及び図１６、図１７の第３構成例におけるステレオ３次元計測の原理について説明する。

図１３に示すように、撮像センサ面に沿ってＸ軸と、Ｘ軸に直交するＹ軸とを設定し、撮像センサ面に直交し且つ光軸ＡＸＣと平行な方向で被写体に向かう方向にＺ軸を設定する。Ｚ軸はＸ軸、Ｙ軸とゼロ点にて交差するものとする。なお、ここでは便宜上Ｙ軸は省略する。

結像光学系１０（結像レンズ）から被写体の計測ポイントまでの任意距離をｚとし、そのｚに対し焦点を結ぶ距離をｂ’とする。結像光学系１０から基準計測ポイントまでの距離をａとし、結像光学系１０から撮像センサ面までの距離をｂとする。基準計測ポイントは、撮像センサ面に焦点を結ぶポイントである。左瞳と右瞳の離間（重心間）距離をｄとする。被写体の任意点Ｐ（ｘ，ｙ）の左瞳による撮像センサ面の画像のＸ重心座標をｘＬとし、左瞳による撮像センサ面の画像のＸ重心座標をｘＲとする。任意点Ｐ（ｘ，ｚ）とその合焦点Ｐ’（ｘ，ｚ）と座標ｘＬ、ｘＲに囲まれた三角形内にできる複数の部分的三角形の相似関係を使って以下の式を得ることができる。

左瞳画像と右瞳画像のずれ量、即ち位相差をｓと表記すると、下式（１２）である。ｓは正の値、又は負の値、又はゼロを取る。

三角形の相似関係から、下式（１３）が得られる。

結像光学系１０の焦点距離をｆとすると、合焦関係の原理により、下式（１４）、（１５）が得られる。

上式（１３）〜（１５）よりｂ’、ｆを消去すると、下式（１６）が得られる。

ａ、ｂ、ｄは既知の設定値なので位相差ｓが求められれば、被写体までの距離ｚが求められる。位相差ｓは撮像センサ面の位置ｘＬを基準に考えると、ｘＬに対応する位置ｘＲをマッチング処理（相関演算）により検出し、全ての位置ｘＬについて距離ｚを計算すれば被写体の形状が計測できる。但し、マッチングが良好でない位置では距離ｚが求められない場合がある。

１２．絞り孔の面積を異ならせる理由
図１２〜図１５の第２構成例及び図１６、図１７の第３構成例では、左右瞳光路の絞り孔２１、２２（又はＦＬ、ＦＲ）の開放面積φＬ、φＲを意図的に異ならせている。以下、その理由について説明する。

図１３で説明した距離ｚ、ｂ’、ａ、ｂ、位置ｘＬ、ｘＲを用いる。結像光学系１０（結像レンズ）から計測ポイントまでの距離が基準距離ａより小さい場合と大きい場合とで、撮像センサ面上の左瞳画像と右瞳画像のずれ方向が逆転する。即ち、下式（１７）の関係が成り立ち、ずれの方向によってｚとａの大小関係が異なることが分かる。

即ち、左瞳画像ＩＬ’（ｘ）と右瞳画像’ＩＲ（ｘ）がほぼ同一画像と見なせるとした場合、それらが同じ明るさで重畳した画像からでは、どちらの画像が左右のどちらの方向にずれて重なった画像かを決めることができない。

この問題を解決するために、本実施形態では左右瞳画像の絞り孔２１、２２（又はＦＬ、ＦＲ）の面積φＬ、φＲを意図的に異ならせている。左瞳画像ＩＬ’（ｘ）と右瞳画像ＩＲ’（ｘ）の明るさを異ならせることにより、左瞳画像ＩＬ’（ｘ）に対して右瞳画像ＩＲ’（ｘ）が左右のどちらにずれているかによって重畳画像ＩＬＲ’（ｘ）も異なる。これを利用して、ずれ方向を判別できるようにしている。

また、左瞳画像ＩＬ’（ｘ）と右瞳画像ＩＲ’（ｘ）の明るさが異なることにより、重なり具合による重畳画像ＩＬＲ’（ｘ）の違いを特徴づけやすくなり、ずれ量の検出精度を高めることができる。

１３．位相差の第３検出手法
図６、図７では、絞り孔２１、２２の面積比（φＲ／φＬ）が画素位置に依らず一定であると仮定して位相差ｓを検出している。しかしながら、重畳画像ＩＬＲ’（ｘ）を構成するＩＬ’（ｘ）とＩＲ’（ｘ）の成分比が画素位置に応じて変動し、一定と見なせない場合がある。例えば、被写体に対する視点の違いや、撮像センサ面の撮像位置の違いにより、画像ＩＬＲ’（ｘ）のプロファイルはバラツキが生じる。そうすると、実用場面においては合成画像ＩＬＲ（ｘ，δ，ｓ）とのマッチング精度が低下することが考えられる。

そこで本手法では、画像ＩＬ’（ｘ）と画像ＩＲ’（ｘ）の成分比が変動しても、その成分比を逐次計算により求め、画像ＩＬ’（ｘ）と画像ＩＲ’（ｘ）との成分比を合致させた画像ＩＬ（ｘ）と画像ＩＲ（ｘ）の合成画像を生成する。これにより、高い精度でマッチング評価を行うことができる。

図１８に示すように、所定の幅ｗにおけるサンプリング列（画素値の列）をベクトルＶＬ、ＶＲ、ＲＬ、ＲＲと見なす。

画像ＩＬ（ｘ，δ）におけるサンプリング列をベクトルＶＬとし、画像ＩＬ（ｘ，δ，ｓ）におけるサンプリング列をベクトルＶＲとし、画像ＩＬＲ（ｘ，δ，ｓ）におけるサンプリング列を合成ベクトルＣＶとする。これらの画像は、観察モードで撮影した画像から生成した画像であり、定義は上式（３）、（４）である。また、画像ＩＬ’（ｘ）におけるサンプリング列をベクトルＲＬとし、画像ＩＲ’（ｘ）におけるサンプリング列をベクトルＲＲとし、画像ＩＬＲ’（ｘ）におけるサンプリング列を重畳ベクトルＣＲとする。画像ＩＬＲ’（ｘ）は、ステレオ計測モードで撮影された画像であり、その成分が画像ＩＬ’（ｘ）、ＩＲ’（ｘ）である。

任意のサンプリング位置ｘＬを基準に各ベクトル成分の座標ｘｋ，ｘｋ’を下式（１８）のように定義する。Ｋは区間ｗにおけるサンプリング数（視差方向（ｘ方向）での区間ｗにおける画素数）である。

上式（１８）を用いて、各ベクトルを成分表示すると下式（１９）、（２０）となる。

画像ＩＬ（ｘ，δ）と画像ＩＬ’（ｘ）は相似関係と考えられ、画像ＩＬ（ｘ，δ，ｓ）と画像ＩＲ’（ｘ）は相似関係と考えられる。画像ＩＬ（ｘ，δ）と画像ＩＬ’（ｘ）が一致したときのベクトルの大きさの補正係数をｇＬとし、画像ＩＬ（ｘ，δ，ｓ）と画像ＩＲ’（ｘ）が一致したときのベクトルの大きさの補正係数をｇＲとすれば、下式（２１）と表すことができる。

上式（２１）の補正係数ｇＬ、ｇＲを求めることができれば、画像ＩＬ（ｘ，δ）と画像ＩＬ’（ｘ）の位置関係が一致したとき、及び画像ＩＬ（ｘ，δ，ｓ）と画像ＩＲ’（ｘ）の位置関係が一致したときに、合成ベクトルＣＶと重畳ベクトルＣＲが合致するという状態をつくり出せる。

ブレ量δ及び位相差ｓの探索において、上式（２１）によるベクトルＶＬ、ＶＲの大きさの補正を行いつつベクトルＣＶとベクトルＣＲが一致する位置を検出できれば、ブレ量δ及び位相差ｓを精度良く求めることができる。言い換えれば、ベクトルＣＶの成分であるベクトルＶＬ、ＶＲをベクトルＲＬ、ＲＲのそれぞれの成分量に合うように正規化した上で、ベクトルＣＶとベクトルＣＲと比較する。これにより、ベクトルＣＲとベクトルＣＶのマッチング度合いを高め、マッチング評価が正しく行えることになる。

まず重畳画像ＩＬＲ’（ｘ）に対応する検出ベクトルＣＲを用いて、その成分であるベクトルＲＬ及びベクトルＲＲの大きさを求める。画像ＩＬ（ｘ，δ）と画像ＩＬ’（ｘ）及び画像ＩＬ（ｘ，δ，ｓ）と画像ＩＲ’（ｘ）は、限定された演算幅ｗにおいて相似関係と考えられる。そのため、それぞれの大きさは異なっていても位置が合致したとき、ベクトルＶＬとベクトルＲＬ及びベクトルＶＲとベクトルＲＲのベクトル方向は一致する状態であると仮定できる。図１９は、これらのベクトルの関係の概念図である。

ベクトルＣＲとベクトルＲＬの成す角度、即ちベクトルＣＲとベクトルＶＬの成す角度をαとする。またベクトルＣＲとベクトルＲＲの成す角度、即ちベクトルＣＲとベクトルＶＲの成す角度をβとする。角度α、βにより下式（２２）の関係が得られる。

上式（２２）から、角度α、β、γを求め、下式（２３）に代入すると、ベクトルＲＬ、ＲＲの大きさ｜ＲＬ｜、｜ＲＲ｜が得られる。

上式（２１）より下式（２４）が成り立つ。

上式（２４）より下式（２５）が成り立つ。

上式（２５）に、上式（２３）で求めた｜ＲＬ｜、｜ＲＲ｜を代入することにより、補正係数ｇＬ、ｇＲを求められる。

このように求めた補正係数ｇＲ、ｇＬを用い、ベクトルＶＬ、ＶＲの成分量（大きさ）を補正して合成したベクトルを改めてＮＣＶとする。上式（２１）より下式（２６）が成り立つ。

即ち、ベクトルＣＲとベクトルＮＣＶが一致する場合、ベクトルＶＬとベクトルＲＬの位置関係がほぼ一致すると共に、ベクトルＶＲとベクトルＲＲの位置関係がほぼ一致する状態となる。

但し、重畳画像ＩＬＲ’（ｘ）において位相差ｓ’が発生していない場合、ベクトルＲＬとベクトルＲＲの方向は同一である、即ち下式（２７）となるので、上記の計算手法からは係数ｇＬ、ｇＲを特定することはできない。

しかしながら、この場合、探索ベクトルＶＬの方向はベクトルＲＬの方向に一致し、探索ベクトルＶＲの方向はベクトルＲＲの方向に同時に一致する状態となる。但し、ノイズ等の劣化要因が加わると一致ではなく最も近づく状態であると捉えられる。

よって、角度α及び角度βが共に最小になる位置を特定し、その位置をブレ量δ’が一致した位置であると評価する。は、α＞０、β＞０として（α＋β）が最小（ゼロに近い値）になる状態を、角度α及び角度βが共に最小になる状態と判断する。例えば、マッチング評価関数Ｅを下式（２８）のように考える。

なお、評価関数Ｅはこれに限定されず、例えばＥ＝（α＋β）・（１−ＮＣＣ［ＮＣＶ，ＣＲ］）であってもよい。ＮＣＣ［ＮＣＶ，ＣＲ］は、ＺＮＣＣ法で求めたベクトルＮＣＶ、ＣＲ間の相関値である。

なお、上式（２１）〜（２５）で求めた補正係数ｇＬ、ｇＲが適正な値となるのは、ベクトルＣＶとベクトルＣＲが合致する場合に限る。位相差ｓ及びブレ量δの探索中において、ベクトルＣＶとベクトルＣＲが合致していない場合での補正係数ｇＬ、ｇＲは誤った値（無意味な値）しか求められない。別の言い方をすれば、ベクトルＣＶとベクトルＣＲの方向が一致せず、マッチングが取れない状態では、上式（２１）〜（２５）で求めた補正係数ｇＬ、ｇＲを強制的に適用すると、適用しない場合よりもベクトルＣＶとベクトルＣＲはマッチングが取れない状態となる。これは、マッチング位置を検出する上では好都合である。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

５ 被写体、１０ 結像光学系、１１，１２ 結像光学系、
１５ 光学系、２０ 固定マスク、２１ 絞り孔（第１の開口）、
２２ 絞り孔（第２の開口）、２３ 絞り孔（開口）、
２４ 遮光部、３０ 可動マスク、３５ 回転軸、
４０ 撮像素子、５０ 駆動部、１００ スコープ部、
１０５ 撮像部、２００ 本体部、２１０ 処理部、
２２０ 表示部、２３０ 撮像処理部、３１０ 画像選択部、
３２０ カラー画像生成部、３２５ 画像出力部、
３３０ 位相差検出部、３４０ 可動マスク制御部、
３４５ モード制御部、３５０ 可動マスク位置検出部、
３５５ エラー検出部、３６０ 距離情報算出部、
３７０ ３次元情報生成部、４００ 表示部、４１０ 記憶部、
４２０ 操作部、
ＦＬ 孔（第１の分割開口）、ＦＲ 孔（第２の分割開口）、
ＩＬ 観察用画像（第１の撮像画像）、
ＩＬＲ 合成画像（疑似的な位相差画像）、
ＩＬＲ’ 計測用画像（第２の撮像画像）、
ｓ 位相差（第１ずれ量）、ｓ’ 位相差、
δ ブレ量（第２ずれ量）、δ’ ブレ量

Claims (15)

1. 撮像素子と、
   前記撮像素子に被写体を結像させる光学系と、
   位相差検出部と、
   を含み、
   前記光学系は、
   １つの瞳により前記被写体を結像させる第１の状態と、２つの瞳により前記被写体を結像させる第２の状態とを切り替え、
   前記位相差検出部は、
   前記第１の状態において前記撮像素子により撮像された第１の撮像画像から疑似的な位相差画像を生成し、前記第２の状態において前記撮像素子により撮像された第２の撮像画像と前記疑似的な位相差画像との間のマッチング処理を行い、前記２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出することを特徴とする撮像装置。
2. 請求項１において、
   前記位相差検出部は、
   前記一方の瞳による結像に対応する第１の疑似瞳画像と、前記他方の瞳による結像に対応する第２の疑似瞳画像とを、前記第１の撮像画像から生成し、
   前記第１の疑似瞳画像と前記第２の疑似瞳画像の間を前記位相差に相当するずれ量だけずらして前記第１の疑似瞳画像と前記第２の疑似瞳画像を加算処理することで前記疑似的な位相差画像を生成し、
   前記ずれ量を変化させながら前記マッチング処理を行って前記位相差を検出することを特徴とする撮像装置。
3. 請求項１において、
   前記光学系の前記２つの瞳は、互いに大きさが異なることを特徴とする撮像装置。
4. 請求項３において、
   前記位相差検出部は、
   前記２つの瞳の前記互いに異なる大きさに基づくゲイン調整を前記第１の撮像画像に対して行うことで、前記一方の瞳による結像に対応する第１の疑似瞳画像と、前記他方の瞳による結像に対応する第２の疑似瞳画像とを生成し、
   前記第１の疑似瞳画像と前記第２の疑似瞳画像の間を前記位相差に相当するずれ量だけずらして前記第１の疑似瞳画像と前記第２の疑似瞳画像を加算処理することで前記疑似的な位相差画像を生成し、
   前記ずれ量を変化させながら前記マッチング処理を行って前記位相差を検出することを特徴とする撮像装置。
5. 請求項１において、
   前記位相差検出部は、
   前記第１の撮像画像と前記第２の撮像画像に基づいて、前記第１の撮像画像と前記第２の撮像画像の間の被写体ブレによるブレ量を更に検出することを特徴とする撮像装置。
6. 請求項５において、
   前記位相差検出部は、
   前記一方の瞳による結像に対応する第１の疑似瞳画像と、前記他方の瞳による結像に対応する第２の疑似瞳画像とを、前記第１の撮像画像から生成し、
   前記第１の疑似瞳画像と前記第２の疑似瞳画像の間を前記位相差に相当する第１ずれ量だけずらすと共に、前記第１の疑似瞳画像及び前記第２の疑似瞳画像を前記ブレ量に相当する第２ずれ量だけずらして前記第１の疑似瞳画像と前記第２の疑似瞳画像を加算処理することで前記疑似的な位相差画像を生成し、
   前記第１ずれ量及び前記第２ずれ量を独立に変化させながら前記マッチング処理を行って前記位相差及び前記ブレ量を検出することを特徴とする撮像装置。
7. 請求項１乃至６のいずれかにおいて、
   前記光学系は、第ｎのフレーム（ｎは整数）で第１の状態に設定され、前記第ｎのフレームの後の第ｎ＋１〜第ｎ＋ｊのフレーム（ｊは２以上の整数）で第２の状態に設定され、
   前記位相差検出部は、
   前記第ｎのフレームで撮影された前記第１の撮像画像と、前記第ｎ＋１〜第ｎ＋ｊのフレームの第ｎ＋ｉのフレーム（ｉは１以上ｊ以下の整数）で撮影された第２の撮像画像とに基づいて前記位相差を検出してｊ個の前記位相差を取得し、前記ｊ個の前記位相差を平均処理することを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記第１の撮像画像に基づいて観察用の画像を出力する画像出力部を含むことを特徴とする撮像装置。
9. 請求項１乃至８のいずれかにおいて、
   前記光学系は、
   第１の開口と第２の開口とを有する固定マスクと、
   前記固定マスクに対して可動である可動マスクと、
   を有し、
   前記第１の状態では、前記可動マスクが、前記第１の開口を非遮蔽にすると共に前記第２の開口を遮蔽し、前記光学系が、前記第１の開口を前記１つの瞳として前記被写体を結像させ、
   前記第２の状態では、前記可動マスクが、前記第１の開口及び前記第２の開口を非遮蔽にし、前記光学系が、前記第１の開口及び前記第２の開口を前記２つの瞳として前記被写体を結像させることを特徴とする撮像装置。
10. 請求項９において、
    前記固定マスクの前記第２の開口は、前記第１の開口よりもサイズが小さいことを特徴とする撮像装置。
11. 請求項１乃至８のいずれかにおいて、
    前記光学系は、
    開口を有する固定マスクと、
    前記固定マスクに対して可動である可動マスクと、
    を有し、
    前記第１の状態では、前記可動マスクが、前記開口を非分割の開口とし、前記光学系が、前記非分割の開口を前記１つの瞳として前記被写体を結像させ、
    前記第２の状態では、前記可動マスクが、前記開口を第１の分割開口と前記第１の分割開口よりもサイズが小さい第２の分割開口に分割し、前記光学系が、前記第１の分割開口及び前記第２の分割開口を前記２つの瞳として前記被写体を結像させることを特徴とする撮像装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記光学系を前記第１の状態に設定する第１のモードと、前記光学系を前記第２の状態に設定する第２のモードとを切り替える制御を行うモード制御部を含むことを特徴とする撮像装置。
13. 請求項１２において、
    前記第１のモードにおいて撮像された画像と前記第２のモードにおいて撮像された画像とに基づいて、前記第１のモードにおいて前記光学系が前記第１の状態に設定されているか否か、及び前記第２のモードにおいて前記光学系が前記第２の状態に設定されているか否かの少なくとも一方を検出するエラー検出部を含むことを特徴とする撮像装置。
14. 請求項１乃至１３のいずれかに記載された撮像装置を含むことを特徴とする内視鏡装置。
15. 光学系が１つの瞳により被写体を撮像素子に結像させる第１の状態と、前記光学系が２つの瞳により前記被写体を前記撮像素子に結像させる第２の状態とを切り替え、
    前記第１の状態において前記撮像素子により撮像された第１の撮像画像から疑似的な位相差画像を生成し、
    前記第２の状態において前記撮像素子により撮像された第２の撮像画像と前記疑似的な位相差画像との間のマッチング処理を行い、
    前記２つの瞳の一方の瞳による結像と他方の瞳による結像との間の位相差を検出することを特徴とする撮像方法。