JPWO2016194178A1 - 撮像装置、内視鏡装置及び撮像方法 - Google Patents

Abstract

撮像装置は、撮像素子４０と結像光学系１０と可動マスク３０と第２のフィルタＦＲとを含む。結像光学系１０は、第１の光路と、第１の光路に対して視差を有する第２の光路で撮像素子４０に被写体５を結像させる。可動マスク３０は、第１の波長帯域を通過させる第１のフィルタＳＬと遮光部３４とを有し、結像光学系１０に対して可動である。第２のフィルタＦＲは、第２の光路に設けられ、第１の波長帯域とは異なる第２の波長帯域を通過させる。

Description

本発明は、撮像装置、内視鏡装置及び撮像方法等に関する。

従来より３次元形状を光学的に計測する技術が知られている。例えば、左右両眼の立体視によるステレオ撮像方式や、正弦パターンなどのパターン照明による位相シフト方式、反射光の時間測定によるＴＯＦ（Time of Flight）方式など、種々の方式が提案されている。

ステレオ撮像方式は、撮像系をステレオ光学系にするだけの簡便な機構で良く、特別な照明機構や照明制御、高度な信号処理が不要であるため、昨今の撮像系の小型化技術の進歩を考えると小スペースでの実装には向いている。例えば、内視鏡装置の先端部への実装や小型ロボットの視覚センサなど多くのニーズが存在する。これらは高精度な計測機能だけではなく同時に高画質な通常観察機能も求められることが多く、左右別々の撮像素子を用いるのではなく解像度を確保するために共通の撮像素子に視差画像を結像する形式が取られている。ステレオ撮像方式では、左右画像の視差量から被写体までの距離を求めることが基本なので、共通の撮像素子に結像された左右画像を分離できないと視差量を検出できず、距離情報を求めることができない。

左右画像を分離する手法として、例えば特許文献１には、左右の結像光路をメカニカルシャッターにより時間的に切り替え、左右の画像を時分割に取得する手法が開示されている。或いは特許文献２には、単一の結像光路の左半分にＲＧフィルタを挿入し、右半分にＧＢフィルタを挿入し、撮像画像のＲ画像とＢ画像により左右画像を分離する手法が開示されている。また特許文献２では、通常観察の場合においてＲＧフィルタ及びＧＢフィルタを結像光路から退避させ、観察画像を取得する。

特開２０１０−１２８３５４号公報 特開２０１３−３１５９号公報

さて、上記のようなステレオ撮像方式では、撮像系又は被写体の動きが悪影響を及ぼすという課題がある。例えば特許文献１では時分割に右画像と左画像を撮影するため、撮像系又は被写体が動いた場合、そのブレを含んだ位相差が検出され、その位相差からブレと真の位相差を分離することが難しいため計測誤差が生じてしまう。或いは特許文献２では観察画像の撮影と視差画像の撮影を切り替えるが、オートフォーカスを想定したものであり、高速な切り替えは想定されていないと考えられる。３次元形状計測において観察画像と視差画像を一致させようとすると高速な切り替えが必要となるが、特許文献２の構成には可動部が２つあるため、駆動機構が大きくなる、故障の確率が高くなる等の問題がある。

例えば、内視鏡装置等のカメラと被写体が固定されない用途では、上記のような撮像系と被写体との相対的なブレが問題となりやすい。また、動きに強いことで、カメラを動かしながら形状計測を行う等の従来では難しい計測を実現できる可能性がある。

本発明の幾つかの態様によれば、撮像系又は被写体の動きの影響を抑制したステレオ計測と観察画像の撮影ができる撮像装置、内視鏡装置及び撮像方法等を提供できる。

本発明の一態様は、撮像素子と、第１の光路と、前記第１の光路に対して視差を有する第２の光路で前記撮像素子に被写体を結像させる結像光学系と、第１の波長帯域を通過させる第１のフィルタと遮光部とを有し、前記結像光学系に対して可動である可動マスクと、前記第２の光路に設けられ、前記第１の波長帯域とは異なる第２の波長帯域を通過させる第２のフィルタと、を含む撮像装置に関係する。

本発明の一態様によれば、可動マスクが結像光学系に対して可動に構成されることで、その可動マスクの位置の切り替えによりステレオ計測と観察画像の撮影が可能となる。このとき、例えば２つの光路で非時分割のステレオ撮影が可能なことや、可動部である可動マスクが１つであること等により、撮像系又は被写体の動きの影響を抑制することが可能となる。

また本発明の他の態様は、撮像素子と、第１の光路と、前記第１の光路に対して視差を有する第２の光路で前記撮像素子に被写体を結像させる結像光学系と、第１の波長帯域を通過させる第１のフィルタと、前記第１の波長帯域とは異なる第２の波長帯域を通過させる第２のフィルタと、遮光部とを有し、前記結像光学系に対して可動である可動マスクと、を含む撮像装置に関係する。

また本発明の更に他の態様は、上記のいずれかに記載された撮像装置を含むことを特徴とする内視鏡装置に関係する。

また本発明の更に他の態様は、非ステレオモードにおいて、第１の波長帯域を通過させる第１のフィルタと遮光部とを有する可動マスクを第１の状態に設定することで、結像光学系の第１の光路に前記第１のフィルタを非挿入にする共に、前記第１の光路に対して視差を有する前記結像光学系の第２の光路に前記遮光部を挿入し、ステレオモードにおいて、前記可動マスクを第２の状態に設定することで、前記第１の光路に前記第１のフィルタを挿入すると共に、前記第２の光路に前記遮光部を非挿入にする撮像方法に関係する。

図１は、本実施形態の基本構成例。 図２は、本実施形態の基本構成例。 図３は、固定マスク、可動マスクの詳細な構成例。 図４は、固定マスク、可動マスクの詳細な構成例。 図５は、固定マスクの左眼光路の分光特性と、固定マスクの右眼光路の分光特性と、可動マスクの左眼光路の分光特性。 図６は、観察モードにおける撮像画像の分光特性。 図７は、ステレオ計測モードにおける撮像画像の分光特性。 図８は、固定マスク、可動マスクの変形例。 図９は、固定マスク、可動マスクの変形例。 図１０は、結像光学系の変形例。 図１１は、結像光学系の変形例。 図１２は、ステレオ計測の原理的な説明図。 図１３は、本実施形態の内視鏡装置の構成例。 図１４は、観察モードとステレオ計測モードを切り替えるシーケンス。 図１５は、被写体又は撮像系のブレ対応についての説明図。 図１６は、本実施形態の内視鏡装置の第２の構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

例えば以下では工業用の内視鏡装置を本発明の適用例として説明するが、本発明は工業用の内視鏡装置への適用に限定されず、ステレオ撮影方式（視差をもった撮像系で得た２画像の位相差を検出して被写体の距離情報を取得する方法）により３次元形状を計測する３次元計測装置や３次元計測機能を有する撮像装置（例えば医療用の内視鏡装置、顕微鏡、工業用カメラ、ロボットの視覚機能など）であれば適用できる。

１．基本構成
まず本実施形態の概要について説明し、次に本実施形態の基本構成（原理的な構成）について説明する。

内視鏡装置での検査では、例えば検査対象にスコープを挿入して通常の画像を撮影しながら異常がないかチェックしていき、傷などの詳細に観察したい部分が見つかったときに、その部分の３次元形状を計測して更なる検査が必要かを検討する。このように、通常の観察画像は白色光で撮影を行う。このような白色光での撮影とステレオ計測を両立する方法として、例えば白色光でステレオ撮影を行うことが考えられる。しかしながら、ステレオ撮影で白色光を用いた場合、イメージセンサを左右に分割して、それぞれの領域に左画像と右画像を結像させる必要があるため、画像が低解像になる。イメージセンサの同一領域に左画像と右画像を結像する手法としては、カラー位相差法があるが、撮影される画像は色ずれ画像になるため観察画像として用いることができない。

上記のことから、白色光でイメージセンサの同一領域で左画像と右画像を写すためには、時分割切り替え（例えば特許文献１）が必要となる。しかしながら、撮像系と被写体が相対的に動いた場合には左画像と右画像の間に動きブレがあるため、三角測定が不正確になってしまう。特に内視鏡のようにカメラを被写体に対して固定できない場合には、動きブレが発生しやすい。

本実施形態では、白色光で高解像な観察画像を得ると共に、カラー位相差で非時分割のステレオ計測ができる。

カラー位相差で非時分割にステレオ計測を行う手法として、例えば上述した特許文献２がある。しかしながら、特許文献２はオートフォーカスにステレオ計測を適用するものであり、観察画像との高速な切り替えを想定していないと考えられる。上述したように、可動部であるフィルタが２つあるため高速な切り替えという点では不利と考えられる。

また、特許文献２の構成では単一光路を真ん中で左右に分けるだけなので瞳間の距離を離すことが難しく、距離測定の精度を出しにくいという問題がある。内視鏡装置ではパンフォーカスが必要であるため絞りが小さい（Ｆ値が大きい）ので、その小さな絞り径を左右に分けることになり、瞳間の距離が近くなりやすい。

また、ステレオにおける左右の時分割切り替えも含めて、時分割の切り替えではシャッタや分光フィルタを機械的に動かす（切り替える）必要がある。機械的な動きではミスや故障が発生するため、シャッタや分光フィルタが切り替えのいずれの状態（位置）にあるかを検出し、エラーがあれば修復する必要があるという問題がある。このような検出機能を実現する場合、エラーの種類が少ない方が検出も修復も容易である。例えば特許文献２の構成では、２つの分光フィルタのうち両方が瞳に挿入されなかった場合、一方だけ瞳に挿入された場合など、複数の種類のエラーが発生し得るので、検出や修復を確実に行うことが難しくなる。

本実施形態では、以下のような手法により上記のような課題を解決可能である。即ち、被写体の左眼光学系による結像画像と右眼光学系による結像画像を一つの撮像素子の共通領域にて写す構成である。左眼光路（第１の光路）と右眼光路（第２の光路）は交互に高速切り替えができるように切り替え機構が設けられ、時分割により第１の画像（観察画像）を取得する観察モードと第２の画像（視差画像、ステレオ画像、左右画像、計測画像）を取得する計測モードを切り替える構成とする。

第１の画像が左眼光路のみによる画像となるように切り替え機構を構成し、第１の画像を通常観察用の画像として利用する。第２の画像が左眼光路と右眼光路の両方からの画像が重なって得られるように切り替え機構を構成し、第２の画像を計測用画像として利用する。但し、左眼画像と右眼画像は光路中の分光フィルタにより波長域が分離された画像になるようにする。

通常観察画像は視差のない通常のカラー画像であり、計測用画像は左右の視差をもった分離画像となる。分離画像を用い、視差量を求めることによりステレオ計測の原理から被写体までの距離情報を算出し３次元情報を取得する。計測モードでは視差画像を同時取得できるため被写体ブレ又は撮像系のブレによる計測誤差要因を排除できる。また後述するように、左眼光路と右眼光路が分かれた撮像系を用いることで可動部を１つにでき、高速な切り替えや小型化、エラー検出等が可能になる。また、左眼光路と右眼光路が分かれた撮像系を用いることで小型の撮像系においても視差を確保しやすく、計測精度を向上できる。また後述するように、観察画像に近赤外領域を含めた場合、観察画像と計測画像とから近赤外画像のみを計算により抽出することができる。

なお、本発明の適用対象として、例えば工業用内視鏡などの撮像系の位置が安定しない（固定しない）装置であり、且つ撮像機構が小さく解像度を確保するために大きな撮像素子を用いることができない装置が想定される。但し、本発明の適用は上記装置に限定されず、高精細観察、高精度計測を目的とする３次元計測装置に広く適用できる。

次に、図１、図２を用いて本実施形態の基本構成を説明する。図１、図２には、撮像部を横から見た（光軸を含む平面での）断面図と、撮像素子上の結像の光量（又は撮像素子に撮像された画像の画素値）と位置ｘの関係と、を示す。位置ｘは、結像光学系の光軸に垂直な方向における位置（座標）であり、例えば撮像素子の画素位置である。実際には２次元の座標系であるが、ここでは２次元のうち視差方向の１次元の座標系で説明する。

本実施形態の内視鏡装置は、結像光学系１０、可動マスク３０（第１のマスク）、固定マスク２０（第２のマスク）、撮像素子４０（撮像センサ、イメージセンサ）を含む。結像光学系１０は、左眼結像系１１（第１の結像光学系）、右眼結像系１２（第２の結像光学系）を含む。ここでは撮像素子４０がＲＧＢのベイヤ配列のカラーフィルタを有する場合を例に説明するが、これに限定されず、例えば補色フィルタ等を有してもよい。

図１、図２に示すように、被写体５からの反射光を２系統（左眼結像系１１、右眼結像系１２）の結像光学系１０により同一の撮像素子４０の面上に結像させる。なお、被写体５を照明する照明機構の図示は省略する。ｄは、左眼結像系１１の光軸ＡＸ１と右眼結像系１２の光軸ＡＸ２との間の距離であり、ステレオ計測においては基線長となる。なお、直線ＡＸＣは、光軸ＡＸ１、ＡＸ２を含む平面において光軸ＡＸ１、ＡＸ２に平行な直線であり、ステレオ計測の視差中心に相当する。

左眼結像系１１、右眼結像系１２は、それぞれ結像レンズを含む。固定マスク２０、可動マスク３０は、例えば結像系の瞳位置に設けられる。或いは結像系よりも結像側に設けられてもよい。固定マスク２０は結像系に対して固定されており、可動マスク３０は光軸ＡＸ１、ＡＸ２に垂直な平面内で位置を切り替えられる構成となっている。可動マスク３０は、図１に示す第１の状態である観察モード（第１のモード、非ステレオモード、単眼モード）と、図２に示す第２の状態であるステレオ計測モード（第２のモード、ステレオモード）の２つのモードをとることができ、これらが高速に切り替えられるようになっている。

固定マスク２０は、２つの絞り孔（左眼絞り孔、右眼絞り孔）が設けられた板状の遮光部（遮光部材）と、右眼絞り孔に設けられた分光フィルタと、を含む。左眼絞り孔には（例えば、その円の中心に）光軸ＡＸ１が通っており、右眼絞り孔には（例えば、その円の中心に）光軸ＡＸ２が通っている。絞り孔以外の部分は遮光部で覆われており、光が通過しないようになっている。なお、左眼絞り孔は、例えば貫通穴であってもよいし、或いは何らかの分光フィルタ（例えば、少なくとも白色光を透過する広帯域の分光フィルタ）が設けられてもよい。

可動マスク３０は、１つの絞り孔（左眼絞り孔）が設けられた板状の遮光部（遮光部材）と、左眼絞り孔に設けられた分光フィルタと、を含む。観察モード（通常観察モード）とステレオ計測モードの各モードにおいて、固定マスク２０の２つの絞り孔のうち一方が開放される（可動マスク３０が重ならない）大きさに可動マスク３０が構成されている。図１、図２では可動マスク３０が固定マスク２０よりも結像側に設けられる場合を図示しているが、可動マスク３０が固定マスク２０よりも対物側に設けられてもよい。

以下、固定マスク２０の左眼絞り孔の分光特性をＦＬと表記し、右眼絞り孔の分光特性をＦＲと表記し、可動分光マスクの左眼絞り孔の分光特性をＳＬと表記する。また、分かりやすくするために、各絞り孔に設けられる分光フィルタについても、同じ符号ＦＬ、ＦＲ、ＳＬで表記するものとする。

図１は観察モードの状態を示しており、左眼側光路は固定マスク２０の左眼絞り孔を介して開放された状態となり、右眼側光路は可動マスク３０により遮断（遮光）された状態になっている。この場合、撮像素子４０に結像される画像は左眼結像系１１のみによる結像画像ＩＬとなり、通常の（単眼による白色光の）撮像画像が得られる。

一方、図２はステレオ計測モードの状態を示しており、固定マスク２０の左眼絞り孔と可動マスク３０の左眼絞り孔が光軸ＡＸ１に沿って重なった状態となっている。即ち、左眼側光路は固定マスク２０の右目絞り孔を介した光を可動マスク３０の短波長（青色）分光フィルタＳＬ（第１のフィルタ）によりフィルタリングし、その短波長成分による画像ＩＬ’を撮像素子４０に結像する。右眼側光路は可動マスク３０による遮光が解除され、結像光を固定マスク２０の長波長（赤色）分光フィルタＦＲ（第２のフィルタ）によりフィルタリングし、その長波長成分による画像ＩＲ’を同一の撮像素子４０に結像する。

したがってステレオ計測モードでは、撮像素子４０の青色画素により得られる画像ＩＬ’は短波長画像となり、撮像素子４０の赤色画素により得られる画像ＩＲ’は長波長画像となり、２つの光路からの画像ＩＬ’、ＩＲ’を分離取得することができる。つまりステレオ計測モードでは、位相差をもった左眼画像ＩＬ’と右眼画像ＩＲ’を同時に且つ独立して得ることができ、位相差画像によるステレオ計測が可能となる。

２．固定マスク、可動マスク
図３、図４に固定マスク２０、可動マスク３０の詳細な構成例を示す。図３、図４には、結像光学系１０と固定マスク２０と可動マスク３０の断面図と、固定マスク２０と可動マスク３０を光軸方向に見た図（結像側から見た背面図）と、を示す。

固定マスク２０の左眼光路には開放状態の絞り孔２１（スルーホール）が開いており、右眼光路には長波長分光フィルタＦＲを有する絞り孔２２が構成されている。絞り孔２１、２２は遮光部２４（遮光部材）に開けられており、例えば撮像系に必要な被写界深度に対応したサイズの孔（例えば円形状の孔で、サイズは直径）である。絞り孔２１、２２の中心（例えば円の中心）は、それぞれ光軸ＡＸ１、ＡＸ２に一致（略一致を含む）している。遮光部２４は、光学系１１、１２が収められた筐体を正面（又は背面）から見たときに筐体を塞ぐように設けられており、例えば光軸ＡＸ１、ＡＸ２に対して垂直に設けられた板状部材である。

可動マスク３０は、短波長分光フィルタＳＬを有する絞り孔３１と、その絞り孔３１が開けられた遮光部３４（遮光部材）と、を有する。絞り孔３１は、例えば固定マスク２０の絞り孔２１よりも少し大きいサイズの孔である。或いは、撮像系に必要な被写界深度に対応したサイズの孔（例えば円形状の孔で、サイズは直径）であってもよい。絞り孔３１の中心（例えば円の中心）は、ステレオ観察モードにおいて光軸ＡＸ１に一致（略一致を含む）している。遮光部３４は、光軸ＡＸ１、ＡＸ２に対して垂直な回転軸３５に接続されており、例えば光軸ＡＸ１、ＡＸ２に対して垂直に設けられた板状部材である。遮光部３４の形状は、例えば円形状の板から回転軸３５に接続用の板が延びた形状であるが、これに限定されず、図３及び図４の状態を実現できる形状であればよい。

可動マスク３０は、回転軸３５を中心として光軸ＡＸ１、ＡＸ２に垂直な方向に所定の角度だけ回転する構成となっている。例えばピエゾ素子やモーター等によって回転運動を実現できる。図３の観察モードにおいては、可動マスク３０は右眼側に所定の角度だけ回転して傾き、固定マスク２０の左眼光路（絞り孔２１）は開放状態となり、右眼光路（絞り孔２２）は遮光状態となる。図４のステレオ計測モードにおいては、可動マスク３０は左眼側に所定の角度だけ回転して傾き、可動マスク３０の分光フィルタ（絞り孔３１）が固定マスク２０の左眼光路（絞り孔２１）に重なり短波長成分のみを通過させ、右眼光路（絞り孔２２）を遮光状態から開放する。固定マスク２０の長波長分光フィルタＦＲを有する絞り孔２２を露呈させることにより長波長分成分のみを通過させる。

なお、上記では可動マスク３０を所定角度だけ軸回転することにより２つの状態を作る場合を説明したが、これに限定されない。例えば、スライド動作により可動マスク３０を移動させて２つの状態を作るものでもよい。回転動作又はスライド動作は、例えばマグネット機構や、圧電機構などで実現可能であり、高速性や耐久性を考慮して適切なものを選択すればよい。

３．左眼光路、右眼光路の分光フィルタ特性
図５に、固定マスク２０の左眼光路の分光特性ＦＬと、固定マスク２０の右眼光路の分光特性ＦＲと、可動マスク３０の左眼光路の分光特性ＳＬと、を示す。図５は、分光フィルタ（又はスルーホール）の透過波長と透過率の関係を相対ゲインとして表したものである。なお、参照特性として撮像素子４０のカラー画素が有する分光特性（分光感度特性）を点線で示す。符号の“Ｌ”、“Ｒ”は、それぞれ左眼光路、右眼光路を表し、符号の“ｒ”、“ｇ”、“ｂ”、“ｉｒ”は、それぞれ赤色、緑色、青色、近赤外を表す。例えば左眼光路を通って撮像素子４０の青色画素で検出される光の分光特性は“Ｌｂ”と表される。なお、分かりやすくするために、これらの分光特性で得られる画像についても、同じ符号（Ｌｂ等）で表すものとする。

図５に示すように、固定マスク２０の左眼光路の分光特性ＦＬは、撮像素子４０のカラー画素が有する分光特性Ｌｂ、Ｌｇ、Ｌｒ、Ｌｉｒを全て含む特性とする。単なる開放状態（スルーホール）であれば、被写体５への照明分光特性をそのようにすれば良い。或いは、図５に示す分光特性ＦＬを有する分光フィルタを左眼絞り孔２１に設けてもよい。

固定マスクの右眼光路の分光特性ＦＲは、赤色ｒの分光特性Ｒｒを含むと共に青色ｂの分光特性を含まない特性とする。なお、左右画像（赤色画像、青色画像）の分離性を十分確保できるように構成されていればよいので、分光特性ＦＲは、青色ｂの分光特性を全く含まない特性にする必要はないし、赤色ｒの分光特性Ｒｒの全部を含む特性にする必要はない。

可動マスク３０のステレオ計測モードにおける左眼光路の分光特性ＳＬは、青色ｂの分光特性Ｌｂを含むと共に赤色ｒの分光特性を含まない特性とする。なお、左右画像（赤色画像、青色画像）の分離性を十分確保できるように構成されていればよいので、分光特性ＳＬは、赤色ｒの分光特性を全く含まない特性にする必要はないし、青色ｂの分光特性Ｌｂの全部を含む特性にする必要はない。可動マスク３０のステレオ計測モードにおける右眼光路は、固定マスク２０の右眼光路を単に開放状態にするだけなので、限定された分光特性はない。

４．撮像画像
図６は、観察モード時に左眼光路を介して撮像素子４０により取得される撮像画像の分光特性である。図６では、実線で撮像画像の分光特性を示し、点線で左眼光路の分光特性ＦＬを示す。観察モードでの撮像画像は、左眼光路のみを介した画像であり、赤色ｒ、緑色ｇ、青色ｂ、近赤外ｉｒの成分からなる画像である。したがって視差画像の重畳は起こらない単なる単眼撮像画像となる。

図７は、ステレオ計測モード時に左眼光路を介して撮像素子４０により取得される左眼画像の分光特性と、右眼光路を介して撮像素子４０により取得される右眼画像の分光特性である。図７では、実線で左眼画像、右眼画像の分光特性を示し、点線で左眼光路の分光特性ＳＬ、右眼光路の分光特性ＦＲを示す。参考として細点線で緑色画像の分光特性を示す。

例えば左眼光路Ｌから得られる赤色ｒの分光画像という意味でＬｒと便宜上と表すと、他の分光画像もＬｇ、Ｌｂ、Ｌｉｒと表せる。一般に原色ベイヤの撮像素子４０のカラー画素は、赤色画素は（ｒ＋ｉｒ）、緑色画素は（ｇ＋ｉｒ）、青色画素は（ｂ＋ｉｒ）の波長域を感度としてもつ。そのため観察モードでは、下式（１）で示す３種類のカラー画像Ｖｒ、Ｖｇ、Ｖｂを分離して得ることができる。Ｖｒ、Ｖｇ、Ｖｂは、観察モードにおける赤色画像、緑色画像、青色画像（又は、その分光特性）を表す。

ステレオ計測モードでは、得られるのが左眼光路と右眼光路を介した２種類の視差画像であり、それらが同一の撮像素子４０上に重畳して結像するため像ずれが起こった撮像画像になる。この像ずれが視差量となりステレオ計測の原理により被写体の奥行き情報が得られるのであるが、この視差量を求めるには左眼画像と右眼画像を分離し、双方の相関（マッチング）をとって位相差を検出する必要がある。

そこで計測モード時は、左眼光路では固定マスク２０を通過する分光特性Ｌｒ、Ｌｇ、Ｌｂ、Ｌｉｒの光のうち、分光特性Ｌｂの光（分光特性Ｌｇの一部を含む）を、可動マスク３０の左眼光路の分光特性ＳＬによりフィルタリングして抽出する。例えば、図７のように可動マスク３０の左眼光路の分光特性ＳＬを、５５０ｎｍ以下の波長を通過させると共に５５０ｎｍ以上の波長は遮断する特性とする。

また、右眼光路では可動マスク３０は開放状態とし、固定マスク２０の右眼光路を通過する分光特性ＦＲにより、分光特性Ｌｒの光（分光特性Ｌｇの一部を含む）をフィルタリングして抽出する。例えば、図７のように固定マスク２０の右眼光路の分光特性ＦＲを、５５０ｎｍ以上かつ８００ｎｍ以下の波長を通過させると共に、それ以外の波長を遮断する特性とする。

従って、ステレオ計測モード時においては、左眼光路からの左眼画像が、撮像素子４０（原色ベイヤ）の青色画素の分光特性によるＬｂの分光特性をもつ画像として得られる。また、右眼光路からの右眼画像が、撮像素子４０（原色ベイヤ）の赤色画素の分光特性によるＬｒの分光特性をもつ画像として得られる。つまり下式（２）で示す左眼画像と右眼画像を、独立したカラー画素によりＭｒ、Ｍｂとして分離して得ることができる。Ｍｒ、Ｍｂは、ステレオ計測モードにおける赤色画像、青色画像（又は、その分光特性）を表す。なお、撮像素子４０が補色タイプの場合は、補色情報（シアン、マゼンダ、イエロー）から赤色画像Ｍｒ、青色画像Ｍｂを変換抽出すればよい。

以上の実施形態によれば、撮像装置（内視鏡装置）は、撮像素子４０と結像光学系１０と可動マスク３０と第２のフィルタＦＲとを含む。結像光学系１０は、第１の光路と、第１の光路に対して視差を有する第２の光路で撮像素子４０に被写体５を結像させる。可動マスク３０は、第１の波長帯域を通過させる第１のフィルタＳＬと遮光部３４とを有し、結像光学系１０に対して可動である。第２のフィルタＦＲは、第２の光路に設けられ、第１の波長帯域とは異なる第２の波長帯域を通過させる。

このような構成にすることで、図１〜図４で説明したような観測モードとステレオ計測モードの切り替えが可能となる。またカラー位相差法における視差画像を同時に（時分割でなく）取得できるので、正確なステレオ計測が可能になる。また、可動部である可動マスク３０が１つなので、切り替えの高速化や、駆動機構の簡素化、モード切り替えにおける故障やエラーの抑制を実現できる。また、可動マスク３０には遮光部３４に１つのフィルタＳＬが設けられる簡素な構成であり、切り替えの振動によるフィルタ外れなどのトラブルを抑制できる。また、第１の光路と第２の光路が明確に分かれた撮像系を用いるため、ステレオ計測における基線長（図１２のｄ）を大きくとりやすく、正確な距離測定が可能になる。

例えば本実施形態では、第１の光路は左眼光路に対応し、第２の光路は右眼光路に対応する。なお、第１の光路が右眼光路に対応し、第２の光路が左眼光路に対応してもよい。また、便宜的に光路を左右に分離しているが、光路の分離方向は左右に限らない。

ここで光路とは、撮像素子４０に結像する光が、光学系の対物側から入射して撮像素子４０に到達するまでの経路のことである。図１〜図４で説明した二眼の光学系の場合、左眼光学系１１と固定マスク２０の左眼絞り孔２１（ステレオ計測モードでは更に可動マスク３０の絞り孔３１）を通過する光路が第１の光路である。また、右眼光学系１２と固定マスク２０の右眼絞り孔２２を通過する光路が第２の光路である。即ち、二眼の光学系と固定マスク２０の２つの絞り孔２１、２２により光路が規定される。図１０、図１１で後述する一眼の光学系の場合、結像光学系１０と固定マスク２０の左眼絞り孔２１（ステレオ計測モードでは更に可動マスク３０の絞り孔３１）を通過する光路が第１の光路である。また、結像光学系１０と固定マスク２０の右眼絞り孔２２を通過する光路が第２の光路である。即ち、一眼の光学系が固定マスク２０の２つの絞り孔２１、２２により瞳分割されることで光路が規定される。

ここでマスクとは、マスクに入射する光を遮蔽すると共に一部の光を通過させる部材や部品のことである。本実施形態の固定マスク２０や可動マスク３０では、遮光部２４、３４が光を遮蔽すると共に絞り孔２１、２２、３１が光（全帯域又は、一部の帯域）を通過させる。

また例えば本実施形態では、第１の波長帯域は青色の波長帯域（白色光の短波長側の帯域）に対応し、第２の波長帯域は赤色の波長帯域（白色光の長波長側の帯域）に対応する。なお、第１の波長帯域が赤色の波長帯域に対応し、第２の波長帯域が青色の波長帯域に対応してもよい。第１の波長帯域と第２の波長帯域は、第１の光路による画像と第２の光路による画像とを波長帯域により分離できるものであればよい。本実施形態ではベイヤ撮像素子の青色画像と赤色画像で分離しているが、これに限定されず、波長帯域の分離に基づいて視差画像を分離する手法であれば本発明を適用できる。

また本実施形態では、撮像装置は、可動マスク３０を制御する可動マスク制御部３４０（図１３）を含む。可動マスク制御部３４０は、非ステレオモード（観察モード）において、第１のフィルタＳＬが第１の光路に非挿入となると共に遮光部３４が第２の光路に挿入される第１の状態（第１の位置）に、可動マスク３０を設定する。一方、ステレオモード（ステレオ計測モード）において、可動マスク制御部３４０は、第１のフィルタＳＬが第１の光路に挿入されると共に遮光部３４が第２の光路に非挿入となる第２の状態（第２の位置）に、可動マスク３０を設定する。

このような可動マスク３０の駆動制御を行うことで、図１や図３の観察モードと図２や図４のステレオ計測モードの切り替え制御を実現できる。即ち、可動マスク３０を第１の状態に設定した場合には、第２の光路が遮光部３４で遮蔽されるので第１の光路のみでの撮影となり、第１の光路には第１のフィルタＳＬが挿入されないので通常観察用の画像（白色光画像）を撮影することが可能となる。一方、可動マスク３０を第２の状態に設定した場合には、第１の光路に第１のフィルタＳＬが挿入され、第２の光路には第２のフィルタＦＲが固定されているので、カラー位相差法における視差画像を撮影することが可能となる。

また本実施形態では、撮像装置は固定マスク２０を含む。固定マスク２０は、第１の光路に設けられる第１の絞り孔２１と、第２の光路に設けられる第２の絞り孔２２とを有する。そして第２のフィルタＦＲは、第２の絞り孔２２に設けられる。可動マスク３０は、遮光部３４に設けられる第３の絞り孔３１を有する。そして第１のフィルタＳＬは、第３の絞り孔３１に設けられる。

このように第１の絞り孔２１と第２の絞り孔２２を有する固定マスク２０を設けることで、第１の絞り孔２１と第２の絞り孔２２により第１の光路と第２の光路を明確に分離することができる。そして、一方の絞り孔２２を塞ぐことで観察モードにおける単眼撮影が可能となり、両方の絞り孔２１、２２を用いることでステレオ計測モードにおけるステレオ撮影が可能となる。固定マスク２０により２つの光路が明確に分離されるので、上述したようにステレオ計測での基線長（図１２のｄ）を確保できる。

また本実施形態では、結像光学系１０は、第１の絞り孔２１を通過する光を結像する第１の結像光学系１１と、第２の絞り孔２２を通過する光を結像する第２の結像光学系１２と、を有する。

このように二眼の結像光学系を用いることで、絞り孔２１、２２を光軸上に設けることが可能となり、品質が高い（例えば収差が少ない）結像を得ることが可能になる。

５．変形例
第１の変形例について説明する。即ち、上述した実施形態では可動マスク３０に１つの絞り孔３１を設ける場合を例に説明したが、これに限定されない。例えば図８、図９に示すように可動マスク３０に２つの絞り孔３１、３２を設けてもよい。

具体的には、可動マスク３０は、遮光部３４と、遮光部３４に設けられた左眼絞り孔３１と、遮光部３４に設けられた右眼絞り孔３２と、を含む。左眼絞り孔３１には、短波長の分光特性ＳＬの分光フィルタが設けられ、右眼絞り孔３２には、長波長の分光特性ＳＲの分光フィルタが設けられる。分光特性ＳＲは、図５の分光特性ＦＲと同じ特性である。

固定マスク２０は、遮光部２４と、遮光部２４に設けられた左眼絞り孔２１と、遮光部２４に設けられた右眼絞り孔２２と、を含む。絞り孔２１、２２は例えば開放状態（スルーホール）であり、その分光特性は図５の分光特性ＦＬと同じ特性である。

観察モードでは、固定マスク２０の左眼絞り孔２１が開放状態となり、固定マスク２０の右眼絞り孔２２が可動マスク３０の遮光部２４で遮光され、単眼による白色光の画像が撮像される。ステレオ計測モードでは、固定マスク２０の左眼絞り孔２１と可動マスク３０の左眼絞り孔３１が重なり、固定マスク２０の右眼絞り孔２２と可動マスク３０の右眼絞り孔３２が重なり、カラー位相差法による視差画像（赤色画像、青色画像）が撮像される。

本変形例によれば、撮像装置（内視鏡装置）は、撮像素子４０と結像光学系１０と可動マスク３０とを含む。結像光学系１０は、第１の光路と、第１の光路に対して視差を有する第２の光路で撮像素子４０に被写体５を結像させる。可動マスク３０は、第１の波長帯域（青色の波長帯域）を通過させる第１のフィルタＳＬと、第１の波長帯域とは異なる第２の波長帯域（赤色の波長帯域）を通過させる第２のフィルタＳＲと、遮光部３４とを有し、結像光学系１０に対して可動である。

また本変形例では、撮像装置は、可動マスク３０を制御する可動マスク制御部３４０（図１３）を含む。可動マスク制御部３４０は、非ステレオモード（観察モード）において、第１のフィルタＳＬが第１の光路に非挿入となると共に遮光部３４が第２の光路に挿入される第１の状態に、可動マスク３０を設定する。一方、ステレオモード（ステレオ計測モード）において、可動マスク制御部３４０は、第１のフィルタＳＬが第１の光路に挿入されると共に第２のフィルタＳＲが第２の光路に挿入される第２の状態に、可動マスク３０を設定する。

このような構成によっても、観測モードとステレオ計測モードの切り替えや、ステレオ計測モードにおける視差画像の同時取得、モード切り替えの高速化、可動マスク３０の駆動機構の簡素化、モード切り替えにおける故障やエラーの抑制、ステレオ計測における基線長の確保などを実現できる。

次に、第２の変形例について説明する。即ち、上述した実施形態では結像光学系１０が二眼の光学系１１、１２である場合を例に説明したが、これに限定されない。例えば図１０、図１１に示すように結像光学系１０が一眼の光学系であってもよい。

具体的には、一眼の結像光学系１０は、固定マスク２０の絞り孔２１、２２により瞳分割され、その左瞳光路が左眼光路となり、右瞳光路が右眼光路となる。絞り孔２１、２２の中心線（左瞳、右瞳の中心線）ＩＣ１、ＩＣ２は、例えば一眼の結像光学系１０の光軸ＡＸから等距離に設けられる。中心線ＩＣ１、ＩＣ２と光軸ＡＸは同一平面内であることが望ましいが、必ずしも同一平面内でなくともよい。

本変形例によれば、結像光学系１０は、固定マスク２０の第１の絞り孔２１を通過する光及び固定マスク２０の第２の絞り孔２２を通過する光を結像する単眼の結像光学系である。

このように単眼の結像光学系１０に固定マスク２０を設けることで、瞳分割によるステレオ撮影が可能になる。固定マスク２０によりステレオ計測の基線長が確保されると共に、単眼であるため光学系の構成を簡素化できる。

６．ステレオ３次元計測の原理
ステレオ計測モードにおけるステレオ計測の原理について説明する。図１２に示すように、左眼と右眼の光路が独立して構成され、被写体５からの反射画像は、これら光路を介して撮像センサ面（受光面）に結像する。３次元空間の座標系Ｘ、Ｙ、Ｚを以下のように定義する。即ち、撮像センサ面に沿ってＸ軸と、Ｘ軸に直交するＹ軸とを設定し、撮像センサ面に直交し且つ光軸ＡＸ１、ＡＸ２と平行な方向で被写体に向かう方向にＺ軸を設定する。Ｚ軸はＸ軸、Ｙ軸とゼロ点にて交差するものとする。なお、ここでは便宜上Ｙ軸は省略する。

左眼の結像レンズ１１と右眼の結像レンズ１２は、Ｚ軸上の同一位置に配置される。レンズ１１、１２と撮像センサ面の距離をｂとし、レンズ１１、１２から被写体５の任意点Ｑ（ｘ，ｚ）までの距離をｚとする。右眼及び左眼の結像レンズ１１、１２の光軸中心ＡＸ１、ＡＸ２とＺ軸までの距離を同一とし、各ｄ／２とする。つまりステレオ計測における基線長はｄとなる。被写体５の任意点Ｑ（ｘ，ｙ）が左眼光学系１１により撮像センサ面に結像された対応点のＸ座標をＸＬとし、被写体５の任意点Ｑ（ｘ，ｙ）が右眼光学系１２により撮像センサ面に結像された対応点のＸ座標をＸＲとする。任意点Ｑ（ｘ，ｚ）と座標ＸＬ、ＸＲに囲まれた三角形内にできる複数の部分的な直角三角形の相似関係を使って下式（３）を得ることができる。

ここで、下式（４）、（５）が成り立つ。

これにより、上式（３）の絶対値を下式（６）のように外すことができる。

上式（６）をｘについて解くと下式（７）となる。

上式（７）のｘを上式（６）に代入すると、下式（８）が得られ、ｚを求めることができる。

ｄ、ｂは既知の設定値であり、未知数ＸＬ、ＸＲは次のようにして求められる。即ち、撮像センサ面の位置ＸＬを基準に考え（左画像の画素位置をＸＬと見なし）、位置ＸＬに対応する位置ＸＲをマッチング処理（相関演算）により検出する。各位置ＸＬについて距離ｚを計算することで被写体の形状が計測できる。なお、マッチングが良好でない場合には距離ｚが求められない可能性があるが、例えば周囲の画素の距離ｚから補間すること等により求めてもよい。

７．内視鏡装置
図１３に、本実施形態の内視鏡装置（広義には、撮像装置）の構成例を示す。内視鏡装置は、スコープ部１００（撮像部）、本体部２００（制御装置）を含む。スコープ部１００は、結像光学系１０、固定マスク２０、可動マスク３０、撮像素子４０、駆動部５０を含む。本体部２００は、処理部２１０、モニタ表示部２２０、撮像処理部２３０を含む。処理部２１０は、画像選択部３１０（画像フレーム選択部）、カラー画像生成部３２０（画像出力部）、位相差検出部３３０、可動マスク制御部３４０（可動マスク駆動制御部）、可動マスク位置検出部３５０、距離情報算出部３６０、３次元情報生成部３７０を含む。

なお本体部２００は、不図示の構成要素として、本体部２００を操作する操作部、外部機器と接続するインターフェース部等を含んでもよい。スコープ部１００は、不図示の構成要素として、例えばスコープ部１００を操作する操作部や、処置具、照明部（光源、レンズ等）等を含んでもよい。

内視鏡装置としては、工業用、医療用のいわゆるビデオスコープ（撮像素子を内蔵した内視鏡装置）を想定できる。スコープ部１００が湾曲可能に構成された軟性鏡、スコープ部１００がスティック状に構成された硬性鏡、いずれにも本発明を適用できる。例えば工業用の軟性鏡の場合、本体部２００及び撮像部１１０は持ち運び可能なポータブル機器として構成されており、工業製品の製造検査やメンテナンス検査、建築物や配管のメンテナンス検査等に用いられる。

駆動部５０は、可動マスク制御部３４０からの制御信号に基づいて可動マスク３０を駆動し、第１の状態（観察モード）と第２の状態（ステレオ計測モード）を切り替える。例えば、駆動部５０はピエゾ素子やマグネット機構によるアクチュエータで構成される。

撮像処理部２３０は、撮像素子４０からの信号に対して撮像処理を行い、撮像画像（例えばベイヤ画像等）を出力する。例えば、相関２重サンプリング処理、ゲインコントロール処理、Ａ／Ｄ変換処理、ガンマ補正、色補正、ノイズ低減等を行う。撮像処理部２３０は、例えばＡＳＩＣ等のディスクリートＩＣで構成されてもよいし、或いは撮像素子４０（センサチップ）や処理部２１０に内蔵されてもよい。

モニタ表示部２２０は、スコープ部１００が撮像した画像や、被写体５の３次元形状情報等を表示する。例えば、モニタ表示部２２０は、液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等により構成される。

以下、内視鏡装置の動作を説明する。可動マスク制御部３４０は、駆動部５０を制御して可動マスク３０の位置を切り替える。可動マスク制御部３４０が可動マスク３０を観察モードに設定した場合、被写体５からの反射光が左眼光路を介して撮像素子４０に結像される。撮像処理部２３０は、撮像素子４０に結像された画像の画素値を読み出し、Ａ／Ｄ変換等を行って画像選択部３１０に画像データを出力する。

画像選択部３１０は、可動マスク制御部３４０からの制御信号に基づいて可動マスク３０の状態が観察モードであることを検知し、撮像画像から｛Ｖｒ、Ｖｇ、Ｖｂ｝を選択してカラー画像生成部３２０に出力する。カラー画像生成部３２０はデモザイキング処理（ベイヤ画像からＲＧＢ画像を生成する処理）や各種画像処理を行い、３板化ＲＧＢ原色画像をモニタ表示部２２０に出力する。モニタ表示部２２０は、そのカラー画像を表示する。

可動マスク制御部３４０が可動マスク３０をステレオ計測モードに設定した場合、被写体５からの反射光が左眼光路及び右眼光路を介し撮像素子４０に同時に結像される。撮像処理部２３０は、撮像素子４０に結像された画像の画素値を読み出し、Ａ／Ｄ変換等を行って画像選択部３１０に画像データを出力する。

画像選択部３１０は、可動マスク制御部３４０からの制御信号に基づいて可動マスク３０の状態がステレオ計測モードであることを検知し、撮像画像から｛Ｍｒ，Ｍｂ｝を選択して位相差検出部３３０に出力する。位相差検出部３３０は、分離された２つの画像Ｍｒ、Ｍｂに対してマッチング処理を行い、画素毎に位相差（位相ずれ）を検出する。また位相差検出部３３０は、位相差検出が信頼できるか否かの判断を行い、信頼できないと判断した場合はエラーフラグを画素毎に出力する。従来より２つの類似波形のずれ量（位相差）を求めるためのマッチング評価方法はＺＮＣＣ（Zero-mean Normalized Cross-Correlation）に代表される正規化相互相関演算法、相互の差分絶対値の合計によるＳＡＤ（Sum of Absolute Difference）など、種々提案されているので適宜利用が可能である。

なお、時分割となり被写体ブレ、撮像系のブレの影響は受けるものの視差画像となるＶｒとＭｒを使っても位相ずれ（位相差）を検出することができる。被写体５の反射が青色成分は少なく赤色成分が多い場合、ＭｒとＭｂでは検出が難しい被写体５であっても共に赤色成分を有するＶｒとＭｒならば計測が可能となる。

位相差検出部３３０は、検出した位相差情報とエラーフラグを距離情報算出部３６０に出力する。距離情報算出部３６０は、被写体５の距離情報（例えば図１２の距離ｚ）を各画素について計算し、その距離情報を３次元情報生成部３７０に出力する。エラーフラグが立っている画素は、例えば被写体５の平坦部（エッジ成分が少ない領域）と見なして、例えば周囲の画素の距離情報から補間してもよい。３次元情報生成部３７０は、距離情報（又は、距離情報とカラー画像生成部３２０からのＲＧＢ画像）から３次元情報を生成する。３次元情報は、例えばＺ値マップ（距離マップ）やポリゴン、疑似的な３次元表示画像（例えばシェーディング等による形状強調）等、種々の情報を想定できる。３次元情報生成部３７０は、生成した３次元画像や３次元データ、或いはそれらと観察画像とを重畳した表示画像などを必要に応じ生成し、モニタ表示部２２０へ出力する。モニタ表示部２２０は、その３次元情報を表示する。

可動マスク位置検出部３５０は、ステレオ計測モード時に得られた画像｛Ｍｒ，Ｍｂ｝を使って、可動マスク３０が観察モードの位置にあるかステレオ計測モードの位置にあるかを検出する。そして、可動マスク３０の状態がモードに一致していないと判断した場合には、可動マスク制御部３４０に位置エラーフラグを出力する。可動マスク制御部３４０は、位置エラーフラグを受けて、可動マスク３０を正しい状態（画像選択に対応した状態）に修正する。例えば可動マスク制御部３４０がステレオ計測モードの制御信号を出力しているにも関わらず、画像｛Ｍｒ，Ｍｂ｝に色ずれが無いと判断される場合、実際の可動マスク３０は観察モードの位置になっている。この場合、制御信号と可動マスク３０の位置を一致させる修正を行う。なお、修正動作をしても正しい状態にならない場合は、何らかの故障が発生したと判断して全体の機能を停止させる。可動マスク３０が観察モードの位置にあるかステレオ計測モードの位置にあるかの検出や判断は、例えば以下のように行う。

即ち、画像Ｍｒと画像Ｍｂの判断エリアでのレベル（平均レベルなど）を合わせた後、画像Ｍｒと画像Ｍｂの絶対差分値和による判断（第１手法）や、画像Ｍｒと画像Ｍｂの相関係数による判断（第２手法）などにより、位置エラーの判断を行う。

第１手法では、各画素で画素値の差分値の絶対値を求め、それを全画素又は部分画素群で積算する。その結果が所定の閾値を越えた場合は、ステレオ計測モードの画像と判断し、その結果が所定の閾値以下である場合は、観察モードの画像と判断する。ステレオ計測モードでは画像Ｍｒと画像Ｍｂは基本的に色ずれを起こしている画像なので、所定量の差分値が得られることを利用している。

第２手法では、画像Ｍｒと画像Ｍｂの所定範囲における相関係数を計算し、その結果が所定の閾値以下の場合は、ステレオ計測モードの画像と判断し、その結果が所定の閾値を越えた場合は、観察モードの画像と判断する。これはステレオ計測モードでは画像Ｍｒと画像Ｍｂは基本的に色ずれを起こしている画像なので相関係数が小さいのに対し、観察モードでは画像Ｍｒと画像Ｍｂはほぼ一致した画像なので相関係数が大きいことを利用している。

なお、本実施形態の内視鏡装置、撮像装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る内視鏡装置、撮像装置等の各部（例えば処理部２１０の各部等）が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

８．モード切り替えシーケンス
図１４に、動画撮影において観察モードとステレオ計測モードを切り替えるシーケンス（動作タイミングチャート）を示す。

上述したステレオ計測モードでは、動きがある被写体に対しても高精度なステレオ同時計測が実現できるが、色ずれ画像となってしまうので高品位な観察画像には使えない。そこで観察モードとステレオ計測モードを高速に切り替えることにより、この問題を解決でき、ほぼリアルタイムに近い状態で観察画像を表示しつつステレオ計測が実行可能である。

図１４に示すように、可動マスク３０の状態の切り替えと撮像タイミングと撮像画像の選択は連動している。Ａ１、Ａ２に示すように、観察モードのマスク状態とステレオ計測モードのマスク状態を交互に繰り返す。Ａ３、Ａ４に示すように、各マスク状態で１回ずつ撮像が行われる。Ａ５に示すように、観察モードのマスク状態にあるときに撮像素子４０により露光撮像された画像は観察画像として選択される。Ａ６に示すように、ステレオ計測モードのマスク状態にあるときに撮像素子４０により露光撮像された画像は計測画像として選択される。

このように観察モードとステレオ計測モードを交互に繰り返すことにより、ほぼリアルタイムに近い状態で観察画像と計測画像を連続的に得ることができるので、被写体５に動きがある場合も観察と計測を両方実現することができる。観察モードの画像を表示しつつ、そこに必要に応じて計測された情報を重ねて合わせて表示すれば、ユーザに対して目視検査と定量検査を同時に提供することができ、有用な情報提供が可能となる。

本実施形態によれば、第１のフレーム（図１４のＡ１）において、可動マスク制御部３４０は非ステレオモード（観察モード）を設定し、撮像素子４０は第１の撮像画像（観察画像）を撮像する（Ａ３）。第１のフレームの次の第２のフレーム（Ａ２）において、可動マスク制御部３４０はステレオモード（ステレオ計測モード）を設定し、撮像素子４０は第２の撮像画像（計測画像）を撮像する（Ａ４）。

具体的には、撮像装置（内視鏡装置）は、動画像の撮影において第１のフレーム（Ａ１）と第２のフレーム（Ａ２）を交互に繰り返す。即ち、第２のフレームの次の第３のフレームでは、第１のフレームと同様の動作を行う。

更に具体的には、撮像装置は、動画像に含まれる第１の撮像画像に基づいて、観察用の動画像を出力する画像出力部（カラー画像生成部３２０）と、動画像に含まれる第２の撮像画像に基づいて、第１の波長帯域の画像（青色画像Ｍｂ）と第２の波長帯域の画像（赤色画像Ｍｒ）との間の位相差を検出する位相差検出部３３０と、を含む。

このように観察モードにおける撮像とステレオ計測モードにおける撮像を交互に繰り返して動画像を撮影することで、被写体５を単眼の通常画像で観察しながらリアルタイムにステレオ計測を行うことが可能になる。本実施形態では可動マスク３０や固定マスク２０が高速切り替えに適した構成となっているため、このようなリアルタイム計測に適している。

また本実施形態では、撮像装置は可動マスク位置検出部３５０を含む。可動マスク位置検出部３５０は、ステレオモードにおいて撮像された画像に含まれる第１の波長帯域の画像（青色画像Ｍｂ）と第２の波長帯域の画像（赤色画像Ｍｒ）との間の類似度（例えば、図１３で説明した絶対差分値和や相関係数等）に基づいて、ステレオモードにおいて可動マスク３０が第２の状態に設定されているか否かを検出する。

そして、可動マスク制御部３４０は、ステレオモードにおいて可動マスク３０が第１の状態に設定されていることが検出された場合、可動マスク３０の状態とモードの対応を修正する。

可動マスク３０のような機械的な可動部では、例えば動作不良などの要因によって、制御と実際の動作が正しく一致しなくなる可能性がある。そのようなエラーが発生すると観察画像として色ずれ画像が表示されたり、ステレオ計測が正しく行えなくなったりする。この点、本実施形態によれば、視差画像の間の類似度に基づいてモードとマスク状態の対応を判定できるので、その判定結果に基づいてモードとマスク状態の対応を正しい対応に修正することができる。観察モードでは単眼で撮影するため赤色画像と青色画像の間には位相差がなく類似度が高い。そのため、ステレオ計測モードにおいて類似度の高い赤色画像と青色画像が得られた場合には可動マスク３０が誤って観察モードの位置にあると判定できる。

９．近赤外画像の抽出処理
上述のように本実施形態では観察画像の撮影とステレオ計測を行うことができるが、それらの撮像画像を用いて近赤外画像を取得できる。以下、近赤外画像の取得手法について説明する。

上式（１）、（２）より、下式（９）によって近赤外画像が抽出できる。観察モードの画像Ｖｂ＝Ｌｂ＋Ｌｉｒとステレオ計測モードの画像Ｍｂ＝Ｌｂは同時ではないので、区別するためにＭｂ’＝Ｌｂ’と表記する。これらの画像は同じ左眼光路からの画像であり位相ずれがない画像と考えられる。さらに、同一分光特性をもつ青色画像ＬｂとＬｂ’は合致性の高い画像どうしと考えられるので、下式（９）のように画像Ｍｂ’＝Ｌｂ’を使って画像Ｖｂ＝Ｌｂ＋Ｌｉｒから青色成分Ｌｂを除去し、近赤外成分Ｌｉｒの画像を生成することできる。

１０．被写体又は撮像系のブレ対応
近赤外画像の抽出において被写体又は撮像系が動いた場合、青色画像Ｌｂと青色画像Ｌｂ’の合致性が低くなる。以下、その対応策を説明する。

観察モードで得た画像Ｖｂと計測モードで得た画像Ｍｂ’は時間的に異なる撮像のタイミングで得られたものなので、被写体又は撮像系が動いたことにより画像上での位置がずれる。図１５に示すように、画像Ｖｂの座標位置ＸＬに対応する画素が画像Ｍｂ’上にてブレ量δ（ＸＬ）だけずれて得られたとする。画像Ｖｂと画像Ｍｂ’は僅かではあるが視点が異なっているので、ブレ量δ（ＸＬ）は動きブレによるブレ量だけでなく厳密には視差量（異なる方向から見た画像のずれ）を含んでおり、被写体反射面までの距離に依存する量になっている。そのため、画像Ｖｂの座標位置ＸＬごとに求められる必要があるのでδ（ＸＬ）と表記する。

ブレ量δ（ＸＬ）は、座標位置ＸＬ近傍における画像Ｖｂと画像Ｍｂ’のマッチング探索処理により求めることができる。但し、画像の品質劣化などの理由から全ての座標位置においてマッチングによる対応点が求められるとは限らないため、信頼性の高いδ（ＸＬ）のみを有効として採用する。δ（ＸＬ）が求められなかった座標位置については、計測不能ポイントとして設定する。計測不能ポイントでは、後段の位相差検出において被写体反射面までの距離ｚを算出しない。計測不能ポイントの扱いについては任意であるが、例えば情報として使用者に通知する、或いは周辺の計測値からの補間により補償する等の種々の扱いが考えられる。

採用されたδ（ＸＬ）を用いて、画像Ｍｂ’と画像Ｍｒ’をブレ量δ（ＸＬ）だけシフトさせて位置ずれを補正する。位置ずれを補正した画像をＭｂ”、Ｍｒ”と表記する。次に、画像Ｍｂ”と画像Ｍｒ”のマッチング探索処理により、座標位置ＸＬにおける計測に係る位相差量ｓ（ＸＬ）を検出する。位相差量ｓ（ＸＬ）が得られれば、図１２等で説明した手法により座標位置ＸＬに対応する被写体反射面までの距離ｚを求めることができる。

１１．内視鏡装置の第２構成例
図１６に、近赤外画像の撮像機能を付加した場合の内視鏡装置の構成例を示す。内視鏡装置は、スコープ部１００、本体部２００を含む。スコープ部１００は、結像光学系１０、固定マスク２０、可動マスク３０、撮像素子４０、駆動部５０を含む。本体部２００は、処理部２１０、モニタ表示部２２０、撮像処理部２３０を含む。処理部２１０は、画像選択部３１０、カラー画像生成部３２０、位相差検出部３３０、可動マスク制御部３４０、可動マスク位置検出部３５０、距離情報算出部３６０、３次元情報生成部３７０、近赤外画像生成部３８０、ブレ量検出部３９０を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

画像選択部３１０から出力される画像Ｖｂと画像Ｍｂ（図１５のＭｂ’）は近赤外画像生成部３８０に入力される。近赤外画像生成部３８０は、上式（９）のように画像Ｖｂと画像Ｍｂを演算し、左眼光学系からの近赤外成分を有する画像Ｌｉｒを得る。近赤外画像生成部３８０は、求めた画像Ｌｉｒを画像処理して近赤外画像ＩＲを出力する。この近赤外画像ＩＲをモニタ表示部２２０に入力することで近赤外画像ＩＲの表示が可能となる。

一方、カラー画像生成部３２０は観察画像｛Ｖｒ、Ｖｇ、Ｖｂ｝に画像処理を施し、表示可能なカラー画像｛Ｒ、Ｇ、Ｂ｝を出力する。このカラー画像｛Ｒ、Ｇ、Ｂ｝をモニタ表示部２２０に入力することでカラーの観察画像の表示が可能となる。

カラー画像｛Ｒ，Ｇ，Ｂ｝と近赤外画像ＩＲは、いずれも左眼光路からの画像なので、像ずれは発生せず位置ズレがない。そのため、重ね合わせなどの統合表示や、カラー画像の色情報を用いた近赤外画像の着色などが容易である。

また、３次元情報生成部３７０が３次元情報と近赤外画像ＩＲを関連付けることができる。即ち、近赤外画像ＩＲの各画素に距離情報を対応付け、近赤外画像の３次元化を行うことが可能となる。このように可視画像である観察カラー画像と近赤外の観察画像と距離情報をほぼ同時に得ることができるため多様な情報提供の形態を取ることができる。

以上の実施形態によれば、撮像装置（内視鏡装置）は近赤外画像生成部３８０を含む。近赤外画像生成部３８０は、非ステレオモード（観察モード）において撮像された第１の撮像画像｛Ｖｒ、Ｖｇ、Ｖｂ｝と、ステレオモード（ステレオ計測モード）において撮像された第２の撮像画像｛Ｍｒ、Ｍｂ｝とに基づいて、近赤外画像Ｌｉｒ（又はＩＲ）を生成する。

具体的には、撮像素子４０による撮像画像は赤色ｒと緑色ｇと青色ｂの画像で構成される。第１の波長帯域ＳＬは、赤色ｒ又は青色ｂの一方に対応する波長帯域である。第２の波長帯域ＦＲは、赤色ｒ又は青色ｂの他方に対応する波長帯域である。そして、近赤外画像生成部３８０は、第１の撮像画像の赤色の画像Ｖｒと第２の撮像画像の赤色の画像Ｍｒとの差分、又は第１の撮像画像の青色の画像Ｖｂと第２の撮像画像の青色の画像Ｍｂとの差分に基づいて、近赤外画像Ｌｉｒ（又はＩＲ）を生成する。

例えば本実施形態では、第１の波長帯域ＳＬは青色の波長帯域（図５の特性Ｌｂに対応する帯域ＳＬ）であり、第２の波長帯域ＦＲは赤色の波長帯域（図５の特性Ｒｒに対応する帯域ＦＲ）であるが、これに限定されず帯域と色の対応が逆でもよい。また例えば本実施形態では、青色の画像Ｖｂ、Ｍｂの差分（上式（９））から近赤外画像Ｌｉｒを求めるが、これに限定されず、赤色の画像Ｖｒ、Ｍｒの差分から近赤外画像Ｌｉｒを求めてもよい。

一般的な撮像素子４０は近赤外の帯域まで感度を有しており、観察モードにおける白色光画像の撮影では近赤外画像を含む画像が得られる。一方、ステレオ計測モードでは赤色及び青色の分光フィルタを介して撮影されるので、近赤外の帯域はほとんどカットされ、近赤外画像をほとんど含まない画像が得られる。そのため、これらの画像の差分から近赤外画像を抽出することが可能となる。近赤外画像を取得することで、可視光では見えない（又は見にくい）対象を観察できる可能性がある。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（観察モード、ステレオ計測モード、左眼光路、右眼光路等）と共に記載された用語（非ステレオモード、ステレオモード、第１の光路、第２の光路等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

５ 被写体、１０ 結像光学系、１１ 第１の結像光学系、
１２ 第２の結像光学系、２０ 固定マスク、２１ 第１の絞り孔、
２２ 第２の絞り孔、２４ 遮光部、３０ 可動マスク、
３１ 第３の絞り孔、３４ 遮光部、３５ 回転軸、
４０ 撮像素子、５０ 駆動部、１００ スコープ部、
１１０ 撮像部、２００ 本体部、２１０ 処理部、
２２０ モニタ表示部、２３０ 撮像処理部、３１０ 画像選択部、
３２０ カラー画像生成部、３３０ 位相差検出部、
３４０ 可動マスク制御部、３５０ 可動マスク位置検出部、
３６０ 距離情報算出部、３７０ ３次元情報生成部、
３８０ 近赤外画像生成部、３９０ ブレ量検出部、
ＦＲ，ＳＲ 第２のフィルタ、Ｍｒ，Ｍｂ 第２の撮像画像、
ｓ（ＸＬ） 位相差、ＳＬ 第１のフィルタ、
Ｖｒ，Ｖｇ，Ｖｂ 第１の撮像画像、ｚ 距離、δ（ＸＬ） ブレ量

Claims (18)

1. 撮像素子と、
   第１の光路と、前記第１の光路に対して視差を有する第２の光路で前記撮像素子に被写体を結像させる結像光学系と、
   第１の波長帯域を通過させる第１のフィルタと遮光部とを有し、前記結像光学系に対して可動である可動マスクと、
   前記第２の光路に設けられ、前記第１の波長帯域とは異なる第２の波長帯域を通過させる第２のフィルタと、
   を含むことを特徴とする撮像装置。
2. 請求項１において、
   前記可動マスクを制御する可動マスク制御部を含み、
   前記可動マスク制御部は、
   非ステレオモードにおいて、前記第１のフィルタが前記第１の光路に非挿入となると共に前記遮光部が前記第２の光路に挿入される第１の状態に、前記可動マスクを設定し、
   ステレオモードにおいて、前記第１のフィルタが前記第１の光路に挿入されると共に前記遮光部が前記第２の光路に非挿入となる第２の状態に、前記可動マスクを設定することを特徴とする撮像装置。
3. 請求項２において、
   第１のフレームにおいて、前記可動マスク制御部は前記非ステレオモードを設定し、前記撮像素子は第１の撮像画像を撮像し、
   前記第１のフレームの次の第２のフレームにおいて、前記可動マスク制御部は前記ステレオモードを設定し、前記撮像素子は第２の撮像画像を撮像することを特徴とする撮像装置。
4. 請求項３において、
   動画像の撮影において前記第１のフレームと前記第２のフレームを交互に繰り返すことを特徴とする撮像装置。
5. 請求項４において、
   前記動画像に含まれる前記第１の撮像画像に基づいて、観察用の動画像を出力する画像出力部と、
   前記動画像に含まれる前記第２の撮像画像に基づいて、前記第１の波長帯域の画像と前記第２の波長帯域の画像との間の位相差を検出する位相差検出部と、
   を含むことを特徴とする撮像装置。
6. 請求項２乃至５のいずれかにおいて、
   前記ステレオモードにおいて撮像された画像に含まれる前記第１の波長帯域の画像と前記第２の波長帯域の画像との間の類似度に基づいて、前記ステレオモードにおいて前記可動マスクが前記第２の状態に設定されているか否かを検出する可動マスク位置検出部を含むことを特徴とする撮像装置。
7. 請求項６において、
   前記可動マスク制御部は、
   前記ステレオモードにおいて前記可動マスクが前記第１の状態に設定されていることが検出された場合、前記可動マスクの状態とモードの対応を修正することを特徴とする撮像装置。
8. 請求項２乃至７のいずれかにおいて、
   前記非ステレオモードにおいて撮像された第１の撮像画像と、前記ステレオモードにおいて撮像された第２の撮像画像とに基づいて、近赤外画像を生成する近赤外画像生成部を含むことを特徴とする撮像装置。
9. 請求項８において、
   前記撮像素子による撮像画像は赤色と緑色と青色の画像で構成され、
   前記第１の波長帯域は、前記赤色又は前記青色の一方に対応する波長帯域であり、
   前記第２の波長帯域は、前記赤色又は前記青色の他方に対応する波長帯域であり、
   前記近赤外画像生成部は、
   前記第１の撮像画像の前記赤色の画像と前記第２の撮像画像の前記赤色の画像との差分、又は前記第１の撮像画像の前記青色の画像と前記第２の撮像画像の前記青色の画像との差分に基づいて、前記近赤外画像を生成することを特徴とする撮像装置。
10. 請求項１乃至９のいずれかにおいて、
    前記第１の光路に設けられる第１の絞り孔と、前記第２の光路に設けられる第２の絞り孔とを有する固定マスクを含み、
    前記第２のフィルタは、前記第２の絞り孔に設けられ、
    前記可動マスクは、前記遮光部に設けられる第３の絞り孔を有し、
    前記第１のフィルタは、前記第３の絞り孔に設けられることを特徴とする撮像装置。
11. 請求項１０において、
    前記結像光学系は、
    前記第１の絞り孔を通過する光を結像する第１の結像光学系と、前記第２の絞り孔を通過する光を結像する第２の結像光学系と、を有することを特徴とする撮像装置。
12. 請求項１０において、
    前記結像光学系は、
    前記第１の絞り孔を通過する光及び前記第２の絞り孔を通過する光を結像する単眼の結像光学系であることを特徴とする撮像装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記第１のフィルタが前記第１の光路に挿入されると共に前記遮光部が前記第２の光路に非挿入となる状態に前記可動マスクが設定された場合において撮像された画像に基づいて、前記第１の波長帯域の画像と前記第２の波長帯域の画像との間の位相差を検出する位相差検出部を含むことを特徴とする撮像装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記撮像素子による撮像画像は赤色と緑色と青色の画像で構成され、
    前記第１の波長帯域は、前記赤色又は前記青色の一方に対応する波長帯域であり、
    前記第２の波長帯域は、前記赤色又は前記青色の他方に対応する波長帯域であることを特徴とする撮像装置。
15. 撮像素子と、
    第１の光路と、前記第１の光路に対して視差を有する第２の光路で前記撮像素子に被写体を結像させる結像光学系と、
    第１の波長帯域を通過させる第１のフィルタと、前記第１の波長帯域とは異なる第２の波長帯域を通過させる第２のフィルタと、遮光部とを有し、前記結像光学系に対して可動である可動マスクと、
    を含むことを特徴とする撮像装置。
16. 請求項１５において、
    前記可動マスクを制御する可動マスク制御部を含み、
    前記可動マスク制御部は、
    非ステレオモードにおいて、前記第１のフィルタが前記第１の光路に非挿入となると共に前記遮光部が前記第２の光路に挿入される第１の状態に、前記可動マスクを設定し、
    ステレオモードにおいて、前記第１のフィルタが前記第１の光路に挿入されると共に前記第２のフィルタが前記第２の光路に挿入される第２の状態に、前記可動マスクを設定することを特徴とする撮像装置。
17. 請求項１乃至１６のいずれかに記載された撮像装置を含むことを特徴とする内視鏡装置。
18. 非ステレオモードにおいて、第１の波長帯域を通過させる第１のフィルタと遮光部とを有する可動マスクを第１の状態に設定することで、結像光学系の第１の光路に前記第１のフィルタを非挿入にする共に、前記第１の光路に対して視差を有する前記結像光学系の第２の光路に前記遮光部を挿入し、
    ステレオモードにおいて、前記可動マスクを第２の状態に設定することで、前記第１の光路に前記第１のフィルタを挿入すると共に、前記第２の光路に前記遮光部を非挿入にすることを特徴とする撮像方法。