JP6454489B2 - 観察システム - Google Patents

Description

本発明は、被検体の同一観察箇所に対する複数回の発光による各撮像画像から算出した遠近情報に基づく被検体の表面形状を推定し立体画像として表示する観察システムに関する。

一般的に、立体画像（３次元画像）をモニタ表示する場合は、視点の差（両眼視差）を有する２つの撮像系を用いて、それぞれに撮像した画像を合成して表示している。撮像素子を搭載する内視鏡等に適用される観察装置においては、処置具が取り付けられたアームを用いる内視鏡手術を実施する際に、処置対象となる被検体の表面の凹凸状態をわかりやすく立体的に表示する３次元表示が望まれている。

被検体表面の凹凸状態を表示するために必要な遠近情報は、例えば、光を測定箇所に照射し、その反射光を撮像素子に取り込み、受光面の結像位置から観察箇所までの距離として算出する所謂、三角測距方式を用いることにより取得し、この遠近情報から観察箇所の凹凸状態を算出できることが知られている。

しかし、内視鏡等の観察システムにおいては、挿入部は細径化が望まれており、その先端面には、鉗子孔等も加わり、複数の撮像光学系（複眼）を配置するほどの配置スペースがないため、１つの撮像光学系による３次元画像の構築が望まれている。例えば、引用文献１においては、１つの撮像光学系に対して、１つの光源を移動させて異なる位置から同一光度の拡散光を不動な観察箇所にそれぞれに照射し、取得した複数の撮像画像の輝度分布を測定し、測定箇所表面の距離分布を算出して、観察箇所の凹凸状態を計測する計測方法が提案されている。ここでは、輝度が光源から測定箇所までの距離の二乗に反比例することを利用して、光源から観察箇所表面までの距離を算出しており、複数の反射光による輝度分布から距離分布を算出している。

特公平６−７６８８８号公報

前述した特許文献１においては、距離分布は、観察対象が完全拡散反射面であることを想定した輝度分布により測定されている。しかしながら、内視鏡を使用する体腔内の環境では、観察箇所の表面が粘液で濡れているため、完全拡散反射面の環境ではなく、さらに表面の凹凸状態により、光が不均一な拡散反射（乱反射）する。このような拡散反射することで、観察箇所の表面の輝度が視点の角度によって異なってしまうため、輝度分布からは必ずしも正確な距離が算出されているとは限らない。また、特許文献１では、１つの光源を不動の被検体に対して、平行移動させて複数の点光源として使用することが提案されている。内視鏡においては、挿入部先端が湾曲動作により円軌道で移動するため、体腔内で挿入部先端を平行に移動させることは容易な操作ではなく、さらに、撮像部と照明部が一体で移動するため、接近して撮影している観察箇所が観察視野から外れてしまうことが懸念される。

そこで本発明は、１つの撮像光学系に並設される異なる位置の複数の照射窓から、連続的なタイミングで順次照射された照明光下で撮像された撮像画像から被検体表面の凹凸状態を示唆する遠近情報を取得し、遠近情報に基づく３次元の観察画像を表示させることができる観察システムを提供することを目的とする。

上記目的を達成するために、本発明に従う実施形態の観察システムは、第１の照明光を照射する第１の照射窓と、第２の照明光を照射する第２の照射窓と、を有する光源装置と、前記第１、及び第２の照明光に照射された、被検体の画像を撮像する撮像素子と、を有する観察システムにおいて、前記光源装置は、第１の照明光と、第２の照明光とを、互いに異なるタイミングで発光させる発光制御部を有しており、前記第１の照明光と第２の照明光は、互いにほぼ等しい光学特性を有しており、前記撮像素子は、前記第１の照明光のみによる前記被検体の画像である第１の画像と、前記第２の照明光のみによる前記被検体の画像である第２の画像と、を取得可能であり、前記第１の画像は、第１の光学情報を、第２の画像は第２の光学情報をそれぞれ含んでおり、前記観察システムは、第１の光学情報と第２の光学情報を記録する光学情報記録部と、前記第１の画像と前記第２の画像を比較して、被検体上の３箇所以上の同一点に由来する、第１の画像上の同一点由来画素である第１画像同一点由来画素と、第２の画像上の同一点由来画素である第２画像同一点由来画素とを、前記３箇所以上のそれぞれの箇所で対応付けて、被検体上の複数の同一点として、第１同一点と第２同一点を抽出する同一点由来画素抽出部と、を有し、さらに、前記３箇所以上の前記第１同一点における第１画像第１同一点由来画素の有する、前記同一点由来画素が検出した前記第１の照明光に基づく被検体の第１の光量情報である第１の光学情報と、第２画像第１同一点由来画素の有する、前記同一点由来画素が検出した、前記第２の照明光に基づく被検体の第２の光量情報である第２の光学情報と、前記３箇所以上の前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、を全ての同一点に対して比較し、Ｊを１以上の整数としたときに、第１画像第Ｊ同一点由来画素の第１の光量情報と、第２画像第Ｊ同一点由来画素の第２の光量情報と、の比である光量比情報を演算し、前記光量比情報に基づいて、前記被検体遠近情報を算出する演算部と、前記３箇所以上の相対的な被検体遠近情報から前記被検体の表面形状を推定する表面形状推定部と、前記表面形状推定部により推定された表面形状が反映された立体的な画像を表示する表示部と、を有し、前記第１画像第Ｊ同一点由来画素の第１の光量情報と、前記第２画像第Ｊ同一点由来画素の第２の光量情報との比、が互いに略等しい画素を、等光量比画素としたときに、前記第１、及び第２の画像が、複数の等光量比画素を有している場合、前記演算部は、前記複数の等光量比画素の光量情報の大小に基づいて、前記撮像素子からの相対的な距離情報である被検体遠近情報を算出し、前記表面形状推定部が前記被検体遠近情報に基づいて、前記被検体の表面形状を推定する。

本発明によれば、１つの撮像光学系に並設される異なる位置の複数の照射窓から、連続的なタイミングで順次照射された照明光下で撮像された撮像画像から被検体表面の凹凸状態を示唆する遠近情報を取得し、遠近情報に基づく３次元の観察画像を表示させることができる観察システムを提供することができる。

図１は、本発明の第１の実施形態に係る観察システムの全体構成を示す図である。 図２（ａ）は、特徴点が設定された第１の画像を示す図、図２（ｂ）は、特徴点が設定された第２の画像を示す図、図２（ｃ）は、第１の画像と第２の画像を重ね合わせたときの同一点由来画素について説明するための図である。 図３は、観察システムが被検体に距離Ｌ１に近接する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。 図４は、観察システムが被検体に距離Ｌ２に遠隔する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。 図５は、第１の照明光と第２の照明光が被検体に照射された際の平坦な表面からの反射光量による高低を概念的に示す図である。 図６は、挿入部の先端面と被検体の表面とが傾斜して対向していた場合の２つの反射光における光量の関係を示す図である。 図７は、第１の照明光と第２の照明光の反射光量の比による被検体の表面の傾斜を概念的に示す図である。 図８（ａ）は、観察システムにより撮像した被検体の遠近強調前の２次元画像の観察画面を示すイメージ図、図８（ｂ）は、本実施形態の観察システムにより撮像した被検体の遠近強調後の３次元画像の観察画面を示すイメージ図である。 図９は、遠近（凹凸）強調の表示について説明するためのフローチャートである。 図１０は、遠近（凹凸）強調の表示について説明するためのタイミングチャートである。 図１１は、第２の実施形態に係る観察システムの概念的な配置例を示す図である。 図１２は、観察システムが被検体に距離Ｌに遠隔する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。 図１３は、距離と受光量の関係について説明するための概念図である。 図１４は、第３の実施形態に係る観察システムの特徴を説明するための同一点を含む画像の概念図である。 図１５は、３つ以上の照射窓から照射される複数の照明光から被検体遠近情報を得ることについて説明するための概念図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る観察システム１の全体構成を示している。図２（ａ），（ｂ），（ｃ）は、第１の画像と第２の画像を重ね合わせたときの同一点画素（素同一点由来画素）について説明するための図である。
観察システム１は、単独であっても、他の機能を有する機器に組み入れて実施することも可能である。本実施形態では、観察システムの構成部位を、内視鏡の挿入部及び、光源装置又はビデオプロセッサに組み入れて構成される例を提案している。尚、内視鏡の構成部位が観察システム１の構成部位と同等の機能を有している場合には、内視鏡側の構成部位で兼用してもよい。

この観察システム１は、大別して、内視鏡の挿入部２の先端から照明光を照射する光源ユニット（光源装置）３と、受光部であり撮像信号を生成する撮像素子４と、撮像素子４が出力した撮像信号から被検体２０の観察箇所（又は、後述する同一点）２０ａの表面形状を推定する３次元画像生成部５と、３次元画像生成部５が表面形状から推定した観察箇所の３次元画像を含む画像情報を表示する表示部（内視鏡のモニタ部）６と、で構成される。

光源ユニット３は、挿入部２の先端面２ａに配置された複数の照射窓１２，１３と、挿入部２内に配置された複数の光変換ユニット１４，１５と、挿入部２の外部に配置された発光制御部７とで構成される。発光制御部７は、内視鏡の光源装置に組み入れてもよい。
３次元画像生成部５は、観察システム全体を制御する制御部２１と、画像処理部２２と、画像データ（画像及び画像に関する情報等）と光学情報（光量（光度）、撮像画素のアドレス情報等）を記録する記録部（光学情報記録部）２３と、同一点由来画素抽出部（以下、抽出部と称する）２４と、被検体の凹凸状態を示す被検体遠近情報を算出する演算部２５と、被検体遠近情報から被検体の表面形状を推定する表面形状推定部２６と、で構成される。

画像処理部２２は、撮像素子４が撮像した撮像信号を画像データ化して、画像データから光学情報を含む種々の情報を生成する。抽出部２４は、少なくとも２つの画像上で共通する部位に、画像内における被検体の位置関係を求めるための被検体上に特徴点２０ａ（後述する同一点ＸＡ，ＸＢ）を設定し、それらの特徴点である画素（又は、絵素）を同一点由来画像画素（以下、同一点画素と称する）とする。また、画像上の同一点画像画素を撮像する撮像素子の画素を同一点由来撮像画素（以下、同一点撮像画素４ａと称する）とする。

演算部２５は、撮像素子４により撮像された画像の画素の光量情報（光学情報の１つ）から、相対的な距離関係である被検体遠近情報を算出する。表面形状推定部２６は、被検体遠近情報から被検体の観察箇所の表面形状（凹凸形状）を推定する。

ここでいう同一点は、複数の画像に渡って共通の被検体が写し込まれている場合に、それらの被検体像のある部位を特徴点２０ａとして任意に定めたときに、撮像された各画像で一致する特徴点を同一点としている。これらの同一点に対応する画像の内で同一点画素（図２に示すＸＡ，ＸＢ）と称している。

このため、１つの撮像素子で連続的に撮像した画像内に設定した同一点が、撮影時の揺れや被検体の移動により、各画像間で位置が移動していた場合には、同一点画素を撮像する撮像画素４ａが複数個が抽出され、それらの撮像画素のアドレス情報も光学情報の１つとして、画像データと共に関係づけて出力される。これらの同一点画素の光量を示す信号が生成され、被検体遠近情報が算出される。尚、特徴点及び同一点は、点と称しているが、実際には、被検体の表面における極小の特徴領域を示唆する。また、同一点画素においても、１つの画素に限定されるものではなく、小さい一群を成す画素群又は、小さい画像領域を形成する複数の画素をも含んでいる。

本実施形態においては、挿入部２の先端面２ａの中央付近に配置された受光窓１１の近傍に第１の照射窓１２と第２の照射窓１３が配置されている。ここで本実施形態では、撮像素子の対物レンズとなる観察装置の観察窓を内視鏡の受光窓と兼用しているため、以下の説明では、受光窓と称している。また、観察装置の観察時の照明を行う照明窓は、内視鏡の照射窓と兼用しているため、以下の説明では、照射窓と称している。尚、受光窓１１、第１の照射窓１２及び第２の照射窓１３は、いずれもパッキン部材等の防水部材を用いて、水密に先端面２ａに取り付けられている。

本実施形態の構成例では、第１の照射窓１２と第２の照射窓１３は、先端面２ａ上で受光窓１１を中心として、直径方向に略同一距離を離れて対称に配置されている。勿論、複数の照射窓は、同じ光度（光量）の光が被検体の同一点（例えば、撮像視野の中心）又は観察範囲に照射されれば良く、照射される光量を調整することで、先端面上の受光窓１１までの距離を調整することが可能であり、図１に示す対称な配置に限定されるものではない。

本実施形態では、第１の照射窓１２に密着又は近接して第１の光変換ユニット１４が配置され、第２の照射窓１３に密着又は近接して第２の光変換ユニット１５が配置され、それぞれに後述する励起光（光信号）を照明光に変換する。尚、本実施形態の照射窓は、照射される照明光３０Ｉ，３１Ｉが撮像視野範囲内に均一的に拡散して、一定の光度（光量）が分布するように光学的な調整を行うレンズ機能を有している。また、別途、照射窓と光変換ユニットとの間に、上述のような光学的な調整を行う図示しない光学部材を備えてもよい。光変換ユニット１４，１５には、光ファイバ１６，１７の先端に、波長変換部材である蛍光体が設けられている。

発光制御部７は、励起光を照射する光源を含み、光ファイバ１６，１７を通じて、第１の光変換ユニット１４と第２の光変換ユニット１５に励起光を出射する。第１の光変換ユニット１４と第２の光変換ユニット１５は、受光した励起光とは異なる波長の光に変換して、第１，第２の照射窓１２，１３から照明光３０Ｉ，３１Ｉとして観察対象に照射される。

本実施形態では、発光制御部７は、同一の波長の光を照射する２つの青色半導体レーザ光源を搭載している。これらの青色半導体レーザ光源は、第１の光変換ユニット１４に導光する第１の励起光と、第２の光変換ユニット１５に導光する第２の励起光とを交互に切り替えて連続的に照射可能である。

また、青色半導体レーザ光源から照射された、第１及び第２の励起光である青色レーザ光は、それぞれ、例えばマルチモード光ファイバである光ファイバ１６，１７により第１及び第２の光変換ユニット１４，１５まで導光される。レーザ光から波長変換された照明光は、第１の照射窓１２から第１の照明光３０Ｉとして照射され、第２の照射窓１３から第２の照明光３１Ｉとして照射される。第１の照明光３０Ｉと第２の照明光３１Ｉとは、互いに異なるタイミングで照射される。尚、同時照射がなく、常にタイミング差を設けて交互に照射するように駆動される場合には、１つの青色半導体レーザ光源と、光学的切り換え部とを組み合わせて、２つの光ファイバに切り換えて励起光を導入させることも可能である。

本実施形態では、第１の照明光３０Ｉ及び第２の照明光３１Ｉは共に、青色レーザ光と、これらの光変換ユニット１４，１５により波長変換された黄色蛍光と、の混合色である白色光とが組み合わされた光であり、略等しい光学特性を有している。勿論、発光制御部７によりレーザ光源の出力（出力光量）を制御することで、略等しい光学特性に調整することも可能である。発光制御部７による光学特性（光量）の制御を行う場合には、図示しない光センサを設けるか、撮像素子４を駆動させる信号値を用いてフィードバック制御すればよい。

第１の光変換ユニット１４から照射された第１の照明光３０Ｉは、被検体２０に照射され、ここで反射及び散乱されて、その一部は、反射光３０Ｒとなり撮像素子４に入射する。同様に、第２の光変換ユニット１５から照射された第２の照明光３１Ｉは、被検体２０に照射され、ここで反射及び散乱されて、その一部は反射光３１Ｒとなり、撮像素子４に入射する。

本実施形態の観察システム１においては、内視鏡に適用される例であるため、外光のほとんどない体腔内を観察する用途であり、第１の照明光３０Ｉ及び第２の照明光３１Ｉの反射光３０Ｒ，３１Ｒ以外は、ほとんど撮像素子４に入射しない。従って、撮像素子４は、第１の照明光３０Ｉの反射光３０Ｒのみによる第１の画像と、第２の照明光３１Ｉの反射光３１Ｒのみによる第２の画像を撮像することができる。

本実施形態で用いる撮像素子４は、複数の画素がマトリックス配置で受光面を形成し、その受光面上に例えば、通常のベイヤ配列を有するＲＧＢ原色フィルタが設けられた分光検出可能なカラー撮像素子、即ち、分光検出撮像素子である。画像処理部２２により、第１の照明光下で撮像された第１の画像から画像情報の１つとして第１の光学情報が抽出され、同様に、第２の照明光下で撮像された第２の画像から画像情報として第２の光学情報が抽出されて、共に、画像と関係づけて記録部２３に格納される。ここでいう第１及び第２の光学情報は、撮像素子４により検出される、ＲＧＢの波長領域毎の光量情報である。尚、本実施形態では、第１及び第２の光学情報は、撮像素子４のＲＧＢ色画素ごとの光量情報（画素のアドレス情報等を含む）としたが、これに限定されるものではない。その他、撮像素子に関する情報や、それらを加工して得られる情報が含まれる。

抽出部２４は、第１の画像と第２の画像を比較し、被検体２０上の同一点（同じ特徴点）２０ａである同一点画素をそれぞれに特定する。例えば、撮像された複数の画像において、略同じ構図で同一の被写体が撮像されていた場合に、各画像で共通する特徴点（同一点２０ａ）を複数個、設定し、それらの特徴点を重ね合わせることで、１つの重ね合わせ画像が形成される。つまり、異なる位置から照射された照明光下で撮像された画像間で同一点画素がそれぞれに確定される。

本実施形態では、第１の画像上の第１の同一点画素（図２（ａ）のＸＡ１）とは、その同一点における第１の光学情報を検出する画素であり、第２の画像上の第１の同一点画素（図２（ｂ）のＸＡ２）とは、同じ被検体の共通する同一点における第２の光学情報を検出する画素である。また、１つの画像内で複数のＪ個（Ｊ：整数）の同一点が設定されれば、その個数に応じたＪ個の同一点画素が存在する。例えば、１つの画像内に、３箇所の同一点が設定されれば、その複数個に応じた、３個の同一点画素が存在することとなる。これらの同一点画素から後述する被検体遠近情報がそれぞれに算出される。

抽出部２４は、第１の画像と第２の画像とを比較して、画像上の同一点を特定する。同一点の特定には、様々な手法を適用することが可能である。
一例として、１つの撮像素子で撮像した２つの画像間で被検体の位置がずれていた場合には、それぞれの画像上の被検体の共通の特徴点（同一点）を抽出する画像処理を行う。後述する図４（ｃ）に示すように、それらの特徴点が重なるように２枚の画像の位置関係を特定することで、２つの画像間の同一点を特定することができ、対応する撮像素子４の同一点画素が選択される。

他の例として、第１の照明光と第２の照明光との発光タイミングを、挿入部２の先端面２ａの移動速度より十分に早いタイミングで切り替えることで、殆ど移動していない状態で連続して撮像される。また、先端面２ａは、観察しながら移動させているため、一般的に移動速度が遅い。よって、撮像された画像において、互いの被検体の同一点が、第１の画像上の画素の位置と第２の画像上の画素の位置が略一致している。

次に、図２（ａ），（ｂ），（ｃ）を参照して、第１の画像と第２の画像を重ね合わせたときの同一点画素（素同一点由来画素）について説明する。
これらを組み合わせ、同じ被検体における画像上の画素を仮の同一点として、画像処理等により位置を微調整するようなアルゴリズムを用いることが可能である。短時間で連続撮像された第１の画像と第２の画像は、被検体に対する撮像素子がほぼ等しい位置で撮像された２枚の画像である。このため、図２（ａ），２（ｂ）に示すように、少なくとも２組の特徴点（第１の特徴点：ＸＡ１，ＸＢ１），（第２の特徴点：ＸＡ２，ＸＢ２）が、共に同一点として抽出された場合、第１の画像と第２の画像を、これらの２組の特徴点（ＸＡ１とＸＡ２，ＸＢ１とＸＢ２）が重なるように配置する。

この重ね配置は、重なり合う２つの画像がほぼ同じ構図で同一の被検体であるため、図２（ｃ）に示すように、これらの特徴点も一致して２点（ＸＡ，ＸＢ）に重なり合う。従って、重ね画像内で、全ての特徴点が２つの画像の同一点として設定することができ、それらの同一点を撮像する画素を同一点画素となる。ここで、特徴点ＸＡ１，ＸＢ１，ＸＡ２，ＸＢ２をそれぞれ撮像する画素を第１画像第１同一点画素（ＸＡ１）、第１画像第２同一点画素（ＸＢ１）、第２画像の第１同一点画素（ＸＢ２）、及び第２画像第2
同一点画像（ＸＢ２）とする。さらに、複数個Ｊ（Ｊ：整数）の同一点がある場合には、第１画像第Ｊ同一点由来画素及び、第２画像第Ｊ同一点由来画素とする。

次に、演算部２５は、抽出部２４から出力された第１の画像の第１の光学情報及び第２の画像の第２の光学情報とを比較演算し、特徴点である被検体の同一点（又は、任意の測定部位）を抽出する。本実施形態では、第１、第２の画像の同一点画素の光学情報の１つである、光量情報に基づいて抽出する。その抽出方法は、公知な画像貼り合わせ手法に用いられている特徴点の検出方法を利用することができる。検出方法として、例えば、一方の画像上で、特徴画素とその周辺画素による画素群を設定して、それらの画像信号値又は光量値によるパターンを生成し、他方の画像に対して、そのパターンに合致する画素群を検索するパターン検出も手法の１つである。

図３は、観察システム１が被検体２０に距離Ｌ１に近接する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。図４は、観察システム１が被検体２０に距離Ｌ２に遠隔する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。図５は、第１の照明光と第２の照明光が被検体に照射された際の平坦な表面からの反射光量による高低を概念的に示す図である。

図３及び図４においては、それぞれの白色照明光の拡散光のうちの１つの光線を実線及び点線により示している。さらに、それぞれの照明光３０Ｉ，３１Ｉの入射角度と線対称となる反射側に、反射光３０Ｒ，３１Ｒの光軸に沿った滴型を成す配光分布（配光情報）３２，３３を示している。この配光情報は、光源の照射方向と光強度の関係であり、記録部２３に画像に関する情報の１つとして記録されている。

演算部２５は、抽出された同一点２０ａに対応づけられた同一点画素に対して、第１の画像における光量情報である受光量Ｐ１（反射光３０Ｒ）と、第２の画像における光量情報である受光量Ｐ２（反射光３１Ｒ）とを抽出し、その比である光量比情報Ｐ１／Ｐ２を求める。この光量比情報Ｐ１／Ｐ２は、第１の照射窓１２から照射された光が同一点２０ａで反射散乱され、撮像素子４に入射する光量と、第２の照射窓１３から照射された光が前記同一点で反射され、撮像素子に入射する光量との比である。

次に、その光量比情報Ｐ１／Ｐ２に基づいて、同一点画素ごとにグルーピングする。例えば、Ｐ１／Ｐ２＞１…第１グループ、Ｐ１／Ｐ２≒１…第２グループ（等光量比）、Ｐ１／Ｐ２＜１…第３グループの３個に分割する。

ここで、光量比情報Ｐ１／Ｐ２の比が第２グループの「１」（絶対値）又は「略１」であった場合、即ち、２つの同一点画素が等光量比である同一光量画素であった場合には、図５に示すように、照射窓が配置された挿入部２の先端面（平面）に対して、被検体の表面の同一点が平行に対向することとなり、且つ表面の同一点が平面部であることが推定される。このように、光量比は、表面が平坦か否かを推定できるが、その光量の大きさでないため、距離についての遠近は推定できない。これらの平坦部の高低、即ち撮像素子４からの被検体までの距離は、前述した三角測距方式等を用いて、撮像素子４が検出した光量から算出することができる。

演算部２５は、等光量比情報Ｐ１／Ｐ２≒１の第２グループに含まれる複数の同一点２０ａについて、Ｐ１（≒Ｐ２）における光量の絶対値により大小関係を比較する。Ｐ１（≒Ｐ２）の光量の大きさは、撮像素子４と被検体２０上の同一点２０ａとの距離の遠近と関係している。すなわち、Ｐ１（≒Ｐ２）の大小関係を比較したとき、光量が大きい同一点ｄ１の方が、小さい同一点ｄ２より撮像素子４に近く、距離Ｌが短いことが分かる。

従って、演算部２５は、撮像素子４が検出した光量に基づき、撮像素子４から被検体２０までの相対的な距離関係である被検体遠近情報を算出する。さらに、表面形状推定部２６は、この被検体遠近情報及び、記録部２３から読み出された同一点が関係づけられた画像から、被検体の観察箇所の凹凸状態を推定し、遠近（凹凸）強調による画像の３次元画像化を行う。尚、照明光から照射した光が物質（例えば表層の組織等）に当り反射したときの配光情報を予め取得して記録部に蓄積したデータを使用する。この配光情報は、予め測定可能な各物質（血管等も）におけるデータを検出して、蓄積しておく。蓄積データに格納される物質が傾いていれば、照明光からの反射光の配光も傾き、撮像素子で受光する成分の光量の強度が変わるため、その部位（物質）が傾いていることが認識でき、隣り合う画素との関係から表面の凹凸が補正できる。

ここで、平面部のみを推定した場合には、図５においては、撮像素子４が検出した光量の違いから平面部ｄ１が平面部ｄ２よりも高く頂部側であり、平面部と平面部の間、例えば、平面部ｄ１と平面部ｄ２の間は、平面部ｄ２が底部側となる凹凸状態を有しており、その間は、傾斜部で繋げられていると推定する。

次に、図６及び図７を参照して、平面部と平面部の間の傾斜部について説明する。
図６は、挿入部２の先端面２ａと被検体２０の表面とが傾斜して対向していた場合の２つの反射光における光量の関係を示す図である。図７は、第１の照明光と第２の照明光の反射光量の比による被検体の表面の傾斜を概念的に示す図である。

第１グループのＰ１／Ｐ２＞１及び、第３グループのＰ１／Ｐ２＜１の場合について説明する。
図６に示すように、先端面２ａと被検体２０の表面とが傾斜して対向する状態であった場合には、被検体２０の反射及び散乱光量の割合が、撮像素子４の撮像視野方向（図６の矢印３４）である観察軸に対する照明光の入射方向に依存して変化する。観察軸は、撮像素子の観察方向、一般的には先端の平面に対する垂線となる。この観察軸から被検体の観察表面がどのくらい傾いているかを観察軸傾斜角として表すことにする。

つまり、被検体が撮像素子の受光面に対して、観察軸傾斜角を有していた場合、第２の照明光の反射光量に較べて、第１の照明光の反射光量の方が反射角は小さくなる。この反射角が小さくなることで、観察軸３４に対して、第１の照明光３０Ｉの反射光３０Ｒが配光分布の光量の高くなる部分を近づけて撮像素子４の受光面に入射する。反対に、反射角が大きくなることで、第２の照明光３１Ｉの反射光３１Ｒは、観察軸３４に対して配光分布の光量の高くなる部分を遠ざけて撮像素子４に入射する。これにより、傾斜があることで撮像素子４に受光される第１の反射光３０Ｒの光量３２が第２の反射光３１Ｒの光量３３よりも大きくなる。つまり、Ｐ１とＰ２とが異なるようになり、Ｐ１／Ｐ２が１以外となる。

図６においては、第２の反射光量３１Ｒに較べ、第１の反射光量３０Ｒが大きいことで、被検体２０の傾きは右側（反射光量が高い光源位置の反対側）が高い位置にあると推測できる。
つまり、図７に示すように、第３グループのＰ１／Ｐ２＜１が得られた場合には、傾斜部ｄ５の傾斜状態となる。反対に、第１グループのＰ１／Ｐ２＞１におけるＰ１／Ｐ２が１より大きい場合は、傾斜部ｄ４のように、傾斜部ｄ５とは、逆方向の傾斜状態となる。これらは、繋がる平面部どうし、例えば、平面部ｄ２に対する平面部ｄ１と平面部ｄ３の高低差によって傾斜角度が変わっており、この傾斜角度は、Ｐ１とＰ２の光量差により推定することも可能である。

本実施形態では、演算部２５は、被検体の平面部の同一点２０ａとして、光量比情報Ｐ１／Ｐ２≒１となる、すなわちＰ１とＰ２が互いに略等しい画素（同一光量の画素とする）を第２グループとして抽出する。さらに、第２グループの画素から得られた第１の被検体遠近情報から被検体の平面部を推定する。また、図7に示したように、等光量比画素が１／１と異なる、例えば、１／２の箇所でも遠距離情報を取得することにより、１／１の箇所に１／２の箇所も加えることでさらに詳細な遠距離情報を取得することもできる。

次に、演算部２５は、第２グループの画素を除く画素を対象として、被検体のすべて又は、その一部の表面に対して、複数の同一点２０ａを設定する。撮像されたそれらの同一点２０ａにおける同一点画素の光量を用いて、それぞれの相対的な距離関係である第２の被検体遠近情報を算出する。この第２の被検体遠近情報により推定される面は、第２グループの画素が含まれていない、即ち、被検体２０の平面部が含まれていないため、いずれかの方向に傾斜している傾斜部であることがわかる。

そこで、第２グループによる平面部と平面部の間を、第２の被検体遠近情報から求められた傾斜部でスムーズに接続して、図７に示すように、被検体の凹凸状態を推定することができる。さらに、表面形状推定部２６は、記録部２３に記録されている画像を読み出して、算出した被検体遠近情報を画像全体、またはその一部に反映させて、遠近（凹凸形状）を強調して立体化する画像の３次元画像化を行い、表示部６に出力する。

図８（ａ）は、観察システムを搭載した内視鏡により撮像した被検体の遠近強調前の２次元画像の観察画面を示すイメージ図、図８（ｂ）は、本実施形態の３次元画像生成部５を有する観察システム１を搭載した内視鏡により撮像した被検体の遠近強調後の３次元画像の観察画面を示すイメージ図である。

図８（ａ），８（ｂ）においては、例えば、腸等の襞のように筋状に盛り上がった部位４１に対して、被検体遠近情報から推定した立体形状による遠近（凹凸）強調を行うことで、観察部位又は処置対象部位を立体的に表示させることができる。図８（ｂ）に示すように、凹凸が強調された部位４２ａや、図８（ａ）では確認できなかった凹凸強調前の部位４２ｂが見えやすくなっている。このような３次元化された画像表示により、術者や観察者に部位間の距離感や立体感を与えることができ、処置対象部位の把持操作や処置操作を行う際に掛かる負担を軽減でき、且つ観察時の診断や判断を補助することができる。

さらに、本実施形態では、ＲＧＢベイヤ配列の原色撮像素子を用いているため、第１、第２の画像の受光量Ｐ１，Ｐ２はＲＧＢの各色について、分光された色情報として、Ｐ１−Ｒ、Ｐ１−Ｇ、Ｐ１−Ｂ、Ｐ２−Ｒ、Ｐ２−Ｇ、Ｐ２−Ｂの情報が検出できる。これらをＰ１、Ｐ２ごとに足し合わせたものを光量情報として用いても良い。また、被検体の分光反射率が高い色画素の情報（分光反射率情報）を用いてもよい。被検体が生体である医療用内視鏡の場合、生体の分光反射率は赤色が高いため、Ｐ１−Ｒ、Ｐ２−Ｒは他の色の光量情報より値が大きくなる。従って、赤色の光量情報のみを用いることで、より精度の高い被検体遠近情報を得ることが可能となる。

また、測定対象となる内部の血管や表層の組織等の物質に対して、予め実測した測定値や文献等で開示されている数値を分光反射率情報として取得し、記録部２３に記憶しておく。実測で取得した部位（又は、物質）の分光反射率情報と、記録部２３に記憶されている分光反射率情報とを比較して、例えば、表面なのか内部なのか推定して遠近情報を補正することが可能である。

次に、図９に示すフローチャート及び図１０に示すタイミングチャートを参照して、遠近（凹凸）強調の表示について説明する。
まず、発光制御部７により第１の光変換ユニットと第２の光変換ユニットの照射のタイミングを異なるように制御する。最初に、発光制御部７は、第１の照明光３０Ｉを被検体２０の観察箇所に照射させて［図１０（Ａ）］、撮像素子４は、被検体２０からの反射光３０Ｒを受光し、第１の撮像信号を画像処理部２２へ出力する［図１０（Ｃ）］（ステップＳ１）。画像処理部２２は、第１の撮像信号から受光した反射光による第１の反射光量を算出して記録部２３に画像データと共に記録する［図１０（Ｄ）］（ステップＳ２）。

続いて、発光制御部７は、第２の照明光３１Ｉを被検体２０の観察箇所に照射させて［図１０（Ｂ）］、撮像素子４は、被検体２０からの反射光３１Ｒを受光し、第２の撮像信号を画像処理部２２へ出力する［図１０（Ｃ）］（ステップＳ３）。画像処理部２２は、第２の撮像信号から受光した反射光による第２の反射光量を算出して記録部２３に画像データと共に記録する［図１０（Ｄ）］（ステップＳ４）。

次に、抽出部２４は、記録部２３から読み出した第１の反射光量の画像の画素と、第２の反射光量の画像の画素との比較を行い、観察箇所内の同一点画素を抽出する［図１０（Ｅ）］（ステップＳ５）。
演算部２５は、抽出された同一点画素の光量情報の比であるＰ１／Ｐ２≒１となる観察箇所（平面部）について被検体遠近情報を算出する［図１０（Ｆ）］。また、引き続き、前述した傾斜部を算出してもよい。さらに、表面形状推定部２６は、算出された被検体遠近情報から被検体の観察箇所の表面形状を推定し［図１０（Ｇ）］、記録部２３から読み出された画像に対して凹凸強調の画像処理を行う（ステップＳ６）。表示部６は、凹凸強調された観察箇所の画像を表示する（ステップＳ７）。

以上説明した本実施形態によれば、１つの撮像素子に対して等距離離れた位置の複数の光源から、異なる発光タイミングで被検体に照明光を照射し、それぞれの反射光量で撮像された画像の画素情報を比較して、少なくとも１つの複数の被検体の同一部位を特定し、各部位における各光源の反射光の比率（第１の反射光量／第２の反射光量）がほぼ等しい反射光量比の絶対値の大小に基づいて、被検体の遠近情報を取得する。その部位の表面が粘液で濡れていて乱反射しても、異なる２つ以上の光源からの反射スペクトルが同一となる部位は同一平面であると認識することができる。また、光量比率（第１の反射光量／第２の反射光量）が、ほぼ同じ部位または異なる部位の傾斜の関係を計測し、光量比率の大小に基づいて、傾斜の傾きを特定することで簡易的に被検体の遠近（凹凸）状態を推定することができる。

さらに、図７に示したように、検出した平面部と傾斜部の位置を認識し、傾斜方向を考慮して隣り合う部位をつなぎ合わせることで、各部位の遠近（凹凸）情報を推測し、被検体をより詳細な３次元表示にすることが可能になる。

本実施形態によれば、従来であれば、各種の色素剤の散布を行い、その反応を観察する「色素法」が必要であった場面に対して、色素剤の散布不要で、簡単且つ確実に遠近（凹凸）強調が実現できる。色素剤を散布をしないことから、元々の組織の通常観察を継続でき、さらに、既存の内視鏡の使用形態や構造に大きな変更を強いることがないため、信頼性及びコスト面でも優れている。

さらに、色素剤の散布に対する術者への処置の負担を軽減すると共に、観察対象が立体化されることで処置部位に対して、距離感を取ることが容易となり、処置時間が短縮でき、患者への負担も低減できる。

尚、本実施形態では、同一点画素（同一点由来画素）としては、撮像素子の１画素に定義しているが、１画素に限定されるものではない。例えば、撮像素子の複数の撮像画素（画素郡）をまとめ、画素郡が検出した光量情報を用いて被検体遠近情報を求めることが可能である。例えば、３×３の画素をひとつの画素郡としたとき、これらの画素郡を構成する個別画素の検出した光量情報の和を画素郡の検出した光量情報と定義する。これにより、それ以降の手法は上述した実施形態と同様に処理することで被検体遠近情報を算出し、被検体の表面形状の推定することが可能となる。

また、画素郡が、検出可能な分光領域が異なる画素を有している場合、同じ分光領域を有する個別画素のみの和を画素郡の検出した光量情報とすることで、同様の被検体遠近情報や被検体の表面形状を算出、推定することが可能となる。

また、第１の照射窓と第２の照射窓と撮像素子との端面の位置関係は、撮像素子を中心として対称に等間隔で第１の照射窓と第２の照射窓と配置した実施形態について説明したが、第１の照射窓と第２の照射窓とを結ぶ軸から撮像素子をずらした場合でも、第１の照射窓と第２の照射窓からの照射した光量比や、第１の照射窓と第２の照射窓と撮像素子との距離の関係を補正して画像を取得してもよい。

さらに、第１の変形例として、演算部２５は、被検体２０の凹凸形状である被検体遠近情報を算出する場合、第１の反射光量と第２の反射光量とを撮像素子４で検出する際に、撮像素子４の平坦な受光面に対する被検体２０の表面形状の傾きを、隣接する画素が出力する光量の値を順次つなぎ合わせた傾き情報として、その傾き情報に基づき、画像が遠近（凹凸）強調画像に画像処理して、３次元画像を作成して表示することも可能である。

第２の変形例として、各画素のＲＧＢ比率のような色情報から、同じ色情報の被検体２０の種類を特定し、部位の情報の精度を向上させることも可能である。さらに、ＲＧＢ光源に限らない構成、例えば、カラーフィルタが設けられていない撮像素子４と、Ｒ光、Ｇ光、Ｂ光を２つの照射窓から交互に照射する面順次方式を用いて、撮像素子４が得る六つの画像（第１のＲ光画像、第２のＲ光画像、第１のＧ光画像、第２のＧ光画像、第１のＢ光画像、第２のＢ光画像）の組み合わせを用いて、これらの色情報から被検体２０の種類を特定し、部位の情報の精度を向上させることができる。

第３の変形例について説明する。前述した第１の実施形態では、観察箇所として光量比Ｐ１／Ｐ２≒１となる、同一光量の画素を用いたが、Ｐ１／Ｐ２≒α（αは所定の正の数）の異なる光量の画素を用いることかできる。前述した第１の実施形態では、観察軸に対し直交する面を観察箇所としたが、本変形例では、観察軸に対して任意の傾斜角を有する面を観察箇所として抽出する。この光量比の設定により、被検体２０の観察面が観察軸に対して傾き、Ｐ１／Ｐ２≒１となる同一点画素がほとんど得られない場合でも、十分な画素数の同一点画素を得ることが可能となる。このαの値は、被検体の表面の観察軸に対する傾斜角に基づいて設定することが望ましい。

［第２の実施形態］
第２の実施形態に係る観察システムは、前述した第１の実施形態の構成と同等であり、同じ構成部位には同じ参照符号を付して、その説明を省略する。
図１１は、第２の実施形態に係る観察システム１が被検体２０に距離Ｌ／２に近接する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。図１２は、観察システム１が被検体２０に距離Ｌに遠隔する状態で照明光から被検体遠近情報を取得する概念的な配置例を示す図である。

前述した第１の実施形態では、Ｐ１／Ｐ２≒１となる同一光量の画素（同一点由来画素）に対して、その受光量の大小関係に従って被検体遠近情報を算出した。
光源ユニット３と被検体２０が近距離にあった場合、その距離に比例して、反射光量Ｐ１も大きくなる。例えば、図１１には、撮像素子４と被検体２０との距離がＬ／２の例を示す。反対に、光源ユニット３と被検体２０が遠距離にあった場合、その距離に比例して、反射光量Ｐ２も小さくなる。図１２には、例えば、撮像素子４と被検体２０との距離がＬの例を示す。

このとき、撮像素子４と被検体２０が、照明光を散乱するときの散乱モードを等方散乱と仮定すると、同一光量画素の受光する受光量は、撮像素子４と被検体２０上の同一点２０ａとの距離の二乗に反比例して小さくなる。図１３に示すように、距離は、同一光量画素が受光する受光量の平方根の逆数に比例した値として算出することができる。例えば、距離Ｌが２倍になると、測定できる光量は１／４倍になる。光量を平面積と捉えると、有限の大きさの撮像素子４で受光できる光量は、距離に対して反比例の関係になる。また、被検体２０が当方散乱でない場合であっても、上述の手法により、おおよその相対的な距離情報を知ることが可能となる。
以上のように、本実施形態によれば、前述した第１の実施形態の作用効果に加えて、さらに精度の高い表面形状や凹凸強調画像を得ることが可能となる。

［第３の実施形態］
図１４，図１５を参照して、第３の実施形態に係る観察システムについて説明する。前述した第１、第２の実施形態では、２つの照射窓が受光窓を中心として、直径方向に略同一距離を離れて対称に配置された構成例を示したが、これら窓の配置はこれに限定されるものではない。第３の実施形態に係る観察システムは、光源ユニットが３つ以上の照射窓を有する観察システムである。本実施形態の光源ユニット以外の構成部位は、第１の実施形態の構成と同等であり、同じ構成部位には同じ参照符号を付して、その説明を省略する。

図１４に示す本実施形態の光源ユニット３は、挿入部２の先端面２ａに、１つの受光窓を１１を中心として、等距離で３つの照射窓１３，１４，５１が配置された構成例である。これらの３つの照射窓１３，１４，５１のうち、適切な２つの照射窓を選択して、前述した第１の実施形態と同等の３次元画像化の処理を行う。
また、図１５に示すように、３つ以上の照射窓から照射される複数の照明光について、それぞれの光量情報を用い、前述した手法を用いて、被検体遠近情報を得ることも可能である。

例えば、３つの照射窓１３，１４，５１が配置された場合、Ｐ１＝Ｐ２＝Ｐ３となるように画素を同一光量画素と定義することで、３つの照射窓１３，１４，５１と撮像素子４との位置関係から規定される観察軸に対し略垂直な平面と平行な画素を観察箇所として抽出することが可能となる。
また、観察軸に対して傾斜した場合についても、常に（Ｐ１：Ｐ２：Ｐ３≒１：β：γ）となるような画素を観察箇所として抽出することが可能となる。

このようにすることで、２つの照射窓のみを用いる場合と比較して、より高精度な被検体遠近情報を得ることができる。また、撮像素子に対する光源の配置が２次元的な広がりを有するため、２つの照射窓のみを有する構成では、光源の配列方向の相対距離情報を高精度で検出できるが、それと直交する方向に対しては精度がやや低下するのに対し、３つ以上の照射窓を有する構成では、あらゆる方向に対し、相対距離情報を高精度で検出することが可能となる。

以上のように、本実施形態によれば、これらの３つの照射窓１３，１４，５１のうち、適切な２つの照射窓を選択することで、前述した第１の実施形態と同等の効果を得ることができる。さらに、３つ目の照射窓５１がさらに加わることで、異なる方向（ｙ）から照射された照明光下で撮像された画像が増えて、さらに、多くの被検体遠近情報を取得することができ、詳細な３次元画像を推定することができる。

次に、第３の実施形態の変形例について説明する。
この変形例は、観察システムが、４つ以上の照射窓を配置する構成である。
構成例については、照明窓が複数個、配置されたそれぞれに照明光を照射する構成以外は、図１及び図１４に示す構成で実現することができる。
例えば、内側に撮像素子４が配置された１つの受光窓１１を介して、被検体２０の画像を撮像する。受光窓１１を略中心として、近傍には、複数の照射窓が配置される。発光制御部７は、光源装置が発生させた同一の光学特性の照明光を複数の照射窓から選択的に順次、被検体２０へ照射する。撮像素子４は、選択的に順次照射された照明光下で、照明光毎に撮像された複数の画像を取り込み、画像処理部２２に撮像信号として出力する。画像処理部２２は、各画像に含まれる光学情報を生成し、光学情報をその画像に関係づけて記録部２３に記録させる。

同一由来画素抽出部２４は、制御部２１の制御に従い、記録部２３から複数の画像を読み出して、順次、被検体２０上の同じ特徴点（ＸＡ等）を同一点として設定する。具体的には、１つの画像上に、少なくとも２つの仮の特徴点を設定し、他の全ての画像に対して、仮の特徴点が存在するか否かを確認する。全ての画像に、仮の特徴点が存在した場合には、それらの仮の特徴点を同一点に設定する。また、仮の特徴点が全ての画像には、存在していなかった場合には、再度、仮の特徴線を再設定して、存在の確認を行う。全ての画像に存在する特徴点を同一点として設定する。

次に、１つの画像を基準画像として、少なくとも２つの同一点を基準同一点とする。それぞれの画像は、２つの同一点が基準同一点の位置になるように画像全体を移動させることにより、画像の重ね合わせ処理を行う。それらの同一点を撮像した画素を同一点由来画素として抽出し、その画素が出力した光量の値と共に、演算部２５へ出力する。

演算部２５は、同一点撮像画素が出力した光学情報に含まれる光量の値を撮像素子４からの相対的な距離とする被検体遠近情報を算出して、表面形状推定部２６へ出力する。尚、撮像された画像内の同一点画素の光量の値は、記録部２３から演算部２５へ出力してもよい。
表面形状推定部２６は、被検体遠近情報に基づき、画像に共通する複数の同一点をそれぞれ撮像した複数の同一点由来画素が出力した光学情報を対となった画像どうしで比較する。その比較結果が略１の同一点を平面部、又は比較結果が略１を超える同一点を第１傾斜部、又は、比較結果が略１に満たない同一点を第２傾斜部と判定する。これらの判定から平面部及び第１，第２傾斜部に、前に求められている相対的な距離を関連づけて、被検体の表面形状を推定する。表示部６は、表面形状推定部により推定された表面形状による立体的な画像として表示する。

尚、複数の照明下で撮像された複数の画像に対して同一点を設定する他の処理方法について説明する。前述した同一点の設定は、全画像に対して処理を行うため、照明窓の数にもよるが、処理時間を要する場合も想定される。そこで、同一点設定に対して、更なる変形例について説明する。
まず、前述したように、複数の照明窓から連続して順次照射された照明光下で撮像した被検体の画像を取得し、記録部２３に画像を記録する。

次に、これらの画像のうち、受光窓を挟み両側に配置された任意の２つの照明窓による照明下で撮像された２つの画像（画像Ａ，Ｂ）を第１の対の画像とする。これらの２つの照明窓の位置を結んだ直線の方向と交差する任意の方向の直線上に配置された第２の対の照明窓を選択し、これらの照明下で撮像した２つの画像（画像Ｃ，Ｄ）を第２の対の画像とする。

これらの対のそれぞれの画像内に撮像されている被検体２０上の同じ特徴点（ＸＡ等）を同一点として、複数の同一点を設定し、それらの同一点を撮像した画素を同一点由来画素として抽出し、その画素が出力した光量の値と共に、演算部２５へ出力する。
以後の演算部２５による被検体遠近情報を算出及び、表面形状推定部２６による被検体の表面形状を推定するは、前述した変形例と同等である。

従って、観察システムが、３つ以上の照射窓を配置する構成であれば、第１、第２の実施形態と組み合わせることで、その効果を維持したまま、より高精度な被検体遠近情報、及びそれから求められる上述した様々な情報を得ることが可能となる。尚、以上説明した実施形態及び変形例は、一例に過ぎず、発明の趣旨を逸脱しない範囲で様々な変形が可能である。

以上説明した実施形態は、以下の発明の要旨を含んでいる。
（１）受光窓から取り入れた被検体の画像を撮像する撮像素子と、
前記受光窓の近傍に配置され、前記被検体に第１の照明光を照射する第１の照射窓と、前記受光窓に対する前記第１の照射窓の位置と対称となる位置に配置されて前記被検体に前記第１の照明光と同じ光学特性の第２の照明光を照射する第２の照射窓と、前記第１の照明光及び前記第２の照明光を互いに異なるタイミングで発光させる発光制御部と、を備える光源装置と、
前記撮像素子により、前記第１の照明光下で撮像された前記被検体の第１の画像と、前記第２の照明光下で撮像された前記被検体の第２の画像と、を取り込み、
前記第１の画像に含まれる第１の光学情報と前記第２の画像に含まれる第２の光学情報を生成する画像処理部と、
前記画像処理部が出力した画像に関係づけて前記第１の光学情報と前記第２の光学情報を記録する記録部と、
前記第１の画像と前記第２の画像とを比較して、撮像されている被検体上の同じ特徴点を同一点として複数個を見い出し、前記第１の画像上の同一点を第１画像同一点由来画素として、及び前記第２の画像上の前記同一点を第２画像同一点由来画素として対応づけて抽出する同一点由来画素抽出部と、
前記同一点由来画素抽出部により抽出された前記被検体上の複数の同一点の中から設定された第１同一点と第２同一点に対して、
前記第１同一点における第１画像第１同一点由来画素の有する第１の光学情報と、第２画像第１同一点由来画素の有する第２の光学情報と、
前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、をそれぞれに比較して、
前記被検体上の第１同一点と第２同一点の、前記撮像素子からの相対的な距離関係である被検体遠近情報を算出する演算部と、
前記被検体遠近情報に基づいて、前記被検体の表面形状を推定する表面形状推定部と、
前記表面形状推定部により推定された表面形状による立体的な画像として表示する表示部と、
を具備することを特徴とする観察システム。

１…観察システム、２…挿入部、３…光源ユニット、４…撮像素子、４ａ…画像同一点由来画素、５…３次元画像生成部、６…表示部、７…発光制御部、１１…受光窓、１２…第１の照射窓、１３…第２の照射窓、１４，１５…光変換ユニット、１６，１７…光ファイバ、１８…、１９…、２０…被検体、２０ａ…同一点（観察箇所）、２１…制御部、２２…画像処理部、２３…記録部、２４…同一点由来画素抽出部、２５…演算部、２６…表面形状推定部、３０Ｒ，３１Ｒ…反射光、３０Ｉ，３１Ｉ…照明光。

Claims (14)

1. 第１の照明光を照射する第１の照射窓と、
   第２の照明光を照射する第２の照射窓と、を有する光源装置と、
   前記第１、及び第２の照明光に照射された、被検体の画像を撮像する撮像素子と、
   を有する観察システムにおいて、
   前記光源装置は、第１の照明光と、第２の照明光とを、互いに異なるタイミングで発光させる発光制御部を有しており、
   前記第１の照明光と第２の照明光は、互いにほぼ等しい光学特性を有しており、
   前記撮像素子は、
   前記第１の照明光のみによる前記被検体の画像である第１の画像と、
   前記第２の照明光のみによる前記被検体の画像である第２の画像と、を取得可能であり、
   前記第１の画像は、第１の光学情報を、第２の画像は第２の光学情報をそれぞれ含んでおり、
   前記観察システムは、
   第１の光学情報と第２の光学情報を記録する光学情報記録部と、
   前記第１の画像と前記第２の画像を比較して、被検体上の３箇所以上の同一点に由来する、第１の画像上の同一点由来画素である第１画像同一点由来画素と、第２の画像上の同一点由来画素である第２画像同一点由来画素とを、前記３箇所以上のそれぞれの箇所で対応付けて、被検体上の複数の同一点として、第１同一点と第２同一点を抽出する同一点由来画素抽出部と、を有し、さらに、
   前記３箇所以上の前記第１同一点における第１画像第１同一点由来画素の有する、前記同一点由来画素が検出した前記第１の照明光に基づく被検体の第１の光量情報である第１の光学情報と、第２画像第１同一点由来画素の有する、前記同一点由来画素が検出した、前記第２の照明光に基づく被検体の第２の光量情報である第２の光学情報と、
   前記３箇所以上の前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、
   を全ての同一点に対して比較し、Ｊを１以上の整数としたときに、
   第１画像第Ｊ同一点由来画素の第１の光量情報と、第２画像第Ｊ同一点由来画素の第２の光量情報と、の比である光量比情報を演算し、
   前記光量比情報に基づいて、被検体遠近情報を算出する演算部と、
   前記３箇所以上の相対的な被検体遠近情報から前記被検体の表面形状を推定する表面形状推定部と、
   前記表面形状推定部により推定された表面形状が反映された立体的な画像を表示する表示部と、を有し、
   前記第１画像第Ｊ同一点由来画素の第１の光量情報と、前記第２画像第Ｊ同一点由来画素の第２の光量情報との比、が互いに略等しい画素を、等光量比画素としたときに、前記第１、及び第２の画像が、複数の等光量比画素を有している場合、
   前記演算部は、前記複数の等光量比画素の光量情報の大小に基づいて、前記撮像素子からの相対的な距離情報である被検体遠近情報を算出し、
   前記表面形状推定部が前記被検体遠近情報に基づいて、前記被検体の表面形状を推定する、観察システム。
2. 前記等光量比画素のうち、第Ｊ同一点における第１の光量情報と第２の光量情報とが互いに等しい画素を同一光量画素としたときに、
   前記演算部は、前記同一光量画素の光量の絶対値の大小に基づいて、前記被検体と前記撮像素子との距離情報を被検体遠近情報として算出する、請求項１に記載の観察システム。
3. 前記演算部は、前記距離情報を、前記等光量比画素又は同一光量画素のいずれかの受光した光量の絶対値の平方根の逆数に比例した値として算出する、請求項１または２に記載の観察システム。
4. 前記演算部は、前記光量比情報に基づいて、被検体上の同一点の、前記撮像素子と前記第１の照射窓と前記第２の照射窓とにより定義される観察軸に対する観察軸傾斜角を算出する、請求項１に記載の観察システム。
5. 前記演算部は、前記光量比情報が異なり連なる複数の画素について、前記観察軸傾斜角をそれぞれに算出し、異なる観察軸傾斜角を有する画素を、画像上の連なる位置関係に基づいて滑らかに接続し、被検体の表面形状を算出する、請求項４に記載の観察システム。
6. 第１の照明光を照射する第１の照射窓と、
   第２の照明光を照射する第２の照射窓と、を有する光源装置と、
   前記第１、及び第２の照明光に照射された、被検体の画像を撮像する撮像素子と、
   を有する観察システムにおいて、
   前記光源装置は、第１の照明光と、第２の照明光とを、互いに異なるタイミングで発光させる発光制御部を有しており、
   前記第１の照明光と第２の照明光は、互いにほぼ等しい光学特性を有しており、
   前記撮像素子は、
   前記第１の照明光のみによる前記被検体の画像である第１の画像と、
   前記第２の照明光のみによる前記被検体の画像である第２の画像と、を取得可能であり、
   前記第１の画像は、第１の光学情報を、第２の画像は第２の光学情報をそれぞれ含んでおり、
   前記観察システムは、
   第１の光学情報と第２の光学情報を記録し、光源の照射方向と光強度の関係である配光情報を有する光学情報記録部と、
   前記第１の画像と前記第２の画像を比較して、被検体上の３箇所以上の同一点に由来する、第１の画像上の同一点由来画素である第１画像同一点由来画素と、第２の画像上の同一点由来画素である第２画像同一点由来画素とを、それぞれに対応する箇所で対応付けて、被検体上の複数の同一点として、第１同一点と第２同一点を抽出する同一点由来画素抽出部と、を有し、さらに、
   前記３箇所以上の前記第１同一点における第１画像第１同一点由来画素の有する、前記同一点由来画素が検出した前記第１の照明光に基づく被検体の第１の光量情報である第１の光学情報と、第２画像第１同一点由来画素の有する、前記同一点由来画素が検出した、前記第２の照明光に基づく被検体の第２の光量情報である第２の光学情報と、
   前記３箇所以上の前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、
   を全ての同一点に対して比較して、Ｊを１以上の整数としたときに、
   第１画像第Ｊ同一点由来画素の第１の光量情報と、第２画像第Ｊ同一点由来画素の第２の光量情報と、の比である光量比情報を演算し、
   前記光量比情報に基づいて、被検体遠近情報を算出し、前記配光情報に基づいて、前記被検体遠近情報を補正する演算部と、
   前記３箇所以上の相対的な被検体遠近情報から前記被検体の表面形状を推定する表面形状推定部と、
   前記表面形状推定部により推定された表面形状が反映された立体的な画像を表示する表示部と、を有する観察システム。
7. 第１の照明光を照射する第１の照射窓と、
   第２の照明光を照射する第２の照射窓と、を有する光源装置と、
   前記第１、及び第２の照明光に照射された、被検体の画像を撮像する撮像素子と、
   を有する観察システムにおいて、
   前記光源装置は、第１の照明光と、第２の照明光とを、互いに異なるタイミングで発光させる発光制御部を有しており、
   前記第１の照明光と第２の照明光は、互いにほぼ等しい光学特性を有しており、
   前記撮像素子は、
   前記第１の照明光のみによる前記被検体の画像である第１の画像と、
   前記第２の照明光のみによる前記被検体の画像である第２の画像と、を取得可能であり、
   前記第１の画像は、第１の光学情報を、第２の画像は第２の光学情報をそれぞれ含んでおり、
   前記観察システムは、
   第１の光学情報と第２の光学情報を記録し、前記被検体の分光反射率情報を有する光学情報記録部と、
   前記第１の画像と前記第２の画像を比較して、被検体上の３箇所以上の同一点に由来する、第１の画像上の同一点由来画素である第１画像同一点由来画素と、第２の画像上の同一点由来画素である第２画像同一点由来画素とを、それぞれに対応する箇所で対応付けて、被検体上の複数の同一点として、第１同一点と第２同一点を抽出する同一点由来画素抽出部と、を有し、さらに、
   前記３箇所以上の前記第１同一点における第１画像第１同一点由来画素の有する、前記同一点由来画素が検出した前記第１の照明光に基づく被検体の第１の光量情報である第１の光学情報と、第２画像第１同一点由来画素の有する、前記同一点由来画素が検出した、前記第２の照明光に基づく被検体の第２の光量情報である第２の光学情報と、
   前記３箇所以上の前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、
   を全ての同一点に対して比較して、Ｊを１以上の整数としたときに、
   第１画像第Ｊ同一点由来画素の第１の光量情報と、第２画像第Ｊ同一点由来画素の第２の光量情報と、の比である光量比情報を演算し、
   前記光量比情報に基づいて、被検体遠近情報を算出し、前記分光反射率情報に基づいて被検体遠近情報を補正する演算部と、
   前記３箇所以上の相対的な被検体遠近情報から前記被検体の表面形状を推定する表面形状推定部と、
   前記表面形状推定部により推定された表面形状が反映された立体的な画像を表示する表示部と、を有する観察システム。
8. 第１の照明光を照射する第１の照射窓と、
   第２の照明光を照射する第２の照射窓と、を有する光源装置と、
   前記第１、及び第２の照明光に照射された、被検体の画像を撮像する撮像素子と、
   を有する観察システムにおいて、
   前記光源装置は、第１の照明光と、第２の照明光とを、互いに異なるタイミングで発光させる発光制御部を有しており、
   前記第１の照明光と第２の照明光は、互いにほぼ等しい光学特性を有しており、
   前記撮像素子は、照明光を波長に基づいて分光検出可能な分光検出撮像素子であり
   前記第１の照明光のみによる前記被検体の画像である第１の画像と、
   前記第２の照明光のみによる前記被検体の画像である第２の画像と、を取得可能であり、
   前記第１の画像は、第１の光学情報を、第２の画像は第２の光学情報をそれぞれ含んでおり、
   前記観察システムは、
   第１の光学情報と第２の光学情報を記録する光学情報記録部と、
   前記第１の画像と前記第２の画像を比較して、被検体上の同一点に由来する、第１の画像上の同一点由来画素である第１画像同一点由来画素と、第２の画像上の同一点由来画素である第２画像同一点由来画素とを対応付けて、被検体上の複数の同一点として、第１同一点と第２同一点を抽出する同一点由来画素抽出部と、を有し、さらに、
   前記第１同一点における第１画像第１同一点由来画素の有する第１の光学情報と、第２画像第１同一点由来画素の有する第２の光学情報と、
   前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、
   を比較して、被検体上の第１同一点と第２同一点の、前記撮像素子が受光した光学情報のうち、所定の波長域の光量情報である所定波長域光量情報に基づいて相対的な距離関係である被検体遠近情報を算出する演算部と、
   前記被検体遠近情報から被検体の表面形状を推定する表面形状推定部と、
   前記表面形状推定部により推定された表面形状が反映された立体的な画像を表示する表示部と、
   を有する、観察システム。
9. 前記所定の波長域は、前記被検体の分光反射率が高い領域である、請求項８に記載の観察システム。
10. 前記第１画像第Ｊ同一点由来画素は、複数の画素により構成された画素郡であり、前記第１画像第Ｊ同一点由来画素と、前記第２画像第Ｊ同一点由来画素とは、同一の画素数、画素配置であり、前記第１、及び第２の光学情報は、前記画素郡の画素構成に基づいて、前記演算部により算出される、請求項１に記載の観察システム。
11. 前記第１、及び第２の光学情報は、前記画素郡を構成する個々の画素の光学情報の和である、請求項１０に記載の観察システム。
12. 第１の照明光を照射する第１の照射窓と、
    第２の照明光を照射する第２の照射窓と、を有する光源装置と、
    前記第１、及び第２の照明光に照射された、被検体の画像を撮像する撮像素子と、
    を有する観察システムにおいて、
    前記光源装置は、第１の照明光と、第２の照明光とを、互いに異なるタイミングで発光させる発光制御部を有しており、
    前記第１の照明光と第２の照明光は、互いにほぼ等しい光学特性を有しており、
    前記撮像素子は、照明光の波長に基づいて分光検出可能な分光検出撮像素子であり、
    前記第１の照明光のみによる前記被検体の画像である第１の画像と、
    前記第２の照明光のみによる前記被検体の画像である第２の画像と、を取得可能であり、
    前記第１の画像は、第１の光学情報を、第２の画像は第２の光学情報をそれぞれ含んでおり、
    前記観察システムは、
    第１の光学情報と第２の光学情報を記録する光学情報記録部と、
    前記第１の画像と前記第２の画像を比較して、被検体上の３箇所以上の同一点に由来する、第１の画像上の同一点由来画素である第１画像同一点由来画素と、第２の画像上の同一点由来画素である第２画像同一点由来画素とを、それぞれに対応する箇所で対応付けて、被検体上の複数の同一点として、第１同一点と第２同一点を抽出する同一点由来画素抽出部と、を有し、さらに、
    前記３箇所以上の前記第１同一点における、複数の画素により構成され、検出可能な分光領域が異なる画素を含む画素郡である第１画像第１同一点由来画素の有する、前記同一点由来画素が検出した前記第１の照明光に基づき、前記分光領域が等しい個々の画素の和として算出される被検体の第１の光量情報である第１の光学情報と、前記第１画像第１同一点由来画素と同一の画素数、画素配置である第２画像第１同一点由来画素の有する、前記同一点由来画素が検出した、前記第２の照明光に基づき、前記分光領域が等しい個々の画素の和として算出される被検体の第２の光量情報である第２の光学情報と、
    前記３箇所以上の前記第２同一点における第１画像第２同一点由来画素の有する第１の光学情報と、第２画像第２同一点由来画素の有する第２の光学情報と、
    を全ての同一点に対して比較して、Ｊを１以上の整数としたときに、
    第１画像第Ｊ同一点由来画素の第１の光量情報と、第２画像第Ｊ同一点由来画素の第２の光量情報と、の比である光量比情報を演算し、
    前記光量比情報に基づいて、被検体遠近情報を算出する演算部と、
    前記３箇所以上の相対的な被検体遠近情報から前記被検体の表面形状を推定する表面形状推定部と、
    前記表面形状推定部により推定された表面形状が反映された立体的な画像を表示する表示部と、を有する観察システム。
13. 前記光源装置は、３つ以上の照射窓を備え、前記照射窓の２つを選択して、照明光を照射し、撮像された画像から被検体遠近情報を算出することを特徴とする請求項１乃至１２のうちのいずれか１項に記載の観察システム。
14. １つの受光窓から取り入れた被検体の画像を撮像する撮像素子と、
    前記受光窓の近傍に配置され、前記被検体に同一の光学特性の照明光をそれぞれに照射する複数の照射窓と、
    前記複数の照射窓から選択的に順次、前記照明光を照射させる発光制御部と、を備える光源装置と、
    選択的に順次照射された照明光下で、前記撮像素子により、照明光毎に撮像された複数の画像を取り込み、前記画像の光量を含む光学情報を生成する画像処理部と、
    前記画像処理部が出力した画像に関係づけて前記光学情報を記録する記録部と、
    読み出した前記複数の画像内に撮像されている前記被検体上の共通の特徴点を同一点として、各画像内に複数の同一点を設定し、それらの同一点を同一点由来画素として抽出する同一点由来画素抽出部と、
    前記同一点由来画素の前記光学情報による光量の値から前記撮像素子からの相対的な距離とする被検体遠近情報を算出する演算部と、
    前記複数の同一点をそれぞれ撮像した複数の同一点由来画素の光学情報による光量の比をとり、前記比の結果が略１の同一点を平面部、前記比の結果が略１を超える同一点を第１傾斜部、及び前記比の結果が略１に満たない同一点を第２傾斜部と判定して、
    前記平面部及び前記第１，第２傾斜部に前記相対的な距離を関連づけて繋ぎ、前記被検体の表面形状を推定する表面形状推定部と、
    前記表面形状推定部により推定された表面形状による立体的な画像として表示する表示部と、
    を具備することを特徴とする観察システム。