JP6656611B2 - ３次元形状計測装置、診断システム及び３次元形状計測方法 - Google Patents

Description

本発明は、３次元形状計測装置、診断システム及び３次元形状計測方法に関する。

従来より、体腔内の管腔に長尺状の内視鏡挿入部を挿入し、観察部位の診断や処理を行うことができる内視鏡が用いられている（例えば、特許文献１参照）。内視鏡による診断では、観察部位である腫瘍などの病変の形状や大きさを計測することが重要である。観察部位の形状と大きさを計測するために、アクティブステレオ法に基づいた３次元内視鏡システムが開発されている（例えば、非特許文献１参照）。この３次元内視鏡システムは、生体組織に計測用パターンの投影像を投影するパターンプロジェクタを有しており、パターンプロジェクタによって観察部位に投影された計測用パターンを撮像し、三角測量の原理に基づくアクティブステレオ法を用いて、観察部位の三次元形状を計測している。

特開２０１１−２００３４１号公報

H. Aoki, R. Furukawa, M. Aoyama, S. Hiura, N. Asada, R. Sagawa, H. Kawasaki, S. Tanaka, S. Yoshida, and Y. Sanomura, Proposal on 3-d endoscope by using grid-based active stereo" in EMBC, 2013, pp. 5694-5697.

しかしながら、上記非特許文献１に開示された３次元内視鏡システムでは、内視鏡の先端の外にパターンプロジェクタが取り付けられている。これにより、内視鏡全体の直径が大きくなる。また、内視鏡の外側に異物が付加されている形になる。診断時の患者の負荷とリスクを考慮すれば、内視鏡全体の直径は小さいほどよく、また内視鏡外部への器具の付加は避けた方がよい。

また、アクティブステレオ法を用いて３次元形状を計測するには、内視鏡のカメラとパターンプロジェクタとの視差を正確に求める必要がある。

本発明は、上記実情に鑑みてなされたものであり、患者の負荷及びリスクを低減しつつ、観察部位の３次元形状、あるいはその大きさを正確に計測することができる３次元形状計測装置、診断システム及び３次元形状計測方法を提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る３次元形状計測装置は、
内視鏡の鉗子孔に挿通され、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材を有し、前記部材の開口端からレーザ光による計測用パターンの投影像を観察部位に投影するパターンプロジェクタと、
前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタの前記カメラからの相対位置情報を校正するキャリブレーション部と、
前記キャリブレーション部で校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の３次元形状を算出する算出部と、
を備える。

前記キャリブレーション部は、
前記内視鏡が被検者の体内に挿入される前に、前記内視鏡のカメラによって撮像された撮像データに基づいて、前記パターンプロジェクタの前記カメラからの相対位置と、前記マークの位置情報を、前記パターンプロジェクタの基準位置の情報として算出し、
前記内視鏡が被検者の体内に挿入され前記計測用パターンの投影像が前記観察部位に投影された状態で前記内視鏡のカメラによって撮像された撮像データに基づいて、前記マークの位置情報の前記基準位置からの変化量を算出し、
前記算出部は、
前記パターンプロジェクタの基準位置の情報及び前記変化量に基づいて、前記パターンプロジェクタの校正された相対位置を利用して、前記観察部位の３次元形状を算出する、
こととしてもよい。

前記キャリブレーション部は、
前記鉗子孔の軸心の方向への並進量及び前記軸心を中心とする回転角度に関する前記マークの位置情報を算出する、
こととしてもよい。

前記キャリブレーション部は、
校正された前記相対位置に残る誤差を、前記計測用パターンと前記撮像データのエピポーラ拘束の誤差を補正することで修正する、
こととしてもよい。

前記パターンプロジェクタは、
前記内視鏡の鉗子孔に挿通され、前記レーザ光を導光する光ファイバと、
前記円筒状の部材に内包され、前記光ファイバで導光された前記レーザ光の光路上に配置された前記計測用パターンが形成されたパターンチップと、
前記円筒状の部材に内包され、前記パターンチップを介した前記レーザ光による前記計測用パターンの投影像を投影する投影レンズと、
を備える、
こととしてもよい。

前記パターンプロジェクタは、
前記投影像に現れるスペックル雑音を軽減するために、前記光ファイバに前記鉗子孔の方向の振動を与える加振部を備える、
こととしてもよい。

前記レーザ光は、緑色のレーザ光である、
こととしてもよい。

前記パターンプロジェクタでは、
前記外側面の円周方向に並ぶ複数の前記マークが形成されている、
こととしてもよい。

前記マーク各々は、前記パターンプロジェクタの回転角度に応じて前記カメラで撮像される前記マークの特徴又は前記マークの組み合わせの特徴が異なるように前記パターンプロジェクタに形成されている、
こととしてもよい。

本発明の第２の観点に係る診断システムは、
本発明の第１の観点に係る３次元形状計測装置と、
前記３次元形状計測装置を構成するパターンプロジェクタが挿通される鉗子孔を有する内視鏡と、
を備える。

本発明の第３の観点に係る３次元形状計測方法は、
内視鏡の鉗子孔に挿通されたパターンプロジェクタを構成する円筒状の部材であって、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材の開口端から、レーザ光を用いて、計測用パターンの投影像を投影するパターン投影ステップと、
前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタと前記カメラの相対位置情報を校正するキャリブレーションステップと、
前記キャリブレーションステップで校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の３次元形状を算出する算出ステップと、
を含む。

前記パターンプロジェクタにより前記計測用パターンの投影像を観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第１の撮像ステップと、
前記内視鏡の挿入端に設けられた照明光学系により前記観察部位を照明し、前記パターンプロジェクタにより前記計測用パターンの投影像を前記観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第２の撮像ステップと、
前記第１の撮像ステップで撮像された撮像データと前記第２の撮像ステップで撮像された撮像データとに基づいて、前記内視鏡のカメラの非線形特性及び前記レーザ光の影響を考慮しつつ、計測用パターンの投影像が投影されていない前記観察部位の画像を生成する画像生成ステップと、
を含む、
こととしてもよい。

本発明によれば、観察部位に計測用パターンの投影像を投影するパターンプロジェクタが、内視鏡の鉗子孔の内部に挿入されている。これにより、内視鏡全体の径を小さくすることができる。また、パターンプロジェクタに形成されたマークを内視鏡のカメラで撮像可能で、マークの位置情報に基づいて、パターンプロジェクタとカメラの相対位置情報を校正することができる。この結果、患者の負荷及びリスクを低減しつつ、パターンプロジェクタが内視鏡に対して固定されていなくても観察部位の３次元形状、あるいはその大きさを正確に計測することができる。

本発明の実施の形態１に係る内視鏡に取り付けられるレーザ光源及びパターンプロジェクタの構成を示す模式図である。 内視鏡の挿入端の鉗子孔周辺の拡大断面図である。 計測用パターンの一例を示す図である。 観察部位に計測用パターンの投影像が投影される様子を示す図である。 ３次元形状計測装置の全体構成を示すブロック図である。 アクティブステレオ法の計測原理を模式的に示す図である。 キャリブレーションの対象となるパターンプロジェクタの移動方向を示す図である。 図８（Ａ）は事前キャリブレーションを示す模式図である。図８（Ｂ）は、自己キャリブレーションを示す模式図である。 図９（Ａ）は、事前キャリブレーションで求められる情報を示す図である。図９（Ｂ）は、自己キャリブレーションで求められる情報を示す図である。 カメラ座標系と、プロジェクタ座標系とを示す図である。 事前キャリブレーションで用いられるベクトルを示す図である。 本発明の実施の形態１に係る３次元形状計測装置を用いた診断動作のフローチャートである。 図１３（Ａ）は事前キャリブレーションのみ行ったときのエピポーラ線を示す図である。図１３（Ｂ）は、自己キャリブレーションまで行ったときのエピポーラ線を示す図である。 図１４（Ａ）は、照明光学系をオンしたときの撮像画像である。図１４（Ｂ）は、照明光学系をオフしたときの撮像画像である。図１４（Ｃ）は、テクスチャ画像である。 本発明の実施の形態２に係る３次元形状計測装置を用いた診断動作のフローチャートである。 光ファイバを振動させてスペックル雑音を低減するためのパターンプロジェクタの構成を示す断面図である。 図１７（Ａ）及び図１７（Ｂ）は、パターンプロジェクタの円筒部に設けられた複数のマークを示す図である。図１７（Ｃ）は、マークの配列の組み合わせの一例（その１）である。図１７（Ｄ）は、マークの配列の組み合わせの一例（その２）である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。各図において、同一の要素には同一の符号を付している。

実施の形態１．
まず、本発明の実施の形態１について説明する。

図１に示すように、本実施の形態に係る３次元形状計測装置１００は、レーザ光源１０とパターンプロジェクタ２０と、を備える。３次元形状計測装置１００は、内視鏡１とともに用いられる。内視鏡１には、鉗子孔２が形成されている。通常、鉗子孔２には、観察部位を採取する鉗子が挿通されるが、本実施の形態では、この鉗子に代えて、パターンプロジェクタ２０が、鉗子孔２に挿通されて用いられる。

パターンプロジェクタ２０は、レーザ光源１０と接続されている。レーザ光源１０は、レーザモジュール１０Ａと、拡散板１０Ｂと、照明絞り１０Ｃと、コリメータレンズ１０Ｄと、を備える。

レーザモジュール１０Ａは、緑色のレーザ光ＩＬ（例えば波長５３２ｍｍのレーザ光）を発振出力する。拡散板１０Ｂは、レーザモジュール１０Ａから発せられたレーザ光ＩＬを拡散して、レーザ断面におけるレーザ光ＩＬの強度を均一化する。コリメータレンズ１０Ｄは、入射したレーザ光ＩＬを平行光に変換する。コリメータレンズ１０Ｄによって平行光に変換されたレーザ光ＩＬは、パターンプロジェクタ２０を構成する光ファイバ２０Ａに入射する。

図２に示すように、パターンプロジェクタ２０は、光ファイバ２０Ａと、パターンチップ２０Ｂと、投影レンズ２０Ｃと、円筒部２０Ｄと、を備える。

光ファイバ２０Ａは、プラスチック製であり、光ファイバ２０Ａは、コリメータレンズ１０Ｄから出射された緑色のレーザ光ＩＬを、一端から入射して他端から出射する。

パターンチップ２０Ｂは、図３に示すように、計測用パターン２１として、波線の２次元格子パターンが印刷されたマイクロパターンチップである。パターンチップ２０Ｂは、光ファイバ２０Ａから出射されたレーザ光ＩＬの光路上に設置される。このため、パターンチップ２０Ｂと通過したレーザ光ＩＬは、計測用パターン２１の投影像を含む投影光となる。投影レンズ２０Ｃは、計測用パターン２１の投影像を含む投影光を外部に投影する。

円筒部２０Ｄは、円筒状の部材である。図２に示すように、円筒部２０Ｄは内視鏡１の挿入端３から突出している。円筒部２０Ｄの外径は、鉗子孔２に嵌まる大きさとなっている。円筒部２０Ｄの内径は、光ファイバ２０Ａ、パターンチップ２０Ｂ及び投影レンズ２０Ｃを実装できる径となっている。

投影レンズ２０Ｃから出射されたレーザ光ＩＬは、円筒部２０Ｄの開口端から外部に出射される。また、円筒部２０Ｄの外側面には、マークＭが形成されている。本実施の形態では、このマークＭを用いて、アクティブステレオ法におけるパターンプロジェクタ２０と内視鏡１のカメラ（後述する撮像光学系３０）との相対位置情報を校正するキャリブレーションが行われる。

このように、円筒部２０Ｄは、内視鏡１の挿入端３から突き出している。円筒部２０Ｄの開口端から緑色のレーザ光ＩＬが出射される。このレーザ光ＩＬは、パターンチップ２０Ｂに形成された計測用パターン２１の投影像を含むため、レーザ光ＩＬが照射される観察部位（ターゲットＴ）には、図３に示すように、計測用パターン２１の投影像が投影される。

内視鏡１の挿入端３には、鉗子孔２の他に、対物レンズ３０Ａ及び照明レンズ４０Ａが取り付けられている。対物レンズ３０Ａは、ターゲットＴを撮像する撮像光学系３０（図５参照）を構成するレンズであり、照明レンズ４０Ａは、ターゲットＴへ照明光を照射する照明光学系４０（図５参照）のレンズである。内視鏡１は、照明レンズ４０Ａを介してターゲットＴに照明光を照射し、照射されたターゲットＴを、対物レンズ３０Ａを介して撮像する機能を有している。

図５には、３次元形状計測装置１００全体の構成が示されている。図５に示すように、３次元形状計測装置１００は、上述したレーザ光源１０及びパターンプロジェクタ２０の他に、コントローラ５０をさらに備えている。コントローラ５０は、ＣＰＵ（Central Processing Unit）、記憶装置、入出力装置、ポインティングデバイス又はディスプレイ等のマンマシンインターフェイスを備えるコンピュータである。ＣＰＵが、マンマシンインターフェイスから入力される操作者の操作情報に従って、記憶装置に記憶されたプログラムを実行することにより、コントローラ５０の機能が実現される。すなわち、実行されるプログラムに従って、コントローラ５０は、入出力装置を介してレーザ光源１０を制御したり、内視鏡１の照明光学系４０を制御したり、入出力装置を介して内視鏡１の撮像光学系３０から入力される撮像データを入力したりする。

また、内視鏡１は、観察部位を撮像するための撮像光学系３０と、観察部位を照明する照明光学系４０と、を備える。図４に示す対物レンズ３０Ａは、内視鏡１の撮像光学系３０を構成するレンズであり、照明レンズ４０Ａは、内視鏡１の照明光学系４０を構成し、その照明光を外部（観察部位）に出射するレンズである。

コントローラ５０は、操作部５０Ａと、画像処理部５０Ｂと、表示部５０Ｃと、を備える。操作部５０Ａは、操作者の操作に応じた操作信号を、画像処理部５０Ｂに出力する。

画像処理部５０Ｂは、操作部５０Ａからの操作信号に従って、内視鏡１の撮像光学系３０から得られた観察部位の撮像データを入力し、入力した撮像データに対する画像処理を行って、観察部位の３次元形状を計測する。画像処理部５０Ｂは、校正部５１と、算出部５２と、を備える。校正部５１は、内視鏡１の挿入端に設けられた撮像光学系３０によって撮像された撮像データにおけるマークＭの位置情報に基づいて、パターンプロジェクタ２０と撮像光学系３０の相対位置情報を校正する。算出部５２は、校正された相対位置情報を利用して、観察部位に投影された計測用パターン２１の投影像の撮像結果に基づいて、観察部位の３次元形状を算出する。

表示部５０Ｃは、内視鏡１の撮像光学系３０から得られた観察部位の撮像データ等の各種画像を表示する。

画像処理部５０Ｂにおいて行われる３次元形状の計測処理について説明する。図６に示すように、本実施の形態では、アクティブステレオ法に基づいて、観察部位の３次元形状を計測する。アクティブステレオ法では、パターンプロジェクタ２０による観察部位の投影中心と、観察部位を撮像するカメラ（撮像光学系３０）の撮像中心との視差Ｌに基づいて、観察部位の３次元形状が計測される。

例えば、パターンプロジェクタ２０の投影中心の位置をＰ１とし、撮像光学系３０の撮像中心をＰ２とする。計測用パターン２１の投影像を含む投影光は、位置Ｐ１からターゲットＴ（観察部位）に投影され、ターゲットＴ上にも計測用パターン２１の投影像が投影される。

ここで、計測用パターン２１の投影像が投影されたターゲットＴ上の特定の点Ｐに着目する。ターゲットＴ上の点Ｐが、投影像の投影方向に沿った奥行きｄ１からｄだけ奥の奥行きｄ２に変化した場合には、位置Ｐ２にある撮像光学系３０には、点Ｐ上のパターンがずれるように見える。アクティブステレオ法は、このパターンの位置ずれに基づいて、三角測量の原理を利用して、ターゲットＴの各点の奥行きｄを計測する。

ターゲットＴの奥行きがｄだけ変化した場合の撮像光学系３０の撮像結果における点Ｐのずれ量は、パターンプロジェクタ２０と撮像光学系３０との視差Ｌに応じて変化する。したがって、点Ｐの奥行きを正確に求めるには、視差Ｌを予め求めておく必要がある。

本実施の形態に係る３次元形状計測装置１００では、パターンプロジェクタ２０は、内視鏡１の鉗子孔２に挿入されて用いられる。パターンプロジェクタ２０は、内視鏡１に固定されておらず、内視鏡１の挿入端３は自在に曲がる。このため、パターンプロジェクタ２０と、内視鏡１の撮像光学系３０との位置関係は絶えず変化する。すなわち、本実施の形態では、視差Ｌは絶えず変化する。このため、実際に観察部位の３次元形状を計測するには、３次元形状の計測に先だって、パターンプロジェクタ２０と、撮像光学系３０との位置関係のキャリブレーションを行う必要がある。

図７に示すように、パターンプロジェクタ２０は、内視鏡１に対して並進方向（鉗子孔２の軸心の方向への並進）及び回転方向（鉗子孔２の軸心を中心とする回転方向）の２つの自由度を有している。本実施の形態では、観察部位の３次元形状の計測に先立って、この２つの自由度のキャリブレーションを行う。

このキャリブレーションは、円筒部２０Ｄに設けられたマークＭを用いて行われる。マークＭは、撮像光学系３０によって撮像可能な位置に設けられている。撮像光学系３０による撮像データにおけるマークＭの撮像位置に基づいて、パターンプロジェクタ２０のキャリブレーションを行う。上述のように、内視鏡１に対するパターンプロジェクタ２０の自由度は、２自由度であるため、単一のマークＭだけをマーカとしてキャリブレーションを行うことができる。

キャリブレーションは以下の２段階で行われる。
（１）内視鏡１の鉗子孔２にパターンプロジェクタ２０を挿通し、まだ、観察部位を観察可能な状態となる前の段階
（２）上記（１）の段階を経て、内視鏡１が被検者の体内に挿入され、観察部位を観察可能となっている段階
本実施の形態では、（１）の段階で行われるキャリブレーションを事前キャリブレーションといい、（２）の段階で行われるキャリブレーションを自己キャリブレーションという。事前キャリブレーションは、例えば、図８（Ａ）に示すように、球体オブジェクト２２に計測用パターン２１の投影像を投影した状態で行われるようにしてもよい。また、図８（Ｂ）に示すように、自己キャリブレーションは、実際に観察部位（ターゲットＴ）に計測用パターン２１の投影像が投影された状態で行われる。

事前キャリブレーションも、自己キャリブレーションも、前述の通り、マークＭの位置を撮像光学系３０で観察することにより行われる。本実施の形態では、図９（Ａ）に示すように、まず、事前キャリブレーションにおいて、並進方向に関するマークＭの位置を示す情報ｔ_ｂと、回転方向に関するマークＭの位置を示す情報Ｒ_ｂとを、マークＭの位置情報として求める。そして、図９（Ｂ）に示すように、自己キャリブレーションにおいて、並進方向に関するマークＭの位置を示す情報ｔ_ａと、回転方向に関するマークＭの位置を示す情報Ｒ_ａを求め、並進の変化（ｔ_ａ−ｔ_ｂ）、回転の変化（Ｒ_ａ−Ｒ_ｂ）を、マークＭの位置情報の変化量として求める。

（事前キャリブレーションの詳細）
まず、事前キャリブレーションについて説明する。このキャリブレーションを行うにあたり、図１０に示すように、２つの直交座標系を設定する。撮像光学系３０の撮像中心を原点とするカメラ座標系（ｘ１、ｙ１、ｚ１）と、パターンプロジェクタ２０の投影中心を原点とするプロジェクタ座標系（ｘ２、ｙ２、ｚ２）である。プロジェクタ座標系では、パターンプロジェクタ２０の軸心を通る軸を、ｚ２軸としている。

カメラ座標系からプロジェクタ座標系への剛体変換は、回転行列＜Ｒ_ｂ＞と、並進ベクトル＜ｔ_ｂ＞とで表される。回転行列＜Ｒ_ｂ＞、並進ベクトル＜ｔ_ｂ＞は、事前キャリブレーションで求められる。なお、本実施の形態では、ベクトルを＜＊＞で表すものとする。

ここで、内視鏡１の鉗子孔２の軸方向の単位ベクトルは、ベクトル＜ｂ＞として表される。ベクトル＜ｂ＞は、プロジェクタ座標系のｚ２軸の負の方向を示す単位ベクトルである。

カメラ座標系の原点Ｏから見た、プロジェクタ座標系の原点は、ベクトル＜ｔ_ｂ＞で表されるものとする。ベクトル＜ｔ_ｂ＞で示す点は、鉗子孔２の中心軸上にあるものと仮定する。

撮像光学系３０（対物レンズ３０Ａ）からマーカ（マークＭ）への方向を示す単位ベクトルを、ベクトル＜ａ_ｂ＞とする。また、撮像光学系３０とマーカ（マークＭ）との距離をｓとする。この場合、マーカ（マークＭ）の３次元位置ベクトル＜ｍ_ｂ＞は、次式のようになる。ベクトル＜ａ_ｂ＞は、撮像データ内のマークＭの位置で決まり、ｓは未知数である。ベクトルを視線ベクトル＜ｍ_ｂ＞ともいう。
＜ｍ_ｂ＞＝ｓ＜ａ_ｂ＞ …（１）

また、マーカ（マークＭ）の３次元位置ベクトル＜ｍ_ｂ＞で表される位置から、鉗子孔２の中心軸へ降ろされる垂線の足の３次元位置ベクトル＜ｈ_ｂ＞は、以下のように表される。ｕは変数である。
＜ｈ_ｂ＞＝＜ｔ_ｂ＞＋ｕ＜ｂ＞ …（２）

また、ベクトル（＜ｍ_ｂ＞−＜ｈ_ｂ＞）は、ベクトル＜ｂ＞と垂直であるため、以下の式が得られる。
＜ｈ_ｂ＞＝＜ｔ_ｂ＞＋｛（ｓ＜ａ_ｂ＞−＜ｔ_ｂ＞）・＜ｂ＞｝＜ｂ＞ …（３）

また、次式のように、ベクトル（＜ｍ_ｂ＞−＜ｈ_ｂ＞）の長さ（ノルム）は、次式のように、円筒部２０Ｄの半径ｒに等しい。
||＜ｍ_ｂ＞−＜ｈ_ｂ＞||^２＝ｒ^２ …（３）

未知の変数ｓに関する方程式を拡張して以下の式が得られる。
Ａｓ^２＋Ｂ＋Ｃ＝０ …（４）
ただし、
Ａ＝（＜ａ_ｂ＞・＜ａ_ｂ＞）＋（＜ａ_ｂ＞・＜ｂ＞）^２（＜ｂ＞・＜ｂ＞）−２（＜ａ_ｂ＞・＜ｂ＞）^２
Ｂ＝−２（＜ａ_ｂ＞・＜ｂ＞）（＜ｂ＞・＜ｂ＞）（＜ｔ_ｂ＞・＜ｂ＞）−２（＜ａ_ｂ＞・＜ｔ_ｂ＞）＋４（＜ａ_ｂ＞・＜ｂ＞）（＜ｔ_ｂ＞・＜ｂ＞）
Ｃ＝−２（＜ｔ_ｂ＞・＜ｂ＞）＋（＜ｔ_ｂ＞・＜ｔ_ｂ＞）＋（＜ｔ_ｂ＞・＜ｂ＞）^２（＜ｂ＞・＜ｂ＞）−ｒ^２

Ａ、Ｂ、Ｃは、既知の定数であるので、ｓは、上述の２次元方程式を用いて算出することができる。ｓの２つの解は、視線ベクトルｓ＜ａ_ｂ＞と、パターンプロジェクタ２０を示す円筒部２０Ｄとの２交点に対応する。マーカ（マークＭ）が観測されているので、ｓの正の解のうち、小さい方からベクトル＜ｍ_ｂ＞を計算すればよい。

これにて、事前キャリブレーションが完了する。

次に、自己キャリブレーションについて説明する。事前キャリブレーションが完了した後、内視鏡１が体内に挿入されると、パターンプロジェクタ２０は、２自由度で鉗子孔２沿いに動く。自己キャリブレーションでは、パターンプロジェクタ２０のマークＭの位置情報が再び求められる。

自己キャリブレーションでは、計測対象に投影された計測用パターン２１の投影像を観測すると同時に、マークＭを計測すると、以下のように２自由度の移動分（変化量）を推定することができる。

自己キャリブレーションでは、事前キャリブレーションにおいてベクトル＜ａ_ｂ＞、＜ｍ_ｂ＞、＜ｈ_ｂ＞を求めたのと同じ方法で、観測時に得られたマークＭの位置から算出されたベクトルを、＜ａ_ａ＞、＜ｍ_ａ＞、＜ｈ_ａ＞として算出する。

事前キャリブレーションのときのパターンプロジェクタ２０の位置から観察部位の撮像時のパターンプロジェクタ２０の位置への回転は、＜ｍ_ｂ＞−＜ｈ_ｂ＞、＜ｍ_ａ＞−＜ｈ_ａ＞間の符号を含めた角度θ_ａｂとなる。また、事前キャリブレーション時のパターンプロジェクタ２０の位置から観察部位の撮像時のパターンプロジェクタ２０への位置への並進ベクトルは＜ｈ_ａ＞−＜ｈ_ｂ＞となる。

このとき、観察部位の撮像時のパターンプロジェクタ２０の位置のパラメータは、以下の式で計算される。
＜ｔ_ａ＞＝＜ｔ_ｂ＞＋（＜ｈ_ａ＞−＜ｈ_ｂ＞） …（５）
＜Ｒ_ａ＞＝＜Ｒ_ｂ＞＜Ｒ_ｚ（θ_ａｂ）＞ …（６）
ここで、Ｒ_ｚ（θ_ａｂ）は、ｚ２軸周りの回転ベクトルである。

画像処理部５０Ｂは、並進ベクトル＜ｔ_ａ＞及び回転行列＜Ｒ_ａ＞に基づく相対位置情報を基準として、撮像光学系３０で撮像された画像データにおける波線の２次元格子（計測用パターン２１の投影像）の各格子点の位置ずれ量に基づいて、観察部位（ターゲットＴ）の３次元形状を計測する。

次に、本実施の形態に係る３次元形状計測装置１００を用いた診断動作について説明する。

図１２に示すように、まず、鉗子孔２にパターンプロジェクタ２０を挿入する（ステップＳ１）。続いて、コントローラ５０（画像処理部５０Ｂ）は、パターンプロジェクタ２０により、計測用パターン２１の投影像を投影して、内視鏡１の撮像光学系３０を用いて観察部位（ターゲットＴ）の撮像を行う（ステップＳ２）。続いて、コントローラ５０（校正部５１）は、撮像光学系３０の撮像データに基づいて、上述のように、事前キャリブレーションを行う（ステップＳ３）。

続いて、被検者の体内における観察部位（ターゲットＴ）の撮像位置へ内視鏡１を挿入する（ステップＳ４）。続いて、コントローラ５０（画像処理部５０Ｂ）は、パターンプロジェクタ２０により、計測用パターン２１の投影像を投影して、撮像を行う（ステップＳ５）。さらに、コントローラ５０（校正部５１）は、上述のように、自己キャリブレーションを行う（ステップＳ６）。続いて、コントローラ５０（算出部５２）は、アクティブステレオ法を用いて、３次元形状計測を行う（ステップＳ７）。

図１３（Ａ）には、事前キャリブレーションのみ行い、自己キャリブレーションを行わなかった場合における計測用パターン２１の投影像の格子上の３つの点（波線の交点）に対するエピポーラ線が示されている。各交点がエピポーラ線上にあれば、エピポーラ拘束が満たされているということになるが、図１３（Ａ）に示すように、各交点はエピポーラ線上になく、事前キャリブレーションだけでは、エピポーラ拘束が満たされていない。このことは、事前キャリブレーションだけでは、アクティブステレオ法で、観察部位の３次元形状を精度良く計測するのが困難であることを示している。

また、図１３（Ｂ）には、事前キャリブレーション及び自己キャリブレーションを行った場合における計測用パターン２１の投影像の格子上の３つの点（波線の交点）に対するエピポーラ線が示されている。図１３（Ｂ）に示すように、各交点はエピポーラ線上にあり、自己キャリブレーション後にエピポーラ拘束が満たされていることがわかる。このことは、自己キャリブレーションを行えば、アクティブステレオ法で、観察部位の３次元形状を精度良く計測するのができることを示している。

また、前記自己キャリブレーションの結果について、誤差の影響によって、エピポーラ拘束が完全には満たされない場合、投影像の格子上の点のエピポーラ線が、対応するパターン画像の格子点からずれる場合がある。このような時、前記エピポーラ線が、前記パターン画像の最も近くの格子点を通過するように、前記位置のパラメータを更新してもよい。あるいは、パターン画像中に、他の格子点と異なる特徴を持つ格子点を少数用意しておき、このような特徴を持つ格子点を投影像の格子点から検出し、その格子点の前記エピポーラ線が、前記パターン画像の格子点で該当する特徴を持つものを通過するように、前記位置のパラメータを更新してもよい。

以上詳細に説明したように、本実施の形態によれば、観察部位に計測用パターン２１の投影像を投影するパターンプロジェクタ２０が、鉗子孔２の内部に挿入されている。これにより、内視鏡１全体の径を小さくすることができる。また、パターンプロジェクタ２０に形成されたマークＭを内視鏡１の撮像光学系３０で撮像可能であり、マークＭの位置情報に基づいて、パターンプロジェクタ２０と撮像光学系３０の相対位置情報を校正することができる。この結果、患者の負荷及びリスクを低減しつつ、観察部位の３次元形状、あるいはその大きさを正確に計測することができる。

実施の形態２．
次に、本発明の実施の形態２について説明する。本実施の形態に係る３次元形状計測装置１００の構成は、図５に示す構成と同じである。

本実施の形態に係る３次元形状計測装置１００は、計測用パターン２１の投影像が投影されていない観察部位のテクスチャ画像を得る。観察部位のテクスチャの視認性と、投影される計測用パターン２１の投影像の視認性との間にはトレードオフの関係がある。すなわち、内視鏡１の照明光学系４０による照明を消した状態で、観察部位を内視鏡１の撮像光学系３０で撮像すると、計測用パターン２１の投影像のコントラストを上げることができるが、観察部位のテクスチャは観察しづらくなる。逆に、内視鏡１の照明光学系４０で照明しながら観察部位を撮像すると、計測用パターン２１の投影像の計測が難しくなる。

したがって、本実施の形態では、内視鏡１の照明光学系４０をオンオフしながら撮像を行い、照明光学系４０をオンしたときの画像Ｉ_Ｌと、照明光学系４０をオフしたときの画像Ｉ_Ｐとを得る。図１４（Ａ）には、照明光学系４０をオンしたときの画像Ｉ_Ｌの一例が示されている。図１４（Ｂ）には、照明光学系４０をオフしたときの画像Ｉ_Ｐの一例が示されている。

そして、コントローラ５０（画像処理部５０Ｂ）は、画像Ｉ_Ｌ、Ｉ_Ｐに対して画像処理を行って、計測用パターン２１の投影像が投影されていないテクスチャ画像Ｉ_ｔを得る。テクスチャ画像Ｉ_ｔにより、観察部位（患部）の色をよく観察し、腫瘍が悪性かどうかの判定精度を向上することができる。

ここで、内視鏡１の撮像光学系３０の放射測定応答関数は、標準マクベスチャートを用いてキャリブレーションされているものとする。内視鏡１の撮像光学系３０の放射測定応答は、以下の式で表される。
ｙ＝a・ｅ^ｂｘ … （７）
ここで、ｘは、観察部位の実際の色を示し、ｙは，画像Ｉ_Ｌ、Ｉ_Ｐにおける観察部位の色を示している。２パラメータａ、ｂの値は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれのカラーチャンネルの画像について、指数関数曲線をフィッティングすることによって、求められる。

具体的には、それぞれの画像Ｉ_Ｐ、Ｉ_Ｌの各画素の強度に、推定された関数ｙ＝a・ｅ^ｂｘの逆関数をかけることにより、実際の観察部位の色を忠実に再現する画像を得ることができる。

また、緑色のレーザ光は、狭帯域の波長の光であるが、赤、青の画像も、このレーザ光の影響を受ける。このため、照明光学系４０をオフとしたときの画像Ｉ_Ｐの零でない各ピクセルの各色の輝度値（Ｉ^ｒ _Ｐ，Ｉ^ｇ _Ｐ，Ｉ^ｂ _Ｐ）に基づいて、次式を用いて、ホワイトバランスｍを求める。
ｍ＝ｍｉｎ（Ｉ^ｒ _Ｐ，Ｉ^ｇ _Ｐ，Ｉ^ｂ _Ｐ） …（８）

次いで、各画素における緑の光強度を、以下の式で推定する。
ｃ＝Ｉ^ｇ _ｐ−ｍ …（９）

さらに、次式を用いて、ｃの成分を画像Ｉ_Ｌから除去して、観察部位のテクスチャ画像Ｉ_ｔを生成する。
Ｉ_ｔ＝Ｉ_Ｌ−ｃ …（１０）

次いで、得られたテクスチャ画像Ｉ_tにおける、計測用パターン２１の投影像が照射される領域の輝度の平均が、照射されない領域の平均と一致するように、各画素の輝度値をシフトする。これにより、計測用パターン２１の投影像が投影されていない最終的なテクスチャ画像Ｉ_ｔが得られる。図１４（Ｃ）には、テクスチャ画像Ｉ_tの一例が示されている。

図１５には、本実施の形態に係る３次元形状計測装置１００の動作が示されている。この動作は、例えば、図１２のステップＳ７実行後に開始される。

図１５に示すように、まず、コントローラ５０（画像処理部５０Ｂ）は、内視鏡１の照明光学系４０をオンして、観察部位を照明する（ステップＳ１０）。続いて、コントローラ５０は、計測用パターン２１を投影して観察部位を撮像する（ステップＳ１１）。これにより、図１４（Ａ）に示す画像Ｉ_Ｌが得られる。

続いて、コントローラ５０は、内視鏡１の照明光学系４０をオフして、観察部位の照明を停止する（ステップＳ１２）。続いて、コントローラ５０は、計測用パターン２１を投影して観察部位を撮像する（ステップＳ１３）。これにより、図１４（Ｂ）に示す画像Ｉ_Ｐが得られる。

続いて、コントローラ５０は、上記式（７）を用いて放射測定応答の補正を行う（ステップＳ１４）。これにより、画像Ｉ_Ｌ、Ｉ_Ｐの非線形性が補正される。

続いて、コントローラ５０は、上記式（８）を用いて、ホワイトバランスｍを算出する（ステップＳ１５）。これにより、画像Ｉ_Ｐからホワイトバランスｍが得られる。

続いて、コントローラ５０は、各画素について、上記式（９）を用いて緑色成分ｃを算出し、上記式（１０）を用いて、画像Ｉ_Ｌから緑色成分ｃを除去する（ステップＳ１６）。

さらに、コントローラ５０は、計測用パターン２１の投影像が照射された観察部位の領域の輝度の平均が、照射されない他の領域の平均と一致するように、各画素の値をシフトする領域レベル調整を行う（ステップＳ１７）。この結果、計測用パターン２１の投影像が投影されていない最終的なテクスチャ画像Ｉ_ｔが得られる。

なお、パターンプロジェクタ２０によるレーザ光ＩＬでは、その投影像にスペックル雑音が生じる場合がある。これを軽減するために、図１６に示すように、光ファイバ２０Ａに振動を与える加振部６０（例えば圧電体）がパターンプロジェクタ２０に設けられていてもよい。この加振部６０は、ケーブル線６１を介して電圧が印加させると、光ファイバ２０Ａを鉗子孔２の軸心方向（矢印で示す方向）に振動する。この振動により、観察部位に投影される投影像のスペックル雑音が低減される。この結果、精度良く観察部位の３次元形状を計測することができる。

また、パターンプロジェクタ２０では、マークＭを、円筒部２０Ｄ上の１カ所に形成するだけでも良いし、図１７（Ａ）及び図１７（Ｂ）に示すように、円筒部２０Ｄを取り囲むように、その円周方向に沿って複数個形成するようにしてもよい。複数のマークＭが形成されている場合、パターンプロジェクタ２０の回転にかかわらず、内視鏡１の撮像光学系３０で、いずれかのマークＭを観測可能である。マークＭを４５度間隔で設けた場合には、内視鏡１の撮像光学系３０で３つのマークＭを同時に撮像可能となる。

なお、鉗子孔２の軸心の方向は、内視鏡１の撮像光学系３０の正面方向（光軸方向）であると仮定してもよい。さらに精度が必要な場合には、事前キャリブレーションの際に、鉗子孔２の軸心の方向にパターンプロジェクタ２０を動かしながら複数回キャリブレーションを行うことで、パターンプロジェクタ２０の相対位置を複数回取得し、それらを通過する直線の方向を鉗子孔２の軸心の方向として求めても良い。

複数のマークＭを形成する場合、パターンプロジェクタ２０の回転角度を特定できるように、複数のマークＭ各々の特徴（例えば、長さや色）を変更するようにしてもよい。例えば、８つのマークＭを４５度間隔に配列し、８つのマークＭの色を、図１７（Ｃ）に示すように、黒、黒、黒、白、黒、白、白、白とするようにしてもよい。このようにすれば、内視鏡１の撮像光学系３０で撮像される３つのマークＭの色の組み合わせは、パターンプロジェクタ２０の回転方向に応じて異なったものとなるので、撮像されたマークＭの色の組み合わせからパターンプロジェクタ２０の回転位置を特定することができる。また、８つのマークの長さを、図１７（Ｄ）に示すように、短、短、短、長、短、長、長、長とするようにしてもよい。このようにすれば、内視鏡１の撮像光学系３０で撮像される３つのマークの色の組み合わせは、パターンプロジェクタ２０の回転方向に応じて異なったものとなるので、撮像されたマークＭの色の組み合わせからパターンプロジェクタ２０の回転位置を特定することができる。

この他、マークＭの形状や配列間隔の組み合わせを変更するようにしてもよい。また、すべてのマークＭの色、長さ、形状をユニークなものにしてもよい。

なお、上記実施の形態では、投影レンズ２０Ｃとして、非球面（ＧＲＩＮ）レンズを用いてもよい。このようにすれば、パターンプロジェクタ２０の径をさらに小さくすることができる。

また、上記実施の形態では、波線の２次元格子の計測用パターン２１を使用したが、本発明はこれには限られない。例えば、直線状の２次元格子パターン又は点状の行列パターンを計測用パターンとして用いるようにしてもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

本発明は、内視鏡を用いた診断に適用することができる。

１ 内視鏡、２ 鉗子孔、３ 挿入端、１０ レーザ光源、１０Ａ レーザモジュール、１０Ｂ 拡散板、１０Ｃ 照明絞り、１０Ｄ コリメータレンズ、２０ パターンプロジェクタ、２０Ａ 光ファイバ、２０Ｂ パターンチップ、２０Ｃ 投影レンズ、２０Ｄ 円筒部、２１ 計測用パターン、２２ 球体オブジェクト、３０ 撮像光学系、３０Ａ 対物レンズ、４０ 照明光学系、４０Ａ 照明レンズ、５０ コントローラ、５０Ａ 操作部、５０Ｂ 画像処理部、５０Ｃ 表示部、５１ 校正部、５２ 算出部、６０ 加振部、６１ ケーブル線、１００ ３次元形状計測装置、ＩＬ レーザ光、Ｍ マーク、Ｔ ターゲット。

Claims (12)

1. 内視鏡の鉗子孔に挿通され、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材を有し、前記部材の開口端からレーザ光による計測用パターンの投影像を観察部位に投影するパターンプロジェクタと、
   前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタの前記カメラからの相対位置情報を校正するキャリブレーション部と、
   前記キャリブレーション部で校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の３次元形状を算出する算出部と、
   を備える３次元形状計測装置。
2. 前記キャリブレーション部は、
   前記内視鏡が被検者の体内に挿入される前に、前記内視鏡のカメラによって撮像された撮像データに基づいて、前記パターンプロジェクタの前記カメラからの相対位置と、前記マークの位置情報を、前記パターンプロジェクタの基準位置の情報として算出し、
   前記内視鏡が被検者の体内に挿入され前記計測用パターンの投影像が前記観察部位に投影された状態で前記内視鏡のカメラによって撮像された撮像データに基づいて、前記マークの位置情報の前記基準位置からの変化量を算出し、
   前記算出部は、
   前記パターンプロジェクタの基準位置の情報及び前記変化量に基づいて、前記パターンプロジェクタの校正された相対位置を利用して、前記観察部位の３次元形状を算出する、
   請求項１に記載の３次元形状計測装置。
3. 前記キャリブレーション部は、
   前記鉗子孔の軸心の方向への並進量及び前記軸心を中心とする回転角度に関する前記マークの位置情報を算出する、
   請求項２に記載の３次元形状計測装置。
4. 前記キャリブレーション部は、
   校正された前記相対位置に残る誤差を、前記計測用パターンと前記撮像データのエピポーラ拘束の誤差を補正することで修正する、
   請求項２又は３のいずれか一項に記載の３次元形状計測装置。
5. 前記パターンプロジェクタは、
   前記内視鏡の鉗子孔に挿通され、前記レーザ光を導光する光ファイバと、
   前記円筒状の部材に内包され、前記光ファイバで導光された前記レーザ光の光路上に配置された前記計測用パターンが形成されたパターンチップと、
   前記円筒状の部材に内包され、前記パターンチップを介した前記レーザ光による前記計測用パターンの投影像を投影する投影レンズと、
   を備える請求項１乃至４のいずれか一項に記載の３次元形状計測装置。
6. 前記パターンプロジェクタは、
   前記投影像に現れるスペックル雑音を軽減するために、前記光ファイバに前記鉗子孔の方向の振動を与える加振部を備える、
   請求項５に記載の３次元形状計測装置。
7. 前記レーザ光は、緑色のレーザ光である、
   請求項１乃至６のいずれか一項に記載の３次元形状計測装置。
8. 前記パターンプロジェクタでは、
   前記外側面の円周方向に並ぶ複数の前記マークが形成されている、
   請求項１乃至７のいずれか一項に記載の３次元形状計測装置。
9. 前記マーク各々は、前記パターンプロジェクタの回転角度に応じて前記カメラで撮像される前記マークの特徴又は前記マークの組み合わせの特徴が異なるように前記パターンプロジェクタに形成されている、
   請求項８に記載の３次元形状計測装置。
10. 請求項１乃至９のいずれか一項に記載の３次元形状計測装置と、
    前記３次元形状計測装置を構成するパターンプロジェクタが挿通される鉗子孔を有する内視鏡と、
    を備える診断システム。
11. 内視鏡の鉗子孔に挿通されたパターンプロジェクタを構成する円筒状の部材であって、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材の開口端から、レーザ光を用いて、計測用パターンの投影像を投影するパターン投影ステップと、
    前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタと前記カメラの相対位置情報を校正するキャリブレーションステップと、
    前記キャリブレーションステップで校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の３次元形状を算出する算出ステップと、
    を含む３次元形状計測方法。
12. 前記パターンプロジェクタにより前記計測用パターンの投影像を観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第１の撮像ステップと、
    前記内視鏡の挿入端に設けられた照明光学系により前記観察部位を照明し、前記パターンプロジェクタにより前記計測用パターンの投影像を前記観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第２の撮像ステップと、
    前記第１の撮像ステップで撮像された撮像データと前記第２の撮像ステップで撮像された撮像データとに基づいて、前記内視鏡のカメラの非線形特性及び前記レーザ光の影響を考慮しつつ、計測用パターンの投影像が投影されていない前記観察部位の画像を生成する画像生成ステップと、
    を含む、
    請求項１１に記載の３次元形状計測方法。