JP5676058B1 - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents

Abstract

内視鏡システム１は、被検体内に挿入する挿入部２ｂと、挿入部２の先端側に設けられ、被検体からの光を受ける対物光学窓１１ａと、被検体内を撮像する撮像素子１１と、対物光学窓１１ａの位置情報を取得する位置方向検出部２５と、撮像素子１１により取得された被検体内画像と、対物光学窓１１ａの位置情報と、を関連付けて記録するメモリ２２とを有する。内視鏡システム１は、被検体内における被検体内画像情報の変化量等に基づいて、対物光学窓１１ａの位置情報と被検体内における所定臓器モデル画像の座標系における位置とを一致させ、対物光学窓の位置と座標系における位置とが対応付けられた所定臓器のモデル画像上に、被検体内画像を貼り付けた画像を生成する。

Description

本発明は、内視鏡システム及び内視鏡内視鏡システムの作動方法に関し、特に、内視鏡画像を貼り付けた臓器モデル画像を表示する内視鏡システム及び内視鏡システムの作動方法に関する。

従来より、内視鏡システムが医療分野及び工業分野で広く利用されている。例えば、医療分野の内視鏡システムでは、術者が被検体内に内視鏡の挿入部を挿入し、挿入部の先端部に設けられた観察窓を通して得られた内視鏡画像が表示装置に表示される。表示された内視鏡画像を見て、術者は内視鏡検査を行うことができる。さらに、内視鏡システムは、内視鏡画像の記録もすることができる。例えば、医者は、記録された病変部の内視鏡画像を、カルテの一部として利用することができる。

また、近年は、カプセル型内視鏡システムも実用化されており、患者がそのカプセル型内視鏡を飲み込むと、カプセル型内視鏡は、体内を移動している間に体内を撮像し、体内の画像を記録する。

カプセル内視鏡の場合、膨大な数の画像が取得されるので、取得された多くの画像の中から病変部などの観察対象部位の画像のみを抽出する技術や、特開２０１０−２４００００号公報に開示のように、複数の画像を３Ｄモデル上に貼り付けるときに特徴パラメータに基づいて優先順位の高い画像を用いて診断用画像を生成する技術が提案されている。

ところで、前回の内視鏡検査において発見された病変部の状態を観察するために、内視鏡検査が再度行われたり、前回の内視鏡検査において発見された病変部に対して、内視鏡を用いて処置したりすることも行われている。

そのため、医者は、検査において発見された病変部の検査対象臓器における位置を、カルテに記入する。例えば、検査対象臓器が膀胱の場合、病変部の位置は、カルテに描かれる膀胱展開図（シェーマ）に印が付けられることにより指定される。

しかし、前回の内視鏡検査において得られた内視鏡画像が、対象臓器におけるどの位置の画像であるかは、解り難い場合がある。
カプセル内視鏡を利用する上記の特開２０１０−２４００００号公報に開示の内視鏡システムでは、内視鏡画像が対象臓器の３Ｄモデルに貼り付けられるが、カプセル型内視鏡であるため、医者は、得られた内視鏡画像から、臓器における病変部の位置を容易に把握することはできない。

また、挿入部を有する内視鏡の場合であっても、例えば、膀胱展開図に指定された位置と現実の膀胱における位置との対応付けの把握が容易でないものもあり、医者にとって、内視鏡検査において確認された病変部の位置をそのような膀胱展開図に記入すること、そして、そのようなカルテの膀胱展開図に記された位置から現実の膀胱における位置を把握することは、容易ではない。

そのため、前回の検査で得られた病変部の内視鏡画像があっても、医者は、再度臓器内を隈無く観察して、病変部を捜すことを行うことも少なくない。
結果として、内視鏡による検査時間若しくは処置時間が長く掛かってしまうという問題がある。

そこで、本発明は、内視鏡画像の検査対象臓器における位置が容易にわかるように、内視鏡画像を対象臓器の臓器モデル画像上に貼り付けるようにして内視鏡による検査時間若しくは処置時間を短くすることができる内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。

本発明の一態様の内視鏡システムは、被検体内に挿入する挿入部と、前記挿入部の先端側に設けられ、前記被検体からの光を受ける対物光学窓と、前記対物光学窓から入射された光から前記被検体内を撮像する撮像部と、前記対物光学窓の位置情報を取得する位置情報取得部と、前記被検体内における被検体内画像情報の変化量、所定の操作入力、又は予め設定された基準平面に対する前記位置情報に基づいて、前記位置情報取得部により取得される前記対物光学窓の位置と前記被検体内における所定臓器の３次元モデル画像の座標系における基準位置とを一致させる位置合わせ部と、前記位置合わせ部により前記対物光学窓の位置と前記座標系における基準位置とが対応付けられた前記３次元モデル画像を２次元的に展開した前記所定臓器の２次元モデル画像上に対して、被検体内画像を貼り付けた画像を生成する画像生成部と、を備える。

本発明の一態様の内視鏡システムの作動方法は、被検体からの光を受ける内視鏡の挿入部の対物光学窓の位置情報を取得する位置情報取得部と、前記対物光学窓から入力された光から前記被検体内を撮像する撮像部と、位置合わせ部と、画像生成部とを有する内視鏡システムの作動方法であって、前記位置合わせ部が、前記被検体内における被検体内画像情報の変化量、所定の操作入力、又は予め設定された基準平面に対する前記位置情報に基づいて、前記位置情報取得部により取得される前記対物光学窓の位置と前記被検体内における所定臓器の３次元モデル画像の座標系における基準位置とを一致させ、前記画像生成部が、前記位置合わせ部により前記対物光学窓の位置と前記座標系における基準位置とが対応付けられるとともに前記３次元モデル画像を２次元的に展開した前記所定臓器の２次元モデル画像上に、被検体内画像を貼り付けた画像の生成を行う。

本発明の第１の実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の第１の実施の形態に係わる内視鏡システム１の構成を示すブロック図である。 本発明の第１の実施の形態に係わる、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に係わる、先端部２ｄが尿道から膀胱B内へ進められたときにおける、画像取込部２４が取得した内視鏡画像の変化を説明するための図である。 本発明の第１の実施の形態に係わる、先端部２ｄの位置に応じた、画像全体の輝度値の平均輝度と分散の変化を示す模式的なグラフである。 本発明の第１の実施の形態に係わる、尿道内における内視鏡画像の例を示す図である。 本発明の第１の実施の形態に係わる、膀胱の各部の名称を説明するための模式的な患者の膀胱の位置を示す図である。 本発明の第１の実施の形態に係わる、膀胱の各部の名称を説明するための模式的な膀胱を示す図である。 本発明の第１の実施の形態に係わる３D膀胱モデルM1を示す図である。 本発明の第１の実施の形態に係わる、膀胱Bの２次元モデルM2を示す図である。 膀胱展開図BEを示す図である。 本発明の第１の実施の形態に係わる、モニタ６の画面上に表示される内視鏡検査時の表示画面の例を示す図である。 本発明の第１の実施の形態に係わる、モニタ６の画面上に表示される表示画面の他の例を示す図である。 本発明の第１の実施の形態に係わる、磁場発生装置７の座標系とベッド８上の患者Pの膀胱Bの座標系の関係を説明するための図である。 本発明の第１の実施の形態に係わる、中間座標系（X_１Y_１Z_１）上に投影される方向ベクトルを説明するための図である。 本発明の第１の実施の形態に係わる、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。 本発明の第１の実施の形態に係わる、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。 本発明の第１の実施の形態に係わる、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２を説明するための図である。 本発明の第１の実施の形態に係わる、２次元の座標系（U,V）における座標関係を説明するための図である。 本発明の第１の実施の形態に係わる、内視鏡画像の全体を走査して、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けを説明するための図である。 本発明の第１の実施の形態に係わる、モニタ６の画面上に表示される画像の他の例を示す図である。 本発明の第１の実施の形態に係わる、５軸センサを用いた場合における、モニタ６の画面上に表示される画像の例を示す図である。 本発明の第１の実施の形態に係わる、５軸センサを用いた場合における、レリーズボタン１３が押されたときの内視鏡画像のみが２Dモデル画像３１ａ上に貼り付けられ画像の例を示す図である。 本発明の第１の実施の形態に係わる、２つの観察モードに対応して２つの臓器モデルの画像を表示した場合の表示画面の例を示す図である。 本発明の第２の実施の形態に係わる、膀胱内の観察時における内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。 本発明の第３の実施の形態に係わる、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。 本発明の第３の実施の形態に係わる、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２と、座標Ｐ_２１を説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。以下、本発明の実施の形態を、膀胱内の内視鏡画像を取得する場合を、例として説明する。
（第１の実施の形態）
（構成）
図１は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。図２は、内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、記録装置３と、光源装置４と、プロセッサ５と、モニタ６と、磁場発生装置７とを含んで構成されている。内視鏡システム１は、通常光観察と特殊光観察の２つの観察モードを有する。検査者である医者は、ベッド８上に仰向けで横になっている患者Ｐの膀胱Bの内視鏡検査を行う。

内視鏡２は、操作部２ａと、可撓性を有し被検体内に挿入する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、膀胱検査用の内視鏡である。
さらに、図示しないが、ユニバーサルケーブル２ｃ内には、ライトガイドが挿通されており、内視鏡２は、光源装置４からの照明光を、ライトガイドを通して挿入部２ｂの先端部２ｄから出射するように構成されている。

また、図２に示すように、挿入部２ｂの先端部２ｄには、撮像素子１１が設けられており、光源装置４の照明光により照明された膀胱B内の部位が、対物光学窓１１ａを介して撮像素子１１により撮像される。対物光学窓１１ａは、挿入部２の先端側に設けられ、被検体からの光を受ける。すなわち、撮像素子１１は、被検体内に挿入され、対物光学窓１１ａから入射された光から被検体内を撮像する撮像部を構成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介してプロセッサ５に供給され、撮像信号は、プロセッサ５において画像処理が行われる。

プロセッサ５は、観察モードを切り換えるための切換スイッチ５ａを有し、プロセッサ５は、切換スイッチ５ａにより指定された観察モードに応じた内視鏡画像を生成する。
また、生成された内視鏡画像は、プロセッサ５からモニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う医者（以下、検査者という）は、挿入部２ｂの先端部２ｄを患者Pの尿道から挿入し、患者Pの膀胱B（図１において点線で示す）内を観察することができる。

さらに、挿入部２ｂの先端部２ｄには、磁気センサ１２が配置されている。具体的には、先端部２ｄの対物光学窓１１ａの近傍に、２つのコイル２ｅを有する磁気センサ１２が設けられている。よって、磁気センサ１２は、６軸のセンサである。磁気センサ１２の信号線２ｆが、内視鏡２から延出し、記録装置３に接続されている。
なお、磁気センサ１２は、５軸のセンサでもよい。

磁場発生装置７が所定の磁場を発生し、磁気センサ１２は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から記録装置３へ供給される。

内視鏡２の操作部２ａには、レリーズボタン１３が設けられている。レリーズボタン１３は、検査者が内視鏡画像を記録するときに、押すためのボタンである。レリーズボタン１３が押されると、レリーズボタン操作信号がプロセッサ５へ入力され、プロセッサ５は、レリーズ信号を生成して、記録装置３へ供給する。レリーズボタン１３が押されたときの内視鏡画像は、記録装置３の後述するメモリ２２に記録される。

記録装置３は、中央処理装置（以下、CPUという）２１と、メモリ２２と、表示インターフュース（以下、表示I/Fと略す）２３と、画像取込部２４と、位置方向検出部２５と、駆動回路２６を含んでいる。CPU２１と、メモリ２２と、表示インターフュース（以下、表示I/Fと略す）２３と、画像取込部２４と、位置方向検出部２５と、駆動回路２６は、バス２７を介して互いに接続されている。

CPU２１は、記録装置３内の各部の処理を制御する制御部である。
メモリ２２は、ROM、RAM、フラッシュメモリなどを含む記憶部であり、CPU２１により実行される各種処理プログラム及び各種データが記憶され、さらに、後述するように、内視鏡画像情報及び位置と方向の情報なども記憶される。

また、メモリ２２には、後述する臓器のモデル画像（以下、臓器モデル画像という）のデータも記憶され、後述するように、内視鏡画像がその臓器モデル画像上に貼り付けられる。詳細については、後述するが、CPU２１は、内視鏡画像を撮像したときの先端部２ｄ位置方向情報に基づいて、予め記憶されたモデル画像上に、内視鏡画像を貼り付ける処理を行い、内視鏡画像を貼り付けた臓器モデル画像をメモリ２２に記憶する。メモリ２２に記憶された臓器モデル画像は、カルテの一部として利用される。

メモリ２２に記憶された臓器モデル画像は、表示I/F２３を介して出力され、モニタ６の画面上に表示される。
さらに、モニタ６は、プロセッサ５も接続されている。モニタ６は、PinP（Picture In Picture）機能を有し、CPU２１により内視鏡画像が貼り付けられた臓器モデル画像と共に、内視鏡２の撮像素子１１により撮像して得られたライブの内視鏡画像を表示することができる。

画像取込部２４は、プロセッサ５において得られた画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ５から取得する。また、画像取込部２４は、プロセッサ５からのレリーズ信号も受信する。なお、ここでは、画像取込部２４は、１秒間に３０枚の内視鏡画像を取り込んでいるが、フレームレートとは異なる、例えば１秒間に３枚等のより長い周期で内視鏡画像を取得するようにしてもよい。

位置方向検出部２５は、磁場発生装置７を駆動する駆動回路２６を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１２により検出し、その検出された磁場の検出信号から、対物光学窓１１ａの位置座標（ｘ、ｙ、ｚ）と配向（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち位置方向情報、をリアルタイムで生成する。すなわち、位置方向検出部２５は、磁気センサ１２からの位置情報及び方向情報を取得して、対物光学窓１１ａの位置情報を取得する位置情報取得部を構成する。

CPU２１は、画像取込部２４が取り込んだ画像と、位置方向検出部２５が検出した位置方向情報から算出された先端部２ｄの位置と方向の情報とを関連付けて、メモリ２２に記憶する。

CPU２１は、さらに、ステレオ計測機能を有し、撮像して得られた２枚のフレーム画像から、フレーム画像中の対象部位の各部までの距離を計測する機能を有する。具体的には、CPU２１は、２枚のフレーム画像を撮像したときの位置方向検出部２５からの位置方向情報に基づいて対物光学窓１１ａの撮像位置情報を取得し、２枚のフレーム画像を撮像したときの視差から、撮像素子１１からフレーム画像中の各部までの距離を算出することができる。ステレオ計測機能のためのプログラムが、メモリ２２に記憶されており、CPU２１は、そのプログラムを読み出して実行することにより、ステレオ計測を行うことができる。

また、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを出射可能な光源装置であり、プロセッサ５に設けられた観察モードを切り換えるための切換スイッチ５ａの状態に応じて、通常光と特殊光のいずれかを照明光として出射する。

ここでは、特殊光観察モードは、狭帯域観察モードである。なお、特殊光観察モードは、赤外光観察モードあるいは蛍光観察モードでもよい。よって、内視鏡システム１は、通常光観察モードと特殊光観察モードの２つの観察モードを有し、光源装置４は、切換スイッチ５ａが通常光観察モードのときは、通常光の照明光を出射し、切換スイッチ５ａが特殊光観察モードのときは、所定の波長の狭帯域光の照明光を出射する。すなわち、光源装置４は、被検体に対して白色光又は所定波長帯域を有する特殊光を切り換え可能に照射する照明部を構成する。

よって、プロセッサ５は、通常光観察モード時は、白色光を被写体に照射して得られた被写体の通常光観察画像を生成し、特殊光観察モード時は、特殊光（ここでは狭帯域光）を被写体に照射して得られた被写体の特殊光観察画像を生成する。

なお、特殊光観察画像である狭帯域観察画像は、通常光の照射により得られたRGBの各画像に対して分光推定処理を行うことによっても得ることができるので、狭帯域観察モード時に、プロセッサ５が、分光推定により狭帯域観察画像を生成してもよい。

（臓器モデル画像への内視鏡画像の貼り付け処理）
図３は、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。図３の処理は、CPU２１が、メモリ２２に記憶された所定のプログラムを読み出して実行することによって、検査者が挿入部２ｂの先端部２ｄを尿道へ挿入したときから実行される。

CPU２１は、先端部２ｄの膀胱Ｂ内への挿入が検出されたか否かを判定する（S1）。挿入部２ｂの先端部２ｄは、尿道内に挿入され、尿道を通って膀胱B内に入る。先端部２ｄの膀胱B内への挿入の検出は、画像取込部２４が取得した内視鏡画像の輝度（内視鏡画像全体の平均輝度あるいは内視鏡画像の所定の一部の領域の平均輝度）の変化量に基づき、行われる。すなわち、CPU２１は、先端部２ｄが尿道から膀胱B内に入ったときに、内視鏡画像の輝度が変化することを利用して、S1の判定を行う。内視鏡画像の輝度値が、高い状態から低い状態になったとき、CPU２１は、先端部２ｄが膀胱Ｂ内に入ったと判定する。

なお、ここでは、先端部２ｄの膀胱B内への挿入の検出は、内視鏡画像の輝度に基づいて行っているが、内視鏡画像の色味の変化量、あるいはテクスチャの変化量に基づいて行うようにしてもよい。例えば、色味の変化としては、赤系から他の色系への色の変化であり、テクスチャの変化としては、血管等のパターンが認識できないような画像の状態から血管等のパターンが認識できるような状態への変化である。さらになお、先端部２ｄの膀胱B内への挿入の検出は、輝度等の情報と、内視鏡２の先端部２ｄの位置情報等との組み合わせにより行うようにしてもよい。

ここで、内視鏡２の先端部２ｄが尿道から膀胱B内へ挿入された場合の検出方法について具体的に説明する。
図４は、先端部２ｄが尿道から膀胱B内へ進められたときにおける、画像取込部２４が取得した内視鏡画像の変化を説明するための図である。

内視鏡２を尿道から膀胱Bに挿入する場合、尿道の狭い管状の空間から、管腔が閉じた状態の部位（内尿道口）を押し広げながら広い空間（膀胱B）に入っていく過程の内視鏡画像が撮影される。

先端部２ｄが尿道の狭い管状の空間にあるときは、図４の内視鏡画像GA1のような内視鏡画像が、画像取込部２４により取得される。先端部２ｄが内尿道口に近接すると、図４の内視鏡画像GA2のような内視鏡画像が、画像取込部２４により取得される。先端部２は、内尿道口の粘膜に近接するため、内視鏡画像GA2は、全体に赤っぽい画像となる。

先端部２ｄが内尿道口から膀胱Bに入るときは、管腔が閉じた状態の部位（内尿道口）が押し広げられる様子を示す内視鏡画像GA3、GA4のような内視鏡画像が、画像取込部２４により取得される。先端部２ｄが押し込まれるにつれて、内尿道口が徐々に押し広げられるので、内視鏡画像は、内視鏡画像GA3からGA4のように変化する。

そして、先端部２ｄが膀胱B内に入ると、膀胱Bの内壁面が撮像されるため、図４の内視鏡画像GA5のような画像が得られる。
ここで、先端部２ｄの膀胱B内への挿入の検出を、（ａ）輝度変化により行う場合、（ｂ）色の変化により行う場合、（ｃ）輝度変化と色の変化の組み合わせにより行う場合、（ｄ）内視鏡の先端部の位置情報と組み合わせによる場合、について、説明する。

（ａ）輝度変化により行う場合
輝度変化により行う場合、例えば画像全体の平均輝度と分散とにより、先端部２ｄの膀胱B内への挿入の検出を行うことができる。

図５は、先端部２ｄの位置に応じた、画像全体の輝度値の平均輝度と分散の変化を示す模式的なグラフである。図５において、実線ｇ１は、先端部２ｄの位置に応じた、画像全体の輝度値の平均輝度の変化を示し、一点鎖線ｇ２は、先端部２ｄの位置に応じた、画像全体の輝度値の分散の変化を示す。上述した内視鏡画像GA1からGA5は、図５において矢印で示した対応する位置において、取得される。

画像GA2に示すように、内視鏡２の先端部２ｄが尿道内から内尿道口に近づいた場合、先端部２ｄと内尿道口の粘膜との距離が近接する為、画像全体の輝度値の平均値は高くなり、分散（標準偏差）は低下する。図５において、点Pg1は、平均輝度の極大値の点を示し、点Bg1は、分散の極小値の点を示す。

画像GA3,GA4に示すように、先端部２ｄが内尿道口から膀胱B内に入る場合、内尿道口で閉じた空間を押し広げるように内視鏡２の先端部２ｄが挿入され、膀胱B内に入ると先端部２ｄと膀胱壁と一定の距離を保った状態になる為、画像全体の輝度値の平均値はいったん下がってから上がり、分散（標準偏差）は上がってから下がる。その場合、図５において、点Bg2がその平均輝度の極小値の点を示し、点Pg2は、分散の極大値の点を示す。

よって、画像全体の輝度値の平均、分散（標準偏差）の極大値、極小値を検出することにより、先端部２ｄの膀胱Ｂへの挿入を判断することができる。
なお、以上の例では、画像全体の輝度値の平均と分散を利用しているが、画像の中の所定の領域の輝度値の平均と分散を利用してもよい。
また、以上の例では、画像全体の輝度値の平均と分散を利用しているが、輝度分布を利用してもよい。

図６は、尿道内における内視鏡画像の例を示す図である。内視鏡２の先端部２ｄが尿道内から内尿道口に近づいた場合、先端部２ｄは管状の臓器を通過して、粘膜の壁に近接する為、撮影される画像は、中心部が暗い画像から画像全体の輝度が均一な画像に変化する。

図６において、二点鎖線で示す方向に沿って、輝度値は小さくなっていく。よって、画像全体の輝度の分布を数値化し、管状状態から平面状態に変化する場合の輝度分布から膀胱Ｂへの挿入を判断することができる。

（ｂ）色の変化により行う場合
内視鏡２の先端部２ｄが尿道内から内尿道口に近づいた場合、先端部２ｄと内尿道口の粘膜との距離が近接し、接触する為、内視鏡画像全体が、赤っぽい色になる（いわゆる赤玉状態になる）。

内尿道口で閉じた空間を押し広げるように先端部２ｄが挿入されると、先端部２ｄと粘膜が接触している領域が徐々に小さくなる。よって、赤玉状態を色で検出することにより、膀胱Ｂへの挿入を判断することができる。

（ｃ）輝度変化と色の変化の組み合わせにより行う場合
例えば、一つの方法として、極値と色の変化の組合せを用いる方法がある。ノイズ等により極大値、極小値が複数発生し、正確に内尿道口を判断することが難しくなったり、あるいは、赤玉状態の色を閾値で検出した場合、閾値の設定により膀胱Ｂに入る前に膀胱Ｂに入ったと誤検出する可能性がある。そこで、そのような場合は、色の変化で内尿道口を判断し、上述した極大値と極小値で膀胱B内に入ったことを検出することで、膀胱B内への挿入を正確に判断することができる。

別の方法として、輝度分布と色の変化の組合せを用いる方法がある。内視鏡２の先端部２ｄの向きにより暗い部分が画像の周辺に移動した場合、内尿道口に近接したと判断したり、あるいは、赤玉状態の色を閾値で検出した場合、閾値の設定により膀胱Ｂに入る前に膀胱Ｂに入ったと誤検出する可能性がある。そこで、そのような場合は、色の変化で内尿道口を判断し、輝度の分布で膀胱Ｂ内に入ったことを検出することで、膀胱Ｂ内への挿入を正確に判断することができる。

（ｄ）内視鏡の先端部の位置情報と組み合わせによる場合
例えば、キーボード等を用いて内尿道口の位置を内視鏡システム１のCPU２１に入力し、その点の位置情報と上記（ａ）から（ｃ）の検出結果を組み合わせて膀胱Ｂへの挿入を判断することができる。

あるいは、体外から内尿道口付近に先端部２ｄを配置し、配置した位置情報と上記（ａ）から（ｃ）の検出結果を組み合わせて膀胱Ｂへの挿入を判断することができる。
以上のようにして、先端部２ｄの膀胱B内への挿入の検出を行うことができる。

図３に戻り、膀胱B内への挿入が検出されると（S1:YES）、その検出がされたときにおける位置検出部２５の位置方向情報を、先端部２ｄ（具体的には、対物光学窓１１ａ）の位置と方向の基準情報として記録する（S2）。
CPU２１は、S2で記録された先端部２ｄの位置と方向を、それぞれ３次元膀胱モデル（以下、３D膀胱モデルという）M1の基準位置と基準方向とする基準決定を行う（S3）。S3の処理により、CPU２１は、体外の磁場発生装置７を基準とする第１の座標系（X_０Y_０Z_０）から、膀胱Bの入り口（頸部）を基準とする座標系（X_１Y_１Z_１）への変換、さらには、座標系（X_１Y_１Z_１）から、膀胱モデルM1の中心を基準とする座標系（X_２Y_２Z_２）への変換、を行うことができる。座標系の変換については、後述する。

よって、S1からS3の処理は、被検体である患者P内における被検体内画像情報の変化量に基づいて、対物光学窓１１ａの位置と患者P内における所定臓器モデル画像の座標系における位置とを一致させる位置合わせ部を構成する。

膀胱Bの検査は、患者が仰向けになった状態でかつ膀胱B内が所定の液体（例えば生理食塩水）で満たされた状態で行われる。例えば、大人であれば、膀胱Bの大きさに違いはあっても大きな差はなく、略同じ大きさを有する球体形状で、膀胱Bをモデル化することができる。

図７は、膀胱の各部の名称を説明するための模式的な患者の膀胱の位置を示す図である。図７は、患者Pの正面に対向する方向からみた図である。図８は、膀胱の各部の名称を説明するための模式的な膀胱を示す図である。図８は、患者Pの左側から見たときの膀胱の図である。

膀胱Bは、尿道の開口部であり膀胱Bへの入口である頸部RPと、頸部RPに対向する頂部と、腹部側の前壁と、背中側の後壁と、患者Pから見て右側の右壁と、患者Pから見て左側の左壁の複数の領域に区別される。膀胱Bの検査は、患者Pが仰向けになった状態でかつ膀胱B内が所定の液体で満たされた状態で行われるため、検査者には、現実の膀胱Bの全体の位置と方向は、理解し易い。

図３に戻り、先端部２ｄの膀胱B内への挿入が検出されない場合（S1:NO）、処理は、S1の処理を繰り返す。先端部２ｄの膀胱B内への挿入が検出されたとき（S1:YES）、先端部２ｄは膀胱Bの頸部RPの位置にある。磁気センサ１２は、６軸すなわち（位置座標（ｘ、ｙ、ｚ）と配向（オイラー角（ψ、θ、φ））の位置方向情報を生成しているので、記録装置３は、先端部２ｄの膀胱B内への挿入が検出されたときの位置と方向を記録し、その記録した位置と方向を、３D膀胱モデルM1に対する対物光学窓１１ａの基準位置と基準方向とすることによって、基準位置と基準方向と、３D膀胱モデルM1における頸部RPの位置と方向とを一致させることができる。
図８に示すように、挿入部２ｂの先端部２ｄに設けられた撮像素子１１は、膀胱B内で、視野角θの内視鏡画像を撮像する。

図９は、３D膀胱モデルM1を示す図である。３D膀胱モデルM1は、略球体形状であり、３次元の座標系X_２Y_２Z_２内に形成されている。座標系X_２Y_２Z_２は、座標系X_１Y_１Z_１から変換された座標系である。なお、図９では、膀胱B内における挿入部２ｂの入口である頸部RPを示すために、挿入部２ｂの図形も合わせて示している。

３D膀胱モデルM1は、球体の中心Oを通り右壁から左壁方向の軸をX_２軸とし、球体の中心Oを通り頸部から頂部方向の軸をY_２軸とし、球体の中心Oを通り後壁から前壁方向の軸をZ_２軸として形成されている。

図１０は、膀胱Bの２次元モデル（以下、２D膀胱モデルという）M2を示す図である。２D膀胱モデルM2は、２つの円形を含む形状を有しており、２次元の座標系UV内に形成されている。２D膀胱モデルM2は、図１１に示す膀胱展開図（シェーマ）BEと略同じ形状である。図１１は、膀胱展開図BEを示す図である。膀胱展開図BEは、膀胱B内の各部の位置を示す図であり、図１１に示すように、膀胱B内の各部が膀胱展開図BE上の所定の各領域に対応する。

膀胱Bの２つの尿管口は、図９及び図１０においてuoで示す位置にある。また、例えば、図９において点線で示す位置に膀胱B内に病変部AAがあるとき、図９の病変部AAの位置は、図１０においては点線で示す位置に対応する。

再び、図３に戻り、先端部２ｄの膀胱B内への挿入が検出されたときにおける先端部２ｄの位置と方向の情報が、S2において基準情報として記録され、その基準情報で指定される位置と方向から、３D膀胱モデルM1の基準及び２D膀胱モデルM2の基準が導出される。

次に、CPU２１は、レリーズの検出処理を行う（S4）。このレリーズの検出処理は、内視鏡２の操作部２ａのレリーズボタン１３が押されたか否かを検出する処理である。レリーズボタン１３が押されると、レリーズ信号がプロセッサ５を介して画像取込部２４に入力される。CPU２１は、画像取込部２４に入力されるレリーズ信号の立ち上がり（あるいは立ち下がり）を監視することによって、レリーズボタン１３が押されたか否かを検出することができる。

CPU２１は、画像取込部２４から内視鏡画像を取得する（S5）。上述したように、画像取込部２４は、ここでは、フレームレートと同じ３０分の１秒毎に、プロセッサ５から内視鏡画像を取得する。

CPU２１は、挿入部２ｂの先端部２ｄの位置と方向の情報を取得する（S6）。位置検出部２５から位置方向情報を読み出すことによって、CPU２１は、先端部２ｄの位置と方向の情報を取得することができる。

また、S6では、S3で決定された基準情報に基づいて、CPU２１は、座標系（X_０Y_０Z_０）における位置方向情報を、３次元の座標系（X_２Y_２Z_２）における位置方向情報に変換する。すなわち、S1からS3において対物光学窓１１ａの位置情報と所定臓器モデル画像である膀胱モデル画像の座標系とを一致させた後、S6において、位置方向検出部２５で取得した先端部２ｄの位置及び方向（すなわち対物光学窓１１ａの位置及び方向）と膀胱モデル画像の座標系における位置及び方向との対応付けが行われる。

CPU２１は、内視鏡画像の貼り付け処理を行う（S7）。内視鏡画像の貼り付け処理は、S6において取得し３次元の座標系（X_２Y_２Z_２）に変換した位置方向情報に基づいて、球体である３Ｄ膀胱モデルM1の内面に貼り付けられる内視鏡画像を、２DモデルM2の図（以下、２Dモデル画像という）上に、貼り付ける処理である。

すなわち、S7の処理は、位置合わせ部を構成するS1からS3により対物光学窓１１ａの位置と３Dモデル画像の座標系における位置とが対応付けられた所定臓器のモデル画像上に、被検体内画像を貼り付けた画像を生成する画像生成部を構成する。S7の貼り付け処理は、３次元の座標系（X_２Y_２Z_２）で規定される３D膀胱モデルM1の球体内面上に投影された内視鏡画像を、２次元の座標系（U,V）の２D膀胱モデルM2の画像上の位置に、貼り付けることによって、行われる。

２D膀胱モデルM2の画像上に貼り付けられる内視鏡画像の位置と方向は、上述のように決定され、貼り付ける内視鏡画像の大きさは、例えば、先端部２ｄと膀胱Bの撮像部位までの距離に応じて変更される。

S3で決定された位置と方向の基準情報は、体外の磁場発生装置７を基準として決定した３次元の座標系（X_０Y_０Z_０）における位置と方向であり、S7で貼り付け処理における位置と方向は、２D膀胱モデルM2の頸部RPを基準とする２次元の座標系（U,V）における位置と方向である。

よって、CPU２１は、S3で得られた基準情報から、２次元座標系における先端部２ｄの位置方向情報を導出して、その導出された位置方向情報に基づいて、内視鏡画像を、２Dモデル画像上へ投影して貼り付ける位置及び傾きを算出する。
S7における内視鏡画像の貼り付けは、内視鏡画像が貼り付けられる位置に、内視鏡画像が既に貼り付けられている場合は、後に取得された画像が、先に取得されて貼り付けられた内視鏡画像上に重畳して貼り付けるように、行われる。

そして、CPU２１は、貼り付けた内視鏡画像、２Dモデル画像上の位置と方向、及びレリーズ信号の有無の各情報を、メモリ２２へ記録する（S8）。すなわち、S8の処理は、撮像素子１１により取得された被検体内画像である内視鏡画像と、位置方向検出部２５により取得された位置情報と方向情報とを関連付けて記録する記録部を構成する。

次に、CPU２１は、最前面貼り付け処理を実行する（S9）。最前面貼り付け処理は、２Dモデル画像上に貼り付けられる内視鏡画像が複数あって、全体あるいは一部が互いに重なるように貼り付けられる場合に、レリーズ信号が有りの内視鏡画像が、最も前面に配置されて、他の内視鏡画像によって表示されないことがないようにする処理である。すなわち、内視鏡２のレリーズボタン１３が押されたときの被検体内画像は、他の被検体内画像に優先して、所定臓器のモデル画像上の最前面に貼り付けられる。

なお、S9において、レリーズ信号が有りの複数の内視鏡画像の全部あるいは一部が重なる場合は、後に取得された画像が、先に取得されて貼り付けられた内視鏡画像上に重畳して貼り付けるように、行われる。
よって、S9の処理は、S7で貼り付けられた内視鏡画像の画素位置に、既に貼り付けられている他の内視鏡画像の画素がある画素領域についてのみ行われる。

CPU２１は、最前面貼り付け処理が行われた２Dモデル画像を、表示I/F２３を介してモニタ６に表示する（S10）。このとき、CPU２１は、３Dモデル画像も生成して、２Dモデル画像と共に表示する。CPU２１は、先端部２ｄの位置方向情報に基づいて、挿入部２ｂの画像を生成して、３Dモデル画像上に重畳することによって、３Dモデル画像を生成する。

S10では、CPU２１は、S6で取得した先端部２ｄの位置と方向の情報に基づいて、挿入部の形状を推定し、その推定した形状の挿入部２ｂの画像を生成する。よって、S10の処理は、S6において取得した先端部２ｄの位置情報及び方向情報と、尿道口RPの位置情報と向き情報とに基づいて挿入部２ｂの形状推定を行う形状推定部を有し、S10において、所定臓器に関する３Dモデル画像上に、形状推定部により推定された形状情報である挿入部画像を重畳する処理が実行される。

CPU２１は、挿入部２１の先端部２ｄが膀胱Bから抜去されたか否かを判定する（S11）。S11の判定は、先端部２ｄの位置座標が、膀胱Bの頸部から尿道内へ移動した否かを判定することによって行うことができる。
先端部２ｄが膀胱Ｂ内から抜去されていない場合（S11:NO）、処理は、S4へ戻り、CPU２１は、先端部２ｄが膀胱Ｂ内から抜去されるまで、S4からS11の処理を繰り返す。

図１２は、モニタ６の画面上に表示される内視鏡検査時の表示画面の例を示す図である。図１２に示すように、画面G1は、CPU２１によって生成された画面であって、２Dモデル画像表示部３１と、３Dモデル画像表示部３２と、ライブの内視鏡画像（以下、ライブ画像という）を表示するライブ画像表示部３３とを含む。

２Dモデル画像表示部３１は、図１０の２Dモデルに対応する２Dモデル画像を表示する領域である。２Dモデル画像表示部３１には、２Dの膀胱展開図である２Dモデル画像３１ａと、２Dモデル画像３１ａ上にS７及びS9の処理により貼り付けられた被検体内画像である内視鏡画像３１ｂが表示される。

３Dモデル画像表示部３２は、図９の３Dモデルに対応する３Dモデル画像を表示する領域である。３Dモデル画像表示部３２には、３Dモデル画像３２ａと、３Dモデルにおける挿入部２ｂの先端部２ｄの位置と方向を示す挿入部画像３２ｂが表示される。CPU２１は、上述したように、先端部２ｄの現在の位置方向情報に基づいて、挿入部画像３２ｂを生成する。

図１２の２Dモデル画像表示部３１は、先端部２ｄが膀胱B内に入って頂部方向を向いているときに最初に撮像した内視鏡画像が２Dモデル画像３１ａ上に貼り付けられたときの画像を表示している。

以上のように、撮像素子１１により取得されたライブの被検体内画像は、モデル画像と共に表示され、さらに、ライブの被検体内画像を撮像する撮像素子１１を有する挿入部２ｂの挿入形状も、モデル画像と共に表示される。

ライブ画像表示部３３は、モニタ６がプロセッサ５から取得した内視鏡画像を、そのまま表示する領域である。ライブ画像表示部３３は、例えばモニタ６のPinP機能により、画面G1内に含まれる。

なお、ここでは、ライブの内視鏡を、モニタ６のPinP機能を利用して、モニタ６上に表示しているが、記録装置３のCPU２１により画面G1中にライブ画像を合成させて、モニタ６に出力するようにしてもよい。

図１３は、モニタ６の画面上に表示される表示画面の他の例を示す図である。図１３の２Dモデル画像表示部３１は、先端部２ｄが移動して種々の方向を向いて撮像した複数の内視鏡画像３１ｂが２Dモデル画像３１ａ上に貼り付けられたときの画像を表示している。

S4からS11の処理が所定の周期（ここでは、３０分の１秒の周期）で繰り返されることにより、S5で取得された複数の内視鏡画像は、S7の貼り付け処理により、重畳されて、図１３に示すように、２Dモデル画像表示部３１には、複数の内視鏡画像３１ｂが含まれる。複数の内視鏡画像が貼り付けられている領域が、検査者が観察した領域となる。よって、検査者は、図１３の画像を一見するだけで、内視鏡により観察した領域を簡単に判別することができる。

また、S4からS11の処理が繰り返される間、挿入部２ｂの先端部２ｄの位置及び方向は変化する。なお、３Dモデル画像表示部３２には、３Dモデル画像３２ａ上に、現在の先端部２ｄの視線方向を示す挿入部画像３２ｂが表示されるので、検査者は、現在どこを観察しているかを簡単に理解することができる。

先端部２ｄが膀胱Ｂ内から抜去されると（S11:YES）、モニタ６に表示された画面G1の２Dモデル画像表示部３１は、最後に取得された内視鏡画像に対する処理が行われたときの画像が表示された状態となる。また、３Dモデル画像表示部３２には、挿入部２ｂの挿入部画像３２ｂが表示されない３Dモデル画像３２ａのみが表示され、ライブ画像表示部３３には、膀胱Ｂ内のライブ画像は表示されない。

検査者は、２Dモデル画像表示部３１の画像を、患者のカルテのデータとしてメモリ２２の不揮発性メモリ部に記録してもよいし、印刷して、カルテに貼り付けるようにすることもできる。

ここで、座標系の変換と内視鏡画像の貼り付けについて説明する。
図１４は、磁場発生装置７の座標系とベッド８上の患者Pの膀胱Bの座標系の関係を説明するための図である。位置方向検出部２５は、磁場発生装置７の第１の座標系（X_０Y_０Z_０）を基準とする位置方向情報をリアルタイムで生成する。

そこで、CPU２１は、S3において、図１４に示すように、膀胱Bの入口の位置と方向を基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向検出部２５の位置方向情報を、膀胱Bの入口を基準とする座標系（X_１Y_１Z_１）の位置方向情報に変換する。

Ｐ_１＝Ｒ_０１Ｐ_０＋Ｍ_０１ ・・・式（１）
Ｖ_１＝Ｒ_０１Ｖ_０ ・・・式（２）
ここで、Ｐ_０とＶ_０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X_０Y_０Z_０）における位置と方向ベクトルである。Ｒ_０１は、次の式（３）で示される回転行列であり、Ｍ_０１は、次の式（４）で示される並進行列である。

［式３］

［式４］

よって、第１の座標系（X_０Y_０Z_０）上の点（ｘ_０，ｙ_０，ｚ_０）は、次の式（５）に示すように、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）に変換される。

［式５］

内視鏡の先端部２ｄの膀胱B内への挿入が検出されたときにおける位置方向検出部２５の位置と方向のベクトルをＰ´₀、Ｖ´₀とすると、並進行列Ｍ_０１は以下の式（６）により求められる。

Ｍ_０１＝−Ｐ´₀ ・・・式（６）
また、回転行列Ｒ_０１は以下の条件を満たすように求める。図１５は、中間座標系（X_１Y_１Z_１）上に投影される方向ベクトルを説明するための図である。回転行列Ｒ_０１の満たす条件は、Ｚ₁は重力方向と平行であること、及びＺ₁に対して垂直なX₁Y₁平面にV´₀を投影し、その投影したベクトル方向をY₁、Y₁Z₁平面に垂直なベクトルをX₁とする、ことである。

S6では、さらに、次の式（７）と式（８）に従って、中間座標系（X_１Y_１Z_１）の位置と方向ベクトルは、３D膀胱モデルM1の中心を基準とする第２の座標系（X_２Y_２Z_２）における位置と方向ベクトルに変換される。図１６は、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。

Ｐ_２＝Ｒ_１２Ｐ_１＋Ｍ_０２ ・・・式（７）
Ｖ_２＝Ｒ_１２Ｖ_１ ・・・式（８）
ここで、Ｐ_１とＶ_１は、それぞれ、中間座標系（X_１Y_１Z_１）における位置と方向ベクトルであり、Ｐ_２とＶ_２は、それぞれ、第２の座標系（X_２Y_２Z_２）における位置と方向ベクトルである。Ｖ_２は、第２の座標系（X_２Y_２Z_２）における内視鏡画像の中心の画素の方向ベクトルである。Ｒ_１２は、次の式（９）で示される回転行列であり、Ｍ_０２は、次の式（１０）で示される並進行列である。

［式９］

［式１０］

よって、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）は、次の式（１１）に示すように、第２の座標系（X_２Y_２Z_２）上の点（ｘ_２，ｙ_２，ｚ_２）に変換される。

［式１１］

X₁Y₁Z₁座標系をY₁軸方向にR₂移動した場合、並進M₁₂と回転R₁₂は、それぞれ、式（１２）と式（１３）のようになる。

［式１２］

［式１３］

以上のように、磁場発生装置７の第１の座標系（X_０Y_０Z_０）の位置Ｐ_０は、式（５）と式（１１）より、３Dモデルの中心を基準とする第２の座標系（X_２Y_２Z_２）の位置Ｐ_２に変換され、第１の座標系（X_０Y_０Z_０）における方向V_０は、次の式（１４）に従って、第２の座標系（X_２Y_２Z_２）の方向V_２に変換される。

V_２＝Ｒ_１２Ｒ_０１V_０ ・・・式（１４）
また、S7における内視鏡画像の貼り付け処理においては、第２の座標系（X_２Y_２Z_２）において、３D膀胱モデルM1の内面に内視鏡画像を貼り付ける場合の座標の算出について説明する。

３DモデルM1は、膀胱Bの形状を、半径R2の球体と仮定している。内視鏡画像は、その球体の内面に貼り付けられる。図１７は、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。図１８は、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２を説明するための図である。

先端部２ｄの第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２が決定すると、得られた内視鏡画像の、球体の内面上の座標を求める。そのために、次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X_２Y_２Z_２）における座標Ｐ_２１を求める。

Ｐ_２１＝Ｐ_２＋ｋV_２ ・・・式（１５）
｜Ｐ_２１｜＝Ｒ_２ ・・・式（１６）
内視鏡画像は、求めた座標Ｐ_２１の位置に投影されて貼り付けられる。

次に、第２の座標系（X_２Y_２Z_２）における位置が、２Dモデルの座標系に投影される。まず、膀胱Bの腹側の半球の場合（０≦Ｚ_２）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（１７）により示され、ｖ方向の値は、次の式（１８）により示される。

ｕ＝−ｘ_２１ ・・・式（１７）
ｖ＝ｙ_２１＋Ｒ_２ ・・・式（１８）
また、膀胱Bの背中側の半球の場合（Ｚ_２＜０）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（１９）により示され、ｖ方向の値は、次の式（２０）により示される。

ｕ＝−ｘ_２１ ・・・式（１９）
ｖ＝−ｙ_２１−Ｒ_２ ・・・式（２０）
図１９は、２次元の座標系（U,V）における座標関係を説明するための図である。
方向ベクトルV_２は、上述したように、第２の座標系（X_２Y_２Z_２）における内視鏡画像の画像中心の画素の方向ベクトルである。よって、内視鏡画像のおける画像中心の画素以外の画素については、各画素の方向ベクトルを求め、上述した式（１５）から式（２０）の変換演算を繰り返すことによって、内視鏡画像の全体を第２の座標系（X_２Y_２Z_２）の球体の内面に貼り付けることができる。

図２０は、内視鏡画像の全体を走査して、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けを説明するための図である。内視鏡画像EIの各画素を、点線で示すように、所定の方向に走査しながら、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けが行われる。図２０において、V_２′は、内視鏡画像EIの各画素の貼り付けベクトルを示し、P_２１′は、第２の座標系（X_２Y_２Z_２）の球体の内面の貼り付けベクトルを示す。
以上のように、本実施の形態によれば、膀胱B内を検査した部分の内視鏡画像が、２Dモデル画像３１ａ上に重畳され、かつレリーズボタン１３が押されたときの内視鏡画像は、２Dモデル画像３１ａ上で最前面にくるように重畳されて表示されるので、検査者は、膀胱Ｂ内で確認した領域を簡単に確認できると共に、病変部あるいは気になった部位の画像を明瞭にみることができる。
なお、２Dモデル画像３１ａ上に内視鏡画像を貼り付ける場合、レリーズボタン１３が押されたときの内視鏡画像のみを貼り付けるようにしてもよい。

図２１は、モニタ６の画面上に表示される画像の他の例を示す図である。２Dモデル画像表示部３１では、レリーズボタン１３が押されたときの内視鏡画像のみが、２Dモデル画像３１ａ上に貼り付けされている。検査者は、図２１の２Dモデル画像表示部３１の画像も、患者のカルテのデータとしてメモリ２２の不揮発性メモリ部に記録してもよいし、印刷して、カルテに貼り付けるようにすることもできる。

上述した例では、磁気センサ１２は、６軸のセンサであるので、２Ｄモデル画像上に貼り付けられる複数の内視鏡画像の上下左右方向が一致するように貼り付けられる。しかし、磁気センサ１２は、５軸のセンサでもよい。

図２２は、５軸センサを用いた場合における、モニタ６の画面上に表示される画像の例を示す図である。図２３は、５軸センサを用いた場合における、レリーズボタン１３が押されたときの内視鏡画像のみが２Dモデル画像３１ａ上に貼り付けられ画像の例を示す図である。図２２は、図１３に対応し、図２３は、図２１に対応する。

磁気センサ１２が５軸センサであるとき、挿入部２ｂの軸回りの回動角度を検出することができないが、図２２及び図２３に示すように、各内視鏡画像３１ｂは、挿入部２ｂの軸周りの回動に関係のない所定の角度で、２Ｄモデル画像３１ａ上に貼り付けられる。
５軸センサを用いても、上述した実施の形態と同様の効果を得ることができる。

さらになお、上述した例では、通常光観察モードにおける内視鏡画像が、臓器モデル画像上に貼り付けられるが、特殊光観察モードにおける内視鏡画像を、臓器モデル画像上に貼り付けるようにしてもよい。

この場合は、上述した図１３、図２１から図２３において、内視鏡画像３１ｂは、通常光の内視鏡画像でなく、特殊光（ここでは狭帯域光）の内視鏡画像となる。
また、２つの臓器モデル画像を表示し、一方には、通常光の内視鏡画像を貼り付け、他方には、特殊光の内視鏡画像を貼り付けるようにしてもよい。

図２４は、２つの観察モードに対応して２つの臓器モデルの画像を表示した場合の表示画面の例を示す図である。
図２４において、図１３、図２１から図２２において同じ構成要素については、同じ符号を付し説明は、省略する。なお、図２４は、６軸センサを用いた場合の例を示す。

図２４では、通常光の内視鏡画像の臓器モデル画像に加えて、特殊光の内視鏡画像を貼り付けるための２Dモデル画像表示部３４が、画面上に追加されている。
２Dモデル画像表示部３４には、２Dモデル画像３４ａと、２Dモデル画像３４ａ上にS７及びS9の処理により貼り付けられた特殊光の内視鏡画像３４ｂが表示される。

２Dモデル画像表示部３１には、通常光の内視鏡画像が表示され、２Dモデル画像表示部３４には、狭帯域光の内視鏡画像が表示されるので、検査者は、両方を比べながら、検査などを行うことができると共に、その後の検査においても、カルテに両方の画像が添付されていれば、検査者は、前回の検査における臓器の状態をより詳細に知ることができる。

よって、画像生成部を構成するS7では、モデル画像が複数設定されると共に、照明部である光源装置４の照明光の種類に基づいて複数設定されたモデル上に、照明光の種類に応じた内視鏡画像の貼り付けが行われる。

なお、狭帯域光の内視鏡画像は、通常光の内視鏡画像に比べて、より細かな粘膜表面内部のテクスチャを示すので、２Dモデル画像表示部３１の２Dモデル画像３１ａ上に、レリーズボタンが押されたときの狭帯域光の内視鏡画像が最前面に貼り付けるようにして、１つの２Dモデル画像表示部上に、通常光の内視鏡画像と狭帯域光の内視鏡画像の両方を貼り合わせた画像を生成するようにしてもよい。

さらになお、先端部２ｄが膀胱内に入ったことは、内視鏡画像を見ている検査者も、モニタ６に表示される内視鏡画像の変化により、分かるので、検査者が先端部２ｄが膀胱B内に入ったときに、操作部２ａあるいはプロセッサ５の操作パネルにおいて所定の操作を行うことによって、基準の位置と方向を記録するようにしてもよい。すなわち、検査者による所定の操作入力に基づいて、対物光学窓１１ａの位置及び方向と、臓器モデル画像の座標系との位置合わせを行うようにしてもよい。

また、検査者が体腔外で尿道から膀胱に入る位置を指定し、その位置が含まれる平面（膀胱Bの入口を基準とする座標系（X_１Y_１Z_１）のY_１方向に垂直な平面）を設定する。内視鏡を尿道に挿入し、その平面を通過したときの位置と向きを基準の位置と方向として記録するようにしてもよい。すなわち、予め設定された基準平面に対する位置情報に基づいて、対物光学窓１１ａの位置及び方向と、臓器モデル画像の座標系との位置合わせを行うようにしてもよい。

以上のように、上述した本実施の形態の内視鏡システムによれば、検査者が内視鏡画像の検査対象臓器における位置を容易にわかるように、内視鏡画像を対象臓器の臓器モデル画像上に貼り付けるので、内視鏡による検査時間若しくは処置時間を短くすることができる内視鏡システムを実現することができる。

さらに、上述した本実施の形態の内視鏡システムによれば、膀胱B内の病変部の位置、及び観察している領域を容易に確認できるので、病変部の見逃しが防止されて再検査率の低減、カルテへの記載間違いの低減を図ることもできる。

（第２の実施の形態）
上述した第１の実施の形態では、３DモデルM1及び２DモデルM2のサイズは、所定の標準サイズであると仮定しているが、撮像された内視鏡画像を２Dモデル画像上に貼り付ける位置の精度向上、及び３Dモデル画像上に表示する先端部２ｄの位置及び形状の精度向上のために、患者の膀胱Bのサイズを測定し、その測定されたサイズから３D膀胱モデルM1のサイズを推定するようにしてもよい。

本実施の形態は、内視鏡画像の貼り付け処理の流れの一部が、図３の内視鏡画像の貼り付け処理の流れと異なる。
図２５は、本実施の形態に係る、膀胱内の観察時における内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。図２５において、図３と同じ処理については同じ符号を付けて、説明は省略する。

図２５に示すように、S2の処理の後に、CPU２１は、膀胱の入り口から、膀胱の入り口に対向する膀胱の壁面すなわち頂部の壁面までの距離を計測する（S21）。
この計測は、例えば、モニタ６上に所定のメッセージを表示し、検査者に先端部２ｄを頂部の壁面に接触させ、その接触させたときの位置と、膀胱の入り口の位置との間の距離を演算により求めることによって、行うことができる。

具体的には、CPU２１は、S2の処理の後、モニタ６の画面上に、「挿入部の先端を頂部の中央部に接触させて下さい。そして、その接触された状態で、レリーズボタンを押して下さい。」というメッセージを生成して表示する。

ユーザである検査者が、挿入部２ｂを動かして先端部２ｄを頂部の中央部に接触させた状態でレリーズボタン１３を押すと、CPU２１は、レリーズボタン１３が押されたときの先端部２ｄの位置方向情報を位置方向検出部２５から取得し、その取得した位置方向情報の位置と、S2で取得した膀胱Bの入口の位置との差からから、膀胱の入り口から、膀胱の入り口に対向する膀胱の壁面すなわち頂部の壁面までの距離を演算して求めることができる。

よって、CPU２１は、S21の後、S3と同様の基準決定と、S21で得られた距離に応じた３DモデルM1と２DモデルM2の大きさを推定して決定する（S22）。
S22で決定された大きさの２つの膀胱モデルの画像は、S4からS11の処理において、内視鏡画像が貼り付けられるときに用いられる。

図２５におけるS4からS11の処理は、図３と同様である。
よって、本実施の形態によれば、頸部から頂部までに距離を測定し、球体である患者の膀胱の直径を推定しているので、より正確な位置に内視鏡画像の貼り付けを行うことができる。

なお、本第２の実施の形態と変形例として、記録装置３の有するステレオ計測機能を利用して、頸部から頂部までの距離を測定するようにしてもよい。すなわち、内視鏡の先端部を微小距離移動させ、CPU２１が２点の位置から頂部を撮像し、２点間の距離と、頂部の２つの画像から、撮像素子から頂部までの距離を演算して求めることにより、膀胱のサイズを測定するようにしてもよい。

例えば、頸部の位置において、わずかに先端部２ｄの位置をずらして、２つの頂部の画像を撮像し、撮像して得られた２つの画像から、頸部と頂部間の距離を測定する。このようにして、得られた距離を、膀胱の直径として、膀胱モデルの大きさを決定する。

（第３の実施の形態）
上述した第１の実施の形態では、３DモデルM1及び２DモデルM2のサイズは、所定の標準サイズであると仮定し、第２の実施の形態では先端部２ｄを頂部に接触させて膀胱の入り口から頂部までの距離を求めているが、撮像された内視鏡画像を２Dモデル画像上に貼り付ける位置の精度向上、及び３Dモデル画像上に表示する先端部２ｄの位置及び形状の精度向上のために、記録装置３の有するステレオ計測機能を利用して、患者の膀胱Bの形状を測定し、その測定された形状を３D膀胱モデルM1としてもよい。

膀胱Ｂの内視鏡画像の位置に対応する３D膀胱モデルM1上の位置を球体内面上に投影するとき、上述した式（１５）と式（１６）は、それぞれ次の式（２１）と式（２２）に置き換えられる。図２６は、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。図２７は、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２と、座標Ｐ_２１を説明するための図である。

先端部２ｄの第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２が決定すると、得られた内視鏡画像の、球体の内面との交点の座標を求める。そのために、次の式（２１）と式（２２）を満たす係数ｋを算出し、第２の座標系（X_２Y_２Z_２）における座標Ｐ_２１を求める。

［式２１］

［式２２］

内視鏡画像は、求めた座標Ｐ_２１の位置に投影されて貼り付けられる。

従って、本実施の形態の内視鏡システムによっても、第１の実施の形態と同様の効果を得ることができる。
以上のように、上述した各実施の形態によれば、検査者が内視鏡画像の検査対象臓器における位置を容易にわかるように、内視鏡画像を対象臓器の臓器モデル画像上に貼り付けるので、内視鏡による検査時間若しくは処置時間を短くすることができる内視鏡システムを実現することができる。

なお、上述した各実施の形態では、内視鏡画像は、２次元の臓器モデル画像上に貼り付けられているが、３D画像である、３次元の臓器モデルの画像上に貼り付けるようにしてもよい。すなわち、モデル画像は、２D画像でなく、３D画像でもよい。
さらになお、上述した各実施の形態では、膀胱内の内視鏡画像を、膀胱の２Dモデル画像上に貼り付けるが、上述した各実施の形態の内視鏡システムは、膀胱以外の他の臓器、例えば胃、子宮、に対しても適用可能である。

胃の場合、食道から胃に入るとき、肺の場合、気管の下方において最初に左右の気管支に分かれるとき、子宮の場合、子宮頸部から子宮内に入るとき、等に、画像の変化から、基準情報を決定でき、臓器モデル画像上に貼り付けることができる。

また、上述した２つの実施の形態では、内視鏡２は、可撓性を有する挿入部を有する軟性鏡であるが、本発明は、硬性鏡や走査型内視鏡などの他のタイプの内視鏡にも適用可能であり、さらに、挿入部が先端部の対物光学窓に入射した光を基端部まで導く導光部材を有するような内視鏡にも適用可能である。

さらに、上述した内視鏡システムは、臓器内の内視鏡画像の位置を記録し、あるいは表示させるために利用されているが、ランダムバイオプシーにおける生検位置の記録にも利用することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１３年３月６日に日本国に出願された特願２０１３−４４６０２号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (11)

1. 被検体内に挿入する挿入部と、
   前記挿入部の先端側に設けられ、前記被検体からの光を受ける対物光学窓と、
   前記対物光学窓から入射された光から前記被検体内を撮像する撮像部と、
   前記対物光学窓の位置情報を取得する位置情報取得部と、
   前記被検体内における被検体内画像情報の変化量、所定の操作入力、又は予め設定された基準平面に対する前記位置情報に基づいて、前記位置情報取得部により取得される前記対物光学窓の位置と前記被検体内における所定臓器の３次元モデル画像の座標系における基準位置とを一致させる位置合わせ部と、
   前記位置合わせ部により前記対物光学窓の位置と前記座標系における基準位置とが対応付けられた前記３次元モデル画像を２次元的に展開した前記所定臓器の２次元モデル画像上に対して、被検体内画像を貼り付けた画像を生成する画像生成部と、
   を備えることを特徴とする内視鏡システム。
2. 前記位置合わせ部は、前記位置情報取得部において取得した前記対物光学窓の位置と方向と、前記所定臓器の前記３次元モデル画像の座標系における位置と方向との対応付けを行うことを特徴とする請求項１に記載の内視鏡システム。
3. 前記位置情報取得部は、前記位置情報に加えて方向情報を取得し、
   前記位置情報及び前記方向情報に基づいて前記挿入部の形状推定を行う形状推定部をさらに有し、
   前記画像生成部は、前記所定臓器に関する前記３次元モデル画像上に前記形状推定部により推定された形状情報を重畳することを特徴とする請求項１に記載の内視鏡システム。
4. 前記被検体に対して白色光又は所定波長帯域を有する特殊光を切り換え可能に照射する照明部を更に備え、
   前記画像生成部は、前記２次元モデル画像を複数設定すると共に、前記照明部の照明光の種類に基づいて複数設定されたモデル上に前記被検体内画像の貼り付けを行うことを特徴とする請求項１に記載の内視鏡システム。
5. 前記特殊光は、狭帯域光であることを特徴とする請求項４に記載の内視鏡システム。
6. 前記被検体内画像情報の変化量は、前記被検体内画像から抽出して得られた輝度、色味、又はテクスチャの変化量であることを特徴とする請求項１に記載の内視鏡システム。
7. 前記所定臓器の２次元モデル画像は、膀胱展開図であることを特徴とする請求項１に記載の内視鏡システム。
8. 前記画像生成部は、前記撮像部により取得されたライブの被検体内画像を、前記２次元モデル画像と共に表示することを特徴とする請求項１に記載の内視鏡システム。
9. 前記画像生成部は、前記ライブの被検体内画像を撮像する前記撮像部を有する挿入部の挿入形状を表示することを特徴とする請求項８に記載の内視鏡システム。
10. 被検体からの光を受ける内視鏡の挿入部の対物光学窓の位置情報を取得する位置情報取得部と、前記対物光学窓から入力された光から前記被検体内を撮像する撮像部と、位置合わせ部と、画像生成部とを有する内視鏡システムの作動方法であって、
    前記位置合わせ部が、前記被検体内における被検体内画像情報の変化量、所定の操作入力、又は予め設定された基準平面に対する前記位置情報に基づいて、前記位置情報取得部により取得される前記対物光学窓の位置と前記被検体内における所定臓器の３次元モデル画像の座標系における基準位置とを一致させ、
    前記画像生成部が、前記位置合わせ部により前記対物光学窓の位置と前記座標系における基準位置とが対応付けられるとともに前記３次元モデル画像を２次元的に展開した前記所定臓器の２次元モデル画像上に、被検体内画像を貼り付けた画像の生成を行う、
    ことを特徴とする内視鏡システムの作動方法。
11. 前記内視鏡システムは形状推定部を有し、
    前記位置情報取得部は、前記位置情報に加えて方向情報を取得し、
    前記形状推定部が、前記位置情報及び前記方向情報に基づいて前記挿入部の形状推定を行い、
    前記画像生成部が、前記被検体内画像を貼り付けた画像の生成を、前記所定臓器に関する３次元モデル画像上に前記形状推定された形状情報を重畳することにより行うことを特徴とする請求項１０に記載の内視鏡システムの作動方法。

Images