JP5771757B2 - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents

Description

本発明は、内視鏡システム及び内視鏡システムの作動方法に関し、特に、内視鏡画像を貼り付けた臓器モデル画像を表示する内視鏡システム及び内視鏡システムの作動方法に関する。

従来より、内視鏡システムが医療分野及び工業分野で広く利用されている。例えば、医療分野の内視鏡システムでは、術者が被検体内に内視鏡の挿入部を挿入し、挿入部の先端部に設けられた観察窓を通して得られた内視鏡画像が表示装置に表示される。表示された内視鏡画像を見て、術者は内視鏡検査を行うことができる。さらに、内視鏡システムは、内視鏡画像の記録もすることができる。例えば、医者は、記録された病変部の内視鏡画像を、カルテの一部として利用することができる。

また、近年は、カプセル型内視鏡システムも実用化されており、患者がそのカプセル型内視鏡を飲み込むと、カプセル型内視鏡は、体内を移動している間に体内を撮像し、体内の画像を記録する。

カプセル内視鏡の場合、膨大な数の画像が取得されるので、取得された多くの画像の中から病変部などの観察対象部位の画像のみを抽出する技術や、特開２０１０−２４００００号公報に開示のように、複数の画像を３Ｄモデル上に貼り付けるときに特徴パラメータに基づいて優先順位の高い画像を用いて診断用画像を生成する技術が提案されている。
さらにまた、特開２００７−２３６７００号公報には、カプセル型内視鏡で得られた全方位画像を展開して展開画像を作成し、その展開画像内の血管パターン及び構造パターンを抽出し、その抽出結果に基づいて展開画像を繋なぎ合わせて、臓器の輪郭図に重ねて表示する技術が提案されている。

ところで、前回の内視鏡検査において発見された病変部の状態を観察するために、内視鏡検査が再度行われたり、前回の内視鏡検査において発見された病変部に対して、内視鏡を用いて処置したりすることも行われている。

そのため、医者は、検査において発見された病変部の検査対象臓器における位置を、カルテに記入する。例えば、検査対象臓器が膀胱の場合、病変部の位置は、カルテに描かれる膀胱展開図（シェーマ）に印が付けられることにより指定される。

しかし、前回の内視鏡検査において得られた内視鏡画像が、対象臓器におけるどの位置の画像であるかは、解り難い場合がある。
カプセル内視鏡を利用する上記の特開２０１０−２４００００号公報に開示の内視鏡システムでは、内視鏡画像が対象臓器の３Ｄモデルに貼り付けられるが、カプセル型内視鏡であるため、医者は、得られた内視鏡画像から、臓器における病変部の位置を容易に把握することはできない。上記の特開２００７−２３６７００号公報に開示のカプセル型内視鏡システムにおいても、臓器の輪郭図に展開画像が繋ぎ合わされるが、展開画像が繋ぎ合わされたモザイク画像から、臓器における病変部の位置を把握することは容易ではない。

また、挿入部を有する内視鏡の場合であっても、例えば、膀胱展開図に指定された位置と現実の膀胱における位置との対応付けの把握が容易でないものもあり、医者にとって、内視鏡検査において確認された病変部の位置をそのような膀胱展開図に記入すること、そして、そのようなカルテの膀胱展開図に記された位置から現実の膀胱における位置を把握することは、容易ではない。

そのため、前回の検査で得られた病変部の内視鏡画像があっても、医者は、再度臓器内を隈無く観察して、病変部を捜すことを行うことも少なくない。
さらに、病変部が小さい場合あるいは病変部の色調変化が乏しい場合は、医者は、病変部を認識し難いため、得られた複数の内視鏡画像の中から病変部を含む内視鏡画像だけを特定することが容易でない場合がある。
結果として、内視鏡による検査時間若しくは処置時間が長く掛かってしまうという問題がある。

そこで、本発明は、内視鏡画像の検査対象臓器における位置が容易にわかり、かつ複数の内視鏡画像の中から特定の内視鏡画像のみを特定することが容易な内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。

本発明の一態様によれば、被検体内に挿入する挿入部と、前記挿入部の先端側に設けられ、前記被検体からの光を受ける対物光学窓と、前記対物光学窓から入射された光から、前記被検体内を撮像する撮像部と、前記対物光学窓の位置情報を取得する位置情報取得部と、前記撮像部により取得された被検体内画像と、前記位置情報取得部により取得された前記位置情報と、を関連付けて記録する記録部と、前記被検体内における所定臓器のモデル画像に対して前記記録部に記録される位置情報を対応付ける対応付け部と、前記対応付け部により対応付けられた前記所定臓器のモデル画像上に前記被検体内画像を貼り付けた画像を、貼り付け画像として生成する画像生成部と、前記撮像部における撮像に関する所定のトリガ信号の発生があったか、又は前記撮像部により取得された前記被検体内画像の所定の特徴量が所定の条件を満たしたか、を判定する判定部と、前記判定部で前記所定のトリガ信号の発生があったもしくは前記所定の特徴量が前記所定の条件を満たしたと判定された被検体内画像を、前記貼り付け画像上における他の被検体内画像より前面に貼り付ける処理と、前記前面に貼り付けられた前記被検体内画像に対して、前記他の被検体内画像とは識別可能となるように画像処理を施す制御部と、を備える内視鏡システムを提供することができる。

本発明の一態様によれば、被検体内に挿入する挿入部の先端側に設けられた対物光学窓から入射された光から、前記被検体内を撮像する撮像部と、前記対物光学窓の位置情報を取得する位置情報取得部と、前記撮像部により取得された被検体内画像と、前記位置情報取得部により取得された前記位置情報と、を関連付けて記録する記録部と、対応付け部と、画像生成部と、判定部と、制御部とを有する内視鏡システムの作動方法であって、前記対応付け部が、前記被検体内における所定臓器のモデル画像に対して前記記憶部に記録される位置情報を対応付け、前記画像生成部が、前記対応付け部により対応付けられた前記所定臓器のモデル画像上に前記被検体内画像を貼り付けた画像を、被検体内画像貼り付け画像として生成し、前記判定部が、前記撮像部における撮像に関する所定のトリガ信号の発生があったか、又は前記撮像部により取得された前記被検体内画像の所定の特徴量が所定の条件を満たしたか、を判定し、前記制御部が、前記判定部で前記所定のトリガ信号の発生があったもしくは前記所定の特徴量が前記所定の条件を満たしたと判定された被検体内画像を、前記貼り付け画像上における他の被検体内画像より前面に貼り付ける処理と、前記前面に貼り付けられた前記被検体内画像に対して、前記他の被検体内画像とは識別可能となるように画像処理を施す、内視鏡システムの作動方法を提供することができる。

本発明の第１の実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の第１の実施の形態に係わる内視鏡システム１の構成を示すブロック図である。 本発明の第１の実施の形態に係わる、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に係わる、膀胱の各部の名称を説明するための模式的な患者の膀胱の位置を示す図である。 本発明の第１の実施の形態に係わる、膀胱の各部の名称を説明するための模式的な膀胱を示す図である。 本発明の第１の実施の形態に係わる３D膀胱モデルM1を示す図である。 本発明の第１の実施の形態に係わる、膀胱Bの２次元モデルM2を示す図である。 膀胱展開図BEを示す図である。 本発明の第１の実施の形態に係わる、モニタ６の画面上に表示される内視鏡検査時の表示画面の例を示す図である。 本発明の第１の実施の形態に係わる、モニタ６の画面上に表示される表示画面の他の例を示す図である。 本発明の第１の実施の形態に係わる、磁場発生装置７の座標系とベッド８上の患者Pの膀胱Bの座標系の関係を説明するための図である。 本発明の第１の実施の形態に係わる、中間座標系（X_１Y_１Z_１）上に投影される方向ベクトルを説明するための図である。 本発明の第１の実施の形態に係わる、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。 本発明の第１の実施の形態に係わる、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。 本発明の第１の実施の形態に係わる、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２を説明するための図である。 本発明の第１の実施の形態に係わる、２次元の座標系（U,V）における座標関係を説明するための図である。 本発明の第１の実施の形態に係わる、内視鏡画像の全体を走査して、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けを説明するための図である。 本発明の第１の実施の形態に係わる、モニタ６の画面上に表示される画像の他の例を示す図である。 本発明の第１の実施の形態に係わる、５軸センサを用いた場合における、モニタ６の画面上に表示される画像の例を示す図である。 本発明の第１の実施の形態に係わる、５軸センサを用いた場合における、レリーズボタン１３が押されたときの内視鏡画像のみが２Dモデル画像３１ａ上に貼り付けられ画像の例を示す図である。 本発明の第１の実施の形態に係わる、２つの観察モードに対応して２つの臓器モデルの画像を表示した場合の表示画面の例を示す図である。 本発明の第１の実施の形態の変形例１に係わる、特定の内視鏡画像のみを他の内視鏡画像とは識別可能に表示する画面G1の例を示す図である。 本発明の第１の実施の形態の変形例２に係わる、特定の内視鏡画像のみを他の内視鏡画像とは識別可能に表示する画面G1の例を示す図である。 本発明の第１の実施の形態の変形例３に係わる、レリーズボタンが押されたときの特定の内視鏡画像のみを表示し、他の内視鏡画像とは識別可能に表示する画面G1の例を示す図である。 本発明の第１の実施の形態の変形例３に係る、５軸センサの磁気センサを用いた場合の画面G1の例を示す図である。 本発明の第２の実施の形態に係わる、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。 本発明の第２の実施の形態に係わる、判定処理及び識別可能表示処理の流れの例を示すフローチャートである。 モニタ６の画面上に表示される表示画面において、臓器モデル画像と共に、拡大画像を併せて表示する画面の例を示す図である。 モニタ６の画面上に表示される表示画面において、臓器モデル画像と共に、拡大画像を併せて表示する画面の例を示す図である。 モニタ６の画面上に表示される表示画面において、臓器モデル画像と共に、拡大画像を併せて表示する画面の例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。以下、本発明の実施の形態を、膀胱内の内視鏡画像を取得する場合を、例として説明する。
（第１の実施の形態）
（構成）
図１は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。図２は、内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、記録装置３と、光源装置４と、プロセッサ５と、モニタ６と、磁場発生装置７とを含んで構成されている。内視鏡システム１は、通常光観察と特殊光観察の２つの観察モードを有する。検査者である医者は、ベッド８上に仰向けで横になっている患者Ｐの膀胱Bの内視鏡検査を行う。

内視鏡２は、操作部２ａと、可撓性を有し被検体内に挿入する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、膀胱検査用の内視鏡である。
さらに、図示しないが、ユニバーサルケーブル２ｃ内には、ライトガイドが挿通されており、内視鏡２は、光源装置４からの照明光を、ライトガイドを通して挿入部２ｂの先端部２ｄから出射するように構成されている。

また、図２に示すように、挿入部２ｂの先端部２ｄには、撮像素子１１が設けられており、光源装置４の照明光により照明された膀胱B内の部位が、対物光学窓１１ａを介して撮像素子１１により撮像される。対物光学窓１１ａは、挿入部２の先端側に設けられ、被検体からの光を受ける。すなわち、撮像素子１１は、被検体内に挿入され、対物光学窓１１ａから入射された光から被検体内を撮像する撮像部を構成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介してプロセッサ５に供給され、撮像信号は、プロセッサ５において画像処理が行われる。

プロセッサ５は、観察モードを切り換えるための切換スイッチ５ａを有し、プロセッサ５は、切換スイッチ５ａにより指定された観察モードに応じた内視鏡画像を生成する。
また、生成された内視鏡画像は、プロセッサ５からモニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う医者（以下、検査者という）は、挿入部２ｂの先端部２ｄを患者Pの尿道から挿入し、患者Pの膀胱B（図１において点線で示す）内を観察することができる。

さらに、挿入部２ｂの先端部２ｄには、磁気センサ１２が配置されている。具体的には、先端部２ｄの対物光学窓１１ａの近傍に、２つのコイル２ｅを有する磁気センサ１２が設けられている。よって、磁気センサ１２は、６軸のセンサである。磁気センサ１２の信号線２ｆが、内視鏡２から延出し、記録装置３に接続されている。
なお、磁気センサ１２は、５軸のセンサでもよい。

磁場発生装置７が所定の磁場を発生し、磁気センサ１２は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から記録装置３へ供給される。

内視鏡２の操作部２ａには、レリーズボタン１３が設けられている。レリーズボタン１３は、検査者が内視鏡画像を記録するときに、押すためのボタンである。レリーズボタン１３が押されると、レリーズボタン操作信号がプロセッサ５へ入力され、プロセッサ５は、レリーズ信号を生成して、記録装置３へ供給する。レリーズボタン１３が押されたときの内視鏡画像は、記録装置３の後述するメモリ２２に記録される。

記録装置３は、中央処理装置（以下、CPUという）２１と、メモリ２２と、表示インターフュース（以下、表示I/Fと略す）２３と、画像取込部２４と、位置方向検出部２５と、駆動回路２６を含んでいる。CPU２１と、メモリ２２と、表示インターフュース（以下、表示I/Fと略す）２３と、画像取込部２４と、位置方向検出部２５と、駆動回路２６は、バス２７を介して互いに接続されている。

CPU２１は、記録装置３内の各部の処理を制御する制御部である。
メモリ２２は、ROM、RAM、フラッシュメモリなどを含む記憶部であり、CPU２１により実行される各種処理プログラム及び各種データが記憶され、さらに、後述するように、内視鏡画像情報及び位置と方向の情報なども記憶される。

また、メモリ２２には、後述する臓器のモデル画像（以下、臓器モデル画像という）のデータも記憶され、後述するように、内視鏡画像がその臓器モデル画像上に貼り付けられる。詳細については、後述するが、CPU２１は、内視鏡画像を撮像したときの先端部２ｄ位置方向情報に基づいて、予め記憶されたモデル画像上に、内視鏡画像を貼り付ける処理を行い、内視鏡画像を貼り付けた臓器モデル画像をメモリ２２に記憶する。メモリ２２に記憶された臓器モデル画像は、カルテの一部として利用される。

メモリ２２に記憶された臓器モデル画像は、表示I/F２３を介して出力され、モニタ６の画面上に表示される。
さらに、モニタ６は、プロセッサ５も接続されている。モニタ６は、PinP（Picture In Picture）機能を有し、CPU２１により内視鏡画像が貼り付けられた臓器モデル画像と共に、内視鏡２の撮像素子１１により撮像して得られたライブの内視鏡画像を表示することができる。

画像取込部２４は、プロセッサ５において得られた画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ５から取得する。また、画像取込部２４は、プロセッサ５からのレリーズ信号も受信する。なお、ここでは、画像取込部２４は、１秒間に３０枚の内視鏡画像を取り込んでいるが、フレームレートとは異なる、例えば１秒間に３枚等のより長い周期で内視鏡画像を取得するようにしてもよい。

位置方向検出部２５は、磁場発生装置７を駆動する駆動回路２６を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１２により検出し、その検出された磁場の検出信号から、対物光学窓１１ａの位置座標（ｘ、ｙ、ｚ）と配向（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち位置方向情報、をリアルタイムで生成する。すなわち、位置方向検出部２５は、磁気センサ１２からの位置情報及び方向情報を取得して、対物光学窓１１ａの位置情報を取得する位置情報取得部を構成する。

CPU２１は、画像取込部２４が取り込んだ画像と、位置方向検出部２５が検出した位置方向情報から算出された先端部２ｄの位置と方向の情報とを関連付けて、メモリ２２に記憶する。

CPU２１は、さらに、ステレオ計測機能を有し、撮像して得られた２枚のフレーム画像から、フレーム画像中の対象部位の各部までの距離を計測する機能を有する。具体的には、CPU２１は、２枚のフレーム画像を撮像したときの位置方向検出部２５からの位置方向情報に基づいて対物光学窓１１ａの撮像位置情報を取得し、２枚のフレーム画像を撮像したときの視差から、撮像素子１１からフレーム画像中の各部までの距離を算出することができる。ステレオ計測機能のためのプログラムが、メモリ２２に記憶されており、CPU２１は、そのプログラムを読み出して実行することにより、ステレオ計測を行うことができる。

また、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを出射可能な光源装置であり、プロセッサ５に設けられた観察モードを切り換えるための切換スイッチ５ａの状態に応じて、通常光と特殊光のいずれかを照明光として出射する。

ここでは、特殊光観察モードは、狭帯域観察モードである。なお、特殊光観察モードは、赤外光観察モードあるいは蛍光観察モードでもよい。よって、内視鏡システム１は、通常光観察モードと特殊光観察モードの２つの観察モードを有し、光源装置４は、切換スイッチ５ａが通常光観察モードのときは、通常光の照明光を出射し、切換スイッチ５ａが特殊光観察モードのときは、所定の波長の狭帯域光の照明光を出射する。すなわち、光源装置４は、被検体に対して白色光又は所定波長帯域を有する特殊光を切り換え可能に照射する照明部を構成する。

よって、プロセッサ５は、通常光観察モード時は、白色光を被写体に照射して得られた被写体の通常光観察画像を生成し、特殊光観察モード時は、特殊光（ここでは狭帯域光）を被写体に照射して得られた被写体の特殊光観察画像を生成する。

なお、特殊光観察画像である狭帯域観察画像は、通常光の照射により得られたRGBの各画像に対して分光推定処理を行うことによっても得ることができるので、狭帯域観察モード時に、プロセッサ５が、分光推定により狭帯域観察画像を生成してもよい。

（臓器モデル画像への内視鏡画像の貼り付け処理）
図３は、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。図３の処理は、CPU２１が、メモリ２２に記憶された所定のプログラムを読み出して実行することによって、検査者が挿入部２ｂの先端部２ｄを尿道へ挿入したときから実行される。

CPU２１は、先端部２ｄの膀胱Ｂ内への挿入が検出されたか否かを判定する（S1）。挿入部２ｂの先端部２ｄは、尿道内に挿入され、尿道を通って膀胱B内に入る。先端部２ｄの膀胱B内への挿入の検出は、画像取込部２４が取得した内視鏡画像の輝度（内視鏡画像全体の平均輝度あるいは内視鏡画像の所定の一部の領域の平均輝度）の変化量に基づき、行われる。すなわち、CPU２１は、先端部２ｄが尿道から膀胱B内に入ったときに、内視鏡画像の輝度が変化することを利用して、S1の判定を行う。内視鏡画像の輝度値が、高い状態から低い状態になったとき、CPU２１は、先端部２ｄが膀胱Ｂ内に入ったと判定する。

なお、ここでは、先端部２ｄの膀胱B内への挿入の検出は、内視鏡画像の輝度に基づいて行っているが、内視鏡画像の色味の変化量、あるいはテクスチャの変化量に基づいて行うようにしてもよい。例えば、色味の変化としては、赤系から他の色系への色の変化であり、テクスチャの変化としては、血管等のパターンが認識できないような画像の状態から血管等のパターンが認識できるような状態への変化である。

膀胱B内への挿入が検出されると（S1:YES）、その検出がされたときにおける位置検出部２５の位置方向情報を、先端部２ｄ（具体的には、対物光学窓１１ａ）の位置と方向の基準情報として記録する（S2）。
CPU２１は、S2で記録された先端部２ｄの位置と方向を、それぞれ３次元膀胱モデル（以下、３D膀胱モデルという）M1の基準位置と基準方向とする基準決定を行う（S3）。S3の処理により、CPU２１は、体外の磁場発生装置７を基準とする第１の座標系（X_０Y_０Z_０）から、膀胱Bの入り口（頸部）を基準とする座標系（X_１Y_１Z_１）への変換、さらには、座標系（X_１Y_１Z_１）から、膀胱モデルM1の中心を基準とする座標系（X_２Y_２Z_２）への変換、を行うことができる。座標系の変換については、後述する。

よって、S1からS3の処理は、被検体である患者P内における被検体内画像情報の変化量に基づいて、対物光学窓１１ａの位置情報から患者P内における所定臓器モデル画像の座標系における位置を一致させる位置合わせ部を構成する。

膀胱Bの検査は、患者が仰向けになった状態でかつ膀胱B内が所定の液体（例えば生理食塩水）で満たされた状態で行われる。例えば、大人であれば、膀胱Bの大きさに違いはあっても大きな差はなく、略同じ大きさを有する球体形状で、膀胱Bをモデル化することができる。

図４は、膀胱の各部の名称を説明するための模式的な患者の膀胱の位置を示す図である。図４は、患者Pの正面に対向する方向からみた図である。図５は、膀胱の各部の名称を説明するための模式的な膀胱を示す図である。図５は、患者Pの左側から見たときの膀胱の図である。

膀胱Bは、尿道の開口部であり膀胱Bへの入口である頸部RPと、頸部RPに対向する頂部と、腹部側の前壁と、背中側の後壁と、患者Pから見て右側の右壁と、患者Pから見て左側の左壁の複数の領域に区別される。膀胱Bの検査は、患者Pが仰向けになった状態でかつ膀胱B内が所定の液体で満たされた状態で行われるため、検査者には、現実の膀胱Bの全体の位置と方向は、理解し易い。

図３に戻り、先端部２ｄの膀胱B内への挿入が検出されない場合（S1:NO）、処理は、S1の処理を繰り返す。先端部２ｄの膀胱B内への挿入が検出されたとき（S1:YES）、先端部２ｄは膀胱Bの頸部RPの位置にある。磁気センサ１２は、６軸すなわち（位置座標（ｘ、ｙ、ｚ）と配向（オイラー角（ψ、θ、φ））の位置方向情報を生成しているので、記録装置３は、先端部２ｄの膀胱B内への挿入が検出されたときの位置と方向を記録し、その記録した位置と方向を、３D膀胱モデルM1に対する対物光学窓１１ａの基準位置と基準方向とすることによって、基準位置と基準方向と、３D膀胱モデルM1における頸部RPの位置と方向とを一致させることができる。
図５に示すように、挿入部２ｂの先端部２ｄに設けられた撮像素子１１は、膀胱B内で、視野角θの内視鏡画像を撮像する。

図６は、３D膀胱モデルM1を示す図である。３D膀胱モデルM1は、略球体形状であり、３次元の座標系X_２Y_２Z_２内に形成されている。座標系X_２Y_２Z_２は、座標系X_１Y_１Z_１から変換された座標系である。なお、図６では、膀胱B内における挿入部２ｂの入口である頸部RPを示すために、挿入部２ｂの図形も合わせて示している。

３D膀胱モデルM1は、球体の中心Oを通り右壁から左壁方向の軸をX_２軸とし、球体の中心Oを通り頸部から頂部方向の軸をY_２軸とし、球体の中心Oを通り後壁から前壁方向の軸をZ_２軸として形成されている。

図７は、膀胱Bの２次元モデル（以下、２D膀胱モデルという）M2を示す図である。２D膀胱モデルM2は、２つの円形を含む形状を有しており、２次元の座標系UV内に形成されている。２D膀胱モデルM2は、図８に示す膀胱展開図（シェーマ）BEと略同じ形状である。図８は、膀胱展開図BEを示す図である。膀胱展開図BEは、膀胱B内の各部の位置を示す図であり、図８に示すように、膀胱B内の各部が膀胱展開図BE上の所定の各領域に対応する。

膀胱Bの２つの尿管口は、図６及び図７においてuoで示す位置にある。また、例えば、図６において点線で示す位置に膀胱B内に病変部AAがあるとき、図６の病変部AAの位置は、図７においては点線で示す位置に対応する。

再び、図３に戻り、先端部２ｄの膀胱B内への挿入が検出されたときにおける先端部２ｄの位置と方向の情報が、S2において基準情報として記録され、その基準情報で指定される位置と方向から、３D膀胱モデルM1の基準及び２D膀胱モデルM2の基準が導出される。

次に、CPU２１は、レリーズの検出処理を行う（S4）。このレリーズの検出処理は、内視鏡２の操作部２ａのレリーズボタン１３が押されたか否かを検出する処理である。レリーズボタン１３が押されると、レリーズ信号がプロセッサ５を介して画像取込部２４に入力される。レリーズ信号は、撮像部である撮像素子１１により取得された被検体内画像を記録するトリガ信号である。CPU２１は、画像取込部２４に入力されるレリーズ信号の立ち上がり（あるいは立ち下がり）を監視することによって、レリーズボタン１３が押されたか否かを検出することができる。
よって、S4の処理は、撮像素子１１における撮像に関する所定のトリガ信号としてのレリーズ信号の発生があったかを判定する判定部を構成する。

CPU２１は、画像取込部２４から内視鏡画像を取得する（S5）。上述したように、画像取込部２４は、ここでは、フレームレートと同じ３０分の１秒毎に、プロセッサ５から内視鏡画像を取得する。

CPU２１は、挿入部２ｂの先端部２ｄの位置と方向の情報を取得する（S6）。位置検出部２５から位置方向情報を読み出すことによって、CPU２１は、先端部２ｄの位置と方向の情報を取得することができる。

また、S6では、S3で決定された基準情報に基づいて、CPU２１は、座標系（X_０Y_０Z_０）における位置方向情報を、３次元の座標系（X_２Y_２Z_２）における位置方向情報に変換する。S1からS3において対物光学窓１１ａの位置情報と所定臓器モデル画像である膀胱モデル画像の座標系とを一致させた後、S6において、位置方向検出部２５で取得した先端部２ｄの位置及び方向（すなわち対物光学窓１１ａの位置及び方向）と膀胱モデル画像の座標系における位置及び方向との対応付けが行われる。すなわち、S6の処理が、被検体内における所定臓器のモデル画像に対して、S8の記憶部であるメモリ２２に記録される位置情報を対応付ける対応付け部を構成する。

CPU２１は、内視鏡画像の貼り付け処理を行う（S7）。内視鏡画像の貼り付け処理は、S6において取得し３次元の座標系（X_２Y_２Z_２）に変換した位置方向情報に基づいて、球体である３Ｄ膀胱モデルM1の内面に貼り付けられる内視鏡画像を、２DモデルM2の図（以下、２Dモデル画像という）上に、貼り付ける処理である。

すなわち、S7の処理は、位置合わせ部を構成するS1からS3により対物光学窓１１ａの位置と３Dモデル画像の座標系における位置とが対応付けられた所定臓器のモデル画像上に、被検体内画像を貼り付けた画像を、被検体内貼り付け画像として生成する画像生成部の一部を構成する。S7の貼り付け処理は、３次元の座標系（X_２Y_２Z_２）で規定される３D膀胱モデルM1の球体内面上に投影された内視鏡画像を、２次元の座標系（U,V）の２D膀胱モデルM2の画像上の位置に、貼り付けることによって、行われる。

２D膀胱モデルM2の画像上に貼り付けられる内視鏡画像の位置と方向は、上述のように決定され、貼り付ける内視鏡画像の大きさは、例えば、先端部２ｄと膀胱Bの撮像部位までの距離に応じて変更される。

S3で決定された位置と方向の基準情報は、体外の磁場発生装置７を基準として決定した３次元の座標系（X_０Y_０Z_０）における位置と方向であり、S7で貼り付け処理における位置と方向は、２D膀胱モデルM2の頸部RPを基準とする２次元の座標系（U,V）における位置と方向である。

よって、CPU２１は、S3で得られた基準情報から、２次元座標系における先端部２ｄの位置方向情報を導出して、その導出された位置方向情報に基づいて、内視鏡画像を、２Dモデル画像上へ投影して貼り付ける位置及び傾きを算出する。
S7における内視鏡画像の貼り付けは、内視鏡画像が貼り付けられる位置に、内視鏡画像が既に貼り付けられている場合は、後に取得された画像が、先に取得されて貼り付けられた内視鏡画像上に重畳して貼り付けるように、行われる。

そして、CPU２１は、貼り付けた内視鏡画像、２Dモデル画像上の位置と方向、及びレリーズ信号の有無の各情報を、メモリ２２へ記録する（S8）。すなわち、S8の処理は、撮像素子１１により取得された被検体内画像である内視鏡画像と、位置方向検出部２５により取得された位置情報と方向情報とを関連付けて記録する記録部を構成する。

次に、CPU２１は、識別可能表示処理を実行する（S9）。識別可能表示処理は、２Dモデル画像上に貼り付けられる内視鏡画像が複数あって、全体あるいは一部が互いに重なるように貼り付けられる場合に、レリーズ信号が有りの内視鏡画像が、最も前面に配置されて、他の内視鏡画像によって表示されないことがないようにすると共に、他の内視鏡画像とは区別して認識できるようにする処理である。すなわち、内視鏡２のレリーズボタン１３が押されたときの被検体内画像は、他の被検体内画像に優先して、所定臓器のモデル画像上の最前面に貼り付けられ、さらに、識別可能表示のために、レリーズボタン１３が押されたときの内視鏡画像に所定の枠４１（図１０参照）を付加することによって、一目で、レリーズ信号が押されたときの内視鏡画像と他の内視鏡画像と区別できるようにしている。

なお、S9において、レリーズ信号が有りの複数の内視鏡画像の全部あるいは一部が重なる場合は、後に取得された画像が、先に取得されて貼り付けられた内視鏡画像上に重畳され、かつ先に取得されて貼り付けられた内視鏡画像とは区別して認識できるように貼り付けるように、行われる。
よって、S9の処理は、S7で貼り付けられた内視鏡画像の画素位置に、既に貼り付けられている他の内視鏡画像の画素がある画素領域についてのみ行われる。

CPU２１は、識別可能表示処理が行われた２Dモデル画像を、表示I/F２３を介してモニタ６に表示する（S10）。このとき、CPU２１は、３Dモデル画像も生成して、２Dモデル画像と共に表示する。CPU２１は、先端部２ｄの位置方向情報に基づいて、挿入部２ｂの画像を生成して、３Dモデル画像上に重畳することによって、３Dモデル画像を生成する。

以上のように、S7とS9の処理は、S4の判定部において所定のトリガ信号としてのレリーズ信号が発生したと判定された場合に、その所定のトリガ信号が発生したときの被検体内画像を識別可能に表示するS9の所定の処理を被検体内画像に施して、S6の対応付け部により対応付けられた所定臓器のモデル画像上に被検体内画像を貼り付けた画像を生成して表示する表示部を構成する。ここでは、S9の所定の処理は、所定のトリガ信号であるレリーズ信号が発生したときの被検体内画像に、枠画像４１を付加する処理である。そして、その表示部は、S4の判定部において所定のトリガ信号であるレリーズ信号が発生しなかった場合、被検体内画像を識別可能に表示するS9の所定の処理を行わない。

S10では、CPU２１は、S6で取得した先端部２ｄの位置と方向の情報に基づいて、挿入部の形状を推定し、その推定した形状の挿入部２ｂの画像を生成する。よって、S10の処理は、S6において取得した先端部２ｄの位置情報及び方向情報と、尿道口RPの位置情報と向き情報とに基づいて挿入部２ｂの形状推定を行う形状推定部を有し、S10において、所定臓器に関する３Dモデル画像上に、形状推定部により推定された形状情報である挿入部画像を重畳する処理が実行される。

CPU２１は、挿入部２１の先端部２ｄが膀胱Bから抜去されたか否かを判定する（S11）。S11の判定は、先端部２ｄの位置座標が、膀胱Bの頸部から尿道内へ移動した否かを判定することによって行うことができる。
先端部２ｄが膀胱Ｂ内から抜去されていない場合（S11:NO）、処理は、S4へ戻り、CPU２１は、先端部２ｄが膀胱Ｂ内から抜去されるまで、S4からS11の処理を繰り返す。

図９は、モニタ６の画面上に表示される内視鏡検査時の表示画面の例を示す図である。図９に示すように、画面G1は、CPU２１によって生成された画面であって、２Dモデル画像表示部３１と、３Dモデル画像表示部３２と、ライブの内視鏡画像（以下、ライブ画像という）を表示するライブ画像表示部３３とを含む。

２Dモデル画像表示部３１は、図７の２Dモデルに対応する２Dモデル画像を表示する領域である。２Dモデル画像表示部３１には、２Dの膀胱展開図である２Dモデル画像３１ａと、２Dモデル画像３１ａ上にS７及びS9の処理により貼り付けられた被検体内画像である内視鏡画像３１ｂが表示される。

３Dモデル画像表示部３２は、図６の３Dモデルに対応する３Dモデル画像を表示する領域である。３Dモデル画像表示部３２には、３Dモデル画像３２ａと、３Dモデルにおける挿入部２ｂの先端部２ｄの位置と方向を示す挿入部画像３２ｂが表示される。CPU２１は、上述したように、先端部２ｄの現在の位置方向情報に基づいて、挿入部画像３２ｂを生成する。

図９の２Dモデル画像表示部３１は、先端部２ｄが膀胱B内に入って頂部方向を向いているときに最初に撮像した内視鏡画像が２Dモデル画像３１ａ上に貼り付けられたときの画像を表示している。

以上のように、撮像素子１１により取得されたライブの被検体内画像は、モデル画像と共に表示され、さらに、ライブの被検体内画像を撮像する撮像素子１１を有する挿入部２ｂの挿入形状も、モデル画像と共に表示される。

ライブ画像表示部３３は、モニタ６がプロセッサ５から取得した内視鏡画像を、そのまま表示する領域である。ライブ画像表示部３３は、例えばモニタ６のPinP機能により、画面G1内に含まれる。

なお、ここでは、ライブの内視鏡を、モニタ６のPinP機能を利用して、モニタ６上に表示しているが、記録装置３のCPU２１により画面G1中にライブ画像を合成させて、モニタ６に出力するようにしてもよい。

図１０は、モニタ６の画面上に表示される表示画面の他の例を示す図である。図１０の２Dモデル画像表示部３１は、先端部２ｄが移動して種々の方向を向いて撮像した複数の内視鏡画像３１ｂが２Dモデル画像３１ａ上に貼り付けられたときの画像を表示している。

２Dモデル画像３１ａ上では、S9の識別可能表示処理により、レリーズボタン１３が押されたときの内視鏡画像には、所定の枠画像４１が付加されている。２Dモデル画像３１ａ上に貼り付けられる内視鏡画像の色調は似通っているため、枠画像４１が無いと、レリーズボタン１３が押されたときの内視鏡画像を判別し難い。枠画像４１を付加することによってレリーズボタン１３が押されたときの内視鏡画像が際立って、検査者は、一目で、レリーズ信号が押されたときの内視鏡画像と他の内視鏡画像とを区別することができるので、小さいあるいは色調変化が乏しい病変部も容易に見つけ出すことができる。

また、S4からS11の処理が所定の周期（ここでは、３０分の１秒の周期）で繰り返されることにより、S5で取得された複数の内視鏡画像は、S7の貼り付け処理により、重畳されて、図１０に示すように、２Dモデル画像表示部３１には、複数の内視鏡画像３１ｂが含まれる。複数の内視鏡画像が貼り付けられている領域が、検査者が観察した領域となる。よって、検査者は、図１０の画像を一見するだけで、内視鏡により観察した領域を簡単に判別することができる。

また、S4からS11の処理が繰り返される間、挿入部２ｂの先端部２ｄの位置及び方向は変化する。なお、３Dモデル画像表示部３２には、３Dモデル画像３２ａ上に、現在の先端部２ｄの視線方向を示す挿入部画像３２ｂが表示されるので、検査者は、現在どこを観察しているかを簡単に理解することができる。

先端部２ｄが膀胱Ｂ内から抜去されると（S11:YES）、モニタ６に表示された画面G1の２Dモデル画像表示部３１は、最後に取得された内視鏡画像に対する処理が行われたときの画像が表示された状態となる。また、３Dモデル画像表示部３２には、挿入部２ｂの挿入部画像３２ｂが表示されない３Dモデル画像３２ａのみが表示され、ライブ画像表示部３３には、膀胱Ｂ内のライブ画像は表示されない。

検査者は、２Dモデル画像表示部３１の画像を、患者のカルテのデータとしてメモリ２２の不揮発性メモリ部に記録してもよいし、印刷して、カルテに貼り付けるようにすることもできる。

ここで、座標系の変換と内視鏡画像の貼り付けについて説明する。
図１１は、磁場発生装置７の座標系とベッド８上の患者Pの膀胱Bの座標系の関係を説明するための図である。位置方向検出部２５は、磁場発生装置７の第１の座標系（X_０Y_０Z_０）を基準とする位置方向情報をリアルタイムで生成する。

そこで、CPU２１は、S3において、図１１に示すように、膀胱Bの入口の位置と方向を基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向検出部２５の位置方向情報を、膀胱Bの入口を基準とする座標系（X_１Y_１Z_１）の位置方向情報に変換する。

Ｐ_１＝Ｒ_０１Ｐ_０＋Ｍ_０１ ・・・式（１）
Ｖ_１＝Ｒ_０１Ｖ_０ ・・・式（２）
ここで、Ｐ_０とＶ_０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X_０Y_０Z_０）における位置と方向ベクトルである。Ｒ_０１は、次の式（３）で示される回転行列であり、Ｍ_０１は、次の式（４）で示される並進行列である。

よって、第１の座標系（X_０Y_０Z_０）上の点（ｘ_０，ｙ_０，ｚ_０）は、次の式（５）に示すように、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）に変換される。

内視鏡の先端部２ｄの膀胱B内への挿入が検出されたときにおける位置方向検出部２５の位置と方向のベクトルをＰ´₀、Ｖ´₀とすると、並進行列Ｍ_０１は以下の式（６）により求められる。

Ｍ_０１＝−Ｐ´₀ ・・・式（６）
また、回転行列Ｒ_０１は以下の条件を満たすように求める。図１２は、中間座標系（X_１Y_１Z_１）上に投影される方向ベクトルを説明するための図である。回転行列Ｒ_０１の満たす条件は、Ｚ₁は重力方向と平行であること、及びＺ₁に対して垂直なX₁Y₁平面にV´₀を投影し、その投影したベクトル方向をY₁、Y₁Z₁平面に垂直なベクトルをX₁とする、ことである。

S6では、さらに、次の式（７）と式（８）に従って、中間座標系（X_１Y_１Z_１）の位置と方向ベクトルは、３D膀胱モデルM1の中心を基準とする第２の座標系（X_２Y_２Z_２）における位置と方向ベクトルに変換される。図１３は、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。

Ｐ_２＝Ｒ_１２Ｐ_１＋Ｍ_０２ ・・・式（７）
Ｖ_２＝Ｒ_１２Ｖ_１ ・・・式（８）
ここで、Ｐ_１とＶ_１は、それぞれ、中間座標系（X_１Y_１Z_１）における位置と方向ベクトルであり、Ｐ_２とＶ_２は、それぞれ、第２の座標系（X_２Y_２Z_２）における位置と方向ベクトルである。Ｖ_２は、第２の座標系（X_２Y_２Z_２）における内視鏡画像の中心の画素の方向ベクトルである。Ｒ_１２は、次の式（９）で示される回転行列であり、Ｍ_０２は、次の式（１０）で示される並進行列である。

よって、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）は、次の式（１１）に示すように、第２の座標系（X_２Y_２Z_２）上の点（ｘ_２，ｙ_２，ｚ_２）に変換される。

X₁Y₁Z₁座標系をY₁軸方向にR₂移動した場合、並進M₁₂と回転R₁₂は、それぞれ、式（１２）と式（１３）のようになる。

以上のように、磁場発生装置７の第１の座標系（X_０Y_０Z_０）の位置Ｐ_０は、式（５）と式（１１）より、３Dモデルの中心を基準とする第２の座標系（X_２Y_２Z_２）の位置Ｐ_２に変換され、第１の座標系（X_０Y_０Z_０）における方向V_０は、次の式（１４）に従って、第２の座標系（X_２Y_２Z_２）の方向V_２に変換される。

V_２＝Ｒ_１２Ｒ_０１V_０ ・・・式（１４）
また、S7における内視鏡画像の貼り付け処理においては、第２の座標系（X_２Y_２Z_２）において、３D膀胱モデルM1の内面に内視鏡画像を貼り付ける場合の座標の算出について説明する。

３DモデルM1は、膀胱Bの形状を、半径R2の球体と仮定している。内視鏡画像は、その球体の内面に貼り付けられる。図１４は、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。図１５は、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２を説明するための図である。

先端部２ｄの第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２が決定すると、得られた内視鏡画像の、球体の内面上の座標を求める。そのために、次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X_２Y_２Z_２）における座標Ｐ_２１を求める。

Ｐ_２１＝Ｐ_２＋ｋV_２ ・・・式（１５）
｜Ｐ_２１｜＝Ｒ_２ ・・・式（１６）
内視鏡画像は、求めた座標Ｐ_２１の位置に投影されて貼り付けられる。

次に、第２の座標系（X_２Y_２Z_２）における位置Ｐ_２１が、２Dモデルの座標系に投影される。まず、膀胱Bの腹側の半球の場合（０≦Ｚ_２）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（１７）により示され、ｖ方向の値は、次の式（１８）により示される。

ｕ＝−ｘ_２１ ・・・式（１７）
ｖ＝ｙ_２１＋Ｒ_２ ・・・式（１８）
また、膀胱Bの背中側の半球の場合（Ｚ_２＜０）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（１９）により示され、ｖ方向の値は、次の式（２０）により示される。

ｕ＝−ｘ_２１ ・・・式（１９）
ｖ＝−ｙ_２１−Ｒ_２ ・・・式（２０）
図１６は、２次元の座標系（U,V）における座標関係を説明するための図である。
方向ベクトルV_２は、上述したように、第２の座標系（X_２Y_２Z_２）における内視鏡画像の画像中心の画素の方向ベクトルである。よって、内視鏡画像のおける画像中心の画素以外の画素については、各画素の方向ベクトルを求め、上述した式（１５）から式（２０）の変換演算を繰り返すことによって、内視鏡画像の全体を第２の座標系（X_２Y_２Z_２）の球体の内面に貼り付けることができる。

図１７は、内視鏡画像の全体を走査して、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けを説明するための図である。内視鏡画像EIの各画素を、点線で示すように、所定の方向に走査しながら、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けが行われる。図１７において、V_２′は、内視鏡画像EIの各画素の貼り付けベクトルを示し、P_２１′は、第２の座標系（X_２Y_２Z_２）の球体の内面の貼り付けベクトルを示す。
以上のように、本実施の形態によれば、膀胱B内を検査した部分の内視鏡画像が、２Dモデル画像３１ａ上に重畳され、かつレリーズボタン１３が押されたときの内視鏡画像は、２Dモデル画像３１ａ上で最前面にくるように重畳されて表示されるので、検査者は、膀胱Ｂ内で確認した領域を簡単に確認できると共に、病変部あるいは気になった部位の画像を明瞭にみることができる。
なお、２Dモデル画像３１ａ上に内視鏡画像を貼り付ける場合、レリーズボタン１３が押されたときの内視鏡画像のみを貼り付けるようにしてもよい。

図１８は、モニタ６の画面上に表示される画像の他の例を示す図である。２Dモデル画像表示部３１では、レリーズボタン１３が押されたときの内視鏡画像のみが、２Dモデル画像３１ａ上に貼り付けされている。そして、レリーズボタン１３が押されたときの内視鏡画像には、所定の枠画像４１が付加されている。検査者は、図１８の２Dモデル画像表示部３１の画像も、患者のカルテのデータとしてメモリ２２の不揮発性メモリ部に記録してもよいし、印刷して、カルテに貼り付けるようにすることもできる。

さらになお、図１０の表示状態と図１８の表示状態を、切り換えられるようにしてもよい。

上述した例では、磁気センサ１２は、６軸のセンサであるので、２Ｄモデル画像上に貼り付けられる複数の内視鏡画像の上下左右方向が一致するように貼り付けられる。しかし、磁気センサ１２は、５軸のセンサでもよい。

図１９は、５軸センサを用いた場合における、モニタ６の画面上に表示される画像の例を示す図である。図２０は、５軸センサを用いた場合における、レリーズボタン１３が押されたときの内視鏡画像のみが２Dモデル画像３１ａ上に貼り付けられ画像の例を示す図である。図１９は、図１０に対応し、図２０は、図１８に対応する。図１９及び図２０においても、レリーズボタン１３が押されたときの内視鏡画像には、所定の枠画像４１が付加されている。

磁気センサ１２が５軸センサであるとき、挿入部２ｂの軸回りの回動角度を検出することができないが、図１９及び図２０に示すように、各内視鏡画像３１ｂは、挿入部２ｂの軸周りの回動に関係のない所定の角度で、２Ｄモデル画像３１ａ上に貼り付けられる。
５軸センサを用いても、上述した実施の形態と同様の効果を得ることができる。

さらになお、上述した例では、通常光観察モードにおける内視鏡画像が、臓器モデル画像上に貼り付けられるが、特殊光観察モードにおける内視鏡画像を、臓器モデル画像上に貼り付けるようにしてもよい。

この場合は、上述した図１０、図１８から図２０において、内視鏡画像３１ｂは、通常光の内視鏡画像でなく、特殊光（ここでは狭帯域光）の内視鏡画像となる。
また、２つの臓器モデル画像を表示し、一方には、通常光の内視鏡画像を貼り付け、他方には、特殊光の内視鏡画像を貼り付けるようにしてもよい。

図２１は、２つの観察モードに対応して２つの臓器モデルの画像を表示した場合の表示画面の例を示す図である。
図２１において、図１０、図１８から図２０において同じ構成要素については、同じ符号を付し説明は、省略する。なお、図２１は、６軸センサを用いた場合の例を示す。

図２１では、通常光の内視鏡画像の臓器モデル画像に加えて、特殊光の内視鏡画像を貼り付けるための２Dモデル画像表示部３４が、画面上に追加されている。
２Dモデル画像表示部３４には、２Dモデル画像３４ａと、２Dモデル画像３４ａ上にS７及びS9の処理により貼り付けられた特殊光の内視鏡画像３４ｂが表示される。図２１においても、レリーズボタン１３が押されたときの通常光及び特殊光の内視鏡画像には、所定の枠画像４１が付加されている。

２Dモデル画像表示部３１には、通常光の内視鏡画像が表示され、２Dモデル画像表示部３４には、狭帯域光の内視鏡画像が表示されるので、検査者は、両方を比べながら、検査などを行うことができると共に、その後の検査においても、カルテに両方の画像が添付されていれば、検査者は、前回の検査における臓器の状態をより詳細に知ることができる。

よって、画像生成部を構成するS7では、モデル画像が複数設定されると共に、照明部である光源装置４の照明光の種類に基づいて複数設定されたモデル上に、照明光の種類に応じた内視鏡画像の貼り付けが行われる。

なお、狭帯域光の内視鏡画像は、通常光の内視鏡画像に比べて、より細かな粘膜表面内部のテクスチャを示すので、２Dモデル画像表示部３１の２Dモデル画像３１ａ上に、レリーズボタンが押されたときの狭帯域光の内視鏡画像が最前面に貼り付けるようにして、１つの２Dモデル画像表示部上に、通常光の内視鏡画像と狭帯域光の内視鏡画像の両方を貼り付けた画像を生成するようにしてもよい。

さらになお、先端部２ｄが膀胱内に入ったことは、内視鏡画像を見ている検査者も、モニタ６に表示される内視鏡画像の変化により、分かるので、検査者が先端部２ｄが膀胱B内に入ったときに、操作部２ａあるいはプロセッサ５の操作パネルにおいて所定の操作を行うことによって、基準の位置と方向を記録するようにしてもよい。すなわち、検査者による所定の操作入力に基づいて、対物光学窓１１ａの位置及び方向と、臓器モデル画像の座標系との位置合わせを行うようにしてもよい。

また、検査者が体腔外で尿道から膀胱に入る位置を指定し、その位置が含まれる平面（膀胱Bの入口を基準とする座標系（X_１Y_１Z_１）のY_１方向に垂直な平面）を設定する。内視鏡を尿道に挿入し、その平面を通過したときの位置と向きを基準の位置と方向として記録するようにしてもよい。すなわち、予め設定された基準平面に対する位置情報に基づいて、対物光学窓１１ａの位置及び方向と、臓器モデル画像の座標系との位置合わせを行うようにしてもよい。

以上のように、上述した本実施の形態の内視鏡システムによれば、検査者が内視鏡画像の検査対象臓器における位置を容易にわかり、かつ複数の内視鏡画像の中からレリーズボタンの押された特定の内視鏡画像のみを特定することが容易な内視鏡システムを実現することができる。

さらに、上述した本実施の形態の内視鏡システムによれば、膀胱B内の病変部の位置、及び観察している領域を容易に確認できるので、病変部の見逃しが防止されて再検査率の低減、カルテへの記載間違いの低減を図ることもできる。

次に、レリーズボタンの押された特定の内視鏡画像のみを特定することを容易にする表示方法の変形例について説明する。

（変形例１）
上述した実施の形態では、複数の内視鏡画像のうち、レリーズボタンが押されたときの内視鏡画像を枠で囲むように、枠画像４１を内視鏡画像に付加することにより、レリーズボタンの押された特定の内視鏡画像のみを他の内視鏡画像とは識別可能に表示するようにしているが、レリーズボタンが押されたときの内視鏡画像を指し示す矢印等のマークを表示するようにしてもよい。

図２２は、変形例１に係わる、特定の内視鏡画像のみを他の内視鏡画像とは識別可能に表示する画面G1の例を示す図である。
図２２に示すように、レリーズボタンが押されたときの内視鏡画像を指し示すマークとしての矢印４２が、内視鏡画像と共に表示されている。検査者は、矢印４２が指し示す内視鏡画像を容易に判別することができる。ここでは、S9の所定の処理は、所定のトリガ信号であるレリーズ信号が発生したときの被検体内画像に、所定のマーク（例えば矢印）を付加する処理である。
よって、検査者は、レリーズボタンが押されたときの内視鏡画像を見つけやすい。

（変形例２）
上述した変形例１では、レリーズボタンが押されたときの内視鏡画像を指し示す矢印等のマークを表示するようにしているが、レリーズボタンが押されたときの内視鏡画像と、他の内視鏡画像との色合いを異ならせるようにしてもよい。

図２３は、変形例２に係わる、特定の内視鏡画像のみを他の内視鏡画像とは識別可能に表示する画面G1の例を示す図である。
図２３に示すように、複数の内視鏡画像３１ｂの中でレリーズボタンが押されたときの内視鏡画像４３（斜線で示す）の色合いと、レリーズボタンが押されていない他の内視鏡画像３１ｂの色合いとを異ならせて、複数の内視鏡画像３１ｂが表示されている。すなわち、ここでは、S9の所定の処理は、所定のトリガ信号であるレリーズ信号が発生したときの被検体内画像の色調と、S4の判定部において所定のトリガ信号であるレリーズ信号が発生しなかった場合の被検体内画像の色調と、を異ならせる処理である。

色合いを異ならせる方法としては、例えば、レリーズボタンが押されたときの内視鏡画像４３（斜線で示す）は、カラーで表示し、レリーズボタンが押されていない他の内視鏡画像３１ｂは、モノクロで表示するようにして、レリーズボタンが押されたときの内視鏡画像４３（斜線で示す）を強調表示する、あるいは、レリーズボタンが押されたときの内視鏡画像４３（斜線で示す）の彩度と明度の少なくとも１つを、レリーズボタンが押されていない他の内視鏡画像３１ｂの彩度と明度の少なくとも１つよりも高くして表示するようにして、レリーズボタンが押されたときの内視鏡画像４３（斜線で示す）のコントラストを高くして強調表示する、などの方法がある。いずれにおいても、検査者は、色合いの違いによって、レリーズボタンが押されたときの内視鏡画像を見つけやすい。

（変形例３）
上述した変形例２では、レリーズボタンが押されたときの内視鏡画像の色合いを、識別可能とするように、他の内視鏡画像の色合いとは異ならせるようにしているが、レリーズボタンが押されたときの内視鏡画像のみ表示し、レリーズボタンが押されなかった内視鏡画像は、観察済みであることがわかるように、背景の膀胱展開図（シェーマ）の色とは異なる色で表示するようにしてもよい。

図２４は、変形例３に係わる、レリーズボタンが押されたときの特定の内視鏡画像のみを表示し、他の内視鏡画像とは識別可能に表示する画面G1の例を示す図である。
図２４に示すように、撮像された複数の内視鏡画像３１ｂの中でレリーズボタンが押されたときの内視鏡画像４４（斜線で示す）は、最前面に表示され、レリーズボタンが押されていない他の内視鏡画像の領域４４ａは、背景の膀胱展開図（シェーマ）の色（点線の斜線で示す）とは異なる所定の色で塗りつぶされている。すなわち、ここでは、S9の所定の処理は、所定のトリガ信号であるレリーズ信号が発生しなかった場合の被検体内画像の色調を、所定臓器のモデル画像の色調と異ならせる処理である。
よって、検査者は、所定の色で塗りつぶされた領域によって、観察した領域が一目で認識できると共に、レリーズボタンが押されたときの内視鏡画像も容易に判別し易い。

なお、図２５は、本変形例３に係る、５軸センサの磁気センサを用いた場合の画面G1の例を示す図である。
以上のように、上述した各変形例によっても、検査者が内視鏡画像の検査対象臓器における位置を容易にわかり、かつ複数の内視鏡画像の中からレリーズボタンの押された特定の内視鏡画像のみを特定することが容易な内視鏡システムを実現することができる。

（第２の実施の形態）
第１の実施の形態は、レリーズボタンの押されたときの内視鏡画像のみを容易に特定可能にする内視鏡システムであるが、本第２の実施の形態は、レリーズボタンの操作ではなく、所定の画像処理の処理結果あるいは所定のイベントの有無の判定結果が、所定の結果であるときの内視鏡画像のみを容易に特定可能にする内視鏡システムである。

本第２の実施の形態の内視鏡システムの構成は、第１の実施の形態の内視鏡システムと同様であるので、同じ構成については同じ符号で説明し、異なる構成についてのみ説明する。

本実施の形態の内視鏡システムは、図１と図２に示す構成を有する。本実施の形態の内視鏡システムにおける臓器モデル画像への内視鏡画像の貼り付け処理は、第１の実施の形態の臓器モデル画像への内視鏡画像の貼り付け処理と異なっている。

図２６は、本実施の形態に係わる、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。図２６において、図３と同じ処理については、同じ符号を付けて説明は省略する。

図２６では、CPU２１は、基準決定（S3）の後に、内視鏡画像の取得を行う（S5）。その後、CPU２１は、先端部２ｄの位置と方向の情報の取得（S6）と内視鏡画像の貼り付け処理（S7）を実行する。

S7に続いて、CPU２１は、内視鏡画像情報、及び位置と方向の情報の記録処理を行う（S21）。そして、CPU２１は、S21の処理を実行した後に、判定処理及び識別可能表示処理を実行する（S22)。S22の判定処理は、所定の判定結果が得られた内視鏡画像を、他の内視鏡画像に対して識別可能に表示するための判定処理である。

図２７は、判定処理及び識別可能表示処理の流れの例を示すフローチャートである。CPU２１は、判定情報を取得する（S31）。
S31において取得される判定情報は、判定方法によって異なる。

判定方法には、画像処理による方法と、イベント検出による方法の２つがある。画像処理による方法の場合、判定対象には、ａ）画像中の所定の大きさ（高さ）を有する凹凸部分の有無、ｂ）画像中の色調が周囲と異なる部分の有無、ｃ）画像中のテクスチャが周囲と異なる部分の有無、がある。イベント検出による方法の場合、ｄ）所定の操作の有無、ｅ）モード切換操作の有無、がある。

ここでは、画像処理による方法のａ）の場合を、例に説明する。
ａ）の場合、S31において取得される判定情報は、画像中の凹凸の大きさ（すなわち高さ）の情報である。

この画像中の凹凸の大きさは、ステレオ計測機能を利用して、２枚の画像の所定の複数の点の位置情報、すなわち撮像素子１１から各点までの距離情報から算出される。具体的には、画像中の所定の複数の点について、撮像素子１１から隣り合う２点のうちの一方までの距離と、撮像素子１１からその２点のうちの他方までの距離の差から、被検体の部位の凹凸の大きさ（すなわち高さ）が算出して得られる。例えば、膀胱B内の病変部が腫れて盛り上がっていれば、その盛り上がった部分は、周辺の粘膜表面よりも高い凸部となっている。この被検体内画像における被検体表面の凸部の高さが、所定の特徴量を構成する。

よって、CPU２１は、撮像素子１１から内視鏡画像中の所定の複数の点までの複数の距離情報から得られた、隣接する２点の差についての複数の情報を、判定情報として取得する。
CPU２１は、取得した判定情報から、所定の判定条件が満たしているか否かを判定する（S32）。

ａ）の場合、判定条件は、上記の複数の差情報の中に、所定の閾値（TH1）以上のものがあるか否かが判定される。複数の差情報の中に、所定の閾値（TH1）以上のものがあるときは、例えば腫瘍があると考えられるので、所定の判定条件を満たしていると判定される。

複数の差情報の中に所定の閾値（TH1）以上のものがある場合（S32:YES）、CPU２１は、識別可能表示処理を実行する（S9）。複数の差情報の中に所定の閾値（TH1）以上のものがない場合（S32:NO）、CPU２１は、S９の処理を実行しない。
その後、CPU２１は、表示処理を実行し（S10）、膀胱B内から挿入部２ｂが抜去されるまで、S5からS10の処理を繰り返す。

よって、画像処理により所定の大きさの凸部があると判定されると、その凸部があると判定された内視鏡画像にのみ、枠画像４１が自動的に付加されて、他の内視鏡画像とは識別可能に表示されるので、検査者は、凸部があると判定された内視鏡画像のみを容易に特定することができる。
以上の例は、ａ）の場合であるが、ｂ）〜ｅ）の場合は、判定情報と判定条件が異なる。

ｂ）の場合、判定情報は、内視鏡画像中の各画素の色情報から算出された所定の算出値である。算出値は、例えば、RGBのチャンネル毎に算出された画素値の平均値、分散、画素毎に算出されたRGBの画素値の比（例えばG/R）、である。この被検体内画像の色調が、所定の特徴量を構成する。

判定条件は、色情報から得られた所定の算出値と、他の画像あるいは過去の画像における算出値との差が所定の値以上あるか否かである。内視鏡画像から算出された所定の算出値と他の画像などにおける算出値との差が所定の値以上である場合、判定条件を満たしていると判定される。

ｃ）の場合、判定情報は、内視鏡画像中のテクスチャ情報である。テクスチャ情報は、画像処理によって内視鏡画像から抽出した特徴量（例えば、エッジ要素）の情報から生成される。この被検体内画像のテクスチャが、所定の特徴量を構成する。判定条件は、得られたテクスチャ情報と、他の画像あるいは過去の画像におけるテクスチャ情報との差が所定の値以上あるか否かである。例えば、エッジ要素が他の画像あるいは過去の画像におけるエッジ要素が多い場合に、判定条件を満たしていると判定される。

ｄ）の場合、判定情報は、挿入部２ｂの先端部２ｄの位置と方向の少なくとも１つの情報の変化量である。先端部２ｄの位置と方向の情報は、磁気センサ１２の位置方向情報から得られる情報であり、変化量は、位置と方向の少なくとも１つの差に関する情報である。

例えば、検査者が所定の動作としては、挿入部２ｂを軸周りに素早く捻る所定の操作（挿入部２ｂを右回りに捻った後に素早く逆方向（左回り）に捻る操作）をすると、先端部２ｄの方向が所定の時間内に大きく変化するので、CPU２１は、その変化量を算出することができる。このような撮像部である撮像素子１１が設けられた内視鏡の挿入部２ｂに対する所定の操作を示す操作信号が、所定のトリガ信号を構成する。

判定条件は、その変化量が所定の閾値以上（あるいは以下）であるか否かである。その変化量が所定の値以上（あるいは以下）である場合、判定条件を満たしていると判定される。判定条件が満たされた場合に、枠画像４１が自動的に付加される内視鏡画像は、所定の条件が満たされていると判定される直前に、メモリ２２に記憶された画像である。すなわち、メモリ２２には、画像取込部２４により取り込まれた複数の内視鏡画像が記憶されるので、所定の条件が満たされていると判定された時よりも、所定時間だけあるいは所定フレーム数だけ前の内視鏡画像を選択して、その内視鏡画像に枠画像４１を付加する。
なお、変化量は、所定の時間だけ位置も方向も変化のない静止状態を示す変化量であってもよい。

ｅ）の場合、判定情報は、切換スイッチ５ａの操作信号についての情報である。切換スイッチ５ａの操作信号は、画像取込部２４を介してプロセッサ５より、CPU２１へ供給される。このような被検体内を撮像するときの観察モードの切り換え信号が、所定のトリガ信号を構成する。

判定条件は、操作信号に基づいて、観察モードの変更があるいか否かである。観察モードの変更がある場合、判定条件を満たしていると判定される。
ここでは、内視鏡システム１は、通常光観察モーと特殊光観察モードの２つを有するが、光線力学的診断法（PDD）のためのPDDモードなどを有していてもよい。

よって、S7とS22の処理は、S32の判定部において所定のトリガ信号が発生した又は所定の特徴量が所定の条件を満たすと判定された場合に、所定のトリガ信号が発生したとき又は所定の特徴量が所定の条件を満たしたときの被検体内画像を識別可能に表示するS9の所定の処理を被検体内画像に施して、S6の対応付け部により対応付けられた所定臓器のモデル画像上に被検体内画像を貼り付けた画像を生成して表示する表示部を構成する。

以上のように、ｂ）とｃ）の画像処理による方法と、ｄ）とe）のイベント検出による方法を用いても、ａ）の場合と同様に、所望の内視鏡画像のみに、枠画像４１が自動的に付加されて、特定の内視鏡画像のみを識別可能に表示することができる。

すなわち、S32の処理は、撮像素子１１における撮像に関する所定のトリガ信号としての操作信号（所定の捻り操作の信号、モード切換信号）の発生があったか、又は被検体内画像における所定の特徴量（凹凸、色調、テクスチャ）が所定の条件を満たしたか、を判定する判定部を構成する。

なお、上述したａ）からｅ）のいずれか１つの判定方法を用いるのではなく、ａ）からｅ）の２つ以上を組み合わせて、判定条件とするようにしてもよい。
なお、第１の実施の形態で説明した３つの変形例も、本第２の実施の形態においても適用可能である。

すなわち、S9の所定の処理は、変形例１のように、所定のトリガ信号が発生したとき又は所定の特徴量が所定の条件を満たしたときの被検体内画像に、所定のマークを付加したり、変形例２のように、所定のトリガ信号が発生したとき又は所定の特徴量が所定の条件を満たしたときの被検体内画像の色調と、S32の判定部において所定のトリガ信号が発生しなかった場合又は所定の特徴量が所定の条件を満たしていなかった場合の被検体内画像の色調と、を異ならせたり、変形例３のように、S32の判定部において所定のトリガ信号が発生しなかった場合又は所定の特徴量が所定の条件を満たしていなかった場合の被検体内画像の色調を、所定臓器のモデル画像の色調と異ならせるようにしてもよい。

以上のように、上述した各実施の形態によれば、検査者が内視鏡画像の検査対象臓器における位置を容易にわかり、かつ複数の内視鏡画像の中から特定の内視鏡画像のみを特定することが容易なように、内視鏡画像を対象臓器の臓器モデル画像上に貼り付けるので、内視鏡による検査時間若しくは処置時間を短くすることができる内視鏡システムを実現することができる。

なお、上述した各実施の形態では、臓器モデル画像上に貼り付けられた内視鏡画像に枠画像を付加するなどして、特定の内視鏡画像を識別可能に表示するが、そのような識別可能に内視鏡画像を表示することに加えて、特定の内視鏡画像の拡大画像を併せて表示するようにしてもよい。

図２８〜図３０は、モニタ６の画面上に表示される表示画面において、臓器モデル画像と共に、拡大画像を併せて表示する画面の例を示す図である。
図２８では、例えばレリーズボタンが押された時の内視鏡画像３１ｂに枠画像４１が付加されると共に、枠画像４１が付加された内視鏡画像３１ｂの拡大画像を表示する拡大表示部５１が、画面G2上に表示されている。拡大表示部５１に表示された内視鏡画像を見ることにより、検査者は、レリーズボタンを押したときの内視鏡画像の確認、例えば病変部が適切に撮像されているかの確認、を容易にすることができる。

図２９は、例えばレリーズボタンが複数回（図２９では２回）押された時の内視鏡画像３１ｂに枠画像４１が付加されると共に、枠画像４１が付加された２枚の内視鏡画像３１ｂの拡大画像を表示する拡大表示部５２が、画面G2上に表示されている。

図３０は、例えばレリーズボタンが複数回（図２８では２回）押された時の内視鏡画像３１ｂに枠画像４１が付加されると共に、枠画像４１が付加された２枚の内視鏡画像３１ｂの拡大画像を、枠画像４１が付加された内視鏡画像の対応番号と共に表示する拡大表示部５２ａが、画面G2上に表示されている。図３０に示すように、２枚の内視鏡画像に、丸で囲んだ識別用の数字が付加され、拡大表示部５２ａの拡大画像にもその丸で囲んだ識別用の数字が付加されている。

なお、図２９と図３０では、複数の拡大画像を表示するために、３Dモデル画像表示部３２は表示されていない。
よって、検査者は、拡大表示部５２ａに拡大表示された各内視鏡画像が、２Dモデル画像表示部３１に示された枠画像が付加された内視鏡画像のどれに対応するかを、容易に把握することができる。図３０では、番号により膀胱展開図（シェーマ）上の内視鏡画像と、拡大画像との対応関係を示しているが、数字に代えて、文字、記号などでもよく、さらに、図３０において点線５３で示すような、内視鏡画像と拡大画像とを結ぶ線図により、膀胱展開図（シェーマ）上の内視鏡画像と、拡大画像との対応関係を示すようにしてもよい。

なお、図２８から図３０では、全ての拡大画像は、検査時に常に表示されるが、検査者が指定した任意のタイミングで、例えば検査者が所定のボタンを押したときだけ、全ての拡大画像を表示するようにしてもよい。

あるいは、例えば、複数の内視鏡画像に枠画像４１が付加されているときに、検査者が画面上のポインタを内視鏡画像に移動させたときに、ポインタにより指示されている内視鏡画像のみ、拡大画像を表示するようにしてもよい。
以上のように、上述した各実施の形態及び各変形例において、このような拡大表示部を設けるようにしてもよい。

また、上述した各実施の形態では、内視鏡画像は、２次元の臓器モデル画像上に貼り付けられているが、３D画像である、３次元の臓器モデルの画像上に貼り付けるようにしてもよい。すなわち、モデル画像は、２D画像でなく、３D画像でもよい。
さらになお、上述した各実施の形態では、膀胱内の内視鏡画像を、膀胱の２Dモデル画像上に貼り付けるが、上述した各実施の形態の内視鏡システムは、膀胱以外の他の臓器、例えば胃、子宮、に対しても適用可能である。

胃の場合、食道から胃に入るとき、肺の場合、気管の下方において最初に左右の気管支に分かれるとき、子宮の場合、子宮頸部から子宮内に入るとき、等に、画像の変化から、基準情報を決定でき、臓器モデル画像上に貼り付けることができる。

また、上述した２つの実施の形態では、内視鏡２は、可撓性を有する挿入部を有する軟性鏡であるが、本発明は、硬性鏡や走査型内視鏡などの他のタイプの内視鏡にも適用可能であり、さらに、挿入部が先端部の対物光学窓に入射した光を基端部まで導く導光部材を有するような内視鏡にも適用可能である。
さらに、上述した内視鏡システムは、臓器内の内視鏡画像の位置を記録し、あるいは表示させるために利用されているが、ランダムバイオプシーにおける生検位置の記録にも利用することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範
囲において、種々の変更、改変等が可能である。

本出願は、２０１３年４月１２日に日本国に出願された特願２０１３−８４３０１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (17)

1. 被検体内に挿入する挿入部と、
   前記挿入部の先端側に設けられ、前記被検体からの光を受ける対物光学窓と、
   前記対物光学窓から入射された光から、前記被検体内を撮像する撮像部と、
   前記対物光学窓の位置情報を取得する位置情報取得部と、
   前記撮像部により取得された被検体内画像と、前記位置情報取得部により取得された前記位置情報と、を関連付けて記録する記録部と、
   前記被検体内における所定臓器のモデル画像に対して前記記録部に記録される位置情報を対応付ける対応付け部と、
   前記対応付け部により対応付けられた前記所定臓器のモデル画像上に前記被検体内画像を貼り付けた画像を、貼り付け画像として生成する画像生成部と、
   前記撮像部における撮像に関する所定のトリガ信号の発生があったか、又は前記撮像部により取得された前記被検体内画像の所定の特徴量が所定の条件を満たしたか、を判定する判定部と、
   前記判定部で前記所定のトリガ信号の発生があったもしくは前記所定の特徴量が前記所定の条件を満たしたと判定された被検体内画像を、前記貼り付け画像上における他の被検体内画像より前面に貼り付ける処理と、前記前面に貼り付けられた前記被検体内画像に対して、前記他の被検体内画像とは識別可能となるように画像処理を施す制御部と、
   を備えたことを特徴とする内視鏡システム。
2. 前記所定のトリガ信号は、前記撮像部により取得された前記被検体内画像を記録するレリーズ信号、前記撮像部が設けられた内視鏡の挿入部に対する所定の操作を示す操作信号、あるいは前記被検体内を撮像するときの観察モードの切り換え信号であることを特徴とする請求項１に記載の内視鏡システム。
3. 前記所定の特徴量は、前記被検体内画像における被検体表面の凸部の高さ、前記被検体内画像の色調又は前記被検体内画像のテクスチャであることを特徴とする請求項１に記載の内視鏡システム。
4. 前記制御部は、前記判定部において前記所定のトリガ信号が発生しなかった場合又は前記所定の特徴量が前記所定の条件を満たしていなかった場合、前記被検体内画像を前記被検体内画像貼り付け画像上における他の被検体内画像と識別するための前記画像処理を行なわないことを特徴とする請求項１に記載の内視鏡システム。
5. 前記制御部は、前記前面に貼り付けられた前記被検体内画像に対して、枠画像を付加することを特徴とする請求項１に記載の内視鏡システム。
6. 前記制御部は、前記前面に貼り付けられた前記被検体内画像に対して、所定のマークを付加することを特徴とする請求項１に記載の内視鏡システム。
7. 前記制御部は、前記前面に貼り付けられた前記被検体内画像の色調と、前記他の被検体内画像の色調と、を異ならせることを特徴とする請求項１に記載の内視鏡システム。
8. 前記画像処理部は、前記他の被検体内画像を、所定の色で塗りつぶすことを特徴とする請求項１に記載の内視鏡システム。
9. 前記被検体内画像に対して分光推定処理を行う分光推定処理部を備え、
   前記制御部は前記分光推定処理部の動作モードに応じて複数設定されたモデル上に前記画像処理を施して、前記被検体内画像の貼り付けを行うことを特徴とする請求項１に記載の内視鏡システム。
10. 前記制御部は、前記画像処理を施された前記被検体内画像の拡大画像を生成することを特徴とする請求項１に記載の内視鏡システム。
11. 前記被検体内画像は、前記被検体の膀胱内の画像であり、
    前記モデル画像は、膀胱のモデル画像であることを特徴とする請求項１に記載の内視鏡システム。
12. 前記モデル画像は、２Dの膀胱展開図であることを特徴とする請求項１２に記載の内視鏡システム。
13. 操作者が前記所定のトリガ信号を入力するための指示入力部をさらに備え、
    前記制御部は、前記指示入力部において前記所定のトリガ信号が入力されたときに、前記撮像部に撮像された前記被検体内画像を、前記被検体内画像貼り付け画像上における他の被検体内画像と識別するための前記画像処理を施すことを特徴とする請求項１に記載の内視鏡システム。
14. 前記制御部は、前記判定部で前記所定のトリガ信号の発生があったもしくは前記所定の特徴量が前記所定の条件を満たしたと判定された複数の被検体内画像が重畳される場合、時系列的に後に前記画像処理を施された被検体内画像を、時系列的に前に前記画像処理を施された被検体内画像上に貼り付けることを特徴とする請求項１に記載の内視鏡システム。
15. 前記制御部は、前記判定部で前記所定のトリガ信号の発生があったもしくは前記所定の特徴量が前記所定の条件を満たしたと判定された複数の被検体内画像が重畳される場合、当該複数の前記被検体内画像の各々を識別可能となるよう画像処理を施すことを特徴とする請求項１に記載の内視鏡システム。
16. 被検体内に挿入する挿入部の先端側に設けられた対物光学窓から入射された光から、前記被検体内を撮像する撮像部と、前記対物光学窓の位置情報を取得する位置情報取得部と、前記撮像部により取得された被検体内画像と、前記位置情報取得部により取得された前記位置情報と、を関連付けて記録する記録部と、対応付け部と、画像生成部と、判定部と、制御部とを有する内視鏡システムの作動方法であって、
    前記対応付け部が、前記被検体内における所定臓器のモデル画像に対して前記記憶部に記録される位置情報を対応付け、
    前記画像生成部が、前記対応付け部により対応付けられた前記所定臓器のモデル画像上に前記被検体内画像を貼り付けた画像を、被検体内画像貼り付け画像として生成し、
    前記判定部が、前記撮像部における撮像に関する所定のトリガ信号の発生があったか、又は前記撮像部により取得された前記被検体内画像の所定の特徴量が所定の条件を満たしたか、を判定し、
    前記制御部が、前記判定部で前記所定のトリガ信号の発生があったもしくは前記所定の特徴量が前記所定の条件を満たしたと判定された被検体内画像を、前記貼り付け画像上における他の被検体内画像より前面に貼り付ける処理と、前記前面に貼り付けられた前記被検体内画像に対して、前記他の被検体内画像とは識別可能となるように画像処理を施す、
    ことを特徴とする内視鏡システムの作動方法。
17. 前記所定のトリガ信号は、前記撮像部により取得された前記被検体内画像を記録するレリーズ信号、前記撮像部が設けられた内視鏡の挿入部に対する所定の操作を示す操作信号、あるいは前記被検体内を撮像するときの観察モードの切り換え信号であることを特徴とする請求項１６に記載の内視鏡システムの作動方法。

Images