JP6242543B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、内視鏡を用いて被検体を観察する際に用いられる画像処理装置及び画像処理方法に関する。

近年、内視鏡を用いた内視鏡システムは、医療分野及び工業用分野において広く用いられている。例えば、医療分野においては、内視鏡を被検体内における複雑な管腔形状を有する臓器の内部に挿入し、その内部を詳細に観察又は検査することが必要になる場合がある。
例えば、日本国特許第５３５４４９４号の従来例は、内視鏡により観察した領域を提示するために、内視鏡により撮像した内視鏡画像から臓器の内腔形状を生成し、表示する内視鏡システムが提案されている。
このように、内視鏡により取得される画像は、２次元画像であるため、２次元画像から３次元形状画像を生成することが必要になる。そして、日本国特許第５３５４４９４号では、２次元画像から３次元形状画像を生成するアルゴリズムが提案されているものの、当該生成された３次元形状画像がどのように表示されるかについては開示も示唆もなされていない。すなわち、日本国特許第５３５４４９４号によれば、３次元形状画像をユーザに見易く表示する機能が欠けている。

本発明は上述した点に鑑みてなされたもので、未構築領域を視認し易く表示する３次元モデル画像を生成する画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一態様の画像処理装置は、被検体内を撮像する撮像装置から前記被検体内における領域に関する撮像信号が入力された場合に前記撮像信号に基づいて前記領域の形状を示す３次元データを生成する３次元モデル構築部と、前記３次元モデル構築部により生成された前記３次元データに対して、前記撮像装置により撮像された領域である構築領域と、前記撮像装置により未だ撮像されていない領域である未構築領域と、の境界領域を視認可能とする処理を行うとともに３次元画像を生成する画像生成部と、を備える。

本発明の一態様の画像処理方法は、３次元モデル構築部が、被検体内を撮像する撮像装置から前記被検体内における領域に関する撮像信号が入力された場合に前記撮像信号に基づいて前記領域の形状を示す３次元データを生成し、画像生成部が、前記３次元モデル構築部により生成された前記３次元データに対して、前記撮像装置により撮像された領域である構築領域と、前記撮像装置により未だ撮像されていない領域である未構築領域と、の境界領域を視認可能とする処理を行うとともに３次元画像を生成する。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。 図２は第１の実施形態における画像処理装置の構成を示す図。 図３Ａは内視鏡の挿入部が挿入された状態の腎盂・腎杯を示す説明図。 図３Ｂは内視鏡の挿入動作に伴う観察領域の変化に応じてモニタに表示される３Ｄモデル画像が更新される様子の一例を示す図。 図３Ｃは内視鏡の挿入動作に伴う観察領域の変化に応じてモニタに表示される３Ｄモデル画像が更新される様子の一例を示す図。 図３Ｄは内視鏡の挿入動作に伴う観察領域の変化に応じてモニタに表示される３Ｄモデル画像が更新される様子の一例を示す図。 図４は３Ｄモデル画像の構築に使用されるポリゴンとしての３角形の頂点に順序に対応する表の面と、法線ベクトルとの関係を示す図。 図５は第１の実施形態の画像処理方法の処理を示すフローチャート。 図６は第１の実施形態の処理内容を示すフローチャート。 図７は３Ｄ形状の面にポリゴンを設定した様子を示す説明図。 図８は図６における法線ベクトルを設定し、内面と外面の判定をする処理の詳細を示すフローチャート。 図９は、図７のように設定した際に作成されるポリゴンリストを示す図。 図１０は、図９のポリゴンリストに対して、法線ベクトルを設定して生成されるポリゴンリストを示す図。 図１１は 観察された内面を描画するように設定され、隣接する各ポリゴンに、それぞれ法線ベクトルが設定された様子を示す図。 図１２は先端部に位置センサが設けられている場合、位置センサの位置情報を用いて法線ベクトルの向きを判定する動作の説明図。 図１３は強調表示を選択しない場合にモニタに表示される３Ｄモデル画像を示す図。 図１４は３Ｄモデル画像における境界周辺を模式的に示す図。 図１５は、図１４の場合に対応したポリゴンリストを示す図。 図１６は境界辺の抽出により、作成される境界リストを示す図。 図１７は強調表示が選択された場合にモニタに表示される３Ｄモデル画像を示す図。 図１８は第１の実施形態の内視鏡システムの第１変形例の処理内容を示すフローチャート。 図１９は、図１８の動作説明用の説明図。 図２０は第１変形例において強調表示が選択された場合にモニタに表示される３Ｄモデル画像を示す図。 図２１は第１の実施形態の内視鏡システムの第２変形例の処理内容を示すフローチャート。 図２２は第２変形例の処理の説明図。 図２３は第２変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図２４は第１の実施形態の内視鏡システムの第３変形例の処理内容を示すフローチャート。 図２５は第３変形例の処理の説明図。 図２６は第３変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図２７は第１の実施形態の内視鏡システムの第４変形例の処理内容を示すフローチャート。 図２８は第４変形例の処理の説明図。 図２９は第４変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図３０Ａは第１の実施形態の第５変形例における画像処理装置の構成を示す図。 図３０Ｂは第１の実施形態の内視鏡システムの第５変形例の処理内容を示すフローチャート。 図３１は第５変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図３２は第１の実施形態の内視鏡システムの第６変形例の処理内容を示すフローチャート。 図３３は第６変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図３４は第１の実施形態の第７変形例における画像処理装置の構成を示す図。 図３５は第７変形例の処理内容を示すフローチャート。 図３６は強調表示と指標表示が選択された場合において第７変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図３７は強調表示が選択されない状態において指標表示が選択された場合において第７変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図３８は第１の実施形態の第８変形例における指標を生成する処理内容を示すフローチャート。 図３９は図３８の説明図。 図４０は図３８の変形例の説明図。 図４１は第８変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図４２は第１の実施形態の第９変形例における画像処理装置の構成を示す図。 図４３Ａは第９変形例により生成され、モニタに表示される３Ｄモデル画像を示す図。 図４３Ｂは回転する前の３Ｄモデル画像を示す図。 図４３Ｃは回転する前の３Ｄモデル画像を示す図。 図４３Ｄは未構築領域を拡大して表示する場合の説明図。 図４４は第１の実施形態の第１０変形例における画像処理装置の構成を示す図。 図４５は閾値以下及び閾値以上の境界を有する３Ｄ形状データを示す図。 図４６は判定部による判定対象の３Ｄ形状データとその主成分の軸の方向を示す図。 図４７は図４６の境界の座標を第１主成分の軸に垂直な面に投影した図。 図４８は第１の実施形態の第１１変形例における画像処理装置の構成を示す図。 図４９は第１１変形例の処理内容を示すフローチャート。 図５０は第１１変形例の処理の説明図。 図５１は第１１変形例により生成される芯線画像を示す図。 図５２は第１の実施形態の第１２変形例における画像処理装置の構成を示す図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示す内視鏡システム１は、被検体内に挿入される内視鏡２Ａと、該内視鏡２Ａに照明光を供給する光源装置３と、内視鏡２Ａに設けられた撮像部に対する信号処理を行う信号処理装置としてのビデオプロセッサ４と、ビデオプロセッサ４により生成された内視鏡画像を表示する内視鏡画像表示装置としてのモニタ５と、内視鏡２Ａ内に設けられたセンサに基づいて内視鏡２Ａの挿入部形状を検出する挿入部形状検出装置としてのＵＰＤ装置６と、２次元画像から３次元（３Ｄとも表記）モデル画像を生成する画像処理を行う画像処理装置７と、該画像処理装置７により生成した３Ｄモデル画像を表示する表示装置としてのモニタ８とを有する。なお、図１に実線で示すＵＰＤ装置６と別体の画像処理装置７の代わりに、点線で示すようにＵＰＤ装置６を含む構成の画像処理装置７Ａを用いるようにしても良い。また、３次元モデル画像を生成する処理に位置情報も画像から推定する場合はＵＰＤ装置６を設けなくてもよい。
内視鏡２Ａは、患者９における観察対象の被検体となる所定の管腔臓器（単に管腔臓器とも言う）の一部を形成する例えば尿管１０内に挿入される挿入部１１と、この挿入部１１の後端（基端）に設けられた操作部１２と、操作部１２から延出されるユニバーサルケーブル１３とを有し、ユニバーサルケーブル１３の端部に設けたライトガイドコネクタ１４は、光源装置３のライトガイドコネクタ受けに着脱自在に接続される。

なお、尿管１０は、その深部側において腎盂５１ａ、腎杯５１ｂに連通する（図３Ａ参照）。
挿入部１１は、その先端に設けられた先端部１５と、該先端部１５の後端に設けられた湾曲可能な湾曲部１６と、該湾曲部１６の後端から操作部１２の前端まで延びる可撓性を有する可撓管部１７とを有する。
操作部１２には湾曲部１６を湾曲操作するための湾曲操作ノブ１８が設けられている。
図１における一部の拡大図で示すように挿入部１１内には、照明光を伝送するライトガイド１９が挿通されており、このライトガイド１９の先端は、先端部１５の照明窓に取り付けられ、ライトガイド１９の後端は、ライトガイドコネクタ１４に至る。
ライトガイドコネクタ１４には、光源装置３の光源ランプ２１で発生した照明光が集光レンズ２２により集光されて入射され、ライトガイド１９は伝送した照明光を照明窓に取り付けられた先端面から出射する。
照明光により照明された管腔臓器内の観察対象部位（被写体とも言う）は、先端部１５の照明窓に隣接して設けられた観察窓（撮像窓）に取り付けられた対物光学系２３によりその結像位置に光学像が結像される。対物光学系２３の結像位置には、撮像素子としての例えば電荷結合素子（ＣＣＤと略記）２４の撮像面が配置される。このＣＣＤ２４は、所定の画角（視野角）を有する。

対物光学系２３と、ＣＣＤ２４は、管腔臓器内を撮像する撮像部（又は撮像装置）２５を形成する。なお、ＣＣＤ２４の画角は、対物光学系２３の光学特性（例えば焦点距離）にも依存するために、対物光学系２３の光学特性を考慮に入れた撮像部２５の画角や、または対物光学系を用いて観察する場合の画角と言うこともできる。
ＣＣＤ２４は、挿入部１１内などを挿通された信号線２６の一端と接続され、該信号線２６の他端はライトガイドコネクタ１４に接続される接続ケーブル２７（内の信号線）を介して該接続ケーブル２７の端部の信号コネクタ２８に至る。この信号コネクタ２８はビデオプロセッサ４の信号コネクタ受けに着脱自在に接続される。
ビデオプロセッサ４は、ＣＣＤ駆動信号を発生するドライバ３１と、ＣＣＤ２４の出力信号に対する信号処理を行い、モニタ５に内視鏡画像として表示する画像信号（映像信号）を生成する信号処理回路３２とを有する。ドライバ３１は、信号線２６等を介してＣＣＤ２４にＣＣＤ駆動信号を印加し、ＣＣＤ駆動信号の印加によりＣＣＤ２４は、撮像面に結像された光学像を光電変換した撮像信号を出力信号として出力する。

すなわち、撮像部２５は、対物光学系２３及びＣＣＤ２４を具備し、挿入部１１からの照明光が照射される被検体の内部の領域からの戻り光を受光して２次元撮像信号を順次生成するとともに、当該生成した２次元撮像信号を出力するように構成されている。

ＣＣＤ２４から出力される撮像信号は、信号処理回路３２により画像信号に変換され、信号処理回路３２は、出力端からモニタ５に画像信号を出力する。モニタ５は、ＣＣＤ２４の撮像面に結像された所定の画角（の範囲）で撮像された光学像に対応する画像を内視鏡画像表示エリア（単に画像表示エリアと略記）５ａにおいて内視鏡画像として表示する。図１においては、ＣＣＤ２４の撮像面が例えば正方形の場合において、その４つの隅を切り欠いた８角形に近い内視鏡画像を表示する様子を示す。
内視鏡２Ａは、例えばライトガイドコネクタ１４内に、該内視鏡２Ａに固有の情報を格納したメモリ３０を有し、このメモリ３０は、内視鏡２Ａに搭載されたＣＣＤ２４が有する画角を表す情報としての画角データ（又は画角情報）を格納している。また、光源装置３は、ライトガイドコネクタ１４が光源装置３に接続された際に、光源装置３内部に設けた読出回路２９ａが、メモリ３０に接続された電気接点を介して画角データを読み出す。
読出回路２９ａは、読み出した画角データを、通信線２９ｂを介して画像処理装置７に出力する。また、読出回路２９ａは、読み出したＣＣＤ２４の画素数データを通信線２９ｃを介してビデオプロセッサ４のドライバ３１と信号処理回路３２に出力する。ドライバ３１は、入力された画素数データに応じたＣＣＤ駆動信号を発生し、信号処理回路３２は画素数データに対応した信号処理を行う。

なお、図１に示す構成例においてはメモリ３０の固有の情報を読み出す読出回路２９ａを光源装置３に設けた場合で示しているが、読出回路２９ａをビデオプロセッサ４に設けるようにしても良い。
上記信号処理回路３２は、生成した例えばデジタルの画像信号としての２次元の内視鏡画像データ（画像データとも言う）を画像処理装置７に入力する入力部を形成する。
挿入部１１内には、挿入部１１が被検体内に挿入された場合の挿入形状を検出するためのセンサとなる複数のソースコイル３４が挿入部１１の長手方向に沿って、適宜の間隔で配置されている。また、先端部１５内においては、挿入部１１の長手方向に沿って配置された２つのソースコイル３４ａ，３４ｂと、例えば２つのソースコイル３４ａ，３４ｂを結ぶ線分と直交する方向に配置されたソースコイル３４ｃとが配置されている。そして、ソースコイル３４ａ，３４ｂを結ぶ線分方向が撮像部２５を構成する対物光学系２３の光軸方向（又は視線方向）とほぼ一致し、３つのソースコイル３４ａ，３４ｂ，３４ｃを含む面がＣＣＤ２４の撮像面における上下方向にほぼ一致するように配置されている。

このため、ＵＰＤ装置６内の後述するソースコイル位置検出回路３９は、３つのソースコイル３４ａ，３４ｂ，３４ｃの３次元位置を検出することにより、先端部１５の３次元位置及び先端部１５の長手方向を検出することができると言えるし、先端部１５においての３つのソースコイル３４ａ，３４ｂ，３４ｃの３次元位置を検出することにより、３つのソースコイル３４ａ，３４ｂ，３４ｃからそれぞれ既知の距離離れて配置された撮像部２５を構成する対物光学系２３の３次元位置及び対物光学系２３の視線方向（光軸方向）を検出することができるとも言える。
ソースコイル位置検出回路３９は、対物光学系２３の３次元位置及び視線方向の情報を取得する情報取得部を形成する。
なお、図１に示す内視鏡２Ａにおける撮像部２５は、対物光学系２３の結像位置にＣＣＤ２４の撮像面を配置した構成であるが、対物光学系２３とＣＣＤとの間に対物光学系２３の光学像を伝送するイメージガイドを用いた構成の撮像部を備えた内視鏡の場合にも適用できる。

３つのソースコイル３４ａ，３４ｂ，３４ｃを含む上記複数のソースコイル３４は、複数の信号線３５の一端に接続され、複数の信号線３５の他端は、ライトガイドコネクタ１４から延出されるケーブル３６と接続され、該ケーブル３６の端部の信号コネクタ３６ａはＵＰＤ装置６の信号コネクタ受けに着脱自在に接続される。
ＵＰＤ装置６は、上記複数のソースコイル３４を駆動して、各ソースコイル３４の周囲に交流磁場を発生させるソースコイル駆動回路３７と、各ソースコイルが発生する磁場を検出して、各ソースコイルの３次元位置を検出するための複数のセンスコイルからなるセンスコイルユニット３８と、複数のセンスコイルによる検出信号により、各ソースコイルの３次元位置を検出するソースコイル位置検出回路３９と、ソースコイル位置検出回路３９により検出された、各ソースコイルの３次元位置から挿入部１１の挿入形状を検出して挿入形状の画像を生成する挿入形状検出回路４０とを有する。
各ソースコイルの３次元位置は、ＵＰＤ装置６による座標系の下で検出され、この座標系で３次元位置が管理される。

上述したように上記ソースコイル位置検出回路３９は、対物光学系２３の観察位置（３次元位置）及び視線方向の情報を取得する情報取得部を構成する。より狭義には、ソースコイル位置検出回路３９と３つのソースコイル３４ａ，３４ｂ，３４ｃは、対物光学系２３の観察位置及び視線方向の情報を取得する情報取得部を構成するとも言える。
本実施形態の内視鏡システム１（及び画像処理装置７）は、図１において２点鎖線により示す内視鏡２Ｂを（内視鏡２Ａの代わりに）用いることもできる。
この内視鏡２Ｂは、内視鏡２Ａにおいてのソースコイル３４を有しない挿入部１１を備える。このため、先端部１５内にも、拡大図に示すようにソースコイル３４ａ，３４ｂ，３４ｃが配置されていない内視鏡である。この内視鏡２Ｂが、光源装置３と、ビデオプロセッサ４に接続された場合、ライトガイドコネクタ１４内のメモリ３０の固有情報を読出回路２９ａが読み出し、画像処理装置７に出力する。画像処理装置７は、内視鏡２Ｂが、ソースコイルが設けられていない種別の内視鏡であることを認識する。
また、画像処理装置７は、ＵＰＤ装置６を使用しないで、画像処理により対物光学系２３の観察位置及び視線方向を推定する。

また、本実施形態の内視鏡システム１においては、図示しないが、先端部１５内に、先端部１５に設けられた対物光学系２３の観察位置及び視線方向を検出可能にするソースコイル３４ａ，３４ｂ，３４ｃを設けた内視鏡（２Ｃとする）を用いて、腎盂・腎杯内を検査することもできる。
このように本実施形態においては、内視鏡２Ｉ（Ｉ＝Ａ，Ｂ，Ｃ）に設けられた識別情報を利用して、位置センサを有する内視鏡２Ａ（又は２Ｃ）と、位置センサを有しない内視鏡２Ｂとのいずれの内視鏡においても、腎盂・腎杯内を検査し、検査した際に取得される２次元の画像データから、後述するように３Ｄモデル画像を構築する。
内視鏡２Ａが使用されている場合においては、上記挿入形状検出回路４０は、内視鏡２Ａの挿入形状の画像信号を出力する第１の出力端と、ソースコイル位置検出回路３９が検出した対物光学系２３の観察位置及び視線方向のデータ（位置及び方向データとも言う）を出力する第２の出力端とを有する。そして、第２の出力端から画像処理装置７に、観察位置及び視線方向のデータを出力する。なお、第２の出力端から出力する観察位置及び視線方向のデータを、情報取得部を構成するソースコイル位置検出回路３９が出力するようにしても良い。

図２は、画像処理装置７の構成を示す。画像処理装置７は、画像処理装置７の動作制御を行う制御部４１と、３Ｄ形状データ（又は３Ｄモデルデータ）と３Ｄモデル画像を生成（又は構築）する画像処理部４２と、画像データ等の情報を記憶する情報記憶部４３とを有する。
また、画像処理部４２により生成された３Ｄモデル画像の画像信号は、モニタ８に出力され、モニタ８は画像処理部４２により生成された３Ｄモデル画像を表示する。

また、制御部４１と画像処理部４２は、キーボード、マウス等から構成される入力装置４４と接続され、術者等のユーザは、入力装置４４の表示色設定部４４ａから３Ｄモデル画像を表示する場合の表示色の選択（又は設定）を行ったり、強調表示選択部４４ｂにより３Ｄモデル画像の構築領域と、未構築領域の境界を視認し易いように強調表示の選択を行うことができるようにしている。なお、入力装置４４から画像処理部４２に画像処理を行う場合のパラメータ等を入力することもできる。
制御部４１は、中央処理装置（ＣＰＵ）等から構成され、入力装置４４からの設定又は選択に応じて、画像処理部４２の画像処理の動作を制御する処理制御部４１ａの機能を持つ。

また、制御部４１には、内視鏡２Ｉに固有の識別情報がメモリ３０から入力され、制御部４１は、識別情報における内視鏡２Ｉの種別情報により位置センサを有しない内視鏡２Ｂか、位置センサを有する内視鏡２Ａ又は２Ｃかの識別を行う。
そして、位置センサを有しない内視鏡２Ｂが使用されている場合には、画像処理部４２が位置センサを有する内視鏡２Ａ又は２Ｃの場合にＵＰＤ装置６により取得される撮像部２５又は対物光学系２３の観察位置、視線方向を推定するように制御する。
この場合には、画像処理部４２は、例えば2次元の内視鏡画像データの輝度値等を利用することにより、図２において点線で示すようにこの内視鏡２Ｂの（撮像部２５又は対物光学系２３の）観察位置、視線方向を推定する処理を行う観察位置、視線方向推定処理部４２ｄの機能を持つ。また、観察位置、視線方向推定処理部４２ｄにより推定された観察位置、視線方向のデータは、情報記憶部４３の記憶領域に設けた観察位置、視線方向データ記憶部４３ａに記憶される。なお、撮像部２５又は対物光学系２３の観察位置の代わりに、先端部１５の位置を推定しても良い。

画像処理部４２は、ＣＰＵやデジタルシグナルプロセッサ（ＤＳＰ）等により構成され、ビデオプロセッサ４から入力される２次元の内視鏡画像データから３Ｄ形状データ（又は３Ｄモデルデータ）を生成（又は構築）する３Ｄ形状データ構築部４２ａと、この３Ｄ形状データ構築部４２ａにより生成（又は構築）された３Ｄ形状データに対して、内視鏡の撮像部２５により観察（又は撮像）された２次元の画像領域に対応して構築された３Ｄモデル画像の構築領域を生成すると共に、内視鏡の撮像部２５により観察されていない２次元の画像領域に対応する３Ｄモデル画像の未構築領域を視認可能（視認し易いよう）にする３Ｄモデル画像を生成する画像生成部４２ｂとを有する。画像生成部４２ｂは、前記３Ｄモデル画像の未構築領域を視覚的に確認できるように表示するための３Ｄモデル画像を生成（又は構築）すると表現しても良い。画像生成部４２ｂにより生成された３Ｄモデル画像は、表示装置としてのモニタ８に出力され、モニタ８において表示される。画像生成部４２ｂは、３Ｄモデル画像（又は３Ｄモデルデータの画像）を表示装置に出力する出力部の機能を持つ。

画像処理部４２は、挿入動作に伴う２次元データに含まれる（３次元領域に対応する２次元）領域の変化に基づいて３Ｄ形状データ等を更新する処理を行う画像更新処理部４２ｏを有する。なお、図２では画像生成部４２ｂの外部に画像更新処理部４２ｏを設けた例を示しているが、画像生成部４２ｂの内部に画像更新処理部４２ｏを設けるようにしても良い。換言すると、画像生成部４２ｂが画像更新処理部４２ｏを備える構成にしても良い。また、画像更新処理部４２ｏは、後述の各変形例における画像処理装置に設けられていてもよい（図示省略）。

なお、画像処理部４２及びその内部の３Ｄ形状データ構築部４２ａ、画像生成部４２ｂ等をＣＰＵ、ＤＳＰの他に、プログラムにより構成されるハードウェアとなるLSI（Large-Scale Integration）となるＦＰＧＡ（Field Programmable Gate Array）により構成したり、その他の専用の電子回路により構成しても良い。

この画像生成部４２ｂは、３Ｄ形状データ構築部４２ａにより生成（又は構築）された３Ｄ形状データに対して、３Ｄ形状データにおけるそれぞれの３次元の局所領域を（近似的に）表す２次元の多角形としてのポリゴンを設定し、設定されたポリゴンに対する画像処理を行うポリゴン処理部４２ｃを有する。なお、図２においては、画像生成部４２ｂが、ポリゴン処理部４２ｃを内部に備える構成例で示しているが、実質的にポリゴン処理部４２ｃが画像生成部４２ｂを形成すると見なすこともできる。
また、画像処理部４２は、上記のように、位置センサを有しない内視鏡２Ｂが使用される場合には、この内視鏡２Ｂによる（撮像部２５又は対物光学系２３の）観察位置、視線方向を推定する観察位置、視線方向推定処理部４２ｄを有する。

情報記憶部４３は、フラッシュメモリ、ＲＡＭ、ＵＳＢメモリ、ハードディスク装置等により構成され、内視鏡のメモリ３０から取得される画角データを記憶すると共に、観察位置、視線方向推定処理部４２ｄにより推定、又はＵＰＤ装置６から取得される観察位置、視線方向データを記憶する位置・方向データ記憶部４３ａと、画像処理部４２の３Ｄモデル画像データ等を記憶する画像データ記憶部４３ｂと、構築された３Ｄモデル画像の構築領域と、構築領域の境界となる境界データを記憶する境界データ記憶部４３ｃとを有する。

内視鏡２Ｉの挿入部１１は、図３Ａに示すように３次元の管腔形状の尿管１０内に挿入され、さらにその深部側の腎盂・腎杯５１が検査される。その場合、挿入部１１の先端部１５に配置された撮像部２５は、その画角内の領域を撮像し、信号処理回路３２は、撮像部２５から順次入力される撮像信号に対する信号処理を行い、２次元画像を生成する。
なお、図３Ａにおいては、尿管１０の深部側の腎盂・腎杯５１において、点線で示す領域が腎盂５１ａであり、その深部側に腎杯５１ｂが形成されている。
２次元画像データが入力される３Ｄ形状データ構築部４２ａは、ＵＰＤ装置６による観察位置、視線方向データを用いて、又は観察位置、視線方向推定処理部４２ｄにより推定された観察位置、視線方向データを用いて、内視鏡２Ｉの撮像部２５により撮像（観察）された２次元画像データに対応する３Ｄ形状データを生成する。
この場合、３Ｄ形状データ構築部４２ａは、例えば日本国特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３Ｄ形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３Ｄ形状を推定する手法でも良い。また、３Ｄ形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３Ｄ画像データを参照して３Ｄ形状データを構築するようにしても良い。

ここで、画像処理部４２が内視鏡２Ｉの挿入動作に伴う観察領域（の２次元データ）の変化に応じて３Ｄモデルデータを生成する際の具体的な手法を説明する。

３Ｄ形状データ構築部４２ａは、撮像部２５から出力される被検体の２次元撮像信号に含まれる領域から３Ｄ形状データを生成する。

画像更新処理部４２ｏは、３Ｄ形状データ構築部４２ａにより生成された３Ｄモデル画像を、内視鏡２Ｉの挿入動作に伴う２次元データの変化に基づいて更新するための処理を行う。

具体的には、３Ｄ形状データ構築部４２ａは、例えば、被検体の内部の第１の領域からの戻り光を受光した際に撮像部２５において生成される第１の２次元撮像信号が入力された場合に、当該第１の２次元撮像信号に含まれる当該第１の領域に対応する第１の３Ｄ形状データを生成する。また、画像更新処理部４２ｏは、３Ｄ形状データ構築部４２ａにより生成された第１の３Ｄ形状データを画像データ記憶部４３ｂに記憶する。

３Ｄ形状データ構築部４２ａは、第１の３Ｄ形状データを画像データ記憶部に記憶した後で、第１の領域とは異なる第２の領域からの戻り光を受光した際に撮像部２５において生成される第２の２次元撮像信号が入力された場合に、当該第２の２次元撮像信号に含まれる当該第２の領域に対応する第２の３Ｄ形状データを生成する。また、画像更新処理部４２ｏは、第１の３Ｄ形状データに追加して、３Ｄ形状データ構築部４２ａにより生成された第２の３Ｄ形状データを画像データ記憶部４３ｂに記憶する。

そして、画像更新処理部４２ｏは、画像データ記憶部４３ｂに記憶された第１の３Ｄ形状データと第２の３Ｄ形状データとを合成して現在の３Ｄモデル画像を生成し、当該生成した３Ｄモデル画像をモニタ８に出力する。

従って、内視鏡２Ｉの先端部１５が挿入動作により移動した場合には、３Ｄモデル画像の生成を開始した状態から現在の先端部１５の観察状態に至るまでの過去に観察された内視鏡画像に含まれる領域に対応する３Ｄモデル画像がモニタ８に表示される。また、モニタ８に表示される３Ｄモデル画像の表示領域は、時間の経過と共に拡大する。

なお、画像更新処理部４２ｏを用いてモニタ８において３Ｄモデル画像を表示する場合には、観察済みの構築領域のみに対応する（第２の）３Ｄモデル画像を表示することができるが、未構築領域を視認可能とした（第１の）３Ｄモデル画像を表示する方がユーザの利便性が向上する。そのため、以下の説明では、主に未構築領域を視認可能とした（第１の）３Ｄモデル画像を表示する例で説明する。

画像更新処理部４２ｏは、入力される２次元データを形成する内視鏡画像データに含まれる領域の変化に基づいて、（第１の）３Ｄモデル画像を更新する。画像更新処理部４２ｏは、入力される現在の内視鏡画像データと、その直前の（第１の）３Ｄモデル画像の生成に用いられた内視鏡画像データとを比較する。

そして、画像更新処理部４２ｏは、比較結果として予め設定した閾値以上の変化量が検出された場合に、現在の内視鏡画像データに基づく（第１の）３Ｄモデル画像により、過去の（第１の）３Ｄモデル画像を更新する。

なお、画像更新処理部４２ｏは、（第１の）３Ｄモデル画像を更新する際に、例えば、内視鏡２Ｉの挿入動作に伴って変化する内視鏡２Ｉの先端位置の情報を利用しても良い。また、このような処理を実現するために、例えば、図２において点線で示すように、画像処理装置７に位置情報取得部８１を設けても良い。

位置情報取得部８１は、内視鏡２Ｉの挿入部１１の先端部１５の先端位置を示す情報である先端位置情報を取得し、当該取得した先端位置情報を画像更新処理部４２ｏに出力する。

画像更新処理部４２ｏは、位置情報取得部８１から入力される先端位置情報に応じた先端位置が以前の位置から変化したか否かを判定する。そして、画像更新処理部４２ｏは、位置情報取得部８１から入力される先端位置情報に応じた先端位置が以前の位置から変化したとの判定結果を得た場合に、当該判定結果を得たタイミングにおいて入力された２次元データに基づく（第１の）３Ｄモデル画像部分を含む現在の（第１の）３Ｄモデル画像を生成する。すなわち、画像更新処理部４２ｏは、変化前の（第１の）３Ｄモデル画像を（変化後の新しい第１の）３Ｄモデル画像に更新する。

または、（第１の）３Ｄモデル画像と過去の（第１の）３Ｄモデル画像のそれぞれの重心を算出し、比較結果として予め設定した閾値以上の変化量が検出された場合に、更新してもよい。

また、例えば、ユーザによる入力装置４４の操作に応じ、画像更新処理部４２ｏが（第１の）３Ｄモデル画像を更新する際に用いる情報を、２次元データまたは先端位置または重心のいずれかから選択できるようにしても良く、あるいは、２次元データ及び先端位置及び重心のすべてを選択できるようにしても良い。つまり、入力装置４４は、画像更新処理部４２ｏが（第１の）３Ｄモデル画像を更新する際に用いる２つ（又は２種類）の情報のうちの少なくとも１つを選択する選択部としての機能を具備している。

本内視鏡システムは、３次元形状を有する被検体の内部を観察する内視鏡２Ｉと、前記内視鏡２Ｉにより観察された前記被検体の（内部の）２次元データを入力する入力部を形成するビデオプロセッサ４の信号処理回路３２と、前記入力部により入力された前記被検体の２次元データに含まれる領域に基づいて、表示部としてのモニタ８へ出力するための前記被検体の形状を示す３次元モデル画像を生成する３次元モデル画像生成部を形成する３Ｄ形状データ構築部４２ａ又は画像生成部４２ｂと、前記表示部へ出力するための前記３次元モデル画像に対して、前記内視鏡２Ｉの挿入動作に伴う前記２次元データに含まれる前記領域の変化に基づいて前記３次元モデル画像を更新し、当該更新した前記３次元モデル画像を前記表示部へ出力する画像更新処理部４２ｏと、を備えている。

また、画像更新処理部４２ｏは、第１の３Ｄ形状データと第２の３Ｄ形状データとを画像データ記憶部４３ｂに記憶してから３Ｄモデル画像を生成し、当該生成した３Ｄモデル画像をモニタ８に出力するような処理を行うものに限らず、当該処理以外の他の処理を行うことにより生成した３Ｄモデル画像をモニタ８に出力するものであってもよい。

具体的には、画像更新処理部４２ｏは、例えば、第１の３Ｄ形状データのみを画像データ記憶部４３ｂに記憶し、画像データ記憶部４３ｂから読み込んだ当該第１の３Ｄ形状データと、当該第１の３Ｄ形状データを画像データ記憶部４３ｂに記憶した後に入力される第２の３Ｄ形状データと、を合成して３Ｄモデル画像を生成し、当該生成した３Ｄモデル画像をモニタ８に出力するような処理を行うものであってもよい。または、画像更新処理部４２ｏは、例えば、第１の３Ｄ形状データと第２の３Ｄ形状データとを画像データ記憶部４３ｂに記憶せずに合成することにより３Ｄモデル画像を生成し、当該３Ｄモデル画像を画像データ記憶部４３ｂに記憶し、画像データ記憶部４３ｂから読み込んだ当該３Ｄモデル画像をモニタ８に出力するような処理を行うものであってもよい。

また、画像更新処理部４２ｏは、３Ｄ形状データ構築部４２ａにより生成された３Ｄ形状データを画像データ記憶部４３ｂに記憶するものに限らず、被検体の内部からの戻り光を受光した際に撮像部２５において生成される２次元撮像信号を画像データ記憶部４３ｂに記憶するようにしても良い。

具体的には、画像更新処理部４２ｏは、例えば、被検体の内部の第１の領域からの戻り光を受光した際に撮像部２５において生成される第１の２次元撮像信号が入力された場合に、当該第１の２次元撮像信号を画像データ記憶部４３ｂに記憶する。

画像更新処理部４２ｏは、第１の２次元撮像信号を画像データ記憶部４３ｂに記憶した後で、第１の領域とは異なる第２の領域からの戻り光を受光した際に撮像部２５において生成される第２の２次元撮像信号が入力された場合に、当該第１の２次元撮像信号に追加して、当該第２の２次元撮像信号を画像データ記憶部４３ｂへ記憶する。

そして、画像更新処理部４２ｏは、画像データ記憶部４３ｂに記憶された第１の撮像信号及び第２の撮像信号に基づき、第１の領域及び第２の領域に対応する３次元モデル画像を生成してモニタ８へ出力する。

次に、画像更新処理部４２ｏが、第１の領域と第２の領域に対応する３次元モデル画像をモニタ８に出力するタイミングである表示タイミングについて説明する。

画像更新処理部４２ｏは、例えば、画像データ記憶部４３ｂに記憶された３Ｄ形状データを所定期間毎（例えば１秒毎）に更新しつつモニタ８に出力する。そして、このような画像更新処理部４２ｏの処理によれば、画像処理装置７に順次入力される被写体内部の２次元撮像信号に対応する３次元モデル画像を更新しつつモニタ８に表示させることができる。

なお、画像更新処理部４２ｏは、例えば、ユーザによる入力装置４４の操作に応じ、画像を更新するための合図としてのトリガ信号が入力された場合に、画像データ記憶部４３ｂに記憶された３Ｄ形状データを所定期間毎（例えば１秒毎）に更新しつつ、当該３Ｄ形状データに応じた３次元モデル画像を生成してモニタ８に出力するようにしてもよい。そして、このような画像更新処理部４２ｏの処理によれば、所望のタイミングで３次元モデル画像を更新しつつモニタ８に表示させることができるため、ユーザの利便性を向上させることができる。

また、画像更新処理部４２ｏは、例えば、撮像部２５により生成された２次元撮像信号に対応する内視鏡画像内において、バスケット等の処置具が映っていないことを検知した場合に（すなわち、病変部の治療中でなく管路に挿入されている状態であることを検知した場合に）、３次元モデル画像を更新しつつモニタ８に出力するようにしてもよい。

そして、以上に述べたような処理によれば、例えば、腎盂・腎杯内に挿入された内視鏡２Ｉの挿入動作に伴う観察領域（の２次元データ）の変化に応じ、モニタ８（における内視鏡画像に隣接する表示領域）に表示される３Ｄモデル画像が、図３ＢのＩ３ｏａ→図３ＣのＩ３ｏｂ→図３ＤのＩ３ｏｃの順に更新される。

図３Ｂの３Ｄモデル画像Ｉ３ｏａは、同図の右側に示す挿入位置までにおいて観察された内視鏡画像に基づいて生成された画像である。また、３Ｄモデル画像Ｉ３ｏａにおける上端部分は、観察された観察領域に対応する構築領域と、未観察領域との境界Ｂａとなり、この境界Ｂａ部分が、構築領域と異なる色で表示される。

なお、図３Ｂの３Ｄモデル画像Ｉ３ｏａ中における矢印は、内視鏡２Ａの先端部１５の位置及びその方向を示している（図３Ｃ及び図３Ｄにおいても同様）。３Ｄモデル画像Ｉ３ｏａ中に、内視鏡２Ａの先端部１５の位置及びその方向を示す指標となる上記矢印を重畳するようにしても良い。

図３Ｃの３Ｄモデル画像Ｉ３ｏｂは、図３Ｂの３Ｄモデル画像Ｉ３ｏａにおいての未構築領域部分に構築領域が追加されて更新された３Ｄモデル画像となる。

また、図３Ｃの３Ｄモデル画像Ｉ３ｏｂは、挿入の途中において分岐部が存在していたために複数の未構築領域に臨む境界Ｂｂ，Ｂｃ，Ｂｄが発生する。なお、境界Ｂｄは、分岐部に起因しない部分を含んでいる。

図３Ｄの３Ｄモデル画像Ｉ３ｏｃは、図３Ｃの３Ｄモデル画像Ｉ３ｏｂにおいてその上部側の未構築領域に構築領域が追加されて更新された３Ｄモデル画像となる。

本実施形態においては、内視鏡２Ｉの挿入部１１は、管腔形状の尿管１０を経てその深部側の管腔形状の腎盂・腎杯５１内に挿入される。そして、この場合、３Ｄ形状データ構築部４２ａは、管腔形状の臓器の内面を観察した場合の中空の３Ｄ形状データを構築する。
３Ｄ形状データ構築部４２ａにより構築された３Ｄ形状データに対して、画像生成部４２ｂ（のポリゴン処理部４２ｃ）は、ポリゴンを設定して、ポリゴンを用いた３Ｄモデル画像を生成する。本実施形態においては、３Ｄ形状データの表面にポリゴンとしての３角形を貼り付ける如くの処理を行い、３Ｄモデル画像を生成する。つまり、３Ｄモデル画像は、図４に示すように３角形のポリゴンを採用している。一般的には、ポリゴンとして、３角形、又は４角形が多用されるが、本実施形態においては３角形のポリゴンを用いる。なお、３Ｄ形状データ構築部４２ａが３Ｄ形状データではなく、３Ｄモデル画像を直接、生成（又は構築）してもよい。
ポリゴンは、面、辺、頂点に分解でき、頂点は３Ｄ座標で記述される。面には、表裏があり、面に対して１つの垂直な法線ベクトルが設定される。
更に、ポリゴンの頂点を記述する順番で面の表が設定される。例えば、図４に示すように３つの頂点ｖ１，ｖ２，ｖ３の順に記述した時の表（の面）の表裏と、法線ベクトルｖｎの向きとが対応する。

そして、後述するように、法線ベクトルを設定することにより、法線ベクトルが設定されたポリゴンの表裏、換言するとポリゴンを用いて形成される（観察された領域を表す）３Ｄモデル画像上における各ポリゴンが管腔臓器の内面（又は内壁）に該当するか外面（または外壁）に該当するかの判定を行う。本実施形態においては、管腔臓器の内面を観察又は検査することを主目的とするため、管腔臓器の内面をポリゴンの面の表（そして管腔臓器の外面をポリゴンの面の裏）に対応付けた場合で説明する。より複雑な被検体として、管腔構造体を内部に含む場合において、管腔構造体の内面とその外面とを検査するような場合においても、内面と外面を区別（判別）するため、そのような複雑な被検体に対しても適用することができる。
なお、後述する図６において説明するように挿入部１１の挿入位置が移動し、撮像部２５により観察されて取得された２次元画像の領域が変化すると、画像処理部４２は、変化した領域の３Ｄ形状データが、変化前の３Ｄ形状データを更新するように生成し、更新された領域上に新たにポリゴンを、法線ベクトルを用いて適切に設定し、３Ｄモデル画像を追加（更新）するようにして生成する処理を繰り返す。
また、画像生成部４２ｂは、ポリゴンを追加する場合、法線ベクトルを用いて、観察されたポリゴンの局所的な領域の面が内面（内壁）か外面（外壁）かの判別を行う内面外面判別部４２ｅの機能を持つ。

また、入力装置４４の強調表示選択部４４ｂにより境界を強調する強調表示が選択された場合には、画像生成部４２ｂは、３Ｄモデル画像における（観察されて構築された領域としての）構築領域の境界領域（この境界領域は、観察されていない未構築の領域としての未構築領域の境界ともなる）を強調して表示するための境界強調処理部４２ｆの機能を持つ。この境界強調処理部４２ｆは、ユーザにより強調表示選択部４４ｂから強調表示が選択されない場合には、境界領域（境界部分）を強調する処理を行わない。
このようにユーザは、３Ｄモデル画像をモニタ８において表示する場合、未構築領域の境界を視認し易いように強調表示することを選択したり、強調表示することを選択しないで３Ｄモデル画像をモニタ８において表示することの選択ができる。
また、画像生成部４２ｂは、３Ｄモデル画像を形成する構築された（換言すると観察された）ポリゴンの面が内面と外面との判別結果に応じて内面と外面とを異なる色で着色する（ポリゴン）着色処理部４２ｇを有する。なお、異なる色で着色せずに異なるテクスチャをポリゴンに貼りつけてもよい。以下の説明では、表示色設定部４４ａにより（観察された、つまり観察済みの）内面を灰色、（観察されていない、つまり未観察の）外面を白色に着色するように設定した場合で説明する。灰色として白に近い灰色に設定しても良い。内面を灰色、外面を白色の場合に限定されるものでない（表示色設定部４４ａによる設定の色に対応した着色処理部４２ｇが着色を行う）。

なお、本実施形態においては、管腔臓器の内面を観察対象としている通常の観察モードにおいては、観察していない領域は、撮像部２５により撮像されてない管腔臓器の内面となる。
そして、内視鏡２Ｉによる観察、検査の最中等において、観察されない領域を術者が視認可能なように３Ｄモデル画像上において表示しようとする場合、図３Ａに示した腎盂・腎杯５１に近い形状の３Ｄモデル画像で表示すると、観察されない領域となる３Ｄモデル画像上での未構築領域が存在した場合、その未構築領域を３Ｄ空間において視覚的に把握し易い画像にすることができる。
このため、本実施形態においては、画像処理部４２は、図３Ａに示した管腔臓器としての腎盂・腎杯５１を紙面に垂直な上方を視点とするような所定方向から、腎盂・腎杯５１の３Ｄモデル画像を、ポリゴンを用いて生成する。
また、このように視点を管腔臓器の外側に設定した場合には、実際に観察した領域が管腔の内面に存在しても、管腔外面に設定した視点側から見た３Ｄモデル画像上においては、観察された構築領域として視認し易いように表示し難くなる。

これを回避するために、以下の（ａ），（ｂ）及び（ｃ）のいずれかのようにしても良い。（ａ），（ｂ）では、二重（又は多重）の管状構造の場合にも適用できる場合であり、（ｃ）は腎盂のような一重の管状構造の場合に適用する場合である。
（ａ）視点側から（描画された）３Ｄモデル画像を見た場合、３Ｄモデル画像上における観察された構築領域を覆う外面の領域を内面の色としての灰色と外面の色としての白色と異なる表示色（例えば緑色）に着色する。（ｂ）又は、図３Ａにおいて２点鎖線で示すように、例えば視点となる紙面に垂直となる上方位置に照明用の光源Ｌｓを設定し、この光源Ｌｓから放射状に出射される照明光により３Ｄモデル画像上における観察された構築領域を覆う外面領域を、照明用の光源Ｌｓの照明光の色で着色した表示色（例えば緑色）で表示するようにしても良い。
（ｃ）又は、管腔臓器の内面のみを観察対象としていることに限定した場合には、管腔臓器の外面は観察対象でないために、観察された管腔臓器の内面を外面が覆っている場合には、その外面を内面の灰色と異なる色の表示色で表示するようにしても良い。この場合には、外面で覆われた観察済みの内面を表示する場合の表示色として白色に設定しても良い。以下においては、観察された管腔臓器の内面を覆っている場合の外面を表示する表示色を、少なくとも（観察済みであり、外面で覆われていない内面を直接的（露呈するように）に表示する場合の色となる）灰色と異なる（又は識別し易い）表示色を用いる。本明細書では、このように観察済みの内面を外面で覆っている状態のその外面を、観察済みの内面を直接、露呈した状態で観察した場合の色（例えば灰色）と異なる色としての表示色を用いる。

また、本実施形態においては、３Ｄモデル画像の背景部分を、３Ｄモデル画像の表示に用いられる観察済みの内面を表示する色（となる灰色）、二重管状構造において外面で観察済みの内面が外面で覆われている状態の外面の表示色（となる例えば緑色）とは異なる背景色（例えば青色）に設定し、観察された構築領域と共に、構築領域と未構築領域の境界となる境界領域を視認し易く（表示）する。また、強調表示の選択を行うことにより、着色処理部４２ｇは、境界領域をより視認し易くするように、灰色、表示色及び背景色と異なる色（例えば赤色）に着色する。

なお、図１においては、画像処理装置７は、内視鏡装置を構成するビデオプロセッサ４、光源装置３と別体で構成されているが、画像処理装置７をビデオプロセッサ４や、光源装置３と同じ筐体内に設けるようにしても良い。
本実施形態の内視鏡システム１は、３次元形状を有する被検体としての尿管１０、腎盂・腎杯５１の内部を観察する内視鏡２Ｉと、前記内視鏡２Ｉにより観察された前記被検体の（内部の）２次元データを入力する入力部を形成するビデオプロセッサ４の信号処理回路３２と、前記入力部により入力された前記被検体の２次元データに基づいて、前記被検体の３次元モデルデータ又は３次元形状データを生成（又は構築）する３次元モデル構築部を形成する３Ｄ形状データ構築部４２ａと、前記３次元モデル構築部により構築された構築領域の前記３次元モデルデータに基づいて、前記被検体における観察されていない領域としての未構築領域を視認可能な（換言すると、未構築領域を視認し易くする又は未構築領域を視認できる）３次元モデル画像を生成する画像生成部４２ｂと、を備えることを特徴とする。

また、図５に示すように本実施形態における画像処理方法は、３次元形状を有する被検体としての尿管１０、腎盂・腎杯５１の内部を観察する内視鏡２Ｉにより観察された前記被検体の（内部の）２次元データとして２次元画像データをビデオプロセッサ４の信号処理回路３２が画像処理装置７に入力する入力ステップＳ１と、前記入力ステップＳ１により入力された前記被検体の２次元データ（２Ｄデータ）に基づいて、３Ｄ形状データ構築部４２ａが前記被検体の３次元モデルデータ（３Ｄ形状データ）を生成（又は構築）する３次元モデル構築ステップＳ２と、前記３次元モデル構築ステップＳ２により構築された構築領域の前記３次元モデルデータに基づいて、画像生成部４２ｂが前記被検体における観察されていない領域としての未構築領域を視認可能な（換言すると、未構築領域を視認し易くする又は未構築領域を視認可能に表示するための）３次元モデル画像を生成する画像生成ステップＳ３と、を備えることを特徴とする。なお、図５の処理内容は、以下に説明する図６の処理内容における概要となる。
次に図６を参照して、本実施形態の動作を説明する。図６は、本実施形態の内視鏡システム１の主要な処理手順を示す。なお、図６の処理において、強調表示を選択しない場合と、選択する場合とを分けたシステム構成や画像処理方法にしても良い。

術者は、図１に示すように光源装置３とビデオプロセッサ４に画像処理装置７を接続し、光源装置３とビデオプロセッサ４に内視鏡２Ａ又は２Ｂ又は２Ｃを接続して内視鏡検査を行う。この場合、内視鏡２Ｉの挿入部１１を患者９の尿管１０内に挿入する。そして、図３Ａに示すような尿管１０を経て、図６のステップＳ１１に示すように内視鏡２Ｉの挿入部１１を、深部側の腎盂・腎杯５１内に挿入する。
挿入部１１の先端部１５には、撮像部２５が設けてあり、撮像部２５は、撮像部２５の画角内で撮像（観察）した撮像信号をビデオプロセッサ４の信号処理回路３２に入力する。
ステップＳ１２に示すように信号処理回路３２は、撮像部２５により撮像した撮像信号に対する信号処理を行い、撮像部２５により観察した２次元画像を生成（取得）する。また、信号処理回路３２は、生成した２次元画像（のＡ／Ｄ変換された２次元画像データ）を画像処理装置７の画像処理部４２に入力する。
ステップＳ１３に示すように画像処理部４２の３Ｄ形状データ構築部４２ａは、入力された２次元画像データから、位置センサを備えた内視鏡２Ａ（又は２Ｃ）の場合には位置センサの情報を利用して、位置センサを有しない内視鏡２Ｂの場合には画像処理により（撮像部２５で）観察した画像領域に対応する３Ｄ形状を推定し、３Ｄモデルデータとしての３Ｄ形状データを推定し、３Ｄ形状データを生成する。

２次元画像データから、３Ｄ形状データを生成する方法としては上述した手法を利用することができる。
次のステップＳ１４において画像生成部４２ｂは、ポリゴンを用いて３Ｄモデル画像を生成する。図６に示すようにループ状に類似の処理を繰り返す。そのため、２回目以降においては、ステップＳ１４の処理は、１回前におけるポリゴンを用いて３Ｄモデル画像を生成した処理を続行することになる（新たなポリゴンに対する３Ｄモデル画像を生成し、以前の３Ｄモデル画像を更新する）。
次のステップＳ１５においてポリゴン処理部４２ｃは、ステップＳ１３において生成された３Ｄ形状データを基にしてマーチングキューブ法など公知の手法を用いてポリゴンを生成する。図７は、ステップＳ１３において生成された３Ｄ形状データを基にしてポリゴンを生成する様子を示す。
管腔を表すように生成された３Ｄ形状データ（図７において輪郭形状部分）Ｉ３ａにおいて、管腔を横から見た場合の管腔外面にポリゴンを設定して３Ｄモデル画像Ｉ３ｂを生成する。

なお、さらに着色処理がされて３Ｄモデル画像Ｉ３ｃが生成され、モニタ８に表示される。図７においては、ポリゴンｐ０１，Ｐ０２，ｐ０３，ｐ０４等を示す。
次のステップＳ１６においてポリゴン処理部４２ｃは、前のステップＳ１５において設定した各ポリゴンに対して、（観察された領域が内面であるか否かを判別するために）それぞれ法線ベクトルを設定する。
次のステップＳ１７において画像生成部４２ｂの内面外面判別部４２ｅは、法線ベクトルを用いて観察された領域が内面であるか否かを判別する。ステップＳ１６及びＳ１７の処理に関しては、図８を参照して後で説明する。
次のステップＳ１８において画像生成部４２ｂの着色処理部４２ｇは、前のステップＳ１７の判別結果に応じて、観察された領域を表すポリゴンの面を（内面の場合には灰色、外面の場合には白色とするように）着色する。
次のステップＳ１９において制御部３１（又は画像生成部４２ｂの境界強調処理部）は、強調表示が選択されているか否かを判定する。強調表示が選択されていない場合には、次のステップＳ２０の処理に移る。そして、次のステップＳ２０の次にステップＳ２１，Ｓ２２の処理を行う。

これに対して、強調表示が選択されている場合には、ステップＳ２３，Ｓ２４，Ｓ２５の処理を行った後、ステップＳ２０の処理に移る。
ステップＳ２０において画像生成部４２ｂの着色処理部４２ｇは、（３Ｄモデル画像の外部又は離間して設定された位置における）所定の方向から見た３Ｄモデル画像の構築領域における観察済のポリゴンの面が内面の場合において外面により隠れる場合に対応した着色をする。
上述した二重管状構造のように、所定の方向から見た３Ｄモデル画像の構築領域における観察済のポリゴンの面が内面であり、この内面が外面により覆われている状態の３Ｄモデル画像として表示する場合には、当該外面の色を、観察済の内面を表す表示色の灰色、観察済の場合の外面の色としての白色、及び背景色とは異なる表示色（例えば緑色）で着色する。なお、３Ｄモデル画像を表示する場合において、観察済みの内面が露呈する状態となる当該内面は、ステップＳ１８における着色処理の灰色のままとなる。
ステップＳ２０の処理の後のステップＳ２１において画像処理部４２又は画像生成部４２ｂは、（上述した処理により）生成した３Ｄモデル画像の画像信号をモニタ８に出力し、モニタ８は生成された３Ｄモデル画像を表示する。
次のステップＳ２２において制御部４１は、術者が検査終了の指示入力を例えば入力装置４４から行ったか否かを判定する。

検査終了の指示入力がされない場合には、ステップＳ１１又はステップＳ１２の処理に戻り、上述した処理を繰り返す。つまり、挿入部１１が腎盂・腎杯５１内において移動されると、撮像部２５により移動後に新たに観察された領域に対応する３Ｄ形状データを生成し、その３Ｄ形状データに対する３Ｄモデル画像を生成する処理を繰り返す。
一方、検査終了の指示入力が行われた場合には、ステップＳ２６に示すように画像処理部４２は、３Ｄモデル画像を生成する処理を終了し、図６の処理が終了する。
図１３は、強調表示が選択されない場合（ステップＳ２３，Ｓ２４，Ｓ２５の処理を行わない場合）において、上記の処理を繰り返す途中において、例えばステップＳ２１の処理後においてモニタ８に表示される３Ｄモデル画像Ｉ３ｃを示す。
次に図８を参照して、図６のステップＳ１６，Ｓ１７の処理を説明する。ステップＳ１５の処理により図７に示したように観察された領域の３Ｄ形状データＩ３ａに複数のポリゴンｐ０１，ｐ０２，ｐ０３，ｐ０４等が設定される。これらのポリゴンｐｊ（ｊ＝０１，０２，０３，…）は、図９に示す表形式のポリゴンリストとして情報記憶部４３に記憶（格納）される。各ポリゴンｐｊの３つの頂点ｖ１，ｖ２，ｖ３は、３次元の位置ベクトル値ＸＸＸＸによりそれぞれ決定する。なお、ポリゴンリストは、各ポリゴンの構成を示すものである。

図８における最初のステップＳ３１においてポリゴン処理部４２ｃは、ポリゴンを選択する。図９に示すようにＸＸＸＸで示す法線ベクトルが設定されているポリゴンｐ０１に隣接するポリゴンｐ０２を選択する。なお、ポリゴンｐ０１に対しては、図４において説明したように法線ベクトルｖｎ１が観察された内面を表す表の向きに設定される。
次のステップＳ３２においてポリゴン処理部４２ｃは、ポリゴンｐ０２に対して、その法線ベクトルｖｎ２を
ｖｎ２＝（ｖ２−ｖ１）×（ｖ３−ｖ１）
により計算（算出）する。なお、記載を簡略化するために、頂点ｖ１，ｖ２，ｖ３の３次元位置をｖ１，ｖ２，ｖ３で流用し、例えばｖ２−ｖ１は３次元位置ｖ１から３次元位置ｖ２に至るベクトルを表す。
次のステップＳ３３においてポリゴン処理部４２ｃは、ポリゴンｐ０２の法線ベクトルｖｎ２の向き（又は極性）が、登録されているポリゴンｐ０１の法線ベクトルｖｎ１の向きと同じであるか判定する。

この判定を行うために、ポリゴン処理部４２ｃは、ポリゴンｐ０２に９０度以上の角度をもって隣接するポリゴンｐ０１の法線ベクトルｖｎ１と、ポリゴンｐ０２の法線ベクトルｖｎ２との内積を計算し、内積の値が０以上であれば向きが同じであると判定し、０未満となる場合には向きが反転していると判定する。

ステップＳ３３において向きが反転していると判定した場合には、次のステップＳ３５においてポリゴン処理部４２ｃは、法線ベクトルｖｎ２の向きを修正する。例えば法線ベクトルｖｎ２に−１を乗算して修正して登録すると共に、ポリゴンリストの位置ベクトルｖ２、ｖ３を入れ替える。
ステップＳ３４の後、又はステップＳ３３において向きが同じであると判定された場合には、ステップＳ３５においてポリゴン処理部４２ｃは、全てのポリゴンに法線ベクトルが有る（設定した）かの判定を行う。
法線ベクトルが無いポリゴンが存在する場合には、最初のステップＳ３１の処理に戻り、全てのポリゴンに法線ベクトルが有る場合には、図８の処理を終了する。図１０は、図９のポリゴンリストに対して法線ベクトルが設定されたポリゴンリストを示す。また、図１１は、図８の処理により、ポリゴンｐ０１に隣接するポリゴンｐ０２等に法線ベクトルｖｎ２等が設定された様子を示す。なお、図１１において、ポリゴン０２〜０４の上部側が管腔臓器の内面である（そして下側が外面となる）。

上記の説明においては、図８におけるステップＳ３３の判定処理として、内積を用いて法線ベクトルの向きが同じであるか否かを判定していた。この方法は位置センサを有しない内視鏡２Ｂの場合においても使用できる方法である。
これに対して、先端部１５に位置センサを備えた内視鏡２Ａ（又は２Ｃ）の場合には、図１２に示すように位置センサの情報を用いて法線ベクトルの向きが隣接する登録された法線ベクトルの向きと同じであるか否かを判定するようにしても良い。
図１２に示すように判定対象のポリゴンｐｋの重心Ｇと３Ｄ形状の推定に使用した２次元画像を取得したときの先端部１５の位置Ｐ１５を結ぶベクトルｖ１５と、ポリゴンｐｋの法線ベクトルｖｎｋとの内積を計算し、内積の値が０以上であれば向きが同じであると判定し、０未満となる場合には向きが反転していると判定する。図１２においては、両ベクトルの成す角θは９０°より小さく、内積は０以上となる。
このため、図１２において例えば点線で示すように隣接するポリゴン（図１２ではｐ０３）の内面から鈍角を成すようなポリゴンｐ０４′の内面を観察することはできない（ため、そのようなポリゴンは生成されず、法線ベクトルの向きの判定を行うことがない）。

このように強調表示が選択されない状態においては、モニタ８には、図１３に示すような３Ｄモデル画像Ｉ３ｂが背景色とは異なる色で表示される。
図１３に示すように下方の尿管側から上方の腎盂・腎杯側に至る管腔臓器の大部分が（一部欠落した状態で）ポリゴンで描画され、また管腔臓器の外側の面を表すポリゴンの（外側の）面が白っぽい色（例えば緑色）で表示されている。なお、３Ｄモデル画像Ｉ３ｃにおけるポリゴンの周囲は、青色等の背景色で表示される。
また、図１３において、下腎杯の一部分に灰色で着色された内面の一部が表示され、また、その上側となる中腎杯の一部にも、灰色で着色された内面が表示されている。又、図１３における上腎杯にも、境界が露呈している。
術者はこのように内面が所定の色で着色されて表示されるような３Ｄモデル画像Ｉ３ｃから、所定の色で着色された内面を境界領域として、観察していないために構築及び着色されていない未構築領域が視覚的に存在することを容易に把握することができる。
このように、図１３に示すように表示する３Ｄモデル画像Ｉ３ｃは、術者が未構築領域を視認し易いように表示する３次元モデル画像となる。
なお、図１３に示すような３Ｄモデル画像Ｉ３ｃを生成した場合、閉じた管腔臓器の外側から、通常、観察できない内面の一部の領域が、視認し易い色で表示されることにより、その領域に隣接する領域が観察されていない未構築領域であることを視覚的に認識することができる。
しかし、例えば図１３における上腎杯のように観察済みの内面が、手前側の外面に隠れて表示されず、かつその境界形状が開口していることを視覚し難い形状になっていると、その部分に未構築領域が存在することを見逃す可能性がある。勿論、術者は、観察又は検査を行う管腔臓器の形状を把握しているため、見逃す可能性は低くなるが、術者が内視鏡検査を円滑に行い易くするために、術者の負担を出来るだけ軽減できるようにすることが望まれる。
そのような場合のために本実施形態においては、強調表示を選択することができ、強調表示を選択した場合には図６におけるステップＳ２３，Ｓ２４、Ｓ２５の処理を行う。

強調表示を選択した場合には、ステップＳ２３において境界強調処理部４２ｆは、ポリゴンリストの情報を利用して境界領域のポリゴンの辺を探索（又は抽出）する処理を行う。
検査対象の管腔臓器が腎盂・腎杯５１の場合においては、腎盂５１ａから複数の腎杯５１ｂ側に分岐する。図７に示した例では、各ポリゴンｐｉの３つの辺はそれぞれ隣接するポリゴンの辺と共有する。
これに対して、構築された構築領域の端となり、未構築領域との境界領域のポリゴンにおいては共有しない辺が発生する。図１４は、境界周辺のポリゴンを模式的に示し、また図１５は図１４のポリゴンに対応するポリゴンリストを示す。
図１４においては、ポリゴンｐ１２の辺ｅ１４と、ポリゴンｐ１４の辺ｅ１８とが境界辺を示し、この右側が未構築領域となる。図１４においては境界辺を太い線で示している。実際には、境界辺はより多くの辺から構成される場合が一般的である。なお、図１４において、辺ｅ１１，ｅ１７，ｅ２１は、ポリゴンｐ１１，ｐ１３，ｐ１５と、点線で示すポリゴンｐ１７，ｐ１８，ｐ１９により共有される。また、辺ｅ１２，ｅ２０は、ポリゴンｐ１１，ｐ１５と２点鎖線で示すポリゴンｐ１０，ｐ１６とで共有される。

図１４の場合には、ポリゴンリストは図１５に示すようになり、ポリゴンリストには、ポリゴンｐ１２の辺ｅ１４と、ポリゴンｐ１４の辺ｅ１８とが１回のみ現れ、他の辺は２回現れる。従って、ポリゴン処理部４２ｃは、境界領域（のポリゴン）を探索する処理としてポリゴンリストから１回のみ現れる辺を境界辺として抽出する。換言すると、ポリゴン処理部４２ｃは、観察済みの構築領域を表す全てのポリゴンのリストとしての ポリゴンリストにおいて（３次元的に隣接する）複数のポリゴンにより共有されない（つまり１つのポリゴンのみが持つ）辺を境界辺として抽出する。

なお、図１５のポリゴンリストにおいて最も右側の欄には、観察されたポリゴンの面が内面か外面かの判別結果に応じて着色される色が設定される。図１５では、内面が観察されているので、灰色を示すＧが設定されている。
次のステップＳ２４において境界強調処理部４２ｆは、前のステップＳ２３において抽出した情報により境界リストを作成し、作成したことを着色処理部４２ｇに通知する。
図１６はステップＳ２４において生成される境界リストを示す。図１６に示す境界リストは、ステップＳ２３の処理までにおいて探索（抽出）された１回のみ現れるポリゴンの境界辺のリストである。

次のステップＳ２５において着色処理部４２ｇは、境界リストを参照して、境界辺を術者等のユーザが視認し易い色（例えば赤色）の境界色で着色する。この場合、境界辺を描画する線の太さを大きく（太く）し、着色した境界辺をより視認し易いようにしても良い。また、図１６に示す境界リストにおいては、最も右側の欄に、着色処理部４２ｇにより境界辺が着色される強調色（境界色）を示している。図１６の具体例では、着色される強調色として赤色を示すＲが記載されている。また、境界辺から閾値以下の距離となる境界領域を赤色等の境界色又は強調色で着色しても良い。

なお、境界辺を着色する処理をステップＳ２５において行う場合に限定されるものでなく、ステップＳ２０の処理において、境界強調の選択の有無に応じて（Ｓ２５の処理を）行うようにしても良い。
なお、上述したように図６の処理はループ状に類似した処理を繰り返すため、境界強調を選択した場合においても、挿入部１１の移動により、撮像部２５が撮像する領域が変化すると、変化前のポリゴンリストや境界リストが更新される。
このようにして、境界強調が選択された場合には、モニタ８に表示される図１３に対応する３Ｄモデル画像Ｉ３ｄは図１７に示すようになる。

図１７に示す３Ｄモデル画像Ｉ３ｄは、図１３に示す３Ｄモデル画像Ｉ３ｃにおいて、境界領域のポリゴンの境界辺が強調色で着色されたものとなっている。図１７に示すように構築領域のポリゴンにおける未構築領域との境界となるポリゴンの境界辺が強調色で着色されるので、術者等のユーザは、境界辺に隣接する未構築領域を視認し易い状態で把握することができる。なお、図１７ではモノクロ表示で示しているので、輪郭よりも太い線で示している境界辺は、輪郭と大きく異なっていないように見られるが、境界辺は、目立つ強調色で表示される。従って、カラーで表示するモニタ８で３Ｄモデル画像Ｉ３ｄを表示した場合には、境界辺は輪郭と大きく異なる状態で視認できる。モノクロ表示でも境界辺を輪郭と識別し易いように、輪郭よりも、閾値以上に太い線、又は輪郭の線の太さの数倍以上、太い線で境界辺を表示するようにしても良い。
このように本実施形態の内視鏡システム及び画像処理方法によれば、未構築領域を視認し易く表示する３次元モデル画像を生成することができる。
また、本実施形態において、強調表示を選択した場合には、構築領域と未構築領域との境界を強調して表示する３Ｄモデル画像Ｉ３ｄを生成するため、術者等のユーザは、未構築領域をより視認し易い状態で把握することができる。
次に第１の実施形態の第１変形例を説明する。本変形例は、第１の実施形態と殆ど同様の構成であるが、強調表示が選択された場合における処理が第１の実施形態における境界辺を強調する代わりに、境界辺を含む面を強調する処理にしている。
図１８は本変形例の処理内容を示す。図１８は、図６においてのステップＳ２４の境界リストを作成（変更）する処理を、ステップＳ２４′に示すポリゴンリストの色を変更する処理に変更し、ステップＳ２５の境界辺を着色する処理を、ステップＳ２５′の境界面を着色する処理に変更している。以下、第１の実施形態と異なる処理部分を説明する。

ステップＳ１９において強調表示が選択された場合には、第１の実施形態の場合と同様にステップＳ２３において境界を探索する処理を行う。ステップＳ２３の処理において、図１５に示したようなポリゴンリストが作成され、さらに図１６に示すような境界辺を持つポリゴンが抽出される。
次のステップＳ２４′において境界強調処理部４２ｆは、例えば図１９に示すように境界辺を含むポリゴンリストの色を、視認し易い色（強調色）に変更する。
図１９のポリゴンリストは、図１５のポリゴンリストにおける境界辺ｅ１４とｅ１８を含むポリゴンｐ１２，ｐ１４の色を灰色から赤色に変更する。
簡潔に述べると、図１６の強調色は境界辺を強調する色であったが、本変形例は境界辺を含むポリゴンの面を強調する強調色にする。なお、この場合、面を強調色として境界辺を含むようにしても良い。
次のステップＳ２５′において境界強調処理部４２ｆは、強調色に変更されたポリゴンの面を強調色で着色した後、ステップＳ２０の処理に移る。

図２０は本変形例により生成され、モニタ８に表示される３Ｄモデル画像Ｉ３ｅを示す。図２０では境界に臨む辺を持つポリゴン（つまり境界のポリゴン）の色を強調色（図２０では具体的に赤色Ｒとした場合で）示している。また、図２０では境界辺も、赤色で強調して表示した例を示す。

本変形例によれば、第１の実施形態とほぼ同様の効果を有する。具体的には強調表示を選択しないと、第１の実施形態において強調表示を選択しない場合と同じ効果となり、強調表示を選択すると、境界のポリゴンの境界辺を含む境界面を視認し易い強調色で表示するため、術者が観察領域の境界の未観察領域を把握易くする効果がある。
次に第１の実施形態の第２変形例を説明する。本変形例は、第１の実施形態と殆ど同様の構成であるが、強調表示が選択された場合における処理が第１の実施形態と異なる処理を行う。本変形例では、図２における画像生成部４２ｂにおける境界強調処理部４２ｆが、強調表示の選択に対応した強調処理部（４２ｆ′とする）に変更されている（処理結果は、境界強調処理部４２ｆによる結果と類似した内容となる）。
図２１は、本変形例の処理を示す。図２１において強調表示が選択されない場合には、第１の実施形態と同様の処理となる。一方、強調表示が選択された場合にはステップＳ４１に示すように強調処理部４２ｆ′は、１回前の３次元形状の推定の後に設定されたポリゴンリストから今回、追加されたポリゴンを算出する。

なお、1回目の処理においてはポリゴンリストが空欄の状態から追加されたことになるため、全ポリゴンが対象となる。
図２２は、１回目の処理において取得された斜線で示すポリゴン（の範囲）に対して、２回目の処理において取得された追加のポリゴンの範囲を示す。次のステップＳ４２において強調処理部４２ｆ′は、関心領域を設定し、ポリゴンを複数のサブブロックに分割する。
図２２に示すように強調処理部４２ｆ′は、追加のポリゴンの範囲内において、ポリゴンの頂点（又は重心）を中心として例えば円形の関心領域を設定し、関心領域を例えば点線で示す４等分のサブブロックに分割する。実際には、３次元的なポリゴン面に対して、例えば球形の関心領域を設定して、複数のサブブロックに分割する。
図２２においては、着目する頂点ｖｒ１，ｖｒ２においてそれぞれ関心領域Ｒ１，Ｒ２を設定し、関心領域Ｒ１を４つのサブブロックＲ１ａ、Ｒ１ｂ、Ｒ１ｃ、Ｒ１ｄに、関心領域Ｒ２を４つのサブブロックＲ２ａ、Ｒ２ｂ、Ｒ２ｃ、Ｒ２ｄにそれぞれ分割した様子を示す。

次のステップＳ４３において強調処理部４２ｆ′は、サブブロック毎のポリゴンの頂点（又は重心）の密度又は頂点数を計算する。さらに、強調処理部４２ｆ′は、サブブロック間のポリゴンの頂点（又は重心）の密度又は頂点数の偏りが有るか否かを計算する。
関心領域Ｒ１の場合には、各サブブロックは、連続的に形成されたポリゴンの頂点などをそれぞれ複数、含む状態となり、サブブロック間での密度又は頂点数の偏りは小さいのに対して、関心領域Ｒ２の場合には、サブブロックＲ２ｂ、Ｒ２ｃとサブブロックＲ２ａ、Ｒ２ｄとは、サブブロック間での密度又は頂点数の偏りが大きい。サブブロックＲ２ｂ、Ｒ２ｃは、関心領域Ｒ１の場合のサブブロックＲ１ａ等とほぼ同じ値となるが、サブブロックＲ２ａ、Ｒ２ｄは、ポリゴンの頂点（又は重心）を境界以外で含まないため、サブブロックＲ２ｂ、Ｒ２ｃの場合よりは小さな値となる。そして、サブブロックＲ２ｂ、Ｒ２ｃの場合と、サブブロックＲ２ａ、Ｒ２ｄの場合とでは、頂点数の偏りが大きくなる。
次のステップＳ４３において強調処理部４２ｆ′は、サブブロック間においてポリゴンの頂点（又は重心）の密度又は頂点数の偏りが（偏りの閾値以上に）有り、かつポリゴンの頂点（又は重心）の密度又は頂点数が閾値以下である条件に該当するポリゴン、又は当該ポリゴンの頂点を視認し易い色（赤等の強調色）で着色する処理を行う。図２２では例えば頂点ｖｒ２，ｖｒ３，ｖｒ４又はこれらを共有するポリゴンが着色される。ステップＳ４４の処理の後、またはステップＳ４５を行った後、ステップＳ２０の処理に進む。

また、ユーザは、このように着色した場合において、より視認し易くする視認性を確保するために着色範囲を拡大する選択を入力装置４４の強調表示選択部４４ｂから行うことができるようにしている。着色範囲を拡大する選択がされた場合には、以下のように着色範囲を拡大する処理が行われる。
上述した密度等に偏りがある条件（第１の条件とする）に該当するポリゴン又はポリゴンの頂点を着色する処理Ｓ４４に対して、図２１において点線で示すステップＳ４５において強調処理部４２ｆ′は、更に着色範囲を拡大する。上記のように点線で示すステップＳ４５の処理は、選択された場合に行われる。
強調処理部４２ｆ′は、第１の条件に該当するポリゴン（の頂点）を、ステップＳ４４に示すように着色したが、ステップＳ４５において第１の条件に合致したポリゴン（の頂点）を中心として一定の距離内にあり、第１の条件に合致したポリゴン（の頂点）と同じタイミングで追加されたポリゴン（の頂点）も、同様に着色する。
この場合には、図２２における最も上で水平方向に沿ったポリゴン、又は上から２番目までの水平方向に沿ったポリゴン等が着色される。一定の距離をより大きくすることにより、着色するポリゴンの範囲をより大きくすることもできる。

なお、新たに追加した点の周辺に境界がある場合の点（図２２のｖｒ２，ｖｒ３，ｖｒ４）も視認し易い色に着色する第２の条件に該当すると見なしても良い。

図２３は、本変形例による３Ｄモデル画像Ｉ３ｆの表示例を示す。この３Ｄモデル画像Ｉ３ｆは、図２０の３Ｄモデル画像Ｉ３ｅとほぼ同じ表示となる。なお、図２３では、図２０における境界に臨むポリゴン等が強調色としてのＲで着色されているような表記を省略している。本変形例によれば、第１の実施形態とほぼ同様の効果を有する。つまり、強調表示を選択しない場合には第１の実施形態において強調表示を選択しない場合と同じ効果となり、また強調表示を選択した場合には第１の実施形態において強調表示を選択した場合と同様に、構築されたポリゴンの境界領域を視認し易い色で目立つように表示することができる。このため、境界領域に隣接し、観察されていない未構築領域を容易に把握し易くなる。
次に第１の実施形態の第３変形例を説明する。
本変形例は、第１の実施形態において強調表示が選択されない場合においても、強調表示を選択した場合と類似した表示を行う場合に該当する。
このため、本変形例は、図２における構成において、入力装置４４は強調表示選択部４４ｂを有しない構成に該当し、境界強調処理部４２ｆを設ける必要がないが、実質的には境界強調処理部４２ｆに近い処理をする。その他の構成は、第１の実施形態と殆ど同じ構成である。

図２４は本変形例の処理内容を示す。図２４に示すフローチャートは、図６のフローチャートに近い処理であるため、異なる部分のみを説明する。
ステップＳ１からステップＳ１８までは、図６と同じ処理であり、ステップＳ１８の処理の後、ステップＳ５１においてポリゴン処理部４２ｃは、観察していない領域を探索する処理を行う。
上述したようにステップＳ１３において３次元形状の推定を行い、観察された領域の面にポリゴンを貼り付けるような処理をして３Ｄモデル画像を生成する処理を行うが、観察された領域の境界に観察されていない領域が、（観察された領域に隣接して）例えば円形状の開口部として存在した場合、この開口部にポリゴンを貼り付けて、観察した領域の面の場合のような処理を行う可能性がある。
このため、本変形例では、ステップＳ５１の観察していない領域を探索する処理として、注目する領域に設定したポリゴンの法線と、このポリゴンに隣接し、観察済みの領域に設定されたポリゴンの法線とのなす角を計算し、そのなす角が９０°程度の閾値以上か否かの判定を行う。

次のステップＳ５２においてポリゴン処理部４２ｃは、上記２つの法線のなす角が閾値以上となるポリゴンを抽出する。
図２５は、本変形例の動作の説明図を示す。図２５は例えば水平方向に延びる観察済みの管腔形状部分にポリゴンが設定され、その右端に未観察の領域となる略円形状の開口部Ｏが存在する様子を示す。
この場合、開口部Ｏに隣接する観察済みの領域に設定したポリゴンの場合と同様に、開口部Ｏにポリゴンを設定する処理が行われる場合があり得る。この場合には、観察済みで開口部Ｏの境界に隣接する領域に設定したポリゴンの法線Ｌｎ１と、このポリゴンに隣接し、開口部Ｏを塞ぐように設定したポリゴンｐＯ１の法線Ｌｏ１とのなす角は、観察済みの領域において隣接する２つのポリゴンにそれぞれ設定した２つの法線Ｌｎｉ，Ｌｎｉ＋１がなす角に比べて遥かに大きな角となり、閾値以上となる。
図２５では法線Ｌｎ１とＬｏ１との他に、法線Ｌｎ２と開口部Ｏを塞ぐように設定したポリゴンｐＯ２の法線Ｌｏ２も示している。

次のステップＳ５３において着色処理部４２ｇは、２つの法線のなす角が閾値以上となる複数のポリゴン（図２５におけるポリゴンｐＯ１，ｐＯ２）と、複数のポリゴンに囲まれたポリゴン（ポリゴンｐＯ１，ｐＯ２の間のポリゴンｐＯ３）の色を観察済みの領域と異なる色（例えば赤色）で着色する。ステップＳ５３の処理の後、ステップＳ２０の処理に移る。
図２６は、本変形例による３Ｄモデル画像Ｉ３ｇを示す。図２６では未観察の領域が赤色で表示される。
本変形例によれば、観察された観察済みの領域のポリゴンに隣接し、未観察の領域にポリゴンを設定した場合にも、そのポリゴンを着色して未観察の領域であることを視認し易くできる。
次に第１の実施形態の第４変形例を説明する。
本変形例は、観察領域と未観察の領域との境界の形状を単純化して、（複雑な形状がノイズに起因する等と誤認識する虞を解消し）未観察の領域を把握し易くする。
本変形例は、図２における構成において、入力装置４４は強調表示選択部４４ｂの代わりに平滑化を選択する平滑化選択部（４４ｃとする）を有し、また画像生成部４２ｂは、境界強調処理部４２ｆの代わりに平滑化処理を行う平滑化処理部（４２ｈとする）を有する。その他の構成は、第１の実施形態と殆ど同じ構成である。

図２７は本変形例の処理内容を示す。図２７の処理は、図６の処理に類似するため、異なる部分のみ説明する。
図２７の処理は、図６におけるステップＳ１９の処理が、ステップＳ６１の平滑化を選択するか否かの処理に変更される。
また、ステップＳ２３の境界の探索の処理の後、ステップＳ６２の平滑化の処理を行い、この平滑化の処理後にステップＳ６３において更に境界の探索の処理を行い、境界リストの作成（更新）を行うようにしている。
本変形例においては、上記のように観察領域と未観察の領域との境界の形状を単純化して表示するため、ステップＳ６２の平滑化の処理を行う前のポリゴンリストを例えば情報記憶部４３に保持し、保持されたコピーをポリゴンリストにセットし、３Ｄモデル画像の生成に使用する（コピーされたポリゴンリストは平滑化により変更されるが、情報記憶部４３には変更されないものが保持される）。
図２７のステップＳ６１の処理において、平滑化が選択されない場合には、ステップＳ２０に移り、第１の実施形態において説明した処理が行われる。

一方、平滑化が選択された場合には、ステップＳ２３においてポリゴン処理部４２ｃは、境界を探索する処理を行う。
ステップＳ２３の境界を探索する処理は、例えば図１４〜図１６を参照して説明した。境界を探索する処理により、例えば図２８に示すようにポリゴンの境界が抽出される場合がある。図２８は、図２５に示した管腔形状のポリゴンの境界部分が凹凸部を有する複雑な形状になった様子を模式的に示す。
次のステップＳ６２において平滑化処理部４２ｈは、平滑化の処理を行う。平滑化処理部４２ｈは、境界領域の複数のポリゴンにおける重心（又は頂点）の位置からの距離が最小となるような（曲率の変化量を適宜の範囲内に制限した）曲面Ｐｌを、最小二乗法等を適用して算出する。隣接するポリゴンにおいての凹凸の程度が激しいような場合には、境界に臨む全てのポリゴンに対して最小二乗法を適用する場合に限定されるものでなく、一部のポリゴンにのみ適用しても良い。
更に、平滑化処理部４２ｈは、曲面Ｐｌの外側となるポリゴン部分を削除する処理を行う。図２８においては、削除されるポリゴン部分を斜線で示している。

次のステップＳ６３において平滑化処理部４２ｈ（又はポリゴン処理部４２ｃ）は、上記の処理（ステップＳ２３、Ｓ６２，Ｓ６３）による処理に対応して、境界領域を形成するポリゴンを探索する。例えば、図２８に示すように曲面Ｐｌにより一部が削除されたポリゴン（例えば符号を付けた１つのポリゴンｐｋ）と、境界に辺が臨むポリゴンｐａを探索する処理を行う。
そして、次のステップＳ６４において、探索の処理により抽出されたこれらのポリゴンの辺を境界辺とする境界リストを作成（更新）する。このとき、曲面Ｐｌにより一部が削除されたポリゴンに対しては形状が三角形となるように新たに頂点を追加して分割する。なお、図２８における上記ポリゴンｐｋにおいては、境界辺は、曲面Ｐｌにより一部が削除された辺ｅｋ１，ｅｋ２，と曲面Ｐｌによる辺ｅｐとなる。この場合、曲面Ｐｌによる辺ｅｐは、ポリゴンｐｋ面内における両端を結ぶ直線状の辺で近似する。
次のステップＳ２５において着色処理部４２ｇは、境界リストに記載されたポリゴンの境界辺を視認し易い色で着色する処理を行い、その後、ステップＳ２０の処理に移る。

図２９はこのようにして生成され、モニタ８で表示される３Ｄモデル画像Ｉ３ｈを示す。本変形例によれば、境界部分において複雑な形状であると、単純化した境界辺として、視認し易い色で表示するため、未観察領域を把握し易くなる。
なお、曲面Ｐｌによりポリゴンを分割することをしないで、以下の方法で処理してもよい。
ステップＳ６２において平滑化処理部４２ｈは、曲面Ｐｌの外側となる頂点を探索する。次のステップＳ６３において平滑化処理部４２ｈ（又はポリゴン処理部４２ｃ）は、曲面Ｐｌの外側にある頂点を含むポリゴンをコピーされたポリゴンリストから削除する処理を行う。次のステップＳ６３において平滑化処理部４２ｈ（又はポリゴン処理部４２ｃ）は、上記の処理（ステップＳ２３、Ｓ６２，Ｓ６３）による処理に対応して、曲面Ｐｌの外側にある頂点を含むポリゴンをコピーされたポリゴンリストから削除する処理を行い、他の変形例で説明した境界の探索を行う。
次に第１の実施形態の第５変形例を説明する。
第１の実施形態においては、強調表示を選択した場合、境界領域のポリゴンの辺を境界辺として抽出して、境界辺を視認し易いように着色する処理を行ったが、本変形例は３次元形状をポリゴンで表現するのではなく（例えばポリゴンにおける重心位置の点又は頂点に対応する）点で表す場合において、（ポリゴンの）境界辺の代わりに境界の点を境界点として抽出する処理を行い、境界点を視認し易いように着色する処理を行う。
このため、本変形例は、図２の構成において境界強調処理部４２ｆが境界点を強調する処理を行う構成となる。図３０Ａは、本変形例における画像処理装置７′の構成を示す。本変形例における画像処理装置７′は、３次元形状をポリゴンで表示する処理等を行わないため、図２におけるポリゴン処理部４２ｃと、内面外面判別部４２ｅを有しない。その他の構成は、第１の実施形態と殆ど同じ構成である。

図３０Ｂは、本変形例の処理内容を示す。図３０Ｂに示すフローチャートは、図６のフローチャートに近い処理であるため、異なる部分のみを説明する。図３０Ｂのフローチャートは、図６におけるステップＳ１５〜Ｓ２０の処理を行わない。このため、ステップＳ１４の処理の後、ステップＳ２３、Ｓ２４の処理に移り、図６におけるステップＳ２５の境界辺を着色する処理をステップＳ７１に示すように境界点を着色する処理に変更した内容となり、ステップＳ７１の処理の後、ステップＳ２１の処理に移る。但し、以下に説明するように図６と同じステップＳ２４の境界リストを作成（変更）する処理の内容等が第１の実施形態の場合と若干異なる処理内容となる。
ステップＳ２３において境界強調処理部４２ｆは、境界を探索して境界点を抽出する処理として、第２変形例において図２２を参照して説明した処理（第１の条件又は第２の条件の少なくとも一方の条件を満たす処理）により境界点を抽出しても良い。

つまり、第１の条件として、注目する点（重心又は頂点）に対して複数の関心領域を設定し、関心領域毎のサブブロックでの点の密度等の計算し、密度等に偏りがあり、密度の値が閾値以下となる条件を満たす点を境界点として抽出する。
又は、第２の条件として、新たに追加した点の周辺に境界がある場合の点を境界点として抽出する。図２２の場合には、境界点としてｖｒ２，ｖｒ３，ｖｒ４等が抽出される。
図３１は、本変形例により生成され、モニタ８に表示される３Ｄモデル画像Ｉ３ｉを示す。図３１に示すように境界領域の点が視認し易い色で表示される。なお、境界領域の点を太い点（面積を膨張させた点）として、視認し易い色（強調色）で着色するようにしても良い。また、境界領域の点における隣接する２点間の中点に対しても、視認し易い色で表示するようにしても良い。
本変形例によれば、観察された構築領域と、観察されていない未構築領域の境界となる点が視認し易い色で表示されるため、未構築領域を把握し易い。なお、上記の境界点における隣接する境界点を結ぶ線（境界線と言う）を引き、着色処理部４２ｇが、境界線も視認し易い色で着色するようにしても良い。 また、境界点から閾値以下の距離内に含まれる点も太い点（面積を膨張させた点）として、視認し易い色（強調色）で着色するようにしても良い。

なお、本変形例において、３次元形状を観察済みのポリゴンの重心で表示する場合が考えられる。この場合は、ポリゴンの重心を求める処理を行う。以下に説明する第６変形例の場合においても、同様に適用しても良い。

第５変形例における図３０ＢにおけるステップＳ７１の処理において、更に境界点近傍となる周辺の点も境界点と同様に視認し易い色で着色するようにしても良い（図３３参照）。この場合とほぼ同様の処理結果となる第１の実施形態の第６変形例を説明する。
第６変形例は、第５変形例においての境界点とその周辺の点を視認し易い色で着色するように強調するものであり、第５変形例と同じ構成である。
図３２は、本変形例の処理内容を示す。図３２に示す処理は、図３０Ｂに示す第１の実施形態の第５変形例の処理に類似しており、ステップＳ１４の処理の後、ステップＳ８１〜Ｓ８３の処理を行い、ステップＳ８３の処理の後、ステップＳ２１の処理に移る。ステップＳ１４の処理の後、ステップＳ８１に示すように境界強調処理部４２ｆは、１回前から追加された点を算出する処理を行う。
追加された点の範囲の例は、例えば図２２において説明したポリゴンの場合と同じである。次のステップＳ８２において境界強調処理部４２ｆは、追加された点のリストである点リストにおける新たに追加された点を、観察された色とは異なる色（例えば赤色）に変更する。また、境界強調処理部４２ｆは、点リストにおいて新たに追加した点から閾値以上となる距離にある、前記異なる色の点の色を、観察された色に戻す処理を行う。

次のステップＳ８３において着色処理部４２ｇは、前のステップＳ８２までのポリゴンリストに記載された色に従って、ポリゴンの点を着色する処理を行い、ステップＳ２１の処理に移る。
本変形例による３Ｄモデル画像Ｉ３ｊを図３３に示す。図３１の場合においての境界点の他に、その周辺の点も同様の色で着色して表示するため、術者は未観察領域を確認し易くなる。
また、例えば、ユーザによる入力装置４４の操作に応じ、未観察領域のみを表示してもよい。観察領域が見えなくなることで、観察領域の裏側にある未観察領域を術者は確認し易くなる。なお、未観察領域のみを表示する機能は他の実施例や変形例に設けてもよい。

次に第１の実施形態の第７変形例を説明する。本変形例は、例えば第１の実施形態において指標の付加が選択された場合には、未観察領域を示す指標を付加して表示する。図３４は本変形例における画像処理装置７Ｂの構成を示す。
この画像処理装置７Ｂは、図２の画像処理装置７において、入力装置４４は、指標の表示を選択する指標表示選択部４４ｄを有し、また画像生成部４２ｂは、未観察の領域に指標を付加する指標付加部４２ｉを有する。その他の構成は、第１の実施形態と同様である。図３５は、本変形例の処理内容を示す。
図３５のフローチャートは図６のフローチャートにおいて、さらに指標の表示の選択結果に応じて指標を表示するための処理を追加して行う処理内容となる。

ステップＳ１９において強調表示が選択された場合には、ステップＳ２３，２４の処理を行った後、ステップＳ８５において制御部４１は、指標の表示が選択されたか否かを判定する。指標の表示が選択されない場合には、ステップＳ２５の処理に移り、逆に指標の表示が選択された場合には、ステップＳ８６において指標付加部４２ｉは、付加して表示するための指標を算出する処理を行った後、ステップＳ２５の処理に移る。
指標付加部４２ｉは、
ａ．境界となった辺を含む面を算出する。
ｂ．次に境界の点の重心を算出する。
ｃ．次に、ａにおいて算出した面の法線に平行、かつ境界の点の重心から一定距離にある点を算出し、指標を追加する。
この場合の３Ｄモデル画像Ｉ３ｋを図３６に示す。図３６は、図１７の３Ｄモデル画像Ｉ３ｄに更に指標が付加した図となる。
また、図３５においてのステップＳ１９において強調表示が選択されない場合には、ステップＳ８７において制御部４１は、指標の表示が選択されたか否かを判定する。指標の表示が選択されない場合には、ステップＳ２０の処理に移り、逆に指標の表示が選択された場合には、ステップＳ８８においてステップＳ２３と同様に境界を探索する処理を行った後、ステップＳ８９において指標付加部４２ｉは、付加して表示するための指標を算出する処理を行った後、ステップＳ２０の処理に移る。

この場合の３Ｄモデル画像Ｉ３ｌを図３７に示す。図３７は、図１３の３Ｄモデル画像Ｉ３ｃに更に指標が付加した図となる。なお、指標は、例えば黄色に着色される。
本変形例によれば、第１の実施形態のような３Ｄモデル画像Ｉ３ｃ、Ｉ３ｄを表示するような選択ができると共に、さらに指標を付加した３Ｄモデル画像Ｉ３ｌ、Ｉ３ｋを表示するような選択ができる。また、３Ｄモデル画像Ｉ１３ｅ、Ｉ１３ｆ、Ｉ１３ｇ、Ｉ１３ｈ、Ｉ１３ｉ、Ｉ１３ｊに対して同様の処理を追加して、指標を表示してもよい。
次に第１の実施形態の第８変形例を説明する。第７変形例においては、３Ｄモデル画像Ｉ３ｃ，Ｉ３ｄの外側に境界又は未観察領域を矢印で示す指標を表示する例を説明した。これに対して、以下に説明するように３Ｄモデル画像の管腔内部に設定した光源から光が未観察領域となる開口部から漏れているような指標の表示を行うようにしても良い。
本変形例の処理は、第７変形例における図３６におけるステップＳ８６又はＳ８９の指標を算出する処理を図３９に示す指標を生成する処理に変更したものとなるのみである。なお、指標付加部４２ｉは、以下の図３８等の処理を行う際の所定の面積以上となる前記未構築領域の開口部を抽出する開口部抽出部と、管腔の内部側に引かれた法線上の位置に点光源を設定する光源設定部と、の機能を備える。

図３８は、本変形例における指標を生成する処理内容を示す。
指標を生成する処理が開始すると、最初のステップＳ９１において指標付加部４２ｉは、規定面積以上の未観察領域となる開口部を求める。図３９は、図３８の処理の説明図を示し、管腔臓器における規定面積（又は所定面積）以上の未観察領域となる開口部６１を示す。
次のステップＳ９２において指標付加部４２ｉは、開口部６１を構成する点の重心からの法線６２を（管腔内部側に）設定する。図３９における右側の図に示すように、この法線６２は、重心６６と、開口部６１を構成する点のうち、前記重心６６に最も近い点６７および前記重心６６に最も遠い点６８の合計3点を通る面に対する法線６２で、重心６６から単位長で延びる。その方向は、３Ｄモデルを形成するポリゴンの多い方向である。なお、上記３点の他に、開口部６１上に適宜に設定した３つの代表点でも良い。

次のステップＳ９３において指標付加部４２ｉは、開口部６１の重心６６の位置からの法線６２に沿った規定の長さの（管腔内部の）位置に点光源６３を設定する。
次のステップＳ９４において指標付加部４２ｉは、点光源６３から開口部６１（上の各点）を通り、開口部６１の外側に延びる線分６４を引く。
次のステップＳ９５において指標付加部４２ｉは、線分６４を点光源６３の色（例えば黄色）で着色する。図３８に示すような処理の他に、以下のような処理を行うようにして指標を付加する表示を行うようにしても良い。以下の処理においても、図３８のステップＳ９１〜Ｓ９３までは同じである。

ステップＳ９３の次のステップとして、図４０における最も上の図に示すように開口部６１における重心６６を挟むように対向する２点と、点光源６３を結ぶ線分（点線で示す線分）６４ａを引き、２点から開口部６１の外側に伸びる線分（実線で示す線分）６５ｂと、２点間を結ぶ線分と、を結ぶ多角形の領域（斜線で示す領域）を点光源の色で着色して指標６５とする。 換言すると、点光源６３から、重心６６を挟むように対向する開口部６１上の２点を通る２つの線分がなす角度以内で、前記開口部６１の外側となる領域を点光源６３の色で着色して指標６５を形成する。

なお、表示画面に垂直な軸をＺ軸とすると、図４０における最も下の図に示すように法線６２がＺ軸に対する角度θが、ある角度以内（例えば45度以内）の場合、太い斜線で示す開口部６１内を着色し表示する。
図４１は、本変形例における強調表示と指標表示を選択した場合の３Ｄモデル画像Ｉ３ｍを示す。
図４１に示すように強調表示と共に、未観察領域を示すために未観察領域に臨む開口から光が漏れるような指標（図４１では斜線で示す部分）６５が表示されることにより、規定面積以上の未観察領域が存在する様子が視認し易い状態で認識できる。
次に第１の実施形態の第９変形例を説明する。上述した第１の実施形態及びその変形例においては、図１３，図１７，図２０，図２３等に示したように所定の方向から見た場合の３Ｄモデル画像を生成し、表示するようにしていた。
図４２は、本変形例における画像処理装置７Ｃの構成を示す。
本変形例においては、第１の実施形態における図２の構成において画像生成部４２ｂは、さらに３Ｄモデル画像を回転する回転処理部４２ｊと、境界（領域）又は未観察領域又は未構築領域の数を計数する領域計数部（領域カウント部）４２ｋとを有する。

そして、回転処理部４２ｊにより所定の方向から見た場合の３Ｄモデル画像を、その芯線の回り等において回転し、所定の方向から見た場合の３Ｄモデル画像を正面画像とした場合、所定の方向の反対側となる背面から見た背面画像とを並べて表示したり、更に術者が選択した複数の方向から見た３Ｄモデル画像を並べて表示したりすることができるようにしている。そして、境界の見落としを防止できるようにしている。

例えば、領域計数部（領域カウント部）４２ｋが、所定の方向から見た正面画像における未構築領域の数が０の場合には、その数が１以上となるように回転処理部４２ｊにより３Ｄモデル画像を回転させるようにしても良い（但し、未構築領域が全く存在しない場合を除く）。また、画像生成部４２ｂは、３次元モデルデータの未構築領域が視認不可となった場合、３次元モデルデータに対して回転処理を施し、未構築領域を視認可能にする３次元モデル画像を生成し、その３次元モデル画像を表示するようにしても良い。

また、図４３Ａに示すように、本変形例の３Ｄモデル画像Ｉ３ｎとして、所定方向から見た場合に正面側に現れる境界（又は未観察領域）を強調して表示する例えば３Ｄモデル画像Ｉ３ｄの他に、背面側から見た場合に現れる背面側の境界Ｂｂを正面側に現れる境界を表す色（例えば赤色）とは異なる色（例えば紫色、なお背景の色は薄い青色であり両色は区別が付く）で点線で示すようにしても良い。
また、３Ｄモデル画像Ｉ３ｏにおいて、領域計数部４２ｋにより計数した離散的に存在する境界（領域）の計数値をモニタ８の表示画面内に表示するようにしても良い（図４３Ａでは計数値は４）。
図４３Ａに示すように表示することにより、所定方向（正面）から見た場合には現れない背面側に現れる境界を、正面の場合の境界を表す色と異なる色で表示することにより、背面側の境界の見落としを防止できると共に、計数値の表示によっても境界の見落としを有効に防止できる。その他、第１の実施形態と同様の効果を有する。

なお、この他に、境界のみ又は境界領域のみを表示し、観察済みの３Ｄモデル形状を表示しないようにしても良い。例えば、図４３Ａにおける４つの境界（領域）のみを表示するようにしても良い。この場合には、境界（領域）が中空に浮いて表示されるイメージとなる。又は、３Ｄモデル形状の輪郭を２点鎖線などで表示し、その３Ｄモデル形状の輪郭上に境界（領域）を表示し、境界（領域）が３Ｄ形状におけるどのような位置や境界形状になっているかを把握し易くするように表示するようにしても良い。このように表示した場合も、境界の見落としを有効に防止できる。

また、以下のように３Ｄモデル画像を回転して表示するようにしても良い。

未構築領域が、モニタ８の表面上においてユーザから見て構築領域の裏（背面）側に配置されて重畳され、ユーザが視認不可能になったことを検知すると、その未構築領域が視認し易い正面となるように回転処理部４２ｊが３Ｄモデル画像を自動回転するようにしても良い。

また、未構築領域が複数存在する場合、面積が大きい未構築領域が、正面となるように回転処理部４２ｊが３Ｄモデル画像を自動回転するようにしても良い。

例えば、図４３Ｂに示す回転処理目の３Ｄモデル画像Ｉ３ｎ−１を、図４３Ｃに示すように面積が大きい未構築領域が、正面となるように回転して表示するようにしても良い。なお、図４３Ｂ及び図４３Ｃでは、モニタ８の表示画面に内視鏡画像と、３Ｄモデル画像Ｉ３ｎ−１とが左右に配置した状態で示している。また、表示画面の右側には、３Ｄモデル画像Ｉ３ｎ−１でモデル化されて表示される腎盂・腎杯の３Ｄ形状を示している。

また、未構築領域が複数存在する場合、内視鏡２Ｉの先端位置に最も近い未構築領域が正面になるように回転処理部４２ｊが３Ｄモデル画像を自動回転するようにしても良い。
なお、未構築領域を拡大して表示するようにしても良い。未構築領域を視認し易く表示するために、未観察領域を大きく拡大して表示するようにしても良い。

例えば、図４３Ｄにおいて点線で示すように未構築領域Ｂｕ１が裏（背面）側において、存在した場合には、その未構築領域Ｂｕ１を覆う手前側の構築領域部分よりも拡大した未構築領域Ｂｕ２のように表示することにより、未構築領域（の一部）を視認できるようにしても良い。

なお、裏（背面）側においての未構築領域に限らず、全ての未構築領域を拡大表示して、未構築領域をより視認し易いようにしても良い。

次に第１の実施形態の第１０変形例を説明する。図４４は第１０変形例における画像処理装置７Ｄを示す。本変形例は、図４２に示す第９変形例の画像処理装置７Ｃにおいて、画像生成部４２ｂは、更に未構築領域のサイズを算出するサイズ算出部４２ｌを有する。また、サイズ算出部４２ｌは、未構築領域のサイズが閾値以下か否かを判定する判定部４２ｍの機能を持つ。なお、サイズ算出部４２ｌの外部に、判定部４２ｍを設けるようにしても良い。その他は、第９変形例と同様の構成である。
本変形例におけるサイズ算出部４２ｌは、領域計数部４２ｋにより計数された各未構築領域の面積のサイズを算出する。そして、算出された未構築領域のサイズが閾値以下の場合には、その未構築領域（の境界）を視認し易いように強調して表示する処理を行わないようにすると共に、未構築領域の数に含めないようにする。
図４５は、閾値以下の境界Ｂ１と、閾値を超える境界Ｂ２とを有する３Ｄ形状データを示す。境界Ｂ２は、赤色等の視認し易い色（例えば赤色）で強調するように表示され、これに対して境界Ｂ１は、観察する必要性がない小さな面積であるため、強調する処理を行わないか、その境界の開口をポリゴンで塞ぐ処理を行う（又はその開口をポリゴンで塞ぎ、擬似的に観察領域とする処理を行う）。換言すると、閾値以下の境界Ｂ１を持つ未構築領域に対しては、視認可能にする処理や、視認し易くする処理を施さないと言っても良い。

また、本変形例として、判定部４２ｍが、強調する処理を行うか否かを判定する場合、上記のように未構築領域又は境界の面積が閾値以下か否かにより判定する条件に限らず、以下の条件により判定しても良い。
つまり、判定部４２ｍは、以下の条件Ａ〜Ｃの少なくとも１つを満たす場合、強調処理を行わないか、擬似的に観察領域とする。
Ａ．境界の長さが長さの閾値以下の場合、
Ｂ．境界を構成する頂点の数が頂点の数の閾値以下の場合、
Ｃ．境界の座標を主成分分析したときの第２主成分の最大と最小の差、又は第３主成分の最大と最小の差が成分の閾値以下の場合、
図４６は、条件Ｃの説明図を示す。図４６は管腔の３Ｄ形状データを示し、右端が複雑な形状の境界Ｂとなり、管腔の長手方向が第１主成分の軸Ａ１となり、紙面内において第１主成分の軸Ａ１に垂直な方向が第２主成分の軸Ａ２、紙面に垂直な方向が第３主成分の軸Ａ３となる。

次に、第１主成分の軸Ａ１に、垂直な面に境界の座標を投影する。図４７は、投影した場合の図を示す。図４７に示す平面における各軸に平行な向きでの長さを求め、判定部４２ｍは、第２主成分の最大と最小の差、又は第３主成分の最大と最小の差が成分の閾値以下か否かを判定する。図４７では第２主成分の最大の長さＬ１と、第３主成分の最大の長さＬ２とを示している。
本変形例によれば、第９変形例の効果を有すると共に、さらに観察する必要性が無い小さな境界を表示しないようにして無駄な表示を行わないようにできる。
次に第１の実施形態の第１１変形例を説明する。図４８は第１１変形例における画像処理装置７Ｅを示す。図４８の画像処理装置７Ｅは、図２の画像処理装置７において更に３Ｄ形状データに芯線を生成する芯線生成部４２ｎを有する。また、入力装置４４は、３Ｄモデル画像を芯線で表示する芯線表示選択部４４ｅを有する。
本変形例においては、入力装置４４において、芯線表示選択部４４ｅにより３Ｄモデル画像を芯線で表示する選択を行わない場合には第１の実施形態と同様の処理となり、芯線表示選択部４４ｅにより芯線で表示する選択を行った場合には、図４９に示す処理を行う。

次に図４９の処理を説明する。図４９の処理が開始すると、ステップＳ１０１において画像処理部４２は、ビデオプロセッサ４から２Ｄ画像を取得し、時間的にほぼ連続して入力される２Ｄ画像から３Ｄ形状を構築する。この具体的な方法として、前述の図６のステップＳ１１からステップＳ２０と同様の処理により（マーチングキューブ法などにより）２Ｄ画像から３Ｄ形状を形成することができる。

ステップＳ１０２で芯線作成モード切り替え判断がされると、３Ｄ形状構築を終了し、芯線作成モードへ移行する。芯線作成モード切替判断は、操作者による操作手段入力もしくは、３Ｄ形状の構築の進行度合いを処理装置で判断することなどで可能となる。
芯線作成モード切替後、ステップＳ１０３にてステップＳ１０１で作成された形状の芯線の作成を行う。なお、芯線化処理については、公知な方法を採用することができ、たとえば“安江正宏,森 健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”や、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた３次元細線化手法の改善−ひげの発生を制御できる−手法.電子情報通信学会論文誌(E日刷中),2001”などに記載の方法を用いることができる。
芯線作成後、ステップＳ１０４にて３Ｄ形状の未観察領域を示す異なる色の着色領域から芯線に向かった垂線と芯線の交点の位置を導出する。それを模擬的に表したのが図５０である。図５０では３Ｄ形状上に未観察領域を示すＲｍ１およびＲｍ２（図５０では斜線で示している着色領域）が存在する。ステップＳ１０３で既に形成された点線で示される芯線に向かい、未観察領域Rm1およびRm2より垂線を下ろす。この垂線と芯線の交点は芯線上の実線で示す線分Ｌ１，Ｌ２で示される。そしてステップＳ１０５にてこの線分Ｌ１，Ｌ２を芯線のほかの領域と異なる色（例えば赤色）で着色する。

ここまでの処理により、観察済み領域および未観察領域を擬似的に示す芯線を表示させる（ステップＳ１０６）。
芯線の形成および表示ができた後、芯線作成モードを終了する（ステップＳ１０７）。
次に、ステップＳ１０８により、取り込まれた観察位置視線方向データより観察位置・視線方向推定処理部は内視鏡の観察位置・視線方向を推定する。
さらに、ステップＳ１０８で推定した観察位置を芯線上に擬似的に示すため、ステップＳ１０９にて観察位置の芯線上への移動計算を行う。このステップＳ１０９では、推定された観察位置と芯線の距離が最も小さくなる芯線上の点に推定された観察位置を移動させる。
ステップＳ１１０ではステップＳ１０９で推定された擬似的な観察位置を芯線と共に表示する。これにより、操作者は未観察領域に近づいたかどうかを判断することができる。
この表示は検査終了（ステップＳ１１１）の判断がされるまでステップＳ１０８までさかのぼり繰り返される。

図５１は、ステップＳ１０６を終えた状態の一例を示しており、未観察領域Ｒｍ１及びＲｍ２を含む観察領域において生成された芯線画像Ｉｃを示す。図５１において、芯線７１と線分７２による芯線とは異なる色で表示され、術者等のユーザは、線分７２による芯線から容易に未観察領域が存在することを視認できる。
上述した第１の実施形態から第１１変形例までの機能を持つ画像処理装置を設けるようにしても良い。図５２は、そのような機能を持つ第１２変形例における画像処理装置７Ｇを示す。図５２に示す画像処理装置７Ｇにおける画像生成部４２ｂにおける構成要素や入力装置４４における各構成要素に関しては、既に説明したものであるので、その説明を省略する。本変形例によれば、術者等のユーザは、モニタ８において表示する場合の３Ｄモデル画像の表示形態を選択する選択肢が増え、上述した効果の他に、ユーザの要望により広く対応できる３Ｄモデル画像を表示することができる。
なお、上述した変形例を含む第１の実施形態において、内視鏡２Ａ等は可撓性（又は軟性）の挿入部１１を有する軟性内視鏡の場合に限定されるものでなく、硬性の挿入部を有する硬性内視鏡を用いた場合にも適用できる。
また、本発明は、また、医療分野において用いられる医療用内視鏡の場合の他に、工業用分野において用いられる工業用内視鏡を用いてプラント等の内部を観察、検査する場合にも適用できる。
また、上述した変形例を含む実施形態を部分的に組み合わせて異なる実施形態を構成しても良い。更に、ポリゴン（多角形）の内面（内壁面又は内壁領域）と外面（外壁面又は外壁領域）とを異なる色で着色せずに強調表示のみを実施してもよい。

また、複数の請求項を１つの請求項に統合することはもとより、１つの請求項の内容を複数の請求項に分割しても良い。

本出願は、２０１５年９月２８日に日本国に出願された特願２０１５−１９０１３３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (19)

1. 被検体内を撮像する撮像装置から前記被検体内における領域に関する撮像信号が入力された場合に前記撮像信号に基づいて前記領域の形状を示す３次元データを生成する３次元モデル構築部と、
   前記３次元モデル構築部により生成された前記３次元データに対して、前記撮像装置により撮像された領域である構築領域と、前記撮像装置により未だ撮像されていない領域である未構築領域と、の境界領域を視認可能とする処理を行うとともに３次元画像を生成する画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記３次元モデル構築部は、前記撮像装置から前記被検体内における第１の領域に関する第１の撮像信号が入力された場合に前記第１の撮像信号に基づいて前記第１の領域の形状を示す３次元データを生成し、
   前記画像生成部は、前記第１の領域の形状を示す３次元データに基づく３次元画像を生成して表示部へ出力し、
   更に、前記３次元モデル構築部は、前記第１の撮像信号が入力された後に前記撮像装置から前記第１の領域とは異なる領域を含む第２の領域に関する第２の撮像信号が入力された場合に、前記第２の撮像信号に基づく前記第２の領域の形状を示す３次元データを生成し、
   更に、前記画像生成部は、前記第２の領域の形状を示す３次元データに基づいて、前記第１の領域と前記第２の領域との３次元画像を生成して前記表示部へ出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記３次元モデル構築部は、前記第１の撮像信号よりも後に前記撮像装置から入力される撮像信号のうち、前記第１の撮像信号に含まれる前記第１の領域に対して所定の変化量が検出された撮像信号を前記第２の撮像信号とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像生成部は、前記第１の領域の形状を示す３次元データと、前記第２の領域の形状を示す３次元データと、を合成することにより３次元画像を生成して前記表示部へ出力することを特徴とする請求項２に記載の画像処理装置。
5. 前記３次元モデル構築部は、前記第１の撮像信号に基づいて生成した前記第１の領域の形状を示す３次元データを記憶部へ格納し、前記第２の撮像信号に基づいて生成した前記第２の領域の形状を示す３次元データを前記記憶部へ追加して格納し、
   前記画像生成部は、前記記憶部に格納された前記第１の領域の形状を示す３次元データ及び前記第２の領域の形状を示す３次元データを合成することにより３次元画像を生成して前記表示部へ出力することを特徴とする請求項２に記載の画像処理装置。
6. 前記３次元モデル構築部は、前記第１の撮像信号が入力された場合に、前記第１の領域の形状を示す３次元データを生成する代わりに前記第１の撮像信号を記憶部へ格納し、前記第２の撮像信号が入力された場合に、前記第２の領域の形状を示す３次元データを生成する代わりに前記第２の撮像信号を前記記憶部へ格納し、
   前記画像生成部は、前記記憶部に格納された前記第１の撮像信号及び前記第２の撮像信号に基づいて３次元画像を生成して前記表示部へ出力することを特徴とする請求項２に記載の画像処理装置。
7. 前記被検体内に挿入される挿入部の先端位置を示す情報である先端位置情報を取得する位置情報取得部を更に備え、
   前記３次元モデル構築部及び前記画像生成部は、前記挿入部の挿入動作に伴う前記先端位置情報の変化に基づいて３次元画像を生成することを特徴とする請求項１に記載の画像処理装置。
8. 前記画像生成部は、前記被検体の３次元画像を生成する際に、前記３次元モデル構築部により構築された３次元データの内壁領域の色と外壁領域の色とを異ならせるための処理を行うことを特徴とする請求項１に記載の画像処理装置。
9. 前記画像生成部は、前記３次元モデル構築部により構築された３次元データに対して、前記被検体の３次元画像における管腔の前記未構築領域と構築領域との境界領域を平滑化して略曲線で表現するための処理を行うことを特徴とする請求項１に記載の画像処理装置。
10. 前記画像生成部は、前記被検体の３次元画像を生成する際に、前記未構築領域の周辺領域に対して指標情報を付加することを特徴とする請求項１に記載の画像処理装置。
11. 前記画像生成部は、前記未構築領域が視認不可となった場合に、前記３次元モデル構築部により構築された３次元データに対して回転処理を施すことにより、当該視認不可となった未構築領域を視認可能とするための処理を行うこと特徴とする請求項１に記載の画像処理装置。
12. 前記画像生成部は、前記未構築領域が視認不可となった場合に、当該視認不可となった未構築領域を他の未構築領域とは異なる色で示すための処理を行うこと特徴とする請求項１に記載の画像処理装置。
13. 前記画像生成部は、前記３次元モデル構築部により構築された３次元データにおける前記未構築領域の数を算出し、前記未構築領域の数を表示部に表示するための処理を行うことを特徴とする請求項１に記載の画像処理装置。
14. 前記画像生成部は、前記３次元モデル構築部により構築された３次元データにおける各々の前記未構築領域のサイズを算出するサイズ算出部と、
    前記サイズ算出部により算出された前記サイズが所定の閾値より小さいか否かを判定する判定部と、を備え、
    前記判定部により前記サイズが前記所定の閾値より小さいと判定された前記未構築領域に対して、視認可能にする処理を施さないことを特徴とする請求項１に記載の画像処理装置。
15. 前記画像生成部は、前記３次元モデル構築部により構築された３次元データに対して、前記被検体の３次元画像における管腔の前記未構築領域と構築領域との境界領域のみを視認可能とするための処理を行うことを特徴とする請求項１に記載の画像処理装置。
16. 前記画像生成部は、前記３次元モデル構築部により構築された３次元データの芯線データを生成する芯線生成部をさらに備え、
    前記芯線データに対して、前記未構築領域に対応する領域の色を異ならせた芯線画像を生成することを特徴とする請求項１に記載の画像処理装置。
17. 前記画像生成部は、前記３次元モデル構築部により構築された３次元データに対して、前記被検体の３次元画像における管腔の前記未構築領域と構築領域との境界領域の色を可変にするための処理を行うことを特徴とする請求項１に記載の画像処理装置。
18. 前記未構築領域は、内視鏡により観察されていない前記被検体の内部の領域であることを特徴とする請求項１記載の画像処理装置。
19. ３次元モデル構築部が、被検体内を撮像する撮像装置から前記被検体内における領域に関する撮像信号が入力された場合に前記撮像信号に基づいて前記領域の形状を示す３次元データを生成し、
    画像生成部が、前記３次元モデル構築部により生成された前記３次元データに対して、前記撮像装置により撮像された領域である構築領域と、前記撮像装置により未だ撮像されていない領域である未構築領域と、の境界領域を視認可能とする処理を行うとともに３次元画像を生成する
    ことを特徴とする画像処理方法。

Images