WO2014171391A1 - 内視鏡システム - Google Patents

Abstract

　内視鏡システムは、予め取得した被検体における３次元画像情報を記憶する画像記憶部と、３次元画像情報から所定の管腔臓器を抽出する管腔臓器抽出部と、内視鏡の挿入部の先端に設けられた対物光学系と、対物光学系による視線方向を検出する視線方向検出部と、管腔臓器抽出部により抽出された所定の管腔臓器の芯線方向と視線方向とを比較する方向比較部と、芯線方向と視線方向とのなす角が所定の閾値以下の場合に内視鏡の挿入部の先端の位置及び姿勢の情報を記録する位置姿勢情報記録部と、を備える。

Description

内視鏡システム

　本発明は、被検体内を撮像手段により撮像する内視鏡システムに関する。

　近年、体腔内等に挿入可能な挿入部を有する内視鏡は医療分野などにおいて広く用いられるようになっている。　
　一方、体腔内における気管支のように複雑に分岐した管腔臓器内に挿入して管腔臓器の末端側の目標部位（の患部組織）を検査、又は処置具による生検や処置を行うような場合においては、挿入した際に得られる内視鏡画像のみでは、目標部位付近まで挿入部先端を導入することが困難な場合がある。
　このため、目標部位付近まで内視鏡の挿入部先端を導入する作業を支援するための表示等を行うシステム又は装置が提案されている。
　例えば、第１の従来例としての日本国特開２０１１－１８９０７４号公報は、気管支に挿入される挿入部と、挿入部に配設される複数のＦＢＧセンサ部と、予め取得した気管支の３次元画像データを記憶する記憶部と、ＦＢＧセンサ部のデータから挿入部の形状を測定する形状測定部と、記憶部に記憶される３次元画像データから気管支の芯線を算出する芯線算出部と、形状測定部が測定する形状と芯線算出部が算出する芯線とをもとに、挿入部の位置を算出する位置算出部と、を具備する医療装置を開示している。そして、芯線を抽出することにより、挿入部の先端の位置と方向とを算出する。

　また、第２の従来例としての日本国特開２０１２－２４５１８号公報は、予め取得した被検体の３次元画像から被検体の管状組織（管状臓器）の中心線を取得し、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の基準位置を入力するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定し、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出し、算出された現在位置を表す指標を前記中心線上に表示させる支援装置を開示している。そして、管状臓器の芯線と、撮像手段の移動量及び進行方向により撮像手段の位置を算出する。

　上記第１の従来例は、芯線を抽出することにより、挿入部の先端の位置を算出する観点を開示し、第２の従来例は、管腔臓器の芯線と撮像手段（内視鏡先端）の移動量及び進行方向によって、撮像手段（内視鏡先端）の位置を算出することを開示しているが、挿入部の先端の位置の算出（推定）に失敗した場合に必要になる再度の位置合わせを行うのに適した情報を記録することを開示していない。　
　再度の位置合わせを行うような場合には、単に芯線の情報のみだけを挿入部の先端の位置に関する情報として記録するよりも、対物光学系を介して撮像手段により撮像する場合の視線方向等の姿勢情報も記録して、再度の位置合わせを行い易くすることが望まれる。　
　本発明は上述した点に鑑みてなされたもので、再度の位置合わせ等を行い易くするように内視鏡の先端の位置の情報と共に姿勢の情報を記録する内視鏡システムを提供することを目的とする。

　本発明の一態様の内視鏡システムは、予め取得した被検体における３次元画像情報を記憶するよう構成された画像記憶部と、前記３次元画像情報から所定の管腔臓器を抽出するよう構成された管腔臓器抽出部と、内視鏡の挿入部の先端に設けられた対物光学系と、前記対物光学系による視線方向を検出するよう構成された視線方向検出部と、前記管腔臓器抽出部により抽出された前記所定の管腔臓器の芯線方向と前記視線方向とを比較するよう構成された方向比較部と、前記芯線方向と前記視線方向とのなす角が所定の閾値以下の場合に前記内視鏡の挿入部の先端の位置及び姿勢の情報を記録するよう構成された位置姿勢情報記録部と、を備える。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。 図２Ａは気管支の形状画像としての気管支形状画像を示す図。 図２Ｂは図２Ａに示す気管支形状画像上に内視鏡の挿入部の先端の位置と方向とを重畳して表示した様子を示す図。 図２Ｃは視線方向と芯線方向とのなす角を比較する様子の説明図。 図２Ｄは再度の位置合わせを行う際にモニタに表示する情報の表示例を示す図。 図３は第１の実施形態の代表的な処理例を示すフローチャート。 図４は位置センサを備えた第１の実施形態の第１変形例の内視鏡システムの全体構成を示す図。 図５は第１変形例における２つの座標系の位置合わせの説明図。 図６は第２変形例における処理の一部を示すフローチャート。 図７は本発明の第２の実施形態における処理の一部を示すフローチャート。 図８は本発明の第３の実施形態における処理の一部を示すフローチャート。 図９は本発明の第４の実施形態における処理の一部を示すフローチャート。 図１０は本発明の第５の実施形態における動作の説明図。

　　以下、図面を参照して本発明の実施形態を説明する。　
（第１の実施形態）
　図１に示すように本発明の第１の実施形態の内視鏡システム１は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支２（図２Ａ）内に挿入される内視鏡３を備えた内視鏡装置４と、この内視鏡装置４と共に使用され、内視鏡３の挿入支援を行うための挿入支援装置５と、から主に構成される。　
　内視鏡装置４は、内視鏡３と、この内視鏡３に照明光を供給する光源装置６と、内視鏡３に搭載された撮像手段（撮像部）を構成する撮像素子７に対する信号処理を行う信号処理装置としてのカメラコントロールユニット（ＣＣＵと略記）８と、ＣＣＵ８により生成された内視鏡画像を表示する表示装置（表示部）としてのモニタ９と、を有する。

　内視鏡３は、可撓性を有する細長の挿入部（又は内視鏡挿入部）１１と、この挿入部１１の後端に設けられた操作部１２とを有し、挿入部１１の先端付近に設けた先端部１３には照明窓と観察窓とが設けられる。挿入部１１，操作部１２内には照明光を伝達するライトガイド１４が挿通され、このライトガイド１４の後端の入射端は光源装置６に接続され、光源装置６内の図示しない光源ランプ又はＬＥＤにより発生した照明光が入射端に入射される。このライトガイド１４により伝達された照明光は、照明窓に取り付けられた出射端（先端面）から前方に出射される。　
　また、観察窓には、被写体を結像する対物光学系を形成する対物レンズ１５が取り付けられ、その結像位置に電荷結合素子（ＣＣＤ）等の撮像素子７が配置され、対物レンズ１５と撮像素子７とにより、挿入部１１が挿入される所定の管腔臓器としての気管支２内部を被写体として撮像する撮像手段（撮像部）としての撮像装置１６が形成される。

　なお、本実施形態においては、対物レンズ１５の光軸方向は、挿入部１１の先端部１３（又は先端）の軸方向又は長手方向と平行である。従って、撮像装置１６により被写体を撮像する撮像方向（又は撮像装置１６を介してユーザが見る視線方向）は、対物レンズ１５の光軸方向に沿った対物レンズ１５の前方側（撮像素子７と反対側）の方向となる。また、対物レンズ１５の光軸方向と、挿入部１１の先端部１３の軸方向又は長手方向は一致すると近似できる。　
　このため、本実施形態においては、対物レンズ１５を介しての撮像素子７の撮像方向又は視線方向は、挿入部１１の先端の軸方向又は長手方向と一致すると近似できる。そして、少なくとも挿入部１１の先端に配置された対物レンズ１５の撮像方向又は視線方向の情報によって挿入部１１の先端の位置と姿勢が決定し、逆に挿入部１１の先端の位置と姿勢の情報から対物レンズ１５の撮像方向又は視線方向が決定する。

　本実施形態においては、挿入部１１の先端の位置と姿勢を、挿入部１１の先端の位置と先端の軸方向又は長手方向又は対物レンズ１５の視線方向と言い換えることもできる。　
　なお、本発明は、図１に示すように先端部１３に撮像装置１６を設けた構成の内視鏡３に限らず、先端部１３に設けた対物レンズ１５の結像位置にファイババンドルで構成したイメージガイドの先端面を配置したファイバススコープと、該イメージガイドの接眼部にＴＶカメラを装着したカメラ装着内視鏡の場合にも適用できる。いずれの内視鏡の場合にも先端部１３には、少なくとも対物レンズ１５が配置されている。このため、撮像装置１６の視線方向よりも対物レンズ１５の視線方向または対物レンズ１５による視線方向を主に用いる。

　撮像素子７は、挿入部１１，操作部１２内を挿通された信号線を介してＣＣＵ８に接続される。ＣＣＵ８は、その内部の画像信号生成回路８ａにより撮像素子７の撮像面に結像された光学像に対応する撮像画像の画像信号を生成し、この画像信号をモニタ９に出力する。モニタ９は、画像信号の画像（動画像）を、内視鏡画像として表示する。　
　内視鏡３の挿入部１１における先端部１３の後端には湾曲自在の湾曲部１９が設けてあり、術者は操作部１２に設けた湾曲操作ノブ２０を回転する操作を行うことにより、図示しないワイヤを介して湾曲部１９を上下、左右の任意の方向に湾曲することができる。　
　上記挿入支援装置５は、内視鏡３による検査が行われる患者に対して、公知のＣＴ装置で生成された患者の３次元画像情報としてのＣＴデータを、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むＣＴデータ取込部２１と、このＣＴデータ取込部２１によって取り込まれたＣＴデータを記憶するＣＴ画像データ記憶部２２とを有する。

　なお、ＣＴ画像データ記憶部２２は、ＣＴ装置で生成された（被検体としての患者の３次元画像情報としての）ＣＴデータを通信回線、インタネット等を経由して記憶しても良い。このＣＴ画像データ記憶部２２は、ハードディスク装置や、フラッシュメモリ、ＤＶＤ等により構成することができる。
　また、画像記憶手段を構成するＣＴ画像データ記憶部２２は、ＣＴデータより画像データを分離したＣＴ画像データと、ＣＴデータより位置情報を分離した該ＣＴ画像データに対応する第１の座標系を用いた３次元の位置データとを対応付けた対応付け画像情報として記憶する対応付け画像情報記憶部２２ａを有する。　
　また、挿入支援装置５は、ＣＴ画像データ記憶部２２のＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出する管腔臓器抽出手段としての管腔臓器抽出回路等からなる気管支抽出部２３を有する。

　この気管支抽出部２３は、抽出した気管支２の３次元データ（より具体的には３次元のボリュームデータ）から、気管支２の中空形状を表す３次元形状の情報（形状データ）と、３次元形状の画像情報（画像データ）を生成する。つまり、気管支抽出部２３は、抽出した気管支２の３次元データから中空の３次元形状の気管支形状の画像としての気管支形状画像を生成する気管支形状画像生成手段としての気管支形状画像生成部２３ａを有する。なお、気管支抽出部２３は、中央処理装置（ＣＰＵと略記）等のソフトウェアで構成しても良いし、或いはＦＰＧＡ（Field Programmable Gate Array）等や、電子回路素子を用いてハードウェアで構成しても良い。なお、後述する画像処理部２５、制御部２６も同様にＣＰＵ等のソフトウェアで構成しても良いし、ＦＰＧＡ、電子回路素子を用いてハードウェアで構成しても良い。

　また、この気管支抽出部２３は、気管支２の３次元データを抽出する際、３次元データに対応する第１の座標系（又はＣＴ座標系）での３次元の位置データと対応付けて抽出する。そして、この気管支抽出部２３は、気管支２の３次元形状のデータ（つまり気管支形状データ）と３次元の位置データとを対応付けした対応付け情報を記憶するメモリなどからなる対応付け情報記憶部２３ｂを有する。

　また、挿入支援装置５は、内視鏡３における挿入部１１の先端部１３に設けた対物レンズ１５を介して撮像素子７により撮像される内視鏡画像に対応する仮想的な内視鏡画像としての仮想内視鏡画像（ＶＢＳ画像と言う）を生成する仮想内視鏡画像生成手段を形成するＶＢＳ画像生成回路からなるＶＢＳ画像生成部２４を有する。　
　ＶＢＳ画像生成部２４には、内視鏡３の先端部１３に搭載された対物レンズ１５と、撮像素子７に関する情報（対物レンズ１５の焦点距離、撮像素子７の画素数、画素サイズ等の情報）が、例えば入力装置３１から入力される。　
　ＶＢＳ画像生成部２４は、実際に気管支２内に挿入された内視鏡３の先端に配置された対物レンズ１５により気管支２内の被写体を撮像素子７の撮像面に結像する結像系の特性情報と、撮像面に結像された光学像を内視鏡画像に変換する撮像素子７の画素サイズ、画素数などの情報と、気管支形状データに基づいて、気管支２内に挿入された前記内視鏡３の挿入部１１の先端のＣＴ座標系での３次元位置（単に位置とも言う）を視点位置として、対物レンズ１５の視線方向に沿った気管支２内を内視鏡的に撮像した内視鏡画像を仮想的に描画してＶＢＳ画像を生成する。

　つまり、ＶＢＳ画像生成部２４は、ＣＴ座標系において挿入部１１の先端（の対物レンズ１５）の位置を視点位置として、該視点位置に対物レンズ１５を、その光軸が視線方向に沿うように仮想的に配置してその結像位置に撮像素子７の撮像面が仮想的に配置されているとして、その撮像面に結像される気管支２内の画像をＶＢＳ画像として生成する。　
　従って、内視鏡画像とＶＢＳ画像との両画像を十分に一致するように画像マッチングさせた状態においては、ＣＴ座標系でのＶＢＳ画像の視点位置と視線方向の情報から内視鏡３の挿入部１１の先端の位置と、先端に配置された対物レンズ１５の視線方向と殆ど一致する先端の長手方向の姿勢の情報を取得することができる。後述する位置姿勢算出部２５ｂは、このようにして位置姿勢情報を算出（推定）する。　
　なお、内視鏡３が各内視鏡３に固有の識別情報を発生するＲＯＭ等から構成される識別情報発生部を有する場合には、挿入支援装置５に接続された内視鏡３の識別情報に基づいて、ＶＢＳ画像生成部２４が、自動的にその内視鏡３に搭載された対物レンズ１５と撮像素子７の情報を取得して、対応するＶＢＳ画像を生成するようにしても良い。

　また、挿入支援装置５は、ＣＣＵ８から入力される内視鏡画像と、ＶＢＳ画像生成部２４のＶＢＳ画像との位置合わせを画像マッチングで行うよう構成された位置合わせ処理部２５ａ等の画像処理を行うよう構成された画像処理部２５と、画像処理部２５等の制御を行うよう構成された制御手段としての制御部２６と、制御部２６の制御下で挿入支援するための情報として利用される挿入部１１の先端の位置及び姿勢の情報を記憶するよう構成された位置姿勢情報記録手段としての位置姿勢情報記録部２７とを有する。なお、挿入部１１の先端の姿勢は、本実施形態においては、（先端に配置された対物レンズ１５の視線方向と殆ど一致する）先端の長手方向又は軸方向で決定する。　
　また、挿入支援装置５は、ＣＴ画像データ記憶部２２に記憶されたＣＴ画像データに基づき多断面再構築画像としてのＣＴ断層画像（ＭＰＲ画像という）を生成するよう構成されたＭＰＲ画像生成部２８と、ＭＰＲ画像生成部２８が生成したＭＰＲ画像を有する挿入経路の設定画面としての経路設定画面を生成し、内視鏡３の気管支２内の目標部位側へ挿入する際の経路を設定するよう構成された経路設定部２９とを有する。

　そして、例えばＣＴ画像データから図２Ａに示すように目標部位３６を指定した場合、経路設定部２９はＣＴ画像データと気管支形状画像２ａとから気管支２における（挿入部１１の）挿入開始位置から目標部位３６近傍となる目標位置までの経路データを生成する経路データ生成部（又は経路データ生成回路）２９ａの機能を有する。なお、図２Ａにおいては、気管支２における管腔が気管支枝に分岐する境界のスパーＳｐｉ（ｉ＝１，２，３，４，５）や、管腔の中心線としての芯線３５が分岐する分岐点Ｂｉを示している。　
　また、内視鏡システム１は、経路設定部２９に対して設定情報を入力するキーボードやポインティングデバイス等からなる入力装置３１を有する。また、術者は、この入力装置３１から画像処理部２５に対して、画像処理を行う際のパラメータや、データを入力したり、制御部２６に対して制御動作を選択や、指示することができる。

　また、術者が経路設定を行った場合、経路設定部２９は設定された経路の情報をＶＢＳ画像生成部２４、ＭＰＲ画像生成部２８、制御部２６に送る。ＶＢＳ画像生成部２４及びＭＰＲ画像生成部２８は、それぞれ経路に沿ったＶＢＳ画像、ＭＰＲ画像を生成し、制御部２６は経路に沿って各部の動作の制御を行う。　
　上記画像処理部２５には、ＣＣＵ８により生成された内視鏡画像と、ＶＢＳ画像生成部２４により生成されたＶＢＳ画像とが入力される。また、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａも、画像処理部２５に入力される。　
　本実施形態においては、撮像装置１６が配置された挿入部１１の先端部１３に、挿入部１１の先端の位置を検出するセンサを搭載していないため、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングによって挿入部１１の先端の位置と、その姿勢としての先端の長手方向又は軸方向を推定（又は算出）する。つまり、位置合わせ処理部２５ａは、画像マッチングによって挿入部１１の先端の位置及び姿勢の情報を算出する位置姿勢算出手段としての位置姿勢算出部（位置姿勢算出回路）２５ｂの機能を有する。

　補足説明すると、予め、気管支２の入口やカリーナＫ（図２Ａ参照）等、気管支形状画像２ａからＣＴ座標系により特定できる３次元位置（既知となる位置）又はその近傍位置を画像マッチングの開始位置として設定すると共に、対物レンズ１５の視線方向及び光学特性を考慮して設定したその位置姿勢情報を基にＶＢＳ画像生成部２４はＶＢＳ画像を生成する。　
　そして、術者は内視鏡画像がＶＢＳ画像と同じように見えるように挿入部１１の先端を挿入する。このような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とが設定された条件（所定の精度を確保できる誤差以内）で一致するように画像マッチングの処理を開始する。このような処理を行うことにより、位置合わせ処理部２５ａは、挿入部１１の先端の位置と対物レンズ１５の視線方向（又は先端の長手方向）で決定する姿勢とを推定により検出又は算出する位置姿勢算出手段としての位置姿勢算出部（位置姿勢算出回路）２５ｂの機能を有する。
　なお、位置姿勢算出部２５ｂは、挿入部１１の先端の３次元位置を推定により検出又は算出する位置算出手段としての位置算出部（位置算出回路）２５ｃの機能を有する。

　後述する図４に示す変形例のように先端部１３に位置検出の位置センサ４１を設け、該位置センサ４１を用いて挿入部１１の先端の３次元位置を検出（算出）する位置算出部４２ｂを構成し、画像マッチングにより姿勢を算出しても良い。なお、本明細書においては、挿入部１１の先端は、内視鏡３の先端と同じ意味で用いる。　
　また、画像処理部２５は、対物レンズ１５を介して撮像素子７により取得される内視鏡画像と、ＶＢＳ画像とを比較する画像比較手段としての画像比較部（画像比較回路）２５ｄと、対物レンズ１５による視線方向を検出する視線方向検出手段としての視線方向検出部（視線方向検出回路）２５ｅと、気管支２の管腔の中心線の方向としての芯線方向と、視線方向とを比較する方向比較手段としての方向比較部（方向比較回路）２５ｆとを有する。

　また、画像処理部２５は、視線方向検出部２５ｅが視線方向を検出した挿入部１１の先端の位置付近での芯線方向を算出（取得）する芯線方向算出部（芯線方向算出回路）２５ｇを有する。芯線方向算出部２５ｇは、例えば視線方向検出部２５ｅが視線方向を検出した挿入部１１の先端の位置付近に対応するＣＴ座標系での芯線３５の接線又はこれに近い方向を（視線方向と比較する際の）芯線方向として算出する。そして、方向比較部２５ｆは、上記視線方向と芯線方向算出部２５ｇにより算出された芯線方向とを比較する。視線方向検出部２５ｅ又は方向比較部２５ｆが、芯線方向算出部２５ｇの機能を備える構成にしても良い。方向比較部２５ｆが芯線方向算出部２５ｇの機能を備える構成の場合には、方向比較部２５ｆは、管腔臓器抽出部を構成する気管支抽出部２３により抽出された所定の管腔臓器としての気管支の芯線方向を算出し、算出した芯線方向と視線方向検出部２５ｅにより検出された視線方向とを比較する。　
　上記位置姿勢算出部２５ｂは、画像比較部２５ｄにより内視鏡画像と、ＶＢＳ画像とが予め設定された条件以内で一致した場合の比較結果の場合に、挿入部１１の先端の位置及び姿勢の情報（換言すると、挿入部１１の先端の位置及び対物レンズ１５の視線方向の情報）を算出（取得）する。

　上記視線方向検出部２５ｅは、挿入部１１の先端の長手方向を検出する先端方向検出手段と殆ど等価であり、上記位置姿勢算出部２５ｂが挿入部１１の先端の位置及び姿勢の情報を算出した際の姿勢の情報から視線方向を算出（検出）する。このため、位置姿勢算出部２５ｂが視線方向検出部２５ｅの機能を備える構成にしても良い。　
　また、画像処理部２５は、制御部２６における表示を制御するよう構成された表示制御部２６ａ等の制御の下で、モニタ３２に表示する画像を生成するよう構成された画像生成部の機能を有する。　
　また、画像処理部２５は、画像比較部２５ｄが画像の比較を行う場合の内視鏡画像と、ＶＢＳ画像との画像データ等を一時的に記憶したり、位置や姿勢や視線方向等のデータを一時的に記憶する画像メモリ２５ｈと、後述するように内視鏡画像の回転的な変化の有無をモニタすることにより、内視鏡画像の回転的な変化の有無の検出結果に基づいて挿入部１１の回転的な方向変化を検出する方向変化検出手段を構成するよう構成された方向変化検出部（方向変化検出回路）２５ｉ（図１において点線で示している）とを有する。

　表示制御部２６ａの制御下で、画像処理部２５は、通常は、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａの画像信号（映像信号）をモニタ３２に出力し、モニタ３２には図２Ａに示すように気管支形状画像２ａが例えば管腔の中心を通る方向に沿った断面で切り出した２次元断層画像として表示される。なお、２次元断層画像で表示する場合に限定されるものでなく、３次元画像で表示しても良い。３次元画像で表示する場合には、例えば平行投影法による投影図や、管腔内部が分かるように透視図で表示しても良い。　
　また、図２Ａに示すように、モニタ３２において表示される気管支形状画像２ａには、気管支２の管腔の中心を通る芯線３５も表示するようにしている。芯線３５は、例えば気管支形状画像生成部２３ａが生成するが、画像処理部２５において芯線３５を生成しても良い。

　術者等のユーザは、挿入部１１をその先端から気管支２内に挿入する場合、芯線３５が表示されるため、その表示を参考にすることによって、挿入部１１の挿入の操作が行い易くなる。また、芯線３５に沿って挿入する操作を行うことにより、画像マッチングによる挿入部１１の先端の位置及び姿勢を算出（推定）する処理を短時間に行うことができる。　
　画像処理部２５は、気管支２の深部側（末端側）に挿入する操作において、内視鏡画像とＶＢＳ画像との両画像のマッチング（画像マッチング）を利用して、ＣＴ座標系のもとで挿入部１１の先端の移動した位置及び姿勢の他に、移動距離を算出する処理を行うこともできる。　
　つまり、ある位置において両画像がマッチングしている場合、挿入部１１の先端を芯線３５に沿って（挿入のために）移動する操作に伴って、内視鏡画像が変化する。

　この場合、位置合わせ処理部２５ａ又は位置姿勢算出部２５ｂは、芯線３５に沿った経路上で移動した場合の（ＶＢＳ画像生成部２４から出力される）ＶＢＳ画像を用いて前記内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により選出し、選出したＶＢＳ画像に対応する３次元位置を挿入部１１の先端の位置として算出（推定）する。従って、位置姿勢算出部２５ｂや位置算出部２５ｃは、移動した移動距離も２つの位置の差分量から算出（推定）することができる。　
　なお、挿入部１１の先端は、芯線３５上から外れた位置において移動される場合もあるため、芯線３５から適宜の距離だけ偏心した位置においてのＶＢＳ画像をＶＢＳ画像生成部２４が生成し、生成したＶＢＳ画像を位置合わせ処理部２５ａに出力することができるようにしている。このようにして、画像マッチングによる位置算出の範囲を拡大できるようにしている。上記制御部２６は、位置合わせ処理部２５ａにより算出した挿入部１１の先端の位置により経路データ生成部２９ａによって、（内視鏡３の挿入部１１の挿入前に）生成された経路データを補正するようにしても良い。

　また、制御部２６は、画像処理部２５（の位置姿勢算出部２５ｂ）により算出された挿入部１１の先端が所定の条件を満たすか否かの判定を行う条件判定部（条件判定回路）２６ｂの機能を有する。条件判定部２６ｂは、所定の条件を満たす判定結果の場合に、該当する挿入部１１の先端の位置及び（対物レンズ１５の視線方向に対応する）姿勢の情報、つまり位置姿勢情報をメモリ等により構成される位置姿勢情報記録部２７に記録させる。　
　このため、条件判定部２６ｂは、位置姿勢情報を位置姿勢情報記録部２７に記録させる記録制御手段としての記録制御部（記録制御回路）の機能を有する。なお、位置姿勢情報を位置姿勢情報記録部２７に記録させる場合、位置姿勢情報の他に、該位置姿勢情報に対応するＶＢＳ画像と、その記録の時間とを位置姿勢情報に関連付けて位置姿勢情報記録部２７に記録させるようにしても良い。

　このようにすると、再度の位置合わせを行うために提示する情報（候補情報とも言う）を提示する場合、位置姿勢情報に対応するＶＢＳ画像を取得して表示することを短時間に表示できる。また、記録する時の時間を記録しておくことにより、例えば再度の位置合わせを行う時間に近い過去の情報を選択的に表示したり、所定の時間間隔内における複数の情報を表示するように制御することが可能になる。また、情報を表示（提示）する際に、時間を表示することにより、術者が、情報の時間的変化などを把握し易くなる。　
　なお、ＶＢＳ画像を記録しない場合においても、記録した位置姿勢情報から、該位置姿勢情報に対応するＶＢＳ画像を取得して表示することも可能になる。しかし、挿入部１１を気管支２の深部側の目標とする目標位置まで挿入する過程において、再度の位置合わせ等を行い、以前の位置合わせの際の座標系を補正したような場合には、該補正等を考慮してＶＢＳ画像を取得して表示することが必要となる。上記のようにＶＢＳ画像も記録しておくと、再度の位置合わせの有無に関係なく、各位置姿勢情報に対応するＶＢＳ画像を短時間に表示することができる。

　本実施形態においては、方向比較部２５ｆにより比較された気管支２の芯線方向と、視線方向検出部２５ｅにより検出された視線方向とのなす角θが所定の閾値以下となる場合を、上記所定の条件を満たす場合に設定している。なお、所定の閾値の情報は、例えばメモリ等から構成される位置姿勢情報記録部２７に記録されているが、位置姿勢情報記録部２７以外のメモリ等の記録装置に記録しても良い。　
　上記方向比較部２５ｆは、気管支２の芯線方向と、視線方向とのなす角θが所定の閾値以下となる場合に、この場合の挿入部１１の先端の位置及び姿勢の情報を位置姿勢情報記録部２７に記録させるように制御する。なお、図１では条件判定部２６ｂを制御部２６内部に設けた構成で示しているが、画像処理部２５内に条件判定部２６ｂを設けた構成にしても良い。　
　また、方向比較部２５ｆが、条件判定部２６ｂの機能を備えた構成にしても良い。なお、上記両方向のなす角θを用いて、上記所定の条件を設定する代わりに、以下の内積を利用しても良い。上記芯線方向と、視線方向の各単位ベクトルを算出（設定）し、両ベクトルの内積を算出して、算出された内積の値が閾値以上となる場合を、上記所定の条件を満たす場合に設定しても良い。

　両方向のなす角θが所定の閾値以下となる条件は、挿入部１１の先端の視線方向が芯線方向と概略同じとなるため、その場合には、気管支２の末梢側が見える状態となり、その状態では近くに分岐部が存在すると、挿入する場合の特徴領域となる分岐部を視野内に捕らえられ、位置合わせも行い易くなる。これに対して、所定の条件を満たすか否かに無関係に、位置姿勢情報を記録すると、位置合わせに不適切な情報も含まれてしまい、再度の位置合わせを円滑に行い難くなる。

　位置姿勢情報記録部２７に位置姿勢情報を記録する場合、挿入部１１の先端の位置及び姿勢と、該先端の位置及び姿勢に対応するＶＢＳ画像を（その視線方向又は姿勢の情報と共に）記録し、提示が必要な場合に提示する候補情報として記録するようにしても良い。　
　つまり、位置姿勢情報記録部２７は、挿入部１１の先端の位置姿勢情報と、該位置姿勢情報に対応するＶＢＳ画像及びＶＢＳ画像の生成に用いるＣＴ座標系の位置及び視線方向の情報等のＶＢＳ画像生成情報とを記録する位置姿勢情報＆ＶＢＳ画像生成情報記録部２７ａを備えた構成にしても良い。

　また、位置姿勢情報記録部２７等に記録された情報は、読み出すことにより、モニタ３２に位置合わせの候補となる候補情報として提示（表示）が可能な情報であるので、候補情報として記録する候補情報記録部の機能を有するとも言える。　
　なお、上記位置姿勢情報、該位置姿勢情報に対応するＶＢＳ画像、その記録の時間と共に、該位置姿勢情報に対応する内視鏡画像も位置姿勢情報記録部２７に記録するようにしても良い。そして、位置姿勢情報記録部２７に記録されたＶＢＳ画像と共に記録された内視鏡画像を、再度の位置合わせを行う場合に利用することができるようにしても良い。　
　本実施形態においては、挿入部１１を気管支２内の目標位置まで挿入する操作の過程において、上述した視線方向と芯線方向とのなす角θが所定の閾値以下の条件を満たす場合には、挿入部１１の先端の位置及び姿勢の情報等を位置姿勢情報記録部２７に記録する。

　また、挿入部１１の先端の位置姿勢情報の代わりに芯線方向算出部２５ｇが算出した芯線上の点と芯線方向を記録するようにしても良い。この場合、ＶＢＳ画像は記録した位置姿勢情報から取得して表示することになる。

　これにより、画像マッチングによる最初の位置合わせ後から挿入部１１の移動操作により挿入部１１の先端の（画像マッチングを利用した）位置推定の精度が低下して、再度の位置合わせ（又は再位置合わせ）を行うことが必要になった場合等においては、その再位置合わせのための情報を候補情報として提示することができるようにしている。　
　再位置合わせを行う指示を術者が入力装置３１を構成するキーボード、マウス等から画像処理部２５又は制御部２６に指示入力しても良い。　
　再位置合わせの指示等がされる（又はトリガ入力される）と、制御部２６の表示制御部２６ａは、現在の挿入部１１の先端の位置付近における候補情報を位置姿勢情報記録部２７から読み出し、画像処理部２５を経てモニタ３２において候補情報を提示する制御を行う。

　モニタ３２において候補情報を提示する制御を行う表示制御部２６ａは、候補情報提示の制御を行うよう構成された候補情報提示制御部の機能を有する。また、画像処理部２５は、表示制御部２６ａの候補情報提示の制御を受けて、候補情報をモニタ３２に表示するよう構成された候補情報生成部の機能を有する。　
　なお、表示制御部２６ａが、位置姿勢情報記録部２７から情報を読み出し、画像処理部２５を経ることなくモニタ３２において候補情報を提示するように制御しても良い。モニタ３２において候補情報を提示する場合、例えば２次元断層画像として図２Ｄに示す気管支形状画像２ａ上に、画像比較に関する（又は画像比較により）候補情報における挿入部１１の先端の位置及び姿勢の情報と、該候情報に対応するＶＢＳ画像を表示する。　
　上述したように、画像処理部２５の位置合わせ処理部２５ａは、挿入部１１の先端が移動された場合、画像マッチングを利用して挿入部１１の先端及び姿勢を推定（算出）するが、設定された精度以内で画像マッチングすることができなくなる画像マッチングエラーが発生する場合がある。

　この場合には、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングエラーの信号を発生し、モニタ３２において画像マッチングエラーが発生したことを表示する。また、位置合わせ処理部２５ａは、画像マッチングエラーの信号を制御部２６に送り、制御部２６の表示制御部２６ａは、モニタ３２において候補情報を提示する制御を行う。そして、上記モニタ３２は、術者に対して候補情報を提示するよう構成された候補情報提示手段（候補情報提示部）を形成する。　
　術者は、候補情報を用いて再度の位置合わせ処理を行う。再度の位置合わせ処理を行うことにより、術者はこの再度の位置合わせ処理を行った位置付近から挿入部１１の挿入操作を続行することができるようになる。　
　また、術者が画像マッチングの精度が悪化したと判断した場合は、再位置合わせの指示をして上記の処理をさせてもよい。

　このような構成の内視鏡システム１は、予め取得した被検体における３次元画像情報を記憶する画像記憶手段を形成するよう構成されたＣＴ画像データ記憶部２２と、前記３次元画像情報から所定の管腔臓器としての気管支２を抽出する管腔臓器抽出手段を形成するよう構成された気管支抽出部２３と、内視鏡３の挿入部１１の先端に設けられた対物光学系としての対物レンズ１５と、対物レンズ１５による視線方向を検出する視線方向検出手段を形成するよう構成された視線方向検出部２５ｅと、前記管腔臓器抽出手段により抽出された前記所定の管腔臓器の芯線方向と前記視線方向とを比較する方向比較手段を形成するよう構成された方向比較部２５ｆと、前記芯線方向と前記視線方向とのなす角が所定の閾値以下の場合に前記内視鏡３の挿入部１１の先端の位置及び姿勢の情報を記録する位置姿勢情報記録手段を形成するよう構成された位置姿勢情報記録部２７と、を備えることを特徴とする。

　次に本実施形態における代表的な処理を図３のフローチャートを参照して説明する。図１の内視鏡システム１における内視鏡装置４，挿入支援装置５の電源が投入され、各部が動作状態になると、図３に示す最初のステップＳ１において、内視鏡３の挿入部１１の先端を患者の気管支２の入口の位置等、術者が内視鏡画像で位置を判断しやすい部位を少なくとも1つ基準位置に設定する。　
　そして、画像処理部２５の位置合わせ処理部２５ａは、基準位置におけるＶＢＳ画像生成部２４のＶＢＳ画像（の画像信号）をモニタ３２に出力する。術者は、入力装置３１から基準位置の１つを指定し、挿入部１１の先端を指定した基準位置に挿入するとともに、画像処理部２５の位置合わせ処理部２５ａに対して位置合わせの処理を行うように指示する。

　ステップＳ１の位置合わせの処理を行った後、ステップＳ２に示すように位置合わせ処理部２５ａ（の位置姿勢算出部２５ｂ）は、位置合わせ処理の結果を基に挿入部１１の先端の位置及び姿勢を画像マッチングにより推定（算出）する。具体的には、画像マッチングの初期値として位置合わせの位置の情報を使用して、内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により算出する。　
　ステップＳ３において位置合わせ処理部２５ａは、画像マッチングにより挿入部１１の先端の位置及び姿勢の推定が所定条件以内（例えば推定位置が気管支内部にあるか）でできたか否か（つまり位置及び姿勢の推定が成功したか否か）の判定を行う。ステップＳ３の判定が成功の場合には、ステップＳ４に示すように画像処理部２５（の画像生成部）は、位置姿勢算出部２５ｂにより推定された挿入部１１の先端の位置を、気管支形状画像２ａ上における推定された位置に重畳して表示する画像処理を行う。図２Ｂは、ステップＳ４の画像処理により生成された画像の表示例を示す。

　図２Ｂは、気管支２内に挿入された内視鏡３の挿入部１１の先端側を２点鎖線で示すと共に、その形状画像としての気管支形状画像２ａにおける、推定された挿入部１１の先端の位置Ｐ１及び姿勢に対応する先端の長手方向又は視線方向Ｄ１を（気管支形状画像２ａに）重畳して表示した様子を示す。
　なお、図２Ｂにおいては、挿入部１１の先端の姿勢に対応する長手方向又は視線方向Ｄ１を矢印で示している。また、ステップＳ３の判定処理が成功した場合には、ステップＳ４と共に、ステップＳ５の処理が行われる。　
　ステップＳ５において視線方向検出部２５ｅは、位置姿勢算出部２５ｂにより推定（算出）された挿入部１１の先端の姿勢の情報から対物レンズ１５の視線方向Ｄ１を算出する。また、芯線方向算出部２５ｇは、視線方向Ｄ１が算出された前記挿入部１１の先端の位置付近での芯線方向Ｅ１を算出する。そして、方向比較部２５ｆは、視線方向Ｄ１と芯線方向Ｅ１とを比較し、比較結果を条件判定部２６ｂに出力する。

　次のステップＳ６において条件判定部２６ｂは、視線方向Ｄ１と芯線方向Ｅ１とのなす角θが予め設定された所定の閾値θｔｈ以下か否かを判定する。　
　図２ＣはステップＳ５の処理の様子を示す。図２Ｃでは挿入部１１の先端の推定された位置をＰ１、その視線方向をＤ１で示している。また、位置Ｐ１に最も近い芯線３５の位置をＣ１で示し、芯線方向算出部２５ｇは、この位置Ｃ１においてその芯線方向Ｅ１を算出し、方向比較部２５ｆは両方向を比較する。なお、芯線方向算出部２５ｇは、例えば位置Ｐ１から芯線３５への交点に至る長さが最小となる垂線の場合の位置をＣ１として芯線方向Ｅ１を算出するようにしても良い。また、位置Ｐ１から芯線３５へ下した垂線に近い条件を満たす位置において、芯線方向Ｅ１を算出するようにしても良い。

　図２Ｃでは、方向比較部２５ｆにより両方向のなす角θが算出された様子を示す。条件判定部２６ｂは、比較結果としての算出された角θが所定の閾値θｔｈ以下か否かを判定する。図２Ｃに示すように算出された角θが所定の閾値θｔｈ以下となる判定結果の場合には、次のステップＳ７において位置姿勢情報記録部２７は、該判定結果の場合の挿入部１１の先端の位置及び姿勢の情報としての位置姿勢情報を、（該位置姿勢に対応する）ＶＢＳ画像及び判定結果の時間と共に記録した後、ステップＳ１０の処理に移る。なお、この場合、その位置姿勢に対応する内視鏡画像もその位置姿勢に関連付けて記録しても良い。なお、ステップＳ７において、位置姿勢情報のみ、又は位置姿勢情報と時間の情報、又は位置姿勢情報とＶＢＳ画像を記録するようにしても良い。

　一方、ステップＳ３の推定が失敗した場合にはステップＳ８の処理に移る。ステップＳ８において、位置合わせ処理部２５ａは、画像マッチングエラーの信号を発生する。この信号は、候補情報の提示の信号となり、制御部２６に入力される。　
　制御部２６の表示制御部２６ａは、候補情報の提示の制御を行う。表示制御部２６ａは、候補情報の提示の信号の発生前に、位置姿勢情報記録部２７に記録された位置姿勢情報と対応するＶＢＳ画像とを含む情報を候補情報としてモニタ３２に表示するように制御した後、ステップＳ１の処理に戻る。
　図２Ｄはモニタ３２に表示される候補情報の例を示す。図２Ｄにおいて、画像マッチングエラーの信号が発生した状態の挿入部１１の先端の位置Ｐ３を模式的に示す（実際には位置Ｐ３は不定となる）。その際に、位置姿勢情報記録部２７に記録された位置姿勢情報に基づいてモニタ３２には、先端の位置Ｐ２とその姿勢（視線方向）Ｄ２とが気管支形状画像２ａ上に表示され、かつ該位置姿勢情報に対応するＶＢＳ画像が表示される。

　また、本実施形態においては、画像処理部２５は、例えば点線で示すように前記位置姿勢情報に対応する内視鏡画像を、ＶＢＳ画像に隣接して表示されるように画像処理する。この場合、ＶＢＳ画像に隣接した位置に、同じ表示倍率で比較し易いように表示するようにしても良い。　
　さらに、ＶＢＳ画像又は内視鏡画像の一方を移動自在に表示し、術者がマウス等で一方の画像を他方の画像上に重畳表示（合成表示）することができるようにしても良い。このようにすると、画像マッチングの程度を術者が確認し易くなる。　
　さらに、画像処理部２５は、ＣＣＵ８から入力される現在の内視鏡画像も、ＶＢＳ画像又は内視鏡画像の周辺に表示する画像処理を行うようにしても良い。　
　なお、図２Ｄは、例えば、画像マッチングエラーの信号が発生した場合、該信号が発生する前において最新に記録された位置姿勢情報による候補情報の例を示す。術者が入力装置３１から、候補情報の表示数を入力して、モニタ３２に同時に表示されるＶＢＳ画像等の候補情報の表示数を、適宜に設定することもできる。

　術者は、図２ＤのＶＢＳ画像を参考にして、例えば挿入部１１の先端を移動する等して、現在の内視鏡画像が、モニタ３２上に表示されているＶＢＳ画像と十分に一致する状態となるように位置合わせの操作を行う。そして、位置合わせ処理部２５ａは、十分に一致する位置合わせした設定状態において、その設定状態でのＶＢＳ画像の視点位置と視線方向の情報を取得して、その情報を以後の挿入部１１の先端の位置及び姿勢の情報として用いる。このようにして、ステップＳ２以降の処理を繰り返す。　
　なお、図２Ｄに示す現在の内視鏡画像を、ＶＢＳ画像と、該ＶＢＳ画像に所定の精度で画像マッチングする内視鏡画像（記録された基準の内視鏡画像）との両方の画像に重畳表示させるようにしても良い。この状態においては、術者が挿入部１１の先端の位置をその姿勢を含めて調整することにより、現在の内視鏡画像とＶＢＳ画像との位置合わせの程度を確認することができると共に、現在の内視鏡画像と、基準の内視鏡画像との位置合わせの程度を確認することができる。

　ＶＢＳ画像は、気管支２の内壁の襞などの細かい凹凸を考慮していない画像であるのに対して、基準の内視鏡画像は先行した時間において実際に撮像した気管支２内を撮像した画像であるため、内視鏡画像同士で比較した方が位置合わせの程度を確認することが行い易い場合もある。術者は、本実施形態における２つの重畳画像（ＶＢＳ画像と現在の内視鏡画像、基準の内視鏡画像と現在の内視鏡画像）において、位置合わせの程度を確認することが行い易い重畳画像（又は両方の重畳画像）を参考にして、位置合わせの程度を確認することができる。　
　上記図３のステップＳ６において算出された角θが所定の閾値θｔｈを超える場合、又はステップＳ７において位置姿勢情報等を記録した場合には、ステップＳ１０において制御部２６は、術者が入力装置３１から候補情報の提示の指示信号（トリガ）を発生させているか検出する。

　これは画像マッチングの推定が失敗していることを検出できない場合、例えば、内視鏡が急激に動くと画像マッチングによる推定位置が所定条件（気管支内部にあるか）を満たしているが、明らかに別の位置であるという場合、術者が位置合わせを再度行うと判断したときに指示信号を発生させる。そして、トリガ有りの場合には、ステップＳ８の処理に移る。　
　一方、ステップＳ１０のトリガがない場合には、次のステップＳ１１において位置姿勢算出部２５ｂは、挿入部１１の先端が目標位置まで挿入されたか否かの判定を行う。　
　挿入部１１の先端が目標位置まで挿入されていない場合には、術者は、モニタ３２に表示される挿入部１１の先端の位置姿勢情報の表示を参考にして、ステップＳ１２に示すように挿入部１１の先端を気管支２の深部側に挿入する。

　ステップＳ１２の処理の後に、ステップＳ２に戻り、挿入部１１の先端の位置及び姿勢の推定処理を行う。ステップＳ１１において目標位置まで挿入された場合には、図３の挿入の操作を終了する。　
　このように動作する本実施形態においては、再度の位置合わせ等を行い易くするように内視鏡の先端の位置と共に姿勢の情報を位置姿勢情報として記録する。従って、本実施形態によれば、術者が挿入部１１を挿入する操作を行った場合の最中において、再度の位置合わせを行う場合に用いることができる提示用の候補情報としての挿入部１１の先端の位置姿勢情報を位置姿勢情報記録部２７に記録し、挿入部１１の先端の位置の推定等が失敗したような場合に、位置合わせに適した提示用の候補情報を提示することができるようにしているので、挿入の操作を円滑に行うことができる。　
　また、本実施形態においては、画像マッチングの画像処理を利用して挿入部１１の先端の位置及び姿勢の推定を行うようにしているため、画像処理のアルゴリズムにより最初の位置合わせの状態から誤差が次第に大きくなり易くなる。

　このような場合にも、再度の画像マッチングによる再度の位置合わせにより、誤差を十分に小さくして、再度の位置合わせした位置付近からより深部側への挿入の操作を行うことが可能になる。　
　図４は第１の実施形態における第１変形例の内視鏡システム１Ｂの構成を示す。図４に示す内視鏡システム１Ｂは、図１の内視鏡システム１において、さらに挿入部１１の先端部１３内における撮像装置１６の近傍の位置に、撮像装置１６又は挿入部１１の先端の位置を検出するための位置センサ４１が設けてある。　
　また、内視鏡３及び被検体の外部となり、挿入支援装置５内の所定の位置には、この位置センサ４１の３次元位置（単に位置とも記す）を計測（検出）する処理を行う計測処理装置又は計測処理部４２が設けてある。位置センサ４１による検出信号は、計測処理部４２に入力される。

　この計測処理部４２は、位置センサ４１を用いて所定の管腔臓器としての気管支２内に挿入される挿入部１１の先端の３次元位置を算出又は推定する位置算出手段としての位置算出部（又は位置推定部）４２ｂの機能を有する。この場合には、画像処理部２５内の位置算出部２５ｃを有しない。　
　本変形例の位置算出（位置推定）の手段又は方法としては、例えば磁気を利用したものを利用できる。計測処理部４２に接続された複数のアンテナ４２ａから発せられる交流磁場をコイルで構成された位置センサ４１が検知し、この位置センサ４１で検知した信号における、その信号の振幅及び位相を（振幅検出回路及び位相検出回路を備えた）計測処理部４２が検出することによりアンテナ４２ａから位置センサ４１までの距離を計測する。計測処理部４２は、３つ以上となる複数のアンテナ４２ａをそれぞれ異なる既知の位置に設けることにより、位置センサ４１の３次元位置を特定することが可能になる。

　なお、位置センサ４１を構成するコイルに交流信号を印加して、その周囲に交流磁場を発生させ、アンテナ４２ａ側で交流磁場を検知して位置センサ４１の位置を算出又は検出する構成にしても良い。一例としてコイルを用いた磁気式位置検出装置を説明したが、位置センサ４１及び計測処理部４２の構成は、上記説明の場合に限定されるものでない。　
　例えば、挿入部１１の長手方向に沿って所定間隔で位置検出のための複数のコイルを配置し、複数のコイルの位置から挿入部１１の形状を推定し、先端部１３等の位置を検出することができるようにしても良い。計測処理部４２により算出（推定）された挿入部１１の先端の位置情報は、制御部２６と画像処理部２５とに出力される。

　本変形例の場合には、気管支２の３次元形状の画像データを管理するＣＴ座標系としての第１の座標系での位置（位置情報）と、位置センサ４１のアンテナを基準としたセンサ座標系としての第２の座標系での位置（位置情報）との位置合わせを行う。例えば画像処理部２５は、両座標系の位置合わせ（レジストレーション）及びその制御を行う位置合わせ処理部２５ａの機能を持っても良いし、制御部２６が点線で示すように位置合わせ処理部２６ｃの機能を持っても良い。　
　図５はレジストレーションの動作の説明図を示す。例えば気管支２の入り口付近における例えば４点Ｑ０－Ｑ３に、術者は内視鏡３の先端部１３（又は位置センサ４１）を順次設定して、第１の座標系Ｏ－ＸＹＺと第２の座標系ｏ－ｘｙｚにおいてそれぞれ位置対応付けする指示又は指示入力を入力装置３１から行う。このため、入力装置３１は、位置対応付けの指示を行う指示入力部又は指示入力手段を形成する。

　例えば、先端部１３（又は位置センサ４１）を、第１の座標系Ｏ－ＸＹＺにおける原点Ｏの位置Ｑ０（０，０，０），Ｘ座標上の位置Ｑ１（１，０，０）、Ｙ座標上の位置Ｑ２（０，１，０）、Ｚ座標上の位置Ｑ３（０，０，１）、に順次設定して、術者が位置対応付けの指示を行う。この指示において、各位置において計測処理部４２が順次計測した位置を（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）とすると、制御部２６は位置対応付けを行い、位置対応付け情報を位置姿勢情報記録部２７に記録するように制御する。　
　この場合の位置対応付け情報（具体的には、第１の座標系Ｏ－ＸＹＺにおけるＱ０（０，０，０）、Ｑ１（１，０，０）、Ｑ２（０，１，０）、Ｑ３（０，０，１）は、第２の座標系ｏ－ｘｙｚにおいては（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）がそれぞれ対応する情報）を位置姿勢情報記録部２７は記録する。

　また、位置合わせ処理部２６ｃは、位置姿勢情報記録部２７に記憶した位置対応付け情報を用いて両座標系の任意の位置を対応つける変換情報を決定する。位置合わせ処理部２６ｃは、この変換情報を位置姿勢情報記録部２７に記録する。　
　図５においては、座標位置Ｑ０（０，０，０），Ｑ１（１，０，０），Ｑ２（０，１，０），Ｑ３（０，０，１）と、それぞれ対応する座標位置（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）とを簡略化してＱ０⇔（ｘ０，ｙ０，ｚ０）、Ｑ１⇔（ｘ１，ｙ１，ｚ１）、Ｑ２⇔（ｘ２，ｙ２，ｚ２）、Ｑ３⇔（ｘ３，ｙ３，ｚ３）で示している。なお、図５に示す４点でなく、そのうちの１点を省略した３点で位置対応付けを行う（決定する）ようにしても良い。

　具体的には、術者は第1の座標系で指定された位置に内視鏡３の先端部１３を順次接触させることになる。このとき、第1の座標系で指定された位置を表現する方法として、ＶＢＳ画像を用いる。つまり、術者はＶＢＳ画像と内視鏡画像が同じに見えるよう内視鏡３を操作する。また、ＶＢＳ画像と内視鏡画像が同じに見えるように設定した状態において、そのＶＢＳ画像を生成した場合の視線方向の情報を、挿入部１１の先端の視線方向の情報（換言すると姿勢の情報）として取得（設定）する。　
　このように位置対応付けの処理が終了した後、術者は、内視鏡３の挿入部１１を気管支２内に挿入して内視鏡検査を行うことを開始する。　
　本変形例においては、位置算出部（位置推定部）４２ｂにより推定された挿入部１１の先端の位置に対応するＣＴ座標系（第１の座標系）の位置が気管支２の管腔の内側となる条件から外れる場合のように、両座標系の位置ずれが明らかとなる場合に位置推定が失敗した状態と判定する。その他の構成は、図１に第１の実施形態と同様である。

　本変形例の動作は、挿入部１１の先端の位置を位置センサ４１を用いて推定すること、位置合わせが失敗した場合に行う再度の位置合わせを制御部２６の位置合わせ処理部２６ｃが行うことに変更したことを除けば第１の実施形態の動作を示す図３と殆ど同じ処理を行う。　
　本変形例の場合には、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングによる位置合わせを行うよう構成された第２の位置合わせ処理部の機能を有する。　
　また、位置合わせ処理部２５ａは、両座標系の位置合わせの状態を、画像マッチングにより監視するよう構成された位置合わせ監視処理部の機能を有する。例えば、挿入部１１の先端が気管支２内に挿入された場合、挿入部１１の先端の移動と共に、内視鏡画像と位置算出部４２ｂによる第２の座標系での位置が変化する。

　また、第２の座標系での位置の変化に対応してＣＴ座標系（第１の座標系）の位置情報により生成されて画像処理部２５に入力されるＶＢＳ画像も変化する。画像処理部２５の位置合わせ処理部２５ａは両画像を監視し、両画像のずれ量が予め設定された値以上にずれた場合に、位置合わせが失敗した状態（又は位置合わせが必要な状態）と判定する。　
　また、本変形例においては、位置算出部４２ｂにより推定された挿入部１１の先端の位置に対応するＣＴ座標系（第１の座標系）の位置が気管支２の管腔の内側となる条件から外れる場合のように、両座標系の位置ずれが明らかとなる場合も位置合わせが失敗した状態（又は位置合わせが必要な状態）と判定する。その他の構成は、図１に第１の実施形態と同様である。　
　本変形例の動作は、挿入部１１の先端の位置を位置センサ４１を用いて推定すること、位置合わせが失敗した場合に行う位置合わせを制御部２６の位置合わせ処理部２６ｃが行うことに変更したことを除けば第１の実施形態の動作を示す図３と殆ど同じ処理を行う。

　本変形例によれば、術者が挿入部１１を挿入する操作を行った場合の最中において、所定の条件を満たす場合に位置姿勢情報を位置姿勢情報記録部２７に記録し、挿入部１１の先端の位置の推定が失敗したような場合に、提示用の候補情報として提示することができるようにしているので、再度の位置合わせを短時間に行え、挿入の操作を円滑に行うことができる。　
　また、変形例においては、最初の位置合わせ後に位置センサ４１を用いて挿入部１１の先端の位置推定を行うようにしており、位置合わせした位置からの距離が大きくなると、最初の位置合わせの状態から誤差が大きくなり易くなる。このような場合にも、位置センサ４１を用いると共に、画像マッチングを用いた再度の位置合わせにより、誤差を十分に小さくして、再度の位置合わせした位置付近からより深部側への挿入の操作を円滑に行うことが可能になる。

　なお、上記第１の実施形態において、算出した角θが所定の閾値θｔｈ以下であるか否かを判定する場合、気管支２の分岐の次数に応じて変更するようにしても良い。この第２変形例の場合の処理の一部を図６に示す。図６は、図３の処理の一部を変更している。図６のステップＳ１－Ｓ３は図３と同じであり、ステップＳ３の次のステップＳ２１において画像処理部２５は、分岐の次数を取得した後、ステップＳ４に移る。　
　また、ステップＳ４－Ｓ５は、図３と同じ処理であり、ステップＳ５の次のステップＳ６′において条件判定部２６ｂは、算出された角θが次数に対応して設定された所定の閾値θｔｈｊ以下か否かを判定する。ステップＳ６′の次のステップＳ７以降の処理は、図３の場合と同様である。このため、図６においては、ステップＳ７以降を省略している。　
　本変形例によれば、気管支２内に挿入された挿入部１１の先端の位置に応じて位置姿勢情報を記録する条件を変更することができる。例えば、気管支２の末梢側に移動したように入り口からの移動距離が大きくなると、位置及び姿勢を算出する精度が低下し易くなる傾向になり易い。つまり、再度の位置合わせを行うための位置姿勢情報を記録する頻度が少なくなる可能性がある。このため、例えば分岐の次数が大きくなる程、所定の閾値θｔｈｊの値を大きな値に設定することによって、末梢側においても位置合わせを行うことができる位置の間隔が大きくなることを防止するようにしても良い。なお、上記分岐の次数の代わりに、気管支２の挿入口から気管支２の抹消側の目標位置に至るまでに気管支２が順次分岐する分岐順序数を用いても良い。

　　（第２の実施形態）
　次に本発明の第２の実施形態を説明する。本実施形態における構成は、図１又は図４と同様である。本実施形態は、第１の実施形態において、所定の条件を満たす場合における今回（又は現在）の視線方向と、位置姿勢情報記録部２７に記録された最新の位置姿勢情報における視線方向（記録視線方向）Ｄｒｅとを比較し、両方視線向のなす角θｄが第２の所定の閾値θｄｔｈ以上となる場合に、今回の位置姿勢情報を位置姿勢情報記録部２７に記録する。　
　なお、本実施形態においては、例えば条件判定部２６ｂが、上記の両視線方向のなす角θｄが第２の所定の閾値θｄｔｈ以上となるか否かを判定するが、条件判定部２６ｂ以外の構成要素（例えば方向比較部２５ｆや視線方向検出部２５ｅ）が行うようにしても良い。また、第２の所定の閾値θｄｔｈの情報は、例えば位置姿勢情報記録部２７内に記録される。　
　図７は、本実施形態における動作の代表例のフローチャートの一部を示す。図７は、図３において一部の処理が異なるのみとなる。

　図７におけるステップＳ１からステップＳ６までは図３に示す処理と同様の処理を行う。ステップＳ６において算出された角θが所定の閾値θｔｈ以下の条件を満たす場合には、次のステップＳ３１において例えば条件判定部２６ｂは、位置姿勢情報記録部２７に記録された最新の位置姿勢情報における視線方向Ｄｒｅを読み出し、画像処理部２５に送る。　
　ステップＳ３２において例えば、方向比較部２５ｆは、ステップＳ５において算出された現在の視線方向と、位置姿勢情報記録部２７から読み出された視線方向Ｄｒｅとのなす角θｄを算出し、条件判定部２６ｂに送る。ステップＳ３３において条件判定部２６ｂは、角θｄが第２の閾値θｄｔｈ以上となるか否かを判定する。　
　角θｄが第２の所定の閾値θｄｔｈ以上となる判定結果の場合には、次のステップＳ７において、現在の位置姿勢情報をＶＢＳ画像及び時間と共に、位置姿勢情報記録部２７に記録する。

　一方、角θｄが第２の所定の閾値θｄｔｈ以上とならない判定結果の場合には、ステップＳ１０の処理に移る。図７におけるその他の処理は、図３の場合と同様である。　
　第１の実施形態においてはステップＳ５において算出された角θが、次のステップＳ６において所定の閾値θｔｈ以下と判定された場合には、その判定が行われた時点（現在）での位置姿勢情報が位置姿勢情報記録部２７に経時的に記録される。　
　これに対して、本実施形態においては、ステップＳ６において角θが所定の閾値θｔｈ以下と判定された場合には、さらにその時点の直前に位置姿勢情報記録部２７に記録された位置姿勢情報における視線方向Ｄｒｅが読み出され、その時点での視線方向とのなす角θｄが算出され、該角θｄが第２の所定の閾値θｄｔｈ以上となる判定結果の場合のみ、その時点での位置姿勢情報が位置姿勢情報記録部２７に経時的に記録される。

　換言すると、第１の実施形態において、視線方向と芯線方向とのなす角θが十分に小さい条件を満たすと、その条件を満たす時点での位置姿勢情報が繰り返し記録されるのに対して、本実施形態においては、その時点での視線方向と、その直前に記録されている視線方向とのなす角θｄが第２の所定の閾値θｄｔｈ以上とならない限り、その時点での位置姿勢情報を記録しない。　
　従って、本実施形態は、第１の実施形態において、直前に記録した場合の視線方向とかなり変化した場合においてのみ、その時点の位置姿勢情報を記録する。そして、類似した条件の位置姿勢情報を過度に記録するのを避けるようにしている。挿入部１１の先端が挿入されている位置から分岐する位置を通過して、抹消側となる気管支枝側に移動する場合においては、分岐する位置を通過する際に視線方向が変化することが期待できるため、そのような移動の際の位置姿勢情報を記録することができるようにしている。

　本実施形態によれば、第１の実施形態とほぼ同様に位置姿勢情報を記録することができる作用効果を有する他に、過度に類似した位置姿勢情報の記録を避け、適切な情報量の位置姿勢情報に絞って記録することができる。従って、術者などのユーザに対して、必要最小限に近い位置姿勢情報のみを提供でき、再度の位置合わせの際に、候補情報が多すぎることなく、円滑に位置合わせを行うことが可能になる。換言すると、ユーザに対する使い勝手を向上できる。また、本実施形態において、上記第２の所定の閾値θｄｔｈを以下のように自動的に決定するようにしても良い。

　上述した経路データ生成部２９ａにより生成される挿入部１１の先端の挿入開始位置から目標部位３６近傍となる目標位置までの経路データにおける該目標位置に至る途中においての気管支２が分岐する１つ以上の分岐点の３次元位置及び分岐角を含む分岐情報を記録するよう構成された分岐情報記録部を形成する例えば位置姿勢情報記録部２７とを設ける。そして、分岐点の分岐情報に応じて、分岐情報記録部は、第２の所定の閾値θｄｔｈを自動的に決定し、決定された第２の所定の閾値θｄｔｈを用いて方向比較部２５ｆは、位置姿勢情報記録部２７に記録された過去の視線方向と、視線方向検出部２５ｅにより検出された現在の視線方向とのなす角θｄが、決定された第２の所定の閾値θｄｔｈと比較するようにしても良い。

　また、分岐情報記録部は、視線方向検出部２５ｅにより現在の視線方向が検出された際の前記挿入部１１の先端の３次元位置に基づき、当該３次元位置よりも目標位置側に沿って存在する次の分岐点の分岐情報における第２の所定の閾値θｄｔｈを自動的に決定するようにしても良い。

　換言すると、目標位置に至る途中においての気管支２が分岐する各分岐点の３次元位置及び分岐角を含む分岐情報に関連付けてそれぞれ第２の所定の閾値θｄｔｈ（の候補情報）を記録し、挿入部１１の先端が現在存在している３次元位置の情報に基づいて、該挿入部１１の先端が次に到達すると予想される分岐点の分岐情報に関連付けて予め記録した第２の所定の閾値θｄｔｈを選択的に決定する。

　このようにすると、挿入部１１の先端を目標部位３６側に挿入した場合、途中の分岐点の分岐角などが異なるような場合に対しても、第２の所定の閾値θｄｔｈを自動的に設定でき、術者が挿入部１１の先端を挿入する作業を有効に支援できる。

　なお、本実施形態においては、ステップＳ３１において記録された最新の視線方向Ｄｒｅを読み出して、現在の視線方向とのなす角θｄを算出していたが、その変形例として、最新の視線方向の場合を含めて整数ｎ回前（例えば最新に記録された視線方向は１回前のｎ＝１に該当）に記録された視線方向Ｄｒｅｎを読み出し、現在の視線方向とのなす角を算出するようにしても良い。

　そして、算出した角が上記第２の閾値θｄｔｈに対応する閾値θｄｔｈ′以上か否かを判定し、第２の閾値θｄｔｈ′以上となる判定結果の場合に、位置姿勢情報を記録するようにしても良い。なお、本変形例の動作は、図７におけるステップＳ３１の処理としてｎ回前に記録された視線方向Ｄｒｅｎを読出すと読み替え、さらにステップＳ３２における視線方向ＤｒｅをＤｒｅｎと読み替える動作になる。　
　本変形例は、第１の実施形態と第２の実施形態との中間的な作用効果を有する。

　　（第３の実施形態）
　次に本発明の第３の実施形態を説明する。本実施形態は、図１又は図４と同様の構成である。本実施形態は、第１ないしは第２の実施形態において、さらに位置姿勢情報を記録する頻度を削減する手段を備える。　
　第１の実施形態においては、気管支径（気管支の内径）が細い部位においては、挿入された挿入部１１が芯線と平行に挿入される頻度が高くなるため、記録する頻度も増えてしまい、記録される位置姿勢情報が、術者が望む情報量よりも増大してしまう可能性がある。　
　また、第２の実施形態及びその変形例においては、気管支径が太い部位においては、挿入部１１を挿入する際にふらつかせてしまうと、記録する頻度も増えてしまい、記録される位置姿勢情報が、術者が望む情報量よりも増大してしまう可能性がある。　
　記録する位置姿勢情報は、必要とされるもの以外で増大することは、術者にとって使い勝手が低下する。

　このため、本実施形態においては、図３のステップＳ７の位置姿勢情報を記録処理の前に、さらに以下のａ）～ｃ）の少なくとも１つの条件を満たすか否かを判定する。そして、以下の条件を満たす場合に記録を行うように記録を制限する処理を行うようにして、実際に位置姿勢情報を記録する頻度を減らすようにする。　
　ａ）前回記録した先端の位置からの距離が閾値Ｌｔｈ以上
　ｂ）内視鏡画像中に分岐の画像が見えるとき
　ｃ）挿入部１１の先端の位置と、該先端の位置に最も近い芯線３５上の点との距離が閾値Ｌｔｈ２以下
　図８は、本実施形態における代表的な処理例のフローチャートを示す。　
　図８においては、ステップＳ１からステップＳ６までは、図３と同じ処理である。また、ステップＳ６とステップＳ７との間に、以下に説明するステップＳ４１～Ｓ４３を設けた処理以外は、図３の処理と同様である。

　ステップＳ６において算出された角θが所定の閾値θｔｈ以下の条件を満たす場合には、ステップＳ４１において距離算出部の機能を持つ例えば位置算出部２５ｃは、前回記録した先端の位置からの距離Ｌ１が閾値Ｌｔｈ１以上の条件を満たすか否かを判定する。　
　この条件を満たす場合にはステップＳ７の処理に進み、この条件を満たさない場合にはステップＳ４２の処理に移る。ステップＳ４２において画像処理部２５に設けた内視鏡画像から分岐の画像を画像処理により認識する分岐画像認識部は、内視鏡画像中に分岐の画像が見える条件を満たすか否かの判定を行う。具体的には、内視鏡画像をある閾値にて２値化し、一定の画素数を持つ暗部の個数が複数あるか否かの判定を行う。　
　この条件を満たす場合にはステップＳ７の処理に進み、この条件を満たさない場合にはステップＳ４３の処理に移る。ステップＳ４３において距離算出部の機能を持つ例えば位置算出部２５ｃは、挿入部１１の先端の位置と、該先端の位置に最も近い芯線３５上の点との距離Ｌ２が閾値Ｌｔｈ２以下の条件を満たすか否かを判定する。

　この条件を満たす場合にはステップＳ７の処理に進み、この条件を満たさない場合にはステップＳ１０の処理に移る。　
　なお、上記距離の閾値Ｌｔｈ１，Ｌｔｈ２に関しては、以下のように設定しても良い。　
　閾値Ｌｔｈ１，Ｌｔｈ２は、全ての気管支２に対して同じ値に設定しても良いし、気管支２毎に気管支径の値に応じた値に設定しても良いし、又は部位や気管支の次数に応じた値に設定しても良い。　
　また、距離Ｌ１，Ｌ２は、２点間の直線に沿った距離でも良いし、又は挿入部１１の先端の位置に最も近い芯線３５上の点と分岐点までの芯線３５上での道のりで算出（計測）しても良い。

　本実施形態によれば、位置姿勢情報を過度に記録することを低減（削減）するようにしているので、ユーザに対する使い勝手を向上することができる。その他、第１の実施形態と同様の効果を有する。　
　なお、図８のステップＳ６とステップＳ４１～Ｓ４３の処理の順番を変更しても良い。例えば、ステップＳ６の判定処理を行う前に、ステップＳ４１～Ｓ４３の処理を行い、いずれかの条件を満たす場合にステップＳ６の判定処理を行うようにしても良い。　
　また、例えば、距離算出部が前回、位置姿勢情報を記録した挿入部１１の先端の位置から所定の距離間隔以上、挿入部１１の先端が移動したか否かを監視し、所定の距離間隔以上移動した場合にステップＳ６の判定処理を行い、ステップＳ６の判定条件を満たす場合に、ステップＳ７において位置姿勢情報を記録するようにしても良い。

　また、ステップＳ６の処理（又はステップＳ５とＳ６の処理）を行う前提として、距離算出部が挿入部１１の先端の位置から所定の距離間隔以上、挿入部１１の先端が移動したか否かを監視し、所定の距離間隔以上移動した場合にステップＳ６（又はステップＳ５とＳ６）の処理を行うようにする。　
　ステップＳ６の判定条件を満たす場合に、ステップＳ７において位置姿勢情報を記録するようにしても良い。この場合には、方向比較手段としての方向比較部２５ｆは、挿入部１１の先端の移動距離が気管支２の管腔内において所定の距離間隔以上の場合に、視線方向と芯線方向との比較を行うことを含む。

　　（第４の実施形態）
　次に本発明の第４の実施形態を説明する。本実施形態は、第１の実施形態において、図１又は図３の点線で示すように方向変化検出部２５ｉを有し、方向変化検出部２５ｉは内視鏡３の挿入部１１の先端の観察窓（撮像窓）に固定された対物レンズ１５を介して撮像した内視鏡画像の方向（方位）と、１回前に位置姿勢情報を記録したときの内視鏡画像の方向とを比較する。　
　そして、両方向のなす角θｒｏが閾値θｒｏｔｈ以上となる条件を満たす場合、換言すると両方向のなす角θｒｏが十分に大きい場合に、位置姿勢情報を記録する。なお、内視鏡画像の方向（方位）は、以下のように挿入部１１の周周りの方向と同じ意味である。

　術者は、現在挿入部１１の先端が挿入されている状態での気管支２（又は気管支枝）におけるその末梢側で分岐している気管支枝側に挿入部１１の先端を通過（挿入）させる際に、挿入部１１をひねる（ねじる）操作をしばしば行う。本実施形態においては、この操作を利用して、以下のように同じ気管支枝での複数回の位置姿勢情報の記録を避ける。　
　分岐している気管支枝側に通過（挿入）させる際に通常１回行われる操作を検出し、その操作を検出した際に位置姿勢情報を記録することにより、そのような検出を行わない場合における同じ気管支枝での複数回の位置姿勢情報の記録を避ける。　
　なお、画像マッチングに用いられる（内視鏡画像と比較される）ＶＢＳ画像は、ＣＴ座標系における視点及び視線方向と共に、挿入部１１の先端（の対物レンズ１５）が所定の方向（方位）に設定された状態において、同様に所定の方向（方位）に固定されたＣＣＤ１６により光電変換されるものに対応して生成される。なお、内視鏡画像がモニタ９において表示される場合の上下方向は、湾曲部１９を湾曲する場合の上下の湾曲方向と一致するようにＣＣＤ１６の撮像面の（挿入部１１の周回りの）方向が予め設定されている。

　このため、画像マッチングを行って、実際の挿入部１１の先端の位置及び姿勢の情報をＣＴ座標系の情報から取得する場合、挿入部１１の周回りの方向（方位）の情報も取得することができる。　
　本実施形態においては、位置姿勢情報を位置姿勢情報記録部２７に記録する場合、更に、内視鏡画像の方向（方位）（又は挿入部１１の周回りの方向（方位））の情報も記録する。そして、位置姿勢情報記録部２７に記録された情報から内視鏡画像の方向（方位）の情報を（方向変化を算出するために）参照することができるようにしている。　
　内視鏡画像の方向（方位）は、挿入部１１が、その周方向の回りで回転されないと変化しない。このため、方向変化検出部２５ｉは、内視鏡画像の方向の変化、又は挿入部１１の周回りの方向の変化を検出する方向変化検出手段の機能を有する。

　なお、方向変化検出部２５ｉが、内視鏡画像の方向の変化、又は挿入部１１の周回りの方向の変化を検出する場合、内視鏡画像等の所定の方向（又は基準の方向）からの変化を検出するようにしても良い。例えば、内視鏡画像の上方向を所定の方向として設定し、内視鏡画像の上方向からの変化を検出するようにしても良い。図９は、本実施形態における代表的な処理の一部を示す。

　図９においては、ステップＳ１からステップＳ６までは、図３と同じ処理である。ステップＳ６において算出された角θが所定の閾値θｔｈ以下の条件を満たす場合には、ステップＳ５１の処理に進む。　
　ステップＳ５１において方向変化検出部２５ｉは、現在の挿入部１１の先端の状態においての内視鏡画像の方向と、前回記録（今回に関して１回前に記録）した時の内視鏡画像の方向との両方向のなす角θｒｏを算出し、さらに両方向のなす角θｒｏが閾値θｒｏｔｈ以上の条件を満たすか否かを判定する。　
　ステップＳ５１における条件を満たす判定結果の場合には、ステップＳ７′において上記のように現在の位置姿勢情報と共に、更に内視鏡画像の方向（方位）の情報も含めて位置姿勢情報記録部２７に記録する。ステップＳ５１における条件を満たさない判定結果の場合には、ステップＳ１０の処理に移る。その他の処理は、図３の場合と同様である。

　本実施形態によれば、過度に位置姿勢情報を記録することなく、適切な情報量で位置姿勢情報を記録することができ、ユーザに対する使い勝手（利便性）を向上できる。その他、第１の実施形態と同様の効果を有する。　
　上記第４の実施形態においては、ステップＳ５１において現在の挿入部１１の先端の（周周り）の方向と、１回前に記録された方向とのなす角θｒｏを比較したが、ｎ回前に記録された方向とのなす角θｒｏｎを比較し、この角θｒｏｎが閾値θｒｏｎｔｈ以上である場合に現在の位置姿勢情報を、位置姿勢情報記録部２７に記録するようにしても良い。なお、内視鏡画像の方向の情報を取得した場合、所定の方向（又は基準の方向）からの差分角を算出し、位置姿勢情報記録部２７に記録する場合にも上方向からの差分角を記録するようにしても良い。

　　（第５の実施形態）
　次に本発明の第５の実施形態を説明する。本実施形態は、上述した実施形態（変形例を含む）を組み合わせたものであり、その構成は図１又は図４と同様である。本実施形態においては、上述した実施形態のいずれか２つ以上の条件を挿入部１１の先端が存在する領域毎に切り替えて使用する。　
　図１０は本実施形態の動作の説明図を示す。本実施形態においては、気管支内に挿入部１１が挿入された場合、挿入部１１の先端が存在する領域Ｒ１においては、第１の実施形態の条件を適用し、領域Ｒ２においては、第２の実施形態の条件を適用し、領域Ｒ３においては第３の実施形態の条件を適用する。　
　領域Ｒｋ（ｋ＝１，２，３，…）の設定方法は、以下の通りである。

　ａ）分岐点から芯線上で一定の距離離れた位置までとそれ以外では図１０のように領域が設定される。　
ｂ）分岐点を中心とした球に含まれる領域とそれ以外の領域
ｃ）カリーナからの距離
ｄ）気管支の次数
ｅ）断層像画像から算出した気管支径
ｆ）前回リスタート（再度の位置合わせ）した位置からの距離
に応じて、各領域を設定する。　
　さらに、これらの条件は、複数を組み合わせても良い。　
　本実施形態によれば、上述した実施形態の効果を有すると共に、さらにユーザにより記録する場合の条件をより詳細に選択することができる。

　また、上述した変形例の場合を含む第１～４の実施形態における複数を部分的に組み合わせて構成される実施形態も本発明に属する。　
　また、気管支形状画像やＶＢＳ画像を生成するに当たり、ＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出するのでなく、ＣＴ画像データよりボリュームレンダリングで直接生成してもよい。

　本出願は、２０１３年４月１５日に日本国に出願された特願２０１３－０８４９１８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

1. 　予め取得した被検体における３次元画像情報を記憶するよう構成された画像記憶部と、
   　前記３次元画像情報から所定の管腔臓器を抽出するよう構成された管腔臓器抽出部と、
   　内視鏡の挿入部の先端に設けられた対物光学系と、
   　前記対物光学系による視線方向を検出するよう構成された視線方向検出部と、
   　前記管腔臓器抽出部により抽出された前記所定の管腔臓器の芯線方向と前記視線方向とを比較するよう構成された方向比較部と、
   　前記芯線方向と前記視線方向とのなす角が所定の閾値以下の場合に前記内視鏡の挿入部の先端の位置及び姿勢の情報を記録するよう構成された位置姿勢情報記録部と、
   　を備えることを特徴とする内視鏡システム。
2. 　前記方向比較部は、前記位置姿勢情報記録部において過去に記録された前記姿勢の情報に基づく過去の視線方向と前記視線方向検出部により検出された現在の視線方向との比較を行い、
   　前記位置情報記録部は、前記方向比較部による過去の前記視線方向と前記視線方向検出部により検出された現在の視線方向とのなす角が第２の所定の閾値より大きい場合に前記内視鏡の挿入部の先端の位置及び姿勢の情報を記録することを特徴とする請求項１に記載の内視鏡システム。
3. 　前記方向比較部は、前記所定の管腔臓器において、前記挿入部の先端の移動距離が、所定の距離間隔以上の場合に前記芯線方向と前記視線方向との比較を行うことを特徴とする請求項１に記載の内視鏡システム。
4. 　内視鏡内に設けられ、前記所定の管腔臓器内を撮像するよう構成された撮像部を備え、
   　前記撮像部によって取得された内視鏡画像の方向の変化を検出するよう構成された方向変化検出部を更に有し、
   　前記方向変化検出部により検出された前記内視鏡画像の方向と、前記位置姿勢情報記録部に記録されている内視鏡画像の方向とのなす角が、閾値以上の変化を検出した場合に、前記位置姿勢情報記録部は、前記内視鏡の挿入部の先端の位置及び姿勢の情報を記録することを特徴とする請求項１に記載の内視鏡システム。
5. 　内視鏡内に設けられ、前記所定の管腔臓器内を撮像するよう構成された撮像部と、
   　前記３次元画像情報を基に所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成するよう構成された仮想内視鏡画像生成部と、
   　前記撮像部により撮像された前記所定の管腔臓器内の内視鏡画像と前記仮想内視鏡画像を比較するよう構成された画像比較部と、
   　前記画像比較部の比較結果に基づいて前記内視鏡の挿入部の先端の位置及び姿勢の情報を算出するよう構成された位置姿勢情報算出部と、
   　を更に備えることを特徴とする請求項１に記載の内視鏡システム。
6. 　内視鏡内に設けられ、前記所定の管腔臓器内を撮像するよう構成された撮像部と、
   　前記３次元画像情報を基に所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成するよう構成された仮想内視鏡画像生成部と、
   　前記撮像部により撮像された前記所定の管腔臓器内の内視鏡画像と前記仮想内視鏡画像を比較するよう構成された画像比較部と、
   　前記画像比較部の比較結果に基づいて前記内視鏡の挿入部の先端の位置及び姿勢の情報を算出するよう構成された位置姿勢情報算出部と、
   　を更に備えることを特徴とする請求項２に記載の内視鏡システム。
7. 　前記位置姿勢情報記録部は、前記内視鏡の挿入部の先端の位置及び姿勢の情報と共に、当該挿入部の先端の位置及び姿勢に対応する前記仮想内視鏡画像及び前記撮像部により撮像された内視鏡画像の方向の情報を記録することを特徴とする請求項５に記載の内視鏡システム。
8. 　前記所定の管腔臓器の管腔形状画像を生成するよう構成された管腔形状画像生成部と、
   　前記画像比較部を用いた前記内視鏡画像と前記仮想内視鏡との比較による画像マッチングが設定された精度内で行えない場合には、前記位置姿勢情報算出部に記録された前記内視鏡の挿入部の先端の位置及び姿勢の情報を、前記管腔形状画像上に重畳して表示するよう構成された表示部と、
   　を更に有することを特徴とする請求項５に記載の内視鏡システム。
9. 　前記被検体の３次元画像情報に対して目標部位を指定した場合、前記３次元画像情報及び前記管腔臓器抽出部により抽出された前記所定の管腔臓器の管腔形状画像から、前記所定の管腔臓器においての前記挿入部の先端の挿入開始位置から前記目標部位近傍となる目標位置までの経路データを生成するよう構成された経路データ生成部と、
   　前記経路データの前記目標位置に至る途中においての前記所定の管腔臓器が分岐する分岐点の３次元位置及び分岐角を含む分岐情報を記録するよう構成された分岐情報記録部と、を有し、前記分岐点の分岐情報に応じて、分岐情報記録部は、前記第２の所定の閾値を自動的に決定し、決定された前記第２の所定の閾値を用いて前記方向比較部は、比較を行うことを特徴とする請求項２に記載の内視鏡システム。
10. 　前記分岐情報記録部は、前記視線方向検出部により現在の視線方向が検出された際の前記挿入部の先端の３次元位置に基づき、当該３次元位置よりも目標位置側に沿って存在する次の分岐点の分岐情報に基づいて、前記第２の所定の閾値を自動的に決定することを特徴とする請求項９に記載の内視鏡システム。

Images