JP6128796B2 - 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム - Google Patents

Description

本発明は、被挿入体内部に内視鏡やカテーテル等の挿入具の挿入部を挿入して観察や作業を行う挿入システム、そのような挿入システムにおける挿入部の被挿入体ヘの挿入を支援する挿入支援装置、挿入支援装置の作動方法、及びコンピュータに挿入支援装置の手順を実行させるプログラムに関する。

被挿入体内部に挿入部を挿入して観察する際の支援装置として、例えば、特許文献１には、内視鏡挿入部を人体に挿入するにあたり、表示部に当該内視鏡挿入部の形状を表示する構成が開示されている。

これは、内視鏡装置において、曲げられた角度の大きさに対応して光の伝達量が変化する曲がり検出部を有する複数のフレキシブルな曲がり検出用光ファイバを、可撓性の帯状部材に並列に並んだ状態に取り付けて、それを内視鏡挿入部内にほぼ全長にわたって挿通配置し、各曲がり検出用光ファイバの光伝達量から各曲がり検出部が位置する部分における帯状部材の屈曲状態を検出して、その屈曲状態を内視鏡挿入部の屈曲状態としてモニタ画面に表示するものである。

特許第３９１７３９１号公報

一般に、被挿入体内部に目印となる箇所が少なく、撮像画像からだけでは被挿入体内部のどの箇所を観察しているのか判り難い場合、必要な個所全てを撮像（観察）できたのかも判り難い。

上記特許文献１に開示の技術では、被挿入体内部への挿入時に被挿入体外部から見ることのできない被挿入体内部での挿入部の形状を提示することができる。しかしながら、被挿入体内部のどの箇所を撮像（観察）しているかの検出及びその表示方法については提案されていない。

また、撮像部を有しないが、被挿入体内部に挿入されて所定の作業を行う、カテーテル等の管状挿入具においても、被挿入体内部のどの箇所を作業しているかの検出及びその表示方法も望まれている。

本発明は、上記の点に鑑みてなされたもので、被挿入体内のどこを撮像しているのか、あるいは、どこを作業しているのか、を判断するための情報を操作者に提供できる挿入システム、挿入支援装置、挿入支援装置の作動方法、及びプログラムを提供することを目的とする。

本発明の挿入システムの一態様は、被挿入体内部に挿入される挿入部と、上記挿入部に設けられた撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態取得部によって取得された上記挿入状態情報と上記被挿入体形状取得部によって取得された上記被挿入体の形状情報とに基づいて、上記被挿入体に対する上記挿入部の位置関係を演算し、この演算した位置関係に基づいて、上記撮像部が撮像している上記被挿入体における位置または領域である撮像位置を演算する位置関係演算部と、上記位置関係演算部の演算結果を出力するための出力部と、上記出力部での上記演算結果の出力状態を制御する制御部と、を有し、上制御部は、上記位置関係演算部の演算結果から挿入部先端が所定の位置に到達したかを判断する判断部を有し、上記挿入部先端が上記所定の位置に到達したことを上記判断部が判断した際に、上記出力部での上記撮像位置の情報の出力状態を制御する。

また、本発明の挿入支援装置の一態様は、被挿入体内部への挿入具の挿入部の挿入を支援する挿入支援装置において、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態取得部によって取得された上記挿入状態情報と上記被挿入体形状取得部によって取得された上記被挿入体の形状情報とに基づいて、上記被挿入体に対する上記挿入部の位置関係を演算し、この演算した位置関係に基づいて、上記挿入部に設けられている撮像部が撮像している上記被挿入体における位置または領域である撮像位置を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力するための出力部と、上記出力部での上記演算結果の出力状態を制御する制御部と、を有し、上記制御部は、上記位置関係演算部の演算結果から挿入部先端が所定の位置に到達したかを判断する判断部を有し、上記挿入部先端が上記所定の位置に到達したことを上記判断部が判断した際に、上記出力部での上記撮像位置の情報の出力状態を制御する。

また、本発明の挿入支援装置の作動方法の一態様は、被挿入体内部への挿入具の挿入部の挿入を支援する挿入支援装置の作動方法において、上記挿入部の挿入状態情報を取得する挿入状態取得ステップと、上記被挿入体の形状情報を取得する被挿入体形状取得ステップと、上記挿入状態取得ステップで取得された上記挿入状態情報と上記被挿入体形状取得ステップで取得された上記被挿入体の形状情報とに基づいて、上記被挿入体に対する上記挿入部の位置関係を演算し、この演算した位置関係に基づいて、上記挿入部に設けられている撮像部が撮像している上記被挿入体における位置または領域である撮像位置を演算する位置関係演算ステップと、上記位置関係演算ステップの演算結果を表示情報として出力する出力ステップと、上記出力ステップでの上記演算結果の出力状態を制御する制御ステップと、を有し、上記制御ステップは、上記位置関係演算ステップの演算結果から挿入部先端が所定の位置に到達したかを判断する判断ステップを有し、上記挿入部先端が上記所定の位置に到達したことを上記判断ステップで判断した際に、上記出力ステップでの上記撮像位置の情報の出力状態を制御する。

また、本発明のプログラムの一態様は、コンピュータに、被挿入体内部への挿入具の挿入部の挿入を支援する挿入支援装置における上記挿入部の挿入状態情報を取得する挿入状態取得手順と、上記被挿入体の形状情報を取得する被挿入体形状取得手順と、上記挿入状態取得手順で取得された上記挿入状態情報と上記被挿入体形状取得手順で取得された上記被挿入体の形状情報とに基づいて上記挿入状態情報と上記被挿入体形状情報とを入力し、上記被挿入体に対する上記挿入部の位置関係を演算し、この演算した位置関係に基づいて、上記挿入部に設けられた撮像部が撮像している上記被挿入体における位置または領域である撮像位置を演算する位置関係演算手順と、上記位置関係演算手順の演算結果を表示情報として出力するための出力手順と、上記出力手順での上記演算結果の出力状態を制御する制御手順と、を実行させるためのプログラムであって、上記制御手順は、上記位置関係演算手順の演算結果から挿入部先端が所定の位置に到達したかを判断する判断手順を有し、上記判断手順において上記挿入部先端が上記所定の位置に到達したことを判断した際に、上記撮像位置の情報の出力状態を制御する。

本発明によれば、被挿入体内のどこを撮像または作業しているのかを判断するための情報を提供できるので、被挿入体内部のどの箇所を撮像また作業しているのか、及び必要な個所全てを撮像または作業できたのか、を操作者に容易に判断可能とさせることができ、観察または作業箇所の見落としを防止することができる挿入システム、挿入支援装置、挿入支援装置の作動方法、及びプログラムを提供することができる。

加えて、本発明によれば、位置関係演算部で演算された被挿入体に対する挿入部の位置関係を出力部で出力するにあたり、制御部によって、少なくともその出力開始時点を設定することで、常に出力するのではなく、必要なときのみ出力するようになるので、無駄な情報を提供せず、分かり易い出力（見易い、間違い難い、素早く判断できる）とすることが可能となる。

図１（Ａ）は、本発明の第１実施形態に係る挿入支援装置を適用した挿入システムの概略構成を示す図であり、図１（Ｂ）は、第１実施形態に係る挿入支援装置のブロック構成図であり、図１（Ｃ）は、第１実施形態に係る挿入支援装置の出力部による情報の提供例を説明するための図である。 図２（Ａ）は、第１実施形態に係る挿入システムにおける挿入具としての軟性内視鏡装置の概略構成を示す図であり、図２（Ｂ）は、挿入部先端の斜視図である。 図３（Ａ）は、挿入・回転検出部の構成を説明するための図であり、図３（Ｂ）は、挿入・回転検出部の動作原理を説明するための図である。 図４は、挿入部の被挿入体内部への挿入状態を示す図である。 図５は、ファイバ形状センサの原理を説明するための図である。 図６は、ファイバ形状センサの挿入部への取り付け構造を示す図である。 図７は、第１実施形態に係る挿入支援装置の動作フローチャートを示す図である。 図８は、被挿入体の出入り口の例を説明するための図である。 図９（Ａ）は、第１の位置表示が被挿入体内部のどこを示すかを説明するための図であり、図９（Ｂ）は、第２の位置表示が被挿入体内部のどこを示すかを説明するための図である。 図１０は、制御部の制御による出力部の出力タイミングを説明するためのタイミングチャートを示す図である。 図１１は、情報の提供形態の別の例を説明するための図である。 図１２（Ａ）乃至（Ｃ）は、それぞれ、情報の提供形態の更に別の例として、分岐のある被挿入体に挿入部を挿入した際の表示例を説明するための図である。 図１３は、挿入部の回転による撮像画像の変化を説明するための図である。 図１４は、情報の提供形態の別の例を説明するための図である。 図１５は、情報の提供形態の更に別の例を説明するための図である。 図１６（Ａ）は、本発明の第２実施形態に係る挿入システムのブロック構成図であり、図１６（Ｂ）は、第２実施形態に係る挿入システムの表示装置と本発明の第２実施形態に係る挿入支援装置の出力部とによる情報の提供例を説明するための図である。 図１７は、本発明の第３実施形態に係る挿入システムにおける挿入具としての硬性内視鏡装置の概略構成を示す図である。 図１８は、本発明の第４実施形態に係る挿入システムにおける挿入具としてのカテーテルの概略構成を示す図である。

以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
本発明の第１実施形態に係る挿入システム１は、図１（Ａ）に示すように、被挿入体２の内部に挿入される挿入部３１と被挿入体２を撮像する撮像部３２とを備える挿入具３と、挿入部３１の変位量情報を検出する検出部としての挿入・回転検出部４及びファイバ形状センサ５と、上記挿入・回転検出部４及びファイバ形状センサ５からの変位量情報から挿入部３１の挿入状態情報を取得し、該挿入状態情報と被挿入体２の形状情報とに基づいて、被挿入体２に対する挿入部３１の位置関係を演算して、その演算結果を表示出力する本発明の第１実施形態に係る挿入支援装置６と、から構成される。

以下、挿入具３は、本実施形態では、例えば、図２（Ａ）に示すような軟性内視鏡装置であるとして説明する。この軟性内視鏡装置は、挿入部３１と、該挿入部３１と一体的に構成された操作部３３と、を備えている。挿入部３１は、可撓性の管状部材であり、被挿入体２の挿入口２１から被挿入体２の内部に挿入可能となっている。なお、被挿入体２の内部は、空気、生理食塩水、あるいは薬液などの所定材料で満たされている。挿入部３１の挿入方向の端部（以下、挿入部先端と称する。）には、図２（Ｂ）に示すように、撮像開口部３４が設けられており、また、挿入部３１内部の挿入部先端近傍には、図１に示すように、撮像部３２が内蔵されている。撮像開口部３４に入射した光は、撮像部３２が受光し撮像を行う。撮像部３２が撮像した画像は、本第１実施形態に係る挿入支援装置６で表示出力される。

なお、撮像部３２は、挿入部３１内部の挿入部先端近傍ではなく、操作部３３内に配置し、撮像開口部３４との間をライトガイド等により結んで、撮像開口部３４に入射した光を撮像部３２へ導光して撮像を行うようにしても良いことは勿論である。

また、挿入部３１は、挿入部先端近傍に、湾曲部３５を有しており、該湾曲部３５は、特に図示はしていないが、操作部３３に設けられた操作レバーとワイヤによって繋がっている。これにより、操作レバーを動かすことでワイヤが引かれ、湾曲部３５の湾曲操作が可能となっている。

また、特に図示はしないが、挿入部３１内部には、照明用の光ファイバを有しており、操作部３３内に配された不図示の照明用光源からの光を導光し、挿入部先端の光供給部３６から撮像の為の照明光として出射する。さらに、挿入部先端には、処置用開口部３７が設けられ、操作部３３から挿入部３１内を挿通された処置具が該処置用開口部３７から挿入部３１外に延出可能とされている。

以下、各部の構成を詳細に説明する。
挿入・回転検出部４は、被挿入体２の挿入口２１の近傍に設置され、挿入部３１の挿入量と回転量を検出して、挿入部３１の変位量情報の一つとして、挿入支援装置６に出力する。具体的には、この挿入・回転検出部４は、図３（Ａ）に示すように、光源４１、投光レンズ４２、受光レンズ４３、光学パターン検出部４４、及び変位量算出部４５から構成される。

光源４１から出射した光は、投光レンズ４２を通して挿入部３１に照射され、該挿入部３１で反射した光が受光レンズ４３を通して光学パターン検出部４４に受光される。光学パターン検出部４４は、光学パターンである挿入部３１面の画像を検出時間ｔ０，ｔ１，ｔ２，…，ｔｎ，…と連続して検出する。

変位量算出部４５は、図３（Ｂ）に示すように、光学パターン検出部４４で任意の時間ｔ_ｎに撮像された画像データの画像（光学パターンＰＴ_ｎ）内に存在する任意に選択された基準パターンαと、この時間ｔ_ｎから任意の時間経過後の時間ｔ_ｎ＋１に撮像された画像データの画像（光学パターンＰＴ_ｎ＋１）内の一部に存在する上記基準パターンαと一致する光学パターンα’と、の画像データ上の変位を比較し、ｘ軸方向及びｙ軸方向の各々の画像上の変位量を算出する。ここで、図３（Ｂ）に示すように、光学パターン検出部４４のｘ軸は挿入部３１の軸方向に一致するように、光学パターン検出部４４は位置決めされている。よって、変位量算出部４５で算出されるｘ軸方向の変位量Δｘ_ｆは挿入部３１の挿入量と比例し、ｙ軸方向の変位量Δｙ_ｆは挿入部３１の回転量と比例する。こうして変位量算出部４５で算出された画像上の変位量（挿入量と回転量）は、変位量情報として挿入支援装置６に出力される。なお、各々の変位量の増減方向が挿入部３１の挿入及び回転の方向を示すため、変位量情報は挿入方向及び回転方向の情報も含むこととなる。
なお、変位量情報の取得は、上記の方法に限らず、画像データに基づき求めてもよい。

また、ファイバ形状センサ５は、図４に示すように、挿入部３１内部に設置される。このファイバ形状センサ５は、複数の光ファイバから構成され、１本の光ファイバに一箇所の湾曲検出部５１を有している。この湾曲検出部５１は、光ファイバのクラッドが除去されコアが露出されており、光吸収部材が塗布されて構成されている。このような湾曲検出部５１では、図５（Ａ）乃至（Ｃ）に示すように、湾曲部３５の湾曲に応じて該湾曲検出部５１で吸収される光の量が変化するため、光ファイバ５２内を導光する光の量が変化する、即ち光伝達量が変化する。なお、本実施形態では、ファイバ形状センサ５は複数の光ファイバより構成されているが、これに限らず単数の光ファイバでもよい。

このような構成のファイバ形状センサ５は、図６に示すＸ軸方向の湾曲と、Ｙ軸方向の湾曲を検出するために、それぞれＸ軸方向、Ｙ軸方向に向いている２つの湾曲検出部５１が対となるように２本の光ファイバ５２が配置され、一箇所の湾曲量を検出する。そして、対となっている湾曲検出部５１が挿入部３１の長手方向（挿入方向）に並んで配置されるように、複数の光ファイバ５２が配置されている。そして、不図示の光源からの光を各光ファイバ５２で導光し、各光ファイバ５２の湾曲量によって変化する光伝達量を不図示の受光部で検出する。こうして検出された光伝達量は、挿入部３１の変位量情報の一つとして、挿入支援装置６に出力される。

なお、湾曲検出部５１は、挿入部３１の湾曲部３５にだけでなく、それよりも操作部側にも設けることで、挿入部３１の可撓性により被挿入体２の内部構造に応じて自由に湾曲した挿入部３１の湾曲部３５以外の部分の湾曲状態も検出できるようにしておくことが望ましい。

なお、図６に示すように、挿入部３１内部には、照明用光ファイバ３８と撮像部用配線３９も設けられている。照明用光ファイバ３８によって、操作部３３内に配された不図示の照明用光源からの光を導光し、挿入部先端から照明光として出射することで、撮像部３２は、暗部である被挿入体２の内部を撮像することができる。

また、本実施形態に係る挿入支援装置６は、図１（Ｂ）に示すように、挿入状態取得部６１、被挿入体形状取得部６２、位置関係演算部６３、出力部６４、及び記憶部６５、及び制御部６６から構成される。

挿入状態取得部６１は、上記挿入・回転検出部４の変位量算出部４５から出力された変位量情報に基づいて、挿入部３１の少なくとも一部の、被挿入体２内部への挿入状態情報、例えば、挿入部３１のある点の位置及び向きを取得する。また、上記ファイバ形状センサ５が検出した変位量情報としての各光ファイバ５２の湾曲量によって変化する光伝達量に基づいて、被挿入体２内部への挿入状態情報として、さらに、挿入部３１の各湾曲検出部５１の位置及び向きを取得する。

被挿入体形状取得部６２は、被挿入体２の形状情報（被挿入体形状情報）を取得する。この被挿入体形状情報は、挿入部３１を被挿入体２に挿入する前に、被挿入体２の外側又は内側からのデータを基に構成されている。

即ち、外部からのデータに基づく被挿入体形状情報は、例えば、ＣＴ診断装置や超音波診断装置、及びＸ線装置などの被挿入体２内を透過して検出することのできる装置を利用して構成される。

また、内部からのデータに基づく被挿入体形状情報は、挿入部３１を被挿入体２の空間で動かしたときの軌跡データを利用したり、挿入部先端が被挿入体２に接触したときの位置情報を繋げることにより構成したりする。挿入部先端と被挿入体２との接触時の位置情報を利用すると、空間の大きさを検出することも可能となり、より正確な被挿入体形状情報を取得することが可能である。また、被挿入体２が人体の臓器である場合は体格から推定することで構成したり、被挿入体２が構造物である場合は図面によって形状を入力することで構成したりすることもできる。

なお、被挿入体形状取得部６２による被挿入体形状情報の取得は、例えばＣＴ診断装置等の被挿入体形状情報を構成する装置を接続して当該装置より直接取得するものであっても良いし、当該装置から出力された被挿入体形状情報を記憶媒体に一旦保存し、その保存された被挿入体形状情報を読み出して或いはネットワークを介してダウンロードして取得するというものであっても構わない。さらには、被挿入体形状取得部６２は、そのようなインタフェースやデータリーダに限らず、それ自体が被挿入体形状情報を構成する機器であっても構わない。

位置関係演算部６３は、上記挿入状態取得部６１で取得した挿入状態情報と、上記被挿入体形状取得部６２で取得した被挿入体形状情報と、に基づいて、被挿入体２に対する挿入部３１の位置関係、即ち、挿入部３１の全体や先端が被挿入体２内部のどこの部分を向いているのかを演算する。具体的には、位置関係演算部６３は、まず、上記挿入状態取得部６１で取得した挿入状態情報としての挿入部３１の各湾曲検出部５１の位置及び向きに基づいて挿入部３１の形状情報を演算する。そして、この求めた挿入部３１の形状情報と、上記挿入状態取得部６１で取得した挿入状態情報としての、例えば、挿入部３１のある点の位置及び向きと、上記被挿入体形状取得部６２で取得した被挿入体形状情報と、に基づいて、被挿入体２に対する挿入部３１の位置関係、即ち、挿入部先端の位置と向いている方向（軸方向）とを演算する。そして、それらの演算結果と被挿入体形状情報とに基づいて、挿入部先端が向いている方向と被挿入体２との交点を演算する。即ち、位置関係演算部６３は、図４に示すように、挿入部先端が向いている方向（撮像方向７１）からなる直線と、被挿入体２の形状との交点７２、すなわち視野（撮像領域７３）中心を、撮像位置Ｐとして求める。

通常、観察対象の注目箇所は視野中心に捉えるので、視野の周辺よりも中心が重要であることが多い。なお、ここでは撮像位置Ｐとして交点を求める例を示したが、被挿入体形状情報に基づいて、挿入部先端の位置と被挿入体２の撮像面との距離から、撮像部３２が撮像している被挿入体２の領域である視野（撮像領域７３）を、撮像位置Ｐとして演算するようにしても良い。この場合、挿入部３１と被挿入体２との間に介在する所定材料の屈折率、撮像部３２の画角情報（レンズの焦点距離など）、等のパラメータを用いれば、より正確に撮像領域７３を求めることができるようになる。このように撮像位置Ｐとして撮像領域７３を求めることにより、撮像部３２が撮像した範囲を把握することができる。また、視野（撮像領域７３）中の一部の領域７４または点を撮像位置Ｐとして演算するようにしても良い。例えば、撮像領域７３を正確に検出できない場合に、誤差を考慮して小さい領域を演算することで、撮像されていない範囲を撮像されたと誤検出されることを防ぐことができる。即ち、観察漏れを防ぐことができる。

位置関係演算部６３は、求められた挿入部３１の形状情報と、求められた被挿入体２に対する挿入部３１の位置関係、即ち、挿入部先端の位置と向いている方向（軸方向）と、上記被挿入体形状取得部６２で取得した被挿入体形状情報と、求められた撮像位置Ｐ（例えば交点７２）を示す撮像位置情報とを、演算結果として、制御部６６に出力する。

出力部６４は、制御部６６の制御の下、上記位置関係演算部６３の演算結果から、挿入部先端が被挿入体２内部のどこの部分を向いているのか操作者が判断できるような形態で表示出力する。また、出力部６４は、上記撮像部３２から得られた撮像画像を表示可能な表示部としても機能する。

記憶部6５は、制御部６６の制御の下、上記位置関係演算部６３の演算結果を保存すると共に、上記撮像部３２から得られた撮像画像を保存する。

制御部６６は、上記位置関係演算部６３の演算結果の、上記出力部６４での表示出力の出力状態、並びに、上記記憶部６５での記憶を制御する。即ち、上記位置関係演算部６３からの演算結果は、該制御部６６に対して逐次出力されるが、該制御部６６は、その出力された演算結果を全て出力部６４に表示出力させることは行わず、少なくともその一部である撮像位置Ｐ（例えば交点７２）を示す撮像位置情報については、その表示出力の有無つまり表示出力開始時点及び表示出力終了時点を制御したり、演算結果の表示出力の種類つまり表示の仕方を制御したりする。同様に、記憶部６５への記憶についても、上記位置関係演算部６３から出力された演算結果の全てではなく、少なくともその一部を記憶させるように制御する。また、位置関係演算部６３の演算結果だけでなく、撮像部３２からの撮像画像の記憶についても、同様に制御可能である。

例えば、制御部６６は、挿入部先端が所定の位置に到達したかを判断する判断部６７を備えることができる。ここで、所定の位置とは、被挿入体２内部の観察や処置の必要な箇所を指す。判断部６７はこの判断を、上記位置関係演算部６３から出力された演算結果の一部、即ち、挿入部３１の形状情報、挿入部先端の位置と向いている方向（軸方向）、及び被挿入体形状情報に基づいて行う、あるいは、上記撮像部３２から得られた撮像画像からパターンマッチング等により行う。そして、制御部６６は、この判断部６７の判断結果により、上記出力部６４及び記憶部６５を制御する。

また制御部６６は、記憶部６５に保存されている情報（上記位置関係演算部６３の演算結果、撮像画像など）を出力部６４に送って表示させる機能も有する。

以上のような構成の挿入支援装置６の動作を、図７を参照して説明する。ここでは、説明の簡単化のため、制御部６６による、位置関係演算部６３での演算結果、即ち撮像位置Ｐ（例えば交点７２）の、出力部６４での表示出力の出力状態、並びに、記憶部６５での記憶の制御は、表示出力及び記憶の開始時点の制御のみである場合を例に説明を行う。

まず、被挿入体形状取得部６２により、被挿入体形状情報を取得する（ステップＳ１）。その後、挿入状態取得部６１によって、挿入部３１の被挿入体２内部への挿入状態情報を取得する（ステップＳ２）。そして、位置関係演算部６３によって、挿入状態情報としての挿入部３１の各湾曲検出部５１の位置及び向きに基づいて、挿入部３１の形状を演算する（ステップＳ３）。その後、この演算した挿入部３１の形状と、上記取得した挿入状態情報としての挿入部３１のある点の位置及び向きと、上記取得した被挿入体形状情報と、に基づいて、被挿入体２に対する挿入部３１の位置関係、即ち、挿入部先端の位置と向いている方向（軸方向）とを演算する（ステップＳ４）。

そして、制御部６６の判断部６７によって、挿入部先端が所定の位置に到達したか否かを判断する（ステップＳ５）。例えば、被挿入体２として膀胱を例にとると、この挿入部先端が所定の位置に到達したか否かの判断は、挿入口２１である尿道口から挿入された挿入部３１の先端が図８（Ａ）に示すような膀胱の出入り口２２つまり膀胱と尿道の接続部に到達したか否かを判断することとなる。あるいは、挿入部先端が膀胱壁から所定の距離、例えば略２ｃｍの距離に到達したか否かによって判断することもできる。これら、出入り口２２または膀胱壁から所定の距離に到達したかは、位置関係演算部６３から出力された演算結果（挿入部先端の位置及び被挿入体形状情報）、あるいは、上記撮像部３２から得られた撮像画像から判断することができる。または、上記撮像部３２から得られた撮像画像から、膀胱壁の血管間隔が例えば略１００画素となったか否かにより判断することも可能である。また、撮像部３２は、被写体に近すぎても観察に適した撮像画像を得ることができないため、この所定の位置は範囲を持つことができる。例えば、距離で言えば膀胱壁から上記略２ｃｍから略５ｍｍの範囲、画素で言えば膀胱壁の血管間隔が上記略１００画素から略５００画素の範囲とすることができる。

ここで、まだ挿入部先端が所定の位置に到達していない場合には、制御部６６により、上記位置関係演算部６３から出力された演算結果の一部、即ち、挿入部３１の形状情報、挿入部先端の位置と向いている方向（軸方向）、及び被挿入体形状情報に基づいて、被挿入体２の形状に対する挿入部３１の挿入状態の表示を出力部６４に行わせた後（ステップＳ６）、上記ステップＳ２から上記の動作を繰り返す。

而して、挿入部先端が所定の位置に到達したならば、制御部６６により、上記演算結果の一部である撮像位置Ｐ（例えば交点７２）を示す撮像位置情報を、出力部６４に表示出力させると共に、記憶部６５に保存させる（ステップＳ７）。その後は、上記ステップＳ２から上記の動作を繰り返す。

このような動作により、出力部６４には、図１（Ｃ）に示すような表示がなされる。即ち、本実施形態では、出力部６４には、撮像部３２からの撮像画像（撮像画像表示６４１）と挿入部３１の挿入状態（挿入状態表示６４２）とが表示出力される。ここで、挿入状態表示６４２は、被挿入体形状情報としての被挿入体２を所定の箇所で割った２次元図６４２１，６４２２として表示出力される。そしてさらに、この被挿入体２を所定の箇所で割った２次元図６４２１，６４２２上に、撮像位置Ｐつまり被挿入体２と挿入部先端の軸方向（撮像方向７１）との交点７２に関わる情報が表示出力される。ここで、２次元図６４２１，６４２２は、挿入部３１の形状情報に基づいて、制御部６６によって生成されるものである。即ち、第１の２次元図６４２１は、図９（Ａ）に示すように、被挿入体２の形状を被挿入体２の座標においてＹ−Ｚ平面で割って左右に開いた状態を示す図であり、第２の２次元図６４２２は、第１の２次元図６４２１とは異なる視点の図として、図９（Ｂ）に示すように、被挿入体２の形状を被挿入体２の座標においてＸ−Ｚ平面で割って上下に開いた状態を示す図である。そして、制御部６６は、出力部６４のこれら２次元図６４２１，６４２２上に、撮像位置Ｐに関わる情報として、現在位置表示６４３を表示出力させる。

但し、この現在位置表示６４３は、常に行われるものではない。即ち、図１０に示すように、時刻Ｔ１で、該挿入システムが動作を開始すると、撮像画像表示６４１は直ちに開始されるが、２次元図６４２１，６４２２上の現在位置表示６４３は表示出力されない。そして、挿入部先端が所定の位置に到達したと制御部６６の判断部６７が判断した時点（時刻Ｔ２）で初めて、２次元図６４２１，６４２２上の現在位置表示６４３の表示出力が開始される。これらの撮像画像表示６４１の表示出力及び２次元図６４２１，６４２２上での現在位置表示６４３の表示出力は、時刻Ｔ４で、該挿入システムが動作を終了されるまで、継続される。あるいは、２次元図６４２１，６４２２上での現在位置表示６４３については、挿入部先端が所定の位置よりも前に戻ったことも制御部６６の判断部６７によって判断するようにして、その時点（時刻Ｔ３）で表示出力を終了するようにしても良い。

なお、上記現在位置表示６４３は、被挿入体２と挿入部先端の軸方向との交点７２そのものであっても良いが、上述したように、撮像領域７３とする、或いは、例えば交点７２を中心として撮像領域中の一部の領域７４とするように、ある程度の範囲を有するものとした方が、視認し易い。

また、出力部６４は、現在の撮像位置Ｐに関わる情報としての現在位置表示６４３に加えて、挿入部３１の形状を示す挿入部形状概略表示６４４を表示出力することができる。即ち、挿入部３１の形状及び挿入部先端の位置と向きは上述したように位置関係演算部６３によって演算されるため、挿入部３１が被挿入体２にどのような挿入状態となっているのかを知ることができ、挿入部形状概略表示６４４を行うことができる。

またさらに、出力部６４は、記憶部６５に記憶されている演算結果を使用して、位置軌跡表示６４５を表示出力することもできる。この記憶部６５に記憶される演算結果についても、上記判断部６７の判断に基づいて、挿入部先端が所定の位置に到達した時点（時刻Ｔ２）から記憶しておくことができる。なお、この位置軌跡表示６４５に関しても、現在位置表示６４３と同様、ある程度の範囲を持ったものとする。またこの場合、現在位置表示６４３と位置軌跡表示６４５とを区別可能とするために、互いの色や濃度、模様を変えたり、位置軌跡表示６４５は点滅表示としたりする等、何らかの識別表示するような表示情報とすることが望ましい。この識別表示の形態は、操作者のスイッチ操作による選択を受けて、制御部６６が制御できるようにしても良い。この場合、スイッチは、挿入具３である軟性内視鏡装置の操作部３３や、フットスイッチ、操作者の脳波や筋肉の動きなどを検出可能な箇所、挿入支援装置６の筐体、軟性内視鏡装置の操作部３３から挿入部３１内を挿通される処置具、等に配置することができる。

また、判断部６７は、挿入部先端が所定の位置に到達したかを、上記位置関係演算部６３からの演算結果や上記撮像部３２からの撮像画像に基づく代わりに、あるいはさらに、このようなスイッチの操作者による操作に応じて判断するようにしても良い。即ち、操作者が撮像画像表示６４１として表示されている撮像画像を観察し、挿入部先端が所定の位置に到達したと判別した際にスイッチを操作することで、判断部６７は挿入部先端が所定の位置に到達したと判断する。

さらに、このスイッチの操作により、所定の位置を操作者が任意に設定できるようにしても良い。即ち、被挿入体２の種類、大きさに応じて所定の位置を変更できるようにする。例えば、出入り口２２に関しては、被挿入体２が膀胱であれば図８（Ａ）に示したように尿道と膀胱の接続点となるが、被挿入体２が胃であれば図８（Ｂ）に示すように胃の接続部、被挿入体２が盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸と続く大腸であれば図８（Ｃ）に示すように直腸の終点、被挿入体２が人体であれば図８（Ｄ）に示すように口、配管でれば配管の開口部や分岐箇所、となる。

また、既に観察した箇所、或いは今後又は再度観察が必要な箇所（周辺の画像と異なる箇所（但し、既知のパターンの場合は、除く）、癌の特徴パターン、血液流出箇所、等）などに、スイッチ操作により操作者がマーキング６４６できる機能を追加しても良い。例えば、スイッチ操作に応じて、制御部６６は、当該箇所の情報を記憶部６５に記憶させると共に、出力部６４にその箇所にマーキング６４６を表示させるように制御する。この場合、図１（Ｃ）に示すように、被挿入体２の形状を被挿入体２の座標において異なる平面で割って開いた状態を示す２次元図６４２１，６４２２上にマーキング６４６が表示されるので、一方の２次元図（この例では６４２１）では認識し難い位置であっても、他方の２次元図（この例では６４２２）では認識し易い表示とすることができ、被挿入体２のどこの部分にマーキング６４６したかを操作者が判断することが容易となっている。

このマーキング６４６の箇所は、交点７２、撮像領域７３、撮像領域中の一部の領域７４のうち何れかに固定されていても良いし、操作者が任意に設定できるようにしても良い。このようなマーキング６４６を可能とすることで、被挿入体２についての観察済み箇所や再観察が必要な箇所、あるいは何らかの処置（除去、採取、補修、など）が必要な箇所、などを確認することが可能となる。さらには、異なる機会に当該被挿入体２の再観察を行う際に前回の要再観察箇所を特定したり、素早く当該箇所に挿入部先端を到達させたりする場合に利用することが可能となる。また、記憶について、マーキング６４６した箇所の情報のみでなく、挿入部３１の挿入方向などを共に記憶していけば、観察後に確認する場合や、次回同じ状態で観察する場合などに活用することができる。

なお、観察済み箇所、要再観察箇所、要処置箇所それぞれが何れの箇所であるのかを特定するための種類情報や、癌、ポリープ、亀裂などの症状情報／状態情報も共に設定記憶できるようにしておけば、表示の形態もそれら種類情報、症状情報／状態情報に応じて色や形を変更して、それぞれのマーキング６４６の意味を操作者が容易に判断できるようになる。

また、このマーキング６４６に関しては、挿入支援装置６にポインティングデバイスや視認認識デバイスを接続し、操作者が出力部６４に表示された撮像画像表示６４１あるいは２次元図６４２１，６４２２上の任意の範囲または点を指定できるようにしても良い。

また、図１（Ｃ）に示す２次元図６４２１，６４２２では、領域分割表示６４７を行っている。これは、学会の通説や規定、標準的に利用されている領域、または予め決めておいた分割方法で２つ以上の領域分割をしているものである。このようにしておくと、被挿入体２のどこの部分であるのかを操作者が判断することが容易となる。

なお、図１１に示すように、挿入部形状概略表示６４４上に、湾曲検出部５１の位置を示す湾曲検出部表示６４８を重畳して表示するようにしても良い。

ここで、挿入・回転検出部４及びファイバ形状センサ５は、上述のように光学的に被挿入体２に対する挿入部３１の形状及び撮像開口部３４の位置と向きを検出するものとしたが、その他の方法で検出しても良い。例えば、挿入部３１の内部の少なくとも撮像開口部３４の近傍にコイルを設け、コイルに電流を流して磁界を発生させ、この磁界を外部で受信する、または、外部で発生させた磁界分布をコイルで受信することにより、コイルすなわち撮像開口部３４の位置や向きを検出できる。なお、コイルを挿入部３１の長手方向に複数配列させると、挿入部３１の形状も検出することができる。

以上のように、本実施形態によれば、挿入状態取得部６１によって、被挿入体２内部に挿入される挿入部３１の（少なくとも一部の、）（被挿入体２内部への）挿入状態情報（例えば、挿入部３１のある点（挿入部先端）の位置・向き、及び、挿入部３１の各湾曲検出部５１の位置及び向き）を取得し、また、被挿入体形状取得部６２によって、被挿入体２の形状情報を取得し、それら挿入状態情報と被挿入体形状情報を位置関係演算部６３に入力して、被挿入体２に対する挿入部３１の位置関係（挿入部３１全体や挿入部先端の位置や向き）を演算し、出力部６４によって、その位置関係演算部６３の演算結果を表示出力するようにしているので、被挿入体内のどこを撮像しているのかを判断するための情報を提供できる。すなわち、目で直接見ることのできない被挿入体内部を挿入部３１を有する挿入具３である軟性内視鏡装置で観察する際、出力部６４が表示している撮像画像が被挿入体２のどの当たりの場所で、どの方向から観察しているかを理解することができる。また、被挿入体２内の観察済み箇所、または未観察箇所を容易に識別することが可能となり、見落としを防止することが可能となる。

そして、出力部６４にて位置関係演算部６３の演算結果つまり撮像位置Ｐを表示出力するにあたり、制御部６６が無い場合には常に表示がされていき、出力の必要のないときも出力されることとなるが、本実施形態では、制御部６６により、必要なときのみ表示するように制御しているので、無駄な演算結果を表示せず、分かり易い画面（見易い、間違い難い、素早く判断できる）とすることが可能となる。また、挿入具３である軟性内視鏡装置の操作者が制御部６６を制御すれば、操作者に必要な演算結果（現在位置、既観察部、患部、要摘出部、など）のみを確実に表示出力することが可能となる。

また、位置関係演算部６３の演算結果の少なくとも一部を保存する記憶部６５をさらに有し、該記憶部６５に、出力部６４に表示した被挿入体２の観察範囲（被挿入体２に対する挿入部３１の位置関係）を記憶していくことにより、被挿入体２の内壁に対して挿入部先端で観察又は処置した箇所と未観察又は未処置の箇所とを識別していくことが可能となる。例えば、出力部６４に現在位置表示６４３として表示している観察又は処置範囲を、別の箇所に移動していく際に消去することなく位置軌跡表示６４５として残していけば、該位置軌跡表示６４５によって、観察又は処置済みの箇所と未観察又は未処置箇所とを容易に判断することが可能である。この構成により、見落とし無く被挿入体２全体を観察又は処置することが可能となる。

また、挿入部３１に設けられた撮像開口部３４を有する撮像部３２を有し、該撮像部３２から得られた撮像画像を出力部６４にて表示することで、挿入部先端が観察している被挿入体２内部の場所（位置関係演算部６３の演算結果）の画像を直接得ることが可能となる。従って、観察箇所の状態を得ることができると共に、異なる時間に再度同じ場所を観察し（同じ場所に到達し）、変化を具体的に検出することが可能となる。

また、制御部６６は、位置関係演算部６３の演算結果から挿入部先端が所定の位置に到達したかを判断する判断部６７を有し、挿入部先端が所定の位置に到達したことを該判断部６７が判断した際に、出力部６４の出力状態の制御、つまり位置関係演算部６３の演算結果である撮像位置Ｐを示す現在位置表示６４３の連続表示出力の開始・終了、表示出力内容・表示出力方法（位置軌跡表示６４５やマーキング６４６の開始・終了、種類、サイズ、等）の切り替え等を行う。ここで、所定の位置は、被挿入体２の観察箇所（臓器であれば所定臓器）の出入り口２２（被挿入体２の挿入開口部、観察領域の入り口など形状情報上に予め設定された位置）、または既知の分岐箇所、または撮像画像が特定パターン（癌、ポリープ、亀裂、など）である箇所、である。なお、位置軌跡表示６４５やマーキング６４６のサイズは、挿入体先端と被挿入体２との距離に依存して変更しても良いし、撮像位置Ｐとして撮像方向７１と被挿入体２との交点７２を表示出力した際に識別可能な程度（サイズ変更可）としても良い。また、撮像部３２がある場合、撮像画像による患部や亀裂の大きさに応じた領域で表示出力すると良い。

また、制御部６６は、挿入部先端が被挿入体２の所定の位置に到達した際に、自動的に、上記のような出力部６４の出力状態の制御を行うように構成することで、予め設定した必要な箇所や状態のみを表示出力することができ、挿入具３の操作者が操作に集中することができる。

ここで、制御部６６は、操作者のスイッチ操作に応じて所定の位置を制御するようにすることで、操作者の意思によって必要な表示出力を行うことが可能となり、操作者の必要な情報のみを確実に出力していくことが可能となる。また、操作者が判断した複数の結果（パターンマッチング等の画像認識で自動的に判断し難いものを含めて）を区別して出力することができる。なお、スイッチは、１つでも複数（現在位置表示６４３開始／終了指示用、位置軌跡表味６４６開始／終了指示用、マーキング６４６指示用、さらに別のマーキング指示用、削除指示用）でも良い。スイッチが１つの場合、スイッチのオン／オフの回数やパターン、順次機能切り替わりなどで、複数の出力状態を切り替えることができる。

また、制御部６６は、癌やポリープ、亀裂などの被挿入体２の挿入対象部位である観察（／作業）対象部位の状態、および、挿入対象部位の大きさや広さに該当する状態表示範囲を、操作者の設定操作に応じて設定できるようにすることで、操作者の意思に基づいて出力状態や範囲を設定することが可能となるため、再観察の基準などを操作者や操作者の属する分野基準で任意に設定することが可能となる。つまり、医療分野や工業分野などそれぞれの分野に応じた使い分けをすることが可能となる。自動的に出力状態を制御する場合は、予めその制御の判断基準をセットしておけば良い。

また、制御部６６は、記憶部６５に、撮像画像を、位置関係演算部６３の演算結果と関連付けて記憶させておくようにすることで、所定箇所の状態について、記憶したときの観察状態と、現在の観察状態とを比較して、その違い・変化を得ることが可能となる。即ち、観察範囲の撮像画像と位置関係演算部６３の演算結果つまり撮像位置Ｐとが一致しているので、どの部分を撮像した結果なのかの情報を得ることができると共に、複数回の診断により同じ患部の変遷を正確に一致させることが可能となる。

また、制御部６６は、記憶部６５に、撮像画像を、少なくとも位置関係演算部６３の演算結果及び症状情報と関連付けて記憶させることで、所定箇所の状態について、記憶したときの観察状態と、現在の観察状態との違い・変化を得ることが可能となる。

また、制御部６６は、位置関係演算部６３の演算結果として、出力部６４に、２つ以上の異なる所定状態を区別可能な方法で表示する、例えば区別可能なマーキングを表示させるようにしているので、複数の状態（現在の観察範囲、軌跡、患部１（癌、炎症、欠損、傷、腐食など）、患部２（癌、炎症、欠損、傷、腐食など）、…、処置済み、要経過、など）を見た目で区別することが可能となる。この複数の状態を記憶部６５に記憶しておけば、異なる時間に再度同じ場所を観察したいときに所定の状態にある箇所のみを観察することができ、観察効率を向上させることが可能となり、また、当該箇所の変化具合を得ることが可能となる。

なお、所定状態の場合分けは、挿入部３１の操作者が選択可能とすることができる。この場合、操作者の意思に基づいて場合分けすることができるため、再観察の基準などを操作者や操作者の属する分野基準で任意に設定することが可能となる。つまり、医療分野や工業分野など、それぞれの分野に応じた使い分けをすることが可能となる。

また、制御部６６は、出力部６４に、複数の領域に領域分割表示がされている表示を行わせるように制御する。このように、表示画面に学会の通説や規定、または標準的に利用されている領域が判るように領域分割表示されていると、観察範囲を表示している際に、どこの部分を観察しているかを理解し易くすることが可能となる。

なお、制御部６６は、出力部６４に、観察（／作業）対象部位及び／または対象部位への挿入部３１の位置関係が特定可能なように、被挿入体２の同一の領域を２つ以上の異なる領域分割表示、例えば異なる２次元図６４２１，６４２２とする表示を行わせることで、３次元で表される被挿入体２を２次元で表現した場合、奥行き方向に当たる部分は、見えなくなったり、見え難くなったりするが、これを防ぐことが可能となる。従って、見落とし箇所やマーキング位置を確実に認識すること（見易い、間違い難い、素早く判断できる）が可能となる。

また、制御部６６は、記憶部６５に保存している情報を出力部６４に表示可能とする関連情報呼び出し部としての機能を有することで、記憶部６５に保存された出力部６４が出力した視野（撮像領域７３）の結果から、挿入後にも挿入時の観察結果つまり被挿入体２の観察が済んだ箇所と観察が未了の箇所とを振り返ることが可能となる。また、次回挿入時、前回の観察の場所を記憶してあるので、同じ箇所に導いたり、特定したりし易くすることが可能となる。さらに、２回目以降の観察の際、前回までの同一箇所の情報（撮像画像、症状、大きさなど）がある場合に、関連情報として呼び出して表示することにより、その場で、前回同箇所でマーキングをした箇所や、前回との違いや、進行具合を判断することが可能となる。

また、挿入部３１の挿入量と回転量を挿入・回転検出部４で検出し、挿入部３１の形状をファイバ形状センサ５で検出することにより、被挿入体２への出入り口２２などを基準位置とした被挿入体２への挿入部３１の挿入量、回転量と、基準位置からの挿入部３１の形状を検出することができるため、被挿入体２に対する挿入部３１の形状と、被挿入体２内部への挿入状態情報（撮像開口部３４の位置・向きなど）と、を検出することが可能となる。

なお、撮像位置を表示する例を記載したが、これに加えて、挿入部先端の位置、向き、さらには、挿入部先端の位置、向きの履歴を表示しても良い。このことを、図１２（Ａ）乃至（Ｃ）、及び図１３を参照して説明する。図１２（Ａ）乃至（Ｃ）は、分岐のある被挿入体２に挿入部３１を挿入した際の、出力部６４に表示される内容を示している。

位置関係演算部６３は、挿入部先端の位置、向きを演算して、制御部６６に出力する。なお、挿入部先端の位置、向きの演算は上記演算と同様のため、ここでは説明を省略する。

図１２（Ａ）は、被挿入体の形状を示す２次元図６４２１Ａ上に、挿入部３１の現時点での形状を示す挿入部形状概略表示６４４と、挿入部３１の先端位置（である撮像開口部３４の位置）の現在の位置を表わす現在位置表示６４３Ａと、撮像開口部３４の位置の軌跡である位置軌跡表示６４５Ａと、を示したものである。なお、撮像位置の軌跡である位置軌跡表示６４５は省略している。先端位置の軌跡表示により、先端位置（である撮像開口部３４の位置）が被挿入体２のどの位置を通過し、現時点でどの位置にあるかがわかる様になる。

先端位置（である撮像開口部３４の位置）が分かることで、撮像対象のどの部分まで到達しているかが分かる。現在位置が正確に分かることで、この情報を用いて、現在位置に応じてすべき観察・処置や、現在位置から狙いの位置への経路の検討を、この場所であったらという推定無しに、行うことができる。そのため、狙いの位置へ行くのに試行錯誤を繰り返したり、狙いの位置に到達したか、観察画像を見るなど様々な方法で確認したりする必要が無くなる。その結果、現在位置から狙いの位置まで最短コースに近い経路を取って１回で到達できる可能性が上がり、時間短縮出来ると共に、位置に関する状況把握が出来ていることにより、落ち着いた、自信を持った操作につながる。

図１２（Ａ）に示した、先端位置（である撮像開口部３４の位置）の履歴としての位置軌跡表示６４５Ａに加え、挿入部先端（である撮像開口部３４）が向いている方向を表示しても良い。図１２（Ｂ）では、挿入部先端の向きである、撮像開口部３４が向いている方向を矢印６４９で示している。撮像開口部３４の現在の位置と向きだけでなく、撮像開口部３４の軌跡上の幾つかの位置で方向の情報を矢印６４９で加えている。先端位置の位置軌跡表示６４５Ａと向きの表示である矢印６４９により、挿入部先端の撮像開口部３４の位置情報である、先端位置の軌跡と、どの方向を向きながら位置が変化したかがわかる様になる。

なお、撮像のための光学系にもよるが、本例では、挿入部先端にある撮像開口部３４が向いている方向が視野中心であり、撮像画像の中央である。

先端位置と向きが分かることで、撮像対象での到達位置と向きが分かる。現在位置と向きから、観察視野方向や視野中心が分かる。到達位置と向きや観察視野方向や視野中心が正確に分かることで、この情報を用いて、現在位置と向きに応じてすべき観察・処置や、現在位置から狙いの位置への経路、および、移動する際の挿入部３１の形状や操作方法の検討を、現在位置と向きがこうであったらという推定無しに、行うことができる。特に挿入部先端の向きが分かっていることで、狙いの位置や向きに到達するための挿抜や湾曲などの操作方法・手順が検討できるようになる。

挿入部先端の向き、即ち、撮像開口部３４が向いている方向は、挿入部先端の姿勢、または、回転を含めて表わすものとして３次元的に示しても良い。

挿入部先端に固定された座標系、即ち、挿入部先端の位置や姿勢が変化しない座標系の回転を挿入部先端の「３次元の方向」と定義した時、挿入部先端の３次元の方向の軌跡を図１２（Ｃ）に示す。図１２（Ｃ）では、３次元の方向（姿勢）を示すために、挿入部先端の向き、即ち、撮像開口部３４の向いている方向を三方向（ｘ方向、ｙ方向、ｚ方向）の矢印６４９Ａで示している。

また、回転を含めた３次元方向に関する情報を、撮像部３２が撮像した画像と共に表示するようにしても良い。

このように、挿入部先端の位置と３次元の方向が分かることで、例えば、挿入部先端の撮像位置での回転を含めた撮像方向がわかる様になる。また、撮像以外に治療などでも先端向き周りの回転の影響を考慮することができるようになる。

撮像位置での回転を含めた撮像方向については、例えば、図１３に示すように、撮像開口部３４が向いている方向が同じ場合でも、挿入部３１が撮像方向周りに回転すると撮像対象８１に対する撮像開口部３４も回転する。図１３では１８０°回転しているため、上下が逆になっており、このような場合、撮像部３２が撮像した撮像画像Ｉも上下が逆に表示される。こうした観察や治療時の撮像方向周りの回転の影響も考慮することが可能となり、撮像画像での天地を誤ったりせず、正確に把握することができるようになる。

また、情報の提供形態は、図１（Ｃ）に示したような出力部６４の表示レイアウトに限定するものではない。

例えば、図１４（Ａ）乃至（Ｆ）に示すように、撮像画像表示６４１と挿入状態表示６４２とを、それぞれ様々な大きさ及び位置で、さらには互いに様々な重なり具合で、レイアウトすることができる。また、これら複数の表示レイアウトから、操作者が見易いと感じるものを操作者が任意に選択変更できるようにしても構わない。

また、挿入状態表示６４２については、２次元図６４２１，６４２２のような表示に限定するものではない。例えば、図１５のように３次元図６４２３で表示するようなものでも良い。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
上記第１実施形態に係る挿入システム１は、撮像画像を表示する表示部を出力部６４と同一のデバイスとして構成したが、本第２実施形態に係る挿入システム１は、図１６（Ａ）に示すように、表示部として、出力部６４とは別体のデバイスである表示装置９を更に備えるようにしたものである。このような構成では、図１６（Ｂ）に示すように、出力部６４には挿入状態表示６４２のみが行われ、表示装置９には撮像画像表示６４１のみが行われる。

従って、出力部６４と表示装置９とを近傍に配置することで、位置関係演算部６３の演算結果と、撮像部３２で得られた撮像画像とを、ほぼ同時に目視することが可能となり、両者を同時に認識することができ、負担無く位置関係演算部６３の演算結果を認識することが可能となる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。
本第３実施形態に係る挿入システム１は、挿入具３が、図１７に示すような硬性内視鏡装置の場合の例である。このような硬性内視鏡装置は、上記第１（及び第２）実施形態における軟性内視鏡装置とは異なり、挿入部３１は可撓性を有しておらず、よって、形状は一定である。

そのため、ファイバ形状センサ５や挿入部３１の長手方向にコイルを複数配列させる必要は無く、位置関係演算部６３にて挿入部３１の形状情報を演算することも必要ではない。挿入部３１の形状情報を位置関係演算部６３に予め記憶させておく、あるいは、入力するだけで良い。

その他は、上記第１（及び第２）実施形態に係る挿入システムと同様である。
このような第３実施形態に係る挿入システム１においても、上記第１（及び第２）実施形態に係る挿入システムと同様の効果が得られる。

［第４実施形態］
次に、本発明の第４実施形態を説明する。
本第４実施形態に係る挿入システム１は、挿入具３が、図１８に示すような、カテーテル等の撮像部を有しない処置具である場合の例である。このような処置具は、上記第１（及び第２）実施形態における軟性内視鏡装置と同様に、可撓性の挿入部３１を備えている。

従って、撮像画像に関する部分以外の構成、動作及び作用効果は、上記第１（及び第２）実施形態に係る挿入システムと同様である。

以上、実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、図７のフローチャートに示した機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

１…挿入システム、 ２…被挿入体、 ３…挿入具、 ４…挿入・回転検出部、 ５…ファイバ形状センサ、 ６…挿入支援装置、 ９…表示装置、 ２１…挿入口、 ２２…出入り口、 ３１…挿入部、 ３２…撮像部、 ３３…操作部、 ３４…撮像開口部、 ３５…湾曲部、 ３６…光供給部、 ３７…処置用開口部、 ３８…照明用光ファイバ、 ３９…撮像部用配線、 ４１…光源、 ４２…投光レンズ、 ４３…受光レンズ、 ４４…光学パターン検出部、 ４５…変位量算出部、 ５１…湾曲検出部、 ５２…光ファイバ、 ６１…挿入状態取得部、 ６２…被挿入体形状取得部、 ６３…位置関係演算部、 ６４…出力部、 ６５…記憶部、 ６６…制御部、 ６７…判断部、 ７１…撮像方向、 ７２…交点、 ７３…撮像領域、 ７４…撮像領域中の一部の領域、 ８１…撮像対象、 ６４１…撮像画像表示、 ６４２…挿入状態表示、 ６４３，６４３Ａ…現在位置表示、 ６４４…挿入部形状概略表示、 ６４５，６４５Ａ…位置軌跡表示、 ６４６…マーキング、 ６４７…領域分割表示、 ６４８…湾曲検出部表示、 ６４９，６４９Ａ…矢印。

Claims (18)

1. 被挿入体内部に挿入される挿入部と、
   前記挿入部に設けられた撮像部と、
   前記挿入部の挿入状態情報を取得する挿入状態取得部と、
   前記被挿入体の形状情報を取得する被挿入体形状取得部と、
   前記挿入状態取得部によって取得された前記挿入状態情報と前記被挿入体形状取得部によって取得された前記被挿入体の形状情報とに基づいて、前記被挿入体に対する前記挿入部の位置関係を演算し、この演算した位置関係に基づいて、前記撮像部が撮像している前記被挿入体における位置または領域である撮像位置を演算する位置関係演算部と、
   前記位置関係演算部の演算結果を出力するための出力部と、
   前記出力部での前記演算結果の出力状態を制御する制御部と、
   を有し、
   前記制御部は、前記位置関係演算部の演算結果から挿入部先端が所定の位置に到達したかを判断する判断部を有し、前記挿入部先端が前記所定の位置に到達したことを前記判断部が判断した際に、前記出力部での前記撮像位置の情報の出力状態を制御することを特徴とする挿入システム。
2. 少なくとも前記位置関係演算部の演算結果の少なくとも一部を保存する記憶部をさらに有することを特徴とする請求項１に記載の挿入システム。
3. 少なくとも前記撮像部から得られた撮像画像を表示可能な表示部をさらに有することを特徴とする請求項２に記載の挿入システム。
4. 前記所定の位置は、前記被挿入体の観察箇所の出入り口、既知の分岐箇所、撮像画像が特定パターンである箇所、の何れかであることを特徴とする請求項１乃至３の何れかに記載の挿入システム。
5. 前記制御部は、前記挿入部先端が前記被挿入体の所定の位置に到達した際に自動的に前記出力部の出力状態の制御を行うことを特徴とする請求項４に記載の挿入システム。
6. 前記制御部は、操作者のスイッチ操作に応じて前記所定の位置を制御することを特徴とする請求項４に記載の挿入システム。
7. 前記制御部は、前記被挿入体の挿入対象部位の状態、および、挿入対象部位の大きさや広さに該当する状態表示範囲を、前記挿入部の操作者の設定操作に応じて設定可能であることを特徴とする請求項１乃至６の何れかに記載の挿入システム。
8. 前記制御部は、前記記憶部に、前記撮像部から得られた前記撮像画像を、前記位置関係演算部の前記演算結果と関連付けて記憶させることを特徴とする請求項３に記載の挿入システム。
9. 前記制御部は、前記記憶部に、前記撮像部から得られた前記撮像画像を、少なくとも前記位置関係演算部の前記演算結果及び症状情報と関連付けて記憶させることを特徴とする請求項３に記載の挿入システム。
10. 前記制御部は、前記出力部に、前記位置関係演算部の前記演算結果を、２つ以上の区別可能な方法で表示させることを特徴とする請求項１乃至３の何れかに記載の挿入システム。
11. 前記制御部は、前記出力部に、複数の領域に領域分割表示がされている表示を行わせることを特徴とする請求項１乃至３の何れかに記載の挿入システム。
12. 前記制御部は、前記出力部に、前記被挿入体の同一の領域を、２つ以上の異なる領域分割表示により表示させることを特徴とする請求項１乃至３の何れかに記載の挿入システム。
13. 前記制御部は、前記記憶部に保存している情報を前記出力部に表示可能とする関連情報呼び出し部を有することを特徴とする請求項２または３に記載の挿入システム。
14. 前記出力部の出力と前記表示部の表示とは、同一のデバイス、または近傍に置かれた異なるデバイスに表示されることを特徴とする請求項３に記載の挿入システム。
15. 前記挿入部の挿入状態を検出する検出部をさらに有し、
    前記検出部は、
    前記挿入部の内部に搭載され、前記挿入部の形状を検出する形状センサと、
    前記被挿入体への前記挿入部の挿入口に設けられ、前記挿入部が通過するときの挿入量及び回転量を検出する挿入部センサと、
    の少なくとも一方を含む、ことを特徴とする請求項１乃至３の何れかに記載の挿入システム。
16. 被挿入体内部への挿入具の挿入部の挿入を支援する挿入支援装置において、
    前記挿入部の挿入状態情報を取得する挿入状態取得部と、
    前記被挿入体の形状情報を取得する被挿入体形状取得部と、
    前記挿入状態取得部によって取得された前記挿入状態情報と前記被挿入体形状取得部によって取得された前記被挿入体の形状情報とに基づいて、前記被挿入体に対する前記挿入部の位置関係を演算し、この演算した位置関係に基づいて、前記挿入部に設けられている撮像部が撮像している前記被挿入体における位置または領域である撮像位置を演算する位置関係演算部と、
    前記位置関係演算部の演算結果を表示情報として出力するための出力部と、
    前記出力部での前記演算結果の出力状態を制御する制御部と、
    を有し、
    前記制御部は、前記位置関係演算部の演算結果から挿入部先端が所定の位置に到達したかを判断する判断部を有し、前記挿入部先端が前記所定の位置に到達したことを前記判断部が判断した際に、前記出力部での前記撮像位置の情報の出力状態を制御することを特徴とする挿入支援装置。
17. 被挿入体内部への挿入具の挿入部の挿入を支援する挿入支援装置の作動方法において、
    前記挿入部の挿入状態情報を取得する挿入状態取得ステップと、
    前記被挿入体の形状情報を取得する被挿入体形状取得ステップと、
    前記挿入状態取得ステップで取得された前記挿入状態情報と前記被挿入体形状取得ステップで取得された前記被挿入体の形状情報とに基づいて、前記被挿入体に対する前記挿入部の位置関係を演算し、この演算した位置関係に基づいて、前記挿入部に設けられている撮像部が撮像している前記被挿入体における位置または領域である撮像位置を演算する位置関係演算ステップと、
    前記位置関係演算ステップの演算結果を表示情報として出力する出力ステップと、
    前記出力ステップでの前記演算結果の出力状態を制御する制御ステップと、
    を有し、
    前記制御ステップは、前記位置関係演算ステップの演算結果から挿入部先端が所定の位置に到達したかを判断する判断ステップを有し、前記挿入部先端が前記所定の位置に到達したことを前記判断ステップで判断した際に、前記出力ステップでの前記撮像位置の情報の出力状態を制御することを特徴とする挿入支援装置の作動方法。
18. コンピュータに、
    被挿入体内部への挿入具の挿入部の挿入を支援する挿入支援装置における前記挿入部の挿入状態情報を取得する挿入状態取得手順と、
    前記被挿入体の形状情報を取得する被挿入体形状取得手順と、
    前記挿入状態取得手順で取得された前記挿入状態情報と前記被挿入体形状取得手順で取得された前記被挿入体の形状情報とに基づいて、前記被挿入体に対する前記挿入部の位置関係を演算し、この演算した位置関係に基づいて、前記挿入部に設けられた撮像部が撮像している前記被挿入体における位置または領域である撮像位置を演算する位置関係演算手順と、
    前記位置関係演算手順の演算結果を表示情報として出力するための出力手順と、
    前記出力手順での前記演算結果の出力状態を制御する制御手順と、
    を実行させるためのプログラムであって、
    前記制御手順は、前記位置関係演算手順の演算結果から挿入部先端が所定の位置に到達したかを判断する判断手順を有し、前記判断手順において前記挿入部先端が前記所定の位置に到達したことを判断した際に、前記撮像位置の情報の出力状態を制御することを特徴とするプログラム。

Images