JP6146981B2 - 観察装置、観察支援装置及びプログラム - Google Patents

Description

本発明は、被挿入体内部に挿入部を挿入し観察する観察装置、そのような観察装置に使用する観察支援装置、及びコンピュータに観察支援装置の手順を実行させるプログラムに関する。

被挿入体内部に挿入部を挿入して観察する際の支援装置として、例えば、特許文献１には、内視鏡挿入部を人体に挿入するにあたり、表示部に当該内視鏡挿入部の形状を表示する構成が開示されている。

これは、内視鏡装置において、曲げられた角度の大きさに対応して光の伝達量が変化する曲がり検出部を有する複数のフレキシブルな曲がり検出用光ファイバを、可撓性の帯状部材に並列に並んだ状態に取り付けて、それを内視鏡挿入部内にほぼ全長にわたって挿通配置し、各曲がり検出用光ファイバの光伝達量から各曲がり検出部が位置する部分における帯状部材の屈曲状態を検出して、その屈曲状態を内視鏡挿入部の屈曲状態としてモニタ画面に表示するものである。

特許第３９１７３９１号公報

一般に、被挿入体内部に目印となる箇所が少なく、撮像画像からだけでは被挿入体内部のどの箇所を観察しているのか判り難い場合、必要な個所全てを撮像（観察）できたのかも判り難い。

上記特許文献１に開示の技術では、被挿入体内部への挿入時に被挿入体外部から見ることのできない被挿入体内部での挿入部の形状を提示することができる。しかしながら、被挿入体内部のどの箇所を撮像（観察）しているかの検出及びその表示方法については提案されていない。

本発明は、上記の点に鑑みてなされたもので、被挿入体内のどこを撮像しているのかを判断するための情報を操作者に提供できる観察装置、観察支援装置、及びプログラムを提供することを目的とする。

本発明の観察装置の一態様は、被挿入体内部に挿入される挿入部と、上記挿入部に配置され、上記被挿入体を撮像する撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記挿入部を上記被挿入体に挿入する前に上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、を有する。
本発明の観察装置の別の態様は、被挿入体内部に挿入される挿入部と、上記挿入部に配置され、上記被挿入体を撮像する撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体の形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、を有し、上記位置関係演算部は、さらに上記挿入部と上記被挿入体との間に介在する所定材料の屈折率を入力して上記被挿入体に対する上記挿入部の計算上の位置関係を求める。
本発明の観察装置のさらに別の態様は、被挿入体内部に挿入される挿入部と、上記挿入部に配置され、上記被挿入体を撮像する撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体の形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、を有し、上記位置関係演算部は、さらに上記撮像部の画角情報を入力して上記被挿入体に対する上記挿入部の計算上の位置関係を求める。
本発明の観察装置の別の態様は、被挿入体内部に挿入される挿入部と、上記挿入部に配置され、上記被挿入体を撮像する撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体の形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、を有し、上記出力部は、上記位置関係演算部の結果として、再観察又は処置の必要性の基準によって場合わけされた、上記被挿入体の２つ以上の異なる所定状態を区別可能な方法で表示する表示情報を出力する。
本発明の観察装置のさらに別の態様は、被挿入体内部に挿入される挿入部と、上記挿入部に配置され、上記被挿入体を撮像する撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体の形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、を有し、上記出力部は、上記被挿入体を所定の箇所で割った表示情報を出力する。
本発明の観察装置の別の態様は、被挿入体内部に挿入される挿入部と、上記挿入部に配置され、上記被挿入体を撮像する撮像部と、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体の形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、上記出力部から出力された上記表示情報を表示する表示装置と、を有し、上記出力部は、上記表示情報に、上記位置関係演算部の現在の演算結果よりも前の演算結果を上記表示装置に軌跡表示として表示させる情報を含める。

また、本発明の観察支援装置の一態様は、被挿入体に挿入部を挿入することで上記被挿入体内部を撮像する観察装置に用いられる観察支援装置において、上記挿入部の挿入状態情報を取得する挿入状態取得部と、上記挿入部を上記被挿入体に挿入する前に上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記挿入状態情報と上記被挿入体形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算部と、上記位置関係演算部の演算結果を表示情報として出力する出力部と、を有する。

また、本発明のプログラムの一態様は、コンピュータに、被挿入体に挿入部を挿入することで上記被挿入体内部を撮像する観察装置における上記挿入部の挿入状態情報を取得する挿入状態取得手順と、上記挿入部を上記被挿入体に挿入する前に上記被挿入体の形状情報を取得する被挿入体形状取得手順と、上記挿入状態情報と上記被挿入体形状情報とを入力し、上記被挿入体に対する上記挿入部の計算上の位置関係を演算する位置関係演算手順と、上記位置関係演算手順の演算結果を表示情報として出力する出力手順と、を実行させる。

本発明によれば、被挿入体内のどこを撮像しているのかを判断するための情報を提供できるので、被挿入体内部のどの箇所を撮像しているのか、及び必要な個所全てを撮像できたのか、を操作者に容易に判断可能とさせることができ、観察箇所の見落としを防止することができる観察装置、観察支援装置、及びプログラムを提供することができる。

図１（Ａ）は、本発明の第１実施形態に係る観察支援装置を適用した観察装置の概略構成を示す図であり、図１（Ｂ）は、第１実施形態に係る観察支援装置のブロック構成図であり、図１（Ｃ）は、第１実施形態に係る観察支援装置に接続された表示装置を介した情報の提供例を説明するための図である。 図２（Ａ）は、第１実施形態に係る観察装置における挿入具としての硬性内視鏡装置の概略構成を示す図であり、図２（Ｂ）は、挿入部先端の斜視図である。 図３（Ａ）は、挿入・回転検出部の構成を説明するための図であり、図３（Ｂ）は、挿入・回転検出部の動作原理を説明するための図である。 図４は、挿入部の被挿入体内部への挿入状態を示す図である。 図５は、第１実施形態に係る観察支援装置の動作フローチャートを示す図である。 図６（Ａ）は、第１の位置表示が被挿入体内部のどこを示すかを説明するための図であり、図６（Ｂ）は、第２の位置表示が被挿入体内部のどこを示すかを説明するための図である。 図７（Ａ）乃至（Ｃ）は、それぞれ、分岐のある被挿入体に挿入部を挿入した際の表示例を説明するための図である。 図８は、挿入部の回転による撮像画像の変化を説明するための図である。 図９は、本発明の第２実施形態に係る観察装置における挿入具としての軟性内視鏡装置の概略構成を示す図である。 図１０は、挿入部の被挿入体内部への挿入状態を示す図である。 図１１は、第２実施形態に係る観察装置の概略構成を示す図である。 図１２は、ファイバ形状センサの原理を説明するための図である。 図１３は、ファイバ形状センサの挿入部への取り付け構造を示す図である。 図１４は、第３実施形態に係る観察支援装置のブロック構成図である。 図１５は、第３実施形態に係る観察支援装置の動作フローチャートを示す図である。 図１６は、第３実施形態に係る観察装置での情報の提供例を説明するための図である。 図１７は、情報の提供形態の別の例を説明するための図である。 図１８は、情報の提供形態の更に別の例を説明するための図である。

以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
本発明の第１実施形態に係る観察装置１は、図１（Ａ）に示すように、被挿入体２の内部に挿入される挿入部３１と被挿入体２を撮像する撮像部３２とを備える挿入具３と、挿入部３１の変位量情報を検出する検出部としての挿入・回転検出部４と、該挿入・回転検出部４からの変位量情報から挿入部３１の挿入状態情報を取得し、該挿入状態情報と被挿入体２の形状情報とに基づいて、被挿入体２に対する挿入部３１の位置関係を演算して、その演算結果を表示情報として出力する本発明の第１実施形態に係る観察支援装置５と、表示情報を表示する表示装置６と、から構成される。

挿入具３は、例えば、図２（Ａ）に示すような硬性内視鏡装置であり、挿入部３１と、該挿入部３１と一体的に構成された操作部３３と、を備えている。挿入部３１は、硬性の管状部材であり、被挿入体２の挿入口２１から被挿入体２の内部に挿入可能となっている。なお、被挿入体２の内部は、空気、生理食塩水、あるいは薬液などの所定材料で満たされている。挿入部３１の挿入方向の端部（以下、挿入部先端と称する。）には、図２（Ｂ）に示すように、撮像開口部３４が設けられており、また、挿入部３１内部の挿入部先端近傍には、図１に示すように、撮像部３２が内蔵されている。撮像開口部３４に入射した光は、撮像部３２が受光し撮像を行う。撮像部３２が撮像した画像は、本第１実施形態に係る観察支援装置５を通して表示装置６に出力される。

なお、撮像部３２は、挿入部３１内部の挿入部先端近傍ではなく、操作部３３内に配置し、撮像開口部３４との間をライトガイド等により結んで、撮像開口部３４に入射した光を撮像部３２へ導光して撮像を行うようにしても良いことは勿論である。

また、特に図示はしないが、挿入部３１内部には、照明用の光ファイバを有しており、操作部３３内に配された不図示の照明用光源からの光を導光し、挿入部先端の光供給部３５から撮像の為の照明光として出射する。さらに、挿入部先端には、処置用開口部３６が設けられ、操作部３３から挿入部３１内を挿通された処置具が該処置用開口部３６から挿入部３１外に延出可能とされている。

以下、各部の構成を詳細に説明する。
また、挿入・回転検出部４は、被挿入体２の挿入口２１の近傍に設置され、挿入部３１の挿入量と回転量を検出して、挿入部３１の変位量情報の一つとして、観察支援装置５に出力する。具体的には、この挿入・回転検出部４は、図３（Ａ）に示すように、光源４１、投光レンズ４２、受光レンズ４３、光学パターン検出部４４、及び変位量算出部４５から構成される。

光源４１から出射した光は、投光レンズ４２を通して挿入部３１に照射され、該挿入部３１で反射した光が受光レンズ４３を通して光学パターン検出部４４に受光される。光学パターン検出部４４は、光学パターンである挿入部３１面の画像を検出時間ｔ０，ｔ１，ｔ２，…，ｔｎ，…と連続して検出する。

変位量算出部４５は、図３（Ｂ）に示すように、光学パターン検出部４４で任意の時間ｔ_ｎに撮像された画像データの画像（光学パターンＰＴ_ｎ）内に存在する任意に選択された基準パターンαと、この時間ｔ_ｎから任意の時間経過後の時間ｔ_ｎ＋１に撮像された画像データの画像（光学パターンＰＴ_ｎ＋１）内の一部に存在する上記基準パターンαと一致する光学パターンα’と、の画像データ上の変位を比較し、ｘ軸方向及びｙ軸方向の各々の画像上の変位量を算出する。ここで、図３（Ｂ）に示すように、光学パターン検出部４４のｘ軸は挿入部３１の軸方向に一致するように、光学パターン検出部４４は位置決めされている。よって、変位量算出部４５で算出されるｘ軸方向の変位量Δｘ_ｆは挿入部３１の挿入量と比例し、ｙ軸方向の変位量Δｙ_ｆは挿入部３１の回転量と比例する。こうして変位量算出部４５で算出された画像上の変位量（挿入量と回転量）は、変位量情報として観察支援装置５に出力される。なお、各々の変位量の増減方向が挿入部３１の挿入及び回転の方向を示すため、変位量情報は挿入方向及び回転方向の情報も含むこととなる。

また、本実施形態に係る観察支援装置５は、図１（Ｂ）に示すように、挿入状態取得部５１、被挿入体形状取得部５２、パラメータ取得部５３、位置関係演算部５４、出力部５５、及び記憶部５６から構成される。

挿入状態取得部５１は、上記挿入・回転検出部４の変位量算出部４５から出力された変位量情報に基づいて、挿入部３１の少なくとも一部の、被挿入体２内部への挿入状態情報、例えば、挿入部３１のある点の位置及び向きを取得する。

被挿入体形状取得部５２は、被挿入体２の形状情報（被挿入体形状情報）を取得する。この被挿入体形状情報は、挿入部３１を被挿入体２に挿入する前に、被挿入体２の外側又は内側からのデータを基に構成されている。

即ち、外部からのデータに基づく被挿入体形状情報は、例えば、ＣＴ診断装置や超音波診断装置、及びＸ線装置などの被挿入体２内を透過して検出することのできる装置を利用して構成される。

また、内部からのデータに基づく被挿入体形状情報は、挿入部３１を被挿入体２の空間で動かしたときの軌跡データを利用したり、挿入部先端が被挿入体２に接触したときの位置情報を繋げることにより構成したりする。挿入部先端と被挿入体２との接触時の位置情報を利用すると、空間の大きさを検出することも可能となり、より正確な被挿入体形状情報を取得することが可能である。また、被挿入体２が人体の臓器である場合は体格から推定することで構成したり、被挿入体２が構造物である場合は図面によって形状を入力することで構成したりすることもできる。

なお、被挿入体形状取得部５２による被挿入体形状情報の取得は、例えばＣＴ診断装置等の被挿入体形状情報を構成する装置を接続して当該装置より直接取得するものであっても良いし、当該装置から出力された被挿入体形状情報を記憶媒体に一旦保存し、その保存された被挿入体形状情報を読み出して或いはネットワークを介してダウンロードして取得するというものであっても構わない。さらには、被挿入体形状取得部５２は、そのようなインタフェースやデータリーダに限らず、それ自体が被挿入体形状情報を構成する機器であっても構わない。

パラメータ取得部５３は、例えば、撮像部３２の画角情報（レンズの焦点距離など）や、挿入部先端と被挿入体２との間に介在している空気・薬液などの所定材料の屈折率などの、位置関係演算部５４での演算に利用されるパラメータを取得するものである。該パラメータ取得部５３は、そのようなパラメータを外部から入力して取得しても良いし、予め記憶していても構わない。

位置関係演算部５４は、予め記憶してある挿入部３１の既知の形状情報と、上記挿入状態取得部５１で取得した挿入状態情報と、上記被挿入体形状取得部５２で取得した被挿入体形状情報と、上記パラメータ取得部５３が取得したパラメータと、上記撮像部３２が撮像した画像（撮像画像）と、に基づいて、被挿入体２に対する挿入部３１の位置関係、即ち、挿入部３１の全体や先端が被挿入体２内部のどこの部分を向いているのかを演算する。具体的には、位置関係演算部５４は、まず、挿入部３１の形状情報と挿入状態情報とに基づいて、挿入部先端の位置を演算し、上記挿入・回転検出部４と同様に撮像画像中の光学パターンの移動から挿入部先端の移動量及び移動方向、つまり挿入部先端の向いている方向（軸方向）を演算する。この演算の際、パラメータ取得部５３が取得したパラメータにより、補正を加える。そして、それらの演算結果と被挿入体形状情報とに基づいて、挿入部先端が向いている方向と被挿入体２との交点を演算する。即ち、位置関係演算部５８は、図４に示すように、挿入部先端が向いている方向（撮像方向７１）からなる直線と、被挿入体２の形状との交点７２、すなわち視野（撮像領域７３）中心を、撮像位置Ｐとして求める。

通常、観察対象の注目箇所は視野中心に捉えるので、視野の周辺よりも中心が重要であることが多い。なお、ここでは撮像位置Ｐとして交点を求める例を示したが、被挿入体形状情報に基づいて、挿入部先端の位置と被挿入体２の撮像面との距離から、撮像部３２が撮像している被挿入体２の領域である視野（撮像領域７３）を、撮像位置Ｐとして演算するようにしても良い。この場合、挿入部３１と被挿入体２との間に介在する所定材料の屈折率、撮像部３２の画角情報（レンズの焦点距離など）、等のパラメータを用いることで、より正確に撮像領域７３を求めることができる。このように撮像位置Ｐとして撮像領域７３を求めることにより、撮像部３２が撮像した範囲を把握することができる。また、視野（撮像領域７３）中の一部の領域７４または点を撮像位置Ｐとして演算するようにしても良い。例えば、撮像領域７３を正確に検出できない場合に、誤差を考慮して小さい領域を演算することで、撮像されていない範囲を撮像されたと誤検出されることを防ぐことができる。即ち、観察漏れを防ぐことができる。

位置関係演算部５４は、こうして求められた撮像位置Ｐを示す撮像位置情報を出力部５５及び記憶部５６に出力する。

出力部５５は、上記位置関係演算部５４の演算結果、即ち上記撮像位置Ｐ（例えば交点７２）を示す撮像位置情報を、挿入部先端が被挿入体２内部のどこの部分を向いているのか操作者が判断できるような形態で表示装置６に表示するための表示情報を作成し、それを表示装置６に出力する。

記憶部５６は、上記位置関係演算部５４の演算結果の少なくとも一部、及び、必要により撮像画像を保存する。

以上のような構成の観察支援装置５の動作を、図５を参照して説明する。
まず、被挿入体形状取得部５２により、被挿入体形状情報を取得する（ステップＳ１）。その後、挿入状態取得部５１によって、挿入部３１の被挿入体２内部への挿入状態情報を取得する（ステップＳ２）。そして、位置関係演算部５４によって、パラメータ取得部５３からのパラメータと、撮像部３２からの撮像画像とを取得して（ステップＳ３）、それら被挿入体形状情報、挿入状態情報、パラメータ及び撮像画像に基づいて、被挿入体２に対する挿入部３１の位置関係を演算する（ステップＳ４）。その後、その演算結果を、記憶部５６に記憶すると共に、出力部５５により出力する（ステップＳ５）。そして、上記ステップＳ２に戻って、上記ステップＳ２乃至ステップＳ５の動作を繰り返す。

このような動作により、観察支援装置５に接続された表示装置６には、図１（Ｃ）に示すような表示がなされる。即ち、本実施形態では、出力部５５は、撮像部３２からの撮像画像（撮像画像表示６１）と、被挿入体形状情報としての被挿入体２を所定の箇所で割った２次元図６２，６３とを、表示装置６に表示するような表示情報を作成して出力する。そしてさらに、この被挿入体２を所定の箇所で割った２次元図６２，６３上に、撮像位置Ｐつまり被挿入体２と挿入部先端の軸方向（撮像方向７１）との交点７２に関わる情報を表示するような表示情報を作成する。ここで、第１の２次元図６２は、図６（Ａ）に示すように、被挿入体２の形状を被挿入体２の座標においてＹ−Ｚ平面で割って左右に開いた状態を示す図であり、第２の２次元図６３は、第１の２次元図６２とは異なる視点の図として、図６（Ｂ）に示すように、被挿入体２の形状を被挿入体２の座標においてＸ−Ｚ平面で割って上下に開いた状態を示す図である。そして、出力部５５は、これらの２次元図６２，６３上に、撮像位置Ｐに関わる情報として、現在位置表示６４が表示されるような表示情報を作成する。

なお、この現在位置表示６４は、被挿入体２と挿入部先端の軸方向との交点７２そのものであっても良いが、上述したように、撮像領域７３とする、或いは、例えば交点７２を中心として撮像領域中の一部の領域７４とするように、ある程度の範囲を有するものとした方が、視認し易い。

また、出力部５５は、現在の撮像位置Ｐに関わる情報としての現在位置表示６４に加えて、挿入部３１の形状を示す挿入部形状概略表示６５が表示されるような表示情報とすることができる。即ち、挿入部先端の位置は上述したように位置関係演算部５４によって演算され、挿入部３１の形状情報は既知であるので、挿入部３１が被挿入体２にどのような挿入状態となっているのかを知ることができ、挿入部形状概略表示６５を行うことができる。

またさらに、出力部５５は、記憶部５６に記憶されている演算結果を使用して、位置軌跡表示６６が表示されるような表示情報とすることもできる。この位置軌跡表示６６に関しても、現在位置表示６４と同様、ある程度の範囲を持ったものとする。またこの場合、現在位置表示６４と位置軌跡表示６６とを区別可能とするために、互いの色や濃度、模様を変えたり、位置軌跡表示６６は点滅表示とする等、何らかの識別表示するような表示情報とすることが望ましい。この識別表示の有無や識別表示の形態は、操作者が選択できるようにしても良い。

また、既に観察した箇所、或いは今後又は再度観察が必要な箇所などに、操作者がマーキング６７できる機能を追加しても良い。例えば、操作部１２の所定ボタン操作に応じて、当該箇所の情報を記憶部５６に記憶すると共に、出力部５５がその箇所にマーキング６７を表示させるように表示情報を変更する。このマーキング６７の箇所は、交点７２、撮像領域７３、撮像領域中の一部の領域７４のうち何れかに固定されていても良いし、操作者が任意に設定できるようにしても良い。このようなマーキング６７を可能とすることで、被挿入体２についての観察済み箇所や再観察が必要な箇所、あるいは何らかの処置（除去、採取、補修、など）が必要な箇所、などを確認することが可能となる。さらには、異なる機会に当該被挿入体２の再観察を行う際に前回の要再観察箇所を特定したり、素早く当該箇所に挿入部先端を到達させる場合に利用することが可能となる。また、記憶について、マーキング６７した箇所の情報のみでなく、挿入部３１の挿入方向などを共に記憶していけば、観察後に確認する場合や、次回同じ状態で観察する場合などに活用することができる。なお、観察済み箇所、要再観察箇所、要処置箇所それぞれが何れの箇所であるのかを特定するための情報も共に設定記憶できるようにしておけば、表示の形態もそれに応じて色や形を変更して、それぞれのマーキング６７の意味を操作者が容易に判断できるようになる。

また、このマーキング６７に関しては、観察支援装置５にポインティングデバイスや視認認識デバイスを接続し、操作者が表示装置６に表示された撮像画像表示６１あるいは２次元図６２，６３上の任意の範囲または点を指定できるようにしても良い。

また、図１（Ｃ）に示す２次元図６２，６３では、領域分割表示６８を行っている。これは、学会の通説や規定、標準的に利用されている領域、または予め決めておいた分割方法で２つ以上の領域分割をしているものである。このようにしておくと、被挿入体２のどこの部分であるのかを操作者が判断することが容易となる。

なお、挿入・回転検出部４は、上述のように光学的に被挿入体２に対する挿入部３１の形状及び撮像開口部３４の位置と向きを検出するものとしたが、その他の方法で検出しても良い。例えば、挿入部３１の内部の少なくとも撮像開口部３４の近傍にコイルを設け、コイルに電流を流して磁界を発生させ、この磁界を外部で受信する、または、外部で発生させた磁界分布をコイルで受信することにより、コイルすなわち撮像開口部３４の位置や向きを検出できる。

以上のように、本実施形態によれば、挿入状態取得部５１によって、被挿入体２内部に挿入される挿入部３１の（少なくとも一部の、）（被挿入体２内部への）挿入状態情報（例えば、挿入部３１のある点（挿入部先端）の位置・向き）を取得し、被挿入体形状取得部５２によって、被挿入体２の形状情報を取得し、それら挿入状態情報と被挿入体形状情報を位置関係演算部５４に入力して、被挿入体２に対する挿入部３１の位置関係（挿入部３１全体や挿入部先端の位置や向き）を演算し、出力部５５によって、その位置関係演算部５４の演算結果を表示情報として出力するようにしているので、被挿入体内のどこを撮像しているのかを判断するための情報を提供できる。すなわち、目で直接見ることのできない被挿入体内部に挿入部３１を有する挿入具３で観察する際、表示装置６が表示している撮像画像が被挿入体２のどの当たりの場所で、どの方向から観察しているかを理解することができる。また、被挿入体２内の観察済み箇所、または未観察箇所を容易に識別することが可能となり、見落としを防止することが可能となる。

また、位置関係演算部５４は、挿入部先端の位置と、被挿入体２の撮像面との距離から被挿入体２に対する挿入部３１の位置関係を求め、出力部５５は、この位置関係を表示情報として出力するので、表示装置６に被挿入体２の観察範囲（被挿入体２に対する挿入部３１の位置関係）を表示することができる。このため、挿入部先端で被挿入体２内を観察していく際、次に観察すべき箇所に素早く動かしていくことができる。また、見落とし無く挿入部３１を動かしていくことができる。

また、被挿入体２と挿入部３１との間に生理食塩水や薬液などの所定材料があった場合に、屈折率差により光の屈折が発生し、撮像部３２による被挿入体２の観察範囲（被挿入体２に対する挿入部３１の位置関係）が異なるが、位置関係演算部５４は、さらに、挿入部３１と被挿入体２との間に介在する所定材料の屈折率をパラメータ取得部５３から入力して被挿入体２に対する挿入部３１の位置関係を求めるようにしているので、より正確な観察範囲を得ることが可能となる。

さらに、撮像部３２の撮像範囲７５（図４参照）は、撮像部３２の画角情報（レンズの焦点距離など）によっても変わるため、位置関係演算部５４は、撮像部３２の画角情報をパラメータ取得部５３から入力して被挿入体２に対する挿入部３１の位置関係を求めるようにしているので、より正確な観察範囲を得ることが可能となる。

また、位置関係演算部５４の演算結果の少なくとも一部を保存する記憶部５６をさらに有し、該記憶部５６に、表示装置６に表示した被挿入体２の観察範囲（被挿入体２に対する挿入部３１の位置関係）を記憶していくことにより、被挿入体２の内壁に対して挿入部先端で観察した箇所と未観察の箇所とを識別していくことが可能となる。例えば、表示装置６に現在位置表示６４として表示している観察範囲を、別の箇所に移動していく際に消去することなく位置軌跡表示６６として残していけば、該位置軌跡表示６６によって、観察済みの箇所と未観察箇所とを容易に判断することが可能である。この構成により、見落とし無く被挿入体２全体を観察することが可能となる。

また、出力部５５は、位置関係演算部５４の結果として、２つ以上の異なる所定状態を区別可能な方法で表示する、例えば区別可能なマーキングを表示する表示情報を出力するようにしているので、複数の状態（現在の観察範囲、癌、炎症、欠損、傷、腐食など）を見た目で区別することが可能となる。この複数の状態を記憶しておけば、異なる時間に再度同じ場所を観察したいときに所定の状態にある箇所のみを観察することができ、観察効率を向上させることが可能となる。

なお、所定状態の場合分けは、挿入部３１の操作者が選択可能とすることができる。この場合、操作者の意思に基づいて場合分けすることができるため、再観察の基準などを操作者や操作者の属する分野基準で任意に設定することが可能となる。つまり、医療分野や工業分野など、それぞれの分野に応じた使い分けをすることが可能となる。

また、記憶部５６は、撮像画像を、位置関係演算部５４の演算結果と関連付けて記憶しておくようにすることで、所定箇所の状態について、記憶したときの観察状態と、現在の観察状態とを比較して、その違い・変化を得ることが可能となる。

また、出力部５５は、複数の領域に領域分割表示がされている表示情報を出力するようにしている。このように、表示画面に学会の通説や規定、または標準的に利用されている領域が判るように領域分割表示されていると、観察範囲を表示している際に、どこの部分を観察しているかを理解し易くすることが可能となる。

なお、出力部５５は、同一の領域を異なる領域分割表示とする表示情報を出力することで、３次元で表される被挿入体２を２次元で表現した場合、奥行き方向に当たる部分は、見えなくなったり、見え難くなったりするが、これを防ぐことが可能となる。従って、見落とし箇所やマーキング位置を確実に認識することが可能となる。

撮像位置を表示する例を記載したが、これに加えて、挿入部先端の位置、向き、さらには、挿入部先端の位置、向きの履歴を表示しても良い。このことを、図７（Ａ）乃至（Ｃ）、及び図８を参照して説明する。図７（Ａ）乃至（Ｃ）は、分岐のある被挿入体２に挿入部３１を挿入した際の、表示装置６に表示される内容を示している。

位置関係演算部５４は、挿入部先端の位置、向きを演算し、出力部５５及び記憶部５６に出力する。なお、挿入部先端の位置、向きの演算は上記演算と同様のため、ここでは説明を省略する。

図７（Ａ）は、被挿入体の形状を示す２次元図６２Ａ上に、挿入部３１の現時点での形状を示す挿入部形状概略表示６５と、挿入部３１の先端位置（である撮像開口部３４の位置）の現在の位置を表わす現在位置表示６４Ａと、撮像開口部３４の位置の軌跡である位置軌跡表示６６Ａと、を示したものである。なお、撮像位置の軌跡である位置軌跡表示６６は省略している。先端位置の軌跡表示により、先端位置（である撮像開口部３４の位置）が被挿入体２のどの位置を通過し、現時点でどの位置にあるかがわかる様になる。

先端位置（である撮像開口部３４の位置）が分かることで、撮像対象のどの部分まで到達しているかが分かる。現在位置が正確に分かることで、この情報を用いて、現在位置に応じてすべき観察・処置や、現在位置から狙いの位置への経路の検討を、この場所であったらという推定無しに、行うことができる。そのため、狙いの位置へ行くのに試行錯誤を繰り返したり、狙いの位置に到達したか、観察画像を見るなど様々な方法で確認したりする必要が無くなる。その結果、現在位置から狙いの位置まで最短コースに近い経路を取って１回で到達できる可能性が上がり、時間短縮出来ると共に、位置に関する状況把握が出来ていることにより、落ち着いた、自信を持った操作につながる。

図７（Ａ）に示した、先端位置（である撮像開口部３４の位置）の履歴としての軌跡に加え、挿入部先端（である撮像開口部３４）が向いている方向を表示しても良い。図７（Ｂ）では、挿入部先端の向きである、撮像開口部３４が向いている方向を矢印６９で示している。撮像開口部３４の現在の位置と向きだけでなく、撮像開口部３４の軌跡上の幾つかの位置で方向の情報を矢印６９で加えている。先端位置の軌跡と向きの表示により、挿入部先端の撮像開口部３４の位置情報である、先端位置の軌跡と、どの方向を向きながら位置が変化したかがわかる様になる。

なお、撮像のための光学系にもよるが、本例では、挿入部先端にある撮像開口部３４が向いている方向が視野中心であり、撮像画像の中央である。

先端位置と向きが分かることで、撮像対象での到達位置と向きが分かる。現在位置と向きから、観察視野方向や視野中心が分かる。到達位置と向きや観察視野方向や視野中心が正確に分かることで、この情報を用いて、現在位置と向きに応じてすべき観察・処置や、現在位置から狙いの位置への経路、および、移動する際の挿入部３１の形状や操作方法の検討を、現在位置と向きがこうであったらという推定無しに、行うことができる。特に挿入部先端の向きが分かっていることで、狙いの位置や向きに到達するための挿抜や湾曲などの操作方法・手順が検討できるようになる。

挿入部先端の向き、即ち、撮像開口部３４が向いている方向は、挿入部先端の姿勢、または、回転を含めて表すものとして三次元的に示しても良い。

挿入部先端に固定された座標系、即ち、挿入部先端の位置や姿勢が変化しない座標系の回転を挿入部先端の「三次元の方向」と定義した時、挿入部先端の三次元の方向の軌跡を図７（Ｃ）に示す。図７（Ｃ）では、三次元の方向（姿勢）を示すために、挿入部先端の向き、即ち、撮像開口部３４の向いている方向を三方向（ｘ方向、ｙ方向、ｚ方向）の矢印６９Ａで示している。

また、回転を含めた三次元方向に関する情報を、撮像部３２が撮像した画像と共に表示するようにしても良い。

このように、挿入部先端の位置と三次元の方向が分かることで、例えば、挿入部先端の撮像位置での回転を含めた撮像方向がわかる様になる。また、撮像以外に治療などでも先端向き周りの回転の影響を考慮することができるようになる。

撮像位置での回転を含めた撮像方向については、例えば、図８に示すように、撮像開口部３４が向いている方向が同じ場合でも、挿入部３１が撮像方向周りに回転すると撮像対象８１に対する撮像開口部３４も回転する。図８では１８０°回転しているため、上下が逆になっており、このような場合、撮像部３２が撮像した撮像画像Ｉも上下が逆に表示される。こうした観察や治療時の撮像方向周りの回転の影響も考慮することが可能となり、撮像画像での天地を誤ったりせず、正確に把握することができるようになる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
本第２実施形態は、挿入具３が、図９に示すような軟性内視鏡装置の場合の例である。このような軟性内視鏡装置は、挿入部３１が可撓性の管状部材である点が、上記第１実施形態で説明したような硬性内視鏡装置とは異なっている。そして、この挿入部３１は、図１０に示すように、挿入部先端近傍に、湾曲部３７を有しており、該湾曲部３７は、特に図示はしていないが、操作部３３に設けられた操作レバーにワイヤによって繋がっている。これにより、操作レバーを動かすことでワイヤが引かれ、湾曲部３７の湾曲操作が可能となっている。

このような軟性内視鏡装置では、上記第１実施形態で説明したような硬性内視鏡装置のように挿入部３１の形状は固定されておらず、被挿入体２の内部形状、操作者の湾曲操作に応じて、挿入部３１の形状が変化する。

そのため、本第２実施形態に係る観察装置１では、図１１に示すように、挿入部３１内部に、ファイバ形状センサ９が設置されている。このファイバ形状センサ９は、複数の光ファイバから構成され、１本の光ファイバに一箇所の湾曲検出部９１を有している。この湾曲検出部９１は、光ファイバのクラッドが除去されコアが露出されており、光吸収部材が塗布されて構成されている。このような湾曲検出部９１では、図１２（Ａ）乃至（Ｃ）に示すように、湾曲部３７の湾曲に応じて該湾曲検出部９１で吸収される光の量が変化するため、光ファイバ９２内を導光する光の量が変化する、即ち光伝達量が変化する。

このような構成のファイバ形状センサ９は、図１３に示すＸ軸方向の湾曲と、Ｙ軸方向の湾曲を検出するために、それぞれＸ軸方向、Ｙ軸方向に向いている２つの湾曲検出部９１が対となるように２本の光ファイバ９２が配置され、一箇所の湾曲量を検出する。そして、対となっている湾曲検出部９１が挿入部３１の長手方向（挿入方向）に並んで配置されるように、複数の光ファイバ９２が配置されている。そして、不図示の光源からの光を各光ファイバ９２で導光し、各光ファイバ９２の湾曲量によって変化する光伝達量を不図示の受光部で検出する。こうして検出された光伝達量は、挿入部３１の変位量情報の一つとして、観察支援装置５に出力される。

なお、湾曲検出部９１は、挿入部３１の湾曲部３７にだけでなく、それよりも操作部側にも設けることで、挿入部３１の可撓性により被挿入体２の内部構造に応じて自由に湾曲した挿入部３１の湾曲部３７以外の部分の湾曲状態も検出できるようにしておくことが望ましい。

なお、図１３に示すように、挿入部３１内部には、照明用光ファイバ３８と撮像部用配線３９も設けられている。照明用光ファイバ３８によって、操作部３３内に配された不図示の照明用光源からの光を導光し、挿入部先端から照明光として出射することで、撮像部３２は、暗部である被挿入体２の内部を撮像することができる。

また、本実施形態に係る観察支援装置５は、図１４に示すように、上記第１実施形態の構成に加えて、形状演算部５７を有する。本実施形態における挿入状態取得部５１は、上記ファイバ形状センサ９が検出した変位量情報としての各光ファイバ９２の湾曲量によって変化する光伝達量に基づいて、被挿入体２内部への挿入状態情報として、さらに、挿入部３１の各湾曲検出部９１の位置及び向きを取得する。形状演算部５７は、この挿入状態情報としての位置及び向きに基づいて挿入部３１の形状を演算する。また、本実施形態における位置関係演算部５４は、この形状演算部５７が求めた挿入部３１の形状情報と、上記挿入状態取得部５１で取得した挿入状態情報と、上記被挿入体形状取得部５２で取得した被挿入体形状情報と、上記パラメータ取得部５３が取得したパラメータと、に基づいて、被挿入体２に対する挿入部３１の位置関係、即ち、撮像位置Ｐを求める。なお、挿入部先端の移動量及び移動方向、つまり挿入部先端の向いている方向（軸方向）は、挿入部３１の形状情報と被挿入体形状情報とから求めることができるので、撮像位置Ｐを演算する際に、本実施形態では、撮像画像を用いる必要はない。

以上のような構成の観察支援装置５の動作を、図１５を参照して説明する。
まず、被挿入体形状取得部５２により、被挿入体形状情報を取得する（ステップＳ１）。その後、挿入状態取得部５１によって、挿入部３１の被挿入体２内部への挿入状態情報を取得する（ステップＳ２）。そして、形状演算部５７によって、挿入状態取得部５１が取得した挿入状態情報に基づいて挿入部３１の形状を演算する（ステップＳ６）。その後、位置関係演算部５４によって、パラメータ取得部５３からのパラメータを取得して（ステップＳ７）、それら被挿入体形状情報、挿入状態情報、挿入部３１の形状情報及びパラメータに基づいて、被挿入体２に対する挿入部３１の位置関係を演算する（ステップＳ４）。そして、その演算結果を、記憶部５６に記憶すると共に、出力部５５により出力した後（ステップＳ５）、上記ステップＳ２に戻って、上記ステップＳ２，Ｓ６，Ｓ７，Ｓ４，Ｓ５の動作を繰り返す。

このような動作により、観察支援装置５に接続された表示装置６には、図１６に示すような表示がなされる。なお、本実施形態では、挿入部３１の形状を示す挿入部形状概略表示６５は、形状演算部５７が求めた挿入部３１の形状に対応したものとなる。

従って、挿入部３１の形状が既知でない場合にも、挿入部３１の形状を演算することで、上記第１実施形態と同様に動作して、同様の効果が得られる。

以上、実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、図５或いは図１５のフローチャートに示した機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

また、出力部５５が出力する表示情報つまり表示装置６への表示形態も、２次元図６２，６３のような表示に限定するものではない。例えば、図１７のように３次元図９０で表示するようなものでも良い。

さらに、図１８に示すように、挿入部形状概略表示６５上に、湾曲検出部１００の位置を示す湾曲検出部表示６５Ａを重畳して表示することも可能である。

２…被挿入体、 ３…挿入具、 ４…挿入・回転検出部、 ５…観察支援装置、 ６…表示装置、 ９…ファイバ形状センサ、 １２…操作部、 ２１…挿入口、 ３１…挿入部、 ３２…撮像部、 ３３…操作部、 ３４…撮像開口部、 ３５…光供給部、 ３６…処置用開口部、 ３７…湾曲部、 ３８…照明用光ファイバ、 ３９…撮像部用配線、 ４１…光源、 ４２…投光レンズ、 ４３…受光レンズ、 ４４…光学パターン検出部、 ４５…変位量算出部、 ５１…挿入状態取得部、 ５２…被挿入体形状取得部、 ５３…パラメータ取得部、 ５４…位置関係演算部、 ５５…出力部、 ５６…記憶部、 ５７…形状演算部、 ５８…位置関係演算部、 ６１…撮像画像表示、 ６２…第１の２次元図、 ６２Ａ…２次元図、 ６３…第２の２次元図、 ６４，６４Ａ…現在位置表示、 ６５…挿入部形状概略表示、 ６５Ａ…湾曲検出部表示、 ６６，６６Ａ…位置軌跡表示、 ６７…マーキング、 ６８…領域分割表示、 ６９，６９Ａ…矢印、 ７１…撮像方向、 ７２…交点、 ７３…撮像領域、 ７４…撮像領域中の一部の領域、 ７５…撮像範囲、 ８１…撮像対象、 ９１…湾曲検出部、 ９２…光ファイバ、 １００…３次元図。

Claims (18)

1. 被挿入体内部に挿入される挿入部と、
   前記挿入部に配置され、前記被挿入体を撮像する撮像部と、
   前記挿入部の挿入状態情報を取得する挿入状態取得部と、
   前記挿入部を前記被挿入体に挿入する前に前記被挿入体の形状情報を取得する被挿入体形状取得部と、
   前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
   前記位置関係演算部の演算結果を表示情報として出力する出力部と、
   を有することを特徴とする観察装置。
2. 前記位置関係演算部は、前記被挿入体に対する前記挿入部の先端の計算上の位置関係を演算することを特徴とする請求項１に記載の観察装置。
3. 前記位置関係演算部は、前記挿入部の先端の計算上の位置関係と、前記被挿入体の形状情報を用いて前記撮像部の撮像位置を求め、
   前記出力部は、前記撮像位置を前記表示情報として出力することを特徴とする請求項２に記載の観察装置。
4. 前記位置関係演算部の演算結果の少なくとも一部を保存する記憶部をさらに有することを特徴とする請求項１乃至３の何れかに記載の観察装置。
5. 前記挿入部の挿入状態を検出する検出部をさらに有し、
   前記検出部は、
   前記挿入部の内部に搭載され、前記挿入部の形状を検出する形状センサと、
   前記被挿入体への前記挿入部の挿入口に設けられ、前記挿入部が通過するときの挿入量及び回転量を検出する挿入部センサと、
   の少なくとも一方を含む、ことを特徴とする請求項１乃至４の何れかに記載の観察装置。
6. 前記挿入状態情報に基づいて、前記挿入部の形状を演算する形状演算部をさらに有し、
   前記出力部は、前記形状演算部の演算結果を前記表示情報として出力することを特徴とする請求項１乃至５の何れかに記載の観察装置。
7. 被挿入体内部に挿入される挿入部と、
   前記挿入部に配置され、前記被挿入体を撮像する撮像部と、
   前記挿入部の挿入状態情報を取得する挿入状態取得部と、
   前記被挿入体の形状情報を取得する被挿入体形状取得部と、
   前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
   前記位置関係演算部の演算結果を表示情報として出力する出力部と、
   を有し、
   前記位置関係演算部は、さらに前記挿入部と前記被挿入体との間に介在する所定材料の屈折率を入力して前記被挿入体に対する前記挿入部の計算上の位置関係を求めることを特徴とする観察装置。
8. 被挿入体内部に挿入される挿入部と、
   前記挿入部に配置され、前記被挿入体を撮像する撮像部と、
   前記挿入部の挿入状態情報を取得する挿入状態取得部と、
   前記被挿入体の形状情報を取得する被挿入体形状取得部と、
   前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
   前記位置関係演算部の演算結果を表示情報として出力する出力部と、
   を有し、
   前記位置関係演算部は、さらに前記撮像部の画角情報を入力して前記被挿入体に対する前記挿入部の計算上の位置関係を求めることを特徴とする観察装置。
9. 被挿入体内部に挿入される挿入部と、
   前記挿入部に配置され、前記被挿入体を撮像する撮像部と、
   前記挿入部の挿入状態情報を取得する挿入状態取得部と、
   前記被挿入体の形状情報を取得する被挿入体形状取得部と、
   前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
   前記位置関係演算部の演算結果を表示情報として出力する出力部と、
   を有し、
   前記出力部は、前記位置関係演算部の結果として、再観察又は処置の必要性の基準によって場合わけされた、前記被挿入体の２つ以上の異なる所定状態を区別可能な方法で表示する表示情報を出力することを特徴とする観察装置。
10. 前記記憶部は、前記撮像部の撮像画像を、前記位置関係演算部の演算結果と関連付けて記憶しておくことを特徴とする請求項４に記載の観察装置。
11. 被挿入体内部に挿入される挿入部と、
    前記挿入部に配置され、前記被挿入体を撮像する撮像部と、
    前記挿入部の挿入状態情報を取得する挿入状態取得部と、
    前記被挿入体の形状情報を取得する被挿入体形状取得部と、
    前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
    前記位置関係演算部の演算結果を表示情報として出力する出力部と、
    を有し、
    前記出力部は、前記被挿入体を所定の箇所で割った表示情報を出力することを特徴とする観察装置。
12. 前記出力部は、前記被挿入体を複数の面で割った表示情報を出力することを特徴とする請求項１１に記載の観察装置。
13. 前記出力部から出力された前記表示情報を表示する表示装置をさらに有することを特徴とする請求項１に記載の観察装置。
14. 被挿入体内部に挿入される挿入部と、
    前記挿入部に配置され、前記被挿入体を撮像する撮像部と、
    前記挿入部の挿入状態情報を取得する挿入状態取得部と、
    前記被挿入体の形状情報を取得する被挿入体形状取得部と、
    前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
    前記位置関係演算部の演算結果を表示情報として出力する出力部と、
    前記出力部から出力された前記表示情報を表示する表示装置と、
    を有し、
    前記出力部は、前記表示情報に、前記位置関係演算部の現在の演算結果よりも前の演算結果を前記表示装置に軌跡表示として表示させる情報を含めることを特徴とする観察装置。
15. 前記位置関係演算部は、前記被挿入体に対する前記挿入部の先端の方向をさらに求め、
    前記出力部は、前記挿入部の先端の方向を前記表示情報として出力することを特徴とする請求項２に記載の観察装置。
16. 前記位置関係演算部は、前記挿入部の先端の、前記被挿入体に対する前記挿入部の先端の方向周りの回転量をさらに求め、
    前記出力部は、前記挿入部の先端の方向周りの回転量を前記表示情報として出力することを特徴とする請求項２に記載の観察装置。
17. 被挿入体に挿入部を挿入することで前記被挿入体内部を撮像する観察装置に用いられる観察支援装置において、
    前記挿入部の挿入状態情報を取得する挿入状態取得部と、
    前記挿入部を前記被挿入体に挿入する前に前記被挿入体の形状情報を取得する被挿入体形状取得部と、
    前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算部と、
    前記位置関係演算部の演算結果を表示情報として出力する出力部と、
    を有することを特徴とする観察支援装置。
18. コンピュータに、
    被挿入体に挿入部を挿入することで前記被挿入体内部を撮像する観察装置における前記挿入部の挿入状態情報を取得する挿入状態取得手順と、
    前記挿入部を前記被挿入体に挿入する前に前記被挿入体の形状情報を取得する被挿入体形状取得手順と、
    前記挿入状態情報と前記被挿入体の形状情報とを入力し、前記被挿入体に対する前記挿入部の計算上の位置関係を演算する位置関係演算手順と、
    前記位置関係演算手順の演算結果を表示情報として出力する出力手順と、
    を実行させるためのプログラム。

Images