JP4656988B2 - 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 - Google Patents
内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 Download PDFInfo
- Publication number
- JP4656988B2 JP4656988B2 JP2005113922A JP2005113922A JP4656988B2 JP 4656988 B2 JP4656988 B2 JP 4656988B2 JP 2005113922 A JP2005113922 A JP 2005113922A JP 2005113922 A JP2005113922 A JP 2005113922A JP 4656988 B2 JP4656988 B2 JP 4656988B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- endoscope
- insertion portion
- endoscope insertion
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、内視鏡挿入部の挿入においてその挿入を阻害等している状況を提示する内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法に関する。
内視鏡による挿入観察を行う際、被検体となる体腔内の管腔は、例えば、大腸や小腸等のように曲がっている。そのため、内視鏡挿入部が管腔のどの位置まで挿入されているか、また内視鏡挿入部がどのような形状になっているかが判明すると、内視鏡による観察処置の操作性が向上する。
そのため、従来より、内視鏡挿入時において屈曲状態等を知ることができる装置として、ソースコイル等を用いて内視鏡の挿入形状を検出する内視鏡形状検出装置が提案されている。
ここで、内視鏡による被検体の観察中、術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中してしまう傾向がある。そして、術者の意識は、内視鏡形状検出装置により生成表示される挿入形状の画像に集中されないことが多い。術者は、内視鏡挿入部の挿入進行に障害が生じて初めて、挿入形状の画像に注目することになる。そのことが、内視鏡観察の進行の妨げおよび、被検体に対する不快感を生じさせる要因となる。
また、一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認や内視鏡操作の習得訓練に用いられる。
そのため、特開２００４−１４７７７８号公報には、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生して、自由に対比可能な内視鏡画像処理装置が提案されている。
特開２００４−１４７７７８号公報
前記提案に係る装置は、例えば大腸に内視鏡を挿入した際の内視鏡挿入部の形状を、内視鏡挿入形状観測装置により検出するとともに、画像処理装置により形状解析を行い、内視鏡挿入部の形状に関する情報を提供する。
しかし、ここで提供される内視鏡挿入部の形状情報は、大腸の腸壁から受ける力、詳しくは腸壁と内視鏡挿入部との摩擦力と、内視鏡挿入部が腸壁から受ける反発力とを考慮していない。
内視鏡の挿入性の難易度は、内視鏡挿入部の形状により決定されるものではなく、内視鏡挿入部と挿入する生体との接触から生じる外力の有無に左右される。その外力の内視鏡挿入部上における発生位置および、外力の発生要因とその要因の情報を、従来の内視鏡挿入形状観測装置は示していない。
また、提供される形状情報は、典型的な形状パターン、つまりループの有無および、アングルの有無への分類情報である。
内視鏡の挿入性の難易度は、内視鏡挿入部の形状により決定されるものではなく、内視鏡挿入部と挿入する生体との接触から生じる外力の有無に左右される。その外力の内視鏡挿入部上における発生位置および、外力の発生要因とその要因の情報を、従来の内視鏡挿入形状観測装置は示していない。
また、提供される形状情報は、典型的な形状パターン、つまりループの有無および、アングルの有無への分類情報である。
しかし、ループやアングルが生じていても、内視鏡の挿入性に対する難易度を上昇させる度合が小さい場合がある。例えば、ループが形成されていても、そのループが生体の形状に沿ったものであれば、挿入性を阻害する度合が小さい場合があり得る。
従来の内視鏡挿入形状観測装置は、形状パターンによる定性的な挿入難易性と、形状パターンに応じた最大公約数的な挿入難易性を提示するのみである。例えば、ループが形成されていた場合、挿入は難しいという定性的情報をその装置は提示するのみである。
また、内視鏡挿入部の軟性部材の材質変更あるいは太さの変更により、挿入部硬度などの内視鏡の物理特性が変われば、たとえ、内視鏡挿入部が同一の形状であっても、ユーザの内視鏡操作に追随して動作する内視鏡挿入部の挙動が変わる。よって、ある内視鏡では挿入を阻害する形状パターンであっても、別の物理特性をもつ内視鏡では、挿入を阻害しない形状パターンとなる場合があり得る。
従って、術者に対して、内視鏡挿入部の形状情報が提示されても、次のような問題がある。
すなわち、術者は、その内視鏡挿入部のいずれの個所が、挿入阻害要因となっているか、提示された形状情報のみからは判断できない。
すなわち、術者は、その内視鏡挿入部のいずれの個所が、挿入阻害要因となっているか、提示された形状情報のみからは判断できない。
また、現在の内視鏡挿入部の形状が挿入を阻害するか否かの判断は、定性的にしか提示されておらず、どの程度難しいのか、術者は提示された形状に関する情報のみからは判断できない。
本発明は前述した問題に鑑みてなされたものであり、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を提供することを目的にしている。
本発明は前述した問題に鑑みてなされたものであり、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を提供することを目的にしている。
本発明の内視鏡挿入形状解析装置は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出手段と、前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段と、前記形状検出手段が検出した情報を基にして、前記内視鏡挿入部上に参照点を設定し、該参照点における、内視鏡挿入部の軸方向に対する移動量を算出し、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を境にして、内視鏡挿入部先端側では軸方向に対する移動量が負の値であり、さらに内視鏡挿入部基端側では軸方向に対する移動量が正の値である場合に、前記内視鏡挿入を阻害している特定部分と判定する形状解析手段と、前記表示手段に、前記形状解析手段が求めた前記特定部分を指示し表示する指示手段と、を有することを特徴としている。
本発明によれば、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を実現させることができる。
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１から図７は、第１の実施の形態に係り、図１は、電子内視鏡システムの全体構成を示すブロック図、図２は、ソースコイルが内蔵された内視鏡挿入部と、ソースコイルの座標を示す関係図、図３は、挿入形状データの構造を示すフォーマット図、図４は、ディスプレイ上に表示される解析ウインドウの構成図、図５は、検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図、図６は、図５における形状解析処理の詳細なフローチャート図、図７は、挿入部形状画像に「推進停止」が重畳表示された形状図である。
（第１の実施の形態）
図１から図７は、第１の実施の形態に係り、図１は、電子内視鏡システムの全体構成を示すブロック図、図２は、ソースコイルが内蔵された内視鏡挿入部と、ソースコイルの座標を示す関係図、図３は、挿入形状データの構造を示すフォーマット図、図４は、ディスプレイ上に表示される解析ウインドウの構成図、図５は、検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図、図６は、図５における形状解析処理の詳細なフローチャート図、図７は、挿入部形状画像に「推進停止」が重畳表示された形状図である。
図１に示すように、内視鏡挿入形状解析装置としての電子内視鏡システム１は、内視鏡装置２と、内視鏡挿入形状観測装置３、および画像処理装置４から構成されている。
内視鏡装置２は、電子内視鏡２１、ビデオプロセッサ２２、光源装置２３および、観察モニタ２４から構成されている。
電子内視鏡２１は、挿入部２１ａ内に設けられた図示しないライトガイドにより、挿入部２１ａの先端部から管腔内の観察部位を照明する観察光が照射されるように構成されている。電子内視鏡２１は、被検体である体腔の管腔内に挿入される細長の挿入部２１ａ先端に、図示しない電子撮像素子が設けられている。さらに、電子内視鏡２１は、その電子撮像素子が駆動制御され、管腔内の観察部位の撮像映像信号を生成し出力する。
さらに、電子内視鏡２１の挿入部２１ａの先端部分には、湾曲部２１ｂが設けられ、挿入部２１ａ基端側に設けられた操作部２１ｃにおいて湾曲操作可能になっている。
また、電子内視鏡２１の操作部２１ｃには、レリーズスイッチ２５が設けられている。さらに、操作部２１ｃには、ビデオプロセッサ２２との間において前記電子撮像素子を駆動制御しかつ撮像生成された撮像映像信号を送受信するためのケーブルが設けられている。また、操作部２１ｃには、光源装置２３からの観察光を前記ライトガイドに導くライトガイドケーブル等が設けられている。
また、電子内視鏡２１には、管腔における挿入部の挿入位置および形状を検出するための検出機能を構成する後述のソースコイルが設けられている。その挿入の位置および形状検出機能は、複数のソースコイルと、内視鏡挿入形状観測装置３に設けられた複数のセンスコイルを有するセンスコイルユニット３１とからなっている。尚、複数のソースコイルは、内視鏡の挿入部２１ａに、内視鏡の種類ごとに決定される所定間隔に配置されている。
ビデオプロセッサ２２は、電子内視鏡２１の電子撮像素子を駆動制御する。さらに、ビデオプロセッサ２２は、電子撮像素子により光電変換されて撮像生成された動画の映像信号を所定の信号処理を行い、輝度信号と色信号からなるＹ／Ｃ信号または、ＲＧＢ信号等を生成する。
そのビデオプロセッサ２２により生成された輝度信号と色信号からなるＹ／Ｃ信号または、ＲＧＢ信号は、観察モニタ２４と画像処理装置４へと直接出力されるようになっている。
また、ビデオプロセッサ２２は、内視鏡２１のレリーズスイッチ２５が操作されると、撮像画像の静止画像の出力指示が可能となっている。
尚、ビデオプロセッサ２２には、内視鏡検査に関する検査情報を入力する図示しない機能を有している。
また、ビデオプロセッサ２２は、内視鏡２１のレリーズスイッチ２５が操作されると、撮像画像の静止画像の出力指示が可能となっている。
尚、ビデオプロセッサ２２には、内視鏡検査に関する検査情報を入力する図示しない機能を有している。
光源装置２３は、照明光源である図示しないランプと、そのランプの図示しない点灯回路等からなっている。光源装置２３は、ランプ点灯時に投射された照明光を電子内視鏡２１のライトガイドへと供給し、照明光は、挿入部２１ａ先端から管腔の観察部位へと投射される。
観察モニタ２４は、前記ビデオプロセッサ２２において生成されたＹ／Ｃ信号またはＲＧＢ信号等を基に、内視鏡画像を表示するものである。
内視鏡挿入形状観測装置３は、内視鏡装置２の周辺装置であり、センスコイルユニット３１と、形状処理装置３２と、モニタ３３とから構成されている。センスコイルユニット３１は、電子内視鏡２１の挿入部２１ａに設けられた複数のソースコイルからの磁界を検出するユニットである。形状処理装置３２は、そのセンスコイルユニット３１によって検出された磁界に基づいて内視鏡挿入部の形状を推定する装置である。モニタ３３は、その形状処理装置３２によって推定された内視鏡挿入部の形状を表示する装置である。
形状処理装置３２は、ソースコイルを駆動する駆動信号を電子内視鏡２１に出力してソースコイルに磁界を発生させる。形状処理装置３２は、発生された磁界を検出したセンスコイルユニット３１からの検出信号に基づいて、各ソースコイルの位置座標データの算出し、その算出された位置座標データから内視鏡挿入部の形状を推定している。また、形状処理装置３２は、推定した内視鏡挿入部の形状をモニタに表示するための挿入部形状画像信号を生成する。さらに、形状処理装置３２は、画像処理装置４に出力する内視鏡挿入部の形状を示す３次元座標情報および、形状表示属性等の挿入形状データを生成するように構成されている。
以上のように、複数のソースコイル、センスコイルユニット３１、形状処理装置３２が形状検出手段を構成している。
尚、内視鏡挿入形状観測装置３において、形状処理装置３２により処理生成されてモニタ３３に表示される挿入部形状画像の回転角および、拡大縮小等の形状表示属性は、図示しない操作パネルからの指示入力により、変更可能となっている。
さらに、形状処理装置３２により生成された挿入形状データは、画像処理装置４へ出力可能となっている。
尚、内視鏡挿入形状観測装置３は、内視鏡検査中、挿入形状データを連続的に画像処理装置４へ出力するとともに、電子内視鏡２１に設けられているレリーズスイッチ２５の操作時の挿入形状データのみを出力することもできる。
さらに、形状処理装置３２により生成された挿入形状データは、画像処理装置４へ出力可能となっている。
尚、内視鏡挿入形状観測装置３は、内視鏡検査中、挿入形状データを連続的に画像処理装置４へ出力するとともに、電子内視鏡２１に設けられているレリーズスイッチ２５の操作時の挿入形状データのみを出力することもできる。
画像処理装置４は、パーソナルコンピュータ４１（以下、単にＰＣと称する）と、マウス４２と、キーボード４３とから構成されている。マウス４２とキーボード４３は、ＰＣ４１に各種指示入力するための入力装置である。ディスプレイ４４は、ＰＣ４１により処理された各種情報データおよび画像情報を再生表示する装置である。また、表示手段としてのディスプレイ４４は、電子内視鏡２１が撮像した内視鏡画像と、形状処理装置３２が検出した内視鏡挿入部の形状とを１つの画面上に表示するようになっている。
さらに、ＰＣ４１は、通信ポート４１ａと、通信ポート４１ｂと、動画像入力ボード４１ｃとを有している。通信ポート４１ａは、内視鏡挿入形状観測装置３の形状処理装置３２の通信ポート３２ａから出力される挿入形状データを、取り込むようになっている。
形状解析手段としてのＰＣ４１は、後述のように、挿入形状データ等を基に、内視鏡挿入を阻害している特定位置等を算出、すなわち解析して求めるようになっている。
形状解析手段としてのＰＣ４１は、後述のように、挿入形状データ等を基に、内視鏡挿入を阻害している特定位置等を算出、すなわち解析して求めるようになっている。
通信ポート４１ｂは、内視鏡装置２のビデオプロセッサ２２の通信ポート２２ａから出力される内視鏡検査情報を取り込むようになっている。
動画像入力ボード４１ｃは、内視鏡装置２のビデオプロセッサ２２において生成された動画映像信号を所定の圧縮画像データに変換するものである。
つまり、画像処理装置４の動画像入力ボード４１ｃには、ビデオプロセッサ２２により生成された動画像の映像信号が入力される。そして、動画像入力ボード４１ｃは、その動画像の映像信号を所定の圧縮動画映像信号データ、例えばＭＪＰＥＧ形式の圧縮画像データに変換する。変換された圧縮画像データは、ＰＣ４１の図示しない記録装置に保存される。
動画像入力ボード４１ｃは、内視鏡装置２のビデオプロセッサ２２において生成された動画映像信号を所定の圧縮画像データに変換するものである。
つまり、画像処理装置４の動画像入力ボード４１ｃには、ビデオプロセッサ２２により生成された動画像の映像信号が入力される。そして、動画像入力ボード４１ｃは、その動画像の映像信号を所定の圧縮動画映像信号データ、例えばＭＪＰＥＧ形式の圧縮画像データに変換する。変換された圧縮画像データは、ＰＣ４１の図示しない記録装置に保存される。
尚、一般的には、内視鏡検査開始前には、ビデオプロセッサ２２から、内視鏡検査に関する検査情報が入力される。その入力されたデータをもとに、検査情報が、観察モニタ２４に文字および数字の情報として表示される。さらに、その検査情報データは、通信ポート２２ａから通信ポート４１ｂを介して、画像処理装置４に送信し記録することも可能である。
また、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コードなどである。
つまり、画像処理装置４は、必要に応じてビデオプロセッサ２２と接続して、ビデオプロセッサ２２からの各種情報データを受信し保存するようになっている。
また、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コードなどである。
つまり、画像処理装置４は、必要に応じてビデオプロセッサ２２と接続して、ビデオプロセッサ２２からの各種情報データを受信し保存するようになっている。
次に、内視鏡挿入形状観測装置３における挿入形状データの生成について説明する。
内視鏡挿入形状観測装置３は、電子内視鏡２１の電子撮像素子により撮像される撮像映像信号の１フレームごとに、電子内視鏡２１の挿入部２１ａに内蔵されたＭ個のソースコイルの３次元座標を含む挿入形状データを生成する。内視鏡挿入形状観測装置３は、その挿入形状データをもとに挿入部形状画像を生成して、モニタ３３に表示するとともに、挿入形状データを画像処理装置４に出力供給する。
内視鏡挿入形状観測装置３は、電子内視鏡２１の電子撮像素子により撮像される撮像映像信号の１フレームごとに、電子内視鏡２１の挿入部２１ａに内蔵されたＭ個のソースコイルの３次元座標を含む挿入形状データを生成する。内視鏡挿入形状観測装置３は、その挿入形状データをもとに挿入部形状画像を生成して、モニタ３３に表示するとともに、挿入形状データを画像処理装置４に出力供給する。
図２に示すように、電子内視鏡２１の挿入部２１ａに挿入形状推定のためのＭ個のソースコイルが内蔵されている。そして、各ソースコイルの位置が、参照点を構成している。内視鏡挿入形状観測装置３において検出するソースコイルの座標系は、第ｊフレームの挿入部２１ａ先端から数えてｍ番目のソースコイルの３次元座標を、次の式１で表されるようになっている。
ただし、ｍ＝０，１，…，Ｍ−１である。また、ｊは、電子撮像素子により撮像された撮像映像信号の第ｊフレームを表している。
内視鏡挿入形状観測装置３により検出されたソースコイルの座標系を示す挿入形状データの構造は、図３に示すような構造であり、１つのフレームに関係するデータが１つのパケットとして送信される。１つのパケットは、フォーマット種別情報、挿入形状データの作成時刻、表示属性情報、付属情報、ソースコイル座標のデータから構成されている。
本実施の形態においてフォーマット種別とは、挿入形状データ作成時刻、表示属性、付属情報、コイル座標のそれぞれに割り当てるデータサイズを規定するものである。また、データサイズの規定とは、内視鏡の種類ごとに決定されるソースコイルのデータ数、挿入形状データ作成時刻、コイル座標の精度、表示属性や付属情報に含まれる情報量の規定を意味する。
ここで、ソースコイルは、挿入部２１ａ先端から挿入部２１ａの基端側に設けられている操作部２１ｃ側に向かって、順に並んで配置されている。つまり、それらソースコイルの座標データは、電子内視鏡２１の挿入部２１ａに内蔵されているソースコイルの３次元座標である。尚、内視鏡挿入形状観測装置３が検出範囲外とするソースコイルの座標は、３次元座標（０，０，０）が設定されるようになっているものとする。
次に、図５のフローチャートを用いて、画像処理装置４における処理フローについて説明する。すなわち、内視鏡装置２のビデオプロセッサ２２からの検査情報と内視鏡画像、および内視鏡挿入形状観測装置３の形状処理装置３２からの挿入形状データについての処理内容である。
その処理動作は、画像処理装置４に設けられた検査用アプリケーションプログラム（以下、アプリケーションプログラムを単にアプリケーションという）をＰＣ４１において展開し実行させることにより実現する。
内視鏡検査を始めるにあたり、ビデオプロセッサ２２では検査情報を入力し、画像処理装置４のＰＣ４１は検査用アプリケーションを起動する。その検査用アプリケーションが起動すると、ディスプレイ４４には、図４に示す解析ウインドウ５０が表示されるように構成されている。ただし、図４は、挿入形状データを処理している最中の表示内容を示している。
内視鏡検査を始めるにあたり、ビデオプロセッサ２２では検査情報を入力し、画像処理装置４のＰＣ４１は検査用アプリケーションを起動する。その検査用アプリケーションが起動すると、ディスプレイ４４には、図４に示す解析ウインドウ５０が表示されるように構成されている。ただし、図４は、挿入形状データを処理している最中の表示内容を示している。
ここで、図４を参照して、まず前提となる解析ウインドウ５０について説明する。
解析ウインドウ５０は、ファイルメニュー５１、警告情報表示領域５２、検査情報表示領域５３、内視鏡画像表示領域５４、内視鏡挿入形状表示領域５５、付属情報表示領域５６、表示パラメタチェックボックス５７、解析値表示領域５８、時系列グラフ領域５９、時系列サブ情報表示領域６０、スライダー６１、開始ボタン６２および、停止ボタン６３を含んでいる。
時系列グラフ領域５９と時系列サブ情報表示領域６０のＸ軸は、時間軸であり、図４の左右方向である。時系列グラフ領域５９と時系列サブ情報表示領域６０は、挿入形状データを取得するごとに、すなわち経時的に、点のプロットを行いながら、プロット位置を図４の右方向に移動させてグラフを作成する領域である。プロットする点のＹ軸方向の位置は、画像処理装置４のＰＣ４１が算出した内視鏡挿入部２１ａの形状をあらわす特徴量の値によって決定される。本実施の形態では、内視鏡画像処理装置４が算出したアングル、挿入長、特定位置としての停止コイル位置をプロットする。すなわち、算出された特定位置がグラフにより視覚化されるように処理される。それぞれ、Ｙ軸のスケール、０点位置が個別に設定される。尚、Ｙ軸方向は、図４の上下方向である。
解析ウインドウ５０は、ファイルメニュー５１、警告情報表示領域５２、検査情報表示領域５３、内視鏡画像表示領域５４、内視鏡挿入形状表示領域５５、付属情報表示領域５６、表示パラメタチェックボックス５７、解析値表示領域５８、時系列グラフ領域５９、時系列サブ情報表示領域６０、スライダー６１、開始ボタン６２および、停止ボタン６３を含んでいる。
時系列グラフ領域５９と時系列サブ情報表示領域６０のＸ軸は、時間軸であり、図４の左右方向である。時系列グラフ領域５９と時系列サブ情報表示領域６０は、挿入形状データを取得するごとに、すなわち経時的に、点のプロットを行いながら、プロット位置を図４の右方向に移動させてグラフを作成する領域である。プロットする点のＹ軸方向の位置は、画像処理装置４のＰＣ４１が算出した内視鏡挿入部２１ａの形状をあらわす特徴量の値によって決定される。本実施の形態では、内視鏡画像処理装置４が算出したアングル、挿入長、特定位置としての停止コイル位置をプロットする。すなわち、算出された特定位置がグラフにより視覚化されるように処理される。それぞれ、Ｙ軸のスケール、０点位置が個別に設定される。尚、Ｙ軸方向は、図４の上下方向である。
表示パラメタチェックボックス５７の選択肢として、本実施の形態ではアングル、挿入長、及び停止コイル位置がある。そのチェックボックスをチェックすることにより、時系列グラフ領域５９に表示するパラメタの種類を選択する。
アングル、挿入長の各パラメタに関する算出手法は、従来技術である特開２００４−１４７７７８号公報における手法と同等である。
アングル、挿入長の各パラメタに関する算出手法は、従来技術である特開２００４−１４７７７８号公報における手法と同等である。
次に、停止コイル位置に関する算出手法について、以下に詳述する。
解析ウインドウ５０のファイルメニュー５１を選択すると、画像処理装置４が過去に記録した挿入形状ファイルと、画像ファイルとを選択するための、図示しない選択ウインドウが表示され、各々のファイルを選択して読み込むことが可能である。挿入形状ファイルとは、内視鏡挿入形状観測装置３が一検査内に生成した挿入形状データの集合ファイルである。画像ファイルとは、画像処理装置４の動画像入力ボード４１ｃが生成した圧縮画像データの集合ファイルである。
解析ウインドウ５０のファイルメニュー５１を選択すると、画像処理装置４が過去に記録した挿入形状ファイルと、画像ファイルとを選択するための、図示しない選択ウインドウが表示され、各々のファイルを選択して読み込むことが可能である。挿入形状ファイルとは、内視鏡挿入形状観測装置３が一検査内に生成した挿入形状データの集合ファイルである。画像ファイルとは、画像処理装置４の動画像入力ボード４１ｃが生成した圧縮画像データの集合ファイルである。
画像処理装置４のＰＣ４１に検査用アプリケーションが展開されて実行されると、ステップＳ１において、ＰＣ４１は、アプリケーションの初期化情報を初期化ファイルから読み込む。尚、初期化ファイルは、ＰＣ４１の図示しない記憶装置にあらかじめ記憶されている。そして、ＰＣ４１は、読み込んだ初期化ファイルの情報をＰＣ４１内の図示しないメモリ上に記憶した後、ディスプレイ４４に解析ウインドウ５０を表示する。
本実施の形態では、初期化情報として、電子内視鏡システム１において使用可能な電子内視鏡２１の名称と、挿入形状データのフォーマット種別ごとのデータサイズ情報とを含んでいる。さらに、初期化情報としては、電子内視鏡２１の挿入部２１ａを直線化した際のソースコイル間の距離と、形状解析処理に使用するパラメタとを含んでいる。尚、ソースコイル間の距離は、以下、ソースコイル間距離情報と称する。
またさらに、初期化情報として、解析ウインドウ５０のディスプレイ４４上における表示位置座標も含んでいる。その表示位置座標に基づいてＰＣ４１は、ディスプレイ４４に解析ウインドウ５０を表示する。
またさらに、初期化情報として、解析ウインドウ５０のディスプレイ４４上における表示位置座標も含んでいる。その表示位置座標に基づいてＰＣ４１は、ディスプレイ４４に解析ウインドウ５０を表示する。
ステップＳ２において、ＰＣ４１は、ビデオプロセッサ２２からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置３の形状処理装置３２からの挿入形状データを受信し保存するモードに設定する。
次に、ステップＳ３において、ＰＣ４１は、術者がマウス４２またはキーボード４３を操作し、解析ウインドウ５０に表示された開始ボタン６２が押下されたか否かを判断する。開始ボタン６２が押下されるまで待機し、押下されるとステップＳ４以降が実行される。
ステップＳ４において、ＰＣ４１は通信ポート４１ａを開き、内視鏡挿入形状観測装置３との通信を開始する。さらにステップＳ５において、ＰＣ４１は通信ポート４１ｂを開き、ビデオプロセッサ２２との通信を開始する。
ステップＳ６において、ＰＣ４１は、ビデオプロセッサ２２に対して、検査情報の取得コマンドを通信ポート４１ｂからビデオプロセッサ２２の通信ポート２２ａに送信する。その検査情報取得コマンドを受信したビデオプロセッサ２２は、検査情報をＰＣ４１へと送信する。
ＰＣ４１は、ステップＳ６においてビデオプロセッサ２２から送信された検査情報を、ステップＳ７において、図示しない記録装置に記録し保存するとともに、解析ウインドウ５０の検査情報表示領域５３に表示する。
ステップＳ８において、ＰＣ４１は、通信ポート４１ａから内視鏡挿入形状観測装置３の形状処理装置３２の通信ポート３２ａに対して、挿入形状データの取得コマンドを送信する。その挿入形状データ取得コマンドを受信した形状処理装置３２は、挿入形状データの送信出力を開始する。その送信は、ＰＣ４１と形状処理装置３２の間の通信が終了し、通信ポート３２ａが閉じられるまで続けられる。ステップＳ８は、形状検出手順を構成している。
ステップＳ９において、ＰＣ４１は、ステップＳ８における形状処理装置３２から送信出力された挿入形状データを受信する。そして、ＰＣ４１は、受信した挿入形状データと、ステップＳ７において記録し保存した検査情報とを関連付けて、ＰＣ４１に設けられている図示していない記録装置に挿入形状ファイルとして記録し保存する。また同時に、ＰＣ４１内の図示しないメモリ上に、挿入形状データを随時記録する。
ＰＣ４１は、ステップＳ１０において、ビデオプロセッサ２２から入力された動画映像信号を動画像入力ボード４１ｃによりＭＪＰＥＧ形式の圧縮画像データに変換させる。さらにＰＣ４１は、その圧縮画像データとステップＳ７において記録保存した検査情報と関連付けて、ＰＣ４１の図示しない記録装置に画像ファイルとして保存するとともに、動画像入力ボード４１ｃに入力されている動画像を解析ウインドウ５０の内視鏡画像表示領域５４に表示させる。
ＰＣ４１は、ステップＳ１１において、図６に示す各ステップの解析処理を実行する。その解析処理が終了すると、ＰＣ４１は、ステップＳ１２において、解析ウインドウ５０の停止ボタン６３が押下されたか否かを判断し、停止ボタン６３が押下されていないと判定されるとステップＳ８に戻るとともに、解析ウインドウ５０のスライダー６１を１ステップ右に移動させる。
停止ボタン６３が押下されたと判定されると、ＰＣ４１はステップＳ１３において、通信ポート４１ａと通信ポート４１ｂとを閉じて、内視鏡挿入形状観測装置３とビデオプロセッサ２２との情報データの通信を終了する。
停止ボタン６３が押下されたと判定されると、ＰＣ４１はステップＳ１３において、通信ポート４１ａと通信ポート４１ｂとを閉じて、内視鏡挿入形状観測装置３とビデオプロセッサ２２との情報データの通信を終了する。
次に、図６を用いて、ステップＳ１１から続く形状解析の処理フローを説明する。
ステップＳ２１において、ＰＣ４１は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報とを取得する。
ＰＣ４１は、取得した挿入形状データのフォーマット種別に基づいて、図５のステップＳ１においてメモリ上に保持している、フォーマット種別に対応したフレームパケットに含まれる情報のデータサイズ情報を取得し、挿入形状データのフレームパケットを各データに分解処理する。フォーマット種別の名称は、解析ウインドウ５０の付属情報表示領域５６に表示する。
ステップＳ２１において、ＰＣ４１は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報とを取得する。
ＰＣ４１は、取得した挿入形状データのフォーマット種別に基づいて、図５のステップＳ１においてメモリ上に保持している、フォーマット種別に対応したフレームパケットに含まれる情報のデータサイズ情報を取得し、挿入形状データのフレームパケットを各データに分解処理する。フォーマット種別の名称は、解析ウインドウ５０の付属情報表示領域５６に表示する。
また、ＰＣ４１は、前記分解処理によって生成した付属情報から電子内視鏡２１の名称を取得し、解析ウインドウ５０の付属情報表示領域５６に表示する。とともに、ＰＣ４１は、取得した電子内視鏡２１の名称に基づいて、図５のステップＳ１にてメモリ上に保持している、電子内視鏡２１の名称に対応したソースコイル間距離情報を取得する。
ステップＳ２２において、ＰＣ４１は、図５のステップＳ９にて図示しないメモリに記録しておいた挿入形状データの中から、前フレームのパケットに含まれる挿入形状データ作成時刻を取得する。
ステップＳ２３において、ＰＣ４１は、ステップＳ２４以降からステップＳ３２までにおいて実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。
ステップＳ２３において、ＰＣ４１は、ステップＳ２４以降からステップＳ３２までにおいて実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。
補正するパラメタの種類は２種類ある。１つのパラメタは、電子内視鏡２１の特性または設計値に依存するパラメタである。本実施の形態では、ソースコイル間に設定した参照点の座標位置をコイル間距離の比率により指定するパラメタである。尚、そのパラメタは、以下、内視鏡特性依存パラメタと称する。
もう１つのパラメタは、フレームパケットの受信間隔に依存するパラメタであり、本実施の形態では、時間あたりの移動量をあらわすパラメタである。尚、そのパラメタは、以下、時間依存パラメタと称する。
もう１つのパラメタは、フレームパケットの受信間隔に依存するパラメタであり、本実施の形態では、時間あたりの移動量をあらわすパラメタである。尚、そのパラメタは、以下、時間依存パラメタと称する。
内視鏡特性依存パラメタは、図５のステップＳ１において取得したソースコイル間距離情報に基づいて補正される。
また、時間依存パラメタは、図６のステップＳ２２において取得した前フレームの挿入形状データ作成時刻と、現在処理中のフレームの挿入形状データ作成時刻との差分、すなわち形状処理装置３２によって検出された検出結果である挿入形状データ作成時刻に基づいて算出される前フレームからの経過時間、に基づいて補正される。
これら各パラメタの補正処理内容とパラメタの使われ方に関する説明は、内視鏡特性依存パラメタについては後述のステップＳ２５において、時間依存パラメタについては後述のステップＳ２８において詳述する。
また、時間依存パラメタは、図６のステップＳ２２において取得した前フレームの挿入形状データ作成時刻と、現在処理中のフレームの挿入形状データ作成時刻との差分、すなわち形状処理装置３２によって検出された検出結果である挿入形状データ作成時刻に基づいて算出される前フレームからの経過時間、に基づいて補正される。
これら各パラメタの補正処理内容とパラメタの使われ方に関する説明は、内視鏡特性依存パラメタについては後述のステップＳ２５において、時間依存パラメタについては後述のステップＳ２８において詳述する。
ステップＳ２４において、ＰＣ４１は、図５のステップＳ９において図示しないメモリに記録しておいた挿入形状データの中から、前フレームのパケットに含まれるコイル座標
（Ｘj-1m，Ｙj-1m，Ｚj-1m）を取得し、次の式２から現在処理中のフレームのソースコイル座標（Ｘjm，Ｙjm，Ｚjm）との差分ベクトルＤmを求める。
（Ｘj-1m，Ｙj-1m，Ｚj-1m）を取得し、次の式２から現在処理中のフレームのソースコイル座標（Ｘjm，Ｙjm，Ｚjm）との差分ベクトルＤmを求める。
ここで、ｊは、現在のフレームシーケンス番号を示し、ｍは、内視鏡挿入部２１ａ先端から数えたコイル番号を示す。
前述のとおり、内視鏡挿入形状観測装置３の検出範囲外のソースコイル、すなわち内視鏡挿入部２１ａのうち生体に挿入されていない位置にあるソースコイルのコイル座標は、（０，０，０）である。前フレームのソースコイル座標または現在処理中のフレームのソースコイル座標の少なくとも一方が（０，０，０）である場合には、Ｄm＝（Ｌ，Ｌ，Ｌ）とする。ここで、Ｌは、座標値の精度範囲内においてとり得る十分大きな数であって、センスコイルユニット３１の検出範囲内では取り得ることのない数である。
前述のとおり、内視鏡挿入形状観測装置３の検出範囲外のソースコイル、すなわち内視鏡挿入部２１ａのうち生体に挿入されていない位置にあるソースコイルのコイル座標は、（０，０，０）である。前フレームのソースコイル座標または現在処理中のフレームのソースコイル座標の少なくとも一方が（０，０，０）である場合には、Ｄm＝（Ｌ，Ｌ，Ｌ）とする。ここで、Ｌは、座標値の精度範囲内においてとり得る十分大きな数であって、センスコイルユニット３１の検出範囲内では取り得ることのない数である。
ステップＳ２５において、ＰＣ４１は、現在処理中のフレームのソースコイル座標の軸方向ベクトルＡmを、次式３により算出する。
ただし、Ｘ'jm、Ｙ'jm、Ｚ'jmは、コイル座標（Ｘjm、Ｙjm、Ｚjm）から内視鏡挿入部２１ａに沿って１ｍｍの距離だけ内視鏡挿入部２１ａの基端側にある点の３次元座標のＸ，Ｙ，Ｚ方向それぞれの成分とする。
現在処理中のフレームのソースコイルが検出範囲外にある場合、すなわちコイル座標（０，０，０）である場合には、Ａm＝（Ｌ，Ｌ，Ｌ）とする。尚、Ｌは、座標値の精度範囲内でとり得る十分大きな数であって、センスコイルユニット３１の検出範囲内では取り得ることのない数である。
ここで、Ｘ'jm、Ｙ'jm、Ｚ'jmの各値の算出方法について説明する。
ｍ番目のソースコイルと、ｍ＋１番目のソースコイルの間の補間点は、補間手法として広く知られるCatmull Rom曲線方程式を求めることにより算出可能である。Catmull Rom曲線方程式は、ｔを変数とするパラメトリック曲線であり、ｔ＝０のときｍ番目のソースコイル位置を示す座標値をとり、ｔ＝１のときｍ＋１番目のソースコイル位置を示す座標値を取る。その中間にある補間点は、ｔにコイル間距離の比率を代入することにより算出可能である。
ｍ番目のソースコイルと、ｍ＋１番目のソースコイルの間の補間点は、補間手法として広く知られるCatmull Rom曲線方程式を求めることにより算出可能である。Catmull Rom曲線方程式は、ｔを変数とするパラメトリック曲線であり、ｔ＝０のときｍ番目のソースコイル位置を示す座標値をとり、ｔ＝１のときｍ＋１番目のソースコイル位置を示す座標値を取る。その中間にある補間点は、ｔにコイル間距離の比率を代入することにより算出可能である。
ここで、ｍ番目のソースコイルから１ｍｍの距離だけ内視鏡挿入部２１ａの基端側にある点を求めるためには、電子内視鏡２１の設計値であるコイル間距離に基づいて、ソースコイル間距離の比率ｔを決定するように補正する必要がある。
そこで、図６のステップＳ２３において、図５のステップＳ１において取得したソースコイル間距離情報に基づき、各ソースコイル間距離に応じてｔの補正値ｔ’を決定する。その算出式を次の式４に示す。
ｔ'＝ｔ×（ソースコイル間距離／１０） ・・・式４
ここで、補正前のｔと補正前に想定しているソースコイル間距離はそれぞれ、０．１と１０ｍｍであり、実際の電子内視鏡２１のソース間距離に応じてｔ'が、注目するソースコイルから１ｍｍずれた位置を示すように設定している。
ｔ'＝ｔ×（ソースコイル間距離／１０） ・・・式４
ここで、補正前のｔと補正前に想定しているソースコイル間距離はそれぞれ、０．１と１０ｍｍであり、実際の電子内視鏡２１のソース間距離に応じてｔ'が、注目するソースコイルから１ｍｍずれた位置を示すように設定している。
ステップＳ２６において、ＰＣ４１は、ステップＳ２５において算出した軸方向ベクトルＡmの方向への推進量Ｔmを、次式により、ステップＳ２４において算出したコイル座標差分ベクトルＤmを軸方向ベクトルＡmに射影することにより算出する。すなわち、推進量Ｔmは、次の式５により求められる。
Ｔm＝｜Ｄm｜ｃｏｓθm ・・・式５
ここで、ｃｏｓθm＝Ｄm・Ａm／ ｜Ｄm｜｜Ａm｜
ステップＳ２７において、ＰＣ４１は、形状解析に有効な値を有するソースコイル番号の最大値であるＭmaxを求めてループ変数ｉに代入する。ただし、Ｍmax＜Ｍ−１である。
ここで、Ｍmaxを求める処理手順について説明する。
ステップＳ２４、およびＳ２５の処理の結果、ソースコイル番号０からソースコイル番号Ｍmaxまでのコイルに対応するＤm、Ａmは、形状解析に有効な値として（Ｌ，Ｌ，Ｌ）以外の値を保持している。さらに、ソースコイル番号Ｍmax＋１からコイル番号Ｍ−１までのＤm、Ａmでは、内視鏡挿入形状観測装置３のセンスコイルユニット３１の検出範囲外の値を示す（Ｌ，Ｌ，Ｌ）の値を保持している。
Ｔm＝｜Ｄm｜ｃｏｓθm ・・・式５
ここで、ｃｏｓθm＝Ｄm・Ａm／ ｜Ｄm｜｜Ａm｜
ステップＳ２７において、ＰＣ４１は、形状解析に有効な値を有するソースコイル番号の最大値であるＭmaxを求めてループ変数ｉに代入する。ただし、Ｍmax＜Ｍ−１である。
ここで、Ｍmaxを求める処理手順について説明する。
ステップＳ２４、およびＳ２５の処理の結果、ソースコイル番号０からソースコイル番号Ｍmaxまでのコイルに対応するＤm、Ａmは、形状解析に有効な値として（Ｌ，Ｌ，Ｌ）以外の値を保持している。さらに、ソースコイル番号Ｍmax＋１からコイル番号Ｍ−１までのＤm、Ａmでは、内視鏡挿入形状観測装置３のセンスコイルユニット３１の検出範囲外の値を示す（Ｌ，Ｌ，Ｌ）の値を保持している。
そこで、ステップＳ２７において、ＰＣ４１は、ソースコイル番号０から順次Ｄm、Ａmの値が（Ｌ，Ｌ，Ｌ）であるか否かを判定し、最初に（Ｌ，Ｌ，Ｌ）の値を保持するときのソースコイル番号から１を引いた値をＭmaxと設定して、ループ変数ｉに代入する。
ステップＳ２８、ステップＳ２９、ステップＳ３０において、ＰＣ４１は、軸方向の推進量Ｔm、ｉに対する判定処理を含むループ処理を行う。
ステップＳ２８において、ＰＣ４１は、軸方向の推進量Ｔiが−ε以下であるか否かを判定する。尚、−εは負の値である。
ここで、閾値として使用する定数εについて説明する。
εの値は、図５のステップＳ１において初期化情報の形状解析処理パラメタとして取得した値のうちの１つであるε0に対し、図６のステップＳ２３において補正を行った値である。
ステップＳ２８において、ＰＣ４１は、軸方向の推進量Ｔiが−ε以下であるか否かを判定する。尚、−εは負の値である。
ここで、閾値として使用する定数εについて説明する。
εの値は、図５のステップＳ１において初期化情報の形状解析処理パラメタとして取得した値のうちの１つであるε0に対し、図６のステップＳ２３において補正を行った値である。
ε0は、術者が挿入操作を行ったとみなせるソースコイルの移動量を、１秒あたりのソースコイル移動距離により表した値である。そのε0を、１フレームあたりのソースコイル移動距離に補正した値がεである。その算出式は、次の式による。すなわち、
ε＝ε0×（前フレームからの経過時間） ・・・式６
である。
ε＝ε0×（前フレームからの経過時間） ・・・式６
である。
ここで、前フレームからの経過時間の単位として秒を使用する。内視鏡挿入形状観測装置３における挿入形状データのフォーマット設定が相違することおよび、内視鏡挿入形状観測装置３の形状処理装置３２の挿入形状データ生成速度が一定値とはならない。そのことから、１フレームにかかる時間は、挿入形状データの取得ごとに変化するため、閾値として使用するパラメタの補正処理を図６のステップＳ２８において実施したのである。
もし、軸方向の推進量Ｔiが閾値−ε以下であれば、術者は内視鏡挿入部２１ａの引き抜き動作を行っているとみなし、ループを抜ける。
Ｔiが−ε以下でなければ、次のステップＳ２９に進み、軸方向の推進量Ｔiが−εよりもおおきくかつ、εよりも小さいか否か、つまり−ε＜Ｔi＜εであるか否を判定する。もし、その判定が肯定されれば、ソースコイル位置ｉにおいて推進が停止しているとみなし、ステップＳ３１に進む。そして、ソースコイル位置ｉにおいて軸方向の推進が停止していることを表す情報を、図示しないメモリ上に保持する。その後、前記ループを抜ける。尚、推進が停止していることを表す情報は、以下、推進停止情報と称する。
Ｔiが−ε以下でなければ、次のステップＳ２９に進み、軸方向の推進量Ｔiが−εよりもおおきくかつ、εよりも小さいか否か、つまり−ε＜Ｔi＜εであるか否を判定する。もし、その判定が肯定されれば、ソースコイル位置ｉにおいて推進が停止しているとみなし、ステップＳ３１に進む。そして、ソースコイル位置ｉにおいて軸方向の推進が停止していることを表す情報を、図示しないメモリ上に保持する。その後、前記ループを抜ける。尚、推進が停止していることを表す情報は、以下、推進停止情報と称する。
また、ステップＳ２９において、−ε＜Ｔi＜εでない場合、ステップＳ３０に進む。そのステップＳ３０においては、ｉ＝０であるか否かを判定する。ｉ＝０である場合には、内視鏡挿入部２１ａの最先端のソースコイルに対して判定終了済みであることを意味するため前記ループを抜ける。
また、ｉ≠０である場合には、ステップＳ３２において、ｉから１を引く処理を行う。すなわち、先端側に１つ位置をずらしたソースコイル番号となるようにｉを変更して、ステップＳ２８から始まる処理ループを再実行する。
また、ｉ≠０である場合には、ステップＳ３２において、ｉから１を引く処理を行う。すなわち、先端側に１つ位置をずらしたソースコイル番号となるようにｉを変更して、ステップＳ２８から始まる処理ループを再実行する。
つまり、ステップＳ２８、Ｓ２９、Ｓ３０のループは、内視鏡挿入形状観測装置３の検出範囲内にあるソースコイルに対して、以下の判定を行っていることを意味する。すなわち、術者が内視鏡挿入部２１ａを挿入し、その挿入力が内視鏡挿入部２１ａのソースコイル位置に伝わって、対象となるソースコイルが、そのソースコイルの向いている方向に進んでいるか止まっているかを、挿入部２１ａ基端側から順に判定している。
ステップＳ３３において、ＰＣ４１は、内視鏡挿入部２１ａを２次元投影した挿入部形状画像を生成し、ディスプレイ４４上の解析ウインドウ５０の内視鏡挿入形状表示領域５５に表示する。尚、その画像は、内視鏡挿入形状観測装置３が生成してモニタ３３上に表示する挿入部形状画像と同等のものである。
ステップＳ３４では、ＰＣ４１は、ステップＳ３１において図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるソースコイルがある場合には、マーカーを重畳表示する。具体的には、ＰＣ４１は、解析ウインドウ５０の内視鏡挿入形状表示領域５５内に表示した挿入部形状画像の当該ソースコイル位置を指し示す、「推進停止」と記述したマーカーを重畳表示する。図７には、内視鏡挿入部のうち例えば屈曲して推進停止した位置に、マーカーである「推進停止」の判定結果情報である文字表示部を表示した形状図を示している。
以上のように、ステップＳ３３、およびＳ３４が、指示表示手順を構成している。特に、ステップＳ３４は、特定位置又は特定部分を指示する指示手段を構成する。
以上のように、ステップＳ３３、およびＳ３４が、指示表示手順を構成している。特に、ステップＳ３４は、特定位置又は特定部分を指示する指示手段を構成する。
ステップＳ３５において、ＰＣ４１は、解析ウインドウ５０の表示パラメタチェックボックス５７の停止コイル位置にチェックがあるか否かを判定する。もし停止コイル位置にチェックがある場合には、以下の処理を行う。
図６のステップＳ３１において、図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるコイルがある場合には、当該コイル番号およびフレーム時間に基づく点を、解析ウインドウ５０の時系列グラフ領域５９にプロットしたのち、次にプロットすべき点の位置を１つ右にずらす。
図６のステップＳ３１において、図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるコイルがある場合には、当該コイル番号およびフレーム時間に基づく点を、解析ウインドウ５０の時系列グラフ領域５９にプロットしたのち、次にプロットすべき点の位置を１つ右にずらす。
時系列グラフ領域５９に表示するグラフのＸ軸は、１フレーム時間を単位とする時間軸であり、グラフのＹ軸は、停止コイルの位置を示す軸である。グラフの原点は（０，−１）であり、停止したコイルが存在しない場合には−１をプロットする。
また、時系列サブ情報表示領域６０には、停止したコイルが存在する場合には、全てのＹ軸上の点をプロットし、停止したコイルが存在しない場合には点のプロットを行わない。よって、プロットされた点の存在は、停止したコイルが存在するというマーカーとして機能し、さらにその停止コイルのフレーム位置を示すマーカーとしても機能する。
尚、他のパラメタ、すなわち本実施の形態ではアングル、挿入長における処理も、Ｙ軸のスケールと原点位置の相違以外は、本ステップにおける時系列グラフ領域５９への点のプロット処理と同様の処理を実施する。尚、プロットするＸ軸位置が、時系列グラフ領域５９の右端を越える場合には、プロットの表示位置を時系列グラフ領域５９の左端に移動して、プロット処理を継続する。以上の処理を行った後、図５のステップＳ１２に戻る。
以上の処理によれば、電子内視鏡の挿入部形状画像に、術者が内視鏡の挿入動作を行っているのに内視鏡挿入部２１ａの軸方向の推進量が零となり、推進が停止する位置、すなわち挿入阻害要因となっている位置にマーカーを重畳表示する。そのため、術者は、推進停止した位置に応じた手技を即座に判断して実行することができ、内視鏡挿入を容易にする。
また、挿入形状に関するパラメタを時系列グラフとして定量的に表示するため、手技の操作履歴を容易に即座に確認することができ、内視鏡操作の分析、習得に役立つ。例えば、ある手技をＡという操作量で行っても先端が進まなかった場合、同一の手技をＢという操作量により再試行する、という操作量に関する判断が可能になる。
第１の実施の形態によれば、内視鏡挿入部２１ａのいずれの個所において推進が停止し、つまり挿入阻害要因となっている特定位置であるかを提示することにより、術者が阻害個所とその形状に基づき対処操作を正確に判断することが可能になり、術者の内視鏡挿入が容易になる。さらに、第１の実施の形態によれば、内視鏡の種類および、内視鏡形状データの種類に応じて、パラメタを補正して正確な解析結果を提示するため、解析結果及び提示情報に誤差が生じないので、前記同様に、術者の内視鏡挿入が容易になる。
また、本実施の形態によれば、内視鏡形状に関するパラメタを時系列グラフとして定量的に提示することにより、術者の自己の内視鏡操作に対する分析が容易になり、術者の内視鏡挿入技能の向上が見込まれる。
尚、本実施の形態では、検査時の実際の内視鏡操作と同期した画像処理装置の作用を説明したが、解析ウインドウ５０のファイルメニュー５１から、挿入形状ファイルと、画像ファイルとを指定して読み込み、解析ウインドウ５０の開始ボタン６２を押すことにより、当該ファイルの検査時の挿入操作および画像ファイルを同期再生して、記録した検査時の内視鏡操作を再現するように、構成してもよい。その場合には、挿入形状ファイル内の挿入形状データを記録時刻順に処理することにより、検査時と同様の情報提示を行うことを実現する。
さらに、挿入動作を行っているのに推進停止とみなせるコイルがある場合には、解析ウインドウ５０の警告情報表示領域５２に、「警告：これ以上挿入することはできません」という文字情報を術者に提示してもよい。また、文字情報による警告だけではなく、警告音声または、警告効果音を鳴らすようにしてもよい。
本実施の形態では、生体への内視鏡挿入による検査を想定して説明しているが、内視鏡挿入手技訓練用の内視鏡シミュレータに対して適用してもよい。
本実施の形態では、生体への内視鏡挿入による検査を想定して説明しているが、内視鏡挿入手技訓練用の内視鏡シミュレータに対して適用してもよい。
次に、第１の実施の形態の第１の変形例について説明する。
第１の実施の形態では、内視鏡挿入部２１ａに内蔵するソースコイルの位置ごとに、挿入動作を行っているのに推進停止しているか否かを判定していた。しかし、推進停止は、ソースコイルの位置のみに発生するものではなく、その中間の位置においても発生する可能性が高い。
第１の実施の形態では、内視鏡挿入部２１ａに内蔵するソースコイルの位置ごとに、挿入動作を行っているのに推進停止しているか否かを判定していた。しかし、推進停止は、ソースコイルの位置のみに発生するものではなく、その中間の位置においても発生する可能性が高い。
そこで、本実施の形態の変形例では、図６のステップＳ２４においてＰＣ４１は、ソースコイル位置座標に限らず、ソースコイル間の一定比率にある座標位置の差分ベクトルを求めるものとする。尚、一定比率にあるそれら座標位置も、参照点を構成する。その座標位置の算出処理は、図６のステップＳ２５において、Catmull Rom曲線方程式を用いた補間点算出と同様の処理に基づいて行われる。
例えば、本実施の形態の変形例においては、Catmull Rom曲線方程式のパラメタｔの値を、０．２５、０．５、０．７５として、ソースコイル間に３点の補間点を設定して座標値を求め、各補間点のフレーム間の差分ベクトルＤmを求めるものとする。
例えば、本実施の形態の変形例においては、Catmull Rom曲線方程式のパラメタｔの値を、０．２５、０．５、０．７５として、ソースコイル間に３点の補間点を設定して座標値を求め、各補間点のフレーム間の差分ベクトルＤmを求めるものとする。
また、図６のステップＳ２５において、ＰＣ４１は、図６のステップＳ２４において算出した各補間点位置における軸方向ベクトルＡmを求めるものとする。曲線方程式に代入するｔの値は、各補間点についてそれぞれ、０．２５＋ｔ'、０．５＋ｔ'、０．７５＋ｔ'とすることにより算出する。
以上により、ソースコイル点群に補間点群を追加して、内視鏡挿入形状観測装置３の検出範囲内にあるソースコイル点および補間点に対して、以下の判定を行う。すなわち、挿入部２１ａ基端側から順に、内視鏡挿入部２１ａを挿入操作した際に、前記図６のループにおいて、該当する点が、内視鏡挿入部２１ａの軸方向に進んでいるか止まっているかを判定する。
本第１の変形例により、より正確な挿入阻害要因位置を術者に提示することが可能となる。
次に、第１の実施の形態の第２の変形例について説明する。
図８は、第１の実施の形態の第２の変形例に係り、内視鏡形状を色分け等の着色をして表示した形状図である。図８は、算出した移動量の値に応じて、挿入形状の図において対応する位置または部分を、色分け等により視覚化した例を示すものである。なお、図８は、斜線により色の違いを示している。
第２の変形例は、図６のステップＳ３３における２次元投影の内視鏡形状画像表示に関する変形例である。
図６のステップＳ２６では、ソースコイル位置と、ソースコイル間に設定した補間点とにおける軸方向推進量Ｔmを算出している。
図８は、第１の実施の形態の第２の変形例に係り、内視鏡形状を色分け等の着色をして表示した形状図である。図８は、算出した移動量の値に応じて、挿入形状の図において対応する位置または部分を、色分け等により視覚化した例を示すものである。なお、図８は、斜線により色の違いを示している。
第２の変形例は、図６のステップＳ３３における２次元投影の内視鏡形状画像表示に関する変形例である。
図６のステップＳ２６では、ソースコイル位置と、ソースコイル間に設定した補間点とにおける軸方向推進量Ｔmを算出している。
本実施の形態の第２の変形例では、図６のステップＳ３３において、軸方向推進量Ｔmの値ごとに色をつけて、内視鏡形状を表示する。そして、本第２の変形例では、１秒あたりの軸方向推進量Ｔmを以下のようにカテゴリー分けする。そのカテゴリーは、軸方向推進量Ｔmが、１２ｍｍ以上、１２ｍｍ以下から９ｍｍ未満、９ｍｍ以下から６ｍｍ未満、６ｍｍ以下から３ｍｍ未満、３ｍｍ以下から−３ｍｍ未満の各値の範囲ごとに分ける。さらに、軸方向推進量Ｔmが、各カテゴリー範囲にある内視鏡挿入部２１ａの断片言い換えると部分を値が大きい方から、赤からグレイにかけて徐々に彩度が落ちるように色をつけて表示する。
さらに、、逆方向の推進量として、軸方向推進量Ｔmが、−１２ｍｍ以下、−１２ｍｍ以上から−９ｍｍ未満、−９ｍｍ以上から−６ｍｍ未満、−６ｍｍ以上から−３ｍｍ未満の各値の範囲ごとにカテゴリー分けする。そして、軸方向推進量Ｔmが、各カテゴリー範囲にある内視鏡挿入部２１ａの断片言い換えると部分を、値が小さい方から、青からグレイにかけて徐々に彩度が落ちるように色をつけて表示する。図８には、推進量のカテゴリーに応じて、異なる色と彩度により挿入部形状画像を表示した形状図である。
本実施の形態の変形例によれば、内視鏡挿入部２１ａの部分ごとに、挿入力の減衰がどの程度起こっているかを段階量として確認可能であるため、内視鏡挿入部２１ａの挿入阻害要因をより詳細に分析することが可能となる。
尚、本実施の形態変形例では、彩度による色分けを行ったが、色相や、明度、術者が独自に定義可能なカラーマップに基づく色分けを行ってもよい。
第２の変形例によれば、内視鏡形状に関するパラメタの値に応じて内視鏡形状を色分け表示するため、術者の自己の内視鏡操作に対する分析が容易になり、術者の内視鏡挿入技能の向上が見込まれる。
（第２の実施の形態）
図９および図１０は、第２の実施の形態に係り、図９は、推進停止−逆進に対応したフローチャート図、図１０は、挿入部形状画像に「推進停止−逆進」の文字表示部が重畳表示された形状図である。
図９および図１０は、第２の実施の形態に係り、図９は、推進停止−逆進に対応したフローチャート図、図１０は、挿入部形状画像に「推進停止−逆進」の文字表示部が重畳表示された形状図である。
第１の実施の形態では、挿入している際に内視鏡挿入部２１ａの軸方向に対する推進が停止している現象を検出して、術者に提示する構成であった。
ここで、推進停止現象についてさらに詳細に分析すると、以下の２種類に大別される。
１つは、推進停止位置から内視鏡挿入部２１ａ先端にかけて、軸方向に対する推進が停止している状態である。
もう１つは、推進停止位置から内視鏡挿入部２１ａ先端にかけて、軸方向に対して逆進している状態である。後者の現象は、一般にはステッキ現象として広く知られている。ステッキ現象は、内視鏡挿入部２１ａがステッキ状に１８０度近く屈曲し、その屈曲位置で生体壁を押し込むことにより発生する。
ここで、推進停止現象についてさらに詳細に分析すると、以下の２種類に大別される。
１つは、推進停止位置から内視鏡挿入部２１ａ先端にかけて、軸方向に対する推進が停止している状態である。
もう１つは、推進停止位置から内視鏡挿入部２１ａ先端にかけて、軸方向に対して逆進している状態である。後者の現象は、一般にはステッキ現象として広く知られている。ステッキ現象は、内視鏡挿入部２１ａがステッキ状に１８０度近く屈曲し、その屈曲位置で生体壁を押し込むことにより発生する。
屈曲位置においては、挿入部軸方向に対しておよそ９０度の方向に移動しているため、軸方向への推進が停止しているとみなせる。屈曲位置より先端側では、挿入部２１ａが、屈曲位置において体壁に向かって押し込んでいるために軸方向に逆進しているとみなせる。ステッキ現象が発生している時には、術者は特別な手技をおこない、ステッキ現象の解除を行う場合がある。例えば、体外から屈曲位置を手によって圧迫した状態を保ち、体壁を押し込んでも体壁が動かないように固定して、生体が内視鏡挿入部２１ａに与える反発力をコントロールする。そして、その反発力を先端への推進力に変換して、内視鏡挿入部２１ａ先端を進める手法がある。
第１の実施の形態では、内視鏡挿入部２１ａの軸方向に対する推進停止位置を提示したが、その推進停止現象がステッキ現象に相当するのかを術者に提示していなかった。そこで、第２の実施の形態では、特定部分としてのステッキ現象の検出を実現する。その他、第１の実施の形態と同様の構成は、同じ符号を付して説明を省略する。
第２の実施の形態についての処理フローは、第１の実施の形態のステップＳ３１における処理を、図９に示す処理フローに置き換えている。
図６のステップＳ２９においてＰＣ４１による判定処理が肯定された場合に、図９のステップＳ４１においてＰＣ４１は、ループ変数ｊに対して、図６のステップＳ２９において判定処理に使用したソースコイル番号ｉを代入する。
図６のステップＳ２９においてＰＣ４１による判定処理が肯定された場合に、図９のステップＳ４１においてＰＣ４１は、ループ変数ｊに対して、図６のステップＳ２９において判定処理に使用したソースコイル番号ｉを代入する。
図９のステップＳ４２において、ＰＣ４１は、ｊ−１番目のソースコイルにおける判定処理を行う。判定処理は、第１の実施の形態において図６のステップＳ２８において行った判定と同様である。すなわち、Ｔj-1が−ε以下であるか否かを判定するものである。
Ｔj-1が−ε以下である場合には、ソースコイル番号ｊ−１の位置において、内視鏡挿入部２１ａは軸方向に逆進していることを意味する。よって、図９のステップＳ４４においてＰＣ４１は、コイル位置ｊにおいて軸方向の推進が停止しかつ、先端側では逆進していることを表す情報を、図示しないメモリ上に保持させる。尚、前述の情報は、以下、推進停止−逆進情報と称する。
Ｔj-1が−ε以下である場合には、ソースコイル番号ｊ−１の位置において、内視鏡挿入部２１ａは軸方向に逆進していることを意味する。よって、図９のステップＳ４４においてＰＣ４１は、コイル位置ｊにおいて軸方向の推進が停止しかつ、先端側では逆進していることを表す情報を、図示しないメモリ上に保持させる。尚、前述の情報は、以下、推進停止−逆進情報と称する。
一方、Ｔj-1が−ε以下ではない場合には、ステップＳ４３にてｊが１であるか否かを判定する。
ｊが１である場合には、注目するソースコイルにおいて、その先端側に別のソースコイルが存在する全ての場合について当該コイルの推進方向判定、つまり前記ステップＳ４２における判定を終了しており、先端側にあるソースコイルは逆進していなかったとみなせる。そのため、ステップＳ４５において、推進停止情報を図示しないメモリ上に保持させたのち、図６のステップＳ３３に戻る。
また、ｊが１ではない場合には、ステップＳ４６において、ｊから１を減じて図６のステップＳ４２にループパックする。
ｊが１である場合には、注目するソースコイルにおいて、その先端側に別のソースコイルが存在する全ての場合について当該コイルの推進方向判定、つまり前記ステップＳ４２における判定を終了しており、先端側にあるソースコイルは逆進していなかったとみなせる。そのため、ステップＳ４５において、推進停止情報を図示しないメモリ上に保持させたのち、図６のステップＳ３３に戻る。
また、ｊが１ではない場合には、ステップＳ４６において、ｊから１を減じて図６のステップＳ４２にループパックする。
図６のステップＳ３４においてＰＣ４１は、図９のステップＳ４４またはステップＳ４５において図示しないメモリに保持した推進停止情報または推進停止−逆進情報を元にして、以下のようにマーカーを重畳表示する。すなわち、推進停止−逆進とみなせるソースコイルがある場合には、解析ウインドウ５０の内視鏡挿入形状表示領域５５内に表示した挿入部形状画像の当該コイル位置を指し示す、「推進停止−逆進」と記述したマーカーを重畳表示する。図１０には、内視鏡挿入形状表示領域５５内に、マーカーとして「推進停止−逆進」の文字表示部を表示した形状図を示している。
一方、推進停止とみなせるソースコイルがある場合の処理は、第１の実施の形態における動作と同様である。
一方、推進停止とみなせるソースコイルがある場合の処理は、第１の実施の形態における動作と同様である。
また、前記第１の変形例と同様に、ソースコイルの位置だけではなく、ソースコイル間に設定した補間点の位置に対しても、図９に示す判定処理を適用してもよい。その場合には、より正確な挿入阻害要因位置を術者に提示することが可能となる。
また、前記第２の変形例と同様に、各ソースコイル位置およびソースコイル間に設定した補間点の位置における、軸方向の推進量を分類したカテゴリーに基づき、内視鏡挿入部２１ａの部分ごとの色分け表示を行ってもよい。
さらに、挿入動作を行っている際に、逆進停止とみなせるコイルがある場合には、解析ウインドウ５０の警告情報表示領域５２に、文字情報を術者に提示してもよい。提示する文字情報は、例えば、「警告：先端が逆進しています。腹部圧迫などの手技を試行してください」という内容である。
以上の処理によれば、電子内視鏡２１の挿入部形状画像に、以下の状況下において所定の位置にマーカーが重畳表示される。つまり、術者により内視鏡の挿入動作が行われているのに内視鏡挿入部２１ａの軸方向の推進量が零となり、さらにその先端側が逆進している場合、すなわち挿入阻害要因となっている位置にマーカーを重畳表示する。言い換えると、挿入部２１ａの軸方向における移動量が零となる位置を算出して、その算出された位置よりも先端側で軸方向における移動量が負になるので、その移動量が零の部分に、あるいはその先端側の部分に、所定のマーカーを重畳表示する。従って、先端が逆進しているか、停止しているかを術者は、容易に知ることができ、それぞれに適した手技を即座に判断して実行して内視鏡挿入を容易にする。
第２の実施の形態によれば、内視鏡を挿入しても挿入部２１ａの軸方向に対する推進量が停止し、かつ先端が逆進する現象を検知して術者に提示する。そして、術者は、内視鏡挿入部２１ａの移動量に関する詳細を把握することができ、術者による内視鏡挿入が容易になる。
（第３の実施の形態）
図１１から図１３は、第３の実施の形態に係り、図１１は、内視鏡挿入部の局所撓みと反発力などの力の関係を示す説明図、図１２は、局所撓みに対応したフローチャート図、図１３は、挿入部形状画像に「局所撓み」の文字表示部が重畳表示された形状図である。
図１１から図１３は、第３の実施の形態に係り、図１１は、内視鏡挿入部の局所撓みと反発力などの力の関係を示す説明図、図１２は、局所撓みに対応したフローチャート図、図１３は、挿入部形状画像に「局所撓み」の文字表示部が重畳表示された形状図である。
第１、第２の実施の形態においては、内視鏡挿入部２１ａの軸方向に対する推進停止、さらに逆進という現象を検出していた。それらの現象が発生するには、その原因が存在する。術者は、現象発生に対して原因を推測し、その原因を解消するための内視鏡操作を行う必要がある。
原因の１つとして、内視鏡挿入部２１ａの撓みによる挿入力の分散が考えられる。
内視鏡挿入部２１ａが生体壁から受ける力は、内視鏡挿入部２１ａを折れ線により近似したときの、内視鏡挿入部２１ａの軸方向と、生体壁とのなす角度が大きくなるほど増大する。
内視鏡挿入部２１ａが生体壁から受ける力は、内視鏡挿入部２１ａを折れ線により近似したときの、内視鏡挿入部２１ａの軸方向と、生体壁とのなす角度が大きくなるほど増大する。
例えば、図１１に示すように、挿入部２１ａの基端側の軸方向と生体壁６５との角度が大きくなるほど生体から受ける反発力が増大し、挿入に使用した力が打ち消されるとともに、接触点６６における反発力増大に伴い摩擦力が増大するため、接触点６６を挿入方向に、つまり図１１の左右方向にずらすための力も打ち消される。
また、内視鏡挿入部２１ａを棒材としてみなすと、まっすぐの棒材に対して座屈を発生させるために必要な力は大きいが、ある程度屈曲した棒材に対して座屈を発生させるための力は少ない、言い換えると少なくて済む。すなわち、棒材に対して押し込む力を与えても、座屈を発生させるための力が小さい場合には、押し込む力が座屈を発生させる力として使用されて、押し込む力が吸収されてしまい、先端に伝わる力が少なくなる。
以上の考えに基づき、本実施の形態では、内視鏡挿入部２１ａの撓み量の極大位置、および、内視鏡挿入部２１ａ全体における撓み量の蓄積量、言い換えると総和量を定量表示することを提案する。
図１２を用いて、本実施の形態における処理フローについて以下に説明する。
第１の実施の形態と、第３の実施の形態との処理フローの相違は、図５のステップＳ１１における処理つまり図６に示す処理を、図１２に示す処理フローに置き換えたことである。
第１の実施の形態と、第３の実施の形態との処理フローの相違は、図５のステップＳ１１における処理つまり図６に示す処理を、図１２に示す処理フローに置き換えたことである。
図１２のステップＳ５１において、ＰＣ４１は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報を取得する。その処理は、第１の実施の形態と同一である。
ステップＳ５２において、ＰＣ４１は、ステップＳ５３以降からステップＳ５９の間に実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。補正するパラメタの種類は、ソースコイル間に設定した参照点の座標位置をコイル間距離の比率により指定するための内視鏡特性依存パラメタである。補正処理内容とパラメタの使われ方に関する説明は、後述のステップＳ５４にて詳述する。
ステップＳ５３において、ＰＣ４１は、現在処理中のフレームのソースコイル座標の軸ベクトルＡmを、次の式７により算出する。
ここで、Ｘjm(t)、Ｙjm(t)、Ｚjm(t)は、それぞれ、ｍ番目のソースコイルと、ｍ＋１番目のソースコイルの間の補間曲線を表す、パラメトリック曲線方程式である。ｄ／ｄｔは、パラメトリック曲線のパラメトリック変数ｔに関する１次微分を表す。
ｔ＝０における一次微分値は、ｔ＝０における位置の軸方向を示すこととなる。尚、本実施の形態では、第１の実施の形態と同様に、パラメトリック曲線方程式として、Catmull Rom曲線方程式を使用するものとする。
ステップＳ５４において、ＰＣ４１は、ソースコイル位置から内視鏡挿入部２１ａに沿って基端方向に一定距離ｄだけ離れた位置における内視鏡挿入部２１ａの軸方向ベクトルＡ'mを算出する。その算出式は、以下の式８のようになる。
Ｘjm（t）、Ｙjm（t）、Ｚjm（t）は、前記ステップＳ４４において使用したパラメトリック曲線方程式と同一である。
ｔdは、ｔd＝ｄ／（ソースコイル間距離）として決定する。ソースコイル間距離は、図５のステップＳ１において取得したソースコイル間距離情報として取得している。ソースコイル間距離は電子内視鏡２１の種類ごとに異なるため、一定距離ｄに対して電子内視鏡２１の種類ごとに補正処理したパラメタｔdを使用して軸方向ベクトルＡ'mを求めることとなる。
ステップＳ５５において、ＰＣ４１は、次式によってＡmと、Ａ'mとのなす角度θmを次の式９から算出する。
ステップＳ５６において、ＰＣ４１は、形状解析に有効な値を有するソースコイル番号の最大値であるＭmaxを求めてループ変数ｉに代入する。Ｍmaxを求める手順は、第１の実施の形態と同一である。また、内視鏡挿入部２１ａの、特徴量である撓み量の和である総撓み量を表す変数Ｓを零に設定する。
ステップＳ５７、Ｓ５８および、Ｓ５９においてＰＣ４１は、θi、ｉに対する判定処理を含むループ処理を行う。
ステップＳ５７において、ＰＣ４１は、ソースコイル番号ｉにおける角度θiをＳに加算する。
ステップＳ５８において、ＰＣ４１は、ソースコイル番号ｉにおける角度θiが閾値τ以上であるか否かを判定する。τの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図５のステップＳ１において図示しないメモリ上に保持された値である。τは、電子内視鏡２１の種類ごとに異なり、図１２のステップＳ５１において取得した内視鏡種類情報に基づき選択決定する。
ステップＳ５７において、ＰＣ４１は、ソースコイル番号ｉにおける角度θiをＳに加算する。
ステップＳ５８において、ＰＣ４１は、ソースコイル番号ｉにおける角度θiが閾値τ以上であるか否かを判定する。τの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図５のステップＳ１において図示しないメモリ上に保持された値である。τは、電子内視鏡２１の種類ごとに異なり、図１２のステップＳ５１において取得した内視鏡種類情報に基づき選択決定する。
角度θiが閾値τ以上場合には、当該位置において局所的に撓み量が十分に大きいとみなし、ステップＳ６０に進み、ソースコイル位置ｉにおいて特定位置としての局所撓みが発生していることを表す情報を、図示しないメモリ上に保持する。なお、局所撓みが発生していることを表す情報は、以下、局所撓み情報と称する。
角度θiが閾値τよりも小さい場合には、ステップＳ５９に進む。
ステップＳ５９において、ＰＣ４１は、ｉ＝０であるか否かを判定する。ｉ＝０である場合には、内視鏡挿入部２１ａの最先端のソースコイルに対して判定終了済みであることを意味するため、前記ループを抜ける。
ｉ≠０である場合には、ステップＳ６１おいて、ｉから１を引いて、すなわち先端側に１つ位置をずらしたソースコイル番号となるようにｉを変更して、図１２のステップＳ５７から始まる処理ループを再実行する。
ステップＳ５９において、ＰＣ４１は、ｉ＝０であるか否かを判定する。ｉ＝０である場合には、内視鏡挿入部２１ａの最先端のソースコイルに対して判定終了済みであることを意味するため、前記ループを抜ける。
ｉ≠０である場合には、ステップＳ６１おいて、ｉから１を引いて、すなわち先端側に１つ位置をずらしたソースコイル番号となるようにｉを変更して、図１２のステップＳ５７から始まる処理ループを再実行する。
つまり、ステップＳ５７、Ｓ５８および、Ｓ５９のループは、内視鏡挿入形状観測装置３の検出範囲内にあるソースコイルに対して、挿入部２１ａ基端側から順に、局所撓みの量が挿入を阻害するほどの大きさを有するか否かを判定することを意味する。
挿入を阻害するほどの大きさであるか否かは、ステップＳ５８において、ソースコイル位置と、ソースコイル位置の近傍位置との角度から閾値判定する。閾値であるτは、対象となる電子内視鏡２１ごとに決定する値であるため、電子内視鏡２１の物理特性、つまり太さおよび軟性部材の硬度などに最適化した値となる。τは、あらかじめ電子内視鏡２１の種類ごとに机上実験に基づき決定した値を使用する。
挿入を阻害するほどの大きさであるか否かは、ステップＳ５８において、ソースコイル位置と、ソースコイル位置の近傍位置との角度から閾値判定する。閾値であるτは、対象となる電子内視鏡２１ごとに決定する値であるため、電子内視鏡２１の物理特性、つまり太さおよび軟性部材の硬度などに最適化した値となる。τは、あらかじめ電子内視鏡２１の種類ごとに机上実験に基づき決定した値を使用する。
また、前記ループ処理により、ソースコイル位置と、ソースコイル位置の近傍位置との角度の合計値Ｓを算出することとなる。
ステップＳ６２において、ＰＣ４１は、内視鏡挿入部２１ａを２次元投影した挿入部形状画像を生成して、解析ウインドウ５０の内視鏡挿入形状表示領域５５に表示する。
ステップＳ６３において、ＰＣ４１は、前記ステップＳ６０において図示しないメモリに保持した局所撓み情報を元にして、局所撓みの量が挿入を阻害するほどの大きさであるとみなせるソースコイルがある場合には、以下のようにマーカーを重畳表示する。すなわち、解析ウインドウ５０の内視鏡挿入形状表示領域５５内に表示した挿入部形状画像の当該ソースコイル位置を指し示す、「局所撓み」と記述したマーカーを重畳表示する。図１３には、内視鏡挿入形状表示領域５５内に、マーカーとして「局所撓み」を表示した状態を示している。
また、Ｓの値を、内視鏡挿入部２１ａ全体の総撓み量を表す特徴量とみなして、解析ウインドウ５０の警告情報表示領域５２上に、「総撓み量＝Ｓ」と表示する。ここで、Ｓは具体的な数値とする。
ステップＳ６４において、ＰＣ４１は、総撓み量Ｓが、閾値Ｓt以上であるか否かを判定する。Ｓtの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図５のステップＳ１において図示しないメモリ上に保持された値である。
閾値Ｓtは、電子内視鏡２１の種類ごとに異なり、前記ステップＳ５１において取得した内視鏡種類情報に基づき選択決定する。総撓み量Ｓが閾値Ｓt以上である場合には、内視鏡挿入部２１ａ全体に撓みが蓄積されており、挿入操作を行っても挿入部２１ａ先端まで力が伝達されないと判定する。そして、ステップＳ６５において、ＰＣ４１は、解析ウインドウ５０の警告情報表示領域５２上に、「警告：これ以上挿入しても先端が推進しない可能性があります」という文字情報を表示する。尚、Ｓtの値は、あらかじめ電子内視鏡２１の種類ことに机上実験を行って決定した値とする。その後、ステップＳ６６に処理を戻す。
総撓み値Ｓが閾値Ｓtよりも小さい場合には、ステップＳ６６に処理が移行する。
ステップＳ６６において、ＰＣ４１は、第１の実施の形態でのステップＳ３５における処理と同様に、解析ウインドウ５０の時系列グラフ領域５９に、内視鏡挿入部２１ａの形状をあらわす特徴量の値をプロットする。本実施の形態では、総撓み量Ｓの値も選択してプロットするように構成する。
ステップＳ６６において、ＰＣ４１は、第１の実施の形態でのステップＳ３５における処理と同様に、解析ウインドウ５０の時系列グラフ領域５９に、内視鏡挿入部２１ａの形状をあらわす特徴量の値をプロットする。本実施の形態では、総撓み量Ｓの値も選択してプロットするように構成する。
以上の処理によれば、電子内視鏡２１の挿入部形状画像に、内視鏡挿入部２１ａの局所的撓み量が大きい位置をマーカー表示する。そのため、術者は、挿入動作を行っている際に内視鏡挿入部２１ａの軸方向推進が停止する現象の発生を予見するとともに、位置に応じた操作手技を、挿入部２１ａが停止する前に実行して、内視鏡挿入を容易にする。
また、内視鏡挿入部２１ａ全体に蓄積した総撓み量を表示するため、術者は、形状を視覚的に主観的に判断するのではなく、定量的に挿入の難易度を判断することができ、安定した内視鏡挿入手技を実現することが容易になる。
また、第１の実施の形態の第１の変形例と同様に、ソースコイルの位置だけではなく、ソースコイル間に設定した補間点の位置に対しても、図１２に示す判定処理を適用してもよい。その場合には、より正確な挿入阻害要因位置を術者に提示することが可能となる。
また、第１の実施の形態の第２の変形例と同様に、各ソースコイル位置およびソースコイル間に設定した補間点の位置における局所撓み量、言い換えると本実施の形態ではθmに相当する、に基づいて、内視鏡挿入部２１ａの部分ごとの色分け表示を行ってもよい。
また、図１２のステップＳ５５において、角度θiではなく曲率半径ｒiを算出して、ｒiに対する閾値処理を行ってもよい。閾値処理は、曲率半径がｒ0以下になる場合に、局所撓みが大きいと判定するものとする。ここで、ｒ0は電子内視鏡２１の種類ごとに机上実験に基づき決定した値であって、初期化ファイル内に形状解析パラメタの１つとして記録する。
コイルｉにおける曲率半径は、以下の手順により算出する。
図１２のステップＳ５５において、ＰＣ４１の求めた、コイル位置ｉにおけるCatmull Rom曲線方程式を使用して、ｔ＝０におけるCatmull Rom曲線方程式の１次微分値ｖi、２次微分値ａiを求めたのち、次の式１０により曲率半径ｒiを算出する。
図１２のステップＳ５５において、ＰＣ４１の求めた、コイル位置ｉにおけるCatmull Rom曲線方程式を使用して、ｔ＝０におけるCatmull Rom曲線方程式の１次微分値ｖi、２次微分値ａiを求めたのち、次の式１０により曲率半径ｒiを算出する。
ｒi＝（｜ｖi｜３）／ｖi×ａi ・・・式１０
第３の実施の形態によれば、内視鏡挿入阻害の原因の１つとして考えられる撓みの位置と、内視鏡挿入部２１ａ全体における総撓み量を術者に提示するため、術者は内視鏡を挿入しても挿入部２１ａ先端が推進していかない現象を予見することが容易になり、術者の内視鏡挿入が容易になる。
第３の実施の形態によれば、内視鏡挿入阻害の原因の１つとして考えられる撓みの位置と、内視鏡挿入部２１ａ全体における総撓み量を術者に提示するため、術者は内視鏡を挿入しても挿入部２１ａ先端が推進していかない現象を予見することが容易になり、術者の内視鏡挿入が容易になる。
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
３…内視鏡挿入形状観測装置，２１…電子内視鏡，２１ａ…挿入部，３１…センスコイルユニット，３２…形状処理装置，４１…ＰＣ，４４…ディスプレイ
Claims (7)
- 体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段と、
前記形状検出手段が検出した情報を基にして、前記内視鏡挿入部上に参照点を設定し、該参照点における、内視鏡挿入部の軸方向に対する移動量を算出し、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を境にして、内視鏡挿入部先端側では軸方向に対する移動量が負の値であり、さらに内視鏡挿入部基端側では軸方向に対する移動量が正の値である場合に、前記内視鏡挿入を阻害している特定部分と判定する形状解析手段と、
前記表示手段に、前記形状解析手段が求めた前記特定部分を指示し表示する指示手段と、
を有することを特徴とする内視鏡挿入形状解析装置。 - 前記形状解析手段は、判定した前記特定部分を、図またはグラフの少なくとも一方により視覚化されるように処理し、
前記指示手段は、前記特定部分を、図またはグラフの少なくとも一方により視覚化して表示することを特徴とする請求項１に記載の内視鏡挿入形状解析装置。 - 前記形状解析手段は、前記内視鏡の種類または前記形状検出手段の検出結果の少なくとも一方の情報を基にして、前記特定部分を判定するためのパラメタを補正することを特徴とする請求項１又は２に記載の内視鏡挿入形状解析装置。
- 前記図は、前記形状検出手段が検出した情報としての数値データに基づき、前記形状検出手投の検出した形状を着色した形状図であることを特徴とする請求項２に記載の内視鏡挿入形状解析装置。
- 前記図は、前記形状検出手段が検出した情報としての数値データに基づき、前記形状解析手段の判定結果情報を表示する文字表示部を含む形状図であることを特徴とする請求項２に記載の内視鏡挿入形状解析装置。
- 前記グラフは、前記形状検出手段が検出した情報としての数値データを、時系列にプロットしたグラフであることを特徴とする請求項２記載の内視鏡挿入形状解析装置。
- 体腔内に挿入される内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップにおいて検出された情報を基にして、前記内視鏡挿入部上に参照点を設定し、該参照点における、内視鏡挿入部の軸方向に対する移動量を算出し、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を境にして、内視鏡挿入部先端側では軸方向に対する移動量が負の値であり、さらに内視鏡挿入部基端側では軸方向に対する移動量が正の値である場合に、前記内視鏡挿入を阻害している特定部分と判定する形状解析ステップと、
表示手段に、求めた前記特定部分を、指示し表示する指示ステップと、を備えたことを特徴とする内視鏡挿入形状解析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005113922A JP4656988B2 (ja) | 2005-04-11 | 2005-04-11 | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005113922A JP4656988B2 (ja) | 2005-04-11 | 2005-04-11 | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006288752A JP2006288752A (ja) | 2006-10-26 |
| JP4656988B2 true JP4656988B2 (ja) | 2011-03-23 |
Family
ID=37410009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005113922A Expired - Fee Related JP4656988B2 (ja) | 2005-04-11 | 2005-04-11 | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4656988B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112016006985T5 (de) | 2016-06-20 | 2019-02-28 | Olympus Corporation | Einführvorrichtung für einen flexiblen Tubus |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4855912B2 (ja) * | 2006-11-30 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析システム |
| JP4855902B2 (ja) * | 2006-11-13 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 生体観測システム |
| JP4855901B2 (ja) * | 2006-11-13 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析システム |
| CN102078194B (zh) | 2006-11-13 | 2012-11-14 | 奥林巴斯医疗株式会社 | 内窥镜插入形状分析系统 |
| JP5797318B2 (ja) * | 2014-10-14 | 2015-10-21 | オリンパス株式会社 | 管状挿入装置 |
| JP5897092B2 (ja) * | 2014-10-14 | 2016-03-30 | オリンパス株式会社 | 管状挿入装置 |
| CN106998993B (zh) * | 2014-12-19 | 2019-01-08 | 奥林巴斯株式会社 | 插拔辅助装置及插拔辅助方法 |
| DE112014007260T5 (de) * | 2014-12-19 | 2017-09-14 | Olympus Corporation | Einfügung/Entfernung-Unterstützungsapparat und Einfügung/Entfernung-Unterstützungsverfahren |
| CN107105968B (zh) * | 2014-12-19 | 2019-07-16 | 奥林巴斯株式会社 | 插拔辅助装置及插拔辅助方法 |
| CN107105967B (zh) * | 2014-12-19 | 2019-06-25 | 奥林巴斯株式会社 | 插拔辅助装置及插拔辅助方法 |
| WO2018069992A1 (ja) | 2016-10-12 | 2018-04-19 | オリンパス株式会社 | 挿入システム |
| WO2018235185A1 (ja) * | 2017-06-21 | 2018-12-27 | オリンパス株式会社 | 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 |
| WO2019155617A1 (ja) * | 2018-02-09 | 2019-08-15 | オリンパス株式会社 | 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体 |
| JP7038845B2 (ja) * | 2018-09-19 | 2022-03-18 | オリンパス株式会社 | 内視鏡挿入形状観測装置及び内視鏡形状観測装置の作動方法 |
| JP7167334B2 (ja) * | 2019-05-30 | 2022-11-08 | オリンパス株式会社 | モニタリングシステム及び内視鏡の模型への挿入操作の評価方法 |
| CN114126474A (zh) * | 2019-07-22 | 2022-03-01 | 富士胶片株式会社 | 内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作方法、及内窥镜形状显示控制装置的操作程序 |
| CN115087385A (zh) | 2020-02-19 | 2022-09-20 | 奥林巴斯株式会社 | 内窥镜系统、管腔结构计算装置以及管腔结构信息的制作方法 |
| EP4133988A4 (en) * | 2020-04-09 | 2024-04-17 | Nec Corp | ENDOSCOPE INSERTION ASSISTANCE DEVICE, METHOD, AND NON-TEMPORARY COMPUTER-READABLE MEDIUM ON WHICH A PROGRAM IS STORED |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04146716A (ja) * | 1990-10-08 | 1992-05-20 | Toshiba Corp | 内視鏡装置 |
| JP2000175862A (ja) * | 1998-12-17 | 2000-06-27 | Olympus Optical Co Ltd | 内視鏡挿入形状検出装置 |
| JP2000175861A (ja) * | 1998-12-17 | 2000-06-27 | Olympus Optical Co Ltd | 内視鏡形状検出装置 |
| JP2004147778A (ja) * | 2002-10-29 | 2004-05-27 | Olympus Corp | 画像処理装置及び内視鏡画像処理装置 |
| JP2004358095A (ja) * | 2003-06-06 | 2004-12-24 | Olympus Corp | 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法 |
-
2005
- 2005-04-11 JP JP2005113922A patent/JP4656988B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04146716A (ja) * | 1990-10-08 | 1992-05-20 | Toshiba Corp | 内視鏡装置 |
| JP2000175862A (ja) * | 1998-12-17 | 2000-06-27 | Olympus Optical Co Ltd | 内視鏡挿入形状検出装置 |
| JP2000175861A (ja) * | 1998-12-17 | 2000-06-27 | Olympus Optical Co Ltd | 内視鏡形状検出装置 |
| JP2004147778A (ja) * | 2002-10-29 | 2004-05-27 | Olympus Corp | 画像処理装置及び内視鏡画像処理装置 |
| JP2004358095A (ja) * | 2003-06-06 | 2004-12-24 | Olympus Corp | 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112016006985T5 (de) | 2016-06-20 | 2019-02-28 | Olympus Corporation | Einführvorrichtung für einen flexiblen Tubus |
| US11246474B2 (en) | 2016-06-20 | 2022-02-15 | Olympus Corporation | Flexible tube insertion apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006288752A (ja) | 2006-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4656988B2 (ja) | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 | |
| EP1437083B1 (en) | Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus | |
| EP2301411B1 (en) | Endoscope system | |
| US8558879B2 (en) | Endoscope apparatus and measuring method | |
| JP4789545B2 (ja) | 内視鏡挿入形状解析装置 | |
| US8251890B2 (en) | Endoscope insertion shape analysis system and biological observation system | |
| JP5477800B2 (ja) | 回転状態検出装置の作動方法および回転状態検出装置 | |
| WO2007023631A1 (ja) | 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム | |
| US20120130171A1 (en) | Endoscope guidance based on image matching | |
| JP4855901B2 (ja) | 内視鏡挿入形状解析システム | |
| JP2004358095A (ja) | 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法 | |
| JP6624705B2 (ja) | 内視鏡挿入形状観測装置 | |
| JP7292376B2 (ja) | 制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法 | |
| JP3290153B2 (ja) | 内視鏡挿入形状検出装置 | |
| EP1566140B1 (en) | Endoscope insertion direction detecting device | |
| JP4855902B2 (ja) | 生体観測システム | |
| JP4855912B2 (ja) | 内視鏡挿入形状解析システム | |
| EP3607870B1 (en) | Endoscope shape display device, and endoscope system | |
| WO2024028934A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
| US20120100512A1 (en) | Inspection apparatus and inspection method | |
| WO2022064998A1 (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
| EP3607869B1 (en) | Endoscope shape display device, and endoscope system | |
| JP2005077831A (ja) | 工業用内視鏡装置及びこれを用いた検査方法 | |
| WO2022065189A1 (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
| US20120107780A1 (en) | Inspection apparatus and inspection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4656988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |