WO2007023631A1

WO2007023631A1 - 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム

Info

Publication number: WO2007023631A1
Application number: PCT/JP2006/314574
Authority: WO
Inventors: Hideki Tanaka
Original assignee: Olympus Medical Systems Corp.
Priority date: 2005-08-25
Filing date: 2006-07-24
Publication date: 2007-03-01
Also published as: US20090149703A1; EP1917901A4; EP1917901B1; EP1917901A1

Abstract

本発明の内視鏡挿入形状解析装置としての電子内視鏡システムは、体腔内に挿入する挿入部を有する電子内視鏡と、内視鏡挿入部の複数のソースコイル、センスコイルユニットおよび形状処理装置により挿入部形状を検出する形状観測装置等と、内視鏡が撮像した内視鏡画像と、形状観測装置が検出した形状とを表示するディスプレイとを有し、さらに形状処理装置が検出した情報を基にして、形状処理装置が検出した形状に基づき、形状データをパターン分類するＰＣを有する。

Description

明細書

内視鏡揷入形状解析装置及び内視鏡揷入形状解析システム

技術分野

[0001] 本発明は、内視鏡挿入部の挿入にお!ヽてその挿入を阻害等して!/ヽる状況を解析する内視鏡挿入形状解析装置及び内視鏡挿入形状解析システムに関する。

背景技術

[0002] 内視鏡による挿入観察を行う際、被検体となる体腔内の管腔は、例えば、大腸や小腸等のように曲がっている。そのため、内視鏡挿入部が管腔のどの位置まで挿入されているか、また内視鏡挿入部がどのような形状になっているかが判明すると、内視鏡による観察処置の操作性が向上する。

[0003] そのため、従来より、内視鏡挿入時において屈曲状態等を知ることができる装置として、ソースコイル等を用いて内視鏡の挿入形状を検出する内視鏡形状検出装置が提案されている。

[0004] ここで、内視鏡による被検体の観察中、術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中してしまう傾向がある。そして、術者の意識は、内視鏡形状検出装置により生成表示される挿入形状の画像に集中されないことが多い。術者は、内視鏡挿入部の挿入進行に障害が生じて初めて、挿入形状の画像に注目することになる。そのことが、内視鏡観察の進行の妨げおよび、被検体に対する不快感を生じさせる要因となる。

[0005] また、一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認ゃ内視鏡操作の習得訓練に用いられる。

[0006] そのため、日本国特開 2004— 147778号公報には、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生して、自由に対比可能な内視鏡画像処理装置が提案されて!ヽる。

[0007] 前記日本国特開 2004— 147778号公報の提案に係る装置は、例えば大腸に内視鏡を挿入した際の内視鏡挿入部の形状を、内視鏡挿入形状観測装置により検出するとともに、画像処理装置により形状解析を行い、内視鏡挿入部の形状に関する解析結果を提供する。

[0008] 前記解析結果は、挿入部形状や操作者の内視鏡操作に関するものであって、内視鏡挿入部の形状が所定の形状であるか否か、及び、所定の形状変化を示したかどう力を判定することによって実現している。

[0009] また、挿入形状等の他に、実際に挿入部の手元側で挿入操作をした場合に、その挿入操作に適切に応答しているカゝ否かの情報を挿入補助情報として把握できるとより便利である。

[0010] 例えば、日本国特開 2004— 358095号公報の従来例は、挿入部がループ形状になった力否力を定期的に解析して、ループ形状になった場合にはその情報を表示するようにしている。また、挿入部の先端側が停止状態である事などの解析も行う。発明の開示

課題を解決するための手段

[0011] し力しながら、前記日本国特開 2004— 147778号公報の装置で提供される解析結果及び解析結果を導く手法には、例えば、

1)所定の条件を満たす力否かの単純な判定のため、誤判定が生じる（例えば、局所的な特徴 (アングル等）に反応してしまい、形状全体として捕らえることができない）

2)一時刻における瞬間の形状で判定しているために、外乱に弱い

といった問題がある。

[0012] また、上記本国特開 2004— 358095号公報の従来例では、ループ形状になった場合を解析して表示を行って!/、るタイミングに、その情報を観察すればその情報を把握できるが、その表示は定期的に更新されてしまうため、ループ形状と解析された付近のタイミングを逃がして観察した場合にはその情報を見落とす欠点があった。

[0013] 本発明は、上記事情に鑑みてなされたものであり、形状解析を安定的に行え、かつ、内視鏡挿入状態を挿入部全体形状で解析することのできる内視鏡挿入形状解析装置を提供することを目的として!ヽる。

[0014] また、本発明は、挿入操作等に対する挿入部の所定の応答動作状態に対応する挿入補助情報をより確実に確認できるようにした内視鏡挿入形状解析装置及び内視鏡挿入形状解析システムを提供することをさらなる目的としている。図面の簡単な説明

[図 1]本発明の実施例 1に係る電子内視鏡システムの全体構成を示すブロック図

[図 2]ソースコイルが内蔵された図 1の内視鏡の挿入部及びソースコイルの座標を示す関係図

[図 3]内視鏡挿入形状観測装置が生成する挿入形状データの構造を示すデータ構造図

[図 4]図 1の画像処理装置のディスプレイ上に表示される解析ウィンドウの構成図 [図 5]図 1の画像処理装置における検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図

[図 6]図 5における形状解析処理の詳細なフローチャート図

[図 7]図 6の処理を説明する図

[図 8]図 1の画像処理装置の記憶装置に格納されている辞書ファイルの構成を示す図

[図 9]図 8の辞書ファイルで分類される形状を示す第 1の図

[図 10]図 8の辞書ファイルで分類される形状を示す第 2の図

[図 11]図 8の辞書ファイルで分類される形状を示す第 3の図

[図 12]図 8の辞書ファイルで分類される形状を示す第 4の図

[図 13]図 8の辞書ファイルで分類される形状を示す第 5の図

[図 14]本発明の実施例 2に係る画像処理装置のメモリに構築されるリングバッファを示す図

[図 15]図 14のリングバッファを用いた画像処理装置の処理の流れを説明するフローチャート

[図 16]図 15の処理を説明する図

[図 17]図 15の処理で利用可能な画像処理装置の記憶装置に格納される辞書フアイルを示す図

[図 18]図 15の処理で利用可能な画像処理装置の記憶装置に格納されるコード修正辞書を示す図

[図 19]本発明の実施例 3に係る電子内視鏡システムの全体構成を示すブロック図 [図 20]図 19の画像処理装置の PCの動作プログラムの構成を示すブロック図

[図 21]図 20の動作プログラムの出力先登録ブロックが展開する登録ウィンドウを示す図

[図 22]図 20の動作プログラムの処理の流れを示す第 1のフローチャート

[図 23]図 20の動作プログラムの処理の流れを示す第 2のフローチャート

[図 24]図 20の動作プログラムの処理の流れを示す第 3のフローチャート

[図 25]本発明の実施例 4を備えた体内挿入モニタリングシステムの全体構成図

[図 26]本発明の実施例 4に係る内視鏡挿入形状観測装置で検出される挿入部内に設けられたソースコイルの座標を示す図

[図 27]本発明の実施例 4に係る内視鏡挿入形状観測装置により生成される挿入形状データを示す説明図

[図 28]本発明の実施例 4に係る画像処理装置により実現される機能ブロックの構成等を示す図

[図 29]図 28に示した解析処理ブロック等によるデータの流れや処理フロー等を示す説明図

[図 30]本発明の実施例 4に係る挿入補助情報の更新タイミングと現在の時刻との差分値により挿入補助情報の表示持続を制御する動作を示す説明図

[図 31]本発明の実施例 4に係る挿入補助情報の表示特性に関する変形例を示す図 [図 32]本発明の実施例 5における画像処理装置により実現される機能ブロックの構成等を示す図

[図 33]図 32に示した解析処理ブロック等によるデータの流れや処理フロー等を示す説明図

[図 34]本発明の実施例 5に係る処理スクリプトの処理内容のプログラミングの具体例発明を実施するための最良の形態

[0016] 以下、図面を参照しながら本発明の実施例について述べる。

[0017] (実施例 1)

図 1に示すように、内視鏡挿入形状解析装置としての電子内視鏡システム 1は、内視鏡装置 2と、内視鏡挿入形状観測装置 3、および画像処理装置 4から構成されている。

[0018] 内視鏡装置 2は、電子内視鏡 21、ビデオプロセッサ 22、光源装置 23および、観察モニタ 24から構成されて!、る。

[0019] 電子内視鏡 21は、挿入部 21a内に設けられた図示しないライトガイドにより、挿入部 21aの先端部力管腔内の観察部位を照明する観察光が照射されるように構成されている。電子内視鏡 21は、被検体である体腔の管腔内に挿入される細長の挿入部 21a先端に、図示しない電子撮像素子 (例えば、 CCD)力設けられている。さらに、電子内視鏡 21は、その電子撮像素子が駆動制御され、管腔内の観察部位の撮像映像信号を生成し出力する。

[0020] さらに、電子内視鏡 21の挿入部 21aの先端部分には、湾曲部 21bが設けられ、挿入部 21 a基端側に設けられた操作部 21 cにおいて湾曲操作可能になっている。

[0021] また、電子内視鏡 21の操作部 21cには、レリーズスィッチ 25が設けられている。さらに、操作部 21cには、ビデオプロセッサ 22との間において前記電子撮像素子を駆動制御しかつ撮像生成された撮像映像信号を送受信するためのケーブルが設けられている。また、操作部 21cには、光源装置 23からの観察光を前記ライトガイドに導くライトガイドケーブル（図示せず)等が設けられて、る。

[0022] また、電子内視鏡 21には、管腔における挿入部 21aの挿入位置および形状を検出するための検出機能を構成する後述の複数のソースコイルが設けられて、る。その挿入の位置および形状検出機能は、挿入部 21aの挿入軸に沿って配置された複数のソースコイルと、内視鏡挿入形状観測装置 3に設けられた複数のセンスコイルを有するセンスコイルユニット 31とからなっている。

[0023] なお、複数のソースコイルは、内視鏡の挿入部 21aに、内視鏡の種類ごとに決定される所定間隔に配置されて、る。

[0024] ビデオプロセッサ 22は、電子内視鏡 21の電子撮像素子を駆動制御する。さらに、ビデオプロセッサ 22は、電子撮像素子により光電変換されて撮像生成された動画の映像信号を所定の信号処理を行!ヽ、輝度信号と色信号からなる YZC信号または、 RGB信号等を生成する。そのビデオプロセッサ 22により生成された輝度信号と色信号からなる YZC信号または、 RGB信号は、観察モニタ 24と画像処理装置 4へと直接出力されるようになって!/、る。

[0025] また、ビデオプロセッサ 22は、内視鏡 21のレリーズスィッチ 25が操作されると、撮像画像の静止画像の出力指示が可能となっている。

[0026] なお、ビデオプロセッサ 22には、内視鏡検査に関する検査情報を入力する図示しない入力機能を有している。

[0027] 光源装置 23は、照明光源である図示しないランプと、そのランプの図示しない点灯回路等力なっている。光源装置 23は、ランプ点灯時に投射された照明光を電子内視鏡 21のライトガイドへと供給し、照明光は、挿入部 21a先端力管腔の観察部位へと投射される。

[0028] 観察モニタ 24は、前記ビデオプロセッサ 22において生成された YZC信号または RGB信号等を基に、内視鏡画像を表示するものである。

[0029] 内視鏡挿入形状観測装置 3は、内視鏡装置 2の周辺装置であり、センスコイルュニット 31と、形状処理装置 32と、モニタ 33と力ら構成されている。センスコイルユニット 3 1は、電子内視鏡 21の揷入部 21aに設けられた複数のソースコイルからの磁界を検出するユニットである。形状処理装置 32は、そのセンスコイルユニット 31によって検出された磁界に基づいて内視鏡挿入部の形状を推定する装置である。モニタ 33は、その形状処理装置 32によって推定された内視鏡挿入部の形状を表示する装置である。

[0030] 形状処理装置 32は、ソースコイルを駆動する駆動信号を電子内視鏡 21に出力してソースコイルに磁界を発生させる。形状処理装置 32は、発生された磁界を検出したセンスコイルユニット 31からの検出信号に基づいて、各ソースコイルの位置座標データの算出し、その算出された位置座標データカゝら内視鏡挿入部の形状を推定している。また、形状処理装置 32は、推定した内視鏡挿入部の形状をモニタに表示するための挿入部形状画像信号を生成する。さらに、形状処理装置 32は、画像処理装置 4に出力する内視鏡挿入部の形状を示す 3次元座標情報および、形状表示属性等の挿入形状データを生成するように構成されてヽる。

[0031] 以上のように、複数のソースコイル、センスコイルユニット 31、形状処理装置 32が形状検出手段を構成している。 [0032] なお、内視鏡挿入形状観測装置 3において、形状処理装置 32により処理生成されてモニタ 33に表示される挿入部形状画像の回転角および、拡大縮小等の形状表示属性は、図示しない操作パネル力もの指示入力により、変更可能となっている。さらに、形状処理装置 32により生成された挿入形状データは、画像処理装置 4へ出力可能となっている。

[0033] 画像処理装置 4は、形状解析手段及びパターン分類手段を構成するパーソナルコンピュータ（以下、単に PCと称する） 41と、マウス 42と、キーボード 43と力も構成されている。マウス 42とキーボード 43は、 PC41に各種指示入力するための入力装置である。ディスプレイ 44は、 PC41により処理された各種情報データおよび画像情報を再生表示する装置である。また、表示手段としてのディスプレイ 44は、電子内視鏡 21 が撮像した内視鏡画像と、形状処理装置 32が検出した内視鏡挿入部の形状とを 1 つの画面上に表示するようになってヽる。

[0034] さらに、 PC41は、第 1通信ポート 41aと、第 2通信ポート 41bと、動画像入力ボード 4 lcと、例えば半導体素子等力もなるメモリ 41eと、例えばハードディスク等力もなる情報格納手段としての記憶装置 4 Ifとを有している。形状解析手段としての PC41は、後述のように、挿入形状データ等を基に、内視鏡挿入を阻害している特定位置等を算出、すなわち解析して求めるようになつている。

[0035] 第 1通信ポート 41aは、内視鏡挿入形状観測装置 3の形状処理装置 32の通信ポート 32aから出力される挿入形状データを、取り込むようになって、る。

[0036] 第 2通信ポート 41bは、内視鏡装置 2のビデオプロセッサ 22の通信ポート 22aから出力される内視鏡検査情報を取り込むようになって!/、る。

[0037] 動画像入力ボード 41cは、内視鏡装置 2のビデオプロセッサ 22において生成された動画映像信号を所定の圧縮画像データに変換するものである。

つまり、画像処理装置 4の動画像入力ボード 41cには、ビデオプロセッサ 22により生成された動画像の映像信号が入力される。そして、動画像入力ボード 41cは、その動画像の映像信号を所定の圧縮動画映像信号データ、例えば MJPEG形式の圧縮画像データに変換する。変換された圧縮画像データは、 PC41の記憶装置 41fに保存される。 [0038] なお、一般的には、内視鏡検査開始前には、ビデオプロセッサ 22から、内視鏡検查に関する検査情報が入力される。その入力されたデータをもとに、検査情報が、観察モニタ 24に文字および数字の情報として表示される。さらに、その検査情報データは、通信ポート 22aから第 2通信ポート 41bを介して、画像処理装置 4に送信しメモリ 41 eあるいは記憶装置 4 Ifに記録することも可能である。

[0039] また、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コードなどである。

[0040] つまり、画像処理装置 4は、必要に応じてビデオプロセッサ 22と接続して、ビデオプ口セッサ 22からの各種情報データを受信しメモリ 41eあるいは記憶装置 41fに保存するようになっている。

[0041] 次に、内視鏡挿入形状観測装置 3における挿入形状データの生成について説明する。

[0042] 内視鏡挿入形状観測装置 3は、電子内視鏡 21の電子撮像素子により撮像される撮像映像信号の 1フレームごとに、電子内視鏡 21の挿入部 21aに内蔵された M個のソースコイルの ₃次元座標を含む挿入形状データを生成する。内視鏡挿入形状観測装置 3は、その挿入形状データをもとに挿入部形状画像を生成して、モニタ 33に表示するとともに、挿入形状データを画像処理装置 4に出力供給する。

[0043] 図 2に示すように、電子内視鏡 21の揷入部 21aに挿入形状推定のための M個のソースコイルが内蔵されている。そして、各ソースコイルの位置力参照点を構成している。内視鏡挿入形状観測装置 3において検出するソースコイルの座標系は、第 jフレ一ムの揷入部 21a先端から数えて m番目のソースコイルの 3次元座標を、次の式 1で表されるようになつている。

(X^j , Y^j , Z^j )…（式 1)

m m m

ただし、 m=0, 1 , · · ·, M—lである。また、 jは、電子撮像素子により撮像された撮像映像信号の第 jフレームを表して、る。

[0044] 内視鏡挿入形状観測装置 3により検出されたソースコイルの座標系を示す挿入形状データの構造は、図 3に示すような構造であり、 1つのフレームに関係するデータが 1つのパケットとして送信される。 1つのパケットは、フォーマット種別情報、挿入形状データの作成時刻、表示属性情報、付属情報、ソースコイル座標のデータカゝら構成されている。

[0045] 本実施例にお!ヽてフォーマット種別とは、挿入形状データ作成時刻、表示属性、付属情報、コイル座標のそれぞれに割り当てるデータサイズを規定するものである。また、データサイズの規定とは、内視鏡の種類ごとに決定されるソースコイルのデータ数、挿入形状データ作成時刻、コイル座標の精度、表示属性や付属情報に含まれる情報量の規定を意味する。

[0046] ここで、ソースコイルは、挿入部 21a先端力挿入部 21aの基端側に設けられている操作部 21c側に向力つて、順に並んで配置されている。つまり、それらソースコイルの座標データは、電子内視鏡 21の揷入部 21aに内蔵されているソースコイルの 3次元座標である。尚、内視鏡挿入形状観測装置 3が検出範囲外とするソースコイルの座標は、 3次元座標（0, 0, 0)が設定されるようになっているものとする。

[0047] 次に、図 5のフローチャートを用いて、画像処理装置 4における処理フローについて説明する。すなわち、内視鏡装置 2のビデオプロセッサ 22からの検査情報と内視鏡画像、および内視鏡挿入形状観測装置 3の形状処理装置 32からの挿入形状データにつヽての処理内容である。

[0048] その処理動作は、画像処理装置 4に設けられた検査用アプリケーションプログラム（以下、アプリケーションプログラムを単にアプリケーションと、う）を PC41にお!/ヽて展開し実行させること〖こより実現する。

[0049] 内視鏡検査を始めるにあたり、ビデオプロセッサ 22では検査情報を入力し、画像処理装置 4の PC41は検査用アプリケーションを起動する。その検査用アプリケーションが起動すると、ディスプレイ 44には、図 4に示す解析ウィンドウ 50が表示されるように構成されている。ただし、図 4は、挿入形状データを処理している最中の表示内容を示している。

[0050] ここで、図 4を参照して、まず前提となる解析ウィンドウ 50について説明する。

[0051] 解析ウィンドウ 50は、ファイルメニュー 51、警告情報表示領域 52、検査情報表示領域 53、内視鏡画像表示領域 54、内視鏡挿入形状表示領域 55、付属情報表示領域 56、表示パラメータチェックボックス 57、解析値表示領域 58、時系列グラフ領域 5 9、時系列サブ情報表示領域 60、スライダー 61、開始ボタン 62および、停止ボタン 6 3を含んでいる。

[0052] 時系列グラフ領域 59と時系列サブ情報表示領域 60の X軸は、時間軸であり、図 4 の左右方向である。時系列グラフ領域 59と時系列サブ情報表示領域 60は、挿入形状データを取得するごとに、すなわち経時的に、点のプロットを行いながら、プロット位置を図 4の右方向に移動させてグラフを作成する領域である。プロットする点の Y 軸方向の位置は、画像処理装置 4の PC41が算出した内視鏡挿入部 21aの形状をあらわす特徴量の値によって決定される。本実施例では、内視鏡画像処理装置 4が算出したアングル、挿入長、特定位置としての停止コイル位置をプロットする。すなわち、算出された特定位置がグラフにより視覚化されるように処理される。それぞれ、 Y軸のスケール、 0点位置が個別に設定される。なお、 Y軸方向は、図 4の上下方向である。

[0053] 表示パラメータチェックボックス 57の選択肢として、本実施例ではアングル、挿入長、及び停止コイル位置がある。そのチェックボックスをチェックすることにより、時系列グラフ領域 59に表示するパラメータの種類を選択する。

[0054] アングル、挿入長の各パラメータに関する算出手法は、従来技術である日本国特開 2004— 147778号公報における手法と同等である。

[0055] 次に、停止コイル位置に関する算出手法について、以下に詳述する。

[0056] 解析ウィンドウ 50のファイルメニュー 51を選択すると、画像処理装置 4が過去に記録した挿入形状ファイルと、画像ファイルとを選択するための、図示しない選択ウィンドウが表示され、各々のファイルを選択して読み込むことが可能である。挿入形状フアイルとは、内視鏡挿入形状観測装置 3がー検査内に生成した挿入形状データの集合ファイルである。画像ファイルとは、画像処理装置 4の動画像入力ボード 41cが生成した圧縮画像データの集合ファイルである。

[0057] 画像処理装置 4の PC41に検査用アプリケーションが展開されて実行されると、図 5 に示すように、ステップ S1において、 PC41は、アプリケーションの初期化情報を初期化ファイル力も読み込む。なお、初期化ファイルは、 PC41の記憶装置 41fにあらかじめ記憶されている。そして、 PC41は、読み込んだ初期化ファイルの情報を PC41内のメモリ 41 e上に記憶した後、ディスプレイ 44に解析ウィンドウ 50を表示する。

[0058] 本実施例では、初期化情報として、電子内視鏡システム 1にお、て使用可能な電子内視鏡 21の名称と、挿入形状データのフォーマット種別ごとのデータサイズ情報とを含んでいる。さらに、初期化情報としては、電子内視鏡 21の挿入部 21aを直線ィ匕した際のソースコイル間の距離と、形状解析処理に使用するパラメータとを含んでいる

。なお、ソースコイル間の距離は、以下、ソースコイル間距離情報と称する。

[0059] またさらに、初期化情報として、解析ウィンドウ 50のディスプレイ 44上における表示位置座標も含んでいる。その表示位置座標に基づいて PC41は、ディスプレイ 44に解析ウィンドウ 50を表示する。

[0060] ステップ S2において、 PC41は、ビデオプロセッサ 22からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置 3の形状処理装置 32からの挿入形状データを受信し保存するモードに設定する。

[0061] 次に、ステップ S3において、 PC41は、術者がマウス 42またはキーボード 43を操作し、解析ウィンドウ 50に表示された開始ボタン 62が押下されたカゝ否かを判断する。開始ボタン 62が押下されるまで待機し、押下されるとステップ S4以降が実行される。

[0062] ステップ S4において、 PC41は第 1通信ポート 41aを開き、内視鏡挿入形状観測装置 3との通信を開始する。さらにステップ S5において、 PC41は第 2通信ポート 41bを開き、ビデオプロセッサ 22との通信を開始する。

[0063] ステップ S6において、 PC41は、ビデオプロセッサ 22に対して、検査情報の取得コマンドを第 2通信ポート 41b力もビデオプロセッサ 22の通信ポート 22aに送信する。その検査情報取得コマンドを受信したビデオプロセッサ 22は、検査情報を PC41へと送信する。

[0064] PC41は、ステップ S6においてビデオプロセッサ 22から送信された検査情報を、ステツプ S7において、記憶装置 41fに記録し保存するとともに、解析ウィンドウ 50の検查情報表示領域 53に表示する。

[0065] ステップ S8において、 PC41は、第 1通信ポート 41aから内視鏡挿入形状観測装置 3の形状処理装置 32の通信ポート 32aに対して、挿入形状データの取得コマンドを送信する。その挿入形状データ取得コマンドを受信した形状処理装置 32は、挿入形状データの送信出力を開始する。その送信は、 PC41と形状処理装置 32の間の通信が終了し、通信ポート 32aが閉じられるまで続けられる。

[0066] ステップ S9において、 PC41は、ステップ S8における形状処理装置 32から送信出力された挿入形状データを受信する。そして、 PC41は、受信した挿入形状データと、ステップ S7において記録し保存した検査情報とを関連付けて、 PC41に設けられている記憶装置 4 Ifに挿入形状ファイルとして記録し保存する。また同時に、 PC41内のメモリ 41e上に、挿入形状データを随時記録する。

[0067] PC41は、ステップ S10において、ビデオプロセッサ 22から入力された動画映像信号を動画像入力ボード 41cにより MJPEG形式の圧縮画像データに変換させる。さらに PC41は、その圧縮画像データとステップ S7において記録保存した検査情報と関連付けて、 PC41の記憶装置 41fに画像ファイルとして保存するとともに、動画像入力ボード 41cに入力されている動画像を解析ウィンドウ 50の内視鏡画像表示領域 5 4に表示させる。

[0068] PC41は、ステップ S11において、図 6に示す各ステップの解析処理を実行する。その解析処理が終了すると、 PC41は、ステップ S12において、解析ウィンドウ 50の停止ボタン 63が押下された力否かを判断し、停止ボタン 63が押下されて、な、と判定されるとステップ S8に戻るとともに、解析ウィンドウ 50のスライダー 61を 1ステップ右に移動させる。

[0069] 停止ボタン 63が押下されたと判定されると、 PC41はステップ S13において、第 1通信ポート 41aと第 2通信ポート 41bとを閉じて、内視鏡挿入形状観測装置 3とビデオプ口セッサ 22との情報データの通信を終了する。

[0070] 次に、図 6を用いて、ステップ S 11の形状解析処理について説明する。

[0071] ステップ S21において、 PC41は、前フレームの挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報とを取得する。

[0072] PC41は、取得した挿入形状データのフォーマット種別に基づいて、図 5のステップ S 1にお!/、てメモリ 41 e上に保持して!/、る、フォーマット種別に対応したフレームバケツトに含まれる情報のデータサイズ情報を取得し、挿入形状データのフレームパケットを各データに分解処理する。フォーマット種別の名称は、解析ウィンドウ 50の付属情報表示領域 56に表示する。

[0073] また、 PC41は、前記分解処理によって生成した付属情報力も電子内視鏡 21の名称を取得し、解析ウィンドウ 50の付属情報表示領域 56に表示する。とともに、 PC41 は、取得した電子内視鏡 21の名称に基づいて、図 5のステップ S1にてメモリ 41e上に保持している、電子内視鏡 21の名称に対応したソースコイル間距離情報を取得する。

[0074] そして、ステップ S22において、以下の処理（1)〜処理（7)の各種解析処理を実行する。

[0075] 処理（1)：挿入長の算出処理 (測定範囲内に存在するソースコイルを先端力数え上げる処理）

処理（2)：ループの判定処理 (Z軸方向（図 2参照）に投影したときの挿入部 21aの交差点が存在するか否かの処理）

処理（3)：アングルの算出処理 (湾曲部 21bのアングルの算出処理）

処理 (4)：曲率半径の算出処理 (挿入部 21aの局所的な曲率半径の算出処理）処理（5)：根元に対する角度の算出（挿入部 21aの根元近辺に位置するソースコイルの挿入軸方向と、各ソースコイルの挿入軸方向のなす角度の算出処理）

処理（6)： 1フレームあたりの移動量の算出（前フレームと現フレームとのソースコイルの位置座標の差分による、各ソースコイルの移動量の算出処理）

処理（7) : 1フレームあたりの推進量の算出（移動量を、各ソースコイルの位置にて揷入軸方向に投影したときの値の算出処理）

次に、ステップ S23において、図 7に示すように、ステップ S22で算出した各解析値のそれぞれに対してフラグを生成し、そのフラグを並べてビット列とみなすことによりバイトコードに変換することで、解析結果をコード化する。

[0076] PC41は、図 8に示す辞書ファイルを記憶装置 41fに保存している。この辞書フアイルは、バイトコードと、バイトコードに対する内視鏡形状分類 ID、内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報を対応付けて管理している。

[0077] 詳細には、内視鏡形状分類 IDは、内視鏡形状が取りうるすべての形状を分類して、それぞれに IDを割り振ったものである。 [0078] また、本実施例では、図 9ないし図 13に示すように、例えば、下部内視鏡挿入時の形状は、直線形状 (図 9)、ステッキ形状 (図 10)、中折れ形状 (図 11)、ループ形状（図 12)、腰砕け形状（図 13)の 5パターンに大別、分類することが可能であるため、各パターンを示す文字列（直線、ステッキ、中折れ、ループ、腰砕け)を、内視鏡形状分類情報として辞書ファイルの記憶して、る。

[0079] さらに、内視鏡形状分類補助情報は、ループや腰砕け時の螺旋形状に対して、挿入部 21aを根元力先端への方向から見たときの挿入軸方向の回転方向の情報である。

[0080] また、操作補助情報は、各コードに対応する内視鏡形状に対して、ループまたは螺旋形状、ステッキなどの、先端部の前進を阻害する要因を取り除くために必要な挿入部 21aの操作情報である。例えば、操作補助情報が回転操作である場合には、操作者が、挿入部 21aの根元を操作補助情報が示す方向に捻ることにより、挿入部 21a のループまたは螺旋形状は解除され、挿入部 21aが真直ぐになるように形状を変化させることとなる。

[0081] そして、ステップ S24において、ステップ S23で生成されたバイトコードをキーとして辞書ファイル検索及び取得結果を解析ウィンドウ 50の警告情報表示領域 52 (図 4参照）に表示する。具体的には、ステップ S23で求めたバイトコードに該当する情報を辞書ファイルから検索、取得して、文字情報（内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報)を解析ウィンドウ 50の警告情報表示領域 52に表示する。なお、ノイトコードに該当する情報がない場合には、表示処理を行わない。

[0082] そして、ステップ S25において、挿入形状データに関する 2次元投影の内視鏡形状画像を生成すると共に、解析ウィンドウ 50の内視鏡挿入形状表示領域 55に表示し、ステップ S 12に進む。

[0083] このように本実施例では、内視鏡挿入部の形状を逐一コード化し、そのコードに対応する内視鏡形状パターン、操作補助情報を表示するため、複数の判定条件による統合的な形状判定処理系を容易に構築することが可能となり、操作者に提示する補助情報の正確性が向上する。

[0084] すなわち、解析結果を統合して得られる判定結果を元に、内視鏡挿入部の形状をノターン分類して、各パターンに応じた情報を提供することができ、形状解析を安定的に行え、かつ、内視鏡挿入状態を挿入部全体形状で解析することが可能となる。

[0085] また、各コードに対応する情報を、辞書ファイル力も検索 Z取得動作により表示するため、プログラムを変更する（コンノィル、ビルドしなおす)ことなぐ辞書ファイルを編集するだけで表示内容を変更することが可能となる。

[0086] (実施例 2)

実施例 2は、実施例 1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

[0087] 本実施例では、メモリ 41e内に、図 14に示すような、例えばサイズ 8のリングバッファ 90が設けられている。

[0088] 挿入形状データには検査開始力のデータ取得カウント Countが関連付けられているため、本実施例においては、 Count/8の剰余をこのリングバッファ 90の格納位置とすることにより、過去 N回（但し、 Nく 8)の挿入形状データの記憶及び取得を実現している。その他の構成は実施例 1と同じである。

[0089] 本実施例では、実施例 1とステップ S11の形状解析処理の一部が異なるので、図 1 5な、し図 17を用いて異なる点を説明する。

[0090] 本実施例の形状解析処理では、図 15及び図 16に示すように、実施例 1で説明したステップ S21〜S23の処理を実行した後、ステップ S31において、リングバッファ 90 に格納されている、例えば過去 3回の格納情報 (挿入形状データ）を取得する。リングバッファ 90の位置は、現在のデータ取得カウント Countに対して、（Count-l)/8,(Coun t-2)/8,(Count-3)/8の各剰余により求める。そして、取得した過去 3回の格納情報と、ステップ S23で求めたバイトコードとを順次結合して、 4バイトの 4バイトコードを生成する。

[0091] 本実施例では、 PC41は、図 17に示す辞書ファイルを記憶装置 41fに保存している。この辞書ファイルは、 4バイトコードと、 4バイトコードに対応する内視鏡形状分類 ID 、内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報を対応付けて管理している。

[0092] そして、ステップ S24にて、ステップ S31で求めた 4バイトコードに該当する情報を辞書ファイルから検索、取得して、文字情報（内視鏡形状分類 ID、内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報)を解析ウィンドウ 50の警告情報表示領域 52に表示する。なお、バイトコードに該当する情報がない場合には、表示処理を行わない。

[0093] 次にステップ S32にて、ステップ S23において求めたバイトコードを、 PC41のメモリ

41 eにあるリングバッファ 90の該当位置に記憶させる。

[0094] その後、実施例 1と同様に、ステップ S25において、挿入形状データに関する 2次元投影の内視鏡形状画像を生成すると共に、解析ウィンドウ 50の内視鏡挿入形状表示領域 55に表示し、ステップ S 12に進む。

[0095] なお、より単純に、前回の挿入形状データの処理結果をメモリ 41eに保持させておき、今回の挿入形状データの処理結果との比較処理 (例えば、前回の処理結果と今回の処理結果とが同一であるか否か）によって、表示させる操作補助情報を決定するように構成してもよい。

[0096] また、 PC41の記憶装置 41fに、図 18に示すようなコード修正辞書を格納し、ステツプ S31にお!/、て 4バイトコードを、このコード修正辞書により修正してもよ!/、。

[0097] このように本実施例では、実施例 1と同様に、内視鏡挿入部の形状を逐一コードィ匕し、そのバイトコードと、過去取卿処理したバイトコードとを組み合わせて生成した 4バイトコードに対応する内視鏡形状パターン、操作補助情報を表示するため、外乱による誤処理を防止するとともに、内視鏡の一連の操作に対する判定が可能となるため、操作者に提示する操作補助情報の正確性が向上する。

[0098] また、各 4バイトコードに対応する情報を、辞書ファイルからの検索 Z取得動作により表示するため、プログラムを変更する（コンノィル、ビルドしなおす)ことなぐ辞書フアイルを編集するだけで表示内容を変更することが可能となる。

[0099] (実施例 3)

実施例 3は、実施例 1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

[0100] 図 18に示すように、本実施例の画像処理装置 4の PC41は、例えば外部装置である画像ファイルイング装置 100と通信可能な第 3通信ポート 41dを備えている。 [0101] 画像ファイルイング装置 100は画像データを管理 Z記録する PC101と、この PC10 1に接続可能なマウス 102、キーボード 103及びディスプレイ 104から構成される。画像フアイルイング装置 100の PC 101は、画像処理装置 4の PC41と通信可能な通信ポート 101a、メモリ 101b、記録装置 101cを有している。

[0102] 図 19は、画像処理装置 4の PC41で動作する動作プログラムである、挿入形状解析アプリケーション 151、挿入形状データ記録アプリケーション 15 la、挿入形状表示アプリケーション 15 lb及び挿入形状データ管理アプリケーション 152の処理ブロックと、各アプリケーションが使用するメモリ 41eのメモリブロックを構成を示すブロック図である。

[0103] メモリ 41eは、挿入形状解析アプリケーション 151が使用する挿入形状解析アプリケーシヨン用メモリ 141aと、挿入形状データ管理アプリケーション 152が使用する挿入形状データ管理アプリケーション用メモリ 141bと、挿入形状解析アプリケーション 15 1及び挿入形状データ管理アプリケーション 152が共用する共用メモリ 141cとから構成される。この共用メモリ 141cに対しては、挿入形状解析アプリケーション 151及び挿入形状データ管理アプリケーション 152のどちらからもアクセス可能である。

[0104] また、挿入形状データ管理アプリケーション 152は、挿入形状データ取得ブロック 1 61及びメッセージ送信ブロック 162と力もなる第 1スレッドと、挿入形状データ送信ブロック 163からなる第 2スレッドと、出力先管理ブロック 164及び出力先登録ブロック 1 65とからなる第 3スレッドとから構成される。

[0105] このように構成された本実施例の作用について、図 20ないし図 23を用いて説明する。

[0106] 第 3スレッド内の出力先登録ブロック 165は、図 20に示す登録ウィンドウ 171をディスプレイ 44に表示し、登録ウィンドウ 171内のチェックボックス 172におけるチェックの有無をメモリ 41e内の挿入形状データ管理アプリケーション用メモリ 141b領域に記憶する。

[0107] 第 2スレッド内の挿入形状送信ブロック 163は、第 3スレッドの出力先管理ブロック 1 64を通じて、メモリ 41e内の挿入形状データ管理アプリケーション用メモリ 141b領域に、画像フアイリング装置 100が送信先としてチェックされていることを示す内容が記憶されて、る力否かを確認する。

[0108] そして、第 2スレッド内の挿入形状送信ブロック 163は、画像フアイリング装置 100が送信先に指定されている場合には、図 21に示すフローに従って画像フアイリング装置 100との第 3通信ポート 41dを介した送受信処理を行う。

[0109] 画像フアイリング装置 100から送信要求がきたら、第 2スレッドの挿入形状データ送信ブロック 163は、共有メモリ 141cのバッファ内にある挿入形状データを読み込み、第 3通信ポート 41 dを使用して画像ファイリング装置 100に挿入形状データを送信する。送信し終わったら、画像フアイリング装置 100からの送信要求待ちの状態に移行し、同様の処理を繰り返す。

[0110] 第 1スレッド内の挿入形状データ取得ブロック 161は、第 3スレッドの出力先管理ブロック 164を通じて、メモリ 41e内の挿入形状データ管理アプリケーション用メモリ 141 b領域に、挿入形状データ記録アプリケーション 151aまたは挿入形状表示アプリケーシヨン 15 lb、または挿入形状解析アプリケーション 151が送信先としてチェックされて、ることを示す内容が記憶されて、る力否かを確認する。

[0111] 第 1スレッドは、図 22に示すフローに従って、内視鏡形状観測装置 3との通信ポート 32aを介した送受信を行う。本実施例では、挿入形状解析アプリケーション 151が送信先としてチェックされているものとして説明する。

[0112] 挿入形状データ取得ブロック 161は、通信ポート 2を通じて、内視鏡挿入形状観測装置 3に挿入形状データの送信要求を行う。

[0113] 内視鏡挿入形状観測装置 3は、通信ポート 32aを通じ挿入形状データを送信し、挿入形状データ取得ブロック 161が挿入形状データを受信して、共有メモリ 14 lcのバッファに書き込む。

[0114] 続いて、メッセージ送信ブロック 162は、挿入形状解析アプリケーション 151のウィンドウハンドルを OS (オペレーティングシステム）力ら検索/取得し、有効なウィンドウノ、ンドルを取得した場合に、そのウィンドウハンドルに対してメッセージを送信する。そのメッセージの引数として、共有メモリ 141c内のバッファの位置を指定する。

[0115] 挿入形状解析アプリケーション 151は、図 23に示すように、ステップ S41にてメッセージの引数に基づいて、共有メモリ 141c内のバッファをアクセスして、挿入形状データを取得する。このタイミング力実施例 1で説明した図 4におけるステップ S8に相当する。

[0116] 挿入形状解析アプリケーション 151は、取得した挿入形状データを、メモリ 41e内の挿入形状データ管理アプリケーション用メモリ 141bにコピーして、処理完了を示す確認を挿入形状データ取得プロック 161に伝達する。

[0117] 挿入形状データ取得ブロック 161は、メッセージ送信後、挿入形状解析アプリケーシヨン 151からの確認が伝達されるのを待ちつづけており、確認が伝達された時点で、同様の処理を繰り返す。

[0118] なお、共有メモリ 141cへの読み込み、書き込み時の排他処理は OSの用意するアトミックなメモリ読み書きの仕組みを利用して実現するものとする。

[0119] このように本実施例では、実施例 1の効果に加え、挿入形状データを、複数のアブリケーシヨン、複数の装置間で共用使用するため、機能を分割した複数の処理モジュールを並列に動作させることが容易になり、必要に応じた構成でシステム構築することが容易になると共に、システム開発のコストを軽減することが可能となる。

[0120] (実施例 4)

図 25に示すように本発明の実施例 4を備えた体内挿入モニタリングシステム 201は、内視鏡検査を行う内視鏡装置 202と、内視鏡挿入形状を観測するための内視鏡挿入形状観測装置 203と、内視鏡挿入形状観測装置 203により生成された内視鏡挿入形状データ (挿入形状データと略記)を解析して、内視鏡検査を補助若しくは支援する挿入モニタリング装置の実施例 4を構成する画像処理装置 204とから構成される

[0121] 内視鏡装置 202は、大腸等の体腔内に挿入される電子内視鏡 206と、この電子内視鏡 206に照明光を供給する光源装置 207と、電子内視鏡 6に内蔵された CCD等の撮像素子 216に対する信号処理を行う信号処理装置としてのビデオプロセッサ 20 8と、このビデオプロセッサ 208により生成された映像信号が入力されることにより撮像素子 216で撮像された体腔内の画像を内視鏡画像として表示する観察モニタ 209 とを有する。

[0122] 電子内視鏡 206は、患者の体腔内に挿入される細長の挿入部 211と、この挿入部 211の後端に設けられた操作部 212とを有する。挿入部 11内には、照明光を伝送するライトガイド 213が挿通されている。このライトガイド 213の後端は光源装置 207に接続され、光源装置 207から供給される照明光を伝送し、挿入部 211の先端部 214 に設けられた照明窓から (伝送した照明光を）出射する。

[0123] なお、挿入部 211には、先端部 214の後端に湾曲自在の湾曲部が設けてあり、操作部 212に設けられた図示しない湾曲操作ノブ等を操作することにより、湾曲部を湾曲することができる。

[0124] 上記先端部 214には、照明窓に隣接して設けられた観察窓に対物レンズ 215が取り付けてある。この対物レンズ 215により、その結像位置に配置された電荷結合素子（

CCDと略記)等の撮像素子 216の撮像面に光学像を結像する。

[0125] この撮像素子 216は、信号線を介してビデオプロセッサ 208と接続されており、光学像を光電変換した撮像信号をビデオプロセッサ 208に出力する。

[0126] ビデオプロセッサ 208は、撮像素子 216から出力される撮像信号に対して、映像信号を生成する信号処理を行う。そして、ビデオプロセッサ 208は、生成した映像信号

、例えば RGB信号を観察モニタ 209に出力する。そして、観察モニタ 209の表示面には、撮像素子 216で撮像された画像が表示される。

[0127] なお、光源装置 207は、 R, G, Bの照明光で面順次照明を行う場合には、各照明期間に同期した同期信号をビデオプロセッサ 208に出力し、ビデオプロセッサ 208はその同期信号に同期して信号処理を行う。

[0128] 更に、電子内視鏡 206の操作部 212には、レリーズ指示等を行う図示しないスイツチが設けてあり、スィッチを操作してビデオプロセッサ 208の動作を制御することができる。

[0129] また、本実施例においては、体腔内に挿入される挿入部 211の挿入位置や挿入形状を検出するための検出機能が設けられている。具体的には、電子内視鏡 206における揷入部 211内にはその長手方向に、所定の間隔で複数のソースコイル C0、 Cl、 · ··、 CM-1 (C0〜CM-1と略記）が配置されており、これらソースコイル C0〜CM-1は駆動信号が印加されることにより、その周囲に磁界を発生する。

そして、ソースコイル C0〜CM-1による磁界を、内視鏡挿入形状観測装置 203に設けられた複数のセンスコイルを内蔵したセンスコイルユニット 219により検出する構成にしている。

つまり、内視鏡挿入形状観測装置 203は、電子内視鏡 206に設けられたソースコィル C0〜CM-1による磁界を検出するセンスコイルユニット 219と、このセンスコイルュニット 219によって検出された磁界の検出信号に基づいて挿入部 211の形状 (挿入形状という）を推定する形状処理装置 221と、この形状処理装置 221によって推定された挿入形状を表示するディスプレイ 222とを有する。

[0130] 上記センスコイルユニット 219は、患者が横たわる検査ベッドの周辺部などに配置され、ソースコイル C0〜CM-1による磁界を検出して、検出した検出信号を形状処理装置 221に出力する。

[0131] 形状処理装置 221は、検出信号に基づいて、ソースコイル C0〜CM-1の各位置座標データの算出や、その算出された位置座標データ力挿入部 211の挿入形状を推定する。

[0132] 形状処理装置 221は、推定した挿入部 211の挿入形状の映像信号を生成し、生成した映像信号、例えば RGB信号をディスプレイ 222に出力する。そして、このディスプレイ 222の表示画面には、挿入形状が表示される。術者は、この挿入形状を観察することにより、挿入操作等をより円滑に行い易くなる。

[0133] また、この形状処理装置 221は、内視鏡検査中、挿入形状を示す 3次元座標情報、及び形状表示属性等の挿入形状データを連続的に生成し、通信ポート 221aを介して画像処理装置 204に出力する。この形状処理装置 221は、レリーズスィッチの操作時の挿入形状データのみを画像処理装置 204に出力することもできる。

[0134] なお、この内視鏡挿入形状観測装置 203は、形状処理装置 221による形状検出処理により生成されてディスプレイ 222に表示される挿入形状の画像の回転角、拡大縮小率等の形状表示属性を、図示して、な、操作パネル等力も指示入力することにより、変更可能となっている。

[0135] なお、ビデオプロセッサ 208には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有し、このビデオプロセッサ 208に入力された検査情報は、通信ポート 208aを介して画像処理装置 204にも送信される。 [0136] 画像処理装置 204は、入力される挿入形状データに対して、挿入操作等の内視鏡操作に対して実際に体腔内に挿入された挿入部 211の応答動作状態を解析処理し、術者に知らせるべき所定の応答動作状態になっている力否かを判定し、所定の応答動作状態になっている場合には挿入補助情報を生成する。

[0137] このため、画像処理装置 204は、術者を補助ないしは支援する挿入補助情報を生成するための解析処理を行うパーソナルコンピュータ（以下、単に PCと称する） 225と、この PC225に各種指示入力するためのマウス 226とキーボード 227と、 PC225により解析処理により生成された挿入補助情報等を再生若しくは表示する表示装置としてのディスプレイ 228とを有する。

[0138] PC225には、前記内視鏡挿入形状観測装置 203の形状処理装置 221の通信ポート 221aから出力される挿入形状データを取り込む通信ポート 225a、前記内視鏡装置 202のビデオプロセッサ 208の通信ポート 208aから出力される内視鏡検査情報を取り込む通信ポート 225bと、前記電子内視鏡 206の撮像素子 216で撮像され、ビデォプロセッサ 208で生成された動画像の映像信号を所定の圧縮画像データに変換する動画像入力ボード 225cと、画像処理を行う CPU231と、この CPU231により画像処理を行う処理プログラムを格納した処理プログラム格納部 232と、 CPU231により処理するデータ等を一時的に格納するメモリ 233と、処理された画像データ等を記憶する記録装置としてのハードディスク（HDD) 234とを有する。 CPU231等は、互ヽにノスにより接続されてヽる。

[0139] 画像処理装置 204の動画像入力ボード 225cには、ビデオプロセッサ 208で生成された動画像の映像信号、例えば YZC信号が入力され、動画像入力ボード 225cは、その動画像の映像信号を所定の圧縮された動画像の映像信号データ、例えば、 MJ PEG形式の圧縮画像データに変換して、 PC225内の例えばハードディスク 234等に保存する。

[0140] なお、内視鏡検査開始前に、ビデオプロセッサ 208から、内視鏡検査に関連する検查情報が入力され、その入力された検査情報データを基に観察モニタ 209に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート 208aから画像処理装置 4内の通信ポート 225bを経て、 PC225に送信記録することができる。 [0141] なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。

[0142] つまり、画像処理装置 204側は、必要に応じてビデオプロセッサ 208と接続して、ビデォプロセッサ 208からの各種情報データを受信して保存するようになって、る。

[0143] このような構成の体内挿入モニタリングシステム 201における内視鏡挿入形状観測装置 203による挿入形状データの生成について図 26と図 27を用いて説明する。

[0144] 内視鏡挿入形状観測装置 3の形状処理装置 221は、電子内視鏡 206の撮像素子 216で撮像される撮像信号の 1フレーム毎に電子内視鏡 206の挿入部 211に内蔵された M個のソースコイル C0〜CM-1の 3次元座標を含む挿入形状データを生成する。また、この形状処理装置 221は、挿入形状データを基に挿入形状の画像を生成して、ディスプレイ 222に表示すると共に、その挿入形状データを画像処理装置 204に出力する。

[0145] この内視鏡挿入形状観測装置 203で検出されるソースコイル C0〜CM-1の座標系は、

例えば第 j— 1フレームの場合 (但し、 jは図 27に示すように最初のフレームを第 0フレームとして!/ヽる）で示すと図 26に示すようになる。

[0146] 図 26に示すように、挿入部 11の先端側から i—1番目（ただし、 i=0、 1、 · ··、 M— 1

)のソースコイル Ciの 3次元座標は、（X^ji, Y^ji, Z^ji)により表示される。

[0147] この内視鏡挿入形状観測装置 203で検出されたソースコイル C0〜CM-1の座標系のデータを含む挿入形状データの構造は、図 27に示すように、撮像されたフレーム順に、各フレームに関係するフレームデータ（つまり、第 0フレームデータ、第 1フレームデータ、 ···）として 1つのパケットとして画像処理装置 204に順次送信される。バケツトで送信される各フレームデータ内には、挿入形状データの作成時刻、表示属性、付属情報、（ソース)コイル座標等のデータ力もなる。

[0148] また、コイル座標データは、図 26に示したようにソースコイル C0〜CM-1が揷入部 2 11の先端力もその基端 (手元側）の操作部 212側に順次配置されたものの 3次元座標をそれぞれ表すものとなっている。尚、内視鏡挿入形状観測装置 203により検出範囲外のソースコイルの座標は、検出範囲外と分力るように例えば所定の定数に設定されるようになってヽるものとする。

[0149] 次に、画像処理装置 204における内視鏡装置 202のビデオプロセッサ 208の検査情報と内視鏡画像及び前記内視鏡挿入形状観測装置 203の形状処理装置 221からの挿入形状データの取得力挿入補助情報の生成、並びに例えば大腸内に挿入して大腸内の内視鏡検査のモニタリングの作用等を、図 28から図 30を用いて説明する。

[0150] 画像処理装置 204は、内視鏡検査が開始すると、 PC225を構成する CPU231力 S 処理プログラム格納部 232に格納されている処理プログラムに従って処理を開始する。

[0151] CPU231により実行される処理機能ブロックは、図 28に示すようにフレームデータを取得してメモリ 233に格納するフレームデータ取得ブロック 241と、メモリ 233に格納されたフレームデータに対する解析処理を行い、解析データ 233bと生成した挿入補助情報 233cをメモリ 233に格納する解析処理ブロック 242と、解析結果の表示を行うと共に挿入補助情報 233cの表示 (若しくは表示特性)を制御する解析結果表示制御ブロック 243とからなる。

[0152] 図 28に示すように、フレームデータ取得ブロック 241と、解析処理ブロック 242とはループ状に処理を繰り返し行う。解析処理ブロック 242による解析結果として、所定の応答動作状態に対応する条件判定の処理を行い、これに該当する場合には挿入補助情報を生成する。また、解析結果表示制御ブロック 243は、予め設定された経過時間情報に従って、挿入補助情報 233cの表示及び表示停止 (消去)の表示制御を行う。

[0153] フレームデータ取得ブロック 241は、内視鏡挿入形状観測装置 203から送信されるフレームデータを図 28に示すようにメモリ 233上に記憶すると共に、図 25に示すようにハードディスク 234に保存する。

[0154] 解析処理ブロック 242は、メモリ 233上のフレームデータ 233aを使用して、各ソースコイル位置にぉ、て挿入部 211の向!、て!/、る方向や、 1フレーム前におけるソースコィルの移動量など、挿入部 211の (挿入操作に対する)応答動作状態を調べるためのデータの算出を行う。そして、この解析処理ブロック 242は、算出したデータを解析データ 233bとしてメモリ 233上に格納する。

[0155] また、解析処理ブロック 242は、メモリ 233上のフレームデータ 33aから解析データ 233bを生成すると共に、体腔内に挿入される挿入部 211が、術者による挿入操作に対して、順調に或いは適切に挿入されて、な、応答動作状態に関する情報を挿入補助情報として表示するために、フレームデータ 233a (及び必要に応じて解析データ 33b)を用いて挿入補助情報 233cを生成するための解析処理を行う。

[0156] この場合、解析データ 233bが所定の条件、具体的には術者が挿入部 211をその基端側で押し込む操作を行った場合に、挿入部 211の先端側が殆ど移動しな、ような条件、つまり挿入部 211の挿入が円滑にできなくなるような条件を満たす応答動作状態の場合には挿入補助情報 233cを生成して、メモリ 233上に格納する。この場合、メモリ 233上に以前に挿入補助情報 233cが格納されている場合にはその内容を更新する。

[0157] ここで、挿入補助情報 233cに関する所定の条件について補足説明する。

[0158] 挿入部 211の最先端位置におけるソースコイル COの揷入部 211の軸方向に対する移動量 M0と、揷入部 211の手元側位置にある例えばソースコイル CM-1との、揷入部 211の軸方向に対する移動量 Mnとの比 MOZMnが、閾値（ここでは 0. 1)未満である条件を満たす場合 (つまり MOZMnく 0. 1)に挿入補助情報 233cを生成する

[0159] 上記条件を満たすときに生成される挿入補助情報 233cは、本実施例では文字列情報"先端停止"と、条件判定に使用したフレームデータの挿入形状データ作成時刻 TOと、力なる。

[0160] なお、上記条件を満たす場合は、挿入部 211の手元側におヽて、術者が挿入操作を行っているにもかかわらず、挿入部 211の先端部 214が殆ど停止していることを示しており、これ以上挿入部手元側を押込んでも先端部 214は、進まない状況であることを表している。

[0161] 一方、解析結果表示制御ブロック 243は、上記のフレームデータ取得ブロック 241 と解析処理ブロック 242とのループ処理とは独立に、一定時間間隔で実行される処理ブロックである。 [0162] この解析結果表示制御ブロックは、メモリ 233上の挿入補助情報を取得し、現在の時刻 Tnと、挿入補助情報 233cの生成に対応する挿入形状データ作成時刻 TOとの差分が、予め設定される所定の閾値 T りも小さい (Tn— TOく Tt)場合に、挿入補助情報 233cの文字列情報の文字列情報を画像処理装置 204のディスプレイ 228上に、例えば先端停止と表示する。つまり、解析結果表示制御ブロックは、挿入補助情報 233cの生成に使用された挿入形状データ作成時刻 TO力もの経過時間が所定の時間としての閾値 TUり小さい時間においては、挿入補助情報 233cの文字列情報の表示を持続する。

なお、この場合の閾値 Ttの値は、予めデフォルトの値が設定されている力術者等のユーザは、例えばキーボード 227からそのユーザがより適切と思う値に変更設定できるようにしている。また、ユーザの HD情報と関連付けて閾値 Ttを変更設定できるようにして、ユーザ毎に異なる値に設定できるようにしても良い。

[0163] つまり、内視鏡検査を行う術者が挿入補助情報が表示されるディスプレイ 228を観察する概略の時間間隔等は、術者毎に異なる状況があり得るため、各術者毎に閾値 Ttを設定できるようにして、各術者が挿入補助情報 233c (の文字列情報)の表示をより適切に確認できるようにしても良、。

[0164] また、 Tn—T0>Ttとなる時間の場合には、画像処理装置 204のディスプレイ 228 上に表示されている文字列情報を消去する。

[0165] このように本実施例では、挿入部 211の基端側での挿入操作に対して、挿入部 21 1の先端側の相対的な移動量が十分に小さぐ先端側が殆ど移動しない応答動作状態に対応する条件を満たすと判定した場合には、挿入補助情報 233cを生成する。そして、その挿入補助情報 233cの生成に使用したその挿入形状データ作成時刻 T 0から術者がその挿入補助情報 233cの表示を確認し易くなる時間までその表示を持続するようにしている。

[0166] 次にフレームデータ取得ブロック 241及び解析処理ブロック 242で処理するデータの流れと、解析結果表示制御ブロック 243の処理フローを、図 29を用いて説明する。

[0167] 術者は、体腔内、例えば大腸内を内視鏡検査する場合には、図 25に示す電子内視鏡 206の挿入部 211を患者の肛門から大腸内に挿入する。この場合、術者は、挿入部 211の基端側を把持して挿入部 211をその先端部 214側から順次大腸内の深部側に挿入する。

[0168] 電子内視鏡 6の挿入部 211の先端部 214内に設けられた撮像素子 216により撮像された撮像信号は、ビデオプロセッサ 208により信号処理され、映像信号が生成され、観察モニタ 209に内視鏡画像が表示される。

[0169] また、揷入部 211の長手方向に配置されたソースコイル C0〜CM-1の各位置は、センスコイルユニット 219による検出信号により形状処理装置 221により検出され、内視鏡挿入形状観測装置 203のディスプレイ 222により挿入形状が表示される。

[0170] また、各 (ソース)コイルの位置情報を含むフレームデータは、形状処理装置 221から画像処理装置 204の PC225に送られる。そして、図 28に示すように（PC225内の ) CPU231におけるフレームデータ取得ブロック 241により、メモリ 233上にフレームデータ 233aが格納される。

[0171] また、図 29に示すように（メモリ 233上に格納された）フレームデータ 233aに対して、解析処理ブロック 242は、解析処理を行い、フレームデータ 233aから解析データ 2 33bを生成して、メモリ 233に格納する。

また、図 29に示すように解析処理ブロック 242は、この解析データ 233bに対して、所定の条件 (本実施例では MOZMn< 0. 1)を満たす力否かの判定処理を行い、その条件を満たす場合には挿入補助情報 233cを生成して、メモリ 233上に格納 (ォーノライト）する。この場合、すでにメモリ 233上に古い挿入補助情報 233cがある場合にはそれを更新する。以上の処理を繰り返し実行する。

[0172] また、図 29に示すように解析結果表示制御ブロック 243は、一定の時間間隔でメモリ 233上の挿入補助情報 33cを取得する処理 (ステップ S101)を行うとともに、現在の時刻 Tnを取得する。

[0173] また、解析結果表示制御ブロック 243は、次のステップ S 102において現在の時刻 Tnと、挿入補助情報の挿入形状データ作成時刻 TOとの差分が、所定の閾値 Ttよりも小さい（Tn— TOく Tt)か否かの判定処理を行う。

[0174] そして、ステップ S103に示すように解析結果表示制御ブロック 243は、 Tn—TOく Ttと判定した場合には、挿入補助情報 233cの文字列情報を画像処理装置 204のディスプレイ 228上に表示する。そして、次の挿入補助情報 233cの取得処理に備える。

[0175] 一方、ステップ S102の判定処理において、現在の時刻 Tnと、挿入補助情報 233c の挿入形状データ作成時刻 TOとの差分が、所定の閾値 Tt以上 (Tn— T0≥Tt)と判定した場合には、ステップ S104に示すように解析結果表示制御ブロック 243は、画像処理装置 204のディスプレイ 228上に表示されている挿入補助情報 233cの文字列情報を消去する。そして、次の挿入補助情報 233cの取得処理に備える。

[0176] 術者は、画像処理装置 204のディスプレイ 228上に表示される挿入補助情報 233c の文字列情報を観察することにより、この観察のタイミングが挿入補助情報 233cが生成されたタイミング以降の場合でも、術者にとって知りたい所定の応答動作状態になつて、るか否かを確認できる。

このようにして、解析結果表示制御ブロック 243は、一定の時間間隔でステップ S1 01〜： L0S4の処理を繰り返す。

[0177] 以上の作用による、解析処理ブロック 242が挿入補助情報更新を行うタイミングと、解析結果表示制御ブロック 243が挿入補助情報 233cの取得を行うタイミングと、画像処理装置 204のディスプレイ 228上に表示される挿入補助情報 233cの文字列情報の表示内容との関係を、図 30に示す。

[0178] 図 30に示すように、解析処理ブロック 242により挿入補助情報 233cの更新が行われる。解析結果表示制御ブロック 243は、一定の時間間隔で、挿入補助情報 233cを取得し、その際に Tn— TOく Tt力否かの経過時間の条件判定の処理を行う。そして、 Tn— TOが所定の時間 Tt内にある間は挿入補助情報 233cの文字列情報の表示を持続する。ここでは、 "先端停止"の表示を持続する。

このため、術者が画像処理装置 204のディスプレイ 228の表示面の観察をし遅れても、所定の時間（としての閾値 Tt)以内であれば挿入補助情報 233cをより確実に知る（確認する）ことがでさる。

[0179] なお、上述の説明では、表示を持続する力否かの判定に用いる時刻として挿入補助情報 233cに対応する挿入形状データ作成時刻 TOを用いている力これに近い時刻であれば良ぐ例えば挿入補助情報 233cを生成若しくは更新した時刻を用いても良い。

[0180] このように挿入補助情報 233cが生成された時刻近傍力も所定の時間以内であれ" 先端停止"の表示内容を持続するが、所定時間よりも時間が経過した後は"先端停止"の表示を行わないで、表示内容を適切に更新する。

[0181] このように本実施例によれば、術者が挿入補助情報 233cを見落とすことを有効に防止ないしは軽減し、挿入補助情報 233cをより確実に確認することができる。従って、内視鏡検査時における挿入操作に対する操作性を向上することができる。

[0182] なお、本実施例においては、挿入補助情報 233cが生成された時刻近傍からの経過時間によって挿入補助情報 233cの表示 Z消去 (非表示)を制御したが、図 31に示すように経過時間に応じて表示色、表示位置、表示サイズを変更するように構成してもよい。

[0183] つまり、斜線で示すように所定の経過時間内では赤色等の表示色で先端停止の表示を行い、所定の経過時間を超えた場合には表示を停止 (先端停止の表示を消去）するようにしても良い。

[0184] また、所定の経過時間内では先端停止の表示を行、、例えば所定の経過時間付近力も先端停止の表示を (その表示範囲から)スクロール移動するようにして、さらに時間が経過した場合には表示されな、ようにしても良、。

[0185] また、所定の経過時間内では先端停止の表示を行、、例えば所定の経過時間付近力先端停止の表示を行う文字列のサイズを小さくして、さらに時間が経過した場合には表示されな、ようにしても良、。或いはこれらを組み合わせるようにしても良ヽ。このような場合にもほほ同様の効果がある。

[0186] また、本実施例においては、解析処理ブロック 242は、挿入部 211の挿入操作に対して、挿入形状データから先端側が殆ど停止した応答動作状態に対応する挿入補助情報 233cを生成するように解析処理を行っているが、電子内視鏡 206の抜去操作、湾曲操作 (アングル操作)、捻り操作といった、術者による内視鏡操作に対して、挿入形状データから挿入部 211の応答動作状態を解析し、それらが実際に行われている力否かの判定処理を行って、その判定結果を挿入補助情報 233cに含めるようにしても良い。 [0187] 例えば挿入部 211の手元側の移動量と、挿入部 211の先端側の移動量の挿入部

211の軸方向における移動方向も判定することにより、抜去操作に対する応答動作状態を判定することができる。

[0188] また、例えば湾曲部の基端付近力もこれよりも先端側部分のみが大きく挿入形状が変化している力否かの判定処理を行うことにより湾曲操作に対する応答動作状態を半 U定することができる。

[0189] また、上述した挿入補助情報の表示は、 "先端停止"であり、これ以上挿入部 211 の手元側を押し込んでも先端部 214は進まない状況であることを術者に示して挿入補助を行うようにしているが、他の内視鏡操作の場合にもその内視鏡操作に対応した挿入補助情報 233cを表示するようにしても良、。

[0190] この場合、挿入補助情報として表示する内容に応じて、表示を持続する際の経過時間を適切に制御するようにすれば良い。

[0191] このように、解析結果表示制御ブロック 243は、電子内視鏡 6の抜去操作、湾曲操作、捻り操作といった、術者による内視鏡操作を判定した場合には、少なくとも、 "先端停止"の文字列情報の表示を止める。そして、必要に応じて判定された内視鏡操作に対する挿入補助情報 233cの文字列情報を表示する。これにより、術者は内視鏡の抜去操作、アングル操作、捻り操作に対して、挿入部 211の応答動作が円滑に行われてヽる状態カゝ否かを確認することができ、挿入操作を含む内視鏡操作に対する操作性を向上することができるようになる。

[0192] (実施例 5)

次に図 32から図 34を参照して本発明の実施例 5を説明する。実施例 5を備えた体内挿入モニタリングシステムの構成は図 25に示したものと同様である。本実施例は、図 25における画像処理装置 204におけるプログラム格納部 232に格納されている処理プログラムとは一部異なる処理プログラムを用いて、る。

[0193] この処理プログラムにより CPU231によりソフトウェア的に実現される機能ブロックを図 32に示す。図 32に示す処理プログラムは、フレームデータ取得ブロック 241と、解析処理ブロック 251と、解析結果表示制御ブロック 243とから構成される。

[0194] ここで、フレームデータ取得ブロック 241と、解析結果表示制御ブロック 243とは図 2 8に示したものと同様の処理を行う。これに対して本実施例における解析処理ブロック 251は、メモリ 233に格納される処理スクリプト 233dの解釈を行うスクリプト解釈ブロック 251aと、挿入補助情報生成処理を含む表示特性変更処理を行う表示特性変更処理ブロック 25 lbとからなる。

[0195] このように解析処理ブロック 251は、実施例 4における挿入補助情報 233cを生成する解析処理を行う他に、例えば条件設定の内容の変更設定により、複数種類に対応した挿入補助情報 233 の生成を可能にして、その挿入補助情報 233 に対応した表示特性を変更可能にして、る。

[0196] また、メモリ 233には、図 28の場合と同様にフレームデータ 233a、解析データ 233 b、及び挿入補助情報 233 が格納される。さらに本実施例では、処理プログラム格納部 232に格納される処理プログラムとして、条件設定の変更等を含む表示特性の処理手順を記述した処理スクリプトファイルを含み、起動時に CPU231 (図 25参照 )は、それを読み出して、メモリ 233上に処理スクリプト 233dとして格納する。

[0197] なお、処理スクリプト 233dは、所定のプログラミング言語として例え «Java (登録商標） Scriptの文法に則って、解析処理ブロック 251における挿入補助情報の生成処理を含む処理内容を記述している。この処理スクリプト 233dの具体例を、例えば図 3 4に示す。実施例 4の場合においては解析処理ブロック 42は、図 28に示すように（" 先端停止"に相当する） MOZMnく 0. 1か否かの条件を満たす力否かを判断して、この条件を満たす場合に挿入補助情報を生成してメモリ 233に書き込むようにしていた。

[0198] これに対して本実施例では、図 34に示す処理スクリプト 233dでは、 "先端停止"以外にも"先端逆進"の挿入補助情報 233c' の文字列情報を生成できるように、解析データに対する処理内容 (if¾分の条件内容）を変更している。この場合、図 34では、手元側コイルの推進量の符号 (正負）を調べて、抜去の操作を判断できるようにしている。

[0199] 実施例 4においては、図 28に示したフレームデータ取得ブロック 241等の処理機能は、プログラミング言語がコンパイルされた実行形式の言語に変換されたものが CPU 231により高速に実行される。 [0200] これに対して本実施例においては、解析処理ブロック 251におけるスクリプト解釈ブロック 25 laは、処理スクリプト 233dに記述されているプログラミング言語の内容を順次、実行形式の言語に解釈 (インタープリト)する。そして解釈された処理を、表示特性変更処理ブロック 25 lbが順次行うようにして、る。

[0201] この場合、表示特性変更処理ブロック 251bは、メモリ 233上の解析データ 233bの取得、条件判定、ループ制御、挿入補助情報の生成と更新等の処理を実行する。

[0202] このように本実施例における解析処理ブロック 251は、処理スクリプト 233dに記述されている解析内容を逐次、解釈してインタープリタ的に実行する。このため、システムを停止させることなぐ動作中 (検査中）において、例えば上記挿入補助情報設定部分のパラメータ値の変更等を行い、変更した値でそれぞれ実行させて、最も適切となる場合の値に変更設定することも行、易、。

[0203] このように、処理スクリプト 233dの記述内容を変更することにより、表示特性等の処理内容を簡単に変更できるようにしている。例えば、上記したように処理スクリプトにおける条件内容を変更することにより、挿入補助情報の (表示特性に含まれる)表示内容を容易に変更できる。

[0204] これに対して、実施例 4ではコンノィルされた後のものを実行するため、小さな変更を行う場合においても、システムを停止させて、処理プログラムの内容を変更し、変更した内容でコンノィルして実行形式のファイルを生成する必要がある。また、実行形式のファイルに変換した後でないと、解析処理させることができないため、上記のように単にパラメータ値を適切な値に設定する作業の場合にも手間がかかる。なお、本実施例は、解析処理ブロック 251のみをインタープリタで実行させるようにしている。

[0205] このような構成による本実施例の動作を図 33を参照して説明する。なお、図 33はフレームデータ取得ブロック 241及び解析処理ブロック 251のデータの流れと、解析結果表示制御ブロック 243の処理フローを示す。

[0206] 図 33に示す処理データの流れの概要は、図 29と比較すれば容易にわ力るように、図 29における解析処理ブロック 242では、（"先端停止"に相当する） MOZMnく 0. 1か否かの条件判定を行っていたのを、処理スクリプトにより記述された内容の条件判定を行うことになる。以下、より詳細に説明する。 [0207] フレームデータ取得ブロック 241は、メモリ 233上にフレームデータ 233aを記録する。

[0208] 続いて解析処理ブロック 251は、フレームデータ 33aの解析処理を行った後、メモリ 233力も処理スクリプト 233dを取得する。処理スクリプト 233dは、例えば図 34に示す内容が記述されている。続いて、スクリプト解釈ブロック 251aは、処理スクリプト 233d を解釈する。そして、解釈された処理手順に基づき、表示特性変更処理ブロック 251 bにて処理を行う。

図 33に示すように解析処理ブロック 251 (における表示特性変更処理ブロック 251 b)は、解釈された解析データ 233bを取得し、条件判定を行って、条件判定に該当しない場合には、次のフレームデータに対して条件判定を行う準備をする。一方、この条件に該当する場合には、その条件判定に該当して生成された挿入補助情報 233c ' を更新してメモリ 233に書き込む。具体的には、実施例 4の場合における"先端停止"と、この他に"先端逆進"の文字列情報をメモリ 233に書き込む。このような処理を繰り返す。

[0209] 一方、解析結果表示制御ブロック 243は、実施例 3の場合と同様に一定の時間間隔でメモリ 233上の挿入補助情報 233 を取得する (ステップ S101)とともに、現在の時刻 Tnを取得し、現在の時刻 Τηと、挿入補助情報 323 の挿入形状データ作成時刻 TOとの差分が所定の閾値 Τ1:よりも小さい (Τη— TOく Tt)か否かの判定を行う (ステップ S 102)。

[0210] そして、 Tn— TOく Ttの条件を満たす時には、挿入補助情報 233 の文字列情報を画像処理装置 204のディスプレイ 228上に表示する (ステップ S 103)。本実施例では、 "先端停止"と、 "先端逆進"の文字列情報を表示することとなる。

[0211] また、現在の時刻 Tnと、挿入補助情報 233 の挿入形状データ作成時刻 TOとの差分が、所定の閾値 Tt以上 (Tn— T0≥Tt)のときには、画像処理装置 204のデイスプレイ 228上に表示されている文字列情報を消去する (ステップ S104)。

[0212] このように、処理スクリプト 233dに記述されている内容にしたがって体内挿入モニタリングシステム 201を動作させるため、処理プログラムを新たに作成する必要がなぐ動作内容の詳細なカスタマイズ等が行い易くなる。なお、本体内挿入モニタリングシステム 201において、処理スクリプトを任意のタイミングで読み込む機能を追加することにより、体内挿入モニタリングシステム 201の動作を終了させることなぐ修正または選択した処理スクリプトを術者の指示により読み込ませる構成にしてもよい。

[0213] 従って、本実施例は以下の効果を有する。

[0214] 体内挿入モニタリングシステムの処理プログラムを新たに作り直さなくても、詳細なカスタマイズが簡単に行える。

[0215] また、設定調整時や検査時に体内挿入モニタリングシステムを停止させずにカスタマイズが行えるため、カスタマイズ結果を即時確認し易くできると共に、検査中にその挿入補助情報の生成方法を修正 Z選択しながら、連続的（円滑）に挿入補助情報を提示することが可能となる。そして、術者にとってより操作性を向上できる各種の挿入補助情報をより適切に表示することができる。その他、実施例 4と同様の効果がある。

[0216] なお、図 34に示した処理スクリプトの内容を変更することにより、湾曲操作などの内視鏡操作に対する挿入部 211の応答動作状態を解析して、所定の応答動作状態の場合に挿入補助情報として表示することもできる。

[0217] なお、挿入補助情報を表示する場合、画像処理装置 204のディスプレイ 228に表示する場合に限定されるものでなぐ例えば内視鏡挿入形状観測装置 203のデイスプレイ 222や内視鏡装置 202の観察モニタ 209に表示するようにしても良、し、表示する表示装置を選択設定できるようにしても良い。また、挿入補助情報を表示する場合、文字列情報で表示する場合に限定されるものでなぐ例えば内視鏡挿入形状観測装置 203のディスプレイ 222上に表示される挿入形状の背景部分の表示色を変更することにより、例えば"先端停止"の挿入補助情報を術者に知らせるようにしても良い。

[0218] なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。本発明は、上述した実施例に限定されるものではなぐ本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

[0219] 本出願は、 2005年 8月 25曰に曰本国に出願された特願 2005— 244686号、及び 2005年 11月 16日に日本国に出願された特願 2005— 332009号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims

請求の範囲

[1] 体腔内に挿入する挿入部を有する内視鏡と、

前記内視鏡挿入部の形状を検出する形状検出手段と、

前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、

前記形状解析手段が解析した解析結果に基づき、前記内視鏡挿入部の静的形状をパターン分類するパターン分類手段と

を有することを特徴とする内視鏡挿入形状解析装置。

[2] 前記パターン分類手段は、前記静的形状をコードィ匕した静的パターンコードにより、前記静的形状をパターン分類する

ことを特徴とする請求項 1に記載の内視鏡挿入形状解析装置。

[3] 前記静的パターンコードと、前記静的パターンコードに対応した所定のパターン情報とを関連づけた静的辞書ファイルを格納した情報格納手段を有し、

前記パターン分類手段は、前記静的辞書ファイルに基づき、前記静的形状をバターン分類する

ことを特徴とする請求項 2に記載の内視鏡挿入形状解析装置。

[4] 前記パターン情報は、前記内視鏡の前記体腔内への挿入操作補助情報を含むことを特徴とする請求項 3に記載の内視鏡挿入形状解析装置。

[5] 前記情報格納手段は、前記静的パターンコードを修正する修正コードファイルを格納し、

前記パターン分類手段は、前記修正コードファイルに基づき、前記静的パターンコードを修正して、前記静的辞書ファイルに基づき、前記静的形状をパターン分類することを特徴とする請求項 3または 4に記載の内視鏡挿入形状解析装置。

[6] 前記パターン分類手段は、複数の前記静的パターンコードを統合した動的パターンコードを生成すると共に、前記動的パターンコードにより、前記内視鏡挿入部の動的形状をパターン分類する

ことを特徴とする請求項 2ないし 5に記載の内視鏡挿入形状解析装置。

[7] 前記動的パターンコードを生成する複数の前記静的パターンコードは、前記形状解析手段が解析した時間的に連続した解析結果に基づく静的パターンコードであることを特徴とする請求項 6に記載の内視鏡挿入形状解析装置。

[8] 前記動的パターンコードと、前記動的パターンコードに対応した所定のパターン情報とを関連づけた動的辞書ファイルを格納した情報格納手段を有し、

前記パターン分類手段は、前記動的辞書ファイルに基づき、前記動的形状をバターン分類する

ことを特徴とする請求項 6または 7に記載の内視鏡挿入形状解析装置。

[9] 前記パターン情報は、前記内視鏡の前記体腔内への挿入操作補助情報を含むことを特徴とする請求項 8に記載の内視鏡挿入形状解析装置。

[10] 前記情報格納手段は、前記動的パターンコードを修正する修正コードファイルを格納し、

前記パターン分類手段は、前記修正コードファイルに基づき、前記動的パターンコードを修正して、前記動的辞書ファイルに基づき、前記動的形状をパターン分類することを特徴とする請求項 8または 9に記載の内視鏡挿入形状解析装置。

[11] 前記形状検出手段が検出した前記内視鏡挿入部の形状の形状データの出力先を登録するデータ出力先登録手段と、

前記データ出力先登録手段により登録された出力先に、前記形状データを出力するデータ出力手段と

をさらに備えたことを特徴とする請求項 1ないし 10に記載の内視鏡挿入形状解析装置。

[12] 前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段

をさらに備えたことを特徴とする請求項 1ないし 11に記載の内視鏡挿入形状解析装置。

[13] 体腔内に挿入される内視鏡の挿入部の形状を検出する形状検出手段が生成する形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、

前記解析手段により解析された所定の応答動作状態に対応する挿入補助情報を生成する挿入補助情報生成手段と、

前記挿入補助情報生成手段により表示手段に出力され、該表示手段に前記挿入補助情報が表示される際の表示特性を、前記挿入補助情報が生成された時刻近傍からの経過時間情報により制御する表示制御手段と、

を具備したことを特徴とする内視鏡挿入形状解析装置。

[14] 前記解析手段は、前記内視鏡操作として挿入部を挿入する挿入操作、前記挿入部を抜去する抜去操作、挿入部に設けられた湾曲部を湾曲する湾曲操作、前記挿入部を捻る捻り操作の少なくとも 1つに対する挿入部の応答動作状態の解析を行うことを特徴とする請求項 13に記載の内視鏡挿入形状解析装置。

[15] 前記挿入操作若しくは前記抜去操作に対する挿入部の応答動作状態を解析する場合には、前記挿入部の手元側の挿入移動量に対して前記挿入部の先端側の相対的移動量に基づ、て判定する

ことを特徴とする請求項 14に記載の内視鏡挿入形状解析装置。

[16] 前記表示制御手段は、前記挿入補助情報に対応する形状検出情報が作成された時刻から予め設定された所定時間までの経過時間に応じて、前記挿入補助情報の表示を持続する表示持続特性、前記挿入補助情報の表示色、前記挿入補助情報の表示位置、前記挿入補助情報の表示サイズの少なくとも 1つを制御する

ことを特徴とする請求項 13から 15のいずれか 1つに記載の内視鏡挿入形状解析装置。

[17] 前記解析手段は、

処理内容が所定のプログラミング言語で記述されたスクリプトを取得して、前記スクリブトの処理内容と処理順序を実行形式の言語に解釈するスクリプト解釈手段と、前記スクリプト解釈手段によって解釈された処理内容と処理順序で逐次、実行する処理手段と

を備える

ことを特徴とする請求項 13から 16のヽずれか 1つに記載の内視鏡挿入形状解析装置。

[18] 前記内視鏡の挿入部の形状を検出する形状検出手段と、前記形状検出手段の形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、

前記解析手段により解析された所定の応答動作状態の情報を挿入補助情報として表示手段に出力する挿入補助情報出力手段と、

前記表示手段により前記挿入補助情報を表示する際の表示特性を、前記挿入補助情報に対応する形状検出情報が作成された時刻からの経過時間情報により制御する表示制御手段

と

を具備したことを特徴とする内視鏡挿入形状解析システム。