JP6810587B2 - 内視鏡装置、内視鏡装置の作動方法 - Google Patents

Description

本発明は、被検体の臓器モデル上に内視鏡の先端位置を位置合わせする内視鏡装置、内視鏡装置の作動方法に関する。

例えば尿管結石を治療する際に、内視鏡の先端が現在、腎臓内のどの位置にあるかを表示することは有用である。こうした内視鏡の先端位置の情報を用いれば、腎臓内における観察済み部分と未観察部分とを区別可能に表示すること、あるいは腎臓内のどこで結石を除去したのかを表示することなども可能となるためである。

そこで、内視鏡の先端部に配置された位置センサにより取得される位置情報を、仮想空間の３次元臓器モデル上にリアルタイムに表示する内視鏡検査システムが提案されている。

例えば、特許第５９４５６４３号公報には、被検体内を観察するための内視鏡と、対物光学系の位置情報を取得する位置検出装置とを備え、管腔臓器の３次元情報に対して位置検出装置で取得された位置情報を位置合わせすることが記載されている。

具体的な例としては、位置センサとしての磁気センサを内視鏡の先端部に設けて、磁気センサ座標系において内視鏡の先端部の位置をリアルタイムに計測する。一方、３次元臓器モデルは、例えばＣＴ画像に基づいてＣＴ座標系上に構築されている。そこで、磁気センサ座標系の座標をＣＴ座標系の座標に変換する変換式に基づき、磁気センサ座標系における内視鏡の先端位置の情報を、ＣＴ座標系における位置情報に変換することで、３次元臓器モデル上に内視鏡の先端位置を重畳して表示するようになっている。

このとき、磁気センサ座標系からＣＴ座標系への変換式は、対応が分かっている複数の座標点に基づき設定されるようになっており、例えば、腎臓などの臓器の入り口付近における、３次元臓器モデルのＣＴ座標と、内視鏡の先端部の磁気センサ座標と、が変換式を設定するために使用される。ここに、臓器の入り口は３次元臓器モデル上で指定することができ、内視鏡の先端が臓器の入り口にあることは内視鏡画像から確認することができるためである。

特許第５９４５６４３号公報

しかしながら、変換式を一旦正確に決定したとしても、内視鏡検査を行う時間経過の中で被検体が動くなどすると、実空間における実座標の座標系（実座標系）である磁気センサ座標系とモデル空間におけるモデル座標の座標系（モデル座標系）であるＣＴ座標系との位置関係にずれが生じて、変換式が正確でなくなることがある。こうした場合には、例えば現実の内視鏡の先端が臓器内壁に接触した状態にあるにも関わらず、臓器モデル（３次元臓器モデルであってもよいが、２次元臓器モデルであっても構わない）に表示される内視鏡の先端位置は、臓器内壁に届かない離れた位置にあったり、あるいは臓器内壁を突き抜けた位置にあったりして、正確な内視鏡の先端位置を表示することができないことがある。

本発明は上記事情に鑑みてなされたものであり、臓器モデルにおけるリアルタイムの内視鏡の先端位置をより正確に表示することが可能な内視鏡装置、内視鏡装置の作動方法を提供することを目的としている。

本発明のある態様による内視鏡装置は、被検体の臓器の内部を観察する内視鏡と、前記内視鏡の先端の実座標を順次取得する位置情報取得部と、前記位置情報取得部が取得した実座標を、変換式に基づき、臓器モデルを記述するモデル空間のモデル座標に変換する座標変換部と、前記内視鏡の先端と前記臓器の内壁とが接触したか否かを判定する接触判定部と、前記接触判定部により接触したと判定されたときの、前記内視鏡の先端の実座標と、前記内視鏡の先端の実座標に対応するモデル座標と、に基づいて、新たな変換式を算出して、前記座標変換部が用いる変換式を更新する変換式算出部と、を備え、前記変換式算出部は、前記内視鏡の先端の実座標を前記変換式に基づき変換した算出モデル座標に対する、前記臓器モデルの内壁における最近接点を、前記内視鏡の先端の実座標に対応するモデル座標とし、前記接触判定部により接触したと判定された複数の接触位置に関して、前記算出モデル座標と前記最近接点との距離の総和が最小値を取るように、共役勾配法を用いて前記新たな変換式を算出する。

本発明のある態様による内視鏡装置の作動方法は、位置情報取得部が、被検体の臓器の内部を観察する内視鏡の先端の実座標を順次取得し、座標変換部が、前記位置情報取得部が取得した実座標を、変換式に基づき、臓器モデルを記述するモデル空間のモデル座標に変換し、接触判定部が、前記内視鏡の先端と前記臓器の内壁とが接触したか否かを判定し、変換式算出部が、前記接触判定部により接触したと判定されたときの、前記内視鏡の先端の実座標と、前記内視鏡の先端の実座標に対応するモデル座標と、に基づいて、新たな変換式を算出して、前記座標変換部が用いる変換式を更新し、前記内視鏡の先端の実座標を前記変換式に基づき変換した算出モデル座標に対する、前記臓器モデルの内壁における最近接点を、前記内視鏡の先端の実座標に対応するモデル座標とし、前記接触判定部により接触したと判定された複数の接触位置に関して、前記算出モデル座標と前記最近接点との距離の総和が最小値を取るように、共役勾配法を用いて前記新たな変換式を算出する。

本発明の内視鏡装置、内視鏡装置の作動方法によれば、臓器モデルにおけるリアルタイムの内視鏡の先端位置をより正確に表示することが可能となる。

本発明の実施形態１における内視鏡装置の構成を示す図。 上記実施形態１のワークステーションの構成をより詳細に示すブロック図。 上記実施形態１の液晶ディスプレイにおける表示の一例を示す図。 上記実施形態１の内視鏡装置における検査時の作用を示すフローチャート。 上記実施形態１において、剣状突起および臍の磁気センサ座標を取得する例を示す図。 上記実施形態１において、剣状突起、臍に加えてさらに左右腸骨の磁気センサ座標を取得する例を示す図。 上記実施形態１において、腎臓入口の磁気センサ座標を取得する例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図７は本発明の実施形態１を示したものであり、図１は内視鏡装置の構成を示す図である。

この内視鏡システムは、内視鏡１と、光源装置２と、ビデオプロセッサ３と、モニタ４と、磁気センサ本体５と、磁場発生装置６と、磁気センサ７，８ａ，８ｂと、フットスイッチ９と、液晶ディスプレイ１０と、ワークステーション１１と、を備えている。

内視鏡１は、被検体２０の臓器に挿入されて内部を観察するためのものであり、被検体２０の臓器の内部の光学像を表す画像データ（内視鏡画像データ）を取得して入力する入力部あるいは入力装置である。ここに、内視鏡１により取得される画像データは、例えば、時系列的な（つまり、順次取得された）複数のフレームで構成される動画像データ、あるいは順次取得された１枚以上の静止画像データである。この内視鏡１は、図示はしないが、照明光を伝送するライトガイド、伝送された照明光を内視鏡１の先端部から被検体２０内へ照射する照明光学系、照明光を照射された被検体２０内の光学像を結像する対物光学系、および対物光学系により結像された光学像を光電変換して画像データを生成する撮像素子などを備えている。

光源装置２は、ライトガイドコネクタを介して内視鏡１と接続されており、内視鏡１のライトガイドへ照明光を供給する。

ビデオプロセッサ３は、ビデオコネクタを介して内視鏡１と接続されていて、画像データを入力する入力部あるいは入力装置を構成し、入力された画像データを画像処理して表示用あるいは記録用の画像データを生成する。また、ビデオプロセッサ３は、調光ケーブルを介して光源装置２と接続されており、取得した画像データに基づいて被検体２０内の明るさを検出し、被検体２０内が暗い場合には照明光の光量を増加させるように、また、被検体２０内が明るい場合には照明光の光量を減少させるように、光源装置２を調光制御する。

モニタ４は、例えばシリアルデジタルインタフェース（ＳＤＩ：Serial Digital Interface）ケーブルを介してビデオプロセッサ３と接続されており、ビデオプロセッサ３により画像処理された画像データにより内視鏡画像を表示する。また、モニタ４は、ワークステーション１１にも接続されており、ワークステーション１１により生成された被検体２０の臓器の３Ｄモデル画像（ここでは臓器モデルとして３Ｄモデルを説明するが、２Ｄモデルであっても構わない）を内視鏡画像と共に表示することができるようになっている。

次に、位置検出システムは、磁気センサ本体５、磁場発生装置６、および磁気センサ７，８ａ，８ｂを備えて構成された位置情報取得部である。

磁場発生装置６は、交番磁場を発生する。

磁気センサ７，８ａ，８ｂは、例えばコイルを含んで構成されていて、検出動作時には、検出した交番磁場に応じた電気信号を連続的に発生させる。

ここに、磁気センサ７は、内視鏡１の先端部に配置されていて、内視鏡センサとして機能する。

また、磁気センサ８ａ，８ｂは、被検体２０における特定の位置に配置され、ここでは例えば、被検体２０の体表上における、３Ｄモデル画像のモデル座標との位置関係を明確に確立することができる特定の位置に配置されている。具体的には、図５に示すように、磁気センサ８ａが被検体２０の体表上の剣状突起に配置されて剣状突起センサとして機能し、磁気センサ８ｂが被検体２０の体表上の臍に配置されて臍センサとして機能するようになっている。ここに、図５は、剣状突起および臍の磁気センサ座標を取得する例を示す図である。

なお、ここでは２つの磁気センサ８ａ，８ｂを配置したが、磁気センサ座標からＣＴ座標への変換を行うための変換式の精度を高めるために、３つ以上の磁気センサを配置するようにしても構わない。図６は、剣状突起、臍に加えてさらに左右腸骨の磁気センサ座標を取得する例を示す図である。この図６に示すように、剣状突起の磁気センサ座標を取得するための磁気センサ８ａと、臍の磁気センサ座標を取得するための磁気センサ８ｂと、に加えてさらに、体表上において右腸骨の磁気センサ座標を取得するための磁気センサ８ｃと、体表上において左腸骨の磁気センサ座標を取得するための磁気センサ８ｄと、をさらに備えるようにしてもよい。

あるいは、内視鏡検査を行う前に１回だけ体表位置の磁気センサ座標を取得するのであれば、１つの磁気センサを用いて、順次に座標測定を行っても構わない。

磁気センサ本体５は、センサケーブルを介して、磁場発生装置６および磁気センサ７，８ａ，８ｂと接続されている。そして、磁気センサ本体５は、磁場発生装置６を制御して交番磁場を発生させる。交番磁場を受けた磁気センサ７，８ａ，８ｂは、電気信号をそれぞれ発生する。磁気センサ本体５は、磁気センサ８ａから発生された電気信号に基づき、被検体２０の剣状突起の磁気センサ座標を示す剣状突起センサデータを出力すると共に、磁気センサ８ｂから発生された電気信号に基づき、被検体２０の臍の磁気センサ座標を示す臍センサデータを出力する。さらに、磁気センサ本体５は、磁気センサ７から発生された電気信号に基づき、内視鏡１の先端位置を検出して時系列的な内視鏡センサデータとして出力する。

こうして、位置検出システムにおける磁気センサ本体５、磁場発生装置６、および磁気センサ７は、被検体２０の臓器内における内視鏡１の先端の実座標としての内視鏡位置情報（内視鏡センサデータ）を順次取得する位置情報取得部を構成する。

フットスイッチ９は、術者が足で踏むことで、内視鏡装置に対する操作入力を行うための操作部である。このフットスイッチ９は、後述するように、例えば腎臓の入り口に到達したこと（あるいはさらに、内視鏡１の先端が腎臓の内壁に接触したこと）を術者が内視鏡装置へ通知するために用いられる。そして、フットスイッチ９からの操作入力は、例えばビデオプロセッサ３へ入力され、さらにワークステーション１１へ入力されるようになっている。

ワークステーション１１は、例えばＲＳ−２３２Ｃケーブルを介して磁気センサ本体５と接続されていて、磁気センサ本体５から位置情報を取得する。また、ワークステーション１１は、接続ケーブルを介してビデオプロセッサ３と接続されていて、ビデオプロセッサ３から画像データを取得する。そして、ワークステーション１１は、被検体２０の臓器の３次元モデル画像（３Ｄモデル画像）を生成する。さらに、ワークステーション１１は、磁気センサ本体５から取得した磁気センサ座標における内視鏡位置情報を、後述する変換式（変換マトリクス）を用いることで、３次元モデル画像（３Ｄモデル画像）が構築されているＣＴ座標における内視鏡位置情報に変換して、変換した内視鏡位置情報を３次元モデル画像上に重畳した画像データを生成し、液晶ディスプレイ１０およびモニタ４へ出力するようになっている。このとき、ワークステーション１１は、内視鏡１の先端と臓器の内壁との接触を判定して、接触したときの磁気センサ座標とＣＴ座標とに基づいて、変換式を更新する。

こうして、ワークステーション１１は、位置情報取得部が取得した実座標を、変換式に基づき、臓器モデルを記述するモデル空間のモデル座標に変換する座標変換部と、内視鏡１の先端と臓器の内壁とが接触したか否かを判定する接触判定部と、接触判定部により接触したと判定されたときの、内視鏡１の先端の実座標と、内視鏡１の先端の実座標に対応するモデル座標と、に基づいて、新たな変換式を算出して、座標変換部が用いる変換式を更新する変換式算出部と、を兼ねたものとなっている。

液晶ディスプレイ１０は、ディスプレイケーブルを介してワークステーション１１と接続されており、ワークステーション１１により生成された３Ｄモデル画像と、ワークステーション１１を介してビデオプロセッサ３から取得した内視鏡画像と、を例えば並べて表示する。

ここに、図３は、液晶ディスプレイ１０における表示の一例を示す図である。なお、ここでは液晶ディスプレイ１０の表示例としたが、モニタ４の表示例であっても構わない。

図示のように、液晶ディスプレイ１０の表示画面には、内視鏡画像１０ａと３Ｄモデル画像１０ｂとが表示され、３Ｄモデル画像１０ｂには内視鏡１の先端位置を示すマークＭＫが重畳表示されている。ここに、マークＭＫの矢印の方向は、内視鏡の視線方向を表している。そして、内視鏡画像１０ａと３Ｄモデル画像１０ｂとを並べて表示することで、術者の視線の動きを小さくすることができる。

次に、図２はワークステーション１１の構成をより詳細に示すブロック図である。

ワークステーション１１は、レジストレーション部１２と、３Ｄモデル画像生成部１６と、を備えている。

レジストレーション部１２は、記録部１３と処理部１４とを備えている。

磁気センサ本体５からワークステーション１１に入力された体表位置情報（剣状突起センサデータおよび臍センサデータ）および内視鏡位置情報（内視鏡センサデータ）と、ビデオプロセッサ３から入力される画像データとは、記録部１３に記録される。

レジストレーション部１２の処理部１４は、変換式算出部として機能し、位置検出システムの磁気センサ本体５から入力される磁気センサ座標から、被検体２０に係る３次元のボリュームデータにおけるＣＴ座標への変換式である変換マトリクスを後述するように算出して、記録部１３に記録する。そして、処理部１４は、内視鏡検査が進むにつれて、より新しい情報に基づいた変換マトリクスの算出を行い、記録部１３に記録されている変換マトリクスを、新たに算出された変換マトリクスによって更新する。

さらに、処理部１４は、座標変換部として機能し、記録部１３に記録されている変換マトリクスを用いて、磁気センサ座標における座標点として得られた内視鏡センサデータを、ＣＴ座標における座標点へ変換する。

３Ｄモデル画像生成部１６は、例えば造影ＣＴスキャンにより取得された被検体２０の臓器（本実施形態においては、例えば腎臓を想定しているが、これに限定されるものではない）のボリュームデータに基づいて、被検体２０の臓器を所望の視線方向から見た３Ｄモデル画像（なお、この３Ｄモデル画像は、回転させて視線方向を変化させることができるようになっている）を生成する。ここに、ボリュームデータは、ワークステーション１１内の記録部１３等に記憶されていてもよいし、院内システムのサーバに記憶されているボリュームデータを、院内ネットワークを介して読み込むようにしても構わない。

さらに、３Ｄモデル画像生成部１６は、レジストレーション部１２の処理部１４により算出された内視鏡１の先端位置を示すＣＴ座標の情報に基づいて、生成した３Ｄモデル画像上に、内視鏡１の先端位置を示すマークＭＫを例えば図３に示したように重畳する。

こうして３Ｄモデル画像生成部１６により生成された３Ｄモデル画像１０ｂが、液晶ディスプレイ１０（またはモニタ４）に、内視鏡画像１０ａと共に表示される。

次に、処理部１４により算出される変換マトリクスについて説明する。

本実施形態においては、上述したように、実空間における実座標の座標系（実座標系）として磁気センサ座標系ＣＳｍ（図５および図６参照）を例に挙げ、臓器モデルのモデル空間におけるモデル座標の座標系（モデル座標系）としてＣＴ座標系ＣＳｃ（図５および図６参照）を例に挙げる。ただし、磁気センサ以外のセンサ等を用いて実座標を取得しても構わないために、実座標は磁気センサ座標に限るものではない。同様に、臓器モデルはＣＴ画像に基づき構築するに限るものではないために、モデル座標はＣＴ座標に限るものではない。

３次元直交座標系である磁気センサ座標系ＣＳｍとＣＴ座標系ＣＳｃとは一般に一致しないために、磁気センサ座標系ＣＳｍの座標をＣＴ座標系ＣＳｃの座標に変換するためには、次の（１）〜（４）のような変換が必要である。
（１）空間回転
（２）並進移動
（３）スケール変換
（４）空間反転

これらの内の（４）は、磁気センサ座標系ＣＳｍとＣＴ座標系ＣＳｃとの内の、一方を右手座標系、他方を左手座標系としたときに必要な変換であるために、磁気センサ座標系ＣＳｍとＣＴ座標系ＣＳｃとの両方を右手座標系に設定した場合には不要となる。そこで以下では簡単のために、磁気センサ座標系ＣＳｍおよびＣＴ座標系ＣＳｃは右手座標系であるとする。

具体的に、図５および図６に示すように、磁気センサ座標系ＣＳｍをｘ’ｙ’ｚ’右手直交座標系、ＣＴ座標系ＣＳｃをｘｙｚ右手直交座標系とする。

（１）の空間回転は、種々の表現法があるが、ここでは直交座標系を採用しているために、ｘ軸周りの回転、ｙ軸周りの回転、およびｚ軸周りの回転の合成による表現を採用することにする（ただし、これに限定されるものではなく、例えばオイラー角を用いた表現を採用しても構わない）。

具体的に、行列表現を用いれば、ｘ軸周りの角度θｘの回転、ｙ軸周りの角度θｙの回転、およびｚ軸周りの角度θｚの回転は、それぞれ次の数式１，２，３に示すようなＲｘ，Ｒｙ，Ｒｚとして表現される。
［数１］

［数２］

［数３］

空間回転Ｒは、これらのＲｘ，Ｒｙ，Ｒｚの適宜の順序（順序は任意に決定することができる）の積により表現される。一例としてＲ＝ＲｘＲｙＲｚを挙げることができるが、Ｒ＝ＲｚＲｙＲｘを採用してもよいし、その他の任意の順序の積を採用しても構わない。

（２）の並進移動は、ｘ方向の並進移動をＴｘ、ｙ方向の並進移動をＴｙ、ｚ方向の並進移動をＴｚとしたときに、空間座標の変換を表す３×３行列に対して、行および列に１つずつ要素を加えた４×４行列を用いて次の数式４に示すように表現される。
［数４］

さらに、（３）のスケール変換は、ｘ軸方向、ｙ軸方向、ｚ軸方向のそれぞれにおいて異なる変換を行う場合には次の数式５に示すような行列表現が用いられる。
［数５］

ただし、本実施形態においてはスケールに異方性はないと考えてよいために、単にスカラー量のスケール変換係数Ｓｃ（つまり、Ｓｘ＝Ｓｙ＝Ｓｚ＝Ｓｃ）を用いれば足りる。

こうして、磁気センサ座標（ｘ’，ｙ’，ｚ’）からＣＴ座標（ｘ，ｙ，ｚ）への変換式は、並進移動を表現するための要素を１つ加えた（ｘ’，ｙ’，ｚ’，１）に対して乗算する変換マトリクスＡとして、次の数式６に示すように表現される。
［数６］

ここに、数式６におけるＳｃＲは、４×４行列でなる変換マトリクスＡの中の３×３行列の部分である。

そして、磁気センサ座標（ｘ’，ｙ’，ｚ’）を含む列ベクトル（１列のマトリクス）（ｘ’，ｙ’，ｚ’，１）からＣＴ座標（ｘ，ｙ，ｚ）を含む列ベクトル（１列のマトリクス）（ｘ，ｙ，ｚ，１）への変換は、変換マトリクスＡを用いて次の数式７に示すように行われる。
［数７］

従って、変換マトリクスＡを構成するパラメータθｘ，θｙ，θｚ，Ｔｘ，Ｔｙ，Ｔｚ，Ｓｃの値を決定することで、変換マトリクスＡの決定が行われる。

ここに、パラメータは７個あるために、全てのパラメータを決定するには、独立した７個の等式が必要である。空間座標は３次元であるために、磁気センサ座標における１つの点の座標と、この１つの点に対応するＣＴ座標における１つの点の座標と、が分かれば３つの等式を作成することができる。従って、変換マトリクスＡ（θｘ，θｙ，θｚ，Ｔｘ，Ｔｙ，Ｔｚ，Ｓｃ）を決定するためには、少なくとも３点に関する磁気センサ座標とＣＴ座標との対応関係が必要になる。

そして、対応関係が分かっている点の数が３よりも多くなれば（より正確には、パラメータを決定するための独立した等式が７個よりも多くなれば）、例えば勾配法（最急降下法、共役勾配法など）を用いることで、より多くのデータに基づいてより高い精度で変換マトリクスＡを決定することが可能となる。このときに、例えば共役勾配法を用いると、短い演算時間および小さい演算負荷で最適解を見つけることができるために好ましい。

図４は、内視鏡装置における検査時の作用を示すフローチャートである。

この処理を開始すると、まず、体表座標（上述したように、例えば、剣状突起および臍の座標）を取得する（ステップＳ１）。ここに、取得する座標は、磁気センサ座標系ＣＳｍにおける座標、およびＣＴ座標系ＣＳｃにおける座標である。

磁気センサ座標系ＣＳｍにおける剣状突起の磁気センサ座標および臍の磁気センサ座標は、磁気センサ８ａ，８ｂの出力に基づき磁気センサ本体５から得られる。また、ＣＴ座標系ＣＳｃで構築された３Ｄモデル画像上における剣状突起のＣＴ座標および臍のＣＴ座標は、３Ｄモデル画像上の点を術者等が指定することにより（あるいは自動的な画像解析により）得られる。

なお、変換マトリクスＡの精度（ひいては、変換後のＣＴ座標系ＣＳｃにおける内視鏡１の先端の位置精度）をより高めるために、剣状突起および臍に加えて、図６に示したように、例えば右左の腸骨２点の座標を磁気センサ８ｃ，８ｄによりそれぞれ取得するようにしてもよい。

次に、内視鏡１を被検体２０に挿入開始する（ステップＳ２）。これにより、内視鏡検査が開始される。

そして、内視鏡１の先端が、図７に示すように、被検体２０の臓器（例えば腎臓）の入口２１ａに到達したか否かを、ワークステーション１１が判定する（ステップＳ３）。図７は、腎臓入口２１ａの磁気センサ座標を取得する例を示す図である。

ここに、内視鏡画像１０ａを見ながら内視鏡１を挿入しているときに、術者が内視鏡画像１０ａに基づき内視鏡１の先端が被検体２０の臓器（例えば腎臓２１）の入口２１ａに到達したと考えた時点で、術者がフットスイッチ９を踏む等の操作を行う。これにより、フットスイッチ９から、内視鏡１の先端が臓器入口２１ａに到達したことを示すトリガー信号が発生される。

ワークステーション１１は、ビデオプロセッサ３を介して入力されたフットスイッチ９からのトリガー信号を検知することにより、内視鏡１の先端が被検体２０の臓器（例えば腎臓）の入口２１ａに到達したと判定するようになっている。

ただし、ワークステーション１１によるステップＳ３の判定は、フットスイッチ９からのトリガー信号に基づいて行うに限るものではなく、例えば内視鏡画像１０ａを画像解析して、画像解析結果に基づき内視鏡１の先端が被検体２０の臓器の入口２１ａに到達したと判定するようにしても構わない。

こうして、ステップＳ３において内視鏡１の先端が臓器の入口２１ａに到達するまで待機して、到達したと判定された場合には、被検体２０の臓器（例えば腎臓）の入口２１ａの、ＣＴ座標および磁気センサ座標を、上述した剣状突起や臍などの場合と同様に取得する（ステップＳ４）。

これで剣状突起、臍、臓器入口２１ａの３点（あるいはさらに左右の腸骨を含めた５点）における、ＣＴ座標と磁気センサ座標との対応関係の情報が取得されたために、例えば共役勾配法を用いることにより（あるいは、連立方程式を解くことにより）、変換マトリクスＡを決定する（後述する数式８も参照）（ステップＳ５）。

その後、内視鏡１を臓器内へ挿入して行き、内視鏡１の先端が臓器（例えば腎臓）と接触（ここでは、臓器内への挿入後であるために、臓器の内壁と接触）したか否かを判定する（ステップＳ６）。

この接触の検出は、例えば、内視鏡画像１０ａを見た術者が内視鏡１の先端が臓器の内壁に接触した考えたときに、フットスイッチ９を踏む等の操作を行うことにより発生されたトリガー信号（この場合には、内視鏡１の先端が接触したことを示すトリガー信号となる）に基づき行うようにしてもよい。

ただし、接触の度に術者がフットスイッチ９を踏むのは煩雑であるために、内視鏡の先端に例えば圧力センサを設けて、圧力センサの出力値が所定の閾値以上になったときに接触したと検出するようにしてもよい。

あるいは、内視鏡で取得した画像に基づいて検出するようにしても構わない。例えば、内視鏡の先端が被検体２０の臓器内壁に接触していないときには、照明光を照射された被検体２０の臓器内壁からの戻り光が撮像される。これに対して、内視鏡の先端が被検体２０の臓器内壁に接触した場合には、照明光学系からの照明光は、被検体２０の臓器内壁の表面から内部へ進入し、臓器内壁の内部において反射されて対物光学系に至る経路をとるために、画像の輝度や色相が、接触の有無に応じて変化する。従って、こうした画像の輝度や色相の変化に基づいて、接触の有無を検出するようにしてもよい。

このステップＳ６において、内視鏡１の先端が接触していないと判定された場合には、内視鏡１の先端の磁気センサ座標を取得する（ステップＳ７）。

そして、記録部１３に記録されている変換マトリクスＡを用いて、内視鏡１の先端の磁気センサ座標をＣＴ座標に変換し、３Ｄの臓器モデル（腎臓モデル）に内視鏡１の先端位置を例えば図３のマークＭＫに示したように表示する（ステップＳ１１）。

その後、内視鏡検査を終了するか否かを判定して（ステップＳ１２）、まだ終了しないと判定された場合には、ステップＳ６へ戻って上述したような処理を行う。

また、ステップＳ６において、内視鏡１の先端が接触したと判定された場合には、接触時の内視鏡１の先端の磁気センサ座標を取得すると共に、内視鏡１の先端の磁気センサ座標を記録部１３に記録されている変換マトリクスＡにより変換してＣＴ座標を算出する（ステップＳ８）。

ここで、内視鏡１の先端の磁気センサ座標を、記録部１３に記録されている変換マトリクスＡにより変換して得られるＣＴ座標は、接触時点での変換マトリクスＡが正確であれば、臓器モデルにおける臓器内壁に接触した位置を示すはずである。

一方、内視鏡検査を行う時間経過の中で被検体２０が動くなどすると、磁気センサ座標系ＣＳｍとＣＴ座標系ＣＳｃとの位置関係が変化することがある。この場合には、接触時点での変換マトリクスＡが正確でなくなって、変換マトリクスＡにより変換して得られたＣＴ座標が示す位置は、臓器内壁に届かない離れた位置になったり、あるいは臓器内壁を突き抜けた位置になったりすることがある。

そこで、変換マトリクスＡの更新が可能であるか否かを判定する（ステップＳ９）。すなわち、上述したように、変換マトリクスＡを算出するためには、３つ以上の点の磁気センサ座標とＣＴ座標とが必要である。このため、ステップＳ９においては、変換マトリクスＡを算出し直すのに必要な例えば３つ以上の所定数ｎの点の座標が取得されたか否かを判定する。

このときさらに、取得された座標点が最新のものであることを保証するために、所定数ｎの点が現時点から遡った所定の期間に取得されたものである場合にのみ、変換マトリクスＡの更新が可能であると判定するようにしてもよい。つまりこの場合には、現時点よりも所定期間以上遡った時点で取得された座標データについては、変換マトリクスＡの算出に用いる座標データから除外することになる。

また、異なる時点で取得された複数の点の座標であっても、互いに近接した位置にある場合（近傍であることを示す所定範囲内にある場合）には、重心点を用いる、あるいは１つの点を代表点とするなどして、１つの点の座標としてまとめて取り扱うようにするとよい。これは、近接した位置にある点の座標データのみから変換マトリクスＡを算出すると、算出される変換マトリクスＡの精度が下がるからである。また、複数の点をまとめて取り扱うことで、処理すべきデータ量を減らすことも可能となる。

このステップＳ９において、更新可能でないと判定された場合には、記録部１３に記録されている現在の変換マトリクスＡを引き続き使用することになるために、ステップＳ１１の処理に進む。

一方、ステップＳ９において更新可能であると判定された場合には、取得されている最新の所定数ｎの点の磁気センサ座標およびＣＴ座標の関係に基づいて、最適化した変換マトリクスＡを算出し、記録部１３に記録されている変換マトリクスＡを、新たに算出された変換マトリクスＡによって更新する（ステップＳ１０）。

ここに、臓器内壁との接触点の座標を用いる場合には、例えば次のように変換マトリクスＡの算出を行う。

まず、臓器内壁は一般に大小の凹凸がある複雑な表面形状をしているために、所定の条件に合う臓器内壁上の点（後述するように、ある点から最も近接した位置にある臓器内壁上の点）の座標を求めることは困難である。そこで、臓器内壁を構成する各座標点に基づいて、臓器内壁をモデル化する。ここに、モデルとしては、例えば、複数のポリゴン（多角形）で構成される内壁モデル（平面図形で構成する例）、あるいは複数のＯＢＢ（Oriented Bounding Box）などの多面体で構成される内壁モデル等（立体図形で構成する例）を用いればよい（ただし、これらに限定されるものではない）。以下では、複数の平面図形または立体図形を用いたモデルを多図形モデル、多図形モデルによりモデル化すること多図形モデル化と呼ぶことにする。

次に、接触時点の磁気センサ座標をｒ’＝（ｘ’，ｙ’，ｚ’）とし、磁気センサ座標ｒ’を変換マトリクスＡにより変換して得られる算出モデル座標であるＣＴ座標をｒ＝（ｘ，ｙ，ｚ）とすると、点ｒから多図形モデル化された内壁モデル上の任意点までの距離の最小値を与える点、つまり点ｒに対する内壁モデルにおける最近接点Ｍを、内視鏡１の先端の実座標に対応するモデル座標として求める。ここに、最近接点Ｍを求める方法は、コンピュータグラフィックス等の分野において既知となっている任意の方法を用いて構わない（勿論、演算負荷が軽く、演算時間が短い方法を採用することが好ましい）。そして、所定数ｎの内のｉ番目の点ｒをｒｉとし、ｉ番目の最近接点をＭｉとしたときに、ｉ＝１〜ｎの全てについての最近接点Ｍｉを求める。

そして、次の数式８に示すような点ｒｉ＝Ａｒ’ｉと最近接点Ｍｉとの距離（ここに、数式８の２重縦線は、２重縦線で囲まれた列ベクトル（Ｍｉ−Ａｒ’ｉ）の長さ（ひいては点ｒｉと最近接点Ｍｉとの距離）を算出することを表している）のｉに関する総和を与える関数Ｅｒｒｏｒについて、例えば共役勾配法を用いて、関数Ｅｒｒｏｒの最小値を与える変換マトリクスＡのパラメータθｘ，θｙ，θｚ，Ｔｘ，Ｔｙ，Ｔｚ，Ｓｃの値を決定することで、最適化した変換マトリクスＡを決定する。
［数８］

なお、上述したステップＳ５においては、剣状突起、臍、臓器入口２１ａの３点（ｎ＝３）（あるいはさらに左右の腸骨を含めた５点（ｎ＝５））のＣＴ座標をＭｉとして、数式８に示したような関数Ｅｒｒｏｒの最小値を与える変換マトリクスＡを決定していることになる。

ステップＳ１０の処理を行ったらステップＳ１１の処理に進むが、このときには、ステップＳ１０により更新された最新の変換マトリクスＡが、磁気センサ座標をＣＴ座標に変換するのに用いられる。

その後のステップＳ１２において、内視鏡検査を終了すると判定された場合には、この処理を終了する。

このような実施形態１によれば、内視鏡１の先端と臓器の内壁とが接触したときの、内視鏡１の先端の実座標と、内視鏡１の先端の実座標に対応するモデル座標と、に基づいて内視鏡１の先端の実座標をモデル座標に変換する変換式を新たに算出し、算出した新たな変換式によりそれまでの変換式を更新するようにしたために、臓器モデルにおけるリアルタイムの内視鏡の先端位置をより正確に表示することが可能となる。

また、内視鏡１の先端の実座標を変換式に基づき変換した算出モデル座標に対する、臓器モデルの内壁における最近接点を、内視鏡１の先端の実座標に対応するモデル座標とすることにより、内視鏡１の先端位置に対応するモデル座標上の位置を手動で決定する等の手間を不要としながら、ほぼ適切な位置を決定することができる。

さらに、臓器モデルの内壁を多図形モデル化した内壁モデルに基づいて、最近接点を算出するようにしたために、臓器モデルをそのまま用いる場合に比して、演算負荷を大幅に軽減することができる。

そして、複数の接触位置に関して、算出モデル座標と最近接点との距離の総和が最小値を取るように、新たな変換式を算出することで、変換式を高い精度で決定することができる。このとき、互いに近接した位置にある複数の点の座標については、１つの点の座標としてまとめて取り扱うようにしたために、変換マトリクスＡの精度の低下を防ぎながら、処理負荷を軽減することができる。

加えて、距離の総和が最小値を取る新たな変換式を、共役勾配法を用いて算出するようにした場合には、最適解を短時間で求めることが可能となる。

また、臓器モデルとして臓器の３次元モデルを用いるようにしたために、臓器における内視鏡１の先端位置を立体的に把握することができる。
［実施形態２］

次に、本発明の実施形態２を、上記図１から図７を適宜参照しながら説明する。この実施形態２において、上述の実施形態１と同様である部分については説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、変換マトリクスＡに含まれる７つのパラメータθｘ，θｙ，θｚ，Ｔｘ，Ｔｙ，Ｔｚ，Ｓｃを決定する必要があるために、演算処理の負荷が大きい。そこで本実施形態では、内視鏡検査を開始する前に体表座標として取得された例えば剣状突起の座標、あるいは臍の座標（さらにあるいは左右腸骨の座標）などを用いて、幾つかのパラメータを固定値として決定することで、適応的に決定すべきパラメータの数を減らすようにしたものとなっている。

第１の例は、変換式算出部が、被検体２０の体表上の点の実座標が原点となるように実座標系を設定し、体表上の点の実座標に対応するモデル座標が原点となるようにモデル座標系を設定するものである。

具体的には、剣状突起の座標と臍の座標との内の何れか一方、例えば、臍の座標が原点になるように、ＣＴ座標系ＣＳｃの原点および磁気センサ座標系ＣＳｍの原点を設定する。これにより、シフト量に係るパラメータＴｘ，Ｔｙ，Ｔｚを何れも０に固定することができる。

また、第２の例は、変換式算出部が、被検体２０の体表上の２つの点の一方から他方へ向かう方向が、実座標系における第１座標軸の方向に一致するように実座標系を設定し、かつモデル座標系における第１座標軸の方向に一致するようにモデル座標系を設定するものである。

具体的には、剣状突起から臍へ向かう方向ベクトル（図５の矢印参照）（あるいは臍から剣状突起へ向かう方向ベクトルでも構わない）がＣＴ座標系ＣＳｃにおける第１座標軸としてのｚ軸方向に一致するようにＣＴ座標を座標変換すると共に、剣状突起から臍へ向かう方向ベクトル（同様に、臍から剣状突起へ向かう方向ベクトルでも構わない）が磁気センサ座標系ＣＳｍにおける第１座標軸としてのｚ’軸方向に一致するように磁気センサ座標系ＣＳｍを再設定する。

なお、磁気センサ座標系ＣＳｍにおいて剣状突起から臍（あるいは臍から剣状突起）へ向かう方向ベクトルを検出する場合には、１つの磁気センサを、図５の矢印に示すように剣状突起から臍（あるいは臍から剣状突起）へ向けて移動させることにより、検出を行っても構わない。

こうしてｚ軸とｚ’軸の方向を一致させれば、回転角度に係るパラメータθｘ，θｙ、およびシフト量に係るパラメータＴｘ，Ｔｙの何れも０に固定することができる。

さらに、第３の例は、変換式算出部が、被検体２０の体表上の２つの点の実座標系における距離と、被検体２０の体表上の２つの点のモデル座標系における距離と、の比に基づいて、変換式における実座標系とモデル座標系との長さの比を示すスケール変換係数Ｓｃを決定するものである。

具体的に、例えば剣状突起と臍との距離を、磁気センサ座標系ＣＳｍとＣＴ座標系ＣＳｃとの両方において求めて、これらの比を取ることにより、次の数式９に示すように、スケール変換係数Ｓｃを決定して固定する。
［数９］

ここに、磁気センサ座標系ＣＳｍにおける臍の座標を（ｘ’um，ｙ’um，ｚ’um）、剣状突起の座標を（ｘ’xi，ｙ’xi，ｚ’xi）とし、ＣＴ座標系ＣＳｃにおける臍の座標を（ｘum，ｙum，ｚum）、剣状突起の座標を（ｘxi，ｙxi，ｚxi）としている。

加えて、第１〜第３の例を組み合わせても構わない。例えば、第１〜第３の例を全て組み合わせた場合には、変換マトリクスＡにおいて未設定として残るパラメータは、ｚ軸周りの角度θｚのみとなる。このために、内視鏡１の先端が臓器内壁に１回接触する毎に変換マトリクスＡを更新することができ、更新頻度を上げることができると共に、演算負荷を大幅に軽減することが可能となる。

なお、第２の例において、第１座標軸としてのｚ軸とｚ’軸の方向を一致させるように座標系を再設定するのに代えて、例えば第１座標軸としてのｘ軸とｘ’軸の方向を一致させるように座標系を再設定する場合であって、第１〜第３の例を組み合わせた場合には、未設定のパラメータはθｘとなる。このように、初期設定において固定するパラメータと、未設定のパラメータとの組み合わせは、上述した例に限定されるものではなく、７つのパラメータの内の、任意の１つ以上のパラメータを固定値とし、その他のパラメータを未設定とするようにしても構わない。

例えば、回転角度に係るパラメータθｘ，θｙ，θｚおよびスケール変換係数Ｓｃを固定とした場合には、シフト量に係るパラメータＴｘ，Ｔｙ，Ｔｚのみが未設定となるために、接触時点の磁気センサ座標ｒ’を変換マトリクスＡにより変換して得られるＣＴ座標ｒが、最近接点Ｍに重なるようにパラメータＴｘ，Ｔｙ，Ｔｚを設定する（つまり、シフトだけを行う）ことにより、変換マトリクスＡを更新することになる。このときさらに、内視鏡１の先端位置を、内視鏡１の長手方向に延長した直線と、多図形モデル化した内壁モデルとの交点が最近接点Ｍになるという近似を行えば、パラメータＴｘ，Ｔｙ，Ｔｚは内視鏡１の長手方向と同一方向に制限されるために、決定すべきパラメータを実体的に１つにすることができ、演算負荷をより一層軽減することができる。

また、体表上の磁気センサ８ａ，８ｂ（あるいはさらに８ｃ，８ｃ）を体表上に固定して内視鏡検査を行う場合には、内視鏡検査を行っている最中も体表座標を順次取得することができる。従って、適宜の時間間隔毎に、最新の体表座標に基づいて、固定するパラメータの値を更新するようにしてもよい。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、変換式を決定するための複数のパラメータの内の、少なくとも１つのパラメータの値を、体表上の点の実座標と、体表上の点の実座標に対応するモデル座標と、に基づいて固定するようにしたために、演算負荷を軽減し、演算時間も短縮することができる。これにより、ガイド表示のディレイ（遅延）時間が短縮されて、表示のリアルタイム性をより高めることができる。

また、被検体２０の体表上の点の実座標が原点となるように実座標系を設定し、体表上の点の実座標に対応するモデル座標が原点となるようにモデル座標系を設定する場合には、決定が必要な７つのパラメータを４つに減らすことができ、演算負荷を大幅に軽減することができる。

さらに、被検体２０の体表上の２つの点の一方から他方へ向かう方向が、実座標系における第１座標軸の方向に一致するように実座標系を設定し、かつモデル座標系における第１座標軸の方向に一致するようにモデル座標系を設定する場合には、決定が必要な７つのパラメータを３つに減らすことができ、同様に演算負荷を大幅に軽減することができる。

そして、被検体２０の体表上の２つの点の実座標系における距離と、被検体２０の体表上の２つの点のモデル座標系における距離と、の比に基づいて、変換式における実座標系とモデル座標系との長さの比を示すスケール変換係数を決定する場合には、実座標系とモデル座標系との縮尺関係を一意に決定することができる。

加えて、複数の方法を組み合わせて決定が必要なパラメータをさらに減らすことにより、より一層簡易化された処理を行うことができ、ワークステーション１１の演算負荷を軽減することができる。

また、内視鏡検査を行っている最中も体表座標を順次取得して、固定するパラメータの値を更新する場合には、常に最適化された固定パラメータを用いることができる。

さらに、７つのパラメータを決定するためには３つ以上の点の実座標とモデル座標との関係が必要であったが、パラメータを減らすことで、２つ、または１つの点の実座標とモデル座標との関係に基づき関係式を決定することができるようにした場合には、関係式である変換マトリクスＡの更新頻度も向上するために、臓器モデル上に重畳される内視鏡１の先端位置が常に最適化されたものとなる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。あるいは、ハードウェアとして構成されたプロセッサが、各部の処理を行うようにしてもよい。

また、上述では主として内視鏡装置について説明したが、内視鏡装置を上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…内視鏡
２…光源装置
３…ビデオプロセッサ
４…モニタ
５…磁気センサ本体
６…磁場発生装置
７，８ａ，８ｂ，８ｃ，８ｄ…磁気センサ
９…フットスイッチ
１０…液晶ディスプレイ
１０ａ…内視鏡画像
１０ｂ…モデル画像
１１…ワークステーション
１２…レジストレーション部
１３…記録部
１４…処理部
１６…３Ｄモデル画像生成部
２０…被検体
２１…腎臓
２１ａ…腎臓の入口
ＣＳｃ…ＣＴ座標系（実座標系）
ＣＳｍ…磁気センサ座標系（モデル座標系）
ＭＫ…内視鏡の先端位置を示すマーク

Claims (7)

1. 被検体の臓器の内部を観察する内視鏡と、
   前記内視鏡の先端の実座標を順次取得する位置情報取得部と、
   前記位置情報取得部が取得した実座標を、変換式に基づき、臓器モデルを記述するモデル空間のモデル座標に変換する座標変換部と、
   前記内視鏡の先端と前記臓器の内壁とが接触したか否かを判定する接触判定部と、
   前記接触判定部により接触したと判定されたときの、前記内視鏡の先端の実座標と、前記内視鏡の先端の実座標に対応するモデル座標と、に基づいて、新たな変換式を算出して、前記座標変換部が用いる変換式を更新する変換式算出部と、
   を備え、
   前記変換式算出部は、
   前記内視鏡の先端の実座標を前記変換式に基づき変換した算出モデル座標に対する、前記臓器モデルの内壁における最近接点を、前記内視鏡の先端の実座標に対応するモデル座標とし、
   前記接触判定部により接触したと判定された複数の接触位置に関して、前記算出モデル座標と前記最近接点との距離の総和が最小値を取るように、共役勾配法を用いて前記新たな変換式を算出する、
   ことを特徴とする内視鏡装置。
2. 前記位置情報取得部は、前記被検体の体表上の点の実座標をさらに取得し、
   前記変換式算出部は、前記変換式を決定するための複数のパラメータの内の、少なくとも１つのパラメータの値を、前記体表上の点の実座標と、前記体表上の点の実座標に対応するモデル座標と、に基づいて固定することを特徴とする請求項１に記載の内視鏡装置。
3. 前記変換式算出部は、前記被検体の体表上の点の実座標が原点となるように実座標系を設定し、前記体表上の点の実座標に対応するモデル座標が原点となるようにモデル座標系を設定することを特徴とする請求項２に記載の内視鏡装置。
4. 前記位置情報取得部は、前記被検体の体表上の２つの点の実座標をさらに取得し、
   前記変換式算出部は、前記被検体の体表上の２つの点の一方から他方へ向かう方向が、実座標系における第１座標軸の方向に一致するように前記実座標系を設定し、かつモデル座標系における第１座標軸の方向に一致するように前記モデル座標系を設定することを特徴とする請求項２に記載の内視鏡装置。
5. 前記位置情報取得部は、前記被検体の体表上の２つの点の実座標をさらに取得し、
   前記変換式算出部は、前記被検体の体表上の２つの点の実座標系における距離と、前記体表上の２つの点のモデル座標系における距離と、の比に基づいて、前記変換式における前記実座標系と前記モデル座標系との長さの比を示すスケール変換係数を決定することを特徴とする請求項２に記載の内視鏡装置。
6. 前記臓器モデルは、前記臓器の３次元モデルであることを特徴とする請求項１に記載の内視鏡装置。
7. 位置情報取得部が、被検体の臓器の内部を観察する内視鏡の先端の実座標を順次取得し、
   座標変換部が、前記位置情報取得部が取得した実座標を、変換式に基づき、臓器モデルを記述するモデル空間のモデル座標に変換し、
   接触判定部が、前記内視鏡の先端と前記臓器の内壁とが接触したか否かを判定し、
   変換式算出部が、
   前記接触判定部により接触したと判定されたときの、前記内視鏡の先端の実座標と、前記内視鏡の先端の実座標に対応するモデル座標と、に基づいて、新たな変換式を算出して、前記座標変換部が用いる変換式を更新し、
   前記内視鏡の先端の実座標を前記変換式に基づき変換した算出モデル座標に対する、前記臓器モデルの内壁における最近接点を、前記内視鏡の先端の実座標に対応するモデル座標とし、
   前記接触判定部により接触したと判定された複数の接触位置に関して、前記算出モデル座標と前記最近接点との距離の総和が最小値を取るように、共役勾配法を用いて前記新たな変換式を算出する、
   ことを特徴とする内視鏡装置の作動方法。

Images