JPH07509166A - 身体の内部を表示する方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 一カメラとモニタとを具備する光学的画像処理システムを準備する事と； −しかるべき位置に配置された身体に空間的データ・フィールドを割り当てる事 と； 一カメラの空間的位置を連続的に検知する事と；−カメラの視野のその時の角度 に対応するデータ・フィールドの表示を連続して計算する事と； −モニタの上に光学的画像とデータ・フィールドとを同期して或いは交番で表示 する事と； のステップで、身体の内部を表示する方法に関する。

内視鏡が手術中に上昇する周波数で使用されて、患者のストレスを下げる。この 処理中に、内視鏡の画像はビデオ・七二夕に表示される。これは医者の手術手法 の相当な変化を意味する。

普通の手術に於ては、手術領域は、目にとって自由に接近可能であり、手の動き と自然に協働する。これは、全く内視鏡による手術の場合と異なる。内視鏡の方 向と、使用者、即ち手術する外科医の視野の方向との間に関係はない。この結果 、内視鏡に関連する外科用器械の動きは、三次元的に見えるようにする外科医の 技能に拠る。第２の欠点は、通常たった１枚の内視鏡レンズが使用されるために 、空間的な感覚が欠如することである。各手術に於て、臓器と腫瘍との境及び解 剖位置が全体的に分かっていることが必要である。作業領域の全体像は定位を容 易にする。

第３の態様は手術の計画である。自由に接近可能な手術領域では、手術ステップ のはっきりしたシーケンスがある。外科用器械は直観で使用され得る。内視鏡に よる手術はより高い要求を出す。手術領域に関する外科用器械の位置付けでさえ 、計画を必要とする。

定位法の外科手術の分野には、内視鏡の外科手術の原理にも使用され得る方法が ある。

第ＤＥ−Ａ　３７１７８７１号明細書から、手術用顕微鏡へコンピュータ断層撮 影法（ＣＴ）の表示のようなデータを結び付けて、外科用器械の運行を助ける事 は公知である。表示されたＣＴの府は、顕微鏡が焦点を合わせられた面に対応す る。器械の移動中に夫々の層は、コンピュータのスクリーン上に動的に表示され る。このようにして外科手術は解剖学的装置に関連する器械の位置付けに於て支 持される。顕微鏡の画像をＣＴの表示とアラインさせるために、レーザ・ビーム によってマークされた幾つかの点が顕微鏡によって照準を付けられることと、そ の後に顕微鏡が焦点を合わせられることとが必要である。

第ＵＳ−＾４，７２２．０５６号明細書は断層撮影性画像が手術用顕微鏡の焦点 面に重なり合わされるような方法を開示する。ＣＴの層の表示は光学的表示に対 して調節される。

第ＤＥ−＾４］　３４４８］号明細書は、定位法の顕微手術のための顕微鏡に関 する。レーザ位置付はシステムは、患者に対する顕微鏡の位置を決めるのに使用 される。その機能は、第ＵＳ−Ａ４、７２２．０５６号明細書で開示された顕微 鏡の機能に類似している。

ＥＰ−Ａ　４８８９８７号明細書では、データと光学的表示とを重ね合わせるた めの方法が開示される。この方法を使って、例えば実時間で軸の先端部に光学的 表示を結び付けることが可能である。

内視鏡の外科手術の分野に於ては、完璧なＣＴの一連の発見物は殆ど利用できな い。更に、解剖学的組織の位置の空間的な再現性は、主として頭蓋骨に限定され る。腹部領域に於て、手術中の状況は、何等かの空間的な尺度無しには手術前の ＣＴから推し測ることができない。その上、コンピュータ断層撮影法は、常に容 易に利用可能ではないか或いは使用不可能な、比較的に複雑な方法である。

これらの公知の方法は、手術前の患者の位置が、３本の自由軸の全てで空間的座 標軸系に対して決定的に決められ得ると仮定している。これは、例えば、手術用 顕微鏡を使ってマークされた点に焦点を合わせることによって行われ得る。決定 後、患者はしっかりと固定されたままになる、即ち患者は手術台にしっかりした 方法で締め付けられなればはならないということが必要である。顕微鏡の位置は 、ロッド構造を介する或いは位置センサを介する、この公知の方法で、検知され 、その結果ＣＴ表表示−はそのようなものは、画像面と関連付けられて、この表 示を光学的画像に重ね合わせることができる。

これらの方法は、主として定位法の外科手術の分野で使用され得る。外科用器械 は、例えば腫瘍へ向って誘導される。

腫瘍の位置は、ＣＴの発見物によって再構成される。患者それ自身の位置或いは 患者の手術領域の位置の変更は、患者の位置の捕捉後、即ち特に手術中には起り 得ない。

しかし、患者の完璧な固定は常には可能ではない。更に、更なる困難は特に内視 鏡手術中に発生する。内視鏡は、身体の開口腔部を通って標的の領域へ動かされ る。これらは一般的に比較的に可撓性であり、従ってＣＴの発見物と殆ど相関し ない。更に、組織は、しばしば手術中に、例えば組織の部分の除去、液体の吸引 、等によってかなり変位され得る。この結果、データ・フィールドの表示は、光 学的画像に次第に相関しなくなり、与えられた情報は益々価値がなくなっていく 。

更に、位置センサの限定的な精密度のおかげで、最良の位置決定が、特定の空間 的容積に対してのみ常に可能であるということが認められ得る。成る環境のもと で、内視鏡方法の場合にほぼ当てはまるように標的の領域から比較的遠くに離れ ている点をマークすることは、具現可能な精密さに関して最良ではない。終には 、成る一時的移動が位置センサで起こり、その結果より長い手術中に不可避のず れが生じるであろう。

前記の欠点を無くして、内視鏡の使用中にもデータ・フィールド、例えばＣ７表 示と光学的表示の精密な重ね合せを可能にする方法を提供することが、本発明の 目的である。

コンピュータ断層撮影法からの表示無しに、手術中に使用され得る内視鏡の運行 を支援するための方法を提供することが、本発明の別の目的である。

この目的は、内視鏡がカメラに並列して連結されることと使用者の参入によって スクリーン上の適切な光学的表示とデータ・フィールドの１つ或いは幾つかの特 徴的点を符合させることを含む、校正が繰り返し行われることとによって具現さ れる。

本発明の重要な要素は、点をマークすることが、現在の技術に於けるように、必 要とされるならば、“大まかな運行“のために使用されるだけであるということ である。これによって標的の領域をほぼ目指すことができる。実際の運行に於て 、使用者は自由に再校正のために使用される点の選択ができる。従って再校正は 常に特に重要な領域に於て行われて、この領域に於ける精密さを最大にする。作 業が実際に外側から内側へ進められる現在の方法とは対照的に、本発明の方法は 、内側から外側へ向う工程として立案され得る。

たった約１ｍｍ２の寸法を有するチップを基礎とする新しい三次元センサを使用 する時、患者に複数のそのようなセンサを適用して、局部的な標準座標系を作る ことができる。約１００個のそのようなセンサが、肝臓領域に適用され得る。

本発明の再校正は、標準のセンサによる位置決定に関連して行われる。

Ｘ線断層撮影法、ＮＭＲ断層撮影法、超音波画像、或いはそれに類似するものの ような映像方法によって得られる表示は、データ・フィールドとして使用され得 る。普通の断面の表示よりもより図形描写的な表示を得るために、ＣＴの発見物 を再生して、比較のためか或いは更新された発見物に対して特に適した特徴的な 点或いは線を維持することができる。

そのような方法は、例えばＮ、　アヤチ（Ｎ、　Ａ７ａｃｈｅ　）氏、他による ：　“冠線（ｃｒｅｓｔ　１ｉｎｔ）を使用するＣＴスキャンの見当の三次元的 表示の評価“、５ＰＩＥ　２０３５巻Ｍｉｔｈｉｍａｌｉｃｉｌ　ｉｎＭｅｄｉ ｃａｌ　Ｉｍａｇｉｎｇ　ＩＩ　（１９９３）、　６０頁、で開示されている。

三次元的再構成は、予め作られたビデオ記録から得られるデータ・フィールドと して使用される時に特に有用である。

このようにして、ＣＴ重水炉作られなければならないという必要を生じさせるこ と無しに本発明の範囲内で運行の補助を施すことが可能である。手術に先立って か或いは手術の初期段階に於いての何れかで、手術領域の局部的三次元的再構成 が作られる。これは、手術の精密な計画を可能にする。例えば組織、腫瘍、等の 部分的摘出によって手術領域の変更の後で、以前に存在した状態の再表示は現在 の状態と重ね合され得る。

三次元的再構成は、例えば超音波を介して、間隔の尺度の割り当てられている単 独のビデオ記録から、例えば超音波を介して、獲得され得る。

他方で、三次元的再構成は幾つかのビデオ記録から立体測定的分析によって得ら れる。その様な立体測定的分析は、例えばＰ、　バイグロン（Ｐ、　Ｂａｉｇｒ ｏｎ）氏による：　“著しく歪んだ立体的画像を使用する三次元的表面の再構成 （３Ｄ　５ｕｒ１ｘｃｔＲｅｃｏｎｓｌｒｕｃｔｉｏｎ　Ｌｌｓｉｎｇ　Ｓｊｒ ｏｎｇ１７　Ｄｉｓｔｏ目Ｃｄ　５ｆＣｒｅｏ　ｌｍ５ｇＣ５）”　、ＩＥＥＥ 、　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏ（ｔｈｅ　／ｎｎｕａｌ　Ｃｏｎｆｅｒ！ｎｃ ｅ　ｏｎＥｎｇｎｅｅｒｉｎｇ　ｉｎ　Ｍｅｄｅｃｉｎｓ　ａｎｄ　Ｂｉｏｌｏ ｇ７　（１９９１）、　ＩＥＥＥ　ｃｌｔ、ｎ。

９１Ｃ１１３０６８−４，１０５０ｆ、頁、から公知である。この論文は、歪ん だ内視鏡の画像による膝領域に於ける大腿骨の表面の再構成を開示する。単一の 画像による空間的な再構成は、概要的にツユ−Ｐ、　（Ｆｕａ　Ｐ、）氏によっ て：　“複数の視界からの表面再構成の為の立体的な暗影歪の及び幾何学的な制 約の結合（Ｃｏｍｂｉｎｉｎｇ　５ｊｅｔｅｏ、ｓｈａｄｉｎｇ　ａｎｄ　Ｇｅ ｏｍＣｔｒｉｃ　Ｃｏｎｔｔｒａｉｎｊｓｆｏｒ　５ｕｒｆａｃｅ　ＲＣｏｎｓ ｊｒｕｅ＋ｉｏｎ　ｆｒｏｍ　Ｍｕｌｌｉｐｌｔ　Ｖｉｅｗｓ　）　”　。

５ＰＩＥ　２０３１巻ＧＣｏｍｅ＋ｒｉｃ　ＭＣ１ｈｏｄｓ　ｉｎ　Ｃｏｍｐｕ ｌＣｒ　Ｖｉｓｉｏｎ　ＩＩ（１９９３）、１１２ｆ１頁、で開示されている。

点の変位はコンピュータ・マウスによって行うのが都合が良い。身体の腔の中へ 挿入される内視鏡を使った再校正のために使用され得る特定の点を常に標的にす ることはできないので、それらは計数線内に精密に位置するようになる。内視鏡 の視界内のみに重要な点を持ってきて、それから画像を固定する、即ちそれを凍 結し、それから整合を行うのがより一層容易である。この方法に於て、幾つかの 点を一緒に処理することもできる。

内視鏡が患者を検査するのに使用され、患者に位置センサが取付けられて、患者 の位置の如何なる変化も補償するということも更に提供される。この方法は、内 視鏡を使用した作業中も患者が動くのを許容する。標的領域の座標系が、患者の 全身の座標系に関して変位されない時は、再校正は必要ない。

本発明は、更に上記の方法を行うための装置に関連する。

装置は、下記の要素ニ ーそれに取付けられた内視鏡を持つカメラと；−カメラ或いは内視鏡に取付けら れた位置センサと；−カメラによって記録された光学的画像を成るデータ・フィ ールドと一緒にディスプレイする為のモニタと；−データ・フィールドのための メモリと位置センサの位置を検知する為の手段とを具備するコンピュータと：か ら構成される 装置は、使用者が前記データ・フィールドの点を前記光学的画像の夫々の点と符 合させて、それで前記データ・フィールドの他の表示と前記光学的画像の間の符 合を改善出来る様にする手段を具備することを特徴とする。これらの手段は、例 えばコンピュータのための入力媒体として頻繁に使用されるマウス、及び座標変 換の再調整のため夫々のアルゴリズムを具備し、使用者の参入から光学的表示と データ・フィールドの表示との間のより良い“適合”を獲得する。

本発明は、ここで図面に示される実施例を引用することによってより精密に詳細 について説明される。

図１は、モニタに映し出された校正前の内視鏡の表示の略図を示す。

図２は、校正後の夫々の表示を示す。

図３は、内視鏡画像の歪みを補正するためのテスト画像を示す。

図４は、内視鏡によって歪められたテスト画像の表示を示す。

図５は、ビデオ・カメラに取付けられた内視鏡の略図を示す。

図６は、画像面の空間的位置を決定するための基準目的物の略図を示す。

図７は、カメラの画像面を校正するためのスクリーンの表示を示す。

図８は、関係のあるハードウェアを具備する、色々な座標系及びそれらに関係す るらのの略図を示す。

画像部分１は、先端部２！を備える器械２を示す。点３は先端部のクロス・フェ ードして出された位置、即ち先端部の“虚”像を示す。図１に於ては実像２ａと 虚像とはばらばらである。夫々の調整を行うことによって、図２に示されるよう に、画像同志を符合させることができる。こうして校正が完了する。

同様に、示された対象物４の特徴点４ａを使って校正を行うことができる。図１ に於て、光学的表示４ａと虚像５とはばらばらである。校正後は、最早この真実 はない。

図３に示されるテスト画像は、正方形配列に均等に配置される点１０から構成さ れる。この画像は、図４に示されるように、内視鏡の光学的システムによって歪 まされる。こうして他の表示の夫々の重なりは、夫々の細部が中心１１からより 遠くに外れて配置される程、より大きくなる誤差を有する。個々の測定された点 １０の歪んだ位置の符合を向上させることによって、夫々の画像処理のプログラ ムが決まる。正確な位置は、使用者によって決定可能な縮尺係数を除いて既知で あるので、歪み関数は全画像面に関して算出可能である。当業者に公知の数学の 手法を用いた方法を使って、この関数を逆さにすることによって、歪みを除く補 正関数を算出することができる。この方法は、同じ型の内視鏡が色々な歪みを頻 繁に生じ得るので、各内視鏡毎に行われなければならないことは明白である。

図５は、それに取付けられた内視鏡２１を備えたビデオ・カメラ２０を示す。カ メラ２０の、及び従って内視鏡２１の、夫々の位置は、三次元センサ２２を介し て決定される。カメラの画像面は２３で示される。

図６は、カメラの画像面の位置を決定するための立方体の形状の固定基準対象物 ３０を略図で示す。空間座標系内の立方体の角部の点ａＳｂの座標Ｘ５ＹＳＺは 既知である。空間内で固定された立方体３０の座標が三次元デジタイザを使って められるか、或いは図６に示されるように、位置センサ３０ａが立方体３０に取 付けられ、それによって前記立方体３０が、位置決定中でも空間内を自由に移動 できる。スクリーンに示されるこの立方体３０の象徴的な図に於て、使用者は角 部の点を変位によって凍結画像との適合位置へ移動させなければならない。この 情報によって、コンピュータは、直接の線形変換の助けを借りて画像の凍結時に 存在する画像面の座標を計算ができる。カメラ２０に取付けられた三次元センサ の助けを借りて、途中で変更され得る画像面の位置を計算することも可能である 。

図７は、画像面の位置を校正するのに使用され得る画像の部分を示す。色々な位 置で記録される基準対象物、即ち立方体３０、の表示は、３つの扇形部分３５ａ 、　３５ｂｓ及び３５ｃ内に示される。このようにして、単一の画像表示内で複 数の校正測定を行って、精密さを最大にすることができる。

実際に存在する基準対象物の代替物として、内視鏡を校正するための“虚像の基 準対象物”を使用することもできる。

カメラ２０は、三次元の針の先端部に照準を定められる。三次元の針は、組込み 式磁気コイルを介して如何なる時にもその先端部の空間的位置のデータを出すこ とができるボール・ペンの大きさの器具である。内視鏡の校正は、カメラが三次 元の針に照準を定められるような方法で行われる。それから画像は固定される、 即ちそれは凍結されて、スクリーン上に配置されたカーソールはマウス或いはジ ョイスティックで先端部の表示まで動かされる。この方法は少なくとも６回行わ れる。このようにして、内視鏡の精密な校正が可能となる。

精密な重さね合せは、三次元の針を画像内に持ち込むという非常に単純で明白な やり方で行われ得る。先端部の光学的表示及び座標から得られる象徴的ディスプ レイは、光学的調節の場合には互いに精密さを高めるにちがいない。どんな間隔 も座標系の不精密な調節を示すものである。

図８は、空間の座標系４０を略図で示す。各空間の点の座標が走査によって決定 され得るデジタイザの針５０によって例示的に示される。座標系４１は、内視鏡 ６１或いはそれにしっかりと取付けられたカメラ５１のものである。その時の位 置はしつかりと取付けられた位置センサ７１を介して検知される。画像面の校正 は、上記で説明されるように、基準対象物或いは虚像の基準対象物を介して１回 行われる。このようにして、座標系４０と４１との間の関係８１は内視鏡検査間 中確認される。

位置センサ７２は手術台６２上に横たわっているであろう患者５２に取付けられ 得る。空間の座標系との関係８２は、１回限りの調節によって決定され、こうし て関係９０も決定される。

標的領域は参照番号５３によって示される。同じくデータ構造の１つである、そ の座標系は、最初に外部の状況に基いて設定することによっておおまかに検知さ れ得る。直接の追跡は不可能であり、関係８３が破線で示されているのはそのた めである。しかし本発明の方法は、カメラ５１或いは内視鏡６１との関係９２を 確立することが可能であり、それによって関係９１も決定される。関係９１が変 わる時、例えば組織の部分の除去の後で、本発明の方法に基いて再校正を行うこ とが必要とされる。

必要な計算はコンピュータ２４で行われて、モニタ２５に示される。マウス２６ は再校正を行うために使用される。

補正書の翻訳文提出書（特許法第１８４条の８）平成７年１月３１日

Claims (11)

【特許請求の範囲】
1. １．−カメラとモニタとを具備する光学的画像処理システムを準備する事と； −或る位置に配置された身体に対して空間的データ・フィールドを割り当てる事 と； −カメラの空間的位置を連続的に検知する事と；−カメラの視野のその時の角度 に対応する前記データ・フィールドの表示を連続して算出する事と；−モニタの 上に光学的画像と前記データ・フィールドとを同期して或いは交番で表示する事 と；のステップを有する身体の内部を表示する方法であり； 内視鏡が前記カメラと直列に接続される事と、使用者の参人工程によってデータ ・フィールドの一つ或いは複数の特徴的な点をスクリーン上の適切な光学的表示 と符合させる様にする校正を繰り返して行われる事とを特徴とする方法。
2. ２．Ｘ線断層撮影法、ＮＭＲ断層撮影法、超音波画像、或いはそれに類似のもの の様な映像方法から得られる表示がデータ・フィールドとして使用される事を特 徴とする請求項１に記載の方法。
3. ３．三次元的再構成が予め作られたビデオ記録から得られるデータ・フィールド として使用される事を特徴とする請求項１に記載の方法。
4. ４．前記三次元的再構成が、例えば超音波音を介して、間隔の尺度の割当てられ ている単独のビデオ記録から得られる事を特徴とする請求項３に記載の方法。
5. ５．前記三次元的再構成が、幾つかのビデオ記録から立体測定分析によって得ら れる事を特徴とする請求項３に記載の方法。
6. ６．前記参人工程が前記光学的画像と使用者によって決められた時刻でのデータ ・フィールドとの組合わされた表示を凍結する事を具備することとデータ・フィ ールドの個々の点がスクリーン上で前記凍結された表示内で移動され得る事とを 特徴とする請求項１乃至５の一項に記載の方法。
7. ７．前記点の移動がコンピユータ・マウスによって行われる事を特徴とする請求 項６に記載の方法。
8. ８．前記内視鏡の光学的システムの歪曲の電子的修正が内視鏡を規則正しく配列 された点或いは線を備えるテスト画像に向ける事により行われる事と、評価がパ ターン認識法で為される事と、この様にして得られたデータから内視鏡の光学的 システムに対する修正関数が算出される事とを特徴とする請求項１乃至７の一項 に記載の方法。
9. ９．前記内視鏡が患者を検査するのに使用され、患者に位置センサが取付けられ て患者の位置の変化を補償する事を特徴とする請求項１乃至８の一項に記載の方 法。
10. １０．−カメラ（２０）に取り付けられた内視鏡（２１）を持つカメラ（２０） と； −カメラ（２０）或いは内視鏡（２１）に取り付けられた位置センサ（２２）と ； −カメラ（２０）によって記録された光学的画像を或るデータ・フィールドと一 緒にディスプレイする為のモニタ（２５）と；−前記データ・フィールドの為の メモリと位置センサ（２２）の位置を検知する為の手段とを具備するコンピュー タ（２４）と；の構成要素を有し、請求項１乃至９の一項に記載の方法を実行す る為の装置であり、使用者が前記データ・フィールドの点を前記光学的画像の夫 々の点と符合させて、それで前記データ・フィールドの他の表示と前記光学的画 像との符合を改善出来る様にする手段を具備する事を特徴とする装置。
11. １１．検査される患者にしっかりと取付けられた別の位置センサ（７２）を具備 する事を特徴とする請求項１０に記載の装置。