JP4472085B2

JP4472085B2 - Surgical navigation system

Info

Publication number: JP4472085B2
Application number: JP2000017135A
Authority: JP
Inventors: 俊哉菅井; 康雄後藤; 正宏工藤; 均唐沢; 昌章植田; 敬司塩田; 浩二下村; 剛明中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-01-26
Filing date: 2000-01-26
Publication date: 2010-06-02
Anticipated expiration: 2020-01-26
Also published as: JP2001204738A

Description

【０００１】
【発明の属する技術分野】
本発明は、表示部に表示されている例えば生体画像情報の上に使用している手術器具などの処置用機器の位置を表示することで手術を進める方向をナビゲートする手術用ナビゲーションシステムに関する。
【０００２】
【従来の技術】
従来から例えば、特開平５−３０５０７３号公報などの様に、事前に撮影されたＣＴ（computerized tomography）や、ＭＲＩ（magnetic resonance imaging ）などによる断層像をコンピューターで合成してモニターなどの表示部に断層もしくは立体表示すると共に、手術に使用する処置具や、内視鏡などの処置用機器の形状を予めキャリブレーションしておき、それらの機器に位置検出用のマーカーを取り付け、外部から赤外線などによる位置検出を行う事により、前述の生体画像情報上に使用している機器の位置を表示したり、特に脳外科などでは顕微鏡像に脳腫瘍の位置を合成して表示することにより、手術を進める方向をナビゲートする機器が開発されている。
【０００３】
また、特公平６−４３８９３号公報や、特公平３−２８６８６号公報などには、被写体の位置や、形状を認識する技術が示されている。あるいは、特開平７−２６１０９４号公報などには、顕微鏡像に内視鏡像をピクチャーインピクチャーが可能な手術用顕微鏡が示されている。
【０００４】
その他、ＴＶモニターや、ヘッドマウントディスプレーなどでは、画像ミキサーを利用する事で、複数の画像を希望の形で合成して表示する作業を容易に行うことができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来構成のものにあっては次のような問題がある。
（１）モニターに表示されている内視鏡像で見ている生体組織が、生体のどの部分に位置するのかを表示する事が出来ない。
【０００６】
（２）患者の体内の術部の処置に一般的に使用する処置具や、内視鏡などの処置用機器は、モニターの顕微鏡像の画面上では単純化された棒状のマークで表示されている。そのため、その処置用機器の形状を正確には表示出来ないので、特に処置用機器の一部が顕微鏡像から外れている場合には顕微鏡像から外れている部分などが生体組織に接触するおそれがある。このような場合には不用意に生体組織を損傷するおそれがる。
【０００７】
（３）予め複数の処置用機器を準備し、使用する処置用機器を交換しながら処置を進める場合には使用する処置用機器を交換する度にキャリブレーションを取り直さなくてはならない。そのため、処置用機器の交換作業に手間が掛かるので、手術を能率良く進めることが難しい問題がある。
【０００８】
本発明は上記事情に着目してなされたもので、その目的は、内視鏡を使用した場合に、内視鏡像で得られている画像の生体組織上での位置を表示することができ、さらに、使用する処置具や内視鏡などの処置用機器の形状を生体組織の画像上に合成して表示することができ、例えば顕微鏡像から外れている部分が不用意に生体組織に接触することを防止することができるとともに、使用する処置具や、内視鏡などの処置用機器を交換しても、新たにキャリブレーションを取り直す必要が無く、手術を能率良く進めることができる手術用ナビゲーションシステムを提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、患者の体内の術部を観察する手術用顕微鏡と、前記体内の術部の処置に使用する処置用機器の位置を測定する位置測定部と、患者の体内に挿入される挿入部の先端から前記術部の目標物までの距離を測定する距離測定手段を有する内視鏡と、前記患者の体内の術部の画像情報を表示する画像情報表示部と、予め測定された生体画像情報を保持する記憶部と、前記位置測定部からの位置情報と、前記距離測定手段からの距離情報と、前記記憶部に予め記録されている生体画像情報とを合成して基準となる画像を構築するとともに、前記内視鏡及び前記手術用顕微鏡の位置、目標物との距離、内視鏡画像のデータから解析した前記術部内における前記手術用顕微鏡からは死角になって見る事が出来ない前記目標物の情報を前記画像情報表示部の画面上に合成表示する画像情報合成部とを具備したことを特徴とする手術用ナビゲーションシステムである。
そして、本請求項１の発明では、患者の体内の術部の処置に使用する処置用機器の位置を位置測定部によって測定し、患者の体内に挿入される挿入部の先端から前記術部の目標物までの距離を内視鏡の距離測定手段によって測定する。さらに予め測定された生体画像情報を記憶部によって保持するとともに、位置測定部からの位置情報と、距離測定手段からの距離情報と、記憶部に予め記録されている生体画像情報とを画像情報合成部によって合成して基準となる画像を構築する。さらに、前記内視鏡及び前記手術用顕微鏡の位置、目標物との距離、内視鏡画像のデータから解析した前記術部内における前記手術用顕微鏡からは死角になって見る事が出来ない前記目標物の情報を画像情報表示部の画面上に合成表示するようにしたものである。
【００１０】
請求項２の発明は、前記画像情報合成部は、前記処置用機器の形状を予め記憶しておく手段を有し、前記処置用機器の位置及び形状の情報と、予め記録されている生体画像情報とを合成して前記画像情報表示部の画面上に前記機器の形状と位置とを判別可能に表示するものであることを特徴とする請求項１に記載の手術用ナビゲーションシステムである。
そして、本請求項２の発明では画像情報合成部に処置用機器の形状を予め記憶させ、処置用機器の位置及び形状の情報と、予め記録されている生体画像情報とを合成して画像情報表示部の画面上に機器の形状と位置とを判別可能に表示するようにしたものである。
【００１１】
請求項３の発明は、患者の体内の術部を観察する手術用顕微鏡と、前記体内の術部の処置に使用する処置用機器の位置を測定する位置測定部と、患者の体内に挿入される挿入部の先端から前記術部の目標物までの距離を測定する距離測定部を有する内視鏡と、前記患者の体内の術部の画像情報を表示する画像情報表示部と、予め測定された生体画像情報を保持する記憶部と、前記位置測定部からの位置情報と、前記距離測定手段からの距離情報と、前記記憶部に予め記録されている生体画像情報とを合成して基準となる画像を構築するとともに、前記内視鏡及び前記手術用顕微鏡の位置、目標物との距離、内視鏡画像のデータから解析した前記術部内における前記手術用顕微鏡からは死角になって見る事が出来ない前記目標物の情報を前記画像情報表示部の画面上に合成表示する画像情報合成部とを具備し、患者の体内の術部の処置に複数の処置用機器を適宜、選択的に交換して使用するとともに、前記各処置用機器の先端から所定の設定位置に、前記位置測定部が識別する為のマーカーを設けたことを特徴とする手術用ナビゲーションシステムである。
そして、本請求項３の発明では患者の体内の術部の処置に使用する処置用機器の位置を位置測定部によって測定し、患者の体内に挿入される挿入部の先端から前記術部の目標物までの距離を内視鏡の距離測定手段によって測定する。さらに予め測定された生体画像情報を記憶部によって保持するとともに、位置測定部からの位置情報と、距離測定手段からの距離情報と、記憶部に予め記録されている生体画像情報とを画像情報合成部によって合成して基準となる画像を構築する。さらに、前記内視鏡及び前記手術用顕微鏡の位置、目標物との距離、内視鏡画像のデータから解析した前記術部内における前記手術用顕微鏡からは死角になって見る事が出来ない前記目標物の情報を画像情報表示部の画面上に合成表示する。さらに、患者の体内の術部の処置に複数の処置用機器を適宜、選択的に交換して使用する際に、各処置用機器の先端から所定の設定位置のマーカーによって位置測定部が各処置用機器の種類を識別できるようにしたものである。
【００１２】
【発明の実施の形態】
以下、本発明の第１の実施の形態を図１乃至図７を参照して説明する。図１は本実施の形態の手術用ナビゲーションシステムを使用する手術用顕微鏡のシステム全体の概略構成を示すものである。図１中で、１は手術室に設置されている手術用顕微鏡、２はこの手術用顕微鏡１の鏡体、６１は患者３２が載せられている手術用ベッドである。ここで、手術用顕微鏡１の架台３には、床面を移動可能なベース４と、このベース４上に立設された支柱５とが設けられている。なお、手術用顕微鏡１の架台３は手術室内における手術用ベッド６１の先端部側（例えばベッド６１上の患者３２の頭部３２ａが配置される側）に配置されている。
【００１３】
さらに、支柱５の上部には、手術用顕微鏡１の鏡体２を任意の方向に移動可能に支持する支持機構６２が設けられている。この支持機構６２には第１アーム６と、第２アーム７と、第３アーム８とが設けられている。ここで、第１アーム６には図示しない照明用光源が内蔵されている。そして、この第１アーム６の一端部は支柱５の上部に略鉛直方向の軸Ｏ１を中心に回転自在に取付けられている。
【００１４】
さらに、第１アーム６の他端部には、第２アーム７の一端部が略鉛直方向の軸Ｏ２を中心に回転自在に取付けられている。この第２アーム７はリンク機構とバランス調整用のスプリング部材とからなるパンタグラフアームによって形成され、上下方向に移動操作可能になっている。
【００１５】
また、第２アーム７の他端部には、第３アーム８の一端が略鉛直方向の軸Ｏ３を中心に回転自在に取付けられている。この第３アーム８の他端には手術用顕微鏡１の鏡体２が連結されている。さらに、この第３アーム８は、略水平面上で、互いに直交する方向の２つの軸Ｏ４，Ｏ５を中心としてそれぞれ回転自在に支持されている。そして、鏡体２はこの第３アーム８によって軸Ｏ４を中心として術者の観察方向に対する前後方向の俯仰を可能に、かつ軸Ｏ５を中心として術者の左右方向の俯仰を可能にそれぞれ支持されている。
【００１６】
また、支持機構６２の各回転軸Ｏ１〜Ｏ５における軸受部には図示しない電磁ブレーキが各々設けられている。この電磁ブレーキは支柱５に内蔵された図示しない電磁ブレーキ電源回路と接続されている。さらに、この電磁ブレーキ電源回路は、図２に示すように鏡体２に一体に固定されたグリップ９に設けられたスイッチ１０と接続されている。
【００１７】
そして、スイッチ１０によって各回転軸Ｏ１〜Ｏ５の電磁ブレーキがオンオフ操作されるようになっている。ここで、スイッチ１０が例えばオン操作された場合には各回転軸Ｏ１〜Ｏ５の電磁ブレーキがオフ操作されることにより、支持機構６２がロック解除状態で保持され、鏡体２が空間的に自由に位置調整を行うことができるようになっている。そして、スイッチ１０がオフ操作された場合には各回転軸Ｏ１〜Ｏ５の電磁ブレーキがオン操作されて支持機構６２がロック状態に切換えられ、鏡体２の位置固定が行われるようになっている。
【００１８】
また、図３は手術用顕微鏡１の鏡体２の概略構成を示すものである。この鏡体２には、１つの対物レンズ１１と、左右一対の観察光学系１４Ａ，１４Ｂとが設けられている。ここで、左右の各観察光学系１４Ａ，１４Ｂの観察光軸上には変倍光学系１２と、左右の結像レンズ１３ａ，１３ｂと、左右の接眼レンズ１４ａ，１４ｂとが順に配置されている。そして、この左右一対の観察光学系１４Ａ，１４Ｂによって立体観察光学系が構成されている。
【００１９】
また、結像レンズ１３ａ，１３ｂによる結像面は、それぞれ接眼レンズ１４ａ，１４ｂの焦点位置に配置されるように設置されている。なお、図３中の１６は対物レンズ１１のレンズ位置を検出する位置センサーを示すものである。ここで、対物レンズ１１は図示しないモーターと連結されて光軸方向に移動可能に支持されている。そして、この対物レンズ１１の光軸方向のレンズ位置が位置センサー１６により検出できるように構成されている。
【００２０】
また、本実施の形態の手術用顕微鏡１のシステムでは図４に示すように手術用顕微鏡１と同時に手術に使用する処置具３３（例えばバイポーラ摂子や、超音波吸引器、鉗子類など）や、内視鏡３４などの処置用機器が併用される。さらに、本実施の形態の手術用ナビゲーションシステムには患者３２の頭部３２ａを囲む略Ｃ字状のヘッドフレーム３５や、患者３２の体内の術部の処置に使用する処置具３３や、内視鏡３４などの処置用機器の位置を測定する位置検出センサー（位置測定部）３６が設けられている。
【００２１】
ここで、ヘッドフレーム３５は、患者３２の頭蓋に固定されている。さらに、このヘッドフレーム３５は、図示しない固定用フレームにより、移動しない様に手術用ベッド６１に固定されている。
【００２２】
また、ヘッドフレーム３５には複数のヘッドフレームマーカー３７が並設されている。このヘッドフレームマーカー３７は、赤外線を発光するアクティブタイプあるいは、単なる突起であるパッシブマーカーを任意に選択して使用する。
【００２３】
さらに、位置検出センサー３６は位置、各設定値演算回路３８に接続されている。この位置、各設定値演算回路３８にはさらに画像合成回路（画像情報合成部）３９が接続されている。この画像合成回路３９には例えばワークステーションの記憶部などの記憶装置４０と、例えばキーボード４１や、マウス４２や、タッチペン４３、図示しないレーザーポインターなどの各種の入力装置（コントローラ）と、ＴＶモニター４４や、ヘッドマウントディスプレー４５などの各種の表示装置（画像情報表示部）がそれぞれ接続されている。
【００２４】
また、ヘッドフレーム３５は手術前に予め患者３２の頭部３２ａに装着される。そして、ヘッドフレーム３５を装着した状態でＭＲＩや、ＣＴなどにより生体の断層像が撮影され、この時撮影される生体画像データ４６が記憶装置４０に記録される。これにより、生体画像データ４６にヘッドフレーム３５の位置データが合成され、ヘッドフレーム３５を基準として以後のナビゲーションを行う事が可能となる。
【００２５】
さらに、位置検出センサー３６は、前述のヘッドフレーム３５のヘッドフレームマーカー３７や、後述する他のマーカーのタイプに合わせた赤外線センサーを有しており、各々複数のマーカーの捉えられ方により、その位置（方向）を検出出来る様になっている。
【００２６】
また、生体内部を観察する内視鏡３４には患者の体内に挿入される細長い挿入部３４ａの基端部に手元側の操作部３４ｂが連結されている。この操作部３４ｂには複数の内視鏡マーカー４７が設けられており、その効果はヘッドフレームマーカー３７と同様である。そして、予めキャリブレーションを取る事により、内視鏡マーカー４７を位置検出センサー３６が捉える事で、内視鏡３４のヘッドフレーム３５に対する相対的な位置や向きを把握するようになっている。
【００２７】
更に、複数の内視鏡マーカー４７の配置、あるいはアクティブとパッシブの組合せなどにより、内視鏡３４の種類を特定できる。そのため、事前に入力されている内視鏡３４の形状、視野方向、面角などのデータが読み出され、ＴＶモニター４４や、ヘッドマウントディスプレー４５などの表示装置に内視鏡３４の外形や視野方向、画角などが表示される。
【００２８】
また、内視鏡３４の挿入部３４ａの基端部には機種識別マーカー４９が設けられている。そして、この機種識別マーカー４９により、この内視鏡３４がどの機種であるか（例えば、斜視か直視か、画角はいくつか、形状寸法はなどの機種毎のデータ）を判別出来る様になっている。この機種識別マーカー４９は例えば色、あるいは数などによる識別を行い、位置検出センサー３６により、その位置と種類が判断される。
【００２９】
また、現在の内視鏡には一般にピント調節機能や、ズーム機能等が設けられている事が多い。そこで、本実施の形態の内視鏡３４のこれらの機能の設定データは位置、各設定値演算回路３８に送られ、ナビゲーション画像構築に使用されるようになっている。
【００３０】
さらに、本実施の形態の手術用ナビゲーションシステム対応の内視鏡３４には例えば本出願人が既に出願している特開平３−２８６８６号公報に示されているスポット光の利用や、超音波センサーなどによる距離検出機能（距離測定手段）を有している。そして、図６に示すように内視鏡３４の挿入部３４ａの先端と対象物（術部の目標物）４８との間の距離Ｓ１を測定出来る様になっている。
【００３１】
また、この内視鏡３４と同時に併用される手術用顕微鏡１には、図２に示すように鏡体２の側面の所定の位置に信号部材として複数、本実施の形態では３つの顕微鏡マーカー１８ａ、１８ｂ、１８ｃが一体的に固定されている。これらの顕微鏡マーカー１８ａ、１８ｂ、１８ｃとしては赤外線を発光するアクティブタイプあるいは、単なる突起であるパッシブマーカーが任意に選択して使用される。そして、位置検出センサー３６によってこれらの顕微鏡マーカー１８ａ、１８ｂ、１８ｃを検出することにより、ヘッドフレーム３５と鏡体２との相対位置、各アームの回転角度などを変数とした位置検出や、顕微鏡マーカー１８ａ〜１８ｃによるヘッドフレーム３５との相対位置検出によって、その位置を把握出来る様になっている。
【００３２】
なお、バイポーラ摂子や、超音波吸引器、鉗子類など処置具３３にもヘッドフレームマーカー３７や、内視鏡マーカー４７と同様の構成の処置具マーカー５０が設けられている。
【００３３】
次に、上記構成の作用について説明する。本実施の形態の手術用ナビゲーションシステムの使用時には手術前に事前に撮影されている生体画像データ４６が記憶装置４０から画像合成回路３９に伝送され、基準となる画像が構築される。この際の画像は後述する様に３Ｄ画像、２Ｄ画像（正面・側面・上面）でも良いし、必要に応じて組み合わせても良い。また、３Ｄ画像は頭蓋（脳）内部の立体構造が判断可能であれば、その表示形式には特に制限は無く、ワイヤーフレーム像でも良いし、スケルトンの立体表示でも良い。
【００３４】
その後、術者５１は手術用顕微鏡１の鏡体２のグリップ９を握り、スイッチ１０を押すことにより軸Ｏ１〜Ｏ５に内蔵された電磁ブレーキを解除し、鏡体２を移動して術部の観察部位に焦点位置を位置決めする。
【００３５】
また、手術用顕微鏡１による観察時には術部から発せられた光束は、鏡体２に入射する。このとき、対物レンズ１１から鏡体２に入射した光束は、変倍光学糸１２、結像レンズ１３ａ・１３ｂ、接眼レンズ１４ａ・１４ｂを透過して観察され、術者５１は術部を所望の倍率で観察する。なお、観察後の焦点位置が合わないときは、対物レンズ１１を図示しないモータにより駆動し、合焦を行う。
【００３６】
また、手術用顕微鏡１による観察中、位置検出センサー３６は鏡体２上の顕微鏡マーカー１８ａ、１８ｂ、１８ｃを検出し、その検出信号は位置、各設定値演算回路３８に伝送され、信号処理されて、鏡体２の生体座標系における位置および姿勢が検出される。
【００３７】
また、位置センサ１６により対物レンズ１１の位置情報が位置、各設定値演算回路３８に伝送される。このとき、位置、各設定値演算回路３８では対物レンズ１１の位置情報から鏡体２に対する焦点位置の相対位置が算出される。さらに、鏡体２の生体座標系における位置および姿勢と、鏡体２に対する焦点位置の相対位置とから、生体座標系における焦点位置の位置が演算される。さらに、位置、各設定値演算回路３８からの出力信号は画像合成回路３９に入力され、ＴＶモニター４４や、ヘッドマウントディスプレー４５などの表示装置に画像上の生体座標系に３次元画像データと焦点位置が重畳されて表示される。
【００３８】
以上の動作により、術者４３はＴＶモニター４４や、ヘッドマウントディスプレー４５などの表示装置の画面を目視することにより、この画面に表示された３次元画像データによる術部の画像に焦点位置が重畳された画像を観察することができる。そして、このＴＶモニター４４や、ヘッドマウントディスプレー４５などの表示装置の表示画像を観察することにより、３次元画像データによる画像上において、顕微鏡１の観察位置を知ることができる。
【００３９】
また、手術時には患者の頭部３２ａの術部に処置具３３や、内視鏡３４などの処置用機器が挿入される。ここで、術部に例えば、処置具３３が挿入された場合には、ヘッドフレーム３５の位置を位置検出センサー３６が検出し、基準の３次元座標を設定する。続いて、その基準の３次元座標に対して処置具３３の位置を検出すると共に、前述の様に各処置具３３の種類を認識し、位置、各設定値演算回路３８に処置具３３の種類のデータを伝送する。そして、事前に記憶装置４０に記録されている処置具３３の形状データを読み出し、画像合成回路３９に伝送する。
【００４０】
なお、処置用機器として内視鏡３４が使用される場合についても処置具３３の場合と同様にそのデータが画像合成回路３９に伝送されると共に、内視鏡像についても伝送される。
【００４１】
また、手術用顕微鏡１の鏡体２のデータについても前述の様に画像合成回路３９まで伝送される。そして、この画像合成回路３９には顕微鏡像も伝送され、前述の内視鏡像、前述の生体画像データ４６による画像との合成により、死角の無い脳の画像が構築される。
【００４２】
さらに、その脳の画像上に、前述の各処置具３３、内視鏡３４の形状データ、位置データが合成される。ここで、合成された画像はＴＶモニター４４や、ヘッドマウントディスプレー４５などの表示装置に表示されると共に、必要に応じて後述する顕微鏡像の中にピクチャーインピクチャーされる。
【００４３】
そして、これらの制御はキーボード４１、あるいはマウス４２、タッチペン４３、図示しないレーザーポインターなどのコントローラーによって、指示される。
【００４４】
また、図７はＴＶモニター４４の表示画面の表示例を示すものである。ここで、ＴＶモニター４４の表示画面の左半分には、３Ｄ表示部５２が配置され、患者の頭部３２ａの術部が３Ｄ表示される。さらに、ＴＶモニター４４の表示画面の右上部分には上面像表示部５３、側面像表示部５４、正面像表示部５５、また、表示画面の右下部分には顕微鏡像表示部５６がそれぞれ配置されている。そして、上面像表示部５３には患者の頭部３２ａの術部の上面像の２Ｄ画像、側面像表示部５４には患者の頭部３２ａの術部の側面像の２Ｄ画像、正面像表示部５５には患者の頭部３２ａの術部の正面像の２Ｄ画像、顕微鏡像表示部５６には患者の頭部３２ａの術部の顕微鏡像の２Ｄ画像がそれぞれ表示されている。
【００４５】
また、３Ｄ表示部５２はワイヤーフレームによる表示を使用し、その内部の開頭の様子や、対象物（腫瘍など）を合成して立体的に表示している。更に、使用している内視鏡３４などを立体的に外形表示し、その挿入状況や、対象物４８との位置関係、周囲の生体組織との接触状況などが判断出来る様になっている。なお、上面像表示部５３、側面像表示部５４、正面像表示部５５についても同様に合成された２Ｄの画像を示し、より確実に確認出来る様になっている。
【００４６】
また、顕微鏡像表示部５６には手術用顕微鏡１の鏡体２からは本来死角になって見る事が出来ない対象物４８の様子を、前述の内視鏡３４及び手術用顕微鏡１の位置、焦点位置、対象物との距離Ｓ１、ズーム設定、内視鏡画像などのデータから解析して合成表示されている。さらに、顕微鏡像表示部５６の上部には内視鏡像表示部５７が配置されている。そして、この内視鏡像表示部５７には内視鏡３４からの内視鏡像が表示されている。
【００４７】
そこで、上記構成のものにあっては次の効果を奏する。すなわち、本実施の形態ではＴＶモニター４４の表示画面には内視鏡３４を使用した場合に、内視鏡像で得られている画像の生体組織上での位置を表示することができる。
【００４８】
さらに、使用する処置具３３や、内視鏡３４などの処置用機器の形状を記憶して、実際の処置用機器の形状をＴＶモニター４４の表示画面の生体組織画像上に合成して表示するようにしたので、従来のように処置具３３や、内視鏡３４などの処置用機器の一部が例えば顕微鏡像から外れ、その部分が不用意に生体組織に接触することを防止することができる。
【００４９】
また、内視鏡３４の操作部３４ｂには複数の内視鏡マーカー４７、処置具３３には処置具マーカー５０をそれぞれ設け、各マーカー４７、５０の配置、あるいはアクティブとパッシブの組合せなどにより、内視鏡３４や、処置具３３の種類を特定できるようにしたので、使用する処置具３３や、内視鏡３４などの処置用機器を交換しても、新たにキャリブレーションを取り直す必要を無くすことができる。
【００５０】
また、図８は本発明の第２の実施の形態を示すものである。本実施の形態は第１の実施の形態（図１乃至図７参照）の手術用顕微鏡１の鏡体２の接眼部に表示される表示画面の構成を次の通り変更したものである。
【００５１】
すなわち、本実施の形態の手術用顕微鏡１の鏡体２の接眼部の顕微鏡像表示画面７１には実際に手術用顕微鏡１の鏡体２によって得られる顕微鏡像を表示する顕微鏡像の画像表示部７２と、第１の実施の形態と同様に対象物４８を仮想表示する対象物仮想表示部７３とが設けられている。
【００５２】
さらに、顕微鏡像表示画面７１の対象物仮想表示部７３にはピクチャーインピクチャーにより、任意の画像を合わせて表示可能であり、例えば３Ｄ表示により位置を確認したり、内視鏡像を表示したりする事が出来る。
【００５３】
そこで、本実施の形態では手術中、手術用顕微鏡１の鏡体２の接眼部の顕微鏡像表示画面７１を目視している作業者が接眼部から眼を離さずに必要な画像を確認する事が出来る効果がある。
【００５４】
また、図９は本発明の第３の実施の形態を示すものである。本実施の形態は第１の実施の形態（図１乃至図７参照）の手術用顕微鏡１と併用される内視鏡３４として挿入部３４ａの有効長が違う複数、本実施の形態では２種類の内視鏡３４Ａ、３４Ｂを設けたものである。
【００５５】
すなわち、本実施の形態では一方の内視鏡３４Ａの挿入部３４ａ１の長さに比べて他方の内視鏡３４Ｂの挿入部３４ａ２の長さの方が大きくなるように設定されてれいる。そして、内視鏡３４Ａの挿入部３４ａ１には先端から一定の設定位置Ｌ１に内視鏡マーカー４７ａが配置されている。さらに、内視鏡３４Ｂの挿入部３４ａ２にも同様に先端から一定の設定位置Ｌ２に内視鏡マーカー４７ｂが配置されている。ここで、内視鏡３４Ａ側の挿入部３４ａ１の内視鏡マーカー４７ａの設置位置Ｌ１と内視鏡３４Ｂ側の挿入部３４ａ２の内視鏡マーカー４７ｂの設置位置Ｌ２とは同一の位置に設定されている。
【００５６】
そこで、上記構成のものにあっては次の効果を奏する。すなわち、本実施の形態では２種類の内視鏡３４Ａ、３４Ｂの各内視鏡マーカー４７ａ、４７ｂの設置位置Ｌ１、Ｌ２を同一の位置に設定したので、２種類の内視鏡３４Ａ、３４Ｂを術中に交換しても改めてキャリブレーションを取り直す事無く、すぐに使用する事が可能である。
【００５７】
さらに、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施できることは勿論である。
次に、本出願の他の特徴的な技術事項を下記の通り付記する。
記
（付記項１）使用する機器の位置を測定する手段と、
先端から目標物までの距離を測定する距離検出手段を有する内視鏡と、
画像情報表示手段を有し、
前記位置情報と、前記距離情報と、予め記録されている生体画像情報を合成し、
画面上に表示する機能を有する位置表示装置。
【００５８】
（付記項２）使用する機器の位置を測定する手段と、
前記機器の形状を予め記憶しておく手段と、
画像情報を表示する手段を有し、
前記機器の位置及び形状の情報と、予め記録されている生体画像情報を合成し、
画面上に前記機器の形状と位置が判別可能に表示する位置表示装置。
【００５９】
（付記項３）使用する機器の位置を測定する手段と、
前記位置情報と予め記録されている生体画像情報を合成し、
前記機器の位置を表示する位置表示装置において、
前記使用する機器が複数ある場合、
それらの先端から規定の位置に、前記測定手段が識別する為のマーカーを有する事により、
前記使用する機器を交換しても、常に前記マーカーから先端までの位置が一定であるもの。
【００６０】
（付記項４）付記項１において、
前記表示内容が、
２次元もしくは３次元の生体画像情報と、
前記内視鏡の位置情報と、
前記内視鏡の視野中心に位置する生体組織の位置を合成し、
前記内視鏡画像の生体組織における位置を表示可能なもの。
【００６１】
（付記項５）付記項２において、
前記表示内容が、
２次元もしくは３次元の生体画像情報と、
前記使用機器の２次元もしくは３次元の形状情報を合成し、
生体組織に対する前記使用機器位置を表示可能なもの。
【００６２】
（付記項６）付記項３において、
前記マーカーの取付位置もしくは種類により、
前記使用する機器の種類が判別可能であるもの。
【００６３】
（付記項７）付記項１〜３，付記項４〜６において、
前記画像情報が、
手術用顕微鏡の顕微鏡像内に任意に挿入もしくは、合成して表示可能なもの。
【００６４】
（付記項１〜３の従来技術）従来、特開平５−３０５０７３などの様に、事前に撮影されたＣＴやＭＲＩなどによる断層像をコンピューターで合成して断層もしくは立体表示すると共に、手術に使用する処置具や内視鏡などの機器の形状を予めキャリブレーションしておき、それらの機器に位置検出のマーカーを取り付け、外部から赤外線などによる位置検出を行う事により、前述の生体画像情報上に使用している機器の位置を表示したり、特に脳外科などでは顕微鏡像に脳腫瘍の位置を合成して表示したり、手術を進める方向をナビゲートする機器があった。
【００６５】
又、特公平６−４３８９３や特公平３−２８６８６などの様に、被写体の位置や形状を認識する事が行われていた。あるいは、特開平７−２６１０９４などの様に、顕微鏡像に内視鏡像をピクチャーインピクチャーが可能な手術用顕微鏡もあった。
【００６６】
その他、ＴＶモニターやヘッドマウントディスプレーなどでは、容易に画像ミキサーを利用する事で、複数の画像を希望の形で合成して表示する事が可能であった。
【００６７】
（付記項１〜３が解決しようとする課題）本発明が解決しようとする課題は従来技術の問題点である。
・内視鏡像で見ている生体組織が、生体のどの部分に位置するのかを表示する事が出来ない。
・一般的に使用する処置具や内視鏡などの機器は、画面上で棒状の単純化された表示しか出来ず、その形状を表示出来ない為、特に顕微鏡像から外れた部分などが不用意に生体組織を損傷する事を防止出来ない。
・使用する機器を交換する度にキャリブレーションを取り直さなくてはならない。
という点について解決しようとするものである。
【００６８】
（付記項１〜３の効果）本発明の効果は、
・内視鏡を使用した場合に、内視鏡像で得られている画像の生体組織上での位置を表示出来る様にする。
・使用する処置具や内視鏡などの機器の形状を記憶して、実際の形状を生体組織画像上に合成して表示する事により、例えば顕微鏡像から外れている部分が不用意に生体組織を損傷する事などを防止する。
・使用する処置具や内視鏡などの機器を交換しても、新たにキャリブレーションを取り直す必要を無くす。
というものである。
【００６９】
【発明の効果】
本発明によれば、内視鏡を使用した場合に、内視鏡像で得られている画像の生体組織上での位置を表示することができ、さらに、使用する処置具や内視鏡などの処置用機器の形状を生体組織の画像上に合成して表示することができ、例えば顕微鏡像から外れている部分が不用意に生体組織を損傷することを防止することができるとともに、使用する処置具や、内視鏡などの処置用機器を交換しても、新たにキャリブレーションを取り直す必要が無く、手術を能率良く進めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の手術用ナビゲーションシステムを使用する手術用顕微鏡のシステム全体の概略構成図。
【図２】第１の実施の形態の手術用顕微鏡の鏡体を示す正面図。
【図３】第１の実施の形態の手術用顕微鏡の鏡体内部の概略構成図。
【図４】第１の実施の形態の手術用ナビゲーションシステム全体の概略構成図。
【図５】第１の実施の形態の手術用ナビゲーションシステムの要部構成を示す斜視図。
【図６】第１の実施の形態の手術用ナビゲーションシステム対応の内視鏡の使用状態を示す要部の縦断面図。
【図７】第１の実施の形態の手術用ナビゲーションシステムにおける表示装置の表示例を説明するための説明図。
【図８】本発明の第２の実施の形態における手術用顕微鏡の接眼部の顕微鏡像を示す平面図。
【図９】本発明の第３の実施の形態の手術用ナビゲーションシステムで使用される有効長の違う複数の内視鏡を示す側面図。
【符号の説明】
１手術用顕微鏡
３３処置具（処置用機器）
３４内視鏡（処置用機器）
３６位置検出センサー（位置測定部）
３９画像合成回路（画像情報合成部）
４０記憶装置（記憶部）
４４ＴＶモニター（画像情報表示部）
４５ヘッドマウントディスプレー（画像情報表示部）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surgical navigation system for navigating a direction in which a surgical operation is performed by displaying the position of a treatment device such as a surgical instrument used on, for example, biological image information displayed on a display unit.
[0002]
[Prior art]
Conventionally, for example, as disclosed in JP-A-5-305073, a tomographic image obtained by CT (computerized tomography) or MRI (magnetic resonance imaging) is synthesized by a computer and displayed on a display unit such as a monitor. In addition to tomographic or stereoscopic display, the shape of treatment instruments used for surgery and treatment instruments such as endoscopes are calibrated in advance, and markers for position detection are attached to these instruments, and infrared rays are used from the outside. By performing position detection, the position of the device being used is displayed on the above-mentioned biological image information. Devices to navigate have been developed.
[0003]
Japanese Patent Publication No. 6-43893, Japanese Patent Publication No. 3-28686, and the like show techniques for recognizing the position and shape of a subject. Alternatively, Japanese Patent Application Laid-Open No. 7-261094 discloses a surgical microscope capable of picture-in-picture of an endoscopic image as a microscope image.
[0004]
In addition, a TV monitor, a head-mounted display, and the like can easily perform a work of combining and displaying a plurality of images in a desired form by using an image mixer.
[0005]
[Problems to be solved by the invention]
However, the conventional configuration has the following problems.
(1) It is impossible to display in which part of the living body the living tissue viewed in the endoscopic image displayed on the monitor is located.
[0006]
(2) Treatment tools generally used for treatment of the surgical site in the patient's body and treatment devices such as endoscopes are displayed with simplified bar-shaped marks on the screen of the microscope image of the monitor. Yes. For this reason, the shape of the treatment device cannot be accurately displayed. In particular, when a part of the treatment device is out of the microscope image, there is a possibility that the portion of the treatment device is in contact with the living tissue. is there. In such a case, there is a risk of inadvertently damaging the living tissue.
[0007]
(3) When a plurality of treatment devices are prepared in advance and the treatment proceeds while exchanging the treatment devices to be used, the calibration must be retaken every time the treatment device to be used is replaced. For this reason, since it takes time to replace the treatment device, there is a problem that it is difficult to efficiently perform the operation.
[0008]
The present invention has been made paying attention to the above circumstances, and its purpose is to display the position on the living tissue of the image obtained by the endoscopic image when the endoscope is used, Furthermore, the shape of a treatment device such as a treatment instrument or an endoscope to be used can be synthesized and displayed on an image of a biological tissue, for example, a portion that is out of the microscope image is inadvertently in contact with the biological tissue. Surgery navigation that can prevent surgery, and even if the treatment instrument used and treatment equipment such as an endoscope are replaced, there is no need to recalibrate and the operation can be carried out efficiently. To provide a system.
[0009]
[Means for Solving the Problems]
The invention according to claim 1 is an operation part in a patient's body. A surgical microscope for observing the body and the surgical part inside the body An endoscope having a position measuring unit for measuring the position of a treatment device used for the treatment of the patient and a distance measuring unit for measuring the distance from the distal end of the insertion unit inserted into the patient's body to the target of the surgical unit An image information display unit that displays image information of an operation part in the body of the patient, a storage unit that stores biological image information measured in advance, position information from the position measurement unit, and the distance measurement unit And the biometric image information recorded in advance in the storage unit. In addition to constructing a reference image, the position of the endoscope and the surgical microscope, the distance from the target, and the surgical microscope in the surgical site analyzed from the data of the endoscopic image is a blind spot. Information on the target that cannot be seen On the screen of the image information display section Composite display An operation navigation system comprising an image information composition unit for performing the operation.
In the first aspect of the present invention, the position of the treatment device used for the treatment of the surgical site in the patient's body is measured by the position measuring unit, and the position of the surgical site is measured from the distal end of the insertion unit inserted into the patient's body. The distance to the target is measured by the distance measuring means of the endoscope. Furthermore, the biometric image information measured in advance is held in the storage unit, and the position information from the position measurement unit, the distance information from the distance measuring unit, and the biometric image information recorded in the storage unit are combined into image information. Synthesized by part To construct a reference image. Furthermore, the position of the endoscope and the surgical microscope, the distance from the target, the target that cannot be seen from the surgical microscope in the surgical site analyzed from the data of the endoscopic image and cannot be seen. Information on things On the screen of the image information display section Composition It is intended to be displayed.
[0010]
According to a second aspect of the present invention, the image information synthesizing unit has means for previously storing the shape of the treatment device, and information on the position and shape of the treatment device and a biological image recorded in advance. 2. The surgical navigation system according to claim 1, wherein the information is combined with information and displayed on the screen of the image information display unit so that the shape and position of the device can be discriminated.
According to the second aspect of the present invention, the shape of the treatment device is stored in advance in the image information composition unit, and the position and shape information of the treatment device and the biological image information recorded in advance are combined to obtain image information. The shape and position of the device are displayed so as to be distinguishable on the screen of the display unit.
[0011]
The invention according to claim 3 is an operation part in a patient's body. A surgical microscope for observing the body and the surgical part inside the body An endoscope having a position measuring unit for measuring the position of a treatment device used for the treatment of the patient and a distance measuring unit for measuring the distance from the distal end of the insertion unit inserted into the body of the patient to the target of the surgical unit An image information display unit that displays image information of an operation part in the body of the patient, a storage unit that stores biological image information measured in advance, position information from the position measurement unit, and the distance measurement unit And the biometric image information recorded in advance in the storage unit. In addition to constructing a reference image, the position of the endoscope and the surgical microscope, the distance from the target, and the surgical microscope in the surgical site analyzed from the data of the endoscopic image is a blind spot. Information on the target that cannot be seen On the screen of the image information display section Composite display A plurality of treatment devices are appropriately and selectively exchanged for use in the treatment of the surgical site in the patient's body, and at a predetermined set position from the distal end of each treatment device. A navigation system for surgery which is provided with a marker for identification by the position measuring unit.
According to the third aspect of the present invention, the position of the treatment device used for the treatment of the surgical site in the patient's body is measured by the position measuring unit, and the target of the surgical site is measured from the distal end of the insertion portion to be inserted into the patient's body. The distance to the object is measured by the distance measuring means of the endoscope. Furthermore, the biometric image information measured in advance is held in the storage unit, and the position information from the position measurement unit, the distance information from the distance measuring unit, and the biometric image information recorded in the storage unit are combined into image information. Synthesized by part To construct a reference image. Furthermore, the position of the endoscope and the surgical microscope, the distance from the target, the target that cannot be seen from the surgical microscope in the surgical site analyzed from the data of the endoscopic image and cannot be seen. Information on things On the screen of the image information display section Composition indicate. Furthermore, when a plurality of treatment devices are appropriately and selectively exchanged for treatment of the surgical site in the patient's body, the position measurement unit performs each treatment with a marker at a predetermined set position from the tip of each treatment device. The device type can be identified.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 shows a schematic configuration of an entire system of a surgical microscope using the surgical navigation system of the present embodiment. In FIG. 1, 1 is a surgical microscope installed in the operating room, 2 is a mirror body of the surgical microscope 1, and 61 is a surgical bed on which a patient 32 is placed. Here, the gantry 3 of the surgical microscope 1 is provided with a base 4 that can move on the floor surface and a support column 5 that stands on the base 4. Note that the gantry 3 of the surgical microscope 1 is disposed on the distal end side of the surgical bed 61 in the operating room (for example, the side on which the head 32a of the patient 32 on the bed 61 is disposed).
[0013]
Further, a support mechanism 62 that supports the mirror body 2 of the surgical microscope 1 so as to be movable in an arbitrary direction is provided on the upper portion of the support column 5. The support mechanism 62 is provided with a first arm 6, a second arm 7, and a third arm 8. Here, an illumination light source (not shown) is built in the first arm 6. One end portion of the first arm 6 is attached to the upper portion of the support column 5 so as to be rotatable about a substantially vertical axis O1.
[0014]
Furthermore, one end of the second arm 7 is attached to the other end of the first arm 6 so as to be rotatable about a substantially vertical axis O2. The second arm 7 is formed by a pantograph arm comprising a link mechanism and a spring member for balance adjustment, and can be moved up and down.
[0015]
Further, one end of the third arm 8 is attached to the other end of the second arm 7 so as to be rotatable about a substantially vertical axis O3. The mirror body 2 of the surgical microscope 1 is connected to the other end of the third arm 8. Further, the third arm 8 is supported so as to be rotatable about two axes O4 and O5 in directions orthogonal to each other on a substantially horizontal plane. The mirror body 2 is supported by the third arm 8 so as to be able to be lifted in the front-rear direction with respect to the observation direction of the operator around the axis O4 and to be able to be lifted in the left-right direction around the axis O5. ing.
[0016]
In addition, an electromagnetic brake (not shown) is provided on the bearing portion of each of the rotation shafts O1 to O5 of the support mechanism 62. This electromagnetic brake is connected to an electromagnetic brake power circuit (not shown) built in the column 5. Further, this electromagnetic brake power supply circuit is connected to a switch 10 provided on a grip 9 integrally fixed to the mirror body 2 as shown in FIG.
[0017]
And the electromagnetic brake of each rotating shaft O1-O5 is turned on / off by the switch 10. Here, for example, when the switch 10 is turned on, the electromagnetic brakes of the rotary shafts O1 to O5 are turned off, so that the support mechanism 62 is held in the unlocked state, and the mirror body 2 is spatially free. The position can be adjusted. When the switch 10 is turned off, the electromagnetic brakes of the rotary shafts O1 to O5 are turned on, the support mechanism 62 is switched to the locked state, and the position of the mirror body 2 is fixed. .
[0018]
FIG. 3 shows a schematic configuration of the mirror body 2 of the surgical microscope 1. The mirror body 2 is provided with one objective lens 11 and a pair of left and right observation optical systems 14A and 14B. Here, a variable magnification optical system 12, left and right imaging lenses 13a and 13b, and left and right eyepieces 14a and 14b are sequentially arranged on the observation optical axes of the left and right observation optical systems 14A and 14B. . The pair of left and right observation optical systems 14A and 14B constitute a stereoscopic observation optical system.
[0019]
Further, the image forming surfaces of the image forming lenses 13a and 13b are disposed so as to be arranged at the focal positions of the eyepiece lenses 14a and 14b, respectively. Note that reference numeral 16 in FIG. 3 denotes a position sensor that detects the lens position of the objective lens 11. Here, the objective lens 11 is connected to a motor (not shown) and supported so as to be movable in the optical axis direction. The lens position of the objective lens 11 in the optical axis direction can be detected by the position sensor 16.
[0020]
Further, in the system of the surgical microscope 1 of the present embodiment, as shown in FIG. 4, a treatment tool 33 (for example, a bipolar probe, an ultrasonic aspirator, forceps, etc.) used for the surgery simultaneously with the surgical microscope 1, A treatment device such as an endoscope 34 is used in combination. Furthermore, the surgical navigation system of the present embodiment includes a substantially C-shaped head frame 35 that surrounds the head 32a of the patient 32, a treatment tool 33 that is used to treat a surgical site in the body of the patient 32, and an endoscope. A position detection sensor (position measurement unit) 36 that measures the position of a treatment device such as a mirror 34 is provided.
[0021]
Here, the head frame 35 is fixed to the skull of the patient 32. Further, the head frame 35 is fixed to the surgical bed 61 so as not to move by a fixing frame (not shown).
[0022]
The head frame 35 is provided with a plurality of head frame markers 37. As the head frame marker 37, an active type that emits infrared light or a passive marker that is a simple protrusion is arbitrarily selected and used.
[0023]
Further, the position detection sensor 36 is connected to a position and each set value calculation circuit 38. An image composition circuit (image information composition unit) 39 is further connected to the position and each set value calculation circuit 38. The image composition circuit 39 includes a storage device 40 such as a storage unit of a workstation, various input devices (controllers) such as a keyboard 41, a mouse 42, a touch pen 43, and a laser pointer (not shown), and a TV monitor 44. In addition, various display devices (image information display units) such as a head mounted display 45 are connected to each other.
[0024]
The head frame 35 is attached to the head 32a of the patient 32 in advance before surgery. Then, a tomographic image of the living body is photographed by MRI, CT or the like with the head frame 35 attached, and the biological image data 46 photographed at this time is recorded in the storage device 40. As a result, the position data of the head frame 35 is synthesized with the biological image data 46, and subsequent navigation can be performed with the head frame 35 as a reference.
[0025]
Further, the position detection sensor 36 has an infrared sensor adapted to the above-described head frame marker 37 of the head frame 35 and other marker types to be described later. (Direction) can be detected.
[0026]
The endoscope 34 for observing the inside of the living body is connected to a proximal side operation portion 34b at the proximal end portion of an elongated insertion portion 34a inserted into the body of the patient. The operation unit 34 b is provided with a plurality of endoscope markers 47, and the effect thereof is the same as that of the head frame marker 37. Then, by performing calibration in advance, the position detection sensor 36 captures the endoscope marker 47, thereby grasping the relative position and orientation of the endoscope 34 with respect to the head frame 35.
[0027]
Furthermore, the type of the endoscope 34 can be specified by the arrangement of a plurality of endoscope markers 47 or a combination of active and passive. Therefore, data such as the shape, field of view direction, and surface angle of the endoscope 34 input in advance is read, and the outer shape and field of view of the endoscope 34 are displayed on a display device such as the TV monitor 44 and the head mounted display 45. The direction and angle of view are displayed.
[0028]
A model identification marker 49 is provided at the proximal end of the insertion portion 34a of the endoscope 34. The model identification marker 49 can determine which model of the endoscope 34 (for example, data for each model such as perspective or direct view, several angles of view, shape dimensions, etc.). ing. The model identification marker 49 is identified by, for example, color or number, and the position detection sensor 36 determines the position and type.
[0029]
In addition, current endoscopes are generally provided with a focus adjustment function, a zoom function, and the like. Therefore, the setting data of these functions of the endoscope 34 according to the present embodiment is sent to the position / setting value calculation circuit 38 and used for construction of a navigation image.
[0030]
Furthermore, the endoscope 34 compatible with the surgical navigation system of the present embodiment includes, for example, the use of spot light and an ultrasonic sensor disclosed in Japanese Patent Laid-Open No. 3-28686, which has already been filed by the present applicant. It has a distance detection function (distance measuring means). Then, as shown in FIG. 6, the distance S1 between the distal end of the insertion portion 34a of the endoscope 34 and the object (target of the surgical part) 48 can be measured.
[0031]
Further, in the surgical microscope 1 used together with the endoscope 34, as shown in FIG. 2, a plurality of signal members are provided at predetermined positions on the side surface of the mirror body 2, and in this embodiment, three microscope markers 18a. , 18b, 18c are fixed integrally. As these microscope markers 18a, 18b, and 18c, an active type that emits infrared rays or a passive marker that is a simple protrusion is arbitrarily selected and used. Then, by detecting these microscope markers 18a, 18b, and 18c by the position detection sensor 36, position detection using the relative position between the head frame 35 and the mirror body 2, the rotation angle of each arm, and the like as variables, or a microscope marker By detecting the relative position with respect to the head frame 35 by 18a to 18c, the position can be grasped.
[0032]
Note that the treatment instrument 33 such as a bipolar probe, an ultrasonic aspirator, and forceps is also provided with a treatment instrument marker 50 having the same configuration as the head frame marker 37 and the endoscope marker 47.
[0033]
Next, the operation of the above configuration will be described. When using the surgical navigation system of the present embodiment, the biological image data 46 taken in advance before surgery is transmitted from the storage device 40 to the image composition circuit 39, and a reference image is constructed. The image at this time may be a 3D image, a 2D image (front, side, or top) as described later, or may be combined as necessary. In addition, as long as the 3D structure inside the skull (brain) can be determined, the display format of the 3D image is not particularly limited, and may be a wire frame image or a 3D skeleton display.
[0034]
Thereafter, the operator 51 grasps the grip 9 of the body 2 of the surgical microscope 1 and depresses the switch 10 to release the electromagnetic brake built in the axes O1 to O5, and moves the body 2 to move the surgical body. The focal position is positioned at the observation site.
[0035]
In addition, a light beam emitted from the surgical site at the time of observation with the surgical microscope 1 enters the mirror body 2. At this time, the light beam incident on the mirror body 2 from the objective lens 11 is observed through the variable magnification optical thread 12, the imaging lenses 13a and 13b, and the eyepieces 14a and 14b. Observe at magnification. Note that when the focus position after observation does not match, the objective lens 11 is driven by a motor (not shown) to perform focusing.
[0036]
During observation with the surgical microscope 1, the position detection sensor 36 detects the microscope markers 18 a, 18 b and 18 c on the mirror body 2, and the detection signals are transmitted to the position and setting value calculation circuit 38 for signal processing. Thus, the position and orientation of the mirror body 2 in the living body coordinate system are detected.
[0037]
Further, the position information of the objective lens 11 is transmitted to the position and each set value calculation circuit 38 by the position sensor 16. At this time, the position and each set value calculation circuit 38 calculates the relative position of the focal position with respect to the mirror body 2 from the position information of the objective lens 11. Further, the position of the focal position in the biological coordinate system is calculated from the position and orientation of the mirror body 2 in the biological coordinate system and the relative position of the focal position with respect to the mirror body 2. Further, the output signal from the position and each set value calculation circuit 38 is input to the image synthesis circuit 39, and the three-dimensional image data and the focal point are displayed on the living body coordinate system on the image on the display device such as the TV monitor 44 or the head mount display 45. The position is displayed superimposed.
[0038]
Through the above operation, the operator 43 visually observes the screen of the display device such as the TV monitor 44 or the head mounted display 45, and the focal position is superimposed on the image of the surgical site based on the three-dimensional image data displayed on this screen. The observed image can be observed. Then, by observing a display image of a display device such as the TV monitor 44 or the head mount display 45, the observation position of the microscope 1 can be known on the image based on the three-dimensional image data.
[0039]
Further, during the operation, a treatment instrument 33 and a treatment device such as an endoscope 34 are inserted into the surgical site of the patient's head 32a. Here, for example, when the treatment tool 33 is inserted into the surgical site, the position detection sensor 36 detects the position of the head frame 35 and sets the reference three-dimensional coordinates. Subsequently, the position of the treatment tool 33 is detected with respect to the reference three-dimensional coordinates, and the type of each treatment tool 33 is recognized as described above, and the type of the treatment tool 33 is detected in the position and each set value calculation circuit 38. The data of is transmitted. Then, the shape data of the treatment instrument 33 recorded in advance in the storage device 40 is read and transmitted to the image composition circuit 39.
[0040]
Note that when the endoscope 34 is used as the treatment device, the data is transmitted to the image synthesis circuit 39 and the endoscopic image is transmitted as in the case of the treatment instrument 33.
[0041]
Further, the data of the mirror body 2 of the surgical microscope 1 is also transmitted to the image composition circuit 39 as described above. A microscope image is also transmitted to the image synthesis circuit 39, and a brain image without a blind spot is constructed by synthesizing with the above-described endoscopic image and the above-described image based on the biological image data 46.
[0042]
Furthermore, the shape data and position data of each treatment instrument 33 and endoscope 34 are synthesized on the brain image. Here, the synthesized image is displayed on a display device such as a TV monitor 44 or a head mounted display 45, and is picture-in-pictured in a microscopic image, which will be described later, as necessary.
[0043]
These controls are instructed by a controller such as a keyboard 41, a mouse 42, a touch pen 43, or a laser pointer (not shown).
[0044]
FIG. 7 shows a display example of the display screen of the TV monitor 44. Here, in the left half of the display screen of the TV monitor 44, the 3D display unit 52 is arranged, and the surgical part of the patient's head 32a is displayed in 3D. Further, a top image display unit 53, a side image display unit 54, a front image display unit 55 are arranged in the upper right part of the display screen of the TV monitor 44, and a microscope image display unit 56 is arranged in the lower right part of the display screen. ing. The top image display unit 53 has a 2D image of the top image of the surgical site of the patient's head 32a, and the side image display unit 54 has a 2D image of the side image of the surgical site of the patient's head 32a and a front image display unit. 55 shows a 2D image of the front image of the surgical site of the patient's head 32a, and the microscope image display unit 56 displays a 2D image of the microscope image of the surgical site of the patient's head 32a.
[0045]
In addition, the 3D display unit 52 uses a display by a wire frame to synthesize and display a state of craniotomy inside the object and an object (such as a tumor) in a three-dimensional manner. Further, the endoscope 34 and the like being used are displayed in a three-dimensional outline so that the insertion status, the positional relationship with the object 48, the contact status with surrounding living tissue, and the like can be determined. It should be noted that the top image display unit 53, the side image display unit 54, and the front image display unit 55 also show similarly synthesized 2D images so that they can be confirmed more reliably.
[0046]
Further, the microscope image display unit 56 shows the state of the object 48 that cannot be seen from the body 2 of the surgical microscope 1 as a blind spot, the positions of the endoscope 34 and the surgical microscope 1 described above, It is synthesized and displayed by analyzing from data such as the focal position, the distance S1 to the object, the zoom setting, and the endoscope image. Further, an endoscope image display unit 57 is disposed on the upper part of the microscope image display unit 56. The endoscopic image from the endoscope 34 is displayed on the endoscopic image display unit 57.
[0047]
Therefore, the above configuration has the following effects. That is, in the present embodiment, when the endoscope 34 is used on the display screen of the TV monitor 44, the position of the image obtained as the endoscopic image on the living tissue can be displayed.
[0048]
Furthermore, the shape of the treatment instrument 33 and the treatment device such as the endoscope 34 to be used is stored, and the actual shape of the treatment device is synthesized and displayed on the biological tissue image on the display screen of the TV monitor 44. As described above, it is possible to prevent the treatment instrument 33 and a part of the treatment device such as the endoscope 34 from deviating from, for example, the microscopic image and inadvertently coming into contact with the living tissue. it can.
[0049]
In addition, a plurality of endoscope markers 47 and a treatment instrument marker 50 are provided on the operation portion 34b of the endoscope 34, and the arrangement of the markers 47 and 50, or a combination of active and passive, etc. Since the type of the endoscope 34 and the treatment instrument 33 can be specified, even if the treatment instrument 33 or the treatment instrument such as the endoscope 34 to be used is replaced, there is no need to newly recalibrate. be able to.
[0050]
FIG. 8 shows a second embodiment of the present invention. In the present embodiment, the configuration of the display screen displayed on the eyepiece portion of the mirror body 2 of the surgical microscope 1 according to the first embodiment (see FIGS. 1 to 7) is changed as follows.
[0051]
That is, the image display of the microscope image which actually displays the microscope image obtained by the mirror body 2 of the surgical microscope 1 on the microscope image display screen 71 of the eyepiece part of the mirror body 2 of the surgical microscope 1 of the present embodiment. A unit 72 and a target object virtual display unit 73 that virtually displays the target object 48 as in the first embodiment are provided.
[0052]
Furthermore, an arbitrary image can be displayed together on the object virtual display unit 73 of the microscope image display screen 71 by using picture-in-picture. For example, the position can be confirmed by 3D display or an endoscopic image can be displayed. I can do it.
[0053]
Therefore, in this embodiment, an operator who is viewing the microscope image display screen 71 of the eyepiece part of the body 2 of the surgical microscope 1 during the operation confirms a necessary image without taking his eyes off the eyepiece part. There is an effect that can be done.
[0054]
FIG. 9 shows a third embodiment of the present invention. In this embodiment, the endoscope 34 used together with the surgical microscope 1 of the first embodiment (see FIGS. 1 to 7) has a plurality of insertion portions 34a having different effective lengths, and in this embodiment, two types. Endoscopes 34A and 34B are provided.
[0055]
That is, in the present embodiment, the length of the insertion portion 34a2 of the other endoscope 34B is set to be larger than the length of the insertion portion 34a1 of one endoscope 34A. An endoscope marker 47a is arranged at a fixed setting position L1 from the distal end of the insertion portion 34a1 of the endoscope 34A. Further, similarly, an endoscope marker 47b is arranged at a fixed setting position L2 from the distal end in the insertion portion 34a2 of the endoscope 34B. Here, the installation position L1 of the endoscope marker 47a of the insertion section 34a1 on the endoscope 34A side and the installation position L2 of the endoscope marker 47b of the insertion section 34a2 on the endoscope 34B side are set to the same position. ing.
[0056]
Therefore, the above configuration has the following effects. That is, in the present embodiment, since the installation positions L1 and L2 of the endoscope markers 47a and 47b of the two types of endoscopes 34A and 34B are set to the same position, the two types of endoscopes 34A and 34B are arranged. Even if it is replaced during the operation, it can be used immediately without having to recalibrate.
[0057]
Furthermore, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the present invention.
Next, other characteristic technical matters of the present application are appended as follows.
Record
(Appendix 1) Means for measuring the position of the equipment to be used;
An endoscope having distance detection means for measuring the distance from the tip to the target;
Having image information display means,
The position information, the distance information, and biological image information recorded in advance are synthesized,
A position display device having a function of displaying on a screen.
[0058]
(Appendix 2) means for measuring the position of the equipment to be used;
Means for previously storing the shape of the device;
Means for displaying image information;
Combining the information on the position and shape of the device with biological image information recorded in advance,
A position display device for displaying the shape and position of the device on a screen in a distinguishable manner.
[0059]
(Appendix 3) Means for measuring the position of the equipment to be used;
Combining the position information and biological image information recorded in advance,
In the position display device that displays the position of the device,
If there are multiple devices to use,
By having a marker for the measurement means to identify at a specified position from their tips,
Even when the device to be used is replaced, the position from the marker to the tip is always constant.
[0060]
(Additional Item 4) In Additional Item 1,
The display content is
2D or 3D biological image information,
Positional information of the endoscope;
Synthesizing the position of the biological tissue located in the center of the visual field of the endoscope;
What can display the position in the biological tissue of the endoscopic image.
[0061]
(Additional Item 5) In Additional Item 2,
The display content is
2D or 3D biological image information,
2D or 3D shape information of the device used is synthesized,
A device capable of displaying the position of the device used with respect to a living tissue.
[0062]
(Additional Item 6) In Additional Item 3,
Depending on the mounting position or type of the marker,
The type of equipment used can be identified.
[0063]
(Additional Item 7) In Additional Items 1 to 3 and Additional Items 4 to 6,
The image information is
Those that can be arbitrarily inserted or combined into a microscope image of a surgical microscope.
[0064]
(Prior art of supplementary items 1 to 3) Conventionally, as in JP-A-5-305073, a tomographic image obtained in advance by CT or MRI is synthesized with a computer to display a tomographic or stereoscopic display and used for surgery. By calibrating the shape of devices such as treatment tools and endoscopes in advance, attaching position detection markers to those devices, and performing position detection using infrared rays or the like from the outside, the above-mentioned biological image information is displayed. There are devices that display the position of the devices that are being used, especially in neurosurgery and the like, and display the position of the brain tumor synthesized on a microscopic image, or navigate the direction in which the surgery proceeds.
[0065]
In addition, the position and shape of the subject have been recognized as in Japanese Patent Publication No. 6-43893 and Japanese Patent Publication No. 3-28686. Alternatively, there has been a surgical microscope capable of picture-in-picture of an endoscopic image as a microscopic image, as in JP-A-7-261994.
[0066]
In addition, in TV monitors and head mounted displays, it was possible to easily combine and display a plurality of images in a desired form by using an image mixer.
[0067]
(Problems to be solved by Supplementary Items 1 to 3) The problem to be solved by the present invention is a problem of the prior art.
-It is impossible to display in which part of the living body the living tissue viewed in the endoscopic image is located.
・ Generally used instruments such as treatment tools and endoscopes can only display a simplified bar shape on the screen and cannot display the shape, so parts that are out of the microscope image are not prepared. It is impossible to prevent damage to living tissue.
• You must recalibrate each time you change the equipment you use.
It tries to solve this point.
[0068]
(Effects of Supplementary Items 1 to 3)
-When an endoscope is used, the position on the living tissue of the image obtained by the endoscopic image can be displayed.
-By storing the shape of devices such as treatment instruments and endoscopes to be used, and by synthesizing and displaying the actual shape on the biological tissue image, for example, a part that is out of the microscopic image is inadvertently To prevent damage.
・ Eliminates the need to recalibrate even when equipment such as treatment tools and endoscopes are replaced.
That's it.
[0069]
【The invention's effect】
According to the present invention Inside When an endoscope is used, the position of an image obtained as an endoscopic image on a living tissue can be displayed, and the shape of a treatment instrument such as a treatment tool or an endoscope used can be It can be synthesized and displayed on the tissue image. For example, it is possible to prevent inadvertently damaging the living tissue from a part that is off the microscopic image, and to use a treatment instrument, an endoscope, etc. Even if the treatment device is replaced, it is not necessary to newly recalibrate, and the operation can be performed efficiently.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an entire system of a surgical microscope using a surgical navigation system according to a first embodiment of the present invention.
FIG. 2 is a front view showing a body of the surgical microscope according to the first embodiment.
FIG. 3 is a schematic configuration diagram of the inside of a body of the surgical microscope according to the first embodiment.
FIG. 4 is a schematic configuration diagram of the entire surgical navigation system according to the first embodiment.
FIG. 5 is a perspective view showing a main configuration of the surgical navigation system according to the first embodiment.
FIG. 6 is a longitudinal sectional view of a main part showing a use state of the endoscope compatible with the surgical navigation system of the first embodiment.
FIG. 7 is an explanatory diagram for explaining a display example of the display device in the surgical navigation system according to the first embodiment.
FIG. 8 is a plan view showing a microscope image of an eyepiece part of a surgical microscope according to a second embodiment of the present invention.
FIG. 9 is a side view showing a plurality of endoscopes having different effective lengths used in the surgical navigation system according to the third embodiment of the present invention.
[Explanation of symbols]
1 Surgical microscope
33 Treatment tool (treatment device)
34 Endoscope (treatment device)
36 Position detection sensor (position measurement unit)
39 Image composition circuit (image information composition unit)
40 Storage device (storage unit)
44 TV monitor (image information display)
45 Head mounted display (image information display)

Claims

A surgical microscope for observing the surgical site inside the patient's body ,
A position measuring unit for measuring the position of a treatment device used for treatment of the surgical site in the body ;
An endoscope having a distance measuring means for measuring a distance from a distal end of an insertion portion to be inserted into a patient's body to a target of the surgical site;
An image information display unit for displaying image information of an operation part in the patient's body;
A storage unit for holding biological image information measured in advance;
The position information from the position measuring unit, the distance information from the distance measuring unit, and the biological image information recorded in advance in the storage unit are combined to construct a reference image, and the endoscope And the position of the surgical microscope, the distance from the target, the information on the target that cannot be seen from the surgical microscope in the surgical site analyzed from the data of the endoscopic image, as a blind spot. A surgical navigation system, comprising: an image information synthesis unit configured to perform synthesis display on a screen of the image information display unit.

The image information synthesizing unit has means for preliminarily storing the shape of the treatment device, and synthesizes the position and shape information of the treatment device and biological image information recorded in advance. The surgical navigation system according to claim 1, wherein the shape and position of the device are displayed on the screen of an image information display unit so as to be discriminable.

A surgical microscope for observing the surgical site inside the patient's body ,
A position measuring unit for measuring the position of a treatment device used for treatment of the surgical site in the body ;
An endoscope having a distance measuring unit for measuring a distance from a distal end of an insertion unit to be inserted into a patient's body to a target of the surgical unit;
An image information display unit for displaying image information of an operation part in the patient's body;
A storage unit for holding biological image information measured in advance;
The position information from the position measuring unit, the distance information from the distance measuring unit, and the biological image information recorded in advance in the storage unit are combined to construct a reference image, and the endoscope And the position of the surgical microscope, the distance from the target, and the information on the target that cannot be seen from the surgical microscope in the surgical site analyzed from the data of the endoscopic image. An image information composition unit for composition display on the screen of the information display unit,
As necessary, selectively replace multiple treatment devices for treatment of the surgical site inside the patient's body,
A surgical navigation system, wherein a marker for identifying the position measurement unit is provided at a predetermined set position from the tip of each treatment device.