JP4409004B2

JP4409004B2 - Surgical calibration system

Info

Publication number: JP4409004B2
Application number: JP27306799A
Authority: JP
Inventors: 明生小坂; 隆男柴▲崎▼; 明人斉藤; 武夫浅野; 弘松崎; 幸人古橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-09-27
Filing date: 1999-09-27
Publication date: 2010-02-03
Anticipated expiration: 2019-09-27
Also published as: JP2001087283A

Description

【０００１】
【発明の属する技術分野】
本発明は手術キャリブレーションシステムに係り、特に、脳外科をはじめとする外科手術に利用する手術キャリブレーションシステムに関する。
【０００２】
【従来の技術】
周知のように、手術ナビゲーションシステムを利用した脳外科をはじめとする外科手術では、手術を受けるべき被検体の部位と該被検体の検査画像間の位置合わせを行うことが重要である。
【０００３】
こうした被検体の部位と該被検体の検査画像間の位置関係を規定する手法は、手術キャリブレーションと呼ばれている。
【０００４】
その手術キャリブレーションの方法としては、定位フレームを利用する方法が従来から考案されている［文献１：Ｒ．Ｈ．Ｔａｙｌｏｒ（ｅｄ．），Ｃｏｍｐｕｔｅｒ−ＩｎｔｅｇｒａｔｅｄＳｕｒｇｅｒｙ，ＭＩＴＰｒｅｓｓ，１９９６］。
【０００５】
この［文献１］の方法では、金属製の固定フレームを利用し、ねじのような金属マーカを被検体の体表面からねじ込むことにより、固定と位置決めを行うようにしている。
【０００６】
また［文献２：Ｎ．Ｈａｔａ，ｅｔａｌ，″Ｄｅｖｅｌｏｐｍｅｎｔｏｆａｆｒａｍｌｅｓｓａｎｄａｒｍｌｅｓｓｓｔｅｒｅｏｔａｃｔｉｃｎｅｕｒｏｎａｖｉｇａｔｉｏｎｓｙｓｔｅｍｗｉｔｈｕｌｔｒａｓｏｎｏｇｒａｐｈｉｃｒｅｇｉｓｔｒａｔｉｏｎ，″Ｎｅｕｒｏｓｕｒｇｅｒｙ，Ｖｏｌ．４１，Ｎｏ．３，Ｓｅｐｔｅｍｂｅｒ１９９７，ｐｐ．６０９−６１４］のように特別な位置決めフレームを装着し、そのフレームを利用して、被検体と検査画像間の座標符合化を行う試みがある。
【０００７】
この［文献２］の方法では、アクリル材で位置決めフレームを構成し、左耳穴部と鼻突出部で位置決めフレームを固定し、位置決めフレーム上に４個の金属製立方体を装着して、それをマーカとして使用し、シリコーンゴムにより左耳穴部と鼻突出部を固定し、ＣＴ画像でマーカを抽出し、その被検体上での位置をプローブで探針し、実際の手術場面では、超音波でマーカ位置を見ながら手術を行う方法が考案されている。
【０００８】
一方、特開平７−３１１８３４号公報には、被検体の歯形を利用したマウスピースを位置決めフレームとして、異種検査画像間の位置合わせを行うようにした補助具が開示されている。
【０００９】
【発明が解決しようとする課題】
しかるに、上記［文献１］の方法では、上述したように、金属製の固定フレームを利用し、ねじのような金属マーカを被検体の体表面からねじ込むことにより、固定と位置決めを行うため、被検体に対して多大な侵襲を与えてしまうという問題点があった。
【００１０】
また、上記［文献２］の方法では、上述したように、アクリル材で位置決めフレームを構成し、左耳穴部と鼻突出部で位置決めフレームを固定し、位置決めフレーム上に４個の金属製立方体を装着して、それをマーカとして使用し、シリコーンゴムにより左耳穴部と鼻突出部を固定し、ＣＴ画像でマーカを抽出し、その被検体上での位置をプローブで探針し、実際の手術場面では、超音波でマーカ位置を見ながら手術を行うようにしているため、以下に示すような種々の問題点があった。
【００１１】
（１）基本的に二部位によって被検体に位置決めフレームを固定する方法がなされているため、位置決め精度が悪い。
【００１２】
（２）左耳穴部にシリコーンゴムを押し込む形で被検体に固定するため、位置決めフレームをいったん取り外すと、再現性よく被検体に付け直すことが困難である。
【００１３】
（３）金属材料をマーカとして利用しているため、ＭＲＩ検査画像では使用することができない。
【００１４】
（４）金属性マーカの形状が立方体であるため、その検査画像内での像は、視点により大幅に異なり、探針する位置と検査画像内での位置との規定が困難である。
【００１５】
（５）構造上、フレームが大きいため、手術中にフレームを装着したまま手術をすることが困難であり、かつ、手術中に清潔環境下を維持するためのドレープをかけて使用することも困難である。
【００１６】
また、上記特開平７−３１１８３４号公報に開示されている被検体の歯形を利用したマウスピースを位置決めフレームとしての補助具は、上述したように、基本的に異種検査画像間の位置合わせに利用するものであり、実際の手術に利用するには不適切な部分がある。
【００１７】
例えば、マウスピースから顔上部へとアンテナのようなコネクタを使用し、そのコネクタの先端にマーカを装着するため、このフレームの上からドレープをかけて、手術を行うようなことは困難である。
【００１８】
また、最近、注目を集めている鼻腔からの内視鏡手術の場合には、中央にあるコネクタが鼻腔内へ進入する内視鏡に対して邪魔となるという構造上の問題点がある。
【００１９】
さらに、マーカはマウスピース上部に位置するため、脳外科の手術で検査画像を撮影する位置としては、口腔部付近が中心となり、頭部水平面上にマーカ３個が配置されるため、頭部鉛直上での位置決め精度の点で問題があるとともに、脳上部・中央部を覆っていないため、検査画像内でマーカを検出できたとしても、頭部上部から中央部での位置決めに必要な座標変換パラメータを算出する際、より大きな誤差を生じさせる可能性が高くなる。
【００２０】
さらに、実際的な手術の場面では、必ずしも位置決めフレーム上のマーカの位置を実空間上で計測することが不可能な場合がある。
【００２１】
例えば、手術に用いる手術経路が位置決めフレーム付近にない場合や、手術方法により位置決めフレームの１次マーカが、３次元位置センサによって位置計測できない場所にならざるを得ない場合などがある。
【００２２】
また、手術中に位置決めフレームが邪魔になる場合もある。
【００２３】
本発明が解決しようとする課題は、１）複雑な手術経路に対応できるような柔軟な手術キャリブレーションシステムであり、かつ２）手術中に術者の邪魔にならないような手術キャリブレーションシステムを提供することにある。
【００２４】
本発明は、上記の事情に鑑みてなされたもので、複雑な手術経路に対応できるような柔軟な手術キャリブレーションシステム及び手術中に術者の邪魔にならないような手術キャリブレーションシステムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１）１次マーカを備え、被検体に対して着脱自在な位置決め部材と、
前記位置決め部材を前記被検体に装着した状態で、前記被検体を撮像することで予め画像を取得する画像撮影装置と、
前記被検体に取り付けられる、前記位置決め部材とは別の２次マーカと、
前記２次マーカを用いて、前記被検体と前記予め取得した画像の位置姿勢を対応させる手術キャリブレーション装置と、
を具備し、
前記手術キャリブレーション装置は、
前記被検体に前記位置決め部材を再装着すると共に前記２次マーカを取り付けた状態で、これら１次マーカ及び２次マーカの実空間での座標を取得する手段と、
該取得した前記１次マーカの実空間での座標と、前記予め取得した画像上での前記１次マーカの座標との対応関係を取得する手段と、
前記取得した前記２次マーカの実空間での座標と前記取得した前記対応関係とに基づいて、前記２次マーカの前記予め取得した画像上での座標を求める手段と、
前記２次マーカの実空間での座標と前記予め取得した画像上での座標とを用いて、前記被検体と前記予め取得した画像の位置姿勢を対応させる手段と、
を備える、
ことを特徴とする手術キャリブレーションシステムが提供される。
【００２７】
また、本発明によると、上記課題を解決するために、
（２）手術される患者を前記被検体とし、
前記画像撮影装置は、該患者の検査画像を取得し、
前記手術キャリブレーション装置の前記被検体と前記予め取得した画像の位置姿勢を対応させる手段は、前記患者と該患者の前記検査画像の位置姿勢を対応させることを特徴とする（１）記載の手術キャリブレーションシステムが提供される。
【００２８】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態で利用する位置決めフレーム１を表したものである。
【００３０】
図２は、本発明の第１の実施形態で利用する２次マーカの一つを代表させて表したものである。
【００３１】
本実施形態では、マーカを含む位置決めフレーム（以下、位置決めフレーム上のマーカを１次マーカと呼ぶ）１と、その位置決めフレーム１上にないマーカ群（以下２次マーカという）を被検体に装着することにより、手術キャリブレーションを行う方法について説明する。
【００３２】
位置決めフレーム１は、図１の（ａ）に示すように、メガネあるいはゴーグルを変形したような形状を有しており、メガネ本体部２、右耳当て部３、左耳当て部４から構成される。
【００３３】
そして、メガネ形状の位置決めフレーム１に、検査画像でその形状が顕著に表出する形状を有した複数の１次マーカを装着したものである。
【００３４】
この実施形態の場合には、図１の（ａ）に示すように、メガネ形状の位置決めフレーム１に７個の１次マーカ５，６，７，８，９，１０，１１が固定装着してある。
【００３５】
図１の（ｂ）は、メガネ形状の位置決めフレーム１に固定装着された１次マーカ５〜１１の一つを代表させて斜視形態１２，平面形態１３，側断面形態１４を表したものである。
【００３６】
これらの１次マーカ５〜１１は、図１の（ｂ）に示したような円柱構造をしており、外殻部１５はＸ線画像検査法で顕著に表出する人工骨のようなセラミック系の素材からできている。
【００３７】
また、各１次マーカ５〜１１の上端には探針用窪み部１７があり、この探針用窪み部１７を後述するセンサプローブなどで探針することにより、各１次マーカ５〜１１の位置を計測することができるようになっている。
【００３８】
また、各１次マーカ５〜１１の内部には、ＭＲＩ画像検査法で顕著に表出する内部溶液１６が充填されている。
【００３９】
この内部溶液１６としては、硫酸銅系の溶液などが有効であることが知られているが、硫酸銅系の溶液に限つたものでなく、ＭＲＩ画像検査法で顕著に表出するものであれば何でもよい。
【００４０】
画像検査法として、ＣＴのみしか使用しないような場合には、円柱構造の１次マーカ全体が人工骨のようなセラミック系の素材から構成されていてもよい。
【００４１】
また画像検査法として、ＭＲＩのみしか使用しないような場合には、１次マーカの外殻部１５はセラミック系の素材でなくてもよく、硫酸銅系の溶液と反応しないようなプラスティックやアクリル素材であっても構わない。
【００４２】
被検体が、位置決めフレーム１をそのメガネ本体部２、右耳当て部３、左耳当て部４により顔の目の部分にかけることにより、位置決めフレーム１が被検体の左右の耳上端部と被検体の鼻突起部で固定されるようになっている。
【００４３】
また、検査画像撮影時以外や手術時以外のように、位置決めフレーム１を利用しない場合には、被検体から取りはずすことができるようになっている。
【００４４】
図２は、被検体に装着する２次マーカ２２を表したものである。
【００４５】
この２次マーカ２２は、２次マーカ本体部２３と、後述するセンサプローブで探針しやすいような探針用窪み部２４と、被検体の表面に容易に装着できるような接着部２５を含んだものとなっており、図３に示されるように複数の２次マーカ２２が被検体の表面に容易に装着できるようになっている。
【００４６】
なお、被検体に、前記メガネ形状の位置決めフレーム１を装着して不安定な場合には、図３に示されるような経時固化素材（例えば、シリコーンゴム）１８、１９をメガネ形状フレーム１と被検体の体表面の間に挿入し、メガネ形状フレーム１上にも装着するように固定することで、被検体に確実に固定できるようにすることができる。
【００４７】
図３では、被検体の額部に装着した経時固化素材１８と被検体の鼻部に装着した経時固化素材１９がある。
【００４８】
また、図３で示されるように、２次マーカ２２は複数利用され、位置決めフレーム１以外の被検体の表面に装着されて使用される。
【００４９】
図４は、本発明の第１の実施形態に係る手術キャリブレーション装置２６を含むシステム構成を示すブロック図である。
【００５０】
すなわち、このシステムは、被検体の表面に装着される位置決めフレーム１及び２次マーカ２２と、被検体のＸ線（ＣＴ）画像やＭＲＩ画像を撮影し、コンピュータで処理可能なディジタルイメージデータに変換する検査画像装置２７と、本発明の手術キャリブレーション装置２６と、実際に手術で使用される術具または観察具３０とから構成される。
【００５１】
前記手術キャリブレーシヨン装置２６は、位置決めフレーム１や２次マーカ群２２の探針を行うことで、それらの位置を計測する３次元位置センサ２８、３次元位置センサ２８が計測した位置信号を解祈して、検査画像と被検体間の座標符合化を行うＰＣ２９から構成される。
【００５２】
このＰＣ２９は、汎用のコンピュータやデータ処理装置などが対応する。
【００５３】
次に、上記の位置決めフレーム１を利用した手術キャリブレーション方法について解説する。
【００５４】
まず、その詳細を解説する前に、本発明で使用する用語に関して簡単に説明する。
【００５５】
座標系：
本発明では、手術キャリブレーションに必要ないくつかの座標系を定義している。
【００５６】
手術に用いる術具（含む観察具）は、例えば、内視鏡・手術用顕微鏡・鉗子・ピンセットなど手術に使用する道具一般を意味する。
【００５７】
これら術具または観察具には、それぞれ固有の座標系を考えることができ、この座標系Ｅを利用して術異の３次元位置姿勢を定義することができる。
【００５８】
いま、その座標系での位置座標（ｘｙｚ座標）をＥ（Ｘ_E，Ｙ_E，Ｚ_E）て表現する。
【００５９】
被検体を撮影した検査画像としては、ＭＲＩ・ＣＴ・ＳＰＥＣＴなどの画像セットを考えることができる。
【００６０】
これらの３次元構造は２次元スライス像を複数枚統合することにより構築することができる。
【００６１】
そして、このような３次元構造に関して、検査画像座標系Ｐを定義することができる。
【００６２】
この座標系での座標値は（Ｘ_P，Ｙ_P，Ｚ_P）で表現することができる。
【００６３】
例えば、ＭＲＩ画像を例にとって説明する。
【００６４】
ＭＲＩ画像の場合、被検体の体軸に沿つて検査画像を撮影することが一般的であり、その軸を例えばｚ軸と定義すると、各スライス像はｘｙ平面を構成すると考えることができる。
【００６５】
そこで、ｚ軸方向のスライスピッチをｄｚ（ｍｍ／ｓｌｉｃｅ）とし、スライス像の横方向をｘ軸とし、ｘ方向の画像ピクセル解像度をｄｘ（ｍｍ／ｐｉｘｅｌ）とし、スライス像の縦方向をｙ軸とし、ｙ軸方向の画像ピクセル解像度をｄｙ（ｍｍ／ｐｉｘｅｌ）とすると、検査画像撮影開始位置を例えば原点として、ｘ軸、ｙ軸、ｚ軸が定義され、かつ検査画像のｘ，ｙ，ｚ軸方向のインデックス（ｉ，ｊ，ｋ）に対して、その検査画像での３次元位置は（ｉｄｘ，ｊｄｙ，ｋｄｚ）なる位置座標が定義できる。
【００６６】
このように定義される検査画像の座標系を検査画像座標系Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）と呼ぶわけである。
【００６７】
被検体が実在する実空間に対しても座標系を定義することができる。
【００６８】
そして、被検体座標系Ｗは手術室内で定義される基準座標系として考えることもできる。
【００６９】
この座標系での座標値をＷ（Ｘ_W，Ｙ_W，Ｚ_W）で表現する。
【００７０】
座標符合化：
こうした複数の座標系間で座標符合化をすることは、座標系間の位置関係を規定することを意味する。
【００７１】
すなわち、ある座標系Ａと別の座標系Ｂを符合することは、座標系Ａから座標系Ｂへの座標変換（あるいは座標系Ｂから座標系Ａへの座標変換）を規定することである。
【００７２】
もう、少し具体化すると、座標系Ａから座標系Ｂへの座標変換パラメータを算出するといってもよい。
【００７３】
数学的には、座標変換パラメータとして斉次変換行列を考えると、座標系Ａでの座標値（Ｘ_A，Ｙ_A，Ｚ_A）が座標系Ｂで座標値（Ｘ_B，Ｙ_B，Ｚ_B）に対応するならば、
【００７４】
【数１】

【００７５】
の_BＨ_Aで表現される４×４行列で表現される。
【００７６】
これらを表現する方法は、斉次変換行列を利用する方法以外にもある。
【００７７】
例えば、
【００７８】
【数２】

【００７９】
で表される回転行列Ｒと並進べクトルｔを利用する方法や、回転行列Ｒに対して四元数（ｑｕａｔｅｒｎｉｏｎ）を利用する方法などがある。
【００８０】
座標変換パラメータとしては、以上のような方法のいずれでもよい。
【００８１】
手術キャリブレーション：
手術キャリブレーションとは、検査画像座標系と被検体が実在する被検体座標系との座標符合化を行う処理を意味する。
【００８２】
図５は、本手術キャリブレーションで使用する座標系を表したものである。
【００８３】
被検体３１の検査画像によって規定される検査画像座標系３２、実際の手術を行う時に被検体により規定される実空間上での座標系である被検体座標系３３、位置決めフレーム１上の１次マーカあるいは２次マーカ２２の被検体座標系３３における３次元位置を計測する３次元位置センサ２８、そして検査画像座標系３２から被検体座標系３３への座標変換３４から構成される。
【００８４】
図６は、手術キャリブレーション処理の基本的な流れを表したフローチャートである。
【００８５】
まず、ステップＳ１では、被検体に位置決めフレーム１を装着して検査画像を撮影する。
【００８６】
次に、ステップＳ２では、その検査座標内から位置決めフレーム１に装着されている１次マーカの位置を検出する。
【００８７】
ここで、１次マーカの位置は、検査画像座標系におけるマーカの３次元位置を意味する。
【００８８】
これら位置を（Ｘ_P(i) ，Ｙ_P(i) ，Ｚ_P(i))（ｉ＝１，２，．．．，ｎ）とする。
【００８９】
次に、ステップＳ３では、実際の手術場面においてなされる操作である。
【００９０】
ステップＳ２で検出された１次マーカに対して、被検体が実在する被検体座標系における１次マーカ位置を測定し、被検体が実在する被検体座標系と検査画像座標系との間の座標符合化を行うことで、検査画像内に存在する目標物（ターゲット）が、実空間上でどの位置に存在するかの位置合わせを行う作業と捉えることができる。
【００９１】
その測定された３次元位置を（Ｘ_W(i) ，Ｙ_W(i) ，Ｚ_W(i) ）（ｉ＝１，２，．．．，ｎ）とする。
【００９２】
次に、ステップＳ４では、ステップＳ２で検出された検査画像座標系での１次マーカ位置（Ｘ_P(i) ，Ｙ_P(i) ，Ｚ_P(i))（ｉ＝１，２，．．．，ｎ）とステップＳ３で測定された１次マーカ位置（Ｘ_W(i) ，Ｙ_W(i) ，Ｚ_W(i) ）（ｉ＝１，２，．．．，ｎ）を利用して、検査画像座標系と被検体が実在する被検体座標系間の座標符合化を行う。
【００９３】
具体的には、検査画像座標系から被検体座標系への座標変換が規定されることになる。
【００９４】
以下各ステップを詳細に解説する。
【００９５】
以下の解説では、ＭＲＩ画像を検査画像とした場合について解説する。
【００９６】
もちろんＣＴ画像などを検査画像とした場合にも、ほとんど同様な処理ができることは言うまでもない。
【００９７】
ステップＳ１：
被検体に位置決めフレーム１を装着する。
【００９８】
このとき、位置決めフレーム１の固定が確実でない場合には、図３で示されるような経時固化素材１８，１９を利用して、位置決めフレーム１を被検体の鼻突出部や額部に確実に固定できるように調節する。
【００９９】
この後、被検体に対して、検査画像の撮影を行い、スライス画像群から構成される検査画像データを得る。
【０１００】
ステップＳ２：
検査画像データからマーカ領域を抽出し、検査画像座標系における１次マーカ位置を算出する。
【０１０１】
いま、検出された１次マーカの数をｎとして、それらの位置を（Ｘ_P(i) ，Ｙ_P(i) ，Ｚ_P(i))（ｉ＝１，２，．．．，ｎ）で表現するものとする。
【０１０２】
この方法に関しては、画像処理の方法を用いて自動的に抽出してもよい。
【０１０３】
また、ユーザが検査像を見ながら、マウスなどのポインティングデバイスを利用し、マニュアルで位置計測を行うようにしてもよい。
【０１０４】
ステップＳ３：
このステップＳ３は、被検体に対して手術を行う直前になされるキャリブレーション処理（座標符合化処理）に対応するものである。
【０１０５】
次に、図７に示す、各サブステップについて説明する。
【０１０６】
３−１）被検体に位置決めフレーム１を装着する。
【０１０７】
本ステップＳ３１では、被検体は検査画像を撮影したときに使用した位置決めフレーム１を再度装着し、撮影時と同一な場所の位置決めフレーム１が装着してあることを確認する。
【０１０８】
この際、位置決めが確定するように経時固化素材１８，１９が有効に働く。
【０１０９】
３−２）探針可能な２次マーカ２２を被検体に装着する。
【０１１０】
本ステップＳ３２で２次マーカ２２を装着する場所は、図３に示されるように被験者の体表面であり、かつ手術に際して後述するセンサプローブにより探針可能な位置とする。
【０１１１】
この際、装着する２次マーカ２２の個数は少なくとも３以上であることが要求される。
【０１１２】
３−３）位置決めフレーム１上の１次マーカ５〜１１等の位置を３次元位置センサ２８で測定し、その１次マーカ位置の被検体座標系での位置座標を求める（これは不潔環境下でも構わない）。
【０１１３】
本ステップＳ３３では、３次元位置センサ２８を利用して、位置決めフレーム１上の１次マーカの実空間上での位置を計測する。
【０１１４】
この位置を（Ｘ_W(i) ，Ｙ_W(i) ，Ｚ_W(i) ）とする。
【０１１５】
ここで説明される３次元位置センサ２８としては、探針用のセンサプローブなどが挙げられる。
【０１１６】
このセンサプローブでは、実空間で定義される基準座標系（被検体座標系）において、『位置決めフレーム状の１次マーカの先端（探針用窪み部）』を探針することにより、被検体座標系におけるマーカの位置を測定する。
【０１１７】
このようなセンサプローブとしては、
（１）赤外線検知可能な光学式センサシステムや
（２）機械的アームを利用した機械式センサシステム
などが利用可能である。
【０１１８】
この赤外線検知可能な光学式センサシステム（１）では、センサプローブに複数の赤外線発光ダイオード（ＬＥＤ）が装着されており、その赤外線発光ダイオードの発光を感知する複眼ＣＣＤカメラ（ステレオカメラを被検体座標系に配置）で検知し、三角測量の原理に基づいて、発光ダイオードの被検体座標系における位置を計測するものである。
【０１１９】
こうして個々の赤外線発光ダイオードの位置が計測できると、センサプローブの先端の位置が、被検体座標系で測定できるものである。
【０１２０】
一方、機械的アームを利用した機械式センサシステム（２）では、アームの回転をエンコーダなどを利用して検知し、その回転に応じて、機械的センサの先端のプローブの位置を検知するものであり、（１）の場合と同様に、被検体座標系における先端のセンサプローブの位置を計測することができるものである。
【０１２１】
このようなセンサプローブを利用して、ステップＳ２で検知された位置決めフレーム１上での１次マーカの位置が、被検体座標系内で（Ｘ_W(i) ，Ｙ_W(i) ，Ｚ_W(i))（ｉ＝１，２，．．．，ｎ）として測定されることになる。
【０１２２】
図７において、各サブステップは、以下のようになる。
【０１２３】
３−４）２次マーカの位置を３次元位置センサ２８で測定し、その２次マーカ位置の被検体座標系での位置座標を求める（これは不潔環境下で構わない）。
【０１２４】
本ステップＳ３４での位置計測は、３次元位置センサ２８を利用することによる。
【０１２５】
その位置を（Ｘ_W2(J) ，Ｙ_W2(J) ，Ｚ_W2(J))とする。
【０１２６】
３−５）本ステップＳ３５では、被検体座標系から検査画像座標系への座標変換パラメータを算出する。
【０１２７】
具体的には、被検体座標系及び検査画像座標系の両方の座標系で検出された位置決めフレーム１上の１次マーカの位置座標対（Ｘ_p(k) ，Ｙ_p(k) ，Ｚ_p(k))，（Ｘ_W(k) ，Ｙ_W(k) ，Ｚ_W(k))により、被検体座標系から検査画像座標系への座標変換パラメータｐＨｗを算出する。
【０１２８】
これを数学的に記述すると以下のようになる。
【０１２９】
【数３】

【０１３０】
で示されるｐＨｗまたは（Ｒ，ｔ）を推定する問題となる。
【０１３１】
いま、両座標系での１次マーカ群の重心べクトルを（Ｘ_ｗ ^ｍｅａｎ，Ｙ_ｗ ^ｍｅａｎ，Ｚ_ｗ ^ｍｅａｎ），（Ｘ_ｐ ^ｍｅａｎ，Ｙ_ｐ ^ｍｅａｎ，Ｚ_ｐ ^ｍｅａｎ）とすると、
【０１３２】
【数４】

【０１３３】
が成立し、並進べクトルと回転行列を別々の式で算出することができる。
【０１３４】
ｉ＝１，２，３に対して、上記方程式を解く方法としては、ｑｕａｔｅｒｎｉｏｎ法（四元数法）がある。
【０１３５】
この方法の詳細は文献（Ｂ．Ｋ．Ｐ．゜Ｈｏｒｎ，“Ｃｌｏｓｅｄ−ｆｏｒｍｓｏｌｕｔｉｏｎｏｆａｂｓｏｌｕｔｅｏｒｉｅｎｔａｔｉｏｎｕｓｉｎｇｕｎｉｔｑｕａｔｅｒｎｉｏｎｓ，”ＪｏｕｒｎａｌｏｆＯｐｔｉｃａｌＳｏｃｉｅｔｙｏｆＡｍｅｒｉｃａＡ，Ｖｏｌ．４，Ｎｏ．４，１９８７，ｐｐ．６２９−６４２．）に述べられているので、その詳細はここでは省略する。
【０１３６】
このようにＲ，ｔが算出されると、斉次変換行列ｐＨｗも容易に計算できるのは明白である。
【０１３７】
具体的には、Ｒの要素をｒ_ij，ｔの要素を（ｔ_x，ｔ_y，ｔ_z，）としたとき、
【０１３８】
【数５】

【０１３９】
と記述することができる。
【０１４０】
３−６）本ステップＳ３６では、２次マーカの検査画像座標系での位置座標を算出する。
【０１４１】
これらを２次マーカ座標として登録する。
【０１４２】
上記サブステップ３−５）で算出された被検体座標系から検査画像座標系への座標変換パラメータｐＨｗを利用する。
【０１４３】
具体的には、
【０１４４】
【数６】

【０１４５】
により、２次マーカの検査画像座標系での位置座標（Ｘ_P2(J) ，Ｙ_P2(J) ，Ｚ_P2(J))が算出できることになる。
【０１４６】
３−７）本ステップＳ３７では、必要に応じて、被検体から位置決めフレーム１を取り外す。
【０１４７】
ただし、２次マーカは取り外さないこととする（もちろん、必ずしも、位置決めフレーム１を取り外す必要はない。）
以上の処理により、位置決めフレーム１の使用は終了し、２次マーカ群の位置計測により、すべての位置情報が獲得されたことになる。
【０１４８】
３−８）本ステップＳ３８では、手術室内で被検体に２次マーカ２２を装着したまま、必要ならば２次マーカの上からドレープなどをかけ、手術に必要な清潔環境を作り出す。
【０１４９】
３−９）本ステップＳ３９では、３次元位置センサ２８を利用し、被検体座標系における２次マーカ２２の位置を計測する。
【０１５０】
これには、３次元位置センサ２８を利用して、２次マーカ２２の実空間上での位置を計測する。
【０１５１】
この位置を（Ｘ_W2(J) ，Ｙ_W2(J) ，Ｚ_W2(J))とする。
【０１５２】
次に、再び、図６のフローチャートに戻って説明する。
【０１５３】
ステップＳ４：
本ステップでは、２次マーカの検査画像内での位置と実空間内での位置を利用することにより、検査画像座標系と被検体座標系間の座標符合化を行うことになる。
【０１５４】
具体的には、検査画像座標系と被検体座標系間の両方で検出された２次マーカの位置座標対（Ｘ_p2(J) ，Ｙ_p2(J) ，Ｚ_p2(J))，（Ｘ_W2(J) ，Ｙ_W2(J) ，Ｚ_W2(J))を利用することで、被検体座標系から検査画像座標系への座標変換パラメータｐＨ´ｗを算出することになる。
【０１５５】
ステップＳ３の検査画像座標系で登録されたすべての２次マーカ群が、３次元位置センサ２８で実際の手術室で計測できるとは限らない。
【０１５６】
これは、ドレープ処理等を行うために起こるものである。
【０１５７】
このため、本ステップＳ４では、対応付けができた２次マーカ群のみを利用して、被検体座標系から検査画像座標系への座標変換パラメータを算出することになる。
【０１５８】
これら対応付けが行えた座標値を（Ｘ_p2(k) ，Ｙ_p2(k) ，Ｚ_p2(k))，（Ｘ_W2(k) ，Ｙ_W2(k) ，Ｚ_W2(k))（ｋ＝１，２，．．．，ｎ）とする。
【０１５９】
すると、先に述べたのと同様な方法により、数学的に記述すると、以下のようになる。
【０１６０】
【数７】

【０１６１】
で表される座標変換パラメータｐＨ´ｗを算出することができることになり、この結果、検査画像座標系と被検体座標系間の座標符合化をおこなうことができることになる。
【０１６２】
以上説明してきたように、第１の実施形態で述べた位置決めフレーム１を利用することで、従来では問題であった実際的な手術場面においても、手術の位置決め（キャリブレーション）に必要な処理が容易に達成可能となる。
【０１６３】
より具体的には、位置決めフレーム１と２次マーカ２２を同時に利用して手術キャリブレーションを行うことにより、位置決めフレーム１を術中に使用する必要がなくなり、実際の手術中でも２次マーカ２２は邪魔にならないため、かつ被検体に対して負担をかけないようにするため、より有効な手術ナビゲーション等を実践することができる。
【０１６４】
このような第１の実施形態では、被検体に固定した位置決めフレームを用いて検査画像と被検体の位置姿勢キャリブレーションを行うキャリブレーション方法において、被検体に上記フレーム上にないマーカ群を装着し、上記位置決めフレームを用いて検査画像が規定する検査画像座標系におけるマーカ群の位置を規定し、被検体が実空間上で規定する被検体座標系におけるマーカ群の位置を測定することにより、検査画像座標系と被検体座標系との座標符合化を行うことを特徴とするキャリブレーシヨン方法により、特に、位置決めフレーム上の１次マーカ以外の２次マーカも装着し、位置決めフレーム上の１次マーカと２次マーカの両方を有効に活用することにより、柔軟な手術方法に対応することができるという効果がある。
【０１６５】
（第２の実施形態）
前述した第１の実施形態では、２次マーカとして登録され、かつ計測可能であったものをすべて利用して、被検体座標系から検査画像座標系への座標変換パラメータを算出するようにしている。
【０１６６】
しかしながら、２次マーカの装着位置によっては、ドレープ処理などにより、局部的に変形が発生する場合があり得る。
【０１６７】
そこで、この第２の実施形態では、こうした２次マーカ位置の局部的な変形に対して、変形が起こったと判定できた２次マーカに関して、その２次マーカの登録を排除し、被検体座標系から検査画像座標系への座標変換パラメータを算出することを行うものである。
【０１６８】
具体的には、前述した第１の実施形態のステップＳ４において、以下のような処理を追加することにより、２次マーカの登録排除を行うことになる。
【０１６９】
ステップ４−１：
前述した第１の実施形態のステップＳ３で登録され、かつ、３次元位置センサ２８で計測することができた２次マーカ群に対して、検査画像座標系における位置座標を（Ｘ_p2(k) ，Ｙ_p2(k) ，Ｚ_p2(k))、３次元位置センサ２８により計測された２次マーカの被検体座標系における位置座標を（Ｘ_W2(k) ，Ｙ_W2(k) ，Ｚ_W2(k))とする。
【０１７０】
このとき、まず、これらすべての対応点を利用して、被検体座標系から検査画像座標系への座標変換パラメータｐＨ´ｗを算出する。
【０１７１】
ここでｐＨ´ｗは
【０１７２】
【数８】

【０１７３】
で表されるとする。
【０１７４】
この方法は、第１の実施形態で説明したのと同様であるので、ここでは詳細は述べない。
【０１７５】
ステップ４−２：
この座標変換パラメータｐＨｗ，Ｒ´，ｔ´を利用して、各２次マーカの対応度ｅ（ｋ）（ｋ＝１，２，．．．，Ｎ）を以下の式により算出する。
【０１７６】
【数９】

【０１７７】
ステップ４−３：
ｅ（ｋ）に対して、ｅ（ｋ）＜ｔｈｒｅｓｈｏｌｄなる２次マーカｋに対しては、その２次マーカの装着部位に問題がないとして再登録し、そうでないものに関しては、２次マーカから除外する。
【０１７８】
ここで、ｔｈｒｅｓｈｏｌｄはある定められた定数である（ただし、再登録された２次マーカの数は、３以上とする）。
【０１７９】
このようにして、再登録された２次マーカ群の位置座標を再度（Ｘ_p2(k) ，Ｙ_p2(k) ，Ｚ_p2(k))，（Ｘ_W2(k) ，Ｙ_W2(k) ，Ｚ_W2(k))として、ステップ４−１と同様に、ｐＨ´ｗを算出する。
【０１８０】
以上のようなステップをとることにより、より信頼度のある座標変換パラメータを算出することが可能となり、手術キャリブレーションの信頼性を向上させることができる。
【０１８１】
このような第２の実施形態では、マーカの位置計測に誤差があらかじめ設定された値以上であると判定できた場合には、該マーカの計測を排除して、被検体座標系と検査画像座標系間の座標符合化を行うことを特徴としたキャリブレーション方法により、より正確な座標符合化を行うことができるという効果がある。
【０１８２】
（第３の実施形態）
（位置センサ付きの２次マーカ）前述した第１の実施形態や第２の実施形態では、２次マーカ２２を被検体に装着したのち、２次マーカ２２の位置をセンサプローブなどの３次元位置センサ２８で探針することにより、被検体座標系における３次元位置を計測するようにしている。
【０１８３】
これらの方法では、２次マーカ自体が、ワイヤレスで装着できるという利点はあるが、３次元位置センサ２８による探針が必要であった。
【０１８４】
そこで、この第３の実施形態では、位置決めフレーム１に装着可能なアクティブマーカプレートと、２次マーカ自体にＬＥＤ等のアクティブ型位置センサを埋め込むようにしたアクティブ２次マーカとを採用することにより、センサプローブなどにより探針しないでも手術キャリブレーションを行うことが可能となる方法を提供するものである。
【０１８５】
図８は、この第３の実施形態で採用する取り外し可能なアクティブマーカプレート３５を示したものである。
【０１８６】
すなわち、図８は、位置決めフレーム１上に、アクティブマーカ３６を装着したアクティブマーカプレート３５を装着した場合について示したものである。
【０１８７】
この場合、アクティブマーカプレート３５は着脱可能な構造となっており、図８に示したように装着した場合には、位置決めフレーム１に高精度で再現性よく装着できる構造となっている。
【０１８８】
いま、図８に示したように装着した状態でのアクティブマーカプレート３５上のアクティブマーカ３６の位置を、アクティブマーカプレート３５が規定するアクティブマーカプレート座標系で（Ｘ_L(i) ，Ｙ_L(i) ，Ｚ_L(i))とし、同様の座標系で位置決めフレーム１上の１次マーカ５〜１１の位置を（Ｘ_M(J) ，Ｙ_M(J) ，Ｚ_M(J))とする。
【０１８９】
アクティブマーカプレート３５上のアクティブマーカ３６の位置を、被検体座標系で規定される３次元位置センサ２８で計測することにより、アクティブマーカプレート座標系から被検体座標系への座標変換パラメータ_WＨ_Lを算出することができる。
【０１９０】
この座標変換を利用することにより、位置決めフレーム１上の１次マーカ５〜１１の被検体座標系での位置（Ｘ_W(J) ，Ｙ_W(J) ，Ｚ_W(J))は、以下の式
【０１９１】
【数１０】

【０１９２】
により算出することができる。
【０１９３】
すなわち、位置決めフレーム１上の１次マーカ５〜１１の位置を探針することなく、被検体座標系内で算出することができることとなる。
【０１９４】
すなわち、取り外し可能なアクティブマーカプレート３５を採用することにより、アクティブマーカプレート３５上のアクティブマーカ３６の位置を直接的に３次元位置センサ２８で計測し、位置決めフレーム１上の１次マーカ５〜１１の被検体座標系での位置を算出することができることになる。
【０１９５】
なお、上記説明では、アクティブマーカプレート３５を利用するようにしたが、アクティブマーカ３６は必ずしもアクティブマーカプレート３５上に設置される必要はない。
【０１９６】
例えば、アクティブマーカ３６自体が、直接的に位置決めフレーム１上にねじ込める形態のものでもよい。
【０１９７】
このような場合でも、同様に、アクティブマーカの位置が再現性良く位置決めフレーム１上で定義できるので、上記の方法と同様に位置決めフレーム１上の１次マーカ５〜１１を探針することなく、被検体座標系での位置決めフレーム１内の１次マーカ５ー１１の位置を算出できることになる点で、手術キャリブレーションを簡略化することができる。
【０１９８】
図９は、この第３の実施形態で採用するアクティブ２次マーカ３７の構造を示したものである。
【０１９９】
該アクティブ２次マーカ３７の本体部３８には、赤外線ＬＥＤセンサであるＬＥＤ部３９が装着されており、その赤外線ＬＥＤ部３９が発光すると、図４で示された３次元センサ２８により、実空間上で規定された被検体座標系における赤外線ＬＥＤ部３９の３次元位置、すなわちアクティブ２次マーカ３７の３次元位置座標を得ることができるようになっている。
【０２００】
この第３の実施形態の方法で、第１の実施形態と異なる点は、図７のステップＳ３に対応する部分である。
【０２０１】
図１０は、ステップＳ３に対応する部分の詳細を表したものである。
【０２０２】
３３−１）まず、ステップＳ３３１では、位置決めフレーム１にアクティブマーカプレート３５を装着する。
【０２０３】
その後、被検体に位置決めフレーム１（アクティブマーカプレートごと）を装着する。
【０２０４】
本ステップＳ３３１では、被検体に対し、検査画像を撮影したときに使用した位置決めフレーム１を再度装着し、撮影時と同一な場所の位置決めフレーム１が装着してあることを確認する。
【０２０５】
この際、第１の実施形態と同様に、位置決めが確定するように経時固化素材１８，１９が有効に働く。
【０２０６】
３３−２）次に、ステップＳ３３２では、アクティブ２次マーカ３７を被検体に装着する。
【０２０７】
このアクティブ２次マーカ３７を被検体に装着する場所は、図３に示されるように被験者の体表面であり、かつ手術に際して３次元位置センサ２８が計測可能な位置とする。
【０２０８】
この際、被検体に装着するアクティブ２次マーカ３７の個数は、少なくとも３以上であることが要求される。
【０２０９】
３３−３）次に、ステップＳ３３３では、アクティブマーカプレート３５上のアクティブマーカ３６の位置を３次元位置センサ２８で測定し、その後、位置決めフレーム１上の１次マーカ位置の被検体座標系での位置座標を求める。
【０２１０】
この方法は、先に述ベた通りである。
【０２１１】
この位置を（Ｘ_W(i) ，Ｙ_W(i) ，Ｚ_W(i))とする。
【０２１２】
３３−４）次に、ステップＳ３３４では、アクティブ２次マーカ３７の位置を３次元位置センサ２８で測定し、そのアクティブ２次マーカ位置の被検体座標系での位置座標を求める。
【０２１３】
この位置計測は、３次元位置センサ２８を利用することによる。
【０２１４】
その位置を（Ｘ_W2(J) ，Ｙ_W2(J) ，Ｚ_W2(J))とする。
【０２１５】
３３−５）次に、ステップＳ３３５では、被検体座標系から検査画像座標系への座標変換パラメータを算出する。
【０２１６】
具体的には、両方の座標系で検出された位置決めフレーム１上の１次マーカの位置座標対（Ｘ_p(k) ，Ｙ_p(k) ，Ｚ_p(k))，（Ｘ_W(k) ，Ｙ_W(k) ，Ｚ_W(k))により、被検体座標系から検査画像座標系への座標変換パラメータｐＨｗを算出する。
【０２１７】
３３−６）次に、ステップＳ３３６では、アクテイブ２次マーカ３７の検査画像座標系での位置座標を算出する。
【０２１８】
これらをアクティブ２次マーカ座標として登録する。
【０２１９】
この際、上記サブステップ３３−５）で算出された被検体座標系から検査画像座標系への座標変換パラメータｐＨｗを利用する。
【０２２０】
具体的には、
【０２２１】
【数１１】

【０２２２】
により、アクティブ２次マーカ３７の検査画像座標系での位置座標（Ｘ_P2(J) ，Ｙ_P2(J) ，Ｚ_P2(J))が算出できることになる。
【０２２３】
３３−７）次に、ステップＳ３３７では、被検体から位置決めフレーム（アクティブマーカプレートを含む）１を取り外す。
【０２２４】
ただし、アクティブ２次マーカ３７は取り外さないものとする。
【０２２５】
３３−８）次に、ステップＳ３３８では、手術室内で被検体にアクティブ２次マーカ３７を装着したまま、必要ならばアクティブ２次マーカ３７の上からドレープなどをかけ、手術に必要な清潔環境を作り出す。
【０２２６】
３３−９）次に、ステップＳ３３９では、３次元位置センサ２８を利用し、被検体座標系における２次マーカの位置を計測する。
【０２２７】
これには、３次元位置センサ２８を利用して、アクティブ２次マーカ３７の実空間上での位置を計測する。
【０２２８】
この位置を（Ｘ_W2(J) ，Ｙ_W2(J) ，Ｚ_W2(J))とする。
【０２２９】
このように、ステップ３に対応する新たな部分で得られたアクティブ２次マーカ３７の被検体座標系での３次元位置を計測することが可能となる。
【０２３０】
この後、第１の実施形態あるいは第２の実施形態のステップ４と同様な方法により、検査画像座標系と被検体座標系間の座標符合化を行うことができる。
【０２３１】
以上説明してきたように、第３の実施形態の方法を適用することにより、２次マーカを利用しながらもセンサプローブ等で探針することなく、手術キャリブレーションを効率的に行うことができる。
【０２３２】
また、センサプローブによる探針の誤差をなくすことも可能となるので、より正確な手術キャリブレーションを実現することができる。
【０２３３】
このような第３の実施形態では、マーカ自体にセンサ機能を付加することにより、手術に煩わしいキャリブレーション操作を行うことを省略することができるという効果がある。
【０２３４】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至３以外にも、以下に付記１乃至付記９として示すような発明が含まれている。
【０２３５】
（付記１）被検体に位置決め部材を装着して、被検体を撮像した画像上での位置決め部材の座標と、実空間での位置部材の座標との対応関係を用いて、被検体と該被検体を撮像した画像の位置姿勢を対応させるキャリブレーション方法において、
前記被検体に上記位置決め部材とは別に目印を装着して、この目印の実空間での座標と、上記対応関係を用いて、上記目印の上記画像上で座標を求めておき、上記目印を用いて、前記被検体と該被検体を撮像した画像の位置姿勢を対応させることを特徴とするキャリブレーション方法。
【０２３６】
（付記２）上記目印は複数個存在し、上記目印の実空間での座標の測定誤差が所定の範囲以内の目印のみを用いて、前記被検体と該被検体を撮像した画像の位置姿勢を対応させることを特徴とする付記１記載のキャリブレーション方法。
【０２３７】
（付記３）上記目印は位置計測用のセンサを有していることを特徴とする付記１乃至３のいずれかに記載のキャリブレーション方法。
【０２３８】
（付記４）被検体と該被検体を撮像した画像の位置姿勢を対応させる方法であり、
被検体に着脱可能に構成され、複数の第１の目印が配置された位置決め部材を、被検体に装着し、
上記位置決め部材を装着した被検体を撮像し、上記被検体を撮像した画像に現れた上記第１の目印の座標を、上記画像に固定された座標系において計測し、
上記位置決め部材を装着した被検体に、複数の第２の目印を装着し、上記第１の目印の座標と上記第２の目印の座標を、実空間に固定された座標系で計測し、実空間に固定された座標系における上記第１の目印の座標と、上記画像に固定された座標系における上記第１の目印の座標より、実空間に固定された座標系と上記画像に固定された座標系との関係を求め、
上記実空間に固定された座標系における上記第２の目印の座標と、上記関係を利用して、上記画像に固定された座標系における上記第２の目印の座標を求めておき、
上記第２の目印を用いて、被検体と該被検体を撮像した画像の位置姿勢を対応させることを特徴とするキャリブレーション方法。
【０２３９】
（付記５）手術される患者を被検体とし、付記４記載の方法を用いて、患者と該患者の検査画像の位置姿勢を対応させることを特徴とする手術キャリブレーション装置。
【０２４０】
（付記６）被検体に固定した位置決めフレームを用いて検査画像と被検体の位置姿勢キヤリブレーションを行うキャリブレーション方法において、
上記被検体に上記位置決めフレーム上にないマーカ群を装着し、
上記位置決めフレームを用いて検査画像が規定する検査画像座標系における上記マーカ群の位置を規定し、
上記被検体が実空間上で規定する被検体座標系における上記マーカ群の位置を測定することにより、
上記検査画像座標系と上記被検体座標系との座標符合化を行うことを特徴とする手術キャリブレーション方法。
【０２４１】
（付記７）上記マーカの位置計測に誤差があらかじめ設定した値以上であると判定できた場合には、該マーカの計測値を排除して、上記被検体座標系と上記検査画像座標系間の座標符合化を行うことを特徴とした付記５記載のキャリブレーション方法。
【０２４２】
（付記８）上記マーカは位置計測用のセンサを有していることを特徴とする付記６または７記載のキャリブレーション方法。
【０２４３】
（付記９）手術される患者を被検体とし、付記６乃至８いずれかに記載の方法を用いて、患者と該患者の検査画像の位置姿勢を対応させることを特徴とする手術キャリブレーション装置。
【０２４４】
【発明の効果】
従って、以上説明したように、本発明によれば、複雑な手術経路に対応できるような柔軟な手術キャリブレーションシステム及び手術中に術者の邪魔にならないような手術キャリブレーションシステムを提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１の実施形態で利用する位置決めフレーム１を表した図である。
【図２】図２は、本発明の第１の実施形態で利用する２次マーカを表した図である。
【図３】図３は、本発明の第１の実施形態で利用する前記メガネ形状フレーム１を被検体に装着した図である。
【図４】図４は、本発明の第１の実施形態に係る手術キャリブレーション装置を含むシステム構成を示すブロック図である。
【図５】図５は、本発明の第１の実施形態に係る手術キャリブレーションで使用する座標系を表した図である。
【図６】図６は、本発明の第１の実施形態に係る手術キャリブレーション処理の基本的な流れを表したフローチャートである。
【図７】図７は、図６におけるステップＳ３のサブステップのな流れを表したフローチャートである。
【図８】図８は、第３の実施形態で採用する取り外し可能なアクティブマーカプレート３５を示した図である。
【図９】図９は、第３の実施形態で採用するアクティブ２次マーカ３７の構造を示した図である。
【図１０】図１０は、第３の実施形態で採用するステップＳ３のサブステップの詳細な流れを表したフローチャートである。
【符号の説明】
１…位置決めフレーム、
２…メガネ本体部、
３…右耳当て部、
４…左耳当て部、
５〜１１…１次マーカ、
１５…外殻部、
１６…内部溶液、
１７…探針用窪み部、
１８，１９…経時固化素材、
２２…２次マーカ、
２３…２次マーカ本体部、
２４…探針用窪み部、
２５…接着部、
２６…手術キャリブレーション装置、
２７…検査画像装置、
２８…３次元位置センサ、
２９…ＰＣ、
３０…実際に手術で使用される術具または観察具、
３１…被検体、
３２…検査画像座標系、
３３…被検体座標系、
３４…座標変換、
３５…アクティブマーカプレート、
３６…アクティブマーカ、
３７…アクティブ２次マーカ、
３８…本体部、
３９…赤外線ＬＥＤセンサであるＬＥＤ部。[0001]
BACKGROUND OF THE INVENTION
  The present inventionSurgeryCalibrationsystemIn particular, it is used for surgical operations including brain surgery.SurgeryCalibrationsystemAbout.
[0002]
[Prior art]
As is well known, in a surgical operation such as brain surgery using a surgical navigation system, it is important to perform alignment between a region of a subject to be operated and an inspection image of the subject.
[0003]
Such a technique for defining the positional relationship between the region of the subject and the examination image of the subject is called surgical calibration.
[0004]
As a surgical calibration method, a method using a stereotaxic frame has been conventionally devised [Reference 1: R.R. H. Taylor (ed.), Computer-Integrated Surgary, MIT Press, 1996].
[0005]
In the method of [Document 1], fixing and positioning are performed by using a metal fixing frame and screwing a metal marker such as a screw from the body surface of the subject.
[0006]
[Reference 2: N. Hata, et al, “Development of framelessness and armlesses stereotactic neuronaviation system with ultrasonic registration,“ Neurosurgery, Vol. 41, no. 3, September 1997, pp. 609-614], and there is an attempt to perform coordinate coding between the subject and the examination image using the frame.
[0007]
In the method of [Document 2], a positioning frame is made of acrylic material, the positioning frame is fixed by the left ear hole and the nose protrusion, four metal cubes are mounted on the positioning frame, and the marker is attached to the marker. The left ear hole and nasal protrusion are fixed with silicone rubber, the marker is extracted with a CT image, and the position on the subject is probed with a probe. A method of performing an operation while viewing the position has been devised.
[0008]
On the other hand, Japanese Patent Application Laid-Open No. 7-311834 discloses an auxiliary tool that uses a mouthpiece that uses the tooth profile of a subject as a positioning frame to perform alignment between different types of examination images.
[0009]
[Problems to be solved by the invention]
However, in the method of the above [Document 1], as described above, since a metal marker such as a screw is screwed from the body surface of the subject by using a metal fixing frame, fixing and positioning are performed. There has been a problem that the specimen is greatly invaded.
[0010]
In the method of [Document 2], as described above, the positioning frame is made of acrylic material, the positioning frame is fixed by the left ear hole part and the nose protrusion part, and four metal cubes are formed on the positioning frame. Wear it, use it as a marker, fix the left ear hole and nose protrusion with silicone rubber, extract the marker with CT image, probe the position on the subject with the probe, actual surgery In the scene, since the operation is performed while viewing the marker position with ultrasonic waves, there are various problems as described below.
[0011]
(1) Since the positioning frame is basically fixed to the subject by two sites, the positioning accuracy is poor.
[0012]
(2) Since the silicone rubber is fixed to the subject in such a manner that the silicone rubber is pushed into the left ear hole, once the positioning frame is removed, it is difficult to attach it to the subject with good reproducibility.
[0013]
(3) Since a metal material is used as a marker, it cannot be used in an MRI examination image.
[0014]
(4) Since the shape of the metallic marker is a cube, the image in the inspection image varies greatly depending on the viewpoint, and it is difficult to define the probe position and the position in the inspection image.
[0015]
(5) Since the frame is large due to its structure, it is difficult to operate with the frame attached during surgery, and it is also difficult to use a drape to maintain a clean environment during surgery. It is.
[0016]
Further, as described above, the auxiliary tool using the mouthpiece using the tooth profile of the subject disclosed in JP-A-7-311834 as a positioning frame is basically used for alignment between different types of examination images. There are parts that are inappropriate for use in actual surgery.
[0017]
For example, a connector such as an antenna is used from the mouthpiece to the upper part of the face, and a marker is attached to the tip of the connector. Therefore, it is difficult to perform a surgery by draping the frame from above.
[0018]
Further, in the case of endoscopic surgery from the nasal cavity, which has recently attracted attention, there is a structural problem that the connector at the center becomes an obstacle to the endoscope that enters the nasal cavity.
[0019]
Furthermore, since the marker is located on the upper part of the mouthpiece, the position where the examination image is taken in the brain surgery is centered around the oral cavity, and three markers are arranged on the head horizontal plane. There is a problem with the positioning accuracy at the top, and the upper and middle parts of the brain are not covered, so even if the marker can be detected in the examination image, the coordinate conversion parameters required for positioning from the upper part of the head to the central part When calculating, there is a high possibility of causing a larger error.
[0020]
Furthermore, in actual surgical situations, it may not always be possible to measure the position of the marker on the positioning frame in real space.
[0021]
For example, there are cases where the surgical path used for the surgery is not near the positioning frame, or where the primary marker of the positioning frame cannot be measured by the three-dimensional position sensor due to the surgical method.
[0022]
In addition, the positioning frame may become an obstacle during the operation.
[0023]
  The problems to be solved by the present invention are as follows: 1) Flexible surgical calibration capable of dealing with complicated surgical routessystemAnd 2) do not interfere with the surgeon during the operationSurgeryCalibrationsystemIs to provide.
[0024]
  The present invention has been made in view of the above circumstances, and is a flexible surgical calibration capable of dealing with complicated surgical routes.systemSurgery calibration that does not interfere with the surgeon during surgerysystemThe purpose is to provide.
[0025]
[Means for Solving the Problems]
  According to the present invention, in order to solve the above problems,
  (1)A positioning member having a primary marker and detachable from the subject;
  An image capturing device that acquires an image in advance by imaging the subject in a state where the positioning member is mounted on the subject;
  A secondary marker different from the positioning member attached to the subject;
  A surgical calibration device that uses the secondary marker to associate the subject with the position and orientation of the previously acquired image;
  Comprising
  The surgical calibration device comprises:
    To the subjectin frontPositioning memberWith the secondary marker attached and the primary marker and secondary markerCoordinates in real spaceMeans to getWhen,
    Means for acquiring a correspondence relationship between the acquired coordinates of the primary marker in real space and the coordinates of the primary marker on the previously acquired image;
    The coordinates of the acquired secondary marker in real space and the acquired beforeCorrespondence relationshipAnd the secondary markerofin frontRecordAcquired in advanceOn the imageofFind coordinatesMeans to
    The coordinates of the secondary marker in real space and the coordinates on the previously acquired imageUsing the subject andObtained in advanceMatch the position and orientation of the imageMeans,
  Comprising
  It is characterized bySurgeryCalibrationsystemIs provided.
[0027]
  Further, according to the present invention, in order to solve the above problems,
  (2) The patient to be operated on is the subject,
  The image capturing device acquires an examination image of the patient,
  The means for associating the subject with the position and orientation of the image acquired in advance in the surgical calibration apparatus associates the position and orientation of the examination image of the patient with the patient.(1)The described surgical calibration system is provided.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0029]
(First embodiment)
FIG. 1 shows a positioning frame 1 used in the first embodiment of the present invention.
[0030]
FIG. 2 represents one of the secondary markers used in the first embodiment of the present invention as a representative.
[0031]
In this embodiment, a positioning frame including markers (hereinafter, a marker on the positioning frame is referred to as a primary marker) 1 and a marker group (hereinafter referred to as a secondary marker) that is not on the positioning frame 1 are attached to the subject. Thus, a method for performing surgical calibration will be described.
[0032]
As shown in FIG. 1 (a), the positioning frame 1 has a shape that is obtained by deforming glasses or goggles, and includes a glasses main body 2, a right ear pad 3, and a left ear pad 4. The
[0033]
Then, a plurality of primary markers having a shape whose shape is remarkably expressed in the inspection image are attached to the glasses-shaped positioning frame 1.
[0034]
In the case of this embodiment, as shown in FIG. 1A, seven

primary markers

5, 6, 7, 8, 9, 10, 11 are fixedly mounted on the eyeglass-shaped positioning frame 1. is there.
[0035]
FIG. 1B shows a perspective form 12, a planar form 13, and a side sectional form 14 as a representative of one of the primary markers 5 to 11 fixedly mounted on the eyeglass-shaped positioning frame 1. FIG. .
[0036]
These primary markers 5 to 11 have a cylindrical structure as shown in FIG. 1B, and the outer shell portion 15 is a ceramic such as an artificial bone that appears prominently by an X-ray image inspection method. Made from a series of materials.
[0037]
In addition, a probe recess 17 is provided at the upper end of each primary marker 5-11, and the probe recess 17 is probed with a sensor probe or the like to be described later. The position can be measured.
[0038]
Moreover, the inside of each primary marker 5-11 is filled with the internal solution 16 which appears notably by MRI image inspection method.
[0039]
The internal solution 16 is known to be effective as a copper sulfate-based solution, but is not limited to a copper sulfate-based solution, and may be remarkably expressed by an MRI image inspection method. Anything is fine.
[0040]
When only CT is used as an image inspection method, the entire cylindrical primary marker may be made of a ceramic material such as an artificial bone.
[0041]
When only MRI is used as an image inspection method, the outer shell 15 of the primary marker does not have to be a ceramic material, and a plastic or acrylic material that does not react with a copper sulfate solution. It does not matter.
[0042]
The subject puts the positioning frame 1 on the eye part of the face by the glasses main body 2, the right ear pad 3, and the left ear pad 4, so that the positioning frame 1 and the left and right ear upper ends of the object It is fixed at the nasal projection of the specimen.
[0043]
In addition, when the positioning frame 1 is not used, such as when not taking an examination image or during surgery, it can be removed from the subject.
[0044]
FIG. 2 shows the secondary marker 22 attached to the subject.
[0045]
The secondary marker 22 includes a secondary marker body 23, a probe recess 24 that can be easily probed with a sensor probe, which will be described later, and an adhesive portion 25 that can be easily attached to the surface of the subject. As shown in FIG. 3, a plurality of secondary markers 22 can be easily mounted on the surface of the subject.
[0046]
When the eyeglass-shaped positioning frame 1 is attached to the subject and is unstable, the time-solidified materials (for example, silicone rubber) 18 and 19 as shown in FIG. By inserting it between the body surfaces of the specimen and fixing it so as to be mounted on the eyeglass-shaped frame 1, it can be surely fixed to the subject.
[0047]
In FIG. 3, there is a time-solidified material 18 attached to the forehead portion of the subject and a time-solidified material 19 attached to the nose portion of the subject.
[0048]
Further, as shown in FIG. 3, a plurality of secondary markers 22 are used and used by being mounted on the surface of the subject other than the positioning frame 1.
[0049]
FIG. 4 is a block diagram showing a system configuration including the surgical calibration apparatus 26 according to the first embodiment of the present invention.
[0050]
In other words, this system captures the positioning frame 1 and the secondary marker 22 mounted on the surface of the subject, and X-ray (CT) images and MRI images of the subject and converts them into digital image data that can be processed by a computer. The inspection image device 27, the surgical calibration device 26 of the present invention, and a surgical instrument or observation tool 30 that is actually used in surgery.
[0051]
The surgical calibration device 26 performs a probe of the positioning frame 1 and the secondary marker group 22, thereby resolving the position signals measured by the three-dimensional position sensor 28 and the three-dimensional position sensor 28. The PC 29 is configured to perform coordinate encoding between the examination image and the subject.
[0052]
The PC 29 corresponds to a general-purpose computer or a data processing device.
[0053]
Next, a surgical calibration method using the positioning frame 1 will be described.
[0054]
First, before explaining the details, terms used in the present invention will be briefly explained.
[0055]
Coordinate system:
In the present invention, several coordinate systems necessary for surgical calibration are defined.
[0056]
Surgical tools (including observation tools) used for surgery refer to general tools used for surgery such as an endoscope, a surgical microscope, forceps, and tweezers.
[0057]
A unique coordinate system can be considered for each of these surgical tools or observation tools, and the three-dimensional position and orientation of different surgical procedures can be defined using this coordinate system E.
[0058]
Now, the position coordinate (xyz coordinate) in the coordinate system is set to E (X_E, Y_E, Z_E)
[0059]
An image set such as MRI / CT / SPECT can be considered as the examination image obtained by photographing the subject.
[0060]
These three-dimensional structures can be constructed by integrating a plurality of two-dimensional slice images.
[0061]
An inspection image coordinate system P can be defined for such a three-dimensional structure.
[0062]
The coordinate value in this coordinate system is (X_P, Y_P, Z_P).
[0063]
For example, an MRI image will be described as an example.
[0064]
In the case of an MRI image, it is common to take an examination image along the body axis of a subject. If the axis is defined as, for example, the z axis, each slice image can be considered to constitute an xy plane.
[0065]
Therefore, the slice pitch in the z-axis direction is dz (mm / slice), the horizontal direction of the slice image is the x-axis, the image pixel resolution in the x direction is dx (mm / pixel), and the vertical direction of the slice image is the y-axis. If the image pixel resolution in the y-axis direction is dy (mm / pixel), the x-axis, y-axis, and z-axis are defined with the inspection image capturing start position as the origin, and x, y, z of the inspection image With respect to the index (i, j, k) in the axial direction, the position coordinate (idx, jdy, kdz) can be defined as the three-dimensional position in the inspection image.
[0066]
The inspection image coordinate system P (X_P, Y_P, Z_P).
[0067]
A coordinate system can also be defined for a real space in which a subject actually exists.
[0068]
The subject coordinate system W can also be considered as a reference coordinate system defined in the operating room.
[0069]
The coordinate value in this coordinate system is expressed as W (X_W, Y_W, Z_W).
[0070]
Coordinate encoding:
Coding the coordinates between the plurality of coordinate systems means defining the positional relationship between the coordinate systems.
[0071]
That is, to match a certain coordinate system A with another coordinate system B is to define a coordinate transformation from the coordinate system A to the coordinate system B (or a coordinate transformation from the coordinate system B to the coordinate system A).
[0072]
More specifically, it may be said that the coordinate conversion parameter from the coordinate system A to the coordinate system B is calculated.
[0073]
Mathematically, when a homogeneous transformation matrix is considered as a coordinate transformation parameter, a coordinate value (X_A, Y_A, Z_A) Is a coordinate value (X_B, Y_B, Z_B)
[0074]
[Expression 1]

[0075]
of_BH_AIt is expressed by a 4 × 4 matrix expressed by
[0076]
There are other methods for expressing these than methods using a homogeneous transformation matrix.
[0077]
For example,
[0078]
[Expression 2]

[0079]
There are a method using a rotation matrix R and a translation vector t expressed by the following, and a method using a quaternion for the rotation matrix R.
[0080]
Any of the above methods may be used as the coordinate conversion parameter.
[0081]
Surgery calibration:
Surgery calibration means a process for performing coordinate encoding between the examination image coordinate system and the subject coordinate system in which the subject actually exists.
[0082]
FIG. 5 shows a coordinate system used in this surgical calibration.
[0083]
An inspection image coordinate system 32 defined by the examination image of the subject 31, a subject coordinate system 33 which is a coordinate system in the real space defined by the subject when performing an actual operation, and a primary on the positioning frame 1 It comprises a three-dimensional position sensor 28 that measures the three-dimensional position of the marker or secondary marker 22 in the subject coordinate system 33, and a coordinate transformation 34 from the examination image coordinate system 32 to the subject coordinate system 33.
[0084]
FIG. 6 is a flowchart showing the basic flow of the surgical calibration process.
[0085]
First, in step S1, the positioning frame 1 is attached to the subject and an inspection image is taken.
[0086]
Next, in step S2, the position of the primary marker mounted on the positioning frame 1 is detected from within the inspection coordinates.
[0087]
Here, the position of the primary marker means the three-dimensional position of the marker in the inspection image coordinate system.
[0088]
These positions (X_P(i), Y_P(i), Z_P(i)) (i = 1, 2,..., n).
[0089]
Next, in step S3, an operation performed in an actual operation scene.
[0090]
The primary marker position in the subject coordinate system in which the subject actually exists is measured for the primary marker detected in step S2, and the coordinates between the subject coordinate system in which the subject actually exists and the examination image coordinate system are measured. By performing the encoding, it can be regarded as an operation for aligning the position of the target (target) existing in the inspection image in the real space.
[0091]
The measured three-dimensional position is expressed as (X_W(i), Y_W(i), Z_W(i)) (i = 1, 2,..., n).
[0092]
Next, in step S4, the primary marker position (X in the inspection image coordinate system detected in step S2)._P(i), Y_P(i), Z_P(i)) (i = 1, 2,..., n) and the primary marker position (X_W(i), Y_W(i), Z_W(i)) (i = 1, 2,..., n) is used to perform coordinate encoding between the examination image coordinate system and the subject coordinate system in which the subject actually exists.
[0093]
Specifically, coordinate conversion from the inspection image coordinate system to the subject coordinate system is defined.
[0094]
Each step is explained in detail below.
[0095]
In the following explanation, a case where an MRI image is used as an inspection image will be explained.
[0096]
Needless to say, almost the same processing can be performed when a CT image or the like is used as an inspection image.
[0097]
Step S1:
The positioning frame 1 is attached to the subject.
[0098]
At this time, if the positioning frame 1 is not securely fixed, the positioning frame 1 is securely fixed to the nasal protrusion or forehead of the subject by using the solidified

materials

18 and 19 as shown in FIG. Adjust as possible.
[0099]
Thereafter, a test image is taken on the subject to obtain test image data including a slice image group.
[0100]
Step S2:
A marker area is extracted from the inspection image data, and a primary marker position in the inspection image coordinate system is calculated.
[0101]
Now, let n be the number of detected primary markers, and let their position be (X_P(i), Y_P(i), Z_P(i)) (i = 1, 2,..., n).
[0102]
This method may be automatically extracted using an image processing method.
[0103]
Alternatively, the user may manually measure the position using a pointing device such as a mouse while viewing the inspection image.
[0104]
Step S3:
This step S3 corresponds to a calibration process (coordinate encoding process) performed immediately before performing an operation on the subject.
[0105]
Next, each substep shown in FIG. 7 will be described.
[0106]
3-1) The positioning frame 1 is attached to the subject.
[0107]
In this step S31, the subject mounts the positioning frame 1 used when the examination image is captured again, and confirms that the positioning frame 1 at the same location as that at the time of imaging is mounted.
[0108]
At this time, the time-solidified

materials

18 and 19 work effectively so as to determine the positioning.
[0109]
3-2) A secondary marker 22 that can be probed is attached to the subject.
[0110]
The place where the secondary marker 22 is attached in this step S32 is the body surface of the subject as shown in FIG. 3 and a position where the probe can be probed by a sensor probe which will be described later during the operation.
[0111]
At this time, the number of secondary markers 22 to be mounted is required to be at least 3 or more.
[0112]
3-3) The positions of the primary markers 5 to 11 etc. on the positioning frame 1 are measured by the three-dimensional position sensor 28, and the position coordinates of the primary marker position in the subject coordinate system are obtained (this is an unclean environment) It doesn't matter)
[0113]
In this step S33, the position of the primary marker on the positioning frame 1 in the real space is measured using the three-dimensional position sensor 28.
[0114]
(X_W(i), Y_W(i), Z_W(i)).
[0115]
Examples of the three-dimensional position sensor 28 described here include a probe sensor probe.
[0116]
In this sensor probe, in the reference coordinate system (subject coordinate system) defined in real space, the subject coordinates are determined by probing the "tip of the positioning frame-like primary marker (probe depression)". Measure the marker position in the system.
[0117]
As such a sensor probe,
(1) An optical sensor system capable of detecting infrared rays
(2) Mechanical sensor system using a mechanical arm
Etc. are available.
[0118]
In this optical sensor system (1) capable of detecting infrared rays, a plurality of infrared light emitting diodes (LEDs) are mounted on a sensor probe, and a compound eye CCD camera (stereo camera is used as a subject coordinate) that senses light emitted from the infrared light emitting diodes. The position of the light emitting diode in the subject coordinate system is measured based on the principle of triangulation.
[0119]
If the position of each infrared light emitting diode can be measured in this way, the position of the tip of the sensor probe can be measured in the subject coordinate system.
[0120]
On the other hand, in the mechanical sensor system (2) using a mechanical arm, the rotation of the arm is detected using an encoder or the like, and the position of the probe at the tip of the mechanical sensor is detected according to the rotation. Yes, as in the case of (1), the position of the sensor probe at the tip in the subject coordinate system can be measured.
[0121]
Using such a sensor probe, the position of the primary marker on the positioning frame 1 detected in step S2 is (X_W(i), Y_W(i), Z_W(i)) (i = 1, 2,..., n).
[0122]
In FIG. 7, each sub-step is as follows.
[0123]
3-4) The position of the secondary marker is measured by the three-dimensional position sensor 28, and the position coordinate of the secondary marker position in the subject coordinate system is obtained (this may be in an unclean environment).
[0124]
The position measurement in this step S34 is by using the three-dimensional position sensor 28.
[0125]
(X_W2(J), Y_W2(J), Z_W2(J)).
[0126]
3-5) In this step S35, a coordinate conversion parameter from the subject coordinate system to the examination image coordinate system is calculated.
[0127]
Specifically, the position coordinate pair (X of the primary marker on the positioning frame 1 detected in both the subject coordinate system and the inspection image coordinate system._p(k), Y_p(k), Z_p(k)), (X_W(k), Y_W(k), Z_W(k)) calculates the coordinate conversion parameter pHw from the subject coordinate system to the examination image coordinate system.
[0128]
This is described mathematically as follows.
[0129]
[Equation 3]

[0130]
It becomes a problem of estimating pHw or (R, t) indicated by.
[0131]
Now, the center of gravity vector of the primary marker group in both coordinate systems is (X_w ^mean, Y_w ^mean, Z_w ^mean), (X_p ^mean, Y_p ^mean, Z_p ^mean)
[0132]
[Expression 4]

[0133]
And the translation vector and the rotation matrix can be calculated by separate equations.
[0134]
As a method of solving the above equation for i = 1, 2, 3, there is a quaternion method (quaternion method).
[0135]
Details of this method are described in the literature (BKP Horn, “Closed-formation of absolute orientation using unit units,” Journal of Optical Society of America A, Vol. 642.), details thereof are omitted here.
[0136]
When R and t are calculated in this way, it is clear that the homogeneous transformation matrix pHw can be easily calculated.
[0137]
Specifically, the element of R is r_ij, T elements (t_x, T_y, T_z,)
[0138]
[Equation 5]

[0139]
Can be described.
[0140]
3-6) In this step S36, the position coordinates of the secondary marker in the inspection image coordinate system are calculated.
[0141]
These are registered as secondary marker coordinates.
[0142]
The coordinate transformation parameter pHw from the subject coordinate system calculated in the sub-step 3-5) to the examination image coordinate system is used.
[0143]
In particular,
[0144]
[Formula 6]

[0145]
The position coordinate (X in the inspection image coordinate system of the secondary marker_P2(J), Y_P2(J), Z_P2(J)) can be calculated.
[0146]
3-7) In step S37, the positioning frame 1 is removed from the subject as necessary.
[0147]
However, the secondary marker is not removed (of course, it is not always necessary to remove the positioning frame 1).
With the above processing, the use of the positioning frame 1 is completed, and all the position information is acquired by measuring the position of the secondary marker group.
[0148]
3-8) In this step S38, with the secondary marker 22 attached to the subject in the operating room, if necessary, a drape or the like is applied on the secondary marker to create a clean environment necessary for the operation.
[0149]
3-9) In this step S39, the position of the secondary marker 22 in the subject coordinate system is measured using the three-dimensional position sensor 28.
[0150]
For this purpose, the position of the secondary marker 22 in the real space is measured using the three-dimensional position sensor 28.
[0151]
(X_W2(J), Y_W2(J), Z_W2(J)).
[0152]
Next, returning to the flowchart of FIG.
[0153]
Step S4:
In this step, coordinate encoding between the inspection image coordinate system and the subject coordinate system is performed by using the position of the secondary marker in the inspection image and the position in the real space.
[0154]
Specifically, the position coordinate pair (X of the secondary marker detected both in the inspection image coordinate system and the subject coordinate system._p2(J), Y_p2(J), Z_p2(J)), (X_W2(J), Y_W2(J), Z_W2By using (J)), the coordinate conversion parameter pH′w from the subject coordinate system to the examination image coordinate system is calculated.
[0155]
Not all the secondary marker groups registered in the inspection image coordinate system in step S3 can be measured in the actual operating room by the three-dimensional position sensor 28.
[0156]
This occurs because a drape process or the like is performed.
[0157]
For this reason, in this step S4, the coordinate conversion parameter from the subject coordinate system to the examination image coordinate system is calculated using only the secondary marker group that can be associated.
[0158]
The coordinate values for which these correspondences can be made are (X_p2(k), Y_p2(k), Z_p2(k)), (X_W2(k), Y_W2(k), Z_W2(k)) (k = 1, 2,..., n).
[0159]
Then, when mathematically described by the same method as described above, it becomes as follows.
[0160]
[Expression 7]

[0161]
Can be calculated, and as a result, coordinate encoding between the examination image coordinate system and the subject coordinate system can be performed.
[0162]
As described above, by using the positioning frame 1 described in the first embodiment, processing necessary for surgical positioning (calibration) can be performed even in a practical surgical scene which has been a problem in the past. It can be easily achieved.
[0163]
More specifically, by performing surgical calibration using the positioning frame 1 and the secondary marker 22 at the same time, it is not necessary to use the positioning frame 1 during the operation, and the secondary marker 22 is obstructive even during actual surgery. Therefore, more effective surgical navigation and the like can be practiced so as not to burden the subject.
[0164]
In such a first embodiment, in a calibration method for performing a position and orientation calibration of a test image and a subject using a positioning frame fixed to the subject, a marker group not on the frame is attached to the subject. By using the positioning frame, the position of the marker group in the inspection image coordinate system defined by the inspection image is defined, and the position of the marker group in the object coordinate system defined by the subject in the real space is measured. In particular, a secondary marker other than the primary marker on the positioning frame is also mounted by the calibration method characterized by performing the coordinate encoding of the image coordinate system and the subject coordinate system, and the primary marker on the positioning frame By effectively utilizing both the secondary marker and the secondary marker, there is an effect that it is possible to cope with a flexible surgical method.
[0165]
(Second Embodiment)
In the first embodiment described above, coordinate conversion parameters from the subject coordinate system to the examination image coordinate system are calculated using all of the markers that are registered as secondary markers and that can be measured. .
[0166]
However, depending on the mounting position of the secondary marker, deformation may occur locally due to drape processing or the like.
[0167]
Therefore, in the second embodiment, the registration of the secondary marker is excluded for the secondary marker that can be determined to have occurred with respect to such local deformation of the secondary marker position, and the subject coordinate system The coordinate conversion parameter from the inspection image coordinate system to the inspection image coordinate system is calculated.
[0168]
Specifically, in step S4 of the first embodiment described above, the secondary marker registration is excluded by adding the following processing.
[0169]
Step 4-1
For the secondary marker group registered in step S3 of the first embodiment and measured by the three-dimensional position sensor 28, the position coordinates in the inspection image coordinate system are (X_p2(k), Y_p2(k), Z_p2(k)) The position coordinate in the subject coordinate system of the secondary marker measured by the three-dimensional position sensor 28 is expressed as (X_W2(k), Y_W2(k), Z_W2(k)).
[0170]
At this time, first, a coordinate conversion parameter pH′w from the subject coordinate system to the examination image coordinate system is calculated using all these corresponding points.
[0171]
Where pH'w is
[0172]
[Equation 8]

[0173]
It is assumed that
[0174]
Since this method is the same as that described in the first embodiment, details are not described here.
[0175]
Step 4-2:
Using the coordinate conversion parameters pHw, R ′, t ′, the correspondence e (k) (k = 1, 2,..., N) of each secondary marker is calculated by the following equation.
[0176]
[Equation 9]

[0177]
Step 4-3:
For e (k), the secondary marker k satisfying e (k) <threshold is re-registered as having no problem in the attachment site of the secondary marker. exclude.
[0178]
Here, threshold is a predetermined constant (however, the number of re-registered secondary markers is 3 or more).
[0179]
In this way, the position coordinates of the re-registered secondary marker group are again (X_p2(k), Y_p2(k), Z_p2(k)), (X_W2(k), Y_W2(k), Z_W2(k)), pH′w is calculated in the same manner as in Step 4-1.
[0180]
By taking the steps as described above, it is possible to calculate coordinate conversion parameters with higher reliability, and it is possible to improve the reliability of surgical calibration.
[0181]
In such a second embodiment, when it is determined that the error in the marker position measurement is greater than or equal to a preset value, the measurement of the marker is excluded, and the subject coordinate system and the inspection image coordinates are excluded. There is an effect that more accurate coordinate encoding can be performed by a calibration method characterized by performing coordinate encoding between systems.
[0182]
(Third embodiment)
(Secondary marker with position sensor) In the first and second embodiments described above, after the secondary marker 22 is mounted on the subject, the position of the secondary marker 22 is changed to a three-dimensional position such as a sensor probe. The probe 28 is used to measure the three-dimensional position in the subject coordinate system.
[0183]
These methods have an advantage that the secondary marker itself can be mounted wirelessly, but a probe by the three-dimensional position sensor 28 is necessary.
[0184]
Therefore, in the third embodiment, by adopting an active marker plate that can be mounted on the positioning frame 1 and an active secondary marker in which an active position sensor such as an LED is embedded in the secondary marker itself, The present invention provides a method capable of performing surgical calibration without using a probe with a sensor probe or the like.
[0185]
FIG. 8 shows a removable active marker plate 35 employed in the third embodiment.
[0186]
That is, FIG. 8 shows the case where the active marker plate 35 with the active marker 36 attached is mounted on the positioning frame 1.
[0187]
In this case, the active marker plate 35 has a detachable structure. When the active marker plate 35 is mounted as shown in FIG. 8, the active marker plate 35 can be mounted on the positioning frame 1 with high accuracy and good reproducibility.
[0188]
Now, the position of the active marker 36 on the active marker plate 35 in the mounted state as shown in FIG. 8 is expressed in the active marker plate coordinate system defined by the active marker plate 35 (X_L(i), Y_L(i), Z_L(i)) and the positions of the primary markers 5 to 11 on the positioning frame 1 in the same coordinate system (X_M(J), Y_M(J), Z_M(J)).
[0189]
A coordinate conversion parameter from the active marker plate coordinate system to the subject coordinate system is measured by measuring the position of the active marker 36 on the active marker plate 35 by the three-dimensional position sensor 28 defined by the subject coordinate system._WH_LCan be calculated.
[0190]
By using this coordinate transformation, the position (X in the subject coordinate system) of the primary markers 5 to 11 on the positioning frame 1 is determined._W(J), Y_W(J), Z_W(J)) is the following formula
[0191]
[Expression 10]

[0192]
Can be calculated.
[0193]
That is, the position of the primary markers 5 to 11 on the positioning frame 1 can be calculated within the subject coordinate system without probing the probe.
[0194]
That is, by adopting the removable active marker plate 35, the position of the active marker 36 on the active marker plate 35 is directly measured by the three-dimensional position sensor 28, and the primary markers 5 to 11 on the positioning frame 1 are measured. The position in the subject coordinate system can be calculated.
[0195]
In the above description, the active marker plate 35 is used. However, the active marker 36 is not necessarily installed on the active marker plate 35.
[0196]
For example, the active marker 36 itself may be configured to be screwed directly onto the positioning frame 1.
[0197]
Even in such a case, similarly, since the position of the active marker can be defined on the positioning frame 1 with good reproducibility, it is possible to probe the primary markers 5 to 11 on the positioning frame 1 in the same manner as the above method. Surgery calibration can be simplified in that the position of the primary marker 5-11 in the positioning frame 1 in the subject coordinate system can be calculated.
[0198]
FIG. 9 shows the structure of the active secondary marker 37 employed in the third embodiment.
[0199]
An LED unit 39, which is an infrared LED sensor, is mounted on the main body 38 of the active secondary marker 37. When the infrared LED unit 39 emits light, the three-dimensional sensor 28 shown in FIG. The three-dimensional position of the infrared LED unit 39 in the subject coordinate system defined above, that is, the three-dimensional position coordinates of the active secondary marker 37 can be obtained.
[0200]
The method of the third embodiment is different from the first embodiment in the part corresponding to step S3 in FIG.
[0201]
FIG. 10 shows details of the portion corresponding to step S3.
[0202]
33-1) First, in step S331, the active marker plate 35 is mounted on the positioning frame 1.
[0203]
Thereafter, the positioning frame 1 (for each active marker plate) is attached to the subject.
[0204]
In this step S331, the positioning frame 1 used when the examination image is taken is attached to the subject again, and it is confirmed that the positioning frame 1 at the same place as that at the time of imaging is attached.
[0205]
At this time, similarly to the first embodiment, the time-solidified

materials

18 and 19 work effectively so as to determine the positioning.
[0206]
33-2) Next, in step S332, the active secondary marker 37 is attached to the subject.
[0207]
The place where the active secondary marker 37 is attached to the subject is the body surface of the subject as shown in FIG. 3 and a position that can be measured by the three-dimensional position sensor 28 during the operation.
[0208]
At this time, the number of active secondary markers 37 attached to the subject is required to be at least 3 or more.
[0209]
33-3) Next, in step S333, the position of the active marker 36 on the active marker plate 35 is measured by the three-dimensional position sensor 28, and then the primary marker position on the positioning frame 1 in the object coordinate system is measured. Find the position coordinates.
[0210]
This method is as described above.
[0211]
(X_W(i), Y_W(i), Z_W(i)).
[0212]
33-4) Next, in step S334, the position of the active secondary marker 37 is measured by the three-dimensional position sensor 28, and the position coordinate of the active secondary marker position in the subject coordinate system is obtained.
[0213]
This position measurement is performed by using the three-dimensional position sensor 28.
[0214]
(X_W2(J), Y_W2(J), Z_W2(J)).
[0215]
33-5) Next, in step S335, a coordinate conversion parameter from the subject coordinate system to the examination image coordinate system is calculated.
[0216]
Specifically, the position coordinate pair (X of the primary marker on the positioning frame 1 detected in both coordinate systems._p(k), Y_p(k), Z_p(k)), (X_W(k), Y_W(k), Z_W(k)) calculates the coordinate conversion parameter pHw from the subject coordinate system to the examination image coordinate system.
[0217]
33-6) Next, in step S336, the position coordinates of the active secondary marker 37 in the inspection image coordinate system are calculated.
[0218]
These are registered as active secondary marker coordinates.
[0219]
At this time, the coordinate transformation parameter pHw from the subject coordinate system to the examination image coordinate system calculated in the sub-step 33-5) is used.
[0220]
In particular,
[0221]
## EQU11 ##

[0222]
The position coordinate (X in the inspection image coordinate system of the active secondary marker 37 is_P2(J), Y_P2(J), Z_P2(J)) can be calculated.
[0223]
33-7) Next, in step S337, the positioning frame (including the active marker plate) 1 is removed from the subject.
[0224]
However, the active secondary marker 37 is not removed.
[0225]
33-8) Next, in step S338, with the active secondary marker 37 attached to the subject in the operating room, if necessary, a drape or the like is applied from above the active secondary marker 37 to create a clean environment necessary for the operation. produce.
[0226]
33-9) Next, in step S339, the position of the secondary marker in the subject coordinate system is measured using the three-dimensional position sensor 28.
[0227]
For this purpose, the position of the active secondary marker 37 in the real space is measured using the three-dimensional position sensor 28.
[0228]
(X_W2(J), Y_W2(J), Z_W2(J)).
[0229]
In this way, it is possible to measure the three-dimensional position of the active secondary marker 37 obtained in the new part corresponding to step 3 in the subject coordinate system.
[0230]
Thereafter, coordinate encoding between the examination image coordinate system and the subject coordinate system can be performed by the same method as in Step 4 of the first embodiment or the second embodiment.
[0231]
As described above, by applying the method of the third embodiment, it is possible to efficiently perform surgical calibration without using a sensor probe or the like while using a secondary marker.
[0232]
Moreover, since it is possible to eliminate the probe error caused by the sensor probe, more accurate surgical calibration can be realized.
[0233]
In the third embodiment, by adding a sensor function to the marker itself, there is an effect that it is possible to omit performing a calibration operation that is troublesome for surgery.
[0234]
In addition, the present specification shown in the embodiment as described above includes inventions as shown in the following supplementary notes 1 to 9 in addition to the claims 1 to 3 shown in the claims. Yes.
[0235]
(Supplementary Note 1) A positioning member is attached to a subject, and the correspondence between the coordinates of the positioning member on the image obtained by imaging the subject and the coordinates of the position member in the real space is used. In the calibration method for matching the position and orientation of the image obtained by imaging the specimen,
A mark is attached to the subject separately from the positioning member, and the coordinates of the mark in the real space and the correspondence relation are obtained on the image of the mark, and the mark is used. A calibration method characterized by associating the subject with a position and orientation of an image obtained by imaging the subject.
[0236]
(Appendix 2) There are a plurality of the marks, and the position and orientation of the object and the image obtained by imaging the object are determined using only the marks whose coordinate measurement error in the real space is within a predetermined range. The calibration method according to appendix 1, wherein the calibration is performed.
[0237]
(Supplementary note 3) The calibration method according to any one of supplementary notes 1 to 3, wherein the mark has a sensor for position measurement.
[0238]
(Supplementary Note 4) A method of associating a subject with a position and orientation of an image obtained by imaging the subject,
A positioning member configured to be detachable from the subject and provided with a plurality of first marks is attached to the subject,
Imaging the subject wearing the positioning member, and measuring the coordinates of the first mark that appeared in the image obtained by imaging the subject in a coordinate system fixed to the image,
A plurality of second marks are mounted on the subject mounted with the positioning member, and the coordinates of the first marks and the coordinates of the second marks are measured in a coordinate system fixed in real space, The coordinates of the first landmark in the coordinate system fixed in space and the coordinates of the first landmark in the coordinate system fixed in the image are fixed in the coordinate system fixed in the real space and the image. Find the relationship with the coordinate system,
Using the coordinates of the second landmark in the coordinate system fixed in the real space and the relationship, the coordinates of the second landmark in the coordinate system fixed to the image are obtained,
A calibration method characterized by using the second mark to associate the subject and the position and orientation of an image obtained by imaging the subject.
[0239]
(Supplementary note 5) A surgical calibration apparatus characterized in that a patient to be operated is a subject, and the position and orientation of the patient and the examination image of the patient are associated with each other using the method described in supplementary note 4.
[0240]
(Supplementary note 6) In a calibration method for performing a position and orientation calibration of an inspection image and a subject using a positioning frame fixed to the subject,
A marker group that is not on the positioning frame is attached to the subject,
Specify the position of the marker group in the inspection image coordinate system specified by the inspection image using the positioning frame,
By measuring the position of the marker group in the subject coordinate system that the subject defines in real space,
A surgical calibration method characterized by performing coordinate encoding between the examination image coordinate system and the subject coordinate system.
[0241]
(Supplementary note 7) When it is determined that an error in the position measurement of the marker is equal to or greater than a preset value, the measurement value of the marker is excluded and the object coordinate system and the examination image coordinate system are excluded. 6. The calibration method according to appendix 5, wherein coordinate encoding is performed.
[0242]
(Additional remark 8) The said marker has the sensor for position measurement, The calibration method of

Additional remark

6 or 7 characterized by the above-mentioned.
[0243]
(Supplementary note 9) A surgical calibration apparatus characterized in that a patient to be operated is a subject, and the position and orientation of a patient and an inspection image of the patient are associated with each other using the method according to any one of Supplementary notes 6 to 8.
[0244]
【The invention's effect】
Therefore, as described above, according to the present invention, a flexible surgical calibration that can cope with a complicated surgical route is possible.systemSurgery calibration that does not interfere with the surgeon during surgerysystemCan be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a positioning frame 1 used in a first embodiment of the present invention.
FIG. 2 is a diagram showing a secondary marker used in the first embodiment of the present invention.
FIG. 3 is a diagram in which the eyeglass-shaped frame 1 used in the first embodiment of the present invention is attached to a subject.
FIG. 4 is a block diagram showing a system configuration including a surgical calibration apparatus according to the first embodiment of the present invention.
FIG. 5 is a diagram showing a coordinate system used in the surgical calibration according to the first embodiment of the present invention.
FIG. 6 is a flowchart showing a basic flow of a surgical calibration process according to the first embodiment of the present invention.
FIG. 7 is a flowchart showing a flow of sub-steps of step S3 in FIG.
FIG. 8 is a view showing a removable active marker plate 35 employed in the third embodiment.
FIG. 9 is a diagram showing a structure of an active secondary marker 37 employed in the third embodiment.
FIG. 10 is a flowchart showing a detailed flow of a sub-step of step S3 employed in the third embodiment.
[Explanation of symbols]
1 ... positioning frame,
2 ... Glasses body,
3 ... Right ear pad
4 ... Left ear pad
5-11 ... primary marker,
15 ... outer shell,
16 ... internal solution,
17 ... Indent for probe,
18, 19 ... solidified material over time,
22 ... secondary marker,
23 ... Secondary marker body,
24 ... a hollow for a probe,
25 ... Adhesion part,
26 ... Surgery calibration device,
27. Inspection image device,
28 ... 3D position sensor,
29 ... PC,
30 ... Surgical instrument or observation instrument actually used in surgery
31 ... Subject,
32 ... Inspection image coordinate system,
33 ... Subject coordinate system,
34 ... coordinate conversion,
35 ... Active marker plate,
36 ... Active marker,
37 ... Active secondary marker,
38 ... body part,
39 ... LED part which is an infrared LED sensor.

Claims

A positioning member having a primary marker and detachable from the subject;
An image capturing device that acquires an image in advance by imaging the subject in a state where the positioning member is mounted on the subject;
A secondary marker different from the positioning member attached to the subject;
A surgical calibration device that uses the secondary marker to associate the subject with the position and orientation of the previously acquired image;
Comprising
The surgical calibration device comprises:
Means for acquiring coordinates in real space of the primary marker and the secondary marker in a state in which the positioning member is remounted on the subject and the secondary marker is attached;
Means for acquiring a correspondence relationship between the acquired coordinates of the primary marker in real space and the coordinates of the primary marker on the previously acquired image;
Means for determining coordinates of the secondary marker on the previously acquired image based on the acquired coordinates of the secondary marker in real space and the acquired correspondence;
Means for associating the subject with the position and orientation of the image acquired in advance using the coordinates of the secondary marker in real space and the coordinates on the image acquired in advance;
Comprising
Surgical calibration system characterized by that.

The patient to be operated on is the subject,
The image capturing device acquires an examination image of the patient,
The surgical unit to correspond to the position and orientation of the subject and the pre-acquired image of the calibration device, operative according to claim 1, wherein the to correspond to the position and orientation of the inspection image of the patient and the patient Calibration system.