JP3239609B2 - Surgical instrument position display device - Google Patents

Surgical instrument position display device

Info

Publication number
JP3239609B2
JP3239609B2 JP08784794A JP8784794A JP3239609B2 JP 3239609 B2 JP3239609 B2 JP 3239609B2 JP 08784794 A JP08784794 A JP 08784794A JP 8784794 A JP8784794 A JP 8784794A JP 3239609 B2 JP3239609 B2 JP 3239609B2
Authority
JP
Japan
Prior art keywords
image
surgical instrument
calibration
position information
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08784794A
Other languages
Japanese (ja)
Other versions
JPH07265330A (en
Inventor
昇一 岡村
武志 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP08784794A priority Critical patent/JP3239609B2/en
Publication of JPH07265330A publication Critical patent/JPH07265330A/en
Application granted granted Critical
Publication of JP3239609B2 publication Critical patent/JP3239609B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は、手術ナビゲーション
システムとも呼ばれ、外科手術や生体サンプル採取のた
めに被検体内に吸引管などの手術器具を差し入れた際
に、その手術器具が被検体内のどの位置にあるかを表示
する手術器具の位置表示装置に関する。
BACKGROUND OF THE INVENTION The present invention is also referred to as a surgical navigation system. When a surgical instrument such as a suction tube is inserted into a subject for a surgical operation or a biological sample collection, the surgical instrument is inserted into the subject. The present invention relates to a position display device of a surgical instrument for displaying a position of a surgical instrument.

【0002】[0002]

【従来の技術】この種の手術器具の位置表示装置として
は、例えば、以下に示すようなものがある。 (1)NEURO-NAVIGATOR(「Three Dimensional Digitize
r(Neuronavigator):New Equipment Computed Tomograph
y-Guided Stereotaxic Surgery」:E.Watanabeet al.:Su
rg Neurol 1987;27:p543-p547) (2)「医療用三次元定位装置」(特開平03−106
359) (3)「定位脳手術支援装置」(特開平03−2670
54) (4)「体内三次元位置表示装置」(特開平03−28
4253) これらの従来例に係る手術器具の位置表示装置では、手
術に先立って、被検体の関心部位の体表面にマーカーを
取り付ける。そして、この状態で前記マーカーとともに
被検体の関心部位の位置ごとに断層像を収集し、この断
層像の画像データを画像記憶手段に格納する。このとき
格納された画像データは、X線CT装置などの断層撮影
を行った装置の固有の空間座標(CT座標系)で表され
ており、このCT座標系の固有空間座標と、手術器具の
位置表示装置の実空間座標(手術器具の位置検出手段を
基準とする座標系)とを対応付ける必要がある。この対
応付けは、いわゆるキャリブレーションと称される。
2. Description of the Related Art As a position display device for a surgical instrument of this type, for example, there is the following device. (1) NEURO-NAVIGATOR (“Three Dimensional Digitize
r (Neuronavigator): New Equipment Computed Tomograph
y-Guided Stereotaxic Surgery '': E. Watanabeet al .: Su
RG Neurol 1987; 27: p543-p547) (2) "Medical three-dimensional stereotactic apparatus" (Japanese Patent Laid-Open No. 03-106)
359) (3) “Stereotactic surgery support device” (Japanese Patent Laid-Open No. 03-2670)
54) (4) “3D position display device in the body” (JP-A-03-28)
4253) In the position display device for a surgical instrument according to these conventional examples, a marker is attached to the body surface of a region of interest of the subject prior to the operation. Then, in this state, a tomographic image is collected for each position of the region of interest of the subject together with the marker, and the image data of the tomographic image is stored in the image storage means. The image data stored at this time is represented by the unique spatial coordinates (CT coordinate system) of an apparatus that has performed tomography such as an X-ray CT apparatus. It is necessary to correlate with the real space coordinates of the position display device (coordinate system based on the position detecting means of the surgical instrument). This association is called calibration.

【0003】このキャリブレーションは、手術器具の先
端部で前記マーカーを指示することによって行われてお
り、具体的には手術器具に取り付けられた位置検出手段
からの実空間座標と画像データのCT座標系の固有空間
座標とを対応づけすることで行われている。そして、こ
の対応付けされたマーカーの実空間座標に基づいて画像
データの実空間座標を決定する。手術の際には、位置検
出手段から得られた手術器具の位置情報(実空間座標)
に基づいて断層像の画像データが表示手段に表示され、
さらに手術器具の位置を示す所定パターンが表示手段に
重ね合わせ表示される。
[0003] This calibration is performed by pointing the marker at the tip of the surgical instrument. More specifically, the real space coordinates from the position detecting means attached to the surgical instrument and the CT coordinates of the image data are used. This is done by associating the eigenspace coordinates of the system with the eigenspace coordinates. Then, the real space coordinates of the image data are determined based on the real space coordinates of the associated marker. At the time of surgery, position information (real space coordinates) of surgical instruments obtained from position detection means
The image data of the tomographic image is displayed on the display means based on
Further, a predetermined pattern indicating the position of the surgical instrument is superimposed and displayed on the display means.

【0004】[0004]

【発明が解決しようとする課題】このような構成を有す
る従来例の場合には、次のような問題がある。上述した
ようにキャリブレーションにおいては、通常、手術器具
の先端部で被検体の体表面に貼り付けられたマーカーを
指示する。ところで手術器具は被検体内に差し入れられ
るので清潔に保つことが要求されるが、マーカーは不清
潔部分である被検体の体表面に取り付けられているの
で、手術器具がこれに触れることは好ましくない。そこ
で、キャリブレーションの際には、手術器具がマーカー
に直接触れることのないように〔薄い透明紙や不透明紙
から構成されている〕封筒状の滅菌袋に入れた状態でマ
ーカーを指示するようにしている。したがって、このと
き位置検出手段によって検出された手術器具の先端部の
位置情報(実空間座標)と画像データ上のマーカーの固
有空間座標とを対応付けると、〔手術器具の先端部の実
空間座標と体表面上のマーカーの実空間座標とは滅菌袋
の介在によって一致していないので〕少なくとも滅菌袋
の厚さ分だけは画像データ上のマーカーの実空間座標が
ずれることになる。さらにこのマーカーの実空間座標に
基づいて各画像データの固有空間座標と実空間座標とが
対応付けされるので、手術の際に画像データに重ね合わ
せ表示される手術器具の所定パターンは、実際に手術器
具が位置している被検体内の位置からずれて表示される
という問題点がある。
The prior art having such a configuration has the following problems. As described above, in the calibration, the marker attached to the body surface of the subject is usually indicated at the tip of the surgical instrument. By the way, surgical instruments are required to be kept clean because they are inserted into the subject. However, since the markers are attached to the body surface of the subject, which is an unclean part, it is not preferable that the surgical instruments touch the body. . Therefore, when performing the calibration, the marker should be indicated in an envelope-shaped sterile bag (made of thin transparent paper or opaque paper) so that the surgical instrument does not directly touch the marker. ing. Therefore, when the position information (real space coordinates) of the distal end of the surgical instrument detected by the position detecting means at this time is associated with the eigenspace coordinates of the marker on the image data, [the real space coordinates of the distal end of the surgical instrument and Since the real space coordinates of the marker on the body surface do not coincide with the presence of the sterilization bag, the real space coordinates of the marker on the image data are shifted at least by the thickness of the sterilization bag. Further, since the eigenspace coordinates and the real space coordinates of each image data are associated with each other based on the real space coordinates of the marker, the predetermined pattern of the surgical instrument superimposed and displayed on the image data at the time of surgery is actually There is a problem that the surgical instrument is displayed shifted from the position in the subject where the surgical instrument is located.

【0005】この発明は、このような事情に鑑みてなさ
れたものであって、キャリブレーションを正確に行うこ
とによって手術器具の位置を正確に表示することができ
る手術器具の位置表示装置を提供することを目的とす
る。
The present invention has been made in view of such circumstances, and provides a surgical instrument position display device capable of accurately displaying the position of a surgical instrument by performing calibration accurately. The purpose is to:

【0006】[0006]

【課題を解決するための手段】この発明は、このような
目的を達成するために、次のような構成をとる。すなわ
ち、この発明に係る手術器具の位置表示装置は、予め収
集しておいた被検体の関心部位の画像上に、手術中に被
検体内に差し入れられる手術器具の位置を重ね合わせ表
示する手術器具の位置表示装置であって、(a)被検体
の関心部位の体表面に取り付けたマーカーとともに、被
検体の関心部位の位置ごとに関心部位の断層像の画像デ
ータを固有空間座標で記憶する画像記憶手段と、(b)
被検体内に差し入れられる手術器具と、(c)前記マー
カーを指示するためのキャリブレーション器具と、
(d)前記手術器具の形状・大きさに応じてその先端部
の位置を算出するための手術器具用変換式と、前記キャ
リブレーション器具の形状・大きさに応じてその先端部
の位置を算出するためのキャリブレーション器具用変換
式とを予め格納する変換式格納手段と、(e)前記変換
式格納手段に格納された複数の変換式のうち所要の変換
式を指定するための変換式指定手段と、(f)前記手術
器具または前記キャリブレーション器具の実空間座標と
方向とを順次検出し、位置情報として順次出力する位置
検出手段と、(g)前記指定された変換式により前記位
置検出手段からの位置情報を変換して前記手術器具また
は前記キャリブレーション器具の先端部の位置を含む変
換位置情報を求める位置情報変換手段と、(h)前記キ
ャリブレーション器具の先端部で被検体の体表面のマー
カーを指示し、このときの前記位置情報変換手段からの
変換位置情報と、前記画像記憶手段に格納された画像デ
ータ上のマーカーの固有空間座標とを対応付けることに
よって前記画像記憶手段に格納された画像データの固有
空間座標を実空間座標に変更するキャリブレーション手
段と、(i)術中に前記位置情報変換手段からの手術器
具の変換位置情報に応じた画像データを前記画像記憶手
段から選択する画像選択手段と、(j)前記選択された
画像データ上の、前記術中の変換位置情報の示す位置
に、手術器具の位置を示す所定パターンを重ね合わせる
画像合成手段と、(k)前記画像合成手段によって合成
された画像を表示する表示手段と、を備えたことを特徴
とするものである。
The present invention has the following configuration to achieve the above object. In other words, the surgical instrument position display device according to the present invention superimposes and displays the position of the surgical instrument inserted into the subject during the operation on the image of the region of interest of the subject collected in advance. (A) An image storing image data of a tomographic image of a site of interest for each position of the site of interest of the subject in eigenspace coordinates together with a marker attached to the body surface of the site of interest of the subject. Storage means; (b)
A surgical instrument inserted into the subject, and (c) a calibration instrument for indicating the marker,
(D) A surgical instrument conversion formula for calculating the position of the tip according to the shape and size of the surgical instrument, and the position of the tip according to the shape and size of the calibration instrument A conversion formula storing means for preliminarily storing a conversion formula for a calibration instrument for performing the conversion, and (e) specifying a conversion formula for designating a required conversion formula among a plurality of conversion formulas stored in the conversion formula storing means. Means; (f) position detecting means for sequentially detecting the real space coordinates and direction of the surgical instrument or the calibration instrument and sequentially outputting the information as position information; and (g) the position detection by the specified conversion formula. Position information converting means for converting position information from the means to obtain converted position information including the position of the distal end of the surgical instrument or the calibration instrument; and (h) the calibration Indicate the marker on the body surface of the subject at the tip of the tool, the converted position information from the position information converting means at this time, and the eigenspace coordinates of the marker on the image data stored in the image storage means Calibrating means for changing the eigenspace coordinates of the image data stored in the image storage means to real space coordinates by associating them with each other; Image selection means for selecting image data from the image storage means; and (j) an image in which a predetermined pattern indicating a position of a surgical instrument is superimposed on a position indicated by the intraoperative conversion position information on the selected image data. And (k) display means for displaying the image synthesized by the image synthesizing means.

【0007】[0007]

【作用】この発明の作用は次のとおりである。まず、被
検体の関心部位の体表面に取り付けたマーカーとともに
断層像を撮影し、その画像データを固有空間座標で画像
記憶手段に格納する。次に、変換式格納手段に格納され
ている複数の変換式のうちキャリブレーション器具用変
換式を変換式指定手段で指定し、マーカーをキャリブレ
ーション器具で指示する。このとき位置情報変換手段
は、位置検出手段からのキャリブレーション器具の実空
間座標を前記キャリブレーション器具用変換式で変換し
てキャリブレーション器具の先端部の位置を含む変換位
置情報を求める。この変換位置情報(実空間座標)と、
画像データ上のマーカーの固有空間座標とをキャリブレ
ーション手段が対応付け、これに基づいて画像記憶手段
に格納されている画像データの固有空間座標を実空間座
標に変更する。このように手術器具でマーカーを指示す
る代わりにキャリブレーション器具でマーカーを指示す
るので、滅菌袋を介してマーカーを指示する必要がな
い。したがって、体表面上のマーカーの実空間座標とキ
ャリブレーション器具の先端部の実空間座標とが一致
し、画像データ上のマーカーの固有座標をその実空間座
標に正確に一致させることができる。
The operation of the present invention is as follows. First, a tomographic image is taken together with a marker attached to the body surface of the region of interest of the subject, and the image data is stored in the image storage means in eigenspace coordinates. Next, of the plurality of conversion equations stored in the conversion equation storage unit, the conversion equation for the calibration instrument is designated by the conversion equation designation unit, and the marker is designated by the calibration instrument. At this time, the position information conversion means converts the real space coordinates of the calibration tool from the position detection means by the conversion formula for the calibration tool to obtain conversion position information including the position of the tip of the calibration tool. This conversion position information (real space coordinates)
The calibration unit associates the eigenspace coordinates of the marker on the image data with the eigenspace coordinates, and changes the eigenspace coordinates of the image data stored in the image storage unit to real space coordinates based on this. In this way, since the marker is indicated by the calibration instrument instead of the marker by the surgical instrument, it is not necessary to indicate the marker through a sterilization bag. Therefore, the real space coordinates of the marker on the body surface and the real space coordinates of the tip of the calibration device match, and the unique coordinates of the marker on the image data can be made to exactly match the real space coordinates.

【0008】手術の際には、変換式指定手段によって手
術器具用変換式を指定する。そして位置情報変換手段
は、位置検出手段からの手術器具の位置情報を手術器具
用変換式で変換して変換位置情報を求める。画像選択手
段は、変換位置情報に応じた画像データを画像記憶手段
から選択する。この選択された画像上の、前記変換位置
情報の示す位置に、画像合成手段が手術器具の位置を示
す所定パターンを重ね合わせて表示手段に表示する。
At the time of surgery, a conversion formula for a surgical instrument is specified by a conversion formula specifying means. Then, the position information converting means converts the position information of the surgical instrument from the position detecting means by the conversion formula for surgical instrument to obtain converted position information. The image selection means selects image data corresponding to the converted position information from the image storage means. The image synthesizing unit superimposes a predetermined pattern indicating the position of the surgical instrument on the position indicated by the conversion position information on the selected image, and displays it on the display unit.

【0009】[0009]

【実施例】以下、図面を参照してこの発明の一実施例を
説明する。図1は、この発明に係る手術器具の位置表示
装置の一実施例の概略構成を示す図である。
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a schematic configuration of one embodiment of a position display device for a surgical instrument according to the present invention.

【0010】図中、符号1は被検体Mが載せられた手術
台である。符号2は、手術中に術者によって被検体Mに
差し入れられる手術器具である。手術台1上には3次元
方向にそれぞれ磁界を発生させる磁気ソース3aが、被
検体Mとの相対位置が変化しないように配備されてい
る。なお、この磁気ソース3aは被検体M自身に取付け
固定されてもよい。手術器具2には磁気ソース3aから
発生された3次元の磁界を検出する磁気センサ3bが取
付けられている。
In FIG. 1, reference numeral 1 denotes an operating table on which a subject M is placed. Reference numeral 2 denotes a surgical instrument inserted into the subject M by the operator during the operation. A magnetic source 3a for generating a magnetic field in three dimensions is provided on the operating table 1 so that the relative position with respect to the subject M does not change. The magnetic source 3a may be attached and fixed to the subject M itself. The surgical instrument 2 is provided with a magnetic sensor 3b for detecting a three-dimensional magnetic field generated from a magnetic source 3a.

【0011】図2に示すように、磁気ソース3aは、3
次元方向X,Y,Zにそれぞれ磁界を発生させる3つの
コイル3aX,3aY,3aZから構成されている。磁気ソー
ス3aは駆動回路4に接続され、この駆動回路4から交
流電流を与えられることにより3次元の磁界Hを発生す
る。磁気センサ3bも同様に、互いに直交した3つのコ
イル3bX,3bY,3bZから構成されている。磁気センサ
3bは、検出回路5に接続されている。この検出回路5
は、各コイル3bX,3bY,3bZからの検出信号を増幅し
て、適宜のデジタル信号に変換した位置データを出力す
る。磁気ソース3a、磁気センサ3b、駆動回路4、検
出回路5、および後述する位置算出部9は、この発明に
おける位置検出手段に相当する。
As shown in FIG. 2, the magnetic source 3a
It is composed of three coils 3 aX , 3 aY , 3 aZ for generating magnetic fields in the dimensional directions X, Y, Z, respectively. The magnetic source 3a is connected to the drive circuit 4, and generates a three-dimensional magnetic field H by receiving an alternating current from the drive circuit 4. Similarly, the magnetic sensor 3b also includes three coils 3 bX , 3 bY , and 3 bZ orthogonal to each other. The magnetic sensor 3b is connected to the detection circuit 5. This detection circuit 5
Amplifies the detection signals from the coils 3 bX , 3 bY , and 3 bZ and outputs position data converted into appropriate digital signals. The magnetic source 3a, the magnetic sensor 3b, the drive circuit 4, the detection circuit 5, and the position calculation unit 9 described later correspond to a position detection unit in the present invention.

【0012】画像処理コンピュータ8は、主として手術
器具2および後述するキャリブレーション器具の位置算
出、その先端部の位置算出、後述するキャリブレーショ
ン、位置情報に応じた画像の選択、選択された画像上へ
の手術器具2のパターンの合成を行うものである。その
内部構成を機能的に大別すると、位置算出部9、変換式
メモリ10、位置情報変換部12、キャリブレーション
部20、画像選択部13、画像合成部15となる。
The image processing computer 8 mainly calculates the positions of the surgical instrument 2 and a calibration instrument to be described later, calculates the position of the distal end thereof, performs calibration to be described later, selects an image according to the position information, and places the image on the selected image. To synthesize the pattern of the surgical instrument 2. The internal configuration is roughly classified into a function of a position calculation unit 9, a conversion formula memory 10, a position information conversion unit 12, a calibration unit 20, an image selection unit 13, and an image synthesis unit 15.

【0013】位置算出部9は、検出回路5からの位置デ
ータに基づいて、磁気センサ3bの3次元位置(実空間
座標)および方向を算出する。なお、上述した磁気ソー
ス3aおよび磁気センサ3bを使って磁気センサ3bの
実空間座標および方向を算出する手法は、例えば、特開
平3−267054号によって知られているので、ここ
での説明は省略する。変換式メモリ10は、位置算出部
9によって算出された磁気センサ3bの実空間座標/方
向からなる位置情報を、手術器具2および後述するキャ
リブレーション器具の大きさや形状からその先端部の位
置を含む変換位置情報に変換するための変換式を予め格
納するものである。位置情報変換部12は、キーボード
等の入力手段で構成される変換式指定部11によって指
定された変換式メモリ10内の変換式を使用して、位置
算出部9からの位置情報を変換位置情報に変換する。な
お、変換式メモリ10は、この発明における変換式格納
手段に相当し、位置情報変換部12は、この発明におけ
る位置情報変換手段に相当し、変換式指定部11は、変
換式指定手段に相当する。
The position calculating section 9 calculates a three-dimensional position (real space coordinates) and a direction of the magnetic sensor 3b based on the position data from the detection circuit 5. A method of calculating the real space coordinates and the direction of the magnetic sensor 3b using the magnetic source 3a and the magnetic sensor 3b described above is known, for example, from Japanese Patent Application Laid-Open No. 3-267054, and therefore the description thereof is omitted here. I do. The conversion-type memory 10 includes the position information of the magnetic sensor 3b calculated by the position calculation unit 9 in the real space coordinates / direction, including the position of the distal end of the surgical instrument 2 and a calibration instrument to be described later, based on the size and shape of the instrument. A conversion formula for converting into conversion position information is stored in advance. The position information converting unit 12 converts the position information from the position calculating unit 9 using the conversion formula in the conversion formula memory 10 specified by the conversion formula specifying unit 11 constituted by input means such as a keyboard. Convert to The conversion formula memory 10 corresponds to a conversion formula storage unit in the present invention, the position information conversion unit 12 corresponds to a position information conversion unit in the present invention, and the conversion formula designation unit 11 corresponds to a conversion formula designation unit. I do.

【0014】画像選択部13は、位置情報変換部12か
らの変換位置情報(手術器具2やキャリブレーション器
具の先端部の位置を含む位置情報)に基づき、画像メモ
リ14から所要の断層像の画像データを選択するもの
で、この発明における画像選択手段に相当する。画像メ
モリ14は、被検体Mの関心部位ごとに関心部位の断層
像の画像データを記憶するものであり、この発明におけ
る画像記憶手段に相当する。
The image selecting unit 13 stores an image of a required tomographic image from the image memory 14 based on the converted position information (position information including the positions of the distal end portions of the surgical instrument 2 and the calibration instrument) from the position information converting unit 12. This is for selecting data and corresponds to an image selecting means in the present invention. The image memory 14 stores image data of a tomographic image of a site of interest for each site of interest of the subject M, and corresponds to image storage means in the present invention.

【0015】画像合成部15は、画像選択部13によっ
て選択された画像上の、位置情報変換部12によって求
められた変換位置情報の示す位置に手術器具2の位置を
示す所定パターンを重ね合わせる。この画像合成部15
は、この発明における画像合成手段に相当する。画像合
成部15で合成された画像は、この発明における表示手
段に相当するモニタ16に与えられる。
The image synthesizing unit 15 superimposes a predetermined pattern indicating the position of the surgical instrument 2 on the image selected by the image selecting unit 13 at the position indicated by the converted position information obtained by the position information converting unit 12. This image synthesizing unit 15
Corresponds to the image synthesizing means in the present invention. The image synthesized by the image synthesizing unit 15 is provided to a monitor 16 corresponding to a display unit in the present invention.

【0016】次に図3ないし図6を参照して、断層像の
収集およびキャリブレーションについて説明する。図3
に示すように、手術台1に載置された被検体Mの関心部
位付近(この例では頭部)の体表面の4か所にマーカー
1 ,P2 ,P3 ,P4 を貼り付ける。そして、被検体
Mの関心部位を含む領域内の、複数のスライス面S1
n の断層像を各マーカーP1 ,P2 ,P3 ,P4 とと
もにX線CT装置などにより撮影する。このようにして
得られた断層像I1 〜In の模式図を図4に示す。この
断層像I1 〜In およびマーカーP1 ,P2 ,P3 ,P
4 は、撮影に使用したX線CT装置の固有の空間座標
(CT座標系の固有空間座標)XCT,YCT,ZCTによっ
てその位置が定義されている。この断層像I1 〜In
よびマーカーP1 ,P2,P 3 ,P4 とCT座標系の固
有空間座標は、画像メモリ14に格納される。
Next, the acquisition and calibration of a tomographic image will be described with reference to FIGS. FIG.
As shown in ( 1) , markers P 1 , P 2 , P 3 , and P 4 are attached to four places on the body surface near the site of interest (in this example, the head) of the subject M placed on the operating table 1. . Then, a plurality of slice planes S 1 to S 1 in the region including the region of interest of the subject M
S n each marker P 1 a tomogram, P 2, P 3, with P 4 is photographed by the X-ray CT apparatus. Shows a schematic view of the thus tomogram I 1 ~I n obtained in Fig. The tomographic image I 1 ~I n and markers P 1, P 2, P 3 , P
4 (specific spatial coordinates of the CT coordinate system) X CT inherent spatial coordinates of the X-ray CT apparatus used in photographing, Y CT, its position is defined by the Z CT. Specific spatial coordinates of the tomographic image I 1 ~I n and markers P 1, P 2, P 3 , P 4 and the CT coordinate system is stored in the image memory 14.

【0017】次に、撮影した断層像の固有空間座標と検
出回路5を基準とする実空間座標とを対応付けるキャリ
ブレーションを行う。なお、位置算出部9によって算出
される磁気センサ3bの位置情報(実空間座標/方向)
から、手術器具2およびキャリブレーション器具の先端
部の実空間座標を含む変換位置情報を求めるための変換
式A1 ,AC は、予め変換式メモリ10に格納されてい
る。
Next, calibration for associating the eigenspace coordinates of the photographed tomographic image with the real space coordinates based on the detection circuit 5 is performed. The position information (real space coordinates / direction) of the magnetic sensor 3b calculated by the position calculation unit 9
From conversion formula A 1, A C to determine a transformation location information including a real space coordinates of the tip of the surgical instrument 2 and the calibration instrument is stored in advance in the conversion equation memory 10.

【0018】まず、術者は変換式指定部11を介してキ
ャリブレーション器具用変換式ACを指定する。そして
図5に示すような、先端部がL字状に屈曲形成されたキ
ャリブレーション器具100に磁気センサ3bを取付
け、その先端部を各マーカーP1 ,P2 ,P3 ,P4
接触させる。このように先端部をL字状に屈曲形成した
キャリブレーション器具100を用いているので、この
実施例のように関心部位が頭部であって、直線状の器具
では指示しにくいような耳下部にマーカーが取り付けら
れている場合でも、その部分を容易にかつ正確に指示す
ることができる。
[0018] First, the operator specifies a transformation formula A C calibration instrument through the conversion equation designation unit 11. Then, as shown in FIG. 5, fitted with a magnetic sensor 3b calibration instrument 100 distal portion is bent in an L-shape, contacting the tip each marker P 1, P 2, P 3 , P 4 . Since the calibration device 100 having the L-shaped bent end portion is used, the region of interest is the head as in this embodiment, and the lower ear portion is difficult to indicate with a linear device. Even if a marker is attached to the marker, that part can be easily and accurately indicated.

【0019】そして各マーカーP1 ,P2 ,P3 ,P4
をキャリブレーション器具100で指示するごとに、図
示しないキーボードなどの指示手段でキャリブレーショ
ン器具100の先端部位置の格納を指示する。このとき
の先端部位置の格納は、次のように行われる。位置情報
変換部12は、磁気センサ3bの実空間座標/方向から
なる位置情報を位置算出部9から得て、この位置情報を
指定されているキャリブレーション器具用変換式AC
より先端部の位置を含む変換位置情報に変換する。そし
てこのキャリブレーション器具100の先端部の位置を
含む変換位置情報のうち、先端部の実空間座標とマーカ
ーの固有空間座標とを対応付ける。具体的には、この発
明におけるキャリブレーション手段に相当するキャリブ
レーション部20が画像メモリ14に格納されている画
像データ上のマーカーP1 ,P2,P3 ,P4 の固有空
間座標を、この実空間座標で書き換える。そして、これ
に基づいて画像メモリ14に格納されている各断層像I
1 〜In の固有空間座標を実空間座標で書き換える。こ
のキャリブレーションによって、図4に示した各断層像
1 〜In およびマーカーP1 〜P4 のCT座標系で定
義されている固有空間座標(XCT,YCT,ZCT)は、図
6に示す実空間座標(X,Y,Z)に変換される。
The markers P 1 , P 2 , P 3 , P 4
Is instructed by the calibration instrument 100, an instruction unit such as a keyboard (not shown) instructs the storage of the tip position of the calibration instrument 100. The storing of the tip position at this time is performed as follows. Location information conversion section 12 obtains the position information containing real space coordinate / orientation of the magnetic sensor 3b from the position calculating unit 9, the position of the tip by the calibration instrument for conversion formula A C specified this location Is converted to conversion position information including. Then, among the converted position information including the position of the tip of the calibration instrument 100, the real space coordinates of the tip and the unique space coordinates of the marker are associated with each other. Specifically, the calibration unit 20 corresponding to the calibration means in the present invention calculates the eigenspace coordinates of the markers P 1 , P 2 , P 3 , and P 4 on the image data stored in the image memory 14. Rewrite with real space coordinates. Then, based on this, each tomographic image I stored in the image memory 14 is obtained.
It rewrites the specific spatial coordinates of 1 ~I n the real space coordinates. This calibration unique spatial coordinates defined by the CT coordinate system of the tomographic images I 1 ~I n and markers P 1 to P 4 shown in FIG. 4 (X CT, Y CT, Z CT) , as shown in FIG. 6 are converted to real space coordinates (X, Y, Z).

【0020】なお、上述した変換式によって先端部の位
置を算出する手法は、先に掲げた特開平3−26705
4号公報に詳述されているが、ここで簡単に説明する。
位置算出部9では、磁気センサ3bの実空間座標と方向
とを示す位置情報a1(x,y,z,u,v,w)が算
出される。そしてこの位置情報a1と器具の形状・大き
さ等に応じて予め決められているキャリブレーション器
具用変換式Acからキャリブレーション器具100の先
端部の実空間座標(X,Y,Z)は、a1・Ac の演算
を行うことによって算出することができる。
The method of calculating the position of the tip portion by the above-mentioned conversion formula is disclosed in Japanese Patent Application Laid-Open No. 3-26705.
This is described in detail in Japanese Patent Publication No. 4 (JP-A) No. 4, but will be briefly described here.
The position calculator 9 calculates position information a1 (x, y, z, u, v, w) indicating the real space coordinates and the direction of the magnetic sensor 3b. The real space coordinates of the tip of the calibration instrument 100 from the calibration instrument for conversion formula A c that is determined in advance in accordance with the shape, size, etc. of the position information a1 and the instrument (X, Y, Z) is it can be calculated by performing the calculation of a1 · a c.

【0021】なお、この実施例では4点のマーカーを用
いてキャリブレーションを行っているが、3点のマーカ
ーによって実空間上の座標を画像空間上の座標に対応付
ける事も可能である。
In this embodiment, the calibration is performed using four markers. However, it is also possible to associate the coordinates in the real space with the coordinates in the image space by using the three markers.

【0022】このようにキャリブレーション器具100
を使用してキャリブレーションを行うので、滅菌袋を介
することなく不清潔部分であるマーカーにキャリブレー
ション器具100を直接接触させることができる。した
がって、体表面上のマーカーの実空間座標とキャリブレ
ーション器具100の先端部の実空間座標とが一致し、
画像データ上のマーカーの固有空間座標を体表面上のマ
ーカーの実空間座標に正確に一致させることができる。
したがって、断層像の画像データの固有空間座標も正確
に実空間座標に一致させることができる。また、滅菌袋
を使用しないので、キャリブレーション時の器具の取扱
いが容易になる。
As described above, the calibration instrument 100
Since the calibration is performed by using the calibration tool, the calibration device 100 can be brought into direct contact with the marker, which is an unclean portion, without passing through a sterilization bag. Therefore, the real space coordinates of the marker on the body surface and the real space coordinates of the tip of the calibration device 100 match,
The eigenspace coordinates of the marker on the image data can be accurately matched with the real space coordinates of the marker on the body surface.
Therefore, the eigenspace coordinates of the image data of the tomographic image can be accurately matched with the real space coordinates. Further, since a sterilization bag is not used, handling of the instrument at the time of calibration becomes easy.

【0023】次に、上述したようにキャリブレーション
を行った断層像を用いて被検体Mの手術を行う。
Next, an operation is performed on the subject M using the tomographic image calibrated as described above.

【0024】まず、術者は手術器具2に磁気センサ3b
を取付けるとともに変換式指定部11を介して手術器具
用変換式A1 を指定する。そして術者は、手術器具2を
被検体Mの関心部位に差し入れる。磁気センサ3bの位
置情報が位置算出部9によって順次算出され、この位置
情報は、位置情報変換部12によって順次変換される。
このとき使用される変換式は、術者によって指定された
変換式メモリ10の手術器具用変換A1 であり、位置情
報と手術器具用変換式との演算(a1・A1 )によって
手術器具2の先端部の実空間座標が算出される。この変
換によって位置情報は、手術器具2の先端部の位置を含
む変換位置情報に変換される。画像選択部13は、この
変換位置情報に応じた〔既にキャリブレーション部20
によって実空間座標に変更されている〕断層像を画像メ
モリ14から選択する。画像合成部15は、この選択さ
れた断層像上の、変換位置情報の示す位置に、手術器具
の位置を示す所定パターンを重ね合わせてモニタ16に
出力する。この断層像に手術器具2を示す所定パターン
PTが重ね合わせ表示されたときの模式図を図7に示
す。この手術中における手術器具2の位置表示は、上述
したように正確にキャリブレーションを行って画像デー
タの実空間座標が決定されているので、誤差なく正確に
行われる。
First, the surgeon attaches the magnetic sensor 3 b to the surgical instrument 2.
Via the conversion equation designating unit 11 is attached to specify a conversion formula A 1 surgical instrument. Then, the operator inserts the surgical instrument 2 into a site of interest of the subject M. The position information of the magnetic sensor 3b is sequentially calculated by the position calculator 9, and the position information is sequentially converted by the position information converter 12.
Conversion formula used at this time is a surgical instrument conversion A 1 conversion equation memory 10 designated by the surgeon, surgical by the calculation of the position information and the surgical instrument for conversion formula (a1 · A 1) device 2 Is calculated in the real space at the tip of. By this conversion, the position information is converted into converted position information including the position of the distal end of the surgical instrument 2. The image selection unit 13 responds to the conversion position information [the calibration unit 20
Is changed to real space coordinates) from the image memory 14. The image synthesizing unit 15 superimposes a predetermined pattern indicating the position of the surgical instrument on the position indicated by the conversion position information on the selected tomographic image and outputs the result to the monitor 16. FIG. 7 is a schematic diagram when a predetermined pattern PT indicating the surgical instrument 2 is displayed overlaid on the tomographic image. The position display of the surgical instrument 2 during the operation is accurately performed without error because the real space coordinates of the image data are determined by performing accurate calibration as described above.

【0025】なお、この実施例ではキャリブレーション
器具100として、その先端部がL字上に屈曲形成され
たものを使用したが、この発明はこれに限定されるもの
ではなく、種々の形状・大きさのキャリブレーション器
具を使用することが可能である。例えば、被検体の腹部
などの容易に指示可能な場所にマーカーが取り付けられ
ている場合には、直線状のキャリブレーション器具を使
用するようにしてもよい。この場合は、この直線状のキ
ャリブレーション器具の形状・大きさに応じた変換式を
変換式メモリに予め格納しておくようにする。
In this embodiment, the calibration instrument 100 having a tip portion bent in an L-shape is used as the calibration instrument 100. However, the present invention is not limited to this, and may have various shapes and sizes. It is possible to use a calibration instrument. For example, when a marker is attached to a place that can be easily indicated, such as the abdomen of the subject, a linear calibration instrument may be used. In this case, a conversion formula according to the shape and size of the linear calibration instrument is stored in the conversion formula memory in advance.

【0026】なお、この実施例では磁気ソース3aおよ
び磁気センサ3b等を用いて手術器具2およびキャリブ
レーション器具100の位置を検出したが、この発明は
これに限定されることなく、例えば、手術器具2または
キャリブレーション器具100を多関節のアームの先端
に取付け、各関節部分でアームの角度を検出することに
より、手術器具2またはキャリブレーション器具100
の位置を検出するように構成してもよい。このように構
成することにより、磁気ソース3aによって形成されて
いる磁界を乱すような磁性体や導電体などから構成され
る器具を使用することができる。
In this embodiment, the positions of the surgical instrument 2 and the calibration instrument 100 are detected by using the magnetic source 3a and the magnetic sensor 3b, but the present invention is not limited to this. 2 or the calibration instrument 100 is attached to the tip of a multi-joint arm, and the angle of the arm is detected at each joint, thereby obtaining the surgical instrument 2 or the calibration instrument 100.
May be configured to detect the position of. With such a configuration, it is possible to use an instrument made of a magnetic material, a conductor, or the like that disturbs the magnetic field formed by the magnetic source 3a.

【0027】また、この実施例では磁気センサ3bを手
術器具2とキャリブレーション器具100とで共用した
が、この発明はこれに限定されるものではない。例え
ば、手術器具2とキャリブレーション器具100にそれ
ぞれ専用の磁気センサと検出回路を設けるようにしても
よい。これにより使用する器具に応じて磁気センサを付
け替える手間を省くことができ、術者の負担を少なくす
ることができる。
Further, in this embodiment, the magnetic sensor 3b is shared by the surgical instrument 2 and the calibration instrument 100, but the present invention is not limited to this. For example, the surgical instrument 2 and the calibration instrument 100 may be provided with dedicated magnetic sensors and detection circuits, respectively. Thereby, the trouble of replacing the magnetic sensor according to the instrument to be used can be saved, and the burden on the operator can be reduced.

【0028】[0028]

【発明の効果】以上の説明から明らかなように、この発
明によれば、キャリブレーション器具を使用して体表面
上のマーカーを直接指示することによって、被検体の体
表面上のマーカーの実空間座標と画像データ上のマーカ
ーの固有空間座標を正確に一致させることができ、さら
に断層像の画像データの固有空間座標も正確に実空間座
標に一致させることができる。すなわち、正確にキャリ
ブレーションを行うことができる。結果、術中の手術器
具の位置表示を正確に行うことができる。
As is apparent from the above description, according to the present invention, the marker on the body surface is directly indicated by using the calibration instrument, thereby realizing the real space of the marker on the body surface of the subject. The coordinates and the eigenspace coordinates of the marker on the image data can be accurately matched, and the eigenspace coordinates of the image data of the tomographic image can also be accurately matched with the real space coordinates. That is, calibration can be accurately performed. As a result, the position of the surgical instrument during the operation can be accurately displayed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】実施例に係る手術器具の位置表示装置の概略構
成を示す図である。
FIG. 1 is a view showing a schematic configuration of a position display device of a surgical instrument according to an embodiment.

【図2】磁気ソースおよび磁気センサの説明図である。FIG. 2 is an explanatory diagram of a magnetic source and a magnetic sensor.

【図3】断層像の収集の説明に供する図である。FIG. 3 is a diagram provided to explain collection of a tomographic image.

【図4】キャリブレーション前の断層像を示す図であ
る。
FIG. 4 is a diagram showing a tomographic image before calibration.

【図5】キャリブレーションの説明に供する図である。FIG. 5 is a diagram provided for explanation of calibration.

【図6】キャリブレーション後の断層像を示す図であ
る。
FIG. 6 is a diagram showing a tomographic image after calibration.

【図7】術中における手術器具の位置表示を示す模式図
である。
FIG. 7 is a schematic diagram showing a position display of a surgical instrument during an operation.

【符号の説明】[Explanation of symbols]

1 … 手術台 2 … 手術器具 3a … 磁気ソース 3b … 磁気センサ 4 … 駆動回路 5 … 検出回路 9 … 位置算出部 10 … 変換式メモリ 11 … 変換式指定部 12 … 位置情報変換部 13 … 画像選択部 14 … 画像メモリ 15 … 画像合成部 16 … モニタ 20 … キャリブレーション部 100 … キャリブレーション器具 DESCRIPTION OF SYMBOLS 1 ... Operating table 2 ... Surgical instrument 3a ... Magnetic source 3b ... Magnetic sensor 4 ... Driving circuit 5 ... Detection circuit 9 ... Position calculation part 10 ... Conversion memory 11 ... Conversion specification part 12 ... Position information conversion part 13 ... Image selection Unit 14 Image memory 15 Image synthesis unit 16 Monitor 20 Calibration unit 100 Calibration device

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−106359(JP,A) 特開 平3−284253(JP,A) 特開 平3−267054(JP,A) 特開 昭63−240851(JP,A) 特開 平7−148180(JP,A) 特開 平8−52115(JP,A) 特表 平8−509144(JP,A) 特表 平5−500911(JP,A) 欧州特許出願公開427358(EP,A 1) (58)調査した分野(Int.Cl.7,DB名) A61B 19/00 A61B 6/00 - 8/15 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-3-106359 (JP, A) JP-A-3-284253 (JP, A) JP-A-3-266705 (JP, A) JP-A-63-63 240851 (JP, A) JP-A-7-148180 (JP, A) JP-A-8-52115 (JP, A) JP-T 8-509144 (JP, A) JP-T 5-500911 (JP, A) EP 427358 (EP, A1) (58) Fields investigated (Int. Cl. 7 , DB name) A61B 19/00 A61B 6/00-8/15

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 予め収集しておいた被検体の関心部位の
画像上に、手術中に被検体内に差し入れられる手術器具
の位置を重ね合わせ表示する手術器具の位置表示装置で
あって、(a)被検体の関心部位の体表面に取り付けた
マーカーとともに、被検体の関心部位の位置ごとに関心
部位の断層像の画像データを固有空間座標で記憶する画
像記憶手段と、(b)被検体内に差し入れられる手術器
具と、(c)前記マーカーを指示するためのキャリブレ
ーション器具と、(d)前記手術器具の形状・大きさに
応じてその先端部の位置を算出するための手術器具用変
換式と、前記キャリブレーション器具の形状・大きさに
応じてその先端部の位置を算出するためのキャリブレー
ション器具用変換式とを予め格納する変換式格納手段
と、(e)前記変換式格納手段に格納された複数の変換
式のうち所要の変換式を指定するための変換式指定手段
と、(f)前記手術器具または前記キャリブレーション
器具の実空間座標と方向とを順次検出し、位置情報とし
て順次出力する位置検出手段と、(g)前記指定された
変換式により前記位置検出手段からの位置情報を変換し
て前記手術器具または前記キャリブレーション器具の先
端部の位置を含む変換位置情報を求める位置情報変換手
段と、(h)前記キャリブレーション器具の先端部で被
検体の体表面のマーカーを指示し、このときの前記位置
情報変換手段からの変換位置情報と、前記画像記憶手段
に格納された画像データ上のマーカーの固有空間座標と
を対応付けることによって前記画像記憶手段に格納され
た画像データの固有空間座標を実空間座標に変更するキ
ャリブレーション手段と、(i)術中に前記位置情報変
換手段からの手術器具の変換位置情報に応じた画像デー
タを前記画像記憶手段から選択する画像選択手段と、
(j)前記選択された画像データ上の、前記術中の変換
位置情報の示す位置に、手術器具の位置を示す所定パタ
ーンを重ね合わせる画像合成手段と、(k)前記画像合
成手段によって合成された画像を表示する表示手段と、
を備えたことを特徴とする手術器具の位置表示装置。
1. A surgical instrument position display device for superimposing and displaying a position of a surgical instrument inserted into a subject during a surgical operation on an image of a region of interest of the subject which has been collected in advance, comprising: a) image storage means for storing image data of a tomographic image of a site of interest for each position of the site of interest of the subject in eigenspace coordinates, together with a marker attached to the body surface of the site of interest of the subject; (C) a calibration instrument for indicating the marker, and (d) a surgical instrument for calculating the position of the tip according to the shape and size of the surgical instrument. A conversion formula storing means for storing in advance a conversion formula and a conversion formula for the calibration tool for calculating the position of the tip portion according to the shape and size of the calibration tool; and (e) the conversion formula. (F) sequentially detecting real space coordinates and directions of the surgical instrument or the calibration instrument, and a transform equation designating section for designating a required transform equation among a plurality of transform equations stored in the storage section; Position detecting means for sequentially outputting the position information as position information; and (g) a converted position including the position of the distal end of the surgical instrument or the calibration instrument by converting the position information from the position detecting means by the designated conversion formula. Position information conversion means for obtaining information; and (h) indicating a marker on the body surface of the subject at the tip of the calibration instrument, and converting position information from the position information conversion means at this time; The eigenspace coordinates of the image data stored in the image storage means by associating the eigenspace coordinates of the markers on the image data stored in the image data with the real space coordinates. And calibration means for changing, the image selection means for selecting image data corresponding to the converted location information of the surgical instrument from the position information converting means (i) intraoperative from said image storage means,
(J) an image synthesizing unit that superimposes a predetermined pattern indicating a position of a surgical instrument on a position indicated by the intraoperative conversion position information on the selected image data, and (k) an image synthesized by the image synthesizing unit. Display means for displaying an image;
A position display device for a surgical instrument, comprising:
JP08784794A 1994-03-31 1994-03-31 Surgical instrument position display device Expired - Fee Related JP3239609B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08784794A JP3239609B2 (en) 1994-03-31 1994-03-31 Surgical instrument position display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08784794A JP3239609B2 (en) 1994-03-31 1994-03-31 Surgical instrument position display device

Publications (2)

Publication Number Publication Date
JPH07265330A JPH07265330A (en) 1995-10-17
JP3239609B2 true JP3239609B2 (en) 2001-12-17

Family

ID=13926288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08784794A Expired - Fee Related JP3239609B2 (en) 1994-03-31 1994-03-31 Surgical instrument position display device

Country Status (1)

Country Link
JP (1) JP3239609B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3446317B2 (en) * 1994-06-30 2003-09-16 株式会社島津製作所 Spatial coordinate setting device for tomographic images
DE19655008C2 (en) * 1996-12-21 2003-10-23 Depuy Int Ltd Device for positioning and guiding a surgical tool during orthopedic surgery
CA2348135A1 (en) * 2001-05-17 2002-11-17 Cedara Software Corp. 3-d navigation for x-ray imaging system
CN101621968B (en) * 2007-02-26 2013-06-19 皇家飞利浦电子股份有限公司 Pointing device for medical imaging
CN103487449B (en) * 2013-05-27 2015-08-19 深圳市天和时代电子设备有限公司 A kind of method of dynamic calibration

Also Published As

Publication number Publication date
JPH07265330A (en) 1995-10-17

Similar Documents

Publication Publication Date Title
JP5291619B2 (en) Coordinate system registration
EP0501993B1 (en) Probe-correlated viewing of anatomical image data
JP4822634B2 (en) A method for obtaining coordinate transformation for guidance of an object
EP1718203B1 (en) Correction of measured values for a magnetic localization device
US6996430B1 (en) Method and system for displaying cross-sectional images of a body
US5823958A (en) System and method for displaying a structural data image in real-time correlation with moveable body
US7065393B2 (en) Apparatus, system and method of calibrating medical imaging systems
JP4382171B2 (en) Device for mapping the electrical activity of the heart
US8583214B2 (en) Method for visually supporting an invasive examination or therapy of the heart with the aid of an invasive instrument
WO2004060157A1 (en) Method and arrangement for tracking a medical instrument
JPH02503519A (en) Method and apparatus for reproducibly optically displaying surgical procedures
JP2007526066A (en) System for guiding medical instruments in a patient
EP1259160A2 (en) Apparatus and methods for medical interventions
US20020122536A1 (en) Method and apparatus for viewing instrument markers used in medical imaging
JP3217593B2 (en) Surgical instrument position display device
JP2009500069A (en) How to determine the location of brain lesions
JP3239609B2 (en) Surgical instrument position display device
JP3634416B2 (en) Surgical instrument position display device
JP3446317B2 (en) Spatial coordinate setting device for tomographic images
JP4051764B2 (en) Surgical instrument position display device
JP2004089421A (en) Surgery supporting device
JP4625281B2 (en) Medical diagnostic system
WO2011158113A1 (en) A device for magnetic localization and tracking
JP4344567B2 (en) Image display method, program, and computer-readable storage medium in medical navigation system
JP3552300B2 (en) Surgical instrument position display device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081012

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081012

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091012

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091012

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees