JPH0810266A - Position display device for operating tool - Google Patents
Position display device for operating toolInfo
- Publication number
- JPH0810266A JPH0810266A JP6146496A JP14649694A JPH0810266A JP H0810266 A JPH0810266 A JP H0810266A JP 6146496 A JP6146496 A JP 6146496A JP 14649694 A JP14649694 A JP 14649694A JP H0810266 A JPH0810266 A JP H0810266A
- Authority
- JP
- Japan
- Prior art keywords
- image
- surgical instrument
- stored
- display device
- attended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Surgical Instruments (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】この発明は、外科手術ナビゲーシ
ョン装置と呼ばれ、外科手術や生体サンプル採取のため
に被検体内に吸引管などの手術器具を差し入れた際に、
その手術器具が被検体内のどの位置にあるかを表示する
装置、特に、手術前に収集したX線CT像、MRI像、
あるいはX線透視画像上に手術器具の位置を表示する手
術器具の表示装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is called a surgical navigation device, and when a surgical instrument such as a suction tube is inserted into a subject for surgical operation or biological sample collection,
A device for displaying the position of the surgical instrument in the subject, particularly, an X-ray CT image, an MRI image collected before surgery,
Alternatively, the present invention relates to a surgical instrument display device that displays the position of the surgical instrument on an X-ray fluoroscopic image.
【0002】[0002]
【従来の技術】予め収集しておいたMRI像、X線CT
像、X線透視画像に手術器具の位置を重ね合わせて表示
する手術器具の位置表示装置としては、例えば、 NEU
RO-NAVIGATOR(「Three Dimensional Digitizer (Neuro
navigator) :New Equipment Computed Tomography-Guid
ed Stereotaxic Surgery」 :E.Watanabe et al. :SurgN
eurol 1987:27:p543-p547)、「医療用三次元定位装
置」(特開平03-106359)NEURO-SAT を用いた定位脳手
術支援装置、「定位脳手術支援装置」(特開平03-267
054 )を用いたCANS-NAVIGATOR、「体内三次元位置表
示装置」(特開平03-284253 )などがある。2. Description of the Related Art MRI images and X-ray CT collected in advance
As a position display device for a surgical instrument that displays the position of the surgical instrument by superimposing the position on the image and X-ray fluoroscopic image, for example, NEU
RO-NAVIGATOR ("Three Dimensional Digitizer (Neuro
navigator): New Equipment Computed Tomography-Guid
ed Stereotaxic Surgery '': E.Watanabe et al.: SurgN
eurol 1987: 27: p543-p547), "Medical three-dimensional localization device" (Japanese Patent Laid-Open No. 03-106359) NEURO-SAT based stereotactic brain surgery support device, "Standardized brain surgery assistance device" (Japanese Patent Laid-Open No. 03-267)
054), a CANS-NAVIGATOR, an "in-body three-dimensional position display device" (Japanese Patent Laid-Open No. 03-284253), and the like.
【0003】これら従来例に係る手術器具の位置表示装
置では、精度の良い手術器具の位置検出手段や、検出さ
れた手術器具位置の表示手段に工夫がなされ、手術器具
の位置を正確に、かつ、簡便に断層画像上に表示するも
のである。In these conventional surgical instrument position display devices, the surgical instrument position detection means and the detected surgical instrument position display means are devised so that the surgical instrument position can be accurately and accurately determined. , Is simply displayed on the tomographic image.
【0004】また、手術前に被検体の断層画像を用いて
手術経路等を検討できる機能を備えた手術器具の位置表
示装置も提案されている。Further, there has been proposed a position display device for a surgical instrument having a function of examining a surgical route and the like by using a tomographic image of a subject before surgery.
【0005】[0005]
【発明が解決しようとする課題】外科手術、特に、脳外
科手術では、正常な脳機能や構造物への影響を最小限に
して、病変部のみを除去することが肝要である。In surgery, particularly brain surgery, it is essential to remove only the lesion by minimizing the effect on normal brain functions and structures.
【0006】そのために、手術前に予め収集しておいた
断層画像などから被検体(手術患者)の神経や血管等の
注意構造物の位置を知り、それを基に術式等決定する必
要がある。Therefore, it is necessary to know the position of the attention structure such as nerves and blood vessels of the subject (surgical patient) from the tomographic images collected in advance before the operation, and to determine the surgical procedure based on it. is there.
【0007】従来に係る手術器具の位置表示装置によれ
ば手術中における手術器具の位置は、断層像に表示され
るものの注意構造物の位置ないしそれの把握は術者(執
刀医)の記憶に頼らざるを得ないものである。According to the conventional position display device for surgical instruments, the position of the surgical instrument during surgery is displayed on a tomographic image, but the position of the attention structure or its grasp is stored in the memory of the surgeon (operator). You have to rely on it.
【0008】また、手術経路等を検討する機能を持った
手術器具の位置表示装置では、手術に先立って術式等を
検討、決定する上で有益であるものの、この機能はその
検討結果を手術中に直接利用できるものではなく、やは
り注意構造物の位置とそれの把握は術者の記憶に頼らざ
るを得ない。Although a position display device for a surgical instrument having a function of examining a surgical route and the like is useful for examining and deciding a operative method and the like prior to surgery, this function allows the examination result to be operated. It is not something that can be used directly inside, and the position of the attention structure and its grasping still depend on the operator's memory.
【0009】注意構造物の位置は通常一つではなく多数
に及び、且つ、被検者毎に異なることから、それらの位
置を記憶することは、術者に多大な精神的負担を強いる
ことになり、術者の集中力を妨げることになる。Since the position of the attention structure is not usually one but a large number and differs depending on the subject, memorizing those positions imposes a great mental burden on the operator. It will hinder the operator's concentration.
【0010】この発明は、上記に鑑みてなされたもので
あって、手術中に手術器具が注意構造物に近づいたこと
を術者に知らせることができるようにした手術器具の位
置表示装置を提供することを目的とする。The present invention has been made in view of the above circumstances, and provides a position display device for a surgical instrument capable of notifying an operator that the surgical instrument has approached a caution structure during an operation. The purpose is to do.
【0011】[0011]
【課題を解決するための手段】この発明は、上記目的を
達成するために、次のような構成をとる。The present invention has the following constitution in order to achieve the above object.
【0012】すなわち、この発明に係る手術機器具の位
置表示装置は、予め収集しておいた被検体の関心部位の
断層画像上に、手術中に被検体内に差し入れられる手術
機器の位置を重ね合わせて表示する手術器具の位置表示
装置であって、前記収集しておいた断層画像上の注意を
要する注意構造物の位置を指定する注意構造物位置指定
手段と、この指定手段で指定された注意構造物の位置を
記憶する注意構造物位置記憶手段と、手術器具の位置検
出手段で検出された手術器具の位置が前記注意構造物位
置記憶手段に記憶された注意構造物の位置情報と一致す
るかを監視し警告信号を出力する位置監視手段と、この
位置監視手段の出力信号で作動する警告手段と、を備え
たことを特徴としている。That is, the position display device for a surgical instrument according to the present invention superimposes the position of the surgical instrument inserted into the subject during the operation on the tomographic image of the region of interest of the subject that has been collected in advance. A position display device for surgical instruments which is also displayed, wherein a position of a caution structure for designating a position of a caution structure requiring attention on the collected tomographic image and a position specified by the specifying unit Attention structure position storage means for storing the position of the attention structure, and the position of the surgical instrument detected by the position detection means of the surgical instrument match the position information of the attention structure stored in the attention structure position storage means. It is characterized in that it is provided with a position monitoring means for monitoring whether or not to output a warning signal and a warning means operated by an output signal of the position monitoring means.
【0013】[0013]
【作用】この発明の作用は次のとおりである。The operation of the present invention is as follows.
【0014】注意構造物位置指定手段は、画像記憶手段
に記憶されている被検体の関心部位ごとの断層像上の注
意構造物の位置(座標)を指定し、指定された注意構造
物の位置(座標)が注意構造物位置記憶手段に記憶され
る。The attention structure position designation means designates the position (coordinates) of the attention structure on the tomographic image of each region of interest of the subject stored in the image storage means, and the designated position of the attention structure. The (coordinates) are stored in the caution structure position storage means.
【0015】位置監視手段は、位置検出手段で順次検出
される手術器具の位置と、前記注意構造物位置記憶手段
に記憶されている注意構造物の位置とを監視し、手術器
具の位置が注意構造物の位置の所定範囲内に近づくと警
告手段を作動させる。The position monitoring means monitors the position of the surgical instrument sequentially detected by the position detecting means and the position of the caution structure stored in the caution structure position storage means, and the position of the surgical tool is checked. The warning means is activated when the position of the structure approaches a predetermined range.
【0016】警告手段は、スピーカ等の術者の聴覚、な
いし、断層像と共に手術器具の位置を示すパターンが表
示される表示手段上に警告メッセージを表示する視覚に
訴えるものであり、それの作動でもって、術者は注意構
造物に手術器具が接近ないし位置したことが感知でき
る。The warning means appeals to the operator's hearing such as a speaker, or to visually display a warning message on the display means on which the pattern indicating the position of the surgical instrument is displayed together with the tomographic image, and its operation. Therefore, the operator can detect that the surgical instrument approaches or is located at the attention structure.
【0017】[0017]
【実施例】以下、図面を参照してこの発明の実施例を説
明する。Embodiments of the present invention will be described below with reference to the drawings.
【0018】図1は、この発明に係わる手術器具の位置
表示装置の一実施例の概略構成を示す図である。FIG. 1 is a view showing the schematic arrangement of an embodiment of the position display device for a surgical instrument according to the present invention.
【0019】図1においては、符号1は被検体Mが載置
された手術台である。2は手術中に術者によって被検体
Mに差し入れられる手術器具である。手術台1上には、
三次元方向にそれぞれ磁界を発生する磁気ソース3a
が、被検体Mとの相対位置関係が変化しないように配備
されている。なお、この磁気ソース3aは被検体M自身
に取付け固定してもよい。手術器具2の後端部には、磁
気ソース3aから発生された三次元の磁界を検出する磁
気センサー3bが取り付けられている。図2に示すよう
に、磁気ソース3aは、三次元方向X、Y、Zにそれぞ
れ磁界を発生させる3つのコイル3ax、3ay、3azから
構成されている。磁気ソース3aは、駆動回路4に接続
され、この駆動回路4から交流電流を与えられることに
より三次元の磁界Hを発生する。磁気センサー3bも同
様に、互いに直交した3つのコイル3bx、3by、3bzか
ら構成されている。磁気センサー3bは、検出回路5に
接続されている。この検出回路5は、各コイル3bx、3
by、3bzからの検出信号を増幅して、適宜のディジタル
信号に変換した位置データーを出力する。磁気ソース3
a、磁気センサー3b、駆動回路4、検出回路5、及び
後述する位置算出部7は、この発明における位置検出手
段に相当する。In FIG. 1, reference numeral 1 is an operating table on which the subject M is placed. Reference numeral 2 denotes a surgical instrument that is inserted into the subject M by an operator during surgery. On the operating table 1,
Magnetic source 3a that generates magnetic fields in three-dimensional directions
However, they are arranged so that the relative positional relationship with the subject M does not change. The magnetic source 3a may be attached and fixed to the subject M itself. A magnetic sensor 3b that detects a three-dimensional magnetic field generated from the magnetic source 3a is attached to the rear end of the surgical instrument 2. As shown in FIG. 2, the magnetic source 3a is composed of three coils 3ax, 3ay, and 3az that generate magnetic fields in the three-dimensional directions X, Y, and Z, respectively. The magnetic source 3a is connected to the drive circuit 4 and generates a three-dimensional magnetic field H by receiving an alternating current from the drive circuit 4. Similarly, the magnetic sensor 3b is also composed of three coils 3bx, 3by, 3bz orthogonal to each other. The magnetic sensor 3b is connected to the detection circuit 5. This detection circuit 5 includes coils 3bx and 3b
The detected signal from by and 3bz is amplified and the position data converted into an appropriate digital signal is output. Magnetic source 3
The a, the magnetic sensor 3b, the drive circuit 4, the detection circuit 5, and the position calculation unit 7 described later correspond to the position detection means in this invention.
【0020】画像処理コンピューター6は、手術器具2
の位置検出、その先端部の位置検出、検出された位置に
応じた画像の選択、選択された画像上への手術器具2の
パターンの合成、注意構造物位置指定部で指定された注
意構造物の位置の記憶、手術器具位置が注意構造物の位
置に存在しているかどうかの監視を行なうものであり、
その内部構成を機能別に大別すると、位置算出部7、位
置情報変換部8、変換値算出部9、画像選択部10、画
像合成部11、注意構造物位置メモリ12、位置監視部
13からなる。The image processing computer 6 is a surgical instrument 2
Position detection, position detection of the tip portion thereof, selection of an image according to the detected position, synthesis of a pattern of the surgical instrument 2 on the selected image, attention structure designated by the attention structure position designation unit The position of the surgical instrument is monitored and whether the surgical instrument position is present at the position of the attention structure,
The internal configuration is roughly classified by function, and includes a position calculation unit 7, a position information conversion unit 8, a conversion value calculation unit 9, an image selection unit 10, an image synthesis unit 11, an attention structure position memory 12, and a position monitoring unit 13. .
【0021】位置算出部7は、検出回路5からの位置デ
ーターに基づいて、磁気センサー3bの三次元位置及び
方向を算出する。さらに予めデーターとして与えられて
いる手術器具2の大きさを考慮して、最終的には、手術
器具2の先端の三次元位置及び方向を求める。なお、上
述した磁気ソース3aおよび磁気センサー3bを使って
磁気センサー3bの実空間座標および方向を算出する手
法は、例えば、特開平3−267054号によって知ら
れているので、ここでの説明は省略する。The position calculator 7 calculates the three-dimensional position and direction of the magnetic sensor 3b based on the position data from the detection circuit 5. Further, in consideration of the size of the surgical instrument 2 given in advance as data, the three-dimensional position and direction of the tip of the surgical instrument 2 are finally obtained. The method of calculating the real space coordinates and direction of the magnetic sensor 3b using the magnetic source 3a and the magnetic sensor 3b described above is known, for example, from Japanese Patent Laid-Open No. 3-267054, and therefore the description thereof is omitted here. To do.
【0022】変換値算出部9は、位置算出部7によって
算出された磁気センサー3b実空間座標/方向からなる
位置情報を、手術器具2の大きさや形状からその先端部
の位置を含む変換位置情報に変換するための変換値を予
め格納するものである。位置情報変換部8は変換値算出
部9内の変換値を使用して、位置算出部7からの位置情
報を画像上の位置情報に変換する。The conversion value calculation unit 9 converts the position information consisting of the real space coordinates / direction of the magnetic sensor 3b calculated by the position calculation unit 7 into the conversion position information including the position of the distal end portion of the surgical instrument 2 from the size and shape thereof. The conversion value for conversion into is stored in advance. The position information conversion unit 8 uses the conversion value in the conversion value calculation unit 9 to convert the position information from the position calculation unit 7 into position information on the image.
【0023】画像選択部10は、位置情報変換部8から
与えられる手術器具2の先端部の位置情報に基づき、画
像メモリ14から所要の断層像の画像データーを選択す
るもので、この発明における画像選択手段に相当する。
画像メモリ14は、被検体Mの関心領域内の関心部位毎
の断層像の画像データーを記憶するものであり、この発
明における画像記憶手段に相当する。The image selection unit 10 selects the image data of a required tomographic image from the image memory 14 based on the position information of the tip of the surgical instrument 2 provided from the position information conversion unit 8. It corresponds to the selection means.
The image memory 14 stores image data of a tomographic image for each region of interest in the region of interest of the subject M, and corresponds to the image storage means in the present invention.
【0024】画像合成部11は、画像選択部10によっ
て選択された画像上の、位置情報変換部8によって求め
られた変換位置情報の示す位置に手術器具2の位置を示
す所定パターンを重ね合わせるもので、この発明におけ
る画像合成手段に相当する。画像合成部11で合成され
た画像は、この発明における表示手段に相当するモニタ
15に与えられる。The image synthesizing unit 11 superimposes a predetermined pattern indicating the position of the surgical instrument 2 on the position indicated by the converted position information obtained by the position information converting unit 8 on the image selected by the image selecting unit 10. And corresponds to the image synthesizing means in this invention. The image synthesized by the image synthesizing unit 11 is given to the monitor 15 corresponding to the display means in the present invention.
【0025】注意構造物位置メモリ12は、マウスなど
の注意構造物位置指定部16で指定された注意構造物の
位置(座標)を記憶するもので、この発明における注意
構造物位置記憶手段に相当し、注意構造物位置指定部1
6は、この発明における注意構造物位置指定手段に相当
する。The attention structure position memory 12 stores the position (coordinates) of the attention structure designated by the attention structure position designation unit 16 such as a mouse, and corresponds to the attention structure position storage means in the present invention. And attention structure position designation part 1
Reference numeral 6 corresponds to the caution structure position designating means in the present invention.
【0026】位置監視部13は、位置情報変換部8から
与えられる手術器具2の先端部の位置と注意構造物位置
メモリ12に記憶されている注意構造物の位置とを比較
して手術器具2の状態を常に監視し、手術器具2が注意
構造物に接近ないし位置した際に警告信号を発するもの
で、この発明の位置監視手段に相当する。The position monitoring unit 13 compares the position of the tip of the surgical instrument 2 provided from the position information conversion unit 8 with the position of the caution structure stored in the caution structure position memory 12 to compare the position of the caution instrument 2. The above condition is constantly monitored, and a warning signal is issued when the surgical instrument 2 approaches or is positioned at the attention structure, and corresponds to the position monitoring means of the present invention.
【0027】音声部17はこの実施例ではスピーカで位
置監視部13の警告信号で音、ないし、音声を発するも
ので、この発明の警告手段に相当する。In this embodiment, the voice section 17 is a speaker which emits sound or voice in response to the warning signal from the position monitoring section 13, and corresponds to the warning means of the present invention.
【0028】上記構成の装置において手術器具2の位置
を表示するには、装置を動作させるに先立ち、画像メモ
リ14に断層像を収集記憶させると共に注意構造物位置
メモリ12に注意構造物の位置を記憶させておく必要が
ある。In order to display the position of the surgical instrument 2 in the apparatus having the above structure, the tomographic images are collected and stored in the image memory 14 and the position of the attention structure is displayed in the attention structure position memory 12 before the apparatus is operated. It needs to be remembered.
【0029】図3を参照して画像メモリ14に記憶され
る断層像の収集について説明する。図3(a) に示すよう
に、手術台1に載置された被検体Mの関心部位付近(こ
の例では頭部)の体表面の4ケ所にマーカーP1 、
P2 、P3 、P4 を貼り付け、関心部位を含む領域内の
複数のスライス面S1 〜Sn の断面像を各マーカー
P1、P2 、P3 、P4 とともにX線CT装置、MRI
装置などにより撮影する。このようにして得られた断層
像I1 〜In の模式図を図3(b) に示す。これらの断層
像I1 〜In およびマーカーP1 、P2 、P3 、P
4 は、撮影に使用したX線CT装置の固有の空間座標
(CT座標系)によってその位置が定義されている。こ
の断層像I1 〜In およびマーカーP1 、P2 、P3 、
P4 のCT座標系は画像メモリ13に格納される。Collection of tomographic images stored in the image memory 14 will be described with reference to FIG. As shown in FIG. 3 (a), markers P 1 are provided at four positions on the body surface in the vicinity of the region of interest (the head in this example) of the subject M placed on the operating table 1 .
P 2, paste P 3, P 4, a plurality of slice planes S 1 to S n each marker a cross-sectional image of P 1, P 2, P 3 , P 4 with X-ray CT apparatus in the area including the area of interest , MRI
Take a picture with a device. A schematic view of the thus tomogram I 1 ~I n obtained is shown in FIG. 3 (b). These tomographic images I 1 ~I n and markers P 1, P 2, P 3 , P
The position of 4 is defined by the unique spatial coordinates (CT coordinate system) of the X-ray CT apparatus used for imaging. The tomographic image I 1 ~I n and markers P 1, P 2, P 3 ,
The CT coordinate system of P 4 is stored in the image memory 13.
【0030】注意構造物の位置を指定し、位置メモリ1
2に記憶させるには注意構造物位置指定部16を用い
る。注意構造物位置指定部16で画像メモリ14に収集
記憶した画像を読み出してモニタ15上に表示し、手術
の際に取り扱いに注意を要する血管や神経等の注意構造
物の画像上の位置をマウス等で指定し、その画像上の座
標を注意構造部位置メモリ12に記憶させる。このとき
同時に、複数の画像のいずれかに写っているマーカーの
画像上の座標(CT座標系)も記憶させておく。なお、
図3(b) のA、Bは、注意構造物を示す。The position of the caution structure is specified and the position memory 1
The attention structure position specifying unit 16 is used to store the information in the second structure. An image collected and stored in the image memory 14 by the attention structure position designation unit 16 is read out and displayed on the monitor 15, and the position on the image of the attention structure such as a blood vessel or a nerve that requires attention during the operation is indicated by the mouse. Etc., and the coordinates on the image are stored in the attention structure portion position memory 12. At this time, the coordinates (CT coordinate system) on the image of the marker appearing in any of the plurality of images are also stored at the same time. In addition,
A and B of FIG. 3 (b) show a caution structure.
【0031】画像メモリ14に収集記憶された画像デー
ターは、X線CT装置などの断層撮影を行なった装置の
固有の空間座標(CT座標系)で表わされており、この
CT座標系の固有空間座標と、手術器具の位置表示装置
の実空間座標(手術器具の位置検出手段を基準とする座
標系)との対応付け、所謂、キャリブレーションを手術
の直前に行なう必要がある。The image data collected and stored in the image memory 14 is represented by the spatial coordinates (CT coordinate system) peculiar to a tomographic apparatus such as an X-ray CT apparatus. It is necessary to associate the spatial coordinates with the real space coordinates of the surgical instrument position display device (coordinate system with the surgical instrument position detecting means as a reference), that is, to perform so-called calibration immediately before the surgery.
【0032】キャリブレーションは、各マーカーP1 、
P2 、P3 、P4 の実空間上の位置を図1で説明した磁
気ソース3a、及び、磁気センサー3bを使って測定す
ることで行なう。Calibration is carried out for each marker P 1 ,
The position of P 2 , P 3 , and P 4 in the real space is measured by using the magnetic source 3a and the magnetic sensor 3b described in FIG.
【0033】すなわち、被検体Mを磁気ソース3aと共
に手術台1に固定し、磁気センサー3bが取付けられて
いてその先端位置が検出可能なキャリブレーションプロ
ーブの先端を、被検体M上の各マーカーP1 、P2 、P
3 、P4 に順次接触させる。各マーカー位置は、検出回
路5を通り磁気ソース3aとの相対位置から、実空間上
のそれぞれの三次元位置座標として算出される。That is, the subject M is fixed to the operating table 1 together with the magnetic source 3a, and the tip of the calibration probe, to which the magnetic sensor 3b is attached and whose tip position can be detected, is attached to each marker P on the subject M. 1 , P 2 , P
3 and P 4 are sequentially contacted. Each marker position is calculated as a three-dimensional position coordinate in the real space from the relative position with respect to the magnetic source 3a through the detection circuit 5.
【0034】このようにして求めた全マーカーP1 、P
2 、P3 、P4 の実空間上の座標は、先に求めた同じマ
ーカーの画像上の座標にそれぞれ対応づけられ、実空間
上の位置を画像上の位置に三次元アフィン変換するため
の変換値が変換値算出部9で算出され、その変換値が位
置情報変換部8に記憶される。All the markers P 1 , P obtained in this way
The coordinates of 2 , P 3 and P 4 in the real space are respectively associated with the coordinates of the same marker on the image obtained previously, and are used for three-dimensional affine transformation of the position in the real space to the position on the image. The conversion value is calculated by the conversion value calculation unit 9, and the conversion value is stored in the position information conversion unit 8.
【0035】以上のように断層像の収集、注意構造物の
位置指定とその記憶及び、画像上の位置と実空間上の位
置との対応付け(キャリブレーション)が終了すると、
手術に移行する。When the tomographic image collection, the position designation and storage of the attention structure, and the association (calibration) between the position on the image and the position on the real space are completed as described above,
Move to surgery.
【0036】手術では、磁気センサー3bが固定されそ
の先端座標が計算可能な吸引管等の手術器具2が被検体
Mの関心部位(体内)に差し入れられる。被検体Mに対
しその位置が固定されている磁気ソース3aには、駆動
回路から交流が送られ、磁気ソース3a内部のコイルに
よって三次元方向に磁場が発生される。検出回路5はこ
の交流電流から磁気センサー3bの位置を計算し、位置
算出部7は手術器具2の先端の実空間上の座標を順次求
める。In the surgery, the surgical instrument 2 such as a suction tube whose magnetic sensor 3b is fixed and whose tip coordinates can be calculated is inserted into the region of interest (inside the body) of the subject M. An alternating current is sent from the drive circuit to the magnetic source 3a whose position is fixed with respect to the subject M, and a coil inside the magnetic source 3a generates a magnetic field in a three-dimensional direction. The detection circuit 5 calculates the position of the magnetic sensor 3b from this alternating current, and the position calculation unit 7 sequentially obtains the coordinates of the tip of the surgical instrument 2 in real space.
【0037】手術器具2の先端の実空間上の座標は、位
置情報変換部8によって断層像上の座標に変換される。
画像選択部10は、この変換された断層像上の座標に対
応する断層像を画像メモリ14から選択して取り出す。
選択された画像は画像合成部11に送られる。The coordinates in the real space of the tip of the surgical instrument 2 are converted into the coordinates on the tomographic image by the position information conversion unit 8.
The image selection unit 10 selects and extracts the tomographic image corresponding to the coordinates on the converted tomographic image from the image memory 14.
The selected image is sent to the image composition unit 11.
【0038】画像合成部11は、この選択された断層像
上の位置情報変換部8で変換された座標位置に、手術器
具2の位置を示す所定のパターンを重ね合わせ、その合
成画像をモニタ15に出力する。以上の処理を逐次リア
ルタイムで実行することによりモニタ15には、選択さ
れた画像上に位置算出部7で検出された手術器具2の現
在位置を所定パターンで表わした画像が順次表示され、
術者は手術器具2の位置を確認しながら手術を行なうこ
とができる。The image synthesizing unit 11 superimposes a predetermined pattern indicating the position of the surgical instrument 2 on the coordinate position converted by the position information converting unit 8 on the selected tomographic image, and the composite image is monitored 15 Output to. By sequentially executing the above-described processing in real time, the monitor 15 sequentially displays on the selected image an image representing the current position of the surgical instrument 2 detected by the position calculation unit 7 in a predetermined pattern.
The operator can perform an operation while confirming the position of the surgical instrument 2.
【0039】この動作と並行して手術器具2の先端が注
意構造物の位置に接近ないし位置したかの監視を位置監
視部13がリアルタイムで行なう。図4は位置監視部1
3の動作を示すフロチャートである。In parallel with this operation, the position monitoring unit 13 monitors in real time whether the tip of the surgical instrument 2 approaches or is positioned at the position of the structure of interest. FIG. 4 shows the position monitoring unit 1.
6 is a flowchart showing the operation of No. 3.
【0040】位置算出部7で手術器具2の先端の実空間
上の座標が刻々求められ(ステップS1 )、位置情報変
換部8で断層像上の座標に変換される(ステップ
S2 )。送られてきた手術器具2の位置情報であるそれ
の先端の断層像上の座標は、即前記注意構造物位置メモ
リ12に記憶されている注意構造物の画像上の座標と比
較される(ステップS3 、S4 )。The position calculating section 7 obtains the coordinates of the tip of the surgical instrument 2 in real space every moment (step S 1 ), and the position information converting section 8 converts the coordinates into the coordinates on the tomographic image (step S 2 ). The coordinates on the tomographic image of the tip of the surgical instrument 2, which is the positional information of the surgical instrument 2, which have been sent are immediately compared with the coordinates on the image of the caution structure stored in the caution structure position memory 12 (step). S 3 , S 4 ).
【0041】この比較は位置監視部13で行なわれ、手
術器具先端の実空間上の座標が、注意構造物の座標の中
心とする半径5mmの球内に存在しなければ、それはなに
も指示を出さずにステップS1 へ戻り、次の手術器具2
の位置情報を得、同様の動作を繰り返えす。もし、手術
器具先端の実空間上の座標が、注意構造物Aの座標を中
心とする半径5mmの球内に存在すれば(ステップ
S3 )、音声部17を動作させそれから警告音ないし、
警告メッセイジを発生させると共にモニタ15に警告メ
ッセイジを表示する(ステップS5 )。これにより、術
者が注意構造物Aの座標(位置)の半径5mmの球内に手
術器具の先端が位置したことを知ることができる。注意
構造物Aでの手技がなされ、手術器具の先端が次の注意
構造物Bの位置に近づいてそれの座標を中心とする半径
5mmの球内に存在すると(ステップS4)、音声部16
を動作させそれから警告音ないし警告メッセイジを発生
させると共にモニタ15に警告メッセイジを表示する
(ステップS6 )。This comparison is performed by the position monitoring unit 13, and if the coordinates of the tip of the surgical instrument in the real space do not exist within a sphere with a radius of 5 mm which is the center of the coordinates of the attention structure, it indicates nothing. Return to step S 1 without issuing
Position information is obtained and the same operation is repeated. If the coordinates of the tip of the surgical instrument in the real space are present within a sphere with a radius of 5 mm centered on the coordinates of the attention structure A (step S 3 ), the audio section 17 is operated and no warning sound is given,
Warning Messeiji the monitor 15 together to generate a warning Messeiji Show (Step S 5). This allows the operator to know that the tip of the surgical instrument is located within the sphere having a radius (5 mm) of the coordinate (position) of the attention structure A. When a procedure is performed on the caution structure A and the tip of the surgical instrument approaches the position of the next caution structure B and exists within a sphere with a radius of 5 mm centered on the coordinates of the next caution structure B (step S 4 ), the audio unit 16
Is operated and then a warning sound or a warning message is generated and a warning message is displayed on the monitor 15 (step S 6 ).
【0042】この動作は注意構造物位置メモリ12に記
憶されている全ての注意構造物について行なわれる。This operation is performed for all the attention structures stored in the attention structure position memory 12.
【0043】したがって、術者が手術前に注意構造物位
置指定部16で指定した注意構造物に手術器具先端が近
づいたことを術者は手術中にリアルタイムに知ることが
できる。Therefore, the operator can know in real time during the operation that the tip of the surgical instrument has approached the attention structure designated by the attention structure position designation unit 16 before the surgery.
【0044】[0044]
1)実施例では、X線CT装置で撮影した画像を直接画
像メモリに記憶させるようにしたが、X線CT装置等で
撮影した断層像のフィルムをフィルムリーダーなどで読
み取り、画像メモリに記憶させても、また、光磁気ディ
スクなどの記録媒体から読み取り、画像メモリに記憶さ
せるようにしてもよい。1) In the embodiment, the image photographed by the X-ray CT apparatus is directly stored in the image memory, but the film of the tomographic image photographed by the X-ray CT apparatus or the like is read by the film reader or the like and stored in the image memory. Alternatively, it may be read from a recording medium such as a magneto-optical disk and stored in the image memory.
【0045】2)実施例では、注意構造物座標を中心と
する半径5mmの球内に、手術器具の先端が位置した場合
に警告音と警告メッセイジを発するようにしたが、注意
構造物座標を含んでおれば、どのような形状のどのよう
な範囲であってもよい。2) In the embodiment, the warning sound and the warning message are issued when the tip of the surgical instrument is located within a sphere having a radius of 5 mm with the coordinate of the structure of attention as the center. As long as it is included, it may have any shape and any range.
【0046】また、その形状や範囲を手術前ないし手術
中に変更できるようにしてもよい。さらに、注意構造物
座標を中心とする範囲に応じて警告音の種類や警告メッ
セイジの内容を変えてもよい。Further, the shape and range may be changed before or during the operation. Furthermore, the type of the warning sound and the content of the warning message may be changed according to the range centered on the attention structure coordinates.
【0047】このようにすれば、手術器具の先端がどの
程度、注意構造物に近づいているかを術者が知ることが
できる。In this way, the operator can know how close the tip of the surgical instrument is to the attention structure.
【0048】また、手術器具の先端が注意構造物座標を
中心とする所定の範囲に存在している間中警告音や警告
メッセイジが発せられるようにすることも可能である。It is also possible to emit a warning sound or a warning message while the tip of the surgical instrument is present in a predetermined range centered on the coordinates of the attention structure.
【0049】3)注意構造物を指定する際に、その座標
値と共に「内頚動脈」、「視神経」などの注意構造物の
部位名も入力し記憶させ、部位名をも警告するようにし
てもよい。3) When designating a caution structure, the site name of the caution structure such as "internal carotid artery" and "optic nerve" is input and stored together with the coordinate values, and the site name is also warned. Good.
【0050】このようにすれば、術者が手術器具の先端
がどの注意構造物に近づいたかを知ることができる。In this way, the operator can know which attention structure the tip of the surgical instrument has approached.
【0051】4)実施例では、注意構造物の位置の注意
構造物位置への記憶をキャリブレーションの前に行なう
ようにしたが、この手順を逆にしてもよい。4) In the embodiment, the position of the caution structure is stored in the caution structure position before the calibration, but this procedure may be reversed.
【0052】5)実施例では、キャリブレーション時に
キャリブレーションプローブを用いたが、手術器具2を
キャリブレーションに共用してもよい。5) In the embodiment, the calibration probe is used during the calibration, but the surgical instrument 2 may be used for the calibration.
【0053】このようにすれば、使用する器具に応じて
磁気センサーを付け替える手間を省くことができ、術者
の負担を少なくすることができる。By doing so, it is possible to save the labor of replacing the magnetic sensor according to the instrument used, and to reduce the burden on the operator.
【0054】6)実施例では、磁気ソース3a及び磁気
センサー3bを用いて手術器具2及びキャリブレーショ
ンプローブの位置を検出したが、この発明は、これに限
定されることなく、例えば、手術器具2またはキャリブ
レーションプローブを多関節のアームの先端に取り付
け、各関節部分でアームの角度を検出することにより、
手術器具2またはキャリブレーションプローブの位置を
検出するように構成してもよい。このように構成するこ
とにより磁気ソース3aによって、形成されている磁界
を乱すような磁性体や導電体などから、構成される器具
を使用することができる。6) In the embodiment, the positions of the surgical instrument 2 and the calibration probe are detected using the magnetic source 3a and the magnetic sensor 3b. However, the present invention is not limited to this, and for example, the surgical instrument 2 can be used. Or by attaching a calibration probe to the end of an articulated arm and detecting the arm angle at each joint,
It may be configured to detect the position of the surgical instrument 2 or the calibration probe. With such a configuration, it is possible to use an instrument composed of a magnetic body or a conductor that disturbs the magnetic field formed by the magnetic source 3a.
【0055】[0055]
【発明の効果】以上で明らかなように、この発明によれ
ば、神経や主要血管等の注意構造物に手術器具が近づく
と警告音等で術者にその旨を知らせるので、被検体の個
々の差による注意構造物の違いに関かわらず、術者は注
意構造物に手術器具が近づいたことを知ることができる
ので、被検体個々の注意構造物の位置を全て記憶してお
く必要がなくなる。As is apparent from the above, according to the present invention, when a surgical instrument approaches a caution structure such as a nerve or a main blood vessel, the operator is informed by a warning sound or the like. The operator can know that the surgical instrument is approaching the attention structure regardless of the difference in the attention structure due to the difference in the difference. Therefore, it is necessary to memorize all the positions of the attention structure of each subject. Disappear.
【0056】したがって、術者の精神的負担が著じるし
く軽減し、術者は手術に集中することができる。Therefore, the mental burden on the operator is remarkably reduced, and the operator can concentrate on the operation.
【0057】また、骨など視覚的な妨げとなるものの背
後に注意すべき構造物があるとどうかも容易に知ること
ができるので、重大な医療ミスの可能性もなくなる。Further, since it is possible to easily know that there is a structure to be noted behind a visual obstacle such as a bone, there is no possibility of a serious medical error.
【図1】実施例に係わる手術器具に位置表示装置の概略
構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of a position display device in a surgical instrument according to an embodiment.
【図2】磁気ソース及び磁気センサーの説明図である。FIG. 2 is an explanatory diagram of a magnetic source and a magnetic sensor.
【図3】断層像の収集の説明に供する図である。FIG. 3 is a diagram for explaining acquisition of tomographic images.
【図4】図1の位置監視手段の動作を示すフローチャー
トである。4 is a flowchart showing the operation of the position monitoring means of FIG.
1…手術台 2…手術器具 3a…磁気ソース 3b…磁気セ
ンサー 4…駆動回路 5…検出回路 6…画像処理コンピュータ 7…位置算出
部 8…位置情報変換部 9…変換値算
出部 10…画像選択部 11…画像合
成部 12…注意構造物位置メモリ 13…位置監
視部 14…画像メモリ 15…モニタ 16…注意構造物位置指定部 17…音声部DESCRIPTION OF SYMBOLS 1 ... Operating table 2 ... Surgical instrument 3a ... Magnetic source 3b ... Magnetic sensor 4 ... Drive circuit 5 ... Detection circuit 6 ... Image processing computer 7 ... Position calculation unit 8 ... Position information conversion unit 9 ... Conversion value calculation unit 10 ... Image selection Part 11 ... Image composition part 12 ... Attention structure position memory 13 ... Position monitoring part 14 ... Image memory 15 ... Monitor 16 ... Attention structure position designation part 17 ... Voice part
フロントページの続き (72)発明者 早川 徹 兵庫県神戸市東灘区御影山手1丁目2番地 (72)発明者 吉峰 俊樹 兵庫県芦屋市竹園町3−7 (72)発明者 加藤 天美 大阪府茨木市上野町9−20 (72)発明者 岡村 昇一 京都市中京区西ノ京桑原町1番地 株式会 社島津製作所三条工場内 (72)発明者 奥村 武志 京都市中京区西ノ京桑原町1番地 株式会 社島津製作所三条工場内Front Page Continuation (72) Inventor Toru Hayakawa 1-2, Mikage Yamate, Higashinada-ku, Kobe City, Hyogo Prefecture (72) Inventor Toshiki Yoshimine 3-7 Takezonocho, Ashiya City, Hyogo Prefecture (72) Inventor Kato Amami Ibaraki City, Osaka Prefecture 9-20 Ueno-cho (72) Inventor Shoichi Okamura 1 Nishinokyo Kuwabara-cho, Nakagyo-ku, Kyoto Stock Company Shimadzu Sanjo Factory (72) Inventor Takeshi Okumura Nishinokyo Kuwahara-cho 1 Nakagyo-ku, Kyoto Shimazu Factory Sanjo Factory Within
Claims (1)
ーターを記憶する画像記憶手段と、手術器具の位置を順
次検出する位置検出手段と、前記位置検出手段からの位
置情報に基づいて前記画像記憶手段から画像データーを
順次選択する画像選択手段と、前記画像選択手段によっ
て選択された画像上の、前記位置検出手段で検出された
位置に、手術器具の位置を示す所定パターンを重ね合わ
せる画像合成手段と、前記画像合成手段によって合成さ
れた画像を表示する表示手段と、から構成される手術器
具の位置表示装置において、前記画像記憶手段に記憶さ
れた画像上の注意を要する構造物を指定する注意構造物
位置指定手段と、指定された注意構造物の位置情報を記
憶する注意構造物位置記憶手段と、前記位置検出手段で
検出された手術器具の位置が前記注意構造物位置記憶手
段に記憶された注意構造物の位置情報と一致するかどう
かを監視し、警告信号を出力する位置監視手段と、前記
位置監視手段からの警告信号で作動する警告手段と、を
備えたことを特徴とする手術器具の位置表示装置。1. An image storage unit that stores image data of a tomographic image for each region of interest of a subject, a position detection unit that sequentially detects the position of a surgical instrument, and the position detection unit based on position information from the position detection unit. An image selecting means for sequentially selecting image data from the image storing means, and an image for superimposing a predetermined pattern indicating the position of the surgical instrument on the position detected by the position detecting means on the image selected by the image selecting means In a position display device for a surgical instrument comprising a synthesizing means and a display means for displaying an image synthesized by the image synthesizing means, a structure requiring attention on the image stored in the image storing means is designated. Caution structure position specifying means, caution structure position storing means for storing position information of the specified caution structure, and surgical instrument detected by the position detecting means Position monitoring means for monitoring whether or not the position coincides with the position information of the caution structure stored in the caution structure position storage means, and outputs a warning signal, and the warning signal from the position monitoring means operates. A position display device for a surgical instrument, comprising: a warning unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14649694A JP3217593B2 (en) | 1994-06-28 | 1994-06-28 | Surgical instrument position display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14649694A JP3217593B2 (en) | 1994-06-28 | 1994-06-28 | Surgical instrument position display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0810266A true JPH0810266A (en) | 1996-01-16 |
JP3217593B2 JP3217593B2 (en) | 2001-10-09 |
Family
ID=15408943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14649694A Expired - Lifetime JP3217593B2 (en) | 1994-06-28 | 1994-06-28 | Surgical instrument position display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3217593B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0810265A (en) * | 1994-06-30 | 1996-01-16 | Shimadzu Corp | Spatial coordinate setting device for tomographic image |
JPH11290340A (en) * | 1998-04-13 | 1999-10-26 | Shimadzu Corp | Position display device for surgical instrument |
JPH11332884A (en) * | 1998-05-29 | 1999-12-07 | Shimadzu Corp | Position display device for operation apparatus |
US6283763B1 (en) | 1997-12-01 | 2001-09-04 | Olympus Optical Co., Ltd. | Medical operation simulation system capable of presenting approach data |
JP2002355257A (en) * | 2001-05-30 | 2002-12-10 | Olympus Optical Co Ltd | Surgical operation system |
US7166114B2 (en) | 2002-09-18 | 2007-01-23 | Stryker Leibinger Gmbh & Co Kg | Method and system for calibrating a surgical tool and adapter thereof |
JP2010057531A (en) * | 2008-09-01 | 2010-03-18 | Seiko Epson Corp | Fluid jetting apparatus, method of controlling the same and surgical apparatus |
JP2010524624A (en) * | 2007-04-26 | 2010-07-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Risk indication for surgical procedures |
US7771436B2 (en) | 2003-12-10 | 2010-08-10 | Stryker Leibinger Gmbh & Co. Kg. | Surgical navigation tracker, system and method |
US7873400B2 (en) | 2003-12-10 | 2011-01-18 | Stryker Leibinger Gmbh & Co. Kg. | Adapter for surgical navigation trackers |
JP2021509323A (en) * | 2017-12-26 | 2021-03-25 | アクラレント インコーポレイテッドAcclarent, Inc. | Monitoring distance to selected anatomy during treatment |
JP2021530308A (en) * | 2018-07-16 | 2021-11-11 | エシコン エルエルシーEthicon LLC | Visualization of surgical equipment |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08509393A (en) * | 1993-02-16 | 1996-10-08 | ゲオルク クリーギス、ウルリッヒ | How to develop and control surgical procedures |
-
1994
- 1994-06-28 JP JP14649694A patent/JP3217593B2/en not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08509393A (en) * | 1993-02-16 | 1996-10-08 | ゲオルク クリーギス、ウルリッヒ | How to develop and control surgical procedures |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0810265A (en) * | 1994-06-30 | 1996-01-16 | Shimadzu Corp | Spatial coordinate setting device for tomographic image |
US6283763B1 (en) | 1997-12-01 | 2001-09-04 | Olympus Optical Co., Ltd. | Medical operation simulation system capable of presenting approach data |
JPH11290340A (en) * | 1998-04-13 | 1999-10-26 | Shimadzu Corp | Position display device for surgical instrument |
JPH11332884A (en) * | 1998-05-29 | 1999-12-07 | Shimadzu Corp | Position display device for operation apparatus |
JP2002355257A (en) * | 2001-05-30 | 2002-12-10 | Olympus Optical Co Ltd | Surgical operation system |
US7166114B2 (en) | 2002-09-18 | 2007-01-23 | Stryker Leibinger Gmbh & Co Kg | Method and system for calibrating a surgical tool and adapter thereof |
US7873400B2 (en) | 2003-12-10 | 2011-01-18 | Stryker Leibinger Gmbh & Co. Kg. | Adapter for surgical navigation trackers |
US7771436B2 (en) | 2003-12-10 | 2010-08-10 | Stryker Leibinger Gmbh & Co. Kg. | Surgical navigation tracker, system and method |
JP2010524624A (en) * | 2007-04-26 | 2010-07-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Risk indication for surgical procedures |
US10111726B2 (en) | 2007-04-26 | 2018-10-30 | Koninklijke Philips N.V. | Risk indication for surgical procedures |
JP2010057531A (en) * | 2008-09-01 | 2010-03-18 | Seiko Epson Corp | Fluid jetting apparatus, method of controlling the same and surgical apparatus |
JP2021509323A (en) * | 2017-12-26 | 2021-03-25 | アクラレント インコーポレイテッドAcclarent, Inc. | Monitoring distance to selected anatomy during treatment |
JP2021530308A (en) * | 2018-07-16 | 2021-11-11 | エシコン エルエルシーEthicon LLC | Visualization of surgical equipment |
Also Published As
Publication number | Publication date |
---|---|
JP3217593B2 (en) | 2001-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4822634B2 (en) | A method for obtaining coordinate transformation for guidance of an object | |
JP5207795B2 (en) | System and method for navigating an object being imaged | |
US7671887B2 (en) | System and method of navigating a medical instrument | |
US6167292A (en) | Registering method and apparatus for robotic surgery, and a registering device constituting an application thereof | |
JP2966089B2 (en) | Interactive device for local surgery inside heterogeneous tissue | |
US7570987B2 (en) | Perspective registration and visualization of internal areas of the body | |
US6996430B1 (en) | Method and system for displaying cross-sectional images of a body | |
EP2632341B1 (en) | Identification of objects in ultrasound | |
JP5322600B2 (en) | Ultrasonic diagnostic equipment | |
EP1583470A1 (en) | Method and arrangement for tracking a medical instrument | |
JPH11276502A (en) | Frameless stereotaxic operation apparatus | |
JP2004513684A (en) | Endoscope targeting method and system | |
EP1259160A2 (en) | Apparatus and methods for medical interventions | |
JPH02503519A (en) | Method and apparatus for reproducibly optically displaying surgical procedures | |
JP3217593B2 (en) | Surgical instrument position display device | |
JP4491420B2 (en) | Surgery support device and surgery support imaging device | |
JP2007083050A (en) | Method for visually supporting invasive examination or therapy of heart | |
WO2002091925A1 (en) | 3-d navigation for x-ray imaging system | |
JP2020058779A (en) | Method for supporting user, computer program product, data storage medium, and imaging system | |
JPH08173449A (en) | Method to operate microscope for operation | |
JP3634416B2 (en) | Surgical instrument position display device | |
JP2000051207A (en) | Medical image processor | |
JP4051764B2 (en) | Surgical instrument position display device | |
JP3446317B2 (en) | Spatial coordinate setting device for tomographic images | |
JP3239609B2 (en) | Surgical instrument position display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090803 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090803 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 12 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |