JP3217593B2 - Surgical instrument position display device - Google Patents

Surgical instrument position display device

Info

Publication number
JP3217593B2
JP3217593B2 JP14649694A JP14649694A JP3217593B2 JP 3217593 B2 JP3217593 B2 JP 3217593B2 JP 14649694 A JP14649694 A JP 14649694A JP 14649694 A JP14649694 A JP 14649694A JP 3217593 B2 JP3217593 B2 JP 3217593B2
Authority
JP
Japan
Prior art keywords
image
surgical instrument
cautionary
attention
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP14649694A
Other languages
Japanese (ja)
Other versions
JPH0810266A (en
Inventor
徹 早川
俊樹 吉峰
天美 加藤
昇一 岡村
武志 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP14649694A priority Critical patent/JP3217593B2/en
Publication of JPH0810266A publication Critical patent/JPH0810266A/en
Application granted granted Critical
Publication of JP3217593B2 publication Critical patent/JP3217593B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Surgical Instruments (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は、外科手術ナビゲーシ
ョン装置と呼ばれ、外科手術や生体サンプル採取のため
に被検体内に吸引管などの手術器具を差し入れた際に、
その手術器具が被検体内のどの位置にあるかを表示する
装置、特に、手術前に収集したX線CT像、MRI像、
あるいはX線透視画像上に手術器具の位置を表示する手
術器具の表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is called a surgical navigation apparatus, and is used when a surgical instrument such as a suction tube is inserted into a subject for a surgical operation or a biological sample collection.
A device for displaying the position of the surgical instrument in the subject, in particular, an X-ray CT image, an MRI image collected before the operation,
Alternatively, the present invention relates to a surgical instrument display device for displaying the position of a surgical instrument on an X-ray fluoroscopic image.

【0002】[0002]

【従来の技術】予め収集しておいたMRI像、X線CT
像、X線透視画像に手術器具の位置を重ね合わせて表示
する手術器具の位置表示装置としては、例えば、 NEU
RO-NAVIGATOR(「Three Dimensional Digitizer (Neuro
navigator) :New Equipment Computed Tomography-Guid
ed Stereotaxic Surgery」 :E.Watanabe et al. :SurgN
eurol 1987:27:p543-p547)、「医療用三次元定位装
置」(特開平03-106359)NEURO-SAT を用いた定位脳手
術支援装置、「定位脳手術支援装置」(特開平03-267
054 )を用いたCANS-NAVIGATOR、「体内三次元位置表
示装置」(特開平03-284253 )などがある。
2. Description of the Related Art MRI images and X-ray CT collected in advance
Examples of a surgical instrument position display device that superimposes and displays the position of a surgical instrument on an image or an X-ray fluoroscopic image include NEU
RO-NAVIGATOR (“Three Dimensional Digitizer (Neuro
navigator): New Equipment Computed Tomography-Guid
ed Stereotaxic Surgery '': E. Watanabe et al .: SurgN
eurol 1987: 27: p543-p547), "Medical three-dimensional stereotactic apparatus" (Japanese Patent Laid-Open No. 03-106359), Stereotactic brain surgery support apparatus using NEURO-SAT, "Localized brain surgery support apparatus" (Japanese Patent Laid-open No. 03-267)
054) and CANS-NAVIGATOR, “3D position display device in the body” (Japanese Patent Laid-Open No. 03-284253) and the like.

【0003】これら従来例に係る手術器具の位置表示装
置では、精度の良い手術器具の位置検出手段や、検出さ
れた手術器具位置の表示手段に工夫がなされ、手術器具
の位置を正確に、かつ、簡便に断層画像上に表示するも
のである。
In these conventional surgical instrument position display devices, a means for accurately detecting the position of the surgical instrument and a means for displaying the detected position of the surgical instrument are devised so that the position of the surgical instrument can be accurately and accurately determined. Is simply displayed on the tomographic image.

【0004】また、手術前に被検体の断層画像を用いて
手術経路等を検討できる機能を備えた手術器具の位置表
示装置も提案されている。
Further, there has been proposed a position display device of a surgical instrument having a function of examining a surgical path or the like using a tomographic image of a subject before an operation.

【0005】[0005]

【発明が解決しようとする課題】外科手術、特に、脳外
科手術では、正常な脳機能や構造物への影響を最小限に
して、病変部のみを除去することが肝要である。
In surgery, particularly brain surgery, it is essential to remove only the affected part while minimizing the effect on normal brain functions and structures.

【0006】そのために、手術前に予め収集しておいた
断層画像などから被検体(手術患者)の神経や血管等の
注意構造物の位置を知り、それを基に術式等決定する必
要がある。
For this purpose, it is necessary to know the position of a cautionary structure such as a nerve or a blood vessel of a subject (surgical patient) from a tomographic image or the like collected in advance before the operation, and to determine a surgical procedure or the like based on the position. is there.

【0007】従来に係る手術器具の位置表示装置によれ
ば手術中における手術器具の位置は、断層像に表示され
るものの注意構造物の位置ないしそれの把握は術者(執
刀医)の記憶に頼らざるを得ないものである。
According to the conventional position display apparatus for surgical instruments, the position of the surgical instrument during the operation is displayed on the tomographic image, but the position of the cautionary structure or the grasp thereof is stored in the memory of the operator (surgeon). I have to rely on it.

【0008】また、手術経路等を検討する機能を持った
手術器具の位置表示装置では、手術に先立って術式等を
検討、決定する上で有益であるものの、この機能はその
検討結果を手術中に直接利用できるものではなく、やは
り注意構造物の位置とそれの把握は術者の記憶に頼らざ
るを得ない。
Although a position display device of a surgical instrument having a function of examining an operation route and the like is useful for examining and determining an operation method and the like prior to an operation, this function is used to determine the result of the operation. It is not directly available inside, and the position of the attention structure and its grasp must rely on the operator's memory.

【0009】注意構造物の位置は通常一つではなく多数
に及び、且つ、被検者毎に異なることから、それらの位
置を記憶することは、術者に多大な精神的負担を強いる
ことになり、術者の集中力を妨げることになる。
Since the positions of the cautionary structures are usually not one but many and different for each subject, memorizing those positions imposes a great mental burden on the operator. And disturb the operator's concentration.

【0010】この発明は、上記に鑑みてなされたもので
あって、手術中に手術器具が注意構造物に近づいたこと
を術者に知らせることができるようにした手術器具の位
置表示装置を提供することを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above, and provides a surgical instrument position display device that can notify an operator that a surgical instrument has approached a cautionary structure during an operation. The purpose is to do.

【0011】[0011]

【課題を解決するための手段】この発明は、上記目的を
達成するために、次のような構成をとる。
Means for Solving the Problems The present invention has the following configuration to achieve the above object.

【0012】すなわち、この発明に係る手術機器具の位
置表示装置は、予め収集しておいた被検体の関心部位の
断層画像上に、手術中に被検体内に差し入れられる手術
機器の位置を重ね合わせて表示する手術器具の位置表示
装置であって、前記収集しておいた断層画像上の注意を
要する注意構造物の位置を指定する注意構造物位置指定
手段と、この指定手段で指定された注意構造物の位置を
記憶する注意構造物位置記憶手段と、手術器具の位置検
出手段で検出された手術器具の位置が前記注意構造物位
置記憶手段に記憶された注意構造物の位置情報と一致す
るかを監視し警告信号を出力する位置監視手段と、この
位置監視手段の出力信号で作動する警告手段と、を備え
たことを特徴としている。
In other words, the position display device of the surgical instrument according to the present invention superimposes the position of the surgical instrument inserted into the subject during the operation on the tomographic image of the region of interest of the subject which has been collected in advance. A position display device for a surgical instrument to be displayed together, wherein a cautionary structure position specifying means for specifying a position of a cautionary structure requiring attention on the collected tomographic image; Attention structure position storage means for storing the position of the attention structure, and the position of the surgical instrument detected by the surgical instrument position detection means coincides with the position information of the attention structure stored in the attention structure position storage means. A position monitoring unit that monitors whether the operation is to be performed and outputs a warning signal, and a warning unit that is activated by an output signal of the position monitoring unit.

【0013】[0013]

【作用】この発明の作用は次のとおりである。The operation of the present invention is as follows.

【0014】注意構造物位置指定手段は、画像記憶手段
に記憶されている被検体の関心部位ごとの断層像上の注
意構造物の位置(座標)を指定し、指定された注意構造
物の位置(座標)が注意構造物位置記憶手段に記憶され
る。
The attention structure position designation means designates the position (coordinates) of the attention structure on the tomographic image for each region of interest of the subject stored in the image storage means, and designates the position of the designated attention structure (Coordinates) are stored in the attention structure position storage means.

【0015】位置監視手段は、位置検出手段で順次検出
される手術器具の位置と、前記注意構造物位置記憶手段
に記憶されている注意構造物の位置とを監視し、手術器
具の位置が注意構造物の位置の所定範囲内に近づくと警
告手段を作動させる。
The position monitoring means monitors the positions of the surgical instruments sequentially detected by the position detecting means and the positions of the attention structures stored in the attention structure position storage means. When the position of the structure approaches a predetermined range, the warning means is activated.

【0016】警告手段は、スピーカ等の術者の聴覚、な
いし、断層像と共に手術器具の位置を示すパターンが表
示される表示手段上に警告メッセージを表示する視覚に
訴えるものであり、それの作動でもって、術者は注意構
造物に手術器具が接近ないし位置したことが感知でき
る。
The warning means appeals to the operator's hearing, such as a speaker, or a visual display of a warning message on a display means on which a pattern indicating the position of the surgical instrument is displayed together with the tomographic image. Thus, the surgeon can perceive that the surgical instrument approaches or is located at the attention structure.

【0017】[0017]

【実施例】以下、図面を参照してこの発明の実施例を説
明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0018】図1は、この発明に係わる手術器具の位置
表示装置の一実施例の概略構成を示す図である。
FIG. 1 is a diagram showing a schematic configuration of an embodiment of a position display device for a surgical instrument according to the present invention.

【0019】図1においては、符号1は被検体Mが載置
された手術台である。2は手術中に術者によって被検体
Mに差し入れられる手術器具である。手術台1上には、
三次元方向にそれぞれ磁界を発生する磁気ソース3a
が、被検体Mとの相対位置関係が変化しないように配備
されている。なお、この磁気ソース3aは被検体M自身
に取付け固定してもよい。手術器具2の後端部には、磁
気ソース3aから発生された三次元の磁界を検出する磁
気センサー3bが取り付けられている。図2に示すよう
に、磁気ソース3aは、三次元方向X、Y、Zにそれぞ
れ磁界を発生させる3つのコイル3ax、3ay、3azから
構成されている。磁気ソース3aは、駆動回路4に接続
され、この駆動回路4から交流電流を与えられることに
より三次元の磁界Hを発生する。磁気センサー3bも同
様に、互いに直交した3つのコイル3bx、3by、3bzか
ら構成されている。磁気センサー3bは、検出回路5に
接続されている。この検出回路5は、各コイル3bx、3
by、3bzからの検出信号を増幅して、適宜のディジタル
信号に変換した位置データーを出力する。磁気ソース3
a、磁気センサー3b、駆動回路4、検出回路5、及び
後述する位置算出部7は、この発明における位置検出手
段に相当する。
In FIG. 1, reference numeral 1 denotes an operating table on which a subject M is placed. Reference numeral 2 denotes a surgical instrument inserted into the subject M by the operator during the operation. On the operating table 1,
A magnetic source 3a that generates a magnetic field in each of three-dimensional directions
However, they are arranged so that the relative positional relationship with the subject M does not change. The magnetic source 3a may be attached and fixed to the subject M itself. A magnetic sensor 3b for detecting a three-dimensional magnetic field generated from a magnetic source 3a is attached to a rear end of the surgical instrument 2. As shown in FIG. 2, the magnetic source 3a includes three coils 3ax, 3ay, 3az that generate magnetic fields in three-dimensional directions X, Y, and Z, respectively. The magnetic source 3a is connected to the drive circuit 4 and generates a three-dimensional magnetic field H by receiving an alternating current from the drive circuit 4. Similarly, the magnetic sensor 3b also includes three coils 3bx, 3by, and 3bz orthogonal to each other. The magnetic sensor 3b is connected to the detection circuit 5. The detection circuit 5 includes three coils 3bx,
a, amplifies the detection signal from 3bz, and outputs position data converted into an appropriate digital signal. Magnetic source 3
a, the magnetic sensor 3b, the drive circuit 4, the detection circuit 5, and the position calculation unit 7, which will be described later, correspond to a position detection unit in the present invention.

【0020】画像処理コンピューター6は、手術器具2
の位置検出、その先端部の位置検出、検出された位置に
応じた画像の選択、選択された画像上への手術器具2の
パターンの合成、注意構造物位置指定部で指定された注
意構造物の位置の記憶、手術器具位置が注意構造物の位
置に存在しているかどうかの監視を行なうものであり、
その内部構成を機能別に大別すると、位置算出部7、位
置情報変換部8、変換値算出部9、画像選択部10、画
像合成部11、注意構造物位置メモリ12、位置監視部
13からなる。
The image processing computer 6 includes the surgical instrument 2
Position detection, position detection of the tip, selection of an image according to the detected position, synthesis of the pattern of the surgical instrument 2 on the selected image, attention structure designated by the attention structure position designation unit The position of the surgical instrument, and to monitor whether the surgical instrument position exists at the position of the cautionary structure,
The internal configuration is roughly classified into functions, and includes a position calculation unit 7, a position information conversion unit 8, a conversion value calculation unit 9, an image selection unit 10, an image synthesis unit 11, a cautionary structure position memory 12, and a position monitoring unit 13. .

【0021】位置算出部7は、検出回路5からの位置デ
ーターに基づいて、磁気センサー3bの三次元位置及び
方向を算出する。さらに予めデーターとして与えられて
いる手術器具2の大きさを考慮して、最終的には、手術
器具2の先端の三次元位置及び方向を求める。なお、上
述した磁気ソース3aおよび磁気センサー3bを使って
磁気センサー3bの実空間座標および方向を算出する手
法は、例えば、特開平3−267054号によって知ら
れているので、ここでの説明は省略する。
The position calculator 7 calculates the three-dimensional position and direction of the magnetic sensor 3b based on the position data from the detection circuit 5. Furthermore, in consideration of the size of the surgical instrument 2 given in advance as data, the three-dimensional position and direction of the distal end of the surgical instrument 2 are finally obtained. A method for calculating the real space coordinates and the direction of the magnetic sensor 3b using the magnetic source 3a and the magnetic sensor 3b described above is known, for example, from Japanese Patent Application Laid-Open No. 3-267054, and therefore the description thereof is omitted here. I do.

【0022】変換値算出部9は、位置算出部7によって
算出された磁気センサー3b実空間座標/方向からなる
位置情報を、手術器具2の大きさや形状からその先端部
の位置を含む変換位置情報に変換するための変換値を予
め格納するものである。位置情報変換部8は変換値算出
部9内の変換値を使用して、位置算出部7からの位置情
報を画像上の位置情報に変換する。
The conversion value calculation unit 9 converts the position information consisting of the coordinates / direction of the magnetic sensor 3b calculated in the real space calculated by the position calculation unit 7 from the size and shape of the surgical instrument 2 to the conversion position information including the position of the tip. The conversion value for converting into is stored in advance. The position information conversion unit 8 uses the conversion value in the conversion value calculation unit 9 to convert the position information from the position calculation unit 7 into position information on an image.

【0023】画像選択部10は、位置情報変換部8から
与えられる手術器具2の先端部の位置情報に基づき、画
像メモリ14から所要の断層像の画像データーを選択す
るもので、この発明における画像選択手段に相当する。
画像メモリ14は、被検体Mの関心領域内の関心部位毎
の断層像の画像データーを記憶するものであり、この発
明における画像記憶手段に相当する。
The image selecting section 10 selects required tomographic image data from the image memory 14 based on the position information of the distal end of the surgical instrument 2 provided from the position information converting section 8. It corresponds to a selection means.
The image memory 14 stores image data of a tomographic image for each region of interest in the region of interest of the subject M, and corresponds to image storage means in the present invention.

【0024】画像合成部11は、画像選択部10によっ
て選択された画像上の、位置情報変換部8によって求め
られた変換位置情報の示す位置に手術器具2の位置を示
す所定パターンを重ね合わせるもので、この発明におけ
る画像合成手段に相当する。画像合成部11で合成され
た画像は、この発明における表示手段に相当するモニタ
15に与えられる。
The image synthesizing unit 11 superimposes a predetermined pattern indicating the position of the surgical instrument 2 on the position selected by the position information converting unit 8 on the image selected by the image selecting unit 10. Corresponds to the image synthesizing means in the present invention. The image synthesized by the image synthesizing unit 11 is provided to a monitor 15 corresponding to a display unit in the present invention.

【0025】注意構造物位置メモリ12は、マウスなど
の注意構造物位置指定部16で指定された注意構造物の
位置(座標)を記憶するもので、この発明における注意
構造物位置記憶手段に相当し、注意構造物位置指定部1
6は、この発明における注意構造物位置指定手段に相当
する。
The attention structure position memory 12 stores the position (coordinates) of the attention structure designated by the attention structure position designation unit 16 such as a mouse, and corresponds to the attention structure position storage means in the present invention. And cautionary structure position designation unit 1
Reference numeral 6 corresponds to a cautionary structure position specifying means in the present invention.

【0026】位置監視部13は、位置情報変換部8から
与えられる手術器具2の先端部の位置と注意構造物位置
メモリ12に記憶されている注意構造物の位置とを比較
して手術器具2の状態を常に監視し、手術器具2が注意
構造物に接近ないし位置した際に警告信号を発するもの
で、この発明の位置監視手段に相当する。
The position monitoring unit 13 compares the position of the distal end of the surgical instrument 2 provided from the position information conversion unit 8 with the position of the cautionary structure stored in the cautionary structure position memory 12 to compare the surgical instrument 2 with the cautionary structure. Is constantly monitored, and a warning signal is issued when the surgical instrument 2 approaches or locates the cautionary structure, and corresponds to the position monitoring means of the present invention.

【0027】音声部17はこの実施例ではスピーカで位
置監視部13の警告信号で音、ないし、音声を発するも
ので、この発明の警告手段に相当する。
In this embodiment, the audio unit 17 emits a sound or a sound by a warning signal of the position monitoring unit 13 by a speaker in this embodiment, and corresponds to a warning unit of the present invention.

【0028】上記構成の装置において手術器具2の位置
を表示するには、装置を動作させるに先立ち、画像メモ
リ14に断層像を収集記憶させると共に注意構造物位置
メモリ12に注意構造物の位置を記憶させておく必要が
ある。
In order to display the position of the surgical instrument 2 in the apparatus having the above configuration, before operating the apparatus, a tomographic image is collected and stored in the image memory 14 and the position of the attention structure is stored in the attention structure position memory 12. You need to remember it.

【0029】図3を参照して画像メモリ14に記憶され
る断層像の収集について説明する。図3(a) に示すよう
に、手術台1に載置された被検体Mの関心部位付近(こ
の例では頭部)の体表面の4ケ所にマーカーP1
2 、P3 、P4 を貼り付け、関心部位を含む領域内の
複数のスライス面S1 〜Sn の断面像を各マーカー
1、P2 、P3 、P4 とともにX線CT装置、MRI
装置などにより撮影する。このようにして得られた断層
像I1 〜In の模式図を図3(b) に示す。これらの断層
像I1 〜In およびマーカーP1 、P2 、P3 、P
4 は、撮影に使用したX線CT装置の固有の空間座標
(CT座標系)によってその位置が定義されている。こ
の断層像I1 〜In およびマーカーP1 、P2 、P3
4 のCT座標系は画像メモリ13に格納される。
The acquisition of tomographic images stored in the image memory 14 will be described with reference to FIG. As shown in FIG. 3 (a), markers P 1 are placed at four places on the body surface near the site of interest (in this example, the head) of the subject M placed on the operating table 1 .
P 2, paste P 3, P 4, a plurality of slice planes S 1 to S n each marker a cross-sectional image of P 1, P 2, P 3 , P 4 with X-ray CT apparatus in the area including the area of interest , MRI
Photograph with a device. A schematic view of the thus tomogram I 1 ~I n obtained is shown in FIG. 3 (b). These tomographic images I 1 ~I n and markers P 1, P 2, P 3 , P
4, the position is defined by a unique spatial coordinates of the X-ray CT apparatus used in photographing (CT coordinate system). The tomographic image I 1 ~I n and markers P 1, P 2, P 3 ,
CT coordinate system P 4 is stored in the image memory 13.

【0030】注意構造物の位置を指定し、位置メモリ1
2に記憶させるには注意構造物位置指定部16を用い
る。注意構造物位置指定部16で画像メモリ14に収集
記憶した画像を読み出してモニタ15上に表示し、手術
の際に取り扱いに注意を要する血管や神経等の注意構造
物の画像上の位置をマウス等で指定し、その画像上の座
標を注意構造部位置メモリ12に記憶させる。このとき
同時に、複数の画像のいずれかに写っているマーカーの
画像上の座標(CT座標系)も記憶させておく。なお、
図3(b) のA、Bは、注意構造物を示す。
The position of the cautionary structure is designated and the position memory 1
2 is stored in the cautionary structure position specifying unit 16. The image collected and stored in the image memory 14 by the attention structure position specifying unit 16 is read out and displayed on the monitor 15, and the position on the image of the attention structure such as a blood vessel or nerve that needs to be handled carefully during the operation is indicated by a mouse. The coordinates on the image are stored in the attention structure part position memory 12. At this time, the coordinates (CT coordinate system) of the marker appearing in any of the plurality of images are also stored. In addition,
A and B in FIG. 3 (b) show a cautionary structure.

【0031】画像メモリ14に収集記憶された画像デー
ターは、X線CT装置などの断層撮影を行なった装置の
固有の空間座標(CT座標系)で表わされており、この
CT座標系の固有空間座標と、手術器具の位置表示装置
の実空間座標(手術器具の位置検出手段を基準とする座
標系)との対応付け、所謂、キャリブレーションを手術
の直前に行なう必要がある。
The image data collected and stored in the image memory 14 is represented by the spatial coordinates (CT coordinate system) unique to an apparatus that has performed tomography such as an X-ray CT apparatus. It is necessary to perform correspondence between the space coordinates and the real space coordinates of the position display device of the surgical instrument (a coordinate system based on the position detecting means of the surgical instrument), that is, so-called calibration immediately before the operation.

【0032】キャリブレーションは、各マーカーP1
2 、P3 、P4 の実空間上の位置を図1で説明した磁
気ソース3a、及び、磁気センサー3bを使って測定す
ることで行なう。
The calibration is performed for each marker P 1 ,
The position of P 2 , P 3 , and P 4 in the real space is measured by using the magnetic source 3a and the magnetic sensor 3b described with reference to FIG.

【0033】すなわち、被検体Mを磁気ソース3aと共
に手術台1に固定し、磁気センサー3bが取付けられて
いてその先端位置が検出可能なキャリブレーションプロ
ーブの先端を、被検体M上の各マーカーP1 、P2 、P
3 、P4 に順次接触させる。各マーカー位置は、検出回
路5を通り磁気ソース3aとの相対位置から、実空間上
のそれぞれの三次元位置座標として算出される。
That is, the subject M is fixed to the operating table 1 together with the magnetic source 3a, and the tip of the calibration probe, to which the magnetic sensor 3b is attached and whose tip position can be detected, is attached to each marker P on the subject M. 1, P 2, P
3, are sequentially contacted with P 4. Each marker position is calculated as a respective three-dimensional position coordinate in the real space from a relative position with respect to the magnetic source 3a through the detection circuit 5.

【0034】このようにして求めた全マーカーP1 、P
2 、P3 、P4 の実空間上の座標は、先に求めた同じマ
ーカーの画像上の座標にそれぞれ対応づけられ、実空間
上の位置を画像上の位置に三次元アフィン変換するため
の変換値が変換値算出部9で算出され、その変換値が位
置情報変換部8に記憶される。
All the markers P 1 , P
The coordinates in the real space of 2 , P 3 , and P 4 are respectively associated with the coordinates of the same marker on the image obtained earlier, and are used for three-dimensional affine transformation from the position in the real space to the position on the image. The conversion value is calculated by the conversion value calculation unit 9, and the conversion value is stored in the position information conversion unit 8.

【0035】以上のように断層像の収集、注意構造物の
位置指定とその記憶及び、画像上の位置と実空間上の位
置との対応付け(キャリブレーション)が終了すると、
手術に移行する。
As described above, when the collection of the tomographic image, the designation of the position of the cautionary structure and its storage, and the correspondence (calibration) between the position on the image and the position in the real space are completed,
Move to surgery.

【0036】手術では、磁気センサー3bが固定されそ
の先端座標が計算可能な吸引管等の手術器具2が被検体
Mの関心部位(体内)に差し入れられる。被検体Mに対
しその位置が固定されている磁気ソース3aには、駆動
回路から交流が送られ、磁気ソース3a内部のコイルに
よって三次元方向に磁場が発生される。検出回路5はこ
の交流電流から磁気センサー3bの位置を計算し、位置
算出部7は手術器具2の先端の実空間上の座標を順次求
める。
In the operation, a surgical instrument 2 such as a suction tube to which the magnetic sensor 3b is fixed and whose tip coordinates can be calculated is inserted into a site of interest (in the body) of the subject M. An alternating current is sent from a drive circuit to the magnetic source 3a whose position is fixed with respect to the subject M, and a magnetic field is generated in a three-dimensional direction by a coil inside the magnetic source 3a. The detection circuit 5 calculates the position of the magnetic sensor 3b from the alternating current, and the position calculation unit 7 sequentially obtains the coordinates of the tip of the surgical instrument 2 in the real space.

【0037】手術器具2の先端の実空間上の座標は、位
置情報変換部8によって断層像上の座標に変換される。
画像選択部10は、この変換された断層像上の座標に対
応する断層像を画像メモリ14から選択して取り出す。
選択された画像は画像合成部11に送られる。
The coordinates of the tip of the surgical instrument 2 in the real space are converted into coordinates on a tomographic image by the position information converter 8.
The image selection unit 10 selects and extracts a tomographic image corresponding to the coordinates on the converted tomographic image from the image memory 14.
The selected image is sent to the image synthesizing unit 11.

【0038】画像合成部11は、この選択された断層像
上の位置情報変換部8で変換された座標位置に、手術器
具2の位置を示す所定のパターンを重ね合わせ、その合
成画像をモニタ15に出力する。以上の処理を逐次リア
ルタイムで実行することによりモニタ15には、選択さ
れた画像上に位置算出部7で検出された手術器具2の現
在位置を所定パターンで表わした画像が順次表示され、
術者は手術器具2の位置を確認しながら手術を行なうこ
とができる。
The image synthesizing section 11 superimposes a predetermined pattern indicating the position of the surgical instrument 2 on the coordinate position converted by the position information converting section 8 on the selected tomographic image, and displays the synthesized image on the monitor 15. Output to By sequentially executing the above processing in real time, an image representing the current position of the surgical instrument 2 detected by the position calculator 7 on the selected image in a predetermined pattern is sequentially displayed on the monitor 15.
The surgeon can perform the operation while checking the position of the surgical instrument 2.

【0039】この動作と並行して手術器具2の先端が注
意構造物の位置に接近ないし位置したかの監視を位置監
視部13がリアルタイムで行なう。図4は位置監視部1
3の動作を示すフロチャートである。
In parallel with this operation, the position monitor 13 monitors in real time whether the tip of the surgical instrument 2 approaches or is located at the position of the cautionary structure. FIG. 4 shows the position monitoring unit 1
6 is a flowchart showing the operation of No. 3;

【0040】位置算出部7で手術器具2の先端の実空間
上の座標が刻々求められ(ステップS1 )、位置情報変
換部8で断層像上の座標に変換される(ステップ
2 )。送られてきた手術器具2の位置情報であるそれ
の先端の断層像上の座標は、即前記注意構造物位置メモ
リ12に記憶されている注意構造物の画像上の座標と比
較される(ステップS3 、S4 )。
The position calculator 7 calculates the coordinates of the distal end of the surgical instrument 2 in the real space every time (step S 1 ), and the position information converter 8 converts the coordinates into coordinates on a tomographic image (step S 2 ). The coordinates on the tomographic image of the distal end of the sent surgical instrument 2, which is the positional information of the sent surgical instrument 2, are immediately compared with the coordinates on the image of the attention structure stored in the attention structure position memory 12 (step). S 3, S 4).

【0041】この比較は位置監視部13で行なわれ、手
術器具先端の実空間上の座標が、注意構造物の座標の中
心とする半径5mmの球内に存在しなければ、それはなに
も指示を出さずにステップS1 へ戻り、次の手術器具2
の位置情報を得、同様の動作を繰り返えす。もし、手術
器具先端の実空間上の座標が、注意構造物Aの座標を中
心とする半径5mmの球内に存在すれば(ステップ
3 )、音声部17を動作させそれから警告音ないし、
警告メッセイジを発生させると共にモニタ15に警告メ
ッセイジを表示する(ステップS5 )。これにより、術
者が注意構造物Aの座標(位置)の半径5mmの球内に手
術器具の先端が位置したことを知ることができる。注意
構造物Aでの手技がなされ、手術器具の先端が次の注意
構造物Bの位置に近づいてそれの座標を中心とする半径
5mmの球内に存在すると(ステップS4)、音声部16
を動作させそれから警告音ないし警告メッセイジを発生
させると共にモニタ15に警告メッセイジを表示する
(ステップS6 )。
This comparison is performed by the position monitoring unit 13. If the coordinates of the distal end of the surgical instrument in the real space do not exist within a sphere having a radius of 5 mm, which is the center of the coordinates of the cautionary structure, no instruction is given. returns to the step S 1 without an, following the surgical instrument 2
And the same operation is repeated. If the coordinates of the distal end of the surgical instrument in the real space are within a sphere having a radius of 5 mm centering on the coordinates of the cautionary structure A (step S 3 ), the sound unit 17 is operated, and no warning sound is given.
Warning Messeiji the monitor 15 together to generate a warning Messeiji Show (Step S 5). Thus, the surgeon can know that the tip of the surgical instrument is located within a sphere having a radius of 5 mm at the coordinates (position) of the cautionary structure A. When the procedure is performed on the cautionary structure A and the tip of the surgical instrument approaches the position of the next cautionary structure B and exists within a sphere having a radius of 5 mm centered on the coordinates thereof (step S 4 ), the audio unit 16
It is operated to display a warning Messeiji the monitor 15 causes a warning sound is generated to alert Messeiji therefrom (Step S 6).

【0042】この動作は注意構造物位置メモリ12に記
憶されている全ての注意構造物について行なわれる。
This operation is performed for all the attention structures stored in the attention structure position memory 12.

【0043】したがって、術者が手術前に注意構造物位
置指定部16で指定した注意構造物に手術器具先端が近
づいたことを術者は手術中にリアルタイムに知ることが
できる。
Therefore, the surgeon can know in real time during the operation that the tip of the surgical instrument has approached the cautionary structure designated by the cautionary structure position designation section 16 before the operation.

【0044】[0044]

【変形実施例】[Modified embodiment]

1)実施例では、X線CT装置で撮影した画像を直接画
像メモリに記憶させるようにしたが、X線CT装置等で
撮影した断層像のフィルムをフィルムリーダーなどで読
み取り、画像メモリに記憶させても、また、光磁気ディ
スクなどの記録媒体から読み取り、画像メモリに記憶さ
せるようにしてもよい。
1) In the embodiment, the image photographed by the X-ray CT apparatus is directly stored in the image memory. However, the film of the tomographic image photographed by the X-ray CT apparatus or the like is read by a film reader or the like and stored in the image memory. Alternatively, the information may be read from a recording medium such as a magneto-optical disk and stored in an image memory.

【0045】2)実施例では、注意構造物座標を中心と
する半径5mmの球内に、手術器具の先端が位置した場合
に警告音と警告メッセイジを発するようにしたが、注意
構造物座標を含んでおれば、どのような形状のどのよう
な範囲であってもよい。
2) In the embodiment, a warning sound and a warning message are issued when the tip of the surgical instrument is located within a sphere having a radius of 5 mm centered on the attention structure coordinate. If included, it may be in any range of any shape.

【0046】また、その形状や範囲を手術前ないし手術
中に変更できるようにしてもよい。さらに、注意構造物
座標を中心とする範囲に応じて警告音の種類や警告メッ
セイジの内容を変えてもよい。
The shape and range may be changed before or during the operation. Further, the type of the warning sound and the content of the warning message may be changed according to the range centered on the attention structure coordinate.

【0047】このようにすれば、手術器具の先端がどの
程度、注意構造物に近づいているかを術者が知ることが
できる。
In this way, the surgeon can know how close the tip of the surgical instrument is to the cautionary structure.

【0048】また、手術器具の先端が注意構造物座標を
中心とする所定の範囲に存在している間中警告音や警告
メッセイジが発せられるようにすることも可能である。
It is also possible to emit a warning sound or a warning message while the tip of the surgical instrument is within a predetermined range centered on the attention structure coordinate.

【0049】3)注意構造物を指定する際に、その座標
値と共に「内頚動脈」、「視神経」などの注意構造物の
部位名も入力し記憶させ、部位名をも警告するようにし
てもよい。
3) When designating a cautionary structure, the site names of the cautionary structure such as "internal carotid artery" and "optic nerve" are also input and stored together with their coordinate values, and the site name is warned. Good.

【0050】このようにすれば、術者が手術器具の先端
がどの注意構造物に近づいたかを知ることができる。
In this way, the surgeon can know which cautionary structure the tip of the surgical instrument has approached.

【0051】4)実施例では、注意構造物の位置の注意
構造物位置への記憶をキャリブレーションの前に行なう
ようにしたが、この手順を逆にしてもよい。
4) In the embodiment, the position of the cautionary structure is stored in the cautionary structure position before the calibration, but this procedure may be reversed.

【0052】5)実施例では、キャリブレーション時に
キャリブレーションプローブを用いたが、手術器具2を
キャリブレーションに共用してもよい。
5) In the embodiment, the calibration probe is used at the time of calibration, but the surgical instrument 2 may be shared for calibration.

【0053】このようにすれば、使用する器具に応じて
磁気センサーを付け替える手間を省くことができ、術者
の負担を少なくすることができる。
In this way, it is possible to save the trouble of replacing the magnetic sensor according to the instrument to be used, thereby reducing the burden on the operator.

【0054】6)実施例では、磁気ソース3a及び磁気
センサー3bを用いて手術器具2及びキャリブレーショ
ンプローブの位置を検出したが、この発明は、これに限
定されることなく、例えば、手術器具2またはキャリブ
レーションプローブを多関節のアームの先端に取り付
け、各関節部分でアームの角度を検出することにより、
手術器具2またはキャリブレーションプローブの位置を
検出するように構成してもよい。このように構成するこ
とにより磁気ソース3aによって、形成されている磁界
を乱すような磁性体や導電体などから、構成される器具
を使用することができる。
6) In the embodiment, the positions of the surgical instrument 2 and the calibration probe are detected using the magnetic source 3a and the magnetic sensor 3b. However, the present invention is not limited to this. Or by attaching the calibration probe to the tip of the multi-joint arm and detecting the angle of the arm at each joint,
You may comprise so that the position of the surgical instrument 2 or a calibration probe may be detected. With such a configuration, it is possible to use an instrument composed of a magnetic substance or a conductor that disturbs the magnetic field formed by the magnetic source 3a.

【0055】[0055]

【発明の効果】以上で明らかなように、この発明によれ
ば、神経や主要血管等の注意構造物に手術器具が近づく
と警告音等で術者にその旨を知らせるので、被検体の個
々の差による注意構造物の違いに関かわらず、術者は注
意構造物に手術器具が近づいたことを知ることができる
ので、被検体個々の注意構造物の位置を全て記憶してお
く必要がなくなる。
As is apparent from the above, according to the present invention, when the surgical instrument approaches a cautionary structure such as a nerve or a main blood vessel, the surgeon is notified by a warning sound or the like. Regardless of the difference in the attention structures due to the difference in the distance, the surgeon can know that the surgical instrument has approached the attention structure, so it is necessary to memorize all the positions of the attention structures for each subject. Disappears.

【0056】したがって、術者の精神的負担が著じるし
く軽減し、術者は手術に集中することができる。
Therefore, the mental burden on the operator is remarkably reduced, and the operator can concentrate on the operation.

【0057】また、骨など視覚的な妨げとなるものの背
後に注意すべき構造物があるとどうかも容易に知ること
ができるので、重大な医療ミスの可能性もなくなる。
Further, since it is possible to easily know whether or not there is a structure to be noted behind a visually obstructive object such as a bone, there is no possibility of a serious medical error.

【図面の簡単な説明】[Brief description of the drawings]

【図1】実施例に係わる手術器具に位置表示装置の概略
構成を示す図である。
FIG. 1 is a diagram showing a schematic configuration of a position display device on a surgical instrument according to an embodiment.

【図2】磁気ソース及び磁気センサーの説明図である。FIG. 2 is an explanatory diagram of a magnetic source and a magnetic sensor.

【図3】断層像の収集の説明に供する図である。FIG. 3 is a diagram provided to explain collection of a tomographic image.

【図4】図1の位置監視手段の動作を示すフローチャー
トである。
FIG. 4 is a flowchart showing the operation of the position monitoring means of FIG.

【符号の説明】[Explanation of symbols]

1…手術台 2…手術器具 3a…磁気ソース 3b…磁気セ
ンサー 4…駆動回路 5…検出回路 6…画像処理コンピュータ 7…位置算出
部 8…位置情報変換部 9…変換値算
出部 10…画像選択部 11…画像合
成部 12…注意構造物位置メモリ 13…位置監
視部 14…画像メモリ 15…モニタ 16…注意構造物位置指定部 17…音声部
DESCRIPTION OF SYMBOLS 1 ... Operating table 2 ... Surgical instrument 3a ... Magnetic source 3b ... Magnetic sensor 4 ... Drive circuit 5 ... Detection circuit 6 ... Image processing computer 7 ... Position calculation part 8 ... Position information conversion part 9 ... Conversion value calculation part 10 ... Image selection Unit 11 Image synthesis unit 12 Attention structure position memory 13 Position monitoring unit 14 Image memory 15 Monitor 16 Attention structure position designation unit 17 Voice unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 早川 徹 兵庫県神戸市東灘区御影山手1丁目2番 地 (72)発明者 吉峰 俊樹 兵庫県芦屋市竹園町3−7 (72)発明者 加藤 天美 大阪府茨木市上野町9−20 (72)発明者 岡村 昇一 京都市中京区西ノ京桑原町1番地 株式 会社 島津製作所 三条工場内 (72)発明者 奥村 武志 京都市中京区西ノ京桑原町1番地 株式 会社 島津製作所 三条工場内 (56)参考文献 特開 昭63−294835(JP,A) 特開 平5−123327(JP,A) 特開 平5−300910(JP,A) 特表 平8−509393(JP,A) 特表 平2−500410(JP,A) 特表 平5−500911(JP,A) 特表 平2−503519(JP,A) (58)調査した分野(Int.Cl.7,DB名) A61B 17/00 - 18/28 A61B 19/00 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Tohru Hayakawa 1-2-2 Mikage Yamate, Higashinada-ku, Kobe City, Hyogo Prefecture (72) Inventor Toshiki Yoshimine 3-7 Takezonocho, Ashiya City, Hyogo Prefecture (72) Inventor Amami Kato 9-20 Uenocho, Ibaraki-shi, Osaka (72) Inventor Shoichi Okamura 1 Nishinokyo-kuwabaracho, Nakagyo-ku, Kyoto Shimazu Works Sanjo Plant (72) Inventor Takeshi Okumura 1 Nishinokyo-Kuwaharacho, Nakagyo-ku, Kyoto Shimazu Works In the Sanjo Plant (56) References JP-A-63-294835 (JP, A) JP-A-5-123327 (JP, A) JP-A-5-300910 (JP, A) Table 8-509393 (JP, A) A) Tokio Hei 2-500410 (JP, A) Tokio Hei 5-500911 (JP, A) Tokio Table 2-503519 (JP, A) (58) Fields surveyed (Int. Cl. 7 , DB name) ) A61B 17/00-18/28 A 61B 19/00

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 被検体の関心部位ごとの画像データーを
記憶する画像記憶手段と、手術器具の位置を順次検出す
る位置検出手段と、前記位置検出手段からの位置情報に
基づいて前記画像記憶手段から画像データーを順次選択
する画像選択手段と、前記画像選択手段によって選択さ
れた画像上の、前記位置検出手段で検出された位置に、
手術器具の位置を示す所定パターンを重ね合わせる画像
合成手段と、前記画像合成手段によって合成された画像
を表示する表示手段と、から構成される手術器具の位置
表示装置において、前記画像記憶手段に記憶された画像
上の注意を要する構造物を指定する注意構造物位置指定
手段と、指定された注意構造物の位置情報を記憶する注
意構造物位置記憶手段と、前記位置検出手段で検出され
た手術器具の位置が前記注意構造物位置記憶手段に記憶
された注意構造物の位置情報と一致するかどうかを監視
し、警告信号を出力する位置監視手段と、前記位置監視
手段からの警告信号で作動する警告手段と、を備えたこ
とを特徴とする手術器具の位置表示装置。
An image storage means for storing image data for each region of interest of a subject, a position detection means for sequentially detecting the position of a surgical instrument, and the image storage means based on position information from the position detection means. An image selecting means for sequentially selecting image data from, and a position on the image selected by the image selecting means, detected by the position detecting means,
In a surgical instrument position display device comprising: an image synthesizing unit that superimposes a predetermined pattern indicating a position of a surgical instrument; and a display unit that displays an image synthesized by the image synthesizing unit, the position is stored in the image storage unit. Attention structure position designation means for designating a structure requiring attention on the selected image, attention structure position storage means for storing position information of the designated attention structure, and an operation detected by the position detection means Position monitoring means for monitoring whether the position of the appliance matches the position information of the cautionary structure stored in the cautionary structure position storage means and outputting a warning signal; and operating with a warning signal from the position monitoring means. And a warning means for performing the operation.
JP14649694A 1994-06-28 1994-06-28 Surgical instrument position display device Expired - Lifetime JP3217593B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14649694A JP3217593B2 (en) 1994-06-28 1994-06-28 Surgical instrument position display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14649694A JP3217593B2 (en) 1994-06-28 1994-06-28 Surgical instrument position display device

Publications (2)

Publication Number Publication Date
JPH0810266A JPH0810266A (en) 1996-01-16
JP3217593B2 true JP3217593B2 (en) 2001-10-09

Family

ID=15408943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14649694A Expired - Lifetime JP3217593B2 (en) 1994-06-28 1994-06-28 Surgical instrument position display device

Country Status (1)

Country Link
JP (1) JP3217593B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3446317B2 (en) * 1994-06-30 2003-09-16 株式会社島津製作所 Spatial coordinate setting device for tomographic images
JP4063933B2 (en) 1997-12-01 2008-03-19 オリンパス株式会社 Surgery simulation device
JPH11290340A (en) * 1998-04-13 1999-10-26 Shimadzu Corp Position display device for surgical instrument
JP4051764B2 (en) * 1998-05-29 2008-02-27 株式会社島津製作所 Surgical instrument position display device
JP2002355257A (en) * 2001-05-30 2002-12-10 Olympus Optical Co Ltd Surgical operation system
US7166114B2 (en) 2002-09-18 2007-01-23 Stryker Leibinger Gmbh & Co Kg Method and system for calibrating a surgical tool and adapter thereof
US7771436B2 (en) 2003-12-10 2010-08-10 Stryker Leibinger Gmbh & Co. Kg. Surgical navigation tracker, system and method
US7873400B2 (en) 2003-12-10 2011-01-18 Stryker Leibinger Gmbh & Co. Kg. Adapter for surgical navigation trackers
US10111726B2 (en) 2007-04-26 2018-10-30 Koninklijke Philips N.V. Risk indication for surgical procedures
JP2010057531A (en) * 2008-09-01 2010-03-18 Seiko Epson Corp Fluid jetting apparatus, method of controlling the same and surgical apparatus
US11116420B2 (en) * 2017-12-26 2021-09-14 Biosense Webster (Israel) Ltd. Monitoring distance to selected anatomical structures during a procedure
US20200015904A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4304571A1 (en) * 1993-02-16 1994-08-18 Mdc Med Diagnostic Computing Procedures for planning and controlling a surgical procedure

Also Published As

Publication number Publication date
JPH0810266A (en) 1996-01-16

Similar Documents

Publication Publication Date Title
JP5207795B2 (en) System and method for navigating an object being imaged
US7671887B2 (en) System and method of navigating a medical instrument
US5823958A (en) System and method for displaying a structural data image in real-time correlation with moveable body
Leksell et al. Stereotaxis and nuclear magnetic resonance.
US7729743B2 (en) Method and arrangement for tracking a medical instrument
Galloway et al. Interactive image-guided neurosurgery
CA2273874C (en) Apparatus and method for visualizing ultrasonic images
US20060106292A1 (en) System and method for employing multiple coil architectures simultaneously in one electromagnetic tracking system
US7760926B2 (en) Method and device for marking three-dimensional structures on two-dimensional projection images
JP5322600B2 (en) Ultrasonic diagnostic equipment
JP3217593B2 (en) Surgical instrument position display device
JP2002186603A (en) Method for transforming coordinates to guide an object
JPH1176181A (en) Electric activity mapping device of heart
JPH04500168A (en) Methods and devices especially for guiding neurosurgical procedures
JP2002200058A (en) Intravascular position recognizing and imaging method other than x-rays
JP2007526066A (en) System for guiding medical instruments in a patient
JPH02503519A (en) Method and apparatus for reproducibly optically displaying surgical procedures
US20020172328A1 (en) 3-D Navigation for X-ray imaging system
JP3634416B2 (en) Surgical instrument position display device
JP2000051207A (en) Medical image processor
JP3239609B2 (en) Surgical instrument position display device
JP4051764B2 (en) Surgical instrument position display device
CN216060722U (en) Interventional navigation system
JP2003079616A (en) Detecting method of three-dimensional location of examination tool which is inserted in body region
JP2004089421A (en) Surgery supporting device

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term