JP5889095B2 - Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus - Google Patents

Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus Download PDF

Info

Publication number
JP5889095B2
JP5889095B2 JP2012091774A JP2012091774A JP5889095B2 JP 5889095 B2 JP5889095 B2 JP 5889095B2 JP 2012091774 A JP2012091774 A JP 2012091774A JP 2012091774 A JP2012091774 A JP 2012091774A JP 5889095 B2 JP5889095 B2 JP 5889095B2
Authority
JP
Japan
Prior art keywords
image
puncture
puncture needle
probe
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012091774A
Other languages
Japanese (ja)
Other versions
JP2013220132A (en
Inventor
磊 劉
磊 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Priority to JP2012091774A priority Critical patent/JP5889095B2/en
Publication of JP2013220132A publication Critical patent/JP2013220132A/en
Application granted granted Critical
Publication of JP5889095B2 publication Critical patent/JP5889095B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Surgical Instruments (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、被検体に対して穿刺針を刺入する操作者の支援を行なう穿刺計画支援装置、医用画像装置及び超音波診断装置に関する。   The present invention relates to a puncture plan support apparatus, a medical image apparatus, and an ultrasonic diagnostic apparatus that assist an operator who inserts a puncture needle into a subject.

生体組織の採取(生検)や、ラジオ波による焼灼治療(RFA:radio−frequencyablation)を行なうために、被検体に対して穿刺針を刺入することがある。この穿刺針の刺入の際には、血管などの脈管を傷つけないようにすることが必要とされる。また、刺入経路上に骨があると刺入の妨げになる。そこで、穿刺を行なう前に、脈管や骨などを避けて穿刺針の刺入経路を決定している。例えば、特許文献1には、リアルタイム(real time)の超音波画像を見ながら穿刺針の刺入経路を決定するプランニングエコーを行なうことが記載されている。   A puncture needle may be inserted into a subject in order to collect biological tissue (biopsy) or perform radio-frequency ablation (RFA). When inserting the puncture needle, it is necessary not to damage a blood vessel or the like. In addition, if there is a bone on the insertion path, the insertion will be hindered. Therefore, before the puncture is performed, the puncture route of the puncture needle is determined avoiding the blood vessels and bones. For example, Patent Document 1 describes performing a planning echo for determining a puncture path of a puncture needle while viewing a real time ultrasonic image.

特開2011−229837号公報JP 2011-229837 A

しかし、刺入経路の決定と穿刺とが別の日に行われることもある。この場合、穿刺を行なう時に、特に不慣れな者にとっては、プランニングエコーで決めた刺入経路に穿刺針を刺入するために、被検体の表面に対し、どの位置にどのような角度で超音波プローブを当接したらよいのかを把握することが困難な場合もある。   However, the insertion route determination and puncture may be performed on different days. In this case, for those who are not familiar with puncturing, in order to insert the puncture needle into the insertion path determined by the planning echo, ultrasonic waves at which position and at any angle with respect to the surface of the subject are used. In some cases, it may be difficult to grasp whether the probe should be contacted.

上述の課題を解決するためになされた発明は、予め設定された被検体への穿刺針の刺入予定経路に基づいて、該穿刺針を刺入する時の前記被検体の体表面における超音波プローブの推奨配置を示すプローブ配置画像を表示させるプローブ配置画像設定部を備えることを特徴とする穿刺計画支援装置である。   The invention made in order to solve the above-mentioned problems is based on the ultrasonic wave on the body surface of the subject when the puncture needle is inserted based on a predetermined insertion path of the puncture needle into the subject. A puncture plan support apparatus comprising a probe arrangement image setting unit for displaying a probe arrangement image indicating a recommended arrangement of probes.

上記観点の発明によれば、前記プローブ配置画像が表示されるので、被検体の表面に対し、どの位置にどのような角度で超音波プローブを当接したらよいのかを容易に把握することができる。   According to the above aspect of the invention, since the probe arrangement image is displayed, it is possible to easily grasp at what position and at what angle the ultrasonic probe should be brought into contact with the surface of the subject. .

本発明の第一実施形態の穿刺計画支援装置、医用画像装置及び超音波診断装置を示す図である。It is a figure which shows the puncture plan assistance apparatus, medical imaging device, and ultrasonic diagnostic apparatus of 1st embodiment of this invention. 図1に示す穿刺計画支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the puncture plan assistance apparatus shown in FIG. 図1に示す超音波診断装置の構成を示すブロック図である。It is a block diagram which shows the structure of the ultrasonic diagnosing device shown in FIG. 穿刺ガイド治具によって第一磁気センサが取り付けられた超音波プローブを示す図である。It is a figure which shows the ultrasonic probe with which the 1st magnetic sensor was attached by the puncture guide jig | tool. 図3に示す超音波診断装置における表示制御部の構成を示すブロック図である。It is a block diagram which shows the structure of the display control part in the ultrasonic diagnosing device shown in FIG. 治療計画の処理を示すフローチャートである。It is a flowchart which shows the process of a treatment plan. 腫瘍の輪郭がマーキングされたMRI画像が表示された表示部を示す図である。It is a figure which shows the display part on which the MRI image in which the outline of the tumor was marked was displayed. 針先位置の決定の処理を示すフローチャートである。It is a flowchart which shows the process of determination of a needle point position. 焼灼範囲及び三次元MRI画像が表示された表示部を示す図である。It is a figure which shows the display part with which the cautery range and the three-dimensional MRI image were displayed. 焼灼範囲が三次元腫瘍像に重ねられた状態の表示部を示す図である。It is a figure which shows the display part of the state in which the cautery range was overlaid on the three-dimensional tumor image. 複数の焼灼範囲によって腫瘍像が覆われた状態を示す図である。It is a figure which shows the state by which the tumor image was covered by the several ablation range. 刺入予定経路の設定の説明図である。It is explanatory drawing of the setting of an insertion plan path | route. 決定された刺入予定経路を示す図である。It is a figure which shows the determined planned insertion path | route. プローブ配置画像が表示された表示部を示す図である。It is a figure which shows the display part on which the probe arrangement | positioning image was displayed. プローブ配置画像の設定の説明図である。It is explanatory drawing of the setting of a probe arrangement | positioning image. 被検体に前記穿刺針を刺入して焼灼を行なう場合の処理を示すフローチャートである。It is a flowchart which shows the process in the case of inserting the said puncture needle into a subject and performing cauterization. 超音波画像とMRI画像とが並んで表示された表示部を示す図である。It is a figure which shows the display part on which the ultrasonic image and the MRI image were displayed side by side. 位置関係画像が表示された表示部を示す図である。It is a figure which shows the display part on which the positional relationship image was displayed. 位置関係画像が表示された表示部を示す図である。It is a figure which shows the display part on which the positional relationship image was displayed. 穿刺針の軌跡を示す軌跡画像が表示された表示部を示す図である。It is a figure which shows the display part on which the locus | trajectory image which shows the locus | trajectory of a puncture needle was displayed. 穿刺針の軌跡を示す軌跡画像が表示された表示部を示す図である。It is a figure which shows the display part on which the locus | trajectory image which shows the locus | trajectory of a puncture needle was displayed. 本発明の第二実施形態の穿刺計画支援装置、医用画像装置及び超音波診断装置を示す図である。It is a figure which shows the puncture plan assistance apparatus, medical image apparatus, and ultrasonic diagnostic apparatus of 2nd embodiment of this invention. 第二実施形態の超音波診断装置における制御部の構成を示すブロック図である。It is a block diagram which shows the structure of the control part in the ultrasonic diagnosing device of 2nd embodiment. 第二実施形態において、被検体に前記穿刺針を刺入して焼灼を行なう場合の処理を示すフローチャートである。In 2nd embodiment, it is a flowchart which shows the process in the case of inserting the said puncture needle into a subject and performing cauterization. 穿刺計画支援装置、医用画像装置及び超音波診断装置の他例を示す図である。It is a figure which shows the other examples of a puncture plan assistance apparatus, a medical imaging device, and an ultrasound diagnosing device.

以下、本発明の実施形態について説明する。
(第一実施形態)
先ず、第一実施形態について、図1〜図21に基づいて説明する。図1に示すように、本例の穿刺計画支援装置100は、医用画像装置200で取得された被検体の医用画像データが入力され、この医用画像データに基づいて穿刺計画を行なう。医用画像装置200は、例えばMRI(Magnetic Resonance Imaging)装置やX線CT(Computed Tomography)装置などである。そして、前記穿刺計画支援装置100で行われた穿刺計画に基づいて、超音波診断装置300によって被検体の超音波画像を表示して穿刺を行なう。本例では、後述の穿刺針42(図3等参照)からラジオ波を照射して腫瘍に対する焼灼治療を行なう場合を例に挙げて説明する。
Hereinafter, embodiments of the present invention will be described.
(First embodiment)
First, a first embodiment will be described with reference to FIGS. As shown in FIG. 1, the puncture plan support apparatus 100 of this example receives the medical image data of the subject acquired by the medical image apparatus 200, and performs a puncture plan based on this medical image data. The medical image apparatus 200 is, for example, an MRI (Magnetic Resonance Imaging) apparatus or an X-ray CT (Computed Tomography) apparatus. Then, based on the puncture plan performed by the puncture plan support apparatus 100, the ultrasound diagnostic apparatus 300 displays an ultrasound image of the subject and performs puncture. In this example, a case where ablation treatment for a tumor is performed by irradiating a radio wave from a puncture needle 42 (see FIG. 3 or the like) described later will be described as an example.

前記穿刺計画支援装置100は、例えばワークステーション(workstation)であり、汎用のパーソナルコンピュータ(personal computer)であってもよい。前記穿刺計画支援装置100は、図2に示すように制御部1、記憶部2、入力部3及び表示部4を有している。   The puncture plan support apparatus 100 is, for example, a workstation, and may be a general-purpose personal computer. The puncture plan support apparatus 100 includes a control unit 1, a storage unit 2, an input unit 3, and a display unit 4, as shown in FIG.

前記制御部1は、抽出部11、焼灼範囲設定部12、刺入予定経路設定部13及びプローブ配置画像設定部14を有している。前記抽出部11は、前記医用画像データにおける腫瘍を抽出する。この腫瘍は、前記穿刺針42による焼灼対象である。詳細は後述する。   The control unit 1 includes an extraction unit 11, an ablation range setting unit 12, a planned insertion path setting unit 13, and a probe arrangement image setting unit 14. The extraction unit 11 extracts a tumor in the medical image data. This tumor is an ablation target by the puncture needle 42. Details will be described later.

前記焼灼範囲設定部12は、前記穿刺針42による焼灼範囲Rを設定する。前記刺入予定経路設定部13は、前記医用画像データに基づいて前記表示部4に表示された医用画像において、前記穿刺針42の刺入予定経路Wを設定する。前記プローブ配置画像設定部14は、被検体の体表面における超音波プローブの推奨配置を示すプローブ配置画像Pを前記表示部4に表示させる。それぞれ詳細は後述する。前記焼灼範囲設定部12は、本発明における焼灼範囲設定部の実施の形態の一例である。前記刺入予定経路設定部13は、本発明における刺入予定経路設定部の実施の形態の一例である。前記プローブ配置画像設定部14は、本発明におけるプローブ配置画像設定部の実施の形態の一例である。   The ablation range setting unit 12 sets an ablation range R by the puncture needle 42. The planned insertion path setting unit 13 sets the planned insertion path W of the puncture needle 42 in the medical image displayed on the display unit 4 based on the medical image data. The probe arrangement image setting unit 14 causes the display unit 4 to display a probe arrangement image P indicating a recommended arrangement of ultrasonic probes on the body surface of the subject. Details of each will be described later. The ablation range setting unit 12 is an example of an embodiment of the ablation range setting unit in the present invention. The planned insertion path setting unit 13 is an example of an embodiment of a planned insertion path setting unit according to the present invention. The probe arrangement image setting unit 14 is an example of an embodiment of a probe arrangement image setting unit in the present invention.

ちなみに、前記プローブ配置画像Pは、超音波プローブ、穿刺ガイド治具、穿刺針及び磁気センサを示す画像である(図14参照)。このプローブ配置画像Pにおける磁気センサの位置(医用画像データの座標系における位置)は、前記記憶部2に記憶される。   Incidentally, the probe arrangement image P is an image showing an ultrasonic probe, a puncture guide jig, a puncture needle, and a magnetic sensor (see FIG. 14). The position of the magnetic sensor in the probe arrangement image P (position in the coordinate system of medical image data) is stored in the storage unit 2.

前記記憶部2は、HDD(ハードディスクドライブ:Hard Disk Drive)やメモリ(memory)などである。前記入力部3は、キーボード(keyboard)やマウス(mouse)などを含む。前記表示部4は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などである。   The storage unit 2 is an HDD (Hard Disk Drive), a memory, or the like. The input unit 3 includes a keyboard and a mouse. The display unit 4 is an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), or the like.

次に、図3に基づいて前記超音波診断装置300について説明する。前記超音波診断装置300は、超音波プローブ31、送受信部32、エコーデータ処理部33、表示制御部34、表示部35、操作部36、制御部37、記憶部38を備える。   Next, the ultrasonic diagnostic apparatus 300 will be described with reference to FIG. The ultrasonic diagnostic apparatus 300 includes an ultrasonic probe 31, a transmission / reception unit 32, an echo data processing unit 33, a display control unit 34, a display unit 35, an operation unit 36, a control unit 37, and a storage unit 38.

前記超音波プローブ31は、アレイ状に配置された複数の超音波振動子(図示省略)を有して構成され、この超音波振動子によって被検体に対して超音波を送信し、そのエコー信号を受信する。前記超音波プローブ31は、本発明における超音波プローブの実施の形態の一例である。   The ultrasonic probe 31 includes a plurality of ultrasonic transducers (not shown) arranged in an array. The ultrasonic transducer 31 transmits ultrasonic waves to the subject, and an echo signal thereof. Receive. The ultrasonic probe 31 is an example of an embodiment of an ultrasonic probe in the present invention.

前記超音波プローブ31には、例えばホール素子で構成される第一磁気センサ39が設けられている。この第一磁気センサ39により、例えば磁気発生コイルで構成される磁気発生部40から発生する磁気が検出されるようになっている。前記第一磁気センサ39における検出信号は、前記表示制御部34へ入力されるようになっている。前記第一磁気センサ39における検出信号は、図示しないケーブルを介して前記表示制御部34へ入力されてもよいし、無線で前記表示制御部34へ入力されてもよい。前記第一磁気センサ39及び前記磁気発生部40は、後述のように前記超音波プローブ31の位置及び傾き(前記超音波プローブ31の配置)を検出するためのものである。   The ultrasonic probe 31 is provided with a first magnetic sensor 39 composed of, for example, a Hall element. The first magnetic sensor 39 detects the magnetism generated from the magnetism generating unit 40 constituted by, for example, a magnetism generating coil. A detection signal in the first magnetic sensor 39 is input to the display control unit 34. The detection signal in the first magnetic sensor 39 may be input to the display control unit 34 via a cable (not shown), or may be input to the display control unit 34 wirelessly. The first magnetic sensor 39 and the magnetism generator 40 are for detecting the position and inclination of the ultrasonic probe 31 (arrangement of the ultrasonic probe 31) as will be described later.

前記第一磁気センサ39は、前記超音波プローブ31に取り付けられた穿刺ガイド治具41に取り付けられている。図4に示すように、第一磁気センサ39は、本例では二つ取り付けられている。   The first magnetic sensor 39 is attached to a puncture guide jig 41 attached to the ultrasonic probe 31. As shown in FIG. 4, two first magnetic sensors 39 are attached in this example.

前記穿刺針ガイド治具41には、穿刺針42(図4では図示省略)が取り付けられる。従って、前記穿刺針42は、前記穿刺ガイド治具41を介して前記超音波プローブ31に取り付けられる。   A puncture needle 42 (not shown in FIG. 4) is attached to the puncture needle guide jig 41. Therefore, the puncture needle 42 is attached to the ultrasonic probe 31 via the puncture guide jig 41.

前記穿刺針42には、前記磁気発生部40から発生する磁気を検出する第二磁気センサ43が設けられている。この第二磁気センサ43は、例えば筒状に形成された前記穿刺針42の先端部分の中空部に設けられる。前記磁気発生部40及び前記第二磁気センサ43は、この第二磁気センサ43が設けられた前記穿刺針42の先端部分の位置を検出するためのものである。   The puncture needle 42 is provided with a second magnetic sensor 43 that detects magnetism generated from the magnetism generator 40. The second magnetic sensor 43 is provided, for example, in the hollow portion of the distal end portion of the puncture needle 42 formed in a cylindrical shape. The magnetism generator 40 and the second magnetic sensor 43 are for detecting the position of the distal end portion of the puncture needle 42 provided with the second magnetic sensor 43.

前記送受信部32は、前記超音波プローブ31から所定の走査条件で超音波を送信するための電気信号を、前記制御部37からの制御信号に基づいて前記超音波プローブ31に供給する。また、前記送受信部32は、前記超音波プローブ31で受信したエコー信号について、A/D変換、整相加算処理等の信号処理を行ない、信号処理後のエコーデータを前記エコーデータ処理部33へ出力する。   The transmission / reception unit 32 supplies an electrical signal for transmitting ultrasonic waves from the ultrasonic probe 31 under a predetermined scanning condition to the ultrasonic probe 31 based on a control signal from the control unit 37. The transmission / reception unit 32 performs signal processing such as A / D conversion and phasing addition processing on the echo signal received by the ultrasonic probe 31, and sends the echo data after the signal processing to the echo data processing unit 33. Output.

前記エコーデータ処理部33は、前記送受信部32から出力されたエコーデータに対し、超音波画像を作成するための処理を行なう。例えば、前記エコーデータ処理部33は、対数圧縮処理、包絡線検波処理等を含むBモード処理を行ってBモードデータを作成したりする。   The echo data processing unit 33 performs processing for creating an ultrasound image on the echo data output from the transmission / reception unit 32. For example, the echo data processing unit 33 performs B mode processing including logarithmic compression processing, envelope detection processing, and the like to create B mode data.

前記表示制御部34は、図5に示すように、配置算出部341、距離算出部342、表示画像制御部343を有する。前記配置算出部341は、前記第一磁気センサ39からの磁気検出信号に基づいて、前記磁気発生部40を原点とする三次元空間における前記超音波プローブ31の位置及び傾きの情報(以下、「プローブ配置情報」と云う)を算出する。さらに、前記配置算出部341は、前記プローブ配置情報に基づいてエコーデータの前記三次元空間における位置情報を算出する。   As shown in FIG. 5, the display control unit 34 includes an arrangement calculation unit 341, a distance calculation unit 342, and a display image control unit 343. Based on the magnetic detection signal from the first magnetic sensor 39, the arrangement calculation unit 341 is configured to obtain information on the position and inclination of the ultrasonic probe 31 in the three-dimensional space with the magnetic generation unit 40 as the origin (hereinafter, “ "Probe arrangement information"). Furthermore, the arrangement calculation unit 341 calculates position information of the echo data in the three-dimensional space based on the probe arrangement information.

また、前記配置算出部341は、前記第二磁気センサ43からの磁気検出信号に基づいて、前記三次元空間における前記穿刺針42の先端部分の位置情報を算出する。前記第二磁気センサ43、前記磁気発生部40、前記配置算出部341により、前記穿刺針42の先端部分の位置が検出される。   Further, the arrangement calculation unit 341 calculates position information of the distal end portion of the puncture needle 42 in the three-dimensional space based on the magnetic detection signal from the second magnetic sensor 43. The position of the distal end portion of the puncture needle 42 is detected by the second magnetic sensor 43, the magnetism generator 40, and the arrangement calculator 341.

前記距離算出部342は、前記三次元空間における前記超音波プローブ31に取り付けられた前記第一磁気センサ39の位置とプローブ配置画像Pにおける磁気センサの位置との距離Ddを算出する。また、前記距離算出部342は、前記第二磁気センサ43の位置と後述の治療計画において設定された穿刺針の針先NTとの距離Dddを算出する。詳細は後述する。   The distance calculation unit 342 calculates a distance Dd between the position of the first magnetic sensor 39 attached to the ultrasonic probe 31 in the three-dimensional space and the position of the magnetic sensor in the probe arrangement image P. In addition, the distance calculation unit 342 calculates a distance Ddd between the position of the second magnetic sensor 43 and the needle tip NT of the puncture needle set in the treatment plan described later. Details will be described later.

前記表示画像制御部343は、スキャンコンバータ(Scan Converter)によって前記BモードデータをBモード画像データに走査変換する。そして、前記表示画像制御部343は、前記Bモード画像データに基づくBモード画像を前記表示部35に表示させる。また、前記表示画像制御部343は、Bモード画像とともにMRI画像も表示させる。   The display image control unit 343 scan-converts the B-mode data into B-mode image data using a scan converter (Scan Converter). Then, the display image control unit 343 causes the display unit 35 to display a B mode image based on the B mode image data. Further, the display image control unit 343 displays an MRI image together with the B mode image.

また、前記表示画像制御部343は、リアルタイムの超音波画像を表示させている時に、前記超音波プローブ31の位置と、前記プローブ配置画像Pとの位置関係を示す位置関係画像X(図18,19)を前記表示部35に表示させる。前記表示画像制御部343は、本発明における位置関係画像表示制御部の実施の形態の一例である。   In addition, the display image control unit 343 displays a positional relationship image X (FIG. 18, FIG. 18) indicating the positional relationship between the position of the ultrasonic probe 31 and the probe arrangement image P when displaying a real-time ultrasonic image. 19) is displayed on the display unit 35. The display image control unit 343 is an example of an embodiment of a positional relationship image display control unit in the present invention.

さらに、前記表示画像制御部343は、被検体に刺入された前記穿刺針42の軌跡を示す軌跡画像T(図20,21)を表示させる。   Further, the display image control unit 343 displays a trajectory image T (FIGS. 20 and 21) indicating the trajectory of the puncture needle 42 inserted into the subject.

前記表示部35は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などで構成される。前記操作部36は、操作者が指示や情報を入力するためのキーボード及びポインティングデバイス(図示省略)などを含んで構成されている。   The display unit 35 includes an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), or the like. The operation unit 36 includes a keyboard and a pointing device (not shown) for an operator to input instructions and information.

前記制御部37は、CPU(CentRal Processing Unit)を有して構成される。この制御部37は、前記記憶部38に記憶された制御プログラムを読み出し、前記超音波診断装置1の各部における機能を実行させる。   The control unit 37 includes a CPU (CentRal Processing Unit). The control unit 37 reads the control program stored in the storage unit 38 and executes functions in each unit of the ultrasonic diagnostic apparatus 1.

さて、本例の作用について説明する。ここでは、前記穿刺針42からラジオ波を照射して腫瘍を焼灼治療する際の作用について説明する。先ず、前記穿刺計画支援装置100により、焼灼治療の治療計画を立てる。具体的に図6のフローチャートに基づいて説明する。   Now, the operation of this example will be described. Here, the action when the tumor is cauterized by radiating radio waves from the puncture needle 42 will be described. First, a treatment plan for ablation treatment is made by the puncture plan support apparatus 100. This will be specifically described based on the flowchart of FIG.

先ず、ステップS1では、治療対象の被検体について前記医用画像装置200によって予め取得されたMRI画像やX線CT画像のボリュームデータ(volume data)を、前記穿刺計画支援装置100の前記記憶部2に記憶する。ここでは、MRI画像のボリュームデータが前記記憶部2に記憶される。MRI画像のボリュームデータには、T1強調画像、T2強調画像、造影画像のデータなどが含まれる。   First, in step S1, volume data (volume data) of an MRI image or an X-ray CT image acquired in advance by the medical imaging apparatus 200 for a subject to be treated is stored in the storage unit 2 of the puncture plan support apparatus 100. Remember. Here, the volume data of the MRI image is stored in the storage unit 2. The volume data of the MRI image includes T1-weighted image, T2-weighted image, contrast image data, and the like.

次に、ステップS2では、前記記憶部2に記憶されたMRI画像において、腫瘍を抽出する。具体的には、図7に示すように、前記表示部4に表示された二次元のMRI画像MG2Dにおいて、操作者が前記入力部3のマウス等を用いて腫瘍の輪郭をなぞりマーキングMを設定する。操作者は、互いに直交する二方向のそれぞれについて、複数断面のMRI画像においてマーキングを行なう。 Next, in step S2, a tumor is extracted from the MRI image stored in the storage unit 2. Specifically, as shown in FIG. 7, in the two-dimensional MRI image MG 2D displayed on the display unit 4, the operator traces the outline of the tumor using the mouse or the like of the input unit 3 and marks the marking M. Set. The operator performs marking on the MRI image having a plurality of cross sections for each of two directions orthogonal to each other.

次に、ステップS3では、前記抽出部11が操作者による複数断面におけるマーキングに基づいて補間演算を行ない腫瘍の三次元形状を抽出する。また、前記抽出部11は、抽出された腫瘍を前記表示部4に表示させる。   Next, in step S3, the extraction unit 11 performs an interpolation operation based on the marking on the plurality of cross sections by the operator, and extracts the three-dimensional shape of the tumor. Further, the extraction unit 11 displays the extracted tumor on the display unit 4.

次に、ステップS4では、操作者は、表示された腫瘍の三次元形状を変更したい場合、前記入力部3において非承認の入力を行なう(ステップS4で「NO」)。このステップS4で非承認の入力が行われると、前記ステップS2の処理へ戻って再びマーキングを行ない、前記ステップS3で腫瘍の抽出を行なう。   Next, in step S4, when the operator wants to change the three-dimensional shape of the displayed tumor, the operator performs non-approval input in the input unit 3 ("NO" in step S4). When non-approval is input in step S4, the process returns to step S2 to perform marking again, and the tumor is extracted in step S3.

一方、操作者は、表示された腫瘍の三次元形状で問題ない場合、前記入力部3において承認の入力を行なう(ステップS4で「YES」)。   On the other hand, when there is no problem with the displayed three-dimensional shape of the tumor, the operator inputs approval in the input unit 3 (“YES” in step S4).

ちなみに、焼灼対象となる腫瘍が複数ある場合、これらすべてについてステップS2〜S4の処理を行なう。   Incidentally, when there are a plurality of tumors to be ablated, the processes of steps S2 to S4 are performed for all of them.

前記ステップS4で承認の入力が行われると、ステップS5では、焼灼を行なう時の穿刺針42の刺入予定経路及び針先の位置を決定する。このステップS5における刺入予定経路及び針先位置の決定について、図8のフローチャートに基づいて説明する。先ず、ステップS51では、操作者が前記入力部3において、前記穿刺針42の種類、焼灼温度、焼灼時間を入力する。入力された前記穿刺針42の種類、焼灼温度、焼灼時間は、前記記憶部2に記憶される。   When approval is input in step S4, in step S5, the planned insertion path of the puncture needle 42 and the position of the needle tip when cauterization is performed are determined. Determination of the planned insertion path and the needle tip position in step S5 will be described based on the flowchart of FIG. First, in step S51, the operator inputs the type of the puncture needle 42, the ablation temperature, and the ablation time at the input unit 3. The input type, ablation temperature, and ablation time of the puncture needle 42 are stored in the storage unit 2.

次に、ステップS52では、前記焼灼範囲設定部12は、前記ステップS51で入力された前記穿刺針の種類、焼灼温度、焼灼時間に基づいて、焼灼範囲の大きさを演算して焼灼範囲Rを前記表示部4に表示させる。図9に示すように、焼灼範囲Rは、三次元で表示され、具体的には球形で表示される。前記焼灼範囲設定部12は、前記焼灼範囲Rを前記表示部4における予め設定された所定の位置に表示させる。このように、前記焼灼範囲Rが自動的に表示されるので、操作者にとって便宜である。   Next, in step S52, the ablation range setting unit 12 calculates the ablation range R by calculating the size of the ablation range based on the type of the puncture needle, the ablation temperature, and the ablation time input in step S51. It is displayed on the display unit 4. As shown in FIG. 9, the cautery range R is displayed in three dimensions, specifically, in a spherical shape. The cautery range setting unit 12 causes the cautery range R to be displayed at a predetermined position on the display unit 4. Thus, the ablation range R is automatically displayed, which is convenient for the operator.

ちなみに、図9において、符号MG3DはMRI画像のボリュームデータに基づく三次元MRI画像であり、符号Cはこの三次元MRI画像MG3Dにおいて前記抽出部11によって抽出された腫瘍の三次元画像(以下、「腫瘍像」と云う)である。図9において、前記三次元MRI画像MG3Dは、単純化して立方体で示されている。 Incidentally, in FIG. 9, a symbol MG 3D is a three-dimensional MRI image based on the volume data of the MRI image, and a symbol C is a three-dimensional image of the tumor extracted by the extraction unit 11 in the three-dimensional MRI image MG 3D (hereinafter referred to as “three-dimensional MRI image”). "Tumor image"). In FIG. 9, the three-dimensional MRI image MG 3D is simplified and shown as a cube.

ステップS52で前記焼灼範囲Rが表示されると、ステップS53では、図10に示すように、操作者は前記入力部3を用いて前記焼灼範囲Rを前記腫瘍像Cに重ねる。操作者は前記焼灼範囲Rが腫瘍像Cを含むように前記焼灼範囲Rを設定する。さらに詳細には、操作者は、腫瘍像Cに対してセーフティマージン(safety margin)を有するように前記焼灼範囲Rを設定する。設定された焼灼範囲Rは、前記MRI画像の座標系における位置情報とともに前記記憶部2に記憶されてもよい。   When the ablation range R is displayed in step S52, the operator superimposes the ablation range R on the tumor image C using the input unit 3 in step S53 as shown in FIG. The operator sets the ablation range R so that the ablation range R includes the tumor image C. More specifically, the operator sets the ablation range R so that the tumor image C has a safety margin. The set ablation range R may be stored in the storage unit 2 together with position information in the coordinate system of the MRI image.

このステップS53においては、前記焼灼範囲Rが前記腫瘍像Cを含むように、前記穿刺針42の種類、焼灼温度、焼灼時間を変更して前記焼灼範囲Rの大きさを調節してもよい。また、前記焼灼範囲Rが前記腫瘍像Cを含むように、図11に示すように、焼灼範囲Rを複数表示させて、この複数の焼灼範囲Rによって腫瘍像Cを覆ってもよい(図11では二次元で示す)。焼灼範囲Rが複数表示される場合には、図11に示すようにそれぞれの焼灼範囲Rについて数字(図では「1」〜「4」)を設定してもよい。この数字は焼灼範囲Rと関連付けて記憶されてもよい。   In step S53, the size of the ablation range R may be adjusted by changing the type of the puncture needle 42, the ablation temperature, and the ablation time so that the ablation range R includes the tumor image C. Further, as shown in FIG. 11, a plurality of ablation ranges R may be displayed so that the ablation range R includes the tumor image C, and the tumor image C may be covered by the plurality of ablation ranges R (FIG. 11). In two dimensions. When a plurality of ablation ranges R are displayed, numbers (“1” to “4” in the figure) may be set for each ablation range R as shown in FIG. This number may be stored in association with the cautery range R.

ちなみに、図11においては、腫瘍像C及び焼灼範囲Rのみ示されており、前記三次元MRI画像MG3Dは図示省略されている。 Incidentally, in FIG. 11, only the tumor image C and the ablation range R are shown, and the three-dimensional MRI image MG 3D is not shown.

前記焼灼範囲設定部12は、単数又は複数の前記焼灼範囲Rが腫瘍像C(あるいは、腫瘍像Cにセーフティマージンを加えた範囲)を含んでいる場合に、その旨を報知するようにしてもよい。例えば、前記焼灼範囲設定部12は、前記焼灼範囲Rが腫瘍像Cを含んでいる場合と含んでいない場合とで前記焼灼範囲Rの輪郭の色を変えることにより、焼灼範囲Rが腫瘍像Cを含んでいることを報知してもよい。   The ablation range setting unit 12 may notify that when one or more ablation ranges R include a tumor image C (or a range obtained by adding a safety margin to the tumor image C). Good. For example, the ablation range setting unit 12 changes the color of the outline of the ablation range R depending on whether the ablation range R includes the tumor image C or not. You may alert | report that it contains.

焼灼対象となる腫瘍が複数ある場合、ステップS53において、設定された焼灼範囲Rに対し、アルファベット等の文字や数字などの識別標識を付してもよい。   If there are a plurality of tumors to be ablated, in step S53, the set ablation range R may be given an identification mark such as letters such as letters or numbers.

ステップS53において焼灼範囲Rが設定されると、ステップS54では刺入予定経路Wを設定する。この刺入予定経路Wは、被検体に対して前記穿刺針42を刺入する目標となる経路である。   When the cautery range R is set in step S53, the planned insertion path W is set in step S54. This planned insertion path W is a target path for inserting the puncture needle 42 into the subject.

前記刺入予定経路Wの設定について具体的に図12及び図13に基づいて説明する。ちなみに、図12及び図13では、説明の便宜上、二次元の画像になっているが、三次元画像において前記刺入予定経路が設定されてもよい。   The setting of the planned insertion path W will be specifically described with reference to FIGS. Incidentally, in FIG. 12 and FIG. 13, for convenience of explanation, a two-dimensional image is shown, but the planned insertion path may be set in a three-dimensional image.

前記刺入予定経路設定部13は、例えばMRI画像MGにおいて特定の腫瘍像C(図12,13では図示省略)に設定された特定の焼灼範囲Rの識別標識(数字やアルファベット等)が入力されると、その焼灼範囲Rと、前記表示部4に表示されたポインタ(pointer)Ptとを結ぶライン(line)lを表示させる。ラインlは、前記焼灼範囲Rの円(又は球)の中心O(図示省略)と前記ポインタPtの先端とを結び、さらに前記中心Oに対してポインタPtとは反対側において前記焼灼範囲Rの輪郭と交わる部分まで引かれた線分である。この中心Oに対してポインタPtとは反対側において前記焼灼範囲Rの輪郭とラインlとが交わる部分が、焼灼時における穿刺針42の針先の位置NT(図13参照)になる。   The insertion planned route setting unit 13 receives, for example, an identification mark (number, alphabet, etc.) of a specific ablation range R set to a specific tumor image C (not shown in FIGS. 12 and 13) in the MRI image MG. Then, a line l connecting the cautery range R and the pointer Pt displayed on the display unit 4 is displayed. A line l connects the center O (not shown) of the circle (or sphere) of the ablation range R and the tip of the pointer Pt, and further, the line I of the ablation range R is opposite to the pointer Pt. It is a line segment drawn to the part that intersects the contour. A portion where the contour of the ablation range R and the line 1 intersect on the opposite side of the pointer Pt with respect to the center O is a needle tip position NT (see FIG. 13) of the puncture needle 42 at the time of ablation.

前記刺入予定経路設定部13は、前記ラインlと、穿刺針42の刺入を回避すべき回避対象である脈管及び骨との距離に応じて異なる色の前記ラインlを表示させる。前記刺入予定経路設定部13は、MRI画像のボリュームデータにおいて特定される脈管や骨と、前記ラインl上の複数個所との距離を算出し、最も小さい距離に応じた色で前記ラインlを表示させる。例えば、前記刺入予定経路設定部13は、前記ラインlと脈管や骨とが交差している場合は、前記ラインlを赤で表示させる。また、前記刺入予定経路設定部13は、前記ラインlと脈管や骨との距離Dが、0<D≦d1である場合、前記ラインlを黄色で表示させ、D>d1である場合、前記ラインlを緑色で表示させる。d1は、前記穿刺針42を脈管や骨との関係で安全に刺入することができる距離に設定される。   The planned puncture setting unit 13 displays the line l in a different color according to the distance between the line l and the vascular and bone that should be avoided to puncture the puncture needle 42. The planned insertion path setting unit 13 calculates distances between the vessels and bones specified in the volume data of the MRI image and a plurality of locations on the line l, and the line l in a color corresponding to the smallest distance. Is displayed. For example, the planned insertion path setting unit 13 displays the line l in red when the line l intersects a vessel or bone. Further, when the distance D between the line l and the blood vessel or bone is 0 <D ≦ d1, the planned insertion path setting unit 13 displays the line l in yellow and D> d1 The line l is displayed in green. d1 is set to a distance at which the puncture needle 42 can be safely inserted in relation to a blood vessel or a bone.

操作者は、前記ポインタPtを移動して前記ラインlが緑色で表示される場所を探し、刺入予定経路Wを決定する入力を行なう。これにより、脈管や骨を避けて刺入予定経路Wが容易に設定される。刺入予定経路Wが決定されると、焼灼の時の穿刺針42の針先の位置が確定される。例えば、刺入予定経路Wが図13に示されたラインlに決定されると、針先は符号NTの位置に確定される。決定されたラインl(刺入予定経路W)及び針先NTのMRI画像の座標系における位置情報は、前記記憶部2に記憶される。   The operator moves the pointer Pt, searches for a place where the line l is displayed in green, and performs an input for determining the planned insertion path W. Thereby, the puncture planned path W is easily set avoiding the blood vessel and the bone. When the planned insertion path W is determined, the position of the needle tip of the puncture needle 42 at the time of cauterization is determined. For example, when the planned insertion path W is determined to be the line l shown in FIG. 13, the needle tip is determined at the position of the symbol NT. The position information in the coordinate system of the determined MRI image of the line l (scheduled insertion path W) and the needle tip NT is stored in the storage unit 2.

焼灼対象の腫瘍が複数ある場合、各腫瘍に対してステップS5の処理を行なう。また、一つの腫瘍に対して複数の焼灼範囲Rが設定されている場合、各焼灼範囲Rに対してステップS5の処理を行う。そして、ステップS5において、刺入予定経路W及び針先NTの位置が決定されるとステップS6の処理へ移行する。ステップS6では、操作者は、前記入力部3において、焼灼治療に用いる超音波プローブ31の種類を入力する。入力された超音波プローブ31の種類は前記記憶部2に記憶される。   When there are a plurality of tumors to be ablated, the process of step S5 is performed on each tumor. When a plurality of ablation ranges R are set for one tumor, the process of step S5 is performed on each ablation range R. When the planned insertion path W and the position of the needle tip NT are determined in step S5, the process proceeds to step S6. In step S <b> 6, the operator inputs the type of ultrasonic probe 31 used for cauterization treatment at the input unit 3. The type of the input ultrasonic probe 31 is stored in the storage unit 2.

次に、ステップS7では、図14に示すように、前記プローブ配置画像設定部14は、前記プローブ配置画像Pを前記表示部4に表示させる。前記プローブ配置画像Pは、前記穿刺針42を刺入する時の被検体の体表面における超音波プローブ31の推奨配置(穿刺位置)、すなわち推奨される超音波プローブ31の位置及び角度を示す画像である。   Next, in step S7, as shown in FIG. 14, the probe arrangement image setting unit 14 causes the display unit 4 to display the probe arrangement image P. The probe arrangement image P is a recommended arrangement (puncture position) of the ultrasonic probe 31 on the body surface of the subject when the puncture needle 42 is inserted, that is, an image showing a recommended position and angle of the ultrasonic probe 31. It is.

前記プローブ配置画像Pは、前記ステップS6において入力された種類の超音波プローブ31の画像31′を含む。また、プローブ配置画像Pには、予め記憶された穿刺ガイド治具41の画像41′や穿刺ガイド治具41に取り付けられた第一磁気センサ39の画像39′が含まれる。さらに、前記プローブ配置画像Pには、穿刺針42の画像42′も含まれる。このようなプローブ配置画像Pが表示されることにより、穿刺針42を刺入する時の前記超音波プローブ31の位置及び角度を容易に知ることができる。ちなみに、ここで操作者が知ることができる超音波プローブ31の位置及び角度は、被検体のMRI画像における組織の形状等との関係における位置及び角度である。   The probe arrangement image P includes an image 31 ′ of the type of ultrasonic probe 31 input in step S6. The probe arrangement image P includes an image 41 ′ of the puncture guide jig 41 stored in advance and an image 39 ′ of the first magnetic sensor 39 attached to the puncture guide jig 41. Further, the probe arrangement image P includes an image 42 ′ of the puncture needle 42. By displaying such a probe arrangement image P, it is possible to easily know the position and angle of the ultrasonic probe 31 when the puncture needle 42 is inserted. Incidentally, the position and angle of the ultrasonic probe 31 that can be known by the operator here are the position and angle in relation to the shape of the tissue in the MRI image of the subject.

前記プローブ配置画像Pは、三次元MRI画像MG3Dにおける被検体の体表面S上に表示されている。前記三次元MRI画像MG3Dには、焼灼範囲Rが表示されている。また、前記プローブ配置画像Pは、前記体表面S上において所定の位置及び角度で置かれている。前記プローブ配置画像設定部14は、被検体に対する穿刺針42の刺入予定経路Wに基づいて、前記プローブ配置画像Pを表示させる。具体的には、図15に示すように、前記プローブ配置画像設定部14は、前記ステップS5において決定された刺入予定経路Wと被検体の体表面Sとの交点である穿刺針刺入予定点Ipと刺入予定経路の角度とに基づいて、前記プローブ配置画像Pの位置及び角度を設定し、これを表示させる。前記プローブ配置画像設定部14は、前記超音波プローブ31の種類、穿刺ガイド治具41の種類及び穿刺ガイド治具41における穿刺針の取り付け角度によって決まる超音波プローブ31に対する前記穿刺針42の位置及び角度を参照して、穿刺針42の刺入位置及び刺入方向が刺入予定経路Wと一致するように、前記プローブ配置画像Pの位置及び角度を設定する。 The probe arrangement image P is displayed on the body surface S of the subject in the three-dimensional MRI image MG 3D . An ablation range R is displayed on the three-dimensional MRI image MG 3D . The probe arrangement image P is placed on the body surface S at a predetermined position and angle. The probe arrangement image setting unit 14 displays the probe arrangement image P based on the planned insertion path W of the puncture needle 42 with respect to the subject. Specifically, as shown in FIG. 15, the probe placement image setting unit 14 plans to insert a puncture needle that is the intersection of the planned insertion path W determined in step S5 and the body surface S of the subject. Based on the point Ip and the angle of the planned insertion path, the position and angle of the probe placement image P are set and displayed. The probe arrangement image setting unit 14 determines the position of the puncture needle 42 relative to the ultrasonic probe 31 determined by the type of the ultrasonic probe 31, the type of the puncture guide jig 41, and the attachment angle of the puncture needle in the puncture guide jig 41. With reference to the angle, the position and angle of the probe arrangement image P are set so that the insertion position and insertion direction of the puncture needle 42 coincide with the planned insertion path W.

設定されたプローブ配置画像Pの体表面Sにおける位置及び角度は前記記憶部2に記憶される。また、MRI画像の座標系における前記第一磁気センサ39′の画像の位置情報も前記記憶部2に記憶される。   The position and angle of the set probe arrangement image P on the body surface S are stored in the storage unit 2. Further, positional information of the image of the first magnetic sensor 39 ′ in the coordinate system of the MRI image is also stored in the storage unit 2.

次に、被検体に前記穿刺針42を刺入して焼灼を行なう場合の処理について、図16のフローチャートに基づいて説明する。先ず、ステップS11では、前記ステップS7で記憶された情報及びMRI画像のボリュームデータを前記超音波診断装置300の前記記憶部38に記憶する。また、前記ステップS5で記憶された針先NTの位置も前記記憶部38に記憶する。   Next, a process in the case where cauterization is performed by inserting the puncture needle 42 into the subject will be described based on the flowchart of FIG. First, in step S11, the information stored in step S7 and the volume data of the MRI image are stored in the storage unit 38 of the ultrasonic diagnostic apparatus 300. The position of the needle tip NT stored in step S5 is also stored in the storage unit 38.

次に、ステップS12では、前記超音波プローブ31によって超音波の送受信を開始して、エコー信号を取得し、図17に示すように、前記表示部35にリアルタイムの超音波画像UGを表示させる。また、MRI画像のボリュームデータに基づく二次元のMRI画像MG2Dを前記超音波画像UGと並べて前記表示部35に表示させる。 Next, in step S12, transmission / reception of ultrasonic waves is started by the ultrasonic probe 31, an echo signal is acquired, and a real-time ultrasonic image UG is displayed on the display unit 35 as shown in FIG. Further, a two-dimensional MRI image MG 2D based on the volume data of the MRI image is displayed on the display unit 35 along with the ultrasonic image UG.

次に、ステップS13では、前記超音波画像UGの座標系と前記MRI画像MG2Dの座標系との位置合わせ処理を行なう。具体的には、操作者は前記表示部6に表示された前記超音波画像UGと前記MRI画像MG2Dとを見比べながら、いずれか一方又は両方の画像の断面を移動させ、同一断面の超音波画像UGとMRI画像MG2Dとを表示させる。前記超音波画像UGの断面の移動は、前記超音波プローブ31の位置を変えることによって行なう。また、前記MRI画像MG2Dの断面の移動は、前記操作部36を操作して断面を変更する指示を入力することにより行なう。 Next, in step S13, alignment processing between the coordinate system of the ultrasonic image UG and the coordinate system of the MRI image MG 2D is performed. Specifically, the operator moves the cross section of one or both images while comparing the ultrasonic image UG displayed on the display unit 6 and the MRI image MG 2D , so that the ultrasonic wave of the same cross section is obtained. The image UG and the MRI image MG 2D are displayed. The cross section of the ultrasonic image UG is moved by changing the position of the ultrasonic probe 31. The cross section of the MRI image MG 2D is moved by operating the operation unit 36 and inputting an instruction to change the cross section.

同一断面か否かは、例えば操作者が特徴的な部位を参照するなどして判断する。操作者は、同一断面についての超音波画像UG及びMRI画像MG2Dが表示されると、前記操作部36のトラックボール等を用いて、前記超音波画像UGの任意の点を指定する。また、操作者は前記超音波画像UGにおいて指定された点と同一位置と思われる点を前記MRI画像MG2Dにおいても指定する。操作者は、このような点の指定を複数点について行なう。 Whether the cross sections are the same or not is determined, for example, by referring to a characteristic part by the operator. When the ultrasonic image UG and the MRI image MG 2D for the same cross section are displayed, the operator designates an arbitrary point of the ultrasonic image UG using the trackball of the operation unit 36 or the like. Also, the operator also specifies in the MRI image MG 2D points seems to specified points in the same position in the ultrasound image UG. The operator designates such points for a plurality of points.

ここで、前記MRI画像MG2Dのデータは位置情報を有している。従って、上述のように前記超音波画像UGと前記MRI画像MG2Dとで同一位置と思われる点を指定すると、これら超音波画像UGの座標系とMRI画像MG2Dの座標系との対応位置が特定される。そして、前記超音波画像UGの座標系とMRI画像MG2Dの座標系との対応点が複数点特定されることで、前記超音波画像UGの座標系と前記MRI画像MG2Dの座標系との座標変換が可能になる。以上により位置合わせ処理が完了する。 Here, the data of the MRI image MG 2D has position information. Therefore, by specifying a point it seems to be the same position in the as described above with the ultrasound image UG and the MRI image MG 2D, corresponding positions of the coordinate system and the MRI image MG 2D coordinate system of the ultrasound image UG is Identified. Then, by specifying a plurality of corresponding points between the coordinate system of the ultrasonic image UG and the coordinate system of the MRI image MG 2D , the coordinate system of the ultrasonic image UG and the coordinate system of the MRI image MG 2D Coordinate conversion is possible. This completes the alignment process.

ステップS13において位置合わせが完了すると、前記表示画像制御部343は、リアルタイムの超音波画像UGとともに、前記配置算出部341で算出されたエコー信号の位置に対応する断面についてのMRI画像MG2Dを前記ボリュームデータに基づいて表示させる。これにより、被検体における同一断面の超音波画像UG及びMRI画像MG2Dが表示される。 When the alignment is completed in step S13, the display image control unit 343 displays the MRI image MG 2D for the cross section corresponding to the position of the echo signal calculated by the arrangement calculation unit 341 together with the real-time ultrasonic image UG. Display based on volume data. Thus, the ultrasound image UG and MRI image MG 2D of the same cross-section in a subject is displayed.

ステップS14では、操作者は、図18及び図19に示すように、表示画像制御部343によって前記表示部35に表示される位置関係画像Xを参照して、前記超音波プローブ31を、前記ステップS7で表示された推奨される位置及び角度に配置することにより、穿刺位置に配置する。   In step S14, the operator refers to the positional relationship image X displayed on the display unit 35 by the display image control unit 343 and moves the ultrasonic probe 31 to the step, as shown in FIGS. Arrange at the puncture position by placing it at the recommended position and angle displayed in S7.

前記位置関係画像Xについて説明する。前記位置関係画像Xは、前記超音波プローブ31の位置と前記プローブ配置画像Pとの位置関係を示す画像である。より詳細には、前記位置関係画像Xは、前記超音波プローブ31に取り付けられた前記第一磁気センサ39と前記プローブ配置画像Pの第一磁気センサ39の画像39′との距離Ddに応じた表示形態を有する画像である。   The positional relationship image X will be described. The positional relationship image X is an image showing the positional relationship between the position of the ultrasonic probe 31 and the probe arrangement image P. More specifically, the positional relationship image X corresponds to the distance Dd between the first magnetic sensor 39 attached to the ultrasonic probe 31 and the image 39 ′ of the first magnetic sensor 39 in the probe arrangement image P. It is an image which has a display form.

ここで、前記超音波プローブ31に取り付けられた前記第一位置センサ39の位置座標は、超音波画像UGの座標系における位置座標である。一方、前記プローブ配置画像Pの第一磁気センサ39の画像39′の位置座標は、前記MRI画像MGの座標系における位置座標である。前記距離算出部342は、前記超音波画像UGの座標系と前記MRI画像の座標系との間で座標変換を行なって、前記距離Ddを算出する。前記表示画像制御部343は、前記距離Ddに基づいて、前記位置関係画像Xを表示させる。   Here, the position coordinates of the first position sensor 39 attached to the ultrasonic probe 31 are position coordinates in the coordinate system of the ultrasonic image UG. On the other hand, the position coordinates of the image 39 ′ of the first magnetic sensor 39 in the probe arrangement image P are the position coordinates in the coordinate system of the MRI image MG. The distance calculation unit 342 performs coordinate conversion between the coordinate system of the ultrasonic image UG and the coordinate system of the MRI image, and calculates the distance Dd. The display image control unit 343 displays the positional relationship image X based on the distance Dd.

位置関係画像Xは、第一磁気センサ39が二つあることに対応して二つの図形からなる。具体的には、前記位置関係画像Xは、四角形又は十字形である。前記位置関係画像Xは、前記距離Ddが大きくなるほど四角形の面積が大きくなり、前記距離Ddが小さくなるほど四角形の面積が小さくなる。そして、前記距離Ddが零、すなわち前記超音波プローブ31に取り付けられた前記第一磁気センサ39と前記プローブ配置画像Pの第一磁気センサ39の画像39′の位置が一致した場合、前記位置関係画像Xは、図19に示すように十字形になる。このように前記位置関係画像Xが十字形になると、前記超音波プローブ31が穿刺位置に配置されたことになる。   The positional relationship image X consists of two figures corresponding to the two first magnetic sensors 39. Specifically, the positional relationship image X has a square shape or a cross shape. In the positional relationship image X, the square area increases as the distance Dd increases, and the square area decreases as the distance Dd decreases. When the distance Dd is zero, that is, when the position of the first magnetic sensor 39 attached to the ultrasonic probe 31 and the position of the image 39 ′ of the first magnetic sensor 39 in the probe arrangement image P coincide with each other, the positional relationship The image X has a cross shape as shown in FIG. Thus, when the positional relationship image X has a cross shape, the ultrasonic probe 31 is disposed at the puncture position.

前記表示画像制御部343は、前記ステップS14の前に(例えば前記ステップS11とステップS12の間など)、前記三次元MRI画像MG3D及び前記プローブ配置画像P(図14参照)を前記表示部35に表示させてもよい。これにより、操作者が前記超音波プローブ31を穿刺位置に配置する際の参考とすることができる。 The display image control unit 343 displays the three-dimensional MRI image MG 3D and the probe arrangement image P (see FIG. 14) before the step S14 (for example, between the step S11 and step S12). May be displayed. This can be used as a reference when the operator places the ultrasonic probe 31 at the puncture position.

操作者は、ステップS14において前記超音波プローブ31を穿刺位置に配置すると、ステップS15において、被検体に対して前記穿刺針42を刺入する。操作者は、前記ステップS5において決定された針先NTの位置まで前記穿刺針42を刺入する。   When the operator places the ultrasonic probe 31 at the puncture position in step S14, the operator inserts the puncture needle 42 into the subject in step S15. The operator inserts the puncture needle 42 up to the position of the needle tip NT determined in step S5.

図20に示すように、前記表示画像制御部343は、被検体に刺入された前記穿刺針42の軌跡を示す軌跡画像Tを、前記超音波画像UGに表示させる。前記軌跡画像Tは、前記穿刺針42の刺入経路を示すラインTlと、前記穿刺針42の針先を示すインジケータTnとを含んでいる。前記インジケータTnは、前記穿刺針42の針先と前記ステップS5において決定された針先NTとの距離Dddに応じた面積の図形からなる。具体的には、前記インジケータTnは、前記位置関係画像Xと同様に、四角形又は十字形である。前記インジケータTnは、前記距離Dddが大きくなるほど四角形の面積が大きくなり、前記距離Dddが小さくなるほど四角形の面積が小さくなる。そして、前記距離Dddが零、すなわち前記超音波プローブ31の針先と前記ステップS5において決定された針先NTとが一致した場合、前記インジケータTnは、図21に示すように十字形になる。   As shown in FIG. 20, the display image control unit 343 displays a trajectory image T indicating the trajectory of the puncture needle 42 inserted into the subject on the ultrasonic image UG. The trajectory image T includes a line Tl indicating the insertion path of the puncture needle 42 and an indicator Tn indicating the needle tip of the puncture needle 42. The indicator Tn is a figure having an area corresponding to the distance Ddd between the needle tip of the puncture needle 42 and the needle tip NT determined in step S5. Specifically, like the positional relationship image X, the indicator Tn is a square or a cross. The indicator Tn has a quadrangular area that increases as the distance Ddd increases, and a quadrangular area that decreases as the distance Ddd decreases. When the distance Ddd is zero, that is, when the needle tip of the ultrasonic probe 31 matches the needle tip NT determined in step S5, the indicator Tn has a cross shape as shown in FIG.

前記ステップS5において決定された針先NTの位置情報は、MRI画像の座標系における位置情報であり、前記ステップS11で前記記憶部38に記憶されている。この記憶部38に記憶されている針先NTの位置情報は、超音波画像UGの座標系の位置情報に座標変換される。前記距離算出部342は、超音波画像UGの座標系の位置情報に座標変換された前記針先NTの位置と、前記第二磁気センサ43の検出信号に基づいて算出される前記穿刺針42の針先の位置情報とに基づいて前記距離Dddを算出する。そして、前記表示画像制御部343は、前記距離Dddに基づいて、前記インジケータTnを表示させる。   The position information of the needle tip NT determined in step S5 is position information in the coordinate system of the MRI image, and is stored in the storage unit 38 in step S11. The position information of the needle tip NT stored in the storage unit 38 is coordinate-converted into position information in the coordinate system of the ultrasonic image UG. The distance calculation unit 342 calculates the position of the puncture needle 42 calculated based on the position of the needle tip NT coordinate-converted into position information in the coordinate system of the ultrasonic image UG and the detection signal of the second magnetic sensor 43. The distance Ddd is calculated based on the position information of the needle tip. Then, the display image control unit 343 displays the indicator Tn based on the distance Ddd.

前記ステップS15において、前記ステップS5で決定された針先NTの位置まで前記穿刺針42が刺入されると、ステップS16では前記穿刺針42からラジオ波を照射して焼灼治療を行なう。   In step S15, when the puncture needle 42 is inserted to the position of the needle tip NT determined in step S5, ablation treatment is performed by irradiating a radio wave from the puncture needle 42 in step S16.

焼灼治療の対象が複数ある場合、各治療対象について前記ステップS14〜S16の処理を行なう。この場合、各治療対象についてステップS14〜S16の処理を行なう前に、それぞれの治療対象に応じた前記穿刺針42の種類、焼灼時間、前記ステップS6で入力された前記超音波プローブ31の種類などの焼灼治療に必要な情報が、前記表示部35に表示されてもよい。これにより、操作者は焼灼治療に必要な情報を知ることができる。   When there are a plurality of ablation treatment targets, the processing of steps S14 to S16 is performed for each treatment target. In this case, before performing the processing of steps S14 to S16 for each treatment target, the type of the puncture needle 42 according to each treatment target, the ablation time, the type of the ultrasonic probe 31 input in step S6, etc. Information necessary for the ablation treatment may be displayed on the display unit 35. Thereby, the operator can know information necessary for the ablation treatment.

以上説明した本例によれば、穿刺計画や穿刺針42の刺入を従来よりも容易に行なうことができる。   According to this example described above, puncture planning and insertion of the puncture needle 42 can be performed more easily than before.

(第二実施形態)
次に、第二実施形態について説明する。以下、第一実施形態と同一の構成については同一の符号を付して詳細な説明を省略する。
(Second embodiment)
Next, a second embodiment will be described. Hereinafter, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

本例では、図22に示すように、前記超音波診断装置300′が前記穿刺計画支援装置100を有している。具体的には、図23に示すように、本例の超音波診断装置300′の制御部37は、第一実施形態の穿刺計画支援装置100の制御部1と同様に、抽出部11、焼灼範囲設定部12、穿刺予定経路設定部13及びプローブ配置画像設定部14を有している。また、第一実施形態の穿刺計画支援装置100の記憶部2、入力部3及び表示部4は、本例では前記超音波診断装置300の記憶部38、操作部36及び表示部35に該当する。   In this example, as shown in FIG. 22, the ultrasonic diagnostic apparatus 300 ′ has the puncture plan support apparatus 100. Specifically, as shown in FIG. 23, the control unit 37 of the ultrasonic diagnostic apparatus 300 ′ of this example is similar to the control unit 1 of the puncture plan support apparatus 100 of the first embodiment, and the extraction unit 11, the cauterization. A range setting unit 12, a puncture scheduled path setting unit 13, and a probe placement image setting unit 14 are provided. Moreover, the memory | storage part 2, the input part 3, and the display part 4 of the puncture plan assistance apparatus 100 of 1st embodiment correspond to the memory | storage part 38, the operation part 36, and the display part 35 of the said ultrasonic diagnostic apparatus 300 in this example. .

本例においても、図6において示されたステップS1〜S7及び図8において示されたステップS51〜S54と基本的には同一の処理によって、前記超音波診断装置300において治療計画を行なう。ただし、前記ステップS1では、MRI画像のボリュームデータを前記超音波診断装置300の記憶部38に記憶する。   Also in this example, treatment planning is performed in the ultrasonic diagnostic apparatus 300 by basically the same processing as steps S1 to S7 shown in FIG. 6 and steps S51 to S54 shown in FIG. However, in the step S1, the volume data of the MRI image is stored in the storage unit 38 of the ultrasonic diagnostic apparatus 300.

また、本例においては、図24において示されたステップS12〜S16の処理を行なって、焼灼治療を行なう。この図24のフローチャートは、図16のフローチャートのステップS11の処理が無い他は、この図16のフローチャートと同一である。   Moreover, in this example, the process of step S12-S16 shown in FIG. 24 is performed, and ablation treatment is performed. The flowchart in FIG. 24 is the same as the flowchart in FIG. 16 except that the process in step S11 of the flowchart in FIG. 16 is not performed.

以上説明した本例によっても、第一実施形態と同一の効果を得ることができる。   Also by this example described above, the same effect as the first embodiment can be obtained.

以上、本発明を前記実施形態によって説明したが、本発明はその主旨を変更しない範囲で種々変更実施可能なことはもちろんである。例えば、図25に示すように、前記穿刺計画装置100は、前記医用画像装置200が有していてもよい。さらに、上記各実施形態では焼灼治療を例に挙げて説明したが、生検を行なう際に本発明を適用してもよい。   As mentioned above, although this invention was demonstrated by the said embodiment, of course, this invention can be variously implemented in the range which does not change the main point. For example, as shown in FIG. 25, the puncture planning apparatus 100 may be included in the medical image apparatus 200. Further, in each of the above embodiments, the cauterization treatment has been described as an example, but the present invention may be applied when performing a biopsy.

2 記憶部
12 焼灼範囲設定部
13 刺入予定経路設定部
14 プローブ配置画像設定部
31 超音波プローブ
100 穿刺計画支援装置
200 医用画像装置
300 超音波診断装置
P プローブ配置画像
W 刺入予定経路
R 焼灼範囲
DESCRIPTION OF SYMBOLS 2 Memory | storage part 12 Ablation range setting part 13 Insertion plan route setting part 14 Probe arrangement | positioning image setting part 31 Ultrasound probe 100 Puncture plan assistance apparatus 200 Medical image apparatus 300 Ultrasonic diagnostic apparatus P Probe arrangement | positioning path | route R range

Claims (10)

穿刺針を刺入する時の被検体の体表面における超音波プローブの推奨配置を示すプローブ配置画像を表示させるプローブ配置画像設定部を備えており、該プローブ配置画像設定部は、前記超音波プローブに対する前記穿刺針の位置及び角度を参照して、前記被検体に対する前記穿刺針の刺入位置及び刺入方向が、予め設定された前記被検体への前記穿刺針の刺入予定経路と一致するように、前記プローブ配置画像を表示させることを特徴とする穿刺計画支援装置。 A probe arrangement image setting unit for displaying a probe arrangement image indicating a recommended arrangement of the ultrasonic probe on the body surface of the subject when the puncture needle is inserted is provided , and the probe arrangement image setting unit includes the ultrasonic probe. Referring to the position and angle of the puncture needle with respect to the subject, the insertion position and the insertion direction of the puncture needle with respect to the subject coincide with a preset insertion path of the puncture needle into the subject. Thus, the puncture plan support apparatus characterized by displaying the probe arrangement image . 前記プローブ配置画像設定部は、前記穿刺針の刺入位置及び刺入方向が、前記被検体の体表面における前記穿刺針の刺入予定点及び前記刺入予定経路の角度と一致するように、前記プローブ配置画像を表示させることを特徴とする請求項1に記載の穿刺計画支援装置。 The probe arrangement image setting unit is configured so that the insertion position and insertion direction of the puncture needle coincide with the planned insertion point of the puncture needle and the angle of the planned insertion path on the body surface of the subject. The puncture plan support apparatus according to claim 1, wherein the probe arrangement image is displayed. 前記被検体の医用画像データにおける前記プローブ配置画像の位置情報を記憶する記憶部を備えることを特徴とする請求項1又は2に記載の穿刺計画支援装置。   The puncture plan support apparatus according to claim 1, further comprising a storage unit that stores position information of the probe arrangement image in the medical image data of the subject. 前記穿刺針から照射されるラジオ波による焼灼範囲の位置と、前記穿刺針の回避対象の位置とに基づいて、前記刺入予定経路を設定する刺入予定経路設定部を備えることを特徴とする請求項1〜3のいずれか一項に記載の穿刺計画支援装置。   A planned insertion path setting unit is provided that sets the planned insertion path based on the position of the ablation range by radio waves emitted from the puncture needle and the position to be avoided by the puncture needle. The puncture plan assistance apparatus as described in any one of Claims 1-3. 前記穿刺針の種類、焼灼温度及び焼灼時間に基づいて前記焼灼範囲を設定する焼灼範囲設定部を備えることを特徴とする請求項4に記載の穿刺計画支援装置。   The puncture plan support apparatus according to claim 4, further comprising a cautery range setting unit that sets the cautery range based on a type of the puncture needle, an ablation temperature, and an ablation time. 前記焼灼範囲設定部は、前記焼灼範囲が、少なくとも焼灼対象を含んでいる場合にその旨を報知することを特徴とする請求項5に記載の穿刺計画支援装置。   6. The puncture plan support apparatus according to claim 5, wherein the ablation range setting unit notifies the fact when the ablation range includes at least an ablation target. 請求項1〜6のいずれか一項に記載の穿刺計画支援装置を有することを特徴とする医用画像装置。   A medical image apparatus comprising the puncture plan support apparatus according to any one of claims 1 to 6. 請求項1〜6のいずれか一項に記載の穿刺計画支援装置を有することを特徴とする超音波診断装置。   An ultrasonic diagnostic apparatus comprising the puncture plan support apparatus according to any one of claims 1 to 6. 前記超音波診断装置が有する超音波プローブの位置と、記憶された前記プローブ配置画像の位置との位置関係を示す位置関係画像を表示させる位置関係画像表示制御部を備えることを特徴とする請求項8に記載の超音波診断装置。   The positional relationship image display control part which displays the positional relationship image which shows the positional relationship of the position of the ultrasonic probe which the said ultrasonic diagnostic apparatus has, and the position of the said probe arrangement | positioning image memorize | stored is provided. 8. The ultrasonic diagnostic apparatus according to 8. 前記位置関係画像は、前記超音波プローブと前記プローブ配置画像との距離に応じた表示形態を有する画像であることを特徴とする請求項9に記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 9, wherein the positional relationship image is an image having a display form corresponding to a distance between the ultrasonic probe and the probe arrangement image.
JP2012091774A 2012-04-13 2012-04-13 Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus Active JP5889095B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012091774A JP5889095B2 (en) 2012-04-13 2012-04-13 Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012091774A JP5889095B2 (en) 2012-04-13 2012-04-13 Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus

Publications (2)

Publication Number Publication Date
JP2013220132A JP2013220132A (en) 2013-10-28
JP5889095B2 true JP5889095B2 (en) 2016-03-22

Family

ID=49591567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012091774A Active JP5889095B2 (en) 2012-04-13 2012-04-13 Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus

Country Status (1)

Country Link
JP (1) JP5889095B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6292866B2 (en) * 2013-12-26 2018-03-14 株式会社日立製作所 Ultrasonic imaging device
JP6333575B2 (en) * 2014-02-20 2018-05-30 国立大学法人滋賀医科大学 Puncture support device
JP6026455B2 (en) * 2014-03-17 2016-11-16 富士フイルム株式会社 MEDICAL IMAGE DISPLAY DEVICE, ITS OPERATION METHOD, AND PROGRAM
EP4233707A3 (en) * 2014-07-02 2023-10-11 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
JP6510200B2 (en) * 2014-08-25 2019-05-08 キヤノンメディカルシステムズ株式会社 Ultrasonic diagnostic apparatus and control program
JP6548210B2 (en) * 2014-12-25 2019-07-24 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ultrasonic diagnostic equipment
US10548666B2 (en) 2015-11-17 2020-02-04 Covidien Lp Systems and methods for ultrasound image-guided ablation antenna placement
CN105411679B (en) * 2015-11-23 2017-07-14 中国科学院深圳先进技术研究院 One kind punctures path planning method and device for correcting
JP6664517B2 (en) * 2016-05-10 2020-03-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Tracking device
JP7206770B2 (en) * 2018-10-05 2023-01-18 コニカミノルタ株式会社 ULTRASOUND DIAGNOSTIC DEVICE, ULTRASOUND IMAGE DISPLAY METHOD, AND PROGRAM

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4632508B2 (en) * 2000-10-05 2011-02-16 東芝医用システムエンジニアリング株式会社 Ultrasonic puncture support device
JP5489148B2 (en) * 2007-12-28 2014-05-14 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ultrasonic diagnostic equipment
JP5380079B2 (en) * 2009-01-06 2014-01-08 株式会社東芝 Ultrasound treatment support apparatus and ultrasound treatment support program
JP5557088B2 (en) * 2009-11-04 2014-07-23 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ultrasonic diagnostic equipment
JP5601684B2 (en) * 2010-08-20 2014-10-08 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Medical imaging device

Also Published As

Publication number Publication date
JP2013220132A (en) 2013-10-28

Similar Documents

Publication Publication Date Title
JP5889095B2 (en) Puncture planning support apparatus, medical image apparatus, and ultrasonic diagnostic apparatus
EP2769689B1 (en) Computer-implemented technique for calculating a position of a surgical device
JP5830576B1 (en) Medical system
US20170095226A1 (en) Ultrasonic diagnostic apparatus and medical image diagnostic apparatus
JP5574742B2 (en) Ultrasonic diagnostic equipment
US20140039316A1 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing method
US20130090554A1 (en) Focused prostate cancer treatment system and method
US20100298704A1 (en) Freehand ultrasound imaging systems and methods providing position quality feedback
JP2007000226A (en) Medical image diagnostic apparatus
US10390728B2 (en) Medical image diagnosis apparatus
JP5601684B2 (en) Medical imaging device
EP3019088B1 (en) Imaging apparatus for biopsy or brachytherapy
JP6026455B2 (en) MEDICAL IMAGE DISPLAY DEVICE, ITS OPERATION METHOD, AND PROGRAM
JP5829022B2 (en) Ultrasonic diagnostic equipment
CN112533540A (en) Ultrasonic imaging method, ultrasonic imaging device and puncture navigation system
JP2014161598A (en) Ultrasonic diagnostic apparatus and control program for the same
KR101983389B1 (en) Ultrasound diagnostic apparatus and method thereof
JP6014352B2 (en) Ultrasound system
JP2014195729A (en) Ultrasound diagnosis system
CN108135577B (en) Medical system
JP5851891B2 (en) Ultrasonic diagnostic equipment
JP6246843B2 (en) Medical system and display method
JP2016043128A (en) Ultrasonic diagnostic apparatus and control program
JP2019122842A (en) Ultrasound diagnostic apparatus
JP2019037551A (en) Ultrasonic diagnostic apparatus and medical image processing program

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20140715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150406

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150609

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160216

R150 Certificate of patent or registration of utility model

Ref document number: 5889095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250