JP6591229B2 - Patient positioning apparatus, apparatus operating method and program - Google Patents

Patient positioning apparatus, apparatus operating method and program Download PDF

Info

Publication number
JP6591229B2
JP6591229B2 JP2015159164A JP2015159164A JP6591229B2 JP 6591229 B2 JP6591229 B2 JP 6591229B2 JP 2015159164 A JP2015159164 A JP 2015159164A JP 2015159164 A JP2015159164 A JP 2015159164A JP 6591229 B2 JP6591229 B2 JP 6591229B2
Authority
JP
Japan
Prior art keywords
patient
unit
feature point
coordinate system
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015159164A
Other languages
Japanese (ja)
Other versions
JP2017035348A (en
Inventor
達哉 大嶽
達哉 大嶽
祐輔 三ツ谷
祐輔 三ツ谷
徹郎 相川
徹郎 相川
和仁 浅野
和仁 浅野
利之 照沼
利之 照沼
博明 熊田
博明 熊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tsukuba NUC
Toshiba Energy Systems and Solutions Corp
Original Assignee
University of Tsukuba NUC
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tsukuba NUC, Toshiba Energy Systems and Solutions Corp filed Critical University of Tsukuba NUC
Priority to JP2015159164A priority Critical patent/JP6591229B2/en
Publication of JP2017035348A publication Critical patent/JP2017035348A/en
Application granted granted Critical
Publication of JP6591229B2 publication Critical patent/JP6591229B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、放射線治療を受ける患者の位置決め技術に関する。   Embodiments of the present invention relate to positioning techniques for patients undergoing radiation therapy.

放射線治療は、患者の病巣に治療ビームを照射して病巣組織を破壊する治療技術であるため、病巣範囲に治療ビームを正確に照射しないと、正常組織まで破壊してしまう虞がある。
そこで、治療ビームの照射に先立って、X線CT撮影を行い患者体内の三次元像のデータを取得し、病巣範囲を三次元的に把握することが行われている。
そして、この患者体内の三次元像データに基づき、正常組織への照射が少なくなるよう、治療ビームの照射方向や照射強度を決定する治療計画が策定される。
Radiation therapy is a treatment technique that destroys a lesion tissue by irradiating the lesion of a patient with a treatment beam. Therefore, if the treatment beam is not accurately irradiated to the lesion area, there is a risk that even the normal tissue is destroyed.
Therefore, prior to treatment beam irradiation, X-ray CT imaging is performed to acquire data of a three-dimensional image in the patient's body, and the lesion range is three-dimensionally grasped.
Then, based on the three-dimensional image data in the patient body, a treatment plan for determining the irradiation direction and irradiation intensity of the treatment beam is formulated so that the irradiation to the normal tissue is reduced.

そして治療ビームの照射段階において、治療ビームの照準が、治療計画で導いた患者の病巣範囲に合うように、患者の姿勢を調整したり患者を仰臥させたベッドを移動したりして、患者の位置決めが行われる。   In the treatment beam irradiation stage, the patient's position is adjusted or the patient's bed is moved so that the aim of the treatment beam matches the patient's lesion range derived in the treatment plan. Positioning is performed.

この患者の位置決めが正しく実行されたか否かの判断は、放射線治療システムに常設されたX線撮影部で患者を実写したX線投影像と、治療計画で使用した三次元像データを投影像に再構成したDRR(Digitally Reconstructed Radiograph)と、を照合し、それぞれの病巣範囲が一致しているか否かに基づいて行われている。
一方において、患者の被曝量を低減することを目的として、X線撮影部に代えて光学カメラを用い、患者の体表に貼付したマーカを基準点として位置決めの適正判断を実施する技術が公知となっている。
The determination of whether or not this patient positioning has been performed correctly is based on an X-ray projection image obtained by actually capturing the patient with an X-ray imaging unit permanently installed in the radiation treatment system and a three-dimensional image data used in the treatment plan. The reconstructed DRR (Digitally Reconstructed Radiograph) is collated, and based on whether or not the respective lesion ranges match.
On the other hand, for the purpose of reducing the exposure dose of a patient, a technique is known in which an optical camera is used in place of an X-ray imaging unit and a positioning determination is performed using a marker attached to the patient's body surface as a reference point. It has become.

特表2002−528168号公報(国際公開 WO00/24333号)Japanese translation of PCT publication No. 2002-528168 (International publication WO00 / 24333) 特開平11−197259号公報JP-A-11-197259

上述した光学カメラを用いた患者位置決めは、適正かもしくは不適正であるかを判断するのにとどまり、不適正と判断された場合に、ずれ量をどのように解消するかについての対応策を与えてくれるものではなかった。   The patient positioning using the optical camera described above is only to determine whether it is appropriate or inappropriate, and when it is determined to be inappropriate, it gives a countermeasure on how to eliminate the deviation amount. It wasn't something that gave me.

本発明の実施形態はこのような事情を考慮してなされたもので、治療ビームの照射領域に患者を正確に短時間で被曝することなく位置決めすることが可能な患者の位置決め技術を提供することを目的とする。   Embodiments of the present invention have been made in consideration of such circumstances, and provide a patient positioning technique capable of positioning a patient accurately in a short time without being exposed to a treatment beam irradiation region. With the goal.

本発明の実施形態に係る患者の位置決め装置は、治療ビームの照射領域に配置された患者の表面形状を計測した表面像を保持する第1保持部と、前記表面像に含まれる前記患者の特徴点を識別する第1識別部と、前記表面像から識別された特徴点の前記照射領域の座標系における第1特徴点座標を演算する第1演算部と、前記患者に付したマーカを前記表面像から検出する検出部と、前記表面像から検出された前記マーカの前記照射領域の座標系におけるマーカ座標を演算するマーカ座標演算部と、前記第1特徴点座標を前記マーカ座標に座標変換する変換パラメータを導出する変換パラメータ導出部と、前記患者を三次元撮像した三次元像と前記照射領域の座標系に位置させる前記三次元像の位置情報とに基づいて演算された前記患者の特徴点の前記照射領域の座標系における第2特徴点座標を取得する取得部と、前記変換パラメータにより前記第2特徴点座標を目標座標に変換する変換部と、前記目標座標に投影するポインタを制御する制御部と、を備えることを特徴とする。   A patient positioning apparatus according to an embodiment of the present invention includes a first holding unit that holds a surface image obtained by measuring a surface shape of a patient disposed in an irradiation region of a treatment beam, and features of the patient included in the surface image A first identifying unit for identifying a point; a first computing unit for computing a first feature point coordinate in the coordinate system of the irradiation region of the feature point identified from the surface image; and a marker attached to the patient on the surface A detection unit that detects from an image; a marker coordinate calculation unit that calculates a marker coordinate in the coordinate system of the irradiation region of the marker detected from the surface image; and a coordinate conversion of the first feature point coordinate to the marker coordinate A characteristic of the patient calculated based on a conversion parameter deriving unit that derives a conversion parameter, a three-dimensional image obtained by three-dimensionally imaging the patient, and position information of the three-dimensional image that is positioned in the coordinate system of the irradiation region. An acquisition unit that acquires a second feature point coordinate in the coordinate system of the irradiation area of a point, a conversion unit that converts the second feature point coordinate to a target coordinate by the conversion parameter, and a pointer that is projected onto the target coordinate And a control unit.

本発明の実施形態により、治療ビームの照射領域に患者を正確に短時間で被曝することなく位置決めすることが可能な患者の位置決め技術が提供される。   Embodiments of the present invention provide a patient positioning technique capable of positioning a patient accurately and in a short time without being exposed to a treatment beam irradiation region.

本発明の第1実施形態に係る患者の位置決め装置を示す構成図。The block diagram which shows the patient positioning device which concerns on 1st Embodiment of this invention. 光学カメラ(表面計測器)の較正方法の説明図。Explanatory drawing of the calibration method of an optical camera (surface measuring device). ビームの照射領域に配置された患者の部分拡大図。The partial enlarged view of the patient arrange | positioned in the irradiation area | region of a beam. 第2実施形態に係る患者の位置決め装置を示す構成図。The block diagram which shows the patient positioning device which concerns on 2nd Embodiment. 第3実施形態に係る患者の位置決め装置を示す構成図。The lineblock diagram showing the patient positioning device concerning a 3rd embodiment. 第4実施形態に係る患者の位置決め装置を示す構成図。The block diagram which shows the patient positioning device which concerns on 4th Embodiment. 各実施形態に係る患者の位置決め方法又は患者の位置決めプログラムのフローチャート。The flowchart of the patient positioning method or patient positioning program which concerns on each embodiment.

(第1実施形態)
以下、本発明の実施形態を添付図面に基づいて説明する。
図1は、第1実施形態に係る患者の位置決め装置10A(10)が適用される放射線治療システムの概要が示されている。
治療室30には、照射制御部29により制御された治療ビームを患者32に向けて照射するビーム照射部34と、照射領域31内に患者32を仰臥させるベッド33と、患者32の表面を計測する表面計測器35と、患者32の表面にポインタ44(図3)を投影するプロジェクタ36と、患者32を撮影した画像をリアルタイムに表示するモニタ37とから構成されている。
(First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 1 shows an outline of a radiotherapy system to which a patient positioning apparatus 10A (10) according to a first embodiment is applied.
In the treatment room 30, a beam irradiation unit 34 that irradiates the patient 32 with a treatment beam controlled by the irradiation control unit 29, a bed 33 that lies the patient 32 in the irradiation region 31, and the surface of the patient 32 is measured. A surface measuring instrument 35, a projector 36 that projects a pointer 44 (FIG. 3) on the surface of the patient 32, and a monitor 37 that displays an image of the patient 32 in real time.

患者の位置決め装置10A(10)は、治療ビームの照射領域31に配置された患者32の表面形状を計測した表面像11を保持する第1保持部と、この表面像11に含まれる患者の特徴点41(図3)を識別する第1識別部12と、表面像11から識別された特徴点41の照射領域の座標系(X−Y−Z)における第1特徴点座標P(P1,P2,P3)を演算する第1演算部13と、患者32に付したマーカ42を表面像11から検出する検出部14と、表面像11から検出されたマーカ42の照射領域の座標系(X−Y−Z)におけるマーカ座標Q(Q1,Q2,Q3)を演算するマーカ座標演算部15と、第1特徴点座標Pをマーカ座標Qに座標変換する変換パラメータWを導出する変換パラメータ導出部16と、患者32を三次元撮像した三次元像21を保持する第2保持部と、三次元像21に含まれる患者の特徴点43を識別する第2識別部22と、照射領域の座標系(X−Y−Z)に位置させる三次元像21(図3)の位置情報24を保持する第3保持部と、三次元像21から識別された特徴点43の照射領域の座標系(X−Y−Z)における第2特徴点座標R(R1,R2,R3)を位置情報24に基づいて演算する第2演算部23と、変換パラメータWにより第2特徴点座標Rを目標座標S(S1,S2,S3)に変換する変換部25と、目標座標Sにポインタ44を投影するようにプロジェクタ36を制御する制御部26と、を備えることを特徴とする。 The patient positioning apparatus 10 </ b> A (10) includes a first holding unit that holds the surface image 11 obtained by measuring the surface shape of the patient 32 disposed in the treatment beam irradiation region 31, and patient characteristics included in the surface image 11. A first identification unit 12 that identifies a point 41 (FIG. 3), and a first feature point coordinate P (P 1 , P) in the coordinate system (XYZ) of the irradiation region of the feature point 41 identified from the surface image 11 P 2 , P 3 ), the first calculation unit 13 for calculating the marker 42 attached to the patient 32 from the surface image 11, and the coordinate system of the irradiation area of the marker 42 detected from the surface image 11 A marker coordinate calculation unit 15 for calculating the marker coordinates Q (Q 1 , Q 2 , Q 3 ) in (XYZ) and a conversion parameter W for coordinate conversion of the first feature point coordinates P to the marker coordinates Q are derived. Conversion parameter deriving unit 16 and patient 32 in three dimensions A second holding unit that holds the imaged three-dimensional image 21, a second identification unit 22 that identifies a patient feature point 43 included in the three-dimensional image 21, and a coordinate system (XYZ) of the irradiation region. A third holding unit that holds position information 24 of the three-dimensional image 21 to be positioned (FIG. 3), and a second in the coordinate system (XYZ) of the irradiation region of the feature point 43 identified from the three-dimensional image 21. A second calculation unit 23 that calculates the feature point coordinates R (R 1 , R 2 , R 3 ) based on the position information 24, and the second feature point coordinates R are converted into the target coordinates S (S 1 , S 2 by the conversion parameter W). , S 3 ), and a control unit 26 for controlling the projector 36 so as to project the pointer 44 onto the target coordinates S.

各実施形態におけるビーム照射部34は、治療室30内に固定されているものを例示しているが、患者32の体位や治療ビームの照射方向に合わせて、患者32の周囲を回転移動又は並進移動するものであっても良い。
また治療ビームは、ガン等の患部組織に照射して細胞を死滅させる放射線であり、そのような放射線として、X線、γ線、電子線、陽子線、中性子線、及び、重粒子線などが採用される。
また、患者の位置決め装置10Aにおいて破線で区画されている、三次元像21の第2保持部と、第2識別部22と、位置情報24の第3保持部と、第2演算部23と、を含む前処理部20を、別装置により構成してもよい。この場合、患者の位置決め装置10Aにおいて、患者32の表面像11を計測するのに先立って、この別装置で予め演算された第2特徴点座標Rを、取得部(図示略)で取得するようにしてもよい。
Although the beam irradiation unit 34 in each embodiment is illustrated as being fixed in the treatment room 30, it rotates or translates around the patient 32 in accordance with the posture of the patient 32 and the irradiation direction of the treatment beam. It may move.
The treatment beam is radiation that irradiates the affected tissue such as cancer and kills the cells. Examples of such radiation include X-rays, γ-rays, electron beams, proton beams, neutron beams, and heavy particle beams. Adopted.
In addition, the second holding unit of the three-dimensional image 21, the second identification unit 22, the third holding unit of the position information 24, the second calculation unit 23, which are partitioned by a broken line in the patient positioning apparatus 10A, You may comprise the pre-processing part 20 containing these by another apparatus. In this case, prior to measuring the surface image 11 of the patient 32 in the patient positioning apparatus 10A, the acquisition unit (not shown) acquires the second feature point coordinates R calculated in advance by this separate apparatus. It may be.

本実施形態が適用される放射線治療システムは、設備の種類や適用する治療ビームにより規模や形態が大きく異なる。しかし、いずれの放射線治療システムであっても、治療ビームの照射に先立ち、治療計画が行われる点で共通する。
治療計画とは、治療ビームの照射を受ける姿勢と同じ姿勢で患者のCT(Computed Tomography)撮影を予め行い、患部を含む患者の三次元像21を取得する。
そして専門スタッフにより、この三次元像21に基づいて、患部に照射する放射線の、放射線量、照射角度、照射範囲、回数などが協議され、照射領域31に配置される患者32の位置情報24が決定される。
The radiotherapy system to which this embodiment is applied varies greatly in scale and form depending on the type of equipment and the treatment beam to be applied. However, any radiation treatment system is common in that a treatment plan is performed prior to irradiation of a treatment beam.
In the treatment plan, CT (Computed Tomography) imaging of a patient is performed in advance in the same posture as that of receiving the treatment beam, and a three-dimensional image 21 of the patient including the affected part is acquired.
Based on the three-dimensional image 21, the radiation amount, irradiation angle, irradiation range, number of times, and the like of the radiation irradiated to the affected area are discussed by the professional staff, and the position information 24 of the patient 32 arranged in the irradiation region 31 is obtained. It is determined.

そして、この治療計画で決定された位置情報24に基づいて、照射領域31に患者32を位置決めする。なお、患者32がベッド33に位置決めされると、その状態は治療ビームの照射が終了するまで、維持されることが要求される。
この位置決め方法並びに状態の維持方法はいくつかあるが、第1実施形態では、患者が自身の判断で行う場合、又は医療従事者の判断により患者の姿勢を動かして行う場合について説明する。
Then, the patient 32 is positioned in the irradiation region 31 based on the position information 24 determined by this treatment plan. When the patient 32 is positioned on the bed 33, the state is required to be maintained until the irradiation of the treatment beam is completed.
There are several positioning methods and state maintaining methods. In the first embodiment, a case where the patient performs his / her own judgment or a case where the patient's posture is moved according to the judgment of the medical staff will be described.

図1に例示される放射線治療システムは、中性子捕捉療法に関するもので、中性子と核反応して粒子線(アルファ線)を発生するホウ素等を含む化合物を予め腫瘍細胞にとりこませる。そして、中性子の治療ビームを患部に向けて照射し、核反応により発生したアルファ線により、ホウ素を多く取り込んだ腫瘍細胞のみが破壊される。   The radiotherapy system illustrated in FIG. 1 relates to neutron capture therapy, and a compound containing boron or the like that generates a particle beam (alpha ray) by nuclear reaction with neutrons is preliminarily incorporated into tumor cells. Then, a treatment beam of neutrons is irradiated toward the affected area, and only tumor cells that have taken in a lot of boron are destroyed by alpha rays generated by the nuclear reaction.

中性子捕捉療法の利点は、アルファ線は、10ミクロンしか飛ばないため、正常細胞を傷つけることなく腫瘍細胞のみを選択的に死滅させる点にある。
中性子捕捉療法では、治療ビームの一回の照射時間が数分から数十分程度と長い為、患者32は、治療計画で決められた姿勢を、治療ビームの照射期間中ずっと取り続けている必要がある。
これに対し、X線やγ線を用いる放射線療法や、加速した重荷電粒子線を用いる重粒子線療法等においては、治療ビームを一回照射する際の患者の拘束時間が、中性子捕捉療法よりは短いといえる。
The advantage of neutron capture therapy is that alpha rays only fly 10 microns, so that only tumor cells are selectively killed without damaging normal cells.
In neutron capture therapy, the time required for one irradiation of the treatment beam is as long as several minutes to several tens of minutes. Therefore, the patient 32 needs to keep the posture determined by the treatment plan throughout the treatment beam irradiation period. .
On the other hand, in radiation therapy using X-rays and γ-rays, and heavy particle beam therapy using accelerated heavy charged particle beams, the patient's restraint time when irradiating a treatment beam once is more than neutron capture therapy. Is short.

患者32の表面像11を計測する表面計測器35としては、複数の光学カメラ35a,35b(図2)で患者32の表面形状をステレオ撮影するものや、又はレーザスキャナ(図示略)で患者32の表面形状をレーザ走査するものが挙げられる。
なお、照射領域31の死角を減らすために、表面計測器35は3台以上配置することが望ましい。
As the surface measuring instrument 35 for measuring the surface image 11 of the patient 32, a plurality of optical cameras 35a and 35b (FIG. 2) are used to take a stereo image of the surface shape of the patient 32, or a laser scanner (not shown) is used for the patient 32. The surface shape of these is laser-scanned.
In addition, in order to reduce the blind spot of the irradiation area 31, it is desirable to arrange three or more surface measuring instruments 35.

ここで光学カメラとは、患者32の表面を反射する可視光を、平面配置した複数の受光センサで検出し、二次元画像を得るものである。異なる位置に配置される複数の光学カメラが撮影した二次元画像の各々から、三角測量の原理に基づいて、患者の表面形状を表わす座標値の群を得ることができる。   Here, the optical camera detects the visible light reflected from the surface of the patient 32 with a plurality of light receiving sensors arranged in a plane, and obtains a two-dimensional image. From each of two-dimensional images taken by a plurality of optical cameras arranged at different positions, a group of coordinate values representing the surface shape of the patient can be obtained based on the principle of triangulation.

またレーザスキャナとは、患者32の表面と受光センサとの間をレーザパルスが往復する時間や波長の位相差を計測することで距離を計測し、レーザパルスが発射した方向を同時に計測することで、患者の表面形状を表わす座標値の群を得ることができる。
このように、表面計測器35で計測された患者32の表面像11は、患者の位置決め装置10に保持される。
The laser scanner measures the distance by measuring the time that the laser pulse reciprocates between the surface of the patient 32 and the light receiving sensor and the phase difference of the wavelength, and simultaneously measures the direction in which the laser pulse is emitted. A group of coordinate values representing the surface shape of the patient can be obtained.
Thus, the surface image 11 of the patient 32 measured by the surface measuring instrument 35 is held by the patient positioning device 10.

較正部27は、表面計測器35の座標系により表された表面像11の座標値を、照射領域31の座標系(X−Y−Z)の座標値に置換するものである。
図2に基づいて、光学カメラ35(35a,35b)の較正について説明する。
照射領域31に配置された較正体38を複数の光学カメラ35(35a,35b)でステレオ撮影した表面像11a,11bの座標値は、光学カメラの固有の二次元座標系(x−y)で表されている。
The calibration unit 27 replaces the coordinate value of the surface image 11 represented by the coordinate system of the surface measuring instrument 35 with the coordinate value of the coordinate system (XYZ) of the irradiation region 31.
The calibration of the optical camera 35 (35a, 35b) will be described with reference to FIG.
The coordinate values of the surface images 11a and 11b obtained by stereo-photographing the calibration body 38 arranged in the irradiation region 31 with a plurality of optical cameras 35 (35a and 35b) are in a two-dimensional coordinate system (xy) unique to the optical camera. It is represented.

これら表面像11a,11bの二次元座標系(x−y)から照射領域の座標系(X−Y−Z)における座標値が既知である較正体の計測点45を識別する。
そして、この二次元座標系(x−y)から識別された計測点45が、座標系(X−Y−Z)の既知の座標値に置換されるように、較正定数Bが設定される。
この較正定数Bは、後述する第1演算部13及びマーカ座標演算部15において、表面計測器35の座標系から照射領域の座標系(X−Y−Z)に置換される座標値の演算に用いられる。
From the two-dimensional coordinate system (xy) of these surface images 11a and 11b, the measurement point 45 of the calibration body whose coordinate value in the coordinate system (XYZ) of the irradiation area is known is identified.
Then, the calibration constant B is set so that the measurement point 45 identified from the two-dimensional coordinate system (xy) is replaced with a known coordinate value of the coordinate system (XYZ).
This calibration constant B is used to calculate a coordinate value to be replaced with the coordinate system (XYZ) of the irradiation area from the coordinate system of the surface measuring instrument 35 in the first calculation unit 13 and the marker coordinate calculation unit 15 described later. Used.

なお表面計測器35の較正は、上述した座標系の置換に関わる外部定数以外に、焦点距離やレンズ歪み補正係数等の内部定数の較正も含む。
また表面計測器35の較正は、システム構築時、システム修理や交換時に表面計測器35の位置関係が変わった場合に実施すれば良く、患者32が変わるたびに実施する必要はない。
The calibration of the surface measuring instrument 35 includes calibration of internal constants such as a focal length and a lens distortion correction coefficient in addition to the above-described external constants related to the replacement of the coordinate system.
The calibration of the surface measuring instrument 35 may be performed when the positional relationship of the surface measuring instrument 35 changes during system construction, system repair or replacement, and does not need to be performed every time the patient 32 changes.

光学カメラの内部定数は、照射領域の座標系(X−Y−Z)における最低6点以上の既知の座標値(X,Y,Z)を用いる。例えば、光学カメラの三次元座標を(X0,Y0,Z0)とした時、光学カメラにより較正体38の計測点45を撮影した二次元座標は(x,y)となり、三次元座標に表わすと(x0',y0',‐f)と表すことができる。
ただし(x',y’)は、(x,y)を、撮像した写真縮尺などにより変換した値となる。このように表した座標が一直線上に並ぶことを利用した共線条件式(図2)を、最小二乗法などの収束演算により、内部定数を求めることができる。
なお、式中のa11〜a33は光学カメラの各軸回りの回転角度を表す回転行列(カメラの姿勢)を表わしている。
As the internal constant of the optical camera, known coordinate values (X, Y, Z) of at least six points or more in the coordinate system (XYZ) of the irradiation area are used. For example, when the three-dimensional coordinates of the optical camera are (X 0 , Y 0 , Z 0 ), the two-dimensional coordinates obtained by photographing the measurement point 45 of the calibration body 38 by the optical camera are (x, y), and the three-dimensional coordinates Can be expressed as (x 0 ', y 0 ', -f).
However, (x ′, y ′) is a value obtained by converting (x, y) by the scale of the photographed image. An internal constant can be obtained from a collinear conditional expression (FIG. 2) using the coordinates expressed in this way on a straight line by a convergence operation such as a least square method.
Incidentally, a 11 ~a 33 in the formula represents a rotation matrix representing the rotation angle of each axis of the optical camera (the posture of the camera).

求めた光学カメラの内部定数を用い、各カメラの相対位置及び姿勢を求める。ここで、必要となる全てのカメラに撮影可能な位置に較正体38を固定配置する。全てのカメラで撮影して得た計測点45の二次元座標を用い、共線条件式(図2)を用いて、各カメラの位置・姿勢を収束演算する。
なお、カメラが2台の場合、較正体38上の既知の計測点45は、少なくとも3点は必要になり、収束演算の収束状況により適宜キャリブレーション計測点を増やす。
Using the obtained internal constants of the optical camera, the relative position and orientation of each camera are obtained. Here, the calibration body 38 is fixedly arranged at a position where it can be photographed by all necessary cameras. Using the two-dimensional coordinates of the measurement point 45 obtained by photographing with all the cameras, the position / orientation of each camera is converged using the collinear conditional expression (FIG. 2).
If there are two cameras, at least three known measurement points 45 on the calibration body 38 are required, and the number of calibration measurement points is appropriately increased depending on the convergence status of the convergence calculation.

表面計測器35としてレーザスキャナ(図示略)の較正方法も、上述した光学カメラ35の場合と同様に、照射領域の座標系(X−Y−Z)における座標値が既知である計測点45を有する較正体38を用いて行われる。
なお較正体38を実測することにより、表面計測器35の座標系を照射領域の座標系(X−Y−Z)に置換する較正方法について説明したが、このように較正体38を実測する以外に設計仕様データから座標系を置換する較正を行うこともできる。
A calibration method of a laser scanner (not shown) as the surface measuring device 35 is also used to measure the measurement points 45 whose coordinate values in the coordinate system (XYZ) of the irradiation area are known, as in the case of the optical camera 35 described above. This is performed using a calibration body 38 having the same.
Although the calibration method for replacing the coordinate system of the surface measuring instrument 35 with the coordinate system (XYZ) of the irradiation area by actually measuring the calibration body 38 has been described, other than actually measuring the calibration body 38 in this way. It is also possible to perform calibration to replace the coordinate system from the design specification data.

図3に示すように、治療部位が頭部である場合、患者の特徴点41として右外眼角、左外眼角、鼻尖部を頭部の表面像11から識別することができる。その他に鼻根部、外耳なども特徴点41として設定することができる。
第1識別部12(図1)は、表面像11に含まれるこれら特徴点41を自動的に識別する場合がある。またその他に、医療従事者が操作設定部17で、モニタ(図示略)に映し出された表面像11に含まれる特徴点41の位置をカーソル操作等で指定して、手動設定する場合もある。
As shown in FIG. 3, when the treatment site is the head, the right external eye angle, the left external eye angle, and the nose tip can be identified from the surface image 11 of the head as the patient feature points 41. In addition, the nose root portion, the outer ear, and the like can be set as the feature points 41.
The first identification unit 12 (FIG. 1) may automatically identify these feature points 41 included in the surface image 11. In addition, a medical worker may manually set the position of the feature point 41 included in the surface image 11 displayed on the monitor (not shown) by using the operation setting unit 17 by a cursor operation or the like.

表面像11から識別される特徴点41は、表面計測器35の座標系で表されている。
そこで第1演算部13は、この表面計測器35の座標系で表された特徴点41の座標値を入力し、較正定数Bに基づいて、照射領域の座標系(X−Y−Z)の第1特徴点座標P(P1,P2,P3)に置換する演算をし、出力する。
The feature points 41 identified from the surface image 11 are represented by the coordinate system of the surface measuring instrument 35.
Therefore, the first calculation unit 13 inputs the coordinate value of the feature point 41 expressed in the coordinate system of the surface measuring instrument 35 and, based on the calibration constant B, in the coordinate system (XYZ) of the irradiation region. An operation for replacing the first feature point coordinates P (P 1 , P 2 , P 3 ) is performed and output.

図3に示すように、マーカ42は、患者32の表面に付するものである。
このマーカ42は、後述するように、ベッド33上の患者32の姿勢(表面像11の配置)が、治療計画で決定した姿勢(三次元像21の配置)に一致するように、ポインタ44をその上面に投影させるターゲットとしての役割を果たす。
As shown in FIG. 3, the marker 42 is attached to the surface of the patient 32.
As will be described later, the marker 42 moves the pointer 44 so that the posture of the patient 32 on the bed 33 (the arrangement of the surface image 11) matches the posture determined by the treatment plan (the arrangement of the three-dimensional image 21). It plays a role as a target to be projected onto the upper surface.

表面計測器35が光学カメラである場合、マーカ42として、色付きの球状物体や色付きの矩形・円形形状シール等を適用する。これにより、患者32の体位が変化しても光学カメラの写り方に及ぼす影響が少ない効果が得られる。
一方、表面計測器35がレーザスキャナの場合には、レーザ光等の波長を反射しやすい反射材から成る球状物体や矩形・円形シール等を、マーカ42として適用する。
When the surface measuring instrument 35 is an optical camera, a colored spherical object or a colored rectangular / circular seal is applied as the marker 42. Thereby, even if the posture of the patient 32 is changed, an effect that has little influence on the way the optical camera is captured can be obtained.
On the other hand, when the surface measuring device 35 is a laser scanner, a spherical object or a rectangular / circular seal made of a reflective material that easily reflects the wavelength of laser light or the like is applied as the marker 42.

マーカ検出部14(図1)は、表面像11に付されたマーカ42を自動的に識別する場合がある。またその他に、医療従事者が操作設定部17で、モニタ(図示略)に映し出された表面像11に含まれるマーカ42の位置をカーソル操作等で指定して、手動設定する場合もある。   The marker detection unit 14 (FIG. 1) may automatically identify the marker 42 attached to the surface image 11. In addition, the medical staff may manually set the position of the marker 42 included in the surface image 11 projected on the monitor (not shown) by the operation setting unit 17 by a cursor operation or the like.

表面像11から識別されるマーカ42は、表面計測器35の座標系で表されている。
そこでマーカ座標演算部15は、この表面計測器35の座標系で表されたマーカ42の座標値を入力し、較正定数Bに基づいて、照射領域の座標系(X−Y−Z)のマーカ座標Q(Q1,Q2,Q3)に置換する演算をし、出力する。
The marker 42 identified from the surface image 11 is represented by the coordinate system of the surface measuring instrument 35.
Therefore, the marker coordinate calculation unit 15 inputs the coordinate value of the marker 42 expressed in the coordinate system of the surface measuring instrument 35 and, based on the calibration constant B, the marker in the coordinate system (XYZ) of the irradiation region. An operation for replacing the coordinates Q (Q 1 , Q 2 , Q 3 ) is performed and output.

このようにして演算された第1特徴点座標P(P1,P2,P3)及びマーカ座標Q(Q1,Q2,Q3)の相対位置関係(図3参照)は、照射領域の座標系(X−Y−Z)における表面像11の配置とは無関係に一定である。
そこで、変換パラメータ導出部16に、第1特徴点座標P及びマーカ座標Qを入力し、第1特徴点座標Pをマーカ座標Qに座標変換する変換パラメータWを導出する。
この変換パラメータWを用いることで、照射領域の座標系(X−Y−Z)の任意位置にある第1特徴点座標Pから、対応するマーカ座標Qを求めることができる。
このように導出された変換パラメータWは、マーカ42が同じ位置に付され同じシステムで同じ患者32に適用する場合に限り、次回以降の治療ビーム照射の際も使い回すことができる。
The relative positional relationship (see FIG. 3) between the first feature point coordinates P (P 1 , P 2 , P 3 ) and the marker coordinates Q (Q 1 , Q 2 , Q 3 ) calculated in this way is the irradiation area. It is constant irrespective of the arrangement of the surface image 11 in the coordinate system (XYZ).
Therefore, the first feature point coordinate P and the marker coordinate Q are input to the conversion parameter deriving unit 16 to derive a conversion parameter W for coordinate conversion of the first feature point coordinate P to the marker coordinate Q.
By using this conversion parameter W, the corresponding marker coordinate Q can be obtained from the first feature point coordinate P at an arbitrary position in the coordinate system (XYZ) of the irradiation region.
The conversion parameter W derived in this way can be reused in the subsequent treatment beam irradiation only when the marker 42 is attached to the same position and applied to the same patient 32 in the same system.

三次元像21は、上述したように、治療計画の段階で、X線CT装置やMRI装置等の医用画像機器(モダリティ)により、治療ビームの照射を受ける姿勢と同じ姿勢で、患者32を三次元撮像したものである。同様に、位置情報24も、治療計画の段階で、照射領域の座標系(X−Y−Z)に、三次元像21をどのように位置させるかを規定する情報として、予め決定されている。
そして、この三次元像21及び位置情報24は、患者32がベッド33に固定されるのに先立って、患者の位置決め装置10に保持されている。
As described above, the three-dimensional image 21 is obtained by performing a tertiary treatment on the patient 32 with the same posture as that irradiated with the treatment beam by a medical imaging device (modality) such as an X-ray CT apparatus or an MRI apparatus at the stage of treatment planning. The original image was taken. Similarly, the position information 24 is also determined in advance as information that defines how to position the three-dimensional image 21 in the coordinate system (XYZ) of the irradiation region at the stage of treatment planning. .
The three-dimensional image 21 and the position information 24 are held in the patient positioning device 10 before the patient 32 is fixed to the bed 33.

図3に示すように、三次元像21の特徴点43は、表面計測器35で計測した表面像11の特徴点41に対応するものが識別される。
第2識別部22(図1)は、三次元像21に含まれるこれら特徴点43を自動的に識別する場合がある。またその他に、医療従事者が操作設定部17で、モニタ(図示略)に映し出された三次元像21に含まれる特徴点43の位置をカーソル操作等で指定して、手動設定する場合もある。
As shown in FIG. 3, the feature points 43 of the three-dimensional image 21 are identified corresponding to the feature points 41 of the surface image 11 measured by the surface measuring device 35.
The second identification unit 22 (FIG. 1) may automatically identify these feature points 43 included in the three-dimensional image 21. In addition, a medical worker may manually set the position of the feature point 43 included in the three-dimensional image 21 displayed on the monitor (not shown) by the cursor operation or the like using the operation setting unit 17. .

三次元像21から識別される特徴点43は、これを撮像した医用画像機器の座標系で表されている。
そこで第2演算部23は、この医用画像機器の座標系で表された特徴点43の座標値を入力し、位置情報24に基づいて、照射領域の座標系(X−Y−Z)の第2特徴点座標R(R1,R2,R3)に置換する演算をし、出力する。
The feature points 43 identified from the three-dimensional image 21 are represented by the coordinate system of the medical image equipment that captured the feature points 43.
Therefore, the second calculation unit 23 inputs the coordinate value of the feature point 43 represented in the coordinate system of this medical image device, and based on the position information 24, the second calculation unit 23 of the irradiation area coordinate system (XYZ). 2. Perform the operation of replacing with the feature point coordinates R (R 1 , R 2 , R 3 ) and output.

この三次元像21からは、表面像11から検出されたマーカ42に対応する位置(目標座標S)を、直接的に導くことはできない。しかし、第2特徴点座標R及び目標座標Sの相対位置関係は、三次元像21の配置を規定した位置情報24とは無関係に、照射領域の座標系(X−Y−Z)において一定である。
そこで、目標座標変換部25に、第2特徴点座標R及び変換パラメータWを入力し、第2特徴点座標Rを目標座標Sに座標変換する。
From this three-dimensional image 21, the position (target coordinate S) corresponding to the marker 42 detected from the surface image 11 cannot be directly derived. However, the relative positional relationship between the second feature point coordinate R and the target coordinate S is constant in the coordinate system (XYZ) of the irradiation region regardless of the position information 24 that defines the arrangement of the three-dimensional image 21. is there.
Therefore, the second feature point coordinate R and the conversion parameter W are input to the target coordinate conversion unit 25, and the second feature point coordinate R is converted to the target coordinate S.

プロジェクタ36は、治療ビームの照射領域31に向かってポインタの光線44aを投影するものである。そしてこの光線44aが患者の表面に入射した点に、ポインタ44が投影される。すなわち、患者32の体表面が、プロジェクタ36が投影するポインタ44のスクリーンとなる。
そのようなプロジェクタ36は、可視光又はレーザ光の出力光源や、ポインタ44の投影サイズ及び焦点を調整する光学レンズ等を備えたものであり、一般的な光学プロジェクタやレーザマーキング等の機器を採用することができる。
The projector 36 projects a pointer light beam 44a toward the treatment beam irradiation area 31. The pointer 44 is projected at a point where the light ray 44a is incident on the surface of the patient. That is, the body surface of the patient 32 becomes a screen of the pointer 44 projected by the projector 36.
Such a projector 36 includes an output light source of visible light or laser light, an optical lens for adjusting the projection size and focus of the pointer 44, and employs a general optical projector, a laser marking, or the like. can do.

ポインタ44は、円形、十字等の形状をとる他に、患者患部周辺の体表モデルを投影させることとしても良い。
なおポインタ投影制御部26も、上述した較正部27と同様の較正を実施することにより、照射領域の座標系(X−Y−Z)において指定された座標値に、ポインタの光線44aが正確に投影されるように調整が行われる。
またポインタ投影制御部26の較正は、システム構築時、システム修理や交換時にプロジェクタ36の位置関係が変わった場合に実施すれば良く、患者32が変わるたびに実施する必要はない。
The pointer 44 may have a circular shape, a cross shape, or the like, and may project a body surface model around the affected area of the patient.
The pointer projection control unit 26 also performs the same calibration as the calibration unit 27 described above, so that the pointer light ray 44a is accurately set to the coordinate value specified in the coordinate system (XYZ) of the irradiation region. Adjustments are made to project.
Further, the calibration of the pointer projection control unit 26 may be performed when the positional relationship of the projector 36 changes during system construction, system repair or replacement, and does not need to be performed every time the patient 32 changes.

ポインタ投影制御部26は、目標座標S(S1,S2,S3)を通過するようにポインタの光線44aを制御するために、マーカ42が目標座標Sに位置していれば、ポインタ44はマーカ42に投影されることになる。
そして、マーカ42が目標座標Sからずれて位置している場合は、ポインタ44はマーカ42以外の患者の表面に投影されることになる。
The pointer projection control unit 26 controls the pointer beam 44a so as to pass through the target coordinates S (S 1 , S 2 , S 3 ). If the marker 42 is positioned at the target coordinates S, the pointer 44 Is projected onto the marker 42.
When the marker 42 is located away from the target coordinate S, the pointer 44 is projected on the surface of the patient other than the marker 42.

画像出力部28は、患者32のリアルタイムの表面像11をモニタ37に表示させている。治療室30に固定されたベッド33に横臥している患者32は、モニタ37に表示されている表面像11を観察しながら、自身で体を動かして位置合わせすることができる。
なお、医療従事者がベッド33に付いて、横臥している患者32の位置合わせをする場合は、ポインタ44及びマーカ42を直接目視することができるので、モニタ37を観察する必要はない。
The image output unit 28 displays the real-time surface image 11 of the patient 32 on the monitor 37. The patient 32 lying on the bed 33 fixed to the treatment room 30 can move and align his / her body while observing the surface image 11 displayed on the monitor 37.
In addition, when the medical staff attaches to the bed 33 and aligns the patient 32 who is lying down, since the pointer 44 and the marker 42 can be directly observed, it is not necessary to observe the monitor 37.

全てのポインタ44が、対応するマーカ42に一致して投影された状態は、位置合わせが完了していることを表わしている。即ち、照射領域の座標系(X−Y−Z)における患者の姿勢(表面像11の配置)と治療計画で決定した患者の姿勢(三次元像21の配置)とが一致した状態を示している。
よって、この状態で、ビーム照射部34の照射制御部29に指令を送れば、患者32の患部範囲に治療ビームが集中的に照射され、患部細胞を死滅させることができる。
The state in which all the pointers 44 are projected in accordance with the corresponding markers 42 indicates that the alignment has been completed. That is, it shows a state in which the posture of the patient (arrangement of the surface image 11) in the coordinate system (XYZ) of the irradiation region and the posture of the patient determined by the treatment plan (arrangement of the three-dimensional image 21) match. Yes.
Therefore, if a command is sent to the irradiation control unit 29 of the beam irradiation unit 34 in this state, the treatment beam is intensively irradiated to the affected area of the patient 32 and the affected cell can be killed.

(第2実施形態)
図4に示すように、第2実施形態に係る患者の位置決め装置10Bは、照射領域の座標系(X−Y−Z)において、マーカ42の座標Q(Q1,Q2,Q3)を目標座標S(S1,S2,S3)(図3)に移動させる移動ベクトルTを計算する移動ベクトル計算部51をさらに備えている。なお、図4において図1と共通の構成又は機能を有する部分は、同一符号で示し、重複する説明を省略する。
(Second Embodiment)
As shown in FIG. 4, the patient positioning apparatus 10B according to the second embodiment uses coordinates Q (Q 1 , Q 2 , Q 3 ) of the marker 42 in the coordinate system (XYZ) of the irradiation area. A movement vector calculation unit 51 is further provided for calculating a movement vector T to be moved to the target coordinates S (S 1 , S 2 , S 3 ) (FIG. 3). 4, parts having the same configuration or function as those in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted.

そしてポインタ投影制御部26は、この移動ベクトルTの方向又は大きさに関する情報(矢印46(461,462,463))を、対応するポインタ44とともに投影させる。
このように矢印46(461,462,463)が表示されることにより、患者を動かす方向を視覚的に認識することができ、患者32の位置合わせを効率的に行える。
Then, the pointer projection control unit 26 projects information (arrows 46 (46 1 , 46 2 , 46 3 )) regarding the direction or size of the movement vector T together with the corresponding pointer 44.
By displaying the arrows 46 (46 1 , 46 2 , 46 3 ) in this way, the direction in which the patient is moved can be visually recognized, and the patient 32 can be positioned efficiently.

閾値判定部52は、移動ベクトルTが閾値に対して大きいか小さいかを判定するものである。そして、ポインタ投影制御部26は、この判定結果に関する情報(色情報)を、対応するポインタ44とともに投影する。
このように判定結果に関する情報が投影されることにより、投影されたポインタ44がマーカ42に一致しているか否かを視覚的に認識することができ、患者32の位置合わせを効率的に行える。
The threshold determination unit 52 determines whether the movement vector T is larger or smaller than the threshold. Then, the pointer projection control unit 26 projects information (color information) regarding the determination result together with the corresponding pointer 44.
Thus, by projecting the information regarding the determination result, it can be visually recognized whether or not the projected pointer 44 matches the marker 42, and the patient 32 can be positioned efficiently.

なおポインタ投影制御部26が、ポインタ44とともに投影するその他の情報として、照射領域の座標系(X−Y−Z)におけるマーカ座標Qや、患者位置決めのずれ量を表わす移動ベクトルTの大きさを数値で示したり、このずれ量に応じた大きさの図形(例えば、矢印、円形、クロス、矩形等を表わしたりすることが考えられる。   As other information projected by the pointer projection control unit 26 together with the pointer 44, the marker coordinates Q in the coordinate system (XYZ) of the irradiation region and the magnitude of the movement vector T representing the amount of deviation in patient positioning are used. It may be indicated by a numerical value or a figure having a size corresponding to the amount of deviation (for example, an arrow, a circle, a cross, a rectangle, etc.).

(第3実施形態)
図5に示すように、第3実施形態に係る患者の位置決め装置10Cは、治療ビームの照射領域31において、患者32を載置するベッド33を、移動ベクトルTに基づき移動させるベッド移動制御部53をさらに備えている。このベッド移動制御部53は、ベッド33を、照射領域の座標系(X−Y−Z)の並進三軸及び回転三軸の合計六軸のうち、少なくとも一軸を動かすことができるものである。
なお、図5において図1と共通の構成又は機能を有する部分は、同一符号で示し、重複する説明を省略する。
(Third embodiment)
As shown in FIG. 5, the patient positioning apparatus 10 </ b> C according to the third embodiment moves the bed 33 on which the patient 32 is placed based on the movement vector T in the treatment beam irradiation region 31. Is further provided. The bed movement control unit 53 can move the bed 33 at least one of a total of six axes including three translation axes and three rotation axes in the coordinate system (XYZ) of the irradiation region.
5 that have the same configuration or function as those in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted.

このように任意構成であるベッド移動制御部53が備わることにより、患者32をベッド33に動かないように固定して、ベッド33を動かすことにより、患者の位置決めを行うことができる。   Thus, by providing the bed movement control unit 53 having an arbitrary configuration, the patient 32 can be fixed to the bed 33 so as not to move, and the patient can be positioned by moving the bed 33.

(第4実施形態)
図6に示すように、第4実施形態に係る患者の位置決め装置10Dは、患者32に治療ビームを照射する治療室30とは別個に設けられた、医療従事者が待機する監視室50に、患者32を撮影した画像をリアルタイムに表示するモニタ37を配置している。
さらにこの監視室50には、患者32と医療従事者とが相互に音声コミュニケーションを図る音声送受信器54が設けられている。
なお、図6において図1と共通の構成又は機能を有する部分は、同一符号で示し、重複する説明を省略する。
これにより、患者32と医療従事者とが協同して患者の位置決めを効率的に実施することができる。
(Fourth embodiment)
As shown in FIG. 6, the patient positioning apparatus 10D according to the fourth embodiment is provided in a monitoring room 50 that is provided separately from the treatment room 30 that irradiates a patient 32 with a treatment beam and that a medical worker waits. A monitor 37 that displays an image of the patient 32 in real time is arranged.
Further, the monitoring room 50 is provided with a voice transmitter / receiver 54 for voice communication between the patient 32 and the medical staff.
In FIG. 6, parts having the same configuration or function as those in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted.
Thereby, the patient 32 and the medical staff can cooperate and can perform patient positioning efficiently.

さらに第4実施形態に係る患者の位置決め装置10Dは、機能部の図示を省略するが次のような機能を実現する構成要素を備えている。
位置決め過程において、プロジェクタ36から投射されるポインタ44が患者の眼に入る虞がある。そこで、患者の瞼の変化に連動して、目を開いているときはプロジェクタ36の投射をOFF、閉じているときは投影をONとする機能を備える。
その他に、呼吸に同期してマーカ42が変位するような場合は、このプロジェクタ36の投射のON/OFF機能を、呼吸に連動させることもできる。
Furthermore, the patient positioning device 10D according to the fourth embodiment includes components that realize the following functions, although the functional units are not shown.
In the positioning process, the pointer 44 projected from the projector 36 may enter the patient's eyes. Therefore, in conjunction with the change of the patient's eyelid, the projector 36 has a function of turning off the projection when the eyes are open and turning on the projection when the eyes are closed.
In addition, when the marker 42 is displaced in synchronization with respiration, the projection ON / OFF function of the projector 36 can be linked to respiration.

図6のフローチャートに基づいて実施形態に係る患者の位置決め方法及び患者の位置決めプログラムについて説明する(適宜、図1,図3参照)。
まず、治療計画の工程において、X線CT装置やMRI装置等の医用画像機器で患者の三次元像21を撮像する(S11)。そして、この三次元像21から、患者体内におけるガン等の患部範囲を特定する(S12)。
そして、この患部範囲に照射する治療ビームの方向・強度等の諸特性を決定する(S13)。さらに、治療ビームの照射領域31における三次元像21の位置情報24を決定する(S14 計画工程 END)。
A patient positioning method and patient positioning program according to the embodiment will be described based on the flowchart of FIG. 6 (see FIGS. 1 and 3 as appropriate).
First, in a treatment planning process, a three-dimensional image 21 of a patient is captured by a medical imaging device such as an X-ray CT apparatus or an MRI apparatus (S11). Then, from this three-dimensional image 21, the affected area such as cancer in the patient is specified (S12).
Then, various characteristics such as the direction and intensity of the treatment beam irradiated to the affected area are determined (S13). Further, position information 24 of the three-dimensional image 21 in the treatment beam irradiation area 31 is determined (S14 planning step END).

次に照射ビームによる治療工程において、治療計画の工程において撮像した三次元像21及び決定された位置情報24を患者の位置決め装置10において保持する(S15)。
そして、この三次元像21に含まれる患者の特徴点43を識別する(S16)。さらに、この三次元像21から識別された特徴点43の、照射領域の座標系における第2特徴点座標Rを、位置情報24に基づいて演算する(S17)。なお、ステップS15からS17の工程は、ここでは治療工程で実施することとしたが、治療計画の工程で予め実施しておき、演算結果を取得するようにしても良い。
Next, in the treatment process using the irradiation beam, the three-dimensional image 21 and the determined position information 24 captured in the treatment planning process are held in the patient positioning apparatus 10 (S15).
And the patient's feature point 43 contained in this three-dimensional image 21 is identified (S16). Further, the second feature point coordinate R in the coordinate system of the irradiation area of the feature point 43 identified from the three-dimensional image 21 is calculated based on the position information 24 (S17). In addition, although the process of step S15 to S17 was implemented in the treatment process here, you may make it implement in advance at the process of a treatment plan, and may acquire a calculation result.

次に、患者32は、マーカ42を体表面に貼付したうえで、治療ビームの照射領域31に配置される(S18)。そして、表面計測器35によって患者32の表面形状を示す表面像11が計測される(S19)。さらにこの表面像11に含まれる患者の特徴点41が識別される(S20)。そして、表面像11から識別された特徴点41の、照射領域の座標系(X−Y−Z)における第1特徴点座標Pが、演算される(S21)。   Next, the patient 32 is placed on the treatment beam irradiation area 31 after the marker 42 is pasted on the body surface (S18). And the surface image 11 which shows the surface shape of the patient 32 is measured by the surface measuring device 35 (S19). Further, a patient feature point 41 included in the surface image 11 is identified (S20). And the 1st feature point coordinate P in the coordinate system (XYZ) of the irradiation area | region of the feature point 41 identified from the surface image 11 is calculated (S21).

次に患者32に付したマーカ42を表面像11から検出する(S22)。そして、検出されたマーカ42の、照射領域の座標系(X−Y−Z)におけるマーカ座標Qを、演算する(S23)。さらに、第1特徴点座標Pをマーカ座標Qに座標変換する変換パラメータWを導出する(S24)。   Next, the marker 42 attached to the patient 32 is detected from the surface image 11 (S22). And the marker coordinate Q in the coordinate system (XYZ) of the irradiation area | region of the detected marker 42 is calculated (S23). Further, a conversion parameter W for converting the first feature point coordinate P to the marker coordinate Q is derived (S24).

次に、変換パラメータWにより第2特徴点座標Rを目標座標Sに変換する(S25)。そして、にプロジェクタ36を制御して目標座標Sに向けてポインタ44を投影する(S26)。このときに、投影したポインタ44がマーカ42に一致していなければ(S27 No)、患者32の姿勢を調整してポインタ44がマーカ42に一致するようにする(S27 Yes)。
これにより、治療ビームの照射領域31に配置された患者32が正確に位置決めされたことになるので、治療ビームが照射される(S29 END)。
Next, the second feature point coordinate R is converted to the target coordinate S by the conversion parameter W (S25). Then, the projector 36 is controlled to project the pointer 44 toward the target coordinate S (S26). At this time, if the projected pointer 44 does not match the marker 42 (No in S27), the posture of the patient 32 is adjusted so that the pointer 44 matches the marker 42 (S27 Yes).
As a result, the patient 32 arranged in the treatment beam irradiation region 31 is accurately positioned, and the treatment beam is emitted (S29 END).

以上述べた少なくともひとつの実施形態の患者の位置決め装置によれば、プロジェクタから投影されたポインタが患者に付したマーカに一致するように患者の姿勢を調整ことで、治療ビームの照射領域における患者の位置決めを、正確に短時間で行うことができる。   According to the patient positioning apparatus of at least one embodiment described above, the patient's position in the treatment beam irradiation region is adjusted by adjusting the posture of the patient so that the pointer projected from the projector matches the marker attached to the patient. Positioning can be performed accurately in a short time.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
また、患者の位置決め装置の構成要素は、コンピュータのプロセッサで実現することも可能であり、患者の位置決めプログラムにより動作させることが可能である。
Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
Further, the components of the patient positioning device can be realized by a processor of a computer, and can be operated by a patient positioning program.

以上説明した患者の位置決め装置は、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、又はCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信I/Fとを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。   The patient positioning device described above includes a control device in which a processor such as a dedicated chip, FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), or CPU (Central Processing Unit) is highly integrated, and ROM ( Storage devices such as Read Only Memory (RAM) and Random Access Memory (RAM), external storage devices such as HDD (Hard Disk Drive) and SSD (Solid State Drive), display devices such as a display, and inputs such as a mouse and a keyboard The apparatus and the communication I / F are provided, and can be realized by a hardware configuration using a normal computer.

また患者の位置決め装置で実行されるプログラムは、ROM等に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。   A program executed by the patient positioning apparatus is provided by being previously incorporated in a ROM or the like. Alternatively, this program is stored in a computer-readable storage medium such as a CD-ROM, CD-R, memory card, DVD, or flexible disk (FD) as an installable or executable file. You may make it do.

10(10A,10B,10C,10D)…患者の位置決め装置、11(11a,11b)…表面像、12…第1識別部、13…第1演算部、14…マーカ検出部、15…マーカ座標演算部、16…変換パラメータ導出部、17…操作設定部、20…前処理部、21…三次元像、22…第2識別部、23…第2演算部、24…位置情報、25…目標座標変換部、26…ポインタ投影制御部、27…較正部、28…画像出力部、29…治療ビーム照射制御部、30…治療室、31…治療ビームの照射領域、32…患者、33…ベッド、34…ビーム照射部、35(35a,35b)…表面計測器(光学カメラ)、36…プロジェクタ、37…モニタ、38…較正体、41…表面像に含まれる患者の特徴点、42…マーカ、43…三次元像に含まれる患者の特徴点、44…ポインタ、44a…ポインタの光線、45…計測点、46…矢印、50…監視室、51…移動ベクトル計算部、52…閾値判定部、53…ベッド移動制御部、54…音声送受信器。   10 (10A, 10B, 10C, 10D) ... Patient positioning device, 11 (11a, 11b) ... Surface image, 12 ... First identification unit, 13 ... First calculation unit, 14 ... Marker detection unit, 15 ... Marker coordinates Calculation unit, 16 ... Conversion parameter derivation unit, 17 ... Operation setting unit, 20 ... Pre-processing unit, 21 ... Three-dimensional image, 22 ... Second identification unit, 23 ... Second calculation unit, 24 ... Position information, 25 ... Target Coordinate conversion unit, 26 ... pointer projection control unit, 27 ... calibration unit, 28 ... image output unit, 29 ... treatment beam irradiation control unit, 30 ... treatment room, 31 ... treatment beam irradiation region, 32 ... patient, 33 ... bed , 34 ... Beam irradiation unit, 35 (35a, 35b) ... Surface measuring device (optical camera), 36 ... Projector, 37 ... Monitor, 38 ... Calibrator, 41 ... Patient feature point included in surface image, 42 ... Marker 43 ... Included in 3D image 44. Pointer, 44a ... Pointer beam, 45 ... Measurement point, 46 ... Arrow, 50 ... Monitoring room, 51 ... Movement vector calculation unit, 52 ... Threshold determination unit, 53 ... Bed movement control unit, 54: Audio transceiver.

Claims (11)

治療ビームの照射領域に配置された患者の表面形状を計測した表面像を保持する第1保持部と、
前記表面像に含まれる前記患者の特徴点を識別する第1識別部と、
前記表面像から識別された特徴点の前記照射領域の座標系における第1特徴点座標を演算する第1演算部と、
前記患者に付したマーカを前記表面像から検出する検出部と、
前記表面像から検出された前記マーカの前記照射領域の座標系におけるマーカ座標を演算するマーカ座標演算部と、
前記第1特徴点座標を前記マーカ座標に座標変換する変換パラメータを導出する変換パラメータ導出部と、
前記患者を三次元撮像した三次元像と前記照射領域の座標系に位置させる前記三次元像の位置情報とに基づいて演算された前記患者の特徴点の前記照射領域の座標系における第2特徴点座標を取得する取得部と、
前記変換パラメータにより前記第2特徴点座標を目標座標に変換する変換部と、
前記目標座標に投影するポインタを制御する制御部と、を備えることを特徴とする患者の位置決め装置。
A first holding unit that holds a surface image obtained by measuring the surface shape of a patient disposed in the irradiation region of the treatment beam;
A first identification unit for identifying a feature point of the patient included in the surface image;
A first calculation unit that calculates first feature point coordinates in the coordinate system of the irradiation region of the feature points identified from the surface image;
A detection unit for detecting a marker attached to the patient from the surface image;
A marker coordinate calculation unit for calculating marker coordinates in a coordinate system of the irradiation area of the marker detected from the surface image;
A conversion parameter deriving unit for deriving a conversion parameter for converting the first feature point coordinates to the marker coordinates;
A second feature in the coordinate system of the irradiation region of the feature point of the patient calculated based on a three-dimensional image obtained by three-dimensionally imaging the patient and position information of the three-dimensional image positioned in the coordinate system of the irradiation region An acquisition unit for acquiring point coordinates;
A conversion unit that converts the second feature point coordinates into target coordinates according to the conversion parameters;
And a controller for controlling a pointer projected onto the target coordinates.
請求項1に記載の患者の位置決め装置において、
前記患者を三次元撮像した三次元像を保持する第2保持部と、
前記三次元像に含まれる前記患者の特徴点を識別する第2識別部と、
前記照射領域の座標系に位置させる前記三次元像の位置情報を保持する第3保持部と、
前記三次元像から識別された特徴点の前記照射領域の座標系における第2特徴点座標を前記位置情報に基づいて演算する第2演算部と、を有する前処理部を前記取得部に代えて備えることを特徴とする患者の位置決め装置。
The patient positioning device according to claim 1, wherein:
A second holding unit for holding a three-dimensional image obtained by three-dimensionally imaging the patient;
A second identification unit for identifying a feature point of the patient included in the three-dimensional image;
A third holding unit for holding position information of the three-dimensional image to be positioned in the coordinate system of the irradiation region;
A preprocessing unit having a second calculation unit that calculates a second feature point coordinate of the feature point identified from the three-dimensional image in the coordinate system of the irradiation region based on the position information is replaced with the acquisition unit. A patient positioning apparatus, comprising:
請求項1又は請求項2に記載の患者の位置決め装置において、
前記表面像を前記患者又は医療従事者がリアルタイムに観察できるよう画像表示させる画像出力部をさらに備えることを特徴とする患者の位置決め装置。
The patient positioning apparatus according to claim 1 or 2,
An apparatus for positioning a patient, further comprising: an image output unit for displaying the surface image so that the patient or medical staff can observe in real time.
請求項1から請求項3のいずれか1項に記載の患者の位置決め装置において、
前記照射領域の座標系において前記マーカ座標を前記目標座標に移動させる移動ベクトルを計算する移動ベクトル計算部をさらに備えることを特徴とする患者の位置決め装置。
The patient positioning apparatus according to any one of claims 1 to 3,
A patient positioning apparatus, further comprising: a movement vector calculation unit that calculates a movement vector for moving the marker coordinates to the target coordinates in the coordinate system of the irradiation region.
請求項4に記載の患者の位置決め装置において、
前記制御部は、前記移動ベクトルの方向又は大きさに関する情報を、対応する前記ポインタとともに投影させることを特徴とする患者の位置決め装置。
The patient positioning device according to claim 4.
The said control part projects the information regarding the direction or magnitude | size of the said movement vector with the said corresponding pointer, The patient positioning device characterized by the above-mentioned.
請求項4又は請求項5に記載の患者の位置決め装置において、
前記移動ベクトルが閾値に対して大きいか小さいかを判定する閾値判定部をさらに備え、前記制御部は、この判定結果に関する情報を対応する前記ポインタとともに投影させることを特徴とする患者の位置決め装置。
The patient positioning device according to claim 4 or 5,
A patient positioning apparatus, further comprising a threshold value determination unit that determines whether the movement vector is larger or smaller than a threshold value, and wherein the control unit projects information on the determination result together with the corresponding pointer.
請求項4から請求項6のいずれか1項に記載の患者の位置決め装置において、
前記照射領域において、前記患者を載置するベッドを、前記移動ベクトルに基づき移動させるベッド移動制御部をさらに備えることを特徴とする患者の位置決め装置。
The patient positioning apparatus according to any one of claims 4 to 6,
A patient positioning apparatus, further comprising a bed movement control unit configured to move a bed on which the patient is placed in the irradiation region based on the movement vector.
請求項1から請求項7のいずれか1項に記載の患者の位置決め装置において、
前記表面像は、複数の光学カメラでステレオ撮影して取得したものであるか、又はレー
ザスキャナで前記患者の表面をレーザ走査して取得したものであることを特徴とする患者の位置決め装置。
The patient positioning apparatus according to any one of claims 1 to 7,
The patient positioning apparatus according to claim 1, wherein the surface image is acquired by taking a stereo image with a plurality of optical cameras, or acquired by laser scanning the surface of the patient with a laser scanner.
請求項1から請求項8のいずれか1項に記載の患者の位置決め装置において、
前記照射領域に配置された較正体の表面形状を計測した表面像を保持し、この表面像から前記照射領域の座標系における座標値が既知である前記較正体の計測点を識別し、この識別された計測点が前記座標系の既知の座標値をとるように前記第1演算部及び前記マーカ座標演算部で実行される演算式の較正定数を設定する較正部をさらに備えることを特徴とする患者の位置決め装置。
The patient positioning apparatus according to any one of claims 1 to 8,
A surface image obtained by measuring the surface shape of the calibration body arranged in the irradiation area is held, and the measurement point of the calibration body having a known coordinate value in the coordinate system of the irradiation area is identified from the surface image, and this identification is performed. And a calibration unit that sets a calibration constant of an arithmetic expression executed by the first calculation unit and the marker coordinate calculation unit so that the measured point takes a known coordinate value of the coordinate system. Patient positioning device.
第1保持部が、治療ビームの照射領域に配置された患者の表面形状を計測した表面像を保持するステップと、
第1識別部が、前記表面像に含まれる前記患者の特徴点を識別するステップと、
第1演算部が、前記表面像から識別された特徴点の前記照射領域の座標系における第1特徴点座標を演算するステップと、
検出部が、前記患者に付したマーカを前記表面像から検出するステップと、
マーカ座標演算部が、前記表面像から検出された前記マーカの前記照射領域の座標系におけるマーカ座標を演算するステップと、
変換パラメータ導出部が、前記第1特徴点座標を前記マーカ座標に座標変換する変換パラメータを導出するステップと、
取得部が、前記患者を三次元撮像した三次元像と前記照射領域の座標系に位置させる前記三次元像の位置情報とに基づいて演算された前記患者の特徴点の前記照射領域の座標系における第2特徴点座標を取得するステップと、
変換部が、前記変換パラメータにより前記第2特徴点座標を目標座標に変換するステップと、
制御部が、前記目標座標に投影するポインタを制御するステップと、を含むことを特徴とする患者の位置決め装置の作動方法。
A first holding unit holding a surface image obtained by measuring a surface shape of a patient disposed in a treatment beam irradiation region;
A first identifying unit for identifying a feature point of the patient included in the surface image;
A first computing unit computing first feature point coordinates in a coordinate system of the irradiation area of the feature points identified from the surface image;
Detecting a marker attached to the patient from the surface image;
A marker coordinate calculation unit calculating marker coordinates in a coordinate system of the irradiation area of the marker detected from the surface image;
A conversion parameter deriving unit deriving a conversion parameter for coordinate conversion of the first feature point coordinates to the marker coordinates;
The coordinate system of the irradiation region of the feature point of the patient calculated by the acquisition unit based on the three-dimensional image obtained by three-dimensionally imaging the patient and the positional information of the three-dimensional image positioned in the coordinate system of the irradiation region Obtaining a second feature point coordinate at;
A conversion unit converting the second feature point coordinates into target coordinates according to the conversion parameters;
Controller, operation method of patient positioning device which comprises the steps of: controlling the pointer to be projected onto the target coordinates.
コンピュータに、
治療ビームの照射領域に配置された患者の表面形状を計測した表面像を保持するステップ、
前記表面像に含まれる前記患者の特徴点を識別するステップ、
前記表面像から識別された特徴点の前記照射領域の座標系における第1特徴点座標を演算するステップ、
前記患者に付したマーカを前記表面像から検出するステップ、
前記表面像から検出された前記マーカの前記照射領域の座標系におけるマーカ座標を演算するステップ、
前記第1特徴点座標を前記マーカ座標に座標変換する変換パラメータを導出するステップ、
前記患者を三次元撮像した三次元像と前記照射領域の座標系に位置させる前記三次元像の位置情報とに基づいて演算された前記患者の特徴点の前記照射領域の座標系における第2特徴点座標を取得するステップ、
前記変換パラメータにより前記第2特徴点座標を目標座標に変換するステップ、
前記目標座標に投影するポインタを制御するステップ、を実行させることを特徴とする患者の位置決めプログラム。
On the computer,
Holding a surface image measuring the surface shape of the patient placed in the irradiation region of the treatment beam;
Identifying the patient feature points included in the surface image;
Calculating a first feature point coordinate in a coordinate system of the irradiation area of the feature point identified from the surface image;
Detecting a marker attached to the patient from the surface image;
Calculating marker coordinates in a coordinate system of the irradiation area of the marker detected from the surface image;
Deriving transformation parameters for transforming the first feature point coordinates to the marker coordinates;
A second feature in the coordinate system of the irradiation region of the feature point of the patient calculated based on a three-dimensional image obtained by three-dimensionally imaging the patient and position information of the three-dimensional image positioned in the coordinate system of the irradiation region Obtaining point coordinates;
Converting the second feature point coordinates into target coordinates according to the conversion parameters;
A step of controlling a pointer projected onto the target coordinates is executed.
JP2015159164A 2015-08-11 2015-08-11 Patient positioning apparatus, apparatus operating method and program Active JP6591229B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015159164A JP6591229B2 (en) 2015-08-11 2015-08-11 Patient positioning apparatus, apparatus operating method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015159164A JP6591229B2 (en) 2015-08-11 2015-08-11 Patient positioning apparatus, apparatus operating method and program

Publications (2)

Publication Number Publication Date
JP2017035348A JP2017035348A (en) 2017-02-16
JP6591229B2 true JP6591229B2 (en) 2019-10-16

Family

ID=58047057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015159164A Active JP6591229B2 (en) 2015-08-11 2015-08-11 Patient positioning apparatus, apparatus operating method and program

Country Status (1)

Country Link
JP (1) JP6591229B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110520056B (en) * 2017-04-07 2022-08-05 国立研究开发法人产业技术综合研究所 Surveying instrument installation assisting device and surveying instrument installation assisting method
JP2018198840A (en) * 2017-05-29 2018-12-20 三菱電機株式会社 Treatment table positioning device of particle beam treatment system
CN111615365B (en) * 2018-12-26 2021-11-30 西安大医集团股份有限公司 Positioning method and device and radiotherapy system
JPWO2020218496A1 (en) * 2019-04-24 2020-10-29
CN112867536B (en) * 2019-09-27 2023-02-21 西安大医集团股份有限公司 Method, device and system for detecting movement state of patient
CN112867537B (en) * 2019-09-27 2023-02-21 西安大医集团股份有限公司 Method, device and system for detecting movement state of patient
CN112022229B (en) * 2020-10-20 2024-02-27 上海联影医疗科技股份有限公司 Mammary gland biopsy positioning device verification method, system, equipment and readable storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5823192A (en) * 1996-07-31 1998-10-20 University Of Pittsburgh Of The Commonwealth System Of Higher Education Apparatus for automatically positioning a patient for treatment/diagnoses
US6279579B1 (en) * 1998-10-23 2001-08-28 Varian Medical Systems, Inc. Method and system for positioning patients for medical treatment procedures
JP4651591B2 (en) * 2006-08-17 2011-03-16 三菱電機株式会社 Positioning device
US20140123388A1 (en) * 2012-11-05 2014-05-08 Reto W. Filiberti Automated initial setup positioning for speeding patient throughput

Also Published As

Publication number Publication date
JP2017035348A (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6591229B2 (en) Patient positioning apparatus, apparatus operating method and program
US11273326B2 (en) Radiotherapy system and treatment support apparatus
JP7098485B2 (en) Virtual alignment image used for imaging
US20140221819A1 (en) Apparatus, system and method for surgical navigation
JP6340488B1 (en) Radiation dose monitoring system
US9724049B2 (en) Radiotherapy system
US7697147B2 (en) Apparatus and method for the representation of an area on the surface of a patient&#39;s body
JP4651591B2 (en) Positioning device
EP2239010A1 (en) Patient representation in medical machines
US20150117601A1 (en) X-ray source with module and detector for optical radiation
JP4981966B2 (en) Radiotherapy apparatus control method and radiotherapy apparatus control apparatus
JP2008022896A (en) Positioning system
JP5274526B2 (en) Skin dose display device and skin dose display method
CN111132730B (en) Calibration method for a patient monitoring system for use with a radiation therapy device
KR20150112830A (en) Positioning unit for positioning a patient, imaging device and method for the optical generation of a positioning aid
JP6895757B2 (en) Radiation therapy system and patient positioning system
KR20190078853A (en) Laser projection apparatus and control method thereof, laser guidance system including the apparatus
JP2017035314A (en) Apparatus, method and program for radiotherapy
JP5247565B2 (en) Multi-leaf collimator observation device and radiotherapy device
US9254106B2 (en) Method for completing a medical image data set
JP2019010508A (en) Radiotherapy system and therapy support device
US20220054862A1 (en) Medical image processing device, storage medium, medical device, and treatment system
JP2019072393A (en) Radiation therapy equipment
KR102479266B1 (en) Treatment system, calibration method, and program
WO2023153031A1 (en) Medical image processing device, treatment system, medical image processing method, program, and recording medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20180130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190918

R150 Certificate of patent or registration of utility model

Ref document number: 6591229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250