JP7092346B2 - Image control device - Google Patents

Image control device Download PDF

Info

Publication number
JP7092346B2
JP7092346B2 JP2018149452A JP2018149452A JP7092346B2 JP 7092346 B2 JP7092346 B2 JP 7092346B2 JP 2018149452 A JP2018149452 A JP 2018149452A JP 2018149452 A JP2018149452 A JP 2018149452A JP 7092346 B2 JP7092346 B2 JP 7092346B2
Authority
JP
Japan
Prior art keywords
image
unit
control device
marker
tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018149452A
Other languages
Japanese (ja)
Other versions
JP2020022680A (en
Inventor
剛 植山
誠生 稲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SONIRE THERAPEUTICS INC.
Original Assignee
SONIRE THERAPEUTICS INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SONIRE THERAPEUTICS INC. filed Critical SONIRE THERAPEUTICS INC.
Priority to JP2018149452A priority Critical patent/JP7092346B2/en
Publication of JP2020022680A publication Critical patent/JP2020022680A/en
Application granted granted Critical
Publication of JP7092346B2 publication Critical patent/JP7092346B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Surgical Instruments (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本開示は画像制御装置に関する。 The present disclosure relates to an image control device.

従来、HIFU(High Intensity Focused Ultrasound)治療システムが知られている。HIFU治療システムは、超音波を照射するプローブを備える。プローブから照射された超音波は焦点に収束する。術者は、超音波を照射する前に、プローブの先端の位置が目標照射位置と一致するように、プローブを移動させる。目標照射位置は治療したい患部である。HIFU治療システムは特許文献1に開示されている。 Conventionally, a HIFU (High Intensity Focused Ultrasound) treatment system is known. The HIFU treatment system includes a probe that irradiates ultrasonic waves. The ultrasonic waves emitted from the probe converge to the focal point. Before irradiating the ultrasonic wave, the operator moves the probe so that the position of the tip of the probe coincides with the target irradiation position. The target irradiation position is the affected area to be treated. The HIFU treatment system is disclosed in Patent Document 1.

特開2018-65223号公報JP-A-2018-65223

プローブの周辺には水袋が取り付けられている。そのため、術者は、プローブの先端を直接視認することが困難である。その結果、術者は、プローブの先端の位置と、目標照射位置との位置関係を理解し難い。 A water bag is attached around the probe. Therefore, it is difficult for the operator to directly see the tip of the probe. As a result, it is difficult for the operator to understand the positional relationship between the position of the tip of the probe and the target irradiation position.

本開示の一局面は、プローブの先端の位置と、目標照射位置との位置関係を術者に理解させることができる画像制御装置を提供することを目的とする。 One aspect of the present disclosure is to provide an image control device capable of making an operator understand the positional relationship between the position of the tip of the probe and the target irradiation position.

本開示の一局面は、経皮的治療デバイス(13)の作業領域(37)を表す画像を取得するように構成された画像取得ユニット(21)と、前記画像取得ユニットが取得する前記画像において、前記経皮的治療デバイスが前記作業領域を遮蔽する程度を推測するように構成された画像推測ユニット(23)と、前記画像取得ユニットが取得した前記画像であって、前記遮蔽する程度が閾値以下であると前記画像推測ユニットにより推測された前記画像を記憶するように構成された記憶ユニット(25)と、前記記憶ユニットが最後に記憶した前記画像における、前記経皮的治療デバイスが備えるプローブの先端の位置を推測するように構成されたプローブ推測ユニット(27)と、前記記憶ユニットが最後に記憶した前記画像に、前記プローブ推測ユニットが推測した前記先端の位置を表す先端マーカ(59)を追加するように構成されたマーカ追加ユニット(29)と、前記先端マーカが追加された前記画像を出力するように構成された出力ユニット(31)と、を備える画像制御装置(3)である。 One aspect of the present disclosure is in an image acquisition unit (21) configured to acquire an image representing a working area (37) of a percutaneous treatment device (13) and in the image acquired by the image acquisition unit. An image estimation unit (23) configured to estimate the degree to which the percutaneous treatment device shields the work area, and the image acquired by the image acquisition unit, the degree of shielding is a threshold. A storage unit (25) configured to store the image estimated by the image estimation unit as follows, and a probe included in the percutaneous treatment device in the image last stored by the storage unit. A probe estimation unit (27) configured to infer the position of the tip of the probe, and a tip marker (59) indicating the position of the tip estimated by the probe estimation unit in the image last stored by the storage unit. The image control device (3) includes a marker addition unit (29) configured to add the image, and an output unit (31) configured to output the image to which the tip marker is added. ..

本開示の一局面である画像制御装置は、経皮的治療デバイスの作業領域を表す画像に、先端マーカを追加することができる。術者は、先端マーカが追加された画像を見ることで、プローブの先端の位置と、作業領域に含まれる目標照射位置との位置関係を容易に理解することができる。 The image control device, which is one aspect of the present disclosure, can add a tip marker to an image representing a working area of a percutaneous treatment device. The operator can easily understand the positional relationship between the position of the tip of the probe and the target irradiation position included in the work area by looking at the image to which the tip marker is added.

また、本開示の一局面である画像制御装置は、経皮的治療デバイスが作業領域を遮蔽する程度が閾値以下である画像を使用する。そのため、画像において、経皮的治療デバイスが目標照射位置を遮蔽してしまうことを抑制できる。 Further, the image control device, which is one aspect of the present disclosure, uses an image in which the degree to which the percutaneous treatment device shields the work area is equal to or less than the threshold value. Therefore, it is possible to prevent the percutaneous treatment device from blocking the target irradiation position in the image.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述す
る実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
In addition, the reference numerals in parentheses described in this column and the scope of claims indicate the correspondence with the specific means described in the embodiment described later as one embodiment, and the technical scope of the present disclosure is defined. It is not limited.

治療システム1の構成を表す説明図である。It is explanatory drawing which shows the structure of the treatment system 1. FIG. 画像制御装置3の機能的構成を表すブロック図である。It is a block diagram which shows the functional structure of the image control device 3. 画像制御装置3が実行する処理を表すフローチャートである。It is a flowchart which shows the process which the image control apparatus 3 executes. 記憶画像57の例を表す説明図である。It is explanatory drawing which shows the example of the storage image 57. 矢印マーカ59及び焦点マーカ61が追加された記憶画像57を表す説明図である。It is explanatory drawing which shows the storage image 57 to which the arrow marker 59 and the focal point marker 61 are added. 先端ユニット13が目標マーカ58等を遮蔽している仮想的な画像を表す説明図である。It is explanatory drawing which shows the virtual image which the tip | tip unit 13 shields a target marker 58 and the like. 画像制御装置3が実行する処理を表すフローチャートである。It is a flowchart which shows the process which the image control apparatus 3 executes. 矢印マーカ59が追加された横方向画像63の例を表す説明図である。It is explanatory drawing which shows the example of the lateral image 63 to which the arrow marker 59 is added.

本開示の例示的な実施形態を、図面を参照しながら説明する。
1.治療システム1の構成
治療システム1の構成を図1、図2に基づき説明する。図1に示すように、治療システム1は、画像制御装置3と、カメラ5と、ディスプレイ7と、ロボット制御部9と、ロボットアーム11と、先端ユニット13と、監視用力覚センサ15と、を備える。先端ユニット13は経皮的治療デバイスに対応する。経皮的治療デバイスとは、超音波、放射線等を外部から患者の体内に照射するデバイスである。
An exemplary embodiment of the present disclosure will be described with reference to the drawings.
1. 1. Configuration of Treatment System 1 The configuration of the treatment system 1 will be described with reference to FIGS. 1 and 2. As shown in FIG. 1, the treatment system 1 includes an image control device 3, a camera 5, a display 7, a robot control unit 9, a robot arm 11, a tip unit 13, and a monitoring force sensor 15. Be prepared. The tip unit 13 corresponds to a percutaneous treatment device. The percutaneous treatment device is a device that irradiates the patient's body with ultrasonic waves, radiation, or the like from the outside.

画像制御装置3は、CPU17と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ19とする)と、を有するマイクロコンピュータを備える。画像制御装置3の各機能は、CPU17が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ19が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像制御装置3は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。 The image control device 3 includes a microcomputer having a CPU 17 and, for example, a semiconductor memory such as RAM or ROM (hereinafter referred to as memory 19). Each function of the image control device 3 is realized by the CPU 17 executing a program stored in a non-transitional substantive recording medium. In this example, the memory 19 corresponds to a non-transitional substantive recording medium in which a program is stored. In addition, when this program is executed, the method corresponding to the program is executed. The image control device 3 may include one microcomputer or a plurality of microcomputers.

画像制御装置3は、図2に示すように、画像取得ユニット21と、画像推測ユニット23と、記憶ユニット25と、プローブ推測ユニット27と、マーカ追加ユニット29と、出力ユニット31と、画像変換ユニット33と、読み出しユニット35と、を備える。 As shown in FIG. 2, the image control device 3 includes an image acquisition unit 21, an image estimation unit 23, a storage unit 25, a probe estimation unit 27, a marker addition unit 29, an output unit 31, and an image conversion unit. 33 and a read unit 35 are provided.

画像制御装置3に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。 The method for realizing the functions of each part included in the image control device 3 is not limited to software, and some or all of the functions may be realized by using one or a plurality of hardware. For example, when the above function is realized by an electronic circuit which is hardware, the electronic circuit may be realized by a digital circuit, an analog circuit, or a combination thereof.

図1に示すように、カメラ5は台36に固定されている。カメラ5は作業領域37を撮影することができる。カメラ5は作業領域37の斜め上方に位置する。作業領域37は患者39の一部である。患者39はベッド41の上に横臥している。作業領域37は、先端ユニット13が作業を行う領域である。カメラ5は、ステレオカメラ又はデプスカメラである。カメラ5は、カメラ5から作業領域37までの距離(以下では撮影距離とする)を表す情報を作成することができる。カメラ5の撮影方向及び撮影範囲は一定である。 As shown in FIG. 1, the camera 5 is fixed to the table 36. The camera 5 can capture the work area 37. The camera 5 is located diagonally above the work area 37. The work area 37 is part of the patient 39. Patient 39 is lying on the bed 41. The work area 37 is an area where the tip unit 13 works. The camera 5 is a stereo camera or a depth camera. The camera 5 can create information representing the distance from the camera 5 to the work area 37 (hereinafter referred to as a shooting distance). The shooting direction and shooting range of the camera 5 are constant.

ディスプレイ7は、画像制御装置3が出力する画像を表示する。術者はディスプレイ7
に表示された画像を見ることができる。術者とは、治療システム1を使用する者である。
ロボット制御部9は、ロボットアーム11の動作を制御する。ロボットアーム11の根元部43は台36に固定されている。根元部43とカメラ5との位置関係は一定である。
The display 7 displays an image output by the image control device 3. The surgeon is display 7
You can see the image displayed in. The surgeon is a person who uses the treatment system 1.
The robot control unit 9 controls the operation of the robot arm 11. The base portion 43 of the robot arm 11 is fixed to the base 36. The positional relationship between the base portion 43 and the camera 5 is constant.

ロボットアーム11の先端部45には、先端ユニット13及び監視用力覚センサ15が取り付けられている。ロボットアーム11は、動作することにより、先端ユニット13及び監視用力覚センサ15の位置を変化させることができる。ロボットアーム11は、先端ユニット13のうち、後述する水袋51を患者39に押し付けることができる。監視用力覚センサ15は、患者39が先端ユニット13に加える力を検出する。 A tip unit 13 and a monitoring force sensor 15 are attached to the tip 45 of the robot arm 11. By operating the robot arm 11, the positions of the tip unit 13 and the monitoring force sensor 15 can be changed. The robot arm 11 can press the water bag 51, which will be described later, of the tip unit 13 against the patient 39. The monitoring force sensor 15 detects the force applied by the patient 39 to the tip unit 13.

先端ユニット13は、HIFU照射部47、診断プローブ49、水袋51、操作部53、及び操作用力覚センサ55を備える。HIFU照射部47は、焦点に収束した超音波を作業領域37に照射する。HIFU照射部47は、超音波を照射するプローブに対応する。 The tip unit 13 includes a HIFU irradiation unit 47, a diagnostic probe 49, a water bag 51, an operation unit 53, and an operation force sensor 55. The HIFU irradiation unit 47 irradiates the working area 37 with ultrasonic waves focused on the focal point. The HIFU irradiation unit 47 corresponds to a probe that irradiates ultrasonic waves.

診断プローブ49は、超音波を用いて、患者39の体内を表す超音波画像を作成する。水袋51は、HIFU照射部47と患者39との間に位置する。水袋51は患者39に押し当てられる。 The diagnostic probe 49 uses ultrasound to create an ultrasound image of the body of the patient 39. The water bag 51 is located between the HIFU irradiation unit 47 and the patient 39. The water bag 51 is pressed against the patient 39.

操作部53は、術者が把持可能なハンドルである。操作部53は術者により操作される。操作用力覚センサ55は、術者によって操作部53に加えられた力の大きさと方向とを検出する。ロボット制御部9は、操作用力覚センサ55が検出した力の大きさと方向とに応じてロボットアーム11を動作させる。
2.画像制御装置3が実行する処理
画像制御装置3が所定時間ごとに繰り返し実行する処理を図3~図6に基づき説明する。図3のステップ1では、画像推測ユニット23が、ロボット制御部9から、先端ユニット13の位置を取得する。先端ユニット13の位置とは、根元部43を基準とする3次元空間における位置である。
The operation unit 53 is a handle that can be grasped by the operator. The operation unit 53 is operated by an operator. The operational force sensor 55 detects the magnitude and direction of the force applied to the operation unit 53 by the operator. The robot control unit 9 operates the robot arm 11 according to the magnitude and direction of the force detected by the operational force sensor 55.
2. 2. Processing executed by the image control device 3 The processing executed by the image control device 3 repeatedly at predetermined time intervals will be described with reference to FIGS. 3 to 6. In step 1 of FIG. 3, the image estimation unit 23 acquires the position of the tip unit 13 from the robot control unit 9. The position of the tip unit 13 is a position in a three-dimensional space with respect to the root portion 43.

ステップ2では、画像推測ユニット23が遮蔽比率を推測する。遮蔽比率とは、カメラ5が作業領域37を撮影して生じる画像のうち、先端ユニット13が占める部分の比率である。例えば、カメラ5が生成する画像全体の面積をAとする。その画像のうち、先端ユニット13が占める部分の面積をBとする。遮蔽比率は、(B/A)×100%である。遮蔽比率は、カメラ5が生成する画像において、先端ユニット13が作業領域を遮蔽する程度に対応する。 In step 2, the image estimation unit 23 estimates the shielding ratio. The shielding ratio is the ratio of the portion occupied by the tip unit 13 in the image generated by the camera 5 capturing the work area 37. For example, let A be the area of the entire image generated by the camera 5. Let B be the area of the portion occupied by the tip unit 13 in the image. The shielding ratio is (B / A) × 100%. The shielding ratio corresponds to the degree to which the tip unit 13 shields the work area in the image generated by the camera 5.

カメラ5の撮影方向及び撮影範囲は一定であるから、先端ユニット13の位置が決まれば、遮蔽比率は一義的に決まる。メモリ19は、先端ユニット13の位置と、遮蔽比率との関係を規定するマップを予め記憶している。画像推測ユニット23は、前記ステップ1で取得した先端ユニット13の位置をマップに入力することで、遮蔽比率を推測する。すなわち、画像推測ユニット23は、前記ステップ1で取得した先端ユニット13の位置に基づき、遮蔽比率を推測する。 Since the shooting direction and shooting range of the camera 5 are constant, once the position of the tip unit 13 is determined, the shielding ratio is uniquely determined. The memory 19 stores in advance a map that defines the relationship between the position of the tip unit 13 and the shielding ratio. The image estimation unit 23 estimates the shielding ratio by inputting the position of the tip unit 13 acquired in step 1 into the map. That is, the image estimation unit 23 estimates the shielding ratio based on the position of the tip unit 13 acquired in step 1.

ステップ3では、前記ステップ2で推測した遮蔽比率が予め設定した閾値以下であるか否かを画像推測ユニット23が判断する。遮蔽比率が閾値以下であると判断した場合、本処理はステップ4に進む。遮蔽比率が閾値より大きいと判断した場合、本処理はステップ12に進む。 In step 3, the image estimation unit 23 determines whether or not the shielding ratio estimated in step 2 is equal to or less than a preset threshold value. If it is determined that the shielding ratio is equal to or less than the threshold value, this process proceeds to step 4. If it is determined that the shielding ratio is larger than the threshold value, this process proceeds to step 12.

ステップ4では、画像取得ユニット21が、カメラ5を用いて画像を取得する。取得した画像は作業領域37を表す画像である。また、取得した画像は、遮蔽比率が閾値以下で
あると推測された画像である。
In step 4, the image acquisition unit 21 acquires an image using the camera 5. The acquired image is an image representing the work area 37. Further, the acquired image is an image in which the shielding ratio is estimated to be equal to or less than the threshold value.

ステップ5では、画像変換ユニット33が、前記ステップ4で取得した画像を、作業領域37の真上の視点から見た画像に変換する。このとき、画像変換ユニット33は、カメラ5から、撮影距離を表す情報を取得し、画像の変換に使用する。 In step 5, the image conversion unit 33 converts the image acquired in step 4 into an image viewed from a viewpoint directly above the work area 37. At this time, the image conversion unit 33 acquires information representing the shooting distance from the camera 5 and uses it for image conversion.

ステップ6では、前記ステップ5で変換した画像を、記憶ユニット25がメモリ19に記憶する。記憶した画像を以下では記憶画像とする。メモリ19に既に記憶画像が記憶されていた場合、記憶ユニット25は既存の記憶画像を消去する。よって、メモリ19に記憶されている記憶画像は、記憶ユニット25が最後に記憶した記憶画像である。 In step 6, the storage unit 25 stores the image converted in step 5 in the memory 19. The stored image will be referred to as a stored image below. If the stored image is already stored in the memory 19, the storage unit 25 erases the existing stored image. Therefore, the stored image stored in the memory 19 is the stored image last stored by the storage unit 25.

図4に、記憶画像57の例を示す。記憶画像57は作業領域37を表す。作業領域37には、目標照射位置を表すマーカ(以下では目標マーカ58とする)が術者によって記入されている。 FIG. 4 shows an example of the stored image 57. The storage image 57 represents a work area 37. In the work area 37, a marker representing the target irradiation position (hereinafter referred to as the target marker 58) is written by the operator.

ステップ7では、記憶画像における、HIFU照射部47の先端の位置(以下では照射部先端位置とする)をプローブ推測ユニット27が推測する。また、記憶画像における、HIFU照射部47の軸方向(以下では単に軸方向とする)をプローブ推測ユニット27が推測する。なお、ステップ7で使用される記憶画像は、前記ステップ6で記憶された記憶画像か、後述するステップ12で読み出された記憶画像である。 In step 7, the probe estimation unit 27 estimates the position of the tip of the HIFU irradiation unit 47 (hereinafter referred to as the irradiation unit tip position) in the stored image. Further, the probe estimation unit 27 estimates the axial direction (hereinafter, simply referred to as the axial direction) of the HIFU irradiation unit 47 in the stored image. The stored image used in step 7 is the stored image stored in step 6 or the stored image read out in step 12 described later.

カメラ5の位置及び撮影方向は一定であるから、先端ユニット13の位置及び撮影距離が決まれば、照射部先端位置及び軸方向は一義的に決まる。メモリ19は、先端ユニット13の位置と、撮影距離と、照射部先端位置及び軸方向との関係を規定するマップを予め記憶している。プローブ推測ユニット27は、前記ステップ1で取得した先端ユニット13の位置と、カメラ5から取得した撮影距離とをマップに入力することで、照射部先端位置及び軸方向を推測する。 Since the position and shooting direction of the camera 5 are constant, once the position and shooting distance of the tip unit 13 are determined, the tip position and axial direction of the irradiation unit are uniquely determined. The memory 19 stores in advance a map that defines the relationship between the position of the tip unit 13, the shooting distance, the position of the tip of the irradiation unit, and the axial direction. The probe estimation unit 27 estimates the position of the tip of the irradiation unit and the axial direction by inputting the position of the tip unit 13 acquired in step 1 and the shooting distance acquired from the camera 5 into the map.

ステップ8では、記憶画像における、焦点の位置をプローブ推測ユニット27が推測する。焦点とは、HIFU照射部47が照射する超音波の焦点である。焦点の位置は、照射部先端位置から軸方向に沿って所定距離進んだ位置である。プローブ推測ユニット27は、前記ステップ7で推測した照射部先端位置及び軸方向に基づき焦点の位置を推測する。 In step 8, the probe guessing unit 27 guesses the position of the focal point in the stored image. The focal point is the focal point of the ultrasonic wave irradiated by the HIFU irradiation unit 47. The position of the focal point is a position advanced by a predetermined distance along the axial direction from the position of the tip of the irradiation portion. The probe estimation unit 27 estimates the position of the focal point based on the position of the tip of the irradiation unit and the axial direction estimated in step 7.

ステップ9では、図5に示すように、マーカ追加ユニット29が、記憶画像57に矢印マーカ59を追加する。矢印マーカ59の先端59Aの位置は、前記ステップ7で推測した照射部先端位置である。矢印マーカ59が示す方向は、前記ステップ7で推測した軸方向と平行である。よって、矢印マーカ59は、照射部先端位置及び軸方向を表す。矢印マーカ59は先端マーカ及び方向マーカに対応する。 In step 9, as shown in FIG. 5, the marker addition unit 29 adds the arrow marker 59 to the stored image 57. The position of the tip 59A of the arrow marker 59 is the position of the tip of the irradiation portion estimated in step 7. The direction indicated by the arrow marker 59 is parallel to the axial direction estimated in step 7. Therefore, the arrow marker 59 represents the position of the tip of the irradiation unit and the axial direction. The arrow marker 59 corresponds to the tip marker and the direction marker.

ステップ10では、図5に示すように、マーカ追加ユニット29が、記憶画像57に焦点マーカ61を追加する。焦点マーカ61の位置は、前記ステップ8で推測した焦点の位置である。よって、焦点マーカ61は焦点の位置を表す。 In step 10, as shown in FIG. 5, the marker addition unit 29 adds the focus marker 61 to the stored image 57. The position of the focal marker 61 is the position of the focal point estimated in step 8. Therefore, the focal marker 61 represents the position of the focal point.

ステップ11では、矢印マーカ59及び焦点マーカが追加された記憶画像を、出力ユニット31が出力する。出力された画像はディスプレイ7に表示される。
ステップ12では、読み出しユニット35がメモリ19から記憶画像を読み出す。読み出される記憶画像は、過去の前記ステップ6において記憶された記憶画像である。なお、前記ステップ6において、記憶ユニット25は、既存の記憶画像が存在する場合、その既存の記憶画像を消去し、新たな記憶画像を記憶する。よって、ステップ12において読み出しユニット35が読み出す記憶画像は、記憶ユニット25が最後に記憶した記憶画像で
ある。
3.画像制御装置3が奏する効果
(1A)画像制御装置3は、記憶画像57に矢印マーカ59を追加することができる。先端59Aの位置は照射部先端位置である。そのため、術者は、記憶画像57を見ることで、照射部先端位置と、目標マーカ58との位置関係を容易に理解することができる。
In step 11, the output unit 31 outputs the stored image to which the arrow marker 59 and the focus marker are added. The output image is displayed on the display 7.
In step 12, the read unit 35 reads the stored image from the memory 19. The stored image to be read out is the stored image stored in the previous step 6. In addition, in step 6, when the existing storage image exists, the storage unit 25 erases the existing storage image and stores a new storage image. Therefore, the stored image read by the read unit 35 in step 12 is the stored image last stored by the storage unit 25.
3. 3. Effects of the image control device 3 (1A) The image control device 3 can add an arrow marker 59 to the stored image 57. The position of the tip 59A is the position of the tip of the irradiation portion. Therefore, the operator can easily understand the positional relationship between the position of the tip of the irradiation portion and the target marker 58 by looking at the stored image 57.

(1B)画像制御装置3は、遮蔽比率が閾値以下である記憶画像を使用する。そのため、図6に示すように、ディスプレイ7に表示される記憶画像57において、先端ユニット13が目標マーカ58等を遮蔽してしまうことを抑制できる。 (1B) The image control device 3 uses a stored image whose shielding ratio is equal to or less than a threshold value. Therefore, as shown in FIG. 6, in the stored image 57 displayed on the display 7, it is possible to prevent the tip unit 13 from shielding the target marker 58 and the like.

(1C)画像制御装置3は、カメラ5が生成した画像を、真上の視点から作業領域37を見た記憶画像57に変換する。そのため、術者は、記憶画像57を見ることで、矢印マーカ59、目標マーカ58、及び焦点マーカ61の位置関係を一層容易に理解することができる。 (1C) The image control device 3 converts the image generated by the camera 5 into a stored image 57 in which the work area 37 is viewed from the viewpoint directly above. Therefore, the operator can more easily understand the positional relationship between the arrow marker 59, the target marker 58, and the focus marker 61 by looking at the stored image 57.

(1D)矢印マーカ59は軸方向を表す。そのため、術者は、記憶画像57を見ることで、軸方向を容易に理解することができる。
(1E)画像制御装置3は、記憶画像57に焦点マーカ61を追加することができる。焦点マーカ61の位置は、HIFU照射部47が照射する超音波の焦点の位置である。そのため、術者は、記憶画像57を見ることで、HIFU照射部47が照射する超音波の焦点の位置を容易に理解することができる。
(1D) The arrow marker 59 indicates the axial direction. Therefore, the surgeon can easily understand the axial direction by looking at the stored image 57.
(1E) The image control device 3 can add the focus marker 61 to the stored image 57. The position of the focal marker 61 is the position of the focal point of the ultrasonic wave irradiated by the HIFU irradiation unit 47. Therefore, the operator can easily understand the position of the focal point of the ultrasonic wave irradiated by the HIFU irradiation unit 47 by looking at the memory image 57.

(1F)画像制御装置3は、先端ユニット13の位置を取得する。画像制御装置3は、取得した先端ユニット13の位置に基づき、遮蔽比率を推測する。そのため、画像制御装置3は、遮蔽比率を容易に推測することができる。 (1F) The image control device 3 acquires the position of the tip unit 13. The image control device 3 estimates the shielding ratio based on the acquired position of the tip unit 13. Therefore, the image control device 3 can easily estimate the shielding ratio.

<第2実施形態>
1.第1実施形態との相違点
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
<Second Embodiment>
1. 1. Differences from the First Embodiment Since the basic configuration of the second embodiment is the same as that of the first embodiment, the differences will be described below. It should be noted that the same reference numerals as those in the first embodiment indicate the same configuration, and the preceding description will be referred to.

前述した第1実施形態では、図3に示す処理を実行する。これに対し、第2実施形態では、図7に示す処理を実行する点で、第1実施形態と相違する。
2.画像制御装置3が実行する処理
画像制御装置3が所定時間ごとに繰り返し実行する処理を図7に基づき説明する。図7のステップ21では、画像取得ユニット21が、カメラ5を用いて画像を取得する。取得した画像は作業領域37を表す画像である。
In the first embodiment described above, the process shown in FIG. 3 is executed. On the other hand, the second embodiment is different from the first embodiment in that the process shown in FIG. 7 is executed.
2. 2. Processing executed by the image control device 3 A process executed repeatedly by the image control device 3 at predetermined time intervals will be described with reference to FIG. 7. In step 21 of FIG. 7, the image acquisition unit 21 acquires an image using the camera 5. The acquired image is an image representing the work area 37.

ステップ22では、画像推測ユニット23が、前記ステップ21で取得した画像において、色が水袋51の色と一致する領域(以下では水袋領域とする)を認識する。水袋領域は、前記ステップ21で取得した画像のうち、水袋51を表示している部分である。 In step 22, the image estimation unit 23 recognizes a region (hereinafter referred to as a water bag region) whose color matches the color of the water bag 51 in the image acquired in step 21. The water bag area is a portion of the image acquired in step 21 that displays the water bag 51.

ステップ23では、画像推測ユニット23が、以下の式(1)により遮蔽比率X(%)を算出する。
式(1) X=(C/A)×100
式(1)においてCは水袋領域の面積である。Aは、前記ステップ21で取得した画像全体の面積である。上記のとおり、画像推測ユニット23は、前記ステップ21で取得した画像の表示内容に基づき、遮蔽比率Xを算出する。
In step 23, the image estimation unit 23 calculates the shielding ratio X (%) by the following equation (1).
Equation (1) X = (C / A) × 100
In formula (1), C is the area of the water bag region. A is the area of the entire image acquired in step 21. As described above, the image estimation unit 23 calculates the shielding ratio X based on the display content of the image acquired in step 21.

ステップ24では、前記ステップ23で算出した遮蔽比率Xが予め設定した閾値以下であるか否かを画像推測ユニット23が判断する。遮蔽比率が閾値以下であると判断した場合、本処理はステップ25に進む。遮蔽比率が閾値より大きいと判断した場合、本処理はステップ32に進む。 In step 24, the image estimation unit 23 determines whether or not the shielding ratio X calculated in step 23 is equal to or less than a preset threshold value. If it is determined that the shielding ratio is equal to or less than the threshold value, this process proceeds to step 25. If it is determined that the shielding ratio is larger than the threshold value, this process proceeds to step 32.

ステップ25では、画像変換ユニット33が、前記ステップ21で取得した画像を、作業領域37の真上の視点から見た画像に変換する。このとき、画像変換ユニット33は、カメラ5から、撮影距離を表す情報を取得し、画像の変換に使用する。 In step 25, the image conversion unit 33 converts the image acquired in step 21 into an image viewed from a viewpoint directly above the work area 37. At this time, the image conversion unit 33 acquires information representing the shooting distance from the camera 5 and uses it for image conversion.

ステップ26では、記憶ユニット25が、前記ステップ25で変換した画像をメモリ19に記憶する。記憶された画像は記憶画像である。メモリ19に既に記憶画像が記憶されていた場合、記憶ユニット25は既存の記憶画像を消去する。よって、メモリ19に記憶されている記憶画像は、記憶ユニット25が最後に記憶した画像である。 In step 26, the storage unit 25 stores the image converted in step 25 in the memory 19. The stored image is a stored image. If the stored image is already stored in the memory 19, the storage unit 25 erases the existing stored image. Therefore, the stored image stored in the memory 19 is the last image stored by the storage unit 25.

ステップ27~32の処理は、第1実施形態における前記ステップ7~12の処理と同様である。
3.画像制御装置3が奏する効果
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1A)~(1E)を奏し、さらに、以下の効果を奏する。
The processes of steps 27 to 32 are the same as the processes of steps 7 to 12 in the first embodiment.
3. 3. Effects of the Image Control Device 3 According to the second embodiment described in detail above, the effects (1A) to (1E) of the above-mentioned first embodiment are achieved, and the following effects are further achieved.

(2A)画像制御装置3は、カメラ5を用いて取得した画像の表示内容に基づき、遮蔽比率Xを算出する。そのため、画像制御装置3は、遮蔽比率Xを正確に算出することができる。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(2A) The image control device 3 calculates the shielding ratio X based on the display content of the image acquired by using the camera 5. Therefore, the image control device 3 can accurately calculate the shielding ratio X.
<Other embodiments>
Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and can be variously modified and implemented.

(1)画像制御装置3は、カメラ5を用いて取得した画像を、作業領域37の横の視点から見た画像(以下では横方向画像とする)に変換してもよい。画像制御装置3は、横方向画像に、矢印マーカ59、焦点マーカ61等を追加することができる。図8に、矢印マーカ59が追加された横方向画像63の例を示す。画像制御装置3は、横方向画像をディスプレイ7に出力することができる。 (1) The image control device 3 may convert an image acquired by using the camera 5 into an image viewed from a lateral viewpoint of the work area 37 (hereinafter referred to as a horizontal image). The image control device 3 can add an arrow marker 59, a focus marker 61, and the like to the horizontal image. FIG. 8 shows an example of the lateral image 63 to which the arrow marker 59 is added. The image control device 3 can output a lateral image to the display 7.

(2)先端ユニット13が作業領域37を遮蔽する程度を表す指標は、遮蔽比率以外の指標であってもよい。
(3)照射部先端位置を表すマーカは、矢印マーカ59以外のマーカであってもよい。例えば、照射部先端位置を表すマーカは、円形、四角形、三角形、星印等のマーカ等であってもよい。画像制御装置3は、照射部先端位置を表すマーカと、軸方向を表すマーカとを、それぞれ記憶画像に追加してもよい。
(2) The index indicating the degree to which the tip unit 13 shields the work area 37 may be an index other than the shielding ratio.
(3) The marker indicating the position of the tip of the irradiation unit may be a marker other than the arrow marker 59. For example, the marker indicating the position of the tip of the irradiation unit may be a marker such as a circle, a quadrangle, a triangle, or a star. The image control device 3 may add a marker indicating the position of the tip of the irradiation unit and a marker indicating the axial direction to the stored image, respectively.

(4)記憶画像は、真上の視点から作業領域37を見た画像でなくてもよい。例えば、記憶画像は、斜め上の視点から作業領域37を見た画像であってもよい。
(5)画像制御装置3は、カメラ5を用いて取得した画像に矢印マーカ59及び焦点マーカ61を追加してから、画像を変換してもよい。
(4) The stored image does not have to be an image of the work area 37 viewed from the viewpoint directly above. For example, the stored image may be an image of the work area 37 viewed from an obliquely upward viewpoint.
(5) The image control device 3 may convert the image after adding the arrow marker 59 and the focus marker 61 to the image acquired by using the camera 5.

(6)HIFU照射部47の代わりに、他の経皮的治療デバイスを用いてもよい。他の経皮的治療デバイスとして、例えば、放射線照射デバイス等が挙げられる。
(7)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によっ
て実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
(6) Another percutaneous therapeutic device may be used instead of the HIFU irradiation unit 47. Examples of other percutaneous treatment devices include irradiation devices and the like.
(7) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.

(8)上述した画像制御装置の他、当該画像制御装置を構成要素とする治療システム、当該画像制御装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、治療システムの制御方法等、種々の形態で本開示を実現することもできる。 (8) In addition to the above-mentioned image control device, a treatment system having the image control device as a component, a program for operating a computer as the image control device, a non-transitional actual state such as a semiconductor memory in which this program is recorded, etc. The present disclosure can also be realized in various forms such as a recording medium and a control method of a treatment system.

1…治療システム、3…画像制御装置、5…カメラ、7…ディスプレイ、9…ロボット制御部、11…ロボットアーム、13…先端ユニット、21…画像取得ユニット、23…画像推測ユニット、25…記憶ユニット、27…プローブ推測ユニット、29…マーカ追加ユニット、31…出力ユニット、33…画像変換ユニット、35…読み出しユニット、37…作業領域、47…HIFU照射部、51…水袋、57…記憶画像、58…目標マーカ、59…矢印マーカ、61…焦点マーカ 1 ... Treatment system, 3 ... Image control device, 5 ... Camera, 7 ... Display, 9 ... Robot control unit, 11 ... Robot arm, 13 ... Tip unit, 21 ... Image acquisition unit, 23 ... Image estimation unit, 25 ... Memory Unit, 27 ... probe estimation unit, 29 ... marker addition unit, 31 ... output unit, 33 ... image conversion unit, 35 ... readout unit, 37 ... work area, 47 ... HIFU irradiation unit, 51 ... water bag, 57 ... storage image , 58 ... target marker, 59 ... arrow marker, 61 ... focus marker

Claims (7)

固定されたカメラを用いて経皮的治療デバイス(13)の作業領域(37)を表す画像を取得するように構成された画像取得ユニット(21)と、
前記画像取得ユニットが取得する前記画像において、前記経皮的治療デバイスが前記作業領域を遮蔽する程度を推測するように構成された画像推測ユニット(23)と、
前記画像取得ユニットが取得した前記画像であって、前記遮蔽する程度が閾値以下であると前記画像推測ユニットにより推測された前記画像を記憶するように構成された記憶ユニット(25)と、
前記記憶ユニットが最後に記憶した前記画像における、前記経皮的治療デバイスが備えるプローブの先端の位置を推測するように構成されたプローブ推測ユニット(27)と、
前記記憶ユニットが最後に記憶した前記画像に、前記プローブ推測ユニットが推測した前記先端の位置を表す先端マーカ(59)を追加するように構成されたマーカ追加ユニット(29)と、
前記先端マーカが追加された前記画像を出力するように構成された出力ユニット(31)と、
前記経皮的治療デバイスの位置と、前記カメラから前記作業領域までの距離である撮影距離と、前記先端の位置との関係を規定するマップを記憶したメモリと、
を備え
前記プローブ推測ユニットは、前記経皮的治療デバイスの位置と、前記撮影距離とを取得し、取得した前記経皮的治療デバイスの位置と、前記撮影距離とを前記マップに入力することで、前記先端の位置を推測するように構成された画像制御装置(3)。
An image acquisition unit (21) configured to acquire an image representing the work area (37) of the percutaneous treatment device (13) using a fixed camera .
An image estimation unit (23) configured to estimate the degree to which the percutaneous treatment device shields the work area in the image acquired by the image acquisition unit.
A storage unit (25) configured to store the image acquired by the image acquisition unit and estimated by the image estimation unit that the degree of shielding is equal to or less than a threshold value.
A probe guessing unit (27) configured to guess the position of the tip of the probe included in the percutaneous treatment device in the image last stored by the memory unit.
A marker addition unit (29) configured to add a tip marker (59) indicating the position of the tip estimated by the probe guessing unit to the image last stored by the storage unit.
An output unit (31) configured to output the image to which the tip marker is added, and
A memory that stores a map that defines the relationship between the position of the percutaneous treatment device, the imaging distance that is the distance from the camera to the work area, and the position of the tip.
Equipped with
The probe guessing unit acquires the position of the percutaneous treatment device and the imaging distance, and inputs the acquired position of the percutaneous treatment device and the imaging distance into the map. An image control device (3) configured to infer the position of the tip .
請求項1に記載の画像制御装置であって、
前記画像取得ユニットが取得した前記画像を、予め設定された視点から前記作業領域を見た画像に変換するように構成された画像変換ユニット(33)をさらに備え、
前記出力ユニットは、前記画像変換ユニットにより変換された前記画像を出力するように構成された画像制御装置。
The image control device according to claim 1.
Further, an image conversion unit (33) configured to convert the image acquired by the image acquisition unit into an image obtained by viewing the work area from a preset viewpoint is further provided.
The output unit is an image control device configured to output the image converted by the image conversion unit.
請求項2に記載の画像制御装置であって、
前記画像変換ユニットが変換した画像のうち、少なくとも一部の画像は、前記作業領域を横方向から見た画像(63)である画像制御装置。
The image control device according to claim 2.
An image control device in which at least a part of the images converted by the image conversion unit is an image (63) of the work area viewed from the side.
請求項1~3のいずれか1項に記載の画像制御装置であって、
前記マーカ追加ユニットは、前記記憶ユニットが最後に記憶した前記画像に、前記プローブの軸方向を表す方向マーカ(59)をさらに追加するように構成され、
前記出力ユニットは、前記方向マーカがさらに追加された前記画像を出力するように構成された画像制御装置。
The image control device according to any one of claims 1 to 3.
The marker addition unit is configured to further add a direction marker (59) indicating the axial direction of the probe to the image finally stored by the storage unit.
The output unit is an image control device configured to output the image to which the direction marker is further added.
請求項1~4のいずれか1項に記載の画像制御装置であって、
前記プローブ(47)は超音波を照射するプローブであり、
前記マーカ追加ユニットは、前記記憶ユニットが最後に記憶した前記画像に、前記超音波の焦点の位置を表す焦点マーカ(61)をさらに追加するように構成され、
前記出力ユニットは、前記焦点マーカがさらに追加された前記画像を出力するように構成された画像制御装置。
The image control device according to any one of claims 1 to 4.
The probe (47) is a probe that irradiates ultrasonic waves.
The marker addition unit is configured to further add a focus marker (61) indicating the position of the focal point of the ultrasonic wave to the image last stored by the storage unit.
The output unit is an image control device configured to output the image to which the focus marker is further added.
請求項1~5のいずれか1項に記載の画像制御装置であって、
前記画像推測ユニットは、前記経皮的治療デバイスの位置を取得し、取得した前記経皮的治療デバイスの位置に基づき、前記遮蔽する程度を推測するように構成された画像制御装置。
The image control device according to any one of claims 1 to 5.
The image estimation unit is an image control device configured to acquire the position of the percutaneous treatment device and estimate the degree of shielding based on the acquired position of the percutaneous treatment device.
請求項1~5のいずれか1項に記載の画像制御装置であって、
前記画像推測ユニットは、前記画像の表示内容に基づき、前記遮蔽する程度を推測するように構成された画像制御装置。
The image control device according to any one of claims 1 to 5.
The image estimation unit is an image control device configured to estimate the degree of shielding based on the display content of the image.
JP2018149452A 2018-08-08 2018-08-08 Image control device Active JP7092346B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018149452A JP7092346B2 (en) 2018-08-08 2018-08-08 Image control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018149452A JP7092346B2 (en) 2018-08-08 2018-08-08 Image control device

Publications (2)

Publication Number Publication Date
JP2020022680A JP2020022680A (en) 2020-02-13
JP7092346B2 true JP7092346B2 (en) 2022-06-28

Family

ID=69617890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018149452A Active JP7092346B2 (en) 2018-08-08 2018-08-08 Image control device

Country Status (1)

Country Link
JP (1) JP7092346B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122483B1 (en) 2022-01-18 2022-08-19 ソニア・セラピューティクス株式会社 Ultrasonic Imaging Probe and Ultrasonic Image Display Device for HIFU Irradiation Device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004049558A (en) 2002-07-19 2004-02-19 Toshiba Corp Ultrasonic therapeutic system
WO2011118287A1 (en) 2010-03-24 2011-09-29 オリンパス株式会社 Endoscope device
JP2012507324A (en) 2008-11-04 2012-03-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for ultrasound therapy
JP2012228286A (en) 2011-04-25 2012-11-22 Hitachi Medical Corp Treatment support system and medical image processing device
JP2018047088A (en) 2016-09-23 2018-03-29 ソニー株式会社 Control device, control method, and medical system
JP2018065223A (en) 2016-10-20 2018-04-26 株式会社デンソー Arm device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004049558A (en) 2002-07-19 2004-02-19 Toshiba Corp Ultrasonic therapeutic system
JP2012507324A (en) 2008-11-04 2012-03-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for ultrasound therapy
WO2011118287A1 (en) 2010-03-24 2011-09-29 オリンパス株式会社 Endoscope device
JP2012228286A (en) 2011-04-25 2012-11-22 Hitachi Medical Corp Treatment support system and medical image processing device
JP2018047088A (en) 2016-09-23 2018-03-29 ソニー株式会社 Control device, control method, and medical system
JP2018065223A (en) 2016-10-20 2018-04-26 株式会社デンソー Arm device

Also Published As

Publication number Publication date
JP2020022680A (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JP5877990B2 (en) Laser guide medical device automatic positioning system and method
JP7178009B2 (en) MEDICAL DEVICE, METHOD OF CONTROLLING MEDICAL DEVICE, AND PROGRAM
US8249216B2 (en) X-ray moving image radiographing apparatus
KR102102942B1 (en) Device of providing 3d image registration and method thereof
JP7298835B2 (en) MEDICAL DEVICE, METHOD OF CONTROLLING MEDICAL DEVICE, AND PROGRAM
JP5117051B2 (en) Ultrasonic diagnostic system and method
JP2004016268A (en) Ultrasonic diagnostic equipment, ultrasonic probe, and method for providing navigation information in ultrasonography
JP2014117368A (en) X-ray diagnostic apparatus and method for controlling the same
JP4779699B2 (en) X-ray equipment
JP2010233875A (en) Radiographic image capturing apparatus, biopsy apparatus, radiographic image capturing method, and biopsy method
CN113855287B (en) Oral implantation operation robot with evaluation of implantation precision and control method
JP6385750B2 (en) Medical dose information management apparatus, X-ray diagnostic apparatus, and medical dose information management method
JP7092346B2 (en) Image control device
WO2019103053A1 (en) Control device
CN108403131B (en) X-ray diagnostic apparatus
JP5317933B2 (en) Image display device and program thereof
JP2005040506A (en) Method and apparatus for processing x-ray image
JP5279637B2 (en) Bed positioning system and bed positioning method
EP3656305A1 (en) Medical apparatus and method for operating the medical apparatus
KR102301422B1 (en) Dental panoramic x-ray photographing apparatus and method
JP5314437B2 (en) X-ray equipment
JP2010131170A (en) Tomography apparatus
KR101748348B1 (en) image acquisition apparatus and method
US11856316B2 (en) Method and apparatus for changing image magnification power
JP7141875B2 (en) Radiation therapy system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220609

R150 Certificate of patent or registration of utility model

Ref document number: 7092346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350