JP6780936B2 - Medical image processing equipment, medical image processing methods, and medical image processing programs - Google Patents

Medical image processing equipment, medical image processing methods, and medical image processing programs Download PDF

Info

Publication number
JP6780936B2
JP6780936B2 JP2016004419A JP2016004419A JP6780936B2 JP 6780936 B2 JP6780936 B2 JP 6780936B2 JP 2016004419 A JP2016004419 A JP 2016004419A JP 2016004419 A JP2016004419 A JP 2016004419A JP 6780936 B2 JP6780936 B2 JP 6780936B2
Authority
JP
Japan
Prior art keywords
branch
blood vessel
image processing
medical image
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016004419A
Other languages
Japanese (ja)
Other versions
JP2017123975A (en
Inventor
嘉明 一ノ瀬
嘉明 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2016004419A priority Critical patent/JP6780936B2/en
Publication of JP2017123975A publication Critical patent/JP2017123975A/en
Application granted granted Critical
Publication of JP6780936B2 publication Critical patent/JP6780936B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。 The present disclosure relates to a medical image processing apparatus, a medical image processing method, and a medical image processing program.

医用画像において空間的に連続する領域を1つの領域として認識する手法として、領域拡張法(Region Growing)が知られている。従来、領域拡張を行ったときの各反復(iteration)における領域変化を分析することによって、血管の分岐を検出して表示する画像表示装置が知られている(特許文献1参照)。 A region expansion method (Region Growing) is known as a method of recognizing a spatially continuous region as one region in a medical image. Conventionally, there is known an image display device that detects and displays a branch of a blood vessel by analyzing a region change at each iteration when region expansion is performed (see Patent Document 1).

特開2011−45448号公報Japanese Unexamined Patent Publication No. 2011-45448

特許文献1の画像表示装置では、血管の分岐付近の輪郭上の一点を抽出できるが、血管等の管状組織の分枝の入口(分枝口)及び臨床的に必要な分岐口の性質(property)を可視化することは考慮されていない。 The image display device of Patent Document 1 can extract a point on the contour near the branch of a blood vessel, but the entrance (branch opening) of a branch of a tubular tissue such as a blood vessel and the clinically necessary property of the branch opening (property). ) Is not considered.

本開示は、上記事情に鑑みてなされたものであり、臨床上必要な管状組織の分枝口の性質を可視化できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。 The present disclosure has been made in view of the above circumstances, and provides a medical image processing apparatus, a medical image processing method, and a medical image processing program capable of visualizing the properties of the branch mouth of a tubular tissue clinically necessary.

本開示の医用画像処理装置は、本管と前記本管から分岐される枝管とを有する管状組織を含む被検体のボリュームデータを取得するポートと、前記本管から前記枝管が分岐する分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを導出するプロセッサと、前記ボリュームデータに基づく前記管状組織の3次元画像に、前記3次元画像における前記分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを示す3次元空間上のマークを重畳表示するディスプレイと、を備える。 The medical image processing apparatus of the present disclosure includes a port for acquiring volume data of a subject including a tubular tissue having a main and a branch pipe branched from the main, and a portion where the branch pipe branches from the main. In the three-dimensional image, a processor that derives the position of the branch mouth, the size of the branch mouth, and the direction of the normal of the surface of the branch mouth, and the three-dimensional image of the tubular tissue based on the volume data. The present invention includes a display for superimposing and displaying marks on a three-dimensional space indicating the position of the branch opening, the size of the branch opening, and the direction of the normal of the surface of the branch opening.

本開示の医用画像処理方法は、医用画像処理装置における医用画像処理方法であって、本管と前記本管から分岐される枝管とを有する管状組織を含むボリュームデータを取得し、前記本管から前記枝管が分岐する分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを導出し、前記ボリュームデータに基づく前記管状組織の3次元画像に、前記3次元画像における前記分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを示す3次元空間上のマークを重畳表示する。 The medical image processing method of the present disclosure is a medical image processing method in a medical image processing apparatus, and obtains volume data including a tubular tissue having a main and a branch pipe branched from the main, and obtains the main. The position of the branch mouth where the branch pipe branches, the size of the branch mouth, and the direction of the normal of the surface of the branch mouth are derived from the above, and a three-dimensional image of the tubular tissue based on the volume data is obtained. , The position of the branch opening in the three-dimensional image, the size of the branch opening, and the mark on the three-dimensional space indicating the direction of the normal of the surface of the branch opening are superimposed and displayed.

本開示の医用画像処理プログラムは、上記医用画像処理方法をコンピュータに実行させるためのプログラムである。 The medical image processing program of the present disclosure is a program for causing a computer to execute the above-mentioned medical image processing method.

本開示によれば、臨床上必要な管状組織の分岐口の性質を可視化できる。 According to the present disclosure, it is possible to visualize the properties of the branch port of a tubular tissue that is clinically necessary.

第1の実施形態における医用画像処理装置の構成例を示すブロック図Block diagram showing a configuration example of the medical image processing apparatus according to the first embodiment 医用画像処理装置の動作例を示すフローチャートFlowchart showing an operation example of a medical image processing device 血管の分岐例を示す模式図Schematic diagram showing an example of branching of a blood vessel 大動脈から分岐する腹部血管を示すレイキャスト画像、及びこのレイキャスト画像に重畳表示された血管走行を表す木及びマークの一例を示す模式図A schematic diagram showing a ray-cast image showing abdominal blood vessels branching from the aorta, and an example of a tree and a mark showing blood vessel running superimposed on the ray-cast image. 図4のレイキャスト画像に対応するレイサム画像、及びこのレイサム画像に重畳表示された血管走行を表す木及びマークの一例を示す模式図A schematic diagram showing an example of a Latham image corresponding to the Raycast image of FIG. 4 and a tree and a mark representing blood vessel running superimposed on the Latham image. 図4のレイキャスト画像と同様のレイキャスト画像、及びこのレイキャスト画像に重畳表示されたマークの一例を示す模式図A schematic diagram showing an example of a raycast image similar to the raycast image of FIG. 4 and a mark superimposed on the raycast image. 他の実施形態におけるマークの表示例を示す模式図Schematic diagram showing a display example of a mark in another embodiment

以下、本開示の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

(本開示の一形態を得るに至った経緯)
事故における救急救命においては止血が急務である。医師は、内出血を診断するためにCT(Computed Tomograly)画像を確認し、その後に、内出血を止血するために、アンギオ画像を確認しながら、医師が止血処理することがある。アンギオ画像は、アンギオグラフィにより撮像された画像である。この処理では、医師は、大動脈(Aorta)経由でカテーテルを挿入し、内出血している臓器に向かう動脈へカテーテルを進行させ、動脈内で塞栓して止血する。
(Background to obtain one form of this disclosure)
Hemostasis is an urgent task in emergency lifesaving in an accident. The doctor may confirm the CT (Computed Tomography) image to diagnose the internal bleeding, and then the doctor may stop the bleeding while checking the angio image to stop the internal bleeding. Angio images are images captured by angiography. In this process, the doctor inserts a catheter through the aorta, advances the catheter into the artery to the internal bleeding organ, and embolizes it in the artery to stop bleeding.

しかしながら、アンギオ画像においては、不鮮明となったり細かな動脈が表示されなかったりすることがあり、大動脈から分岐した動脈の入口を視認することが困難である。そのために、適切な分枝にカテーテルを挿入することに手間取ることがある。 However, in the angio image, it may be blurred or small arteries may not be displayed, and it is difficult to visually recognize the entrance of the artery branched from the aorta. Therefore, it may be troublesome to insert the catheter into the appropriate branch.

そこで、医師は、CT画像を参照することによって、アンギオ画像で不足している情報を補っている。従来の医用画像処理装置は、CT装置から取得したボリュームデータを画像処理することで血管走行(パス)を得ると、血管が分岐している場合、本枝と分枝の血管走行の交点(図3の点P1参照)を表示可能である。しかし、この交点は、分枝の血管の入口を示すものではなく、つまり臨床的に必要な分枝口の位置とは異なる。従って、生体にカテーテルが挿入される場合、動脈等の管状組織の入口を視認することは困難である。 Therefore, the doctor supplements the lacking information in the angio image by referring to the CT image. In the conventional medical image processing device, when the blood vessel running (path) is obtained by image processing the volume data acquired from the CT device, when the blood vessel is branched, the intersection of the blood vessel running of the main branch and the branch (Fig. (See point P1 of point 3) can be displayed. However, this intersection does not indicate the entrance of the branch blood vessel, that is, it is different from the clinically required position of the branch mouth. Therefore, when a catheter is inserted into a living body, it is difficult to visually recognize the entrance of a tubular tissue such as an artery.

また、特許文献1の画像表示装置では、血管の分岐が検出されると、分岐点、つまり分枝口の輪郭上の一点(図3の点P2参照)が可視化される。しかし、この一点は、臨床的に必要な分枝口の位置とは異なる。従って、生体にカテーテルが挿入される場合、分岐点から動脈の入口である分枝口を視認することは困難である。 Further, in the image display device of Patent Document 1, when a branch of a blood vessel is detected, a branch point, that is, a point on the contour of the branch opening (see point P2 in FIG. 3) is visualized. However, this one point is different from the clinically required branch opening position. Therefore, when a catheter is inserted into a living body, it is difficult to visually recognize the branch opening, which is the entrance of the artery, from the bifurcation point.

以下、臨床上必要な管状組織の分枝口の性質を可視化できる医用画像処理装置、医用画像撮像装置、医用画像処理方法、医用画像撮像方法、及び医用画像処理プログラムについて説明する。 Hereinafter, a medical image processing device, a medical image imaging device, a medical image processing method, a medical image imaging method, and a medical image processing program capable of visualizing the properties of the branch mouth of a tubular tissue required clinically will be described.

(第1の実施形態)
図1は実施形態における医用画像処理装置100の構成例を示すブロック図である。医用画像処理装置100は、ポート110、ユーザインターフェース(UI:User Interface)120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。医用画像処理装置100には、CT装置200が接続される。医用画像処理装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置100は、PC(Personal Computer)とPCに搭載されたソフトウェアにより構成されてもよい。
(First Embodiment)
FIG. 1 is a block diagram showing a configuration example of the medical image processing apparatus 100 according to the embodiment. The medical image processing device 100 includes a port 110, a user interface (UI: User Interface) 120, a display 130, a processor 140, and a memory 150. A CT device 200 is connected to the medical image processing device 100. The medical image processing device 100 acquires volume data from the CT device 200 and processes the acquired volume data. The medical image processing device 100 may be composed of a PC (Personal Computer) and software installed in the PC.

CT装置200は、生体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、スライス画像を生成する。生体としては人体等が挙げられる。CT装置200は、スライス画像を積層することによって生体内部の三次元上の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、管状組織である血管や心臓を含んでもよい。CT装置200は、CT画像としてのボリュームデータを医用画像処理装置100へ、有線回線又は無線回線を介して送信する。 The CT apparatus 200 irradiates a living body with X-rays and generates a slice image by utilizing the difference in X-ray absorption by tissues in the body. Examples of the living body include the human body. The CT apparatus 200 generates volume data including information on an arbitrary location in three dimensions inside the living body by stacking slice images. Any part of the living body may include blood vessels and the heart, which are tubular tissues. The CT device 200 transmits volume data as a CT image to the medical image processing device 100 via a wired line or a wireless line.

CT装置200は、ガントリ(図示せず)及びコンソール(図示せず)を備える。ガントリは、X線発生器やX線検出器を含み、コンソールにより指示された所定のタイミングで撮像することで、人体を透過したX線を検出し、X線検出データを得る。コンソールは、医用画像処理装置100に接続される。コンソールは、ガントリからX線検出データを複数取得し、X線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、医用画像処理装置100へ送信する。また、医用画像処理装置100は、CT装置200に含まれていても良い。 The CT device 200 includes a gantry (not shown) and a console (not shown). The gantry includes an X-ray generator and an X-ray detector, and detects X-rays transmitted through the human body by taking an image at a predetermined timing instructed by a console to obtain X-ray detection data. The console is connected to the medical image processing device 100. The console acquires a plurality of X-ray detection data from the gantry and generates volume data based on the X-ray detection data. The console transmits the generated volume data to the medical image processing apparatus 100. Further, the medical image processing device 100 may be included in the CT device 200.

また、CT装置200は、連続的に撮像することで3次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の3次元画像による動画の表示は、4D(4次元)表示(4D imaging)とも称される。 Further, the CT apparatus 200 can acquire a plurality of three-dimensional volume data by continuously capturing images and generate a moving image. The display of moving images by a plurality of three-dimensional images is also referred to as 4D (4D) display (4D imaging).

医用画像処理装置100内のポート110は、通信ポートや外部装置接続ポートを含み、CT画像としてのボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。 The port 110 in the medical image processing device 100 includes a communication port and an external device connection port, and acquires volume data as a CT image. The acquired volume data may be immediately sent to the processor 140 for various processing, or may be stored in the memory 150 and then sent to the processor 140 for various processing when necessary.

UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでもよい。UI120は、医用画像処理装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者(Paramedic Staff)を含んでもよい。UI120は、ボリュームデータにおける関心領域(ROI:Region of Interest)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、病変や組織(例えば、血管、臓器)の領域を含んでもよい。本実施形態では、管状組織である血管が、注目される関心領域に含まれ得る。 The UI 120 may include a touch panel, a pointing device, a keyboard, or a microphone. The UI 120 accepts an arbitrary input operation from the user of the medical image processing device 100. The user may include a doctor, a radiologist, or other Paramedic Staff. The UI 120 accepts operations such as designation of a region of interest (ROI: Region of Interest) in volume data and setting of luminance conditions. Areas of interest may include areas of lesions or tissues (eg, blood vessels, organs). In this embodiment, blood vessels, which are tubular tissues, may be included in the region of interest.

ディスプレイ130は、LCD(Liquid Crystal Display)を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像を含む。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、及びMPR(Muti Planar Reconstruction)画像を含んでもよい。 The display 130 may include an LCD (Liquid Crystal Display) and displays various information. Various information includes a three-dimensional image obtained from the volume data. The three-dimensional image may include a volume rendering image, a surface rendering image, and an MPR (Muti Planar Reconnection) image.

メモリ150は、各種ROM(Read Only Memory)やRAM(Random Access Memory)の一次記憶装置を含む。メモリ150は、HDD(Hard Disk Drive)やSSD(Solid State Drive)の二次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、ポート110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、を含んでもよい。 The memory 150 includes various ROMs (Read Only Memory) and RAMs (Random Access Memory) primary storage devices. The memory 150 may include a secondary storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive). The memory 150 stores various information and programs. The various information may include volume data acquired by the port 110, an image generated by the processor 140, and setting information set by the processor 140.

プロセッサ140は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)を含んでもよい。プロセッサ140は、メモリ150に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う。また、プロセッサ140は、医用画像処理装置100の各部を統括する。 The processor 140 may include a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit). The processor 140 performs various processes and controls by executing a medical image processing program stored in the memory 150. In addition, the processor 140 controls each part of the medical image processing device 100.

プロセッサ140は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、UI120がユーザからの指示を受け付け、指示の情報がプロセッサ140に送られる。プロセッサ140は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出(segment)してもよい。また、ユーザからの詳細な指示により、手動で関心領域を設定(set)しても良い。また、観察対象があらかじめ定められている場合、プロセッサ140は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。 The processor 140 may perform a segmentation process on the volume data. In this case, the UI 120 receives the instruction from the user, and the instruction information is sent to the processor 140. Based on the information of the instruction, the processor 140 may perform a segmentation process from the volume data by a known method to extract a region of interest (segmentation). Further, the region of interest may be set manually according to a detailed instruction from the user. Further, when the observation target is predetermined, the processor 140 may perform a segmentation process from the volume data without a user instruction to extract an area of interest including the observation target.

プロセッサ140は、ポート110により取得されたボリュームデータに基づいて、3次元画像を生成する。プロセッサ140は、ポート110により取得されたボリュームデータから、指定された領域に基づいて、3次元画像を生成してもよい。3次元画像は、ボリュームレンダリング画像である場合、レイサム(RaySum)画像、MIP(Maximum Intensity Projection)画像、又はレイキャスト(Raycast)画像を含んでもよい。 The processor 140 generates a three-dimensional image based on the volume data acquired by the port 110. The processor 140 may generate a three-dimensional image from the volume data acquired by the port 110 based on the designated area. When the three-dimensional image is a volume-rendered image, the three-dimensional image may include a RaySum image, a MIP (Maximum Industry Projection) image, or a Raycast image.

プロセッサ140は、血管において、本血管から枝血管が分岐している場合、枝血管の分枝口を三次元空間上の円でのマークmb(図3参照)で描画する。ここで、円の法線は分枝口の向きを表現する。 In the blood vessel, when the branch blood vessel branches from the main blood vessel, the processor 140 draws the branch opening of the branch blood vessel with a mark mb (see FIG. 3) as a circle in a three-dimensional space. Here, the normal of the circle expresses the direction of the branch mouth.

[動作等]
次に、医用画像処理装置100の動作について説明する。
[Operation, etc.]
Next, the operation of the medical image processing device 100 will be described.

図2は医用画像処理装置100の動作例を示すフローチャートである。予め、ポート110は、CT装置200からボリュームデータを取得し、メモリ150に記憶させる。また、図2の処理開始前に、プロセッサ140は、ボリュームデータに基づいて三次元画像を生成し、ディスプレイに表示させてもよい。 FIG. 2 is a flowchart showing an operation example of the medical image processing device 100. In advance, the port 110 acquires volume data from the CT device 200 and stores it in the memory 150. Further, before the start of the process of FIG. 2, the processor 140 may generate a three-dimensional image based on the volume data and display it on the display.

プロセッサ140は、メモリ150に記憶されたボリュームデータにおいて、UI120によってユーザから指示を受け、本血管と枝血管を有する血管(対象血管)の領域Aを、公知の方法で抽出する(S1)。 The processor 140 receives an instruction from the user by the UI 120 in the volume data stored in the memory 150, and extracts the region A of the blood vessel (target blood vessel) having the main blood vessel and the branch blood vessel by a known method (S1).

プロセッサ140は、血管の領域Aから分岐を含むパスを取得し、血管走行を表現する木Tを作成する(S2)。プロセッサ140は、木Tを、領域Aに対する細線化(thining)処理により導出してもよい。木Tは、本血管のパスTmt、枝血管のパスTbtを含んで構成される。 The processor 140 acquires a path including a branch from the region A of the blood vessel and creates a tree T expressing the blood vessel running (S2). The processor 140 may derive the tree T by thinning the area A. The tree T is composed of a main blood vessel path Tmt and a branch blood vessel path Tbt.

プロセッサ140は、領域Aに対し、Morphology Opening処理により、本血管の領域Bを取得する(S3)。Morphology Opening処理では、領域から細かい部分を削除するので、これによって本血管が取得される。 The processor 140 acquires the region B of this blood vessel by the Morphology Opening process for the region A (S3). In the Morphology Opening process, small parts are removed from the area, so that this blood vessel is acquired.

プロセッサ140は、領域Aから領域Bを差し引き、領域Cを得る(S4)。領域Cは、枝血管を表す領域となる。 The processor 140 subtracts the area B from the area A to obtain the area C (S4). Region C is a region representing a branch blood vessel.

プロセッサ140は、領域Cが領域Bと接する面Sの座標データを取得する(S5)。面Sは、枝血管の端面であり、本血管からの分枝口を表す。 The processor 140 acquires the coordinate data of the surface S in which the area C is in contact with the area B (S5). The surface S is the end surface of the branch blood vessel and represents the branch opening from the main blood vessel.

プロセッサ140は、面Sの座標データを基に、分枝口の位置、大きさ及び方向(向き)を決定する(S6)。ここでは、プロセッサ140は、面Sと枝血管のパスTbtとの交点を分枝口spの中心点Pとする。プロセッサ140は、例えば面Sの面積を円周率πで除した値の平方根を求め、分枝口spを円と想定した場合の径Rを得る。プロセッサ140は、中心点Pにおける枝血管のパスTbtの方向を分枝口spの方向Vとする。分枝口spの方向は、分枝口spの法線方向となる。プロセッサ140は、方向Vを、面Sの法線方向を求めることによって取得しても良い。プロセッサ140は、面Sの法線方向を、面S上の点群に対して主成分分析を行うことによって推定できる。 The processor 140 determines the position, size, and direction (orientation) of the branch opening based on the coordinate data of the surface S (S6). Here, the processor 140 uses the intersection of the surface S and the path Tbt of the branch blood vessel as the center point P of the branch opening sp. The processor 140 obtains, for example, the square root of the value obtained by dividing the area of the surface S by the pi, and obtains the diameter R when the branch port sp is assumed to be a circle. The processor 140 sets the direction of the branch blood vessel path Tbt at the center point P as the direction V of the branch opening sp. The direction of the branch mouth sp is the normal direction of the branch mouth sp. The processor 140 may obtain the direction V by obtaining the normal direction of the surface S. The processor 140 can estimate the normal direction of the surface S by performing principal component analysis on the point group on the surface S.

プロセッサ140は、血管走行の木Tを可視化し、及び分枝口spを表すマークmbを生成し、木Tとマークmbを3次元画像に重畳して表示する(S7)。ここで、分枝口spを表すマークmbは、分枝口spの方向Vを法線方向とする三次元空間上の円を描くことで描画される。従って、ディスプレイ130の画面に表示されるマークmbの円や楕円の形状は、三次元画像の投影方向にあわせて変化する。つまり、マークmbは、分枝口spの方向Vが視線方向に近い程、扁平率の小さな楕円形(真円に近くなる)で描画され、視線方向に対して傾く程、扁平率の大きな楕円形(線分に近くなる)で描画される。 The processor 140 visualizes the tree T running through the blood vessels, generates a mark mb representing the branch mouth sp, and superimposes and displays the tree T and the mark mb on the three-dimensional image (S7). Here, the mark mb representing the branch opening sp is drawn by drawing a circle in a three-dimensional space whose normal direction is the direction V of the branch opening sp. Therefore, the shape of the circle or ellipse of the mark mb displayed on the screen of the display 130 changes according to the projection direction of the three-dimensional image. That is, the mark mb is drawn as an ellipse with a small flatness (closer to a perfect circle) as the direction V of the branch opening sp is closer to the line-of-sight direction, and an ellipse with a larger flatness as it is tilted with respect to the line-of-sight direction. It is drawn in a shape (close to a line segment).

尚、3次元画像において分枝口spを表すマークmbの向き(マークmbを表す楕円の法線方向)は、枝血管のパスTbtの方向でなく、分枝口spの面Sの法線方向であってもよい(図3参照)。これにより、医用画像処理装置100は、マークmbは、実際の分枝口spの形状に近似するように描画できる。また、マークmbの向きが分枝口spの面Sの法線方向であっても(つまり、マークmbを傾けなくても)、ユーザは、分枝口spの向きを、マークmbの扁平率と枝血管のパスTbtの方向とから認識できる。あるいは、枝血管のパスTbtの方向及び分枝口spの面Sの法線方向の加重平均方向を、マークmbの向きとしてもよい。 In the three-dimensional image, the direction of the mark mb representing the branch opening sp (the normal direction of the ellipse representing the mark mb) is not the direction of the path Tbt of the branch blood vessel, but the normal direction of the surface S of the branch opening sp. It may be (see FIG. 3). As a result, the medical image processing apparatus 100 can draw the mark mb so as to approximate the shape of the actual branch opening sp. Further, even if the direction of the mark mb is the normal direction of the surface S of the branch opening sp (that is, even if the mark mb is not tilted), the user can set the direction of the branch opening sp to the flatness of the mark mb. Can be recognized from the direction of the path Tbt of the branch blood vessel. Alternatively, the weighted average direction of the path Tbt of the branch blood vessel and the normal direction of the surface S of the branch opening sp may be the direction of the mark mb.

また、プロセッサ140は、分枝口spの方向Vが投影面から見て、本血管moに対して手前(表)側にあるか奥(裏)側にあるかによって、マークmbの表示態様を変更してもよい。これにより、ユーザは、分枝口spが手前側にあるか、奥側にあるかを迅速に把握できる。この場合、プロセッサ140は、マークmbの表示態様として、マークmb(例えば楕円形)の色、線種、幅を変更してもよい。また、プロセッサ140は、楕円の面の塗り潰し色、模様、アルファ値(不透明度)を変更してもよい。 Further, the processor 140 displays the mark mb depending on whether the direction V of the branch opening sp is on the front (front) side or the back (back) side of the main blood vessel mo when viewed from the projection plane. You may change it. As a result, the user can quickly grasp whether the branch opening sp is on the front side or the back side. In this case, the processor 140 may change the color, line type, and width of the mark mb (for example, an ellipse) as the display mode of the mark mb. In addition, the processor 140 may change the fill color, pattern, and alpha value (opacity) of the elliptical surface.

尚、プロセッサ140は、マークmbの生成後、表示された三次元画像にマークmbの画像を重畳表示してもよい。また、プロセッサ140は、マークmbの生成後、ボリュームデータに基づいて再レンダリングして三次元画像を生成し、三次元画像とマークmbとをディスプレイ130に表示させてもよい。 After the mark mb is generated, the processor 140 may superimpose the image of the mark mb on the displayed three-dimensional image. Further, the processor 140 may generate a three-dimensional image by re-rendering based on the volume data after the mark mb is generated, and display the three-dimensional image and the mark mb on the display 130.

図3は対象血管LBの分岐を示す模式的である。図3では、大動脈等の本血管moから腹部血管等の枝血管boに分岐する血管が抽象的に示されている。また、簡単化するために、本血管moを細長い矩形で示す。同様に、本血管moから斜めに分岐している枝血管boを細長い矩形で示す。また、本血管moの血管走行を表すパスTmtを、本血管moの中心線を示す点線で示す。同様に、枝血管boの血管走行を表すパスTbtを、枝血管boの中心線を示す点線で示す。 FIG. 3 is a schematic showing the branching of the target blood vessel LB. In FIG. 3, a blood vessel that branches from a main blood vessel mo such as an aorta to a branch blood vessel bo such as an abdominal blood vessel is abstractly shown. In addition, for the sake of simplicity, this blood vessel mo is indicated by an elongated rectangle. Similarly, the branch blood vessel bo that branches diagonally from the main blood vessel mo is indicated by an elongated rectangle. Further, the path Tmt indicating the blood vessel running of the main blood vessel mo is indicated by a dotted line indicating the center line of the main blood vessel mo. Similarly, the path Tbt representing the blood vessel running of the branch blood vessel bo is indicated by a dotted line indicating the center line of the branch blood vessel bo.

ここで、分枝口spの可視化について考察する。本血管moのパスTmtと枝血管boのパスTbtとの交点を点P1とすると、点P1は、枝血管boのパスTbtを本血管mo側に延長し、本血管moのパスTmtと交わることで得られる点である。点P1は、カテーテルを挿入する際、挿入先となる分枝口spを表しておらず、臨床的に必要な分枝口の位置ではない。 Here, the visualization of the branch mouth sp will be considered. Assuming that the intersection of the path Tmt of the main blood vessel mo and the path Tbt of the branch blood vessel bo is the point P1, the point P1 extends the path Tbt of the branch blood vessel bo toward the main blood vessel mo and intersects the path Tmt of the main blood vessel mo. It is a point obtained by. Point P1 does not represent the branch opening sp, which is the insertion destination when the catheter is inserted, and is not the clinically necessary branch opening position.

また、特許文献1で示した領域拡張法を適用すると、本血管moから枝血管boが分岐する付け根の点P2が表示される。点P2は、分枝口spの輪郭線上の一点に過ぎず、臨床的に必要な分枝口の位置ではない。 Further, when the region expansion method shown in Patent Document 1 is applied, the point P2 at the base where the branch blood vessel bo branches from the main blood vessel mo is displayed. The point P2 is only one point on the contour line of the branch opening sp, and is not a clinically necessary branch opening position.

本実施形態では、ディスプレイ130は、プロセッサ140の制御により、前述したように、本血管moから分岐する枝血管boの分枝口spをマークmbで表示する。マークmbは、分枝口spを模式的に表す楕円形等で描画される。表示されるマークmbの位置は分枝口の位置を表しており、マークmbの大きさ(例えば長径)は分枝口の大きさを表している。また、マークmbの扁平率や傾きは、枝血管boのパスTbtの方向、つまり分枝口の向きを表している。このように、医用画像処理装置100は、マークmbを表示することで、分枝口spの位置、大きさ、及び向きを可視化できる。 In the present embodiment, the display 130 displays the branch mouth sp of the branch blood vessel bo branching from the main blood vessel mo with the mark mb as described above under the control of the processor 140. The mark mb is drawn in an elliptical shape or the like that schematically represents the branch opening sp. The position of the displayed mark mb represents the position of the branch opening, and the size of the mark mb (for example, the major axis) represents the size of the branch opening. Further, the flatness and inclination of the mark mb represent the direction of the path Tbt of the branch blood vessel bo, that is, the direction of the branch opening. In this way, the medical image processing apparatus 100 can visualize the position, size, and orientation of the branch opening sp by displaying the mark mb.

図4は大動脈から分岐する腹部血管を示すレイキャスト画像GZ1、及びレイキャスト画像GZ1に重畳表示された木T及びマークmbを示す模式図である。レイキャスト画像GZ1では、大動脈である本血管mo、及び本血管moから分岐する3本の枝血管bo1,bo2,bo3が表示されている。また、レイキャスト画像GZ1には、本血管moの血管走行を表すパスTmt、及び枝血管bo1,bo2,bo3の血管走行をそれぞれ表すパスTbt1,Tbt2,Tbt3が表示されている。 FIG. 4 is a schematic view showing a raycast image GZ1 showing abdominal blood vessels branching from the aorta, and a tree T and a mark mb superimposed on the raycast image GZ1. In the raycast image GZ1, the main blood vessel mo, which is the aorta, and the three branch blood vessels bo1, bo2, and bo3 branching from the main blood vessel mo are displayed. Further, in the ray cast image GZ1, a path Tmt representing the blood vessel running of the main blood vessel mo and a path Tbt1, Tbt2, Tbt3 representing the blood vessel running of the branch blood vessels bo1, bo2, bo3 are displayed.

図4では、本血管moのパスTmtは、十字形のラインで描かれ、枝血管bo1,bo2,bo3の各パスTbt1,Tbt2,Tbt3は、パスTmtより細いラインで描かれている。なお、各木Tは、この表示態様に限定されることなく、例えばいずれのラインもストレースラインで異なる色で描かれてもよい。また、本血管moから枝血管bo1,bo2,bo3に分岐する分枝口sp1,sp2,sp3には、それぞれを模式的に表すマークmb1,mb2,mb3が表示されている。 In FIG. 4, the path Tmt of the main blood vessel mo is drawn by a cross-shaped line, and each path Tbt1, Tbt2, Tbt3 of the branch blood vessels bo1, bo2, bo3 is drawn by a line thinner than the path Tmt. In addition, each tree T is not limited to this display mode, and for example, any line may be drawn in a different color with a striking line. Further, marks mb1, mb2, mb3 schematically representing each of the branch openings sp1, sp2, sp3 branching from the main blood vessel mo to the branch blood vessels bo1, bo2, bo3 are displayed.

マークmb1,mb2,mb3は、それぞれ赤色の輪郭線で描かれてもよい。この場合、ユーザは、全ての枝血管bo1,bo2,bo3は、画面から手前側(又は奥側)に分岐する血管であることを認識できてもよい。仮に、画面から奥側(又は手前側)に向かって分岐する血管がある場合、そのマークの輪郭線の色は、赤以外の色(例えば黄色)で描かれてもよい。 The marks mb1, mb2, and mb3 may be drawn with red outlines, respectively. In this case, the user may be able to recognize that all the branch blood vessels bo1, bo2, and bo3 are blood vessels that branch from the screen to the front side (or the back side). If there is a blood vessel that branches from the screen toward the back (or front), the outline color of the mark may be drawn in a color other than red (for example, yellow).

また、図4では、三次元空間上の円を投影面に投影した結果、マークmb3が最も正円に近い楕円で描画され、マークmb1,mb2が扁平率の大きな楕円で描画される。また、マークmb1,mb2,mb3の大きさは分枝口spの大きさに相当する。マークmb1の楕円の長径が最も長いので、マークmb1に係る分枝口sp1が最も大きい。また、マークmb2,mb3の楕円の長径は略同一の長さであるので、ユーザは、これらのマークに係る分枝口sp2,sp3は略同一の大きさであると認識できる。 Further, in FIG. 4, as a result of projecting a circle in the three-dimensional space on the projection plane, the mark mb3 is drawn as an ellipse closest to a perfect circle, and the marks mb1 and mb2 are drawn as an ellipse having a large flatness. Further, the sizes of the marks mb1, mb2 and mb3 correspond to the sizes of the branch mouth sp. Since the major axis of the ellipse of the mark mb1 is the longest, the branch opening sp1 related to the mark mb1 is the largest. Further, since the major axis of the ellipse of the marks mb2 and mb3 has substantially the same length, the user can recognize that the branch openings sp2 and sp3 related to these marks have substantially the same size.

このように、分枝口spを模式的に表すマークmbの位置、大きさ、色、傾き及び扁平率の少なくとも1つによって、ユーザは、分枝口sp(分枝口spの位置、大きさ、及び向き)を視覚的に確認できる。従って、ユーザが枝血管内にカテーテルを挿入する際、円滑に本血管から枝血管へカテーテルを進めることができる。 Thus, by at least one of the position, size, color, inclination and flatness of the mark mb that schematically represents the branch mouth sp, the user can use the branch mouth sp (position, size of the branch mouth sp). , And orientation) can be visually confirmed. Therefore, when the user inserts the catheter into the branch blood vessel, the catheter can be smoothly advanced from the main blood vessel to the branch blood vessel.

図5は、図4のレイキャスト画像GZ1と同一の投影角度のレイサム画像GZ2、及びレイサム画像GZ2に重畳表示された木T及びマークmbを示す模式図である。 FIG. 5 is a schematic view showing a Latham image GZ2 having the same projection angle as the Raycast image GZ1 of FIG. 4 and a tree T and a mark mb superimposed on the Latham image GZ2.

レイサム画像GZ2においても、図4のレイキャスト画像GZ1と同様、本血管moのパスTmt、枝血管bo1,bo2,bo3のパスTbt1,bt2,bt3、及びマークmb1,mb2,mb3が描画されている。これにより、ユーザは、術中に参照するアンギオ画像に近い画像であるレイサム画像GZ2を用いても、本血管moから分岐する枝血管bo1,bo2,bo3の分枝口spを容易に視認できる。ユーザは、レイキャスト画像GZ1、レイサム画像GZ2の双方を参照しながら術前計画を立て、術中もレイキャスト画像GZ1、レイサム画像GZ2、及びアンギオ画像を観察しながらカテーテルを操作することが望ましい。レイサム画像の代わりにMIP画像を用いても良い。 In the Latham image GZ2, as in the Raycast image GZ1 of FIG. 4, the path Tmt of the main blood vessel mo, the paths Tbt1, bt2, bt3 of the branch blood vessels bo1, bo2, bo3, and the marks mb1, mb2, mb3 are drawn. .. Thereby, the user can easily visually recognize the branch opening sp of the branch blood vessels bo1, bo2, and bo3 branching from the main blood vessel mo even by using the Latham image GZ2 which is an image close to the angio image referred to during the operation. It is desirable that the user makes a preoperative plan with reference to both the raycast image GZ1 and the latham image GZ2, and operate the catheter while observing the raycast image GZ1, the latham image GZ2, and the angio image during the operation. A MIP image may be used instead of the Latham image.

図6は、図4のレイキャスト画像GZ1と同様のレイキャスト画像GZ3、及びレイキャスト画像GZ3に重畳表示されたマークmbを示す模式図である。 FIG. 6 is a schematic view showing a raycast image GZ3 similar to the raycast image GZ1 of FIG. 4 and a mark mb superimposed and displayed on the raycast image GZ3.

レイキャスト画像GZ3では、血管走行を表す木Tが省略され、マークmb1,mb2,mb3が重畳表示されている。尚、本血管moの血管走行を表すパスTm、及び枝血管bo1,bo2,bo3の血管走行をそれぞれ表すパスTbt1,bt2,bt3の描画の有無は、ユーザがUI120を操作することで、プロセッサ140が設定可能としてもよい。また、UI120への操作に基づいて、プロセッサ140は、本血管moのパスTmと、枝血管bo1,bo2,bo3のパスTbt1,bt2,bt3と、のそれぞれについて、個別に描画の有無を設定してもよい。 In the ray cast image GZ3, the tree T representing the blood vessel running is omitted, and the marks mb1, mb2, and mb3 are superimposed and displayed. Whether or not the path Tm representing the blood vessel running of the main blood vessel mo and the paths Tbt1, bt2, bt3 representing the blood vessel running of the branch blood vessels bo1, bo2, and bo3 are drawn or not can be determined by the user operating the UI 120. May be configurable. Further, based on the operation to the UI 120, the processor 140 individually sets the presence / absence of drawing for each of the path Tm of the main blood vessel mo and the paths Tbt1, bt2, bt3 of the branch blood vessels bo1, bo2, bo3. You may.

尚、ユーザの視線方向に(つまり、ディスプレイ130の画面に対して垂直方向に)木Tが向いている(走行する)場合、枝血管の分枝口はほぼ円に近くなるので、画面に表示される楕円形のマークmbの扁平率は、正円を表す値0に近い値となる。また、ユーザの視線方向に対して垂直方向に(つまり、ディスプレイ130の画面に対して水平方向に)木Tが向いている場合、枝血管の分枝口は線分に近くなるので、画面に表示される楕円形のマークmbの扁平率は、線分を表す値1に近い値となる。 When the tree T is facing (running) in the direction of the user's line of sight (that is, in the direction perpendicular to the screen of the display 130), the branch opening of the branch blood vessel is almost a circle, so that it is displayed on the screen. The flatness of the elliptical mark mb to be formed is close to the value 0 representing a perfect circle. Further, when the tree T is oriented in the direction perpendicular to the user's line of sight (that is, in the horizontal direction with respect to the screen of the display 130), the branch opening of the branch blood vessel is close to the line segment, so that the screen is displayed. The flatness of the displayed elliptical mark mb is close to the value 1 representing the line segment.

[効果等]
医用画像処理装置100は、実際の医療現場では、例えば以下のように用いられる。
[Effects, etc.]
The medical image processing apparatus 100 is used in an actual medical field, for example, as follows.

交通事故が発生した等の緊急時、術前検討(PPP:Preprocedural Planning)として、医用画像処理装置100は、外傷全身CT(Trauma Panscan)を実施する。 In the event of an emergency such as a traffic accident, the medical image processing apparatus 100 carries out a traumatic whole body CT (Trauma Panscan) as a preoperative study (PPP: Preprocedural Planning).

外傷全身CTでは、造影剤を注入しながらCT装置200によりCT画像を撮像する。ユーザは、ディスプレイ130に映し出されるCT画像に基づく3次元画像を見ながら、腹部の出血を確認する。そして、ユーザは、栄養血管を識別し、止血の計画を立てる。この場合、ユーザは、ディスプレイ130に表示される3次元画像に重畳表示されるマークmbによって、本血管と枝血管とが分岐する分枝口spを容易に認識できる。これにより、腹部血管へのカテーテルの挿入が容易になり、ユーザは、分岐している腹部血管にカテーテルを滑らかに進めることができる。この場合、脈瘤や石灰化等で凹凸が生じている本血管から分岐する枝血管が存在しても、3次元画像に重畳表示されるマークmbによって、ユーザは適切に分枝口spを認識できる。 In traumatic whole-body CT, a CT image is taken by the CT device 200 while injecting a contrast medium. The user confirms abdominal bleeding while viewing a three-dimensional image based on the CT image displayed on the display 130. The user then identifies the feeding vessels and plans for hemostasis. In this case, the user can easily recognize the branch opening sp where the main blood vessel and the branch blood vessel branch by the mark mb superimposed on the three-dimensional image displayed on the display 130. This facilitates insertion of the catheter into the abdominal blood vessel and allows the user to smoothly advance the catheter into the bifurcated abdominal blood vessel. In this case, even if there is a branch blood vessel branching from this blood vessel that has irregularities due to aneurysm or calcification, the user can appropriately recognize the branch mouth sp by the mark mb superimposed on the three-dimensional image. it can.

UI120は、ディスプレイ130に表示される3次元画像に、分枝口sp(図3参照)を模式的に表すマークmbを重畳表示させるか否かの操作(マークの表示の有無)を受け付けてもよい。これにより、ユーザは、マークmbを表示させるか否かを選択できる。また、UI120は、血管走行を表す木Tを表示するか否かの操作を受け付けてもよい。また、UI120は、本血管から枝血管に分岐する箇所において、本血管のパスTmtと、枝血管のパスTbtとを個別に表示するか否かの操作を受け付けてもよい。木Tは、例えば、血管の中心線等の基準線を示す。尚、枝血管よりも本血管は細い。本血管は大動脈であってもよく、枝血管は大動脈から分岐された動脈(例えば腹部血管)であってもよい。 Even if the UI 120 accepts an operation (whether or not the mark is displayed) on whether or not to superimpose the mark mb that schematically represents the branch opening sp (see FIG. 3) on the three-dimensional image displayed on the display 130. Good. As a result, the user can select whether or not to display the mark mb. Further, the UI 120 may accept an operation as to whether or not to display the tree T representing the blood vessel running. Further, the UI 120 may accept an operation of whether or not to individually display the path Tmt of the main blood vessel and the path Tbt of the branch blood vessel at the portion where the main blood vessel branches to the branch blood vessel. The tree T indicates, for example, a reference line such as the center line of a blood vessel. This blood vessel is thinner than the branch blood vessel. The main blood vessel may be an aorta, and the branch blood vessel may be an artery branched from the aorta (for example, an abdominal blood vessel).

そして、ユーザは、内出血している臓器に向かう動脈に対して、カテーテルの先端から速やかに止血剤を注入し、動脈を塞栓して止血できる。その後、救命が確認されると、ユーザは、縫合などして出血部位を修復してから血流を回復させる。 Then, the user can promptly inject a hemostatic agent from the tip of the catheter into the artery toward the internal bleeding organ to embolize the artery to stop bleeding. After that, when lifesaving is confirmed, the user repairs the bleeding site by suturing and then restores blood flow.

医用画像処理装置100では、ポート110は、本血管mo(本管の一例)と本血管moから分岐される枝血管bo(枝管の一例)とを有する血管(管状組織の一例)を含むボリュームデータを取得する。プロセッサ140は、ポート110から取得したボリュームデータに基づき、本血管moから枝血管boが分岐する分枝口spの位置、大きさ、及び向きを導出する。ディスプレイ130は、ボリュームデータに基づく血管の3次元画像に、分枝口spの位置、大きさ、及び向きを示す3次元空間上のマークmbを重畳表示する。 In the medical image processing apparatus 100, the port 110 includes a blood vessel (an example of a tubular tissue) having a main blood vessel mo (an example of a main tube) and a branch blood vessel bo (an example of a branch tube) branched from the main blood vessel mo (an example of a tubular tissue). Get the data. Based on the volume data acquired from the port 110, the processor 140 derives the position, size, and orientation of the branch opening sp at which the branch blood vessel bo branches from the main blood vessel mo. The display 130 superimposes a mark mb on the three-dimensional space indicating the position, size, and orientation of the branch opening sp on the three-dimensional image of the blood vessel based on the volume data.

これにより、ユーザは、本血管moから枝血管boに通じる分枝口spの位置と大きさと向きとを、マークmbをガイドとして容易に視認できる。つまり、医用画像処理装置100は、管状組織である血管における臨床的に有用な分枝口spの性質(位置、大きさ、向き)を可視化できる。特に術中参照するアンギオ画像とそのアンギオ画像に近い表現であるレイサム画像とを対比することによって、ユーザは、より正確で迅速な術前計画の立案と、術中のガイドが達成できる。従って、ユーザは、枝血管boの分枝口spにカテーテルを容易に挿入できる。 As a result, the user can easily visually recognize the position, size, and orientation of the branch opening sp leading from the main blood vessel mo to the branch blood vessel bo, using the mark mb as a guide. That is, the medical image processing apparatus 100 can visualize the properties (position, size, orientation) of the clinically useful branch mouth sp in the blood vessel which is a tubular tissue. In particular, by comparing the angio image referred to intraoperatively with the Latham image, which is a representation close to the angio image, the user can achieve more accurate and quick preoperative planning and intraoperative guidance. Therefore, the user can easily insert the catheter into the branch opening sp of the branch blood vessel bo.

また、分枝口spの位置、大きさ、及び向きを上記のように算出することで、3次元画像における分枝口の表現の精度を向上できる。また、ユーザは、分枝口spの向きを確認することで、枝血管boへのカテーテルの挿入角度を決定できる。 Further, by calculating the position, size, and orientation of the branch opening sp as described above, the accuracy of the expression of the branch opening in the three-dimensional image can be improved. In addition, the user can determine the insertion angle of the catheter into the branch blood vessel bo by confirming the orientation of the branch opening sp.

また、医用画像処理装置100は、特許文献1に示すような領域拡張法による分岐の検出とは異なる方法で分岐を検出するので、血管の凹凸を分岐と誤認することを抑制できる。また、分枝口spの輪郭上の一点が可視化されるのではなく、マークmbによって分枝口sp全体が可視化される。よって、ユーザは、血管の分岐箇所の輪郭の一点や本血管monの中心線と枝血管boの中心線との交点とは異なる分枝口spの位置を、容易に視認できる。また、ユーザは、血管の分岐箇所の輪郭の一点や本血管monの中心線と枝血管boの中心線との交点では分枝口spの大きさ及び向きを特定できないが、マークmbを確認することで、分枝口spの大きさ及び向きを認識できる。 Further, since the medical image processing apparatus 100 detects the branch by a method different from the detection of the branch by the region expansion method as shown in Patent Document 1, it is possible to suppress misidentification of the unevenness of the blood vessel as the branch. Further, instead of visualizing one point on the contour of the branch opening sp, the entire branch opening sp is visualized by the mark mb. Therefore, the user can easily visually recognize the position of the branch opening sp, which is different from one point of the contour of the branch point of the blood vessel or the intersection of the center line of the main blood vessel mon and the center line of the branch blood vessel bo. Further, the user cannot specify the size and direction of the branch opening sp at one point of the contour of the branch point of the blood vessel or the intersection of the center line of the main blood vessel mon and the center line of the branch blood vessel bo, but confirms the mark mb. Therefore, the size and orientation of the branch opening sp can be recognized.

また、従来は、血管径を利用して、分枝口が本血管のパスTmtから一定距離にあると、分枝口を推測することもあったが、血管に瘤が存在すると、血管の中心線が瘤の中心を通過しないことが多いため、分岐口の推定精度が劣化する。よって、単に血管走行をもとに血管の径を仮定してカテーテルの接近を行うためには、図3の点P1は、不十分な情報であった。これに対し、医用画像処理装置100は、上述の分岐口の導出により、血管内に瘤のある部分と瘤の無い部分とが混在する場合でも、マークmbによって高精度に分枝口spを可視化できる。 Also, in the past, using the blood vessel diameter, it was sometimes estimated that the branch opening was at a certain distance from the path Tmt of this blood vessel, but if there is a lump in the blood vessel, the center of the blood vessel Since the line often does not pass through the center of the aneurysm, the estimation accuracy of the branch port deteriorates. Therefore, the point P1 in FIG. 3 was insufficient information in order to approach the catheter by assuming the diameter of the blood vessel simply based on the running of the blood vessel. On the other hand, the medical image processing apparatus 100 visualizes the branch opening sp with high accuracy by the mark mb even when the portion having the aneurysm and the portion without the aneurysm are mixed in the blood vessel by deriving the branch opening described above. it can.

また、マークmbは、分枝口spの形状(面S、もしくは面Sの輪郭)を示してもよい。これにより、ユーザは、本血管moから枝血管boに通じる分枝口spの様態を容易に視認できる。 Further, the mark mb may indicate the shape of the branch opening sp (the surface S or the contour of the surface S). As a result, the user can easily visually recognize the mode of the branch mouth sp leading from the main blood vessel mo to the branch blood vessel bo.

また、マークmbは、多角形状又は円形状で示されてもよい。これにより、マークmbを単純化できる。これにより、ユーザは、分枝口spへのカテーテル挿入に必要な、分枝口spの位置、大きさ、及び向きを把握することに専心することができる。 Further, the mark mb may be indicated by a polygonal shape or a circular shape. This makes it possible to simplify the mark mb. As a result, the user can concentrate on grasping the position, size, and orientation of the branch opening sp, which is necessary for inserting the catheter into the branch opening sp.

また、プロセッサ140は、血管の3次元画像から血管走行を示す木Tを導出してもよい。木Tは、管状組織の基準線(例えば中心線)であってもよい。ディスプレイ130は、木Tにマークmbを重畳表示してもよい。これにより、ユーザは、本血管moから枝血管boに通じる血管と、その分枝口spと、を容易に視認可能となり、カテーテルを枝血管boに対してより滑らかに挿入できる。 Further, the processor 140 may derive a tree T showing blood vessel running from a three-dimensional image of blood vessels. The tree T may be a reference line (eg, a center line) of the tubular tissue. The display 130 may superimpose the mark mb on the tree T. As a result, the user can easily see the blood vessel leading from the main blood vessel mo to the branch blood vessel bo and the branch opening sp thereof, and the catheter can be inserted more smoothly into the branch blood vessel bo.

(他の実施形態)
なお、本開示は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
(Other embodiments)
The present disclosure is not limited to the configuration of the above embodiment, and any configuration can achieve the functions shown in the claims or the functions of the configuration of the present embodiment. Is also applicable.

第1の実施形態では、プロセッサ140が、分枝口spの形状を表すマークmbを単純な図形である三次元空間上の円で描画することを例示したが、マークmbを他の形状として分枝口の形状を表してもよい。プロセッサ140は、4角形や5角形等の多角形で、マークmbを描画してもよい。また、プロセッサ140は、マークmbを単純な図形で描画する代わりに、ボリュームデータに基づき、枝血管が本血管に接する端面の輪郭線の座標データを取得し、より正確な分枝口の形状をマークmbとして描画してもよい。この場合、マークmbの形状は、分枝口の輪郭の形状が考えられる。分岐口の態様が一目で把握出来る形状が望ましい。 In the first embodiment, the processor 140 illustrates that the mark mb representing the shape of the branch opening sp is drawn by a circle in a three-dimensional space which is a simple figure, but the mark mb is divided into other shapes. The shape of the branch mouth may be represented. The processor 140 may draw the mark mb with a polygon such as a quadrangle or a pentagon. Further, instead of drawing the mark mb as a simple figure, the processor 140 acquires the coordinate data of the contour line of the end face where the branch blood vessel contacts the main blood vessel based on the volume data, and obtains a more accurate branch mouth shape. It may be drawn as a mark mb. In this case, the shape of the mark mb may be the shape of the contour of the branch opening. A shape that allows the mode of the branch port to be grasped at a glance is desirable.

なお、分岐口の大きさの違いを直感させるために、プロセッサ140は、拡大したマークmbを重畳してもよい。また、プロセッサ140は、所定のサイズよりも小さい分枝口を峻別し、分岐の方向を示す矢印でマークしてもよい。この場合、分枝口spの位置、大きさについては分枝口spが所定のサイズよりも小さいということ、及び向きを表現できる。いずれの形態であったとしてもマークmbは3次元画像に重畳して分枝口spの位置、大きさ、及び向きを直感できる形状であれば良い。これにより、ユーザは、カテーテルの挿入の加減が変わる小さな分枝口について、その加減の変化が把握しやすくなり、また、小さな三次元空間上の円ではわかりにくい分枝口の向きも把握しやすくなる。 The processor 140 may superimpose the enlarged mark mb in order to make the difference in the size of the branch port intuitive. Further, the processor 140 may distinguish branch openings smaller than a predetermined size and mark them with arrows indicating the branching direction. In this case, regarding the position and size of the branch opening sp, it can be expressed that the branch opening sp is smaller than a predetermined size and the direction. Regardless of the form, the mark mb may have a shape that allows the position, size, and orientation of the branch opening sp to be intuitively superimposed on the three-dimensional image. As a result, the user can easily grasp the change in the small branch opening where the insertion of the catheter changes, and also the direction of the branch opening which is difficult to understand in a circle on a small three-dimensional space. Become.

また、プロセッサ140は、矢印により、マークmbを描画してもよい。図7は、他の実施形態におけるマークmbkの表示例を示す模式図である。マークmbkは、円錐状の前部mbk1と、円柱状の後部mbk2と、を組み合わせた形状を有する。つまり、マークbmkは、立体的な矢印で描画されてもよい。立体的な矢印の太さ、つまり前部mbk1の背面に当たる楕円の大きさが、分枝口spの大きさを表してもよい。また、この楕円の扁平率及び前部mbk1の先端の向きの少なくとも1つによって、分枝口spの向きが表されてもよい。このように、医用画像処理装置100は、矢印でマークmbkを描画することによっても、ユーザによる分枝口spの視認を容易化できる。 Further, the processor 140 may draw the mark mb by the arrow. FIG. 7 is a schematic view showing a display example of the mark mbk in another embodiment. The mark mbk has a shape in which a conical front mbk1 and a columnar rear mbk2 are combined. That is, the mark bmk may be drawn by a three-dimensional arrow. The thickness of the three-dimensional arrow, that is, the size of the ellipse corresponding to the back surface of the front portion mbk1, may represent the size of the branch opening sp. Further, the orientation of the branch opening sp may be represented by at least one of the flatness of the ellipse and the orientation of the tip of the front mbk1. As described above, the medical image processing apparatus 100 can also facilitate the user's visibility of the branch opening sp by drawing the mark mbk with an arrow.

第1の実施形態では、プロセッサ140が、Morphology Opening処理によって、領域Aに対し、分枝口spを取得することを例示したが、木Tと木T上のパスの短軸画像を分析することによって、分枝口spを取得しても良い。この場合、プロセッサ140は、枝血管のパスbt上の短軸画像を根本側から順次生成する。短軸画像に含まれる血管の領域Aの面積が急低下した位置が、分枝口spである。 In the first embodiment, the processor 140 acquires the branch mouth sp for the region A by the Morphology Opening process, but analyzes the short-axis images of the tree T and the path on the tree T. You may obtain the branch mouth sp. In this case, the processor 140 sequentially generates short-axis images on the path bt of the branch blood vessel from the root side. The position where the area of the blood vessel region A included in the short-axis image suddenly drops is the branch mouth sp.

第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時に医用画像処理装置100のポート110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。 In the first embodiment, it is exemplified that the volume data as the captured CT image is transmitted from the CT apparatus 200 to the medical image processing apparatus 100. Instead, the volume data may be transmitted to a server or the like on the network and stored in the server or the like so that the volume data is temporarily accumulated. In this case, the port 110 of the medical image processing device 100 may acquire the volume data from the server or the like via a wired line or a wireless line when necessary, or acquire the volume data via an arbitrary storage medium (not shown). You may.

第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へポート110を経由して送信されることを例示した。これは、実質的にCT装置200と医用画像処理装置100とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置100がCT装置200のコンソールとして扱われている場合も含む。 In the first embodiment, it is exemplified that the volume data as the captured CT image is transmitted from the CT device 200 to the medical image processing device 100 via the port 110. This includes the case where the CT apparatus 200 and the medical image processing apparatus 100 are substantially combined into one product. It also includes the case where the medical image processing device 100 is treated as the console of the CT device 200.

第1の実施形態では、CT装置200により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。 In the first embodiment, it is illustrated that the CT device 200 captures an image and generates volume data including information inside the living body, but another device may capture an image and generate volume data. .. Other devices include MRI (Magnetic Resonance Imaging) devices, PET (Positron Emission Tomography) devices, angiography devices (Angiography devices), or other modality devices. Moreover, the PET apparatus may be used in combination with other modality apparatus.

第1の実施形態では、被検体として人体を例示したが、動物の体でもよい。 In the first embodiment, the human body is exemplified as the subject, but it may be an animal body.

第1の実施形態では、大動脈のような太い本血管moから各臓器へ向かう枝血管boが分岐することを例示した。この代わりに、各臓器へ向かう血管のうち、比較的太い血管を本血管(本枝)とし、この本血管から分岐された比較的細い血管を枝血管(分枝)としてもよい。この場合でも、ユーザは、大動脈された分岐された動脈から、更に分岐される細い動脈へのカテーテルの進行方向を容易に把握できるようになる。また、脳動脈瘤では、血管から瘤が生じている場合、血管を本管、瘤を枝管と見なしてもよい。心耳付近では、大動脈を本管、心耳を枝管と見なしてもよい。解離における動脈と偽腔では、動脈を本管、偽腔を枝管と見なしてもよい。管状組織が本管と枝管とに分岐している構造であるからである。 In the first embodiment, it is illustrated that a branch blood vessel bo toward each organ branches from a thick main blood vessel mo such as an aorta. Instead, among the blood vessels going to each organ, a relatively thick blood vessel may be a main blood vessel (main branch), and a relatively thin blood vessel branched from this main blood vessel may be a branch blood vessel (branch). Even in this case, the user can easily grasp the direction of travel of the catheter from the branched aortic artery to the further branched small artery. Further, in a cerebral aneurysm, when the aneurysm is generated from a blood vessel, the blood vessel may be regarded as a main tube and the aneurysm may be regarded as a branch tube. In the vicinity of the atrial appendage, the aorta may be regarded as the main canal and the atrial appendage may be regarded as the branch canal. In the arteries and false lumens in dissection, the arteries may be considered as mains and the false lumens as branch ducts. This is because the tubular tissue has a structure in which the main pipe and the branch pipe are branched.

また、血管のうち、所定閾値以上の太さの血管を本血管とし、所定閾値未満の太さの血管を枝血管としてもよい。また、血管のうち、血管の走行方向の変化率が所定閾値の血管(つまりほぼ屈曲していない血管)を本血管とし、血管の走行方向の変化率が所定閾値以上の血管(つまり大きく屈曲している血管)を枝血管としてもよい。所定閾値は、UI120を介して入力され、プロセッサ140により設定されてもよい。所定閾値は、可変でもよい。所定閾値を可変にすることで、対象血管の太さや屈曲の程度を変更できる。 Further, among the blood vessels, a blood vessel having a thickness equal to or more than a predetermined threshold value may be used as a main blood vessel, and a blood vessel having a thickness less than a predetermined threshold value may be used as a branch blood vessel. Further, among the blood vessels, a blood vessel having a predetermined threshold value of change in the traveling direction of the blood vessel (that is, a blood vessel that is almost not bent) is used as the main blood vessel, and a blood vessel having a traveling direction change rate of the blood vessel equal to or higher than the predetermined threshold value (that is, greatly bent) The blood vessel) may be a branch blood vessel. The predetermined threshold may be input via the UI 120 and set by the processor 140. The predetermined threshold may be variable. By making the predetermined threshold variable, the thickness of the target blood vessel and the degree of flexion can be changed.

第1の実施形態では、管状組織として血管を例示したが、血管以外(例えばリンパ管)であってもよい。 In the first embodiment, blood vessels are exemplified as tubular tissue, but blood vessels other than blood vessels (for example, lymph vessels) may be used.

本開示は、第1の実施形態の医用画像処理装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介して医用画像処理装置に供給し、医用画像処理装置内のコンピュータが読み出して実行するプログラムも適用範囲である。 In the present disclosure, a program that realizes the function of the medical image processing device of the first embodiment is supplied to the medical image processing device via a network or various storage media, and is read and executed by a computer in the medical image processing device. The program is also applicable.

本開示は、臨床上必要な管状組織の分枝口の性質を可視化できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム等に有用である。 The present disclosure is useful for medical image processing devices, medical image processing methods, medical image processing programs, and the like that can visualize the properties of branch mouths of tubular tissues that are clinically necessary.

100 医用画像処理装置
110 ポート
120 ユーザインターフェース(UI)
130 ディスプレイ
140 プロセッサ
150 メモリ
200 CT装置
A,B,C 領域
bo,bo1,bo2,bo3 枝血管
Tbt,Tbt1,Tbt2,Tbt3,Tmt パス
GZ1,GZ3 レイキャスト画像
GZ2 レイサム画像
LB 対象血管
mb,mb1,mb2,mb3,mbk マーク
mbk1 前部
mbk2 後部
mo 本血管
P1,P2 点
S 面
sp,sp1,sp2,sp3 分枝口
T 木
100 Medical image processor 110 Port 120 User interface (UI)
130 Display 140 Processor 150 Memory 200 CT device A, B, C area bo, bo1, bo2, bo3 Branch blood vessel Tbt, Tbt1, Tbt2, Tbt3, Tmt Path GZ1, GZ3 Raycast image GZ2 Latham image LB Target blood vessel mb, mb1, mb2, mb3, mbk mark mbk1 Front mbk2 Rear mo Main blood vessels P1, P2 Point S surface sp, sp1, sp2, sp3 Branch mouth T tree

Claims (6)

本管と前記本管から分岐される枝管とを有する管状組織を含む被検体のボリュームデータを取得するポートと、
前記本管から前記枝管が分岐する分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを導出するプロセッサと、
前記ボリュームデータに基づく前記管状組織の3次元画像に、前記3次元画像における前記分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを示す3次元空間上のマークを重畳表示するディスプレイと、
を備える医用画像処理装置。
A port for acquiring volume data of a subject including a tubular tissue having a main tube and a branch tube branched from the main tube, and a port for acquiring volume data.
A processor that derives the position of the branch opening from which the branch pipe branches, the size of the branch opening, and the direction of the normal of the surface of the branch opening.
A three-dimensional image of the tubular tissue based on the volume data shows the position of the branch opening, the size of the branch opening, and the direction of the normal of the surface of the branch opening in the three-dimensional image. A display that superimposes marks in space and
A medical image processing device comprising.
請求項1に記載の医用画像処理装置であって、
前記マークは、前記分枝口の形状を示す、医用画像処理装置。
The medical image processing apparatus according to claim 1.
The mark is a medical image processing device indicating the shape of the branch opening.
請求項2に記載の医用画像処理装置であって、
前記マークは、多角形状又は円形状で示される、医用画像処理装置。
The medical image processing apparatus according to claim 2.
The mark is a medical image processing apparatus represented by a polygonal shape or a circular shape.
請求項1〜3のいずれか1項に記載の医用画像処理装置であって、
前記プロセッサは、前記管状組織の3次元画像から前記管状組織の基準線を導出し、
前記ディスプレイは、前記管状組織の3次元画像に、前記管状組織の基準線及び前記マークを重畳表示する、医用画像処理装置。
The medical image processing apparatus according to any one of claims 1 to 3.
The processor derives a reference line of the tubular tissue from a three-dimensional image of the tubular tissue.
The display is a medical image processing device that superimposes a reference line and the mark of the tubular tissue on a three-dimensional image of the tubular tissue.
医用画像処理装置における医用画像処理方法であって、
本管と前記本管から分岐される枝管とを有する管状組織を含むボリュームデータを取得し、
前記本管から前記枝管が分岐する分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを導出し、
前記ボリュームデータに基づく前記管状組織の3次元画像に、前記3次元画像における前記分枝口の位置、前記分枝口の大きさ、及び前記分枝口の面の法線の向きを示す3次元空間上のマークを重畳表示する、
医用画像処理方法。
A medical image processing method in a medical image processing device.
Obtain volume data including a tubular tissue having a main and a branch tube branched from the main.
From the main pipe, the position of the branch opening at which the branch pipe branches, the size of the branch opening, and the direction of the normal of the surface of the branch opening are derived.
A three-dimensional image of the tubular tissue based on the volume data shows the position of the branch opening, the size of the branch opening, and the direction of the normal of the surface of the branch opening in the three-dimensional image. Overlaying marks in space,
Medical image processing method.
請求項5に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。 A medical image processing program for causing a computer to execute the medical image processing method according to claim 5.
JP2016004419A 2016-01-13 2016-01-13 Medical image processing equipment, medical image processing methods, and medical image processing programs Active JP6780936B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016004419A JP6780936B2 (en) 2016-01-13 2016-01-13 Medical image processing equipment, medical image processing methods, and medical image processing programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016004419A JP6780936B2 (en) 2016-01-13 2016-01-13 Medical image processing equipment, medical image processing methods, and medical image processing programs

Publications (2)

Publication Number Publication Date
JP2017123975A JP2017123975A (en) 2017-07-20
JP6780936B2 true JP6780936B2 (en) 2020-11-04

Family

ID=59363385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016004419A Active JP6780936B2 (en) 2016-01-13 2016-01-13 Medical image processing equipment, medical image processing methods, and medical image processing programs

Country Status (1)

Country Link
JP (1) JP6780936B2 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004043695B4 (en) * 2004-09-09 2006-09-28 Siemens Ag Method for simple geometric visualization of tubular anatomical structures
CN101036163A (en) * 2004-11-26 2007-09-12 布拉科成像S.P.A.公司 Methods for mapping knowledge structures to organs: automated measurements and visualization using knowledge structure mapping
JP4822142B2 (en) * 2006-05-02 2011-11-24 国立大学法人名古屋大学 Endoscope insertion support system and endoscope insertion support method
JP5028191B2 (en) * 2007-09-03 2012-09-19 オリンパスメディカルシステムズ株式会社 Endoscope device
JP5685605B2 (en) * 2010-01-12 2015-03-18 コーニンクレッカ フィリップス エヌ ヴェ System for navigating an interventional device and its operating method, computer program element and computer readable medium
US9256940B2 (en) * 2011-09-13 2016-02-09 Koninklijke Philips N.V. Vascular outlining with ostia visualization
JP6490423B2 (en) * 2011-09-13 2019-03-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Notes to tubular structures in medical images
JP5785120B2 (en) * 2012-03-15 2015-09-24 富士フイルム株式会社 Medical image diagnosis support apparatus and method, and program
JP5826082B2 (en) * 2012-03-21 2015-12-02 富士フイルム株式会社 Medical image diagnosis support apparatus and method, and program
US9020232B2 (en) * 2012-07-24 2015-04-28 Kabushiki Kaisha Toshiba Per vessel, vessel tree modelling with shared contours
US9189866B2 (en) * 2013-03-11 2015-11-17 Kabushiki Kaisha Toshiba Vascular tree from anatomical landmarks and a clinical ontology

Also Published As

Publication number Publication date
JP2017123975A (en) 2017-07-20

Similar Documents

Publication Publication Date Title
AU2019204469B2 (en) Dynamic 3D lung map view for tool navigation inside the lung
EP3251603B1 (en) Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
Ikeda et al. Three dimensional computed tomography lung modeling is useful in simulation and navigation of lung cancer surgery
JP2019115664A (en) Use of augmented reality to assist navigation during medical procedures
JP2010517632A (en) System for continuous guidance of endoscope
JP2013150650A (en) Endoscope image diagnosis support device and method as well as program
JP6415903B2 (en) Medical image processing device
US11037672B2 (en) Medical image processing apparatus, medical image processing method, and system
JP2003339644A (en) Extraction and display device of resection area of internal organ
JP6929687B2 (en) Medical image processing equipment, medical image processing methods, and medical image processing programs
JP6780936B2 (en) Medical image processing equipment, medical image processing methods, and medical image processing programs
KR101464330B1 (en) Method of comparing preoperative respiratory level with intraoperative respiratory level
JP6188379B2 (en) Medical image processing apparatus, medical image processing system, medical image diagnostic apparatus
US20220240759A1 (en) Instrument navigation in endoscopic surgery during obscured vision
JP4526114B2 (en) Luminal organ resection simulation method
US20240024029A1 (en) Systems and method of planning thoracic surgery
JP2014526301A (en) Notes to tubular structures in medical images
US11941808B2 (en) Medical image processing device, medical image processing method, and storage medium
EP3454293B1 (en) Method and apparatus for enhancement of bronchial airways representations using vascular morphology
JP2017113050A (en) Medical image processing device, and control method and program thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201015

R150 Certificate of patent or registration of utility model

Ref document number: 6780936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250