JPWO2019058658A1 - 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム - Google Patents

流体解析装置および流体解析装置の作動方法並びに流体解析プログラム Download PDF

Info

Publication number
JPWO2019058658A1
JPWO2019058658A1 JP2019543409A JP2019543409A JPWO2019058658A1 JP WO2019058658 A1 JPWO2019058658 A1 JP WO2019058658A1 JP 2019543409 A JP2019543409 A JP 2019543409A JP 2019543409 A JP2019543409 A JP 2019543409A JP WO2019058658 A1 JPWO2019058658 A1 JP WO2019058658A1
Authority
JP
Japan
Prior art keywords
fluid
flow velocity
anatomical structure
position information
velocity vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019543409A
Other languages
English (en)
Other versions
JP6811872B2 (ja
Inventor
広貴 伊藤
広貴 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019058658A1 publication Critical patent/JPWO2019058658A1/ja
Application granted granted Critical
Publication of JP6811872B2 publication Critical patent/JP6811872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0263Measuring blood flow using NMR
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0285Measuring or recording phase velocity of blood waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T7/00Details of radiation-measuring instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hematology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本発明は、血管のような流体の流れの傾向が把握し易くするような表示を行う流体解析装置および流体解析装置の作動方法並びに流体解析プログラムを提供する。解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報を各ボクセルが有する3次元ボリュームデータを用いて、解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を解剖学的構造物の内部の各位置に付与し、解剖学的構造物内の1点から3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように3次元流速ベクトルを選択することにより流体の流れ表す軌跡を視認可能に描画する。

Description

本発明は、解剖学的構造物内の流体の流速を表示する流体解析装置および流体解析装置の作動方法並びに流体解析プログラムに関する。
近年、血液の流れを診断または治療に役立てようとする研究などが多数報告され、実際の血流を4次元的に測定する4D Flow技術、または数値流体力学を用いた血流解析(CFD:Computational Fluid Dynamics)により血液の流れをシミュレーションにより把握する方法などが用いられるようになってきた。
このような医用画像を用いた血流解析の手法を用いれば、例えば、超音波、または、3次元シネ位相コントラスト磁気共鳴法によって撮影されたMRI(Magnetic Resonance Imaging)画像を用いて、3次元または2次元平面上において、各ボクセル、各ピクセル、または領域毎に流速ベクトルを表示することが可能である。また、造影剤を投与して撮影したCT画像またはMRI画像から血管モデルを生成し、その血管モデルに基づいて、CFDを行って流速ベクトルを求める手法も提案されている。
また、患者の心疾患の診断をするために、血液の流れを確認できるようにすることが望まれている。画像診断の初期、カンファレンスまたは学会発表時、または、患者説明時などにおいて血液の流れの全体像をわかりやすく簡便に示すことが有用であり、様々な表示手法が検討されている。さらに、流れを3次元的に描画する手法として、流線、流跡線、および流脈線表示が広く使われている。
特許文献1には、超音波診断装置から得られた血流速度の情報に基づいて、血管内の各点の2次元速度ベクトルを計算し、各点の2次元速度ベクトルに基づいて、血流の流れの経路(例えば、流線)を推定する手法が記載されている。また、特許文献2では、速度ベクトルの分布に基づいて血流の流れを示す流線を形成する際に、流速ベクトルの逆方向に血流の流れを逆追跡して開始点を探索し、開始点から伸長された流線を形成する手法が記載されている。特許文献3には、ボリュームデータから推定された流速ベクトル場に基づいて流跡線を推定する際に、造影剤の濃度に基づいて臓器内の体液の流量に関係する流跡線を出力する手法が記載されている。
特開2010−125203号公報 特開2016−10425号公報 特表2015−536699号公報
従来、図12に示すように、3次元投影画像上において血管を流れる血液の流れを示すベクトルまたは流線を表示する方法が広く用いられている。しかし、血管が重なりあって存在している場合には血管壁を越えて、実際とは異なる流れが表示されてしまう(破線で囲まれている箇所Pを参照)。
そこで、本発明では、上述のような問題を解決するために、血液のような流体の流れの傾向を把握し易くするような表示を行う流体解析装置および流体解析装置の作動方法並びに流体解析プログラムを提供することを目的とする。
本発明の流体解析装置は、内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を解剖学的構造物の内部の各位置に付与する付与部と、解剖学的構造物内の1点から3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように3次元流速ベクトルを選択することにより流体の流れを表す軌跡を視認可能に描画する描画部とを備える。
本発明の流体解析装置の作動方法は、付与部と描画部を備えた流体解析装置の作動方法であって、付与部が、内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を解剖学的構造物の内部の各位置に付与し、描画部が、解剖学的構造物内の1点から3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように3次元流速ベクトルを選択することにより流体の流れを表す軌跡を視認可能に描画する。
本発明の流体解析プログラムは、コンピュータを、内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を解剖学的構造物の内部の各位置に付与する付与部と、解剖学的構造物内の1点から3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように3次元流速ベクトルを選択することにより流体の流れを表す軌跡を視認可能に描画する描画部として機能させる。
「解剖学的構造物」とは、組織または臓器などの体を構成する構造物をいう。
また、「3次元ボリュームデータ」は、3次元空間を細かく区切ったボクセルにより構成され、各ボクセルの位置に存在する液体の流速、あるいは、臓器または組織などを放射線または磁気が透過した透過量などに応じた物理量を表わすデータにより構成される。例えば、具体的には、各ボクセルに、血液などの流体の流速の値、臓器または組織に応じた濃度値などのデータを有している。また、濃度値は、血管のような組織に含まれる血液などの流体の濃度値も含んでいる。また、「3次元流速ベクトル」は、各ボクセルの流速の値から取得してもよいし、組織に応じた濃度値の移動量から取得してもよい。
「経路に沿った順番が識別可能な経路位置情報」とは、経路に沿った位置のボクセルの順番がわかる情報であって、例えば、経路に沿った各ボクセルに割り振った連続する番号であってもよい。「経路位置情報が順に並ぶように3次元流速ベクトルを選択する」とは、経路に沿って経路位置情報が単調に増加(または減少)するボクセルを選択し、各ボクセルの3次元流速ベクトルを取得することをいう。経路位置情報が順に並ぶようにボクセルを選択するには、選択したボクセルが連続した番号でなくとも、経路上の2点間の経路に沿った距離が所定の距離以上に離れた位置のボクセルではなく、かつ、ボクセルを経路に沿って追跡する際に単調に増加(または減少)する経路位置情報を有したボクセルを選択するようにすればよい。また、経路位置情報は、経路の分岐点または合流点ではその前後関係を表す情報に基づいて経路に沿った位置がわかる情報である。
「流体の流れ表す軌跡を視認可能に描画」とは、流体の流れを表す軌跡が認識可能であればよく、線により軌跡を表したものであっても、流体を構成する各粒子を描画することにより粒子が移動する様子を認識可能なものであってもよい。
また、付与部が、解剖学的構造物の中心線を抽出して中心線に沿って経路位置情報を付与し、解剖学的構造物の中心線に垂直な断面内の各位置に中心線に付与された経路位置情報と同じ情報を付与してもよい。
また、付与部が、解剖学的構造物内の3次元流速ベクトルの位置に最も近い解剖学的構造物の中心線に沿って付与された経路位置情報と同じ経路位置情報を付与してもよい。
また、描画部は、解剖学的構造物の形態を投影面に投影した形態画像上に、軌跡を視認可能に描画するようにしてもよい。
また、付与部が、解剖学的構造物が分岐または合流する接続部の前後において、分岐前の経路と分岐後の複数の経路の接続関係、または、合流前の複数の経路と合流後の経路の接続関係を表す相対位置情報を付与するようにして、描画部が、経路位置情報および相対位置情報に基づいて軌跡を視認可能に描画するようにしてもよい。
また、3次元流速ベクトルは、3次元シネ位相コントラスト磁気共鳴法によって撮影された3次元ボリュームデータから得られてもよい。
また、解剖学的構造物が血管であり、かつ、流体が血液である場合に、3次元流速ベクトルは、血液の流速ベクトルであってもよい。
また、3次元流速ベクトルは、血流解析シミュレーションの結果により得られてもよい。
また、流体が髄液であって、3次元流速ベクトルは、髄液の流速ベクトルであってもよい。
また、軌跡は、流線、流跡線、または、流脈線であってもよい。
また、軌跡は、粒子追跡法により描画されてもよい。
本発明の他の流体解析装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を解剖学的構造物の内部の各位置に付与し、解剖学的構造物内の1点から3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように3次元流速ベクトルを選択する処理を実行する。
本発明によれば、解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報を各ボクセルが有する3次元ボリュームデータを用いて、解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を解剖学的構造物の内部の各位置に付与し、解剖学的構造物内の1点から経路位置情報が順に並ぶように3次元流速ベクトルを選択することにより流体の流れ表す軌跡を視認可能に描画する。これにより、解剖学的構造物の経路が交差している場合でも構造物の経路に沿わない流れを表示することがなくなるため、迅速かつ直感的に流れの傾向を3次元的に把握することが可能になる。
医療情報システムの概略構成を表す図 本発明の第1の実施形態の流体解析装置の概略構成を表す図 経路識別情報の付与の方法を説明するための図 2つの血管領域の経路識別情報の付与の方法を説明するための図 血管が分岐している箇所の経路識別情報の付与の方法を説明するための図 血管が結合している箇所の経路識別情報の付与の方法を説明するための図 3次元シネ位相コントラスト磁気共鳴法によって撮影されたボリュームデータを説明するための図 軌跡を描画するためにボクセルを辿る方法を説明するための図 軌跡を描画するためにボクセルを辿る方法を説明するための図 ボクセルを辿って生成した流線を投影面に投影した状態を示す図 流線を描画した一例 血管が分岐するときの流線の一例 血管が合流するときの流線の一例 本発明の流体解析装置の処理の流れを示すフローチャート 従来の流線の表示例
以下、図面を参照して本発明の第1の実施形態の流体解析装置1を備えた医療情報システムについて説明する。図1は、本実施形態の医療情報システムの概略構成を示すブロック図である。
本実施形態の医療情報システムは、具体的には、図1に示すように、流体解析装置1、医用画像保管サーバ2、および、撮影装置3(以下、モダリティという)がネットワーク4を介して互いに通信可能な状態で接続されて構成されている。
モダリティ3は、たとえばCT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置および超音波撮影装置などであり、撮影された3次元ボリュームデータは、DICOM(Digital Imaging and COmmunications in Medicine)規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク4を介して医用画像保管サーバ2に送信されて保管される。
流体解析装置1は、汎用のコンピュータであり、CPU(Central Processing Unit)、メモリ(主記憶装置)、ストレージ(補助記憶装置)、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバスなどの周知のハードウェア構成を備え、周知のオペレーションシステムなどがインストールされている。また、表示装置として液晶ディスプレイなどを有し、入力装置としてキーボードおよび/またはマウスなどのポインティングデバイスを有している。ストレージは、ハードディスクまたはSSD(Solid State Drive)などにより構成される。なお、必要に応じてコンピュータにGPU(Graphics Processing Unit)を設けるようにしてもよい。このコンピュータに、本実施形態の流体解析プログラムをインストールし、このコンピュータが流体解析プログラムを実行することにより流体解析装置1として機能する。また、流体解析装置1は、医用画像保管サーバ2に対する画像の送信要求、医用画像保管サーバ2から画像の受信を行う機能を備え、各機能のためのソフトウェアプログラムを実行することにより行われる。
流体解析プログラムは、DVD(Digital Versatile Disc)およびCD−ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、流体解析プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
流体解析装置1は、図2に示すように画像取得部10、構造物抽出部11、付与部12、描画部13、および形態画像生成部15を備える。
画像取得部10は、予め撮影された患者の3次元ボリュームデータ6を取得する。3次元ボリュームデータ6は、本実施形態においては、CT装置、MRI装置または超音波撮影装置などによって撮影されたデータである。
3次元ボリュームデータ6は、医用画像保管サーバ2に患者の識別情報とともに予め保管されており、画像取得部10は、キーボードなどの入力装置を用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する1種類以上の3次元ボリュームデータ6を医用画像保管サーバ2から読み出してストレージ(不図示)に記憶する。また、3次元ボリュームデータ6は、CT画像、造影CT画像、MRI画像、造影MRI画像、および3次元シネ位相コントラスト磁気共鳴法(3D cine PC MRI)によって撮影されたボリュームデータなどであり、本実施形態では、同じ患者の同じ部位を撮影した複数種類の3次元ボリュームデータをストレージに記憶する場合について説明する。
構造物抽出部11は、3次元ボリュームデータ6から解剖学的構造物を抽出する。内部に流体が流れる構造物には、血管のような管状構造物がある。以下、本実施形態では、画像取得部10により、患者の胸部の3次元ボリュームデータ6を取得し、解剖学的構造物が血管あり、流体が血液である場合について説明する。なお、構造物抽出部11は、血管領域抽出部11として以下説明する。
血管領域抽出部11は、3次元ボリュームデータ6から血管領域(解剖学的構造物の領域)を抽出する。具体的には、血管領域の抽出は、CT画像(または、造影CT画像)、MRI画像(または造影MRI画像)を用いて行われる。本実施形態の血管領域抽出部11は、胸部のCT画像から血管領域を抽出する場合について説明する。血管領域抽出部11は、例えば、胸部の3次元ボリュームデータ6に対して多重解像度変換を行って複数の異なる解像度の画像を生成し、各解像度の画像に対してヘッセ行列を用いて固有値解析を行って線構造を抽出する。さらに、各解像度の画像における解析結果を統合することによって、胸部領域中の様々なサイズの線構造の集合体として、血管領域を抽出する(たとえばY Sato, et al.、「Three-dimensional multi-scale line filter for segmentation and visualization of curvilinear structures in medical images.」、Medical Image Analysis、1998年6月、Vol.2、No.2、p.p.143-168など参照)。さらに、最小全域木アルゴリズムなどを用いて、抽出された各線構造の中心線を連結することにより、血管を表す木構造のデータを生成する。あるいは、血管の中心線を結ぶ芯線上の各点において芯線に直交する断面を求め、各断面において血管の輪郭を認識し、その輪郭を表す情報を利用してグラフカット法などの公知のセグメンテーション手法を用いて、血管領域を抽出するようにしてもよい。
なお、血管領域の抽出方法としては上記の方法に限らず、領域拡張法などのその他の公知な手法を用いるようにしてもよい。
付与部12は、血管の経路に沿った位置の順番が識別可能な経路位置情報を血管の内部の各位置に付与する。
まず、図3に示すように、血管領域抽出部11によって抽出した血管領域の中心線Cを抽出し、中心線Cの各ボクセルに、一意に決められた経路位置情報を経路に沿って順に付与する。具体的には、経路位置情報は中心線Cの所定の1点から順に連続する数字を割り当てる。例えば、経路位置情報として、経路に沿って1,2,3・・・と順に数字を割り当てる。図3は、割り当てた数字を10ごとに表した例である。血管領域Rの中心線Cの各位置において垂直断面Qを設定して、中心線Cの経路位置情報と同じ経路位置情報を血管領域R内の全てのボクセルに付与する。図3の右の拡大図に示すように、中心線Cに該当するボクセルの経路位置情報が「10」の場合、垂直断面Qに含まれる血管領域Rのボクセルの経路位置情報は全て「10」にする。
図4に示すように、2つの血管領域R1およびR2が隣接する場所においては、各ボクセルviから2つの血管領域R1およびR2の中心線C1およびC2までの距離が短い方の血管領域の経路位置情報をそのボクセルに付与する。図4は、中心線C1の垂直断面のボクセルの経路位置情報が「20」であり、中心線C2の垂直断面のボクセルの経路位置情報が「30」である場合を示す。ボクセルviから中心線C1までの距離と、ボクセルviから中心線C2までの距離では、中心線C2までの距離の方が短いのでのボクセルviの経路位置情報は「30」となる。
図5Aに示すように血管の経路が2つに分岐している接続部、あるいは、図5Bに示すように2つの血管が合流している接続部では、経路位置情報は不連続になり、経路位置情報の順番が接続部では識別できなくなる。そこで、分岐前の経路と分岐後の複数の経路の接続関係、または、合流前の複数の経路と合流後の経路の接続関係を表す相対位置情報を記録する。
図5Aの例では、血管領域R0および血管領域R1は連続した経路位置情報が付与され、「A0」から順に連続する数字が割り当てられている。血管が分岐後の血管領域R2では、接続部「A90」から新たな経路位置情報「B0」が付与され、「B0」から順に連続する数字が割り当てられている。「A90」と「B0」が接続部となり、分岐部において分岐前の経路と分岐後の複数の経路が接続することを表す相対位置情報として記録する。図5Aの例では、血管領域R0および血管領域R2が血管領域R0の「A90」と血管領域R2の「B0」において接続し、ここから血管が2つに分岐することを表わす相対位置情報を記録する。
図5Bの例では、血管領域R3および血管領域R4は連続した経路位置情報が付与され、「A200」から順に連続する数字が割り当てられている。血管領域R5は合流する血管であり、最初の経路位置情報「C100」から順に連続する数字が割り当てられ、「C160」において血管領域R4の「A270」に合流する。図5Bの例では、血管領域R3および血管領域R4が血管領域R3の「A270」と血管領域R4の「C160」において接続し、2つの血管が合流することを表わす相対位置情報を記録する。
描画部13は、ベクトル取得部14をさらに備え(図2参照)、付与部12により付与されたボクセルの経路位置情報および相対位置情報と、ベクトル取得部14により取得した3次元流速ベクトルの向きとに従って、血液の流れが認識可能なような描画を行なって、表示装置に表示を行う。具体的には、例えば、血液の流れを表す軌跡を描画して表示してもよい。軌跡には、流線、流跡線、または流脈線がある。流線は、始点の位置から血液の速度ベクトルを滑らかにつないだ線であり、流跡線は、1つの流体粒子が時間の経過により移動する軌跡であり、流脈線は、流れの中のある固定点を通過した全ての流体粒子を連ねてできる線である。あるいは、血液の流れを表す軌跡を認識可能な描画を行う手法として、粒子追跡法(Particle TrackingまたはParticle Tracer)などの速度場の中においた粒子が動く様子を可視化する手法を用いて、血液の流れを認識できるような描画をおこなうようにしてもよい。
ベクトル取得部14は、血管領域内の血流速度および血流方向を表す3次元流速ベクトルを取得する。3次元流速ベクトルは、種々の方法により取得することができるが、例えば、画像取得部10において3次元シネ位相コントラスト磁気共鳴法によって撮影された3次元ボリュームデータを取得し、その3次元ボリュームデータに基づいて取得された血管領域内の速度情報を用いて3次元流速ベクトルを取得する。
図6に示すように、3次元シネ位相コントラスト磁気共鳴法によって撮影されたボリュームデータは、マグニチュードデータMと、X軸方向、Y軸方向、およびZ軸方向にエンコード(VENC:velocity encoding)したX方向の位相データPhx、Y軸方向の位相データPhy、およびZ軸方向の位相データPhzを時間tに沿って所定の周期(例えば、心周期)で得たボリュームデータで構成される。X方向の位相データPhx、Y軸方向の位相データPhy、およびZ軸方向の位相データPhzは各軸方向の流速を表すデータであり、3つの位相データから各ボクセル位置の3次元流速ベクトルが得られる。
次に、血管領域抽出部11により血管領域を抽出したCT画像と、3次元シネ位相コントラスト磁気共鳴法によって撮影された各位相データPhx、PhyおよびPhzは、同じ位置が対応するように位置合せを行なっておく。CT画像と各位相データのボリュームデータ間の位置合せは、撮影部位の特徴点を位置合わせするなど公知の手法を用いればよい。血管領域内の3次元流速ベクトルは、血管領域抽出部11の結果に基づいて、血管領域のボクセルの位置に対応する各位相データPhx、PhyおよびPhzの各ボクセルから各軸方向の速度成分を得て3次元流速ベクトルを取得する。以下、MRI装置を用いて3次元シネ位相コントラスト磁気共鳴法によって撮影されたボリュームデータを用いて、血管領域内の3次元流速ベクトルを取得する場合を例に具体的に説明する。
次に、描画部13が、ベクトル取得部14により取得した3次元流速ベクトルに従って、血液の流れが認識可能なような描画を行う手法について具体的に説明する。ここでは、流線を例に描画方法を説明する。まず、血管領域内の1点を開始点に選択して、各ボクセルの3次元流速ベクトルに従って経路位置情報が連続するボクセルを辿りながら流線を生成する。ボクセルの辿り方を、図7Aを用いて説明する。なお、図7Aでは、便宜上2次元で表したボクセルを用いて説明する。図7Aの格子がそれぞれ1つのボクセルを表し、矢印は流速ベクトル方向を示す。破線の枠は血管領域R1の中心線C1または血管領域R2の中心線C2に対して垂直な断面の1区画分に含まれるボクセルの範囲を示し、破線の枠内は同じ経路位置情報が付される。まず、ボクセルvから流線の描画を開始する場合について説明する。ボクセルvの経路位置情報は「A10」である。ボクセルvの次のボクセルは、ボクセルvから流速ベクトルの指す方向にあるボクセルvである。ボクセルvの経路位置情報は「A11」であり、ボクセルvとボクセルvの経路位置情報は連続している。つまり、経路に沿って経路位置情報が並んでいるので、ボクセルvは血管領域R1内にあると判定され、ボクセルvとボクセルvの流線ベクトルをつないだ流線を生成する。さらに、ボクセルvの次のボクセルは、ボクセルvから流速ベクトルの指す方向の先にあるボクセルvとなる。ボクセルvの経路位置情報は「A12」であり、ボクセルvとボクセルvの経路位置情報は順に並んでいるので、ボクセルvは血管領域R1内にあると判定される。そこで、ボクセルvとボクセルvの流線ベクトルをつないだ流線を生成し、既に生成したボクセルvとボクセルvの流線ベクトルをつないだ流線を伸ばしていく。同様にして、ボクセルvの次のボクセルvの経路位置情報は「A13」であり、ボクセルvとボクセルvの経路位置情報は連続しているので、ボクセルvは血管領域R1内にあると判定され、ボクセルvとボクセルvの流線ベクトルをつないだ流線を生成し、既に生成された流線を伸ばしていく。
ボクセルvの次のボクセルは、ボクセルvから流速ベクトルが指す方向にあるボクセルvであるが、ボクセルvの経路位置情報は「A110」であり、ボクセルvの経路位置情報「A13」に連続する経路位置情報ではない。また、ボクセルvとvの経路位置情報はそれぞれ「A13」と「A110」であり、経路に沿った区間が96区画離れている。2点の間で96区画分ある様な場合は、2点間の経路に沿った距離(中心線上の距離)はかなり離れていると考えられるため、ボクセルvと同じ血管領域R1ではなく、ボクセルvは血管領域R2にあると考えられる。そこで、ボクセルvの位置は同じ血管領域R1内ではなく隣接する血管領域R2である判定される。そこで、ボクセルvから始まった流線はボクセルvで終点となる。
一方、血管の経路の向きとボクセルの関係が図7Bに示すような関係である場合には、経路の傾きとボクセルの位置によっては、経路位置情報が連続した値でなくとも同じ血管領域R1内である場合も存在する。最初のボクセルvの経路位置情報は「A10」であるが、ボクセルvの流速ベクトルが指す向きの次のボクセルvの経路位置情報は「A12」になる場合がある。この場合、経路位置情報は連続していないが経路位置情報は順に並んでいると判定される。例えば、ボクセルvの経路位置情報が、ボクセルv1の経路位置情報「A10」に連続する経路位置情報「A11」の前後の数字、例えば、「A10」または「A12」などの「A11」に近い経路位置情報になることがある。ボクセルvとvの経路位置情報はそれぞれ「A10」と「A12」であり、1区画分しか離れていないためどちらも血管領域R1にあると考えられるので、ボクセルvとボクセルv間で流速ベクトルをつないだ流線を生成する。このように経路位置情報が連続する番号でなくとも、ボクセルの大きさと血管の幅から、1つのボクセルから辿った次のボクセルの経路位置情報が同じ血管領域R1内であると判定できる場合には、2つのボクセルの流速ベクトルをつないだ流線を生成する
以上の通りボクセルを辿って流線を作成する場合、各ボクセルの経路位置情報に基づいて、経路に沿った距離に応じて2つのボクセルが、所定の距離以上に離れているか否かを判別することにより隣接する他の血管領域内であるか否かを判定する。
上述では、2次元平面で流線の描画方法について説明したが、実際には、描画部13は、図8に示すように、3次元ボリュームデータ6の各ボクセルを辿って生成した流線を投影面Sに投影した画像を表示装置に表示する。
上述では、経路位置情報が経路に沿って単調に増加する場合について説明したが、経路位置情報が経路に沿って単調に減少するようにしてもよい。
図9に上記の手法によって流線を描画した例を示す。図12の従来の手法では、破線により囲まれた箇所Pのように血管壁を突き抜けていた流線を、本発明の手法では血管壁の前で終わりにすることが可能である。
次に、血管が分岐している個所について説明する。図5Aに示すように、「A90」と「B0」が接続部になり、この周辺では、「A90」に続く経路位置情報を付与されたボクセルおよび「B0」に続く経路位置情報を付与されたボクセルが存在する。「A90」と「B0」から先につなぐ流線は、各ボクセルの3次元流速ベクトルが指す方向に「B0」に続く経路位置情報が付与されたボクセルがあるか、「A90」に続く経路位置情報が付与されたボクセルがあるかに応じて、流線が血管領域R0から血管領域R1の方向に繋がるか、流線が血管領域R0から血管領域R2の方向に繋がるかに分かれる。図10Aに、「A90」と「B0」の接続部から2つの血管に流線が分かれる例を示す。
次に、血管が合流する個所について説明する。図5Bに示すように、「A270」と「C160」が接続部になり、この周辺では、「A270」に繋がる経路位置情報を付与されたボクセルおよび「C160」に繋がる経路位置情報を付与されたボクセルが存在する。「A270」と「C160」に繋がる流線には、各ボクセルの3次元流速ベクトルが指す方向に「A270」に繋がる経路位置情報が付与されたボクセルがあるか、「C160」に繋がる経路位置情報が付与されたボクセルがあるかに応じて、血管領域R3から血管領域R4の方向に繋がる流線と、血管領域R5から血管領域R4の方向に繋がる流線とがある。図10Bに、「A270」と「C160」の接続部から2つの流線が1つの血管に合流する例を示す。
以上説明したように、3次元流速ベクトルを辿った時のボクセルの経路位置情報が順に並んでいるボクセルの3次元流速ベクトルのみをつないで流線を生成する。このように、経路位置情報を付与することにより、血管壁を越えて血管領域R1から血管領域R2に入るような流線を描画しないようにすることが可能になる。流跡線または流脈線の描画においても、同様に判定することにより、血管壁を越えて軌跡を描くことを防ぐことが可能になる。粒子追跡法を用いて描画する場合も同様である。
上述では、3次元流速ベクトルを3次元シネ位相コントラスト磁気共鳴法によって撮影されたボリュームデータから取得する場合について説明したが、血管領域抽出部11によって抽出された血管領域を用いて数値流体力学を用いた血流解析(CFD)を行うことによって流速ベクトルを取得するようにしてもよい。例えば、時系列で撮影されたCT画像のそれぞれから抽出された血管領域を用いて血流解析を行うことが可能である。具体的には、造影CT画像、または造影MRI画像を用いることができる。
また、画像取得部10においてドップラー計測によって時系列に撮影された3次元の超音波画像を取得し、その超音波画像に基づいて取得された血管領域内の速度情報を用いて流速ベクトルを取得するようにしてもよい。
形態画像生成部15は、CT画像またはMRI画像に対してボリュームレンダリング処理を施すことにより形態画像を生成する。形態画像を生成する場合には、特に、造影CT画像または造影MRI画像のように血管領域とそれ以外の領域の区別が明確な画像を用いて、形態画像を生成するようにするのが望ましい。
描画部13は、形態画像生成部15によって生成された形態画像上に、上記の流線、流跡線、または流脈線のような血液の流れを示す軌跡を重ねて表示する。あるいは、形態画像上に粒子追跡法により得られた粒子が動く様子を重ねて描画する。
次に本実施形態の流体解析装置の処理の流れについて、図11に示すフローチャートを参照しながら説明する。
まず、ユーザによる患者の識別情報などの設定入力に応じて、その患者の造影CTと、3次元シネ位相コントラスト磁気共鳴法によって撮影されたMRIの2種類の3次元ボリュームデータが画像取得部10によって取得される(S10)。
次に、画像取得部10によって取得された胸部の造影CT画像から血管領域抽出部11を用いて血管領域を抽出する(S11)。また、形態画像生成部15によって形態画像を生成する(S12)。
さらに、付与部12は、血管領域抽出部11が抽出した血管領域の経路に沿って経路位置情報および相対位置情報を付与する(S13)。
描画部13は、開始点のボクセルを選択して(S14)、付与部12によって付与されたボクセルの経路位置情報と、3次元シネ位相コントラスト磁気共鳴法によって撮影されたMRIの3次元ボリュームデータからベクトル取得部14によって取得した3次元流速ベクトルの向きとに従って、次のボクセルを選択して、ボクセルの流速ベクトルをつないだ流線を描画する(S15)。流線が終了するまで(S16−NO)、経路位置情報と3次元流速ベクトルの向きに基づいてボクセルを辿りながら、各ボクセルの流速ベクトルをつないだ流線を描画する(S15)。また、血管が分岐または合流する接続部では、血管の相対位置情報と経路位置情報を用いて流線をつないでいく。
描画部13は、経路位置情報に連続していないボクセルに到達すると、流線の描画を終了する。あるいは、血管領域が終了すると、流線の描画を終了する(S16−YES)。
上記の実施形態では、図9に示すように、流線が血管壁を越えることなく描画されるので、血流の流れが分かりやすくなる。このように流体解析装置において、血液の流れを把握しやすくすることにより、心臓から出た動脈における逆流、または動脈瘤内において血流が渦状になっている箇所を観察することが可能になり診断が容易になる。
上記の実施形態では、血流を解析する場合について説明したが、解剖学的構造物が脳のように髄液が流れる領域であって、流体が髄液であってもよい。なお、解剖学的構造物が脳の場合は、形態画像生成部15では、脳などのボリュームレンダリングした形態画像を生成する。このようにして生成された形態画像上に流線などの流れが認識可能な描画を重ねて表示する。
上記では流線を描画する場合について詳細に説明したが、流跡線、流脈線、または、粒子追跡法により描画される場合であっても、経路位置情報および相対位置情報を血管の経路に沿って付与することによって、血管壁を通り抜ける流れがなくなり、血液の流れを正確に把握することが可能になる。
上記では、1つのコンピュータを流体解析装置として機能させる場合について説明したが、複数のコンピュータに機能を分散させるようにしてもよい。例えば、解剖学的構造物の抽出および/または形態画像の生成は画像処理専用の他のコンピュータによって行ない、流体解析処理の結果を表示させるコンピュータでは、画像処理専用の他のコンピュータから解剖学的構造物の情報および/または形態画像を受信して、形態画像を表示した上で代表2次元流速ベクトルを重ねて表示するようにしてもよい。
また、上記では、汎用コンピュータが流体解析装置として機能する場合について説明したが、専用コンピュータによって実施されてもよい。専用コンピュータは、内蔵されたROM(Read Only Memory)またはフラッシュメモリなど、不揮発メモリに記録されたプログラムを実行するファームウェアであってもよい。さらに、この流体解析装置の少なくとも一部の機能を実行するためのプログラムを永久的に記憶するASIC(Application Specific Integrated Circuit :特定用途向け集積回路)またはFPGA(field programmable gate arrays)などの専用回路を設けるようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のCPUによって実行されるプログラム命令と組み合わせるようにしてもよい。以上のように、コンピュータのハードウェア構成をどのように組み合わせてプログラム命令を実行してもよい。
1 流体解析装置
2 医用画像保管サーバ
3 撮影装置
4 ネットワーク
6 3次元ボリュームデータ
10 画像取得部
11 構造物抽出部
12 付与部
13 形態画像生成部
13 描画部
14 ベクトル取得部
15 形態画像生成部

Claims (13)

  1. 内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから前記解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、前記解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を前記解剖学的構造物の内部の各位置に付与する付与部と、
    前記解剖学的構造物内の1点から前記3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように前記3次元流速ベクトルを選択することにより前記流体の流れを表す軌跡を視認可能に描画する描画部とを備えた流体解析装置。
  2. 前記付与部が、前記解剖学的構造物の中心線を抽出して該中心線に沿って経路位置情報を付与し、前記解剖学的構造物の前記中心線に垂直な断面内の各位置に該中心線に付与された経路位置情報と同じ情報を付与する請求項1記載の流体解析装置。
  3. 前記付与部が、前記解剖学的構造物内の3次元流速ベクトルの位置に最も近い前記解剖学的構造物の中心線に沿って付与された経路位置情報と同じ前記経路位置情報を付与する請求項2記載の流体解析装置。
  4. 前記描画部は、前記解剖学的構造物の形態を投影面に投影した形態画像上に、前記軌跡を視認可能に描画する請求項1〜3のいずれか1項記載の流体解析装置。
  5. 前記付与部が、前記解剖学的構造物が分岐または合流する接続部の前後において、前記分岐前の経路と前記分岐後の複数の経路の接続関係、または、前記合流前の複数の経路と前記合流後の経路の接続関係を表す相対位置情報を付与し、
    前記描画部が、前記経路位置情報および前記相対位置情報に基づいて前記軌跡を視認可能に描画する請求項1〜4のいずれか1項記載の流体解析装置。
  6. 前記3次元流速ベクトルは、3次元シネ位相コントラスト磁気共鳴法によって撮影された3次元ボリュームデータから得られる請求項1〜5のいずれか1項記載の流体解析装置。
  7. 前記解剖学的構造物が血管であり、かつ、前記流体が血液であり
    前記3次元流速ベクトルは、血液の流速ベクトルである請求項1〜6のいずれか1項記載の流体解析装置。
  8. 前記3次元流速ベクトルは、血流解析シミュレーションの結果により得られる請求項7記載の流体解析装置。
  9. 前記流体が髄液であり、
    前記3次元流速ベクトルは、髄液の流速ベクトルである請求項1〜6のいずれか1項記載の流体解析装置。
  10. 前記軌跡は、流線、流跡線、または、流脈線である請求項1〜9のいずれか1項記載の流体解析装置。
  11. 前記軌跡は、粒子追跡法により描画される請求項1〜9のいずれか1項記載の流体解析装置。
  12. 付与部と描画部を備えた流体解析装置の作動方法であって、
    前記付与部が、内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから前記解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、前記解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を前記解剖学的構造物の内部の各位置に付与し、
    前記描画部が、前記解剖学的構造物内の1点から前記3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように前記3次元流速ベクトルを選択することにより前記流体の流れを表す軌跡を視認可能に描画する流体解析装置の作動方法。
  13. コンピュータを、
    内部に流体が流れる解剖学的構造物を含む被写体を撮影した3次元ボリュームデータから前記解剖学的構造物内の流体の流速を表わす3次元流速ベクトルの情報をボクセルごとに取得し、前記解剖学的構造物の経路に沿った順番が識別可能な経路位置情報を前記解剖学的構造物の内部の各位置に付与する付与部と、
    前記解剖学的構造物内の1点から前記3次元流速ベクトルが存在する位置の経路位置情報が順に並ぶように前記3次元流速ベクトルを選択することにより前記流体の流れを表す軌跡を視認可能に描画する描画部として機能させるための流体解析プログラム。
JP2019543409A 2017-09-19 2018-06-12 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム Active JP6811872B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017179169 2017-09-19
JP2017179169 2017-09-19
PCT/JP2018/022330 WO2019058658A1 (ja) 2017-09-19 2018-06-12 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム

Publications (2)

Publication Number Publication Date
JPWO2019058658A1 true JPWO2019058658A1 (ja) 2020-10-08
JP6811872B2 JP6811872B2 (ja) 2021-01-13

Family

ID=65811082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543409A Active JP6811872B2 (ja) 2017-09-19 2018-06-12 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム

Country Status (3)

Country Link
US (1) US11580635B2 (ja)
JP (1) JP6811872B2 (ja)
WO (1) WO2019058658A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07213522A (ja) * 1994-01-26 1995-08-15 Toshiba Corp 超音波診断装置
JP2007044408A (ja) * 2005-08-12 2007-02-22 Aloka Co Ltd 超音波診断装置
JP2016214550A (ja) * 2015-05-20 2016-12-22 株式会社日立製作所 超音波診断装置
JP2017070742A (ja) * 2015-10-05 2017-04-13 東芝メディカルシステムズ株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5416392B2 (ja) 2008-11-28 2014-02-12 日立アロカメディカル株式会社 超音波診断装置
EP2749224A4 (en) * 2011-08-26 2015-12-02 Ebm Corp BLOOD CIRCULATION SIMULATION SYSTEM FOR SIMULATING A BLOOD VESSEL PROCESSING EFFECT, METHOD THEREOF, AND COMPUTER SOFTWARE
FR2996667B1 (fr) 2012-10-05 2015-12-11 Olea Medical Systeme et procede pour estimer une quantite d'interet dans un systeme cinematique par tomographie par agent de contraste
JP5844430B1 (ja) 2014-06-27 2016-01-20 日立アロカメディカル株式会社 超音波診断装置
JP6517031B2 (ja) * 2015-02-05 2019-05-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置および磁気共鳴イメージング装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07213522A (ja) * 1994-01-26 1995-08-15 Toshiba Corp 超音波診断装置
JP2007044408A (ja) * 2005-08-12 2007-02-22 Aloka Co Ltd 超音波診断装置
JP2016214550A (ja) * 2015-05-20 2016-12-22 株式会社日立製作所 超音波診断装置
JP2017070742A (ja) * 2015-10-05 2017-04-13 東芝メディカルシステムズ株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6811872B2 (ja) 2021-01-13
US20200170520A1 (en) 2020-06-04
US11580635B2 (en) 2023-02-14
WO2019058658A1 (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
Lawonn et al. A survey on multimodal medical data visualization
JP5345934B2 (ja) 観察のための三次元レンダリングからのデータ集合の選択
JP7309986B2 (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US10853956B2 (en) Device and method for medical imaging of coronary vessels
JP2008253753A (ja) 心機能表示装置およびそのプログラム
Meuschke et al. Combined visualization of vessel deformation and hemodynamics in cerebral aneurysms
JP5566370B2 (ja) 医用画像処理装置及び方法
JP5934071B2 (ja) 管状構造の最短経路探索装置および方法並びにプログラム
EP3230951A1 (en) Feedback for multi-modality auto-registration
US11730384B2 (en) Fluid analysis apparatus, method for operating fluid analysis apparatus, and fluid analysis program
US20160157726A1 (en) Projection image generating device, method and program
WO2018159708A1 (ja) 血流解析装置および方法並びにプログラム
JP6811872B2 (ja) 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム
JP7262606B2 (ja) 領域同定装置、方法およびプログラム
US10977792B2 (en) Quantitative evaluation of time-varying data
JP7368500B2 (ja) 流体解析装置、方法およびプログラム
JP7059391B2 (ja) 流体解析装置、方法およびプログラム
Hong et al. Virtual angioscopy based on implicit vasculatures
JP2022047359A (ja) 医用画像処理装置、医用画像処理システム、及び、医用画像処理方法
JP2019180840A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201215

R150 Certificate of patent or registration of utility model

Ref document number: 6811872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250