JPWO2010098444A1 - 医用画像処理装置及び方法 - Google Patents

医用画像処理装置及び方法 Download PDF

Info

Publication number
JPWO2010098444A1
JPWO2010098444A1 JP2011501669A JP2011501669A JPWO2010098444A1 JP WO2010098444 A1 JPWO2010098444 A1 JP WO2010098444A1 JP 2011501669 A JP2011501669 A JP 2011501669A JP 2011501669 A JP2011501669 A JP 2011501669A JP WO2010098444 A1 JPWO2010098444 A1 JP WO2010098444A1
Authority
JP
Japan
Prior art keywords
blood vessel
region
medical image
stenosis
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011501669A
Other languages
English (en)
Other versions
JP5566370B2 (ja
Inventor
永尾　朋洋
朋洋 永尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2011501669A priority Critical patent/JP5566370B2/ja
Publication of JPWO2010098444A1 publication Critical patent/JPWO2010098444A1/ja
Application granted granted Critical
Publication of JP5566370B2 publication Critical patent/JP5566370B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

医用画像処理装置100のCPU101は、X線CT画像等から得られた冠動脈造影画像から、解析対象とする冠動脈領域及び心筋領域を抽出し、心筋の各部位における冠動脈からの影響を表す孤立度(血管依存度)を算出する。そして、算出された孤立度を画素値として、心筋のブルズアイ・マップや心臓部の3次元画像等に重ね合わせて表示する。その結果、遅延造影検査等を行わなくても、冠動脈造影画像データのみを用いて、梗塞や狭窄による心筋領域への影響を視認できるようになる。

Description

本発明は、医用画像を解析する処理を行う医用画像処理装置及び方法に関するものである。
従来から医用診断に利用される画像としては、例えばX線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置等によって撮影される被検体の断層像等が知られている。また、このような医用画像をコンピュータを用いて解析し、その陰影の中から病変候補を検出して医師に提示するコンピュータ検出支援装置(Computer-Aided Detection；以下、CADという)が開発されている。
近年では、非特許文献1に記載されるように、心臓部をPET(Positron Emission Tomography)装置等により撮影し、その核医学画像を用いて冠動脈の責任領域を可視化したり、核医学画像とX線CT画像とを組み合わせた画像をコンピュータを用いて生成することにより、診断に有用な画像を生成する画像処理手法が開発されている。
また、心筋部の還流や心筋のバイアビリティを可視化するために、例えばMRI装置を用いて、心筋Perfusionや遅延造影検査等を行っている。
RadFan Vol.6 No.13(2008) P.33、P.81
しかしながら、X線CT装置においては、上述のような遅延造影撮影等を行うことは被曝の問題等により現実的ではない。また、X線CT装置を用いた冠動脈造影撮影によって、冠動脈の異常部位についての画像を得ることは可能であるが、心筋への影響についての画像を得ることは容易ではなかった。
また、上述のように、PET装置等により撮影した冠動脈の責任領域を示す核医学画像は、一般にX線CT装置等により撮影した心臓部の画像に重畳される。そのため、それぞれの画像を別に撮影する必要があり、患者の検査負担が大きかった。
さらに、X線CT装置やMRI装置では、冠動脈が完全に塞栓されている場合、塞栓部より末梢の冠動脈には造影剤が及ばず、うまく描写されない可能性がある。そのため、心筋Perfusionや遅延造影検査を行わないで、狭窄や塞栓により影響を受ける心筋領域を特定することはできなかった。
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、冠動脈等の血管造影画像を用いて、血管による臓器への影響を示す画像を生成する医用画像処理装置及び方法を提供することである。
前述した目的を達成するために本発明によれば、医用画像から血管領域及び臓器領域を抽出する抽出手段と、前記抽出手段により抽出された臓器領域の各部位について、血管が及ぼす影響の度合いを示す血管依存度を算出する算出手段と、前記算出手段により算出された血管依存度を示す画像を生成し、表示する血管依存度表示手段と、を備えることを特徴とする医用画像処理装置が提供される。
また、前記算出手段により算出される血管依存度は、前記臓器領域の各部位と前記血管領域の走行位置との距離データ、及び前記血管領域の血流量に関するデータに基づいて算出されることを特徴とする医用画像処理装置が提供される。
また、前記算出手段は、前記血管領域に狭窄部位がある場合において、狭窄部位より末梢の血管領域については、狭窄に起因する血流量の変化を表すパラメータを用いて、前記血管依存度を算出することを特徴とする医用画像処理装置が提供される。
また、血管領域または血管領域の任意の部位を指定する指定手段を更に備え、
前記血管依存度表示手段は、前記指定手段により指定された血管領域、または血管領域の部位が指定された場合はその部位より末梢の血管領域について、前記算出手段により算出された血管依存度を示す画像を生成し、表示することを特徴とする医用画像処理装置が提供される。
また、血管領域の任意の部位を狭窄部位と仮定し、仮定した狭窄部位より末梢の血管領域について、狭窄に起因する血流量の変化を表すパラメータを段階的に変化させることにより、各段階の前記血管依存度を算出するシミュレーション算出手段と、
前記シミュレーション算出手段により算出された各段階の血管依存度を用いて、心筋梗塞または狭心症の予測シミュレーション画像を生成し、表示するシミュレーション画像表示手段と、を更に備えることを特徴とする請求の範囲1に記載の医用画像処理装置が提供される。
また、医用画像から血管領域及び臓器領域を抽出する抽出ステップと、
前記抽出手段により抽出された臓器領域の各部位について、血管が及ぼす影響の度合いを示す血管依存度を算出する算出ステップと、
前記算出手段により算出された血管依存度を示す画像を生成し、表示する血管依存度表示ステップと、を備えることを特徴とする医用画像処理方法が提供される。
また、前記算出ステップにより算出される血管依存度は、前記臓器領域の各部位と前記血管領域の走行位置との距離データ、及び前記血管領域の血流量に関するデータに基づいて算出されることを特徴とする医用画像処理方法が提供される。
また、前記算出ステップは、前記血管領域に狭窄部位がある場合において、狭窄部位より末梢の血管領域については、狭窄に起因する血流量の変化を表すパラメータを用いて、前記血管依存度を算出することを特徴とする医用画像処理方法が提供される。
また、血管領域または血管領域の任意の部位を指定する指定ステップを更に備え、
前記血管依存度表示ステップは、前記指定ステップにより指定された血管領域、または血管領域の部位が指定された場合はその部位より末梢の血管領域について、前記算出手段により算出された血管依存度を示す画像を生成し、表示することを特徴とする医用画像処理方法が提供される。
また、血管領域の任意の部位を狭窄部位と仮定し、仮定した狭窄部位より末梢の血管領域について、狭窄に起因する血流量の変化を表すパラメータを段階的に変化させることにより、各段階の前記血管依存度を算出するシミュレーション算出ステップと、
前記シミュレーション算出ステップにより算出された各段階の血管依存度を用いて、心筋梗塞または狭心症の予測シミュレーション画像を生成し、表示するシミュレーション画像表示ステップと、を更に備えることを特徴とする医用画像処理方法が提供される。
本発明の医用画像処理装置及び方法により、冠動脈等の血管造影画像を用いて、血管による臓器への影響を示す画像を生成する医用画像処理装置及び方法を提供できる。
画像処理システム1の全体構成を示すハードウエア構成図 医用画像処理装置100が実行する解析処理全体の流れを示すフローチャート (A)冠動脈に梗塞がある場合の孤立度MinR(Mn)を説明する図、(B)正常時の孤立度MinR(Mn)を説明する図 (A)冠動脈に狭窄がある場合の孤立度MinR(Mn)を説明する図、(B)正常時の孤立度MinR(Mn)を説明する図 ブルズアイ・マップを用いた表示例
以下図面に基づいて、本発明の実施形態を詳細に説明する。
まず、図1を参照して、本発明の医用画像処理装置を適用した画像処理システム1の構成について説明する。
図1に示すように、画像処理システム1は、表示装置107、入力装置109を有する医用画像処理装置100と、医用画像処理装置100にネットワーク110を介して接続される画像データベース111と、医用画像撮影装置112とを備える。
医用画像処理装置100は、病院等に設置される画像診断用のコンピュータであり、医用画像を解析し、診断に適した画像を生成するものである。
医用画像処理装置100は、CPU(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106を備え、各部はバス113を介して接続されている。
CPU101は、主メモリ102または記憶装置103等に格納されるプログラムを主メモリ102のRAM上のワークメモリ領域に呼び出して実行し、バス113を介して接続された各部を駆動制御し、医用画像処理装置100が行う各種処理を実現する。
また、CPU101は、後述する解析処理(図2参照)において、医用画像から血管領域及び臓器領域を抽出し、抽出した臓器領域の各部位に対して、血管領域が及ぼす影響の度合いを示す血管依存度を算出し、算出した血管依存度を示す画像を生成して表示する。
主メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。また、RAMは、ROM、記憶装置103等からロードしたプログラム、データ等を一時的に保持するとともに、CPU101が各種処理を行う為に使用するワークエリアを備える。
記憶装置103は、HDD(ハードディスクドライブ)や他の記録媒体へのデータの読み書きを行う記憶装置であり、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、CPU101により必要に応じて読み出されて主メモリ102のRAMに移され、各種の手段として実行される。
通信I/F104は、通信制御装置、通信ポート等を有し、医用画像処理装置100とネットワーク110との通信を媒介する。また通信I/F104は、ネットワーク110を介して、画像データベース111や、他のコンピュータ、或いは、X線CT装置、MRI装置等の医用画像撮影装置112との通信制御を行う。
I/F106は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106を介して接続させるようにしてもよい。
表示メモリ105は、CPU101から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置107に出力される。
表示装置107は、液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ105を介してCPU101に接続される。表示装置107はCPU101の制御により表示メモリ105に蓄積された表示データを表示する。
入力装置109は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をCPU101に出力する。操作者は、表示装置107、入力装置109、及びマウス108等の外部機器を使用して対話的に医用画像処理装置100を操作する。
ネットワーク110は、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、インターネット等の各種通信網を含み、画像データベース111やサーバ、他の情報機器等と医用画像処理装置100との通信接続を媒介する。
画像データベース111は、医用画像撮影装置112によって撮影された医用画像データを蓄積して記憶するものであり、例えば病院や医療センター等のサーバ等に設けられる。図1に示す画像処理システム1では、画像データベース111はネットワーク110を介して医用画像処理装置100に接続される構成であるが、医用画像処理装置100内の例えば記憶装置103に画像データベース111を設けるようにしてもよい。
次に、図2〜図5を参照して、医用画像処理装置100の動作について説明する。
医用画像処理装置100のCPU101は、主メモリ102から解析処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて解析処理を実行する。
なお、以下の解析処理の実行開始に際して、画像データは画像データベース111等からネットワーク110及び通信I/F104を介して取り込まれ、医用画像処理装置100の記憶装置103に記憶されているものとする。
図2の解析処理において、まず医用画像処理装置100のCPU101は、医用画像データを入力画像データとして読み込む(ステップS11)。ここで読み込む医用画像は、解析対象とする部位の臓器及び血管が撮影された画像である。本実施の形態では、好適な例として心臓部の冠動脈造影画像を用いることとする。解析対象とする部位は心臓部に限定されるものではなく、脳等いずれの部位としてもよい。また、医用画像は、画像の精度や検査負担の面において、X線CT装置によって撮影されたものが好適である。
CPU101は、入力された画像データから、冠動脈領域を抽出する(ステップS12)。抽出には、CT値の閾値処理や領域拡張処理といった、汎用的な公知の方法を利用すればよいため説明を省略する。
次に、CPU101は、心臓の心筋領域を抽出する(ステップS13)。心筋領域として、この例では特に左心室壁を抽出する。
心筋領域壁の抽出では、心筋領域のアキシャル像や左心室の短軸横断像等からマウス108やスタイラスペン等の入力装置を利用し、操作者がマニュアルで輪郭をトレースするといった手法を用いて、擬似的に領域を決定してもよい。
次に、CPU101は、血管依存度を算出する(ステップS14)。
血管依存度とは、臓器が血管から受ける影響の度合いを示す数値であり、臓器と血管との相対的な距離等と呼ばれることもある。ここでは、抽出した心筋領域(臓器)が、抽出した冠動脈(血管)から受ける影響を、血管依存度として計算する。血管依存度は、冠動脈の走行位置と心筋の各部位との距離データ、及び冠動脈の血流量に関するデータを用いて算出される。
具体的には、冠動脈の走行位置と心筋の各部位との距離は、抽出した冠動脈のある部位(Ci)の実空間座標データと、抽出した心筋のある部位(Mn)の実空間座標データとから求められる。また、冠動脈の血流量に関する量としては、例えば冠動脈のある部位(Ci)における断面積または血管径等を利用するものとする。
冠動脈が心筋のある部位(Mn)の近くを走行している場合、その部位(Mn)における血管依存度は大きくなる。また、冠動脈の血流量に関するデータAiが大きい場合にも、その部位(Mn)における血管依存度は大きくなる。
本実施の形態では、冠動脈に狭窄や梗塞が生じ、血流量が正常時より少ない部位や、正常時には本来造影されるが梗塞等により造影剤がまわらず、造影されなかった血管による心筋への影響部位の画像を生成するために、血管依存度の逆を意味する孤立度Ｒ(Mn)を求め、その最小値MinR(Mn)を画素値とする。
孤立度Ｒ(Mn)は、以下の式(1)により定義される。
Figure 2010098444
 ここで、
Aiは、冠動脈のある部位Ciにおける血流量に関する量(例えば、部位Ciの断面積や血管径の2乗値)、
Dist(CiMn)は、冠動脈のある部位Ciと心筋のある部位Mnとの距離である。
添え字の「i」または「ｎ」は位置番号であり、例えば512ピクセルの画像であれば、0〜511等の値とすればよい。
CPU101は、心筋の各部位Mnと冠動脈の各部位Ciとの全ての組み合わせについて、孤立度Ｒ(Mn)を算出し、最小となる組み合わせを決定する。最小の孤立度は、以下の式(2)により定義される。
Figure 2010098444
 CPU101は、最小の孤立度MinR(Mn)を、その部位Mnにおける画素値として定義する。
CPU101は、ステップS13によって抽出された心筋領域の各部位Mnについて、上述の式(2)により孤立度MinR(Mn)を算出し、画素値とする。
最小の孤立度MinR(Mn)の演算の結果、冠動脈が近くを走行しない心筋領域は、他の心筋領域と比べて大きい画素値を有することとなる。
例として、冠動脈のある枝のある部位に血栓による梗塞が生じており、梗塞部から末梢に造影剤が到達していない場合について説明する。
この例の場合、図3(A)に示すように、入力画像データ(冠動脈造影データ)からは、梗塞部より末梢の冠動脈の抽出は困難であり、抽出データとしては、梗塞部から先に冠動脈が存在しないものとなってしまう。
一方、上述のように、式(2)で求められる孤立度MinR(Mn)を画素値として画像化すると、梗塞部より末梢の冠動脈によって影響を受ける心筋領域についても描画が可能となる。すなわち、孤立度が大きいほど、大きい画素値を得るので、画素値の閾値処理やボリュームレンダリング等の手法により、様々な表示形式で画像を生成できるようになる。
図3(A)は、冠動脈の枝21に梗塞部がある冠動脈画像20aと、孤立度MinR(Mn)との関係を示す図であり、図3(B)は、正常な冠動脈画像20bと、孤立度MinR(Mn)の関係を示す図である。
図3(A)に示すように梗塞がある場合と、図3(B)に示すように梗塞がない正常な血管の場合とで、画像20a，20bの同じY位置(Y1)上の各点Mnにおける孤立度MinR(Mn)を比較すると、梗塞がある場合(図3(A))には、2本の冠動脈の間に孤立度MinR(Mn)のピーク23が存在することになる。これは、血流量が少ない、すなわち虚血領域の可能性を可視化することを意味する。
一方、正常な場合(図3(B))には、同一の位置(Y1)に血管24が走行しており、図3(A)と同一のY位置(Y1)での孤立度MinR(Mn)は、グラフ中の26で示すような低い値をとる。
従来は、この種の情報は、例えばMRI装置の遅延造影撮影等によって心筋に造影剤が貯留する領域と貯留しない領域との差が出た状態で撮影することにより画像化することが可能であったが、本手法を用いることで、遅延造影撮影検査等を行わなくても類似の結果を画像化し、梗塞による心筋への影響の有無を推定することが可能となる。
また別の例として、図4を参照して、冠動脈のある部位に、狭窄がある場合について説明する。
まず、CPU101は、狭窄の度合いを定義する。狭窄の度合いとしては、狭窄に起因する血流量の変化を表すパラメータを用いる。本実施形態では、例えば、血管のある部位Ciについて、正常な場合の断面積と、実際の断面積との比S(0＜S＜1)を定義する。ここで、正常な場合の断面積は、冠動脈抽出データから、着目している部位Ciの前後の部位における断面積(または径)を線形補間等により算出する。また、比Sは、断面積そのものを用いず、狭窄部位の径の比を用いたり、操作者が数値入力した値を用いたりしてもよい。
狭窄部位より末梢の冠動脈では、血流量に狭窄の影響が及ぶため、血流量に関する量Aiに狭窄の度合い(比S)を乗じ、上述の式(1)に適用する。
すると、狭窄部位より末梢の冠動脈についての孤立度を表す式(3)は、
Figure 2010098444
 で表され、画素値(最小の孤立度)は、以下の式(4)となる。
Figure 2010098444
 冠動脈に狭窄がある場合、CPU101は、狭窄部位よりも起枝部側の孤立度は式(2)により求めるものとし、狭窄部位及び狭窄部位より末梢側の孤立度は式(4)により求めるものとする。
式(4)の分母には、比S(0＜S＜1)が含まれるので、孤立度としての画素値は狭窄部位よりも末梢側で大きくなる傾向がある。このような部位は、狭心症として影響を受ける部位と推定される。
画像診断では、心臓に負荷が掛かった状態で冠動脈の血流量が増える場合、狭窄部位より末梢は血流量の増加が妨げられ、結果として他の正常な冠動脈に依存する心筋領域と比べて酸素を多く含む血液の供給量が減り、結果として酸素不足となる可能性が高いと予測できる。
図4(A)に示すように狭窄部位31がある場合と、図4(B)に示すように狭窄がない正常な場合とで、画像30a，30bの同じY位置(Y2)上の各点Mnにおける孤立度MinR(Mn)を比較すると、例えば断面積に50パーセントの狭窄(S＝0．5)がある場合(図4(A))には、各冠動脈の走行位置に孤立度が低くなる部分33が現れる。
一方、正常な場合(図4(B))にも、同様に冠動脈の走行位置に、孤立度が低くなる部分36が現れるが、その変化は、図4(A)の場合と比較して緩やかである。これはすなわち、狭窄がある場合には、狭窄の影響を受ける心筋領域に、急激な画素値(孤立度)の変化が見られ、このような画素値の分布を見れば、酸素不足の影響を受ける範囲が推定できる。
ステップS14において、全ての心筋領域における孤立度MinR(Mn)の算出が終了すると、次にCPU101は、算出した孤立度MinR(Mn)を画素値として、例えばボリュームレンダリング等の手法により表示画像を生成し、表示装置107に表示し(ステップS15)、演算結果や生成した表示画像データを記憶装置103に保存する(ステップS16)。
心筋バイアビリティを視覚化する手法として、ブルズアイ・マップや3次元画像として表示する手法が多く用いられている。ステップS15の結果表示処理において、CPU101は、例えば、ブルズアイ・マップに孤立度を示す画像を重畳したり、心筋の3次元画像に孤立度を示す画像を重畳したり、或いは、心筋の短軸方向断面の2次元画像に孤立度を示す画像を重畳したりする。
ブルズアイ・マップとは、心臓を同心円状のマップで表したものであり、深度と角度とからなる極座標上に、心臓の機能情報等を展開するという表示手法である。ブルズアイ・マップの中心からの距離が深度に対応する。深度とは、心臓の断面位置を意味するものである。ここでは、ステップS14で算出した心筋の各部位の孤立度を画素値とし、ブルズアイ・マップに展開する。
表示形式は、例えば、カラーマップ表示、濃淡表示、二値化表示、透明度表示等、いかなる手法で表示することも可能である。カラーマップ表示では、画素値の大きさに応じた色値を設定したカラーテーブルを予め用意しておき、孤立度(画素値)に応じた色値を与える。濃淡表示とは、画素値の大きさを濃淡で表したものである。二値化表示とは、所定の閾値を用いて画素値の大きさを二値化し、所定の閾値より大きい方、または小さい方のいずれかのみを表示させた画像である。また、透明度表示とは、例えばボリュームレンダリングの手法を用い、3次元画像のボリュームデータ(画素値)を視線方向に合計し、所定の透明度を与えて表示するものである。
また、孤立度を所定の表示形式で可視化したブルズアイ・マップや3次元画像等に、冠動脈を重畳表示してもよい。この場合、ステップS12で抽出した冠動脈抽出データから、上述のブルズアイ・マップまたは3次元画像等における冠動脈走行位置を特定し、重畳する。
また、全ての心筋領域について、孤立度を可視化するものではなく、操作者が指定した冠動脈についてのみ、その冠動脈が影響を及ぼす範囲(孤立度)を表示するようにしてもよい。また、冠動脈の任意の部位を指定し、指定された部位より末梢の血管領域についてのみ、孤立度を表示するようにしてもよい。
図5は、本医用画像処理装置100における表示例の一つである。
図2のステップS15における結果表示処理において、例えば、まずCPU101は、図5(A)に示すような、画像51を表示する。この例の画像51は、ブルズアイ・マップに冠動脈を重畳したものである。この段階で、操作者によるマウス108等のポインティングデバイス操作によって、冠動脈のある枝52が指定されると、CPU101は、指定された枝52についての、孤立度を可視化する。
図5(B)は、指定された枝52についての孤立度を可視化した画像55である。図5(B)に示すように、枝52の周囲の領域56，57，58が、それぞれ所定の表示形式で表される。この例では、孤立度の値に応じて、「模様なし」、「斜線」、または「網掛け」のように3段階に表し、この順に孤立度MinR(Mn)が大きくなるものとしている。
図5(B)において、斜線で表された領域57は、領域56、58よりも孤立度が小さいことが視認できる。網掛けで表された領域56、58は、孤立度が大きいことが視認できる。特に、領域56内の枠線で囲まれた領域58については、冠動脈の走行位置から比較的近いが、孤立度が大きいことから、狭窄や梗塞による虚血領域であることが推測できる。
また、図2のステップS15の結果表示処理において、CPU101は、心筋梗塞または狭心症の予測シミュレーション画像を生成し、表示するようにしてもよい。
この予測シミュレーション処理において、CPU101は、血管の狭窄部位を仮定し、仮定した狭窄部位より末梢の血管領域について、狭心症や心筋梗塞の進行における各段階の孤立度を算出し、それぞれの段階での孤立度を上述のように可視化し、連続的に、または並べて表示する。
血管の狭窄部位または梗塞部位の仮定は、例えば、操作者による指示操作により行われる。また、狭心症や心筋梗塞の進行における各段階の孤立度を算出する際、CPU101は、上述の式(4)に用いる狭窄の度合い(比S)を、例えば0．1，0．3，0．5，0．7，0．999のように段階的に変化させて、各段階の孤立度を求める。
以上説明したように、医用画像処理装置100のCPU101は、入力された医用画像(例えば、心臓部の冠動脈造影画像データ)から、血管領域(冠動脈領域)及び臓器領域(例えば、心筋領域)を抽出し、臓器領域の各部位について、血管が及ぼす影響の度合いを示す血管依存度を算出し、画像として出力する。血管依存度は、臓器領域の各部位と血管領域の走行位置との距離データ、及び血管領域の血流量に関するデータに基づいて算出される。また、画像化する血管依存度の形態としては、血管と臓器との相対距離(血流量を考慮した距離)を示す孤立度が好適であるため、CPU101は、臓器領域の各部位と血管領域の走行位置との距離データを、血管領域の血流量に関するデータ(血管の断面積や径)で割り、孤立度を算出する。
その結果、遅延造影検査等を行わなくても、血管造影画像から、血管から受ける臓器への影響の度合いを簡便に可視化できるようになり、患者の検査負担を大幅に軽減できる。
また、冠動脈のある部位が完全に塞栓されている場合に、血管造影画像では描画されない塞栓部より末梢の血管領域についても、臓器への影響を可視化できるので、診断に貢献できる。
なお、上述の実施の形態では、心臓部の画像について解析処理を適用する例を示したが、これに限定されるものではなく、例えば脳など、他の臓器の画像を用いて、血管依存度を可視化するものとしてもよい。
また、血管依存度を生成する画像の表示形式等は、例示したブルズアイ・マップや2次元表示、3次元表示等に限定されず、公知の表示手法または今後開発される表示手法に対しても、本発明に示す血管依存度に基づいた画像生成を適用することが可能である。
以上、本発明に係る医用画像処理装置の好適な実施形態について説明したが、本発明は、上述の実施形態に限定されるものではない。また、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1 画像処理システム、100 医用画像処理装置、101 CPU、102 主メモリ、103 記憶装置、104 通信I/F、105 表示メモリ、106 I/F、107 表示装置、108 マウス(外部機器)、109 入力装置、110 ネットワーク、111 画像データベース、112 医用画像撮影装置、20a，20b，30a，30b 冠動脈造影画像、51 冠動脈画像を重畳したブルズアイ・マップ、55 ・血管依存度(孤立度)を表示したブルズアイ・マップ
また、血管領域の任意の部位を狭窄部位と仮定し、仮定した狭窄部位より末梢の血管領域について、狭窄に起因する血流量の変化を表すパラメータを段階的に変化させることにより、各段階の前記血管依存度を算出するシミュレーション算出手段と、
前記シミュレーション算出手段により算出された各段階の血管依存度を用いて、心筋梗塞または狭心症の予測シミュレーション画像を生成し、表示するシミュレーション画像表示手段と、を更に備えることを特徴とする医用画像処理装置が提供される。
また、医用画像から血管領域及び臓器領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された臓器領域の各部位について、血管が及ぼす影響の度合いを示す血管依存度を算出する算出ステップと、
前記算出ステップにより算出された血管依存度を示す画像を生成し、表示する血管依存度表示ステップと、を備えることを特徴とする医用画像処理方法が提供される。
また、血管領域または血管領域の任意の部位を指定する指定ステップを更に備え、
前記血管依存度表示ステップは、前記指定ステップにより指定された血管領域、または血管領域の部位が指定された場合はその部位より末梢の血管領域について、前記算出ステップにより算出された血管依存度を示す画像を生成し、表示することを特徴とする医用画像処理方法が提供される。

Claims (10)

  1. 医用画像から血管領域及び臓器領域を抽出する抽出手段と、
    前記抽出手段により抽出された臓器領域の各部位について、血管が及ぼす影響の度合いを示す血管依存度を算出する算出手段と、
    前記算出手段により算出された血管依存度を示す画像を生成し、表示する血管依存度表示手段と、を備えることを特徴とする医用画像処理装置。
  2. 前記算出手段により算出される血管依存度は、前記臓器領域の各部位と前記血管領域の走行位置との距離データ、及び前記血管領域の血流量に関するデータに基づいて算出されることを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記算出手段は、前記血管領域に狭窄部位がある場合において、狭窄部位より末梢の血管領域については、狭窄に起因する血流量の変化を表すパラメータを用いて、前記血管依存度を算出することを特徴とする請求項1に記載の医用画像処理装置。
  4. 血管領域または血管領域の任意の部位を指定する指定手段を更に備え、
    前記血管依存度表示手段は、前記指定手段により指定された血管領域、または血管領域の部位が指定された場合はその部位より末梢の血管領域について、前記算出手段により算出された血管依存度を示す画像を生成し、表示することを特徴とする請求項1に記載の医用画像処理装置。
  5. 血管領域の任意の部位を狭窄部位と仮定し、仮定した狭窄部位より末梢の血管領域について、狭窄に起因する血流量の変化を表すパラメータを段階的に変化させることにより、各段階の前記血管依存度を算出するシミュレーション算出手段と、
    前記シミュレーション算出手段により算出された各段階の血管依存度を用いて、心筋梗塞または狭心症の予測シミュレーション画像を生成し、表示するシミュレーション画像表示手段と、を更に備えることを特徴とする請求項1に記載の医用画像処理装置。
  6. 医用画像から血管領域及び臓器領域を抽出する抽出ステップと、
    前記抽出手段により抽出された臓器領域の各部位について、血管が及ぼす影響の度合いを示す血管依存度を算出する算出ステップと、
    前記算出手段により算出された血管依存度を示す画像を生成し、表示する血管依存度表示ステップと、を備えることを特徴とする医用画像処理方法。
  7. 前記算出ステップにより算出される血管依存度は、前記臓器領域の各部位と前記血管領域の走行位置との距離データ、及び前記血管領域の血流量に関するデータに基づいて算出されることを特徴とする請求項6に記載の医用画像処理方法。
  8. 前記算出ステップは、前記血管領域に狭窄部位がある場合において、狭窄部位より末梢の血管領域については、狭窄に起因する血流量の変化を表すパラメータを用いて、前記血管依存度を算出することを特徴とする請求項6に記載の医用画像処理方法。
  9. 血管領域または血管領域の任意の部位を指定する指定ステップを更に備え、
    前記血管依存度表示ステップは、前記指定ステップにより指定された血管領域、または血管領域の部位が指定された場合はその部位より末梢の血管領域について、前記算出手段により算出された血管依存度を示す画像を生成し、表示することを特徴とする請求項6に記載の医用画像処理方法。
  10. 血管領域の任意の部位を狭窄部位と仮定し、仮定した狭窄部位より末梢の血管領域について、狭窄に起因する血流量の変化を表すパラメータを段階的に変化させることにより、各段階の前記血管依存度を算出するシミュレーション算出ステップと、
    前記シミュレーション算出ステップにより算出された各段階の血管依存度を用いて、心筋梗塞または狭心症の予測シミュレーション画像を生成し、表示するシミュレーション画像表示ステップと、を更に備えることを特徴とする請求項6に記載の医用画像処理方法。
JP2011501669A 2009-02-26 2010-02-26 医用画像処理装置及び方法 Active JP5566370B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011501669A JP5566370B2 (ja) 2009-02-26 2010-02-26 医用画像処理装置及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009043320 2009-02-26
JP2009043320 2009-02-26
PCT/JP2010/053085 WO2010098444A1 (ja) 2009-02-26 2010-02-26 医用画像処理装置及び方法
JP2011501669A JP5566370B2 (ja) 2009-02-26 2010-02-26 医用画像処理装置及び方法

Publications (2)

Publication Number Publication Date
JPWO2010098444A1 true JPWO2010098444A1 (ja) 2012-09-06
JP5566370B2 JP5566370B2 (ja) 2014-08-06

Family

ID=42665648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011501669A Active JP5566370B2 (ja) 2009-02-26 2010-02-26 医用画像処理装置及び方法

Country Status (3)

Country Link
US (1) US8768436B2 (ja)
JP (1) JP5566370B2 (ja)
WO (1) WO2010098444A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542950B2 (en) 2017-04-20 2020-01-28 Canon Medical Systems Corporation Medical image diagnostic apparatus, medical image processing apparatus and non-transitory computer readable medium on which medical image processing program has been stored

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5780748B2 (ja) 2010-12-15 2015-09-16 株式会社東芝 医用画像処理装置
WO2012121105A1 (ja) * 2011-03-09 2012-09-13 株式会社 東芝 医用画像処理装置
WO2014084382A1 (ja) 2012-11-30 2014-06-05 株式会社 東芝 医用画像処理装置
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
KR101479577B1 (ko) 2013-04-02 2015-01-06 재단법인 아산사회복지재단 심근 및 심혈관 정보의 통합 분석 방법
JP6260989B2 (ja) 2013-12-05 2018-01-17 富士通株式会社 形状データ生成装置、形状データ生成方法、および形状データ生成プログラム
EP3087921A1 (en) * 2015-04-27 2016-11-02 Coronary Technologies SARL Computer-implemented method for identifying zones of stasis and stenosis in blood vessels
EP3352135B1 (en) 2017-01-19 2019-09-11 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Method and apparatus for segmentation of blood vessels
US11510642B2 (en) * 2019-02-06 2022-11-29 William E. Butler Spatiotemporal reconstruction in higher dimensions of a moving vascular pulse wave from a plurality of lower dimensional angiographic projections
EP4092685A1 (en) * 2021-05-18 2022-11-23 Koninklijke Philips N.V. System and method for generating a visualization of oxygen levels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283191A (ja) * 2000-01-25 2001-10-12 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003033349A (ja) * 2001-07-23 2003-02-04 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2005080942A (ja) * 2003-09-10 2005-03-31 Hitachi Medical Corp 臓器特定領域抽出支援方法及び装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002348241A1 (en) * 2001-11-24 2003-06-10 Image Analysis, Inc. Automatic detection and quantification of coronary and aortic calcium
JP4474140B2 (ja) * 2003-10-21 2010-06-02 株式会社日立メディコ 画像表示装置
US7583829B2 (en) 2004-09-13 2009-09-01 Siemens Medical Solutions Usa, Inc. Method and apparatus for embolism analysis
JP4921882B2 (ja) * 2006-07-31 2012-04-25 株式会社東芝 脳血管診断装置及び医用画像診断装置
US7912270B2 (en) * 2006-11-21 2011-03-22 General Electric Company Method and system for creating and using an impact atlas
US7957574B2 (en) * 2006-11-22 2011-06-07 General Electric Company Methods and apparatus for generating a risk metric for soft plaque in vessels
JP2009018005A (ja) * 2007-07-11 2009-01-29 Toshiba Corp ブルズアイマップ作成装置、ブルズアイマップ作成方法、及び画像処理装置
JP5173303B2 (ja) * 2007-07-27 2013-04-03 株式会社東芝 医用画像処理装置及び医用画像診断装置
WO2010099016A1 (en) * 2009-02-25 2010-09-02 Worcester Polytechnic Institute Automatic vascular model generation based on fluid-structure interactions (fsi)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283191A (ja) * 2000-01-25 2001-10-12 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003033349A (ja) * 2001-07-23 2003-02-04 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2005080942A (ja) * 2003-09-10 2005-03-31 Hitachi Medical Corp 臓器特定領域抽出支援方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542950B2 (en) 2017-04-20 2020-01-28 Canon Medical Systems Corporation Medical image diagnostic apparatus, medical image processing apparatus and non-transitory computer readable medium on which medical image processing program has been stored

Also Published As

Publication number Publication date
WO2010098444A1 (ja) 2010-09-02
US20110306868A1 (en) 2011-12-15
US8768436B2 (en) 2014-07-01
JP5566370B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5566370B2 (ja) 医用画像処理装置及び方法
US9754390B2 (en) Reconstruction of time-varying data
JP5345934B2 (ja) 観察のための三次元レンダリングからのデータ集合の選択
JP6912168B2 (ja) ３ｄ＋時間再構成を改良する方法および装置
US10497123B1 (en) Isolation of aneurysm and parent vessel in volumetric image data
US10083511B2 (en) Angiographic roadmapping mask
US10853956B2 (en) Device and method for medical imaging of coronary vessels
US20140294137A1 (en) Device and computed tomography scanner for determining and visualizing the perfusion of the myocardial muscle
JP5536664B2 (ja) 医用画像処理装置及び方法
US9968324B2 (en) Generating a 2D projection image of a vascular system
JP2010528750A (ja) 管状構造の検査
JP2010000306A (ja) 医用画像診断装置、画像処理装置、及びプログラム
CN107170021B (zh) 时变数据的细化重构
EP3300664B1 (en) Reconstruction of flow data
US10977792B2 (en) Quantitative evaluation of time-varying data
WO2019058657A1 (ja) 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム
JP5196714B2 (ja) 画像表示装置及び画像表示プログラム
WO2019058658A1 (ja) 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム
JP2019180840A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140617

R150 Certificate of patent or registration of utility model

Ref document number: 5566370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250