JP6041781B2 - 医用画像処理装置およびその作動方法並びに医用画像処理プログラム - Google Patents

医用画像処理装置およびその作動方法並びに医用画像処理プログラム Download PDF

Info

Publication number
JP6041781B2
JP6041781B2 JP2013213659A JP2013213659A JP6041781B2 JP 6041781 B2 JP6041781 B2 JP 6041781B2 JP 2013213659 A JP2013213659 A JP 2013213659A JP 2013213659 A JP2013213659 A JP 2013213659A JP 6041781 B2 JP6041781 B2 JP 6041781B2
Authority
JP
Japan
Prior art keywords
medical image
feature point
normalization
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013213659A
Other languages
English (en)
Other versions
JP2015073832A (ja
Inventor
赤堀 貞登
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013213659A priority Critical patent/JP6041781B2/ja
Priority to PCT/JP2014/005103 priority patent/WO2015052919A1/ja
Publication of JP2015073832A publication Critical patent/JP2015073832A/ja
Priority to US15/092,164 priority patent/US9947094B2/en
Application granted granted Critical
Publication of JP6041781B2 publication Critical patent/JP6041781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/503Clinical applications involving diagnosis of heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Description

本発明は、医用画像に基づいて、画像の信号レベルやコントラストのばらつきを補正するための規格化条件を取得する医用画像処理装置および方法並びにプログラムに関するものである。
従来、CT(Computed Tomography)撮影装置、MRI(Magnetic Resonance Imaging)撮影装置、超音波画像撮影装置などによって被検体の断層画像や断層画像からなる3次元画像を取得し、その断層画像などから心臓の左心室などの解剖学的領域を抽出する方法が種々提案されている。
具体的には、たとえばCT撮影装置によって撮影された3次元画像の場合、画素値に対する閾値処理によって所望の領域をある程度の精度で抽出できる。たとえば、画素値の低い画素を抽出することにより肺野領域を抽出したり、画素値の高い画素を抽出することにより骨領域や造影血管領域を抽出したりでき、画素値の情報を信頼性の高い特徴として利用できる。
特開2013−75079号公報 特開2004−141612号公報 特開2006−175231号公報
しかしながら、MRI撮影装置によって撮影される画像として、組織のT1値(縦緩和時間)の差を強調したT1強調像やT2値(横緩和時間)の差を強調したT2強調像などがあるが、これらの画像の画質は、磁場強度やパルスシーケンスによって大きく変化する。そして、物質によって画素値が定義されているCT画像(たとえば、空気は−1000、水は0、固い骨は+1000など)とは異なり、画素値は規格化されていない。
したがって、MR画像の場合、領域抽出の際、画素間のコントラストや形状に頼らざるを得ず、自動抽出や半自動抽出を精度よく行うことが困難である。
また、CT画像の場合、診断対象部位に応じて適切なウィンドウ幅およびウィンドウレベルやカラーマップを設定しておけば、各解剖学的構造を一定の明るさやカラーが割り当てられた状態で画像を観察することができる。
しかしながら、MR画像の場合は、上述したように画素値が規格化されていないので、所望の状態で画像を観察するためには、撮影ごとにウィンドウ幅およびウィンドウレベルやカラーマップの設定を調節する必要があり、手間がかかる問題がある。
なお、特許文献1においては、グラフカット法を用いて心室領域を抽出する方法が提案されているが、CT値を用いる方法しか開示されていない。
また、特許文献2においては、予め設定された閾値で2値化した結果を用いて心室領域を抽出する方法が提案されているが、上述したようにMR画像の場合、画素値が規格化されていないので、特許文献2に記載の方法では高精度な領域抽出ができない。
また、特許文献3においては、High-pass filterを用いてMR画像の不均一性を補正する方法が提案されているが、画像全体の信号レベルやコントラストの変動は補正できない。
本発明は、上記事情に鑑み、MR画像のように画素値が規格化されていない医用画像から高精度に解剖学的領域の抽出を行うことができ、また、医用画像毎の画素値やコントラストのばらつきを低減することができる医用画像処理装置およびその作動方法並びに医用画像処理プログラムを提供することを目的とするものである。
本発明の医用画像処理装置は、医用画像に基づいて、その医用画像に含まれる解剖学的特徴点を抽出する特徴点抽出部と、医用画像の画素値のうちの解剖学的特徴点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得する規格化条件取得部とを備えたことを特徴とする。
また、上記本発明の医用画像処理装置においては、規格化条件取得部を、解剖学的特徴点の周辺の画素群の画素値を取得し、その画素群の画素値の統計量を取得し、その統計量に基づいて規格化条件を取得するものとできる。
また、規格化条件取得部を、画素群の画素値を複数の群に分類し、その各群の統計量を取得し、その統計量に基づいて規格化条件を取得するものとできる。
また、規格化条件取得部を、画素群の画素値の統計量が予め設定された値となる規格化条件を取得するものとできる。
また、規格化条件取得部を、画素群を複数の群に分類するための境界値を取得し、その境界値に基づいて規格化条件を取得するものとできる。
また、特徴点抽出部を、医用画像の各画素値に対して、その各画素値の周辺画素値に基づいて算出された統計量に基づいて変換処理を施して変換画像を生成し、その変換画像に基づいて、解剖学的特徴点を抽出するものとできる。
また、規格化条件と医用画像に基づいて、医用画像に含まれる解剖学的領域を抽出する領域抽出処理を施す領域抽出処理部を設けることができる。
また、領域抽出処理部を、規格化条件と医用画像に基づいて評価関数を設定し、その評価関数の最適解を求めることによって領域抽出処理を行うものとできる。
また、医用画像に対して、規格化条件を用いて規格化処理を施す規格化処理部を備えたものとできる。
また、規格化処理の施された医用画像を表示させる表示制御部を設けることができる。
また、表示制御部を、規格化条件に基づいてウィンドウ幅およびレベル値を設定するものとできる。
また、医用画像に対して、規格化条件および表示条件との両方を含む処理を直接施して表示用画像を生成し、その表示用画像を表示させる表示制御部を設けることができる。
また、医用画像として、MRI(Magnetic Resonance Imaging)装置によって撮影されたものを用いることができる。
本発明の医用画像処理装置の作動方法は、特徴点抽出部と、規格化条件取得部とを備えた医用画像処理装置の作動方法であって、特徴点抽出部が、医用画像に基づいて、その医用画像に含まれる解剖学的特徴点を抽出し、規格化条件取得部が、医用画像の画素値のうちの解剖学的特徴点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得することを特徴とする。
本発明の医用画像処理プログラムは、コンピュータを、医用画像に基づいて、その医用画像に含まれる解剖学的特徴点を抽出する特徴点抽出部と、医用画像の画素値のうちの解剖学的特徴点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得する規格化条件取得部として機能させることを特徴とする。
本発明の医用画像処理装置およびその作動方法並びに医用画像処理プログラムによれば、医用画像に基づいて、その医用画像に含まれる解剖学的特徴点を抽出し、医用画像の画素値のうちの解剖学的特徴点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得するようにしたので、MR画像や超音波画像などをその規格化条件に基づいて規格化するようにした場合には、これらの医用画像から高精度に解剖学的領域の抽出を行うことができ、また、医用画像毎の画素値やコントラストのばらつきを低減することができる。また、解剖学的特徴点の周辺の一部の画素値に基づいて規格化条件を取得しているので、解剖学的構造に応じたより適切な規格化条件を取得することができる。
本発明の医用画像処理装置およびその作動方法並びに医用画像処理プログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 変換画像を生成する際に用いられるkernelの一例を示す図 変換処理前の医用画像と変換処理後の医用画像の一例を示す図 左心室中心点の抽出処理を説明するための図 規格化条件の取得方法の一実施形態を説明するための図 規格化条件の取得方法のその他の実施形態を説明するための図 グラフカット法による抽出処理を説明するための図 本発明の医用画像処理装置およびその作動方法並びに医用画像処理プログラムの一実施形態の作用を説明するためのフローチャート ヒストグラムを生成する際に設定される3次元的なエリアの一例を示す図 ヒストグラムを生成する際に設定される3次元的なエリアのその他の例を示す図 本発明の医用画像処理装置およびその作動方法並びに医用画像処理プログラムのその他の実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図
以下、本発明の医用画像処理装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システム1は、図1に示すように、医用画像処理装置10と、ディスプレイ20と、入力装置30と、医用画像保管サーバ40とを備えている。
医用画像処理装置10は、コンピュータに本実施形態の医用画像処理プログラムをインストールすることによって構成されたものである。
医用画像処理装置10は、中央処理装置(CPU)および半導体メモリや、本実施形態の医用画像処理プログラムがインストールされたハードディスクやSSD(Solid State Drive)等のストレージデバイスを備えており、これらのハードウェアによって、図1に示すような医用画像取得部11、特徴点抽出部12、規格化条件取得部13、規格化処理部14、領域抽出処理部15および表示制御部16が構成されている。そして、ハードディスクにインストールされた医用画像処理プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。なお、医用画像処理プログラムは、CD−ROMなどの記録媒体に記録されたものを用いてもよいし、インターネットを経由してサーバなどからダウンロードしたものを用いてもよいし、インターネットを介してSaaS(Software as a Service)によって提供されるものを用いてもよい。
医用画像取得部11は、予め撮影された医用画像を取得するものである。本実施形態においては、医用画像として、MRI(Magnetic Resonance Imaging)装置によって心臓を含む部位を撮影した断層画像や、この断層画像から再構成されたボリュームデータを取得する。医用画像は、医用画像保管サーバ40に被検者の識別情報とともに予め保管されており、医用画像取得部11は、入力装置30において入力された被検者の識別情報に対応する医用画像を医用画像保管サーバ40から読み出すものである。
特徴点抽出部12は、医用画像取得部11によって取得された医用画像に基づいて、解剖学的特徴点を抽出するものである。解剖学的特徴点は、生体の解剖学上において、生体が恒常的に備える不変な特徴を表す点であることが好ましい。本実施形態においては、心臓の左心室の中心点を抽出する。
ここで、本実施形態の特徴点抽出部12における心臓の左心室中心点の抽出方法について説明する。
特徴点抽出部12は、まず、入力された医用画像の各画素値に対して、その周辺画素値に基づいて算出された統計量に基づいて変換処理を施して変換画像を生成する。具体的には、医用画像内の所定の注目画素I(x,y)について、図2に示すような5画素×5画素のkernel内の平均値Mlocalおよび標準偏差SDlocalを算出し、下式(1)を算出することによって変換処理を施してIc(x,y)を算出する。なお、下式におけるConstは、予め設定された定数である。そして、医用画像内に含まれる各画素をそれぞれ注目画素として、それぞれIc(x,y)を算出し、Ic(x,y)からなる変換画像を生成する。
図3(a),(b)は、上述した変換処理前の医用画像の例と、変換処理後の変換画像の例を示すものである。図3(a),(b)における変換処理前の医用画像は、それぞれ異なる撮影条件などで撮影された医用画像であり、そのためコントラストが全く異なる画像となっている。これらの医用画像に対し、上述した変換処理を施すことによって、元の医用画像の画素値やコントラストのばらつきに関わらず、局所的な構造の特徴をそろえることができ、これにより後述する解剖学的特徴点の抽出処理において、安定した抽出処理を行うことができる。
次に、特徴点抽出部12は、上述した変換画像から解剖学的特徴点として左心室中心点を抽出する。具体的には、まず、左心室中心点を含む心臓のサンプル群と左心室中心点を含まないサンプル群とを予め用意し、これらのサンプル群を用いてAdaboostに基づいたマシンラーニング手法によって判別器を作成する。
そして、図4に示すように、変換画像において注目画素を中心とした検出領域を走査し、その検出領域内の特徴量を算出する。それを学習段階で得られた判別器に入力し、判別値を求め、判別値が所定の閾値を超えた場合、左心室中心点を含む心臓の領域であると判別する。
検出領域内の心臓の領域と判別器の心臓の領域の大きさが異なる場合でも検出できるようにするため、上述したような判別は、変換画像の解像度を変化させながら行われる。
なお、上述した左心室中心点の抽出処理によって、複数の左心室中心点の候補が抽出された場合には、その複数の候補の重心を求め、その重心を最終的な左心室中心点として決定する。ただし、重心を求めるのではなく、たとえば各候補について所定の評価方法に基づいて評価値を算出し、その評価値から最終的な左心室中心点として決定するようにしてもよい。
また、心臓の左心室は先が尖るような形状をしていることから、断層画像の断層位置によって左心室領域の大きさが異なる。そこで、判別を行う変換画像の解像度を断層位置に応じて変更するようにしてもよい。または、複数の異なる大きさの判別器および検出領域を用いて、断層画像から左心室中心点を抽出するようにしてもよい。
なお、変換画像からの左心室中心点の抽出処理について、上述したような方法に限らず、その他の公知なパターン認識手法を用いることができる。画素値やコントラストが画像毎にばらつく医用画像から安定して抽出を行うために、上式(1)に例示するような式により変換を行うことが本実施形態の特徴的な点の一つである。
次に、規格化条件取得部13は、特徴点抽出部12において抽出された解剖学的特徴点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得するものである。本実施形態の規格化条件取得部13は、具体的には、図5に示すように、規格化対象である医用画像において、左心室中心点近傍に円形状のエリアを設定し、そのエリア内の画素値を収集してヒストグラムを取得する。なお、円形状のエリアの大きさは、ユーザーによって任意に設定された値と、特徴点抽出部12において特徴点が検出された解像度に応じて決定される。
そして、本実施形態においては、円形状のエリア内に心室の画素値と心筋の画素値とが存在すると仮定し、円形状のエリア内の画素を2つのクラス(分布)に分類する。たとえば、判別分析法(大津の2値化)などを用いることができ、各クラスの平均値V1,V2を得ることができる。その他に、K-means法など公知の手法を用いて求めるようにしてもよい。次に、この各クラスの画素値I(x,y)の平均値V1,V2が、予め設定された規格値V1’、V2’となるように下式(2)のa、bの値を決定する。この式を用いることによって、画像毎に画素値やコントラストがばらついていた入力画像を、心室・心筋の画素値が規格化された画像へと変換することができる。
なお、上記説明では、各クラスの平均値V1,V2が予め設定された値となるようなa、bを取得するようにしたが、これに限らず、各クラスに分類するための境界値V3が、予め設定された値となるようなcを取得し、そのcの値が設定された下式(3)を規格化条件として取得するようにしてもよい。
また、上記説明では、円形状のエリア内に心室の画素値と心筋の画素値とが存在すると仮定し、2つのクラスに分類するようにしたが、これに限らず、たとえば、図6に示すように円形状のエリアの大きさを小さくし、円形状のエリア内に心室の画素値のみが存在すると仮定するようにしてもよい。この場合、規格化条件取得部13は、円形状のエリア内の各画素値I(x,y)の平均値V4が、予め設定された値となるようなdを取得し、そのdの値が設定された下式(4)を規格化条件として取得する。
なお、上記説明では、平均値V1,V2,V4を算出するようにしたが、これに限らず、その他の統計量を用いるようにしてもよく、たとえば標準偏差を算出するようにしてもよい。
規格化処理部14は、規格化条件取得部13によって取得された規格化条件に基づいて、医用画像に対して規格化処理を施すものである。具体的には、医用画像の各画素値I(x,y)と、上述した上式(2)〜(4)のいずれかの式に基づいて、IN(x,y)を算出することによって規格化処理済医用画像を生成するものである。
領域抽出処理部15は、規格化処理部14において生成された規格化処理済医用画像に対してグラフカット法を用いた領域抽出処理を施すことによって心臓領域を抽出するものである。以下、このグラフカット法を用いた領域抽出処理について説明する。
領域抽出処理部15は、規格化処理済医用画像の各画素を表すノードNijkと、各画素が取り得るラベル(ここでは、心臓領域とそれ以外の領域)を表すノードS、Tと、隣接する画素のノード同士をつなぐリンクであるn−linkと、各画素を表すノードNijkと心臓領域を表すノードSまたは心臓領域以外を表すノードTとをつなぐリンクであるt−linkとから構成されるグラフィカルモデルを生成する(図7の左図を参照。ただし、図7では理解を容易にするため、2次元領域の分割を示している。)。
ここで、n−linkは、隣接する画素が同一領域のボクセルである確からしさを表すものであり、その確からしさは、たとえばそれらの隣接する画素間の画素値の差に基づいて求めることができる。各画素を表すノードNijkと左心室領域以外の領域を表すノードTをつなぐt−linkは、その画素が左心室領域以外の周囲の領域に含まれる画素である確からしさを表すものである。また、各画素を表すノードNijkと左心室領域を表すノードSをつなぐt−linkは、その画素が左心室領域に含まれる画素である確からしさを表すものである。
なお、上述したn−linkやt−linkは、確からしさを表すコスト関数として表現することができる。
そして、本実施形態においては、心臓領域として、心臓領域を構成する心室領域(造影された領域)と心筋領域とを別々に抽出する。
心室領域を抽出する際には、ノードNijkと心室領域以外の領域を表すノードTをつなぐt−linkは、たとえば、画素値が、統計的に予め取得された心室領域の周囲の画素値の範囲内であるか否かの判定結果に基づいて算出することができる。また、ノードNijkと心室領域を表すノードSをつなぐt−linkは、たとえば、画素値が、統計的に予め取得された心室領域の画素値の範囲内であるか否かの判定結果に基づいて算出することができる。
そして、各画素を表すノードと、心室領域を表すノードSまたは心室領域以外を表すノードTとをつなぐ2つのt−linkのうち片方を切断するとともに、異なるラベルを有する隣接する画素のノード同士をつなぐn−linkを切断することにより、心室領域と心室領域以外に分割する(図7の右図を参照)。このとき、切断する全てのt−linkおよびn−linkのコストの合計が最小になるようにすることにより、最適な領域分割をすることができる。すなわち、t−linkのコスト関数をfv(Xv)、n−linkのコスト関数をfuv(Xu,Xv)とした場合、下式のコストの合計E(x)が最小となるように領域分割される。なお、規格化処理済医用画像の画素値は、下式の第1項のコスト関数fv(Xv)に用いられる。
また、心筋領域を抽出する際には、ノードNijkと心筋領域以外の領域を表すノードTをつなぐt−linkは、たとえば、画素値が、統計的に予め取得された心筋領域の周囲の画素値の範囲内であるか否かの判定結果に基づいて算出することができる。また、ノードNijkと心筋領域を表すノードSをつなぐt−linkは、たとえば、画素値が、統計的に予め取得された心筋領域の画素値の範囲内であるか否かの判定結果に基づいて算出することができる。
そして、各画素を表すノードと、心筋領域を表すノードSまたは心筋領域以外を表すノードTとをつなぐ2つのt−linkのうち片方を切断するとともに、異なるラベルを有する隣接する画素のノード同士をつなぐn−linkを切断することにより、心筋領域と心筋領域以外に分割する。このときも、切断する全てのt−linkおよびn−linkのコストの合計が最小になるようにすることにより、すなわち最適解を求めることにより、適切な領域分割をすることができる。
領域抽出処理部15は、まず、心室領域をグラフカット法により抽出した後、心室領域を除いた領域から心筋領域をグラフカット法により抽出し、これらの領域を合わせた最終的な心臓領域を取得する。なお、多クラスのグラフカット法(”Delong,A. Boykov, Y.,”Globally optimal segmentation of multi-region objects”,ICCV2009など参照)を用いて心室領域と心筋領域とを同時に抽出するようにしてもよい。
また、領域抽出処理としては、上述したようなグラフカット法による領域抽出処理に限らず、動的輪郭モデルを用いた領域抽出処理を行うようにしてもよい。動的輪郭モデルを用いた領域抽出処理においては、評価関数が定義され、抽出対象領域の輪郭点の位置を変化させながら評価関数を演算することによって最適解が求められる。動的輪郭モデルを用いた領域抽出処理は、既に公知な方法であり、たとえば「栄藤:“動的輪郭モデルSnakesの概観”,Medical Imaging Technology, vol. 12, no.1, pp.9-15, 1994」に記載の方法や、「M Kass, A Wilin, D Terzopoulos:“Snakes: Active contour models”, International Journal of Computer Vision, vol. 1, pp. 312-331, 1988」に記載の方法を用いることができる。評価関数は、下式に示すように、輪郭v(s)=(x(s), y(s))に対して3つの項で定義される。
なお、Eintは、内部エネルギーを示す項であり、輪郭の滑らかさをコントロールする項である。Eimageは、画像エネルギーを示す項であり、輪郭の位置を、輝度変化の大きな位置にコントロールする項である。Econは、外部エネルギーを示す項であり、たとえば外部からの指定によって輪郭の一部を固定したい場合には、輪郭上の点v(s)と指定点pとの差分項(v(s)-p)2を加えるようにすれば良い。
なお、上記説明では、規格化処理済医用画像に対して領域抽出処理を施すようにしたが、規格化処理済医用画像を生成することなく、評価関数の中に規格化条件の変換式を直接組み込むことによって領域抽出処理を施すようにしてもよい。
表示制御部16は、医用画像取得部11によって取得された医用画像や、医用画像に対して規格化処理が施された規格化処理済医用画像や、領域抽出処理部15によって抽出された左心室領域画像などをディスプレイ20に表示させるものである。
ここで、本実施形態の表示制御部16は、規格化処理が施された規格化処理済医用画像を階調表示可能なものであり、この階調表示の際に、上述した規格化条件に基づいてウィンドウ幅(WW)やウィンドウレベル(WL)を設定するものである。ウィンドウ幅(WW)およびウィンドウレベル(WL)は、規格化処理済医用画像の画素値の大きさと輝度とを対応させて予め設定されるものである。
また、表示制御部16は、規格化処理済医用画像をカラー表示可能なものであり、このカラー表示の際に、上述した規格化条件に基づいてカラーマップを設定するものである。カラーマップは、規格化処理済医用画像の画素値の大きさと色とを対応させて予め設定されるものである。
入力装置30は、使用者の所定の情報の入力を受け付けるものであり、たとえばキーボードやマウスなどのポインティングデバイスによって構成されるものである。
次に、本発明の一実施形態を用いた医用画像診断支援システムの作用について、図8に示すフローチャートを参照しながら説明する。
まず、入力装置30において被検者の識別情報が入力され、医用画像処理装置10の医用画像取得部11は、その入力された被検者の識別情報に対応する医用画像を医用画像保管サーバ40から読み出して取得する(S10)。なお、ここでは、上述したように医用画像としてMRI装置によって撮影されたものを読み出して取得するものとする。
医用画像取得部11によって取得された医用画像は特徴点抽出部12に入力され、特徴点抽出部12は、医用画像に対して上述した変換処理を施して変換画像を生成する(S12)。そして、特徴点抽出部12は、その変換画像から解剖学的特徴点として左心室中心点を抽出する(S14)。
次に、医用画像と左心室中心点の位置情報とが規格化条件取得部13に入力され、規格化条件取得部13は、左心室中心点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得する(S16)。
規格化条件取得部13によって取得された規格化条件は、規格化処理部14に入力され、規格化処理部14は、医用画像に対して規格化条件に基づいて規格化処理を施し、規格化処理済医用画像を生成する(S18)。
規格化処理済医用画像は領域抽出処理部15に入力され、領域抽出処理部15は、グラフカット法を用いて規格化処理済医用画像から左心室領域を抽出する(S20)。
そして、表示制御部16によって規格化処理済医用画像や左心室領域の画像などがディスプレイに表示される(S22)。
上記実施形態の医用画像診断支援システムによれば、医用画像に含まれる解剖学的特徴点を抽出し、その解剖学的特徴点の周辺の一部の画素値に基づいて、医用画像の画素値の規格化条件を取得し、その規格化条件に基づいて医用画像を規格化するようにしたので、医用画像から高精度に解剖学的領域の抽出を行うことができ、また、医用画像毎の画素値やコントラストのばらつきを低減することができる。また、解剖学的特徴点の周辺の一部の画素値に基づいて規格化条件を取得しているので、解剖学的構造に応じたより適切な規格化条件を取得することができる。
なお、上記実施形態においては、医用画像としてMR画像を取得する場合について説明したが、超音波画像など他の画像に適用してもよい。
また、上記実施形態においては、医用画像として断層画像を取得し、その断層画像の規格化条件を取得する場合について説明したが、医用画像として複数枚の断層画像からなる3次元画像を取得し、その3次元画像の規格化条件を取得するようにしてもよい。以下、心臓を含む3次元画像の規格化条件を取得する方法について説明する。
まず、上述した断層画像の場合と同様にして、3次元画像を構成する各断層画像に対して変換処理を施して各断層画像の変換画像を生成する。次に、上記と同様にして、各変換画像から解剖学的特徴点として左心室中心点を抽出する。そして、各変換画像において抽出された左心室中心点を直線近似することによって左心室の中心線を取得する。
次いで、各断層画像について、左心室の中心線との交点を中心とする円形状のエリアをそれぞれ設定し、その円形状のエリア内の画素値をそれぞれ収集する。そして、上記と同様にして、各断層画像について、それぞれ規格化条件を取得し、その規格化条件に基づいて規格化処理を施して規格化処理済断層画像をそれぞれ生成する。
そして、複数の規格化処理済断層画像からなる規格化処理済3次元画像に対してグラフカット法を用いた領域抽出処理を施すことによって左心室領域を抽出する。この左心室領域の画像や規格化処理済3次元画像は、ディスプレイ20に表示されるが、この際、上記と同様に、規格化処理済3次元画像の画素値の大きさに対応させて予め設定されたウィンドウ幅(WW)やウィンドウレベル(WL)やカラーマップが使用される。
なお、上記説明では、3次元画像を構成する各断層画像についてそれぞれ規格化条件を取得するようにしたが、これに限らず、3次元画像に対して1つの規格化条件を取得するようにしてもよい。具体的には、たとえば左心室中心点を直線近似することによって取得された中心線の周辺に、図9に示すような円柱形状の3次元的なエリアを設定し、その3次元的なエリア内の画素値を収集して解析を行うことによって1つの規格化条件を取得するようにしてもよい。
なお、3次元的なエリアの形状としては、図9に示すような円柱形状に限らず、心臓の左心室は先が尖るような形状をしていることから、図10に示すような円錐台形状としてもよい。すなわち、対象臓器の形状に応じてヒストグラムの画素値を収集するためのエリアを設定するようにしてもよい。また、3次元画像に対して1つの規格化条件を取得する場合に限らず、各断層画像について、それぞれ円形状のエリアを設定して規格化条件を取得する場合においても、各断層画像の断層位置に応じて円形状のエリアの大きさを変更するようにしてもよい。
また、上記実施形態においては、医用画像に対して規格化条件に基づいて規格化処理を施して規格化処理済断層画像や規格化処理済3次元画像を生成するようにしたが、必ずしもこれらの画像を生成しなくてもよい。図12は、規格化処理済断層画像や規格化処理済3次元画像を生成しない医用画像診断支援システム2の構成を示すものである。
図12に示す医用画像診断支援システム2の医用画像処理装置50においては、規格化条件取得部13によって取得された規格化条件は、表示制御部17に入力される。表示制御部17は、上述したウィンドウ幅(WW)およびウィンドウレベル(WL)の設定も規格化条件に基づく規格化処理と同様に線形変換であることから、規格化条件とウィンドウ幅(WW)およびウィンドウレベル(WL)の設定との両方を含む線形変換式を求め、医用画像に対して、その線形変化式に基づく処理を直接施して表示用画像を生成する。
そして、表示制御部17は、上述したようにして医用画像から直接生成した表示用画像をディスプレイ20に表示させる。
上記実施形態においては、左心室の領域のみを抽出するようにしたが、さらに右心室の領域を抽出するようにしてもよい。
また、上記実施形態の説明においては、解剖学的特徴点として左心室の中心点を抽出するようにしたが、これに限らず、たとえば心臓の場合、心臓の心尖点や、三尖弁や大動脈弁を構成する各弁の頂点が交わる点などを用いてもよい。また、心臓以外では、大動脈中心点、眼球中心点、脊髄中心点、脊椎中心点などを用いてもよく、たとえば米国特許第7599539に記載のものなど種々の公知な解剖学的特徴点を使用することができる。
また、上記のような解剖学的特徴点に基づいて規格化した画像を、大動脈、眼球、脊髄、脊椎などの領域抽出に用いることができる。
また、心臓の3次元画像に時間軸も加えた4次元画像を医用画像として取得するような場合には、拡張末期フェーズの心臓の3次元画像に基づいて規格化条件を取得し、その規格化条件をその他のフェーズの心臓の3次元画像に用いて規格化処理済3次元画像や表示用画像などを生成するようにしてもよい。また、拡張末期フェーズの規格化処理済3次元画像から左心室領域を抽出した結果を用いて、その他のフェーズの規格化処理前の3次元画像または規格化処理済3次元画像から左心室領域を抽出するようにしてもよい。なお、拡張末期フェーズの左心室領域の抽出結果に基づいて、その他のフェーズの左心室領域を抽出する方法については、既に公知であるので説明を省略する。
1,2 医用画像診断支援システム
10 医用画像処理装置
11 医用画像取得部
12 特徴点抽出部
12 特徴点抽出部
13 規格化条件取得部
14 規格化処理部
15 領域抽出処理部
16,17 表示制御部
17 表示制御部
20 ディスプレイ
30 入力装置
40 医用画像保管サーバ
50 医用画像処理装置

Claims (15)

  1. 医用画像に基づいて、該医用画像に含まれる解剖学的特徴点を抽出する特徴点抽出部と、
    前記医用画像の画素値のうちの前記解剖学的特徴点の周辺の一部の画素値に基づいて、前記医用画像の画素値の規格化条件を取得する規格化条件取得部とを備えたことを特徴とする医用画像処理装置。
  2. 前記規格化条件取得部が、前記解剖学的特徴点の周辺の画素群の画素値を取得し、該画素群の画素値の統計量を取得し、該統計量に基づいて前記規格化条件を取得するものである請求項1記載の医用画像処理装置。
  3. 前記規格化条件取得部が、前記画素群の画素値を複数の群に分類し、該各群の統計量を取得し、該統計量に基づいて前記規格化条件を取得するものである請求項2記載の医用画像処理装置。
  4. 前記規格化条件取得部が、前記画素群の画素値の統計量が予め設定された値となる前記規格化条件を取得するものである請求項2記載の医用画像処理装置。
  5. 前記規格化条件取得部が、前記解剖学的特徴点の周辺の画素群の画素値を取得し、前記画素群を複数の群に分類するための境界値を取得し、該境界値に基づいて前記規格化条件を取得するものである請求項1記載の医用画像処理装置。
  6. 前記特徴点抽出部が、前記医用画像の各画素値に対して、該各画素値の周辺画素値に基づいて算出された統計量に基づいて変換処理を施して変換画像を生成し、該変換画像に基づいて、前記解剖学的特徴点を抽出するものである請求項1から5いずれか1項記載の医用画像処理装置。
  7. 前記規格化条件と前記医用画像に基づいて、前記医用画像に含まれる解剖学的領域を抽出する領域抽出処理を施す領域抽出処理部を備えた請求項1から6いずれか1項記載の医用画像処理装置。
  8. 前記領域抽出処理部が、前記規格化条件と前記医用画像に基づいて評価関数を設定し、該評価関数の最適解を求めることによって前記領域抽出処理を行うものである請求項7記載の医用画像処理装置。
  9. 前記医用画像に対して、前記規格化条件を用いて規格化処理を施す規格化処理部を備えたものである請求項1から8いずれか1項記載の医用画像処理装置。
  10. 前記規格化処理の施された医用画像を表示させる表示制御部を備えたものである請求項9項記載の医用画像処理装置。
  11. 前記表示制御部が、前記規格化条件に基づいてウィンドウ幅およびレベル値を設定するものである請求項10記載の医用画像処理装置。
  12. 前記医用画像に対して、前記規格化条件および表示条件との両方を含む処理を直接施して表示用画像を生成し、該表示用画像を表示させる表示制御部を備えたものである請求項1から8いずれか1項記載の医用画像処理装置。
  13. 前記医用画像が、MRI(Magnetic Resonance Imaging)装置によって撮影されたものであることを特徴とする請求項1から12いずれか1項記載の医用画像処理装置。
  14. 特徴点抽出部と、規格化条件取得部とを備えた医用画像処理装置の作動方法であって、
    前記特徴点抽出部が、医用画像に基づいて、該医用画像に含まれる解剖学的特徴点を抽出し、
    前記規格化条件取得部が、前記医用画像の画素値のうちの前記解剖学的特徴点の周辺の一部の画素値に基づいて、前記医用画像の画素値の規格化条件を取得することを特徴とする医用画像処理装置の作動方法。
  15. コンピュータを、医用画像に基づいて、該医用画像に含まれる解剖学的特徴点を抽出する特徴点抽出部と、
    前記医用画像の画素値のうちの前記解剖学的特徴点の周辺の一部の画素値に基づいて、前記医用画像の画素値の規格化条件を取得する規格化条件取得部として機能させることを特徴とする医用画像処理プログラム。
JP2013213659A 2013-10-11 2013-10-11 医用画像処理装置およびその作動方法並びに医用画像処理プログラム Active JP6041781B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013213659A JP6041781B2 (ja) 2013-10-11 2013-10-11 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
PCT/JP2014/005103 WO2015052919A1 (ja) 2013-10-11 2014-10-07 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
US15/092,164 US9947094B2 (en) 2013-10-11 2016-04-06 Medical image processing device, operation method therefor, and medical image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013213659A JP6041781B2 (ja) 2013-10-11 2013-10-11 医用画像処理装置およびその作動方法並びに医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015073832A JP2015073832A (ja) 2015-04-20
JP6041781B2 true JP6041781B2 (ja) 2016-12-14

Family

ID=52812751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013213659A Active JP6041781B2 (ja) 2013-10-11 2013-10-11 医用画像処理装置およびその作動方法並びに医用画像処理プログラム

Country Status (3)

Country Link
US (1) US9947094B2 (ja)
JP (1) JP6041781B2 (ja)
WO (1) WO2015052919A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111813A1 (ja) * 2012-01-27 2013-08-01 株式会社 東芝 医用画像処理装置
JP6041781B2 (ja) * 2013-10-11 2016-12-14 富士フイルム株式会社 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
JP6731753B2 (ja) * 2016-03-07 2020-07-29 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP7005191B2 (ja) 2017-06-30 2022-01-21 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置、及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6474678A (en) * 1987-09-17 1989-03-20 Toshiba Corp Picture display device
JPH0616767B2 (ja) * 1990-02-14 1994-03-09 株式会社東芝 画像表示装置
US6021213A (en) * 1996-06-13 2000-02-01 Eli Lilly And Company Automatic contextual segmentation for imaging bones for osteoporosis therapies
US6430430B1 (en) * 1999-04-29 2002-08-06 University Of South Florida Method and system for knowledge guided hyperintensity detection and volumetric measurement
JP4352449B2 (ja) 2002-08-30 2009-10-28 株式会社日立メディコ 画像表示装置
WO2004040437A1 (en) * 2002-10-28 2004-05-13 The General Hospital Corporation Tissue disorder imaging analysis
US20080021502A1 (en) * 2004-06-21 2008-01-24 The Trustees Of Columbia University In The City Of New York Systems and methods for automatic symmetry identification and for quantification of asymmetry for analytic, diagnostic and therapeutic purposes
DE102004061507B4 (de) 2004-12-21 2007-04-12 Siemens Ag Verfahren zur Korrektur von Inhomogenitäten in einem Bild sowie bildgebende Vorrichtung dazu
US7599539B2 (en) 2006-07-28 2009-10-06 Varian Medical Systems International Ag Anatomic orientation in medical images
US8155408B2 (en) * 2008-04-15 2012-04-10 General Electric Company Standardized normal database having anatomical phase information
WO2010099360A1 (en) * 2009-02-25 2010-09-02 Mohamed Rashwan Mahfouz Customized orthopaedic implants and related methods
JP2010227394A (ja) * 2009-03-27 2010-10-14 Toshiba Corp 医用画像表示装置及び医用画像表示方法
JP5230809B2 (ja) * 2009-06-25 2013-07-10 株式会社日立メディコ 医用画像撮影装置
JP5575491B2 (ja) * 2010-01-14 2014-08-20 株式会社東芝 医療画像診断装置
JP5347003B2 (ja) 2011-09-30 2013-11-20 富士フイルム株式会社 医用画像処理装置および方法ならびにプログラム
AU2013229631B2 (en) * 2012-03-05 2017-09-14 Bracco Imaging Spa Dynamic Contrast Enhanced MRI method and agents for the assessment of the macromolecular transport within pathologic tissues
US10339648B2 (en) * 2013-01-18 2019-07-02 H. Lee Moffitt Cancer Center And Research Institute, Inc. Quantitative predictors of tumor severity
JP6041781B2 (ja) * 2013-10-11 2016-12-14 富士フイルム株式会社 医用画像処理装置およびその作動方法並びに医用画像処理プログラム

Also Published As

Publication number Publication date
US9947094B2 (en) 2018-04-17
US20160217572A1 (en) 2016-07-28
WO2015052919A1 (ja) 2015-04-16
JP2015073832A (ja) 2015-04-20

Similar Documents

Publication Publication Date Title
US11344273B2 (en) Methods and systems for extracting blood vessel
US11593943B2 (en) RECIST assessment of tumour progression
CN106340021B (zh) 血管提取方法
US8693750B2 (en) Method and system for automatic detection of spinal bone lesions in 3D medical image data
JP5893623B2 (ja) データ・セットにおける異常検出方法およびシステム
US8958614B2 (en) Image-based detection using hierarchical learning
EP3035287A1 (en) Image processing apparatus, and image processing method
JP2011526508A (ja) 医療用画像の領域分割
JP2006034585A (ja) 画像表示装置、画像表示方法およびそのプログラム
US9947094B2 (en) Medical image processing device, operation method therefor, and medical image processing program
JP6415878B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
Lu et al. Cardiac chamber segmentation using deep learning on magnetic resonance images from patients before and after atrial septal occlusion surgery
Lenga et al. Deep learning based rib centerline extraction and labeling
US9672600B2 (en) Clavicle suppression in radiographic images
EP4118617A1 (en) Automated detection of tumors based on image processing
US10307124B2 (en) Image display device, method, and program for determining common regions in images
EP4209994A1 (en) Method and system for automatic classification of radiographic images having different acquisition characteristics
Xiao et al. Segmentation of cerebrovascular anatomy from TOF-MRA using length-strained enhancement and random walker
EP4270311A1 (en) Image identification program, image identification method, image identification device
Zakaria et al. Graphcut as a Segmentation Method of Covid-19 X-Ray Image for Diagnose Purpose
US20210383547A1 (en) Medical image processing
Kukar et al. Multi-resolution image parametrization in stepwise diagnostics of coronary artery disease
WO2023017438A1 (en) System and method for medical image translation
JP2018027302A (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム
Balaji et al. Automatic Classification of Anterio-Posterior and Lateral Views of Leg X-rays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161108

R150 Certificate of patent or registration of utility model

Ref document number: 6041781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250