KR101203047B1 - 뇌 자기공명영상 기반의 정량 분석 시스템 - Google Patents

뇌 자기공명영상 기반의 정량 분석 시스템 Download PDF

Info

Publication number
KR101203047B1
KR101203047B1 KR1020100118792A KR20100118792A KR101203047B1 KR 101203047 B1 KR101203047 B1 KR 101203047B1 KR 1020100118792 A KR1020100118792 A KR 1020100118792A KR 20100118792 A KR20100118792 A KR 20100118792A KR 101203047 B1 KR101203047 B1 KR 101203047B1
Authority
KR
South Korea
Prior art keywords
image
brain
module
mri
quantitative analysis
Prior art date
Application number
KR1020100118792A
Other languages
English (en)
Other versions
KR20120057170A (ko
Inventor
최흥국
김동억
박경종
전웅기
Original Assignee
동국대학교 산학협력단
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 인제대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020100118792A priority Critical patent/KR101203047B1/ko
Publication of KR20120057170A publication Critical patent/KR20120057170A/ko
Application granted granted Critical
Publication of KR101203047B1 publication Critical patent/KR101203047B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4806Functional imaging of brain activation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Neurosurgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명의 뇌 MRI 기반의 정량 분석 시스템은, 촬영된 MRI 영상으로부터 병변으로 의심되는 영역을 선택하고 뇌 표준판에 정합하는 영상정합수단과, 상기 영상정합수단에 의해 정합된 결과들을 누적하여 통계적인 수치데이터로 변환해주는 영상분석수단을 포함하는 것을 특징으로 한다.
본 발명에 의하면 병변 선택이 가능한 영상정합수단에 의하여 대규모 영상자료를 축적할 수 있고, 이러한 영상자료들을 토대로 영상분석수단을 통해 정량적인 분석이 가능하다.

Description

뇌 자기공명영상 기반의 정량 분석 시스템{SYSTEM FOR QUANTITATIVE ANALYSIS BASED ON BRAIN MAGNETIC RESONANCE IMAGING}
본 발명은 뇌 MRI(Magnetic Resonance Imaging, 자기공명영상) 영상을 이용한 정량적 분석 시스템에 관한 것으로, 특히 임상시험 및 연구에서 사용가능하도록 임상시험 및 연구에 특화된 2D(2 dimension)-MR 뇌 영상 정합기술 모듈들과 대규모 뇌 MRI 영상에 대한 통계 분석 모듈들로 구성된 뇌 MRI 기반의 정량 분석 시스템에 관한 것이다.
종래의 뇌 MRI 정량 분석을 위한 소프트웨어 및 시스템에는 대표적으로 SPM(Statistical Parametric Mapping)이나 MRIcro가 있었다.
먼저 SPM은 사용자 편의성에 있어서 학습이 필요하였고, 병변(lesion)을 선택하거나 데이터베이스와 연동하는 것이 불가능하였으며, Magic-Wand, Lasso, Zoom 기능이나 분석 기능을 수행하지 못하는 단점이 있었다.
한편 MRIcro는 사용자 편의성 면에서는 직관적이라는 장점이 있었으나 통계처리가 불가능하였고, Magic-Wand, Lasso, Zoom 기능도 일부만 가능하였으며 분석기능도 미비하다는 단점이 있었다.
본 발명은 상기의 문제점을 해결하기 위해 병변 선택이 가능함과 동시에 환자의 뇌 영상을 정합하고, 그 결과들을 누적하여 통계적인 수치데이터로 변환시켜주는 것을 특징으로 하였기 때문에 뇌 MRI 기반의 임상연구에 특화된 영상을 처리하고 분석할 수 있는 시스템을 얻고자 하는 것을 목적으로 한다.
상기 기술적 과제를 달성하기 위해 본 발명에서는 뇌 MRI 기반의 정량 분석 시스템이 제공된다.
본 발명의 뇌 MRI 기반의 정량 분석 시스템은, 촬영된 MRI 영상으로부터 병변으로 의심되는 영역을 선택하고 뇌 표준판에 정합하는 영상정합수단과, 상기 영상정합수단에 의해 정합된 결과들을 누적하여 통계적인 수치데이터로 변환해주는 영상분석수단을 포함하는 것을 특징으로 한다.
여기서 상기 영상정합수단은, 경사에코(Gradient Echo), T2 강조(T2 Weighted), 유체감쇄반전(Fluid Attenuated Inversion Recovery, FLAIR) 또는 확산강조(Diffusion Weighted) 중 적어도 하나 이상의 MRI 영상 유형을 로딩하는 제1 데이터로딩모듈; 영상정합 전에 움직임을 보정하고 촬영된 영상의 잡음 제거 및 영상 개선을 위한 전처리모듈; 뇌 표준판 영상에서 환자의 뇌 영상과 가장 유사한 영상을 선택하도록 하는 표준판선택모듈; 병변으로 의심되는 관심영역을 사용자로 하여금 지정하도록 하고 영역확장기법을 결합하여 선택할 수 있도록 하는 병변선택모듈; 메쉬-워프(mesh warp) 기법에 의해 환자의 뇌 영상과 표준판 영상을 정합시키는 정합모듈; 정합 전의 원본 영상과 정합된 영역을 수치화한 데이터와 전처리 과정의 설정값, 메쉬(mesh) 설정값 및 환자정보를 저장하는 데이터저장모듈 및; 병변 선택 작업창, 병변 선택 결과, 원본 영상 또는 정합 결과를 화면에 출력하는 영상뷰어부와, 전처리에 관한 설정, 뇌 표준판 선택 설정 또는 병변 선택 및 정합에 관한 설정을 수행하는 제어부를 포함하는 제1 유저인터페이스모듈; 을 포함하는 것을 특징으로 한다.
한편 여기서 상기 영상분석수단은, 정합 전 뇌 영상인 원본 영상과 정합된 영역을 수치화한 데이터와 전처리 과정의 설정값, 메쉬(mesh) 설정값 및 환자정보를 로딩하는 제2 데이터로딩모듈; 상기 제2 데이터로딩모듈에 의해 로딩된 데이터에 대하여 경사에코(Gradient Echo), T2 강조(T2 Weighted), 유체감쇄반전(Fluid Attenuated Inversion Recovery, FLAIR) 또는 확산강조(Diffusion Weighted) 중 적어도 하나 이상의 MRI 영상 유형에 따른 필터링, 환자의 나이 및 성별에 따른 필터링, 표준판(template) 범위 선택에 따른 필터링, CSV(Comma Separated Value) 파일을 이용한 필터링, MR 시퀀스(sequence) 간 집합 연산을 이용한 필터링 중 적어도 하나 이상의 방식을 이용하여 필터링하는 필터링모듈; 및, 마우스 클릭으로 사용자가 원하는 결과값을 그래픽으로 보여주는 GUI(Graphical User Interface)부와, 대량의 결과값들을 일괄적으로 산출할 수 있는 CSV 형식의 배치파일인터페이스부를 포함하는 제2 유저인터페이스모듈; 을 포함하는 것을 특징으로 한다.
또한 여기서 상기 MRI 영상은 표준 DICOM(Digital Imaging Communication in Medicine) 영상 포맷인 것이 바람직하다.
또한 여기서 상기 DICOM 영상 포맷은 DCMTK 공개 라이브러리를 사용하여 로오 데이터(raw data)를 비트맵(bitmap) 형식으로 변환되고, 헤더 부분의 환자 정보, 촬영 정보 및 영상정보는 별도로 저장되는 것을 특징으로 한다.
한편 상기 뇌 표준판은 MRIcro에서 사용되는 Ch2bet의 뇌 표준판을 리슬라이싱(re-slicing)한 후 이미지 저장을 통해 개선되는 것이 바람직하다.
또한 상기의 병변선택모듈은 색상값을 이용하여 관심영역을 선택하는 Magic wand 기능, 관심영역의 시작부분을 클릭한 상태에서 손을 떼지 않고 선택하려는 모양대로 드래그하여 다시 상기 시작부분으로 돌아와 마우스를 떼면 선택되는 Lasso 기능, 확대 및 축소하는 줌 인/아웃(zoom in/out) 기능 또는 정합 완료 후 누락된 병변 영역을 포함시키도록 하는 로컬 애드(local add) 기능을 제공하는 것이 바람직하다.
한편 여기서 상기 메쉬-워프(mesh warp) 기법은 환자의 뇌 영상과 뇌 표준판 영상 간에 15×15 크기의 메쉬 그리드(mesh grid)의 중심점과 상, 하, 좌 및 우 끝점을 일치하도록 맞추고 메쉬 포인트(mesh point) 상의 점들의 위치를 x/y 축으로 각각 선형 보간(linear interpolation)하여 환자의 뇌 영상과 뇌 표준판 영상의 왜곡된 부분까지 정합한다.
또 한편 상기 표준판 범위 선택에 따른 필터링은 설정된 슬라이스 범위 내에서 특정 슬라이스가 선택된 경우, 상기 설정된 슬라이스 범위 내의 병변이 관찰된 슬라이스들 중에서 상기 특정 슬라이스에 해당하거나 가장 가까운 슬라이스만 선택되는 것을 특징으로 한다.
상기와 같은 구성에 의하면, 본 발명은 병변 선택이 가능한 영상정합수단에 의하여 대규모 영상자료를 축적할 수 있고, 이러한 영상자료들을 토대로 영상분석수단을 통해 정량적인 분석이 가능하도록 구성하였으므로 MRI 영상 소견을 결론 변수로 하는 실제 임상시험에서 사용가능하고, 4만 여명의 급성 뇌졸중 환자의 임상정보가 축적되어 있는 장래의 뇌졸중 데이터베이스(prospective stroke database)인 한국 뇌졸중 등록체계(Korean Stroke Registry)의 수치자료 이외에도 MRI 영상 자료를 실시간 정량 분석할 수 있는 자료로 변환 구축할 수 있어 보다 유리한 효과가 있는 것이다.
또한 종래의 뇌-영상처리 소프트웨어 및 시스템의 병변 추출 및 정합의 정밀도를 개선할 수 있으며, 영상전문의 또는 임상의사 뿐만 아니라 연구보조원도 쉽게 사용할 수 있는 사용자 직관적, 친화적 인터페이스를 구축한 시스템을 제공할 수 있다.
또한 임상시험 및 연구의 신뢰도와 경제성이 향상되면서 국내 임상시험 및 연구의 질적 향상을 기대할 수 있다. 나아가 영상 대리표지자를 결론변수로 하는 임상시험 수행의 양적 증가에도 기여함으로써 국내 임상시험 분야가 활성화될 수 있다.
도 1은 본 발명의 뇌 MRI 기반의 정량 분석 시스템의 바람직한 일실시예에 있어서 전체 구성도이다.
도 2는 본 발명의 상기 데이터로딩모듈에 의해서 로딩되는 종래의 4가지 유형의 뇌 MRI 영상을 나타내는 예시화면이다.
도 3은 상기 전처리모듈에 의해 활성화된 제어판을 나타낸 예시화면이다.
도 4는 상기 표준판선택모듈에 의해 사용자로 하여금 표준판 선택을 수행할 수 있도록 구현된 예시화면이다.
도 5a는 상기 병변선택모듈이 사용자로 하여금 병변으로 의심되는 영역을 선택을 수행할 수 있도록 구현된 예시화면이다.
도 5b는 상기 병변선택모듈의 MRI 영상 축소, 확대 또는 로컬 추가 기능이 구현된 예시화면이다.
도 6은 상기 정합모듈에 의해서 사용되는 메쉬-워프 알고리즘이 수행되는 동작과정을 나타내는 예시화면이다.
도 7a는 상기 제1 유저인터페이스모듈의 영상뷰어부가 출력하는 예시화면이다.
도 7b는 상기 제1 유저인터페이스모듈의 제어부가 활성화시키는 제어판의 예시화면이다.
도 8은 본 발명의 바람직한 일실시예에 있어서, 표준판(template) 범위 선택에 따른 필터링의 개념도이다.
도 9는 상기 필터링모듈이 서로 다른 두 가지 이상의 유형인 확산-T2 가 선택된 경우 차집합 연산 결과를 나타낸 예시화면이다.
도 10은 상기 제2 유저인터페이스모듈이 제공하는 GUI와 배치 인터페이스를 나타낸 예시화면이다.
도 11은 본 발명의 뇌 MRI 기반의 정량 분석 시스템에 따른 사용자간 및 사용자내 정합 일치도를 측정한 결과 그래프이다.
도 12는 본 발명의 임상 시험을 통한 뇌 MRI 기반의 정량 분석 시스템에 있어서 신경손상도가 낮은 군과 높은 군에 대한 확률 누적 병변 지도와 뇌경색 병변의 중심에 대한 산점도(scatter plot)를 나타낸다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 뇌 MRI 기반의 정량 분석 시스템의 바람직한 일실시예에 있어서 전체 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 뇌 MRI 기반의 정량 분석 시스템(100)은 촬영된 MRI 영상으로부터 병변으로 의심되는 영역을 선택하고 뇌 표준판에 정합하는 영상정합수단(110)과, 상기 영상정합수단(110)에 의해 정합된 결과들을 누적하여 통계적인 수치데이터로 변환해주는 영상분석수단(120)으로 나눌 수 있다.
또한 상기 영상정합수단(110)은 제1 데이터로딩모듈(111), 전처리모듈(112), 표준판선택모듈(113), 병변선택모듈(114), 정합모듈(115), 데이터저장모듈(116) 및 제1 유저인터페이스모듈(117)을 포함하여 구성된다.
한편 상기 영상정합수단(110)과 영상분석수단(120)은 영상 정합 조작 및 정합 과정과 영상 분석 결과를 보여주는 화면 표시가 가능한 컴퓨터 장치(미도시)와 같은 입출력 장치와 데이터 통신이 가능하다.
이하에서는 도면과 함께 상기 영상정합수단(110)의 각 모듈별 기능을 상세하게 설명한다.
제1 데이터로딩모듈(111)은 MRI 영상의 유형에 따라 병변이 다르게 나타나기 때문에 경사에코(Gradient Echo), T2 강조(T2 Weighted), 유체감쇄반전(Fluid Attenuated Inversion Recovery, FLAIR) 또는 확산강조(Diffusion Weighted)의 4가지 유형의 뇌 MRI 영상에 대한 지원을 가능하게 한다.
도 2는 본 발명의 상기 데이터로딩모듈에 의해서 로딩되는 종래의 4가지 유형의 뇌 MRI 영상을 나타내는 예시화면이다. 상기 뇌 MRI 영상들은 의료 기기 장치에서 보편적으로 사용하는 표준 DICOM(Digital Imaging Communication in Medicine)을 기본 영상 포맷으로 사용한다.
한편 상기 제1 데이터로딩모듈(111)은 DICOM 영상 포맷을 사용하여 영상처리 및 분석을 용이하게 하기 위해서 헤더 정보를 제외한 로오 데이터(Raw Data) 부분만 추출하여야 하므로 DCMTK 공개 라이브러리를 사용하여 로오 데이터를 비트맵(bitmap) 형식으로 변환하고, 헤더 부분의 환자 정보, 촬영 정보, 영상 정보 등은 별도로 데이터베이스에 저장하여 필터링 등 필요한 경우에 언제든지 사용할 수 있도록 한다.
전처리모듈(112)은 정합하기 전에 움직임을 보정하고 촬영된 영상의 잡음 제거 및 영상 개선을 수행한다. 바람직하게는 제어판(control panel)을 활성화시켜 사용자로 하여금 직접 밝기의 Min/Max 값, 회전각, x/y 좌표 위치를 조작하게 할 수 있다. 도 3은 상기 전처리모듈(112)에 의해 활성화된 제어판을 나타낸 예시화면이다.
표준판선택모듈(113)은 뇌 표준판 영상에서 환자의 영상과 가장 유사한 영상을 선택하도록 하며, 사용한 뇌 표준판은 MRIcro에서 사용되는 Ch2bet 뇌 표준판을 리슬라이싱(re-slicing) 후에 이미지 저장(image restoration)을 통해 개선한 후 사용한다. 영상 선택은 사용자의 판단이 중요하므로 사용자가 환자 영상과 뇌 표준영상을 대조하여 선택할 수 있도록 한다. 도 4는 상기 표준판선택모듈(113)에 의해 사용자로 하여금 표준판 선택을 수행할 수 있도록 구현된 예시화면이다.
병변선택모듈(114)은 병변으로 의심되는 영역을 사용자에 의한 수동 관심 영역 지정과 영역 확장 기법을 결합하여 정확하게 선택할 수 있도록 한다.
예를 들어 T2 강조 MRI 영상에서 영역 확장 기법을 사용할 경우, 뇌실(Ventricle) 부분과 병변 부분의 색 구별이 쉽지 않아 정확한 병변을 선택하기 어려우므로, 이를 보완하기 위해 상기 병변선택모듈(114)은 관심 영역(Region of Interest, ROI)을 1차적으로 설정하도록 하고 그 외 영역은 최종 선택영역에서 제외한 후 가중치를 변화시켜가며 영역 확장이 수행되도록 한다.
반면에 확산(Diffusion) MRI와 같이 뇌실 부분의 색이 검은 색이고 병변 부분의 색이 흰색인 경우, 뇌실 부분과 병변의 구분이 쉽기 때문에 수동 관심영역의 사용 빈도수는 줄어들 것이다.
도 5a는 상기 병변선택모듈(114)이 사용자로 하여금 병변으로 의심되는 영역을 선택을 수행할 수 있도록 구현된 예시화면이다.
또한 상기 병변선택모듈(114)은 병변 선택시 사용자의 편의성을 고려하여 Magic wand, Lasso 도구를 제공하도록 하고, 정밀작업을 위한 필수 기능으로 줌 인/아웃(Zoom In/Out) 기능과, 정합이 완료되고 수정사항이 발생하면 다시 처음부터 작업을 해야 하는 단점을 보완하기 위해 사용자가 실수로 누락된 병변 영역을 포함시킬 수 있도록 로컬 추가(Local Add) 기능을 수행할 수 있도록 한다.
도 5b는 상기 병변선택모듈(114)의 MRI 영상 축소, 확대 또는 로컬 추가 기능이 구현된 예시화면이다.
한편 정합모듈(115)은 환자의 뇌 영상과 표준판 영상을 정합하며 메쉬-워프(Mesh-warp) 기법의 알고리즘을 사용한다. 상기 메쉬-워프 기법은, 먼저 환자의 MRI 영상과 표준판 영상 간에 15×15 크기의 메쉬 그리드(grid)의 중심점과 상, 하, 좌, 우 끝점을 일치하도록 맞추고 일반적으로 내부공간이 왜곡되어 있으므로, 메쉬 포인트 상의 점들의 위치를 x/y축으로 각각 선형 보간(linear interpolation)하여 원본 영상과 표준판 영상의 왜곡된 부분까지 정합되도록 한다.
도 6은 상기 정합모듈(115)에 의해서 사용되는 메쉬-워프 알고리즘이 수행되는 동작과정을 나타내는 예시화면이다. 도 6에 도시된 바와 같이, 좌측 상단부터 시계방향으로 메쉬-워프 기법을 설명한다. 좌측 상단의 환자의 MRI 영상과 표준판 영상의 메쉬가 일치하지 않으므로 우측 상단과 같이 메쉬를 일치시킨다. 우측 하단의 그림과 같이 병변의 위치가 표준판 위치와 비교할 때 왜곡이 생기므로, 좌측 하단의 그림과 같이 왜곡된 부분을 정합시킨다.
한편 데이터저장모듈(116)은 원본 영상을 보존하고 정합된 영역을 수치화하여 저장할 수 있도록 한다. 산출된 수치화된 데이터는 저장되는 정략적 데이터 생성의 기반이 되며, 실제 저장되는 정보들에는 전처리 과정의 설정값, 메쉬 설정값이 포함된다.
한편 제1 유저인터페이스모듈(117)은 크게 영상뷰어부(미도시)와 제어부(미도시)를 포함한다. 도 7a는 상기 제1 유저인터페이스모듈(117)의 영상뷰어부가 출력하는 예시화면이다.
상기 제1 유저인터페이스모듈(117)의 영상뷰어부는 도 7a에 도시된 바와 같이 4개의 윈도우를 화면 표시하며, 각각의 윈도우는 독립적인 기능을 수행하여 사용자가 가장 좋은 결과를 도출할 수 있도록 한다.
도 7b는 상기 제1 유저인터페이스모듈(117)의 제어부가 활성화시키는 제어판의 예시화면이다. 도 7b에 도시된 바와 같이 상기 제1 유저인터페이스모듈(117)의 제어부는 바람직하게는 4개의 제어판을 활성화시키며, 사용자의 편의를 고려하여 정합의 순서에 따라 전처리, 표준판 선택, 메쉬 설정, 정합 수행의 순서로 기능을 분류하며, 순차적으로 진행될 수 있도록 한다.
한편 상기 영상분석수단(120)은 제2 데이터로딩모듈(121), 필터링모듈(122) 및 제2 유저인터페이스모듈(123)을 포함하여 구성된다.
이하에서는 도면과 함께 상기 영상분석수단(120)의 각 모듈별 기능을 상세하게 설명한다.
상기 영상정합수단(110)에 의해 정합되어 저장된 데이터에는 뇌 표준판에 정합된 병변에 관한 데이터뿐만 아니라, 환자 정보 및 정합시 사용된 메시 등의 데이터들이 같이 저장되기 때문에, 제2 데이터로딩모듈(121)은 이를 적절히 관리하기 위해 별개의 클래스를 새롭게 정의하고, 각 파일에 대한 정보는 상기 클래스의 객체로 표현하며, 컨테이너에 보관되도록 구조화한다. 이를 기반으로 결과를 표시하고자 하는 뇌 표준판 영상, 실험군의 정량화된 병변 파일들을 로딩하고 실험결과에 영향을 미치는 환자 정보 출력이 이루어지도록 한다.
한편 필터링모듈(122)은 상기 제2 데이터로딩모듈(121)에 의해 로딩된 데이터베이스 목록에서 사용자가 원하는 누적 정보만을 얻기 위하여 5가지 형태의 필터링 방식을 제공하는 것이 바람직하다. 상기 5가지 방식은 첫째, 4가지 MRI 영상 유형에 대한 필터링, 둘째, 환자의 나이 및 성별에 대한 필터링, 셋째, 실험에 적용할 데이터 파일의 표준판(template) 범위 선택, 넷째, CSV(Comma Separated Value) 파일을 이용한 필터링, 다섯 째, MRI 시퀀스 간 집합 연산을 이용한 필터링이 될 수 있다.
도 8은 본 발명의 바람직한 일실시예에 있어서, 표준판(template) 범위 선택에 따른 필터링의 개념도이다.
도 8에 도시된 바와 같이, 표준판(template) 범위 선택시 171번 슬라이스가 선택된 경우, 병변이 관찰된 슬라이스가 166, 169, 172, 175번 슬라이스였다면 171번에 가장 가까운 172번을 선택하고 나머지는 필터링 되어서 결과에서 제거되도록 한다. 필터링 옵션으로 설정된 범위가 166~175번이나 그 안에 병변이 선택된 데이터가 없다면 선택되지 않은 상태로 결과를 생성한다. 이러한 필터링을 사용한 이유는 171번 슬라이스를 선택해도 병변이 171번에 집중적으로 몰려 있을 경우가 드물기 때문에 범위를 설정하여 일정 범위 내의 데이터를 포괄해서 결과물을 산출하기 위해 표준판 범위라는 개념을 도입한다.
한편 상기 4가지 MRI 영상 유형에 대한 필터링 중 서로 다른 두 가지 이상의 유형이 선택된 경우, 상기 필터링모듈(122)은 기본적으로는 영상들 간의 합집합 연산 결과를 보여주며, 차집합, 교집합, 대칭 차집합 등 특정 집합 연산자를 선택하면 해당하는 연산 결과를 출력하도록 한다. 도 9는 상기 필터링모듈(122)이 서로 다른 두 가지 이상의 유형인 확산-T2 가 선택된 경우 차집합 연산 결과를 나타낸 예시화면이다.
한편 제2 유저인터페이스모듈(123)은 두 가지 방식의 인터페이스를 제공할 수 있다. 하나는 일반적인 GUI(Graphic User Interface)이며, 다른 하나는 결과값을 얻기 위한 일련의 과정들을 일괄적인 파일 형식으로 만들어 처리하는 배치 인터페이스이다. 도 10은 상기 제2 유저인터페이스모듈(123)이 제공하는 GUI와 배치 인터페이스를 나타낸 예시화면이다.
도 10에 도시된 바와 같이, 상기 GUI 형식의 인터페이스는 결과값을 얻기 위한 처리 조건들을 마우스 클릭으로 설정하여 실험자가 원하는 결과값을 산출할 수 있으며, 조작이 간단하고 원하는 결과값을 화면을 통해 바로 확인할 수 있도록 하는 장점이 있으나, 많은 양의 결과값을 산출함에 있어서 모든 결과값을 동시에 가시화하는 것은 불가능하다. 따라서 이를 보완하기 위해 상기 제2 유저인터페이스모듈(123)은 대량의 결과값들을 일괄적으로 산출할 수 있는 CSV 형식의 배치 파일 인터페이스를 제공한다.
이하에서는 본 발명의 뇌 MRI 기반의 정량 분석 시스템의 신뢰도 및 유용성 검증 결과를 설명한다.
본 발명의 뇌 MRI 기반의 정량 분석 시스템 검증을 위해 사용자간(inter-user, 연구보조원과 신경과 전문의) 및 사용자내(intra-user, 신경과 전공의) 정합 일치도를 평가하였다.
즉 무작위로 선정된 9명의 환자로부터 다시 무작위로 선정된 18개 병변의 무게중심(Center of Gravity)이 선형상관관계를 보이는 검증하였고, 사용자내 정합 일치도 판정을 위해서 같은 영상 자료에 대해 3개월 간격을 두고 반복하여 정합 작업을 수행하였으며, 그룹간의 평균의 비교는 Student's t-검정을 사용하였고, 분율의 비교는 카이제곱 검정을 사용하였다. 선형상간관계를 확인하기 위하여 피어슨 상관계수를 사용하였으며, p값이 0.05 미만인 경우 통계적으로 유의하다고 판정하였다.
도 11은 본 발명의 뇌 MRI 기반의 정량 분석 시스템에 따른 사용자간 및 사용자내 정합 일치도를 측정한 결과 그래프이다. 도 11의 상단의 두 그래프는 사용자간 정합 일치도를 측정한 결과이며, 하단의 두 그래프는 사용자내, 즉 신경과 전공의가 3개월간의 간격을 두고 동일한 영상자료에 대하여 반복하여 측정한 결과이다. 두 경우 모두 무작위로 선정된 9명의 한자에게서 18개의 병변을 추출하여 병변의 무게중심을 찾아서 x/y 좌표를 비교하였다. 결과적으로 사용자간, 사용자내 정합 일치도가 결정계수 기준으로 볼 때 유의한 상관관계를 보인다.
또한 본 발명의 임상 시험을 통한 뇌 MRI 기반의 정량 분석 시스템의 유용성을 평가하기 위해 뇌경색 병변의 누적 지도화를 통해 신경학적 손상도에 따른 그룹 간의 병변 위치 정보를 추출하고 비교하였다. 도 12는 본 발명의 임상 시험을 통한 뇌 MRI 기반의 정량 분석 시스템에 있어서 신경손상도가 낮은 군과 높은 군에 대한 확률 누적 병변 지도와 뇌경색 병변의 중심에 대한 산점도(scatter plot)를 나타낸다.
도 12에 도시된 바와 같이, 연구대상 환자를 입원 NIHSS(National Institute of Health Stroke Scale, 미국립 보건원 뇌졸중스케일) 점수의 중앙값을 기준으로 신경학적 손상도가 낮은 군과 높은 군으로 양분하였을 때, 그룹별로 해당 환자의 뇌경색 병변을 누적시켜 지도화해보면 가장 많이 겹치는 열점(hot spot)의 위치가 두 군 간에 차이를 보인다. 이와 더불어 병변의 크기, 대뇌부챗살 뇌경색이 섬유막 및 기저핵 영역까지 침범하고 있는 증례의 빈도, 전향적으로 조사된 인구학 인자 및 위험인자 등이 두 군 간에 차이를 보이는지도 분석하였다.
이에 따라 연구 대상 환자들의 뇌경색 병변을 누적시켜 지도화했을 때, 4 슬라이스 중 3 슬라이스에서 열점의 위치가 신경손상도가 높은 군에서 낮은 군에 비해 좀 더 후외측에 위치함을 알 수 있었고, 병변의 무게중심만을 x-y 좌표 상에 표시했을 때, 본 발명을 이용해 병변 전체를 누적 지도화시킨 결과와 부합됨을 확인할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 부가 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
한편, 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬(플로피) 디스크(floptical(Floppy) disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100:뇌 MRI 기반의 정량 분석 시스템 110: 영상정합수단
111: 제1 데이터로딩모듈 112: 전처리모듈
113: 표준판선택모듈 114: 병변선택모듈
115: 정합모듈 116: 데이터저장모듈
117: 제1 유저인터페이스모듈 120: 영상분석수단
121: 제2 데이터로딩모듈 122: 필터링모듈
123: 제2 유저인터페이스모듈

Claims (9)

  1. 뇌 MRI(Magnetic Resonance Imaging) 영상을 이용하여 병변의 정량적 분석을 하기 위한 시스템에 있어서,
    촬영된 MRI 영상으로부터 병변으로 의심되는 영역을 선택하고 뇌 표준판에 정합하는 영상정합수단과,
    상기 영상정합수단에 의해 정합된 결과들을 누적하여 통계적인 수치데이터로 변환해주는 영상분석수단을 포함하며,
    상기 영상정합수단은, 정합 전 움직임을 보정하고 촬영된 영상의 잡음 제거 및 영상 개선을 위한 전처리모듈; 및
    병변으로 의심되는 관심영역을 사용자로 하여금 지정하도록 하고 영역확장기법을 결합하여 선택할 수 있도록 하는데, 영역확장시 관심 영역(Region of Interest, ROI)을 1차적으로 설정하도록 하고 그 외 영역은 최종 선택영역에서 제외한 후 가중치를 변화시켜가며 영역 확장이 수행되도록 하고, 정합 완료 후 누락된 병변 영역을 포함시키도록 하는 로컬 애드(local add) 기능을 제공하는 병변선택모듈;을 포함하는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  2. 청구항 1에 있어서,
    상기 영상정합수단은,
    경사에코(Gradient Echo), T2 강조(T2 Weighted), 유체감쇄반전(Fluid Attenuated Inversion Recovery, FLAIR) 또는 확산강조(Diffusion Weighted) 중 적어도 하나 이상의 MRI 영상 유형을 로딩하는 제1 데이터로딩모듈;
    뇌 표준판 영상에서 환자의 뇌 영상과 가장 유사한 영상을 선택하도록 하는 표준판선택모듈;
    메쉬-워프(mesh warp) 기법에 의해 환자의 뇌 영상과 표준판 영상을 정합시키는 정합모듈;
    정합 전의 원본 영상과 정합된 영역을 수치화한 데이터와 전처리 과정의 설정값, 메쉬(mesh) 설정값 및 환자정보를 저장하는 데이터저장모듈 및;
    병변 선택 작업창, 병변 선택 결과, 원본 영상 또는 정합 결과를 화면에 출력하는 영상뷰어부와, 전처리에 관한 설정, 뇌 표준판 선택 설정 또는 병변 선택 및 정합에 관한 설정을 수행하는 제어부를 포함하는 제1 유저인터페이스모듈;
    을 더 포함하는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 영상분석수단은,
    정합 전 원본 영상과 정합된 영역을 수치화한 데이터와 전처리 과정의 설정값, 메쉬(mesh) 설정값 및 환자정보를 로딩하는 제2 데이터로딩모듈;
    상기 제2 데이터로딩모듈에 의해 로딩된 데이터에 대하여 경사에코(Gradient Echo), T2 강조(T2 Weighted), 유체감쇄반전(Fluid Attenuated Inversion Recovery, FLAIR) 또는 확산강조(Diffusion Weighted) 중 적어도 하나 이상의 MRI 영상 유형에 따른 필터링, 환자의 나이 및 성별에 따른 필터링, 표준판(template) 범위 선택에 따른 필터링, CSV(Comma Separated Value) 파일을 이용한 필터링, MR 시퀀스(sequence) 간 집합 연산을 이용한 필터링 중 적어도 하나 이상의 방식을 이용하여 필터링하는 필터링모듈; 및,
    마우스 클릭으로 사용자가 원하는 결과값을 그래픽으로 보여주는 GUI(Graphical User Interface)부와, 대량의 결과값들을 일괄적으로 산출할 수 있는 CSV 형식의 배치파일인터페이스부를 포함하는 제2 유저인터페이스모듈;
    을 포함하는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 MRI 영상은 표준 DICOM(Digital Imaging Communication in Medicine) 영상 포맷인 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  5. 청구항 4에 있어서,
    상기 DICOM 영상 포맷은 DCMTK 공개 라이브러리를 사용하여 로오 데이터(raw data)를 비트맵(bitmap) 형식으로 변환되고, 헤더 부분의 환자 정보, 촬영 정보 및 영상정보는 별도로 저장되는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  6. 청구항 1에 있어서,
    상기 뇌 표준판은 MRIcro에서 사용되는 Ch2bet의 뇌 표준판을 리슬라이싱(re-slicing)한 후 이미지 저장을 통해 개선되는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  7. 청구항 1에 있어서,
    상기 병변선택모듈은 색상값을 이용하여 관심영역을 선택하는 Magic wand 기능, 관심영역의 시작부분을 클릭한 상태에서 손을 떼지 않고 선택하려는 모양대로 드래그하여 다시 상기 시작부분으로 돌아와 마우스를 떼면 선택되는 Lasso 기능, 또는 확대 및 축소하는 줌 인/아웃(zoom in/out) 기능을 제공하는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  8. 청구항 2에 있어서,
    상기 메쉬-워프(mesh warp) 기법은 환자의 뇌 영상과 뇌 표준판 영상 간에 15×15 크기의 메쉬 그리드(mesh grid)의 중심점과 상, 하, 좌 및 우 끝점을 일치하도록 맞추고 메쉬 포인트(mesh point) 상의 점들의 위치를 x/y 축으로 각각 선형 보간(linear interpolation)하여 환자의 뇌 영상과 뇌 표준판 영상의 왜곡된 부분까지 정합하는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
  9. 청구항 3에 있어서,
    상기 표준판 범위 선택에 따른 필터링은 설정된 슬라이스 범위 내에서 특정 슬라이스가 선택된 경우, 상기 설정된 슬라이스 범위 내의 병변이 관찰된 슬라이스들 중에서 상기 특정 슬라이스에 해당하거나 가장 가까운 슬라이스만 선택되는 것을 특징으로 하는 뇌 MRI 기반의 정량 분석 시스템.
















KR1020100118792A 2010-11-26 2010-11-26 뇌 자기공명영상 기반의 정량 분석 시스템 KR101203047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100118792A KR101203047B1 (ko) 2010-11-26 2010-11-26 뇌 자기공명영상 기반의 정량 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100118792A KR101203047B1 (ko) 2010-11-26 2010-11-26 뇌 자기공명영상 기반의 정량 분석 시스템

Publications (2)

Publication Number Publication Date
KR20120057170A KR20120057170A (ko) 2012-06-05
KR101203047B1 true KR101203047B1 (ko) 2012-11-21

Family

ID=46609090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100118792A KR101203047B1 (ko) 2010-11-26 2010-11-26 뇌 자기공명영상 기반의 정량 분석 시스템

Country Status (1)

Country Link
KR (1) KR101203047B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101398239B1 (ko) 2012-10-29 2014-05-23 서울여자대학교 산학협력단 T2강조 mr 영상과 확산강조 mr 영상의 융합 시스템 및 그 방법
KR101540946B1 (ko) * 2013-07-17 2015-07-31 삼성전자주식회사 뇌 신경 섬유를 추적하기 위한 시드 영역 선택 방법 및 장치
WO2015186963A1 (ko) * 2014-06-03 2015-12-10 사회복지법인 삼성생명공익재단 생물학적 뇌연령 산출 장치 및 그 산출 방법
KR20180110354A (ko) 2017-03-29 2018-10-10 성신여자대학교 산학협력단 뇌 자기 공명 이미지의 이진화 변환 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120089B1 (ko) * 2019-10-21 2020-06-17 성균관대학교산학협력단 뇌졸중 환자의 운동 회복 예측 모델

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010051065A1 (en) 2008-10-31 2010-05-06 Oregon Health & Science University Method and apparatus using magnetic resonance imaging for cancer identification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010051065A1 (en) 2008-10-31 2010-05-06 Oregon Health & Science University Method and apparatus using magnetic resonance imaging for cancer identification

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101398239B1 (ko) 2012-10-29 2014-05-23 서울여자대학교 산학협력단 T2강조 mr 영상과 확산강조 mr 영상의 융합 시스템 및 그 방법
KR101540946B1 (ko) * 2013-07-17 2015-07-31 삼성전자주식회사 뇌 신경 섬유를 추적하기 위한 시드 영역 선택 방법 및 장치
US9569840B2 (en) 2013-07-17 2017-02-14 Samsung Electronics Co., Ltd. Method and apparatus for selecting seed area for tracking nerve fibers in brain
WO2015186963A1 (ko) * 2014-06-03 2015-12-10 사회복지법인 삼성생명공익재단 생물학적 뇌연령 산출 장치 및 그 산출 방법
KR101620302B1 (ko) 2014-06-03 2016-05-18 사회복지법인 삼성생명공익재단 생물학적 뇌연령 산출 장치 및 그 산출 방법
US10548507B2 (en) 2014-06-03 2020-02-04 Samsung Life Public Welfare Foundation Biological brain age calculation device and calculation method therefor
KR20180110354A (ko) 2017-03-29 2018-10-10 성신여자대학교 산학협력단 뇌 자기 공명 이미지의 이진화 변환 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체
KR102048323B1 (ko) 2017-03-29 2019-11-25 성신여자대학교 연구 산학협력단 뇌 자기 공명 이미지의 이진화 변환 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20120057170A (ko) 2012-06-05

Similar Documents

Publication Publication Date Title
US9747421B2 (en) Multi-factor brain analysis via medical imaging decision support systems and methods
US10517504B2 (en) Systems and methods for automated voxelation of regions of interest for magnetic resonance spectroscopy
RU2673975C2 (ru) Сегментация исследуемой области, управляемая отслеживанием взгляда
US8107700B2 (en) System and method for efficient workflow in reading medical image data
JP6158509B2 (ja) 検査情報表示装置及び方法
JP6230787B2 (ja) 検査情報表示装置及び方法
JP6506769B2 (ja) トモシンセシス画像スラブを生成し表示するためのシステムおよび方法
EP2546802B1 (en) Generating artificial hyperspectral images using correlated analysis of co-registered images
CN105074775B (zh) 医学图像的配准
JP5637928B2 (ja) 医用画像表示装置
US9569840B2 (en) Method and apparatus for selecting seed area for tracking nerve fibers in brain
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20120051608A1 (en) System and method for analyzing and visualizing local clinical features
JP2016514533A (ja) インタラクティブな経過観察の可視化
WO2010115885A1 (en) Predictive classifier score for cancer patient outcome
KR101203047B1 (ko) 뇌 자기공명영상 기반의 정량 분석 시스템
US10188361B2 (en) System for synthetic display of multi-modality data
WO2011122404A1 (ja) 制御装置及び方法
US20190343418A1 (en) System and method for next-generation mri spine evaluation
DE112012002671T5 (de) Anzeigen einer Vielzahl von registrierten Bildern
JPWO2019044095A1 (ja) 医用情報表示装置、方法及びプログラム
JPWO2019044081A1 (ja) 医用画像表示装置、方法及びプログラム
TWI477798B (zh) 自動化分析大腦纖維資訊的方法
JPWO2020105248A1 (ja) 医用画像表示制御装置、方法及びプログラム
Wu et al. Toward a multimodal diagnostic exploratory visualization of focal cortical dysplasia

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191022

Year of fee payment: 8