KR102060895B1 - 의료 영상 생성 방법 및 디바이스 - Google Patents

의료 영상 생성 방법 및 디바이스 Download PDF

Info

Publication number
KR102060895B1
KR102060895B1 KR1020180063280A KR20180063280A KR102060895B1 KR 102060895 B1 KR102060895 B1 KR 102060895B1 KR 1020180063280 A KR1020180063280 A KR 1020180063280A KR 20180063280 A KR20180063280 A KR 20180063280A KR 102060895 B1 KR102060895 B1 KR 102060895B1
Authority
KR
South Korea
Prior art keywords
medical image
contrast
region
active area
contrast medical
Prior art date
Application number
KR1020180063280A
Other languages
English (en)
Other versions
KR20190137283A (ko
Inventor
김범석
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180063280A priority Critical patent/KR102060895B1/ko
Publication of KR20190137283A publication Critical patent/KR20190137283A/ko
Application granted granted Critical
Publication of KR102060895B1 publication Critical patent/KR102060895B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/481Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Hematology (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명은, 조영제가 투여되지 않은 목적 부위에 대한, 비-조영제 의료 영상을 수신하는 단계, 비-조영제 의료 영상 및 목적 부위에 조영제가 투여되어 촬영된 조영제 의료 영상을 기초로 학습되어, 조영제가 투여될 경우 활성화되는 영역을 비-조영제 영상에서 예측하도록 구성된 활성 영역 예측 모델을 이용하여, 비-조영제 의료 영상 내에서 활성 영역을 예측하는 단계, 및 활성 영역이 표시된 비-조영제 의료 영상을 제공하는 단계를 포함하는, 의료 영상 생성 방법 및 디바이스를 제공한다.

Description

의료 영상 생성 방법 및 디바이스{METHOD FOR PRODUCING MEDICAL IMAGE AND DEVICE FOR PRODUCING MEDICAL IMAGE}
본 발명은 의료 영상 생성 방법 및 디바이스에 관한 것으로, 보다 구체적으로 목적 부위에 대한 의료 영상으로부터 조영제에 의해 활성화되는 영역을 예측하도록 구성된, 의료 영상 생성 방법 및 디바이스에 관한 것이다.
의료 영상 장치는 목적 부위의 내부 구조를 영상으로 획득하기 위한 장비이다. 이러한 의료 영상 장치는 인체에 고통을 주지 않고 실시되는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 의료인에게 보여준다.
의료인들은 의료 영상 장치에서 출력되는 의료 영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.
진단을 위해 이용되는 의료 영상으로는 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging), 컴퓨터 단층 촬영 (CT, Computed Tomography) 영상, 엑스레이 (X-ray) 영상, 및 초음파 (ultrasound) 영상 등이 있다.
보다 구체적으로, 자기 공명 영상은 자기장에 의해 피사체가 촬영된 영상으로, 뼈는 물론 디스크, 관절, 신경 인대 등을 원하는 각도에서 입체적으로 보여주기 때문에 정확한 질병 진단을 위해서 널리 이용되고 있다. 이러한, 자기 공명 영상은, RF 코일들을 포함하는 고주파 멀티 코일, 영구자석 및 그래디언트 코일 등에 의해 자기 공명 (MR, magnetic resonance) 신호가 획득된 후 최종 적으로 자기 공명 신호가 샘플링됨으로써 획득될 수 있다.
의료 영상 중, 컴퓨터 단층 영상은 목적 부위에 대한 단면을 제공할 수 있고, 일반적인 엑스레이 영상에 비하여 목적 부위의 내부 구조, 예를 들어 신장, 폐와 같은 장기가 겹치지 않게 표현할 수 있다는 장점을 가지고 있다. 이에, 컴퓨터 단층 촬영 영상은 질병의 정밀한 진단을 위하여 널리 이용된다. 이러한, 컴퓨터 단층 촬영 영상은, 목적 부위에 엑스레이를 조사하고 목적 부위를 통과한 엑스레이를 감지한 후 감지된 엑스레이에 의해 획득될 수 있다.
한편, 의료 영상에 기초한 목적 부위의 구조적 관찰 나아가, 병변의 진단에 있어서, 진단적 가치가 향상된 최적의 의료 영상이 요구될 수 있다. 그러나, 의료 영상은 측정 장치, 의료인의 숙련도, 목적 부위의 종류에 따라 상이한 대조도를 가질 수 있어, 목적 부위에 대한 구조 또는 병변 관찰이 어려울 수 있다. 의료 사고의 예방 및 의료 서비스의 향상 등을 위하여, 모니터링 또는 진단의 정확성이 더욱 요구되고 있음에 따라, 진단적 가치가 향상된 의료 영상을 획득하기 위한 새로운 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
목적 부위에 대한 최적의 의료 영상을 획득하기 위한 방법으로, 조영제의 이용이 제안되었다. 조영제가 인체 내에 투여됨에 따라, 목적 부위는 의료 영상 내에서 윤곽이 뚜렷해 지거나 대조가 명확하게 나타날 수 있어 주변 조직과의 구별이 용이할 수 있다. 이에, 조영제의 이용은 의료 영상의 대조도를 크게하여, 목적 부위에 대한 구조적 관찰 또는 목적 부위 내에 존재하는 병변의 진단이 용이해지도록 할 수 있다.
조영제는, 성분에 따라 요오드화 조영제, 가돌리늄 조영제, 바륨 조영제 등으로 구분될 수 있다. 보다 구체적으로, 요오드화 조영제 및 바륨 조영제는, 대조도가 보다 향상된 컴퓨터 단층 촬영 영상 및 엑스레이 영상 획득을 위해 이용될 수 있고, 가돌리늄 조영제는 대조도가 향상된 자기 공명 영상 획득을 위해 이용될 수 있다.
한편, 조영제는 인체에 투여됨에 따라 급성 혹은 지연성 과민 반응 등의 부작용을 유발할 수 있다. 예를 들어, 요오드화 조영제와 가돌리늄 조영제는 신장 독성을 유발할 수 있으며, 주사 투여할 경우 혈관 외 유출 등의 부작용을 야기할 수 있다. 바륨 조영제는 경구로 투여됨에 따라, 배변 곤란, 변비, 일시적인 설사, 복통, 또는 항문 출혈을 유발할 수 있다.
이러한 조영제 투여에 따른 문제점을 해결하기 위해, 본원 발명의 발명자들은 목적 부위에 대한 비-조영제 의료 영상 및 조영제 의료 영상 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은 목적 부위에 대한 비-조영제 의료 영상에 대하여, 조영제 투여 시 활성화되는 영역을 예측하도록 구성된 예측 모델을 이용한, 새로운 의료 영상 생성 방법을 개발하기에 이르렀다.
보다 구체적으로 본 발명의 발명자들은, 목적 부위에 대하여 촬영된 비-조영제 의료 영상과 조영제 의료 영상의 차이를 패치 단위로 산출하여 활성 영역을 추출하고, 추출된 활성 영역 및 비-조영제 의료 영상을 이용하여 학습된 활성 영역 예측 모델을 이용함으로써, 비-조영제 의료 영상으로부터 실제 조영제 의료 영상과 유사한 수준의 영상을 획득할 수 있음을 확인할 수 있었다.
특히 본 발명의 발명자들은, 활성 영역 예측 모델의 학습에 있어서, 비-조영제 의료 영상 및 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 와 목적 부위에 대한 마스크 (mask) 를 추출하도록 구성하여, 불필요한 학습 영역을 제거하고 활성 영역의 예측의 정확도를 높이고자 하였다.
이에, 본 발명이 해결하고자 하는 과제는, 비-조영제 의료 영상 내에서, 조영제 투여에 의해 활성화되는 활성 영역을 예측하도록 학습된 활성 영역 예측 모델을 이용하여, 수신된 의료 영상 내에서 활성 영역을 결정하고, 이를 제공하도록 구성된, 의료 영상 생성 방법 및 이를 이용한 의료 영상 생성 디바이스를 제공하는 것이다.
보다 구체적으로, 본 발명이 해결하고자 하는 과제는, 비-조영제 의료 영상에 대한 조영제 의료 영상의 패치 기반 차이를 산출하고, 산출된 패치 기반 차이를 기초로 목적 부위에 대한 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 학습된 활성 영역 예측 모델을 이용한, 의료 영상 생성 방법 및 이를 이용한 의료 영상 생성 디바이스를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 목적 부위에 대한 복수개의 단면상의 비-조영 의료 영상을 수신하고, 활성 영역 예측 모델을 이용하여 복수개의 단면상의 비-조영 의료 영상 각각에 대하여 활성 영역을 결정하고, 활성 영역을 3차원적으로 재구성하여 제공하는, 의료 영상 생성 방법 및 이를 이용한 의료 영상 생성 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 의료 영상 생성 방법이 제공된다. 본 방법은, 조영제가 투여되지 않은 목적 부위에 대한, 비-조영제 (non-contrast) 의료 영상을 수신하는 단계, 비-조영제 의료 영상 및 목적 부위에 조영제가 투여되어 촬영된 조영제 (contrast) 의료 영상을 기초로 학습되어, 조영제가 투여될 경우 활성화되는 영역을 비-조영제 영상에서 예측하도록 구성된 활성 영역 예측 모델을 이용하여, 비-조영제 의료 영상 내에서 활성 영역을 예측하는 단계, 및 활성 영역이 표시된 비-조영제 의료 영상을 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 활성 영역 예측 모델은 비-조영제 의료 영상에 대한 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 를 산출하는 단계, 및 비-조영제 의료 영상 및 패치 기반 차이를 이용하여 비-조영제 의료 영상 내에서 활성 영역을 예측하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 산출하는 단계는 [수학식 1]에 의해 패치 기반 차이를 산출하는 단계를 포함할 수 있다.
[수학식 1]
Figure 112018054076926-pat00001
(여기서, o는 활성 영역을 의미하고, I non 은 비-조영제 의료 영상을 의미하고, I con 은 조영제 의료 영상을 의미하고, P는 특정 좌표 (x, y) 주위 영역에 속하는 픽셀 집합을 의미한다.)
본 발명의 또 다른 특징에 따르면, 영역 예측 모델은 비-조영제 의료 영상을, 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하는 단계, 복수의 영역 중 목적 부위에 대한 영역을 학습 영역으로 결정하는 단계, 및 비-조영제 의료 영상, 패치 기반 차이 및 결정된 학습 영역을 이용하여, 비-조영제 의료 영상의 목적 부위에 대한 영역 내에서 활성 영역을 예측하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 활성 영역 예측 모델은, 활성 영역을 예측할 수 있도록 구성된 목적 함수 L을 최소화하는 네트워크의 파라미터를 학습하는 단계를 통해 학습된 모델이고, 목적 함수 L은 [수학식 2]로 산출될 수 있다.
[수학식 2]
Figure 112018054076926-pat00002
(여기서,
Figure 112018054076926-pat00003
는 추출된 활성 영역을 의미하고, y는 네트워크의 출력값을 의미하며, M은 마스크를 의미한다.)
본 발명의 또 다른 특징에 따르면, 네트워크는 ResNet (residual network) 인코더 및 VGG Net 인코더로 구성된, 디코더 (decoder) 가 연결된 형태일 수 있다.
본 발명의 또 다른 특징에 따르면, 활성 영역 예측 모델은 비-조영제 의료 영상에 대하여 픽셀 값, 질감 (texture) 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 비-조영제 의료 영상 내에서 활성 영역을 패치 단위로 예측하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 본 방법은, 예측된 활성 영역 및 비-조영제 의료 영상을 기초로 목적 부위에 대한 의료 영상을 재구성하는 단계, 및 재구성된 의료 영상을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수신하는 단계는, 목적 부위에 대한 복수개 단면의 비-조영 의료 영상을 수신하는 단계를 포함하고, 활성 영역을 예측하는 단계는, 활성 영역 예측 모델을 이용하여, 복수개의 단면상의 비-조영 의료 영상 각각에 대하여 활성 영역을 예측하는 단계를 포함하고, 제공하는 단계는, 활성 영역에 대한 예측 결과를 기초로, 활성 영역을 3 차원적으로 재구성하는 단계 및, 재구성된 활성 영역을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은, X-레이 영상, CT (computed tomography) 영상, 초음파 영상 및 MRI (magnetic resonance imaging) 로 이루어진 그룹 중 선택된 적어도 하나이고, 조영제는 요오드화 조영제, 가돌리늄 조영제 및 바륨 조영제로 이루어진 그룹 중 선택된 적어도 하나일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 의료 영상 생성 디바이스가 제공된다. 본 디바이스는, 조영제가 투여되지 않은 목적 부위에 대한, 비-조영제 의료 영상을 수신하도록 구성된 수신부, 및 수신부와 동작 가능하게 연결된 프로세서를 포함한다. 이때, 프로세서는 비-조영제 의료 영상 및 목적 부위에 조영제가 투여되어 촬영된 조영제 (contrast) 의료 영상을 기초로 학습되어, 조영제가 투여될 경우 활성화되는 영역을 비-조영제 영상에서 예측하도록 구성된 활성 영역 예측 모델을 이용하여, 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 구성된다.
본 발명의 특징에 따르면, 활성 영역 예측 모델은 비-조영제 의료 영상에 대한 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 를 산출하고, 비-조영제 의료 영상 및 패치 기반 차이를 이용하여 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 활성 영역 예측 모델은, 비-조영제 의료 영상을, 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하고, 복수의 영역 중 목적 부위에 대한 영역을 학습 영역으로 결정하고, 산출된 패치 기반 차이 및 결정된 학습 영역을 기초로, 비-조영제 의료 영상의 목적 부위에 대한 영역 내에서 활성 영역을 예측하도록 구성될 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스가 제공된다. 본 디바이스는, 조영제가 투여되지 않은 목적 부위에 대한, 학습용 비-조영제 의료 영상 및 학습용 조영제가 투여된 목적 부위에 대한 조영제 의료 영상의 차이를 기초로, 비-조영제 의료 영상으로부터 조영제가 투여될 경우 활성화되는, 활성 영역을 추출하도록 구성된, 활성 영역 추출부; 활성 영역 추출부에 의해 추출된 활성 영역 및 학습용 비-조영제 의료 영상을 기초로, 비-조영제 의료 영상으로부터 활성 영역을 예측하는 것을 학습하도록 구성된 네트워크 학습부 및 학습용 비-조영제 의료 영상과 상이한, 새로운 비-조영제 의료 영상을 기초로 활성 영역을 예측 하도록 구성된, 활성 영역 예측부를 포함한다.
본 발명의 특징에 따르면, 활성 영역 추출부는 학습용 비-조영제 의료 영상에 대한 학습용 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 를 산출하고, 산출된 패치 기반 차이를 학습하여 학습용 비-조영제 의료 영상 내에서 활성 영역을 추출하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 활성 영역 추출부는 학습용 비-조영제 의료 영상을, 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하고, 복수의 영역 중 목적 부위에 대한 영역을 학습 영역으로 결정하고, 패치 기반 차이 및 결정된 학습 영역을 기초로, 학습용 비-조영제 의료 영상 내에서 활성 영역을 추출하도록 더 구성될 수 있다.
본 발명은 비-조영제 의료 영상으로부터, 조영제에 의해 활성화되는 영역을 예측하도록 구성된 활성 영역 예측 모델을 이용한, 의료 영상 생성 방법 및 이를 이용한 디바이스를 제공함으로써, 피검자의 목적 부위에 대하여 정확한 의료 정보를 제공할 수 있는 효과가 있다.
이에, 본 발명은 조영제 이용에 따라 발생하는 부작용의 문제를 해결함과 동시에, 비-조영제 의료 영상으로부터 조영제를 이용했을 때와 유사한 정도로 대조도가 향상된 의료 영상을 제공할 수 있는 효과가 있다.
특히, 본 발명은 예측 모델 이용에 따라, 의료 영상의 종류에 따라 상이한 조영제를 투여해야 하는 번거로움을 해결할 수 있고, 의료 영상의 종류, 의료인의 숙련도, 목적 부위의 종류에 관계 없이 높은 대조도를 갖는 의료 영상을 제공할 수 있는 효과가 있다.
나아가, 본 발명은, 활성 영역 예측 모델을 이용하여 목적 부위 대하여 복수개의 단면으로 촬상된 비-조영제 의료 영상을 기초로, 각각의 영상에 대하여 활성 영역을 예측하여 3 차원 형태로 제공함에 따라, 피검자의 목적 부위에 대한 정확한 정보를 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 생성 디바이스의 구성을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료 영상 생성 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 의료 영상 생성 방법에 의한 의료 영상 내의 활성 영역 결정 절차를 예시적으로 도시한 것이다.
도 3a 내지 3c는 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스의 활성 영역 추출부에 의해 활성 영역이 추출되는 절차를 예시적으로 도시한 것이다.
도 3d는 본 발명의 다른 실시예에 따른 의료 영상 디바이스의 네트워크 학습부에 의해 활성 영역이 추출되는 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스에 의한, 활성 영역의 예측 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "의료 영상"은 목적 부위에 대하여 촬영된 모든 영상을 의미할 수 있다. 예를 들어, 의료 영상은 자기 공명 영상, 컴퓨터 단층 촬영 영상, 엑스레이 영상, 초음파 영상일 수 있다. 그러나, 이에 제한되지 않고 본원 명세서 내에서 의료 영상은, 조영제에 의해 보다 향상된 대조도의 의료 영상을 획득하는 한, 다양한 영상일 수 있다. 한편, 목적 부위에 대한 의료 영상은, 목적 부위를 포함하는 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 복수개의 컷으로 구성된 동영상, 또는 다양한 단면상을 갖는 복수개의 영상 등을 의미할 수 있다.
한편, 의료 영상은, 촬상 시 조영제의 투여 여부에 따라, "비-조영제 의료 영상" 또는 "조영제 의료 영상"으로 분류되어 이용될 수 있다. 예를 들어, 비-조영제 의료 영상은 조영제가 투여되지 않은 목적 부위에 대한 영상을 의미할 수 있고, 조영제 의료 영상은 조영제가 투여된 후 촬상된 목적 부위에 대한 영상을 의미할 수 있다. 이때, 조영제는, 요오드화 조영제, 가돌리늄 조영제 및 바륨 조영제일 수 있으나, 이에 제한되는 것은 아니다. 한편, 비-조영제 의료 영상 및 조영제 의료 영상은, 동일한 목적 부위에 대하여 학습을 위한 용도 또는, 실제 예측에 이용되는 용도에 의해 구별되어 기재되었을 뿐, 상이한 종류의 목적 부위, 의료 영상을 의미하는 것은 아니다.
본 명세서에서 사용되는 용어, "목적 부위"는 질환의 유무 등의 상태를 관찰하고자 하는 피검자의 특정 신체 부위일 수 있다. 예를 들어, 목적 부위는, 흉부, 척추, 상복부, 하복부, 폐, 뇌, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 갑상선 또는 유방일 수 있다. 그러나, 목적 부위는 이에 제한되는 것은 아니며 영상 진단 장치에 의해 영상이 획득되는 한 다양한 부위가 될 수 있다.
본 명세서에서 사용되는 용어, "활성 영역"은, 목적 부위에 대한 의료 영상 내에서, 조영제가 혈관 또는 조직에 투여될 경우 활성화되는 영역, 보다 구체적으로 대조도가 향상되는 영역을 의미할 수 있다. 예를 들어, 활성 영역은, 조영제에 의해 활성화 되지 않는 다른 영역에 대하여 상이한 픽셀 값, 질감을 가질 수 있다. 이때, 목적 부위 내에 낭종, 염증 또는 종괴가 있을 경우, 이들 조직은 조영제에 의해 대조도가 향상되어 나타날 수 있다. 이에, 활성 영역은 낭종, 염증 또는 종괴 조직에 대한 영역을 포함할 수도 있다.
전술한 바와 같이, 조영제의 이용은 목적 부위에 대한 구조적 관찰 또는 병변의 진단에 있어서 진단적 가치가 향상된 영상을 제공할 수 있으나, 피검자로 하여금 다양한 부작용을 야기할 수 있다.
이러한 문제를 해결하기 위해, 비-조영제 의료 영상으로부터 조영제의 투여에 의해 대조도가 향상되는 활성 영역을 예측 하도록 학습된 예측 모델이 이용될 수 있다.
본 명세서에서 사용되는 용어, "활성 영역 예측 모델"은 목적 부위에 대한 비-조영제 의료 영상에 대하여, 조영제 투여 시 대조도가 향상되는 등의 활성화되는 영역을 예측하도록 학습된 예측 모델 일 수 있다. 예를 들어, 활성 영역 예측 모델은 미리 결정된 목적 부위에 대한 학습용 비-조영제 의료 영상 및 학습용 조영제 의료 영상의 데이터 세트를 이용하여 학습된 모델일 수 있다. 이때, 활성 영역 예측 모델은 목적 부위에 대한 학습용 비-조영제 의료 영상에 대한 학습용 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 를 산출하고, 패치 기반 차이와 비-조영제 의료 영상을 학습하여, 학습용 의료 영상과 상이한 새로운 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 구성될 수 있다.
예를 들어, 활성 영역 예측 모델은, 하기 [수학식 1]에 의해 패치 기반 차이를 산출할 수 있다.
[수학식 1]
Figure 112018054076926-pat00004
여기서, I non (x, y)은 특정 좌표 (x, y)에서의 비-조영제 의료 영상값을 의미하고, I con (w, h)는 특정 좌표 (w, h)에서의 조영제 의료 영상값을 의미하고, o(x, y)는 패치 기반 차이를 의미하고, o는 활성 영역에 대한 영상을 의미한다. 나아가, P는 (x, y) 주위 영역에 속하는 픽셀 집합을 의미한다. 이때, w p h p 는 하이파라미터로서, 평균 영상 크기와 불일치 정도에 따라 달라질 수 있다.
이러한 패치 기반 차이에 기초한 활성 영역의 추출 방법은, 학습용 비-조영제 의료 영상 및 학습용 조영제 의료 영상의 픽셀 기반 차이 (pixel-wise difference) 에 의해 산출되었을 경우 발생할 수 있는 노이즈를 감소할 수 있고, 객체의 위치의 상이함에 따라 잘못 발생하는 영역의 활성화를 완화할 수 있다.
한편, 활성 영역 예측 모델은, 학습용 비-조영제 의료 영상에 대하여 클러스터링 작업을 수행하여 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하고, 목적 부위에 대한 영역을 마스킹하고, 이를 학습 영역으로 결정하여, 의료 영상에 대하여 학습에 필요하지 않은 영역을 제거하도록 학습될 수 있다. 이에, 활성 영역 예측 모델은, 패치 기반 차이 및 결정된 학습 영역을 이용하여, 비-조영제 의료 영상 내의 목적 부위에 대한 영역 내에서 활성 영역을 추출하도록 학습될 수 있다.
나아가, 활성 영역 예측 모델은, 학습용 비-조영제 의료 영상이 입력되었을 때, 활성 영역을 예측할 수 있도록 하는 목적 함수 L을 최소화하는 네트워크 파라미터를 학습하도록 구성될 수 있다.
예를 들어, 활성 영역 예측 모델은, 추출된 활성 영역에 대한 영상을 영상을 0 내지 1의 값으로 정규화하고, 픽셀 단위의 이진 크로스엔트로피 (binary cross entropy) 를 기본 손실 함수로 설정할 수 있다.
이때, 목적 함수 L은 하기 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure 112018054076926-pat00005
여기서,
Figure 112018054076926-pat00006
는 추출된 활성 영역에 대한 영상을 의미하고, y는 네트워크의 출력값을 의미하며 M은 마스크 (mask) 를 의미한다. 이때, M i 은 학습 영역에서 샘플링과 비활성 영역에서 샘플링을 동일한 크기로 맞춰, 학습 비율의 균형을 맞추기 위한 파라미터 일 수 있다. 보다 구체적으로, 예측 모델은, 학습에 이용되는 각각의 영상에서의 활성 영역과 비-활성 영역의 비율의 차이가 클 수 있음에 따라, 학습이 제대로 수행되지 않을 위험이 있다. 이에, 예측 모델의 원활한 학습을 위해 마스크는 모두 1로 결정되고, 비-활성영역은 p의 확률로 1이 되는 마스크를 구성하여 활성 영역/ 비-활성 영역의 영상의 비율이 조정될 수 있다.
한편, 활성 영역 예측 모델은, 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스의 구성인, 활성 영역 추출부, 네트워크 학습부 및 활성 영역 예측부 각각 또는 이들의 조합을 포함할 수 있다.
활성 영역 예측 모델은, 전술한 학습 방법에 의해, 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 학습됨에 따라, 최종적으로 학습용 의료 영상과 상이한, 비-조영제 의료 영상으로부터 활성 영역을 예측할 수 있다.
이에, 의료인은, 조영제의 이용 없이 활성 영역 예측 모델을 통해 예측된 활성 영역을 포함하는 최적의 의료 영상을 획득할 수 있고, 그 결과 목적 부위에 대한 섬세한 구조적 관찰 또는 특정 질환의 발병 여부를 확인 할 수 있다.
이하에서는 도 1 내지 도 2b를 참조하여 본 발명의 일 실시예에 따른 의료 영상 생성 방법 및 이를 이용한 디바이스를 설명한다.
먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 의료 영상 생성 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 의료 영상 생성 디바이스의 구성을 도시한 것이다.
도 1을 참조하면, 의료 영상 생성 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.
구체적으로 수신부 (110) 는 영상 진단 장치로부터 획득 가능한 피검자의 목적 부위에 대한 의료 영상을 수신할 수 있다. 예를 들어, 수신부 (110) 는 피검자의 척추, 흉부, 상복부, 하복부, 폐, 뇌, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 갑상선 또는 유방에 대한 비-조영제 의료 영상 또는, 조영제 의료 영상을 수신할 수 있다. 한편, 수신부 (110) 를 통해 수신된 피검자의 목적 부위에 대하여 다양한 단면상을 갖는 복수개의 의료 영상일 수 있다.
입력부 (120) 는 키보드, 마우스, 터치 스크린 패널 등 제한되지 않는다. 입력부 (120) 는 의료 영상 생성 디바이스 (100) 를 설정하고, 의료 영상 생성 디바이스 (100) 의 동작을 지시할 수 있다. 예를 들어, 의료인은 입력부 (120) 를 통해, 수신부 (110) 에 의해 수신된 복수개의 의료 영상에 대하여 활성 영역을 예측하고자 하는 영상을 직접 선택할 수 있다.
한편, 출력부 (130) 는 수신부 (110) 에 의해 수신된 의료 영상을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 비-조영제 의료 영상 내에서 예측된 활성 영역, 또는, 예측된 활성 영역과 비-조영제 의료 영상을 기초로 재구성된 의료 영상을 표시하도록 구성되어, 의료진에게 목적 부위에 대한 영상 정보를 제공할 수 있다.
저장부 (140) 는 수신부 (110) 를 통해 수신한 피검자의 목적 부위에 대한 비-조영제 의료영상 또는, 학습용 비-조영제 의료 영상 및 학습용 조영제 의료 영상을 저장하고, 입력부 (120) 를 통해 설정된 의료 영상 생성 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술될 프로세서 (150) 에 의해 예측된 활성 영역을 저장할 수 있도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는 프로세서 (150) 에 의해 결정된 다양한 정보들을 저장할 수 있다.
프로세서 (150) 는 의료 영상 생성 디바이스 (110) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 의료 영상 생성을 위해 프로세서 (150) 는 피검자의 목적 부위에 대한 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 구성된 활성 영역 예측 모델을 이용하도록 구성될 수 있다. 예를 들어, 프로세서 (150) 는 피검자의 미리 결정된 목적 부위에 대하여, 활성 영역을 예측하도록 구성된 활성 영역 예측 모델을 이용하여 수신부 (110) 를 통해 획득한 비-조영제 의료 영상을 입력해 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 구성될 수 있다. 이때, 의료 영상 내에서 활성 영역을 예측하도록 구성된 활성 영역 예측 모델은, 영상을 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델, U-net 또는, ResNet (residual network) 인코더 및 VGG Net 인코더로 구성된, 디코더 (decoder) 가 연결된 형태의 네트워크를 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.
한편, 프로세서 (150) 는 패치 단위로 의료 영상 내에서 활성 영역을 결정할 수 있다. 예를 들어, 프로세서 (150) 는 비-조영제 의료 영상에 대하여 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 비-조영제 의료 영상 내에서 활성 영역을 패치 단위로 예측하도록 구성된 활성 영역 예측 모델을 이용하도록 구성될 수 있다.
이하에서는, 도 2a 및 도 2b를 참조하여, 본 발명의 일 실시예에 따른 의료 영상 생성 방법을 구체적으로 설명한다. 이때, 피검자의 뇌에 대한, 비-조영제 컴퓨터 단층 영상을 예로 들어, 본 발명의 의료 생성 방법에 대하여 설명하나, 이에 제한되지 않고 본 발명의 일 실시예에 따른 의료 영상 생성 방법은 보다 다양한 목적 부위의 비-조영제 의료 영상 내에서, 조영제 투여에 따라 활성화되는 영역을 결정하는데 이용될 수 있다.
도 2a는 본 발명의 일 실시예에 따른 의료 영상 생성 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 의료 영상 생성 방법에 의한 의료 영상 내의 활성 영역 결정 절차를 예시적으로 도시한 것이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 생성 절차는 다음과 같다. 먼저, 피검자의 목적 부위에 대한 비-조영제 의료 영상을 수신한다 (S210). 그 다음, 활성 영역을 예측하도록 구성된 활성 영역 예측 모델을 이용하여, 수신한 비-조영제 의료 영상 내에서 활성 영역을 예측한다 (S220). 마지막으로, 비-조영제 의료 영상 내에 결정된 활성 영역을 제공한다 (S230).
예를 들어, 도 2b를 참조하면, 비-조영제 의료 영상을 수신하는 단계 (S210) 에서는 목적 부위로 설정된 뇌에 대한 비-조영제 의료 영상 (212) 을 획득할 수 있다. 이때, 획득된 목적 부위에 대한 비-조영제 의료 영상 (212) 은 활성 영역에 대한 분석이 용이한 축평면 영상 (axial plane image) 일 수 있으나, 이에 제한되는 것은 아니다.
본 명의 다른 실시예에 따르면, 비-조영제 의료 영상을 수신하는 단계 (S210) 에서는 목적 부위에 대한 복수개 단면상의 비-조영제 의료 영상을 수신할 수 있다. 예를 들어, 도 2b를 참조하면, 비-조영제 의료 영상을 수신하는 단계 (S210) 에서는 뇌에 대한 복수개의 축평면 비-조영제 의료 영상 (212) 이 수신될 수 있다.
본 발명의 다양한 실시예에서, 비-조영제 의료 영상을 수신하는 단계 (S210) 에서는 비-조영제 의료 영상 (212) 에 대한 빠른 분석이 가능하도록 전 처리가 수행된 의료 영상을 더 수신할 수 있다. 그렇지 않은 경우, 비-조영제 의료 영상을 수신하는 단계 (S210) 이후에 수신된 비-조영제 의료 영상 (212) 에 대하여 일정한 픽셀 단위를 갖도록 크기를 조절하거나 대비, 해상도, 명암, 또는 좌우 대칭을 조절하는, 전처리 단계가 더 수행될 수 있다. 전처리 단계의 결과로, 비-조영제 의료 영상 (212) 은 후술할 활성 영역 예측 모델 (220) 에서 요구되는 해상도 또는 크기를 갖게 되고, 원본의 의료 영상보다 해상도 또는 크기가 작아질 수 있어, 활성 영역 예측 모델 (220) 에서의 처리 속도가 향상될 수 있다.
다음으로, 도 2b를 참조하면, 활성 영역을 예측하는 단계 (S220) 에서는 활성 영역 예측 모델 (220) 에 의료 영상을 수신하는 단계 (S210) 에서 획득된 비-조영제 의료 영상 (212) 이 입력된다. 이때, 활성 영역 예측 모델 (220) 은 비-조영제 의료 영상 (212) 내에 존재하는 영역들에 대한 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로 활성 영역을 결정할 수 있다.
본 발명의 다른 실시예에 따르면, 활성 영역을 예측하는 단계 (S220) 에서는 복수개의 단면상의 비-조영제 영상 각각에 대하여 활성 영역을 예측할 수 있다. 예를 들어, 도 2b를 참조하면, 활성 영역을 예측하는 단계 (S220) 에서는, 활성 영역 예측 모델 (220) 을 이용하여 뇌에 대한 복수개의 축평면 비-조영제 의료 영상 (212) 각각에 대한 활성 영역을 결정할 수 있다.
다음으로, 도 2b를 참조하면, 활성 영역을 제공하는 단계 (S230) 에서는, 활성 영역 예측 모델 (220) 에 의해 활성 영역이 예측된 의료 영상 (222) 을 제공할 수 있다.
본 발명의 다른 실시예에 따르면, 활성 영역을 제공하는 단계 (S230) 에서는, 예측된 활성 영역을 비-조영제 의료 영상 (212) 에 표시하여 제공할 수 있다. 예를 들어, 도 2b를 참조하면, 활성 영역을 제공하는 단계 (S230) 에서는, 비-조영제 의료 영상 (212) 에 활성 영역이 표시된 의료 영상 (232) 이 제공될 수 있다.
본 발명의 또 다른 실시예에 따르면, 활성 영역을 제공하는 단계 (S230) 에서는, 활성 영역에 대한 예측 결과를 기초로, 활성 영역을 3 차원적으로 재구성하고, 재구성된 활성 영역을 제공하는 단계가 더 수행될 수 있다. 예를 들어, 도 2b를 참조하면, 활성 영역을 제공하는 단계 (S230) 에서는, 뇌에 대한 복수개의 축평면 비-조영제 의료 영상 (212) 각각에 대하여 예측된 활성 영역을 기초로 3 차원 형태의 활성 영역을 재구성하고, 이를 제공하도록 구성될 수 있다.
본 발명의 일 실시예에 따른, 의료 영상 생성 방법에 의해 의료인은, 조영제의 이용 없이도 활성 영역을 포함하는 최적의 의료 영상을 획득 할 수 있고, 그 결과 목적 부위에 대한 섬세한 구조적 관찰 또는 특정 질환의 발병 여부를 확인 할 수 있다.
이하에서는, 도 3a 내지 3d를 참조하여, 본 발명의 다른 실시예에 따른 영상 생성 디바이스에 대하여 설명한다.
본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스는, 학습용 의료 영상으로부터 활성 영역을 추출하도록 구성된 활성 영역 추출부, 활성 영역을 예측하는 것을 학습하도록 구성된 네트워크 학습부 및, 새로운 비-조영제 의료 영상으로부터 활성 영역을 예측하도록 구성된 활성 영역 예측부로 구성된다.
보다 구체적으로, 활성 영역 추출부는, 조영제가 투여되지 않은 목적 부위에 대한 학습용 비-조영제 의료 영상 및 학습용 조영제가 투여된 목적 부위에 대한 조영제 의료 영상의 차이를 기초로, 비-조영제 의료 영상으로부터 조영제가 투여될 경우 활성화되는 활성 영역을 추출하도록 구성될 수 있다.
네트워크 학습부는, 활성 영역 추출부에 의해 추출된 활성 영역 및 학습용 비-조영제 의료 영상을 기초로, 학습용 비-조영제 의료 영상으로부터 활성 영역을 예측하는 것을 학습하도록 구성될 수 있다.
활성 영역 예측부는, 학습용 비-조영제 의료 영상과 상이한, 목적 부위에 대한 새로운 비-조영제 의료 영상을 기초로 활성 영역을 예측 하도록 구성될 수 있다.
이하에서는, 도 3a 내지 도 3c를 참조하여, 활성 영역 추출부에 대하여 설명한다. 도 3a 내지 3c는 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스의 활성 영역 추출부에 의해 활성 영역이 추출되는 절차를 예시적으로 도시한 것이다.
먼저, 도 3a를 참조하면, 활성 영역 추출부는, 목적 부위로 설정된 뇌에 대한 학습용 비-조영제 의료 영상 (311) 및 학습용 조영제 의료 영상 (312) 의 한 쌍의 의료 영상을 기초로, 패치 기반 차이 연산을 통해, 활성 영역을 추출하는 모듈을 갖는다. 보다 구체적으로, 활성 영역 추출부는 비-조영제 의료 영상 (311) 에 대한 학습용 조영제 의료 영상 (312) 의 패치 기반 차이를 산출하여, 활성 영역이 가추출된 의료 영상 (313) 을 획득하고, 마스킹 (masking) 으로 학습에 필요한 부분만을 추출하는 연산을 통해, 학습 영역이 결정된 의료 영상 (318) 을 획득하여, 활성 영역이 최종 추출된 의료 영상 (319) 를 획득하도록 구성된다.
도 3b를 참조하면, 활성 영역 추출부는, 하기 [수학식 1] 에 기초하여, 학습용 비-조영제 의료 영상 (311) 및 학습용 조영제 의료 영상 (312) 에 대한 특정 좌표인 (x, y) 주위 영역에 속하는 픽셀 집합 P x, y에 대하여, 패치 기반 차이를 산출할 수 있다.
[수학식 1]
Figure 112018054076926-pat00007
여기서, I non (x, y)은 특정 좌표 (x, y)에서의 비-조영제 의료 영상값을 의미하고, I con (w, h)는 특정 좌표 (w, h)에서의 조영제 의료 영상값을 의미하고, o(x, y)는 패치 기반 차이를 의미하고, o는 활성 영역에 대한 영상을 의미한다. 나아가, P는 (x, y) 주위 영역에 속하는 픽셀 집합을 의미한다. 이때, w p h p 는 하이파라미터로서, 평균 영상 크기와 불일치 정도에 따라 달라질 수 있다.
이러한 패치 기반 차이에 기초한 활성 영역의 추출 방법은, 학습용 비-조영제 의료 영상 및 학습용 조영제 의료 영상의 픽셀 기반 차이에 의해 산출되었을 경우 발생할 수 있는 노이즈를 감소할 수 있고, 객체의 위치의 상이함에 따라 잘못 발생하는 영역의 활성화를 완화할 수 있다.
한편, 활성 영역 추출부는, 학습용 비-조영제 의료 영상 (311) 에 대하여 학습에 필요한 부분만을 추출하도록 더 구성될 수 있다.
도 3c를 참조하면, 먼저, 비-조영제 의료 영상 (311) 은 클러스터링 작업을 통해 복수개의 영역으로 분할된다. 이때, 영역이 분할된 의료 영상 (314) 은, 외부, 내부 및 두개골 영역으로 분할된다. 그 다음, 복수의 영역 중 내부 영역이 목적 부위에 대한 영역으로 결정된다. 그 다음, 목적 부위에 대한 영역이 선택된 의료 영상 (315) 의 내부에 생긴 홀이 제거되고, 홀이 제거된 의료 영상 (316) 에서 목적 부위에 대한 영역이 축소됨으로써, 최종적으로 학습 영역이 결정된다.
활성 영역 추출부에 의해 획득된, 중간 단계의 활성 영역이 가추출된 의료 영상 (313) 과 내부 영역이 마스킹된 학습 영역이 결정된 의료 영상 (318) 의 'OR 연산'을 통해, 활성 영역이 최종 추출된 의료 영상 (319) 이 획득된다.
활성 영역이 최종 추출된 의료 영상 (319) 는 후술할 네트워크 학습부의 지도 학습 (supervised learning) 에 이용될 수 있다.
이하에서는, 도 3d를 참조하여, 네트워크 학습부에 대하여 설명한다. 도 3d는 본 발명의 다른 실시예에 따른 의료 영상 디바이스의 네트워크 학습부에 의해 활성 영역이 추출되는 절차를 예시적으로 도시한 것이다.
도 3d를 참조하면, 네트워크 학습부는 CNN으로 구성된 오토인코더로서, ResNet스타일로 구성된 인코더와 VGG Net 스타일로 구성된 디코더가 연결된 형태로 구성되어, 활성 영역이 예측하도록 구성될 수 있다. 보다 구체적으로, 먼저 학습용 비-조영제 의료 영상 (311) 은, 네트워크 학습부에 입력되어 ResNet Block에 의해 콘볼루션 (convolution), 배치 정규화 (batch normalization), ReLU (Rectified Linear Unit) 및 숏컷 (shortcut) 조합의 연산이 적용된다. 그 다음, 특징 맵 (Feature map) 이 추출되고, VGG Net에 의해 콘볼루션 연산이 역 콘볼루션 (convolution transpose) 으로, 풀링 (pooling) 연산이 언풀링 (unpooling) 으로 변형된다. 이때, 언풀링 연산은 특징 맵을 2 배로 늘리기 위해서 이중 선형 보간법 (bilinear interpolation) 연산을 수행하도록 구성된다. 최종적으로, 네트워크 학습부에 의해 활성 영역이 예측된 의료 영상 (322) 이 획득된다.
한편, 네트워크 학습부에 이용되는 네트워크는 전술한 것에 제한되지 않고, 인공 신경망을 구성되는 어떠한 인코더-디코더의 조합으로 이루어질 수 있으며 모델 크기와 성능에 따라 다양한 구성이 가능하다.
네트워크 학습부는, 네트워크 학습부에 의해 활성 영역이 예측된 의료 영상 (322) 을 0 내지 1의 값으로 정규화하고, 목적 함수 L을 최소화하는 네트워크 파라미터를 학습하도록 구성된다. 이때, 픽셀 단위의 이진 크로스엔트로피가 기본 손실 함수로 설정될 수 있다.
목적 함수 L은 하기 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure 112018054076926-pat00008
여기서,
Figure 112018054076926-pat00009
는 추출된 활성 영역에 대한 영상을 의미하고, y는 네트워크의 출력값을 의미하며 마스크를 의미한다. 이때, M i 은 학습 영역에서 샘플링과 비활성 영역에서 샘플링을 동일한 크기로 맞춰, 학습 비율의 균형을 맞추기 위한 파라미터 일 수 있다. 보다 구체적으로, 예측 모델은, 학습에 이용되는 각각의 영상에서의 활성 영역과 비-활성 영역의 비율의 차이가 클 수 있음에 따라, 학습이 제대로 수행되지 않을 위험이 있다. 이에, 예측 모델의 원활한 학습을 위해 마스크는 모두 1로 결정되고, 비-활성영역은 p의 확률로 1이 되는 마스크를 구성하여 활성 영역/ 비-활성 영역의 영상의 비율이 조정될 수 있다.
이에, 네트워크 학습부는 목적 함수 L을 최소화하면서 활성 영역을 예측하도록 학습된다.
다음으로, 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스의 활성 영역 예측부는, 전술한 활성 영역 추출부 및 네트워크 학습부의 학습을 위해 이용된 학습용 비-조영제 의료 영상과 상이한, 의료 영상을 기초로 활성 영역을 예측할 수 있다.
실시예 1: 의료 영상 생성 디바이스의 평가
이하의 실시예 1에서는 도 4를 참조하여 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스에 대한 평가 결과를 설명한다. 이때, 피검자의 뇌에 대한, 비-조영제 컴퓨터 단층 영상을 이용한 평가가 수행되었으나, 이에 제한되지 않고 본 발명의 다양한 실시예에 따른 의료 영상 생성 방법 및 디바이스는 보다 다양한 목적 부위의 비-조영제 의료 영상 내에서, 조영제 투여에 따라 활성화되는 영역을 결정하는데 이용될 수 있다.
본 평가에서는, 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스의 구성 중 하나인 활성 영역 예측부에 대한 활성 영역의 예측 결과와 실제 조영제 의료 영상을 비교하여 설명한다.
도 4는 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스에 의한, 활성 영역의 예측 결과를 도시한 것이다.
도 4를 참조하면, 본 발명의 다른 실시예에 따른 의료 영상 생성 디바이스의 활성 영역 예측부에 의해, 비-조영제 의료 영상에 대하여 예측된 활성 영역에 대한 영상과 재구성된 의료 영상이 도시된다. 보다 구체적으로, 활성 영역 예측부에 의해 예측된 활성 영역은, 비-조영제 의료 영상과 비교했을 때 조영제 의료 영상 내에서 조영제 투여에 의해 활성화된 영역과 유사한 것으로 나타난다. 이에, 비-조영제 의료 영상과 예측된 활성 영역을 기초로 재구성된 영상은, 조영제 의료 영상을 대체할 수 있을 정도로 유사한 수준의 대조도를 갖는다. 따라서, 의료인은, 조영제의 이용 없이도 본 발명의 다양한 실시예에 따른 의료 영상 생성 디바이스로부터 활성 영역이 포함된 최적의 의료 영상을 획득 할 수 있고, 목적 부위에 대한 섬세한 구조적 관찰 또는 특정 질환의 발병 여부를 확인 할 수 있다. 나아가, 피검자는 조영제의 투여에 따른 부작용의 우려 없이, 진단 받고자 하는 목적 부위에 대한 영상 정보를 획득 할 수 있다.
이상의 실시예 1의 결과로, 본 발명의 다양한 실시예에 따른 의료 영상 생성 방법 및 이를 이용한 디바이스는 피검자의 목적 부위에 대한 의료 영상 내에서 활성 영역을 실제 조영제 영상과 유사한 수준으로 예측할 수 있다.
특히, 본 발명의 일 실시예에 따른 의료 영상 생성 방법 및 이를 이용한 디바이스는, 예측 모델 이용에 따라, 의료 영상의 종류에 따라 상이한 조영제를 투여해야 하는 번거로움을 해결할 수 있고, 의료 영상의 종류, 의료인의 숙련도, 목적 부위의 종류에 관계 없이 높은 대조도를 갖는 의료 영상을 제공할 수 있는 효과가 있다.
한편, 본 발명의 일 실시예에 따른 의료 영상 생성 방법 및 이를 이용한 디바이스의 이용 범위 및 효과에 제한되지 않는다. 예를 들어, 발명의 일 실시예에 따른 의료 영상 생성 방법 및 이를 이용한 디바이스는, 활성 영역 예측 모델을 이용하여 목적 부위 대하여 복수개의 단면으로 촬상된 비-조영제 의료 영상을 기초로, 각각의 영상에 대하여 활성 영역을 예측하여 3 차원 형태로 제공함에 따라, 피검자의 목적 부위에 대한 정확한 정보를 제공할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 의료 영상 생성 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
212: 비-조영제 의료 영상
220: 활성 영역 예측 모델
222: 활성 영역이 예측된 의료 영상
232: 활성 영역이 표시된 의료 영상
311: 학습용 비-조영제 의료 영상
312: 학습용 조영제 의료 영상
313: 활성 영역이 가추출된 의료 영상
314: 영역이 분할된 의료 영상
315: 목적 부위에 대한 영역이 선택된 의료 영상
316: 홀이 제거된 의료 영상
318: 학습 영역이 결정된 의료 영상
319: 활성 영역이 최종 추출된 의료 영상
322: 네트워크 학습부에 의해 활성 영역이 추출된 의료 영상

Claims (16)

  1. 조영제가 투여되지 않은 목적 부위에 대한, 비-조영제 (non-contrast) 의료
    영상을 수신하는 단계;
    상기 비-조영제 의료 영상 및 상기 목적 부위에 조영제가 투여되어 촬영된 조영제 (contrast) 의료 영상을 기초로 학습되어, 조영제가 투여될 경우 활성화되는 영역을 상기 비-조영제 의료 영상에서 예측하도록 구성된 활성 영역 예측 모델을 이용하여, 상기 비-조영제 의료 영상 내에서 활성 영역을 예측하는 단계, 및
    상기 활성 영역이 표시된 상기 비-조영제 의료 영상을 제공하는 단계를 포함하고,
    상기 활성 영역 예측 모델은,
    상기 비-조영제 의료 영상에 대한 상기 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 를 산출하는 단계, 및
    상기 비-조영제 의료 영상 및 상기 패치 기반 차이를 이용하여 상기 비-조영제 의료 영상 내에서 상기 활성 영역을 예측하는 단계를 통해 학습된 모델인, 의료 영상 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 산출하는 단계는,
    [수학식 1]에 의해 상기 패치 기반 차이를 산출하는 단계를 포함하는, 의료 영상 생성 방법.
    [수학식 1]
    Figure 112019087439432-pat00010

    (여기서, I non(x, y)은 특정 좌표 (x, y)에서의 비-조영제 의료 영상 값을 의미하고, Icon(w, h)는 특정 좌표 (w, h)에서의 조영제 의료 영상값을 의미하고, o(x, y)는 패치 기반 차이를 의미하고, o는 활성 영역에 대한 영상을 의미하고, P x, y는 특정 좌표 (x, y) 주위 영역에 속하는 픽셀 집합을 의미하고, wp 및 hp는 하이파라미터를 의미한다.)
  4. 제1항에 있어서,
    상기 활성 영역 예측 모델은,
    상기 비-조영제 의료 영상을, 상기 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하는 단계,
    상기 복수의 영역 중 상기 목적 부위에 대한 영역을 학습 영역으로 결정하는 단계, 및
    상기 비-조영제 의료 영상, 상기 패치 기반 차이 및 결정된 상기 학습 영역을 이용하여, 상기 비-조영제 의료 영상의 상기 목적 부위에 대한 영역 내에서 활성 영역을 예측하는 단계를 통해 더 학습된 모델인, 의료 영상 생성 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 활성 영역 예측 모델은,
    상기 비-조영제 의료 영상에 대하여 픽셀 값, 질감 (texture) 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초로, 상기 비-조영제 의료 영상 내에서 상기 활성 영역을 패치 단위로 예측하는 단계를 통해 학습된 모델인, 의료 영상 생성 방법.
  8. 제1항에 있어서,
    예측된 상기 활성 영역 및 상기 비-조영제 의료 영상을 기초로 상기 목적 부위에 대한 의료 영상을 재구성하는 단계, 및
    재구성된 의료 영상을 제공하는 단계를 더 포함하는, 의료 영상 생성 방법.
  9. 제1항에 있어서,
    상기 수신하는 단계는,
    상기 목적 부위에 대한 복수개 단면의 비-조영 의료 영상을 수신하는 단계를 포함하고,
    상기 활성 영역을 예측하는 단계는,
    상기 활성 영역 예측 모델을 이용하여, 복수개의 단면상의 상기 비-조영 의료 영상 각각에 대하여 상기 활성 영역을 예측하는 단계를 포함하고,
    상기 제공하는 단계는,
    상기 활성 영역에 대한 예측 결과를 기초로, 상기 활성 영역을 3 차원적으로 재구성하는 단계 및,
    상기 재구성된 활성 영역을 제공하는 단계를 더 포함하는, 의료 영상 생성 방법.
  10. 제1항에 있어서,
    상기 의료 영상은,
    X-레이 영상, CT (computed tomography) 영상, 초음파 영상 및 MRI (magnetic resonance imaging) 로 이루어진 그룹 중 선택된 적어도 하나이고,
    상기 조영제는,
    요오드화 조영제, 가돌리늄 조영제 및 바륨 조영제로 이루어진 그룹 중 선택된 적어도 하나인, 의료 영상 생성 방법.
  11. 조영제가 투여되지 않은 목적 부위에 대한, 비-조영제 의료 영상을 수신하도록 구성된 수신부, 및
    상기 수신부와 동작 가능하게 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 비-조영제 의료 영상 및 상기 목적 부위에 조영제가 투여되어 촬영된 조영제 의료 영상을 기초로 학습되어, 조영제가 투여될 경우 활성화되는 영역을 상기 비-조영제 의료 영상에서 예측하도록 구성된 활성 영역 예측 모델을 이용하여, 상기 비-조영제 의료 영상 내에서 활성 영역을 예측하도록 구성되고,
    상기 활성 영역 예측 모델은,
    상기 비-조영제 의료 영상에 대한 상기 조영제 의료 영상의 패치 기반 차이를 산출하고, 상기 비-조영제 의료 영상 및 상기 패치 기반 차이를 이용하여 상기 비-조영제 의료 영상 내에서 상기 활성 영역을 예측하도록 구성된, 의료 영상 생성 디바이스.
  12. 삭제
  13. 제11항에 있어서,
    상기 활성 영역 예측 모델은,
    상기 비-조영제 의료 영상을, 상기 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하고, 상기 복수의 영역 중 상기 목적 부위에 대한 영역을 학습 영역으로 결정하고, 산출된 상기 패치 기반 차이 및 결정된 상기 학습 영역을 기초로, 상기 비-조영제 의료 영상의 상기 목적 부위에 대한 영역 내에서 활성 영역을 예측하도록 더 구성된, 의료 영상 생성 디바이스.
  14. 조영제가 투여되지 않은 목적 부위에 대한, 학습용 비-조영제 의료 영상 및 학습용 조영제가 투여된 목적 부위에 대한 학습용 조영제 의료 영상의 차이를 기초로, 비-조영제 의료 영상으로부터 조영제가 투여될 경우 활성화되는, 활성 영역을 추출하도록 구성된, 활성 영역 추출부;
    상기 활성 영역 추출부에 의해 추출된 상기 활성 영역 및 상기 학습용 비-조영제 의료 영상을 기초로, 상기 비-조영제 의료 영상으로부터 활성 영역을 예측하는 것을 학습하도록 구성된 네트워크 학습부 및
    상기 학습용 비-조영제 의료 영상과 상이한, 새로운 비-조영제 의료 영상을 기초로 활성 영역을 예측 하도록 구성된, 활성 영역 예측부를 포함하고,
    상기 활성 영역 추출부는,
    상기 학습용 비-조영제 의료 영상에 대한 상기 학습용 조영제 의료 영상의 패치 기반 차이 (patch-wise difference) 를 산출하고, 산출된 상기 패치 기반 차이를 학습하여 상기 학습용 비-조영제 의료 영상 내에서 상기 활성 영역을 추출하도록 구성된, 의료 영상 생성 디바이스.
  15. 삭제
  16. 제14항에 있어서,
    상기 활성 영역 추출부는,
    상기 학습용 비-조영제 의료 영상을, 상기 목적 부위에 대한 영역을 포함하는 복수의 영역으로 분할하고, 상기 복수의 영역 중 상기 목적 부위에 대한 영역을 학습 영역으로 결정하고, 상기 패치 기반 차이 및 결정된 상기 학습 영역을 기초로, 상기 학습용 비-조영제 의료 영상 내에서 상기 활성 영역을 추출하도록 더 구성된, 의료 영상 생성 디바이스.
KR1020180063280A 2018-06-01 2018-06-01 의료 영상 생성 방법 및 디바이스 KR102060895B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180063280A KR102060895B1 (ko) 2018-06-01 2018-06-01 의료 영상 생성 방법 및 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180063280A KR102060895B1 (ko) 2018-06-01 2018-06-01 의료 영상 생성 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20190137283A KR20190137283A (ko) 2019-12-11
KR102060895B1 true KR102060895B1 (ko) 2020-02-11

Family

ID=69003794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180063280A KR102060895B1 (ko) 2018-06-01 2018-06-01 의료 영상 생성 방법 및 디바이스

Country Status (1)

Country Link
KR (1) KR102060895B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254971B1 (ko) * 2019-07-24 2021-05-21 가톨릭대학교 산학협력단 인공지능을 이용한 조영증강 영상 및 비조영증강 영상 변환 방법 및 장치
KR102316312B1 (ko) * 2021-02-01 2021-10-22 주식회사 클라리파이 딥러닝 기반의 조영 증강 ct 이미지 대조도 증폭 장치 및 방법
JP7376053B2 (ja) * 2021-02-01 2023-11-08 クラリピーアイ インコーポレイテッド ディープラーニング基盤の造影増強ctイメージ対照度増幅装置及び方法
CN113762285A (zh) * 2021-09-10 2021-12-07 程明霞 一种分析和处理医学影像的系统及方法
KR20230174657A (ko) * 2022-06-21 2023-12-28 폴스타헬스케어(주) 인공지능 기반 의료영상 변환방법
KR20240063376A (ko) * 2022-11-03 2024-05-10 서강대학교산학협력단 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503629A (ja) * 2003-08-22 2007-02-22 セメイオン 画像などの既存の位相情報を有するデータ配列を処理するためのニューラルネットワーク及び該ネットワーク使用方法
US20100198054A1 (en) * 2007-05-18 2010-08-05 Ewing James R Mri estimation of contrast agent concentration using a neural network approach
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2850763B2 (ja) * 1994-07-22 1999-01-27 日本電気株式会社 生体内部状態伝達装置およびその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503629A (ja) * 2003-08-22 2007-02-22 セメイオン 画像などの既存の位相情報を有するデータ配列を処理するためのニューラルネットワーク及び該ネットワーク使用方法
US20100198054A1 (en) * 2007-05-18 2010-08-05 Ewing James R Mri estimation of contrast agent concentration using a neural network approach
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김대홍. "Design and characterization of the multi-energy monochromatic X-ray beam in X-ray imaging systems." Diss. Graduate School, Yonsei University(2014)*

Also Published As

Publication number Publication date
KR20190137283A (ko) 2019-12-11

Similar Documents

Publication Publication Date Title
KR102060895B1 (ko) 의료 영상 생성 방법 및 디바이스
CN107545584B (zh) 医学图像中定位感兴趣区域的方法、装置及其系统
CN1663530B (zh) 用于处理图像数据以帮助检测疾病的方法和装置
CN105120738B (zh) 狭窄治疗规划
CN110232691A (zh) 一种多模态的ct影像的分割方法
US10098602B2 (en) Apparatus and method for processing a medical image of a body lumen
US11278256B2 (en) Method and system for imaging
US20140307936A1 (en) Method and apparatus for the assessment of medical images
JP2014161734A (ja) 医療画像を整合する方法及びその装置
TW201219013A (en) Method for generating bone mask
US11830193B2 (en) Recognition method of intracranial vascular lesions based on transfer learning
JP2023062179A (ja) 肺および血管の健康状態を検査し評価する方法
CN112237435A (zh) 用于在计算机断层扫描中成像的方法和装置
US11723617B2 (en) Method and system for imaging
US20040160440A1 (en) Method for surface-contouring of a three-dimensional image
CN115311191A (zh) 使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图
CN114943688A (zh) 基于触诊和超声数据对乳腺图像中感兴趣区域的提取方法
US11972564B2 (en) Recording medium, information processing device, information processing method, trained model generation method, and correlation image output device
Zhang et al. Mesenteric vasculature-guided small bowel segmentation on high-resolution 3D CT angiography scans
Fujita et al. State-of-the-art of computer-aided detection/diagnosis (CAD)
Garcia Three-dimensional imaging for coronary interventions
Berthomier et al. Deep Venous Thrombosis: Database creation and image preprocessing
Gomalavalli et al. Boundary detection of renal using contour segmentation
US20240062370A1 (en) Mechanics-informed quantitative flow analysis of medical images of a tubular organ
Özkan 3D Lung vessel segmentation in computed tomography angiography images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant