KR102404272B1 - 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 - Google Patents
심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR102404272B1 KR102404272B1 KR1020200053597A KR20200053597A KR102404272B1 KR 102404272 B1 KR102404272 B1 KR 102404272B1 KR 1020200053597 A KR1020200053597 A KR 1020200053597A KR 20200053597 A KR20200053597 A KR 20200053597A KR 102404272 B1 KR102404272 B1 KR 102404272B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- slice
- left ventricle
- left atrium
- features
- Prior art date
Links
- 210000005242 cardiac chamber Anatomy 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title abstract description 19
- 210000005240 left ventricle Anatomy 0.000 claims abstract description 64
- 210000005246 left atrium Anatomy 0.000 claims abstract description 60
- 238000010191 image analysis Methods 0.000 claims abstract description 16
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 23
- 230000011218 segmentation Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 208000016479 Cor triatriatum sinister Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 208000004652 Cardiovascular Abnormalities Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 208000007177 Left Ventricular Hypertrophy Diseases 0.000 description 1
- 206010057500 Left atrial hypertrophy Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 206010047302 ventricular tachycardia Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G06T3/0031—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Cardiology (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- High Energy & Nuclear Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법은 공 신경망을 이용하여 3D MRI 영상에서 심장 챔버의 객체를 인식하고, 좌심방과 좌심실의 경계 영역을 구분하여 3D 모델을 형성하며, 경계 영역을 구분하는 분할 정확도가 우수한 효과가 있다.
Description
본 발명은 영상 분석 장치에 관한 것으로서, 더욱 상세하게는 인공 신경망을 이용하여 3D MRI 영상에서 심장 챔버의 객체를 인식하고, 좌심방과 좌심실의 경계 영역을 구분하여 3D 모델을 형성하는 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법에 관한 것이다.
3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)는 선천성 심장 결함, 좌심실 비대 및 좌심방 비대 등과 같은 심장 질환 진단에 널리 사용된다. 이것은 심장 해부학을 검사하는 비침습적 기술 중 하나이다.
심장 이미징은 심실 빈맥, 심방 세동과 같은 다양한 심혈관 질환 및 이상 진단에 중요한 역할을 한다.
이러한 의료 이미징 기술은 혈관 내 초음파, 2D 및 3D 심장 MRI에 있다. 3D 심장 MRI는 의사가 읽거나 해석하기 위해서 영상 분할이 필요하며, 원시 3D MRI를 이해하고 분류하기 위해서 특정 기술 및 의료 교육이 필요하다.
즉, 3D MRI에서 영상을 분할하는 작업은 의사의 능력에 따라 좌우되기 때문에 대상 해부학을 식별하고, 검사 및 진단을 수행하는데 시간이 걸리며, 영상 분석에 에러가 발생할 가능성도 존재한다.
이와 같은 문제점을 해결하기 위하여, 본 발명은 인공 신경망을 이용하여 3D MRI 영상에서 심장 챔버의 객체를 인식하고, 좌심방과 좌심실의 경계 영역을 구분하여 3D 모델을 형성하는 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 장치는,
3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)로부터 좌심실과 좌심방의 심장 챔버 영상을 나타내는 복수의 슬라이스 영상을 포함하는 심장 MRI 데이터시트를 수신하는 입력부;
상기 각각의 슬라이스 영상에 대하여 소음을 제거하여 전처리하는 전처리부;
상기 전처리된 슬라이드 영상을 연결 알고리즘을 이용하여 모든 객체를 각각의 슬라이스 영상에서 복수의 특징을 추출하는 특징 추출부;
상기 추출한 복수의 특징을 상기 각각의 슬라이스 영상에 존재하는 객체의 상기 좌심실과 좌심방의 접합 영역이 있는지 판단하는 좌심방과 좌심실의 접합 검출 모델을 생성하는 기계 학습부; 및
상기 각각의 슬라이스 영상으로부터 추출한 복수의 특징을 상기 기계 학습부의 입력 데이터로 전송하고, 상기 복수의 특징을 상기 좌심방과 좌심실의 접합 검출 모델에 의해서 상기 좌심실과 좌심방의 접합 영역이 있는지 여부를 출력하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 장치는,
3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)로부터 축면 영상의 복수의 슬라이스 영상과, 관상면 영상의 복수의 슬라이스 영상과, 시상면 영상의 복수의 슬라이스 영상을 포함하는 심장 MRI 데이터시트를 수신하는 입력부;
최대 밝기 레벨을 85% 한계로 하는 임계값을 이용하여 상기 각각의 슬라이스 영상을 전처리하여 이진 이미지를 생성하는 전처리부;
상기 전처리된 슬라이드 영상을 연결 알고리즘을 이용하여 모든 객체를 각각의 슬라이스 영상에서 타원과 관련된 파라미터인 편심(Eccentricity), 장축(Major Axis), 객체 영역(픽셀의 양), 단축(Minor Axis), 객체 위치의 특징을 추출하는 특징 추출부; 및
상기 추출한 5개의 특징을 상기 각각의 슬라이스 영상에 존재하는 객체의 상기 좌심실과 좌심방의 접합 영역이 있는지 판단하는 좌심방과 좌심실의 접합 검출 모델을 생성하는 기계 학습부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 방법은,
3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)로부터 축면 영상의 복수의 슬라이스 영상과, 관상면 영상의 복수의 슬라이스 영상과, 시상면 영상의 복수의 슬라이스 영상을 포함하는 심장 MRI 데이터시트를 수신하는 단계;
최대 밝기 레벨을 85% 한계로 하는 임계값을 이용하여 상기 각각의 슬라이스 영상을 전처리하여 이진 이미지를 생성하는 단계;
상기 전처리된 슬라이드 영상을 연결 알고리즘을 이용하여 모든 객체를 각각의 슬라이스 영상에서 타원과 관련된 파라미터인 편심(Eccentricity), 장축(Major Axis), 객체 영역(픽셀의 양), 단축(Minor Axis), 객체 위치의 특징을 추출하는 단계; 및
상기 추출한 5개의 특징을 상기 각각의 슬라이스 영상에 존재하는 객체의 상기 좌심실과 좌심방의 접합 영역이 있는지 판단하는 좌심방과 좌심실의 접합 검출 모델을 생성하고, 상기 5개의 특징을 입력 데이터로 하여 상기 좌심방과 좌심실의 접합 검출 모델에 의해서 상기 좌심실과 좌심방의 접합 영역이 있는지 여부를 출력하는 단계를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 3D MRI 영상에서 심장 챔버의 객체를 인식하고, 좌심방과 좌심실의 경계 영역을 구분하는 분할 정확도가 우수한 효과가 있다.
도 1은 본 발명의 실시예에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 축면 영상, 관상면 영상, 시상면 영상의 일례를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 축면 영상, 관상면 영상, 시상면 영상의 좌심실과 좌심방의 접합 영역을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 LV와 LA의 접합 영역을 검출하는 신경망의 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 각각의 슬라이스 영상을 로드하는 모습을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 방법을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 축면 슬라이스 영상들의 분할 결과를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 분할된 슬라이스 영상을 재구성하여 3D 모델을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 각각의 분할된 슬라이스에서 챔버 질량 분할을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 축면 영상, 관상면 영상, 시상면 영상의 일례를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 축면 영상, 관상면 영상, 시상면 영상의 좌심실과 좌심방의 접합 영역을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 LV와 LA의 접합 영역을 검출하는 신경망의 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 각각의 슬라이스 영상을 로드하는 모습을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 방법을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 축면 슬라이스 영상들의 분할 결과를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 분할된 슬라이스 영상을 재구성하여 3D 모델을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 각각의 분할된 슬라이스에서 챔버 질량 분할을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 축면 영상, 관상면 영상, 시상면 영상의 일례를 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 축면 영상, 관상면 영상, 시상면 영상의 좌심실과 좌심방의 접합 영역을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 LV와 LA의 접합 영역을 검출하는 신경망의 구성을 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 각각의 슬라이스 영상을 로드하는 모습을 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 방법을 나타낸 도면이다.
본 발명의 실시예에 따른 심장 챔버 영상의 경계를 구분하는 영상 분석 장치(100)는 입력부(110), 전처리부(120), 특징 추출부(130), 제어부(140), 기계 학습부(150), 저장부(160), 메모리부(170) 및 영상 재구성부(180)를 포함한다.
도 2에 도시된 바와 같이, 입력부(110)는 3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)로부터 심장 MRI의 축면 영상(Axial Image)(도 2의 (a)), 심장 MRI의 관상면 영상(Sagittal Image)(도 2의 (b)), 심장 MRI의 시상면 영상(Coronal Image)(도 2의 (c))을 포함한 3D 심장 MRI 데이터시트를 수신할 수 있다(S100).
다시 말해, 입력부(110)는 3D 심장 자기 공명 영상 장치로부터 DICOM 파일을 영상 처리 라이브러리를 사용하여 읽어 들이고, 심장 챔버 영상을 수신한다. 여기서, 심장 챔버 영상은 좌심실 영상과 좌심방 영상을 나타낸다.
DICOM(Digital Imaging and Communications in Medicine)은 의료용 스캔을 수신하는 데 가장 일반적으로 사용되는 표준으로, DICOM 파일에는 별개의 스캔 레이어를 나타내는 여러 "분할 영역", 즉, 심장 챔버 영상의 축면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 관상면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 시상면 영상을 나타내는 복수의 슬라이스 영상을 포함된다.
전처리부(120)는 심장 챔버 영상의 축면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 관상면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 시상면 영상을 나타내는 복수의 슬라이스 영상의 각각에 대하여 전처리를 수행한다(S110).
전처리부(120)는 뼈와 근육 조직의 노이즈를 제거하고, 최대 밝기 레벨을 나타내는 임계값을 이용하여 슬라이스 영상을 전처리하여 이진 이미지를 생성한다. 여기서, 임계값은 최대 밝기 레벨을 85% 한계로 설정한다. 이러한 최대 밝기 레벨 85%은 다양한 데이터 세트에 대하여 실험을 통해 얻어진 수치이다.
도 3에 도시된 바와 같이, 심장 챔버 영상의 축면 영상, 심장 챔버 영상의 관상면 영상, 심장 챔버 영상의 시상면 영상에서는 심장 영역에서 다른 영역보다 좌심실(Left Ventricle)과 좌심방(Left Atrium)의 크기가 훨씬 크다는 것을 알 수 있다. 좌심실과 좌심방의 모양은 타원 형태로 이루어져 있다.
좌심실과 좌심방의 접합 부위는 빨간색으로 도시되어 있으며, 파란색의 타원은 챔버 모양과 유사함을 나타낸다.
이러한 점을 종합해 볼 때, 타원과 관련된 파라미터, 예를 들어 편심(Eccentricity), 장축(Major Axis), 객체 영역(픽셀의 양)이다.
이러한 특징을 사용한 시뮬레이션은 좌심방과 좌심실의 접합 영역이 허용 가능한 정확도로 식별될 수 있음을 보여준다.
그러나 시뮬레이션 결과는 2개의 특징(단축(Minor Axis)과 객체 위치)을 추가하면, 하기의 표 1과 같이, 영상 분할의 정확도가 더욱 향상되는 것을 알 수 있다.
이러한 결과는 5개의 특징을 이용하여 알고리즘이 뼈와 작은 혈관으로 인해 발생하는 소음에 대하여 더욱 강력해짐을 보여준다.
전처리부(120)는 입력부(110)로부터 수신한 각각의 슬라이스 영상에서 5개의 특징을 이용하여 뼈, 작은 혈관, 근육 조직 등을 포함한 소음을 제거한 후, 최대 밝기 레벨 85%을 전처리하여 이진 이미지를 생성한다.
특징 추출부(130)는 연결 알고리즘을 이용하여 모든 객체를 각각의 슬라이스 영상에서 5개의 특징을 추출한다(S120). 여기서, 연결 알고리즘은 이진 이미지에서 연결된 컴포넌트 알고리즘(Component Algorithm)을 기반으로 한다.
연결 알고리즘은 전처리부(120)로부터 생성된 이진 이미지 상에서 탐지를 수행한다. 연결된 컴포넌트 알고리즘은 슬라이스 영상에서 개별 객체의 픽셀 목록을 제공한다.
특징 추출부(130)는 픽셀 목록을 사용하면, 모든 슬라이스 영상에서 각 객체에 대해 타원의 5가지 특징(편심, 장축, 객체 영역, 단축, 객체 위치)을 모두 찾는다.
여기서, 모든 슬라이스 영상은 심장 챔버 영상의 축면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 관상면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 시상면 영상을 나타내는 복수의 슬라이스 영상을 포함된다.
이러한 5개의 특징들은 신경망에 대한 입력 데이터로 사용된다.
예를 들어, 개별 객체 영역에 대해서 객체의 모든 이진 픽셀을 추가한다.
제어부(140)는 5개의 특징을 기계 학습부(150)의 입력 데이터로 전송한다.
기계 학습부(150)는 입력층으로부터 입력 데이터를 입력받아 예측값을 출력층의 버퍼에 출력하는 예측 심층 신경망을 사용하며, 예측 심층 신경망의 구조나 형태는 제한되지 않고, 대표적인 방법으로 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 있다.
기계 학습부(150)는 5개의 특징 벡터를 패턴 인식 기법을 이용하여 다양한 좌심방과 좌심실의 접합 영역을 찾아내는 기법으로 재발 신경망(Recurrent Neural Network, RNN) 모델의 LSTM(Long Short-Term Memory)로 구성된다.
패턴 인식 기법은 인공 신경망을 이용한 예측 방법으로 입력층으로부터 출력층의 결과값을 예측한 경우, 학습 과정에서 결과값들로부터 입력값을 예측할 수 있다. 인공 신경망은 입력값과 출력값이 일대일 대응 관계에 있지 아니하므로, 출력층으로서 입력층을 그대로 복구하는 것은 불가능하나, 예측 알고리즘을 고려하여 역전파(Backpropagation) 알고리즘에 의해 결과값으로부터 산출된 출력 데이터가 최초의 입력 데이터와 상이하다면, 인공 신경망의 예측이 부정확하다고 볼 수 있으므로, 제약 조건 하에서 산출된 출력 데이터가 최초의 입력 데이터와 유사해지도록 예측 계수를 변경하여 학습을 훈련하게 된다.
심층 신경망이란 신경망 알고리즘 중에서 여러 개의 층으로 이루어진 신경망을 의미한다. 한 층은 여러 개의 노드로 이루어져 있고, 노드에서 실제 연산이 이루어지는데, 이러한 연산 과정은 인간의 신경망을 구성하는 뉴런에서 일어나는 과정을 모사하도록 설계되어 있다. 통상적인 인공 신경망은 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 나뉘며, 입력 데이터는 입력층의 입력이 되며, 입력층의 출력은 은닉층의 입력이 되고, 은닉층의 출력은 출력층의 입력이 되고, 출력층의 출력이 최종 출력이 된다.
기계 학습부(150)는 입력층으로부터 입력 데이터를 입력받아 예측값을 출력층의 버퍼에 출력하는 예측 심층 신경망을 사용하며, 예측 심층 신경망의 구조나 형태는 제한되지 않고, 대표적인 방법으로 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 있으며, 각각의 신경망의 조합으로 예측 심층 신경망을 구성하여 다양한 구조의 심층 신경망을 구성할 수 있다.
기계 학습부(150)는 예측 모델을 만들기 위해서 좌심방과 좌심실의 접합 검출 모델을 저장부(160)에 저장하여 기계 학습의 학습 데이터 셋으로 이용할 수 있다.
기계 학습 과정은 과거에 저장된 많은 데이터로부터 특징 벡터를 추출하고, 추출된 특징 벡터를 토대로 학습 데이터 셋을 만들고, 학습 데이터 셋은 기계 학습 알고리즘에 기반하여 예측 모델을 생성하게 된다. 학습 데이터는 기계 학습에서 원하는 정보를 추출하기 위해서 사용되는 데이터의 집합이다.
도 4에 도시된 바와 같이, 기계 학습부(150)는 저장부(160)에 저장된 좌심방과 좌심실의 접합 검출 모델을 메모리부(170)로 불러와서 5개의 특징을 입력 데이터로 하며, 3개의 슬라이스 영상에서 좌심방과 좌심실을 찾아내어 좌심방과 좌심실의 접합 영역을 기계 학습한다(S130).
좌심방과 좌심실의 접합 영역 검출은 인공 신경망을 기반으로 하며, 훈련 목적으로 역전파 알고리즘을 사용한다.
영상 분석 장치(100)는 입력부(110)를 통해 3D 데이터인 3개의 슬라이스 영상을 수신하고, 특징 추출부(130)를 통해 각각의 슬라이스 영상에서 5개의 특징이 추출되며, 추출된 5개의 특징이 훈련된 인공 신경망에 공급된다.
기계 학습부(150)는 심장 챔버 영상의 축면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 관상면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 시상면 영상을 나타내는 복수의 슬라이스 영상의 각각에 대하여 좌심방과 좌심실의 접합 영역이 존재하는 슬라이스 영상을 식별하도록 학습한다.
기계 학습부(150)는 5개의 뉴런을 갖는 각각의 층을 5개의 히든층에 대하여 최대 성능이 달성될 수 있다(하기의 표 2)
특징 추출부(130)는 입력부(110)를 통해 수신된 심장 챔버 영상의 축면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 관상면 영상을 나타내는 복수의 슬라이스 영상과, 심장 챔버 영상의 시상면 영상을 나타내는 복수의 슬라이스 영상의 각각에 대하여 연결된 컴포넌트 알고리즘을 이용하여 객체에 대한 5개의 특징을 추출한다.
제어부(140)는 각각의 슬라이스 영상으로부터 추출한 5개의 특징을 기계 학습부(150)의 입력 데이터로 전송한다.
기계 학습부(150)는 추출한 복수의 특징을 각각의 슬라이스 영상에 존재하는 객체의 좌심실과 좌심방의 접합 영역이 있는지 판단하는 좌심방과 좌심실의 접합 검출 모델을 생성한다.
제어부(140)는 5개의 특징을 좌심방과 좌심실의 접합 검출 모델에 의해서 1(객체에 좌심방과 좌심실의 접합 영역이 있음) 또는 0(객체에 좌심방과 좌심실의 접합 영역이 없음)을 출력하도록 제어한다.
도 5에 도시된 바와 같이, 제어부(140)는 각각의 슬라이스 영상에서 좌심방과 좌심실의 접합 영역을 기준으로 아래쪽으로 후속 슬라이스 영상을 로드하고, 접합 영역을 기준으로 위쪽으로 선행 슬라이스 영상을 로드하여 좌심방과 좌심실을 추출한다(S140).
제어부(140)는 각각의 슬라이스 영상에서 좌심방과 좌심실의 접합 영역이 있는 경우, 접합 영역의 아래쪽으로 후속 슬라이스 영상을 로드하여 첫 번째 좌심실 슬라이스 영상을 감지한다.
제어부(140)는 슬라이스 영상을 전처리하고, 연결된 컴포넌트 알고리즘을 이용하여 다양한 객체가 감지된다.
제어부(140)는 감지된 객체에서 최대 크기를 가지는 객체가 심장 챔버 영상이고, 좌심방과 좌심실의 접합 영역의 중심에서 최소 유클리드 거리를 갖는 객체를 좌심실로 추출한다. 이후에 영상 재구성부(180)는 다음 슬라이스 영상을 로딩하고, 이전에 검색된 좌심실로부터 최소 유클리드 거리가 계산된다는 점을 제외하고, 전처리, 객체 감지의 유사한 프로세스가 수행된다.
이러한 프로세스는 좌심실(LV)의 끝을 감지하기 위해서 최소 임계값을 설정한다.
제어부(140)는 슬라이스 영상에서 기설정된 최소 임계값보다 큰 영역을 가진 객체가 없는 경우, 좌심실의 끝으로 판단한다. 이는 심장 챔버의 영상에서 아래로 내려갈수록 좌심실의 크기가 작아지기 때문이다.
제어부(140)는 접합 영역의 위쪽으로 선행 슬라이스 영상을 로드하여 첫 번째 좌심방 슬라이스 영상을 감지한다.
제어부(140)는 슬라이스 영상을 전처리하고, 연결된 컴포넌트 알고리즘을 이용하여 다양한 객체가 감지된다.
제어부(140)는 감지된 객체에서 최대 크기를 가지는 객체가 심장 챔버 영상이고, 좌심방과 좌심실의 접합 영역의 중심에서 최소 유클리드 거리를 갖는 객체를 좌심방으로 추출한다. 이후에 영상 재구성부(180)는 다음 슬라이스 영상을 로딩하고, 이전에 검색된 좌심방으로부터 최소 유클리드 거리가 계산된다는 점을 제외하고, 전처리, 객체 감지의 유사한 프로세스가 수행된다.
이러한 프로세스는 좌심방(LA)의 끝을 감지하기 위해서 최소 임계값을 설정한다.
영상 재구성부(180)는 연결 알고리즘(Connectivity Algorithm)을 이용하여 분할된 모든 개별 슬라이스 영상(분할된 좌심실과 좌심방)을 서로 위에 쌓여서 적층하며(S150), 분할된 3D 형상(좌심실과 좌심방)을 생성한다(S160).
도 8에 도시된 바와 같이, 분할된 모든 슬라이스 영상을 서로 쌓아서 두 챔버(좌심실 영상과 좌심방 영상)의 3D 모델을 생성한다.
실험 셋업은 총 21400개의 3D 심장 MRI 영상을 갖는 데이터 세트로 구성되고, 데이터 세트는 DICOM 형식이며, 심장 MRI의 축면 영상(Axial Image), 심장 MRI의 관상면 영상(Sagittal Image), 심장 MRI의 시상면 영상(Coronal Image)을 모두 포함한다.
또한, 데이터 세트는 고해상도 슬라이스 영상으로 구성되며, 세부 사항은 하기의 표 3에 나와 있다.
도 7은 축면 슬라이스 영상들의 분할 결과를 나타낸 도면이다.
도 7의 (c)는 좌심실과 좌심방의 접합 영역을 분할된 모습이고, 도 7의 (a)는 분할된 좌심방(220번째 슬라이스)이고, 도 7의 (b)는 분할된 좌심방(270번째 슬라이스)이고, 도 7의 (d)는 분할된 좌심실(405번째 슬라이스)이고, 도 7의 (e)는 분할된 좌심실(490번째 슬라이스)이다.
심장 챔버가 아닌 질량(동맥과 같은 비챔버 조직을 나타냄)은 픽셀로 측정된다.
심장 챔버가 아닌 질량의 백분율은 하기의 수학식 1과 같은 분할 에러류(Segmentation Error, SE)로 간주된다.
여기서, Total Mass는 슬라이스 영상에서 픽셀로 측정된 전체 질량을 나타내고, NonChamber Mass는 슬라이스 영상에서 픽셀로 측정된 심장 챔버가 아닌 질량을 나타낸다.
성능 평가 매트릭스로서 하기의 수학식 3의 평균 분할 에러(Mean Segmentation Error, MSE)를 사용한다.
분할 에러의 역퍼센트(The Percent Inverse of Segmentation Error)는 정확도(SA)를 나타낸다. SA는 하기의 수학식 2에 의해 계산된다.
평균 분할 정확도(Mean Segmentation Accuracy, MSA)는 3개의 슬라이스 영상(축면, 관상면, 시상면)의 모든 정확도의 평균을 나타낸다(수학식 3).
여기서, SAAxial는 축면 영상에서의 정확도, SACoronal는 관상면 영상에서의 정확도, SASagittal는 시상면 영상에서의 정확도를 나타낸다.
개별 슬라이스 영상에서의 비챔버 질량의 효과는 도 9에 도시되어 있다.
도 9는 3개의 슬라이스 영상에서의 분할 정확도를 보여준다. 축면 슬라이스의 달성 정확도는 94.4%이고, 관상면 슬라이스의 달성 정확도는 91.71%이고, 시상면 슬라이스의 달성 정확도는 88.61%이다. 전체 평균 분할 정확도는 91.57%이다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 영상 분석 장치
110: 입력부
120: 전처리부
130: 특징 추출부
140: 제어부
150: 기계 학습부
160: 저장부
170: 메모리부
180: 영상 재구성부
110: 입력부
120: 전처리부
130: 특징 추출부
140: 제어부
150: 기계 학습부
160: 저장부
170: 메모리부
180: 영상 재구성부
Claims (9)
- 3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)로부터 좌심실과 좌심방의 심장 챔버 영상을 나타내는 복수의 슬라이스 영상을 포함하는 심장 MRI 데이터시트를 수신하는 입력부;
상기 각각의 슬라이스 영상에 대하여 소음을 제거하여 전처리하는 전처리부;
상기 전처리된 슬라이드 영상을 연결 알고리즘을 이용하여 모든 객체를 각각의 슬라이스 영상에서 복수의 특징을 추출하는 특징 추출부;
상기 추출한 복수의 특징을 상기 각각의 슬라이스 영상에 존재하는 객체의 상기 좌심실과 좌심방의 접합 영역이 있는지 판단하는 좌심방과 좌심실의 접합 검출 모델을 생성하는 기계 학습부; 및
상기 각각의 슬라이스 영상으로부터 추출한 복수의 특징을 상기 기계 학습부의 입력 데이터로 전송하고, 상기 복수의 특징을 상기 좌심방과 좌심실의 접합 검출 모델에 의해서 상기 좌심실과 좌심방의 접합 영역이 있는지 여부를 출력하도록 제어하는 제어부를 포함하며,
상기 제어부는 상기 각각의 슬라이스 영상에서 좌심방과 좌심실의 접합 영역을 검출하고, 상기 접합 영역을 기준으로 아래쪽으로 후속 슬라이스 영상을 로드하고, 상기 접합 영역을 기준으로 위쪽으로 선행 슬라이스 영상을 로드하여 상기 좌심방과 좌심실을 추출하는 것을 특징으로 하는 영상 분석 장치. - 제1항에 있어서,
상기 심장 챔버 영상은 축면 영상의 복수의 슬라이스 영상과, 관상면 영상의 복수의 슬라이스 영상과, 시상면 영상의 복수의 슬라이스 영상을 포함하는 것을 특징으로 하는 영상 분석 장치. - 제1항에 있어서,
상기 전처리부는 최대 밝기 레벨을 85% 한계로 하는 임계값을 이용하여 상기 각각의 슬라이스 영상을 전처리하여 이진 이미지를 생성하는 것을 특징으로 하는 영상 분석 장치. - 제1항에 있어서,
상기 복수의 특징은 타원과 관련된 파라미터인 편심(Eccentricity), 장축(Major Axis), 객체 영역(픽셀의 양), 단축(Minor Axis), 객체 위치를 포함하는 것을 특징으로 하는 영상 분석 장치. - 제1항에 있어서,
상기 특징 추출부는 상기 전처리된 슬라이드 영상을 연결 알고리즘을 이용하여 모든 객체에 대하여 각각의 슬라이스 영상에서 편심(Eccentricity), 장축(Major Axis), 객체 영역(픽셀의 양), 단축(Minor Axis), 객체 위치의 5개의 특징을 추출하는 것을 특징으로 하는 영상 분석 장치. - 삭제
- 3D 심장 자기 공명 영상 장치(Cardiac Magnetic Resonance Imaging)로부터 좌심실 영상과 좌심방 영상을 나타내는 심장 챔버 영상을 수신하고, 상기 심장 챔버 영상의 축면 영상을 나타내는 복수의 슬라이스 영상과, 상기 심장 챔버 영상의 관상면 영상을 나타내는 복수의 슬라이스 영상과, 상기 심장 챔버 영상의 시상면 영상을 나타내는 복수의 슬라이스 영상을 포함하는 심장 MRI 데이터시트를 수신하는 입력부;
최대 밝기 레벨을 85% 한계로 하는 임계값을 이용하여 상기 각각의 슬라이스 영상을 전처리하여 이진 이미지를 생성하는 전처리부;
상기 전처리된 슬라이드 영상을 연결 알고리즘을 이용하여 모든 객체를 각각의 슬라이스 영상에서 타원과 관련된 파라미터인 편심(Eccentricity), 장축(Major Axis), 객체 영역(픽셀의 양), 단축(Minor Axis), 객체 위치의 특징을 추출하는 특징 추출부; 및
상기 추출한 5개의 특징을 상기 각각의 슬라이스 영상에 존재하는 객체의 상기 좌심실과 좌심방의 접합 영역이 있는지 판단하는 좌심방과 좌심실의 접합 검출 모델을 생성하는 기계 학습부를 포함하는 것을 특징으로 하는 영상 분석 장치. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200053597A KR102404272B1 (ko) | 2020-05-06 | 2020-05-06 | 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200053597A KR102404272B1 (ko) | 2020-05-06 | 2020-05-06 | 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210135682A KR20210135682A (ko) | 2021-11-16 |
| KR102404272B1 true KR102404272B1 (ko) | 2022-06-02 |
Family
ID=78716936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200053597A KR102404272B1 (ko) | 2020-05-06 | 2020-05-06 | 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102404272B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015131023A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社東芝 | 磁気共鳴イメージング装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070049817A1 (en) * | 2005-08-30 | 2007-03-01 | Assaf Preiss | Segmentation and registration of multimodal images using physiological data |
| KR101030169B1 (ko) * | 2009-04-17 | 2011-04-18 | 금오공과대학교 산학협력단 | 방사형 임계치 결정법을 통한 심실 자동 분할방법 |
| KR101579948B1 (ko) | 2014-04-04 | 2015-12-23 | 주식회사 인피니트헬스케어 | 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 |
-
2020
- 2020-05-06 KR KR1020200053597A patent/KR102404272B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015131023A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社東芝 | 磁気共鳴イメージング装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210135682A (ko) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11961226B2 (en) | Medical image recognition method, model training method, and computer device | |
| Singh et al. | Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors | |
| US8958618B2 (en) | Method and system for identification of calcification in imaged blood vessels | |
| KR20190141326A (ko) | 심층 컨볼루션 신경망을 이용한 심전도 부정맥 분류 방법 및 장치 | |
| US20230038364A1 (en) | Method and system for automatically detecting anatomical structures in a medical image | |
| Guo et al. | Retinal vessel segmentation combined with generative adversarial networks and dense U-Net | |
| Firdaus et al. | Lung cancer detection based on CT-scan images with detection features using gray level co-occurrence matrix (GLCM) and support vector machine (SVM) methods | |
| Abdelmaguid et al. | Left ventricle segmentation and volume estimation on cardiac mri using deep learning | |
| Vesal et al. | Spatio-temporal multi-task learning for cardiac MRI left ventricle quantification | |
| CN114445328A (zh) | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 | |
| KR102404272B1 (ko) | 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 | |
| Maheswari et al. | A survey on computer algorithms for retinal image preprocessing and vessel segmentation | |
| Escalera et al. | Intravascular ultrasound tissue characterization with sub-class error-correcting output codes | |
| CN116269426A (zh) | 一种十二导联ecg辅助的心脏疾病多模态融合筛查方法 | |
| Wu et al. | Machine learning-based automatic detection of pulmonary trunk | |
| de Melo et al. | Gradient boosting decision trees for echocardiogram images | |
| Wang et al. | Vision Transformer-based Classification Study of Intracranial Hemorrhage | |
| Escalera et al. | IVUS tissue characterization with sub-class error-correcting output codes | |
| Karumanchi et al. | Investigation of Intelligent approaches in Micro aneurysms Detection | |
| Shakunthala et al. | Classification of ischemic and hemorrhagic stroke using Enhanced-CNN deep learning technique | |
| KR102069774B1 (ko) | 영상 처리 장치 및 방법 | |
| Pawar et al. | Deep learning watershed algorithm to calculate cardiac stroke volume of the left ventricle for the analysis to detect person suffering from cardiac vascular diseases using cardiac MRI data | |
| Roald | Detecting valvular event times from echocardiograms using deep neural networks | |
| Venugopal et al. | DeepMD: Transforming How We Diagnose Heart Disease Using Convolutional Neural Networks | |
| Yao et al. | Deep Learning Pipeline for Preprocessing and Segmenting Cardiac Magnetic Resonance of Single Ventricle Patients from an Image Registry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |