KR102270659B1 - 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법 - Google Patents
안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법 Download PDFInfo
- Publication number
- KR102270659B1 KR102270659B1 KR1020180157564A KR20180157564A KR102270659B1 KR 102270659 B1 KR102270659 B1 KR 102270659B1 KR 1020180157564 A KR1020180157564 A KR 1020180157564A KR 20180157564 A KR20180157564 A KR 20180157564A KR 102270659 B1 KR102270659 B1 KR 102270659B1
- Authority
- KR
- South Korea
- Prior art keywords
- fundus image
- region
- disease
- image
- fundus
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
Abstract
본 발명은 안저 이미지의 품질을 판단하는 방법에 있어서, 안저 이미지의 대상 영역에 포함되는 적어도 하나의 픽셀의 픽셀 값을 기준 픽셀 값과 비교하여, 안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 단계, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 단계 및 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하여 획득된 비교 결과에 기초하여, 안저 이미지의 품질 정보를 획득하는 단계를 포함하는 안저 이미지의 품질 판단 방법에 관한 것이다.
Description
본 발명은 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법에 관한 것으로서, 안저 이미지의 대상 질병에 대한 적합성을 판단하기 위한 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법에 관한 것이다.
안저 검사는 망막, 시신경 및 황반부의 이상을 관찰할 수 있으며 비교적 간단하게 촬영을 통하여 결과를 확인할 수 있어 안과에서 빈번하게 활용되는 진단 보조 자료이다. 최근에는 안저 검사를 통하여 안질환 뿐 아니라 고혈압, 당뇨 등의 만성 질환에 의한 혈관 손상 정도를 비침습적 방법으로 관찰할 수 있다는 점에서 더욱 그 쓰임새가 늘어나고 있는 추세이다.
한편, 근래의 딥러닝 기술의 도약적인 발전에 의해, 의료 진단 분야, 특히 이미지 기반의 진단 분야에서 진단 인공지능의 개발이 활발하게 이루어지고 있다. 구글, IBM 등의 글로벌 기업들에서도 의료계와의 협업으로 대규모 데이터를 투입하는 등, 다양한 영상 의료 데이터 분석을 위한 인공지능 개발에 투자를 아끼지 않고 있으며, 일부 기업에서는 우수한 진단 결과를 출력하는 인공지능 진단 툴 개발에 성공하기도 하였다.
다만, 안저 이미지를 이용하여 인공 지능 모델을 학습하거나, 인공 지능 모델을 이용하여 안저 이미지에 기초한 진단을 수행하는 경우에, 안저 이미지에 흠결이 포함되어 있는 경우 정확한 학습 결과 또는 진단 결과를 기대하기 어렵다는 문제가 있다. 이에, 안저 이미지의 품질을 판단하기 위한 방법 등의 필요성이 대두된다.
본 발명의 일 과제는 안저 이미지의 대상 질병에 대한 적합성 판단 방법 및 이를 수행하는 장치를 제공하는 것이다.
본 발명의 일 과제는 안저 이미지의 대상 영역에 대한 적합성 판단 방법 및 이를 수행하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양태에 따르면, 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 방법에 있어서, 안저 이미지를 획득하는 단계 및 안저 이미지에 대하여, 대상 질병에 대응되는 품질 기준을 이용하여 안저 이미지의 대상 적합성을 판단하는 단계-대상 질병은 제1 질병 및 제2 질병 중 적어도 하나를 포함함-; 을 포함하되, 대상 적합성을 판단하는 것은, 대상 질병이 제1 질병인 경우 안저 이미지가 제1 품질 기준을 만족하는지 판단하고, 대상 질병이 제2 질병인 경우 안저 이미지가 제2 품질 기준을 만족하는지 판단하는 것을 포함하는 안저 이미지의 적합성 판단 방법이 제공될 수 있다.
본 발명의 다른 일 양태에 따르면, 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 방법에 있어서, 안저 이미지를 획득하는 단계, 안저 이미지가 품질 기준을 만족하는지 판단하는 단계 및 안저 이미지가 품질 기준을 만족하는지 판단하는 것에 기초하여, 안저 이미지의 대상 질병에 대한 대상 적합성을 판단하는 단계를 포함하되, 안저 이미지가 품질 기준을 만족하는지 판단하는 것은, 제1 영역과 관련된 제1 품질 기준을 만족하는지 여부를 판단하고, 안저 이미지가 제1 영역과 적어도 일부 구별되는 제2 영역과 관련되는 제2 품질 기준을 만족하는지 여부를 판단하는 것을 포함하고, 대상 적합성을 판단하는 것은, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우 안저 이미지가 제1 적합성을 만족하는 것으로 판단하고, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우 안저 이미지가 제2 적합성을 만족하는 것으로 판단하는 것을 포함하는 안저 이미지의 적합성 판단 방법 제공될 수 있다.
본 발명의 또 다른 일 양태에 따르면, 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 안저 이미지 관리 장치에 있어서, 안저 이미지를 획득하는 안저 이미지 획득부 및 안저 이미지에 대하여, 대상 질병에 대응되는 품질 기준을 이용하여 안저 이미지의 대상 적합성을 판단하는 적합성 판단부-대상 질병은 제1 질병 및 제2 질병 중 적어도 하나를 포함함-; 를 포함하되, 적합성 판단부는, 대상 질병이 제1 질병인 경우 안저 이미지가 제1 품질 기준을 만족하는지 판단하고, 대상 질병이 제2 질병인 경우 안저 이미지가 제2 품질 기준을 만족하는지 판단하는 안저 이미지 관리 장치가 제공될 수 있다.
본 발명의 또 다른 일 양태에 따르면, 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 안저 이미지 관리 장치에 있어서, 안저 이미지를 획득하는 안저 이미지 획득부, 안저 이미지의 품질을 판단하는 품질 판단부 및 안저 이미지가 품질 기준을 만족하는지 판단하는 것에 기초하여, 안저 이미지의 대상 질병에 대한 대상 적합성을 판단하는 적합성 판단부를 포함하되, 품질 판단부는, 제1 영역과 관련된 제1 품질 기준을 만족하는지 여부를 판단하고, 안저 이미지가 제1 영역과 적어도 일부 구별되는 제2 영역과 관련되는 제2 품질 기준을 만족하는지 여부를 판단하고, 적합성 판단부는, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우 안저 이미지가 제1 적합성을 만족하는 것으로 판단하고, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우 안저 이미지가 제2 적합성을 만족하는 것으로 판단하는 안저 이미지 관리 장치가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 안저 이미지의 품질 판단이 신속하게 이루어질 수 있다.
본 발명에 의하면, 안저 이미지 학습 데이터로부터 저품질 안저 이미지를 효과적으로 걸러내어, 보다 정확한 신경망 모델이 얻어질 수 있다.
본 발명에 의하면, 불량 이미지에 기초한 진단이 방지되고, 진단 결과의 정확도가 향상될 수 있다.
본 발명에 의하면, 대상 병변을 고려하여 결정된 품질 판단 프로세스를 적용함으로써 다양한 병변을 대상으로 하는 경우에도 정확한 품질 판단 결과가 얻어질 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 학습부의 구성을 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트를 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 진단부의 구성을 설명하기 위한 도면이다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다.
도 21은 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따른 진단부를 설명하기 위한 블록도이다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 29는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 30은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 31은 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 32는 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시예에 따른 장치를 설명하기 위한 도면이다.
도 35는 본 발명의 일 실시예에 따른 장치를 설명하기 위한 도면이다.
도 36은 안저 이미지에 발생할 수 있는 이상의 몇몇 예를 도시한 것이다.
도 37은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 38은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 39는 본 발명의 일 실시예에 따른 이미지의 품질 판단을 설명하기 위한 흐름도이다.
도 40은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 41은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 42는 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 43은 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 44는 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 45는 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 46은 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 47은 본 발명의 일 실시예에 따른 복수의 안저 이미지를 설명하기 위한 도면이다.
도 48은 본 발명의 일 실시예에 따른 대상 이미지 선택을 설명하기 위한 도면이다.
도 49는 본 발명의 일 실시예에 따른 대상 이미지 생성을 설명하기 위한 도면이다.
도 50은 본 발명의 몇몇 실시예에 따른 병변 별 진단 방법을 설명하기 위한 도면이다.
도 51은 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 52는 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 53은 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 54는 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 55는 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 56은 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 57은 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 58은 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 학습부의 구성을 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트를 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 진단부의 구성을 설명하기 위한 도면이다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다.
도 21은 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따른 진단부를 설명하기 위한 블록도이다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 29는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 30은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 31은 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 32는 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시예에 따른 장치를 설명하기 위한 도면이다.
도 35는 본 발명의 일 실시예에 따른 장치를 설명하기 위한 도면이다.
도 36은 안저 이미지에 발생할 수 있는 이상의 몇몇 예를 도시한 것이다.
도 37은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 38은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 39는 본 발명의 일 실시예에 따른 이미지의 품질 판단을 설명하기 위한 흐름도이다.
도 40은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 41은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 42는 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다.
도 43은 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 44는 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 45는 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 46은 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 47은 본 발명의 일 실시예에 따른 복수의 안저 이미지를 설명하기 위한 도면이다.
도 48은 본 발명의 일 실시예에 따른 대상 이미지 선택을 설명하기 위한 도면이다.
도 49는 본 발명의 일 실시예에 따른 대상 이미지 생성을 설명하기 위한 도면이다.
도 50은 본 발명의 몇몇 실시예에 따른 병변 별 진단 방법을 설명하기 위한 도면이다.
도 51은 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 52는 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 53은 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 54는 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 55는 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 56은 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 57은 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 58은 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조 부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
1. 안저 이미지를 이용한 진단 보조
1.1 진단 보조 시스템 및 프로세스
1.1.1 목적 및 정의
이하에서는, 안저 이미지에 기초하여 질병 또는 질환의 유무 또는 그 판단의 근거가 되는 이상 여부 등의 판단을 보조하기 위한 진단 보조 시스템 및 방법 등에 대하여 설명한다. 특히, 딥러닝 기법을 이용하여 질환을 진단하기 위한 신경망 모델을 구축하고, 구축된 모델을 이용하여 질환 유무 또는 이상 소견의 검출을 보조하는 진단 보조 시스템 또는 방법에 대하여 설명한다.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 질병의 유무와 관련된 진단 정보 또는 질병 유무의 진단에 이용되는 소견 정보 등을 획득하고, 이를 이용하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 발명의 일 실시예에 의하면, 안저 이미지에 기초하여 안질환의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 검사 대상자의 녹내장, 백내장, 황반 변성, 미숙아 망막증의 유무와 관련된 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 발명의 다른 일 실시예에 의하면, 안질환이 아닌 타 질환(예컨대, 전신 질환 또는 만성 질환)의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 고혈압, 당뇨병, 알츠하이머, 거대 세포 바이러스, 뇌졸중, 심장 질환, 동맥 경화증 등의 전신 질환의 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 의하면, 안질환 또는 타 질환의 진단에 이용될 수 있는 이상 안저 소견을 검출하기 위한 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 안저 전반의 색상 이상, 수정체 혼탁(Opacity), 시신경 유두의 비율(C/D ratio; cup to disc ratio)의 이상, 황반 이상(예를 들어, 황반 원공), 혈관의 직경, 주행 등의 이상, 망막 동맥의 직경 이상, 망막의 출혈, 삼출물의 발생, 드루젠(drusen) 등의 소견 정보를 획득하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 명세서에서, 진단 보조 정보라 함은, 질환 유무의 판단에 따른 진단 정보 또는 그 기초가 되는 소견 정보 등을 포괄하는 것으로 이해될 수 있다.
1.1.2 진단 보조 시스템 구성
본 발명의 일 실시예에 따르면, 진단 보조 시스템이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템(10)을 도시한 것이다. 도 1을 참조하면, 진단 보조 시스템(10)은 진단 모델을 트레이닝하는 학습 장치(1000), 진단 모델을 이용하여 진단을 수행하는 진단 장치(2000) 및 진단 요청을 획득하는 클라이언트 장치(3000)를 포함할 수 있다. 진단 보조 시스템(10)은 복수의 학습 장치, 복수의 진단 장치 또는 복수의 클라이언트 장치를 포함할 수 있다.
학습 장치(1000)는 학습부(100)를 포함할 수 있다. 학습부(100)는 신경망 모델의 트레이닝을 수행할 수 있다. 일 예로, 학습부(100)는 안저 이미지 데이터 세트를 획득하고, 안저 이미지로부터 질환 또는 이상 소견을 검출하는 신경망 모델의 트레이닝을 수행할 수 있다.
진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단부(200)는 신경망 모델을 이용하여 질환의 진단 또는 진단에 이용되는 보조 정보의 획득을 수행할 수 있다. 일 예로, 진단부(200)는 학습부에 의하여 트레이닝된 진단 모델을 이용하여 진단 보조 정보의 획득을 수행할 수 있다.
클라이언트 장치(3000)는 촬상부(300)를 포함할 수 있다. 촬상부(300)는 안저 이미지를 촬상할 수 있다. 클라이언트 장치는 안과용 안저 촬영 장치일 수 있다. 또는, 클라이언트 장치(3000)는 스마트폰, 태블릿 PC 등의 휴대용(handheld) 디바이스일 수 있다.
본 실시예에 따른 진단 보조 시스템(10)에서, 학습 장치(1000)는 데이터 세트를 획득하여 신경망 모델의 학습을 수행함으로써 진단 보조에 이용하기 위한 신경망 모델을 결정하고, 진단 장치는 클라이언트로부터 정보 요청이 획득되면 결정된 신경망 모델을 이용하여 진단 대상 이미지에 따른 진단 보조 정보를 획득하고, 클라이언트 장치는 진단 장치로 정보를 요청하고 이에 응답하여 전송된 진단 보조 정보를 획득할 수 있다.
다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습 및 이를 이용한 진단을 수행하는 진단 장치 및 클라이언트 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습, 진단 요청의 획득 및 진단을 수행하는 진단 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습을 수행하는 학습 장치 및 진단 요청을 획득하고 진단을 수행하는 진단 장치를 포함할 수 있다.
본 명세서에서 개시하는 진단 보조 시스템이 위에서 설명한 실시 예들에 한정되는 것은 아니고, 모델의 학습을 수행하는 학습부, 학습된 모델에 따라 진단 보조 정보를 획득하는 진단부 및 진단 대상 이미지를 획득하는 촬상부를 포함하는 어떠한 형태로든 구현될 수 있다.
이하에서는, 시스템을 구성하는 각 장치의 몇몇 실시예에 대하여 설명한다.
1.1.2.1 학습 장치
본 발명의 일 실시예에 따른 학습 장치는 진단을 보조하는 신경망 모델의 트레이닝을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 학습 장치(1000)를 설명하기 위한 블럭도이다. 도 2를 참조하면, 학습 장치(1000)는 제어부(1200) 및 메모리부(1100)를 포함할 수 있다.
학습 장치(1000)는 제어부(1200)를 포함할 수 있다. 제어부(1200)는 학습 장치(1000)의 동작을 제어할 수 있다.
제어부(1200)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다.
제어부(1200)는 메모리부(1100)에 저장된 시스템 프로그램 및 다양한 프로세싱 프로그램을 판독할 수 있다. 일 예로, 제어부(1200)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스, 진단 프로세스 등을 RAM상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다. 제어부(1200)는 후술하는 신경망 모델의 학습을 수행할 수 있다.
학습 장치(1000)는 메모리부(1100)를 포함할 수 있다. 메모리부(1100)는 학습에 필요한 데이터 및 학습 모델을 저장할 수 있다.
메모리부(1100)는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM, ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.
메모리부(1100)는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 일 예로, 메모리부(1100)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스 프로그램, 진단 프로세스 프로그램, 각 프로그램의 수행을 위한 파라미터 및 이러한 프로그램의 수행에 따라 얻어진 데이터(예컨대, 가공된 데이터 또는 진단 결과값) 등을 저장할 수 있다.
학습 장치(1000)는 별도의 학습부(또는 학습 모듈)를 포함할 수 있다. 학습부는 신경망 모델의 학습을 수행할 수 있다. 학습의 수행과 관련하여서는 이하의 목차 2. 학습 프로세스 에서 보다 상세히 설명하기로 한다.
학습부는 전술한 제어부(1200)에 포함될 수 있다. 학습부는 전술한 메모리부(1100)에 저장될 수 있다. 학습부는 전술한 제어부(1200) 및 메모리부(1100)의 일부 구성에 의하여 구현될 수 있다. 예컨대, 학습부는 메모리부(1100)에 저장되고, 제어부(1200)에 의하여 구동될 수 있다.
학습 장치(1000)는 통신부(1300)를 더 포함할 수 있다. 통신부(1300)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(1300)는 후술하는 진단 장치, 서버 장치 또는 클라이언트 장치와 통신할 수 있다. 통신부(1300)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(1300)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치(1000)를 보다 구체적으로 설명하기 위한 블럭도이다. 도 3을 참조하면, 학습 장치(1000)는 프로세서(1050), 휘발성 메모리(1010), 비휘발성 메모리(1030), 대용량 저장 장치(1070) 및 통신 인터페이스(1090)를 포함할 수 있다.
학습 장치(1000)의 프로세서(1050)는 데이터 가공 모듈(1051) 및 학습 모듈(1053)을 포함할 수 있다. 프로세서(1050)는 데이터 가공 모듈(1051)을 통하여 대용량 저장 장치 또는 비휘발성 메모리에 저장된 데이터 세트를 가공할 수 있다. 프로세서(1050)는 학습 모듈(1053)을 통하여, 진단 보조 신경망 모델의 트레이닝을 수행할 수 있다. 프로세서(1050)는 로컬 메모리를 포함할 수 있다. 통신 인터페이스(1090)는 네트워크(1110)와 연결될 수 있다.
다만 도 3에서 도시하는 학습 장치(1000)는, 예시에 불과하며, 본 발명에 따른 학습 장치(1000)의 구성이 이에 한정되지는 아니한다. 특히, 데이터 가공 모듈 또는 학습 모듈은 도 3에서 도시하는 것과 다른 위치에 마련될 수 있다.
1.1.2.2 진단 장치
진단 장치는 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 진단 장치(2000)를 설명하기 위한 블럭도이다. 도 4를 참조하면, 진단 장치(2000)는 제어부(2200) 및 메모리부(2100)를 포함할 수 있다.
제어부(2200)는 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 생성할 수 있다. 제어부(2200)는 진단을 위한 진단 데이터(예컨대, 피검자의 안저 데이터)를 획득하고 학습된 진단 보조 신경망 모델을 이용하여 진단 데이터에 의해 예측되는 진단 보조 정보를 획득할 수 있다.
메모리부(2100)는 학습된 진단 보조 신경망 모델을 저장할 수 있다. 메모리부(2100)는 진단 보조 신경망 모델의 파라미터, 변수 등을 저장할 수 있다.
진단 장치(2000)는 통신부(2300)를 더 포함할 수 있다. 통신부(2300)는 학습 장치 및/또는 클라이언트 장치와 통신할 수 있다. 일 예로, 진단 장치(2000)는 클라이언트 장치와 통신하는 서버 형태로 마련될 수 있다. 이와 관련하여, 이하에서 보다 상세히 설명한다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치(2000)를 설명하기 위한 도면이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 진단 장치(2000)는 프로세서(2050), 휘발성 메모리(2030), 비휘발성 메모리(2010), 대용량 저장 장치(2070) 및 통신 인터페이스(2090)를 포함할 수 있다.
진단 장치의 프로세서(2050)는 데이터 가공 모듈(2051) 및 진단 모듈(2053)을 포함할 수 있다. 프로세서(2050)는 데이터 가공 모듈(2051)을 통하여 진단 데이터의 가공을 수행하고, 진단 모듈(2053)을 통하여 진단 데이터에 따른 진단 보조 정보를 획득할 수 있다.
1.1.2.3 서버 장치
본 발명의 일 실시예에 따르면, 진단 보조 시스템은 서버 장치를 포함할 수 있다. 본 발명의 일 실시예에 따른 진단 보조 시스템은, 복수의 서버 장치를 포함할 수도 있다.
서버 장치는 신경망 모델을 저장 및/또는 구동할 수 있다. 서버 장치는 학습된 신경망 모델을 구성하는 가중치 값들을 저장할 수 있다. 서버 장치는 진단 보조에 이용되는 데이터를 수집 또는 저장할 수 있다.
서버 장치는 신경망 모델을 이용한 진단 보조 프로세스의 결과를 클라이언트 장치로 출력할 수 있다. 서버 장치는 클라이언트 장치로부터 피드백을 획득할 수 있다. 서버 장치는 전술한 진단 장치와 유사하게 동작할 수 있다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템(20)을 도시한 것이다. 도 6를 참조하면, 본 발명의 일 실시예에 따른 진단 보조 시스템(20)은 진단 서버(4000), 학습 장치 및 클라이언트 장치를 포함할 수 있다.
진단 서버(4000), 즉, 서버 장치는 복수의 학습 장치 또는 복수의 진단 장치와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 학습 장치(1000a) 및 제2 학습 장치(1000b)와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 클라이언트 장치(3000a) 및 제2 클라이언트 장치(3000b)와 통신할 수 있다.
예컨대, 진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델을 학습시키는 제1 학습 장치(1000a) 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 학습시키는 제2 학습 장치(1000b)와 통신할 수 있다.
진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 저장하고, 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로부터의 진단 보조 정보 획득 요청에 응답하여 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로 전송할 수 있다.
또는, 진단 서버(4000)는 제1 진단 보조 정보를 요청하는 제1 클라이언트 장치(3000a) 및 제2 진단 보조 정보를 요청하는 제2 클라이언트 장치(3000b)와 통신할 수도 있다.
1.1.2.4 클라이언트 장치
클라이언트 장치는 진단 장치 또는 서버 장치로 진단 보조 정보를 요청할 수 있다. 클라이언트 장치는 진단에 필요한 데이터를 획득하고, 진단 장치로 획득한 획득한 데이터를 전송할 수 있다.
클라이언트 장치는 데이터 획득부를 포함할 수 있다. 데이터 획득부는 진단 보조에 필요한 데이터를 획득할 수 있다. 데이터 획득부는 진단 보조 모델에 이용되는 이미지를 획득하는 촬상부일 수 있다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치(3000)를 설명하기 위한 블록도이다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 클라이언트 장치(3000)는 촬상부(3100), 제어부(3200) 및 통신부(3300)를 포함할 수 있다.
촬상부(3100)는 이미지 또는 영상 데이터를 획득할 수 있다. 촬상부(3100)는 안저 이미지를 획득할 수 있다. 다만, 클라이언트 장치(3000)는 촬상부(3100)가 아닌 다른 형태의 데이터 획득부로 대체될 수도 있다.
통신부(3300)는 외부 장치, 예컨대 진단 장치 또는 서버 장치와 통신할 수 있다. 통신부(3300)는 유선 또는 무선 통신을 수행할 수 있다.
제어부(3200)는 촬상부(3100)가 이미지 또는 데이터를 획득하도록 제어할 수 있다. 제어부(3200)는 촬상부(3100)가 안저 이미지를 획득하도록 제어할 수 있다. 제어부(3200)는 획득된 안저 이미지를 진단 장치로 전송할 수 있다. 제어부는 촬상부(3100)를 통하여 획득한 이미지를 통신부(3300)를 통하여 서버 장치로 전송하고, 이에 기초하여 생성된 진단 보조 정보를 획득할 수 있다.
도시하지는 아니하였으나, 클라이언트 장치는 출력부를 더 포함할 수 있다. 출력부는 영상 또는 이미지를 출력하는 디스플레이 또는 음성을 출력하는 스피커를 포함할 수 있다. 출력부는 획득된 촬상부에 의해 획득된 영상 또는 이미지 데이터를 출력할 수 있다. 출력부는 진단 장치로부터 획득된 진단 보조 정보를 출력할 수 있다.
도시하지는 아니하였으나, 클라이언트 장치는 입력부를 더 포함할 수 있다. 입력부는 사용자 입력을 획득할 수 있다. 예컨대, 입력부는 진단 보조 정보를 요청하는 사용자 입력을 획득할 수 있다. 입력부는 진단 장치로부터 획득된 진단 보조 정보를 평가하는 사용자 정보를 획득할 수 있다.
또한, 도시하지는 아니하였으나, 클라이언트 장치는 메모리부를 더 포함할 수 있다. 메모리부는 촬상부에 의해 획득된 이미지를 저장할 수 있다.
1.1.3 진단 보조 프로세스 개요
본 명세서에서 개시하는 진단 보조 시스템 또는 진단 보조 장치에 의하여 진단 보조 프로세스가 수행될 수 있다. 진단 보조 프로세스는 크게 진단 보조에 이용되는 진단 보조 모델을 학습하는 트레이닝 프로세스, 진단 보조 모델을 이용하는 진단 프로세스로 나누어 고려될 수 있다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다. 도 8을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는, 데이터를 획득하고, 가공하여(S110) 신경망 모델을 학습하고(S130), 학습된 신경망 모델의 변수를 획득(S150)하는 학습 프로세스 및 진단 대상 데이터를 획득하고(S210) 진단 대상 데이터에 기초하여 학습된 신경망 모델(S230)을 이용하여 진단 보조 정보를 획득(S250)하는 진단 보조 프로세스를 포함할 수 있다.
보다 구체적으로, 트레이닝 프로세스는 입력된 학습 이미지 데이터를 가공하여 모델의 트레이닝에 이용될 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 모델을 트레이닝하는 학습 프로세스를 포함할 수 있다. 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.
진단 프로세스는 입력된 검사 대상 이미지 데이터를 가공하여 신경망 모델을 이용한 진단을 수행할 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 진단을 수행하는 진단 프로세스를 포함할 수 있다. 진단 프로세스는 전술한 진단 장치 또는 서버 장치에 의하여 수행될 수 있다.
이하에서는, 각 프로세스에 대하여 설명한다.
1.2 트레이닝 프로세스
본 발명의 일 실시예에 따르면, 신경망 모델을 트레이닝하는 프로세스가 제공될 수 있다. 구체적인 예로, 안저 이미지에 기초하여 진단을 수행하거나 보조하는 신경망 모델을 트레이닝하는 프로세스가 개시될 수 있다.
이하에서 설명하는 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.
1.2.1 학습부
본 발명의 일 실시예에 따르면, 트레이닝 프로세스는 학습부에 의해 수행될 수 있다. 학습부는 전술한 학습 장치 내에 마련될 수 있다.
도 9는 본 발명의 일 실시예에 따른 학습부(100)의 구성을 설명하기 위한 도면이다. 도 9를 참조하면, 학습부(100)는 데이터 가공 모듈(110), 큐 모듈(130), 학습 모듈(150) 및 학습 결과 획득 모듈(170)을 포함할 수 있다. 각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만 도 9에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적이지는 아니하며, 학습 형태에 따라, 일부 요소가 추가되거나 일부 요소들이 생략될 수 있다.
1.2.2 데이터 가공 프로세스
1.2.2.1 이미지 데이터 획득
본 발명의 일 실시예에 따르면, 데이터 세트가 획득될 수 있다. 본 발명의 일 실시예에 따르면, 데이터 가공 모듈은 데이터 세트를 획득할 수 있다.
데이터 세트는 이미지 데이터 세트일 수 있다. 구체적으로, 안저 이미지 데이터 세트일 수 있다. 안저 이미지 데이터 세트는 일반적인 무산동 안저 카메라 등을 이용하여 획득될 수 있다. 안저 이미지는 파노라마 이미지일 수 있다. 안저 이미지는 레드프리(Red-free) 이미지일 수 있다. 안저 이미지는 적외선 촬영된 이미지일 수 있다. 안저 이미지는 자가형광 촬영된 이미지일 수 있다. 이미지 데이터는 JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 형태로 획득될 수 있다.
데이터 세트는 트레이닝 데이터 세트를 포함할 수 있다. 데이터 세트는 테스트 데이터 세트를 포함할 수 있다. 데이터 세트는 검증(validation) 데이터 세트를 포함할 수 있다. 다시 말해, 데이터 세트는 트레이닝 데이터 세트, 테스트 데이터 세트 및 검증 데이터 세트 중 적어도 하나의 데이터 세트로 할당될 수 있다.
데이터 세트는 해당 데이터 세트를 통해 학습되는 신경망 모델을 이용하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다. 예컨대, 백내장과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 적외선 안저 이미지 데이터 세트로 결정될 수 있다. 또는, 황반 변성과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 자가형광 촬영된 안저 이미지 데이터 세트일 수 있다.
데이터 세트에 포함되는 개별 데이터는 라벨을 포함할 수 있다. 라벨은 복수개일 수 있다. 다시 말해, 데이터 세트에 포함되는 개별 데이터는 적어도 하나의 특징에 대하여 라벨링되어 있을 수 있다. 일 예로, 데이터 세트는 복수의 안저 이미지 데이터를 포함하는 안저 이미지 데이터 세트이고, 각각의 안저 이미지 데이터는 해당 이미지에 따른 진단 정보 라벨(예컨대, 특정 질환의 유무) 및/또는 소견 정보(예컨대, 특정 부위의 이상 여부) 라벨을 포함할 수 있다.
다른 예로, 데이터 세트는 안저 이미지 데이터 세트이고 각각의 안저 이미지 데이터는 해당 이미지에 대한 주변 정보 라벨을 포함할 수 있다. 예컨대, 각각의 안저 이미지 데이터는 해당 안저 이미지가 좌안의 이미지인지 또는 우안의 이미지인지에 대한 좌우안 정보, 여성의 안저 이미지인지 또는 남성의 안저 이미지인지에 대한 성별 정보, 해당 안저 이미지를 촬영한 피검자의 나이에 대한 나이 정보 등을 포함하는 주변 정보 라벨을 포함할 수 있다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트(DS)를 설명하기 위한 개념도이다. 도 10를 참조하면, 본 발명의 일 실시예에 따른 이미지 데이터 세트(DS)는 복수의 이미지 데이터(ID)를 포함할 수 있다. 각 이미지 데이터(ID)는 이미지(I) 및 이미지에 할당된 라벨(L)을 포함할 수 있다. 도 10을 참조하면, 이미지 데이터 세트(DS)는 제1 이미지 데이터(ID1) 및 제2 이미지 데이터(ID2)를 포함할 수 있다. 제1 이미지 데이터(ID1)은 제1 이미지(I1) 및 제1 이미지에 대응되는 제1 라벨(L1)을 포함할 수 있다.
도 10에서는 하나의 이미지 데이터가 하나의 라벨을 포함하는 경우를 기준으로 설명하였으나, 전술한 바와 같이 하나의 이미지 데이터는 복수의 라벨을 포함할 수 있다.
1.2.2.2 이미지 리사이징
본 발명의 일 실시예에 따르면, 획득된 이미지 데이터의 크기가 조정될 수 있다. 즉, 이미지들이 리사이징 될 수 있다. 본 발명의 일 실시예에 따르면, 전술한 학습부의 데이터 가공 모듈에 의하여 이미지 리사이징이 수행될 수 있다.
이미지의 크기 또는 종횡비가 조정될 수 있다. 획득된 복수의 이미지들은 일정한 크기를 가지도록 그 크기가 조정될 수 있다. 또는, 이미지들은 일정한 종횡비(aspect ratio)를 가지도록 그 크기가 조정될 수 있다. 이미지를 리사이징 하는 것은 이미지에 이미지 변환 필터를 적용하는 것일 수 있다.
획득된 개별 이미지들의 사이즈 또는 용량이 과도하게 크거나 작은 경우에, 이미지의 사이즈 또는 용량을 조정하여 적절한 사이즈로 변환할 수 있다. 또는 개별 이미지들의 사이즈 또는 용량이 다양한 경우에, 리사이징을 통하여 사이즈 또는 용량을 통일시킬 수 있다.
일 실시예에 따르면, 이미지의 용량이 조정될 수 있다. 예컨대, 이미지의 용량이 적정 범위를 초과하는 경우에, 다운샘플링(down sampling)을 통하여 이미지를 축소시킬 수 있다. 또는, 이미지의 용량이 적정 범위에 못 미치는 경우에, 업샘플링(upsampling) 또는 보간(interpolating)을 통하여 이미지를 확대할 수 있다.
다른 일 실시예에 따르면, 이미지를 자르거나 획득한 이미지에 픽셀을 덧붙여 이미지의 사이즈 또는 종횡비를 조정할 수 있다. 예컨대, 이미지에 학습에 불필요한 부분이 포함되어 있는 경우에, 이를 제거하기 위하여 이미지 일부를 크롭할 수 있다. 또는, 이미지의 일부가 잘려나가 종횡비가 맞지 않는 경우에 칼럼(column) 또는 로(row)을 추가하여 이미지 종횡비를 조정할 수도 있다. 다시 말해, 이미지에 마진 또는 패딩을 추가하여 종횡비를 조정할 수 있다.
또 다른 일 실시예에 따르면, 이미지의 용량 및 사이즈 또는 종횡비가 함께 조정될 수 있다. 일 예로, 이미지의 용량이 큰 경우에 이미지를 다운샘플링 하여 이미지 용량을 축소하고, 축소된 이미지에 포함된 불필요한 부분을 크롭하여 적절한 이미지 데이터로 변환할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 이미지 데이터의 방향(orientation)이 변경될 수도 있다.
구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우, 각각의 안저 이미지는 그 용량이 조절되거나, 사이즈가 조정될 수 있다. 안저 이미지의 안저 부분을 제외한 여백 부분을 제거하기 위한 크롭핑 또는 안저 이미지의 잘린 부분을 보충하여 종횡비를 조정하기 위한 패딩을 수행할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다. 도 11을 참조하면, 본 발명의 일 실시예에 따른 이미지 리사이징 프로세스에 의하여, 획득된 안저 이미지가 리사이징될 수 있다.
구체적으로, 원본 안저 이미지(a)는 진단 정보 획득에 불필요한 여백 부분이 크롭되고(b) 학습 효율의 증진을 위하여 그 크기가 축소(c)될 수 있다.
1.2.2.3 이미지 전처리
본 발명의 일 실시예에 따르면, 이미지의 전처리가 수행될 수 있다. 이미지를 입력된 그대로 학습에 이용할 경우, 불필요한 특성들에 대한 학습 결과 과적합 현상 등이 발생할 수 있고 학습 효율 역시 저하될 수 있다.
이를 방지하기 위하여, 이미지 데이터를 학습의 목적에 부합하도록 적절히 전처리하여 이용함으로써 학습 효율 및 성능을 향상시킬 수 있다. 예컨대, 안저 이미지에 대하여 안질환의 이상 징후를 검출하기에 용이하도록 하는 전처리 또는 망막 혈관 내지 혈류 변화가 강조되도록 하는 전처리가 수행될 수 있다.
전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 전처리가 수행될 수 있다. 데이터 가공 모듈은 리사이징된 이미지를 획득하고 학습에 요청되는 전처리를 수행할 수 있다.
이미지의 전처리는 전술한 리사이징 처리가 완료된 이미지에 대하여 수행될 수 있다. 다만, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니고, 리사이징 처리를 생략하고 이미지에 대한 전처리가 수행될 수도 있다. 이미지의 전처리를 가하는 것은 이미지에 전처리 필터를 적용하는 것일 수 있다.
일 실시예에 따르면, 이미지에 블러(blur) 필터가 적용될 수 있다. 이미지에 가우시안 필터가 적용될 될 수 있다. 이미지에 가우시안 블러 필터가 적용될 수도 있다. 또는, 이미지에 이미지를 선명하게 하는 디블러(deblur) 필터가 적용될 수 있다.
다른 일 실시예에 따르면, 이미지의 색상을 조정 또는 변조하는 필터가 적용될 수 있다. 예컨대, 이미지를 구성하는 RGB 값 중 일부 성분의 값을 변경하거나, 또는, 이미지를 이진화하는 필터가 적용될 수도 있다.
또 다른 일 실시예에 따르면, 이미지에 특정 요소가 강조되도록 하는 필터가 적용될 수 있다. 예컨대, 안저 이미지 데이터에 대하여, 각 이미지로부터 혈관 요소가 강조되도록 하는 전처리가 수행될 수 있다. 이때, 혈관 요소가 강조되도록 하는 전처리는 하나 이상의 필터를 순차적으로 또는 조합하여 적용하는 것일 수 있다.
본 발명의 일 실시예에 따르면, 이미지의 전처리는 획득하고자 하는 진단 보조 정보의 특성을 고려하여 수행될 수 있다. 예컨대, 망막의 출혈, 드루젠, 미세혈관류, 삼출물 등의 소견과 관련된 진단 보조 정보를 획득하고자 하는 경우에는 획득된 안저 이미지를 레드프리 안저 이미지 형태로 변환하는 전처리를 수행할 수 있다.
1.2.2.4 이미지 증강(augmentation)
본 발명의 일 실시예에 따르면, 이미지가 증강 또는 확장될 수 있다. 전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 증강이 수행될 수 있다.
증강된 이미지들은 신경망 모델의 트레이닝 성능 개선을 위하여 이용될 수 있다. 예컨대, 신경망 모델의 트레이닝을 위한 데이터의 양이 부족한 경우에, 트레이닝을 위한 데이터 수의 확대를 위하여 존재하는 트레이닝 이미지 데이터의 변조를 실시하고, 변조(또는 변화)된 이미지를 원본 이미지와 함께 이용함으로써 트레이닝 이미지 데이터 수를 늘릴 수 있다. 이에 따라 과학습(overfitting)이 억제되고 모델의 레이어를 보다 깊이 형성할 수 있으며, 예측 정확도가 향상될 수 있다.
예를 들어, 이미지 데이터의 확장은, 이미지의 좌우를 반전시키거나, 이미지의 일부를 오려내거나, 이미지의 색상 값을 보정하거나, 또는 인위적인 노이즈를 추가하여 수행될 수 있다. 구체적인 예로, 이미지의 일부를 오려내는 것은 이미지를 구성하는 요소의 일부 영역을 오려내거나, 일부 영역들을 랜덤하게 오려내는 방식으로 수행될 수 있다. 보다 많은 예로, 이미지 데이터를 좌우 반전, 상하 반전, 회전, 일정 비율 리사이징, 크롭핑, 패딩, 색상 조정 또는 밝기 조정 함으로써 이미지 데이터를 확장할 수 있다.
일 예로, 상술한 이미지 데이터의 증강 또는 확장은 일반적으로, 트레이닝 데이터 세트에 대하여 적용될 수 있다. 다만, 이외의 데이터 세트, 예컨대 테스트 데이터 세트, 즉 트레이닝 데이터를 이용한 학습 및 검증 데이터를 이용한 검증이 끝난 모델의 테스트를 위한 데이터 세트에도 적용될 수 있다.
구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우에, 데이터의 수를 늘리기 위하여 이미지를 반전시키거나, 오려내거나, 노이즈를 추가하거나, 색상을 변경하는 것 중 하나 이상의 처리를 랜덤하게 적용하여 증강된 안저 이미지 데이터 세트를 획득할 수 있다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다. 도 12을 참조하면, 본 발명의 일 실시예들에 따른 이미지는 신경망 모델의 예측 정확도를 향상시키기 위하여 변형될 수 있다.
구체적으로, 도 12를 참조하면, 본 발명의 일 실시예들에 따른 이미지는 일부 영역이 드롭아웃되거나(a), 좌우가 반전되거나(b), 중심점이 이동되거나 (c, d) 일부 영역의 색상이 변조(e)될 수 있다.
1.2.2.5 이미지 직렬화(serialization)
본 발명의 일 실시예에 따르면, 이미지 데이터는 직렬화(linearization) 될 수 있다. 이미지는 전술한 학습부의 데이터 가공 모듈에 의하여 직렬화될 수 있다. 직렬화 모듈은 전처리된 이미지 데이터를 직렬화하고 큐 모듈로 전달할 수 있다.
이미지 데이터를 그대로 이용하여 학습에 이용하게 되면, 이미지 데이터는 JPG, PNB, DCM 등의 이미지 파일 형태를 가지기 때문에 디코딩이 필요한데, 매번 디코딩을 거쳐 학습을 수행하게 되면 모델 학습의 성능이 저하될 수 있다. 이에 따라, 이미지 파일을 그대로 학습에 이용하지 않고 직렬화하여 학습을 수행할 수 있다. 따라서, 학습 성능 및 속도를 향상시키기 위하여 이미지 데이터의 직렬화를 수행할 수 있다. 직렬화되는 이미지 데이터는 전술한 이미지 리사이징 및 이미지 전처리 중 하나 이상의 단계가 적용된 이미지 데이터이거나, 둘 다 처리되지 아니한 이미지 데이터일 수 있다.
이미지 데이터 세트에 포함되는 각 이미지 데이터는 스트링 형태로 변환될 수 있다. 이미지 데이터는 이진화된 데이터 형태로 변환될 수 있다. 특히, 이미지 데이터는 신경망 모델의 학습에 이용되기에 적합한 데이터 형태로 변환될 수 있다. 일 예로, 이미지 데이터는 텐서플로우(tensorflow)를 이용한 신경망 모델 학습에 이용하기 위한 TFRecord 형태로 변환될 수 있다.
구체적인 예로, 데이터 세트로서 안저 이미지 세트가 이용되는 경우에, 획득된 안저 이미지 세트는 TFRecord 형태로 변환되어 신경망 모델의 학습에 이용될 수 있다.
1.2.2.6 큐(Queue)
데이터의 병목 현상을 해소하기 위하여 큐(Queue)가 이용될 수 있다. 전술한 학습부의 큐 모듈은 이미지 데이터를 큐에 저장하고, 학습 모델 모듈로 전달할 수 있다.
특히 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)를 함께 이용하여 학습 프로세스를 진행하는 경우에, 큐를 이용함으로써, CPU와 GPU 사이의 병목현상을 최소화하고 데이터베이스에 대한 접근이 원활하게 하며 메모리 사용 효율을 증진할 수 있다.
큐는 신경망 모델의 학습에 이용되는 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장할 수 있다. 큐에 저장되는 이미지 데이터는 전술한 데이터 가공 프로세스(즉, 리사이징, 전처리 및 증강) 중 적어도 하나가 처리된 이미지 데이터이거나 획득된 상태 그대로의 이미지일 수 있다.
큐는 이미지 데이터, 바람직하게는 전술한 바와 같이 직렬화된 이미지 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장하고, 신경망 모델로 이미지 데이터를 공급할 수 있다. 큐는 신경망 모델로 배치(batch) 사이즈 단위로 이미지 데이터를 전달할 수 있다.
큐는 이미지 데이터를 제공할 수 있다. 큐는 후술하는 학습 모듈에 데이터를 제공할 수 있다. 학습 모듈에서 데이터를 추출함에 따라 큐에 축적된 데이터 수가 줄어들 수 있다.
신경망 모델의 학습이 진행됨에 큐에 저장된 데이터 수가 기준 이하로 감소하면, 큐는 데이터의 보충을 요청할 수 있다. 큐는 특정 종류 데이터의 보충을 요청할 수 있다. 큐는 학습부는 데이터의 보충이 요청되면, 큐에 데이터를 보충할 수 있다.
큐는 학습 장치의 시스템 메모리에 마련될 수 있다. 예컨대, 큐는 중앙 처리 장치(CPU)의 RAM(Random Access Memory)에 형성될 수 있다. 이 경우, 큐의 크기 즉, 용량은 CPU의 RAM 용량에 따라 정해질 수 있다. 큐로는 선입선출(FIFO; First In First Out) 큐, 우선순위 큐(Primary Queue) 또는 랜덤 큐가 이용될 수 있다.
1.2.3 학습 프로세스
본 발명의 일 실시예에 의하면, 신경망 모델의 학습 프로세스가 개시될 수 있다.
본 발명의 일 실시예에 따르면, 신경망 모델의 학습은 전술한 학습 장치에 의하여 수행될 수 있다. 학습 프로세스는 학습 장치의 제어부에 의해 수행될 수 있다. 학습 프로세스는 전술한 학습부의 학습 모듈에 의하여 수행될 수 있다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다. 도 13을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스는 데이터를 획득(S1010)하고, 신경망 모델을 학습(S1030)하고, 학습된 모델을 검증(S1050)하고, 학습된 모델의 변수를 획득(S1070)하여 수행될 수 있다.
이하에서는, 도 13을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시예를 들어 설명한다.
1.2.3.1 데이터 입력
진단 보조 신경망 모델의 학습을 위한 데이터 세트가 획득될 수 있다.
획득되는 데이터는 전술한 데이터 가공 프로세스에 의하여 처리된 이미지 데이터 세트일 수 있다. 일 예로, 데이터 세트는 사이즈가 조정되고 전처리 필터가 적용되고 데이터가 증강된 후 직렬화된 안저 이미지 데이터를 포함할 수 있다.
신경망 모델의 학습 단계에서는 트레이닝 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 검증 단계에서는 검증 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 테스트 단계에서는 테스트 데이터 세트가 획득 및 이용될 수 있다. 각 데이터 세트는 안저 이미지 및 라벨을 포함할 수 있다.
데이터 세트는 큐로부터 획득될 수 있다. 데이터 세트는 큐로부터 배치 사이즈 단위로 획득될 수 있다. 예컨대, 배치 사이즈로서 60개가 지정된 경우, 데이터 세트는 큐로부터 60개 단위로 추출될 수 있다. 배치 사이즈의 사이즈는 GPU의 RAM 용량에 의해 제한될 수 있다.
데이터 세트는 큐로부터 학습 모듈로 랜덤하게 획득될 수 있다. 데이터 세트는 큐에 축적된 순서대로 획득될 수도 있다.
학습 모듈은 큐로부터 획득되는 데이터 세트의 구성을 지정하여 추출할 수 있다. 일 예로, 학습 모듈은 특정 피검자의 좌안 라벨을 가지는 안저 이미지와 우안 라벨을 가지는 안저 이미지 데이터가 함께 학습에 이용되도록 추출할 수 있다.
학습 모듈은 큐로부터 특정 라벨의 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터 세트를 획득할 수 있다. 학습 모듈은 큐로부터 라벨에 따른 데이터 수의 비율을 지정하여 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터의 수와 진단 정보 라벨이 정상인 안저 이미지 데이터의 수가 1 대 1이 되도록 안저 이미지 데이터 세트를 획득할 수 있다.
1.2.3.2 모델의 설계
신경망 모델은 이미지 데이터에 기초하여 진단 보조 정보를 출력하는 진단 보조 모델일 수 있다. 진단 보조 정보 획득을 위한 진단 보조 신경망 모델의 구조는 미리 정해진 형태를 가질 수 있다. 신경망 모델은 복수의 계층 또는 레이어를 포함할 수 있다.
신경망 모델은 진단 보조 정보를 생성하는 분류기(classifier)의 형태로 구현될 수 있다. 분류기는 이중 분류 또는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터를 특정 질병 또는 이상 징후 등의 타겟 진단 보조 정보에 대하여 정상 또는 비정상 클래스로 분류하는 이진 분류 모델일 수 있다. 또는, 신경망 모델은 입력 데이터를 특정 특성(예컨대, 질병의 진행 정도)에 대한 복수의 등급 클래스로 분류하는 다중 분류 모델일 수 있다. 또는, 신경망 모델은 특정 질병과 관련된 특정 수치를 출력하는 회귀 형태의 모델로 구현될 수도 있다.
신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다.
일 예로, 신경망 모델은 복수의 VGGNet 블록을 포함하도록 구현될 수 있다. 보다 구체적인 예로, 신경망 모델은 3x3 크기의 64개의 필터를 가지는 CNN 레이어, BN(Batch Normalization) 레이어 및 ReLu 레이어가 순차적으로 결합된 제1 구조 및 3x3 크기의 128개의 필터를 가지는 CNN 레이어, ReLu 레이어 및 BN 레이어가 순차적으로 결합된 제2 블록이 결합되어 마련될 수 있다.
신경망 모델은 각 CNN 블록에 이어서, 맥스 풀링 레이어를 포함하고, 종단에는 GAP(Global Average pooling) 레이어, FC(Fully Connected) 레이어 및 활성화 레이어(예컨대, 시그모이드, 소프트맥스 등)를 포함할 수 있다.
1.2.3.3 모델의 학습
신경망 모델은 트레이닝 데이터 세트를 이용하여 학습될 수 있다.
신경망 모델은 라벨링된 데이터 세트를 이용하여 학습될 수 있다. 다만, 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 프로세스가 이에 한정되는 것은 아니며, 신경망 모델은 라벨링되지 아니한 데이터를 이용하여 비지도 형태로 학습될 수도 있다.
신경망 모델의 학습은, 트레이닝 이미지 데이터에 기초하여, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화함으로써 수행할 수 있다. 또한, 신경망 모델의 학습은 후술하는 모델의 검증 결과, 테스트 결과 및/또는 진단 단계로부터의 피드백으로부터 영향을 받을 수 있다.
상술한 신경망 모델의 학습은 텐서플로우를 이용하여 수행될 수 있다. 다만, 본 발명이 이에 한정되지는 아니하며, 티아노(Theano), 케라스(Keras), 카페(Caffe), 토치(Torch), CNTK(Microsoft Cognitive Toolkit) 등의 프레임워크가 신경망 모델의 학습에 이용될 수도 있다.
1.2.3.4 모델의 검증(validation)
신경망 모델은 검증 데이터 세트를 이용하여 검증될 수 있다. 신경망 모델의 검증은 학습이 진행된 신경망 모델로부터 검증 데이터 세트에 대한 결과값을 획득하고, 결과값과 검증 데이터 세트의 라벨을 비교하여 수행될 수 있다. 검증은 결과값의 정확도(accuracy)를 측정하여 수행될 수 있다. 검증 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다.
일 예로, 본 발명의 일 실시예에 따른 학습 장치는, 안저 이미지에 기초하여 진단 보조 정보를 예측하는 신경망 모델을 학습시키고, 학습된 모델의 검증 안저 이미지에 대한 진단 보조 정보를 검증 안저 이미지에 대응되는 검증 라벨과 비교함으로써 진단 보조 신경망 모델의 검증을 수행할 수 있다.
신경망 모델의 검증에는, 별도의 검증 세트(external data set), 즉 트레이닝 데이터 세트에는 포함되지 않은 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다. 예를 들어, 별도의 검증 세트는 트레이닝 데이터 세트와 인종, 환경, 나이, 성별 등의 요인이 구별되는 데이터 세트일 수 있다.
1.2.3.5 모델의 테스트
신경망 모델은 테스트 데이터 세트를 이용하여 테스트될 수 있다.
도 13에서 도시하지는 아니하였으나, 본 발명의 일 실시예에 따른 학습 프로세스에 의하면, 신경망 모델을 트레이닝 데이터 세트 및 검증 데이터 세트와 구분되는 테스트 데이터 세트를 이용하여 테스트할 수 있다. 테스트 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다.
일 예로, 본 발명의 일 실시예에 따른 학습 장치는 안저 이미지에 기초하여 진단 보조 정보를 예측하도록 학습된 신경망 모델로부터, 트레이닝 및 검증에 이용되지 않은 테스트 안저 이미지 데이터를 입력으로 하는 결과 값을 획득하여, 학습 및 검증된 진단 보조 신경망 모델의 테스트를 수행할 수 있다.
신경망 모델의 테스트에는, 별도로 마련된 검증 세트(external data set), 즉 트레이닝 및/또는 검증 데이터와 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다.
1.2.3.6 결과의 출력
신경망 모델의 학습 결과, 최적화된 모델의 파라미터 값이 획득될 수 있다. 전술한 바와 같이 테스트 데이터 세트를 이용하여 모델의 학습을 반복적으로 진행함에 따라, 보다 적절한 파라미터(또는 변수) 값이 얻어질 수 있다. 학습이 충분히 진행되면, 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다.
본 발명의 일 실시예에 따르면, 학습된 신경망 모델 및/또는 학습된 신경망 모델의 파라미터 또는 변수는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 학습된 신경망 모델은 진단 장치 및/또는 클라이언트 장치 등에 의하여 진단 보조 정보의 예측에 이용될 수 있다. 또한 학습된 신경망 모델의 파라미터 또는 변수는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.
1.2.3.7 모델 앙상블(ensemble)
본 발명의 일 실시예에 따르면, 하나의 진단 보조 신경망 모델을 학습하는 과정에서, 복수의 서브 모델이 동시에 학습될 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다.
이때, 본 발명의 일 실시예에 따른 진단 보조 신경망 모델은 복수의 서브 신경망 모델을 조합하여 구현될 수 있다. 다시 말해, 복수의 서브 신경망을 조합하는 앙상블 기법을 이용하여 신경망 모델의 학습을 수행할 수 있다.
앙상블을 형성하여 진단 보조 신경망 모델을 구성할 경우, 다양한 형태의 서브 신경망 모델로부터 예측되는 결과를 종합하여 예측을 수행할 수 있어, 결과 예측의 정확도가 보다 향상될 수 있다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다. 도 14를 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스는, 데이터 세트를 획득(S1011)하고, 획득된 데이터를 이용하여 제1 모델(즉, 제1 신경망 모델) 및 제2 모델(즉, 제2 신경망 모델)을 학습(S1031, S1033)하고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 검증(S1051)하고, 최종 신경망 모델을 결정하고 그 파라미터 또는 변수를 획득(S10721)할 수 있다.
이하에서는, 도 14을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시예를 들어 설명한다.
본 발명의 일 실시예에 따르면 복수의 서브 신경망 모델은 동일한 트레이닝 데이터 세트를 획득하고, 개별적으로 출력값을 생성할 수 있다. 이때, 복수의 서브 신경망 모델의 앙상블을 최종 신경망 모델로 결정하고, 복수의 서브 신경망 모델 각각에 대한 파라미터 값이 학습 결과로 얻어질 수 있다. 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델에 의한 출력값의 평균값으로 정해질 수 있다. 또는, 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델 각각에 대한 검증 결과 얻어진 정확도를 고려하여, 각각의 서브 신경망 모델의 출력값에 대한 가중 평균값으로 정해질 수 있다.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 기계 학습에 의하여 제1 서브 신경망 모델에 대한 최적화된 파라미터 값 및 제2 서브 신경망 모델의 최적화된 파라미터 값을 획득할 수 있다. 이때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델로부터 각각 획득되는 출력값(예컨대, 특정 진단 보조 정보에 대한 확률 값)들에 대한 평균값을 최종 신경망 모델의 출력값으로 결정할 수 있다.
본 발명의 다른 일 실시예에 따르면, 복수의 서브 신경망 모델 각각에 의한 출력값에 기초하여 개별 서브 신경망 모델의 정확도를 평가할 수 있다. 이때, 정확도에 기초하여 복수의 서브 신경망 모델 중 어느 하나의 모델을 선택하여 최종 서브 신경망 모델로 결정할 수 있다. 결정된 서브 신경망 모델의 구조 및 학습 결과 얻어진 결정된 서브 신경망 모델의 파라미터 값들은 저장될 수 있다.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델 각각에 따른 정확도를 획득하고, 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정할 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 복수의 신경망 모델 중 적어도 하나의 서브 신경망을 조합하고, 조합된 적어도 하나의 서브 신경망 모델의 앙상블을 형성하고, 각각의 앙상블에 대하여 평가하되, 복수의 앙상블 중 정확도가 높은 앙상블을 형성하는 서브 신경망 모델의 조합을 최종 신경망 모델로 결정할 수 있다. 이때, 복수의 서브 신경망 모델 중 적어도 하나를 선택하는 가능한 모든 경우의 수에 대하여 앙상블을 수행하고, 가장 정확도가 높은 것으로 평가된 서브 신경망 조합을 최종 신경망 모델로 결정할 수도 있다.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 제1 서브 신경망 모델의 정확도, 제2 서브 신경망 모델의 정확도 및 제1 및 제2 서브 신경망 모델의 앙상블에 의한 정확도를 비교하고, 가장 정확한 경우의 서브 신경망 모델 구성을 최종 신경망 모델로 결정할 수 있다.
1.2.4 실시예 1 - 학습 장치의 제어 방법.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제1 안저 이미지의 전처리를 수행하는 단계(S110), 전처리된 제1 안저 이미지를 직렬화하는 단계(S130), 제1 신경망 모델을 학습시키는 단계(S150)를 포함할 수 있다.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 복수의 안저 이미지를 포함하는 제1 트레이닝 데이터 세트를 획득하고, 상기 제1 트레이닝 데이터 세트에 포함된 상기 안저 이미지를 가공하고, 상기 제1 트레이닝 데이터 세트를 이용하여, 제1 신경망 모델을 학습시키는 학습 장치, 진단 보조 정보를 획득하기 위한 대상 안저 이미지를 획득하고, 상기 학습된 제1 신경망 모델을 이용하여 상기 대상 안저 이미지에 기초하여 상기 진단 보조 정보를 획득하는 진단 장치를 포함하는 시스템에 포함되는 학습 장치의 제어 방법일 수 있다.
제1 안저 이미지의 전처리를 수행하는 단계(S110)는 상기 제1 트레이닝 데이터 세트에 포함된 제1 안저 이미지가 상기 제1 신경망 모델의 학습에 적절한 형태로 변환되도록 상기 제1 안저 이미지의 전처리를 수행하는 것을 더 포함할 수 있다.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은, 전처리된 제1 안저 이미지를 직렬화하는 단계(S130)를 포함할 수 있다. 제1 안저 이미지는 신경망 모델의 학습에 용이한 형태로 직렬화될 수 있다.
이때, 제1 신경망 모델을 학습시키는 단계(S150)는 직렬화된 제1 안저 이미지를 이용하여, 상기 대상 안저 이미지를 제1 라벨 또는 제2 라벨로 분류하는 상기 제1 신경망 모델을 학습시키는 것을 더 포함할 수 있다.
학습 장치는 복수의 안저 이미지를 포함하고 상기 제1 트레이닝 데이터 세트와 적어도 일부 상이한 제2 트레이닝 데이터 세트를 획득하고, 상기 제2 트레이닝 데이터 세트를 이용하여, 제2 신경망 모델을 학습시킬 수 있다.
본 발명의 일 실시예에 따르면, 학습 장치의 제어 방법은 제2 트레이닝 세트에 포함된 제2 안저 이미지가 제2 신경망 모델의 학습에 적합하도록 제2 안저 이미지의 전처리를 수행하는 단계, 전처리된 제2 안저 이미지를 직렬화하는 단계 및 직렬화된 제2 안저 이미지를 이용하여, 대상 안저 이미지를 제3 라벨 또는 제4 라벨로 분류하는 제2 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제2 안저 이미지의 전처리를 수행하는 단계(S210), 전처리된 제2 안저 이미지를 직렬화하는 단계(S230), 제2 신경망 모델을 학습시키는 단계(S250)를 포함할 수 있다.
도 16에서는 설명의 편의를 위하여, 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 제1 안저 이미지의 전처리, 제2 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 수행되는 것으로 묘사하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다.
제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 독립적으로 수행될 수 있다. 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 병렬적으로 수행될 수 있다. 다시 말해, 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 반드시 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습 이후에 이루어지거나, 이전에 이루어져야 하는 것은 아니며, 제1 안저 이미지에 대한 처리 및 제2 안저 이미지에 대한 처리는 상호 의존관계 없이 수행될 수 있다.
제1 트레이닝 데이터 세트에 포함된 상기 안저 이미지에 대하여 수행되는 제1 전처리는 상기 제2 트레이닝 데이터 세트에 포함된 상기 안저 이미지에 대하여 수행되는 제2 전처리와 구별될 수 있다. 예컨대, 제1 전처리는 혈관 강조 전처리이고, 제2 전처리는 색상 변조 전처리일 수 있다. 각 전처리는 각 신경망 모델을 통하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은, 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 상기 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 상기 제1 신경망 모델을 검증하는 단계 및 제2 트레이닝 데이터 세트와 적어도 일부 구별되는 제2 검증 데이터 세트를 이용하여, 상기 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 상기 제2 신경망 모델을 검증하는 단계를 더 포함할 수 있다. 이때, 제1 신경망 모델의 및 상기 제2 신경망 모델의 검증은 독립적으로 수행될 수 있다.
직렬화된 제1 안저 이미지는 제1 큐에 순차적으로 저장되고, 상기 제1 큐에 저장된 직렬화된 안저 이미지는 상기 제1 큐로부터 미리 정해진 용량 단위로 상기 제1 신경망 모델의 학습에 이용되고, 직렬화된 제2 안저 이미지는 상기 제1 큐와 구별되는 제2 큐에 순차적으로 저장되고, 상기 제2 큐에 저장된 직렬화된 안저 이미지는 상기 제2 큐로부터 미리 정해진 용량 단위로 상기 제1 신경망 모델의 학습에 이용될 수 있다.
제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 상기 제1 라벨 또는 상기 제2 라벨로 분류하는 것은 상기 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 상기 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 수행될 수 있다.
제2 신경망 모델은 제3 서브 신경망 모델 및 제4 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 상기 제3 라벨 또는 상기 제4 라벨로 분류하는 것은 상기 제3 서브 신경망 모델에 의해 예측되는 제3 예측값 및 상기 제4 서브 신경망 모델에 의해 예측되는 제4 예측값을 함께 고려하여 수행될 수 있다.
제1 트레이닝 데이터 세트는 제1 라벨로 라벨링된 안저 이미지를 적어도 일부 포함하고, 제2 트레이닝 데이터 세트는 제3 라벨로 라벨링된 안저 이미지를 적어도 일부 포함할 수 있다. 이때, 제1 라벨로 라벨링된 안저 이미지 및 상기 제3 라벨로 라벨링된 적어도 일부의 안저 이미지는 일부 공통될 수 있다.
제1 라벨은 상기 대상 안저 이미지에 대응되는 피검체가 상기 제1 소견에 대하여 정상임을 지시하는 정상 라벨이고, 상기 제2 라벨은 상기 피검체가 상긴 제2 소견에 대하여 비정상임을 지시하는 비정상 라벨일 수 있다.
제1 안저 이미지의 전처리를 수행하는 단계는, 상기 제1 안저 이미지가 기준 종횡비를 만족하도록 크롭하고, 상기 제1 안저 이미지의 사이즈를 변경하는 것을 포함할 수 있다.
제1 안저 이미지의 전처리를 수행하는 단계는, 상기 가공부가 상기 제1 안저 이미지에 포함된 혈관이 강조되도록 상기 안저 이미지에 혈관 강조 필터를 적용하는 것을 더 포함할 수 있다.
직렬화된 제1 안저 이미지는 큐에 순차적으로 저장되고, 상기 큐에 저장된 직렬화된 제1 안저 이미지는 상기 큐로부터 미리 정해진 용량 단위로 상기 제1 신경망 모델의 학습에 이용될 수 있다. 큐는 상기 제1 학습에 이용되지 않은 상기 직렬화된 제1 안저 이미지가 기준 용량 이하로 감소하면 상기 직렬화된 제1 안저 이미지의 보충을 요청할 수 있다.
제1 소견은 망막 출혈 소견, 망막 삼출물 발생 소견, 수정체 혼탁 소견, 당뇨 망막증 소견 중 어느 하나일 수 있다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제1 신경망 모델을 검증하는 단계(S170) 및 제1 신경망 모델을 갱신하는 단계(S190)를 더 포함할 수 있다.
제1 신경망 모델을 검증하는 단계(S170)는 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 상기 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여 1 신경망 모델을 검증하는 것을 더 포함할 수 있다.
제1 신경망 모델을 갱신하는 단계(S190), 제1 신경망 모델을 검증하는 단계(S170)로부터 얻어진 검증 결과를 반영하여, 상기 제1 신경망 모델을 갱신하는 단계를 더 포함할 수 있다.
한편, 제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 제1 신경망 모델을 학습시키는 단계는 제1 검증 데이터 세트를 이용하여 상기 제1 서브 신경망 모델을 검증하여 상기 제1 서브 신경망 모델의 정확도를 획득하고, 상기 제1 검증 데이터 세트를 이용하여 상기 제2 서브 신경망 모델을 검증하여 상기 제2 서브 신경망 모델의 정확도를 획득하고, 상기 제1 서브 신경망 모델의 정확도 및 상기 제2 서브 신경망 모델의 정확도를 비교하여 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정하는 것을 포함할 수 있다.
1.3 진단 보조 프로세스
본 발명의 일 실시예에 따르면, 신경망 모델을 이용하여 진단 보조 정보를 획득하는 진단 보조 프로세스(또는 진단 프로세스)가 제공될 수 있다. 구체적인 예로, 진단 보조 프로세스에 의하여, 안저 이미지를 이용하고 학습된 진단 보조 신경망 모델을 통하여 진단 보조 정보(예컨대, 진단 정보 또는 소견 정보)가 예측될 수 있다.
이하에서 설명하는 진단 보조 프로세스는 진단 장치에 의하여 수행될 수 있다.
1.3.1 진단부
본 발명의 일 실시예에 따르면, 진단 프로세스는 진단부(200)에 의해 수행될 수 있다. 진단부(200)는 전술한 진단 장치 내에 마련될 수 있다.
도 18은 본 발명의 일 실시예에 따른 진단부(200)의 구성을 설명하기 위한 도면이다. 도 18을 참조하면, 진단부(200)는 진단 요청 획득 모듈(210), 데이터 가공 모듈(230), 진단 모듈(250) 및 출력 모듈(270)을 포함할 수 있다.
각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만 도 16에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 진단의 양태에 따라 일부 요소가 추가되거나 일부 요소가 생략될 수 있다.
1.3.2 데이터 획득 및 진단 요청
본 발명의 일 실시예에 따른 진단 장치는 진단 대상 데이터를 획득하고, 이에 기초하여 진단 보조 정보를 획득할 수 있다. 진단 대상 데이터는 이미지 데이터일 수 있다. 전술한 진단부의 진단 요청 획득 모듈에 의하여 데이터 획득 및 진단 요청의 획득이 수행될 수 있다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터(TD)를 설명하기 위한 도면이다. 도 19를 참조하면, 진단 대상 데이터(TD)는 진단 대상 이미지(TI) 및 진단 대상 객체 정보(PI; patient information)를 포함할 수 있다.
진단 대상 이미지(TI)는 진단 대상 객체에 대한 진단 보조 정보를 획득하기 위한 이미지일 수 있다. 예컨대, 진단 대상 이미지는 안저 이미지일 수 있다. 진단 대상 (TI)JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 포맷을 가질 수 있다.
진단 객체 정보(PI)는 진단 대상 객체를 식별하기 위한 정보일 수 있다. 또는, 진단 객체 정보(PI)는 진단 대상 객체 또는 이미지의 특성 정보일 수 있다. 예컨대, 진단 객체 정보(PI)는 진단 대상 이미지의 촬상 일시, 촬영 장비, 진단 대상 피검체의 식별 번호, ID, 성명, 성별, 나이 또는 몸무게 등의 정보를 포함할 수 있다. 진단 대상 이미지가 안저 이미지인 경우, 진단 객체 정보(PI)는 좌안인지 우안인지를 나타내는 양안 정보 등의 안구 관련 정보를 더 포함할 수 있다.
진단 장치는 진단 요청을 획득할 수 있다. 진단 장치는 진단 요청과 함께 진단 대상 데이터를 획득할 수 있다. 진단 장치는 진단 요청이 획득되면, 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 장치는 클라이언트 장치로부터 진단 요청을 획득할 수 있다. 또는, 진단 장치는 별도로 마련된 입력 수단을 통하여 사용자로부터 진단 요청을 획득할 수 있다.
1.3.3 데이터 가공 프로세스
획득된 데이터는 가공될 수 있다. 데이터의 가공은 전술한 진단부의 데이터 가공 모듈에 의하여 수행될 수 있다.
데이터 가공 프로세스는 일반적으로, 전술한 학습 프로세스에서의 데이터 가공 프로세스와 유사하게 수행될 수 있다. 이하에서는, 학습 프로세스에서의 데이터 가공 프로세스와의 차이점을 중심으로, 진단 프로세스에서의 데이터 가공 프로세스에 대하여 설명한다.
진단 프로세스에서, 진단 장치는 학습 프로세스에서와 마찬가지로 데이터를 획득할 수 있다. 이때, 획득되는 데이터는 학습 프로세스에서 획득되는 데이터와 동일한 형식일 수 있다. 예를 들어, 학습 프로세스에서 학습 장치가 DCM 형식의 이미지 데이터를 이용하여 진단 보조 신경망 모델을 학습시킨 경우, 진단 장치는 DCM 이미지를 획득하고 학습된 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지는 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 리사이징될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측을 효율적으로 수행하기 위하여, 적절한 용량, 크기 및/또는 종횡비를 가지도록 그 형태가 조정될 수 있다.
예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 안저 이미지에 기초한 진단 정보의 예측을 위하여, 이미지의 불필요한 부분을 크롭하거나, 그 사이즈를 축소하는 등의 리사이징이 수행될 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지에는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 전처리 필터가 적용될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측의 정확도가 보다 향상되도록, 적절한 필터가 적용될 수 있다.
예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 정 진단 정보의 예측이 용이하도록 하는 전처리, 예컨대 혈관이 강조되도록 하는 이미지 전처리 또는 특정 색상이 강조되거나 약화되도록 하는 이미지 전처리가 진단 대상 이미지에 적용될 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 직렬화될 수 있다. 진단 대상 이미지는 특정 워크프레임에서의 진단 모델 구동이 용이한 형태로 변환 또는 직렬화 수 있다.
진단 대상 이미지의 직렬화는 생략될 수 있다. 이는, 학습 단계에서와 달리 진단 단계에서는 프로세서가 한번에 처리하는 데이터의 수가 많지 않아, 데이터 처리 속도에 대한 부담이 상대적으로 적기 때문일 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 큐에 저장될 수 있다. 다만, 진단 프로세스에서는 처리 데이터 수가 학습 프로세스에 비하여 적으므로, 데이터를 큐에 저장하는 단계는 생략될 수도 있다.
한편, 진단 프로세스에서는, 데이터 수의 증가가 요구되지 않으므로, 정확한 진단 보조 정보의 획득을 위하여, 학습 프로세스와 달리 데이터 증강 또는 이미지 증강 절차는 이용하지 않음이 바람직할 것이다.
1.3.4 진단 프로세스
본 발명의 일 실시예에 따르면, 학습된 신경망 모델을 이용한 진단 프로세스가 개시될 수 있다. 진단 프로세스는 전술한 진단 장치에서 수행될 수 있다. 진단 프로세스는 전술한 진단 서버에서 수행될 수 있다. 진단 프로세스는 전술한 진단 장치의 제어부에서 수행될 수 있다. 진단 프로세스는 전술한 진단부의 진단 모듈에 의하여 수행될 수 있다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다. 도 20을 참조하면, 진단 프로세스는 진단 대상 데이터를 획득(S2010)하고, 학습된 신경망 모델을 이용하여(S2030), 획득된 진단 대상 데이터에 대응되는 결과를 획득하여 수행(S2050)될 수 있다. 다만, 데이터의 가공은 선택적으로 수행될 수 있다.
이하에서는 도 20을 참조하여, 진단 프로세스의 각 단계에 대하여 설명한다.
1.3.4.1 데이터 입력
본 발명의 일 실시예에 따르면, 진단 모듈은 진단 대상 데이터를 획득할 수 있다. 획득된 데이터는, 전술한 바와 같이 가공된 데이터일 수 있다. 일 예로, 획득된 데이터는 사이즈가 조절되고 혈관이 강조되도록 하는 전처리가 적용된 피검자의 안저 이미지 데이터일 수 있다. 본 발명의 일 실시예에 따르면, 하나의 피검자의 좌안 이미지 및 우안 이미지는 함께 진단 대상 데이터로 입력될 수 있다.
1.3.4.2 데이터 분류
분류기 형태로 마련된 진단 보조 신경망 모델은 입력된 진단 대상 이미지를 소정의 라벨에 대하여 긍정 또는 부정 클래스로 분류할 수 있다.
학습된 진단 보조 신경망 모델은 진단 대상 데이터를 입력받고, 예측되는 라벨을 출력할 수 있다. 학습된 진단 보조 신경망 모델은 진단 보조 정보의 예측값을 출력할 수 있다. 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 보조 정보는 예측되는 라벨에 기초하여 결정될 수 있다.
예를 들어, 진단 보조 신경망 모델은 피검체의 안질환 또는 전신 질환에 대한 진단 정보(즉, 질병의 유무에 대한 정보) 또는 소견 정보(즉, 이상 소견의 유무에 대한 정보)를 예측할 수 있다. 이때, 진단 정보 또는 소견 정보는 확률 형태로 출력될 수 있다. 예컨대, 피검체가 특정 질병을 보유할 확률 또는 피검체의 안저 이미지체 특정 이상 소견이 있을 확률이 출력될 수 있다. 분류기 형태로 마련된 진단 보조 신경망 모델을 이용하는 경우에, 예측되는 라벨은 출력되는 확률값(또는 예측 점수)이 임계값을 초과하는지 여부를 고려하여 결정될 수 있다.
구체적인 예로, 진단 보조 신경망 모델은 피검체의 안저 사진을 진단 대상 이미지로 하여, 피검체의 당뇨 망막증 유무를 확률값으로 출력할 수 있다. 1을 정상으로 하는 분류기 형태의 진단 보조 신경망 모델을 이용하는 경우, 피검체의 안저 사진을 진단 보조 신경망 모델에 입력하고, 피검체의 당뇨 망막증 보유 여부에 대하여, 정상 : 비정상 의 확률 값을 0.74:0.26 등의 형태로 획득할 수 있다.
여기에서는 분류기 형태의 진단 보조 신경망 모델을 이용하여 데이터를 분류하는 경우를 기준으로 설명하였으나, 본 발명이 이에 한정되지는 아니하며, 회귀 모델 형태로 구현된 진단 보조 신경망 모델을 이용하여 특정한 진단 보조 수치(예컨대, 혈압 등)를 예측할 수도 있다.
본 발명의 다른 일 실시예에 따르면, 이미지의 적합성 정보가 획득될 수 있다. 적합성 정보는 진단 대상 이미지가 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하기에 적합한지 여부를 나타낼 수 있다.
이미지의 적합성 정보는 이미지의 품질 정보일 수 있다. 품질 정보 또는 적합성 정보는, 진단 대상 이미지가 기준 레벨에 미치는지 여부를 나타낼 수 있다.
예컨대, 진단 대상 이미지가 촬영 장비의 결함 또는 촬영시 조명의 영향 등으로 인하여 결함을 가지는 경우, 해당 진단 대상 이미지에 대하여는 적합성 정보로서 부적합 결과가 출력될 수 있다. 진단 대상 이미지에 노이즈가 일정 수준 이상 포함된 경우, 그 진단 대상 이미지는 부적합한 것으로 판단될 수 있다.
적합성 정보는 신경망 모델을 이용하여 예측된 값일 수 있다. 또는, 적합성 정보는 별도의 이미지 분석 프로세스를 통하여 획득된 정보일 수 있다.
일 실시예에 따르면, 이미지가 부적합한 것으로 분류된 경우에도, 부적합한 이미지에 기초하여 획득된 진단 보조 정보가 획득될 수 있다.
일 실시예에 따르면, 부적합한 것으로 분류된 이미지는 진단 보조 신경망 모델에 의하여 재검토될 수 있다.
이때, 재검토를 수행하는 진단 보조 신경망 모델은, 최초 검토를 수행하는 진단 보조 신경망 모델과 상이할 수 있다. 예를 들어, 진단 장치는 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 저장하고, 제1 진단 보조 신경망 모델을 통하여 부적합한 것으로 분류된 이미지는 제2 진단 보조 신경망 모델을 통하여 검토될 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 학습된 신경망 모델로부터 CAM(Class Activation Map)이 획득될 수 있다. 진단 보조 정보는 CAM을 포함할 수 있다. CAM은 다른 진단 보조 정보와 함께 획득될 수 있다.
CAM의 경우, 선택적으로 획득될 수 있다. 예를 들어, CAM의 경우, 진단 보조 모델에 의하여 획득된 진단 정보 또는 소견 정보가 비정상 클래스로 분류된 경우에 CAM이 추출 및/또는 출력될 수 있다.
1.3.5 진단 보조 정보의 출력
진단 보조 정보는, 진단 보조 신경망 모델로부터 예측된 라벨에 기초하여 결정될 수 있다.
진단 보조 정보의 출력은 전술한 진단부의 출력 모듈에 의하여 수행될 수 있다. 진단 보조 정보는 진단 장치로부터 클라이언트 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치로부터 서버 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치 또는 진단 서버에 저장될 수 있다. 진단 보조 정보는 별도로 마련된 서버 장치 등에 저장될 수 있다.
진단 보조 정보는 데이터베이스화 되어 관리될 수 있다. 예컨대, 획득된 진단 보조 정보는 피검체의 식별 번호에 따라 해당 피검체의 진단 대상 이미지와 함께 저장 및 관리될 수 있다. 이때, 피검체의 진단 대상 이미지 및 진단 보조 정보는 시간 순서에 따라 관리될 수 있다. 진단 보조 정보 및 진단 대상 이미지를 시계열적으로 관리함으로써, 개인별 진단 정보의 추적 및 이력 관리가 용이해질 수 있다.
진단 보조 정보는 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치에 마련된 시각적 또는 청각적 출력 수단을 통하여 사용자가 인지할 수 있도록 출력될 수 있다.
본 발명의 일 실시예에 따르면, 사용자에게 진단 보조 정보를 효과적으로 제공하기 위한 인터페이스가 제공될 수 있다. 이러한 사용자 인터페이스와 관련하여서는 후술하는 5. 사용자 인터페이스 에서 보다 상세히 설명한다.
신경망 모델에 의하여 CAM이 획득된 경우, CAM의 이미지가 함께 제공될 수 있다. CAM 이미지의 경우 선택적으로 제공될 수 있다. 예컨대, 진단 보조 신경망 모델을 통하여 획득된 진단 정보가 정상 소견 정보 또는 정상 진단 정보인 경우 CAM 이미지를 제공하지 않고, 획득된 진단 정보가 비정상 소견 정보 또는 비정상 진단 정보인 경우, 보다 정확한 임상 진단을 위하여 CAM 이미지가 함께 제공될 수 있다.
이미지가 부적합한 것으로 분류된 경우, 이미지의 적합성 정보가 함께 제공될 수 있다. 일 예로, 이미지가 부적합한 것으로 분류된 경우, 해당 이미지에 따라 획득된 진단 보조 정보 및 부적합 판정 정보가 함께 제공될 수 있다.
부적합한 것으로 판정된 진단 대상 이미지는 재촬영 대상 이미지로 분류될 수도 있다. 이때, 재촬영 대상으로 분류된 이미지의 대상 객체에 대한 재촬영 안내가 적합성 정보와 함께 제공될 수 있다.
한편, 신경망 모델을 통하여 획득된 진단 보조 정보를 제공하는 것에 응답하여, 신경망 모델의 학습과 관련된 피드백이 획득될 수 있다. 예컨대, 신경망 모델의 학습과 관련된 파라미터 또는 하이퍼 파라미터를 조정하기 위한 피드백이 획득될 수 있다. 피드백은 진단 장치 또는 클라이언트 장치에 마련된 사용자 입력부를 통하여 획득될 수 있다.
본 발명의 일 실시예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 신경망 모델이 다중 분류를 수행하는 분류기 모델인 경우, 등급 정보는 진단 대상 이미지가 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 신경망 모델이 특정 질병과 관련된 수치를 출력하는 회귀 모델인 경우, 등급 정보는 출력되는 수치를 고려하여 결정될 수 있다.
예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다. 또는, 등급 정보는, 신경망 모델을 통하여 획득된 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.
한편, 등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.
진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.
진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다.
진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.
1.4 복수 라벨 대한 진단 보조 시스템
본 발명의 일 실시예에 따르면, 복수 라벨(예컨대, 복수의 진단 보조 정보)에 대하여 예측하기 위한 진단 보조 시스템이 제공될 수 있다. 이를 위하여, 전술한 진단 보조 시스템의 진단 보조 신경망을 복수의 라벨에 대하여 예측하도록 설계할 수 있다.
또는, 위와 전술한 진단 보조 시스템에 있어서, 서로 다른 라벨에 대하여 예측하는 복수의 진단 보조 신경망이 병렬적으로 이용될 수 있다. 이하에서는, 이러한 병렬 진단 보조 시스템에 대하여 설명한다.
1.4.1 병렬 진단 보조 시스템 구성
본 발명의 일 실시예에 따르면, 복수의 진단 보조 정보를 획득하기 위한 병렬 진단 보조 시스템이 제공될 수 있다. 병렬 진단 보조 시스템은 복수의 진단 보조 정보를 획득하기 위한 복수의 신경망 모델을 학습시키고, 학습된 복수의 신경망 모델을 이용하여 복수의 진단 보조 정보를 획득할 수 있다.
예컨대, 병렬 진단 보조 시스템은 안저 이미지에 기초하여, 피검체의 안질환 유무와 관련된 제1 진단 보조 정보를 획득하는 제1 신경망 모델 및 피검체의 전신 질환 유무와 관련된 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습시키고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 피검체의 안질환 유무 및 전신 질환 유무에 관한 진단 보조 정보를 출력할 수 있다.
도 21 및 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다. 도 21 및 22를 참조하면, 병렬 진단 보조 시스템은 복수의 학습부를 포함할 수 있다.
도 21을 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템(30)은 학습 장치(1000), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 이때, 학습 장치(1000)는 복수의 학습부를 포함할 수 있다. 예를 들어, 학습 장치(1000)는 제1 학습부(100a) 및 제2 학습부(100b)를 포함할 수 있다.
도 22를 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템(40)은 제1 학습 장치(1000a), 제2 학습 장치(1000b), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 제1 학습 장치(1000a)는 제1 학습부(100a)를 포함할 수 있다. 제2 학습 장치(1000b)는 제2 학습부(100b)를 포함할 수 있다.
도 21 및 22를 참조하면, 제1 학습부(100a)는 제1 데이터 세트를 획득하고, 제1 신경망 모델에 대하여 학습 결과 얻어진 제1 신경망 모델의 제1 파라미터 세트를 출력할 수 있다. 제2 학습부(100b)는 제2 데이터 세트를 획득하고, 제2 신경망 모델에 대하여 학습 결과 얻어진 제2 신경망 모델의 제2 파라미터 세트를 출력할 수 있다.
진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단 장치(2000) 및 진단부(200)에 대하여는 도 1과 관련하여 설명한 내용이 유사하게 적용될 수 있다. 진단부(200)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 각각 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다. 진단부(2000)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 획득한 학습된 제1 신경망 모델의 파라미터 및 학습된 제2 신경망 모델의 파라미터를 저장할 수 있다.
클라이언트 장치(3000)는 데이터 획득부 예컨대, 촬상부(300)를 포함할 수 있다. 다만, 촬상부(300)는 기타 진단 보조 정보의 획득에 이용되는 데이터의 획득 수단으로 대체될 수 있다. 클라이언트 장치는 진단 장치로 진단 요청 및 진단 대상 데이터(예컨대, 촬상부로부터 획득된 안저 이미지)를 전송할 수 있다. 클라이언트 장치(3000)는 진단 요청을 전송하는 것에 응답하여, 진단 장치로부터, 전송한 진단 대상 데이터에 따른 복수의 진단 보조 정보를 획득할 수 있다.
한편, 도 21 및 22에서는 진단 보조 시스템(40)이 제1 학습부(100a) 및 제2 학습부(100b)를 포함하는 경우를 기준으로 설명하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따르면, 학습 장치는 3개 이상의 서로 다른 진단 보조 정보를 획득하는 학습부를 포함할 수 있다. 또는, 진단 보조 시스템은 서로 다른 진단 보조 정보를 획득하는 복수의 학습 장치를 포함할 수도 있다.
학습 장치, 진단 장치 및 클라이언트 장치의 보다 구체적인 동작에 대하여는 이하에서 보다 상세하게 설명하기로 한다.
1.4.2 병렬 트레이닝 프로세스
본 발명의 일 실시예에 따르면, 복수의 신경망 모델이 학습될 수 있다. 각각의 신경망 모델을 학습하는 트레이닝 프로세스는 병렬적으로 수행될 수 있다.
1.4.2.1 병렬 학습부
트레이닝 프로세스는 복수의 학습부에 의해 수행될 수 있다. 각각의 트레이닝 프로세스는 서로 독립적으로 수행될 수 있다. 복수의 학습부는 하나의 학습 장치에 마련되거나 복수의 학습 장치에 각각 마련될 수 있다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다. 제1 학습부(100a) 및 제2 학습부(100b) 각각의 구성 및 동작은 도 9와 관련하여 전술한 것과 유사하게 구현될 수 있다.
도 23을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 프로세스는, 제1 데이터 가공 모듈(110a), 제1 큐 모듈(130a), 제1 학습 모듈(150a) 및 제1 학습 결과 획득 모듈(170a)을 포함하는 제1 학습부(100a) 및 제2 데이터 가공 모듈(110b), 제2 큐 모듈(130b), 제2 학습 모듈(150b) 및 제2 학습 결과 획득 모듈(170b)을 포함하는 제2 학습부(100b)를 포함하는 학습 장치(1000)에 의하여 수행될 수 있다.
도 23을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 트레이닝 프로세스는 제1 학습부(100a) 및 제2 학습부(100b)에 의하여 각각 수행될 수 있다. 제1 학습부(100a) 및 제2 학습부(100b)는 독립적으로 제1 신경망 모델 및 제2 신경망 모델의 학습을 수행할 수 있다. 도 23을 참조하면, 제1 학습부(100a) 및 제2 학습부(100b)는 전술한 학습 장치 내에 마련될 수 있다. 또는, 제1 학습부 및 제2 학습부는 서로 다른 학습 장치 내에 마련될 수도 있다.
1.4.2.2 병렬 데이터 획득
본 발명의 일 실시예에 따르면, 복수의 학습부는 데이터를 획득할 수 있다. 복수의 학습부는 서로 다른 데이터 세트를 획득할 수 있다. 또는, 복수의 학습부는 동일한 데이터 세트를 획득할 수도 있다. 경우에 따라, 복수의 학습부는 일부가 공통되는 데이터 세트를 획득할 수도 있다. 데이터 세트는 안저 이미지 데이터 세트일 수 있다.
제1 학습부는 제1 데이터 세트를 획득하고, 제2 학습부는 제2 데이터 세트를 획득할 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 구별될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 일부 공통될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 라벨링된 안저 이미지 데이터 세트일 수 있다.
제1 데이터 세트는 제1 특징에 대하여 정상(normal)으로 라벨링된 데이터 및 제1 특징에 대하여 비정상(abnormal)으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.
제2 데이터 세트는 (제1 특징과 구별되는)제2 특징에 대하여 정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제2 데이터 세트는 당뇨 망막증과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.
제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 정상으로 라벨링된 데이터 세트 및 제2 특징에 대하여 정상으로 라벨링된 데이터는 공통될 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하고, 제2 데이터 세트는 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하되, 제1 데이터 세트에 포함된 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 제2 데이터 세트에 포함된 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지는 공통될 수 있다.
또는, 제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 비정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터가 공통될 수도 있다. 즉, 복수 특징에 대하여 라벨링된 데이터가 복수 특징에 대한 신경망 모델의 학습에 이용될 수도 있다.
한편, 제1 데이터 세트는 제1 방법으로 촬영된 안저 이미지 데이터 세트이고, 제2 데이터 세트는 제2 방법으로 촬영된 안저 이미지 데이터 세트일 수 있다. 제1 방법 및 제2 방법은 레드프리 촬영, 파노라마 촬영, 자가형광 촬영, 적외선 촬영 등으로부터 선택된 어느 하나의 방법일 수 있다.
각 학습부에서 이용되는 데이터 세트는, 학습되는 신경망에 의하여 획득되는 진단 보조 정보를 고려하여 결정될 수 있다. 예를 들어, 제1 학습부는 망막 이상 소견(예를 들어, 미세혈관류, 삼출물 등)과 관련된 진단 보조 정보를 획득하고자 하는 제1 신경망 모델을 학습시키는 경우, 레드프리 촬영된 제1 안저 이미지 데이터 세트를 획득할 수 있다. 또는, 제2 학습부는 황반 변성과 관련된 진단 보조 정보를 획득하고자 하는 제2 신경망 모델을 학습시키는 경우, 자가형광 촬영된 제2 안저 이미지 데이터 세트를 획득할 수 있다.
1.4.2.3 병렬 데이터 가공
복수의 학습부는 각각 획득된 데이터를 가공할 수 있다. 전술한 2.2 데이터 가공 프로세스 에서 설명한 것과 같이, 각각의 학습부는, 획득된 데이터에 대하여, 이미지 리사이징, 전처리 필터 적용, 이미지 증강 및 이미지 직렬화 프로세스 중 하나 이상을 적용하여 데이터를 가공할 수 있다. 제1 학습부의 제1 데이터 가공 모듈은 제1 데이터 세트를 가공하고, 제2 학습부의 제2 데이터 가공 모듈은 제2 데이터 세트를 가공할 수 있다.
복수의 학습부에 포함되는 제1 학습부 및 제2 학습부는 각각에 의해 학습되는 신경망 모델로부터 획득되는 진단 보조 정보를 고려하여 획득된 데이터 세트를 달리 가공할 수 있다. 예를 들어, 제1 학습부는 고혈압과 관련된 제1 진단 보조 정보를 획득하기 위한 제1 신경망 모델을 학습시키기 위하여, 제1 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 혈관이 강조되도록 하는 전처리를 수행할 수 있다. 또는, 제2 학습부는 망막의 삼출물, 미세 혈관 등의 이상 소견과 관련된 제2 진단 보조 정보를 획득하기 위한 제2 신경망 모델을 학습시키기 위하여, 제2 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 레드프리 이미지로 변환하는 전처리를 수행할 수도 있다.
1.4.2.4 병렬 큐
복수의 학습부는 데이터를 큐에 저장할 수 있다. 전술한 2.2.6 큐 에서 설명한 것과 같이, 각각의 학습부는 처리된 데이터를 큐에 저장하고 학습 모듈로 전달할 수 있다. 예를 들어, 제1 학습부는 제1 데이터 세트를 제1 큐 모듈에 저장하고 제1 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다. 제2 학습 모듈은 제2 데이터 세트를 제2 큐 모듈에 저장하고 제2 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다.
1.4.2.5 병렬 학습 프로세스
복수의 학습부는 신경망 모델을 학습시킬 수 있다. 각각의 학습 모듈은 트레이닝 데이터 세트를 이용하여 서로 다른 라벨에 대하여 예측하는 진단 보조 신경망 모델을 각각 독립적으로 학습시킬 수 있다. 제1 학습부의 제1 학습 모듈은 제1 신경망 모델을 학습시키고, 제2 학습부의 제2 학습 모듈은 제2 신경망 모듈을 학습시킬 수 있다.
복수의 진단 보조 신경망 모델은 병렬적 및/또는 독립적으로 학습될 수 있다. 이와 같이 복수의 신경망 모델을 통하여 서로 다른 라벨에 대하여 예측하도록 모델을 학습시킴으로써, 각 라벨에 대한 예측 정확도가 향상되고, 예측 동작의 효율이 증가될 수 있다.
각각의 진단 보조 신경망 모델은 2.3.2 모델의 설계 에서 설명한 것과 유사하게 마련될 수 있다. 각각의 서브 학습 프로세스는 2.3.1 내지 2.3.5 에서 전술한 것과 유사하게 수행될 수 있다.
본 발명의 일 실시예에 따른 병렬 학습 프로세스는, 서로 다른 라벨을 예측하는 진단 보조 신경망 모델을 학습시키는 것을 포함할 수 있다. 제1 학습부는 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 제2 학습부는 제2 라벨을 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다.
제1 학습부는 제1 데이터 세트를 획득하고 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제1 학습부는 황반 변성 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 황반 변성 여부를 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다.
제2 학습부는 제2 데이터 세트를 획득하고 제2 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제2 학습부는 당뇨 망막증 해당 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 당뇨 망막증 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다.
신경망 모델의 학습 프로세스에 대하여는 이하에서 도 24 및 25를 참조하여 보다 구체적으로 설명한다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 병렬 학습 프로세스는, 병렬 진단 보조 시스템이 도 21과 같이 구현된 경우, 도 22과 같이 구현된 경우 및 그 외의 형태로 구현된 경우 모두에 적용될 수 있다. 다만, 설명의 편의를 위하여, 이하에서는 도 21과 같이 구현된 병렬 진단 보조 시스템을 기준으로 설명한다.
도 24를 참조하면, 병렬 학습 프로세스는 서로 다른 라벨을 예측하는 복수의 진단 보조 신경망 모델을 각각 학습시키는 복수의 서브 학습 프로세스를 포함할 수 있다. 병렬 학습 프로세스는 제1 신경망 모델을 학습시키는 제1 서브 학습 프로세스 및 제2 신경망 모델을 학습시키는 제2 서브 학습 프로세스를 포함할 수 있다.
예컨대, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1010a), 제1 신경망 모델을 이용하고(S1030a), 제1 모델(즉, 제1 진단 보조 신경망 모델)을 검증하고(S1050a) 제1 신경망 모델의 파라미터를 획득(S1070a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1010b), 제2 신경망 모델을 이용하고(S1030b), 제2 신경망 모델을 검증(즉, 제2 진단 보조 신경망 모델)하고(S1050b) 제2 신경망 모델의 파라미터를 획득(S1070b)하여 수행될 수 있다.
서브 학습 프로세스는 서브 신경망 모델에 트레이닝 데이터를 입력하고, 출력으로 얻어진 라벨 값을 입력 트레이닝 데이터와 비교하여 모델을 검증하고, 검증 결과를 다시 서브 신경망 모델에 반영함으로써 신경망 모델을 학습시키는 것을 포함할 수 있다.
각각의 서브 학습 프로세스는, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화하는 것을 포함할 수 있다.
각각의 서브 학습 프로세스에서, 진단 보조 신경망 모델은 트레이닝 데이터 세트와 구별되는 검증 데이터 세트를 통하여 검증될 수 있다. 제1 신경망 모델 및 제2 신경망 모델을 검증하기 위한 검증 데이터 세트는 구별될 수 있다.
복수의 학습부는 학습 결과를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습 모듈로부터 학습된 신경망 모듈에 관한 정보를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습부로부터 학습된 신경망 모듈의 파라미터 값들을 획득할 수 있다. 제1 학습부의 제1 학습 결과 획득 모듈은 제1 학습 모듈로부터 학습된 제1 신경망 모델의 제1 파라미터 세트를 획득할 수 있다. 제2 학습부의 제2 학습 결과 획득 모듈은 제2 학습 모듈로부터 학습된 제2 신경망 모델의 제2 파라미터 세트를 획득할 수 있다.
각각의 서브 학습 프로세스에 의하여, 학습된 신경망 모델의 최적화된 파라미터 값들, 즉 파라미터 세트가 획득될 수 있다. 보다 많은 트레이닝 데이터 세트를 이용하여 학습을 진행함에 따라, 보다 적절한 파라미터 값들이 얻어질 수 있다.
제1 서브 학습 프로세스에 의하여 학습된 제1 진단 보조 신경망 모델의 제1 파라미터 세트가 획득될 수 있다. 제2 서브 학습 프로세스에 의하여 학습된 제2 진단 보조 신경망 모델의 제2 파라미터 세트가 획득될 수 있다. 학습이 충분히 진행됨에 따라, 제1 진단 보조 신경망 모델의 및 제2 진단 보조 신경망 모델의 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다.
획득된 각 신경망 모델의 파라미터 세트는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 제1 진단 보조 신경망 모델의 제1 파라미터 세트 및 제2 진단 보조 신경망 모델의 제2 파라미터 세트는 함께 또는 따로 저장될 수 있다. 학습된 각 신경망 모델의 파라미터 세트는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.
1.4.2.6 병렬 앙상블 학습 프로세스
복수의 신경망 모델을 병렬적으로 학습시키는 경우에도, 전술한 앙상블 형태의 모델 학습이 이용될 수 있다. 각각의 서브 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다. 이하에서, 별다른 언급이 없는 한 2.3.7 에서 설명한 내용이 유사하게 적용될 수 있다.
복수의 진단 보조 신경망 모델이 병렬적으로 학습되는 경우에, 각각의 진단 보조 신경망 모델을 학습시키는 서브 학습 프로세스 중 일부 서브 학습 프로세스는 단일 모델을 학습시키고, 일부 서브 학습 프로세스는 복수의 서브 모델을 함께 학습시키는 형태로 구현될 수도 있다.
각 서브 학습 프로세스에서 앙상블을 이용하여 모델을 학습시킴에 따라, 각각의 서브 프로세스에서 보다 최적화된 신경망 모델의 형태를 획득하고, 예측의 오차가 감소될 수 있다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 도 25를 참조하면, 각 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다.
도 25를 참조하면, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1011a), 제 1-1 신경망 모델 및 제1-2 신경망 모델을 이용하고(S1031a, S1033a) 제 1-1 신경망 모델 및 제1-2 신경망 모델을 검증(S1051a)하여, 제1 신경망 모델의 최종 형태 및 그 파라미터를 결정(S1071a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1011b), 제 2-1 신경망 모델 및 제2-2 신경망 모델을 이용하고(S1031b, S1033b) 제 2-1 신경망 모델 및 제2-2 신경망 모델을 검증(S1051b)하여, 제1 모델(즉, 제1 진단 보조 신경망 모델)의 최종 형태 및 그 파라미터를 결정(S1071b)하여 수행될 수 있다.
제1 서브 학습 프로세스에서 학습되는 제1 신경망은 제1-1 신경망 모델, 제1-2 신경망 모델을 포함할 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 서로 다른 계층 구조로 마련될 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 제1 데이터 세트를 획득하고 예측되는 라벨을 각각 출력할 수 있다. 또는, 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블에 의한 예측되는 라벨을 최종 예측 라벨로 결정할 수 있다.
이때, 제1-1 신경망 모델 및 제1-2 신경망 모델을 검증 데이터 세트를 이용하여 검증하고, 정확도가 높은 신경망 모델을 최종 신경망 모델로 결정할 수 있다. 또는, 제1-1 신경망 모델, 제1-2 신경망 모델 및 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블을 검증하고, 그 중 정확도가 높은 경우의 신경망 모델 형태를 최종 제1 신경망 모델로 결정할 수도 있다.
제2 서브 학습 프로세스에 대하여도 마찬가지로, 제2-1 신경망 모델, 제2-2 신경망 모델 및 제2-1 신경망 모델, 제2-2 신경망 모델의 앙상블 중 정확도가 높은 형태의 신경망을 최종 제2 모델(즉, 제2 진단 보조 신경망 모델)로 결정할 수 있다.
한편, 도 25에서는, 편의를 위하여 각 서브 학습 프로세스가 두 개의 서브 모델을 포함하는 경우를 기준으로 설명하였으나, 이는 예시에 불과하며, 본 발명이 이에 한정되지는 않는다. 각 서브 학습 프로세스에서 학습되는 신경망 모델은, 하나의 신경망 모델만을 포함하거나, 세 개 이상의 서브 모델을 포함할 수도 있다.
1.4.3 병렬 진단 프로세스
본 발명의 일 실시예에 의하면, 복수의 진단 보조 정보를 획득하는 진단 프로세스가 제공될 수 있다. 복수의 진단 보조 정보를 획득하는 진단 프로세스는 서로 독립적인 복수의 진단 프로세스를 포함하는 병렬 진단 보조 프로세스 형태로 구현될 수 있다.
1.4.3.1 병렬 진단부
본 발명의 일 실시예에 따르면, 진단 보조 프로세스는 복수의 진단 모듈에 의하여 수행될 수 있다. 각각의 진단 보조 프로세스는 독립적으로 수행될 수 있다.
도 26은 본 발명의 일 실시예에 따른 진단부(200)를 설명하기 위한 블록도이다.
도 26을 참조하면, 본 발명의 일 실시예에 따른 진단부(200)는 진단 요청 획득 모듈(211), 데이터 가공 모듈(231), 제1 진단 모듈(251), 제2 진단 모듈(253) 및 출력 모듈(271)을 포함할 수 있다. 진단부(200)의 각 모듈은 특별한 언급이 없는 한, 도 18에서 도시하는 진단부의 진단 모듈과 유사하게 동작할 수 있다.
도 26에서는, 진단부(200)가 복수의 진단 모듈을 포함하는 경우에도, 진단 요청 획득 모듈(211), 데이터 가공 모듈(231) 및 출력 모듈(271)은 공통되는 것으로 도시하였으나, 본 발명이 이러한 구성에 한정되는 것은 아니며, 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 복수로 마련될 수도 있다. 복수의 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 병렬적으로 동작할 수도 있다.
예를 들어, 진단부(200)는 입력된 진단 대상 이미지에 대하여 제1 가공을 수행하는 제1 데이터 가공 모듈 및 진단 대상 이미지에 대하여 제2 데이터 가공을 수행하는 제2 가공 모듈을 포함하고, 제1 진단 모듈은 제1 가공된 진단 대상 이미지에 기초하여 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 제2 가공된 진단 대상 이미지에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제1 가공 및/또는 제2 가공은 이미지 리사이징, 이미지의 색상 변조, 블러 필터 적용, 혈관 강조 처리, 레드프리 변환, 일부 영역 크롭, 일부 요소 추출 중 선택된 어느 하나일 수 있다.
복수의 진단 모듈은 서로 다른 진단 보조 정보를 획득할 수 있다. 복수의 진단 모듈은 서로 다른 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 예를 들어, 제1 진단 모듈은 피검체의 안질환 해당 여부를 예측하는 제1 신경망 모델을 이용하여 피검체의 안질환 해당 여부와 관련된 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 피검체의 전신 질환 해당 여부를 예측하는 제2 신경망 모델을 이용하여 피검체의 전신 질환 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.
보다 구체적인 예로, 제1 진단 모듈은 안저 이미지에 기초하여 피검체의 당뇨 망막증 해당 여부를 예측하는 제1 진단 보조 신경망 모델을 이용하여 피검체의 당뇨 망막증 해당 여부에 관한 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 안저 이미지에 기초하여 피검체의 고혈압 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 이용하여 피검체의 고혈압 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.
1.4.3.2 병렬 진단 프로세스
본 발명의 일 실시예에 따른 진단 보조 프로세스는 복수의 서브 진단 프로세스를 포함할 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 보조 신경망 모델을 이용하여 수행될 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 모듈에서 수행될 수 있다. 예컨대, 제1 진단 모듈은 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 제1 서브 진단 프로세스를 수행할 수 있다. 또는, 제2 진단 모듈은 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 제2 서브 진단 프로세스를 수행할 수 있다.
학습된 복수의 신경망 모델은 진단 대상 데이터를 입력으로 하여, 예측되는 라벨 또는 확률을 출력할 수 있다. 각각의 신경망 모델은 분류기 형태로 마련되고, 입력되는 진단 대상 데이터를 소정의 라벨에 대하여 분류할 수 있다. 이때, 복수의 신경망 모델은 서로 다른 특성에 대하여 학습된 분류기 형태로 마련될 수 있다. 각각의 신경망 모델은 3.4.2 에서 전술한 것과 같이 진단 대상 데이터를 분류할 수 있다.
한편, 각각의 진단 보조 신경망 모델로부터, CAM이 획득될 수 있다, CAM은 선택적으로 획득될 수 있다. CAM은 미리 정해진 조건이 만족되는 경우에 추출될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우에 제1 진단 보조 신경망 모델로부터 제1 CAM이 획득될 수 있다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 27을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는 진단 대상 데이터를 획득(S2011)하고, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 이용하여(S2031a, S2031b) 진단 대상 데이터에 따른 진단 보조 정보를 획득(S2051)하는 것을 포함할 수 있다. 진단 대상 데이터는 가공된 데이터일 수 있다.
본 발명의 일 실시예에 따른 진단 보조 프로세스는 학습된 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하고, 학습된 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 동일한 진단 대상 데이터에 기초하여 각각 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.
예를 들어, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 진단 대상 안저 이미지에 기초하여, 피검체의 황반 변성 여부에 관한 제1 진단 보조 정보 및 피검체의 당뇨 망막증 해당 여부에 관한 제2 진단 보조 정보를 각각 획득할 수 있다.
이외에도, 특별한 언급이 없는 한, 도 27과 관련하여 설명하는 진단 보조 프로세스는 도 20과 관련하여 전술한 진단 보조 프로세스와 유사하게 구현될 수 있다.
1.4.3.3 진단 보조 정보의 출력
본 발명의 일 실시예에 따르면, 병렬 진단 보조 프로세스에 의하여 획득된 진단 보조 정보가 획득될 수 있다. 획득된 진단 보조 정보는 진단 장치, 서버 장치 및/또는 클라이언트 장치에 저장될 수 있다. 획득된 진단 보조 정보는 외부 장치로 전달될 수 있다.
복수의 진단 보조 정보는, 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨을 각각 지시할 수 있다. 복수의 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 각각 대응될 수 있다. 또는, 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측된 복수의 라벨에 기초하여 결정된 정보일 수 있다. 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 대응될 수 있다.
다시 말해, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨에 대응되는 진단 보조 정보일 수 있다. 또는, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨 및 제2 진단 보조 신경망 모델을 통하여 예측된 제2 라벨을 함께 고려하여 결정된 진단 보조 정보일 수 있다.
한편, 복수의 진단 보조 신경망 모델로부터 획득된 CAM의 이미지가 출력될 수 있다. CAM 이미지는 미리 정해진 조건이 만족되는 경우에 출력될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우 또는 제2 진단 보조 정보가 피검체가 제2 특성에 대하여 비정상임을 지시하는 경우 중 어느 하나의 경우에, 비정상임인 것으로 지시된 진단 보조 정보가 출력된 진단 보조 신경망 모델로부터 획득된 CAM 이미지가 출력될 수 있다.
복수의 진단 보조 정보 및/또는 CAM 이미지는 사용자에게 제공될 수 있다. 복수의 진단 보조 정보 등은 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 시각적으로 출력될 수 있다. 이와 관련하여, 5. 사용자 인터페이스에서 보다 상세하게 설명한다.
본 발명의 일 실시예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 복수의 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 등급 정보는 진단 대상 이미지가 복수의 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 등급 정보는 복수의 신경망 모델로부터 출력되는 수치를 고려하여 결정될 수 있다.
예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 복수의 신경망 모델을 통하여 획득된 진단 정보 중, 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 중, 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다.
등급 정보는, 신경망 모델을 통하여 획득된 수치들 중 적어도 하나의 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치들 모두가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.
등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.
진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 포함된 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보에 대응되는 사항을 포함할 수 있다. 예컨대, 제1 사용자 안내는, 진단 보조 정보에 포함된 비정상 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.
진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다.
진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.
제1 내지 제3 등급 정보는, 클라이언트 장치 또는 진단 장치의 출력부에 의해 출력될 수 있다. 구체적으로, 후술하는 사용자 인터페이스를 통해 출력될 수 있다.
1.4.4 실시예 2 - 진단 보조 시스템
본 발명의 일 실시예에 따른 진단 보조 시스템은 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 진단 보조 시스템은 진단 장치를 포함할 수 있다. 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및/또는 진단 정보 출력부를 포함할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 진단 보조 시스템에 포함되는 각 부는 학습 장치, 진단 장치, 학습 진단 서버 및/또는 클라이언트 장치 상의 적절한 위치에 각각 위치될 수 있다. 이하에서는, 편의를 위하여 진단 보조 시스템의 진단 장치가 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함하는 경우를 기준으로 설명한다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다. 도 28을 참조하면, 진단 보조 시스템은 진단 장치를 포함하고, 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 복수의 질병에 대한 진단을 보조하는 진단 보조 시스템은, 피검체에 대한 진단 보조 정보 획득의 기초가 되는 대상 안저 이미지를 획득하는 안저 이미지 획득부, 상기 대상 안저 이미지에 대하여 제1 신경망 모델 - 상기 제1 신경망 모델은 상기 제1 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 상기 피검체에 대한 제1 소견과 관련된 제1 결과를 획득하는 제1 처리부, 상기 대상 안저 이미지에 대하여 제2 신경망 모델 - 상기 제2 신경망 모델은 상기 제1 안저 이미지 세트와 적어도 일부가 상이한 제2 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 상기 피검체에 대한 제2 소견과 관련된 제2 결과를 획득하는 제2 처리부, 상기 제1 결과 및 상기 제2 결과에 기초하여, 상기 피검체에 대한 진단 정보를 결정하는 제3 처리부 및 사용자에게 상기 결정된 진단 정보를 제공하는 진단 정보 출력부를 포함할 수 있다. 이때, 제1 소견 및 상기 제2 소견은 서로 다른 질병에 대한 진단에 이용될 수 있다.
제1 신경망 모델은 입력된 안저 이미지를 상기 제1 소견과 관련하여 정상 라벨 및 비정상 라벨 중 어느 하나로 분류하도록 학습되고, 제1 처리부는 상기 제1 신경망 모델을 이용하여 상기 대상 안저 이미지를 상기 정상 라벨 또는 상기 비정상 라벨 중 어느 하나로 분류하여 상기 제1 결과를 획득할 수 있다.
제3 처리부는 제1 결과 및 제2 결과를 함께 고려하여, 대상 안저 이미지에 따른 진단 정보가 정상 정보인지 비정상 정보인지 결정할 수 있다.
제3 처리부는, 진단 정확도가 향상되도록, 상기 비정상 라벨에 우선권을 부여하여 상기 피검체에 대한 진단 정보를 결정할 수 있다.
제3 처리부는 상기 제1 라벨이 상기 제1 소견에 대한 정상 라벨이고, 상기 제2 라벨이 상기 제2 소견에 대한 정상 라벨인 경우, 상기 진단 정보를 정상으로 결정하고, 제1 라벨이 제1 소견에 대한 정상 라벨이 아니거나 상기 제2 라벨이 상기 제2 소견에 대한 정상 라벨이 아닌 경우, 상기 진단 정보를 비정상으로 결정할 수 있다.
제1 소견은 안질환과 관련되고, 상기 제1 결과는 상기 피검체의 상기 안질환에 대한 정상 여부를 지시할 수 있다. 제2 소견은 전신 질환과 관련되고, 상기 제2 결과는 상기 피검체의 상기 전신 질환에 대한 정상 여부를 지시할 수 있다.
제1 소견은 제1 안질환과 관련되고, 상기 제1 결과는 상기 피검체의 상기 제1 안질환에 대한 정상 여부를 지시하고, 상기 제2 소견은 상기 제1 안질환과 구별되는 제2 안질환과 관련되고, 상기 제2 결과는 상기 피검체의 상기 제2 안질환에 대한 정상 여부를 지시할 수 있다.
제1 소견은 제1 안질환을 진단하기 위한 소견이고, 상기 제1 결과는 상기 피검체의 상기 제1 안질환에 대한 정상 여부를 지시하고, 제2 소견은 상기 제1 안질환을 진단하기 위한 상기 제1 소견과 구별되는 소견이고, 상기 제2 결과는 상기 피검체의 상기 제2 안질환에 대한 정상 여부를 지시할 수 있다.
제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함하고, 제1 결과는 상기 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 상기 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 결정될 수 있다.
제1 처리부는 상기 제1 신경망 모델을 통하여 상기 제1 라벨과 관련된 CAM(Class Activation Map)을 획득하고, 진단 정보 출력부는 상기 CAM의 이미지를 출력할 수 있다.
진단 정보 출력부는 상기 제3 처리부에 의하여 획득된 상기 진단 정보가 비정상 진단 정보인 경우 상기 CAM의 이미지를 출력할 수 있다.
진단 보조 시스템은 상기 대상 안저 이미지의 품질 정보를 획득하는 제4 처리부를 더 포함하고, 진단 정보 출력부는 상기 제4 처리부에 의하여 획득된 상기 대상 안저 이미지의 품질 정보를 출력할 수 있다.
제4 처리부에서 상기 대상 안저 이미지의 품질 정보가 미리 정해진 품질 레벨 이하인 것으로 판단된 경우, 상기 진단 정보 출력부는, 상기 사용자에게 상기 결정된 진단 정보와 함께 상기 대상 안저 이미지의 품질 정보가 상기 미리 정해진 품질 레벨 이하인 것을 지시하는 정보를 함께 제공할 수 있다.
1.5 사용자 인터페이스
본 발명의 일 실시예에 따르면, 전술한 클라이언트 장치 또는 진단 장치는 진단 보조 정보를 사용자에게 제공하기 위한 표시부를 가질 수 있다. 이때, 표시부는 사용자에게 진단 보조 정보를 명확히 전달하고, 사용자로부터의 피드백 획득이 용이하도록 마련될 수 있다.
표시부의 일 예로서, 사용자에게 시각 정보를 제공하는 디스플레이가 제공될 수 있다. 이때, 사용자에게 진단 보조 정보를 시각적으로 전달하기 위한 그래픽 사용자 인터페이스가 이용될 수 있다. 예컨대, 안저 이미지에 기초하여 진단 보조 정보를 획득하는 안저 진단 보조 시스템에 있어서, 획득된 진단 보조 정보를 효과적으로 표시하고 사용자의 이해를 돕기 위한 그래픽 사용자 인터페이스가 제공될 수 있다.
도 29 및 30은 본 발명의 몇몇 실시예에 따른 사용자에게 진단 정보를 제공하기 위한 그래픽 사용자 인터페이스를 설명하기 위한 도면이다. 이하에서는, 도 29 및 30을 참조하여, 안저 진단 보조 시스템에서 이용될 수 있는 사용자 인터페이스에 대하여 몇몇 실시예를 들어 설명한다.
도 29를 참조하면, 본 발명의 일 실시예에 따른 사용자 인터페이스는 진단 대상 안저 이미지에 대응되는 피검체의 식별 정보를 표시할 수 있다. 사용자 인터페이스는 피검체(즉, 환자)의 식별 정보 및/또는 진단 대상 안저 이미지의 촬영 정보(예컨대, 촬영 날짜)를 표시하는 대상 이미지 식별 정보 표시부(401)를 포함할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 동일한 피검체의 좌안의 안저 이미지 및 우안의 안저 이미지를 각각 표시하는 안저 이미지 표시부(405)를 포함할 수 있다. 안저 이미지 표시부(405)는 CAM 이미지를 표시할 수도 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는 좌안의 안저 이미지 및 우안의 안저 이미지 각각에 대하여 좌안 또는 우안의 이미지임을 표시하고, 각 이미지의 진단 정보 및 사용자 확인 여부를 지시하는 진단 정보 지시자가 표시되는 진단 정보 지시부(403)를 포함할 수 있다.
진단 정보 지시자의 색상은 대상 안저 이미지에 기초하여 얻어진 진단 보조 정보를 고려하여 결정될 수 있다. 진단 정보 지시자는 진단 보조 정보에 따라 제1 색상 또는 제2 색상으로 표시될 수 있다. 일 예로, 하나의 대상 안저 이미지에 제1 내지 제3 진단 보조 정보를 획득한 경우, 하나의 진단 보조 정보라도 비정상(즉, 이상 소견 있음) 정보를 포함하는 경우, 진단 정보 지시자는 적색으로 표시되고, 모든 진단 보조 정보가 정상(즉, 이상 소견 없음) 정보를 포함하는 경우, 진단 정보 지시자는 녹색으로 표시될 수 있다.
진단 정보 지시자의 형태는 사용자의 확인 여부에 따라 결정될 수 있다. 진단 정보 지시자는 사용자의 확인 여부에 따라 제1 형태 또는 제2 형태로 표시될 수 있다. 일 예로, 도 25를 참조하면, 사용자에 의해 검토가 완료된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 원으로 표시되고, 사용자에 의해 미검토된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 반원으로 표시될 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 진단 보조 정보를 지시하는 진단 정보 지시부(407)를 포함할 수 있다. 진단 보조 정보 지시부는 좌안 및 우안 이미지에 각각 위치될 수 있다. 진단 보조 정보 지시부는 복수의 소견 정보 또는 진단 정보를 지시할 수 있다.
진단 보조 정보 지시부는 적어도 하나의 진단 보조 정보 지시자를 포함할 수 있다. 진단 보조 정보 지시자는 색상 변화를 통하여 각각 대응되는 진단 보조 정보를 지시할 수 있다.
예를 들어, 진단 대상 안저 이미지에 대하여, 제1 진단 보조 신경망 모델을 통하여 수정체 혼탁 유무를 지시하는 제1 진단 보조 정보, 제2 진단 보조 신경망 모델을 통하여 당뇨 망막증 소견 유무를 지시하는 제2 진단 보조 정보, 제3 진단 보조 신경망 모델을 통하여 망막 이상 소견 유무를 지시하는 제3 진단 보조 정보가 획득된 경우에, 진단 정보 지시부는 제1 진단 보조 정보, 제2 진단 보조, 제3 진단 보조 정보를 각각 지시하는 제1 내지 제3 진단 보조 정보 지시자를 포함할 수 있다.
보다 구체적인 예로, 도 29를 참조하면, 좌안 안저 이미지와 관련하여, 진단 정보 지시부(407)는 피검체의 좌안 안저 이미지에 기초하여 획득된 진단 보조 정보가 수정체 혼탁 비정상임을 지시하는 제1 진단 보조 정보, 당뇨 망막증 정상(이상 소견 없음)을 지시하는 제2 진단 보조 정보 및 망막 비정상(이상 소견 있음)을 지시하는 제3 진단 보조 정보가 획득된 경우에, 제1 색상을 띠는 제1 진단 보조 정보 지시자, 제2 색상을 띠는 제1 진단 보조 정보 지시자 및 제1 색상을 띠는 제3 진단 보조 정보 지시자를 표시할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 사용자로부터 진단 대상 안저 이미지에 대한 사용자 코멘트를 획득할 수 있다. 사용자 인터페이스는 사용자 코멘트 오브젝트(409)를 포함하고, 사용자 코멘트 오브젝트에 대한 사용자 선택에 응답하여, 사용자 입력창을 표시할 수 있다. 사용자로부터 획득된 코멘트는 진단 보조 신경망 모델의 갱신에 이용될 수도 있다. 예컨대, 사용자 코멘트 오브젝트에 대한 선택에 응답하여 표시되는 사용자 입력창은, 신경망을 통한 진단 보조 정보에 대한 사용자 평가를 획득할 수 있고, 획득된 사용자 평가는 신경망 모델의 갱신에 이용될 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 각 진단 대상 안저 이미지에 대한 사용자 검토 여부를 표시하는 검토 지시 오브젝트(411)를 포함할 수 있다. 검토 지시 오브젝트는 각 진단 대상 이미지에 대한 사용자 검토가 완료되었음을 나타내는 사용자 입력을 획득 받고, 제1 상태에서 제2 상태로 그 표시가 변경될 수 있다. 예컨대, 도 29 및 도 30을 참조하면, 검토 지시 오브젝트는 확인 요청 문구를 표시하는 제1 상태에서, 사용자 입력이 획득되면, 확인 되었음을 나타내는 제2 상태로 변경될 수 있다.
진단 대상 안저 이미지의 목록(413)이 표시될 수 있다. 목록에는 피검체의 식별 정보, 이미지 촬영 날짜 및 양안 이미지에 대한 검토 여부 지시자(403)가 함께 표시될 수 있다.
진단 대상 안저 이미지의 목록(413)에는 검토가 완료된 진단 대상 안저 이미지를 나타내는 검토 완료 지시자(415)가 표시될 수 있다. 검토 완료 지시자(415)는 해당 이미지의 양안에 대한 검토 지시 오브젝트(411) 모두에 대하여 사용자 선택이 발생한 경우에 표시될 수 있다.
도 30을 참조하면, 사용자 그래픽 인터페이스는, 진단 대상 안저 이미지에 품질 이상이 있는 것으로 판단된 경우에, 사용자에게 대상 안저 이미지의 품질에 이상이 있음을 지시하는 저품질 경고 오브젝트(417)를 포함할 수 있다. 저품질 경고 오브젝트(417)는, 진단부로부터 진단 대상 안저 이미지가 진단 보조 신경망 모델로부터 적절한 진단 보조 정보가 예측될 수 있는 수준의 품질(즉, 기준 품질 레벨)에 미치지 아니하는 것으로 판단된 경우에 표시될 수 있다.
또한, 도 28을 참조하면 진단 대상 안저 이미지의 목록(413)에도 저품질 경고 오브젝트(419)가 표시될 수 있다.
2. 안저 이미지의 품질 판단
2.1 서론
2.1.1 배경 및 목적
본 명세서에서는 이미지를 이용하여 병변의 진단을 수행하기 위하여 흠결이 있는 이미지를 검출하는 방법 및 장치 등에 대하여 설명한다.
이미지에 기초하여 특정한 판단, 예컨대, 병변의 진단 등을 수행하기 위하여는 이미지가 적절하게 촬상된 것으로서 기준 이상의 품질을 가질 것이 전제되어야 한다. 따라서, 촬상 과정 또는 이미지의 처리 과정 등에서 발생한 흠결(defect)로 인하여 진단을 수행하기에 적합한 품질을 갖추지 못한 이미지는 질병 진단의 기초로 이용하지 않는 것이 바람직하며, 이에 따라 이미지에 기초한 진단에 앞서 이미지의 품질 판단이 선행될 수 있다.
일 예로, 안저 이미지에 기초하여 피검체에 대하여 특정 질병에 대한 진단을 수행하고자 하는 경우에도, 그 품질이 일정 수준 이상 보장된 안저 이미지에 한하여 그 진단의 기초로 이용되는 것이 적절할 것이다. 안저 이미지의 경우, 그 촬영 과정에서 빛의 입사각 또는 안저와의 거리 등에 따라 아티팩트(artifact)가 발생할 수 있으며, 이러한 아티팩트를 가지는 이미지의 경우 진단 근거 자료로서 이용되기 어려우므로, 안저 이미지의 품질 판단이 선행될 필요가 있다.
아티팩트가 있는 이미지를 근거로 질환의 진단을 수행할 경우, 정확한 진단이 어려울 수 있으므로, 오퍼레이터, 프로그램 관리자 등의 사람이 직접 촬상된 이미지의 품질을 판단하는 방법 등이 제시되어 이용된 바 있다.
그러나 처리해야 할 이미지가 다수인 경우에는 사람이 직접 각각의 이미지의 품질을 판단하는 것이 비효율적일 수 있다. 특히, 이미지에 기초하여 인공지능을 학습시키는 것과 같이 많은 수의 이미지가 이용되는 경우에는, 사람이 직접 다량의 이미지의 품질을 각각 판단하는 것은 인적 자원의 심각한 낭비를 초래할 수 있다.
또한, 사람의 판단 기준은 주관적인 것이어서, 판단을 수행하는 사람에 따라 달라질 수 있으며 동일인에 의한 판단이라 할지라도 모든 이미지에 대하여 일관적인 판단 기준을 기대하기는 어려울 수 있다.
본 명세서에서는 이미지의 품질 판단을 신속 및 정확하게 수행하고, 일정한 품질 판단 기준을 제공하기 위한 이미지 선별 방법 및 장치 등을 몇몇 실시예를 들어 설명한다. 이하에서는, 설명의 편의를 위하여 안저 이미지를 선별하는 방법 및 장치를 중심으로 설명하나, 본 명세서에서 설명하는 발명의 내용이 이에 한정되는 것은 아니다. 본 명세서에서 설명하는 발명은, 이미지의 품질 판단이 필요한 다양한 경우에 적용 또는 변용될 수 있다.
2.1.2 안저 이미지
본 명세서에서, 안저(fundus) 이미지란 동공을 통하여 들여다보이는 안구의 안쪽을 촬상한 이미지를 의미할 수 있다. 안저 이미지는 망막, 망막 혈관, 시신경 유두 및 맥락막 중 적어도 일부가 촬상된 이미지를 의미할 수 있다.
안저 이미지는 파노라마 이미지일 수 있다. 안저 이미지는 레드프리(Red-free) 이미지일 수 있다. 안저 이미지는 적외선 촬영된 이미지일 수 있다. 안저 이미지는 자가형광 촬영된 이미지일 수 있다. 이미지 데이터는 JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 형태로 획득될 수 있다.
도 31 은 본 발명의 일 실시예에 따른 안저 이미지(FI)의 영역 구분을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따르면, 안저 이미지(FI)는 안저 이미지의 촬상 프레임 또는 촬상 조건과 관련된 복수의 영역을 포함할 수 있다.
도 31을 참조하면, 안저 이미지(FI)는 안저가 촬상된 안저 영역(FA), 안저가 포함되지 않은 비-안저 영역(NFA)을 포함할 수 있다. 경우에 따라, 안저 이미지(FI)는 비-안저 영역(NFA)을 포함하지 않을 수 있다. 안저 이미지(FI)는 촬상 장치의 구조 또는 카메라 제어 응용 프로그램에 의하여 구분된 안저 영역 및 비-안저 영역(NFA)을 포함할 수 있다.
도 32는 본 발명의 다른 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다. 도 32를 참조하면, 안저 이미지(FI)의 안저 영역(FA)은 내측 영역(IA)과 외측 영역(OA)을 포함할 수 있다.
내측 영역(IA)과 외측 영역(OA)은 경계(BO)를 기준으로 구분될 수 있다. 경계(BO)는 안저 영역의 둘레와 동심원 형태일 수 있다. 경계(BO)는 원형으로 결정될 수 있다. 경계(BO)는 안저 영역의 중심을 그 중심으로 하고, 소정의 R을 반지름으로 하는 원형으로 결정될 수 있다. 외측 영역(OA)는 안저 영역의 중심으로부터 소정 거리 R 이상 이격된 영역으로 결정될 수 있다. 내측 영역(IA)는 안저 영역의 중심으로부터의 거리가 R 이하인 영역으로 결정될 수 있다.
경계(BO)는 내측 영역(IA)의 넓이와 외측 영역(OA)의 넓이 비가 소정의 값을 가지도록 결정될 수 있다. 경계(BO)는 내측 영역(IA)의 넓이와 안저 영역의 넓이의 비가 소정의 값을 가지도록 결정될 수 있다. 예컨대, 경계(BO)는 경계(BO)에 의하여 정의되는 내측 영역(IA)의 넓이가 안저 영역의 80%에 해당하도록 결정될 수 있다.
여기에서는, 내측 영역(IA)과 외측 영역(OA)이 경계(BO)를 기준으로 구분되는 경우를 기준으로 설명하였으나 이는 본 발명을 한정하는 것은 아니며, 내측 영역(IA)과 외측 영역(OA)은 일부 중첩되도록 결정될 수도 있다.
도 33은 본 발명의 다른 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따르면, 안저 이미지는 안저 이미지에 포함된 해부학적 요소의 위치를 고려하여 결정된 복수의 영역을 포함할 수 있다.
도 33을 참조하면, 안저 영역(FA)은 황반부(MA), 시신경 유두부(ODA) 및 주변부를 포함할 수 있다. 안저 이미지는 안저 이미지로부터 검출된 황반 및/또는 시신경 유두의 위치에 기초하여 황반부, 시신경 유두부 및 주변부를 포함하도록 구분될 수 있다.
황반부(MA)는 안저 영역의 황반이 분포하는 영역을 포함하도록 결정될 수 있다. 시신경 유두부(ODA)는 안저 영역의 시신경 유두가 분포하는 영역을 포함하도록 결정될 수 있다. 주변부는 안저 영역으로부터 황반부(MA) 및 시신경 유두부(ODA)를 제외한 영역으로 결정될 수 있다.
황반부(MA), 시신경 유두부(ODA) 및 주변부의 경계는 황반 및/또는 시신경 유두의 위치에 기초하여 결정될 수 있다. 황반부(MA)의 경계는 황반이 분포하는 영역을 둘러싸도록 결정될 수 있다. 시신경 유두부(ODA)의 경계는 시신경 유두가 분포하는 영역을 둘러싸도록 결정될 수 있다.
주변부는 경우에 따라, 복수의 세부 영역으로 구분될 수 있다. 도 33을 참조하면, 상비부(SNA), 하비부(INA), 상측부(STA), 하측부(ITA) 및 측부(TA)를 포함할 수 있다. 상비부(SNA), 하비부(INA), 상측부(STA), 하측부(ITA) 및 측부(TA)는 황반 및/또는 시신경 유두의 위치에 기초하여 구분될 수 있다.
상비부(SNA), 하비부(INA), 상측부(STA), 하측부(ITA) 및 측부(TA)의 경계는 황반 및/또는 시신경 유두의 위치에 기초하여 구분될 수 있다. 예컨대, 황반의 위치(예컨대, 근사적 중심점)와 시신경 유두의 위치(예컨대, 근사적 중심점)를 연결하는 제1 직선 및 제1 직선에 직교하고 시신경 유두의 위치를 지나는 제2 직선을 고려하여 상비부(SNA), 하비부(INA), 상측부(STA), 하측부(ITA) 및 측부(TA)가 결정될 수 있다. 또 예컨대, 제1 직선에 평행하고 황반부(MA)에 접하는 제3 직선 및 제4 직선을 고려하여 측부(TA)가 결정될 수도 있다.
도 32 및 33에서는 각 영역이 점선으로 나타내어진 경계에 의하여 구분되는 경우를 설명하였으나, 실시 예에 따라, 각 영역은 일부 중첩되도록 정의될 수도 있다.
도 31 내지 33과 관련하여 상술한 영역 및/또는 경계는 서로 다른 이미지에 대하여 일관되게 이용될 수 있다. 또는, 상술한 영역 및/또는 경계는, 각각의 이미지에 대하여 적절하게 결정되어 이용될 수 있다. 상술한 영역 및/또는 경계는, 사용자 입력에 의해 결정 및 이용될 수 있다. 도 31 내지 33에서 설명하는 안저 이미지의 영역 구분은 예시적인 것에 불과하며, 안저 이미지를 구분하는 경계 또는 안저 이미지의 세부 영역은 다양한 형태로 구현될 수 있다. 예컨대, 안저 이미지의 세부 영역은 필요에 따라 사용자에 의해 구분될 수 있다.
안저 이미지는 안질환의 진단에 이용될 수 있다. 안저 이미지는 녹내장, 백내장, 황반 변성, 미숙아 망막증 등의 안질환 진단에 이용될 수 있다. 안저 이미지는, 출혈, 삼출물, 면화반, 드루젠 및 드루제노이드 침착물(drusen & drusenoid deposits), 혼탁, 변성, 증식 조직, 혈관 이상, 망막 색소 변화(retinal pigmentary change), 황반 이상, 황반 천공(macular hole), 맥락 망막 위축(chroioretinal atrophy) 등의 병변 진단에 이용될 수 있다.
안저 이미지는 안질환이 아닌 타 질환(예컨대, 전신 실환 또는 만성 질환)의 진단에 이용될 수 있다. 예를 들어, 안저 이미지는 당뇨병(또는 당뇨 망막증), 알츠하이머, 거대 세포 바이러스, 뇌졸중 등의 질환의 진단에 이용될 수 있다. 다른 예를 들어, 안저 이미지는 심혈관 질환(심장 질환, 관상동맥 질환 등)의 진단에 이용될 수 있다. 안저 이미지는 고혈압, 저혈압, 동맥 경화증, 협심증, 심부전 등의 진단에 이용될 수 있다.
안저 이미지로부터, 안질환 또는 타 질환을 진단하기 위한 소견이 식별될 수 있다. 예를 들어, 안저 이미지로부터, 안저 전반의 색상 이상, 수정체 혼탁(Opacity), 시신경 유두의 비율(C/D ratio; cup to disc ratio)의 이상, 황반 이상(예를 들어, 황반 원공), 혈관의 직경, 주행 등의 이상, 망막 동맥의 직경 이상, 망막의 출혈, 삼출물의 발생, 드루젠(drusen) 등의 소견이 식별될 수 있다.
2.2 이미지 관리 시스템 및 장치
2.2.1 시스템 및 동작
본 발명의 일 실시예에 의하면, 안저 이미지의 품질을 판단하고, 안저 이미지를 관리하는 이미지 관리 시스템 및/또는 장치가 제공될 수 있다. 이미지 관리 시스템 및/또는 장치는 본 명세서에서 설명하는 이미지 품질 판단 방법 등을 수행할 수 있다. 본 명세서에서 개시하는 안저 이미지의 품질 판단 방법 등은 전술한 진단 보조 시스템 또는 진단 보조 시스템을 구성하는 장치에 의하여 수행될 수도 있다.
본 명세서에서 개시하는 이미지 관리 시스템 및/또는 장치, 이미지 품질 관리 시스템 및/또는 장치 등은 도 1 내지 9와 관련하여 전술한 진단 보조 시스템 및/또는 장치와 유사하게 구현될 수 있다. 다시 말해, 도 1 내지 9와 관련하여 전술한 진단 보조 시스템은 안저 이미지의 품질을 관리하는 이미지 관리 시스템으로 구현될 수도 있다.
일 예로, 이미지 관리 시스템은 학습 장치, 진단 장치, 클라이언트 장치를 포함할 수 있으며 이는 도 1의 진단 보조 시스템과 유사하게 동작할 수 있다. 학습 장치, 진단 장치 및/또는 클라이언트 장치는 본 명세서에서 설명하는 안저 이미지의 품질 판단 및/또는 안저 이미지의 적합성 판단을 수행할 수 있다. 이미지 관리 시스템에 포함되는 진단 장치(또는 이미지 관리 장치)는 도 4 또는 도 5에서 설명하는 진단 장치와 유사하게 동작할 수 있다.
다른 예로, 이미지 관리 시스템은 진단 장치 및 클라이언트 장치를 포함할 수 있다. 진단 장치는 학습 장치 및/또는 서버 장치의 기능을 수행할 수 있다. 진단 장치 및/또는 클라이언트 장치는 본 명세서에서 설명하는 안저 이미지의 품질 판단 및/또는 안저 이미지의 적합성 판단을 수행할 수 있다.
또 다른 예로, 이미지 관리 시스템은 서버 장치를 더 포함할 수 있다. 서버 장치는 도 6과 관련하여 전술한 것과 유사하게 동작할 수 있다. 서버 장치는 본 명세서에서 설명하는 안저 이미지의 품질 판단 및/또는 안저 이미지의 적합성 판단을 수행할 수 있다.
또 다른 예로, 이미지 관리 시스템은 모바일 장치를 포함할 수 있다. 모바일 장치는 전술한 학습 장치, 진단 장치 및/또는 클라이언트 장치의 동작 중 전부 또는 일부를 수행할 수 있다. 모바일 장치는 서버 장치와 통신할 수도 있다. 모바일 장치는 본 명세서에서 설명하는 안저 이미지의 품질 판단 및/또는 안저 이미지의 적합성 판단을 수행할 수 있다.
이상에서는 이미지 관리 시스템에 대하여 몇 가지 예를 들어 설명하였으나, 위에서 설명되지 않은 경우라 할지라도, 도 1 내지 9와 관련하여 설명하는 진단 보조 시스템에 관련된 기재로부터 이미지 관리 시스템의 구성이 유사하게 구성될 수 있음은 자명하다.
2.2.2 장치 및 동작
도 1 내지 도 9와 관련하여 전술한 진단 보조 시스템(10, 20) 및 시스템에 포함되는 장치는 안저 이미지의 품질 판단을 수행할 수 있다.
일 실시예에 따르면, 학습 장치(1000)는 안저 이미지의 품질을 판단하는 품질 판단부를 포함할 수 있다. 학습 장치(1000)는 안저 이미지의 적합성을 판단하는 적합성 판단부를 포함할 수 있다. 학습 장치(1000)는 품질 판단부를 이용하여 학습을 위한 안저 데이터의 품질을 판단하고, 품질 판단 결과 선택된 이미지를 이용하여 신경망 모델의 학습을 수행할 수 있다. 학습 장치(1000)는 적합성 판단부를 이용하여 안저 이미지의 대상 질병에 대한 적합성을 판단하고, 적합성 판단 결과 선택된 이미지를 이용하여 신경망 모델의 학습을 수행할 수 있다.
학습 장치(1000)의 품질 판단부 또는 적합성 판단부는 학습 장치(1000)의 제어부(1200)에 포함될 수 있다. 학습 장치(1000)의 제어부(1200)는 학습 장치(1000)의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다. 학습 장치(1000)의 품질 판단부 또는 적합성 판단부는 학습 장치(1000)의 프로세서(1050)에 포함될 수 있다. 학습 장치(1000)의 프로세서(1050)는 학습 장치(1000)의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다.
일 실시예에 따르면, 진단 장치(2000)는 안저 이미지의 품질을 판단하는 품질 판단부를 포함할 수 있다. 진단 장치(2000)는 안저 이미지의 적합성을 판단하는 적합성 판단부를 포함할 수 있다. 진단 장치(2000)는 피검체의 안저 이미지를 획득하고, 품질 판단부를 이용하여 획득된 안저 이미지의 품질을 판단할 수 있다. 진단 장치(2000)는 피검체의 안저 이미지를 획득하고, 적합성 판단부를 이용하여 획득된 안저 이미지의 품질을 판단할 수 있다. 진단 장치(2000)는 품질 판단부를 이용하여 안저 이미지의 품질을 판단하고 품질 판단 결과 선택된 이미지를 이용하여 신경망 모델로부터 진단 보조 정보를 획득할 수 있다. 진단 장치(2000)는 적합성 판단부를 이용하여 안저 이미지의 적합성을 판단하고, 판단 결과 선택된 이미지를 이용하여 신경망 모델로부터 진단 보조 정보를 획득할 수 있다.
진단 장치(2000)의 품질 판단부 또는 적합성 판단부는 진단 장치(2000)의 제어부(2200)에 포함될 수 있다. 진단 장치(2000)의 제어부(2200)는 진단 장치(2000)의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다. 진단 장치(2000)의 품질 판단부 또는 적합성 판단부는 진단 장치(2000)의 프로세서(2050)에 포함될 수 있다. 진단 장치(2000)의 프로세서(2050)는 진단 장치(2000)의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다.
일 실시예에 따르면, 클라이언트 장치(3000)는 장치는 안저 이미지의 품질을 판단하는 품질 판단부 또는 안저 이미지의 적합성을 판단하는 적합성 판단부를 포함할 수 있다. 클라이언트 장치(3000)는 피검체의 안저 이미지를 획득하고, 품질 판단부를 이용하여 획득된 안저 이미지의 품질을 판단할 수 있다. 클라이언트 장치(3000)는 피검체의 안저 이미지를 획득하고, 적합성 판단부를 이용하여 획득된 안저 이미지의 품질을 판단할 수 있다. 클라이언트 장치(3000)는 안저 이미지의 품질을 판단하고, 품질 판단부를 이용하여 획득된 품질 판단 결과에 기초하여 선택된 이미지를 외부 장치(예컨대, 진단 장치 또는 서버 장치)로 전송할 수 있다.
클라이언트 장치(3000)의 품질 판단부 또는 적합성 판단부는 클라이언트 장치(3000)의 제어부(3300) 또는 프로세서에 포함될 수 있다. 클라이언트 장치(3000)의 제어부(3200) 또는 프로세서는 클라이언트 장치(3000)의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다.
일 실시예에 따르면, 서버 장치(4000)는 안저 이미지의 품질을 판단하는 품질 판단부 또는 안저 이미지의 적합성을 판단하는 적합성 판단부를 포함할 수 있다. 서버 장치(4000)는 품질 판단부를 이용하여 학습 장치 또는 클라이언트 장치로부터 획득된 이미지의 품질을 판단할 수 있다. 서버 장치(4000)는 품질 판단부를 이용하여 외부 장치(예컨대, 클라이언트 장치)로부터 획득된 이미지의 품질을 판단하고, 품질 판단 결과 선택된 이미지를 대상으로 진단을 수행할 수 있다. 또는, 서버 장치(4000)의 품질 판단부는 안저 이미지 데이터 세트에 포함되는 안저 이미지의 품질을 판단하고, 품질 판단 결과 선택된 이미지를 외부 장치(예컨대, 클라이언트 장치 또는 진단 장치)로 전달할 수 있다. 서버 장치(4000)는 적합성 판단부를 이용하여 외부 장치(예컨대, 클라이언트 장치)로부터 획득된 이미지의 품질을 판단하고, 적합성 판단 결과 선택된 이미지를 대상으로 진단을 수행하거나 선택된 이미지를 외부 장치(예컨대, 클라이언트 장치 또는 진단 장치)로 전송할 수 있다.
서버 장치(4000)의 품질 판단부 또는 적합성 판단부는 서버 장치의 제어부 또는 프로세서에 포함될 수 있다. 서버 장치의 제어부 또는 프로세서는 서버 장치(4000)의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다.
일 실시예에 따르면, 모바일 장치는 안저 이미지의 품질을 판단하는 품질 판단부 또는 안저 이미지의 적합성을 판단하는 적합성 판단부를 포함할 수 있다. 모바일 장치는 촬상부를 포함하고, 촬상부를 통하여 획득된 이미지의 품질을 판단할 수 있다. 예컨대, 모바일 장치의 품질 판단부는 촬상된 이미지의 품질을 판단하고, 품질 판단 결과 선별된 이미지를 대상으로 진단을 수행할 수 있다.
모바일 장치의 품질 판단부 또는 적합성 판단부는 모바일 장치의 제어부 또는 프로세서에 포함될 수 있다. 모바일 장치의 제어부 또는 프로세서는 모바일 장치의 품질 판단부 또는 적합성 판단부의 동작을 수행할 수 있다.
도 34 및 35는 각각 본 명세서에서 개시하는 안저 이미지의 품질 판단 또는 안저 이미지의 적합성 판단을 수행하는 장치를 설명하기 위한 도면이다. 도 34 및 35에서 도시하는 장치는, 도 1 내지 9와 관련하여 전술한 장치의 형태로 구현될 수 있다.
도 34는 본 발명의 일 실시예에 따른 안저 이미지 관리 장치(5000)를 설명하기 위한 도면이다. 도 34를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지 관리 장치(5000)는 안저 이미지 획득부(5010), 품질 판단부(5030)를 포함할 수 있다. 안저 이미지 획득부(5010) 및/또는 품질 판단부(5030)는 장치의 제어부 또는 프로세서에 마련될 수 있다.
안저 이미지 획득부(5010)는 안저 이미지를 촬상하거나, 획득할 수 있다. 안저 이미지 획득부(5010)는 카메라를 통하여 안저 이미지를 획득하거나, 외부 장치로부터 안저 이미지를 획득할 수 있다. 안저 이미지는 획득된 안저 이미지의 형식, 크기 등을 품질 판단이 용이하도록 정규화될 수 있다.
품질 판단부(5030)는 안저 이미지의 품질을 판단할 수 있다. 품질 판단부(5030)는 본 명세서에서 설명하는 안저 이미지의 품질 판단을 수행할 수 있다. 품질 판단부(5030)는 영역을 고려하여 품질 판단을 수행할 수 있다. 품질 판단부(5030)는 아티팩트를 고려하여 품질 판단을 수행할 수 있다. 품질 판단부(5030)는 픽셀 값을 고려하여 품질 판단을 수행할 수 있다.
도 34를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지 관리 장치(5000)는 품질 정보 관리부(5050)를 더 포함할 수 있다. 품질 정보 관리부(5050)는 장치의 제어부, 프로세서 또는 메모리에 마련될 수 있다.
품질 정보 관리부(5050)는 안저 이미지의 품질 정보를 관리할 수 있다. 품질 정보 관리부(5050)는 안저 이미지의 품질 판단 결과 획득된 품질 정보를 안저 이미지에 부여할 수 있다. 품질 정보 관리부(5050)는 안저 이미지에 매칭된 품질 정보에 기초하여 안저 이미지 데이터 세트를 관리할 수 있다. 예컨대, 품질 정보 관리부(5050)는 안저 이미지 데이터를 품질 정보에 기초하여 구분 및 저장할 수 있다.
본 발명의 일 실시예에 따르면, 안저를 촬영한 안저 이미지로부터 안저 이미지의 품질에 관여하는 아티팩트를 검출하여 안저 이미지의 품질을 관리하는 안저 이미지 관리 장치는, 안저 이미지를 획득하는 안저 이미지 획득부 및 안저 이미지의 대상 영역으로부터 제1 픽셀을 검출하고, 제1 픽셀의 수를 고려하여 안저 이미지의 품질을 판단하는 품질 판단부를 포함할 수 있다.
아티팩트는 안저 이미지의 안저 영역에 발생하는 광의 과도한 반사에 의한 브라이트 아티팩트 또는 안저 이미지의 안저 영역에 발생하는 그림자에 의한 다크 아티팩트 중 어느 하나일 수 있다.
품질 판단부는, 안저 이미지의 대상 영역에 포함되는 적어도 하나의 픽셀의 픽셀 값을 기준 픽셀 값과 비교하여, 안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 제1 픽셀 검출부, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 비교부 및 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하여 획득된 비교 결과에 기초하여, 안저 이미지의 품질 정보를 획득하는 품질 정보 획득부를 포함할 수 있다.
대상 영역은, 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 영역, 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 제2 영역, 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 제3 영역 및 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 제4 영역 중 선택된 적어도 하나의 영역을 포함할 수 있다.
아티팩트가 제1 아티팩트인 경우, 대상 영역은 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 영역으로 결정되고, 아티팩트가 제2 아티팩트인 경우, 대상 영역은 안저 이미지의 안저가 분포하는 제2 영역으로 결정될 수 있다. 이때, 제1 거리는 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 영역이 안저 이미지 전체 영역에 대하여 제1 비율 이상이 되도록 결정될 수 있다.
아티팩트가 제1 아티팩트인 경우, 기준 픽셀 값은 제1 픽셀 값이고,기준 픽셀 값과 비교하여 제1 픽셀을 검출하는 단계는 대상 영역에 포함되고 기준 픽셀 값보다 큰 픽셀 값을 가지는 제1 픽셀을 검출하는 것을 포함하고, 기준 비율은 제1 기준 비율이고, 기준 비율과 비교하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제1 기준 비율보다 큰지 판단하는 것을 더 포함하고, 비교 결과에 기초하여 품질 정보를 획득하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제1 기준 비율보다 큰 경우 안저 이미지는 불량 이미지인 것으로 판단하는 것을 더 포함할 수 있다.
아티팩트가 제2 아티팩트인 경우, 기준 픽셀 값은 제2 픽셀 값이고, 기준 픽셀 값과 비교하여 제1 픽셀을 검출하는 단계는 대상 영역에 포함되고 기준 픽셀 값보다 작은 픽셀 값을 가지는 제1 픽셀을 검출하는 것을 포함하고, 기준 비율은 제2 기준 비율이고, 기준 비율과 비교하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제2 기준 비율보다 작은지 판단하는 것을 더 포함하고, 비교 결과에 기초하여 품질 정보를 획득하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제2 기준 비율보다 작은 경우 안저 이미지는 불량 이미지인 것으로 판단하는 것을 더 포함할 수 있다.
안저 이미지 관리 장치는, 안저 이미지에 대하여, 품질 정보에 기초하여 품질 정보 라벨을 추가하고, 안저 이미지를 품질 정보 라벨에 따라 관리하는 품질 정보 관리부를 더 포함할 수 있다.
본 발명의 다른 일 실시예에 따르면, 안저를 촬영한 안저 이미지로부터 안저 이미지의 품질에 관여하는 아티팩트를 검출하여 안저 이미지의 품질을 판단하는 안저 이미지 관리 장치는, 안저 이미지를 획득하는 안저 이미지 획득부 및 안저 이미지의 대상 영역으로부터 적어도 하나의 아티팩트 픽셀을 검출하고, 아티팩트 픽셀을 고려하여 안저 이미지의 품질을 판단하는 품질 판단부를 포함할 수 있다.
품질 판단부는 안저 이미지의 적어도 일부 영역을 아티팩트를 검출하기 위한 대상 영역으로 결정하는 대상 영역 결정부 및 대상 영역으로부터 아티팩트와 대응되는 적어도 하나의 아티팩트 픽셀을 검출하는 아티팩트 픽셀 검출부를 포함할 수 있다.
품질 판단부는 아티팩트가 제1 아티팩트인 경우 대상 영역은 안저 이미지 중 안저에 대응되는 영역의 중심으로부터 소정 거리 이격된 영역인 제1 영역으로 결정하고, 아티팩트가 제2 아티팩트인 경우 대상 영역은 안저 이미지 중 안저가 분포하는 영역인 안저 영역으로 결정할 수 있다.
제1 아티팩트는 안저 이미지의 안저 영역에 발생하는 광의 과도한 반사에 의한 브라이트 아티팩트이고, 제2 아티팩트는 안저 이미지의 안저 영역에 발생하는 그림자에 의한 다크 아티팩트일 수 있다.
안저 이미지 관리 장치는, 안저 이미지를 회색조 변환하여 변환된 안저 이미지를 획득하는 변환부를 더 포함할 수 있다. 품질 판단부는 변환된 안저 이미지에 기초하여 안저 이미지의 품질을 판단할 수 있다.
아티팩트 픽셀 검출부는, 대상 영역에 포함되는 복수의 픽셀의 픽셀 값을 기준 픽셀 값 범위와 비교하는 비교부 및 대상 영역에 포함되고 기준 픽셀 값 범위에 포함되는 픽셀 값을 가지는 적어도 하나의 픽셀을 아티팩트 픽셀로 결정하는 결정부를 더 포함할 수 있다.
비교부는, 아티팩트가 제1 아티팩트인 경우, 대상 영역에 포함되는 복수의 픽셀의 픽셀 값을 제1 기준 픽셀 값과 비교하고, 아티팩트가 제2 아티팩트인 경우, 대상 영역에 포함되는 복수의 픽셀의 픽셀 값을 제2 기준 픽셀 값과 비교할 수 있다.
결정부는, 아티팩트가 제1 아티패트인 경우, 대상 영역에 포함되고 제1 기준 픽셀 값보다 큰 픽셀 값을 가지는 적어도 하나의 픽셀을 제1 아티팩트 픽셀로 결정하고, 아티팩트가 제2 아티팩트인 경우, 대상 영역에 포함되고 제2 기준 픽셀 값보다 작은 픽셀 값을 가지는 적어도 하나의 픽셀을 제2 아티팩트 픽셀로 결정할 수 있다.
품질 판단부는 검출된 아티팩트의 양이 기준량을 초과하는지 여부를 고려하여 안저 이미지의 품질을 판단할 수 있다.
품질 판단부는 검출된 아티팩트 픽셀의 수가 안저 이미지의 전체 픽셀의 수에 대하여 기준 비율을 초과하는지 여부를 판단하고, 아티팩트 픽셀의 수가 안저 이미지 전체 픽셀의 수에 대하여 기준 비율을 초과하는 경우 안저 이미지는 아티팩트를 포함하는 것으로 결정할 수 있다.
안저 이미지 관리 장치는, 안저 이미지에 품질 정보에 기초하여 생성된 품질 정보 라벨을 추가하고, 안저 이미지를 품질 정보 라벨에 따라 관리하는 품질 정보 관리부를 더 포함할 수 있다.
도 35는 본 발명의 일 실시예에 따른 안저 이미지 관리 장치(6000)를 설명하기 위한 도면이다. 도 35를 참조하면, 안저 이미지 관리 장치(6000)는 안저 이미지 획득부(6010) 및 적합성 판단부(6030)를 포함할 수 있다. 안저 이미지 획득부(6010) 및/또는 적합성 판단부(6030)는 장치의 제어부 또는 프로세서에 마련될 수 있다.
안저 이미지 획득부(6010)는 카메라를 통하여 안저 이미지를 획득하거나, 외부 장치로부터 안저 이미지를 획득할 수 있다. 안저 이미지는 획득된 안저 이미지의 형식, 크기 등을 품질 판단이 용이하도록 정규화될 수 있다.
적합성 판단부(6030)는 안저 이미지의 대상 질병에 대한 적합성을 판단할 수 있다. 적합성 판단부(6030)는 본 명세서에서 설명하는 이미지의 적합성 판단을 수행할 수 있다. 적합성 판단부(6030)는 안저 이미지의 대상 영역을 고려하여 안저 이미지의 적합성을 판단할 수 있다. 적합성 판단부는 대상 아티팩트의 유무를 고려하여 안저 이미지의 적합성을 판단할 수 있다. 적합성 판단부는 픽셀의 값, 분포 등을 고려하여 안저 이미지의 적합성을 판단할 수 있다.
도 35를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지 관리 장치(6000)는 적합성 정보 관리부(6050)를 더 포함할 수 있다. 적합성 정보 관리부(6050)는 장치의 제어부, 프로세서 또는 메모리에 마련될 수 있다.
적합성 정보 관리부(6050)는 안저 이미지의 적합성 정보를 관리할 수 있다. 적합성 정보 관리부(6050)는 안저 이미지의 적합성 판단 결과 획득된 적합성 정보를 안저 이미지에 부여할 수 있다. 적합성 정보 관리부(6050)는 안저 이미지에 매칭된 적합성 정보에 기초하여 안저 이미지 데이터 세트를 관리할 수 있다. 예컨대, 적합성 정보 관리부(6050)는 안저 이미지를 적합성 정보에 기초하여 구분 및 저장할 수 있다. 적합성 정보 관리부(6050)는 동일한 대상 적합성 정보를 가지는 안저 이미지들을 함께 저장 및 관리할 수 있다.
본 발명의 일 실시예에 따른 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 안저 이미지 관리 장치는, 안저 이미지를 획득하는 안저 이미지 획득부 및 안저 이미지에 대하여, 대상 질병에 대응되는 품질 기준을 이용하여 안저 이미지의 대상 적합성을 판단하는 적합성 판단부를 포함할 수 있다. 대상 질병은 제1 질병 및 제2 질병 중 적어도 하나를 포함할 수 있다.
적합성 판단부는, 대상 질병이 제1 질병인 경우 안저 이미지가 제1 품질 기준을 만족하는지 판단하고, 대상 질병이 제2 질병인 경우 안저 이미지가 제2 품질 기준을 만족하는지 판단할 수 있다.
품질 기준은 대상 영역에 대한 품질 기준을 포함할 수 있다. 적합성 판단부가 안저 이미지의 대상 적합성을 판단하는 것은 대상 질병이 제1 질병인 경우 안저 이미지의 제1 영역이 제1 품질 기준을 만족하는지 판단하고, 대상 질병이 제2 질병인 경우 안저 이미지의 제2 영역이 제2 품질 기준을 만족하는지 판단하는 것을 더 포함할 수 있다.
품질 기준은 아티팩트의 유무에 대한 품질 기준을 포함할 수 있다. 적합성 판단부는 대상 질병이 제1 질병인 경우, 제1 품질 기준을 판단하는 것은 저 이미지가 제1 질병에 대응되는 제1 아티팩트를 포함하는지 판단하는 것을 포함하고, 대상 질병이 제2 질병인 경우, 제2 품질 기준을 판단하는 것은 안저 이미지가 제2 질병에 대응되는 제2 아티팩트를 포함하는지 판단하는 것을 더 포함할 수 있다.
제1 질병에 대응되는 제1 아티팩트는 제1 질병에 연관된 제1 영역으로부터 검출되고, 제2 질병에 대응되는 제2 아티팩트는 제2 질병에 연관된 제2 영역으로부터 검출될 수 있다. 다시 말해, 제1 질병과 대응 관계를 가지는 제1 아티팩트는 제1 질병과 대응 관계를 가지는 제1 영역과 대응될 수 있다. 이러한 질병 및 영역, 질병 및 아티팩트, 아티팩트 및 영역 사이의 매칭 관계를 적합성 판단 장치 또는 품질 판단 장치에 미리 저장되어 이용될 수 있다. 또는, 상술한 매칭 관계는 사용자에 의해 지정될 수 있다. 상술한 매칭 관계는 신경망 모델에 따라 학습되어 생성될 수 있다.
일 실시예에 따르면, 안저 이미지 관리 장치는 안저 이미지에 기초하여 대상 질병에 대한 진단 정보를 획득하는 진단 정보 획득부를 더 포함할 수 있다.
진단 정보 획득부는 대상 질병이 제1 질병인 경우, 안저 이미지가 제1 품질 기준을 만족하면 제1 질병에 대한 제1 진단 보조 정보를 획득하고, 대상 질병이 제2 질병인 경우, 안저 이미지가 제2 품질 기준을 만족하면 제2 질병에 대한 제2 진단 보조 정보를 획득할 수 있다.
일 실시예에 따르면, 안저 이미지 관리 장치는, 판단 결과에 기초하여 안저 이미지의 적합성 정보를 획득하는 적합성 정보 획득부를 더 포함할 수 있다.
적합성 정보 획득부는, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우, 안저 이미지가 제1 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하고, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우, 안저 이미지가 제2 질병에 대하여 적합함을 지시하는 적합성 정보를 획득할 수 있다.
대상 질병은 제1 질병 및 제2 질병을 포함할 수 있다. 적합성 판단부는 안저 이미지가 제1 품질 기준 및 제2 품질 기준을 만족하는지 판단할 수 있다.
적합성 정보 획득부는, 안저 이미지가 제1 품질 기준을 만족하되 제2 품질 기준을 만족하지 않는 것으로 판단된 경우, 안저 이미지가 제1 질병에 대하여 적합하고 제2 질병에 대하여 부적합함을 지시하는 적합성 정보를 획득할 수 있다.
본 발명의 다른 일 실시예에 따르면, 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 안저 이미지 관리 장치로서, 안저 이미지를 획득하는 안저 이미지 획득부, 안저 이미지의 품질을 판단하는 품질 판단부 및 안저 이미지가 품질 기준을 만족하는지 판단하는 것에 기초하여, 안저 이미지의 대상 질병에 대한 대상 적합성을 판단하는 적합성 판단부를 포함할 수 있다.
품질 판단부는, 제1 영역과 관련된 제1 품질 기준을 만족하는지 여부를 판단하고, 안저 이미지가 제1 영역과 적어도 일부 구별되는 제2 영역과 관련되는 제2 품질 기준을 만족하는지 여부를 판단할 수 있다.
품질 판단부는, 제1 영역을 고려하여 제1 아티팩트의 유무를 판단하고, 제2 영역을 고려하여 제2 아티팩트의 유무를 판단할 수 있다.
품질 판단부는 안저 이미지가 제1 아티팩트를 포함하는지 판단하여 안저 이미지가 제1 품질 기준을 만족하는지 판단하고, 안저 이미지가 제2 아티팩트를 포함하는지 판단하여 안저 이미지가 제2 품질 기준을 만족하는지 판단할 수 있다.
제1 영역은 안저 이미지의 안저가 분포하는 안저 영역의 중심으로부터 소정 거리 이상 이격된 영역일 수 있다. 제2 영역은 안저 영역의 중심으로부터 소정 거리 이내의 영역일 수 있다.
그 외에도, 제1 영역 또는 제2 영역은, 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 외측 영역, 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 내측 영역, 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 시신경 유두 영역 및 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 황반 영역 중 선택된 적어도 하나의 영역을 포함할 수 있다. 제1 영역 또는 제2 영역은, 도 31 내지 33과 관련하여 설명한 안저 이미지의 세부 영역 중 적어도 일부를 포함하거나 적어도 일부가 제외된 영역일 수 있다.
적합성 판단부는, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우 안저 이미지가 제1 적합성을 만족하는 것으로 판단하고, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우 안저 이미지가 제2 적합성을 만족하는 것으로 판단할 수 있다.
적합성 판단부는, 대상 질병이 제1 질병 및 제2 질병인 경우, 제1 품질 기준을 만족하되 제2 품질 기준을 만족하지 않는 안저 이미지에 대하여, 제1 적합성을 가지되 제2 적합성을 가지지 않는 것으로 판단할 수 있다. 이때, 제1 적합성을 가지되 제2 적합성을 가지지 않는 것으로 판단된 안저 이미지는 제1 질병의 진단 근거로 적합하되, 제2 질병의 질병 근거로 부적합한 것으로 판단될 수 있다. 제1 적합성을 가지되 제2 적합성을 가지지 않는 것으로 판단된 안저 이미지는 제1 질병이 속하는 제1 질병 군에 대하여 적합하되, 제2 질병이 속하는 제2 질병 군에 대하여 부적합한 것으로 확장 해석될 수도 있다.
일 실시예에 따르면, 안저 이미지 관리 장치는 안저 이미지에 기초하여 대상 질병에 대한 진단 정보를 획득하는 진단 정보 획득부를 더 포함할 수 있다.
진단 정보 획득부는, 대상 질병이 제1 질병인 경우, 안저 이미지가 제1 품질 기준을 만족하면 제1 질병에 대한 제1 진단 보조 정보를 획득하고, 대상 질병이 제2 질병인 경우, 안저 이미지가 제2 품질 기준을 만족하면 제2 질병에 대한 제2 진단 보조 정보를 획득할 수 있다.
대상 질병은 제1 질병 및 제2 질병을 포함할 수 있다. 이때, 진단 정보 획득부는, 안저 이미지가 제1 품질 기준을 만족하고, 제2 품질 기준을 만족하지 않는 경우, 제1 질병에 대한 제1 진단 보조 정보를 획득하고, 제2 진단 보조 정보를 획득하지 아니할 수 있다. 또는, 진단 정보 획득부는, 안저 이미지가 제1 품질 기준을 만족하고, 제2 품질 기준을 만족하지 않는 경우에도, 제1 질병에 대한 제1 진단 보조 정보 및 제2 질병에 대한 제2 진단 보조 정보를 획득하되, 제2 진단 보조 정보와 함께 제2 품질 기준의 불만족 내역을 함께 저장할 수 있다. 함께 저장된 진단 보조 정보와 품질 기준의 불만족 내역은 사용자에게 함께 제공될 수 있다.
이하, 본 명세서에서 설명하는 이미지의 품질 판단 방법, 적합성 판단 방법 등은 도 1 내지 9와 관련하여 설명하는 시스템 또는 장치에 의해 수행되는 것일 수 있다. 또는, 본 명세서에서 설명하는 이미지의 품질 판단 방법, 적합성 판단 방법 등은 도 1 내지 9에서 설명하는 프로세서 또는 제어부에 의해 수행되는 것일 수 있다. 본 명세서에서 설명하는 이미지의 품질 판단 방법, 적합성 판단 방법 등은 도 1 내지 9에서 설명하는 시스템, 장치, 프로세서(또는 제어부) 중 적어도 하나 이상에 의하여 수행되는 것일 수 있다.
2.3 이미지 품질 판단 방법
2.3.1 일반
전술한 것과 같이, 안저 이미지에는 그 촬영 상태에 따라 흠결이 발생할 수 있다. 예컨대 안저 이미지로부터 안저 요소의 관찰을 방해하는 오브젝트가 검출될 수도 있다. 또는 이미지의 밝기가 적정 범위보다 높거나 낮을 수도 있다. 일 예로, 이미지의 촬상 과정에서, 아티팩트가 발생할 수 있다.
아티팩트는 피사체를 식별하는데 방해되도록 촬영된 상태 또는 그러한 상태가 발생한 이미지를 의미할 수 있다. 예를 들어, 안저로부터 빛이 과도하게 반사된 경우 브라이트 아티팩트가 발생할 수 있다. 또는 안저 내에 그림자가 진 경우에는 다크 아티팩트가 발생할 수 있다. 또는, 반사광에 의한 반사 아티팩트가 발생할 수도 있다. 그 외에도, 이미지에 기초한 진단 또는 안저 요소의 식별을 곤란하도록 하는 다양한 형태의 아티팩트가 안저 이미지에 발생할 수 있다.
도 36은 안저 이미지에 발생할 수 있는 이상의 몇몇 예를 도시한 것이다. 도 63을 참조하면, 안저 이미지에는 브라이트 아티팩트(a), 다크 아티팩트(b), 혼탁(c) 등이 발생할 수 있다. 각각의 이상은 그 발생 위치와 태양이 다소 상이할 수 있으며, 이러한 차이를 고려할 때, 각 이상을 검출하기 위한 이미지 품질 판단 방법은 서로 다르게 구현될 수 있다.
브라이트 아티팩트는 광학적 반사(optical reflections), 밝은 가장자리(bright borders)등에 의해 발생할 수 있다. 브라이트 아티팩트는 혈관 또는 시신경 유두가 분포하는 위치에 발생할 수 있다. 브라이트 아티팩트는 안저 이미지의 외곽에 가깝게 분포할 수 있다.
다크 아티팩트는 안저 이미지의 촬상 시 발생하는 그림자 등에 의하여 나타날 수 있다. 다크 아티팩트는 안저 이미지의 중심부에 가깝게 분포할 수 있다. 다크 아티팩트와 브라이트 아티팩트는 동일한 이미지에 함께 발생할 수도 있다.
혼탁은 안저 이미지 촬상 시 초점 조절이 잘못 되거나 광 경로 상의 오염 등에 의하여 발생할 수 있다. 혼탁은 안저 이미지의 안저 영역 전반에 걸쳐 분포할 수 있다. 혼탁은 수정체 또는 유리체의 혼탁으로 인해 나타날 수 있다. 혼탁 아티팩트는 그 자체로서 특정 질병 또는 소견의 진단 근거로 이용될 수 있다.
안저 이미지가 아티팩트를 가지는 경우, 이미지에 포함된 요소를 식별하는 것이 곤란할 수 있으므로, 아티팩트를 가지는 안저 이미지에 기초하여 안저 검사를 수행하거나 기타 정보를 획득하는 것은 부적절할 수 있다.
특히, 안저 이미지에 기초하여 진단을 수행하도록 인공 지능 모델을 학습시키는 경우에, 다수의 이미지를 학습 데이터로서 이용하는 단계가 필수적이나, 전술한 것과 같은 아티팩트를 포함하는 이미지의 경우, 요소 식별이 곤란할 것이므로 모델의 학습에 부정적인 영향을 미칠 가능성이 있다. 따라서, 아티팩트를 포함하는 이미지에 대하여는 별도의 관리가 필요하다.
이와 관련하여, 이하에서는 이미지에 발생한 아티팩트를 검출하거나, 아티팩트 유무와 관련하여 이미지의 품질을 평가하거나, 불량 이미지를 선별하는 방법 및 장치 등에 대하여 몇몇 실시예를 들어 설명한다.
이하에서는, 안저 이미지에 발생하는 아티팩트, 특히, 브라이트 아티팩트 또는 다크 아티팩트를 기준으로 설명하나, 본 명세서에서 설명하는 발명의 내용이 이에 한정되지는 아니하는 것은 자명하며, 본 명세서에서 설명하는 발명의 내용은 부적합한 이미지 또는 정보를 획득하기에 부적합한 이미지를 판별하는 다양한 경우에 적용될 수 있을 것이다.
2.3.2 판단 방법
본 발명의 일 실시예에 따르면, 이미지에 포함되는 적어도 하나의 픽셀 값을 이용하여 이미지의 품질을 판단할 수 있다. 이미지의 품질을 판단하는 것은 이미지를 평가하거나, 불량 이미지를 선별하거나, 이미지의 흠결을 검출하거는 등 이미지가 소정의 기준을 만족하는지 여부를 판단하는 다양한 동작을 의미할 수 있다. 이미지의 품질을 판단하는 것은, 이미지가 전술한 다양한 형태의 아티팩트를 포함하는지 여부를 판단하는 것을 포함할 수 있다.
도 37은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다. 도 37을 참조하면, 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법은 안저 이미지를 획득하는 단계(S11), 안저 이미지를 변환하는 단계(S13) 및 안저 이미지의 품질 정보를 획득하는 단계(S15)를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 품질 판단은 안저 이미지를 획득(S11)하는 것을 포함할 수 있다. 안저 이미지는 진단 대상 이미지 또는 학습 대상 이미지일 수 있다.
안저 이미지는 안저 이미지 촬상 장치를 통하여 획득될 수 있다. 안저 이미지는, 안과에서 일반적으로 이용되는 무산동 안저 카메라 등을 이용하여 획득될 수 있다. 안저 이미지는 휴대용 안저 촬상 장치를 통하여 획득될 수 있다. 안저 이미지는 모바일 장치에 내장된 카메라를 이용하여 획득될 수 있다. 안저 이미지 대신 또는 안저 이미지와 함께, 안저 동영상이 획득 및/또는 이용될 수 있다. 일 실시예에 따르면, 안저 동영상으로부터 안저 이미지가 추출될 수도 있다. 이와 관련하여서는 후술하는 복수의 안저 이미지 항목에서 보다 상세히 설명한다.
안저 이미지는 외부 서버 또는 저장 매체로부터 획득될 수 있다. 또는 안저 이미지는 미리 저장되어 마련될 수 있다. 예컨대, 본 명세서에서 설명하는 이미지의 품질 판단 방법 등은 소정의 정보 처리 장치에 의하여 수행되고, 적어도 하나의 안저 이미지는 소정의 정보 처리 장치의 메모리 등에 미리 저장되어 마련될 수 있다. 안저 이미지는 유선 또는 무선 통신을 통하여 획득될 수도 있다.
본 발명의 일 실시예에 따른 이미지의 품질 판단은 안저 이미지를 변환(S13)하는 것을 포함할 수 있다. 이때, 후술하는 품질 판단에 이용되는 픽셀 값은 변환된 안저 이미지로부터 획득될 수 있다.
안저 이미지의 품질 판단은 안저 이미지를 회색조로 변환하는 것을 포함할 수 있다. 안저 이미지에 포함되는 적어도 하나의 픽셀 값은, 획득된 안저 이미지를 회색조(그레이스케일) 처리한 후, 회색조 처리된 안저 이미지로부터 얻어질 수 있다.
안저 이미지의 품질 판단은 복수의 채널을 가지는 안저 이미지를 단일 채널을 가지도록 변환하는 것을 포함할 수 있다. 적어도 하나의 픽셀 값은, 단일 채널을 가지도록 변환된 안저 이미지로부터 획득될 수 있다. 예컨대, 안저 이미지는 RGB 채널을 포함하고, 픽셀 값은 R 채널 이미지로부터 획득될 수 있다.
안저 이미지의 품질 판단은 안저 이미지를 이진화하는 것을 포함할 수 있다. 예컨대, 안저 이미지는 비트맵 이미지로 변환될 수 있다. 안저 이미지가 소정의 픽셀 값을 기준으로 이진화된 경우, 이진화된 안저 이미지로부터 적어도 하나의 픽셀 값이 획득될 수 있다.
안저 이미지의 품질 판단은 안저 이미지의 히스토그램을 획득 및/또는 변환하는 것을 포함할 수 있다. 안저 이미지가 히스토그램 변환된 경우, 히스토그램 변환된 안저 이미지로부터 적어도 하나의 픽셀 값이 획득될 수 있다. 이미지의 품질 판단 등은 히스토그램 정규화 또는 평활화(equalization)된 이미지로부터 적어도 하나의 픽셀의 픽셀 값이 획득될 수 있다.
한편, 안저 이미지를 변환하는 단계는 선택적으로 이용될 수 있다. 이미지의 품질 판단은 안저 이미지를 변환하고, 변환된 안저 이미지를 이용하여 품질 정보를 획득하거나, 안저 이미지를 변환하지 아니하고 원본 이미지에 기초하여 품질 정보를 획득할 수도 있다.
본 발명의 일 실시예에 따른 이미지의 품질 판단은 안저 이미지의 품질 정보를 획득(S30)하는 것을 포함할 수 있다.
안저 이미지의 품질 정보를 획득하는 것은 안저 이미지가 품질 조건을 만족하는지 판단하는 것을 포함할 수 있다. 일 실시예에 따르면, 품질 정보를 획득하는 것은, 복수의 품질 조건에 대하여 판단하고 복수의 품질 조건에 대한 판단 결과를 고려하여 품질 정보를 획득하는 것을 포함할 수도 있다.
이미지의 품질 정보는 전술한 픽셀 값 또는 대상 픽셀을 고려하여 획득될 수 있다. 이미지의 품질 정보는 이미지가 전술한 품질 조건을 만족하는지를 고려하여 수행될 수 있다.
이미지의 품질 정보는 이미지가 정상 이미지인지 비정상 이미지인지를 나타내는 정상 정보일 수 있다. 이미지의 품질 정보는 이미지가 흠결을 포함하는지 아닌지를 나타내는 흠결 정보일 수 있다. 흠결 정보는 이미지가 어떠한 흠결을 포함하는지에 대한 구체적인 정보를 더 포함할 수도 있다.
이미지의 품질 정보는 아티팩트 포함 여부에 관한 아티팩트 정보를 포함할 수 있다. 이미지의 품질 정보는 아티팩트의 종류를 나타내는 아티팩트의 식별 정보 및 해당 안저 이미지가 아티팩트를 포함하는지 여부 또는 아티팩트의 포함 강도 등을 나타내는 아티팩트 정보를 포함할 수 있다.
이미지의 품질 정보는 확률 형태로 제공될 수도 있다. 예컨대, 이미지의 정상 정보는 이미지가 정상일 확률을 포함할 수 있다. 이미지의 흠결 정보는 이미지가 흠결을 포함할 확률 또는 이미지가 복수의 흠결을 각각 포함할 확률을 포함할 수 있다.
이미지의 품질 정보는 영역에 대한 정보를 더 포함할 수 있다. 예컨대, 소정의 영역을 대상 영역으로 하여 대상 영역으로부터 대상 픽셀을 검출하거나, 대상 영역에 대하여 품질 조건을 판단한 경우, 영역에 대한 품질 정보를 포함할 수 있다. 품질 정보는 대상 영역의 식별 정보 및 대상 영역에 대한 품질 정보를 포함할 수 있다.
예를 들어, 이미지의 품질 정보는 안저 이미지의 제1 영역에 대한 정상 정보 또는 흠결 정보를 포함할 수 있다. 이미지의 품질 정보는 안저 이미지의 제1 영역에 대한 정보와 더불어 제2 영역에 대한 정보를 더 포함할 수 있다.
이미지의 품질 정보는 품질 값, 품질 점수, 품질 정도 등을 포함할 수 있다. 품질 점수 등은 아티팩트에 대응되는 픽셀의 수, 비율 등을 고려하여 산출될 수 있다. 품질 점수 등은 포함하는 아티팩트의 종류 및/또는 아티팩트의 정도를 고려하여 산출될 수 있다. 품질 점수 등은 신경망 모델을 통해 획득될 수 있다.
대상 영역은 안저 이미지 또는 안저 영역의 일 부분으로 결정될 수 있다. 대상 영역은 안저 이미지 또는 안저 영역을 구성하는 복수의 영역으로부터 선택될 수 있다. 대상 영역은 도 31 내지 33에서 설명하는 영역들 중 선택될 수 있다.
예컨대, 도 32를 참조하면 안저 영역은 내측 영역(IA)과 외측 영역(OA)을 포함할 수 있다. 대상 영역은 외측 영역(OA) 또는 내측 영역(IA)으로 결정될 수 있다. 예컨대, 품질 판단을 위한 검출 대상 아티팩트가 브라이트 아티팩트인 경우, 대상 영역은 외측 영역(OA)으로 결정될 수 있다.
또 예컨대, 도 33을 참조하면 대상 영역은 황반부(MA), 시신경 유두부(ODA) 또는 주변부일 수 있다. 또는, 대상 영역은 상비부(SNA), 하비부(INA), 상측부(STA), 하측부(ITA) 및 측부(TA) 중 적어도 하나를 포함하는 영역일 수 있다. 또는, 대상 영역은, 안저 이미지 또는 안저 영역으로부터 황반부(MA), 시신경 유두부(ODA), 주변부, 상비부(SNA), 하비부(INA), 상측부(STA), 하측부(ITA) 및 측부(TA) 중 적어도 하나를 제외한 영역일 수 있다.
여기에서는, 대상 영역이 미리 정해진 안저 이미지의 영역들로부터 선택되는 경우를 기준으로 설명하였으나, 본 발명이 이에 한정 되는 것은 아니다. 예컨대, 대상 영역은 사용자의 입력에 의해 선택될 수 있다. 또는, 대상 영역은 각 이미지에서 특이 양상을 보이는 영역으로 결정될 수도 있다.
도 38은 본 발명의 일 실시예에 따른 이미지의 품질 판단을 설명하기 위한 흐름도이다. 도 38을 참조하면, 안저 이미지의 품질 정보를 판단(S15)하는 것은 대상 픽셀을 검출하는 단계(S15a) 및 품질 조건을 판단하는 단계(S15b)를 포함할 수 있다.
이미지의 품질 판단 방법은 대상 픽셀을 검출하는 단계(15a)를 포함할 수 있다.
대상 픽셀은 검출하고자 하는 흠결 또는 아티팩트에 대응되는 픽셀일 수 있다. 대상 픽셀은 흠결 또는 아티팩트가 발생하지 아니한 정상 영역에 대응되는 픽셀일 수도 있다. 대상 픽셀은 검출하고자 하는 질병 요소의 식별에 방해되는 방해 요소에 대응되는 픽셀일 수 있다. 대상 픽셀은 안저 이미지에 이상이 발생하였는지 여부에 대한 판단의 지표가 되는 지표 요소에 대응되는 픽셀일 수 있다.
대상 픽셀을 검출하는 것은 안저 이미지에 포함되는 픽셀들 중 대상 픽셀 요건을 만족하는 픽셀을 대상 픽셀로 결정하는 것을 포함할 수 있다. 대상 픽셀을 검출하는 것은 전술한 픽셀 값을 고려하여 수행될 수 있다.
대상 픽셀 요건은 픽셀 값에 대한 기준 범위 또는 기준 값에 대한 요건을 포함할 수 있다.
기준 범위 또는 기준 값은 미리 정해진 범위 또는 값일 수 있다. 또는, 기준 범위 또는 기준 값은 신경망 모델의 학습 결과 획득된 범위 또는 값일 수 있다. 기준 범위 또는 기준 값은 이미지의 품질 판단을 복수 회 진행함에 따라, 판단의 정확도가 향상되도록 적응적으로 변경될 수 있다.
예컨대, 이미지 품질 판단은 미리 정해진 기준 범위에 속하거나 기준 범위에 속하지 않는 픽셀 값을 가지는 픽셀을 대상 픽셀로 결정하는 것을 포함할 수 있다. 또는, 이미지 품질 판단은 미리 정해진 기준 값을 초과하거나 기준 값에 미치지 않는 픽셀 값을 가지는 픽셀을 대상 픽셀로 결정하는 것을 포함할 수 있다.
구체적인 예로, 대상 픽셀 요건은 픽셀의 세기 값이 기준 세기 이상인 것을 포함하고, 대상 픽셀을 검출하는 것은 그 세기 값이 기준 세기 이상인 픽셀을 대상 픽셀로 결정하는 것을 포함할 수 있다.
일 실시예에 따르면, 대상 픽셀 요건은 영역별로 달리 지정될 수 있다. 이미지로부터 대상 픽셀을 검출하는 것은, 제1 영역에 포함되는 픽셀에 대하여 제1 대상 픽셀 요건을 만족하는지 판단하고, 제2 영역에 포함되는 픽셀에 대하여 제2 대상 픽셀 요건을 만족하는지 판단하는 것을 포함할 수 있다.
대상 픽셀을 검출하는 것은 안저 이미지에 포함된 소정의 영역에 포함된 대상 픽셀을 검출하는 것을 포함할 수 있다. 대상 픽셀을 검출하는 것은 소정의 영역에 포함되고 대상 픽셀 요건을 만족하는 픽셀을 대상 픽셀로 결정하는 것을 포함할 수 있다.
또는, 대상 픽셀 요건은 영역에 대한 요건을 포함할 수 있다. 대상 픽셀을 검출하는 것은 소정의 대상 영역에 위치하는 픽셀을 대상 요건을 만족하는 대상 픽셀로 결정하는 것을 포함할 수 있다.
구체적인 예로, 대상 픽셀 요건은 안저 이미지의 안저에 대응하는 영역인 대상 영역에 포함될 것을 포함하고, 대상 픽셀을 검출하는 것은 안저에 대응하는 대상 영역에 포함되는 대상 픽셀을 검출하는 것을 포함할 수 있다.
안저 이미지는 적어도 하나의 영역을 포함할 수 있다. 소정의 영역(또는 대상 영역)은 안구의 해부학적 구성 요소의 위치를 고려하여 결정될 수 있다. 적어도 하나의 영역은 소견 식별에 방해가 되는 요소의 발생 위치를 고려하여 결정될 수 있다. 대상 영역은 안저 이미지에 포함되는 적어도 하나의 영역 중에서 선택될 수 있다.
예를 들어, 안저 이미지를 해부학적으로 유의미하게 분할하는 적어도 하나의 경계에 의하여 분할된 복수의 영역을 포함할 수 있다. 안저 이미지를 분할하는 경계는 안저 이미지에 포함된 황반, 시신경 유두, 혈관 및 안배 중 적어도 하나의 위치에 기초하여 결정될 수 있다.
이미지의 품질을 판단하는 방법은 품질 조건을 만족하는지 판단하는 단계(S15b)를 포함할 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은 안저 이미지에 포함되는 적어도 하나의 픽셀의 픽셀 값을 고려하여 수행될 수 있다. 안저 이미지가 품질 조건을 만족하는지 판단하는 것은, 안저 이미지 내의 대상 영역에 포함되는 적어도 하나의 픽셀의 픽셀 값을 고려하여 수행될 수 있다. 픽셀 값은 원본 안저 이미지 또는 변환된 안저 이미지로부터 획득될 수 있다. 또는, 안저 이미지의 품질 조건은 획득된 다른 수치 또는 데이터, 예컨대, 안저 이미지의 히스토그램, 도수 곡선 등에 기초하여 판단될 수 있다.
픽셀 값은 픽셀의 세기 값(intensity value), 강도 값, 밝기 값, 휘도 값, 색상 값, 색도 값, 채도 값 및 명도 값 중 어느 하나일 수 있다. 픽셀 값은 정수 또는 벡터 형태일 수 있다. 예를 들어, 픽셀 값은 8비트 정수 형태로 마련될 수 있다.
픽셀 값은 복수의 항목에 대한 값을 가지는 안저 이미지로부터 추출된 적어도 하나의 항목 값을 포함할 수 있다. 예컨대, 안저 이미지가 각 픽셀에 대하여 명도 값, 색상 값 및 채도 값을 가지는 경우, 적어도 하나의 픽셀 값은 명도 값을 포함할 수 있다.
픽셀 값은 복수 채널에 대한 복수의 값을 포함할 수 있다. 예를 들어, 안저 이미지는 RGB 채널을 포함하고, 픽셀 값은 R, G, B 각각의 채널에 대한 색상 값을 포함할 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은 이미지에 포함되고 소정의 기준을 만족하는 대상 픽셀(또는 이상 픽셀)을 검출하는 것을 포함할 수 있다. 대상 픽셀은 복수일 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은, 픽셀 값의 분포, 픽셀 값의 편차(deviation), 픽셀 값의 최대값 또는 최소값, 픽셀 값들 간의 차이 등(이하, 픽셀 값의 가공 값)을 이용하여 수행될 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은, 픽셀 값 또는 픽셀 값의 가공 값 등이 기준 범위에 속하거나, 기준 값을 초과하거나, 기준 값에 못 미치는 경우, 해당 안저 이미지는 품질 조건을 만족하는 것으로 판단될 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은 검출된 대상 픽셀을 고려하여 안저 이미지가 품질 조건을 만족하는지 여부를 판단하는 것을 포함할 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은, 대상 픽셀의 수가 기준 수 이상인지 판단하는 것을 포함할 수 있다. 예컨대, 안저 이미지에 포함된 대상 픽셀의 수가 기준 수를 초과하는 경우, 해당 이미지는 품질 조건을 불만족하는 것으로 판단될 수 있다.
일 실시예에 따르면, 기준 수와 관련하여 복수의 품질 조건에 대하여 판단할 수도 있다. 예컨대, 대상 픽셀 수가 제1 기준 수를 초과하고 제2 기준 수에 못미치는 경우, 해당 안저 이미지는 제1 품질 조건을 불만족하는 것으로 판단하고, 대상 픽셀 수가 제2 기준 수를 초과하는 경우, 해당 안저 이미지는 제2 품질 조건을 불만족하는 것으로 판단될 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것은, 대상 픽셀의 비율이 기준 비율 이상인지 판단하는 것을 포함할 수 있다. 예컨대, 안저 이미지의 전체 픽셀 수에 대한 대상 픽셀 수의 비율이 기준 비율 이상인 경우, 해당 이미지는 품질 조건을 불만족하는 것으로 판단될 수 있다.
일 실시예로, 안저 이미지의 품질 조건 만족 여부는 이진화된 안저 이미지에 기초하여 판단될 수 있다. 예컨대, 안저 이미지를 기준 픽셀 값에 대하여 이진화하고, 이진화된 안저 이미지에 기초하여, 기준 픽셀 값을 초과하거나 기준 픽셀 값에 못 미치는 픽셀 값을 가지는 대상 픽셀의 수 또는 비율을 획득하고, 획득된 수 또는 비율을 기준 수 또는 기준 비율과 비교하여 안저 이미지의 품질 조건 만족 여부를 판단할 수 있다.
안저 이미지가 품질 조건을 만족하는지 판단하는 것과 관련하여, 대상 영역을 함께 고려할 수 있다.
일 예로, 대상 픽셀이 대상 영역에서 검출된 경우, 해당 이미지는 품질 조건을 불만족하는 것으로 판단될 수 있다. 또는, 대상 영역에서 검출된 대상 픽셀의 수가 기준 수를 초과하거나 기준 수에 못 미치는 경우, 해당 이미지는 품질 조건을 불만족 또는 만족하는 것으로 판단될 수 있다. 대상 영역의 전체 픽셀 수에 대한 대상 픽셀 수의 비율이 기준 비율을 초과하는 경우, 해당 이미지는 품질 조건을 불만족 또는 만족하는 것으로 판단될 수 있다.
다른 예로, 대상 픽셀이 대상 영역이 아닌 영역에서 검출된 경우, 해당 이미지는 품질 조건을 불만족 또는 만족하는 것으로 판단될 수 있다.
또 다른 예로, 대상 픽셀이 제1 영역에서 검출된 경우, 해당 이미지는 제1 품질 조건을 불만족하는 것으로 판단하고, 대상 픽셀이 제2 영역에서 검출된 경우, 해당 이미지는 제2 품질 조건을 만족 또는 불만족하는 것으로 판단할 수 있다.
구체적인 예로, 이미지의 품질 조건은 안저 이미지의 안저가 분포하는 영역에 대응되는 제1 대상 영역에 포함되는 대상 픽셀을 고려하여 판단될 수 있다. 또는, 이미지의 품질 조건은 안저의 황반이 분포하는 영역에 대응되는 픽셀의 픽셀 값을 고려하여 판단될 수 있다
일 실시예에 따르면, 품질 조건은 영역 별로 다르게 결정될 수 있다. 이미지가 품질 요건을 만족하는지 판단하는 것은 제1 영역으로부터 검출된 대상 픽셀이 제1 영역에 대하여 제1 기준 비율을 초과하고, 제2 영역으로부터 검출된 대상 픽셀이 제2 영역에 대하여 제2 기준 비율을 초과하는지 판단하는 것을 포함할 수 있다.
도 39는 본 발명의 일 실시예에 따른 이미지의 품질 판단을 설명하기 위한 흐름도이다. 도 39를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지로부터 안저 이미지의 품질에 관여하는 아티팩트를 검출하여 안저 이미지의 품질을 판단하는 방법은 안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 단계(S110), 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 단계(S130) 및 비교 결과에 기초하여 품질 정보를 획득하는 단계(S150)를 포함할 수 있다.
안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 단계(S110)는 안저 이미지의 대상 영역에 포함되는 적어도 하나의 픽셀의 픽셀 값을 기준 픽셀 값과 비교하여, 안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 것을 포함할 수 있다.
대상 영역은 품질 판단을 위하여 검출되는 아티팩트에 따라 결정되되, 아티팩트는 안저 이미지의 안저 영역에 발생하는 광의 과도한 반사에 의한 브라이트 아티팩트 또는 안저 이미지의 안저 영역에 발생하는 그림자에 의한 다크 아티팩트 중 어느 하나일 수 있다.
대상 영역은, 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 영역, 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 제2 영역, 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 제3 영역 및 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 제4 영역 중 선택된 적어도 하나의 영역을 포함할 수 있다.
안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 단계(S130)는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 기준 비율을 초과하는지 판단하는 것을 포함할 수 있다. 또는, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 단계(S130)는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 기준 비율에 미달하는지 판단하는 것을 포함할 수 있다.
비교 결과에 기초하여 품질 정보를 획득하는 단계(S150)는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하여 획득된 비교 결과에 기초하여, 안저 이미지의 품질 정보를 획득하는 것을 포함할 수 있다.
예컨대, 비교 결과에 기초하여 품질 정보를 획득하는 단계(S150)는 단계는, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 기준 비율을 초과하는 경우, 안저 이미지가 이상 안저 이미지임을 지시하는 품질 정보를 획득하는 것을 포함할 수 있다. 또는, 비교 결과에 기초하여 품질 정보를 획득하는 단계(S150)는 단계는, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 기준 비율에 미달 하는 경우 안저 이미지가 정상 안저 이미지임을 지시하는 품질 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 품질 판단 방법은, 안저 이미지로부터 안저 이미지에 포함되는 복수의 픽셀에 대하여 제1 스케일에 대한 제1 스케일 값을 획득하는 단계를 더 포함할 수 있다. 이때, 품질 판단을 위하여 획득되는 픽셀 값은 제1 스케일 값을 포함할 수 있다. 제1 스케일은 복수의 픽셀의 명도 스케일이고, 제1 스케일 값은 명도 스케일 값일 수 있다.
일 실시예에 따르면, 안저 이미지의 품질 판단 방법은, 안저 이미지를 기준 픽셀 값에 대하여 이진화하는 단계를 더 포함할 수 있다. 이때, 제1 픽셀을 검출하는 단계는, 이진화된 안저 이미지에 기초하여 제1 픽셀을 검출하는 것을 더 포함할 수 있다.
도 40은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다. 도 40을 참조하면, 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법은 안저 이미지의 일부 영역을 대상 영역으로 결정하는 단계(S210) 및 대상 영역으로부터 아티팩트 픽셀을 검출하는 단계(S230)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 피검체의 안저를 촬영한 안저 이미지로부터 안저 이미지의 품질에 관여하는 아티팩트를 검출하여 안저 이미지의 품질을 판단하는 방법은 안저 이미지의 적어도 일부 영역을 아티팩트를 검출하기 위한 대상 영역으로 결정하는 단계(S210) 및 대상 영역으로부터 아티팩트와 대응되는 적어도 하나의 아티팩트 픽셀을 검출하는 단계(S230)를 포함할 수 있다.
아티팩트가 제1 아티팩트인 경우 대상 영역은 안저 이미지 중 안저에 대응되는 영역의 중심으로부터 소정 거리 이격된 영역인 제1 영역으로 결정될 수 있다. 제1 아티팩트는 안저 이미지의 안저 영역에 발생하는 광의 과도한 반사에 의한 브라이트 아티팩트일 수 있다. 제1 아티팩트는 안저 이미지의 외측 영역(OA)에 발생하는 다양한 종류의 흠결일 수 있다. 제1 아티팩트는 후술하는 제1 타입 아티팩트일 수 있다.
아티팩트가 제2 아티팩트인 경우 대상 영역은 안저 이미지 중 안저가 분포하는 영역인 안저 영역으로 결정될 수 있다. 제2 아티팩트는 안저 이미지의 안저 영역에 발생하는 그림자에 의한 다크 아티팩트일 수 있다. 제2 아티팩트는 안저 이미지의 안저 영역(FA) 또는 내측 영역(IA)에 발생하는 다양한 종류의 흠결일 수 있다. 제2 아티팩트는 후술하는 제2 타입 아티팩트일 수 있다.
일 실시예에 따르면, 안저 이미지의 품질 판단 방법은 검출된 아티팩트 픽셀에 기초하여 안저 이미지의 품질을 판단하는 단계를 더 포함할 수 있다.
안저 이미지의 품질을 판단하는 것은 검출된 아티팩트의 양이 기준량을 초과하는지 여부를 고려하여 안저 이미지의 품질을 판단하는 것을 더 포함할 수 있다. 아티팩트의 양은 안저 영역으로부터 검출된 아티팩트에 대응되는 픽셀의 수, 안저 영역으로부터 검출된 아티팩트에 대응되는 영역의 넓이 또는 안저 영역으로부터 검출된 아티팩트의 수 등에 기초하여 판단될 수 있다. 기준량은 기준 픽셀 수, 기준 넓이, 기준 아티팩트의 수 등으로 정의될 수 있다.
안저 이미지의 품질을 판단하는 단계는, 검출된 아티팩트 픽셀의 수가 안저 이미지의 전체 픽셀의 수에 대하여 기준 비율을 초과하는지 여부를 판단하는 단계 및 아티팩트 픽셀의 수가 안저 이미지 전체 픽셀의 수에 대하여 기준 비율을 초과하는 경우 안저 이미지는 아티팩트를 포함하는 것으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 품질 판단 방법은, 안저 이미지를 회색조 변환하여, 변환된 안저 이미지를 획득하는 단계를 더 포함할 수 있다. 아티팩트 픽셀을 검출하는 것은 변환된 안저 이미지로부터 아티팩트 픽셀을 검출하는 것을 더 포함할 수 있다. 안저 이미지의 품질 판단 방법은, 안저 이미지를 이진화하거나 색조를 변경하거나, 기타 변형을 가하여 획득된 변환된 안저 이미지를 획득하는 것을 포함할 수 있다.
도 41은 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다. 도 41을 참조하면, 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법은 안저 이미지의 일부 영역을 대상 영역으로 결정하는 단계(S210), 대상 영역에 포함되는 픽셀의 픽셀 값을 기준 픽셀 값 범위와 비교하는 단계(S231) 및 기준 픽셀 값 범위에 포함되는 픽셀 값을 가지는 픽셀을 아티팩트 픽셀로 결정하는 단계(S233)를 포함할 수 있다.
대상 영역으로부터 아티팩트 픽셀을 검출하는 단계(S230)는 대상 영역에 포함되는 복수의 픽셀의 픽셀 값을 기준 픽셀 값 범위와 비교하는 단계(S231) 및/또는 대상 영역에 포함되고 기준 픽셀 값 범위에 포함되는 픽셀 값을 가지는 적어도 하나의 픽셀을 아티팩트 픽셀로 결정하는 단계(S233)를 더 포함할 수 있다. 픽셀 값은 픽셀의 밝기 값일 수 있다.
기준 픽셀 값 범위는 기준 픽셀 값보다 큰 값을 포함하는 범위 또는 기준 픽셀 값보다 작은 값을 포함하는 범위로 정해질 수 있다. 또는, 기준 픽셀 값 범위는 기준 하한 값보다 크고 기준 상한 값보다 작은 값을 포함하는 범위로 정해질 수 있다.
도 42는 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법을 설명하기 위한 흐름도이다. 도 42를 참조하면, 본 발명의 일 실시예에 따른 이미지의 품질 판단 방법은, 안저 이미지의 일부 영역을 대상 영역으로 결정하는 단계(S210), 대상 영역에 포함되는 픽셀의 픽셀 값을 제1 기준 픽셀 값과 비교하는 단계(S235) 및 대상 영역에 포함되고 제1 기준 픽셀 값보다 큰 픽셀 값을 가지는 픽셀을 제1 아티팩트 픽셀로 결정하는 단계(S237)를 포함할 수 있다.
아티팩트가 제1 아티팩트인 경우, 아티팩트 픽셀을 검출하는 단계(S230)는, 대상 영역에 포함되는 복수의 픽셀의 픽셀 값을 제1 기준 픽셀 값과 비교하는 단계(S235) 및 대상 영역에 포함되고 제1 기준 픽셀 값보다 큰 픽셀 값을 가지는 적어도 하나의 픽셀을 제1 아티팩트 픽셀로 결정하는 단계(S237)를 포함할 수 있다.
예컨대, 아티팩트가 브라이트 아티팩트인 경우, 아티팩트 픽셀을 검출하는 단계(S230)는, 대상 영역에 포함되는 픽셀들의 밝기 값을 브라이트 아티팩트 기준 픽셀 값과 비교하고, 브라이트 아티팩트 기준 픽셀 값보다 밝은 값을 가지는 픽셀을 브라이트 아티팩트 픽셀로 결정하는 것을 포함할 수 있다.
한편, 아티팩트가 제2 아티팩트인 경우, 아티팩트 픽셀을 검출하는 단계(S230)는, 대상 영역에 포함되는 복수의 픽셀의 픽셀 값을 제2 기준 픽셀 값과 비교하는 단계 및 대상 영역에 포함되고 제2 기준 픽셀 값보다 작은 픽셀 값을 가지는 적어도 하나의 픽셀을 제2 아티팩트 픽셀로 결정하는 단계를 더 포함할 수도 있다.
예컨대, 아티팩트가 다크 아티팩트인 경우, 아티팩트 픽셀을 검출하는 단계(S230)는, 대상 영역에 포함되는 픽셀들의 밝기 값을 다크 아티팩트 기준 픽셀 값과 비교하고, 다크 아티팩트 픽셀 기준 값보다 작은 밝기 값을 가지는 적어도 하나의 픽셀을 다크 아티팩트 픽셀로 결정하는 것을 포함할 수 있다.
이상에서는 편의를 위하여, 이미지의 품질을 판단하는 것을 기준으로 서술하였으나, 이는 예시에 불과하며, 이는 본 명세서 전체에서, 목적을 달성하기에 부적합한 이미지를 선별하는 목적을 가지는 다양한 동작에 대하여 상호 대체가 가능한 것으로 해석되어야 할 것이다.
2.3.3 검출 대상 종류별 알고리즘
본 발명의 일 실시예에 따르면, 이미지의 품질을 판단하는 것은 이미지에 발생한 다양한 흠결 또는 이상 상태를 검출하는 것을 포함할 수 있다. 전술한 이미지의 판단 방법은 판단하고자 하는 흠결의 종류에 따라 다르게 구현될 수 있다
이하에서는, 이미지의 품질을 판단하기 위하여 검출하기 위한 이상의 종류에 따른 이미지 품질 판단 알고리즘에 대하여 몇몇 실시예를 들어 설명한다.
2.3.3.1 제1 타입 아티팩트(브라이트 아티팩트)
본 발명의 일 실시예에 따르면, 안저 이미지가 제1 타입 아티팩트(이하, 제1 아티팩트)를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법 등이 제공될 수 있다. 이미지 품질 판단은 제1 아티팩트에 대응되는 영역이 안저 이미지에 대하여 분포하는 정도를 고려하여 수행될 수 있다.
제1 아티팩트는 브라이트 아티팩트일 수 있다. 브라이트 아티팩트는 광학적 반사(optical reflections), 밝은 가장자리(bright borders)등에 의해 발생할 수 있다. 브라이트 아티팩트는 안저 이미지의 외곽에 가깝게 분포할 수 있다. 이하에서는, 제1 아티팩트가 광학적 요인에 의하여 안저 이미지의 안저 영역의 외곽에 가깝게 발생하는 브라이트 아티팩트인 경우를 기준으로 이미지 품질 판단 방법에 대하여 설명한다.
도 43은 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 43의 (a)를 참조하면, 본 발명의 일 실시예에 따른 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계(S21) 및 제1 품질 정보를 획득하는 단계(S23)를 포함할 수 있다. 도 43의 (b)를 참조하면, 본 발명의 일 실시예에 따른 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계(S21), 제1 픽셀을 검출하는 단계(S23a) 및 제1 품질 조건을 판단하는 단계(S23b)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지가 제1 아티팩트를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계 및 안저 이미지의 제1 타입 품질 정보(이하, 제1 품질 정보)를 획득하는 단계를 포함할 수 있다.
안저 이미지가 제1 아티팩트를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법은 안저 이미지의 각 픽셀의 세기 값 획득이 용이하도록 안저 이미지를 변환하는 것을 더 포함할 수 있다. 이미지를 변환에 대하여는 2.2 판단 방법 에서 전술한 내용이 유사하게 적용될 수 있다.
제1 품질 정보를 획득하는 단계는 안저 이미지로부터 제1 픽셀을 검출하는 단계 및 제1 품질 조건을 판단하는 단계를 포함할 수 있다.
제1 픽셀은 제1 아티팩트에 대응되는 픽셀일 수 있다. 제1 픽셀은 제1 아티팩트가 분포하는 영역에 대응되는 픽셀일 수 있다. 제1 픽셀은 제1 아티팩트를 검출하기 위한 지표로 이용되는 픽셀일 수 있다. 구체적인 예로, 제1 픽셀은 브라이트 아티팩트를 검출하기 위한 브라이트 픽셀일 수 있다. 예컨대, 브라이트 픽셀은 특히 밝은 밝기 값을 가지거나 특정 색상 값을 가지는 픽셀일 수 있다.
제1 픽셀을 검출하는 단계는 안저 이미지로부터 픽셀 값이 기준 값 이상인 픽셀을 검출하는 것을 포함할 수 있다. 예컨대, 제1 픽셀을 검출하는 단계는 픽셀의 밝기 값이 기준 밝기 값 이상을 가지는 제1 픽셀을 검출하는 것을 포함할 수 있다.
기준 값은 미리 정해진 값일 수 있다. 또는 기준 값은 개별 이미지에 대하여 다르게 결정될 수 있다. 예컨대, 기준 값은 이미지에 포함된 전체 픽셀의 픽셀 값의 평균 값으로 결정될 수 있다. 또는, 기준 값은 안저 영역에 포함된 픽셀의 픽셀 값의 평균 값으로 결정될 수 있다.
제1 픽셀은 특정 영역으로부터 검출될 수 있다. 예컨대, 제1 픽셀은 안저 영역으로부터 검출될 수 있다. 또는, 제1 픽셀은 안저 영역 중 일부로 결정되는 대상 영역으로부터 검출될 수 있다. 보다 구체적인 예로, 제1 픽셀은 안저 영역의 중심으로부터 소정 거리 이상 이격된 영역인 대상 영역으로부터 검출될 수 있다. 예컨대, 제1 픽셀은 안저 영역의 중심으로부터 안저 영역의 소정 부분을 포함하도록 결정된 경계의 외부 영역인 대상 영역으로부터 검출될 수 있다.
검출된 제1 픽셀을 고려하여 안저 이미지가 제1 품질 조건을 만족하는지 판단할 수 있다. 또는, 검출된 제1 픽셀을 고려하여 안저 이미지가 제1 아티팩트를 포함하는지 여부를 판단할 수 있다.
제1 품질 조건을 판단하는 단계는 검출된 제1 픽셀을 고려하여 제1 품질 조건을 판단하는 것을 포함할 수 있다. 제1 품질 조건은 제1 픽셀 수의 범위, 제1 픽셀의 수와 안저 이미지의 픽셀 수의 비율 등을 포함할 수 있다.
안저 이미지의 제1 품질 조건 만족 여부는 대상 영역에 포함되는 제1 픽셀을 고려하여 결정될 수도 있다. 이때, 제1 품질 조건을 판단하는 단계는 안저 이미지에서 대상 영역으로부터 검출된 제1 픽셀이 차지하는 비율을 고려하여 안저 이미지가 제1 품질 조건을 만족하는지 판단하는 것을 포함할 수 있다.
일 예로, 제1 품질 조건을 판단하는 것은 제1 픽셀의 수가 안저 이미지(또는 안저 영역) 전체 픽셀의 수의 기준 비율을 초과하는지 판단하는 것을 포함할 수 있다.
다른 예로, 제1 품질 조건을 판단하는 것은 외측 영역(OA)으로부터 검출된 제1 픽셀이 안저 이미지(또는 안저 영역)에서 차지하는 비율이 기준 비율을 초과하는지 판단하는 것을 포함할 수 있다.
보다 구체적인 예로, 외측 영역(OA)으로부터 검출된 기준 밝기 이상의 밝기 값을 가지는 제1 픽셀의 수가 안저 이미지 전체 픽셀 수의 2%를 초과하는 경우, 제1 품질 조건이 만족된 것으로 판단할 수 있다. 또는, 안저 이미지에 제1 아티팩트가 발생한 것으로 판단될 수 있다.
기준 비율은 미리 정해진 값일 수 있다. 또는, 이미지 전체의 밝기 값의 편차 등을 고려하여 이미지 별로 결정될 수 있다. 또는 인공지능 학습 결과 얻어진 값일 수 있다. 기준 비율은 5%이하일 수 있다.
도 44는 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 44의 (a) 내지 (c)를 참조하면, 본 발명의 일 실시예에 따른 이미지 품질 판단 방법은 안저 이미지를 획득하고(a), 획득한 안저 이미지를 변환하고(b), 변환된 안저 이미지에 기초하여 이미지가 브라이트 아티팩트를 포함하는지 여부를 판단(c)하는 것을 포함할 수 있다.
도 44의 (a)를 참조하면, 획득된 안저 이미지는 안저 영역의 외곽 부근에 아티팩트를 포함할 수 있다. 예컨대, 안저 이미지는 브라이트 아티팩트를 포함할 수 있다.
도 44의 (b)를 참조하면, 안저 이미지를 변환하는 것은, 안저 이미지를 회색조 변환하는 것을 포함할 수 있다. 안저 이미지를 변환하는 것은 안저 이미지를 히스토그램 정규화 하는 것을 포함할 수 있다.
도 44의 (c)를 참조하면, 안저 이미지가 브라이트 아티팩트를 포함하는지 여부를 판단하는 것은 브라이트 아티팩트 픽셀을 검출하는 것을 포함할 수 있다. 브라이트 아티팩트 픽셀을 검출하는 것은 픽셀의 수, 픽셀의 위치, 픽셀의 비율 등을 포함하는 것일 수 있다.
브라이트 아티팩트 픽셀을 검출하는 것은, 안저 영역의 중심으로터 소정 거리 이격된 경계의 외측 영역으로부터 그 픽셀의 값이 임계값 이상인 브라이트 아티팩트 픽셀(즉, 기준 밝기 이상의 밝기 값을 가지는 픽셀)을 검출하는 것을 포함할 수 있다. 경계는 그 내부의 영역이 안저 영역의 80%가 되도록 안저 영역을 구분하도록 결정될 수 있다.
이미지가 브라이트 아티팩트를 포함하는지 여부를 판단(c)하는 것은 브라이트 아티팩트 픽셀을 검출하고, 검출된 브라이트 아티팩트 픽셀이 안저 이미지에 대하여 차지하는 비율이 기준 비율 이상인지(예컨대, 2%를 초과하는지) 판단하고, 브라이트 아티팩트 픽셀이 안저 이미지에 대하여 차지하는 비율이 기준 비율 이상인 경우, 해당 안저 이미지는 브라이트 아티팩트를 가지는 것으로 판단될 수 있다.
제1 품질 조건을 판단하는 단계는 제1 품질 조건이 만족되는 경우 안저 이미지가 제1 아티팩트를 포함하는 것으로 결정하는 것을 더 포함할 수 있다. 예컨대, 안저 이미지가 제1 품질 조건을 만족하는 경우, 해당 안저 이미지는 브라이트 아티팩트를 포함하는 것으로 결정될 수 있다.
품질 조건 만족 여부가 결정되면, 제1 품질 정보가 획득될 수 있다.
제1 품질 정보는 안저 이미지의 적합성을 지시할 수 있다. 특히, 제1 품질 정보는 안저 이미지의 브라이트 아티팩트와 관련된 적합성을 지시할 수 있다. 제1 품질 정보는 안저 이미지의 브라이트 아티팩트가 발생하는 영역과 관련된 적합성을 지시할 수 있다.
제1 품질 정보는 안저 이미지의 브라이트 아티팩트 포함 여부를 지시할 수 있다. 예컨대, 안저 이미지가 제1 품질 조건을 만족하는 경우, 안저 이미지가 브라이트 아티팩트를 포함하는 것을 지시하는 제1 품질 정보가 획득될 수 있다.
제1 품질 정보는 안저 이미지가 브라이트 아티팩트를 포함하는지 여부에 대한 브라이트 아티팩트 유무 정보, 브라이트 아티팩트의 정도 정보, 브라이트 아티팩트의 위치 정보 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 피검체의 안저를 촬영한 안저 이미지로부터 제1 타입 아티팩트를 검출하여 안저 이미지의 품질을 판단하는 방법은, 안저 이미지의 대상 영역에 포함되는 적어도 하나의 픽셀의 픽셀 값을 기준 픽셀 값과 비교하여, 안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 단계, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 단계 및 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하여 획득된 비교 결과에 기초하여, 안저 이미지의 품질 정보를 획득하는 단계를 포함하되, 아티팩트는 제1 아티팩트이고, 대상 영역은 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 영역일 수 있다.
이때, 제1 거리는 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 영역이 안저 이미지 전체 영역에 대하여 제1 비율 이상이 되도록 결정될 수 있다.
기준 픽셀 값은 제1 픽셀 값이고, 기준 픽셀 값과 비교하여 제1 픽셀을 검출하는 단계는 대상 영역에 포함되고 기준 픽셀 값보다 큰 픽셀 값을 가지는 제1 픽셀을 검출하는 것을 포함할 수 있다.
기준 비율은 제1 기준 비율이고, 기준 비율과 비교하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제1 기준 비율보다 큰지 판단하는 것을 더 포함할 수 있다.
비교 결과에 기초하여 품질 정보를 획득하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제1 기준 비율보다 큰 경우 안저 이미지는 불량 이미지인 것으로 결정하는 것을 더 포함할 수 있다.
2.3.3.2 제2 타입 아티팩트(다크 아티팩트)
본 발명의 일 실시예에 따르면, 안저 이미지가 제2 타입 아티팩트(이하, 제2 아티팩트)를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법 등이 제공될 수 있다. 이미지 품질 판단은 제2 아티팩트에 대응되는 영역이 안저 이미지에 대하여 분포하는 정도를 고려하여 수행될 수 있다.
제2 아티팩트는 다크 아티팩트일 수 있다. 다크 아티팩트는 안저 이미지 촬상 시 안저와 촬상 장치의 거리 또는 안저로 입사되는 광량 등이 적절하지 않은 상태에서 촬상된 경우에 발생할 수 있다. 다크 아티팩트는 임의의 영역에 발생할 수 있다. 다크 아티팩트는 안저 영역의 중심부에 가깝게 발생할 수 있다. 이하에서는, 제2 아티팩트가 광학적 요인에 의하여 발생하는 다크 아티팩트인 경우를 기준으로 이미지 품질 판단 방법에 대하여 설명한다.
도 45는 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다. 도 45의 (a)를 참조하면, 본 발명의 일 실시예에 따른 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계(S31) 및 제2 품질 정보를 획득하는 단계(S33)를 포함할 수 있다. 도 45의 (b)를 참조하면, 본 발명의 일 실시예에 따른 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계(S31), 제2 픽셀을 검출하는 단계(S33a) 및 제2 품질 조건을 판단하는 단계(S33b)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지가 제2 아티팩트를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계 및 안저 이미지의 제2 타입 품질 정보(이하, 제2 품질 정보)를 획득하는 단계를 포함할 수 있다.
일 실시예에 따르면, 이미지 품질 판단 방법은 이미지 변환 단계를 더 포함할 수 있다, 이미지의 변환에 대하여는 2.2 판단 방법에서 전술한 내용이 유사하게 적용될 수 있다.
다크 아티팩트는 안저 이미지의 촬상 시 발생하는 그림자 등에 의하여 나타날 수 있다. 다크 아티팩트는 안저 이미지의 중심부에 가깝게 분포할 수 있다. 다크 아티팩트와 브라이트 아티팩트는 동일한 이미지에 함께 발생할 수도 있다.
제2 품질 정보를 획득하는 단계는 안저 이미지로부터 제2 픽셀을 검출하는 단계 및 제2 품질 조건을 판단하는 단계를 포함할 수 있다.
제2 픽셀은 제2 아티팩트에 대응되는 픽셀일 수 있다. 제2 픽셀은 제2 아티팩트가 분포하는 영역에 대응되는 픽셀일 수 있다. 제2 픽셀은 제2 아티팩트를 검출하기 위한 지표로 이용되는 픽셀일 수 있다. 구체적인 예로, 제2 픽셀은 다크 아티팩트를 검출하기 위한 다크 픽셀일 수 있다. 예컨대, 다크 픽셀은 특히 어두운 픽셀 값을 가지거나 특정 색상 값을 가지는 픽셀일 수 있다.
제2 픽셀을 검출하는 단계는 안저 이미지로부터 픽셀 값이 기준 값 이하인 픽셀을 검출하는 것을 포함할 수 있다. 예컨대, 제2 픽셀을 검출하는 단계는 픽셀의 밝기 값이 기준 밝기 값 이하인 제2 픽셀을 검출하는 것을 포함할 수 있다.
제2 픽셀은 특정 영역으로부터 검출될 수 있다. 제2 픽셀은 안저 영역 또는 안저 영역 중 일부인 대상 영역으로부터 검출될 수 있다. 예컨대, 제2 픽셀은 안저 영역의 중심으로부터 소정 거리 이내의 영역인 대상 영역으로부터 검출될 수 있다. 제2 픽셀은 도 32 에서 설명하는 경계(BO) 내부의 내측 영역(IA)로부터 검출될 수도 있다.
검출된 제2 픽셀을 고려하여 안저 이미지가 제2 품질 조건을 만족하는지 판단할 수 있다. 또는, 검출된 제2 픽셀을 고려하여 안저 이미지가 제2 아티팩트를 포함하는지 여부를 판단할 수 있다.
제2 품질 조건을 판단하는 단계는 검출된 제2 픽셀을 고려하여 제2 품질 조건을 판단하는 것을 포함할 수 있다. 제2 품질 조건은 제2 픽셀 수의 범위, 제2 픽셀 수와 안저 이미지의 픽셀 수의 비율 등을 포함할 수 있다.
안저 이미지의 제2 품질 조건 만족 여부는 대상 영역에 포함되는 제2 픽셀을 고려하여 결정될 수도 있다. 이때, 제2 품질 조건을 판단하는 단계는 안저 이미지에서 대상 영역으로부터 검출된 제2 픽셀이 차지하는 비율을 고려하여 안저 이미지가 제2 품질 조건을 만족하는지 판단하는 것을 포함할 수 있다.
일 예로, 제2 품질 조건을 판단하는 것은 검출된 제2 픽셀의 수가 안저 이미지(또는 안저 영역) 전체 픽셀 수에 대하여 기준 비율에 미달하는지 판단하는 것을 포함할 수 있다.
다른 예로, 제2 품질 조건을 판단하는 것은 안저 영역의 내측 영역(IA) 또는 안저 영역(FA)으로부터 검출된 제2 픽셀이 안저 이미지(또는 안저 영역)에 대하여 차지하는 비율이 기준 비율을 초과하는지 판단하는 것을 포함할 수 있다.
보다 구체적인 예로, 내측 영역(OA) 또는 안저 영역(FA)으로부터 검출된 기준 밝기 이하의 밝기 값을 가지는 제2 픽셀의 수가 안저 이미지 전체 픽셀 수의 2%를 초과하는 경우, 제2 품질 조건은 만족된 것으로 판단될 수 있다. 또는, 안저 이미지에 제2 아티팩트가 발생한 것으로 판단될 수 있다.
도 46은 본 발명의 일 실시예에 따른 이미지 품질 판단 방법을 설명하기 위한 도면이다.
도 46의 (a) 내지 (c)를 참조하면, 본 발명의 일 실시예에 따른 이미지 품질 판단 방법은 안저 이미지를 획득하고(a), 획득된 안저 이미지를 변환하고(b), 변환된 안저 이미지에 기초하여 이미지가 브라이트 아티팩트를 포함하는지 여부를 판단(c)하는 것을 포함할 수 있다.
도 46의 (a)를 참조하면, 획득된 안저 이미지는 주변보다 어둡게 촬상된 영역을 포함할 수 있다. 획득된 안저 이미지는 다크 아티팩트를 포함할 수 있다.
도 46의 (b)를 참조하면, 안저 이미지를 변환하는 것은 안저 이미지를 회색조 변환 또는 히스토그램 정규화하는 것을 포함할 수 있다.
도 46의 (c)를 참조하면, 이미지가 아티팩트를 포함하는지 여부를 판단(c)하는 것은 다크 아티팩트 픽셀을 검출하는 것을 포함할 수 있다. 도 46의 (c)를 참조하면, 다크 아티팩트 픽셀을 검출하는 것은 그 픽셀의 값이 임계값 이하인 픽셀(즉, 기준 밝기 이하의 밝기 값을 가지는 픽셀)을 검출하는 것을 포함할 수 있다.
일 예로, 다크 아티팩트 픽셀을 검출하는 것은, 안저 영역 중심으로부터 소정 거리 내의 내측 영역으로부터 그 픽셀의 값이 임계값 이하인 픽셀을 검출하는 것일 수 있다. 이때, 안저 영역의 내측 영역(OA)를 결정하는 경계는 그 내부 영역이 안저 영역의 80%를 차지하도록 결정될 수 있다.
도 46을 참조하면, 이미지가 다크 아티팩트를 포함하는지 여부를 판단하는 것은 다크 아티팩트 픽셀을 검출하고, 검출된 다크 아티팩트 픽셀이 안저 이미지에 대하여 차지하는 비율이 기준 비율 이상인지(2% 이상인지) 판단하고, 다크 아티팩트 픽셀이 안저 이미지에 대하여 차지하는 비율이 기준 비율 이상인 경우, 해당 안저 이미지는 브라이트 아티팩트를 가지는 것으로 판단될 수 있다.
제2 품질 조건을 판단하는 단계는 제2 품질 조건이 만족되는 경우 안저 이미지가 제2 아티팩트를 포함하는 것으로 결정하는 것을 더 포함할 수 있다. 예컨대, 안저 이미지가 제2 품질 조건을 만족하는 경우, 해당 안저 이미지는 다크 아티팩트를 포함하는 것으로 결정될 수 있다.
품질 조건 만족 여부가 결정되면, 제2 품질 정보가 획득될 수 있다.
제2 품질 정보는 안저 이미지의 적합성을 지시할 수 있다. 특히, 제2 품질 정보는 안저 이미지의 다크 아티팩트와 관련된 적합성을 지시할 수 있다. 제2 품질 정보는 안저 이미지의 다크 아티팩트가 발생하는 영역과 관련된 적합성을 지시할 수 있다.
제2 품질 정보는 안저 이미지의 다크 아티팩트 포함 여부를 지시할 수 있다. 예컨대, 안저 이미지가 제2 품질 조건을 만족하는 경우, 안저 이미지가 브라이트 아티팩트를 포함하는 것을 지시하는 제2 품질 정보가 획득될 수 있다.
제2 품질 정보는 안저 이미지가 다크 아티팩트를 포함하는지 여부에 관련된 다크 아티팩트 유무 정보, 다크 아티팩트의 정도 정보, 다크 아티팩트의 위치 정보 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 피검체의 안저를 촬영한 안저 이미지로부터 제2 타입 아티팩트를 검출하여 안저 이미지의 품질을 판단하는 방법은, 안저 이미지의 대상 영역에 포함되는 적어도 하나의 픽셀의 픽셀 값을 기준 픽셀 값과 비교하여, 안저 이미지의 품질과 관련된 제1 픽셀을 검출하는 단계, 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하는 단계 및 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율을 기준 비율과 비교하여 획득된 비교 결과에 기초하여, 안저 이미지의 품질 정보를 획득하는 단계를 포함하되, 아티팩트는 제1 아티팩트이고, 대상 영역은 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 영역일 수 있다.
이때, 아티팩트는 제2 아티팩트이고, 대상 영역은 안저 이미지의 안저가 분포하는 제2 영역일 수 있다. 기준 픽셀 값은 제2 픽셀 값이고, 기준 픽셀 값과 비교하여 제1 픽셀을 검출하는 단계는 대상 영역에 포함되고 기준 픽셀 값보다 작은 픽셀 값을 가지는 제1 픽셀을 검출하는 것을 포함할 수 있다.
기준 비율은 제2 기준 비율이고, 기준 비율과 비교하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제2 기준 비율보다 작은지 판단하는 것을 더 포함할 수 있다.
비교 결과에 기초하여 품질 정보를 획득하는 단계는 안저 이미지의 전체 픽셀 중 제1 픽셀이 차지하는 비율이 제2 기준 비율보다 작은 경우 안저 이미지는 불량 이미지인 것으로 결정하는 것을 더 포함할 수 있다.
2.3.3.3 제3 타입 아티팩트(혼탁)
본 발명의 일 실시예에 따르면, 안저 이미지가 제3 타입 아티팩트(이하, 제3 아티팩트)를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법 등이 제공될 수 있다. 이미지 품질 판단은 안저 이미지에 포함된 제3 아티팩트의 정도를 고려하여 수행될 수 있다.
제3 아티팩트는 안저 영역 전반이 흐리게 촬상된 아티팩트일 수 있다. 예컨대, 촬상시 렌즈 상의 오염 기타 광경로 상의 방해요소로 인하여 안저 영역이 뿌옇게 촬영되는 경우가 있을 수 있다.
일 예로, 제3 아티팩트는 피검자의 안질환으로 인한 질병 유래 아티팩트일 수 있다. 피검자가 특정한 종류의 안질환을 보유하고 있는 경우, 다른 외부 요인에 의한 아티팩트가 발생하지 아니한 경우라도, 안저 이미지가 다른 질병의 진단에 이용될 수 없는 경우가 있을 수 있다. 예컨대, 피검자의 안구에 혼탁(opacity)이 발생한 경우, 안저 이미지가 흐릿하게 촬영되는 경우가 대부분이므로 해당 안저 이미지에 기초하여 타 질병을 진단할 경우 그 신뢰도가 보장되지 않는다는 문제가 있다. 따라서, 이와 같은 아티팩트에 대하여 별도로 검출하고, 사용자에게 고지할 필요가 있다.
이하에서는, 안저 영역 전반에 걸쳐 요소 식별을 곤란하게 하는 아티팩트를 제3 아티팩트로 정의하고, 제3 아티팩트를 고려한 안저 이미지의 품질 판단 방법에 대하여 설명한다.
본 발명의 일 실시예에 따르면, 안저 이미지가 제3 아티팩트를 포함하는지 여부를 판단하기 위한 이미지 품질 판단 방법은 안저 이미지를 획득하는 단계 및 안저 이미지의 제3 타입 품질 정보(이하, 제3 품질 정보)를 획득하는 단계를 포함할 수 있다.
이미지 품질 판단 방법은 안저 이미지를 변환하는 것을 더 포함할 수 있고, 이제 대하여는 2.2 판단 방법 에서 전술한 내용이 유사하게 적용될 수 있다.
제3 품질 정보를 획득하는 단계는 안저 이미지로부터 제3 픽셀을 검출하는 단계 및 제3 품질 조건을 판단하는 단계를 포함할 수 있다.
제3 픽셀은 제3 아티팩트에 대응되는 픽셀일 수 있다. 제3 픽셀은 제3 아티팩트가 분포하는 영역에 대응되는 픽셀일 수 있다. 제3 픽셀은 제3 아티팩트를 검출하기 위한 지표로 이용될 수 있다. 제3 픽셀은 혼탁 픽셀일 수 있다. 제3 픽셀은 소정 범위 내의 픽셀 값을 가지거나 주변 픽셀과 비교하였을 때 소정 비율 이내의 픽셀 값 차이를 가지는 픽셀일 수 있다.
검출된 제3 픽셀을 고려하여 안저 이미지가 제3 품질 조건을 만족하는지 판단할 수 있다. 또는, 검출된 제3 픽셀을 고려하여 안저 이미지가 제3 아티팩트를 포함하는지 여부를 판단할 수 있다.
제3 품질 조건을 판단하는 단계는 대상 영역(예컨대, 안저 영역)에 포함되는 제3 픽셀의 수, 범위 및 비율 등을 고려하여 제3 품질 조건을 판단하는 것을 더 포함할 수 있다.
제3 품질 조건을 판단하는 단계는 제3 품질 조건이 만족되는 경우 안저 이미지가 제3 아티팩트를 포함하는 것으로 결정하는 것을 더 포함할 수 있다.
제3 품질 정보를 획득하는 단계는 안저 이미지로부터 제3 아티팩트를 검출하는 단계를 포함할 수 있다. 안저 이미지가 제3 아티팩트를 포함하는지 여부는 안저 이미지의 안저 영역을 대상 영역으로 하여 판단될 수 있다.
제3 아티팩트를 검출하는 단계는 안저 이미지의 히스토그램을 이용하여 제3 아티팩트를 검출하는 것을 더 포함할 수 있다. 예컨대, 제3 아티팩트 유무를 판단하는 것은 안저 이미지의 히스토그램의 편차를 이용하여, 편차가 소정 값 이하인 경우 해당 이미지는 제3 아티팩트를 포함하는 것으로 판단할 수도 있다. 다시 말해, 제3 아티팩트 유무를 판단하는 것은 안저 이미지의 안저 영역에 포함되는 픽셀들의 밝기 분포가 기준 이상으로 균일한 경우 해당 안저 이미지는 제3 아티팩트를 가지는 것으로 판단하는 것을 포함할 수 있다.
또는, 본 발명의 일 실시예에 따르면, 안저 이미지가 제3 아티팩트를 포함하는지 여부는 제3 아티팩트를 가지는 안저 이미지 데이터 세트를 이용하여 학습된 신경망 모델을 이용하여 판단될 수도 있다.
제3 품질 조건 만족 여부가 결정되거나 이미지로부터 제3 아티팩트가 검출되면 제3 품질 정보가 획득될 수 있다. 제3 품질 정보는 안저 이미지의 적합성, 예컨대, 혼탁과 관련된 적합성을 지시할 수 있다.
제3 품질 정보는 안저 이미지에 제3 아티팩트가 발생하였는지 여부 및/또는 제3 아티팩트의 정도를 지시하는 제3 아티팩트 정보를 포함할 수 있다. 제3 품질 정보는 혼탁 아티팩트 유무, 혼탁 아티팩트의 정도 등을 지시하는 혼탁 아티팩트 정보를 포함할 수 있다.
2.3.4 복수의 안저 이미지
본 발명의 일 실시예에 따르면, 촬상 장치(또는 클라이언트 장치)는 복수의 안저 이미지를 획득할 수 있다. 복수의 안저 이미지는 촬상 장치에 의하여 촬상된 복수의 안저 이미지일 수 있다. 복수의 안저 이미지는 촬상 장치에 의하여 연속 촬상된 이미지들일 수 있다. 또는, 복수의 안저 이미지는 촬상 장치에 의하여 획득된 안저 영상으로부터 획득된 복수의 안저 이미지일 수 있다. 예컨대, 안저 영상에 포함되는 복수의 안저 이미지는 안저 영상으로부터 추출되고 안저 영상의 복수의 프레임에 대응되는 복수의 안저 이미지일 수 있다.
도 47은 본 발명의 일 실시예에 따른 복수의 안저 이미지를 설명하기 위한 도면이다.
도 47을 참조하면, 본 발명의 일 실시예에 따르면, 복수의 안저 이미지(a)가 획득될 수 있다. 복수의 안저 이미지(a)는 시간(t) 순서에 따라 획득될 수 있다. 복수의 안저 이미지(a)는 연속 촬영된 이미지일 수 있다. 복수의 안저 이미지(a)는 안저 영상에 포함되는 이미지들일 수 있다.
복수의 안저 이미지(a)는 제1 안저 이미지(b1), 제2 안저 이미지(b2) 및 제3 안저 이미지(b3)를 포함할 수 있다. 이하에서는, 복수의 안저 이미지로부터 대상 안저 이미지를 결정하는 방안에 대한 몇몇 실시예에 대하여, 도 46을 참조하여 설명한다.
안저 이미지의 품질을 판단하는 것은, 복수의 안저 이미지를 획득하고 복수의 안저 이미지에 대하여 전술한 이미지의 품질 판단 방법에 따라 품질을 판단하는 것을 포함할 수 있다. 특히, 진단 단계에서 진단 대상 안저 이미지를 결정하는 경우에, 복수의 안저 이미지 각각에 대한 품질 판단 결과에 기초하여, 복수의 안저 이미지 중 하나의 안저 이미지를 대상 안저 이미지로 결정될 수 있다.
본 발명의 일 실시예에 따르면, 복수의 안저 이미지로부터 선택된 이미지가 진단 대상 안저 이미지로 결정될 수 있다.
구체적인 예로, 복수의 안저 이미지 중 나은 품질을 가지는 안저 이미지가 대상 안저 이미지로 결정될 수 있다. 예컨대, 안저 이미지의 품질을 판단하는 것은, 제어부가 제1 안저 이미지(b1) 및 제2 안저 이미지(b2)에 대하여 품질 판단을 수행하는 것을 포함할 수 있다. 제어부는 제1 안저 이미지(b1)가 제2 안저 이미지(b2)보다 나은 품질 정보를 가지는 경우, 제1 안저 이미지(b1)를 대상 안저 이미지로 결정할 수 있다.
다른 구체적인 예로, 안저 이미지가 순차로 획득되는 경우, 대상 안저 이미지는 대체될 수 있다. 예컨대, 연속 촬영 또는 동영상 촬영을 통하여 안저 이미지가 획득되고 있는 경우에, 제어부는 제1 안저 이미지(b1) 및 제2 안저 이미지(b2) 중 보다 나은 품질을 가지는 제1 안저 이미지(b1)가 대상 안저 이미지로 결정된 상태에서, 제1 안저 이미지(b1) 및 제2 안저 이미지(b2)보다 늦게 획득되는 제3 안저 이미지(b3)의 품질을 판단하고, 제3 안저 이미지(b3)가 제1 안저 이미지(b1)보다 나은 품질을 가지는 경우, 대상 안저 이미지는 제3 안저 이미지(b3)로 대체될 수 있다.
대상 안저 이미지가 대체되면, 대상 안저 이미지에 기초하여 획득되는 정보가 대체될 수 있다. 예컨대, 안저 이미지를 연속적으로 획득함과 동시에 진단 보조 정보를 제공하는 진단 장치에 있어서, 안저 이미지의 계속적인 획득에 따라 대상 안저 이미지가 대체되면, 제공되는 진단 보조 정보가 대체될 수 있다.
또 다른 구체적인 예로, 품질 기준을 만족하지 않는 안저 이미지가 획득된 경우, 해당 안저 이미지는 폐기될 수 있다. 안저 이미지의 품질을 판단하는 것은, 제어부가 제1 안저 이미지(b1) 및 제1 안저 이미지(b1)가 획득된 이후에 획득된 제2 안저 이미지(b2)에 대하여 품질 판단을 수행하고, 제2 안저 이미지(b2)가 품질 기준을 만족하지 않는 경우, 제2 안저 이미지(b2)를 폐기하는 것을 포함할 수 있다. 또는, 제어부는, 제1 안저 이미지(b1) 및 제2 안저 이미지(b2)에 대하여 품질 판단을 수행하고, 제2 안저 이미지(b2)가 제1 안저 이미지(b1)보다 품질 값 또는 품질 점수가 낮은 경우, 제2 안저 이미지(b2)를 폐기할 수 있다.
또 다른 구체적인 예로, 품질 기준을 만족하는 안저 이미지가 획득된 경우, 안저 이미지의 획득이 중단될 수 있다. 안저 이미지의 품질 기준을 판단하는 것은, 제어부가 제1 안저 이미지(b1) 및 제1 안저 이미지(b1)가 획득된 이후에 획득된 제3 안저 이미지(b3)에 대하여 품질 판단을 수행하는 것을 포함할 수 있다. 제3 안저 이미지(b3)가 품질 기준을 만족하는 경우(예컨대, 아티팩트를 가지지 않는 경우), 안저 이미지의 획득이 중단될 수 있다. 예컨대, 제어부는 촬상 장치가 안저 이미지의 획득을 중단하도록 지시할 수 있다. 제어부는 품질 기준을 만족하는 이미지를 대상 안저 이미지로 결정할 수 있다. 다시 말해, 품질 기준을 만족하는 이미지가 획득되면, 제어부는 안저 이미지의 획득을 중단하고, 품질 기준을 만족하는 이미지를 대상 안저 이미지로 결정할 수 있다. 대상 안저 이미지가 결정되면, 대상 안저 이미지에 기초하여 진단 보조 정보 등이 출력될 수 있다. 또 예컨대, 제어부는 품질 기준을 만족하는 이미지가 획득되면, 이미지의 획득을 시작할 수 있다. 다시 말해, 제어부는 순차적으로 촬상되는 안저 이미지의 품질을 판단하되, 품질 기준을 만족하지 아니하는 안저 이미지는 폐기하고, 품질 기준을 만족하는 안저 이미지가 촬상되면, 해당 안저 이미지부터 획득(또는 저장)을 시작할 수 있다.
본 발명의 다른 일 실시예에 따르면, 복수의 안저 이미지 중 선택된 적어도 하나의 안저 이미지를 병합 또는 합성하여 생성된 하나의 안저 이미지가 진단 대상 안저 이미지로 결정될 수 있다.
구체적인 예로, 제어부는 복수의 안저 이미지로부터 안저 이미지의 서로 다른 영역을 추출하고, 추출된 부분 이미지를 병합하여 생성된 이미지를 대상 안저 이미지로 결정할 수 있다. 예컨대, 안저 이미지의 품질을 판단하는 것은, 제어부가 제1 안저 이미지(b1) 및 제2 안저 이미지(b2)의 품질을 판단하는 것을 포함할 수 있다. 품질 판단 결과, 제1 안저 이미지(b1)의 제1 영역 및 제2 안저 이미지(b2)의 제2 영역을 병합하여 생성된 제4 안저 이미지가 대상 안저 이미지로 결정될 수 있다. 품질 판단 결과, 품질 기준을 만족하는 것으로 판단된 제1 안저 이미지(b1)의 제1 영역 및 제2 안저 이미지(b2)의 제2 영역을 병합하여 생성된 제4 안저 이미지가 대상 안저 이미지로 결정될 수 있다.
다른 구체적인 예로, 제어부는 복수의 안저 이미지에 대하여 영역 별 품질 판단을 수행하고, 각 영역 별로 품질 기준을 만족하는 안저 이미지로부터 품질 기준을 만족한 영역을 추출하고, 추출된 부분 이미지를 병합하여 형성된 이미지를 대상 안저 이미지로 결정할 수 있다. 예컨대, 안저 이미지의 품질을 판단하는 것은, 제어부가 제1 안저 이미지(b1)에 포함되는 제1 영역 및 제2 영역의 품질을 판단하고, 제2 안저 이미지(b2)에 포함되는 제1 영역 및 제2 영역의 품질을 판단하고, 품질 기준을 만족하는 제1 안저 이미지(b1)의 제1 영역 및 제2 안저 이미지(b2)의 제2 영역을 병합하여 생성된 제4 이미지를 대상 안저 이미지로 결정할 수 있다.
다른 구체적인 예로, 복수의 안저 이미지를 중첩하여 대상 안저 이미지를 생성할 수 있다. 예컨대, 안저 이미지의 품질을 판단하는 것은, 제어부가 제1 안저 이미지(b1)를 획득하고, 제1 안저 이미지로부터 아티팩트가 발생한 제1 영역을 검출하는 것을 포함할 수 있다. 제어부는 제2 안저 이미지(b2)를 더 획득하고, 제2 안저 이미지(b2)의 제1 영역에 아티팩트가 발생하였는지 판단하고, 제2 안저 이미지(b2)의 제1 영역에 아티팩트가 발생하지 않은 경우, 제2 안저 이미지(b2)의 제1 영역의 부분 이미지를 획득할 수 있다. 제어부는 획득된 부분 이미지를 제1 안저 이미지(b1)에 중첩 또는 병합하여 생성된 제4 안저 이미지를 진단 대상 이미지로 결정할 수 있다.
적어도 하나의 안저 이미지를 병합 또는 합성하는 것은, 신경망 모델을 이용하여 수행될 수 있다. 예컨대, 합성곱 신경망(CNN; convolutional neural network) 또는 생성적 적대 신경망(GAN; generative adversarial neural network)등을 이용하여, 복수의 안저 이미지로부터 선택된 둘 이상의 이미지를 합성 또는 병합하여 생성된 이미지가 대상 안저 이미지로 결정될 수 있다.
도 48은 본 발명의 일 실시예에 따른 대상 이미지 선택을 설명하기 위한 도면이다. 도 48을 참조하면, 다크 아티팩트를 가지는 제1 안저 이미지(a) 및 제2 안저 이미지(b)가 획득된 경우, 보다 약한 다크 아티팩트를 포함하는 제2 안저 이미지(b)가 대상 안저 이미지로 선택될 수 있다. 보다 구체적으로, 제1 안저 이미지(a)에 포함되는 다크 아티팩트에 대응되는 픽셀의 수 또는 비율이 제2 안저 이미지(b)에 포함되는 다크 아티팩트에 대응되는 픽셀의 수 또는 비율보다 큰 경우, 제2 안저 이미지(b)가 대상 안저 이미지로 선택될 수 있다.
다른 예로, 도 48과 관련하여 예시되는 것과 달리, 서로 다른 타입의 아티팩트를 포함하는 복수의 이미지가 획득된 경우에도, 보다 약한 아티팩트를 포함하는 아티팩트가 대상 안저 이미지로 선택될 수 있다. 예컨대, 제1 안저 이미지는 제1 아티팩트를 포함하고 제2 안저 이미지는 제2 아티팩트를 포함하고, 제1 안저 이미지에 포함되는 제1 아티팩트에 대응되는 픽셀의 비율보다 제2 안저 이미지에 포함되는 제2 아티팩트에 대응되는 픽셀의 비율이 낮은 경우, 제2 안저 이미지가 대상 안저 이미지로 결정될 수 있다.
도 49는 본 발명의 일 실시예에 따른 대상 이미지 생성을 설명하기 위한 도면이다. 도 49를 참조하면, 브라이트 아티팩트를 포함하는 제1 안저 이미지(a), 다크 아티팩트를 포함하는 제2 안저 이미지(b)가 획득된 경우, 제1 안저 이미지(a)의 브라이트 아티팩트가 위치하는 영역에 대응되는 제2 안저 이미지(b)의 일부 영역을 제1 안저 이미지(a)와 병합(또는 중첩)하여 생성된 제3 안저 이미지(c)가 대상 안저 이미지로 결정될 수 있다.
다른 예로, 도 49과 관련하여 예시되는 것과 달리, 제3 안저 이미지(c)는 제2 안저 이미지(b)의 다크 아티팩트가 위치하는 영역에 대응되는 제1 안저 이미지(a)의 일부 영역을 제2 안저 이미지(b)에 병합 또는 중첩하여 생성될 수도 있다.
2.3.5 결과의 이용
2.3.5.1 라벨링
전술한 품질 판단 방법 등에 의하면, 안저 이미지의 품질 정보가 획득될 수 있다. 안저 이미지의 품질 정보는 경우에 따라 다양하게 이용될 수 있다.
데이터 베이스 구축 단계에서, 안저 이미지의 품질 정보는 세분화된 데이터 세트 구축을 위하여 이용될 수 있다. 진단 모델의 학습 단계에서, 안저 이미지의 품질 정보는 학습 목적 별로 학습 데이터를 구분하여 이용하기 위하여 이용될 수 있다. 진단 단계에서, 안저 이미지의 품질 정보는 진단 대상 안저 이미지를 선별하기 위하여 이용될 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지의 품질 정보가 획득되면, 제어부는 안저 이미지에 품질 정보를 부가할 수 있다. 예컨대, 제어부는 각 안저 이미지에 대응되는 품질 정보를 태깅 또는 라벨링할 수 있다. 예컨대, 제어부는 품질 판단 결과 평가 결과 특정 아티팩트를 가지는 것으로 판단되거나, 기준 품질에 미치지 못하는 것으로 평가되거나 흠결을 가지는 것으로 결정된 이미지 등에는 해당 정보를 라벨링할 수 있다.
일 예로, 제어부는 제1 아티팩트를 포함하는 것으로 판단된 안저 이미지에 제1 라벨을 라벨링할 수 있다. 다른 예로, 제어부는 제1 품질 기준을 만족하지 않는 것으로 판단된 안저 이미지에 제1 라벨을 라벨링할 수 있다.
다른 예로, 제어부는 제1 아티팩트를 포함하지 않는 것으로 판단되거나 제1 품질 기준을 만족하는 것으로 판단된 안저 이미지에 대하여 제2 라벨을 라벨링할 수도 있다.
다수 이미지에 대한 품질 판단 결과, 품질 정보를 포함하는 데이터 세트가 획득될 수 있다. 데이터 세트는 그 품질 분류에 따라 복수 개로 획득될 수 있다. 예컨대, 아티팩트를 가지는 것으로 판단된 이미지 데이터 또는 기준 품질에 못 미치는 것으로 판단된 이미지 데이터 세트(이하, 제1 데이터 세트)와 아티팩트가 없는 것으로 판단되거나 기준 품질을 만족하는 것으로 판단된 이미지 데이터 세트(이하, 제2 데이터 세트)는 별도로 관리될 수 있다.
일 예로, 제1 데이터 세트는 폐기될 수 있다. 예를 들어, 안저 이미지에 기초하여 진단을수행하는 진단 모델을 학습시키는 경우에, 아티팩트를 포함하거나 불량 이미지들로 구성된 제1 데이터 세트 이용 시 모델의 정확도가 떨어질 수 있으므로 해당 데이터는 학습 데이터에서 제거될 수 있다.
다른 예로, 제1 데이터 세트를 이용하여 진단 모델을 학습할 수 있다. 이 경우, 진단 모델은 아티팩트를 가지거나 품질이 떨어지는 이미지에 대하여 보다 강인한(robust) 특성을 나타낼 수 있다.
품질 판단 결과 얻어진 데이터 세트를 이용한 진단 모델의 학습 및 진단의 수행과 관련하여서는, 후술하는 품질 판단 결과의 적용 항목에서 보다 상세히 살펴본다.
2.3.5.2 출력
본 발명의 일 실시예에 따르면, 획득된 품질 정보는 출력될 수 있다. 품질 판단을 수행하는 처리 장치, 이미지 촬상 장치, 클라이언트 장치 또는 모바일 장치는 품질 정보를 출력할 수 있다. 품질 정보는 시각, 청각 및/또는 촉각 정보를 포함할 수 있다. 품질 정보는 전술한 사용자 인터페이스를 통하여 사용자에게 제공될 수 있다.
일 예로, 촬상된 안저 이미지의 품질 판단 결과 안저 이미지가 정상 이미지인 것으로 판단된 경우(또는, 아티팩트를 포함하지 않는 것으로 판단된 경우), 해당 안저 이미지에 기초한 진단 보조 정보가 출력될 수 있다.
촬상된 안저 이미지의 품질 판단 결과 안저 이미지가 비정상 이미지인 것으로 판단된 경우(또는, 아티팩트를 포함하는 것으로 판단된 경우), 사용자가 이미지의 품질 정보를 인지할 수 있도록, 해당 안저 이미지에 대한 품질 정보가 출력될 수 있다.
이때, 출력되는 품질 정보는 안저 이미지에 포함된 아티팩트의 종류, 위치, 정도 등을 포함할 수 있다. 품질 정보와 함께 안저 이미지에 기초한 진단 보조 정보가 제공될 수도 있다. 품질 정보와 함께 재촬영을 권고하는 안내가 출력될 수 있다. 재촬영 안내는 지시 정보와 함께 출력될 수 있다.
본 발명의 일 실시예에 따르면, 이미지의 품질 판단 결과를 고려하여 결정된 지시 정보가 출력될 수 있다.
지시 정보는 안저 이미지의 품질이 개선되도록 하는 지시 사항을 포함할 수 있다. 지시 정보는 안구 구성 요소가 화면상에 포함되도록 하는 지시 사항을 포함할 수 있다. 지시 정보는 안구 구성 요소가 기준 방향으로 정렬되도록 하는 지시 사항을 포함할 수 있다. 지시 정보는 관심 영역이 촬상 영역에 포함되도록 하는 지시 사항을 포함할 수 있다. 지시 정보는 관심 영역이 촬상 이미지의 적절한 위치에 포함되도록 하는 지시 사항, 관심 영역에 아티팩트가 포함되지 않도록 하는 지시 사항 또는 관심 영역의 품질이 개선되도록 하는 지시 사항을 포함할 수 있다. 예를 들어, 지시 정보는 초점, 셔터 속도, 조리개 제어, 감도 조절, 인공조명 제어 등에 관한 지시 사항을 포함할 수 있다.
일 예로, 지시 정보는 촬상 장치에서 해석 가능한 처리 명령의 형태로 제공될 수도 있다. 이 경우, 처리 장치로부터 안저 이미지가 적절히 촬상되도록 제공된 지시 정보가 촬상 장치로 전달되면 촬상 장치는 지시 정보에 기초하여 촬상 조건을 변경할 수 있다. 또는, 촬상 장치가 품질 판단을 수행하는 경우(예를 들어, 휴대용 안저 촬상 장치 또는 스마트폰 부착형 촬상 장치의 경우), 촬상 장치의 제어부는 품질 판단에 기초하여 지시 정보를 생성하고, 지시 정보에 기초하여 촬상 조건을 변경할 수 있다. 예컨대, 광량, 초점, 촬영 방향 등을 변경할 수 있다.
지시 정보는 시각, 청각 및/또는 촉각 정보로 출력될 수 있다. 지시 정보는 진단 장치 또는 촬상 장치에서 출력될 수 있다. 예컨대, 안저의 상비측 부근에 브라이트 아티팩트가 발생하였음을 나타내는 품질 정보가 획득된 경우, 촬영 렌즈를 상비측 방향으로 이동할 것을 지시하는 지시 정보가 출력될 수 있다. 시각적 지시 정보는 표시부에 표시되는 안저 이미지에 중첩 표시될 수 있다.
지시 정보는 피검자와 검사자가 존재하는 경우와 피검자가 스스로 안저를 촬영하는 경우에 달리 제공될 수 있다. 예컨대, 지시 정보는 피검자와 검사자가 존재하는 경우와 피검자가 스스로 안저를 촬영하는 경우에 각각 반대 방향을 지시할 수 있다. 다시 말해, 피검자와 검사자가 존재하는 경우, 검사자의 위치를 기준으로 한 지시 정보가 출력되고, 피검자가 스스로 촬영하는 경우에는 피검자의 위치를 기준으로 한 지시 정보가 출력될 수 있다.
특히, 피검자가 스스로 촬영하는 경우, 지시 정보는 촉각 또는 청각 정보로 제공될 수 있다. 피검자가 스스로 촬영하는 경우, 시각적 지시 정보는 촬상되는 안구의 시야에 표시되도록 출력될 수 있다. 예컨대, 제어부는 촬상 중 안저로 입사되는 광량을 감소시킴과 동시에 촬상 대상 안구 방향으로 지시 정보를 출력할 수 있다.
지시 정보는 촬상 장치의 설정 조건 변경을 지시할 수 있다. 또는, 지시 정보는 촬상 장치의 설정 조건 변경에 대한 승인을 요청하는 알림을 포함할 수 있다. 승인을 요청하는 알림은 시각 또는 청각적으로 제공될 수 있다. 촬상 장치 또는 진단 장치는 승인을 요청하는 알림에 응답하여 생성된 사용자 승인을 획득하고, 설정 조건을 변경할 수 있다.
본 발명의 일 실시예에 따르면, 안저 영상 또는 연속 이미지를 촬영하는 경우에도 품질 정보가 출력될 수 있다. 처리 장치, 이미지 촬상 장치, 클라이언트 장치 또는 모바일 장치 등은 안저 영상으로부터 획득된 품질 정보를 출력할 수 있다. 이때, 품질 정보를 고려하여 생성된 지시 정보가 출력될 수도 있다.
구체적인 예로, 안저 이미지 촬상 장치는 안저 이미지를 연속 프레임 촬영하여 안저 영상을 구성할 수 있다. 이때, 안저 이미지의 품질을 판단하는 처리 장치는 획득되는 안저 이미지 프레임마다의 품질 정보를 획득할 수 있다. 처리 장치는 획득된 품질 정보에 기초하여, 적절한 품질의 안저 이미지가 획득된 경우 촬영 종료를 지시하는 지시 정보를 출력할 수 있다. 또는, 처리 장치는 획득된 품질 정보에 기초하여, 적절한 안저 이미지가 획득될 수 있도록 지시하는 지시 정보를 출력할 수도 있다.
지시 정보는 안저 이미지의 촬영 중에 함께 제공될 수 있다. 다시 말해, 지시 정보는 실시간으로 제공될 수 있다. 제어부는 특정 시점 전의 제1 프레임에 대응되는 제1 안저 이미지에 대한 제1 품질 판단 결과 획득된 제1 지시 정보를 출력하고, 제1 지시 정보의 출력에 응답하여 획득된 제2 프레임에 대응되는 제2 안저 이미지에 대하여 제2 품질 판단을 수행하고, 제2 지시 정보를 출력할 수 있다.
구체적인 예로, 제어부는 제1 프레임에 대응되는 제1 안저 이미지에 대하여 제1 품질 판단을 수행한 결과, 황반부 근처에서 다크 아티팩트가 검출된 경우, 광량을 늘리거나 안저와의 거리 또는 광의 입사 방향을 조절하라는 지시 정보를 출력할 수 있다.
2.4 질병 특이적 품질 판단 방법(적합성 판단 방법)
2.4.1 질병 특이적 특성
안저 이미지를 이용하여 질병을 진단하는 경우, 질병에 따라 관심 영역이 달리 결정될 수 있다. 다시 말해, 안저 이미지를 이용하여 질병을 진단하는 경우에 있어서, 안저의 전체 영역에 기초하여 질병을 진단하는 경우 또는 안저 이미지의 일부 영역으로부터 획득된 정보에 기초하여 질병을 진단하는 경우가 있을 수 있다.
이와 관련하여, 대상 질병에 따라 이미지의 품질을 판단하는 기준(criteria)이 달리 설정될 수 있다. 다시 말해, 대상 질병에 따라 이미지의 적합성을 판단하기 위한 품질 판단 기준이 상이할 수 있다. 대상 질병 별로 이미지 품질 판단을 달리 수행함으로써, 질병 별 진단 정확도를 향상시킴과 동시에 이미지 사용 효율이 증대될 수 있다.
예컨대, 대상 질병에 따라 안저 이미지의 품질 판단 시 고려하는 영역이 달리 결정될 수 있다. 구체적으로, 대상 질병에 따라 진단 시의 관심 영역이 상이할 수 있는 바, 진단 관심 영역 외의 영역은 대상 영역에서 제외될 수 있다.
또 예컨대, 대상 질병에 따라 안저 이미지의 품질 판단 시 판단되는 품질 조건이 달리 결정될 수 있다. 구체적으로, 대상 질병에 따라 픽셀 검출 여부, 검출되는 픽셀의 픽셀 값의 범위 등이 달리 결정될 수 있다.
안저 이미지의 품질 또는 적합성을 판단함에 있어서, 대상 질병을 몇 가지 종류로 나누어 고려할 수 있다. 대상 질병에는 본 명세서 전반에 걸쳐 설명하는 안질환, 만성 질환, 전신 질환, 안과 병변, 안과 소견 등이 포함될 수 있다.
예컨대, 대상 질병은 어떠한 아티팩트를 포함하는 안저 이미지에 기초하여서도 진단 가능한 제1 타입 질병, 어떠한 아티팩트를 포함하는 안저 이미지에 기초하여서도 진단이 곤란한 제2 타입 질병 및 특정 종류의 아티팩트를 포함하는 안저 이미지에 기초하여서는 진단이 곤란한 제 3타입 질병으로 나누어 생각될 수 있다.
제1 타입 질병에 대하여 안저 이미지의 적합성을 판단하기 위한 제1 품질 기준은 제2 타입 질병에 대하여 안저 이미지의 적합성을 판단하기 위한 제2 품질 기준 및/또는 기준은 제3 타입 질병에 대하여 안저 이미지의 적합성을 판단하기 위한 제3 품질 기준에 비하여 보다 완화된 기준을 포함할 수 있다.
제1 타입 질병이 대상 질병인 경우, 적어도 하나의 아티팩트가 검출되면 안저 이미지는 불량 이미지로 판단될 수 있다. 제2 타입 질병이 대상 질병인 경우, 아티팩트 검출과 관련된 안저 이미지의 품질 판단은 생략될 수 있다.
제3 타입 질병이 대상 질병인 경우, 안저 이미지의 적합성은 대상 질병의 진단에 영향을 미치는 대상 아티팩트, 즉, 대상 질병에 대응되는 대상 아티팩트의 유무 판단을 포함하는 품질 기준 판단을 수행하여 판단될 수 있다. 제3 타입 질병이 대상 질병인 경우, 안저 이미지의 적합성은 대상 질병의 진단에 이용되는 안저 이미지의 대상 영역, 즉, 대상 질병에 대응되는 대상 영역에 대한 품질 판단을 포함하는 품질 기준 판단을 수행하여 판단될 수 있다.
한편, 안저 이미지에 발생하는 아티팩트는 몇 가지 종류로 나누어 생각될 수 있다. 예컨대, 아티팩트는 안저 이미지에 기초한 모든 질병의 진단을 곤란하게 하는 제1 타입 아티팩트, 안저 이미지에 기초한 질병의 진단에 방해되지 않는 제2 타입 아티팩트, 안저 이미지에 기초한 특정 질병 군의 진단에 방해되는 제3 타입 아티팩트가 있을 수 있다.
제1 타입 아티팩트가 검출된 안저 이미지는 불량 이미지로 판단될 수 있다. 제2 타입 아티팩트에 대한 판단은 생략될 수 있다. 제2 타입 아티팩트가 검출되더라도 안저 이미지에 기초한 목적 동작, 예컨대, 진단 프로세스가 수행될 수 있다. 다만, 제2 타입 아티팩트의 발생 사실은 사용자에게 고지될 수 있다.
제3 타입 아티팩트의 경우, 대상 아티팩트에 의하여 진단이 곤란해지는 질병이 대상 질병인 경우, 즉, 대상 아티팩트에 대응되는 질병이 대상 질병인 경우에는 안저 이미지에 기초한 목적 동작을 수행하지 않을 수 있다. 또는, 대상 아티팩트에 대응되는 질병이 아닌 질병이 대상 질병인 경우에는 안저 이미지에 기초한 목적 동작이 수행될 수 있다. 이때, 제3 타입 아티팩트의 발생 사실이 사용자에게 고지될 수 있다.
이하에서는 주로, 제3 타입 질병 및 제3 타입 아티팩트를 기준으로, 아티팩트와 질병의 대응 관계, 특정 영역과 질병의 대응 관계, 특정 아티팩트와 영역의 대응 관계 등을 고려하여 질병에 따른 안저 이미지의 적합성을 판단하는 방법 등에 대하여 설명한다. 질병과 아티팩트, 질병과 영역 또는 아티팩트와 영역은 일대일 대응 관계를 가질 수 있다.
질병과 아티팩트, 질병과 영역 또는 아티팩트와 영역의 대응 관계는 다대일 또는 일대다 대응일 수도 있다. 예컨대, 제1 질병은 제1 아티팩트 및/또는 제2 아티팩트와 대응될 수 있다. 또는, 제1 질병은 제1 영역 및/또는 제2 영역과 대응될 수 있다. 또는, 제1 아티팩트는 제1 영역 및/또는 제2 영역과 대응될 수 있다. 또는, 제1 아티팩트는 제1 질병 및/또는 제2 질병과 대응될 수 있다. 또는, 제1 영역은 제1 아티팩트 및/또는 제2 아티팩트와 대응될 수 있다. 또는, 제1 영역은 제1 질병 및/또는 제2 질병과 대응될 수 있다.
도 50은 병변 별 진단 방법을 설명하기 위한 도면이다. 도 50은 안저 이미지로부터 진단될 수 있는 여러 소견, 병변 또는 질병에 대하여, 그 진단을 위하여 고려되는 영역을 예시한 것이다.
도 50의 (a)를 참조하면, 안저 이미지에 기초하여 출혈(hemorrhage)이 진단될 수 있다. 예컨대, (a)에서 도시하는 것과 같이, 안저 영역 전체의 임의의 위치로부터 출혈(L1)이 검출될 수 있다.
도 50의 (b)를 참조하면, 안저 이미지에 기초하여 드루젠(drusen)이 진단될 수 있다. 예컨대, (b)에서 도시하는 것과 같이, 안저 영역 전체의 임의의 위치로부터 드루젠(L2)이 발견될 수 있다.
도 50의 (c)를 참조하면, 안저 이미지에 기초하여 녹내장성 시신경 유두(glaucomatous disc change)가 진단될 수 있다. 예컨대, (c)에서 도시하는 것과 같이, 안저 이미지의 시신경 유두로부터 녹내장 소견(L3)이 검출될 수 있다.
도 50의 (d)를 참조하면, 안저 이미지에 기초하여 황반 천공(macular hole)이 진단될 수 있다. 예컨대, (d)에서 도시하는 것과 같이, 안저 이미지의 황반부로부터 황반 천공 소견(L4)이 발견될 수 있다.
도 50의 (e)를 참조하면, 안저 이미지로부터 황반 전막(macular epiretinal membrane)이 진단될 수 있다. 예컨대, (e)에서 도시하는 것과 같이, 안저 이미지의 황반 근처에서 황반 전막 소견(L5)이 발견될 수 있다. 황박 전막 소견은, 안저 이미지의 황반부로부터 발견될 수 있다.
도 50의 (f)를 참조하면, 안저 이미지로부터 유수신경섬유(myelinated nerve fiber) 증상이 진단될 수도 있다. 예컨대, (f)에서 도시하는 것과 같이, 안저 이미지의 임의의 영역으로부터 유수신경섬유(L6) 소견이 발견될 수 있다.
도 50의 (a), (b) 및 (f)와 같이 안저 이미지의 임의의 영역으로부터 병변이 검출되는 경우, 안저 영역의 전체에 걸쳐 품질을 평가하는 것이 바람직할 수 있다. 도 50의 (c)와 같이 시신경유두의 형태에 기초하여 진단되는 소견 또는 병변의 경우에는 시신경 유두 주위 영역을 중심으로 품질 평가를 수행하는 것이 효율적일 수 있다. 또한, 도 50의 (d) 및 (e)와 같이 황반 부근으로부터 그 소견이 발견되는 경우, 황반 주변을 중심으로 품질을 판단하는 것이 효율적일 수 있다.
도 50에서는 몇가지 질환을 예시적으로 설명하였으나, 그 외의 다양한 안저 기반 진단에 대하여도 유사하게 적용될 수 있다.
상술한 배경을 고려할 때, 본 명세서에서 설명하는 안저 이미지의 품질 판단 방법 등은 대상 질병에 따라 달리 구현될 수 있다. 이하에서는, 전술한 복수 병변에 대한 진단을 수행하고자 하는 경우에, 병변 별 진단 특성을 고려하여 이미지의 품질을 판단하는 방법 등에 대하여 몇몇 실시 예를 들어 설명한다.
2.4.2 질병 적합성 판단 방법
진단 대상 병변 또는 질병에 따라 이미지의 품질 판단 방법이 달리 수행될 수 있다. 다시 말해, 대상 질병, 관심 질병, 대상 병변 또는 관심 병변에 따라 다른 기준을 적용하여 이미지의 적합성을 판단할 수 있다. 이하에서 설명하는 안저 이미지의 품질 판단 방법 또는 안저 이미지의 적합성 판단 방법은 전술한 제어부에 의해 수행될 수 있다. 이하에서 설명하는 품질 판단 방법의 각 단계의 순서는 변경될 수 있다.
이하에서는, 대상 질병을 고려하여 이미지의 적합성을 판단하는 방법 등에 대하여 몇몇 실시예를 들어 설명한다.
도 51은 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다.
도 51을 참조하면, 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S31) 및 안저 이미지의 적합성 정보를 획득하는 단계(S33)를 포함할 수 있다. 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법은 안저 이미지를 변환하는 단계를 더 포함할 수 있다. 안저 이미지의 변환에 대하여는 본 명세서에서 전술한 내용이 유추 적용될 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는 안저 이미지에 대하여 품질 판단을 수행하고, 품질 판단 결과에 기초하여 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 것을 포함할 수 있다. 안저 이미지의 품질 판단에 대하여는 본 명세서에서 전술한 내용이 유추 적용될 수 있다.
도 52는 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 52를 참조하면, 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법은, 안저 이미지를 획득하는 단계(S31), 안저 이미지가 대상 질병에 대응되는 품질 조건을 만족하는지 여부를 판단하는 단계(S33a), 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 단계(S33b)를 포함할 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는, 안저 이미지가 대상 질병에 대응되는 품질 조건(또는 대상 적합성 조건)을 만족하는지 여부를 판단하는 단계(S33a)를 포함할 수 있다.
대상 적합성 조건은 안저 이미지가 대상 질병을 진단하기에 이용될 수 있는 이미지인지를 판단하기 위한 조건일 수 있다. 대상 질병에 대응되는 품질 조건은 대상 질병의 진단에 이용될 수 있는 이미지를 선별하기 위하여 대상 질병의 특이적 특성을 고려하여 결정된 품질 조건을 의미할 수 있다. 대상 적합성 조건은 안저 이미지에 기초한 대상 질병에 대한 진단의 정확도가 충분히 보장될 수 있는지를 판단하기 위한 기준일 수 있다.
대상 적합성 조건은 품질 조건을 포함할 수 있다. 품질 조건 및 품질 조건의 판단은 본 명세서에서 전술한 내용이 유추 적용될 수 있다. 예컨대, 품질 조건은 픽셀 값의 기준 범위, 기준 범위에 속하는 픽셀 값을 가지는 픽셀의 비율 등을 포함할 수 있다.
대상 적합성 조건은 대상 질병에 대응되도록 미리 마련될 수 있다. 다시 말해, 적합성 판단 장치(또는 제어부)는 복수의 대상 질병 각각에 대응되도록 미리 마련된 복수의 대상 적합성 조건을 포함하는 데이터베이스를 이용하여 안저 이미지가 대상 질병에 대응되는 대상 적합성 조건을 만족하는지 판단할 수 있다.
예컨대, 대상 질병이 제1 질병인 경우, 안저 이미지의 적합성 판단 방법은 안저 이미지가 제1 대상 적합성 조건을 만족하는지 판단하는 것을 포함할 수 있다.
대상 적합성 조건은 영역에 대한 품질 조건을 포함할 수 있다. 예컨대, 대상 적합성 조건은 안저 영역의 적어도 일부가 제외된 제1 영역과 관련된 제1 품질 조건을 포함할 수 있다. 대상 적합성 조건은 영역 별 품질 조건을 포함할 수 있다. 예컨대, 대상 적합성 조건은 제1 영역에 대한 제1 품질 조건, 제2 영역에 대한 제1 품질 조건을 포함할 수 있다.
대상 적합성 조건은 대상 질병에 대응되는 영역에 대한 품질 조건을 포함할 수 있다. 다시 말해, 대상 적합성 조건은 대상 영역에 대한 품질 조건을 포함할 수 있고, 이때 대상 영역은 대상 질병에 기초하여 결정될 수 있다.
구체적인 예로, 질병이 안저 영역(FA)의 내부 영역(IA)에서 주로 발생하는 병변 또는 소견에 기초하여 진단되는 질병인 경우, 제1 대상 적합성 조건은 내부 영역(IA)에 대한 기준 품질 조건을 포함할 수 있다. 제1 질병이 시신경 유두의 형태에 기초하여 진단되는 녹내장인 경우, 제1 대상 적합성 조건은 내부 영역(IA)에 대한 기준 품질 조건을 포함할 수 있다.
다른 구체적인 예로, 제1 질병이 안저 영역(FA)의 황반부(MA)에서 주로 발생하는 병변 또는 소견에 기초하여 진단되는 질병인 경우, 제1 대상 적합성 조건은 안저 이미지의 황반부(MA)에 대한 기준 품질 조건을 포함할 수 있다. 구체적인 예로, 제1 질병이 황반 천공인 경우, 제1 대상 적합성 조건은 황반부(MA)로부터 아티팩트가 검출되지 않을 것을 포함할 수 있다.
대상 적합성 조건은 아티팩트에 관련된 조건을 포함할 수 있다. 대상 적합성 조건은 특정 아티팩트의 유무와 관련된 조건을 포함할 수 있다. 예컨대, 대상 적합성 조건을 판단하는 것은 안저 이미지가 제1 아티팩트를 포함하는지 판단하는 것을 포함할 수 있다. 대상 적합성 조건은 특정 영역의 아티팩트 유무와 관련된 조건을 포함할 수 있다. 예컨대, 대상 적합성 조건을 판단하는 것은 안저 이미지의 제1 영역 내에 제1 아티팩트가 발생하였는지 여부를 판단하는 것을 포함할 수 있다.
대상 적합성 조건은 대상 질병에 대응되는 아티팩트에 관련된 조건을 포함할 수 있다. 예컨대, 대상 적합성 조건에서 고려되는 아티팩트는 질병 진단 시 고려되는 안저 상의 영역과 적어도 일부 중첩되는 영역에 발생하는 아티팩트일 수 있다. 다시 말해, 대상 적합성 조건은 대상 질병과 관련된 대상 아티팩트의 유무에 관한 조건을 포함할 수 있다. 대상 아티팩트와 대상 질병은 안저 이미지로부터 검출되는 영역이 일부 중첩될 수 있다.
구체적인 예로, 제1 질병이 안저 영역(FA)의 외부 영역(OA)에서 주로 발생하는 병변 또는 소견에 기초하여 진단되는 질병인 경우, 제1 대상 적합성 조건은 안저 이미지가 제1 아티팩트(예컨대, 브라이트 아티팩트)를 포함하는지 여부를 포함할 수 있다. 구체적인 예로, 제1 질병이 혈관의 형태를 고려하여 진단되는 심혈관계 만성질환인 경우, 제1 대상 적합성 조건은 브라이트 아티팩트가 없을 것을 포함할 수 있다.
다른 구체적인 예로, 안저 이미지의 대상 적합성 조건을 판단하는 것은, 제1 아티팩트 및 제2 아티팩트의 포함 여부에 대하여 판단하는 것을 포함할 수 있다.
대상 질병이 제1 질병이고 안저 이미지가 제1 아티팩트를 불포함하는 경우, 안저 이미지는 제1 질병에 대한 제1 적합성을 가지는 것으로 판단될 수 있다. 대상 질병이 제2 질병이고 안저 이미지가 제2 아티팩트를 불포함하는 경우, 안저 이미지는 제2 질병에 대한 제2 적합성을 가지는 것으로 판단될 수 있다. 대상 질병이 제3 질병이고 안저 이미지가 제1 아티팩트 및 제2 아티팩트를 불포함하는 경우, 안저 이미지는 제3 질병에 대한 제3 적합성을 가지는 것으로 판단될 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는, 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 단계(S33b)를 포함할 수 있다.
안저 이미지의 대상 질병에 대한 적합성 정보는 안저 이미지가 대상 질병의 진단에 적절한 상태인지를 나타낼 수 있다. 적합성 정보는 안저 이미지로부터 얻어진 진단 보조 정보가 정확할 확률을 나타낼 수 있다. 적합성 정보는 적합 여부 또는 적합한 정도를 포함할 수 있다.
일 실시예에 따르면, 본 발명의 일 실시예에 따른 이미지의 적합성 판단은, 복수의 대상 질병에 대하여 수행될 수 있다. 복수의 대상 질병에 대한 적합성 판단은 하나의 장치에서 수행될 수 있다. 복수의 대상 질병에 대한 적합성 판단은 복수의 장치에서 각각 수행될 수 있다.
예컨대, 대상 질병이 제1 질병 및 제2 질병인 경우, 안저 이미지의 적합성 판단 방법은 안저 이미지가 제1 질병에 대응되는 제1 대상 적합성 조건을 만족하는지 판단하고, 안저 이미지가 제2 질병에 대응되고 제1 대상 적합성 조건과 적어도 일부 상이한 제2 대상 적합성 조건을 만족하는지 판단하는 것을 포함할 수 있다.
복수의 대상 질병에 대한 적합성 판단은 순차로 수행될 수 있다. 복수의 대상 질병에 대하여 적합성을 판단하는 경우, 대상 질병들 간의 적합성은 우선순위 또는 포함 관계를 가질 수 있다.
예컨대, 제1 안저 이미지가 제1 질병에 대하여 적합성을 가지는 것으로 판단된 경우, 제1 안저 이미지는 제2 질병에 대하여도 적합성을 가지는 것으로 판단할 수 있다. 또는, 제1 안저 이미지가 제1 질병에 대하여 적합하지 않은 것으로 판단된 경우, 제1 안저 이미지는 제2 질병에 대하여도 적합하지 않은 것으로 판단될 수 있다.
구체적인 예로, 제1 질병이 안저 영역 전체를 대상으로 판단되는 출혈 소견인 경우, 제1 대상 적합성 조건은 안저 이미지가 안저 영역 전체에 대하여 전술한 제3 아티팩트(예컨대, 혼탁 아티팩트)를 포함하지 않을 것을 포함할 수 있다. 또한, 제2 질병에 대응되는 제2 대상 적합성 조건은 외부 영역(OA)이 품질 기준을 만족할 것을 포함할 수 있다. 이때, 제1 안저 이미지가 제3 아티팩트를 가지는 경우, 제1 안저 이미지는 제2 질병에 대하여도 적합성을 가지지 않는 것으로 판단될 수 있다.
다시 말해, 각 질병에 대응되는 대상 적합성 조건들에 따라 판단되는 각각의 대상 영역 또는 각 질병에 대응되는 대상 적합성 조건들에 따라 판단되는 각각의 품질 기준의 정도 등이 포함 관계 또는 우선 순위를 가지는 경우, 안저 이미지의 품질 판단을 수행하는 것은, 보다 우선하는 대상 적합성 조건 또는 보다 넓은(또는 엄격한) 판단 기준을 가지는 대상 적합성 조건을 먼저 판단하고, 그 결과에 따라 후순위 대상 적합성 조건에 대한 판단은 생략하여 수행될 수 있다.
도 53은 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 53을 참조하면, 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법은, 안저 이미지를 획득하는 단계(S31), 안저 이미지의 대상 영역에 대한 품질 정보를 획득하는 단계(S33c) 및 대상 영역에 대한 품질 정보에 기초하여 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 단계(S33d)를 포함할 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는, 안저 이미지의 대상 영역에 대한 품질 정보를 획득하는 단계(S33c)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 대상 영역에 대한 품질 정보를 획득하는 것은, 복수의 대상 영역에 대한 품질 정보를 획득하는 것을 포함할 수 있다. 예컨대, 안저 이미지의 대상 영역에 대한 품질 정보를 획득하는 것은, 제1 영역에 대한 품질 정보 및 제2 영역에 대한 품질 정보를 획득하는 것을 포함할 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는, 대상 영역에 대한 품질 정보에 기초하여 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 단계(S33d)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 것은, 대상 영역 및 대상 질병의 대응 관계를 고려하여 수행될 수 있다. 예컨대, 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 것은, 제1 대상 영역에 대한 품질 정보를 고려하여, 제1 대상 영역에 대응되는 제1 질병에 대한 안저 이미지의 적합성 정보를 획득하는 것을 포함할 수 있다.
구체적인 예로, 안저 이미지의 적합성 정보를 획득하는 것은, 제1 대상 영역이 황반부(MA)인 경우, 제1 대상 영역에 대한 품질 정보를 고려하여, 제1 질병, 예컨대 황반 천공에 대한 안저 이미지의 적합성 정보를 획득하는 것을 포함할 수 있다.
도 54는 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 54를 참조하면, 본 발명의 일 실시예에 따른 이미지의 적합성 판단 방법은, 안저 이미지를 획득하는 단계(S31), 안저 이미지의 적어도 하나의 아티팩트에 대한 품질 정보를 획득하는 단계(S33e) 및 대상 질병에 대응되는 대상 아티팩트 및 적어도 하나의 아티팩트에 대한 안저 이미지의 품질 정보를 고려하여, 안저 이미지의 적합성 정보를 획득하는 단계(S33f)를 포함할 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는, 안저 이미지의 적어도 하나의 아티팩트에 대한 품질 정보를 획득하는 단계(S33e)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 아티팩트에 대한 품질 정보를 획득하는 것은, 복수의 대상 아티팩트에 대한 품질 정보를 획득하는 것을 포함할 수 있다. 예컨대, 안저 이미지의 아티팩트에 대한 품질 정보를 획득하는 것은 제1 대상 아티팩트에 대한 제1 품질 정보 및 제2 대상 아티팩트에 대한 제2 품질 정보를 획득하는 것을 포함할 수 있다.
다른 일 실시예에 따르면, 안저 이미지의 아티팩트에 대한 품질 정보를 획득하는 것은, 안저 이미지의 대상 영역에 대한 품질 정보를 획득하고, 대상 영역과 대상 아티팩트의 대응 관계를 고려하여 안저 이미지의 아티팩트에 대한 품질 정보를 획득하는 것을 포함할 수 있다. 예컨대, 안저 이미지의 아티팩트에 대한 품질 정보를 획득하는 것은 제1 대상 영역에 대한 제1 품질 정보를 획득하고, 제1 품질 정보에 기초하여 안저 이미지의 제1 대상 영역에 대응되는 제1 아티팩트에 대한 품질 정보를 획득하는 것을 포함할 수 있다.
안저 이미지의 적합성 정보를 획득하는 단계(S33)는, 대상 질병에 대응되는 대상 아티팩트 및 적어도 하나의 아티팩트에 대한 안저 이미지의 품질 정보를 고려하여, 안저 이미지의 적합성 정보를 획득하는 단계(S33f)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 대상 질병에 대한 적합성 정보를 획득하는 것은, 안저 이미지의 대상 아티팩트에 대한 품질 정보를 획득하고, 대상 아티팩트와 대상 질병의 대응 관계를 고려하여 안저 이미지의 적합성 정보를 획득하는 것을 포함할 수 있다. 예컨대, 안저 이미지의 적합성 정보를 획득하는 것은, 안저 이미지의 제1 아티팩트에 대한 품질 정보를 획득하고, 안저 이미지의 제1 아티팩트에 대응되는 제1 대상 질병에 대한 제1 적합성 정보를 획득하는 것을 포함할 수 있다.
보다 구체적인 예로, 대상 질병이 주로 안저 영역의 중심에 가깝게 위치되는 시신경 유두로부터 검출되는 녹내장인 경우(다만, 안저 이미지의 촬상 상태가 시신경 유두가 안저 영역의 중심에서 멀리 위치되도록 설정되어 있는 경우 달리 구현될 수 있음), 대상 질병에 대한 안저 이미지의 적합성 정보를 획득하는 것은, 안저 이미지의 제1 아티팩트(예컨대, 브라이트 아티팩트) 포함 여부에 기초하여, 제1 아티팩트에 대응되는 녹내장에 대한 안저 이미지의 대상 적합성 여부를 판단하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지의 적합성 판단 방법은, 안저 이미지에 대하여 대상 질병에 대한 적합성 판단을 수행하는 것을 포함하되, 대상 질병에 대한 적합성 판단은, 대상 질병에 대응되는 품질 기준을 만족하는지 판단함으로써 수행될 수 있다.
도 55는 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 55를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S310) 및 대상 질병에 대응되는 품질 기준을 이용하여 안저 이미지의 대상 적합성을 판단하는 단계(S330)을 포함할 수 있다.
대상 질병은 녹내장, 백내장, 출혈, 드루젠, 삼출물, 면화반, 혼탁, 망막 색소 변화, 황반 천공, 황반 변성 및 미숙아 망막증을 포함하는 안질환, 당뇨병, 알츠하이머, 거대 세포 바이러스를 포함하는 전신 질환, 고혈압, 저혈압, 뇌졸중, 동맥 경화증, 협심증 및 심부전을 포함하는 심혈관계 질환 중 선택된 어느 하나일 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 안저 이미지의 적합성을 판단하는 방법은, 안저 이미지를 획득하는 단계(S310) 및 안저 이미지에 대하여, 대상 질병에 대응되는 품질 기준을 이용하여 안저 이미지의 대상 적합성을 판단하는 단계(S330)를 포함할 수 있다. 이때, 대상 질병은 제1 질병 및 제2 질병 중 적어도 하나를 포함할 수 있다.
안저 이미지의 대상 적합성을 판단하는 것은, 안저 이미지가 대상 질병에 대응되도록 미리 결정된 품질 기준을 만족하는지 판단하는 것을 포함할 수 있다. 예컨대, 대상 적합성을 판단하는 것은, 대상 질병이 제1 질병인 경우 안저 이미지가 제1 품질 기준을 만족하는지 판단하고, 대상 질병이 제2 질병인 경우 안저 이미지가 제2 품질 기준을 만족하는지 판단하는 것을 포함할 수 있다.
품질 기준은 대상 영역에 대한 품질 기준을 포함할 수 있다. 예컨대, 품질 기준은 대상 영역에 분포하는 픽셀들의 픽셀 값(예컨대, 밝기 값) 또는 대상 영역에 분포하는 아티팩트의 양 또는 수 등에 대한 기준을 포함할 수 있다.
안저 이미지의 대상 적합성을 판단하는 것은 대상 질병이 제1 질병인 경우 안저 이미지의 제1 영역이 제1 품질 기준을 만족하는지 판단하고, 대상 질병이 제2 질병인 경우 안저 이미지의 제2 영역이 제2 품질 기준을 만족하는지 판단하는 것을 더 포함할 수 있다.
제1 질병은 제1 영역에 적어도 일부 기초하여 판단되는 제1 영역 대응 질병 군으로부터 선택될 수 있다. 예컨대, 제1 영역 대응 질병 군은, 안저 이미지의 내측 영역에 적어도 일부 기초하여 판단되는 질병의 군일 수 있다. 제1 영역 대응 질병 군이, 안저 이미지의 내측 영역에 적어도 일부 기초하여 판단되는 질병의 군인 경우, 황반부 또는 시신경 유두부는 일반적으로 촬영된 안저 이미지에 있어서 안저 영역의 내측 영역에 위치하므로, 황반 또는 시신경 유두의 형태에 근거하여 진단되는 질병, 병변 또는 소견의 경우 제1 질병 군에 해당할 수 있다.
제2 질병은 제1 영역과 적어도 일부 다른 제2 영역에 적어도 일부 기초하여 판단되는 제2 영역 대응 질병 군으로부터 선택될 수 있다. 예컨대, 제2 영역 대응 질병 군은 안저 이미지의 외측 영역에 적어도 일부 기초하여 판단되는 질병의 군일 수 있다. 제2 영역 대응 질병 군이, 안저 이미지의 외측 영역에 적어도 일부 기초하여 판단되는 질병의 군인 경우, 안저 이미지의 혈관 대부분이 안저 영역의 외측에 위치하므로, 혈관의 상태 또는 형태 등에 근거하여 진단되는 질병, 병변 또는 소견 등의 경우 제2 질병 군에 해당할 수 있다.
제1 영역 대응 질병 군에 속하는 질병이 대상 질병인 경우, 안저 이미지의 대상 적합성은, 제1 영역에 대한 제1 품질 기준에 기초하여 판단될 수 있다. 제2 영역 대응 질병 군에 속하는 질병이 대상 질병인 경우, 안저 이미지의 대상 적합성은, 제2 영역에 대한 제2 품질 기준에 기초하여 판단될 수 있다.
대상 질병은, 제1 또는 제2 아티팩트 대응 질병 군으로부터 선택될 수도 있다. 제1 또는 제2 아티팩트 대응 질병 군은 제1 또는 제2 아티팩트의 발생 위치와 그 검출 위치가 적어도 일부 중첩되는 질병의 군일 수 있다.
대상 질병은, 제1 또는 제2 품질 기준 대응 질병 군으로부터 선택될 수도 있다. 제1 또는 제2 아티팩트 대응 질병 군은 제1 또는 제2 품질 기준에서 각각 판단 대상이 되는 제1 또는 제2 영역으로부터 검출되는 질병의 군일 수 있다.
대상 영역은, 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 영역, 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 제2 영역, 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 제3 영역 및 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 제4 영역 중 선택된 적어도 하나의 영역을 포함할 수 있다. 대상 영역은, 본 명세서에서 설명하는 안저 이미지의 세부 영역 중 적어도 일부로 정해질 수 있다. 또는, 대상 영역은 사용자에 의해 결정될 수 있다.
품질 기준은 아티팩트의 유무에 대한 품질 기준을 포함할 수 있다. 다시 말해, 안저 이미지의 특정 질병에 대한 대상 적합성을 판단하기 위한 품질 기준은 질병에 대응되는 아티팩트의 유무에 대한 내용을 포함할 수 있다. 예컨대, 품질 기준은, 안저 이미지를 특정 질병에 대한 진단의 근거로 이용함에 있어서 방해되는 아티팩트의 유무에 대한 내용을 포함할 수 있다.
예컨대, 안저 이미지의 대상 적합성을 판단하는 것은, 대상 질병이 제1 질병인 경우, 제1 품질 기준을 판단하는 것은 안저 이미지가 제1 질병에 대응되는 제1 아티팩트를 포함하는지 판단하는 것을 포함하고, 대상 질병이 제2 질병인 경우, 제2 품질 기준을 판단하는 것은 안저 이미지가 제2 질병에 대응되는 제2 아티팩트를 포함하는지 판단하는 것을 더 포함할 수 있다.
제1 질병에 대응되는 제1 아티팩트는 제1 질병에 연관된 제1 영역으로부터 검출될 수 있다. 제2 질병에 대응되는 제2 아티팩트는 제2 질병에 연관된 제2 영역으로부터 검출될 수 있다.
제1 질병은 안저 이미지의 안저 영역의 중심으로부터 소정 거리 이내의 제1 영역에 적어도 일부 기초하여 진단되고, 제1 아티팩트는 제 1 영역에서 검출되는 아티팩트일 수 있다.
예컨대, 제1 질병은 안저 영역 내의 시신경 유두가 분포하는 시신경 유두부에 기초하여 진단되는 녹내장이고, 제1 영역은 안저 영역의 중심으로부터 안저 이미지상의 시신경 유두를 포함하도록 결정될 수 있다.
제2 질병은 안저 영역 전체를 포함하는 제2 영역의 임의의 위치에 적어도 일부 기초하여 진단되고, 제2 아티팩트는 제2 영역에서 검출되는 아티팩트일 수 있다.
예컨대, 제2 질병은 안저 영역의 임의의 위치에서 검출되는 출혈 소견이고, 제2 영역은 안저 영역 전체를 포함하도록 결정될 수 있다.
도 56의 (a)는 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 56의 (a)를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S310), 안저 이미지의 대상 적합성을 판단하는 단계(S330) 및 판단 결과에 기초하여 안저 이미지의 적합성 정보를 획득하는 단계(S351)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 적합성 판단 방법은, 대상 적합성 판단 결과에 기초하여, 안저 이미지의 적합성 정보를 획득하는 단계(S351)를 더 포함할 수 있다.
적합성 정보를 획득하는 것은, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우, 안저 이미지가 제1 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하는 것을 포함할 수 있다.
적합성 정보를 획득하는 것은, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우, 안저 이미지가 제2 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하는 것을 포함할 수 있다.
대상 질병은 하나 이상의 질병을 포함할 수 있고, 이때, 각각의 대상 질병에 대하여 서로 다른 품질 기준이 대응될 수 있으므로, 안저 이미지는 대상 질병 별로 다른 적합성을 가질 수 있다.
예컨대, 대상 질병은 제1 질병 및 제2 질병을 포함할 수 있다. 이때, 안저 이미지의 대상 적합성을 판단하는 것은 안저 이미지에 대하여 제1 품질 기준 및 제2 품질 기준을 만족하는지 판단하는 것을 포함할 수 있다. 안저 이미지가 제1 품질 기준을 만족하되 제2 품질 기준을 만족하지 않는 것으로 판단된 경우, 안저 이미지의 적합성 정보를 획득하는 것은, 안저 이미지가 제1 질병에 대하여 적합하되, 제2 질병에 대하여 부적합함을 지시하는 적합성 정보를 획득하는 것을 포함할 수 있다.
도 56의 (b)는 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 56의 (b)를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S310), 안저 이미지의 대상 적합성을 판단하는 단계(S330) 및 안저 이미지에 기초하여 대상 질병에 대한 진단 정보를 획득하는 단계(S353)를 포함할 수 있다. 안저 이미지의 적합성 판단 방법은, 적합성 정보를 획득하는 단계(S351) 및 적합성 정보에 기초하여 대상 질병에 대한 진단 정보를 획득하는 단계(S353)를 포함할 수도 있다.
일 실시예에 따르면, 안저 이미지의 적합성 판단 방법은, 안저 이미지에 기초하여 대상 질병에 대한 진단 정보를 획득하는 단계를 더 포함할 수 있다.
진단 정보를 획득하는 단계는, 대상 질병이 제1 질병인 경우, 안저 이미지가 제1 품질 기준을 만족하면 제1 질병에 대한 제1 진단 보조 정보를 획득할 수 있다. 진단 정보를 획득하는 단계는, 대상 질병이 제2 질병인 경우, 안저 이미지가 제2 품질 기준을 만족하면 제2 질병에 대한 제2 진단 보조 정보를 획득하는 것을 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지의 적합성 판단 방법은, 안저 이미지에 대하여 적어도 하나의 품질 기준에 기초한 품질 판단을 선행적으로 수행하고, 대상 질병이 획득되면, 품질 판단 결과를 고려하여 대상 질병에 따른 적합성을 판단하는 것을 포함할 수 있다.
도 57은 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 57을 참조하면, 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S410), 안저 이미지가 품질 기준을 만족하는지 판단하는 단계(S430) 및 안저 이미지가 품질 기준을 만족하는지 판단하는 것에 기초하여, 안저 이미지의 대상 질병에 대한 대상 적합성을 판단하는 단계(S450)를 포함할 수 있다.
안저 이미지가 품질 기준을 만족하는지 판단하는 것은, 제1 영역과 관련된 제1 품질 기준을 만족하는지 여부를 판단하고, 안저 이미지가 제1 영역과 적어도 일부 구별되는 제2 영역과 관련되는 제2 품질 기준을 만족하는지 여부를 판단하는 것을 포함할 수 있다.
대상 적합성을 판단하는 것은, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우 안저 이미지가 제1 적합성을 만족하는 것으로 판단하고, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우 안저 이미지가 제2 적합성을 만족하는 것으로 판단하는 것을 포함할 수 있다.
안저 이미지가 품질 기준을 만족하는지 판단하는 것은, 제1 영역을 고려하여 제1 아티팩트의 유무를 판단하고, 제2 영역을 고려하여 제2 아티팩트의 유무를 판단하는 것을 포함할 수 있다.
안저 이미지가 제1 품질 기준을 만족하는지 판단하는 것은, 안저 이미지가 제1 아티팩트를 포함하는지 판단하는 것을 포함하고, 안저 이미지가 제2 품질 기준을 만족하는지 판단하는 것은, 안저 이미지가 제2 아티팩트를 포함하는지 판단하는 것을 포함할 수 있다.
제1 영역은 안저 이미지의 안저가 분포하는 안저 영역의 중심으로부터 소정 거리 이상 이격된 영역이고, 제2 영역은 안저 영역의 중심으로부터 소정 거리 이내의 영역일 수 있다.
제1 질병은 제1 영역에 적어도 일부 기초하여 판단되는 제1 영역 대응 질병 군으로부터 선택되고, 제2 질병은 제1 영역과 적어도 일부 다른 제2 영역에 적어도 일부 기초하여 판단되는 제2 영역 대응 질병 군으로부터 선택될 수 있다.
제1 영역 또는 제2 영역은, 안저 이미지의 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 외측 영역, 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 내측 영역, 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 시신경 유두 영역 및 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 황반 영역 중 선택된 적어도 하나의 영역을 포함할 수 있다.
도 58의 (a)는 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 58의 (a)를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S410), 안저 이미지가 품질 기준을 만족하는지 판단하는 단계(S430), 안저 이미지의 대상 질병에 대한 대상 적합성을 판단(S450) 및 적합성 단 결과에 기초하여 안저 이미지의 적합성 정보를 획득하는 단계(S471)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 적합성 판단 방법은, 판단 결과에 기초하여 안저 이미지의 적합성 정보를 획득하는 단계를 더 포함할 수 있다.
적합성 정보를 획득하는 것은, 대상 질병이 제1 질병이고 안저 이미지가 제1 품질 기준을 만족하는 경우, 안저 이미지가 제1 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하고, 대상 질병이 제2 질병이고 안저 이미지가 제2 품질 기준을 만족하는 경우, 안저 이미지가 제2 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하는 것을 포함할 수 있다.
도 58의 (b)는 본 발명의 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법을 설명하기 위한 도면이다. 도 58의 (b)를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지의 적합성 판단 방법은 안저 이미지를 획득하는 단계(S410), 안저 이미지가 품질 기준을 만족하는지 판단하는 단계(S430), 안저 이미지의 대상 질병에 대한 대상 적합성을 판단(S450) 및 안저 이미지에 기초하여 대상 질병에 대한 진단 정보를 획득하는 단계(S473)를 포함할 수 있다.
일 실시예에 따르면, 안저 이미지의 적합성 판단 방법은, 안저 이미지에 기초하여 대상 질병에 대한 진단 정보를 획득하는 단계를 더 포함할 수 있다.
진단 정보를 획득하는 단계는, 대상 질병이 제1 질병인 경우, 안저 이미지가 제1 품질 기준을 만족하면 제1 질병에 대한 제1 진단 보조 정보를 획득하고, 대상 질병이 제2 질병인 경우, 안저 이미지가 제2 품질 기준을 만족하면 제2 질병에 대한 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 품질 기준 및 제2 품질 기준은 독립적으로 판단될 수 있다.
대상 질병이 제1 질병 및 제2 질병을 포함하는 경우, 진단 정보를 획득하는 단계는, 안저 이미지가 제1 품질 기준을 불만족하는 경우 제1 질병 및 제2 질병에 대한 진단 보조 정보를 획득하지 아니하는 것을 포함할 수 있다.
대상 질병이 제1 질병 및 제2 질병을 포함하는 경우, 진단 정보를 획득하는 단계는, 안저 이미지가 제1 품질 기준을 만족하고, 제2 품질 기준을 만족하지 않는 경우, 제1 질병에 대한 제1 진단 보조 정보를 획득하고, 제2 진단 보조 정보를 획득하지 아니하는 것을 더 포함할 수 있다.
2.5 품질 판단 결과의 적용
전술한 이미지 품질 판단 방법 결과 얻어진 이미지의 품질 정보를 이용하여, 안저 이미지에 기초하여 질병의 진단을 수행하는 신경망 모델을 학습 또는 구동할 수 있다. 이하에서는, 이미지의 품질 정보를 이용하여 안저 이미지 데이터를 관리하는 방법, 신경망 모델을 학습하는 방법 및 신경망 모델을 이용하여 진단을 수행하는 방법 등에 대하여 몇몇 실시 예를 들어 설명한다.
또한, 전술한 것과 같이 대상 병변의 특성을 고려하여 이미지의 품질 또는 적합성을 판단하는 경우, 획득된 병변 대응 품질 정보 또는 병변 대응 적합성 정보는 안저 이미지가 이용되는 단계에 따라 다양한 형태로 이용될 수 있다.
이하에서 설명하는 데이터 관리, 신경망 모델의 학습 및 신경망 모델을 이용한 진단과 관련하여서는, 안저 이미지를 이용한 진단 보조 항목에서 설명한 안저 이미지 데이터, 신경망 모델 및 진단 등에 관한 내용이 유추 적용될 수 있다.
2.5.1 데이터 관리 단계
본 발명의 일 실시예에 따르면, 안저 이미지의 품질 판단 방법 또는 안저 이미지의 적합성 판단 방법은 데이터 관리 단계에서 이용될 수 있다.
안저 이미지 데이터 관리 단계에서는, 품질 기준 만족 여부에 따라 다수의 안저 이미지를 분류하여 관리할 수 있다. 또는, 대상 병변을 고려하여 품질 기준이 결정된 경우, 대상 병변 별로 적합성을 가지는 이미지들을 선별하여 관리할 수 있다.
예컨대, 안저 이미지 데이터 관리 단계에서는, 본 명세서에서 설명하는 안저 이미지의 품질 판단 방법 또는 안저 이미지의 적합성 판단 방법 등을 이용하여 안저 이미지 데이터를 분류, 선별 또는 구분할 수 있다. 그 결과, 목적에 맞게 이용될 수 있는 적어도 하나의 안저 이미지 데이터 세트가 획득될 수 있다.
본 발명의 일 실시예에 따르면, 데이터 관리 단계에서 안저 이미지의 품질 판단 방법이 이용될 수 있다. 일 실시 예로서, 안저 이미지의 품질 판단을 이용한 안저 이미지 데이터의 관리 방법이 제공될 수 있다. 일 실시예에 따르면, 데이터 관리 방법은 안저 이미지의 품질 정보에 기초하여 안저 이미지를 관리하는 것을 포함할 수 있다. 이하에서 설명하는 데이터의 관리 방법은 전술한 이미지 관리 장치, 제어부 또는 프로세서 등에 의하여 수행될 수 있다.
일 실시예에 따르면, 안저 이미지의 품질 판단을 이용한 안저 이미지 데이터의 관리 방법에 의하여, 품질 정보에 따른 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트가 획득될 수 있다. 안저 이미지 데이터 세트는 품질 정보에 따라 분류된 복수의 안저 이미지를 포함할 수 있다.
본 발명의 일 실시예에 따른 데이터 관리 방법은, 안저 이미지의 품질 정보에 기초하여 안저 이미지에 품질 정보를 부여하는 것을 포함할 수 있다. 예컨대, 안저 이미지에는 품질 정보가 태깅 또는 라벨링될 수 있다(예컨대, 전술한 품질 정보 관리부 또는 품질 판단부에서 안저 이미지에 품질 정보를 부여할 수 있다). 품질 정보는 안저 이미지의 정상 또는 비정상 정보, 안저 이미지의 아티팩트 포함 여부, 안저 이미지의 영역 별 품질 정보 등을 포함할 수 있다.
예컨대, 데이터 관리 방법은, 제1 안저 이미지의 품질 정보에 기초하여 제1 안저 이미지에 제1 품질 정보를 부여하고, 제2 안저 이미지의 품질 정보에 기초하여 제2 안저 이미지에 제1 품질 정보와 다른 제2 품질 정보를 부여하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 데이터 관리 방법은, 안저 이미지의 품질 정보에 기초하여 복수의 안저 이미지를 포함하는 안저 데이터 세트를 생성, 저장 및/또는 관리하는 것을 포함할 수 있다.
예컨대, 본 발명의 일 실시예에 따른 데이터 관리 방법에 의하면, 제1 품질 정보를 가지는 복수의 안저 이미지를 포함하는 제1 안저 이미지 데이터 세트 및 제2 품질 정보를 가지는 복수의 안저 이미지를 포함하는 제2 안저 이미지 데이터 세트가 제공될 수 있다. 구체적인 예로, 제1 안저 이미지 데이터 세트는 안저 이미지가 정상임을 지시하는 정상 품질 정보가 부여된 복수의 안저 이미지를 포함할 수 있다. 제2 안저 이미지 데이터 세트는 안저 이미지가 비정상(예컨대, 흠결, 아티팩트 또는 이상 상태를 포함하는 경우)임을 나타내는 비정상 품질 정보가 부여된 복수의 안저 이미지를 포함할 수 있다.
품질 정보는 이미지 품질 판단 항목에서 전술한 바와 같이 다양한 정보를 포함할 수 있다. 예컨대, 품질 정보는 다양한 세부 정보를 포함할 수 있다. 이와 관련하여, 품질 정보에 따라 생성되는 안저 이미지 데이터 세트는 복수의 서브 데이터 세트를 포함할 수도 있다.
본 발명의 다른 일 실시예에 따르면, 데이터 관리 단계에서 안저 이미지의 적합성 판단 방법이 이용될 수 있다. 본 발명의 일 실시 예로서, 안저 이미지의 적합성 판단을 이용한 안저 이미지 데이터의 관리 방법이 제공될 수 있다. 이하에서 설명하는 데이터의 관리 방법은 전술한 이미지 관리 장치, 제어부 또는 프로세서 등에 의하여 수행될 수 있다.
일 실시예에 따르면, 안저 이미지의 적합성 판단을 이용한 안저 이미지 데이터의 적합성 판단 방법에 의하여, 적합성 정보에 따른 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트가 획득될 수 있다. 안저 이미지 데이터 세트는 적합성 정보에 따라 분류된 복수의 안저 이미지를 포함할 수 있다.
본 발명의 일 실시예에 따른 데이터 관리 방법은, 안저 이미지의 적합성 정보에 기초하여 안저 이미지에 적합성 정보를 부여하는 것을 포함할 수 있다. 예컨대, 안저 이미지에는 적합성 정보가 태깅 또는 라벨링될 수 있다(예컨대, 전술한 적합성 정보 관리부 또는 적합성 판단부에서 안저 이미지에 적합성 정보를 부여할 수 있다). 적합성 정보는 안저 이미지의 대상 질병에 대한 적합성 정보를 포함할 수 있다. 적합성 정보는 대상 질병의 식별 정보 및 안저 이미지의 대상 질병에 대한 적합성 정보를 포함할 수 있다.
예컨대, 데이터 관리 방법은, 제1 안저 이미지의 적합성 정보에 기초하여 제1 안저 이미지에 제1 적합성 정보를 부여하고, 제2 안저 이미지의 적합성 정보에 기초하여 제2 안저 이미지에 제1 적합성 정보와 다른 제2 적합성 정보를 부여하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 데이터 관리 방법은, 안저 이미지의 적합성 정보에 기초하여 복수의 안저 이미지를 포함하는 안저 데이터 세트를 생성, 저장 및/또는 관리하는 것을 포함할 수 있다.
예컨대, 본 발명의 일 실시예에 따른 데이터 관리 방법에 의하면, 제1 적합성 정보를 가지는 복수의 안저 이미지를 포함하는 제1 안저 이미지 데이터 세트 및 제2 적합성 정보를 가지는 복수의 안저 이미지를 포함하는 제2 안저 이미지 데이터 세트가 제공될 수 있다. 구체적인 예로, 제1 안저 이미지 데이터 세트는 안저 이미지가 제1 질병에 대하여 적합한 것으로 판단되었음을 지시하는 제1 적합성 정보가 부여된 복수의 안저 이미지를 포함할 수 있다. 제2 안저 이미지 데이터 세트는 안저 이미지가 제2 질병에 대하여 적합한 것으로 판단되었음을 지시하는 제2 적합성 정보가 부여된 복수의 안저 이미지를 포함할 수 있다.
적합성 정보는 이미지 적합성 판단 항목에서 전술한 바와 같이 다양한 정보를 포함할 수 있다. 예컨대, 적합성 정보는 다양한 세부 정보를 포함할 수 있고, 적합성 정보에 기초하여 생성되는 안저 이미지 데이터 세트는 복수의 서브 데이터 세트를 포함할 수도 있다.
데이터 베이스는 식별 정보에 기초하여 관리될 수 있다. 예컨대, 데이터 베이스는 안저 이미지의 식별 정보, 질병의 식별 정보, 영역의 식별 정보, 아티팩트의 식별 정보에 기초하여 관리될 수 있다. 또 예컨대, 데이터 베이스는 식별 정보 및 품질 정보 및/또는 적합성 정보를 연관하여 관리될 수 있다.
구체적인 예로, 대상 영역 및 대상 질병이 연관되어 관리되는 경우 대상 영역의 식별 정보와 대상 질병의 식별 정보는 매칭되어 저장될 수 있다. 대상 질병과 대상 아티팩트가 연관되어 관리되는 경우, 대상 질병의 식별 정보와 대상 아티팩트의 식별 정보는 매칭되어 저장될 수 있다. 다른 구체적인 예로, 안저 이미지가 품질 정보 및/또는 적합성 정보를 가지는 경우, 안저 이미지와 품질 정보 및/또는 적합성 정보는 매칭되어 저장될 수 있다.
2.5.2 학습 단계
신경망 모델을 트레이닝 또는 학습하는 단계에서는, 품질 정보 또는 적합성 정보를 이용하여 안저 이미지 데이터 세트를 이용하여 신경망 모델을 학습할 수 있다. 예컨대, 신경망 모델의 학습 시, 모델의 기능 또는 목적과 관련하여, 품질 정보 또는 적합성 정보에 기초하여 생성된 안저 이미지 데이터 세트를 선택적으로 이용할 수 있다. 신경망 모델의 학습, 특히 진단 보조 신경망 모델의 학습과 관련하여서는, 진단 보조 항목에서 전술한 진단 보조 신경망 모델에 관한 내용이 유추 적용될 수 있다.
본 발명의 일 실시예에 따르면, 신경망 모델은 본 명세서에서 설명하는 안저 이미지의 품질 판단 방법을 이용하여 획득된 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
일 예로, 신경망 모델은 품질 판단 방법에 따라 정상 이미지로 판단된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은 품질 정보가 부여된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은 정상 정보가 라벨링된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
예컨대, 신경망 모델은 안저 이미지 데이터 세트는 전술한 이미지 품질 판단 방법 항목에서 설명한 다양한 실시 예에 따라 판단된 품질 정보에 기초하여 획득된 안저 이미지 데이터 세트에 의해 학습될 수 있다. 예컨대, 진단 보조 신경망 모델은 정상 품질 정보가 라벨링된 안저 이미지만을 포함하는 안저 이미지 데이터 세트에 의하여 학습될 수 있다.
정상 이미지로 판단되어 정상 정보가 라벨링된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습된 신경망 모델은, 정상 이미지와 비정상 이미지를 모두 포함하는 안저 이미지 데이터 세트를 이용하여 학습된 신경망 모델보다 향상된 예측 정확도를 가질 수 있다.
다른 예로, 신경망 모델은, 영역을 고려한 품질 판단 방법에 따라 획득된 품질 정보를 포함하는 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은 특정 영역에 대한 품질 정보가 부여된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
예컨대, 신경망 모델은, 제1 영역에 대한 품질 정보가 라벨링된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 예컨대, 진단 보조 신경망 모델은, 제1 영역에 대하여 품질 정보를 만족함을 나타내는 제1 품질 정보를 가지는 복수의 안저 이미지만을 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
특정 영역에 대하여 정상 품질 정보를 가지는 안저 이미지들로 구성된 학습 데이터를 이용하여 학습된 신경망 모델의 경우, 무작위의 안저 이미지를 가지는 학습 데이터를 이용하여 학습된 신경망 모델에 비하여, 특정 영역에 적어도 일부 기초하여 진단되는 질병에 대한 진단 보조 정보의 예측 정확도가 향상될 수 있다.
또 예컨대, 신경망 모델은, 제1 영역에 대한 품질 정보를 불만족함을 나타내는 제2 품질 정보를 가지는 복수의 안저 이미지만을 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
특정 영역에 대하여 비정상 품질 정보를 가지는 안저 이미지들로 구성된 학습 데이터를 이용하여 학습된 신경망 모델의 경우, 무작위의 안저 이미지를 가지는 학습 데이터를 이용하여 학습된 신경망 모델에 비하여, 특정 영역의 품질이 저하된 안저 이미지를 입력으로 하는 경우에 보다 강화된 결과를 출력할 수 있다.
또 다른 예로, 신경망 모델은, 아티팩트를 고려한 품질 판단 방법에 따라 획득된 품질 정보를 포함하는 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은, 아티팩트의 유무를 지시하는 품질 정보가 부여된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트에 의하여 학습될 수 있다.
예컨대, 신경망 모델은 제1 아티팩트를 포함하지 않는 것으로 판단된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 예컨대, 진단 보조 신경망 모델은 제1 아티팩트를 포함하지 않음을 지시하는 품질 정보가 라벨링된 복수의 안저 이미지로 구성된 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
아티팩트를 포함하지 않는 안저 이미지들로 구성된 안저 이미지 데이터를 이용하여 학습된 신경망 모델의 경우, 임의의 안저 이미지들로 구성된 안저 이미지 데이터를 이용하여 학습된 신경망 모델에 비하여, 향상된 예측 정확도를 가질 수 있다.
또 예컨대, 진단 보조 신경망 모델은, 제1 아티팩트를 포함하는 것으로 판단된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 예컨대, 진단 보조 신경망 모델은 제1 아티팩트를 포함함을 지시하는 품질 정보가 라벨링된 복수의 안저 이미지로 구성된 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
특정 아티팩트를 포함하는 안저 이미지들로 구성된 안저 이미지 데이터를 이용하여 학습된 신경망 모델의 경우, 임의의 안저 이미지들로 구성된 안저 이미지 데이터를 이용하여 학습된 신경망 모델에 비하여, 특정 아티팩트에 강인(robust)한 특성을 가질 수 있다. 즉, 특정 아티팩트를 포함하는 안저 이미지들로 구성된 안저 이미지 데이터를 이용하여 학습된 신경망 모델은, 특정 아티팩트를 포함하는 안저 이미지를 입력으로 하는 경우에, 보다 향상된 예측 정확도를 보일 수 있다.
본 발명의 일 실시예에 따르면, 진단 보조 신경망 모델은 본 명세서에서 설명하는 안저 이미지의 적합성 판단을 이용하여 획득된 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
일 예로, 신경망 모델은 적합성 판단 방법에 따라 대상 질병에 대하여 적합한 이미지로 판단된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은 대상 질병에 대한 적합성 정보가 부여된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
예컨대, 신경망 모델은 대상 질병에 적합한 안저 이미지들을 포함하는 안저 이미지데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은 안저 이미지가 제1 대상 질병에 대하여 적합함을 지시하는 제1 적합성 정보가 라벨링된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
대상 질병에 적합한 것으로 판단된 안저 이미지들로 구성된 학습 데이터를 이용하여 학습된 신경망 모델은, 임의의 안저 이미지들로 구성된 학습 데이터를 이용하여 학습된 안저 이미지에 비하여, 대상 질병과 관련된 진단 보조 정보 예측에 있어서 보다 향상된 정확도를 가질 수 있다.
또 예컨대, 신경망 모델은 대상 질병에 부적합한 안저 이미지들을 포함하는 안저 이미지데이터 세트를 이용하여 학습될 수 있다. 진단 보조 신경망 모델은 안저 이미지가 제1 대상 질병에 대하여 부적합 함을 지시하는 제2 적합성 정보가 라벨링된 복수의 안저 이미지를 포함하는 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
대상 질병에 부적합한 것으로 판단된 안저 이미지들로 구성된 학습 데이터를 이용하여 학습된 신경망 모델은, 임의의 안저 이미지들로 구성된 학습 데이터를 이용하여 학습된 안저 이미지에 비하여, 대상 질병과 관련된 진단 보조 정보 예측에 있어서, 안저 이미지의 품질이 저조한 경우에도 보다 향상된 정확도를 가질 수 있다.
본 명세서에서 개시하는 안저 이미지의 적합성 판단 방법은 복수의 신경망 모델을 병렬적으로 이용하는 경우에도 이용될 수 있다. 예컨대, 복수의 신경망 모델을 학습하는 경우, 각 신경망 모델의 대상 질병에 대하여 적합성 판단된 안저 이미지를 학습에 이용할 수 있다. 복수의 신경망 모델의 병렬적 구성과 관련하여서는, 전술한 복수 라벨 대한 진단 시스템 항목의 내용이 유추 적용될 수 있다.
일 예로, 복수의 신경망 모델은, 제1 질병에 대한 진단을 보조하기 위한 제1 신경망 모델 및 제2 질병에 대한 진단을 보조하기 위한 제2 신경망 모델을 포함할 수 있다. 제1 신경망 모델은 제1 장치에서 학습 및/또는 구동될 수 있다. 제2 신경망 모델은 제1 장치에서 학습 및/또는 구동될 수 있다. 제1 신경망 모델 및 제2 신경망 모델은 제3 장치에서 학습 및/또는 구동될 수 있다. 제1 신경망 모델 및/또는 제2 신경망 모델은 제4 장치에서 학습되고 제4 장치에서 구동될 수 있다.
이하에서는, 제1 신경망 모델 및 제2 신경망 모델이 이용되는 경우, 안저 이미지의 적합성 판단을 이용하여 각 신경망 모델을 학습하는 방법 등에 대하여 몇 가지 실시 예를 들어 설명한다.
본 발명의 일 실시예에 따르면, 진단 보조 신경망 모델을 학습하는 것은 제1 안저 이미지 데이터를 이용하여 제1 질병의 진단을 보조하기 위한 제1 신경망 모델을 학습하고, 제2 안저 이미지 데이터를 이용하여 제2 질병의 진단을 보조하기 위한 제2 신경망 모델을 학습하는 것을 포함할 수 있다. 다시 말해, 진단 보조 신경망 모델을 학습하는 것은, 제1 적합성 정보(또는 제1 품질 정보)가 라벨링된 제1 안저 이미지 데이터를 이용하여 제1 신경망 모델을 학습하고, 제2 적합성 정보(또는 제2 품질 정보)가 라벨링된 제2 안저 이미지 데이터를 이용하여 제2 신경망 모델을 학습하는 것을 포함할 수 있다.
예컨대, 진단 보조 신경망 모델을 학습하는 것은, 제1 질병에 대하여 적합한 것으로 판단된 복수의 안저 이미지를 포함하는 제1 안저 이미지 데이터를 이용하여 제1 질병의 진단을 보조하기 위한 제1 신경망 모델을 학습하고, 제1 질병과 다른 제2 질병에 대하여 적합한 것으로 판단된 복수의 안저 이미지를 포함하는 제2 안저 이미지 데이터를 이용하여 제2 질병의 진단을 보조하기 위한 제2 신경망 모델을 학습하는 것을 포함할 수 있다.
제1 안저 이미지 데이터는 제1 영역에 대하여 적합한 것으로 판단된 복수의 안저 이미지를 포함하고, 제1 질병은 제1 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다. 제2 안저 이미지 데이터는 제1 영역과 적어도 일부 상이한 제2 영역에 대하여 적합한 것으로 판단된 복수의 안저 이미지를 포함하고, 제2 질병은 제2 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다.
제1 안저 이미지 데이터는 제1 영역으로부터 적어도 일부 검출되는 제1 아티팩트를 포함하지 않는 것으로 판단된 복수의 안저 이미지를 포함하고, 제1 질병은 제1 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다. 제2 안저 이미지 데이터는 제1 영역과 적어도 일부 상이한 제2 영역으로부터 적어도 일부 검출되는 제2 아티팩트를 포함하지 않는 것으로 판단된 복수의 안저 이미지를 포함하고, 제2 질병은 제2 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다.
각 진단 보조 신경망 모델을 학습함에 있어서, 각 모델의 대상 질병에 대하여 적합한 안저 이미지 데이터 세트를 이용하는 경우, 각 신경망 모델에서 임의의(또는 동일한) 데이터 세트를 이용하여 모델을 학습하는 경우에 비하여, 각 신경망 모델의 개별 질병에 대한 진단 보조 정보 예측 정확도가 향상될 수 있다.
또 예컨대, 진단 보조 신경망 모델을 학습하는 것은, 제1 질병에 대하여 부적합한 것으로 판단된 복수의 안저 이미지를 포함하는 제1 안저 이미지 데이터를 이용하여, 제1 질병의 진단을 보조하기 위한 제1 신경망 모델을 학습하고, 제1 질병과 다른 제2 질병에 대하여 부적합한 것으로 판단된 복수의 안저 이미지를 포함하는 제2 안저 이미지 데이터를 이용하여, 제2 질병의 진단을 보조하기 위한 제2 신경망 모델을 학습하는 것을 포함할 수 있다.
제1 안저 이미지 데이터는 제1 영역에 대하여 부적합한 것으로 판단된 복수의 안저 이미지를 포함하고, 제1 질병은 제1 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다. 제2 안저 이미지 데이터는 제1 영역과 적어도 일부 상이한 제2 영역에 대하여 부적합한 것으로 판단된 복수의 안저 이미지를 포함하고, 제2 질병은 제2 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다.
제1 안저 이미지 데이터는 제1 영역으로부터 적어도 일부 검출되는 제1 아티팩트를 포함하는 것으로 판단된 복수의 안저 이미지를 포함하고, 제1 질병은 제1 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다. 제2 안저 이미지 데이터는 제1 영역과 적어도 일부 상이한 제2 영역으로부터 적어도 일부 검출되는 제2 아티팩트를 포함하는 것으로 판단된 복수의 안저 이미지를 포함하고, 제2 질병은 제2 영역에 대하여 적어도 일부 기초하여 진단되는 질병일 수 있다.
각 진단 보조 신경망 모델을 학습함에 있어서, 각 모델의 대상 질병에 대하여 적합한 안저 이미지 데이터 세트를 이용하는 경우, 각 신경망 모델에서 임의의(또는 동일한) 데이터 세트를 이용하여 모델을 학습하는 경우에 비하여, 각 신경망 모델의 개별 질병에 대한 진단 보조 정보 예측 정확도가 향상될 수 있다.
2.5.3 진단 단계
학습된 신경망 모델을 이용하여 진단 또는 진단 보조를 수행하는 단계에서는, 진단 대상 안저 이미지의 획득 시 품질 판단이 적용될 수 있다. 또한, 진단에 이용되는 신경망 모델의 특정 질병의 진단을 위한 것인 경우, 해당 질병에 적합성을 가지는 안저 이미지를 진단 대상 이미지로 이용할 수 있다. 신경망 모델은 전술한 이미지 품질 판단 또는 적합성 판단을 통하여 얻어진 안저 이미지 데이터 세트를 이용하여 학습된 진단 보조 신경망 모델일 수 있다.
본 발명의 일 실시예에 따르면, 신경망 모델은 본 명세서에서 설명하는 안저 이미지의 품질 판단 방법을 이용하여 획득된 안저 이미지를 입력으로 하여 진단 보조 정보를 출력할 수 있다.
일 예로, 진단 보조 방법은, 신경망 모델을 이용하여 품질 판단 방법에 따라 정상 이미지로 판단된 안저 이미지에 기초하여 진단 보조 정보를 출력하는 것을 포함할 수 있다. 예컨대, 본 발명의 일 실시예에 따른 진단 보조 방법은, 진단 대상 안저 이미지의 품질을 판단하고, 정상 품질을 가지는 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 진단 보조 방법은, 진단 대상 안저 이미지의 품질을 판단하고, 비정상 품질을 가지는 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다. 이때, 대상 안저 이미지가 비정상 임을 지시하는 품질 정보는, 대상 안저 이미지에 기초하여 획득된 진단 보조 정보와 함께 출력될 수 있다. 또는, 본 발명의 일 실시예에 따른 진단 보조 방법은, 진단 대상 안저 이미지의 품질을 판단하고, 안저 이미지가 비정상 품질을 가지는 경우, 사용자에게 재촬영 알림을 제공하거나 재촬영 모드로 전환하는 것을 포함할 수 있다.
안저 이미지의 정상 여부에 대한 품질 판단 결과에 기초하여 선택된 대상 안저 이미지를 이용하여 진단 보조 정보를 획득하는 경우, 흠결을 가지는 안저 이미지에 기초한 진단 보조 정보의 출력이 방지될 수 있으므로, 진단 보조 시스템의 신뢰도가 증진될 수 있다.
다른 예로, 진단 보조 방법은, 대상 영역에 대하여 품질 기준을 만족하는 대상 안저 이미지에 기초하고 신경망 모델을 이용하여 진단 보조 정보를 획득하는 것을 더 포함할 수 있다. 예컨대, 본 발명의 일 실시예에 따른 진단 보조 방법은, 진단 대상 안저 이미지의 대상 영역의 품질을 판단하고, 대상 영역에 대하여 정상 품질을 가지는 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 진단 보조 방법은, 진단 대상 안저 이미지의 품질을 판단하고, 대상 영역에 대하여비정상 품질을 가지는 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다. 이때, 대상 안저 이미지가 대상 영역에 대하여 비정상 임을 지시하는 품질 정보가 대상 안저 이미지에 기초하여 획득된 진단 보조 정보와 함께 출력될 수 있다. 또는, 본 발명의 일 실시예에 따른 진단 보조 방법은, 안저 이미지의 대상 영역이 비정상 품질을 가지는 경우, 사용자에게 재촬영 알림을 제공하거나 재촬영 모드로 전환하는 것을 포함할 수 있다.
대상 영역에 대하여 품질 기준을 만족하는 안저 이미지로 선택된 대상 안저 이미지에 기초하여 진단 보조 정보를 획득하는 경우, 대상 영역과 연관된 대상 질병에 대한 진단 보조 정보의 정확도가 향상될 수 있다.
다른 예로, 진단 보조 방법은, 진단 보조 방법은, 대상 아티팩트와 관련하여 품질 기준을 만족하는 대상 안저 이미지에 기초하고 신경망 모델을 이용하여 진단 보조 정보를 획득하는 것을 더 포함할 수 있다. 예컨대, 본 발명의 일 실시예에 따른 진단 보조 방법은, 진단 대상 안저 이미지의 대상 아티팩트 포함 유무를 판단하고, 대상 아티팩트를 포함하지 않는 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 진단 보조 방법은, 진단 대상 안저 이미지의 품질을 판단하고, 대상 아티팩트에 대하여 비정상 품질을 가지는 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다. 이때, 대상 안저 이미지가 대상 아티팩트를 포함함을 지시하는 품질 정보가 대상 안저 이미지에 기초하여 획득된 진단 보조 정보와 함께 출력될 수 있다. 또는, 본 발명의 일 실시예에 따른 진단 보조 방법은, 안저 이미지가 대상 아티팩트를 포함하는 경우, 사용자에게 재촬영 알림을 제공하거나 재촬영 모드로 전환하는 것을 포함할 수 있다.
대상 아티팩트를 포함하지 아니하는 안저 이미지로 선택된 대상 안저 이미지에 기초하여 진단 보조 정보를 획득하는 경우, 대상 아티팩트가 발생하는 영역과 연관된 대상 질병에 대한 진단 보조 정보의 정확도가 향상될 수 있다.
본 발명의 일 실시예에 따르면, 진단 보조 신경망 모델은 본 명세서에서 설명하는 안저 이미지의 적합성 판단을 이용하여 획득된 안저 이미지 데이터 세트를 이용하여 학습될 수 있다.
일 예로, 진단 보조 방법은, 신경망 모델을 이용하여 적합성 판단 방법에 따라 대상 질병에 대하여 적합한 이미지로 판단된 안저 이미지에 기초하여 진단 보조 정보를 출력하는 것을 포함할 수 있다. 예컨대, 본 발명의 일 실시예에 따른 진단 보조 방법은, 진단 대상 안저 이미지의 적합성을 판단하고, 대상 질병에 대하여 적합한 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 진단 보조 방법은, 진단 대상 안저 이미지의 적합성을 판단하고, 대상 질병에 대하여 부적합한 것으로 판단된 안저 이미지에 기초하여 진단 보조 신경망 모델로부터 진단 보조 정보를 획득하는 것을 포함할 수 있다. 이때, 대상 안저 이미지가 부적합 함을 지시하는 적합성 정보는, 대상 안저 이미지에 기초하여 획득된 진단 보조 정보와 함께 출력될 수 있다. 또는, 본 발명의 일 실시예에 따른 진단 보조 방법은, 진단 대상 안저 이미지의 적합성을 판단하고, 안저 이미지가 대상 질병에 대하여 부적합한 경우, 사용자에게 재촬영 알림을 제공하거나 재촬영 모드로 전환하는 것을 포함할 수 있다.
안저 이미지의 적합성 여부에 대한 품질 판단 결과에 기초하여 선택된 대상 안저 이미지를 이용하여 진단 보조 정보를 획득하는 경우, 대상 질병에 대하여 특히 부적합한 흠결을 가지는 이미지는 대상 안저 이미지에서 제외될 수 있는 바, 대상 질병에 대한 진단 보조 시스템의 신뢰도가 증진될 수 있다.
본 명세서에서 개시하는 안저 이미지의 적합성 판단 방법은 복수의 신경망 모델을 병렬적으로 이용하여 진단 보조 정보를 획득하는 경우에도 이용될 수 있다. 예컨대, 복수의 신경망 모델을 이용하여 진단 보조 정보를 획득하는 경우, 복수의 적합성 기준 또는 조건이 이용될 수 있다.
예컨대, 제1 질병에 대한 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델의 경우, 제1 적합성 조건을 만족하는 안저 이미지를 대상 안저 이미지로 하여 진단 보조 정보를 획득할 수 있다. 제2 질병에 대한 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델의 경우, 제2 적합성 조건을 만족하는 안저 이미지를 대상 안저 이미지로 하여 진단 보조 정보를 획득할 수 있다.
복수의 신경망 모델은, 제1 질병에 대한 진단을 보조하기 위한 제1 신경망 모델 및 제2 질병에 대한 진단을 보조하기 위한 제2 신경망 모델을 포함할 수 있다. 제1 신경망 모델은 제1 장치에서 학습 및/또는 구동될 수 있다. 제2 신경망 모델은 제1 장치에서 학습 및/또는 구동될 수 있다. 제1 신경망 모델 및 제2 신경망 모델은 제3 장치에서 학습 및/또는 구동될 수 있다. 제1 신경망 모델 및/또는 제2 신경망 모델은 제4 장치에서 학습되고 제4 장치에서 구동될 수 있다.
이하에서는, 제1 신경망 모델 및 제2 신경망 모델을 이용하여 안저 이미지의 적합성 판단을 고려하여 진단 보조 정보를 획득하는 방법 등에 대하여 몇 가지 실시 예를 들어 설명한다.
본 발명의 일 실시예에 따르면, 진단 보조 방법은, 대상 안저 이미지에 대하여 제1 질병의 진단을 보조하기 위한 제1 신경망 모델에 대응되는 제1 적합성을 만족하는지 판단하고, 대상 안저 이미지에 대하여 제2 질병의 진단을 보조하기 위한 제2 신경망 모델에 대응되는 제2 적합성을 만족하는지 판단하는 것을 포함할 수 있다.
대상 안저 이미지가 제1 적합성을 만족하고, 제2 적합성을 만족하는 경우, 진단 보조 방법은, 제1 신경망 모델을 이용하여 대상 안저 이미지에 기초한 제1 진단 보조 정보를 획득하고, 제2 신경망 모델을 이용하여 대상 안저 이미지에 기초한 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
대상 안저 이미지가 제1 적합성 조건을 만족하되, 제2 적합성 조건을 만족하지 않는 경우, 진단 보조 방법은, 제1 진단 보조 신경망 모델을 이용하여 대상 안저 이미지에 기초하여 제1 진단 보조 정보를 획득하고, 제1 진단 보조 정보만을 출력할 수 있다. 이때, 대상 안저 이미지가 제2 적합성 조건을 불만족 함을 나타내는 제2 적합성 정보를 함께 출력될 수 있다. 또는, 진단 보조 방법은, 제1 진단 보조 정보와, 제2 진단 보조 신경망 모델을 이용하여 대상 안저 이미지에 기초하여 획득된 제2 진단 보조 정보를 출력하되, 제2 적합성 정보를 함께 출력하는 것을 포함할 수 있다.
대상 안저 이미지가 제1 적합성 조건 및 제2 적합성 조건을 만족하지 않는 경우, 진단 보조 정보를 획득되지 않을 수 있다. 이때, 대상 안저 이미지가 제1 적합성 조건 및 제2 적합성 조건을 불만족 함을 나타내는 제1 적합성 정보 및 제2 적합성 정보가 사용자에게 제공될 수 있다. 또는, 진단 보조 방법은, 제2 진단 보조 신경망 모델을 이용하여 대상 안저 이미지에 기초하여 획득된 제1 진단 보조 정보 및 제2 진단 보조 신경망 모델을 이용하여 대상 안저 이미지에 기초하여 획득된 제2 진단 보조 정보를 출력하되, 제1 적합성 정보 및 제2 적합성 정보를 함께 출력하는 것을 포함할 수 있다.
일 예에 따르면, 대상 안저 이미지가 제1 적합성 조건을 만족하지 판단하는 것은, 대상 안저 이미지의 제1 영역이 품질 기준을 만족하는지 판단하는 것을 포함할 수 있다. 대상 안저 이미지가 제2 적합성 조건을 만족하지 판단하는 것은, 대상 안저 이미지의 제1 영역과 적어도 일부 상이한 제2 영역이 품질 기준을 만족하는지 판단하는 것을 포함할 수 있다.
일 예에 따르면, 대상 안저 이미지가 제1 적합성 조건을 만족하지 판단하는 것은, 대상 안저 이미지가 제1 아티팩트를 포함하는지 판단하는 것을 포함할 수 있다. 대상 안저 이미지가 제2 적합성 조건을 만족하지 판단하는 것은, 대상 안저 이미지가 제1 아티팩트와 다른 제2 아티팩트를 포함하는지 판단하는 것을 포함할 수 있다.
복수의 대상 질병을 진단하기 위한 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하는 경우, 질병 별로 진단에 영향을 미치는 흠결이 상이할 수 있다. 따라서, 각각의 진단 보조 신경망 모델 별로, 진단 대상 질병에 대응되는 적합성을 가지는 안저 이미지에 기초하여 진단 보조 정보를 획득함으로써 진단 보조 정보의 신뢰도가 보장될 수 있다.
또한, 대상 안저 이미지가 부적합한 경우에도 사용자에게 진단 보조 정보와 적합성 정보를 함께 제공함으로써, 사용자의 주체적 판단이 보조될 수 있다.
이상에서는, 안저 이미지의 품질 판단 또는 적합성 판단 방법을 데이터 베이스 구축, 신경망 모델의 학습 및 신경망 모델의 구동에 적용하는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니다. 안저 이미지가 아닌 이미지의 경우라도, 이미지에 소정 영역에 흠결이 발생할 수 있고, 이미지에 기초하여 소정의 정보가 획득되는 경우, 본 명세서에서 개시하는 발명의 내용이 유추 적용될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (37)
- 안저 이미지에 기초한 질병의 진단 보조 방법에 있어서,
상기 안저 이미지를 획득하는 단계; 및
상기 안저 이미지에 기초하여, 상기 안저 이미지에 대응되는 아티팩트 정보를 획득하는 단계;
상기 아티팩트 정보에 기초하여, 상기 안저 이미지에 기초하여 진단할 수 있는 질병을 나타내는 대상 질병을 결정하는 단계; 및
상기 안저 이미지에 기초하여, 상기 대상 질병에 대한 진단 보조 정보를 획득하는 단계; 를 포함하되,
상기 대상 질병을 결정하는 것은,
상기 아티팩트 정보에 기초하여, 제1 질병에 대응되는 상기 안저 이미지의 제1 영역에 대한 품질 기준이 만족되었는지 판단하는 단계;
상기 아티팩트 정보에 기초하여, 제2 질병에 대응되는 상기 안저 이미지의 제2 영역에 대한 품질 기준이 만족되었는지 판단하는 단계; 및
상기 제1 영역 및 상기 제2 영역 중 품질 기준이 만족되는 영역에 대응되는 질병을 대상 질병으로 결정하는 단계; 를 포함하는
진단 보조 방법.
- 제1항에 있어서,
상기 제1 영역에 대한 품질 기준이 만족되었는지 판단하는 것은, 상기 제1 영역에 대하여 제1 품질 기준이 만족되었는지 판단하는 것을 포함하고,
상기 제2 영역에 대한 품질 기준이 만족되었는지 판단하는 것은, 상기 제2 영역에 대하여 제2 품질 기준이 만족되었는지 판단하는 것을 포함하는,
진단 보조 방법.
- 제1항에 있어서,
상기 제1 질병은 제1 영역에 적어도 일부 기초하여 판단되는 제1 영역 대응 질병 군으로부터 선택되고,
상기 제2 질병은 제1 영역과 적어도 일부 다른 제2 영역에 적어도 일부 기초하여 판단되는 제2 영역 대응 질병 군으로부터 선택되는
진단 보조 방법.
- 제2항에 있어서,
상기 제1 영역 또는 상기 제2 영역은, 상기 안저 이미지의 상기 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 제1 안저 영역, 상기 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 제2 안저 영역, 상기 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 제3 안저 영역 및 상기 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 제4 안저 영역 중 선택된 적어도 하나의 영역을 포함하는,
진단 보조 방법.
- 제2항에 있어서,
상기 제1 품질 기준을 판단하는 것은 상기 안저 이미지가 상기 제1 영역에 기초하여 상기 안저 이미지가 상기 제1 질병에 대응되는 제1 아티팩트를 포함하는지 판단하는 것을 포함하고,
상기 제2 품질 기준을 판단하는 것은 상기 안저 이미지가 상기 제2 영역에 기초하여 상기 안저 이미지가 상기 제2 질병에 대응되는 제2 아티팩트를 포함하는지 판단하는 것을 더 포함하는
진단 보조 방법.
- 제5항에 있어서,
상기 제1 질병에 대응되는 제1 아티팩트는 상기 제1 질병에 연관된 제1 영역으로부터 검출되고, 상기 제2 질병에 대응되는 제2 아티팩트는 상기 제2 질병에 연관된 제2 영역으로부터 검출되는,
진단 보조 방법.
- 제 5항에 있어서,
상기 제1 질병은 상기 상기 안저 이미지의 상기 안저 영역의 중심으로부터 소정 거리 이내의 제1 영역에 적어도 일부 기초하여 진단되고, 상기 제1 아티팩트는 상기 제 1 영역에서 검출되는 아티팩트이고,
상기 제2 질병은 상기 안저 영역 전체를 포함하는 제2 영역의 임의의 위치에 적어도 일부 기초하여 진단되고, 상기 제2 아티팩트는 상기 제2 영역에서 검출되는 아티팩트인
진단 보조 방법.
- 제7항에 있어서,
상기 제1 질병은 상기 안저 영역 내의 시신경 유두가 분포하는 시신경 유두부에 기초하여 진단되는 녹내장이고, 상기 제1 영역은 상기 안저 영역의 중심으로부터 상기 안저 이미지상의 상기 시신경 유두를 포함하도록 결정되고,
상기 제2 질병은 상기 안저 영역의 임의의 위치에서 검출되는 출혈 소견이고, 상기 제2 영역은 상기 안저 영역 전체를 포함하도록 결정되는,
진단 보조 방법.
- 제1항에 있어서,
상기 대상 질병에 대한 진단 보조 정보를 획득하는 단계는,
상기 아티팩트 정보에 기초하여, 상기 제1 질병에 대응되는 상기 제1 영역에 대한 품질 기준이 만족되는 것으로 판단되면, 상기 제1 질병에 대한 진단 보조 정보를 획득하고,
상기 아티팩트 정보에 기초하여, 상기 제2 질병에 대응되는 상기 제2 영역에 대한 품질 기준이 만족되는 것으로 판단되면, 상기 제2 질병에 대한 진단 보조 정보를 획득하는 것을 포함하는,
진단 보조 방법.
- 삭제
- 삭제
- 제1항에 있어서,
대상 질병은 녹내장, 백내장, 출혈, 드루젠, 삼출물, 면화반, 혼탁, 망막 색소 변화, 황반 천공, 황반 변성 및 미숙아 망막증을 포함하는 안질환, 당뇨병, 알츠하이머, 거대 세포 바이러스를 포함하는 전신 질환, 고혈압, 저혈압, 뇌졸중, 동맥 경화증, 협심증 및 심부전을 포함하는 심혈관계 질환 중 선택된 어느 하나인,
진단 보조 방법
- 안저 이미지에 기초한 질병의 진단 보조 방법에 있어서,
상기 안저 이미지를 획득하는 단계; 및
상기 안저 이미지에 기초하여, 상기 안저 이미지에 대응되는 아티팩트 정보를 획득하는 단계;
상기 아티팩트 정보에 기초하여, 상기 안저 이미지에 기초하여 진단할 수 있는 질병을 나타내는 대상 질병을 결정하는 단계; 및
상기 안저 이미지에 기초하여, 상기 대상 질병에 대한 진단 보조 정보를 획득하는 단계; 를 포함하되,
상기 대상 질병을 결정하는 것은,
상기 아티팩트 정보에 기초하여, 제1 질병에 대응되는 상기 안저 이미지의 제1 영역에 대한 품질 기준이 만족된 경우 상기 제1 질병을 대상 질병으로 결정하되, 상기 아티팩트 정보에 기초하여, 제2 질병에 대응되는 상기 안저 이미지의 제2 영역에 대한 품질 기준이 만족된 경우 상기 제2 질병을 대상 질병으로 결정하는 것을 포함하는,
진단 보조 방법.
- 삭제
- 제13항에 있어서,
상기 대상 질병을 결정하는 것은,
상기 아티팩트 정보에 기초하여, 상기 안저 이미지가 상기 제1 질병에 대응되는 제1 아티팩트를 포함하지 않는 경우, 상기 제1 질병을 대상 질병으로 결정하되,
상기 아티팩트 정보에 기초하여, 상기 안저 이미지가 제2 질병에 대응되는 제2 아티팩트를 포함하지 않는 경우, 상기 제2 질병을 대상 질병으로 결정하는 것을 포함하는,
진단 보조 방법.
- 제13항에 있어서,
상기 제1 영역은 상기 안저 이미지의 안저가 분포하는 안저 영역의 중심으로부터 소정 거리 이상 이격된 영역이고,
상기 제2 영역은 상기 안저 영역의 중심으로부터 소정 거리 이내의 영역인
진단 보조 방법.
- 제13항에 있어서,
상기 제1 질병은 제1 영역에 적어도 일부 기초하여 판단되는 제1 영역 대응 질병이고,
상기 제2 질병은 상기 제1 영역과 적어도 일부 다른 제2 영역에 적어도 일부 기초하여 판단되는 제2 영역 대응 질병인,
진단 보조 방법.
- 제13항에 있어서,
상기 제1 영역 또는 제2 영역은, 상기 안저 이미지의 상기 안저에 대응되는 영역의 중심으로부터 제1 거리 이상 이격된 외측 영역, 상기 안저에 대응되는 영역의 중심으로부터 제1 거리 이내인 내측 영역, 상기 안저에 대응되는 영역 중 시신경 유두가 분포하는 영역에 대응되는 시신경 유두 영역 및 상기 안저에 대응되는 영역 중 황반이 분포하는 영역에 대응되는 황반 영역 중 선택된 적어도 하나의 영역을 포함하는,
진단 보조 방법.
- 삭제
- 삭제
- 삭제
- 제13항에 있어서,
상기 진단 보조 정보를 획득하는 것은,
상기 안저 이미지가 상기 제1 질병에 대응되는 상기 안저 이미지의 상기 제1 영역에 대한 품질 기준을 만족하는 경우, 상기 안저 이미지가 상기 제1 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하고,
상기 안저 이미지가 상기 제2 질병에 대응되는 상기 안저 이미지의 상기 제2 영역에 대한 품질 기준을 만족하는 경우, 상기 안저 이미지가 상기 제2 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하는 것을 포함하는
진단 보조 방법.
- 제13항에 있어서,
대상 질병은 녹내장, 백내장, 출혈, 드루젠, 삼출물, 면화반, 혼탁, 망막 색소 변화, 황반 천공, 황반 변성 및 미숙아 망막증을 포함하는 안질환, 당뇨병, 알츠하이머, 거대 세포 바이러스를 포함하는 전신 질환, 고혈압, 저혈압, 뇌졸중, 동맥 경화증, 협심증 및 심부전을 포함하는 심혈관계 질환 중 선택된 어느 하나인,
진단 보조 방법.
- 안저 이미지에 기초한 대상 질병의 진단과 관련된 정보를 제공하는 진단 보조 장치에 있어서,
상기 안저 이미지를 획득하는 안저 이미지 획득부; 및
상기 안저 이미지에 기초하여 정보를 획득하는 처리부; 를 포함하되,
상기 처리부는, 상기 안저 이미지에 기초하여, 상기 안저 이미지에 대응되는 아티팩트 정보를 획득하고, 상기 아티팩트 정보에 기초하여, 상기 안저 이미지에 기초하여 진단할 수 있는 질병을 나타내는 대상 질병을 결정하고, 상기 안저 이미지에 기초하여, 상기 대상 질병에 대한 진단 보조 정보를 획득하되,
상기 처리부가 상기 대상 질병을 결정하는 것은, 상기 아티팩트 정보에 기초하여, 제1 질병에 대응되는 상기 안저 이미지의 제1 영역에 대한 품질 기준이 만족되었는지 판단하고, 상기 아티팩트 정보에 기초하여, 제2 질병에 대응되는 상기 안저 이미지의 제2 영역에 대한 품질 기준이 만족되었는지 판단하고, 상기 제1 영역 및 상기 제2 영역 중 품질 기준이 만족되는 영역에 대응되는 질병을 대상 질병으로 결정하는 것을 포함하는
진단 보조 장치.
- 제 24항에 있어서,
상기 처리부가 상기 제1 영역에 대한 품질 기준이 만족되었는지 판단하는 것은, 상기 제1 영역에 대하여 제1 품질 기준이 만족되었는지 판단하는 것을 포함하고,
상기 처리부가 상기 제2 영역에 대한 품질 기준이 만족되었는지 판단하는 것은, 상기 제2 영역에 대하여 제2 품질 기준이 만족되었는지 판단하는 것을 포함하는,
진단 보조 장치.
- 제 24항에 있어서,
상기 처리부가 상기 제1 품질 기준을 판단하는 것은 상기 안저 이미지가 상기 제1 영역에 기초하여 상기 안저 이미지가 상기 제1 질병에 대응되는 제1 아티팩트를 포함하는지 판단하는 것을 포함하고,
상기 처리부가 상기 제2 품질 기준을 판단하는 것은 상기 안저 이미지가 상기 제2 영역에 기초하여 상기 안저 이미지가 상기 제2 질병에 대응되는 제2 아티팩트를 포함하는지 판단하는 것을 더 포함하는
진단 보조 장치.
- 제 26항에 있어서,
상기 제1 질병에 대응되는 제1 아티팩트는 상기 제1 질병에 연관된 제1 영역으로부터 검출되고, 상기 제2 질병에 대응되는 제2 아티팩트는 상기 제2 질병에 연관된 제2 영역으로부터 검출되는,
진단 보조 장치.
- 제 24항에 있어서,
상기 처리부는,
상기 안저 이미지가 상기 제1 질병에 대응되는 상기 안저 이미지의 상기 제1 영역에 대한 품질 기준을 만족하는 경우, 상기 안저 이미지가 상기 제1 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하고,
상기 안저 이미지가 상기 제2 질병에 대응되는 상기 안저 이미지의 상기 제2 영역에 대한 품질 기준을 만족하는 경우, 상기 안저 이미지가 상기 제2 질병에 대하여 적합함을 지시하는 적합성 정보를 획득하는,
진단 보조 장치.
- 삭제
- 제25항에 있어서,
상기 처리부는, 상기 안저 이미지가 상기 제1 품질 기준 및 상기 제2 품질 기준을 만족하는지 판단하되,
상기 처리부는, 상기 안저 이미지가 상기 제1 품질 기준을 만족하되 상기 제2 품질 기준을 만족하지 않는 것으로 판단된 경우, 상기 안저 이미지가 상기 제1 질병에 대하여 적합하고 상기 제2 질병에 대하여 부적합함을 지시하는 상기 적합성 정보를 획득하는
진단 보조 장치.
- 안저 이미지에 기초한 대상 질병의 진단과 관련하여, 상기 안저 이미지의 적합성을 판단하는 안저 이미지 관리 장치에 있어서,
상기 안저 이미지를 획득하는 안저 이미지 획득부;
상기 안저 이미지에 기초하여 정보를 획득하는 처리부; 를 포함하되,
상기 처리부는, 상기 안저 이미지에 기초하여, 상기 안저 이미지에 대응되는 아티팩트 정보를 획득하고, 상기 아티팩트 정보에 기초하여, 상기 안저 이미지에 기초하여 진단할 수 있는 질병을 나타내는 대상 질병을 결정하고, 상기 안저 이미지에 기초하여, 상기 대상 질병에 대한 진단 보조 정보를 획득하되,
상기 처리부가 상기 대상 질병을 결정하는 것은,
상기 아티팩트 정보에 기초하여, 제1 질병에 대응되는 상기 안저 이미지의 제1 영역에 대한 품질 기준이 만족된 경우 상기 제1 질병을 대상 질병으로 결정하되, 상기 아티팩트 정보에 기초하여, 제2 질병에 대응되는 상기 안저 이미지의 제2 영역에 대한 품질 기준이 만족된 경우 상기 제2 질병을 대상 질병으로 결정하는 것을 포함하는,
진단 보조 장치.
- 제 31항에 있어서,
상기 처리부가 상기 대상 질병을 결정하는 것은,
상기 아티팩트 정보에 기초하여, 상기 안저 이미지가 상기 제1 질병에 대응되는 제1 아티팩트를 포함하지 않는 경우, 상기 제1 질병을 대상 질병으로 결정하되,
상기 아티팩트 정보에 기초하여, 상기 안저 이미지가 제2 질병에 대응되는 제2 아티팩트를 포함하지 않는 경우, 상기 제2 질병을 대상 질병으로 결정하는 것을 포함하는,
진단 보조 장치.
- 삭제
- 제 31항에 있어서,
상기 제1 영역은 상기 안저 이미지의 안저가 분포하는 안저 영역의 중심으로부터 소정 거리 이상 이격된 영역이고,
상기 제2 영역은 상기 안저 영역의 중심으로부터 소정 거리 이내의 영역인
진단 보조 장치.
- 제 31항에 있어서,
상기 처리부는,
상기 안저 이미지가 상기 제1 영역에 대한 품질 기준을 만족하고, 상기 제2 영역에 대한 품질 기준을 만족하지 아니하는 경우, 상기 제1 질병에 대한 제1 진단 보조 정보를 획득하고,
상기 안저 이미지가 상기 제2 영역에 대한 품질 기준을 만족하고, 상기 제1 영역에 대한 품질 기준을 만족하지 아니하는 경우, 상기 제2 질병에 대한 제2 진단 보조 정보를 획득하되 상기 제1 진단 보조 정보를 획득하지 아니하는,
진단 보조 장치.
- 삭제
- 제 1 내지 9항, 제12항, 제13항, 제15 내지 18항, 제22항 및 제23항 중 어느 하나의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862694901P | 2018-07-06 | 2018-07-06 | |
| US62/694,901 | 2018-07-06 | ||
| US201862715729P | 2018-08-07 | 2018-08-07 | |
| US62/715,729 | 2018-08-07 | ||
| US201862776345P | 2018-12-06 | 2018-12-06 | |
| US62/776,345 | 2018-12-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200005409A KR20200005409A (ko) | 2020-01-15 |
| KR102270659B1 true KR102270659B1 (ko) | 2021-06-29 |
Family
ID=69156691
Family Applications (12)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180157561A KR20200005406A (ko) | 2017-12-20 | 2018-12-07 | 진단 보조 시스템 |
| KR1020180157560A KR20200005405A (ko) | 2017-12-20 | 2018-12-07 | 진단 보조 시스템 |
| KR1020180157563A KR102212500B1 (ko) | 2018-07-06 | 2018-12-07 | 안저 이미지 관리 장치 및 안저 이미지의 품질 판단 방법 |
| KR1020180157562A KR20200005407A (ko) | 2018-07-06 | 2018-12-07 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
| KR1020180157564A KR102270659B1 (ko) | 2018-07-06 | 2018-12-07 | 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법 |
| KR1020180157559A KR20200005404A (ko) | 2017-12-20 | 2018-12-07 | 진단 보조 시스템 |
| KR1020180166721A KR20200005412A (ko) | 2018-07-06 | 2018-12-20 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR1020180166720A KR20200005411A (ko) | 2018-07-06 | 2018-12-20 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR1020180166722A KR20200005413A (ko) | 2018-07-06 | 2018-12-20 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR1020190056631A KR102345026B1 (ko) | 2018-07-06 | 2019-05-14 | 클라우드 서버 및 클라우드 서버 기반의 진단 보조 시스템 |
| KR1020210187639A KR20210158853A (ko) | 2018-07-06 | 2021-12-24 | 클라우드 서버 및 클라우드 서버 기반의 진단 보조 시스템 |
| KR1020230089164A KR20230110233A (ko) | 2018-07-06 | 2023-07-10 | 클라우드 서버 및 클라우드 서버 기반의 진단 보조시스템 |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180157561A KR20200005406A (ko) | 2017-12-20 | 2018-12-07 | 진단 보조 시스템 |
| KR1020180157560A KR20200005405A (ko) | 2017-12-20 | 2018-12-07 | 진단 보조 시스템 |
| KR1020180157563A KR102212500B1 (ko) | 2018-07-06 | 2018-12-07 | 안저 이미지 관리 장치 및 안저 이미지의 품질 판단 방법 |
| KR1020180157562A KR20200005407A (ko) | 2018-07-06 | 2018-12-07 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
Family Applications After (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180157559A KR20200005404A (ko) | 2017-12-20 | 2018-12-07 | 진단 보조 시스템 |
| KR1020180166721A KR20200005412A (ko) | 2018-07-06 | 2018-12-20 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR1020180166720A KR20200005411A (ko) | 2018-07-06 | 2018-12-20 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR1020180166722A KR20200005413A (ko) | 2018-07-06 | 2018-12-20 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR1020190056631A KR102345026B1 (ko) | 2018-07-06 | 2019-05-14 | 클라우드 서버 및 클라우드 서버 기반의 진단 보조 시스템 |
| KR1020210187639A KR20210158853A (ko) | 2018-07-06 | 2021-12-24 | 클라우드 서버 및 클라우드 서버 기반의 진단 보조 시스템 |
| KR1020230089164A KR20230110233A (ko) | 2018-07-06 | 2023-07-10 | 클라우드 서버 및 클라우드 서버 기반의 진단 보조시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (12) | KR20200005406A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230041867A (ko) * | 2021-09-17 | 2023-03-27 | 동국대학교 산학협력단 | 딥러닝 기반의 망막 질환 진단 장치 및 방법 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102402011B1 (ko) * | 2020-02-18 | 2022-05-27 | 재단법인 아산사회복지재단 | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 |
| KR102475730B1 (ko) * | 2020-04-03 | 2022-12-08 | 성균관대학교산학협력단 | Tta를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치 |
| KR102220573B1 (ko) * | 2020-04-06 | 2021-02-25 | 두에이아이(주) | 인공지능을 이용한 안저 영상 데이터의 품질 점수 산출 방법, 장치 및 컴퓨터프로그램 |
| KR102538848B1 (ko) | 2020-05-12 | 2023-05-31 | 부산대학교병원 | 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템 |
| KR102538508B1 (ko) * | 2020-05-18 | 2023-05-31 | 오스템임플란트 주식회사 | 의료 영상 모듈과 연동되는 전자 차트 관리 방법 및 장치 |
| KR102198302B1 (ko) * | 2020-05-20 | 2021-01-05 | 주식회사 지피바이오 | 성장 예측 방법 및 그 장치 |
| KR102410292B1 (ko) * | 2020-05-27 | 2022-06-17 | 주식회사 스파이더코어 | 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치 |
| KR102482680B1 (ko) * | 2020-06-03 | 2022-12-28 | 고려대학교 산학협력단 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
| KR102466792B1 (ko) * | 2020-06-09 | 2022-11-14 | 성균관대학교산학협력단 | 인공지능기반 황반 변성 악화 예측 장치 및 방법 |
| KR102406538B1 (ko) * | 2020-08-13 | 2022-06-08 | 순천향대학교 산학협력단 | 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치 및 방법 |
| KR102227605B1 (ko) * | 2020-08-25 | 2021-03-16 | (주)제이엘케이 | 말초동맥 진단영상 학습장치와 방법, 및 상기 학습장치와 방법을 통해 구축된 학습모델을 사용하는 유의한 말초동맥 질환 진단 장치 및 방법 |
| WO2022080913A1 (en) * | 2020-10-14 | 2022-04-21 | Samsung Electronics Co., Ltd. | Methods and systems for examining an eye to detect a disease |
| KR102443982B1 (ko) * | 2020-10-22 | 2022-09-16 | 순천향대학교 산학협력단 | 안과 질환 진단을 위한 딥러닝 기반의 안저 영상 분류 장치 및 방법 |
| KR20220065927A (ko) * | 2020-11-13 | 2022-05-23 | (주)루티헬스 | 의료 영상 판독 장치 및 의료 영상 판독 방법 |
| JP2022085227A (ja) | 2020-11-27 | 2022-06-08 | オリエンタルモーター株式会社 | 交流モータ制御装置およびそれを備えた駆動システム |
| KR102521660B1 (ko) * | 2020-11-30 | 2023-04-14 | 주식회사 메디픽셀 | 복수의 예측 결과를 활용한 혈관 영상 추출 방법 및 장치 |
| KR102549782B1 (ko) * | 2020-12-02 | 2023-06-30 | 주식회사 레드위즈 | 인공지능 딥러닝 시스템 기반 구매대행상품 자동수집등록 장치 및 그 방법 |
| KR102313662B1 (ko) * | 2020-12-30 | 2021-10-19 | 뉴로핏 주식회사 | 이미지 품질 판단 장치 및 방법 |
| WO2022145542A1 (ko) * | 2020-12-30 | 2022-07-07 | 주식회사 메디웨일 | 심혈관 질병 진단 보조 방법 및 장치 |
| WO2022145541A1 (ko) * | 2020-12-30 | 2022-07-07 | 주식회사 메디웨일 | 신장 질병 진단 보조 방법 및 장치 |
| KR20220108235A (ko) * | 2021-01-25 | 2022-08-03 | 자이메드 주식회사 | 생체 이미지 판독 지원 장치 및 방법 |
| KR102536281B1 (ko) * | 2021-02-26 | 2023-05-26 | (주)블라우비트 | 망막 시신경을 이용한 알츠하이머 진단 장치 및 방법 |
| KR102296907B1 (ko) * | 2021-03-02 | 2021-09-01 | 주식회사 에이아이댑스 | 블록체인 기반 클라우드 서비스 제공 방법 및 시스템 |
| KR102493242B1 (ko) * | 2021-03-26 | 2023-01-30 | 한국과학기술연구원 | 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 |
| KR102323650B1 (ko) * | 2021-04-07 | 2021-11-09 | 김원국 | 영상/음성의 생성 이력과 연관된 메타데이터를 포함한 원본 영상/음성 파일 또는 딥페이크 변조 파일을 생성하는 영상/음성획득 또는 편집 장치, 원본 영상/음성 파일 또는 딥페이크 변조 파일 관련 해시값을 수신 및 저장하는 해시뱅크 서버, 원본 영상/음성 파일 또는 딥페이크 변조 파일을 수신 및 처리하는 서버 및 방법 |
| WO2023017875A1 (ko) * | 2021-08-12 | 2023-02-16 | 고려대학교 산학협력단 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
| KR102403166B1 (ko) * | 2021-09-29 | 2022-05-30 | 주식회사 인피닉 | 기계 학습용 데이터 증강 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
| KR102580279B1 (ko) * | 2021-10-25 | 2023-09-19 | 아주대학교산학협력단 | 알츠하이머병 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치 |
| KR102567671B1 (ko) * | 2021-12-30 | 2023-08-17 | 가천대학교 산학협력단 | 콘볼루션 신경망 기반의 주사 전자 현미경 이미지를 이용한 효율적인 모발 손상 감지 방법 및 시스템 |
| KR102567138B1 (ko) * | 2021-12-30 | 2023-08-17 | 가천대학교 산학협력단 | 머신러닝 기반 모발 건강 진단 방법 및 시스템 |
| KR102569597B1 (ko) * | 2023-01-13 | 2023-08-25 | 주식회사 아이브 | 인공지능 모델 학습을 위한 데이터 파이프 라인 관리 방법 및 시스템 |
| KR102651589B1 (ko) * | 2023-07-20 | 2024-03-27 | 주식회사 크레스콤 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003052639A (ja) * | 2001-08-21 | 2003-02-25 | Canon Inc | 眼科撮影装置 |
| JP2015083276A (ja) | 2015-02-05 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| KR101848321B1 (ko) | 2017-10-27 | 2018-04-20 | 주식회사 뷰노 | 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005342284A (ja) * | 2004-06-04 | 2005-12-15 | Canon Inc | 眼屈折力測定装置 |
| KR100669625B1 (ko) * | 2005-03-25 | 2007-01-15 | 엘지전자 주식회사 | 형태론적 연산처리를 이용한 안구위치 추정시스템 및 그방법 |
| JP4909377B2 (ja) * | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
| JP4909378B2 (ja) * | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
| JP6867117B2 (ja) * | 2016-07-08 | 2021-04-28 | 株式会社トプコン | 医用画像処理方法及び医用画像処理装置 |
| JP2018014059A (ja) * | 2016-07-22 | 2018-01-25 | 株式会社トプコン | 医療情報処理システム及び医療情報処理方法 |
| JP2018061621A (ja) * | 2016-10-11 | 2018-04-19 | オプトス ピーエルシー | 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム |
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
-
2018
- 2018-12-07 KR KR1020180157561A patent/KR20200005406A/ko unknown
- 2018-12-07 KR KR1020180157560A patent/KR20200005405A/ko unknown
- 2018-12-07 KR KR1020180157563A patent/KR102212500B1/ko active IP Right Grant
- 2018-12-07 KR KR1020180157562A patent/KR20200005407A/ko unknown
- 2018-12-07 KR KR1020180157564A patent/KR102270659B1/ko active IP Right Grant
- 2018-12-07 KR KR1020180157559A patent/KR20200005404A/ko unknown
- 2018-12-20 KR KR1020180166721A patent/KR20200005412A/ko not_active Application Discontinuation
- 2018-12-20 KR KR1020180166720A patent/KR20200005411A/ko not_active Application Discontinuation
- 2018-12-20 KR KR1020180166722A patent/KR20200005413A/ko not_active Application Discontinuation
-
2019
- 2019-05-14 KR KR1020190056631A patent/KR102345026B1/ko active IP Right Grant
-
2021
- 2021-12-24 KR KR1020210187639A patent/KR20210158853A/ko not_active Application Discontinuation
-
2023
- 2023-07-10 KR KR1020230089164A patent/KR20230110233A/ko not_active Application Discontinuation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003052639A (ja) * | 2001-08-21 | 2003-02-25 | Canon Inc | 眼科撮影装置 |
| JP2015083276A (ja) | 2015-02-05 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| KR101848321B1 (ko) | 2017-10-27 | 2018-04-20 | 주식회사 뷰노 | 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230041867A (ko) * | 2021-09-17 | 2023-03-27 | 동국대학교 산학협력단 | 딥러닝 기반의 망막 질환 진단 장치 및 방법 |
| KR102623722B1 (ko) | 2021-09-17 | 2024-01-11 | 동국대학교 산학협력단 | 딥러닝 기반의 망막 질환 진단 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210158853A (ko) | 2021-12-31 |
| KR20200005406A (ko) | 2020-01-15 |
| KR20200005433A (ko) | 2020-01-15 |
| KR20200005407A (ko) | 2020-01-15 |
| KR20200005412A (ko) | 2020-01-15 |
| KR102212500B1 (ko) | 2021-02-04 |
| KR20200005409A (ko) | 2020-01-15 |
| KR20200005413A (ko) | 2020-01-15 |
| KR20230110233A (ko) | 2023-07-21 |
| KR20200005404A (ko) | 2020-01-15 |
| KR102345026B1 (ko) | 2021-12-29 |
| KR20200005405A (ko) | 2020-01-15 |
| KR20200005408A (ko) | 2020-01-15 |
| KR20200005411A (ko) | 2020-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102270659B1 (ko) | 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법 | |
| US11790645B2 (en) | Diagnosis assistance system and control method thereof | |
| KR102301058B1 (ko) | 진단 보조 시스템 및 그 제어 방법 | |
| US11869184B2 (en) | Method and device for assisting heart disease diagnosis | |
| KR102333670B1 (ko) | 안구 이미지 기반의 진단 보조 이미지 제공 장치 | |
| CN111493814B (zh) | 眼底病变的识别系统 | |
| US20240144478A1 (en) | Method and device for assisting heart disease diagnosis | |
| Chalakkal et al. | Fundus retinal image analyses for screening and diagnosing diabetic retinopathy, macular edema, and glaucoma disorders | |
| CN109697719B (zh) | 一种图像质量评估方法、装置及计算机可读存储介质 | |
| Shanthini et al. | Threshold segmentation based multi-layer analysis for detecting diabetic retinopathy using convolution neural network | |
| TWI746287B (zh) | 影像處理系統及影像處理方法 | |
| KR20200139606A (ko) | 자궁경부암 자동 진단 시스템 | |
| JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
| Giancardo | Automated fundus images analysis techniques to screen retinal diseases in diabetic patients | |
| US20220328186A1 (en) | Automatic cervical cancer diagnosis system | |
| Matten et al. | Stable classification of diabetic structures from incorrectly labeled OCTA en face images using multi instance learning | |
| CN114764777A (zh) | 影像处理系统及影像处理方法 | |
| Giancardo | Docteur de l’université |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |