KR20220027927A - 안구 이미지에서 병리의 검출 - Google Patents
안구 이미지에서 병리의 검출 Download PDFInfo
- Publication number
- KR20220027927A KR20220027927A KR1020220025483A KR20220025483A KR20220027927A KR 20220027927 A KR20220027927 A KR 20220027927A KR 1020220025483 A KR1020220025483 A KR 1020220025483A KR 20220025483 A KR20220025483 A KR 20220025483A KR 20220027927 A KR20220027927 A KR 20220027927A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- eye
- pathology
- measurement
- neural network
- Prior art date
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 226
- 238000001514 detection method Methods 0.000 title description 3
- 238000005259 measurement Methods 0.000 claims abstract description 265
- 238000000034 method Methods 0.000 claims abstract description 204
- 238000003384 imaging method Methods 0.000 claims abstract description 182
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims description 109
- 238000013528 artificial neural network Methods 0.000 claims description 93
- 238000013527 convolutional neural network Methods 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 24
- 238000000691 measurement method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000012014 optical coherence tomography Methods 0.000 description 75
- 210000001525 retina Anatomy 0.000 description 36
- 206010012689 Diabetic retinopathy Diseases 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 208000010412 Glaucoma Diseases 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 9
- 206010030113 Oedema Diseases 0.000 description 9
- 206010003694 Atrophy Diseases 0.000 description 7
- 230000037444 atrophy Effects 0.000 description 7
- 230000002207 retinal effect Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013534 fluorescein angiography Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 208000001344 Macular Edema Diseases 0.000 description 2
- 206010025415 Macular oedema Diseases 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 201000010230 macular retinal edema Diseases 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/06—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
- A61B3/063—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision for testing light sensitivity, i.e. adaptation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Fuzzy Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
안구 이미징 시스템(420)에 의해 획득된 눈의 일부의 이미지(400)에서 병리를 지시하는 영역(410)을 검색하는 컴퓨터 구현 방법으로서, 이미지를 정의하는 이미지 데이터를 수신하는 단계(S10); 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지에서 영역을 검색하는 단계(S12); 병리를 지시하는 이미지 내의 영역이 발견되는 경우, 이미지에서 영역의 위치를 결정하고(S14), 눈 측정 장치가 눈의 위치에 대한 측정의 위치를 설정하기 위한 결정된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하며(S16), 눈 측정 장치로부터 측정 데이터를 수신하는(S18) 단계를 포함한다.
Description
본원의 예시적인 측면은 일반적으로 이미지 처리 분야에 관한 것으로, 보다 구체적으로는 눈의 이미지화된 부분에서 병리의 존재 및/또는 위치의 식별을 용이하게 하는 안구 이미지의 처리에 관한 것이다.
안구 이미징 시스템에 의해 획득된 피험자의 눈 일부의 안구 이미지는 건강한 눈의 비교 가능한 이미지에 존재하지 않을 병리의 일부 지시를 포함하는 하나 이상의 영역을 가질 수 있고, 이러한 영역(들)의 존재는 피험자의 질병이나 그 외의 건강에 해로운 상태를 지시할 수 있다. 예로서, 피험자의 망막의 형광안저촬영(fluorescein angiogram)은 혈관 누출이 발생한 것으로 보이는 하나 이상의 영역을 포함할 수 있으며, 이는 황반 부종의 징후일 수 있다. 안구 이미지는 숙련된 안과 의사가 획득하고 평가할 것을 요구한다. 그러나, 기존의 기술은 안과 의사 및/또는 환자에게 시간 소모적이며, 수행된 평가는 오류가 발생하기 쉽다.
본 발명자들은, 본 명세서의 제1 예시적인 측면에 따라, 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지에서 병리를 지시하는 영역을 검색하기 위한 컴퓨터 구현 방법을 고안하였다. 이 방법은 이미지를 정의하는 이미지 데이터를 수신하는 단계, 및 건강한 눈의 일부의 이미지를 정의하는 이미지 데이터 및 각각이 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 훈련된 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지 내의 영역을 검색하는 단계를 포함한다. 검색하는 단계에서 병리를 지시하는 이미지 내의 영역이 발견되는 경우, 이미지에서 영역의 위치가 결정되고, 눈 측정 장치가 눈의 일부에 대한 측정의 위치를 설정하기 위한 결정된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하기 위한 명령이 생성되며, 측정 데이터는 눈 측정 장치로부터 수신된다.
본 발명자들은, 또한 본 명세서의 제2 예시적인 측면에 따라, 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지에서 병리의 존재를 검색하는 컴퓨터 구현 방법을 고안하였다. 이 방법은 이미지를 정의하는 이미지 데이터를 수신하는 단계, 및 건강한 눈의 이미지, 및 각각이 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 이미지를 정의하는 이미지 데이터에 대해 훈련된 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하는 단계를 포함한다. 이 방법은, 복수의 상이한 유형의 병리 중 적어도 하나가 이미지 내에 존재하는 것으로 발견되는 경우, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하는 단계, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각의 선택된 측정 방식의 눈 측정 장치가 눈의 일부에 대한 측정을 수행하기 위한 각각의 명령을 생성하는 단계, 선택된 측정 방식 각각의 눈 측정 장치에 의해 수행된 측정의 측정 데이터를 수신하는 단계의 프로세스를 더 포함한다.
본 발명자들은, 본 명세서의 제3 예시적인 측면에 따라, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 본 명세서의 제1 또는 제2 예시적인 측면에 따른 방법을 수행하게 하는 컴퓨터 프로그램을 더 고안하였다.
본 발명자들은, 본 명세서의 제4 예시적인 측면에 따라, 본 명세서의 제3 예시적인 측면에 따른 컴퓨터 프로그램을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 더 고안하였다.
본 발명자들은, 본 명세서의 제5 예시적인 측면에 따라, 본 명세서의 제3 예시적인 측면에 따른 컴퓨터 프로그램을 운반하는 신호를 더 고안하였다.
본 발명자들은, 본 명세서의 제6 예시적인 측면에 따라, 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지에서 병리를 지시하는 영역을 검색하기 위한 장치를 더 고안하였다. 이 장치는 이미지를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈을 포함한다. 이 장치는 건강한 눈의 일부의 이미지를 정의하는 이미지 데이터 및 각각이 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 훈련된 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지 내의 영역을 검색하도록 구성된 검색 모듈을 더 포함한다. 이 장치는, 검색 모듈에 의해 발견된 병리를 지시하는 이미지 내의 영역에 응답하여, 이미지 내의 영역의 위치를 결정하고, 눈의 일부에 대한 측정의 위치를 설정하기 위한 결정된 위치에 기초한 기준점을 사용하여 눈 측정 장치가 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하는 프로세스를 수행하도록 구성된 명령 생성 모듈을 더 포함한다. 수신기 모듈은 눈 측정 장치로부터 측정 데이터를 수신하도록 더 구성된다.
본 발명자들은 본 명세서의 제7 예시적인 측면에 따라, 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지에서 병리의 존재를 검색하기 위한 장치를 더 고안하였다. 이 장치는 이미지를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈, 및 건강한 눈의 이미지, 및 각각이 상이한 유형의 병리의 각각의 하나를 갖는 건강하지 않은 눈의 이미지를 정의하는 이미지 데이터에 대해 훈련된 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하도록 구성된 검색 모듈을 포함한다. 이 장치는, 검색 모듈에 의해 이미지에 존재하는 것으로 발견된 복수의 상이한 유형의 적어도 하나에 응답하여, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식의 각각의 하나를 선택하고, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각의 선택된 측정 방식의 눈 측정 장치가 눈의 일부에 대한 측정을 수행하기 위한 각각의 명령을 생성하는 프로세스를 수행하도록 구성된 명령 생성 모듈을 더 포함한다. 수신기 모듈은 선택된 측정 방식 각각의 눈 측정 장치에 의해 수행된 측정의 측정 데이터를 수신하도록 더 구성된다.
본 발명의 실시예는 이하에서 설명되는 첨부 도면을 참조하여 비 제한적인 예로서만 상세히 설명될 것이다. 도면들 중 상이한 도면들에서 나타나는 동일한 참조 번호는 달리 지시되지 않는 한 동일하거나 기능적으로 유사한 요소를 나타낼 수 있다.
도 1은 본 명세서의 제1 예시적인 실시예에 따른, 안구 이미지에서 병리를 지시하는 영역을 검색하기 위한 장치의 개략도이다.
도 2는 본 명세서의 예시적인 실시예에 따른, 도 1의 장치의 예시적인 신호 처리 하드웨어 구성을 도시한 블록도이다.
도 3은 본 명세서의 제1 예시적인 실시예에 따라, 도 1의 장치가 안구 이미지에서 병리를 지시하는 영역을 검색하는 프로세스를 지시하는 흐름도이다.
도 4a는 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지의 개략도이다.
도 4b는 본 명세서의 예시적인 측면에 따라, 발견된 병리를 지시하는 영역을 지시하는, 도 4a에 도시된 이미지의 주석이 달린 버전이다.
도 5는 본 명세서의 제1 예시적인 측면에 따라, 건강한 눈의 일부의 이미지를 정의하는 이미지 데이터, 및 각각이 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 학습 알고리즘이 훈련될 수 있는 방법을 도시한 개략도이다.
도 6은 본 명세서의 제2 예시적인 측면에 따라, 건강한 눈의 일부의 이미지를 정의하는 이미지 데이터 및 각각이 복수의 상이한 유형의 병리 중 각각의 하나를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 학습 알고리즘이 훈련될 수 있는 방법을 도시한 개략도이다.
도 7은 입력 계층, 히든 계층 및 출력 계층 내에 인공 뉴런을 포함하는 컨볼 루션 신경망의 개략도이다.
도 8은 본 명세서의 예시적인 실시예에 따라, 도 1의 장치의 검색 모듈이 이미지에서 병리를 지시하는 영역을 검색할 수 있는 프로세스를 지시하는 흐름도이다.
도 9는 본 명세서의 예시적인 실시예에 따라, 도 9의 장치가 안구 이미지에서 병리의 존재를 검색하는 프로세스를 도시한 흐름도이다.
도 10은 본 명세서의 예시적인 실시예에 따라, 도 9의 장치가 안구 이미지에서 병리의 존재를 검색하는 프로세스를 도시한 흐름도이다.
도 1은 본 명세서의 제1 예시적인 실시예에 따른, 안구 이미지에서 병리를 지시하는 영역을 검색하기 위한 장치의 개략도이다.
도 2는 본 명세서의 예시적인 실시예에 따른, 도 1의 장치의 예시적인 신호 처리 하드웨어 구성을 도시한 블록도이다.
도 3은 본 명세서의 제1 예시적인 실시예에 따라, 도 1의 장치가 안구 이미지에서 병리를 지시하는 영역을 검색하는 프로세스를 지시하는 흐름도이다.
도 4a는 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지의 개략도이다.
도 4b는 본 명세서의 예시적인 측면에 따라, 발견된 병리를 지시하는 영역을 지시하는, 도 4a에 도시된 이미지의 주석이 달린 버전이다.
도 5는 본 명세서의 제1 예시적인 측면에 따라, 건강한 눈의 일부의 이미지를 정의하는 이미지 데이터, 및 각각이 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 학습 알고리즘이 훈련될 수 있는 방법을 도시한 개략도이다.
도 6은 본 명세서의 제2 예시적인 측면에 따라, 건강한 눈의 일부의 이미지를 정의하는 이미지 데이터 및 각각이 복수의 상이한 유형의 병리 중 각각의 하나를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 학습 알고리즘이 훈련될 수 있는 방법을 도시한 개략도이다.
도 7은 입력 계층, 히든 계층 및 출력 계층 내에 인공 뉴런을 포함하는 컨볼 루션 신경망의 개략도이다.
도 8은 본 명세서의 예시적인 실시예에 따라, 도 1의 장치의 검색 모듈이 이미지에서 병리를 지시하는 영역을 검색할 수 있는 프로세스를 지시하는 흐름도이다.
도 9는 본 명세서의 예시적인 실시예에 따라, 도 9의 장치가 안구 이미지에서 병리의 존재를 검색하는 프로세스를 도시한 흐름도이다.
도 10은 본 명세서의 예시적인 실시예에 따라, 도 9의 장치가 안구 이미지에서 병리의 존재를 검색하는 프로세스를 도시한 흐름도이다.
본 명세서에서 설명된 특정 예시적인 실시예에서, 안구 이미지는 이하에서 설명된 이미지 처리 기술을 사용하여 안구 이미지에서 병리를 자동으로 검출하도록 처리되고, 그 후 병리의 존재가 높은 신뢰도로 결정될 수 있는(그리고/또는 병리가 특성화될 수 있는) 보완 데이터를 획득하기 위해 안구에 대한 추가 측정이 자동으로 지시된다. 예를 들어, 눈은 상이한 이미징 방식(예를 들어, 광학 일관성 단층 촬영(optical coherence tomography, OCT)), 또는 측정된 광 자극에 대한 기능적 응답을 사용하여 이미지화될 수 있다. 추가의 예로서, 이미지 처리가 망막의 영역에서 혈관 누출이 발생했다는 가능한 지시를 검출하는 형광안저촬영의 경우, 그 영역의 OCT 스캔이 지시될 수 있고, 두께 또는 부피 측정은 황반 부종의 존재를 확인하고, 존재하는 경우 선택적으로 그것의 중증도를 진단하기 위해 OCT 스캔의 데이터로부터 획득될 수 있다. 따라서, 실시예는 질환의 조기 검출을 위한 병리의 빠르고 신뢰할 수 있는 검출을 용이하게 할 수 있으며, 이들의 이점은 안구 이미지가 망막의 대부분 또는 눈의 다른 부분을 덮는 광 시야 또는 초 광시야 이미지인 경우 가장 두드러진다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 상세하게 설명될 것이다.
[실시예 1]
도 1은 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지에서 병리를 지시하는 영역을 검색하기 위한 제1 예시적인 실시예에 따른 장치(100)의 개략도이다(도 5의 개략도에서 520에 도시됨). 장치(100)는 안구 이미징 시스템(520)에 의해 생성된 이미지를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈(110), 및 아래에서 상세하게 설명되는 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써, 이미지에서 병리를 지시하는 적어도 하나의 영역을 자동으로 검색하도록 구성된 검색 모듈(120)을 포함한다. 장치(100)는 검색 모듈(120)에 의해 발견되는 병리를 지시하는 이미지의 영역에 응답하여, 이미지 내의 영역의 위치를 결정하고, 눈의 위치에 대한 측정 위치를 설정하기 위한 결정된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하도록 눈 측정 장치를 위한 명령을 생성하는 프로세스를 자동으로 수행하도록 구성된 명령 생성 모듈(130)을 더 포함한다. 검색 모듈(120)에 의해 둘 이상의 이러한 영역이 발견되는 경우, 이들 프로세스는 각각의 영역에 대해 수행될 수 있다. 수신기 모듈(110)은 또한 눈 측정 장치로부터 측정 데이터를 수신하도록 추가로 구성된다. 선택적으로, 장치(100)는, 현재 예시된 실시예에서와 같이, 디스플레이 제어 신호 생성기(140)를 포함할 수 있다(이러한 선택적인 컴포넌트는 도 1에서 점선으로 도시되어 있음).
병리를 지시하는 영역은 병변, 구조적 손상 또는 유사하게 획득된 건강한 눈의 이미지에 존재하지 않는 임의의 다른 이상을 지시하는 이미지 특징을 포함하는 수신된 이미지 데이터에 의해 정의된 이미지의 영역일 수 있다.
장치(100)는 눈에서 발생할 수 있는 임의의 병리를 지시하는 영역을 검색하도록 구성될 수 있으며, 이것은 예를 들어, 녹내장, 중등도의 당뇨 망막병증, 심각한 당뇨 망막병증, 종양, 드루젠, 부종과 위축을 포함할 수 있지만 이것으로만 한정되지 않는다.
본 예시적인 실시예에서, 수신기 모듈(110)은 안구 이미징 시스템(520)에 의해 생성된 눈의 망막의 일부의 이미지를 정의하는 이미지 데이터를 수신하도록 구성된다. 그러나, 다른 예시적인 실시예에서, 수신된 이미지 데이터는 망막 이외의 눈의 일부, 예를 들어 눈의 전방 세그먼트의 일부 또는 눈의 후방 세그먼트의 일부의 이미지를 정의할 수 있다. 또한, 수신된 이미지 데이터는, 본 예시적인 실시예에서와 같이, 2차원 이미지를 정의할 수 있거나, 또는 다르게는 눈의 이미지화된 부분의 3차원 이미지를 정의할 수 있다. 수신된 이미지 데이터는 당업자에게 알려진 임의의 적절한 포맷(압축되었거나 또는 압축되지 않음)으로 제공될 수 있다. 수신기 모듈(110)에 의해 수신된 이미지 데이터는 제1 이미징 방식(아래에서 더 상세히 논의됨)이며, 이미징 해상도, 개구 크기 및 파장을 포함할 수 있는 이미징 파라미터에 대해 적절히 선택된 값을 사용하여 눈의 망막을 이미징화한 결과를 나타낸다.
안구 이미징 시스템(520)은 눈의 망막(또는 다른 선택된 부분)을 이미지화하기에 적합한 임의의 안구 이미징 시스템일 수 있다. 안구 이미징 시스템(520)은 예를 들어 안저 카메라(fundus camera) 또는 스캐닝 이미징 시스템의 유형일 수 있다. 예로서, 본 예시적인 실시예의 안구 이미징 시스템(520)은 피험자의 눈의 망막의 이미지를 획득하도록 구성되는 예시적인 형태의 스캐닝 레이저 검안경(scanning laser ophthalmoscope, SLO)의 스캐닝 이미징 시스템이다. 다르게는 또는 추가적으로 하나 이상의 다른 유형의 이미지를 획득하도록 구성될 수 있더라도, 본 예시적인 실시예의 SLO는 자가 형광(autofluorescence, AF) 이미지를 캡쳐하도록 구성된다(레드-그린(RG) 반사 이미지 또는 다른 형광 모드로부터의 이미지를 캡쳐하도록 구성될 수 있음). SLO는 예를 들어 망막 표면의 최대 80%의 초 광시야 이미지를 생성할 수 있는 초 광시야 SLO(UWF-SLO)일 수 있다. 다르게는, 안구 이미징 시스템(520)은 다른 이미징 방식, 예를 들어 광학 일관성 단층 촬영(OCT) 스캐너일 수 있으며, 이 경우에 여기에서 설명된 이미지 처리 기술은 OCT 스캐너에 의해 획득된 단층 촬영 이미지에 적용 가능하다. 더 다르게는, 안구 이미징 시스템(520)은 결합된 SLO-OCT 스캐너일 수 있으며, 이 경우 여기에서 설명된 이미지 처리 기술은 결합된 SLO-OCT 스캐너에 의해 획득된 SLO 망막 스캔 및 OCT 스캔 모두에 적용 가능하다.
수신기 모듈(110)은 안구 이미징 시스템(520)에 의해 획득된 이미지를 정의하는 이미지 데이터를 당업자에게 알려진 임의의 적절한 수단에 의해 수신하도록 구성된다. 예를 들어, 수신기 모듈(110)은 직접 통신 링크(임의의 적절한 유선 또는 무선 연결, 예를 들어, 범용 직렬 버스(Universal Serial Bus, USB) 또는 블루투스TM 연결에 의해 제공될 수 있음), 또는 간접 통신 링크(LAN(Local Area Network), WAN(Wide Area Network) 및/또는 인터넷을 포함하는 네트워크에 의해 제공될 수 있음)를 통해 안구 이미징 시스템(520)으로부터 이미지 데이터를 수신할 수 있다. 또한, 이미지 데이터는 안구 이미징 시스템에 의해 획득된 후에 이러한 데이터를 (예를 들어, CD 또는 하드 디스크와 같은 저장 매체로부터 판독하거나, 또는 인터넷과 같은 네트워크를 통해 수신함으로써) 수신하는 수신기 모듈(110)에 의해 수신될 수 있다.
또한, 이미지 데이터가 안구 이미징 시스템에 의해 생성되고 있기 때문에 이러한 이미지 데이터는 수신기 모듈(110)에 의해 수신될 수 있다(또한 이하에서 설명되는 바와 같이, 눈의 일부의 이미지에서 병리를 지시하는 영역을 검색하도록 추가로 처리될 수 있음). 즉, 이미지 데이터는 안구 이미징 시스템(520)이 망막 부분의 이미지를 형성하는 모든 이미지 데이터의 생성을 종료하기를 기다리지 않고 "즉각적으로(on the fly)" 획득될 수 있다. 그러나, 본 예시적인 실시예에서, 그리고 이러한 설명의 목적을 위해, 수신기 모듈(110)은 검색 모듈(120)이 이러한 이미지 데이터를 처리하기 시작하기 전에 눈의 일부의 이미지를 정의하는 모든 이미지 데이터를 수신하도록 구성된다.
현재 도시된 실시예와 같은 실시예에서, 장치(100)가 디스플레이 제어 신호 생성기(140)를 포함하는 경우, 디스플레이 제어 신호 생성기(140)는 눈의 일부의 이미지에서 병리를 지시하는 영역의 위치 및 수신된 측정 데이터의 표현 둘 다를 디스플레이하기 위해, LCD 스크린 또는 다른 유형의 시각적 디스플레이 유닛과 같은 (도 2에서 215로 도시된 바와 같이) 디스플레이 장치를 제어하기 위한 디스플레이 제어 신호를 생성하도록 배열될 수 있다.
도 2는 본 예시적인 실시예에서와 같이, 도 1의 장치(100)로서 기능하도록 구성될 수 있는 프로그램 가능한 신호 처리 하드웨어(200)의 개략도이다. 프로그램 가능한 신호 처리 하드웨어(200)는 전술한 이미지 데이터를 수신하고, 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하도록 눈 측정 장치(300)에 대한 명령을 생성하며, 눈 측정 장치(300)로부터 측정 데이터를 수신하고, 선택적으로, 눈의 일부의 이미지 및 측정 데이터의 표현 둘 다를 디스플레이하기 위해 디스플레이 장치(215)를 제어하기 위한 디스플레이 제어 신호를 출력하는 통신 인터페이스(I/F)를 포함한다. 신호 처리 장치(200)는 프로세서(예를 들어, 중앙 처리 유닛(CPU) 또는 그래픽 처리 유닛(GPU))(220), 작업 메모리(230)(예를 들어, 랜덤 액세스 메모리) 및 프로세서(220)에 의해 실행될 때, 프로세서(220)로 하여금 검색 모듈(120), 명령 생성 모듈(130), 및 선택적으로, 전술한 디스플레이 제어 신호 생성기(140)의 기능을 포함하는 다양한 기능을 수행하게 하는 컴퓨터 판독 가능한 명령을 포함하는 컴퓨터 프로그램을 저장하는 명령 저장소(240)를 더 포함한다. 명령 저장소(240)는 컴퓨터 판독 가능 명령과 함께 미리 로딩된 ROM(예를 들어, 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM) 또는 플래시 메모리의 형태임)을 포함할 수 있다. 다르게는, 명령 저장소(240)는 RAM 또는 유사한 유형의 메모리를 포함할 수 있고, 컴퓨터 프로그램의 컴퓨터 판독 가능 명령은, CD-ROM, DVD-ROM 등 또는 컴퓨터 판독 가능 명령을 운반하는 컴퓨터 판독 가능 신호(260)의 형태의 비 일시적 컴퓨터 판독 가능 저장 매체(250)와 같은 컴퓨터 프로그램 제품으로부터 입력될 수 있다. 어쨌든, 컴퓨터 프로그램은, 프로세서에 의해 실행될 때, 프로세서로 하여금 여기에서 설명된 안구 이미징 시스템에 의해 획득된 눈의 일부의 이미지에서 병리를 지시하는 영역, 또는 병리의 존재를 검색하는 방법들 중 적어도 하나를 실행하게 한다. 그러나, 장치(100)는 다르게는 주문형 집적 회로(ASIC)와 같은 비 프로그래밍 가능한 하드웨어로 구현될 수 있음에 유의해야 한다.
본 예시적인 실시예에서, 프로세서(220), 작업 메모리(230) 및 명령 저장소(240)를 포함하는, 도 2에 도시된 하드웨어 컴포넌트의 조합(270)은 아래에서 상세하게 설명될 검색 모듈(120) 및 명령 생성 모듈(130)의 기능을 수행하도록 구성된다. 현재 도시된 실시예에서와 같은 실시예에서, 장치(100)가 디스플레이 제어 신호 생성기(140)를 포함하는 경우, 이러한 선택적인 컴포넌트의 기능은 또한 통신 I/F(210)와 함께 하드웨어 컴포넌트의 조합(270)에 의해 제공된다.
본 예시적인 실시예의 장치(100)에 의해 수행되는 작동에 대한 이하의 설명으로부터 보다 명백해지는 바와 같이, 장치(100)는 병리를 지시하는 각각의 영역의 이미지에서의 위치를 찾아서 기록하기 위해 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지를 정의하는 이미지 데이터를 자동으로 처리하고, 눈의 일부에 대한 측정의 개별 위치를 설정하기 위한 개별 영역의 기록된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하도록 눈 측정 장치(300)에 대응하는 명령을 생성한다. 따라서, 장치(100)는 병리를 포함하는 것으로 의심되는 각각의 이미지 영역의 위치 및 각각의 영역과 관련된 추가의 측정 데이터를 모두 획득한다. 장치(100)에 의해 자동적으로 획득되는 상이하지만 상보적인 종류의 이들 정보는 검사를 위해 의사에게 함께 제공될 수 있고, 따라서 수신된 안구 이미지의 임의의 병리 함유 영역이 안구 이미지만을 검사하는 것보다 더 큰 신뢰도를 가지고 식별될 수 있게 한다. 예를 들어, 이미지에서 영역의 기록된 위치 및 수신된 측정 데이터의 표현이 모두 디스플레이 장치(215) 상에 디스플레이되는(바람직하게는 서로 겹쳐지는) 실시예에서, 디스플레이 장치(215)의 뷰어는 이미지에서 그러한 영역이 발견될 수 있는지 여부와 그러한 영역이 발견될 수 있는 위치를 쉽게 인식할 수 있다. 디스플레이 장치(215) 상에 임의의 유형의 정보가 단독으로 디스플레이되는 경우, 이미지 내의 영역의 기록된 위치 또는 수신된 측정 데이터의 표현 중 어느 하나를 보는 것이 그렇게 쉽지 않을 수 있다. 대안의 예시적인 실시예에서 유사한 이점이 발생할 수 있으며, 이미지 내의 영역의 기록된 위치 및 수신된 측정 데이터가 관심 영역을 식별하기 위해 자동으로 처리된다.
도 3은 장치(100)가 본 명세서의 제1 예시적인 실시예에 따른, 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지에서 병리를 지시하는 영역을 검색하는 프로세스를 도시한 흐름도이다.
도 3의 프로세스 S10에서, 수신기 모듈(110)은 안구 이미징 시스템(520)에 의해 획득된 제1 이미징 방식의 이미지 데이터를 수신한다. 안구 이미징 시스템의 이미징 방식은, 예를 들어, OCT, 컬러 안저 사진, 형광안저 혈관조영술(fluorescein angiography, FA), 인도시아닌 그린 혈관조영술(indocyanine green angiography, ICG) 및 자가 형광을 포함하여 당업자에게 공지된 많은 상이한 형태 중 하나를 취할 수 있다. 수신된 이미지 데이터는 안구 이미징 시스템(520)에 의해 획득된 눈의 일부(본 예시적인 실시예에서, 망막)의 이미지를 정의한다. 도 4a는 안구 이미징 시스템(520)에 의해 획득된 수신된 이미지 데이터에 의해 정의된 망막 부분의 이미지(400)의 개략도이다.
도 3의 프로세스 S12에서, 검색 모듈(120)은 건강한 눈의 망막의 이미지를 정의하는 이미지 데이터 및 각각이 병리를 지시하는 적어도 한 영역을 갖는 건강하지 않은 눈의 망막의 이미지를 정의하는 이미지 데이터에 대해 훈련된 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지(400)에서 단일 유형의 병리를 지시하는 영역(도 4a에서의 410)을 검색한다. 검색에서 발견된 각각의 영역(410)의 이미지(400) 내의 위치는, 장치(100)가 도 2의 프로그램 가능한 신호 처리 하드웨어(200)에서 구현되는 경우에, 예를 들어 작업 메모리(230)에서 검색 모듈(120)에 의해 기록된다.
도 5는 건강한 눈의 이미지를 정의하는 이미지 데이터(502) 및 건강하지 않은 눈의 이미지를 정의하는 이미지 데이터(501)에 대해 학습 알고리즘이 훈련될 수 있는 방법을 도시한 개략도이다. 학습 알고리즘(530)은 건강한 눈의 망막의 이미지를 정의하는 이미지 데이터(502) 및 건강하지 않은 눈의 망막의 이미지를 정의하는 이미지 데이터(501)를 포함하는 입력 데이터의 예시적인 훈련 세트(500)로부터 모델(540)을 구축함으로써 입력 데이터로부터 학습하고 입력 데이터에 기초하여 예측하도록 구성된다. 예로서, 이미지 데이터(501)는 건강하지 않은 눈의 일부의 이미지를 정의하며, 이들 각각은 심각한 당뇨 망막병증을 지시하는 영역을 갖는다. 예시적인 훈련 세트(500) 내의 이미지 데이터(501)에 의해 정의된 이미지는 다수의 피험자의 망막의 이미지를 획득함으로써 수집될 수 있다. 보다 일반적으로, 각각의 이미지는 수신된 이미지 데이터에 의해 정의된 이미지와 동일한 부분의 눈이다(또는 실질적으로 동일한 부분의 눈(510) 또는 동일한 부분을 포함하는 눈의 부분임). 또한, 예시적인 훈련 세트(500) 내의 이미지 데이터에 의해 정의된 각각의 이미지는 안구 이미징 시스템(520)에 의해 또는 동일한 유형의 안구 이미징 시스템에 의해 획득되고 동일한 이미징 방식으로 작동한다. 예로서, 이미지 데이터(501)는 건강하지 않은 눈의 일부의 이미지를 정의하며, 이들 각각은 심각한 당뇨 망막병증을 지시하는 영역을 갖는다.
학습 알고리즘(530)이 (예를 들어, 신경망, 서포트 벡터 머신(support vector machine) 또는 진화 알고리즘과 같은) 지도 학습 알고리즘(supervised learning algorithm)인 실시예에서, 예시적인 훈련 세트(500) 내의 각각의 예시적인 이미지는 눈의 일부의 이미지 및 이미지가 "건강한" 눈 또는 "건강하지 않은" 눈의 일부인지 여부를 지시하는 원하는 출력 값을 정의하는 입력 이미지 데이터를 구성하는 한 쌍이다. 지도 학습 알고리즘(530)은 예시적인 훈련 세트(500) 내의 이미지 데이터를 분석하고 눈의 일부의 이미지를 "건강한" 또는 "건강하지 않은"으로 정의하는 새로운 보이지 않는 이미지 데이터를 분류하는 데 사용될 수 있는 모델(540)을 생성한다. 학습 알고리즘(530)이 단일 유형의 병리만을 갖는 건강하지 않은 눈의 이미지를 정의하는 이미지 데이터(501)에 대해 훈련됨에 따라, 모델(540)은 병리를 구별할 수 없다. 병리를 지시하는 영역, 예를 들어 심각한 당뇨 망막병증이 있는지 여부만을 결정할 수 있다.
도 3의 프로세스 S12에서, 검색 모듈(120)은 본 예시적인 실시예의 수정에서, 단일 유형의 병리를 지시하지 않지만, 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써, 복수의 상이한 유형의 병리 중 하나를 지시하는 이미지에서 영역(410)을 검색함으로써 이미지에서 영역(410)을 검색할 수 있다. 따라서, 본 예시적인 실시예의 수정에서, 학습 알고리즘은, 각각이 상이한 유형의 병리 중 하나를 각각 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터에 대해 훈련될 수 있다.
도 6은 수정된 학습 알고리즘(630)이 건강한 눈의 망막의 이미지를 정의하는 이미지 데이터(604) 및, 각각이 복수의 상이한 유형의 병리 중 각각의 하나를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 망막의 이미지를 정의하는 이미지 데이터(601, 602, 603)에 대해 훈련될 수 있는 방법을 도시한 개략도이다. 예로서, 이미지 데이터(601)는 녹내장을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하고, 이미지 데이터(602)는 중등도의 당뇨 망막병증을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하며, 이미지 데이터(603)는 심각한 당뇨 망막병증을 갖는 건강하지 않은 눈의 일부의 이미지를 정의한다.
학습 알고리즘(630)은 건강한 눈의 망막의 이미지를 정의하는 이미지 데이터(604) 및 건강하지 않은 눈의 망막의 이미지를 정의하는 이미지 데이터(601, 602, 603)를 포함하는 입력 데이터의 예시적인 훈련 세트(600)로부터 모델(640)을 구축함으로써 입력 데이터로부터 학습하고 입력 데이터에 기초하여 예측하도록 구성된다. 예시적인 훈련 세트(600)에서 이미지 데이터(601 내지 604)에 의해 정의된 이미지는 다수의 피험자의 망막의 이미지를 획득함으로써 수집될 수 있다. 보다 일반적으로, 각각의 이미지는 수신된 이미지 데이터에 의해 정의된 이미지와 동일한 눈의 일부(또는 실질적으로 눈(510)의 동일한 일부 또는 동일한 일부를 포함하는 눈의 일부)이다. 또한, 예시적인 훈련 세트(600)에서 이미지 데이터(610 내지 604)에 의해 정의된 각각의 이미지는 안구 이미징 시스템(520)에 의해 또는 동일한 유형의 안구 이미징 시스템에 의해 획득되고 동일한 이미징 방식으로 작동한다.
학습 알고리즘(630)은 지도 학습 알고리즘일 수 있다. 따라서, 예시적인 훈련 세트(600)에서 눈(510)의 일부의 각각의 예시적인 이미지는 그 이미지가 "건강한" 또는 "건강하지 않은" 눈의 일부인지의 여부를 지시하는 지시자, 및 이미지가 "건강하지 않은" 눈의 일부인 경우에, 또한 복수의 병리 중 하나가 이미지 내에 존재하는지를 지시하는 제2 지시자와 연관된다. 지도 학습 알고리즘은 예시적인 훈련 세트(600)에서 이미지 데이터를 분석하고, 모델(640)을 생성하는데, 이는 눈의 일부의 이미지를 정의하는 새로운(이전에 보이지 않은) 이미지 데이터를, 예를 들어, "건강함", "건강하지 않음-녹내장", "건강하지 않음-중등도의 당뇨 망막병증" 및 "건강하지 않음-심각한 당뇨 망막병증" 중 하나로서 분류하는 데 사용될 수 있다.
당업자는, 장치(100)가 각각의 추가 병리에 대해, 병리를 갖는 건강하지 않은 눈의 망막(또는 다른 부분)의 이미지를 정의하는 이미지 데이터 및 연관된 지시자를 포함하도록 훈련 세트(600)를 확장함으로써 추가 병리를 상기한 바와 같이 분류하도록 구성될 수 있다는 것이 명백할 것이다. 예를 들어, 훈련 세트(600)는 종양을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터 및/또는 부종을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터를 포함하도록 확장될 수 있다. 또한, 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603) 중 임의의 이미지 데이터가 제거되거나 다른 병리를 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터로 대체될 수 있다. 모델(640)의 수정된 버전은 수정된 훈련 세트(600)에 기초하여 생성될 수 있다.
지도 학습 알고리즘(630)은, 본 예시적인 실시예에서와 같이, 신경망일 수 있다. 신경망은 사전 지식없이 예시적인 훈련 세트(600)의 이미지 데이터와 같은 입력 데이터를 처리함으로써 식별 특성을 자동으로 생성한다.
신경망은, 본 예시적인 실시예에서와 같이, 컨벌루션 신경망일 수 있다. 컨볼루션 신경망은 이미지 및 비디오 인식 작업에 특히 적합하다.
일반적으로, 도 7에 도시된 바와 같이, 컨볼루션 신경망은 다수의 히든 계층뿐만 아니라 입력 계층 및 출력 계층으로 구성된다. 각각의 계층은 복수의 인공 뉴런(도 7에서 A 내지 F로 표시됨)으로 구성되며, 각각의 계층은 입력에 대해 상이한 종류의 변환을 수행할 수 있다. 각각의 인공 뉴런은 인접한 계층에서 다수의 인공 뉴런에 연결될 수 있다. 각각의 인공 뉴런의 출력은 입력의 합계의 비선형 함수에 의해 계산된다. 인공 뉴런과 그들 사이의 연결은 전형적으로 주어진 연결에서 신호의 강도를 결정하는 각각의 가중치(도 7의 WAD, WAE 등)를 갖는다. 이러한 가중치는 학습이 진행됨에 따라 조정됨으로써, 컨볼루션 신경망의 출력을 조정할 수 있다. 신호는 첫 번째 계층(입력 계층)에서 마지막 계층(출력 계층)으로 이동하고, 그 계층들을 여러 번 통과할 수 있다.
신경망의 출력은 병리의 식별 특성을 포함하는 입력 이미지 데이터의 확률로서 보여질 수 있으며, 그 분류는, 본 예시적인 실시예에서와 같이, 훈련된 모델(640)의 출력이 미리 결정된 임계값을 초과하는지 여부를 결정하는 단계를 포함할 수 있다. 미리 결정된 임계값은 입력 이미지 데이터가 병리의 식별 특성을 포함할 수 있는 가능한 범위 내에서 낮은 확률을 나타낼 수 있고, 따라서 피험자의 눈이 건강할 확률이 높다.
학습 알고리즘이 신경망인 경우, 본 예시적인 실시예에서와 같이, 검색 모듈(120)은 도 3의 프로세스 S12의 일부로서, 신경망을 해체함으로써 이미지 내에서 병리를 지시하는 영역(410)을 검색하도록 구성될 수 있다.
눈의 일부의 이미지(410)를 정의하는 이미지 데이터가 훈련된 모델(640)에 입력되는 경우, 훈련된 모델(640)은 이러한 이미지를 "건강한" 또는 "건강하지 않은" 그리고 특정 병리를 갖는 것(즉, 모델(640)은 입력 이미지 데이터가 병리의 식별 특성을 포함하는지 여부를 결정함)으로 분류한다. 기존의 컨볼루션 신경망은 이러한 분류에 대한 설명을 출력하지 않는다. 따라서, 기존의 컨벌루션 신경망은 해체될 수 있다. 즉, 입력 이미지 데이터의 입력 변수(즉, 이미지(400)의 픽셀)가 신경망의 출력과 관련이 있는지 여부를 결정하기 위해 처리될 수 있다. "건강하지 않은" 그리고 수신된 이미지 데이터에 의해 정의된 이미지(400)의 특정 병리를 갖는 것의 분류와 가장 관련이 있는 입력 변수는 병리를 지시하는 영역(410)(또는 영역들)에 대응한다.
훈련된 모델(640)이 수신된 이미지 데이터에 의해 정의된 이미지(400)를 "건강한"(즉, 병리를 지시하는 임의의 영역을 포함하지 않음)으로 분류한 경우, 검색 모듈(120)은, 본 예시적인 실시예에서와 같이, 신경망을 해체하도록 구성되지 않을 수 있다.
신경망이 컨볼루션 신경망인 현재 도시된 실시예에서와 같은 실시예에서, 검색 모듈(120)은, 본 예시적인 실시예에서와 같이, 도 8의 흐름도에 도시된 프로세스를 수행함으로써 컨벌루션 신경망을 해체하도록 구성될 수 있다.
도 8의 S122에서, 검색 모듈(120)은, 이미지(400)의 복수의 상이한 섹션 각각에 대해, 마스킹된 이미지를 생성하기 위해 이미지의 섹션을 마스킹하는 프로세스를 수행한다.
도 8의 S124에서, 검색 모듈(120)은, 이미지(400)의 복수의 상이한 섹션 각각에 대해, 학습 알고리즘을 사용하여 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 마스킹된 이미지에서 영역을 검색하는 프로세스를 수행한다.
도 8의 S126에서, 검색 모듈(120)은, 이미지(400)의 복수의 상이한 섹션 각각에 대해, 마스킹된 이미지를 정의하는 이미지 데이터를 사용하여 수행된 검색의 결과인 제1 결과와 수신된 이미지 데이터(즉, 이미지의 섹션이 마스킹되지 않은 수신된 이미지 데이터)를 사용하여 수행된 검색의 결과인 제2 결과 사이의 차이를 결정하는 프로세스를 수행한다.
도 8의 S128에서, 검색 모듈(120)은 결정된 차이가 가장 큰 섹션의 위치를 이미지(400)의 영역(410)의 위치로서 결정한다.
다르게는, 신경망이 콘볼루션 신경망인 경우, 검색 모듈(120)은,
(i) 신경망의 최상위 계층에서 신경망의 입력 계층으로, 각각의 신경망 계층에 테일러 분해(Taylor decomposition)를 적용함으로써 신경망의 출력에 대한 신경망의 각각의 입력 변수의 관련성을 결정하고,
(ii) 신경망의 가장 관련된 입력 변수에 대응하는 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 기록될 위치를 결정함으로써,
컨볼루션 신경망을 해체하도록 구성될 수 있다.
Taylor 분해는 입력 변수에 대해 신경망의 출력을 분해하여 개별 신경망 예측을 설명하는 방법이다. 이 방법은 이미지(400)를 픽셀 값 세트 
로 보며, 여기서 
는 특정 픽셀을 나타낸다. 함수 
는 이미지(400)에서 특정 유형의 객체, 여기서 병리를 지시하는 영역(410)의 존재를 정량화한다. 함수값 
= 0은 그것의 부재를 지시한다. 반면에, 함수값 
> 0은 일정 정도의 확실성 또는 특정 수량의 존재를 나타낸다. Taylor 분해 방법은 이미지 내의 각각의 픽셀 
에, 이미지 x에 대해 픽셀 
가 분류 결정 
을 설명하는 데 어느 정도 기여하는지를 지시하는 관련성 점수 
를 할당한다. 각각의 픽셀의 관련성은 x와 동일한 차원의 
로 표시되는 히트 맵(heat map)에 저장될 수 있으며 이미지로 시각화될 수 있다. 따라서, 영역의 위치는 히트 맵에서 가장 관련있는 픽셀의 위치로서 결정될 수 있다.
더 다르게는, 신경망이 컨볼루션 신경망인 경우, 검색 모듈(120)은 컨볼루션 신경망의 디컨볼루션을 결정함으로써 컨볼루션 신경망을 해체하도록 구성될 수 있다. 특히, 컨벌루션 신경망은, 입력으로서, 컨볼루션 신경망의 출력을 취하고, 출력으로서, 미리 정의된 클래스들 중 하나에 속하는 각각의 픽셀의 확률을 지시하는 컨벌루션 신경망에 대한 이미지 입력과 동일한 크기의 확률 맵을 제공하는 다중 계층 디컨볼루션 네트워크을 훈련시킴으로써 해체될 수 있다. 따라서, 영역의 위치는 미리 결정된 클래스들 중 하나에 속할 확률이 가장 높은(즉, 복수의 상이한 유형의 병리 중 하나를 가질 확률이 가장 높은) 픽셀의 위치로서 결정될 수 있다 픽셀의 위치로 결정될 수 있다.
따라서, 검색 모듈(120)은, 본 예시적인 실시예에서와 같이, 신경망의 출력과 가장 관련있는 수신된 이미지 데이터에 의해 정의된 이미지(400)의 픽셀을 병리를 지시하는 영역(410)으로 식별함으로써 이미지에서 병리를 지시하는 영역(410)을 검색하도록 구성될 수 있다.
다시 도 3을 참조하면, 프로세스 S13에서, 검색 모듈(120)은 병리를 지시하는 이미지의 영역이 프로세스 S12에서 수행된 검색의 결과로서 발견되었는지 여부를 결정한다. 병리를 지시하는 이미지 내의 영역이 프로세스 S12에서 수행된 검색의 결과로서 발견되면, 프로세스는 S14로 진행하고, 그렇지 않으면 프로세스가 종료된다.
도 3의 프로세스 S14에서, 명령 생성 모듈(130)은 검색 모듈(120)에 의해 발견된 영역(410)의 이미지에서의 위치를 결정한다. 그 위치는, 예를 들어, 도 2에서 도시된 하드웨어 구성(200)의 작업 메모리(230) 내에 검색 모듈(120)에 의해 기록되고, S14에서 명령 생성 모듈(130)에 의해 작업 메모리로부터 판독될 수 있다.
본 예시적인 실시예와 같은 실시예에서, 장치(100)의 프로세스 결과가 여기에서 기술된 바와 같이 디스플레이 장치(215) 상에 디스플레이되는 경우, 결정된 위치는, 도 4a에 도시된 바와 같이, 중심에 제공할 수 있거나 또는 그렇지 않으면, 도 4b에 도시된 경계 박스(440)와 같은 오버레이 그래픽 엘리먼트를 병리를 포함하는 것으로 밝혀진 이미지(400)의 영역(410) 위에 위치시킬 수 있다.
도 3의 프로세스 S16에서, 명령 생성 모듈(130)은 눈 측정 장치(300)가, 눈의 일부에 대한 측정의 위치를 설정하기 위해 결정된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 눈의 일부에 대한 측정을 수행하도록 하는 명령을 생성한다. 도 3의 프로세스 S16에서 생성된 명령은 당업자에게 알려진 임의의 적절한 수단에 의해 눈 측정 장치(300)에게 제공될 수 있다.
현재 도시된 실시예와 같은 실시예에서, 결정된 위치는 영역(410)을 구성하는 하나 이상의 픽셀 그룹의 이미지(400)의 위치이다. 눈의 일부에 대해 눈 측정 장치(300)에 의해 수행될 측정의 위치를 설정하는 데 사용될 수 있는 기준점을 결정하기 위해, S12에서 검색 모듈(120)에 의해 기록된 위치는, 안구 이미징 시스템(520)에 의해 이미지화되는 것과 실질적으로 동일한 눈 내의/눈 상의 위치에서 측정을 수행하도록 눈 측정 장치(300)를 조종하기 위한 하나 이상의 제어 파라미터의 대응하는 세트로 변환될 수 있다. 이것은 여러 가지 상이한 방법 중 하나로 수행될 있다.
예를 들어, 명령 생성 모듈(130)은 SLO에 의해 획득된 이미지로부터의 픽셀 좌표 값과 제어 파라미터의 대응하는 값 사이의 매핑을 사용할 수 있으며, 이는 예를 들어 룩업 테이블 또는 파라미터 세트에 의해 정의된 함수의 형태로 제공될 수 있다. 맵핑은 당업자에게 알려진 기술을 사용하여 교정에 의해 결정될 수 있다.
도 3의 프로세스 S18에서, 수신기 모듈(110)은 눈 측정 장치(300)로부터 측정 데이터를 수신하고, 그 후 프로세스는 종료된다.
눈 측정 장치(300)는 피험자의 눈의 보완 측정이 행해질 수 있도록 하는 임의 종류의 장치일 수 있으며, 이는 검색 모듈(120)에 의해 발견된 영역이 이미지화된 병리를 포함하는 것을(또는 가능성이 높은 것을) 검증하는 데 사용될 수 있다. 눈 측정 장치(300)는, 예를 들어, 명령 생성 모듈(130)에 의해 생성된 명령에 응답하여 광에 의한 자극에 대한 피험자의 눈의 기능적 응답을 측정하고, 측정된 기능적 응답을 나타내는 데이터를 수신기 모듈(110)에게 전달할 수 있다.
다르게는, 눈 측정 장치(300)는, 본 실시예에서와 같이, 망막(또는 상기한 바와 같이 눈의 다른 선택된 부분)에 대한 측정으로서, 이미지 캡처 프로세스에서 이미지화될 망막의 영역의 위치를 측정의 위치로서 설정하기 위해 상기 언급된 기준점을 사용하여 망막의 영역을 이미지화하기 위해 제2 이미징 방식의 이미지 캡처 프로세스를 수행하도록 구성될 수 있으며, 여기서 제2 이미징 방식은 제1 이미징 방식(즉, 본 예시적인 실시예에서의 SLO)과 상이하다. 따라서, 본 예시적인 실시예에서, 병리를 지시하는 이미지의 영역이 도 2의 S12에서 발견되는 경우, 명령 생성 모듈(120)은, 도 3의 S16에서, 이미지 캡처 프로세스에서 이미지화될 눈의 일부에서의 영역의 위치를 측정의 위치로 설정하기 위한 기준점을 사용하여, 이미지 캡처 프로세스를 수행하기 위해 눈 측정 장치에 대한 명령을 눈 측정 장치(300)가 눈의 일부에 대한 측정을 수행하기 위한 명령으로서 생성한다. 그 후, 수신기 모듈(110)은, 도 3의 프로세스 S18에서, 눈 측정 장치(300)에 의해 획득된 제2 이미징 방식의 이미지 데이터를 측정 데이터로서 수신한다. 둘 이상의 상이한 이미징 방식(예를 들어, 결합된 SLO-OCT 이미징 시스템)의 안구 이미지를 획득할 수 있는 단일의, 다중 모드의 안구 이미징 시스템이 안구 이미징 시스템(520) 및 눈 측정 장치(300)의 기능을 제공할 수 있음에 유의한다. 안구 이미징 시스템(520) 및 눈 측정 장치는 다르게는 별개의 컴포넌트로서 제공될 수 있다.
상기 논의된 매핑은 미리 결정된 방식으로 눈 측정 장치와 관련하여 위치되고 배향되는 피험자의 눈에 의존할 수 있다. 임의의 실제 애플리케이션에서는 이것이 좋은 가정일 수 있지만, 모든 경우에 해당되는 것은 아니다. 이러한 가정이 유지되지 않는 경우, 안구 이미징 시스템(520)에 의해 획득된 이미지 및 본 예시적인 실시예의 눈 측정 장치(300)에 의해 획득된 상이한 방식의 이미지 둘 다 알 수 있는 해부학적 특징(예를 들어, 황반(fovea))과 관련하여 검색 모듈(120)에 의해 발견된 영역의 위치를 정의하는 것이 바람직할 수 있다. 그 후, 이미지(400)에서의 황반의 위치에 대한 영역의 위치는 눈 측정 장치(300)에 의해 획득된 이미지에서 황반의 위치에 대한 대응하는 위치로 변환될 수 있다.
기준점은 임의의 적절한 방식으로 눈의 일부에 대한 측정 위치를 설정하는 데 사용될 수 있다. 예를 들어, 눈 측정 장치(300)는 기준점에 대응하는 피험자의 망막 상의 위치를 중심으로 하는 미리 결정된 크기의 영역을 이미지화하도록 (또는 더 일반적으로 임의의 다른 종류의 측정을 수행하도록) 제어될 수 있다.
상기한 제1 예시적인 실시예의 수정에서, 검색 모듈(120)이 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 복수의 상이한 유형의 병리 중 하나를 지시하는 이미지에서 영역(410)을 검색하는 경우, 명령 생성 모듈(130)은, 검색 모듈(120)에 의해 발견된 복수의 상이한 유형의 병리 중 하나를 지시하는 이미지(400) 내의 영역(410)에 응답하여, 복수의 상이한 유형의 병리 중 하나에 대해, 눈의 망막에 대한 이미지 캡쳐 프로세스를 수행하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나를 제2 이미징 방식으로 선택하는 프로세스를 수행한다. 제1 실시예의 수정에서, 명령 생성 모듈(130)은, 예를 들어, 복수의 상이한 유형의 병리 각각의 지시자가 복수의 상이한 유형의 이미징 방식 중 하나의 각각의 지시자와 연관되어 저장된룩업 테이블(look-up table, LUT)을 찾음으로써, 그리고 검색 모듈(120)에 의해 발견된 복수의 상이한 유형의 병리 중 하나를 검색 키로 사용함으로써, 피험자의 망막에 대한 이미지 캡처 프로세스를 수행하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나를 선택할 수 있다.
예를 들어, 복수의 상이한 유형의 병리 중 하나가 녹내장인 경우, 명령 생성 모듈(130)은 눈 측정 장치(300)가, 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 피험자 눈의 망막 상의 영역의 OCT 스캔을 수행하기 위한 명령을 생성할 수 있다. 그 후, 수신기 모듈(110)은 도 3의 S18에서 장치(100)가 녹내장을 검출하기 위해 (그리고 선택적으로 그 심각도를 추정하기 위해) 유용한 보완 데이터, 즉 망막 신경 섬유 계층 및/또는 눈의 시신경 헤드의 측정을 획득하도록 처리할 수 있는 OST 스캔의 이미지 데이터를 측정 데이터로서 수신할 수 있다.
다른 예로서, 복수의 상이한 유형의 병리 중 하나가 심각한 당뇨 망막병증인 경우, 명령 생성 모듈(130)은 눈 측정 장치(300)가, 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 눈의 망막의 영역의 OCT 스캔을 수행하도록 하는 명령을 생성할 수 있다. 그 후, 수신기 모듈(110)은 도 3의 S18에서 장치(100)가 심각한 당뇨 망막병증을 검출하기 위해 (그리고 선택적으로 그 심각도를 추정하기 위해) 유용한 보완 데이터를 획득하도록 처리할 수 있는 OST 스캔의 이미지 데이터, 즉 황반 두께 측정을 측정 데이터로서 수신할 수 있다.
다른 예로서, 복수의 상이한 유형의 병리 중 하나가 종양인 경우, 명령 생성 모듈(130)은 눈 측정 장치(300)가, 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 눈의 망막 내의 영역의 고밀도 OCT B 스캔을 수행하도록 하는 명령을 생성할 수 있다. 그 후, 수신기 모듈(110)은 도 3의 S18에서 종양을 검출하기 위해 (그리고 선택적으로 그 크기를 추정하기 위해) 유용할 수 있는 고밀도 OCT B 스캔의 이미지 데이터를 수신할 수 있다.
또 다른 예로서, 복수의 상이한 유형의 병리 중 하나가 드루젠인 경우, 명령 생성 모듈(130)은, 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 눈 측정 장치(300)가 눈의 망막 내의 영역의 OCT B 스캔을 수행하도록 하는 명령을 생성할 수 있다. 그 후, 수신기 모듈(110)은 도 3의 S18에서 드루젠의 존재를 검출하거나 또는 그들의 크기 및/또는 개수를 추정하기 위해 유용할 수 있는 OCT B 스캔의 이미지 데이터를 측정 데이터로서 수신할 수 있다. 이러한 데이터는 예를 들어 연령 관련 황반 변성을 조기에 진단하는 데 유용할 수 있다.
또한, 복수의 상이한 유형의 병리 중 하나가 부종 또는 위축인 경우, 명령 생성 모듈(130)은, 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 눈 측정 장치(300)가 눈의 망막 내의 영역의 OCT 스캔을 수행하도록 하는 명령을 생성할 수 있다. 그 후, 수신기 모듈(110)은 도 3의 S18에서 부종(또는 경우에 따라 위축)을 검출하고 선택적으로 그 심각도를 추정하기 위해 유용할 수 있는 OCT 스캔의 이미지 데이터를 수신할 수 있다.
상기한 제1 예시적인 실시예의 변경예에서, 검색 모듈(120)은 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 복수의 상이한 유형의 병래 중 하나를 지시하는 이미지에서 영역(410)을 검색하고, 명령 생성 모듈(130)은, 검색 모듈(120)에 의해 발견된 복수의 상이한 유형의 병리 중 하나를 지시하는 이미지(400) 내의 영역(410)에 응답하여, 복수의 상이한 유형의 병리 중 하나에 대해 그리고 제2 이미징 방식에 따라, 눈의 망막에 대한 이미지 캡처 프로세스를 수행하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나를 선택하는 프로세스를 수행한다. 그러나, 전술한 바와 같이, 눈 측정 장치(300)는 망막의 이미지(또는 더 일반적으로, 눈의 임의의 다른 선택된 부분)를 획득하도록 구성될 필요는 없지만, 대신 눈에 대해 상이한 종류의 측정을 수행할 수 있다. 또한, 눈 측정 장치(300)는 복수의 상이한 측정 방식 중 선택된 하나에서 작동 가능하다는 의미에서 다중 모드(multi-modal)일 수 있다. 이러한 변형에서, 명령 생성 모듈(130)은, 검색 모듈(120)에 의해 발견된 복수의 상이한 유형의 병리 중 하나를 지시하는 이미지(400) 내의 영역(410)에 응답하여, 복수의 상이한 유형의 병리 중 하나에 대해, 눈에 대해 수행될 측정을 위한 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하고, 눈 측정 장치(300)가 눈의 일부에 대한 측정을 수행하도록 하는 명령에 따라, 눈의 일부에 대한 측정 위치를 설정하기 위한 기준점을 사용하여 눈의 일부에 대한 측정을 수행하기 위해 선택된 측정 방식의 눈 측정 장치(300)에 대한 명령을 생성하는 프로세스를 수행할 수 있다.
제1 예시적인 실시예의 제2 변경예에서, 눈 측정 장치(300)는 제1 실시예와 유사하게 상이한 유형의 병리를 구별하지 않는 안구 이미징 시스템(520)과 동일한 이미징 방식의 안구 이미징 장치일 수 있다. 이러한 제2 변경예에서, 수신기 모듈(110)은 이미징 파라미터의 제1 값을 사용하여 눈의 일부를 이미지화(이미징)한 결과를 나타내는 이미지 데이터를 수신하도록 구성되며, 이미징 파라미터는 이미징에서 사용되는 이미징 해상도, 개구 크기 또는 파장이다. 명령 생성 모듈(130)은, 검색 모듈(120)에 의해 발견된 병리를 지시하는 이미지(400) 내의 영역(410)에 응답하여, 눈 측정 장치(300)가 눈의 일부에 대한 측정을 수행하도록 하는 명령으로서, 눈 측정 장치(300)가 눈의 일부에서의 영역을 이미지화하기 위해 이미징 파라미터의 제2 값을 사용하고, 측정의 위치로서, 이미지 캡처 프로세스에서 이미지화될 눈의 위치 내의 영역의 위치를 설정하기 위한 기준점을 다시 사용하여, 이미지 캡처 프로세스를 수행하도록 하는 명령을 생성하는 프로세스를 수행하도록 구성되며, 여기서 이미징 파라미터의 제2 값은 이미징 파라미터의 제1 값과 상이하다. 수신기 모듈(110)은 이미징 파라미터의 제2 값 및 수신된 이미지 데이터를 사용하여 눈의 일부 내의 영역을 이미지화한 결과를 나타내는 이미지 데이터를 측정 데이터로서 눈 측정 장치(300)로부터 수신하도록 구성되고, 수신된 측정 데이터는 동일한 이미징 방식의 것이다.
예를 들어, 제2 변경예에서, 안구 이미징 시스템(520)은 제1 이미징 해상도에서 눈의 일부를 이미지화함으로써 이미지를 정의하는 이미지 데이터를 획득하도록 구성될 수 있고, 명령 생성 모듈(130)은, 검색 모듈(120)에 의해 발견된 병리를 지시하는 이미지 내의 영역에 응답하여, 눈 측정 장치(300)가 영역을 더 상세하게 이미지화하기 위해 제2의 더 높은 이미징 해상도에서 이미지 캡처 프로세스를 수행하도록 하는 명령을 생성하도록 구성될 수 있다.
[실시예 2]
도 9는 본 명세서의 제2 예시적인 실시예에 따른, 안구 이미징 시스템(도 5의 520)에 의해 획득된 눈 일부의 이미지에서 병리의 존재를 검색하기 위한 장치(800)의 개략도이다. 제2 예시적인 실시예에서의 장치(800)는 도 9의 장치가 수신된 이미지(400)에서 병리를 지시하는 영역의 위치를 결정할 필요가 없다는 점에서 도 1의 장치(100)와 다르다.
장치(800)는 안구 이미징 시스템(520)에 의해 생성된 이미지를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈(810), 및 이미지에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하도록 구성된 검색 모듈(820)을 포함한다. 장치(800)는, 검색 모듈(820)에 의해 이미지 내에 존재하는 것으로 발견된 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여, 이미지에 존재하는 것으로 발견된 적어도 한 유형의 병리의 각각에 대해, 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하고, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각의 선택된 측정 방식의 눈 측정 장치가 눈의 일부에 대한 측정을 수행하도록 하는 각각의 명령을 생성하는 프로세스를 수행하도록 구성된 명령 생성 모듈을 더 포함한다. 수신기 모듈(810)은 각각의 선택된 측정 방식의 눈 측정 장치에 의해 수행된 측정의 측정 데이터를 수신하도록 더 구성된다. 선택적으로, 장치(800)는 현재 도시된 실시예에서와 같이 디스플레이 제어 신호 생성기(840)를 포함할 수 있다(이러한 선택적인 컴포넌트는 도 9에서 점선으로 도시됨).
장치(800)는 제1 실시예와 관련하여 상기한 바와 같이, (예를 들어, 녹내장, 중등도 당뇨 망막병증, 심각한 당뇨 망막병증, 종양, 드루젠, 부종 및 위축을 포함하는) 임의의 병리의 존재를 검색하도록 구성될 수 있다.
본 예시적인 실시예에서, 수신기 모듈(810)은 안구 이미징 시스템(520)에 의해 생성된 눈의 망막의 일부의 이미지를 정의하는 이미지 데이터를 수신하도록 구성된다. 그러나, 다른 예시적인 실시예에서, 수신된 이미지 데이터는 망막 이외의 눈의 일부, 예를 들어 눈의 전방 세그먼트의 일부 또는 눈의 후방 세그먼트의 일부를 정의할 수 있다.
안구 이미징 시스템(520)은, 본 예시적인 실시예에서와 같이, 스캐닝 레이저 검안경일 수 있다. 다르게는, 안구 이미징 시스템은 제1 실시예와 관련하여 상기한 임의의 안구 이미징 시스템일 수 있다.
수신기 모듈(810)은 제1 실시예와 관련하여 상기한 임의의 수단에 의해 안구 이미징 시스템(520)에 의해 획득된 이미지를 정의하는 이미지 데이터를 수신하도록 구성될 수 있다.
예시적인 실시예의 장치(800)에 의해 수행되는 작동에 대한 이하의 설명으로부터 보다 명백해지는 바와 같이, 장치(800)는 이미지에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하기 위해 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지를 정의하는 이미지 데이터를 자동으로 처리하고, 복수의 상이한 유형의 병리 중 적어도 하나가 이미지 내에 존재하는 것으로 발견되는 경우, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택한다. 그 후, 각각의 선택된 측정 방식의 눈 측정 장치가 눈의 일부에 대한 측정을 수행하도록 하는 각각의 명령은 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해 생성된다. 따라서, 장치(800)는 특정 유형의 병리를 포함하는 것으로 의심되는 이미지 및 의심되는 유형의 병리와 관련된 측정 방식의 추가 측정 데이터를 모두 획득한다. 장치(800)에 의해 자동적으로 획득되는 이들 상이하지만 보완적인 종류의 정보는 임의의 병리 포함 안구 이미지가 신속하고 높은 신뢰도로 식별될 수 있게 한다.
도 9의 장치(800)는 도 2에 도시된 것과 같은 신호 처리 하드웨어 구성 또는 임의의 다른 적절한 수단에 의해 구현될 수 있다.
도 10은 본 명세서의 제2 예시적인 실시예에 따른, 도 9의 장치(800)가 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지에서 병리의 존재를 검색하는 프로세스를 도시한 흐름도이다.
도 10의 프로세스 S20에서, 수신기 모듈(810)은 (안구 이미징 시스템(520)의 예로서) SLO에 의해 획득된 눈의 일부의 이미지를 정의하는 이미지 데이터를 수신한다.
도 10의 프로세스 S22에서, 검색 모듈(820)은 건강한 눈의 이미지 및 각각 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 이미지를 정의하는 이미지 데이터에 대해 학습된 학습 알고리즘을 사용하여 수신된 이미지 데이터를 처리함으로써 이미지에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색한다. 학습 알고리즘은 눈의 일부의 이미지를 "건강한" 또는 "건강하지 않은"으로 정의하고 특정 병리를 갖는 입력 이미지 데이터를 분류하기 위해 도 6과 관련하여 상기한 된 바와 같이 훈련될 수 있다.
장치(800)는 이미지에서 병리를 지시하는 영역의 위치를 기록할 필요가 없다. 따라서, 장치(800)는, 본 예시적인 실시예에서와 같이, 입력 이미지 데이터(즉, 수신된 이미지 데이터에 의해 정의된 이미지의 픽셀)의 입력 변수가 출력(즉, 복수의 상이한 유형의 병리 중 하나가 존재한다는 발견)과 관련되었는지를 결정하기 위해 학습 알고리즘을 처리하지 않을 수 있다. 다르게는, 다른 실시예들에서, 이러한 처리는 선택적으로 기준점을 식별하기 위해 도 10의 S22의 일부로서 장치(800)에 의해 수행될 수 있다.
프로세스 S23에서, 검색 모듈(820)은 프로세스 S22에서 수행된 검색의 결과로서, 상이한 유형의 병리 중 적어도 하나가 이미지 내에 존재하는 것으로 발견되었는지를 결정한다. 프로세스 S22에서 수행된 검색의 결과로서 상이한 유형의 병리 중 적어도 하나가 이미지 내에 존재하는 것으로 발견되면, 프로세스는 S24로 진행하고, 그렇지 않으면 프로세스가 종료된다.
도 10의 프로세스 S24에서, 검색 모듈(820)에 의해 이미지 내에 존재하는 것으로 발견된 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여, 명령 생성 모듈(830)은, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하는 프로세스를 수행한다.
명령 생성 모듈(830)은 도 1의 장치(100)와 관련하여 상기한 임의의 수단에 의해 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택할 수 있다.
도 10의 프로세스 S26에서, 검색 모듈(820)에 의해 이미지 내에 존재하는 것으로 발견된 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여, 명령 생성 모듈(830)은, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각의 선택된 측정 방식의 눈 측정 장치가 눈의 일부에 대한 측정을 수행하도록 하는 각각의 명령을 생성하는 프로세스를 수행한다.
명령은 도 1의 장치(100)와 관련하여 위에서 상기한 바와 같이 실질적으로 생성될 수 있다. 그러나, 장치(800)가 병리를 지시하는 영역을 검색하지 않는 현재 도시된 실시예와 같은 실시예에서, 명령 생성 모듈(830)은 눈의 일부에 대한 측정의 위치를 설정하기 위한 병리를 지시하는 영역의 기록된 위치에 기초하여 기준점을 사용할 필요가 없다. 도 10의 프로세스 S26의 일부로서, 명령어 생성 모듈(130)은 본 예시적인 실시예에서와 같이, 이미지 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각 선택된 측정 방식의 눈 측정 장치가 안구 이미징 시스템에 의해 이미지화된 것과 동일한 눈의 일부에 대한 측정을 수행하도록 하는 각각의 명령을 생성할 수 있다.
도 10의 프로세스 S28에서, 수신기 모듈(810)은 각각의 선택된 측정 방식의 눈 측정 장치에 의해 수행된 측정의 측정 데이터를 수신한다. 수신기 모듈(810)은 제1 실시예와 관련하여 상기한 임의의 수단에 의해 측정 데이터를 수신할 수 있다.
상기한 실시예들 중 일부는 다음의 예 E1 내지 E52에 요약되어 있다.
E1. 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지(400)에서 병리를 지시하는 영역(410)을 검색하는 컴퓨터 구현 방법으로서,
이미지(400)를 정의하는 이미지 데이터를 수신하는 단계(S10);
건강한 눈 부분의 이미지를 정의하는 이미지 데이터(502; 604), 및 각각이 상기 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603; 501)에 대해 훈련된 학습 알고리즘(530; 630)을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 상기 영역(410)을 검색하는 단계(S12); 및
상기 검색하는 단계에서 병리를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우,
상기 이미지(400)에서 상기 영역(410)의 위치를 결정하고(S14),
눈 측정 장치(300)가 상기 눈의 일부에 대한 측정의 위치를 설정하기 위한 상기 결정된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 상기 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하며, 그리고
상기 눈 측정 장치(300)로부터 상기 측정 데이터를 수신하는(S18) 단계
를 포함하는 컴퓨터 구현 방법.
E2. E1에 있어서,
상기 이미지(400)에서 상기 영역(410)을 검색하는 단계(S12)는 상기 학습 알고리즘을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400) 내의 영역(410)을 검색하는 단계 ― 상기 학습 알고리즘은 각각이 상기 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603)에 대해 학습됨 ―를 포함하며,
상기 검색하는 단계(S12)에서 상기 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우,
상기 컴퓨터 구현 방법은, 상기 복수의 상이한 유형의 병리 중 하나에 대해, 상기 눈에 대해 수행될 측정을 위한 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하는 단계를 더 포함하고,
상기 컴퓨터 구현 방법은, 상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 선택된 측정 방식의 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정의 위치를 설정하기 위한 상기 기준점을 사용하여, 상기 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하는 단계(S16)를 포함하는,
컴퓨터 구현 방법.
E3. E1에 있어서,
상기 수신된 이미지 데이터는 제1 이미징 방식의 이미지 데이터이고,
상기 눈 측정 장치(300)는, 상기 눈의 일부에 대한 측정으로서, 상기 눈의 일부의 영역을 이미지화하기 위해 제2 이미징 방식의 이미지 캡처 프로세스를 수행하고, 상기 제2 이미징 방식의 이미지 데이터를 측정 데이터로서 획득하도록 구성되며 ― 상기 제2 이미징 방식은 상기 제1 이미징 방식과 상이함 ―,
상기 검색하는 단계(S12)에서 상기 병리를 지시하는 이미지(400) 내의 영역(410)이 발견되는 경우, 상기 컴퓨터 구현 방법은,
상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 눈 측정 장치(300)가 상기 이미지 캡처 프로세스에서 이미지화될 상기 눈의 일부의 영역의 위치를 상기 측정의 위치로서 설정하기 위한 상기 기준점을 사용하여 상기 이미지 캡처 프로세스를 수행하기 위한 명령을 생성하는 단계(S16); 및
상기 눈 측정 장치(300)로부터, 상기 측정 데이터로서, 상기 눈의 일부에서 상기 영역의 이미지를 정의하는 상기 제2 이미징 방식의 이미지 데이터를 수신하는 단계(S18)
를 포함하는, 컴퓨터 구현 방법.
E4. E3에 있어서,
상기 이미지(400)에서 상기 영역(410)을 검색하는 단계(S12)는 상기 학습 알고리즘(630)을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400) 내의 상기 영역(410)을 검색하는 단계 ― 상기 학습 알고리즘은 각각이 상기 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 상기 이미지 데이터(601, 602, 603)에 대해 훈련됨 ―를 포함하며,
상기 검색하는 단계(S12)에서 상기 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우, 상기 컴퓨터 구현 방법은 상기 복수의 상이한 유형의 병리 중 하나에 대해 그리고 상기 제2 이미징 방식에 따라, 상기 눈의 일부에 대해 상기 이미지 캡처 프로세스를 수행하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나를 선택하는 단계를 더 포함하는,
컴퓨터 구현 방법.
E5. E4에 있어서,
상기 복수의 상이한 유형의 병리 중 하나가 녹내장인 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치가, 상기 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S16)를 포함하고,
상기 복수의 상이한 유형의 병리 중 하나가 심한 당뇨 망막병증인 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치가, 상기 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 상기 눈의 망막 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하고, 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S16)를 포함하며,
상기 복수의 상이한 유형의 병리 중 하나가 종양인 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치가, 상기 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 상기 눈의 일부 영역의 고밀도 광학 일관성 단층 촬영(OCT) B 스캔을 수행하고, 상기 측정 데이터로서, 상기 고밀도 OCT B 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S16)를 포함하고,
상기 복수의 상이한 유형의 병리 중 하나가 드루젠인 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치가, 상기 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) B 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT B 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S16)를 포함하며,
상기 복수의 상이한 유형의 병리 중 하나가 부종 또는 위축인 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치가, 상기 제2 이미징 방식의 이미지 캡처 프로세스에 따라, 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S16)를 포함하는,
컴퓨터 구현 방법.
E6. E1에 있어서,
상기 검색하는 단계에서 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 눈 측정 장치가 상기 결정된 위치에 기초하는 상기 측정의 위치를 설정하기 위한 상기 기준점을 사용하여, 광 자극에 대한 상기 눈의 기능적 응답을 측정하기 위한 명령을 생성하는 단계(S16)를 포함하는,
컴퓨터 구현 방법.
E7. E1에 있어서,
상기 수신된 이미지 데이터는 이미징 파라미터의 제1 값을 사용하여 상기 눈의 일부를 이미지화한 결과를 나타내고, 상기 이미징 파라미터는 상기 이미지화에서 사용되는 이미징 해상도, 개구 크기 및 파장 중 하나이며,
상기 눈 측정 장치는, 상기 눈의 일부에 대한 측정으로서, 상기 눈의 일부의 영역을 이미지화하기 위해 상기 이미징 파라미터의 제2 값을 사용하여 이미지 캡처 프로세스를 수행하고, 상기 측정 데이터로서, 상기 이미징 파라미터의 제2 값을 사용하여 상기 영역을 이미지화한 결과를 나타내는 이미지 데이터를 획득하도록 구성되며, 상기 이미징 파라미터의 제2 값은 상기 이미징 파라미터의 제1 값과 상이하고, 상기 수신된 이미지 데이터 및 상기 획득된 이미지 데이터는 동일한 이미징 방식의 것이며,
상기 검색하는 단계에서 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우, 상기 컴퓨터 구현 방법은,
상기 눈 측정 장치가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 눈 측정 장치가, 상기 측정의 위치로서, 상기 이미지 캡처 프로세스에서 이미지화될 상기 눈의 일부의 영역의 위치를 설정하기 위한 상기 기준점을 사용하여, 상기 이미지 캡처 프로세스를 수행하기 위한 명령을 생성하는 단계(S16); 및
상기 눈 측정 장치로부터, 상기 측정 데이터로서, 상기 이미징 파라미터의 제2 값을 사용하여 상기 눈의 일부의 영역(410)을 이미지화한 결과를 나타내는 상기 이미지 데이터를 수신하는 단계(S18)
를 포함하는, 컴퓨터 구현 방법.
E8. E1 내지 E7 중 어느 하나에 있어서,
상기 눈의 일부의 이미지(400) 내의 영역(410)의 위치 및 상기 수신된 측정 데이터의 표시를 디스플레이하도록 디스플레이 유닛(215)을 제어하기 위한 명령을 생성하는 단계
를 더 포함하는, 컴퓨터 구현 방법.
E9. E1 내지 E8 중 어느 하나에 있어서,
상기 학습 알고리즘(530; 630)은 지도 학습 알고리즘인,
컴퓨터 구현 방법.
E10. E9에 있어서,
상기 지도 학습 알고리즘은 신경망을 포함하고, 상기 병리를 지시하는 영역(410)은 상기 신경망을 분해함으로써 상기 이미지(400)에서 검색되는,
컴퓨터 구현 방법.
E11. E10에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 신경망은,
상기 수신된 이미지 데이터에 의해 정의된 상기 이미지(400)의 복수의 상이한 섹션 각각에 대해,
마스킹된 이미지를 생성하기 위해 상기 이미지(400)의 섹션을 마스킹하는 단계(S122);
상기 학습 알고리즘을 사용하여 상기 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 상기 마스킹된 이미지에서 상기 영역을 검색하는 단계(S124); 및
상기 마스킹된 이미지를 정의하는 상기 이미지 데이터를 사용하여 수행된 상기 검색의 결과와 상기 수신된 이미지 데이터를 사용하여 수행된 검색의 결과 사이의 차이를 결정하는 단계(S126)
의 프로세스를 수행하는 단계; 및
상기 이미지(400) 내의 영역(410)의 위치로서, 상기 결정된 차이가 가장 큰 섹션의 위치를 결정하는 단계(S128)
에 의해 해체되는, 컴퓨터 구현 방법.
E12. E10에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은,
상기 신경망의 최상위 계층으로부터 상기 신경망의 입력 계층까지, 상기 신경망의 계층 각각에 대해 테일러 분해를 적용함으로써 상기 신경망의 출력에 대한 상기 신경망의 각각의 입력 변수의 관련성을 결정하는 단계; 및
상기 신경망의 가장 관련성 있는 입력 변수에 대응하는 상기 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 상기 이미지(400)에서 상기 영역(410)의 위치를 결정하는 단계
에 의해 해체되는, 컴퓨터 구현 방법.
E13. E10에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은 상기 컨볼루션 신경망의 디컨볼루션을 결정함으로써 해체되는,
컴퓨터 구현 방법.
E14. 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지(400)에서 병리의 존재를 검색하는 컴퓨터 구현 방법으로서,
상기 이미지(400)를 정의하는 이미지 데이터를 수신하는 단계(S20);
건강한 눈의 이미지(502), 및 각각이 상기 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 이미지(601, 602, 603)를 정의하는 이미지 데이터에 대해 학습된 학습 알고리즘(630)을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하는 단계(S22); 및
상기 복수의 상이한 유형의 병리 중 적어도 하나가 상기 이미지(400) 내에 존재하는 것으로 발견되는 경우,
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 상기 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하고(S24),
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 상기 각각의 선택된 측정 방식의 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 각각의 명령을 생성하며(S26), 그리고
선택된 측정 방식 각각의 눈 측정 장치(300)에 의해 수행된 상기 측정의 측정 데이터를 수신하는(S28) 단계
를 포함하는 컴퓨터 구현 방법.
E15. E14에 있어서,
상기 복수의 상이한 유형의 병리 중 적어도 하나가 상기 이미지(400) 내에 존재하는 것으로 발견되는 경우,
상기 이미지 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 적어도 하나의 각각에 대해, 상기 학습 알고리즘을 사용하여 상기 수신된 이미지를 처리하고, 상기 이미지(400)에서 각각의 유형의 위치를 기록함으로써, 각각의 유형의 병리를 지시하는 상기 이미지(400) 내의 각각의 영역(410)을 검색하는 단계를 더 포함하고,
각각의 선택된 측정 방식의 상기 눈 측정 장치(300)가 각각 기록된 위치에 기초한 상기 측정을 위치시키기 위한 기준점을 사용하여 상기 눈에 대한 측정을 수행하기 위한 각각의 명령이 생성되는,
컴퓨터 구현 방법.
E16. E15에 있어서,
상기 복수의 상이한 유형의 병리 중 적어도 하나가 상기 이미지(400) 내에 존재하는 것으로 발견되는 경우,
상기 이미지 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 적어도 하나의 각각에 대해,
상기 눈의 일부를 이미지화하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나가 상기 복수의 상이한 유형의 측정 방식 중 각각의 하나로서 선택되고,
상기 선택된 이미징 방식의 눈 측정 장치(300)가 상기 각각의 기록된 위치에 기초하여 이미지화될 상기 눈의 영역을 위치시키기 위한 기준점을 사용하여, 상기 눈의 일부를 이미지화하기 위한 각각의 명령은 상기 선택된 측정 방식의 상기 눈 측정 장치(300)에 대한 각각의 명령으로서 생성되며,
상기 선택된 이미징 방식의 상기 눈 측정 장치(300)에 의해 수행된 상기 이미지화의 각각의 이미지 데이터는 상기 눈 측정 장치(300)에 의해 수행된 상기 측정의 측정 데이터로서 수신되는,
컴퓨터 구현 방법.
E17. E16에 있어서,
상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 녹내장인 경우, 상기 컴퓨터 구현 방법은, 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S26)를 포함하고,
상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 심한 당뇨 망막병증인 경우, 상기 컴퓨터 구현 방법은, 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 망막 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S26)를 포함하며,
상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 종양인 경우, 상기 컴퓨터 구현 방법은, 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 고밀도 광학 일관성 단층 촬영(OCT) B 스캔을 수행하고, 상기 측정 데이터로서, 상기 고밀도 OCT B 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S26)를 포함하고,
상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 드루젠인 경우, 상기 컴퓨터 구현 방법은, 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) B 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT B 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S26)를 포함하며,
상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 부종 또는 위축인 경우, 상기 컴퓨터 구현 방법은, 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 획득하기 위한 명령을 생성하는 단계(S26)를 포함하는,
컴퓨터 구현 방법.
E18. E14에 있어서,
복수의 상이한 유형의 병리 중 적어도 하나가 상기 이미지(400) 내에 존재하는 것으로 발견되는 경우, 생성된 명령 중 적어도 하나는 선택된 측정 방식의 눈 측정 장치(300)가 광 자극에 대한 눈의 기능적 반응을 측정하기 위한 명령인,
컴퓨터 구현 방법.
E19. E15 내지 E17 중 어느 하나에 있어서,
상기 눈의 일부의 이미지(400) 내의 영역(410)의 기록된 위치 및 상기 수신된 측정 데이터의 표시를 디스플레이하도록 디스플레이 유닛(215)을 제어하기 위한 명령을 생성하는 단계
를 더 포함하는, 컴퓨터 구현 방법.
E20. E15 내지 E17 중 어느 하나에 있어서,
상기 학습 알고리즘(630)은 지도 학습 알고리즘인,
컴퓨터 구현 방법.
E21. E20에 있어서,
상기 지도 학습 알고리즘은 신경망을 포함하고, 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 하나를 지시하는 영역은 상기 신경망을 분해함으로써 상기 이미지에서 검색되는,
컴퓨터 구현 방법.
E22. E21에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 신경망은,
상기 수신된 이미지 데이터에 의해 정의된 상기 이미지(400)의 복수의 상이한 섹션 각각에 대해,
마스킹된 이미지를 생성하기 위해 상기 이미지(400)의 섹션을 마스킹하는 단계(S122);
상기 학습 알고리즘을 사용하여 상기 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 상기 마스킹된 이미지에서 상기 영역을 검색하는 단계(S124); 및
상기 마스킹된 이미지를 정의하는 상기 이미지 데이터를 사용하여 수행된 상기 검색의 결과와 상기 수신된 이미지 데이터를 사용하여 수행된 검색의 결과 사이의 차이를 결정하는 단계(S126)
의 프로세스를 수행하는 단계; 및
기록된 상기 위치로서, 상기 결정된 차이가 가장 큰 섹션의 위치를 결정하는 단계(S128)
에 의해 해체되는, 컴퓨터 구현 방법.
E23. E21에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은,
상기 신경망의 최상위 계층으로부터 상기 신경망의 입력 계층까지, 상기 신경망의 계층 각각에 대해 테일러 분해를 적용함으로써 상기 신경망의 출력에 대한 상기 신경망의 각각의 입력 변수의 관련성을 결정하는 단계; 및
상기 신경망의 가장 관련성 있는 입력 변수에 대응하는 상기 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 기록될 상기 위치를 결정하는 단계
에 의해 해체되는, 컴퓨터 구현 방법.
E24. E21에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은 상기 컨볼루션 신경망의 디컨볼루션을 결정함으로써 해체되는,
컴퓨터 구현 방법.
E25. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 E1 내지 E24 중 적어도 하나에 개시된 방법을 수행하게 하는 컴퓨터 프로그램.
E26. E25의 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체(250).
E27. E25의 컴퓨터 프로그램을 운반하는 신호(260).
E28. 안구 이미징 시스템(520; 720)에 의해 획득된 눈의 일부의 이미지(400)에서 병리를 지시하는 영역을 검색하기 위한 장치(100)로서,
이미지(400)를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈(110);
건강한 눈 부분의 이미지를 정의하는 이미지 데이터(502; 604), 및 각각이 상기 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603; 501)에 대해 학습된 학습 알고리즘(530; 630)을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 상기 영역을 검색하도록 구성된 검색 모듈(120); 및
상기 검색 모듈(120)에 의해 발견된 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여,
상기 이미지(400)에서 상기 영역(410)의 위치를 결정하고,
눈 측정 장치(300)가 상기 눈의 일부에 대한 측정의 위치를 설정하기 위한 상기 결정된 위치에 기초한 기준점을 사용하여, 측정 데이터를 생성하기 위해 상기 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하는
프로세스를 수행하도록 구성된 명령 생성 모듈
을 포함하며,
상기 수신기 모듈(110)은 상기 눈 측정 장치(300)로부터 상기 측정 데이터를 수신하도록 더 구성되는,
장치(100).
E29. E28에 있어서,
상기 검색 모듈(120)은 상기 학습 알고리즘을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 복수의 상이한 유형의 병리 중 하나를 지시하는 이미지(400)에서 영역(410)을 검색함으로써 상기 이미지(400)에서 상기 영역(410)을 검색하도록 구성되며 ― 상기 학습 알고리즘(630)은 각각이 상기 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603)에 대해 훈련됨 ―,
상기 명령 생성 모듈(130)은 상기 검색 모듈(120)에 의해 발견되는 상기 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여,
상기 복수의 상이한 유형의 병리 중 하나에 대해, 상기 눈에 대해 수행될 측정을 위한 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하고,
상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 선택된 측정 방식의 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정의 위치를 설정하기 위한 상기 기준점을 사용하여, 상기 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하는
프로세스를 수행하도록 구성되는, 장치(100).
E30. E28에 있어서,
상기 수신기 모듈(110)은 상기 이미지 데이터로서, 제1 이미징 방식의 이미지 데이터를 수신하도록 구성되고,
상기 명령 생성 모듈(130)은 상기 검색 모듈(120)에 의해 발견된 병리를 지시하는 상기 이미지 내의 영역(410)에 응답하여, 그리고 상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 위한 명령으로서, 상기 눈 측정 장치(300)가 상기 이미지 캡처 프로세스에서 이미지화될 상기 눈의 일부의 영역의 위치를 상기 측정의 위치로서 설정하기 위한 상기 기준점을 사용하여 상기 눈의 일부 내의 영역을 이미지화하기 위한 명령을 생성하도록 구성되며 ― 상기 제2 이미징 방식은 상기 제1 이미징 방식과 서로 다름 ―,
상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 눈 측정 장치(300)에 의해 획득된 상기 제2 이미징 방식의 이미지 데이터를 상기 눈 측정 장치(300)로부터 수신하도록 구성되는,
장치(100).
E31. E30에 있어서,
상기 검색 모듈(120)은 상기 학습 알고리즘(630)을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400)에서 상기 영역(410)을 검색하도록 구성되고 ― 상기 학습 알고리즘은 각각이 상기 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 상기 이미지 데이터(601, 602, 603)에 대해 훈련됨 ―,
상기 명령 생성 모듈(130)은, 상기 검색 모듈(120)에 의해 발견된 상기 복수의 상이한 유형의 병리 중 하나를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여, 상기 복수의 상이한 유형의 병리 중 하나에 대해 그리고 상기 제2 이미징 방식에 따라, 상기 눈의 일부에 대해 상기 이미지 캡처 프로세스를 수행하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나를 선택하는 프로세스를 수행하도록 구성되는,
장치(100).
E32. E31에 있어서,
상기 명령 생성 모듈(130)은, 상기 복수의 상이한 유형의 병리 중 하나가 녹내장인 경우, 상기 눈 측정 장치(300)가, 상기 제2 이미징 방식의 이미지 캡처 프로세스로서, 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(130)은, 상기 복수의 상이한 유형의 병리 중 하나가 심한 당뇨 망막병증인 경우, 상기 눈 측정 장치(300)가, 상기 제2 이미징 방식의 이미지 캡처 프로세스로서, 상기 눈의 망막 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하기 위한 명령으르 생성하도록 구성되고, 상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(130)은, 상기 복수의 상이한 유형의 병리 중 하나가 종양인 경우, 상기 눈 측정 장치(300)가, 상기 제2 이미징 방식의 이미지 캡처 프로세스로서, 상기 눈의 일부 영역의 고밀도 광학 일관성 단층 촬영(OCT) B 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 고밀도 OCT B 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(130)은, 상기 복수의 상이한 유형의 병리 중 하나가 드루젠인 경우, 상기 눈 측정 장치가, 상기 제2 이미징 방식의 이미지 캡처 프로세스로서, 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) B 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 OCT B 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈은, 상기 복수의 상이한 유형의 병리 중 하나가 부종 또는 위축인 경우, 상기 눈 측정 장치(300)가, 상기 제2 이미징 방식의 이미지 캡처 프로세스로서, 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 수신하도록 구성되는,
장치(100).
E33. E28에 있어서,
상기 명령 생성 모듈(130)은, 상기 검색 모듈(120)에 의해 발견된 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여, 그리고 상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 눈 측정 장치가 상기 결정된 위치에 기초하는 상기 측정의 위치를 설정하기 위한 상기 기준점을 사용하여, 광 자극에 대한 상기 눈의 기능적 응답을 측정하기 위한 명령을 생성하도록 구성되는,
장치(100).
E34. E28에 있어서,
상기 수신기 모듈(110)은 이미징 파라미터의 제1 값을 사용하여 상기 눈의 일부를 이미지화한 결과를 나타내는 이미지 데이터를 수신하도록 구성되고 ― 상기 이미징 파라미터는 상기 이미지화에서 사용되는 이미징 해상도, 개구 크기 및 파장 중 하나임 ―,
상기 명령 생성 모듈(130)은, 상기 검색 모듈(120)에 의해 발견된 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여, 상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 눈 측정 장치(300)가, 상기 측정의 위치로서, 이미지 캡처 프로세스에서 이미지화될 상기 눈의 일부의 영역의 위치를 설정하기 위한 상기 기준점을 사용하여 상기 눈의 일부의 영역을 이미지화하기 위해 상기 이미징 파라미터의 제2 값을 사용하여 상기 이미지 캡처 프로세스를 수행하기 위한 명령을 생성하는 프로세스를 수행하도록 구성되며 ― 상기 이미징 파라미터의 제2 값은 상기 이미징 파라미터의 제1 값과 서로 다름 ―,
상기 수신기 모듈(110)은, 상기 측정 데이터로서, 상기 이미징 파라미터의 제2 값을 사용하여 상기 눈의 일부의 영역을 이미지화한 결과를 나타내는 상기 이미지 데이터를 상기 눈 측정 장치(300)로부터 수신하도록 구성되는 ― 상기 수신된 이미지 데이터 및 상기 수신된 측정 데이터는 상기 동일한 이미징 방식의 것임 ―
장치(100).
E35. E28 내지 E34 중 어느 하나에 있어서,
상기 명령 생성 모듈(130)은 상기 눈의 일부의 이미지(400) 내의 영역(410)의 결정된 위치 및 상기 수신된 측정 데이터의 표시를 디스플레이하도록 디스플레이 유닛(215)을 제어하기 위한 명령을 생성하도록 추가로 구성되는,
장치(100).
E36. E28 내지 E35 중 어느 하나에 있어서,
상기 학습 알고리즘(630)은 지도 학습 알고리즘인,
장치(100).
E37. E36에 있어서,
상기 지도 학습 알고리즘은 신경망을 포함하고, 상기 검색 모듈(120)은 상기 신경망을 분해함으로써 상기 이미지에서 상기 병리를 지시하는 영역을 검색하도록 구성되는,
장치(100).
E38. E37에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 검색 모듈(120)은,
상기 수신된 이미지 데이터에 의해 정의된 상기 이미지(400)의 복수의 상이한 섹션 각각에 대해,
마스킹된 이미지를 생성하기 위해 상기 이미지(400)의 섹션을 마스킹하고,
상기 학습 알고리즘을 사용하여 상기 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 상기 마스킹된 이미지에서 상기 영역을 검색하며,
상기 마스킹된 이미지를 정의하는 상기 이미지 데이터를 사용하여 수행된 상기 검색의 결과와 상기 수신된 이미지 데이터를 사용하여 수행된 검색의 결과 사이의 차이를 결정하는
프로세스를 수행하고,
상기 이미지(400) 내의 영역(410)의 위치로서, 상기 결정된 차이가 가장 큰 섹션의 위치를 결정하는 것
에 의해 상기 신경망을 해체하도록 구성되는, 장치(100).
E39. E37에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 검색 모듈(120)은,
상기 신경망의 최상위 계층으로부터 상기 신경망의 입력 계층까지, 상기 신경망의 계층 각각에 대해 테일러 분해를 적용함으로써 상기 신경망의 출력에 대한 상기 신경망의 각각의 입력 변수의 관련성을 결정하고,
상기 신경망의 가장 관련성 있는 입력 변수에 대응하는 상기 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 상기 이미지(400)에서 상기 영역(410)의 위치를 결정하는 것
에 의해 상기 컨볼루션 신경망을 해체하도록 구성되는, 장치(100).
E40. E37에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 검색 모듈(120)은 상기 컨볼루션 신경망의 디컨볼루션을 결정함으로써 상기 컨볼루션 신경망을 해체하도록 구성되는,
장치(100).
E41. 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지(400)에서 병리의 존재를 검색하는 장치(800)로서,
상기 이미지(400)를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈(810);
건강한 눈의 이미지(604), 및 각각이 상이한 유형의 병리 중 각각의 하나를 갖는 건강하지 않은 눈의 이미지(601, 602, 603)를 정의하는 이미지 데이터에 대해 훈련된 학습 알고리즘(630)을 사용하여 상기 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하도록 구성된 검색 모듈(820); 및
상기 검색 모듈(820)에 의해 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여,
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 상기 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각의 하나를 선택하고,
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 상기 각각의 선택된 측정 방식의 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 각각의 명령을 생성하는
프로세스를 수행하도록 구성된 명령 생성 모듈(830)
을 포함하며,
상기 수신기 모듈(810)은 선택된 측정 방식 각각의 상기 눈 측정 장치(300)에 의해 수행된 상기 측정의 측정 데이터를 수신하도록 더 구성되는,
장치(800).
E42. E41에 있어서,
상기 검색 모듈(820)은, 상기 이미지(400) 내에 존재하는 상기 복수의 상이한 유형의 병리 중 적어도 하나를 발견하는 것에 응답하여,
상기 이미지(400) 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 적어도 하나의 각각에 대해, 상기 학습 알고리즘(630)을 사용하여 상기 수신된 이미지 데이터를 처리하고, 상기 이미지(400) 내의 각각의 유형의 위치를 기록함으로써, 각각의 유형의 병리를 지시하는 상기 이미지(400) 내의 각각의 영역(410)을 검색하는
프로세스를 수행하도록 추가로 구성되고,
상기 명령 생성 모듈(830)은 각각 선택된 측정 방식의 상기 눈 측정 장치(300)가 각각의 위치에 기초한 상기 측정을 위치시키기 위한 기준점을 사용하여 상기 눈에 대한 측정을 수행하기 위한 각각의 명령을 생성하도록 구성되는,
장치(800).
E43. E42에 있어서,
상기 명령 생성 모듈(830)은 상기 검색 모듈(820)에 의해 상기 이미지(400) 내에 존재하는 상기 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여, 그리고, 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 적어도 하나의 각각에 대해,
상기 눈의 일부를 이미지화하는 데 사용될 복수의 상이한 유형의 이미징 방식 중 각각의 하나를 상기 복수의 상이한 유형의 측정 방식 중 각각의 하나로서 선택하고,
상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 각각의 기록된 위치에 기초하여 이미지화될 상기 눈의 영역을 위치시키기 위한 기준점을 사용하여, 상기 눈의 일부를 이미지화하기 위한 각각의 명령을 생성하는
프로세스를 수행하도록 구성되고,
상기 수신기 모듈(810)은 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)에 의해 수행된 이미지화의 각각의 이미지 데이터를 상기 눈 측정 장치에 의해 수행된 상기 측정의 측정 데이터로서 수신하도록 구성되는,
장치(800).
E44. E43에 있어서,
상기 명령 생성 모듈(830)은 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 녹내장인 경우, 그리고 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(830)은 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 심각한 당뇨 망막병증인 경우, 그리고 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 망막 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(830)은 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 종양인 경우, 그리고 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 고밀도 광학 일관성 단층 촬영(OCT) B 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 측정 데이터로서, 상기 고밀도 OCT B 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(830)은 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 드루젠인 경우, 그리고 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) B 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 측정 데이터로서, 상기 OCT B 스캔의 이미지 데이터를 수신하도록 구성되며,
상기 명령 생성 모듈(830)은 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 하나가 부종인 경우, 그리고 상기 선택된 이미징 방식의 상기 눈 측정 장치(300)가 상기 눈의 일부를 이미지화하기 위한 각각의 명령으로서, 상기 눈 측정 장치(300)가 상기 눈의 일부 영역의 광학 일관성 단층 촬영(OCT) 스캔을 수행하기 위한 명령을 생성하도록 구성되고, 상기 측정 데이터로서, 상기 OCT 스캔의 이미지 데이터를 수신하도록 구성되는,
장치(800).
E45. E41에 있어서,
상기 명령 생성 모듈(830)은, 상기 검색 모듈(820)에 의해 상기 이미지 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여, 상기 선택된 측정 방식의 눈 측정 장치(300)가 광 자극에 대한 상기 눈의 기능적 반응을 측정하기 위한 명령을 생성하도록 구성되는,
장치(800).
E46. E42 내지 E44 중 어느 하나에 있어서,
상기 명령 생성 모듈(830)은 상기 눈의 일부의 이미지(400) 내의 영역(410)의 기록된 위치 및 상기 수신된 측정 데이터의 표시를 디스플레이하도록 디스플레이 유닛(215)을 제어하기 위한 명령을 생성하도록 추가로 구성되는,
장치(800).
E47. E42 내지 E44 중 어느 하나에 있어서,
상기 학습 알고리즘(630)은 지도 학습 알고리즘인,
장치(800).
E48. E47에 있어서,
상기 지도 학습 알고리즘은 신경망을 포함하고, 상기 검색 모듈(820)은 상기 신경망을 분해함으로써 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 하나를 지시하는 영역(410)을 검색하도록 구성되는,
장치(800).
E49. E48에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 검색 모듈(820)은,
상기 수신된 이미지 데이터에 의해 정의된 상기 이미지(400)의 복수의 상이한 섹션 각각에 대해,
마스킹된 이미지를 생성하기 위해 상기 이미지(400)의 섹션을 마스킹하고,
상기 학습 알고리즘을 사용하여 상기 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 상기 마스킹된 이미지에서 상기 영역을 검색하며,
상기 마스킹된 이미지를 정의하는 상기 이미지 데이터를 사용하여 수행된 상기 검색의 결과와 상기 수신된 이미지 데이터를 사용하여 수행된 검색의 결과 사이의 차이를 결정하는
프로세스를 수행하고,
기록될 위치로서, 상기 결정된 차이가 가장 큰 섹션의 위치를 결정하는 것
에 의해 상기 신경망을 해체하도록 구성되는, 장치(800).
E50. E48에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 검색 모듈(820)은,
상기 신경망의 최상위 계층으로부터 상기 신경망의 입력 계층까지, 상기 신경망의 계층 각각에 대해 테일러 분해를 적용함으로써 상기 신경망의 출력에 대한 상기 신경망의 각각의 입력 변수의 관련성을 결정하고,
상기 신경망의 가장 관련성 있는 입력 변수에 대응하는 상기 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 기록될 상기 위치를 결정하는 것
에 의해 상기 컨볼루션 신경망을 해체하도록 구성되는, 장치(800).
E51. E48에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 검색 모듈(820)은 상기 컨볼루션 신경망의 디컨볼루션을 결정함으로써 상기 컨볼루션 신경망을 해체하도록 구성되는,
장치(800).
E52. 안구 이미징 시스템(520; 720)에 의해 획득된 눈의 일부의 이미지(400)에서 병리를 지시하는 영역을 검색하기 위한 장치로서,
프로세서 및 컴퓨터 프로그램 명령을 저장하는 메모리를 포함하고,
상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 E1 내지 E24 중 적어도 하나에 개시된 방법을 수행하게 하는,
장치(100).
전술한 설명에서, 예시적인 측면들은 몇몇 예시적인 실시예들을 참조하여 설명된다. 따라서, 본 명세서는 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 마찬가지로, 예시적인 실시예들의 기능 및 장점을 강조하는 도면에 도시된 도면들은 단지 예시의 목적으로만 제공된다. 예시적인 실시예들의 아키텍처는 첨부 도면에 도시된 것과 다른 방식으로 이용될(그리고 탐색될) 수 있도록 충분히 유연하고 구성 가능하다.
여기에서 제시된 예시들의 소프트웨어 실시예들은, 각각이 하나의 예시적인 실시예에서 비 일시적일 수 있는, 머신 액세스 가능하거나 또는 머신 판독 가능한 매체, 명령 저장소, 또는 컴퓨터 판독 가능 저장 장치와 같은 제조 물품 내에 포함되거나 또는 저장되는, 명령 또는 명령의 시퀀스를 갖는 하나 이상의 프로그램과 같은 컴퓨터 프로그램, 또는 소프트웨어로서 제공될 수 있다. 비 일시적인 머신 액세스 가능 매체, 머신 판독 가능 매체, 명령 저장소 또는 컴퓨터 판독 가능 저장 장치 상의 프로그램 또는 명령은 컴퓨터 시스템 또는 다른 전자 장치를 프로그래밍하는 데 사용될 수 있다. 머신 또는 컴퓨터 판독 가능 매체, 명령 저장소 및 저장 장치는 플로피 디스켓, 광 디스크 및 광 자기 광 디스크 또는 다른 유형의 매체/머신 판독 가능 매체/명령 저장소/전자 명령을 저장하거나 또는 전송하기에 적합한 저장 장치를 포함할 수 있지만, 이에 제한되지는 않는다. 여기에서 설명된 기술은 임의의 특정 소프트웨어 구성으로 제한되지 않는다. 그들은 임의의 컴퓨팅 또는 처리 환경에서 적용될 수 있다. 여기에서 사용되는 "컴퓨터 판독 가능", "머신 접속 가능 매체", "머신 판독 가능 매체", "명령 저장소" 및 "컴퓨터 판독 가능 저장 장치"라는 용어는 머신, 컴퓨터, 또는 컴퓨터 프로세서에 의한 실행을 위한 명령 또는 명령 시퀀스를 저장하거나, 인코딩하거나, 또는 전송할 수 있는 임의의 매체이자 또한 머신/컴퓨터/컴퓨터 프로세서로 하여금 여기에서 설명된 방법들 중 어느 하나를 수행하게 하는 임의의 매체를 포함할 것이다. 또한, 본 기술 분야에서 소프트웨어를 동작을 취하거나 또는 결과를 야기하는 것으로서 하나의 형태 또는 다른 형태(예를 들어, 프로그램, 절차, 프로세스, 애플리케이션, 모듈, 유닛, 로직 등)로서 말하는 것이 일반적이다. 이러한 표현은 단지 프로세싱 시스템에 의한 소프트웨어의 실행이 프로세서로 하여금 결과를 생성하는 동작을 수행하게 하는 것을 나타내는 간단한 방법일 뿐이다.
일부 실시예들은 또한 주문형 반도체(application-specific integrated circuits), 필드 프로그래밍 가능 게이트 어레이(field-programmable gate arrays)의 준비에 의해 또는 종래의 컴포넌트 회로의 적절한 네트워크를 상호 연결함으로써 구현될 수도 있다.
일부 실시예들은 컴퓨터 프로그램 제품을 포함한다. 컴퓨터 프로그램 제품은 컴퓨터 또는 컴퓨터 프로세서로 하여금 여기에서 설명된 예시적인 실시예들의 임의의 절차를 수행하도록 제어하거나 또는 그렇게 하게 하는 데 사용될 수 있는, 저장된 명령을 갖는 저장 매체 또는 매체, 명령 저장소(들) 또는 저장 장치(들)일 수 있다. 저장 매체/명령 저장소/저장 장치는, 예시로서 그리고 제한 없이, 광 디스크, ROM, RAM, EPROM, EEPROM, DRAM, VRAM, 플래시 메모리, 플래시 카드, 자기 카드, 광학 카드, 광학 카드, 나노시스템, 분자 메모리 집적 회로, RAID, 원격 데이터 저장장치/아카이브/웨어하우징(warehousing) 및/또는 명령 및/또는 데이터를 저장하기에 적합한 다른 유형의 장치를 포함할 수 있다.
컴퓨터 판독 가능 매체 또는 매체, 명령 저장소(들) 또는 저장 장치(들) 중 임의의 하나에 저장되는 경우, 일부 구현은 시스템의 하드웨어를 제어하고 시스템 또는 마이크로 프로세서가 인간 또는 여기에서 설명된 예시적인 실시예들의 결과를 이용하는 다른 메커니즘과 상호 작용할 수 있도록 하는 소프트웨어를 포함한다. 이러한 소프트웨어에는 장치 드라이버, 운영 체제 및 사용자 애플리케이션을 제한 없이 포함할 수 있다. 궁극적으로, 이러한 컴퓨터 판독 가능 매체 또는 저장 장치(들)는 상기한 바와 같이, 본 발명의 예시적인 측면을 수행하기위한 소프트웨어를 더 포함한다.
시스템의 프로그래밍 및/또는 소프트웨어에는 여기에서 설명된 절차를 구현하기 위한 소프트웨어 모듈이 포함된다. 본 명세서에서의 일부 예시적인 실시예에서, 모듈은 소프트웨어를 포함하지만, 그러나, 본 명세서에서의 다른 예시적인 실시예에서, 모듈은 하드웨어, 또는 하드웨어와 소프트웨어의 조합을 포함한다.
이상, 본 발명의 다양한 예시적인 실시예들이 설명되었지만, 이들은 제한적인 것이 아니라 예로서 제시된 것으로 이해되어야 한다. 관련 기술(들)의 당업자에게는 그 형태 및 세부 사항에 대한 다양한 변경이 이루어질 수 있음이 명백할 것이다. 따라서, 본 발명은 상기한 예시적인 실시예들 중 어느 것에 의해 제한되지 않아야 하고, 다음의 청구 범위 및 그 등가물에 따라서만 정의되어야 한다.
또한 요약의 목적은 특허청과 일반 대중, 특히 특허 또는 법률 용어 또는 문구에 익숙하지 않은 해당 분야의 과학자, 엔지니어 및 실무자가 본 출원의 기술적인 개시의 특징 및 본질을 간단한 검사를 통해 신속하게 결정할 수 있도록 하는 것이다. 요약은 어떤 식으로든 여기에서 제시된 예시적인 실시예들의 범위를 제한하고자 하는 것이 아니다. 청구 범위에서 인용된 절차는 제시된 순서대로 수행될 필요가 없다는 것이 또한 이해되어야 한다.
본 출원은 많은 특정 실시예 세부 사항을 포함하지만, 이들은 임의의 발명의 범위 또는 청구될 수 있는 것에 대한 제한으로 해석되어서는 안되며, 오히려 여기에서 설명된 특정 실시예에 특정된 특징의 설명으로 해석되어야 한다. 별도의 실시예들과 관련하여 본 명세서에서 설명된 특정 특징들은 또한 단일 실시예와 조합하여 구현될 수 있다. 반대로, 단일 실시예와 관련하여 설명된 다양한 특징은 또한 다수의 실시예에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 게다가, 특징들이 특정 조합으로 작용하는 것으로 위에서 설명되고 심지어 초기에 그렇게 주장되었지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우에 조합으로부터 제외될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형으로 지향될 수 있다.
특정 상황에서, 멀티 태스킹 및 병렬 처리가 유리할 수 있다. 게다가, 상기한 실시예에서 다양한 컴포넌트의 분리는 모든 실시예에서 이러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트 및 시스템이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 또는 다중 소프트웨어 제품으로 패키징될 수 있음을 이해해야 한다.
이제 설명된 일부 도시된 실시예들 및 실시예들을 설명하였지만, 전술한 것은, 예로써 제시된 바와 같이, 예시적인 것이며 제한적인 것이 아니라는 것이 명백하다. 특히, 여기에서 제시된 많은 예시는 장치 또는 소프트웨어 요소의 특정 조합을 포함하지만, 이들 요소는 동일한 목적을 달성하기 위해 다른 방식으로 조합될 수 있다. 일 실시예와 관련하여만 논의된 동작, 요소 및 특징은 다른 실시예 또는 실시예에서 유사한 역할로부터 배제되도록 의도되지 않는다.
본 명세서에서 설명된 장치 및 컴퓨터 프로그램은 그 특성을 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 전술한 실시예들은 설명된 시스템 및 방법을 제한하기보다는 예시적인 것이다. 따라서, 여기에서 설명된 상기 장치 및 컴퓨터 프로그램 범위는 전술한 설명보다는 오히려 첨부된 청구 범위에 의해 지시되고, 청구 범위의 의미 및 등가의 범위 내에 있는 변화는 그 안에 포함된다.
Claims (17)
- 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지(400)에서 병리를 지시하는 영역(410)을 검색하는 컴퓨터 구현 방법으로서,
상기 이미지(400)를 정의하는 이미지 데이터를 수신하는 단계(S10);
건강한 눈의 일부의 이미지를 정의하는 이미지 데이터(502; 604), 및 각각이 상기 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603; 501)에 대해 학습된 학습 알고리즘(530; 630)을 사용하여 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 상기 영역(410)을 검색하는 단계(S12); 및
상기 검색하는 단계에서 병리를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우,
상기 이미지(400)에서 상기 영역(410)의 위치를 결정하고(S14),
상기 눈의 일부에 대한 측정의 위치를 설정하기 위한 결정된 위치에 기초한 기준점을 사용하여, 눈 측정 장치(300)가 측정 데이터를 생성하기 위해 상기 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하며(S16), 그리고
상기 눈 측정 장치(300)로부터 상기 측정 데이터를 수신하는(S18) 단계
를 포함하고,
상기 검색하는 단계에서 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)이 발견되는 경우, 상기 컴퓨터 구현 방법은, 상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 결정된 위치에 기초하는 상기 측정의 위치를 설정하기 위한 상기 기준점을 사용하여, 상기 눈 측정 장치(300)가 광 자극에 대한 상기 눈의 기능적 응답을 측정하기 위한 명령을 생성하는 단계(S16)를 포함하는, 컴퓨터 구현 방법. - 제1항에 있어서,
상기 눈의 일부의 이미지(400)에서의 상기 영역(410)의 위치 및 수신된 측정 데이터의 표현을 디스플레이하도록 디스플레이 유닛(215)을 제어하기 위한 명령을 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법. - 제1항 또는 제2항에 있어서,
상기 학습 알고리즘(530; 630)은 지도 학습 알고리즘(supervised learning algorithm)인, 컴퓨터 구현 방법. - 제3항에 있어서,
상기 지도 학습 알고리즘은 신경망을 포함하고, 상기 병리를 지시하는 영역(410)은 이미지(400)에서 상기 신경망을 분해함으로써 검색되는, 컴퓨터 구현 방법. - 제4항에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 신경망은,
수신된 이미지 데이터에 의해 정의된 상기 이미지(400)의 복수의 상이한 섹션의 각각에 대해,
마스킹된 이미지를 생성하도록 이미지(400)의 섹션을 마스킹하는 프로세스(S122);
상기 학습 알고리즘을 사용하여 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 마스킹된 이미지에서 상기 영역을 검색하는 프로세스(S124); 및
마스킹된 이미지를 정의하는 이미지 데이터를 사용하여 수행된 검색의 결과와 수신된 이미지 데이터를 사용하여 수행된 검색의 결과 사이의 차이를 결정하는 프로세스(S126)를 수행함으로써
분해되는, 컴퓨터 구현 방법. - 제4항에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은,
상기 신경망의 최상위 계층으로부터 상기 신경망의 입력 계층까지, 상기 신경망의 계층 각각에 대해 테일러 분해를 적용함으로써 상기 신경망의 출력에 대한 상기 신경망의 각각의 입력 변수의 관련성을 결정하는 단계; 및
상기 신경망의 가장 관련성 있는 입력 변수에 대응하는 상기 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 상기 이미지(400)에서 상기 영역(410)의 위치를 결정하는 단계
에 의해 분해되는, 컴퓨터 구현 방법. - 제4항에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은 상기 컨볼루션 신경망의 디컨볼루션을 결정함으로써 분해되는, 컴퓨터 구현 방법. - 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지(400)에서 병리의 존재를 검색하는 컴퓨터 구현 방법으로서,
상기 이미지(400)를 정의하는 이미지 데이터를 수신하는 단계(S20);
건강한 눈의 이미지(502), 및 각각이 상이한 유형의 병리 중 각각 하나를 갖는 건강하지 않은 눈의 이미지(601, 602, 603)를 정의하는 이미지 데이터에 대해 학습된 학습 알고리즘(630)을 사용하여 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하는 단계(S22); 및
상기 복수의 상이한 유형의 병리 중 적어도 하나가 상기 이미지(400) 내에 존재하는 것으로 발견되는 경우,
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 상기 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각 하나를 선택하고(S24),
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각 선택된 측정 방식의 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 각각의 명령을 생성하며(S26), 그리고
각각 선택된 측정 방식의 눈 측정 장치(300)에 의해 수행된 상기 측정의 측정 데이터를 수신하는(S28) 단계
를 포함하고,
복수의 상이한 유형의 병리 중 적어도 하나가 상기 이미지(400) 내에 존재하는 것으로 발견되는 경우, 생성된 명령 중 적어도 하나는 선택된 측정 방식의 눈 측정 장치(300)가 광 자극에 대한 상기 눈의 기능적 반응을 측정하기 위한 명령인, 컴퓨터 구현 방법. - 제8항에 있어서,
상기 눈의 일부의 이미지(400) 내의 영역(410)의 기록된 위치 및 수신된 측정 데이터의 표현을 디스플레이하도록 디스플레이 유닛(215)을 제어하기 위한 명령을 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법. - 제8항 또는 제9항에 있어서,
상기 학습 알고리즘(630)은 지도 학습 알고리즘인, 컴퓨터 구현 방법. - 제10항에 있어서,
상기 지도 학습 알고리즘은 신경망을 포함하고, 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 상이한 유형의 병리 중 하나를 지시하는 영역(410)은 상기 신경망을 분해함으로써 상기 이미지에서 검색되는, 컴퓨터 구현 방법. - 제11항에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 신경망은,
상기 수신된 이미지 데이터에 의해 정의된 상기 이미지(400)의 복수의 상이한 섹션 각각에 대해,
마스킹된 이미지를 생성하기 위해 상기 이미지(400)의 섹션을 마스킹하는 프로세스(S122);
상기 학습 알고리즘을 사용하여 상기 마스킹된 이미지를 정의하는 이미지 데이터를 처리함으로써 상기 마스킹된 이미지에서 상기 영역을 검색하는 프로세스(S124); 및
상기 마스킹된 이미지를 정의하는 상기 이미지 데이터를 사용하여 수행된 상기 검색의 결과와 상기 수신된 이미지 데이터를 사용하여 수행된 검색의 결과 사이의 차이를 결정하는 프로세스(S126)를 수행함으로써, 그리고
기록된 상기 위치로서, 상기 결정된 차이가 가장 큰 섹션의 위치를 결정함으로써(S128)
해체되는, 컴퓨터 구현 방법. - 제11항에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은,
상기 신경망의 최상위 계층으로부터 상기 신경망의 입력 계층까지, 상기 신경망의 계층 각각에 대해 테일러 분해를 적용함으로써 상기 신경망의 출력에 대한 상기 신경망의 각각의 입력 변수의 관련성을 결정하는 단계; 및
상기 신경망의 가장 관련성 있는 입력 변수에 대응하는 상기 수신된 이미지 데이터의 적어도 하나의 섹션에 기초하여 기록될 상기 위치를 결정하는 단계
에 의해 해체되는, 컴퓨터 구현 방법. - 제11항에 있어서,
상기 신경망은 컨볼루션 신경망이고, 상기 컨볼루션 신경망은 상기 컨볼루션 신경망의 디컨볼루션을 결정함으로써 분해되는, 컴퓨터 구현 방법. - 컴퓨터에 의해 실행시, 컴퓨터로 하여금 제1항 내지 제14항 중 적어도 한 항에 따른 방법을 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체.
- 안구 이미징 시스템(520; 720)에 의해 획득된 눈의 일부의 이미지(400)에서 병리를 지시하는 영역을 검색하기 위한 장치(100)로서,
상기 이미지(400)를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈(110);
건강한 눈의 일부의 이미지를 정의하는 이미지 데이터(502; 604), 및 각각이 상기 병리를 지시하는 적어도 하나의 영역을 갖는 건강하지 않은 눈의 일부의 이미지를 정의하는 이미지 데이터(601, 602, 603; 501)에 대해 학습된 학습 알고리즘(530; 630)을 사용하여 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 상기 영역을 검색하도록 구성된 검색 모듈(120); 및
상기 검색 모듈(120)에 의해 발견된 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여,
상기 이미지(400)에서 상기 영역(410)의 위치를 결정하고,
상기 눈의 일부에 대한 측정의 위치를 설정하기 위한 결정된 위치에 기초한 기준점을 사용하여, 눈 측정 장치(300)가 측정 데이터를 생성하기 위해 상기 눈의 일부에 대한 측정을 수행하기 위한 명령을 생성하는
프로세스를 수행하도록 구성된 명령 생성 모듈
을 포함하며,
상기 수신기 모듈(110)은 상기 눈 측정 장치(300)로부터 상기 측정 데이터를 수신하도록 더 구성되고,
상기 명령 생성 모듈(130)은, 상기 검색 모듈(120)에 의해 발견된 상기 병리를 지시하는 상기 이미지(400) 내의 영역(410)에 응답하여, 그리고 상기 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 명령으로서, 상기 눈 측정 장치가 상기 결정된 위치에 기초하는 상기 측정의 위치를 설정하기 위한 상기 기준점을 사용하여, 광 자극에 대한 상기 눈의 기능적 응답을 측정하기 위한 명령을 생성하도록 구성되는, 병리를 지시하는 영역을 검색하기 위한 장치(100). - 안구 이미징 시스템(520)에 의해 획득된 눈의 일부의 이미지(400)에서 병리의 존재를 검색하기 위한 장치(800)로서,
상기 이미지(400)를 정의하는 이미지 데이터를 수신하도록 구성된 수신기 모듈(810);
건강한 눈의 이미지(604), 및 각각이 상이한 유형의 병리 중 각각 하나를 갖는 건강하지 않은 눈의 이미지(601, 602, 603)를 정의하는 이미지 데이터에 대해 학습된 학습 알고리즘(630)을 사용하여 수신된 이미지 데이터를 처리함으로써 상기 이미지(400)에서 복수의 상이한 유형의 병리 중 적어도 하나의 존재를 검색하도록 구성된 검색 모듈(820); 및
상기 검색 모듈(820)에 의해 상기 이미지(400) 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여,
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 상기 눈의 일부에 대한 측정을 수행하는 데 사용될 복수의 상이한 유형의 측정 방식 중 각각 하나를 선택하고,
상기 이미지(400) 내에 존재하는 것으로 발견된 적어도 한 유형의 병리 각각에 대해, 각각 선택된 측정 방식의 눈 측정 장치(300)가 상기 눈의 일부에 대한 측정을 수행하기 위한 각각의 명령을 생성하는
프로세스를 수행하도록 구성된 명령 생성 모듈(830)
을 포함하며,
상기 수신기 모듈(810)은 각각 선택된 측정 방식의 눈 측정 장치(300)에 의해 수행된 상기 측정의 측정 데이터를 수신하도록 더 구성되고,
상기 명령 생성 모듈(830)은, 상기 검색 모듈(820)에 의해 상기 이미지 내에 존재하는 것으로 발견된 상기 복수의 상이한 유형의 병리 중 적어도 하나에 응답하여, 상기 선택된 측정 방식의 눈 측정 장치(300)가 광 자극에 대한 상기 눈의 기능적 반응을 측정하기 위한 명령을 생성하도록 구성되는, 병리의 존재를 검색하기 위한 장치(800).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18214689.4A EP3671536B1 (en) | 2018-12-20 | 2018-12-20 | Detection of pathologies in ocular images |
| EP18214689.4 | 2018-12-20 | ||
| KR1020190172286A KR102387820B1 (ko) | 2018-12-20 | 2019-12-20 | 안구 이미지에서 병리의 검출 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172286A Division KR102387820B1 (ko) | 2018-12-20 | 2019-12-20 | 안구 이미지에서 병리의 검출 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220027927A true KR20220027927A (ko) | 2022-03-08 |
| KR102494503B1 KR102494503B1 (ko) | 2023-01-31 |
Family
ID=64755198
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172286A KR102387820B1 (ko) | 2018-12-20 | 2019-12-20 | 안구 이미지에서 병리의 검출 |
| KR1020220025483A KR102494503B1 (ko) | 2018-12-20 | 2022-02-25 | 안구 이미지에서 병리의 검출 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172286A KR102387820B1 (ko) | 2018-12-20 | 2019-12-20 | 안구 이미지에서 병리의 검출 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US11503994B2 (ko) |
| EP (2) | EP4310800A3 (ko) |
| JP (3) | JP6996682B2 (ko) |
| KR (2) | KR102387820B1 (ko) |
| CN (1) | CN111353970B (ko) |
| AU (2) | AU2019280075B2 (ko) |
| CA (2) | CA3064885A1 (ko) |
| MX (1) | MX2021007346A (ko) |
| SG (1) | SG11202106261TA (ko) |
| WO (1) | WO2020127233A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220058796A1 (en) * | 2018-09-12 | 2022-02-24 | Auckland Uniservices Limited | Methods and systems for ocular imaging, diagnosis and prognosis |
| EP3914140A4 (en) * | 2019-01-25 | 2022-11-16 | OtoNexus Medical Technologies, Inc. | MACHINE LEARNING FOR OTITIS MEDIA DIAGNOSIS |
| EP3690888A1 (en) * | 2019-01-31 | 2020-08-05 | Nidek Co., Ltd. | Ophthalmologic image processing device and ophthalmologic image processing program |
| JP7332463B2 (ja) * | 2019-12-25 | 2023-08-23 | キヤノン株式会社 | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム |
| US11382506B2 (en) | 2020-09-30 | 2022-07-12 | Ai-Ris LLC | Retinal imaging system |
| WO2022158908A1 (ko) * | 2021-01-22 | 2022-07-28 | 주식회사 루닛 | 병리 이미지 분석 방법 및 시스템 |
| KR102379061B1 (ko) * | 2021-06-30 | 2022-04-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치 |
| WO2023277589A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
| WO2023277548A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 |
| WO2023277622A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
| US20240016378A1 (en) * | 2022-07-13 | 2024-01-18 | Alcon Inc. | Machine learning to assess the clinical significance of vitreous floaters |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010035607A (ja) * | 2008-07-31 | 2010-02-18 | Canon Inc | 診断支援装置およびその方法、プログラム、記録媒体 |
| JP2013031527A (ja) * | 2011-08-01 | 2013-02-14 | Canon Inc | 眼科診断支援装置および方法 |
| JP2016509914A (ja) * | 2013-03-14 | 2016-04-04 | カール ツアイス メディテック アクチエンゲゼルシャフト | 視覚データの取得および分析のマルチモード統合 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5582772B2 (ja) * | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US8712505B2 (en) * | 2010-11-11 | 2014-04-29 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Automated macular pathology diagnosis in three-dimensional (3D) spectral domain optical coherence tomography (SD-OCT) images |
| JP5635898B2 (ja) * | 2010-12-17 | 2014-12-03 | キヤノン株式会社 | 眼底撮像装置及びその制御方法 |
| US8553965B2 (en) * | 2012-02-14 | 2013-10-08 | TerraRecon, Inc. | Cloud-based medical image processing system with anonymous data upload and download |
| US8682049B2 (en) * | 2012-02-14 | 2014-03-25 | Terarecon, Inc. | Cloud-based medical image processing system with access control |
| JP2014188254A (ja) | 2013-03-28 | 2014-10-06 | Nidek Co Ltd | 視野検査装置 |
| US9955865B2 (en) * | 2013-04-11 | 2018-05-01 | Novartis Ag | Method and system to detect ophthalmic tissue structure and pathologies |
| EP3100205B1 (en) * | 2014-01-28 | 2021-03-10 | Ventana Medical Systems, Inc. | Adaptive classification for whole slide tissue segmentation |
| CN106231990B (zh) * | 2014-03-14 | 2019-07-23 | Lkc科技有限公司 | 视网膜病变检测系统和方法 |
| JP6725547B2 (ja) * | 2015-03-20 | 2020-07-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 人工ニューラルネットワークの関連性スコア割当て |
| US20170228521A1 (en) * | 2016-02-05 | 2017-08-10 | Carl Zeiss Meditec, Inc. | Report driven workflow for ophthalmic image data acquisition |
| JP2017182739A (ja) * | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
| US10123747B2 (en) | 2016-11-21 | 2018-11-13 | International Business Machines Corporation | Retinal scan processing for diagnosis of a subject |
| US10249040B2 (en) | 2016-11-21 | 2019-04-02 | International Business Machines Corporation | Digital data processing for diagnosis of a subject |
| DE102017208994A1 (de) * | 2017-05-29 | 2018-11-29 | Audi Ag | Verfahren zur Ermittlung von Ergebnisbilddaten |
-
2018
- 2018-12-20 EP EP23215753.7A patent/EP4310800A3/en active Pending
- 2018-12-20 EP EP18214689.4A patent/EP3671536B1/en active Active
-
2019
- 2019-12-12 CA CA3064885A patent/CA3064885A1/en active Pending
- 2019-12-12 CA CA3223918A patent/CA3223918A1/en active Pending
- 2019-12-13 AU AU2019280075A patent/AU2019280075B2/en active Active
- 2019-12-17 MX MX2021007346A patent/MX2021007346A/es unknown
- 2019-12-17 WO PCT/EP2019/085608 patent/WO2020127233A1/en active Application Filing
- 2019-12-17 SG SG11202106261TA patent/SG11202106261TA/en unknown
- 2019-12-17 CN CN201911301768.1A patent/CN111353970B/zh active Active
- 2019-12-19 US US16/721,902 patent/US11503994B2/en active Active
- 2019-12-20 KR KR1020190172286A patent/KR102387820B1/ko active IP Right Grant
- 2019-12-20 JP JP2019230618A patent/JP6996682B2/ja active Active
-
2021
- 2021-09-14 AU AU2021232682A patent/AU2021232682B2/en active Active
- 2021-12-01 JP JP2021195247A patent/JP7279291B2/ja active Active
-
2022
- 2022-02-25 KR KR1020220025483A patent/KR102494503B1/ko active IP Right Grant
- 2022-09-10 US US17/942,132 patent/US20230000338A1/en active Pending
- 2022-12-19 JP JP2022202121A patent/JP2023021440A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010035607A (ja) * | 2008-07-31 | 2010-02-18 | Canon Inc | 診断支援装置およびその方法、プログラム、記録媒体 |
| JP2013031527A (ja) * | 2011-08-01 | 2013-02-14 | Canon Inc | 眼科診断支援装置および方法 |
| JP2016509914A (ja) * | 2013-03-14 | 2016-04-04 | カール ツアイス メディテック アクチエンゲゼルシャフト | 視覚データの取得および分析のマルチモード統合 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200077461A (ko) | 2020-06-30 |
| AU2019280075A1 (en) | 2020-07-09 |
| JP7279291B2 (ja) | 2023-05-23 |
| EP3671536A1 (en) | 2020-06-24 |
| KR102494503B1 (ko) | 2023-01-31 |
| AU2019280075B2 (en) | 2021-07-22 |
| JP2023021440A (ja) | 2023-02-10 |
| EP4310800A3 (en) | 2024-03-20 |
| AU2021232682A1 (en) | 2021-10-07 |
| CN111353970B (zh) | 2024-05-14 |
| JP2022033126A (ja) | 2022-02-28 |
| CN111353970A (zh) | 2020-06-30 |
| US11503994B2 (en) | 2022-11-22 |
| EP4310800A2 (en) | 2024-01-24 |
| JP6996682B2 (ja) | 2022-01-17 |
| KR102387820B1 (ko) | 2022-04-15 |
| WO2020127233A1 (en) | 2020-06-25 |
| US20200196853A1 (en) | 2020-06-25 |
| JP2020124472A (ja) | 2020-08-20 |
| AU2021232682B2 (en) | 2022-11-24 |
| EP3671536B1 (en) | 2024-05-22 |
| MX2021007346A (es) | 2021-09-30 |
| CA3064885A1 (en) | 2020-06-20 |
| AU2021232682A9 (en) | 2021-12-02 |
| SG11202106261TA (en) | 2021-07-29 |
| US20230000338A1 (en) | 2023-01-05 |
| CA3223918A1 (en) | 2020-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102387820B1 (ko) | 안구 이미지에서 병리의 검출 | |
| JP7229881B2 (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
| US20210104313A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| Niemeijer et al. | Automatic detection of red lesions in digital color fundus photographs | |
| JP2021154159A (ja) | 機械学習ガイド付き撮影システム | |
| JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
| JP5955163B2 (ja) | 画像処理装置および画像処理方法 | |
| US11284791B2 (en) | Image processing method, program, and image processing device | |
| JP6907563B2 (ja) | 画像処理装置、および画像処理プログラム | |
| CN112822972A (zh) | 图像处理装置、图像处理方法和程序 | |
| JP6878923B2 (ja) | 画像処理装置、画像処理システム、および画像処理プログラム | |
| CN113226153A (zh) | 图像处理装置、图像处理方法和程序 | |
| JP2018014059A (ja) | 医療情報処理システム及び医療情報処理方法 | |
| JP2016002380A (ja) | 画像処理装置、その作動方法及びプログラム | |
| JP7392238B2 (ja) | 医用画像を用いた病態予測 | |
| KR20210012097A (ko) | 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 | |
| JP2018057828A (ja) | 画像処理装置及び画像処理方法 | |
| WO2022157838A1 (ja) | 画像処理方法、プログラム、画像処理装置、眼科システム | |
| KR20230102951A (ko) | 안저 영상 학습을 이용한 치매 예측 선별 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |