KR20230052948A - 망막 이미지 캡처 전 적외선을 이용한 적절한 안구 정렬 검출 - Google Patents
망막 이미지 캡처 전 적외선을 이용한 적절한 안구 정렬 검출 Download PDFInfo
- Publication number
- KR20230052948A KR20230052948A KR1020237009344A KR20237009344A KR20230052948A KR 20230052948 A KR20230052948 A KR 20230052948A KR 1020237009344 A KR1020237009344 A KR 1020237009344A KR 20237009344 A KR20237009344 A KR 20237009344A KR 20230052948 A KR20230052948 A KR 20230052948A
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- imaging device
- detecting
- patient
- alignment
- Prior art date
Links
- 230000004256 retinal image Effects 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 title claims description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000002207 retinal effect Effects 0.000 claims abstract description 16
- 230000001953 sensory effect Effects 0.000 claims abstract description 11
- 210000001508 eye Anatomy 0.000 claims description 98
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 210000001525 retina Anatomy 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 12
- 206010028347 Muscle twitching Diseases 0.000 claims description 7
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 208000005392 Spasm Diseases 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 17
- 238000003745 diagnosis Methods 0.000 description 15
- 208000017442 Retinal disease Diseases 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000000090 biomarker Substances 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000036461 convulsion Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 208000008238 Muscle Spasticity Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004092 self-diagnosis Methods 0.000 description 2
- 208000018198 spasticity Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012907 on board imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
망막 영상화 동안 안구 정렬을 검출하기 위한 시스템 및 방법이 본 명세서에 개시된다. 일 실시예에서, 시스템은 영상화 장치로부터 적외선 스트림을 수신하고, 적외선 스트림은 환자의 눈의 특징을 나타낸다. 시스템은 적외선 스트림에 기초하여 1차 시도 때 안구가 부적절하게 정렬되어 있음을 결정하고 부적절한 정렬을 나타내는 감각 피드백을 출력한다. 시스템은 1차 시도 이후 2차 시도에 적외선 스트림에 기초하여 안구가 적절하게 정렬되었음을 감지하고 영상화 장치에서 적절하게 정렬된 안구의 망막 이미지를 수신한다.
Description
본 발명은 전반적으로 망막 이상의 자동 진단에 관한 것으로, 더 구체적으로는 적외선과 같은, 스펙트럼 파장을 이용하여, 망막 이미지를 캡처하는 동안 적절한 안구 정렬을 검출하는 것에 관한 것이다.
본 출원은 2020년 8월 19일 제출된 미국 실용신안 제16/997,843호의 이익을 주장하며, 전체가 참조되어 있다.
과거에, 환자의 안구 이상을 테스트하기 위해, 의료 전문가는 개인적으로 망막 이미지를 캡처하기위해 영상화 장치를 운영했다. 의료 전문가는 망막 이미지를 캡처할 때 카메라를 위치시키고 환자의 눈동자와 적절하게 정렬되도록 훈련했다. 망막 이상을 진단하기 위한 자동 시스템은 개발되고 있으며, 환자의 망막(본 명세서에서 안저라는 단어와 상호 교환적으로 이용됨)의 이미지를 캡처하고 의료 전문가가 이미지를 분석할 필요 없이 해당 이미지에서 이상 여부를 분석하도록 고안되었다. 그러나 영상화 장치를 작동시키는 의료 전문가가 없으면, 영상화 장치는 환자의 안구가 적절하게 정렬되도록 보장할 수 없으므로 이러한 자동 시스템은 오류가 발생하기 쉽다. 예를 들어, 가이드 라이트가 영상화 장치에서 조명될 수 있고, 환자에게 눈동자를 카메라 렌즈에 정렬하도록 지시할 수 있으나 (예를 들어, 의료 전문가가 아닌 조작자에 의해), 환자는 그렇게 하지 않을 수 있고, 그럼에도 불구하고 이미지는 분석에 불충분하게 캡처될 수 있다.
본 명세서에 망막을 영상화하는 동안 안구 정렬을 검출하기 위한 시스템 및 방법이 제공된다. 예를 들어, 안구 검사를 하는 동안, 환자는 망막 이미지를 캡처하도록 구성된 영상화 장치의 시야에 안구를 위치시킬 수 있다. 의료 전문가가 영상화 장치를 작동시켜 환자에게 환자의 안구를 카메라와 적절하게 정렬하도록 지시하는 대신, 본 명세서의 영상화 장치는 의료 전문가의 작동 없이 적절한 정렬을 결정하도록 구성될 수 있다. 예를 들어, 안구 정렬을 결정하기 위해 환자 안구에 대해 적외선 영상화가 수행될 수 있고, 안구를 적절하게 정렬하기 위해 환자의 안구 위치를 조정함에 있어 환자를 돕기 위해 지시가 출력(예: 음성 명령)될 수 있다. 이러한 방식으로, 망막 질환 진단을 위해 환자의 안구 이미지를 캡처하기 위해서는 더 적은 플래시로 캡처해야 하므로, 영상 캡처 실패로 환자의 안구에 불필요하게 여러 번의 플래시에 노출시킬 필요가 없다.
이러한 목적 등을 위해, 일 실시예에서, 프로세서(예를 들어, 서버의)는 영상화 장치로부터 적외선 스트림을 수신하고, 적외선 스트림은 환자의 안구의 특성을 나타낸다. 프로세서는 적외선 스트림에 기초하여 안구가 1차 시도에 부적절하게 정렬되었는지 판단하고 부적절한 정렬을 나타내는 감각 피드백을 출력한다. 이후 프로세서는 1차 시도보다 늦은 2차 시도에서의 적외선 스트림에 기초하여 안구가 적절하게 정렬되었음을 검출하고, 영상화 장치로부터 적절하게 정렬된 안구의 망막 이미지를 수신한다.
도 1은 일 실시예에 따른 정렬 툴을 활용하기 위한 환경에서 시스템 구성요소들의 예시적인 블록도이다.
도 2는 일 실시예에 따른 영상화 장치의 모듈 및 구성요소의 예시적인 블록도이다.
도 3은 일 실시예에 따른 정렬 툴의 모듈 및 구성요소에 대한 예시적인 블록도이다.
도 4는 기계 판독 가능한 매체로부터 명령어를 판독하여 프로세서(또는 컨트롤러)에서 실행할 수 있는 예시적인 기계의 구성요소들을 도시한 블록도이다.
도 5는 일 실시예에 따른 망막을 영상화하는 동안 안구 정렬을 검출하기 위한 예시적인 흐름도를 도시한다.
도면들은 예시의 목적으로만 본 발명의 다양한 실시예들을 설명한다. 당업자는 본 명세서에 설명된 구조 및 방법의 대체적인 실시예들이 본 명세서에 설명된 발명의 원리들을 벗어나지 않고 채용될 수 있다는 것을 후술하는 논의로부터 쉽게 인식할 수 있을 것이다.
도 2는 일 실시예에 따른 영상화 장치의 모듈 및 구성요소의 예시적인 블록도이다.
도 3은 일 실시예에 따른 정렬 툴의 모듈 및 구성요소에 대한 예시적인 블록도이다.
도 4는 기계 판독 가능한 매체로부터 명령어를 판독하여 프로세서(또는 컨트롤러)에서 실행할 수 있는 예시적인 기계의 구성요소들을 도시한 블록도이다.
도 5는 일 실시예에 따른 망막을 영상화하는 동안 안구 정렬을 검출하기 위한 예시적인 흐름도를 도시한다.
도면들은 예시의 목적으로만 본 발명의 다양한 실시예들을 설명한다. 당업자는 본 명세서에 설명된 구조 및 방법의 대체적인 실시예들이 본 명세서에 설명된 발명의 원리들을 벗어나지 않고 채용될 수 있다는 것을 후술하는 논의로부터 쉽게 인식할 수 있을 것이다.
(1) 환경 개요
도 1은 일 실시예에 따라 정렬 툴을 활용하기 위한 환경에서 시스템 구성요소의 예시적인 블록도이다. 환경(100)은 영상화 장치(110), 정렬 툴(115), 네트워크(120) 및 망막 질환 진단 툴(130)을 포함한다. 영상화 장치(110)는 환자 안구의 망막의 하나 이상의 이미지를 캡처하도록 구성된 장치이다. 영상화 장치(110)는 컴퓨터 프로그램 명령, 외부 신호(예를 들어, 정렬 툴(115)로부터 수신됨) 또는 이들의 조합에 의해 지시된 대로 수동 조작을 통해 자율적으로 이러한 이미지를 캡처하게 될 수 있다. 이러한 이미지가 어떤 종류인지, 어떻게 파생되었는지에 대한 예시는, 2017년 3월 22일에 출원된 공동 소유의 미국특허출원 제15/466,636호에서, 그 개시 내용이 전체적으로 본 명세서에 참조로 포함된다.
정렬 툴(115)은 영상화 장치(110)에 작동 가능하게 결합되고, 환자의 안구가 적절하게 정렬되었는지 여부를 확인할 수 있다. 환자의 안구가 적절하게 정렬되었었음을 확인함에 응답하여, 정렬 툴(115)은 영상화 장치(110)에 이미지를 캡처하도록 지시할 수 있다. 정렬 툴(115)은 적외선 이미지와 같은, 다양한 스펙트럼으로부터 이미지 또는 이미지 스트림을 이용하여 환자의 안구가 적절하게 정렬되었는지 여부를 결정할 수 있다. 독립형 엔티티로 설명되나, 이는 설명의 목적으로만 이용되는 것으로; 정렬 툴(115)은 대안적으로 온보드 영상화 장치(110)(예를 들어, 모듈로서 설치됨)에 놓일 수 있거나, 네트워크(120)를 통해 수신된 정보에 작용하는 망막 질환 진단 툴(130)의 일부로서 구현될 수 있다. 정렬 툴(115)의 기능에 대한 추가 세부 사항은 도 3 내지 5와 관련해서 아래에 더 상세히 설명된다.
이미지를 캡처한 후, (예를 들어, 정렬 툴(115)으로부터의 지시에 기초하여) 영상화 장치(110)(또는 대안적으로, 정렬 툴(115))는 처리를 위해 이미지를 망막 질환 진단 툴(130)로 전송한다. 망막 질환 진단 툴(130)은 수신된 망막 이미지를 자동으로 분석하고, 그 안에 있는 바이오마커의 기계 학습 분석을 이용하여 진단을 결정한다. 진단은 구체적으로 사용자가 당뇨병성 망막증과 같은 특정한 질병을 가지고 있다는 판단이거나, 사용자가 질병을 가지고 있을 가능성이 있으므로 의사를 만나 확인 및 치료를 받아야 한다는 판단일 수 있다. 망막 질환 진단 툴(140)이 분석을 수행하고 진단을 결정하는 방식은 공동 소유의 미국등록특허 제10,115,194호에서 추가로 논의되며, 그 개시 내용은 그 전체가 본 명세서에 참고로 포함된다. 재-정렬 툴(115)과는 별도의 엔티티로 설명되지만, 망막 질환 진단 툴(130)은 정렬 툴(130)과 동일한 장치 또는 장치 세트에 인스턴스화 될 수 있고, 일부 또는 전체가 정렬 툴(130)이 영상화 장치(110)에 모듈로서 설치될 수 있는 방식으로 영상화 장치(110)에 모듈로서 설치될 수 있다. 도 1에는 미도시 되었으나, 환자의 일부 또는 전부(예를 들어, 환자의 피부 또는 머리카락)를 포함하는 외부 이미지를 캡처하기 위해 하나 이상의 추가 영상화 장치가 이용될 수 있다. 망막 진단 툴(130)에 의해 수행되는 모든 망막 진단은 이러한 외부 이미지를 활용할 수 있다.
(2) 예시적인 영상화 장치 구성요소
도 2는 일 실시예에 따른 영상화 장치의 모듈 및 구성요소의 예시적인 블록도이다. 영상화 장치(110)는 이미지 캡처 구성요소(211), 플래시 구성요소(212), 적외선 구성요소(213), 정렬 툴 애플리케이션 프로토콜 인터페이스(Application Protocol Interface; API)(214), 시각적 가이드 라이트(215) 및 사용자 인터페이스(216)를 포함한다. 도시되지는 않으나, 영상화 장치(110)는 정렬 툴(115) 및 망막 질환 진단 툴(130) 중 적어도 하나가 내장된 인스턴스 및 이들의 임의의 구성요소와 같은 다른 구성요소를 포함할 수 있다. 영상화 장치(110)는 본 명세서에 기술된 임의의 기능을 수행하기 위한 임의의 데이터베이스 또는 메모리를 포함할 수 있다. 영상화 장치(110)는 일부 도시된 구성 요소도 제외할 수 있다. 예를 들어, 영상화 장치는 시각적 가이드 라이트(215)를 제외할 수 있다.
이미지 캡처 구성요소(211)는 환자의 망막의 이미지를 캡처하도록 구성된 임의의 센서일 수 있다. 예를 들어 특수 렌즈를 이용하여 환자의 망막 이미지를 캡처할 수 있다. 플래시 구성요소(212)는 이미지 캡처 구성요소(211)에 의해 이미지를 캡처하는 동안 환자의 망막을 조명할 수 있는 임의의 구성요소일 수 있고, 이미지 캡처 구성요소(211)의 이미지 캡처 동작과 함께 빛을 방출하도록 구성될 수 있다. 이미지 캡처 구성요소(211)는 또한 환자의 피부 및/또는 머리카락을 포함하는 이미지를 캡처하기 위한 외부 이미지 캡처 구성요소(211)로 구성될 수 있다.
적외선 구성요소(213)는 적외선을 환자의 망막에 전송하고 그것의 흡수 여부를 결정하도록 구성된 적외선 센서이다. 적외선 구성요소(213)는 환자의 망막을 가로지르는 적외선 투과의 흡수를 보여주는 히트 맵(heat map)을 생성할 수 있다. 적외선 구성요소(213)는 흡수 결정 및/또는 히트 맵을 환자의 안구 정렬 결정에 관한 처리를 위해 프로세서(예를 들어, 정렬 툴(130)의)로 전송한다. 적외선 구성요소(213)는 캡처한 이미지 및/또는 흡수 지도 또는 적외선 이미지(이하 집합적으로 적외선 이미지라고 함)의 다른 후처리된 렌더링을 정렬 툴(115)로 스트리밍 할 수 있다. 본 명세서에서 사용되는 스트림이라는 용어는 적외선 구성요소(213)에 의해 캡처되거나 캡처된 직후의 일부 또는 모든 송신 적외선 이미지를 지칭할 수 있다.
정렬 툴 API(214)는 정렬 툴(130)과 인터페이스하여 명령을 정렬 툴(130)로부터 영상화 장치(110)로 번역한다. 예시적인 명령은 이미지를 캡처하기 위한 명령, 플래시 구성요소(212)에 의해 방출되는 빛의 강도를 조정하기 위한 명령, 시각적 가이드 라이트(215)를 활성화하기 위한 명령 등을 포함할 수 있다. 이러한 명령들 및 이들이 생성되는 방법은 아래 도 3을 참조하여 보다 자세히 논의된다. 정렬 툴 API(214)는 또한 적외선 이미지를 정렬 툴(115)로 전송하기 위해 영상화 장치(110)에 의해 이용된다.
시각적 가이드 라이트(215)는 선택적으로 활성화될 수 있는 영상화 장치(110)를 이용하여 환자 주변 내에 하나 이상의 조명을 포함할 수 있다. 가이드 라이트는 응시하도록 지시 받은 환자의 주의를 사로잡기 위해 (예를 들어, 망막 이미지의 캡처를 위해 눈동자를 렌즈와 정렬하도록) 설계되어 활성화될 수 있다. 시각적 가이드 라이트는 임의의 방향(예: 왼쪽, 오른쪽, 위, 아래 또는 모든 방향의 대각선)으로 된 화살표를 포함할 수 있으며, 여기서 화살표는 픽셀의 그리드 또는 빛에서 특정 픽셀 또는 빛(예: LED)을 조명하여 켜진다. 화살표는 정렬을 개선하기 위해 환자의 시선이 이동해야 하는 방향을 나타낼 수 있다. 시각적 가이드 라이트(215) 및 그 기능에 대한 추가 세부사항은, 하나 이상의 시각적 가이드 라이트(215)를 선택적으로 활성화하기 위한 명령을 생성할 수 있는, 시각적 피드백 모듈(340)을 참조하여 설명될 것이다.
사용자 인터페이스(216)는 영상화 장치(110)의 사용자(예를 들어, 조작자 또는 환자)가 영상화 장치(110)가 수행할 수 있는, 이미지 캡처, 플래시 강도 조정, 적외선 정보 캡처 등과 같은 임의의 기능을 수행하도록 명령할 수 있는 인터페이스이다. 사용자 인터페이스(216)는 또한 사용자에게 정보(예를 들어, 청각적 또는 시각적 정보)를 출력할 수 있다. 사용자 인터페이스(216)는 임의의 하드웨어 또는 소프트웨어 인터페이스일 수 있고, 물리적 구성요소(예를 들어, 버튼) 및/또는 그래픽 구성요소(예를 들어, 터치 스크린의 디스플레이와 같은, 디스플레이 상에)를 포함할 수 있다. 사용자 인터페이스(216)는 영상화 장치(110)에 위치할 수 있고, 영상화 장치(110) 주변 장치일 수 있거나, 네트워크(120)에 의해 영상화 장치(110)로부터 분리된 장치에 위치할 수 있어, 영상화 장치(110)의 원격 작동을 가능하게 한다.
(3) 예시적인 정렬 툴 구성요소
도 3은 일 실시예에 따른 정렬 툴의 모듈 및 구성요소의 예시적인 블록도이다. 정렬 툴(115)은 적외선 이미지 처리 모듈(310), 정렬 결정 모듈(320), 청각적 피드백 모듈(330), 시각적 피드백 모듈(340) 및 영상화 장치 API(350)를 포함한다. 도시되지 않았으나, 정렬 툴(115)은 추가 모듈과 같은 다른 구성요소, 및 본 명세서에 설명된 임의의 기능을 수행하기 위한 임의의 데이터베이스 또는 메모리를 포함할 수 있다. 정렬 툴(115)은 일부 설명된 구성 요소를 제외할 수도 있다. 예를 들어, 정렬 툴(130)은 시각적 피드백 모듈(340)을 제외할 수 있다.
적외선 이미지 처리 모듈(310)은 영상화 장치(110)로부터 적외선 스트림을 수신한다. 적외선은 본 명세서에 개시된 실시예에 따라 이용될 수 있는 예시적인 스펙트럼을 말하는 것이나; 이에 제한되는 것은 아니다. 자외선, x-선 등과 같은 기타 스펙트럼은 본 명세서에서 설명된 적외선으로 이용될 수 있다. 적외선 이미지 처리 모듈(310)은 영상화 장치(110)와 정렬 툴(115)을 인터페이스하는 영상화 장치 API(350)를 통해 적외선 스트림을 수신할 수 있다. 적외선 이미지 처리 모듈(310)은 (예를 들어, 새로운 환자가 영상화 장치(110)를 이용하는 것으로 검출될 때) 스트리밍 적외선 데이터를 시작하도록 영상화 장치(110)에 명령할 수 있다. 대안적으로, 적외선 이미지 처리 모듈(310)은 조건 발생 시(예를 들어, 영상화 장치(110)가 망막 이미지를 캡처하기 위해 초기화됨) 적외선 데이터 스트리밍을 시작하도록 영상화 장치에 명령할 수 있다.
적외선 이미지 처리 모듈(310)은 (예를 들어, 정렬 결정 모듈(320)에 의해 이용 가능한 그 안에 포함된 데이터를 렌더링하기 위해) 수신된 적외선 스트림에 대한 처리를 수행할 수 있다. 예를 들어, 적외선 이미지 처리 모듈(310)은 원시 적외선 데이터를 입력으로 취할 수 있고 적외선 히트 맵 또는 환자의 안구 또는 안구의 부분을 보여주는 컨투어 맵을 생성할 수 있다. 다른 예로서, 적외선 이미지 처리 모듈(310)은 하나 이상의 프레임 사이의 안구 위치의 변화를 나타내는 벡터 맵을 생성할 수 있으므로 안구가 이동하거나 회전한 방향과 거리를 나타낼 수 있다. 이 벡터 맵은 안구 정렬을 결정할 때 원시 또는 기타 처리된 적외선 정보에 추가 또는 별도로 이용될 수 있다.
정렬 결정 모듈(320)은 망막 이미지의 캡처를 위해 환자의 안구가 적절하게 정렬되었는지 여부를 결정한다. 본 명세서에서 적절하게 정렬되었다는 용어는 환자의 망막 질환 여부를 자가 진단하기 위한 기준을 만족하는 영상을 의미할 수 있다. 부적절한 정렬은 일반적으로 환자의 시선이 환자의 눈동자나 망막과 같은 관심 대상을 가리는 방향을 향하기 때문에 발생한다. 환자가 고정 빛을 바라보도록 지시 받는 실시예에서, 이미지는 망막의 랜드마크(예를 들어, 망막의 중심)와 정렬될 때 적절한 정렬이 일어난다. 이미지를 캡처할 때 고강도 플래시가 이용되며, 가이드라인은 환자의 건강과 안전을 위해 검사하는 동안 환자에게 플래시를 터뜨리는 횟수를 제한해야 한다고 제안한다. 정렬이 잘못되면 자율 진단을 위한 비효율적인 이미지가 캡처되므로, 환자의 안구에 추가적인 플래시를 요구하는, 추가 이미지가 캡처됨이 요구된다. 정렬 결정 모듈(320)은 환자의 안구에 플래시를 가하기 전에 적절한 정렬을 결정하여 환자의 건강과 안전을 개선하는 데 이용될 수 있다.
일 실시예에서, 정렬 결정 모듈(320)은 관심 객체(즉, 안구의 눈동자 또는 망막)가 적외선 스트림에 표시되는지 여부 및 위치에 기초하여 정렬이 적절한지 여부를 결정할 수 있다. 정렬 결정 모듈(320)은 적외선 스트림에 관심 객체의 존재만으로도 정렬이 적절한지 결정하기에 충분하다고 결정할 수 있다. 정렬 결정 모듈(320)은 대안적으로 또는 부가적으로 다른 요인들이 참일 것을 요구할 수 있다. 예를 들어, 정렬 결정 모듈(320)은 이미지가 적절하게 정렬되었는지를 결정하기 위해 영상화 장치(110)가 포커싱되는 것을 요구할 수 있다. 영상화 장치(110)는 안구의 눈동자와 같은, 또는 안구의 눈동자가 적외선 이미지의 중심에 있거나 그 중심의 임계 거리 내에 있는 것과 같이 관심 객체를 검출할 때 자동으로 초점을 맞추도록 프로그래밍 될 수 있다. 정렬 결정 모듈(320)은 적외선 스트림에 기초하여, 또는 영상화 장치(110)가 포커싱 되었는지 여부를 나타내는 보조 정보에 기초하여 영상화 장치(110)가 포커싱 되었는지 여부를 결정할 수 있다. 영상화 장치(110)가 포커싱 되었다는 결정에 응답하여, 정렬 결정 모듈(320)은 정렬이 적절하다고 결정할 수 있다. 관심 물체 및/또는 영상화 장치(110)의 초점이 적외선 스트림에 존재하지 않는 경우, 정렬 결정 모듈(320)은 환자의 안구의 정렬이 부적절하다고 결정할 수 있다.
정렬 결정 모듈(320)은 적외선 스트림에 기초하여 정렬이 적절한지를 결정하기 위한 다른 수단을 이용할 수 있다. 예를 들어, 환자는 가이드 라이트의 조명, 조작자의 청각적 명령 또는 정렬 툴(115) 및/또는 영상화 장치(110)의 스피커로부터의 출력과 같은 자극에 기초하여 주어진 방향으로 안구를 경련시킬 수 있다. 정렬 결정 모듈(320)은 경련 검출에 응답하여 정렬이 적절하다고 결정할 수 있다. 즉, 환자는 자극에 따라 적절한 정렬로 그들의 안구가 움직인 것으로 추측된다. 정렬 결정 모듈(320)은 시간의 간격에 걸쳐 또는 특정한 소수의 프레임에 걸쳐 환자의 안구의 임계 움직임에 기초하여 경련을 검출할 수 있다. 정렬 결정 모듈(320)은 전술한 벡터 맵을 이용하고, 벡터 맵 상의 움직임 벡터가 경련이 발생했음을 나타내는지 여부를 결정하여 경련을 검출할 수 있다.
경련은 환자가 안구를 특정 위치로 움직이게 하도록 직접 설계된 자극 이외의 이유로 발생할 수 있기 때문에, 정렬 결정 모듈(320)은 안구가 적절하게 정렬되었다고 결정하기 전에 추가 처리를 수행할 수 있다. 일 실시예에서, 경련 검출에 응답하여, 정렬 결정 모듈(320)은 이미지를 캡처할 수 있다. 캡처된 이미지는 경련을 따르는 적외선 스트림의 프레임일 수 있거나, 영상화 장치(110)에 의해 캡처되고 처리를 위해 정렬 결정 모듈(320)로 전송되도록 명령된 시각적 이미지일 수 있다.
정렬 결정 모듈(320)은 다음 이미지가 품질 파라미터를 만족하는지 여부를 결정할 수 있다. 품질 파라미터는 이미지 품질이 충분한지 여부를 결정하는 것을 포함할 수 있다. 예를 들어 경련 중에 안구의 지속적인 움직임으로 인해 프레임이 흐려져 이미지 품질이 저하될 수 있다. 정렬 결정 모듈(320)은 흐림, 초점 등과 같은 하나 이상의 메트릭에 기초하여 이미지 품질을 결정할 수 있다. 품질 파라미터는 후보 이미지에서 바이오마커가 검출되는지 여부와 같은 다른 특징을 포함할 수 있다. 예를 들어, 정렬 결정 모듈(320)은 시각적 프레임 또는 적외선 프레임에 기초하여 시신경 디스크 및/또는 임의의 다른 바이오마커가 이미지에서 검출 가능한지 여부를 결정할 수 있다. 다른 예시적인 품질 파라미터는 아티팩트가 이미지의 일부 또는 전부를 차단하는지 여부를 결정하는 것을 포함할 수 있다(예를 들어, 환자의 속눈썹이 이미지를 가리고 있음). 후보 이미지가 품질 파라미터를 만족한다는 결정에 응답하여, 정렬 결정 모듈(320)은 환자의 안구가 적절하게 정렬되었다고 결정할 수 있다. 후보 이미지가 품질 파라미터를 만족하지 않는다는 결정에 응답하여, 정렬 결정 모듈(320)은 환자의 안구 정렬이 부적절하다고 결정할 수 있다.
일 실시예에서, 품질은 후보 이미지를 기계 학습 모델에 입력하고 기계 학습 모델로부터의 출력으로서 후보 이미지가 충분한 품질인지의 표시를 수신함으로써 결정될 수 있다. 일부 실시예에서, 기계 학습 모델은 지도 학습 모델일 수 있다. 이러한 실시예에서, 기계 학습 모델은 이미지의 라벨링된 트레이닝 세트를 이용하여 트레이닝될 수 있으며, 여기서 트레이닝 세트의 각 이미지는 이미지의 품질이 충분한지 아닌지에 대해 라벨링 된다. 일부 실시예에서, 기계 학습 모델은 비지도학습 기술을 이용하여 훈련될 수 있다.
정렬이 부적절하다고 결정되는 경우, 안구가 적절하게 정렬되도록 환자가 환자의 안구의 위치를 조정하도록 격려하기 위해 피드백이 환자에게 제공될 수 있다. 일 실시예에서, 정렬 결정 모듈(320)은 안구가 적절하게 정렬되기 위해 이루어져야 하는 특정 조정을 결정한다. 예를 들어, 정렬 결정 모듈(320)은 적외선 스트림을 이용하여 눈동자가 포커싱 되는 위치를 결정하고 눈동자가 적절하게 정렬되기 위해 특정 방향으로 이동해야 한다고 결정한다. 다른 실시예에서, 정렬 결정 모듈(320)은 (예를 들어, 눈동자가 적외선 스트림에서 검출될 수 없기 때문에) 안구가 적절하게 정렬되기 위해 이루어져야 하는 특정 조정을 식별할 수 없다. 시나리오에 따라, 청각적 피드백 모듈(330) 및 시각적 피드백 모듈(340)은 적절한 조정을 하도록 환자에게 피드백을 제공할 수 있다.
일 실시예에서, 정렬 결정 모듈(320)은 기계 학습 모델로부터의 출력에 기초하여 안구가 정렬되었는지 여부를 결정한다. 정렬 결정 모듈(320)은 적외선 스트림의 하나 이상의 프레임을 기계 학습 모델에 입력할 수 있고, 정렬 결정 모듈(320)은 기계 학습 모델로부터의 출력으로서 정렬될 확률 및/또는 안구가 적절하게 정렬되거나 그렇지 않다는 것을 나타내는 출력을 수신할 수 있다. 출력이 확률인 경우, 정렬 결정 모듈(320)은 확률을 임계값(예를 들어, 안구가 정렬될 가능성이 92% 초과)과 비교할 수 있고, 임계값을 초과하는 확률에 기초하여 안구가 정렬된다고 결정할 수 있다.
기계 학습 모델은 적외선 프레임의 라벨링 된 데이터 세트를 이용하여 훈련될 수 있고, 라벨은 안구가 정렬되어 있거나 정렬되어 있지 않음을 나타낸다. 일 실시예에서, 데이터 세트는 적절한 정렬에서의 오프셋(예를 들어, 오른쪽으로 3도 회전하면 안구가 정렬된 것임)을 나타내는 라벨과 같은, 추가 라벨을 포함할 수 있다. 그러한 경우, 정렬 결정 모듈(320)은 부가적으로 또는 대안적으로, 청각적 피드백 모듈(330) 및/또는 시각적 피드백 모듈(340)에 의해 명령을 결정하는데 이용될 수 있는 오프셋을 출력할 수 있다. 기계 학습 모델은 임의의 기계 학습 모델일 수 있다. 예를 들어, 기계 학습 모델은 합성곱 신경망과 같은 신경망일 수 있다.
일 실시예에서, 기계 학습 모델 및/또는 결정론적 모델과 같은 모델은 적외선 프레임을 입력으로 취하도록 훈련될 수 있다. 예를 들어, 정렬 과정의 시작부터 정확한 정렬이 얻어질 때까지의 프레임이 모델에 입력될 수 있다. 모델은 또한 환자에게 제공된 지시의 표현을 입력으로 취할 수 있다(예: 조작자가 제공한 지시 또는 환자에게 제공된 자동화된 지시의 낭독에 대한 음성-텍스트 변환). 모델은 이러한 입력에 기초하여 제공된 지시가 조작자에 의해 올바르게 시행되고 있는지 여부 및/또는 제공된 지시를 환자가 정확하게 따르고 있는지 여부의 표시를 출력할 수 있다. 결과는 이분법적일 수 있다(예: 부적절한 또는 올바른 관리). 출력은 명령의 특정 오류를 나타낼 수 있다(예: 지시의 특정한 부분이 부적절하고, 대신 다른 작업을 수행해야 함). 출력은 정렬을 고정할 특정한 새로운 지시일 수 있다(예: 시선을 오른쪽으로 3도 이동). 출력은 다양한 교정 활동, 지시 및/또는 관리가 올바른지에 대해 관련된 확률들의 집합일 수 있고, 그에 따라 정렬 결정 모듈(320)은 확률을 각각의 임계값과 비교함으로써 환자 및/또는 조작자에게 무엇을 출력할지 결정하게 할 수 있다. 기계 학습 모델은 훈련된 영역 기반 합성곱 신경망(Region-based Convolutional Neural Network; RCNN) 또는 다른 유형의 기계 학습 모델일 수 있다.
청각적 피드백 모듈(330)은 (예를 들어, 영상화 장치(110)의 스피커 또는 정렬 툴(115)에 작동 가능하게 결합된 주변 스피커를 이용하여) 청각적 지시를 환자에게 출력할 수 있다. 청각적 지시는 위, 아래, 왼쪽, 오른쪽 또는 이들의 일부 조합과 같은 임의의 특정 방향으로 안구를 이동시키게 할 수 있다. 환자의 안구를 적절하게 정렬하기 위해 정확히 필요한 조정이 알려진 일 실시예에서, 지시는 필요한 안구 움직임에 대응할 수 있다. 정확히 필요한 조정이 알려지지 않은 실시예에서, 환자는 눈동자가 적외선 스트림에서 검출될 때까지 그들의 안구를 움직이도록(예를 들어, "천천히 안구를 위로 움직이도록") 지시 받을 수 있고, 이때 정렬 결정 모듈(320)은 전술한 프로세스를 이용하여 필요한 조정을 결정할 수 있다. 청각적 피드백 모듈(330)은 필요한 조정에 기초하여 추가 명령을 더 제공할 수 있다.
시각적 피드백 모듈(340)은 청각적 피드백 모듈(330)과 유사한 방식으로 작동하고, 청각적 피드백 모듈(330)과 조합하여, 개별적으로 작동할 수 있다(즉, 청각적 및 시각적 피드백은 동시에 또는 개별적으로 발생할 수 있음). 전술한 바와 같이, 영상화 장치(110)는 영상화 장치(110)를 이용할 때 환자의 시야에 나타나는 영상화 구성요소(예를 들어, 픽셀, 발빛 다이오드 등)를 포함할 수 있다. 일 실시예에서, 시각적 피드백 모듈(340)은 가이드 라이트를 활성화할 수 있다. 가이드 라이트는 환자의 시야에 있는 위치에서 활성화되고, 시선을 고정하면, 환자의 안구를 적절하게 정렬할 수 있다. 정렬 툴(115)은 가이드 라이트가 활성화될 때 청각적 피드백 모듈(330)이 가이드 라이트를 응시하라는 지시를 제공하도록 할 수 있다.
다른 실시예에서, 또는 환자가 가이드 라이트에 반응하지 않는 경우, 시각적 피드백 모듈(340)은 환자가 환자의 시선을 조정해야 하는 방향으로 화살표와 같은, 인디케이터를 형성할 수 있도록 영상화 구성요소를 활성화할 수 있다. 일 실시예에서, 시각적 피드백 모듈(340)은 영상화 구성요소를 활성화할 수 있고, 청각적 피드백 모듈(330)은 영상화 구성요소가 움직임에 따라 환자의 시선이 영상화 구성요소를 따라가도록 청각적 지시를 출력할 수 있다. 시각적 피드백 모듈(340)은 빛이 환자의 시야에서 계속 이동하도록 영상화 구성요소를 선택적으로 활성화 및 비활성화할 수 있다. 환자가 빛의 움직임에 따라 환자의 시선을 이동시킬 때, 정렬 결정 모듈(320)은 정렬이 부적절한지 여부 및/또는 눈동자가 검출될 수 있는지 여부를 결정할 수 있고, 적절한 정렬을 얻기 위해 필요한 빛의 추가 이동을 위한 추가 정렬(상술한 프로세스를 이용하여 결정됨)을 시각적 피드백 모듈(340)에 피드백할 수 있다.
(4) 예시적인 컴퓨팅 기계 구조
도 4는 기계 판독 가능 매체로부터 명령어를 판독하고 프로세서(또는 컨트롤러)에서 실행할 수 있는 예시적인 기계의 구성요소들을 도시하는 블록도이다. 구체적으로, 도 4는 기계로 하여금 본 명세서에서 설명된 하나 이상의 임의의 방법론을 수행하게 하는 프로 그램 코드(예: 소프트웨어) 내에서 컴퓨터 시스템(400)의 예시적 형태인 기계의 모식적인 표현을 도시한다. 프로그램 코드는 하나 이상의 프로세서(402)에 의해 실행 가능한 명령어(424)로 구성될 수 있다. 대안적인 실시예에서, 기계는 독립적인 장치로서 작동하거나 다른 기계에 연결(예를 들어, 네트워크 연결)될 수 있다. 네트워크 배치에서, 기계는 서버 기계 또는 서버-클라이언트 네트워크 환경의 클라이언트 기계의 용량으로 작동하거나 피어-투-피어(또는 분산) 네트워크 환경의 피어 기계로 작동할 수 있다.
기계는 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(Personal Computer; PC), 태블릿 PC, 셋톱박스(Set-Top Box; STB), 개인휴대단말기(Personal Digital Assistant; PDA), 휴대전화, 스마트폰, 웹 기기, 네트워크 라우터, 스위치 또는 브리지 등 해당 기계에 의해 취해진 동작들을 특정하기 위한 명령어(424)를 (순차적 또는 그 외의)를 실행할 수 있는 모든 기계를 포함한다. 또한, 도면에서는 하나의 기계만이 도시되어 있으나, "기계"라는 용어는 본 명세서에서 논의된 방법 중 하나 이상을 수행하기 위해 개별적으로 또는 공동으로 명령어(124)를 실행하는 기계 집합체를 포함하는 것으로 간주된다.
예시적인 컴퓨터 시스템(400)은 버스(408)를 통해 서로 통신하도록 구성되는, 프로세서(402)(예를 들어, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 처리 장치(Graphics Processing Unit; GPU), 디지털 신호 프로세서(Digital Signal Processor; DSP), 하나 이상의 주문형 집적 회로(Application Specific Integrated Circuits; ASIC), 하나 이상의 무선 주파수 집적 회로(Radio-Frequency Integrated Circuits; RFIC) 또는 이들의 조합), 메인 메모리(404) 및 정적 메모리(406)를 포함할 수 있다. 컴퓨터 시스템(400)은 시각적 디스플레이 인터페이스(410)를 더 포함할 수 있다. 시각적 인터페이스는 화면(또는 디스플레이)에 사용자 인터페이스를 표시할 수 있는 소프트웨어 드라이버를 포함할 수 있다. 시각적 인터페이스는 사용자 인터페이스를 직접적으로(예를 들어, 스크린에) 또는 표면, 인도우 등에 간접적으로(예를 들어, 시각적 프로젝션 유닛을 통해) 표시할 수 있다. 설명의 편의를 위해 시각적 인터페이스를 화면으로 설명할 수 있다. 시각적 인터페이스(410)는 터치 지원 스크린을 포함하거나 인터페이스할 수 있다. 컴퓨터 시스템(400)은 또한 버스(408)를 통해 통신하도록 구성되는, 영-숫자 입력 장치(412)(예를 들어, 키보드 또는 터치 스크린 키보드), 커서 제어 장치(414)(예를 들어, 마우스, 트랙볼, 조이스틱, 동작 센서 또는 기타 포인팅 도구), 저장 유닛(416), 신호 생성 장치(418)(예를 들어, 스피커) 및 네트워크 인터페이스 장치(420)를 포함할 수 있다.
저장 유닛(416)은 본 명세서에 기술된 방법 또는 기능 중 임의의 하나 이상을 구현하는 명령어(424)(예를 들어, 소프트웨어)가 저장된 기계 판독 가능 매체(422)를 포함한다. 명령어(424)(예를 들어, 소프트웨어)는 또한 컴퓨터 시스템(400), 기계 판독 매체를 구성하는 메인 메모리(404) 및 프로세서(402)에 의해 실행되는 동안, 메인 메모리(404) 또는 프로세서(402) 내에(예를 들어, 프로세서의 캐시 메모리 내에) 완전히 또는 적어도 부분적으로 상주할 수 있다. 명령어(424)(예를 들어, 소프트웨어)는 네트워크 인터페이스 장치(420)를 통해 네트워크(426)를 통해 전송되거나 수신될 수 있다.
기계 판독 가능 매체(422)는 예시적인 실시예에서 단일 매체인 것으로 도시되었으나, "기계 판독 가능 매체"라는 용어는 명령(예: 명령(424))을 저장할 수 있는 단일 매체 또는 다중 매체(예: 중앙 집중식 또는 분산 데이터베이스, 또는 관련 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "기계 판독 가능 매체"라는 용어는 또한 기계에 의한 실행을 위한 명령어(예를 들어, 명령어(424))를 저장할 수 있고 본 명세서에 개시된 임의의 하나 이상의 방법론을 수행하게 하는 임의의 매체를 포함하는 것으로 이해될 것이다. "기계 판독 가능 매체"라는 용어는 솔리드 스테이트 메모리, 광학 매체 및 자기 매체 형태의 데이터 저장소를 포함하나, 이에 제한되는 것은 아니다.
(5) 안구 정렬을 결정하기 위한 예시적인 데이터 흐름
도 5는 일 실시예에 따라 망막 영상화 동안 안구 정렬을 검출하기 위한 예시적인 흐름도를 도시한다. 프로세스(500)는 정렬 툴(130)을 실행하기 위해 이용되는 장치의 하나 이상의 프로세서(예: 프로세서 402)가 영상화 장치(예: 적외선 이미지 처리 모듈 (310)을 이용하여)로부터 적외선 스트림을 수신(502)함으로써 개시되고, 적외선 스트림은 환자의 안구의 특성을 도시한다. 정렬 툴(130)은 적외선 스트림에 기초하여 안구가 처음에(예를 들어, 정렬 결정 모듈(320)을 이용하여) 부적절하게 정렬되었음을 결정(504)한다. 부적절한 정렬 결정은 환자 안구의 눈동자가 적외선 스트림에 나타나지 않거나 영상화 장치(110)에 초점이 맞춰지지 않은 것과 같은 여러 요인에 기초될 수 있다. 일 실시예에서, 정렬 결정(504)은 기계 학습 모델에 적외선 스트림의 프레임을 입력하고 기계 학습 모델로부터 출력으로서 안구가 처음에 부적절하게 정렬되었음을 나타내는 정보를 수신함으로써 이루어진다.
정렬 툴(130)은 (예를 들어, 청각적 피드백 모듈(330) 및/또는 시각적 피드백 모듈(340)을 이용하여) 부적절한 정렬을 나타내는 감각 피드백을 출력(506)한다. 감각 피드백은 조작자(예를 들어, 영상화 장치(110)를 조작하는 일반 사용자), 환자 또는 환자와 조작자 모두에게 출력될 수 있다. 정렬 툴(130)은 1차 시도보다 늦은 2차 시도에 적외선 스트림에 기초하여 (예를 들어, 정렬 결정 모듈(320)을 이용하여) 안구가 적절하게 정렬되었음을 검출(508)한다. 적절한 정렬 결정은 환자 안구의 경련 검출에 기초할 수 있다. 눈꺼풀이 적절한 정렬 결정의 기초가 되는 경우, 안구가 실제로 적절하게 정렬되었다는 결정하기 전에 이미지(예: 적외선 프레임)는 캡처되고, 품질 파라미터(예: 이미지 품질, 아티팩트, 바이오마커 검출 등)에 대해 검증할 수 있다.
정렬 툴(130)은 영상화 장치(110)로부터 적절하게 정렬된 안구의 망막 이미지를 수신(510)한다. 정렬 툴(130)은 영상화 장치(110)에게 망막의 이미지를 자동으로 캡처하여 적절한 정렬 검출에 응답하여 정렬 툴(130)로 전송하도록 명령할 수 있다. 정렬 툴(130)은 망막 질환 진단 툴(130)로 이미지를 전송하여 환자의 안구를 자가 진단할 수 있다. 정렬 툴(130)은 영상화 장치(110)로부터 적절하게 정렬된 안구의 망막 이미지를 수신(510)한다. 정렬 툴(130)은 영상화 장치(110)에게 망막의 이미지를 자동으로 캡처하여 적절한 정렬 검출에 응답하여 정렬 툴(130)로 전송하도록 명령할 수 있다. 정렬 툴(130)은 망막 질환 진단 툴(130)로 이미지를 전송하여 환자의 안구를 자가 진단할 수 있다.
(6) 요약
본 발명의 실시예들에 대한 전술한 설명은 예시의 목적으로 제공되었다; 본 발명은 개시된 정확한 형태로 제한되거나 완전한 것을 의도하는 것은 아니다. 본 발명의 기술분야에 속한 통상의 기술자는 상기 개시 내용에 비추어 다양한 수정 및 변형이 가능함을 이해할 수 있다.
이러한 설명의 일부는 알고리즘 및 정보에 대한 동작의 상징적인 표현의 관점에서 본 발명의 실시예를 설명한다. 이러한 알고리즘 설명 및 표현은 일반적으로 데이터 처리 분야의 당업자들이 작업의 내용을 다른 당업자에게 효과적으로 전달하기 위해 이용된다. 이러한 동작은 기능적으로, 계산적으로 또는 논리적으로 설명되지만 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한 이러한 작업 의 배열을 모듈로 참조하는 것은 때때로 일반성을 잃지 않고, 편리한 것으로 입증되었다. 설명된 동작과 이와 관련된 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
본 명세서에 설명된 단계, 작업 또는 프로세스 중 어떤 것이든 하드웨어 또는 소프트웨어 모듈 하나 이상을 이용하여 수행하거나 구현할 수 있다. 일 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되고, 여기서 컴퓨터 프로그램 코드는 컴퓨터 프로세서에 의해 실행될 수 있어서 본 명세서에 설명된 단계, 작업 또는 프로세스를 수행할 수 있다.
본 발명의 실시예들은 또한 본 명세서의 작업을 수행하는 장치와 관련될 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고, 컴퓨터 프로그램이 컴퓨터에 저장되어 선택적으로 활성화되거나 재구성될 수 있는 일반적인 컴퓨팅 장치를 포함할 수도 있다. 이러한 컴퓨터 프로그램은 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있고, 컴퓨터 시스템 버스에 연결될 수 있는 전자적 명령을 저장하는 데 적합한 어떤 유형의 미디어를 이용할 수 있다. 또한, 본 명세서에서 언급된 모든 컴퓨팅 시스템은 단일 프로세서를 포함할 수도 있고, 늘어난 컴퓨팅 용량을 위해 여러 프로세서 디자인을 이용하는 아키텍처일 수도 있다.
본 발명의 실시예들은 또한 본 명세서에서 설명된 컴퓨팅 프로세스에 의해 생성된 제품과 관련될 수 있다. 이러한 제품은 컴퓨팅 프로세스에서 생성된 정보를 포함할 수 있고, 본 명세서에서 설명된 컴퓨터 프로그램 제품 또는 기타 데이터 조합의 어떤 구현을 포함할 수 있고, 여기서, 정보는 비휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
마지막으로, 본 명세서에서 이용된 언어는 주로 가독성과 설명적인 목적으로 선택되었으며, 발명을 구분하거나 제한하기 위해 선택된 것은 아니다. 따라서, 발명의 범위는 상세한 설명에 의해 제한되는 것이 아니라, 본 명세서에 기초하는 출원이 다루는 모든 청구항들에 의해 제한될 것으로 의도된다. 따라서, 본 발명의 실시예들의 개시는 발명의 범위를 제한하는 것은 아니나, 대신 후술하는 청구항들에 명시된 발명의 범위에 의해 설명되는 것으로 의도된다.
Claims (20)
- 영상화 장치로부터, 적외선 스트림을 수신하는 단계 -상기 적외선 스트림은 환자의 안구의 특징을 나타냄-;
기계 학습 모델에 상기 적외선 스트림의 프레임을 입력하는 단계;
1차 시도에 상기 안구가 부적절하게 정렬되었음을 나타내는 정보를 기계 학습 모델로부터 출력으로서 수신하는 단계;
부적절한 정렬을 나타내는 감각 피드백을 출력하는 단계;
상기 1차 시도 이후 2차 시도에서 상기 적외선 스트림에 기초하여, 상기 안구는 적절하게 정렬되었음을 검출하는 단계; 및
상기 영상화 장치로부터 적절하게 정렬된 안구의 망막 이미지를 수신하는 단계를 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제1항에 있어서, 상기 정보는, 상기 안구가 적어도:
상기 안구의 눈동자가 상기 적외선 스트림에 나타나지 않고,
상기 영상화 장치가 초점이 맞지 않음으로 인해, 상기 1차 시도에 상기 안구가 부적절하게 정렬되었음을 표시하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제1항에 있어서, 상기 영상화 장치는 자율적으로 작동하고, 상기 감각 피드백은 부적절한 정렬을 교정하기 위한 방법에 대한 지시와 함께 환자에게 시각적 또는 청각적 출력을 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제1항에 있어서, 상기 영상화 장치는 상기 환자가 아닌 조작자에 의해 작동하고, 상기 감각 피드백은 상기 조작자에게 제공되는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제1항에 있어서, 상기 안구가 적절하게 정렬되었다는 검출에 응답하여, 상기 이미지를 캡처하도록 상기 영상화 장치에 명령하는 단계를 더 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제1항에 있어서, 상기 안구가 적절하게 정렬되었음을 검출하는 단계는, 상기 안구의 경련을 검출하는 단계를 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제6항에 있어서, 상기 안구가 적절하게 정렬되었음을 검출하는 단계는,
상기 경련의 검출에 응답하여, 후보 이미지를 캡처하는 단계;
상기 후보 이미지가 품질 파라미터를 만족하는지 여부를 결정하는 단계; 및
상기 후보 이미지가 상기 품질 파라미터를 만족한다는 결정에 응답하여, 상기 안구가 적절하게 정렬되었는지 결정하는 단계를 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제7항에 있어서, 상기 품질 파라미터는 상기 후보 이미지 내 이미지 품질 및 상기 후보 이미지의 아티팩트의 검출 중 적어도 하나를 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 제1항에 있어서, 망막의 이미지의 특징에 기초하여 상기 망막의 망막 상태를 자동적으로 진단하는 단계를 더 포함하는, 망막 영상화 동안 안구 정렬을 검출하는 방법.
- 망막 영상화 동안 안구 정렬을 검출하기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 코드를 포함하는 비일시적 컴퓨터-판독 저장 매체를 포함하고, 상기 컴퓨터 프로그램 코드는:
영상화 장치로부터, 적외선 스트림을 수신하는 단계 -상기 적외선 스트림은 환자의 안구의 특징을 나타냄-;
기계 학습 모델에 상기 적외선 스트림의 프레임을 입력하는 단계;
1차 시도에 상기 안구가 부적절하게 정렬되었음을 나타내는 정보를 기계 학습 모델로부터 출력으로서 수신하는 단계;
부적절한 정렬을 나타내는 감각 피드백을 출력하는 단계;
상기 1차 시도 이후 2차 시도에서 상기 적외선 스트림에 기초하여, 상기 안구는 적절하게 정렬되었음을 검출하는 단계; 및
상기 영상화 장치로부터 적절하게 정렬된 안구의 망막 이미지를 수신하는 단계를 포함하는, 망막 영상화 동안 안구 정렬을 검출하기 위한 컴퓨터 프로그램 제품.
- 제10항에 있어서, 상기 정보는, 적어도:
상기 안구의 눈동자는 상기 적외선 스트림에 표시되지 않고,
상기 영상화 장치가 초점이 맞지 않음으로 인해, 상기 1차 시도에서 상기 안구가 부적절하게 정렬되었음을 나타내는, 비일시적 컴퓨터 판독 가능 매체.
- 제10항에 있어서, 상기 영상화 장치는 자율적으로 작동하고, 상기 감각 피드백은 부적절한 정렬을 교정하기 위한 방법에 대한 지시와 함께 환자에게 시각적 또는 청각적 출력을 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제10항에 있어서, 상기 영상화 장치는 상기 환자가 아닌 조작자에 의해 작동하고, 상기 감각 피드백은 상기 조작자에게 제공되는, 비일시적 컴퓨터 판독 가능 매체.
- 제1항에 있어서, 상기 컴퓨터 프로그램 코드는 상기 안구가 적절하게 정렬되었다는 검출에 응답하여, 상기 이미지를 캡처하도록 상기 영상화 장치에 명령하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제10항에 있어서, 상기 안구가 적절하게 정렬되었음을 검출하는 단계는, 상기 안구의 경련을 검출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제15항에 있어서, 상기 안구가 적절하게 정렬되었음을 검출하는 단계는,
상기 경련의 검출에 응답하여, 후보 이미지를 캡처하는 단계;
상기 후보 이미지가 품질 파라미터를 만족하는지 여부를 결정하는 단계; 및
상기 후보 이미지가 상기 품질 파라미터를 만족한다는 결정에 응답하여, 상기 안구가 적절하게 정렬되었는지 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제16항에 있어서, 상기 품질 파라미터는 상기 후보 이미지 내 이미지 품질 및 상기 후보 이미지의 아티팩트의 검출 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제10항에 있어서, 상기 컴퓨터 프로그램 코드는 망막의 이미지의 특징에 기초하여 상기 망막의 망막 상태를 자동적으로 진단하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 망막 영상화 동안 안구 정렬을 검출하기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 컴퓨터 프로그램은:
영상화 장치로부터 적외선 스트림을 수신하는 제1 모듈 -적외선 스트림은, 환자의 안구의 특징을 나타냄-;
상기 적외선 스트림의 프레임을기계 학습 모델에 입력하는 제2 모듈;
1차 시도에 상기 안구가 부적절하게 정렬되었음을 나타내는 정보를 기계 학습 모델로부터 출력으로서 수신하는 제3 모듈;
부적절한 정렬을 나타내는 감각 피드백을 출력하는 제4 모듈;
상기 1차 시도 이후 2차 시도에서 상기 적외선 스트림에 기초하여, 상기 안구는 적절하게 정렬되었음을 검출하는 제5 모듈; 및
상기 영상화 장치로부터 적절하게 정렬된 안구의 망막 이미지를 수신하는 제6 모듈을 포함하는, 컴퓨터 프로그램 제품.
- 제19항에 있어서, 상기 정보는, 상기 안구가 적어도:
상기 안구의 눈동자가 상기 적외선 스트림에 나타나지 않고,
상기 영상화 장치가 초점이 맞지 않음으로 인해, 상기 1차 시도에 상기 안구가 부적절하게 정렬되었음을 표시하는, 망막 영상화 동안 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/997,843 | 2020-08-19 | ||
| US16/997,843 US20220054006A1 (en) | 2020-08-19 | 2020-08-19 | Using infrared to detect proper eye alignment before capturing retinal images |
| PCT/US2021/045727 WO2022040007A1 (en) | 2020-08-19 | 2021-08-12 | Using infrared to detect proper eye alignment before capturing retinal images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230052948A true KR20230052948A (ko) | 2023-04-20 |
Family
ID=80270250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237009344A KR20230052948A (ko) | 2020-08-19 | 2021-08-12 | 망막 이미지 캡처 전 적외선을 이용한 적절한 안구 정렬 검출 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20220054006A1 (ko) |
| EP (1) | EP4199804A4 (ko) |
| JP (1) | JP2023538076A (ko) |
| KR (1) | KR20230052948A (ko) |
| CN (1) | CN115916030A (ko) |
| AU (1) | AU2021328150A1 (ko) |
| CA (1) | CA3190160A1 (ko) |
| IL (1) | IL300127A (ko) |
| WO (1) | WO2022040007A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022173962A1 (en) * | 2021-02-11 | 2022-08-18 | Nuance Communications, Inc. | Communication system and method |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3790680B2 (ja) * | 2001-05-25 | 2006-06-28 | 株式会社東芝 | 画像処理システム及びこれを用いた運転支援システム |
| US9462945B1 (en) * | 2013-04-22 | 2016-10-11 | VisionQuest Biomedical LLC | System and methods for automatic processing of digital retinal images in conjunction with an imaging device |
| US8885901B1 (en) * | 2013-10-22 | 2014-11-11 | Eyenuk, Inc. | Systems and methods for automated enhancement of retinal images |
| JP6905463B2 (ja) * | 2014-07-02 | 2021-07-21 | アイディーエックス，エルエルシー | 被検者の眼と接眼画像化装置の光軸とのアライメント調整を行うための装置および方法 |
| US9662014B2 (en) * | 2015-04-17 | 2017-05-30 | Massachusetts Institute Of Technology | Methods and apparatus for visual cues for eye alignment |
| WO2016187351A1 (en) * | 2015-05-18 | 2016-11-24 | Daqri, Llc | Context-based augmented reality content delivery |
| US11534066B2 (en) * | 2016-02-11 | 2022-12-27 | Ara KESHISHIAN | System and device for promoting eye alignment |
| US11232548B2 (en) * | 2016-03-22 | 2022-01-25 | Digital Diagnostics Inc. | System and methods for qualifying medical images |
| EP3430973A1 (en) * | 2017-07-19 | 2019-01-23 | Sony Corporation | Mobile system and method |
| US10671890B2 (en) * | 2018-03-30 | 2020-06-02 | Tobii Ab | Training of a neural network for three dimensional (3D) gaze prediction |
| US11145631B1 (en) * | 2018-06-12 | 2021-10-12 | Facebook Technologies, Llc | Display devices and methods of making the same |
| US11980420B2 (en) * | 2020-03-19 | 2024-05-14 | Digital Diagnostics Inc. | Dynamic adjustment of flash intensity based on retinal pigmentation |
-
2020
- 2020-08-19 US US16/997,843 patent/US20220054006A1/en active Pending
-
2021
- 2021-08-12 CA CA3190160A patent/CA3190160A1/en active Pending
- 2021-08-12 JP JP2023511929A patent/JP2023538076A/ja active Pending
- 2021-08-12 WO PCT/US2021/045727 patent/WO2022040007A1/en active Application Filing
- 2021-08-12 IL IL300127A patent/IL300127A/en unknown
- 2021-08-12 AU AU2021328150A patent/AU2021328150A1/en active Pending
- 2021-08-12 CN CN202180050621.9A patent/CN115916030A/zh active Pending
- 2021-08-12 KR KR1020237009344A patent/KR20230052948A/ko active Search and Examination
- 2021-08-12 EP EP21858855.6A patent/EP4199804A4/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220054006A1 (en) | 2022-02-24 |
| CN115916030A (zh) | 2023-04-04 |
| EP4199804A4 (en) | 2024-07-17 |
| JP2023538076A (ja) | 2023-09-06 |
| IL300127A (en) | 2023-03-01 |
| AU2021328150A1 (en) | 2023-05-11 |
| EP4199804A1 (en) | 2023-06-28 |
| CA3190160A1 (en) | 2022-02-24 |
| WO2022040007A1 (en) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017695B2 (en) | Method for developing a machine learning model of a neural network for classifying medical images | |
| US11366517B2 (en) | Human-computer interface using high-speed and accurate tracking of user interactions | |
| US10890972B2 (en) | Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof | |
| KR102031958B1 (ko) | 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법 | |
| US20230230232A1 (en) | Machine Learning for Detection of Diseases from External Anterior Eye Images | |
| Wangwiwattana et al. | Pupilnet, measuring task evoked pupillary response using commodity rgb tablet cameras: Comparison to mobile, infrared gaze trackers for inferring cognitive load | |
| US20200265754A1 (en) | System and method for augmented reality guidance for use of medical equipment systems with transmission of data to remote location | |
| KR20230052948A (ko) | 망막 이미지 캡처 전 적외선을 이용한 적절한 안구 정렬 검출 | |
| JP2021101965A5 (ko) | ||
| JP2023517707A (ja) | 網膜色素沈着に基づくフラッシュ強度の動的調節 | |
| JP2019208851A (ja) | 眼底画像処理装置および眼底画像処理プログラム | |
| CN111950338A (zh) | 监视对对象的处理 | |
| US20230147689A1 (en) | System and method for adaptive guidance for use of equipment systems | |
| JP7328489B2 (ja) | 眼科画像処理装置、および眼科撮影装置 | |
| US11880976B2 (en) | Image retention and stitching for minimal-flash eye disease diagnosis | |
| EP4226845A1 (en) | Eye image quality analysis | |
| US20230139476A1 (en) | Information processing apparatus, information processing method, program, and ophthalmic microscope system | |
| KR102471955B1 (ko) | 휴대용 신경질환 진단장치 및 그 진단방법 | |
| Sugi et al. | Development of a Non-Contact Nurse Call System by Image Processing of Eye Movement | |
| Saavedra-Peña | Saccade latency determination using video recordings from consumer-grade devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |