KR20220112269A - 지도형 위축 성장률의 예측을 생성하기 위한 oct 데이터의 신경망 처리 - Google Patents

지도형 위축 성장률의 예측을 생성하기 위한 oct 데이터의 신경망 처리 Download PDF

Info

Publication number
KR20220112269A
KR20220112269A KR1020227022249A KR20227022249A KR20220112269A KR 20220112269 A KR20220112269 A KR 20220112269A KR 1020227022249 A KR1020227022249 A KR 1020227022249A KR 20227022249 A KR20227022249 A KR 20227022249A KR 20220112269 A KR20220112269 A KR 20220112269A
Authority
KR
South Korea
Prior art keywords
eye
dimensional
data object
prediction
neural network
Prior art date
Application number
KR1020227022249A
Other languages
English (en)
Inventor
치 양
사이먼 에스. 가오
Original Assignee
제넨테크, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제넨테크, 인크. filed Critical 제넨테크, 인크.
Publication of KR20220112269A publication Critical patent/KR20220112269A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Hematology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Fuzzy Systems (AREA)

Abstract

본 명세서에 개시된 실시예는 일반적으로 눈에서의 지도형 위축 병변 성장 및/또는 지도형 위축 병변 크기를 예측하는 것과 관련된다. 신경망을 이용해 데이터 객체를 처리함으로써 예측이 생성될 수 있다. 데이터 객체는 눈의 적어도 일부분의 묘사를 나타내는 3차원 데이터 객체 또는 눈의 적어도 일부분의 하나 이상의 묘사를 나타내는 멀티-채널 데이터 객체를 포함할 수 있다. 신경망은 병변-성장과 병변-크기 출력 모두의 예측인 피처를 학습하도록 훈련된 콘볼루션 멀티-태스크 신경망을 포함할 수 있다.

Description

지도형 위축 성장률의 예측을 생성하기 위한 OCT 데이터의 신경망 처리
관련 출원의 교차-참조
이 출원은 미국 가특허출원 번호 62/944,201(출원일: 2019년12월05일) 및 62/988,797(출원일: 2020년03월12일)의 우선권의 이익을 주장한다. 이들 출원 각각은 그 전체가 본 명세서에서 모든 목적으로 참조로 포함된다.
지도형 위축(GA: geographic atrophy)은 진행성 연령 관련 황반 변성(AMD)의 한 유형이며 광수용체 및 지지 세포 변성 및 진행성 시력 상실을 초래한다. 이 상태는 전 세계 수백만 명의 사람들에게 영향을 미친다. 선진국에서는 75세 이상 인구 29명 중 약 1명이 지도형 위축을 가지고 있다. 지도형 위축은 망막 색소 상피(RPE), 인접한 광수용체 및 맥락막모세혈관층의 진행성 구조적 손실을 특징으로 한다. 지도형 위축 진행은 큰 환자간 변동성을 보인다. 현재, 지도형 위축의 진행을 막거나 늦추는 승인된 치료법이 존재하지 않는다.
지도형 위축 병변은 다양한 이미징 방식에 의해 이미징될 수 있다. 전통적으로, 2차원 FAF(Fundus Auto-Fluorescent) 이미지가 사용되어 지도형 위축 병변 면적을 정량화할 수 있다. 일정 기간 동안 FAF 유래 병변 면적의 변화(지도형 위축 성장률)는 피험자의 지도형 위축이 진행 중인지 여부 및/또는 정도를 나타내는 해부학적 결과 파라미터로서 수용된다. 그러나 FAF 이미지의 2차원적 속성은 병변 면적에 대한 정제된 구조적 정보를 제공하는 능력을 제한할 수 있다. 따라서, FAF 이미지에 의해 생성된 GA 병변 면적의 정량화에 추가로 GA 발병 및 진행에 대한 이해를 향상시킬 수 있는 병변 면적의 개선된 평가가 필요하다.
일부 실시예에서, 방법이 제공된다. 피험자의 눈의 적어도 부분적인 묘사에 대응하는 3차원 데이터 객체가 액세스된다. 3차원 데이터 객체는 피험자의 눈의 볼륨의 3차원 묘사를 포함할 수 있다. 3차원 데이터 객체는 콘볼루션 신경망(가령, 인셉션 신경망(Inception neural network))을 이용해 처리되어 눈의 지도형 위축 병변의 후속 성장 또는 눈의 지도형 위축 병변의 후속 크기의 예측을 생성할 수 있다. 지도형 위축 병변의 후속 성장이 눈에서의 하나 이상의 지도형 위축 병변의 성장을 포함하거나 및/또는 지도형 위축 병변의 후속 크기가 눈에서의 하나 이상의 지도형 위축 병변의 후속 크기를 포함할 수 있다. 콘볼루션 신경망은 하나 이상의 3차원 콘볼루션 모듈, 풀링 레이어(pooling layer) 및/또는 하나 이상의 선택적 유닛(가령, 어텐션 유닛(attention unit))을 포함할 수 있다. 예측이 출력된다.
일부 실시예에서, 콘볼루션 신경망은 현재 지도형 위축 병변 크기 및 후속 지도형 위축 상태를 동시에 예측하도록 훈련될 수 있다. 후속 지도형 위축 상태는 후속 지도형 위축 병변 성장 또는 후속 지도형 위축 병변 크기를 포함할 수 있다.
일부 실시예에서, 콘볼루션 신경망을 사용하는 3차원 데이터 객체의 처리는 눈에서의 지도형 위축 병변의 현재 크기의 또 다른 예측을 추가로 초래할 수 있다.
일부 실시예에서, 방법은 3차원 데이터 객체를 생성하는 단계를 포함할 수 있다. 예를 들어, 2차원 이미지 세트의 각각의 이미지가 분할되어 브루크막(Bruch's membrane) 및/또는 속경계막(inner limiting membrane)의 예측된 위치에 의해 경계지워지는 세그먼트를 식별할 수 있다. 3차원 데이터 객체를 생성하는 것은 또한 피험자의 눈의 2차원 B-스캔 OCT 이미지 세트를 액세스하는 것을 포함할 수 있다. 2차원 B-스캔 OCT 이미지 세트로부터 피처 맵의 세트가 생성될 수 있다. 3차원 데이터 객체는 피처 맵의 세트를 포함하도록 생성될 수 있다.
일부 실시예에서, 3차원 데이터 객체를 생성하는 것은 또한 피험자의 눈의 2차원 B-스캔 OCT 이미지의 세트를 액세스하는 것을 포함한다. 2차원 B-스캔 OCT 이미지의 세트의 각각의 이미지에 대해, 눈의 특정 구조(가령, 브루크막 또는 속경계막)를 묘사하는 픽셀의 세트가 식별될 수 있다. B-스캔 OCT 이미지의 세트의 각각의 이미지가 픽셀의 세트에 기초하여 플래튼(flatten)될 수 있다. 3차원 데이터 객체는 각각의 플래튼된 B-스캔 OCT 이미지의 적어도 일부분을 포함하도록 생성될 수 있다.
일부 실시예에서, 상기 방법은 훈련 데이터 세트를 이용해 또 다른 콘볼루션 신경망을 훈련하여 학습된 파라미터 값의 제1 세트를 생성하는 단계를 포함할 수 있다. 학습 전달이 사용되어, 콘볼루션 신경망에 대한 파라미터 값의 세트를 학습된 파라미터 값의 제1 세트로 설정하고 또 다른 훈련 데이터 세트를 이용해 콘볼루션 신경망을 더 훈련하여, 학습된 파라미터 값의 제2 세트를 생성함으로써, 콘볼루션 신경망을 훈련할 수 있다. 콘볼루션 신경망은 3차원 데이터 객체를 처리할 때 학습된 파라미터 값의 제2 세트로 구성될 수 있다.
일부 실시예에서, 방법은 예측에 기초하여 임상 연구의 양태를 결정하는 것을 더 포함할 수 있다. 예를 들어, 3차원 데이터 객체를 포함하거나 이를 식별하는 입력 데이터가 사용자에 의해 입력될 수 있다. 예측이 수신될 수 있고 상기 예측에 기초하여 피험자가 특정 임상 연구에 참여할 자격이 있는지 결정할 수 있다. 또 다른 예를 들어, 예측을 수신한 후, 피험자가 포함되거나 포함될 특정 임상 연구에 대한 층화(stratification)가 결정될 수 있다. 예를 들어, 층화는 어떠한 치료도 투여되지 않은 경우 그룹이 유사한 디폴트 예측된 지도형 위축 평가를 갖도록 개인 피험자를 다양한 치료 및/또는 대조 그룹에 배정하는 것 및/또는 다양한 그룹 간 비교를 하기 전에 결과를 구문 분석하거나 정규화하는 것일 수 있다. 층화에 기초하여 임상 연구가 생성될 수 있다. 임상 연구 결과가 출력될 수 있다. 또 다른 예에서, 예측 수신 후, 피험자가 포함되거나 포함될 특정 임상 연구에 대한 조정이 결정될 수 있다. 조정은 치료 변경, 가령, 약물의 변경, 복용량의 변경, 및/또는 치료들 간 간격의 변경을 포함할 수 있다. 조정된 임상 연구의 구현이 촉진될 수 있다.
일부 실시예에서, 방법이 제공된다. 상기 방법은, 사용자 장치에서, 피험자의 눈의 적어도 부분적인 묘사에 대응하는 3차원 데이터 객체를 포함하거나 식별하는 입력 데이터를 검출하는 단계를 포함한다. 피험자의 눈의 예측된 후속 지도형 위축 특성을 생성할 요청에 대응하는 요청 통신이 원격 컴퓨팅 시스템으로 전송된다. 요청 통신은 입력 데이터를 포함한다. 요청 통신 수신에 응답하여, 원격 컴퓨팅 시스템은 콘볼루션 신경망을 이용해 3차원 데이터 객체를 처리하여 눈에서의 지도형 위축 병변의 후속 성장 또는 눈에서의 지도형 위축 병변의 후속 크기의 예측을 생성할 수 있다. 예측은 사용자 장치로 전송되며, 상기 사용자 장치는 예측을 원격 컴퓨팅 시스템으로부터 수신한다.
일부 실시예에서, 방법은 피험자의 눈의 이미지의 세트를 수집하는 단계를 더 포함할 수 있다. 3차원 데이터 객체는 이미지의 세트를 사용하여 생성될 수 있다.
본 개시내용의 일부 실시예는 피험자의 치료에서 지도형 위축 예측의 사용을 포함한다. 지도형 위축 예측은 컴퓨팅 장치가 피험자 데이터에 기초한 계산 모델을 구현하여 지도형 위축 예측을 제공함으로써 제공된다. 계산 모델은 피험자의 눈의 적어도 부분적 묘사에 대응하는 3차원 데이터 객체를 처리하도록 구성된 콘볼루션 신경망을 포함한다.
일부 실시예에서, 방법이 제공된다. 상기 방법은 적어도 세 개의 데이터 채널을 포함하는 데이터 객체를 액세스하는 단계를 포함한다. 적어도 세 개의 데이터 채널 각각은 피험자의 눈의 적어도 부분적 묘사에 대응하는 2차원 이미지를 포함한다. 상기 방법은 콘볼루션 신경망을 이용해 데이터 객체를 처리하여 눈에서의 지도형 위축 병변의 후속 성장 또는 눈에서의 지도형 위축 병변의 후속 크기의 예측을 생성하는 단계, 및 예측을 출력하는 단계를 더 포함한다. 콘볼루션 신경망은 하나 이상의 2차원 콘볼루션 모듈, 풀링 레이어 및/또는 하나 이상의 선택적 유닛을 포함할 수 있다. 지도형 위축 병변의 후속 성장이 눈에서의 하나 이상의 지도형 위축 병변의 성장을 포함하거나 및/또는 지도형 위축 병변의 후속 크기가 눈에서의 하나 이상의 지도형 위축 병변의 후속 크기를 포함할 수 있다.
일부 실시예에서, 데이터 객체는 눈의 다수의 상이한 정면 OCT 기반 맵을 포함할 수 있다. 예를 들어, 데이터 객체는 눈의 적어도 두 개의 정면 OCT 기반 스캔 및 눈의 적어도 하나의 B-스캔을 포함할 수 있다. 또 다른 예로서, 데이터 객체는 눈의 적어도 하나의 OCT 기반 정면 스캔 및 OCT가 아닌 다른 유형의 이미징 방식(가령, FAF)을 이용해 획득된 적어도 하나의 이미지를 포함할 수 있다.
일부 실시예에서, 콘볼루션 신경망은 현재 지도형 위축 병변 크기 및 후속 지도형 위축 상태를 동시에 예측하도록 훈련될 수 있다. 후속 지도형 위축 상태는 후속 지도형 위축 병변 성장 또는 후속 지도형 위축 병변 크기를 포함할 수 있다.
일부 실시예에서, 콘볼루션 신경망을 사용한 데이터 객체의 처리는 눈에서의 지도형 위축 병변의 현재 크기의 또 다른 예측을 더 생성할 수 있다.
일부 실시예에서, 방법은 예측에 기초하여 임상 연구의 양태를 결정하는 것을 더 포함할 수 있다. 예를 들어, 3차원 데이터 객체를 포함하거나 이를 식별하는 입력 데이터가 사용자에 의해 입력될 수 있다. 예측이 수신될 수 있고 상기 예측에 기초하여 피험자가 특정 임상 연구에 참여할 자격이 있는지 결정할 수 있다. 또 다른 예를 들어, 예측을 수신한 후, 피험자가 포함되거나 포함될 특정 임상 연구에 대한 층화(stratification)가 결정될 수 있다. 예를 들어, 층화는 어떠한 치료도 투여되지 않은 경우 그룹이 유사한 디폴트 예측된 지도형 위축 평가를 갖도록 개인 피험자를 다양한 치료 및/또는 대조 그룹에 배정하는 것 및/또는 다양한 그룹 간 비교를 하기 전에 결과를 구문 분석하거나 정규화하는 것일 수 있다. 층화에 기초하여 임상 연구가 생성될 수 있다. 임상 연구 결과가 출력될 수 있다.
일부 실시예에서, 방법이 제공된다. 상기 방법은, 사용자 장치에서, 피험자의 눈의 적어도 부분적인 묘사에 대응하는 데이터 객체를 포함하거나 식별하는 입력 데이터를 검출하는 단계를 포함한다. 피험자의 눈의 예측된 후속 지도형 위축 특성을 생성할 요청에 대응하는 요청 통신이 원격 컴퓨팅 시스템으로 전송된다. 요청 통신은 입력 데이터를 포함한다. 요청 통신 수신에 응답하여, 원격 컴퓨팅 시스템은 콘볼루션 신경망을 이용해 데이터 객체를 처리하여 눈에서의 지도형 위축 병변의 후속 성장 또는 눈에서의 지도형 위축 병변의 후속 크기의 예측을 생성할 수 있다. 예측은 사용자 장치로 전송되며, 상기 사용자 장치는 예측을 원격 컴퓨팅 시스템으로부터 수신한다.
일부 실시예에서, 방법은 피험자의 눈의 이미지의 세트를 수집하는 단계를 더 포함할 수 있다. 데이터 객체는 이미지의 세트를 사용하여 생성될 수 있다.
본 개시내용의 일부 실시예는 피험자의 치료에서 지도형 위축 예측의 사용을 포함한다. 지도형 위축 예측은 컴퓨팅 장치가 피험자 데이터에 기초한 계산 모델을 구현하여 지도형 위축 예측을 제공함으로써 제공된다. 계산 모델은 피험자의 눈의 적어도 부분적 묘사에 대응하는 데이터 객체를 처리하도록 구성된 콘볼루션 신경망을 포함한다.
본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 더 포함할 수 있다.
일부 실시예에서, 비일시적 기계 판독형 저장 매체에 유형으로 구현되는 컴퓨터 프로그램 프로덕트가 제공된다. 컴퓨터 프로그램 프로덕트는 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함할 수 있다.
본 개시내용은 첨부된 도면과 함께 설명된다:
도 1a는 OCT 볼륨의 중심 B-스캔을 도시한다.
도 1b는 병변 면적 등급을 정량화하기 위해 사용되는 예시적인 FAF 이미지를 도시한다.
도 1c는 예시적인 식별된 병변 영역을 도시한다.
도 2는 일부 실시예에 따른 지도형 위축 병변 크기 및 성장률의 예측을 생성하기 위한 예시적인 컴퓨팅 네트워크를 도시한다.
도 3은 일부 실시예에 따른 3차원 데이터 객체에 대한 지도형 위축 병변 크기 및 성장을 예측하기 위해 3차원 콘볼루션 신경망을 사용하는 예시적인 프로세스를 도시한다.
도 4는 일부 실시예에 따른 데이터 객체에 대한 지도형 위축 병변 크기 및 성장을 예측하기 위해 2차원 콘볼루션 신경망을 사용하는 예시적인 프로세스를 도시한다.
도 5는 일부 실시예에 따른 멀티태스크 3차원 인셉션 콘볼루션 모듈을 갖는 예측 프레임워크의 개요를 예시한다.
도 6은 일부 실시예에 따른 3차원 인셉션 콘볼루션 모듈에 대한 아키텍처를 예시한다.
도 7은 일부 실시예에 따른 멀티태스크 2차원 콘볼루션 모듈을 갖는 예측 프레임워크의 개요를 예시한다.
도 8A-8D는 멀티태스크 SE 모델을 사용하는 모든 홀드-아웃 케이스의 성능 세부사항을 예시한다. (A) 실제 성장률에 대한 예측된 지도형 위축 성장률의 회귀 플롯을 보여주고, (B) 실제 지도형 위축 병변 면적에 대한 예측된 지도형 위축 병변 면적의 회귀 플롯을 보여주며, (C) 지도형 위축 성장률 예측에서 이상값의 OCT 정면 이미지 및 중앙 B-스캔을 보여주고, (D) 지도형 위축 병변 영역 및 지도형 위축 성장률 예측의 이상값의 OCT 정면 이미지 및 중앙 B-스캔을 보여준다.
첨부된 도면에서, 유사한 구성요소 및/또는 특징부는 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 유형의 다양한 구성요소가 참조 라벨 뒤에 대시와 유사한 구성 요소를 구별하는 두 번째 라벨을 사용하여 구별할 수 있다. 명세서에서 첫 번째 참조 라벨만 사용되는 경우, 설명은 두 번째 참조 라벨과 상관없이 동일한 첫 번째 참조 라벨을 갖는 유사한 구성 요소 중 하나에 적용 가능하다.
I. 개요
본 개시내용은 현재 지도형 위축(GA) 병변 면적 및 지도형 위축 병변 성장률의 (예를 들어, 동시) 예측을 가능하게 하는 멀티태스크 딥 러닝 아키텍처를 설명한다. GA 진행은 병변 면적과 성장률 측면에서 각 개인마다 고유하다. 현재, GA의 진행을 막거나 늦추는 승인된 치료법이 없다.
정확하고 개인화된 지도형 위축 진행 예측은 중요한 연구 및 임상 질문을 처리하는 데 유용할 수 있다. 예를 들어, 지도형 위축 진행 예측은 지도형 위축 진행을 늦추는 것이 종점인 임상 연구에서 피험자 층화를 제공하여 임상 피험자의 표적 등록 및 치료 효과의 개선된 평가를 가능하게 하는 데 사용될 수 있다. 또한 개인화된 GA 예후가 사용되어 질병을 보다 효율적으로 관리하고 유전형 또는 표현형 서명과 상관시킴으로써 질병 발병기전을 이해할 수 있다.
전통적으로 사용되는 안저 자가형광(FAF: Fundus Auto-Fluorescent) 이미지는 GA 병변 면적에 대한 2차원 구조 데이터를 제공한다. 광 간섭 토모그래피(OCT: optical coherence tomography) 이미지는 병변 면적 외에 구조적 정보를 제공할 수 있다. 고해상도 3차원(3D) OCT 이미지가 제공하는 추가 구조적 정보는 FAF 이미지만으로는 불가능했던 지도형 위축 발병 및 진행에 대한 통찰력을 제공할 수 있다. 예를 들어, OCT 이미지 상에서 검출된 망상 유사 드루젠(Reticular Pseudo-Drusen), 초반사 초점(Hyper-reflective foci), 다층 두께 감소(multi-layer thickness reduction), 광수용체 위축(photoreceptor atrophy), 쐐기 형상 망막하 반사저하(wedge-shaped subretinal hyporeflectivity)는 지도형 위축 전환과 관련된 잠재적 전구체 또는 바이오마커일 수 있다. 그러나 OCT 이미지는 3D 특성으로 인해 처리하기가 어렵다. 현재의 OCT로부터 도출되는 예측은 3D 이미지 볼륨 처리의 복잡성 때문에 전체 OCT 이미지가 아니라 OCT 볼륨에서 추출된 피처(feature)에 의존한다. 간단히 말해서, 현재의 OCT 예측에는 추가 피처 추출, 피처 엔지니어링 또는 이미지 처리 단계 또는 기준 OCT 이미지의 그 밖의 다른 추상화가 수반된다.
본 실시예는 추가 단계 없이 기준 OCT 볼륨으로부터 직접 GA 예측을 수행하는 방법을 제공한다. 특히, 본 실시예는 기준, 3D OCT 이미지를 직접 사용하여 GA 병변 크기 검출 및 성장률 예측을 위한 멀티태스크 3D 신경망을 포함한다. 일부 실시예에서, 신경망의 딥 러닝 아키텍처는 콘볼루션 신경망(CNN: convolutional neural network)을 포함할 수 있다. 딥 러닝 아키텍처는 기준 시간에 캡처된 데이터를 나타내는 3차원 OCT 이미지 데이터 및/또는 3-채널 이미지 데이터를 (입력으로서) 수신하도록 구성할 수 있다. 일부 경우에, 딥 러닝 아키텍처는 후속 시간에 수집된 입력을 수신하지 않음에도 불구하고 기준 시간 이후의 시간에 대응하는 예측을 생성하도록 구성된다. 또한, 딥 러닝 아키텍처에서 네트워크가 종단 간 훈련될 수 있다. 이 딥 러닝 기술은 최첨단 기준 모델에 비해 지도형 위축 통계치의 정확도를 향상시킬 수 있다.
피험자에 대해 수집된 하나 이상의 OCT 이미지가 전처리될 수 있다. 전처리는 (예를 들어) 눈의 곡률을 보상하기 위해 하나 이상의 이미지를 플래튼(flatten)하도록 수행될 수 있다. 예를 들어, 이미지는 구조체, 가령, 속경계막(ILM: inner limiting membrane)에 대해 플래튼될 수 있다. 전처리는 (예를 들어, 3차원 이미지를 생성하기 위해) 다수의 (예를 들어, 플래튼된) 이미지를 정렬 및/또는 결합하는 것을 포함할 수 있다. 예를 들어, 전처리는 A-스캔의 세트(예를 들어, 다수의 종방향 스캔을 묘사함)를 B-스캔으로 변환하는 것(가령, B-스캔을 특정 생물학적 구조에 따라 플래튼하기 위함)을 포함할 수 있다. 일부 예에서, 플래튼된 이미지가 결합되어 3차원 이미지를 생성할 수 있다(또는 평탄화는 2차원 이미지를 결합하여 3차원 이미지를 형성한 후에 수행될 수 있음). 전처리는 하나 이상의 이미지를 지정 크기로 및/또는 지정 양만큼 크롭(crop) 및/또는 크기 조정(resize)하는 것을 더 포함할 수 있다.
전처리는 데이터의 복수의 채널의 각각의 채널을 개별적으로 생성하는 것을 포함할 수 있다. 복수의 채널은 둘 이상의 채널 또는 셋 이상의 채널을 포함할 수 있다. 채널들 중 적어도 하나, 적어도 두 개 또는 적어도 세 개는 특정 유형의 스캔(예를 들어, 정면 C-스캔 또는 B-스캔)과 연관된 OCT 채널에 대응할 수 있다. 일부 예에서, 적어도 세 개의 채널 중 적어도 두 개는 상이한 유형의 스캔 및/또는 상이한 이미징 방식에 대응할 수 있다. 예를 들어, 적어도 하나의 채널은 OCT를 사용하여 수집된 이미지를 포함할 수 있고, 적어도 또 다른 채널은 안저 사진, 적외선 이미징 또는 마지막 검안경 검사(SLO)를 사용하여 수집된 이미지를 포함할 수 있다.
전처리된 이미지는 (예를 들어) 딥 신경망, 2차원 신경망, 3차원 신경망 및/또는 콘볼루션 신경망을 포함하는 신경망에 의해 처리될 수 있다. 신경망은 하나 이상의 콘볼루션 레이어를 포함할 수 있다(가령, 여기서, 둘 이상의 콘볼루션 레이어 각각 또는 모든 콘볼루션 레이어 각각이 타 콘볼루션 레이어의 것과 상이한 크기의 콘볼루션 필터를 가진다). 신경망은 활성 레이어, 정규화 레이어 및/또는 풀링 레이어를 포함할 수 있다.
신경망(들)은 하나 이상의 지도형 위축 병변 통계치, 가령, 지도형 위축 병변의 현재 부피, 지도형 위축 병변의 미래 부피, 및/도는 미래 성장률을 예측하도록 훈련되었고 구성될 수 있다. 신경망은 지도형 위축 병변의 성장률 및 지도형 위축 병변의 크기를 동시에 예측하도록 훈련되고 구성된 멀티태스크 모델일 수 있다. 멀티태스크 모델은 멀티태스크 모델이 아닌 모델보다 성장률 예측 작업에 과적합될 가능성이 더 적을 수 있다.
도 1a는 딥 러닝 워크플로에서 수집 및 처리될 수 있는 예시적인 B-스캔 OCT 이미지를 도시한다. 도 1b는 예시적인 안저 자가형광(FAF) 이미지를 도시한다. 도 1c는 도 1b의 FAF 이미지에 대한 병변 등급화를 도시한다. FAF 이미지는 지도형 위축 병변 영역(105)을 포함한다.
지도형 위축 병변의 예측된 성장률 또는 부피는 피험자 및/또는 눈의 식별과 함께 출력(예를 들어, 제시 또는 전송)될 수 있다. 예측된 성장률 또는 부피는 치료 및/또는 임상 연구 등록(가령, 피험자 층화)에 대한 자동화된 또는 사람의 추천을 알려줄 수 있다. 예를 들어, 예측된 성장률 또는 예측된 부피는 피험자가 특정 임상 연구에 적격한지 여부를 (예를 들어, 인간 또는 컴퓨팅 장치에 의해) 결정하는 데 사용될 수 있다. 결정은 적격성 요건이 예측된 성장률 또는 예측된 부피가 지정 하한 임계값을 초과 및/또는 지정 상한 임계값 미만이라는 것을 나타내는 규칙을 평가함으로써 이루어질 수 있다. 또 다른 예를 들어, 예측된 성장률 또는 예측된 부피는 임상-연구 층화를 위해 사용될 수 있다(가령, 어떠한 치료도 투여되지 않은 경우 그룹이 유사한 디폴트 예측된 지도형 위축 평가를 갖도록 개인 피험자를 다양한 치료 및/또는 대조 그룹에 배정하기 위해 및/또는 다양한 그룹 간 비교를 하기 전에 결과를 구문 분석하거나 정규화하기 위해).
II. 정의
본 명세서에 사용될 때, 용어 "멀티태스크 모델"은 복수의 통계적 변수(가령, 현재 지도형 위축 병변 크기 및 미래의 지도형 위축 병변 성장률)을 동시에 예측하도록 훈련된 하나 이상의 신경망을 포함하는 모델을 지칭한다. 멀티태스크 모델은 하나 이상의 신경망을 포함할 수 있다. 멀티태스크 모델은 두 세트의 정보를 동시에 적합하도록 훈련되었기 때문에 과적합을 피하거나 과적합의 가능성을 줄일 수 있다.
본 명세서에서 "A-스캔"이라는 용어는 눈의 입사광 방향에 따른 심도 프로파일의 1차원 이미지를 지칭한다. 근적외선 광은 선형 방향으로 유도되어 복수의 A-스캔 위치에서 데이터를 생성할 수 있다.
본 명세서에서 사용될 때, "B-스캔"이라는 용어는 눈의 횡단면도를 지칭한다. 일부 경우에서, 특정 유형의 측정에 대한 응답으로 B-스캔이 생성된다. 예를 들어, 근적외선 광은 눈으로 전달될 수 있고, 저간섭성 간섭계 신호가 2차원 B-스캔 이미지를 생성할 수 있다. 일부 경우에서, B-스캔이 A-스캔의 어레이로 구성된 프레임이다. B-스캔은 프로브의 배향에 따라 횡방향, 종방향 또는 축 방향을 가질 수 있다.
본 명세서에서 사용될 때, "정면 C-스캔"이라는 용어는 특정 심도에서 눈의 층들의 횡방향 이미지를 지칭한다. 예를 들어, 정면 C-스캔은 눈의 망막 또는 맥락막 층의 횡방향 이미지일 수 있다. C-스캔은 일정한 심도에서 측방으로 빠르게 축방으로 느리게 스캔함으로써 획득될 수 있다. 일부 경우, 정면 C-스캔이 B-스캔의 세트로부터 생성된다.
본 명세서에서 사용될 때, 용어 "성장률"은 시간 경과에 따른 지도형 위축 병변의 크기 변화를 지칭한다. 크기의 변화는 절대적인 변화일 수도 있고 상대적인 변화일 수도 있다. 예를 들어, 성장률은 눈의 지도형 위축의 부피 또는 면적의 변화일 수 있다. 2차원(가령, 면적)에서, 성장률은 단위 시간당 단위 면적(가령, ㎟/년) 또는 비 또는 백분율(가령, 기준 시점에서의 면적에 대한 나중 시점의 면적)로서 측정될 수 있다. 3차원(가령, 부피)에서, 성장률은 단위 시간당 단위 부피(가령, ㎣/년) 또는 백분율 또는 비(가령, 기준 시점에서의 부피에 대한 나중 시점의 부피)로서 측정될 수 있다.
본 명세서에서 사용될 때 용어 "지도형 위축 크기"는 눈에 있는 하나 이상의 지도형 위축 병변의 측정가능한 치수를 지칭한다. 예를 들어, 2차원에서, 지도형 위축 크기는 지도형 위축 병변의 면적(가령, ㎟로 측정됨)일 수 있다.
본 명세서에서 사용될 때, 용어 "현재"는 기준 시간을 지칭한다. 예를 들어, 현재 지도형 위축 병변의 크기는 눈의 이미지 데이터가 생성된 시점의 지도형 위축 병변 크기일 수 있다.
본 명세서에 사용될 때, 용어 "진행"은 기준 시간으로부터 미래 시간까지의 측정가능한 차이를 지칭한다. 예를 들어, 지도형 위축 진행은 기준 시간에서 미래 시간까지 지도형 위축의 성장일 수 있다. 일부 경우, 지도형 위축 진행이 성장률로부터 결정될 수 있다.
III. 컴퓨팅 네트워크의 예
도 2는 일부 실시예에 따른 지도형 위축 병변 성장률의 예측을 생성하기 위한 예시적인 개인화된 GA 예측 네트워크(200)를 도시한다. GA 진행 제어기(205)는 지도형 위축 상태에 관한 예측을 생성하기 위해 머신 러닝 모델을 훈련하고 실행하도록 구성될 수 있다. 더 구체적으로, GA 진행 제어기(205)는 눈의 하나 이상의 이미지를 수신하고 지도형 위축 병변의 예측된 성장률 또는 부피를 출력하도록 구성될 수 있다.
예측은 하나 이상의 머신 러닝 모델, 가령, 하나 이상의 CNN을 이용해 생성될 수 있다. CNN(들)은 3차원 CNN 및/또는 2차원 CNN을 포함할 수 있다. 일부 경우, 머신 러닝 모델(들)은 3차원 망 및 2차원 신경망으로부터 통합된 결과를 처리하는 앙상블 머신 러닝 모델을 포함할 수 있다.
GA 진행 제어기(205)는 입력 데이터 객체들의 세트를 포함하는 입력 데이터를 수신 및/또는 검색하는 OCT 입력 제어기(220)를 포함할 수 있다. 입력 데이터 객체는 머신 러닝 모델을 훈련하기 위해 훈련 데이터 세트에 사용될 데이터 객체 및/또는 훈련된 머신 러닝 모델에 의해 처리될 데이터 객체를 포함할 수 있다.
각각의 입력 데이터 객체는 특정 피험자, 특정 눈 및/또는 특정 이미징 날짜에 대응할 수 있다. 입력 데이터 객체는 (예를 들어) 눈의 적어도 일부의 이미지를 포함할 수 있다. 입력 데이터 객체는 본 명세서에 개시된 이미징 기술, 가령, OCT 및/또는 안저 촬영을 이용해 생성된 이미지를 포함할 수 있다. 예를 들어, 입력 데이터 객체는 A-스캔 이미지의 세트(가령, 각각이 특정 눈의 상이한 종방향 스캔을 묘사함), B-스캔 이미지의 세트(가령, 각각이 플래튼된 이미지를 묘사함), 또는 C-스캔 이미지의 세트(가령, 각각 특정 심도에 대응)를 포함할 수 있다.
입력 데이터 객체는 OCT 장치 및/또는 안저 카메라를 포함할 수 있는 하나 이상의 이미징 시스템(225)으로부터 수신 및/또는 검색될 수 있다. 일부 경우, 이미징 시스템(225)은 GA 진행 제어기(205)에 의해 부분적으로 또는 완전히 액세스될 수 있는 이미지 데이터 저장소(230)에 하나 이상의 이미지를 전송한다.
입력 데이터 객체는 전처리 제어기(235)에 의해 전처리될 수 있다. 전처리는 정규화 및/또는 표준화를 수행하는 것을 포함할 수 있다. 예를 들어, 전처리는 데이터 세트의 B-스캔 또는 복수의 데이터 객체의 강도를 통합하기 위한 데이터 객체(가령, B-스캔의 세트) 내의 스캔 또는 채널에 걸친 히스토그램 매칭을 포함할 수 있다. 전처리 제어기(235)는 B-스캔의 평균 강도 레벨에 기초하여 B-스캔 세트 내에서 기준 B-스캔이 될 B-스캔을 선택할 수 있다. 전처리 제어기(235)는 강도를 정규화하기 위해 B-스캔의 세트의 나머지 B-스캔에 대해 히스토그램 매칭을 수행할 수 있다.
전처리 제어기(235)는 또한 전처리 동안 각각의 B-스캔에 대해 분할(가령, BM 분할 또는 ILM 분할)을 수행할 수 있다. 분할 후, 각각의 B-스캔은 특정 생물학적 구조(가령, 브루크막(BM) 경계 또는 속경계막(ILM) 경계)의 묘사에 따라 플래튼될 수 있다. 분할은 볼륨 절단(가령, 신경망 한계를 줄이기 위해 상한 및 하한 배경 부분을 제거)을 용이하게 하고 정면 맵을 생성할 수 있다. 플래튼 후에, 전처리 제어기(235)는 경계 주위의 픽셀 영역으로 각각의 B-스캔을 크롭할 수 있다. 예를 들어, 플래튼 B-스캔은 ILM 위 5 픽셀과 ILM 아래 250 픽셀인 영역, 또는 BM 위 120 픽셀과 BM 아래 135 픽셀인 영역으로 크롭될 수 있다. 크롭된 영역은 (예를 들어) 리샘플링, 보간 및/또는 이중선형 보간을 사용하여 지정 크기(가령, 512 픽셀 × 512 픽셀)로 크기 조정될 수 있다.
개인화된 GA 예측 네트워크(200)는 트레이닝 데이터 세트에서 각각의 입력 데이터 객체와 연관된 하나 이상의 라벨을 검색할 수 있는 병변 라벨 검출기(240)를 포함할 수 있다. 라벨은 주석자, 의료 전문가 및/또는 검증된 데이터베이스에서 제공한 정보에 기초하여 처음에 식별되었을 수 있다. 라벨은 후속 시간에서의 지도형 위축 병변의 크기, 후속 시간에서의 지도형 위축 병변의 누적 크기, 기준 시간과 후속 시간의 차이, 지도형 위축 병변의 크기의 진행 및/또는 지도형 위치 병변의 누적 크기의 진행을 포함할 수 있다.
모델 훈련 제어기(245)는 하나 이상의 훈련 데이터 세트를 사용하여 하나 이상의 머신 러닝 모델을 훈련하기 위한 코드를 실행할 수 있다. 머신 러닝 모델(들)은 하나 이상의 전처리 기능, 하나 이상의 신경망 및/또는 하나 이상의 후처리 기능을 포함할 수 있다. 모델에서 각각의 기능, 알고리즘 및/또는 네트워크와 관련하여, 하나 이상의 변수가 훈련 중에 고정될 수 있음이 자명할 것이다. 예를 들어, (가령, 레이어의 수, 입력 레이어의 크기, 학습 속도 등을 식별하는) 신경망의 하이퍼파라미터는 지정될 수 있고 코드의 실행에 걸쳐 조정 불가능할 수 있다. 모델에서 각각의 기능, 알고리즘 및/또는 네트워크와 관련하여, 하나 이상의 변수가 훈련을 통해 학습될 수 있음이 또한 자명할 것이다. 예를 들어, (가령, 다양한 노드간 가중치를 식별하는) 신경망의 파라미터가 학습될 수 있다.
각각의 훈련 데이터 세트는 훈련 데이터 객체의 세트를 포함할 수 있다. 각각의 데이터 객체는 입력 이미지(가령, 눈의 일부를 묘사하는 이미지 또는 이의 플래튼된 버전)를 포함할 수 있다. 입력 이미지는 기준 시간에 수집된 이미지를 포함할 수 있다.
각각의 데이터 객체는 하나 이상의 라벨(가령, 둘 이상의 라벨)과 더 연관될 수 있다. 각각의 라벨은 기준 시간 이후의 시간(가령, 기준 시간으로부터 적어도 2주, 적어도 1개월, 적어도 2개월, 적어도 6개월, 적어도 1년, 적어도 2년, 적어도 5년, 또는 적어도 10년)에서 수집된 정보에 적어도 부분적으로 기초할 수 있다. 일부 예에서, 하나 이상의 라벨 중 한 라벨은 후속 시간에서의 주어진 지도형 위축 병변의 크기, 후속 시간에서의 지도형 위축 병변의 누적 크기, 기준 시간과 후속 시간의 차이, 주어진 지도형 위축 병변의 크기의 진행 및/또는 병변의 누적 크기의 진행을 포함할 수 있다. 따라서 훈련 데이터 세트는 기준 시간의 이미지와 피험자의 지도형 위축이 일정 기간 동안 어떻게 진행되었는지 및/또는 진행 여부를 나타내는 라벨 데이터를 포함할 수 있다.
모델 훈련 제어기(245)는 머신 러닝 모델을 훈련하기 위해 훈련 데이터를 사용할 수 있다. 하나 이상의 전통적인 머신 러닝 모델(가령, 신경망, 비닝 기반 분류기(binned-based classifier), 회귀 알고리즘 등)에 추가하여, 머신 러닝 모델은 하나 이상의 전처리 기능 및/또는 하나 이상의 후처리 기능을 더 포함할 수 있다. 예를 들어, 전처리 기능은 하나 이상의 입력 이미지의 크기, 강도 분포 및/또는 원근을 조정할 수 있고, 및/또는 후처리 기능은 모델 출력을 지정 스케일(또는 범주 리스트), 추천, 층화 식별자 등에 따르는 값으로 전환할 수 있다.
모델 훈련 제어기(245)는 머신 러닝 모델의 다양한 구성요소를 개별적으로 또는 집합적으로 훈련시킬 수 있다. 예를 들어, 훈련 데이터 세트는 (가령, 분할을 수행하는) 하나 이상의 전처리 알고리즘과 신경망을 동시에 훈련하는 데 사용될 수 있다. 다른 예로서, 전처리 알고리즘은 신경망과 별도로 (예를 들어, 훈련 데이터의 동일하거나 상이한 부분을 사용하여) 훈련될 수 있다.
GA 예측 생성기(250)는 비-훈련 데이터를 처리하고 결과를 생성하기 위해 아키텍처 및 학습된 파라미터를 사용할 수 있다. 결과는 (예를 들어, 입력 데이터를 포함하거나 식별하는) 클라이언트 디바이스(210)로부터의 요청 통신에 응답하여 생성될 수 있다. 예를 들어, 요청은 데이터베이스의 식별자, 피험자, 눈 및 액세스 암호를 식별하여 피험자의 눈의 이미지의 세트를 이용할 수 있다. 요청 통신은 피험자의 눈의 예측된 후속 지도형 위축 특성(가령, 크기 또는 성장)을 생성하라는 요청에 대응할 수 있다. 요청이 관련된 피험자는 훈련 데이터에 표현된 각각의 피험자와 상이할 수 있다.
일부 경우에, 요청은 머신 러닝 모델에 입력되도록 구성된 데이터 객체를 포함한다. 일부 경우, 요청은 머신 러닝 모델에 입력되도록 구성될 사전 처리(가령, 해역, 표준화 등)를 거치도록 구성된 데이터 개체를 포함한다. 일부 예에서, 요청은 머신 러닝 모델에 입력되도록 구성된 데이터 객체를 검색하는 데 사용할 수 있는 정보(가령, 하나 이상의 식별자, 검증 코드 및/또는 패스코드)를 포함한다.
일부 예에서, 후처리 기능은 (예를 들어) 모델, 기능 또는 규칙을 사용하여 예측을 처리한다. 예를 들어, 분류기는 예비 결과에 기초하여 피험자-눈 입력 데이터 세트에 심각도-예측 결과를 할당하기 위해 사용될 수 있다. 또 다른 예로서, 예비 결과에 기초하여 치료 변경이 고려 대상인지 여부를 결정하기 위해 규칙이 사용될 수 있다.
따라서 GA 예측 생성기(250)는 입력 데이터 객체를 액세스하고 데이터 객체를 머신 러닝 모델에 공급할 수 있다. 머신 러닝 모델의 결과는 현재 지도형 위축 병변 크기(가령, 데이터 개체가 생성된 시점에서의 크기) 및/또는 후속 지도형 위축 병변 상태(가령, 후속 지도형 위축 병변 성장 또는 크기)를 예측할 수 있다. GA 진행 제어기(205)는 눈에서의 지도형 위축의 후속 성장(가령, 눈에서의 하나 이상의 지도형 위축 병변의 성장) 및/또는 눈에서의 지도형 위축의 후속 크기(가령, 눈에서의 하나 이상의 지도형 위축 병변의 후속 크기)를 특징 짓는 예측을 출력할 수 있다. 예를 들어, 예측은 후속 기간에서 피험자의 눈에서의 지도형 위축의 후속 성장 또는 후속 크기의 확률 또는 우도, 및/또는 지도형 위축 병변의 예측된 상대적 또는 절대적 크기를 포함할 수 있다. GA 진행 제어기(205)는 눈에서의 하나 이상의 지도형 위축 병변의 현재 크기(가령, 면적 또는 부피)의 예측을 추가로 생성할 수 있다.
일부 예에서, GA 예측 생성기(250)는 3차원 콘볼루션 신경망(가령, 모델 훈련 제어기(245)에 의해 훈련됨)을 실행할 수 있다. 3차원 콘볼루션 신경망은 3차원 데이터 객체(예를 들어, 플래튼된 B-스캔의 세트에 대응함)를 수신하고 처리하도록 구성될 수 있다. 3차원 콘볼루션 신경망은 하나 이상의 3차원 콘볼루션 모듈(가령, 인셉션(Inception) 콘볼루션 모듈)을 포함할 수 있다. 각각의 3차원 콘볼루션 모듈은 적어도 두 개의 상이한 크기의 콘볼루션 필터를 사용하는 콘볼루션 레이어의 세트를 포함할 수 있다(가령, 1×1×1 콘볼루션 필터, 제1 3×3×3 콘볼루션 필터 및 제2 3×3×3 콘볼루션 필터를 사용). 대안으로 또는 추가로 하나 이상의 3차원 콘볼루션 네트워크가 하나 이상의 3차원 콘볼루션 레이어를 포함할 수 있다.
일부 예에서, GA 예측 생성기(250)는 2차원 및/또는 다채널 신경망을 실행할 수 있다. 예를 들어, 데이터 객체는 다채널 이미지 데이터를 포함할 수 있다. 이미지 채널의 각각의 채널은 (예를 들어) 하나 이상의 이미징 기술 및/또는 하나 이상의 이미징 관점에 대응하는 2차원 데이터를 포함할 수 있다. 예를 들어, 2차원 이미지 데이터는 B-스캔 및/또는 하나 이상의 C-스캔을 포함할 수 있다. 따라서, 일부 경우에, 다채널 이미지 데이터는 둘 이상의 상이한 유형의 이미지 수집 및/또는 둘 이상의 상이한 유형의 관점에 대응하는 데이터를 포함한다. 다채널 이미지 데이터는 지도형 위축 병변의 성장률 및/또는 후속 크기의 예측을 생성하기 위해 하나 이상의 신경망(들)에 의해 처리될 수 있다.
데이터 채널의 하나 이상의 채널 각각은 피험자의 눈의 적어도 부분적 묘사에 대응하는 2차원 이미지를 포함할 수 있다. 일부 예에서, 3-채널 데이터가 복수의 정면 C-스캔 OCT 이미지를 포함할 수 있다. 또 다른 예로서, 3-채널 데이터는 적어도 두 개의 정면 C-스캔 OCT 이미지 및 적어도 하나의 B-스캔 이미지(가령, 중앙 B-스캔 또는 의사 무작위로 선택된 횡방향 위치에 대응하는 하나 이상의 B-스캔)를 포함할 수 있다. 또 다른 예로서, 3-채널 데이터는 적어도 하나의 정면 C-스캔 OCT 이미지 및 OCT와 상이한 유형의 이미징 양식(가령, 적외선 및/또는 안저 자가형광 이미징 또는 cSLO)을 사용하여 얻은 적어도 하나의 이미지를 포함할 수 있다. 3-채널 데이터는 대안으로 전체 깊이 정면 OCT 이미지, BM 아래 정면 OCT 이미지(가령, BM 아래 100 픽셀 깊이), 및 BM 위 정면 OCT 이미지(가령, BM 위 100픽셀 깊이)를 포함할 수 있다. 본 명세서의 일부 개시가 "3-채널" 데이터, 객체 데이터 등을 언급하지만; 셋보다 많은 채널을 포함하는 데이터가 대안적으로 사용될 수 있음이 고려된다.
GA 예측 생성기(250)에 의해 사용되는 신경망은 학습 전달 신경망(인셉션(Inception) V3)을 포함할 수 있고/있거나 덴스 레이어(dense layer)가 뒤따를 수 있다. 예를 들어, 신경망은 눈에서의 상이한 유형의 병변(가령, 검열반, 결막 병변, 또는 맥락막 흑색종)의 성장률 및/또는 후속 크기를 예측하기 위한 파라미터로 초기화될 수 있다. 그런 다음 신경망은 눈에서의 지도형 위축 병변의 성장률 및/또는 후속 크기를 예측하도록 추가로 훈련될 수 있다.
망은 배치 정규화, 하나 이상의 활성 레이어(가령, ReLU 활성화 사용) 및/또는 하나 이상의 풀링 레이어(가령, 최대 풀링(max pooling) 사용)를 포함할 수 있다. 예를 들어, 배치 정규화, ReLU 활성화 및/또는 풀링 레이어는 하나 이상의 콘볼루션 레이어 각각을 따를 수 있다. 신경망은 (가령, 출력 레이어 및/또는 마지막 콘볼루션 레이어 다음에 오는 레이어에서) 전역 평균 풀링 및/또는 덴스 레이어를 포함할 수 있다. 신경망은 활성화 기능(가령, 선형 활성화를 이용함)를 포함할 수 있다. 신경망은 어텐션 유닛(attention unit), 가령, 표준 SE(Squeeze and Excitation) 어텐션 유닛을 포함할 수 있다. SE 어텐션 유닛은 콘볼루션 레이어에서 피처 맵을 풀링하고 풀링 결과에 하나 이상의 선형 변환을 적용하는 전역 평균 풀링을 포함할 수 있다. 어텐션 유닛은 각각의 피처 맵의 가중치를 적응적으로 조정하는 것을 용이하게 하도록 구성될 수 있다.
일부 예에서, GA 예측 생성기(250)는 앙상블 모델을 사용하여 데이터 객체를 처리할 수 있다. 앙상블 모델은 복수의 신경망, 가령, 하나 이상의 3차원 콘볼루션 신경망 및 하나 이상의 2차원 콘볼루션 신경망을 포함할 수 있다. 앙상블 모델은 데이터 객체를 처리하고 각각의 신경망의 결과를 통합할 수 있다. 예를 들어, 앙상블 모델은 각각의 신경망으로부터 지도형 위축 병변의 예측된 후속 크기 및/또는 지도형 위축 병변의 예측된 성장률을 평균화할 수 있다. 앙상블 모델은 피험자의 눈에서 지도형 위축의 예측된 후속 크기 및/또는 후속 성장의 평균을 출력할 수 있다.
GA 분석 제어기(255)는 예측을 처리하고 결과(들)(또는 이의 처리된 버전)를 (가령, 검사실 기술자 또는 간병인과 관련된) 클라이언트 장치(210) 또는 다른 시스템으로 통신할 수 있다. 예를 들어, GA 분석 제어기(255)는 피험자의 눈에서 지도형 위축의 후속 크기 또는 지도형 위축의 후속 성장을 식별하는 예측의 출력을 생성할 수 있다. 일부 경우에, GA 분석 제어기(255)는 결과를 추가로 후처리할 수 있다. 예를 들어, GA 분석 제어기(255)는 하나 이상의 규칙 중 임의의 것의 조건이 만족되는지 여부를 결정하기 위해 하나 이상의 규칙을 평가할 수 있다. 예를 들어, 예측된 병변 크기 및/또는 예측된 진행이 치료의 변경을 추천하기에 충분히 클 때 규칙이 충족되도록 구성될 수 있다. 또 다른 예로서, 예측된 병변 크기 및/또는 예측된 진행이 지정 개방 또는 폐쇄 범위 내에 있을 때 특정 유형의 치료 접근법을 추천하도록 규칙이 충족되도록 구성될 수 있다. 또 다른 예로서, 규칙은 예측된 병변 크기 및/또는 예측된 진행에 기초하여 피험자가 임상 시험에 적격한지 여부를 나타내도록 구성될 수 있다.
그런 다음 출력이 제시 및/또는 전송될 수 있으며, 이는 예를 들어 컴퓨팅 장치(가령, 클라이언트 장치(210))의 디스플레이 상에서의 출력 데이터의 디스플레이를 용이하게 할 수 있다.
IV. 지도형 위축 병변 면적 및 성장률 예측을 위한 기법
도 3은 일부 실시예에 따른 3차원 데이터 객체에 대한 지도형 위축 병변 크기 및 성장을 예측하기 위해 콘볼루션 신경망을 사용하는 예시적인 프로세스를 도시한다. 블록(305)에서, 피험자의 눈의 적어도 부분적인 묘사에 대응하는 3차원 데이터 객체가 생성된다. 3차원 데이터 객체는 2차원 이미지 세트(가령, B-스캔)의 각각의 이미지를 분할하여 이미지 내의 (가령, 브루크막 및/또는 속경계막에 대응하는) 세그먼트를 식별함으로써 생성될 수 있다. 대안으로 3차원 데이터 객체는 피험자의 눈의 2차원 B-스캔 OCT 이미지를 액세스하고, 2차원 B-스캔 OCT 이미지를 사용하여 피처 맵을 생성하며, 3차원 데이터 객체를 생성하여 피처 맵의 세트를 포함함으로써, 생성될 수 있다. 또 다른 예로서, 3차원 데이터 객체는 피험자의 눈의 2차원 B-스캔 OCT 이미지의 세트를 액세스함으로써 생성될 수 있다. 눈의 특정 구조를 묘사하는 픽셀의 세트가 2차원 B-스캔 OCT 이미지의 세트의 각각의 이미지에 대해 식별될 수 있다. 예를 들어, 브루크막 및/또는 속경계막을 묘사하는 픽셀의 세트가 식별될 수 있다. 각각의 2차원 B-스캔 OCT 이미지는 픽셀의 세트에 기초하여 플래튼될 수 있다. 그런 다음, 3차원 데이터 객체는 각각의 플래튼된 B-스캔 OCT 이미지의 적어도 일부분을 포함하도록 생성될 수 있다.
블록(310)에서, 3차원 데이터 객체가 액세스된다. 3차원 데이터 객체는 로컬 메모리 또는 저장소로부터 액세스될 수 있다. 3차원 데이터 객체가 이미징 또는 원격 시스템에서 생성되는 일부 경우에, 3차원 데이터 객체는 이미징 또는 원격 시스템(가령, 도 2의 이미징 시스템(225))으로부터 액세스될 수 있다. 피험자의 눈의 예측된 후속 지도형 위축 특성을 생성하기 위해 원격 컴퓨팅 시스템이 (예를 들어, 클라이언트 시스템으로부터) 요청 통신을 수신하는 것에 응답하여 3차원 데이터 객체가 액세스될 수 있다.
블록(315)에서, 눈에서의 지도형 위축 병변의 후속 성장 및/또는 후속 크기의 예측을 생성하기 위해 콘볼루션 신경망을 사용하여 3차원 데이터 객체가 처리된다. 콘볼루션 신경망은 하나 이상의 콘볼루션 모듈(가령, 인셉션 모듈) 및/또는 하나 이상의 풀링 레이어를 포함하는 3차원 신경망일 수 있다. 각각의 콘볼루션 모듈은 콘볼루션 레이어의 세트를 포함하는 3차원 콘볼루션 모듈을 포함할 수 있다. 콘볼루션 레이어의 세트 중 적어도 두 개는 상이한 크기의 콘볼루션 필터를 포함할 수 있다. 예를 들어, 제1 레이어는 1×1×1 콘볼루션 필터를 사용할 수 있고, 하나 이상의 제2 레이어 각각은 3×3×3 콘볼루션 필터를 사용할 수 있다. 콘볼루션 신경망은 각각의 피처 맵의 가중치를 적응적으로 조정하는 것을 촉진시키도록 어텐션 유닛, 가령, 파라미터를 콘볼루션 블록의 각각의 채널에 파라미터를 추가할 수 있는 표준 SE 어텐션 유닛을 더 포함할 수 있다.
블록(320)에서, 예측이 출력된다. 예측은 특정 임상 연구에 참여하기 위한 피험자의 적격성 결정을 용이하게 하기 위해 사용될 수 있다. 예를 들어, 지도형 위축의 크기가 임계값을 초과한다는 예측이 피험자가 특정 임상 연구에 적격임을 나타낼 수 있다. 예측은 추가로 또는 대안으로 피험자가 포함되거나 포함될 특정 임상 연구에 대한 층화 결정을 용이하게 하기 위해 사용될 수 있다. 예를 들어, 예측은 어떠한 치료도 투여되지 않은 경우 그룹이 유사한 디폴트 예측된 지도형 위축 평가를 갖도록 개인 피험자를 다양한 치료 및/또는 대조 그룹에 배정하는 것 및/또는 다양한 그룹 간 비교를 하기 전에 결과를 구문 분석하거나 정규화하기 위해 사용될 수 있다. 층화에 기초하여 임상 연구 결과가 생성될 수 있다. 임상 연구 결과가 추가로 출력될 수 있다.
일부 예에서, 예측은 피험자에 대한 치료 선택을 용이하게 하거나 및/또는 피험자에 대한 치료를 변경할지 여부를 결정하는 것을 용이하게 하는 데 사용될 수 있다. 예를 들어, 특정 치료를 받았거나 받은 피험자의 세트에 대응하는 훈련 데이터 세트를 사용하여 머신 러닝 모델이 훈련될 수 있다. 각각의 피험자에 대해 수집된 기준 이미지는 치료가 막 시작되었거나 막 시작되려는 기간에 대응할 수 있다. 그런 다음 훈련된 모델이 피험자가 특정 치료를 사용한 경우 지도형 위축이 진행될 범위 및/또는 지도형 위축 병변의 후속 크기를 예측함으로써, 간병인이 (가령, 다른 치료에 비해) 특정 치료를 추천할지 여부를 알려줄 수 있도록 사용될 수 있다.
도 4는 일부 실시예에 따른 데이터 객체에 대한 지도형 위축 병변 크기 및 성장을 예측하기 위해 콘볼루션 신경망을 사용하는 예시적인 프로세스를 도시한다. 블록(405)에서, 적어도 세 개의 데이터 채널을 포함하는 데이터 객체가 액세스된다. 적어도 세 개의 데이터 채널 각각은 피험자의 눈의 적어도 부분적 묘사에 대응하는 2차원 이미지를 포함할 수 있다. 데이터 개체는 여러 개의 서로 다른 정면 OCT 기반 눈 지도를 포함할 수 있다. 일부 경우에, 데이터 객체는 눈의 적어도 두 개의 정면 OCT 기반 스캔 및 눈의 적어도 하나의 B-스캔(가령, 중앙 B-스캔 또는 의사 랜덤하게 선택된 횡방향 위치에 대응하는 B-스캔)을 포함할 수 있다. 데이터 객체는 대안으로 눈의 적어도 하나의 OCT 기반 정면 스캔 및 OCT와 상이한 유형의 이미징 양식을 사용하여 획득된 적어도 하나의 이미지를 포함할 수 있다.
블록(410)에서, 데이터 객체는 눈에서의 지도형 위축 병변의 후속 성장 및/또는 후속 크기의 예측을 생성하기 위해 콘볼루션 신경망을 사용하여 처리된다. 콘볼루션 신경망은 추가로 또는 대안으로 눈에서의 지도형 위축 병변의 현재 크기의 또 다른 예측을 생성할 수 있다. 콘볼루션 신경망은 현재 지도형 위축 병변 크기 및 후속 지도형 위축 병변 상태를 동시에 예측하도록 훈련된 2차원 신경망일 수 있으며, 이는 후속 지도형 위축 병변 성장 또는 후속 지도형 위축 병변 크기를 포함할 수 있다. 콘볼루션 신경망은 학습 전달을 사용하여 훈련될 수 있다. 예를 들어, 콘볼루션 신경망은 눈에서의 상이한 유형의 병변(가령, 검열반, 결막 병변, 또는 맥락막 흑색종)의 성장률 및/또는 후속 크기를 예측하기 위한 파라미터로 초기화될 수 있다. 그런 다음 신경망은 눈에서의 지도형 위축 병변의 성장률 및/또는 후속 크기를 예측하도록 추가로 훈련될 수 있다. 콘볼루션 신경망은 하나 이상의 2차원 콘볼루션 모듈 및/또는 풀링 레이어를 포함할 수 있다. 콘볼루션 신경망은 하나 이상의 선택적 유닛(예를 들어, SE 어텐션 유닛)을 더 포함할 수 있다. 콘볼루션 신경망은 배치 정규화, 하나 이상의 활성화 레이어(가령, ReLU 활성화 사용) 및/또는 하나 이상의 풀링 레이어(가령, 최대 풀링 사용)를 더 포함할 수 있다.
블록(415)에서, 예측(가령, 후속 성장, 현재 크기, 및/또는 후속 크기의 예측)이 출력된다. 예측은 특정 임상 연구에 참여하기 위한 피험자의 적격성 결정을 용이하게 하기 위해 사용될 수 있다. 예를 들어, 지도형 위축 병변의 크기가 임계값을 초과한다는 예측이 피험자가 특정 임상 연구에 적격임을 나타낼 수 있다. 예측은 추가로 또는 대안으로 피험자가 포함되거나 포함될 특정 임상 연구에 대한 층화 결정을 용이하게 하기 위해 사용될 수 있다. 층화에 기초하여 임상 연구 결과가 생성될 수 있다. 임상 연구 결과가 추가로 출력될 수 있다.
일부 예에서, 예측은 피험자에 대한 치료 선택을 용이하게 하거나 및/또는 피험자에 대한 치료를 변경할지 여부를 결정하는 것을 용이하게 하는 데 사용될 수 있다. 예를 들어, 특정 치료를 받았거나 받은 피험자의 세트에 대응하는 훈련 데이터 세트를 사용하여 머신 러닝 모델이 훈련될 수 있다. 각각의 피험자에 대해 수집된 기준 이미지는 치료가 막 시작되었거나 막 시작되려는 기간에 대응할 수 있다. 그런 다음 훈련된 모델이 피험자가 특정 치료를 사용한 경우 지도형 위축이 진행될 범위 및/또는 지도형 위축 병변의 후속 크기를 예측함으로써, 간병인이 (가령, 다른 치료에 비해) 특정 치료를 추천할지 여부를 알려줄 수 있도록 사용될 수 있다.
V. 실시예
V.A. 실시예 1: 신경망을 사용하여 3차원 OCT 이미지를 처리함으로써 지도형 위축 성장률 예측
V.A.1. 방법
연구는 람팔리주맙 임상 3상 시험 SPECTRI(NCT02247531)에 등록된 양측 지도형 위축이 있는 피험자의 눈에 후향적으로 수행되었다. 1.92×6×6 ㎣ 면적에서 496×1024×49 복셀의 황반 스펙트랄리스(Spectralis) SD-OCT 볼륨(Heidelberg Engineering, Inc.독일, 하이델베르크)이 지도형 위축 병변 면적 및 병변 성장을 예측하는 데 사용되었다. 지도형 위축 병변 면적(㎟, 두 명의 판독자 또는 필요한 경우 판정자가 등급을 매긴 FAF 이미지에서 측정)의 지도형 위축 병변 성장률(㎟/년)이 사용 가능한 모든 방문 측정을 사용하여 도출되었고 선형 모델로 적합됐다. 522명의 피험자로부터의 이미지 데이터세트가 피험자별로 5 폴드로 분할됐다. 모든 폴드가 기준 인자 및 치료 부문에 대해 균형을 이루는 5-폴드 교차 검증이 수행되었다. 각각의 B-스캔이 ILM을 따라 플래튼되고 128×128 픽셀의 크기로 축소되었다. 그런 다음 멀티태스크 3차원 콘볼루션 신경망(CNN: convolutional neural network) 모델이 훈련되어 지도형 위축 면적을 예측하도록 훈련된 동일한 모델로부터의 초기화된 가중치를 사용하여 기준 OCT 볼륨으로부터 지도형 위축 성장률을 예측했다. 실제 지도형 위축 성장률과 예측된 지도형 위축 성장률 간 피어슨 상관 계수(r)의 제곱으로 정의된 표본내 결정 계수(R2)를 계산함으로써 성능이 평가되었다.
V.A.2. 결과
지도형 위축 병변 면적 예측이 0.88(범위: 0.77 내지 0.92)의 평균 교차 검증 R2을 보였고, 지도형 위축 성장률 예측이 0.30(범위: 0.21 내지 0.43)의 평균 교차 검증 R2를 가졌다. 성장률 예측 결과는 기준 다중 모드 망막 이미지를 사용한 딥 러닝에 의한 지도형 위축 성장률(R2 = 0.35)의 예측에 대한 이전 작업에 비교될 수 있다(Normand G, et al. IOVS 2019; 60 : ARVO E-Abstract 1452).
이 예는 3차원 딥 러닝 접근법으로 개별 지도형 위축 성장률을 예측하기 위해 OCT 이미지를 사용할 수 있음을 보여준다. 그 밖의 다른 이미징 방식(가령, 적외선 및 안저 자가형광) 및/또는 관련 임상 변수를 결합함으로써 예측이 개선될 수 있다.
V.B. 실시예 2: 신경망을 사용하여 OCT 이미지를 처리함으로써 지도형 위축 성장률 예측
V.B.1. 3차원 모델 방법
예측은 멀티태스크 회귀 문제로 공식화되었다.
Figure pct00001
를 훈련 데이터세트라고 하고, 여기서 Xi, yi는 i번째 OCT 부피 및 이에 대응하는 지도형 위축 병변 면적(y1) 및 성장률(y2) 라벨을 지시하고, N은 샘플의 총 수를 지시한다. 모델은 기준 OCT 부피를 입력 받고 현재 지도형 위축 병변 면적 및 병변 성장률을 예측한다.
이 접근 방식의 개요가 도 5에 도시되어 있다. 3차원 OCT 부피가 먼저 전처리된 다음, 멀티태스크 3차원 인셉션 CNN-기반 모델로 입력되었다. 또한, SE(Squeeze and Excitation) 유닛을 사용하는 셀프-어텐션 메커니즘이 피처 맵을 향상시키기 위해 추가되었다. 지도형 위축 병변의 면적과 성장률이 동시에 예측되었다. 지도형 위축 성장률은 지도형 위축 병변 면적과 약한 상관관계가 있는 것으로 나타났다. 멀티태스크 모델은 두 작업 모두에 대한 정보를 캡처하는 표현을 찾고 성장률 예측 작업에만 과적합될 가능성이 적을 것으로 예상된다.
V.B.1.a. OCT 이미지 전처리
OCT 부피는 깊이 496 픽셀, 1024 A-스캔 및 49 B-스캔(496×1024×49 복셀)을 포함했다. 모델 입력을 위해 부피 크기가 감소되었고 망막(관심 영역)에 초점이 맞춰졌다. 각각의 B-스캔에 대해, 이미지는 속경계막(ILM)을 따라 플래튼되었다. ILM은 OCT 기계 소프트웨어(Heidelberg Engineering, Inc.독일, 하이델베르크)에 의해 사전 분할된 망막과 유리체 사이의 경계이다. 그런 다음, 각각의 B-스캔에 대해 ILM 위 5 픽셀 및 ILM 아래 250 픽셀 영역이 크롭되었고 관심 영역으로 정의되었다. 각각의 크롭된 영역(깊이 256 픽셀 × 1024 A-스캔)은 쌍선형 보간법을 통해 128 × 128 픽셀로 크기가 조정되었다(도 5). B-스캔 수의 감소는 없었다. 따라서 본래의 부피가 모델 입력으로 128×128×49 복셀로 축소되었다.
V.B.1.b. 3차원 인셉션 콘볼루션 모듈
3차원 인셉션 콘볼루션 모듈의 세부사항은 도 6에 도시된다. 네트워크는 하나의 정규 콘볼루션 레이어와 네 개의 3차원 인셉션 콘볼루션 블록으로 구성되었다. 그 중, 정규 콘볼루션 레이어와 처음 세 개의 3차원 인셉션 콘볼루션 블록은 면적 및 성장률 예측에 의해 공유된다. 각각의 콘볼루션 레이어에는 배치-정규화, ReLU 활성화 및 최대 풀링이 뒤따랐다. 마지막 콘볼루션 블록 이후에, 전역 평균 풀링과 선형 활성화가 있는 덴스 레이어가 출력 레이어를 위해 사용되었다. 필터 크기, 스트라이드 및 풀링 크기를 선택할 때 3차원 볼륨의 이방성 속성이 고려되었다. 하이퍼파라미터는 랜덤 검색을 사용하여 최적화되었다.
V.B.1.c. SE 어텐션 유닛 및 합동 손실
2차원의 SE 어텐션 유닛은 3차원으로 일반화되어 3차원 인셉션 모듈에 추가되었다. 2차원에서와 같이, 인셉션 모듈로부터의 피처 맵에 채널 간의 상호 의존성을 고려하기 위해 SE 유닛으로부터의 출력에 의해 가중치가 조정된다. 더 상세히, 치수 H×W×D×C의 3차원 인셉션 모듈로부터의 출력 피처 맵은 3차원 공간 평균화에 의해 치수 1×1×1×C의 전역 텐서로 변환된다. 이 텐서는 본질적으로 채널 방향에서 채널 수와 동일한 치수를 갖는 벡터이다. ReLU 활성화가 있는 완전 연결된 레이어(fully connected layer)가 채널 방향에서 적용되어 출력 텐서를 1×1×1×C/r의 치수로 감소시키며, 여기서 r은 감소율이라고 하고 채널의 수 C의 제수이다. 이 연구에서 감소율이 4로 설정되었다. 출력 치수가 1×1×1×C인 시그모이드 활성화(Sigmoid activation)가 뒤따르는 제2 완전 연결된 레이어가 각각의 채널에 평활 게이팅(smooth gating)을 제공한다. 마지막으로, 콘볼루션 블록의 각각의 피처 맵은 SE 유닛으로부터의 출력을 곱함으로써 가중화된다. 마지막으로, 지도형 위축 병변 영역 예측 및 성장률 예측의 평균 제곱 오차의 합동 손실이 훈련에 사용됐다. 각각의 항에 대한 가중치는 0.5였다.
V.B.1.d. 기준 모델
성능을 비교하고 모델에 대한 통찰력을 얻기 위해 세 개의 추가 기준 모델이 테스트됐다. 제1 기준 모델(즉, 기본 모델)은 지도형 위축 성장률만을 예측하기 위한 단순한 3차원 인셉션 합성곱 신경망이었다. 모델은 SE 어텐션 유닛 및 멀티태스크 설정 없이 제안된 모델과 정확히 동일하였다. 모델 파라미터 초기화는 He 초기화를 사용했다. 제2 기준 모델(즉, 캐스케이드 모델(cascade model))은 모델이 먼저 지도형 위축 병변 면적을 예측하도록 훈련된 캐스케이드 접근 방식을 사용했다. 그런 다음 면적-예측 훈련 중에 학습된 가중치를 사용하여 모델이 초기화되고 그 후 지도형 위축 성장률을 예측하도록 훈련되었다. 각각의 예측 유형에 대해 훈련된 캐스케이드 모델은 제1 기준 모델과 동일한 3차원 콘볼루션 아키텍처를 공유했다. 제3 기준 모델(즉, 멀티태스크 모델)은 SE 어텐션 블록이 임의의 추가 성능 이득을 제공했는지 여부를 확인하기 위한 SE 어텐션 유닛이 없는 멀티태스크 모델이었다. 제2 및 제3 기준 모델이 현재 지도형 위축 병변 면적 및 미래의 지도형 위축 병변 면적을 예측하도록 훈련되었다.
V.B.2. 2차원 모델 방법
멀티태스크 2차원 콘볼루션 망(700)의 개요가 도 7에 도시되어 있다. 모델은 학습 전달 인셉션 V3 신경망(705)을 포함한다. 학습 전달 인셉션 V3 네트워크(705) 이후에 덴스 레이어(710)가 포함된다. 지도형 위축 병변 면적(715) 및 성장률(720)이 동시에 예측된다. 2차원 멀티태스크 모델은 두 태스크 모두에 대한 정보를 캡처하는 표현을 찾을 것으로 예상된다.
V.B.3. 결과
람팔리주맙 3상 시험 SPECTRI (NCT02247531)에 등록된 양측 지도형 위축이 있는 환자의 전체 훈련 데이터세트에서 모델이 실행되었고 홀드-아웃 데이터세트에서 5회 평가됐다. 훈련 데이터세트에는 560명의 피험자로부터 1934회의 방문이 있었고 홀드-아웃 데이터세트에는 114명의 피험자로부터 114회의 기준 방문이 있었다. 홀드-아웃 데이터세트의 평균 성능과 표준 편차가 표 1에 나타나 있다. 결과가 제안된 모델이 지도형 위축 증가율 예측에 가장 좋은 성능을 보였음을 보여준다. 멀티태스크 프레임워크는 제1 기준 모델에 비교되는 개선의 대부분에 기여했다. SE 어텐션 블록은 성능을 크게 향상시키지 않는 것 같았다. 캐스케이드 모델도 역시 제1 기준 모델보다 더 나은 성능을 보였다. 대조적으로, 지도형 위축 병변 면적 예측의 성능이 모든 모델에서 비슷했다.
모델의 추가 실행으로부터 모든 홀드-아웃 케이스에 대한 실제 성장률에 대한 예측된 지도형 위축 성장률의 예시적 회귀 플롯 및 실제 지도형 위축 병변 영역에 대한 예측된 지도형 위축 병변 면적이 도 8a 및 8b에 나타나 있다. 병변 면적 예측의 실제 값과 예측된 값 간 피어슨 상관 계수의 거듭 제곱(R2)이 0.92였다. 상대적으로 작은 지도형 위축 병변 면적을 갖는 케이스에 대한 성능은 병변 면적이 더 큰 경우의 성능보다 우수했다. 성장률 예측의 성능이 훨씬 더 큰 모집단(2000+ 눈)으로부터의 기준 FAF와 적외선 망막 이미지 모두를 이용한 딥 러닝에 의한 지도형 위축 성장률(R2 = 0.43)의 예측에 대한 이전 작업과 비슷했다. 도 8c는 지도형 위축 성장률 예측에서 이상값의 OCT 정면 이미지 및 중앙 B-스캔을 나타낸다. OCT 볼륨은 B-스캔 전반에 걸쳐 모션 아티팩트 및 픽셀 강도 불일치가 있음을 알 수 있다. 또한, 이 경우의 OCT 볼륨 크기는 496Х512Х49 복셀이고, 훈련 데이터의 ~5% 만이 이 해상도였다. 그러나 지도형 위축 병변 면적 예측이 실제 검증(ground truth)과 일치했다. 도 8d는 지도형 위축 병변 면적 및 성장률 예측 모두에서 다른 이상값의 OCT 정면 이미지 및 중앙 B-스캔을 보여준다. 이 경우, 몇몇 B-스캔이 꽤 낮은 이미지 강도의, OCT 정면 이미지의 어두운 띠를 갖기 때문에 이미지 품질이 다시 근본 원인일 수 있다.
표 1. 홀드-아웃 데이터세트에 대한 네 개 모델의 성능 비교
Figure pct00002
V.B.4. 해석
따라서 딥-러닝 모델은, 어떠한 사전 피처 엔지니어링도 없이, OCT 볼륨을 처리하여 지도형 위축 질병 진행을 예측하도록 성공적으로 훈련되었다. 새로운 커스텀 3차원 멀티태스크 딥 러닝 파이프라인이 기준 OCT 볼륨만을 기초로 높은 정확도로 현재 지도형 위축 병변 면적 및 미래의 지도형 위축 병변 성장률을 동시에 예측했다. 제안된 모델은 다른 기준 모델보다 성능이 뛰어났다.
VI. 추가 고려사항
본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 하나 이상의 프로세서 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다. 본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 여기서 개시된 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로 구현되는 컴퓨터-프로그램 프로덕트를 포함한다.
채용된 용어 및 표현은 한정이 아닌 설명 측면에서 사용되며, 이러한 용어 및 표현의 사용에 도시되고 기재된 특징부 또는 이의 일부분의 임의의 균등물을 배제하는 어떠한 의도도 없고, 청구된 발명의 범위 내에서 다양한 수정이 가능함이 자명하다. 따라서, 본 발명이 실시예 및 선택적 특징으로 특정하게 개시되었지만 본 명세서에 개시된 개념의 수정, 및 변형이 해당 분야의 통상의 기술자에 의해 이용될 수 있고, 이러한 수정 및 변형이 첨부된 청구항에 의해 정의된 본 발명의 범위 내에 있는 것으로 간주됨이 이해될 것이다.
본 설명은 단지 바람직한 예시적인 실시 형태를 제공하며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 바람직한 예시적인 실시예의 본 설명은 다양한 실시예를 구현하기 위한 가능한 설명을 통상의 기술자에게 제공할 것이다. 첨부된 특허청구범위에 기재된 정신 및 범위를 벗어나지 않고 요소의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.
실시예의 완전한 이해를 제공하기 위해 본 설명에서 특정 세부사항이 제공된다. 그러나, 이러한 특정 세부사항 없이 실시예가 실시될 수 있음이 이해될 것이다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 그 밖의 다른 구성요소는 실시예를 불필요한 세부 사항으로 모호하게 하지 않기 위해 블록도 형태의 구성요소로 표시될 수 있다. 또 다른 예에서, 잘 알려진 회로, 프로세스, 알고리즘, 구조 및 기술은 실시예를 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 표시될 수 있다.

Claims (24)

  1. 방법으로서,
    피험자의 눈의 적어도 부분적인 묘사에 대응하는 3차원 데이터 객체를 액세스하는 단계,
    콘볼루션 신경망을 이용해 3차원 데이터 객체를 처리하여, 눈에서의 지도형 위축 병변의 후속 성장 또는 눈에서의 지도형 위축 병변의 후속 크기의 예측을 생성하는 단계, 및
    예측을 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 콘볼루션 신경망은 하나 이상의 3차원 콘볼루션 모듈을 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 콘볼루션 신경망은 풀링 레이어(pooling layer)를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 콘볼루션 신경망은 현재의 지도형 위축 병변 크기와 후속 지도형 위축 상태를 동시에 예측하도록 훈련되었으며, 상기 후속 지도형 위축 상태는 후속 지도형 위축 병변 성장 또는 후속 지도형 위축 병변 크기를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 콘볼루션 신경망을 이용해 3차원 데이터 객체를 처리하는 것은 눈에서의 지도형 위축 병변의 현재 크기의 또 다른 예측을 더 생성하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 지도형 위축 병변의 후속 성장이 눈에서의 하나 이상의 지도형 위축 병변의 성장을 포함하고/하거나, 지도형 위축 병변의 후속 크기가 눈에서의 하나 이상의 지도형 위축 병변의 후속 크기를 포함하는 것인 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 2차원 이미지의 세트의 각각의 이미지를 분할하여 브루크막(Bruch's membrane) 및/또는 속경계막(inner limiting membrane)의 예측 위치에 의해 경계지워지는 세그먼트를 식별하는 것을 포함하는 동작의 세트를 수행함으로써 3차원 데이터 객체를 생성하는 단계를 더 포함하는, 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서, 동작의 세트를 수행함으로써 3차원 데이터 객체를 생성하는 단계를 더 포함하며, 상기 동작의 세트는
    피험자의 눈의 2차원 B-스캔 OCT 이미지의 세트를 액세스하는 것,
    2차원 B-스캔 OCT 이미지의 세트를 이용해 피처 맵의 세트를 생성하는 것, 및
    피처 맵의 세트를 포함하도록 3차원 데이터 객체를 생성하는 것을 포함하는, 방법.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서, 동작의 세트를 수행함으로써 3차원 데이터 객체를 생성하는 단계를 더 포함하며, 상기 동작의 세트는
    피험자의 눈의 2차원 B-스캔 OCT 이미지의 세트를 액세스하는 것,
    2차원 B-스캔 OCT 이미지의 세트의 각각의 이미지에 대해, 눈의 특정 구조물을 묘사하는 픽셀의 세트를 식별하는 것,
    2차원 B-스캔 OCT 이미지의 세트의 각각의 이미지에 대해, 픽셀의 세트에 기초하여 2차원 B-스캔 OCT 이미지를 플래튼하는 것, 및
    각각의 플래튼된 B-스캔 OCT 이미지의 적어도 일부분을 포함하도록 3차원 데이터 객체를 생성하는 것을 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    훈련 데이터 세트를 이용해 또 다른 콘볼루션 신경망을 훈련하여 학습된 파라미터 값의 제1 세트를 생성하는 단계,
    콘볼루션 신경망에 대한 파라미터 값의 세트를 학습된 파라미터 값의 제1 세트로 설정하는 것, 및
    또 다른 훈련 데이터 세트를 이용해 콘볼루션 신경망을 더 훈련하여, 학습된 파라미터 값의 제2 세트를 생성하는 것 - 콘볼루션 신경망은 3차원 데이터 객체를 처리할 때 학습된 파라미터 값의 제2 세트로 구성됨 - 에 의해
    학습 전달을 이용해 콘볼루션 신경망을 훈련하는 단계를 더 포함하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 3차원 데이터 객체는 피험자의 눈의 부피의 3차원 묘사를 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    사용자에 의해, 3차원 데이터 객체를 포함하거나 식별하는 입력 데이터를 입력하는 단계,
    예측을 수신하는 단계, 및
    예측에 기초하여, 피험자가 특정 임상 연구에 참가할 자격이 됨을 결정하는 단계를 더 포함하는, 방법.
  13. 제1항 내지 제11항 중 어느 한 항에 있어서,
    사용자에 의해, 3차원 데이터 객체를 포함하거나 식별하는 입력 데이터를 입력하는 단계,
    예측을 수신하는 단계, 및
    예측에 기초하여, 피험자가 포함되거나 포함될 특정 임상 연구에 대한 층화(stratification)를 결정하는 단계를 더 포함하는, 방법.
  14. 제13항에 있어서,
    상기 층화에 기초하여 임상 연구 결과를 생성하는 단계, 및
    임상 연구 결과를 출력하는 단계를 더 포함하는, 방법.
  15. 제1항 내지 제11항 중 어느 한 항에 있어서,
    사용자에 의해, 3차원 데이터 객체를 포함하거나 식별하는 입력 데이터를 입력하는 단계,
    예측을 수신하는 단계,
    상기 예측에 기초하여, 피험자가 포함되거나 포함될 특정 임상 연구에 대한 조정을 결정하는 단계, 및
    조정된 특정 임상 연구의 구현을 촉진시키는 단계를 더 포함하는, 방법.
  16. 방법으로서,
    피험자의 눈의 적어도 부분적인 묘사에 대응하는 3차원 데이터 객체를 포함하거나 식별하는 입력 데이터를 수신하는 단계,
    피험자의 눈의 예측된 후속 지도형 위축 특성을 생성할 요청에 대응하는 요청 통신을 수신하는 단계 - 상기 요청 통신은 입력 데이터를 포함함 - ,
    콘볼루션 신경망을 이용해 3차원 데이터 객체를 처리하여 눈에서의 지도형 위축 병변의 후속 성장 또는 눈에서의 지도형 위축 병변의 후속 크기의 예측을 생성하는 단계, 및
    예측을 출력하는 단계를 포함하는, 방법.
  17. 제16항에 있어서,
    피험자의 눈의 이미지의 세트를 수집하는 단계 - 3차원 데이터 객체는 이미지의 세트를 이용해 생성됨 - 를 더 포함하는, 방법.
  18. 피험자의 치료에서의 지도형 위축 예측의 용도로서, 컴퓨팅 장치가 지도형 위축 예측을 제공하도록 피험자 데이터에 기초하여 계산 모델을 구현함으로써 지도형 위축 예측이 제공되며, 상기 계산 모델은 피험자의 눈의 적어도 부분적인 묘사에 대응하는 3차원 데이터 객체를 처리하도록 구성된 콘볼루션 신경망을 포함하는, 용도.
  19. 방법으로서,
    적어도 세 개의 데이터 채널을 포함하는 데이터 객체를 액세스하는 단계 - 상기 적어도 세 개의 데이터 채널의 각각의 데이터 채널은 피험자의 눈의 적어도 부분적인 묘사에 대응하는 2차원 이미지를 포함함 - ,
    콘볼루션 신경망을 이용해 데이터 객체를 처리하여 눈에서의 지도형 위축 병변의 후속 성장 또는 눈에서의 지도형 위축 병변의 후속 크기의 예측을 생성하는 단계, 및
    상기 예측을 출력하는 단계를 포함하는, 방법.
  20. 제19항에 있어서, 데이터 객체는 눈의 복수의 상이한 정면 OCT 기반 맵을 포함하는, 방법.
  21. 제19항 또는 제20항에 있어서, 데이터 객체는 눈의 적어도 두 개의 정면 OCT 기반 스캔 및 눈의 적어도 하나의 B-스캔을 포함하는, 방법.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서, 상기 데이터 객체는 눈의 적어도 하나의 OCT 기반 정면 스캔 및 OCT와 상이한 유형의 영상 기법을 이용해 획득된 적어도 하나의 이미지를 포함하는, 방법.
  23. 시스템으로서,
    하나 이상의 데이터 프로세서, 및
    하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함하는, 시스템.
  24. 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로(tangibly) 구현되는 컴퓨터 프로그램 프로덕트.
KR1020227022249A 2019-12-05 2020-12-04 지도형 위축 성장률의 예측을 생성하기 위한 oct 데이터의 신경망 처리 KR20220112269A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962944201P 2019-12-05 2019-12-05
US62/944,201 2019-12-05
US202062988797P 2020-03-12 2020-03-12
US62/988,797 2020-03-12
PCT/US2020/063362 WO2021113672A1 (en) 2019-12-05 2020-12-04 Neural network processing of oct data to generate predictions of geographic-atrophy growth rates

Publications (1)

Publication Number Publication Date
KR20220112269A true KR20220112269A (ko) 2022-08-10

Family

ID=73856371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022249A KR20220112269A (ko) 2019-12-05 2020-12-04 지도형 위축 성장률의 예측을 생성하기 위한 oct 데이터의 신경망 처리

Country Status (6)

Country Link
US (1) US20230036463A1 (ko)
EP (1) EP4070273A1 (ko)
JP (1) JP2023505268A (ko)
KR (1) KR20220112269A (ko)
CN (1) CN115004222A (ko)
WO (1) WO2021113672A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022015895A1 (en) * 2020-07-15 2022-01-20 Genentech, Inc. Predicting geographic atrophy growth rate from fundus autofluorescence images using deep neural networks
KR20230111522A (ko) * 2022-01-18 2023-07-25 가톨릭대학교 산학협력단 병적 근시 진단 장치 및 방법
CN116151352B (zh) * 2023-04-13 2024-06-04 中浙信科技咨询有限公司 基于大脑信息通路整合机制的卷积循环神经网络诊断方法

Also Published As

Publication number Publication date
EP4070273A1 (en) 2022-10-12
WO2021113672A1 (en) 2021-06-10
JP2023505268A (ja) 2023-02-08
US20230036463A1 (en) 2023-02-02
CN115004222A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
Voets et al. Replication study: Development and validation of deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs
KR20220112269A (ko) 지도형 위축 성장률의 예측을 생성하기 위한 oct 데이터의 신경망 처리
Yue et al. Auto-detection of Alzheimer's disease using deep convolutional neural networks
EP2393416A1 (en) Methods and apparatuses for quantitatively determining the likelihood of a disease
CN115039122A (zh) 用于处理oct图像以预测治疗强度的深度神经网络框架
Hassan et al. Multilayered deep structure tensor delaunay triangulation and morphing based automated diagnosis and 3D presentation of human macula
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Rajagopalan et al. Diagnosis of retinal disorders from Optical Coherence Tomography images using CNN
Cazañas-Gordón et al. Ensemble learning approach to retinal thickness assessment in optical coherence tomography
Topaloglu Deep learning based convolutional neural network structured new image classification approach for eye disease identification
JP2023547402A (ja) マルチモーダル地図状萎縮病変セグメンテーション
KR20230106205A (ko) 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법
Mishra et al. Automatic Nuclei Segmentation Method using NLM Filter for Denoising
WO2021195153A1 (en) Prediction of geographic-atrophy progression using segmentation and feature evaluation
US20230326024A1 (en) Multimodal prediction of geographic atrophy growth rate
Vanmore et al. Liver Lesions Classification System using CNN with Improved Accuracy
Ray et al. An effective threshold based technique for retinal image blood vessel segmentation using average & Gaussian filters
Bharani et al. Diabetes Mellitus Diagnosis based on Tongue Images using Machine Learning
US20240020830A1 (en) System and methods of predicting parkinson's disease based on retinal images using machine learning
US20240186022A1 (en) Progression profile prediction
CN116547705A (zh) 地图状萎缩生长率的多模态预测
Odstrčilík Analysis of retinal image data to support glaucoma diagnosis
Hiwarkar et al. RETINAL IMAGE ENHANCEMENT USING DEEP NEURAL NETWORK
Toptaş et al. The Separation of glaucoma and non-glaucoma fundus images using EfficientNet-B0
Kikuchi Applications of Deep Learning to Medical Image Analysis in Ophthalmology

Legal Events

Date Code Title Description
A201 Request for examination