KR20190042621A

KR20190042621A - 기계 학습 모델들을 사용한 안저 이미지 프로세싱

Info

Publication number: KR20190042621A
Application number: KR1020197007602A
Authority: KR
Inventors: 릴리 하오 이 펭; 데일 알. 웹스터; 필립 찰스 넬슨; 바런 굴산; 마크 아드라이 코람; 마틴 크리스찬 스텀페; 데렉 잔미 우; 아루나차람 나라야나스와미; 아비나시 바이다나단 바라다라잔; 캐서린 부루머; 윤 리우; 라이언 팝린
Original assignee: 구글 엘엘씨
Priority date: 2016-08-18
Filing date: 2017-08-18
Publication date: 2019-04-24
Also published as: EP3485411A2; WO2018035473A2; US10970841B2; US20190180441A1; DE202017104953U1; WO2018035473A3; CN109844868A; US20230260126A1; US11636601B2; US20210209762A1; JP2019528113A; KR102285878B1

Abstract

안저 이미지 프로세싱 기계 학습 모델들을 사용하여 안저 이미지들을 프로세싱하기 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램들을 포함하는 방법, 시스템 및 장치. 방법들 중 하나는 하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 방법, 각 안저 이미지는 환자의 눈의 안저의 이미지이며; 안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 단계, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지를 포함하는 상기 모델 입력을 프로세싱하여 모델 출력을 생성하도록 구성되며; 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 단계를 포함한다.

Description

기계 학습 모델들을 사용한 안저 이미지 프로세싱

본 명세서는 기계 학습 모델을 사용하여 이미지를 프로세싱하는 것과 관련된다.

기계 학습 모델은 입력을 수신하고 수신된 입력에 기초하여 예측된 출력과 같은 출력을 생성한다. 일부 기계 학습 모델들은 파라메트릭 모델들이며, 수신된 입력 및 모델의 파라미터들의 값들에 기초하여 출력을 생성한다.

일부 기계 학습 모델들은 모델들의 다수의 레이어들을 사용하여 수신된 입력에 대한 출력을 생성하는 딥 모델들이다. 예를 들어, 딥 신경 네트워크는 출력 레이어와 출력을 생성하기 위해 수신된 입력에 비선형 변환을 각각 적용하는 하나 이상의 히든 레이어들을 포함하는 딥 기계 학습 모델이다.

일부 신경 네트워크들은 순환 신경 네트워크들(recurrent neural networks)이다. 순환 신경 네트워크는 입력 시퀀스를 수신하고 상기 입력 시퀀스로부터 출력 시퀀스를 생성하는 신경 네트워크이다. 특히, 순환 신경 네트워크는 입력 시퀀스의 현재 입력으로부터 출력을 생성할 때 입력 시퀀스의 이전 입력을 프로세싱한 후 네트워크의 내부 상태의 전부 또는 일부를 사용한다.

본 명세서는 일반적으로 안저 이미지 프로세싱 기계 학습 모델을 사용하여 환자의 하나 이상의 안저 이미지들을 포함하는 프로세싱 데이터에 의해 환자에 대한 건강 분석 데이터를 생성하는 시스템을 기술한다.

본 명세서에 기술된 본 발명의 특정한 실시예들은 다음의 이점들을 실현하도록 구현될 수 있다. 건강 분석 시스템은 환자의 눈의 안저의 하나 이상의 이미지만을 그리고 최소한의 다른 환자 데이터를 사용하거나 다른 환자의 데이터를 사용하지 않고 환자의 건강을 효과적으로 분석할 수 있다. 특히, 건강 분석 시스템은 안저 이미지들을 사용하여 특정 의학적 컨디션의 존재 또는 가능한 진행을 효과적으로 분석할 수 있다. 대신에 또는 추가적으로, 건강 분석 시스템은 어떤 치료법이나 후속 조치(follow-up action)들이 의학적 컨디션을 치료하는데 가장 효과적일지를 효과적으로 예측할 수 있다. 대신에 또는 추가적으로, 건강 분석 시스템은 바람직하지 않은 건강 이벤트들에 대한 환자의 위험을 정확하게 평가할 수 있거나 안저 이미지들을 사용하여 환자의 전반적 건강을 정확하게 평가할 수 있다. 대신에 또는 추가적으로, 건강 분석 시스템은 안저 이미지들을 사용하여 환자에게 일어나는 특정한 건강 이벤트들의 위험에 기여하는 요인들의 세트의 값들을 정확하게 예측할 수 있다.

일부 구현예에서, 시스템은 시스템에 의해 생성된 예측, 즉 특정한 예측을 생성하기 위해 기계 학습 모델이 포커싱한 안저 이미지의 부분들에 대한 근거를 설명하는 데이터를 시스템의 사용자에게 제시할 수 있다. 그렇게함으로써, 시스템은 의사 또는 다른 사용자가 예측 프로세스에 대한 통찰력을 갖게 할 수 있다.

본 명세서의 발명의 하나 이상의 실시예들의 세부 사항은 첨부 도면과 아래의 설명에서 기술된다. 본 발명의 다른 구성들, 양태들 및 이점들은 설명, 도면 및 청구항으로부터 명백해질 것이다.

도 1은 안저 이미지 분석 시스템의 예시를 도시한다.
도 2a는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 2b는 안저 이미지 프로세싱 기계 학습 모델에 의한 예시적 안저 이미지의 프로세싱을 도시한다.
도 3은 특정한 의학적 컨디션에 특정적인 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 4는 환자 후속 조치들을 식별하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 5는 의학적 컨디션의 진행 가능성을 예측하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 6은 해당 환자에 대한 의학적 컨디션의 적절한 치료를 예측하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 7은 예측된 안저 이미지를 포함하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 8은 건강 이벤트 발생의 위험을 예측하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 9는 환자의 전반적 건강을 나타내는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 10은 하나 이상의 위험 요소들에 대한 예측된 값들을 포함하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스의 흐름도이다.
도 11은 모델 출력을 생성할 때 기계 학습 모델에 의해 포커싱된 안저 이미지에서의 위치들을 식별하는 데이터를 포함하는 건강 분석 데이터를 생성하기 위한 예시적인 프로세스의 흐름도이다.
다양한 도면들에서 동일한 참조 번호 및 기호는 동일한 구성요소를 표시한다.

본 명세서는 일반적으로 환자에 대한 하나 이상의 안저 이미지들 그리고 선택적으로 다른 환자 데이터를 포함하는 입력으로부터 환자에 대한 건강 분석 데이터를 생성할 수 있는 시스템을 기술한다. 안저 이미지는 환자의 눈들 중 하나의 안저 사진이다. 눈의 안저는 렌즈 반대편의 눈의 내부 표면이며, 특히 망막과 시신경을 포함한다.

일반적으로, 주어진 환자에 대한 건강 분석 데이터를 생성하기 위해, 시스템은 안저 이미지 프로세싱 기계 학습 모델을 사용하여 하나 이상의 안저 이미지 및 선택적으로 다른 환자 데이터를 프로세싱하여 환자에 대한 모델 출력을 생성하고, 그 다음 모델 출력으로부터 건강 분석 데이터를 생성한다.

도 1은 예시적 안저 이미지 분석 시스템(100)의 예시를 도시한다. 안저 이미지 분석 시스템(100)은 이하에 기술된 시스템들, 컴포넌트들 및 기법들이 구현될 수 있는, 하나 이상의 위치들의 하나 이상의 컴퓨터들에서 컴퓨터 프로그램들로서 구현된 시스템의 예시이다.

주어진 환자에 대해, 안저 이미지 분석 시스템(100)은 환자의 눈의 하나 이상의 안저 이미지들을 포함하는 안저 이미지 데이터(122)를 수신하고, 환자의 건강을 나타내는 건강 분석 데이터(142)를 생성한다.

일부 구현예에서, 안저 이미지 분석 시스템(100)은 안저 이미지를 생성하고 안저 이미지 분석 시스템에 안저 이미지 데이터(122)를 입력으로서 제공하는 안저 이미지 캡처 시스템(110)을 포함하거나 안저 이미지 캡처 시스템(110)과 통신한다. 특히, 안저 이미지 캡처 시스템(110)은 환자의 안저 이미지들을 캡처하도록 구성된 하나 이상의 이미지 캡처 디바이스들, 예를 들어, 이미지 캡처 디바이스(120)를 포함한다. 일반적으로, 이미지 캡처 디바이스(120)는 컬러 안저 사진, 입체 사진, 와이드 필드 또는 울트라 와이드 필드 사진, 또는 주사 레이저 안검 내시경(SLO)을 사용하여, 적절한 유형의 안저 이미지를 캡처하도록 구성된 전문 안저 카메라이다. 일부 경우, 이미지 캡처 시스템(110)은 상이한 유형의 안저 이미지를 캡처하는 다수의 이미지 캡처 디바이스들을 포함한다.

다른 구현들에서, 안저 이미지 분석 시스템(100)은 예를 들어 데이터 통신 네트워크를 통해 외부 시스템으로부터 입력 안저 이미지 데이터(122)를 수신한다.

안저 이미지 분석 시스템(100)은 안저 이미지 프로세싱 기계 학습 모델(130)을 사용하여 입력 안저 이미지 데이터(122) 및 선택적으로 주어진 환자에 대한 다른 데이터를 프로세싱한다. 안저 이미지 프로세싱 기계 학습 모델(130)은 입력 안저 이미지 데이터(122) 및 선택적으로 다른 환자 데이터(124)를 프로세싱하여 환자의 건강을 나타내는 모델 출력(132)을 생성하도록 구성된 기계 학습 모델이다.

얼마나 많은 안저 이미지들이 안저 이미지 데이터(122)에 있는지, 시스템(100)이 다른 환자 데이터(124)를 수신했는지, 수신했다면 수신된 다른 환자 데이터(124)의 특성 및 모델 출력(132)의 구성은 안저 이미지 프로세싱 기계 학습 모델(130)의 구성에 종속된다. 안저 이미지 데이터, 기계 학습 모델(130)의 예시적인 구성 및 모델 출력(132)의 예시적인 구성은 도 2 내지 9를 참조하여 아래에서 보다 상세히 설명된다.

안저 이미지 분석 시스템(100)은 또한 모델 출력(132)을 수신하고 환자 건강 분석 데이터(142)를 생성하는 환자 건강 분석 서브시스템(140)을 포함한다. 일반적으로, 환자 건강 분석 서브시스템(140)은 시스템의 사용자에게 제시될 수 있는 방식으로 모델 출력을 나타내는 건강 분석 데이터를 생성한다. 그 다음, 환자 건강 분석 서브시스템(140)은 사용자 인터페이스, 예를 들어 환자의 사용자 컴퓨터 또는 의료 전문가의 컴퓨터에서 사용자에게 제시하기 위한 건강 분석 데이터(142)를 제공할 수 있으며, 장래의 사용을 위해 건강 분석 데이터(142)를 저장하거나 또는 다른 즉각적인 목적으로 사용하기 위해 건강 분석 데이터(142)를 제공할 수 있다.

일부 구현예에서, 안저 이미지 분석 시스템(100)은 데이터 통신 네트워크를 통해 사용자 컴퓨터들의 원격 사용자들로부터 환자 건강 분석 데이터(142)에 대한 요청들을 수신한다. 예를 들면, 안저 이미지 캡처 시스템(110)이 구현되는 컴퓨터와 같은 사용자 컴퓨터는 데이터 통신 네트워크를 통해 안저 이미지 분석 시스템(100)에 대한 API(Application Programming Interface) 콜을 하는 것의 일부로서 안저 이미지 데이터를 제공함으로써 안저 이미지 분석 시스템(100)에 요청을 제출할 수 있다. API 콜에 응답하여, 안저 이미지 분석 시스템(100)은 건강 분석 데이터(142)를 생성하고, 데이터 통신 네트워크를 통해 사용자 컴퓨터로 건강 분석 데이터를 전송할 수 있다.

또한, 일부 구현예에서, 기계 학습 모델(130)은 안저 이미지 분석 시스템(100)으로부터 원격에 있는 하나 이상의 컴퓨터들에 의해 구현된다. 이러한 구현예에서, 안저 이미지 분석 시스템(100)은 기계 학습 모델(130)에 대한 입력을 포함하는 네트워크를 통한 API 콜을 수행함으로써 기계 학습 모델(130)에 엑세스할 수 있고, API 콜에 응답하여 모델 출력(132)을 수신할 수 있다.

본 명세서의 설명은 특정한 모델 출력을 생성하는 단일 기계 학습 모델(130)을 일반적으로 기술하지만, 경우에 따라 시스템(100)은 주어진 종류의 모델 출력에 대한 다수의 기계 학습 모델의 앙상블을 포함하거나 또는 그와 통신한다. 각 기계 학습 모델(130)은 동일한 종류의 모델 출력을 생성하고, 시스템(100) 또는 다른 시스템은 앙상블에 의해 생성된 모델 출력을, 예를 들어 모델 출력들의 중심 경향의 측정치를 계산함으로써 결합할 수 있다. 그 후, 결합된 출력은 시스템(100)에 의해 모델 출력(132)으로서 취급될 수 있다.

도 2a는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(200)의 흐름도이다. 편의상, 프로세스(200)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(200)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(202)).

일반적으로, 안저 이미지 데이터는 환자의 눈의 하나 이상의 안저 이미지들을 포함한다.

일부 구현예에서, 안저 이미지 데이터는 단일 안저 이미지 예를 들어, 환자의 안저의 현재 상태를 캡처하는 이미지를 포함한다.

일부 다른 구현예에서, 안저 이미지 데이터는 환자의 안저의 현재 상태를 캡처하는 다수의 안저 이미지를 포함한다. 예를 들면, 안저 이미지 데이터는 환자의 좌안에서 안저의 하나 이상의 이미지들 및 환자의 우안에서 안저의 하나 이상의 이미지들을 포함할 수 있다. 다른 예로서, 안저 이미지들은 여러 상이한 유형의 안저 사진들을 포함할 수 있다. 예를 들어, 안저 이미지들은 컬러 안저 사진, 입체 안저 사진, 와이드 필드 또는 울트라 와이드 필드 안저 사진, 또는 주사 레이저 안검 내시경(SLO) 안저 사진 중 2개 이상을 포함할 수 있다. 또 다른 예로, 안저 이미지들은 OCT(Optical Coherence Tomography) 및 HRT(Heidelberg Retinal Tomography)와 같은 상이한 이미징 기술을 사용하여 캡처한 다수의 이미지들을 포함할 수 있다.

또 다른 구현예에서, 안저 이미지 데이터는 안저의 상태가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 안저 이미지들을 포함한다. 즉, 시간적 시퀀스는 다수의 안저 이미지들을 포함하고, 각각의 안저 이미지는 상이한 시간에 촬영된 것이다. 일부 구현예에서, 안저 이미지들은 가장 오래된 것에서 가장 최근의 것까지의 시간적 시퀀스로 정렬된다.

다른 환자 데이터는 환자의 눈을 나타내는 데이터, 일반적으로 환자를 나타내는데이터 또는 둘 다이다. 예를 들면, 다른 환자 데이터는 안압, 시야, 시력, 중심 각막 두께 등과 같은 안구 측정 데이터와 나이, 성별, 인종, 가족력 등과 같은 환자 인구 통계를 포함할 수 있으며 또는 둘 모두를 포함할 수 있다.

시스템은 출력 모델을 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(204)).

선택적으로, 기계 학습 모델을 사용하여 안저 이미지 데이터를 프로세싱하기 전에, 시스템은 안저 이미지들을 전-처리할 수 있다. 예를 들면, 주어진 이미지에 대해, 시스템은 기계 학습 모델에 의해 생성된 출력의 품질을 향상시키기 위해 이미지에 임의의 다양한 종래의 이미지 프로세싱 기법들을 적용할 수 있다. 예시로서, 시스템은 이미지를 잘라내거나(crop), 크기를 조정하거나(scale), 기울기를 조절(deskew)하거나 또는 다시 중심에 배치(re-center)할 수 있다. 다른 예시로서, 시스템은 통상적인 이미지 프로세싱 기법들을 사용하여 이미지로부터 블러링을 제거하거나 이미지를 다시 포커싱하는 것과 같은 이미지 왜곡을 제거할 수 있다.

안저 이미지 데이터가 단일 안저 이미지을 포함하는 구현예에서, 안저 이미지 프로세싱 기계 학습 모델은 환자의 건강의 특정한 양태를 나타내는 모델 출력을 생성하기 위해 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱하도록 적절하게 라벨링된 트레이닝 데이터에 대해 트레이닝됨으로써 구성된 피드포워드 기계 학습 모델이다. 예를 들면, 안저 이미지 프로세싱 기계 학습 모델은 딥 컨벌루션 신경 네트워크일 수 있다. 본 명세서에 기술된 모델 출력들을 생성하기 위해 안저 이미지를 프로세싱하도록 트레이닝될 수 있는 딥 컨벌루션 신경 네트워크의 일례는 Szegedy, Christian et al. “Going deeper with convolutions” 2015년 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의의 회보에 기술되어 있다. 본 명세서에 기술된 모델 출력들을 생성하기 위해 안저 이미지를 프로세싱하도록 트레이닝될 수 있는 잔류 연결을 가지는 컨벌루션 신경 네트워크들을 포함하는 딥 컨벌루션 신경 네트워크의 다른 예시들은 http://arxiv.org/abs/1602.07261에서 확인할 수 있는 Szegedy, Christian et al. “Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”에 기술되어 있다.

안저 이미지 데이터가 환자의 안저의 현재 상태를 나타내는 다수의 안저 이미지을 포함하는 구현예에서, 안저 이미지 프로세싱 기계 학습 모델은 환자의 건강의 특정한 양태를 나타내는 모델 출력을 생성하기 위해 모든 안저 이미지들을 프로세싱하도록 적절하게 라벨링된 트레이닝 데이터에 대해 트레이닝됨으로써 구성된 피드포워드 안저 이미지 프로세싱 기계 학습 모델이다. 예를 들면, 안저 이미지 프로세싱 기계 학습 모델은 컨벌루션 레이어들의 다수의 타워들을 포함하는 딥 컨벌루션 신경 네트워크일 수 있다. 본 명세서에 기술된 모델 출력들을 생성하기 위해 다수의 안저 이미지들을 프로세싱하도록 트레이닝될 수 있는 딥 컨벌루션 신경 네트워크의 일례는 Yue-Hei Ng, Joe, et al. “Beyond short snippets: Deep networks for video classification,” 2015년 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의의 회보에 기술되어 있다.

상기 안저 이미지 데이터가 안저 이미지들의 시간적 시퀀스를 포함하는 구현예에서, 안저 이미지 프로세싱 기계 학습 모델은 각 이미지에 대해, 순환 안저 이미지 프로세싱 기계 학습 모델의 내부 상태를 업데이트하고, 시간적 시퀀스에서 마지막 이미지가 프로세싱된 후 환자의 건강의 특정한 양태를 나타내는 모델 출력을 생성하기 위해 시간적 시퀀스에서 각 이미지를 하나씩 프로세싱하도록 구성된 순환 안저 이미지 프로세싱 기계 학습 모델일 수 있다. 예를 들면, 안저 이미지 프로세싱 기계 학습 모델은 하나 이상의 장단기 메모리(LSTM) 레이어들을 포함하는 순환 신경 네트워크일 수 있다. 본 명세서에 기술된 모델 출력들을 생성하기 위해 안저 이미지들의 시퀀스를 프로세싱하도록 트레이닝될 수 있는 순환 신경 네트워크는 Venugopalan, Subhashini, et al. “Sequence to sequence-video to text.” 2015년 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의의 회보에 기술되어 있다.

일부 구현예에서, 모델 출력은 특정한 의학적 컨디션에 특정적이다. 특정한 의학적 컨디션에 특정적인 모델 출력은 도 3-6을 참조하여 아래에서 보다 상세히 기술된다.

일부 다른 구현예에서, 모델 출력은 환자 눈의 안저의 장래 상태의 예측이다. 안저의 장래 상태에 대한 예측인 모델 출력은 도 7을 참조하여 아래에서 보다 상세히 기술된다.

또 다른 구현예에서, 모델 출력은 장래에 발생할 특정한 건강 이벤트의 위험성에 대한 예측이다. 발생할 특정한 이벤트의 위험성에 대한 예측인 모델 출력은 도 8을 참조하여 아래에서 보다 상세히 기술된다.

또 다른 구현예에서, 모델 출력은 환자의 전반적 건강을 나타낸다. 환자의 전반적 건강을 나타내는 모델 출력은 도 9를 참조하여 아래에서 보다 상세히 기술된다.

또 다른 구현예에서, 모델 출력은 건강 관련 위험의 특정한 종류에 기여하는 요소들의 값들의 예측이다. 위험 요소들의 값들의 예측인 모델 출력은 도 10을 참조하여 아래에서 보다 상세히 기술된다.

시스템은 모델 출력으로부터 건강 분석 데이터를 생성한다(단계(206)). 일반적으로, 건강 분석 데이터는 시스템의 사용자에게 제시될 수 있는 방식으로 모델 출력을 나타낸다.

또한, 일부 구현예에서, 건강 분석 데이터는 기계 학습 모델이 모델 출력을 생성할 때 포커싱한 안저 이미지 또는 이미지들의 부분들을 설명하는 기계 학습 모델의 중간 출력으로부터 도출된 데이터를 포함한다. 특히, 일부 구현예에서, 기계 학습 모델은 입력 안저 이미지의 다수의 영역들 각각에 대해 각각의 주의 가중치들을 할당하고, 상기 주의 가중치들에 따라 상기 영역들로부터 추출된 피처들에 주의를 기울이는 주의 메커니즘을 포함한다. 이들 구현예에서, 시스템은 주의 가중치들을 식별하는 데이터를 생성하고 건강 분석 데이터의 일부로서 상기 생성된 데이터를 포함한다. 예를 들면, 생성된 데이터는 이미지의 영역들에 할당된 주의 가중치들을 반영하는 안저 이미지의 주의 맵일 수 있다. 예를 들면, 주의 맵은 안저 이미지에 오버레이되어 기계 학습 모델이 모델 출력을 생성할 때 포커싱한 환자의 안저의 구역들을 식별할 수 있다. 기계 학습 모델에 의해 모커싱되었던 안저의 구역들을 식별하는 데이터를 생성하는 것은 도 11을 참조하여 아래에서 보다 상세히 기술된다.

그 다음, 시스템은 사용자 인터페이스(예: 환자의 사용자 컴퓨터 또는 의료진의 컴퓨터)에서 사용자에게 제시하기 위한 건강 분석 데이터를 제공하거나 나중에 사용할 수 있도록 건강 분석 데이터를 저장할 수 있다.

도 2b는 안저 이미지 프로세싱 기계 학습 모델(130)에 의한 예시적 안저 이미지(150)의 프로세싱을 도시한다. 특히, 도 1b의 예에서, 안저 이미지 프로세싱 기계 학습 모델(130)은 안저 이미지(150)를 수신하고, 상기 안저 이미지(150)를 프로세싱하여 환자의 건강의 특정한 양태를 나타내는 모델 출력을 생성하도록 구성된 딥 컨벌루션 신경 네트워크이다.

도 2b에 도시된 컨벌루션 신경 네트워크는 딥 컨벌루션 신경 네트워크의 단순화된 예이며, 완전 연결 레이어들(164)의 세트 및 출력 레이어(166)가 후속하는 컨벌루션 신경 네트워크 레이어들(162)의 세트를 포함한다. 실제적으로, 딥 컨벌루션 신경 네트워크는 다른 유형의 신경 네트워크 레이어들 예를 들어, 풀링 레이어들, 정규화 레이어들 등을 포함할 수 있고, 다수의 모듈들, 다수의 서브네트워크들 등과 같은 다양한 구성들로 구성될 수 있다는 것이 이해될 것이다.

컨벌루션 신경 네트워크에 의한 안저 이미지(150)의 프로세싱 동안, 출력 레이어(166)는 완전 연결 레이어들(164)에서 마지막 완전 연결 레이어에 의해 생성된 출력을 수신하고, 안저 이미지(150)에 대한 모델 출력을 생성한다. 도 2b의 예에서, 모델 출력은 스코어들(170)의 세트이며, 각 스코어는 출력 레이어(166)에서 대응하는 노드에 의해 생성된다. 아래에서 보다 상세히 기술될 바와 같이, 일부 경우에, 스코어들(170)의 세트는 특정한 의학적 컨디션에 특정적이다. 일부 다른 구현예에서, 스코어들(170)의 세트에서 각 스코어는 장래에 발생할 각각의 건강 이벤트의 위험성에 대한 예측이다. 또 다른 경우에, 스코어들(170)의 세트의 스코어들은 환자의 전반적 건강을 나타낸다.

일단 스코어들(170)의 세트가 생성되면, 안저 이미지 분석 시스템은 스코어들(170)로부터 환자 건강의 양태를 나타내는 환자 건강 분석 데이터를 생성하고, 사용자 인터페이스, 예를 들어, 환자의 사용자 컴퓨터 또는 의료진의 컴퓨터상에서 사용자에게 제시하기 위해 건강 분석 데이터를 제공하거나, 장래의 사용을 위해 건강 분석 데이터를 저장하거나 또는 다른 즉각적인 목적으로 사용하기 위해 건강 분석 데이터를 제공한다.

도 3은 특정한 의학적 컨디션에 특정적인 건강 분석 데이터를 생성하기 위한 예시적 프로세스(300)의 흐름도이다. 편의상, 프로세스(300)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(300)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(302)).

시스템은 컨디션 상태 스코어들의 세트를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(304)).

일반적으로, 컨디션 상태 스코어들의 세트는 시스템이 분석하도록 구성된 특정한 의학적 컨디션에 특정적이다.

일부 구현예에서, 의학적 컨디션은 특정한 눈-관련 컨디션이다.

예를 들면, 특정한 눈-관련 컨디션은 녹내장일 수 있다. 일반적으로, 녹내장은 시신경이 손상되어 실명을 초래할 수 있는 컨디션이다.

다른 예로서, 특정한 눈-관련 컨디션은 노인황반변성일 수 있다. 일반적으로, 노인황반변성은 망막 중심 부근의 황반이 열화되어 부분 또는 전체 시력 상실을 초래할 수 있는 컨디션이다.

예를 들면, 특정한 눈-관련 컨디션은 망막 박리일 수 있다. 일반적으로, 망막 박리는 망막이 그 지지 조직의 하부 층으로부터 부분적으로 또는 완전히 분리되는 장애이다.

다른 예시로서, 특정한 눈-관련 컨디션은 안구 폐색일 수 있다. 일반적으로, 안구 폐색은 혈액을 눈의 일부(예를 들어, 망막)에 또는 그로부터 전달하는 혈관의 막힘 또는 폐색이다.

일부 다른 구현예에서, 특정 컨디션은 눈-관련 컨디션이 아닌 신경 퇴행성 컨디션, 예를 들어, 파킨슨병 또는 알츠하이머병 또는 안저 이미지를 이용하여 효과적으로 분석될 수 있는 다른 컨디션이다.

일부 구현예에서, 컨디션 상태 스코어들의 세트는 환자가 의학적 컨디션을 가질 가능성을 표현하는 단일 스코어를 포함한다.

예를 들면, 녹내장(glaucoma)의 경우, 단일 스코어는 환자가 녹내장에 걸릴 가능성을 표현할 수 있다.

예를 들면, 노인황반변성(age-related macular degeneration)의 경우, 단일 스코어는 환자가 노인황반변성에 걸릴 가능성을 표현할 수 있다.

예를 들면, 망막 박리(retinal detachment)의 경우, 단일 스코어는 환자가 망막 박리에 걸릴 가능성을 표현할 수 있다.

예를 들면, 안구 폐색(ocular occlusion)의 경우, 단일 스코어는 환자가 하나 이상의 안구 폐색에 걸릴 가능성을 표현할 수 있다.

예를 들면, 신경 퇴행성 컨디션(eurodegenerative condition)의 경우, 단일 스코어는 환자가 파킨슨병 또는 알츠하이머병과 같은 신행 퇴행성 컨디션에 걸릴 가능성을 표현할 수 있다.

일부 다른 구현 예에서, 컨디션 상태 스코어들의 세트는 의학적 컨디션의 다수의 가능한 레벨들 각각에 대한 각각의 스코어를 포함하고, 각 컨디션 스코어는 대응하는 레벨이 환자에 대한 컨디션의 현재 레벨일 가능성을 표현한다.

예를 들어, 녹내장의 경우, 스코어들의 세트는 녹내장이 없는 경우, 경증 또는 초기 단계 녹내장, 중간 단계 녹내장, 중증 단계 녹내장 및 선택적으로 불확정 또는 불특정 단계에 대한 스코어를 포함할 수 있다.

다른 예로서, 노인황반변성의 경우, 스코어들의 세트는 황반변성이 없는 경우, 초기 단계 황반변성, 중간 단계 황반변성, 중증 단계 황반변성 및 선택적으로 불확정 또는 불특정 단계에 대한 스코어를 포함할 수 있다.

다른 예로서, 망막 박리의 경우, 스코어들의 세트는 망막 박리가 없는 경우, 초기 망막 박리, 즉 단순 망막 열공 또는 망막 박리, 중증 망막 박리 및 선택적으로 불확정 또는 불특정 단계에 대한 스코어를 포함할 수 있다.

다른 예로서, 안구 폐색의 경우, 스코어들의 세트는 안구 폐색이 없는 경우, 경미한 안구 폐색, 심한 안구 폐색 및 선택적으로 불확정 또는 불특정 단계에 대한 스코어를 포함할 수 있다.

다른 예로서, 신경 퇴행성 컨디션의 경우, 스코어들의 세트는 신경 퇴행성 컨디션을 갖지 않는 경우, 신경 퇴행성 컨디션의 다수의 단계들 각각에 대한 스코어 및 선택적으로 불확정 또는 불특정 단계에 대한 스코어를 포함할 수 있다.

시스템은 컨디션 상태 스코어들로부터 건강 분석 데이터를 생성한다(단계(306)). 예를 들면, 시스템은 확자가 의학적 컨디션을 가질 가능성을 식별하거나 또는 가장 높은 컨디션 상태 스코어들 가지는 하나 이상의 컨디션 레벨들을 식별하는 건강 분석 데이터를 생성할 수 있다.

도 4는 환자 후속 조치들을 식별하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(400)의 흐름도이다. 편의상, 프로세스(400)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(400)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(402)).

시스템은 팔로우업 스코어들의 세트를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(404)).

팔로우업 스코어들의 세트는 특정한 의학적 컨디션을 치료하고 위해 환자에 의해 취해질 수 있는 다수의 가능한 팔로우업 액션들 각각에 대한 각각의 스코어를 포함한다. 예를 들면, 가능한 팔로우업 액션들의 세트는 장래에 재검사를 수행하는 것, 장래에 병원에 방문하는 것 그리고 병원에 즉시 방문하는 것을 포함할 수 있다. 각 팔로우업 스코어는 대응하는 팔로우업 액션이 의학적 컨디션을 효과적으로 치료하기 위해 취해질 수 있는 적절한 액션일 가능성을 표현한다.

시스템은 팔로우업 스코어들로부터 건강 분석 데이터를 생성한다(단계(406)). 예를 들면, 시스템은 환자가 가장 높은 팔로우업 스코어를 가지는 팔로우업 액션을 취할 것을 추천하는 건강 분석 데이터를 생성할 수 있다.

도 5는 의학적 컨디션의 진행 가능성을 예측하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(500)의 흐름도이다. 편의상, 프로세스(500)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(500)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(502)).

시스템은 경과(progression) 스코어들의 세트를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(504)). 경과 스코어들의 세트는 시스템이 분석하도록 구성된 특정한 의학적 컨디션에 특정적이다. 컨디션 상태 스코어들의 세트는 의학적 컨디션의 다수의 가능한 레벨들 각각에 대한 각각의 스코어를 포함하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간 예를 들어, 6개월 내, 1년 내 또는 5년 내에 환자에 대한 컨디션의 레벨일 가능성을 표현한다.

예를 들면, 녹내장의 경우, 스코어들의 세트는 녹내장이 없는 경우, 경증 또는 초기 단계 녹내장, 중간 단계 녹내장, 중증 단계 녹내장에 대한 스코어를 포함할 수 있고, 각 단계에 대한 스코어는 대응 단계가 장래에 환자에 대한 녹내장의 단계일 가능성을 표현한다.

예를 들면, 노인황반변성의 경우, 스코어들의 세트는 노인황반변성이 없는 경우, 초기 단계 황반변성, 중간 단계 황반변성, 중증 단계 황반변성에 대한 스코어를 포함할 수 있고, 선택적으로 각 단계에 대한 스코어는 대응 단계가 장래에 환자에 대한 황반변성의 단계일 가능성을 표현한다.

다른 예시로서, 신경 퇴행성 컨디션의 경우, 스코어들의 세트는 신경 퇴행성 컨디션이 없는 경우, 신경 퇴행성 컨디션의 다수의 단계들 각각에 대한 스코어를 포함할 수 있고, 각 단계에 대한 스코어는 대응 단계가 장래에 환자에 대한 컨디션의 단계일 가능성을 표현한다.

시스템은 경과 스코어들로부터 건강 분석 데이터를 생성한다(단계(506)). 건강 분석 데이터는 환자의 의학적 컨디션의 진행 가능성을 식별한다. 예를 들면, 시스템은 하나 이상의 가능한 컨디션 레벨 및 각 가능한 컨디션 레벨에 대해, 대응 레벨이 환자에 대한 컨디션의 장래 레벨일 가능성을 식별하는 건강 분석 데이터를 생성할 수 있다.

도 6은 해당 환자에 대한 의학적 컨디션의 적절한 치료를 예측하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(600)의 흐름도이다. 편의상, 프로세스(600)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(600)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(602)).

시스템은 치료 스코어들의 세트를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(604)).

치료 스코어들의 세트는 주어진 의학적 컨디션에 대한 다수의 가능한 치료들 각각에 대한 각각의 스코어를 포함하며, 각 치료 스코어는 대응하는 치료가 현재 환자에 대한 컨디션에 가장 효율적인 치료일 가능성을 표현한다.

예를 들면, 치료 스코어들의 세트는 의학적 컨디션을 갖는 환자에게 처방될 수 있는 다수의 약물들의 각각에 대한 각각의 점수를 포함할 수 있다.

다른 예시로서, 치료 스코어들의 세트는 주어진 의학적 컨디션에 대한 다수의 치료 계획 각각에 대한 각각의 스코어, 예컨대 하나 이상의 의학적 절차에 대한 각각의 스코어 및 절차를 거치지 않는 재활에 대한 스코어를 포함할 수 있다.

시스템은 경과 스코어들로부터 건강 분석 데이터를 생성한다(단계(606)). 예를 들면, 건강 분석 데이터는 가장 높은 스코어의 치료들 중 하나 이상을 식별할 수 있다.

도 7은 예측된 안저 이미지를 포함하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(700)의 흐름도이다. 편의상, 프로세스(700)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(700)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(702)).

시스템은 예측된 안저 이미지를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(704)).

예를 들어, 6개월 내, 1년 내 또는 5년 내와 같이, 특정한 장래 시점을 보기 위해 예측되는 바에 따라, 예측된 안저 이미지는 환자의 눈의 안저의 이미지이다.

예를 들면, 안저 이미지 프로세싱 기계 학습 모델은 입력 안저 이미지의 각 픽셀에 대해 특정한 장래 시점에 픽셀의 색을 예측하는 트레이닝을 통해 구성된 컨벌루션 신경 네트워크일 수 있다.

다른 예시로서, 안저 이미지 데이터가 안저 이미지들의 시간적 시퀀스를 포함하는 경우, 안저 이미지 프로세싱 기계 학습 모델은 시퀀스에서 가장 최근 안저 이미지의 각 픽셀에 대해 특정한 장래 시점에 픽셀의 색을 예측하는 트레이닝을 통해 구성된 순환 신경 네트워크일 수 있다. 시스템은 예측된 안저 이미지를 생성하기 위해 픽셀들에 대한 예측된 색의 값을 사용할 수 있다.

시스템은 경과 스코어들로부터 건강 분석 데이터를 생성한다(단계(706)). 예를 들면, 건강 분석 데이터는 예측된 안저 이미지 및 선택적으로 추가적 건강 분석 데이터를 포함할 수 있다.

도 8은 건강 이벤트 발생의 위험을 예측하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(800)의 흐름도이다. 편의상, 프로세스(800)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(800)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(802)).

시스템은 위험 스코어들의 세트를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(804)).

일부 구현예에서, 위험 스코어들의 세트는 특정한 종류의 위험을 측정하는 단일 스코어를 포함한다. 예를 들면, 스코어는 환자의 예측된 심혈관계 위험을 측정할 수 있고, 예를 들어 환자의 10년간 심혈관계 위험을 측정하는 예측된 프라밍햄(Framingham) 위험 스코어일 수 있다.

일부 다른 구현예에서, 위험 스코어들의 세트는 특정한 바람직하지 않은 건강 이벤트에 특정적일 수 있다.

예를 들면, 바람직하지 않은 건강 이벤트는 심장 발작, 뇌졸중, 사망, 입원, 추락, 수술 전 또는 수술 후 합병증 등일 수 있다. 이러한 구현의 일부에서, 위험 스코어들의 세트는 바람직하지 않은 건강 이벤트가 장래에(예: 특정된 장래 시간 내에) 발생할 가능성을 표현하는 단일 스코어를 포함합니다. 이러한 구현예의 다른 것들에서, 위험 스코어들의 세트는 다수의 위험 레벨들 예를 들어, 건강 이벤트에 대한 낮음, 중간, 높음 각각에 대한 각각의 스코어를 포함하며, 각 위험 스코어는 대응 위험 레벨이 건강 이벤트 발생의 현재 위험 레벨일 가능성을 표현한다.

또 다른 구현 예에서, 스코어들의 세트는 다수의 스코어들을 포함할 수 있고, 각 스코어는 각각의 바람직하지 않은 건강 이벤트에 대응하고, 대응하는 바람직하지 않은 건강 이벤트가 장래에, 예를 들어 특정된 장래 시간 내에 발생할 가능성을 표현한다.

시스템은 위험 스코어들로부터 건강 분석 데이터를 생성한다(단계(806)). 예를 들면, 스코어들의 세트에 단일 스코어가 포함된 구현예에서, 건강 분석 데이터가 단일 스코어를 식별할 수 있다. 또 다른 예시로서, 스코어들의 세트가 다수의 스코어를 포함하는 경우, 건강 분석 데이터는 가장 높은 스코어의 위험 레벨을 식별할 수 있다.

도 9는 환자의 전반적 건강을 나타내는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(900)의 흐름도이다. 편의상, 프로세스(900)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(900)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(902)).

시스템은 건강성(wellness) 스코어들의 세트를 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(904)).

일부 구현예에서, 건강성 스코어들의 세트는 미리 결정된 척도로 환자의 전반적 건강을 측정하는 단일 스코어를 포함한다.

일부 다른 구현예에서, 건강성 스코어들의 세트는 환자의 전반적 건강을 각각 나타내는 다수의 건강성 라벨 각각에 대한 각각의 스코어를 포함할 수 있다. 예를 들면, 건강성 라벨은 "매우 건강", "건강", "다소 건강이 좋지 않음", "매우 건강하지 못함"일 수 있다. 각 스코어는 대응하는 건강성 라벨이 환자의 현재 건강을 정확하게 나타낼 가능성을 표현한다. 따라서, 건강성 라벨 “매우 건강”에 대한 스코어는 환자가 매우 건강할 가능성을 표현하며, "다소 건강이 좋지 않음” 라벨에 대한 스코어는 환자가 다소 건강에 좋지 않을 가능성을 표현한다.

시스템은 위험 스코어들로부터 건강 분석 데이터를 생성한다(단계(906)). 예를 들면, 스코어들의 세트에 단일 스코어가 포함된 구현예에서, 건강 분석 데이터가 단일 스코어를 식별할 수 있다. 또 다른 예시로서, 스코어들의 세트가 다수의 스코어를 포함하는 경우, 건강 분석 데이터는 가장 높은 스코어의 건강성 라벨을 식별할 수 있다.

도 10은 하나 이상의 위험 요소들에 대한 예측된 값들을 포함하는 건강 분석 데이터를 생성하기 위한 예시적 프로세스(1000)의 흐름도이다. 편의상, 프로세스(1000)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(1000)를 수행할 수 있다.

시스템은 하나 이상의 안저 이미지들을 포함하는 입력 안저 이미지 데이터를 수신한다(단계(1002)).

시스템은 하나 이상의 위험 요소 각각에 대한 각각의 예측된 값을 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터를 프로세싱한다(단계(1004)).

각 위험 요소들 각각은 환자에게 발생하는 건강 관련 이벤트들의 특정한 세트 중 하나의 위험에 기여하는 요소이다. 예를 들면, 위험이 심혈관계 위험인 경우, 건강 관련 이벤트들의 특정한 세트는 주요 심혈관계 건강 이벤트로서 분류되는 건강 이벤트 예를 들어, 심근 경색, 심부전, 경피적 심장 중재, 관상 동맥 우회, 악성 부정맥, 심장 충격, 이식 가능한 심장 세동 제거, 악성 부정맥, 심장 관련 사망 등일 수 있다.

심혈관계 위험의 예를 계속하면, 위험 요소들은 나이, 성별, 체질량 지수, 수축기 혈압, 이완기 혈압, HbA1c(당화혈색소) 또는 흡연 상태 즉, 환자가 담배를 피우는지 여부 중 하나 이상을 포함할 수 있다.

일부 구현예에서, 시스템은 위험 요소들의 상이한 서브셋에 대한 예측된 값을 각각 생성하는 다수의 기계 학습 모델들을 이용할 수 있다. 예를 들면, 한 모델은 두 개의 값들 예를 들어 흡연 상태 및 성별 중 하나만 취할 수 있는 바이너라 위험 요소들에 대한 예측된 값들을 생성할 수 있고, 다른 모델은 일부 값 범위 예를 들어, 나이, 체질량 지수 및 혈압으로부터 연속적 값들을 취할 수 있는 연속적 위험 요소들에 대한 예측된 값들을 생성할 수 있다. 두 모델들 각각은 유사한 아키텍처를 가지지만 상이한 파라미터 값들을 가진다.

시스템은 예측된 값들로부터 건강 분석 데이터를 생성한다(단계(1006)). 예를 들면, 건강 분석 데이터는 각각의 생성된 예측된 값을 식별할 수 있다. 일부 경우에, 시스템은 예측된 값들을 사용하여 특정한 위험의 측정치를 계산하고, 건강 분석 데이터의 일부로 계산된 위험 측정치를 제공할 수 있다. 예를 들면, 시스템은 위험의 측정치를 예측하도록 구성된 다른 기계 학습 모델 또는 계산된 측정치를 획득하기 위해 하드 코딩된 공식에 대한 입력으로서 예측된 값들을 제공할 수 있다. 예를 들면, 심혈관계 위험의 경우, 시스템은 예측된 값들을 사용하여 Framingham 위험 스코어를 계산할 수 있다. 대안적으로, 시스템은 예측된 값들을 위험 요소들의 값에 기초하여 위험 측정치를 예측하도록 트레이닝된 기계 학습 모델에 대한 입력으로서 제공할 수 있다.

도 11은 모델 출력을 생성할 때 기계 학습 모델에 의해 포커싱된 안저 이미지에서의 위치들을 식별하는 데이터를 포함하는 건강 분석 데이터를 생성하기 위한 예시적인 프로세스(1100)의 흐름도이다. 편의상, 프로세스(1100)는 하나 이상의 위치들에 위치된 하나 이상의 컴퓨터들의 시스템에 의해 수행되는 것으로서 기술될 것이다. 예를 들면, 적절하게 프로그래밍된 안저 이미지 분석 시스템 예를 들어, 도 1의 안저 이미지 분석 시스템(100)은 프로세스(1100)를 수행할 수 있다.

시스템은 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 수신한다(단계(1102)).

시스템은 출력 모델을 생성하기 위해 안저 이미지 프로세싱 기계 학습 모델을 사용하여 입력 안저 이미지 데이터 및 선택적으로 다른 환자 데이터를 프로세싱한다(단계(1104)). 모델 출력은 도 2-10을 참조하여 상술한 임의의 모델 출력일 수 있다.

특히, 기계 학습 모델은 차례로 하나 이상의 추가적 신경 네트워크 레이어들이 후속하는, 주의 메커니즘이 후속하는 하나 이상의 초기 컨벌루션 레이어들을 포함하는 모델이다.

초기 컨벌루션 레이어들은 안저 이미지에서 다수의 영역들 각각에 대한 각각의 피처 벡터를 추출하기 위해 안저 이미지 데이터에서 각 안저 이미지를 프로세싱한다.

주의 메커니즘은 안저 이미지에서 영역들 각각에 대한 주의 가중치를 결정하고, 그 다음 주의 출력을 생성하기 위해 대응 주의 가중치들에 따라 피처 벡터들에 주의를 기울인다. 일반적으로, 주의 메커니즘은 피처 벡터들의 가중합 또는 가중평균을 계산함으로써 피처 벡터들에 주의를 기울이며, 각 피처 벡터들에 대한 가중치는 대응 영역에 대한 주의 가중치이다. 주의 가중치들을 결정하기 위해, 시스템은 임의의 다양한 주의 스키마들을 사용하여 피처 벡터들 각각의 관련성을 결정하여 안저 이미지에 대한 모델 출력을 생성하고, 주의 가중치들을 계산하기 위해 결정된 관련성을 정규화한다. 예시적 주의 스카마들은 관련성을 결정하기 위해 하나 이상의 완전 연결 레이어들을 사용하여 피처 벡터들을 프로세싱하는 것과 피처 벡터와 학습된 컨텍스트 벡터 간의 코사인 유사도를 계산함으로써 주어진 피처 벡터의 관련성을 결정하는 것을 포함한다. 안저 이미지 프로세싱 기계 학습 모델에서 사용하기 위해 적용될 수 있는 예시적 주의 메커니즘은 https://arxiv.org/abs/1502.03044의 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention,” Xu et al.에 기술된다.

주의 메커니즘이 후속하는 추가적 신경 네트워크 레이어들은 안저 이미지들 각각에 대한 주의 출력(들)을 수신하고 주의 출력으로부터 모델 출력을 생성한다. 예를 들면, 기계 학습 모델이 순환 신경 네트워크인 경우, 추가적 신경 네트워크 레이어들은 하나 이상의 순환 레이어들을 포함한다. 기계 학습 모델이 컨벌루션 신경 네트워크인 경우, 추가적 신경 네트워크 레이어들은 컨벌루션 신경 네트워크 레이어들, 완전 연결 레이어들 또는 다른 통상적인 피드포워드 신경 네트워크 레이어들을 포함할 수 있다.

시스템은 위험 스코어들로부터 건강 분석 데이터를 생성한다(단계(1106)). 일반적으로, 상기 기술된 바와 같이, 건강 분석 데이터는 시스템의 사용자에게 제시될 수 있는 방식으로 모델 출력을 나타낸다.

또한, 건강 분석 데이터는 기계 학습 모델이 모델 출력을 생성하기 위해 포커싱한 안저 이미지의 구역들을 나타내는 데이터를 포함한다. 특히, 건강 분석 데이터는 안저 이미지에서 영역들에 할당된 주의 가중치를 식별하는 데이터를 포함한다. 예를 들면, 시스템은 안저 이미지의 각 픽셀에 대해, 픽셀에 할당된 주의 가중치, 즉 픽셀이 속하는 이미지의 영역에 대한 주의 가중치를 식별하는 주의 맵를 생성할 수 있다. 예를 들면, 주의 맵은 주의 가중치를 색상으로 표현하는 히트 맵일 수 있다. 일부 구현예에서, 시스템은 해당 안저 이미지의 오버레이로서 주의 맵을 제공한다.

본 명세서는 시스템 및 컴퓨터 프로그램 컴포넌트들과 관련하여 "구성된"이라는 용어를 사용한다. 하나 이상의 컴퓨터들의 시스템은 특정한 동작들 또는 액션 수단들을 수행하도록 구성되며, 상기 시스템에 소프트웨어, 펌웨어, 하드웨어 또는 그들의 조합이 설치되어 동작시 상기 시스템으로 하여금 동작들 또는 액션들을 수행하게 한다. 하나 이상의 컴퓨터 프로그램들은 특정한 동작들 또는 액션 수단들을 수행하도록 구성되며, 상기 하나 이상의 프로그램들은 데이터 프로세싱 장치에 의해 실행될 때, 상기 장치로 하여금 동작들 또는 액션들을 수행하게 하는 명령어들을 포함한다.

본 발명의 실시예들과 본 명세서에 기술된 기능적 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는, 디지털 전자회로에서, 유형적으로 수록된 컴퓨터 소프트웨어 또는 펌웨어에서, 컴퓨터 하드웨어에서 구현될 수 있다. 본 명세서에 기술된 본 발명의 실시예들은 하나 이상의 컴퓨터 프로그램들로서 구현될 수 있다. 즉, 데이터 프로세싱 장치에 의해 실행 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 유형적 비일시적인 저장 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들. 컴퓨터 저장 매체는 기계 판독가능 저장 디바이스, 기계 판독가능 저장 기판, 랜덤 또는 직렬 엑세스 메모리 디바이스 또는 그들 중 하나 이상의 조합일 수 있다. 대안적으로 또는 추가로, 프로그램 명령어들은 데이터 프로세싱 장치에 의해 실행하기 위한 적절한 수신기 장치에 전송하기 위한 정보를 인코딩하기 위해 생성된 인공적으로 생성된 전파된 신호 즉, 기계-생성 전기, 광학 또느전자기적 신호에 인코딩될 수 있다.

용어 “데이터 프로세싱 장치”는 데이터 프로세싱 하드웨어를 지칭하며, 예시로서 프로그래머블 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함하는 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스들 및 기계들을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC (application specific integrated circuit)이거나 특수 목적 논리 회로를 포함할 수 있다. 장치는 하드웨어 이외에 컴퓨터 프로그램들에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 또는 그들 중 하나 이상의 조합을 구성하는 코드를 선택적으로 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 앱, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로도 참조되거나 기술될 수 있음)은 컴파일된 또는 인터프리트된 언어들, 또는 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴으로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 프로그램은 파일 시스템의 파일에 대응할 수 있지만, 반드시 그런 것은 아니다. 프로그램은 다른 프로그램들이나 데이터, 예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 가지는 파일의 부분에, 문제되는 프로그램 전용 단일의 파일에 또는 다수의 조정된 파일들, 예를 들어, 하나 이상의 모듈들, 서브프로그램 또는 코드의 일부를 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 위치되어 있거나 다수의 사이트들에 걸쳐서 분산되어 있고 데이터 통신 네트워크에 의해 상호연결된 다수의 컴퓨터들에서 실행되도록 배포될 수 있다.

본 명세서에서, 용어 "데이터베이스"는 데이터의 임의의 집합을 지칭하기 위해 광범위하게 사용된다: 데이터는 임의의 특정한 방식으로 구조화될 필요가 없거나, 전혀 구조화 될 필요가 없으며, 하나 이상의 위치들에서 저장 디바이스에 저장될 수 있다. 따라서, 예를 들어, 색인은 데이터의 다수의 집합을 포함할 수 있고, 그 각각은 상이하게 조직화되고 액세스될 수 있다.

유사하게, 본 명세서에서 용어 "엔진"은 하나 이상의 특정 기능을 수행하도록 프로그램된 소프트웨어 기반 시스템, 서브시스템 또는 프로세스를 지칭하기 위해 광범위하게 사용된다. 일반적으로 엔진은 하나 이상의 소프트웨어 모듈 또는 컴포넌트들로 구현될 것이며, 하나 이상의 위치들에 있는 하나 이상의 컴퓨터들에 설치된다. 일부 경우에, 하나 이상의 컴퓨터들은 특정한 엔진 전용일 수 있고; 다른 경우에, 다수의 엔진들이 동일한 컴퓨터나 컴퓨터들에 설치되고 실행될 수 있다.

본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래머블 컴퓨터들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름은 특수 목적 논리 회로, 예를 들어 FPGA 또는 ASIC, 에 의해 또는 특수 목적 논리 회로와 하나 이상의 프로그래밍된 컴퓨터의 조합에 의해 수행될 수 있다.

컴퓨터 프로그램의 실행에 적절한 컴퓨터들은 일반적 또는 특수 목적 마이크로프로세서들 또는 둘 모두, 또는 임의의 기타 종류의 중앙 프로세싱 유닛에 기초할 수 있다. 일반적으로, 중앙 프로세싱 유닛은 읽기-전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들을 수행하거나 실행하기 위한 중앙 프로세싱 유닛 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 중앙 프로세싱 유닛 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대형 저장 디바이스들 예를 들면, 자기적, 자기-광학 디스크들 또는 광학적 디스크들 또한 포함하거나 또는 그로부터 데이터를 수신하거나 그에 데이터를 전송하기 위해 동작적으로 결합될 수 있다. 그러나, 컴퓨터는 상기 디바이스들을 반드시 가져야하는 것은 아니다. 추가로, 컴퓨터는 다른 디바이스, 예를 들어, 몇 가지만 나열하면, 모바일 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기 또는 휴대용 저장 디바이스 예를 들어, 범용 직렬 버스 (USB) 플래시 드라이브에 내장될 수 있다.

컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다.

사용자와의 인터렉션을 제공하기 위해, 본 명세서에서 기술된 본 발명의 실시예들은 사용자에게 정보를 디스플레이하기 위해 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와 같은 디스플레이 디바이스 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각적 피드백일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서를 송수신함으로써 예를 들어, 웹 브라우저로부터 수신된 요청에 응답하여, 사용자의 디바이스상의 웹 브라우저에 웹 페이지를 전송함으로써 사용자와 인터렉션할 수 있다. 또한, 컴퓨터는 텍스트 메시지 또는 다른 형태의 메시지를 개인 디바이스(예: 메시징 애플리케이션을 실행 중인 스마트폰)로 보내고, 응답으로 사용자로부터 응답 메시지를 수신함으로써 사용자와 인터렉션할 수 있다.

기계 학습 모델들을 구현하는 데이터 프로세싱 장치는 예를 들어, 기계 학습 트레이닝 또는 생산, 즉 추론, 작업 부하의 공통 및 계산 집중적 부분을 프로세싱하기 위한 특수 목적 하드웨어 가속기 유닛을 포함할 수 있다.

기계 학습 모델들은 기계 학습 프레임 워크(예: TensorFlow 프레임 워크, Microsoft Cognitive Toolkit 프레임 워크, Apache Singa 프레임 워크 또는 Apache MXNet 프레임 워크)를 사용하여 구현 및 배치될 수 있다.

본 명세서에서 기술된 발명의 실시예는 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 애플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 본 발명의 구현예와 인터렉션할 수 있는 웹 브라우저 또는 앱과 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예시들은 LAN(local area network) 및 WAN(wide area network) 예를 들어, 인터넷을 포함한다.

컴퓨팅 시스템은 사용자들 및 서버들을 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 실시예에서, 서버는 예를 들어, 디바이스와 인터렉션하는 사용자에게 데이터를 디스플레이하고 사용자로부터 사용자 입력을 수신하기 위해, 클라이언트로서 동작하는 사용자 디바이스에 데이터(예: HTML 페이지)를 전송한다. 사용자 디바이스에서 생성된 데이터(예를 들어, 사용자 인터렉션의 결과)는 서버에서 디바이스로부터 수신될 수 있다.

본 명세서는 많은 특정 구현 세부내용을 포함하지만, 이들은 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정한 발명의 특정한 실시예에 특정적일 수 있는 구성들에 대한 설명으로 해석되어야 한다. 별개의 실시예의 맥락에서 본 명세서에서 기술되는 일정 구성들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 기술된 다양한 구성들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적합한 서브 조합으로 구현될 수 있다. 게다가, 구성들은 일정 조합으로 동작하고 심지어 초기적으로 그렇게 청구되는 것으로서 상기에서 기술될 수 있지만, 청구된 조합으로부터의 하나 이상의 구성들은 일부 경우, 조합으로부터 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형으로 안내될 수 있다.

유사하게, 동작들이 특정한 순서로 도면에서 도시되고 청구항들에 기재되었지만, 이는 상기 동작들이 도시된 특정한 순서로 또는 시계열적 순서로 수행되어야 함을 요구하는 것으로서 또는 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정 환경에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다. 게다가, 상기 기술된 실시예에서 다양한 시스템 모듈들 및 컴포넌트들의 분리는 모든 실시예에서 그러한 분리가 필요한 것으로서 이해되어서는 안되며, 일반적으로 기술된 프로그램 컴포넌트들 및 시스템들은 단일의 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있다고 이해되어야 한다.

본 발명의 특정한 실시예들이 기술되었다. 다른 실시예들도 다음의 청구항들의 범위 내에 있다. 예를 들면, 청구항들에서 기재된 액션들은 상이한 순서로 수행되고 여전히 원하는 결과들을 달성할 수 있다. 일 예시로서, 첨부 도면들에 도시된 프로세스들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 일부 경우에, 멀티태스킹과 병렬 프로세싱은 이점이 있다.

Claims

방법으로서,
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 단계, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 단계, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지들을 포함하는 상기 모델 입력을 프로세싱하여 녹내장과 관련된 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며;
녹내장과 관련된 상기 환자의 건강의 양태를 분석하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 단계를 포함하는 것을 특징으로 하는 방법.
청구항 1에 있어서, 상기 모델 입력은 안구 측정 데이터를 포함하는 다른 환자 데이터, 환자 인구통계적 데이터 또는 이들 모두를 더 포함하는 것을 특징으로 하는 방법.
청구항 1 또는 2 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 방법.
청구항 1 또는 2 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 방법.
청구항 1 또는 2 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 순환(recurrent) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 방법.
청구항 1 내지 5 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자가 녹내장을 가질 가능성을 표현하는 컨디션 상태 스코어를 포함하는 것을 특징으로 하는 방법.
청구항 1 내지 5 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 컨디션 상태 스코어들을 포함하고, 각 컨디션 상태 스코어는 각각의 녹내장 가능 레벨에 대응하고, 각 컨디션 상태 스코어는 대응하는 녹내장 가능 레벨이 상기 환자에 대한 녹내장의 현재 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 방법.
청구항 1 내지 5 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 팔로우업(follow-up) 스코어들을 포함하며, 각 팔로우업 스코어는 상기 녹내장을 치료하기 위해 상기 환자에 의해 취해질 수 있는 각각의 가능한 팔로우업 액션에 대응하며, 각 팔로우업 스코어는 상기 대응하는 팔로우업 액션이 녹내장을 효과적으로 치료하기 위해 취해질 적절한 액션일 각각의 가능성을 표현하는 것을 특징으로 하는 방법.
청구항 1 내지 5 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 경과(progression) 스코어들을 포함하고, 각 경과 스코어는 각각의 녹내장 가능 레벨에 대응하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간에 상기 환자에 대한 녹내장의 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 방법.
하나 이상의 컴퓨터들과 명령어들이 저장된 하나 이상의 저장 디바이스들을 포함하는 시스템으로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 동작, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 동작, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지들을 포함하는 상기 모델 입력을 프로세싱하여 녹내장과 관련된 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며;
녹내장과 관련된 상기 환자의 건강의 양태를 분석하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 시스템.
청구항 10에 있어서, 상기 모델 입력은 안구 측정 데이터를 포함하는 다른 환자 데이터, 환자 인구통계적 데이터 또는 이들 모두를 더 포함하는 것을 특징으로 하는 시스템.
청구항 10 또는 11 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 시스템.
청구항 10 또는 11 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 시스템.
청구항 10 또는 11 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 순환(recurrent) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 시스템.
청구항 10 내지 14 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자가 녹내장을 가질 가능성을 표현하는 컨디션 상태 스코어를 포함하는 것을 특징으로 하는 시스템.
청구항 10 내지 14 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 컨디션 상태 스코어들을 포함하고, 각 컨디션 상태 스코어는 각각의 녹내장 가능 레벨에 대응하고, 각 컨디션 상태 스코어는 대응하는 녹내장 가능 레벨이 상기 환자에 대한 녹내장의 현재 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 시스템.
청구항 10 내지 14 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 팔로우업(follow-up) 스코어들을 포함하며, 각 팔로우업 스코어는 상기 녹내장을 치료하기 위해 상기 환자에 의해 취해질 수 있는 각각의 가능한 팔로우업 액션에 대응하며, 각 팔로우업 스코어는 상기 대응하는 팔로우업 액션이 녹내장을 효과적으로 치료하기 위해 취해질 적절한 액션일 각각의 가능성을 표현하는 것을 특징으로 하는 시스템.
청구항 10 내지 14 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 경과(progression) 스코어들을 포함하고, 각 경과 스코어는 각각의 녹내장 가능 레벨에 대응하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간에 상기 환자에 대한 녹내장의 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 시스템.
명령어들이 인코딩된 컴퓨터 저장 매체로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 동작, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 동작, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지들을 포함하는 상기 모델 입력을 프로세싱하여 녹내장과 관련된 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며;
녹내장과 관련된 상기 환자의 건강의 양태를 분석하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19에 있어서, 상기 모델 입력은 안구 측정 데이터를 포함하는 다른 환자 데이터, 환자 인구통계적 데이터 또는 이들 모두를 더 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 또는 20 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 또는 20 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 또는 20 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 순환(recurrent) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 내지 23 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자가 녹내장을 가질 가능성을 표현하는 컨디션 상태 스코어를 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 내지 23 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 컨디션 상태 스코어들을 포함하고, 각 컨디션 상태 스코어는 각각의 녹내장 가능 레벨에 대응하고, 각 컨디션 상태 스코어는 대응하는 녹내장 가능 레벨이 상기 환자에 대한 녹내장의 현재 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 내지 23 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 팔로우업(follow-up) 스코어들을 포함하며, 각 팔로우업 스코어는 상기 녹내장을 치료하기 위해 상기 환자에 의해 취해질 수 있는 각각의 가능한 팔로우업 액션에 대응하며, 각 팔로우업 스코어는 상기 대응하는 팔로우업 액션이 녹내장을 효과적으로 치료하기 위해 취해질 적절한 액션일 각각의 가능성을 표현하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 19 내지 23 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 경과(progression) 스코어들을 포함하고, 각 경과 스코어는 각각의 녹내장 가능 레벨에 대응하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간에 상기 환자에 대한 녹내장의 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 컴퓨터 저장 매체.
방법으로서,
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 단계, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 단계, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지들을 포함하는 상기 모델 입력을 프로세싱하여 노인황반변성과 관련된 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며;
노인황반변성과 관련된 상기 환자의 건강의 양태를 분석하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 단계를 포함하는 것을 특징으로 하는 방법.
청구항 28에 있어서, 상기 모델 입력은 안구 측정 데이터를 포함하는 다른 환자 데이터, 환자 인구통계적 데이터 또는 이들 모두를 더 포함하는 것을 특징으로 하는 방법.
청구항 28 또는 29 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 방법.
청구항 28 또는 29 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 방법.
청구항 28 또는 29 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 순환(recurrent) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 방법.
청구항 28 내지 32 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자가 노인황반변성을 가질 가능성을 표현하는 컨디션 상태 스코어를 포함하는 것을 특징으로 하는 방법.
청구항 28 내지 32중 어느 한 항에 있어서, 상기 모델 출력은 복수의 컨디션 상태 스코어들을 포함하고, 각 컨디션 상태 스코어는 각각의 노인황반변성 능 레벨에 대응하고, 각 컨디션 상태 스코어는 대응하는 노인황반변성 능 레벨이 상기 환자에 대한 노인황반변성의 현재 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 방법.
청구항 28 내지 32중 어느 한 항에 있어서, 상기 모델 출력은 복수의 팔로우업(follow-up) 스코어들을 포함하며, 각 팔로우업 스코어는 상기 노인황반변성을 치료하기 위해 상기 환자에 의해 취해질 수 있는 각각의 가능한 팔로우업 액션에 대응하며, 각 팔로우업 스코어는 상기 대응하는 팔로우업 액션이 노인황반변성을 효과적으로 치료하기 위해 취해질 적절한 액션일 각각의 가능성을 표현하는 것을 특징으로 하는 방법.
청구항 28 내지 32중 어느 한 항에 있어서, 상기 모델 출력은 복수의 경과(progression) 스코어들을 포함하고, 각 경과 스코어는 각각의 노인황반변성 가능 레벨에 대응하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간에 상기 환자에 대한 노인황반변성의 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 방법.
하나 이상의 컴퓨터들과 명령어들이 저장된 하나 이상의 저장 디바이스들을 포함하는 시스템으로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 동작, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 동작, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지들을 포함하는 상기 모델 입력을 프로세싱하여 노인황반변성과 관련된 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며;
노인황반변성과 관련된 상기 환자의 건강의 양태를 분석하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 시스템.
청구항 37에 있어서, 상기 모델 입력은 안구 측정 데이터를 포함하는 다른 환자 데이터, 환자 인구통계적 데이터 또는 이들 모두를 더 포함하는 것을 특징으로 하는 시스템.
청구항 37 또는 38 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 시스템.
청구항 37 또는 38 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 시스템.
청구항 37 또는 38 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 순환(recurrent) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 시스템.
청구항 37 내지 41 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자가 노인황반변성을 가질 가능성을 표현하는 컨디션 상태 스코어를 포함하는 것을 특징으로 하는 시스템.
청구항 37 내지 41 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 컨디션 상태 스코어들을 포함하고, 각 컨디션 상태 스코어는 각각의 노인황반변성 능 레벨에 대응하고, 각 컨디션 상태 스코어는 대응하는 노인황반변성 능 레벨이 상기 환자에 대한 노인황반변성의 현재 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 시스템.
청구항 37 내지 41중 어느 한 항에 있어서, 상기 모델 출력은 복수의 팔로우업(follow-up) 스코어들을 포함하며, 각 팔로우업 스코어는 상기 노인황반변성을 치료하기 위해 상기 환자에 의해 취해질 수 있는 각각의 가능한 팔로우업 액션에 대응하며, 각 팔로우업 스코어는 상기 대응하는 팔로우업 액션이 노인황반변성을 효과적으로 치료하기 위해 취해질 적절한 액션일 각각의 가능성을 표현하는 것을 특징으로 하는 시스템.
청구항 37 내지 41중 어느 한 항에 있어서, 상기 모델 출력은 복수의 경과(progression) 스코어들을 포함하고, 각 경과 스코어는 각각의 노인황반변성 가능 레벨에 대응하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간에 상기 환자에 대한 노인황반변성의 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 시스템.
명령어들이 인코딩된 컴퓨터 저장 매체로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 동작, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 동작, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 하나 이상의 안저 이미지들을 포함하는 상기 모델 입력을 프로세싱하여 노인황반변성과 관련된 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며;
노인황반변성과 관련된 상기 환자의 건강의 양태를 분석하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46에 있어서, 상기 모델 입력은 안구 측정 데이터를 포함하는 다른 환자 데이터, 환자 인구통계적 데이터 또는 이들 모두를 더 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 또는 47 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 또는 47 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 피드포워드(feedforward) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 또는 47 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 순환(recurrent) 기계 학습 모델이고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 내지 50중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자가 노인황반변성을 가질 가능성을 표현하는 컨디션 상태 스코어를 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 내지 50중 어느 한 항에 있어서, 상기 모델 출력은 복수의 컨디션 상태 스코어들을 포함하고, 각 컨디션 상태 스코어는 각각의 노인황반변성 능 레벨에 대응하고, 각 컨디션 상태 스코어는 대응하는 노인황반변성 능 레벨이 상기 환자에 대한 노인황반변성의 현재 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 내지 50 어느 한 항에 있어서, 상기 모델 출력은 복수의 팔로우업(follow-up) 스코어들을 포함하며, 각 팔로우업 스코어는 상기 노인황반변성을 치료하기 위해 상기 환자에 의해 취해질 수 있는 각각의 가능한 팔로우업 액션에 대응하며, 각 팔로우업 스코어는 상기 대응하는 팔로우업 액션이 노인황반변성을 효과적으로 치료하기 위해 취해질 적절한 액션일 각각의 가능성을 표현하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 46 내지 50 중 어느 한 항에 있어서, 상기 모델 출력은 복수의 경과(progression) 스코어들을 포함하고, 각 경과 스코어는 각각의 노인황반변성 가능 레벨에 대응하고, 각 컨디션 스코어는 대응하는 레벨이 미리 결정된 장래의 시간에 상기 환자에 대한 노인황반변성의 레벨일 각각의 가능성을 표현하는 것을 특징으로 하는 컴퓨터 저장 매체.
방법으로서,
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 방법, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델 시스템을 사용하여 상기 모델 입력을 프로세싱하는 단계, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 모델 입력을 프로세싱하여 상기 환자에게 일어나는 건강-관련 이벤트들의 특정한 세트의 위험에 기여하는 하나 이상의 위험 요소들에 각각에 대한 각각의 예측된 값을 포함하는 모델 출력을 생성하도록 구성되며;
상기 하나 이상의 위험 요소들에 대한 상기 예측된 값들로부터 도출된 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 단계를 포함하는 것을 특징으로 하는 방법.
청구항 55에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 피드포워드(feedforward) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 방법.
청구항 55에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 피드포워드(feedforward) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 방법.
청구항 55에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 순환(recurrent) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 방법.
청구항 55 내지 58 중 어느 한 항에 있어서, 상기 위험은 심혈관계 위험이며, 상기 건강 관련 이벤트들의 특정한 세트는 주요 심혈관계 건강 이벤트들인 것을 특징으로 하는 방법.
청구항 59에 있어서, 상기 위험 요소들은 나이, 성별, 체질량 지수, 수축기 혈압, 이완기 혈압, HbA1c(당화혈색소)의 측정치 또는 흡연 상태 중 하나 이상을 포함하는 것을 특징으로 하는 방법.
청구항 55 내지 60 중 어느 한 항에 있어서, 상기 하나 이상의 위험 요소들에 대한 상기 예측된 값들로부터 도출된 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 단계는:
상기 위험 요소들에 대한 상기 예측된 값들로부터 상기 위험의 측정치를 계산하는 것을 포함하는 것을 특징으로 하는 방법.
청구항 55 내지 61 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 바이너리 위험 요소들에 대한 예측된 값들을 생성하는 제1 기계 학습 모델과 연속적 값들을 취할 수 있는 위험 요소들에 대한 예측된 값들을 생성하는 제2 기계 학습 모델을 포함하는 것을 특징으로 하는 방법.
청구항 55 내지 62 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 기계 학습 모델들의 앙상블을 포함하는 것을 특징으로 하는 방법.
하나 이상의 컴퓨터들과 명령어들이 저장된 하나 이상의 저장 디바이스들을 포함하는 시스템으로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 동작, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델 시스템을 사용하여 상기 모델 입력을 프로세싱하는 동작, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 모델 입력을 프로세싱하여 상기 환자에게 일어나는 건강-관련 이벤트들의 특정한 세트의 위험에 기여하는 하나 이상의 위험 요소들에 각각에 대한 각각의 예측된 값을 포함하는 모델 출력을 생성하도록 구성되며;
상기 하나 이상의 위험 요소들에 대한 상기 예측된 값들로부터 도출된 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 시스템.
청구항 64에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 피드포워드(feedforward) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 시스템.
청구항 64에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 피드포워드(feedforward) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 시스템.
청구항 64에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 순환(recurrent) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 시스템.
청구항 64 내지 67 중 어느 한 항에 있어서, 상기 위험은 심혈관계 위험이며, 상기 건강 관련 이벤트들의 특정한 세트는 주요 심혈관계 건강 이벤트들인 것을 특징으로 하는 시스템.
청구항 68에 있어서, 상기 위험 요소들은 나이, 성별, 체질량 지수, 수축기 혈압, 이완기 혈압, HbA1c(당화혈색소)의 측정치 또는 흡연 상태 중 하나 이상을 포함하는 것을 특징으로 하는 시스템.
청구항 64 내지 69 중 어느 한 항에 있어서, 상기 하나 이상의 위험 요소들에 대한 상기 예측된 값들로부터 도출된 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작은:
상기 위험 요소들에 대한 상기 예측된 값들로부터 상기 위험의 측정치를 계산하는 것을 포함하는 것을 특징으로 하는 시스템.
청구항 64 내지 70 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 바이너리 위험 요소들에 대한 예측된 값들을 생성하는 제1 기계 학습 모델과 연속적 값들을 취할 수 있는 위험 요소들에 대한 예측된 값들을 생성하는 제2 기계 학습 모델을 포함하는 것을 특징으로 하는 시스템.
청구항 64 내지 71 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 기계 학습 모델들의 앙상블을 포함하는 것을 특징으로 하는 시스템.
명령어들이 인코딩된 컴퓨터 저장 매체로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
하나 이상의 안저 이미지들을 포함하는 모델 입력을 획득하는 동작, 각 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델 시스템을 사용하여 상기 모델 입력을 프로세싱하는 동작, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 모델 입력을 프로세싱하여 상기 환자에게 일어나는 건강-관련 이벤트들의 특정한 세트의 위험에 기여하는 하나 이상의 위험 요소들에 각각에 대한 각각의 예측된 값을 포함하는 모델 출력을 생성하도록 구성되며;
상기 하나 이상의 위험 요소들에 대한 상기 예측된 값들로부터 도출된 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 피드포워드(feedforward) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 캡처하는 단일 안저 이미지를 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 피드포워드(feedforward) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 눈의 안저의 현재 상태를 상이한 양태를 각각 캡처하는 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 순환(recurrent) 기계 학습 모델을 포함하고, 상기 하나 이상의 안저 이미지들은 상기 환자의 안저가 시간에 따라 어떻게 진행했는지를 캡처하는 시간적 시퀀스의 복수의 안저 이미지들을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73 내지 76 중 어느 한 항에 있어서, 상기 위험은 심혈관계 위험이며, 상기 건강 관련 이벤트들의 특정한 세트는 주요 심혈관계 건강 이벤트들인 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 77에 있어서, 상기 위험 요소들은 나이, 성별, 체질량 지수, 수축기 혈압, 이완기 혈압, HbA1c(당화혈색소)의 측정치 또는 흡연 상태 중 하나 이상을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73 내지 78 중 어느 한 항에 있어서, 상기 하나 이상의 위험 요소들에 대한 상기 예측된 값들로부터 도출된 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작은:
상기 위험 요소들에 대한 상기 예측된 값들로부터 상기 위험의 측정치를 계산하는 것을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73 내지 79 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 바이너리 위험 요소들에 대한 예측된 값들을 생성하는 제1 기계 학습 모델과 연속적 값들을 취할 수 있는 위험 요소들에 대한 예측된 값들을 생성하는 제2 기계 학습 모델을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 73 내지 80 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델 시스템은 기계 학습 모델들의 앙상블을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
방법으로서,
안저 이미지를 포함하는 모델 입력을 획득하는 단계, 상기 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 단계;
상기 안저 이미지 프로세싱 기계 학습 모델은 상기 모델 입력을 프로세싱하여 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며,
상기 안저 이미지 프로세싱 기계 학습 모델은 주의 메커니즘(attention mechanism)을 포함하며, 상기 주의 메커니즘은:
상기 안저 이미지 프로세싱 기계 학습 모델의 하나 이상의 초기 레이어들에 의해 생성된 상기 안저 이미지에서의 복수의 영역들 각각에 대한 각각의 피처 벡터를 수신하고,
상기 영역들 각각에 대한 각각의 주의 가중치를 계산하고, 그리고
상기 안저 이미지에서 상기 영역들에 대한 상기 주의 가중치에 따라 상기 피처 벡터들에 주의함으로써 주의 출력을 생성하도록 구성되며;
(i) 상기 환자의 건강의 양태를 분석하는 데이터 및 (ii) 상기 주의 메커니즘에 의해 생성된 상기 주의 가중치들을 식별하는 데이터를 포함하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 단계를 포함하는 것을 특징으로 하는 방법.
청구항 82에 있어서, 상기 상기 주의 가중치들을 식별하는 데이터는 상기 안저 이미지에서 상기 영역들에 대한 상기 주의 가중치들을 특정하는 주의 맵인 것을 특징으로 하는 방법.
청구항 83에 있어서, 상기 주의 맵은 상기 안저 이미지 상에 오버레이되는 것을 특징으로 하는 방법.
청구항 82 내지 84 중 어느 한 항에 있어서, 상기 초기 레이어들은 컨벌루션 레이어들인 것을 특징으로 하는 방법.
청구항 82 내지 85 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 주의 출력을 수신하고, 상기 모델 출력을 생성하기 위해 상기 주의 출력을 프로세싱하도록 구성된 하나 이상의 추가적 레이어들을 더 포함하는 것을 특징으로 하는 방법.
청구항 82 내지 86 중 어느 한 항에 있어서, 상기 모델 입력은 안구 측정 데이터, 환자 인구통계적 데이터 또는 이들 모두를 포함하는 다른 환자 데이터를 더 포함하는 것을 특징으로 하는 방법.
청구항 82 내지 87 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 1 내지 9 중 어느 한 항에서와 같이 녹내장과 관련된 상기 환자의 건강을 나타내는 것을 특징으로 하는 방법.
청구항 82 내지 87 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 28 내지 36 중 어느 한 항에서와 같이 노인황반변성과 관련된 상기 환자의 건강을 나타내는 것을 특징으로 하는 방법.
청구항 82 내지 87 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 55 내지 63 중 어느 한 항에서와 같이 환자에게 발생하는 건강 관련 이벤트들의 특정한 세트의 위험에 기여하는 하나 이상의 위험 요소들 각각에 대한 각각의 예측된 값을 포함하는 것을 특징으로 하는 방법.
청구항 82 내지 87 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자의 전반적 건강을 나타내는 것을 특징으로 하는 방법.
하나 이상의 컴퓨터들과 명령어들이 저장된 하나 이상의 저장 디바이스들을 포함하는 시스템으로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
안저 이미지를 포함하는 모델 입력을 획득하는 동작, 상기 안저 이미지는 환자의 눈의 안저의 이미지이며;
상기 안저 이미지 프로세싱 기계 학습 모델은 상기 모델 입력을 프로세싱하여 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며,
상기 안저 이미지 프로세싱 기계 학습 모델은 주의 메커니즘(attention mechanism)을 포함하며, 상기 주의 메커니즘은:
상기 안저 이미지 프로세싱 기계 학습 모델의 하나 이상의 초기 레이어들에 의해 생성된 상기 안저 이미지에서의 복수의 영역들 각각에 대한 각각의 피처 벡터를 수신하고,
상기 영역들 각각에 대한 각각의 주의 가중치를 계산하고, 그리고
상기 안저 이미지에서 상기 영역들에 대한 상기 주의 가중치에 따라 상기 피처 벡터들에 주의함으로써 주의 출력을 생성하도록 구성되며;
(i) 상기 환자의 건강의 양태를 분석하는 데이터 및 (ii) 상기 주의 메커니즘에 의해 생성된 상기 주의 가중치들을 식별하는 데이터를 포함하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 시스템.
청구항 92에 있어서, 상기 상기 주의 가중치들을 식별하는 데이터는 상기 안저 이미지에서 상기 영역들에 대한 상기 주의 가중치들을 특정하는 주의 맵인 것을 특징으로 하는 시스템.
청구항 93에 있어서, 상기 주의 맵은 상기 안저 이미지 상에 오버레이되는 것을 특징으로 하는 시스템.
청구항 92 내지 94 중 어느 한 항에 있어서, 상기 초기 레이어들은 컨벌루션 레이어들인 것을 특징으로 하는 시스템.
청구항 92 내지 95 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 주의 출력을 수신하고, 상기 모델 출력을 생성하기 위해 상기 주의 출력을 프로세싱하도록 구성된 하나 이상의 추가적 레이어들을 더 포함하는 것을 특징으로 하는 시스템.
청구항 92 내지 96 중 어느 한 항에 있어서, 상기 모델 입력은 안구 측정 데이터, 환자 인구통계적 데이터 또는 이들 모두를 포함하는 다른 환자 데이터를 더 포함하는 것을 특징으로 하는 시스템.
청구항 92 내지 97 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 1 내지 9 중 어느 한 항에서와 같이 녹내장과 관련된 상기 환자의 건강을 나타내는 것을 특징으로 하는 시스템.
청구항 92 내지 97 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 28 내지 36 중 어느 한 항에서와 같이 노인황반변성과 관련된 상기 환자의 건강을 나타내는 것을 특징으로 하는 시스템.
청구항 92 내지 97 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 55 내지 63 중 어느 한 항에서와 같이 환자에게 발생하는 건강 관련 이벤트들의 특정한 세트의 위험에 기여하는 하나 이상의 위험 요소들 각각에 대한 각각의 예측된 값을 포함하는 것을 특징으로 하는 시스템.
청구항 92 내지 97 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자의 전반적 건강을 나타내는 것을 특징으로 하는 시스템.
명령어들이 인코딩된 하나 이상의 컴퓨터 저장 매체로서, 상기 명령어들은 하나 이상의 컴퓨터들에 의해 실행될 때, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하게 하며, 상기 동작들은:
안저 이미지를 포함하는 모델 입력을 획득하는 동작, 상기 안저 이미지는 환자의 눈의 안저의 이미지이며;
안저 이미지 프로세싱 기계 학습 모델을 사용하여 상기 모델 입력을 프로세싱하는 동작;
상기 안저 이미지 프로세싱 기계 학습 모델은 상기 모델 입력을 프로세싱하여 상기 환자의 건강을 나타내는 모델 출력을 생성하도록 구성되며,
상기 안저 이미지 프로세싱 기계 학습 모델은 주의 메커니즘(attention mechanism)을 포함하며, 상기 주의 메커니즘은:
상기 안저 이미지 프로세싱 기계 학습 모델의 하나 이상의 초기 레이어들에 의해 생성된 상기 안저 이미지에서의 복수의 영역들 각각에 대한 각각의 피처 벡터를 수신하고,
상기 영역들 각각에 대한 각각의 주의 가중치를 계산하고, 그리고
상기 안저 이미지에서 상기 영역들에 대한 상기 주의 가중치에 따라 상기 피처 벡터들에 주의함으로써 주의 출력을 생성하도록 구성되며;
(i) 상기 환자의 건강의 양태를 분석하는 데이터 및 (ii) 상기 주의 메커니즘에 의해 생성된 상기 주의 가중치들을 식별하는 데이터를 포함하는 건강 분석 데이터를 생성하기 위해 상기 모델 출력을 프로세싱하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102에 있어서, 상기 상기 주의 가중치들을 식별하는 데이터는 상기 안저 이미지에서 상기 영역들에 대한 상기 주의 가중치들을 특정하는 주의 맵인 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 103에 있어서, 상기 주의 맵은 상기 안저 이미지 상에 오버레이되는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 104 중 어느 한 항에 있어서, 상기 초기 레이어들은 컨벌루션 레이어들인 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 105 중 어느 한 항에 있어서, 상기 안저 이미지 프로세싱 기계 학습 모델은 상기 주의 출력을 수신하고, 상기 모델 출력을 생성하기 위해 상기 주의 출력을 프로세싱하도록 구성된 하나 이상의 추가적 레이어들을 더 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 106 중 어느 한 항에 있어서, 상기 모델 입력은 안구 측정 데이터, 환자 인구통계적 데이터 또는 이들 모두를 포함하는 다른 환자 데이터를 더 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 107 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 1 내지 9 중 어느 한 항에서와 같이 녹내장과 관련된 상기 환자의 건강을 나타내는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 107 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 28 내지 36 중 어느 한 항에서와 같이 노인황반변성과 관련된 상기 환자의 건강을 나타내는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 107 중 어느 한 항에 있어서, 상기 모델 출력은 청구항 55 내지 63 중 어느 한 항에서와 같이 환자에게 발생하는 건강 관련 이벤트들의 특정한 세트의 위험에 기여하는 하나 이상의 위험 요소들 각각에 대한 각각의 예측된 값을 포함하는 것을 특징으로 하는 컴퓨터 저장 매체.
청구항 102 내지 107 중 어느 한 항에 있어서, 상기 모델 출력은 상기 환자의 전반적 건강을 나타내는 것을 특징으로 하는 컴퓨터 저장 매체.