KR102575370B1

KR102575370B1 - 안저영상의 종단적 분석을 위한 안저 변화 검출 방법 및 이를 수행하는 장치

Info

Publication number: KR102575370B1
Application number: KR1020210069166A
Authority: KR
Inventors: 박상준; 김주영; 이수찬
Original assignee: 서울대학교병원; 국민대학교산학협력단
Priority date: 2020-06-12
Filing date: 2021-05-28
Publication date: 2023-09-08
Also published as: KR20210154731A

Abstract

실시예들은 대상자의 안구를 제1 및 제2 시점에서 각각 촬영한 제1 및 제2 안저영상을 획득하는 단계; 안구 내 혈관에 기초하여 제1 및 제2 안저영상을 정합하는 단계; 및 정합 영상에서 제1 안저영상 내 관심영역 및 제2 안저영상 내 관심영역을 검출하는 단계; 및 제1 안저영상의 관심영역 영상과 제2 안저영상 내 관심영역 영상에 기초하여 제1 시점에서 제2 시점 동안의 안저 변화를 검출하는 단계를 포함한 안저 변화 검출 방법 및 이를 수행하는 장치에 관한 것이다.

Description

안저영상의 종단적 분석을 위한 안저 변화 검출 방법 및 이를 수행하는 장치{METHOD FOR DETECTING CHANGE OF FUNDUS FOR LONGITUDINAL ANALYSIS OF FUNDUSIMAGE AND DEVICE PERFORMING THE SAME}

본 출원은 안저 변화를 검출하는 기술에 관한 것으로서, 보다 상세하게는 동일한 대상자의 다른 시점에 촬영한 안저영상을 각 안저영상의 혈관에 기초하여 정합하고 정합된 사진에서 안저 변화를 검출하는 방법 및 이를 수행하는 장치에 관한 것이다.

전문의가 질환을 판단하기위해 현시점에 촬영한 안저영상 뿐만 아니라, 과거 촬영된 안저영상으로부터 변화 여부를 살펴보아야 할 필요가 있다. 따라서 다른 시점에 촬영된 두 안저 영상에서의 종단적 분석을 통해 미세한 변화까지 검출함으로써 전문의 판단을 보조하는 기술이 요구된다.

한국등록특허 제10-1761510호 (2017.07.26.)

본 출원의 일 측면에 따르면 동일한 대상자의 다른 시점에 촬영한 안저영상을 각 안저영상의 혈관에 기초하여 정합하고 정합된 사진에서 안저 변화를 검출함으로써, 안저영상의 종단적 분석을 지원하는 장치를 제공할 수 있다.

이 외에도, 상기 안저 변화 검출 방법 및 이를 수행하게 하는 명령어들을 기록한 컴퓨터 판독가능한 기록매체를 제공할 수 있다.

본 출원의 일 측면에 따른 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 정합 방법은: 대상자의 안구를 제1 및 제2 시점에서 각각 촬영한 제1 및 제2 안저영상을 획득하는 단계; 안구 내 혈관에 기초하여 제1 및 제2 안저영상을 정합하는 단계; 정합 영상에서 제1 안저영상 내 관심영역 및 제2 안저영상 내 관심영역을 검출하는 단계; 및 제1 안저영상의 관심영역 영상과 제2 안저영상 내 관심영역 영상에 기초하여 제1 시점에서 제2 시점 동안의 안저 변화를 검출하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 제1 안저영상과 제2 안저영상을 정합하는 단계는; 제1 및 제2 안저영상의 특징점에 기초하여 제1 안저영상을 제2 안저영상에 정합하는 단계; 상기 제1 안저영상에서 혈관 영역을 나타낸 제1 혈관 마스크를 생성하는 단계; 상기 제2 안저영상에서 혈관 영역을 나타낸 제2 혈관 마스크를 생성하는 단계; 및 상기 제1 혈관 마스크와 제2 혈관 마스크를 변형 정합(deformable registration)하여 제1 안저영상과 제2 안저영상을 재-정합하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 제1 안저영상에서 제1 혈관 마스크를 생성하는 단계는, 상기 제1 안저영상 내 영역 특성에 기초한 혈관 추출 모델을 이용하여 상기 제1 안저영상의 적어도 일부의 혈관 형상을 추출하는 단계; 및 혈관 영역에 대응한 형상을 갖는 혈관 마스크를 생성하는 단계를 포함할 수도 있다. 상기 혈관 추출 모델은 입력영상 내 혈관을 혈관 확률맵(Vessel Probaibility Map)으로 출력하도록 학습된다.

일 실시예에서, 상기 제1 안저영상에서 제1 혈관 마스크를 생성하는 단계는, 추출된 혈관 형상을 혈관 영역으로 포함한 영상을 이진화하여 이진화 혈관 마스크를 생성하는 단계; 이진화 혈관 마스크를 포함한 영상을 반전(inverted) 처리하여 혈관과 외부 경계 사이의 밸리(velly)를 검출하는 단계; 및 밸리 내부가 상기 혈관을 나타내도록 상기 밸리 내부를 채우는 단계를 더 포함할 수도 있다.

일 실시예에서, 상기 제1 및 제2 안저영상의 특징점에 기초하여 제1 안저영상을 제2 안저영상에 정합하는 단계는, 영상의 크기와 회전에 불변하는 특징을 추출하는 특징 서술자를 통해 적어도 하나의 특징점을 상기 제1 및 제2 안저영상에서 추출하는 단계; 상기 제1 및 제2 안저영상에서 추출된 특징점 중 하나 이상의 특징점을 샘플링하는 단계; 및 샘플링된 특징점에 기초하여 상기 제1 및 제2 안저영상을 강체 정합하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 관심영역은 시신경 유두 부분 및 황반 부분 중 하나 이상을 포함한다. 상기 제1 안저영상 내부의 하나 이상의 관심영역을 검출하는 단계는, 상기 정합된 제1 및 제2 안저영상을 제1 관심영역 추정 모델에 적용하여 상기 정합된 제1 및 제2 안저영상에서 관심영역의 위치를 각각 검출할 수도 있다. 상기 제1 관심영역 추정 모델은, 상기 시신경 유두 부분의 x좌표 및 y좌표 중 하나 이상, 또는 상기 황반 부분의 x좌표 및 y좌표 중 하나 이상을 출력하도록 모델링된 것이다.

일 실시예에서, 상기 관심영역은 이상소견 영역을 포함한다. 그러면, 상기 제1 안저영상 내부의 하나 이상의 관심영역을 검출하는 단계는, 상기 정합된 제1 및 제2 안저영상을 제2 관심영역 추정 모델에 적용하여 상기 정합된 제1 및 제2 안저영상에서 관심영역의 위치를 각각 검출할 수도 있다. 상기 제2 관심영역 추정 모델은, 입력된 안저영상이 질환 영상 그룹에 속하는지 여부를 분류하도록 모델링된 것이다.

일 실시예에서, 상기 관심영역은 혈관에 대응하는 영역을 포함한다. 그러면, 상기 혈관 영역의 위치는 제1 안저영상에서 생성된 혈관 마스크의 위치일 수도 있다.

일 실시예에서, 상기 제1 시점과 제2 시점 동안의 안저 변화를 산출하는 단계는, 상기 제1 및 제2 안저영상을 변화 검출 모델에 적용하여 안저 변화를 검출하는 단계를 포함할 수도 있다. 상기 변화 검출 모델은, 상기 제1 및 제2 안저영상에서 제1 특징의 세트 및 제2 특징의 세트를 각각 추출하고, 상기 제1 및 제2 특징의 세트의 특징 간 상관 맵을 산출하고, 상기 상관 맵에 기초하여 상기 제1 및 제2 안저영상의 쌍이 안저 변화를 갖는 그룹에 속하는지 분류하도록 모델링된 것이다.

일 실시예에서, 상기 제1 시점과 제2 시점 동안의 안저 변화를 산출하는 단계는, 상기 제1 안저영상 내 상기 검출된 관심영역과 상기 제2 안저영상 내 상기 검출된 관심영역의 색상을 픽셀 단위로 비교하여 변화를 검출하는 단계를 포함할 수도 있다.

본 출원의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수도 있다. 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 안저 변화 검출 방법을 수행하게 한다.

본 출원의 또 다른 일 측면에 따른 장치는: 안저 카메라에 의해 촬영된 안저영상을 획득하는 영상 획득부 - 상기 안저영상은 제1 시점에 촬영된 대상자의 제1 안저영상 및 제2 시점에 촬영된 상기 대상자의 제2 안저영상을 포함함; 상기 안저영상에서 혈관 영역을 나타낸 혈관 마스크를 생성하고, 상기 제1 및 제2 안저영상의 혈관 마스크에 기초하여 제1 및 제2 안저영상을 정합하는 정합부; 및 정합 결과에 기초하여 제1 시점에서 제2 시점 동안의 안저 변화를 검출하는 안저 변화 검출부를 포함할 수도 있다.

본 출원의 일 측면에 따른 장치는 다른 시점에서 촬영된 대상자의 다수의 안저영상으로부터 안저 변화를 검출할 수 있다. 그 결과 상기 장치는 대상자의 안저 상태를 종단적으로 분석하는 것을 지원할 수 있다.

상기 장치는 이미 구비된 대상자의 다수의 안저영상을 정합할 수도 있다. 그 결과, 상기 장치는 하나의 안저영상 보다 더 넓은 시야각을 갖는, 광각 안저영상을 정합영상으로 생성할 수 있다.

또한, 상기 장치는 촬영 범위가 서로 상이한 안저영상을 정합할 수도 있다. 그 결과, 상기 장치는 횡단적 분석도 지원할 수도 있다.

상기 장치는 종단적/횡단적 분석을 위한 정합 영상과 같은 시각화 영상을 생성하기 위해서, OPTOS 사의 레이저 스캔 장치와 같은 별도의 장치를 사용할 필요가 없다. 또한, 상기 장치는 안저 촬영 환경 및/또는 촬영 기기에 영향을 받지 않고 이러한 시각화 영상을 생성할 수도 있다.

본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 출원 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 제1 측면의 실시예들에 따른, 안저 변화 검출 방법을 수행하는 장치의 개념도이다.
도 2는, 본 출원의 일 실시예에 따른, 안저 변화 검출 방법의 흐름도이다.
도 3은, 본 출원의 일 실시예에 따른, 입력 안저영상의 쌍을 도시한 도면이다.
도 4는, 본 출원의 일 실시예에 따른, 정합 과정의 흐름도이다.
도 5a 및 도 5 b는, 본 출원의 일 실시예에 따른, 혈관의 특징점에 기초한 정합 결과를 도시한 도면이다.
도 6a 내지 도 6d는, 추출된 혈관 마스크를 후처리한 결과를 도시한 도면이다.
도 7 a 및 도 7b는, 본 출원의 일 실시예에 따른, 혈관 마스크를 변형 정합한 결과를 도시한 도면이다.
도 8은, 본 출원의 일 실시예에 따른, 안저 변화를 검출하는 변화 검출 모델의 개념적인 네트워크 구조도이다.
도 9는, 본 발명의 일 실시예에 따른, 시신경 유두/황반 검출 모델의 개략적인 네트워크 아키텍쳐를 도시한다.
도 10은, 본 출원의 제2 측면에 따른, 광각 안저영상을 생성하기 위한 안저영상 정합 방법의 흐름도이다.
도 11은, 도 10의 광각 안저영상을 생성하기 위한 안저영항 정합 방법의 개략도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 출원을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 출원의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 출원의 제1 측면의 실시예들에 따른, 안저 변화 검출 방법을 수행하는 장치의 개념도이다.

도 1을 참조하면, 상기 장치(10)는 안저 카메라(미도시)로부터 안저영상을 획득하도록 구성된다. 상기 장치(10)는 영상 획득부(100); 정합부(300); 및 안저 변화 검출부(500)를 포함할 수도 있다.

실시예들에 따른 상기 장치(10)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

영상 획득부(100)는 대상자의 안구를 촬영한 안저 카메라를 통해 대상자의 안저영상(또는 안저 사진)을 획득한다. 특정 실시예들에서, 안저 카메라는 대상자의 안구를 촬영한 촬영 데이터를 장치(10)로 유/무선 전기 통신을 통해 전송한다. 다른 특정 실시예들에서, 안저 카메라는 상기 장치(10)에 집적될 수도 있다.

상기 안저 카메라는 안저영상을 획득할 수 있는 다양한 안저 카메라를 포함한다. 예를 들어, 상기 안저 카메라는 산동 안저 카메라, 무산동 안저 카메라, OCT 형(type) 안저 카메라 등을 포함할 수 있다. 상기 안저영상 (fundus image)은 망막 안저영상(retinal fundus image)을 포함한다.

일 실시예에서 영상 획득부(100)는 동일한 대상자에 대해 제1 시점에서 촬영한 제1 안저영상과 제2 시점에서 촬영한 제2 안저영상을 획득할 수도 있다. 예를 들어, 제2 시점이 제1 시점으로부터 일정 시간이 지난 시점일 수도 있다.

본 출원의 제1 측면에 따른 특정 실시예들에서, 상기 제1 안저영상과 제2 안저영상은 대상자의 안구 영역 전체 중 특정 서브 영역을 촬영한 안저영상일 수도 있다.

영상 획득부(100)는 대상자의 양안 안저영상 또는 단안 안저영상을 제1 안저영상 또는 제2 안저영상으로 획득할 수도 있다. 예를 들어, 영상 획득부(100)는 제1 양안 안저영상의 쌍을 획득할 수도 있다. 영상 획득부(100)는 제1 단안 안저영상을 획득할 수도 있다. 영상 획득부(100)는 제2 양안 안저영상의 쌍을 획득할 수도 있다. 영상 획득부(100)는 제2 단안 안저영상을 획득할 수도 있다.

또한, 영상 획득부(10)는 안저영상과 관련된 데이터를 획득할 수 있다. 예를 들어, 안저영상과 관련된 데이터는 안저영상의 대상자를 식별할 수 있는 대상자 식별정보(예컨대, 성명, 신원 정보, 식별자 등), 촬영 시점, 및/또는 촬영 기기 관련 정보 등을 포함할 수 있다. 또한, 획득된 안저영상이 좌안의 안저영상인지, 우안의 안저영상인지 여부를 나타내는 레이블 데이터(rabel data)를 더 획득할 수도 있다.

영상 획득부(100)는 대상자의 안저영상 및/또는 안저영상과 관련된 데이터를 정합부(300)에 제공한다. 또한, 영상 획득부(100)는 안저영상을 제공하면서 해당 영상에 관련된 데이터를 함께 제공할 수도 있다.

일 실시예에서 영상 획득부(100)는 동일한 대상자에 대해 제1 시점에서 촬영한 제1 안저영상과 제2 시점에서 촬영한 제2 안저영상을 정합부(300)에 제공할 수도 있다.

정합부(300)는 대상자의 다수의 안저영상을 정합하여 정합 영상을 생성한다. 예를 들어, 정합부(300)는 제1 안저영상을 제2 안저영상에 정합할 수도 있다.

일 실시예에서, 정합부(300)는 제1 및 제2 안저영상의 혈관 영역에 기초하여 제1 안저영상과 제2 안저영상을 정합할 수도 있다. 이를 위해, 정합부(300)는 안저영상에서 혈관 영역을 추출할 수도 있다. 특정 실시예들에서, 정합부(300)는 정합을 위해 혈관 마스크를 생성할 수도 있다.

안저 변화 검출부(500)는 정합 영상을 이용하여 안저 변화를 검출한다. 상기 안저 변화는 안저 변화 발생 여부, 안저 변화량 등을 포함할 수도 있다. 상기 안저 변화량은, 예를 들어, 면적 변화, 색상 변화 등을 포함할 수도 있다.

일 실시예에서, 안저 변화 검출부(500)는 제1 안저영상 내 관심영역과 제2 안저영상 내 관심영역에 기초하여 안저 변화를 검출할 수도 있다. 각각의 관심영역은 정합 영상을 기준으로 결정된다. 예를 들어, 안저 변화 검출부(500)는 정합 영상의 좌표를 기준으로 제1 안저영상의 관심영역을 검출할 수도 있다.

안저 변화 검출부(500)는 안저영상 내 일부로부터 안저영상의 관심영역 영상을 생성함으로써, 관심영역을 검출할 수도 있다. 그러면, 안저 변화 검출부(500)는 두 개의 관심영역 영상을 비교하여 안저 변화를 검출할 수도 있다.

제1 시점에 촬영된 제1 양안 안저 사진의 쌍과 제2 시점에 촬영된 제2 양안 안저 사진의 쌍을 이용하는 경우, 상기 장치(10)는 대응하는 안구별로 전술한 동작을 수행할 수도 있다. 예를 들어, 상기 장치(10)는 좌안의 제1 안저 사진과 좌안의 제2 안저 사진을 정합하여 안저 변화를 검출하거나, 또는 우안의 제1 안저 사진과 우안의 제2 안저 사진을 정합하여 안저 변화를 검출할 수도 있다.

이러한 정합부(300) 및 안저 변화 검출부(500)의 동작에 대해서는 아래의 도 2 등을 기초로 보다 상세하게 서술한다.

본 출원의 다른 일 측면에 따른 안저 변화 검출 방법은 프로세서를 포함한 컴퓨팅 장치(예를 들어, 도 1의 장치(10))에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해, 상기 도 1의 장치(10)에 의해 수행되는 실시예들에 기초하여 본 출원을 보다 상세하게 서술한다.

도 2는, 본 출원의 일 실시예에 따른, 안저 변화 검출 방법의 흐름도이다.

도 2를 참조하면, 상기 안저 변화 검출 방법은: 대상자의 안구를 촬영한 안저영상을 획득하는 단계(S100))를 포함한다. 상기 단계(S100))는 제1 시점에서 대상자의 안구를 촬영한 제1 안저영상을 획득하는 단계를 포함한다. 상기 단계(S100))는 제2 시점에서 대상자의 안구를 촬영하여 제2 안저영상을 획득하는 단계를 포함한다.

또한, 제1 안저영상과 제2 안저영상에 촬영 영역은 일부 또는 전부를 공유할 수도 있다. 제1 안저영상과 제2 안저영상은 반드시 촬영 영역이 일치하는 것이 요구되지 않는다.

도 3은, 본 출원의 일 실시예에 따른, 입력 안저영상의 쌍을 도시한 도면이다.

예를 들어, 도 3의 상단에 도시된 바와 같이 하나의 안저영상(예컨대, 제1 안저영상)은 시신경 유두(optic disc) 부분을 포커싱 중심으로 촬영한 안저영상일 수도 있다. 도 3의 하단에 도시된 바와 같이 다른 안저영상(예컨대, 제2 안저영상)은 황반부오목(foveolar) 부분을 포커싱 중심으로 촬영한 안저영상일 수도 있다. 또한, 그 반대일 수도 있다.

다시 도 2를 참조하면, 상기 안저 변화 검출 방법은: 제1 안저영상 및 제2 안저영상의 특징점에 기초하여 상기 제1 안저영상과 제2 안저영상을 정합하는 단계(S300)를 포함한다.

도 4는, 본 출원의 일 실시예에 따른, 정합 과정의 흐름도이다.

도 4를 참조하면, 상기 단계(S300)는 안저영상 내 특징점 기반 매칭을 통해 제1 안저영상과 제2 안저영상을 정합하는 단계(S310)를 포함할 수도 있다.

단계(S310)는 안저영상 내 특징점을 추출하는 단계를 포함할 수도 있다. 상기 특징점은 영상을 매칭하는데 있어서 주위 배경과 구분되면서 식별이 용이한 지점을 포함한다.

일 실시예에서, 특징점은 혈관과 관련된 특징점을 포함할 수도 있다. 예를 들어, 혈관 형상 또는 에지에 포함된 특징점을 포함할 수도 있다. 일부 실시예에서, 상기 안저영상 내 특징점은 추출된 혈관, 예컨대 혈관 마스크의 특징점을 포함할 수도 있다.

단계(S310)에서 특징 서술자(descriptor) 기반 다양한 특징 추출 알고리즘을 통해 입력영상(예컨대, 제1 혈관 마스크)에서 특징점을 추출할 수도 있다. 상기 특징 추출 알고리즘은, 예를 들어 DoG(Difference of Gaussian)를 기반으로 영상 축 및/또는 스케일 축으로 코너성이 극대인 점을 추출하는 SIFT(Scale Invariaant Feature Trnasform)을 포함할 수도 있으나, 이에 제한되진 않는다. 단계(S310)에서 다수의 특징점을 포함한 특징점 세트가 추출될 수도 있다.

상기 단계(S310)에서 특징점 기반 매칭은 픽셀 도메인에서 수행될 수도 있다.

상기 단계 (S310)에서, 상기 제1 안저영상으로부터 추출된 제1 특징점 세트와 상기 제1 안저영상으로부터 추출된 제2 특징점 세트를 각각 강체 정합(rigid registration)함으로써, 제1 안저영상과 제2 안저영상을 정합할 수도 있다.

일 실시예에서, 상기 단계(S310)는, 원근 변환 행렬을 이용하여 제1 특징점 세트와 제2 특징점 세트를 정합하는 단계를 포함할 수도 있다. 일부 실시예에서, 상기 단계(S310)는 RANSAC 알고리즘을 더 이용하여 제1 특징점 세트와 제2 특징점 세트를 정합할 수도 있다. 예를 들어, 원근 변환 행렬을 이용하여 제1 특징점 세트와 제2 특징점 세트를 정합하는 과정에서, RANSAC 알고리즘을 통해 각 세트의 특징점 간의 매칭도를 최대화하는 값을 산출함으로써, 특징점 기반 매칭을 수행할 수도 있다.

도 5a 및 도 5 b는, 본 출원의 일 실시예에 따른, 혈관의 특징점에 기초한 정합 결과를 도시한 도면이다.

도 5a 및 도 5b를 참조하면, 혈관의 특징점에 기초하여 제1 안저영상과 제2 안저영상이 정합된다(S310).

또한 도 5b를 참조하면, 혈관의 특징점을 매칭하여 제1 안저영상과 제2 안저영상이 정합된, 도 5a의 결과를 시각화한 정합영상을 획득할 수도 있다(S310).

다시 도 4를 참조하면, 상기 단계(S300)는: 안저영상에서 혈관 영역을 추출하는 단계를 포함(S330)한다. 상기 단계(S330)는 제1 안저영상에서 혈관 영역을 추출하는 단계; 및 제2 안저영상에서 혈관 영역을 추출하는 단계를 포함한다. 단계(S330)에서는 혈관을 추출하기 위해 혈관 영역에 대응한 형상을 갖는 마스크(이하, “혈관 마스크”)를 생성할 수도 있다. 상기 혈관 마스크는 안저영상 내 적어도 일부의 혈관의 외곽선을 포함할 수도 있다. 또한, 상기 혈관 마스크는 혈관 외부와 혈관 영역이 시각적으로 구별되도록 구성될 수도 있다.

일 실시예에서, 상기 혈관 영역은 안저영상 내 영역 특성에 기초하여 학습된 기계 학습 모델을 이용하여 안저영상으로부터 추출된다. 상기 딥러닝 모델은 입력되는 안저영상 내부 영역의 혈관을 혈관 확률맵(Vessel Probaibility Map)으로 출력하도록 학습된다.

상기 혈관 추출 모델은 딥러닝 구조를 갖는 기계 학습 모델로서, 특징 추출 레이어; 및 분류 레이어를 포함할 수도 있다.

상기 특징 추출 레이어는 입력영상의 부분을 혈관 클래스로 분류하는데 사용되는 특징을 추출하도록 구성된다. 상기 혈관 추출 모델이 CNN (Convolutional Neural Network) 기반 모델인 경우, 상기 특징 추출 레이어는 컨볼루션 레이어 및/또는 풀링 레이어를 포함할 수도 있다.

분류 레이어는 추출된 특징에 기초하여 영상 내 부분(예컨대, 픽셀 또는 픽셀 집합)이 혈관 클래스로 분류될 확률을 산출하도록 구성된 분류 레이어를 포함한다. 그러면, 안저영상 내 픽셀별로 해당 픽셀이 혈관일 확률을 포함한 혈관 확률맵이 산출된다.

단계(S330)에서 산출된 혈관 확률맵에 기초하여 혈관 형상이 결정된다. 특정 실시예들에서, 산출된 혈관 확률맵에 기초한 혈관 형상에 대응하는 마스크가 안구 혈관 마스크로 생성될 수도 있다.

일부 실시예들에서, 분류 레이어는 산출된 확률에 기초하여 혈관 클래스와 비-혈관 클래스로 분류하도록 더 구성될 수도 있다. 이 경우, 단계(S330)에서 혈관 클래스로 분류된 픽셀로 이루어진 혈관 영역의 영상을 생성할 수도 있다.

상기 혈관 추출 모델은 CNN (Convolutional Neural Network) 기반의 다양한 구조를 가질 수도 있다. 상기 혈관 추출 모델은 입력영상에서 특징을 추출하는 레이어; 및 추출된 특징에 기초하여 영상 내 부분(예컨대, 픽셀)이 혈관 클래스로 분류될 확률을 산출하도록 구성된 분류 레이어를 포함한다. 상기 혈관 추출 모델은, 예를 들어 SSANet, 또는 Rential SSANet 기반 구조를 포함할 수도 있으나, 이에 제한되진 않는다.

상기 혈관 추출 모델은 복수의 훈련 안저영상(training fundus image)를 포함한 훈련 샘플을 이용하여, 영상 내 부분(예컨대, 픽셀)이 혈관 그룹에 속할 확률을 산출하도록 학습된다. 상기 혈관 추출 모델은 입력영상 부분(예컨대, 픽셀)의 클래스 분류를 위한 확률 값 산출 또는 클래스 분류를 학습 목적으로 갖는 다양한 학습 과정에 의해 학습된 모델일 수도 있다.

예를 들어, 안저영상을 입력으로 갖는 혈관 추출 모델의 파라미터는 해당 모델의 비용 함수가 최소가되는 방향으로 업데이트되어 학습될 수도 있다. 여기서, 비용 함수는 모델이 산출한 결과 값과 실제 결과 값의 차이를 나타낸다. 이러한 파라미터의 학습은 통상적으로 최적화로 지칭된다. 파라미터의 최적화는, 예를 들어 ADAM(Adaptive Moment Estimation), Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp, 다양한 경사 하강(gradient discent) 방식을 포함할 수도 있다.

이러한 학습 과정을 통해 혈관 추출 모델은 안저영상에서 실제 혈관에 대해서는 보다 높은 확률 값을 산출하고 비-혈관에 대해서는 보다 낮은 확률 값을 산출하는 능력이 강화되도록 학습된다. 또한, 확률 값 산출 능력의 강화로 인해, 혈관 영역의 식별 능력도 강화될 수도 있다.

단계(S330)에서 추출된 혈관 확률맵에 기초하여 혈관 형상이 결정된다. 특정 실시예들에서, 추출된 혈관 확률맵에 기초한 혈관 형상에 대응하는 마스크가 안구 혈관 마스크로 생성될 수도 있다.

또한, 일 실시예에서, 단계(S330)는 추출된 혈관 확률맵에 기초한 혈관 형상을 후처리하는 단계를 더 포함할 수도 있다. 그러면, 산출된 혈관 확률맵에만 기초한 혈관 마스크 보다 더 정확하고 개선된 혈관 마스크를 생성할 수도 있다. 후처리 과정은 이진화 및/또는 혈관 형상의 경계를 재정의하는 과정을 포함한다.

도 6a 내지 도 6d는, 추출된 혈관 마스크를 후처리한 결과를 도시한 도면이다.

상기 일 실시예에서, 상기 후처리 단계는: 입력영상에 이중 역치 기법(hysteresis thresholding)을 적용해 이진화하여 이진화 혈관 마스크(binarized fundus mask)를 생성하는 단계를 포함할 수도 있다.

도 6a에 도시된 바와 같이, 단계(S330)에서 산출된 혈관 확률맵에 기초한 혈관 영역의 영상이 생성될 수도 있다. 도 6a의 영상에 이중 영치 기법이 적용된다.

이중 역치 기법은 상한 임계 값과 하한 임계 값을 이용하여 타겟 데이터를 결정하는 기법이다. 가는 혈관(filamentray vessels)이 영상에서 끊겨보이는 오차를 방지하기 위해, 단계(S300)에서 입력영상의 혈관 영역을 미리 설정된 제1 임계 값(τl)과 제2 임계 값(τh)을 기준으로 이진화한다. 제2 임계 값(τh)은 제1 임계 값(τl) 보다 높은 임계 값일 수도 있다. 더 낮은 임계 값(τl) 보다 높은 확률을 갖는 픽셀이 성장하는 지역에 대한 시드로서 제2 임계 값(τh)을 넘는 픽셀이 사용된다. 제1 임계 값과 제2 임계 값은, 예컨대 τ1 = 0. 1, τh = 0.75 등과 같은, 경험적인 값일 수도 있다.

이러한 이중 임계 기법에 의해, 혈관 형상의 경계가 제1 임계 값 보다 높은 확률을 갖는 픽셀의 영역으로 성장된다. 성장 결과에 기초하여 이진화 혈관 마스크가 생성될 수도 있다.

또한, 상기 후처리 단계는: 안저영상의 이미지 그라디언트에 대한 혈관 경계를 정렬하기 위해 혈관 마스크를 미세 조정하는 단계를 포함할 수도 있다.

이를 위해, 상기 후처리 단계는: 이진화 영상에서 혈관과 외부 경계 사이의 밸리(valley)를 검출하는 단계; 및 상기 밸리 내부를 채우는 단계를 포함할 수도 있다. 이진화 영상을 반전(inverted)하면, 혈관과 외부 경계 사이의 영역이 보다 선명하게 구분된다. 예를 들어, 도 6b에는 혈관 영역으로 동일하게 표현되었던 다수의 영역들(예컨대 혈관 내부, 외부 경계, 및/또는 혈관 두께 등을 나타낸 혈관과 외부 경계 사이의 영역)이 도 6c에 도시된 바와 같이 보다 선명하게 구분된다. 이러한 반전된 이진화 영상에서 혈관과 외부 경계 사이의 밸리 영역을 검출하고, 밸리 영역의 내부를 채우는 영상 처리가 수행된다. 그려면 도 6a의 부분확대도에 도시된 초기 혈관 마스크에는 혈관 사이가 연결되어 있었던 오차 부분이 도 6d에 도시된 바와 같이 제거되고, 결국 혈관 확률맵에만 기초한 마스크를 개선하여 최종적인 혈관 마스크로 생성할 수도 있다. 단계(S330)에서 밸리 내부를 채우는 과정은, 예를 들어, 이미지 침식(erosion) 처리를 통해서 수행될 수도 있다.

이러한 단계(S330)의 과정들이 제1 안저영상 및/또는 제2 안저영상에 적용되면, 제1 안저영상 및/또는 제2 안저영상의 혈관 마스크가 획득된다(S330).

다시 도 5를 참조하면, 상기 단계(S300)는, 제1 혈관 마스크와 제2 혈관 마스크를 변형 정합하여 제1 안저영상과 제2 안저영상을 정합하는 단계(S350)를 포함할 수도 있다. 특정 실시예들에서, 상기 단계(S350)는 단계(S310)의 특징점 기반 정합 이후에 수행될 수도 있다.

변형 정합(deformable registration)은 정합 대상을 자유롭게 변형 가능한 비선형 형태의 정합이다. 예를 들어, 직선의 정합 대상을 곡선, 사각형 또는 원형 등의 형태로 변형 가능할 수도 있다.

단계(S350)에서 수행되는 변형 정합 알고리즘은, 예를 들어, B-Spline 알고리즘을 포함할 수도 있다. B-Spline 알고리즘은 두 영상 간의 픽셀 유사도가 높아지는 방향으로 반복적으로 최적화하는 정합 알고리즘이다. 가장 높은 유사도를 갖게 하는 파라미터를 결정하여 최적화된 정합 결과를 산출한다.

일 실시예에서, 단계(S350)에서 제1 및 제2 안저영상을 정합하기 위해, 제1 혈관 마스크 및 제2 혈관 마스크를 변형 정합할 수도 있다. 단계(S200)에서 전술한 바와 같이, 제1 혈관 마스크 및 제2 혈관 마스크가 혈관 추출 모델에 의해 생성된 경우, 변형 정합의 입력은 보다 정교하게 추출된 혈관 영역을 기반으로 수행된다.

예를 들어, 제1 혈관 마스크를 소스형상으로 제2 혈관 마스크를 타겟형상으로 사용하여 B-Spline 알고리즘을 적용하면, 제1 혈관 마스크의 하나 이상의 제어점을 추출하고 제1 혈관 마스크의 형상을 제2 혈관 마스크와의 픽셀 유사도롤 극대화하는 최적화 곡선을 갖도록 변형할 수도 있다. 그러면, 제1 혈관 마스크와 제2 혈관 마스크가 특징점 기반 정합 결과에 존재하는 오차들이 미세 조정되도록 재-정합될 수도 있다.

도 7 a 및 도 7b는, 본 출원의 일 실시예에 따른, 혈관 마스크를 변형 정합한 결과를 도시한 도면이다.

도 7a를 참조하면, 단계(S300)에서 혈관 마스크를 변형 정합하여 특징점 기반의 정합 결과에서 존재하는 오류들을 미세 조정함으로써 보다 정교한 정합 결과를 획득할 수도 있다.

강체 정합만 수행될 경우 혈관의 일부는 정확하게 매칭되지 않을 수도 있다(S310). 예를 들어, 도 5a에 도시된 바와 같이, 특징점 기반 정합만을 수행한 경우에는 시신경 유두 부분에서 멀어질수록 정합이 상대적으로 정교하게 되지 않았을 수도 있다. 그러나, 도 7a에 도시된 바와 같이 변형 정합이 더 적용된 경우 제1 안저영상과 제2 안저영상이 비-강체 정합되어, 정교한 정합 결과를 획득할 수도 있다(S350).

또한, 도 7b에 도시된 바와 같이 미세 조정되도록 제1 안저영상과 제2 안저영상이 정합된 결과를 시각화한 정합영상을 획득할 수도 있다.

이와 같은 특징점 기반 정합 및 변형 정합으로 이루어진 이단 정합을 통해 보다 정확한 정합영상을 얻을 수도 잇다.

상기 안저 변화 검출 방법은: 정합 영상을 기준으로 제1 안저영상과 제2 안저영상을 비교하여, 제1 시점으로부터 제2 시점까지의 안저 변화를 검출하는 단계(S500)를 포함한다.

다시 도 2를 참조하면, 상기 안저 변화 검출 방법은: 단계(S500) 이전에, 정합 영상에서 관심영역을 검출하는 단계(S400)를 포함할 수도 있다

관심영역은 안저영상에서 유의미한 안저 변화가 검출되는 부분을 나타낸다. 일 실시예에서, 관심영역은 시신경 유두 부분, 황반 부분, 및/또는 혈관 부분을 포함할 수도 있다. 또한, 일부 실시예들에서, 관심영역은 이상소견 부분을 더 포함할 수도 있다.

관심영역이 시신경 유두 부분 및/또는 황반 부분을 포함한 경우, 상기 단계(S400)는 단계(S300)의 정합 영상을 제1 관심영역 추정 모델에 적용하는 단계를 포함한다.

상기 제1 관심영역 추정 모델은 입력영상에서 특징을 추출하여 관심대상을 검출하도록 구성된다. 상기 제1 관심영역 추정 모델은 CNN 기반 구조를 포함하는 딥러닝 모델일 수도 있다.

일부 실시예들에서, 상기 제1 관심영역 추정 모델은 잔차 블록(Residual block)을 포함한 기계학습 모델일 수도 있다. 상기 잔차 블록은 깊은 구조(deep structure)를 갖는 CNN 기반 모델에 있어 기존의 스택 구조(stacked structure)에 일종의 스킵 연결(skip connection)(또는 숏컷(shortcut) 연결로 지칭됨)을 추가한 구조를 가진다. 잔차 블록에서는 입력이 x이면, 최종적으로 학습해야할 데이터는 H(x)이다. 상기 H(x)는 F(x) + x로서, F(x) = H(x) - x로 표현될 수 있다. 따라서, 잔차 블록은 가중치 레이어를 통해 쌓여진 출력 H(x)와 입력 간의 잔차(residual)를 학습함으로써 결과적으로 원래 학습을 의도한 결과 F(x)를 얻을 수 있다. 이와 같이, 잔차만 학습하면 되는 잔차 학습 블록 구조를 갖는 CNN 모델의 학습은 잔차 학습(residual learning)으로 지칭될 수 있다.

상기 제1 관심영역 추정 모델은, 예를 들어, ResNet 기반 구조를 포함하는 모델일 수도 있으나, 이에 제한되진 않는다.

일 실시예에서, 상기 제1 관심영역 추정 모델은 정합 영상에서 시신경 유두 부분의 x좌표 및 y좌표 중 하나 이상 및/또는 상기 황반 부분의 x좌표 및 y좌표 중 하나 이상을 출력하도록 학습된 모델일 수도 있다. 예를 들어, 상기 제1 관심영역 추정 모델은 하나의 입력영상(예컨대, 정합 영상)에서 최대 4개의 좌표를 산출하도록 구성될 수도 있다.

상기 제1 관심영역 추정 모델은 시신경 유두 부분의 좌표에 기초하여 입력영상에서 시신경 유두 부분을 결정할 수도 있다. 또한, 상기 제1 관심영역 추정 모델은 황반 부분의 좌표에 기초하여 입력영상에서 황반 부분을 결정할 수도 있다.

그러면, 정합 영상을 기준으로 제1 안저영상 내 관심영역의 위치 및 제2 안저영상 내 관심영역의 위치가 출력되고, 결국 정합 영상을 기준으로 제1 안저영상 내 관심영역와 제2 안저영상 내 관심영역이 검출될 수도 있다.

이러한 제1 관심영역 추정 모델의 학습 과정은 전술한 혈관 추출 모델과 유사하므로, 자세한 설명은 생략한다.

관심영역이 혈관 부분을 포함한 경우, 단계(S200)에서 추출된 혈관 마스크를 관심영역으로 결정하는 단계를 포함한다. 단계(S200)에서 추출된 혈관 마스크를 정합 영상의 좌표로 표현함으로써, 정합 영상을 기준으로 제1 안저영상 및 제2 안저영상에서 관심영역의 혈관 영역을 검출할 수도 있다.

관심영역이 이상소견 영역을 포함한 경우, 단계(S300)의 정합 영상을 제2 관심영역 추정 모델에 적용하는 단계를 포함한다.

상기 이상소견 영역은 안구 관련 질환이 발병할 경우 변화가 발생 가능한 후보 영역을 포함한다. 상기 이상소견 영역은, 예를 들어, 질환이 발병할 경우 활성화되는 영상 영역 위치를 포함할 수도 있다. 즉, 상기 이상소견 영역은 촬영된 안저영상 내에 실제로 이상이 나타나 이상소견 대상의 영역을 지칭하는 것이 아니다.

단계(S400)에서 상기 정합된 제1 및 제2 안저영상을 제2 관심영역 추정 모델에 적용하여 상기 정합된 제1 및 제2 안저영상에서 관심영역의 위치를 각각 검출할 수도 있다.

상기 제2 관심영역 추정 모델은, 입력된 안저영상이 질환 영상 그룹에 속하는지 여부를 분류하도록 학습된 기계 학습 모델이다.

일 실시예에서, 상기 제2 관심영역 추정 모델은, 컨볼루션 레이어를 통해 특징맵을 풀링 처리 GAP(global average pooling) 하고 채널별 가중치를 특징맵에 곱한 후에 합쳐(sum) CAM(Class Activation Map)을 산출하도록 구성될 수도 있다. 여기서, 채널은 완전연결 레이어의 입력 사이즈를 결정하는 요소이다.

다시 도 2를 참조하면, 상기 안저 변화 검출 방법은: 제1 및 제2 안저영역의 관심영역에 기초하여 안저 변화를 검출하는 단계(S500)를 포함한다. 단계(S500)에서 안저 변화를 검출하면 안저 변화 정보를 제공할 수도 있다.

상기 안저 변화는 제1 시점과 제2 시점 동안의 안저 상태 변화 여부를 포함한다. 일부 실시예에서, 상기 안저 변화는 안저 변화량을 더 포함할 수도 있다.

일 실시예에서, 단계(S500)는 상기 제1 및 제2 안저영상을 변화 검출 모델에 적용하여 안저 변화를 검출하는 단계를 포함할 수도 있다. 특정 실시예들에서, 안저 변화를 검출하기 위한 입력영상으로서 제1 및 제2 안저영상의 관심영역의 영상을 사용할 수도 있다.

일 실시예에서, 상기 변화 검출 모델은 입력영상의 쌍이 조건 긍정 그룹 또는 조건 부정 그룹에 속하는 지를 분류하는, BCM(binary classification model)의 구조 및 기능을 갖도록 구성될 수도 있다. 입력은 관심영역 별 두 시점에서 촬영된 안저영상의 쌍이고, 출력은 변화의 유무를 나타낸다.

도 8은, 본 출원의 일 실시예에 따른, 안저 변화를 검출하는 변화 검출 모델의 개념적인 네트워크 구조도이다.

도 8을 참조하면, 변화 검출 모델은: 특징 추출 레이어; 및 분류 레이어를 포함할 수도 있다.

특징 추출 레이어는 제1 및 제2 안저영상의 관심영역 영상의 쌍에서 제1 특징의 세트 및 제2 특징의 세트를 각각 추출하도록 구성된다. 상기 변화 검출 모델이 CNN 기반 구조를 갖는 경우, 특징 추출 레이어는 하나 이상의 컨볼루션 레이어(convolution layer)를 포함할 수도 있다. 또한, 특징 추출 레이어는 하나 이상의 풀링 레이어(pooling layer)를 더 포함할 수도 있다.

상기 제1 특징의 세트는 제1 안저영상의 관심영역의 영상으로부터 추출된 특징으로서, 상기 특징은 입력영상의 쌍이 안저 변화를 갖는 그룹에 속하는지를 분류하는 것에 관련된 영상 특징을 포함한다.

또한, 상기 변화 검출 모델은: 상기 제1 및 제2 특징의 세트로부터 특징 간 상관 맵을 산출하는, 상관맵 생성 레이어를 더 포함할 수도 있다.

상관맵 레이어는 특징 추출 레이어에서 추출된 제1 특징 세트와 제2 특징 세트로부터 기하학적 상관 맵(Geometric correlation map)을 산출하도록 구성된다. 제1 특징 세트와 제2 특징 세트의 상관 맵이 분류 레이어에 입력된다.

분류 레이어는 추출된 특징에 기초하여 상기 제1 및 제2 안저영상의 쌍이 안저 변화를 갖는 그룹에 속하는지 분류하도록 구성된다. 분류 레이어는 CNN 레이어, 완전 연결 레이어(full connected layer) 및/또는 확률 레이어를 포함할 수도 있다. CNN 레이어 및 완전 연결 레이어는 상관맵으로부터 안저 변화의 유/무를 추정하도록 구성된다.

확률 레이어는 이전 레이어(에컨대, 완전 연결 레이어)에서 출력된 출력 값에 기초하여 입력영상의 쌍이 변화가 있음을 나타내는 제1 그룹에 속할 확률을 산출하도록 구성된다.

일부 실시예에서, 변화 검출 모델은 이전 레이어의 출력 값을 확률 레이어에 적용하기 이전에, 활성화 처리하도록 더 구성될 수도 있다. 예를 들어, 변화 검출 모델은 완전 연결 레이어를 통과한 결과에 sigmoid 함수를 적용한 뒤 그 결과를 확률 레이어에 입력할 수도 있다.

변화 검출 모델은 확률 값에 기초하여 입력영상의 쌍을 제1 그룹 또는 제2 그룹으로 분류할 수도 있다. 변화 검출 모델은 확률 임계치에 기초하여 확률 값에 따른 그룹 분류를 수행할 수도 있다. 상기 확률 임계치는 학습에 의해 결정되는 파라미터이다. 예를 들어, 0.5를 초기 값으로 하여 학습 데이터에 따라 0.5 이상 또는 그 이하로 조정될 수도 있다.

이와 같이 단계(S500)에서 입력영상의 쌍이 제1 그룹으로 분류되면 안저 변화가 있는 것으로서 안저 변화가 검출된다. 반면, 단계(S500)에서 입력영상의 쌍이 제2 그룹으로 분류되면 안저 변화가 없는 것으로서 안저 변화가 검출되지 않는다.

또한, 단계(S500)는 영상 처리 알고리즘을 통해 안저 변화를 검출할 수도 있다.

다른 일 실시예에서, 상기 제1 안저영상 내 상기 검출된 관심영역과 상기 제2 안저영상 내 상기 검출된 관심영역의 색상을 픽셀 단위로 비교하여 변화를 검출하는 단계를 포함할 수도 있다.

단계(S500)에서 정합 영상을 기준으로 서로 대응하는 제1 관심영역의 픽셀과 제2 관심영역의 픽셀 사이의, 픽셀 단위 변화를 검출하기 위해, 관심영역의 RGB 색상을 정규화할 수도 있다. RGB 정규화는, 예를 들어 histogram equalization 알고리즘을 통해 제1 관심영역 영상과 제2 관심영역 영상이 동일한 RGB 색상으로 정규화될 수도 있다.

일부 실시예들에서 단계(S500)는 정규화 이후, 감마 보정(Gamma correction)을 통해 일루미네이션(illumination)을 제거하는 단계를 더 포함할 수도 있다.

그러면, 단계(S500)에서 정규화된 두 영상(에컨대, 제1 관심영역 영상 및 제2 관심영역 영상)을 이용해 픽셀 단위의 변화를 산출할 수도 있다.

상기 픽셀 단위의 변화는 변화의 유무 및/또는 변화량을 포함할 수도 있다. 상기 변화량은 변화 면적 또는 변화 색상을 포함할 수도 있다.

이와 같이, 단계(S500)에서 안저 변화 검출은 영상 처리 기법 및/또는 딥러닝 모델을 이용하여 수행될 수도 있다.

또한, 안저 변화 항목별로 상이한 진행될 수도 있다. 예를 들어, 단계(S500)에서 안저 변화 유무는 변화 검출 모델을 통해 수행되고, 안저 변화량은 영상 처리 기법을 통해 수행될 수도 있다.

상기 장치(10)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 장치(10)는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

이와 같이, 본 출원의 제1 측면에 따른 특정 실시예들에서, 상기 장치(10)는 특정 서브 영역을 촬영한 제1 안저영상과 제2 안저영상을 사용하여 상기 특정 서브 영역의 안저 변화 정보를 검출할 수도 있다.

한편, 본 출원의 제2 측면에 따른 다른 특정 실시예들에서, 상기 장치(10)는 상기 제1 측면의 안저영상들(즉, 특정 서브 영역의 안저영상들) 보다 더 넓은 촬영 범위를 갖는 광각 안저영상들을 사용하여 보다 넓은 안구 영역 범위에서의 안저 변화 정보를 검출할 수도 있다.

상기 장치(10)는 안저 변화 정보를 검출하기 이전에, 광각 안저영상을 생성하도록 더 구성될 수도 있다. 특정 실시예들에서, 상기 장치(10)는 제1 시점에서 다수의 서브 영역을 촬영하여 획득되는, 제1 시점에서의 다수의 안저영상들을 합성한 제1 광각 안저영상; 그리고 제2 시점에서 해당 다수의 서브 영역을 촬영하여 획득되는, 제2 시점에서의 상기 다수의 안저영상들을 합성한 제2 광각 안저영상을 생성하고; 그리고 상기 제1 광각 안저영상 및 제2 광각 안저영상에 기초하여 보다 넓은 범위의 안저 변화를 검출할 수도 있다.

다시 도 1을 참조하면, 제2 측면에 따른 장치(10)는 분류부(200); 및/또는 합성부(400)를 더 포함할 수도 있다.

영상 획득부(100)는 동일한 시점에서의 대상의 전체 안저영역 중 각 서브 영역을 각각 촬영한 복수의 안저영상으로 이루어진 안저영상 세트를 획득한다. 영상 획득부(100)는 제1 시점에서 촬영한, 대상의 전체 안저영역 중 제1 서브 영역을 촬영한 제1 안저영상(즉, 제1-1 안저영상), 제2 서브 영역을 촬영한 제1 안저영상(즉, 제1-2 안저영상), 내지 제n 서브 영역을 촬영한 제1 안저영상(즉, 제1-n 안저영상)으로 이루어진 제1 안저영상 세트를 획득한다. 동일하게, 영상 획득부(100)는 제2 시점에서 촬영한 제2 안저영상 세트를 획득한다. 특정 실시예들에서, 상기 제1 안저영상 세트 및 제2 안저영상 세트는 각 서브 영역이 대응하는 안저영상을 각각 포함한다. 예를 들어, 제1 안저영상 세트 및 제2 안저영상 세트 각각은 제1 서브 영역에 대응한 안저영상들(즉, 제1-1 안저영상 및 제2-1 안저영상)을 포함한다.

특정 실시예들에서, 상기 제1 또는 제2 안저영상 세트를 이루는 상기 복수의 안저영상은 영상 프레임 내에 시신경 유두와 중심와를 모두 포함한 제1 그룹의 안저영상, 영상 프레임 내에 시신경 유두만을 포함한 제2 그룹의 안저영상, 영상 프레임 내에 중심와만을 포함한 제3 그룹의 안저영상 및 영상 프레임 내에 시신경 유두와 중심와를 모두 포함하지 않은 제4 그룹의 안저영상을 포함한다.

분류부(200)는 동일한 시점에 촬영된 복수의 안저영상들 각각의 영상 프레임에서 시신경 유두 또는 중심와를 검출하여 상기 복수의 안저영상을 제1 그룹 내지 제4 그룹으로 분류한다. 분류부(200)는 제1 또는 제2 안저영상 세트 내 각각의 영상 프레임에서 시신경 유두(optic disc) 또는 중심와(fovea)를 검출한다.

일 실시예에서, 분류부(200)는 미리 학습된 시신경 유두/황반 검출 모델을 사용하여 영상 프레임에서 시신경 유두 또는 중심와를 검출할 수도 있다. 또한, 분류부(200)는 검출된 객체의 영상 프레임 상의 2차원 위치를 산출할 산출할 수도 있다. 분류부(200)는 시신경 유두, 중심와의 2차원 위치를 영상 프레임 상의 픽셀 좌표로 산출한다.

도 9는, 본 발명의 일 실시예에 따른, 시신경 유두/황반 검출 모델의 개략적인 네트워크 아키텍쳐를 도시한다.

도 9를 참조하면, 상기 시신경 유두/황반 검출 모델(이하, “검출 모델”)은 공유 컨볼루션 네트워크; 지역 지정 네트워크; 객체 검출 네트워크를 포함한다.

상기 공유 컨볼루션 네트워크는 다수의 컨볼루션 레이어를 포함하며, 이의 출력은 지역 지정 네트워크 및 객체 검출 네트워크에 의해 공유된다.

공유 컨볼루션 네트워크의 마지막 공유 컨볼루션 레이어가 출력한 컨볼루션 특징맵은 상기 지역 지정 네트워크에 입력된다.

상기 지역 지정 네트워크는 입력된 컨볼루션 특징맵에 슬라이딩 윈도우 방식을 적용하여 중간 특징맵을 생성하고, 상기 중간 특징맵에 기초하여 후보 객체가 위치할 가능성이 있는 관심지역을 예측한다.

상기 슬라이딩 방식은 입력 데이터에서 윈도우를 슬라이딩하면서 입력 데이터의 모든 범위에 대해서 원하는 대상을 탐색하는 방식이다. 이 윈도우는 입력된 컨볼루션 특징맵을 따라 슬라이딩한다. 각 슬라이딩 위치에서의 특징 윈도우는 보다 저 차원의 특징에 매핑된다. 그러면, 상기 지역 지정 네트워크는 입력된 컨볼루션 특징맵 보다 더 낮은 차원의 중간 특징맵(intermediate feature map)을 생성한다. 상기 지역 지정 네트워크는 중간 특징맵에 기초하여 관심지역을 예측한다.

일 실시예에서, 상기 지역 지정 네트워크는 상기 후보 객체(즉, 시신경 유두 또는 중심와)가 경계 상자의 중심부에 위치하도록 상기 관심지역을 예측할 수도 있다. 그러면, 경계 상자의 위치는 중심부의 위치, 즉 후보객체의 위치에 대응한다.

일부 실시예들에서, 상기 지역 지정 네트워크는 미리 크기가 고정된 경계 상자를 사용하여 관심지역을 예측할 수도 있다.

시신경 유두와 중심와의 크기는 일반적으로 일정한 경향을 가진다. 이 경향성에 기초하여 획득된 값으로 경계 상자의 크기를 미리 설정할 수도 있다.

도 9에 도시된 바와 같이, 지역 지정 네트워크는 시신경 유두, 중심와를 포함할 가능성이 있는 관심영역을 예측한다.

상기 객체 검출 네트워크는 풀링 레이어 및 완전연결 레이어를 포함한다.

공유 컨볼루션 네트워크의 마지막 공유 컨볼루션 레이어가 출력한 컨볼루션 특징맵은 상기 객체 검출 네트워크에도 입력된다. 입력된 컨볼루션 특징맵은 풀링 레이어로 입력된다.

풀링 레이어는 입력된 데이터를 상기 지역 지정 네트워크에 의한 관심지역 예측 결과에 기초하여 풀링 처리한다. 상기 풀링 레이어는 특징맵이 입력되면 특징 벡터로 출력하도록 구성된다. 그러면, 도 3의 검출 모델에 초기 입력된 영상 프레임에서 관심지역에 대한 특징 벡터가 완전연결 레이어로 입력된다.

상기 일부 실시예들에서, 경게 상자의 크기가 고정될 경우, 탐색된 관심지역의 중간 특징맵의 크기도 고정된다. 그러면, 상기 객체 검출 네트워크는 고정된 크기의 특징 벡터를 획득하여 이를 완전연결 레이어로 입력한다.

상기 완전연결 레이어는 관심지역에서 시신경 유두, 중심와가 존재할 확률을 계산하여 시신경 유두, 중심와의 위치를 예측하도록 구성된다.

일 실시예에서, 상기 객체 검출 네트워크는 입력된 영상 프레임 상의 경계 상자의 2차원 위치와 크기, 각 객체의 클래스(즉, 시신경 유두 또는 중심와) 및 각 클래스에 대한 신뢰도 점수를 포함한 결과를 출력할 수도 있다. 상기 신뢰도 점수는 확률 값 또는 이에 기반한 다른 변환 값일 수도 있다.

상기 검출 모델은 이 결과에 기초하여 시신경 유두, 중심와를 검출한다. 상기 검출 모델은 각각의 클래스별로 해당 신뢰도에 대해 가장 높은 값을 갖는 관심지역을 선택하여 시신경 유두, 중심와를 검출한다.

일 실시예에서, 상기 검출 모델은 각각의 클래스별로 해당 신뢰도에 대해 가장 높은 값을 갖는 관심지역을 선택하고, 선택된 관심지역의 클래스에 대한 신뢰도가 미리 설정된 신뢰도 임계치 보다 높은 경우에 선택된 관심지역의 클래스의 객체를 시신경 유두 또는 중심와로 검출할 수도 있다.

상기 신뢰도가 확률 값일 경우, 상기 신뢰도 임계치는 예를 들어 0.9일 수도 있으나 이에 제한되진 않는다.

상기 검출 모델은 상기 제1 내지 제4 그룹 중 일부 또는 전부를 포함한 훈련 데이터 세트를 사용하여 학습된다. 검출 모델은 훈련 안저영상의 실제 값과 예측 값 간의 차이가 최소화되기 위한 파라미터의 값을 갖도록 학습된다.

상기 분류부(200)는 시신경 유두, 중심와의 검출 여부에 따라 복수의 안저영상을 제1 그룹 내지 제4 그룹으로 자동으로 분류한다. 분류부(200)의 동작에 대해서는 도 9 등을 참조하여 아래에서 보다 상세하게 서술한다.

상기 장치(10)의 정합부(300)는, 광각 안저영상을 생성하기 위해, 각 세트 내 안저영상별로 적어도 하나의 특징점(feature point)을 추출할 수도 있다. 또한, 상기 정합부(300)는 서로 다른 안저영상을 정합하기 위해 복수의 안저영상 각각에 대해서 혈관 영역을 추출한다. 여기서, 세트 내 각각의 안저영상들, 그리고 서로 다른 안저영상은 촬영한 서브 영역이 일치하지 않는 영상들을 의미한다. 예를 들어, 촬영한 서브 영역이 부분적으로 중첩되는 안저영상들이 세트 내 각각의 안저영상들, 그리고 서로 다른 안저영상으로 취급된다.

정합부(400)는 제1 또는 제2 안저영상 세트에 포함된 각각의 안저영상별로 혈관의 적어도 일부를 나타낸 혈관 마스크를 생성할 수도 있다. 이러한 정합부(400)의 동작들은 위에서 전술하였는바 자세한 설명은 생략한다.

합성부(500)는 동일한 특정 시점에 촬영된, 서로 다른 서브 영역을 촬영한 안저영상들을 합성하여 상기 특정 시점에서의 광각 안저영상을 생성한다. 합성부(500)의 광각 안저영상 생성 동작에 대해서는 도 10 등을 참조하여 아래에서 보다 상세하게 서술한다.

도 10은, 본 출원의 제2 측면에 따른, 광각 안저영상을 생성하기 위한 안저영상 정합 방법의 흐름도이고, 도 11은, 도 10의 광각 안저영상을 생성하기 위한 안저영항 정합 방법의 개략도이다. 도 11b는 도 11a의 단계(S1300)에 대한 개략적인 부분 확대도이다.

상기 광각 안저영상을 생성하기 위한 안저영항 정합 방법(이하, “정합 방법”)은: (예컨대, 영상 획득부(100)에 의해) 복수의 안저영상을 획득하는 단계(S1100)를 포함한다. 상기 복수의 안저영상 각각은 시신경 유두 및/또는 황반 주심을 포함하거나, 또는 이들 모두를 포함하지 않을 수도 있다.

상기 정합 방법은: (예컨대, 분류부(200)에 의해) 복수의 안저영상 각각에 대해서, 시신경 유두 및/또는 중심와를 검출하여 복수의 그룹으로 분류하는 단계(S1210)를 포함한다. 단계(S1210)의 복수의 안저영상은 제1 안저영상 세트 또는 제2 안저영상 세트일 수도 있다.

일 실시예에서, 미리 학습된 시신경 유두/황반 검출 모델을 사용하여 각 세트 내 개별 안저영상의 영상 프레임에서 시신경 유두 및/또는 중심와가 검출될 수도 있다(S1210). 단계(S1210)의 검출 모델 및 이를 사용한 시신경 유두, 중심와의 검출 동작에 대해서는 도 9를 참조하여 전술하였는 바 자세한 설명은 생략한다.

특정 실시예들에서, 상기 제1 또는 제2 안저영상 세트에 대한 복수의 그룹은 제1 내지 제4 그룹을 포함한다. 상기 단계(S1210)는 상기 시신경 유두 및 중심와가 모두 검출된 안저영상을 제1 그룹으로 분류하는 단계; 상기 시신경 유두만이 검출된 안저영상을 제2 그룹으로 분류하는 단계; 상기 중심와만이 검출된 안저영상을 제3 그룹으로 분류하는 단계; 및/또는 상기 시신경 유두 및 중심와가 모두 검출되지 않은 안저영상을 제4 그룹으로 분류하는 단계를 포함할 수도 있다. 예를 들어, 단계(S1210)에서, 단계(S1100)의 복수의 영상이 제1 내지 제4 그룹 각각으로 분류될 수도 있다.

또한, 상기 정합 방법은: (예컨대, 분류부(200)에 의해) 그룹별로 그룹 내 안저영상 간의 정합 순위를 할당하는 단계(S1230)를 포함한다. 상기 단계(S1230)는: 상기 제1 그룹 내지 제4 그룹 중 일부 또는 전부의 그룹에 대해서, 상기 일부 또는 전부의 그룹 각각에 포함된 안저영상에 정합 순위를 할당하는 단계; 및/또는 제4 그룹의 안저영상들에 대한 제4 그룹 내 정합 순위를 할당하는 단계를 포함한다.

이하, 설명의 명료성을 위해, 제1 안저영상 세트에서 제1 내지 제4 그룹을 제1-1 내지 제1-4 그룹으로 분류하는 실시예들로 본 출원의 장치(10)를 보다 상세히 서술한다.

정합 순위가 할당되면, 정합될 안저영상의 순서는 상기 정합 순위에 의존한다. 예를 들어, 제1-1 그룹에 속한 안저영상들은 제1-1 그룹 내 안저영상 간의 정합 순위에 따라서 차례대로 정합된다. 또는 제1-4 그룹에 속한 안저영상들은 제1-4 그룹 내 안저영상 간의 정합 순위에 따라서 차례대로 정합될 수도 있다.

일 실시예에서, 상기 단계(S1230)는: 상기 제1-1 그룹 내지 제1-3 그룹 중 적어도 하나의 그룹에 대해서, 각 그룹별로 각각의 기준 안저영상(reference fundus image)을 선택하는 단계; 및 상기 기준 안저영상을 사용하여 해당 그룹별 안저영상에 대해 상기 해당 그룹 내 정합 순위를 할당하는 단계를 포함할 수도 있다. 예를 들어, 제1-1 그룹 내지 제1-3 그룹 각각에 대한 기준 안저영상이 선택되고, 각 그룹별 기준 안저영상을 사용하여 그룹 내 정합 순위가 할당된다(S1230).

중심와와 시신경 유두는 서로 가까운 해부학적 특성을 가진다. 이로 인해, 중심와가 영상 프레임의 중앙 부분에 위치하는 안저영상은 시신경 유두도 포함하는 것이 일반적이므로, 제1-1 그룹에 속한 것으로 취급 가능하다.

일 실시예에서, 제1-1 그룹의 기준 안저영상은 제1-1 그룹에 속하는 안저영상들 중에서 각 안저영상별로 검출된 시신경 유두의 위치와 영상 프레임의 중심 위치 사이의 최소 거리를 갖는 안저영상으로 선택될 수도 있다(S1230). 광각 안저영상의 초기 영상 프레임을 사용될 수도 있는 제1-1 그룹의 기준 안저영상을 이와 같이 선택할 경우, 전술한 바와 같이, 광각 안저영상을 생성하는데 안구 내부의 중심을 기준으로 개시하는 것이 유리한 장점과 동시에 시각적 구별의 편의성을 모두 가질 수 있기 때문이다.

또한, 상기 제1-1 그룹의 안저영상들에 대한 제1-1 그룹 내 정합 순위는 제1-1 그룹의 기준 안저영상의 시신경 유두와 제1-1 그룹 내 다른 안저영상 간의 거리에 기초하여 할당될 수도 있다. 전술한 바와 같이, 시신경 유두가 보다 시각적으로 쉽게 구별되기 때문이다. 다른 안저영상의 시신경 유두가 기준 안저영상의 시신경 유두와의 거리가 가까울수록 보다 높은 정합 순위가 할당된다(S1230).

상기 거리는, 예를 들어 ||p^o _i-p^o _ref||₂의 수학식에 의해 산출될 수도 있다. 여기서, i는 그룹 내 인덱스이고, p^o _i는 상기 제1-1 그룹의 i번째 안저영상의 시신경 유두의 영상 프레임 상의 픽셀 좌표를 나타내고, p^o _ref 는 기준 안저영상의 영상 프레임 상의 시신경 유두의 픽셀 좌표를 나타낸다.

상기 제1-1 그룹 및 제1-2 그룹의 안저영상이 시신경 유두를 포함하므로, 상기 제1-1 그룹의 기준 안저영상을 상기 제1-2 그룹의 기준 안저영상으로 사용할 수도 있다. 즉, 제1-1 그룹의 기준 안저영상이 선택되면, 상기 제1-2 그룹의 기준 안저영상도 자동으로 선택된다.

상기 제1-2 그룹의 안저영상들에 대한 제1-2 그룹 내 정합 순위는 제1-2 그룹의 기준 안저영상의 시신경 유두와 제1-2 그룹 내 다른 안저영상 간의 거리에 기초하여 할당된다(S1230).

상기 제1-3 그룹의 기준 안저영상도 전술한 제1-1 그룹의 기준 안저영상을 선택하는 과정과 유사하지만, 시신경 유두를 사용하는 대신 중심와의 위치를 기초로 선택된다.

일 실시예에서, 상기 제1-3 그룹의 기준 안저영상은 제1-3 그룹에 속하는 안저영상들 중에서 각 안저영상별로 검출된 중심와의 위치와 영상 프레임의 중심 위치 사이의 최소 거리를 갖는 안저영상으로 선택될 수도 있다(S1230).

또한, 상기 제1-3 그룹의 안저영상들에 대한 제1-1 그룹 내 정합 순위는 제1-1 그룹의 기준 안저영상의 시신경 유두와 제1-1 그룹 내 다른 안저영상 간의 거리에 기초하여 할당될 수도 있다. 전술한 바와 같이, 시신경 유두가 보다 시각적으로 쉽게 구별되기 때문이다. 다른 안저영상의 중심와가 기준 안저영상의 중심와와의 거리가 가까울수록 보다 높은 정합 순위가 할당된다(S1230).

한편, 상기 제1-4 그룹 내 안저영상들 간의 정합 순위는 특징점의 매칭 정도에 기초하여 할당된다.

일 실시예에서, 상기 제1-4 그룹 내 안저영상들 간의 정합 순위는 제1-4 그룹에 속하는 안저영상들 각각의 특징점이 초기 안저영상(즉, 상기 제1-1 그룹의 기준 안저영상) 또는 이전 정합 순위까지 이미 합성된 영상의 특징점에 매칭하는 정도에 기초하여 할당될 수도 있다. 매칭 정도가 높을수록 보다 높은 정합 순위가 할당된다.

대안적인 실시예들에서, 상기 정합 방법은: (예컨대, 분류부(200)에 의해) 그룹 간의 정합 순위를 설정하는 단계(미도시)를 더 포함할 수도 있다.

안구 내부의 영역을 표현한 광각 안저영상을 생성하는 것을 가정할 경우, 안구 내부의 중심을 기준으로 정합하여 합성하는 것이 유리하다. 중심와는 망막의 중심에 가까운 해부학적 특성을 가진다. 따라서, 중심와를 포함할수록 보다 높은 정합의 우선 순위를 가져야 한다. 그러나, 중심와는 망막 내에서 약간 더 어두운 점의 형태와 같이, 시각적으로 구별되기 모호한 특성을 가진다. 따라서, 영상 정렬에서 중심와만을 기준(reference)으로 사용하기에 쉽지 않다. 반면, 시신경 유두는 중심와 대비 상대적으로 시각적으로 구별되기 쉬운 특성을 가진다.

이로 인해, 상기 그룹 간의 정합 순위는 중심와와 더불어 시신경 유두를 모두 포함한 상기 제1-1 그룹에 가장 높은 그룹 간의 정합 순위가 할당된다. 상기 제1-4 그룹에 가장 낮은 그룹 간의 정합 순위가 할당된다. 제1-1 그룹 및 제1-3 그룹은 이들 사이에 할당된다. 예를 들어, 제1-1 그룹, 제1-2 그룹, 제1-3 그룹 및 제1-4 그룹의 순서 또는 상기 제1-1 그룹, 상기 제1-3 그룹, 상기 제1-2 그룹 및 제1-4 그룹의 순서로 설정될 수도 있다. 그러면, 광각 안저영상을 생성하기 위해, 우선 초기 안저영상을 상기 제1-1 그룹에서 선택하고, 제1-1 그룹 내 안저영상의 정합 순위에 따라 상기 제1-1 그룹 내 안저영상들을 상기 초기 안저영상에 순서대로 정합하고, 합성 영상을 생성한다.

상기 그룹 간의 정합 순위를 설정하는 단계는 광각 안저영상을 생성하기 위한 복수의 안저영상을 획득하는 단계(S1100) 이전 또는 그 이후에 수행될 수도 있다. 예를 들어, 그룹 간의 정합 순위를 설정하는 단계는 아래에서 서술할 정합된 안저영상을 합성하는 단계(S1400) 이전에 설정될 수도 있다.

그러면, 제1-1 내지 제1-4 그룹의 모든 복수의 안저영상에 대한 전체적인 정합 순위가 할당될 수도 있다. 예를 들어, 제1-1 그룹 내 안저영상들에 대해 정합 순위가 할당되면, 제1-2 그룹 내 가장 높은 정합 순위를 갖는 첫번?? 안저영상은 제1-1 그룹 내 가장 낮은 정합 순위를 갖는 마지막 안저영상의 다음 정합 순위를 가지는 것으로 정렬될 수도 있다.

도 10 및 도 11b를 참조하면, 상기 정합 방법은: (예컨대, 정합부(300)에 의해) 정합 순위에 기초하여 시작 안저영상과 다음 정합 순위의 안저영상 정합하는 단계(S1300);를 포함한다.

특정 실시예들에서, 상기 제1-1 내지 제1-4 그룹의 모든 복수의 안저영상에 대한 전체적인 정합 순위가 할당될 경우, 이미 합성된 영상에 추가되는 안저영상은 단일 안저영상일 수도 있다.

초기 몽타주로 사용 가능한, 가장 높은 정합 순위를 갖는 제1-1 그룹의 기준 안저영상과 제1-1 그룹 내 그 다음 정합 순위의 안저영상을 참조하여 단계(S1300)를 보다 상세하게 서술한다. 몽타주의 소스영상, 즉 상기 제1-1a 안저영상 세트 내 제1-1 그룹의 기준 안저영상은 제1-1a 안저영상으로, 그 다음 정합 순위의 안저영상은 제1-1b 안저영상으로 아래에서 지칭된다.

상기 단계(S1300)는: 상기 제1-1a 안저영상과 제1-1b 안저영상의 혈관 마스크를 생성하는 단계(S1310)를 포함한다. 상기 혈관 마스크는 미리 학습된 분할 모델을 사용하여 안저영상으로부터 혈관 영역을 추출하여 생성된다. 그러면, 상기 제1-1a 영역 내 혈관의 적어도 일부를 나타낸 제1-1a 혈관 마스크, 그리고 상기 제1-1b 영역 내 혈관의 적어도 일부를 나타낸 제1-1b 혈관 마스크가 생성된다(S1310).

단계(S1310)에서 추출된 혈관 확률맵에 기초하여 혈관 형상이 결정된다. 특정 실시예들에서, 추출된 혈관 확률맵에 기초한 혈관 형상에 대응하는 마스크가 안구 혈관 마스크로 생성될 수도 있다.

단계(S1310)의 분할 모델 및 혈관 영역을 추출하여 혈관 마스크를 생성하는 동작에 대해서는 정합부(300)의 동작을 참조하여 전술하였는 바 자세한 설명은 생략한다.

또한, 상기 단계(S1300)는: 제1-1a 안저영상과 제1-1b 안저영상의 특징점에 기초하여 제1-1a 안저영상과 제1-1b 안저영상을 정합하는 단계(S1330); 및 생성한 혈관 마스크에 기초하여 상기 제1-1a 안저영상과 제1-1b 안저영상을 정합하는 단계(S1350)를 포함한다. 단계(S1350)의 정합 동작은 단계(S1330)의 특징점 정합 이후 수행되므로, 재-정합 동작으로 취급된다.

단계(S1330)는 안저영상 내 특징점을 추출하는 단계; 및 추출된 특징점에 기초하여 제1-1a 안저영상과 제1-1b 안저영상을 정합하는 단계를 포함한다.

상기 특징점은 영상을 매칭하는데 있어서 주위 배경과 구분되면서 식별이 용이한 지점을 포함한다. 전술한 바와 같이, 기하학적 특징점이 특징점으로 사용될 수도 있다. 일 실시예에서, 특징점은 혈관의 기하학적 형상과 관련된 특징점을 포함할 수도 있다. 예를 들어, 혈관 형상 또는 에지에 포함된 특징점을 포함할 수도 있다.

단계(S1330)에서 특징 서술자(descriptor) 기반 다양한 특징 추출 알고리즘을 통해 입력영상(예컨대, 제1-1a 안저영상)에서 특징점을 추출할 수도 있다. 상기 특징 추출 알고리즘은, 예를 들어 DoG(Difference of Gaussian)를 기반으로 영상 축 및/또는 스케일 축으로 코너성이 극대인 점을 추출하는 SIFT(Scale Invariaant Feature Trnasform)을 포함할 수도 있으나, 이에 제한되진 않는다. 단계(S1330)에서 다수의 특징점을 포함한 특징점 세트가 추출될 수도 있다.

상기 단계(S1330)에서 특징점 기반 매칭은 픽셀 도메인에서 수행될 수도 있다.

상기 단계(S1330)에서 상기 제1-1a 안저영상으로부터 추출된 제1-1 특징점 세트와 상기 제1-1a 안저영상으로부터 추출된 제1-2 특징점 세트를 각각 강체 정합(rigid registration)함으로써, 제1-1a 안저영상과 제1-1b 안저영상을 정합할 수도 있다.

일 실시예에서, 상기 단계(S1330)는, 원근 변환 행렬을 이용하여 제1-1 특징점 세트와 제1-2 특징점 세트를 정합하는 단계를 포함할 수도 있다. 일부 실시예에서, 상기 단계(S1230)는 RANSAC 알고리즘을 더 이용하여 제1-1 특징점 세트와 제1-2 특징점 세트를 정합할 수도 있다. 예를 들어, 원근 변환 행렬을 이용하여 제1-1 특징점 세트와 제1-2 특징점 세트를 정합하는 과정에서, RANSAC 알고리즘을 통해 각 세트의 특징점 간의 매칭도를 최대화하는 값을 산출함으로써, 특징점 기반 매칭을 수행할 수도 있다.

단계(S1330)의 정합 이후 단계(S1350)의 정합이 추가로 수행된다.

일 실시예에서, 상기 정합 방법은: 특징점 기반 정합 이후, 특징점 기반 정합 결과의 유효성을 검증하는 단계(S1340)를 더 포함할 수도 있다. 단계(S1350)의 추가 정합은 단계(S1340)에서 유효성이 검증된 경우에 수행된다.

일 실시예에서, 유효성 검증을 위해, 다음 정합 순위를 갖는 안저영상(예컨대, 제1-1b 안저영상)은 호모그래피 변환 처리될 수도 있다(S1340). 상기 제1-1b 안저영상이 호모그래피 변환 처리될 경우, 상기 제1-1b 안저영상의 특징점이 다른 안저영상(즉, 제1-1a 안저영상)에 투영된다. 상기 제1-1b 안저영상에 대해서, 호모그래피 변환 전후의 변화가 유효성 조건을 충족하지 못하면, 상기 제1-1b 안저영상은 정합되지 않고 광각 안저영상을 생성하는데 사용되지 않는다.

일 실시예에서, 상기 유효성 조건은 호모그래피 변환 전후의 영상 프레임의 면적 차이가 미리 설정된 임계치 미만일 경우에 충족되는 것으로 설정될 수도 있다. 상기 임계치는 호모그래피 변환 전/후의 영상 프레임의 픽셀 면적 차이로서 면적 변화량 자체 또는 면적 변화율일 수도 있다. 면적 변화율이 임계치로 사용될 경우, 상기 임계치는 대략 15% 내지 5%의 값으로 설정될 수도 있다. 예를 들어, 상기 임계치는 10%일 수도 있다. 그러면, 제1-1b 안저영상의 호모그래피 변환 전/후의 차이가 10% 보다 클 경우 상기 제1-1b 안저영상은 추가 정합 및 합성 대상에서 제외된다.

그 결과, 3차원 구형 물체의 뷰 변환을 표현하기 위해 2차원 호모그래피를 적용하는 것의 부적절함 및 작은 중첩 또는 불충분한 텍스쳐로 인해 제한된 수의 특징점 매칭의 실패 등을 포함한, 정합의 부정확성을 야기하는 문제가 적어도 부분적으로 해소된다.

다시 도 10및 도 11를 참조하면, 단계(S1350)에서 혈관 마스크(또는 후처리된 혈관 마스크)에 기초하여 제1-1a 안저영상과 제1-1b 안저영상이 정합된다.

일 실시예에서, 단계(S1330)의 특징점 기반 정합 이후 재-정합을 위해, 상기 제1-1a 혈관 마스크와 제1-1b 혈관 마스크를 변형 정합(deformable registration)하여 제1-1a 안저영상과 제1-1b 안저영상을 재-정합할 수도 있다(S1350).

단계(S1350)에서 사용되는 변형 정합 알고리즘은, 예를 들어, B-Spline 알고리즘을 포함할 수도 있다. B-Spline 알고리즘은 두 영상 간의 픽셀 유사도가 높아지는 방향으로 반복적으로 최적화하는 정합 알고리즘이다. 가장 높은 유사도를 갖게 하는 파라미터를 결정하여 최적화된 정합 결과를 산출한다.

단계(S1310)에서 전술한 바와 같이, 제1-1a 혈관 마스크 및 제1-1b 혈관 마스크가 분할 모델에 의해 생성된 경우, 변형 정합의 입력은 보다 정교하게 추출된 혈관 영역을 기반으로 수행된다.

예를 들어, 제1-1a 혈관 마스크를 소스형상으로 제1-1b 혈관 마스크를 타겟형상으로 사용하여 B-스플라인(B-Spline) 알고리즘을 적용하면, 제1-1a 혈관 마스크의 하나 이상의 제어점을 추출하고 제1-1a 혈관 마스크의 형상을 제1-1b 혈관 마스크와의 픽셀 유사도롤 극대화하는 최적화 곡선을 갖도록 변형할 수도 있다. 그러면, 제1-1a 혈관 마스크와 제1-1b 혈관 마스크가 특징점 기반 정합 결과에 존재하는 오차들이 미세 조정되도록 재-정합될 수도 있다.

또한, 상기 정합 방법은 (예컨대, 합성부(400)에 의해) 광각 안저영상을 생성하기 위해, 정합된 안저영상들을 합성하는 단계(S1400)를 포함한다. 단계(S1350)의 정합 결과에 기초하여 단계(S1300)에서 정합에 사용된 상기 제1-1a 안저영상 및 제1-1b 안저영상이 부분적으로 중첩된 단일 영상으로 합성된다(S1400). 상기 합성된 단일 영상은 합성된 제1-1a 안저영상 또는 제1-1b 안저영상의 영상 프레임 보다 확장된 영상 프레임을 가진다. 이로 인해, 단일 안저영상의 촬영영역 보다 더 넓은 뷰를 갖는, 합성영상이 생성된다(S1400).

도 11에 도시된 바와 같이, 단계(S1400)의 합성 영상은 제1-1a 안저영상과 제1-1b의 중첩 부분 및 그 이외의 부분으로 이루어진다.

일 실시예에서, 상기 광각 안저영상을 생성하기 위한 제1-1a 안저영상과 제1-1b 안저영상을 합성하는 단계는: B-스플라인 최적화 이후, 혈관 마스크의 정합으로부터의 변위 벡터(displacement vector)를 산출하는 단계; 및 산출된 변위 벡터를 제1-1a 안저영상 또는 제1-1b 안저영상에 적용하는 단계를 포함할 수도 있다. 변위 벡터의 적용으로 인해 포토 몽타주가 확장된다. 상기 변위 벡터는 합성의 소스영상(예컨대, 제1-1a 안저영상)과 합성의 타겟 영상(예컨대, 제1-1b 안저영상)가 지정되면, 소스형상(예컨대, 제1-1a 혈관 마스크)과 타겟형상(예컨대, 제1-1b 혈관 마스크)의 각 지점들 간의 거리들의 합을 최소하는 파라미터에 대응할 수도 있다.

상기 변위 벡터는 소스영상의 에지형상에 대한 타겟영상의 에지형상의 거리 변환(Distance Transform, DT) 상의 탐색을 통해 산출될 수도 있다. 예를 들어, 소스영상의 에지형상에 대해 대상영상의 타겟형상을 거리맵 상에서 픽셀단위로 옮기면서 각 지점에서의 거리의 합을 각각 산출함으로써, 거리의 합이 최소가 되는 파라미터를 산출할 수도 있다.

단계(S1400)에서 생성된 합성영상이 사용자에게 제공될 수도 있다.

일 실시예에서, 상기 단계(S1400)는: 제1-1a 안저영상과 제1-1b 간의 영상 사양(image specification)의 차이를 최소화하는 단계를 포함할 수도 있다.

상기 영상 사양은 영상 프레임에 나타난 외관(appearance)의 세기, 색상, 및/또는 대비(contrast)를 포함한다. 외부 광의 색상 세기(intensity), 산란, 눈꺼풀의 열림 등을 포함한, 안저영상에 영향을 미치는 촬영 요소의 변화로 인해 영상 프레임별로 개별적인 영상 사양을 가진다. 때문에, 몽타주를 위해 추가로 합성될 영상(즉, 제1-1b)과 기존의 영상(즉, 제1-1a 안저영상) 간의 영상 사양을 다를 수도 있다. 서로 다른 영상 사양을 갖는 안저영상이 정합되면, 중첩되는 영역은 서로 다른 픽셀 값을 가진다. 이를 해결하기 위해, 영상 사양의 차이가 최소화된다(S1400).

일 실시예에서, 상기 제1-1a 안저영상과 제1-1b 간의 영상 사양(image specification)의 차이를 최소화하는 단계는: 정합으로 중첩된 영역의 주변의 색상왜곡을 제거하기 위해, 상기 제1-1a 안저영상의 픽셀에 대응하는 제1-2 안저 영상의 픽셀은 동일한 세기(intensity) 또는 색상(colour)을 갖도록 변형하는 단계를 포함할 수도 있다.

각 영상 간의 대응하는 픽셀 관계는 상기 대응하는 픽셀은 정합영상의 픽셀 좌표를 기준으로 결정된다. 단계(S1400)에서는 대응하는 픽셀은 재-정합영상의 픽셀 좌표를 기준으로 결정된다.

그러면, 변형된 픽셀로 이루어진, 색상왜곡이 제거된 중첩 영역을 포함한 합성영상이 단일 영상으로 생성될 수도 있다.

일 실시예에서, 상기 제1-1a 안저영상과 제1-1b의 중첩 영역 및 경계에서 다중 해상도 스플라인 기법을 사용하여 1 안저영상과 제1-1b 간의 영상 사양(image specification)의 차이를 최소화할 수도 있다.

상기 다중 해상도 스플라인 기법은 제1-1a 안저영상과 제1-1b의 쌍의 중심 주변의 가중치들을 부여한 다음 가우시안 필터 및 라플라시안 필터를 적용하여 영상 프레임의 각 레이어 간의 영상 세기의 차이를 최소화할 수도 있다. 그러면, 도 11에 도시된 바와 같이, 영상 세기(intensity)의 차이가 제거된 광각 안저영상이 획득된다.

제1-1 및 제1-1b의 색상 또는 세기가 상이한 경우, 도 8b에 도시된 바와 같이, 정합부분의 주변의 픽셀이 단일 색상 또는 세기로 보정된 정합영상을 획득할 수도 있다.

이러한 영상 사양의 차이를 제거한 결과, 정합부분이 단일 영상으로 통일성을 갖는 광각 안저영상을 제공할 수도 있다(S1400). 그러면, 도 11에 도시된 바와 같이, 제1-1a 안저영상과 제1-1b의 일부가 서로 중첩된 정합영상이 획득될 수도 있다. 이 중첩된 정합 영상은 제1-1a 안저영상과 제1-1b 안저영상의 영상 특징들이 미세 조정되어 정합된 결과를 시각화한 것이다.

이와 같은 특징점 기반 정합 및 변형 정합으로 이루어진 이단 정합을 통해 보다 정확한 정합영상을 얻을 수도 있다.

상기 단계(S1300) 및 단계(S1400)는 다음 정합 순위를 갖는 안저영상 및 이미 생성된 합성영상에 대해 반복하여 수행된다. 유효성 검증을 통과하지 못한 안저영상이 존재하지 않는 한, 단계(S1100)에서 획득된 복수의 안저영상 전체에 대해서 정합 순서에 따라 단계(S1300) 및 단계(S1400)가 반복 수행된다. 이를 통해, 제1 광각 안저영상 및/또는 제2 광각 안저영상이 생성될 수도 있다.

예를 들어, 초기 안저영상이 선택되면, 제1-1 그룹 내 정합 순위로부터 제1-4 그룹 내 정합 순위에 따라 나머지 안저영상이 합성되고, 최종 광각 안저영상이 생성된다. 전체 제1A 내지 제1N 안저영상들로 이루어진 제1 안저영상 세트에 대해서, 제1-1a 내지 제1-1n 안저영상들로 이루어진 제1-1 그룹의 정합 순서; 제1-2a 내지 제1-2n 안저영상들로 이루어진 제1-2 그룹의 정합 순서; 제1-3a 내지 제1-3n 안저영상들로 이루어진 제1-3 그룹의 정합 순서; 제1-4a 내지 제1-4n 안저영상들로 이루어진 제1-4 그룹의 정합 순서로 합성됨으로써, 제1 광각 안저영상이 생성될 수도 있다.

대안적인 실시예들에서, 상기 이미 합성된 광각 안저영상에 추가될 다른 안저영상은 다른 그룹 내 안저영상들을 정합하여 합성한 서브 광각 안저영상일 수도 있다. 예를 들어, 제1-1 그룹 내 안저영상들을 정합하여 제1-1 서브 광각 안저영상을 생성하고, 제1-2 그룹 내 안저영상들을 정합하여 제1-2 서브 광각 안저영상을 생성하면, 상기 제1-1 서브 광각 안저영상과 제1-2 서브 광각 안저영상을 정합하여 보다 확장된 광각 안저영상을 생성할 수도 있다.

이 경우, 제1-1 서브 광각 안저영상과 제1-2 서브 광각 안저영상의 정합 및 합성은 각 서브 광각 안저영상 전체를 통해 수행되거나, 또는 각 서브 광각 안저영상 중 하나의 안저영상을 통해 수행될 수도 있다. 예를 들어, 제1-1 서브 광각 안저영상과 제1-2 서브 광각 안저영상을 정합 및 합성할 경우, 제1-2 그룹 내 가장 높은 정합 순위를 갖는 첫번?? 안저영상과 제1-1 그룹 내 가장 낮은 정합 순위를 갖는 마지막 안저영상이 사용될 수도 있다.

상기 제2 측면의 장치(10)는 이러한 제1 광각 안저영상과 제2 광각 안저영상을 사용하여 각각의 광각 안저영상에 대응하는 안구 영역에서 발생했던 광각 안저 변화를 검출할 수도 있다. 여기서, 안구 영역은 생성된 광각 안저영상에 대응하는 안구 영역이다.

광각 안저 변화를 검출하는 과정은, 도 1 내지 도 8을 참조하여 전술한 제1 안저영상 및 제2 안저영상 대신, 상기 제1 광각 안저영상 및 제2 광각 안저영상을 사용하도록 변경된 것이므로, 자세한 설명은 생략한다.

이상에서 설명한 실시예들에 따른 장치 및 안저 변화 검출 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 출원은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 출원의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 출원의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

본 출원의 일 측면에 따른 안저 변화 검출 방법은 4차 산업 기술 중 하나인 기계 학습(machine learning)을 이용하여 a) 혈관 영역을 추출할 수도 있고, b) 안저영상 내 관심영역을 결정할 수도 있고, c) 안저 변화를 검출할 수도 있다.

안저 변화를 검출함에 있어서, 별도의 레이저 스캔 장치를 요구하지 않고, 전술한 과정을 통해 안저 카메라(fundus camera)를 이용하여 쉽게 얻을 수 있는 안저영상만으로도 안저 변화를 검출할 수도 있다. 안저 카메라는 침습적인 처치가 필요하지 않고 방사선을 사용하지 않을 뿐만 아니라 촬영 시간이 수 분 이내로 짧다. 이러한 안저 카메라를 이용한 안저 검사는 비용이 매우 저렴하다(현재 보험수가 7990원, 일반수가 20770원)이다. 또한, 안저 카메라는 거의 모든 안과의원 및 안과병원에 보급되어 있을 뿐만 아니라 다수의 검진센터들도 보유하고 있어, 접근성, 보급성이 뛰어나다.

이러한 장점을 갖는 안저 사진 촬영을 이용하여 안저 변화를 검출할 수 있다면, 안저 변화에 관련된 다양한 안구 질환을 판독하는 것을 지원할 수 있어, 획기적인 발전을 이룰 것으로 예상된다.

Claims

프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 정합 방법에 있어서,
대상자의 안구를 제1 및 제2 시점에서 각각 촬영한 복수의 안저영상을 포함하는 제1 및 제2 안저영상 세트를 획득하는 단계;
제1 안저영상 세트 또는 제2 안저영상 세트 각각의 복수의 안저영상에서 시신경 유두(optic disc) 및 중심와(fovea) 중 적어도 하나를 검출하는 단계;
상기 시신경 유두와 중심와의 검출 여부에 따라 상기 복수의 안저영상을 세트 별로 복수의 그룹으로 분류하는 단계;
상기 복수의 그룹에 대하여 그룹 간 정합 순위를 할당하는 단계;
그룹 별 안저영상 각각에 대해 그룹 내 정합 순위를 할당하는 단계;
안구 내 혈관에 기초하여 제1 및 제2 안저영상을 정합하는 단계 - 상기 제1 안저영상은 그룹 내 정합 순위로서 이전 순위를 갖는 하나 이상의 안저영상을 정합하여 생성된 합성 영상 또는 그룹 내 정합 순위로서 1순위 안저 영상이고, 상기 제2 안저영상은 그룹 내 정합 순위로서 현재 순위를 갖는 안저영상임 -;
정합 영상에서 제1 안저영상 내 관심영역 및 제2 안저영상 내 관심영역을 검출하는 단계; 및
제1 안저영상의 관심영역 영상과 제2 안저영상 내 관심영역 영상에 기초하여 제1 시점에서 제2 시점 동안의 안저 변화를 검출하는 단계를 포함하고,
상기 복수의 그룹에 대하여 그룹 간 정합 순위를 할당하는 단계는:
각 그룹에 대하여 그룹 간 정합 순위를 제1 그룹, 제2 그룹, 제3 그룹 및 제4 그룹의 순서 또는 제1 그룹, 제3 그룹, 제2 그룹 및 제4 그룹의 순서로 설정하는 단계를 포함하고,
상기 그룹 별 안저영상 각각에 대해 그룹 내 정합 순위를 할당하는 단계는:
상기 제1 그룹 내지 상기 제3 그룹 중 적어도 하나의 그룹에 대해서, 그룹 별 기준 안저영상을 선택하는 단계; 및
각 그룹의 기준 안저영상에서 검출되는 시신경 유두와 각 그룹에 포함되는 안저영상에서 검출되는 시신경 유두 사이의 거리에 기초하여 각 안저영상에 대해 그룹 내 정합 순위를 할당하는 단계를 포함하고,
상기 그룹 간 정합 순위로서, n+1 순위(여기서, n은 1 내지 3 사이의 자연수)를 갖는 그룹에서 가장 높은 그룹 내 정합 순위는, 상기 그룹 간 정합 순위로서, n 순위를 갖는 그룹에서 가장 낮은 그룹 내 정합 순위에 다음하도록 할당되는 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서, 상기 제1 안저영상과 제2 안저영상을 정합하는 단계는,
제1 및 제2 안저영상의 특징점에 기초하여 제1 안저영상을 제2 안저영상에 정합하는 단계;
상기 제1 안저영상에서 혈관 영역을 나타낸 제1 혈관 마스크를 생성하는 단계;
상기 제2 안저영상에서 혈관 영역을 나타낸 제2 혈관 마스크를 생성하는 단계; 및
상기 제1 혈관 마스크와 제2 혈관 마스크를 변형 정합(deformable registration)하여 제1 안저영상과 제2 안저영상을 재-정합하는 단계를 포함하는 것을 특징으로 하는 안저 변화 검출 방법.
제2항에 있어서, 상기 제1 안저영상에서 제1 혈관 마스크를 생성하는 단계는,
상기 제1 안저영상 내 영역 특성에 기초한 혈관 추출 모델을 이용하여 상기 제1 안저영상의 적어도 일부의 혈관 형상을 추출하는 단계; 및
혈관 영역에 대응한 형상을 갖는 혈관 마스크를 생성하는 단계를 포함하고,
상기 혈관 추출 모델은,
입력영상 내 혈관을 혈관 확률맵(Vessel Probaibility Map)으로 출력하도록 학습된 것을 특징으로 하는 안저 변화 검출 방법.
제2항에 있어서, 상기 제1 안저영상에서 제1 혈관 마스크를 생성하는 단계는,
추출된 혈관 형상을 혈관 영역으로 포함한 영상을 이진화하여 이진화 혈관 마스크를 생성하는 단계;
이진화 혈관 마스크를 포함한 영상을 반전(inverted) 처리하여 혈관과 외부 경계 사이의 밸리(velly)를 검출하는 단계; 및
밸리 내부가 상기 혈관을 나타내도록 상기 밸리 내부를 채우는 단계를 더 포함하는 것을 특징으로 하는 안저 변화 검출 방법.
제2항에 있어서, 상기 제1 및 제2 안저영상의 특징점에 기초하여 제1 안저영상을 제2 안저영상에 정합하는 단계는,
영상의 크기와 회전에 불변하는 특징을 추출하는 특징 서술자를 통해 적어도 하나의 특징점을 상기 제1 및 제2 안저영상에서 추출하는 단계;
상기 제1 및 제2 안저영상에서 추출된 특징점 중 하나 이상의 특징점을 샘플링하는 단계; 및
샘플링된 특징점에 기초하여 상기 제1 및 제2 안저영상을 강체 정합하는 단계를 포함하는 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서,
상기 관심영역은 시신경 유두 부분 및 황반 부분 중 하나 이상을 포함하고,
상기 제1 안저영상 내부의 하나 이상의 관심영역을 검출하는 단계는,
상기 정합된 제1 및 제2 안저영상을 제1 관심영역 추정 모델에 적용하여 상기 정합된 제1 및 제2 안저영상에서 관심영역의 위치를 각각 검출하며,
상기 제1 관심영역 추정 모델은,
상기 시신경 유두 부분의 x좌표 및 y좌표 중 하나 이상, 또는 상기 황반 부분의 x좌표 및 y좌표 중 하나 이상을 출력하도록 모델링된 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서,
상기 관심영역은 이상소견 영역을 포함하고,
상기 제1 안저영상 내부의 하나 이상의 관심영역을 검출하는 단계는,
상기 정합된 제1 및 제2 안저영상을 제2 관심영역 추정 모델에 적용하여 상기 정합된 제1 및 제2 안저영상에서 관심영역의 위치를 각각 검출하며,
상기 제2 관심영역 추정 모델은,
입력된 안저영상이 질환 영상 그룹에 속하는지 여부를 분류하도록 모델링된 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서,
상기 관심영역은 혈관 영역을 포함하고,
상기 혈관 영역의 위치는 제1 안저영상에서 생성된 혈관 마스크의 위치인 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서, 상기 제1 시점과 제2 시점 동안의 안저 변화를 산출하는 단계는,
상기 제1 및 제2 안저영상을 변화 검출 모델에 적용하여 안저 변화를 검출하는 단계를 포함하고,
상기 변화 검출 모델은,
상기 제1 및 제2 안저영상에서 제1 특징의 세트 및 제2 특징의 세트를 각각 추출하고,
상기 제1 및 제2 특징의 세트의 특징 간 상관 맵을 산출하고,
상기 상관 맵에 기초하여 상기 제1 및 제2 안저영상의 쌍이 안저 변화를 갖는
그룹에 속하는지 분류하도록 모델링된 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서, 상기 제1 시점과 제2 시점 동안의 안저 변화를 산출하는 단계는,
상기 제1 안저영상 내 상기 검출된 관심영역과 상기 제2 안저영상 내 상기 검출된 관심영역의 색상을 픽셀 단위로 비교하여 변화를 검출하는 단계를 포함하는 것을 특징으로 하는 안저 변화 검출 방법.
제1항에 있어서,
상기 제1 안저영상은 제1 시점에서 전체 안구 영역의 서브 영역을 각각 촬영한 복수의 영상 프레임을 합성한 제1 광각 안저영상이고,
상기 제2 안저영상은 제2 시점에서 상기 전체 안구 영역의 대응 서브 영역을 각각 촬영한 복수의 영상 프레임을 합성한 제2 광각 안저영상인 것을 특징으로 하는 안저 변화 검출 방법.
제11항에 있어서,
안저 변화를 검출하기 이전에, 상기 제1 또는 제2 광각 안저영상을 생성하는 단계를 더 포함하고, 상기 제1 또는 제2 광각 안저영상을 생성하는 단계는,
동일한 시점에서 대상자의 안구를 촬영한 상기 복수의 영상 프레임을 획득하는 단계 - 상기 복수의 영상 프레임 중 적어도 하나의 영상 프레임은 적어도 하나의 다른 영상 프레임과 부분적으로 중첩됨;
상기 복수의 영상 프레임의 제1 영상 프레임을 제2 영상 프레임과 정합하는 단계; 및
광각 안저영상을 생성하기 위해, 재-정합 결과에 기초하여 제1 영상 프레임의 적어도 일부 영역과 상기 제2 영상 프레임의 적어도 일부가 중첩한 합성영상을 생성하는 단계를 포함하는 것을 특징으로 하는 안저 변화 검출 방법.
컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제12항 중 어느 하나의 항에 따른 안저 변화 검출 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
삭제
제1 시점에 촬영된 복수의 안저영상으로 이루어진 제1 안저영상 세트, 그리고 제2 시점에 촬영된 복수의 안저영상으로 이루어진 제2 안저영상 세트를 획득하는 영상 획득부 - 상기 제1 안저영상 세트 또는 제2 안저영상 세트 내 적어도 하나의 안저영상은 적어도 하나의 다른 안저영상과 부분적으로 중첩됨;
제1 안저영상 세트 또는 제2 안저영상 세트에 대해서, 각 세트의 복수의 안저영상에서 시신경 유두(optic disc) 및 중심와(fovea) 중 적어도 하나를 검출하고, 상기 시신경 유두와 중심와의 검출 여부에 따라 세트별 복수의 안저영상을 복수의 그룹으로 분류하고, 상기 복수의 그룹에 대하여 그룹 간 정합 순위를 할당하고, 상기 복수의 그룹 중 적어도 하나의 그룹에 속한 안저영상 각각에 대해서, 그룹 내 정합 순위를 할당하는 분류부;
각 그룹에 포함된 안저영상들에 대해서, 해당 그룹 내 정합 순위에 기초하여 현재의 정합 순위를 갖는 안저영상을 이전 정합 순위까지의 적어도 하나의 안저영상을 정합하여 생성된 합성영상과 정합하는 정합부;
제1 또는 제2 안저영상 세트로부터 제1 또는 제2 광각 안저영상을 생성하기 위해, 정합 결과에 기초하여 현재의 정합 순위를 갖는 안저영상을 이전 정합 순위까지의 적어도 하나의 안저영상을 정합하여 생성된 합성영상으로부터 새로운 합성영상을 생성하는 합성부; 및
제1 시점에서 제2 시점 동안의 광각 안저영상에 대응하는 안구 영역에서의 안저 변화를 검출하는 안저 변화 검출부를 포함하고,
상기 분류부는,
각 그룹에 대하여 그룹 간 정합 순위를 제1 그룹, 제2 그룹, 제3 그룹 및 제4 그룹의 순서 또는 제1 그룹, 상기 제3 그룹, 상기 제2 그룹 및 제4 그룹의 순서로 설정하고,
제1 그룹 내지 제3 그룹 중 적어도 하나의 그룹에 대해서, 그룹 별 기준 안저영상을 선택하고, 각 그룹의 기준 안저영상에서 검출되는 시신경 유두와 각 그룹에 포함되는 안저영상에서 검출되는 시신경 유두 사이의 거리에 기초하여 각 그룹의 각 안저영상에 대해 그룹 내 정합 순위를 할당하고,
상기 그룹 간 정합 순위로서, n+1 순위(여기서, n은 1 내지 3 사이의 자연수)를 갖는 그룹에서 가장 높은 그룹 내 정합 순위는, 상기 그룹 간 정합 순위로서, n 순위를 갖는 그룹에서 가장 낮은 그룹 내 정합 순위에 다음하도록 할당되는 것을 특징으로 하는 장치.