KR20240066310A - Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치 - Google Patents

Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치 Download PDF

Info

Publication number
KR20240066310A
KR20240066310A KR1020220147267A KR20220147267A KR20240066310A KR 20240066310 A KR20240066310 A KR 20240066310A KR 1020220147267 A KR1020220147267 A KR 1020220147267A KR 20220147267 A KR20220147267 A KR 20220147267A KR 20240066310 A KR20240066310 A KR 20240066310A
Authority
KR
South Korea
Prior art keywords
lesion
image
retinal
data
processor
Prior art date
Application number
KR1020220147267A
Other languages
English (en)
Inventor
유승호
유지호
이형우
Original Assignee
주식회사 유스바이오글로벌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유스바이오글로벌 filed Critical 주식회사 유스바이오글로벌
Priority to KR1020220147267A priority Critical patent/KR20240066310A/ko
Priority to PCT/KR2023/017744 priority patent/WO2024101844A2/ko
Publication of KR20240066310A publication Critical patent/KR20240066310A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

OCT 기반 영상 진단 AI 구축을 위한 데이터 전처리 방법, 장치 및 프로그램이 개시된다. 본 발명의 일 실시예에 따른 데이터 전처리 방법은, 제1 망막 이미지를 수신하는 단계; 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정하는 단계; 제1 망막 이미지를 증강 기준에 따라 증강시키는 단계; 제1 망막 이미지의 이미지 픽셀값을 병변 클래스로 구분하고 이진화 처리를 통해 레이블링 데이터를 생성하는 단계; 및 레이블링 데이터를 기초로 병변의 구분 표시가 반영된 제2 망막 이미지를 생성하는 단계;를 포함한다.

Description

OCT 기반 영상 진단 AI 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치{DATA PREPROCESSING METHOD, PROGRAM AND DATA PROCESSING APPARATUS FOR IMAGING DIAGNOSIS ARTIFICIAL INTELLIGENCE ESTABLISHMENT BASED ON OCT}
본 개시는 안질환 데이터의 학습을 위한 데이터 전처리 방법에 관한 것이다. 보다 상세하게는, 본 개시는 OCT 기반 영상 진단 AI 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치에 관한 것이다.
광 간섭 단층 촬영(optical coherence tomographic, OCT)은 빛을 사용하여 광학 산란 매체 내에서 마이크로미터 해상도의 3차원 이미지를 캡처하는 의료 영상 기술이다. 즉, OCT는 레이저 빔이 기준 거울에 의해 반사된 기준광과 측정 대상인 샘플에 의해 후방 산란된 샘플광을 이용하여 측정 대상물의 3차원 이미지를 생성할 수 있다.
상술한 OCT 기술은 안구 촬영을 통해 획득된 OCT 데이터를 이용하여 안질환을 검출하는 안과 분야에도 활용되고 있다.
대한민국 등록특허공보 제10-2141967호 (2020. 07. 31.)
본 개시에 개시된 실시예는 OCT 기법으로 촬영된 망막 이미지에서 병변별 식별이 가능하도록 데이터를 전처리하기 위한 OCT 기반 영상 진단 AI 구축을 위한 데이터 전처리 방법, 장치 및 프로그램을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 데이터 전처리 방법은, 제1 망막 이미지를 수신하는 단계; 상기 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정하는 단계; 상기 제1 망막 이미지를 증강 기준에 따라 증강시키는 단계; 상기 제1 망막 이미지의 이미지 픽셀값을 나이관련 황반변성, 당뇨병성 황반부종 및 망막정맥폐쇄를 포함하는 망막 질환에 매칭되는 병변을 포함한 병변 클래스로 구분하는 단계; 구분된 상기 병변 클래스를 이진화시켜 레이블링 데이터를 생성하는 단계; 상기 레이블링 데이터를 기초로 상기 제1 망막 이미지에서의 병변에 대응되는 병변별 좌표값을 설정하는 단계; 및 설정된 상기 병변별 좌표값을 이용하여 병변별 식별 처리를 수행하여 상기 병변의 구분 표시가 반영된 제2 망막 이미지를 생성하는 단계;를 포함할 수 있다.
또한, 상기 나이관련 황반변성은, IRF(intra-retinal fluid), SRF(sub-retinal fluid), PED(pigment epithelial detachment) 및 SHRM(subretinal　hyperreflective material)의 병변을 포함하고, 상기 당뇨병성은, 상기 IRF 및 상기 SRF의 병변을 포함하며, 상기 당뇨병성 황반부종은, 상기 IRF 및 상기 SRF의 병변을 포함할 수 있다.
상기 레이블링 데이터를 생성하는 단계는, 상기 이미지 픽셀값을 상기 병변 클래스 각각에 매칭된 인덱스로 구분하는 단계; 및 구분된 상기 인덱스를 원핫(one-hot) 벡터로 변환하여 해당 병변을 나타내는 상기 레이블링 데이터를 생성하는 단계;를 포함할 수 있다.
상기 병변 클래스는 백그라운드 클래스, IRF 클래스, SRF 클래스, PED 클래스 및 SHRM 클래스를 포함할 수 있다.
또한, 데이터 전처리 방법은, 상기 제2 망막 이미지를 생성하는 단계에서, 상기 레이블링 데이터를 기초한 사용자의 조작에 따라 상기 제1 망막 이미지에서의 상기 병변별 좌표값을 설정할 수 있다.
또한, 데이터 전처리 방법은, 상기 제2 망막 이미지를 생성하는 단계에서, 상기 병변별 좌표값을 이용하여 상기 병변별로 서로 다른 색상, 음영 및 해칭을 비롯한 영역 구분을 표시할 수 있다.
또한, 본 개시의 다른 측면에 따른 데이터 처리 장치는, 제1 이미지 처리부 및 제2 이미지 처리부를 포함하는 데이터 전처리부의 동작을 제어하는 프로세서;를 포함하고, 상기 프로세서는, 제1 망막 이미지를 수신하고, 상기 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정하며, 상기 제1 망막 이미지를 증강 기준에 따라 증강시키고, 상기 제1 망막 이미지의 이미지 픽셀값을 나이관련 황반변성, 당뇨병성 황반부종 및 망막정맥폐쇄를 포함하는 망막 질환에 매칭되는 병변을 포함한 병변 클래스로 구분하며, 구분된 상기 병변 클래스를 이진화시켜 레이블링 데이터를 생성하고, 상기 레이블링 데이터를 기초로 상기 제1 망막 이미지에서의 병변에 대응되는 병변별 좌표값을 설정하며, 및 설정된 상기 병변별 좌표값을 이용하여 병변별 식별 처리를 수행하여 상기 병변의 구분 표시가 반영된 제2 망막 이미지를 생성할 수 있다.
또한, 상기 프로세서는, 상기 병변별 좌표값을 설정할 때, 상기 제1 망막 이미지의 이미지 크기, 상기 이미지의 픽셀값 및 상기 이미지의 레이블링 데이터를 기 설정된 병변별 기준과 비교 및 분석하여, 상기 제1 망막 이미지로부터 상기 병변별 좌표값을 파악할 수 있다.
또한, 상기 기 설정된 병변별 기준은, 병변별 색상, 병변별 위치, 병변별 크기 및 병변별 형태를 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, OCT 기법으로 촬영된 망막 이미지 상에 병변 별로 서로 다르게 식별이 가능하도록 별도의 표시를 반영하여 제공할 수 있다는 효과를 기대할 수 있다.
또한, 본 개시의 전술한 과제 해결 수단에 의하면, 망막 이미지 상에 병변 별로 식별이 가능하도록 별도의 표시를 반영하여 전처리 한 데이터를 제공하기 때문에, 의료진의 진단을 보조할 수 있고, 이로 인해 진단 결과에 대한 신뢰성이 더욱 향상될 수 있다는 효과를 기대할 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 데이터 처리 장치의 블록도
도 2는 도 1의 데이터 전처리부의 상세 블록도
도 3은 본 개시의 데이터 전처리 방법을 설명하기 위한 흐름도
도 4 내지 도 16은 본 개시의 안질환 및 이를 반영한 망막 이미지를 설명하기 위한 예시도
도 17 내지 도 22는 본 개시의 데이터 전처리 방법을 설명하기 위한 예시도
도 23 내지 도 55는 본 개시의 레이블링 결과를 나타내는 예시도
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우 뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 데이터 처리 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 데이터 처리 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시의 상세한 설명 및 청구항들에 걸쳐 이용된 “이미지” 또는 "영상"이라는 용어는 이산적 영상 요소들(예컨대, 2차원 영상에 있어서는 픽셀)로 구성된 다차원 데이터를 지칭하며, 달리 말하자면, (예컨대, 비디오 화면에 표시된) 눈으로 볼 수 있는 대상 또는 (예컨대, OCT, CT, MRI 검출기 등의 픽셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 지칭하는 용어이다.
예를 들어 "이미지" 또는 "영상"은, 광 간섭 단층 촬영(optical coherence tomographic, OCT) 영상을 의미할 수 있다. 이 외에도, 전산화 단층 촬영(computed tomography, CT), 자기 공명 영상(magnetic resonance imaging, MRI), 초음파 또는 본 개시의 기술분야에서 공지된 임의의 다른 영상 촬영 장치에 의해서 수집된 피검체(subject)의 의료 영상일 수 있다. 영상이 반드시 의료적 맥락에서 제공되어야 하는 것은 아니고 비의료적 맥락에서 제공될 수도 있는 바, 예를 들어 보안 검색용 X선 촬영 등이 있을 수 있다.
도 1은 본 개시의 데이터 처리 장치의 블록도이고, 도 2는 도 1의 데이터 전처리부의 상세 블록도이다.
도 1을 참고하면, 데이터 처리 장치(100)는 프로세서(110), 메모리(150), 통신부(160) 및 출력부(170)를 포함한다. 이때, 프로세서(110)는 데이터 전처리부(120), 학습부(130) 및 판정부(140)를 포함하여 해당 각 구성의 동작을 제어할 수 있다. 도 1에 도시된 구성요소들은 본 개시에 따른 데이터 처리 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 데이터 처리 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
도 2를 참고하면, 상술한 데이터 전처리부(120)는 제1 망막 이미지의 사이즈 조정 및 증강 등의 처리를 수행하는 제1 이미지 처리부(121) 및 제1 망막 이미지의 레이블링 데이터 생성 및 제2 망막 이미지 생성 등의 처리를 수행하는 제2 이미지 처리부(123)를 포함할 수 있다.
도 1을 참고하면, 데이터 처리 장치(100)의 프로세서(110)는 제1 망막 이미지를 수신할 수 있다.
이때, 제1 망막 이미지는 OCT 기법을 통해 눈이 촬영됨에 따라 영상 촬영 장치(200)로부터 전달되는 안저 이미지를 의미할 수 있으며, 이에 한정되지 않는다.
본 개시의 데이터 처리 장치(100)의 프로세서(110)는 영상 촬영 장치(200)로부터 OCT 데이터를 획득할 수 있다. 상기 OCT 데이터는 OCT 영상이라고 대체 명명 가능하며, 제1 망막 이미지를 포함할 수 있다.
상기 영상 촬영 장치(200)는 OCT 촬영기기라 대체 명명할 수 있고, 25 B-scan 방식으로 촬영할 수 있으며, 이에 한정되지 않는다. 도 14를 참고하면, 상기 25 B-scan은 안저(fundus) 영상에서 황반 중심부를 기준으로 상하 13번 스캔하여 가로 방향의 안저층을 촬영한 것으로, 상하 방향을 기준으로 각각 가로 방향의 12개의 이미지를 획득하여 총 23장으로 구성될 수 있다. 도 14의 좌측은 안저 영상이고, 우측은 OCT 영상일 수 있다.
도 14 중 OCT 영상만을 추출하여 연속된 이미지로 연결 및 구성하여, 도 15와 같은 25장의 안저 단층이 연속된 화면으로 구성 단층을 입체적으로 구성하고 해당 병변의 수치를 통해서 볼륨을 직관적으로 뷰어를 통해 구축할 수 있다.
본 개시의 OCT 기법은 비침습적인 방법으로 시신경 유두, 망막 및 각막을 포함한 안구의 구조를 파악하고 분석하는 검사일 수 있다. OCT 기반 검사 장치(미도시)는 OCT 기법을 적용한 영상 촬영 장치(200)를 통해 제1 레이저 광선을 안구 방향으로 송신하고 제2 레이저 광선을 거울로 송신한 후, 안구와 거울로부터 반사되어 회신되는 빛의 시간차로 발생한 간섭현상을 분석하여 안구 내 단층적인 구조를 검사하는 장치일 수 있다. 이를 통해 OCT 기반 검사 장치는 10개의 망막층을 높은 해상도로 촬영하여 이상 유무를 확인하고 진단하여 망막에서 발생한 질환을 조기에 발견할 수 있다. 이에, 안저검사가 안구 내의 이상을 평면적으로 표시한다면, OCT 검사는 망막 박리 또는 황반부종과 같은 질환들의 발생 부위를 보다 입체적으로 표시할 수 있다.
프로세서(110)는 영상 촬영 장치(200)로부터 촬영되어 전달된 제1 망막 이미지 뿐만 아니라, 제1 망막 이미지와 매칭되는 일련번호, 성별, 나이, 우안 및 좌안 여부, 시력, 및 데이터 수집 기준(초진, 3개월, 6개월 및 12개월)을 추가로 수신하여 메모리(150)에 저장할 수 있다.
프로세서(110)는 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정할 수 있다.
프로세서(110)는 제1 망막 이미지를 증강 기준에 따라 증강(augmentation)시킬 수 있다.
프로세서(110)는 제1 망막 이미지의 이미지 픽셀값을 나이관련 황반변성, 당뇨병성 황반부종 및 망막정맥폐쇄를 포함하는 망막 질환에 매칭되는 병변을 포함한 병변 클래스로 구분할 수 있다.
프로세서(110)는 구분된 병변 클래스를 이진화시켜 레이블링 데이터를 생성할 수 있다.
프로세서(110)는 레이블링 데이터를 기초로 제1 망막 이미지에서의 병변에 대응되는 병변별 좌표값을 설정할 수 있다.
프로세서(110)는 제2 이미지 처리부(123)를 통해 병변별 좌표값을 설정할 때, 제1 망막 이미지의 이미지 크기, 이미지의 픽셀값 및 이미지의 레이블링 데이터를 기 설정된 병변별 기준과 비교 및 분석하여, 제1 망막 이미지로부터 상기 병변별 좌표값을 파악할 수 있다. 상기 기 설정된 병변별 기준은 병변별 색상, 병변별 위치, 병변별 크기 및 병변별 형태를 포함할 수 있다.
상기 병변별 좌표값을 설정하는 것은 운용자의 필요에 따라 프로세서(110)가 학습부(130)를 통해 처리할 수도 있다.
프로세서(110)는 설정된 병변별 좌표값을 이용하여 병변별 식별 처리를 수행하여 병변의 구분 표시가 반영된 제2 망막 이미지를 생성할 수 있다.
상술한 프로세서(110)에서의 데이터 전처리 방법은 후술하는 도 3의 기재에서 상세하게 설명하기로 한다.
한편, 프로세서(110)는 학습부(130)를 통해 병변별로 식별 처리된 복수의 제2 망막 이미지를 입력받아 학습 모델을 기초로 학습을 수행할 수 있다. 이때, 학습 모델의 입력 데이터인 제2 망막 이미지는 상술한 병변별 식별 처리를 비롯하여 전처리 된 데이터이기 때문에, 보다 신뢰할 수 있는 학습 결과를 출력할 수 있다는 효과를 기대할 수 있다.
상술한 학습 모델은 사전 학습된 2D U-Net을 포함하는 2차원 분할 모델(2D Segmentation Model) 또는 3D U-Net을 포함하는 3차원 분할 모델(3D Segmentation Model)을 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
프로세서(110)는 입력 데이터의 경향성(예를 들어, 질병의 중증 정도, 망막 이미지의 퀄리티, 망막 이미지가 촬영된 환경, 복합 질환 등)에 따라, 학습 결과에 영향을 덜 끼치는 로버스터(robust) 한 학습 모델을 생성하기 위해서, 기준치 이상의 중증 이상 질환자들을 중심으로 데이터를 수집하여 우선적으로 학습 처리할 수 있다. 이후, 프로세서(110)는 환자 중에서 경중 정도의 환자와 망막 이미지의 퀄리티가 기준치 이상으로 높은 데이터를 수집하여 샘플링 적용할 수 있다.
프로세서(110)는 판정부(140)를 통해 학습부(130)에서의 학습 결과를 병변별 특징 유형(예를 들어, IRF, SRF, PED, SHRM의 바이오마커명)의 특성에 따라 각 질환별로 차이를 구분하여, 구체 질환 및 질환의 중증 정도를 파악 및 생성할 수 있다.
예를 들어, 프로세서(110)는 황반변성의 경우, 일차적인 스크리닝 후, 세부적으로 질환의 중증 특징 등을 구분하여, 결과를 생성하여 출력할 수 있다.
드루젠은 RPE 및 Bruch's membrane 사이 또는 RPE 상부에서 발생할 수 있으며, 연성 드루젠(soft drusen), 망상가성 드루젠(reticular pseudodrusen) 및 파키드루젠(pachydrusen)의 3가지 종류로 구분될 수 있다. 위축(GA) 발생 시, 안저(fundus)에서는 시세포층 붕괴로 맥락막 혈관이 관측되고, OCT 기법을 통해 촬영된 망막 이미지에서는 시세포층 붕괴로 층의 끊어짐이 관측될 수 있다. 이러한 드루젠의 특성을 기초로 하기 질환별 진행 단계 구분 기준을 설정할 수 있다.
일 예로, 도 22를 참고하면, 프로세서(110)는 질환별 진행 단계 구분 기준(예를 들어, AMD 진행 단계 구분 기준)을 기초로 질환의 중증 정도를 생성할 수 있다. 이때, 질환별 진행 단계 구분 기준은 질환의 진행 단계별 드루젠의 개수 및 드루젠의 크기가 매칭된 기준일 수 있다.
상술한 본 개시의 프로세서(110)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(central processing unit), 범용 그래픽 처리 장치 (general purpose graphics processing unit), 텐서 처리 장치(tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(110)는 메모리(150)에 저장된 컴퓨터 프로그램을 판독하여 본 개시에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 개시에 따라 프로세서(110)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는 딥러닝(deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
상기 뉴럴 네트워크 모델은 딥 뉴럴 네트워크일 수 있다. 본 개시에서, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일 한 의미로 사용될 수 있다. 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경 망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.
컨벌루셔널 뉴럴 네트워크는 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는, 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있다. CNN은 가중치와 풀링 레이어(pooling layer)들을 추가로 활용할 수 있다. 이러한 구조 덕분에 CNN은 2차원 구 조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는, 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩 된 이미지 데이터의 경우, R, G, B 색상별로 각각 2 차원(예를 들어, 2 차원 이미지 인 경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서, 이미지 데이터는 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다.
컨벌루셔널 뉴럴 네트워크에서, 컨벌루셔널 필터를 이동해가며 컨벌루셔널 필터와 이미지의 각 위치에서의 행렬 성분끼리 곱하는 것으로 컨벌루셔널 과정(컨벌루셔널 레이어의 입출력)을 수행할 수 있다. 컨벌루셔널 필터는 n*n 형태의 행렬로 구성될 수 있다. 컨벌루셔널 필터는, 일반적으로 이미지의 전체 픽셀의 수보다 작은 고정된 형태의 필터로 구성될 수 있다. 즉, m*m 이미지를 컨벌루셔널 레이어(예를 들어, 컨벌루셔널 필터의 사이즈가 n*n인 컨벌루셔널 레이어)입력시키는 경우, 이미지의 각 픽셀을 포함하는 n*n 픽셀을 나타내는 행렬이 컨벌루셔널 필터와 성분 곱(즉, 행렬의 각 성분끼리의 곱) 될 수 있다. 컨벌루셔널 필터와의 곱에 의하여 이 미지에서 컨벌루셔널 필터와 매칭되는 성분이 추출될 수 있다. 예를 들어, 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터는 [[0,1,0], [0,1,0], [0,1,0]] 와 같이 구성될 수 있다. 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터가 입력 이미지에 적용되면 이미지에서 컨벌 루셔널 필터와 매칭되는 상하 직선 성분이 추출되어 출력될 수 있다. 컨벌루셔널 레이어는 이미지를 나타낸 각각의 채널에 대한 각각의 행렬(즉, R, G, B 코딩 이미 지의 경우, R, G, B 색상)에 컨벌루셔널 필터를 적용할 수 있다. 컨벌루셔널 레이 어는 입력 이미지에 컨벌루셔널 필터를 적용하여 입력 이미지에서 컨벌루셔널 필터 와 매칭되는 피쳐를 추출할 수 있다. 컨벌루셔널 필터의 필터 값(즉, 행렬의 각 성 분의 값)은 컨벌루셔널 뉴럴 네트워크의 학습 과정에서 역전파에 의하여 업데이트 될 수 있다.
컨벌루셔널 레이어의 출력에는, 서브샘플링 레이어가 연결되어 컨벌 루셔널 레이어의 출력을 단순화하여 메모리 사용량과 연산량을 줄일 수 있다. 예를 들어, 2*2 맥스 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입 력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 최대값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 평균값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 본 개시에 포함될 수 있다.
컨벌루셔널 뉴럴 네트워크는, 하나 이상의 컨벌루셔널 레이어, 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 과정과 서브샘플링 과정(예를 들어, 전술한 맥스 풀링 등)을 반복적으로 수행하여 이미지에서 피쳐를 추출할 수 있다. 반복적인 컨벌루션널 과정과 서브샘플링 과정을 통해 뉴럴 네트워크는 이미지의 글로벌 피쳐를 추출할 수 있다.
컨벌루셔널 레이어 또는 서브샘플링 레이어의 출력은 풀 커넥티드 레이어(fully connected layer)에 입력될 수 있다. 풀 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이 다. 풀 커넥티드 레이어는 뉴럴 네트워크에서 각 레이어의 모든 노드가 다른 레이 어의 모든 노드에 연결된 구조를 의미할 수 있다.
프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은, CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
메모리(150)는 데이터 전처리 방법을 제공하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(110)에 의해 판독되어 구동될 수 있다. 메모리(150)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 통신부(160)가 수신한 임의의 형태의 정보를 저장할 수 있다.
메모리(150)는 데이터 처리 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 저장할 있고, 데이터 처리 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 데이터 처리 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(150)는 플래시 메모리 타입(Flash memory type), 하드디스크 타입(Hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(Multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random access memory; RAM), SRAM(Static random access memory), 롬(Read-only memory; ROM), EEPROM(Electrically erasable programmable read-only memory), PROM(Programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
출력부(170)는 병변별 식별 처리된 제2 망막 이미지를 비롯하여 데이터 처리 장치(100)와 관련된 각종 정보를 제공하기 위한 사용자 인터페이스(UI, user interface)를 표시할 수 있다. 출력부(170)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 통신부(160)가 수신한 임의의 형태의 정보를 출력할 수 있다.
출력부(170)는 액정 디스플레이(LCD: liquid crystal display), 박막 트랜지스터 액정 디스플레이(TFT LCD: thin film transistor- liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이 모듈은, 그를 통해 외부를 볼 수 있도록 투명형 또는 광 투과형으로 구성될 수 있다. 이는 투명 디스플레이 모듈이라 지칭될 수 있는데, 상기 투명 디스플레이 모듈의 대표적 인 예로는 TOLED(Transparent OLED) 등이 있다.
도시하지 않았지만, 본 개시의 데이터 처리 장치(100)는 입력부를 더 포함할 수도 있다.
입력부는 사용자에 의해서 입력된 정보를 수신할 수 있다. 입력부는 사용자에 의해서 입력된 정보를 수신하기 위한 사용자 인터페이스 상의 키 및/또는 버튼들, 또는 물리적인 키 및/또는 버튼들을 구비할 수 있다. 입력부를 통한 사용 자 입력에 따라 본 개시의 실시예들에 따른 디스플레이를 제어하기 위한 컴퓨터 프로그램이 실행될 수 있다.
도 3은 본 개시의 데이터 전처리 방법을 설명하기 위한 흐름도이다.
이하에서는, 본 개시의 안질환 및 이를 반영한 망막 이미지를 설명하기 위한 예시도인 도 4 내지 도 16 및 본 개시의 데이터 전처리 방법을 설명하기 위한 예시도인 도 17 내지 도 21을 참고하여 설명하기로 한다.
도 3를 참고하면, 데이터 처리 장치(100)의 프로세서(110)는 데이터 전처리부(120)의 제1 이미지 처리부(121)를 통해 제1 망막 이미지를 수신할 수 있다(310). 이때, 제1 망막 이미지는 영상 촬영 장치(200)로부터 OCT 기법을 통해 촬영되어 전달된 이미지를 의미할 수 있다.
프로세서(110)는 영상 촬영 장치(200)로부터 촬영되어 전달된 OCT 영상인 제1 망막 이미지 뿐만 아니라, 제1 망막 이미지와 매칭되는 일련번호, 성별, 나이, 우안 및 좌안 여부, 시력 및 데이터 수집 기준(초진, 3개월, 6개월 및 12개월)을 추가로 수신하여 메모리(150)에 저장할 수 있다.
도 16을 참고하면, 데이터 처리 장치(100)는 영상 촬영 장치(200)에서의 스캔을 통해 OCT 데이터로 제1 망막 이미지를 획득할 수 있다.
상기 제1 망막 이미지는 그레이 스케일(gray-scale)로 단일 채널 영상일 수 있고, RPE 및 PR에서 상대적으로 가장 밝은 밝기를 나타내는 것을 확인할 수 있다.
프로세서(110)는 제1 망막 이미지로부터 최소 13개의 망막층을 식별할 수 있다.
도 16은 망막층을 나타내는 것으로, 안구의 중심에 인접한 영역을 내층이라 하고, 맥락막과 공막에 가까운 영역을 외층이라고 할 수 있다. 상기 식별된 망막층은 내경계막(internal limiting membrane, ILM), 신경절세포층(retinal nerve fibre layer, RNFL), 신경절세포층(ganglion cell layer, GCL), 내망상층(inner plexiform layer, IPL), 내핵층(inner nuclear layer, INL), 외망상층(outer plexiform layer, OPL), 외핵층(outer nuclear layer, ONL), 외경계막(external limiting membrane, ELM), 광수용체층(photoreceptor layers, PR), 망막색소상피(retinal pigment epithelium, RPE), 부르크막(bruch's membrane, BM), 맥락막모세혈관밀도(choriocapillaris, CC) 및 맥락막 기질(choroidal stroma, CS)로 구분할 수 있다. 이때, 망막 내부(inner retinal)는 ILM ~ RPE-BM 영역으로 외부 제한막을 통해 내부 제한막으로 구성되고, 망막 외부(outer retinal)는 RPE-BM 하단 영역(예를 들어, 맥락막, 공막)으로 맥락막을 통해 광수용체 층으로 구성될 수 있다.　상술한 레이어는 레이어가 빛을 반사하는지 흡수하는지에 따라 밝은(과반사) 밴드 또는 어두운(저반사) 밴드로 나타날 수 있다.
상술한 OCT 스캔 결과를 해석할 때, 망막의 서로 다른 층을 식별 및 구별할 수 있다. 예를 들어, 삼출물과 드루젠은 검안경이나 안저 사진에서 흔히 유사하게 보이지만 망막층에서의 위치에 따라 쉽게 구별할 수 있다.　삼출물은 일반적으로 내부 망막에서 발견되는 손상된 모세관에서 유래하는 지질 잔류물이기 때문에 외부 망상층에 또는 인접하여 위치하는 반면, 드루젠은 RPE가 제대로 기능하지 않기 때문에 RPE와 BM 사이에 위치한 침착물일 수 있다.
다음, 프로세서(110)는 제1 이미지 처리부(121)를 통해 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정할 수 있다(320). 예를 들어, 프로세서(110)는 제1 이미지 처리부(121)를 통해 제1 망막 이미지를 256*256 사이즈로 전환하여 학습 시 입력되는 데이터들의 서로 다른 사이즈가 동일하도록 조정할 수 있다(320).
다음, 프로세서(110)는 제1 이미지 처리부(121)를 통해 제1 망막 이미지를 증강 기준에 따라 증강(augmentation)시킬 수 있다(330).
프로세서(110)는 제1 망막 이미지를 기초로 서로 다른 이미지들을 생성하여 학습 시 적용되는 입력 데이터의 수를 증가시켜 보다 신뢰성이 향상된 학습 모델을 생성할 수 있도록 할 수 있다. 예를 들어, 도 17을 참고하면, 프로세서(120)는 제1 망막 이미지를 이용하여 좌우 반전, 상하 반전, 기 설정된 각도로의 회전, 랜덤 자르기(random cropping) 등의 처리를 통해 데이터를 증강할 수 있다.
다음, 프로세서(110)는 제2 이미지 처리부(123)를 통해 제1 망막 이미지의 이미지 픽셀값(0 내지 255)을 나이관련 황반변성(age-related macular degeneration, AMD)(이하, AMD라 하기로함), 당뇨병성 황반부종(diabetic macular edema, DME)(이하, DME라 하기로 함) 및 망막정맥폐쇄(retinal vein occlusion, RVO)(이하, RVO라 하기로 함)를 포함하는 망막 질환에 매칭되는 병변을 포함한 병변 클래스로 구분하고, 구분된 상기 병변 클래스를 이진화 처리(0 또는 1)를 통해 레이블링 데이터를 생성할 수 있다(340).
본 개시의 안질환은 AMD, DME 및 RVO를 포함할 수 있다.
상기 AMD는 AMD, 신생혈관 AMD 및 건성 황반변성 또는 위축성 황반변성(dry AMD)로 구분될 수 있다. 이때, AMD는 망막내액(Intraretinal Fluid)(이하, IRF라 하기로 함), 망막하액(Subretinal Fluid)(이하, SRF라 하기로 함), 망막색소상피 박리(Pigment Epithelial Detachment)(이하, PED라 하기로 함) 및 망막하 과반사 물질(subretinal　hyperreflective material)(이하, SHRM라 하기로 함)의 4가지 주요 병변을 포함할 수 있다. 상기 IRF, SRF, PED 및 SHRM은 질환별 바이오마커(biomarker)명일 수도 있다.
상술한 AMD는 시세포위축에 의한 점진성 시력저하 및 신생혈관 발생으로 인한 출혈, 누출 발생으로 급격한 시력상실 우려가 있는 질환이다. 상기 AMD는 공통적으로 노령 환자의 대사부족과 같은 이유에 의해 발생할 수 있다. 안구에는 사람의 활동으로 인해 드루젠(drusen)이라는 찌꺼기가 쌓이게 되는데, 이를 청소하는 대사가 부족해지면서 드루젠이 염증을 발생시킬 수 있다. 이때, 드루젠은 시세포 대사 과정에서 발생하는 노폐물을 처리하는 망막색소상피(retinal pigment epithelium, RPE)(이하, RPE이라 하기로 함)의 노화로 인해 탐식 작용을 제대로 하지 못해 축적되는 시세포의 찌꺼기를 의미할 수 있다. 드루젠이 누적됨에 따라 층을 파괴하게 되고 이에 따라 AMD가 진행되는 것이다. 망막층 중에서 RPE 위에 드루젠이 쌓이면 염증반응을 일으켜 시세포층의 위축 또는 신생혈관을 유발하여 시세포층을 파괴하는 건성 또는 습성 형태의 AMD를 발생시킬 수 있다.
신생혈관 AMD는 RPE층 아래에 존재하는 맥락막 혈관이 RPE층을 뚫고 나와 새로운 혈관(신생혈관)을 생성하여 발생하는 황반변성 질환으로 혈액 또는 삼출물(혈장 또는 지질단백질)이 혈관 밖으로 흘러나오기 때문에 안저(fundus) 영상에서 망막아래공간의 출혈 또는 삼출물이 발견되는 질환이다. 예를 들어, 도 4는 RPE층 아래로 혈액이 흐르는 것이고, 도 5는 RPE층 아래로 삼출액이 관찰되는 것이다.
도 6을 참고하면, 건성 황반변성 또는 위축성 황반변성(dry AMD)은 망막과 맥락막의 위축이 발생하여 망막 기능을 상실하게 되는 질환이다. 초기에서 중기의 AMD는 모두 건성 단계에서 시작하며 드루젠이 누적되면서 후기건성으로 발전할 경우 지도 모양 위축(geographic atrophy)이 발생할 수 있다. 또한, 습성(wet) AMD로 발전할 수 있으며 습성으로 발전 시 시력 저하 속도가 빨라질 수 있다.
도 7과 같은 DME는 당뇨환자 중 10%에서 발생하는 질환으로, 당뇨성망막병증(diabetic retinopathy, DR)에서 동반되어 발생할 수도 있다. DME는 IRF 및 SRF의 2가지 주요 병변을 포함할 수 있다.
도 8을 참고하면, DR은 안구 황반부의 망막에 물이 차면서 황반부의 구조를 변화시키고 황반부의 기능 저하를 유발시킬 수 있다. 도 8은 정상안, 비증식성 당뇨망막병증 및 증식성 당뇨망막병증의 예시를 순서대로 나타내고 있다.
RVO는 망막 내 정맥이 막히거나 파열됨에 따라 출혈이 발생하는 질환으로, 폐색 위치에 따라 도 9 및 도 10과 같이 구분할 수 있다. 도 9는 정맥폐쇄가 혈관 가지부분에서 발생한 경우의 분지정맥폐쇄(Branch RVO)를 나타내는 것이고, 도 10은 폐쇄가 황반 중심부 주위에서 발생한 경우의 중심정맥폐쇄(Central RVO)를 나타내는 것이다.
이하에서는 도면을 참고하면, 발생 기전 및 병변에 대해 설명하기로 한다.
도 11을 참고하면, CNV(choroidal neovascularazation) 맥락막 신생혈관은 맥락막으로부터 기원한 신생혈관으로 망막과 맥락막 사이 경계에 있는 브루크막(Bruch's Membrane)이 약해지고 파열되면서 해당파열 부위를 통해 신생혈관이 자라나는 것을 의미한다. 이때, 자라난 혈관은 망막 가장 아래층인 RPE 하부에서 증식하게 되고, 섬유조직이 혈관과 함께 증식하면서 망막과 같은 모양을 나타내기 때문에 맥락막 신생혈관이라고 지칭할 수 있다.
도 12 및 도 13을 참고하면, PED는 망막의 10개층 중에서 유일하게 색소를 지니고 있어 RPE 아래의 맥락막으로부터 떨어진 것을 의미한다. 이때, PED는 종류에 따라 섬유혈관성 색소상피 박리(fibrovascular PED), 장액성 색소상피 박리(serous PED), 출혈성 색소상피 박리(hemorrhagic PED) 및 드루젠성 색소상피 박리(drusenoid PED)로 구분할 수 있다.
도 12 및 도 13을 참고하면, IRF는 망막층 사이에 발생하는 병변이고, SRF는 망막색소상피층(RPE)과 망막의 가장 아래층 사이에 발생하는 병변일 수 있다.
도 13을 참고하면, SHRM은 망막 외부 및 RPE 내부에 위치한 과반사 물질로 OCT 영상에서 확인할 수 있는 형태학적 특징일 수 있다. SHRM은 체액, 섬유소, 혈액, 흉터 및 CNV로 구성될 수 있다.
프로세서(110)는 제2 이미지 처리부(123)를 통해 이미지 픽셀값을 나이관련 황반변성, 당뇨병성 황반부종 및 망막정맥폐쇄를 포함하는 망막 질환에 매칭되는 병변을 기초한 병변 클래스로 구분한 후 이진화시켜 상기 레이블링 데이터를 생성할 수 있다. 이때, 프로세서(110)는 원핫(one-hot) 인코딩을 통해 망막 질환의 병변별 클래스 데이터를 생성하여 전처리를 수행할 수 있다. 상기 원핫 인코딩은 각 단어에 고유한 정수를 부여하는 인코딩 절차를 수행하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고 다른 단어의 인덱스에는 0을 부여한 단어의 벡터(원핫 벡터) 표현 방식이다. 본 개시에서의 원핫 인코딩은 표현하고 싶은 병변 클래스의 인덱스에는 1의 값을 부여하고, 타 병변 클래스의 인덱스에는 0을 부여하는 병변 클래스의 벡터 표현 방식을 의미할 수 있다. 이를 통해, 망막 이미지 상에서 병변별 식별력이 향상될 수 있다는 효과를 기대할 수 있다.
상기 나이관련 황반변성은 IRF(intra-retinal fluid), SRF(sub-retinal fluid), PED(pigment epithelial detachment) 및 SHRM(subretinal　hyperreflective material)의 병변을 포함할 수 있다. 또한, 상기 당뇨병성 황반부종은 IRF 및 SRF의 병변을 포함할 수 있다. 또한, 상기 망막정맥폐쇄는 IRF 및 SRF의 병변을 포함할 수 있다.
구체적으로, 프로세서(110)는 제2 이미지 처리부(123)를 통해 이미지 픽셀값 0 내지 255를 병변 클래스 각각에 매칭된 인덱스로 구분할 수 있다. 이때, 이미지 픽셀값은 좌표값 및 좌표값에 대응되는 색상을 포함할 수 있다.
도 18을 참고하면, 상술한 병변 클래스는 백그라운드 클래스, IRF 클래스, SRF 클래스, PED 클래스 및 SHRM 클래스를 포함할 수 있다. 상기 백그라운드 클래스는 망막 이미지 상에서 질환 및 병변과 관련되지 않은 배경을 의미할 수 있다.
나이관련 황반변성(AMD), 당뇨병성 황반부종(DME) 및 망막정맥폐쇄(RVO)의 질환 별로 각각 백그라운드 클래스, IRF 클래스, SRF 클래스, PED 클래스 및 SHRM 클래스를 포함할 수 있다.
도 18을 참고하면, 프로세서(110)는 제2 이미지 처리부(123)를 통해 병변 클래스별 인덱스, 예를 들어, 백그라운드 클래스는 0, IRF 클래스는 1, SRF 클래스는 2, PED 클래스는 3 및 SHRM 클래스는 4로 할당할 수 있다.
프로세서(110)는 제2 이미지 처리부(123)를 통해 구분된 클래스별 인덱스를 원핫(one-hot) 벡터로 변환하여 해당 병변을 나타내는 레이블링 데이터를 생성할 수 있다.
도 18을 참조하면, 프로세서(110)는 제2 이미지 처리부(123)를 통해 클래스 인덱스 0을 원핫 벡터 [1, 0, 0, 0, 0]으로, 클래스 인덱스 1을 원핫 벡터 [0, 1, 0, 0, 0]으로, 클래스 인덱스 2를 원핫 벡터 [0, 0, 1, 0, 0]으로, 클래스 인덱스 3을 원핫 벡터 [0, 0, 0, 1, 0]으로, 클래스 인덱스 4를 원핫 벡터 [0, 0, 0, 0, 1]로 변환할 수 있다.
본 개시는 상술한 처리와 같이 레이블링 데이터를 보다 효과적으로 인코딩할 수 있다. 또한, 본 개시는 병변별로 확실히 구분되는 레이블링을 위해 병변 영역의 값은 1로 고정되게 설정할 수 있다. 또한, 본 개시의 프로세서(110)는 제1 망막 이미지의 전처리 출력값으로 0 또는 1의 값 형태의 이진 결과를 출력하여, 제1 망막 이미지에서 병변 영역의 명확한 결과만 남을 수 있도록 할 수 있다. 이때, 0과 1을 결정하기 위한 임계값은 하이퍼 파라미터로 설정할 수 있다.
한편, 프로세서(110)는 제2 이미지 처리부(123)를 통해 병변 클래스별 인덱스 설정 시, 매칭되는 질환도 고려하여 인덱스를 설정할 수 있다. 이때, 병변 클래스별 인덱스는 백그라운드 클래스 0, AMD 질환의 IRF 클래스 1, AMD 질환의 SRF 클래스 2, AMD 질환의 PED 클래스 3 및 AMD 질환의 SHRM 클래스 4로 부여되고, DME 질환의 IRF 클래스 5 및 DME 질환의 SRF 클래스 6으로 부여되며, RVO 질환의 IRF 클래스 7 및 RVO 질환의 SRF 클래스 8로 부여될 수 있다.
상술한 DME 질환 및 RVO 질환에 대한 백그라운드 클래스 각각에도 별도의 인덱스가 부여될 수 있으며, 이에 한정되지 않는다. 즉, 질환별 구분이 요구되지 않는 백그라운드 클래스에는 AMD 질환과 동일한 인덱스를 적용하나, 별도를 인덱스를 부여하는 것 역시 가능하다는 것이다.
예를 들어, AMD 질환의 IRF 병변인 경우, 원핫 벡터는 [0, 1, 0, 0, 0, 0, 0, 0, 0]일 수 있고, DME 질환의 IRF 병변인 경우, 원핫 벡터는 [0, 0, 0, 0, 0, 1, 0, 0, 0]일 수 있으며, RVO 질환의 IRF 병변인 경우, 원핫 벡터는 [0, 0, 0, 0, 0, 0, 0, 1, 0]일 수 있는 것이다.
AMD 클래스, DME 클래스 및 RVO 클래스는 서로 병변이 중복(예를 들어, IRF, SRF)될 수 있다. 본 개시는 상술한 바를 통해, 병변 뿐만 아니라 병변과 매칭되는 해당 질환도 식별할 수 있도록 할 수 있다. 이로 인해, 이후 질환 및 병변에 대한 학습 시 보다 명확한 학습 결과를 도출할 수 있는 입력 데이터를 제공할 수 있다는 효과를 기대할 수 있다.
다음, 프로세서(110)는 제2 이미지 처리부(123)를 통해 병변의 구분 표시가 반영된 제2 망막 이미지를 생성할 수 있다(350).
구체적으로, 프로세서(110)는 제2 이미지 처리부(123)를 통해 레이블링 데이터를 기초로 파악된 제1 망막 이미지에서의 병변에 대응되는 병변별 좌표값으로 설정하고, 설정된 병변별 좌표값을 이용하여 병변별 식별 처리를 수행하여 병변의 구분 표시가 반영된 제2 망막 이미지를 생성할 수 있다.
이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 레이블링 데이터를 기초한 사용자의 조작에 따라 제1 망막 이미지에서의 병변별 좌표값을 설정할 수 있다.
예를 들어, 프로세서(110)는 제1 망막 이미지에서 병변 부분의 값이 1로 설정된 레이블링 데이터를 기초로 사용자에 의해서 병변별 좌표값(x좌표, y좌표, w(width) 좌표 및 h(height) 좌표)로 구획되면, 구획된 병변별 좌표값을 획득할 수 있다.
한편, 프로세서(110)는 제2 이미지 처리부(123)를 통해 제1 망막 이미지의 이미지 크기, 이미지의 픽셀값 및 이미지의 레이블링 데이터를 기 설정된 병변별 기준과 비교 및 분석하여, 제1 망막 이미지로부터 병변별 좌표값을 파악할 수 있다. 이때, 기 설정된 병변별 기준은 병변별 색상, 병변별 위치, 병변별 크기 및 병변별 형태를 포함할 수 있다. 상기 과정은 운용자의 필요에 따라 프로세서(110)가 학습부(130)를 통해 수행하는 것 역시 가능하다 할 것이다.
구체적으로, 프로세서(110)는 제1 망막 이미지로부터 파악된 이미지 크기, 이미지의 픽셀값 및 레이블링 데이터를 기초로 제1 망막 이미지로부터 적어도 하나 이상의 병변 영역을 파악할 수 있다.
또한, 프로세서(110)는 제1 망막 이미지로부터 파악된 이미지 크기, 이미지의 픽셀값 및 레이블링 데이터를 병변별 색상, 병변별 위치, 병변별 크기 및 병변별 형태를 포함하는 병변별 기준과 비교하여, 적어도 하나 이상의 병변 영역들 각각에 매칭되는 병변을 파악할 수 있다. 이때, 프로세서(110)는 이미지의 픽셀값 및 레이블링 데이터와 병변별 기준의 비교를 통해 병변 영역의 경계를 파악하여 병변별 좌표값을 획득할 수 있다.
도 19 내지 도 21을 참고하면, 프로세서(110)는 제2 이미지 처리부(123)를 통해 병변별 좌표값을 이용하여 병변별로 서로 다른 색상, 음영 및 해칭을 비롯한 영역 구분을 표시할 수 있다. 예를 들어, 도 19의 A 및 B와 같이, 서로 다른 색상으로 병변이 구분되어 표시될 수 있도록 하는 것이다.
도 20 및 도 21을 참고하면, 프로세서(110)는 제2 이미지 처리부(123)를 통해 제1 망막 이미지의 OCT 데이터(도 20의 OCT)로부터 병변 영역을 식별하고(segmentation result), 식별된 병변 영역을 적용한 제2 망막 이미지(overlay image)를 획득할 수 있다.
본 개시는 서로 다른 병변 영역을 구분하여 표시하고, 이를 제1 망막 이미지에 중첩시킨 제2 망막 이미지를 제공하기 때문에, 사용자의 입장에서 망막에 발생한 망막질환별 병변을 확인하는 것이 용이하다는 효과를 기대할 수 있다. 즉, 도 20와 같이, 본 개시는 다수의 병변의 모양과 색을 구분하여 검출(C, D, E, F)하는 레이블링을 수행할 수 있는 것이다.
도시하지 않았지만, 프로세서(110)는 출력부(170)를 통해 병변별 식별 처리된 제2 망막 이미지를 표시하여 사용자가 확인할 수 있도록 할 수 있다.
도 23 내지 도 55는 본 개시의 레이블링 결과를 나타내는 예시도로서, AMD, DME 및 RVO의 OCT 상의 병변별 특징 및 레이블링 구획화 방법을 예로 들어 설명하기로 한다.후술하는 레이블링은 프로세서(110)가 제2 이미지 처리부(123)를 통해 처리할 수 있다.
도 23은 AMD 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, IRF(LB1 영역, 빨간색) 병변은 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 이러한 경우, 본 개시는 해당 모양의 경계면을 따라 레이블링 할 수 있다.
도 24는 AMD 질환의 경우의 Non-IRF 병변인 경우를 나타내는 것으로, (a)는 원본, (b)는 일반적인 레이블링, (c)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)는 LB2 영역을 IRF 병변으로 오판하여 레이블링한 경우일 수 있다. 본 개시의 (c)는 ONL이 두꺼워지면서 어둡게 보이는 것으로 동그랗거나 세로 모양의 명확한 물주머니 형태가 검출되지 않았기 때문에, LB2 영역에 대해 레이블링 하지 않은 것을 확인할 수 있다.
도 25는 AMD 질환의 IRF 병변과 Non-IRF 병변의 경우를 나타내는 것으로, (a)는 원본, (b)는 일반적인 레이블링, (c)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (c)는 (b)에서 ONL이 길게 눌려서 찍혀 IRF 병변으로 오판된 부분(LB3)을 레이블링 하지 않은 것을 확인할 수 있다.
도 26은 AMD 질환의 SRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SRF 병변을 나타내는 LB4 영역은 EZ선과 RPE선 사이에 생기며 상대적으로 어두운 것이 특징임을 확인할 수 있다.
도 27은 AMD 질환의 SHRM 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM 병변(LB5, 노란색)은 EZ선과 RPE선 사이에 생기며 RPE선 위에 상대적으로 밝은 부분이 쌓인 부분을 레이블링 처리할 수 있다. 이를 위해, 프로세서(110)는 제2 이미지 처리부(123)를 통해 SHRM과 관련하여, AI 학습을 위해 INL 밝기보다 같거나 밝은 부분을 레이블링 하기로 사전 설정할 수 있다.
도 28은 AMD 질환의 SHRM 병변 및 SRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB6, 노란색)은 ONL 밑에 EZ 라인과 RPE 라인 사이에 생기며 밝은 것이 쌓인 것일 수 있고, SRF(LB7 영역, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
도 29는 AMD 질환의 SHRM 병변인 경우를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB8, 노란색)은 EZ선과 RPE선 사이에 생기며 RPE선 위에 밝은 부분이 쌓인 부분을 레이블링 할 수 있다. 이를 위해, 프로세서(110)는 제2 이미지 처리부(123)를 통해 SHRM과 관련하여 AI 학습을 위해 INL 밝기보다 같거나 밝은 부분을 레이블링 하도록 사전 설정할 수 있다.
도 30은 AMD 질환의 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 PED(LB9, 초록색)는 RPE선이 들리면서 RPE 선과 BM 사이에 생길 수 있다. 즉, PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 31은 AMD 질환의 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 PED(LB10, 초록색)는 RPE선이 들리면서 RPE 선과 BM 사이에 생길 수 있다. 즉, PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 32는 AMD 질환의 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 PED(LB11, 초록색)는 일자 형태로 섬유의 결을 따라 레이블링된 환부의 섬유화 징후로 해석될 수 있다. LB11 영역 전체가 하나의 PED일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 밝은 RPE선과 BM 사이의 공간을 레이블링 할 수 있다.
도 33은 AMD 질환의 SRF 병변, SHRM 병변 및 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB12, 노란색) 및 SRF(LB13, 파란색) 둘 모두 EZ선과 RPE선 사이에 생기며, SRF는 어두운 것이 특징이고, SHRM은 상대적으로 밝은색을 띠며 탁한 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 SHRM과 관련하여, AI 학습을 위해 INL 밝기보다 같거나 밝은 부분을 레이블링 하기로 사전 설정할 수 있다. (b)의 PED(LB14, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 34는 AMD 질환의 SRF 병변, SHRM 병변 및 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB15, 노란색) 및 SRF(LB16, 파란색) 둘 모두는 EZ선과 RPE선 사이에 생기며, SRF는 어두운 것이 특징이고, SHRM은 상대적으로 밝은색을 띠는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 SHRM과 관련하여, AI 학습을 위해 INL 밝기보다 같거나 밝은 부분을 레이블링 하도록 사전 설정할 수 있다. PED(LB17, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 35는 AMD 질환의 SRF 병변, SHRM 병변 및 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB18, 노란색) 및 SRF(LB19, 파란색) 둘 모두는 EZ선과 RPE선 사이에 생기며, SRF는 어두운 것이 특징이고, SHRM은 상대적으로 밝은색을 띠는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 SHRM과 관련하여, AI 학습을 위해 INL 밝기보다 같거나 밝은 부분을 레이블링 하도록 사전 설정할 수 있다. PED(LB20, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 36은 AMD 질환의 SHRM 병변 및 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB21, 노란색)은 EZ선과 RPE선 사이에 생기며 밝은색을 띠는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 SHRM과 관련하여, AI 학습을 위해 INL 밝기보다 같거나 밝은 부분을 레이블링 하도록 사전 설정할 수 있다. PED(LB22, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 37은 AMD 질환의 SRF 병변, SHRM 병변 및 PED 병변인 경우를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 SHRM(LB23, 노란색) 및 SRF(LB24, 파란색) 둘 모두는 EZ선과 RPE선 사이에 생기며, SRF는 어두운 것이 특징이고, SHRM은 상대적으로 밝은색을 띠는 것이 특징일 수 있다. PED(LB25, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 38은 AMD 질환의 IRF 병변, SRF 병변 및 PED 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB26, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링할 수 있다. SRF(LB27, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다. PED(LB28, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 39는 AMD 질환의 IRF 병변, SRF 병변, SHRM 병변 및 PED 병변인 경우를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB29, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링할 수 있다. SHRM(LB30, 노란색) 및 SRF(LB31, 파란색) 둘 모두는 EZ선과 RPE선 사이에 생기며 SRF는 어두운 것이 특징이고, SHRM은 상대적으로 밝은색을 띠는 것이 특징일 수 있다. PED(LB32, 초록색)는 RPE선이 들리면서 RPE선과 BM 사이에 발생할 수 있다. PED는 밝은 RPE선이 위에 걸쳐 있을 수 있다.
도 40은 DME 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB33, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링할 수 있다.
도 41은 DME 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB34, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링할 수 있다.
도 42는 DME 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 일반적인 레이블링, (c)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (c)의 IRF(LB35, 빨간색)는 속이 검은 플루이드도 있지만 속에 하얗게 차있는 플루이드도 있으며 동그랗거나 세로 모양으로 발생하는 것이 특징으로 레이블링 시 흰색을 포함하여 전체 경계면을 따라 레이블링 할 수 있다. 당뇨나 RVO는 혈관에서 단백질 같은 지방이 빠져나올 수 있기 때문에 이러한 현상이 발생할 수 있다.
도 43은 DME 질환의 IRF 병변인 경우의 화면 상의 특징 및 레이블링 구획화를 나타내는 것으로, (a)는 원본, (b)는 일반적인 레이블링, (c)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (c)의 IRF(LB36, 빨간색)는 속이 하얗게 차있는 경우 흰색을 포함하여 경계면을 따라 동그랗게 레이블링 하고, 우측 하단 ONL 부분의 경우에는 주변과 구분이 되지 않고, 좌측 하단도 섀도우로 인해 어두운 부분의 경우 경계면이 확인되지 않고 모호하므로 삭제 처리할 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 확실하게 눈에 띄고 구분 가능한 부분만 IRF로 레이블링 할 수 있다.
도 44는 DME 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB37, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 이때, 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링할 수 있다.
도 45는 DME 질환의 IRF 병변 및 SRF 병변인 경우의 화면 상의 특징 및 레이블링 구획화를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB38, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 프로세서(110)는 제2 이미지 처리부(123)를 통해 노이즈나 섀도우로 인해 경계 부분이 확인되지 않고 모호한 경우를 제외하고 물주머니 형태의 경계면이 구분 가능한 부분만 IRF로 레이블링 할 수 있다. SRF(LB38, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
도 46은 DME 질환의 IRF 병변 및 SRF 병변인 경우의 화면 상의 특징 및 레이블링 구획화를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB40, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 프로세서(110)는 제2 이미지 처리부(123)를 통해 노이즈나 섀도우로 인해 경계 부분이 확인되지 않고 모호한 경우를 제외하고 물주머니 형태의 경계면이 구분 가능한 부분만 IRF로 레이블링 할 수 있다. SRF(LB38, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
도 47은 RVO 질환의 IRF 병변 및 SRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB42, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링 할 수 있다. SRF(LB43, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
도 48은 RVO 질환의 IRF 병변 및 SRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 RVO에서의 IRF(LB44, 빨간색)는 속이 검은 플루이드도 있지만 속에 하얗게 차있는 플루이드도 있으며 동그랗거나 세로 모양으로 발생하는 것이 특징으로 레이블링 시 속이 하얗고 균일한 부분을 포함하여 전체 경계면을 따라 레이블링 할 수 있다. SRF(LB45, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
도 49는 RVO 질환의 IRF 병변 및 SRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB46, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 프로세서(110)는 제2 이미지 처리부(123)를 통해 경계면을 따라 레이블링 할 수 있다. SRF(LB47, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
도 50은 RVO 질환의 IRF 병변인 경우의 화면 상의 특징 및 레이블링 구획화를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 RVO에서의 IRF(LB48, 빨간색)는 속이 검은 플루이드도 있지만 속에 하얗게 차있는 플루이드도 있으며 동그랗거나 세로 모양으로 발생하는 것이 특징으로 레이블링 시 속이 하얗고 균일한 부분을 포함하여 전체 경계면을 따라 레이블링 할 수 있다.
도 51은 RVO 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB49, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 프로세서(110)는 제2 이미지 처리부(123)를 통해 노이즈나 섀도우로 인해 경계 부분이 확인되지 않고 모호한 경우를 제외하고 하얀 물주머니 형태의 경계면이 구분 가능한 부분만 IRF로 레이블링 할 수 있다.
도 52는 RVO 질환의 IRF 병변인 경우의 화면 상의 특징 및 레이블링 구획화를 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB50, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. 프로세서(110)는 제2 이미지 처리부(123)를 통해 노이즈나 섀도우로 인해 경계 부분이 확인되지 않고 모호한 경우를 제외하고 확실하게 눈에 띄고 구분 가능한 부분만 IRF로 레이블링 할 수 있다.
도 53은 RVO 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB51, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. ONL 라인의 IRF는 아래쪽 경계까지 전체가 잘 확인되므로 경계를 따라 그려주며, 플루이드를 각각 작업하거나 또는 전체를 하나로 레이블링 할 수 있다.
도 54는 RVO 질환의 IRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. 이때, (b)의 IRF(LB52, 빨간색)는 주변에 비해 색이 어둡고 물주머니 형태로 동그랗거나 세로 모양으로 생기는 것이 특징일 수 있다. ONL 라인의 IRF는 아래쪽 경계까지 전체가 잘 확인되므로 경계를 따라 그려주며, 플루이드를 각각 작업하거나 또는 전체를 하나로 레이블링 할 수 있다.
도 54는 RVO 질환의 SRF 병변인 경우의 화면 상의 특징을 나타내는 것으로, (a)는 원본, (b)는 본 개시의 레이블링 후를 나타내는 것일 수 있다. (b)의 SRF(LB53, 파란색)는 EZ선과 RPE선 사이에 생기며 어두운 것이 특징일 수 있다.
본 개시의 프로세서(110)는 제2 이미지 처리부(123)를 통해 상술한 질환 및 질환별 각 병변의 특징을 기초로 레이블링할 수 있도록 사전에 정보를 설정할 수 있다.
한편, 전술한 본 개시에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다.
개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 데이터 처리 장치
110: 프로세서
120: 데이터 전처리부
121: 제1 이미지 처리부
123: 제2 이미지 처리부
130: 학습부
140: 판정부
150: 메모리
160: 통신부
170: 출력부
200: 영상 촬영 장치

Claims (10)

  1. 제1 망막 이미지를 수신하는 단계;
    상기 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정하는 단계;
    상기 제1 망막 이미지를 증강 기준에 따라 증강시키는 단계;
    상기 제1 망막 이미지의 이미지 픽셀값을 나이관련 황반변성, 당뇨병성 황반부종 및 망막정맥폐쇄를 포함하는 망막 질환에 매칭되는 병변을 포함한 병변 클래스로 구분하는 단계;
    구분된 상기 병변 클래스를 이진화시켜 레이블링 데이터를 생성하는 단계;
    상기 레이블링 데이터를 기초로 상기 제1 망막 이미지에서의 병변에 대응되는 병변별 좌표값을 설정하는 단계; 및
    설정된 상기 병변별 좌표값을 이용하여 병변별 식별 처리를 수행하여 상기 병변의 구분 표시가 반영된 제2 망막 이미지를 생성하는 단계;를 포함하는, 데이터 전처리 방법.
  2. 제1항에 있어서,
    상기 나이관련 황반변성은, IRF(intra-retinal fluid), SRF(sub-retinal fluid), PED(pigment epithelial detachment) 및 SHRM(subretinal　hyperreflective material)의 병변을 포함하고,
    상기 당뇨병성은, 상기 IRF 및 상기 SRF의 병변을 포함하며,
    상기 당뇨병성 황반부종은, 상기 IRF 및 상기 SRF의 병변을 포함하는, 데이터 전처리 방법.
  3. 제2항에 있어서,
    상기 병변 클래스로 구분하는 단계에서,
    상기 이미지 픽셀값을 상기 병변 클래스 각각에 매칭된 인덱스로 구분하고,
    상기 레이블링 데이터를 생성하는 단계에서,
    구분된 상기 인덱스를 원핫(one-hot) 벡터로 변환하여 해당 병변을 나타내는 상기 레이블링 데이터를 생성하는, 데이터 전처리 방법.
  4. 제3항에 있어서,
    상기 병변 클래스는 백그라운드 클래스, IRF 클래스, SRF 클래스, PED 클래스 및 SHRM 클래스를 포함하는, 데이터 전처리 방법.
  5. 제1항에 있어서,
    상기 제2 망막 이미지를 생성하는 단계에서,
    상기 레이블링 데이터를 기초한 사용자의 조작에 따라 상기 제1 망막 이미지에서의 상기 병변별 좌표값을 설정하는, 데이터 전처리 방법.
  6. 제5항에 있어서,
    상기 제2 망막 이미지를 생성하는 단계에서,
    상기 병변별 좌표값을 이용하여 상기 병변별로 서로 다른 색상, 음영 및 해칭을 비롯한 영역 구분을 표시하는, 데이터 전처리 방법.
  7. 컴퓨터와 결합되어, 제1항 내지 제6항 중 어느 한 항의 데이터 전처리 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 프로그램.
  8. 제1 이미지 처리부 및 제2 이미지 처리부를 포함하는 데이터 전처리부의 동작을 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    제1 망막 이미지를 수신하고,
    상기 제1 망막 이미지의 사이즈를 사이즈 기준에 따라 조정하며,
    상기 제1 망막 이미지를 증강 기준에 따라 증강시키고,
    상기 제1 망막 이미지의 이미지 픽셀값을 나이관련 황반변성, 당뇨병성 황반부종 및 망막정맥폐쇄를 포함하는 망막 질환에 매칭되는 병변을 포함한 병변 클래스로 구분하며,
    구분된 상기 병변 클래스를 이진화시켜 레이블링 데이터를 생성하고,
    상기 레이블링 데이터를 기초로 상기 제1 망막 이미지에서의 병변에 대응되는 병변별 좌표값을 설정하며, 및
    설정된 상기 병변별 좌표값을 이용하여 병변별 식별 처리를 수행하여 상기 병변의 구분 표시가 반영된 제2 망막 이미지를 생성하는, 데이터 처리 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 병변별 좌표값을 설정할 때,
    상기 제1 망막 이미지의 이미지 크기, 상기 이미지의 픽셀값 및 상기 이미지의 레이블링 데이터를 기 설정된 병변별 기준과 비교 및 분석하여, 상기 제1 망막 이미지로부터 상기 병변별 좌표값을 파악하는, 데이터 처리 장치.
  10. 제9항에 있어서,
    상기 기 설정된 병변별 기준은,
    병변별 색상, 병변별 위치, 병변별 크기 및 병변별 형태를 포함하는, 데이터 처리 장치.
KR1020220147267A 2022-11-07 2022-11-07 Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치 KR20240066310A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220147267A KR20240066310A (ko) 2022-11-07 2022-11-07 Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치
PCT/KR2023/017744 WO2024101844A2 (ko) 2022-11-07 2023-11-07 Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220147267A KR20240066310A (ko) 2022-11-07 2022-11-07 Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치

Publications (1)

Publication Number Publication Date
KR20240066310A true KR20240066310A (ko) 2024-05-14

Family

ID=91033668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220147267A KR20240066310A (ko) 2022-11-07 2022-11-07 Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치

Country Status (2)

Country Link
KR (1) KR20240066310A (ko)
WO (1) WO2024101844A2 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141967B1 (ko) 2018-05-30 2020-08-07 주식회사 고영테크놀러지 Oct 시스템, oct 영상 생성 방법 및 저장 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141967B1 (ko) 2018-05-30 2020-08-07 주식회사 고영테크놀러지 Oct 시스템, oct 영상 생성 방법 및 저장 매체

Also Published As

Publication number Publication date
WO2024101844A2 (ko) 2024-05-16

Similar Documents

Publication Publication Date Title
Wang et al. Hard attention net for automatic retinal vessel segmentation
Abràmoff et al. Retinal imaging and image analysis
Niu et al. Automated geographic atrophy segmentation for SD-OCT images using region-based CV model via local similarity factor
Scarpa et al. Automatic recognition of corneal nerve structures in images from confocal microscopy
CN113574542A (zh) 宽场自发荧光图像中患有年龄相关性黄斑变性的患者中地理萎缩模式分割与分类
Rasta et al. Detection of retinal capillary nonperfusion in fundus fluorescein angiogram of diabetic retinopathy
US20220058796A1 (en) Methods and systems for ocular imaging, diagnosis and prognosis
US11883099B2 (en) Noninvasive techniques for identifying choroidal neovascularization in retinal scans
CN110930446A (zh) 一种眼底图像定量分析的前置处理方法及存储设备
CN115443480A (zh) 使用通道编码板坯进行oct正面病理学分割
Szeskin et al. A column-based deep learning method for the detection and quantification of atrophy associated with AMD in OCT scans
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
KR102596340B1 (ko) 안질환 시야 손상 예후 예측 시스템 및 방법과 이를 위한 컴퓨터 프로그램
Sidhu et al. Segmentation of retinal blood vessels by a novel hybrid technique-Principal Component Analysis (PCA) and Contrast Limited Adaptive Histogram Equalization (CLAHE)
Elbita et al. Preparation of 2D sequences of corneal images for 3D model building
Grochowski et al. Diagnosis of malignant melanoma by neural network ensemble-based system utilising hand-crafted skin lesion features
Vairamani Detection and diagnosis of diseases by feature extraction and analysis on fundus images using deep learning techniques
Upadhyay et al. Characteristic patch-based deep and handcrafted feature learning for red lesion segmentation in fundus images
Marrugo et al. Image analysis in modern ophthalmology: from acquisition to computer assisted diagnosis and telemedicine
KR20240066310A (ko) Oct 기반 영상 진단 ai 구축을 위한 데이터 전처리 방법, 프로그램 및 데이터 처리 장치
Baskaran et al. Performance Analysis of Deep Learning based Segmentation of Retinal Lesions in Fundus Images
Lin et al. Deep learning to infer visual acuity from optical coherence tomography in diabetic macular edema
Palaniappan et al. Image analysis for ophthalmology: Segmentation and quantification of retinal vascular systems
WO2004082453A2 (en) Assessment of lesions in an image
Velázquez-González et al. Detection and classification of non-proliferative diabetic retinopathy using a back-propagation neural network