KR20230061883A - Oct 영상에서 망막 단층의 측정 방법 - Google Patents

Oct 영상에서 망막 단층의 측정 방법 Download PDF

Info

Publication number
KR20230061883A
KR20230061883A KR1020210146594A KR20210146594A KR20230061883A KR 20230061883 A KR20230061883 A KR 20230061883A KR 1020210146594 A KR1020210146594 A KR 1020210146594A KR 20210146594 A KR20210146594 A KR 20210146594A KR 20230061883 A KR20230061883 A KR 20230061883A
Authority
KR
South Korea
Prior art keywords
retinal
image
tomography
oct
boundary
Prior art date
Application number
KR1020210146594A
Other languages
English (en)
Other versions
KR102679828B1 (ko
Inventor
김형욱
김구용
Original Assignee
주식회사 휴비츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴비츠 filed Critical 주식회사 휴비츠
Priority to KR1020210146594A priority Critical patent/KR102679828B1/ko
Priority to EP22201041.5A priority patent/EP4174767A1/en
Priority to US17/966,607 priority patent/US20230140083A1/en
Publication of KR20230061883A publication Critical patent/KR20230061883A/ko
Application granted granted Critical
Publication of KR102679828B1 publication Critical patent/KR102679828B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

곡률 변화가 큰 OCT 망막 단면 영상에서 망막 신경섬유층의 두께를 신뢰성있게 측정할 수 있는 방법이 개시된다. 상기 망막 단층의 측정 방법은, 망막의 OCT 단층 영상을 획득하는 S10 단계; 획득된 OCT 영상에서 망막 단층을 표시하는 기준 경계선을 검출하는 S12 단계; 상기 검출된 기준 경계선이 베이스라인이 되도록 OCT 영상의 각 컬럼의 상하 위치를 정렬하여 정렬된 OCT 영상을 얻는 S14 단계; 정렬된 OCT 영상으로부터 망막 단층 영역을 예측하는 S20 단계; 예측된 망막 단층 영역 사이의 경계선을 산출하는 S22 단계; 및 상기 베이스라인이 다시 상기 기준 경계선이 되도록, 상기 산출된 망막 단층의 경계선의 상하 위치를 각 컬럼별로 정렬하여, 정렬된 경계선이 원래의 OCT 영상의 망막 단층의 경계선의 위치로 복원되도록 하는 S30 단계;를 포함한다.

Description

OCT 영상에서 망막 단층의 측정 방법{Method for measuring retina layer in OCT image}
본 발명은 OCT 영상에서 단층의 측정 방법에 관한 것으로서, 더욱 상세하게는, 곡률 변화가 큰 OCT 망막 단면 영상에서 망막 신경섬유층의 두께를 신뢰성있게 측정할 수 있는 방법에 관한 것이다.
녹내장, 망막 질환 등의 안과 검사나 각막 수술 등의 안과 수술을 위해, 환자 안구의 3차원 단면 영상을 비침습적으로 촬영하기 위하여, 광간섭 단층촬영 (Optical coherence tomography; OCT) 장치가 사용되고 있다. 광간섭 단층촬영(OCT) 장치는 검사 대상(예를 들면, 망막)으로 측정광(예를 들면, 근적외선광)을 투과시키고, 검사 대상의 내부 및 각 단층에서 반사되는 반사광(산란광)을 검출하여, 검사 대상의 내부 단면 영상을 얻는다.
OCT 영상을 분석하여 자동으로 단층을 분할하는 일반적인 방법은 단층 영역 사이를 구분하는 경계 지점에서 영상 픽셀의 밝기 변화(Gradient)를 검출하고, 밝기가 변화하는 경계선을 찾는 것이다. 대표적인 그래프 이론 기반 최적화 알고리즘의 경우, 영상의 각 픽셀을 노드로 하고, 노드 사이를 연결하는 간선(Edge)의 비용을 양쪽 노드의 그래디언트 값으로 하는 그래프 구조에서, 영상을 좌우로 가로지르는 최소 비용의 경로를 찾고, 이를 망막 단층의 경계선으로 한다.
OCT 영상은 망막의 생체 조직에서 반사되는 광의 간섭 신호를 영상화한 것이므로, 잡음(Noise) 성분을 많이 포함하고 있고, 대상체인 안구의 특성(고도 근시 등)에 따라 획득된 망막 단면 영상의 품질(SNR)이 크게 달라진다. 특히 시신경 유두의 중심부는 망막 신경섬유층(RNFL: retinal nerve fiber layer)을 포함한 망막의 단층이 안구의 시신경으로 연결되면서, 망막 단층에 급한 곡률 변화가 나타난다. 또한, 황반 변성(AMD), 당뇨성 망막증, 녹내장(Glaucoma) 등과 같은 안과 질환이 있는 경우, 신생 혈관의 발현, 출혈, 부종 등과 같은 병변이 진행되면서 망막 단층의 형태가 더욱 변형된다.
따라서, OCT 영상의 지역적인 밝기 정보만을 이용하여 단층의 경계선을 식별하는 것은 어렵고, 다양한 망막 형태의 단층 경계선을 탐색하는 과정에서, 단층 사이의 거리, 허용되는 곡률 등의 여러 사전 조건과 규칙을 설정하여, 단층 경계선 설정의 정확도를 높이는 것은 많은 비용과 노력이 필요하다.
[선행기술문헌]
특허공개 10-2019-0128292 (특허출원 10-2018-0052271)
특허공개 10-2014-0068346 (특허출원 10-2012-0135683)
미국 특허 9589346호
미국 특허 10123689호
본 발명의 목적은, 곡률 변화가 큰 OCT 망막 단면 영상에서 망막 신경섬유층의 두께를 신뢰성있게 측정할 수 있는 망막 단층의 측정 방법을 제공하는 것이다.
상기 목적을 달성하기 위하여, 본 발명은, 망막의 OCT 단층 영상을 획득하는 S10 단계; 획득된 OCT 영상에서 망막 단층을 표시하는 기준 경계선을 검출하는 S12 단계; 상기 검출된 기준 경계선이 베이스라인이 되도록 OCT 영상의 각 컬럼의 상하 위치를 정렬하여 정렬된 OCT 영상을 얻는 S14 단계; 정렬된 OCT 영상으로부터 망막 단층 영역을 예측하는 S20 단계; 예측된 망막 단층 영역 사이의 경계선을 산출하는 S22 단계; 및 상기 베이스라인이 다시 상기 기준 경계선이 되도록, 상기 산출된 망막 단층의 경계선의 상하 위치를 각 컬럼별로 정렬하여, 정렬된 경계선이 원래의 OCT 영상의 망막 단층의 경계선의 위치로 복원되도록 하는 S30 단계;를 포함하는 망막 단층의 측정 방법을 제공한다.
본 발명에 따른 망막 단층의 측정 방법은, 곡률 변화가 큰 OCT 망막 단면 영상에서 망막 신경섬유층의 두께를 신뢰성있게 측정할 수 있다.
도 1은 본 발명의 일 실시예에 따라 OCT 영상에서 망막 단층을 측정하는 방법을 설명하기 위한 플로우챠트.
도 2는 본 발명에 따른 망막 단층의 측정 방법에서, 망막 단층을 표시하는 기준 경계선을 검출하기 위한 방법의 일 예를 보여주는 도면.
도 3은 본 발명에 따른 망막 단층의 측정 방법에서 검출된 기준 경계선을 시신경 유두 OCT 영상에 표시한 예들을 보여주는 도면.
도 4는 본 발명에 따른 망막 단층의 측정 방법에서, 기준 경계선이 베이스라인이 되도록 정렬된 OCT 영상의 일 예를 보여주는 도면.
도 5a 및 5b는 심층 신경망을 구성하기 위한 OCT 망막 단면 영상과 레이블 영상의 일 예를 보여주는 도면.
도 6은 망막 단층 분할을 위한 심층 신경망의 훈련 과정을 설명하기 위한 플로우챠트.
도 7은 본 발명에 따라 망막 단층 경계선이 표시된 OCT 영상의 일 예를 보여주는 도면.
도 8은 본 발명에 따라 시신경 유두 주변 둘레의 망막 신경섬유층(RNFL) 두께를 측정하여 나타낸 그래프.
이하, 첨부된 도면을 참조하여, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따라 OCT 영상에서 망막 단층, 특히 망막 신경섬유층을 측정하는 방법을 설명하기 위한 플로우챠트이다. 도 1에 도시된 바와 같이, 본 발명에 따라 OCT 영상에서 망막 단층을 측정하기 위해서는, 먼저, 망막의 OCT 단층 영상을 획득한다(S10). 상기 OCT 단층 영상은 예를 들면, 시신경 유두 영역의 단층 영상일 수 있고, 구체적으로는 시신경 유두 중심부에서 망막 형태 또는 곡률이 급격히 변화하거나, 중증 질환자의 병변 발현으로 인해 망막 단층의 변형이 있는 OCT 단층 영상일 수 있다.
다음으로, 획득된 OCT 영상에서 망막 단층을 표시하는 기준 경계선, 예를 들면, 망막의 유리체와 망막 내측면 사이의 경계선을 검출한다(S12, 전처리 과정). 도 2는 본 발명에 따른 망막 단층의 측정 방법에서, 망막 단층을 표시하는 기준 경계선을 검출하기 위한 방법의 일 예를 보여주는 도면이다. 구체적으로, 도 2의 A에 도시된 바와 같이, 시신경 유두에서 획득한 OCT 영상에서, 망막 단층이 시작되는 상단의 유리체(Vitreous, 0)와 망막 단층의 내측 경계막(ILM: inner limiting membrane, 1) 사이의 경계선을 검출하여, OCT 영상을 2개의 영역으로 분할한다. 유리체 영역(0)은 OCT의 측정광의 반사가 이루어지지 않아 배경 영역으로 어둡기 때문에, 영상의 상단으로부터 수직 방향으로 픽셀의 밝기가 기준치 이상으로 증가하는 픽셀 지점을 찾고, 이들을 연결하여, 좌우로 가로지르는 기준 경계선(10)을 설정한다. 이를 수행하기 위해, 예를 들면, OCT 영상에 대하여 수직 방향으로 밝기의 1차 미분값을 나타내는 필터 함수(도 2의 C 참조)를 구하고, 이를 OCT 영상에 적용하여, 그래디언트(gradient, 도 2의 B) 영상을 만들고, 그래디언트 영상의 각 컬럼(y 방향, 즉, 수직 방향으로 위치한 1줄의 화소)마다 엣지(밝기가 변화하는 부분)의 위치를 찾는 방법을 사용할 수 있다. 도 3은 이와 같이 검출된 기준 경계선을 시신경 유두 OCT 영상에 표시한 예들을 보여주는 사진이다.
다음으로, 상기 검출된 기준 경계선이 베이스라인이 되도록 OCT 영상의 각 컬럼의 상하 위치를 정렬하여 정렬된 OCT 영상을 얻고, 필요에 따라, 정렬된 OCT 영상으로부터 관심 영역(ROI: Region of Image)의 부분 영상을 추출한다(S14). 도 4는 기준 경계선이 베이스라인이 되도록 정렬된 OCT 영상의 일 예를 보여주는 도면이다. 도 4의 A에 도시된 바와 같이, 상기 망막의 기준 경계선(10) 상의 픽셀이, 베이스라인(20)의 위치(특정 y 좌표 위치)로 이동할 수 있도록, 기준 경계선(10)과 베이스라인(20)의 y 좌표값의 차이를 A-스캔 방향(y 방향)으로의 이동 오프셋으로 설정하고, 각각의 컬럼에 대하여 상기 오프셋의 거리만큼 픽셀 데이터를 이동시켜서, OCT 영상을 정렬한다. 즉, 상기 OCT 영상 데이터의 정렬은 A-스캔 단위(y 방향으로의 한번의 스캔)로 수행될 수 있다. 이때 정렬되는 베이스라인(20)의 y 좌표 위치는 영상 상단으로부터 일정한 여유 공간(예, 48 번째 픽셀)을 가지도록 설정될 수 있다. 정렬된 영상에서 베이스라인(20) 하단으로 관심이 되는 망막 단층 영역이 충분히 포함될 수 있도록 관심 영역(ROI)을 설정할 수 있다(예, 384 픽셀 높이). 상기 베이스라인(20)은 망막 단층의 불규칙한 굴곡에 의한 측정 오차를 감소시킬 수 있도록, 기준 경계선을 평탄화하는 기준선의 역할을 한다. 따라서, 상기 베이스라인(20)은 기준 경계선 보다 균일하게 배치된 기준선일 수 있고, 바람직하게는 기준 경계선 보다 균일한 곡률을 가지는 곡선이거나, 직선일 수 있고, 더욱 바람직하게는 도 4의 A에 도시된 바와 같이 직선일 수 있다.
OCT 영상은 영상 상단에서 하단으로의 Axial 방향으로 고정된 크기 (높이)의 픽셀을 가지고, 영상의 좌측에서 우측으로의 빠른 스캔(Fast Scan) 방향으로 획득 방식(스캔 패턴)에 따라 가변적인 크기(넓이)의 픽셀을 가지므로, 관심 영역(ROI) 영상은 고정된 크기의 폭(넓이) 및 높이로 설정될 수 있다. 예를 들면, 다양한 크기(너비)의 OCT 영상으로부터, 망막층이 존재하는 영역으로서, 384 픽셀 높이 및 256 픽셀 넓이를 가지도록 잘라낸 영상(Cropped Image)을 관심 영역(ROI) 영상으로 사용할 수 있다.
상기 기준 경계선(10)이 베이스라인(20)과 일치하도록 OCT 영상의 각 컬럼의 상하 위치를 정렬하면, 시신경 유두 중심부에서 영상 하단으로 불규칙하고 급격한 경사를 이루며 함몰되거나 병변 진행에 의해 변형이 일어난 망막신경섬유층(도 3 참조)의 상단이 베이스라인(수평 기준선, 20)을 따라 정렬되면서, 전체적인 단층 형태가 단순화된다(도 4의 A 참조). 이와 같이, 망막 단층 형태가 베이스라인을 따라 정렬되면, 망막 단층의 형태를 보다 정확하게 분석할 수 있고, 망막 단층의 형태를 분석하기 위한 심층 신경망의 학습에도 유리하다.
심층 신경망은 (i) 망막의 여러 위치에서 획득된 OCT 망막 단면 영상과 (ii) 상기 OCT 망막 단면 영상에 대하여 안과 의사 등 전문가에 의해 작성된 망막 단층의 경계선 데이터(이하, ‘레이블(label) 영상’이라 한다)로 구성된 다수의 훈련 데이터 집합에 의해서 학습되어, OCT 망막 단면 영상을 분석하는 인공지능 소프트웨어이다. 예를 들면, OCT 영상과 동일한 크기의 레이블(label) 영상에서 각 단층의 경계선을 따라 영상을 분할하고, OCT 영상의 망막 내부 영역의 모든 픽셀에 대해, 해당하는 망막 단층의 인덱스 값을 부여한다. 도 5a 및 5b는 심층 신경망을 구성하기 위한 OCT 망막 단면 영상과 레이블 영상의 일 예를 보여주는 도면으로서, 도 5a는 황반(Macular) 영역의 OCT 단면 영상 및 레이블 영상을 나타내고, 도 5b는 시신경 유두(ONH) 영역의 OCT 단면 영상 및 레이블 영상을 나타낸다. 도 5에서, “0”은 유리체(Vitreous)층, “1”은 신경섬유층(NFL), “2”는 신경절세포층(GCL), 내부얼기층(IPL) 및 외부얼기층(OPL), “3”은 외부핵층(ONL), “4”는 망막 색소 상피층(RPE), “5”는 맥락막 층(Choroids)을 나타낸다.
도 6은 망막 단층 분할을 위한 심층 신경망의 훈련 과정을 설명하기 위한 플로우챠트이다. 도 6에 도시된 바와 같이, 인공지능 딥러닝 기반의 심층 신경망을 얻기 위해서는, 먼저, 인공지능 컴퓨터 등의 심층 신경망(연산 장치)에, (i) OCT 망막 단면 영상과 (ii) 상기 OCT 망막 단면 영상에 대하여 작성된 레이블(label) 영상의 훈련 데이터 집합을 입력한다(S50). 다음으로, 입력된 OCT 영상 및 레이블 영상에서, 망막 단층을 표시하는 기준 경계선, 예를 들면, 망막의 유리체와 망막 내측면 사이의 경계선을 검출한다(S52, 전처리 과정, 상기 S12 과정과 유사하다). 다음으로, 상기 검출된 기준 경계선이 베이스라인이 되도록, OCT 영상 및 레이블 영상의 각 컬럼의 상하 위치를 정렬하고, 필요에 따라, 실제로 망막층을 포함하고 있는 관심 영역(ROI: Region of Image)의 부분 영상을 추출한다(S54, 상기 S14 과정과 유사하다). 도 4의 A는 이와 같이 베이스라인을 따라 정렬된 OCT 영상의 일 예를 보여주며, 도 4의 B는 베이스라인을 따라 정렬된 레이블 영상의 일 예를 보여준다. 필요에 따라, 관심 영역(ROI)으로 미리 잘려진 OCT 망막 단면 영상과 레이블(label) 영상의 훈련 데이터 집합을 입력 영상으로 사용할 수도 있다.
OCT 영상과 레이블 영상이 정렬되면, 심층 신경망은 OCT 영상으로부터, 예를 들면, 각 화소의 밝기 차이를 이용하여, 망막 단층의 위치를 예측한다(S62). 예를 들면, 심층 신경망은 영상의 각 픽셀이 분류 가능한 N개 단층(도 5에서는 6개) 중 k번째 망막 단층으로 분류되는 확률값을 예측한 결과로써, 각 단층에 대응하는 N개 채널의 확률 지도를 출력한다. 다음으로, 예측된 망막 단층의 위치(확률 지도)와 레이블 영상을 비교하여 예측 오차(Loss)를 계산하고(S64), 계산된 예측 오차에 따라 각 단층으로 예측될 가중치를 업데이트한다(S66). 본 발명의 일 실시예에 있어서, OCT 영상의 특정 픽셀에 대하여, 레이블 영상에서의 단층 분류와 다른 망막 단층으로 예측된 확률의 크기는 예측 오차가 되고, 이는 크로스 엔트로피 손실(Cross Entropy Loss) 함수로 계산되며, 역전파(Backpropagation) 알고리즘에 의해 각 층을 구성하는 합성 필터(Convolution Filter)의 가중치를 업데이트한다. 심층 신경망의 훈련 단계에서, 훈련 OCT 영상으로 예측한 결과가 레이블 영상에서의 망막 단층 영역 분포와 유사하게 되도록 반복적으로 학습이 진행되고(S68), 가장 낮은 손실(Loss)로 수렴할 때, 예를 들면, 예측 오차가 소정값 이하가 될 때, 학습이 완료된다.
이로부터 심층 신경망은 망막의 변형과 단층의 곡률 변화에 의한 영향을 최소화하면서, 효율적으로 망막 단층 영역의 특징을 학습할 수 있고, 망막 분할의 정확도를 높일 수 있다. 또한 망막 분할 학습에 요구되는 심층 신경망의 가중치 변수의 숫자를 작게 유지함으로써, 네트워크 모델의 크기를 줄이고, OCT 획득 영상을 더 빠르게 처리하며, 망막 신경섬유층의 두께를 비롯한 망막의 분석 결과를 효과적으로 산출할 수 있다.
다시 도 1을 참조하면, 정렬된 OCT 영상으로부터 망막 단층 영역, 예를 들면, 망막 신경섬유층 영역을 예측하고(S20), 예측된 망막 단층 영역 사이의 경계선을 산출한다(S22). 여기서, 상기 망막 단층 영역의 예측(S20) 및/또는 경계선 산출(S22)은 다양한 방법으로 수행될 수 있다. 예를 들면, 통상의 그래프 이론 기반 최적화 알고리즘을 이용하여 각각의 망막 단층 영역을 예측하거나, 상술한 바와 같이 사전 학습된 심층 신경망을 이용하여 각각의 망막 단층 영역을 예측할 수 있다. 바람직하게는, 상기 심층 신경망은 상기 기준 경계선이 직선 상의 베이스라인으로 정렬된 OCT 영상과 이를 분석한 망막 단층의 경계선 데이터(레이블 영상)를 이용하여 학습된 것일 수 있다. 이와 같이, 각각의 망막 단층 영역의 경계선을 산출하면, OCT 영상의 망막신경섬유층 영역을 분할할 수 있다.
학습된 심층 신경망을 이용하여, 획득된 OCT 영상의 망막 단층을 분할하고, 망막 단층 영역 사이의 경계선을 산출하는 단계에서, 먼저 기준 경계선이 베이스라인으로 정렬된 OCT 영상, 예를 들면, ROI 영상이 심층 신경망으로 입력되고, 결과로 예측된 N개 채널의 망막 단층의 확률 지도로부터, 특정 망막 단층 사이(k-1번째와 k번째)를 분할하는 경계선을 산출하기 위해, 다음과 같이 그래프 이론 기반의 최소 비용 탐색 알고리즘이 사용될 수 있다.
OCT 영상을 하나의 그래프 구조로 간주하면, 영상의 각 픽셀은 그래프를 구성하는 노드(Node)가 되고, (x, y) 좌표의 픽셀 노드는, x 좌표가 1 증가하고, 임의의 y 좌표인 (x+1, y’) 좌표의 픽셀들로 단 방향성을 갖는 간선 (Unidirectional Edge)으로 연결된다. (x, y) 좌표의 픽셀이 k-1 번째 단층이 될 확률과 k 번째 단층이 될 확률을 각각 Pk-1(x, y) 및 Pk(x, y)라 할 때, k-1 번째 단층 내부의 임의의 픽셀 위치에서, 이미지의 y 좌표를 증가시키면(Axial 방향으로 이동), 단층 사이의 경계선에 근접할수록 Pk-1가 감소하고, Pk는 증가한다. 따라서 하기 수학식 1로 나타낸 바와 같이, (x, y) 좌표의 픽셀에서 Pk로부터 Pk-1를 뺀 값을 Ck-1,k으로 하고, 하기 수학식 2와 같이 Axial 방향으로 C가 변화하는 그래디언트 ΔC를 노드의 비용으로 하면, 하기 수학식 3과 같이, (x, y) 노드에서 (x’, y’) 노드로 연결하는 간선의 비용 Ek-1,k은 두 노드에서의 비용의 합이 된다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
하기 수학식 4에 나타낸 바와 같이, OCT 영상의 좌측에서 이미지가 시작하는 (x= 0, y)인 노드에서 우측 끝의 (x= 너비(w)-1, y)의 노드까지, 좌우로 가로지르며 연결하는 간선들의 비용의 합을 최소화하는 간선들의 집합이 망막 단층의 경계선이 된다.
[수학식 4]
Figure pat00004
최소 비용 경로 탐색을 효과적으로 구현하기 위해, 통상적인 다익스트라 알고리즘과 다이나믹 프로그래밍과 같은 기법을 사용할 수 있다. 필요에 따라, 상기와 같은 방법으로, OCT 영상에서 각각의 망막 단층을 분할하고 있는 모든 경계선에 대하여, S20 단계 및 S22 단계를 반복하여, 각각의 망막 단층을 분할하고 있는 모든 경계선을 산출한다(S40).
다음으로, 상기 베이스라인이 다시 상기 기준 경계선이 되도록, 상기 산출된 망막 단층의 경계선의 상하 위치(y 방향 위치)를 각 컬럼별로 정렬하여, 정렬된 경계선이 원래의 OCT 영상의 망막 단층의 경계선의 위치로 복원되도록 한다(S30). 예를 들면, 정렬된 OCT 영상의 경계선을 구성하고 있는 (x, y) 좌표 지점마다, 심층 신경망으로 입력을 위해 영상을 정렬하는 단계에서 적용한 y축 방향 오프셋 (원래의 OCT 영상 데이터를 A-스캔 방향으로 이동했던 오프셋)을 반대 부호로 적용한다.
이와 같이 변환된, 즉, 복원된 망막 단층 경계선은 원래의 OCT 영상의 단층 경계와 일치하므로, 원래의 OCT 영상에 오버레이되어 사용자에게 디스플레이될 수 있다. 즉, 원래의 OCT 영상을 오프셋 만큼 변환하여 정렬된 OCT 영상을 얻고, 정렬된 OCT 영상에서 단층 경계선 데이터를 얻은 다음, 얻어진 경계선 데이터를 상기 오프셋 만큼 다시 반대로 변환한 후, 원래의 OCT 영상에 부가하여, 단층 경계선이 표시된 OCT 영상을 얻을 수 있다.
이와 같이 복원된 각각의 망막 단층 사이의 경계선 위치로부터 망막 신경섬유층의 두께를 측정하면(S32), 망막 단층의 상태, 예를 들면, 녹내장의 위험 정도를 진단할 수 있다. 도 7은 본 발명에 따라 망막 단층 경계선이 표시된 OCT 영상의 일 예를 보여주는 도면이다. 도 7의 경계선이 부가된 OCT 영상을 참조하면, 유리체와 망막 신경섬유층(NFL) 사이의 경계선 L1과 망막 신경섬유층(NFL)과 신경절세포층, 내/외부얼기층의 복합 단층(GCL & IPL & OPL) 사이의 경계선 L2로 분할된 영역으로부터, 망막 신경섬유층(RNFL)의 두께를 측정할 수 있다. 도 8은 이와 같은 방식으로 시신경 유두 주변 둘레의 망막 신경섬유층(RNFL) 두께를 측정하여 나타낸 그래프이다. 도 8에 도시된 바와 같이, 시신경 유두의 둘레 영역(TSNIT 방향)에서 산출된 신경섬유층 두께를 TSNIT 방향의 각 영역마다 표시하고, 임상적인 두께 분포의 평균으로부터 유의하게 편차를 갖는 측정 영역을 색상으로 구분하여 표시하는 방법에 의해 녹내장의 위험도를 빠르게 인식하고, 진단 및 경과 관찰에 도움을 줄 수 있다.
본 발명에 의하면, 망막의 시신경 유두 부근에서 획득된 OCT 영상을 정렬하고, 인공지능 기술의 딥러닝 기반으로 학습된 심층 신경망을 이용하여, 망막을 구성하는 각각의 단층 영역을 예측한 확률 지도를 구하고, 이로부터 단층 사이의 경계선을 검출하여 망막을 구성하는 각각의 단층을 분할할 수 있다. 본 발명에서 망막 단층 분할을 위한 심층 신경망은 합성곱 네트워크 (Convolutional Network) 모델로써, 입력 영상이 네트워크를 구성하는 각 층의 합성곱 필터와 비선형 활성 함수를 차례로 통과하면서, 영상 크기(Dimension)가 압축되는 대신, 영상 전체로부터 전역적인 특징 (Contextual Features) 들이 추출된다. 이후 영상 크기를 복원하는 단계를 거치면서, 이전 단계에서 추출한 보다 지역적인 특징(Local Features) 들이 반영되어, 최종적으로 원래의 입력 영상 크기로 픽셀 마다 망막 단층들로 분류하는 예측 확률 값을 포함한 확률 지도를 구하는 형식의 인코더-디코더(Encoder-Decoder) 구조로 구현된다.
본 발명은, 광간섭 단층촬영(OCT)으로 획득한 시신경 유두(ONH) 주변의 망막신경 섬유층(RNFL) 영상을 인공지능 딥러닝 기반의 심층 신경망(Deep Neural Network)에 입력하고, 예측된 망막 단층의 확률 지도를 이용하여, 망막 신경섬유층 영역을 분할한다. 결과로부터 망막 신경섬유층 두께와 영역을 측정하여, 녹내장의 위험 정도를 정확하고, 빠르게 진단할 수 있다.
이상 본 발명이 예시적인 실시예들을 참조하여 설명되었지만, 본 발명은 상술한 실시예들로 한정되지 않는다. 하기 청구항들의 범위는 예시적인 실시예의 변형들, 등가의 구성들 및 기능들을 모두 포괄하도록 가장 넓게 해석되어야 한다.

Claims (6)

  1. 망막의 OCT 단층 영상을 획득하는 S10 단계;
    획득된 OCT 영상에서 망막 단층을 표시하는 기준 경계선을 검출하는 S12 단계;상기 검출된 기준 경계선이 베이스라인이 되도록 OCT 영상의 각 컬럼의 상하 위치를 정렬하여 정렬된 OCT 영상을 얻는 S14 단계;
    정렬된 OCT 영상으로부터 망막 단층 영역을 예측하는 S20 단계;예측된 망막 단층 영역 사이의 경계선을 산출하는 S22 단계; 및
    상기 베이스라인이 다시 상기 기준 경계선이 되도록, 상기 산출된 망막 단층의 경계선의 상하 위치를 각 컬럼별로 정렬하여, 정렬된 경계선이 원래의 OCT 영상의 망막 단층의 경계선의 위치로 복원되도록 하는 S30 단계;를 포함하는 망막 단층의 측정 방법.
  2. 제1항에 있어서, 상기 복원된 망막 단층 경계선이 원래의 OCT 영상에 오버레이되어 사용자에게 디스플레이되는 단계를 더욱 포함하는 망막 단층의 측정 방법.
  3. 제1항에 있어서, 상기 망막 단층은 망막 신경섬유층을 포함하고, 상기 복원된 각각의 망막 단층 사이의 경계선 위치로부터 망막 신경섬유층의 두께를 측정하는 S32 단계를 더욱 포함하는 망막 단층의 측정 방법.
  4. 제1항에 있어서, 상기 기준 경계선은 망막의 유리체와 망막 내측면 사이의 경계선이고, 상기 베이스라인은 망막 단층의 불규칙한 굴곡에 의한 측정 오차를 감소시킬 수 있도록, 기준 경계선을 평탄화하는 기준선인 것인, 망막 단층의 측정 방법.
  5. 제1항에 있어서, 상기 망막 단층 영역의 예측 및 망막 단층 영역 사이의 경계선 산출은 상기 기준 경계선이 베이스라인으로 정렬된 OCT 영상과 이를 분석한 망막 단층의 경계선 데이터 영상을 이용하여 학습된 심층 신경망에 의하여 수행되는 것인, 망막 단층의 측정 방법.
  6. 제5항에 있어서, 상기 심층 신경망의 학습은
    (i) OCT 망막 단면 영상과 (ii) 상기 OCT 망막 단면 영상에 대하여 작성된 레이블 영상의 훈련 데이터 집합을 입력하는 S50 단계;
    입력된 OCT 영상 및 레이블 영상에서, 망막 단층을 표시하는 기준 경계선을 검출하는 S52 단계;
    상기 검출된 기준 경계선이 베이스라인이 되도록, OCT 영상 및 레이블 영상의 각 컬럼의 상하 위치를 정렬하는 S54 단계;
    OCT 영상과 레이블 영상이 정렬되면, OCT 영상으로부터 망막 단층의 위치를 예측하는 S62 단계;
    예측된 망막 단층의 위치와 레이블 영상을 비교하여 예측 오차(Loss)를 계산하는 S64 단계; 및
    계산된 예측 오차에 따라 각 단층으로 예측될 가중치를 업데이트하는 S66 단계에 의하여 수행되는 것인, 망막 단층의 측정 방법.
KR1020210146594A 2021-10-29 2021-10-29 Oct 영상에서 망막 단층의 측정 방법 KR102679828B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210146594A KR102679828B1 (ko) 2021-10-29 2021-10-29 Oct 영상에서 망막 단층의 측정 방법
EP22201041.5A EP4174767A1 (en) 2021-10-29 2022-10-12 Method for measuring retinal layer in oct image
US17/966,607 US20230140083A1 (en) 2021-10-29 2022-10-14 Method for measuring retinal layer in oct image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146594A KR102679828B1 (ko) 2021-10-29 2021-10-29 Oct 영상에서 망막 단층의 측정 방법

Publications (2)

Publication Number Publication Date
KR20230061883A true KR20230061883A (ko) 2023-05-09
KR102679828B1 KR102679828B1 (ko) 2024-07-01

Family

ID=83691679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146594A KR102679828B1 (ko) 2021-10-29 2021-10-29 Oct 영상에서 망막 단층의 측정 방법

Country Status (3)

Country Link
US (1) US20230140083A1 (ko)
EP (1) EP4174767A1 (ko)
KR (1) KR102679828B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192215A (ja) * 2018-02-21 2019-10-31 株式会社トプコン 深層学習を用いた網膜層の３ｄ定量解析

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811745B2 (en) 2010-01-20 2014-08-19 Duke University Segmentation and identification of layered structures in images
KR101323942B1 (ko) 2011-06-07 2013-10-31 우도영 수상 지지축 설치방법
KR101442708B1 (ko) 2012-11-28 2014-09-22 주식회사 휴비츠 3차원 ｏｃｔ 데이터를 처리하기 위한 광 간섭 단층 촬영장치
US10123689B2 (en) 2015-10-28 2018-11-13 Oregon Health & Science University Systems and methods for retinal layer segmentation in OCT imaging and OCT angiography
KR102655229B1 (ko) 2016-11-10 2024-04-08 한국전력공사 항공장애표시구
KR102198395B1 (ko) 2018-05-08 2021-01-06 서울대학교산학협력단 녹내장 조기진단과 의심영역 표시 방법 및 이를 위한 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192215A (ja) * 2018-02-21 2019-10-31 株式会社トプコン 深層学習を用いた網膜層の３ｄ定量解析

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE Transactions on Image Processing, Vol: 27, Issue: 12, December 2018* *

Also Published As

Publication number Publication date
US20230140083A1 (en) 2023-05-04
EP4174767A1 (en) 2023-05-03
KR102679828B1 (ko) 2024-07-01

Similar Documents

Publication Publication Date Title
US10094649B2 (en) Evaluation of optical coherence tomographic data prior to segmentation
Bogunović et al. RETOUCH: The retinal OCT fluid detection and segmentation benchmark and challenge
Ghorbel et al. Automated segmentation of macular layers in OCT images and quantitative evaluation of performances
US20220151568A1 (en) Supervised machine learning based multi-task artificial intelligence classification of retinopathies
He et al. Topology guaranteed segmentation of the human retina from OCT using convolutional neural networks
Hassan et al. Structure tensor graph searches based fully automated grading and 3D profiling of maculopathy from retinal OCT images
ter Haar Romeny et al. Brain-inspired algorithms for retinal image analysis
US20210272291A1 (en) Method and computer program for segmentation of optical coherence tomography images of the retina
Marin et al. Anterior segment optical coherence tomography (AS-OCT) image analysis methods and applications: A systematic review
EP3417401B1 (en) Method for reducing artifacts in oct using machine learning techniques
Rabbani et al. Obtaining thickness maps of corneal layers using the optimal algorithm for intracorneal layer segmentation
Marques et al. Automatic segmentation of the optic nerve head region in optical coherence tomography: A methodological review
Bai et al. Cystoid macular edema segmentation of optical coherence tomography images using fully convolutional neural networks and fully connected CRFs
WO2018162690A1 (en) Method for analyzing avascular regions in optical coherence tomography angiography images
Sahoo et al. Automatic segmentation of accumulated fluid inside the retinal layers from optical coherence tomography images
Garcia-Marin et al. Patch-based CNN for corneal segmentation of AS-OCT images: Effect of the number of classes and image quality upon performance
Thanh et al. A real-time classification of glaucoma from retinal fundus images using AI technology
KR102636222B1 (ko) Oct 영상에서 망막 단층의 분할 방법
KR102679828B1 (ko) Oct 영상에서 망막 단층의 측정 방법
US20230410293A1 (en) Quality maps for optical coherence tomography angiography
Eladawi et al. Diabetic retinopathy early detection based on OCT and OCTA feature fusion
George et al. Oct segmentation using convolutional neural network
WO2021141976A1 (en) Methods, systems and computer program products for classifying image data
George et al. Convolutional Neural Network for automatic segmentation of EDI OCT images
Zhu et al. FloatingCanvas: quantification of 3D retinal structures from spectral-domain optical coherence tomography

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211029

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230926

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240617

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240626

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240626

End annual number: 3

Start annual number: 1

PG1601 Publication of registration