KR102636222B1

KR102636222B1 - Oct 영상에서 망막 단층의 분할 방법

Info

Publication number: KR102636222B1
Application number: KR1020210146595A
Authority: KR
Inventors: 김형욱; 박성열
Original assignee: 주식회사 휴비츠
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2024-02-14
Also published as: KR20230061884A; US20230137102A1; EP4174768A1

Abstract

망막 단층 사이의 해부학적 계층 관계를 고려하여, OCT 망막 단면 영상으로부터 망막 단층 영역을 신뢰성있게 분할할 수 있는 망막 단층의 분할 방법이 개시된다. 상기 망막 단층의 분할 방법은, 피검안의 광간섭 단층촬영(OCT) 망막 단층 영상을 얻어 심층 신경망에 입력하는 S20 단계; 입력된 단층 영상으로부터 각각의 픽셀이 각각의 단층에 포함될 확률 P를 산출하는 S22 단계; (x, y) 위치의 픽셀이 각각의 단층에 포함될 확률 P(x, y)로부터 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)을 산출하는 S24 단계; 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)로부터, 상기 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)를 산출하는 S26 단계; 상기 (x, y) 위치의 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)과 해당 픽셀에서 영상 밝기의 변화 ΔI를 곱한 값을 상기 픽셀의 노드 비용 C_k-1,k(x, y)으로 산출하는 S28 단계; 및 각각의 x 위치에 대하여 산출된 노드의 비용 C_k-1,k(x, y)이 최대가 되는 픽셀의 (x, y) 좌표를 연결하여, k-1 번째 단층과 k 번째 단층 사이의 경계선으로 설정하는 S30 단계를 포함한다.

Description

OCT 영상에서 망막 단층의 분할 방법 {Method for differentiating retina layers in OCT image}

본 발명은 OCT 영상에서 망막 단층의 분할 방법에 관한 것으로서, 더욱 상세하게는, 망막 단층 사이의 해부학적 계층 관계를 고려하여, OCT 망막 단면 영상으로부터 망막 단층 영역을 신뢰성있게 분할할 수 있는 망막 단층의 분할 방법에 관한 것이다.

녹내장, 망막 질환 등의 안과 검사나 각막 수술 등의 안과 수술을 위해, 환자 안구의 3차원 단면 영상을 비침습적으로 촬영하기 위하여, 광간섭 단층촬영 (Optical coherence tomography; OCT) 장치가 사용되고 있다. 광간섭 단층촬영(OCT) 장치는 검사 대상(예를 들면, 망막)으로 측정광(예를 들면, 근적외선광)을 투과시키고, 검사 대상의 내부 및 각 단층에서 반사되는 반사광(산란광)을 검출하여, 검사 대상의 내부 단면 영상을 얻는다.

OCT 장치로 획득된 망막 단면 영상에 있어서, 대상체인 안구의 특성 (예를 들면, 고도 근시 등), 해당 영상에 포함된 망막의 영역 (예를 들면, 황반, 시신경 유두), 황반 변성(AMD), 당뇨성 망막증 등 안과 질환에 의한 신생 혈관의 발현, 출혈, 부종 등과 같은 병변에 따라서, 망막 단면 영상의 각 층에서 다양한 형태적인 변형과 급격한 곡률 변화가 나타날 수 있다. 한편, 망막의 특정 지점에서 망막 단층의 깊이 방향 (Axial 스캔 방향)으로, 유리체(Vitreous), 신경섬유층 (NFL), 신경절세포층 (GCL), 내부얼기층 (IPL), 외부얼기층 (OPL), 외부핵층 (ONL), 망막 색소 상피층 (RPE), 맥락막층(Choroids)의 순서로 위치하는 망막 단층의 계층적(Hierarchy) 관계는 바뀌지 않는다. 따라서, 얻어진 OCT 망막 단면 영상에서, 망막의 각 단층의 위치를 검출하면, 망막의 상태를 진단할 수 있다.

OCT 망막 단면 영상으로부터 망막의 각 단층의 위치를 검출하기 위하여, 인공지능 기술로 학습된 심층 신경망(Deep Neural Network)의 사용이 시도되고 있다. 통상적인 심층 신경망이 수행하는 영상 분할은, OCT 영상을 구성하는 픽셀 단위에서 특정 픽셀이 특정 단층 영역으로 분류되는(Classification) 확률을 예측하는 것이므로, 망막 단층 사이의 해부학적 계층 관계를 고려하지 않는다. 예를 들면, OCT 망막 단면 영상에서, 망막 색소 상피층(RPE)으로 분류되는 확률이 가장 높게 예측된 픽셀의 하단에 위치하는 픽셀이 신경섬유층(NFL)으로 분류되는 확률이 가장 높게 예측되는 오류가 발생할 수 있다. 즉, 도 1에 나타낸 바와 같이, 심층 신경망이 수행하는 영상 분할이, 동일한 단층(예를 들면, 맥락막층(5))이 아래, 위로 분리되어 나타나는 등, 망막 단층 사이의 해부학적 계층 관계에 맞지 않는 잘못된 망막 단층 예측 결과를 생성할 수 있다. 또한 OCT 영상에서 신경섬유층(NFL)에 포함된 픽셀에 대해 NFL이 아닌 다른 망막 단층으로 예측하는 등의 오류가 발생할 수 있다. 심층 신경망의 판단 결과로 출력된 예측 확률 지도에서, 특정 픽셀이 실제와 다른 망막 단층으로 예측되거나, 특히 망막의 깊이 방향으로 망막 단층 사이의 해부학적인 위치 관계와 맞지 않도록 예측하면, 심층 신경망의 판단 결과로부터 얻어지는 망막 단층 사이의 경계선의 정확도가 크게 낮아진다.

이와 같이, 종래의 OCT 망막 단면 영상의 분할에 있어서, 망막 내부의 각 단층에서 반사되는 반사광의 밝기(intensity) 변화 등의 지역적인 정보 차이를 이용하여, 망막 내부의 각 단층을 분할하였고, 이를 위하여, 그래프 이론 기반의 최적화 알고리즘 등이 사용되었다. 그러나, OCT 망막 단면 영상에 있어서는, 지역적인 밝기 차이 만으로는 각 단층을 정확히 구분하기 어려울 뿐만 아니라, 망막의 상태에 따라 각 단층의 위치가 변화될 수 있으므로, 보다 정확하고 신뢰할 수 있는 망막 단층의 분할 방법이 요구되고 있다.

[선행기술문헌]

특허공개 10-2019-0128292 (특허출원 10-2018-0052271)

특허공개 10-2014-0068346 (특허출원 10-2012-0135683)

미국 특허 9589346호

미국 특허 10123689호

본 발명의 목적은, 망막 단층 사이의 해부학적 계층 관계를 고려하여, OCT 망막 단면 영상으로부터 망막 단층 영역을 신뢰성있게 분할할 수 있는 망막 단층의 분할 방법을 제공하는 것이다.

본 발명의 다른 목적은, OCT 망막 단면 영상에서 분할된 망막 단층의 두께를 측정하여, 당뇨성 망막증, 녹내장과 같은 여러 망막 질환의 진행 정도를 정확하게 진단할 수 있는 망막 단층의 분할 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명은, 피검안의 광간섭 단층촬영(OCT) 망막 단층 영상을 얻어 심층 신경망에 입력하는 S20 단계; 입력된 단층 영상으로부터 각각의 픽셀이 각각의 단층에 포함될 확률 P를 산출하는 S22 단계; (x, y) 위치의 픽셀이 각각의 단층에 포함될 확률 P(x, y)로부터 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)을 산출하는 S24 단계; 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)로부터, 상기 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)를 산출하는 S26 단계; 상기 (x, y) 위치의 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)과 해당 픽셀에서 영상 밝기의 변화 ΔI를 곱한 값을 상기 픽셀의 노드 비용 C_k-1,k(x, y)으로 산출하는 S28 단계; 및 각각의 x 위치에 대하여 산출된 노드의 비용 C_k-1,k(x, y)이 최대가 되는 픽셀의 (x, y) 좌표를 연결하여, k-1 번째 단층과 k 번째 단층 사이의 경계선으로 설정하는 S30 단계를 포함하는 망막 단층의 분할 방법을 제공한다.

본 발명에 따른 OCT 영상에서 망막 단층의 분할 방법은, 망막 단층 사이의 해부학적 계층 관계를 고려하여, 망막 단층 영역을 신뢰성있게 분할할 수 있으며, 분할된 망막 단층의 두께를 측정하여, 당뇨성 망막증, 녹내장과 같은 여러 망막 질환의 진행 정도를 정확하게 진단할 수 있다.

도 1은 통상적인 심층 신경망을 이용한 영상 분할에 의해 잘못된 망막 단층 예측 결과가 얻어진 예를 보여주는 영상.
도 2a 및 2b는 각각 심층 신경망을 구성하기 위한 OCT 망막 단면 영상과 레이블 영상의 일 예를 보여주는 도면.
도 3은 망막 단층 분할을 위한 심층 신경망의 훈련 과정을 설명하기 위한 플로우챠트.
도 4는 심층 신경망을 이용한 OCT 영상의 망막 단층 분할 과정을 설명하기 위한 플로우챠트.
도 5는 본 발명에 따른 심층 신경망이 OCT 영상을 분석하는 망막 위치 및 상기 망막 위치(깊이)에 따른 망막 단층의 확률 변화를 보여주는 그래프.
도 6는 본 발명에 따른 심층 신경망이 OCT 영상의 픽셀의 위치(깊이)에 따라, 망막 단층 사이의 경계선이 될 확률 변화 F_k-1,k(x=t, y)를 보여주는 그래프.
도 7은 본 발명의 방법으로 망막 단층 경계선이 부가된 OCT 영상의 일 예를 보여주는 도면.

이하, 첨부된 도면을 참조하여, 본 발명을 상세히 설명한다.

본 발명에 의하면, 광간섭 단층촬영(OCT)으로 획득한 망막의 영상, 예를 들면, 황반(Macular), 시신경 유두(ONH) 등의 단면 영상을 인공지능 딥러닝 기반으로 학습된 심층 신경망(Deep Neural Network)에 입력하여, 단면 영상의 특정 위치(픽셀)가 망막의 특정 단층에 해당될 확률을 구하고, 구해진 망막 단층의 확률 지도를 이용하여, 망막 단층 사이의 경계선을 얻는다.

본 발명에 사용될 수 있는 심층 신경망은 (i) 망막의 여러 위치에서 획득된 OCT 망막 단면 영상과 (ii) 상기 OCT 망막 단면 영상에 대하여 안과 의사 등 전문가에 의해 작성된 망막 단층의 경계선 데이터(이하, ‘레이블(label) 영상’이라 한다)로 구성된 다수의 훈련 데이터 집합에 의해서 학습되어, OCT 망막 단면 영상을 분석하는 인공지능 소프트웨어이다. 예를 들면, OCT 영상과 동일한 크기의 레이블(label) 영상에서 각 단층의 경계선을 따라 영상을 분할하고, OCT 영상의 망막 내부 영역의 모든 픽셀에 대해, 해당하는 망막 단층의 인덱스 값을 부여한다. 도 2a 및 2b는 심층 신경망을 구성하기 위한 OCT 망막 단면 영상과 레이블 영상의 일 예를 보여주는 도면으로서, 도 2a는 황반(Macular) 영역의 OCT 단면 영상 및 레이블 영상을 나타내고, 도 2b는 시신경 유두(ONH) 영역의 OCT 단면 영상 및 레이블 영상을 나타낸다. 도 2a에서, “0”은 유리체(Vitreous)층, “1”은 신경섬유층(NFL), “2”는 신경절세포층(GCL), 내부얼기층(IPL) 및 외부얼기층(OPL), “3”은 외부핵층(ONL), “4”는 망막 색소 상피층(RPE), “5”는 맥락막 층(Choroids)을 나타낸다.

도 3은 망막 단층 분할을 위한 심층 신경망의 훈련 과정을 설명하기 위한 플로우챠트이다. 도 3에 도시된 바와 같이, 인공지능 딥러닝 기반의 심층 신경망을 얻기 위해서는, 먼저, 인공지능 컴퓨터 등의 심층 신경망(연산 장치)에, (i) OCT 망막 단면 영상과 (ii) 상기 OCT 망막 단면 영상에 대하여 작성된 레이블(label) 영상의 훈련 데이터 집합을 입력한다(S10). 심층 신경망은 OCT 영상으로부터, 예를 들면, 각 화소의 밝기 차이를 이용하여, 구체적으로는, 각각의 망막 단층 영역에 포함되는 영상 데이터의 밝기 분포나 밝기 차이와 같은 다양한 특징(Feature) 들을 추출하고 학습함으로써, 망막 단층의 위치를 예측한다(S12). 예를 들면, 심층 신경망은 영상의 각 픽셀이 분류 가능한 N개 단층(도 2에서는 6개) 중 k번째 망막 단층으로 분류되는 확률값을 예측한 결과로써, 각 단층에 대응하는 N개 채널의 확률 지도를 출력한다. 다음으로, 예측된 망막 단층의 위치(확률 지도)와 레이블 영상을 비교하여 예측 오차(Loss)를 계산하고(S14), 계산된 예측 오차에 따라 각 단층으로 예측될 가중치를 업데이트한다(S16). 본 발명의 일 실시예에 있어서, 특정 픽셀에 대하여, 레이블 영상에서의 단층 분류와 다른 망막 단층으로 예측된 확률의 크기는 예측 오차가 되고, 이는 크로스 엔트로피 손실(Cross Entropy Loss) 함수로 계산되며, 역전파(Backpropagation) 알고리즘에 의해 각 층을 구성하는 합성 필터(Convolution Filter)의 가중치를 업데이트한다. 심층 신경망의 훈련 단계에서, 훈련 OCT 영상으로 예측한 결과가 레이블 영상에서의 망막 단층 영역 분포와 유사하게 되도록 반복적으로 학습이 진행되고(S18), 가장 낮은 손실(Loss)로 수렴할 때, 예를 들면, 예측 오차가 소정값 이하가 될 때, 학습이 완료된다.

도 4는 심층 신경망을 이용한 OCT 영상의 망막 단층 분할 과정을 설명하기 위한 플로우챠트이다. 도 4에 도시된 바와 같이, OCT 영상의 망막 단층 분할을 위해서는, 먼저 피검안의 OCT 망막 단층 영상을 얻어 심층 신경망에 입력하고(S20), 입력된 OCT 단층 영상으로부터 각각의 픽셀이 각각의 단층에 포함될 확률 P를 산출한다(S22). 구체적으로, 심층 신경망을 이용하여, OCT 영상의 각 픽셀에 대하여, 특정 망막 단층에 포함될 확률을 산출하는 단계에서, N개 채널의 망막 단층 확률 지도가 산출된다. 이 때, 상기 N개 채널의 망막 단층 확률 지도에서, (x, y) 좌표의 픽셀이 k-1 번째 단층일 확률과 k 번째 단층일 확률을 각각 P_k-1(x, y) 와 P_k(x, y)라 한다. 즉, 다수의 훈련 데이터(OCT 영상과 레이블 영상의 쌍)으로 학습된 심층 신경망을 이용하여, OCT 영상의 픽셀 지점에서 각각의 망막 단층들로 분류되는 확률을 구한 망막 단층 영역의 예측 확률 지도를 얻는다.

도 5는 본 발명에 따른 심층 신경망이 OCT 영상을 분석하는 망막 위치(도 5의 A) 및 상기 망막 위치(깊이)에 따른 망막 단층의 확률 변화를 보여주는 그래프(도 5의 B)이다. 도 5의 A에 도시된 바와 같이, k-1 번째 단층 내부의 임의의 픽셀 위치에서, 이미지의 y 좌표를 증가시키면, 즉, 관찰축(Axial) 방향으로 이동시키면, 도 5의 B에 도시된 바와 같이, 단층 사이의 경계선에 가까워질 수록 P_k-1가 감소하고, P_k는 증가한다. 도 5의 B는, 예를 들면, 망막 위치(깊이)에 따라, k-1번째 단층(예를 들면, NFL층)으로부터 k 번째 단층(예를 들면, GCL & IPL & OPL로 이루어진 복합 단층)으로 확률이 변화되는 것을 도시한 것이다. 상기 픽셀 위치에 따른 망막 단층의 확률 변화에서, 망막의 특정 지점에서 깊이 방향(y축 좌표 증가)으로 진행할 때, 연속된 단층 사이의 경계선 지점은 상단의 단층으로 분류되는 예측 확률이 감소하고, 하단의 단층으로 분류되는 예측 확률이 증가하는 영역이 된다.

다시 도 4을 참조하면, 다음으로, (x, y) 위치의 픽셀이 각각의 단층에 포함될 확률 P로부터, 특정 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)을 산출한다(S24). 특정 망막 단층(k-1 번째와 k 번째)들을 분할하는 경계선을 구하기 위해, 망막 단층의 해부학적 계층 관계에서 k-1 번째 단층과 그 단층의 상단에 위치하는 단층들의 집합을 C_uppers라 하고, k 번째 단층과 그 단층의 하단에 위치하는 단층들의 집합을 C_lowers로 한다. 심층 신경망의 결과로부터, (x, y) 좌표의 픽셀 지점이, 구하려는 경계선 상단의 망막 단층 C_uppers 중의 하나로 분류되는 확률들의 합을 ‘픽셀이 경계선 상단에 위치될 가능도(Likelihood)’ L₁으로 한다. 같은 방법으로, (x, y) 좌표의 픽셀 지점이, 경계선 하단의 망막 단층 C_lowers 중의 하나로 분류되는 확률들의 합을 ‘픽셀이 경계선 하단에 위치할 가능도(Likelihood)’ L₂로 한다. 예를 들면, (x, y) 좌표의 픽셀이 ‘경계선 상단에 위치될 가능도’ L₁ 및 ‘경계선 하단에 위치할 가능도’ L₂는 하기 수학식 1로 계산될 수 있다(여기서, l은 단층 번호를 나타낸다). 즉, 예측된 확률 지도로부터 망막 단층의 해부학적 계층 관계를 이용하여, 찾으려는 단층 사이의 경계선에 포함되는 가능도(Likelihood)를 산출한다.

[수학식 1]

상기 가능도 L₁ 및 L₂로부터, (x, y) 좌표의 픽셀 지점이 경계선 상단에 위치할 확률 P₁ 과 하단에 위치할 확률 P₂를 하기 수학식 2로 구할 수 있다. 즉, 상기 가능도를 이용하여, OCT 영상의 A-스캔 데이터 범위 (OCT B스캔 2D 영상에서 컬럼) 상에 위치한 모든 픽셀들에 대응하는 확률 분포를 새로 산출한다.

[수학식 2]

다음으로, 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)로부터, 상기 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)를 산출한다(S26). (x, y) 좌표의 픽셀 지점이 경계선 상단의 단층 영역으로부터 경계선에 근접하면서 하단의 단층 영역과의 거리가 가까울수록 확률 P₁의 크기는 감소하고, 반대로 경계선 하단의 단층 영역으로부터, 경계선에 근접할수록 확률 P₂의 크기는 감소한다. 즉, (x, y) 좌표의 픽셀이 경계선에 가까울수록, 상단의 단층이나 하단의 단층으로 분류하려는 예측의 불확실성(uncertainty)이 (예를 들면, 비례해서) 증가한다. 상기 불확실성의 크기는 확률 P₁ 과 P₂ 로부터 하기 수학식 3과 같은 엔트로피(Entropy)값 H_k-1,k(x, y)로 수치화할 수 있다(하기 수학식 3에서, Pc는 이전 단층일 확률 P1과 이후 단층 확률일 P2에 해당하고, c는 1,2에 대응하는 인덱스이다).

[수학식 3]

광간섭 단층촬영(OCT)에 있어서, 망막의 단면 영상은 망막의 특정 지점에서 망막의 깊이 방향(Axial 방향)으로 얻어진 A 스캔 영상 데이터를 빠른 스캔 방향으로 OCT 스캔 빔의 위치가 이동하면서, 연속적으로 획득하여 만들어진다. 따라서 상기 엔트로피를 구하는 전제로 망막 단층의 해부학적인 상하 계층 관계는 A 스캔 영상에 대해서만 성립한다. OCT 영상은 특정 x 좌표 위치에 대해 y축 상의 모든 픽셀들로 구성되고, 해당 픽셀들에 부여된 엔트로피값으로부터, 각 픽셀 지점 (x, y)이 k-1 번째 단층과 k 번째 단층 사이의 경계선에 포함될 확률 분포 F_k-1,k(x=t, y)를 하기 수학식 4에 의해 산출할 수 있다. 도 6는 본 발명에 따른 심층 신경망이 OCT 영상의 (x=t, y) 좌표의 위치(깊이)에 따라, 망막 단층 사이의 경계선이 될 확률 변화 F_k-1,k(x=t, y)를 보여주는 그래프이다.

[수학식 4]

다음으로, (x, y) 위치의 픽셀에 부여된 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)과 해당 픽셀에서 영상 밝기의 변화 ΔI를 곱한 값을 (x, y) 위치 픽셀의 노드 비용 C_k-1,k(x, y)으로 산출한다(S28).

OCT 영상에서 망막 단층 사이의 경계선은, 유리체와 NFL의 경계와 같이 영상의 밝기가 낮은 값에서 높은 값으로 변하거나, NFL과 I/OPL의 경계와 같이 그 반대로 변하는 지점이다. 따라서, 망막 경계선을 산출하기 위하여, 망막의 깊이 방향(Axial 방향)으로의 밝기 변화를 1차 미분값으로 측정하고, 상기에서 구한 경계선이 될 확률 F을 가중치로 사용한다. 심층 신경망이 특정 픽셀 위치에서 망막 단층의 확률을 낮게 예측하거나, 잘못된 단층으로 예측한 경우, 지역적인 밝기 변화의 에지(Edge, 변경) 특성으로 이를 보완하고, 경계선이 에지가 큰 지점에 위치하도록 함으로써, 경계선 검출의 정확도를 개선할 수 있다. 깊이(Axial) 방향으로의 위치에 따른 (x, y) 위치의 밝기 변화(그래디언트)는 하기 수학식 5로 계산할 수 있다(여기서, I는 해당 좌표의 밝기값이고, Δy는 인접 픽셀과의 거리를 나타낸다).

[수학식 5]

경계선의 확률 분포 F를 이용하여, 획득된 OCT 영상의 망막 단층을 분할하는 단계에서, OCT 영상을 하나의 그래프 구조로 간주하면, 영상의 각 픽셀은 그래프를 구성하는 노드(Node)가 된다. 하기 수학식 6과 같이, (x, y) 좌표의 픽셀에 부여된 경계선이 될 확률 F(x, y)를 가중치로 하고, 픽셀에서 영상 밝기의 변화 ΔI를 곱한 값을 노드의 비용 C로 한다.

[수학식 6]

다음으로, 각각의 x 위치에 대하여 산출된 노드의 비용 C_k-1,k(x, y)이 최대가 되는 픽셀의 (x, y) 좌표를 연결하여, k-1 번째 단층과 k 번째 단층 사이의 경계선으로 설정한다(S30). (x, y) 좌표의 픽셀 노드는, x 좌표가 1 증가하고, 임의의 y 좌표를 가지는 (x+1, y’) 픽셀들로 단 방향성을 가지는 간선 (Unidirectional Edge)으로 연결된다. (x, y) 좌표의 노드에서 (x’, y’) 노드로 연결하는 간선의 비용은 하기 수학식 7에 나타낸 바와 같이, 양쪽 픽셀 노드에서 비용 C(x, y) 와 C(x’, y’)의 합으로 하고, 최소 비용의 경로 탐색을 위해 음의 부호를 곱한 값 E으로 한다.

[수학식 7]

하기 수학식 8에 나타낸 바와 같이, OCT 영상의 좌측에서 이미지가 시작하는 (x=0, y)인 노드에서 우측 끝의 (x= 너비(w)-1, y)의 노드까지, 좌우로 가로지르며 연결하는 간선들의 비용의 합을 최소화하는 간선들의 집합이 망막 단층의 경계선이 된다.

[수학식 8]

최소 비용 경로 탐색을 효과적으로 구현하기 위해, 통상적인 다익스트라 알고리즘과 다이나믹 프로그래밍과 같은 기법을 사용할 수 있다. 즉, 본 발명에 의하면, 픽셀 마다 부여된 경계선의 확률값을 가중치로 하여, 최소 비용의 경로를 탐색함으로써, 망막 단층의 경계선을 산출할 수 있다.

필요에 따라, 상기와 같은 방법으로, OCT 영상에서 각각의 망막 단층을 분할하고 있는 모든 경계선에 대하여, S24 단계부터 S30 단계를 반복하여, 각각의 망막 단층을 분할하고 있는 모든 경계선을 산출하고(S32), 산출된 망막 단층 경계선을 OCT 영상에 표시한다(S34). 도 7은 이와 같은 방법으로 망막 단층 경계선이 부가된 OCT 영상의 일 예를 보여주는 도면으로서, 도 7에서는 6개의 경계선이 산출 및 도시되어 있다.

본 발명에서 망막 단층 분할을 위한 심층 신경망은 합성곱 네트워크 (Convolutional Network) 모델로써, 입력 영상이 네트워크를 구성하는 각 층의 합성곱 필터와 비선형 활성 함수를 차례로 통과하면서, 영상 크기(Dimension)가 압축되는 대신, 영상 전체로부터 전역적인 특징(Contextual Features)들이 추출된다. 이후 영상 크기를 복원하는 단계를 거치면서, 이전 단계에서 추출한 보다 지역적인 특징(Local Features)들이 반영되어, 최종적으로 원래의 입력 영상 크기로 픽셀 마다 망막 단층들로 분류하는 예측 확률값을 포함한 확률 지도를 구하는 형식의 인코더-디코더(Encoder-Decoder) 구조로 구현된다.

본 발명에 의하면, 합성곱 네트워크 모델의 심층 신경망을 이용한 영상의 분할에 의해, 영상 전체의 문맥(Context)적인 특징을 추출하고 이를 활용하여, 의미론적인 영상 분할(Semantic Segmentation)을 수행하므로, 단층 영역에서 신뢰도 높은 광간섭 단층촬영(OCT) 혈관 조영 영상 (Angiography)을 얻을 수 있다.

이상 예시적인 실시예들을 참조하여 본 발명을 설명하였으며, 본 발명은 상술한 실시예들로 한정되지 않는다. 하기 청구항들의 범위는 예시적인 실시예의 변형들, 등가의 구성들 및 기능들을 모두 포괄하도록 가장 넓게 해석되어야 한다.

Claims

광간섭 단층촬영(OCT) 망막 단면 영상을 분석하는 인공지능 심층 신경망 소프트웨어에 의해 수행되는 방법으로서,
피검안의 광간섭 단층촬영(OCT) 망막 단층 영상이 심층 신경망에 입력되는 S20 단계;
입력된 단층 영상으로부터 각각의 픽셀이 각각의 단층에 포함될 확률 P를 산출하는 S22 단계;
(x, y) 위치의 픽셀이 각각의 단층에 포함될 확률 P(x, y)로부터 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)을 산출하는 S24 단계;
상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)로부터, 상기 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)를 산출하는 S26 단계;
상기 (x, y) 위치의 픽셀이 k-1 번째 단층과 k 번째 단층 사이의 경계선이 될 확률 F_k-1,k(x, y)과 해당 픽셀에서 영상 밝기의 변화 ΔI를 곱한 값을 상기 픽셀의 노드 비용 C_k-1,k(x, y)으로 산출하는 S28 단계; 및
각각의 x 위치에 대하여 산출된 노드의 비용 C_k-1,k(x, y)이 최대가 되는 픽셀의 (x, y) 좌표를 연결하여, k-1 번째 단층과 k 번째 단층 사이의 경계선으로 설정하는 S30 단계를 포함하는 망막 단층의 분할 방법.
제1항에 있어서, 상기 심층 신경망은,
(i) OCT 망막 단면 영상과 (ii) 상기 OCT 망막 단면 영상에 대하여 작성된 레이블(label) 영상의 훈련 데이터 집합을 입력하는 S10 단계;
상기 OCT 영상으로부터 망막 단층의 위치를 예측하는 S12 단계;예측된 망막 단층의 위치와 레이블 영상을 비교하여 예측 오차(Loss)를 계산하는 S14 단계; 및
계산된 예측 오차에 따라 각 단층으로 예측될 가중치를 업데이트하는 S16 단계에 의해 학습되는 것인, 망막 단층의 분할 방법.
제1항에 있어서, 상기 픽셀이 k-1 번째 이전 단층일 확률 P1(x, y)과 k 번째 이후 단층일 확률 P2(x, y)을 산출하는 단계는,
상기 (x, y) 위치의 픽셀 지점이, 구하려는 경계선 상단의 망막 단층 C_uppers 중의 하나로 분류되는 확률들의 합인 ‘픽셀이 경계선 상단에 위치될 가능도’ L₁ 및 상기 (x, y) 위치의 픽셀 지점이, 경계선 하단의 망막 단층 C_lowers 중의 하나로 분류되는 확률들의 합인 ‘픽셀이 경계선 하단에 위치할 가능도’ L₂를 하기 수학식 1로 계산하는 단계; 및
[수학식 1]

상기 가능도 L₁ 및 L₂로부터, (x, y) 좌표의 픽셀 지점이 경계선 상단에 위치할 확률 P₁ 과 하단에 위치할 확률 P₂를 하기 수학식 2로 구하는 단계
[수학식 2]

를 포함하는 것인, 망막 단층의 분할 방법.
제1항에 있어서, 상기 픽셀에서 영상 밝기의 변화 ΔI는 하기 수학식 5(여기서, I는 해당 좌표의 밝기값이고, Δy는 인접 픽셀과의 거리를 나타낸다)에 의해 계산되는 것인 망막 단층의 분할 방법.
[수학식 5]
제1항에 있어서, 상기 OCT 영상에서 각각의 망막 단층을 분할하고 있는 모든 경계선에 대하여, S24 단계부터 S30 단계를 반복하여, 각각의 망막 단층을 분할하고 있는 모든 경계선을 산출하는 S32 단계를 더욱 포함하는 것인, 망막 단층의 분할 방법.