KR102228087B1 - 의료영상에서의 특정연골 분할 방법 및 장치 - Google Patents

Abstract

컴퓨터가 수행하는 의료영상에서의 특정연골 분할 방법이 제공된다. 상기 방법은 특정연골을 포함하는 의료영상을 획득하는 단계, 상기 의료영상에 포함된 상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계, 상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계를 포함한다.

Description

의료영상에서의 특정연골 분할 방법 및 장치{METHOD AND APPARATUS FOR SEGMENTATION OF SPECIFIC CARTILAGE IN MEDICAL IMAGE}

본 발명은 의료영상에서의 특정연골을 분할하는 방법 및 장치에 관한 것이다.

최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.

이러한 딥러닝, 기계학습 등을 이용하여 의료영상을 분석할 때, 의료영상의 특성에 맞게 학습을 수행하고 그 결과를 이용하는 것이 중요하다. 특히, 무릎, 팔꿈치, 골반 등과 같은 특정 부위에 존재하는 연골을 분석할 경우, 의료영상으로부터 정확하게 연골 부위만을 분할하여야, 연골의 볼륨을 측정하고 그 구조적 변화를 정확하게 관찰할 수 있다.

따라서, 딥러닝 기술을 바탕으로 의료영상 내 포함되어 있는 연골 부위를 정확하게 분할할 수 있는 방안이 필요하다.

본 발명이 해결하고자 하는 과제는 의료영상에 포함되어 있는 반월상 연골 등과 같은 특정한 연골 부위를 자동으로 분할하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 과제는 딥러닝(딥 컨볼루션 신경망) 기반의 2차원 및 3차원 분할 네트워크를 사용하여 가중치 융합을 수행하는 Coarse-to-Fine 방식으로 특정한 연골을 분할하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 컴퓨터가 수행하는 의료영상에서의 특정연골 분할 방법은, 특정연골을 포함하는 의료영상을 획득하는 단계, 상기 의료영상에 포함된 상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계, 상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 의료영상을 획득하는 단계는, 상기 의료영상의 밝기값을 기초로 정규화를 수행하여, 상기 의료영상에 대해 전처리하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 2차원 분할 네트워크는, 2차원 입력영상을 입력받아 수축경로(contracting path) 및 확장경로(expansive path)를 거쳐, 상기 2차원 입력영상으로부터 특정영역 및 상기 특정영역의 주변영역을 포함하여 분할하도록 학습된 컨볼루션 신경망(convolution neural) 기반의 네트워크 구조이며, 상기 2차원 분할 네트워크를 이용하여 분할하는 단계는, 상기 의료영상을 상기 2차원 분할 네트워크에 입력하여 수축경로 및 확장경로를 거쳐, 상기 의료영상에 포함되어 있는 특정연골 및 주변 구조물을 분할하는 단계, 및 상기 2차원 분할 네트워크를 이용하여 분할된 결과로서, 상기 특정연골 및 상기 주변 구조물에 대한 분할 마스크(segmentation mask) 및 확률맵(probability map)을 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 2차원 분할 네트워크에 입력된 의료영상은, NxN 크기의 2차원 영상이며, 상기 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크 및 확률맵은, 상기 NxN 크기로 생성될 수 있다.

본 발명의 일 실시예에 있어서, 상기 3차원 분할 네트워크는, 3차원 입력영상을 입력받아 수축경로(contracting path) 및 확장경로(expansive path)를 거쳐, 상기 3차원 입력영상으로부터 특정영역을 분할하도록 학습된 컨볼루션 신경망(convolution neural) 기반의 네트워크 구조이며, 상기 3차원 분할 네트워크를 이용하여 분할하는 단계는, 상기 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크를 기초로 상기 특정연골의 관심볼륨영역을 추출하여 3차원 영상으로 변환하는 단계, 상기 3차원 영상으로 변환된 관심볼륨영역을 상기 3차원 분할 네트워크에 입력하여 수축경로 및 확장경로를 거쳐, 상기 3차원 영상으로 변환된 관심볼륨영역으로부터 상기 특정연골을 분할하는 단계, 및 상기 3차원 분할 네트워크를 이용하여 분할된 결과로서, 상기 특정연골에 대한 분할 마스크(segmentation mask) 및 확률맵(probability map)을 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 3차원 영상으로 변환된 관심볼륨영역은, MxMxM 크기를 가지며, 상기 3차원 분할 네트워크의 분할 결과로 생성된 분할 마스크 및 확률맵은, 상기 MxMxM 크기로 생성될 수 있다.

본 발명의 일 실시예에 있어서, 상기 2차원 분할 네트워크를 이용하여 분할된 결과 및 상기 3차원 분할 네트워크를 이용하여 분할된 결과를 기초로, 상기 특정연골에 대해 형상 구조(shape structure)를 고려한 가중치 연산을 수행하여 최종 분할(segmentation)하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 가중치 연산을 수행하여 최종 분할하는 단계는, 상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값을 기초로, 각 화소에서 가중치 연산을 수행할지 여부를 결정하여, 상기 각 화소에서의 특정연골일 확률을 산출하는 단계, 및 상기 각 화소에서 특정연골일 확률을 기초로 상기 특정연골에 해당하는 화소를 추출하여 최종 분할하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 각 화소에서 특정연골일 확률을 산출하는 단계는, 상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값이 0보다 큰 값일 경우, 상기 i번째 화소에서 가중치 연산을 수행하는 것으로 결정할 수 있다.

본 발명의 일 실시예에 있어서, 상기 가중치 연산은, 상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값을 기초로 산출된 값을 소정의 임계값과 비교하여, 상기 i번째 화소에 특정값을 부여할 수 있다.

본 발명의 일 실시예에 있어서, 상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값은, 상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵에 대해 팽창(dilation) 연산을 수행하여 획득된 값일 수 있다.

본 발명의 일 실시예에 따른 장치는, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 특정연골을 포함하는 의료영상을 획득하는 단계, 상기 의료영상에 포함된 상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계, 상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계를 수행한다.

본 발명의 일 실시예에 따른 컴퓨터프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 의료영상에서의 특정연골 분할 방법을 수행할 수 있도록 컴퓨터에서 판독가능한 기록매체에 저장된다.

본 발명에 따르면, 2차원 분할 네트워크를 이용해 분할대상인 특정한 연골뿐만 아니라 그 주변에 배치되어 있는 뼈와 다른 연골(예컨대, 관절 연골) 등과 같은 주변 구조물 정보를 고려하여 이상치가 생기는 것을 방지할 수 있고, 특정한 연골을 자동 위치화 한 후 3차원 분할 네트워크를 이용해 지역 정보 및 공간 정보를 고려하여 특정한 연골을 분할할 수 있다.

본 발명에 따르면, 2차원 및 3차원 분할 네트워크를 수행하여 획득한 확률맵을 이용하여 형상 구조를 고려한 가중치 융합을 수행함으로써, 2차원 분할 네트워크를 이용하여 특정한 연골 및 그 주변에 배치되어 있는 주변 구조물을 함께 분할하면서 과소 분할되는 것과 3차원 분할 네트워크를 이용하여 특정한 연골을 분할함에 따라 밝기값이 비슷한 주변 조직으로 누출이 발생하여 과대 분할되는 것을 방지할 수 있다. 이와 같은 가중치 융합을 통해 특정한 연골의 분할 정확도를 높일 수 있다.

따라서 기존의 밝기값, 형상 모델, 기계학습 기반으로 특정한 연골(예컨대, 반월상 연골)을 자동으로 분할하는 방법보다 정확한 분할이 가능하다.

본 발명에 따르면, 의료영상으로부터 정확하게 특정한 연골 부위에 대한 정보를 획득할 수 있으므로, 이를 통해 특정한 연골의 볼륨을 측정하고 구조적 변화의 확인을 정확하게 할 수 있다. 따라서, 무릎 퇴행성관절염 등과 같은 연골로 인해 발생하는 질병의 조기 진단과 수술 계획을 가능하게 하고, 3차원 바이오프린팅을 통해 환자 맞춤형 연골 모델 제작에 적용될 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법을 개략적으로 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법을 적용하기 위한 네트워크 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료영상에 대해 정규화를 수행하는 방법을 설명하기 위한 도면이다.
도 4는 기존의 분할 방법으로 반월상 연골을 분할한 결과를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 2차원 분할 네트워크 구조를 이용하여 의료영상에서의 특정연골을 분할하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 분할 네트워크 구조를 이용하여 의료영상에서의 특정연골을 분할하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 분할 네트워크 구조를 이용하여 의료영상에서의 반월상 연골을 분할하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 2차원 분할 네트워크의 분할 결과로 생성된 확률맵에 대해 팽창 연산을 수행한 일례를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법을 수행하는 장치(300)의 구성을 개략적으로 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

본 발명은 의료영상 내 포함되어 있는 특정영역을 분할하고, 분할된 특정영역에 대한 정보를 이용할 수 있도록 하기 위해 제안된 것이다. 특히, 본 발명은 의료영상 내 포함되어 있는 특정연골(예컨대, 반월상 연골; meniscus) 영역을 분할함으로써, 분할된 특정연골 영역에 대한 볼륨(volume)을 측정하고, 구조적 변화를 확인할 수 있도록 한다. 또한, 3차원 바이오프린팅을 통해 환자 맞춤형 연골 모델 제작을 위해 연골을 분할할 필요가 있다.

그러나, 기존의 방법으로는 의료영상 내 특정연골(특히, 반월상 연골) 영역을 분할하는데 여러가지 문제점이 있다. 기존의 방법으로 임상의가 수동으로 반월상 연골을 분할하는 방법이 있으며, 이러한 수동 분할은 오랜 시간이 소요되며 임상의의 숙련도에 따라 수동 분할 결과의 차이가 발생하는 한계가 있다.

또한, 기존의 방법으로 밝기값 기반 반월상 연골 분할 방법의 경우, 영상의 밝기값만을 고려하여 반월상 연골을 반자동 분할하는 방법으로 무릎 MR 영상에서 밝기값이 유사한 주변 조직으로의 누출이 발생하여 반월상 연골이 과대 분할되거나 반월상 연골 내부의 밝기값이 불균일할 경우 반월상 연골 내부가 과소 분할되어 분할 정확도가 떨어지고, 반자동 방식으로 인해 사용자 상호 작용(interaction)이 되어야하는 한계가 있다.

또한, 기존의 방법으로 형상 모델 기반 반월상 연골 분할의 경우, 형상 모델을 생성하여 반월상 연골을 자동 분할하는 방법으로 형상 모델 생성 시 사용된 훈련 집합의 개수와 형태가 분할 정확도에 영향을 미치며, 반월상 연골의 전각와 후각의 굴곡 변이가 큰 환자의 경우 분할 정확도가 낮아지며 정합 오류로 인해 주변 조직으로 누출이 발생하는 한계가 있다.

또한, 기존의 방법으로 기계학습 기반 반월상 연골 분할의 경우, 훈련 집합에서 추출한 특징 벡터를 이용하여 반월상 연골을 자동 분할하는 방법으로 특이한 형상을 띄는 반월상 연골의 경우 훈련 집합에서 추출된 특징 벡터가 적합하지 않아 분할 정확도가 낮아지는 한계가 있다.

또한, 기존의 방법으로 딥 컨볼루션 신경망(convolution neural network; CNN) 기반 반월상 연골 분할의 경우, 컨볼루션 신경망을 기반으로 반월상 연골을 자동 분할하는 방법으로 무릎 내에서 상대적으로 작은 형상을 띄는 반월상 연골 학습 시 클래스 불균형으로 인해 낮은 분할 정확도를 보인다.

따라서, 본 발명은 이러한 문제점을 극복하기 위해서 특정연골(예컨대, 반월상 연골) 자동 분할 기술을 제안한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법을 개략적으로 도시한 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법을 적용하기 위한 네트워크 구조를 개략적으로 도시한 도면이다.

도 1의 방법 및 도 2의 네트워크 구조에서는 설명의 편의를 위하여 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체가 특정 장치에 제한되는 것은 아니고 컴퓨팅 처리를 수행할 수 있는 장치를 포괄하는 의미로 사용될 수 있다. 즉, 본 실시예에서 컴퓨터는 본 발명의 실시예에 따른 의료영상에서의 특정연골 분할 방법을 수행할 수 있는 장치를 의미할 수 있다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법은, 특정연골을 포함하는 의료영상을 획득하는 단계(S100), 상기 의료영상에 포함된 상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계(S200), 상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계(S300), 및 상기 2차원 분할 네트워크를 이용하여 분할된 결과 및 상기 3차원 분할 네트워크를 이용하여 분할된 결과를 기초로, 상기 특정연골에 대해 형상 구조(shape structure)를 고려한 가중치 연산을 수행하여 최종 분할(segmentation)하는 단계(S400)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.

컴퓨터는 특정연골을 포함하는 의료영상을 획득할 수 있다(S100).

여기서, 의료영상은 의료영상 촬영장비에 의해 촬영된 영상일 수 있으며, 예컨대 CT, PET, MRI, X-Ray 등을 이용하여 획득한 의료영상데이터를 모두 포함할 수 있다.

특정연골이란, 대상체(예컨대, 환자)의 신체부위 내 존재하는 연골(cartilage) 부분을 말하는 것으로, 예컨대 무릎부위에 존재하는 반월상 연골, 또는 팔꿈치, 골반 관절 부위 등에 존재하는 연골과 같이 특정한 신체부위에 존재하는 특정한 연골을 지칭하는 것일 수 있다.

일 실시예로, 컴퓨터는 특정연골을 포함하는 의료영상을 획득하고, 획득된 의료영상의 밝기값을 기초로 정규화를 수행하여 의료영상에 대한 전처리를 수행할 수 있다.

의료영상은 동일한 시퀀스(sequence) 영상이라도 환자마다 신호 강도에 따라 밝기값 차이가 발생하기 때문에, 이러한 밝기값 차이를 정규화하는 전처리를 수행할 필요가 있다.

도 3은 본 발명의 일 실시예에 따른 의료영상에 대해 정규화를 수행하는 방법을 설명하기 위한 도면이다.

도 3에 도시된 의료영상은 반월상 연골을 포함하는 무릎 MR 영상의 일례를 나타낸 것이다. 무릎 MR 영상의 화소(pixel)는 0~65535값을 갖는 16-비트 해상도를 가지고 있어서 넓은 밝기값 범위를 가지게 된다. 이로 인해, 동일 해부학적 조직 내에서도 미세하게 구분되어 있을 뿐 아니라, 서로 다른 해부학적 조직 간 차이도 크지 않아 자동 분할하기에 한계가 있다. 따라서 본 발명의 일 실시예에서는 환자 간 무릎 MR 영상에서 밝기값 범위의 차이를 줄이기 위하여 밝기값 정규화를 수행한다. 밝기값 정규화는 수학식 1을 이용하여 수행될 수 있다.

여기서, I는 원본 영상의 밝기값, I_max와 I_min은 각각 원본 영상 밝기값의 최대값과 최소값, I'_norm은 정규화된 밝기값, I'_max와 I'_min은 각각 정규화 시키고자하는 밝기값의 최대값과 최소값으로, 예컨대 0과 255로 산정할 수 있다.

일례로, 도 3의 (a)는 무릎 MR 영상 및 상기 무릎 MR 영상에 대한 원래 밝기값의 히스토그램을 나타낸 것이다. 도 3의 (b)는 도 3의 (a)에 대해 수학식 1을 이용하여 정규화를 수행한 결과를 나타낸 것으로, 정규화 후 무릎 MR 영상 및 정규화된 밝기값의 히스토그램을 나타낸 것이다. 도 3의 (a) 및 (b)에 도시된 것처럼, 의료영상의 밝기값을 소정의 범위로 정규화함으로써, 데이터 간 밝기값 범위 차이를 줄일 수 있어서 분할 정확도를 높일 수 있다.

다시 도 1 및 도 2를 참조하면, 컴퓨터는 의료영상에 포함된 특정연골 및 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)을 수행할 수 있다(S200). 이에 대해서는 도 5를 참조하여 상세히 설명하도록 한다.

이때, 의료영상에 포함된 특정연골이 반월상 연골과 같이 얇고 작은 형상으로 이루어진 경우, 해당 연골만을 분할하기 힘들고 이상치(outlier)가 생기는 문제점이 있다.

예를 들어, 반월상 연골의 경우는 얇은 반달 모양의 조직으로 대퇴골과 대퇴부 연골의 하단과 경골과 경골 연골의 상단에 위치하며 무릎 안쪽에 위치한 내측 반월상 연골, 무릎 바깥쪽에 위치한 외측 반월상 연골로 이루어져 있다. 이 경우, 기존의 분할 방법으로 의료영상으로부터 반월상 연골을 분할할 경우 도 4에 도시된 것처럼 이상치를 포함하여 분할될 수 있다.

도 4의 (a)는 반월상 연골을 포함하는 의료영상을 나타낸 것이고, 도 4의 (b)는 기존의 분할 방법으로서 반월상 연골만을 분할한 결과를 나타낸 것이다. 여기서, 도 4의 (b)에 파란색으로 표시된 400, 410 부분이 반월상 연골의 이상치를 나타낸 것이다.

따라서, 본 발명의 일 실시예에서는 의료영상에 포함된 특정연골 부분만 고려하여 분할하는 것이 아니라, 특정연골 및 이와 함께 특정연골 주변에 위치한 주변 영역까지 고려하여 분할하는 2차원 분할 네트워크를 이용한다.

본 발명의 일 실시예에 따른 2차원 분할 네트워크는, 2차원 입력영상을 입력받아 수축경로(contracting path) 및 확장경로(expansive path)를 거쳐, 상기 2차원 입력영상으로부터 특정영역 및 특정영역의 주변영역을 포함하여 분할하도록 학습된 컨볼루션 신경망(convolution neural) 기반의 네트워크 구조일 수 있다. 예를 들어, 2차원 분할 네트워크는 딥 컨볼루션 신경망 기반의 모델로 2차원 U-Net 구조일 수 있으며, 이는 기존의 모델에서 여러번에 걸쳐 다운 샘플링(down sampling)을 수행하여 생성된 저해상도(low-resolution) 영상에서 경계(boundary)가 손실되는 한계점을 극복하기 위하여 고해상도(high-resolution)의 특징맵(feature map)을 결합하는 연결(concatenate) 연산을 이용해 한계점을 극복한 모델로서, 기존 모델에 비해 분할 성능이 향상된 것이다. 또한, 의미론적 영상 분할(semantic segmentation) 방식에 비해서도 의료영상을 분할하는데 적합하다.

도 5는 본 발명의 일 실시예에 따른 2차원 분할 네트워크 구조를 이용하여 의료영상에서의 특정연골을 분할하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 컴퓨터는 의료영상을 2차원 분할 네트워크에 입력하여 수축경로 및 확장경로를 거쳐, 의료영상에 포함되어 있는 특정연골 및 주변 구조물을 분할할 수 있다(S210). 그리고, 컴퓨터는 2차원 분할 네트워크를 이용하여 분할된 결과로서, 특정연골 및 주변 구조물에 대한 분할 마스크(segmentation mask) 및 확률맵(probability map)을 생성할 수 있다(S220).

일 실시예로, 먼저 컴퓨터는 상술한 바와 같이 의료영상에 대해 밝기값의 정규화를 수행하여 전처리된 의료영상을 획득할 수 있다. 이때, 전처리된 의료영상은 NxN 크기의 2차원 의료영상일 수 있고, 예컨대 512×512 해상도의 전처리된 의료영상일 수 있다.

다음으로, 컴퓨터는 도 5에 도시된 것처럼, 전처리된 NxN 크기의 2차원 의료영상을 수축경로와 확장경로를 거치면서 특징맵을 생성할 수 있다. 예를 들어, 수축경로에서는 두 번의 3x3 컨볼루션, 배치 정규화(batch normalization; BN), ReLU(rectified linear unit) 함수를 수행한 후 스트라이드(stride) 2인 2x2 맥스 풀링(max-pooling)을 순차적으로 수행하는 단계를 4번 반복할 수 있다. 이때, 각 단계에서 특징맵의 채널(channel) 수는 2배씩 늘어난다. 또한, 확장경로에서는 특징맵의 채널 수를 0.5배 줄이는 역할인 2x2 업 컨볼루션(up-convolution)을 수행한 후, 확장경로와 대등한 수축경로의 마지막 특징맵을 결합하는 연결 연산을 수행하고, 두 번의 3x3 컨볼루션, 배치 정규화, ReLU 함수를 수행하는 단계를 4번 반복할 수 있다. 최종적으로 1x1 컨볼루션을 수행하여 입력영상(즉, 전처리된 NxN 크기의 2차원 의료영상)과 동일한 크기(즉, NxN 크기)의 분할 마스크 및 확률맵을 출력할 수 있다.

예컨대, 반월상 연골을 포함하는 의료영상의 경우, 컴퓨터는 2차원 분할 네트워크를 통해 반원상 연골 및 주변 구조물(예컨대, 뼈와 관절 연골) 정보를 함께 분할할 수 있다. 따라서, 본 발명의 일 실시예에 따른 2차원 분할 네트워크를 통한 분할 방법을 적용하면 도 4에 도시된 것과 같은 반월상 연골 분할 시에 발생하는 이상치를 방지할 수 있을 뿐만 아니라, 내외측 반월상 연골의 위치를 자동으로 검출할 수 있다.

다시 도 1 및 도 2를 참조하면, 컴퓨터는 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 추출된 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)을 수행할 수 있다(S300). 이에 대해서는 도 6을 참조하여 상세히 설명하도록 한다.

상술한 바와 같은 2차원 분할 네트워크를 이용하여 특정연골을 분할하는 경우, 전체 영상을 사용하여 전역적 문맥 정보(global context information)를 이용하여 분할하는 장점이 있다. 그러나, 3차원 공간 정보를 고려하지 못하는 한계점이 있기 때문에, 본 발명에서는 2차원 분할 네트워크와 함께 3차원 분할 네트워크를 이용함으로써, 의료영상에 대해 지역적 문맥 정보(local context information) 및 공간 정보(spatial information)를 고려하여 특정연골을 분할할 수 있도록 한다.

본 발명의 일 실시예에 따른 3차원 분할 네트워크는, 3차원 입력영상을 입력받아 수축경로(contracting path) 및 확장경로(expansive path)를 거쳐, 상기 3차원 입력영상으로부터 특정영역을 분할하도록 학습된 컨볼루션 신경망(convolution neural) 기반의 네트워크 구조일 수 있다. 예를 들어, 3차원 분할 네트워크는 딥 컨볼루션 신경망 기반의 모델로 3차원 U-Net 구조일 수 있으며, 이는 기존의 2차원 모델에서 한 단면에서의 영상 정보만 이용해 공간 정보를 이용하지 못하는 한계점을 극복하기 위하여 3차원 영상을 사용하는 모델로서, 기본 모델에 비해 분할 성능이 향상된 것이다. 또한, 기존의 3차원 딥 컨볼루션 기반 모델인 V-Net에 비하여 입력 채널이 적어 수행 시간이 적게 걸리고, 의료영상을 분할하는데 적합하다.

도 6은 본 발명의 일 실시예에 따른 3차원 분할 네트워크 구조를 이용하여 의료영상에서의 특정연골을 분할하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 컴퓨터는 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크를 기초로 특정연골의 관심볼륨영역을 추출하여 3차원 영상을 변환할 수 있다(S310). 그리고, 컴퓨터는 3차원 영상으로 변환된 관심볼륨영역을 3차원 분할 네트워크에 입력하여 수축경로 및 확장경로를 거쳐, 3차원 영상으로 변환된 관심볼륨영역으로부터 특정연골을 분할할 수 있다(S320). 그리고, 컴퓨터는 3차원 분할 네트워크를 이용하여 분할된 결과로서, 특정연골에 대한 분할 마스크(segmentation mask) 및 확률맵(probability map)을 생성할 수 있다(S330).

일 실시예로, 컴퓨터는 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크를 3차원 분할 네트워크의 입력영상으로 사용할 수 있다. 이때, 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크는 특정연골 및 이와 함께 그 주변영역에 배치되어 있는 주변 구조물까지 포함하여 분할된 것이므로, 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크에서 분할대상영역인 특정연골 영역만을 관심볼륨영역으로 지정하여 입력영상으로 사용할 수 있다. 즉, 컴퓨터는 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크로부터 특정연골 영역의 위치를 검출하고, 검출된 영역의 위치를 기초로 관심볼륨영역으로 지정하여, 이를 3차원 입력영상으로 변환할 수 있다. 여기서, 3차원 입력영상으로 변환된 관심볼륨영역은, MxMxM 크기의 해상도를 가지는 영상일 수 있으며, 예컨대 64x64x64 크기의 해상도를 가질 수 있다.

이후, 컴퓨터는 도 6에 도시된 것처럼, MxMxM 크기의 3차원 입력영상을 수축경로와 확장경로를 거치면서 특징맵을 생성할 수 있다. 예를 들어, 수축 경로에서는 두 번의 3x3x3 컨볼루션, 배치 정규화, ReLU 함수를 수행한 후 스트라이드 2인 2x2x2 맥스 풀링을 순차적으로 수행하는 단계를 3번 반복할 수 있다. 확장 경로에서는 특징맵의 채널 수를 0.5배 줄이는 역할인 2x2x2 업 컨볼루션을 수행한 후, 확장경로와 대등한 수축경로의 마지막 특징맵을 결합하는 연결 연산을 수행하고 두 번의 3x3x3 컨볼루션, 배치 정규화, ReLU 함수를 수행하는 단계를 3번 반복할 수 있다. 최종적으로 1x1x1 컨볼루션을 수행하여 입력영상(즉, MxMxM 크기의 3차원으로 변환된 관심볼륨영역을 포함하는 입력영상)과 동일한 크기(즉, MxMxM 크기)의 분할 마스크 및 확률맵을 출력할 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에서는 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크에서 특정연골 부분을 관심볼륨영역으로 추출하기 때문에 분할 범위를 좁혀 지역적 문맥 정보를 고려할 수 있으며, 또한 3차원 분할 네트워크를 이용함에 따라 3차원 공간 정보를 고려할 수 있어서 특정연골의 분할 정확도를 높일 수 있다.

일례로, 대상체의 무릎부분을 촬영한 의료영상에서 반월상 연골을 분할하고자 하는 경우를 도 7을 참조하여 설명한다. 도 7은 본 발명의 일 실시예에 따른 3차원 분할 네트워크 구조를 이용하여 의료영상에서의 반월상 연골을 분할하는 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 컴퓨터는 반월상 연골을 포함하는 의료영상에 대해, 상술한 바와 같은 2차원 분할 네트워크를 이용하여 분할을 수행하고, 그 결과로서 분할 마스크(100)를 생성할 수 있다.

이때, 분할 마스크(100)는 전역적 문맥 정보를 고려하여 분할을 수행하도록 학습된 2차원 분할 네트워크를 통해 분할된 결과이기 때문에, 내측 및 외측 반월상 연골과 그 주변에 배치되어 있는 주변 구조물(예컨대, 뼈와 관절 연골)을 함께 포함하고 있다.

이에 따라, 컴퓨터는 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크(100)에서 내측 및 외측 반월상 연골의 위치를 검출하고, 검출된 각각의 위치를 기초로 외측 반월상 연골의 관심볼륨영역(110) 및 내측 반월상 연골의 관심볼륨영역(120)으로 지정할 수 있다.

그리고, 컴퓨터는 외측 반월상 연골의 관심볼륨영역(110) 및 내측 반월상 연골의 관심볼륨영역(120) 각각에 대해, MxMxM 크기의 해상도를 가지는 3차원 입력영상으로 변환할 수 있다. 즉, 외측 반월상 연골의 관심볼륨영역(110)에 대해 3차원 변환을 수행하여, MxMxM 크기의 해상도를 가지는 3차원 외측 반월상 연골 입력영상(115)을 생성할 수 있다. 또한, 내측 반월상 연골의 관심볼륨영역(120)에 대해 3차원 변환을 수행하여, MxMxM 크기의 해상도를 가지는 3차원 내측 반월상 연골 입력영상(125)을 생성할 수 있다.

일 실시예로, 컴퓨터는 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크(100)에서 3차원 연결 요소 레이블링(connectd component labeling; CCL)을 통해 가장 큰 두 개의 연결 요소인 내측 및 외측 반월상 연골을 추출하여 각각을 관심볼륨영역(110, 120)으로 지정하고 3차원 영상(115, 125)으로 변환할 수 있다.

컴퓨터는 3차원으로 변환된 내측 및 외측 반월상 연골 입력영상(115, 125) 각각에 대해, 상술한 바와 같은 3차원 분할 네트워크를 적용하여 분할을 수행할 수 있다. 그 결과로서, 컴퓨터는 외측 반월상 연골 입력영상(115)으로부터 외측 반월상 연골 부분만 분할하여, 외측 반월상 연골의 분할 마스크(200) 및 확률맵(205)을 생성할 수 있다. 또한, 컴퓨터는 내측 반월상 연골 입력영상(125)으로부터 내측 반월상 연골 부분만 분할하여, 내측 반월상 연골의 분할 마스크(210) 및 확률맵(215)을 생성할 수 있다.

이와 같이, 내측 및 외측 반월상 연골 각각의 3차원 입력영상을 사용하여 3차원 분할 네트워크를 각각 적용함으로써, 각 연골의 지역적 문맥 정보 및 공간 정보를 고려할 수 있다. 또한 이와 같이 3차원 분할 네트워크를 적용함으로써, 전역적 문맥 정보를 고려하여 분할을 수행하는 2차원 분할 네트워크의 분할 방식을 보완할 수 있다.

다시 도 1 및 도 2를 참조하면, 컴퓨터는 2차원 분할 네트워크를 이용하여 분할된 결과 및 3차원 분할 네트워크를 이용하여 분할된 결과를 기초로, 특정연골에 대해 형상 구조(shape structure)를 고려한 가중치 연산(weighted fusion)을 수행하여 최종 분할(segmentation)을 수행할 수 있다(S400).

상술한 바와 같은 2차원 분할 네트워크를 이용하여 의료영상에서 특정연골을 분할하는 경우 주변 구조물과 함께 분할을 진행하기 때문에 분할대상인 특정연골이 과소 분할되는 한계점이 있다. 또한, 상술한 바와 같은 3차원 분할 네트워크를 이용하여 특정연골을 분할하는 경우 메모리 사용량을 줄이기 위해 영상 해상도를 낮추게 되면서 밝기값이 비슷한 영역(예컨대, 반월상 연골을 분할할 경우, 전후방 십자 인대 및 측부 인대)으로 누출이 발생하여 과대 분할되는 한계점이 있다. 따라서, 이러한 한계점을 극복하기 위해 본 발명에서는 2차원 및 3차원 분할 네트워크를 수행하여 획득한 확률맵을 이용하여, 형상 구조를 고려한 가중치 연산(즉, 가중치 융합)을 통해 특정연골을 최종 분할한다.

일 실시예로, 컴퓨터는 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값 및 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값을 기초로, 각 화소에서 가중치 연산을 수행할지 여부를 결정하여, 각 화소에서의 특정연골일 확률을 산출할 수 있다. 그리고, 컴퓨터는 각 화소에서의 특정연골일 확률을 기초로 특정연골에 해당하는 화소를 추출하여 최종 분할할 수 있다.

이때, 컴퓨터는 2차원 분할 네트워크의 확률맵에서 과소 분할된 부분을 보완하기 위해서 팽창(dilation) 연산을 수행할 수 있다. 그리고, 컴퓨터는 팽창 연산의 결과로 생성된 각 화소에 대해 1보다 작은 값을 갖게 할 수 있다. 따라서, 컴퓨터는 2차원 분할 네트워크의 확률맵에서 과소 분할된 부분이 보완된, 즉 팽창 연산을 수행한 2차원 분할 네트워크의 확률맵을 이용할 수 있다.

도 8은 본 발명의 일 실시예에 따른 2차원 분할 네트워크의 분할 결과로 생성된 확률맵에 대해 팽창 연산을 수행한 일례를 나타내는 도면이다. 도 8의 (a)는 2차원 분할 네트워크의 분할 결과로 생성된 확률맵을 나타낸 것이다. 도 8의 (b)는 2차원 분할 네트워크의 분할 결과로 생성된 확률맵에 팽창 연산을 수행한 것을 나타낸 것이다.

즉, 컴퓨터는 팽창 연산을 수행한 2차원 분할 네트워크의 확률맵과 3차원 분할 네트워크의 확률맵을 이용하여, 수학식 2와 같이 각 확률맵의 화소에서 가중치 연산을 수행할지 여부를 결정하고, 각 화소에서의 특정연골일 확률을 산출할 수 있다.

여기서, M_i는 i번째 화소에서의 특정연골일 확률이고, Pⁱ _{d_2d}는 i번째 화소에서 (팽창 연산을 수행한) 2차원 분할 네트워크의 분할 결과로 생성된 확률맵의 확률값이고, Pⁱ _3d는 i번째 화소에서 3차원 분할 네트워크의 분할 결과로 생성된 확률맵의 확률값이고, W_i는 i번째 화소에서의 Pⁱ _{d_2d}와 Pⁱ _3d의 가중치 연산을 의미한다.

수학식 2에 따르면, 컴퓨터는 2차원 분할 네트워크의 확률맵 내 i번째 화소의 확률값 및 3차원 분할 네트워크의 확률맵 내 i번째 화소의 확률값이 0보다 큰 값일 경우, i번째 화소에서 가중치 연산을 수행하는 것으로 결정할 수 있다.

이때, 가중치 연산은 수학식 3과 같이 계산될 수 있다.

여기서,

는 각각 미리 정해진 값일 수 있으며, 예컨대 실험적으로 0.4, 0.6, 60%로 정해질 수 있다.

수학식 3에 따르면, 컴퓨터는 2차원 분할 네트워크의 확률맵 내 i번째 화소의 확률값 및 3차원 분할 네트워크의 확률맵 내 i번째 화소의 확률값을 기초로 산출된 값을 소정의 임계값과 비교하여, i번째 화소에 특정값(즉, 가중치 값 W_i)을 부여할 수 있다.

상술한 바와 같이 3차원 분할 네트워크를 이용하여 분할할 경우, 특정연골의 주변 영역(예컨대, 반월상 연골의 주변영역인 십자 인대 및 측부 인대 영역)으로의 누출이 발생할 수 있으며, 이 경우 2차원 분할 네트워크의 확률값과 3차원 분할 네트워크의 확률값을 더한 값이 상대적으로 낮게 되어 특정연골의 범위를 형상 정보를 바탕으로 제한할 필요가 있다. 이때, 수학식 3과 같은 가중 연산을 적용함으로써, 특정연골의 분할을 보다 정확하게 수행할 수 있다.

예를 들어, 수학식 3에서와 같이, 2차원 분할 네트워크의 확률맵 내 i번째 화소의 확률값 및 3차원 분할 네트워크의 확률맵 내 i번째 화소의 확률값을 기초로 더한 값이 소정의 임계값보다 큰 경우, 해당 화소의 값을 1로 설정할 수 있다.

따라서, 컴퓨터는 최종적으로 수학식 2 및 수학식 3을 통해 계산된 화소의 값이 0이 아닌 경우(즉, 1인 경우) 특정연골에 해당하는 화소인 것으로 판단하여, 해당 화소를 추출하여 특정연골로 분할할 수 있다.

상술한 바와 같은 본 발명에 따르면, 밝기값 정규화를 통해 데이터 간 밝기값 범위 차이를 줄여 분할 정확도를 향상시킬 수 있다.

또한, 분할대상인 특정연골뿐만 아니라 주변 구조물 정보를 고려한 2차원 분할 네트워크를 통해 뼈와 관절 연골 등과 같은 특정연골의 주변 구조물을 함께 분할함으로써 특정연골의 분할 시 이상치가 생기는 것을 방지할 뿐 아니라 특정연골의 위치를 자동 검출할 수 있다.

또한, 2차원 분할 네트워크 결과 마스크를 이용하여 특정연골을 자동 위치화하여 분할 범위를 좁혀 지역적 문맥 정보를 고려하고, 3차원 분할 네트워크를 이용하여 3차원 공간 정보를 고려하여 특정연골의 분할 정확도를 높일 수 있다.

또한, 2차원 및 3차원 분할 네트워크를 수행하여 획득한 확률맵을 이용하여 형상 구조를 고려한 가중치 융합을 통하여 2차원 분할 네트워크를 이용하여 특정연골을 분할하는 경우 주변 구조물과 함께 분할하면서 과소 분할되고 3차원 분할 네트워크를 이용하여 특정연골을 분할하는 경우 밝기값이 비슷한 주변 조직으로 누출이 발생하여 과대 분할되는 것을 방지함으로써 특정연골의 분할 정확도를 높일 수 있다.

도 9는 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법을 수행하는 장치(300)의 구성을 개략적으로 나타내는 도면이다.

도 9를 참조하면, 프로세서(310)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(310)는 메모리(320)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 8과 관련하여 설명된 의료영상에서의 특정연골 분할 방법을 수행한다.

일례로, 프로세서(310)는 메모리(320)에 저장된 하나 이상의 인스트럭션을 실행함으로써 특정연골을 포함하는 의료영상을 획득하는 단계, 상기 의료영상에 포함된 상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계, 상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계, 및 상기 2차원 분할 네트워크를 이용하여 분할된 결과 및 상기 3차원 분할 네트워크를 이용하여 분할된 결과를 기초로, 상기 특정연골에 대해 형상 구조(shape structure)를 고려한 가중치 연산을 수행하여 최종 분할(segmentation)하는 단계를 수행할 수 있다.

한편, 프로세서(310)는 프로세서(310) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(310)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(320)에는 프로세서(310)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(320)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 의료영상에서의 특정연골 분할 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (13)

1. 컴퓨터가 수행하는, 의료영상에서의 특정연골 분할 방법에 있어서,
   특정연골을 포함하는 의료영상을 획득하는 단계;
   상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계;
   상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하는 단계; 및
   상기 2차원 분할 네트워크를 이용하여 분할된 결과 및 상기 3차원 분할 네트워크를 이용하여 분할된 결과를 기초로, 상기 특정연골에 대해 형상 구조(shape structure)를 고려한 가중치 연산을 수행하여 최종 분할(segmentation)하는 단계;를 포함하고,
   상기 최종 분할 단계는,
   상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값을 기초로, 각 화소에서 가중치 연산을 수행할지 여부를 결정하여, 상기 각 화소에서의 특정연골일 확률을 산출하는 단계; 및
   상기 각 화소에서 특정연골일 확률을 기초로 상기 특정연골에 해당하는 화소를 추출하여 최종 분할하는 단계;를 포함하는, 의료영상에서의 특정연골 분할 방법.
2. 제1항에 있어서,
   상기 의료영상을 획득하는 단계는,
   상기 의료영상의 밝기값을 기초로 정규화를 수행하여, 상기 의료영상에 대해 전처리하는 단계를 더 포함하는, 의료영상에서의 특정연골 분할 방법.
3. 제1항에 있어서,
   상기 2차원 분할 네트워크는,
   2차원 입력영상을 입력받아 수축경로(contracting path) 및 확장경로(expansive path)를 거쳐, 상기 2차원 입력영상으로부터 특정영역 및 상기 특정영역의 주변영역을 포함하여 분할하도록 학습된 컨볼루션 신경망(convolution neural) 기반의 네트워크 구조이며,
   상기 2차원 분할 네트워크를 이용하여 분할하는 단계는,
   상기 의료영상을 상기 2차원 분할 네트워크에 입력하여 수축경로 및 확장경로를 거쳐, 상기 의료영상에 포함되어 있는 특정연골 및 주변 구조물을 분할하는 단계; 및
   상기 2차원 분할 네트워크를 이용하여 분할된 결과로서, 상기 특정연골 및 상기 주변 구조물에 대한 분할 마스크(segmentation mask) 및 확률맵(probability map)을 생성하는 단계를 포함하는, 의료영상에서의 특정연골 분할 방법.
4. 제3항에 있어서,
   상기 2차원 분할 네트워크에 입력된 의료영상은, NxN 크기의 2차원 영상이며,
   상기 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크 및 확률맵은, 상기 NxN 크기로 생성되는, 의료영상에서의 특정연골 분할 방법.
5. 제3항에 있어서,
   상기 3차원 분할 네트워크는,
   3차원 입력영상을 입력받아 수축경로(contracting path) 및 확장경로(expansive path)를 거쳐, 상기 3차원 입력영상으로부터 특정영역을 분할하도록 학습된 컨볼루션 신경망(convolution neural) 기반의 네트워크 구조이며,
   상기 3차원 분할 네트워크를 이용하여 분할하는 단계는,
   상기 2차원 분할 네트워크의 분할 결과로 생성된 분할 마스크를 기초로 상기 특정연골의 관심볼륨영역을 추출하여 3차원 영상으로 변환하는 단계;
   상기 3차원 영상으로 변환된 관심볼륨영역을 상기 3차원 분할 네트워크에 입력하여 수축경로 및 확장경로를 거쳐, 상기 3차원 영상으로 변환된 관심볼륨영역으로부터 상기 특정연골을 분할하는 단계; 및
   상기 3차원 분할 네트워크를 이용하여 분할된 결과로서, 상기 특정연골에 대한 분할 마스크(segmentation mask) 및 확률맵(probability map)을 생성하는 단계를 포함하는, 의료영상에서의 특정연골 분할 방법.
6. 제5항에 있어서,
   상기 3차원 영상으로 변환된 관심볼륨영역은, MxMxM 크기를 가지며,
   상기 3차원 분할 네트워크의 분할 결과로 생성된 분할 마스크 및 확률맵은, 상기 MxMxM 크기로 생성되는, 의료영상에서의 특정연골 분할 방법.
7. 삭제
8. 삭제
9. 제1항에 있어서,
   상기 각 화소에서 특정연골일 확률을 산출하는 단계는,
   상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값이 0보다 큰 값일 경우, 상기 i번째 화소에서 가중치 연산을 수행하는 것으로 결정하는, 의료영상에서의 특정연골 분할 방법.
10. 제9항에 있어서,
    상기 가중치 연산은,
    상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 i번째 화소의 확률값을 기초로 산출된 값을 소정의 임계값과 비교하여, 상기 i번째 화소에 특정값을 부여하는, 의료영상에서의 특정연골 분할 방법.
11. 제1항에 있어서,
    상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값은,
    상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵에 대해 팽창(dilation) 연산을 수행하여 획득된 값인, 의료영상에서의 특정연골 분할 방법.
12. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 기반으로,
    특정연골을 포함하는 의료영상을 획득하고,
    상기 의료영상에 포함된 상기 특정연골 및 상기 특정연골의 주변에 위치하는 주변 구조물을 고려하여, 상기 의료영상에 대해 2차원 분할 네트워크를 이용하여 분할(segmentation)하고,
    상기 2차원 분할 네트워크를 이용하여 분할된 결과를 기초로 상기 특정연골의 관심볼륨영역(VOI; Volume Of Interest)을 추출하고, 상기 관심볼륨영역을 기초로 3차원 분할 네트워크를 이용하여 분할(segmentation)하고,
    상기 2차원 분할 네트워크를 이용하여 분할된 결과 및 상기 3차원 분할 네트워크를 이용하여 분할된 결과를 기초로, 상기 특정연골에 대해 형상 구조(shape structure)를 고려한 가중치 연산을 수행하여 최종 분할(segmentation)하며,
    상기 프로세서는,
    상기 2차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값 및 상기 3차원 분할 네트워크의 분할 결과로 생성된 확률맵 내 각 화소에서의 확률값을 기초로, 각 화소에서 가중치 연산을 수행할지 여부를 결정하여, 상기 각 화소에서의 특정연골일 확률을 산출하며,
    상기 각 화소에서 특정연골일 확률을 기초로 상기 특정연골에 해당하는 화소를 추출하여 최종 분할하는, 장치.
13. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 판독가능한 기록매체에 저장된 컴퓨터프로그램.
    

Images