KR101223681B1 - 자기공명영상에서 연골 자동 영역화 장치 및 방법 - Google Patents

Abstract

얇고 부분적인 변화가 심한 전체 연골 모양틀을 지역적인 부분들로 연골 형상을 나누어 세밀한 영역화를 수행하여, 사용자 입력이 전혀 없음에도 뼈와 연골의 경계를 분리해내는 과정이나, 패치 단위 영역화 과정을 통한 자기공명영상에서 연골 자동 영역화 장치 및 방법을 제공한다.

Description

자기공명영상에서 연골 자동 영역화 장치 및 방법{Automatic Segmentation device and method of Cartilage in Magnetic Resonance Image}

본 발명은 자기공명영상을 분석, 처리하는 기법에 관한 것으로, 보다 상세하게는 3차원 자기공명영상 내에서 연골을 자동으로 영역화하는 기법에 관한 것이다.

최근 기하급수적으로 증가하는 방대한 양의 3차원 의료영상데이터를 신속하고 효율적으로 분석, 처리하는 기술에 대한 관심이 늘고 있다. 이에 따라 3차원 자기공명영상 내에서 연골을 영역화(segmentation)하여 시간에 따른 연골 형태의 변화를 추적하고자 하는 노력들이 나타났고, 이는 골다공증과 같은 질병들을 진단하고 치료하는 데에 많은 도움이 되고 있다.

특히, 컴퓨터 비젼 분야의 다양한 영역화 기법들은 전문가들의 수작업 영역화에 비해 효율적이기 때문에, 이러한 기법을 연골 영역화에 적용하고자 하는 연구들이 진행되었다. 하지만 모양이 얇고 기하학적인 형상을 하고 있으며, 주변 조직들과의 밝기 차이가 작은 연골의 특성으로 인하여, 현존하는 기법들은 여전히 전문가의 입력과 수정을 필요로 하고 있다.

이 같은 한계를 극복하고자, 보다 높은 수준의 사전지식(high-level prior)들을 이용하고자 하는 노력들이 나타났다. Kumar 등은 물체를 각 부분으로 분리하여 부분적으로 변화될 수 있는 형상들을 습득하고 그 중 가장 좋은 형상을 근사하는 기법을 제안했고, Freedman 등은 영역화하고자 하는 모양틀(shape template)의 형상을 사전에 알고 있다고 가정하고 이를 사전지식으로 이용하는 기법을 제안했다.

두 기법은 모두 기존에 영역화하기 힘들었던 얇거나 경계가 모호한 부분을 효과적으로 영역화 해내고 있지만 사전에 모양틀의 형상과 크기, 위치 등을 파악하고 있어야 한다는 한계가 있다.

이러한 제약조건을 극복하고자 최근 브랜치 앤 바운드(Branch and Bound) 검색 기법을 이용하여, 크기와 자세, 위치 등이 다른 다수의 모양틀 중 최적의 모양틀을 단 시간 내에 찾아주는 기법이 제안되었다. 이 기법은 최적의 모양틀 정보를 찾아 줄 수 있다는 이점 때문에 3차원 자기공명영상 내의 뼈 영역화에 적용되기도 하였지만 역시 연골처럼 모양이 얇은 물체에서는 효율성이 급격하게 떨어지는 단점이 있다.

따라서, 얇고 부분적인 변화가 심한 전체 연골 형상을 세밀한 영역화 할 수 있는 기법에 대한 필요성이 대두되었다.

본 발명은 얇고 부분적인 변화가 심한 전체 연골 모양틀을 한 번에 정합시키기보다는 지역적인 부분들로 연골 형상을 나누어 기존에 제안되었던 기법들에 비해 세밀한 영역화를 할 수 있는 기법을 제공할 수 있다.

본 발명은 전경의 지역적인 연식(nonrigid) 변화들을 각각 분리하여 고려해 줄 수 있기 때문에 세밀한 영역화를 제공할 수 있다.

본 발명은 형상정보(shape)와 외관정보(appearance)를 동시에 이용한다는 개념을 이용하되, 사전정보를 습득하는 과정과 이러한 사전정보들을 지역적인 부분마다 적응적으로 다루어 주기 위한 과정들을 새롭게 제공할 수 있다.

본 발명의 바람직한 일 양상에 따른 자기공명영상에서 연골 자동 영역화 방법은 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출하는 단계, 추출된 뼈와 연골의 경계를 중심으로 패치를 생성하는 단계, 뼈의 형상정보와 외관정보를 이용하여 생성된 각각의 패치별로 영역화를 수행하는 단계 및 영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득하는 단계를 포함할 수 있다.

또한, 경계를 추출하는 단계는 뼈의 표면에 있는 모든 점에 대해 정규화 된 좌표와 그 주변 밝기의 계수들 간의 차를 비교하여 뼈와 연골의 경계점을 추출할 수 있다.

또한, 패치를 생성하는 단계는 추출된 경계점 중 임의의 점을 선택하고, 선택된 점 주변의 점을 제거하여 추출된 모든 경계점들 중 일정 간격으로 주변 점들을 대표하는 대표점(Representation Point)을 추출하는 단계 및 추출된 대표점을 중심으로 일정 크기의 패치를 생성하는 단계를 포함할 수 있다.

또한, 패치를 생성하는 단계는 뼈의 연골 부분이 패치에 포함되며, 주변 패치가 서로 겹쳐지는 패치를 생성할 수 있다.

또한, 패치를 생성하는 단계는 기저장된 뼈 표면의 연골을 영역화한 패치 중에서, 생성된 패치의 정규화 된 좌표와 뼈 외곽의 수직방향 벡터를 비교하여 추출한 정규교차상관(Normalized Cross Correlation) 값을 통해 외관정보가 소정의 차이 이하인 패치를 참조패치로 추출하는 단계를 더 포함할 수 있다.

또한, 영역화를 수행하는 단계는 추출된 참조패치에 포함된 레이블 정보를 이용하여 영역화 하고자 하는 연골의 모양틀을 생성하는 단계 및 생성된 모양틀의 전경 또는 배경부분의 밝기정보를 획득하는 단계를 포함할 수 있다.

또한, 모양틀을 생성하는 단계는 생성된 패치 내의 뼈 외곽점과 추출된 참조패치 내의 뼈 외곽점을 반복근접점(Iterative Closest Point)을 통해 정합하고, 정합된 패치에서 영역화 하고자 하는 연골, 영역화 하지 않는 연골, 배경부분으로 구분한 형상 사전지식을 획득할 수 있다.

또한, 밝기정보를 획득하는 단계는 정합된 패치의 밝기값을 이용하여 전경부분을 가리키는 부분과 배경부분을 가리키는 부분을 구분한 외관 사전지식을 획득할 수 있다.

또한, 영역화를 수행하는 단계는 전경부분과 배경부분의 밝기 차이에 따라 획득된 형상 사전지식 또는 외관 사전지식에 가중치를 부여하여 패치 내의 연골을 추출할 수 있다.

또한, 영역화를 수행하는 단계는 전경부분과 배경부분의 밝기 차이가 소정의 값보다 큰 경우, 획득된 외관 사전지식을 이용하여 패치 내의 연골을 추출하고, 전경부분과 배경부분의 밝기 차이가 소정의 값보다 작은 경우, 획득된 형상 사전지식을 이용하여 패치 내의 연골을 추출할 수 있다.

또한, 연골을 획득하는 단계는 패치 단위로 추출된 연골을 모양틀에 맞추어 중첩하여 자기공명영상에 나타나는 뼈의 표면에 연골이 식별되도록 표시된 형태의 영상을 획득할 수 있다.

본 발명의 바람직한 일 양상에 따른 자기공명영상에서 연골 자동 영역화 장치는 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출하는 경계추출부, 추출된 뼈와 연골의 경계를 중심으로 패치를 생성하는 패치생성부, 뼈의 형상정보와 외관정보를 이용하여 생성된 각각의 패치별로 영역화를 수행하는 영역화부 및 영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득하는 연골획득부를 포함할 수 있다.

또한, 자기공명영상에 나타나는 인체의 각 부위의 뼈에 대하여 전문의에 의해 표시된 연골부분과 연골이 아닌 부분에 대한 정보를 저장하는 학습DB를 더 포함할 수 있다.

본 발명은 습득해 놓은 연골 정보를 바탕으로 뼈 표면 중 연골과의 경계를 찾고, 연골을 자동으로 영역화하는 기법을 제공한다.

또한, 본 발명은 영역화하고자 하는 물체를 지역적으로 나누어 패치 내 외관정보에 따라 모양틀 정보와 밝기 정보를 적응적으로 이용한다.

본 발명은 사용자 입력이 전혀 없음에도 뼈와 연골의 경계를 분리해내는 과정이나, 패치 단위 영역화 과정에 의해 좋은 결과를 얻을 수 있다.

또한, 본 발명은 연골 외에도 타 기관의 자기공명 데이터들에도 제안한 기법을 적용할 수 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 자기공명영상에서 연골 자동 영역화 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 자기공명영상에서 연골 자동 영역화 방법의 기본 과정을 나타낸 흐름도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 자기공명영상에서 연골 자동 영역화 방법의 세부 과정을 나타낸 흐름도이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 연골의 영역화를 수행하는 과정을 나타낸 도면이다.
도 5a 및 5b는 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 연골 부분을 영역화하는 과정을 나타낸 도면이다.
도 6a 및 6b는 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 밝기 정보를 이용하여 연골의 경계를 획득하는 과정을 나타낸 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 연골을 영역화한 결과를 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 양상에 대해 상세히 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 자기공명영상에서 연골 자동 영역화 장치의 구성을 나타낸 블록도이다. 도 1을 참조하면, 본 발명의 일 양상에 따른 연골 자동 영역화 장치는 경계추출부(100), 패치생성부(110), 영역화부(120), 연골획득부(130) 및 학습DB(140)를 포함한다.

경계추출부(100)는 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출한다.

패치생성부(110)는 추출된 뼈와 연골의 경계를 중심으로 패치를 생성한다.

영역화부(120)는 뼈의 형상정보와 외관정보를 이용하여 생성된 각각의 패치별로 영역화를 수행한다.

연골획득부(130)는 영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득한다.

학습DB(140)는 자기공명영상에 나타나는 인체의 각 부위의 뼈에 대하여 전문의에 의해 표시된 연골부분과 연골이 아닌 부분에 대한 정보를 저장한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 자기공명영상에서 연골 자동 영역화 방법의 기본 과정을 나타낸 흐름도이다.

먼저, 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출한다(200). 뼈의 표면에 있는 모든 점에 대해 정규화 된 좌표와 그 주변 밝기의 계수들 간의 차를 비교하여 뼈와 연골의 경계점을 추출한다.

다음으로, 추출된 뼈와 연골의 경계를 중심으로 패치를 생성한다(210). 뼈의 연골 부분이 패치에 포함되며, 주변 패치가 서로 겹쳐지는 패치를 생성한다.

또한, 뼈의 형상정보와 외관정보를 이용하여 생성된 각각의 패치별로 영역화를 수행한다(220). 전경부분과 배경부분의 밝기 차이에 따라 획득된 형상 사전지식 또는 외관 사전지식에 가중치를 부여하여 패치 내의 연골을 추출한다.

다시 말해, 전경부분과 배경부분의 밝기 차이가 소정의 값보다 큰 경우, 획득된 외관 사전지식을 이용하여 패치 내의 연골을 추출하고, 전경부분과 배경부분의 밝기 차이가 소정의 값보다 작은 경우, 획득된 형상 사전지식을 이용하여 패치 내의 연골을 추출한다.

다음으로, 영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득한다(230). 패치 단위로 추출된 연골을 모양틀에 맞추어 중첩하여 자기공명영상에 나타나는 뼈의 표면에 연골이 식별되도록 표시된 형태의 영상을 획득한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 자기공명영상에서 연골 자동 영역화 방법의 세부 과정을 나타낸 흐름도이다.

먼저, 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출한다(301). 뼈의 표면에 있는 모든 점에 대해 정규화 된 좌표와 그 주변 밝기의 계수들 간의 차를 비교하여 뼈와 연골의 경계점을 추출한다.

다음으로, 추출된 경계점 중 임의의 점을 선택하고, 선택된 점 주변의 점을 제거하여 추출된 모든 경계점들 중 일정 간격으로 주변 점들을 대표하는 대표점(Representation Point)을 추출한다(302).

또한, 추출된 대표점을 중심으로 일정 크기의 패치를 생성한다(303).

기저장된 뼈 표면의 연골을 영역화한 패치 중에서, 생성된 패치의 정규화 된 좌표와 뼈 외곽의 수직방향 벡터를 비교하여 추출한 정규교차상관(Normalized Cross Correlation) 값을 통해 외관정보가 소정의 차이 이하인 패치를 참조패치로 추출한다(304).

다음으로, 추출된 참조패치에 포함된 레이블 정보를 이용하여 영역화 하고자 하는 연골의 모양틀을 생성한다(305). 생성된 패치 내의 뼈 외곽점과 추출된 참조패치 내의 뼈 외곽점을 반복근접법(Iterative Closest Point)을 통해 정합하고, 정합된 패치에서 영역화 하고자 하는 연골, 영역화 하지 않는 연골, 배경부분으로 구분한 형상 사전지식을 획득한다.

생성된 모양틀의 전경 또는 배경부분의 밝기정보를 획득한다(306). 정합된 패치의 밝기값을 이용하여 전경부분을 가리키는 부분과 배경부분을 가리키는 부분을 구분한 외관 사전지식을 획득한다.

다음으로, 영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득한다(307). 패치 단위로 추출된 연골을 모양틀에 맞추어 중첩하여 자기공명영상에 나타나는 뼈의 표면에 연골이 식별되도록 표시된 형태의 영상을 획득한다.

도 4는 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 연골의 영역화를 수행하는 과정을 나타낸 도면이다. 도 4를 참조하면, 연골 자동 영역화 장치는 경계추출부(410), 패치생성부(420), 영역화부(430, 440), 연골획득부(450)를 포함한다.

도 4는 연골이 자동으로 영역화 되는 과정을 보여준다. 먼저, 자기공명영상(401)이 입력된 후, 경계추출부(410)에서 뼈의 표면 중 뼈와 연골의 경계 부분을 분리해내고(411), 패치생성부(420)에서 분리된 점들을 중심으로 하는 패치를 생성한다(421, 422).

생성된 패치(421, 422)는 영역화하고자 하는 연골 부분을 포함하고 있으며, 참조패치(reference patch)들의 정보를 바탕으로 패치 단위로 영역화가 이루어진다. 참조패치들은 습득된 패치들로부터 위치정보와 외관정보를 비교하여 추출된다.

여기에서, 위치정보는 뼈의 크기를 고려하여 노말라이즈를 했을 때의 위치를 의미한다. 전문의가 직접 수동으로 영역화한 정보이거나 다른 뼈 영역화 기법으로 얻은 영역화 정보를 보유하는 학습DB로부터 현재 영역화화고자 하는 패치의 중심과 비숫한 위치의 점들을 고려고자 할 경우 위치정보를 사용할 수 있다.

또한, 외관정보는 연골과 기타 부분의 밝기값(intensity)를 의미한다.

참조 패치들로부터 얻어내는 사전지식은 패치당 형상정보와 패치당 외관정보로써, 이를 바탕으로 각 패치마다 식(1)과 같은 에너지 식이 정의된다.

…(1)

여기서, F^p와 B^p는 단항(unary) 값으로 영역의 컬러나 밝기 정보의 일관성을 나타내고, P^pq는 쌍항(pairwise) 값으로 물체 외곽선의 연결성을 나타낸다.

참조패치들로부터 추출하는 형상 사전지식은 습득된 패치들의 레이블(label) 정보를 바탕으로 생성되고, 이후 형상 사전지식이 전경이라 판단하는 부분과 배경이라 판단하는 부분의 밝기 히스토그램(histogram)을 외관 사전지식으로 이용한다(430).

여기에서, 형상정보는 학습DB로부터 얻은 레이블 정보를 의미하며, 레이블 정보란 전문의들이 연골인 부분과 아닌 부분을 구분하여 표시해 놓은 정보를 말한다.

또한, 형상 사전지식이란 레이블 정보들을 합쳐서 만든 사전지식으로, 이에 대한 자세한 내용은 식(2) 등에서 후술될 것이나, 기본적으로 형상 사전지식 값이 큰 곳은 연골일 확률이 높다는 것을 의미한다.

외관 사전지식은 영상에서의 밝기값으로 만든 히스토그램을 의미하며, 이렇게 만들어진 히스토그램은 연골과 비슷한 밝기값인 곳에서 연골일 확률을 높여준다.

형상 사전지식과 외관 사전지식이 이용되는 비율(431)은 패치마다 전경과 배경의 밝기 차이에 따라 정해지고, 식(1)의 단항 값에 반영된다. 쌍항 값은 지수함수를 이용한다.

에너지 식(식(1))은 패치 단위로 그래프 컷(Graph Cut)을 통해 최적화되고(440), 이 때 나오는 결과들(441)을 모양 사전지식으로 하여 전역적 개선 과정을 수행한다(450).

도 5a 및 5b는 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 연골 부분을 영역화하는 과정을 나타낸 도면이다.

먼저, 뼈와 연골의 경계와 아닌 부분을 구분하기 위한 방법을 살펴본다.

자기공명영상 내의 세 부분의 뼈가 이전에 영역화되어 있다고 가정하고 위치정보와 외관 정보를 이용하여 뼈의 표면 중 뼈와 연골의 경계를 추출하는 과정을 선행과정으로 수행한다. 뼈와 연골의 경계는 연골의 위치와 형상을 개략적으로 보여주고 있을 뿐 아니라 추후 연골의 지역적인 정보들을 정합할 때 이용된다.

여기에서, 세 부분의 뼈는 도 5a의 윗부분에 있는 대퇴골(femur), 아래 부분에 있는 경골(tibia), 대퇴골 옆쪽에 작은 뼈인 슬개골(patella)을 말한다. 또한, “이전에 영역화 되어있다“라는 것은 전문의가 직접 수동으로 영역화한 정보이거나 다른 뼈 영역화 기법으로 얻은 영역화 정보를 말한다. 다시 말해, 뼈는 어떠한 기법으로든 이미 영역화 결과를 알고 있다고 가정한다.

도 5a에서 살펴보면, 뼈의 장축으로부터 수직한 방향의 평면들을 뼈와 겹쳤을 때, 평면 내에 뼈가 가장 넓게 분포하는 곳의 중심을 바탕으로 뼈 표면의 점들을 정규화시킨 좌표들을 위치정보로 이용한다.

외관 정보는 뼈 표면의 주변 밝기를 바탕으로 생성되고, 이 정보는 주성분분석(Principle Component Analysis : PCA)을 통해 차원이 줄여진 후 고유벡터(eigen vector)의 계수들만이 습득된다.

뼈의 표면에 있는 모든 점들에 대해 정규화 된 좌표와 주변 밝기의 계수들 간의 차를 비교하게 되고, 이 두 정보에 의해 뼈와 연골이 맞닿는 부분이라 판단되는 곳을 뼈와 연골의 경계라 결정하게 된다.

다음으로, 이렇게 결정된 뼈와 연골의 경계를 이용하여 패치 단위로 영역화를 수행하는 과정에 대하여 살펴본다. 패치 단위 영역화 과정은 대표점 및 참조패치 추출과정, 형상 사전지식 및 외관 사전지식 획득과정, 사전지식 간 적합한 비율 선정과정을 포함한다.

우선, 대표점 및 참조패치 추출과정을 살펴보면, 뼈와 연골의 경계점들은 촘촘하게 뽑히기 때문에 모든 점에 대해 패치를 생성하는 것은 비효율적이다. 따라서 뼈와 연골의 경계점들 중 일정 간격으로 주변 점들을 대표해주는 대표점들(Representation Points)을 추출한다. 대표점은 모든 경계점들 중 임의로 점을 추출하고 그 주변의 점들을 제거하는 방식을 반복하여 얻어낸다.

대표점이 추출되면 이를 중심으로 하는 일정 크기의 패치를 생성하고, 습득해 놓은 패치들 중 비슷한 패치들을 참조 패치로 뽑아 이 정보를 바탕으로 패치별 영역화를 수행한다.

패치를 생성할 때는 모든 연골 부분이 패치에 포함되도록 하며 패치들을 서로 겹치게 하여, 소수의 패치 영역화 결과가 잘못된다 하더라도 주변 패치들의 영역화 결과에 의해 보정될 수 있도록 한다.

참조패치는 일차적으로 정규화 된 좌표와 뼈 외곽의 수직방향 벡터를 비교하여 추출한 후 정규교차상관(Normalized Cross Correlation: NCC) 값을 통해 외관정보까지 비슷한 패치들을 추출한다.

다음으로, 형상 사전지식과 외관 사전지식 획득과정을 살펴보면, 참조패치들이 추출되면 습득해 놓은 레이블 정보를 이용하여 모양틀을 생성하고, 모양틀이 분명하게 전경 또는 배경이라 지목하는 부분의 밝기 정보를 얻어낸다.

먼저 참조패치들의 레이블 정보를 정확하게 이용하기 위해 대표점을 중심으로 하는 패치내의 뼈 외곽점들과 참조 패치들 내의 뼈 외곽점들을 반복근접점(Iterative Closest Point : ICP)을 통해 정합시킨다.

반복근접점(ICP)은 고정 변형 기법 중의 하나로, 부분적인 변화들을 모두 정합하는 데는 부적합하지만 복잡도가 낮기 때문에 단순한 모형의 정합에 유용한 기법이다. 따라서 부분별로 변화가 심한 연골 전체에 대한 정합에는 부적합하지만, 패치 내 간단한 형상의 뼈 외곽점들을 빠르게 정합하는 데는 유용하다.

정합된 패치들의 연골 레이블 정보는 형상 사전지식으로 이용된다. 연골 레이블은 영역화하고자 하는 연골부분과, 영역화를 원하지 않는 타 연골부분, 배경 부분으로 나누어 각각 1, -1, 0으로 정의할 수 있다.. 형상 사전지식은 식(2)과 같이 정합된 패치들의 레이블 가중치 합(weighted sum)으로 생성된다.

…(2)

여기서

는 참조 패치들의 수, ω_k는 k번 째 참조 패치의 가중치, S(x^k _p)는 k번 째 참조 패치의 연골 레이블을 의미한다.

가중치는 습득된 k개의 패치들과 대표점을 중심으로 하는 패치와의 정규교차상관값들의 가중합으로 결정된다. S(x_p)는 패치 내 복셀(voxel)들이 각각 어떤 부분에 포함될 확률이 높은지를 의미하는 에너지 값이다. 타 연골의 에너지 값을 -1로 정의함에 따라 한 패치 안에서 경계가 모호한 부분이 있더라도 경계를 효과적으로 분리할 수 있다.

도 5a는 대표점으로부터 생성한 패치를, 도 5b는 패치마다 얻어낸 모양틀을 각각 보여준다. 도 5b를 통해 패치마다 반복근접점을 통해 얻어낸 모양틀은 자기공명 영상 내의 연골부분과 상당히 일치하고 있음을 확인할 수 있다.

외관 정보를 추출해기 위해서는 모양틀이 분명하게 전경부분을 가리키는 부분과 배경 부분을 가리키는 부분의 밝기값을 이용한다.

다음으로, 사전지식 간 접합한 비율 선정과정을 살펴보면, 형상 사전지식과 외관 사전지식 간의 비율을 정해주기 위해 두 사전지식을 패치마다 적응적으로 이용한다는 개념을 이용하되 자기공명영상 내의 연골 영역화에 적합하도록 파라미터들을 정의한다.

도 6a 및 6b는 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 밝기 정보를 이용하여 연골의 경계를 획득하는 과정을 나타낸 도면이다.

보다 상세하게는 도 6a와 6b는 각각 형상 사전지식을 강조해야 하는 경우와 외관 사전지식을 강조해야 하는 경우를 보여준다.

도 6a는 전경과 배경의 경계에서 밝기의 차이가 큰 경우로, 이런 경우에는 모양틀 정보가 없더라도 좋은 영역화 결과를 얻을 수 있기 때문에 외관 사전지식의 비중을 크게 한다. 도 6b의 경우는 전경과 배경의 경계에서 밝기 차이가 크지 않으므로 형상 사전지식의 비중을 강조한다.

하기의 식(3) 및 식(4)는 각각 전경 단항 에너지와 배경 단항 에너지로 두 사전지식 정보를 동시에 반영한다.

…(3)

…(4)

S(x_p)는 형상 사전지식, H_u ^F(x_p), H_u ^B(x_p)는 전경 및 배경 히스토그램을 의미한다. f_s는 두 정보 간의 반영 비율을 나타내주는 파라미터로, 하기 식 (5)와 같이 정의될 수 있다.

…(5)

이 때 d(x_p)는 거리변형(distance transform)을 통해 구하며 뼈와 연골의 경계 지점으로부터 복셀 x_p까지의 거리를 의미한다. 이는 뼈와 연골의 경계로부터 멀어질수록 밝기 정보보다는 모양틀 정보에 가중치를 두겠다는 의미로 배경에 연골과 비슷한 밝기를 가진 복셀이 있을 때 유용하다.

σ_s는 전경과 배경 히스토그램의 x²히스토그램 차이로 구하며, 히스토그램의 차이가 크면 f_s값이 축소되고, 작으면 커지게 된다. 단항 값 식(3)과 식(4)는 총 에너지 식 (1)에 대입되고 패치 단위로 그래프 컷을 통해 최적화 된다.

이러한 과정을 통하여 자기공명영상에서 지역적인 부분들을 세밀하게 영역화하게 되는데, 도 6a 및 6b를 통하여 살펴보면, 도 6에 나타난 녹색(상단선)은 뼈와 연골의 경계, 주황색(하단선)은 연골과 다른 조직 간의 경계를 의미한다.

도 6a는 연골의 전경부분과 배경부분의 외관이 뚜렷하게 구분되는 부분으로 밝기 정보에 가중치를 두게 되고, 도 6b는 연골의 전경부분과 배경부분의 외관이 비숫한 부분으로 모양틀 정보에 가중치를 두어 경계를 설정한다.

이상과 같은 지역적 영역화 결과를 합쳐 전체적인 연골의 형상을 다루는데 중점을 두는 것이 전역적 개선 과정(최종적으로 영상으로부터 연골을 획득하는 과정)이라 할 수 있다.

정제과정에서는 패치단위로 얻은 영역화 결과를 모두 합쳐 모양 사전지식으로 이용한다. 이 모양 사전지식을 바탕으로 식 (1)의 전경 단항 값과 배경 단항 값이 결정되고 영상 전체에 대해 그래프 컷을 수행한다.

전체적으로 그래프 컷을 수행할 경우, 쌍항 값에 의해 패치단위 영역화 결과가 매끄럽지 못했던 부분이나 연골임에도 연골이 아니라고 판단된 부분들에 대해서 향상된 영역화 결과를 얻을 수 있다.

도 7은 본 발명의 바람직한 일 실시예에 따른 연골 자동 영역화 장치에서 자기공명영상에 나타나는 연골을 영역화한 결과를 나타낸 도면이다.

도 7은 전술된 일련의 과정을 통하여 얻은 연골 영역화 결과를 나타내는 것이다. 도 7에서 청색으로 나타나는 부분은 전술된 일련의 과정을 통하여 획득한 연골 영역이며, 황색은 이상적인 결과(실제 연골 영역)를 나타내며, 흰색은 획득한 연골 영역과 실제 연골 영역의 겹쳐지는 영역을 나타낸 것이다.

도 7의 도면은 미국의 OAI(Osteoarthritis Initiative)로부터 얻은 무릎 자기공명데이터 8개를 이용한 실험을 통하여 얻은 결과이다.

전문의 두 명이 반자동기법을 통해 입력과 수정을 반복하여 얻은 영역화 결과를 이상적인 값으로 이용하였으며, 효율성을 위해 각 축을 0.5배씩 축소한 영상을 실험에 이용하였다.

8개의 자기공명 데이터들을 한 번씩 돌아가며 입력하여 실험하였으며, 입력 데이터를 제외한 데이터들은 정보를 습득하는 집합으로 이용하였다. 자기공명 데이터들은 얻는 환경에 따라 밝기 레벨이 다를 수 있으므로 본 발명의 제안된 기법을 수행하기 전 히스토그램 매칭 기법을 통해 정규화(normalize) 한 뒤 실험하였다.

영역화 성능은 두 부피의 평균값과 겹쳐지는 부피의 비로 정의하는 다이스 유사율(Dice Similarity Coefficient, DSC)을 통해 측정하였다. 다이스 유사율(DSC)은 식(6)으로 정의되며 s가 높을수록 겹쳐지는 정도가 커지는 것을 의미한다.

…(6)

하기 표1은 두 개의 이상적인 영역화 결과와 제안하는 기법을 통해 얻은 결과 간의 다이스 유사율(DSC)를 보여준다.

Data # Cartilage	Doctor1(%)	Doctor2(%)	Average(%)
1	84.3	84.3	84.3
2	86	86.3	86.2
3	85.9	86.1	86
4	85.6	85.2	85.4
5	84.5	83.7	84.1
6	80	79.2	79.6
7	81.5	81.8	81.7
8	83	83	83

8개의 데이터에 대해 첫 번째 전문의와는 83.9%, 두 번째 전문의와는 83.7%의 평균 DSC 값을 얻을 수 있다.

도 7은 본 발명이 제안하는 기법으로 얻은 연골 영역화 결과로써 청색은 제안하는 기법으로 나온 결과, 황색은 전문의가 영역화한 결과, 흰색은 두 결과가 겹쳐진 부분을 보여준다.

도 7을 통해 DSC가 평균적으로 83%~84% 정도임에도 불구하고 연골의 대부분이 정확하게 영역화되고 있음을 확인할 수 있다.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

100 경계추출부
110 패치생성부
120 영역화부
130 연골획득부
140 학습 DB

Claims (13)

1. 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출하는 단계;
   추출된 뼈와 연골의 경계점들 중 일정 간격으로 대표점을 추출하고 대표점을 중심으로 패치를 생성하는 단계;
   뼈의 형상정보와 외관정보를 이용하여 생성된 각각의 패치별로 영역화를 수행하는 단계; 및
   영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득하는 단계;를 포함하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
2. 제 1 항에 있어서, 상기 경계를 추출하는 단계는
   뼈의 표면에 있는 모든 점에 대해 정규화 된 좌표와 그 주변 밝기의 계수들 간의 차를 비교하여 뼈와 연골의 경계점을 추출하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
3. 제 2 항에 있어서, 상기 패치를 생성하는 단계는
   추출된 경계점 중 임의의 점을 선택하고, 선택된 점 주변의 점을 제거하여 추출된 모든 경계점들 중 일정 간격으로 주변 점들을 대표하는 대표점(Representation Point)을 추출하는 단계; 및
   추출된 대표점을 중심으로 일정 크기의 패치를 생성하는 단계;를 포함하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
4. 제 3 항에 있어서, 상기 패치를 생성하는 단계는
   뼈의 연골 부분이 패치에 포함되며, 주변 패치가 서로 겹쳐지는 패치를 생성하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
5. 제 2 항에 있어서, 상기 패치를 생성하는 단계는
   기저장된 뼈 표면의 연골을 영역화한 패치 중에서, 생성된 패치의 정규화 된 좌표와 뼈 외곽의 수직방향 벡터를 비교하여 추출한 정규교차상관(Normalized Cross Correlation) 값을 통해 외관정보가 소정의 차이 이하인 패치를 참조패치로 추출하는 단계;를 더 포함하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
6. 제 5 항에 있어서, 상기 영역화를 수행하는 단계는
   추출된 참조패치에 포함된 레이블 정보를 이용하여 영역화 하고자 하는 연골의 모양틀을 생성하는 단계; 및
   생성된 모양틀의 전경 또는 배경부분의 밝기정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
7. 제 6 항에 있어서, 상기 모양틀을 생성하는 단계는
   생성된 패치 내의 뼈 외곽점과 추출된 참조패치 내의 뼈 외곽점을 반복근접점(Iterative Closest Point)을 통해 정합하고, 정합된 패치에서 영역화 하고자 하는 연골, 영역화 하지 않는 연골, 배경부분으로 구분한 형상 사전지식을 획득하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
8. 제 7 항에 있어서, 상기 밝기정보를 획득하는 단계는
   정합된 패치의 밝기값을 이용하여 전경부분을 가리키는 부분과 배경부분을 가리키는 부분을 구분한 외관 사전지식을 획득하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
9. 제 8 항에 있어서, 상기 영역화를 수행하는 단계는
   전경부분과 배경부분의 밝기 차이에 따라 획득된 형상 사전지식 또는 외관 사전지식에 가중치를 부여하여 패치 내의 연골을 추출하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
10. 제 8 항에 있어서, 상기 영역화를 수행하는 단계는
    전경부분과 배경부분의 밝기 차이가 소정의 값보다 큰 경우, 획득된 외관 사전지식을 이용하여 패치 내의 연골을 추출하고,
    전경부분과 배경부분의 밝기 차이가 소정의 값보다 작은 경우, 획득된 형상 사전지식을 이용하여 패치 내의 연골을 추출하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
11. 제 8 항에 있어서, 상기 연골을 획득하는 단계는
    패치 단위로 추출된 연골을 모양틀에 맞추어 중첩하여 자기공명영상에 나타나는 뼈의 표면에 연골이 식별되도록 표시된 형태의 영상을 획득하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 방법.
12. 자기공명영상(Magnetic Resonance Image)에 나타나는 뼈(bone)의 위치정보와 외관정보를 이용하여 뼈의 표면 중 뼈와 연골(cartilage)의 경계를 추출하는 경계추출부;
    추출된 뼈와 연골의 경계점들 중 일정 간격으로 대표점을 추출하고 대표점을 중심으로 패치를 생성하는 패치생성부;
    뼈의 형상정보와 외관정보를 이용하여 생성된 각각의 패치별로 영역화를 수행하는 영역화부; 및
    영역화된 각각의 패치를 결합하여 뼈의 표면에서 연골을 획득하는 연골획득부;를 포함하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 장치.
13. 제 12 항에 있어서,
    자기공명영상에 나타나는 인체의 각 부위의 뼈에 대하여 전문의에 의해 표시된 연골부분과 연골이 아닌 부분에 대한 정보를 저장하는 학습DB;를 더 포함하는 것을 특징으로 하는 자기공명영상에서 연골 자동 영역화 장치.

Images