KR101594994B1

KR101594994B1 - 3차원 무릎 관절 영상 생성 방법 및 장치

Info

Publication number: KR101594994B1
Application number: KR1020130127923A
Authority: KR
Inventors: 최태선; 최욱진
Original assignee: 광주과학기술원
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2016-02-17
Also published as: US20150117728A1; US9349074B2; KR20150047885A

Abstract

본 발명은 3차원 무릎 관절 영상 생성 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 방법은, 미리 생성된 샘플 무릎 뼈 영상들을 이용하여 통계학적 형상 모델을 생성하는 단계, 상기 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성하는 단계, 상기 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성하는 단계 및 상기 무릎 관절 뼈 영상 및 상기 무릎 관절 연골 영상을 합성하여 상기 입력 무릎 영상에 대한 3차원 무릎 관절 영상을 생성하는 단계를 포함한다. 본 발명에 의하면, 보다 빠르고 정확하게 무릎 관절의 3차원 영상을 생성할 수 있는 장점이 있다.

Description

3차원 무릎 관절 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING 3-D KNEE JOINT IMAGE}

본 발명은 3차원 무릎 관절 영상 생성 방법 및 장치에 관한 것이다.

최근 평균 수명의 연장으로 인해 관절염의 발생이 증가하고 있으며, 관절염의 치료를 위한 인공 무릎관절 전치환술이 시행되고 있다. 성공적인 인공 무릎관절 전치환술을 위해서는 정확한 골 절제에 의해 이상적인 하지 정렬을 회복하는 것이 가장 중요하다.

종래에는 주로 컴퓨터 단층 촬영(Computed Tomography: CT)을 이용한 3차원 무릎관절 모델을 생성하고, 생성된 모델에 맞는 환자 맞춤형 골 절제 유도장치가 사용되었다. 하지만 CT 영상에서는 무릎의 연골 부분이 정확히 구별되지 않기 때문에 정확한 골 절제가 어렵다.

한편, 자기 공명 영상(Magnetic Resonance Image: MRI)에는 뼈, 연골, 피질골, 지방, 인대, 반월판, 근육, 힘줄, 골수액 등 다양한 조직이 나타난다. 그런데 MR 영상에 나타나는 몇몇 조직은 서로 비슷한 밝기 값 분포를 갖기 때문에, 조직 간의 경계를 구별하기가 어렵다.

이에 따라 MR 영상의 원하는 영역을 분할하는 수동 또는 반자동화된 알고리즘들이 제안되었다. 그러나 이러한 방법들에 의하면 MR 영상으로부터 원하는 조직을 추출하는데 있어서 많은 시간이 소요되며, 사용자의 경험과 판단에 따라 추출 정확도와 추출 범위가 달라진다. 한편, 본 발명과 관련된 선행기술로는 국내공개특허공보 제2008-0027861호(2008.3.28. 공개)가 있다.

본 발명은 보다 빠르고 정확하게 무릎 관절의 3차원 영상을 생성할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

이러한 목적을 달성하기 위한 본 발명은 3차원 무릎 관절 영상 생성 방법에 있어서, 미리 생성된 샘플 무릎 뼈 영상들을 이용하여 통계학적 형상 모델을 생성하는 단계, 상기 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성하는 단계, 상기 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성하는 단계 및 상기 무릎 관절 뼈 영상 및 상기 무릎 관절 연골 영상을 합성하여 상기 입력 무릎 영상에 대한 3차원 무릎 관절 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명은 3차원 무릎 관절 영상 생성 장치에 있어서, 미리 생성된 샘플 무릎 뼈 영상들을 이용하여 통계학적 형상 모델을 생성하는 통계학적 모델 생성부, 상기 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성하는 무릎 관절 뼈 영상 생성부, 상기 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성하는 무릎 관절 연골 영상 생성부 및 상기 무릎 관절 뼈 영상 및 상기 무릎 관절 연골 영상을 합성하여 상기 입력 무릎 영상에 대한 3차원 무릎 관절 영상을 생성하는 3차원 무릎 관절 영상 생성부를 포함하는 것을 다른 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 보다 빠르고 정확하게 무릎 관절의 3차원 영상을 생성할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 장치의 구성도.
도 2는 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 방법의 흐름도.
도 3은 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 방법에서 통계학적 형상 모델을 생성하는 단계(S202)의 상세 흐름도.
도 4는 샘플 무릎 뼈 영상의 원본 영상.
도 5는 샘플 무릎 뼈 영상의 축소 영상.
도 6은 정합된 샘플 무릎 뼈 축소 영상.
도 7은 본 발명의 일 실시예에서 형상 컨텍스트를 추출하는 방법을 설명하기 위한 도면.
도 8은 2D 영상의 형상 컨텍스트의 히스토그램 bin 구성도.
도 9는 본 발명에서 사용되는 반복적 형상 컨텍스트 매칭의 흐름도.
도 10 내지 도 12는 60개의 샘플 무릎 뼈 영상을 이용하여 생성된 대퇴골의 통계학적 형상 모델.
도 13 내지 16은 본 발명에 의한 무릎 관절 뼈 영상을 생성하는 방법을 설명하기 위한 도면.
도 17은 본 발명에 의해 입력 무릎 영상을 이용하여 생성된 무릎 관절 뼈 영상.
도 18은 본 발명에 의해 입력 무릎 영상을 이용하여 생성된 무릎 연골 영상.
도 19는 무릎 관절 뼈 영상 및 무릎 관절 연골 영상을 합성하여 생성된 3차원 무릎 관절 영상.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

도 1은 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 장치의 구성도이다. 본 발명의 3차원 무릎 관절 영상 생성 장치(102)는 예컨대 MR 영상과 같은 무릎 영상(이하, 입력 무릎 영상)을 입력받고, 입력 무릎 영상을 이용하여 3차원의 무릎 관절 영상을 생성한다.

도 1을 참고하면, 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 장치(102)는 통계학적 형상 모델 생성부(104), 무릎 관절 뼈 영상 생성부(106), 무릎 관절 연골 영상 생성부(108), 3차원 무릎 관절 영상 생성부(110)를 포함한다.

통계학적 형상 모델 생성부(104)는 미리 생성된 샘플 무릎 뼈 영상들을 이용하여 통계학적 형상 모델을 생성한다. 본 발명의 일 실시예에서, 통계학적 형상 모델 생성부(104)는 각 샘플 무릎 뼈 영상의 원본 영상 및 축소 영상을 이용하여 각 샘플 무릎 뼈 영상에 대한 정합 영상들을 생성한다. 보다 상세하게는, 통계학적 형상 모델 생성부(104)는 원본 영상의 특징점들 및 축소 영상의 특징점들을 추출하고, 원본 영상의 특징점들에 대한 형상 컨텍스트들 및 축소 영상의 특징점들에 대한 형상 컨텍스트들을 추출한다. 그리고 나서, 통계학적 형상 모델 생성부(104)는 원본 영상의 형상 컨텍스트들 및 축소 영상의 형상 컨텍스트들을 이용하여 축소 영상을 원본 영상으로 정합하여 정합 영상들을 생성한다.

본 발명의 일 실시예에서, 통계학적 형상 모델 생성부(104)는 생성된 정합 영상들을 이용하여 최종 정합 영상들을 생성한다. 보다 상세하게는, 통계학적 형상 모델 생성부(104)는 생성된 정합 영상들 중 기준 정합 영상 및 비기준 정합 영상을 결정하고, 기준 정합 영상의 특징점들 및 비기준 영상의 특징점들을 추출하며, 기준 정합 영상의 특징점들에 대한 형상 컨텍스트들 및 비기준 정합 영상의 특징점들에 대한 형상 컨텍스트들을 추출한다. 그리고 나서, 통계학적 형상 모델 생성부(104)는 기준 정합 영상의 형상 컨텍스트들 및 비기준 정합 영상의 형상 컨텍스트들을 이용하여 비기준 정합 영상을 기준 정합 영상으로 정합하여 최종 정합 영상들을 생성한다.

본 발명의 일 실시예에서, 통계학적 형상 모델 생성부(104)는 생성된 최종 정합 영상들의 특징점을 추출하여 각 샘플 무릎 뼈 영상에 대한 특징점 벡터들을 생성한다. 그리고 나서, 통계학적 형상 모델 생성부(104)는 특징점 벡터들의 평균 벡터 및 공분산 행렬을 이용하여 통계학적 형상 모델을 생성한다.

한편, 무릎 관절 뼈 영상 생성부(106)는 통계학적 형상 모델 생성부(104)에 의해 생성된 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성한다. 보다 상세하게는, 무릎 관절 뼈 영상 생성부(106)는 입력 무릎 영상 위에 통계학적 형상 모델 생성부(104)에 의해 생성된 통계학적 형상 모델을 배치하고, 입력 무릎 영상에서 통계학적 형상 모델의 각 특징점이 위치하는 지점의 밝기값 벡터를 계산한다. 그리고 나서, 무릎 관절 뼈 영상 생성부(106)는 계산된 밝기값 벡터를 이용하여 입력 무릎 영상 위의 각 특징점을 이동시키고, 이동된 각 특징점을 이용하여 입력 무릎 영상에서 뼈 영역을 분할함으로써 무릎 관절 뼈 영상을 생성한다.

무릎 관절 연골 영상 생성부(108)는 무릎 관절 뼈 영상 생성부(106)에 의해 생성된 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성한다. 보다 상세하게는, 무릎 관절 연골 영상 생성부(108)는 무릎 관절 뼈 영상 생성부(106)에 의해 생성된 무릎 관절 뼈 영상에 관심 영역을 설정하고, 설정된 관심 영역에서 뼈-연골 경계를 추출한다. 그리고 나서, 무릎 관절 연골 영상 생성부(108)는 추출된 뼈-연골 경계의 밝기값 정보를 이용하여 무릎 관절 뼈 영상에서 연골 영역을 분할함으로써 무릎 관절 연골 영상을 생성한다.

3차원 무릎 관절 영상 생성부(110)는 생성된 무릎 관절 뼈 영상 및 무릎 관절 연골 영상을 결합하여 3차원 무릎 관절 영상을 생성한다.

도 2는 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 방법의 흐름도이다. 도 2를 참고하면, 본 발명의 일 실시예에서는 먼저 미리 생성된 샘플 무릎 뼈 영상들을 이용하여 통계학적 형상 모델을 생성한다(S202). 그리고 생성된 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성한다(S204). 그리고 나서, 생성된 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성한다(S206). 마지막으로, 생성된 무릎 관절 뼈 영상 및 생성된 무릎 관절 연골 영상을 결합하여 3차원 무릎 관절 영상을 생성한다(S208).

이하에서는 도면을 참고하여 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 방법을 각 단계 별로 상세하게 설명한다.

1. 통계학적 형상 모델(Statistical Shape Model) 생성(S202)

전술한 바와 같이, 본 발명에서는 입력 무릎 영상의 무릎 관절을 추출하여 3차원의 무릎 관절 영상을 생성한다. 이 때 3차원 무릎 관절 영상을 생성하기 위하여 통계학적 형상 모델을 이용한다.

도 3은 본 발명의 일 실시예에 따른 3차원 무릎 관절 영상 생성 방법에서 통계학적 형상 모델을 생성하는 단계(S202)의 상세 흐름도이다. 통계학적 형상 모델 생성 단계(S202)는 다시 도 3과 같이 여러 단계로 나누어 이루어진다.

(1) 각 샘플 무릎 뼈 영상에 대한 정합 영상 생성(S302)

도 3을 참조하면, 먼저 각 샘플 무릎 뼈 영상의 원본 영상 및 축소 영상을 이용하여 각 샘플 무릎 뼈 영상에 대한 정합 영상들을 생성한다(S302).

통계학적 형상 모델을 생성하기 위해 본 발명에서는 미리 생성된 다수의 샘플 무릎 영상을 사용한다. 본 발명에서 사용되는 샘플 무릎 영상은 무릎의 뼈 부분(대퇴골, 경골) 및 연골 부분(관절 연골, 반월판 연골 등)이 분할되어 있다. 단계 S302에서는 이러한 샘플 무릎 영상 중 뼈 부분, 즉 샘플 무릎 뼈 영상을 사용한다. 본 발명의 일 실시예에서는 예컨대 60개의 샘플 무릎 뼈 영상을 사용하여 통계학적 형상 모델을 생성할 수 있다.

정합 영상 생성 단계(S302)에서는 샘플 무릎 뼈 영상의 원본 영상과 이 원본 영상을 축소한 축소 영상을 생성한다. 축소 영상이란 원본 영상의 해상도를 낮춘 영상을 의미한다. 도 4는 샘플 무릎 뼈 영상의 원본 영상을 나타내며, 도 5는 샘플 무릎 뼈 영상의 축소 영상을 나타낸다. 그리고 나서, 원본 영상 및 축소 영상의 특징점들을 각각 추출한다.

여기서 특징점이란 무릎 관절에서 해부학적으로 의미를 갖는 점을 의미하며, 특징점은 대체로 관절의 외곽선 부분에 존재한다. 도 4와 도 5에서, 무릎 뼈 영상에 표시된 개개의 점이 특징점이다. 무릎 뼈 영상은 이러한 특징점들을 연결한 선과 면으로 형성될 수 있다. 무릎 관절의 해부학적 특징을 효과적으로 나타낼 수 있는 적절한 개수의 특징점을 추출하기 위하여 본 발명에서는 샘플 무릎 뼈 영상의 원본 영상 및 원본 영상을 축소한 축소 영상으로부터 검출된 표면 정보를 이용한다. 본 발명의 일 실시예에서는 Marching Tetrahedron 알고리즘을 이용하여 샘플 무릎 뼈 영상의 뼈 형상에서 표면(surface)을 검출한다. 검출된 표면은 표면을 구성하는 점(vertex)들과 이 점을 이용하여 전체 표면을 구성하기 위한 부분면(face, 점 세 개를 이용하여 삼각형으로 구성됨)으로 이루어진다.

원본 영상으로부터 검출된 표면 정보는 많은 수의 특징점을 포함하고 있으며, 세부적인 해부학적 정보를 포함하고 있다. 반면에, 축소 영상의 경우에는 상대적으로 적은 수의 점을 포함하고 있으며, 눈에 띄는 해부학적 정보를 포함하고 있지만 상대적으로 정확도가 떨어진다. 예컨대 도 5와 같이, 축소 영상은 도 4의 원본 영상에 비해 감소된 개수의 특징점을 가지나, 원본 영상의 형상을 정확하게 반영하지 못한다.

따라서 다음 단계에서는 원본 영상의 특징점들에 대한 형상 컨텍스트들 및 축소 영상의 특징점들에 대한 형상 컨텍스트들을 추출하고, 추출된 형상 컨텍스트들을 이용하여 축소 영상을 원본 영상으로 정합하여 축소 영상의 특징점을 최적화한다.

여기서 형상 컨텍스트(shape context)란 어떤 형상의 한 점과 나머지 점들의 관계를 이용하여 형상의 각 부분을 나타낸 결과 또는 그러한 방법을 의미한다. 도 7은 본 발명의 일 실시예에서 형상 컨텍스트를 추출하는 방법을 설명하기 위한 도면이다. 도 7의 (a)와 같은 사면체 형상은 (b)와 같이 총 4개의 특징점을 갖는다. 이와 같은 4개의 특징점 각각에 대하여 형상 컨텍스트를 추출할 수 있다. 예컨대 도 7의 (c)나 (d)와 같이 어느 한 점((c)의 가장 위의 점 또는 (d)의 가장 왼쪽에 있는 점)이 특정되면 특정된 점에서 나머지 점들에 대한 벡터가 생성된다. 이러한 벡터들을 거리와 방향 성분으로 구성된 히스토그램으로 나타내면 각 점에 대한 형상 컨텍스트를 추출할 수 있다.

도 8은 2D 영상의 형상 컨텍스트의 히스토그램 bin 구성을 나타낸다. 형상 컨텍스트를 이용하여 모델 형상의 모든 점 p_i와 일치하는 점 q_j를 타겟 형상에서 찾을 수 있다. 점 p_i에 대한 나머지 n-1개의 점에 대한 형상 컨텍스트 h_i는 다음 식과 같다.

여기서 bin의 개수는 점 p_i로부터의 거리를 log scale로 나타낸 것과 점 p_i 와 나머지 점들이 구성하는 벡터의 방향을 구면좌표계로 나타낸 것을 기반으로 결정된다. 본 발명의 일실시예에서, 거리는 7단계, 구면좌표계에서의 각도는 각각 10단계로 분할하여 총 7×10×10의 700개의 bin을 사용한다.

본 발명의 일 실시예에 따르면, 각 표면의 모든 점에 대하여 형상 컨텍스트를 추출하고, 일치하는 shape context를 사용하며, 특징점들을 iterative shape context matching 방법을 이용하여 축소 영상의 표면을 원본 영상의 표면으로 정합한다. 이렇게 정합된 표면의 모든 점을 특징점으로 이용한다. 그림 3은 축소된 영상(a)로부터 추출된 특징점(표면의 붉은 점)을 원본영상(b)에서 추출된 특정점에 iterative shape context matching방법을 이용하여 정합하여 정합된 영상(c)의 표면위의 특징점을 추출한 것이다.

이와 같이 원본 영상 및 축소 영상의 각 특징점들에 대하여 형상 컨텍스트를 추출하면, 추출된 형상 컨텍스트를 이용하여 축소 영상을 원본 영상에 정합한다. 본 발명에서는 축소 영상을 원본 영상에 정합하기 위하여 다음과 같이 반복적 형상 컨텍스트 매칭(Iterative Shape Context Matching)을 사용한다.

* 반복적 형상 컨텍스트 매칭

도 9는 본 발명에서 사용되는 반복적 형상 컨텍스트 매칭의 흐름도이다. 반복적 형상 컨텍스트 매칭에서는 종료 조건을 만족할 때까지 마스터 형상(master shape)을 타겟 형상(target shape)에 정합한다. 종료 조건이 만족되지 않으면 마스터 형상을 업데이트하여 계속해서 타겟 형상에 정합하며, 최종적으로 정합이 완료된 마스터 형상이 정합 영상이 된다.

도 9를 참조하면, 먼저 마스터 형상의 모든 특징점에 대한 형상 컨텍스트를 추출하고(S902), 타겟 형상의 모든 특징점에 대한 형상 컨텍스트를 추출한다(S904). 참고로 단계 S902 및 S904의 순서는 서로 바뀔 수 있다.

그리고 나서, 서로 대응되는 형상 컨텍스트를 갖는 마스터 형상의 특징점과 타겟 형상의 대응 특징점을 추출한다(S906). 즉, 마스터 형상의 각 특징점의 형상 컨텍스트를 타겟 형상의 각 특징점의 형상 컨텍스트와 비교하여 서로 거리가 최소인 특징점(대응 특징점)을 추출한다. 이 때 거리가 최소인 점이 2개 이상일 수 있으므로, 마스터 형상의 각 특징점 당 하나의 타겟 형상의 특징점이 대응되도록 Hungarian method가 사용될 수 있다.

이렇게 대응 특징점들을 추출한 후, 추출된 대응 특징점 및 형상 컨텍스트를 이용하여 마스터 형상의 특징점들을 타겟 형상의 특징점으로 정합한다(S908). 여기서 마스터 형상의 타겟 형상에 대한 정합은 B-spline registration 기법에 의해 수행될 수 있다.

다음으로, 정합된 마스터 형상과 타겟 형상의 유사 계수(dice similarity coefficient)를 계산하고(S910), 종료 조건을 만족하는지 여부를 판단한다(S912). 정합된 마스터 형상을 S_m', 타겟 형상을 S_t라고 할 때, 유사 계수 S_dice는 다음과 같이 계산된다.

이렇게 계산된 유사 계수가 종료 조건, 예컨대 미리 정해진 값을 만족하면 정합은 종료되고 정합된 마스터 형상은 정합 영상이 된다. 반면에 종료 조건이 만족되지 않는다면 단계 S902로 돌아가 정합 과정이 반복된다.

전술한 바와 같이, 본 발명에서는 반복적 형상 컨텍스트 매칭을 이용하여 축소 영상을 원본 영상에 정합하는데, 여기서 축소 영상은 마스터 영상에 해당하며 원본 영상은 타겟 영상에 해당한다. 이와 같이 축소 영상을 원본 영상에 반복적으로 정합함으로써, 도 6과 같이 정합된 무릎 뼈 축소 영상을 획득할 수 있다. 도 6의 정합된 무릎 뼈 축소 영상은 원본 영상에 비해 적은 수의 특징점을 가지면서도 원본 영상에 정합되었기 때문에 원본 영상에 가까운 정확도를 갖는다.

이러한 정합 영상 생성 단계(S302)는 모든 샘플 무릎 뼈 영상에 대하여 수행된다. 예컨대 본 발명의 일 실시예에서 60개의 샘플 무릎 뼈 영상이 사용된다면, 정합 영상 생성 단계(S302)를 통해 60개의 정합된 샘플 무릎 뼈 축소 영상, 즉 정합 영상이 생성될 것이다.

(2) 최종 정합 영상 생성 단계(S304)

각 샘플 무릎 뼈 영상의 원본 영상 및 축소 영상을 이용하여 각 샘플 무릎 뼈 영상에 대한 정합 영상들을 생성(S302)한 다음에는, 생성된 정합 영상들을 이용하여 최종 정합 영상들을 생성한다(S304).

예컨대 정합 영상 생성 단계(S302)를 통해 60개의 정합된 샘플 무릎 뼈 축소 영상(정합 영상)이 생성된 경우, 60개의 정합 영상은 그 형상과 특징점의 개수가 서로 다르다. 따라서, 최종 정합 영상 생성 단계(S304)를 통해 생성된 정합 영상들의 형상 및 특징점의 개수를 일치시킨다.

최종 정합 영상 생성 단계(S304)는 정합 영상 생성 단계(S302)와 유사하게 진행된다. 먼저 생성된 정합 영상들 중 기준 정합 영상 및 비기준 정합 영상을 결정한다. 예컨대 60개의 영상 중 하나의 영상을 기준 정합 영상으로 선택하고, 나머지 59개의 영상은 비기준 정합 영상으로 결정한다.

그리고 나서, 기준 정합 영상의 특징점들 및 비기준 영상의 특징점들을 추출하고, 기준 정합 영상의 특징점들에 대한 형상 컨텍스트들 및 비기준 정합 영상의 특징점들에 대한 형상 컨텍스트들을 추출한다. 그리고 추출된 기준 정합 영상의 형상 컨텍스트들 및 비기준 정합 영상의 형상 컨텍스트들을 이용하여 비기준 정합 영상을 기준 정합 영상으로 정합함으로써 최종 정합 영상이 생성된다.

비기준 정합 영상을 기준 정합 영상으로 정합하는 과정에는 전술한 반복적 형상 컨텍스트 매칭이 이용된다. 도 8을 참조하면, 비기준 정합 영상은 마스터 영상이 되고 기준 정합 영상은 타겟 영상이 된다. 즉, 반복적 형상 컨텍스트 매칭을 통해 비기준 정합 영상을 기준 정합 영상으로 정합함으로써 비기준 정합 영상의 형상과 그에 포함된 특징점이 기준 정합 영상에 일치하게 된다.

이에 따라 기준 정합 영상에 정합된 비기준 정합 영상들, 즉 최종 정합 영상들이 생성된다. 최종 정합 영상은 기준 정합 영상 및 정합된 비기준 정합 영상들을 포함한다.

(3) 각 샘플 무릎 뼈 영상에 대한 특징점 벡터 생성 단계(S306)

최종 정합 영상들을 생성한(S304) 다음에는, 최종 정합 영상들의 특징점을 추출하여 각 샘플 무릎 뼈 영상에 대한 특징점 벡터들을 생성한다(S306). 각각의 최종 정합 영상에 포함된 특정점의 개수를 n이라 할 때, 특징점 벡터는 다음과 같이 정의된다.

즉, 특징점 벡터 X는 해당 최종 정합 영상에 포함된 각 특징점의 좌표(x_n, y_n, z_n)들의 집합으로 이루어진다.

이에 따라 각 샘플 무릎 뼈 영상에 대한 특징점 벡터들이 생성된다. 예컨대 60개의 샘플 무릎 뼈 영상에 대한 60개의 최종 정합 영상에 대하여, 60개의 특징점 벡터가 생성된다.

(4) 통계학적 형상 모델 생성 단계(S308)

각 샘플 무릎 뼈 영상에 대한 특징점 벡터를 생성(S306)한 다음에는, 생성된 특징점 벡터들의 평균 벡터 및 공분산 행렬을 이용하여 통계학적 형상 모델을 생성한다(S308). n개의 샘플 무릎 뼈 영상의 각 특징점 벡터 x_i에 대한 평균 벡터는 다음과 같이 계산된다.

또한 공분산 행렬은 다음과 같이 계산된다.

그리고 주성분 분석법(Principal Component Analysis, PCA)를 이용하여 공분산 행렬로부터 샘플 무릎 뼈 영상 집합의 고유 벡터(eigenvector)와 고유값(eigenvalue)을 구할 수 있다. 샘플 무릎 뼈 영상 집합의 형상 변화는 고유 벡터φ_i와 대응되는 t개의 큰 고유값을 이용하여 모델화 할 수 있으며, 행렬

으로 나타낼 수 있다. 이 행렬과 평균 형상을 이용하여 동계학적 형상 모델 X를 다음과 같이 표현가능하다.

여기서 b는 t차원 벡터이며 통계학적 형상 모델의 파라미터로서

로 표현될 수 있다. 벡터 b의 각 성분은 통계학적으로 도출된 경계(±3σ)에 의해 제한되며, 수학식 6을 이용하여 통계학적 형상 모델을 근사할 수 있다.

도 10 내지 도 12는 60개의 샘플 무릎 뼈 영상을 이용하여 생성된 대퇴골의 통계학적 형상 모델을 나타낸다.

2. 3차원 무릎 관절 뼈 영상 생성(S204)

다시 도 3을 참조하면, 단계 S202를 통해 통계학적 형상 모델을 생성한 후, 생성된 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성한다(S204).

통계학적 형상 모델은 형상 정보만을 포함하고 있기 때문에 영상 분할에 직적접으로 사용이 불가능하다. 따라서 생성된 통계학적 형상 모델에 포함된 각 특징점 주변의 밝기값 분포 정보가 필요하다. 우선 통계학적 형상 모델의 특징점들의 노멀(normal) 벡터를 구하고, 특징점에서 노멀 벡터 방향으로 k개의 밝기값을 샘플링한다. 또한 노멀 벡터 반대 방향으로도 k개의 밝기값을 샘플링한다. 그리고 나서 샘플링된 특징점의 밝기값을 포함하여 2k+1의 밝기값 벡터를 구성한다.

이와 같은 방법으로, 생성된 통계학적 형상 모델의 모든 특징점에 대하여 밝기값 벡터를 추출한다. 그리고 다음과 같이 각각의 밝기값 벡터의 1차 미분값을 계산한다.

그리고 다음과 같이 계산된 미분값을 정규화한다.

통계학적 형상 모델의 모든 특징점들은 정규화된 밝기값 벡터

을 갖는다. 여기서 해당 벡터들의 공분산 행렬 S_g를 구할 수 있으며 이를 이용하여 영상 분할을 할 때 생성되는 밝기값 벡터 와의 비교에 사용되는 마할라노비스 거리(Mahalanobis distanace)를 다음과 같이 계산할 수 있다.

생성된 밝기값 벡터와 공분산 행렬을 이용하여 다음과 같이 무릎 관절 뼈 영상을 생성한다. 먼저 도 13과 같이 입력된 무릎 영상(입력 무릎 영상) 위에 통계학적 형상 모델의 평균 형상을 배치한다. 예컨대 도 13의 배경이 되는 영상이 입력 무릎 영상이며, 그 위에는 특징점(1302, 1304) 및 특징점을 잇는 경계선이 배치되어 있다.

다음으로, 도 14와 같이 각 특징점(1302, 1304)이 위치하는 곳에서의 밝기값 벡터(1402, 1404)를 계산한다. 그리고 도 15와 같이 각 특징점에서 구한 밝기값 벡터를 이전에 추출한 밝기값 벡터 모델과의 마할라노비스 거리가 최소화 되는 지점을 찾고, 해당 지점으로 특징점(1302, 1304)을 이동 시킨다.

그리고 도 16과 같이 이동된 특징점(1302, 1304)을 잇는 선을 경계로 하여 입력 무릎 영상을 분할함으로써 무릎 관절 뼈 영상이 생성된다. 예컨대 도 16에서는 특징점(1302, 1304)을 잇는 선을 경계로 입력 무릎 영상의 오른쪽에 있는 검은 부분이 무릎 관절 뼈 영상이 된다.

3. 3차원 무릎 관절 연골 영상 생성(S206)

다시 도 2를 참조하면, 단계 S204를 통해 생성된 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성한다(S206). 연골은 해부학적 특징에 의하여 항상 특정 영역, 예컨대 뼈에서 5mm 이내의 영역에 위치하게 된다. 따라서 이전 단계서 추출한 무릎 관절 뼈의 5mm 이내에 관심영역을 설정하고 뼈와 연골의 접합지점인 Bone-Crtilage Interface (BCI)를 추출한다. 그리고 BCI의 노멀 벡터 방향에 존재하는 복셀(voxel)의 밝기값 정보를 이용하여 연골을 최종적으로 분할함으로써 무릎 관절 연골 영상이 생성된다. 이는 MR 영상에서 연골이 뼈 부분에 비하여 더 높은 밝기값을 갖는다는 특징을 이용한 것이다.

4. 3차원 무릎 관절 영상 생성(S208)

다시 도 2를 참조하면, 단계 S204 및 S06을 통해 생성된 무릎 관절 뼈 영상 및 무릎 관절 연골 영상을 합성하여 입력 무릎 영상에 대한 3차원 무릎 관절 영상을 생성한다. 도 17은 본 발명에 의해 입력 무릎 영상을 이용하여 생성된 무릎 관절 뼈 영상을 나타내고, 도 18은 본 발명에 의해 입력 무릎 영상을 이용하여 생성된 무릎 연골 영상을 나타내며, 도 19는 무릎 관절 뼈 영상 및 무릎 관절 연골 영상을 합성하여 생성된 3차원 무릎 관절 영상을 나타낸다.

본 발명에 의해 생성된 3차원 무릎 관절 영상의 정확도를 테스트하기 위한, 전문가에 의해 수작업으로 생성된 3차원 무릎 관절 영상과의 비교 결과는 다음과 같다.

분할된 데이터를 검증하기 위하여 골 영역에 대해서는 Average Symmetric Surface Distance (AvgD)와 Root Mean Square Symmetric Surface Distance (RMSD)를 측정하였으며, 연골 영역에 대해서는 Volumetric Overlap Error (VOE)와 Relative Volume Difference (VD)를 측정하였다.

표 1에 나타난 수치들은 모두 본 발명에 의해 생성된 3차원 무릎 관절 영상이 전문가에 의해 수작업으로 생성된 3차원 무릎 관절 영상과 큰 차이를 보이지 않는다는 것을 나타낸다.

결국 본 발명에 따르면 전문가에 의해 수작업으로 생성된 3차원 무릎 관절 영상과 큰 차이를 나타내지 않으면서도 보다 신속하고 편리하게 3차원 무릎 관절 영상을 생성할 수 있다.

전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims

미리 생성된 샘플 무릎 뼈 영상들을 이용하여 정합 영상 및 최종 정합 영상을 생성하고, 상기 최종 정합 영상을 이용하여 생성되는 상기 샘플 무릎 뼈 영상의 특징점 벡터를 이용하여 통계학적 형상 모델을 생성하는 단계;
상기 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성하는 단계;
상기 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성하는 단계; 및
상기 무릎 관절 뼈 영상 및 상기 무릎 관절 연골 영상을 합성하여 상기 입력 무릎 영상에 대한 3차원 무릎 관절 영상을 생성하는 단계를
포함하는 3차원 무릎 관절 영상 생성 방법.
제1항에 있어서,
상기 통계학적 형상 모델을 생성하는 단계는
각 샘플 무릎 뼈 영상의 원본 영상 및 축소 영상을 이용하여 상기 각 샘플 무릎 뼈 영상에 대한 정합 영상들을 생성하는 단계;
상기 정합 영상들을 이용하여 최종 정합 영상들을 생성하는 단계;
상기 최종 정합 영상들의 특징점을 추출하여 상기 각 샘플 무릎 뼈 영상에 대한 특징점 벡터들을 생성하는 단계; 및
상기 특징점 벡터들의 평균 벡터 및 공분산 행렬을 이용하여 상기 통계학적 형상 모델을 생성하는 단계를
포함하는 3차원 무릎 관절 영상 생성 방법.
제2항에 있어서,
상기 정합 영상들을 생성하는 단계는
상기 원본 영상의 특징점들 및 상기 축소 영상의 특징점들을 추출하는 단계;
상기 원본 영상의 특징점들에 대한 형상 컨텍스트들 및 상기 축소 영상의 특징점들에 대한 형상 컨텍스트들을 추출하는 단계; 및
상기 원본 영상의 형상 컨텍스트들 및 상기 축소 영상의 형상 컨텍스트들을 이용하여 상기 축소 영상을 상기 원본 영상으로 정합하여 상기 정합 영상들을 생성하는 단계를
포함하는 3차원 무릎 관절 영상 생성 방법.
제2항에 있어서,
상기 최종 정합 영상들을 생성하는 단계는
상기 정합 영상들 중 기준 정합 영상 및 비기준 정합 영상을 결정하는 단계;
상기 기준 정합 영상의 특징점들 및 상기 비기준 영상의 특징점들을 추출하는 단계;
상기 기준 정합 영상의 특징점들에 대한 형상 컨텍스트들 및 비기준 정합 영상의 특징점들에 대한 형상 컨텍스트들을 추출하는 단계; 및
상기 기준 정합 영상의 형상 컨텍스트들 및 상기 비기준 정합 영상의 형상 컨텍스트들을 이용하여 상기 비기준 정합 영상을 상기 기준 정합 영상으로 정합하여 상기 최종 정합 영상들을 생성하는 단계를
포함하는 3차원 무릎 관절 영상 생성 방법.
제1항에 있어서,
상기 무릎 관절 뼈 영상을 생성하는 단계는
상기 입력 무릎 영상 위에 상기 통계학적 형상 모델을 배치하는 단계;
상기 입력 무릎 영상에서 상기 통계학적 형상 모델의 각 특징점이 위치하는 지점의 밝기값 벡터를 계산하는 단계;
상기 밝기값 벡터를 이용하여 상기 각 특징점을 이동시키는 단계; 및
이동된 상기 각 특징점을 이용하여 상기 입력 무릎 영상에서 뼈 영역을 분할하는 단계를
포함하는 3차원 무릎 관절 영상 생성 방법.
제1항에 있어서,
상기 무릎 관절 연골 영상을 생성하는 단계는
상기 무릎 관절 뼈 영상에 관심 영역을 설정하는 단계;
상기 관심 영역에서 뼈-연골 경계를 추출하는 단계; 및
상기 뼈-연골 경계의 밝기값 정보를 이용하여 상기 무릎 관절 뼈 영상에서 연골 영역을 분할하는 단계를
포함하는 3차원 무릎 관절 영상 생성 방법.
미리 생성된 샘플 무릎 뼈 영상들을 이용하여 정합 영상 및 최종 정합 영상을 생성하고, 상기 최종 정합 영상을 이용하여 생성되는 상기 샘플 무릎 뼈 영상의 특징점 벡터를 이용하여 통계학적 형상 모델을 생성하는 통계학적 모델 생성부;
상기 통계학적 형상 모델을 이용하여 입력 무릎 영상에서 뼈 영역을 분할하여 무릎 관절 뼈 영상을 생성하는 무릎 관절 뼈 영상 생성부;
상기 무릎 관절 뼈 영상에서 연골 영역을 분할하여 무릎 관절 연골 영상을 생성하는 무릎 관절 연골 영상 생성부; 및
상기 무릎 관절 뼈 영상 및 상기 무릎 관절 연골 영상을 합성하여 상기 입력 무릎 영상에 대한 3차원 무릎 관절 영상을 생성하는 3차원 무릎 관절 영상 생성부를
포함하는 3차원 무릎 관절 영상 생성 장치.
제7항에 있어서,
상기 통계학적 형상 모델 생성부는
각 샘플 무릎 뼈 영상의 원본 영상 및 축소 영상을 이용하여 상기 각 샘플 무릎 뼈 영상에 대한 정합 영상들을 생성하고, 상기 정합 영상들을 이용하여 최종 정합 영상들을 생성하고, 상기 최종 정합 영상들의 특징점을 추출하여 상기 각 샘플 무릎 뼈 영상에 대한 특징점 벡터들을 생성하고, 상기 특징점 벡터들의 평균 벡터 및 공분산 행렬을 이용하여 상기 통계학적 형상 모델을 생성하는
3차원 무릎 관절 영상 생성 장치.
제8항에 있어서,
상기 통계학적 형상 모델 생성부는
상기 원본 영상의 특징점들 및 상기 축소 영상의 특징점들을 추출하고, 상기 원본 영상의 특징점들에 대한 형상 컨텍스트들 및 상기 축소 영상의 특징점들에 대한 형상 컨텍스트들을 추출하고, 상기 원본 영상의 형상 컨텍스트들 및 상기 축소 영상의 형상 컨텍스트들을 이용하여 상기 축소 영상을 상기 원본 영상으로 정합하여 상기 정합 영상들을 생성하는
3차원 무릎 관절 영상 생성 장치.
제8항에 있어서,
상기 통계학적 형상 모델 생성부는
상기 정합 영상들 중 기준 정합 영상 및 비기준 정합 영상을 결정하고, 상기 기준 정합 영상의 특징점들 및 상기 비기준 영상의 특징점들을 추출하고, 상기 기준 정합 영상의 특징점들에 대한 형상 컨텍스트들 및 비기준 정합 영상의 특징점들에 대한 형상 컨텍스트들을 추출하고, 상기 기준 정합 영상의 형상 컨텍스트들 및 상기 비기준 정합 영상의 형상 컨텍스트들을 이용하여 상기 비기준 정합 영상을 상기 기준 정합 영상으로 정합하여 상기 최종 정합 영상들을 생성하는
3차원 무릎 관절 영상 생성 장치.
제7항에 있어서,
상기 무릎 관절 뼈 영상 생성부는
상기 입력 무릎 영상 위에 상기 통계학적 형상 모델을 배치하고, 상기 입력 무릎 영상에서 상기 통계학적 형상 모델의 각 특징점이 위치하는 지점의 밝기값 벡터를 계산하고, 상기 밝기값 벡터를 이용하여 상기 각 특징점을 이동시키고, 이동된 상기 각 특징점을 이용하여 상기 입력 무릎 영상에서 뼈 영역을 분할하는
3차원 무릎 관절 영상 생성 장치.
제7항에 있어서,
상기 무릎 관절 연골 영상 생성부는
상기 무릎 관절 뼈 영상에 관심 영역을 설정하고, 상기 관심 영역에서 뼈-연골 경계를 추출하고, 상기 뼈-연골 경계의 밝기값 정보를 이용하여 상기 무릎 관절 뼈 영상에서 연골 영역을 분할하는
3차원 무릎 관절 영상 생성 장치.