KR102659750B1

KR102659750B1 - 세그먼트 스캐닝을 이용하여 엑스레이 영상에서 관절의 중심점을 검출하는 장치 및 방법

Info

Publication number: KR102659750B1
Application number: KR1020230045734A
Authority: KR
Inventors: 이동훈; 신인철; 국중진
Original assignee: 주식회사 써지컬에이아이
Priority date: 2023-04-06
Filing date: 2023-04-06
Publication date: 2024-04-24
Also published as: KR102660127B1

Abstract

인체의 하지 변형을 교정하기 위한 근위경골절골술(high tibial osteotomy) 등을 포함한 교정수술(corrective osteotomy)을 실시하는 과정에서 획득되는 하지 각 관절의 부분 엑스레이 영상에서 각 관절의 중심점을 검출하는 장치 및 방법이 개시된다.

Description

세그먼트 스캐닝을 이용하여 엑스레이 영상에서 관절의 중심점을 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING CENTER POINT OF JOINT IN X-RAY IMAGE USING SEGMENT SCANNING}

본 발명은 엑스레이 영상에서 관절의 중심점을 검출하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 인체의 하지 변형을 교정하기 위한 근위경골절골술(high tibial osteotomy) 등을 포함한 교정수술(corrective osteotomy)을 실시하는 과정에서 획득되는 하지 각 관절의 부분 엑스레이 영상에서 각 관절의 중심점을 검출하는 장치 및 방법에 관한 것이다.

일반적으로, 휘어진 다리, O-다리 및 X-다리 등의 명칭으로 알려진 내반슬 및 외반슬은 미용상으로 좋지 못할 뿐만 아니라, 정형외과학적으로도 특정 관절에 상대적으로 과도한 부하가 누적되어 연골 손상 및 퇴행성 관절염을 발생시키거나 악화시킬 수 있으므로 교정하는 것이 바람직하다.

휘어진 다리의 교정을 위하여 근위경골절골술을 포함하여 다양한 교정절골술이 시행되는데 이러한 수술에서 가장 중요한 것은 수술 중 교정된 다리의 정렬을 정확하게 파악할 수 있어야 한다는 것이다.

수술 전 수술실 외부에서 촬영하는 엑스레이 장비는 하지 전체의 정렬을 판단할 수 있는 영상의 촬영이나 합성이 가능한 것이나, 수술 중에 하지 전체의 정렬을 판단하기 위한 영상을 획득하기 위해 이러한 장비를 수술실 내에 갖추는 것은 가능하지 않거나 적어도 매우 어려운 일이다.

수술실 내에서 수술 중 사용 가능한 엑스레이 촬영장비인 C-암(arm) 엑스레이 촬영 장비는 신체의 부분 촬영만 가능하며 하지 전체를 파악하기 위한 영상 획득 또는 합성 작업이 불가능하다. 현재, 수술 중에 하지 전체의 정렬을 파악하기 위하여 C-암 엑스레이 촬영 등을 이용하여 하지의 고관절 부분, 무릎관절 부분 및 발목 부분을 개별 촬영하고 각각의 개별 촬영된 영상을 수작업으로 정렬하는 방식이 알려져 있다.

하지 정렬 영상을 획득하기 위해서는, 하지 각 관절 부위를 촬영한 개별 엑스레이 영상을 이용하여 고관절의 중심점과 발목관절의 중심점을 잇는 가상선이 무릎관절에서 지나가는 위치를 파악하여 하지 정렬을 파악할 수 있는 영상을 획득해야 한다.

따라서, 하지의 각 관절 부위를 촬영한 엑스레이 영상에서 각 관절 부위의 중심점을 정확하게 검출하는 것이 하지 정렬의 여부나 정도를 파악하는데 매우 중요하다.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

삭제

이에 본 발명은, 하지 각 관절의 부분 엑스레이 영상에서 각 관절의 중심점을 정확하게 검출할 수 있는 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

본 발명이 해결하고자 하는 과제는 이상에서 기술한 내용으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 해결 과제 및 장점들은 이하의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명이 속하는 기술 분야의 통상의 기술자라면 본 발명의 해결 과제 및 장점들이 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,

무릎관절을 촬영한 엑스레이 소스영상을 이진 영상으로 변환하는 영상 이진화부;

상기 이진 영상에서 나타나는 대퇴골 하단의 중심부의 형상에 대응되는 반전 패턴을 갖는 세그먼트를 생성하고, 상기 세그먼트로 상기 이진 영상을 스캐닝하여 상기 세그먼트와 상기 이진 영상의 픽셀값의 XOR 연산을 수행하여 상기 이진 영상에서 대퇴골 하단의 중심부에 해당하는 영역을 검출하는 세그먼트 스캐닝부; 및

상기 세그먼트 스캐닝부에 의해 검출된 상기 대퇴골 하단의 중심부에 해당하는 영역에서 이진 영상의 픽셀값을 기반으로 상기 대퇴골 하단의 중심점을 결정하는 대퇴골 하단 중심 식별부;

를 포함하는 엑스레이 영상에서 관절의 중심점을 검출하는 장치를 제공한다.

본 발명의 실시예에서, 상기 대퇴골 하단의 중심부에 해당하는 영역을 확장시키고 확장된 영역에서 나타나는 이진 영상의 픽셀값을 기반으로 경골 상단의 중심점을 결정하는 경골 상단 중심 식별부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 엑스레이 소스영상의 사이즈를 조정하고 색상 분포를 균일화하여 상기 영상 이진화부에 제공하는 영상 정규화부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 세그먼트 스캐닝부는, XOR 연산 결과 상기 세그먼트 내 픽셀의 사전 설정된 비율 이상이 '1'의 값을 출력하는 영역 또는 XOR 연산 결과 가장 많은 수의 픽셀에서 '1'의 값을 출력하는 영역을 상기 대퇴골 하단의 중심부에 해당하는 영역으로 선정할 수 있다.

본 발명의 실시예에서, 상기 대퇴골 하단 중심 식별부는, 상기 대퇴골 하단의 중심부에 해당하는 영역 내 이진 영상을 상부로부터 행단위로 탐색하여 가장 먼저 흰색에 해당하는 값을 나타내는 픽셀을 대퇴골 하단의 중심점으로 결정할 수 있다.

본 발명의 실시예에서, 상기 경골 상단 중심 식별부는, 상기 대퇴골 하단의 중심부에 해당하는 영역을 상기 이진 영상 상의 좌우 방향 및 하부 방향으로 확장시키면서 확장된 영역 내에서 나타나는 검은색 픽셀의 상하 축방향 좌표값이 증가하다가 감소하는 경우 최대의 상하 축방향 좌표값을 갖는 픽셀을 경골 상단의 중심부로 결정할 수 있다.

상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,

무릎관절을 촬영한 엑스레이 소스영상을 이진 영상으로 변환하는 영상 이진화 단계;

상기 이진 영상에서 나타나는 대퇴골 하단의 중심부의 형상에 대응되는 반전 패턴을 갖는 세그먼트를 생성하고, 상기 세그먼트로 상기 이진 영상을 스캐닝하여 상기 세그먼트와 상기 이진 영상의 픽셀값의 XOR 연산을 수행하여 상기 이진 영상에서 대퇴골 하단의 중심부에 해당하는 영역을 검출하는 세그먼트 스캐닝 단계; 및

상기 세그먼트 스캐닝 단계에서 검출된 상기 대퇴골 하단의 중심부에 해당하는 영역에서 이진 영상의 픽셀값을 기반으로 상기 대퇴골 하단의 중심점을 결정하는 대퇴골 하단 중심 식별 단계;

를 포함하는 엑스레이 영상에서 관절의 중심점을 검출하는 방법을 제공한다.

본 발명의 실시예에서, 상기 대퇴골 하단의 중심부에 해당하는 영역을 확장시키고 확장된 영역에서 나타나는 이진 영상의 픽셀값을 기반으로 경골 상단의 중심점을 결정하는 경골 상단 중심 식별 단계를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 엑스레이 소스영상의 사이즈를 조정하고 색상 분포를 균일화하여 상기 영상 이진화부에 제공하는 영상 정규화 단계를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 세그먼트 스캐닝 단계는, XOR 연산 결과 상기 세그먼트 내 픽셀의 사전 설정된 비율 이상이 '1'의 값을 출력하는 영역 또는 XOR 연산 결과 가장 많은 수의 픽셀에서 '1'의 값을 출력하는 영역을 상기 대퇴골 하단의 중심부에 해당하는 영역으로 선정할 수 있다.

본 발명의 실시예에서, 상기 대퇴골 하단 중심 식별 단계는, 상기 대퇴골 하단의 중심부에 해당하는 영역 내 이진 영상을 상부로부터 행단위로 탐색하여 가장 먼저 흰색에 해당하는 값을 나타내는 픽셀을 대퇴골 하단의 중심점으로 결정할 수 있다.

본 발명의 실시예에서, 상기 경골 상단 중심 식별 단계는, 상기 대퇴골 하단의 중심부에 해당하는 영역을 상기 이진 영상 상의 좌우 방향 및 하부 방향으로 확장시키면서 확장된 영역 내에서 나타나는 검은색 픽셀의 상하 축방향 좌표값이 증가하다가 감소하는 경우 최대의 상하 축방향 좌표값을 갖는 픽셀을 경골 상단의 중심부로 결정할 수 있다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 용이하게 이해시키는 역할을 하는 것이므로, 본 발명은 다음의 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 일 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치를 도시한 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 중 대퇴골두 중심점 검출부를 더욱 상세하게 도시한 도면이다.
도 3은 도 2에 도시된 대퇴골두 중심점 검출부에 의한 대퇴골두 중심점 검출 방법을 도시한 도면이다.
도 4는 대퇴골두 영상의 경계 강화 필터에 적용된 커널 구조를 도시한 도면이다.
도 5 내지 도 10은 도 2에 도시된 대퇴골두 중심점 검출부의 각 구성요소에서 생성되는 영상의 예를 도시한 도면이다.
도 11은 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 중 무릎관절 중심점 검출부를 더욱 상세하게 도시한 도면이다.
도 12는 도 11에 도시된 무릎관절 중심점 검출부에 의한 무릎관절 중심점 검출 방법을 도시한 도면이다.
도 13 및 도 15는 도 11에 도시된 무릎관절 중심점 검출부의 각 구성요소에서 생성되는 영상 및 중심점 검출의 예를 설명하기 위한 도면이다.
도 16은 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 중 발목관절 중심점 검출부를 더욱 상세하게 도시한 도면이다.
도 17은 도 16에 도시된 발목관절 중심점 검출부에 의한 발목관절 중심점 검출 방법을 도시한 도면이다.
도 18 내지 도 21은 도 16에 도시된 발목관절 중심점 검출부의 각 구성요소에서 생성되는 영상 및 중심점 검출의 예를 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 및 방법을 상세하게 설명한다.

이하에서 설명되는 실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치를 도시한 블록 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치는, 하지의 관절 부분을 엑스레이 촬영하여 각 관절에 대한 복수의 소스영상을 생성하는 엑스레이 촬영 장치(10)와, 엑스레이 촬영 장치(10)에서 생성된 복수의 소스영상을 이미지 처리하여 각 관절의 중심점을 검출하는 영상 처리부(20)를 포함할 수 있다.

엑스레이 촬영 장치(10)는 당 기술분야에 사용되고 있는 다양한 엑스레이 촬영 장치가 적용될 수 있으며, 특히 누워 있는 상태의 인체의 하지를 엑스레이 촬영하되 하지 전체를 하나의 좌표면을 형성하는 그리드 상에 위치시키고 하지의 주요 관절 부분에 대한 엑스레이 영상을 획득할 수 있는 C-arm 엑스레이 촬영 장치일 수 있다.

더욱 구체적으로, 엑스레이 촬영 장치(10)는 하나의 좌표면을 형성하는 그리드 상에서 하지의 고관절, 무릎관절 및 발목관절 부분을 각각 촬영한 제1 소스영상, 제2 소스영상 및 제3 소스영상을 생성할 수 있다.

엑스레이 촬영 장치(10)에 의해 생성된 제1 소스영상, 제2 소스영상 및 제3 소스영상은 영상 처리부(20)에 제공되고, 영상 처리부(20)는 입력 받은 제1 소스영상, 제2 소스영상 및 제3 소스영상 각각에 대한 영상 처리를 통해 각 관절의 중심점을 검출할 수 있다.

영상 처리부(20)는, 제1 소스영상에서 하지의 고관절의 대퇴골두의 중심점을 검출하는 대퇴골두 중심점 검출부(21)와, 제2 소스영상에서 무릎관절의 중심점을 검출하는 무릎관절 중심점 검출부(22) 및 제3 소스영상에서 발목관절의 중심점을 검출하는 발목관절 중심점 검출부(23)를 포함할 수 있다.

이하에서는 하지에서 촬영된 각 개별 관절의 소스 영상에서 관절의 중심점을 검출하는 기법에 대해 설명하기로 한다.

고관절의 대퇴골두 중심점 검출

도 2는 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 중 대퇴골두 중심점 검출부를 더욱 상세하게 도시한 도면이고, 도 3은 도 2에 도시된 대퇴골두 중심점 검출부에 의한 대퇴골두 중심점 검출 방법을 도시한 도면이다. 도 4는 대퇴골두 영상의 경계 강화 필터에 적용된 커널 구조를 도시한 도면이다. 또한, 도 5 내지 도 10은 도 2에 도시된 대퇴골두 중심점 검출부의 각 구성요소에서 생성되는 영상의 예를 도시한 도면이다.

도 2를 참조하면, 대퇴골두 중심점 검출부(21)는, 영상 정규화부(211), 경계 검출부(212), 경계 강화부(213) 및 중심점 식별부(214)를 포함할 수 있다.

영상 정규화부(211)는, 엑스레이 촬영 장치(10)에서 획득된 고관절을 촬영한 소스영상의 사이즈를 영상처리에 적절한 사이즈로 변환하고, 소스 영상의 색상 분포 균일화를 통해 소스 영상의 전체적인 밝기를 보정할 수 있다.

예를 들어, 영상 정규화부(211)는 정방형의 2차원 좌표계로 표현할 수 있도록 소스영상을 크롭하여 사이즈를 조정할 수 있다. 또한, 소스영상 획득 시 조명, 각도, 진동 등의 외부적 요인에 의해 색상 분포의 차이가 발생할 수 있으므로, 엑스레이 영상이 갖는 8bit 그레이 스케일의 범위(0 내지 255)에서 균일하게 색상 분포를 가질 수 있도록 히스토그램 분석을 통해 주요 색상이 분포된 영역을 시프트(shift)하여 색상 값의 범위를 조정할 수 있다.

경계 검출부(212)는, 정규화된 소스영상에서 경계 영역을 추출하는 요소로서, 사전 설정된 경계 검출을 위한 커널(필터)을 적용하여 경계 검출을 수행할 수 있다. 경계 검출 필터는 중심 픽셀과 그 주위를 둘러싸는 주변 픽셀에 대해 가중치를 적용하여 중심 픽셀에 해당하는 픽셀의 픽셀값을 조정함으로써 색상이 급격하게 변하는 경계 영역을 검출하는 필터이다.

본 발명의 실시예에서, 경계 검출부(212)에는 당 기술분야에 알려진 다양한 경계 검출용 필터가 적용될 수 있다.

도 5에 도시된 것과 같은 정규화된 소스 영상이 경계 검출부(212)에 입력되는 경우, 경계 검출부(212)는 도 6에 도시된 것과 같이 경계에 해당하는 영역이 밝게 변환된 경계 검출 영상을 출력할 수 있다. 또한, 경계 검출부(212)는 도 6에 도시된 것과 같은 경계 검출 영상을 정규화된 소스 영상에 부가하여 도 7에 도시된 것과 같이 경계에 해당하는 경계 부분을 흑색으로 강조하여 표시한 영상을 생성할 수 있다.

엑스레이 촬영 장치(10)에서 생성된 소스 영상은 그레이 스케일일 뿐만 아니라 뼈들이 중첩되는 영역이 존재하는 경우 그 경계가 명확하게 나타나지 않을 수 있으므로, 본 발명의 실시예에서 경계 강화부(213)를 통해 그 경계를 더욱 명확하게 표시하는 경계 강화 영상을 생성할 수 있다.

경계 강화부(213)는, 소스 영상에 경계 검출 영상이 부가된 영상(도 7)의 각 픽셀에 경계 강화를 위한 커널을 적용하여 경계 부분이 더욱 강조된 도 8과 같은 경계 강화 영상을 생성할 수 있다.

경계 강화부(213)는 nХn(n은 3 이상의 정수)의 픽셀로 이루어진 사전 설정된 크기의 경계 강화 커널을 적용할 수 있다(도 4 참조). 경계 강화 커널은 커널(예를들어, 도 4의 중간에 표시된 9개의 픽셀; EP: Effective Pixel) 내 픽셀들의 평균 색상값을 연산하고 중심 픽셀(CP: Center Pixel)의 색상값이 커널 내 픽셀들의 평균 색상값 보다 큰 경우 더 크게 변경하고 중심 픽셀의 색상값이 커널 내 픽셀들의 평균 색상값 보다 작은 경우 더 작게 변경하는 방식으로 적용할 수 있다. 여기에서 픽셀의 색상값을 변경하는 변경폭은 사전에 적절하게 조정되어 결정될 수 있다.

이러한 경계 강화 커널에 의해 어두운 픽셀은 더욱 어둡게 밝은 픽셀은 더욱 밝게 변경됨으로써 경계 영역이 도 8에 도시된 것과 같이 더욱 명확하게 표시될 수 있다.

중심점 식별부(214)는, 경계 강화 영상의 각 픽셀을 중심으로 사전 설정된 반지름 범위 내에 경계 영역에 해당하는 픽셀들이 연속적으로 분포하여 원의 형상을 형성하는지 판단하고, 사전 설정된 반지름 범위 내에 경계 영역에 해당하는 픽셀들이 연속적으로 분포하여 원 형상을 형성하는 경우 해당 픽셀을 대퇴골두의 중심점으로 결정할 수 있다.

인체 하지의 대퇴골두는 구의 형상을 가지므로 2차원 엑스레이 영상에서는 원의 형상으로 나타난다. 따라서, 경계 강화 영상의 특정 픽셀을 중심으로 사전 설정된 범위의 반지름 영역 내에 연속적인 경계 영역이 원의 형상을 형성하는 경우 이를 대퇴골두로 인식하고 해당 픽셀을 대퇴골두의 중심으로 추출할 수 있다.

중심점 식별부(214)는 도 9와 같이 경계 강화 영상에 중심점으로 검출된 픽셀을 표시하고 해당 픽셀을 중심으로 하여 원의 형상으로 연속적으로 배치된 경계 영역을 잇는 원을 형성한 후 도 10과 같이 중심 픽셀과 그를 중심으로 하는 원을 소스 영상에도 표시할 수 있다. 이와 같이, 대퇴골두의 중심점이 결정될 수 있다.

한편, 도 3에 도시된 것과 같이, 대퇴골두 중심점 검출 방법은, 전술한 대퇴골두 중심점 검출부(21)의 각 요소에 의해 순차적으로 수행되는 단계로 구현될 수 있다. 즉, 대퇴골두 중심점 검출 방법은, 영상 정규화부(211)에서 고관절을 촬영한 소스 영상을 정규화하는 단계(S11), 경계 검출부(212)에서 정규화된 소스 영상에서 경계 영역을 검출하는 단계(S12), 경계 강화부(213)에서 소스 영상에 경계 영역을 표시한 영상에 경계 강화 커널을 적용하여 경계 영역을 강화하는 단계(S13) 및 중심점 식별부(214)에서 특정 픽셀을 중심으로 사전 설정된 반지름 내 연속된 원 형상의 경계 영역이 존재하는 경우 해당 픽셀을 대퇴골두의 중심으로 인식하는 단계(S14)를 포함할 수 있다.

각 단계(S11-S14)에서 수행되는 영상 처리는, 대퇴골두 중심점 검출부(21)의 각 요소들(211-214)에 의해 수행되는 것과 실질적으로 동일하므로 중복된 설명은 생략하기로 한다.

무릎관절의 중심점 검출

도 11은 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 중 무릎관절 중심점 검출부를 더욱 상세하게 도시한 도면이고, 도 12는 도 11에 도시된 무릎관절 중심점 검출부에 의한 무릎관절 중심점 검출 방법을 도시한 도면이다. 또한, 도 13 및 도 14는 도 11에 도시된 무릎관절 중심점 검출부의 각 구성요소에서 생성되는 영상 및 중심점 검출의 예를 설명하기 위한 도면이다.

도 11을 참조하면, 무릎관절 중심점 검출부(22)는, 영상 정규화부(221), 영상 이진화부(222), 세그먼트 스캐닝부(223), 대퇴골 하단 중심점 식별부(224) 및 경골 상단 중심점 식별부(225)를 포함함 할 수 있다.

영상 정규화부(221)는, 엑스레이 촬영 장치(10)에서 획득된 무릎관절을 촬영한 소스영상의 사이즈를 영상처리에 적절한 사이즈로 변환할 수 있다. 필요에 따라, 소스 영상의 색상 분포 균일화를 통해 소스 영상의 전체적인 밝기를 보정할 수도 있다.

예를 들어, 영상 정규화부(221)는 정방형의 2차원 좌표계로 표현할 수 있도록 무릎관절의 소스영상을 크롭하여 사이즈를 조정할 수 있다. 또한, 소스영상 획득 시 조명, 각도, 진동 등의 외부적 요인에 의해 색상 분포의 차이가 발생할 수 있으므로, 엑스레이 영상이 갖는 8bit 그레이 스케일의 범위(0 내지 255)에서 균일하게 색상 분포를 가질 수 있도록 히스토그램 분석을 통해 주요 색상이 분포된 영역을 시프트(shift)하여 색상 값의 범위를 조정할 수도 있다.

영상 이진화부(222)는, 정규화된 소스영상을 0에 대응되는 검은색과 1에 대응되는 흰색의 두 가지 색상으로 표현되는 이진 이미지로 변환하는 요소이다. 영상 이진화부(222)는 적절한 그레이 스케일을 표현하는 색상값에서 적절한 임계치를 결정하고 임계치 보다 큰 색상의 경우 흰색으로 임계치 이하의 색상의 경우 검은색으로 픽셀값을 변환하는 방식으로 이진화 영상을 생성할 수 있다. 무릎 관절을 구성하는 대퇴골(도 13의 상부 뼈; 허벅지뼈)과 경골(도 13의 하부 뼈; 종아리뼈)의 영상은 중첩되는 영역이 적고 뼈 부분과 배경 부분이 명확하게 구분이 가능하므로 이진화 영상을 사용하여 중심부를 검출할 수 있다.

세그먼트 스캐닝부(223)는, 도 14a에 도시된 것과 같이 이진화 영상에서 대퇴골 하단의 중심부에 상부로 오목한 부분에 대응될 수 있는 반전 패턴을 갖는 세그먼트(S)를 미리 마련해 둔다. 이 세그먼트(S) 내의 패턴은 상기 오목한 부분 내의 오목한 형상과 완전히 일치할 필요는 없고 대체로 부합될 수 있는 정도, 즉 가운데가 완만하게 솟아오른 언덕 모양을 갖는 형태이면 족하다. 해당 세그먼트(S)는 이진화된 값으로 표현된, 즉 흰색 부분은 1, 검은색 부분은 0으로 표현된 픽셀들의 매트릭스를 형성한다(도 14b 참조, 흰색 부분들은 그 경계를 표현하기 위해 회색으로 표현되어 있음).

이 세그먼트로 상기 이진화 영상을 스캐닝하여 세그먼트(S)와 이진화 영상의 스캔부분의 XOR 연산을 수행할 수 있다. 이 반전 패턴을 갖는 세그먼트(S)가 대퇴골 하단의 중심부에 상부로 오목한 부분을 스캔하여 XOR 연산을 수행한 경우 XOR 연산이 적용되는 픽셀의 값이 서로 다르게 되므로 세그먼트를 구성하는 픽셀 대부분에서 '1'의 값이 출력되게 된다.

즉, 세그먼트 스캐닝부(223)의 XOR 연산 스캐닝을 통해 대부분의 픽셀에 대해 XOR 연산 결과'1'이 출력되는 영역을 대퇴골 하단의 중심 영역(A)을 검출할 수 있게 된다. 따라서, 세그먼트(S)의 사이즈와 중심 영역(A)의 사이즈는 실질적으로 동일할 것이다.

패턴의 형태에 따라 달라질 수 있으나, 세그먼트 스캐닝부(223)는 XOR 연산 결과 세그먼트의 픽셀의 일정 비율(예를 들어, 90%) 이상이 '1'의 값을 출력하는 영역이나, XOR 연산 결과 가장 많은 수의 픽셀에서 '1'의 값을 출력하는 영역을 중심 영역(A)으로 선정할 수 있다.

대퇴골 하단 중심 식별부(224)는, 세그먼트 스캐닝부(223)에 의해 결정된 대퇴골 하단의 중심 영역(A)에서 행 단위의 탐색을 통해 가장 먼저 1의 값을 나타내는 행을 대퇴골 하단 중심점의 y 좌표로, 해당 행에서 가장 작은 y값을 갖는 픽셀의 x 좌표를 대퇴골 하단 중심점의 x 좌표로 결정할 수 있다(원으로 표시됨).

대안적으로, 중심 영역(A)에서 열 단위의 탐색을 통해 위에서 아래로 수직한 선을 그었을 때 처음 만나게 되는 흰색 픽셀의 y좌표값이 가장 작은 지점의 좌표를 대퇴골 하단 중심점으로 결정할 수 있다.

경골 상단 중심 식별부(225)는, 세그먼트 스캐닝부(223)에서 결정된 중심 영역(A)을 x축(좌우) 방향 및 y축이 증가하는 방향(하부의 경골방향)으로 확장된 영역을 설정한다. x축 방향으로는 대퇴골의 양쪽 측단부 사이를 벗어나지 않는 범위 내에서 확장하는 것이 바람직하다.

도 15를 참조하면, 확장된 영역 내에서 상기 대퇴골 하단 중심의 y좌표에 해당되는 행으로부터 x좌표를 증가시켜 가면서 아래쪽으로 수직으로 선을 그어서(다시말해, y 좌표값을 증가시키면서) (이때, 좌측 상단이 원점이므로 위쪽이 작은 좌표값을 가짐) 처음 만나게 되는 검은색 픽셀의 y좌표값을 확인한다. 경골 상단 중심 식별부(225)는, 검은색 픽셀이 나타나는 y축 좌표값이 증가하다가 감소하는 지점을 찾으면 탐색을 종료하고, 이 지점에서 최대 y축 좌표값을 갖는 픽셀을 경골 상단의 골짜기 형상의 중심점, 즉 대퇴골 하단 중심점으로 결정할 수 있다(원으로 표시됨).

이와 같이, 두 개의 무릎관절 중심점, 즉 대퇴골 하단 중심점과 경골 상단 중심점을 검출할 수 있으며, 선택에 따라, 둘 중 하나의 중심점을 무릎 관절의 중심점으로 결정할 수 있다.

한편, 도 12에 도시된 것과 같이, 무릎관절 중심점 검출 방법은, 전술한 무릎관절 중심점 검출부(22)의 각 요소에 의해 순차적으로 수행되는 단계로 구현될 수 있다. 즉, 무릎관절 중심점 검출 방법은, 영상 정규화부(211)에서 무릎관절을 촬영한 소스 영상을 정규화하는 단계(S21), 영상 이진화부(222)에서 정규화된 소스 영상을 이진화 영상으로 변환하는 단계(S22), 세그먼트 스캐닝부(223)에서 대퇴골 하단의 상부로 오목한 영역에 대응되는 반전 패턴을 갖는 세그먼트를 이용하여 이진화 영상을 스캐닝하여 세그먼트의 패턴과 이진화 영상의 픽셀의 XOR 연산 시 대부분의 픽셀에서 '1'을 나타내는 중심 영역(A)을 검출하는 단계(S23), 대퇴골 하단 중심 식별부(224)에서 중심 영역(A) 내에서 행 단위로 상부에서 하부로 탐색하여 가장 먼저 '1'의 값을 나타내는 픽셀(흰색을 나타내는 픽셀)을 대퇴골 하단의 중심점으로 결정하는 단계(S24) 및 경골 상단 중심 식별부(225)에서 중심 영역(A)을 x축(좌우) 방향 및 y축이 증가하는 방향(하부의 경골방향)으로 확장시킨 영역 내에서 나타나는 검은색 픽셀의 y축 좌표값이 증가하다가 감소하는 경우 최대 y축 좌표값을 갖는 픽셀을 경골 상단 중심점으로 결정하는 단계(S25)를 포함하여 구성될 수 있다.

각 단계(S21-S25)에서 수행되는 영상 처리는, 무릎관절 중심점 검출부(22)의 각 요소들(221-225)에 의해 수행되는 것과 실질적으로 동일하므로 중복된 설명은 생략하기로 한다.

발목관절의 중심점 검출

도 16은 본 발명의 실시예에 따른 엑스레이 영상에서 관절의 중심점을 검출하는 장치 중 발목관절 중심점 검출부를 더욱 상세하게 도시한 도면이고, 도 17은 도 16에 도시된 발목관절 중심점 검출부에 의한 발목관절 중심점 검출 방법을 도시한 도면이다. 또한, 도 18 내지 도 21은 도 16에 도시된 발목관절 중심점 검출부의 각 구성요소에서 생성되는 영상 및 중심점 검출의 예를 설명하기 위한 도면이다.

도 16을 참조하면, 발목관절 중심점 검출부(23)는, 영상 정규화부(231), 히트맵(heatmap) 생성부(232), 색상 군집화(clustering) 및 필터링부(233), 거골 상단 식별부(234) 및 거골 상단 중심 식별부(235)를 포함할 수 있다.

발목관절의 엑스레이 영상에는 많은 뼈와 살이 중첩되어 나타나므로, 본 발명의 실시예에서는, 전술한 것과 같은 대퇴골두 또는 무릎관절의 중심을 검출하는 것과는 다른 방식을 통해 영상처리를 수행하여 발목관절에 존재하는 거골의 상단 중심점을 검출하였다. 도 18에 나타난 영상에서, 아래쪽의 사다리꼴 모양의 뼈가 거골이고, 그 위에 놓여 있는 뼈가 경골이다.

영상 정규화부(231)는, 엑스레이 촬영 장치(10)에서 획득된 발목관절을 촬영한 소스영상의 사이즈를 영상처리에 적절한 사이즈로 변환할 수 있다. 필요에 따라, 소스 영상의 색상 분포 균일화를 통해 소스 영상의 전체적인 밝기를 보정할 수도 있다.

예를 들어, 영상 정규화부(231)는 정방형의 2차원 좌표계로 표현할 수 있도록 무릎관절의 소스영상을 크롭하여 사이즈를 조정할 수 있다. 또한, 소스영상 획득 시 조명, 각도, 진동 등의 외부적 요인에 의해 색상 분포의 차이가 발생할 수 있으므로, 엑스레이 영상이 갖는 8bit 그레이 스케일의 범위(0 내지 255)에서 균일하게 색상 분포를 가질 수 있도록 히스토그램 분석을 통해 주요 색상이 분포된 영역을 시프트(shift)하여 색상 값의 범위를 조정할 수도 있다.

도 18은 영상 정규화부(231)에 의해 정규화된 발목관절의 소스 영상의 예를 도시한 것으로, 본 발명의 실시예에서는 발목 거골(X)의 상단 중심점을 검출하고자 한다.

히트맵(heatmap) 생성부(232)는 정규화된 소스영상을 히트맵으로 변환하여 엑스레이 영상에서 뼈 부분과 근육 부분 및 배경을 분리할 수 있다. 히트맵 생성부(232)는 당 기술분야에 알려진 공지의 히트맵 생성 기법을 적용하여 발목관절을 촬영한 엑스레이 소스영상으로부터 히트맵을 생성할 수 있다. 히트맵 생성부(232)에서 생성된 히트맵의 예가 도 19에 도시된다.

색상 군집화(clustering) 및 필터링부(233)는 히트맵 생성부(232)에서 생성된 히트맵에서 동일한 색상값 범위의 픽셀들을 동일한 색상으로 서로 군집화할 수 있다. 예를 들어, 색상 군집화 및 필터링부(233)는 k-clustering 기법을 적용하여 색상 군집화를 수행할 수 있다. 색상 군집화 및 필터링부(233)에 의해 군집화된 영상이 도 20에 도시된다.

전술한 바와 같이 본 발명의 실시예에서는 거골(X)의 상단 중심점을 검출하기 위한 것으로, 색상 군집화 및 필터링부(233)는 도 20에 도시된 군집화된 영상에서 거골의 경계를 명확하게 표시할 수 있도록 거골에 대응되는 영역을 검게 표시할 수 있는 필터링을 수행할 수 있다. 즉, 색상 군집화 및 필터링부(233)는 거골에 대응되는 영역이 검정색으로 표시되도록 도 20의 적색 영역만 선택하는 필터링을 수행하여 도 21에 도시된 것과 같은 영상을 획득할 수 있다.

거골 상단 식별부(234)는 가로 길이가 세로 길이보다 더 긴 제1 세그먼트(S1)를 필터링된 영상에 스캔하고 제1 세그먼트(S1) 내에서 대략 상부 50%에 색상값(여기서는 적색 계열)이 존재하고 나머지 하부 50%에 색상값이 존재하지 않는 영역이 스캔되면 해당 영역의 중심을 거골의 상단부의 y축 좌표(높이방향 좌표)로 식별할 수 있다. 이것이 거골 중심점의 y축 좌표가 된다.

거골 상단 중심점 식별부(236)는 거골 상단부로 식별된 영역의 하부로 사전 설정된 거리만큼 이격된 위치에서 세로 길이가 가로 길이보다 더 긴 제2 세그먼트(S2)를 적용하여 상기 필터링된 영상을 스캐닝할 수 있다. 거골 상단 중심점 식별부(236)는, 동일한 높이에서 제2 세그먼트(S2) 내에 색상이 존재하는 영역과 그렇지 않은 영역이 대략 동일한 비율(50%)로 존재하는 영역이 두 개 검출된 경우, 검출된 두 영역(의 중심점) 사이의 중점을 거골 상단부 중심점의 x축 좌표(좌우방향 좌표)로 결정할 수 있다. 제2 세그먼트(S2)에 의해 검출된 영역은 거골의 측단부에 해당하는 영역이다. 이와 같이, 거골 상단 중심점의 x, y 좌표가 결정될 수 있다.

한편, 도 17에 도시된 것과 같이, 발목관절 중심점 검출 방법은, 전술한 발목관절 중심점 검출부(23)의 각 요소에 의해 순차적으로 수행되는 단계로 구현될 수 있다. 즉, 발목관절 중심점 검출 방법은, 영상 정규화부(211)에서 발목관절을 촬영한 소스 영상을 정규화하는 단계(S31), 영상 이진화부(222)에서 정규화된 소스 영상을 히트맵으로 변환하는 단계(S32), 색상 군집화(clustering) 및 필터링부(233)에서 히트맵 내 색상을 군집화하고 거골의 경계를 표시할 수 있도록 거골을 검정색으로 나타낼 수 있는 관심영역의 색상을 필터링하는 단계(S33), 제1 세그먼트를 이용하여 필터링된 영상을 스캔하여 거골의 상단 영역을 식별하는 단계(S34) 및 제2 세그먼트를 이용하여 필터링된 영상 내 거골 상단 영역 하부를 스캔하여 거골의 측단부에 해당하는 두 영역을 검출하고 검출된 영역들의 사이의 중점을 거골의 상단부의 중심점으로 식별하는 단계(S35)를 포함하여 구성될 수 있다.

각 단계(S31-S35)에서 수행되는 영상 처리는, 발목관절 중심점 검출부(23)의 각 요소들(231-235)에 의해 수행되는 것과 실질적으로 동일하므로 중복된 설명은 생략하기로 한다.

이상과 같이, 대퇴골두의 중심점, 무릎관절의 중심점 및 발목관절의 중심점을 결정함으로써, 대퇴골두의 중심점과 발목관절의 중심점을 잇는 선으로부터 무릎관절의 중심점이 오프셋된 정도를 확인할 수 있는 전체적인 하지 정렬 영상을 획득할 수 있다.

이상에서 설명한 바와 같이, 본 발명의 여러 실시형태는, 하지의 각 관절 부위를 촬영한 엑스레이 영상에서 각 관절 부위의 중심점을 정확하게 검출 가능하므로, 근위경골절골술 등과 같은 다양한 교정절골술이 진행되는 과정에서 교정된 하지의 정렬을 정확하게 파악할 수 있어 수술의 성공율 및 수술 결과에 대한 환자의 만족도를 향상시킬 수 있다.

10: 엑스레이 촬영 장치 20: 영상 처리부
21: 대퇴골두 중심점 검출부 211: 영상 정규화부
212: 경계 검출부 213: 경계 강화부
214: 중심점 식별부 22: 무릎관절 중심점 검출부
221: 영상 정규화부 222: 영상 이진화부
223: 세그먼트 스캐닝부
224: 대퇴골 하단 중심점 식별부
225: 경골 상단 중심점 식별부 23: 발목관절 중심점 검출부
231: 영상 정규화부 232: 히트맵(heatmap) 생성부
233: 색상 군집화(clustering) 및 필터링부
234: 거골 상단 식별부 235: 거골 상단 중심 식별부

Claims

무릎관절을 촬영한 엑스레이 소스영상을 이진 영상으로 변환하는 영상 이진화부;
상기 이진 영상에서 나타나는 대퇴골 하단의 중심부의 형상에 대응되는 반전 패턴을 갖는 세그먼트를 생성하고, 상기 세그먼트로 상기 이진 영상을 스캐닝하여 상기 세그먼트와 상기 이진 영상의 픽셀값의 XOR 연산을 수행하여 상기 이진 영상에서 대퇴골 하단의 중심부에 해당하는 영역을 검출하는 세그먼트 스캐닝부;
상기 세그먼트 스캐닝부에 의해 검출된 상기 대퇴골 하단의 중심부에 해당하는 영역에서 이진 영상의 픽셀값을 기반으로 상기 대퇴골 하단의 중심점을 결정하는 대퇴골 하단 중심 식별부; 및
상기 대퇴골 하단의 중심부에 해당하는 영역을 확장시키고 확장된 영역에서 나타나는 이진 영상의 픽셀값을 기반으로 경골 상단의 중심점을 결정하는 경골 상단 중심 식별부;
를 포함하는 엑스레이 영상에서 관절의 중심점을 검출하는 장치.
삭제
청구항 1에 있어서,
상기 엑스레이 소스영상의 사이즈를 조정하고 색상 분포를 균일화하여 상기 영상 이진화부에 제공하는 영상 정규화부를 더 포함하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 장치.
청구항 1에 있어서,
상기 세그먼트 스캐닝부는, XOR 연산 결과 상기 세그먼트 내 픽셀의 사전 설정된 비율 이상이 '1'의 값을 출력하는 영역 또는 XOR 연산 결과 가장 많은 수의 픽셀에서 '1'의 값을 출력하는 영역을 상기 대퇴골 하단의 중심부에 해당하는 영역으로 선정하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 장치.
청구항 1에 있어서,
상기 대퇴골 하단 중심 식별부는, 상기 대퇴골 하단의 중심부에 해당하는 영역 내 이진 영상을 상부로부터 행단위로 탐색하여 가장 먼저 흰색에 해당하는 값을 나타내는 픽셀을 대퇴골 하단의 중심점으로 결정하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 장치.
청구항 1에 있어서,
상기 경골 상단 중심 식별부는, 상기 대퇴골 하단의 중심부에 해당하는 영역을 상기 이진 영상 상의 좌우 방향 및 하부 방향으로 확장시키면서 확장된 영역 내에서 나타나는 검은색 픽셀의 상하 축방향 좌표값이 증가하다가 감소하는 경우 최대의 상하 축방향 좌표값을 갖는 픽셀을 경골 상단의 중심부로 결정하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 장치.
무릎관절을 촬영한 엑스레이 소스영상을 이진 영상으로 변환하는 영상 이진화 단계;
상기 이진 영상에서 나타나는 대퇴골 하단의 중심부의 형상에 대응되는 반전 패턴을 갖는 세그먼트를 생성하고, 상기 세그먼트로 상기 이진 영상을 스캐닝하여 상기 세그먼트와 상기 이진 영상의 픽셀값의 XOR 연산을 수행하여 상기 이진 영상에서 대퇴골 하단의 중심부에 해당하는 영역을 검출하는 세그먼트 스캐닝 단계;
상기 세그먼트 스캐닝 단계에서 검출된 상기 대퇴골 하단의 중심부에 해당하는 영역에서 이진 영상의 픽셀값을 기반으로 상기 대퇴골 하단의 중심점을 결정하는 대퇴골 하단 중심 식별 단계; 및
상기 대퇴골 하단의 중심부에 해당하는 영역을 확장시키고 확장된 영역에서 나타나는 이진 영상의 픽셀값을 기반으로 경골 상단의 중심점을 결정하는 경골 상단 중심 식별 단계;
를 포함하는 엑스레이 영상에서 관절의 중심점을 검출하는 방법.
삭제
청구항 7에 있어서,
상기 영상 이진화 단계 이전에, 상기 엑스레이 소스영상의 사이즈를 조정하고 색상 분포를 균일화하는 영상 정규화 단계를 더 포함하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 방법.
청구항 7에 있어서,
상기 세그먼트 스캐닝 단계는, XOR 연산 결과 상기 세그먼트 내 픽셀의 사전 설정된 비율 이상이 '1'의 값을 출력하는 영역 또는 XOR 연산 결과 가장 많은 수의 픽셀에서 '1'의 값을 출력하는 영역을 상기 대퇴골 하단의 중심부에 해당하는 영역으로 선정하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 방법.
청구항 7에 있어서,
상기 대퇴골 하단 중심 식별 단계는, 상기 대퇴골 하단의 중심부에 해당하는 영역 내 이진 영상을 상부로부터 행단위로 탐색하여 가장 먼저 흰색에 해당하는 값을 나타내는 픽셀을 대퇴골 하단의 중심점으로 결정하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 방법.
청구항 7에 있어서,
상기 경골 상단 중심 식별 단계는, 상기 대퇴골 하단의 중심부에 해당하는 영역을 상기 이진 영상 상의 좌우 방향 및 하부 방향으로 확장시키면서 확장된 영역 내에서 나타나는 검은색 픽셀의 상하 축방향 좌표값이 증가하다가 감소하는 경우 최대의 상하 축방향 좌표값을 갖는 픽셀을 경골 상단의 중심부로 결정하는 것을 특징으로 하는 엑스레이 영상에서 관절의 중심점을 검출하는 방법.