KR102655362B1 - 의료 이미지 스티칭 방법 및 장치 - Google Patents

Abstract

의료 이미지 스티칭 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 방법은, 스티칭을 수행 할 이미지 세트의 정렬된 여러 장의 이미지 중 연속한 두 개의 이미지를 선택하는 단계와, 서로 다른 복수의 특징 검출 알고리즘에 기반하여 추정된 특징점들에 기반한 통합 특징 검출 알고리즘을 이용하여 선택한 두 이미지 간의 호모그래피를 계산하는 단계와, 계산한 호모그래피의 정확도를 호모그래픽 평가 알고리즘을 통해 평가하는 단계와, 평가 결과에 따라 선택한 두 이미지 간의 호모그래피를 결정하여 선택한 두 이미지 간의 스티칭을 수행하는 단계를 포함할 수 있다.

Description

의료 이미지 스티칭 방법 및 장치{METHOD AND APPARATUS FOR STITCHING MEDICAL IMAGES}

본 개시는 서로 이종적인(heterogeneous) 이미지 스티칭 알고리즘을 활용하여, 복수의 엑스레이(X-ray) 이미지를 하나의 파노라마 이미지로 생성하기 위한 정합을 수행하는 의료 이미지 스티칭 방법 및 장치에 관한 것이다.

일반적으로, 이미지 스티칭(stitching)은 여러 장의 연속한 이미지를 정합하여 하나의 이미지를 생성하는 것이다.

이미지 스티칭 방법 중, SIFT, SURF, ORB와 같은 특징점 검출(feature detection)을 기반으로 하는 이미지 스티칭 방법은, 이미지에서 모서리(corner), 블롭(blob)과 같이 특징이 되는 점(point)을 찾고 이 주변의 이미지 정보를 이용하여 특징점을 추출할 수 있다. 그리고 이미지들 간의 동일한(매칭되는) 특징점을 찾고 이를 기반으로 호모그래피(homography, 영상 간 기하학적 관계를 정의하는 것)를 추정하여 이미지 스티칭을 수행할 수 있다.

또한, 이미지 기반 스티칭 방법은, 일반적으로 이미지 전체 정보(예를 들어, 이미지 전체의 픽셀 값(intensity)의 유사성)를 이용하여 호모그래피를 추정함으로써 이미지 스티칭을 수행할 수 있다.

상술한 스티칭 방법들은 주로 일반 카메라에서 획득한 이미지를 스티칭 할 때 사용하는 방법이지만, X-ray와 같은 의료 영상 스티칭에서도 이러한 방법을 그대로 사용하는 경우가 많다.

한편, 골절 치료에서 최소 침습 수술 방법은 그 효용성이 입증 되었지만, 의료진이 실시간으로 골편을 확인하기 위하여 방사선 투시영상장치(C-arm fluoroscopy)에 의존하여 수술을 진행하게 된다. 최소침습수술은 환자에게는 감염이 적고 회복이 빠르다는 장점이 있지만 의료진에게는 과도한 방사선 피폭과 부정확한 골절정복 가능성이 높아지는 문제점이 발생할 수 있다.

C-arm X-ray 시스템은 정형외과에서 골절된 뼈의 상태를 관찰하는 데 사용되는 일반적인 영상(imaging) 장치이다. C-arm을 사용하여 수술 중 실시간으로 뼈 조각을 정렬하고 전체 뼈에 대한 길이와 각도를 측정하여 골절 정복의 정도를 확인할 수 있게 한다. 이때 C-arm의 시야는 너무 좁아 뼈 전체를 시각화할 수 없기 때문에 파노라마 X-ray 이미지를 활용해 여러 이미지를 스티칭하여 시야를 확대한다.

즉, X-ray 이미지 스티칭은 여러 개의 X-ray 이미지를 결합하여 파노라마 이미지를 얻는 기술이다. 특히, 정형외과에서 C-arm으로 획득한 X-ray 이미지는 FOV(field-of view)가 좁기 때문에 환자의 전체 관심 영역을 커버하기 위해서는 넓은 FOV의 파노라마 이미지가 필요하다. 특히, 파노라마 X-ray 이미지는 골절 정렬을 평가하는 데 필요한 중요한 단서를 제공하기 때문에 골절 정복(fracture reduction)의 경우 매우 중요하다. 또한, 작은 절개가 필요한 최소 침습 골절 수술에서는 2차원 X-ray 이미지만으로 치료 정보를 얻을 수 있기 때문에 파노라마 X-ray 이미지가 더욱 중요하다.

X-ray 이미지와 일반 카메라로부터 획득한 이미지는, 콘텐츠, 장영 장비의 특성 및 촬영의 대상체 등 영상의 특성이 서로 다르다.

성공적인 이미지 간 스티칭의 전제 조건은 이미지 간 중첩된 영역이 충분히 존재해야 하며, 중첩된 영역 내 다수의 매칭되는 특징점들이 존재하여야 한다.

그러나 X-ray 이미지의 경우, 방사선 노출로 인해 최소한의 X-ray 이미지가 촬영되어, X-ray 이미지 간의 중첩 영역을 되도록 최소화하여 넓은 영역을 촬영하게 되며, X-ray 이미지에서는 주로 뼈를 대상으로 촬영을 하게 되므로, 모서리, 블롭 등과 같은 특징점들로 사용될 수 있는 특징이 있는 포인트 영역이 적다.

따라서, 일반 카메라에서 획득한 이미지를 스티칭 할 때 사용하는 방법을 그대로 X-ray 이미지 스티칭 수행 시 적용하게 되면, 스티칭이 정확하게 되지 않는 등 실패하는 경우가 다수 발생하게 된다.

전술한 배경기술은 발명자가 본 개시의 도출을 위해 보유하고 있었거나, 본 개시의 도출 과정에서 습득한 기술 정보로서, 반드시 본 개시의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

선행기술 1: Wang L, et al.: Long bone X-ray image stitching using C-arm motion estimation. Informatik aktuell:202, 2009 선행기술 2: Bai L, Yang JX, Chen XH, Sun YX, Li XY: Medical robotics in bone fracture reduction surgery: a review. Sensors 19, 2019

본 개시의 실시 예의 일 과제는, 서로 이종적인 이미지 스티칭 알고리즘을 활용하여, 복수의 엑스레이(X-ray) 이미지를 하나의 파노라마 이미지로 생성하기 위한 정합을 수행함에 따라, 중첩 영역에 덜 의존적이면서도 정확한 스티칭이 수행되도록 하는데 있다.

본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.

본 개시의 일 실시 예에 따른 의료 이미지 스티칭 방법은, 스티칭을 수행 할 이미지 세트의 정렬된 여러 장의 이미지 중 연속한 두 개의 이미지를 선택하는 단계와, 서로 다른 복수의 특징 검출 알고리즘에 기반하여 추정된 특징점들에 기반한 통합 특징 검출 알고리즘을 이용하여 선택한 두 이미지 간의 호모그래피를 계산하는 단계와, 계산한 호모그래피의 정확도를 호모그래픽 평가 알고리즘을 통해 평가하는 단계와, 평가 결과에 따라 선택한 두 이미지 간의 호모그래피를 결정하여 선택한 두 이미지 간의 스티칭을 수행하는 단계를 포함할 수 있다.

본 개시의 일 실시 예에 따른 의료 이미지 스티칭 장치는, 적어도 하나의 명령어를 저장하는 메모리 및 메모리와 연동되어 명령어를 실행하는 적어도 하나의 프로세서를 포함하되, 명령어는 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 스티칭을 수행 할 이미지 세트의 정렬된 여러 장의 이미지 중 두 개의 연속한 이미지를 선택하고, 서로 다른 복수의 특징 검출 알고리즘에 기반하여 추정된 특징점들에 기반한 통합 특징 검출 알고리즘을 이용하여 선택한 두 이미지 간의 호모그래피를 계산하며, 계산한 호모그래피의 정확도를 호모그래픽 평가 알고리즘을 통해 평가하고, 평가 결과에 따라 선택한 두 이미지 간의 호모그래피를 결정하여 선택한 두 이미지 간의 스티칭을 수행하도록 설정될 수 있다.

이 외에도, 본 개시의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 개시의 실시 예에 의하면, 서로 이종적인 이미지 스티칭 알고리즘을 활용하여, 복수의 엑스레이(X-ray) 이미지를 하나의 파노라마 이미지로 생성하기 위한 정합을 수행함으로써, 중첩 영역에 덜 의존적인 정확한 스티칭이 수행되도록 할 수 있다.

또한, 통합 특징 검출, 호모그래픽 평가 및 로컬 이미지 기반 추정의 일련의 과정을 통해 스티칭을 수행함으로써, 모서리, 블롭 등과 같은 특징점들로 사용될 수 있는 특징이 있는 포인트 영역이 적은 의료 이미지에 대한 스티칭 정확도를 향상시킬 수 있다.

본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 시스템을 개략적으로 도시한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 장치를 나타낸 개략적인 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 통합 특징 검출 알고리즘을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 호모그래피 평가 방법을 설명하기 위한 예시도이다.
도 5는 본 개시의 일 실시 예에 따른 로컬 이미지 기반 추정 방법을 설명하기 위한 예시도이다.
도 6은 본 개시의 일 실시 예에 따른 로컬 이미지 기반 추정 시, 사각 지역 영역 선택 방법을 설명하기 위한 예시도이다.
도 7은 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 방법을 설명하기 위한 흐름도이다.
도 8은 본 개시의 일 실시 예에 따른 로컬 이미지 기반 추정 방법을 설명하기 위한 흐름도이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.

그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 시스템을 개략적으로 도시한 도면이다.

도 1을 참조하면, 의료 이미지 스티칭 시스템(1)은 의료 이미지 스티칭 장치(100), C-arm(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.

일 실시 예에 따른, 의료 이미지 스티칭 장치(100)는 X-ray와 같은 의료 이미지의 스티칭을 수행하고자 하는 것으로, 연속된 X-ray 이미지에서 정확한 특징점 검출 및 정합이 수행될 수 있도록 서로 이종적인(heterogeneous) 이미지 스티칭 알고리즘을 사용하는 것을 특징으로 한다.

특징점 검출(feature detection)로 X-ray 이미지 스티칭을 수행하려면 이미지 간의 중첩 영역 내에서 정확하고 조밀(정밀)하게 일치하는 특징점들을 추출하는 것이 필수적이다. 그러나 특징점은 연속된 X-ray 이미지에서 중첩 영역의 속성과 크기에 큰 영향을 받기 때문에, 특히 X-ray와 같은 의료 이미지의 경우 이미지 간의 매칭되는 특징점의 정확성과 밀도를 보장할 수 없다.

즉 C-arm(200)으로부터 획득된 X-ray 이미지의 성공적인 스티칭을 수행하기 위해서는 각 이미지에 대한 최적의 호모그래피를 추정하여야 한다.

이에, 일 실시 예의 의료 이미지 스티칭 장치(100)는 호모그래피(homography) 평가를 기반으로 중첩 영역에 따라 X-ray 이미지의 이종 스티칭을 수행할 수 있다.

즉 의료 이미지 스티칭 장치(100)는 제한된 중첩 영역 내에서 매칭 특징점을 충분히 획득하기 위해 통합 특징 검출(integrated feature detection) 알고리즘을 사용하여 호모그래피를 추정할 수 있으며, 추정된 호모그래피를 평가하여 정확성을 확인할 수 있다. 이때 의료 이미지 스티칭 장치(100)는 추정된 호모그래피가 정확하지 않다고 판단되는 경우, 통합 특징 검출 알고리즘에 의해 추출된 특징점 주변의 로컬 영역을 통해 호모그래피를 재 추정할 수 있다.

의료 이미지 스티칭 장치(100)의 X-ray 이미지 스티칭 프로세스의 핵심 부분은 연속된 이미지 간의 변형을 식별하는 호모그래피이다.

일 실시 예에서는, 추가 액세서리나 하드웨어를 사용하여 X-ray 이미지 스티칭을 수행할 수 있다. 예를 들어, 호모그래피를 추정하기 위한 방사선 투과 자(radiolucent ruler)가 사용될 수 있다. 이미지에서 방사선 투과 자 영역이 식별된 후 방사선 투과 자의 눈금을 정렬하여 호모그래피를 계산할 수 있다.

또한, 예를 들어, 수직선 그리드가 있는 외부 플레이트가 추가 액세서리로 사용될 수 있다. 피사체 아래에 외부 플레이트를 배치하면 격자가 X-ray 이미지에 중첩된다. 이미지의 경계에서 이러한 선의 교차점을 식별한 후 이미지 교차점을 일치시켜 X-ray 이미지를 스티칭 할 수 있다.

또한, 예를 들어, 절대 참조 패널(absolute reference panel)이 방사선 비투과(radio-opaque)와 절대 위치 마커의 그리드로도 사용될 수 있다. 이러한 절대 참조 패널은 바이너리 형식의 개별 태그가 있는 4 개의 사분면으로 둘러싸인 십자형으로 구성될 수 있으며, 위치 마커를 복호화하여 이미지의 각 위치를 추정한 후 X-ray 이미지 스티칭이 수행되도록 할 수 있다.

더불어, 일 실시 예에서는, 액세서리를 사용하는 대신 C-arm과 비디오 카메라를 결합한 Camera-Augmented Mobile C arm(CamC)과 같이 특별히 설계된 하드웨어를 사용하여 X-ray 이미지 스티칭을 수행할 수 있다.

호모그래피는 C-arm(200)의 움직임에 따른 X-ray 소스의 위치 변화에 직접적으로 대응하므로, 추정된 C-arm(200)의 움직임의 비디오 카메라 데이터를 기반으로 계산될 수 있다. 따라서 C-arm(200)의 X-ray 소스와 비디오 카메라 사이의 기하학적 관계는 보정 과정을 통해 미리 결정되어야 하는 것을 전제로 할 수 있다. 또한 C-arm(200)의 움직임을 추정하기 위해서는 가시적인 평면 마커 패턴이 필요할 수 있다.

한편, X-ray 이미지 스티칭의 또 다른 접근 방식은 별도의 액세서리나 하드웨어를 사용하지 않고 이미지만으로 호모그래피를 도출하는 이미지 매칭 방법을 사용하여 변형을 직접 식별하는 것이다. 이미지 매칭 방법은 직접 매칭 방법 및 특징점 매칭 방법과 같이 두 가지 일반적인 범주로 나눌 수 있다.

직접적인 방법의 경우 호모그래피에 대해 두 이미지의 픽셀 단위 비교가 수행될 수 있다. 제곱합 차이(sum-of-square differences, SSD), 절대차의 합, 상관 필터, 상호 정보 등에 따라 이미지의 유사도를 정량화하여 연속 이미지 간의 스티칭을 달성할 수 있다.

픽셀 단위 비교의 일반적인 문제는 다른 방사 조건으로 인한 밝기 변화에 의해 발생할 수 있으며, X-ray 이미지에서 이러한 불균일한 픽셀 값 분포를 피하기 위해 이미지의 히스토그램이 일치되도록 할 수 있다. 또한, 이미지 정규화 또는 정규화 측정을 X-ray 이미지 스티칭에 사용하여 서로 다른 밝기 수준으로 인한 유사성 계산의 부 정확성을 줄일 수 있다.

또한 이미지 노이즈도 이미지 간의 유사도 측정에 영향을 미치기 때문에, 노이즈를 제거하기 위해 의료 영상에 대한 최소 평균 상관 에너지 필터(minimum average correlation energy filter)를 사용할 수 있다. 즉 상관 평면(correlation plane)의 피크 선명도(peak sharpness)를 측정하는 피크 대 사이드 로브 비율(peak to side-lobe ratio, PSLR)을 사용하여, 이미지가 노이즈에 의해 열화(degraded)되었을 때 X-ray 이미지 스티칭이 직접 수행되도록 할 수 있다.

한편, 특징 검출 방법은 픽셀 단위 비교가 아닌 각 X-ray 이미지에서 추출된 특징점을 기반으로 수행될 수 있다.

예를 들어, SIFT(scale-invariant feature transform)와 같은 특징 검출기로 이미지의 고유한 특징점을 추출한 후 특징점 매칭을 수행하여 각 이미지 간의 매칭 특징점을 식별할 수 있다. 특징점 매칭은 한 특징점의 기술자(descriptor 또는 feature vector)를 다른 이미지의 모든 특징점의 기술자와 비교함으로써 수행될 수 있다. 일 실시 예에서, 보다 안정적인 특징점 매칭을 위해 RANSAC(Random Sample Consensus)와 같은 이상값(outlier) 제거 방법을 사용할 수 있다. 그런 다음 호모그래피는 안정적으로 매칭되는 특징점으로부터 추정될 수 있다.

또한, 예를 들어, SURF(Speed-up Robust Feature)와 같은 특징 검출기에 의해 추출된 불변적으로 일치하는 특징점에 대해 기술자 사이의 거리와 함께 검출 일관성을 위한 교차 상관(cross-correlation) 및 조건이 제안될 수 있다. 이러한 매칭 특징점을 기반으로 정확한 호모그래피를 추정하고 가중 평균 융합 과정(weighted average fusion process)을 통해 스티칭된 이미지를 생성할 수 있다.

더불어, 특징점 매칭의 성능을 향상시키기 위해 예를 들어, SIFT와 SURF를 결합한 하이브리드(Hybrid) 방식을 적용함으로써, 각 검출 방법의 단점을 보완하여 강력한 파노라마 X-ray 이미지 구축이 가능하도록 할 수도 있다.

X-ray 이미지 스티칭에 적합한 이미지 매칭 방법을 결정할 때 고려해야 할 몇 가지 요소가 있다. 직접적인 방법은 간단하고 효율적이지만, C-arm(200)의 제한된 움직임에서 파생된 호모그래피만 추정할 수 있다. 반대로, 특징 검출 방법은 시간이 많이 소요되지만 기하학적 제약 없이 더 복잡한 스티칭을 달성할 수 있다. 그러나 특징 검출 방법의 한계는 이미지 간의 중첩 영역에 크게 의존한다는 점이다. 이미지 스티칭을 수행함에 있어, 이미지들에 대한 중첩 영역의 크기는 최소한 비슷해야 하며 두드러진 특징이 중첩 영역에 포함되어야 한다. 이러한 전제 조건을 통해 X-ray 이미지 스티칭에 대한 호모그래피를 정확하게 추정할 수 있다.

그러나 블롭, 가장자리 또는 모서리와 같은 식별 영역이 중첩 영역에 충분히 포함되지 않으면 이미지의 특정 지점을 나타내는 특징점을 정확하게 정의할 수 없다. 결과적으로 매칭 특징점이 몇 개만 추출되어 이미지 스티칭에 실패하게 될 수 있으며, 성공적인 X-ray 스티칭을 위한 중첩 영역의 양적 영역(quantitative area)을 정의할 수 없다. 이러한 문제를 방지하기 피하기 위해서는, 중첩 영역을 증가시키기 위한 많은 X-ray 이미지를 획득하는 방법이 있을 수 있다.

일 실시 예에서는, 중첩 영역에 대한 종속성을 줄이기 위해 호모그래피 평가와 함께 이종 스티칭(서로 다른 종류의 스티칭 방법)을 사용하여 강력한 X-ray 이미지 스티칭 프로세스를 수행할 수 있다. 즉, 일 실시 예의 의료 이미지 스티칭 장치(100)는 좁은 영역이나 불분명한 중첩 영역의 경우 몇 개의 일치하는 특징점만 추출된다는 사실을 극복하기 위해 통합 특징 검출을 수행할 수 있다.

일 실시 예의 의료 이미지 스티칭 장치(100)는 이미지의 중첩 영역 내 다양한 구별 속성들(discriminative properties)을 고려하기 위해, 예를 들어, SIFT, SURF, BRISK(Binary Robust Invariant Scalable Key Point) 및 KAZE 등이 사용될 수 있다.

의료 이미지 스티칭 장치(100)는 상기의 특징점 검출 방법 또는 그 외의 특징점 검출 방법들을 임의의 개수로 다양하게 조합해 해당 특징점 검출 방법들에 의한 모든 특징점을 결합하여 호모그래피를 추정하는 데 사용할 수 있다.

또한, 매칭 특징점의 정확도(accuracy)와 밀도(density)에 대한 정보는 중첩 영역의 속성에서 파생되지 않았기 때문에, 의료 이미지 스티칭 장치(100)는 호모그래피 평가를 수행할 수 있다.

의료 이미지 스티칭 장치(100)는 호모그래피를 평가하기 위해 연속적인 X-ray 이미지를 획득하는 동안 촬영 대상에 대한 C-arm(200)의 움직임을 모델링 할 수 있다.

의료 이미지 스티칭 장치(100)는 호모그래피 평가 결과, 호모그래피가 부정확하다고 판단되면 통합 특징 검출 알고리즘에 의해 추정된 호모그래피를 로컬(local) 이미지 기반 알고리즘에 의해 추정된 호모그래피로 대체할 수 있다. 즉 의료 이미지 스티칭 장치(100)는 중첩 영역 내에 위치한 매칭 특징점 주변의 국부적으로 제한된 영역의 비교를 기반으로 더 안정적인 호모그래피를 추정할 수 있어 강력한 X-ray 이미지 스티칭이 수행되도록 할 수 있다.

한편, 일 실시 예에서, C-arm(200)에 기반한 실시 예를 설명하지만, 다른 형태의 엑스레이 영상 기기도 사용할 수 있음은 당연하다.

C-arm(200)은 테이블을 사이에 두고 마주하는 씨형 암 일단에는 엑스선 발생부(소스)가 배치되어 있고 타단에는 영상 획득부(디텍터)가 배치되어 있다.

일 실시 예예서는, 이러한 C-arm(200)을 이용하여 X-ray 이미지를 획득할 수 있으며, 이하 X-ray 이미지라고 명명할 수 있다.

한편, 일 실시 예에서, 의료 이미지 스티칭 시스템(1)은 의료 이미지 스티칭 장치(100) 및/또는 서버(300)에 의해 구현될 수 있는데, 이때 서버(300)는 의료 이미지 스티칭 장치(100)를 운용하기 위한 서버일 수 있다. 즉 서버(300)는 의료 이미지 스티칭을 위한 이미지 간의 정합을 계산하는 등의 프로세스를 수행하는 서버일 수 있다.

또한 서버(300)는 의료 이미지 스티칭 장치(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 웹 서버 또는 어플리케이션 서버를 포함할 수 있다. 또한 서버(300)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터 서버 및 AI 서버, 각종 알고리즘의 연산을 수행하는 연산 서버 등을 포함할 수 있으며, 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다.

네트워크(400)는 의료 이미지 스티칭 시스템(1)에서 의료 이미지 스티칭 장치(100) 및 서버(300), 그리고 C-arm(200)을 연결하는 역할을 수행할 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.

네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.

도 2는 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 장치를 나타낸 개략적인 블록도이다.

도 2를 참조하면, 의료 이미지 스티칭 장치(100)는 통신부(110), 사용자 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.

통신부(110)는 네트워크(400)와 연동하여 외부 장치간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 이러한 통신부(110)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.

즉, 프로세서(140)는 통신부(110)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다. 그리고, 통신부(110)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(120)는 의료 이미지의 스티칭을 수행하기 위해 의료 이미지를 획득하는 과정, 통합 특징 검출 알고리즘, 호모그래픽 평가 알고리즘 및 로컬 이미지 기반 호모그래피 추정 알고리즘 등의 파라미터 설정하는 등 알고리즘 설정 과정 등을 제어하기 위한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다.

그리고 사용자 인터페이스(120)는 의료 이미지 스티칭 장치(100)에서 수행된 결과, 즉 스티칭이 완료된 파노라마 이미지 등이 출력되는 출력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스(120)는 사용자 요청 및 명령에 따른 결과를 출력할 수 있다. 이러한 사용자 인터페이스(120)의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있다.

메모리(130)는 의료 이미지 스티칭 장치(100)의 동작 및/또는 서버(300)의 제어(연산)에 필요한 각종 정보들을 저장하고, 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.

메모리(130)는 하나 이상의 프로세서(140)와 연결되는 것으로, 프로세서(140)에 의해 실행될 때, 프로세서(140)로 하여금 의료 이미지 스티칭 장치(100) 및/또는 서버(300)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.

여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 일 실시 예에서의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(130)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다. 그리고, 메모리(130)에는 일 실시 예에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 일 실시 예의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(130)에 저장될 수 있으며, 메모리(130)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(140)는 의료 이미지 스티칭 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(140)는 메모리(130)를 포함하는 의료 이미지 스티칭 장치(100)의 구성과 연결되며, 메모리(130)에 저장된 적어도 하나의 명령을 실행하여 의료 이미지 스티칭 장치(100)의 동작을 전반적으로 제어할 수 있다.

이러한, 프로세서(140)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(140)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.

프로세서(140)는 일종의 중앙처리장치로서 메모리(130)에 탑재된 제어 소프트웨어를 구동하여 의료 이미지 스티칭 장치(100) 전체의 동작을 제어할 수 있다. 프로세서(140)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 통합 특징 검출 알고리즘을 설명하기 위한 도면이고, 도 4는 본 개시의 일 실시 예에 따른 호모그래피 평가 방법을 설명하기 위한 예시도이며, 도 5는 본 개시의 일 실시 예에 따른 로컬 이미지 기반 추정 방법을 설명하기 위한 예시도이고, 도 6은 본 개시의 일 실시 예에 따른 로컬 이미지 기반 추정 시, 사각 지역 영역 선택 방법을 설명하기 위한 예시도이다.

도 3 내지 도 6을 참조하여, 의료 이미지 스티칭 장치(100)의 프로세서(140)에 대해 설명하도록 한다.

통합 특징 검출 알고리즘(Integrated feature detection)

제한된 중첩 영역에서, 특징점의 수와 정교한 매칭 특징점을 추출 할 확률을 높이기 위해서는, 의료 이미지들의 다양한 속성을 고려하여 수많은 구별되는 특징점을 감지하는 것이 중요하다.

이에, 도 3을 참조하면, 프로세서(140)는 정확한 특징점 매칭을 위해 서로 다른 복수의 특징 검출 알고리즘에서 산출된 복수의 유익한(informative) 특징점들을 결합할 수 있다.

프로세서(140)는 스티칭 하고자 하는 두 장의 이미지에 대해서 각각의 특징 검출 알고리즘을 적용하여 이미지에서 해당 특징 검출 알고리즘으로 산출된 특징점을 추정할 수 있다. 예를 들어, 제 1 특징 검출 알고리즘이 적용되면, 각 이미지의 제 1 검출된 특징점이 출력될 수 있다.

그리고 프로세서(140)는 추정된 특징점 간의 기술자(특징점을 수식적으로 정의한 값)를 비교하여 두 장의 영상에서 서로 동일한 특징점이라고 판단되는 대응 특징점(corresponding feature points)을 추정할 수 있다. 예를 들어, 도 3을 참조하면, 각 이미지의 제 1 검출된 특징점을 기반으로, 각 이미지 간의 제 1 대응 특징점들이 노란색 라인으로 연결되어 표시되는 것을 확인할 수 있다.

다음으로 프로세서(140)는 서로 다른 복수의 특징 검출 알고리즘으로 추정된 대응 특징점을 통합할 수 있다. 이때 통합이란 추정된 대응 특징점을 모두 모아서 하나의 특징점 세트를 만드는 것을 의미할 수 있다. 예를 들어, 대응된 특징점 세트를 노란색 라인으로 연결하여 통합된 대응 특징점들의 이미지로 표시될 수 있다.

그리고 프로세서(140)는 통합된 대응 특징점을 이용하여 호모그래피를 추정하게 된다.

즉, 각 특징 검출 알고리즘은 주변 픽셀의 고유한 패턴(unique pattern)을 기반으로, 알고리즘 별 고유한 방법으로 알고리즘별로 서로 다른 고유한 포인트들을 추출할 수 있다.

예를 들어, SIFT 및 SURF가 블롭(blob) 기반 특징점 검출을 수행하는 반면, BRISK 및 KAZE의 특징점은 경계, 가장자리 또는 모서리에 더 집중되어 검출될 수 있다. 검출된 특징점의 분포에서, BRISK 및 KAZE는 SIFT 및 SURF보다 국부적으로 밀도가 높게 나타난다.

따라서, 각 특징 검출 알고리즘에 기반하여 다중(multiple) 특징 검출이 통합되면 단일 특징 검출에 비해 좁은 중첩 영역 내에서 이미지의 다양한 국부적 특성으로부터 더 많은 특징점을 검출하고 획득할 수 있다. 즉 일 실시 예에서는, 통합 특징점을 검출하기 위해, 통합 특징 검출 알고리즘을 적용할 수 있으며, 이러한 통합 특징 검출 알고리즘은 예를 들어, SIFT, SURF, BRISK, KAZE 등 4가지 특징 검출 방법의 조합으로 구현될 수 있다. 이를 이하에서 수학적으로 표현할 수 있다. 다만, 일 실시 예에서, SIFT, SURF, BRISK 및 KAZE에 의해 통합 특징 검출이 가능한 것으로 기재하고 있으나, 이에 한정되는 것은 아니며, 특징점 방법 및 특징점 방법의 조합의 수는 다양하게 적용될 수 있다. 즉 일 실시 예에서는, 임의의 개수의 다양한 특징점 추출 방법들의 조합에 의해 통합 특징점 검출이 수행될 수 있다.

프로세서(140)는 C-arm(200)으로부터 복수의 의료 이미지를 획득할 수 있는데, 획득된 의료 이미지를 순서대로 배열한 후, 연속되는 적어도 2장 이상의 이미지를 선택할 수 있다.

선택된 이미지들을 포함하는 이미지 세트 의 i 번째 이미지에서의 통합 특징점은 아래 수학식 1과 같이 나타낼 수 있다.

여기서, 은 4 개의 특징 검출(SIFT, SURF, BRISK, KAZE)에서 얻은 위치 벡터와 기술자 벡터를 의미할 수 있으며, k는 각 특징 검출 방법의 인덱스, j는 각각의 특징 검출 방법의 검출된 특징점의 인덱스를 나타내고, 는 i 번째 이미지에 대한 특징 검출 방법에서 j 번째 검출된 특징점의 위치 벡터와 기술자 벡터 쌍을 나타낸다.

C-arm(200)의 FOV 내에 위치한 특징점은 특징점 매칭에 있어 의미가 있는 특징이다. 그러나, 특징점 검출에 따라, FOV의 경계는 X-ray 이미지의 구별되는 고유 점과 관련하여 정의될 수 있다. 이에, 일 실시 예에서는, FOV 너머의 특징점을 제거하기 위해, C-arm(200)의 FOV 반경, 특징점 위치 및 이미지 중심 사이의 거리가 모두, 거리 비교에 사용될 수 있다. 정제된(refined) 통합 특징점 는 다음 수학식 2와 같이 나타낼 수 있다.

여기서 은 각 특징 검출 알고리즘의 정제된 특징점의 인덱스이고, 는 i 번째 이미지의 각 특징 검출 알고리즘의 정제된 특징점의 총 수를 나타내며, ; 는 의 위치 구성 요소, 는 X-ray 이미지의 중심을 나타내고, R은 C-arm(200)의 FOV 반경, 는 j 번째 특징점의 위치와 이미지의 중심 사이의 거리를 나타낸다. 또한, 은 FOV의 경계에서 특징점을 제거하기 위한 반경 임계값 비율을 나타낸다.

일 실시 예에서, 프로세서(140)는 특징점 정제 후, SSD(sum-of-square differences)를 기반으로 각 특징 검출 알고리즘 별 특징점 매칭을 수행할 수 있다. i 번째 이미지의 m번째 특징점의 기술자를 i+1번째 이미지의 다른 모든 특징점과 비교하여, 아래 수학식 3을 만족하는 매칭된 특징점 인덱스 세트 를 정의할 수 있다.

여기서, 은 의 기술자 구성요소이고, s는 매칭된 특징점들의 인덱스이며, 는 SSD의 임계값을 나타내고, 는 의 e 번째 요소를 나타내며, P는 기술자의 차원(dimension)을 나타내고, m 및 n은 각각 i 번째 및 i+1번째 이미지에서 매칭된 특징점의 인덱스를 나타내며, 수학식 3에서 i 번째와 i+1번째 영상에서 매칭된 특징점의 위치는 수학식 4와 같이, 각각 와 로 표현될 수 있다.

여기서 은 ; 의 가로 및 세로 구성 요소를 나타내고, 는 i 번째와 i+1 번째 이미지 사이의 특징 검출 방법 별 매칭된 특징점 인덱스의 총 수를 나타낸다. 그리고 (1)과 (2)는 각각 매칭된 특징점 인덱스의 첫 번째 요소와 두 번째 요소를 나타낸다.

일 실시 예에서, 매칭 특징점에서 이상값(outlier)을 제거하기 위해, 예를 들어, MSAC(M-estimator Sample Consensus) 알고리즘을 사용할 수 있다. RANSAC 알고리즘의 변형인 MSAC는 내부 특징점의 하위 집합에서 호모그래피를 강력하게 추정하는 데 사용되는 반복 알고리즘이다. MSAC를 사용하여 보다 잘 매칭된 특징점을 획득할 수 있다. 연속 이미지에서 특징점의 위치는 및 로 표시할 수 있으며, 이는 각각 및 의 MSAC 버전을 나타낸다.

특징점의 위치에 기초하여, 통합 특징 검출 알고리즘으로부터의 i 번째 호모그래피 는 다음 수학식 5와 같이 추정할 수 있다.

여기서 T는 벡터의 전치(transpose)를 나타낸다.

호모그래픽 평가(Homographic evaluation)

일 실시 예에서는, 통합 특징 검출 알고리즘을 통해 호모그래피를 추정하지만 중첩이 좁을 때 호모그래피의 불확실성이 남아 있을 수 있다. 고밀도, 즉 잘 매칭된 특징점을 보장할 수 없기 때문에 호모그래피가 부정확할 수 있다. 이러한 한계를 극복하기 위해, 일 실시 예에서는, 호모그래피를 평가할 수 있는 호모그래픽 평가 알고리즘을 적용할 수 있다.

즉 프로세서(140)는 일련의 X-ray 이미지가 획득될 때 피사체에 대한 C-arm(200)의 모션을 기반으로, 통합 특징 검출 알고리즘을 통해 추정된 호모그래피를 평가할 수 있다.

이때 X-ray 이미지를 획득하는 동안 C-arm(200)의 피사체는 특정 개체로 지정될 수 있다. FOV 측면에서, C-arm(200)은 카메라에 비해 매우 제한적이다. 피사체와 C-arm(200)의 검출기 사이의 상대 거리는 제한되어 있으며 초점 거리가 매우 길다(미터 정도). 결과적으로 C-arm(200)의 FOV는 본질적으로 매우 작다고 할 수 있다. 따라서 C-arm(200)의 모션은 개체의 전체 모양을 커버하기 위해 타겟의 모양을 따라야 한다.

도 4를 참조하면, 일반적으로 정형외과에서 C-arm(200)의 가시화된 타겟의 전체 형상은 대퇴골, 경골, 척추와 같이 단순하고 직선적이므로 타겟을 따라 대략 한 방향으로의 C-arm(200)의 모션이 예상된다. 이러한 이동은 파노라마 이미지의 재구성을 위해 연속적인 X-ray 이미지를 획득할 때 수학 공식으로 설명할 수 있는 패턴을 특징으로 한다. 따라서 일 실시 예에서는, C-arm(200)의 모션에 대한 지식을 바탕으로 호모그래피를 평가할 수 있다.

즉, 일 실시 예에서는, C-arm(200)의 움직임을 모델링하여, 자체 평가 인덱스에서 사용하는 수평 이동 정도의 기준 과 이미지 회전 정도의 기준 을 결정할 수 있다. C-arm(200)이 대상체(bones)를 찍을 때 움직임, 즉 C-arm(200)의 FOV에 따른 이동 정도 및 회전 정도를 추정하고 이를 , 에 적용하여 결정할 수 있다. 도 4에 도시된 바와 같이, 예를 들어 대퇴부 뼈라고 가정하면 C-arm(200)은 대퇴부 뼈 전체를 촬영해야 하기 때문에 대퇴부 뼈의 전체의 근사적인 형태(두꺼운 직선)로 이동하게 된다. 따라서 C-arm(200)에서는 회전이 거의 없이 한 방향으로 이동하면서 촬영하게 된다. 이를 , 결정에 반영하여 호모그래피를 평가할 수 있다.

한편 일 실시 예에서, 프로세서(140)는 a) 자체 평가(self-evaluation), b) 상대 평가(relative evaluation)와 같이, 호모그래픽 평가를 상기 두 단계로 수행할 수 있다.

자체 평가에서는 호모그래피의 이동(translation) 및 회전(rotation)을 고려할 수 있다. 자체 평가에서, i 번째 호모그래피의 수평 이동 값 와 회전 값 은 수학식 6과 같이 표현될 수 있다. 이러한 기준에 기반하여, i 번째 호모그래피의 자체 평가 인덱스 가 정의될 수 있다.

여기서, 는 가중치로, 이미지의 너비일 수 있으며, 및 은 각각 너비와 각도의 여백(margin), 즉 이미지의 수평 이동 정도의 기준 및 이미지 회전 정도의 기준을 나타낼 수 있다.

상대 평가는 현재 호모그래피를 이전 호모그래피와 비교하여 평가할 수 있다. 예를 들어, 3 장의 입력 이미지가 있다면 첫 번째와 두 번째 이미지에서 추정된 호모그래피와 두 번째와 세 번째 이미지에서 추정된 호모그래피를 비교할 수 있다.

상대 평가에서, 호모그래피 간의 수평 이동 차이 와 호모그래피 간의 회전 각도 차이 는 결정 요인이다. i 번째 호모그래피에서 상대 평가 인덱스 는, 현재 이미지에서 아래 수학식 7에 의해 결정될 수 있다.

이미지 세트의 첫 번째 호모그래피는 사전 호모그래피가 없었기 때문에 자체 평가만 수행될 수 있다. 두 번째 호모그래피부터 자체 평가와 함께 상대 평가가 수행될 수 있다. 이러한 두 가지 평가 단계를 거쳐, i 번째 호모그래피의 평가 인덱스 에 의해 호모그래피의 정확성에 대한 최종 평가가 결정될 수 있으며, 은 수학식 8과 같이 나타낼 수 있다.

여기서, 는 논리적 OR 연산을 나타낸다. 평가 인덱스가 1일 때 호모그래피가 정확한 것으로 판단할 수 있으며, 그렇지 않으면, 호모그래피를 재 추정하기 위해 로컬, 즉 대응하는 이미지 영역을 기반으로 하는 로컬 영역 추정 알고리즘이 사용될 수 있다. 다시 말하면, 프로세서(140)는 자체 평가 인덱스와 상대 평가 인덱스 중에 1이 있으면 호모그래피가 정확한 것으로 판단할 수 있고, 그렇지 않으면 호모그래피가 정확하지 않다고 판단할 수 있다.

로컬 이미지 기반 추정(Local image-based estimation)

일 실시 예에서, 통합 특징 검출 알고리즘을 통해 도출된 호모그래피가 부정확하다고 판단되면 매칭된 특징점(포인트) 주변의 픽셀값을 대체하여 호모그래피를 재 추정할 수 있다.

일 실시 예에서, 통합 특징 검출 알고리즘으로부터 중첩 영역 내 매칭된 특징점을 기반으로, 대응하는 로컬 영역은 각 이미지 상의 특징점의 위치를 중심으로 하는 정사각형 영역으로 결정될 수 있다. 그런 다음 프로세서(140)는 해당 로컬 영역의 평탄도(flatness) 기반 확장된 위상 상관의 피크 값을 기반으로 호모그래피를 재 추정할 수 있다.

이때 호모그래피를 재 추정함에 있어, 정밀하게 일치하는 특징점은 필요하지 않기 때문에 특징점 검출과 달리 중첩 영역에 대한 의존도가 크게 감소한다.

일 실시 예에서, 로컬 이미지 기반 추정은 해당 로컬 영역 선택과 평탄도 기반 확장된 위상 상관의 두 부분으로 구성될 수 있다.

로컬 이미지 기반 추정 - 해당 로컬 영역 선택(Corresponding local region selection)

일 실시 예에서, 해당 로컬 영역을 결정하기 위해 매칭된 특징점을 미리 수정할 수 있다. 먼저, 통합 특징 검출 결과의 매칭 특징점 중에서 각 이미지의 너비를 고려하여 로컬 영역에 대한 매칭된 특징점 후보를 선정할 수 있다.

도 5(b)를 참조하면, 통합 특징 검출 알고리즘을 통해 도출된 대응 특징점들을 나타낸다. 매칭된 포인트는 통합 특징 검출 알고리즘을 통해 도출된 모든 대응 특징점들 중에 첫 번째 이미지에서 너비(width)의 3/4 이상과 두 번째 이미지의 너비의 1/4 이내에 존재하는 대응 특징점을 의미한다. 이때 도 5(b)의 빨간색 영역과 비슷하게 나타나며 이는 중첩 영역을 의미할 수 있다. 또한 중첩 영역이 좁고 중첩 영역의 정확한 너비를 결정할 수 없기 때문에, 매칭된 특징맵의 위치는 이미지 너비의 1/4 이내로 제한된다고 가정할 수 있다.

일 실시 예에서는, 해당 로컬 영역을 선택함에 있어, 매칭된 포인트를 기준으로 사각형의 지역 설정을 수행하게 되며, 사각 지역 영역의 설정은 특징점의 위치(도 5(b)에서 빨간색 원, 녹색 십자가로 표시됨)를 사각형의 중심으로 하고 실험적으로 전체 영상 크기의 5%의 길이를 가지도록 설정할 수 있다. 예를 들어, 이미지의 너비가 600 픽셀이면 30 픽셀 정도로 사각 영역의 크기를 사용자가 정의할 수 있다.

매칭된 특징점의 위치 및 는, 수학식 9와 같이 수학적으로 나타낼 수 있다.

여기서 는 의 수평 위치 성분을 나타낸다. 그리고 로컬 영역은 매칭된 특징점 후보를 중심으로 하는 정사각형 영역으로 정의되어, 매칭된 특징점이 중첩 영역에 위치할 수 있다.

도 6을 참조하여, 로컬 영역의 선택 과정을 설명하면, 나란히 배치된 두 개의 X-ray 이미지에는 통합 특징 검출 결과에서 매칭된 특징맵이 포함되어 있다. 다음 이미지는 수학식 9를 만족하는 하나의 매칭된 특징점 후보를 보여주는 것으로, 해당 로컬 영역은 각 이미지에서 빨간색 점선 사각형으로 표시된 것이다. 수학식 9를 만족하는 모든 로컬 영역이 결정된 후, 상기 결정된 로컬 영역들은 평탄도 기반 확장된 위상 상관을 계산하는 데 사용되는 후보가 될 수 있다.

로컬 이미지 기반 추정 평탄도 기반 확장된 위상 상관(Extended phase correlation with flatness)

일 실시 예에서는, C-arm(200)의 모션을 반영하여 로컬 이미지 기반 추정의 호모그래피를 강체 변환(rigid transformation)에 근사할 수 있다. 따라서 이동(translation) 및 회전(rotation)에 대한 구성 요소가 필요하다.

일 실시 예에서는, 주파수 영역(frequency domain)에서 회전을 계산한 후, 서브픽셀 정확도로 이동 계산을 가능하게 하는 확장된 위상 상관을 계산할 수 있다. 로컬 영역의 푸리에 변환 진폭을 사용하여 회전을 추정할 수 있다.

예를 들어, 프로세서(140)는 연속되는 이미지가 있을 때, 모든 매칭되는 사각형의 로컬 이미지 중 첫 번째 이미지의 너비의 3/4 이상과 두 번째 이미지의 너비의 1/4 이내에 존재하는 매칭된 사각형의 로컬 이미지만 선택할 수 있다.

그리고 프로세서(140)는 푸리에 변환을 이용하여 첫 번째 이미지와 두 번째 이미지 간의 회전 성분을 추정할 수 있다.

다음으로 프로세서(140)는 추정된 회전 값으로, 연속된 3 장의 이미지 중 두 번째 이미지와 세 번째 이미지에 대해, 두 이미지 간의 차이가 나는 회전 성분을 보정할 수 있다. 이에 두 이미지 간에는 이동 성분의 차이만 존재하게 된다. 따라서, 프로세서(140)는 평탄도 기반 위상 상관(phase correlation with flatness)을 통해 두 번째 이미지와 세 번째 이미지의 이동 성분을 추정할 수 있다.

즉 프로세서(140)는 추정된 이동 성분 및 회전 성분을 기반으로 호모그래피 변환을 수행할 수 있다.

이때 프로세서(140)는 회전 성분을 추정하기 위해, 이미지의 푸리에 변환을 이용한 회전 추정을 하게 된다. 푸리에 변환은 이미지의 이동 성분에 불편(invariant)하기 때문에 푸리에 변환된 이미지를 조금씩 회전시켜 일치되도록 하는 회전 값을 추정할 수 있으며, 이를 두 이미지의 호모그래피 회전 성분 값이라고 정의할 수 있다.

또한 프로세서(140)는 이동 성분을 추정하기 위해, 평탄도 기반 위상 상관을 사용하게 되는데, 먼저 상기 푸리에 변환을 이용한 회전 성분을 이용하여 두 이미지 간의 회전을 일치시킨다. 그 결과 두 이미지 간에는 이동 성분만 존재하게 되고 평탄도 기반 위상 상관을 적용하여 이동을 추정할 수 있다.

일 실시 예에서는, 각각 및 를 중심으로 하는 i 번째 및 i+1 번째 이미지의 해당 로컬 영역 및 를 정의하고, 이들의 푸리에 변환은 아래 수학식 10과 같이 나타낼 수 있다.

여기서 는 푸리에 변환을 나타낸다. 이동은 푸리에 변환의 위상에만 영향을 미치므로 이미지의 이동 및 회전 구성 요소를 분리할 수 있다. 따라서 최대 상관 관계와 푸리에 변환의 진폭을 일치시켜 회전을 추정할 수 있다.

또한 일 실시 예에서는, 상관 관계를 효율적으로 계산하기 위해 극 좌표로 변환할 수 있으며, 방사형 선을 따른 적분을 기반으로 한 각도 의 함수인 진폭이 계산될 수 있다. 따라서, 는 와 같은 부등식을 따른다고 가정할 수 있으며, 각도 에서 직사각형 그리드 값의 평균으로 계산될 수 있다. 다음 수학식 11을 참조하면, 추정된 회전 각도 는 상관 관계가 최대화되는 값으로 계산될 수 있다.

여기서, r은 반경, 는 극좌표 각도를 나타내며, 또한 는 상관 관계를 나타낼 수 있다.

일 실시 예에서는, 이동(translation)을 추정하기 위해, 평탄도 기반 확장된 위상 상관을 적용할 수 있다. 이는 정규화된 교차 전력 스펙트럼(cross-power spectrum)의 역 푸리에 변환(transform)이 이동(translated)된 픽셀 값의 지점에서 임펄스 함수라는 속성에 기반한 것이다.

서브픽셀 이동(translation)을 추정하기 위한 확장된 위상 상관의 경우, 서브픽셀 이동 이미지는 정수 픽셀만큼 변환된 다운 샘플링 된 이미지로 가정될 수 있으며, 확장된 위상 상관의 폐쇄형 솔루션(closed-form solution)을 얻기 위해 2차원 sinc 함수에 의해 근사화될 수 있다. 또한 해당 로컬 영역 간의 하위 픽셀 정확도로의 이동은 sinc 함수의 최대 피크(z축)로 표시될 수 있다. 해당 로컬 영역 및 의 피크 값 은 다음 수학식 12와 같이 계산될 수 있다.

여기서 및 는 각각 수평 및 수직 방향의 다운샘플링 인수이다. 및 는 이미지를 다운샘플링하기 전의 수평 및 수직 방향의 정수 이동 값이다. 일 실시 예에서는, 이동을 추정할 때 로컬 영역의 평탄도도 고려한다. 플랫(flat)한 로컬 영역의 확장된 위상 상관은 sinc 함수의 최대 피크에 대한 모호성을 유발할 수 있다. 이에, 다음 수학식 13을 참조하여, 이동 추정에서 상기 특징점에 의해 결정되는 로컬 영역을 제외하기 위해, 해당 로컬 영역의 픽셀 값(intensity) 및 의 최소 표준 편차를 정의하는 로컬 영역의 평탄도 를 계산할 수 있다.

여기서, i는 이미지의 인덱스를 의미하며, min()은 두 값 사이의 최소값을 나타내고, std()는 표준편차를 나타낸다. 즉, 평탄도(flatness)는 매칭 사각형 로컬 영역 내 픽셀의 픽셀 값들의 표준편차를 계산하고, 그 중 작은 표준편차 값으로 정의할 수 있다.

일 실시 예에서는, 매칭 특징점 후보에서 피크 값과 모든 해당 영역의 평탄도를 계산한 후 호모그래피를 추정하기 위한 최적의 로컬 영역을 결정할 수 있다. 아래 수학식 14를 참조하여 피크값과 평탄도에 대한 기준을 정의할 수 있으며, 수학식 15를 참조하여 연속된 이미지 사이의 평행 변환 를 계산할 수 있다.

여기서 p 는 두 개의 연속 이미지 사이의 첫 번째 이미지에서 매칭된 특징점의 위치이고, 는 해당 로컬 영역 간의 추정된 이동을 나타낸다.

도 6을 참조하면, 제일 오른쪽 사각형 로컬 영역은 최종 사각 로컬 영역을 의미한다. 즉 다수의 선택된 매칭 로컬 사각 영역에 대해서 회전 추정 및 보정을 하고, 평탄도 기반 위상 상관을 계산해서, 수학식 14를 만족하는(최대 피크 값이 제일 크고, 평탄도 조건을 만족하는) 하나의 로컬 영역이 선택되며, 이를 통해 계산된 회전 값 및 이동 값이 호모그래피로 최종 설정될 수 있다.

로컬 해당 이미지 기반 방법에서 추정된 회전 및 이동을 사용하여, 로컬 이미지 기반 추정에서의 i 번째 호모그래피 는 수학식 16과 같이 계산될 수 있다.

이미지 블렌딩(Image blending)

파노라마 영상의 경우 추정된 호모그래피를 이용하여 각 X-ray 이미지를 혼합할 수 있다. 호모그래피를 사용하여 이미지를 등록한 후 연속된 이미지 사이의 중첩 영역을 하나의 이미지로 혼합할 수 있다. 일 실시 예에서는, 간단하고 빠른 방법인 최대 블렌딩 값을 사용할 수 있다. 중첩 영역의 두 이미지에서 최대 픽셀 값을 선택한 다음, 최종 스티칭 된 X-ray 이미지를 얻을 수 있다.

정리하면, 일 실시 예에서는, 통합 특징 검출을 위한 특징 검출 알고리즘의 선택에 있어, 이미지의 중첩 영역 내에서 충분한 수의 특징점을 얻기 위해 4가지 특징 검출인 SIFT, SURF, BRISK 및 KAZE의 결합을 실시 예로 하여 설명하였다. 상술한 바와 같이, 이에 한정되는 것은 아니며, 특징점 방법 및 특징점 방법의 조합의 수는 이 외에도 다양하게 적용될 수 있다.

일반 디지털 카메라의 이미지 속성과 비교할 때, X-ray 이미지는 배경이 비어있기 때문에 단순하고 질감이 없어 중첩 영역의 배경에서 뚜렷한 특징이 거의 관찰되지 않는다. C-arm(200)이 세부적인 피험자의 진단에 사용되는 의료기기이기 때문에, X-ray 이미지는 피험자의 국부적인 부분만을 획득하게 된다. 따라서, X-ray 이미지에서는 단일 특징 검출로부터 제한된 수의 특징점이 검출되게 된다.

상기의 문제점을 극복하기 위해, 일 실시 예에서는, 다양하고 뚜렷한 관심 영역을 반영하는 추가 특징점을 감지할 수 있다.

이에, 일 실시 예에서는, 통합 특징 검출 알고리즘을 적용함으로써, 블롭, 가장자리 및 경계와 같은 다양한 고유의 특징점을 검출할 수 있다.

또한, 일 실시 예에서는, 호모그래픽 평가 후, 통합 특징 검출을 기반으로 추정된 호모그래피가 잘못된 것으로 판단되는 경우, 해당 영역의 로컬을 기반으로 호모그래피를 재 추정할 수 있다. 일 실시 예에서는, 로컬 대응 영역을 기반으로 호모그래피를 재 추정하기 위해 통합 특징 검출 알고리즘을 통해 매칭된 특징점에 의해 로컬 영역의 위치를 지정할 수 있다. 모든 매칭된 특징점 후보 중에서 중첩 영역 내의 매칭된 특징점을 선택한 후, 로컬 대응 영역은 선택된 특징점의 위치를 중심으로 하는 정사각형 영역으로 결정될 수 있으며, 그 크기는 고정되지 않을 수 있다.

그리고 일 실시 예에서는, 선택한 특징점의 위치에 따라 로컬 영역의 너비가 제한될 수 있다. 선택된 특징점의 위치가 이미지의 경계 근처에 있을 때 특징점의 위치와 이미지의 경계 사이의 거리로 로컬 영역의 최대 너비를 결정할 수 있다. 로컬 영역의 최소 너비는 최대 너비보다 유연할 수 있다.

그러나 로컬 영역의 크기가 너무 작으면 인접 픽셀 수가 적어 확장 위상 상관의 피크 값의 모호성이 증가하여 호모그래피가 잘못 추정될 수 있기 때문에, 일 실시 예에서는, 상기와 같은 요인들을 기반으로 로컬 영역의 너비를 해당 이미지 너비의 5% 이상의 범위로 설정할 수 있다.

이하에서는, 도 7 및 도 8을 참조하여 프로세서(140)의 의료 이미지 스티칭을 수행하는 일련의 과정에 대해 설명한다.

도 7은 본 개시의 일 실시 예에 따른 의료 이미지 스티칭 방법을 설명하기 위한 흐름도이다. 도 7을 참조하면, S100단계에서, 프로세서(140)는 스티칭을 수행 할 이미지 세트의 정렬된 여러 장의 이미지 중 연속한 2 개의 이미지를 선택한다.

예를 들어, 입력 이미지를 순서대로 배열한 후, 이미지와 그 연속적인 X-ray 이미지를 선택할 수 있다. 또한 선택된 이미지에 대해 영상을 순서대로 배열한 후 영상과 그 연속적인 X-ray 이미지를 선택할 수 있다.

S200단계에서, 프로세서(140)는 통합 특징 검출 알고리즘을 이용하여 선택한 두 이미지 간의 호모그래피를 계산한다.

이때, 프로세서(140)는 선택한 두 이미지에 대해 제 1 특징 검출 알고리즘 및 제 2 특징 검출 알고리즘을 적용하여, 제 1 특징 검출 알고리즘을 통해 추정된 두 이미지 각각의 특징점 간 기술자를 비교하여 대응되는 제 1 특징점들을 추정하고, 제 2 특징 검출 알고리즘을 통해 추정된 두 이미지 각각의 특징점 간 기술자를 비교하여 대응되는 제 2 특징점들을 추정할 수 있다.

그리고 프로세서(140)는 제 1 특징점들과 제 2 특징점들을 통합하여 통합 특징점 세트를 추출하고, 통합 특징점 세트를 이용하여 호모그래피를 계산할 수 있다.

또한 프로세서(140)는 이미지 촬영 기기의 FOV 반경, 특징점 위치 및 각 이미지의 중심 위치에 기반하여 이미지 촬영 기기의 FOV 범위를 벗어나는 특징점을 제거할 수 있다. 이미지 촬영 기기는 C-arm(200)을 포함할 수 있다.

즉, 일 실시 예에서는 선택된 이미지에 대해 통합 특징 검출을 사용하여 호모그래피를 추정할 수 있다. 이미지의 구별되는 특징점을 추출한 후, 매칭된 특징점을 기반으로 호모그래피를 추정할 수 있으며, 추정된 호모그래피는 후술하는 바와 같이 호모그래픽 평가 방법을 통해 검증할 수 있다.

S300단계에서, 프로세서(140)는 통합 특징 검출 알고리즘을 기반으로 계산한 호모그래피의 정확도를 호모그래픽 평가 알고리즘을 통해 평가한다.

이때, 프로세서(140)는 두 이미지 간의 추정된 호모그래피의 이동(translation) 성분 및 회전(rotation) 성분에 기초하여 자체 평가를 수행할 수 있다.

프로세서(140)는 자체 평가를 수행하기 위해, 추정된 호모그래피에서의 수평 이동 값과 가중치가 적용된 이미지 수평 이동 기준 값을 비교하고, 추정된 호모그래피에서의 회전 값과 이미지 회전 기준 값을 비교할 수 있다.

이때, 프로세서(140)는 추정된 호모그래피에서의 수평 이동 값이 가중치가 적용된 이미지 수평 이동 기준 값 미만이거나, 추정된 호모그래피에서의 회전 값이 이미지 회전 기준 값을 초과하는 경우, 호모그래피가 정확하지 않음(0)으로 판단하고, 그렇지 않은 경우 호모그래피가 정확함(1)으로 판단할 수 있다. 일 실시 예에서, 이미지 수평 이동 기준 값 및 상기 이미지 회전 기준 값은 이미지 촬영 기기의 움직임을 모델링하여 설정될 수 있다.

또한, 프로세서(140)는 두 이미지 간의 추정된 호모그래피를, 이전 이미지와 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피와 비교하여 상대 평가를 수행할 수 있다. 즉 일 실시 예에서는, 이전 이미지가 없는 경우에는 자체 평가만 수행될 수 있다.

프로세서(140)는 두 이미지 간의 추정된 호모그래피와, 이전 이미지와 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피 간의 수평 이동 값의 차이 및 회전 값의 차이에 기초하여 상대 평가를 수행할 수 있다.

이때 프로세서(140)는 두 이미지 간의 추정된 호모그래피의 수평 이동 값에서, 이전 이미지와 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피의 수평 이동 값을 차감한 값이 0을 초과하고, 두 이미지 간의 추정된 호모그래피의 회전 값에서, 이전 이미지와 두 이미지 중 첫 번재 이미지 간의 추정된 이전 호모그래피의 회전 값을 차감한 값이 절대값이 이미지 회전 기준 값 미만인 경우, 호모그래피가 정확함(1)으로 판단하고, 그렇지 않은 경우 호모그래피가 정확하지 않음(0)으로 판단할 수 있다.

그리고 프로세서(140)는 자체 평가 및 상대 평가 결과에 기반하여 최종 호모그래피 평가를 수행할 수 있다.

프로세서(140)는 자체 평가 수행 결과 또는 상대 평가 수행 결과 중 적어도 하나의 결과가 호모그래피가 정확함(1)으로 출력되는 경우, 통합 특징 검출 알고리즘에 의해 추정된 호모그래피가 정확한 것으로 판단하고, 그렇지 않은 경우 통합 특징 검출 알고리즘에 의해 추정된 호모그래피가 정확하지 않은 것으로 판단할 수 있다.

S400단계에서, 프로세서(140)는 호모그래픽 평가 알고리즘을 통한 평가 결과, 통합 특징 검출 알고리즘을 기반으로 계산한 호모그래피가 정확하다고 판단되는 경우(S300단계의 예), 통합 특징 검출 알고리즘을 기반으로 계산한 호모그래피를 최종 호모그래피로 결정한다.

즉 일 실시 예에서는, 통합 특징 검출 기반 호모그래피 검증 결과, 호모그래피가 정확하다고 판단되면, 통합 특징 검출 기반 호모그래피를 해당 이미지에 대한 최적의 호모그래피로 간주하여 저장할 수 있다.

반면, 그렇지 않으면, 후술하는 바와 같이, 통합 특징 검출을 로컬, 대응하는 이미지 기반 추정으로 대체하고, 로컬 영역 추정 알고리즘을 적용하여 추정한 호모그래피가 최적의 호모그래피로 간주되어 저장될 수 있다. 이러한 프로세스는 이미지 세트의 마지막 이미지가 처리될 때까지 반복적으로 실행될 수 있다.

즉 S500단계에서, 프로세서(140)는 호모그래픽 평가 알고리즘을 통한 평가 결과, 통합 특징 검출 알고리즘을 기반으로 계산한 호모그래피가 정확하지 않다고 판단되는 경우(S300단계의 아니오), 로컬 영역 추정 알고리즘을 이용하여 두 이미지 간의 호모그래피를 재 추정한다.

이때 프로세서(140)는 두 이미지 각각에서 두 이미지 간의 대응되는 로컬 영역을 선정하고, 선정된 로컬 영역을 기반으로 호모그래피를 재 추정할 수 있다.

프로세서(140)는 두 이미지 각각에서 두 이미지 간의 대응되는 특징점의 위치를 중심으로 하여, 해당 이미지 크기의 일정 비율의 길이로 구성된 사각형을 로컬 영역으로 선정할 수 있다.

그리고 프로세서(140)는 선정된 로컬 영역 중 두 이미지의 일정 영역에 포함되는 로컬 영역을 재 선정하여 선택할 수 있으며. 선택한 로컬 영역을 기반으로 두 이미지 간의 회전 성분을 추정하고, 추정한 회전 성분을 적용하여 두 이미지 간의 이동 성분을 추정하여, 추정한 회전 성분 및 이동 성분을 기반으로 호모그래피를 재 추정할 수 있다.

그리고 S600단계에서, 프로세서(140)는 로컬 영역 추정 알고리즘을 기반으로 재 추정한 호모그래피를 최종 호모그래피로 결정하고, S700단계에서, 상기 결정된 최종 호모그래피를 통해 두 이미지 간의 스티칭을 수행한다.

이때 파노라마 영상의 경우 추정된 호모그래피를 이용하여 각 X-ray 이미지를 혼합할 수 있어, 프로세서(140)는 최종적으로 결정된 호모그래피를 사용하여 이미지를 등록한 후 연속된 이미지 사이의 중첩 영역을 하나의 이미지로 혼합할 수 있다.

일 실시 예에서는, 간단하고 빠른 방법인 최대 블렌딩 값을 사용할 수 있다. 중첩 영역의 두 이미지에서 최대 픽셀 값을 선택한 다음, 최종 스티칭 된 X-ray 이미지를 얻을 수 있다.

도 8은 본 개시의 일 실시 예에 따른 로컬 이미지 기반 추정 방법을 설명하기 위한 흐름도이다. 도 8을 참조하여, 로컬 영역 추정 알고리즘을 기반을 호모그래피를 재 추정하는 방법을 보다 구체적으로 설명한다.

도 8을 참조하면, S510단계에서, 프로세서(140)는 두 이미지 각각에서 두 이미지 간의 대응되는 로컬 영역을 선정한다.

일 실시 예에서, 프로세서(140)는 통합 특징 검출 알고리즘을 통해 도출된 호모그래피가 부정확하다고 판단되면 매칭된 특징점 주변의 픽셀값을 대체하여 호모그래피를 재 추정할 수 있다. 따라서 프로세서(140)는 통합 특징 검출 알고리즘으로부터 중첩 영역 내 매칭된 특징점을 기반으로, 대응하는 로컬 영역은 각 이미지 상의 특징점의 위치를 중심으로 하는 정사각형 영역으로 결정될 수 있다.

S520단계에서, 프로세서(140)는 선정된 로컬 영역 중 두 이미지의 일정 영역에 포함되는 로컬 영역을 선택한다.

프로세서(140)는 해당 로컬 영역을 결정하기 위해 매칭된 특징점을 미리 수정할 수 있는데, 먼저, 통합 특징 검출 결과의 매칭 특징점 중에서 각 이미지의 너비를 고려하여 로컬 영역에 대한 매칭된 특징점 후보를 선정할 수 있다.

프로세서(140)는 두 이미지 각각에서 두 이미지 간의 대응되는 특징점의 위치를 중심으로 하여, 해당 이미지 크기의 일정 비율의 길이로 구성된 사각형을 로컬 영역으로 선정할 수 있다. 즉, 프로세서(140)는 선정된 로컬 영역 중 두 이미지의 일정 영역에 포함되는 로컬 영역을 재 선정하여 선택할 수 있다.

S530단계에서, 프로세서(140)는 선택한 로컬 영역을 기반으로 두 이미지 간의 회전 성분을 추정한다.

이때 프로세서(140)는 선택한 로컬 영역에 푸리에 변환을 적용하고, 푸리에 변환을 적용한 로컬 영역을 회전시켜 두 이미지에 대한 로컬 영역이 일치되도록 하는 회전 값을 추정할 수 있다.

일 실시 예에서는, C-arm(200)의 모션을 반영하여 로컬 이미지 기반 추정의 호모그래피를 강체 변환(rigid transformation)에 근사할 수 있다. 따라서 이동(translation) 및 회전(rotation)에 대한 구성 요소가 필요하다.

이에 프로세서(140)는 주파수 영역(frequency domain)에서 회전을 계산한 후, 서브픽셀 정확도로 이동 계산을 가능하게 하는 확장된 위상 상관을 계산할 수 있다. 로컬 영역의 푸리에 변환 진폭을 사용하여 회전을 추정할 수 있다.

그리고 S540단계에서, 프로세서(140)는 추정한 회전 성분을 통해 두 이미지 중 두 번째 이미지를 보정하여 일치시키고, S550단계에서, 평탄도 기반 위상 상관(phase correlation with flatness)을 기반으로 두 이미지 간의 이동 성분을 추정한다.

이때 프로세서(140)는 두 이미지의 대응되는 모든 로컬 영역에 대해 회전 성분 추정 및 회전 성분을 반영하는 보정을 수행할 수 있다. 그리고 프로세서(140)는 보정이 완료된 두 이미지의 대응되는 모든 로컬 영역에 평탄도 기반 위상 상관 분석을 적용하여, 최대 피크 값이 가장 크고 기 설정한 평탄도 조건을 만족하는 하나의 대응되는 로컬 영역을 도출할 수 있다. 여기서, 평탄도는, 대응되는 모든 로컬 영역 내 픽셀의 픽셀 값(intensity)의 표준편차 중 작은 표준편차 값으로 산출될 수 있다.

즉 프로세서(140)는 회전 성분을 추정하기 위해, 이미지의 푸리에 변환을 이용한 회전 추정을 하게 된다. 푸리에 변환은 이미지의 이동 성분에 불편(invariant)하기 때문에 푸리에 변환된 이미지를 조금씩 회전시켜 일치되도록 하는 회전 값을 추정할 수 있으며, 이를 두 이미지의 호모그래피 회전 성분 값이라고 정의할 수 있다.

또한 프로세서(140)는 이동 성분을 추정하기 위해, 평탄도 기반 위상 상관을 사용하게 되는데, 먼저 상기 푸리에 변환을 이용한 회전 성분을 이용하여 두 이미지 간의 회전을 일치시킨 결과 두 이미지 간에는 이동 성분만 존재하게 되고 이를 평탄도 기반 위상 상관 방법을 적용하여 이동 성분을 추정할 수 있다.

S560단계에서, 프로세서(140)는 추정한 회전 성분 및 이동 성분을 기반으로 호모그래피를 재 추정한다.

즉 일 실시 예는 X-ray 이미지에서 중첩 영역에 의존하는 이종 스티칭을 기반으로 하는 것으로, 통합 특징 검출, 호모그래픽 평가 및 로컬 이미지 기반 추정을 사용하는 경우 X-ray 이미지 스티칭 성능이 중첩 영역에 덜 의존적임에 따라, 보다 강력한 파노라마 C-arm X-ray 이미지를 구성할 수 있다.

이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

1 : 의료 이미지 스티칭 시스템
100 : 의료 이미지 스티칭 장치
110 : 통신부
120 : 사용자 인터페이스
130 : 메모리
140 : 프로세서
200 : 씨암(C-arm) 엑스레이 영상 기기
300 : 서버
400 : 네트워크

Claims (20)

1. 각 단계의 적어도 일부가 프로세서에 의해 수행되는 의료 이미지 스티칭 방법으로서,
   스티칭을 수행 할 이미지 세트의 정렬된 여러 장의 이미지 중 두 개의 연속한 이미지를 선택하는 단계;
   서로 다른 복수의 특징 검출 알고리즘에 기반하여 추정된 특징점들에 기반한 통합 특징 검출 알고리즘을 이용하여 상기 선택한 두 이미지 간의 호모그래피(homography)를 계산하는 단계;
   계산한 상기 호모그래피의 정확도를 호모그래픽 평가 알고리즘에 기반하여 평가하는 단계; 및
   상기 호모그래픽 평가 알고리즘에 기반한 평가 결과에 따라 상기 선택한 두 이미지 간의 호모그래피를 결정하여 상기 선택한 두 이미지 간의 스티칭을 수행하는 단계를 포함하는, 의료 이미지 스티칭 방법에 있어서,
   상기 평가하는 단계는,
   상기 두 이미지 간의 추정된 호모그래피의 이동(translation) 성분 및 회전(rotation) 성분에 기초하여 자체 평가를 수행하는 단계;
   상기 두 이미지 간의 추정된 호모그래피를, 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피와 비교하여 상대 평가를 수행하는 단계; 및
   상기 자체 평가 및 상기 상대 평가 결과에 기반하여 최종 호모그래피 평가를 수행하는 단계를 포함하는,
   의료 이미지 스티칭 방법.
   
2. 제 1 항에 있어서,
   상기 호모그래피를 계산하는 단계는,
   상기 선택한 두 이미지에 대해 제 1 특징 검출 알고리즘 및 제 2 특징 검출 알고리즘을 적용하는 단계;
   상기 제 1 특징 검출 알고리즘을 통해 추정된 두 이미지 각각의 특징점 간 기술자를 비교하여 대응되는 제 1 특징점들을 추정하는 단계;
   상기 제 2 특징 검출 알고리즘을 통해 추정된 두 이미지 각각의 특징점 간 기술자를 비교하여 대응되는 제 2 특징점들을 추정하는 단계;
   상기 제 1 특징점들과 상기 제 2 특징점들을 통합하여 통합 특징점 세트를 추출하는 단계; 및
   상기 통합 특징점 세트를 이용하여 호모그래피를 계산하는 단계를 포함하는,
   의료 이미지 스티칭 방법.
   
3. 제 2 항에 있어서,
   상기 호모그래피를 계산하는 단계는,
   진단 영상 기기의 FOV(field of view) 반경, 특징점 위치 및 각 이미지의 중심 위치에 기반하여 상기 진단 영상 기기의 FOV 범위를 벗어나는 특징점을 제거하는 단계를 더 포함하는,
   의료 이미지 스티칭 방법.
   
4. 삭제
5. 제 1 항에 있어서,
   상기 자체 평가를 수행하는 단계는,
   상기 추정된 호모그래피에서의 수평 이동 값과 가중치가 적용된 이미지 수평 이동 기준 값을 비교하는 단계; 및
   상기 추정된 호모그래피에서의 회전 값과 이미지 회전 기준 값을 비교하는 단계를 포함하는,
   의료 이미지 스티칭 방법.
   
6. 제 5 항에 있어서,
   상기 자체 평가를 수행하는 단계는,
   상기 추정된 호모그래피에서의 수평 이동 값이 가중치가 적용된 이미지 수평 이동 기준 값 미만이거나, 상기 추정된 호모그래피에서의 회전 값이 이미지 회전 기준 값을 초과하는 경우, 호모그래피가 정확하지 않음(0)으로 판단하고, 상기 추정된 호모그래피에서의 수평 이동 값이 가중치가 적용된 이미지 수평 이동 기준 값 이상이면서 상기 추정된 호모그래피에서의 회전 값이 이미지 회전 기준 값이 미만인 경우 호모그래피가 정확함(1)으로 판단하는 단계를 포함하는,
   의료 이미지 스티칭 방법.
   
7. 제 5 항에 있어서,
   상기 이미지 수평 이동 기준 값 및 상기 이미지 회전 기준 값은 이미지 촬영 기기의 움직임을 모델링하여 설정되는,
   의료 이미지 스티칭 방법.
   
8. 제 1 항에 있어서,
   상기 상대 평가를 수행하는 단계는,
   상기 두 이미지 간의 추정된 호모그래피와, 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피 간의 수평 이동 값의 차이 및 회전 값의 차이에 기초하여 상기 상대 평가를 수행하는 단계를 포함하는,
   의료 이미지 스티칭 방법.
   
9. 제 8 항에 있어서,
   상기 상대 평가를 수행하는 단계는,
   상기 두 이미지 간의 추정된 호모그래피의 수평 이동 값에서, 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피의 수평 이동 값을 차감한 값이 0을 초과하고,
   상기 두 이미지 간의 추정된 호모그래피의 회전 값에서, 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피의 회전 값을 차감한 값이 절대값이 이미지 회전 기준 값 미만인 경우 호모그래피가 정확함(1)으로 판단하며,
   상기 두 이미지 간의 추정된 호모그래피의 수평 이동 값에서, 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피의 수평 이동 값을 차감한 값이 0값 이하이거나, 상기 두 이미지 간의 추정된 호모그래피의 회전 값에서 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피의 회전 값을 차감한 값이 절대값이 이미지 회전 기준 값 이상인 경우 경우 호모그래피가 정확하지 않음(0)으로 판단하는 단계를 포함하는,
   의료 이미지 스티칭 방법.
   
10. 제 1 항에 있어서,
    상기 최종 호모그래피 평가를 수행하는 단계는,
    상기 자체 평가 수행 결과 또는 상기 상대 평가 수행 결과 중 호모그래피가 정확함(1)으로 결과가 출력되는 경우 상기 통합 특징 검출 알고리즘에 의해 추정된 호모그래피가 정확한 것으로 판단하고, 상기 자체 평가 수행 결과 또는 상기 상대 평가 수행 결과 모두가 정확하지 않음(0)으로 결과가 출력되는 경우 상기 통합 특징 검출 알고리즘에 의해 추정된 호모그래피가 정확하지 않은 것으로 판단하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
11. 제 1 항에 있어서,
    상기 평가 결과, 상기 통합 특징 검출 알고리즘에 의해 추정된 호모그래피가 정확하지 않은 것으로 판단되는 경우, 로컬 이미지 기반 추정 알고리즘을 이용하여 상기 선택한 두 이미지 간의 호모그래피를 재 추정하는 단계를 더 포함하는,
    의료 이미지 스티칭 방법.
    
12. 제 11 항에 있어서,
    상기 호모그래피를 재 추정하는 단계는,
    상기 두 이미지 각각에서 상기 두 이미지 간의 대응되는 제 1 로컬 영역을 선정하는 단계; 및
    상기 선정된 제 1 로컬 영역을 기반으로 호모그래피를 재 추정하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
13. 제 12 항에 있어서,
    상기 제 1 로컬 영역을 선정하는 단계는,
    상기 두 이미지 각각에서 상기 두 이미지 간의 대응되는 특징점의 위치를 중심으로 하여, 각 이미지 크기의 일정 비율의 길이에 해당하는 사각형 영역을 상기 제 1 로컬 영역으로 선정하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
14. 제 13 항에 있어서,
    상기 호모그래피를 재 추정하는 단계는,
    상기 선정된 제 1 로컬 영역 중 상기 두 이미지의 일정 영역에 포함되는 제 2 로컬 영역을 선택하는 단계;
    상기 선택한 제 2 로컬 영역을 기반으로 두 이미지 간의 회전 성분을 추정하는 단계;
    상기 추정한 회전 성분을 적용하여 상기 두 이미지 간의 이동 성분을 추정하는 단계; 및
    상기 추정한 회전 성분 및 이동 성분을 기반으로 호모그래피를 재 추정하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
15. 제 14 항에 있어서,
    상기 회전 성분을 추정하는 단계는,
    상기 선택한 로컬 영역에 푸리에 변환을 적용하는 단계; 및
    상기 푸리에 변환을 적용한 로컬 영역을 회전시켜 상기 두 이미지에 대한 로컬 영역이 일치되도록 하는 회전 값을 추정하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
16. 제 15 항에 있어서,
    상기 이동 성분을 추정하는 단계는,
    상기 추정한 회전 성분을 통해 상기 두 이미지 중 두 번째 이미지를 보정하는 단계; 및
    평탄도 기반 위상 상관 분석(phase correlation with flatness) 알고리즘을 기반으로 상기 두 이미지 간의 이동 성분을 추정하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
17. 제 16 항에 있어서,
    상기 호모그래피를 재 추정하는 단계는,
    상기 두 이미지의 대응되는 모든 로컬 영역에 대해 회전 성분 추정 및 회전 성분을 반영하는 보정을 수행하는 단계;
    상기 보정이 완료된 상기 두 이미지의 대응되는 모든 로컬 영역에 상기 평탄도 기반 위상 상관 분석(phase correlation with flatness) 알고리즘을 적용하여, 최대 피크 값이 가장 크고 기 설정한 평탄도 조건을 만족하는 하나의 대응되는 로컬 영역을 도출하는 단계; 및
    상기 도출한 대응되는 로컬 영역을 기반으로 회전 성분 및 이동 성분을 산출하여 호모그래피를 재 추정하는 단계를 포함하는,
    의료 이미지 스티칭 방법.
    
18. 제 17 항에 있어서,
    상기 평탄도는,
    상기 대응되는 모든 로컬 영역 내 픽셀의 픽셀 값(intensity)의 표준편차 중 작은 표준편차 값으로 산출되는,
    의료 이미지 스티칭 방법.
    
19. 삭제
20. 의료 이미지 스티칭 장치로서,
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 메모리와 연동되어 상기 명령어를 실행하는 적어도 하나의 프로세서를 포함하되,
    상기 명령어는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    스티칭을 수행 할 이미지 세트의 정렬된 여러 장의 이미지 중 두 개의 연속한 이미지를 선택하고,
    서로 다른 복수의 특징 검출 알고리즘에 기반하여 추정된 특징점들에 기반한 통합 특징 검출 알고리즘을 이용하여 상기 선택한 두 이미지 간의 호모그래피를 계산하며,
    상기 계산한 호모그래피의 정확도를 호모그래픽 평가 알고리즘을 통해 평가하고,
    상기 평가 결과에 따라 상기 선택한 두 이미지 간의 호모그래피를 결정하여 상기 선택한 두 이미지 간의 스티칭을 수행하도록 설정되는, 의료 이미지 스티칭 장치에 있어서,
    상기 이미지 스티칭 장치는, 상기 두 이미지 간의 추정된 호모그래피의 이동(translation) 성분 및 회전(rotation) 성분에 기초하여 자체 평가를 수행하고, 상기 두 이미지 간의 추정된 호모그래피를, 이전 이미지와 상기 두 이미지 중 첫 번째 이미지 간의 추정된 이전 호모그래피와 비교하여 상대 평가를 수행하며, 그리고 상기 자체 평가 및 상기 상대 평가 결과에 기반하여 최종 호모그래피 평가를 수행하는,
    의료 이미지 스티칭 장치.
    

Images