KR20140061380A

KR20140061380A - 이미지 처리 방법

Info

Publication number: KR20140061380A
Application number: KR1020147003200A
Authority: KR
Inventors: 그레이엄 리챠드 빈센트; 마이클 안토니 보우스
Original assignee: 이모픽스 리미티드; 드파이 인터내셔널 리미티드
Priority date: 2011-08-09
Filing date: 2012-07-27
Publication date: 2014-05-21
Also published as: CN103930924B; EP2742483B1; AU2012293488A1; ES2717457T3; CN103930924A; ZA201400327B; CA2844392A1; JP2014522711A; AU2012293488B2; WO2013021170A1; KR102036834B1; CA2844392C; JP6340315B2; EP2742483A1; GB201113683D0

Abstract

한 부류의 피사체(object)들을 모델화하는 모델을 생성하는 컴퓨터-구현 방법이 개시되어 있다. 상기 컴퓨터-구현 방법은 상기 한 부류의 피사체들의 복수 개의 피사체들 각각에 대해, 상기 피사체의 제1 2-차원 이미지 및 제1 포착 데이터를 수신하는 것, 상기 피사체의 제2 2-차원 이미지 및 제2 포착 데이터를 수신하는 것 및 상기 피사체 내에서의 복수 개의 관심 지점들을 나타내는 데이터를 수신하는 것을 포함한다. 상기 제1 및 제2 2-차원 이미지들은 3-차원 이미지 데이터를 생성하도록 상기 제1 및 제2 포착 데이터에 기반하여 조합되며, 상기 3-차원 이미지 데이터는 복수 개의 관심 지점들을 나타내는 상기 데이터에 기반한 데이터를 포함하고 상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대해 생성된 3-차원 이미지 데이터는 상기 모델을 생성하도록 처리된다.

Description

이미지 처리 방법{Image processing method}

본 발명은 이미지의 특징들을 식별하는 방법 및 장치에 관한 것이다. 좀더 구체적으로 기술하면, 본 발명은 모델들을 이미지에 끼워 맞춰 상기 이미지의 특징들을 식별하는 방법 및 장치에 관한 것이지만, 이들에 국한된 것이 아니다.

자동 이미지 분석은 이미지들의 특성들을 결정함에 있어서 수작업에 의한 작업량(manual workload)들을 감소시키는데 사용될 수 있다. 이미지 분석은 이미지들의 특징들을 식별하기 위해 여러 서로 다른 분야들에서 사용되고 있다. 이미지 분석 기법들이 사용되는 영역은 이미지의 해부학적 특징들의 식별이 의사들에게 유용한 정보를 제공할 수 있는 의료 이미지들을 처리하는 것이다.

투영 이미징(projection imaging) 기법들은 일반적으로 X-레이(X-ray)들과 같이 고체 피사체(solid object)를 관통할 수 있는 전자기 방사가 생성되고 해부학적 관심 영역을 통해 투영되는 의료 이미지들을 생성하는데 사용된다. 센서는 상기 전자기 방사가 상기 해부학적 관심 영역을 통과한 후에 상기 전자기 방사를 검출하도록 이루어져 있다. 상기 해부학적 관심 영역은 자신의 밀도 및 조성에 기반하여 상기 전자기 방사를 감쇠시키고 이 때문에 상기 센서에 의해 검출된 전자기 방사는 상기 해부학적 관심 영역의 조성을 나타낸다. 결과적으로 나타나게 되는 2-차원 이미지는 상기 해부학적 관심 영역의 밀도 및 조성의 누적 감쇠(cumulative attenuation) 효과를 나타내므로, 인간에 의해서나 자동으로 분석될 수 있다. 그러나, 당업자라면 X-레이 이미지들과 같은 2-차원 이미지들을 분석하는 것이 단지 제한된 정보량을 제공할 뿐임을 이해할 것이다.

X-레이 '컴퓨터 단층 촬영(Computed Tomography; CT)'과 자기 공명(magnetic resonance; MR) 이미징은 분석을 위해 3-차원 정보를 제공할 수 있다. MR 이미지들은 강력한 자기장들을 사용하여 상기 해부학적 관심 영역의 원자(atom)들의 자화(magnetization)를 정렬시키는 방식으로 획득되며 이를 생성하는 비용이 많이 든다. CT 이미지들은 단층 이미징(tomographic imaging) 기법들을 사용하여 처리되는 해부학적 관심 영역을 통해 다수의 서로 다른 각도들에서 포획된 대량의 X-레이 데이터로부터 생성된다. CT 이미징 기법들 또한 비용이 많이 들며 추가로 바람직하지 않은 대량의 X-레이 방사에 대한 환자 노출을 필요로 한다.

그러므로 비용 효과적인 3-차원 이미징 기법이 바람직하다.

본 발명의 일부 실시예들의 목적은 위에 기재한 문제들 중 적어도 일부 문제를 제거 또는 완화하는 것이다.

본 발명의 제1 실시태양에 의하면, 피사체(object)의 3-차원 표현을 생성하는 컴퓨터-구현 방법이 제공된다. 상기 컴퓨터-구현 방법은, 입력으로서 제1 2-차원 투영 이미지를 수신하는 것 및 입력으로서 상기 제1 2-차원 투영 이미지에 연관된 포착 데이터를 수신하는 것을 포함한다. 상기 제1 2-차원 투영 이미지는 상기 피사체의 상기 3-차원 표현을 제공하는 데이터의 3-차원 체적을 생성하도록 상기 포착 데이터에 기반하여 처리되고, 상기 데이터의 3-차원 체적은 복수 개의 보셀(voxel)들을 포함하며, 각각의 보셀은 상기 제1 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 값을 지닌다.

이러한 방식으로, 피사체의 특징들을 식별하도록 처리하기 위해 유용한 피사체의 3-차원 표현이 2-차원 이미지로부터 생성될 수 있다. 비록 3-차원 이미징 기법들이 존재한다 하더라도, 기존의 기법들은 비용이 많이 들며 방출될 대량의 방사를 필요로 할 수 있다. 위에서 설명한 바와 같은 피사체의 3-차원 표현을 생성함으로써, 이러한 문제들이 완화된다.

상기 컴퓨터-구현 방법은, 입력으로서 관심 영역을 모델화하는 모델을 수신하는 것, 및 상기 모델을 상기 피사체의 상기 3-차원 표현에 끼워 맞추는 것을 더 포함할 수 있다. 상기 피사체의 상기 3-차원 표현에서의 특징들이 상기 모델의 상기 끼워 맞춤에 기반하여 식별될 수 있다. 즉, 상기 3-차원 표현은 유용한 정보를 생성하도록 모델링 기법들을 사용하여 처리될 수 있다. 예를 들면, 상기 피사체가 해부학적 관심 영역인 경우에 상기 해부학적 관심 영역의 특징들이 식별될 수 있는데, 이는 의료 절차(medical procedure)를 수행하는데 유용할 수 있다.

상기 끼워 맞춤은 강체 정합(rigid registration), 비-강체 정합(non-rigid registration), 활동적 형태 모델링(active shape modelling) 및 활동적 외관 모델링(active appearance modelling)으로 이루어진 그룹으로부터 선택된 끼워 맞춤 기법을 적용하는 것을 포함할 수 있다.

상기 컴퓨터-구현 방법은, 입력으로서 제2 2-차원 투영 이미지를 수신하는 것 및 입력으로서 상기 제2 2-차원 투영 이미지에 연관된 포착 데이터를 수신하는 것을 더 포함할 수 있다. 상기 처리는 상기 제1 및 제2 2-차원 투영 이미지들 각각에 연관된 상기 포착 데이터에 기반하여 상기 제1 및 제2 2-차원 투영 이미지들을 조합하는 것을 포함할 수 있고, 각각의 보셀은 상기 제1 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 제1 값 및 상기 제2 2-차원 이미지의 적어도 하나의 픽셀에 기반한 제2 값을 지닌다.

이러한 방식으로 데이터를 조합함으로써, 상기 3-차원 표현은 좀더 많은 정보를 제공하므로 좀더 정확한 끼워 맞춤 결과를 제공할 수 있다. 상기 제1 및 제2 포착 데이터는 전형적으로 동일 좌표 공간에서 서로 다른 지점들을 나타내고 서로 다른 지점들로부터 포획된 데이터를 조합함으로써, 상기 3-차원 표현이 상기 체적을 통한 경로를 따른 순 조성(net composition)보다는 오히려 상기 체적 내에서의 특정 지점들의 조성의 표시를 제공할 수 있다.

상기 제1 투영 이미지는 제1 전자기 방사 소스에서부터 제1 전자기 방사 센서에 이르기까지 상기 피사체를 통해 전자기 방사를 투영함으로써 생성될 수 있고 상기 제2 투영 이미지는 제2 전자기 방사 소스에서부터 제2 전자기 방사 센서에 이르기까지 상기 피사체를 통해 전자기 방사를 투영함으로써 생성될 수 있다. 당업자라면 상기 제1 및 제2 전자기 방사 소스들이 동일한 소스일 수 있다는 점을 이해할 것이다. 마찬가지로, 상기 제1 및 제2 전자기 방사 센서들이 동일한 센서일 수 있다. 특히, 상기 피사체의 위치는 상기 제1 및 제2 이미지들이 상기 피사체를 통해 서로 다른 투영들을 제공하도록 단일의 소스 및 센서에 대해 수정될 수 있다.

각각의 2-차원 투영 이미지에 대한 상기 포착 데이터는 대응하는 전자기 방사 소스에서부터 대응하는 전자기 방사 센서에 이르기까지의 투영 경로들의 표시를 제공할 수 있다. 즉, 상기 포착 데이터는 상기 전자기 방사 소스 및 상기 전자기 방사 센서의 3-차원 공간에서의 상대 위치들을 나타낼 수 있다. 상기 제1 및 제2 포착 데이터 각각에 대한 상기 3-차원 공간은 일반적으로 동일한 좌표 프레임에 기반하여 이루어진다. 즉, 상기 제1 이미지에 대한 상기 포착 데이터에 의해 나타나게 되는 지점들의 위치는 상기 제2 이미지에 대한 상기 포착 데이터에 의해 나타나게 되는 지점들에 대해 결정될 수 있다.

상기 데이터의 3-차원 체적의 각각의 보셀에 대해, 상기 제1 값은 상기 제1 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어질 수 있으며, 상기 제1 이미지의 적어도 하나의 픽셀의 값 또는 각각의 픽셀의 값은 상기 제1 전자기 방사 소스에서부터 상기 제1 전자기 방사 센서의 픽셀 위치에 이르기까지의 투영 경로에 기반하여 결정되고 상기 제2 값은 상기 제2 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어질 수 있으며, 상기 제2 이미지의 적어도 하나의 픽셀의 값 또는 각각의 픽셀의 값은 상기 제2 전자기 방사 소스에서부터 상기 제2 전자기 방사 센서의 픽셀 위치에 이르기까지의 투영 경로에 기반하여 결정된다. 특정 투영 경로에 의해 교차하게 되는 각각의 보셀은 동일한 픽셀 값에 기반한 값을 지닐 수 있다. 상기 센서의 각각의 픽셀 위치는 일반적으로 상기 전자기 방사 소스 및 상기 전자기 방사 센서 간의 전자기 방사의 전체 감쇠를 나타내는 단일의 값을 제공한다. 그러나, 관련 포착 데이터에 기반하여 서로 다른 경로들을 따라 생성되는 지점들에 대한 이미지 데이터를 조합함으로써, 한 경로를 따른 서로 다른 지점들의 전체 감쇠에 대한 상이한 기여에 연관된 정보를 포함하는 데이터가 생성되고, 이 때문에 3-차원 데이터가 제공된다.

상기 제1 값은 상기 제1 이미지의 복수 개의 픽셀들의 가중 평균에 기반하여 이루어질 수 있으며 상기 제2 값은 상기 제2 이미지의 복수 개의 픽셀들의 가중 평균에 기반하여 이루어질 수 있다. 예를 들면, 상기 전자기 방사 소스에서부터 상기 전자기 방사 센서의 픽셀 위치에 이르기까지의 복수 개의 투영 경로들이 상기 보셀을 통과할 수 있으며, 상기 보셀에 대한 상기 제1 및 제2 값들은 상기 보셀을 통과하는 투영 경로를 지니는 각각의 픽셀 위치에 대한 대응하는 이미지에서의 픽셀 값들의 조합에 기반하여 이루어질 수 있다. 변형적으로 또는 추가로 상기 보셀들에 대한 상기 제1 및 제2 값들은 상기 보셀에 연관된 투영 경로가 통과하게 되는 픽셀 위치에 인접한 픽셀 위치들에 대한 복수 개의 픽셀 값들에 기반하여 이루어질 수 있다.

상기 포착 데이터는 대응하는 2-차원 투영 이미지에서 표현된 마커(marker)의 식별에 기반하여 생성될 수 있다. 상기 포착 데이터는 상기 마커의 크기, 상기 마커의 방향, 상기 투영 이미지에서 표현된 상기 마커의 형태 및 상기 마커의 위치로 이루어진 그룹으로부터 선택된 대응하는 2-차원 투영 이미지에서 표현된 상기 식별된 마커의 특성에 기반하여 생성될 수 있다. 상기 마커는, 예를 들면 브레이스(brace)일 수 있는, 교정 피사체 내의 특정 위치들에서 예를 들면 볼-베어링(ball-bearing)들을 포함하는 피사체에 대한 특정 배치에 위치해 있도록 이루어져 있는 교정 피사체에 의해 생성될 수 있다. 상기 볼-베어링들(또는 다른 적합한 피사체)은 전자기 방사를 강력하게 감쇠시키므로 상기 제1 및 제2 이미지들 내에서 쉽게 식별되어 공지된 방법들을 사용하여 포착 데이터를 생성하는데 사용될 수 있다.

상기 제1 및 제2 2-차원 투영 이미지들은 라디오그래프 이미지(radiograph image)들 또는 플루오로그래프 이미지(fluorograph image)들일 수 있다. 당업자라면 2개보다 많은 2-차원 투영 이미지가 상기 피사체의 상기 3-차원 표현을 생성하는데 사용될 수 있다는 점을 이해할 것이다. 예를 들면, 상기 컴퓨터-구현 방법은, 입력으로서 제3 2-차원 투영 이미지를 수신하는 것 및 입력으로서 상기 제3 2-차원 투영 이미지에 연관된 제3 포착 데이터를 수신하는 것을 더 포함할 수 있다. 상기 제3 2-차원 투영 이미지는 상기 피사체의 상기 3-차원 표현을 제공하는 데이터의 3-차원 체적을 생성하도록 상기 제3 2-차원 투영 이미지에 연관된 상기 제3 포착 데이터에 기반하여 상기 제1 및 제2 2-차원 투영 이미지와 조합될 수 있고, 각각의 보셀은 상기 제3 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 제3 값을 더 지닌다. 부가적인 2-차원 투영 이미지들이 대응하는 방식으로 조합될 수 있다.

본 발명의 제2 실시태양에 의하면, 한 부류의 피사체들을 모델화하는 모델을 생성하는 컴퓨터-구현 방법이 제공된다. 상기 컴퓨터-구현 방법은, 상기 한 부류의 피사체들의 복수 개의 피사체들 각각에 대하여, 입력으로서 상기 피사체의 제1 2-차원 이미지 및 상기 제1 2-차원 이미지에 연관된 제1 포착 데이터를 수신하는 것 및 입력으로서 상기 피사체 내에서의 복수 개의 관심 지점들을 나타내는 데이터를 수신하는 것을 포함한다. 상기 제1 2-차원 이미지는 복수 개의 관심 지점들을 나타내는 상기 데이터에 기반한 데이터를 포함하는 3-차원 이미지 데이터를 생성하도록 상기 제1 포착 데이터에 기반하여 처리되고 상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대해 상기 생성된 3-차원 이미지 데이터는 상기 모델을 생성하도록 처리된다.

그러므로, 본 발명의 제2 실시태양은 일반적으로 본 발명의 제1 실시태양에 의해 생성되는 형식의 3-차원 이미지 데이터를 모델화하는 모델을 생성하는 것을 포함한다.

상기 컴퓨터-구현 방법은, 상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대하여, 입력으로서 제2 2-차원 이미지 및 상기 제2 2-차원 이미지에 연관된 제2 포착 데이터를 수신하는 것을 더 포함할 수 있으며, 상기 처리는 상기 제1 및 제2 2-차원 투영 이미지들 각각에 연관된 상기 포착 데이터에 기반하여 상기 제1 및 제2 2-차원 이미지들을 조합하는 것을 포함한다.

상기 컴퓨터-구현 방법은, 상기 피사체의 3-차원 이미지를 수신하는 것, 상기 수신된 3-차원 이미지 및 상기 제1 포착 데이터에 기반하여 상기 피사체의 제1 2-차원 이미지를 생성하는 것 및 상기 수신된 3-차원 이미지 및 상기 제2 포착 데이터에 기반하여 상기 피사체의 제2 2-차원 이미지를 생성하는 것을 더 포함할 수 있다.

3-차원 이미지들을 사용하여, 부가적인 3-차원 이미지 데이터가 이러한 방식으로 생성될 수 있게 하는 2-차원 이미지들을 생성하는 것은 상기 생성된 모델이 보이지 않는 이미지 데이터에서 복수 개의 관심 지점들을 식별할 수 있도록 복수 개의 관심 지점들을 나타내는 데이터가 제공되는 것을 허용한다. 그러나, 상기 모델은 관심 지점들이 쉽게 식별될 수 없지만 용이하게 그리고 값싸게 획득될 수 있는 이미지 데이터에 끼워 맞추도록 트레이닝된다. 그러므로, 상기 모델은 그러한 이미지 데이터에 정확히 끼워 맞춰져서 상기 이미지 데이터의 특징들을 식별하는 것이 가능하다.

관심 영역을 구성하는 한 세트의 3-차원 이미지들은 한 세트의 컴퓨터 단층 촬영 이미지들 또는 관심 지점들이 쉽게 식별될 수 있으며 상기 2-차원 이미지들이 생성될 수 있는 어느 적합한 3-차원 이미지들일 수 있다.

관심 영역의 2-차원 이미지들을 생성하는 것은 상기 포착 데이터에 기반하여 상기 피사체를 통해, 전자기 방사 소스에서부터 상기 전자기 방사 소스에 연관된 전자기 방사 센서에 이르기까지의 경로를 나타내는 복수 개의 경로들을 결정하는 것 및 상기 이미지를 처리하여, 상기 복수 개의 경로들 각각에 대해, 상기 경로를 따른 상기 전자기 방사의 전체 감쇠의 표시를 제공하는 데이터 값을 생성하는 것을 포함할 수 있다. 예를 들면, 상기 3-차원 이미지들이 컴퓨터 단층 촬영 이미지들일 경우에, 상기 이미지들은 상기 피사체의 조성을 나타내는 데이터를 포함하며 이러한 데이터는 이론에 기반한 포착 데이터를 사용하여 상기 이론에 기반한 포착 데이터에 의해 나타나게 되는 이론에 기반한 소스 및 이론에 기반한 센서에 대응하는 지점들에 위치해 있는 미리 결정된 소스 및 센서를 사용하여 생성되는 X-레이 이미지에 상응하는 이미지를 생성하도록 처리될 수 있다. 즉, 상기 3-차원 이미지들은, 생성된 이미지 데이터가 이론에 기반한 전자기 방사 소스의 위치에서부터 이론에 기반한 센서의 위치에 위치해 있는 센서에 이르기까지 상기 3-차원 이미지 데이터에 의해 표현되는 피사체를 통해 전자기 방사를 투영함으로써 생성되게 되는 이미지 데이터에 상응하도록 이론에 기반한 센서 및 이론에 기반한 전자기 방사 소스의 위치를 나타내는 포착 데이터에 따라 처리될 수 있다.

상기 3-차원 이미지 데이터는 복수 개의 보셀(voxel)들을 포함할 수 있으며, 상기 3-차원 데이터의 각각의 보셀은 상기 제1 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 제1 값 및 상기 제2 2-차원 이미지의 적어도 하나의 픽셀에 기반한 제2 값을 지닌다. 상기 제1 값들은 상기 이론에 기반한 전자기 방사 소스에서부터 상기 이론에 기반한 센서의 적어도 하나의 픽셀 위치에 이르기까지의 경로에 기반하여 결정된 상기 제1 2-차원 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어지며 상기 제2 값들은 상기 이론에 기반한 전자기 방사 소스에서부터 상기 이론에 기반한 센서의 적어도 하나의 픽셀에 이르기까지의 경로에 기반하여 결정된 상기 제2 2-차원 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어질 수 있다. 상기 제1 및 제2 값들은 예를 들면 한 경로가 상기 보셀에 의해 표현되는 체적을 통과하는 대응하는 센서의 각각의 픽셀 위치에 대한 평균값에 기반하여 결정될 수 있다.

본 발명의 제2 실시태양은 본 발명의 제1 실시태양에 따라 생성된 이미지 데이터를 사용할 수 있다. 그러므로, 본 발명의 제1 및 제2 실시태양들은 어느 적합한 방식으로 조합될 수 있다. 예를 들면, 본 발명의 제1 실시태양에 따라 생성된 피사체의 3-차원 표현은 본 발명의 제2 실시태양에 따라 생성된 모델을 상기 피사체의 상기 3-차원 표현에 끼워 맞추도록 처리될 수 있으며 상기 피사체의 상기 3-차원 표현에서의 특징들이 상기 모델의 끼워 맞춤에 기반하여 식별될 수 있다.

본 발명의 실시태양들은 어느 간편한 형식으로 구현될 수 있다. 예를 들면 컴퓨터 프로그램들은 본원에 설명한 방법들을 수행하도록 제공될 수 있다. 그러한 컴퓨터 프로그램들은 적합한 유형(有形)의 저장 장치들(예컨대, 디스크들)을 포함하는 용어를 갖는 적합한 컴퓨터 판독가능 매체 상에 수록될 수 있다. 본 발명의 실시태양들은 또한 적절히 프로그램된 컴퓨터들을 통해 구현될 수 있다.

지금부터 본 발명의 실시예들이 단지 예로써 첨부도면들을 참조하여 설명될 것이다.

도 1은 공지된 투영 이미징 장치를 개략적으로 보여주는 도면이다.
도 2는 본 발명을 구현하기에 적합한 투영 이미징 장치를 개략적으로 보여주는 도면이다.
도 2a는 도 2의 투영 이미징 장치의 컴퓨터를 보여주는 개략적인 도면이다.
도 3은 본 발명의 한 실시예에서 이미지 데이터를 생성하는데 사용되는 프로세싱을 보여주는 흐름도이다.
도 4 및 도 5는 이미지 값들을 조합하여 이미지 데이터를 생성하는 것을 보여주는 도면들이다.
도 6은 체적을 통해 이미지 값들을 전달하는 것을 보여주는 도면이다.
도 7은 본 발명의 한 실시예에 따른 이미지들의 분석 시스템을 개략적으로 보여주는 도면이다.
도 8은 도 7의 시스템에서 이미지를 분석하도록 구현되는 프로세싱을 보여주는 흐름도이다.

도 1을 참조하면, 도 1에는 해부학적 관심 영역(1)의 특징들을 보여주는 이미지를 생성하는 것이 바람직한 해부학적 관심 영역(1)을 촬상(撮像)하는 투영 이미징 장치가 도시되어 있다. 상기 해부학적 관심 영역(1)은 예를 들면 외과적 수술을 필요로 하는 환자의 무릎 관절일 수 있으며, 외과적 수술을 하기 전에 상기 무릎 관절의 특징들을 결정하는 것이 바람직할 수 있다. 공지된 투영 이미징 기법들을 사용하는 경우에는, 전자기 방사 소스(2)가 상기 해부학적 관심 영역(1)을 통해 X-레이들과 같은 전자기 방사를 센서(3)에 투영하도록 이루어져 있다. 상기 전자기 방사 소스(2)에서부터 상기 센서(3)에 이르기까지의 전자기 방사의 경로로서, 상기 해부학적 관심 영역(1)을 통과하는 그러한 경로를 따른 각각의 지점은 그 지점의 밀도 및 조성에 기반하여 상기 해부학적 관심 영역(1)을 통해 투영되는 전자기 방사 중 일부분을 흡수한다. 상기 센서(3)에 의해 검출되는 전자기 방사는 상기 전자기 방사 소스에서부터 상기 센서에 이르기까지의 전자기 방사의 경로를 따라 상기 해부학적 관심 영역(1)의 밀도 및 조성을 나타내는 이미지(4)를 생성하는데 사용될 수 있다.

도 2에는 본 발명의 한 실시예에 따른 동일한 해부학적 관심 영역(1)을 촬상(撮像)하기에 적합한 투영 이미징 시스템이 도시되어 있다. 도 2의 투영 이미징 시스템은 해부학적 관심 영역(1)을 통해 전자기 방사를 제1 센서(6)에 투영하도록 배치된 제1 전자기 방사 소스(5) 및 해부학적 관심 영역(1)을 통해 전자기 방사를 제2 센서(8)에 투영하도록 배치된 제2 전자기 방사 소스(7)를 지닌다. 상기 제1 및 제2 전자기 방사 소스들(5, 7) 및 상기 제1 및 제2 센서들(6, 8)은 상기 제1 및 제2 센서들(6, 8)에 의해 검출된 전자기 방사가 서로 다른 경로들을 따라 해부학적 관심 영역(1)을 통과하도록 하는 서로 다른 2가지 방향으로부터 전자기 방사가 해부학적 관심 영역(1)을 통해 투영되도록 이루어져 있다. 상기 센서들(6, 8)의 각각의 센서로부터의 데이터는 컴퓨터(9)에 제공되며 이하에 설명되는 바와 같이 처리된다.

도 2a에는 상기 컴퓨터(9)가 좀더 구체적으로 도시되어 있다. 여기서 알 수 있는 점은 상기 컴퓨터가 랜덤 액세스 메모리의 형태를 취하는 휘발성 메모리(9b)에 저장된 명령어들을 판독 및 실행하도록 구성된 CPU(9a)를 포함한다는 점이다. 상기 휘발성 메모리(9b)는 상기 CPU(9a)에 의한 실행을 위한 명령들 및 그러한 명령들에 의해 사용되는 데이터를 저장한다. 예를 들면, 사용시, 도 2의 상기 센서들(6, 8)에 의해 생성되는 데이터는 상기 휘발성 메모리(9b)에 저장될 수 있다.

상기 컴퓨터(9)는 하드 디스크 드라이브(9c)의 형태를 이루는 비-휘발성 저장소를 부가적으로 포함한다. 상기 센서들(6, 8)에 의해 생성된 데이터는 상기 하드 디스크 드라이브(9c) 상에 저장될 수 있다. 상기 컴퓨터(9)는 상기 컴퓨터(9)와 관련하여 사용되는 주변 장치들에 접속되어 있는 I/O 인터페이스(9d)를 부가적으로 포함한다. 좀더 구체적으로 기술하면, 상기 컴퓨터(9)로부터의 출력을 디스플레이하도록 디스플레이(9e)가 구성되어 있다. 상기 디스플레이(9e)는 예를 들면 상기 센서들(6, 8)에 의해 생성된 데이터의 표현을 디스플레이할 수 있다. 입력 장치들은 또한 상기 I/O 인터페이스(9d)에 접속되어 있다. 이러한 입력 장치들은 상기 컴퓨터(9)와의 사용자 상호작용을 허용하는 키보드(9f) 및 마우스(9g)를 포함한다. 네트워크 인터페이스(9h)는 상기 컴퓨터(9)가 다른 컴퓨팅 장치들로부터 데이터를 수신하고 다른 컴퓨팅 장치들로 데이터를 전송하도록 적합한 컴퓨터 네트워크에 접속되는 것을 허용한다. 상기 CPU(9a), 휘발성 메모리(9b), 하드 디스크 드라이브(9c), I/O 인터페이스(9d), 및 네트워크 인터페이스(9h)는 버스(9i)에 의해 함께 접속되어 있다.

도 3에는 본 발명의 한 실시예에 따른 이미지 데이터를 생성하는 프로세싱이 도시되어 있다. 단계 S1에서는 제1 이미지 데이터가 수신되며 단계 S2에서는 제1 포착 데이터가 수신된다. 상기 제1 이미지 데이터는 도 2의 제1 센서(6)에 의해 생성된 데이터이고 상기 제1 포착 데이터는 상기 센서(6)와 상기 센서(6)에 연관된 상기 전자기 방사 소스(5)의 3-차원 공간에서의 상대 위치들을 나타낸다. 이 때문에, 단계 S2에서 수신된 제1 포착 데이터는 상기 센서(6)의 각각의 감지 위치에 대하여 상기 전자기 방사 소스(5)로부터 상기 해부학적 관심 영역(1)을 통해 상기 센서(6)로의 투영 경로를 결정하는데 사용될 수 있다. 단계 S3에서 제2 이미지 데이터가 수신되고 단계 S4에서 제2 포착 데이터가 수신된다. 상기 제2 이미지 데이터 및 상기 제2 포착 데이터는 일반적으로 상기 제1 이미지 데이터 및 상기 제1 이미지 포착 데이터에 각각 대응하지만 제2 전자기 방사 소스(6, 8)에 연관된 데이터이다.

상기 포착 데이터는 상기 제1 및 제2 이미지에서 식별될 수 있는 특징에 기반하여 생성될 수 있다. 예를 들면, 촬상(撮像) 영역은 상기 제1 및 제2 이미지들에서 식별될 수 있으며 특정 이미지 데이터를 생성하는데 사용된 상기 전자기 방사 소스 및 센서의 위치 및 방향의 표시를 제공하는 하나 이상의 마커(marker)를 포함할 수 있다. 상기 마커들은 교정 피사체 내의 특정 위치들에서 볼-베어링(ball-bearing)들을 포함하는 해부학적 관심 영역에 대한 특정 배치에 위치해 있도록 이루어진 교정 피사체와 같은 어느 간편한 형태를 취할 수 있다. 상기 볼-베어링들은 전자기 방사를 강력하게 감쇠시키므로 상기 제1 및 제2 이미지들 내에서 쉽게 식별될 수 있다.

단계 S5에서는 단계 S1 및 S3에서 수신된 제1 및 제2 이미지 데이터가 해부학적 관심 영역을 나타내는 체적(volume)의 각각의 보셀(voxel)에 대한 데이터 값들을 생성하도록 단계 S2 및 S4에서 수신된 제1 및 제2 포착 데이터에 기반하여 조합된다. 이하에서 구체적으로 설명되겠지만, 상기 제1 및 제2 이미지 데이터는 각각의 보셀이 한 쌍의 값들에 연관되도록 조합되고, 상기 한 쌍의 값들 중 하나는 상기 제1 이미지 데이터에 기반하여 이루어지며 상기 한 쌍의 값들 중 다른 하나는 상기 제2 이미지 데이터에 기반하여 이루어진다.

위에서 나타낸 바와 같이, 단계들 S1 및 S3에서 수신된 이미지 데이터는 투영 이미징 기법들로부터 생성된 데이터이고 이 때문에 상기 제1 및 제2 이미지 데이터의 각각의 픽셀 값은 전자기 방사 소스(5, 7)로부터 시작하여 픽셀 값을 결정하는 센서 위치에서 끝나는 투영 경로 상에서의 전자기 방사의 전체 감쇠를 나타낸다. 이 때문에, 각각의 픽셀 값은 상기 투영 경로를 따라 각각의 지점에서 제공되는 감쇠에 기반한 감쇠 정보를 포함한다. 비록 상기 투영 경로를 따른 일부 지점들이 상기 투영 경로를 따른 다른 지점들보다 많이 전자기 방사를 감쇠하지만, 각각의 경로에 대하여 단지 단일의 값이 각각의 이미지에 의해 제공된다. 예를 들면, 환자의 무릎 관절의 뼈에 있는 지점에서는 신호가 대폭 감쇠하게 되고, 단지 공기만이 차 있는 공간에 있는 지점에서는 신호가 무시할 수 있을 정도로 감쇠하게 되지만, 특정 픽셀 값에 기반하여 상기 투영 경로를 따른 지점들의 상이한 감쇠를 결정하는 것이 가능하지 않다. 그러나, 관련 포착 데이터에 기반하여 서로 다른 경로들을 따라 생성된 지점들에 대한 이미지 데이터를 조합함으로써, 한 경로를 따른 서로 다른 지점들의 전체 감쇠에 대한 상이한 기여에 연관된 정보를 포함하는 데이터가 생성되고, 이 때문에 3-차원 데이터가 제공된다.

도 4 및 도 5에는 제1 및 제2 이미지 데이터의 조합이 예시되어 있다. 도 4에는 해부학적 관심 영역을 나타내는 체적(10)이 도시되어 있다. 상기 체적(10)은 복수 개의 보셀들(11)을 포함하며, 상기 복수 개의 보셀(11)들 중 소수가 도 4에 도시되어 있으며 좀더 구체적으로는 도 5에 도시되어 있다. 각각의 보셀(11)은 한 쌍의 데이터 값들에 연관되어 있으며, 상기 한 쌍의 데이터 값들 중 하나는 상기 제1 이미지 데이터의 픽셀 값에 기반하여 이루어지고 상기 한 쌍의 데이터 값들 중 다른 하나는 상기 제2 이미지 데이터의 픽셀 값에 기반하여 이루어진다. 각각의 보셀에 대한 개별 이미지 데이터의 특정 픽셀 값은 전자기 방사 소스(5, 7)에서부터 상기 센서(6, 8)에 이르기까지의 경로에 기반하여 결정된다. 전자기 방사 소스(5)로부터 시작하여 센서 위치(13)에서 끝나는 제1 경로(12) 및 전자기 방사 소스(7)로부터 시작하여 센서 위치(15)에서 끝나는 제2 경로(14)는 도 4에 도시되어 있으며 각각의 경로(12, 14)는 상기 보셀들(11) 중 일부 보셀들에 대한 값들을 제공하는 센서 위치들(13, 15)에서 대응하는 단일 값을 생성한다.

상기 경로(12) 상에 있는 각각의 보셀(16, 17, 18)은 제1 값으로서 센서 위치(13)의 값을 취하며 상기 경로(14) 상에 있는 각각의 보셀(18, 19, 20)은 제2 값으로서 센서 위치(15)의 값을 취한다. 보셀들 중 각각의 보셀(16, 17)은 제2 값으로서 센서 위치(13)와는 다른 센서 위치에 기반한 값을 취하며 보셀들 중 각각의 보셀(19, 20)은 제1 값으로서 센서 위치(15)와는 다른 센서 위치에 기반한 값을 취한다. 이러한 방식으로, 각각의 보셀은 해부학적 관심 영역의 해당 부분의 감쇠 표시를 조합하여 제공하지만 2개의 교차 경로들을 따른 전체 감쇠에 기반하여 이루어지는 한 쌍의 값들을 취한다.

일부 실시예들에서는, 일부 또는 모든 보셀들이 복수 개의 경로들 상에 있을 수 있다. 즉, 전자기 방사 소스로부터 시작하여 복수 개의 센서 위치들에서 끝나는 복수 개의 경로들은 일부 또는 모든 보셀들을 통과할 수 있다. 한 보셀이 전자기 방사 소스로부터 시작하여 센서 위치들에서 끝나는 복수 개의 경로들 상에 있는 경우에, 상기 보셀은 그러한 센서 위치들의 값들의 조합에 기반한 값을 취할 수 있다. 예를 들면, 상기 경로 상의 센서 위치들의 값들은 가중 평균을 사용하여 조합될 수 있다. 변형적으로, 한 보셀은 한 센서 위치에 대한 단일 경로 상에 있을 수 있으며 상기 센서 위치 및 그러한 센서 위치에 인접한 센서 위치들의 값들은 상기 보셀에 대한 값을 제공하도록 평균화될 수 있다.

도 6에는 보셀들에 대한 값들을 제공하도록 한 체적을 통해 센서들(6, 8)과 같은 센서로부터 어느 정도의 픽셀 값들이 전달되는지가 예시되어 있다. 도 6에는 한 센서에 기반하여 생성되는 2-차원 이미지에 상응하는 값들을 지니는 한 측면(25)을 갖는 3-차원 체적이 도시되어 있다. 상기 2-차원 이미지는 전자기 방사가 일반적으로 방향(26)으로 해부학적 관심 영역을 통과하게 함으로써 생성되고, 이 때문에 상기 측면(25)의 값들은, 측면(25)의 면을 이루는 체적을 통한 각각의 슬라이스(slice)가 동일한 값들을 지니게 되는 체적을 형성하도록 방향(26)으로 전달된다. 단계(S5)에서 생성된 이미지 데이터는 2개의 그러한 체적의 데이터 값들을 조합함으로써 생성되고, 상기 조합은 각각의 보셀이 한 방향보다 많은 방향으로 해당 지점의 감쇠를 나타내는 값들을 지니도록 해당 지점들이 결정되는 것을 허용하는 포착 데이터에 기반하여 결정된다.

도 3의 단계 S5에서 생성된 이미지 데이터는 해부학적 관심 영역의 특징들을 식별하도록 처리된다. 도 7을 참조하면, 위에서 설명한 컴퓨터(9)와 같은 컴퓨터 또는 상기 컴퓨터(9)와 같은 형태의 컴퓨터일 수 있는 컴퓨터(30)가 위에서 설명한 방식으로 생성되는, 해부학적 관심 영역의 이미지 데이터(31)를 수신하고 그리고 모델(32)을 수신하도록 구성된다. 상기 모델(32)은 상기 모델(32)의 파라미터 표시(parameterisation)를 생성하도록 상기 이미지 데이터(31)에 끼워 맞춰진다. 상기 모델(32)은, 이하에서 설명되겠지만 이미지 데이터(31)에 대응하는 방식으로 생성되는, 이미지 데이터(31)의 대상(subject)인 해부학적 관심 영역과 동일한 타입의 한 세트의 해부학적 관심 영역들의 트레이닝 이미지들에 기반하여 생성되었던, 활동적 외관 모델(active appearance model) 또는 활동적 형태 모델(active shape model)과 같은 통계적 모델이다. 상기 모델(32)은 상기 트레이닝 이미지들 내에서의 변화의 통계적 모델이며 한 세트의 트레이닝 이미지들을 처리하여 평균 모델 및 상기 한 세트의 트레이닝 이미지들의 평균 모델로부터의 변화 범위를 생성하는 방식으로 생성된다. 컴퓨터(30)에 의해 생성되는 매개변수 표시(33)는 이미지 데이터(31)에 의해 표현되는 해부학적 관심 영역의 특징들을 나타내므로 표현된 해부학적 관심 영역의 특징들을 식별하는데 사용될 수 있다.

이하에서 설명되는 프로세싱은 한 세트의 트레이닝 이미지 데이터에 기반하여 만들어진 모델 M을 참조할 것이다. 상기 모델 M은 한 세트의 트레이닝 이미지 데이터에 기반하여 만들어진 통계적 모델이며 위에서 설명한 바와 같이 이미지 데이터에서 관심 있는 특징들의 모델이다. 당업자라면 이해하겠지만, 상기 모델 M의 생성 및 끼워 맞춤은 어느 간편한 방식으로 수행될 수 있다. 예를 들면, 상기 모델 M은, 전체 내용이 본원에 참조 병합되는 미국 특허 제7584080에 기재되어 있는 매개변수 표시 기법을 사용하여 생성될 수 있다.

상기 모델 M이 관심 지점들을 식별하기 위해, 그러한 관심 지점들은 한 세트의 트레이닝 이미지들로 나타나게 된다. 그러한 한 세트의 관심 지점들은 모델화될 피사체의 특징들에 기반하여 선택된다. 예를 들면, 모델화될 피사체가 무릎 관절인 경우에, 관심 지점들은 상기 무릎 관절의 해부학적 특징들에 기반하여 선택될 수 있다.

상기 모델이 위에서 설명한 바와 같이 이미지 데이터에 정확히 끼워 맞춰질 수 있게 하기 위해, 상기 모델이 가능한 한 꼭 맞게 끼워 맞춰지게 되는 이미지 데이터에 한 세트의 트레이닝 이미지 데이터가 대응하는 것이 바람직하다. 이 때문에, 상기 모델은 위에서 설명한 바와 같은 포착 데이터 및 라디오그래프 이미지들로부터 생성되는 3-차원 이미지 데이터와 아울러, 상기 3-차원 이미지 데이터에 내재하는 한 세트의 관심 지점들에서 트레이닝될 수 있다. 그러나, 위에서 설명한 형식의 한 세트의 트레이닝 이미지 데이터를 수작업으로 마킹(marking)하는 것이 문제인데, 그 이유는 상기 이미지 데이터가 3-차원 이미지 데이터를 표현하고 있지만, 상기 이미지 데이터가 관심 지점들을 나타낼 정도로 인간에 의해 쉽게 해석될 수 없기 때문이다. 그러므로, 상기 관심 지점들은 예를 들면, 3-차원 이미지 데이터가 생성되게 하는 라디오그래프 이미지들의 대상과 동일한 해부학적 관심 영역의 CT 이미지에 나타나게 될 수 있으며, 상기 관심 지점들은 정합 방법(registration method)들을 사용하여 3-차원 이미지 데이터에 위치해 있을 수 있다. 예를 들면, 관심 지점들은, 상기 CT 이미지의 2-차원 투영 상에 3-차원 이미지 데이터의 2-차원 투영이 일치할 때까지 상기 3-차원 이미지 데이터를 수작업으로 조정함으로써 상기 3-차원 이미지 데이터에 위치해 있을 수 있다.

변형적으로는, 상기 모델 M이 끼워 맞춰지게 되는 이미지 데이터에 상응하는 형식의 이미지 데이터이며 마킹된 미리 결정된 관심 지점들을 지니는 모델 M의 생성에 적합한 트레이닝 이미지 데이터는 지금부터 설명되는 방식으로 생성될 수 있다.

도 8을 참조하면, 도 8에는 트레이닝 이미지를 생성하는 프로세싱이 도시되어 있다. 단계 S10에서는, 3-차원 이미지 데이터가 수신된다. 3-차원 이미지 데이터는 예를 들면, 인간 전문가가 해부학적 특징들을 식별할 수 있게 하는 해부학적 관심 영역의 3-차원 표현을 제공하는 X-레이 '컴퓨터 단층 촬영(Computed Tomography; CT)' 이미지 데이터일 수 있다. 단계 S11에서는, 상기 3-차원 이미지 데이터에서 관심 지점들을 나타내는 데이터가 수신된다. 상기 관심 지점들은 인간 전문가가 3-차원 이미지 데이터를 수작업으로 마킹함으로써 제공되며 위에 나타낸 바와 같이 모델화될 피사체의 특징들에 기반하여 선택된다. 단계 S12에서는 제1 이미지 데이터가 단계 S10에서 수신된 이미지로부터 생성되고 단계 S13에서 제2 이미지 데이터가 생성된다. 상기 제1 및 제2 이미지 데이터의 생성은 이하에서 좀더 구체적으로 설명될 것이다.

상기 제1 및 제2 이미지 데이터 각각은 단계 S10에서 수신된 3-차원 이미지 데이터를 처리해 포착 데이터에 기반하여 3-차원 이미지 데이터의 2-차원 표현을 생성하는 방식으로 생성되고 각각의 2-차원 표현은, 이러한 각각의 2-차원 표현이 도 2를 참조하여 위에서 설명한 바와 같이 생성되는 투영 이미지와 같은 형식을 지니도록 생성된다.

즉, 단계 S10에서 수신된 3-차원 이미지 데이터는 3-차원 이미지 데이터에 의해 표현되는 체적에서의 각각의 지점의 밀도 및 감쇠의 표시를 제공한다. 전자기 방사를 검출하도록 배치된 이론에 기반한 센서 및 이론에 기반한 전자기 방사 소스의 3-차원 공간에서 이론에 기반한 상대 위치들을 나타내는 포착 데이터는 3-차원 이미지 데이터에 의해 표현되는 체적을 통해 이론에 기반한 경로들을 생성하도록 처리될 수 있다. 3-차원 이미지 데이터에 의해 표현되는 체적에서의 각각의 지점의 감쇠가 알려져 있으므로, 각각의 이론에 기반한 경로를 따른 전체적인 감쇠가 결정될 수 있고 이론에 기반한 전자기 방사 소스에서부터 이론에 기반한 센서에 이르기까지 3-차원 이미지 데이터로 표현되는 해부학적 관심 영역을 통해 전자기 방사를 투영함으로써 생성되는 2-차원 이미지에 대응하는 이미지가 생성될 수 있다.

단계 S14에서는 단계 S12 및 S13에서 생성되는 제1 및 제2 이미지 데이터가 부가적인 3-차원 이미지 데이터를 생성하도록 도 3을 참조하여 위에서 설명한 방식으로 이미지들을 생성하는데 사용되는 해당 포착 데이터에 기반해 처리된다. 상기 부가적인 3-차원 이미지 데이터는 단계 S10에서 수신된 3-차원 이미지 데이터와 동일한 3-차원 좌표 프레임으로 생성되므로 단계 S11에서 수신된 관심 지점들의 위치는 생성된 3-차원 이미지 데이터로 관심 지점들의 위치를 나타낸다.

상기 부가적인 3-차원 이미지 데이터가 단계 S10에서 수신된 3-차원 이미지 데이터로 관심 지점들을 나타내는 데이터를 포함하므로, 이는 결과적으로 특정 모델을 트레이닝하여 이를 위에서 설명한 바와 같이 이미지 데이터에 끼워 맞추는데 적합하다. 더군다나, 상기 부가적인 3-차원 이미지 데이터가 이전에 보이지 않던 이미지 데이터로부터 위에서 설명한 바와 같이 생성되는 이미지 데이터에 대응하는 방식으로 상기 부가적인 3-차원 이미지 데이터가 생성되므로, 상기 부가적인 3-차원 이미지 데이터 상에서 트레이닝되는 모델은 도 3을 참조하여 위에서 설명한 바와 같이 생성되는 이미지 데이터에 정확히 끼워 맞춰질 수 있다.

위에서 설명한 바와 같이, 해부학적 관심 영역을 나타내는 체적의 각각의 보셀에 대한 데이터 값들을 생성하기 위해 도 3의 단계 S5에서 2개의 이미지가 개별 포착 데이터에 기반하여 조합된다. 그러나, 당업자라면 해부학적 관심 영역을 표현하는 체적의 각각의 보셀에 대한 데이터 값들이 포착 데이터에 기반하는 단일 이미지로부터 생성될 수 있다는 점을 이해할 것이다. 특히, 상기 포착 데이터에 의해 나타나게 되는 바와 같은 경로에 있는 상기 체적의 각각의 보셀은 도 6을 참조하여 위에서 설명한 방식으로 상기 이미지의 픽셀에 기반하는 값을 취할 수 있다. 이러한 방식으로, 해부학적 관심 영역의 3-차원 표현이 단일의 2-차원 이미지로부터 생성될 수 있으며 상기 3-차원 표현은 상기 단일의 이미지에 의해 표현되는 해부학적 관심 영역의 특징들을 나타내는 매개변수 표시를 생성하도록 도 7의 시스템을 사용하여 처리될 수 있다.

해부학적 관심 영역의 3-차원 표현이 도 7의 시스템에 의해 단일의 2-차원 이미지로부터 생성되는 경우에, 도 7의 모델(32)은 동일한 방식으로 생성된 3-차원 표현들 상에서 트레이닝된 모델이며 상기 2-차원 투영에서 보이는 특징들보다 오히려 3-차원에서의 해부학적 관심 영역의 특징들의 표시를 포함한다. 이 때문에, 모델 끼워 맞춤을 사용하여 2-차원 이미지에서 시각적으로 식별될 수 없는 특징들을 식별하는 것이 여전히 가능하다.

상기 모델은 예를 들면 이하에서 양자 모두 설명되는 형태 모델 또는 외관 모델일 수 있다. 그러나, 당업자라면 예를 들어 한 세트의 제약들 내에서 변형하도록 허용되는 전형적이거나 평균적인 예의 형식을 취하는 변형가능한 템플릿들 또는 변형가능한 좌표근방계(atlas)들과 같은 다른 모델들이 사용될 수 있다는 점을 이해할 것이다. 변형가능한 모델들의 개요는 전체 내용이 본원에 참조 병합되는 「Tim Mclnerney 및 Demetri Terzopoulos "Deformable Models in Medical Image Analysis: A Survey", Medical Image Analysis, 1(2):91-108, 1996」에 제공되어 있다.

이하의 설명은 각각의 픽셀 위치가 단일 값을 취하고 있으며 형태 및 외관이 모델화되어 있는 2-차원 이미지 데이터에 기반하여 이루어진 것이지만, 당업자라면 각각의 보셀 위치가 한 터플(tuple)의 값들을 취하고 있는 3-차원 이미지 데이터에 그 원리들이 적용될 수 있다는 점을 이해할 것이다. 비록 본 발명에서 상기 모델을 트레이닝하는데 사용되는 이미지 데이터가 일반적으로 인간 전문가가 쉽게 해석할 수 있는 형식의 것이 아니더라도, 이하에서 설명되는 타입의 모델들은 관심 지점들이 쉽게 식별되게 하는 이미지들을 표현하는 개수들의 집합들에 영향을 미치기 때문에 인간이 해석하기에 어려운 데이터의 형식은 문제시되지 않는다.

상기 모델이 형태 모델인 경우에, 위에서 설명한 방식으로 생성되는 각각의 트레이닝 이미지에 연관된 한 세트의 관심 지점들은 선택된 지점들의 좌표들의 연결(concatenation)을 포함하는 형태 벡터에 의해 표현된다. 각각의 픽셀이 단일 값을 갖는 2-차원 이미지 데이터의 경우에, 특정한 트레이닝 이미지 데이터에 대한 형태 벡터 x는 이하의 수학식 1과 같은 형식을 취하며,

상기 수학식 1에서,

n은 상기 이미지에서의 관심 지점들의 개수이다.

평균 형태 벡터

는 이하의 수학식 2에 따라 계산될 수 있다.

상기 수학식 2에서,

은 트레이닝 이미지들의 개수이며,

는 트레이닝 이미지 i를 표현하는 벡터이다.

한 형태 벡터가 각각의 트레이닝 이미지에 대한 것인 복수 개의 형태 벡터들은 매트릭스

를 생성하는데 사용될 수 있는데, 상기 매트릭스

에서는 각각의 행(row)이 형태 벡터를 표현하고 있다.

개별 트레이닝 이미지에서 선택되는 지점들에 의해 표현되는 형태들 각각은, 상기 개별 트레이닝 이미지에서 선택되는 지점들의 동심(centroid)들이 일치하며 각각의 이미지의 지점들 및 평균 형태상의 지점들 간의 제곱 차들의 합(sum of squared differences)이 최소화되게 하도록 병진, 회전 및 스케일링된다.

공분산 매트릭스(covariance matrix; S)는 먼저 수학식 2를 사용하여 평균 형태 벡터를 계산함으로써 정렬된 형태들로부터 생성될 수 있다. 상기 한 세트의 트레이닝 이미지에서의 각각의 트레이닝 이미지의 경우에, 평균 형태로부터의 편차는 이하의 수학식 3으로부터 계산될 수 있다.

이때, 공분산 매트릭스(S)는 이하의 수학식 4를 사용하여 계산된다.

상기 공분산 매트릭스(S)의 고유벡터들이 결정될 수 있으며 t개의 최상위 고유벡터의 매트릭스 P가 만들어질 수 있다.

이러한 방식으로, 어떤 형태라도 이하의 수학식 5에 의해 제공되는 형태 모델에 따라 표현될 수 있고,

상기 수학식 5에서,

는 상기 형태를 표현하는 벡터이고,

는 (수학식 2에 따라) 한 세트의 트레이닝 이미지들의 형태 벡터들로부터 생성되는 평균 형태 벡터이며,

는 위에서 설명한 고유벡터들의 매트릭스이고, 그리고

는 상기 형태에 대하여 벡터

를 생성하도록 상기 매트릭스

의 고유벡터들에 적용될 가중치들의 t-요소 벡터이다.

의 성분들

은 형태 매개변수들이라고 언급된다. 고유벡터들

는 각각의 고유벡터에 연관된 트레이닝 형태들에 걸친 관측 분산을 설명하는, 고유벡터들

의 고유값

에 따라 저장된다. 다시 말해, 상기 고유값

는 상기 고유벡터들 각각에 의해 설명되는 평균 형태로부터의 분산 비율들을 표현한 것이다.

의 값을 선택함으로써, 상기 모델은 상기 트레이닝 형태들에서 관측되는 전체 분산의 일부 선택된 비율을 표현하도록 만들어질 수 있다.

상기 매트릭스

에 포함되어 있는 각각의 고유벡터는 모델화된 형태의 변화 모드를 표현한 것이다. 상기 벡터

의 요소들의 값들을 변화시키는 것은 상기 트레이닝 이미지들의 이미지들 내에서 관측되는 범위에서의 형태들의 생성을 허용한다. 즉, 상기 벡터

의 한 요소

의 변화는 상기 모델화된 형태의 한 특징에 영향을 주게 되지만, 상기 벡터

의 다른 한 요소

의 변화는 상기 모델화된 형태의 상이한 특징에 영향을 주게 된다.

외관 모델은 위에서 설명한 형태 모델을 확장한 것이다. 위에서 설명한 바와 같이, 개별 트레이닝 이미지에서 선택된 지점들의 동심들이 일치하며 각각의 이미지의 지점들 및 평균 형상 상의 지점들 간의 제곱 차들의 합이 최소화되게 하도록 개별 트레이닝 이미지에서 선택된 지점들이 병진, 회전 및 스케일링된 후에 그레이-레벨(grey-level) 외관의 통계적 모델을 만들어내기 위해, 그레이-레벨 정보

은, 상기 이미지를 정규화(normalising)하여 전체 조명 변화의 효과를 최소화한 후에, 상기 평균 형태

에 의해 포함되는 영역에 걸쳐 상기 이미지로부터 샘플링된다. 상기 형태 모델을 결정하는 위에 기재한 방법(수학식 5)을 상기 그레이-레벨 데이터에 적용하면, 그레이-레벨 모델이 이하의 수학식 6에 도시된 바와 같이 획득되고,

상기 수학식 6에서,

는 평균 정규화된 그레이-레벨 벡터이고,

는 고유벡터들의 매트릭스이며, 그리고

는 한 세트의 그레이-레벨 매개변수들이다.

(수학식 5에서의) 벡터

및 (수학식 6에서의) 벡터

의 요소들의 값들을 변화시키는 것은 상기 트레이닝 이미지들의 이미지들 내에서 관측되는 범위에서의 형태들 및 그레이-레벨 이미지들의 생성을 허용한다.

상기 트레이닝 이미지들에서의 형태 및 그레이-레벨 변화 간의 관계가 포획되게 하기 위해, 벡터

가 이하의 수학식 7에 따라 각각의 트레이닝 이미지에 대하여 생성되고,

상기 수학식 7에서,

는 벡터

에서 각각의 형태 매개변수에 연관된 가중치들의 대각선 매트릭스(diagonal matrix)이다.

상기 매트릭스

는 형태 모델 및 그레이 레벨 모델 간의 단위들의 차를 허용하도록

의 값들을 조정한다.

이하의 수학식 8에 도시된 부가적인 모델은 모델들(수학식 5 및 6)을 생성하도록 위에서 설명한 방법을 사용하여 한 세트의 연결 벡터(concatenated vector)들

로부터 생성되고,

상기 수학식 8에서,

는 고유벡터들의 매트릭스이며, 그리고

는 외관 매개변수들의 벡터이다.

수학식 8의 모델이 선형이므로, 형상 및 그레이-레벨들은 이하의 수학식 9에 따라

의 함수들로서 직접 표기될 수 있고,

상기 수학식 9에서,

고유벡터들의 매트릭스

이다.

대표적인 이미지는 벡터

로부터 형태에 구애받지 않는 그레이-레벨 이미지를 생성하고 이를

로 설명된 제어 지점들을 사용하여 워핑(warping)함으로써 주어진

에 대해 합성될 수 있다.

상기 데이터가 위에서 설명한 형식의 것인 경우에, 이하의 수학식 10의 데이터 변화가 그레이-레벨 변화보다는 오히려 모델화되고,

상기 수학식 10에서,

은 포착 데이터에 기반하여 3-차원 공간

의 좌표들을 지니는 보셀

에 연관된 것으로 결정되는 제1 이미지 데이터의 픽셀 값이고,

는 포착 데이터에 기반하여 보셀

에 연관된 것으로 결정되는 제2 이미지 데이터의 픽셀 값이며, 그리고

는 보셀

에 대한 한 튜플의 픽셀 값들이다.

일반적으로 말해, 모델 끼워 맞춤의 목적은 보이지 않는 이미지에 모델을 가장 알맞게 끼워 맞추는 한 세트의 매개변수들

를 결정하는 것이다. 이를 수행하기 위한 한가지 방법은 이하에서 설명되는 활동적 외관 모델들을 사용하는 것이다.

활동적 외관 모델은 상기 모델에 의해 생성된 재구성된 이미지 및 하부 타깃 이미지

간의 차를 사용하여 모델 매개변수들을 더 나은 값들로 반복해서 적용시키는 것이다. 사전 학습 스테이지(prior learning stage)에서는, 외관 매개변수들의 벡터에 대해 공지된 변위들

는 공지된 모델 인스턴트들에 적용되고 모델 및 이미지 간의 결과적인 차

이 측정되는데, 여기서

는 상기 이미지

에서의 그레이-레벨 값들의 벡터이고

은 현재 모델 매개변수들

에 대한 그레이-레벨 값들의 벡터이다. 다변량 선형 회기(multivariate linear regression)가 한 대형 세트의 그러한 트레이닝 변위들에 적용되고 근사 선형(approximate linear) 관계

가 확립된다.

모델 및 이미지

간의 최선의 매치(best match)를 식별하기 위해 차 벡터

의 크기는 모델 끼워 맞춤을 개선하는 모델 매개변수들 에 대한 조정을 예측하도록 상기 학습 스테이지 동안 학습된 선형 관계를 사용하여 최소화된다. 상기 모델 매개변수들

는

에 대해 어떠한 개선도 이루어지지 않을 때까지 반복해서 조정된다. 상기 활동적 외관 모델들은 본원에 참조 병합되는 「T.F. Cootes, C.J. Edwars, C.J. Taylor "Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, Volume 23, Issue 6」에 구체적으로 설명되어 있다.

상기 모델은 예를 들면, 본원에 참조 병합되는 본원 출원인 명의의 공동 계류중인 미국 특허출원 제12/703438호에 설명되어 있는 바와 같이 이미지의 관심 영역을 함께 모델화하는, 이미지에 복수 개의 모델들을 끼워 맞추는 방식으로 어느 간편한 방식으로 보이지 않는 이미지에 끼워 맞춰질 수 있다.

당업자라면 제1 및 제2 이미지 데이터가 이미지 데이터를 생성하도록 조합됨이 위의 설명에 나타나 있지만, 보셀들이 조합된 이미지 데이터 각각에 기반한 데이터 값들을 갖는 체적을 제공하도록 2개보다 많은 이미지 데이터가 조합될 수 있다는 점을 이해할 것이다. 더군다나, 위의 설명에서는 2개의 전자기 방사 소스 및 2개의 센서가 사용됨이 나타나 있지만, 당업자라면 단일의 전자기 방사 소스 및 센서가 위에서 설명한 바와 같이 서로 다른 이미지들을 제공하는데 사용될 수 있다는 점을 이해할 것이다. 예를 들면, 상기 전자기 방사 소스 및 센서는 해부학적 관심 영역에 대하여 이동될 수도 있고 변형적으로는 해부학적 관심 영역이 위에서 설명한 바와 같이 상이한 이미지를 생성하도록 상기 전자기 방사 소스 및 센서에 대하여 이동될 수 있다.

상기 센서는 필름 또는 전자식 센서와 같이 어느 간편한 형식을 취할 수 있다.

비록 본 발명의 특정 실시예들이 위에서 설명되었더라도, 당업자라면 본 발명의 정신 및 범위로부터 벗어나지 않고 위에서 설명한 실시예들에 대한 여러 변형예가 이루어질 수 있다는 점을 이해할 것이다. 즉, 위에서 설명한 실시예들은 모든 측면에서 대표적인 것이고 비-제한적인 것으로 간주하여야 한다. 특히, 특정 프로세싱에 대하여 특정 형식이 설명된 경우에, 당업자라면 그러한 프로세싱이 적합한 출력 데이터를 제공하도록 배치되는 임의의 적합한 형식으로 수행될 수 있다는 점을 이해할 것이다.

Claims

피사체(object)의 3-차원 표현을 생성하는 컴퓨터-구현 방법으로서,
상기 컴퓨터-구현 방법은,
입력으로서 제1 2-차원 투영 이미지를 수신하는 것;
입력으로서 상기 제1 2-차원 투영 이미지에 연관된 포착 데이터를 수신하는 것;
상기 포착 데이터에 기반하여 상기 제1 2-차원 투영 이미지를 처리해 상기 피사체의 상기 3-차원 표현을 제공하는 데이터의 3-차원 체적을 생성하는 것;
을 포함하며,
상기 데이터의 3-차원 체적은 복수 개의 보셀(voxel)들을 포함하며, 각각의 보셀은 상기 제1 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 값을 지니는, 컴퓨터-구현 방법.
제1항에 있어서,
상기 컴퓨터-구현 방법은,
입력으로서 관심 영역을 모델화하는 모델을 수신하는 것;
상기 모델을 상기 피사체의 상기 3-차원 표현에 끼워 맞추는 것; 및
상기 모델의 상기 끼워 맞춤에 기반하여 상기 피사체의 상기 3-차원 표현에서의 특징들을 식별하는 것;
더 포함하는, 컴퓨터-구현 방법.
제2항에 있어서, 상기 끼워 맞춤은 강체 정합, 비-강체 정합, 활동적 형태 모델링 및 활동적 외관 모델링으로 이루어진 그룹으로부터 선택된 끼워 맞춤 기법을 적용하는 것을 포함하는, 컴퓨터-구현 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 컴퓨터-구현 방법은,
입력으로서 제2 2-차원 투영 이미지를 수신하는 것;
입력으로서 상기 제2 2-차원 투영 이미지에 연관된 포착 데이터를 수신하는 것;
을 더 포함하며,
상기 처리는 상기 제1 및 제2 2-차원 투영 이미지들 각각에 연관된 상기 포착 데이터에 기반하여 상기 제1 및 제2 2-차원 투영 이미지들을 조합하는 것을 포함하고, 각각의 보셀은 상기 제1 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 제1 값 및 상기 제2 2-차원 이미지의 적어도 하나의 픽셀에 기반한 제2 값을 지니는, 컴퓨터-구현 방법.
제4항에 있어서, 상기 제1 투영 이미지는 제1 전자기 방사 소스에서부터 제1 전자기 방사 센서에 이르기까지 상기 피사체를 통해 전자기 방사를 투영함으로써 생성되고 상기 제2 투영 이미지는 제2 전자기 방사 소스에서부터 제2 전자기 방사 센서에 이르기까지 상기 피사체를 통해 전자기 방사를 투영함으로써 생성되는, 컴퓨터-구현 방법.
제5항에 있어서, 각각의 2-차원 투영 이미지에 대한 상기 포착 데이터는 대응하는 전자기 방사 소스에서부터 대응하는 전자기 방사 센서에 이르기까지의 투영 경로들의 표시를 제공하는, 컴퓨터-구현 방법.
제6항에 있어서, 상기 데이터의 3-차원 체적의 각각의 보셀에 대해, 상기 제1 값은 상기 제1 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어지며, 상기 제1 이미지의 적어도 하나의 픽셀의 값 또는 각각의 픽셀의 값은 상기 제1 전자기 방사 소스에서부터 상기 제1 전자기 방사 센서의 픽셀 위치에 이르기까지의 투영 경로에 기반하여 결정되고 상기 제2 값은 상기 제2 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어지며, 상기 제2 이미지의 적어도 하나의 픽셀의 값 또는 각각의 픽셀의 값은 상기 제2 전자기 방사 소스에서부터 상기 제2 전자기 방사 센서의 픽셀 위치에 이르기까지의 투영 경로에 기반하여 결정되는, 컴퓨터-구현 방법.
제7항에 있어서, 상기 제1 값은 상기 제1 이미지의 복수 개의 픽셀들의 가중 평균에 기반하여 이루어지며 상기 제2 값은 상기 제2 이미지의 복수 개의 픽셀들의 가중 평균에 기반하여 이루어지는, 컴퓨터-구현 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 포착 데이터는 대응하는 2-차원 투영 이미지에서 표현되는 마커(marker)의 식별에 기반하여 생성되는, 컴퓨터-구현 방법.
제9항에 있어서, 상기 포착 데이터는 상기 마커의 크기, 상기 마커의 방향 및 상기 마커의 위치로 이루어진 그룹으로부터 선택된 대응하는 2-차원 투영 이미지에서 표현된 상기 식별된 마커의 특성에 기반하여 생성되는, 컴퓨터-구현 방법.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 2-차원 투영 이미지들 또는 각각의 2-차원 투영 이미지들은 라디오그래프 이미지(radiograph image)들 또는 플루오로그래프 이미지(fluorograph image)들인, 컴퓨터-구현 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 컴퓨터-구현 방법은,
입력으로서 하나 이상의 부가적인 2-차원 투영 이미지들을 수신하는 것; 및
입력으로서 상기 하나 이상의 2-차원 투영 이미지들 각각에 연관된 대응하는 포착 데이터를 수신하는 것;
을 더 포함하며,
상기 하나 이상의 부가적인 2-차원 투영 이미지들 각각은 상기 피사체의 상기 3-차원 표현을 제공하는 데이터의 3-차원 체적을 생성하도록 상기 하나 이상의 2-차원 투영 이미지들 각각에 연관된 상기 대응하는 포착 데이터에 기반하여 상기 제1 및 제2 2-차원 투영 이미지와 조합되고, 각각의 보셀은 상기 하나 이상의 부가적인 2-차원 투영 이미지들 각각의 적어도 하나의 픽셀에 기반한 대응하는 부가적인 값을 더 지니는, 컴퓨터-구현 방법.
컴퓨터로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하게 하도록 구성된 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램.
제13항에 따른 컴퓨터 프로그램이 수록된 컴퓨터 판독가능 매체.
피사체(object)의 3-차원 표현을 생성하는 컴퓨터 장치로서,
상기 컴퓨터 장치는,
프로세서 판독가능 명령어들이 저장되어 있는 메모리; 및
상기 메모리에 저장된 명령어들을 판독 및 실행하도록 구성된 프로세서;
를 포함하며,
상기 프로세서 판독가능 명령어들은 상기 컴퓨터 장치를 제어하여 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하도록 구성된 명령어들을 포함하는, 컴퓨터 장치.
한 부류의 피사체들을 모델화하는 모델을 생성하는 컴퓨터-구현 방법으로서,
상기 컴퓨터-구현 방법은,
상기 한 부류의 피사체들의 복수 개의 피사체들 각각에 대하여:
입력으로서 상기 피사체의 제1 2-차원 이미지 및 상기 제1 2-차원 이미지에 연관된 제1 포착 데이터를 수신하는 것;
입력으로서 상기 피사체 내에서의 복수 개의 관심 지점들을 나타내는 데이터를 수신하는 것;
상기 제1 포착 데이터에 기반하여 상기 제1 2-차원 이미지를 처리해, 복수 개의 관심 지점들을 나타내는 상기 데이터에 기반한 데이터를 포함하는 3-차원 이미지 데이터를 생성하는 것; 및
상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대해 상기 생성된 3-차원 이미지 데이터를 처리하여 상기 모델을 생성하는 것;
을 포함하는, 컴퓨터-구현 방법.
제16항에 있어서,
상기 컴퓨터-구현 방법은,
상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대하여:
입력으로서 제2 2-차원 이미지 및 상기 제2 2-차원 이미지에 연관된 제2 포착 데이터를 수신하는 것;
을 더 포함하며,
상기 처리는 상기 제1 및 제2 2-차원 투영 이미지들 각각에 연관된 상기 포착 데이터에 기반하여 상기 제1 및 제2 2-차원 이미지들을 조합하는 것을 포함하는, 컴퓨터-구현 방법.
제16항에 있어서, 상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대한 상기 수신된 제1 2-차원 이미지는,
상기 피사체의 3-차원 이미지를 수신함으로써; 그리고
상기 수신된 3-차원 이미지 및 상기 제1 포착 데이터에 기반하여 상기 피사체의 상기 제1 2-차원 이미지를 생성함으로써
생성되고,
상기 한 부류의 피사체들의 상기 복수 개의 피사체들 각각에 대한 상기 수신된 제2 2-차원 이미지는,
상기 수신된 3-차원 이미지 및 상기 제2 포착 데이터에 기반하여 상기 피사체의 상기 제2 2-차원 이미지를 생성함으로써 생성되는, 컴퓨터-구현 방법.
제18항에 있어서, 상기 피사체의 상기 2-차원 이미지들을 생성하는 것은,
상기 포착 데이터에 기반하여 상기 피사체를 통해, 전자기 방사 소스에서부터 상기 전자기 방사 소스에 연관된 전자기 방사 센서에 이르기까지의 경로를 나타내는 복수 개의 경로들을 결정하는 것; 및
상기 이미지를 처리하여, 상기 복수 개의 경로들 각각에 대해, 상기 경로를 따른 상기 전자기 방사의 전체 감쇠의 표시를 제공하는 데이터 값을 생성하는 것;
을 포함하는, 컴퓨터-구현 방법.
제19항에 있어서, 상기 3-차원 이미지 데이터는 복수 개의 보셀(voxel)들을 포함하며, 상기 3-차원 데이터의 각각의 보셀은 상기 제1 2-차원 투영 이미지의 적어도 하나의 픽셀에 기반한 제1 값 및 상기 제2 2-차원 이미지의 적어도 하나의 픽셀에 기반한 제2 값을 지니고,
상기 제1 값들은 상기 제1 2-차원 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어지며, 상기 제1 2-차원 이미지의 적어도 하나의 픽셀 또는 각각의 픽셀은 상기 전자기 방사 소스에서부터 상기 전자기 방사 센서의 픽셀 위치에 이르기까지의 경로에 기반하여 결정되고, 상기 제2 값들은 상기 제2 2-차원 이미지의 적어도 하나의 픽셀의 값에 기반하여 이루어지며, 상기 제2 2-차원 이미지의 적어도 하나의 픽셀 또는 각각의 픽셀은 상기 전자기 방사 소스에서부터 상기 전자기 방사 센서의 픽셀 위치에 이르기까지의 경로에 기반하여 결정되는, 컴퓨터-구현 방법.
제16항 내지 제20항 중 어느 한 항에 있어서,
상기 컴퓨터-구현 방법은,
제1항 내지 제12항 중 어느 한 항에 따라 생성된 피사체의 3-차원 표현을 처리하여 상기 모델을 상기 피사체의 상기 3-차원 표현에 끼워 맞추는 것; 및
상기 모델의 끼워 맞춤에 기반하여 상기 피사체의 상기 3-차원 표현에서의 특징들을 식별하는 것;
더 포함하는, 컴퓨터-구현 방법.
제18항 내지 제21항 중 어느 한 항에 있어서, 상기 피사체의 상기 수신된 3-차원 이미지들은 한 세트의 컴퓨터 단층 촬영(Computed Tomography; CT) 이미지들인, 컴퓨터-구현 방법.
컴퓨터로 하여금 제17항 내지 제22항 중 어느 한 항에 따른 방법을 수행하게 하도록 구성된 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램.
제23항에 따른 컴퓨터 프로그램이 수록된 컴퓨터 판독가능 매체.
피사체(object)를 모델화하는 모델을 생성하는 컴퓨터 장치로서,
상기 컴퓨터 장치는,
프로세서 판독가능 명령어들이 저장되어 있는 메모리; 및
상기 메모리에 저장된 명령어들을 판독 및 실행하도록 구성된 프로세서;
를 포함하며,
상기 프로세서 판독가능 명령어들은 상기 컴퓨터 장치로 하여금 제17항 내지 제22항 중 어느 한 항에 따른 방법을 수행하게 하도록 구성된 명렁어들을 포함하는, 컴퓨터 장치.