KR20150124069A - 카메라 파라미터 산출 방법 - Google Patents

Abstract

본 발명은 저배율에서 얻은 카메라 파라미터를 이용하여 고배율에서의 카메라 파라미터를 산출하는 카메라 파라미터 산출 방법에 관한 것으로, k단계 카메라 배율에서의 핸드아이행렬 T_{C , CMk} 및 초점거리 f_k를 구하는 카메라 파라미터 산출 방법에 있어서, 상기 핸드아이행렬 T_{C , CMk} 및 α_f가 저배율일 때의 초점거리 f₁과 z축 방향 위치변환값 t_cz1 및 상기 저배율보다 높은 배율일 때의 초점거리 f₂와 z축 방향 위치변환값 t_cz2로부터 구해지는 것을 기술적 특징으로 한다. 본 발명에 따른 카메라 파라미터 산출 방법은 정확하게 산출할 수 있는 저배율에서의 카메라 파라미터 값을 이용하여 고배율에서의 카메라 파라미터 값을 산출할 수 있으므로, 정확도 및 안정성이 우수하다.

Description

카메라 파라미터 산출 방법 {CAMERA PARAMETER COMPUTATION METHOD}

본 발명은 저배율에서 얻은 카메라 파라미터를 이용하여 고배율에서의 카메라 파라미터를 산출하는 카메라 파라미터 산출 방법에 관한 것으로, 특히 의료용 증강현실 구현에 적합한 카메라 파라미터 산출 방법에 관한 것이다.

본 발명은 지식경제부의 산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호:10040097, 과제명: 의료수술로봇영상기반 이비인후과 및 신경외과 수술용 최소침습 다자유도 수술로봇 시스템 기술 개발].

최근 컴퓨터 그래픽의 발달에 힘입어 의료분야에서 영상 안내 수술(IGS; Image Guided Surgery)이 가능하게 되었다. 일반적인 영상 안내 수술 시스템에서는 MRI나 CT 촬영에 의해 구현된 가상 장기(virtual organ)가 실제 장기에 겹쳐져 증강 현실(AR; Augmented Reality) 환경으로 디스플레이되는데, 이러한 증강 현실은 다양한 방향에서 가상 장기의 관찰이 가능하도록 함으로써 수술 시 의사의 부담을 크게 덜어주고 있다.

그러나 영상 안내 수술 시스템에서 의사의 시야와 가상 장기의 스크린 이미지에서 보는 방향의 불일치는 증강 현실로 구현된 수술 도구와 가상 장기의 관계를 직관적으로 인식할 수 없도록 함으로써 의사가 증강 현실에 대해 믿고 쉽게 접근하기 어려운 면이 있다.

따라서 카메라 좌표계와 환자 좌표계의 변환 관계를 정확하게 도출해내는 기술, 특히 배율에 따른 카메라 파라미터의 도출이 매우 중요하다. 지금까지 연구된 대부분의 카메라 파라미터 산출 방법들은 각 배율에 따라 룩업 테이블을 생성하거나, 복수의 이미지로부터 초점거리를 산출하는 자기 조정법(self-calibration)을 사용하는데 이러한 방법들은 공통적으로 원근 투영변환을 기반으로 한다. 그런데 현미경과 같은 의료용 카메라의 경우 고배율로 사용되는 경우가 많은데 고배율로 갈수록 원근감이 없어지고 직교투영 효과가 뚜렷하게 나타나는 현상이 있어, 종래의 카메라 파라미터 산출 방법의 경우 카메라 조정이 불가능하거나 가능하더라도 상당한 오차를 포함하는 문제점이 있다.

본 발명은 위와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명에서 해결하고자 하는 과제는 카메라의 투영모델 변화, 즉 배율에 영향을 받지 않는 카메라 파라미터 산출 방법을 제공하는 것이다.

본 발명에 따른 카메라 파라미터 산출 방법은 k단계 카메라 배율에서의 핸드아이행렬 T_{C , CMk} 및 초점거리 f_k를 구하는 카메라 파라미터 산출 방법에 있어서, 상기 핸드아이행렬 T_{C , CMk}는 아래 [식 1]로 정의되고, α_f는 아래 [식 2]로 정의되며, 상기 α_f는 저배율일 때(바람직하게는 최저배율일 때)의 초점거리 f₁과 z축 방향 위치변환값 t_cz1 및 상기 저배율보다 높은 배율일 때(바람직하게는 한 단계 높은 배율일 때)의 초점거리 f₂와 z축 방향 위치변환값 t_cz2로부터 구해지는 것을 기술적 특징으로 한다{R_C1은 핸드아이행렬의 회전성분의 초기값(저배율에서의 값), f₁은 초점거리의 초기값(저배율에서의 값)}.

[식 1]

[식 2]

본 발명에 따른 카메라 파라미터 산출 방법은 정확하게 산출할 수 있는 저배율에서의 카메라 파라미터 값을 이용하여 고배율에서의 카메라 파라미터 값을 산출할 수 있으므로, 정확도 및 안정성이 우수하다.

또한, 사진 측량 피드백을 이용하여 카메라 파라미터를 산출하므로 카메라의 형태, 방식, 크기에 무관하게 적용 가능하며, 파라미터 테이블 등을 요구하지 않으므로 사용이 편리하다.

도 1은 본 발명에 따른 카메라 파라미터 산출 방법이 적용되는 의료용 증강현실 구현 시스템
도 2는 영상 정합 소프트웨어의 적용 예시도
도 3은 핀홀 카메라 모델
도 4는 카메라 좌표계와 전역 좌표계의 관계
도 5는 배율에 따라 초점거리를 측정한 실험예
도 6은 배율의 변화에 따른 카메라 중심의 이동
도 7은 초점거리 추정에 사용되는 체스보드, 마커 및 카메라의 위치 관계도
도 8은 초점거리 추정에 사용되는 피드백 알고리즘의 일례
도 9는 도 8의 알고리즘이 적용된 체스보드
도 10는 초점거리 f와 카메라 파라미터를 최적화하기 위한 레벤버그-마쿼드 알고리즘의 일 실시예의 흐름도

발명의 이해를 돕기 위해 의료용 증강현실 구현 모델에 대해 먼저 설명하도록 한다.

도 1은 본 발명에 따른 카메라 파라미터 산출 방법이 적용되는 의료용 증강현실 구현 시스템(이하 ‘시스템’이라 한다)을 도시한 것이다.

시스템은 카메라(10), 카메라 마커(20), 광학 위치 추적기(30) 및 환자 마커(40)로 구성되고, 카메라 마커(20)는 카메라(10)에 장착되며, 환자 마커(40)에 환자에 부착된다.

환자 좌표계와 카메라 좌표계의 관계는 4×4 동차변환행렬(homogeneous transformation matrix)로 표시되는데, 동차변환행렬을 T라 하고 변환의 시점과 종점을 아래 첨자로 표시하고 콤마로 구분하여 표기하기로 한다. 따라서 카메라 좌표계에서 환자 좌표계로 향한 변환은 T_{C ,P}로 표기되고, 다음 [수학식 1]과 같은 관계식으로 표현된다.

위 [수학식 1]에서 카메라 마커 좌표계에서 광학 위치 추적기 좌표계로 향한 변환 T_CM,O와 광학 위치 추적기 좌표계에서 환자 마커 좌표계로 향한 변환 T_{O , PM}은 광학 위치 추적기로부터 얻을 수 있는 행렬이다. 또한, 환자 마커 좌표계에서 환자 좌표계로 향한 변환 T_{PM ,P}는 ‘환자-이미지 정합(patient to image registration)’으로 알려진 소정의 절차를 통해 얻을 수 있는 행렬이다. 따라서 소위 ‘핸드아이행렬(hand-eye matrix)’로 알려진 T_{C , CM}을 구하는 것이 카메라 조정의 핵심이다.

환자-이미지 정합(이하 ‘정합’이라 한다)에 대해 설명한다. 정합의 목적은 실제 환경에 있는 환자의 지역 좌표계(local coordination)를 가상 공간에 디스플레이되는 환자의 의료 이미지의 지역 좌표계와 정렬시키는 것이다. 정합은 환자의 지역 좌표계와 가상 공간의 지역 좌표계의 관계인 4×4 동차변환행렬(정합 행렬)로 표시된다. 정합은 가상 장기를 수술 도구와 함께 디스플레이하는 경우 특히 중요한데, 정합 행렬에 의해 실제 환자와 수술 도구가 가상의 그래픽 상에 디스플레이될 수 있다.

정합 행렬은 공지의 ‘특징점 정합(PBR; Point Based Registration)’ 소프트웨어를 사용함으로써 얻을 수 있다. 이러한 영상 정합 소프트웨어를 사용하기 위해서는 적어도 4 쌍의 점들이 필요한데, 본 발명에서는 도 2에 도시된 바와 같이 9 쌍의 점(인조 표지)들을 사용하였다.

정합 행렬을 구하는 방법을 간단히 설명하면, 먼저 의료용 이미지에서 마커의 위치를 명확하게 정의하기 위하여 MRI나 CT를 촬영하기 전에 환자에게 인조 표지를 부착한다. 다음으로, 광학 위치 추적기로부터의 지역 좌표계를 형성하기 위하여 환자의 피부에 마커가 부착되고, 추적 수단에 의해 각 인조 표지의 위치가 수집된다. 마지막으로, PPR 소프트웨어에 의하여 가상 공간에 위치한 각 마커의 대응 위치가 수집된 후, 이를 바탕으로 정합 행렬을 산출한다.

다음으로 카메라 조정에 대해 설명한다. 본 발명에서 대상으로 하는 카메라 모델은 핀홀 카메라 모델(Pin-Hole Camera Model)이며, 이는 복잡한 카메라 시스템을 매우 단순하게 표현할 수 있는 모델이다. 도 3은 핀홀 카메라 모델을 도시한 것으로, 카메라 좌표계(100), 이미지 평면(200) 및 촬영 대상 물체(300)가 도시되어 있다.

핀홀 카메라의 홀은 투영 중심이자 카메라의 중심으로서 C로 표기하고, 투영 중심을 지나 이미지 평면에 수직인 선(주축)을 z축으로 표기한다. 초점거리 f는 카메라 내부 파라미터(intrinsic parameter) 중 가장 중요한 것으로 투영 중심과 이미지 평면 간의 거리로 정의된다.

도 3(a)에 도시된 바와 같이 실제 세계의 한 점 X_W는 이미지 평면에 x_u로 투영되는데, 아래 [수학식 2]와 같은 관계식이 성립된다{p_x, p_y는 이미지 평면의 왼쪽 아래를 원점으로 보았을 때의 주점의 좌표로서, 주점의 좌표가 항상 이미지 평면의 중심과 일치할 수는 없는 바, 일종의 오프셋이다, 도 3(b) 참조}.

이러한 모델에서 투영변환은 동차 좌표계에서 다음 [수학식 3]과 같은 투영행렬로 표시될 수 있다.

그런데 투영된 물체가 모니터에 디스플레이될 때에는 픽셀 단위로 표시되므로, 또한 디지털 카메라의 경우 물체가 CCD 또는 CMOS에 투영되므로, [수학식 3]은 픽셀 좌표계로 표시되는 것이 취급이 용이하다. x축 및 y축 방향의 단위 길이당 픽셀수를 m_x, m_y라 할 때, [수학식 3]은 아래의 [수학식 4]로 변환될 수 있다.

[수학식 4]를 픽셀 좌표계(아래 첨자 p)로 표기하면 [수학식 5] 및 [수학식 6]과 같다(α_x, α_y는 픽셀 좌표계에서의 초점거리이고, 카메라의 내부 파라미터 K를 구성한다).

그러나 위 [수학식 6]은 카메라와 촬영 대상 물체 간의 관계를 고려하고 있지 않다. 따라서 촬영 대상 물체를 이미지 평면에 정확히 투영하기 위해서는 카메라 좌표계와 전역 좌표계(World coordinate)의 관계가 반영되어야 한다.

도 4는 카메라 좌표계와 전역 좌표계의 관계를 도시한 것이다. 전역 좌표계를 카메라 좌표계로 변환할 때의 회전변환행렬을 R, 위치변환벡터를 벡터 t라고 할 때, 카메라 좌표계와 전역 좌표계의 관계가 반영된 변환식은 [수학식 7]과 같다.

즉, 촬영 대상 물체의 좌표 X_w는 카메라 내부 파라미터 K와 외부 파라미터 [R｜t]에 의해 이미지 평면에 좌표 x_p로 투영된다.

아래에서는 본 발명에 따른 카메라 파라미터 산출 방법을 첨부된 도면을 통해 더욱 상세히 설명한다.

본 발명의 발명자는 카메라의 배율에 따른 카메라 조정 실험을 통해 초점거리가 도 5와 같이 측정됨을 알 수 있었다. 즉, 소정 배율 이상에서는 배율이 높아질수록 실험용 샘플 이미지로부터 측정한 초점거리의 편차가 심해져 고배율에서는 측정된 초점거리를 신뢰할 수 없음을 알 수 있다. 일례로, 도 5에 도시된 실험예에서 6단계 내지 8단계의 배율(■, ●, ▲)에서는 배율과 초점거리가 역전되는 현상도 나타난다. 따라서, 본 발명에 따른 카메라 파라미터 산출 방법은 저배율에서의 초점거리를 이용하여 고배율에서의 초점거리를 산출한다.

도 6은 배율의 변화에 따른 카메라 중심의 이동을 도시한 것이다. 카메라 중심(C)이 이미지 평면(I)에 가까울 때는 촬영 대상 물체의 좌표 X_W가 주점(p)에 가까운 점 x에 투영되므로 저배율(zoom out)이 되고, 카메라 중심(C)이 이미지 평면(I)에 멀어질수록 촬영 대상 물체의 좌표 X_W가 주점에서 멀어진 점 x′에 투영되므로 고배율(zoom in)이 됨을 알 수 있다. 여기서 알 수 있는 사실은 카메라 배율의 변경은 곧 카메라 중심(C)의 변경을 의미하고, 따라서 카메라 좌표계와 마커 좌표계의 변환 관계에 해당하는 핸드아이행렬은 카메라 배율이 변함에 따라 추종 산출되어야 한다는 점이다.

카메라 배율에 따라 초점거리 f와 주점 (c_x, c_y)은 비선형적으로 변화하는데, 이때 내부 파라미터들의 변화를 핸드아이행렬의 변화 △T_{C , CM}으로 표기할 때, 초점거리의 변화 △f와 핸드아이행렬의 변화 △T_{C , CM}의 관계는 위치 관계만 고려하더라도 충분하다. 왜냐하면, 카메라 배율이 바뀌어 카메라 중심이 변경되더라도 카메라 중심 좌표계에 대한 마커 좌표계의 회전과 관련된 사항은 불변이기 때문이다. 즉, T_C,CM 중 평행이동에 관한 성분인 (t_cx, t_cy, t_cz)가 카메라 배율의 변경 시 고려되어야 할 성분이다.

그 중에서도 특히 초점거리의 변화 △f가 다른 내부 파라미터들에 비해 값이 크고, (t_cx, t_cy, t_cz) 중에서도 주축 성분인 t_cz의 변화량 △t_cz가 t_cx나 t_cy의 변화량에 비해 크다. 그리고, △f와 △t_cz 간에는 아래 [수학식 8]과 같은 일정한 비율 관계가 성립되고, 이러한 비율 α_f를 이용하여 설정된 임의의 카메라 배율에서 핸드아이행렬을 도출할 수 있다(t_cz2와 f₂는 각각 t_cz1과 f₁보다 높은 배율에서의 값이다).

k단계 카메라 배율에 대한 핸드아이행렬 T_{C , CMk}는 아래 [수학식 9]로 표시된다{R_C1은 핸드아이행렬의 회전성분의 초기값(저배율에서의 값)이고, f₁은 초점거리의 초기값(저배율에서의 값)이다}.

따라서, α_f만 정확하게 구하면 k단계 카메라 배율에서의 핸드아이행렬 T_{C , CMk}를 구할 수 있다.

위에서 도 5와 관련하여 설명하였듯이, 카메라 배율이 낮을수록 측정된 초점거리의 편차가 작다. 따라서 가급적 저배율일 때(바람직하게는 최저배율일 때)의 초점거리 f₁과 z축 방향 위치변환값 t_cz1 및 저배율보다 높은 배율일 때(바람직하게는 한 단계 높은 배율일 때)의 초점거리 f₂와 z축 방향 위치변환값 t_cz2로부터 α_f를 구하는 것이 좋다. 도 5의 실시예를 참조하면 8단계의 카메라 배율에서 6단계부터 배율과 초점거리의 역전 현상이 발견되므로, 저배율은 대략 1단계부터 4단계까지, 즉 전체 배율 단계 중에서 절반 이하의 배율을 의미하는 것으로 볼 수 있다. 또한, 저배율보다 높은 배율은 배율과 초점거리의 역전 현상이 발견되지 않는 배율이어야 한다.

저배율의 경우 원근법 모델(Perspective Model)에 의해 초점거리를 비교적 정확하게 구할 수 있으므로, 이하에서는 α_f는 아는 값으로 보고, f_k를 추정하는 방법을 설명한다.

초점거리는 체스판 패턴의 조정 보드(이하 ‘체스보드’라 한다)와 마커의 관계를 이용한 사진 측량 피드백(Photogrammetric Feedback)으로 추정할 수 있다. 도 7은 초점거리 추정에 사용되는 체스보드, 마커 및 카메라의 위치 관계를 도시한 것이다. 이때, 체스보드 좌표계와 보드 마커 좌표계 간의 관계를 나타내는 행렬 T_{BM ,B}은 핸드아이조정 또는 특징점 정합에 의해 계산될 수 있다.

체스보드 상의 이상적인 점들을 X_B라 하고, X_B가 카메라의 이미지 프레임에 투영된 점을 x_b′라 할 때, 다음 [수학식 10]과 같은 관계가 성립된다(K는 카메라 내부 파라미터).

여기서, H는 카메라 좌표계와 체스보드 좌표계의 관계를 나타내는 행렬로서, 다음 [수학식 11]과 같다.

그리고, 실제 체스보드를 캡쳐한 점들을 x_b라고 할 때, 카메라의 초점거리는 x_b′ 및 x_b에 의해 형성되는 영역의 넓이차를 최소화함으로써 추정할 수 있다.

도 8은 초점거리 추정에 사용되는 피드백 알고리즘의 일례이고, 도 9는 도 8의 알고리즘이 적용된 체스보드를 도시한 것이다. 도 8에 도시된 바와 같이 x_b에 의해 형성된 사각형의 넓이 Q(x_b)와 x_b′에 의해 형성된 사각형의 넓이 Q(x_b′)의 차에 비례하는 파라미터 r을 피드백 루프로 갱신하면서, 초점거리 f를 구할 수 있다(K_p는 이득계수로서 초점거리 f가 수렴되는 속도에 관계된다). Q(x_b)와 Q(x_b′)의 차가 소정값 q 이하인 경우, f가 충분히 수렴된 것으로 볼 수 있으므로, 피드백 루프가 종료된다.

피드백 루프의 종료 후에 초점거리 f와 카메라 파라미터의 최적화는 레벤버그-마쿼드 알고리즘(LMA; Levenberg-Marquardt Algorithm)을 이용하여 수행될 수 있다. 레벤버그-마쿼드 알고리즘은 비선형 최소 자승 문제의 해결에 적합한 알고리즘으로서, 본 발명에서는 최적화된 초점거리 및 핸드아이행렬(보다 상세하게는 위치변환벡터)을 구하는데 적용된다.

도 10는 초점거리 f와 카메라 파라미터를 최적화하기 위한 레벤버그-마쿼드 알고리즘의 일 실시예의 흐름도이다.

레벤버그-마쿼드 알고리즘은 200번의 반복(iteration)을 통해 x_b와 x_b′의 차의 자승의 합이 최소가 되도록 함으로써 최적화된 초점거리 f 및 핸드아이행렬을 도출해낸다.

벡터 β는 최적화하고자 하는 파라미터 중 위치변환벡터의 z축 방향 성분이 제외된 것으로서, 아래 [수학식 12]와 같고, 레벤버그-마쿼드 알고리즘 적용과정에서 갱신되면서, 최적화된 값으로 수렴된다. 이때, β에서 알 수 없는 값인 t_hz는 알고 있는 값인 α_f 값을 이용하여(t_hz ← t_hz + α_f△t_hz) 수렴시킬 수 있다.

오차 e는 이미지 샘플들의 x_b와 x_b′(β)의 차의 자승의 합이고, J는 x_b′(β)의 자코비언(Jacobian)이며, 벡터 δ는 벡터 β의 미세변량으로 아래 [수학식 13]과 같다.

그리고, 레벤버그-마쿼드 알고리즘에서 δ는 자코비언 J와 x_b와 x_b′(β)를 이용하여 아래 [수학식 14]에 의해 구할 수 있다.

hat e는 갱신된 β(즉, 갱신되기 전 β + δ)를 대입하여 구한 오차로서, 도 9에 도시된 바와 같이 갱신 전 β를 대입하여 구한 오차 e와 갱신 후 β를 대입하여 구한 오차 hat e를 비교하여, 그 결과에 따라 감쇄율(damping factor) λ를 조절하거나 β의 갱신여부를 결정한 후 계산을 반복수행한다.

e > hat e인 경우라면 β의 갱신에 의해 오차가 줄어들었으므로 β←β+δ 및 e ← hat e로 갱신하고, 감쇄율은 1/10배로 하여 자코비언 J부터 계산하고(β가 갱신되었으므로), e ≤ hat e인 경우라면 β의 갱신에 의해 오차가 늘어났으므로 감쇄율만 10배로 하여 δ부터 계산한다.

도 9에는 반복횟수 200회, 감쇄율의 변화율 10배로 도시되었으나, 반복횟수 및 감쇄율의 변화율은 적절히 선택 가능하다.

10 카메라 20 카메라 마커
30 광학 위치 추적기 40 환자 마커
100 카메라 좌표계 200 이미지 평면
300 촬영 대상 물체

Claims (4)

1. k단계 카메라 배율에서의 핸드아이행렬 T_{C , CMk} 및 초점거리 f_k를 구하는 카메라 파라미터 산출 방법에 있어서,
   상기 핸드아이행렬 T_{C , CMk}는 아래 [식 1]로 정의되고,
   α_f는 아래 [식 2]로 정의되며,
   상기 α_f는 저배율일 때의 초점거리 f₁과 z축 방향 위치변환값 t_cz1 및 상기 저배율보다 높은 배율일 때의 초점거리 f₂와 z축 방향 위치변환값 t_cz2로부터 구해지는 것을 특징으로 하는 카메라 파라미터 산출 방법{R_C1은 핸드아이행렬의 회전성분의 초기값(저배율에서의 값), f₁은 초점거리의 초기값(저배율에서의 값)}.
   [식 1]
   

   

   
   [식 2]
   

   

   
   
2. 청구항 1에 있어서,
   상기 초점거리 f₁ 및 f₂는 체스보드에 의해 형성된 사각형의 넓이 Q(x_b)와 x_b′에 의해 형성된 사각형의 넓이 Q(x_b′)의 차에 비례하는 파라미터 r을 피드백 루프로 갱신함으로써 산출되는 것을 특징으로 하는 카메라 파라미터 산출 방법(x_b는 실제 체스보드를 캡쳐한 점들, x_b′은 체스보드 상의 이상적인 점들을 X_B라 할 때 X_B가 카메라의 이미지 프레임에 투영된 점들).
   
3. 청구항 2에 있어서,
   상기 Q(x_b)와 Q(x_b′)의 차가 소정값 q 이하인 경우 상기 피드백 루프가 종료되는 것을 특징으로 하는 카메라 파라미터 산출 방법.
   
4. 청구항 3에 있어서,
   상기 피드백 루프 종료 후 초점거리 f_k 및 카메라 파라미터 t_ck의 최적화 단계가 레벤버그-마쿼드 알고리즘(LMA; Levenberg-Marquardt Algorithm)을 이용하여 수행되며,
   상기 레벤버그-마쿼드 알고리즘은 상기 x_b와 x_b′의 차의 자승의 합이 최소가 되도록 하는 것을 특징으로 하는 카메라 파라미터 산출 방법.

Images