KR19990042072A - 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 - Google Patents

Abstract

본 발명은 증강현실 시스템에서 카메라와 트래커간의 불일치에 의해 발생되는 중첩 오차를 보정하는 방법에 관한 것으로, 사용자가 모니터를 보면서 실세계와 가상객체간의 대응하는 임의의 특징점들을 선정하고, 선정된 특징점들을 이용하여 카메라 위치와 자세를 구하기 위하여 최적화알고리즘인 유전자 알고리즘을 적용한다. 유전자알고리즘에서 구해진 카메라 위치 및 자세 데이터와 이미 알고 있는 트래커의 위치 및 자세 데이타간의 차이를 나타내는 보정행렬을 구하고, 실제 동적환경에서 운용시 트래커에서 구해진 위치와 자세를 상기 보정행렬을 이용하여 보정하여 실세계와 가상객체를 정확히 중첩할 수 있다. 또한 카메라와 트래커를 대충 부착하여도 카메라와 트랙커간의 차이를 구할 수 있어, 증강현실 응용시스템에서 카메라와 트래커간의 정적오차를 줄이는데 필수적인 방법이다.

Description

증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법

본 발명은 카메라에 의해 보이는 실세계와 카메라가 보는 시점에서 동일한 가상객체(그래픽)를 렌더링하는 증강현실 시스템에서 카메라와 트래커간의 오차로 발생되는 중첩 오차를 보정하기 위한 기술로써, 중첩오차는 카메라 위치와 자세를 추적하기 위하여 부착된 트래커에서 얻어진 위치와 자세 정보가 실제 카메라 위치 및 자세와의 차이에서 발생한다. 본 발명은 카메라의 정확한 위치를 알지 못하는 경우라도, 트래커의 위치 및 자세 정보를 카메라의 위치와 자세 정보로 보정할 수 있도록 해 준다.

현재 증강현실 응용시스템에서 실세계와 가상세계를 중첩하기 위해서는 카메라의 정확한 위치와 자세를 알아야 하는 데, 카메라 위치와 자세를 알기 위한 장비인 트래커를 카메라와 중첩하여 설치할 수 없으므로 카메라와 트랙커간의 거리 정보와 자세 오차 만큼의 중첩 오차가 발생한다. 카메라의 위치를 측정하기 위해서는 카메라의 촬상소자의 위치를 정확히 알아야 하지만 카메라의 촬상소자의 정확한 위치를 알 수 없으며, 또한 촬상소자의 자세에 대한 정확한 정보도 알 수 없다.

이러한 문제는 트래커에도 적용되여 트래커의 정확한 원점을 측정하기 어렵다. 종래는 카메라와 트래커간의 거리를 사람이 직접 측정하여 보정하였으나, 앞에서 언급한 원인과 측정방법에 따라 오차를 가지고 있기 때문에 증강현실 시스템을 운용시 중첩에러의 원인이 된다.

따라서, 본 발명에서는 상기와 같은 문제점을 해결하기 위해 카메라의 대략적인 위치 및 자세를 측정한 상태에서, 계산에 의하여 카메라 위치와 자세를 정밀하게 구하여 카메라와 트래커간의 오차를 보정하는 보정행렬을 만들어 실제 운용시 트래커에 의해 구해진 오차와 자세 데이타를 보정하기 위한 것이다.

본 발명에는 실세계 영상을 획득하는 카메라와, 카메라의 위치와 자세를 구하기 위한 트래커, 실세계를 3차원으로 모델링한 데이터, 3차원 모델링 데이터를 렌더링하기 위한 컴퓨터 그리고 실세계 영상과 그래픽영상을 합성하는 비디오 믹서 장치로 구성된다.

본 발명의 방법은 실세계를 똑같이 모델링한 3차원 데이터를 트래커에서 얻어진 위치와 방향정보를 이용하여 렌더링한 이미지와 카메라를 이용하여 얻어진 실세계 영상을 모니터로 중첩하여 표시하는 1단계와, 1단계에서 모니터에 표시된 이미지에서 카메라의 정확한 위치와 자세를 찾기 위한 기준 데이터로 사용하기 위한 임의의 특정점을 사용자가 선택하는 2단계 와, 상기의 정보를 이용하여 카메라에 의해 보이는 실세계와 최소의 중첩오차를 가지도록 유전자 알고리즘을 이용하여 트래커 위치 및 자세를 찾는 3단계, 그리고 3단계에서 구한 카메라의 위치와 자세를 이용하여 보정행렬을 구하여 실제 동적 환경에서 운용시 적용하는 4단계로 구성된다.

즉 본 발명은 카메라와 트래커간의 오차를 보정하기 위하여 시스템 셋업시 카메라에 의해 얻어진 실사와 트래커에 의해 렌더링된 그래픽이미지의 오차를 최소로하는 카메라 좌표와 자세를 구하여 실제 AR시스템의 운영시 보정값으로 사용하는 방법에 관한 것이다.

도 1은 본 발명을 적용하기 위한 증강현실 시스템의 구성도.

도 2는 본 발명을 설명하기 위한 카메라와 트래커와의 관계도.

도 3은 본 발명에 의한 카메라와 트래커간의 오차 보정 행렬 계산 및 시스템 운용시 오차 보정 흐름도.

〈도면의 주요부분에 대한 부호의 설명〉

10 : 카메라 20 : 트래커

30 : 컴퓨터 40 : 가상객체

50 : 비디오 믹서 60 : 모니터

70 : 특징점

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 모니터 기반 증강현실 시스템의 구성도이며, 실세계를 촬영하기 위한 카메라(10)와, 그 카메라(10)의 위치와 자세정보를 검출하기 위한 트래커(20)와, 실사에 대해 미리 가상객체(40)로 3차원 모델링하여 두고 상기 트랙커(20)에서 구해진 카메라의 위치정보와 자세정보에 의거하여 가상카메라를 이용하여 상기 3차원 모델링한 가상객체(40)를 렌더링하는 컴퓨터(30)와, 그 컴퓨터(30)에서 렌더링한 가상객체(40)와 상기 카메라(10)에서 촬영한 실사를 합성하는 비디오 믹서(50)와, 그 비디오 믹서(50)에서 합성된 실사와 가상객체를 중첩시켜 화면에 표시하는 모니터(60)로 구성된다.

이와같이 구성된 모니터 기반 증강현실 시스템은, 카메라(10)를 이용하여 실세계의 영상정보(실사)를 획득하고, 카메라(10)가 보는 것과 똑같이 가상객체(40)를 구하기 위하여 카메라의 위치와 자세를 트래커(20)를 이용하여 구한다. 그 트래커(20)에서 구해진 위치와 자세값을 이용하여 컴퓨터(30)에서 미리 실세계를 3차원으로 모델링한 가상객체(40)를 컴퓨터(30) 내의 가상카메라로 렌더링한다. 그 결과를 비디오 믹서(50)에서 카메라(10)에 의해 얻어진 실사와 가상객체(40)를 합성하여 모니터(60)로 출력한다. 즉, 카메라(10)와 트래커(20)를 임의의 위치에 부착한 후에, 카메라(10)에 의해 얻어진 실사와 트래커(20)에서 얻어진 위치와 자세 정보를 이용하여 컴퓨터(30)에서 가상객체(40)를 렌더링한 후, 비디오 믹서(40)를 통하여 실사와 가상객체를 중첩한다.

그런데, 트래커(20)와 카메라(10)간의 위치와 자세 데이터의 오차로 인하여 실사와 렌더링된 가상 객체(40)는 서로 어긋나게 중첩되어 모니터(60)에 나타난다. 그러므로, 본 발명에서는 트래커(20)와 카메라(10)간의 위치와 자세 데이터간의 오차에 의해 발생된 실사와 가상객체의 어긋남을 보정하는 방법을 제안한다.

도 2는 카메라(10)와 트래커(20)의 오차로 인하여 모니터(60) 상에 같은 점이 서로 다른 위치에 표시되는 것을 설명한 도면으로서, 이에 도시된 바와같이, 실사 P(x, y, z)에 대하여 스크린에 나타나는 카메라 좌표는 S(S_x, S_y, S_z)이고, 카메라(10)와 트래커(20)간의 위치와 자세 데이터의 오차로 인하여 스크린에 나타나는 트래커 좌표는 S'(S'_x, S'_y, S'_z) 이다. 따라서 카메라 좌표 S(S_x, S_y, S_z)와 트래커 좌표 S'(S'_x, S'_y, S'_z)가 서로 어긋난 상태로 스크린에 표시되므로 본 발명에서는 트래커 좌표를 보정하여 카메라 좌표에 일치시키도록 한다.

도 3은 본 발명에서 제시하는 오차 보정방법의 전체 과정을 나타낸 도면으로, 크게 오차 보정 행렬을 구하는 과정과, 실제 운용시 오차를 보정하는 과정을 나타내고 있다.

먼저, 오차 보정행렬을 구하는 과정은, 렌더링된 가상객체와 카메라에서 입력된 실사를 비디오 믹싱하여 출력된 화면에서 서로 어긋나있는 특징점을 선택한다. 이는 사용자가 모니터(60)에 나타난 중첩된 영상을 보면서 꼭지점과 같은 비교의 특징이 되는 여러 점들을 마우스를 이용하여 선택하여 실세계의 매핑될 위치의 좌표값을 획득한다. 이러한 특징점(70)들의 개수는 최소 3개 이상의 점들이 선택되어야 한다.

이와같이 사용자에 의해 선택된 특징점(70)들의 좌표가 획득되면, 가상객체(40) 중에서 선택된 특징점(70)과 실세계로 매핑되었을 때의 모니터 좌표, 그리고 트래커에서 구해진 좌표와 자세정보를 이용하여 카메라(10)의 위치 및 자세를 구하기 위한 최적화 알고리즘인 유전자 알고리즘(Genetic Algorithm)을 적용한다. 유전자 알고리즘을 적용할 때 구해지는 카메라의 정보는 카메라의 위치 및 자세 정보가 되며, 그 정보의 정확도를 위하여 유전자 알고리즘으로 구한 카메라 위치 및 자세정보를 이용하여 모니터에 가상점들을 출력하였을 경우의 모니터 좌표값과, 카메라에 의해 획득한 실세계 영상 중 사용가 선택한 특징점의 좌표값과의 절대 거리의 합으로 측정한다.

이때, 유전자 알고리즘에서 사용되는 인구(population)의 범위는 3차원 공간을 모두 포함하게 되어 해를 구하는 데 많은 시간이 걸린다. 그러므로, 카메라(10)에서 트래커(20)까지의 거리와 카메라(10)의 방향을 대충 측정하여 인구의 범위는 트래커(20)의 위치를 기준으로 카메라와 트래커간의 거리 보다 크게, 카메라의 방향은 대충 측정한 카메라의 방향을 기준으로 측정오차를 고려하여 인구의 범위를 제한하여 해를 구하는 데 걸리는 시간을 줄인다.

이와같이 유전자알고리즘을 이용하면 오차가 최저로 되는 쪽으로 값이 수렴하게 되며, 오차가 최저가 되는 값은 3차원 공간에서 1점뿐이므로 이점의 주변으로 인구가 모이게 되며, 유전자 알고리즘상에서는 결과가 어떤값으로 수렴하는 형태가 된다. 구해진 해를 이용하여 모니터에 나타낸 좌표값과 실사에서 해당 점이 모니터에 나타나는 점과의 거리차가 사용자가 설정한 정도에 이르면 수행이 종료되며, 이 때 구해진 해를 카메라의 위치와 자세값으로 이용한다. 이값을 이용하여 카메라(10)와 트래커(20)의 실세계와 가상객체를 중첩하여 놓았을 때, 최소의 중첩오차를 가지게 된다.

상기에서 구한 최적의 좌표값과 자세값을 이용하여 트래커 자체의 위치와 방향값에 대한 차이를 보정해주는 보정행렬을 구한다. 이 보정행렬은 트래커(20)의 위치와 방향값을 카메라(10)의 위치와 방향으로 변환하는 이동과 회전 행렬로 구성된다.

그리고, 실제 운용시 오차를 보정하는 방법은, 트래커(20)에서 측정한 위치와 자세값을 카메라(10)의 위치와 자세값으로 이동시키기 위하여 앞에서 구한 보정행렬을 곱하여 가상객체(40)를 렌더링하면, 카메라(10)와 트래커(20)간의 위치와 자세 차이로 발생되는 오차는 제거되게 된다.

이상에서 상세히 설명한 바와같이, 본 발명은 증강현실 시스템에서의 촬영된 영상과 렌더링한 가상객체를 중첩시킬때에 카메라와 트래커의 불일치에 의한 중첩오차를 간단한 방법으로 보정할 수 있게 된다. 이에따라 카메라와 트래커를 일치시키지 않고서도 설치공간을 편하게 선택하여 설치하고, 이때 발생되는 중첩오차를 간단한 방법으로 보정하여 실세계와 가사히 중첩시킬 수 있는 효과가 있다.

Claims (4)

1. 렌더링된 가상객체와 카메라에서 촬영된 실세계 영상을 중첩하여 출력하는 증강현실 시스템에 있어서,

   실세계를 똑같이 모델링한 3차원 데이터를 트래커에서 얻어진 카메라의 위치와 방향정보를 이용하여 렌더링한 이미지와 카메라를 이용하여 얻어진 실세계 영상을 모니터로 중첩하여 표시하는 1단계와,

   1단계에서 모니터에 이미지에서 카메라의 정확한 위치와 자세를 찾기 위한 기준 데이터로 사용하기 위한 임의의 특정점을 사용자가 선택하는 2단계와,

   상기의 특징점들의 죄표정보를 이용하여 카메라에 의해 보이는 실세계와 최소의 중첩오차를 가지도록 유전자알고리즘을 이용하여 트래커 위치 및 자세에 대한 보정값을 찾는 3단계와,

   3단계에서 구한 카메라의 위치와 자세의 보정값을 보정행렬로 구하고, 실제 동적 환경에서 운용시 상기 보정행렬을 이용하여 트래커에서 구해진 카메라의 위치와 자세정보를 보정하여 렌더링하는 4단계로 이루어진 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.
2. 제 1 항에 있어서,

   상기 2단계는, 모니터에 중첩되어 나타나는 이미지에서 임의의 특징점으로서 가상객체와 카메라에 의한 실세계영상의 서로 대응되는 꼭지점을 쌍으로 선택하고, 적어도 3쌍 이상의 꼭지점을 선택하여 3차원 공간에서의 중첩 오차를 검출할 수 있도록 하는 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.
3. 제 1 항에 있어서, 상기 3단계는,

   특징점들에 대해 유전자 알고리즘을 적용하여 가상객체의 특징점들과 그에 대응되는 카메라의 실세계 영상의 특징점들과의 최소의 차이를 갖는 카메라의 좌표와 자세를 구하여 원래 트래커에 구해진 카메라의 좌표와 자세와의 차이값을 보정값으로 구하는 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.
4. 제 3 항에 있어서, 상기 3단계는,

   카메라에서 트래커까지의 거리와 카메라의 방향을 대충 측정하여 오차를 포함하는 거리 및 방향을 상기 유전자 알고리즘의 인구(population)의 범위로 제한하는 것을 특징으로 하는 증강현실 시스템에서의 카메라와 트래커의 불일치에 의한 중첩오차 보정방법.