KR20210081797A - 복합 마커 패턴을 사용한 증강현실 기기의 카메라 좌표계의 추정 방법 및 장치 - Google Patents

Abstract

본 발명은 이미지 인식 기술과 복합 마커를 활용한 카메라 좌표계 추정 방법에 관한 것이다. 상기 카메라 좌표계 추정 방법은, (a) 설정할 AR 기기의 가상 공간과 현실 공간의 좌표계 일치화를 위하여, 세상 좌표계의 설정, 요소 마커 패턴의 설정, 요소 마커 기하변환의 설정 등을 결정할 복합 마커 패턴의 설계 및 실제 복합 마커 패턴 도구를 제작하는 단계; (b) 주어진 AR 기기의 카메라 시점에 대해 안정적인 계산을 위한 중심 요소 마커 및 주변 요소 마커를 결정하는 단계; (c) 중심 요소 마커와 주변 요소 마커에 대한 보간법 적용을 통하여 중심 요소 마커 대비 카메라 좌표계를 추정하는 단계; (d) 중심 요소 마커 대비 카메라 좌표계를 세상 좌표계 대비 좌표계로 변환하는 단계; 를 구비한다. 상기 물리적 장비는 일면에 복합 마커 패턴을 구비하는 장비로서, 상기 복합 마커 패턴은 복수 개의 요소 마커들을 포함하는 복합 마커로 구성된 것이 바람직하다.

Description

복합 마커 패턴을 사용한 증강현실 기기의 카메라 좌표계의 추정 방법 및 장치 {Methods and devices for estimating camera coordinate system of augmented-reality device using hybrid marker pattern}

본 발명은 증강현실(augmented reality, AR) 기술에 관한 것으로서, 더욱 구체적으로는 실제적인 현실 공간에서 동적인 증강현실(augmented reality, AR) 기기의 위치와 방향, 즉 카메라 프레임을 기준으로 하는 좌표계(camera coordinate system, 이하 카메라 좌표계)를 안정적으로 추정하는 방법 및 그에 필요한 장치에 관한 것이다.

증강현실 기술은 사용자가 현실 공간과 가상 공간을 연결하여 직접적인 상호작용을 할 수 있는 요소 기술이다. 두 공간의 혼합은 가상의 물체 등을 현실 공간에 반영할 수 있게 하여 사실적이고 자유로운 경험을 할 수 있도록 할 수 있다. 기존의 증강현실 기술은 사용자가 기기를 이동할 때, 기존의 방법에서처럼 한 개의 고정된 마커를 인식하여 카메라 프레임 좌표계를 추정하면, 종종 마커 인식 시 발생할 수 있는 영상 처리 오차 및 노이즈 등으로 인하여 안정적이지 못한 결과를 발생시킨다. 현실 공간과 가상 공간의 좌표가 정확하게 일치하지 않는 증강현실 기술은 사용자에게 어긋난 좌표계로 인한 이질감을 느끼게 하는데 이러한 이질감을 줄이기 위해서 좌표계를 다시 인식하는 과정을 수행하거나, 이동 범위에 제한을 부여해야 했다. 하지만 현실 공간에서 AR 기기의 카메라 좌표계를 오차에 강건(robust)하게 인식할 수 있다면, 증강현실의 이질감을 많이 감소할 수 있으며 이로 인한 증강현실에 대한 응용 범위와 효과는 매우 클 것으로 판단된다.

한국등록특허공보 제 10-1962543 호 한국등록특허공보 제 10-1326010 호

전술한 문제점을 해결하기 위한 본 발명의 목적은, 여러 개의 요소 마커(elementary marker)를 복합적으로 구성한 복합 마커(hybrid marker) 패턴을 사용하여 AR 기기의 사용 영역을 범위를 넓히고, 또한 매 프레임 복합 마커의 요소 마커 중 현재 카메라의 시점 대비 가장 안정적으로 인식할 수 있는 마커와 그 주변의 마커들을 이용하여, 더 정확하고 안정적으로 카메라 좌표계를 추정할 수 있도록 하는 카메라 좌표계의 추정 방법을 제공하는 것이다.

전술한 목적을 달성하기 위한 본 발명의 제1 특징에 따른 이미지 인식 기술과 복합 마커를 활용한 카메라 좌표계 추정 방법은, (a) 설정할 AR 기기의 가상 공간과 현실 공간의 좌표계 일치화를 위하여, 세상 좌표계의 설정, 요소 마커 패턴의 설정, 각 요소 마커 좌표계와 세상 좌표계 간의 상대적인 기하변환(이하 요소 마커 기하변환)의 설정 등을 결정할 복합 마커 패턴의 설계 및 실제 복합 마커 패턴 도구를 제작하는 단계; (b) 주어진 AR 기기의 카메라 시점에 대해 안정적인 계산을 위한 중심 요소 마커 및 주변 요소 마커를 결정하는 단계; (c) 중심 요소 마커와 주변 요소 마커에 대한 보간법 적용을 통하여 중심 요소 마커 대비 카메라 좌표계를 추정하는 단계; (d) 중심 요소 마커 대비 카메라 좌표계를 세상 좌표계 대비 좌표계로 변환하는 단계; 를 구비한다.

전술한 제1 특징에 따른 이미지 인식 기술과 복합 마커를 활용한 좌표계 보정 방법은 AR 기기에 적용되는 것이 바람직하다.

전술한 제1 특징에 따른 이미지 인식 기술과 복합 마커를 활용한 좌표계 보정 방법에 있어서, 상기 (a) 단계의 물리적 장비는 AR 공간에서의 좌표계 추정한다.

전술한 제1 특징에 따른 이미지 인식 기술과 복합 마커를 활용한 좌표계 보정 방법에 있어서, 상기 물리적 장비는 일면에 복합 마커 패턴을 구비하는 장비로서, 상기 복합 마커 패턴은 복수 개의 요소 마커들을 포함하는 복합 마커로 구성된 것이 바람직하다.

본 발명의 제2 특징에 따른 좌표계 추정용 복합 마커 장비는 일면에 복합 마커 패턴을 구비하고, 상기 복합 마커 패턴은 복수 개의 요소 마커들을 포함하는 복합 마커로 구성된 것이 바람직하다.

기존의 단일 마커 영상을 인식하는 방법은 영상 처리 시 발생할 수 있는 여러 문제로 인하여 수치적으로 불안정한 결과를 산출할 수 있으며, 또한 마커의 실제 크기에 따라 AR 기기의 활동 영역에 제한을 받는다.

따라서, 본 발명은 (i) 단일 마커 영상이 아닌 요소 마커를 다수 사용하여 더 넓은 영역에 걸쳐 복합 마커 패턴을 배치함으로써, 현실 공간에서의 AR 기기 사용자의 활동 범위를 넓힌다. 또한, (ii) 한 개의 마커가 아니라 다수의 마커를 사용하여 카메라 좌표계를 추정하는 방법을 제시하여 안정적이고 강건하게 카메라의 위치와 방향을 추정할 수 있게 된다.

도 1은 본 발명의 바람직한 실시예에 따른 카메라 좌표계의 추정 방법을 순차적으로 도시한 흐름도이다.
도 2는 본 발명의 바람직한 실시예에 따른 카메라 좌표계 추정 방법에 있어서, AR 기기의 좌표계 추정을 위하여 사용되는 복합 마커 패턴에 대한 예시이다.
도 3은 본 발명의 바람직한 실시예에 따른 카메라 좌표계 추정 방법에 있어서, AR 기기의 좌표계 설정시에 카메라의 시선과 가장 일치하는 요소 마커를 찾는 방법을 나타낸 그림이다.
도 4는 본 발명의 바람직한 실시예에 따른 카메라 좌표계 추정 방법에 있어서, 본 발명의 전반적인 과정을 도시한 것으로 AR 기기의 좌표계 설정시에, 카메라의 시선과 최대한 일치하는 여러 개의 요소 마커를 찾고 요소 마커로 추정한 좌표계를 이용하여 보정하는 방법을 나타낸 그림이다.
도 5는 AR 기기의 카메라에서 본 발명을 적용하지 않았을 때 복합 마커만을 인식한 좌표계 추정 결과를 나타낸다.
도 6은 AR 기기의 카메라에서 본 발명을 적용하였을 때 요소 마커를 이용하여 복합 마커의 좌표계 추정 오차가 보정되는 결과를 나타낸다.

본 발명은 사용자가 AR 기기를 움직일 때, AR 기기에 장착된 카메라의 좌표계와 실제 현실 공간에서 지정한 좌표계 간의 상대적인 기하변환을 안정적으로 강건하게 추정하는 것(즉 현실 공간에서의 카메라 좌표계를 추정하는 것)을 목표로 한다. 그 주요한 특징을 요약하면 다음과 같다. 첫째, 현실 공간에서의 세상 좌표계는 본 발명에서 제시하는 복합 마커 패턴의 중앙 지점에 전통적으로 마커 인식 방법에서 사용하는 방식으로 설정한다. 둘째, 복합 마커 패턴을 구성하는 각 요소 마커의 경우 자신의 중심 지점에 요소 마커 좌표계를 정의한다. 셋째, 각 요소 마커 기하변환은 미리 알려져 있다. 따라서 현재 프레임의 카메라 시점이 결정되었을 때, 기존의 마커 인식 방법을 사용하여 특정 요소 마커에 상대적인 카메라 좌표계를 추정하면, 상기 요소 마커 기하변환을 사용하여 세상 좌표계를 기준으로 하는 카메라 좌표계를 쉽게 추정할 수 있다. 넷째, 주어진 카메라 시점에 대해, 안정적인 영상 처리가 가능한 중심 요소 마커를 결정한 후, 상황에 따라 가능하다면 한 개 이상의 주변 요소 마커를 추가 사용하여 복합적인 방법으로 중심 요소 마커 대비 카메라 프레임을 추정하는 방법을 취한다. 다섯째, 이러한 과정을 효과적으로 수행할 수 있는 도구를 제시한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 복합 마커 패턴을 이용한 증강 현실기기의 카메라 좌표계의 추정 방법 및 장치에 대하여 구체적으로 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 카메라 좌표계의 추정 방법을 순차적으로 도시한 흐름도이다. 도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 증강 현실기기의 카메라 좌표계의 추정 방법은 먼저 복합 마커 장비를 제작한다(단계 100). 이를 보다 구체적으로 설명하면, 본 발명에 따른 복합 마커 장비는 AR 기기의 이미지 인식 기술을 활용하기 위한 복합 마커 이미지와 이를 구성하는 여러 개의 요소 마커 이미지가 포함된다. 이미지 인식이 정확히 이루어지기 위해선 빛 반사가 적은 표면이 필요하며, 가상 공간과 현실 공간의 좌표계를 물리적으로 일치시켜 주기 위해 현실 공간의 좌표계를 대표하는 복합 마커 이미지로 얻을 좌표계의 중심과 각 요소 마커의 좌표계의 중심 간의 좌표계 변환인 요소 마커 기하변환이 필요하다.

도 2는 본 발명의 바람직한 실시예에 따른 카메라 좌표계 추정 방법에 있어서, AR 기기의 좌표계 추정을 위하여 사용되는 복합 마커 패턴에 대한 예시이다. 이처럼 복합 마커 패턴은 요소 마커들을 서로 중복시켜 구성할 수 있다. 도 2(a)는 본 발명에 따른 물리적 장비인 복합 마커 장비의 요소 마커의 이미지를 모아서 만들어진 3x3 격자 형태의 복합 마커 예이고, 도 2(b)는 복합 마커를 이루고 있는 요소 마커이다. 이상에서 복합 마커를 3x3 격자 형태만 예를 들었으나, 이는 단지 예시일 뿐이며 임의의 복합 마커에도 적용된다.

AR 환경을 구축하고 복합 마커의 일부에 해당하는 요소 마커를 인식시키면 처음 설정한 좌표계를 기준으로 해당 요소 마커 이미지의 위치와 회전 정보를 알 수 있다. 인식된 요소 마커의 좌표계와 복합 마커의 좌표계 간의 상대적인 기하변환 정보를 알고 있으므로 이를 이용하여 복합 마커의 좌표계와 AR 기기의 좌표계 간의 기하변환도 계산할 수 있다.

좌표계 간의 기하변환을 통해 AR 기기를 통해 얻어낸 사용자의 위치와 시선을 파악하여 복합 마커를 구성하고 있는 요소 마커 중에서 가장 안정적으로 인식이 잘 되는 마커를 찾아낼 수 있다. 인식이 잘 되는 마커의 선택 기준은 카메라의 시선과 최대한 일치하는 마커라고 볼 수 있는데 카메라로부터 촬영된 이미지의 외곽에 찍힌 마커라면 복합 마커가 평면이기 때문에 너무 크게 찍혀 일부가 잘리거나 너무 작게 찍혀 인식하기 어려운 경우가 많기 때문이다.

도 3은 본 발명의 바람직한 실시예에 따른 카메라 좌표계 추정 방법에 있어서, AR 기기의 좌표계 설정시에 카메라의 시선과 가장 일치하는 요소 마커를 찾는 방법을 나타낸 그림이다. 도 3을 참조하면, 카메라의 위치를

, 시선의 방향을

, 복합 마커의 중심을

, 법선 벡터를

라고 한다면, 카메라의 시선과 복합 마커의 교점

은 수학식 1과 같이 구할 수 있다.

수학식 1로부터 얻어낸 AR 기기의 좌표계에서의 교점

를 복합 마커의 좌표계인

로 변환하여 카메라의 시선과 가장 일치하는 요소 마커를 찾을 수 있다. 단일 마커만을 사용하여 공간을 인식할 때, 상황에 따라 오차가 많이 발생할 수 있으므로 여러 개의 요소 마커를 사용하여 오차를 보정할 수 있는데, 함께 사용할 요소 마커도 카메라의 시선과 최대한 일치하는 것이 좋기 때문에 도 4에서 도시한 것처럼 위에서 찾아낸 요소 마커의 주변 요소 마커를 함께 사용한다. 도 4는 본 발명의 바람직한 실시예에 따른 카메라 좌표계 추정 방법에 있어서, 본 발명의 전반적인 과정을 도시한 것으로 AR 기기의 좌표계 설정시에, 카메라의 시선과 최대한 일치하는 여러 개의 요소 마커를 찾고 요소 마커로 추정한 좌표계를 이용하여 보정하는 방법을 나타낸 그림이다.

만일 복합 마커 안에서 격자의 형태로 요소 마커를 배치하였다면 위에서 언급한 요소 마커와 이에 대한 주변 요소 마커를 쉽게 찾을 수 있다. 찾아낸 요소 마커로부터 AR 기기의 좌표계에서

번째 요소 마커의 좌표계로 변환하는 기하변환 행렬

을 구한 후에, 복합 마커를 생성할 때 정해놓은

번째 요소 마커의 좌표계에서 복합 마커의 좌표계로 변환하는 기하변환 행렬

을 이용하여 AR 기기의 좌표계에서 복합 마커의 좌표계로 변환하는 기하변환 행렬

을 다음의 수학식 2로 얻어낼 수 있다.

개의 요소 마커에 대하여 위의 수학식 2로부터 계산된 기하변환 행렬에 대해서 카메라의 시선과 일치하는 정도에 따라 가중치를 주는 방법을 사용하여 정확도가 높을 가능성이 큰 값을 보정 값에 많이 반영한다. 가중치를 주는 방법은 여러 가지 방법이 있으나, 본 발명에서는 2차원 가우시안 함수의 형태를 적절히 변형하여 선택한

개의 요소 마커에 대해서 복합 마커 좌표계에서의

번째 요소 마커의 위치를

라고 한다면 앞에서 언급한

와

사이의 거리

에 대한

번째 요소 마커의 가중치

를 다음의 수학식 3으로 반영하였다.

가우시안 함수에 대해서 평균으로부터의 거리가

이내에 있는 범위에 거의 모든 값이 포함된다는 3-시그마 규칙이 일반적으로 알려져 있는데, 이는

의 값을 인식범위라고 볼 수 있음을 의미하며 이 값의 크기에 따라 반영할 주변 마커의 범위를 지정할 수 있다. 위의 수학식 3으로 구한 가중치를 이용하여 각각의 요소 마커에 대한 기하변환 행렬

를 위치

와 쿼터니언 회전

로 나누어 각각 적용한다. 가중치를 반영한 위치

는 수학식 4와 같다.

쿼터니언의 경우에는 원래 위치와 같은 형태로 보간법을 적용할 수 없으나, 두 쿼터니언 간의 구면 선형 보간 방법은 두 쿼터니언 사이의 각도 차

가 0에 가까워진다면 아래의 수학식 5와 같이 선형 보간의 형태로 근사할 수 있다.

복합 마커의 설계 특성상 각각의 요소 마커에서 얻어낸 기하변환 사이에서는 회전의 차이가 크지 않기 때문에 위의 수학식 5에서 근사한 수식을 그대로 사용하여 가중치를 반영할 수 있으며, 정규화 과정을 포함하여 이를 반영한 회전

은 수학식 6과 같다.

그러면, AR 기기의 좌표계에서 복합 마커의 좌표계로 변환하는 행렬

은 가중치를 반영한 위치

와 가중치를 반영한 회전

을 적용하여 알아낼 수 있다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명에 따른 AR 공간에서의 복합 마커 좌표계 추정 방법은 AR 기기를 사용하는 분야에서 널리 사용될 수 있다.

Claims (5)

1. (a) 설정할 AR 기기의 가상 공간과 현실 공간의 좌표계 일치화를 위한 물리적 장비를 제작하는 단계;
   (b) 주어진 AR 기기의 카메라 시점에 대해 안정적인 계산을 위한 중심 요소 마커 및 주변 요소 마커를 결정하는 단계;
   (c) 중심 요소 마커와 주변 요소 마커에 대한 보간법 적용을 통하여 중심 요소 마커 대비 카메라 좌표계를 추정하는 단계;
   (d) 중심 요소 마커 대비 카메라 좌표계를 세상 좌표계 대비 좌표계로 변환하는 단계;
   를 구비하는 이미지 인식 기술과 복합 마커를 활용한 좌표계 추정 방법.
2. 제1항에 있어서, 상기 이미지 인식 기술과 복합 마커를 활용한 좌표계 보정 방법은 AR 기기에 적용되는 것을 특징으로 하는 이미지 인식 기술과 복합 마커를 활용한 좌표계 추정 방법.
3. 제1항에 있어서, 상기 (a) 단계의 물리적 장비는 AR 공간에서의 좌표계 추정을 특징으로 하는 이미지 인식 기술과 복합 마커를 활용한 좌표계 추정 방법.
4. 제1항에 있어서, 상기 물리적 장비는 일면에 복합 마커 패턴을 구비하는 장비로서, 상기 복합 마커 패턴은 복수 개의 요소 마커들을 포함하는 복합 마커로 구성된 것을 특징으로 하는 이미지 인식 기술과 복합 마커를 활용한 좌표계 추정 방법.
5. 일면에 복합 마커 패턴을 구비하고,
   상기 복합 마커 패턴은 복수 개의 요소 마커들을 포함하는 복합 마커로 구성된 것을 특징으로 하는 좌표계 추정용 복합 마커 장비.
   

Images