KR100962557B1

KR100962557B1 - 증강현실 구현 장치 및 증강현실 구현 방법

Info

Publication number: KR100962557B1
Application number: KR1020090009110A
Authority: KR
Inventors: 김이섭; 윤재성; 김정현
Original assignee: 한국과학기술원
Priority date: 2009-02-05
Filing date: 2009-02-05
Publication date: 2010-06-11

Abstract

증강현실 구현 장치는, 제1 프로세서부, 추적부 및 제2 프로세서부를 포함한다. 제1 프로세서부는, 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 카메라에 의해 촬영된 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 카메라의 중심과 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다. 추적부는 마커들의 좌표값, 프로젝션 행렬값 및 법선 벡터값들을 기초로, 물체의 자세 및 위치를 추적하여 3차원 정보 데이터를 생성한다. 제2 프로세서부는 3차원 정보 데이터 및 3차원 가상 공간에서 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 물체 및 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성한다. 따라서, 시스템 온 칩(SOC: System On Chip)과 같은 단일칩에 증강현실 구현에 필요한 소자들을 실장할 수 있다.

증강 현실, 이미지, 위치 추적, 자세 추적,

Description

증강현실 구현 장치 및 증강현실 구현 방법{AUGMENTED REALITY IMPLEMENTATION APPARATUS AND METHOD OF THE SAME}

본 발명은 증강현실에 관한 것이다. 보다 상세하게는, 간단한 수학식을 이용한 연산으로 물체의 위치 및 자세를 추적할 수 있고, 추적된 물체의 위치 및 자세를 보정할 수 있으며, 이에 따라 시스템 온 칩과 같은 단일칩에 증강현실 구현에 필요한 소자들을 실장할 수 있는 증강현실 구현 장치 및 증강현실 구현 방법에 관한 것이다.

증강현실은 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주는 가상 현실의 하나이다. 현실 세계를 가상 세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상 환경을 사용하지만 주역은 현실 환경이다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실 환경과 가상 화면과의 구분이 모호해지도록 하는 것이다.

종래에는 증강현실 구현하는데 있어서 아크 삼각함수와 같은 복잡한 연산이 필요하였고, 이에 따라 시스템 온 칩(SoC: System on Chip)과 같은 단일 칩 상에 증강현실 구현에 필요한 하드웨어를 설치하기 어려운 문제점이 있었다.

따라서 증강현실 구현하는데 있어서 비교적 간단한 연산을 이용하고, 시스템 온 칩과 같은 단일칩 상에 증강현실 구현에 필요한 소자들을 실장할 수 있는 장치 및 방법이 요구된다.

상기와 같은 문제점을 해결하기 위하여, 본 발명은 간단한 수학식을 이용한 연산으로 물체의 위치 및 자세를 추적할 수 있고, 추적된 물체의 위치 및 자세를 보정할 수 있는 증강현실 구현 장치를 제공한다.

또한 본 발명은 간단한 수학식을 이용한 연산으로 물체의 위치 및 자세를 추적할 수 있고, 추적된 물체의 위치 및 자세를 보정할 수 있는 증강현실 구현 방법을 제공한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 증강현실 구현 장치는 제1 프로세서부, 추적부 및 제2 프로세서부를 포함한다.

상기 제1 프로세서부는, 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다. 상기 추적부는 상기 마커들의 좌표값, 상기 프로젝션 행렬값 및 상기 법선 벡터값들을 기초로, 상기 물체의 자세 및 위치를 추적하여 3차원 정보 데이터를 생성한다. 상기 제2 프로세서부는 상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성한다.

상기 추적부는, 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정한 후 상기 3차원 정보 데이터를 생성하는 보정부를 구비할 수 있다.

상기 보정부는, 상기 추적된 물체의 자세 및 위치를, 제1 회전축을 기준으로 제1 각도만큼 회전시켜 상기 오차의 값을 감소시키는 동작을 수행할 수 있다.

상기 보정부는, 상기 추적된 물체의 자세 및 위치를, 제1축, 제2축 및 제3축의 3차원에서 정의된 3X3 행렬로 변환하고, 상기 제1 회전축에 상응하는 단위 벡터 및 상기 제1 각도를 기초로 하여 4원수(quaternion) 행렬을 생성한 후, 상기 3X3 행렬 및 상기 4원수 행렬을 곱셈 연산할 수 있다.

상기 보정부는, 상기 추적된 물체의 자세 및 위치를, 복수의 회전축들을 기준으로 제1 각도만큼 회전시키는 동작을 상기 각각의 회전축들에 대해 반복적으로 수행하여 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차가 최소인 회전축을 검출할 수 있다.

상기 보정부는, 상기 추적된 물체의 자세 및 위치를, 제1축, 제2축 및 제3축의 3차원에서 정의된 3X3 행렬로 변환하고, 상기 각각의 회전축들에 상응하는 단위 벡터 및 상기 제1 각도를 기초로 하여 4원수(quaternion) 행렬을 생성한 후, 상기3X3 행렬 및 상기 4원수 행렬을 곱셈 연산할 수 있다.

상기 보정부는, 상기 제1축을 회전축으로 하여 상기 제2축 및 상기 제3축을 제2 각도만큼 회전한 후, 상기 회전된 제2축을 회전축으로 하여 상기 제1축 및 상기 회전된 제3축을 상기 제2 각도만큼 회전하여 상기 회전축들을 생성할 수 있다.

본 발명의 일 실시예에 따른 증강현실 구현 장치는 제1 프로세서부, 추적부, 제2 프로세서부 및 제어부를 포함한다.

상기 제1 프로세서부는, 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다. 상기 추적부는 상기 마커들의 좌표값, 상기 프로젝션 행렬값 및 상기 법선 벡터값들을 기초로 상기 물체의 자세 및 위치를 추적하여 3차원 정보 데이터를 생성한다. 상기 제2 프로세서부는 상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성한다. 상기 제어부는 상기 제1 프로세서부, 상기 추적부 및 상기 제2 프로세서부의 동작을 활성화 및 비활성화시킨다.

본 발명의 일 실시예에 따른 증강현실 구현 장치는 제1 프로세서부, 추적부, 보정부, 제2 프로세서부 및 표시부를 포함한다.

상기 제1 프로세서부는, 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다. 상기 추적부는 상기 마커들의 좌표값, 상기 프로젝션 행렬값 및 상기 법선 벡터값들을 기초로 상기 물체의 자세 및 위치를 추적한다. 상기 보정부는 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성한다. 상기 제2 프로세서부는 상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성한다. 상기 표시부는 상기 증강현실 이미지를 표시한다.

본 발명의 일 실시예에 따른 증강현실 구현 방법은, 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 단계, 상기 마커들의 좌표값, 상기 프로젝션 행렬값 및 상기 법선 벡터값들을 기초로 하여 상기 물체의 자세 및 위치를 추적하는 단계, 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 단계 및 상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 단계를 포함한다.

상기 3차원 정보 데이터를 생성하는 단계는, 상기 추적된 물체의 자세 및 위치를, 복수의 회전축들을 기준으로 제1 각도만큼 회전시키는 동작을 상기 각각의 회전축들에 대해 반복적으로 수행하여 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차가 최소인 회전축을 검출하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 증강현실 구현 방법은, 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 단계, 상기 마커들의 좌표값, 상기 프로젝션 행렬값 및 상기 법선 벡터값들을 기초로 하여 상기 물체의 자세 및 위치를 추적하는 단계, 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 단계, 상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 단계 및 상기 증강현실 이미지를 표시하는 단계를 포함한다.

본 발명의 일 실시예에 따른 증강현실 구현 장치 및 증강현실 구현 방법은, 간단한 수학식을 이용한 연산으로 물체의 위치 및 자세를 추적할 수 있고 추적된 물체의 위치 및 자세를 보정하여 실제 물체의 위치 및 자세와의 오차를 감소시킬 수 있으므로 저비용으로 증강현실 이미지를 구현할 수 있고, 시스템 온 칩(SOC: System On Chip)과 같은 단일칩에 증강현실 구현에 필요한 소자들을 실장할 수 있다. 따라서 저전력으로 동작되고 비교적 복잡하지 않은 프로세싱을 요구하는 모바일 디바이스에서도 증강현실 이미지를 생성 및 구현시킬 수 있다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있 을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.

도1은 본 발명의 일 실시예에 따른 증강현실 구현 시스템을 나타내는 블록도이다.

도1을 참조하면, 증강현실 구현 시스템(1000)은 증강현실 구현 장치(100) 및 표시부(200)를 포함한다. 증강현실 구현 장치(100)는 병렬 프로세서 회로(110), 추적부(130) 및 제어부(150)를 포함하고, 병렬 프로세서 회로(100)는 제1 프로세서부(113) 및 제2 프로세서부(115)를 구비한다.

병렬 프로세서 회로(100)에 포함된 제1 프로세서부(113)는 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 카메라에 의해 촬영된 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 및 카메라의 중심과 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다.

추적부(130)는 제1 프로세서부(113)에 의해 계산된 마커들의 좌표값, 프로젝션 행렬값 및 상기 법선 벡터값들을 기초로, 상기 물체의 자세 및 위치를 추적하여 3차원 정보 데이터를 생성한다. 추적부(130)는 추적된 물체의 자세 및 위치와 실제 물체의 자세 및 위치와의 오차를 보정한 후 3차원 정보 데이터를 생성하는 보정부(133)를 더 구비할 수 있고, 실시예에 따라 보정부(133)는 추적부(130) 외부에 위치하여 추적부(130)로부터 추적된 물체의 자세 및 위치 정보를 수신하여 추적된 물체의 자세 및 위치와 실제 물체의 자세 및 위치와의 오차를 보정한 후 3차원 정보 데이터를 생성할 수 있다.

병렬 프로세서 회로(110)에 포함된 제2 프로세서부(115)는 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성 한다.

일반적으로 3차원 이미지는 복수의 다각형들로 분할되어 있다고 할 수 있다. 예를 들어, 3차원 이미지가 복수의 삼각형들로 이루어져 있다고 가정하면, 버텍스는 삼각형의 꼭지점을 의미하고, 버텍스 데이터는 버텍스의 위치 및 색상 정보일 수 있다. 이 경우, 제2 프로세서부(115)는 버텍스 데이터를 수신하여 버텍스를 연결하는 동작을 수행하고, 픽셀(pixel) 또는 프래그먼트(fragment) 레벨에서 버텍스의 색상을 결정하는 동작을 수행할 수 있다.

제어부(150)는 병렬 프로세서 회로(110) 및 추적부(130)의 동작을 제어한다. 예를 들면, 병렬 프로세서(110)가 동작하는 동안에는 추적부(130)의 동작을 정지시킬 수 있고, 추적부(130)가 동작하는 동안에는 병렬 프로세서(110)의 동작을 정지시킬 수 있다. 즉, 제어부(150)는 병렬 프로세서 회로(110) 및 추적부(130)의 동작을 활성화 및 비활성화시킬 수 있고, 예를 들면 제어부(150)는 RISC(Reduced Instruction Set Computer)일 수 있다.

표시부(200)는 증강현실 구현 장치(100)로부터 생성된 증강현실 이미지를 표시한다. 예를 들면, 표시부(200)는 CRT(Cathode Ray Tube)모니터, 액정 표시 장치(LCD: Liquid Crystal Device) 및 플라즈마 표시 패널(PDP: Plasma Display Panel)과 같은 영상 표시 장치일 수 있다.

도2a, 도2b 및 도2c는 카메라에 의해 촬영된 물체의 위치를 추적하는 방법을 설명하기 위한 참조도들이다.

도2a를 참조하면, 물체의 위치가 마커 좌표계에서는 (a, b, c)이지만, 카메라 좌표계에서는 (a', b', c')으로 나타나게 되고, 증강현실 구현에서 물체의 위치 및 자세를 추적하기 위해, 물체의 이웃하는 모서리들이 교차하는 꼭짓점들에 비춰지는 카메라 마커들이 나타나는 마커 좌표계를 카메라 좌표계로 변환하는 동작을 수행한다. 마커 좌표계 및 카메라 좌표계의 변환식은 아래 [수학식 1]과 같다.

[수학식 1]

여기서, V₁₁, V₁₂, V₁₃, V₂₁, V₂₂, V₂₃, V₃₁, V₃₂ 및 V₃₃은 물체의 회전(rotation) 행렬을 나타내고, Wx, Wy 및 Wz는 물체의 이동(translation) 벡터를 나타낸다.

도2b를 참조하면, 제1 프로세서부(113)는 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 물체의 이웃하는 모서리들이 만나는 교점들에 표시되는 마커들의 좌표값(Am, Bm, Cm, Dm) 및 카메라의 중심(C)과 물체의 이웃하는 모서리들이 만나는 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들의 법선 벡터값들(A, B)을 계산한다. 추적부(130)는 물체의 자세를 추적하기 위해 법선 벡터값들(A, B)을 외적 연산한다.

도2c를 참조하면, 예를 들어 카메라에 의해 촬영된 물체의 이미지가 표시된 모니터상의 위치가 Bc 이고, 실제 물체 마커의 위치가 Bm일 때, Bc에 해당하는 위치값에 제1 프로세서부(113)에 의해 계산된 프로젝션 행렬값의 역행렬을 곱하면 Bm' 위치가 된다. 즉, 오차값 A만큼 떨어진 지점값으로 계산된다.

카메라의 중심에서 카메라에 의해 촬영된 물체의 이미지가 표시된 모니터상의 위치까지의 벡터는 C이고, 카메라의 중심에서 실제 물체 마커까지의 벡터는 D이다. 벡터 D와 정규화한 벡터 C를 내적하면 벡터 B를 구할 수 있으며, 벡터 B와 벡터 D를 감산하면 크기 A를 산출할 수 있다. 오차값 A를 0으로 하는 카메라 중심점으로부터 모니터까지의 직선 방정식을 구하면 물체의 위치를 추적할 수 있다.

그러나, 일반적으로 물체를 촬영하는 카메라는 동작 상의 에러가 존재하므로 제1 프로세서부(113) 및 추적부에 의해 수학식으로 계산하여 추적된 물체의 자세 및 위치는 실제 물체의 자세 및 위치와 다르게 추적될 수 있고, 따라서 추적된 물체의 자세 및 위치와 실제 물체의 자세 및 위치와의 오차를 보정할 필요가 있다.

보정부(133)는 추적된 물체의 자세 및 위치를, 제1 회전축을 기준으로 제1 각도만큼 회전시키는 동작을 수행하여 오차의 값을 감소시킨다.

도3a, 도3b, 도3c 및 도3d는 본 발명의 일 실시예에 따른 오차 보정 방법을 설명하기 위한 참조도들이다.

도3a를 참조하면, 보정부(133)는 제1축, 제2축 및 제3축(예를 들면, X축, Y축 및 Z축)의 3차원에, 추적된 물체의 자세 및 위치를 정의한다. 도3b를 참조하면, 보정부(133)는 3차원에서 정의된, 추적된 물체의 자세 및 위치를 임의의 회전축을 기준으로 제1 각도만큼, 즉, ±Ｘ°회전시킨다. 즉, 보정부(133)는, 추적된 물체의 자세 및 위치를 도3c에 도시된 바와 같이 임의의 회전축(a)을 기준으로 +X° 회전시킬 수 있고, 도3d에 도시된 바와 같이 임의의 회전축(a)을 기준으로 -X° 회전시킬 수 있다.

보정부(133)는, 추적된 물체의 자세 및 위치를, 제1축, 제2축 및 제3축의 3차원에서 정의된 3X3 행렬로 변환하고, 회전축에 상응하는 단위 벡터 및 회전되는 각도를 기초로 하여 4원수(quaternion) 행렬을 생성한 후, 3X3 행렬 및 상기 4원수 행렬을 곱셈 연산하여 추적된 물체의 자세 및 위치를 회전시키는 동작을 수행한다.

4원수 행렬은 아래 [수학식2]와 같다.

[수학식 2]

보정부(133)가 추적된 물체의 자세 및 위치를 회전할 때 기준으로 설정하는 임의의 회전축은 각각 서로 다른 복수개의 회전축들일 수 있고, 이 경우, 보정부(133)는 각각의 회전축들을 기준으로 하여 ±Ｘ° 회전시키는 동작을 반복적으로 수행함으로써 추적된 물체의 자세 및 위치와 실제 물체의 자세 및 위치와의 오차가 최소인 회전축 및 회전 각도를 검출할 수 있다.

도4a, 도4b, 도4c, 도4d 및 도4e는 본 발명의 일 실시예에 따른 회전축들을 생성하는 과정을 설명하기 위한 과정도들이다.

보정부(133)는 복수의 회전축들에 대해, 추적된 물체의 자세 및 위치를 회전하기 위해 복수의 회전축들을 생성할 수 있다.

도4a를 참조하면, 추적된 물체의 자세 및 위치를 정의한 3차원의 제1축, 제2축 및 제3축이 도시되어 있다. 도4b를 참조하면, 보정부(133)는 제1축을 회전축으로 하여 제2축 및 제3축을 제2 각도만큼 회전시킨다. 예를 들면, 제2 각도는 45°일 수 있다. 도4c를 참조하면, 제1축을 회전축으로 하여 제2축 및 제3축이 제2 각도만큼 회전된 결과가 도시되어 있다. 도4d를 참조하면, 보정부(133)는 회전된 제2축을 회전축으로 하여 제1축 및 회전된 제3축을 제2 각도만큼 회전시킨다. 도4e를 참조하면, 회전된 제2축을 회전축으로 하여 제1축 및 회전된 제3축이 제2 각도만큼 회전된 결과가 도시되어 있다. 즉, 새로운 3개의 회전축이 생성되었고, 회전 각도를 달리하여 상기 과정을 반복하면 복수의 회전축들을 생성할 수 있다.

도5는 본 발명의 일 실시예에 따른 증강현실 구현 방법을 나타내는 순서도이다.

도5를 참조하면, 비전 프로세서를 구비한 병렬 프로세서 회로가 카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 카메라에 의해 촬영된 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬값 Ｘ및 카메라의 중심과 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다(S510). 추적부가, 프로세서에 의해 계산된 마커들의 좌표값, 프로젝션 행렬값 및 법선 벡터값들을 기초로 하여 물체의 자세 및 위치를 추 적한다(S520). 카메라 동작 상의 에러 및 계산으로 인한 에러로 인해 추적된 물체의 자세 및 위치와 실제 물체의 자세 및 위치와의 오차가 발생할 수 있으므로 보정부가 추적된 물체의 자세 및 위치와 실제 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성한다(S530). 즉, 복수의 회전축들을 생성하여 추적된 물체의 자세 및 위치를, 각각의 회전축들을 회전축으로 하여 ±Ｘ° 만큼 회전시키는 동작을 반복함으로써 오차의 값을 감소시킨다. 병렬 프로세서 회로가 3차원 정보 데이터 및 3차원 가상 공간에서 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 물체 및 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성한다(S540). 따라서, 증강현실 구현 방법은 증강현실 구현 방법은, 간단한 수학식을 이용한 연산으로 물체의 위치 및 자세를 추적할 수 있고, 추적된 물체의 위치 및 자세를 보정하여 실제 물체의 위치 및 자세와의 오차를 감소시킬 수 있다. 증강현실 구현 방법은, 생성된 증강현실 이미지를 액정 표시 장치와 같은 영상 표시 장치로 표시하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 증강현실 구현 장치 및 증강현실 구현 방법은, 간단한 수학식을 이용한 연산으로 물체의 위치 및 자세를 추적할 수 있고, 추적된 물체의 위치 및 자세를 보정하여 실제 물체의 위치 및 자세와의 오차를 감소시킬 수 있으므로 저비용으로 증강현실 이미지를 구현할 수 있고, 시스템 온 칩(SOC: System On Chip)과 같은 단일칩에 증강현실 구현에 필요한 소자들을 실장할 수 있다. 따라서 저전력으로 동작되고 비교적 복잡하지 않은 프로세싱을 요구하는 모바일 디바이스에서도 증강현실 이미지를 생성 및 구현시킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

<도면의 주요 부분에 대한 설명>

1000: 증강현실 구현 시스템 100: 증강현실 구현 장치

110: 병렬 프로세서 회로 113: 제1 프로세서부

115: 제2 프로세서부 130: 추적부

133: 보정부 150: 제어부

200: 표시부

Claims

카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 제1 프로세서부;

상기 마커들의 좌표값, 상기 프로젝션 행렬 및 상기 법선 벡터값들을 기초로, 상기 법선 벡터 값들을 외적 연산하고, 상기 물체의 이미지가 표시되는 모니터상의 위치 값에 상기 프로젝션 행렬의 역행렬을 곱하고, 상기 카메라의 중심에서 상기 물체의 이미지가 표시된 모니터상의 위치까지의 벡터를 정규화하고, 상기 정규화한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 내적하고, 상기 내적하여 구한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 감산한 오차 값을 0으로 하는 상기 카메라의 중심으로부터 상기 모니터까지의 직선 방정식을 구하여 상기 물체의 자세 및 위치를 추적하고, 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 추적부; 및

상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 제2 프로세서부를 포함하는 증강현실 구현 장치.
제1항에 있어서, 상기 추적부는,

상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정한 후 상기 3차원 정보 데이터를 생성하는 보정부를 구비하는 것을 특징으로 하는 증강현실 구현 장치.
제2항에 있어서, 상기 보정부는,

상기 추적된 물체의 자세 및 위치를, 제1 회전축을 기준으로 제1 각도만큼 회전시켜 상기 오차의 값을 감소시키는 동작을 수행하는 것을 특징으로 하는 증강현실 구현 장치.
제3항에 있어서, 상기 보정부는,

상기 추적된 물체의 자세 및 위치를, 제1축, 제2축 및 제3축의 3차원에서 정의된 3X3 행렬로 변환하고, 상기 제1 회전축에 상응하는 단위 벡터 및 상기 제1 각도를 기초로 하여 4원수(quaternion) 행렬을 생성한 후, 상기3X3 행렬 및 상기 4원수 행렬을 곱셈 연산하는 것을 특징으로 하는 증강현실 구현 장치.
제2항에 있어서, 상기 보정부는,

상기 추적된 물체의 자세 및 위치를, 복수의 회전축들을 기준으로 제1 각도만큼 회전시키는 동작을 상기 각각의 회전축들에 대해 반복적으로 수행하여 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차가 최소인 회전축을 검출하는 것을 특징으로 하는 증강현실 구현 장치.
제5항에 있어서, 상기 보정부는,

상기 추적된 물체의 자세 및 위치를, 제1축, 제2축 및 제3축의 3차원에서 정의된 3X3 행렬로 변환하고, 상기 각각의 회전축들에 상응하는 단위 벡터 및 상기 제1 각도를 기초로 하여 4원수(quaternion) 행렬을 생성한 후, 상기 3X3 행렬 및 상기 4원수 행렬을 곱셈 연산하는 것을 특징으로 하는 증강현실 구현 장치.
제6항에 있어서, 상기 보정부는,

상기 제1축을 회전축으로 하여 상기 제2축 및 상기 제3축을 제2 각도만큼 회전한 후, 상기 회전된 제2축을 회전축으로 하여 상기 제1축 및 상기 회전된 제3축을 상기 제2 각도만큼 회전하여 상기 회전축들을 생성하는 것을 특징으로 하는 증강현실 구현 장치.
카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 제1 프로세서부;

상기 마커들의 좌표값, 상기 프로젝션 행렬 및 상기 법선 벡터값들을 기초로, 상기 법선 벡터 값들을 외적 연산하고, 상기 물체의 이미지가 표시되는 모니터상의 위치 값에 상기 프로젝션 행렬의 역행렬을 곱하고, 상기 카메라의 중심에서 상기 물체의 이미지가 표시된 모니터상의 위치까지의 벡터를 정규화하고, 상기 정규화한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 내적하고, 상기 내적하여 구한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 감산한 오차 값을 0으로 하는 상기 카메라의 중심으로부터 상기 모니터까지의 직선 방정식을 구하여 상기 물체의 자세 및 위치를 추적하고, 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 추적부;

상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 제2 프로세서부; 및

상기 제1 프로세서부, 상기 추적부 및 상기 제2 프로세서부의 동작을 활성화 및 비활성화시키는 제어부를 포함하는 증강현실 구현 장치.
제8항에 있어서, 상기 추적부는,

상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정한 후 상기 3차원 정보 데이터를 생성하는 보정부를 구비하는 것을 특징으로 하는 증강현실 구현 장치.
제9항에 있어서, 상기 보정부는,

상기 추적된 물체의 자세 및 위치를, 복수의 회전축들을 기준으로 제1 각도만큼 회전시키는 동작을 상기 각각의 회전축들에 대해 반복적으로 수행하여 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차가 최소인 회전축을 검출하는 것을 특징으로 하는 증강현실 구현 장치.
카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 제1 프로세서부;

상기 마커들의 좌표값, 상기 프로젝션 행렬 및 상기 법선 벡터값들을 기초로, 상기 법선 벡터 값들을 외적 연산하고, 상기 물체의 이미지가 표시되는 모니터상의 위치 값에 상기 프로젝션 행렬의 역행렬을 곱하고, 상기 카메라의 중심에서 상기 물체의 이미지가 표시된 모니터상의 위치까지의 벡터를 정규화하고, 상기 정규화한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 내적하고, 상기 내적하여 구한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 감산한 오차 값을 0으로 하는 상기 카메라의 중심으로부터 상기 모니터까지의 직선 방정식을 구하여 상기 물체의 자세 및 위치를 추적하는 추적부;

상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 보정부;

상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 제2 프로세서부; 및

상기 증강현실 이미지를 표시하는 표시부를 포함하는 증강현실 구현 시스템.
제11항에 있어서, 상기 보정부는,

상기 추적된 물체의 자세 및 위치를, 복수의 회전축들을 기준으로 제1 각도만큼 회전시키는 동작을 상기 각각의 회전축들에 대해 반복적으로 수행하여 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차가 최소인 회전축을 검출하는 것을 특징으로 하는 증강현실 구현 시스템.
카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 단계;

상기 마커들의 좌표값, 상기 프로젝션 행렬 및 상기 법선 벡터값들을 기초로, 상기 법선 벡터 값들을 외적 연산하고, 상기 물체의 이미지가 표시되는 모니터상의 위치 값에 상기 프로젝션 행렬의 역행렬을 곱하고, 상기 카메라의 중심에서 상기 물체의 이미지가 표시된 모니터상의 위치까지의 벡터를 정규화하고, 상기 정규화한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 내적하고, 상기 내적하여 구한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 감산한 오차 값을 0으로 하는 상기 카메라의 중심으로부터 상기 모니터까지의 직선 방정식을 구하여 상기 물체의 자세 및 위치를 추적하는 단계;

상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 단계; 및

상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 단계를 포함하는 증강현실 구현 방법.
제13항에 있어서, 상기 3차원 정보 데이터를 생성하는 단계는,

상기 추적된 물체의 자세 및 위치를, 복수의 회전축들을 기준으로 제1 각도만큼 회전시키는 동작을 상기 각각의 회전축들에 대해 반복적으로 수행하여 상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차가 최소인 회전 축을 검출하는 단계를 포함하는 것을 특징으로 하는 증강현실 구현 방법.
카메라에 의해 촬영된 물체의 이미지를 프로세싱하여, 상기 물체의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비춰진 카메라 마커들의 좌표값, 상기 카메라에 의해 촬영된 상기 물체의 이미지를 모니터에 표시하기 위한 프로젝션 행렬 및 상기 카메라의 중심과 상기 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산하는 단계;

상기 마커들의 좌표값, 상기 프로젝션 행렬 및 상기 법선 벡터값들을 기초로, 상기 법선 벡터 값들을 외적 연산하고, 상기 물체의 이미지가 표시되는 모니터상의 위치 값에 상기 프로젝션 행렬의 역행렬을 곱하고, 상기 카메라의 중심에서 상기 물체의 이미지가 표시된 모니터상의 위치까지의 벡터를 정규화하고, 상기 정규화한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 내적하고, 상기 내적하여 구한 벡터와 상기 카메라의 중심에서 상기 물체의 마커들까지의 벡터를 감산한 오차 값을 0으로 하는 상기 카메라의 중심으로부터 상기 모니터까지의 직선 방정식을 구하여 상기 물체의 자세 및 위치를 추적하는 단계;

상기 추적된 물체의 자세 및 위치와 상기 물체의 자세 및 위치와의 오차를 보정하여 3차원 정보 데이터를 생성하는 단계;

상기 3차원 정보 데이터 및 3차원 가상 공간에서 상기 물체와 함께 나타나는 타겟 이미지 모델의 버텍스(vertex) 데이터를 수신하고 상기 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 상기 물체 및 상기 타겟 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성하는 단계; 및

상기 증강현실 이미지를 표시하는 단계를 포함하는 증강현실 구현 방법.