KR20160068186A - 증강 현실 컨텐츠 제공 장치 및 방법 - Google Patents

Abstract

증강 현실 컨텐츠 제공 장치 및 방법이 개시된다. 일 실시예에 따른 증강 현실 재생 장치는 사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상에서 특징점을 추출하고, 추출된 특징점을 기 저장된 2차원 이미지의 특징 정보와 비교하여 2차원 이미지를 식별하며, 채색된 2차원 이미지를 식별된 2차원 이미지에 대응하는 3차원 객체의 텍스처로 매핑한다.

Description

증강 현실 컨텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDINGAUGMENTED REALITY CONTENTENTS}

증강 현실 컨텐츠를 제공하기 위한 장치 및 방법에 관한 것이다.

증강 현실(Augmented Reality)은 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주는 가상 현실의 하나이다.

마커 기반 증강 현실(marker-based Augmented Reality)은 입력 영상에 부가된 마커 위에 가상의 3차원 객체를 증강시키는 방법으로 영상 처리 및 인식에 소요되는 계산 량이 적어 실시간 활용이 용이한 장점이 있다.

그러나, 마커 기반 증강 현실은 미리 제작된 텍스처가 매핑된 3차원 객체를 이용하여 가상의 3차원 객체를 증강시킴으로 인해서, 디스플레이 화면 상에 표현되는 3차원 객체의 색상 및 질감이 고정적이라는 단점이 존재한다.

아래에서 설명하는 실시예들은 이러한 문제를 해결하기 위한 것으로, 사용자가 직접 색칠한 2차원 이미지를 이용하여, 사용자가 색칠한 재료의 질감을 표현한 3차원 객체를 포함하는 증강 현실 컨텐츠를 제공하는 증강 현실 재생 장치 및 방법을 제공하는 것을 목적으로 한다.

일 측에 따른 증강 현실 컨텐츠 제공 장치는 텍스처가 매핑되지 않은 3차원 객체의 모델 정보, 상기 3차원 객체에 대응하는 2차원 이미지의 특징 정보, 및 상기 3차원 객체와 상기 2차원 이미지 사이의 매핑 정보를 저장하는 객체 정보 저장부; 사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상에서 특징점을 추출하고, 추출된 특징점을 상기 특징 정보와 비교하여 상기 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는 식별부; 상기 매핑 정보를 이용하여, 상기 채색된 2차원 이미지를 상기 식별된 2차원 이미지에 대응하는 3차원 객체의 텍스처로 매핑하는 텍스처 매핑부; 및 상기 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 디스플레이하는 컨텐츠 재생부를 포함한다.

상기 2차원 이미지는 상기 3차원 객체를 3차원 공간 상에서 서로 반대되는 두 개의 방향에 기초하여 투영한 두 개의 투영도를 포함할 수 있다.

상기 특징 정보는 상기 3차원 객체에 대응하는 2차원 이미지의 특징점들의 위치 정보를 포함할 수 있다.

상기 식별부는 상기 입력 영상에서 추출된 특징점의 상대적 좌표를 결정하고, 상기 결정된 상대적 좌표 및 상기 특징 정보를 비교함으로써 상기 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

상기 텍스처 매핑부는 상기 비교 결과에 기초하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭시킬 수 있다.

상기 텍스처 매핑부는 상기 입력 영상에서 추출된 특징점에 기초하여 설정된 적어도 네 개의 기준점을 이용하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭시킬 수 있다.

상기 컨텐츠 재생부는 상기 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 카메라를 통해 입력되는 영상과 함께 디스플레이 할 수 있다.

일 측에 따른 증강 현실 컨텐츠 제공 방법은 사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상을 수신하는 단계; 상기 입력 영상에서 특징점을 추출하는 단계; 상기 추출된 특징점과 기 저장된 2차원 이미지의 특징 정보를 비교하여 상기 기 저장된 2차원 이미지 중 상기 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는 단계; 상기 식별된 2차원 이미지와 3차원 객체 사이의 매핑 정보를 이용하여, 상기 채색된 2차원 이미지를 상기 3차원 객체의 텍스처로 매핑하는 단계; 및 상기 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 디스플레이하는 단계를 포함한다.

상기 식별하는 단계는 상기 입력 영상에서 추출된 특징점의 상대적 좌표를 결정하는 단계; 및 상기 결정된 상대적 좌표 및 상기 특징 정보를 비교함으로써 상기 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는 단계를 포함할 수 있다.

상기 매핑하는 단계는 상기 비교 결과에 기초하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭시키는 단계를 포함할 수 있다.

상기 매핑하는 단계는 상기 입력 영상에서 추출된 특징점에 기초하여 적어도 네 개의 기준점을 설정하는 단계; 및 상기 설정된 적어도 네 개의 기준점을 이용하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭하는 단계를 포함할 수 있다.

사용자가 직접 색칠한 2차원 이미지를 3차원 객체의 텍스처로 사용함으로써, 3차원 객체에 사용자가 색칠한 재료의 질감 그대로 살려 입히거나 3차원 객체의 텍스처를 쉽게 바꿀 수 있도록 하여 사용자가 원하는 다양한 증강 현실 컨텐츠를 제공함과 동시에 증강 현실 컨텐츠의 실재감을 향상시킬 수 있다.

도 1은 일 실시예에 따른 증강 현실 컨텐츠 제공 장치를 나타낸 블록도.
도 2는 일 실시예에 따른 3차원 객체를 설명하는 도면.
도 3은 일 실시예에 따른 3차원 객체에 대응하는 2차원 이미지를 설명하는 도면.
도 4는 일 실시예에 따른 사용자에 의해 채색된 2차원 이미지를 설명하는 도면.
도 5는 일 실시예에 따른 사용자에 의해 채색된 2차원 이미지가 포함된 입력 영상을 설명하는 도면.
도 6은 일 실시예에 따른 특징점들의 상대적 좌표를 결정하기 위한 기준점 설정을 설명하는 도면.
도 7은 일 실시예에 따른 디스플레이 화면 상에 표현된 3차원 객체를 설명하는 도면.
도 8은 일 실시예에 따른 증강 현실 컨텐츠 제공 방법을 나타낸 동작 흐름도.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 발명 명세서 전반에 걸쳐 사용되는 용서들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부"라는 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 본 발명은 이러한 경우를 포괄하도록 해석된다.

도 1은 일 실시예에 따른 증강 현실 컨텐츠 제공 장치를 나타낸 블록도이다.

증강 현실 컨텐츠 제공 장치(100)는 카메라를 통해 입력되는 현실 세계의 영상을 증강 현실 컨텐츠와 함께 디스플레이 화면 상에 재생하기 위한 것으로, 카메라와 디스플레이 화면을 구비한 휴대 단말의 일 구성으로 구현될 수 있다. 이때, 휴대 단말은 예를 들어, 스마트 폰, 셀룰러 폰, PDA, 랩톱 컴퓨터, 태블릿 컴퓨터 등을 포함할 수 있다.

도 1을 참조하면, 일 실시예에 따른 증강 현실 컨텐츠 제공 장치(100)는 객체 정보 저장부(110), 식별부(120),텍스처 매핑부(130) 및 컨텐츠 재생부(140)를 포함한다.

객체 정보 저장부(110)는 3차원 객체의 모델 정보, 3차원 객체에 대응하는 2차원 이미지의 특징 정보, 및 3차원 객체와 2차원 이미지 사이의 매핑 정보를 저장할 수 있다.

일 실시예에 따르면, 3차원 객체의 모델 정보는 아바타, 사람, 동물, 캐릭터, 구조물, 도구, 탈것 등 다양한 객체를 표현할 수 있다. 모델 정보는 해당 3차원 객체의 외형 구조를 입체적으로 나타내는 정보를 포함할 수 있다. 이 때, 모델 정보는 해당 3차원 객체의 외형 구조 위에 매핑되는 텍스처 정보는 포함하지 않을 수 있다. 예를 들어, 3차원 객체는 텍스처가 매핑되지 않은 객체일 수 있다.

예를 들어, 도 2를 참조하면, 모델 정보는 고양이 캐릭터(210)의 외형 구조를 입체적으로 나타내는 정보를 포함할 수 있다. 이 때, 모델 정보는 고양이 캐릭터(210)의 외형 구조 위에 매핑되는 텍스처 정보를 포함하지 않을 수 있다.

3차원 객체에 대응하는 2차원 이미지는 3차원 공간 상에서 서로 반대되는 두 개의 방향에 기초한 두 개의 투영도를 포함할 수 있다. 두 개의 투영도 중 제1 투영도는 3차원 공간 상에서 3차원 객체를 제1 방향에서 바라보았을 때 보이는 외형 선들을 포함할 수 있다. 또한, 두 개의 투영도 중 제2 투영도는 3차원 공간 상에서 3차원 객체를 제2 방향에서 바라보았을 때 보이는 외형 선들을 포함할 수 있다. 여기서, 제1 방향과 제2 방향은 서로 반대 방향일 수 있다.

3차원 객체에 대응하는 2차원 이미지는 3차원 객체의 정면도 및 배면도를 포함할 수 있다. 예를 들어, 도 3을 참조하면, 3차원 객체에 대응하는 2차원 이미지(300)는 도 2의 고양이 캐릭터(210)의 정면도(310) 및 배면도(320)를 포함할 수 있다.

그러나, 2차원 이미지에 포함되는 투영도는 반드시 정면도 및 배면도에 한정되는 것은 아니며, 좌측면도와 우측면도 같이 3차원 공간 상에서 서로 반대되는 방향에 기초하여 생성된 다양한 투영도를 포함할 수 있다.

또한, 경우에 따라 2차원 이미지는 두 개 이상의 투영도를 포함할 수 있다. 예를 들어, 2차원 이미지는 정면도, 배면도, 좌측면도, 및 우측면도를 포함할 수도 있다.

특징 정보는 3차원 객체에 대응하는 2차원 이미지의 특징점에 관한 정보를 포함할 수 있다. 일 예로, 특징 정보는 XY 평면 상에서 2차원 이미지의 특징점들의 좌표에 대한 정보일 수 있다. 다른 예로, 특징 정보는 XY 평면 상에서 2차원 이미지의 특징점들 사이의 상대적 좌표에 대한 정보일 수 있다. XY 평면 상에서 2차원 이미지의 특징점들 사이의 상대적 좌표는 UV 좌표계로 표시될 수 있다.

한편, 일 실시예에 따르면, 3차원 객체에 대응하는 2차원 이미지의 특징점은 3차원 객체가 2차원 이미지로 투영되는 과정에서 설정될 수 있다. 예를 들어, 3차원 객체의 모델 정보는 3차원 객체의 3차원 특징점을 포함할 수 있다. 이 경우, 해당 3차원 특징점이 2차원 이미지로 투영된 점들이 특징점으로 설정될 수 있다.

또는, 3차원 객체에 대응하는 2차원 이미지의 특징점은 2차원 이미지를 분석함으로써 설정될 수 있다. 예를 들어, 2차원 이미지의 에지를 따라서 특징점이 설정될 수 있다.

한편, 3차원 객체와 대응하는 2차원 이미지 사이의 매핑 정보는 3차원 객체와 대응하는 2차원 이미지를 매핑하는 정보이다. 일 예로, 매핑 정보는 3차원 객체에 포함된 점과 2차원 이미지에 포함된 점을 매핑하는 정보일 수 있다. 3차원 객체에 포함된 점은 3차원 객체의 표면에 위치하고, 2차원 이미지에 포함된 점은 2차원 이미지의 에지 위에 위치할 수 있다.

또는, 매핑 정보는 3차원 객체에 포함된 선과 2차원 이미지에 포함된 선을 매핑하는 정보일 수 있다. 3차원 객체에 포함된 선은 객체의 표면에 위치하고, 2차원 이미지에 포함된 선은 2차원 이미지의 에지 중 적어도 일부일 수 있다.

또는, 매핑 정보는 3차원 객체에 포함된 영역과 2차원 이미지에 포함된 영역을 매핑하는 정보일 수 있다. 3차원 객체에 포함된 영역은 객체의 표면에 위치하고, 2차원 이미지에 포함된 영역은 2차원 이미지의 에지들 내부에 위치할 수 있다.

일 예로, 매핑 정보는 3차원 객체를 구성하는 폴리곤(polygon)의 정점(vertex)들의 3차원 공간 상의 좌표와 2차원 이미지의 특징점들의 평면 좌표를 매핑하는 정보일 수 있다.

2차원 이미지의 특징점들은 UV 좌표 평면을 이용한 상대적 좌표값을 가질 수 있으며, 3차원 객체의 정점들 각각은 3차원 공간상의 좌표값 및 각각의 정점들에 매칭되는 2차원 이미지 상의 특징점의 UV 좌표값에 대한 정보를 포함할 수 있다.

식별부(120)는 사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상을 수신한다. 입력 영상은 카메라 등 다양한 비전 센서에 의하여 생성될 수 있다. 식별부(120)는 카메라 등 다양한 비전 센서에 의하여 생성된 입력 영상을 수신할 수 있다.

사용자에 의해 채색된 2차원 이미지는 객체 정보 저장부(110)에 저장된 2차원 이미지에 대응하는 그림에 사용자가 직접 색칠한 이미지일 수 있다. 예를 들어, 도 4를 참조하면, 사용자는 도 3의 2차원 이미지(300)와 동일한 그림을 프린트하여 직접 채색할 수 있다. 이후, 사용자에 의하여 채색된 그림이 카메라로 촬영되는 경우, 입력 영상은 사용자에 의해 채색된 2차원 이미지(400)가 포함된다.

식별부(120)는 입력 영상에서 특징점을 추출한다. 식별부(120)는 입력 영상의 픽셀값에 기초하여 특징점을 추출할 수 있다. 일 예로, 식별부(120)는 입력 영상에서 채도 변화가 크게 일어나는 픽셀을 인식하여 특징점으로 추출할 수 있다. 채도 변화는 흑백 영상을 이용하여 계산될 수 있다. 채도 변화에 따라 특징점이 추출되는 경우, 식별부(120)는 흑백 영상을 이용하여 특징점을 추출하므로 연산 복잡도가 감소될 수 있다.

그러나, 특징점을 추출하는 방법은 반드시 이에 한정되는 것은 아니다. 예를 들어, 식별부(120)는 픽셀의 채도 변화 대신 픽셀의 색상 변화를 이용하여 특징점을 추출할 수 있다. 또는, 식별부(120)는 픽셀의 명도 변화를 이용하여 특징점을 추출할 수 있다. 또는, 식별부(120)는 채도 변화, 색상 변화, 및 명도 변화 중 적어도 두 개의 조합을 이용하여 특징점을 추출할 수 있다.

식별부(120)는 추출된 특징점을 객체 정보 저장부(110)에 저장된 특징 정보와 비교하여 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

예를 들어, 객체 정보 저장부(110)는 복수의 3차원 객체들에 대응하는 2차원 이미지들의 특징 정보를 저장할 수 있다. 식별부(120)는 추출된 특징점과 가장 잘 매칭되는 특징 정보를 검출함으로써, 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

이때, 입력 영상의 채색된 2차원 이미지는 객체 정보 저장부(110)에 저장된 어느 하나의 2차원 이미지와 동일한 윤곽선을 가지므로, 입력 영상으로부터 객체 정보 저장부(110)에 저장된 2차원 이미지의 특징점과 동일하거나 유사한 특징점이 추출될 수 있다. 따라서, 식별부(120)는 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

일 실시예에 따르면, 식별부(120)는 입력 영상에서 추출된 특징점들의 상대적 위치 값이 객체 정보 저장부(110)에 저장된 2차원 이미지의 특징점들의 상대적 위치 값과 동일한지 여부를 판단하여, 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

예를 들어, 도 5를 참조하면, 사용자는 태블릿 컴퓨터(510) 등 증강 현실 컨텐츠 제공 장치(100)를 이용하여 채색된 2차원 이미지를 촬영할 수 있다. 아래에서 상세히 설명하겠으나, 식별부(120)는 카메라의 시야에 들어오는 영상이 미리 정해진 조건을 만족하는지 여부를 판단할 수 있다. 미리 정해진 조건은 3차원 객체에 텍스처를 입힐 만큼 충분한 입력 영상이 수신되었는지 여부를 판단하는 기준일 수 있다. 예를 들어, 사용자에 의하여 채색된 2차원 이미지가 미리 정해진 각도 범위 이내 및 미리 정해진 거리 범위 이내에서 촬영되는 경우, 3차원 객체에 텍스처를 입힐 만큼 충분한 입력 영상이 수신되었다고 판단될 수 있다.

미리 정해진 조건이 만족되는 경우, 증강 현실 컨텐츠 제공 장치(100)는 촬영해도 좋다는 것을 사용자에게 알릴 수 있다. 예를 들어, 증강 현실 컨텐츠 제공 장치(100)는 화면에 표시되는 채색된 2차원 이미지를 포함하는 영역을 파랗게 표시할 수 있다. 또는, 증강 현실 컨텐츠 제공 장치(100)는 진동을 울리거나, 효과음을 출력할 수 있다. 또는, 미리 정해진 조건이 만족되는 경우, 증강 현실 컨텐츠 제공 장치(100)는 자동으로 촬영을 수행할 수도 있다.

이 때, 사용자는 채색된 2차원 이미지를 정면에서 촬영하지 않을 수 있다. 예를 들어, 도 4의 사용자에 의해 채색된 2차원 이미지(400)는 비스듬히 촬영될 수 있고, 심지어 거꾸로 촬영될 수도 있다. 또한, 사용자에 의해 채색된 2차원 이미지(400)는 멀리서 촬영될 수 있고, 가까이서 촬영될 수도 있다.

사용자에 의해 채색된 2차원 이미지(400)가 촬영되는 조건에 따라 입력 영상에 포함되는 2차원 이미지가 달라진다. 따라서, 식별부(120)는 입력 영상으로부터 추출되는 특징점들의 상대적 위치 값과 객체 정보 저장부(110)에 저장된 2차원 이미지의 특징점들의 상대적 위치 값을 비교함으로써, 사용자에 의해 채색된 2차원 이미지(400)에 대응하는 2차원 이미지를 식별할 수 있다.

일 예로, 식별부(120)는 입력 영상으로부터 추출되는 특징점들을 고정하고, 객체 정보 저장부(110)에 저장된 2차원 이미지의 특징점들을 회전시키면서 두 윤곽선의 일치 여부를 판단할 수 있다. 반대로, 식별부(120)는 객체 정보 저장부(110)에 저장된 2차원 이미지의 특징점들을 고정하고, 입력 영상으로부터 추출되는 특징점들을 회전시키면서 두 윤곽선의 일치 여부를 판단할 수 있다.

텍스처 매핑부(130)는 객체 정보 저장부(110)에 저장된 매핑 정보를 이용하여, 채색된 2차원 이미지를 식별부(120)에 의해 식별된 2차원 이미지에 대응하는 3차원 객체의 텍스처로 매핑할 수 있다.

일 실시예에 따르면, 텍스처 매핑부(130)는 식별부(120)의 비교 결과에 기초하여 텍스처 매핑부(130)는 입력 영상에 포함된 2차원 이미지를 3차원 객체에 대응하는 2차원 이미지에 매칭시킬 수 있다. 예를 들어, 텍스처 매핑부(130)는 입력 영상으로부터 추출된 특징점 및 3차원 객체에 대응하는 2차원 이미지의 특징 정보 사이의 대응관계에 기초하여, 입력 영상에 포함된 2차원 이미지를 3차원 객체에 대응하는 2차원 이미지에 매칭시킬 수 있다.

도 6을 참조하면, 텍스처 매핑부(130)는 입력 영상에서 채색된 2차원 이미지의 외곽에 네 개의 기준점(610, 620, 630, 640)을 설정할 수 있다. 경우에 따라, 텍스처 매핑부(130)는 네 개의 기준점(610, 620, 630, 640) 사이에 추가로 네 개의 기준점(615, 625, 635, 645)을 더 설정할 수 있다.

예를 들어, 텍스처 매핑부(130)는 입력 영상에서 추출된 특징점을 포함하는 사각형의 영역을 설정하고, 설정된 영역의 꼭지점들을 네 개의 기준점으로 설정할 수 있다. 텍스처 매핑부(130)는 입력 영상으로부터 추출된 특징점들 중 최외곽 특징점들을 검출할 수 있다. 최외곽 특징점들은 추출된 특징점들 중 가장 외곽에 위치하는 특징점들일 수 있다. 텍스처 매핑부(130)는 최외곽 특징점들로부터 미리 정해진 거리, 방향만큼 이격된 위치에 사각형의 각 변이 위치하도록 사격형의 영역을 설정할 수 있다.

이 때, 네 개의 기준점은 채색된 2차원 이미지가 촬영되는 환경이 반영되어 설정될 수 있다. 예를 들어, 채색된 2차원 이미지가 정면에서 촬영되는 경우 네 개의 기준점은 정사각형, 또는 직사각형의 꼭지점들에 해당하는 위치에 설정될 수 있다. 반면, 채색된 2차원 이미지가 비스듬히 촬영되는 경우 네 개의 기준점은 뒤틀린 형태의 사각형의 꼭지점들에 해당하는 위치에 설정될 수 있다.

텍스처 매핑부(130)는 설정된 적어도 네 개의 기준점을 이용하여 입력 영상에 포함된 2차원 이미지를 3차원 객체에 대응하는 2차원 이미지에 매칭시킬 수 있다.

예를 들어, 텍스처 매핑부(130)는 설정된 기준점들을 이용하여, 추출된 특징점들 각각에 대하여 UV 좌표 평면 상의 상대적 좌표를 구할 수 있다. 도 6을 참조하면, UV 좌표 평면에서 제1 기준점(610)의 좌표는 (0.0, 0.0)이고, 제2 기준점(620)의 좌표는 (1.0, 0.0)이며, 제3 기준점(630)의 좌표는 (0.0, 1.0)이며, 제4 기준점(640)의 좌표는 (1.0, 1.0)일 수 있다.

도 6에서는 제1 기준점(610), 제2 기준점(620), 제3 기준점(630), 및 제4 기준점(640)이 직사각형의 꼭지점들에 해당하는 위치에 설정되었으나, 전술한 바와 같이 채색된 2차원 이미지가 촬영되는 환경에 따라 제1 기준점(610), 제2 기준점(620), 제3 기준점(630), 및 제4 기준점(640)은 뒤틀린 형태의 사각형의 꼭지점들에 해당하는 위치에 설정될 수 있다.

UV 좌표 평면에 의하면, 제1 기준점(610), 제2 기준점(620), 제3 기준점(630), 및 제4 기준점(640)이 직사각형의 꼭지점들에 해당하는 위치에 설정되든, 혹은 뒤틀린 형태의 사각형의 꼭지점들에 해당하는 위치에 설정되든 관계없이, 제1 기준점(610), 제2 기준점(620), 제3 기준점(630), 및 제4 기준점(640)의 좌표는 각각 (0.0, 0.0), (1.0, 0.0), (0.0, 1.0), 및 (1.0, 1.0)로 고정된다.

이에 따라, 입력 영상으로부터 추출된 특징점들 각각의 좌표는 제1 기준점(610), 제2 기준점(620), 제3 기준점(630), 및 제4 기준점(640)으로부터 상대적 위치에 따라 결정된다.

텍스처 매핑부(130)는 UV 좌표 평면에서 특징점들 각각의 좌표를 계산한 뒤, UV 좌표 평면의 기준이 되는 제1 기준점(610), 제2 기준점(620), 제3 기준점(630), 및 제4 기준점(640)을 3차원 객체에 대응하는 2차원 이미지에 매칭되도록 조절할 수 있다. 이와 같이, 텍스처 매핑부(130)는 입력 영상에 포함된 2차원 이미지를 3차원 객체에 대응하는 2차원 이미지에 매칭시킬 수 있다.

텍스처 매핑부(130)는 매핑 정보를 이용하여, 채색된 2차원 이미지를 3차원 객체의 텍스처로 매핑할 수 있다. 매핑 정보는 식별된 2차원 이미지와 대응하는 3차원 객체를 매핑하는 정보이고, 채색된 2차원 이미지와 식별된 2차원 이미지가 매칭되었으므로, 텍스처 매핑부(130)는 채색된 2차원 이미지의 채색 정보를 3차원 객체의 매핑 위치에 적용할 수 있다.

이로 인하여, 텍스처 매핑부(130)는 별도의 렌더링(rendering) 작업 없이 3차원 객체의 텍스처 매핑을 수행할 수 있다.

한편, 도 6에 도시된 예에서, 8개의 기준점이 설정되었으나, 기준점의 수는 도시된 예에 한정되는 것은 아니며, 다양한 수의 기준점이 설정하여 특징점들의 상대적 좌표를 구할 수도 있을 것이다.

컨텐츠 재생부(140)는 텍스처 매핑부(130)에 의해 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 디스플레이 할 수 있다. 이 때, 컨텐츠 재생부(140)는 텍스처 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 카메라를 통해 입력되는 영상과 함께 디스플레이 할 수도 있다.

구체적인 예로, 도 7을 참조하면, 컨텐츠 재생부(140)는 입력 영상에서 추출된 특징점들의 좌표계에 기초하여 채색된 2차원 이미지와의 거리 및 방향에 따라 3차원 객체가 변화되도록 증강 현실 컨텐츠를 디스플레이 할 수 있다. 또한, 일 실시예에 따르면, 컨텐츠 재생부(140)에 의해 디스플레이 되는 3차원 객체는 움직이는 애니메이션으로 구현될 수 있으며, 소리 등과 함께 구현될 수 있다.

컨텐츠 재생부(140)는 3차원 객체를 월드 좌표계의 (0,0,0)에 위치시킬 수 있다. 예를 들어, 컨텐츠 재생부(140)는 적어도 4개의 기준점의 중심이 월드 좌표계의 (0,0,0)에 위치하도록 할 수 있다.

컨텐츠 재생부(140)는 스크린 좌표계를 이용하여 3차원 객체를 디스플레이할 수 있다. 예를 들어, 채색된 2차원 이미지를 촬영하는 카메라의 위치가 이동하면 스크린 좌표계가 변한다. 컨텐츠 재생부(140)는 스크린 좌표계의 시점에서 월드 좌표계의 (0,0,0)에 위치시킨 3차원 객체를 표현하는 이미지를 생성하고, 해당 이미지를 3차원 객체의 텍스쳐로 입힐 수 있다.

도 8은 일 실시예에 따른 증강 현실 컨텐츠 제공 방법을 나타낸 동작 흐름도이다. 도 8을 참조하면, 증강 현실 컨텐츠 제공 장치(100)는 카메라 등 비전 센서를 통해 사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상을 수신한다(810). 이후, 증강 현실 컨텐츠 제공 장치(100)는 입력 영상에서 특징점을 추출한다(820).

이후, 증강 현실 컨텐츠 제공 장치(100)는 추출된 특징점과 기 저장된 2차원 이미지의 특징 정보를 비교하여 기 저장된 2차원 이미지 중 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별한다(830).

이때, 일 실시예에 따르면, 특징 정보는 기 저장된 2차원 이미지의 특징점들의 위치 정보일 수 있으며, 증강 현실 컨텐츠 제공 장치(100)는 입력 영상에서 추출된 특징점들의 위치 정보를 특징 정보와 비교하여, 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

증강 현실 컨텐츠 제공 장치(100)는 입력 영상에서 추출된 특징점의 상대적 좌표를 결정하고, 결정된 상대적 좌표 및 특징 정보를 비교함으로써 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별할 수 있다.

한편, 기 저장된 2차원 이미지 중 채색된 2차원 이미지에 대응하는 2차원 이미지가 식별된 경우, 증강 현실 컨텐츠 제공 장치(100)는 식별된 2차원 이미지와 3차원 객체 사이의 매핑 정보를 이용하여, 채색된 2차원 이미지를 3차원 객체의 텍스처로 매핑한다(840).

이때, 일 실시예에 따르면, 증강 현실 컨텐츠 제공 장치(100)는 입력 영상에서 추출된 특징점에 기초하여 적어도 네 개의 기준점을 설정하고, 설정된 적어도 네 개의 기준점을 이용하여 입력 영상에 포함된 2차원 이미지를 3차원 객체에 대응하는 2차원 이미지에 매칭할 수 있다.

이후, 증강 현실 컨텐츠 제공 장치(100)는 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 카메라를 통해 입력되는 영상과 함께 디스플레이 할 수 있다(850).

실시예들에 따르면, 사용자가 직접 색칠한 2차원 이미지를 3차원 객체의 텍스처로 사용함으로써, 3차원 객체에 사용자가 색칠한 재료의 질감 그대로 살려 입히거나 3차원 객체의 텍스처를 쉽게 바꿀 수 있도록 하여 사용자가 원하는 다양한 증강 현실 컨텐츠를 제공함과 동시에 증강 현실 컨텐츠의 실재감을 향상시킬 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 증강 현실 컨텐츠 제공 장치
110: 객체 정보 저장부
120: 식별부
130: 텍스처 매핑부
140: 컨텐츠 재생부

Claims (12)

1. 텍스처가 매핑되지 않은 3차원 객체의 모델 정보, 상기 3차원 객체에 대응하는 2차원 이미지의 특징 정보, 및 상기 3차원 객체와 상기 2차원 이미지 사이의 매핑 정보를 저장하는 객체 정보 저장부;
   사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상에서 특징점을 추출하고, 추출된 특징점을 상기 특징 정보와 비교하여 상기 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는 식별부;
   상기 매핑 정보를 이용하여, 상기 채색된 2차원 이미지를 상기 식별된 2차원 이미지에 대응하는 3차원 객체의 텍스처로 매핑하는 텍스처 매핑부; 및
   상기 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 디스플레이하는 컨텐츠 재생부
   를 포함하는 증강 현실 컨텐츠 제공 장치.
   
2. 제1항에 있어서,
   상기 2차원 이미지는
   상기 3차원 객체를 3차원 공간 상에서 서로 반대되는 두 개의 방향에 기초하여 투영한 두 개의 투영도를 포함하는, 증강 현실 컨텐츠 제공 장치.
   
3. 제1항에 있어서,
   상기 특징 정보는
   상기 3차원 객체에 대응하는 2차원 이미지의 특징점들의 위치 정보를 포함하는, 증강 현실 컨텐츠 제공 장치.
   
4. 제1항에 있어서,
   상기 식별부는
   상기 입력 영상에서 추출된 특징점의 상대적 좌표를 결정하고, 상기 결정된 상대적 좌표 및 상기 특징 정보를 비교함으로써 상기 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는, 증강 현실 컨텐츠 제공 장치.
   
5. 제4항에 있어서,
   상기 텍스처 매핑부는
   상기 비교 결과에 기초하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭시키는, 증강 현실 컨텐츠 제공 장치.
   
6. 제1항에 있어서,
   상기 텍스처 매핑부는
   상기 입력 영상에서 추출된 특징점에 기초하여 설정된 적어도 네 개의 기준점을 이용하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭시키는, 증강 현실 컨텐츠 제공 장치.
   
7. 제1항에 있어서,
   상기 컨텐츠 재생부는
   상기 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 카메라를 통해 입력되는 영상과 함께 디스플레이하는, 증강 현실 컨텐츠 제공 장치.
   
8. 사용자에 의해 채색된 2차원 이미지를 포함하는 입력 영상을 수신하는 단계;
   상기 입력 영상에서 특징점을 추출하는 단계;
   상기 추출된 특징점과 기 저장된 2차원 이미지의 특징 정보를 비교하여 상기 기 저장된 2차원 이미지 중 상기 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는 단계;
   상기 식별된 2차원 이미지와 3차원 객체 사이의 매핑 정보를 이용하여, 상기 채색된 2차원 이미지를 상기 3차원 객체의 텍스처로 매핑하는 단계; 및
   상기 텍스처가 매핑된 3차원 객체를 포함하는 증강 현실 컨텐츠를 디스플레이하는 단계
   를 포함하는 증강 현실 컨텐츠 제공 방법.
   
9. 제8항에 있어서,
   상기 식별하는 단계는
   상기 입력 영상에서 추출된 특징점의 상대적 좌표를 결정하는 단계; 및
   상기 결정된 상대적 좌표 및 상기 특징 정보를 비교함으로써 상기 사용자에 의해 채색된 2차원 이미지에 대응하는 2차원 이미지를 식별하는 단계
   를 포함하는, 증강 현실 컨텐츠 제공방법.
   
10. 제9항에 있어서,
    상기 매핑하는 단계는
    상기 비교 결과에 기초하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭시키는 단계
    를 포함하는, 증강 현실 컨텐츠 제공방법.
    
11. 제8항에 있어서,
    상기 매핑하는 단계는
    상기 입력 영상에서 추출된 특징점에 기초하여 적어도 네 개의 기준점을 설정하는 단계; 및
    상기 설정된 적어도 네 개의 기준점을 이용하여, 상기 입력 영상에 포함된 2차원 이미지를 상기 3차원 객체에 대응하는 2차원 이미지에 매칭하는 단계
    를 포함하는, 증강 현실 컨텐츠 제공 방법.
    
12. 하드웨어와 결합되어 제8항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.

Images