KR102325297B1

KR102325297B1 - Ar 컨텐츠 자동 배치 방법

Info

Publication number: KR102325297B1
Application number: KR1020150156768A
Authority: KR
Inventors: 조익환; 전진수; 강상철; 송형주
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2015-11-09
Filing date: 2015-11-09
Publication date: 2021-11-11
Also published as: KR20210124131A; KR20170054068A; KR102479834B1

Abstract

본 발명의 일 실시예에 따른 3차원 공간에 가상 컨텐츠를 배치하여 증강 현실(AR) 컨텐츠를 생성하기 위한 AR 컨텐츠 자동 배치 방법을 수행하는 프로그램은, 하나 이상의 물체를 포함하는 객체의 영상에 3차원 모델링을 수행하여 생성되고, 복수 개의 제 1 폴리곤(polygon)으로 구성되는 표면에 의해 구획된 상기 3차원 공간 내부에, 상기 가상 컨텐츠에 상기 3차원 모델링을 수행하여 생성되고, 복수 개의 제 2 폴리곤으로 구성되는 표면에 의해 구획된 3차원 컨텐츠가 위치하도록 하는 제 1 단계, 기 설정된 제 1 조건이 만족되면, 상기 복수 개의 제 1 폴리곤 중 기 설정된 수 이상의 제 1 폴리곤에 의해 형성되는 평면 중, 상기 3차원 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 제 2 단계 및 상기 근접 평면과 상기 3차원 컨텐츠 간의 거리가 0이 될 때까지 상기 3차원 컨텐츠의 이동을 수행하는 제 3 단계를 포함하며, 상기 3차원 컨텐츠와의 거리는 상기 복수 개의 제 2 폴리곤 중 가장 가까운 제 2 폴리곤을 기준으로 산출되도록 프로그램될 수 있다.

Description

AR 컨텐츠 자동 배치 방법 {METHOD FOR AUTOMATICALLY ARRANGING AUGMENTED REALITY CONTENTS}

본 발명은 AR(Augmented Reality) 컨텐츠에서 가상 컨텐츠를 자동으로 배치하는 방법에 관한 것이다. 보다 자세하게는 AR 컨텐츠 내의 3차원 공간 및 가상 컨텐츠의 공간 정보에 근거하여 가상 컨텐츠를 자연스러운 위치와 자세로 자동 배치함으로써, 수동 배치에 의한 부자연스러움을 방지할 수 있는 AR 컨텐츠 자동 배치 방법에 관한 것이다.

근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 일반적인 가상 현실(virtual reality)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(augmented reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.

최근에는 모바일 관련 기술의 발달에 따라, AR 기술이 적용된 휴대용 전자 기기들이 상용화되고 있다. 예컨대, 스마트폰(smartphone) 등과 같이 촬영 기능을 가진 휴대용 전자 기기의 디스플레이에, 사용자가 촬영하는 실제의 영상에 가상의 정보를 오버랩하여 출력하는 기능은 현재 대중화되어 비교적 흔하게 체험할 수 있다. 여기서 가상의 정보라 함은 특정한 사람이나 동물, 혹은 건물이나 장소 등 실제의 사물에 대한 텍스트 정보나 이미지 정보 등이 될 수 있으며, 경우에 따라서는 음악 등 비 시각적 정보를 포함할 수도 있다. 이러한 AR 기술은 사용자에게 현실의 객체와 가상의 정보가 융합된 실감나는 컨텐츠를 제공할 수 있다는 장점을 갖는다.

이러한 AR 컨텐츠를 제작하거나 제작된 AR 컨텐츠를 재생하기 위해서는, 실제의 사물인 객체를 모델링한 3차원 공간 내의 일정 위치에 가상 컨텐츠를 일정 자세로 배치하는 작업이 필수적으로 요구된다. 기존의 배치 방법에 의하면, AR 컨텐츠 제작 시에 저작자가 3차원 공간 내에 가상 컨텐츠를 수동으로 배치하게 된다. 하지만 이러한 방법은 정확히 배치하기가 매우 번거로울 뿐만 아니라, 잘못 배치할 경우 가상 컨텐츠가 3차원 공간의 벽 혹은 사물과 겹쳐 보이게 될 수도 있으며, 심지어 벽 혹은 사물의 뒤에 위치하게 될 수도 있다. 게다가, 가상 컨텐츠의 자세를 수동으로 설정할 경우, 가상 컨텐츠가 현실에서는 자연스럽게 나오기 어려운, 매우 어색하거나 불안정한 자세를 취하게 될 수 있다.

이러한 가상 컨텐츠의 배치와 관련된 난점들은 AR 컨텐츠를 제작할 때뿐만 아니라 재생할 때에도 문제가 될 수 있다. 기존의 방법에 의하면, 입력된 현실의 객체가 데이터베이스 내의 학습된 3차원 공간과 매칭(matching)될 경우, 객체가 입력된 카메라 등의 입력 수단의 위치 및 자세 정보를 바탕으로 가상 컨텐츠를 증강하여 AR 컨텐츠를 재생하게 된다. 하지만, 이 때에도 실제 입력된 객체에 학습된 3차원 공간과의 차이점이 존재하는 경우 가상 컨텐츠가 부자연스럽게 배치될 수 있다는 문제가 발생한다.

이와 관련하여, 선행기술문헌 중 특허문헌 1은 모바일 기기의 위치를 기초로, 가상 공간에 멀티미디어 컨텐츠를 배치할 배치 영역을 설정하고, 설정된 영역에 멀티미디어 컨텐츠를 AR 컨텐츠로서 표시하는 기술을 개시하고 있다. 하지만 본 선행기술 역시 배치 영역이 잘못 설정된 경우 어색하게 보일 수 있으며, 컨텐츠의 위치가 아닌 자세로부터 발생할 수 있는 문제는 해결하기가 곤란하다는 문제가 있다.

따라서, AR 컨텐츠 제작 및 재생 시에 있어 쉽고 정확하게 가상 컨텐츠의 자연스러운 위치와 자세를 결정할 수 있는 새로운 기술의 개발이 요구된다.

한국등록특허공보, 10-1372099 (2005.07.07.공개)

본 발명의 해결하고자 하는 과제는 AR 컨텐츠에서 가상 컨텐츠를 3차원 공간 내에 배치하는 과정에 있어서, 부자연스러운 위치 혹은 자세로 배치되는 것을 방지할 수 있는 방법을 제공하는 것이다.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, AR 컨텐츠 내의 3차원 공간 및 가상 컨텐츠의 공간 정보에 근거하여 가상 컨텐츠를 자연스러운 위치와 자세로 배치할 수 있다. 이에 따라 종래의 수동 배치 방법에서 발생할 수 있는, 가상 컨텐츠의 어색하거나 불안정한 위치 및 자세로 인해 AR 컨텐츠가 부자연스럽게 느껴지는 문제점을 해결할 수 있다.

도 1은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법을 개념적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 자동 자세 설정 과정을 개념적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 3차원의 물체를 3차원 화소로 분할하는 것을 개념적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 자동 배치 장치의 구성을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 재생 장치의 구성을 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법을 개념적으로 도시한 도면이다. 도 1을 참조하면, AR 컨텐츠는 하나 이상의 물체를 포함하는 객체의 영상을 외부로부터 입력받아 3차원 모델링하여 생성된 3차원 공간(10)에, 가상 컨텐츠를 3차원 모델링하여 생성된 3차원 컨텐츠(20)를 배치함으로써 생성될 수 있다. 상기 3차원 모델링에 의해, 3차원 공간(10)은 복수 개의 제 1 폴리곤(polygon)으로 구성된 표면에 의해 구획될 수 있으며, 3차원 컨텐츠(20)는 복수 개의 제 2 폴리곤으로 구성된 표면에 의해 구획될 수 있다. 상기 3차원 모델링의 상세한 과정은 당업자에게 자명한 사항이므로 더 이상의 자세한 설명을 생략한다.

만일 3차원 컨텐츠(20)가 3차원 공간(10) 내의 아무 물체와도 접하지 않는 허공에 해당하는 영역에 배치될 경우, 이는 사용자에게 부자연스러운 상황으로 받아들여질 수 있다. 이러한 문제를 해결하기 위해, 3차원 공간(10) 내의 표면 중 평면을 추출하여, 3차원 컨텐츠(20)가 그 위에 위치하도록 할 수 있다. 여기에서 평면은 기 설정된 수 이상의 제 1 폴리곤에 의해 형성되는 것으로 제한할 수 있으며, 경우에 따라서는 일정 곡률 이하의 곡면도 평면에 포함될 수 있다. 바람직하게는, 3차원 공간(10) 내의 다수 개의 평면 중 3차원 컨텐츠(20)에 가장 가까이 있는 근접 평면(30)에 3차원 컨텐츠(20)가 위치하도록 할 수 있다.

다만, 3차원 컨텐츠(20)를 수동으로 평면 위에 위치시킬 경우 위치 및 자세 면에서 부자연스러울 수 있음은 위에서 살펴본 바와 같으므로, 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에서는 3차원 컨텐츠(20)의 위치 및 자세 결정을 자동으로 수행하게 되며, 그 자세한 과정에 대해서는 후술한다.

도 2는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다. 다만, 이러한 도 2의 AR 컨텐츠 자동 배치 방법은 본 발명의 일 실시예에 불과하므로, 도 2를 통해 본 발명의 사상이 한정 해석되는 것은 아니다.

AR 컨텐츠 자동 배치 장치는 AR 컨텐츠의 저작자가 AR 컨텐츠의 저작을 위해 사용할 수 있는 장치로서, PC(personal computer), Server 등의 컴퓨터(Computer) 혹은 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistant) 등의 핸드헬드(handheld) 기반의 장치가 될 수 있다. AR 컨텐츠 자동 배치 장치의 예시적인 구성에 대해서는 후술하도록 한다.

이하에서는 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 대해 설명하도록 한다. 우선 3차원 공간(10)에 3차원 컨텐츠(20)를 위치시킨다(S110). 그리고 기 설정된 제 1 조건이 만족되면(S120), 복수 개의 제 1 폴리곤에 의해 형성되는 평면 중, 3차원 컨텐츠(20)와의 거리가 가장 가까운 근접 평면(30)을 검출한다(S130). 여기에서 기 설정된 제 1 조건은, 상기 평면 중에 3차원 컨텐츠(20)와의 거리가 기 설정된 값 이하인 평면이 존재하는 것일 수 있다. 이는 3차원 컨텐츠(20)로부터 일정 거리 내에 평면이 존재하는 경우에만 자동 부착 과정이 수행되게 하기 위한 것으로, 따라서 임의의 평면으로부터 일정 거리 밖에 있을 때에는 저작자가 수동으로 3차원 컨텐츠(20)의 위치를 변경할 수 있다.

다음으로, 자동 위치 변경 과정이 수행된다. 구체적으로, 근접 평면(30)과 3차원 컨텐츠(20) 간의 거리가 0이 될 때까지 3차원 컨텐츠(20)의 이동을 수행한다(S140). 지금까지 설명된 근접 평면(30)을 비롯한 3차원 공간 내의 평면에 있어서, 3차원 컨텐츠(20)와의 거리는 3차원 컨텐츠(20)의 표면을 구성하는 복수 개의 제 2 폴리곤 중 평면에 가장 가까이 있는 제 2 폴리곤과의 거리로 정의될 수 있다.

또한 상기 3차원 컨텐츠(20)를 이동시키는 단계는, 상기 3차원 컨텐츠의 이동 중에 3차원 공간(10)의 표면을 구성하는 복수 개의 제 1 폴리곤 중 어느 하나와 3차원 컨텐츠(20)의 표면을 구성하는 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력할 수 있다. 기 설정된 알림은 저작자가 시각 혹은 청각 등을 통해 지각할 수 있는 형태의 알림으로, 서로 간의 접촉이 발생한 제 1 폴리곤 및 제 2 폴리곤에 대한 정보를 포함할 수 있다. 이러한 접촉이 발생한다는 것은 3차원 공간(10)에 존재하는 물체와 3차원 컨텐츠(20) 간의 공간적 중첩이 발생한다는 의미이므로, 부자연스러운 배치를 야기할 수 있기 때문에 저작자에게 이를 알리도록 하는 것이다.

다음으로, 자동 자세 변경 과정이 수행된다. 자동 자세 변경 과정은 기 설정된 제 2 조건이 만족된 경우(S150) 3차원 컨텐츠의 자세를 안정적인 자세로 변경하는(S160) 선택적인 과정으로 구성될 수 있다. 상기 기 설정된 제 2 조건은 3차원 컨텐츠(20)의 자세를 안정적인 자세로 변경하는 단계(S160)이 자동으로 수행되도록 하는 자동 자세 변경 모드가 활성화된 것이 될 수 있다. 즉, 저작자는 활성화 여부를 결정함으로써 자동 자세 변경 과정의 수행 여부를 결정할 수 있으므로, AR 컨텐츠 저작 과정에 있어서 저작자의 선택의 폭이 넓어질 수 있다.

도 3은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 자동 자세 설정 과정을 개념적으로 도시한 도면이다. 도 3을 참조하면, 3차원 컨텐츠(20)를 안정적인 자세로 두는 것은 AR 컨텐츠를 열람하는 사용자에게 자연스러운 느낌을 주기 위해 필요할 수 있다. 예컨대, 연필과 같은 기다랗고 끝이 뾰족한 물체가 있다고 가정할 때, 뾰족한 끝 부분이 바닥면에 접한 채로 서 있는 것은 매우 부자연스럽다. 현실에서는 연필이, 연필에 돌림힘(torque)으로서 작용하는 중력에 의해, 연필의 측면이 바닥면에 닿을 때까지 바닥면에 접한 끝 부분을 축으로 하여 회전 운동을 하기 때문이다. 이와 같은 상황에서 연필의 안정적인 자세는 회전 운동을 멈춘 채로 측면이 바닥면에 닿아 있는 상태가 된다. 이와 유사하게, 도 3의 3차원 컨텐츠(20) 역시 근접 평면(30) 상에서 안정적인 자세를 취하도록 할 수 있다.

3차원 컨텐츠(20)의 안정적인 자세는, 근접 평면(30)과 상기 3차원 컨텐츠(20) 간의 거리가 0인 상태 중, 복수 개의 제 1 폴리곤으로 둘러싸인 공간 및 3차원 컨텐츠(20)가 밀도가 균일하고 변형되지 않는 기 정해진 크기의 강체(rigid body)로 이루어진 복수 개의 3차원 화소(voxel)로 채워져 있고, 상기 복수 개의 3차원 화소 각각에 3차원 공간(10)의 수직 아래 방향으로 일정한 힘이 작용한다고 가정할 경우, 3차원 컨텐츠(20)가 움직이지 않는 상태로 정의할 수 있다. 이는 다시 말해, 3차원 공간(10)과 3차원 컨텐츠(20)를 현실 공간으로 옮겨 놓았다고 가정할 때, 3차원 컨텐츠(20)가 중력에 의한 회전 운동을 하지 않는 상태를 가리킨다.

상기 안정적인 자세의 정의에 대해 보다 구체적으로 설명하면 다음과 같다. 해석의 용이함을 위해, 3차원 컨텐츠(20)를 밀도가 균일하며, 압축이나 인장 등에 의한 변형이 발생하지 않는 강체로 가정할 수 있다. 이렇듯 강체로 가정된 3차원 컨텐츠(20)의 움직임을 해석하기 위해, 강체를 미소(微小) 부피를 갖는 단위 강체로 분할하고, 각 단위 강체에 중력이 적용된다고 보는 역학(力學)에서의 해석 방법과 유사한 방법을 사용할 수 있다. 따라서, 3차원 컨텐츠(20) 내부의 공간을 기 설정된 크기를 갖는 3차원 화소로 분할할 수 있으며, 각각의 3차원 화소에 대해서는 3차원 공간(10)의 수직 아래 방향으로의 힘, 즉 현실 세계의 중력에 대응되는 힘이 작용한다고 가정할 수 있다. 이에 대해서는 도 4를 참조하여 예시적으로 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 3차원의 물체를 3차원 화소로 분할하는 것을 개념적으로 도시한 도면이다. 도 4를 참조하면, 왼쪽의 물체(40)는 오른쪽과 같이 3차원 화소의 집합(41)으로 모델링될 수 있으며, 개개의 3차원 화소에 일정한 방향과 크기로 힘이 가해진다고 가정하고 각 3차원 화소의 거동을 해석하면 물체(40)의 회전 운동을 모델링할 수 있다. 해석의 정확도를 높이기 위해서는, 3차원 화소의 크기를 가능한 한 작게 할 것이 요구된다.

다시 도 3으로 돌아와서 설명하면, 상기와 같은 가정들이 적용된 3차원 컨텐츠(20)가 더 이상의 회전 운동을 하지 않는 경우의 자세를 3차원 컨텐츠(20)의 안정적인 자세로 정의할 수 있다. 3차원 컨텐츠(20)뿐 아니라 3차원 공간(10) 내의 모델링된 물체들도 모두 강체로 가정하게 되므로, 3차원 컨텐츠(20)가 3차원 공간(10) 내의 모델링된 물체들과 공간적으로 서로 중첩되는 일은 발생하지 않게 된다.

다만, 현실의 세계에서는 하나의 물체에 대해 안정적인 자세가 복수 개 있을 수 있다. 예컨대, 직육면체의 형상을 갖는 물체의 경우, 여섯 개의 면 중 어떤 것을 바닥면에 접촉시켜도 물체는 회전 운동 없이 안정적으로 서 있을 수 있다. 따라서, 3차원 컨텐츠(20) 역시 복수 개의 안정적인 자세를 가질 수 있으며, 경우에 따라서는 이들 중 적절한 자세를 선택해야 할 필요가 있을 수 있다.

이러한 선택은 다양한 기준을 통해 이루어질 수 있는데, 한 가지 예로서, 3차원 컨텐츠(20)가 안정적인 자세를 취하는 과정에서 상기 복수 개의 3차원 화소 각각의 움직인 거리의 총합이 최소가 되는 자세를 선택할 수 있다. 이에 의해, 자동 자세 변경 과정에서의 물체의 움직임을 한층 자연스럽게 보이도록 할 수 있다.

전술한 바와 같은 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 의해, AR 컨텐츠 내의 3차원 공간에 3차원 컨텐츠(20), 즉 가상 컨텐츠를 자연스러운 위치와 자세로 배치할 수 있다. 이에 따라 종래의 수동 배치 방법에서 발생할 수 있는, 가상 컨텐츠의 어색하거나 불안정한 위치 및 자세로 인해 AR 컨텐츠가 부자연스럽게 느껴지는 문제점을 해결할 수 있다.

도 5는 본 발명의 일 실시예에 따른 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다. 다만, 이러한 도 5의 AR 컨텐츠 자동 배치 방법은 본 발명의 일 실시예에 불과하므로, 도 5를 통해 본 발명의 사상이 한정 해석되는 것은 아니다.

AR 컨텐츠 자동 배치 장치는 AR 컨텐츠를 열람하는 사용자가 AR 컨텐츠의 재생(증강)을 위해 사용할 수 있는 장치로서, 일반적으로 스마트폰 혹은 스마트 패드 등과 같은 외부 객체의 영상을 입력받을 수 있는 모바일 기기를 통해 구현될 수 있지만 이에 한정되지는 않는다. AR 컨텐츠 재생 장치의 예시적인 구성에 대해서는 후술하도록 한다.

이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 대해 설명하도록 한다. 도 1 내지 도 4와 겹치는 부분에 대한 설명은 생략될 수 있다.

우선, 입력받은 현실의 객체에 대한 영상을 3차원 모델링하여 3차원 공간을 생성한다(S210). 이 과정에서, 3차원 뎁스 센서(3D depth sensor) 등을 통해 획득된 3차원 뎁스 데이터가 이용될 수 있다. 다음으로, 생성된 3차원 공간이 데이터베이스에 저장된, 사전에 학습된 3차원 공간과 일치할 경우(S220) 3차원 공간에 3차원 컨텐츠를 위치시킨다(S230). 이 과정에서, 현실의 객체에 대한 영상을 입력받은 카메라의 포즈(pose)에 관한 데이터가 사용될 수 있다.

전술한 과정들은 보통의 AR 컨텐츠 재생 과정에서 일반적으로 수행되는 과정들이다. 다만, AR 컨텐츠 저작 과정에서 3차원 컨텐츠의 위치와 자세를 자연스럽게 조절했다 하더라도, 입력받은 객체를 모델링한 3차원 공간이 사전에 학습된 3차원 공간과 다소 상이할 경우 3차원 컨텐츠가 어색하게 보일 수 있다. 따라서, AR 컨텐츠 재생 과정에서도 이하의 단계의 수행이 필요할 수 있다.

이에 따라, 상기 3차원 컨텐츠에 대해 자동 위치 변경이 수행되도록 하는 자동 평면 부착 모드가 활성화되어 있을 경우(S240), 3차원 공간에 포함된 평면 중 3차원 컨텐츠에 가장 가까운 평면인 근접 평면을 검출한다(S250). 그리고 근접 평면과 3차원 컨텐츠 간의 거리가 0이 될 때까지 3차원 컨텐츠의 이동을 수행함으로써 3차원 컨텐츠를 근접 평면에 붙인다(S260). 이 과정에서, 3차원 컨텐츠의 이동 중에 3차원 공간의 표면을 구성하는 복수 개의 제 1 폴리곤 중 어느 하나와 3차원 컨텐츠의 표면을 구성하는 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력할 수 있다.

다음으로, 3차원 컨텐츠에 대해 자동 위치 변경이 수행되도록 하는 자동 자세 변경 모드가 활성화된 경우(S270) 3차원 컨텐츠의 자세를 안정적인 자세로 변경한다. 상기 안정적인 자세에 대해서는 도 1 내지 4를 통해 설명된 바 있으므로, 여기에서는 더 이상의 자세한 설명을 생략한다.

지금까지 설명한 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 의해, AR 컨텐츠 내의 3차원 공간에 3차원 컨텐츠(20), 즉 가상 컨텐츠를 자연스러운 위치와 자세로 배치할 수 있다. 이에 따라 입력받은 객체를 모델링한 3차원 공간이 사전에 학습된 3차원 공간과 다소 상이할 경우 AR 컨텐츠가 부자연스럽게 느껴지는 문제점을 해결할 수 있다.

전술한 본 발명의 방법에 관한 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능한 기록 매체를 포함한다. 또한, 본 발명의 방법에 관한 실시예들은 상기 방법의 각 단계를 수행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램을 포함한다.

도 6은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 자동 배치 장치의 구성을 도시한 도면이다. 도 6의 AR 컨텐츠 자동 배치 장치(100)는 입력부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다.

입력부(110)는 AR 컨텐츠의 저작자로부터 일정한 명령을 수행할 것을 요청하는 입력을 받을 수 있으며, 키보드(keyboard), 마우스(mouse) 혹은 터치 패드(touch pad) 등의 입력 장치를 통해 구현될 수 있다.

제어부(120)는 객체를 모델링한 3차원 공간 및 가상 컨텐츠를 모델링한 3차원 컨텐츠를 로딩하고, 3차원 컨텐츠를 3차원 공간 내에 위치시킬 수 있다. 또한 제어부(120)는 수동 배치 방법에 의해 입력부(110)가 받은 입력에 근거하여 3차원 공간 내에서 3차원 컨텐츠의 위치를 변경할 수 있으며, 전술한 바와 같은 자동 배치 방법에 의해 3차원 컨텐츠의 위치 혹은 자세를 변경할 수도 있다. 수동 배치 방법과 자동 배치 방법 간의 전환은 저작자가 입력부(110)를 통해 입력한 바에 근거하여 이루어질 수 있다. 이러한 제어부(120)는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.

출력부(130)는 상기 3차원 공간과, 3차원 공간 내에 위치한 3차원 컨텐츠를 저작자가 시각적으로 인식할 수 있도록 출력할 수 있으며, 3차원 컨텐츠가 위치 혹은 자세를 변경하는 과정도 출력하여 보여줄 수 있다. 이러한 출력부(130)는 LCD(liquid crystal display), OLED(organic light emitting diode) 등의 통상적인 디스플레이 장치를 통해 구현될 수 있다.

도 7은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 재생 장치의 구성을 도시한 도면이다. 도 7의 AR 컨텐츠 재생 장치(200)는 객체 입력부(210), 사용자 입력부(220), 제어부(230) 및 출력부(240)를 포함할 수 있다.

객체 입력부(210)는 AR 컨텐츠 재생 장치 외부로부터 객체의 영상을 입력받을 수 있으며, 일반적인 카메라 혹은 3차원 뎁스 카메라 등의 영상 입력 장치를 통해 구현될 수 있다.

사용자 입력부(220)는 AR 컨텐츠를 열람하는 사용자로부터 일정한 명령을 수행할 것을 요청하는 입력을 받을 수 있으며, 터치 스크린 등의 입력 장치를 통해 구현될 수 있다.

제어부(230)는 객체 입력부(210)가 입력받은 객체의 영상에 근거하여 3차원 공간을 추출할 수 있으며, 추출된 3차원 공간이 데이터베이스에 기 저장된, 기존에 학습된 3차원 공간과 매칭될 경우 3차원 컨텐츠를 3차원 공간 내에 위치시킬 수 있다. 또한 제어부(230)는 전술한 바와 같은 자동 배치 방법에 의해 3차원 컨텐츠의 위치 혹은 자세를 변경할 수 있다. 제어부(230)의 자동 배치 방법의 실행은 사용자가 사용자 입력부(220)를 통해 입력한 바에 근거하여 이루어질 수 있다. 즉, 사용자가 자동 배치 방법을 실행할 것을 선택한 경우 제어부(230)가 자동 배치 방법을 실행하도록 할 수 있다. 이러한 제어부(230)는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.

출력부(240)는 상기 3차원 공간과, 3차원 공간 내에 위치한 3차원 컨텐츠로 구성된 AR 컨텐츠를 사용자가 시각적으로 인식할 수 있도록 출력할 수 있다. 상기 3차원 컨텐츠는 제어부(230)의 자동 배치 방법의 실행에 의하여 설정된 위치 및 자세로 출력될 수 있다. 이러한 출력부(240)는 LCD(liquid crystal display), OLED(organic light emitting diode) 등의 통상적인 디스플레이 장치를 통해 구현될 수 있다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 일 실시예에 따르면, AR 컨텐츠 내의 3차원 공간 및 가상 컨텐츠의 공간 정보에 근거하여 가상 컨텐츠를 자연스러운 위치와 자세로 배치함으로써, AR 컨텐츠가 부자연스럽게 느껴지는 것을 방지할 수 있다.

100: AR 컨텐츠 자동 배치 장치
110: 입력부
120: 제어부
130: 출력부
200: AR 컨텐츠 재생 장치
210: 객체 입력부
220: 사용자 입력부
230: 제어부
240: 출력부

Claims

3차원 공간에 가상 컨텐츠를 배치하여 증강 현실(AR) 컨텐츠를 생성하기 위한 AR 컨텐츠 자동 배치 방법을 수행하는 컴퓨터 기록매체에 저장된 컴퓨터 프로그램으로서,
하나 이상의 물체를 포함하는 객체의 영상에 3차원 모델링을 수행하여 생성되고, 복수 개의 제 1 폴리곤(polygon)으로 구성되는 표면에 의해 구획된 상기 3차원 공간 내부에, 상기 가상 컨텐츠에 상기 3차원 모델링을 수행하여 생성되고, 복수 개의 제 2 폴리곤으로 구성되는 표면에 의해 구획된 3차원 컨텐츠가 위치하도록 하는 단계;
기 설정된 제 1 조건을 기초로 자동 평면 부착 모드의 활성화 여부를 판단하는 단계;
상기 기 설정된 제 1 조건이 만족되면, 상기 복수 개의 제 1 폴리곤 중 기 설정된 수 이상의 제 1 폴리곤에 의해 형성되는 평면 중, 상기 3차원 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 단계; 및
상기 근접 평면과 상기 3차원 컨텐츠 간의 거리가 0이 될 때까지 상기 3차원 컨텐츠의 이동을 수행하는 단계를 포함하며,
상기 3차원 컨텐츠와의 거리는 상기 복수 개의 제 2 폴리곤 중 가장 가까운 제 2 폴리곤을 기준으로 산출되는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.
제 1 항에 있어서,
상기 기 설정된 제 1 조건은
상기 평면 중, 상기 3차원 컨텐츠와의 거리가 기 설정된 값 이하인 평면이 존재하는 것인
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
제 1 항에 있어서,
상기 기 설정된 제 1 조건은
상기 3차원 컨텐츠에 대해 상기 3차원 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 단계 및 상기 3차원 컨텐츠의 이동을 수행하는 단계가 자동으로 수행되도록 하는 자동 평면 부착 모드가 활성화된 것인
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
제 1 항에 있어서,
상기 3차원 컨텐츠의 이동을 수행하는 단계는
상기 3차원 컨텐츠의 이동 중에 상기 복수 개의 제 1 폴리곤 중 어느 하나와 상기 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력하는 단계를 포함하도록 프로그램된
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
제 1 항에 있어서,
상기 3차원 컨텐츠의 이동을 수행하는 단계가 수행된 이후에, 기 설정된 제 2 조건을 만족하면 상기 3차원 컨텐츠의 자세를 안정적인 자세로 변경하는 단계를 더 포함하고,
상기 안정적인 자세는, 상기 근접 평면과 상기 3차원 컨텐츠 간의 거리가 0인 상태 중, 상기 복수 개의 제 1 폴리곤으로 둘러싸인 공간 및 상기 3차원 컨텐츠가 밀도가 균일하고 변형되지 않는 기 정해진 크기의 강체(rigid body)로 이루어진 복수 개의 3차원 화소(voxel)로 채워져 있고, 상기 복수 개의 3차원 화소 각각에 상기 3차원 공간의 수직 아래 방향으로 일정한 힘이 작용한다고 가정할 경우, 상기 3차원 컨텐츠가 움직이지 않는 상태이며,
상기 기 설정된 제 2 조건은
상기 3차원 컨텐츠에 대해 상기 3차원 컨텐츠의 자세를 안정적인 자세로 변경하는 단계가 자동으로 수행되도록 하는 자동 자세 변경 모드가 활성화된 것인
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
제 5 항에 있어서,
상기 제 4 단계는
상기 3차원 컨텐츠의 자세를, 상기 안정적인 자세 중, 상기 3차원 컨텐츠의 자세를 안정적인 자세로 변경하는 단계를 수행하는 과정에서 상기 복수 개의 3차원 화소 각각의 움직인 거리의 총합이 최소가 되는 자세로 변경하는 단계를 포함하도록 프로그램된
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.