KR20190062102A - 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 영상기반 2D/3D AR 실감체험 방법 및 장치에 관한 것이다. 특히, 본 발명은 2D 비디오영상과 대응되는 3D 정보를 동시에 활용하여 2개의 서로 다른 센서시점에서 촬영되고 체험자와 AR 콘텐츠내 정합대상의 3D 공간배치가 다른 2D/3D 콘텐츠를 체험자의 동적 3D 공간배치와 서비스 센서 시점의 동적 변화에 대응하여 고품질의 증강현실 기반의 AR 서비스를 제공하는 방법을 제공한다.

Description

비디오 영상기반 2D/3D AR 실감체험 방법 및 장치 {METHOD AND APPARATUS FOR OPERATING 2D/3D AUGUMENT REALITY TECHNOLOGY}

본 발명은 증강현실(Augmented Reality: AR) 기술을 이용하여 증강현실 지원 스마트 단말 또는 대형 거울형 TV 패널 등을 통해 증강현실 디스플레이를 수행하는 방법에 관한 것이다. 구체적으로, 증강현실 디스플레이를 통해 스타와 같은 유명인과 가상으로 사진을 촬영하거나 실감 있는 상호작용(Interaction)을 체험할 수 있는 방법에 관한 것이다.

증강현실(Augmented Reality: AR) 기술을 이용해 증강현실 디스플레이를 통해 스타와 같은 유명인과 가상으로 사진을 촬영하거나 실감 있는 상호작용(Interaction)을 체험할 수 있는 종래의 AR 서비스 방법은 AR 콘텐츠 내 체험자와 상호작용하고 증강합성의 대상이 되는 AR 콘텐츠의 처리방식에 따라 크게 3D(Three-Dimensional) 방식과 2D(Two-Dimensional) 방식을 고려할 수 있다.

이때, AR 콘텐츠는 체험자의 AR 실감체험을 위해 사전에 제작된 콘텐츠로 스타와 사진촬영 등의 체험자가 체험하게 될 스타 등의 사진이나 비디오 혹은 3D캐릭터와 모션정보 등을 포함할 수 있다. AR 서비스는 라이브로 입력되는 체험자의 영상, 비디오 상에 체험자 또는 체험자가 위치한 주변 공간인식을 통해 AR 콘텐츠를 증강 합성하여 체험자에게 실감체험을 제공하는 서비스일 수 있다.

먼저, 3D 접근방법은 주로 애니메이션 캐릭터 등과 같이 컴퓨터 그래픽스 기술을 이용해 마야(Maya)와 같은 3D 저작도구로 만들어 낸 3D 캐릭터를 증강 합성하고 체험자의 3D 정보와 상호작용하는 방식을 사용하고 있다. 상술한 방법은 키넥트(Kinect) 등과 같은 사용자의 위치나 자세 등의 체험자의 3D 정보를 실시간 제공하는 센서와 결합할 경우에 실시간 3D 상호작용 처리가 용이할 수 있다. 또한, 디지털 공간의 3D 캐릭터이므로 AR서비스를 위해 사용하는 3D 모델링(Modeling), 캐릭터 리깅(Rigging) 및 3D 렌더링(Rendering) 품질에 따라 기존 캐릭터가 등장하는 디지털 콘텐츠와 동일한 품질의 사실적인 AR 실감체험을 제공할 수 있다.

다만, 상술한 방법에 기초하여 실존 인물(e.g K-Pop 스타)과의 AR 서비스를 위해서는 3D 스캔이나 3D 모델링을 통해 실존인물의 3D 아바타를 3D 저작도구를 통해 생성해야 한다. 이러한 3D 아바타 생성은 많은 작업시간을 요구하며 3D 정밀형상 표현이나 표정, 헤어스타일 등의 많은 요소들에 대한 3D 모델링(Modeling), 캐릭터 리깅(Rigging), 3D 렌더링(Rendering) 등의 3D 디지털화 과정의 기술적 제약사항으로 인해 사실적인 증강합성이 어려운 한계가 있다.

또한, 2D 접근방법에서는 AR 서비스에 사용될 증강합성 대상에 대해 실존 인물 또는 배경에 대해 비디오 촬영을 수행할 수 있다. 이때, 크로마키 기법 등을 통해 증강대상 부분에 대한 분리를 한 2D 비디오를 사전에 정해진 체험자의 체험위치를 기준으로 전면 또는 후면 등의 특정 레이어(Layer)에 단순 영상 합성하여 AR 서비스를 제공할 수 있다. 일 예로, 현재 체험형 테마파크에 많이 적용된 방법일 수 있다. 이러한 방법은 상술한 실제 인물(e.g. K-Pop 스타)에 대한 촬영 영상을 그대로 AR 콘텐츠에서 정해진 위치에 영상 합성하므로 체험자 관점에서 디스플레이를 통해 서비스되는 증강대상의 사실성은 높을 수 있다. 다만, 체험자와의 3D 상호작용은 어려운 한계가 있다. 또한, AR 콘텐츠 촬영 시의 카메라의 위치와 AR 서비스시의 카메라의 위치가 동일하고 AR 증강합성 대상의 위치와 체험자의 위치가 사전에 정의된 콘텐츠 시나리오 상의 위치를 모두 충족했을 때에만 최상의 AR 실감체험이 가능할 수 있다. 즉, 2D 접근방법을 취하는 대부분의 AR 콘텐츠는 체험자의 동작이나 위치에 관계없이 콘텐츠 제작 당시에 정해진 위치와 스토리로 서비스가 전개되어 체험자가 콘텐츠의 흐름에 맞게 스스로의 위치나 자세를 맞춰야 하는 한계가 있다.

본 발명은 비디오 영상기반 AR 실감체험 방법 및 장치를 제공하는데 목적이 있다.

본 발명은 비디오 영상기반 2D/3D AR 실감체험 방법 및 장치를 제공하는데 목적이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따라, 증간현실(Augmented Reality, AR) 서비스 제공 방법을 제공할 수 있다. 이때, AR 서비스 제공 방법은 제 1 대상(Object)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득하는 단계, 제 1 대상에 기초하여 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득하는 단계, 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보를 결합하는 단계 및 결합된 2D 비디오 영상을 출력하는 단계를 포함할 수 있다. 이때, 제 1 대상에 대한 3D 정보 및 2D 비디오 영상 정보에 기초하여 제 1 대상의 3D 공간 정보를 결정하고, AR 콘텐츠의 3D 공간 정보를 제 1 대상의 결정된 3D 공간 정보에 따라 조정하고, AR 콘텐츠의 2D 비디오 영상 정보는 조정된 AR 콘텐츠의 3D 공간 정보에 기초하여 제 1 대상에 대한 2D 비디오 영상 정보와 결합될 수 있다.

또한, 본 발명의 일 실시예에 따라, AR 서비스를 제공하는 장치를 제공할 수 있다. 이때, AR 서비스를 제공하는 장치는 라이브 RGBD 처리부, AR 콘텐츠 처리부, 3D 상호작용 처리부 및 AR 렌더링 처리부를 포함할 수 있다. 이때, 라이브 RGBD 처리부를 통해 제 1 대상(Object)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득하되, 제 1 대상에 대한 3D 정보 및 2D 비디오 영상 정보에 기초하여 제 1 대상의 3D 공간 정보가 결정되고, AR 콘텐츠 처리부를 통해 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득하되, AR 콘텐츠의 3D 공간 정보를 제 1 대상의 결정된 3D 공간 정보에 따라 조정하고, AR 렌더링 처리부를 통해 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보를 결합하되, AR 콘텐츠의 2D 비디오 영상 정보는 조정된 AR 콘텐츠의 3D 공간 정보에 기초하여 제 1 대상에 대한 2D 비디오 영상 정보와 결합될 수 있다.

이때, 본 발명의 일 실시예에 따라, 라이브 RGBD 입력 센서 및 AR 콘텐츠부가 서로 다른 센서를 사용하는 경우, 제 1 대상의 3D 정보 및 2D 비디오 영상 정보는 라이브 RGBD 입력 센서 좌표계에 기초하여 획득되고, AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보는 AR 콘텐츠부 좌표계에 기초하여 획득될 수 있다.

또한, 본 발명의 일 실시예에 따라, 라이브 RGBD 입력 센서 좌표계 및 AR 콘텐츠부 좌표계는 동일한 체험공간 좌표계로 변환되고, 체험공간 좌표계에 기초하여 AR 콘텐츠의 3D 공간 정보가 제 1 대상의 3D 공간 정보에 따라 조정될 수 있다.

또한, 본 발명의 일 실시예에 따라, 라이브 RGBD 입력 센서 좌표계 및 AR 콘텐츠부 좌표계는 동일한 체험공간 좌표계로 변환되고, 체험공간 좌표계에 기초하여 AR 콘텐츠의 3D 공간 정보가 제 1 대상의 3D 공간 정보에 따라 조정될 수 있다.

또한, 본 발명의 일 실시예에 따라, AR 서비스를 제공하는 장치를 제공할 수 있다. 이때, AR 서비스를 제공하는 장치는 라이브 RGBD 입력센서부, AR 콘텐츠부,

AR 실감체험 처리부 및 디스플레이부를 포함할 수 있다. 이때, AR 실감체험 처리부는 라이브 RGBD 입력센서부로부터 제 1 대상(Object)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득하되, 제 1 대상에 대한 3D 정보 및 2D 비디오 영상 정보에 기초하여 제 1 대상의 3D 위치가 결정되고, AR 실감체험 처리부는 AR 콘텐츠부로부터 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득하되, AR 콘텐츠의 3D 공간 정보를 제 1 대상의 결정된 3D 공간 정보에 따라 조정하고, AR 실감체험 처리부는 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보를 결합하되, AR 콘텐츠의 2D 비디오 영상 정보는 조정된 AR 콘텐츠의 3D 공간 정보에 기초하여 제 1 대상에 대한 2D 비디오 영상 정보와 결합되고, 디스플레이부는 결합된 2D 비디오 영상 정보를 출력할 수 있다.

이하의 사항들은 AR 서비스를 제공하는 방법 및 장치에 대해서 동일하게 적용될 수 있다.

본 발명의 일 실시예에 따르면, 제 1 대상의 3D 공간 정보는 제 1 대상의 3D 위치, 자세, 각도, 방향, 크기 중 적어도 어느 하나 이상을 포함하고, AR 콘텐츠의 3D 공간 정보는 AR 콘텐츠의 3D 위치, 자세, 각도, 방향, 크기 중 적어도 어느 하나 이상을 포함할 수 있다.

이때, 본 발명의 일 실시예에 따르면, 제 1 대상에 대한 정보를 획득하는 제 1 센서의 환경 정보와 AR 콘텐츠에 대한 정보를 획득하는 제 2 센서의 환경 정보가 서로 상이한 경우, AR 콘텐츠의 3D 공간 정보를 제 1 대상의 결정된 3D 공간 정보에 따라 조정할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제 1 센서의 환경 정보는 제 1 센서가 제 1 대상에 대한 정보를 획득할 때의 위치, 각도, 방향 및 거리 정보 중 적어도 어느 하나 이상을 포함하고, 제 2 센서의 환경 정보는 제 2 센서가 AR 콘텐츠에 대한 정보를 획득할 때의 위치, 각도, 방향 및 거리 정보 중 적어도 어느 하나 이상을 포함할 수 있다.

본 발명의 일 실시예에 따르면, AR 콘텐츠의 3D 상호 작용 정보에 기초하여 제 1 대상에 대한 3D 상호 작용 서비스를 제공할 수 있다.

이때, 본 발명의 일 실시예에 따르면, 3D 상호 작용 서비스는 결합된 2D 비디오 영상과 연동되어 제공되는 서비스일 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제 1 대상에 대한 3D 정보는 뎁스(Depth) 영상 및 스켈레톤(Skeleton) 정보 중 적어도 어느 하나 이상에 기초하여 획득되는 정보일 수 있다.

이때, 본 발명의 일 실시예에 따르면, 제 1 센서 및 제 2 센서가 서로 다른 센서인 경우, 제 1 대상의 3D 정보 및 2D 비디오 영상 정보는 제 1 좌표계에 기초하여 획득되고, AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보는 제 2 좌표계에 기초하여 획득될 수 있다.

이때, 본 발명의 일 실시예에 따르면, 제 1 좌표계 및 제 2 좌표계는 동일한 제 3 좌표계로 변환되고, 제 1 대상의 3D 공간 정보 및 AR 콘텐츠의 3D 공간 정보는 제 3 좌표계에 기초하여 결정될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제 1 대상의 3D 공간 정보에 기초하여 조정선을 생성하고, 생성된 조정선에 기초하여 AR 콘텐츠의 3D 공간 정보를 조정할 수 있다.

이때, 본 발명의 일 실시예에 따르면, 제 1 대상의 3D 공간 정보가 업데이트되는 경우, AR 콘텐츠의 3D 공간 정보는 제 1 대상의 업데이트된 3D 공간 정보에 기초하여 자동으로 업데이트될 수 있다.

이때, 본 발명의 일 실시예에 따르면, 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보를 결합하는 단계는 제 1 대상에 대한 2D 비디오 영상 정보의 깊이 정보 및 AR 콘텐츠의 2D 비디오 영상 정보의 깊이 정보에 기초하여 증강합성되는 단계를 포함할 수 있다.

이때, 본 발명의 일 실시예에 따르면, 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보는 상호 가림(Occlusion) 및 가시성(Visibility)를 고려하여 증강합성될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 결합된 2D 비디오 영상은 HMD(Head Mounted Display)를 통해 디스플레이될 수 있다.

본 발명에 따르면, 2D 접근방법을 기반으로 AR 서비스를 위한 증강 합성 대상의 AR 콘텐츠 촬영 시에 깊이 영상 정보를 추가로 획득할 수 있다.

본 발명에 따르면, 깊이 정보를 기반으로 증강합성 대상의 3D 정보를 추가 처리하는 방법을 제공할 수 있다.

본 발명에 따르면, 2D 및 3D AR 콘텐츠 정보를 실제 AR 서비스 시의 카메라의 위치와 체험공간, 체험자의 위치, 조명환경과 연계하는 방법을 제공할 수 있다.

본 발명에 따르면, 2D 접근방법의 증강합성 영상품질과 2D 비디오 증강 합성시에도 체험자의 3D 정보와 연동하여 3D 접근방법의 3D 상호작용이 가능하게 하는 증강현실 기반의 고품질 3D 실감 체험 서비스가 가능할 수 있다.

본 발명에 따르면, 기존의 2D콘텐츠 기반의 AR 서비스를 위한 AR콘텐츠 제작시간과 제작비용 정도에 체험자와의 3D 인터랙션이 가능하고, 체험공간의 조명환경에 맞게 자연스러운 증강합성을 지원하는 3D 실감체험 서비스가 가능할 수 있다.

본 발명에 따르면, 기존의 단순 레이어 기반의 2D 비디오 증강합성 기반이나 3D 아바타 기반의 증강합성 기반의 실감체험 대비 체험자에게 제공되는 서비스에서 뚜렷한 가시적 차별성을 제공할 수 있다.

본 발명에 따르면, 기존 2D 비디오 기반 접근법의 영상품질 대비 3D 아바타 기반의 체험자와의 3D 인터랙션을 제공하는 서비스에 적용될 수 있다.

본 발명에 따르면, 발명에서 제시한 다양한 실시예를 통해 2D 비디오 기반의 장점과 3D 아바타 기반의 장점들을 결합하여 제공하는 서비스들이 없기 때문에 체험자에게 가시적으로 제공되는 서비스되는 방식을 통해 적용될 있다.

본 발명에 따르면, 상술한 서비스를 제공할 경우의 최소 구성과 구현 가능한 실시예를 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 비디오영상기반 2D/3D AR 실감체험 서비스 기술 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른, RGBD 정보 처리 예시를 설명하기 위해 도시한 것이다.
도 3은 본 발명의 실시예에 따른, R비디오영상기반 2D/3D AR 실감체험 서비스 기술 세부 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른, 체험공간 좌표계를 중심으로 한 체험자와 AR 콘텐츠 좌표계 간 3D 공간변환을 예를 들어 도시한 것이다.
도 5는 본 발명의 실시예에 따른, 체험자 중심의 조정기준을 이용한 AR 콘텐츠의 3D 좌표계 조정을 예를 들어 도시한 것이다.
도 6은 본 발명의 실시예에 따른, AR 콘텐츠의 RGB 영상의 2D 데이터 평면형 바운딩 박스 기반 처리를 예를 들어 도시한 것이다.
도 7은 본 발명의 실시예에 따른, AR 서비스를 제공하는 방법을 나타낸 순서도이다.

이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.

본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.

본 발명에 의하면, 2D 접근방법을 기반으로 AR 서비스를 위한 증강합성 대상의 AR 콘텐츠 촬영 시에 깊이 영상 정보를 추가로 획득할 수 있다. 이때, 깊이 정보를 기반으로 증강합성 대상의 3D 정보를 추가 처리하는 방법과 이러한 2D/3D AR 콘텐츠 정보를 실제 AR 서비스 시의 카메라의 위치와 체험공간, 체험자의 위치와 연계하는 방법을 제안하고자 한다. 이를 통해, 2D 접근방법의 증강합성 영상품질과 2D 비디오 증강 합성 시에도 체험자의 3D 정보와 연동하여 3D 접근방법의 3D 상호작용이 가능하게 하는 비디오영상기반 2D/3D AR 실감체험 방법을 제시할 수 있다.

또한 일 예로, 후술할 본 발명은 현재 디지털 콘텐츠 관련 기술분야에서 가장 각광받고 있는 증강현실 기술을 콘텐츠에 적용되어 현재 체험관이나 테마파크에서 상용화가 진행되고 있는 시장의 기술요구사항을 반영할 수 있다. 구체적으로, 후술할 발명을 통해 짧은 제작시간과 저비용으로 고품질의 증강현실 기반의 3D 실감체험 서비스가 가능할 수 있다. 이를 통해, 글로벌 VR(Virtual Reality) 및 AR 시장 분석 중 AR 시장에 직접 활용될 수 있으며, 상술한 실시예로 한정되지 않는다.

일 에로, 2016년 상용보급이 시작된 RGBD 센서를 내장한 Google Tango 기반 스마트디바이스나 2017년 발표된 RGB센서 기반의 Google AR Core, Apple ARKit을 통해 2018년부터는 대부분의 스마트폰에서 AR 기능이 OS레벨에서 지원되는 인프라를 확보할 수 있다. 이러한 인프라의 1차 응용분야는 본 발명에서 기술하는 실감체험 분야를 포함하는 엔터테인먼트 제공 콘텐츠 서비스가 될 것으로 판단되어 충분한 시장수요를 가질 것으로 판단된다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예들에 대해서 설명한다.

도 1은 비디오영상기반 2D/3D AR 실감체험 서비스 기술 구성을 나타내는 블록도이다. 본 발명은 도 1와 같이 라이브 RGBD 입력 센서부(1000), 2D/3D AR 콘텐츠부(2000), 2D/3D AR 실감체험 처리부(100) 및 디스플레이부(3000)로 구성될 수 있다.

또한, 본 발명은 2D/3D AR 실감체험 처리부(100)로 특정될 수 있으며, 상술한 라이브 RGBD 입력 센서부(1000), 2D/3D AR 콘텐츠부(2000) 및 디스플레이부(3000)는 본 발명의 동작과 관련된 외부 구성들일 수 있다. 즉, 본 발명은 상술한 구성들을 모두 포함하는 시스템으로서의 발명일 수 있다. 또는, 본 발명은 상술한 2D/3D AR 실감체험 처리부(100) 구성만으로 발명일 수 있으며, 상술한 실시예로 한정되지 않는다.

이때, 도1을 참조하면, 라이브 RGBD 입력 센서부(1000)는 AR 서비스를 위해 입력되는 체험자의 RGB 비디오 영상과 뎁스(Depth) 영상을 센싱할 수 있다. 2D/3D AR 콘텐츠부(2000)는 사전에 촬영된 2D/3D AR 콘텐츠에서 입력되는 증강합성 대상이 되는 RGB 비디오 입력과 비디오 입력의 프레임 별 3D 정보을 포함할 수 있다. 또한, 2D/3D AR 실감체험 처리부(100)는 라이브 RGBD 입력 센서부(1000)와 2D/3D AR 콘텐츠부(2000)의 입력을 통해 비디오영상 기반 2D/3D AR 실감체험 처리를 담당할 수 있다. 또한, 디스플레이부(3000)는 최종 증강 합성 영상을 사용자에게 제시할 수 있다.

이때, 일 예로, 라이브 RGBD 입력센서부(1000)은 마이크로소프트 키넥트(Kinect) 센서나 인텔 리얼 센서(Real Sensor)등과 같이 체험자의 RGB 칼라영상과 Depth 영상을 실시간 제공하는 센서를 활용할 수 있다. 인체에 대해서는 인체 골격계의 움직임을 설명하는 스켈렉톤(Skeleton) 정보를 센서에서 직접 얻거나 종래 기술(e.g “J.Shotton et al. Efficient Human Pose Estimation from Single Depth Images, IEEE Trans. On PAMI 2821~2840, 2013”) 등의 방법으로 센서의 Depth 영상분석을 통해 얻어낼 수 있다. 또한 RGB 칼라영상은 RGBD 센서의 RGB 영상 대신 DSLR 카메라나 비디오캠 등과 같은 고품질 RGB 영상의 입력을 대신 사용할 수 있다. Depth 영상은 상기의 적외선 영역의 패턴(Pattern) 방식이나 TOF(Time of Flight) 방식 외에도 2개의 RGB 카메라를 이용하는 듀얼 카메라(Dual Camera) 방식, 혹은 하나의 RGB 카메라를 이용한 Structure-from-motion 이나 SLAM 등의 방식을 통해서도 획득될 수 있다.

이때, 일 예로, RGB 영상과 Depth 영상, Skeleton 정보는 컴퓨터 비전(Computer Vision) 분야의 카메라 기하보정(Geometric Calibration) 기법을 통해 각 센서 혹은 정보표현 좌표계 간의 상대적 회전/이동 관계, 센서의 렌즈특성 모델 등에 대한 보정이 수행되어 있다고 가정할 수 있다. 이러한 기하보정 가정은 해당분야의 다양한 기하보정 기법을 통해 통상적으로 구현할 수 있다. 기하보정 정보를 이용해 Depth 영상의 각 픽셀 (pixel)별 Depth 값을 통해 Depth 영상 픽셀에 대응되는 칼라영상 내의 Depth 영상 픽셀 대응 픽셀의 3D 위치를 계산할 수 있으며, 각 인접 픽셀들간의 관계를 이용해 체험자의 Depth, Color, Skeleton 정보가 RGBD 센서 좌표계에서 결합되어 3D 공간상에서 표현되는 3D 형상정보를 계산할 수 있다. 이때 RGB 센서에서 초당 획득되는 영상 프레임 수와 Depth 센서에서 초당 획득되는 영상 프레임 수는 다를 수 있으며 Depth 센서의 획득 프레임 수가 다를 경우에는 RGB와 Depth가 동시에 획득되는 프레임을 키프레임으로 하여 Depth가 미획득되는 RGB 프레임은 인접 키프레임의 Depth 정보를 보간(Interpolation) 기법을 통해 활용할 수 있다.

일 예로, 도 2를 참조하면 라이브 RGBD 입력 센서(1000)를 통해 AR 서비스를 위해 입력되는 체험자의 3D 정보를 획득할 수 있다. 이때, 라이브 RGBD 입력 센서(1000)는 상술한 바와 같이 체험자의 RGB 영상, Depth 영상 및 3D Skeleton 정보 중 적어도 어느 하나 이상을 이용하여 체험자의 3D 정보를 획득할 수 있다. 이때, 3D 정보는 체험자의 3D 형상 및 Skeleton 정보가 통합되어 생성되는 정보일 수 있다. 또한, 3D 정보는 RGBD 센서 좌표계를 고려하여 체험자의 3D 위치 정보까지 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.

또한, 상술한 체험자는 라이브 RGBD 입력 센서(1000)가 센싱하는 대상(Object)일 수 있다. 즉, 2D/3D AR 실감체험 서비스를 위해 센싱을 수행하는 입력 정보로서의 대상일 수 있다. 하기에서는 설명의 편의를 위해 체험자라는 용어를 통해 본 발명을 설명하지만, 이에 한정되지 않는다. 즉, 라이브 RGBD 입력 센서(1000)가 센싱할 수 있는 대상은 하기 발명에서 동일하게 적용될 수 있으며, 상술한 실시예로 한정되지 않는다.

다음으로, 2D/3D AR 콘텐츠(2000)는 라이브 RGBD 입력센서(1000)를 통해 AR 콘텐츠 제공자가 AR 서비스를 통해 체험자에게 제공하고자 하는 실제 인물(e.g K-Pop 스타 등) 및 배경에 대해 사전에 촬영하여 저장할 수 있다. 또한, 촬영된 사진을 처리 한 결과물로 2D RGB 비디오영상과 비디오영상의 각 프레임에 대한 증강합성 대상영역의 Depth 정보를 저장할 수 있다. 이때, 일 예로, 증강합성 대상이 인체인 경우, 2D/3D AR 콘텐츠(2000)는 해당 인체의 프레임별 스켈렉톤 정보 등의 3D 정보를 포함할 수 있다.

또한, 일 예로, AR 서비스를 제공하는자 하는 대상은 실제 인물뿐만 아니라 다른 대상으로도 확장이 가능할 수 있다. 즉, AR 콘텐츠로서 표현 가능한 대상에도 동일하게 적용할 수 있으며, 상술한 실시예로 한정되지 않는다. 일 예로, AR 콘텐츠가 제공되는 것은 동물 또는 다른 사물 등이 될 수 있다. 구체적인 일 예로, 동물 체험이나 야구, 축구 등과 같이 사물로서 AR 콘텐츠가 제공되는 것도 가능할 수 있다. 즉, AR 서비스를 제공할 수 있는 콘텐츠는 하기에서 설명하는 발명에 동일하게 적용될 수 있으며, 상술한 실시예로 한정되지 않는다. 다만, 하기에서는 설명의 편의를 위해 AR 콘텐츠로서 실제 인물을 기준으로 설명하지만, 이에 한정되는 것은 아니다.

다음으로, AR실감체험 처리부(100)에서 AR 서비스 시나리오에 따라 실시간 호출한다. AR 콘텐츠가 인물이 아닌 유명 애니메이션 캐릭터 등과 같은 CG 모델일 경우에도 사전에 고품질 렌더링을 통해 2D RGB 비디오영상을 렌더링하여 사용할 수 있으며 렌더링에 사용된 캐릭터의 스켈레톤이나 저수준 외형 메쉬(Mesh) 모델 등의 3D 정보를 포함할 수 있다.

또한, 도 1을 참조하면, 2D/3D AR 실감체험 처리부(100)는 라이브 RGBD 처리부(200), 2D/3D AR 콘텐츠 처리부(300), 3D 상호작용 처리부(400) 및 AR 렌더링 처리부(500)를 포함할 수 있다. 이때, 라이브 RGBD 처리부(200)는 체험자를 촬영한 영상정보를 처리할 수 있다. 또한, 2D/3D AR 콘텐츠 처리부(300)는 사전에 저장된 2D/3D AR 콘텐츠를 체험자의 위치에 맞게 처리할 수 있다. 또한, 3D 상호작용 처리부(400)는 체험자와 AR 콘텐츠 간의 3D 상호 작용을 제어할 수 있다. 또한, AR 렌더링 처리부(500)는 체험자의 3D 정보와 3D 상호작용에 맞게 AR 콘텐츠를 최종 변형 및 정합할 수 있다.

2D/3D AR 실감체험 처리부(100)의 각 세부 처리부의 상세 세부 구성도는 도 3으로 구성될 수 있으며, 이에 대해서는 후술한다. 2D/3D AR 실감체험 처리부(100)의 세부구성을 설명하기 위해 도 4의 상황을 예로 들어 실시예로 후술한다. 도 5의 체험공간은 고정형 RGBD 센서(1000)를 기준으로 AR 실감체험 서비스 제공자가 임의로 설정해 놓은 고정형 공간일 수 있으며, 이에 대해서는 후술한다. 또한, 체험공간은 사진촬영과 같이 이동형 모바일 RGBD 센서를 이용해 체험자를 촬영해주는 촬영자의 RGBD 센서를 기준으로 한 센서가 바라보는 전방 FOV(field of view) 내의 가변형 공간일 수 있다. 전자의 경우 체험자 RGBD 센서 좌표계와 체험공간 좌표계는 서로 다르며, 후자의 경우 두 좌표계는 동일하거나 다를 수 있으며 RGBD 센서가 장착된 스마트단말을 이용해 지속적으로 움직일 수도 있다. 체험공간 좌표계는 임의의 위치에 설정될 수도 있지만 설명과 이해의 편의를 위해 이하의 설명에서는 실제 체험자가 위치한 공간의 바닥면을 기준으로 설정된다고 가정하나, 이에 한정되지는 않는다. 체험공간의 범위는 체험에 사용된 RGBD 센서의 센싱 범위를 기준으로 사용자의 선택에 의해서나 AR 콘텐츠 제작 시에 사전 정의될 수 있다.

체험자는 이렇게 정의된 체험공간 상의 임의의 위치에 위치할 수 있다. AR 실감체험 서비스는 체험자 RGBD 센서(1000)를 통해 체험자의 RGB 비디오 영상과 Depth 영상, Skeleton 정보 등의 3D 정보를 체험자 RGBD 센서(1000)의 좌표계를 기준으로 획득할 수 있다. 또한, AR 실감체험 콘텐츠 서비스 제공자는 사전에 체험자 RGBD 센서(1000)와 같은 등가의 RGBD 센서를 이용해 체험대상(e.g K-Pop 스타 등)의 2D/3D AR 콘텐츠를 AR 콘텐츠 RGBD 센서 좌표계를 기준으로 촬영하여 디지털 데이터화할 수 있다.

이때, 일 예로, 상술한 라이브 RGBD 입력 센서(1000) 및 2D/3D AR 콘텐츠(2000)의 센서는 동일 모델일 수 있다. 또 다른 일 예로, 라이브 RGBD 입력 센서(1000) 및 2D/3D AR 콘텐츠(2000)의 센서는 서로 다른 모델일 수 있으며, 상술한 실시예로 한정되지 않는다.

또한, 일 예로, 라이브 RGBD 입력 센서(1000) 및 2D/3D AR 콘텐츠(2000) 센서의 위치는 체험공간 좌표계 기준으로 동일할 수도 있다. 또 다른 일 예로, 라이브 RGBD 입력 센서(1000) 및 2D/3D AR 콘텐츠(2000)의 센서의 위치는 체험공간 좌표계 기준으로 상이하게 가정하는 것도 가능하며, 상술한 실시예로 한정되지 않는다.

이때, 일 예로, 라이브 RGBD 입력 센서(1000) 및 2D/3D AR 콘텐츠(2000)의 좌표계의 데이터는 하나의 체험 공간 좌표계에서 표현될 수 있다.

도 4를 참조하면, 통상적인 카메라 기하보정을 통해 얻을 수 있는 체험 공간 좌표계와의 좌표계 변환 관계를 이용해 하나의 체험공간 좌표계에서 표현될 수 있다. 이때, 라이브 RGBD 입력 센서(1000) 및 2D/3D AR 콘텐츠(2000)에서 사용된 두 개의 RGBD 센서가 다른 경우, 라이브 RGBD 입력 센서(1000)의 센서를 기준으로 AR 콘텐츠 촬영에 사용된 RGBD 센서의 내외부 기하보정인자와 색공간 등의 정보를 라이브 센서에 맞게 변환하는 과정을 수행할 수 있다.

이때, 도 4를 참조하면, 사전에 체험자의 위치를 체험공간 좌표계 기준의 AR 콘텐츠 3D 위치에 강제하지 않는 경우라면, 체험자의 3D 위치와 AR 콘텐츠의 3D 위치는 체험공간 상에서 서로 상이할 수 있다. 일 예로, 현재 체험형 테마파크들에서 서비스되는 스타와 사진촬영 등의 2D 접근방법을 기반으로 한 AR 실감체험 서비스 등에서 이러한 상황이 빈번히 재현되고 있다. 즉, 체험자가 직접 위치를 조정하여 자연스러운 AR 상황을 만들거나 체험위치를 특정한 점으로 제한하는 방법을 사용하고 있다. 이러한 3D 공간 불일치로 인해 체험자와 AR 콘텐츠와의 인터랙션 UX(User Experience)가 자연스럽지 못할 수 있다.

이에, 하기에서는 상술한 상황에서 최종 증강합성 되는 AR 콘텐츠의 2D 비디오 영상을 체험자의 3D 위치와 체험자의 RGBD 센서 위치에 맞게 사실적으로 재구성하여 조정할 수 있는 방법과 3D 상호작용을 처리할 수 있는 방법을 제안한다.

보다 상세하게는, 도 3을 참조하면, 라이브 RGBD 처리부(200)는 체험자의 3D 정보 검출부(201)와 체험자의 3D 데이터 처리부(202), 체험자의 2D RGB 비디오영상 처리부(203)로 구성될 수 있다. 라이브 RGBD 처리부(200)는 체험 공간 내 체험자의 3D 정보와 이를 이용하여 RGB 영상에서 증강 합성될 체험자의 영상 영역을 계산할 수 있다. 또한, 라이브 RGBD 처리부(200)는 AR 콘텐츠와 3D 상호작용을 위한 체험자의 조밀한 3D 정보를 계산할 수 있다. 또 다른 일 예로, 라이브 RGBD 처리부(200)는 AR 콘텐츠와 3D 상호작용을 위한 체험자의 간략화된 3D 정보를 계산할 수 있으며, 상술한 실시예로 한정되지 않는다.

구체적으로, 각각의 구성에 대한 동작을 살펴보면, 체험자의 3D 정보 검출부(201)는 라이브 RGBD 입력센서부(1000)로부터 체험자의 Depth 영상과 Skeleton 정보 등의 3D 정보(1001)를 입력 받을 수 있다. 이를 통해, 체험자의 3D 정보 검출부(201)는 체험영역 내 체험자의 위치를 검출할 수 있다. 이때, 상술한 바와 같이, RGBD 센서가 기하보정이 되어 있으므로 체험자의 위치는 RGBD 센서의 3D 좌표계를 기준으로 계산되거나 체험영역의 3D 좌표계를 기준으로 계산될 수 있다. 일 예로, 체험영역의 3D 좌표계를 기준으로 표현할 경우, RGBD 센서의 Depth 영상의 각 픽셀 별 깊이값과 Skeleton 정보값을 RGBD 센서 좌표계와 체험영역 좌표계 간의 회전/이동의 변환관계(Transformation matrix)를 통해 계산할 수 있다.

체험자의 3D 정보 검출부(201)는 검출된 체험자의 체험공간 내 위치 및 자세정보(1201)를 2D/3D AR 콘텐츠 처리부(300)의 3D 좌표계 조정부(301)에 제공할 수 있다. 즉, 체험자의 3D 정보 검출부(201)는 AR 콘텐츠의 촬영 당시 좌표계를 기준으로 한 AR 콘텐츠의 정보를 조정하기 위해 필요한 정보로서 자세정보(1201)를 제공할 수 있다. 체험자 3D 정보의 연계관계는 3D 좌표계 조정부(301)와 관련하여 후술한다.

체험자의 3D 정보 처리부(202)는 RGBD 센서(1000)에서 입력된 Depth 정보를 이용해 체험자가 체험공간 내에 어떠한 곳을 점유하고 있는지를 Mesh, Point Cloud 형태, 또는 유사 형태의 3D 정보로 콘텐츠 서비스 목적과 HW 연산능력에 맞게 조밀하게 계산한다. 이러한 점유정보는 3D 상호작용 처리부(400)에서 AR 콘텐츠와의 3D 충돌처리 감지 및 상호작용 처리를 위해 사용될 수 있다.

이때, 일 예로, 스마트폰 등에서는 연산 능력이 한계가 있을 수 있다. 이에, 제한된 연산환경에서 서비스하기 위해 계산된 조밀한 점유정보를 함께 입력되는 Skeleton 정보와 결합할 수 있다. 그 후, Bounding-Box 기법이나 Spherical-Approximation 기법들을 통해 체험자의 조밀한 공간 점유를 근사화/간략화하는 작업을 수행할 수 있다. 이때, 일 예로, Bounding-Box 기법 및 Spherical-Approximation 기법은 컴퓨터 그래픽스 분야의 캐릭터 애니메이션에서 주변 캐릭터나 환경과의 충돌체크를 위해 활용되는 기법일 수 있다. 이를 통해, 3D 상호 작용 처리부(400)는 연산량을 줄일 수 있으며, 쉽게 연산을 수행할 수 있다.

또한, 일 예로, 체험자를 포함하는 3D 바운딩박스(Bounding Box)나 대표 3D 평면(Plane)으로 간소화하여 계산될 수도 있다. 더 나아가 입력되는 Depth 정보와 Skeleton 정보를 이용해 표준적인 인체 캐릭터모델의 관절 길이나 자세, 캐릭터모델의 3D 형상정보를 변형하여 근사화 할 수도 있다.

체험자의 3D 정보 처리부(202)에서 얻어진 체험자의 조밀한 공간점유 정보는 체험자의 2D RGB 비디오영상 처리부(203)에 제공될 수 있다.

체험자의 2D RGB 비디오영상 처리부(203)는 RGBD 센서에서 입력되는 체험자의 RGB 비디오 영상입력과 체험자의 3D 정보 처리부(202)에서 입력되는 조밀한 공간점유 정보를 이용해 RGB 영상에서 체험자의 영상영역을 전경영상으로 인식하고, 나머지 영상영역을 배경영상으로 식별하는 연산을 수행할 수 있다. 체험자의 3D 정보 처리부(202)에서 입력되는 조밀한 공간점유 정보는 체험자의 영상영역을 구분함에 있어 크로마키(chroma-Key) 기법과 같은 상황이 아닌 복잡하고 일상적인 배경환경에서 체험자의 영상영역영 구분할 때 Graph-Cut과 같은 기법의 Tri-map 구성시 전경후보영역의 사전정보로 활용 될 수 있다. 이렇게 얻어진 전경영상은 서비스 타입에 따라 증강현실 서비스로 사용되거나 체험자 영상을 가상공간에 혼합현실로 정합하여 서비스 될 수 있도록 한다. 또한, 일 에로, 전경영상은 AR 콘텐츠와 상호작용시 상호 가림(Occlusion)이 발생할 수 있다. 이때, 상호 가림이 발생하는 경우, 픽셀단위로 체험자 영상과 AR 콘텐츠 영상중 어떤 정보를 실제 디스플레이부(3000)를 통해 표출할지를 결정할 수 있다. 일 예로, 전경칼라 픽셀별로 대응되는 Depth 영상에서 얻어진 3D 위치정보를 이용해 상호 가림(Occlusion) 또는 가시 영역(Visibility) 판별의 기준정보를 제공할 수 있다.

또한, 일 예로, 단순 AR 증강합성을 통해 서비스를 제공하는 경우, 체험자의 2D RGB 비디오영상 처리부(203)는 입력 RGB 비디오영상(1002)을 상술한 처리 없이 그대로 다음 단계로 통과시킬 수 있다.

즉, 상술한 바와 같이 체험자와 AR 콘텐츠 간의 상호 가림을 고려한 증강합성이나, AR 서비스 공간의 배경이 아닌 AR 콘텐츠의 배경을 혼합현실(MR: Mixed Reality) 기반으로 합성할 경우가 아닌 때에는 입력 RGB 비디오영상(1002)을 상술한 처리 없이 그대로 다음 단계로 통과시킬 수 있으며, 상술한 실시예로 한정되지 않는다.

2D/3D AR 콘텐츠 처리부(300)는 3D 좌표계 조정부(301), 2D/3D 데이터 정렬부(302), AR 콘텐츠의 3D 데이터 처리부(303) 및 2D 데이터 처리부(304)로 구성될 수 있다. 이때, 3D 좌표계 조정부(301)는 3D 좌표계를 조정할 수 있다. 또한, 2D/3D 데이터 정렬부는 AR 콘텐츠 정보와 AR 콘텐츠 촬영 당시 RGBD 센서의 기하보정 정보를 이용하여 증강합성 대상의 2D RGB 정보(2002)와 Depth 정보, Skeleton 정보 등의 3D 정보(2001)를 라이브 RGBD 처리부(200)의 결과와 같이 계산하여 연산 메모리로 등록할 수 있다. AR 콘텐츠의 3D 데이터 처리부(303)는 AR 콘텐츠의 데이터를 처리할 수 있다. 또한, 2D 데이터 처리부(304)는 체험자 위치 정보에 맞게 조정된 3D 정보를 기반으로 AR 콘텐츠의 RGB 영상정보를 변형할 수 있다. 이때, 도 6의 예시와 같이 체험자의 정보를 기반으로 AR 콘텐츠의 2D 비디오영상과 3D 상호작용 정보를 위한 3D 정보를 계산할 수 있으며, 이에 대해서는 후술한다.

보다 상세하게는, 도 5를 참조하면, 3D 좌표계 조정부(301)는 체험자의 3D 정보 검출부(201)에서 계산된 체험자의 3D 위치와 체험공간 좌표계로 변환된 AR 콘텐츠의 3D 위치를 이용하여 계산을 수행할 수 있다. 이때, 3D 좌표계 조정부(301)는 AR 콘텐츠가 체험자의 위치를 기준으로 AR 콘텐츠 서비스 시나리오에 따라 어떻게 조정되어야 하는지에 대한 조정변환 정보를 상술한 정보를 통해 계산할 수 있다.

일 예로, AR 콘텐츠 서비스 시나리오의 예시는 다음과 같을 수 있다. AR 콘텐츠는 체험자의 옆에 자동으로 위치하여 체험자의 자세에 맞게 3D 상호작용하며 사진을 촬영한다는 시나리오를 가정하는 경우, 3D 좌표계 조정부(301)는 도 5의 예시와 같이 체험자의 위치를 기준으로 조정선을 생성할 수 있다. 이때, 3D 좌표계 조정부(301)는 현재 AR 콘텐츠의 3D 위치를 이용해 AR 콘텐츠가 체험자와 조정선에 나란히 위치할 수 있도록 하는 조정 변환 정보를 계산할 수 있다.

AR 콘텐츠의 3D 데이터 처리부(303)는 실제 디지털 체험공간상에서 도 5와 같이 AR 콘텐츠의 3D 정보가 체험자의 옆에 위치할 수 있도록 업데이트를 수행할 수 있다. 이때, AR 콘텐츠의 3D 데이터 처리부(303)는 조정변환 정보를 미리 저장된 AR 콘텐츠의 Depth 영상과 Skeleton 정보, Skeleton기반 Spherical 또는 Bounding-Box 모델, 3D 바운딩박스, 대표 3D 평면 등의 3D 정보에 적용하여 상술한 업데이트를 수행할 수 있다. 그 후, AR 콘텐츠의 3D 데이터 처리부(303)는 그 결과로 입력 3D 정보(2001) 대비 최종 업데이트 3D 정보 간의 조정 변환정보를 2D 데이터 처리부(304)에 제공할 수 있다. 이를 통해, 2D 데이터 처리부(304)는 RGB 비디오(2002) 정보의 변환에 상술한 정보를 사용할 수 있다. 이 과정에서 AR 콘텐츠 내 3D 정보(2001)에 체험자의 3D 정보 처리부(202)와 같은 Skeleton기반 Spherical 또는 Bounding-Box 모델, 3D 바운딩박스, 대표 3D 평면, low-resolution polygonal mesh등의 정보가 사전에 입력되지 않을 경우, 체험자의 3D 정보 처리부(202)와 같은 방식으로 체험자와의 3D 상호작용 검출 및 처리를 위한 3D 정보의 간략화를 함께 수행할 수 있다.

2D/3D 데이터 정렬부(302)는 AR 콘텐츠 정보와 AR 콘텐츠 촬영 당시 RGBD 센서의 기하보정 정보를 이용하여 증강합성 대상의 2D RGB 정보와 Depth 정보, Skeleton 정보를 라이브 RGBD 처리부(200)의 결과와 같이 AR 콘텐츠 촬영 당시 RGBD 센서 좌표계 기준으로 계산하여 연산 메모리로 등록할 수 있다. 다만, 라이브 RGBD 처리부(200)와 달리 체험자의 2D RGB 비디오영상 처리부(203)의 결과물은 미리 계산하여 저장하였다가 메모리로 로드하여 사용할 수 있다. 또한 AR 콘텐츠의 증강합성 품질 향상을 위해 증강합성 대상의 촬영시 일반환경이 아니라 크로마키 환경과 같은 제어된 환경에서 촬영을 하여 증강합성 대상의 전경영역의 품질을 높일 수도 있다. 일 예로, 2D 데이터 처리부(304)는 실제인물(e.g K-Pop 스타) 등을 촬영하는 경우에 크로마키 환경과 같은 제어된 환경에서 촬영을 수행할 수 있다. RGBD 센서의 Depth 정보를 이용한 Skeleton 정보 추출 외에 전문 모션캡쳐 장비와 연동하여 고품질 Skeleton 정보를 획득할 수도 있다. AR 콘텐츠의 2D RGB 영상의 전경영역 정보는 K-Pop 스타의 머리카락이나 전경 실루엣의 경계면의 자연스러운 증강합성 처리를 위해 알파 블랜딩 정보를 포함할 수 있다.

2D 데이터 처리부(304)는 체험자 위치 정보에 맞게 AR 콘텐츠의 3D 데이터 처리부(303)를 통해 조정된 3D 정보와 체험자의 3D 정보에 기반에 충돌처리를 제어할 수 있다. 또한, 2D 데이터 처리부(304)는 3D 인터랙션에 최종 대응하는 라이브 센서시점에 맞게 AR 콘텐츠를 2D/3D 변형(501) 및 증강합성(502)하기 위한 사전작업을 수행할 수 있다. 또한, 2D/3D 데이터 정렬부(302)를 통해 정렬된 정보를 기반으로 도 4와 같이, 체험공간 좌표계를 기준으로 3D 변형을 위해 2D 비디오영상과 Depth 정보를 이용해 3D 공간상에서 AR 콘텐츠를 표현할 수 있다. 2D 데이터 처리부(304)는 AR 렌더링 처리부(500)의 2D/3D 데이터와 핑부(501)와 상호 연계되어 2D 데이터를 3D 공간상에서 체험자의 라이브 센서 시점에서 증강합성하기 위한 3D 변환 작업을 수행할 수 있다. 이러한 작업은 연산장치의 연산 능력과 서비스되는 디스플레이 해상도 등을 고려하여 다양한 방법으로 수행될 수 있다.

하기는 3D 데이터 처리부(303)와 2D 데이터 처리부(304), 2D/3D 데이터 와핑부(501)의 결합에 의해 AR콘텐츠가 체험자의 라이브 센서 시점에서 어떻게 처리되는지를 몇가지의 실시예를 통해 설명한다.

일 예로, 가장 쉬운 구현방법은 가상의 3D 평면을 생성하고 평면에 2D 비디오의 각 프레임 별 영상을 텍스쳐 맵으로 등록하여 렌더링하는 방법을 이용할 수 있다. 이때 3D 평면의 위치와 크기의 선정이 중요하며 위치는 도 6과 같이 AR 콘텐츠 촬영 당시의 증강합성 대상의 3D 공간점유의 평균적 위치가 될 수 있다. 또한, 3D 평면의 크기는 촬영 당시 RGBD 센서의 기하보정 정보를 기반으로 얻어진 증강합성 대상의 3D 공간상의 실제 점유 크기를 가장 타이트하게 포함하는 3D 평면 상의 3D 평면형 바운딩 박스 (Bounding Box)(이하 3D 평면)를 생성하고 바운딩 박스를 AR 콘텐츠 촬영 당시의 RGBD 센서의 카메라 투영모델에 따라 어파인(Affine) 투영 등으로 투영된 바운딩 박스의 RGB 영상영역을 3D 평면형 바운딩 박스의 텍스쳐 맵으로 등록하면 된다. 또한 3D 평면 설정시 가시화 정보량을 극대화하기 위해 3D 평면을 체험공간과 수직으로 배치하고 평면이 카메라와 서로 마주보게 배치할 수 있다. 이때 텍스쳐 맵의 등록을 위해서 생성된 3D 평면의 각 4개 꼭지점을 AR 콘텐츠 촬영 당시의 RGBD 센서 좌표계와 체험공간 좌표계간의 역변환 관계를 이용해 AR 콘텐츠의 RGB 영상에 투영할 수 있다. 투영된 4개 꼭지점을 연결하는 영역을 텍스쳐 맵으로 등록하면 된다. 또한, 증강합성 시 경계면의 자연스러운 합성을 위해 2D RGB 영상에 알파 블랜딩을 위한 알파 맵 (alpha map) 정보가 포함되어 있을 경우, RGB 영상영역을 텍스쳐 맵으로 등록할 때 알파 정보를 텍스쳐 맵의 알파 맵 마스크 정보에 등록하여 주면 3D 렌더링 엔진이 영상 렌더링 시 자연스러운 알파 블랜딩 효과를 계산해 줄 수 있다. 다만, 체험자와 증강합성 대상의 위치 차이가 존재하므로 AR 콘텐츠의 3D 데이터 처리부(303)의 조정변환 정보를 이용해 3D 평면의 위치와 방향를 3D 변환식에 따라 재계산해 주고 이를 체험자의 2D RGB 영상(1002)위에 RGBD 센서와 체험공간간의 역변환 관계를 이용해 투영(Projection)해 주면 원근법에 의한 영상 변환이 반영된 AR 콘텐츠의 RGB 영상을 얻을 수 있다. 체험자는 도 6과 같이 실제 인물(e.g K-Pop 스타)이 실제 옆에 있는 듯한 AR 영상을 디스플레이를 통해 볼 수 있다. 이러한 구현방법은 적은 연산량으로 높은 사실적 증강합성을 구현할 수는 있으나 증강합성 대상의 자세에 따라 실제 공간점유가 생성된 3D 평면의 노멀(normal) 방향과 수직방향으로 많이 분포할 경우(예: 센서를 대상으로 측면으로 서서 팔을 넓게 펼치는 동작 등) 또는 AR 콘텐츠 촬영시의 RGBD 센서의 위치/각도와 AR 서비스시의 RGBD 센서의 위치/각도의 차이가 클수록 영상변환 품질이 왜곡될 수 있다.

또 다른 구현방법으로는 AR 콘텐츠의 전경영상을 구성하는 각 픽셀들에 대해 3D 데이터 처리부(303)를 통해 RGB 픽셀별로 재계산된 3D 위치정보를 이용해 3D vertex를 생성하고 인접 픽셀들과의 상관관계 정보를 이용하여 삼각형 혹은 사각형으로 구성된 3D 로컬 메쉬 모델(mesh model)를 생성하고 메쉬 모델의 topology를 AR 콘텐츠 촬영 당시의 RGBD 센서 좌표계와 체험공간 좌표계간의 역변환 관계를 이용해 AR 콘텐츠의 RGB 영상에 투영 했을때의 대응되는 RGB 영상영역들을 텍스쳐 맵으로 등록한다. 다음으로는 3D 좌표계 조정부(301)를 통해 계산된 조정변환 정보를 이용해 메쉬 모델을 구성하는 각 vertex들의 위치를 3D 변환해 주고 변환된 결과 메쉬 모델을 체험자의 RGB영상 시점에 3D 렌더링하여 증강 합성하면 체험자는 도 5와 같이 증강합성 대상이 옆에 있는 듯한 AR 효과를 체험하게 된다. 또한, 전자와 같은 방법으로 2D RGB 영상에 알파 블랜딩을 위한 알파 맵(alpha map) 정보가 포함되어 있을 경우 RGB 영상을 텍스쳐 맵으로 등록할 때 텍스쳐 맵의 알파 맵 마스크 정보에 등록하여 준다. 이러한 구현방법은 전자의 3D 평면 근사방법 대비 연산량은 늘어나지만 RGB 영상 변환 시 증강합성 대상의 자세나 위치에 따른 3D 공간 점유 형태에 영향을 받지 않으며 AR 콘텐츠 촬영 당시와 라이브 서비스 시의 센서 시점차에 따른 영상 왜곡의 영향을 받지 않는다.

이 경우, AR 콘텐츠 촬영 당시와 라이브 서비스가 되는 센서의 시점이 일치하지 않고 다를 경우 3D 메쉬화된 AR 콘텐츠의 3D 정보를 라이브 센서 시점에 렌더링하게 되면 AR 콘텐츠 촬영시점에서 보이지 않던 정보가 라이브 시점에서 보일 수 있게 되고 이 경우 체험자는 증강 합성되는 AR 콘텐츠에서 홀(Hole)을 보게 된다. 이러한 문제를 해소하기 위해서 AR 콘텐츠는 시간축으로 전개되는 매 프레임의 RGB와 Depth 영상을 모두 이용해 하나의 글로벌 메쉬 모델(Mesh model)을 생성하고 각 프레임별로 AR 콘텐츠 내 실제 인물(e.g. K-Pop 스타) 등의 움직임에 따른 글로벌 메쉬 모델와 각 프레임별 로컬 메쉬 모델의 변형관계를 설명하는 대응관계를 찾을 수 있다. 이러한 대응관계를 이용해 글로벌 메쉬 모델의 각 메쉬에 대해 특정 프레임에서 상호 가림(occlusion) 때문에 보이지 않던 해당 메쉬의 칼라 정보를 시간축의 다른 가시성(visibility)을 가지는 프레임에서 획득 할 수 있다. 이러한 글로벌 메쉬 모델은 AR 콘텐츠 촬영 이후 오프라인 연산으로 계산되어 제공될 수 있으며, 필요 시 라이브 서비스에서 연산될 수도 있다.

이러한 글로벌 메쉬 모델을 구축함으로써 라이브 센서 시점에서 현재 AR 콘텐츠의 증강합성 시 홀이 발생할 경우 홀이 발생된 해당 픽셀의 칼라 정보는 글로벌 메쉬 모델에서 칼라값을 찾아 증강합성 시 사용하게 되면 사용자는 홀 대신 해당 시점에서의 AR 콘텐츠의 칼라를 볼 수 있게 된다.

또 다른 일 예로, Surfel 렌더링 방식을 이용할 수 있다. AR 콘텐츠의 전경영상을 구성하는 각 픽셀의 3D 위치에 Surfel을 생성하고 주변 픽셀들의 3D 정보를 이용해 surfel의 normal 정보를 설정할 수 있다. 다음으로 일정 반경을 가지는 surfel의 영역을 RGB 영상에 투영해 칼라 텍스쳐 정보를 surfel 별로 등록할 수 있다. 다음으로 각 surfel을 체험자의 라이브 시점에 맞게 3D 변환하여 렌더링하게 되면 체험자는 AR 콘텐츠가 체험자와 같은 공간에서 인터랙션하고 있는 증강효과를 가져 올 수 있다. 이 방식이 위의 두 방식에 비해 가지는 장점은 첫 번째 방식의 3D 평면 근사화에 따른 AR콘텐츠와 라이브 센서 시점차가 클 경우의 영상왜곡 문제를 쉽게 해소할 수 있다. 두 번째 방식의 로컬 메쉬모델에 기반한 방법에서 발생하는 시점차에 따른 홀 문제를 surfel의 반경과 normal을 두 센서 간 시점차에 맞게 최적화 기법들을 이용해 조정하여 해소할 수 있다는 것이다.

또 다른 방법은 라이트 필드(Light Field) 센서를 이용하는 방법이 있을 수 있다. 라이브 센서 시점에 맞게 시점과 포커스를 정의하고 해당 시점의 영상을 생성 후 상기의 방법론에 적용하여 서비스 할 수 있다.

이상과 같이 다양한 실시예로 전 처리부에 해당하는 2D 데이터 처리부(304)와 후 처리부에 해당하는 2D/3D 데이터와핑부(501)를 구성할 수 있다.

체험자와 AR 콘텐츠 간의 3D 상호작용 처리부(400)는 체험자의 3D 공간 위치에 맞게 AR콘텐츠의 3D 정보를 3D 좌표계 조정부(301)와 AR 콘텐츠의 3D 데이터 처리부(303)를 통해 변형하고 이를 체험자의 3D 정보와 체험공간 좌표계하의 체험공간에서 비교하여 상호작용을 처리할 수 있다.

상호작용처리부(400)는 체험자를 기준으로 3D 정보가 조정된 AR콘텐츠의 3D 정보를 기준으로 체험자가 인위적으로 3D 인터랙션을 요구하는지를 체크하기 위한 3D충돌처리감지부(401)와 충돌처리가 발생한 경우 체험자의 의도에 맞게 AR 서비스에서 사전 정의된 3D 인터랙션을 통해 상호작용을 생성하는 3D 인터랙션 처리부(402)로 구성될 수 있다.

먼저 3D충동처리감지부(401)는 체험자의 3D 정보 처리부(202)와 AR 콘텐츠의 3D데이터처리부(303)에서 생성된 Skeleton기반 Spherical 혹은 Bounding-Box 모델, 3D 바운딩박스, 대표 3D 평면 등의 정보간의 충돌을 체크할 수 있다. 이때, 충돌이 있을 경우, 3D 충돌이 발생한 유형정보를 3D인터랙션처리부(402)로 보낼 수 있다. 충돌체크는 skeleton 기반으로 인체의 외형을 간소화하여 구성된 sphere 혹은 bounding box, low-resolution polygonal mesh 등의 단위 3D 개체들이 3D 공간상에서 겹쳐짐을 가지는지를 체크하여 확인할 수 있다. 일 예로, 체험자의 왼팔의 골격구조를 대변하는 skeleton에 부속된 왼손을 간략화한 3D 단위 개체가 AR 콘텐츠의 오른손과 충돌이 발생할 경우, 유형정보는 체험자가 AR 콘텐츠의 실제 인물(e.g K-Star)과 손을 잡는 인터랙션을 원한다고 판단할 수 있다. 따라서, 이에 해당하는 충돌 유형정보를 3D인터랙션처리부(402)에 보내게 되면 인터랙션 처리부는 해당 유형정보에 맞게 사전 준비된 2D/3D 리액션 콘텐츠 중 손을 잡고 사진을 촬영하는 콘텐츠를 증강 합성하여 체험자에 보여줄 수 있다. 이를 통해, 2D 비디오영상을 이용해 체험자에게 실제 AR 콘텐츠내 2D/3D 실제 인물(e.g. K-Star) 등과 고품질 영상기반의 3D 인터랙션을 제공할 수 있다.

AR 렌더링 처리부(500)는 체험자의 3D 정보와 3D 상호작용에 맞게 AR 콘텐츠를 최종 변형, 정합 및 렌더링하여 디스플레이부(3000)에 제공하는 기능을 수행할 수 있다. 이때, AR 렌더링 처리부(500)는 2D/3D데이터와핑부(501), 2D/3D데이터렌링부(502) 및 2D비디오정합부(503)로 구성될 수 있다.

2D/3D데이터와핑부(501)는 2D 데이터 처리부(304)와 연계된 다양한 실시예를 통해 설명을 하였으며, 이는 상술한 바와 같다. 2D/3D데이터와핑부(501)는 체험공간내 체험자의 3D 공간 위치와 라이브 센서 시점에 맞게 AR 콘텐츠 상의 2D 비디오영상을 3D 공간상에 배치하고 해당 실시예에 따라 3D 공간상에서 위치와 방향을 변형하는 역할을 수행할 수 있다. 이렇게 3D 공간상에서 변형된 2D/3D 데이터는 Unity3D 등과 같은 콘텐츠 저작도구겸 3D 렌더링 엔진상에서 실제 공간과 대응되도록 배치할 수 있다.

2D/3D데이터렌더링부(502)는 사전에 정의된 체험공간의 조명정보를 콘텐츠 내에 배치한 환경 맵(Environment Map)이나 조명(Point/Directional light source)등을 통한 조명효과를 포함하여 3D 렌더링을 수행할 수 있다. 이 과정에서 자연스러운 AR 증강합성 효과를 위해 3D 데이터 처리부(303)에서 2D/3D데이터의 3D 공간배치 과정에 사용된 정보와 배치조명 정보를 이용해 AR콘텐츠 내 실제 인물(e.g. K-Star)의 체험공간 내 배치에 따른 자연스러운 그림자를 생성할 수 있다. 일 예로, 3D 평면상에 배치할 경우 2D 데이터의 알파맵 정보를 이용할 수 있으며, 로컬 메쉬 모델을 이용할 경우는 해당 메쉬 모델에 직접 조명을 물리기반 시뮬레이션하여 사실적 그림자를 생성할 수 있다. 2D 비디오영상의 경우 렌더링 과정에서 AR콘텐츠를 촬영한 센서와 체험서비스용 센서 간의 칼라 색공간 변환정보와 조명 환경 맵 정보를 이용해 2D 비디오의 색공간을 체험공간의 조명환경에 맞게 시뮬레이션하여 자연스러운 체험환경의 조명톤이 AR콘텐츠의 2D비디오에 반영되게 할 수 있다.

2D비디오정합부(503)는 라이브입력센서(1000)에서 입력되고 라이브 2D데이터처리부(203)에서 가공된 2D 비디오정보와 2D/3D데이터렌링부(502)에서 최종 렌더링된 AR콘텐츠의 2D 비디오영상을 하나의 영상으로 증강 합성하는 기능을 수행할 수 있다. 증강합성은 두 비디오정보의 실제 체험자와 AR콘텐츠 내 실제 인물(e.g. K-Star)과 해당 그림자의 픽셀정보들이 두 영상의 깊이 정보를 기반으로 한 가시성테스트(visibility test)를 통해 상호 가림(occlusion)을 고려하여 증강 합성될 수 있다.

최종 증강 합성된 2D 비디오영상은 디스플레이부(3000)을 통해 체험자에게 제공되어 체험자는 AR 콘텐츠의 2D 비디오영상의 고품질 영상과 3D 정보를 통한 3D 인터랙션을 통해 실제 AR 콘텐츠의 실제 인물(e.g K-Star)이 바로 옆에서 있는 듯한 체험을 할 수 있다.

디스플레이부(3000)가 optical see-through나 video see-through를 지원하는 HMD(Head Mounted Display)일 경우에는 상기 AR 렌더링 처리부(500)에서 체험자의 동공간 거리에 맞게 설정된 2개의 가상카메라를 통해 스테레오스코픽 렌더링을 수행하는 방식으로 상기 실시예를 확장하여 입체적인 체험효과를 제공할 수 있다.

도 7은 AR 서비스를 제공하는 방법을 나타낸 순서도이다.

AR 서비스를 제공하는 장치는 제 1 대상에 대한 3D 정보 및 2D 비디오 영상 정보를 획득할 수 있다. (S710) 이때, 도 1 내지 도 6에서 상술한 바와 같이, AR 서비스를 제공하는 장치는 AR 실감체험 처리부(100)일 수 있고, 라이브 RGBD 입력 센서부(1000), AR 콘텐츠부(2000) 및 디스플레이부(3000)는 외부 장치일 수 있다. 또 다른 일 예로, AR 서비스를 제공하는 장치는 상술한 라이브 RGBD 입력 센서부(1000), AR 콘텐츠부(2000), 디스플레이부(3000) 및 AR 실감체험 처리부(100)를 모두 포함하는 장치일 수 있으며, 상술한 실시예로 한정되지 않는다.

또한, 일 예로, 제 1 대상은 상술한 체험자일 수 있다. 즉, 상술한 바와 같이, 라이브 RGBD 센서부(1000)를 통해 센싱할 수 있는 대상을 지칭할 수 있으며, 상술한 실시예로 한정되지 않는다. 이때, AR 서비스 장치는 제 1 대상(즉, 체험자)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득할 수 있다. 이때, 일 예로, 2D 비디오 영상 정보는 제 1 대상의 RGB 비디오 영상 정보일 수 있다. 또한, 3D 정보는 뎁스 영상 정보 및 스켈레톤 정보 중 적어도 어느 하나 이상을 포함할 수 있다.

다음으로, 제 1 대상에 기초하여 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득할 수 있다. (S720) 이때, 도 1 내지 도 6에서 상술한 바와 같이, AR 콘텐츠는 실제 인물일 수 있다. 또한, AR 콘텐츠는 제공자에 의해 설정되는 콘텐츠일 수 있으며, 실제 인물에 한정되지 않는다. 이때, 일 예로, AR 콘텐츠는 상술한 AR 콘텐츠부(2000)로부터 획득되는 AR 콘텐츠일 수 있다. 이때, AR 콘텐츠는 사전에 획득된 2D/3D AR 콘텐츠에서 입력되는 증강합성 대상이 되는 RGB 비디오 입력과 비디오 입력의 프레임 별 3D 정보를 포함할 수 있다. 즉, 2D 비디오 영상 정보 및 3D 상호 작용 정보를 포함할 수 있다. 이때, 일 예로, 3D 상호 작용 정보는 3D 정보일 수 있다. 즉, 상호 작용만을 위한 정보로 한정되지 않는다.

다음으로, AR 서비스 제공 장치는 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보를 결합할 수 있다. (S730) 도 1 내지 도 6에서 상술한 바와 같이, 제 1 대상에 대한 센서(e.g 라이브 RGBD 입력 센서)와 AR 콘텐츠에 대한 센서(e.g AR 콘텐츠부의 센서)가 다른 경우, 각각의 센서에서 사용되는 좌표계가 다를 수 있다. 이때, 상술한 바와 같이 상술한 좌표계를 동일한 좌표계(e.g. 체험 공간 좌표계)로 변환시킬 필요성이 있다. 즉, 제 1 대상의 3D 공간 정보에 기초하여 AR 콘텐츠의 3D 공간 정보를 변환시킬 필요성이 있다. 일 예로, 3D 공간 정보는 대상의 3D 위치, 자세, 각도, 방향 및 크기 중 적어도 어느 하나 이상에 기초하여 결정되는 정보일 수 있다. 즉, 3D 공간 정보는 대상에 대한 3D 공간 상의 정보를 지칭할 수 있으며, 이는 상술한 바와 같다. 보다 상세하게는, 상술한 바와 같이, 제 1 대상의 위치나 자세, 각도 등과 무관하게 AR 서비스를 제공받도록 하기 위해 제 1 대상의 3D 공간 정보를 결정할 필요성이 있다. 이를 통해, 제 1 대상이 지정된 위치로 이동하지 않더라도, AR 서비스를 제공받을 수 있다. 또한, 일 예로, 상술한 제 1 대상에 대한 정보는 제 1 센서를 통해 획득될 수 있고, AR 콘텐츠에 대한 정보는 제 2 센서에 대한 정보일 수 있다. 일 예로, 제 1 센서 및 제 2 센서는 카메라를 포함할 수 있다. 이때, 제 1 센서 및 제 2 센서는 각각의 대상에 대한 정보를 획득할 때의 정보인 환경 정보가 서로 상이할 수 있다. 이때, 환경 정보는 센서가 대상의 정보를 획득할 때의 위치, 각도, 방향 거리 등에 대한 정보 중 적어도 어느 하나 이상일 수 있다. 일 예로, 카메라의 위치, 각도 카메라와 대상까지의 거리 및 방향 등이 상술한 환경 정보일 수 있으며, 상술한 실시예로 한정되지 않는다.

또한, 일 예로, 제 1 대상에 대한 2D 비디오 영상 정보 및 AR 콘텐츠의 2D 비디오 영상 정보도 변환된 좌표계에 기초하여 결합될 수 있다.

다음으로, AR 서비스 제공 장치는 결합된 2D 비디오 영상을 출력할 수 있다. (S740) 이때, 도 1 내지 도 6에서 상술한 바와 같이, AR 서비스 제공 장치는 결합된 2D 비디오 영상을 디스플레이부(3000)를 통해 출력할 수 있다. 또한, 일 예로, AR 서비스 제공 장치는 2D 비디오 영상과 함께 3D 상호 작용 서비스를 제공할 수 있다. 즉, 좌표계에 기초하여 변환되어 결합된 AR 콘텐츠를 바탕으로 제 1 대상(또는 체험자)에게 AR 콘텐츠와 관련된 3D 상호 작용 서비스를 제공할 수 있다. 이때, 3D 상호 작용 서비스는 제 1 대상과 인접한 위치에서 제공될 수 있으며, 상술한 실시예로 한정되지 않는다. 이를 통해, 제 1 대상은 결합된 2D 비디오 영상에 기초하여 3D 상호 작용 서비스를 제공받을 수 있다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

100 : AR 실감체험 처리부 200 : 라이브 RGBD 처리부
300 : 2D/3D AR 콘텐츠 처리부 400 : 3D 상호 작용 처리부
500 : AR 랜더링 처리부 1000: 라이브 RGBD 입력센서부
2000 : AR 콘텐츠부 3000: 디스플레이부

Claims (19)

1. 증간현실(Augmented Reality, AR) 서비스 제공 방법에 있어서,
   제 1 대상(Object)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득하는 단계;
   상기 제 1 대상에 기초하여 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득하는 단계;
   상기 제 1 대상에 대한 상기 2D 비디오 영상 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보를 결합하는 단계; 및
   상기 결합된 2D 비디오 영상을 출력하는 단계;를 포함하되,
   상기 제 1 대상에 대한 상기 3D 정보 및 상기 2D 비디오 영상 정보에 기초하여 상기 제 1 대상의 3D 공간 정보를 결정하고,
   상기 AR 콘텐츠의 3D 공간 정보를 상기 제 1 대상의 상기 결정된 3D 공간 정보에 따라 조정하고,
   상기 AR 콘텐츠의 상기 2D 비디오 영상 정보는 상기 조정된 AR 콘텐츠의 3D 공간 정보에 기초하여 상기 제 1 대상에 대한 상기 2D 비디오 영상 정보와 결합되는, AR 서비스 제공 방법.
2. 제 1 항에 있어서,
   상기 제 1 대상의 3D 공간 정보는 상기 제 1 대상의 3D 위치, 자세, 각도, 방향, 크기 중 적어도 어느 하나 이상을 포함하고,
   상기 AR 콘텐츠의 3D 공간 정보는 상기 AR 콘텐츠의 3D 위치, 자세, 각도, 방향, 크기 중 적어도 어느 하나 이상을 포함하는, AR 서비스 제공 방법.
3. 제 2 항에 있어서,
   상기 제 1 대상에 대한 정보를 획득하는 제 1 센서의 환경 정보와 상기 AR 콘텐츠에 대한 정보를 획득하는 제 2 센서의 환경 정보가 서로 상이한 경우, 상기 AR 콘텐츠의 3D 공간 정보를 상기 제 1 대상의 상기 결정된 3D 공간 정보에 따라 조정하는, AR 서비스 제공 방법.
4. 제 3 항에 있어서,
   상기 제 1 센서의 상기 환경 정보는 상기 제 1 센서가 상기 제 1 대상에 대한 정보를 획득할 때의 위치, 각도, 방향 및 거리 정보 중 적어도 어느 하나 이상을 포함하고,
   상기 제 2 센서의 상기 환경 정보는 상기 제 2 센서가 상기 AR 콘텐츠에 대한 정보를 획득할 때의 위치, 각도, 방향 및 거리 정보 중 적어도 어느 하나 이상을 포함하는, AR 서비스 제공 방법.
5. 제 1 항에 있어서,
   상기 AR 콘텐츠의 상기 3D 상호 작용 정보에 기초하여 상기 제 1 대상에 대한 3D 상호 작용 서비스를 제공하는, AR 서비스 제공 방법.
6. 제 5항에 있어서,
   상기 3D 상호 작용 서비스는 상기 결합된 2D 비디오 영상과 연동되어 제공되는 서비스인, AR 서비스 제공 방법.
7. 제 1 항에 있어서,
   상기 제 1 대상에 대한 상기 3D 정보는 뎁스(Depth) 영상 및 스켈레톤(Skeleton) 정보 중 적어도 어느 하나 이상에 기초하여 획득되는 정보인, AR 서비스 제공 방법.
8. 제 3 항에 있어서,
   상기 제 1 센서 및 상기 제 2 센서가 서로 다른 센서인 경우, 상기 제 1 대상의 상기 3D 정보 및 상기 2D 비디오 영상 정보는 제 1 좌표계에 기초하여 획득되고,
   상기 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보는 제 2 좌표계에 기초하여 획득되는, AR 서비스 제공 방법.
9. 제 8 항에 있어서,
   상기 제 1 좌표계 및 상기 제 2 좌표계는 동일한 제 3 좌표계로 변환되고, 상기 제 1 대상의 상기 3D 공간 정보 및 상기 AR 콘텐츠의 상기 3D 공간 정보는 상기 제 3 좌표계에 기초하여 결정되는, AR 서비스 제공 방법.
10. 제 1 항에 있어서,
    상기 제 1 대상의 상기 3D 공간 정보에 기초하여 조정선을 생성하고,
    상기 생성된 조정선에 기초하여 상기 AR 콘텐츠의 상기 3D 공간 정보가 상기 제 1 대상의 상기 3D 공간 정보에 따라 조정되는, AR 서비스 제공 방법.
11. 제 10 항에 있어서,
    상기 제 1 대상의 상기 3D 공간 정보가 업데이트되는 경우, 상기 AR 콘텐츠의 상기 3D 공간 정보는 상기 제 1 대상의 상기 업데이트된 3D 공간 정보에 기초하여 자동으로 업데이트되는, AR 서비스 제공 방법.
12. 제 1 항에 있어서,
    상기 제 1 대상에 대한 상기 2D 비디오 영상 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보를 결합하는 단계;는 상기 제 1 대상에 대한 상기 2D 비디오 영상 정보의 깊이 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보의 깊이 정보에 기초하여 증강합성되는 단계;를 포함하는, AR 서비스 제공 방법.
13. 제 12 항에 있어서,
    상기 제 1 대상에 대한 상기 2D 비디오 영상 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보는 상호 가림(Occlusion) 및 가시성(Visibility)를 고려하여 증강합성되는, AR 서비스 제공 방법.
14. 제 1 항에 있어서,
    상기 결합된 2D 비디오 영상은 HMD(Head Mounted Display)를 통해 디스플레이되는, AR 서비스 제공 방법.
15. 증간현실(Augmented Reality, AR) 서비스를 제공하는 장치에 있어서,
    라이브 RGBD 처리부;
    AR 콘텐츠 처리부;
    3D 상호작용 처리부; 및
    AR 렌더링 처리부;를 포함하되,
    상기 라이브 RGBD 처리부를 통해 제 1 대상(Object)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득하되,
    상기 제 1 대상에 대한 상기 3D 정보 및 상기 2D 비디오 영상 정보에 기초하여 상기 제 1 대상의 3D 공간 정보가 결정되고,
    상기 AR 콘텐츠 처리부를 통해 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득하되,
    상기 AR 콘텐츠의 3D 공간 정보를 상기 제 1 대상의 상기 결정된 3D 공간 정보에 따라 조정하고,
    상기 AR 렌더링 처리부를 통해 상기 제 1 대상에 대한 상기 2D 비디오 영상 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보를 결합하되,
    상기 AR 콘텐츠의 상기 2D 비디오 영상 정보는 상기 조정된 AR 콘텐츠의 3D 공간 정보에 기초하여 상기 제 1 대상에 대한 상기 2D 비디오 영상 정보와 결합되는, AR 서비스 제공 장치.
16. 제 15 항에 있어서,
    상기 라이브 RGBD 처리부는 상기 제 1 대상(Object)에 대한 상기 3D 정보 및 상기 2D 비디오 영상 정보를 라이브 RGBD 입력 센서로부터 획득하고,
    상기 AR 콘텐츠 처리부는 AR 콘텐츠부로부터 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보 및 상기 3D 상호 작용 정보를 획득하고,
    상기 제 1 대상에 대한 상기 2D 비디오 영상 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보를 결합한 2D 비디오 영상 정보는 디스플레이부를 통해 출력되는, AR 서비스 제공 장치.
17. 제 16 항에 있어서,
    상기 라이브 RGBD 입력 센서 및 상기 AR 콘텐츠부가 서로 다른 센서를 사용하는 경우, 상기 제 1 대상의 상기 3D 정보 및 상기 2D 비디오 영상 정보는 상기 라이브 RGBD 입력 센서 좌표계에 기초하여 획득되고,
    상기 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보는 상기 AR 콘텐츠부 좌표계에 기초하여 획득되는, AR 서비스 제공 장치.
18. 제 17 항에 있어서,
    상기 라이브 RGBD 입력 센서 좌표계 및 상기 AR 콘텐츠부 좌표계는 동일한 체험공간 좌표계로 변환되고,
    상기 체험공간 좌표계에 기초하여 상기 AR 콘텐츠의 상기 3D 공간 정보가 상기 제 1 대상의 상기 3D 공간 정보에 기초하여 조정되는, AR 서비스 제공 장치.
19. 증간현실(Augmented Reality, AR) 서비스를 제공하는 장치에 있어서,
    라이브 RGBD 입력센서부;
    AR 콘텐츠부;
    AR 실감체험 처리부; 및
    디스플레이부;를 포함하되,
    상기 AR 실감체험 처리부는 상기 라이브 RGBD 입력센서부로부터 제 1 대상(Object)에 대한 3D 정보 및 2D 비디오 영상 정보를 획득하되,
    상기 제 1 대상에 대한 상기 3D 정보 및 상기 2D 비디오 영상 정보에 기초하여 상기 제 1 대상의 3D 공간 정보가 결정되고,
    상기 AR 실감체험 처리부는 상기 AR 콘텐츠부로부터 AR 콘텐츠의 2D 비디오 영상 정보 및 3D 상호 작용 정보를 획득하되,
    상기 AR 콘텐츠의 3D 공간 정보를 상기 제 1 대상의 상기 결정된 3D 공간 정보에 따라 조정하고,
    상기 AR 실감체험 처리부는 상기 제 1 대상에 대한 상기 2D 비디오 영상 정보 및 상기 AR 콘텐츠의 상기 2D 비디오 영상 정보를 결합하되,
    상기 AR 콘텐츠의 상기 2D 비디오 영상 정보는 상기 조정된 AR 콘텐츠의 3D 공간 정보에 기초하여 상기 제 1 대상에 대한 상기 2D 비디오 영상 정보와 결합되고,
    상기 디스플레이부는 상기 결합된 2D 비디오 영상 정보를 출력하는, AR 서비스 제공 장치.

Images