KR20200001237A - 증강 현실 제공 시스템 및 이를 이용한 증강 현실 서비스 제공 방법 - Google Patents

Abstract

증강 현실 제공 시스템 및 이를 이용한 증강 현실 서비스의 제공 방법이 제공된다. 증강 현실 서비스의 제공 방법은, 하나 이상의 트리거를 인식하고, 증강 현실 기기에 가상의 오브젝트가 디스플레이되는 증강 현실 서비스를 제공하는 방법으로서, 상기 증강 현실 기기로부터 좌표 마커 데이터를 포함하는 마커 데이터를 수신하는 단계; 상기 좌표 마커 데이터를 기초로 하여, 사용자의 위치 데이터를 생성하는 단계로서, 상기 트리거 중 어느 하나와 상기 사용자 간의 상대적 위치에 관한 데이터를 생성하는 단계; 상기 좌표 마커 데이터 및 상기 사용자의 위치 데이터를 기초로 하여, 매칭 포인트를 생성하는 단계; 및 상기 매칭 포인트를 기초로 하여, 스토리지에 미리 저장된 상기 가상의 오브젝트를 출력하는 단계를 포함한다.

Description

증강 현실 제공 시스템 및 이를 이용한 증강 현실 서비스 제공 방법{SYSTEM FOR PROVIDING AUGMENTED REALITY AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE USING THE SAME}

본 발명은 증강 현실 제공 시스템 및 이를 이용한 증강 현실 서비스 제공 방법에 관한 것이다.

최근 영상 정보 기기의 비약적 발전과 함께 가상 현실(virtual reality, VR) 및 증강 현실(augmented reality, AR) 기술이 주목받고 있다. 증강 현실 기술은 현실 세계의 정보를 바탕으로 사용자에게 필요한 정보를 증강 제공하는 기술을 의미한다. 증강 현실 기술의 대표적인 예로서, 사용자가 실제 존재하고 있는 현실 공간에 관한 시각 정보와 함께 가상의 오브젝트 정보를 겹쳐서 디스플레이하는 시뮬레이션 기술을 들 수 있다.

증강 현실 기술은 현실 세계의 정보와 가상의 이미지 정보를 조합하여 사용자로 하여금 현실 공간과 가상의 오브젝트를 일체화된 시각 정보로 인식하게 함으로써 사용자에게 높은 몰입감을 제공하고 실시간 상호작용이 가능하게 할 수 있다.

또한 인공 지능, 사물 인터넷, 빅데이터 등의 첨단 정보통신기술이 산업과 서비스에 융합되어 온라인과 오프라인 간의 경계가 허물어지는 차세대 산업혁명과 맞물려 증강 현실 기술은 산업 분야 뿐만 아니라 교육, 여가/취미 생활과 같은 일상 생활 전반에 걸친 다양한 활용이 기대된다.

앞서 설명한 것과 같이 증강 현실 기술은 일상 생활 전반에 걸친 다양한 분야로의 적용이 기대된다. 예를 들어, 증강 현실 기술은 그림 감상 등의 여가/취미 생활 분야에 활용될 수 있다. 기존의 그림 감상은 점, 선, 면 또는 색채의 형상과 배열 등에 관한 2차원적인 이미지를 시각적으로 인지하고, 관람자가 그림에서 느껴지는 공간 감각을 느끼는 것에 불과하였다.

증강 현실 기술을 그림 감상 등에 적용할 경우 3차원적인 가상의 오브젝트 이미지를 디스플레이함으로써 평면에서 표현된 그림을 보다 직관적으로 인지할 수 있을 뿐만 아니라 2차원적 이미지이기 때문에 그 표현에 한계가 있었던 오브젝트의 디테일까지도 관람자가 파악할 수 있어 작품의 이해도를 높일 수 있고 본래 그림 감상의 목적에 더욱 충실할 수 있다.

이에 본 발명이 해결하고자 하는 과제는 2차원적으로 표현된 그림 등의 작품을 감상함에 있어서 작품을 보다 직관적으로 인지하고 작품의 이해도를 높일 수 있는 증강 현실 서비스의 제공 방법을 제공하는 것이다.

또, 본 발명이 해결하고자 하는 다른 과제는 2차원적으로 표현된 그림 등의 작품을 감상함에 있어서 작품을 보다 직관적으로 인지하고 작품의 이해도를 높일 수 있는 증강 현실 제공 시스템을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 서비스의 제공 방법은, 하나 이상의 트리거를 인식하고, 증강 현실 기기에 가상의 오브젝트가 디스플레이되는 증강 현실 서비스를 제공하는 방법으로서, 상기 증강 현실 기기로부터 좌표 마커 데이터를 포함하는 마커 데이터를 수신하는 단계; 상기 좌표 마커 데이터를 기초로 하여, 사용자의 위치 데이터를 생성하는 단계로서, 상기 트리거 중 어느 하나와 상기 사용자 간의 상대적 위치에 관한 데이터를 생성하는 단계; 상기 좌표 마커 데이터 및 상기 사용자의 위치 데이터를 기초로 하여, 매칭 포인트를 생성하는 단계; 및 상기 매칭 포인트를 기초로 하여, 스토리지에 미리 저장된 상기 가상의 오브젝트를 출력하는 단계를 포함한다.

상기 좌표 마커 데이터는, 상기 사용자가 위치하는 공간의 복수의 좌표 마커를 포함하는 상기 트리거로부터 추출될 수 있다.

또, 상기 마커 데이터는 콘텐츠 마커 데이터를 더 포함하고, 상기 콘텐츠 마커 데이터는, 상기 사용자가 위치하는 공간의 콘텐츠 마커를 포함하는 상기 트리거로부터 추출될 수 있다.

또한, 오브젝트 데이터 생성부는 상기 스토리지에 미리 저장된 오브젝트 데이터 중에서, 상기 콘텐츠 마커 데이터와 매칭되는 오브젝트 데이터를 생성할 수 있다.

상기 미리 저장된 오브젝트 데이터는, 상기 콘텐츠 마커의 제1 방향으로의 제1 길이, 상기 콘텐츠 마커의 상기 제1 방향과 교차하는 제2 방향으로의 제2 길이, 상기 가상의 오브젝트의 3차원 이미지, 및 오브젝트 포인트 중 하나 이상을 포함할 수 있다.

상기 가상의 오브젝트를 출력하는 단계는, 복수의 상기 오브젝트 포인트와, 복수의 상기 매칭 포인트를 일대일 매칭시켜 상기 가상의 오브젝트를 출력하는 단계를 포함할 수 있다.

또, 상기 오브젝트 포인트의 개수와 상기 매칭 포인트의 개수는 동일할 수 있다.

또, 상기 좌표 마커 데이터는, 서로 상이한 좌표를 갖는 복수의 좌표 마커 데이터를 포함할 수 있다.

상기 사용자의 위치 데이터를 생성하는 단계는, 상기 복수의 좌표 마커 데이터 간의 이격 거리들, 또는 상기 복수의 좌표 마커 데이터 간을 잇는 가상의 선분들 간의 사이각들을 기초로 하여, 사용자의 위치 데이터를 생성하는 단계일 수 있다.

또, 상기 사용자의 위치 데이터를 생성하는 단계는, 상기 제1 길이 및 상기 제2 길이를 더욱 기초로 하여, 상기 사용자의 위치 데이터를 생성하는 단계일 수 있다.

상기 매칭 포인트를 생성하는 단계는, 상기 오브젝트 포인트를 더욱 기초로 하여 상기 매칭 포인트를 생성하는 단계일 수 있다.

또, 상기 매칭 포인트는 3개 이상일 수 있다.

또한, 상기 좌표 마커 데이터는, 서로 상이한 좌표를 갖는 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터로 이루어질 수 있다.

나아가, 상기 복수의 매칭 포인트 중 적어도 하나는, 상기 제1 좌표 마커 데이터와 상기 제2 좌표 마커 데이터를 잇는 가상의 제1 선분, 상기 제2 좌표 마커 데이터와 상기 제3 좌표 마커 데이터를 잇는 가상의 제2 선분, 상기 제3 좌표 마커 데이터와 상기 제4 좌표 마커 데이터를 잇는 가상의 제3 선분, 및 상기 제4 좌표 마커 데이터와 상기 제1 좌표 마커 데이터를 잇는 가상의 제4 선분이 형성하는 사각형 내에 위치할 수 있다.

상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 제공 시스템은, 트리거로부터 추출된 콘텐츠 마커 데이터 및 좌표 마커 데이터를 포함하는 마커 데이터를 수신하는 수신부; 상기 콘텐츠 마커 데이터와 매칭되는 오브젝트 데이터로서, 상기 콘텐츠 마커의 제1 방향으로의 제1 길이, 상기 콘텐츠 마커의 상기 제1 방향과 교차하는 제2 방향으로의 제2 길이, 가상의 오브젝트의 3차원 이미지, 및 오브젝트 포인트 중 하나 이상을 포함하는 상기 오브젝트 데이터를 생성하는 오브젝트 데이터 생성부; 상기 좌표 마커 데이터를 기초로 하여, 상기 트리거 중 어느 하나와 사용자 간의 상대적인 위치에 관한 사용자 위치 데이터를 생성하는, 사용자 위치 데이터 생성부; 상기 좌표 마커 데이터 및 상기 사용자 위치 데이터를 기초로 하여 매칭 포인트를 생성하는 매칭 포인트 생성부; 및 상기 오브젝트 포인트와 상기 매칭 포인트를 일대일 매칭시켜 상기 가상의 오브젝트의 3차원 이미지를 증강 현실 기기로 송신하는 송신부를 포함한다.

기타 실시예의 구체적인 사항들은 상세한 설명에 포함되어 있다.

본 발명의 실시예들에 따르면 평면적으로 표현된 그림 등의 작품을 3차원적인 가상의 오브젝트 이미지로 디스플레이함으로써 작품을 보다 직관적으로 인지할 수 있을 뿐만 아니라, 2차원적 이미지이기 때문에 표현에 한계가 있었던 오브젝트의 디테일까지도 관람자가 파악할 수 있어 작품의 이해도를 높일 수 있다.

본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템의 구성도이다.
도 2는 도 1의 서비스 서버의 하드웨어 구성도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 서비스의 제공 방법의 시스템 블록도이다.
도 4는 도 3의 사용자의 위치 데이터 생성 단계를 설명하기 위한 시스템 블록도이다.
도 5 및 도 6은 본 발명에 따른 증강 현실 서비스의 제공 방법을 설명하기 위한 하나의 예시도이다.
도 7 및 도 8은 본 발명에 따른 증강 현실 서비스의 제공 방법을 설명하기 위한 다른 예시도이다.
도 9 및 도 10은 본 발명에 따른 증강 현실 서비스의 제공 방법을 설명하기 위한 또 다른 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. 또, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 사용되는 용어 "?부"는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 기술적 및 과학적 용어를 포함하는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명에 대해 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 시스템은 하나 이상의 증강 현실 트리거(20), 증강 현실 기기(10), 네트워크(30) 및 서비스 서버(40)를 포함할 수 있다.

증강 현실 기기(10)는 사용자에게 증강 현실 서비스를 제공하는 이용자 단말일 수 있다. 증강 현실 기기(10)는 네트워크(30)를 통해 서비스 서버(40)로부터 출력 데이터를 제공받아 증강 현실 기술로 구현된 2차원 또는 3차원 이미지를 제공할 수 있다. 증강 현실 기기(10)의 종류는 특별히 제한되지 않으나, 예를 들어 증강 현실 서비스를 위한 어플리케이션을 갖는 전용 단말이거나, 또는 스마트폰, 태블릿 PC 등의 포터블 전자 기기이거나, 또는 헤드마운트디스플레이, 스마트고글, 스마트워치 등의 웨어러블 전자 기기 등일 수 있다.

증강 현실 기기(10)는 이미지 획득부, 프로세서 및 디스플레이부를 포함할 수 있다.

증강 현실 기기(10)의 이미지 획득부는 사용자가 위치하는 현실 세계에서 존재하는 증강 현실 트리거(20)로부터 데이터를 획득할 수 있다. 예를 들어, 이미지 획득부는 트리거(20)의 위치, 배열, 크기, 형상, 색깔 중 하나 이상의 데이터를 획득할 수 있다. 이미지 획득부는 증강 현실 기기(10)의 카메라일 수 있으나 본 발명이 이에 제한되는 것은 아니다.

또, 증강 현실 기기(10)의 디스플레이부는 증강 현실 기기(10)에 의해 출력되는 이미지가 표현될 수 있다. 예를 들어, 디스플레이부는 이미지 획득부에 의해 촬영된 트리거(20)의 이미지 및/또는 서비스 서버(40)로부터 제공받은 증강 현실 오브젝트에 관한 출력 데이터를 표현할 수 있다.

증강 현실 기기(10)의 프로세서는 증강 현실 기기(10) 내의 각 구성의 전반적인 동작을 제어하며, 본 실시예에 따른 방법을 실행하기 위한 적어도 하나의 어플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 예를 들어, 프로세서는 이미지 획득부에 의해 촬영된 트리거(20)를 컴퓨터에 의해 처리 가능한 형태로 변환할 수 있다. 또, 컴퓨터에 의해 처리 가능한 형태로 제공받은 데이터를 사용자가 시각적으로 인식할 수 있는 이미지로 변환할 수 있다. 증강 현실 기기(10)의 프로세서는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 기술분야에서 공지된 임의의 형태의 프로세서를 포함하여 구성될 수 있다.

증강 현실 트리거(20)는 사용자가 존재하는 공간에 위치하는 물리적 오브젝트일 수 있다. 또, 증강 현실 기기(10)의 이미지 획득부에 의해 촬영된 트리거(20)에 의해 본 실시예에 따른 증강 현실 서비스의 제공 방법이 개시될 수 있다. 트리거(20)는 점, 선, 면 또는 색 중 하나 이상으로 구분되는 2차원 데이터를 제공할 수 있다.

예시적인 실시예에서, 트리거(20)는 콘텐츠 마커(21) 및 하나 이상의 좌표 마커들(22a, 22b, 22c, 22d)을 포함할 수 있다.

콘텐츠 마커(21)는 사용자가 증강 현실 기술을 통해 구현하고자 하는 콘텐츠에 관한 정보를 제공할 수 있다. 도 1은 그림 등의 작품이 콘텐츠 마커(21)의 기능을 수행하는 경우를 예시하고 있다. 다만, 본 발명이 이에 제한되는 것은 아니며, 콘텐츠 마커(21)는 점, 선, 면 또는 색 중 하나 이상으로 구분되는 2차원 데이터일 수 있다. 콘텐츠 마커(21)를 통해 증강 현실 기술을 통해 구현되고자 하는 가상의 오브젝트 이미지, 예컨대 3차원적인 오브젝트 이미지를 특정할 수 있다.

또, 좌표 마커(22a, 22b, 22c, 22d)는 사용자가 증강 현실 기술을 통해 구현하고자 하는 콘텐츠의 좌표에 관한 정보를 제공할 수 있다. 도 1 등은 복수의 좌표 마커(22a, 22b, 22c, 22d)가 제1 좌표 마커(22a), 제2 좌표 마커(22b), 제3 좌표 마커(22c) 및 제4 좌표 마커(22d)를 포함하여 네 개의 좌표 마커로 구성된 경우를 예시하고 있으나, 본 발명이 이에 제한되는 것은 아니다. 제1 좌표 마커(22a), 제2 좌표 마커(22b), 제3 좌표 마커(22c) 및 제4 좌표 마커(22d)는 각각 점, 선, 면 또는 색 중 하나 이상으로 구분되는 2차원 데이터를 제공할 수 있다.

네트워크(30)는 증강 현실 기기(10)와 서비스 서버(40) 사이의 데이터를 송수신하기 위한 인프라이다. 네트워크(30)는 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE) 등과 같은 이동 통신망, 이더넷(Ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH) 등과 같은 유선 통신망 또는 와이파이(Wi-Fi), 와이브로(Wibro) 또는 와이맥스(Wimax) 등과 같은 근거리 무선 통신망 중 하나 이상을 포함하여 구성될 수 있다.

이하, 도 2 및 도 3을 더 참조하여 본 실시예에 따른 증강 현실 제공 시스템 및 증강 현실 서비스의 제공 방법에 대해 보다 상세하게 설명한다.

도 2는 도 1의 서비스 서버의 하드웨어 구성도이다. 도 3은 본 발명의 일 실시예에 따른 증강 현실 서비스의 제공 방법의 시스템 블록도이다.

도 2 및 도 3을 더 참조하면, 본 실시예에 따른 서비스 서버(40)는 네트워크 인터페이스(410), 프로세서(420), 스토리지(430) 및 데이터 버스(440)를 포함할 수 있다.

네트워크 인터페이스(410)는 네트워크(30)를 통해 증강 현실 기기(10)와 데이터를 송수신할 수 있다. 네트워크 인터페이스(410)는 앞서 설명한 이동 통신망, 유선 통신망 또는 무선 통신망 등의 통신 방식을 지원할 수 있다. 네트워크 인터페이스(410)는 증강 현실 기기(10)로부터 하나 이상의 데이터를 수신하는 수신부(411) 및 서비스 서버(40) 내에 미리 저장된 액션 데이터 중 어느 하나에 따라 결정된 출력 데이터를 증강 현실 기기(10)로 송신하는 송신부(412)를 포함할 수 있다.

프로세서(420)는 서비스 서버(40) 내의 각 구성의 전반적인 동작을 제어하며, 본 실시예에 따른 방법을 실행하기 위한 적어도 하나의 어플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 프로세서(420)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 기술분야에서 공지된 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 예시적인 실시예에서, 프로세서(420)는 오브젝트 데이터 생성부(421), 사용자 위치 데이터 생성부(422), 및 매칭 포인트 생성부(423)를 포함할 수 있다.

오브젝트 데이터 생성부(421)는 수신된 하나 이상의 마커 데이터, 예컨대 콘텐츠 마커 데이터를 제공받고, 스토리지(430)의 오브젝트 데이터 베이스(431) 내 미리 저장된 오브젝트 데이터 중에서 수신된 콘텐츠 마커 데이터와 매칭되는 오브젝트 데이터를 생성할 수 있다. 즉, 오브젝트 데이터 생성부(421)는 사용자가 증강 현실 기술을 통해 구현하고자 하는 콘텐츠인 오브젝트 데이터를 생성할 수 있다.

사용자 위치 데이터 생성부(422)는 수신된 하나 이상의 마커 데이터, 예컨대 좌표 마커 데이터를 제공받고, 이를 기초로 하여 사용자의 위치 정보에 관한 데이터를 생성할 수 있다. 또, 몇몇 실시예에서 사용자 위치 데이터 생성부(422)는 오브젝트 데이터 생성부(421)로부터 오브젝트 데이터 중 적어도 일부를 제공받고, 이를 기초로 하여 사용자의 위치 정보에 관한 데이터를 생성할 수 있다.

또, 매칭 포인트 생성부(423)는 오브젝트 데이터 생성부(421)로부터 제공받은 오브젝트 데이터, 사용자 위치 데이터 생성부(422)로부터 제공받은 사용자 위치 데이터 및/또는 좌표 마커 데이터 중 하나 이상을 기초로 하여 매칭 포인트를 생성할 수 있다. 사용자가 증강 현실 기술을 통해 구현하고자 하는 콘텐츠를 상기 매칭 포인트에 맞추어 출력함으로써 사용자는 정해진 위치에 고정된 형태의 가상의 3차원 오브젝트 이미지를 시각적으로 인지할 수 있다.

스토리지(430)는 서비스 서버(40) 내 미리 저장된 데이터를 저장할 수 있다. 스토리지(430)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 기술분야에서 공지된 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다. 또, 스토리지(430)에는 프로세서(420)에 의해 구현되는 프로그램 또는 어플리케이션을 실행시키기 위한 프로그래밍 인터페이스 파일, 라이브러리 파일, 리소스 파일 등이 저장될 수도 있다.

예시적인 실시예에서, 스토리지(430)는 오브젝트 데이터 베이스(431)를 포함할 수 있다. 오브젝트 데이터 베이스(431)에는 미리 설정된 복수의 데이터들이 저장될 수 있다. 미리 저장된 데이터들의 예로는, 오브젝트의 기초 데이터, 오브젝트의 3차원 이미지 데이터, 및 오브젝트의 포인트 데이터 등을 들 수 있다. 오브젝트의 기초 데이터, 오브젝트의 3차원 이미지 데이터 및 오브젝트의 포인트 데이터에 대해서는 후술한다.

데이터 버스(440)는 전술한 네트워크 인터페이스(410), 프로세서(420) 및 스토리지(430)의 각 구성요소들 간의 데이터를 전달하는 이동 통로일 수 있다.

이하, 본 실시예에 따른 증강 현실 제공 시스템을 이용한 증강 현실 서비스의 제공 방법에 대하여 상세하게 설명한다.

우선, 사용자는 증강 현실 기기(10)를 이용하여 현실 공간에 존재하는 물리적 오브젝트에 관한 정보를 획득할 수 있다. 예를 들어, 증강 현실 기기(10)의 이미지 획득부는 증강 현실 트리거(20)를 촬영하고, 증강 현실 기기(10)의 프로세서는 촬영된 트리거(20)를 미리 정해진 형태의 컴퓨터로 처리 가능한 데이터로 변환할 수 있다. 예시적인 실시예에서, 증강 현실 기기(10)는 콘텐츠 마커(21) 및 하나 이상의 좌표 마커(22a, 22b, 22c, 22d)를 포함하는 트리거(20)를 촬영하고, 콘텐츠 마커(21)로부터 콘텐츠 마커 데이터를 추출할 수 있다. 또, 증강 현실 기기(10)는 제1 좌표 마커(22a)로부터 제1 좌표 마커 데이터를 추출하고, 제2 좌표 마커(22b)로부터 제2 좌표 마커 데이터를 추출하며, 제3 좌표 마커(22c)로부터 제3 좌표 마커 데이터를 추출하고, 제4 좌표 마커(22d)로부터 제4 좌표 마커 데이터를 추출할 수 있다.

한편, 증강 현실 기기(10)의 이미지 획득부로부터 촬영된 물리적 오브젝트에 관한 시각 정보, 즉 트리거(20)의 시각적 이미지, 및 트리거(20)의 공간 배경에 관한 정보는 증강 현실 기기(10)의 디스플레이부로 전달되어 사용자가에게 시각적으로 인식될 수 있다. 증강 현실 기기(10)의 디스플레이부를 통해 디스플레이되는 현실 정보, 즉 트리거(20) 및 트리거(20)가 존재하는 현실 공간 배경의 위치, 배열, 크기, 형상 등을 통해 사용자는 현실 공간에 관한 시각 정보를 제공받을 수 있다.

서비스 서버(40)의 네트워크 인터페이스(410)의 수신부(411)는 증강 현실 기기(10)로부터 하나 이상의 데이터를 수신할 수 있다. 예를 들어, 수신부(411)는 네트워크(30)를 통해 콘텐츠 마커 데이터를 수신할 수 있다(S100). 상술한 바와 같이, 수신부(411)가 제공받은 콘텐츠 마커 데이터는 트리거(20)의 콘텐츠 마커(21)로부터 추출된 것일 수 있다.

이어서, 서비스 서버(40)의 프로세서(420)의 오브젝트 데이터 생성부(421)는 수신부(411)를 통해 수신된 콘텐츠 마커 데이터를 기초로 하여 오브젝트 데이터를 생성할 수 있다(S200). 예시적인 실시예에서, 오브젝트 데이터 생성부(421)는 스토리지(430)에 미리 저장된 오브젝트 데이터들 중에서, 상기 콘텐츠 마커 데이터와 매칭되는 오브젝트 데이터를 생성할 수 있다.

스토리지(430)에 저장된 오브젝트 데이터는 오브젝트의 기초 데이터, 오브젝트의 3차원 이미지 데이터 및 오브젝트의 포인트 데이터 중 하나 이상을 포함할 수 있다.

상기 오브젝트의 기초 데이터는 사용자가 위치하는 현실 공간에서 시각적으로 인지되는 콘텐츠 마커(21), 예컨대 그림 등의 작품의 크기 또는 그 외 시각적으로 확인될 수 있는 특징적인 요소에 관한 정보를 포함할 수 있다. 예를 들어, 오브젝트의 기초 데이터는 콘텐츠 마커(21)의 가로 방향(예컨대, 제1 방향)으로의 가로 길이(예컨대, 제1 길이) 및/또는 콘텐츠 마커(21)의 세로 방향(예컨대, 제2 방향)으로의 세로 길이(예컨대, 제2 길이)를 포함할 수 있다. 콘텐츠 마커(21)의 상기 가로 길이는 제1 좌표 마커(22a)와 제2 좌표 마커(22b) 간의 이격 거리, 또는 제3 좌표 마커(22c)와 제4 좌표 마커(22d) 간의 이격 거리와 동일하고, 콘텐츠 마커(21)의 상기 세로 길이는 제2 좌표 마커(22b)와 제3 좌표 마커(22c) 간의 이격 거리, 또는 제4 좌표 마커(22d)와 제1 좌표 마커(22a) 간의 이격 거리와 동일할 수 있으나 본 발명이 이에 제한되는 것은 아니다.

또, 상기 오브젝트의 3차원 이미지 데이터는 사용자가 증강 현실 기술을 통해 구현하고자 하는 3차원적인 오브젝트 이미지에 관한 정보를 포함할 수 있다. 예를 들어, 오브젝트의 3차원 이미지 데이터는 미리 모델링 및 렌더링된 오브젝트 데이터를 의미할 수 있다.

상기 오브젝트의 포인트 데이터는 해당 오브젝트의 3차원 이미지 데이터 내에서 미리 설정된 가상의 포인트에 관한 정보를 포함할 수 있다. 오브젝트의 포인트 데이터에 대해서는 상세하게 후술한다.

한편, 서비스 서버(40)의 네트워크 인터페이스(410)의 수신부(411)는 증강 현실 기기(10)로부터 하나 이상의 데이터를 수신할 수 있다. 예를 들어, 수신부(411)는 네트워크(30)를 통해 좌표 마커 데이터를 수신할 수 있다(S300). 상술한 바와 같이, 수신부(411)가 제공받은 좌표 마커 데이터는 트리거(20)의 좌표 마커들(22a, 22b, 22c, 22d)로부터 추출된 것일 수 있다. 좌표 마커 데이터를 수신하는 단계(S300)와 전술한 콘텐츠 마커 데이터를 수신하는 단계(S100)는 동시에 이루어지거나, 또는 어느 하나가 선행되고 나머지 하나가 후행될 수 있다.

좌표 마커 데이터는 증강 현실 기기(10)의 디스플레이부를 통해 디스플레이되는 화면에서의 평면상 좌표에 관한 정보를 포함할 수 있다. 복수의 좌표 마커 데이터들은 서로 상이한 좌표를 가질 수 있다. 예를 들어, 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터는 모두 동일한 평면 내에 위치하되, 각각 서로 다른 좌표를 갖는 특정한 좌표를 지정할 수 있다.

이어서, 서비스 서버(40)의 프로세서(420)의 사용자 위치 데이터 생성부(422)는 수신부(411)를 통해 수신된 좌표 마커 데이터를 기초로 하여 사용자의 위치 데이터를 생성할 수 있다(S400). 사용자의 위치 데이터는 트리거(20) 중 어느 하나와 사용자(또는 증강 현실 기기(10)) 간의 상대적 위치에 관한 데이터를 포함할 수 있다.

이하, 도 4를 더 참조하여 본 실시예에 따른 증강 현실 서비스의 제공 방법의 사용자의 위치 데이터를 생성하는 방법에 대해 더욱 상세하게 설명한다. 도 4는 도 3의 사용자의 위치 데이터 생성 단계를 설명하기 위한 시스템 블록도이다.

도 4를 더 참조하면, 사용자의 위치 정보 데이터를 생성하는 단계(S400)는 트리거(20)와 사용자의 거리 데이터를 산출하는 단계(S410) 및 트리거(20)의 위치를 기준으로, 사용자의 좌우 각도 데이터 및 사용자의 상하 각도 데이터를 산출하는 단계(S420)를 포함할 수 있다.

앞서 설명한 것과 같이 좌표 마커 데이터는 증강 현실 기기(10)의 디스플레이부를 통해 디스플레이되는 화면에서의 평면상 좌표에 관한 정보를 포함할 수 있다. 따라서 고정된 좌표 마커들(22a, 22b, 22c, 22d)을 촬영하는 경우에도 사용자의 위치, 즉 증강 현실 기기(10)의 위치에 따라 좌표 마커 데이터들은 변화할 수 있다. 예를 들어, 고정된 트리거(20)의 우측편으로부터 트리거(20)를 촬영하는 경우와, 트리거(20)의 좌측편으로부터 트리거(20)를 촬영하는 경우의 좌표 마커 데이터는 상이할 수 있다. 비제한적인 일례로서, 복수의 좌표 마커 데이터들이 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터로 이루어진 경우에, 제1 좌표 마커 데이터와 제2 좌표 마커 데이터를 잇는 가상의 제1 선분, 제2 좌표 마커 데이터와 제3 좌표 마커 데이터를 잇는 가상의 제2 선분, 제3 좌표 마커 데이터와 제4 좌표 마커 데이터를 잇는 가상의 제3 선분 및 제4 좌표 마커 데이터와 제1 좌표 마커 데이터를 잇는 가상의 제4 선분이 형성하는 사각형의 형상은 계속해서 변화할 수 있다. 본 실시예에 따른 증강 현실 제공 시스템 및 증강 현실 서비스의 제공 방법은 좌표 마커 데이터를 바탕으로 사용자의 위치 정보를 역으로 연산할 수 있다.

예시적인 실시예에서, 사용자의 거리 데이터를 산출하는 단계(S410)는 오브젝트의 기초 데이터와 좌표 마커 데이터들을 기초로 하여 산출될 수 있다. 본 단계(S410)에서 연산의 기초가 되는 오브젝트의 기초 데이터는 전술한 콘텐츠 마커(21)의 가로 길이 및/또는 세로 길이를 포함할 수 있다. 또, 본 단계(S410)에서 연산의 기초가 되는 좌표 마커 데이터는 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터들 간의 이격 거리들 중 하나 이상을 포함할 수 있다. 사용자가 위치하는 현실 공간에서의 콘텐츠 마커(21)의 길이와 좌표 마커 데이터들로부터 산출되는 마커들 간의 이격 거리의 비율로부터 트리거(20)와 사용자 간의 거리 데이터를 산출할 수 있다.

또, 사용자의 좌우 각도 데이터 및 사용자의 상하 각도 데이터를 산출하는 단계(S420)는 좌표 마커 데이터들을 기초로 하여 산출될 수 있다. 본 단계(S420)에서 연산의 기초가 되는 좌표 마커 데이터는 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터들 간의 이격 거리들, 또는 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터들 사이를 잇는 가상의 선분들 간의 사이각을 포함할 수 있다.

오브젝트 데이터를 생성하고(S200), 사용자의 위치 데이터를 생성(S400)한 후, 서비스 서버(40)의 프로세서(420)의 매칭 포인트 생성부(423)는 좌표 마커 데이터 및 사용자의 위치 데이터를 기초로 하여 매칭 포인트를 생성할 수 있다(S500).

매칭 포인트는 사용자가 증강 현실 기술을 통해 구현하고자 하는 가상의 오브젝트의 좌표에 관한 정보를 포함할 수 있다. 예시적인 실시예에서, 매칭 포인트는 좌표 마커 데이터 및 사용자의 위치 데이터를 기초로 하여 생성될 수 있다. 앞서 설명한 것과 같이, 사용자의 위치에 따라 서비스 서버(40)가 제공 받는 좌표 마커 데이터는 상이할 수 있다. 따라서 좌표 마커 데이터 자체 및 그로부터 산출된 사용자의 위치 데이터를 바탕으로 가상의 3차원 이미지 오브젝트를 표시하고자 하는 좌표를 더욱 생성할 수 있다.

몇몇 실시예에서, 매칭 포인트는 서비스 서버(40)의 오브젝트 데이터 베이스(431)에 미리 저장된 오브젝트의 포인트 데이터를 더욱 기초로 하여 생성될 수 있다. 전술한 바와 같이 오브젝트의 포인트 데이터는 콘텐츠 마커(21)에 따라 매칭될 수 있으며, 매칭된 그 오브젝트의 포인트 데이터는 증강 현실 기술을 통해 구현하고자 하는 오브젝트의 종류에 따라 고유의 특정한 점에 관한 정보를 포함할 수 있다.

비제한적인 일례로, 오브젝트 포인트 데이터가 세 개의 점으로 이루어지고, 각 점들 간의 상대적인 위치가 특정한 관계로 미리 설정되어 있을 경우, 매칭 포인트를 생성하는 단계(S500)에서 매칭 포인트는 좌표 마커 데이터 및 사용자의 위치 데이터에 더하여, 세 개의 점으로 이루어지고 서로 간의 위치가 특정된 오브젝트의 포인트 데이터를 고려하여 하여 생성될 수 있다. 매칭 포인트를 좌표 마커 데이터 및 사용자의 위치 데이터 뿐만 아니라, 오브젝트의 포인트 데이터를 더욱 기초로 함으로써 증강 현실 기기(10)의 디스플레이부를 통해 표시되는 3차원적인 가상의 오브젝트의 디스플레이 안정성을 더욱 높일 수 있을 뿐만 아니라, 사용자의 움직임이 매우 빠른 경우에도 3차원 가상의 오브젝트는 그 고유의 위치가 고정된 상태를 유지할 수 있다.

또, 오브젝트의 포인트 데이터 및 매칭 포인트는 각각 세 개 이상의 위치에 관한 데이터를 포함할 수 있다. 예를 들어, 세 개 이상의 매칭 포인트는 세 개 이상의 오브젝트 포인트 데이터와 각각 대응될 수 있다. 매칭 포인트를 세 개 이상으로 설정함으로써 사용자의 움직임이 매우 빠른 경우에도, 3차원 오브젝트 이미지의 측방향 회전(lateral rotation), 수직방향 회전(vertical rotation) 및 종방향 회전(longitudinal rotation)을 미연에 방지할 수 있다.

또한, 복수의 매칭 포인트 중 적어도 하나는 복수의 좌표 마커 데이터들이 형성하는 다각형 내의 임의의 좌표를 특정할 수 있다. 비제한적인 일례로서, 좌표 마커 데이터가 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터를 포함하는 네 개의 좌표 마커 데이터로 이루어진 경우, 매칭 포인트 중 적어도 하나는 상기 제1 좌표 마커 데이터와 상기 제2 좌표 마커 데이터를 잇는 가상의 제1 선분, 상기 제2 좌표 마커 데이터와 상기 제3 좌표 마커 데이터를 잇는 가상의 제2 선분, 상기 제3 좌표 마커 데이터와 상기 제4 좌표 마커 데이터를 잇는 가상의 제3 선분, 및 상기 제4 좌표 마커 데이터와 상기 제1 좌표 마커 데이터를 잇는 가상의 제4 선분이 형성하는 사각형 내에 위치할 수 있다. 매칭 포인트 중 적어도 하나를 상기 사각형 내에 위치하도록 함으로써 증강 현실 기술을 통해 구현되는 가상의 3차원 이미지 오브젝트가 전혀 엉뚱한 위치에서 디스플레이되는 것을 방지할 수 있다.

이어서, 서비스 서버(40)는 매칭 포인트와 오브젝트 포인트를 일치시켜 출력 데이터를 생성하고, 서비스 서버(40)의 네트워크 인터페이스(410)의 송신부(412)는 생성된 출력 데이터를 네트워크(30)를 통해 증강 현실 기기(10)로 송신할 수 있다(S600).

예시적인 실시예에서, 매칭 포인트에 오브젝트 포인트를 일치시켜 가상의 오브젝트를 출력하는 단계는, 복수의 매칭 포인트를 복수의 오브젝트 포인트에 일대일 매칭시켜 가상의 오브젝트를 출력하는 단계를 포함할 수 있다. 즉, 매칭 포인트의 개수는 오브젝트 포인트의 개수와 동일할 수 있다.

서비스 서버(40)로부터 제공된 출력 데이터에 관한 정보는 증강 현실 기기(10)의 디스플레이부에서 디스플레이되어 사용자에게 시각적으로 인식될 수 있다. 예를 들어, 송신부(412)는 상기 출력 데이터가 트리거(20) 중 어느 하나와 중첩되어 디스플레이되도록 송신할 수 있다. 몇몇 실시예에서, 증강 현실 기기(10)의 디스플레이부에서 표시되는 트리거(20)는 출력 데이터에 의해 가려져 디스플레이되지 않거나, 또는 투명한 오브젝트를 통해 투영된 상태로 디스플레이될 수도 있다. 서비스 서버(40)로부터 제공된 가상의 3차원 오브젝트를 사용자가 최초에 촬영한 트리거(20)와 중첩되도록 디스플레이함으로써, 사용자로 하여금 증강 현실 기기(10)로 촬영된 트리거(20)가 가상의 3차원 오브젝트로 변화한 것과 같은 인지 착오를 유도할 수 있다.

또, 증강 현실 기기(10)의 디스플레이부를 통해 디스플레이되는 가상 오브젝트 정보를 통해 사용자는 현실 공간에 관한 정보와 가상의 오브젝트에 관한 정보를 겹쳐서 인식할 수 있고, 이로 인해 사용자는 가상의 오브젝트가 현실 공간에 존재하는 것과 같이 인지할 수 있다.

이하, 본 발명에 따른 증강 현실 제공 시스템 및 증강 현실 서비스의 제공 방법에 대하여 보다 상세하게 설명한다.

도 5는 본 발명에 따라 구현된 증강 현실의 하나의 예시이고, 도 6은 이 경우에 증강 현실의 제공 시스템 및 증강 현실 서비스의 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 5 및 도 6은 증강 현실 기기를 이용하여 트리거를 대략 정면 방향에서 촬영한 경우를 나타낸 예시이다.

도 5 및 도 6을 참조하면, 서비스 서버는 사용자가 위치한 현실 공간의 콘텐츠 마커로부터 콘텐츠 마커 데이터를 수신한다(S101). 도 6은 그림 작품 자체가 콘텐츠 마커의 기능을 수행하는 경우를 예시하고 있으나 본 발명이 이에 제한되는 것은 아니다.

이어서, 서비스 서버는 콘텐츠 마커 데이터와 매칭되는 오브젝트 기초 데이터(a, b), 3차원 이미지 데이터 및 오브젝트 포인트 데이터(P1, P2, P3)를 생성한다(S201). 오브젝트 기초 데이터는 그림 작품의 가로 길이(a) 및 세로 길이(b)에 관한 정보를 포함할 수 있다. 오브젝트 기초 데이터는 트리거 자체로부터 미리 추출 내지는 측정되어 스토리지에 저장된 정보일 수 있다. 3차원 이미지 데이터는 미리 모델링 및 렌더링되어 스토리지에 저장된 정보일 수 있다. 또, 오브젝트 포인트 데이터(P1, P2, P3)는 제1 오브젝트 포인트(P1), 제2 오브젝트 포인트(P2) 및 제3 오브젝트 포인트(P3)에 관한 정보를 포함할 수 있다. 오브젝트 포인트 데이터(P1, P2, P3)는 3차원 이미지 데이터와 함께 미리 정의되어 스토리지에 저장된 정보일 수 있다.

한편, 서비스 서버는 사용자가 위치한 현실 공간의 좌표 마커로부터 좌표 마커 데이터를 수신한다(S301). 도 6은 사용자가 위치한 현실 공간의 좌표 마커가 네 개의 좌표 마커를 포함하고, 좌표 마커 데이터가 네 개의 좌표 마커 데이터를 포함하는 경우를 예시하고 있으나 본 발명이 이에 제한되는 것은 아니다. 또, 상기 네 개의 좌표 마커가 꼭지점이 직각인 사각형의 각 꼭지점 부근에 위치하고, 증강 현실 기기를 대략 정면 방향에서 촬영한 경우, 상기 네 개의 좌표 마커 데이터 또한 꼭지점이 직각인 사각형의 각 꼭지점 부근의 좌표를 특정할 수 있다.

이어서, 서비스 서버는 네 개의 좌표 마커 데이터를 기초로 하여 사용자의 위치 정보 데이터를 생성한다(S401).

예를 들어, 서비스 서버는 제1 좌표 마커 데이터와 제2 좌표 마커 데이터 사이의 이격 거리(d1), 제2 좌표 마커 데이터와 제3 좌표 마커 데이터 사이의 이격 거리(d2), 제3 좌표 마커 데이터와 제4 좌표 마커 데이터 사이의 이격 거리(d3) 및 제4 좌표 마커 데이터와 제1 좌표 마커 데이터 사이의 이격 거리(d4)를 계산할 수 있다. 또, 서비스 서버는 제1 좌표 마커 데이터와 제2 좌표 마커 데이터를 잇는 가상의 제1 선분과, 제1 좌표 마커 데이터와 제4 좌표 마커 데이터를 잇는 가상의 제4 선분 사이의 사이각(θ1)을 계산할 수 있다. 마찬가지의 방식으로 좌표 마커 데이터들과 관련된 사이각들(θ2, θ3, θ4)을 계산할 수 있다.

또한 서비스 서버는 오브젝트의 포인트 데이터(P1, P2, P3), 좌표 마커 데이터 및 사용자의 위치 데이터 중 하나 이상을 기초로 하여 매칭 포인트 데이터(MP1, MP2, MP3)를 생성한다(S501).

매칭 포인트 데이터(MP1, MP2, MP3)는 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)에 관한 정보를 포함할 수 있다. 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3) 각각의 상대적 위치는 특정한 관계에 있을 수 있다. 또, 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3) 중 어느 하나 이상의 포인트는 오브젝트의 포인트 데이터들(P1, P2, P3)를 고려하여 선택될 수 있다. 또한, 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)의 위치는 좌표 마커 데이터와 특정한 관계에 있을 수 있다.

이어서, 서비스 서버는 제1 오브젝트 포인트(P1), 제2 오브젝트 포인트(P2) 및 제3 오브젝트 포인트(P3)를 각각 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)에 매칭 시켜 출력 데이터를 생성한다(S601). 본 단계(S601)에서 출력 데이터는 오브젝트 데이터를 생성하는 단계(S201)에서 생성한 오브젝트의 3차원 이미지 데이터일 수 있다.

상기 예시에 따르면, 증강 현실 기기를 그림 작품의 대략 정면 방향에서 촬영한 경우, 증강 현실 기기의 디스플레이부를 통해 디스플레이되는 가상의 3차원 이미지 데이터 또한 최초 방향을 기준으로 대략 정면 방향일 수 있다. 이를 통해 사용자는 그림 작품을 대략 정면 방향에서 촬영하였기 때문에 구현되는 증강 현실 이미지 또한 정면 방향의 시점을 갖는 것으로 받아들일 수 있다.

앞서 설명한 것과 같이, 매칭 포인트 데이터들(MP1, MP2, MP3)은 사용자의 위치 정보에 관한 데이터를 고려되어 산출된 것일 수 있다. 즉, 사용자의 위치 정보가 반영된 매칭 포인트 데이터들(MP1, MP2, MP3)에 미리 저장된 3차원 이미지 오브젝트 및 3차원 이미지 오브젝트 내에서 미리 정의된 오브젝트 포인트 데이터들(P1, P2, P3)을 매칭시켜 출력함으로써, 증강 현실 기기를 통해 사용자의 위치 정보가 반영된 상태의 3차원 이미지 오브젝트를 디스플레이할 수 있다.

본 발명에 따른 증강 현실 제공 시스템 및 증강 현실 서비스의 제공 방법에 따르면, 트리거(예컨대, 콘텐츠 마커 및 좌표 마커)의 변환 없이도, 단순히 사용자의 위치 변화에 따라 미리 결정된 상이한 형태의 가상의 오브젝트를 출력할 수 있다. 또, 사용자의 터치 동작 등에 의해 가상의 오브젝트의 시점을 변화시키는 것이 아니라 사용자의 이동에 따라 가상의 오브젝트의 시점을 변화시킬 수 있기 때문에 사용자에 의한 보다 직관적인 작품 감상이 가능하고, 현실 공간에 위치하는 작품이 3차원적인 작품인 듯한 인지 착오를 불러일으킬 수 있어 작품에 대한 몰입감을 현저하게 향상시킬 수 있다.

도 7는 본 발명에 따라 구현된 증강 현실의 다른 예시이고, 도 8은 이 경우에 증강 현실의 제공 시스템 및 증강 현실 서비스의 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 7 및 도 8은 증강 현실 기기를 이용하여 트리거를 대략 좌측 방향에서 촬영한 경우를 나타낸 예시이다.

도 7 및 도 8을 참조하면, 서비스 서버는 사용자가 위치한 현실 공간의 콘텐츠 마커로부터 콘텐츠 마커 데이터를 수신한다(S102). 이어서, 서비스 서버는 콘텐츠 마커 데이터와 매칭되는 오브젝트 기초 데이터(a, b), 3차원 이미지 데이터 및 오브젝트 포인트 데이터(P1, P2, P3)를 생성한다(S202). 콘텐츠 마커 데이터를 수신하는 단계(S102) 및 오브젝트 데이터를 생성하는 단계(S202)에 대해서는 도 5 등과 함께 설명한 바 있으므로 중복되는 설명은 생략한다.

한편, 서비스 서버는 사용자가 위치한 현실 공간의 좌표 마커로부터 좌표 마커 데이터를 수신한다(S302). 도 8은 사용자가 위치한 현실 공간의 좌표 마커가 네 개의 좌표 마커를 포함하고, 좌표 마커 데이터가 네 개의 좌표 마커 데이터를 포함하는 경우를 예시하고 있으나 본 발명이 이에 제한되는 것은 아니다. 또, 상기 네 개의 좌표 마커가 꼭지점이 직각인 사각형의 각 꼭지점 부근에 위치하고, 증강 현실 기기를 대략 좌측 방향에서 촬영한 경우, 상기 네 개의 좌표 마커 데이터는 좌측변이 우측변에 비해 더 길고, 상측변과 하측변이 기울어진 대략 사다리꼴 형태의 각 꼭지점 부근의 좌표를 특정할 수 있다.

이어서, 서비스 서버는 네 개의 좌표 마커 데이터를 기초로 하여 사용자의 위치 정보 데이터를 생성한다(S402).

예를 들어, 서비스 서버는 제1 좌표 마커 데이터와 제2 좌표 마커 데이터 사이의 이격 거리(d1), 제2 좌표 마커 데이터와 제3 좌표 마커 데이터 사이의 이격 거리(d2), 제3 좌표 마커 데이터와 제4 좌표 마커 데이터 사이의 이격 거리(d3) 및 제4 좌표 마커 데이터와 제1 좌표 마커 데이터 사이의 이격 거리(d4)를 계산할 수 있다. 또, 서비스 서버는 제1 좌표 마커 데이터와 제2 좌표 마커 데이터를 잇는 가상의 제1 선분과, 제1 좌표 마커 데이터와 제4 좌표 마커 데이터를 잇는 가상의 제4 선분 사이의 사이각(θ1)을 계산할 수 있다. 마찬가지의 방식으로 좌표 마커 데이터들과 관련된 사이각들(θ2, θ3, θ4)을 계산할 수 있다.

또한 서비스 서버는 오브젝트의 포인트 데이터(P1, P2, P3), 좌표 마커 데이터 및 사용자의 위치 데이터 중 하나 이상을 기초로 하여 매칭 포인트 데이터(MP1, MP2, MP3)를 생성한다(S502). 매칭 포인트 데이터(MP1, MP2, MP3)는 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)에 관한 정보를 포함할 수 있다. 매칭 포인트에 대해서는 도 5 등과 함께 설명한 바 있으므로 중복되는 설명은 생략한다.

이어서, 서비스 서버는 제1 오브젝트 포인트(P1), 제2 오브젝트 포인트(P2) 및 제3 오브젝트 포인트(P3)를 각각 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)에 매칭 시켜 출력 데이터를 생성한다(S602). 본 단계(S602)에서 출력 데이터는 오브젝트 데이터를 생성하는 단계(S202)에서 생성한 오브젝트의 3차원 이미지 데이터일 수 있다.

상기 예시에 따르면, 증강 현실 기기를 그림 작품의 대략 좌측 방향에서 촬영한 경우, 증강 현실 기기의 디스플레이부를 통해 디스플레이되는 가상의 3차원 이미지 데이터 또한 최초 방향을 기준으로 대략 좌측 방향일 수 있다. 이를 통해 사용자는 그림 작품을 대략 정면 방향에서 촬영하였기 때문에 구현되는 증강 현실 이미지 또한 좌측 방향의 시점을 갖는 것으로 받아들일 수 있다.

앞서 설명한 것과 같이, 매칭 포인트 데이터들(MP1, MP2, MP3)은 사용자의 위치 정보에 관한 데이터를 고려되어 산출된 것일 수 있다. 즉, 사용자의 위치 정보가 반영된 매칭 포인트 데이터들(MP1, MP2, MP3)에 미리 저장된 3차원 이미지 오브젝트 및 3차원 이미지 오브젝트 내에서 미리 정의된 오브젝트 포인트 데이터들(P1, P2, P3)을 매칭시켜 출력함으로써, 증강 현실 기기를 통해 사용자의 위치 정보가 반영된 상태의 3차원 이미지 오브젝트를 디스플레이할 수 있다.

도 9는 본 발명에 따라 구현된 증강 현실의 또 다른 예시이고, 도 10은 이 경우에 증강 현실의 제공 시스템 및 증강 현실 서비스의 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 9 및 도 10은 증강 현실 기기를 이용하여 트리거를 대략 우상측 방향에서 촬영한 경우를 나타낸 예시이다.

도 9 및 도 10을 참조하면, 서비스 서버는 사용자가 위치한 현실 공간의 콘텐츠 마커로부터 콘텐츠 마커 데이터를 수신한다(S103). 이어서, 서비스 서버는 콘텐츠 마커 데이터와 매칭되는 오브젝트 기초 데이터(a, b), 3차원 이미지 데이터 및 오브젝트 포인트 데이터(P1, P2, P3)를 생성한다(S203). 콘텐츠 마커 데이터를 수신하는 단계(S103) 및 오브젝트 데이터를 생성하는 단계(S203)에 대해서는 도 5 등과 함께 설명한 바 있으므로 중복되는 설명은 생략한다.

한편, 서비스 서버는 사용자가 위치한 현실 공간의 좌표 마커로부터 좌표 마커 데이터를 수신한다(S303). 도 10은 사용자가 위치한 현실 공간의 좌표 마커가 네 개의 좌표 마커를 포함하고, 좌표 마커 데이터가 네 개의 좌표 마커 데이터를 포함하는 경우를 예시하고 있으나 본 발명이 이에 제한되는 것은 아니다. 또, 상기 네 개의 좌표 마커가 꼭지점이 직각인 사각형의 각 꼭지점 부근에 위치하고, 증강 현실 기기를 대략 우상 방향에서 촬영한 경우, 상기 네 개의 좌표 마커 데이터는 좌측변과 우측변이 우측 방향으로 상향 경사지고, 상측변과 하측변이 우측 방향으로 하향 경사진 대략 평행사변형의 각 꼭지점 부근의 좌표를 특정할 수 있다.

이어서, 서비스 서버는 네 개의 좌표 마커 데이터를 기초로 하여 사용자의 위치 정보 데이터를 생성한다(S403).

예를 들어, 서비스 서버는 제1 좌표 마커 데이터와 제2 좌표 마커 데이터 사이의 이격 거리(d1), 제2 좌표 마커 데이터와 제3 좌표 마커 데이터 사이의 이격 거리(d2), 제3 좌표 마커 데이터와 제4 좌표 마커 데이터 사이의 이격 거리(d3) 및 제4 좌표 마커 데이터와 제1 좌표 마커 데이터 사이의 이격 거리(d4)를 계산할 수 있다. 또, 서비스 서버는 제1 좌표 마커 데이터와 제2 좌표 마커 데이터를 잇는 가상의 제1 선분과, 제1 좌표 마커 데이터와 제4 좌표 마커 데이터를 잇는 가상의 제4 선분 사이의 사이각(θ1)을 계산할 수 있다. 마찬가지의 방식으로 좌표 마커 데이터들과 관련된 사이각들(θ2, θ3, θ4)을 계산할 수 있다.

또한 서비스 서버는 오브젝트의 포인트 데이터(P1, P2, P3), 좌표 마커 데이터 및 사용자의 위치 데이터 중 하나 이상을 기초로 하여 매칭 포인트 데이터(MP1, MP2, MP3)를 생성한다(S503). 매칭 포인트 데이터(MP1, MP2, MP3)는 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)에 관한 정보를 포함할 수 있다. 매칭 포인트에 대해서는 도 5 등과 함께 설명한 바 있으므로 중복되는 설명은 생략한다.

이어서, 서비스 서버는 제1 오브젝트 포인트(P1), 제2 오브젝트 포인트(P2) 및 제3 오브젝트 포인트(P3)를 각각 제1 매칭 포인트(MP1), 제2 매칭 포인트(MP2) 및 제3 매칭 포인트(MP3)에 매칭 시켜 출력 데이터를 생성한다(S603). 본 단계에서 출력 데이터는 오브젝트 데이터를 생성하는 단계(S203)에서 생성한 오브젝트의 3차원 이미지 데이터일 수 있다.

상기 예시에 따르면, 증강 현실 기기를 그림 작품의 대략 우상측 방향에서 촬영한 경우, 증강 현실 기기의 디스플레이부를 통해 디스플레이되는 가상의 3차원 이미지 데이터 또한 최초 방향을 기준으로 대략 우상측 방향일 수 있다. 이를 통해 사용자는 그림 작품을 대략 정면 방향에서 촬영하였기 때문에 구현되는 증강 현실 이미지 또한 우상측 방향의 시점을 갖는 것으로 받아들일 수 있다.

앞서 설명한 것과 같이, 매칭 포인트 데이터들(MP1, MP2, MP3)은 사용자의 위치 정보에 관한 데이터를 고려되어 산출된 것일 수 있다. 즉, 사용자의 위치 정보가 반영된 매칭 포인트 데이터들(MP1, MP2, MP3)에 미리 저장된 3차원 이미지 오브젝트 및 3차원 이미지 오브젝트 내에서 미리 정의된 오브젝트 포인트 데이터들(P1, P2, P3)을 매칭시켜 출력함으로써, 증강 현실 기기를 통해 사용자의 위치 정보가 반영된 상태의 3차원 이미지 오브젝트를 디스플레이할 수 있다.

이상에서 본 발명의 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또, 첨부된 도면의 구성도 또는 블록도 상의 각 구성요소는 소프트웨어나 FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등의 하드웨어로 구현될 수 있다. 다만, 구성도 또는 블록도 상의 각 구성요소들은 소프트웨어 및 하드웨어 뿐만 아니라 어드레싱 가능한 저장 매체에서 구현될 수 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수 있다.

구성도 또는 블록도 상의 각 구성요소는 특정된 논리 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 의미할 수 있다. 따라서 구성도 또는 블록도 상의 구성요소가 제공하는 기능은 더 세분화된 복수의 구성요소에 의해 구현되거나, 또는 구성도 또는 블록도 상의 복수의 구성요소들은 일체화된 하나의 구성요소에 의하여 구현될 수도 있음은 물론이다.

Claims (10)

1. 하나 이상의 트리거를 인식하고, 증강 현실 기기에 가상의 오브젝트가 디스플레이되는 증강 현실 서비스를 제공하는 방법에 있어서,
   상기 증강 현실 기기로부터 좌표 마커 데이터를 포함하는 마커 데이터를 수신하는 단계;
   상기 좌표 마커 데이터를 기초로 하여, 사용자의 위치 데이터를 생성하는 단계로서, 상기 트리거 중 어느 하나와 상기 사용자 간의 상대적 위치에 관한 데이터를 생성하는 단계;
   상기 좌표 마커 데이터 및 상기 사용자의 위치 데이터를 기초로 하여, 매칭 포인트를 생성하는 단계; 및
   상기 매칭 포인트를 기초로 하여, 스토리지에 미리 저장된 상기 가상의 오브젝트를 출력하는 단계를 포함하는, 증강 현실 서비스의 제공 방법.
2. 제1항에 있어서,
   상기 좌표 마커 데이터는, 상기 사용자가 위치하는 공간의 복수의 좌표 마커를 포함하는 상기 트리거로부터 추출되는, 증강 현실 서비스의 제공 방법.
3. 제2항에 있어서,
   상기 마커 데이터는 콘텐츠 마커 데이터를 더 포함하고,
   상기 콘텐츠 마커 데이터는, 상기 사용자가 위치하는 공간의 콘텐츠 마커를 포함하는 상기 트리거로부터 추출되고,
   오브젝트 데이터 생성부는 상기 스토리지에 미리 저장된 오브젝트 데이터 중에서, 상기 콘텐츠 마커 데이터와 매칭되는 오브젝트 데이터를 생성하고,
   상기 미리 저장된 오브젝트 데이터는,
   상기 콘텐츠 마커의 제1 방향으로의 제1 길이,
   상기 콘텐츠 마커의 상기 제1 방향과 교차하는 제2 방향으로의 제2 길이,
   상기 가상의 오브젝트의 3차원 이미지, 및
   오브젝트 포인트 중 하나 이상을 포함하는, 증강 현실 서비스의 제공 방법.
4. 제3항에 있어서,
   상기 가상의 오브젝트를 출력하는 단계는,
   복수의 상기 오브젝트 포인트와, 복수의 상기 매칭 포인트를 일대일 매칭시켜 상기 가상의 오브젝트를 출력하는 단계를 포함하되,
   상기 오브젝트 포인트의 개수와 상기 매칭 포인트의 개수는 동일한, 증강 현실 서비스의 제공 방법.
5. 제3항에 있어서,
   상기 좌표 마커 데이터는, 서로 상이한 좌표를 갖는 복수의 좌표 마커 데이터를 포함하고,
   상기 사용자의 위치 데이터를 생성하는 단계는,
   상기 복수의 좌표 마커 데이터 간의 이격 거리들, 또는 상기 복수의 좌표 마커 데이터 간을 잇는 가상의 선분들 간의 사이각들을 기초로 하여, 사용자의 위치 데이터를 생성하는 단계인, 증강 현실 서비스의 제공 방법.
6. 제5항에 있어서,
   상기 사용자의 위치 데이터를 생성하는 단계는, 상기 제1 길이 및 상기 제2 길이를 더욱 기초로 하여, 상기 사용자의 위치 데이터를 생성하는 단계인, 증강 현실 서비스의 제공 방법.
7. 제3항에 있어서,
   상기 매칭 포인트를 생성하는 단계는, 상기 오브젝트 포인트를 더욱 기초로 하여 상기 매칭 포인트를 생성하는 단계인, 증강 현실 서비스의 제공 방법.
8. 제7항에 있어서,
   상기 매칭 포인트는 3개 이상인, 증강 현실 서비스의 제공 방법.
9. 제8항에 있어서,
   상기 좌표 마커 데이터는, 서로 상이한 좌표를 갖는 제1 좌표 마커 데이터, 제2 좌표 마커 데이터, 제3 좌표 마커 데이터 및 제4 좌표 마커 데이터로 이루어지고,
   상기 복수의 매칭 포인트 중 적어도 하나는,
   상기 제1 좌표 마커 데이터와 상기 제2 좌표 마커 데이터를 잇는 가상의 제1 선분, 상기 제2 좌표 마커 데이터와 상기 제3 좌표 마커 데이터를 잇는 가상의 제2 선분, 상기 제3 좌표 마커 데이터와 상기 제4 좌표 마커 데이터를 잇는 가상의 제3 선분, 및 상기 제4 좌표 마커 데이터와 상기 제1 좌표 마커 데이터를 잇는 가상의 제4 선분이 형성하는 사각형 내에 위치하는, 증강 현실 서비스의 제공 방법.
10. 트리거로부터 추출된 콘텐츠 마커 데이터 및 좌표 마커 데이터를 포함하는 마커 데이터를 수신하는 수신부;
    상기 콘텐츠 마커 데이터와 매칭되는 오브젝트 데이터로서, 상기 콘텐츠 마커의 제1 방향으로의 제1 길이, 상기 콘텐츠 마커의 상기 제1 방향과 교차하는 제2 방향으로의 제2 길이, 가상의 오브젝트의 3차원 이미지, 및 오브젝트 포인트 중 하나 이상을 포함하는 상기 오브젝트 데이터를 생성하는 오브젝트 데이터 생성부;
    상기 좌표 마커 데이터를 기초로 하여, 상기 트리거 중 어느 하나와 사용자 간의 상대적인 위치에 관한 사용자 위치 데이터를 생성하는, 사용자 위치 데이터 생성부;
    상기 좌표 마커 데이터 및 상기 사용자 위치 데이터를 기초로 하여 매칭 포인트를 생성하는 매칭 포인트 생성부; 및
    상기 오브젝트 포인트와 상기 매칭 포인트를 일대일 매칭시켜 상기 가상의 오브젝트의 3차원 이미지를 증강 현실 기기로 송신하는 송신부를 포함하는,
    증강 현실 제공 시스템.

Images