KR20240049245A - 3d 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명의 일실시예에 따른, 서버가 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법은, 3D 툴을 통하여 제작된 가상 공간에 대한 3D 데이터 내 특정 위치에 가상의 카메라를 위치시키는 단계, 상기 가상의 카메라를 360도 Ⅹ 360도 방향으로 전방위 회전시키면서 상기 3D 데이터의 공간 이미지를 적어도 하나 이상 수집하는 단계, 상기 수집된 적어도 하나 이상의 공간 이미지를 미리 정해진 위치로 겹친 후 각각의 픽셀 값을 보간(Interpolation)하는 단계, 상기 보간 된 픽셀 값을 기반으로 상기 수집된 적어도 하나 이상의 공간 이미지를 미리 정해진 등장방형(Equirectangular) 이미지 포맷의 표면 상에 투사하는 단계 및 상기 등장방형 이미지 포맷의 표면 상에 투사된 이미지를 상기 3D 데이터의 360도 공간 이미지로 추출하는 단계를 포함하여 이루어질 수 있다.

Description

3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법 및 이를 위한 장치{METHOD AND APPARATUS FOR EXTRACTING 360-DEGREE SPATIAL IMAGES AND METADATA OF 3D DATA}

본 발명은 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법 및 이를 위한 장치에 관한 것으로, 보다 상세하게는 가상 공간을 구축하기 위한 3D 데이터 패키징(PACKAGING) 및 그 결과물인 3D 콘텐츠의 웹(Web) 배포(publishing)를 위해 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법 및 이를 위한 장치에 관한 것이다.

HMD(Head-mounted Display), 이동 단말, 360도 카메라 등이 개발되고 보급됨에 따라, 가상현실(Virtual reality), 증강현실(Augmented reality) 또는 혼합현실(Mixed reality) 환경 또한 점점 시장의 주목을 받기 시작 하였으며, 근래에 이르러서는 각 이용 주체가 또 다른 자아 정체성을 가지고 사회, 경제, 교육, 문화, 과학 기술 등의 활동까지 수행할 수 있는 메타버스(Metaverse) 환경이 각광받기 시작하며 그 주목을 이어가고 있다.

그런데 메타버스를 포함하는 위와 같은 환경들은, 때로는 경우에 따라 경계가 모호할 수 있지만 결국 본질은 현실세계와는 구분된 일종의 가상세계라고 볼 수 있다. 따라서, 이러한 환경을 이용하는 이용자들에게 현실과 같은 수준 높은 사실감(또는 현실감)을 느끼도록 해주는 것이 필요하며, 나아가 이것이 수반되어야만 더 많은 주목과 함께 더 크게 발전될 수 있을 것임은 자명하다.

이에, 이를 돕기 위한 수단으로서 기존에 다양한 전용 하드웨어(예컨대, VR, AR 디바이스)들이 출시되기도 하였으나, 대부분 가격이 과도하게 비싸거나 혹은 사용 내지 접근이 어렵다는 한계가 있어, 관련 시장의 일부 매니아들을 제외하고는 이용자들에게 외면 받게 되었다. 사정이 이렇다 보니, 메타버스 환경(예컨대, 로블록스, 제페토 등)은 점차 이들을 배제한 채, 주변에서 쉽게 찾을 수 있고 상대적으로 저렴한 스마트폰, PC, 태블릿 등만을 이용하여 우회적으로 제공되기 시작하였고, 그로 인해 메타버스를 포함하는 위와 같은 가상세계 및 관련 환경들의 건강한 발전 또한 정체되고 있는 실정이다.

더 나아가, 사용자들에게 제공되는 메타버스 환경이 그들의 몰입도를 높여줄 수 있는 전용 하드웨어들은 배제된 채, 위와 같이 주변에서 쉽게 찾을 수 있는 스마트폰, PC, 태블릿을 통해서만 제공된다면, 이는 디스플레이를 통해 간접적인 체험만 가능한 간접 가상세계에 불과하다고 표현할 수 있을 것이며, 더 나아가 1인칭의 관점으로 직접적인 사실감을 느낄 수 있는 직접 가상세계와는 온전히 구별된다고 볼 것이다.

따라서, 직접적으로 사실감을 느낄 수 있는 직접 가상세계를 경험하기 위한 메타버스 환경이 사용자들에게 제공되기 위해서는, 사용자들을 가상세계에 깊이 몰입 시키기 위한 몰입형 가상현실 기술이 뒷받침 되어야 한다고 볼 수 있다.

그렇다면 다시 원점으로 돌아가, 몰입도를 높이기 위한 전용 하드웨어를 이용할 수 밖에 없다 라고 볼 수도 있겠지만, 다른 관점에서 생각해보면 사용자에게 제공되는 콘텐츠를 개선시키는 방법도 고려해볼 수 있을 것이며, 구체적으로는 보다 사실감 있는 몰입형 가상현실 콘텐츠를 제공할 수 있다면 이를 통해서도 사용자들의 몰입도는 충분히 향상될 수 있을 것이다.

이에, 스마트폰, PC, 태블릿, HMD 등 기존 하드웨어에서도 쉽게 사용할 수 있되, 더 높은 사실감을 주는 몰입형 가상현실 콘텐츠를 제작할 수 있는 기술이 요구된다고 볼 수 있으며, 더 나아가서는 제작된 위 콘텐츠를 다양한 산업영역의 니즈에 상응할 수 있는 단위 기술과 결합시켜 배포하는 기술 또한 해당 산업의 건강한 발전과 활성화를 위해 요구된다고 볼 수 있다.

이러한 현실적 요구가 반영되어, 가상 공간을 구축하고 관련 콘텐츠에 더 나은 실감 효과를 부여하기 위한 저작 소프트웨어가 개발되었던 사실도 있다. 구체적으로, VR 기술과 360도 촬영이미지를 이용하여 가상 공간을 구축하기 위한 에디팅 툴과, 3D 비디오 게임, 3D 애니메이션, 3D 건축 시각화 등에 실감 효과를 부여하기 위한 유니티(Unity), 언리얼(Unreal) 등의 저작 소프트웨어 등이 그 예시라고 볼 수 있다.

그러나, 위와 같은 종래의 방식, 즉, 360도 이미지를 이용하는 가상 공간 구축 방식은, 촬영을 위한 실제 공간이 필요하기 때문에 공간 상의 제약이 있으며, 더 나아가서는 그로 인해 구현될 수 있는 공간 또한 제한적일 수 밖에 없다는 한계가 있다. 또한, 이를 극복하기 위해 360도 이미지를 모두 컴퓨터 그래픽으로 제작한다고 하더라도 뷰포인트 만큼 이미지를 제작해야 하기 때문에 부하가 상당해질뿐더러, 한번 이미지를 제작한 이후에는 세부적인 수정이 어려운 문제점이 있다. 아울러, 종래의 저작 소프트웨어들은 로컬 PC에서 가상현실 콘텐츠를 제작하고 이를 웹으로 업로드 하는 방식을 이용하기 때문에, 필연적으로 과도한 네트워크 트래픽이 요구된다는 고질적인 문제점이 있었다.

따라서, 위와 같은 문제들을 해결하기 위한 방법이 요구되고 있는 실정이며, 이에 본 발명에서는 웹을 기반으로 하여 가상 공간을 구축하기 위한 3D 데이터 패키징 서비스를 제공하는 방법 및 그 결과물을 배포하기 위한 스트리밍 서비스를 제공하는 방법을 제안한다.

대한민국 등록특허공보 제10-2280719호 (2021년01월08일 공개)

상기한 종래 문제점을 해소하기 위하여, 본 발명의 일과제는 웹 기반 가상 공간 3D 콘텐츠의 패키징 및 그 결과물의 배포를 위한 스트리밍 기술을 제공하는 것이다.

본 발명의 다른 일 과제는, 스마트폰, PC, 태블릿, HMD 등 기존 하드웨어에서도 쉽게 사용할 수 있되, 더 높은 사실감을 주는 몰입형 가상 공간 콘텐츠를 제작할 수 있는 가상 공간 3D 콘텐츠의 패키징 및 스트리밍 기술을 제공하는 것이다.

본 발명의 또 다른 일 과제는, 3D 가상 공간 콘텐츠를 다양한 산업영역의 니즈에 상응할 수 있는 단위 기술과 결합시켜 배포할 수 있도록 하기 위해 모듈 단위로 기능을 제공하는 웹 기반 가상 공간 3D 콘텐츠의 패키징 및 스트리밍 기술을 제공하는 것이다.

본 발명의 다른 일 과제는, 가상 공간을 구축하기 위한 3D 데이터 패키징 및 그 결과물인 3D 콘텐츠의 웹 배포를 위해 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 기술을 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 가상 공간 구축 및 제어를 위한 웹 기반 3D 콘텐츠의 패키징 및 스트리밍 서비스 제공 방법은, 3D 툴을 통하여 제작된 3D 콘텐츠 데이터가 제1 단말에 설치된 플러그-인을 통하여 상기 서버로 임포트(import) 되는 단계, 상기 임포트 된 3D 콘텐츠 데이터를 가상 공간을 위한 3D 콘텐츠로 패키징하는 단계 및 상기 패키징 된 가상 공간 3D 콘텐츠를 웹을 기반으로 하여 스트리밍 방식으로 배포(publishing)하는 단계를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 가상 공간 구축 및 제어를 위한 웹 기반 3D 콘텐츠의 패키징 및 스트리밍 서비스 제공 방법은, 제2 단말의 플레이어 실행 요청에 따라 3D 콘텐츠의 재생을 위한 플레이어를 제공하는 단계 및 상기 제공된 플레이어를 통하여 상기 배포된 가상 공간 3D 콘텐츠를 상기 제2 단말에게 제공하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따른 가상 공간 구축 및 제어를 위한 웹 기반 3D 콘텐츠의 패키징 및 스트리밍 서비스 제공 방법에 있어서, 상기 플러그-인은, 상기 3D 툴을 통해 제작된 3D 콘텐츠 데이터에 대하여, 실시간 3D 모델링 데이터 자동 추출 기능, 메타 데이터 추출 기능, 라이트맵 추출 기능, 리소스 경량화 기능, 3D 모델 최적화 기능, 배포(publishing)를 위한 실시간 360도 이미지 재조합 기능 중 적어도 하나 이상을 개별적인 모듈 단위로 하여 제공할 수 있다.

본 발명의 일실시예에 따른 가상 공간 구축 및 제어를 위한 웹 기반 3D 콘텐츠의 패키징 및 스트리밍 서비스 제공 장치는, 메모리 및 프로세서를 포함하되, 상기 프로세서는, 3D 툴을 통하여 제작된 3D 콘텐츠 데이터가 제1 단말에 설치된 플러그-인을 통하여 상기 서버로 임포트(import) 되도록 하고, 상기 임포트 된 3D 콘텐츠 데이터를 가상 공간을 위한 3D 콘텐츠로 패키징 하며, 상기 패키징 된 가상 공간 3D 콘텐츠를 웹을 기반으로 하여 스트리밍 방식으로 배포(publishing)하도록 제어할 수 있다.

상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.

첫째, 가상 공간 구축을 위한 3D 데이터의 패키징 기술을 제공할 수 있는 효과가 있다.

둘째, 가상 공간 서비스를 제공하기 위한 3D 콘텐츠를 실시간 스트리밍 서비스(streaming service)로 제공할 수 있는 효과가 있다.

셋째, 스마트폰, PC, 태블릿, HMD 등 기존 하드웨어에서도 쉽게 사용할 수 있되, 더 높은 사실감을 주는 몰입형 가상 공간 콘텐츠를 제작할 수 있는 가상 공간 3D 콘텐츠의 패키징 및 스트리밍 기술을 제공할 수 있는 효과가 있다.

넷째, 3D 가상 공간 콘텐츠를 다양한 산업영역의 니즈에 상응할 수 있는 단위 기술과 결합시켜 배포할 수 있도록 하기 위해 모듈 단위로 기능을 제공하는 가상 공간 구축 및 제어를 위한 웹 기반 3D 콘텐츠의 패키징 및 스트리밍 기술을 제공할 수 있는 효과가 있다.

다섯째, 가상 공간을 구축하기 위한 3D 데이터 패키징 및 그 결과물인 3D 콘텐츠의 웹 배포를 위해 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 기술을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 웹을 기반으로 가상 공간을 구축하기 위한 3D 데이터 패키징 및 스트리밍 서비스 처리 시스템을 설명하기 위해 도시한 개략도이다.
도 2는 본 발명의 일실시예에 따른 실시간 3D 모델링 데이터 자동 추출 기능을 설명하기 위한 도면이다.
도 3은 본 발명과 종래 기술의 위신호 제거 효과의 차이를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 빛 조사가 포함된 실시간 360도 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 실시간 360도 이미지를 서로 다른 해상도를 나타내는 3개의 단계로 구분하되 이들을 타일링하여 저장하는 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 정점 감소를 위한 파일 포맷 컨버팅 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따라 정점 그룹화 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라 실시간 360도 이미지를 재조합 하기 위한 큐브릭 렌더링 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 실시간 360도 이미지와 종래 기술인 360도 이미지의 로딩 시간 및 데이터 소모량을 비교한 도면이다.
도 10은 본 발명의 일실시예에 따른 실시간 360도 이미지와 3D 정보의 매칭을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 마우스 포인터를 이용한 공간 이동 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 웹 기반 가상 공간 구축을 위한 3D 콘텐츠 패키징 서비스를 위한 서버의 구성 블록도이다.
도 13은 본 발명의 일실시예에 따른 프로세서의 상세 구성 블록도이다.
도 14 내지 도 15는 본 발명의 일실시예에 따른 웹 기반 가상 공간 구축을 위한 3D 콘텐츠 패키징 처리 과정을 설명하기 위해 도시한 순서도이다.
도 16는 본 발명의 일실시예에 따른 3D 가상 공간 콘텐츠 스트리밍 서비스를 위한 서버의 구성 블록도이다.
도 17은 본 발명의 일실시예에 따른 3D 가상 공간 콘텐츠 파일 처리 과정을 설명하기 위해 도시한 순서도이다.
도 18은 본 발명의 일실시예에 따른 프레임워크의 전체 아키텍쳐를 도시한 도면이다.
도 19 내지 30은 본 발명의 일실시예에 따라 각 시나리오에 따른 빅데이터 스트리밍 처리 과정을 설명하기 위해 도시한 도면이다.
도 31 내지 33은 본 발명의 일실시예에 따른 웹 기반 가상 공간 3D 콘텐츠 패키징 및 스트리밍 서비스를 제공하기 위한 사용자 인터페이스를 도시한 도면이다.
도 34는 본 발명의 일실시예에 따른 3D 콘텐츠 데이터 처리 과정을 설명하기 위해 도시한 순서도이다.
도 35는 본 발명의 일실시예에 따른 서버의 구성 블록도를 설명하기 위한 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "??부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

이하에서는, 본 발명에 따른 웹 기반 가상 공간 3D 데이터 패키징 서비스 제공 및 그 결과물인 3D 콘텐츠를 배포(publishing)하기 위한 스트리밍 방법, 장치 및 시스템에 관련된 다양한 실시예를 제공한다.

특히 본 명세서에서는 플러그인(plug-in) 을 통하여 웹(web)에서 3D 데이터를 패키징(packaging)하되, 이를 사용자 단말에 스트리밍으로 배포(publishing)할 수 있도록 하는 서버(server)를 개시하고, 이를 포함한 3D 데이터 패키징 및 스트리밍 서비스 시스템을 제공한다. 이 때, 상기 서버는 본 발명을 위한 다양한 프로그램이나 소프트웨어 및 하드웨어를 포함할 수 있다.

이하 본 명세서에서 "콘텐츠"라 함은, 현존하거나 앞으로 개발될 모든 형태의 콘텐츠를 포함하는 것이며, 편의상 3D(3Dimensional) 콘텐츠를 예로 하여 설명하나, 반드시 이에 한정되는 것은 아니다. 또한, 이러한 3D 콘텐츠는 가상현실(VR, Virtual Reality), 가상현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality), 메타버스(Metaverse) 환경에 따른 가상 공간 그 자체 혹은 이를 위한 콘텐츠를 포함할 수 있다.

한편, 본 명세서에서 사용하는 용어 중 특별히 설명하지 않은 용어와 해당 용어와 관련된 기술은, 공지기술에 따라 해석하거나 공지기술을 참조할 수 있으며, 필요한 내용만을 기술함을 미리 밝혀둔다.

그 밖에, 본 발명은, 필요에 따라 인공지능(AI, Artificial Intelligence) 기술이나 블록체인(blockchain) 네트워크 기반 등 ICT(Information and Communication Technology) 기술과 접목될 수도 있으며, 관련 기술분야에서 통상의 지식을 가진 자가 위 기술과 접목한 경우 그 접목된 기술은 본 발명의 기술적 범위에 속한다.

첨부된 도면을 참조하여, 본 발명에 따른 웹 기반 가상 공간 3D 데이터 패키징 및 스트리밍 서비스 제공 방법에 대해 설명하면, 다음과 같다.

도 1은 본 발명의 일실시예에 따른 웹을 기반으로 가상 공간을 구축하기 위한 3D 데이터 패키징 및 스트리밍 서비스 제공 시스템(1)을 설명하기 위해 도시한 개략도이다.

도 1을 참조하면, 웹 기반 가상 공간 3D 콘텐츠 패키징 및 스트리밍 서비스 제공 시스템(1)이 도시되어 있으며, 상기 시스템(1)은 사용자 단말1(110), 사용자 단말2(120) 및 서버(130)를 포함하여 구현될 수 있다. 다만, 상기 시스템(1)의 구성은 반드시 이에 한정되는 것은 아니며, 실시예에 따라 하나 또는 그 이상의 다른 구성요소가 더 포함되어 상기 시스템(1)이 구현될 수도 있다. 또한, 설명의 편의상 단말은 2개만 도시하였으나, 이에 한정되지 않는다.

사용자 단말1(110)은 3D 툴을 이용하여 직접 3D 콘텐츠를 제작하되, 상기 제작된 3D 콘텐츠 데이터를 보유(또는 저장)하고 있는 단말을 나타낼 수 있다. 실시예에 따라, 사용자 단말1(110)은 상기 3D 콘텐츠를 직접 제작하진 않았으나, 기 제작된 3D 콘텐츠 데이터를 현재 보유하거나 보유한 매체와 연결되어 상기 기 제작된 3D 콘텐츠 데이터를 전달받는 것이 가능한 디바이스를 나타낼 수 있다.

본 명세서에서 기술되는 "3D 툴"은, 게임 엔진(game engine, 예컨대, 언리얼 엔진(Unreal engine) 등)과 오토데스크(Autodesk), 3DS Max, 유니티(Unity), 스케치업과 같은 모델링 프로그램(modeling program) 등을 포함할 수 있다.

본 발명에 따른 웹 기반 가상 공간 3D 데이터 패키징 서비스를 위해, 사용자 단말1(110)은 본 발명의 시스템(1) 또는 서버(130)에 의해 제공되는 플러그-인(Plug-in)을 다운로드 받아 설치할 수 있다.

여기에서, 플러그-인 이라 함은, 특정 프로그램의 기능을 보강하기 위해 추가된 프로그램 등을 말하는데, 본 명세서에서 기술되는 "플러그인"은, 다양한 3D 툴로 만들어진 적어도 하나 이상의 3D 데이터를 웹(web)으로 임포트(import)되도록 하되, 이를 3D 콘텐츠 데이터로 컨버팅(converting)하기 위한 다양한 전처리 작업 등의 기능을 수행하는 객체를 말한다. 본 발명의 경우, 단말에서 이용하는 3D 툴 및 OS 등의 종류에 따라 그에 상응하는 타입이나 버전의 플러그-인을 제공할 수 있으며, 이를 통해 상기 서버(130)는 다양한 타입이나 버전의 플러그인을 제공할 수 있고, 상기 단말이 이들 중 하나 이상을 다운로드 받아 설치하도록 할 수 있다. 물론, 하나의 플러그-인만을 제공하고, 이 하나의 플러그-인이 단말에서 이용하는 모든 종류의 3D 툴 및 OS 등에 상응하는 플러그-인이 되도록 할 수도 있다.

만약 상기 사용자 단말1(110)이 3D 데이터 제작 단말이라면, 상기 사용자 단말2(120)는 3D 콘텐츠 데이터가 서버(130)를 통해 스트리밍 방식 등에 의해 배포될 경우, 이를 시청하며 인터렉션 등에 참여할 수 있는 사용자 소유의 단말을 나타낼 수 있다.

즉, 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위해, 상기 사용자 단말1(110)과 사용자 단말2(120)를 3D 데이터 제작 단말과 3D 콘텐츠 시청 단말로 구분하여 설명하였으나, 반드시 이에 한정되는 것은 아니며 서로 그 역할이 변경될 수 있다. 또한, 도 1에 도시된 것과는 달리, 사용자 단말1(3D 데이터 제작 단말)과 사용자 단말2(3D 콘텐츠 시청 단말)는 각각 복수 개일 수 있으며, 본 발명의 시스템(1)은 그들의 동시 접속 내지 이용이 있는 경우 원활한 서비스가 제공될 수 있도록 다양한 지원을 할 수 있다.

사용자 단말1(110)과 사용자 단말2(120)는 각각, PC, TV 등과 같은 고정 단말이거나 스마트폰, 노트북, 태블릿, HMD 등과 같은 이동 단말의 형태일 수 있다.

실시예에 따라, 사용자 단말1(110)과 사용자 단말2(120)는 각각, 본 발명에 따른 웹 기반 가상 공간 3D 콘텐츠 패키징 및 스트리밍 서비스 제공 시스템(1) 또는 상기 서비스를 위한 전용(dedicated) 단말 장치 형태일 수도 있다.

다른 실시예에 따라, 사용자 단말1(110)과 사용자 단말2(120)는 각각, 웨어러블 디바이스(wearable device)나 타 단말과 연동되어 작동하는 장치일 수도 있다. 다만, 본 발명에 따른 사용자 단말1(110)과 사용자 단말2(120)는 반드시 전술한 예시에 한정되는 것은 아니며, 상기 시스템(1) 또는 서비스 이용에 필요한 소프트웨어와 하드웨어를 포함한 장치이면 충분하다.

한편, 복수의 사용자 단말1(110)과 사용자 단말2(120)가 모두 동일한 형태나 동일한 성능을 가질 필요는 없다. 또한, 복수의 사용자 단말1(110) 모두가 동일한 3D 툴을 이용하여 동일한 타입의 3D 콘텐츠를 제작할 필요도 없으며, 나아가 상기 서버(130)로부터 동일한 플러그인을 다운로드 받아 설치할 필요 또한 없다.

사용자 단말1(110)은 상기 서버(130)에 의해 운영되는 본 발명과 관련된 웹 서비스에 가입 및/또는 로그인 등을 하고, 자신이 3D 툴을 이용하여 제작한 3D 데이터를 사용자 단말2(120) 등에게 배포하기 위한 3D 콘텐츠로의 패키징 또는 편집(edit) 등의 작업을 해당 웹 서비스를 통해 수행한 후 이를 상기 사용자 단말2(120) 등에게 스트리밍 방식 등으로 배포할 수 있다.

사용자 단말1(110)에서 3D 툴에 의해 3D 데이터의 제작이 완료되면, 상기 제작된 3D 데이터는 기 설치된 플러그인을 통하여 상기 서버(130)의 클라우드 플랫폼으로 전송될 수 있다. 이때, 상기 전송은 실시간, 미리 정의한 특정 시점, 사용자 단말1(110)의 웹 서비스 로그인 시점 등 설정에 따라 이루어질 수 있으며, 이와 달리 자동으로 이루어질 수도 있다.

사용자 단말2(120)는 상기 서버(130)에 의해 운영되는 본 발명과 관련된 웹 서비스에 가입 및/또는 로그인 등을 하고, 해당 웹 페이지에서 제공하는 플레이어(Player)를 통하여 상기 사용자 단말1(110)에 의해 배포된 3D 콘텐츠를 스트리밍 방식 등으로 시청하거나 인터렉션에 참여할 수 있다. 실시예에 따라, 상기 사용자 단말2(120)는 상기 플레이어를 서버(130)로부터 별도로 다운로드 받아 설치할 수 있으며, 이와 달리 URL 주소 등으로 접속하여 로그인 또는 로그인 없이 상기 배포된 3D 콘텐츠의 시청 환경을 제공받을 수도 있다.

사용자 단말2(120)는 상기 플레이어를 통해 본 발명의 웹 기반 가상 공간 3D 콘텐츠 스트리밍 서비스를 이용하기 위하여, 디스플레이와 스피커뿐만 아니라, 적절한 콘텐츠 제어를 위한 포인터(pointer), 스타일러스 펜(stylus pen) 또는 마우스(mouse) 등의 인터페이스를 추가적으로 구비하거나 지원할 수 있다.

한편, 서버(130)는 선술한 바와 같이 사용자 단말1(110)이 3D 데이터 제작 시 사용하는 3D 툴에 상응하는 플러그-인을 상기 사용자 단말1(110)에게 제공할 수 있으며, 상기 사용자 단말1(110)에서 3D 데이터를 보유하고 있다면, 상기 플러그-인을 통하여 상기 3D 데이터를 컷 단위가 아니라 3D 데이터 그대로 임포트(import, 또는 업로드)시킬 수 있도록 하되, 상기 사용자 단말1(110) 이를 웹 상에서 편집(또는 패키징)한 후 사용자 단말2(120) 등에게 스트리밍 방식 등으로 배포하도록 할 수 있다. 이를 위해, 서버(130)는 해당 기능 수행을 위해 필요한 소프트웨어 및 하드웨어를 포함할 수 있다.

서버(130)는 본 발명인 웹 기반 가상 공간 3D 콘텐츠 패키징 서비스를 위해 사용자 단말1(110)의 3D 데이터가 상기 플러그-인을 통하여 웹 상으로 임포트(import)되도록, 클라우드 플랫폼(Cloud platform)이나 데이터베이스(DB: database)를 구축할 수 있다. 한편, 상기 사용자 단말1(110)은 상기 클라우드 플랫폼에 대한 로그인 및/또는 3D 데이터의 임포트(import)를 위해, 서버(130)와 통신하여 발급받은 토큰을 저장하고 있을 수 있으며, 서버(130) 또한 권한을 가진 사용자 여부를 판별하고 로그인 관리를 위해 상기 토큰을 저장하고 있을 수 있다.

서버(130)는 3D 데이터를 제작하고 3D 콘텐츠를 배포하는 사용자 단말1(110) 및/또는 배포된 3D 콘텐츠를 시청하는 사용자 단말2(120)와의 사이에서 상호 간 데이터 커뮤니케이션을 지원하기 위해 관련 API(Application Program Interface) 등을 지원할 수 있다.

그 밖에, 본 발명인 웹 기반 가상 공간 3D 콘텐츠 패키징 및 스트리밍 서비스 제공 시스템(1)에 속한 구성요소들 사이의 통신 내지 데이터 커뮤니케이션은 현재까지 개발되었거나 향후 개발될 다양한 유/무선 통신 네트워크를 통하여 이루어질 수 있으며, 모든 구성요소들이 동일한 통신 네트워크 내지 통신 프로토콜을 사용할 필요는 없다.

한편, 사용자 단말은 3D 콘텐츠 제작 시 사용하는 3D 툴(예컨대, 언리얼 엔진(Unreal engine), 오토데스크(Autodesk), 3DS Max, 유니티(Unity), 스케치업 등)에 대응되는 플러그-인(plug-in)을 설치하고, 상기 3D 툴을 이용하여 3D 콘텐츠를 제작하면, 상기 설치된 플러그-인을 통하여 3D 데이터를 웹으로 임포트 한 후 이를 외부에 배포하기 위한 3D 콘텐츠로 컨버팅하기 위한 전처리 작업을 수행할 수 있는데, 이를 위해 본 발명은 3D 데이터 패키징 기술을 제공한다.

따라서, 이하에서는 본 발명의 일실시예에 따른 3D 데이터 패키징 기술을 보다 상세하게 설명하기로 한다.

본 발명의 3D 데이터 패키징 기술은, 가상현실(Virtual reality), 증강현실(Augmented reality), 혼합현실(Mixed reality) 또는 메타버스(Metaverse) 등의 환경에서 이용 가능한 가상 공간을 쉽고 빠르게 구축하기 위한 기술이며, 가상 공간의 구축 프로세스를 간소화 및 자동화 시킬 수 있고, 현재까지 존재하는 종래기술의 문제점을 해결할 수 있으므로, 가상 공간 관리자(크리에이터를 포함한다.)가 더욱 쉽고 빠르게 3D 데이터를 변환하여 가상 공간을 구축할 수 있는 효과가 있다.

종래 기존의 실감형 콘텐츠의 제작은 3D 데이터를 바탕으로 모델링(modeling), 렌더링(Rendering), 컴포지션(Composition)과 같은 반복처리 공정이 필요하였으며, 여러 공정이 요구되기 때문에 많은 시간이 소요되었으며, 최종 결과물 또한 웹을 통한 스트리밍 방식 등으로는 제공받을 수 없었고 이미지나 영상 또는 설치형으로만 경험할 수 있었다.

그러나, 본 발명의 일실시예에 따른 3D 데이터 패키징 기술은, 기존과 같이 컷 단위로 3D 데이터를 수신하고 처리하는 웹 빌더(web builder)들과는 달리, 단말에 설치 가능한 플러그-인(Plug-in)을 제공하고 있다. 또한, 이를 통해 단말이 기 제작된 3D 데이터를 웹 상으로 손쉽게 임포트(Import) 시킬 수 있기 때문에 상기 3D 데이터가 어떤 종류의 3D 툴에 의해 제작되었는지 무관하므로, 범용성 및 편의성이 매우 뛰어난 효과가 있다.

또한, 단말은 상기 플러그-인을 통해 웹 상으로 임포트 한 3D 데이터를 이용하여, 자신만의 가상 공간을 나타내는 3D 콘텐츠로의 컨버팅을 위해 3D 데이터 패키징 서비스를 이용할 수 있다. 상기 3D 데이터 패키징 서비스를 통해 자신만의 가상 공간을 나타내는 3D 콘텐츠로의 컨버팅을 완료하면, 상기 3D 콘텐츠를 스트리밍 방식으로 다른 단말에 전송하여 가상 공간으로의 참여 및 상호작용을 유도하는 것이 가능하다.

즉, 본 발명은 규격화된 파이프라인으로 가상 공간 구축 및 배포 프로세스를 표준화하는 것이 가능하며, 그로 인해 반복공정 시간을 획기적으로 단축할 수 있는 효과가 있다. 또한, 후술하여 설명하겠지만 종래 방식의 360도 이미지, 영상과 같은 다양한 형태뿐만 아니라, 웹, 모바일, 설치형 등 다양한 디바이스 환경에서도 3D 콘텐츠의 구동이 가능할 수 있도록 하여, 보다 높은 접근성과 범용성을 제공할 수 있는 효과가 있다.

아울러, 플러그-인 형태로 가상 공간 구축 및 관리 기능을 제공하되, 후술하는 바와 같이 각각의 기능을 모듈 단위로 제공하기 때문에, 가상 공간의 구축 및 관리에 필요한 물리적/논리적 비용 및 진입 장벽을 현저히 낮춰줄 수 있는 효과 또한 있다.

한편, 본 발명의 3D 데이터 패키징 기술은, 실시간 3D 모델링 데이터 자동 추출 기능, 메타 데이터 추출 기능, 라이트맵 추출 기능, 리소스 경량화 기능, 3D 모델 최적화 기능, 배포(publishing)를 위한 실시간 360도 이미지 재조합 기능 등을 포함할 수 있으며, 이에 제한되지 않고 3D 데이터를 이용하여 가상 공간을 나타내는 3D 콘텐츠로의 컨버팅을 웹 상에서 수행하기 위해 필요한 다른 기능을 더 포함할 수 있다.

이하, 3D 데이터 패키징 기술의 각 기능을 보다 상세하게 설명하면 다음과 같다.

1. 실시간 3D 모델링 데이터 자동 추출 기능

사용자에게 고품질의 가상 공간 3D 콘텐츠를 제작하여 제공하기 위해서는, 공간을 360도로 촬영하여 샘플링 한 이미지의 품질이 중요한 요소라고 볼 수 있다. 그러나, 카메라를 통해 사용자의 시선을 표현하는 가상 공간 3D 콘텐츠의 특성상, 카메라의 위치 또는 방향에 따라 카메라 상에 적용되는 렌더링 효과가 실시간으로 달라지므로, 일반적인 이미지 캡처 및 이미지 병합 방식으로는 가상 공간 3D 콘텐츠 서비스를 웹이나 모바일 환경에서 제공하기 위한 고품질의 360 이미지를 얻을 수 없다.

따라서, 본 발명은 이와 같은 문제점을 해결하고자, 도 2에서 도시한 바와 같이 실시간 렌더링 기반의 3D 모델링 데이터를 자동 추출하는 기능을 제공한다.

즉, 본 발명은 단말이 기 제작된 3D 콘텐츠 데이터를 앞서 설명한 플러그-인을 통해 웹 상으로 임포트시키면, 상기 3D 콘텐츠 내 카메라를 미리 정해진 특정 위치에서 전방위(360도 × 360도)로 회전시키면서 미리 정해진 타일(tile)을 단위로 하여 상기 3D 콘텐츠 데이터의 이미지 샘플링을 수행한다.

그 후 샘플링 된 이미지 타일들을 미리 정해진 위치로 겹쳐서 각각의 픽셀 값을 보간(Interpolation)하되, 상기 보간 된 픽셀 값들을 미리 설정된 전용 이미지 포맷인 등장방형(Equirectangular) 표면상에 투사하여 상기 3D 콘텐츠 데이터에 대한 고품질 360도 이미지를 추출할 수 있다. 본 발명에서는 이와 같이 추출된 고품질 360도 이미지를 종래 기술과 구별하기 위해 실시간 360도 이미지라 표현한다. 또한, 위 설명에서 보간이라 함은 확인된 데이터를 사용하여 확인되지 않은 지점의 값을 추정하는 방식을 의미하며, 등장방형 이란 360도 구형(sphere)의 화면을 2:1 비율의 평면에 담아내는 방식을 의미할 수 있다.

한편, 위와 같은 방식에 따라 추출할 수 있는 실시간 360도 이미지는, 상기 3D 콘텐츠가 GPU(Graphic Processing Unit)를 거쳐 화면에 렌더링되는 최종 결과물을 활용하는 방식이기 때문에, 후처리(Post processing) 및 평면 반사(Planar reflection) 등이 모두 적용될 수 있고, 그로 인해 위신호 제거(Anti-aliasing)라고 불리는 계단 현상 방지 효과가, 종래 기술과 비교할 때 현저하게 개선되어 나타나는 것을 도 3과 같이 확인할 수 있다. 여기에서, 위신호 제거란 높은 해상도의 신호를 낮은 해상도에서 나타낼 때 생기는 계단 현상을 억제하거나 최소화 하는 것을 의미한다.

또한, 본 발명의 일실시예에 따르면 상기와 같은 각 단계는 모듈화되어 구현될 수 있으며, 그로 인해 실시간 360도 이미지의 추출 과정 전부를 모듈화 및/또는 자동화 할 수도 있다. 또한, 추출된 실시간 360도 이미지를 이용하여 플러그-인 내에서 가상 공간으로의 변환, 웹 업로드, 배포 등을 진행할 수도 있다.

2. 메타데이터 추출 기능

3D 콘텐츠 데이터에서 추출한 실시간 360도 이미지 데이터를, 다양한 환경(웹/모바일/HMD 등)에서 재조합하여 배포하기 위해서는, 실시간 360도 이미지를 포함하여 3D 모델, 마커(사용자가 상호작용 가능한 아이콘 또는 오브젝트 등을 포함) 등과 같은 리소스들의 3차원 좌표 및 방향에 대한 메타데이터도 함께 전달되어야 한다. 따라서, 본 발명에서는 3D 콘텐츠 배포에 필요한 메타데이터들을 프로토콜화하되 이를 플러그-인을 통해 추출한 뒤, 추출된 메타데이터들을 가상 공간 별로 적재/관리하는 기능을 제공할 수 있다.

가상 공간 콘텐츠 상에서 3D 모델, 마커(오브젝트 등)를 정확한 위치에 배치하고 독립적으로 움직이게 하기 위해서는, 좌표계를 일치시키고 회전 중심축(pivot)을 보정해주어야 한다.

따라서 본 발명에서는, 전역 좌표계 상의 위치(Position), 크기(Scale), 회전(Rotation) 수치를, 3D 모델과 마커의 각 정점들과 행렬(matrix) 연산을 수행하여 좌표계를 일치시키되, 위치 벡터(vector)는 별도로 저장하여 회전 중심축을 보정하는 것이 가능하며, 이를 통해 추출된 3D 모델과 마커는 다른 환경(웹/모바일/HMD 등)에서도 독립적으로 제어하는 것이 가능하다.

3. 라이트맵 추출 기능

한편, 위와 같은 방식에 따라 추출할 수 있는 실시간 360도 이미지는 고품질이기는 하나 정적이므로, 사용자가 3D 모델, 마커 등의 재질이나 구조를 변경하는 제어를 수행하는 데에는 한계가 있을 수 있다. 따라서, 본 발명에서는 도 4에 도시된 바와 같이 3D 모델, 마커의 표면에 미리 정해진 방향으로부터 미리 정해진 크기의 빛이 조사된 형태로 추출이 이루어지도록 할 수 있으며, 실시예에 따라 이를 WebGL(Web Graphic Library)을 기반으로 할 수 있으나 이에 제한되지는 않는다.

4. 리소스 경량화 기능

모바일, PC와 같은 환경에서도 가상 공간 3D 콘텐츠를 원활하게 서비스하게 하기 위해서는, 추출된 실시간 360도 이미지와 3D 모델, 마커 등의 리소스들을 경량화 할 필요성이 있다.

이 때, 상기 리소스 경량화는 기술과 서비스의 구현 측면만을 고려하는 것이 아니라, 용량의 감소 및 비용의 감소와 밀접한 연관이 있으므로, 다수의 사용자를 대상으로 서비스를 제공하는 경우 네트워크 트래픽을 감소시킬 수 있기 때문에 사용자 경험을 증대시키고 비용을 최소화할 수 있는 장점을 가질 수 있다.

따라서, 본 발명에서는 후술하는 바와 같이 이미지 타일링 및 모델 최적화 등의 기능을 포함하고 있어 리소스의 경량화가 가능하고, 이를 통해 비용 또한 최소화 할 수 있는 효과가 있다.

한편, 3D 콘텐츠 데이터에서 추출한 실시간 360도 이미지를, 추출한 원본 그대로 로딩하여 가상 공간을 제공하게 되면, 이를 이용하는 이용자는 긴 시간 동안 로딩을 대기하게 되며, 특히 가상 공간 내에서 위치 이동 시 다음 이미지를 불러올 때마다 전체 이미지를 모두 불러와야 할 수 밖에 없어, 로딩을 하는 동안 백색화면을 경험하거나 혹은 매우 긴 대기시간을 겪어야 하는 불편함이 있을 수 있다.

따라서, 본 발명에서는 이러한 문제점을 예방하고 해결하기 위한 리소스 경량화 기능으로서, 추출된 실시간 360도 이미지를, 서로 다른 해상도를 나타내는 3개의 단계(예컨대, 저해상도, 중해상도, 고해상도)로 구분하되 이들을 타일링(멀티레벨 타일링)하여 저장함으로써, 위와 같은 문제점을 해결할 수 있다.

즉, 도 5에 도시된 바와 같이, 실시간 360도 이미지를 서로 다른 해상도를 나타내는 3개의 단계(예컨대, 저해상도, 중해상도, 고해상도)로 구분하며, 구체적으로 실시간 360도 이미지를 1면으로 표현한 수십 KB(Kilobyte) 단위 저해상도 프리뷰(Preview) 이미지, 실시간 360도 이미지를 6면으로 분할한 수백 KB(Kilobyte) 단위 중해상도 이미지, 위 6면의 각 이미지를 다시 4분할하여 총 24개의 타일로 이루어진 MB(Megabyte) 단위 고해상도 이미지와 같이 총 3개의 단계로 분할하되 이들을 타일링(Tiling)하여 저장되도록 할 수 있다.

한편, 웹과 같이 GPU(Graphics Processing Unit)의 사용이 제한된 환경에서 가상 공간에 3D모델, 마커 등을 표시할 경우, 3D 모델이나 마커 자체가 가진 정점(Vertex)의 수가 많다 보면 렌더링 시간이 길어져서 사용자는 화면이 끊겨 보이거나 느려지는 현상 등을 경험하는 문제점이 발생할 수 있다.

따라서, 본 발명에서는 이러한 문제점을 예방하고 해결하기 위한 또 다른 리소스 경량화 기능으로서, 정점(Vertex) 감소를 위한 파일 포맷 컨버팅 단계 및 정점 그룹화 단계를 수행할 수 있다.

먼저, 3D 파일의 포맷을 확인한 뒤, 해당 3D 파일이 이미 미리 정해진 파일 포맷 기준에 해당할 경우에는 상기 파일 포맷 컨버팅 단계가 생략될 수 있다. 그러나, 만약 해당 3D 파일이 미리 정해진 파일 포맷 기준에 해당하지 않는 경우에는 도 6에 도시된 바와 같이 파일 포맷 컨버팅이 수행될 수 있다.

예컨대, 미리 정해진 파일 포맷 기준은 OBJ, GLTF 라고 가정할 때, 확인된 3D 파일의 포맷이 FBX 파일 포맷인 경우, 이는 미리 정해진 파일 포맷 기준(OBJ, GLTF)에 해당하지 않기 때문에, 앞서 설명한 바와 같이 파일 포맷 컨버팅이 수행될 수 있다. 이 때, 상기 미리 정해진 파일 포맷 기준은, 3D모델, 마커가 미리 정해진 숫자보다 더 적은 수의 정점(vertex)으로 표현되도록 하는 파일 포맷일 수 있으며, 앞서 예시를 들어 설명한 OBJ, GLTF에 제한되는 것은 아니다.

본 발명의 일실시예에 따른 정점 그룹화 단계는, 시각적 중요도가 높고 낮음에 따라 가중치를 부여하는 정점 등급매기기(Grading), 정점의 삼각(폴리곤)분할(Triangulation), 기하학적 접근성을 기반으로 정점의 그룹화를 수행하는 클러스터링(Clustering), 그룹화된 정점들의 대표 정점을 도출하는 통합(Synthesis), 중복된 삼각(폴리곤)과 정점을 제거(Elimination), 남은 정점을 연결하여 삼각형을 형성하는 조정(Adjustment of normals) 과정을 거쳐 정점 그룹화(Vertex clustering)를 수행하게 되며, 이를 통해 도 7에 도시된 바와 같이 18개의 정점이 상기 그룹화를 통해 12개의 정점으로 감소되는 것을 확인할 수 있다.

따라서, 본 발명의 위와 같은 기술적 특징을 이용하면, 3D 모델이나 마커 자체가 가진 정점(Vertex)의 수가 감소될 수 있으므로, 웹과 같이 GPU의 사용이 제한된 환경에서 가상 공간에 3D모델, 마커 등을 표시하더라도, 화면이 끊기거나 느려지는 현상이 현저하게 줄어드는 효과가 있을 수 있다.

5. 실시간 360도 이미지 재조합 기능

실시간 360도 이미지 추출 과정에서 샘플링하여 서버에 적재된 리소스 및 메타데이터들은, 미리 정해진 기준에 따라 재조합하여 재현해야 하며, 이를 위해 본 발명에서는 일 실시예에 따라 큐브릭 렌더링(Cubric Rendering) 방식을 적용할 수 있다.

상기 큐브릭 렌더링 방식은, 도 8에 도시된 바와 같이 앞서 설명한 타일링 하여 저장된 실시간 360도 이미지 타일들 및 리소스/메타데이터들을 재조합하는 방식이며, 사용자의 시선이 포커싱하는 위치에 따라 필요한 이미지만 렌더링하되, 그와 더불어 시간에 따른 단계적 로딩을 수행해나가는 방식이다. 따라서, 본 발명의 일실시예에 따르면, 가상 공간 서비스의 제공이 빠른 속도로 이루어질 수 있으며 네트워크 트래픽 소모 또한 최소화할 수 있는 효과가 있다.

구체적으로, 가상 공간 서비스 상에서 사용자가 특정 위치로 빠르게 이동하는 경우, 이동 중에 잠시 머무는 위치에서는 전면에 보이는 일부 타일만을 로딩하면 되기 때문에, 본래 로딩 해야하는 데이터의 약 1/6만 로딩하면 되므로, 그로 인해 단말에 가해지는 부담 및 데이터의 소모량이 현저하게 낮아질 수 있다.

즉, 도 9에 도시된 바와 같이, 일반 360도 이미지의 경우 초기 화면 로딩 시간(사용자 진입부터 최초 화면 렌더링까지의 시간)이 1650ms가 소요되었으나, 본 발명의 일실시예에 따른 실시간 360도 이미지 및 이를 타일링하여 저장하는 방식을 활용하는 경우 초기 화면 로딩 시간이 320ms가 소요되어 약 80% 감소하는 효과를 보여주고 있으며, 가상 공간 서비스를 이용할 때 소비되는 데이터 소모량 또한 일반 360도 이미지와 비교할 때, 약 40% 가량 절감할 수 있는 효과를 보여주고 있다. 따라서, 본 발명에 따르면 가상 공간 서비스를 이용할 때 네트워크 트랙픽 소모, 단말 부담, 데이터 소모량 모두를 최소화 할 수 있는 효과가 있다.

한편, 본 발명에 따른 웹 기반 가상 공간 구축을 위한 3D 데이터 패키징 및 스트리밍 서비스 처리 시스템(1)은, 실시간 360도 이미지와 3D 정보의 매칭 및 공간 이동 기능, 3D 데이터 저작을 위한 실시간 렌더링 기반 프리셋 제공 기능, 인터렉션을 위한 모듈 단위 마커 제공 기능, 클라우드 로그인 기능 등을 더 포함할 수 있다.

실시간 360도 이미지의 경우 이미지의 특성 상 2D로 구성되기 때문에 가상 공간 내에서 놓여진 물체나 벽면 등에 씬 이동포인트를 위치시키더라도 3D 모델이나 마커가 가지고 있는 굴곡은 표현 할 수 없다.

따라서, 본 발명에서는 보다 나은 사용자 경험과 몰입도를 제공하기 위해, 앞서 설명하였던 추출된 메타데이터를 활용하여 각 물체나 벽면의 x,y,z 좌표를 연산하여 이동 포인터 모양을 만들되, 그에 대한 반사 값을 표현함으로써 도 10에 도시된 바와 같이 실시간 360도 이미지에서도 3D 모델이나 마커의 굴곡 등 머터리얼(Meterial) 특징을 제공할 수 있다.

한편, 본 발명에서는 가상 공간 서비스 상에서 사용자가 특정 위치로 이동하기 위해 사용하는 공간 이동 방식과 관련, 도 11 상단에 도시된 바와 같이 복수의 화살표로 표시된 종래의 공간 이동 방법의 경우, 제한되고 한정적인 움직임만을 제공할 수 밖에 없다는 문제점이 있어 이러한 문제점을 해결하고자, 마우스 포인터를 이용한 공간 이동 방법을 제공할 수 있다.

보다 구체적으로, 본 발명의 일실시예에 따르면, 사용자가 가상 공간 서비스 상에서 특정 위치로 이동하기 위해 전체 가상 공간 중 임의의 영역을 선택하고 클릭하면, 상기 클릭된 영역이 바닥이라고 판단되는 경우에는 사용자가 이동을 희망한다고 판단할 수 있으므로, 이 경우 사용자가 이동 가능하도록 설정된 미리 정해진 마우스 포인터 영역 중 상기 클릭된 영역과 가장 가까운 마우스 포인터 영역을 탐색한 뒤, 상기 탐색된 마우스 포인터 영역으로 사용자의 위치이동이 이루어지게 된다.

한편, 본 발명에 따른 웹 기반 가상 공간 구축을 위한 3D 데이터 패키징 및 스트리밍 서비스 처리 시스템(1)은, 3D 데이터 저작을 위한 실시간 렌더링 기반 프리셋 제공 기능, 인터렉션을 위한 모듈 단위 마커 제공 기능, 클라우드 로그인 기능 등을 더 포함할 수 있다.

본 발명의 일실시예에 따르면, 본 발명에 따른 시스템(1)은 웹 기반으로 3D 데이터 패키징 및 스트리밍 서비스를 제공하는 과정에서, 3D 데이터 저작을 위한 실시간 렌더링 기반 프리셋（Preset, 미리 정의된 설정들의 집합）제공 기능을 더 포함할 수 있다.

상기 프리셋은 구축된 가상 공간을 유지 및 활용함에 있어서 균일한 접근방식을 제공하기 위함이며, 필요한 설정 값들을 미리 최적화 후 자동 적용하도록 할 수 있다. 본 발명에서 상기 프리셋의 종류는 현실적인 공간을 구성하기 위한 환경설정 프리셋, 다양한 재질들을 설정하기 위한 재질설정 프리셋, 실제 존재하는 빛의 값들을 정의한 라이팅 프리셋이 존재하나 이는 어디까지나 예시일 뿐 이에 제한되지는 않는다.

즉, 각각의 설정된 값이나 정보들은 하나 이상의 프리셋 형태로 각각 내장되었다가 가상 공간 관리자(크리에이터 포함)가 원하는 시점에 편리하게 적용할 수 있다. 따라서, 본 발명은 위와 같은 정량화 및 자동화 된 다양한 프리셋들을 제공함에 따라 가상 공간의 품질을 용이하게 조절할 수 있도록 하며, 나아가 제작에 필요한 시간과 노력을 절감하고, 제작자의 숙련도 요구조건을 낮추는 효과를 줄 수 있다.

한편, 본 발명의 일실시예에 따르면 상기 프리셋들은 모두 환경설정 프리셋, 재질설정 프리셋, 라이팅 프리셋 등과 같이 모듈화 된 형태로 제공될 수 있으며, 이를 통해 모듈 단위로 가상 공간이 구축 및 유지/활용될 수 있다.

구체적으로, 본 발명은 가상 공간 관리자가 가상 공간을 구축하고자 하는 경우 앞서 설명한 기능들 및 모듈화 된 프리셋 등을 통해 모듈 단위 구조 및 모듈 단위 기능을 포함하는 가상 공간 형태로 구축 및 관리 할 수 있는 서비스를 제공할 수 있으며, 이는 가상 공간을 구축하고 관리함에 소비되는 시간적, 비용적 부담을 감소시켜 줄 수 있는 효과 또한 존재한다.

한편, 본 발명에 따른 시스템(1)은 웹 기반으로 3D 데이터 패키징 및 스트리밍 서비스를 제공하는 과정에서, 인터렉션을 위한 모듈 단위 마커를 제공하는 기능을 더 포함할 수 있다.

가상 공간 서비스의 경우 사용자에게 단순히 가상 공간을 표시하고 그들이 관람하게 하는 것을 넘어 추가적인 상호작용 활동을 제공할 필요가 있다. 즉, 가상 공간 상에서 아이콘, 스크린, 3D 모델 등 다양한 형태의 상호 작용 가능한 오브젝트 또는 마커를 제공하여 사용자들과의 다양한 상호작용을 수행하되 그로 인한 확장성을 확보할 필요가 있다.

본 발명의 일실시예에 따르면, 상기 오브젝트 또는 마커는 웹 고유의 기능들을 기반으로 동작하므로 가상공간과는 별도로 웹 기반 컨버팅 툴 상에서도 자유롭게 편집이 가능하며, 다양한 형태의 외부 서비스와의 연동도 할 수 있다.

본 발명의 일실시예에 따르면, 상기 상호작용 활동을 위한 오브젝트 또는 마커는 3D 콘텐츠의 패키징 과정에서 적용할 수 있으며, 구체적으로 가상 공간의 특정 영역에 삽입되거나, 특정버튼을 클릭하면 뷰어 등을 통해 특정한 정보를 표현 하거나 사전에 정의한 동작을 수행하도록 적용할 수 있다. 예컨대, 동영상 마커를 통해 가상 공간 내 컨퍼런스 홀에서 강연을 하거나, 뷰어로 제품의 상세정보 등을 표기하도록 적용할 수 있으며, 웹소켓(Web Socket)을 이용하여 채팅 서버로 데이터를 송/수신하거나, 외부 API를 연동하여 아이프레임(iframe) 형태로 뷰어에서 단체 화상채팅이나 웨비나를 진행하도록 적용할 수 있다.

본 발명의 일실시예에 따른 오브젝트 또는 마커로는, 이미지나 동영상 또는 웹페이지 등을 모달(modal) 형태로 가상 공간 내에 노출시켜 부가적인 정보를 취득하게 하는 기본 마커, 가상 공간 내부의 특정 벽면이나 오브젝트 상에 이미지 또는 동영상을 재생하는 용도로 사용되는 뷰어 마커, 가상 공간 내에 배치된 인체 등 다양한 형상을 갖는 모델 자체를 마커화하여 상호작용 시 기본 마커의 기능 또는 커스텀 기능 등을 부여할 수 있는 3D 모델 마커, 가상 공간 콘텐츠가 외부 웹서비스 내에 포함될 경우, 외부와 포스트 메시지(Post Message)형태로 데이터 커뮤니케이션을 가능케 하는 외부 상호작용 마커, TTS(Text-To-Speech) 및 얼굴 재구성(Face Reconstruction) 기술로 제작된 AI 휴먼을 가상 공간 내에 배치하는 특수 마커, 외부 링크 혹은 서비스(설문조사, 화상채팅, 웨비나 등)와 연동할 수 있도록 하는 기타 마커 등이 있을 수 있으나, 이에 제한되지는 않는다.

한편, 도 12는 본 발명의 일실시예에 따른 웹 기반 가상 공간 3D 콘텐츠 패키징 서비스를 위한 서버(130)의 구성 블록도이고, 도 13은 본 발명의 일실시예에 따른 프로세서(240)의 상세 구성 블록도이며, 도 14 내지 15는 본 발명의 일실시예에 따른 3D 콘텐츠 처리 과정을 설명하기 위해 도시한 순서도이다.

먼저 도 12를 참조하면, 웹 기반 가상 공간 3D 콘텐츠 패키징 서비스를 제공하기 위한 서버(130)는, 어카운트(210), IAM(Identity and Access Management)(220), 에디터(230), 프로세서(240), 플레이어(250), 및 CDN(Contents Delivery Network)(260)을 포함하여 구현될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 하나 또는 그 이상의 다른 구성요소들을 포함하여 구현되거나 그 반대일 수 있다.

한편, 도 12에서는 하나의 구성요소로 표현되었다고 하더라도 그것은 복수의 구성요소들이 포함된 모듈 형태이거나 그 반대일 수 있다. 예를 들어, 도 12의 프로세서(240)는 하나의 모듈 형태로 도 13과 같은 구성일 수 있다. 도 12에서 에디터(230)와 프로세서(240)는 3D 콘텐츠를 배포하기 전 그 처리에 관한 구성이고, 플레이어(250)와 CDN(260)는 3D 콘텐츠의 배포 및 그 처리에 관한 구성으로 볼 수 있다.

어카운트(210)는, 사용자 단말(110), 즉 사용자 계정의 등록(register)을 담당할 수 있으며, IAM(220)은, 사용자 계정의 등록 및 관리를 위한 것으로, 토큰(Token) 베이스일 수 있다. 또한 IAM(220)은, 사용자 계정의 접근 레벨 내지 권한 등에 관한 관리도 할 수 있다. 그 밖에, IAM(220)은, 사용자 계정의 사용자 데이터를 관리할 수도 있다.

본 발명에서 에디터(230)는, 사용자가 로그인을 하면 어카운트(210)와 IAM(220)을 통해 사용자를 확인하되 그 권한에 따른 동작을 수행할 수 있는데, 예컨대, 권한이 있는 경우 사용자 단말(110)은 서버(130)의 에디터에 접속할 수 있다. 에디터(230)는 웹 에디터의 일종으로, 가상 공간을 나타내는 3D 콘텐츠의 프리뷰 기능(preview function)을 제공할 수 있으며, 좌표 기반으로 가상 공간 내 오브젝트의 핸들링이 가능하고, 이들을 배포하는 기능을 제공할 수 있다. 에디터(230)는 전술한 기능과 관련된 데이터를 클라우드 플랫폼으로부터 전달받아 제공할 수 있다.

전술한 에디터(230)가 기본 설정 등과 관련된 것이라면, 프로세서(240) 는 기본 설정 등에 따른 실제 데이터의 처리와 관련된 것으로 볼 수 있다. 프로세서(240)는 API를 통하여 플러그-인으로부터 3D 콘텐츠 데이터를 다운로드하고 에디터(230)를 통하여 메타데이터(metadata), 3D 모델 파일들(3D model files) 및/또는 다양한 360 이미지들을 수신하여 프로세싱할 수 있다. 한편, 실시예에 따라, 상기 에디터(230)는 전술한 프로세서(240)의 기능까지 포함하는 의미일 수 있다.

한편, 플러그-인의 데이터 커뮤니케이션, 즉 프로토콜(Protocol)은 다음과 같다.

로그인과 관련해서는, 예를 들어 RESTful API(Application Programming Interface)를 통해 Authzip(IAM) 서버(220) 단으로 로그인 요청을 보내어 토큰을 발급받고, 상기 토큰을 통하여 이후 서버(130)와의 통신에서 인증 절차를 수행할 수 있다. 한편, 데이터의 다운로드/업로드(Data download/upload)와 관련해서는, 예를 들어 RESTful API를 통해 백스테이지(310)에서 관리하는 투어 정보(tour information)를 읽어 들이고, 구축된 데이터를 프로세싱하여 생성 혹은 갱신할 수 있다. 3D 모델, 360 이미지 등의 리소스도 백스테이지 API를 통해 업로드 될 수 있다.

도 13을 참조하면, 프로세서(240)는 백스테이지(backstage)(310), 관계형 데이터베이스(RDB, Relational Database)(320), 람다(Lambda)(330) 및 심플 스토리지 서비스(S3, Simple Storage Service)(340)를 포함할 수 있다.

백스테이지(310)는 플러그-인을 통해 수신되는 가상 공간 데이터와, 에디터(230)를 통해 수신되는 메타데이터(metadata), 3D 모델 파일들(3D model files), 360 이미지들을 수신하여 실제 프로세싱할 수 있다. 이러한 백스테이지(310)는 투어 스키마 관리(tour schema management), 공간 메타데이터 관리(spatial metadata management), 3D 모델 및 360 이미지 리소스 관리(3D model and 360 image resource management), 에디팅 퍼미션 관리(editing permission management), 배포 관리(version)(publish management), 컨커런트 액세스 제어(concurrent access control) 등을 수행할 수 있다.

백스테이지(310)는 페이 관리(pay management), 제품 플랜 관리(product plan management), 순환 페이먼트 지원(recurring payment support) 등을 위한 페이먼트 모듈(payment module)로 리소스 초과 체크(resource exceed check)를 전송할 수 있다.

관계형 데이터베이스(320)는, 백스테이지(310)에서 처리된 메타데이터를 저장할 수 있다. 관계형 데이터베이스(320)는, 트랜잭션 보증(transaction guarantee)과 관련된 데이터도 저장할 수 있다.

람다(330)는, 백스테이지(310)로부터 이미지를 수신하여, 크롭(crop), 압축(compression) 등과 같은 이미지 프로세싱을 담당할 수 있다. 람다(330)는, 백스테이지(310)로부터 모델을 수신하여 모델 프로세싱(model processing)을 담당할 수도 있다.

심플 스토리지 서비스(340)는, 백스테이지(310)와 람다(330)에서 처리된 데이터를 저장할 수 있다. 심플 스토리지 서비스(340)는, 3D 모델과 360 이미지뿐만 아니라 백스테이지(310)를 통해 배포된 메타데이터 파일을 저장할 수 있다. 이 때, 메타데이터 파일은 json 타입일 수 있으나, 이에 제한되지는 않는다.

플레이어(250)는, 사용자 단말(120)의 요청에 따라 배포된 3D 가상 공간 콘텐츠의 재생을 지원할 수 있다. 상기 플레이어(250)는 본 발명에 따라 3D 데이터에서 추출, 경량화, 자동화, 패키징 과정을 거쳐 배포된 3D 가상 공간 콘텐츠의 재생을 지원하여, 단말이 가상 공간에 방문하거나 참여할 수 있도록 하는 웹 기반 서비스이며, 배포된 3D 가상 공간 콘텐츠의 메타데이터를 기반으로 리소스영상, 이미지, 3D 마커 등）들을 로드하여 렌더링 하는 기능, 씬 간의 이동 및 테마변경 기능, 각종 마커를 통한 부가정보 제공, 반응형 웹 서비스 등의 기능을 제공할 수 있다.

플레이어(250)는, 앞서 설명한 바와 같이 일반 사용자를 대상으로 별도의 로그인 과정 없이 3D 가상 공간 콘텐츠를 경험하고 참여할 수 있도록 제공될 수도 있으나, 이와 달리 외부 홈페이지에 임베드(Embed) 형태로 제공할 경우에는 정해진 URL 만을 통해서 상기 3D 가상 공간 콘텐츠에 접근할 수 있도록 하기 위해 HTTP 프로토콜의 리퍼러(Referer) 헤더를 기반으로 하여 접근을 제한하거나 우회하도록 설정할 수도 있다. 리퍼러는 웹 상에서 다른 페이지로 이동할 시 이동 전의 도메인을 기록하는 헤더 값으로, 특정 웹 사이트 상에서 플레이어(250)로 진입할 때 화이트리스트(Whitelist)에서 도메인을 비교하여, 일치하면 접근하도록 허용하고 불일치하면 제한을 하는 일종의 방화벽이 구현되도록 할 수 있다. 사용자는 AWS S3(Simple storage service)와 AWS CloudFront(CDN)상에 배포된 메타데이터와 리소스를 HTTP를 통해 로드하게 된다.

플레이어(250)는, 사용자에게 메타버스 환경의 가상 공간 투어를 제공할 수 있으며, 재생 중인 3D 콘텐츠에 대한 사용자 단말(120)의 다양한 액션(요청)에 대응할 수 있다. 이 때, 상기 다양한 액션이라 함은 예를 들어, 핫스팟(hotspot) 선택에 따라 뷰 제공, 화면 전환, 층 이동 등을 포함할 수 있으며, 더 나아가서는 본 발명에서 설명한 마커 등을 통해 제공할 수 있는 다양한 기능을 포함할 수 있다. 유사하게, 플레이어(250)는 사용자 단말(120)의 쿼리 파라미터 옵션들을 지원할 수도 있는데, 여기서 쿼리 파라미터 옵션들에는 앞서 설명한 임베드(embed), 씬 시작(start scene) 등이 포함될 수 있다. 한편, 플레이어(250)는, 반응형 웹(responsive web) 서비스를 제공할 수도 있다.

한편, 누구나 쉽고 빠르게 실시간으로 3D 콘텐츠를 바탕으로 하는 가상 공간 서비스를 경험할 수 있도록 하기 위해서는, 표준화되고 간소화된 인프라 운영환경을 구축하는 것이 필수이다. 이상적인 표준 인프라 환경은 일관성을 확보하고 복잡성을 줄이는 것에서 시작되며, 일관된 구성요소, 인터페이스(Interface), 프로세스(Process)를 통해 달성할 수 있다.

간소화된 인프라는 관리와 운영이 용이하기 때문에 프로비저닝(Provisioning), 확장, 문제해결, 장애복구 등을 쉽게 수행할 수 있다. 잘 알려져 있고 단순화된 인프라를 사용한다면 표준화된 운영절차와 프로세스를 바탕으로 보다 적은 수의 인력이 효율적으로 인프라 운영을 할 수 있게 된다. 따라서, 효율적이고 안정적으로 인프라 운영을 할 수 있다면, 결국 사용자들에게 실시간으로 고품질의 가상 공간 서비스를 제공할 수 있게 되는 것이다. 따라서, 본 발명은 일정기간 또는 순간적으로 높은 트래픽에서의 무결성과 고가용성을 확보하는 것이 가능하고, 컴퓨팅 리소스의 낭비를 차단하는 효율성을 보유하며, 변화하는 워크로드를 지원할 수 있는 유연성과 함께, 구축된 가상공간 자산을 안전하게 보관할 수 있는 보안성 등을 종합적으로 고려하여, 온프레미스(On-premise)가 아닌 클라우드를 사용한 인프라를 이용하는 것이다.

과거에는 인프라 확장을 위해서는 서버의 증설이 필요하였으며, 이를 위해 구매한 서버가 물리적으로 도착하기까지 상당한 시간이 걸리는 불편함이 있었으나, 이와 달리 클라우드의 경우 비용 결제 후 즉시 사용이 가능하여 만약 트래픽이 폭주할 경우 즉각적인 인프라 증설이 가능하여 빠르고 손쉬운 대응이 이루어질 수 있다.

유사하게, 클라우드의 CDN（AWS CloudFront）을 WEB 서버 대신 사용하기 때문에 HTTPS 엔드포인트를 제공할 뿐만 아니라 대기 시간 또한 줄이고 콘텐츠를 빠르게 전송할 수 있으므로, 사용자 폭주에 대비한 유휴 서버를 확보할 필요가 없음에 따른 비용효율화 및 전세계 어디서든 실시간 3D 가상 공간 콘텐츠를 제공할 수 있는 안정성을 확보할 수 있다.

또한 서비스 구축에 필요한 인프라의 규모에 대해 예상이 어긋나는 경우, 과거에는 인프라 부족 또는 잉여 발생 시 상응하는 비용 부담이 발생했지만, 클라우드를 사용할 경우에는 실시간으로 증감이 가능하되, 사용한 만큼만 비용을 지불하면 되므로 비용 절감 및 효율적으로 비용을 관리할 수 있는 효과가 있다.

또한, 구축된 실시간 3D 가상 공간 콘텐츠를 높은 보안성을 토대로 안전하게 보관할 수 있으며, 글로벌 클라우드 서비스 업체들은 전세계 주요 대륙에 데이터 센터를 보유하고 있어 어디서나 빠른 속도로 실시간 3D 가상 공간 콘텐츠를 경험할 수 있는 효과가 있다.

CDN(260)는, 플레이어(250)의 요청에 따라 AWS 클라우드 프론트와 캐싱을 지원하고, 상기 플레이어(250)의 요청을 심플 스토리지 서비스(340)에 전달할 수 있다.

서버(130)(에디터와 프로세서를 포함)는 실시간 360도 이미지 및 3D 모델을 활용하여 실감도 높은 3D 가상 공간 콘텐츠를 구축할 수 있는 웹 에디터 서비스를 제공할 수 있다. 또한, 서버(130)는 실감도 높은 3D 가상 공간 콘텐츠 구축을 위하여, 관리 기능, 투어 메인 기능, 임포트 기능, 편집 기능, 및 배포 기능을 제공할 수 있고, 가상 공간 통계 기능을 제공할 수도 있다.

가상 공간 통계 기능이란 구체적으로 3D 가상 공간 콘텐츠에 접근한 사용자의 고객행동 데이터를 분석하여 콘텐츠에 접근한 사용자수, 체류시간, 유입경로, 선호페이지, 클릭이벤트, 국가별 사용자, 유지율 등을 구글 어낼리틱스(Google Analytics) 등을 이용하여 커스텀 이벤트(custom event)형태로 저장하여 제공할 수 있으나, 이는 예시일 뿐 다양한 형태로 제공할 수 있다. 또한, 통계 정보뿐만 아니라 사용자의 비정형 로그 데이터를 실시간으로 수집하고 도식화 된 대시보드(dashboard) 형태로 제공하는 것 또한 가능할 수 있다.

상기 관리 기능은, 투어 생성 및 관리뿐만 아니라 복수의 사용자 계정들이 팀(team)으로 작업하는 경우에는 해당 투어가 공유될 수 있도록 처리할 수 있다. 상기 관리 기능에서는 또한, 가이드(guide)도 제공할 수 있다.

상기 투어 메인 기능은, 예를 들어 도 31의 (a)에 도시된 바와 같이, 투어에 대한 제목/설명/태그/로고/대표 이미지 등을 기본 설정 사항, 시작 메시지와 같은 안내 문구 관리뿐만 아니라 CMS 프로젝트 연동 기능(예를 들어, 채팅, 고객문의, 통계)을 제공할 수 있다.

임포트 기능은, 예를 들어 도 31의 (b)에 도시된 바와 같이, 해당 투어에 필요한 이미지 생성/변경/삭제 등 기능, 필터 및 검색 기능, 플로어(Floor) 및 테마(Theme) 생성/변경/삭제 기능 등을 제공할 수 있다. 한편, 임포트 기능은, 멀티플 업데이트(Multiple update)도 지원할 수 있다.

편집 기능은, 키맵/프리뷰 기능, 3D 모델링 기능 지원, 이동 및 각종 액션(Hotspot) 편집 기능, Undo/Redo 기능, 자동 저장 기능, 동시 작업 제한 기능, 기타 편집 관련 기능 등을 제공할 수 있다. 예를 들어, 도 32의 (a)에서는 이러한 편집 기능과 관련하여 TOP 뷰를, 도 32의 (b)에서는 ISO 뷰를 예시하였다. 도 32의 (a)와 도 32의 (b)에서 이미지 내 원형 아이템은 카메라 포인트와 관련된 핫스팟을 나타내고 이러한 핫스팟의 개수는 임의 설정이 가능하다. 그 밖에, 상기 이미지 내 복수의 핫스팟들 중 하나의 핫스팟이 선택되면, 선택된 핫스팟에 설정된 카메라 포인트 예를 들어, 카메라 앵글도 표시될 수 있다.

그 밖에, 편집 기능과 관련하여, 전술한 핫스팟들 중 복수의 핫스팟들이 소정 시간에 순차적으로 선택이 된 경우에는, 선택된 순서에 따라 핫스팟의 순서가 결정되고, 임의로 상기 순서에 따라 도 32의 (a)와 도 32의 (b)과 같이, 우측 화면(일종의 프리뷰 기능)이 자동 재생될 수 있도록 설정할 수 있다. 또는, 복수의 핫스팟들 중 하나의 핫스팟이 선택되면, 미리 설정되거나 선택된 핫스팟의 이해를 돕기 위해 다음 선택 추천 핫스팟이 표시되도록 하여 투어 가이드를 할 수도 있다.

비록 도시되진 않았으나, 도 32의 (a)와 도 32의 (b)의 좌측 이미지 내 각 핫스팟에는 넘버링이 제공되고, 미리 설정된 소정 시간 내에 제공된 넘버링 중 최초 넘버링과 최종 넘버링 또는 제1 넘버링에서 제2 넘버링(각각, 임의의 넘버링)이 선택되면, 넘버링 순서에 따라 자동 재생될 수도 있다. 상기 넘버링은 사용자 단말(110)이나 서버(130)에 의해 설정되거나 사용자 단말(120)에 의해 자주 시청된 뷰의 수를 기초로 자동 설정될 수도 있다. 상기에서, 선택은 드래그 방식으로 이루어질 수도 있다.

그 밖에, 전술한 바와 달리, 도 32의 (a)와 도 32의 (b)의 좌측 이미지에서 하나의 핫스팟이 선택되거나 디폴트 핫스팟에 따라 도 32의 (a)와 도 32의 (b)의 우측 이미지가 제공된 경우에는, 좌측의 다른 핫스팟을 선택하지 않더라도 카메라 앵글의 변화에 따라 이어지는 핫스팟으로 이동할 수 있도록 제공할 수 있다. 예를 들어, 이 경우 도 32의 (a)와 도 32의 (b)의 좌측 이미지에는 상기 카메라 앵글의 변화에 따라 선택 가능한 핫스팟 정보가 선택된 핫스팟과 유사한 방식으로 하이라이트(highlight) 표시되어 제공되고, 우측 이미지에서는 다른 핫스팟으로의 이동 선택 여부 가이드가 제공될 수 있다.

배포 기능과 관련해서는, 도 33과 같이 최종 검수 화면(프리뷰) 및 배포 기능과, 씬별 진입 URL을 제공할 수 있다. 상기 배포 기능은 호스팅, 임베딩 등 방식을 포함할 수 있다.

한편, 에디터의 데이터 커뮤니케이션, 즉 프로토콜은 다음과 같다.

로그인과 관련해서는, 어카운트 도메인으로 재지정(redirect)하여 통합 로그인 처리하고 콜백(callback)으로 토큰을 받아와서 로그인 처리할 수 있다.

투어 생성/변경/삭제 등과 관련해서는, 예를 들어 RESTful API를 통해 백스테이지(310)에 단계별로 불러오기/저장을 수행할 수 있다. 사용자 단말(110)에서 리소스 파일(image, model, etc.)을 업로드를 하는 경우도 전술한 바와 같다.

동시접속 제한과 관련해서는, 예를 들어 웹소켓(Websocket)을 사용하여 백스테이지(310)에 현재 연결된 세션을 관리할 수 있다.

상기 플레이어(250)는, 웹빌더로 제작된 투어를 재생할 수 있는 웹 서비스로, 배포된 투어 메타데이터를 기반으로 리소스(이미지 및 영상, 3D 모델 등)들을 로드(load)하여 렌더링(rendering)하는 기능, 씬 간 이동 기능 및 테마 변경 기능, 그 밖에 각종 기능들을 핫스팟 버튼 혹은 콘텐츠 내 부착된 형태로 제공하는 기능, 쿼리 파라미터(query parameter) 형태로 부가 기능 제공, 반응형 웹 지원 기능 등을 제공할 수 있다. 상기에서, 각종 기능에는 이미지 슬라이더(image slider), 비디오 뷰어(video viewer), 3D 모델 뷰어(3D model viewer), 커스텀 HTML 뷰어(custom HTML viewer) 등이 포함될 수 있다.

한편, 플레이어(250)와 관련된 데이터 커뮤니케이션, 즉 프로토콜은 다음과 같다. 3D 콘텐츠 메이커인 사용자 단말(110)과 달리, 일반 사용자 대상으로 로그인 과정 없이 볼 수 있는 구조를 가질 수 있다. 데이터 로드와 관련하여, 심플 스토리지 서비스와 클라우드 프런트 상에 배포된 메타데이터, 리소스들을 HTTP로 로드할 수 있다. 채팅과 관련하여, 예를 들어 웹소켓을 이용하여 채팅 서버로 데이터를 송수신할 수 있다. 문의 폼과 관련하여, 예를 들어 RESTful API로 자피어(zapier) 서비스로 데이터를 전송할 수 있다. 통계와 관련하여, 앞서 설명한 바와 같이 예컨대, 고객 행동 데이터를 분석 서버(예를 들어, 구글 어낼리틱스와 같은)에 커스텀 이벤트(Custom event) 형태로 저장할 수도 있다. 상기 고객 행동 데이터에는, 씬 방문/체류시간(디폴트 타임 윈도우(default time window)를 미리 설정된 임의의 시간동안(예를 들어, 15seconds))로 카운트할 수 있으며, 핫스팟 액션 등도 포함될 수 있다.

서버(130)와 사용자 단말(110) 사이에서 3D 콘텐츠 처리 과정을 도 14 내지 15를 참조하여 설명하면, 다음과 같다.

먼저, 도 14를 참조하면, 사용자 단말(110)에서 3D 툴을 실행하여 3D 콘텐츠를 제작할 수 있다(S110).

서버(130)는 API를 이용하여 플러그-인을 통하여 사용자 단말(110)에서 제작된 3D 콘텐츠 데이터를 그대로 수신할 수 있다(S120).

서버(130)(웹빌더)는 수신한 3D 콘텐츠 데이터를 편집 등 패키징(packaging)할 수 있다(S130).

서버(130)는 패키징한 3D 콘텐츠를 배포할 수 있다(S140).

도 15를 참조하여, 패키징 작업 방식을 설명하면, 다음과 같다.

서버(130)는 API를 이용하여 사용자 단말(110)에서 제작된 3D 콘텐츠 데이터가 수신되면, 이를 패키징하는데 이 경우, 패키징 작업 방식을 선택할 수 있다(S210). 이는 서버(130)에서 사용자 단말(110)의 이용 편의를 위하여 플로우 생성과 관련하여 템플릿(template, 또는 프리셋)을 제공함에 따른 것이다.

제1 방식은, 서버(130)에서 디폴트값 정의가 가능한 모든 데이터가 지정되어 있는 신규 플로우를 생성하는 것이다(S220). 상기 제1 방식은 서버(130)에서 제공하는 템플릿의 프레임만 이용하는 방식일 수 있다.

반면, 제2 방식은, 서버(130)에서 템플릿에 샘플(sample)로 생성되어 있는 시퀀스(sequence), 모듈, 아이템 등을 그대로 이용하여 신규 플로우를 생성하는 것이다(S230). 상기 제2 방식은 서버(130)에서 제공하는 템플릿을 그래도 이용하는 방식일 수 있다.

한편, 제3 방식은, 서버(130)에서 템플릿 없이 신규 플로우를 자동 생성하는 것으로, 이 경우 시퀀스도 사용자가 생성할 수 있다(S240). 상기 제3 방식은 예컨대, API를 통해 사용자 단말(110)로부터 플러그-인을 통해 추출한 3D 콘텐츠 데이터를 바로 배포하는 방식일 수 있다.

한편, 상기 S230 단계와 S240 단계에서 신규 플로우가 생성이 된 경우에는, 서버(130)는 사용자 단말에서 설정, 공유 등 변경 사항과 이미지, 투어, 비디어 등의 모듈 편집 기능을 제공할 수 있다(S250).

상기 S250 단계 이후 전술한 제1 내지 제3 방식으로 처리된 플로우 데이터가 배포될 수 있다. 이 때, 상기 배포 방식과 관련하여, 전술한 플레이어로 호스팅 배포, 임베딩 스크립트 생성, 파일 형태로 저장 등이 채택될 수 있다. 호스팅 배포 방식의 경우, 임의로 사용자 계정당 10개의 플로우 생성이 가능하도록 할 수 있다.

다음으로, 3D 가상 공간 콘텐츠 스트리밍 서비스에 대해 설명하면, 다음과 같다.

도 16은 본 발명의 일실시예에 따른 3D 가상 공간 콘텐츠 스트리밍 서비스를 위한 서버(130)의 구성 블록도이며, 도 17은 본 발명의 일실시예에 따른 3D 가상 공간 콘텐츠의 처리 과정을 설명하기 위해 도시한 순서도이다.

도 16을 참조하면, 3D 가상 공간 콘텐츠의 스트리밍 서비스를 위한 서버(130)는, 어카운트(610), IAM(620), 페이먼트 모듈(630), 라이브 콘솔(Live Console)(640), 프로세서(650), 클라우드 플랫폼(660), 플레이어(670), CAM(680), 시그널링 서버(690) 등을 포함할 수 있다. 3D 가상 공간 콘텐츠의 스트리밍 서비스를 위한 서버(130)는 반드시 도 16에 도시된 구성요소에 한정되지 않으며, 하나 또는 그 이상의 구성요소들을 더 포함하거나 그 반대일 수 있다. 개별 구성요소로 도시되었다고 하더라도 실시예에 따라 하나 또는 그 이상의 구성요소들이 모듈화될 수도 있고 그 반대일 수도 있다.

한편, 도 16을 설명함에 있어서, 전술한 도 12 내지 13과 동일한 구성요소들은 해당 설명을 참조하고 여기서 중복 설명은 생략한다. 이하에서는 도 12 내지 13과 차이나는 구성을 위주로 하여 3D 가상 공간 콘텐츠의 스트리밍 서비스 제공에 대해 설명한다.

라이브 콘솔(Frontend)(640)은 3D 가상 공간 콘텐츠의 업로드/설정 변경 등을 담당하는 콘솔 웹 서비스로서, 다음과 같은 기능을 제공할 수 있다.

라이브 콘솔(640)은 라지 파일 업로드 기능, 플랜 선택 기능, 제어 패널 제공 기능을 제공할 수 있다. 관련하여, 콘텐츠 파일은 EXE 포맷(format)을 가지며 픽셀 스트리밍(pixel streaming enabled)이 가능할 수 있다. 라이브 콘솔(640)은 제어 패널 제공을 통하여 콘텐츠 온/오프, 버전 등에 대한 설정할 수 있으며, 최대 연결(Max connection), 퀄리티(Quality)(QoS: 상시 준비 VM 개수, 화질: FHD, HD, 등) 제어 등 커스터머 한계 설정(customer limit setting) 기능을 수행할 수 있다.

한편, 라이브 콘솔(640)의 데이터 커뮤니케이션(프로토콜)은, 예를 들어 RESTful API를 통하여 프로세서(650), 즉 라이브와이어(Livewire) 백엔드에 파일을 업로드 및 제어 요청 전달할 수 있다.

플레이어(프론트엔드)(670)는, 스트리밍 플레이어로서 플레이어 내 다른 URL(예컨대, https://olimplayer.com/live/{content_id})로 WebRTC 기반으로 라이브 스트리밍 서비스를 제공할 수 있으며, 콘텐츠 연결을 위한 대기 화면 제공과 같은 불안정한 연결 제어 기능, WebRTC를 통한 화면 실시간 전송 기능, 콘텐츠 제어 기능(사용자 컨트롤 전송) 기능 등을 포함할 수 있다.

플레이어(670)의 데이터 커뮤니케이션(프로토콜)은, 예를 들어 RESTful API를 통하여 프로세서(650)(즉, 라이브와이어)로부터 메타데이터 및 접속 프로토콜을 수신할 수 있으며, WebRTC를 통하여 VM(가상머신)으로부터 실시간 화면 데이터를 수신할 수 있다.

프로세서(650)는 라이브와이어(백엔드)로 라이브 서비스의 메인 백엔드로 콘텐츠 관리, 사용자 요청 관리, 가상머신 관리 등을 수행할 수 있다.

프로세서(650)는 사용자별 콘텐츠 파일 관리, 콘텐츠 스트리밍 옵션 관리 등 콘텐츠 관리 기능, 리퀘스트 큐(Request queue)를 통해 연결까지 대기해야 하는 사용자 요청 및 상태 관리 등 사용자 요청 관리 기능, VM 스케줄러를 통해 재사용 극대화를 통해 비용을 최소화하고 사용자 경험을 높이는 가상 머신 관리 기능 등을 제공할 수 있다.

프로세서(650)의 데이터 커뮤니케이션(프로토콜)은, RESTful API를 통하여, 상기 라이브 콘솔(640)와 플레이어(670)에 API를 제공 및 클라우드 플랫폼(660)에 제어 및 상태 확인용으로 이용할 수 있다. 프로세서(650)는 웹소켓을 통하여 가상머신 상태 확인 및 기타 실시간 데이터용으로 이용할 수 있다.

라이브 콘솔(640)은 EXE 파일과 설정 요청을 프로세서(650)으로 전달할 수 있다. 프로세서(650)는 EXE 파일과 VM 액션들을 클라우드 플랫폼(660)으로 업로드할 수 있다. 여기서, 클라우드 플랫폼은 VM들과 공유 스토리지를 포함할 수 있다. CAM(Content Access Manager)(680)는 룰 기반 액세스 컨트롤을 수행하며, 퍼블릭/프라이빗(public/private) 체크와 페이드(paid) 체크를 프로세서(650)와의 관계에서 수행할 수 있다. 시그널링 서버(690)는 플레이어(670) 동작 요청에 따라 어드레스 교환(address exchange), 연결 메이커(connection maker), 퀄리티 컨트롤을 위한 시그널링을 프로세서(650)와의 관계에서 수행할 수 있다. 플레이어(670)는 클라우드 플랫폼(660)의 가상머신과의 관계에서 WebRTC 프로토콜에 따라 TURN 서버(미도시)를 통하여 릴레이 기능을 수행할 수 있다. 클라우드 플랫폼(660)은 GPU(Graphic Process Unit)의 지원을 받는 윈도우 기반 VM을 포함할 수 있는데, ElasticSearch(미도시)는 VM과 플레이어(670)를 통한 씬, 레이어, 핫스팟 등에 대한 사용자 액션 데이터에 관한 로그들을 수집할 수 있으며, 플레이어로 리턴할 수도 있다.

도 17을 참조하여, 3D 가상 공간 콘텐츠 파일 처리 과정을 설명하면, 다음과 같다.

사용자 단말(110)에서 3D 가상 공간 콘텐츠와 같은 라지 콘텐츠 파일이 생성되면, 실시간으로 라이브 콘솔(640)에서 상기 생성된 3D 가상 공간 콘텐츠 파일을 수신할 수 있다(S310).

라이브 콘솔(640)은 API를 통해 수신한 3D 가상 공간 콘텐츠 파일과 설정 요청을 프로세서(650)에 업로드할 수 있다(S320).

프로세서(650)는 가상머신 스케줄링에 따른 가상머신 액션 데이터와 수신된 3D 가상 공간 콘텐츠 파일을 가상머신들을 포함한 클라우드 플랫폼(660)으로 업로드할 수 있다(S330).

클라우드 플랫폼(660)에서 상기 프로세서(650)에 의해 스케줄링 된 가상머신을 통하여 수신된 3D 가상 공간 콘텐츠 파일을 처리할 수 있다(S340). 이 때, 가상머신에 의해 처리된 3D 가상 공간 콘텐츠 파일은 공유 저장소에 저장될 수 있다.

시그널링 서버(690)를 거쳐 클라우드 플랫폼(660)의 가상머신에 의해 처리된 3D 가상 공간 콘텐츠는 플레이어(670)로 업로드되고 상기 플레이어(670)에서 스트리밍 서비스로 제공할 수 있다(S350).

전술한 실시예와 관련하여, 이하에서는 3D 콘텐츠와 같은 빅데이터의 스트리밍을 위한 클라우드 구축 및 VM 스케줄링 프레임워크에 관하여 첨부된 도면을 참조하여 설명한다. 상기 클라우드 구축은 전술한 도 16의 클라우드 플랫폼에 대응 또는 반영될 수 있다. 이는 사용자 요청에 따른 VM 인스턴스(instance) 생성 및 스트리밍 실행 가능한 백엔드 서버 구축, 클라우드 환경 구축, 고신뢰/고성능 스트리밍 서비스 제공을 위한 VM 스케줄링 프레임워크에 관한 것이다.

웹소켓 및 RESTful API와 관련하여, 노멀 클라이언트들을 위한 웹소켓은, run(activate)/exit(deactivate), 그리고 어드미니스터(administrator)를 위한 RESTful API는 VM 생성(create)/VM 삭제(delete)/VM 상태(status) 등에 활용될 수 있다. 사용자 요청 큐의 핸들링, 파일 시스템과 같이 자동으로 마운트되는 공유 콘텐츠 스토어, VM 스케줄러, SQL 로그 기반 모니터링 등이 관계될 수 있다. 상기에서 VM 스케줄러와 관련하여, 예를 들어 기실행된 대기 가상머신 인스턴스가 있는 경우에 재활용 방안, 동시접속 제한 방안, 사용자 계정 비활성 및 연결 종료 시 일정시간 대기 후 인스턴스 종료 방안 등이 고려될 수 있다.

도 18은 프레임워크의 전체 아키텍쳐를 도시한 도면이며, 도 19 내지 30은 각 시나리오에 따른 빅데이터 스트리밍 처리 과정을 설명하기 위해 도시한 도면이다.

도 18을 참조하면, 프레임워크의 전체 아키텍처는, 클라이언트 단, VM 스케줄링 프레임워크 단, 및 클라우드 플랫폼 단으로 구성될 수 있다.

각 단의 구성과 설명은 후술하는 각 시나리오에 따른 빅데이터 스트리밍 처리 과정과 함께 설명하며, 해당 구성요소들에 대한 상세 설명은 전술한 도 16의 설명을 참조한다.

먼저, 빅테이터 스트리밍 처리 과정에 대한 시나리오는 다음과 같이 정의될 수 있다. 제1 시나리오는 새로운 VM과 함께 액티베이션(activation)(도 19 및20 참조), 제2 시나리오는 재사용 가능한 VM 및 VM상의 콘텐츠와 함께 액티베이션(도 21 및 22 참조), 제3 시나리오는 새로운 VM과 함께 액티베이션(activation)(도 23 및 24 참조), 제4 시나리오는 재사용 가능한 VM 및 VM상의 콘텐츠와 함께 액티베이션(도 25 및 26 참조), 제5 시나리오는 새로운 VM과 함께 액티베이션(activation)(도 27 및 28 참조), 및 제6 시나리오는 재사용 가능한 VM 및 VM상의 콘텐츠와 함께 액티베이션(도 29 및 30 참조)이다.

먼저, 도 19와 20을 참조하여, 제1 시나리오(VM 인스턴스가 존재하지 않고 자원 할당이 가능한 경우)에 따른 처리 과정을 설명한다.

클라이언트1에서 콘텐츠 식별자(contentId)와 함께 액티베이션 요청을 하면(1), VM 스케줄러는 스케줄링 큐를 통해 VM 스테이터스 테이블로 페치 요청(fetch request)을 전송할 수 있다(2). VM 스케줄러의 VM 스테이터스 테이블은 페치 요청 수신에 따라 데이터베이스에 로그 요청을 할 수 있다(3).

클라우드 플랫폼에서는 새로운 VM을 생성하고, 이렇게 생성된 새로운 VM을 콘텐츠 식별자와 함께 할당할 수 있다(4). 이때, 새롭게 생성된 VM 정보는 콘텐츠 식별자와 함께 VM 스테이터스 테이블에 기록될 수 있다.

VM 스케줄러는 VM 스테이터스 테이블을 참조하여 VM 정보(콘텐츠 식별자와 할당된 VM)를 시그널링 서버로 전송하고(5), 할당된 VM에서 시그널링 서버를 시그널링할 수 있다(6).

시그널링 서버는 레디 메시지를 VM 스케줄러로 전송하고(7), VM 스케줄러는 할당된 VM 정보와 함께 클라이언트1의 액티베이션 요청에 응답한다(8).

클라이언트1이 시그널링 서버를 시그널링하면(9), 클라이언트1과 할당된 VM 사이에 WebRTC가 연결되어 액티베이션된다(10).

도 20을 참조하면, 클라이언트는 서버(130)와 통신을 위해 웹소켓 생성 요청을 하고, 서버(130)는 웹소켓을 생성할 수 있다.

이렇게 웹소켓이 생성되면, 클라이언트는 액티베이션 요청을 하고, 스케줄링 큐에서 요청 큐를 생성하여 VM 스케줄러로 전달하면, VM 스케줄러는 VM 스케줄링을 수행할 수 있다.

VM 스케줄링 과정을 살펴보면, VM 스케줄러는 먼저, 상기 요청된 큐가 기존 VM 인스턴스인지 판단하여, 상기 요청된 큐가 기존 VM 인스턴스가 아니라면, VM 스케줄러는 VM 추가 시동이 가능 여부를 판단하여 가능하면, 새로운 VM 인스턴스(VM-N)을 시동하고, 시동된 VM 인스턴스에 콘텐츠 식별자를 할당하고, 해당 VM을 할당할 수 있다.

할당된 VM의 정보는 WebRTC를 통해 클라이언트로 전달되고, WebRTC를 통해 클라이언트와 VM-N이 연결될 수 있다.

도 21과 22을 참조하여, 제2 시나리오(기존 콘텐츠에 해당하는 VM 인스턴스가 이미 존재하는 경우)에 따른 처리 과정을 설명한다.

도 21과 22의 과정을 설명함에 있어서, VM 할당과 관련된 내용을 제외하고는 동일한바, 이전 설명을 참조하고, 여기서는 제1 시나리오와의 차이점을 위주로 설명한다.

도 21을 참조하면, VM 스케줄러는 페치 요청에 따라 VM 스테이터스 테이블을 살펴본 결과, 만약 해당 콘텐츠 식별자와 동일한 VM이 이미 존재하는 경우에는, - 전술한 제1 시나리오와 같이 새로운 VM 시동 및 할당이 아니라 - 해당 VM을 재사용하여 재할당할 수 있다.

도 22를 참조하면, VM 스케줄러는 수신된 페치 요청이 기존 VM 인스턴스에 관한 것이고, 해당 VM 인스턴스의 콘텐츠 식별자가 페치 요청된 콘텐츠 식별자와 같으면, 해당 VM을 재사용하도록 할당할 수 있다.

도 23과 24를 참조하여, 제3 시나리오(VM 인스턴스는 존재하나 해당 콘텐츠 식별자는 없는 경우)에 따른 처리 과정을 설명한다.

도 23과 24의 과정을 설명함에 있어서, VM 할당과 관련된 내용을 제외하고는 동일한바, 이전 설명을 참조하고, 여기서는 제1 시나리오 및 제2 시나리오와의 차이점을 위주로 설명한다.

도 23을 참조하면, VM 스케줄러는 페치 요청에 따라 VM 스테이터스 테이블을 살펴본 결과, 만약 해당 콘텐츠 식별자와 동일한 VM이 이미 존재하는 경우에는, - 전술한 제1 시나리오와 같이 새로운 VM 시동 및 할당이 아님 - 해당 VM을 재사용하여 재할당할 수 있다. 다만, 이 경우, 제2 시나리오에서 이미 동일한 콘텐츠가 해당 VM에 할당된 것을 그대로 재사용하는 것이 아니라, 제3 시나리오는 할당 가능한 재사용 VM은 있으나 동일한 콘텐츠 식별자를 가지지 않은 경우이다. 따라서, VM 스케줄러는 재사용 가능한 VM에 페치 요청된 콘텐츠 식별자와 함께 할당할 수 있다.

도 24를 참조하면, VM 스케줄러는 수신된 페치 요청이 기존 VM 인스턴스에 관한 것이나 해당 VM 인스턴스의 콘텐츠 식별자가 페치 요청된 콘텐츠 식별자와 동일하지 않으면, 해당 VM 인스턴스에 상기 콘텐츠 식별자를 부여하여 해당 VM이 재사용되도록 할당할 수 있다.

도 25와 26을 참조하여, 제4 시나리오(스트리밍 데이터)에 따른 처리 과정을 설명한다.

도 25와 26을 참조하면, 클라이언트는 시그널링 서버와 웹소켓을 생성하고, 시그널링 서버는 VM과 웹소켓을 생성할 수 있다. 이렇게 시그널링 서버가 클라이언트와 VM 사이에 각각 웹소켓을 생성하면, 클라이언트와 VM은 WebRTC에 의해 스트리밍 서비스를 할 수 있다.

도 27을 참조하여, 제5 시나리오(기존 VM 인스턴스 상태 조회)에 따른 처리 과정을 설명한다.

클라이언트에서 기존 VM 인스턴스 상태 조회 요청을 전송하면, 스케줄링 큐에서 큐를 생성하여 VM 스케줄러로 전송하고, VM 스케줄러는 VM 스테이터스 테이블에서 해당 VM 인스턴스를 조회하여 그 결과를 클라이언트로 리턴(return)(응답)할 수 있다.

도 28과 29를 참조하여, 제6 시나리오(VM 인스턴스 디액티베이션)에 따른 처리 과정을 설명한다.

도 28과 29를 참조하면, 클라이언트에서 VM 디액티베이션 요청을 시그널링 서버로 전송하면, 시그널링 서버는 연결 해제(disconnection message)를 VM 스케줄러로 전송할 수 있다.

VM 스케줄러는 VM 스테이터스 테이블을 업데이트하고, 데이터베이스에 로그 클라이언트와 VM 정보를 기록한다. 그리고 VM 스케줄러는 클라우드 플랫폼에 해당 VM (인스턴스)의 디액티베이션 요청을 전송하고, 클라우드 플랫폼에서 해당 VM을 디액티베이트할 수 있다.

도 30에서는 해당 시나리오에 이용되는 각 구성요소들 사이의 인터페이스, 즉 API를 예시한 것으로, 클라이언트는 VM 스케줄러와 웹소켓 API가 설정되고, 클라이언트(어드미니스터)는 VM 스케줄러와 RESTful API가 설정될 수 있다.

VM 스케줄러와 클라우드 플랫폼의 VM 사이, 및 VM 스케줄러와 시그널링 서버 사이에는 RESTful API가 설정될 수 있다.

클라이언트와 시그널링 서버 사이, 시그널링 서버와 VM 사이, 클라이언트와 VM 사이에는 각각, 웹소켓 API가 설정될 수 있다.

다만, 도 30에 예시된 API는 일실시예로서, 반드시 이에 한정되는 것은 아니다.

도 34는 다른 실시예에 따른 3D 콘텐츠 데이터 처리 과정을 설명하기 위해 도시한 순서도이다.

도 34는 API를 이용하여 사용자 단말(110)에 설치된 플러그-인을 통하여 3D 툴에서 제작된 콘텐츠 데이터를 가져온 후에, 서버(130)에서 처리 과정에서 수정, 추가, 삭제 등 변경이나 업데이트가 있는 경우에 자동으로 상기 사용자 단말(110)의 3D 툴에 반영되도록 하는 것에 관한 실시예이다.

한편, 전술한 내용의 반대의 경우도 가능하다. 즉, API를 이용하여 사용자 단말(110)에 설치된 플러그-인을 통하여 3D 툴에서 제작된 콘텐츠 데이터를 가져온 후에, 사용자 단말(110)의 3D 툴에서 해당 콘텐츠 데이터의 업데이트가 있으면, 서버(130) 단에서 별도의 동작을 하지 않더라도 실시간 반영이 되도록 하는 것이다.

한편, 상기 과정에서, 변경이나 업데이트가 있는 경우에 이전 작업 내용과 차이점을 식별 가능하도록 새로운 파일명을 가질 수 있도록 제어할 수 있다. 이는 여러 번의 작업 과정에서 작업에 따른 오류나 실수 등에 따른 문제를 미연에 방지하기 위함이다. 한편, 반영되는 업데이트 내용은 식별 가능하도록 표시하여 해당 업데이트 내용을 직관적으로 판단할 수 있도록 서비스할 수 있다.

도 34를 참조하여, 본 실시예를 설명하되, S410 내지 S430 단계는 전술한 도 14의 S110 내지 S130 단계와 동일한 바, 그를 참조하고 중복 설명은 생략한다.

서버(130)는 패키징 과정에서 업데이트 내용이 있는지 판단하고(S440), 판단 결과 업데이트 내용이 있는 경우에는 해당 내용을 추출하여 제어 커맨드가 포함된 제어 데이터를 생성할 수 있다(S450).

서버(130)는 S450 단계에서 생성된 제어 데이터를 사용자 단말(110)로 전송하여(S460), 3D 툴 상의 3D 콘텐츠에 자동 반영되도록 할 수 있다(S470). 이 경우, 태그(tag)를 통하여 해당 3D 콘텐츠에 대한 내용임을 표시하여 함께 저장하고, 추후 3D 툴을 실행하여 해당 3D 콘텐츠를 호출하면 업데이트가 있다는 표시와 함께 가이드를 제공하고, 선택에 따라 자동으로 업데이터가 반영된 3D 콘텐츠를 3D 툴 상에 제공할 수 있다. 한편, 전술한 3D 툴을 실행하여 해당 3D 콘텐츠를 호출하기 전에 복수의 업데이트가 있는 경우에는, 예를 들어 시간대 순으로 업데이트를 구분하여 표시하거나 최종 버전의 업데이트만 표시할 수도 있다. 전자의 경우에는 각 구분된 업데이트의 간략한 내용을 표시하여 직관적으로 업데이트 반영 여부를 선택할 수 있도록 할 수 있다.

도 35는 서버(130)의 구성 블록도이다.

먼저, 도 35는 서버(130)의 구성 블록도로서, 본 발명의 일실시예에 따른 서버(130)는 메모리(memory)(2510)와 프로세서(processor)(2520)를 포함하여 구현될 수 있다.

상기 메모리(2510)는 하나 또는 그 이상의 데이터베이스(DB: database) 일 수 있으며, 전술한 각종 데이터베이스에 해당할 수 있다.

상기 프로세서(2520)는 도 12 내지 15, 도 16 내지 17, 도 19 내지 29, 및 도 34에서 기술한 각종 기능을 수행할 수 있다. 상기 프로세서(2520)는 도 31 내지 33에 도시된 사용자 인터페이스가 제공되도록 처리할 수 있다.

이상 상술한 바와 같이, 본 발명은 3D 공간과 공간상에서 이루어지는 행위들을 접근이 용이한 웹 기반의 3D 가상 공간 콘텐츠로 변환시키며, 이에 필요한 위치 정보나 시각화 내용 등에 관한 자동 변환 기능, 호스팅 자동 구축, 상기 행위에 관한 다양한 관련 기능들을 웹 빌더를 통해 제어하고 팀 단위와 같은 이해관계자들이 손쉽게 협업할 수 있는 저작툴을 제공할 수 있다.

한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD, DVD 등)와 같은 저장 매체를 포함한다.

본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명인 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법 및 이를 위한 장치는 다양한 360도 공간 이미지 및 메타 데이터를 추출하는 방법 및 장치에 이용할 수 있다.

Claims (6)

1. 서버가 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 방법에 있어서,
   3D 툴을 통하여 제작된 가상 공간에 대한 3D 데이터 내 특정 위치에 가상의 카메라를 위치시키는 단계;
   상기 가상의 카메라를 360도 Ⅹ 360도 방향으로 전방위 회전시키면서 상기 3D 데이터의 공간 이미지를 적어도 하나 이상 수집하는 단계;
   상기 수집된 적어도 하나 이상의 공간 이미지를 미리 정해진 위치로 겹친 후 각각의 픽셀 값을 보간(Interpolation)하는 단계;
   상기 보간 된 픽셀 값을 기반으로 상기 수집된 적어도 하나 이상의 공간 이미지를 미리 정해진 등장방형(Equirectangular) 이미지 포맷의 표면 상에 투사하는 단계; 및
   상기 등장방형 이미지 포맷의 표면 상에 투사된 이미지를 상기 3D 데이터의 360도 공간 이미지로 추출하는 단계;를 포함하는, 3D 데이터의 360도 공간 이미지 및 메타 데이터 추출 방법.
2. 제1항에 있어서,
   상기 3D 툴을 통하여 제작된 3D 데이터는 사용자 단말로부터 상기 서버로 임포트(Import)된 것인, 3D 데이터의 360도 공간 이미지 및 메타 데이터 추출 방법.
3. 제1항에 있어서,
   상기 3D 데이터의 공간 이미지는 미리 정해진 타일(Tile) 단위로 수집되는 것을 특징으로 하는, 3D 데이터의 360도 공간 이미지 및 메타 데이터 추출 방법.
4. 제1항에 있어서,
   상기 등장방형 이미지 포맷은 360도 구형(Sphere)의 화면을 2:1 비율의 평면에 표시하는 방식의 이미지 포맷인 것을 특징으로 하는, 3D 데이터의 360도 공간 이미지 및 메타 데이터 추출 방법.
5. 제1항에 있어서,
   상기 3D 데이터 내 존재하는 3D 모델, 마커 및 사용자와의 상호작용을 위한 아이콘을 포함하는 적어도 하나 이상의 객체에 대한 3차원 좌표 정보 및 방향 정보를 수집하는 단계;
   상기 수집된 적어도 하나 이상의 객체에 대한 3차원 좌표 정보가 나타내는 위치(Position), 크기(Scale) 및 회전(Rotation) 수치에 대해 행렬(Matrix) 연산을 수행하여 좌표계를 일치시키고 회전 중심축을 미리 정해진 기준에 따라 보정하는 단계; 및
   상기 좌표계가 일치되고 회전 중심축이 보정된 적어도 하나 이상의 객체에 대한 3차원 좌표 정보 및 방향 정보를 상기 하나 이상의 객체에 대한 메타 데이터로 추출하는 단계;를 포함하여 이루어지는,
   3D 데이터의 360도 공간 이미지 및 메타 데이터 추출 방법.
6. 3D 데이터의 360도 공간 이미지 및 메타 데이터를 추출하는 장치에 있어서,
   메모리; 및
   프로세서;를 포함하되,
   상기 프로세서는,
   3D 툴을 통하여 제작된 3D 데이터 내 특정 위치에 가상의 카메라를 위치시키고,
   상기 가상의 카메라를 360도 Ⅹ 360도 방향으로 전방위 회전시키면서 상기 3D 데이터의 공간 이미지를 적어도 하나 이상 수집하며,
   상기 수집된 적어도 하나 이상의 공간 이미지를 미리 정해진 위치로 겹친 후 각각의 픽셀 값을 보간(Interpolation)하고,
   상기 보간 된 픽셀 값을 기반으로 상기 수집된 적어도 하나 이상의 공간 이미지를 미리 정해진 등장방형(Equirectangular) 이미지 포맷의 표면 상에 투사하며,
   상기 등장방형 이미지 포맷의 표면 상에 투사된 이미지를 상기 3D 데이터의 360도 공간 이미지로 추출하도록 제어하는,
   3D 데이터의 360도 공간 이미지 및 메타 데이터 추출 장치.