KR102380178B1 - 가상현실 기술 기반의 온라인 스토어를 운용하는 장치 - Google Patents

가상현실 기술 기반의 온라인 스토어를 운용하는 장치 Download PDF

Info

Publication number
KR102380178B1
KR102380178B1 KR1020210046685A KR20210046685A KR102380178B1 KR 102380178 B1 KR102380178 B1 KR 102380178B1 KR 1020210046685 A KR1020210046685 A KR 1020210046685A KR 20210046685 A KR20210046685 A KR 20210046685A KR 102380178 B1 KR102380178 B1 KR 102380178B1
Authority
KR
South Korea
Prior art keywords
information
viewpoint
hotspot
moving
image data
Prior art date
Application number
KR1020210046685A
Other languages
English (en)
Inventor
정진희
Original Assignee
주식회사 앨컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 앨컴퍼니 filed Critical 주식회사 앨컴퍼니
Priority to KR1020210046685A priority Critical patent/KR102380178B1/ko
Application granted granted Critical
Publication of KR102380178B1 publication Critical patent/KR102380178B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

실시예들은 가상현실 기술 기반의 온라인 스토어를 운용하는 장치에 대한 것이다.
실시예들에 따르면, 제 2 시점의 존재 여부에 관한 정보가 제 2 시점이 존재함을 나타내는 것에 대응하여, 시그널링 정보는 제 2 시점에 관한 정보 및 무빙 핫스팟에 관한 정보를 더 포함하고, 제 2 시점에 관한 정보는 제 2 시점의 식별자 정보, 제 2 시점의 위치를 나타내는 좌표 정보 및 제 2 시점에서의 초기 시점 방향(initial viewing orientation)에 관한 정보를 포함하고, 무빙 핫스팟에 관한 정보는 무빙 핫스팟의 식별자 정보, 무빙 핫스팟의 크기를 나타내는 좌표 정보, 무빙 핫스팟의 위치를 나타내는 좌표 정보, 무빙 핫스팟의 방향을 나타내는 정보 및 무빙 핫스팟의 지속 시간에 관한 정보를 포함하는 VR 온라인 스토어를 위한 360 영상 데이터 송신 장치를 제공한다.

Description

가상현실 기술 기반의 온라인 스토어를 운용하는 장치 {apparatus that operates an online store based on virtual reality technology}
실시예들은 가상현실 기술 기반의 온라인 스토어를 운용하는 장치에 관한 것이다.
실시예들은 VR 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법에 대한 것이다.
VR(Virtual Reality) 시스템은 사용자에게 전자적으로 투영된 환경 내에 있는 것 같은 감각을 제공한다. AR(Augmented Reality, AR) 시스템은 현실의 이미지나 배경에 3차원 가상 이미지를 중첩하여, 사용자에게 가상과 현실이 혼합된 환경 내에 있는 것 같은 감각을 제공한다. VR 또는 AR을 제공하기 위한 시스템은 더 고화질의 이미지들과, 공간적인 음향을 제공하기 위하여 더 개선될 수 있다. VR 또는 AR 시스템은 사용자가 인터랙티브 하게 VR 또는 AR 컨텐츠들을 소비할 수 있도록 할 수 있다.
VR 또는 AR 컨텐츠에 대한 수요가 점점 증가하고 있는 상황에서, VR 또는 AR 컨텐츠 내의 복수의 시점들(multiple-viewpoints)에 대한 정보를 보다 구체적으로 시그널링 하는 방법을 고안할 필요성 또한 증가하고 있다.
VR 온라인 스토어 증가함에 따라, VR 온라인 스토어를 위한 360 영상 데이터 송/수신 장치의 필요성이 증가하고 있다.
공개특허공보 제10-2017-0126963호 (공개일자 2017년11월20일)
실시예들은, VR 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법을 제공할 수 있다.
실시예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 다양한 실시예들로부터 당해 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
실시예들에 따르면, 하나 또는 그 이상의 카메라들을 통하여 복수의 시점들(viewpoints)을 포함하는 360 영상 데이터 획득하는 획득부; 복수의 시점들에 포함된 제 1 시점에 관한 제 1 영상 데이터를 스티칭하는 스티처; 스티칭된 제 1 영상 데이터에 VR(Virtual Reality) 온라인 스토어에 관한 2D 이미지를 합성하는 이미지 합성부; 제 1 영상 데이터를 위한 하나 또는 그 이상의 핫스팟(hotspot)들을 생성하고, 스티칭된 제 1 영상 데이터에 핫스팟들을 삽입하는 핫스팟 생성부; 제 1 영상 데이터에 관한 시그널링 정보를 생성하는 시그널링 정보 파서; 및 제 1 영상 데이터 및 시그널링 정보를 송신하는 트랜스미터; 를 포함하고, 핫스팟들은 무빙 핫스팟 및 고정 핫스팟을 포함하고, 무빙 핫스팟은 복수의 시점들에 포함된 제 1 시점 및 제 2 시점에 기반하여 생성되고, 고정 핫스팟은 상기 VR 온라인 스토어에 관한 링크(link) 정보에 기반하여 생성되는, VR 온라인 스토어를 위한 360 영상 데이터 송신 장치를 제공한다.
실시예들에 따르면, 시그널링 정보는 제 1 시점에 관한 정보 및 제 2 시점의 존재 여부에 관한 정보를 포함하고, 제 1 시점에 관한 정보는 제 1 시점의 식별자 정보, 제 1 시점의 위치를 나타내는 좌표 정보, 제 1 시점의 화각(view angle)에 관한 정보, 제 1 시점의 시점 방향(viewing orientation)에 관한 정보 및 제 1 시 점 지속 시간(duration time)에 관한 정보를 포함하는, VR 온라인 스토어를 위한 360 영상 데이터 송신 장치를 제공한다.
실시예들에 따르면, 제 2 시점의 존재 여부에 관한 정보가 제 2 시점이 존재함을 나타내는 것에 대응하여, 시그널링 정보는 제 2 시점에 관한 정보 및 무빙 핫스팟에 관한 정보를 더 포함하고, 제 2 시점에 관한 정보는 제 2 시점의 식별자 정보, 제 2 시점의 위치를 나타내는 좌표 정보 및 제 2 시점에서의 초기 시점 방향(initial viewing orientation)에 관한 정보를 포함하고, 무빙 핫스팟에 관한 정보는 무빙 핫스팟의 식별자 정보, 무빙 핫스팟의 크기를 나타내는 좌표 정보, 무빙 핫스팟의 위치를 나타내는 좌표 정보, 무빙 핫스팟의 방향을 나타내는 정보 및 무빙 핫스팟의 지속 시간에 관한 정보를 포함하는 VR 온라인 스토어를 위한 360 영상 데이터 송신 장치를 제공한다.
실시예들에 따르면, 무빙 핫스팟의 위치를 나타내는 좌표는 제 1 시점의 위치를 나타내는 좌표 및 제 2 시점의 위치를 나타내는 좌표에 기반하여 계산되고, 무빙 핫스팟의 크기를 나타내는 좌표는 제 1 시점에서의 화각 및 제 1 시점에서의 시점 방향에 기반하여 적응적으로(adaptively) 변하는 VR 온라인 스토어를 위한 360 영상 데이터 송신 장치를 제공한다.
실시예들에 따르면, 고정 핫스팟은 VR 온라인 스토어에 관한 이미지 또는 영상을 출력하는 링크 정보에 대응하고, 시그널링 정보는 고정 핫스팟에 관한 식별자 정보 및 고정 핫스팟에 대응하는 링크 정보에 대한 식별자 정보를 포함하는 VR 온라인 스토어를 위한 360 영상 데이터 송신 장치를 제공한다.
실시예들에 따르면, VR 온라인 스토어를 위한 360 영상 데이터 송/수신 장치를 제공할 수 있다.
실시예들에 따르면, 효율적인 360 영상 데이터 송/수신 과정을 제공할 수 있다.
실시예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.
실시예들에 대한 이해를 돕기 위해 상세한 설명의 일부로 포함된, 첨부 도면은 다양한 실시예들을 제공하고, 상세한 설명과 함께 다양한 실시예들의 기술적 특징을 설명한다.
도 1은 실시예들에 따른 VR(Virtual Reality) 온라인 스토어를 위한 360 영상 데이터 송신 장치의 예시를 나타내는 블록도이다.
도 2는 실시예들에 따른 VR(Virtual Reality) 온라인 스토어에 관한 2D 이미지를 합성하는 과정의 예시를 나타낸다.
도 3은 실시예들에 따른 무빙 핫스팟(moving hotspot)의 예시를 나타낸다.
도 4는 실시예들에 따른 무빙 핫스팟(moving hotspot)의 예시를 나타낸다.
도 5는 실시예들에 따른 고정 핫스팟(static hotspot)의 예시를 나타낸다.
도 6은 실시예들에 따른 시그널링 정보의 예시를 나타낸다.
이하의 실시예들은 실시예들의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 다양한 실시예들을 구성할 수도 있다. 다양한 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 다양한 실시예들의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당해 기술분야에서 통상의 지식을 가진 자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 다양한 실시예들을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 다양한 실시예들에 따른 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 다양한 실시예들의 예시적인 실시형태를 설명하고자 하는 것이며, 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 다양한 실시예들에서 사용되는 특정(特定) 용어들은 다양한 실시예들의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 다양한 실시예들의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 실시예들에 따른 VR(Virtual Reality) 온라인 스토어를 위한 360 영상 데이터 송신 장치의 예시를 나타내는 블록도이다.
도 1은 실시예들에 따른 VR 온라인 스토어를 위한 360 영상 데이터 송신 장치(또는 송신 장치)의 예시를 나타낸다. 실시예들에 따른 송신 장치(1000)는 획득부(1001), 스티처(1002), 이미지 합성부(1003), 핫스팟 생성부(1004), 인코더(1005), 트랜스미터(1006) 및/또는 시그널링 정보 파서(1007)을 포함한다. 실시예들에 따른 송신 장치는 VR 온라인 스토어를 위한 360 영상 데이터 송신하기 위한 하나 또는 그 이상의 엘리먼트들을 더 포함할 수 있다.
실시예들에 따른 VR 온라인 스토어는 가상현실(Virtual Reality, VR) 온라인 스토어를 나타낸다. 즉, 실시예들에 따른 온라인 스토어는 가상현실을 통해 구성된다. 실시예들에 따른 VR은 인공적으로 사용자에게 감각적 경험을 제공하기 위해 설정된 스킴(scheme)을 나타낸다. 실시예들에 따른 VR을 통해 사용자는 전자적으로 프로젝션된 환경에 있는 경험을 제공받을 수 있다. 실시예들에 따른 온라인 스토어는 온라인 쇼핑몰(online shopping mall), 온라인 팝업 스토어(online pop-up store), 온라인 행사장, 온라인 미술관, 온라인 영화관 등을 나타낼 수 있다.
실시예들에 따른 360 영상 데이터는 상술한 VR을 구현 및/또는 제공하기 위한 360도 컨텐츠(contents) 전반을 의미한다. 실시예들에 따른 360도 컨텐츠는 3DoF(three Degrees of Freedom) 컨텐츠일 수 있다. 실시예들에 따른 360도 컨텐츠는 VR을 제공하기 위해 모든 방향(예를 들어, 360도)로 캡쳐되거나 획득된 비디오/이미지 컨텐츠를 나타낸다. 실시예들에 따른 360도 컨텐츠는 3D 모델에 따라 다양한 형태의 3D 공간 상에 나타내어 질 수 있으며, 구형면(spherical surface) 또는 원통형면(cylinderical surface) 상에 나타내어 질 수 있다. 사용자는 360도 컨텐츠를 통하여 VR 경험을 소비할 수 있다.
실시예들에 따른 획득부는 하나 또는 그 이상의 카메라들을 통하여 복수의 시점들(viewpoints)을 포함하는 360 영상 데이터 획득할 수 있다. 실시예들에 따른 획득부는 VR을 위한 특수 카메라를 사용할 수 있다. 실시예들에 따른 시점(viewpoint)는 360도 비디오에서 사용자의 위치를 나타낼 수 있다. 즉, 하나의 사용자의 위치(예를 들어, 360도 컨텐트에서의 사용자의 위치)에서 하나 또는 그 이상의 카메라들을 통하여 촬영된 360도 컨텐츠는 하나의 시점에 대응할 수 있다. 따라서 실시예들에 따른 획득부에 의해 획득된 360 영상 데이터는 복수의 시점들을 포함하는 영상을 나타낸다.
실시예들에 따른 스티처(stitcher)는 획득된 360 영상 데이터를 스티칭(stitching)할 수 있다. 실시예들에 따른 스티칭 과정은 하나 또는 그 이상의 카메라들을 통하여 획득된 영상 데이터를 연결하여 하나의 파노라마 영상/이미지를 만드는 과정을 나타낼 수 있다. 실시예들에 따른 스티칭은 시점별 영상 데이터 단위로 이루어질 수 있다. 즉, 스티처는 복수의 시점들에 포함된 제 1 시점에 관한 제 1 영상 데이터 및 제 2 시점에 관한 제 2 영상 데이터를 별도로 스티칭할 수 있다.
실시예들에 따른 이미지 합성부는 스티칭된 영상 데이터에 VR 온라인 스토어에 관한 2D 이미지를 합성할 수 있다. 실시예들에 따른 VR 온라인 스토어에 관한 2D 이미지는 VR 온라인 스토어에 관한 정보를 포함한다.
실시예들에 따른 프로젝션부(이 도면에 도시되어 있지 않음)은 스티칭된 영상 데이터를 2D 이미지상에 프로젝션(또는 맵핑)할 수 있다. 실시예들에 따른 프로젝션된 영상 데이터는 2D 이미지의 형태를 가질 수 있다.
실시예들에 따른 핫스팟 생성부는 영상 데이터를 위한 하나 또는 그 이상의 핫스팟들을 생성하고, 영상 데이터에 생성된 핫스팟들을 삽입할 수 있다. 실시예들에 따른 핫스팟(hotspot)은 360 영상 데이터에서 임의의 이미지 또는 아이콘 형태의 버튼(button)으로 표시될 수 있다. 사용자는 핫스팟을 선택하여 360 영상 데이터 또는 이미지 등을 제공받을 수 있다.
실시예들에 따른 핫스팟은 무빙 핫스팟(moving hotspot) 및/또는 고정 핫스팟(static hotspot)을 포함할 수 있다. 실시예들에 따른 무빙 핫스팟은 상술한 제 1 시점 및 제 2 시점 각각에 대응하는 영상 데이터(예를 들어, 제 1 영상 데이터 및 제 2 영상 데이터)를 서로 연결할 수 있다. 즉, 무빙 핫스팟은 복수의 시점들에 포함된 제 1 시점 및/또는 제 2 시점에 기반하여 생성된다. 사용자는 360도 비디오에서 임의의 이미지 또는 아이콘 형태의 버튼으로 표현되는 무빙 핫스팟을 선택(또는 클릭)하여 제 1 영상 데이터에서 제 2 영상 데이터로 이동(또는 연결)될 수 있다. 실시예들에 따른 고정 핫스팟은 VR 온라인 스토어에 관한 링크(link) 정보에 기반하여 생성될 수 있다. 즉, 고정 핫스팟은 VR 온라인 스토어에 관한 링크 정보를 연결하기 위한 버튼이다. 사용자는 360도 비디오에서 임의의 이미지 또는 아이콘 형태의 버튼으로 표현되는 고정 핫스팟을 선택(또는 클릭)하여 선택된 고정 핫스팟에 대응하는 링크 정보를 연결할 수 있다. 실시예들에 따른 링크 정보는 VR 온라인 스토어에 관한 이미지 또는 영상을 출력할 수 있다.
실시예들에 따른 인코더는 상술한 360 영상 데이터를 다양한 포맷으로 인코딩할 수 있다. 실시예들에 따른 인코더를 포함하는 송신 장치는 MPEG(Moving Picture Experts Group) 표준화 기구에 의한 표준 규격 등을 사용할 수 있다. 예를 들어, 인코더 및/또는 송신 장치는 MPEG-I 표준(ISO/IEC 23090), MPEG-I 표준(ISO/IEC 23090) 이후의 차세대 표준들 및/또는 ISOBMFF(ISO base media file format)를 기반으로 한 파일 포맷에 따라 동작할 수 있다.
실시예들에 따른 시그널링 정보 파서는 획득 과정/스티칭 과정/이미지 합성 과정/핫스팟 생성 과정/인코딩 과정/트랜스미팅 과정에 관한 시그널링 정보(또는 메타데이터)를 생성할 수 있다. 각 과정에서 생성된 시그널링 정보는 해당 과정 및/또는 해당 과정 이외의 과정에서 사용될 수 있다.
실시예들에 따른 트랜스미터는 360 영상 데이터 및 생성된 시그널링 정보를 수신 장치에 송신할 수 있다. 실시예들에 따른 수신 장치(이 도면에 도시되어 있지 않음)은 360 영상 데이터 및 생성된 시그널링 정보를 수신하고 사용자에게 360도 비디오 컨텐츠를 렌더링하여 제공할 수 있다. 실시예들에 따른 수신 장치는 도 1 에서 설명하는 송신 장치의 동작의 역과정에 대응하는 동작을 수행할 수 있다.
상술한 단계들(예를 들어, 획득 과정/스티칭 과정/이미지 합성 과정/핫스팟 생성 과정/인코딩 과정/트랜스미팅 과정)은 시점별 영상 데이터(예를 들어, 상술한 제 1 영상 데이터 및/또는 제 2 영상 데이터) 별로 수행될 수 있다. 시점별 영상 데이터에 대한 송신 장치의 동작들(획득 과정/스티칭 과정/이미지 합성 과정/핫스팟 생성 과정/인코딩 과정/트랜스미팅 과정)은 동시에 수행되거나 이시에 수행될 수 도 있다.
도 2는 실시예들에 따른 VR(Virtual Reality) 온라인 스토어에 관한 2D 이미지를 합성하는 과정의 예시를 나타낸다.
실시예들에 따른 이미지 합성부(예를 들어, 도 1의 이미지 합성부(1003))은 도 2 에서 설명하는 2D 이미지를 합성하는 과정을 수행할 수 있다. 2000은 2D 이미지를 합성하는 과정이 수행되기 이전의 영상 데이터를 나타낸다. 2001은 2D 이미지를 합성하는 과정이 수행된 영상 데이터를 나타낸다. 2002는 영상 데이터에 합성된 2D 이미지를 나타낸다.
실시예들에 따른 이미지 합성부는 다양한 2D/3D 합성 스킴(예를 들어, Adobe Photoshop CC)을 통하여 360 영상 데이터에 2D 이미지를 합성할 수 있다. 실시예들에 따른 이미지 합성부에 의한 2D 이미지 합성 과정은 스티칭 과정(예를 들어, 도 1의 스티처에 의한 스티칭 과정) 이후에 수행될 수 있다. 즉, 프로젝션부(예를 들어, 도 1의 프로젝션부)는 2D 이미지가 합성된 영상 데이터에 대하여 프로젝션 과정을 수행할 수 있다. 즉, 실시예들에 따른 송신 장치는 2D 이미지가 합성된 영상 데이터를 한번에 프로젝션하여, 수신 장치(예를 들어, 도 1 에서 설명한 수신 장치)는 별도의 2D 이미지 합성 과정 없이 2D 이미지가 합성된 영상 데이터를 렌더링할 수 있다. 즉, 실시예들에 따른 이미지 합성 과정에 의하여 수신 장치는 디코딩 과정에서의 버든(burden)을 줄이고 레이턴시(latency)를 조절할 수 있다.
도 1에서 상술한 바와 같이, 2D 이미지(2002)는 VR 온라인 스토어에 관한 정보를 포함할 수 있다. 예를 들어, 2D 이미지는 VR 온라인 스토어의 정보에 관한 이미지, VR 온라인 스토어의 상품(merchandise)에 관한 이미지, VR 온라인 스토어의 광고(promotion)에 관한 이미지를 나타낼 수 있다.
실시예들에 따른 송신 장치는 2D 이미지 합성 과정을 통하여 360 영상 데이터에 2D 이미지를 합성할 수 있다. 실시예들에 따른 합성된 2D 이미지를 기반으로 사용자는 VR 온라인 스토어에 관한 정보를 파악할 수 있다. 또한, 송신 장치는 2D 이미지가 합성된 영상 데이터에 대하여 프로젝션 과정을 수행하여, 수신 장치에서의 효율적인 디코딩 프로세스를 도모할 수 있다. 실시예들에 따른 시그널링 정보는 이 도면에서 설명하는 2D 이미지 합성에 대한 정보를 수신 장치에 제공할 수 있다.
도 3는 실시예들에 따른 무빙 핫스팟(moving hotspot)의 예시를 나타낸다.
실시예들에 따른 하나 또는 그 이상의 핫스팟들(예를 들어, 도 1에서 설명한 핫스팟들)은 무빙 핫스팟(예를 들어, 도 1 에서 설명한 무빙 핫스팟)을 포함한다. 도 3은 실시예들에 따른 무빙 핫스팟의 예시를 나타낸다.
도 1에서 상술한 바와 같이, 하나의 시점(viewpoint)은 360도 컨텐츠를 바라보는 하나의 사용자의 시점 위치(또는 시점 위치)에 대응한다. 즉, 서로 다른 시점의 시점 위치에 대응하는 영상 데이터는 서로 다르다. 실시예들에 따른 제 2 시점은 제 1 시점에 관련된 시점일 수 있다. 실시예들에 따른 제 2 시점은 제 1 시점에 대응하는 제 1 영상 데이터 이후에 렌더링 되어야 할 제 2 영상 데이터에 대응하는 시점 위치일 수 있다. 즉, 제 1 시점 및/또는 제 2 시점과 같은 시점들의 배열은 VR 온라인 스토어에서의 사용자의 시점 위치의 동선에 따라 생성될 수 있다. 실시예들에 따른 제 1 시점, 제 2 시점, 제 1 영상 데이터 및 제 2 영상 데이터에 대한 설명은 도 1에서 상술한 바와 동일 또는 유사하다. 예를 들어, 제 2 시점은 제 1 시점에 기반하여 사용자에 의해 기설정될 수 있다. 또한, 제 2 시점은 제 1 시점의 시점 위치에 가장 가까운 시점 위치를 가지는 시점일 수 있다.
실시예들에 따른 무빙 핫스팟은 제 1 시점에 대응하는 제 1 영상 데이터 및 제 2 시점에 대응하는 제 2 영상 데이터를 서로 연결할 수 있다. 상술한 바와 같이, 제 2 영상 데이터는 제 1 영상 데이터 이후에 렌더링 되어야할 영상 데이터를 나타낸다. 따라서, 제 1 영상 데이터 및 제 2 영상 데이터를 서로 연결하는 무빙 핫스팟은 제 1 영상 데이터에 삽입될 수 있다.
도 3은 제 1 영상 데이터에 삽입된 무빙 핫스팟을 나타낸다. 상술한 바와 같이, 무빙 핫스팟은 360도 비디오에서 임의의 이미지 또는 아이콘 형태의 버튼으로 표현될 수 있다. 3000 및 3001은 화살표(arrow) 모양의 버튼으로 표현되는 무빙 핫스팟을 나타낸다. 즉, 무빙 핫스팟의 개수는 하나 또는 그 이상일 수 있다. 사용자는 3000 및/또는 3001을 선택(또는 클릭)하여, 제 2 영상 데이터로 이동(또는 연결)될 수 있다.
실시예들에 따른 제 2 영상 데이터는 사용자의 무빙 핫스팟에 대한 클릭 없이 렌더링 될 수도 있다. 즉, 제 1 영상 데이터의 기설정된 지속 시간(duration time) 이후 제 2 영상 데이터가 렌더링 될 수 있다. 실시예들에 따른 무빙 핫스팟은 기설정된 지속 시간 이후 제 1 영상 데이터에서 렌더링 되지 않을 수 있다. 즉, 기설정된 지속 시간동안 사용자의 클릭이 없는 무빙 핫스팟은 제 1 영상 데이터에서 렌더링되지 않는다. 이 경우, 기설정된 사용자의 동작(예를 들어, 화면을 두번 탭(tap), 스와이프(swipe))에 대응하여 무빙 핫스팟은 다시 렌더링될 수 있다.
실시예들에 따른 송신 장치는 이 도면에서 설명하는 무빙 핫스팟을 통하여, 사용자에게 VR 공간상에서의 이동을 제공하고, 이동 동선에 대한 가이드 라인(guide line)을 제공할 수 있다. 실시예들에 따른 시그널링 정보는 이 도면에서 설명하는 무빙 핫스팟에 대한 정보를 포함하여 수신 장치에 제공할 수 있다. 또한, 시그널링 정보는 이 도면에서 설명하는 제 1 시점 및/또는 제 2 시점에 관한 정보를 포함하여 수신 장치에 제공할 수 있다.
도 4는 실시예들에 따른 무빙 핫스팟(moving hotspot)의 예시를 나타낸다.
도 4는 실시예들에 따른 무빙 핫스팟(도 1 내지 도 3에서 설명한 무빙 핫스팟)의 예시를 나타낸다. 상술한 바와 같이, 무빙 핫스팟은 임의의 이미지 또는 아이콘 형태로 표현될 수 있다. 도 4는 실시예들에 따른 무빙 핫스팟의 제 1 영상 데이터에서의 위치 및 무빙 핫스팟을 나타내는 이미지의 크기를 계산하는 과정의 예시를 나타낸다.
4000은 실시예들에 따른 무빙 핫스팟의 제 1 영상 데이터에서의 위치를 나타내는 좌표를 계산하는 방법을 설명하기 위한 도면이다.
실시예들에 따른 무빙 핫스팟은 제 1 시점의 위치를 나타내는 좌표 및 제 2 시점의 위치를 나타내는 좌표에 기반하여 계산될 수 있다. 실시예들에 따른 제 1 시점의 위치, 제 2 시점의 위치는 도 3에서 상술한 제 1 시점의 시점 위치, 제 2 시점의 시점 위치를 나타낼 수 있다. 실시예들에 따른 시점 위치는 x축 좌표값, y축 좌표값 및 z축 좌표값으로 표현될 수 있다. 4000a는 실시예들에 따른 제 1 시점의 위치를 나타낸다. 4000b는 실시예들에 따른 제 2 시점의 위치를 나타낸다. 예를 들어, 제 1 시점의 위치를 나타내는 좌표는 (0,0,0)를 가지고, 제 2 시점의 위치를 나타내는 좌표는 (0,3,0)을 가진다. 4000c는 실시예들에 따른 무빙 핫스팟의 위치를 나타낸다.
실시예들에 따른 무빙 핫스팟의 위치를 나타내는 좌표는 무빙 핫스팟을 나타내는 이미지의 중심점 또는 무게 중심점(center of gravity)의 위치를 나타내는 좌표일 수 있다. 실시예들에 따른 무빙 핫스팟의 위치는 제 1 시점의 위치 및 제 2 시점의 위치를 연결하는 선분(segment)의 내분점(internal dividing point)을 나타낼 수 있다. 실시예들에 따른 무빙 핫스팟은 제 2 시점의 위치 보다 제 1 시점의 위치에 더 가깝게 보이도록 렌더링될 수 있다. 따라서, 무빙 핫스팟의 위치는 제 1 시점의 위치 및 제 2 시점의 위치를 연결하는 선분의 내분점들 중에서 제 1 시점에 더 가깝게 위치하는 내분점을 나타낼 수 있다. 예를 들어, 무빙 핫스팟의 위치는 제 1 시점의 위치 및 제 2 시점의 위치를 1:2로 내분한 위치를 가질 수 있다. 즉, 제 1 시점의 위치를 나타내는 좌표는 (0,0,0)를 가지고, 제 2 시점의 위치를 나타내는 좌표는 (0,3,0)을 가지면, 무빙 핫스팟의 위치를 나타내는 좌표는 (0,1,0)을 가진다.
4001은 실시예들에 따른 무빙 핫스팟을 나타내는 이미지의 크기를 계산하기 위한 방법의 예시를 설명하기 위한 도면이다.
실시예들에 따른 무빙 핫스팟은 무빙 핫스팟의 위치를 나타내는 좌표 및 무빙 핫스팟을 나타내는 이미지의 크기에 기반하여 렌더링될 수 있다. 실시예들에 따른 무빙 핫스팟의 크기는 기설정된 값을 가질 수 있다. 즉, 무빙 핫스팟의 크기를 나타내는 좌표는 무빙 핫스팟의 위치를 나타내는 좌표를 중심으로 기설정된 무빙 핫스팟의 크기를 기반으로 표현될 수 있다. 예를 들어, 무빙 핫스팟의 크기를 나타내는 좌표는 화살표 이미지의 무게중심을 나타내는 좌표를 중심으로 화살표 이미지의 각 끝점들(예를 들어, 5개의 끝점들)을 나타내는 좌표들을 가질 수 있다. 기설정된 무빙 핫스팟의 크기는 일정하므로, 무빙 핫스팟의 위치를 나타내는 좌표가 제 1 시점 위치에 가까울수록, 무빙 핫스팟의 크기를 나타내는 좌표는 무빙 핫스팟이 더 커보이게 렌더링 되도록 설정될 수 있다. 예를 들어, 무빙 핫스팟의 크기를 나타내는 좌표들 간의 이격 거리는 무빙 핫스팟의 위치가 1:3 내분점을 가지는 경우에 비하여 1:2 내분점을 가지는 경우에, 더 좁을 수 있다.
실시예들에 따른 무빙 핫스팟의 크기를 나타내는 좌표(또는 좌표들)는 제 1 시점에서의 화각(view angle) 및 제 1 시점에서의 시점 방향(viewing orientation)에 기반하여 적응적으로(adaptively) 변할 수 있다. 실시예들에 따른 제 1 시점에서의 시점 방향은 제 1 시점 위치에서 사용자의 시선 방향을 의미할 수 있다. 실시예들에 따른 제 1 시점에서의 화각은 하나의 시점 방향에 대응하는 장면의 최대 시야 각도를 의미할 수 있다. 실시예들에 따른 무빙 핫스팟은 제 1 시점에서의 시점 방향 및 제 1 시점 위치 및 제 2 시점 위치를 연결하는 선분이 형성하는 각도가 0일 때(즉, 일치할 때), 가장 크게 보이도록 렌더링 될 수 있다. 이 경우, 실시예들에 따른 무빙 핫스팟의 크기를 나타내는 좌표는 렌더링되는 무빙 핫스팟이 기설정된 무빙 핫스팟의 크기를 가지게끔 설정될 수 있다. 실시예들에 따른 무빙 핫스팟은 제 1 시점에서의 시점 방향 및 제 1 시점 위치 및 제 2 시점 위치를 연결하는 선분이 이루는 각도가 제 1 시점에서의 화각의 절반에 해당하는 값을 가질 때, 가장 작게 보이도록 렌더링 될 수 있다.
4001a는 실시예들에 따른 제 1 시점의 시점 방향을 나타낸다. 4001b는 실시예들에 따른 제 1 시점 위치 및 제 2 시점 위치를 연결하는 선분을 나타낸다. 4001에서 나타내는 것과 같이, 제 1 시점에서의 시점 방향 및 제 1 시점 위치 및 제 2 시점 위치를 연결하는 선분이 이루는 각도가 k, 제 1 시점의 화각의 절반에 해당하는 값을 A/2(즉, 제 1 시점의 화각이 A) 및 기설정된 무빙 핫스팟의 크기를 X라고 가정한다. 상술한 가정 하에, 무빙 핫스팟의 렌더링 크기 X'은 다음과 같이 표현될 수 있다.
Figure 112021041964214-pat00001
a는 0보다 크고 1 보다 작은 상수를 가진다. 실시예들에 따른 무빙 핫스팟의 렌더링 크기 X'은 상술한 무빙 핫스팟의 크기를 나타내는 좌표에 의해 결정되는 크기를 나타낸다. 즉, 무빙 핫스팟의 렌더링 크기는 수신 장치의 렌더링 과정에서의 무빙 핫스팟의 크기를 나타낸다. 실시예들에 따른 시그널링 정보(예를 들어, 도 1 내지 도 3에서 설명한 시그널링 정보)는 제 1 시점의 화각에 관한 정보, 제 1 시점의 시점 방향에 관한 정보 및 상수 a에 관한 정보를 포함하여 수신 장치에 전달할 수 있다.
실시예들에 따른 무빙 핫스팟은 제 1 영상 데이터에서, 상술한 무빙 핫스팟의 위치를 나타내는 좌표만큼 이격된 위치에서, 상술한 무빙 핫스팟의 렌더링 크기를 가지도록 렌더링될 수 있다. 즉, 실시예들에 따른 무빙 핫스팟은 제 1 시점에서의 사용자의 시점 방향(또는 시선)이 제 1 시점 위치 및 제 2 시점 위치를 연결하는 선분에서 멀어질수록 더 작게 보일 수 있다. 사용자의 시점 방향은 관심 영역(ROI, Region of Interest)을 나타낼 수 있다. 무빙 핫스팟은 제 1 시점 위치 및 제 2 시점 위치를 연결하는 선분 상에 위치하도록 렌더링 되므로, 사용자의 ROI가 상술한 선분을 벗어날수록 무빙 핫스팟은 더 작게 보일 수 있다.
도 5는 실시예들에 따른 고정 핫스팟(static hotspot)의 예시를 나타낸다.
실시예들에 따른 하나 또는 그 이상의 핫스팟들(예를 들어, 도 1에서 설명한 핫스팟들)은 고정 핫스팟(예를 들어, 도 1 에서 설명한 고정 핫스팟)을 포함한다. 도 5는 실시예들에 따른 고정 핫스팟의 예시를 나타낸다.
도 1에서 상술한 바와 같이, 고정 핫스팟은 VR 온라인 스토어에 관한 링크(link) 정보에 기반하여 생성될 수 있다. 즉, 고정 핫스팟은 VR 온라인 스토어에 관한 링크 정보를 연결하기 위한 버튼이다. 예를 들어, 링크 정보는 VR 온라인 스토어에 관한 영상/이미지를 출력하기 위한 링크, VR 온라인 스토어의 상품(merchandise)에 관한 영상/이미지를 출력하기 위한 링크 및/또는 VR 온라인 스토어의 상품의 룩북(lookbool)/카탈로그(catalog)에 관한 영상/이미지를 출력하기 위한 링크를 나타낸다.
도 5는 영상 데이터에 삽입된 고정 핫스팟의 예시를 나타낸다. 5000는 영상 데이터에 삽입된 고정 핫스팟을 나타낸다. 즉, 고정 핫스팟은 영상 데이터 위에 임의의 이미지 또는 아이콘 형태의 버튼으로 삽입될 수 있다. 사용자가 영상 데이터 위에 삽입된 고정 핫스팟을 선택(또는 클릭)하는 것에 대응하여, 선택된 고정 핫스팟에 대응하는 링크 정보가 출력(5001)될 수 있다. 출력된 정보(5001)는 선택된 고정 핫스팟과 겹치지 않게 렌더링 되거나, 선택된 고정 핫스팟 위에 렌더링 될 수 있다. 실시예들에 따른 시그널링 정보는 고정 핫스팟에 관한 정보는 포함하여 수신 장치에 전달할 수 있다.
사용자는 영상 데이터 위에 삽입된 고정 핫스팟을 통하여, VR 온라인 스토어의 영상 데이터에 관한 추가적인 정보를 제공받을 수 있다.
도 6은 실시예들에 따른 시그널링 정보의 예시를 나타낸다.
도 6은 실시예들에 따른 시그널링 정보(예를 들어, 도 1 내지 도 5에서 설명한 시그널링 정보)의 예시를 나타낸다. 상술한 도 1의 시그널링 정보 파서(1007)은 이 도면에서 설명하는 시그널링 정보를 생성할 수 있다. 실시예들에 따른 시그널링 정보는 획득 과정/스티칭 과정/이미지 합성 과정/핫스팟 생성 과정/인코딩 과정/트랜스미팅 과정에 관한 정보를 포함할 수 있다. 실시예들에 따른 수신 장치는 이 도면에서 설명하는 시그널링 정보에 따라 360 영상 데이터를 출력(또는 렌더링)할 수 있다.
실시예들에 따른 시그널링 정보(6000)는 제 1 시점에 관한 정보 및 제 2 시점의 존재 여부에 관한 정보를 포함할 수 있다. 실시예들에 따른 제 1 시점 및 제 2 시점은 도 1 내지 도 5에서 상술한 바와 동일하다.
실시예들에 따른 제 1 시점에 관한 정보는 아래의 정보를 포함할 수 있다.
1st viewpoint ID는 제 1 시점의 식별자 정보를 나타낼 수 있다. 즉, 1st viewpoint ID은 제 1 시점을 식별하기 위한 식별자 정보를 나타낸다.
1st viewpoint position는 제 1 시점의 위치를 나타내는 좌표 정보를 나타낸다. 실시예들에 따른 제 1 시점의 위치를 나타내는 좌표에 대한 설명은 도 4에서 상술한 바와 동일하다.
1st viewpoint view angle은 제 1 시점의 화각에 관한 정보를 나타낸다. 실시에들에 따른 제 1 시점의 화각에 대한 설명은 도 4에서 상술한 바와 동일하다.
1st viewpoint viewing orientation은 제 1 시점의 시점 방향에 관한 정보를 나타낸다. 실시에들에 따른 제 1 시점의 시점 방향에 대한 설명은 도 4에서 상술한 바와 동일하다.
1st viewpoint duration time은 제 1 시점의 지속 시간에 관한 정보를 나타낸다. 실시예들에 따른 제 1 시점의 지속 시간에 대한 설명은 상술한 바와 동일하다.
2nd viewpoint existing flag는 상술한 제 2 시점의 존재 여부에 관한 정보를 나타낸다. 실시예들에 따른 2nd viewpoint existing flag가 제 2 시점이 존재함을 나타내는 것(예를 들어, 2nd viewpoint existing flag 가 1을 가지는 경우)에 대응하여, 시그널링 정보는 제 2 시점에 관한 정보 및 무빙 핫스팟에 관한 정보를 더 포함할 수 있다. 즉, 시그널링 정보는, 제 1 시점에 관한 제 2 시점이 존재하지 않는 경우에는, 제 2 시점에 관한 정보를 포함하지 않아, 시그널링 정보의 크기를 줄일 수 있다.
실시예들에 따른 제 2 시점에 관한 정보는 아래의 정보를 포함할 수 있다.
2nd viewpoint ID는 제 2 시점의 식별자 정보를 나타낼 수 있다. 즉, 2nd viewpoint ID는 제 2 시점을 식별하기 위한 식별자 정보를 나타낸다.
2nd viewpoint position는 제 2 시점의 위치를 나타내는 좌표 정보를 나타낸다. 실시예들에 따른 제 2 시점의 위치를 나타내는 좌표에 대한 설명은 도 4에서 상술한 바와 동일하다.
2nd viewpoint initial viewing orientation는 제 2 시점의 초기 시점 방향에 관한 정보를 나타낸다. 즉, 수신 장치는 2nd viewpoint initial viewing orientation이 나타내는 시점 방향을 제 2 시점에 대응하는 제 2 영상 데이터에서 가장 먼저 나타낼 수 있다. 즉, 2nd viewpoint initial viewing orientation은 제 2 영상 데이터로 이동된 이후 가장 먼저 보이는 시점 방향에 대한 정보를 나타낸다.
실시예들에 따른 무빙 핫스팟에 관한 정보는 아래의 정보를 포함할 수 있다.
moving hotspot ID은 무빙 핫스팟의 식별자 정보를 나타낼 수 있다. 즉, moving hotspot ID는 무빙 핫스팟을 식별하기 위한 식별자 정보를 나타낸다.
moving hotspot size coord는 무빙 핫스팟의 크기를 나타내는 좌표 정보를 나타낼 수 있다. 실시예들에 따른 무빙 핫스팟의 크기를 나타내는 좌표에 대한 설명은 도 4에서 상술한 바와 동일하다.
moving hotspot position coord는 무빙 핫스팟의 위치를 나타내는 좌표 정보를 나타낼 수 있다. 실시예들에 따른 무빙 핫스팟의 위치를 나타내는 좌표에 대한 설명은 도 4에서 상술한 바와 동일하다.
moving hotspot orientation은 무빙 핫스팟의 방향을 나타내는 정보를 나타낼 수 있다. 즉, moving hotspot orientation은 무빙 핫스팟이 향하는 방향(예를 들어, 화살표 아미지가 향하는 방향)을 나타낼 수 있다.
moving hotspot duration time은 무빙 핫스팟의 지속 시간에 관한 정보를 나타낼 수 있다. 실시예들에 따른 무빙 핫스팟의 지속 시간에 대한 설명은 상술한 바와 동일하다.
moving hotspot constant_a는 무빙 핫스팟의 크기를 계산하기 위한 상수 a에 관한 정보를 나타낼 수 있다. 상수 a에 대한 설명은 도 4에서 상술한 바와 동일하다.
실시예들에 따른 시그널링 정보는 고정 핫스팟에 관한 시그널링 정보를 더 포함할 수 있다. 실시예들에 따른 고정 핫스팟에 관한 시그널링 정보는 아래의 정보를 포함할 수 있다.
static hotspot ID는 고정 핫스팟에 관한 식별자 정보를 나타낼 수 있다. 즉, static hotspot ID는 고정 핫스팟을 식별하기 위한 식별자 정보를 나타낸다.
static hotspot link ID는 고정 핫스팟에 대응하는 링크 정보에 대한 식별자 정보를 나타낼 수 있다. 즉, static hotspot link ID는 static hotspot ID에 의해 식별되는 고정 핫스팟에 대응하는 링크 정보를 식별할 수 있다.
실시예들에 따른 송신 장치는 이 도면에서 설명하는 시그널링 정보를 수신 장치에 전달하고, 수신 장치는 시그널링 정보를 기반으로 360 영상 데이터를 디코딩 및/또는 렌더링할 수 있다.
다양한 실시예들은 그 기술적 아이디어 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 다양한 실시예들의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 다양한 실시예들의 등가적 범위 내에서의 모든 변경은 다양한 실시예들의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (1)

  1. 하나 또는 그 이상의 카메라들을 통하여 복수의 시점들(viewpoints)을 포함하는 360 영상 데이터 획득하는 획득부;
    상기 복수의 시점들에 포함된 제 1 시점에 관한 제 1 영상 데이터를 스티칭하는 스티처;
    상기 스티칭된 제 1 영상 데이터에 VR(Virtual Reality) 온라인 스토어에 관한 2D 이미지를 합성하는 이미지 합성부;
    상기 제 1 영상 데이터를 위한 핫스팟(hotspot)들을 생성하고, 상기 스티칭된 제 1 영상 데이터에 상기 핫스팟들을 삽입하는 핫스팟 생성부;
    상기 제 1 영상 데이터에 관한 시그널링 정보를 생성하는 시그널링 정보 파서; 및
    상기 제 1 영상 데이터 및 상기 시그널링 정보를 송신하는 트랜스미터; 를 포함하고,
    상기 핫스팟들은 무빙 핫스팟 및 고정 핫스팟을 포함하고,
    상기 무빙 핫스팟은 상기 복수의 시점들에 포함된 상기 제 1 시점 및 제 2 시점에 기반하여 생성되고,
    상기 고정 핫스팟은 상기 VR 온라인 스토어에 관한 링크(link) 정보에 기반하여 생성되고,
    상기 시그널링 정보는 상기 제 1 시점에 관한 정보 및 상기 제 2 시점의 존재 여부에 관한 정보를 포함하고,
    상기 제 1 시점에 관한 정보는 상기 제 1 시점의 식별자 정보, 상기 제 1 시점의 위치를 나타내는 좌표 정보, 상기 제 1 시점의 화각(view angle)에 관한 정보, 상기 제 1 시점의 시점 방향(viewing orientation)에 관한 정보 및 상기 제 1 시점의 지속 시간(duration time)에 관한 정보를 포함하고,
    상기 제 2 시점의 존재 여부에 관한 정보가 상기 제 2 시점이 존재함을 나타내는 것에 대응하여, 상기 시그널링 정보는 제 2 시점에 관한 정보 및 무빙 핫스팟에 관한 정보를 더 포함하고,
    상기 제 2 시점에 관한 정보는 상기 제 2 시점의 식별자 정보, 상기 제 2 시점의 위치를 나타내는 좌표 정보 및 상기 제 2 시점에서의 초기 시점 방향(initial viewing orientation)에 관한 정보를 포함하고,
    상기 무빙 핫스팟에 관한 정보는 상기 무빙 핫스팟의 식별자 정보, 상기 무빙 핫스팟의 크기를 나타내는 좌표 정보, 상기 무빙 핫스팟의 위치를 나타내는 좌표 정보, 상기 무빙 핫스팟의 방향을 나타내는 정보 및 상기 무빙 핫스팟의 지속 시간에 관한 정보를 포함하고,
    상기 무빙 핫스팟의 위치를 나타내는 좌표는 상기 제 1 시점의 위치를 나타내는 좌표 및 상기 제 2 시점의 위치를 나타내는 좌표에 기반하여 계산되고,
    상기 무빙 핫스팟의 크기를 나타내는 좌표는 상기 제 1 시점에서의 화각 및 상기 제 1 시점에서의 시점 방향에 기반하여 적응적으로(adaptively) 변하는 것을 특징으로 하는,
    장치.
KR1020210046685A 2021-01-28 2021-04-09 가상현실 기술 기반의 온라인 스토어를 운용하는 장치 KR102380178B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210046685A KR102380178B1 (ko) 2021-01-28 2021-04-09 가상현실 기술 기반의 온라인 스토어를 운용하는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210012410A KR102240933B1 (ko) 2021-01-28 2021-01-28 Vr 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법
KR1020210046685A KR102380178B1 (ko) 2021-01-28 2021-04-09 가상현실 기술 기반의 온라인 스토어를 운용하는 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210012410A Division KR102240933B1 (ko) 2021-01-28 2021-01-28 Vr 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102380178B1 true KR102380178B1 (ko) 2022-03-30

Family

ID=75441021

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020210012410A KR102240933B1 (ko) 2021-01-28 2021-01-28 Vr 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법
KR1020210046694A KR102380184B1 (ko) 2021-01-28 2021-04-09 Vr 영상 데이터 또는 ar 영상 데이터를 생성하는 송신 장치
KR1020210046685A KR102380178B1 (ko) 2021-01-28 2021-04-09 가상현실 기술 기반의 온라인 스토어를 운용하는 장치
KR1020210046688A KR102380183B1 (ko) 2021-01-28 2021-04-09 온라인 쇼핑몰에 vr 기술을 적용시킨 서버
KR1020210046686A KR102380181B1 (ko) 2021-01-28 2021-04-09 Vr 온라인 스토어에 관한 이미지 또는 영상을 출력하는 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020210012410A KR102240933B1 (ko) 2021-01-28 2021-01-28 Vr 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법
KR1020210046694A KR102380184B1 (ko) 2021-01-28 2021-04-09 Vr 영상 데이터 또는 ar 영상 데이터를 생성하는 송신 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020210046688A KR102380183B1 (ko) 2021-01-28 2021-04-09 온라인 쇼핑몰에 vr 기술을 적용시킨 서버
KR1020210046686A KR102380181B1 (ko) 2021-01-28 2021-04-09 Vr 온라인 스토어에 관한 이미지 또는 영상을 출력하는 장치

Country Status (1)

Country Link
KR (5) KR102240933B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022056A (ko) * 2013-08-21 2015-03-04 한국원자력연구원 미생물 발효 셀룰로오스 다공성 필터 및 그 제조방법
KR20170126963A (ko) 2015-06-15 2017-11-20 구글 엘엘씨 시뮬레이터 멀미를 예방하기 위해 뷰포인트 전환들을 포함하는 가상 현실 컨텐츠 제시
KR20200087845A (ko) * 2018-04-11 2020-07-21 엘지전자 주식회사 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022064A (ko) * 2013-08-21 2015-03-04 (주)인스페이스 미러월드 기반 인터랙티브 온라인 쇼핑몰 제품의 판매 지원 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022056A (ko) * 2013-08-21 2015-03-04 한국원자력연구원 미생물 발효 셀룰로오스 다공성 필터 및 그 제조방법
KR20170126963A (ko) 2015-06-15 2017-11-20 구글 엘엘씨 시뮬레이터 멀미를 예방하기 위해 뷰포인트 전환들을 포함하는 가상 현실 컨텐츠 제시
KR20200087845A (ko) * 2018-04-11 2020-07-21 엘지전자 주식회사 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치

Also Published As

Publication number Publication date
KR102380183B1 (ko) 2022-03-30
KR102380184B1 (ko) 2022-03-30
KR102240933B1 (ko) 2021-04-15
KR102380181B1 (ko) 2022-03-30

Similar Documents

Publication Publication Date Title
CN111164969B (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
US11575869B2 (en) Overlay processing method in 360 video system, and device thereof
US11831855B2 (en) Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
KR20190116916A (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US8773504B2 (en) Stereoscopic content service system and method
US11882267B2 (en) Adapting video images for wearable devices
CN110612723A (zh) 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
CN110663067B (zh) 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统
US20230179756A1 (en) Information processing device, information processing method, and program
CA3113757A1 (en) Image synthesis
JP2011151773A (ja) 映像処理装置及び制御方法
KR20190116928A (ko) 360도 비디오를 송수신하는 방법 및 그 장치
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
KR101752691B1 (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
KR102380178B1 (ko) 가상현실 기술 기반의 온라인 스토어를 운용하는 장치
KR101315398B1 (ko) 3차원 증강 현실 표시 장치 및 방법
JP7173249B2 (ja) クライアント装置、表示システム、クライアント装置の処理方法およびプログラム
WO2022263709A1 (en) A method, an apparatus and a computer program product for video conferencing
KR20200095112A (ko) 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant