KR20210138090A - Vr360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(method and device for transmitting viewpoint switching capabilities in a vr360 application) - Google Patents

Vr360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(method and device for transmitting viewpoint switching capabilities in a vr360 application) Download PDF

Info

Publication number
KR20210138090A
KR20210138090A KR1020217033633A KR20217033633A KR20210138090A KR 20210138090 A KR20210138090 A KR 20210138090A KR 1020217033633 A KR1020217033633 A KR 1020217033633A KR 20217033633 A KR20217033633 A KR 20217033633A KR 20210138090 A KR20210138090 A KR 20210138090A
Authority
KR
South Korea
Prior art keywords
transition
time
parameter
viewport
application
Prior art date
Application number
KR1020217033633A
Other languages
English (en)
Other versions
KR102669467B1 (ko
Inventor
마리-럭 조지스 헨리 챔펠
Original Assignee
베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 filed Critical 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Publication of KR20210138090A publication Critical patent/KR20210138090A/ko
Application granted granted Critical
Publication of KR102669467B1 publication Critical patent/KR102669467B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시예는 VR360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치를 제공한다. 당해 VR360 애플리케이션에서 시점 전환 기능을 전송하는 방법은, VR360 애플리케이션의 시점 간 전환하는 구성을 결정하는 단계; 및 구성을 VR360 애플리케이션에 전송하는 단계; 를 포함한다.

Description

VR360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(METHOD AND DEVICE FOR TRANSMITTING VIEWPOINT SWITCHING CAPABILITIES IN A VR360 APPLICATION)
본 발명의 실시예는 통상적으로 가상 현실 360(Virtual Reality 360, VR360) 기술에 관한 것으로, 특히 VR360 애플리케이션에서 시점 전환 기능을 전송하는데 사용되는 방법 및 장치에 관한 것이다
OMAF(Omnidirectional MediA Format, 전방향 미디어 포맷)은 전방향 미디어 애플리케이션을 구현하는 미디어 포맷을 정의하고, 360°비디오, 이미지, 오디오 및 관련되는 동기화 텍스트에 초점을 둔다. OMAF는 아래의 내용을 상세하게 설명하며, 아래의 내용을 포함하나 이에 한정되지 않는다.
1). 단위 구면 및 3차원 공간을 포함하는 좌표계;
2). 구형 비디오 시퀀스 또는 이미지를 2차원 직사각형 비디오 시퀀스 또는 이미지로 변환하는데 각각 사용되는 투영 및 직사각형 영역 포장 방법;
3). ISO/IEC 14496-12에서 규정된 ISOBMFF(ISO Base Media File Format, ISO 기본 미디어 파일 포맷)으로 전방향 미디어 및 관련 메타 데이터를 저장하고;
4). 미디어 스트리밍 시스템의 전방향 미디어의 캡슐화, 시그널링, 스트리밍, 당해 미디어 스트리밍 시스템을 예를 들면, ISO/IEC 23009-1에서 규정된 HTTP에서의 동적 적응 스트리밍(DASH), 또는 ISO/IEC23008-1에서 규정된 MPEG 미디어 전송(MMT)이 있고; 및
5). 미디어 구성 파일과 표시 구성 파일은 미디어 코덱에 대한 인터렉션과 일관성 요점 및 전방향 미디어 콘텐츠의 압축, 스트리밍 및 재생에 사용되는 미디어 코딩 및 캡슐화 구성을 제공한다.
전방향 비디오는 일반적인 전방향 미디어 애플리케이션 중 하나이고, 360°비디오라고도 불리운다. 전방향 비디오는 전형적으로 장면의 360°를 커버할 수 있는 복수의 카메라 통해 촬영할 수 있다. 전통적인 미디어 애플리케이션 포맷에 비해, 다양한 촬영과 비디오 투영 기술은 전방향 비디오의 종단 간 기술(촬영에서 재생까지)이 더 쉽게 분할되는 경우를 초래한다. 촬영 측면에서는, 현재 다양한 부동 유형의 카메라가 이미 360°비디오를 촬영하는 능력을 구비하고, 재생 측면에서도 다양하고 부동한 처리 능력을 구비하여 360°비디오를 재생할 수 있는 기기가 존재한다.
전방향 미디어 콘텐츠와 기기의 분할을 방지하기 위해, OMAF 표준 ISO/IEC 23090-2(MPEG-I part2)은 전방향 미디어 애플리케이션 프로그램의 표준 포맷을 상세하게 설명한다.
헤드 마운트 플레이어 또는 헤드폰의 OMAF 플레이어를 통해 전방향 미디어 콘텐츠를 나태낼 경우, 사용자 시선 방향의 일 부분에 대응되는 미디어만 표시하고, 사용자가 미디어를 촬영하는 시간과 지점에 있는 것과 같다.
도1은 예시적으로 3개의 방, 즉 방(A), 방(B), 방(C)을 구비한 VR360 애플리케이션의 장면을 나타낸다. 각 방에 있어서, 사용자는 도1에 도시된 시점(viewpoint) 위치에서 전방향 비디오를 재생할 수 있다. 각 방의 시점(도1에 도시된 시점(A), 시점(B), 시점(C))은 당해 360°비디오가 표시되는 범위의 중심이다. 이는 사용자의 위치로 이해해도 된다.
각 시점에 있어서, 각각 추천 뷰포트(recommended viewport)/디폴트 뷰포트(default viewport)가 미리 정의된다. 도1에 도시된 바와 같이, 당해 추천 뷰포트/디폴트 뷰포트는 각각 뷰포트(A), 뷰포트(B), 뷰포트(C)이다.
뷰포트(viewport)는 VR360 비디오 중의 일 부분이다. 예를 들면, 가시적 뷰포트는 사용자가 실제로 VR360 비디오의 일부를 본 위치이다. 가시적 석굴은 사용자 시선 방향으로 이해될 수 있다.
현재, MPEG-I는 부동한 시점 간 전환하는 것을 서포트하지 않는다.
본 발명은 동일한 VR360 애플리케이션에서 부동한 시점 간 전환하는 수단을 제공한다.
본 발명 실시예의 제1 측면에 따르면, 본 출원의 실시예는 일 방법을 제공하고, 당해 방법은,
VR360 애플리케이션의 시점 간 전환하는 구성을 결정하는 단계; 및
구성을 상기 VR360 애플리케이션에 전송하는 단계; 를 포함한다.
본 발명 실시예의 제2 측면에 따르면, 본 출원의 실시예는 일 방법을 제공하고, 당해 방법은,
VR360 애플리케이션의 시점 간 전환하는 구성을 획득하는 단계; 및
상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하는 단계; 를 포함한다.
본 발명 실시예의 제3 측면에 따르면, 본 출원의 실시예는 일 장치를 제공하고, 당해 장치는,
VR360 애플리케이션의 시점 간 전환하는 구성을 결정하도록 구성된 결정 모듈; 및
상기 구성을 상기 VR360 애플리케이션에 전송하도록 구성된 전송 모듈; 을 포함한다.
본 발명 실시예의 제4 측면에 따르면, 본 출원의 실시예는 일 장치를 제공하고, 당해 장치는,
VR360 애플리케이션의 시점 간 전환하는 구성을 획득하도록 구성된 획득 모듈; 및
상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하도록 구성된 전환 모듈; 을 포함한다.
본 발명 실시예의 제5 측면에 따르면, 본 출원의 실시예는 일 장치를 제공하고, 당해 장치는 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함하고, 상기 프로세서는,
VR360 애플리케이션의 시점 간 전환하는 구성을 결정하고;
구성을 상기 VR360 애플리케이션에 전송하는 명령을 수행하도록 구성된다.
본 발명 실시예의 제6 측면에 따르면, 본 출원의 실시예는 일 장치를 제공하고, 당해 장치는 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함하고, 상기 프로세서는,
VR360 애플리케이션의 시점 간 전환하는 구성을 획득하고;
상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하는 명령을 수행하도록 구성된다.
본 발명 실시예의 제7 측면에 따르면, 본 출원의 실시예는 적어도 하나의 명령이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 명령은 프로세서에 의해 로드 및 수행되어,
가상 현실 360 애플리케이션의 시점 간 전환하는 구성을 결정하고;
구성을 상기 VR360 애플리케이션에 전송하는 동작을 수행하도록 한다.
본 발명 실시예의 제8 측면에 따르면, 본 출원의 실시예는 적어도 하나의 명령이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 명령은 프로세서에 의해 로드 및 수행되어,
가상 현실 360 애플리케이션의 시점 간 전환하는 구성을 획득하고;
상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하는 동작을 수행하도록 한다.
도면을 결합하여 열독할 경우, 하기의 특정 실시예에 대한 설명을 통해, 본 발명 실시예의 기타 특징 및 우점도 명백해질 것이고, 도면은 예시의 방식으로 본 발명 실시예의 원리를 나타낸다.
본 발명의 실시예는 예시의 형식으로 나타낸 것이고, 아래는 도면을 참조하여 그들의 우점을 상세하게 설명한다.
도1 은 예시적으로 하나의 장면에 복수의 시점 및 복수의 뷰포트가 존재하는 예를 나타낸다.
도2 는 예시적으로 본 발명 실시예의 방법(200)의 흐름도를 나타낸다.
도3a 내지 도3f은 예시적으로 시점 간 전환하는 활성화 윈도우의 예를 나타낸다.
도4a 내지 도4d는 예시적으로 시점 간 전환하는 뷰포트의 예를 나타낸다.
도5는 예시적으로 전환 전이할 경우 방송 시간의 예를 나타낸다.
도6은 예시적으로 시점 간 전환하는 예를 나타낸다.
도7은 예시적으로 본 발명 실시예의 방법(700)의 흐름도를 나타낸다.
도8은 예시적으로 본 발명 실시예를 구현하는데 적용되는 장치(800)의 블록도를 나타낸다.
도9는 예시적으로 본 발명 실시예를 구현하는데 적용되는 장치(900)의 블록도를 나타낸다.
도10은 예시적으로 본 발명 실시예를 구현하는데 적용되는 장치(1000)의 블록도를 나타낸다.
도11은 예시적으로 본 발명 실시예를 구현하는데 적용되는 장치(1100)의 블록도를 나타낸다.
Figure pct00001
Figure pct00002
Figure pct00003
Figure pct00004
Figure pct00005
Figure pct00006
Figure pct00007
Figure pct00008
아래는 몇몇 예시적인 실시예를 참조하여 본 명세서에서 설명하는 주제에 대해 토론한다. 이해해야 할 것은, 당업자가 본 명세서에서 설명하는 주제의 목적을 더 잘 이해함으로, 본 명세서에서 설명하는 주제의 목적을 구현하기 위해 당해 실시 방식을 토론하는 것일 뿐, 주제의 범위에 대한 한정은 아니다.
본 발명에 사용된 용어는 단지 특정 실시예를 설명하기 위한 것일 뿐, 예시적인 실시예를 한정하기 위한 것이 아니다. 본 발명에 사용된 바와 같이, 별도의 설명이 있지 않는 한, 홀수 형식의 "일", "하나의" 및 "당해"는 복수 형식도 포함한다. 용어 "포괄" 및/또는 "포함"이 본 명세서에서 사용될 경우, 설명된 특징, 전체, 단계, 동작, 소자, 및/또는 어셈블리의 존재를 지정하나, 하나 또는 복수의 기타 특징, 전체, 단계, 동작, 소자, 어셈블리 및/또는 그 조합의 존재 또는 추가를 배제하지 않는 점을 더 이해해야 한다.
주의해야 할 것은, 일부 교체 가능한 실시예에서, 도면에 기록된 기능과 동작은 도면에 기록된 순서에 한정되지 않을 수 있다. 예를 들면, 언급된 기능 및 동작을 기반으로, 연속적으로 표현된 2개의 기능 또는 동작은 실제로 동시 수행될 수 있고, 어느 때는 역순으로 수행될 수 있다.
본 발명의 실시예는 다양한 장치 및/또는 시스템에 적용될 수 있다. 신속한 발전을 기반으로, 이 후의 종류 유형의 기술, 시스템 및 장치에 나타나게 될 수 있다. 주의해야 할 것은, 본 발명의 보호 범위는 상술한 장치 및/또는 시스템에 한정되어서는 않된다.
본 발명에 사용된 바와 같이, 용어 "VR360 플레이어"는 VR360 미디어를 재생할 수 있는 장치를 기리킨다. 예를 들면, 헤드웨어 플레이어, 이어폰 및 기타 장치를 가리킨다. 당해 VR360 미디어는 전방향 비디오 스트리밍을 가리키고, 360° 비디오, 전방향 미디어 또는 전방향 미디어 비디오라고도 불리운다. 본 발명의 일부 실시예에서, 당해 VR360 미디어는 OMAF 미디어일 수 있다. 본 발명의 일부 실시예에서, 당해 VR360 플레이어는 OMAF 플레이어일 수 있다. 당해 용어 "VR360 애플리케이션"은 적어도 하나의 시점을 포함하는 애플리케이션을 가리키고, 당해 VR360 플레이어는 시점 간 전환할 수 있다. 예를 들면, 당해 VR360은 하나의 시점(메타 시점이라고 함)에서 다른 하나의 시점(목적 시점이라고 함)으로 전환할 수 있다. 당업자는 VR360 애플리케이션이 어느 하나의 필요한 기기에 의해 생성될 수 있고, 어느 하나의 필요한 기기, 예를 들면 VR360 플레이어 또는 OMAF 플레이어에 의해 재생될 수 있음을 이해할 수 있다.
본 발명에 사용된 바와 같이, 용어 "시점 전환"은 VR360 플레이어가 VR360 애플리케이션에서 메타 시점에서 목적 시점으로 전환하는 것을 가리킨다.
본 발명의 일부 실시예에서, 하기의 ISOBMFF 구조를 정의한다.
ViewpointPosStruct()는 시점이 전체 좌표 시스템에서의 위치를 정의하고, 이외에 GPS 정보가 있을 수 있고;
ViewpointGlobalCoordinateSysRotationStruct()는 시점이 전체 좌표 시스템에서의 방향을 정의하고;
ViewpointGlobalCoordinateSysRotationStruct()는 시점에 대한 그룹화를 허용하고; 및
ViewpointEntry()는 각 시점의 교유한 시점 id(viewpoint_id)를 정의한다.
시점 사이의 모든 가능한 전이를 설명하기 위해, 본 발명은 적어도 하나의 시점과 전환할 경우 전이가 존재하는 관련되는 새로운 구성을 제공한다. 따라서, VR360 애플리케이션의 줄거리에서 각 가능한 경로를 설명할 수 있다. 본 발명의 일부 실시예에서, 당해 구성은 시점 또는 전환 전이에 관련된 추가 ISOBMFF 구조일 수 있다.
아래 도면을 기반으로 본 발명의 일부 예시성 실시예를 설명한다 .
도2a는 본 발명 실시예의 방법(200)의 흐름을 예를 들어 설명한다. 당해 방법(200)은 VR360 애플리케이션을 생성하는데 사용되는 기기 또는 기타 유사한 기기로 구현될 수 있다.
단계 201에서, VR360 애플리케이션의 시점 간 전환하는 구성을 결정한다.
단계 202에서, 상기 구성을 VR360 애플리케이션에 전송한다.
일부 실시예에서, 당해 구성은 시점 또는 전환 전이에 구성된 적어도 하나의 컨테이너로 구현될 수 있다. 일부 실시예에서, 당해 구성이 복수의 컨테이너에 의해 구현될 경우, 그 중의 일부 컨테이너는 시점에 구성될 수 있고, 일부 컨테이너는 전환 전이에 구성될 수 있다.
일부 실시예에서, 당해 컨테이너는 ISOBMFF 컨테이너 또는 기타 어느 유사한 포맷일 수 있다. 당업자는 당해 구성이 어느 하나의 적당한 포맷으로 구현될 수 있다는 것을 이해할 수 있다.
일부 실시예에서, 당해 구성은 하기의,
특정 시점 전환의 초기 뷰포트를 나타내는 뷰포트 파라미터(viewport parameter);
특정 시점 전환의 특정 전이 효과를 나타내는 전이 효과 파라미터(transition effect parameter);
시점 전환의 적어도 하나의 활성화 윈도우를 나타내는 활성화 윈도우 파라미터(activation window parameter); 및
특정 시점 전환의 목적 미디어 시간에서의 재생 타임라인의 시작위치를 나타내는 전환 타임 파라미터(time switching parameter); 중 임의의 파라미터 또는 임의의 파라미터의 조합을 포함한다.
일부 실시예에서, 당해 4개의 파라미터는 단독으로 구성 또는 결합 구성될 수 있다. 일부 실시예에서, 상기 임의의 파라미터 또는 파라미터 조합은 하나 또는 복수의 컨테이너를 통해 구현될 수 있다.
일부 실시예에서, 당해 뷰포트 파라미터는 특정 시점 전환 전이의 초기 뷰포트의 정보를 나타낸다. 일부 실시예에서, 뷰포트 파라미터가 설정된 경우, 당해 특정 초기 뷰포트는 시점 전환 전이 후 사용된다. 그렇지 않으면, 추천 뷰포트 또는 디폴트 뷰포트가 사용된다.
일부 실시예에서, 당해 전이 효과 파라미터는 시점 전환 전이의 효과 미디어의 정보를 나타낸다. 당해 효과 미디어는 일 섹션의 비디오 또는 알려진 실제 전환일 수 있다. 예를 들면, 페이드-투-블랙, 미러 효과, 플라이 오버 또는 기타일 수 있다. 일부 실시예에서, 당해 전환은 하나의 미리 정의된 리스트 중의 ID로 식별하거나, 또는 시점 전환 전이할 경우 재생하는 내부 또는 외부 비디오 스트림의 ISOMBFF 추적 id(track_id)로 식별할 수 있다. 일부 실시예에서, 당해 전환 효과 파라미터가 설정된 경우, 당해 VR360 플레이어는 특정 시점 전환 전이할 경우 당해 전환 효과 파라미터에 따라 특정 전이 효과를 재생하고; 그렇지 않으면, 당해 VR360 플레이어는 전환 효과도 재생하지 않고, 즉시로 목적 시점과 관련되는 VR360 비디오를 재생한다.
일부 실시예에서, 당해 활성화 윈도우 파라미터는 전이가 활성화될 경우, 현재 시점 미디어 타임라인과 관련된 적어도 하나의 활성화 윈도우를 나타낸다. 일부 실시예에서, 당해 활성화 윈도우 파라미터가 설정된 경우, 당해 VR360 플레이어는 활성화 윈도우에서만 목적 시점으로 전환할 수 있다. 그렇지 않으면, VR360 은 타임라인의 임의의 타이밍에서 목적 시점으로 전환한다.
일부 실시예에서, 당해 전환 타임 파라미터는 시점 전환 전이 후 목적 시점의 VR360 미디어의 타임라인에서 재생할 위치를 나타낸다. 일부 실시예에서, 오프셋이 설정된 경우, 당해 VR360 플레이어는 목적 시점으로 전환한 후 당해 오프셋에서 VR360 미디어를 재생하기 시작한다. 그렇지 않으면, 당해 VR360 플레이어는 목적 시점으로 전환한 후 당해 목적 시점의 VR360 미디어의 절대 위치(t0) 또는 상대 위치(tcurr)에서 VR360 미디어를 재생한다. 일부 실시예에서, 절대 위치(t0)는 목적 시점 미디어 타임라인의 시작 위치를 가리키고, 상대 위치(tcurr)는 목적 시점 미디어 타임라인의 현재 시간(current time)을 가리킨다. 당해 "현재 시간"은 시점 전환 전이가 활성화된 타이밍을 가리킨다.
일부 실시예에서, 당해 전환 타임 파라미터는 하기의,
시간 오프셋을 설정하였는지 여부를 나타내는 타임라인 전환 오프셋 플래그(timeline-switching-offset flag);
오프셋의 수치를 나타내는 오프셋 표시자(offset indicator); 및,
오프셋의 시작점을 나타내는 현재 관련 플래그(relative-to-current flag) 중 적어도 하나의 파라미터를 포함한다.
일부 실시예에서, 당해 절대 오프셋은 당해 오프셋이 시점 미디어 타임라인 시작점에 대한 오프셋임을 가리키고; 상대 오프셋은 당해 오프셋이 시점 미디어 타임라인의 현재 시간에 대한 오프셋임을 가리킨다.
일 실시예에서, 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=0이고, 당해 현재 관련 플래그 relative-to-current flag=0일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 t0에서, 즉, 당해 시점 미디어 타임라인의 시작점에서 재생을 시작한다. 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=0이고, 당해 현재 관련 플래그 relative-to-current flag=1일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 tcurr에서, 즉, 당해 시점 미디어 타임라인의 현재 시간에서 재생을 시작한다. 당해 "현재 시간"은 시점 전환 전이가 활성화된 타이밍을 가리킨다. 타임라인 전환 오프셋 플래그 imeline-switching-offset flag=1이고, 당해 현재 관련 플래그 relative-to-current flag=0일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 t0+offset에서 재생을 시작한다. 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=1이고, 당해 현재 관련 플래그relative-to-current flag=1일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 tcurr+offset에서 재생을 시작한다.
도3a는 예시적으로 3개의 방, 즉 방(A), 방(B), 방(C)을 구비한 장면에서 발생한 VR360 애플리케이션을 나타낸다. 사용자는 도3a에 도시된 시점과 뷰포트로 VR360 미디어를 재생할 수 있다. 일부 실시예를 기반으로, 3개의 ISOBMFF 컨테이너는 각각 3개의 시점에 첨부되고, 또는 4개의 SOBMFF 컨테이너는 각각 4개의 가능한 전환 전이에 첨부된다. 당해 4개의 가능한 전이는 각각, 시점(A)에서 시점(B)으로 전환하고, 시점(B)에서 시점(A)으로 전환하고, 시점(A)에서 시점(C)으로 전환하며, 시점(C)에서 시점(A)으로 전환하는 것이다. 당업자는 당해 ISOBMFF가 당해 일부 시점에만 첨부되고, 또는 당해 일부 전환 전이에만 첨부되고, 또는 일부 ISOBMFF 컨테이너가 시점에 첨부되며, 일부 ISOBMFF 컨테이너가 전환 전이에 첨부됨을 이해할 수 있다.
일부 실시예에서, 당해 뷰포트 파라미터는,
목적 시점에 초기 뷰포트가 구성되어 있는지 여부를 나타내는 뷰포트 플래그(viewport flag)를 포함한다.
일부 실시예에서, 당해 뷰포트 플래그는 목적 시점이 초기 뷰포트를 구비하는지 여부를 나타낸다. 초기 뷰포트를 구비할 경우, VR360 플레이어는 시점 전환 전이 후 제공된 초기 뷰포트로 시점과 관련된 VR360 미디어를 재생한다. 일부 실시예에서, 초기 뷰포트를 구비하지 않을 경우, 당해 VR360 플레이어는 시점 전환 전이 후 추천 뷰포트 또는 디폴트 뷰포트로 시점과 관련된 VR360 미디어를 재생한다.
도3a는 예시적으로 3개의 시점 각각의 추천 뷰포트/디폴트 뷰포트인, 뷰포트(A), 뷰포트(B), 뷰포트(C)를 나타낸다. 일부 실시예에서, 당해 초기 뷰포트는 추천 뷰포트/디폴트 뷰포트와 동일할 수 있고, 부동할 수도 있다.
도3b, 도3c, 도3d, 도3e 및 도3f 는 예시적으로 본 발명의 실시예를 기반으로 하는 VR360 애플리케이션을 나타낸다.
도3b에 도시된 바와 같은 일부 실시예에서, 초기 뷰포트를 구비하지 않고, 사용자가 시점(B)에서 시점(A)으로 전환할 경우, 시점(A)에서 사용자의 뷰포트는 추천 뷰포트/디폴트 뷰포트인 뷰포트(A)이다. 그러나 실제 장면에서, 사용자의 시선 방향은 도3b에 도시된 뷰포트(BA)의 방향이다. 본 발명의 일부 실시예에서, 초기 뷰포트, 즉 뷰포트(BA)는, 시점(B)에서 시점(A)으로 전환하는 뷰포트로 미리 정의된다. 초기 뷰포트가 뷰포트 플래그에 의해 구성될 경우, 당해 초기 뷰포트(BA)는 사용자가 방(B) 과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다.
도3c에 도시된 바와 같은 일부 실시예에서, 초기 뷰포트를 구비하지 않고, 사용자가 시점(C)에서 시점(A)으로 전환할 경우, 시점(A)에서 사용자의 뷰포트는 추천 뷰포트/디폴트 뷰포트인 뷰포트(A)이다. 그러나 실제 장면에서, 사용자의 시선 방향은 도3c에 도시된 뷰포트(CA)의 방향이다. 본 발명의 일부 실시예에서, 초기 뷰포트, 즉 뷰포트(CA)는, 시점(C)에서 시점(A)으로 전환하는 뷰포트로 미리 정의된다. 초기 뷰포트가 뷰포트 플래그에 의해 구성될 경우, 당해 초기 뷰포트(CA)는 사용자가 방(C)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다.
도3d에 도시된 바와 같은 일부 실시예에서, 2개의 초기 뷰포트, 뷰포트(BA) 및 뷰포트(CA)는, 모두 미리 정의된다. 본 발명의 일부 실시예에서, 2개의 뷰포트는 모두 시점(A)에 구성되고, 또는 각각 2개의 전환 전이에 구성된다. 당업자는, 일부 실시예에서, 도3b 또는 도3c에 도시된 바와 같이 그 중의 1개의 초기 뷰포트만을 구성할 수 있음을 이해할 수 있다.
도3d를 참도하면, 부동한 전환은 부동한 초기 뷰포트에 대응될 수 있다. 예를 들면, 시점(B)에서 시점(A)으로의 전환은 시점(A)에 구성된 뷰포트(BA)에 대응되고, 시점(C)에서 시점(A)으로의 전환은 시점(A)에 구성된 뷰포트(CA)에 대응된다.
도3e에 도시된 바와 같은 일부 실시예에서, 초기 뷰포트를 구비하지 않고, 사용자가 시점(A)에서 시점(B)으로 전환될 경우, 시점(B)에서 당해 사용자의 뷰포트는 추천 뷰포트/디폴트 뷰포트인 뷰포트(B)이다. 그러나 실제 장면에서, 사용자의 시선 방향은 도3e에 도시된 뷰포트(AB)의 방향이다. 본 발명의 일부 실시예에서, 초기 뷰포트, 즉 뷰포트(AB)는, 시점(A)에서 시점(B)으로 전환하는 뷰포트로 미리 정의된다. 초기 뷰포트가 뷰포트 플래그에 의해 구성될 경우, 당해 초기 뷰포트(CA)는 사용자가 방(B)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다.
도3f에 도시된 바와 같은 일부 실시예에서, 초기 뷰포트를 구비하지 않고, 사용자가 시점(A)에서 시점(C)으로 전환될 경우, 시점(C)에서 당해 사용자의 뷰포트는 추천 뷰포트/디폴트 뷰포트인 뷰포트(C)이다. 본 실시예에서, 전환된 초기 뷰포트는 추천 뷰포트/디폴트 뷰포트와 동일하다. 일부 실시예에서, 사용자의 실제 시선 방향이 추천 뷰포트/디폴트 뷰포트와 부동할 경우, 사용자의 실제 시선 방향과 동일한 초기 뷰포트를 미리 정의해야 한다.
당업자는, 일부 실시예에서, 초기 뷰포트가 실제 시선 방향에 따라 미리 정의될 수 있음을 이해할 수 있다.
상술한 실시예를 기반으로, 당업자는 동일 시점에 대한 각 전이에 대응하는 초기 뷰포트는 부동한 것일 수 있다는 것을 이해한다. 예를 들면, 뷰포트(BA) 및 뷰포트(CA)가 있다.
일부 실시예에서, 당해 구성은 다양한 전환 가능을 더 포함하고, 각 전환 가능은 최대 하나의 뷰포트 파라미터(multiple switching possibilities with at most one viewport per switching possibility parameter)를 구비하고, 여기서 당해 파라미터는 하기의,
가능한 시점 전환 숫자를 나타내는 숫자 파라미터(number parameter); 및
각 가능한 시점 전환에 있어서, 목적 시점의 ID와 당해 목적 시점과 관련된 전이를 나타내는 ID 파라미터(ID parameter); 중 적어도 하나의 파라미터를 포함한다.
일부 실시예에서, 각 시점은 ViewpointEntry()의 ISOBMFF와 같은 구조를 통해 결정된 시점 id(viewpoint_id)를 구비한다. 당해 시점 id는 시점을 구분해낸다. ID 파라미터는 가능한 목적 시점의 시점 id를 나타낸다. 당해 숫자 파라미터는 현재 시점의 가능한 시점 전환의 수량을 나타낸다.
일부 실시예에서, 당해 전이 효과 파라미터는 하기의,
전이 효과를 구비하는지 여부를 나타내는 전이 효과 플래그(transition effect flag);
특정 전환의 전이 효과의 유형을 나타내는 전이 효과 유형 플래그(transition effect type flag); 및
특정 전이 효과 비디오가 저장되는 위치를 나타내는 전이 효과 표시자(transition effect indicator); 중 적어도 하나의 파라미터를 포함한다.
일부 실시예에서, 당해 전이 효과는 미리 정의된 비디오 또는 오디오 또는 전환 전이를 할 경우 재생 가능한 기타 임의의 적당한 미디어일 수 있다.
일부 실시예에서, 전이 효과 유형은 오디오, 알려진 실제 전환일 수 있다. 예를 들면, 페이드-투-블랙, 미러 효과, 플라이 오버 또는 기타일 수 있다. 당해 전이 효과는 전이 효과 유형 플래그(transition effect type flag)를 통해 나타낼 수 있다.
일부 실시예에서, 당해 전이 효과 표시자는 전환 전이할 경우 재생할 수 있는 비디오에 대응되는 추적 id를 포함한다. 당해 추적 id는 전이할 경우 재생하는 미디어를 식별한다. 일부 실시예에서, 당해 미디어는 VR360 콘텐츠에 저장된다. 일부 미디어에서, 당해 전이 효과 표시자는 전이할 경우 재생하는 미디어의 URL(Uniform Resource Locator, 유니폼 리소스 로케이터)를 포함한다. 당업자는 당해 전이 효과 플래그가 추적 id, URL, 또는 당해 미디어를 어드레싱할 수 있는 임의의 기존 기술을 포함할 수 있다는 것을 이해한다.
일부 실시예에서, 당해 활성화 윈도우 파라미터는 하기의,
전환 전이의 최소 시간이 구성되었는지 여부를 나타내는 최소 시간 플래그(minimum time flag) - 최소 시간이 구성되었을 경우, 전이는 당해 최소 시간 후에만 활성화될 수 있음 - ;
최소 시간의 수치를 나타내는 최소 시간 파라미터(minimum time parameter);
전환 전이의 최대 시간이 구성되었는지 여부를 나타내는 최대 시간 플래그(maximum time flag) - 최대 시간이 구성되었을 경우, 전이는 당해 최대 시간 전에만 활성화될 수 있음 - ; 및
최대 시간의 수치를 나타내는 최대 시간 파라미터(maximum time parameter); 중 적어도 하나의 파라미터를 포함한다.
일부 실시예에서, 당해 활성화 윈도우 파라미터는 현재 시점에 대해 전이가 활성화된 후의 미디어 타임라인이다. 일부 실시예에서, 전환 전이는 현재 시점 미디어 타임라인의 임의의 타이밍에서 활성화될 수 있다.
도4a 내지 도4d는 본 발명의 일부 실시예를 나타낸다. 도4a에서, 최소 시간 플래그 및 최대 시간 플래그가 설정된다. 당해 시점 미디어 타임라인의 최소 시간과 최대 시간은 1개의 시점 전환의 활성화 윈도우를 결정한다. 일부 실시예에서, 도4a에 도시된 현재 시점 미디어 타임라인에서 1개의 활성화 윈도우를 미리 정의한다. 일부 실시예에서, 타이밍 메타 데이터 트랙의 ViewpointSwitchingStruct()를 통해, 도4b에 도시된 현재 시점의 미디어 타임라인에서 복수의 활성화 윈도우가 미리 정의될 수 있다.
일부 실시예에서, 도4c에 도시된 바와 같이, 시점 미디어 타임라인의 최소 시간만이 설정되고, 최대 시간은 설정되지 않는다. 이는 당해 활성화 윈도우의 시작 시간만이 최소 시간 파라미터를 통해 미리 설정되고, 종료 위치는 한정되지 않는다는 것을 의미한다. 즉, 활성화 윈도우의 시작점은 당해 최소 시간이고, 종점은 당해 시점의 미디어 타임라인의 종점이다.
일부 실시예에서, 도4d에 도시된 바와 같이, 시점 미디어 타임라인의 최대 시간만이 설정되고, 최소 시간은 설정되지 않는다. 이는 당해 활성화 윈도우의 종료 위치만이 최대 시간 파라미터를 통해 미리 설정되고, 시작 위치는 한정되지 않는다는 것을 의미한다. 즉, 활성화 윈도우의 시작점은 당해 시점의 미디어 타임라인의 시작점이고, 종점은 당해 시점의 미디어 타임라인의 최대 시간이다.
일부 실시예에서, 당해 전환 타임 파라미터는 하기의,
시간 오프셋을 설정하였는지 여부를 나타내는 타임라인 전환 오프셋 플래그(timeline-switching-offset flag);
오프셋의 수치를 나타내는 오프셋 표시자(offset indicator); 및,
오프셋의 시작점을 나타내는 현재 관련 플래그(relative-to-current flag) 중 적어도 하나의 파라미터를 포함한다.
일부 실시예에서, 당해 절대 오프셋은 오프셋이 시점의 미디어 타임라인의 시작점에 대한 것임을 가리키고, 상대 오프셋은 오프셋이 시점의 미디어 타임라인의 현재 시간에 대한 것임을 가리킨다.
일 실시예에서, 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=0이고, 당해 현재 관련 플래그 relative-to-current flag=0일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 t0에서, 즉, 당해 시점 미디어 타임라인의 시작점에서 재생을 시작한다. 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=0이고, 당해 현재 관련 플래그 relative-to-current flag=1일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 tcurr에서, 즉, 당해 시점 미디어 타임라인의 현재 시간에서 재생을 시작한다. 당해 "현재 시간"은 시점 전환 전이가 활성화된 타이밍을 가리킨다. 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=1이고, 당해 현재 관련 플래그 relative-to-current flag=0일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 t0+offset에서 재생을 시작한다. 타임라인 전환 오프셋 플래그 timeline-switching-offset flag=1이고, 당해 현재 관련 플래그 relative-to-current flag=1일 경우, 전환 전이 후, 당해 목적 시점과 관련된 시점 미디어는 시간 tcurr+offset에서 재생을 시작한다.
도5는 예시적으로 본 발명의 VR360 애플리케이션의 일부 실시예를 나타낸다. VR360 플레이어를 구비한 사용자는 사용자가 문을 보도록 허용한 방(A)의 뷰포트(A)부터 시작하고, 시점(A)과 관련된 VR360 미디어는 VR360 미디어 타임라인의 시작점 시간 t0에서 재생을 시작한다. 사용자는 시간 t0에서 방(A)에서 방(B)으로 들어갈 경우, 당해 시점(B)으로의 전환 및 당해 초기 뷰포트는 사용자가 방(B)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다. 시점(B)와 관련된 VR360 미디어도 VR360 미디어 타임라인의 시작점 시간t0에서 재생을 시작한다.
시간 tcurr에서 사용자가 방(B)에서 방(A)으로 이동할 경우, 시점(A)으로 리턴하는 전환 및 당해 초기 뷰포트는 사용자가 방(B)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다. 이때, 당해 시점(A)에 관련된 시점 미디어는 계속하여 현재 시간(tcurr)에 전이 효과 비디오 재생을 더한 타이밍부터 재생을 계속한다. 당해 오프셋(offset)이 절대 오프셋일 경우, 당해 시점(A)에 관련된 미디어는 계속하여 타이밍 t0+ offset 의 위치에서 재생을 시작하고, 또는 오프셋(offset)이 상대 오프셋일 경우, 당해 시점(A)에 관련된 미디어는 계속하여 타이밍tcurr+offset 의 위치에서 재생을 시작한다.
이외에, 본 기술 발명은 전이 특성의 요소로 당해 새로운 시점 전환 구조를 채우는 내용을 제공하고,
전이 효과는 사용자를 위해 실제로 당해 전이를 재생하는데 사용되고; 당해 전이 효과는 미리 정의된 리스트(본 발명의 보호범위가 아니고, 기존 기술에서 선택할 수 있음) 중 1개의 id로 나타내거나, 또는 URL로 나타내거나, 또는 ISOBMFF 의 내부 또는 외부의 전이할 경우 재생하는 비디오 스트림의 추적 id(track_id)로 나타내는 실제로 알려진 변환(예를 들면, 페이드-투-블랙, 미러 효과, 플라이 오버??)일 수도 있다;
전이가 활성화되는 기간의 현재 시점 미디어 타임라인에 관련된 시간 윈도우;
목적 시점과 관련된 미디어 타임라인에서 어느 시간에서 전환하는 관련 정보;
목적 시점과 관련된 미디어 타임라인에서 공간(뷰포트)의 어느 곳에서 전환하는 관련 정보; 를 포함한다.
하기의 ISOBMFF 코드는 본 발명의 가능한 실시예이다.
aligned(8) class ViewpointSwitchingStruct () {
unsigned int(8) num_viewpoint_switching;
for (i = 0; i < num_viewpoint_switching; i++) {
unsigned int(16) destination_viewpoint_id;
ViewpointSwitchingTransition();
}
}
aligned(8) class ViewpointSwitchingTransition() {
unsigned int(1) transition_effect_flag;
unsigned int(1) timeline_switching_offset_flag;
unsigned int(1) relative_to_current_flag;
unsigned int(1) destination_viewport_flag;
unsigned int(1) min_time_flag;
unsigned int(1) max_time_flag;
bit(2) reserved = 0;
// type of transition effect
if (transition_effect_flag) {
unsigned int(8) transition_effect_type[i];
if (i==4) { unsigned int(32) transition_video_track_id; }
if (i==5) { unsigned int(32) transition_video_URL; }
}
// where to switch in timeline of media associated to destination viewpoint
if (timeline_switching_offset_flag) {
signed int (32) t_offset;
}
// which viewport to switch to in the destination viewpoint
if (destination_viewport_flag) {
SphereRegionConfigBox(); // definition of the destination viewport as a sphere region
}
// time window for activation of the switching
if (min_time_flag) { signed int (32) t_min; }
if (max_time_flag) { signed int (32) t_max; }
}
아래의 어의는 상술한 ISOBMFF 프로그램 실시예에 관련된 어의이다.
표 1- 가능한 ISOBMFF 프로그램 어의.
전이 효과 플래그
transition_effect_flag		 1과 같다는 것은 전이 효과 설명이 구성되었음을 나타낸다.
전이 효과 유형
transition_effect_type		 당해 시점으로 전환되었을 경우의 전이 효과 유형를 나타내는데 사용되고, 표2에 나타낸 바와 같다.
전이 비디오 추적 id
transition_video_track_id		 전이할 경우 재생한 비디오의 추적 id (track_id)를 나타내는데 사용된다.
전이 비디오 URLtransition_video_URL 전이할 경우 재생한 비디오의 URL를 나타내는데 사용된다.
타임라인 전환 오프셋 플래그timeline_switching_offset_flag 1과 같다는 것은 시간 오프셋이 구성되었음을 가리킨다.
현재 관련 플래그
relative_to_current_flag		 0과 같다는 것은 목적 시점과 관련된 비디오가 당해 시작점(t0)에서 재생을 시작한다는 것을 나타낸다. 오프셋(offset)이 구성되었을 경우, 미디어는 t0+t_offset에서 재생을 시작한다. 1과 같다는 것은 목적 시점과 관련된 비디오가 현재 시간 tcurr에서 재생을 시작한다는 것을 가리킨다. 오프셋(offset)이 구성되었을 경우, 미디어는 tcurr +t_offset에서 재생을 시작한다.
오프셋
t_offset		 전환할 경우 사용한 오프셋을 지시한다.
최소 시간 플래그
min_time_flag		 1과 같다는 것은 현재 뷰포트 미디어 타임라인에 관한 최소 시간이 구성되었음을 나타내고; 구성될 경우, 전이는 최소 재생 시간 후에만 활성화될 수 있다.
최대 시간 플래그max_time_flag 1과 같다는 것은 현재 뷰포트 미디어 타임라인에 관한 최대 시간이 구성되었음을 나타내고; 구성될 경우, 전이는 최대 재생 시간 전에만 활성화될 수 있다.
최소 시간
t_min		 현재 뷰포트 미디어 타임라인에서 전환이 활성화되기 전에 재생된 최소 시간을 나타낸다.
최대 시간t_max 현재 뷰포트 미디어 타임라인의에서 전환이 활성화된 후에 재생된 최대 시간을 나타낸다.
시점 전환 수량
num_viewpoint_switching		 현재 시점에서 ViewpointSwitchingStruct을 관련한 가능한 전환 전이를 나타낸다.
목적 시점 id
destination_viewpoint_id		 시점 전환의 목적 시점의 시점 id(viewpoint_id)를 나타낸다.
목적 뷰포트 플래그
destination_viewport_flag		 1과 같다는 것은 특정 뷰포트가 새로운 시점으로 전이된 후 사용된다는 것을 나타내고;
0과 같다는 것은 디폴트 OMAF 뷰포트 전환 과정이 사용됨을 나타낸다(구성될 경우 추천 뷰포트를 사용하고, 아니면 디폴트 뷰포트를 사용함).
표 2- 전이 효과 유형
값 설명
0 줌인(Zoom-in) 효과
1 워크 스루(Walk through) 효과
2 페이드-투-블랙(Fade-to-black) 효과
3 미러(Mirror) 효과
4 비디오 전이 (track_id를 통해)
5 비디오 전이 (URL을 통해)
6-127 미래의 확장에 미리 남겨둔다
당업자는, 본 발명의 일부 실시예에서 상기 ISOBMFF 프로그램을 이용할 수 있으나 이에 한정되지 않다는 것을 이해한다. 상술한 파라미터의 값은 예일 뿐이다.
현재의 OMAF 작업 문서(Working Draft W18227)에 비해, 상기의 본 발명에서 정의한 시점의 ISOBMFF 컨테이너는 하기의 새로운 ISOBMFF 아키텍처에 의존한다.
ViewpointSwitchingStruct()는 시점의 가능한 전환 전이 수량, 시점 전환의 목적 시점의 시점 id(viewpoint_id) 및 전환 전이의 전환 특성을 정의한다.
본 발명의 일부 실시예에서, ViewpointSwitchingStruct 컨테이너에 의해 제공된 당해 전환 활성화 시간 윈도우 메커니즘은 1개의 최소 시간과 최대 시간만을 허용한다. 현재 시점 미디어의 재생 타임라인에 복수의 활성화 윈도우를 제공하기 위해, 본 발명은 시간 메타데이터 트랙에서 동적 시점 정보에 ViewpointSwitchingStruct 컨테이너를 추가하도록 제안한다.
본 발명의 일부 실시예에서,
당해 뷰포트 파라미터(viewport parameter)는, 목적 뷰포트 플래그(destination_viewport_flag)를 포함하고;
당해 다양한 전환 가능의 각 전환 가능이 구비한 최대 1개의 뷰포트 파라미터(multiple switching possibilities with at most one viewport per switching possibility parameter)는, 시점 전환 수량(num_viewpoint_switching) 및 목적 시점 id(destination_viewpoint_id)를 포함하고;
당해 전환 효과 파라미터(transition effect parameter)는, 전이 효과 플래그(transition_effect_flag), 전이 효과 유형(transition_effect_type), 전이 비디오 추적 id (transition_video_track_id) 및 전이 비디오 URL(transition_video_URL)을 포함하며;
당해 전환 타임 파라미터(time switching parameter)는, 타임라인 전환 오프셋 플래그( timeline_switching_offset_flag ) , 현재 관련 플래그(relative_to_current_flag) 및 오프셋(t_offset) ; 을 포함하고,
당해 활성화 윈도우 파라미터(activation window parameter)는, 최소 시간 플래그(min_time_flag), 최대 시간 플래그(max_time_flag), 최소 시간(t_min) 및 최대 시간(t_max); 을 포함한다.
도6은 예시적으로 본 발명의 VR360 애플리케이션의 일부 실시예를 나타낸다. 본 발명의 일부 실시예에서, 당해 VR360 애플리케이션은 전형적인 OMAF 애플리케이션이다. 본 발명에 의해, 하기의 줄거리 경로가 설명될 수 있다.
당해 OMAF 애플리케이션은 사용자가 방(B) 및 방(C)을 볼 수 있도록 하는 추천 뷰포트(A)를 구비한 방(A)에서 시작된다. 당해 시점(A)에 관련된 비디오는 t0에서 시작된다.
사용자가 방(A)에서 방(B)으로 들어갈 경우, 시점(B)으로의 전환 및 당해 초기 뷰포트는 사용자가 방(B)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있고, 시점(B)에 관련된 비디오도 당해 시작점(t0)에서 시작된다.
사용자가 방(A)에서 방(C)으로 들어갈 경우, 시점(C)으로의 전이 및 초기 뷰포트는 사용자가 방(C)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있고, 시점(C)에 관련된 비디오도 당해 시작점(t0)에서 시작된다.
사용자가 방(B)에서 방(A)으로 돌아올 경우, 시점(A)으로 리턴하는 전이 및 당해 초기 뷰포트는 사용자가 방(C)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다. 이때, 시점(A)과 관련된 비디오는 계속하여 타임라인의 현재 시간(tcurr)에서 재생을 계속한다.
사용자가 방(C)에서 방(A)으로 돌아올 경우, 시점(A)로 리턴하는 전이 및 당해 초기 뷰포트는 사용자가 방(C)과 방(A) 사이의 문을 워크 스루하는 시선점을 사용자에게 표시할 수 있다. 이때, 시점(A)과 관련된 비디오는 계속하여 타임라인의 현재 시간(t'curr) 에서 재생을 계속한다.
주의해야 할 것은 실제에서, 사용자가 어느 방에서 온 것인지, 방(B) 아니면 방(C)에서 온 것인지를 기반으로 사용자의 초기 시점(뷰포트)은 실제로 부동하다.
본 발명은 하기의 적어도 하나의 우점을 구비한다.
임의의 타이밍에서, 시점에 관련된 독특한 ISOBMFF 컨테이너로 현재 시점의 시점 전환 기능을 OMAF 플레이어에 편리하게 전송할 수 있다.
다양한 전이 효과를 서포트할 수 있고, 재생된(짧은) 비디오는 당해 추적 id(track_id)로 동일한 OMAF 애플리케이션 파일에 삽입될 수 있고, URL에 의해 원격 위치에서 제공될 수도 있는 것을 포함한다.
목적 시점으로 전환하였을 경우, 새로운 미디어의 재생 시작 위치는 절대 오프셋일 수 있고, 메타 시점 미디어 현재 재생 시간에 대한 상대 오프셋일 수도 있다.
현재 목적 시점으로 전환될 경우, 특정 뷰포트를 지정할 수 있다. 이러면 허용된다. 예를 들면, 부동한 메타 시점에서 동일한 목적 시점으로 전환할 경우 부동한 뷰포트를 구비한다. 도6에 도시된 예를 참조하면 된다.
전송된 임의의 시점 전환에 있어서, 1개의 활성화 윈도우를 정의할 수 있다. 복수의 활성화 윈도우에 있어서, 본 발명은 1개의 방식을 정의하여 동적 시점 정보 메타 데이터 트랙으로 전송한다.
도7은 본 출원의 일부 실시예를 기반으로 한 방법(700)의 흐름도를 나타낸다. 당해 방법(300)은 VR360 플레이어 또는 OMAF 플레이어 또는 기타 유사한 기기로 수행될 수 있다.
단계 701에서, VR360 애플리케이션의 시점 간 전환하는 구성을 획득한다.
단계 702에서, 당해 구성에 따라 VR360 애플리케이션에서 시점을 전환한다.
도3a 내지 도6을 참조하고, 방법(700)의 당해 전환 전이의 실시예는 도3a 내지 도6과 동일하다.
도8은 본 발명의 일부 실시예를 수행하는데 적용되는 장치(800)의 간소화 블록도이다. 도8에 도시된 바와 같이, 당해 장치(800)는 하나 또는 복수의 프로세서(810), 프로세서에 연결된 하나 또는 복수의 메모리(820)를 포함한다. 당해 장치(800)는 VR360 애플리케이션을 제조하는 기기로 사용될 수 있다.
본 발명의 일부 실시예에서, 당해 프로세서(810)는,
VR360 애플리케이션에서 시점 전환을 하는 구성을 결정하고;
당해 구성을 VR360 애플리케이션에 전송하는 동작을 수행하도록 구성된다.
도3a 내지 도6을 참조하면, 전환 전이 장치(800)가 수행한 일부 실시예는 도3a 내지 도6에 도시된 실시예일 수 있다.
당해 프로세서(810)는 참조 예시로서, VR360 애플리케이션을 제조하는데 적용되는 임의의 유형일 수 있고, 하나 또는 복수의 일반 컴퓨터, 특정 용도 컴퓨터, 마이크로 프로세서, 디지털 신호 처리 장치(DSPs) 및 멀티 코어 프로세서 아키텍처를 기반으로 하는 프로세서를 포함할 수 있다. 당해 장치(800)는 복수의 프로세서를 구비할 수 있다. 예를 들면 특정 용도의 시간에서 메인 프로세서와 동기화 시계에 종속되는 직접 회로 칩이 있다.
당해 메모리(820)는 참조 예시로서, VR360 애플리케이션을 저장하는데 적용되는 메모리일 수 있고, 임의의 적합한 데이터 저장 기술을 통해 구현될 수 있다. 예를 들면, 비일시적 컴퓨터 판독 가능 저장 매체, 반도체를 기반으로 하는 메로리 기기, 자기 메모리 기기 및 시스템, 광학 메모리 기기 및 시스템, 고정 메모리 및 이동식 메모리가 있다.
당해 메모리(820)는 적어도 일 부분의 프로그램(830)을 저장한다. 당해 프로그램(830)은 프로그램 명령을 포함하는 것으로 간주되어, 관련된 프로세서(810)에 의해 수행될 경우, 장치(800)가 도2 내지 도6에 도시된 본 발명의 실시예를 수행하도록 한다. 즉, 본 발명의 실시예는 장치(800)의 프로세서(810)가 수행하는 소프트웨어에 의해 구현될 수 있고, 또는 하드웨어, 또는 하드웨어와 소프트웨어의 결합을 통해 수행될 수 있다.
도9는 본 발명의 일부 실시예를 수행하기 적합한 장치(900)의 간소화 블록도이다. 도8에 도시된 바와 같이, 당해 장치(900)는 하나 또는 복수의 프로세서(910), 프로세서에 연결된 하나 또는 복수의 메모리(920)를 포함한다. 당해 장치(900)는 VR360 애플리케이션을 재생하는 기기로 사용될 수 있다.
본 발명의 일부 실시예에서, 당해 장치(910)는,
VR360 애플리케이션의 시점 간 전환하는데 사용되는 구성을 획득하고;
당해 구성에 따라 VR360 애플리케이션의 시점 간 전환하는 동작을 수행하도록 구성된다.
도3a 내지 도6을 참조하면, 당해 전환 전이 장치(900)가 수행한 일부 실시예는 도3a 내지 도6에 도시된 실시예일 수 있다.
일부 실시예에서, 장치(900)는 프로세서(910)에 연결된 하나 또는 복수의 송신기/수신기(TX/RX)(940)를 더 포함할 수 있다. 일부 실시예에서, 당해 송신기/수신기(TX/RX)(940)는 당해 장치(900)의 위치를 결정하도록 구성된다.
당해 프로세서(910)는 참조 예시로서, VR360 애플리케이션을 재생하는데 적용되는 임의의 유형일 수 있고, 하나 또는 복수의 일반 컴퓨터, 특정 용도 컴퓨터, 마이크로 프로세서, 디지털 신호 처리 장치(DSPs) 및 멀티 코어 프로세서 아키텍처를 기반으로 하는 프로세서를 포함할 수 있다. 당해 장치(900)는 복수의 프로세서를 구비할 수 있다. 예를 들면 특정 용도의 시간에서 메인 프로세서와 동기화 시계에 종속되는 직접 회로 칩이 있다
당해 메모리(920)는 참조 예시로서, VR360 애플리케이션을 저장하는데 적용되는 메모리일 수 있고, 임의의 적합한 데이터 저장 기술을 통해 구현될 수 있다. 예를 들면, 비일시적 컴퓨터 판독 가능 저장 매체, 반도체를 기반으로 하는 메로리 기기, 자기 메모리 기기 및 시스템, 광학 메모리 기기 및 시스템, 고정 메모리 및 이동식 메모리가 있다.
당해 메모리(920)는 적어도 일 부분의 프로그램(930)을 저장한다. 당해 프로그램(930)이 프로그램 명령을 포함하여, 관련된 프로세서(910)에 의해 수행될 경우, 장치(900)가 도7에 도시된 본 발명의 실시예를 수행하도록 한다. 즉, 본 발명의 실시예는 장치(900)의 프로세서(910)가 수행하는 소프트웨어에 의해 구현될 수 있고, 또는 하드웨어, 또는 하드웨어와 소프트웨어의 결합을 통해 수행될 수 있다.
도10은 본 발명의 일부 실시예를 수행하는데 적용되는 장치(1000)의 간소화 블록도이다. 당해 장치(1000)는 VR360 플레이어로 사용될 수 있다. 도면에 도시된 바와 같이, 당해 장치(1000)는,
VR360 애플리케이션의 시점 간 전환하는데 사용되는 구성을 획득하도록 구성된 획득 모듈(1010) ; 및
당해 구성에 따라 VR360 애플리케이션의 시점 간 전환하도록 구성된 전환 모듈(1020); 을 포함한다.
당해 구성은 하기의,
특정 시점 전환의 초기 뷰포트를 나타내는 뷰포트 파라미터(viewport parameter);
특정 시점 전환의 특정 전이 효과를 나타내는 전이 효과 파라미터(transition effect parameter);
시점 전환의 적어도 하나의 활성화 윈도우를 나타내는 활성화 윈도우 파라미터(activation window parameter); 및
특정 시점 전환의 목적 미디어 시간에서의 재생 타임라인의 시작위치를 나타내는 전환 타임 파라미터(time switching parameter) 중 임의의 파라미터 또는 임의의 파라미터의 조합을 포함한다.
도3a 내지 도6을 참조하면, 당해 전환 전이 장치(1000)가 수행한 일부 실시예는 도3a 내지 도6에 도시된 실시예일 수 있다.
도11은 본 발명의 일부 실시예를 수행하는데 적용되는 장치(1100)의 간소화 블록도이다. 당해 장치(1100)는 VR360 플레이어로 사용될 수 있다. 도면에 도시된 바와 같이, 당해 장치(1100)는,
VR360 애플리케이션의 시점 간 전환하는 구성을 결정하도록 구성된 결정 모듈(1110); 및,
당해 구성을 VR360 애플리케이션에 전송하도록 구성된 전송 모듈(1020); 을 포함한다.
당해 구성은 하기의,
특정 시점 전환의 초기 뷰포트를 나타내는 뷰포트 파라미터(viewport parameter);
특정 시점 전환의 특정 전이 효과를 나타내는 전이 효과 파라미터(transition effect parameter);
시점 전환의 적어도 하나의 활성화 윈도우를 나타내는 활성화 윈도우 파라미터(activation window parameter); 및
특정 시점 전환의 목적 미디어 시간에서의 재생 타임라인의 시작위치를 나타내는 전환 타임 파라미터(time switching parameter) 중 임의의 파라미터 또는 임의의 파라미터의 조합을 포함한다.
도3a 내지 도6을 참조하면, 당해 전환 전이 장치(1100)가 수행한 일부 실시예는 도3a 내지 도6에 도시된 실시예일 수 있다.
도2 및 도7에 도시된 각 블록은 방법 단계, 및/또는 컴퓨터 프로그램 코드의 동작에 의해 생성된 동작으로 간주할 수 있고, 및/또는 관련 기능을 출력하는데 사용되는 복수의 결합을 구비한 논리 회로 소자로 간주될 수 있다. 본 발명의 예시적 실시예의 적어도 일부 측면은 직접 회로 칩과 모듈과 같은 다양한 어셈블리에서 구현될 수 있고, 본 발명의 예시적 실시예는 직접 회로로 구현될 수 있고, 본 발명의 예시적 실시예에 따라 동작되는 FPGA 또는 ASIC 의 기기에서 구현되도록 구성될 수 있다.
또한, 본 발명은 상술한 컴퓨터 프로그램을 포함한 캐리어를 제공할 수 있고, 여기서 당해 캐리어는 전자 신호, 광 신호, 무선 신호 또는 컴퓨터 판독 가능 저장 매체 중의 1종일 수 있다. 당해 컴퓨터 판독 가능 저장 매체는, 예를 들면, RAM(랜덤 액세스 메모리), ROM(읽기 전용 메모리), 프래시 메모리, 자기 테이프, CD-ROM, DVD, 블루레이 디스크 등과 같은 광학 광 디스크 또는 전자 저장 장치일 수 있다.
본 발명의 일부 실시예에서, 당해 VR360 미디어는 OMAF 미디어일 수 있다. 본 발명의 일부 실시예에서, 당해 VR360 플레이어는 OMAF 플레이어일 수 있다.
상술한 설명을 기반으로, 당업자는, 본 발명은 장치, 방법 또는 컴퓨터 판독 가능 저장 매체로 나타낼 수 있다는 것을 이해할 수 있다. 통상적으로, 당해 각종 가능한 실시예는 하드웨어 또는 특수 용도의 회로, 소프트웨어, 논리, 또는 상기 임의의 조합을 통해 구현될 수 있다. 예를 들면, 본 발명에서 한정하지 않지만, 일부 측면에서 하드웨어를 통해 구현될 수 있고, 기타 측면에서는 펌웨어, 또는 컨트롤러 또는 마이크로 프로세서 또는 기타 계산 기기를 통해 수행할 수 있다. 동시에 본 발명의 예시적 실시예의 부동한 측면은 블록도, 흐름도, 또는 기타 도면으로 설명 또는 묘사될 수 있고, 당해 설명의 블록, 장치, 시스템, 기술 또는 방법은 비구속적으로 하드웨어, 소프트웨어, 펌웨어, 특수 용도의 회로 또는 논리, 통상적인 용도의 하드웨어 또는 컨트롤러 또는 기타 계산 기기, 또는 상기 일부 조합을 통해 구현될 수 있는 것은 주지된 것이다.
상술한 설명을 기반으로, 당업자는, 본 발명은 장치, 방법 또는 컴퓨터 프로그램 제품으로 나타낼 수 있다는 것을 이해할 수 있다. 통상적으로, 각종 예시적 실시예는 하드웨어 또는 특수 용도의 회로, 소프트웨어, 논리, 또는 상기 임의의 조합에 적용될 수 있다. 예를 들면, 본 발명에서 한정하지 않지만, 일부 측면에서 하드웨어를 통해 구현될 수 있고, 기타 측면에서는 펌웨어, 또는 컨트롤러 또는 마이크로 프로세서 또는 기타 계산 기기를 통해 수행될 수 있다. 동시에 본 발명의 예시적 실시예의 부동한 측면은 블록도, 흐름도, 또는 기타 도면으로 설명 또는 묘사될 수 있고, 당해 설명의 블록, 장치, 시스템, 기술 또는 방법은 비구속적으로 하드웨어, 소프트웨어, 펌웨어, 특수 용도의 회로 또는 논리, 통상적인 용도의 하드웨어 또는 컨트롤러 또는 기타 계산 기기, 또는 상기 일부 조합을 통해 구현될 수 있는 것은 주지된 것이다.
본 명세서에 복수의 구체적인 세부 구현을 포함하나, 이는 발명 또는 보호하려는 청구범위에 대한 한정으로 이해하는 것이 아니라, 특정 개시의 특정 실시예의 구성을 특정하는 설명으로 이해해야 한다. 단독 실시예의 콘텍스트가 본 명세서에서 설명한 어느 하나의 구성은 개별 실시예에서 조합하여 구현될 수 있다. 반대로, 개별 실시예의 콘텍스트에서 설명한 각 구성은 단독 또는 어느 하나의 적합한 서브 그룹으로 복수의 실시예에서 구현될 수 있다. 이외에, 상술한 구성은 어느 하나의 그룹에 의해 작용되는 것으로 설명될 수 있고, 심지어 최초부터 이렇게 설명하였다. 그러나 일부 경우에서 그룹에서 보호하려는 그룹의 하나 또는 복수의 구성을 제거할 수 있고, 보호하려는 그룹은 서브 그룹 또는 서브 그룹의 변화에 대한 것일 수도 있다.
유사하게, 도면에서 특정 순서로 동작을 설명하였으나, 이는 설명된 바와 같은 특정 순서 또는 순서대로 당해 동작을 수행하고, 또는 모든 나타낸 동작을 수행하여, 기대 결과를 구현하는 것으로 이해해서는 안된다. 일부 경우에서, 멀티 태스크 처리와 병렬 처리는 유리한 것일 수 있다. 이외에, 상술한 실시예의 각 시스템 어셈블리의 분리는 모든 실시예에서 모두 당해 분리가 수요되는 것으로 이해해서는 안되고, 설명한 프로그램 어셈블리 및 시스템은 통상적으로 개별 소프트웨어 제품에 통합되거나 다양한 소프트웨어 제품으로 패키지될 수 있다는 것을 이해해야 한다.
도면을 결합하여 열독할 경우, 상기 설명을 감안하여, 본 발명의 상술한 예시적 실시예에 대한 각 보정, 조정은 당업자에게 있어서 자명해지게 된다. 임의의 모든 보정은 여전히 본 발명의 비제한성 및 예시적 실시예의 범위에 들어간다. 이외에, 본 발명의 당업자는 본 명세서에서 설명한 내용의 기타 실시예를 생각해 낼 수 있고, 상술한 설명과 관련 도면에서 나타낸 교시의 우점을 구비한다.
따라서, 이해해야할 것은, 본 발명의 실시예는 개시된 특정 실시예에 한정되지 않고, 보정 및 기타 실시예는 첨부된 청구범위에 포함된다. 여기서 특정 용어를 사용하였으나, 이들은 통상적인 것과 설명적인 의미로만 사용되고, 한정의 목적을 위한 것이 아니다.

Claims (22)

  1. 가상 현실 360(VR360) 애플리케이션에서 시점 전환 기능을 전송하는 방법에 있어서,
    VR360 애플리케이션의 시점 간 전환하는 구성을 결정하는 단계; 및
    당해 구성을 VR360 애플리케이션에 전송하는 단계; 를 포함하는,
    것을 특징으로 하는 VR360 애플리케이션에서 시점 전환 기능을 전송하는 방법.
  2. 제1항에 있어서,
    상기 구성은 시점 또는 전환 전이에 첨부된 ISOBMFF 컨테이너인,
    것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 구성은,
    특정 시점 전환의 초기 뷰포트를 나타내는 뷰포트 파라미터;
    특정 시점 전환의 특정 전이 효과를 나타내는 전이 효과 파라미터;
    특정 시점 전환의 적어도 하나의 활성화 윈도우를 나타내는 활성화 윈도우 파라미터; 및
    특정 시점 전환의 목적 미디어 시간에서의 재생 타임라인의 시작 위치를 나타내는 전환 타임 파라미터; 중 어느 하나 또는 임의의 조합을 포함하는,
    것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 뷰포트 파라미터는,
    목적 시점에 초기 뷰포트가 구성되어 있는지 여부를 나타내는 뷰포트 플래그를 포함하는,
    것을 특징으로 하는 방법.
  5. 제3항에 있어서,
    상기 구성은 여러 전환 상황의 각 전환 상황이 최대 하나의 뷰포트 파라미터를 구비하고, 당해 파라미터는,
    시점 전환 수를 나타내는 숫자 파라미터; 및
    시점 전환에서 목적 시점의 ID를 나타내는 ID 파라미터; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  6. 제3항에 있어서,
    상기 전이 효과 파라미터는,
    전이 효과가 설정되었는지 여부를 나타내는 전이 효과 플래그;
    특정 전환의 전이 효과 유형을 나타내는 전이 효과 유형 플래그; 및
    특정 전이 효과 비디오가 저장되는 위치를 나타내는 전이 효과 표시자; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  7. 제3항에 있어서,
    상기 전환 타임 파라미터는,
    시간 오프셋이 설정되었는지 여부를 나타내는 타임라인 전환 오프셋 플래그;
    오프셋의 수치를 나타내는 오프셋 표시자; 및
    오프셋의 시작점을 나타내는 현재 관련 플래그; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  8. 제3항에 있어서,
    상기 활성화 윈도우 파라미터는,
    전환 전이의 최소 시간이 설정되었는지 여부를 나타내는 최소 시간 플래그 - 최소 시간이 설정된 경우, 전이는 당해 최소 시간 후에만 활성화됨 - ;
    최소 시간의 수치를 나타내는 최소 시간 파라미터;
    전환 전이의 최대 시간이 설정되었는지 여부를 나타내는 최대 시간 플래그 - 최대 시간이 설정된 경우, 전이는 당해 최대 시간 전에만 활성화됨 - ; 및
    최대 시간의 수치를 나타내는 최대 시간 파라미터; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 활성화 윈도우 파라미터는 재생 타임라인의 시간 메타데이터 트랙에 첨부되는,
    것을 특징으로 하는 방법.
  10. 가상 현실 360(VR360) 애플리케이션에서 시점 전환 기능을 전송하는 방법에 있어서,
    VR360 애플리케이션의 시점 간 전환하는 구성을 획득하는 단계;
    상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하는 단계; 를 포함하는,
    것을 특징으로 하는 VR360 애플리케이션에서 시점 전환 기능을 전송하는 방법.
  11. 제10항에 있어서
    상기 구성은 시점 또는 전환 전이에 첨부된 ISOBMFF 컨테이너인,
    것을 특징으로 하는 방법.
  12. 제10항 또는 제11항에 있어서
    상기 구성은,
    특정 시점 전환의 초기 뷰포트를 나타내는 뷰포트 파라미터;
    특정 시점 전환의 특정 전이 효과를 나타내는 전이 효과 파라미터;
    특정 시점 전환의 적어도 하나의 활성화 윈도우를 나타내는 활성화 윈도우 파라미터; 및
    특정 시점 전환의 목적 미디어 시간에서의 재생 타임라인의 시작 위치를 나타내는 전환 타임 파라미터; 중 어느 하나 또는 임의의 조합을 포함하는,
    것을 특징으로 하는 방법.
  13. 제12항에 있어서
    상기 뷰포트 파라미터는,
    목적 시점에 초기 뷰포트가 구성되어 있는지 여부를 나타내는 뷰포트 플래그를 포함하는,
    것을 특징으로 하는 방법.
  14. 제12항에 있어서
    상기 구성은 다양한 전환 상황의 각 전환 상황이 최대 하나의 뷰포트 파라미터를 구비하고, 당해 파라미터는,
    시점 전환 수를 나타내는 숫자 파라미터; 및
    시점 전환에서 목적 시점의 ID를 나타내는 ID 파라미터; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  15. 제12항에 있어서,
    상기 전이 효과 파라미터는,
    전이 효과가 설정되었는지 여부를 나타내는 전이 효과 플래그;
    특정 전환의 전이 효과 유형을 나타내는 전이 효과 유형 플래그; 및
    특정 전이 효과 비디오가 저장되는 위치를 나타내는 전이 효과 표시자; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  16. 제12항에 있어서,
    상기 전환 타임 파라미터는,
    시간 오프셋이 설정되었는지 여부를 나타내는 타임라인 전환 오프셋 플래그;
    오프셋의 수치를 나타내는 오프셋 표시자; 및
    오프셋의 시작점을 나타내는 현재 관련 플래그; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  17. 제12항에 있어서,
    상기 활성화 윈도우 파라미터는,
    전환 전이의 최소 시간이 설정되었는지 여부를 나타내는 최소 시간 플래그 - 최소 시간이 설정된 경우, 전이는 당해 최소 시간 후에만 활성화됨 - ;
    최소 시간의 수치를 나타내는 최소 시간 파라미터;
    전환 전이의 최대 시간이 설정되었는지 여부를 나타내는 최대 시간 플래그 - 최대 시간이 설정된 경우, 전이는 당해 최대 시간 전에만 활성화됨 - ; 및
    최대 시간의 수치를 나타내는 최대 시간 파라미터; 중 적어도 하나의 파라미터를 포함하는,
    것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 활성화 윈도우 파라미터는 재생 타임라인의 시간 메타데이터 트랙에 첨부되는,
    것을 특징으로 하는 방법.
  19. 가상 현실 360(VR360) 애플리케이션에서 시점 전환 기능을 전송하는 장치에 있어서,
    상기 장치는 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는,
    VR360 애플리케이션의 시점 간 전환하는 구성을 결정하고;
    상기 구성을 VR360 애플리케이션에 전송하는 명령을 수행하도록 구성된,
    것을 특징으로 하는 VR360 애플리케이션에서 시점 전환 기능을 전송하는 장치.
  20. 가상 현실 360(VR360) 애플리케이션에서 시점 전환 기능을 전송하는 장치에 있어서,
    상기 장치는 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는,
    VR360 애플리케이션의 시점 간 전환하는 구성을 획득하고;
    상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하는 명령을 수행하도록 구성된,
    것을 특징으로 하는 VR360 애플리케이션에서 시점 전환 기능을 전송하는 장치.
  21. 적어도 하나의 명령이 저장된 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 명령은 프로세서에 의해 로드 및 수행되어,
    가상 현실 360(VR360) 애플리케이션의 시점 간 전환하는 구성을 결정하고;
    상기 구성을 상기 VR360 애플리케이션에 전송하는 동작을 수행하도록 하는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  22. 적어도 하나의 명령이 저장된 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 명령은 프로세서에 의해 로드 및 수행되어,
    가상 현실 360(VR360) 애플리케이션의 시점 간 전환하는 구성을 획득하고;
    상기 구성에 따라 상기 VR360 애플리케이션의 시점 간 전환하는 동작을 수행하도록 하는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
KR1020217033633A 2019-03-20 2019-03-20 Vr360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(method and device for transmitting viewpoint switching capabilities in a vr360 application) KR102669467B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/078877 WO2020186478A1 (en) 2019-03-20 2019-03-20 Method and device for transmitting viewpoint switching capabilities in a vr360 application

Publications (2)

Publication Number Publication Date
KR20210138090A true KR20210138090A (ko) 2021-11-18
KR102669467B1 KR102669467B1 (ko) 2024-05-24

Family

ID=68083718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217033633A KR102669467B1 (ko) 2019-03-20 2019-03-20 Vr360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(method and device for transmitting viewpoint switching capabilities in a vr360 application)

Country Status (8)

Country Link
US (1) US20220150458A1 (ko)
EP (1) EP3753257A4 (ko)
JP (1) JP7286791B2 (ko)
KR (1) KR102669467B1 (ko)
CN (2) CN113691883A (ko)
BR (1) BR112021018563A2 (ko)
SG (1) SG11202110312XA (ko)
WO (1) WO2020186478A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021198553A1 (en) * 2020-04-02 2021-10-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN111447503A (zh) * 2020-04-26 2020-07-24 烽火通信科技股份有限公司 一种多视点视频的视点切换方法、服务器和系统
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175855A1 (en) * 2017-03-23 2018-09-27 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
KR20180107149A (ko) * 2016-02-17 2018-10-01 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179867A (ja) * 2001-12-10 2003-06-27 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
JP4971469B2 (ja) * 2007-03-15 2012-07-11 ジーブイビービー ホールディングス エス．エイ．アール．エル． シーングラフ間の自動美的遷移方法及び装置
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US9337982B2 (en) * 2013-04-05 2016-05-10 Qualcomm Incorporated Adaptive antenna management in LTE
US9110573B2 (en) * 2013-04-26 2015-08-18 Google Inc. Personalized viewports for interactive digital maps
US9848212B2 (en) * 2015-07-10 2017-12-19 Futurewei Technologies, Inc. Multi-view video streaming with fast and smooth view switch
US11132099B2 (en) * 2015-09-14 2021-09-28 Sony Corporation Information processing device and information processing method
CN106921864A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 视频播放方法和装置
US20170244959A1 (en) * 2016-02-19 2017-08-24 Adobe Systems Incorporated Selecting a View of a Multi-View Video
JPWO2017159063A1 (ja) 2016-03-14 2019-01-17 ソニー株式会社 表示装置並びに情報処理端末装置
CN109076255B (zh) 2016-04-26 2021-10-08 Lg电子株式会社 发送、接收360度视频的方法及设备
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
WO2018035196A1 (en) * 2016-08-16 2018-02-22 Visbit Inc. Interactive 360° vr video streaming
CN107888993B (zh) * 2016-09-30 2020-11-06 华为技术有限公司 一种视频数据的处理方法及装置
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
WO2018071562A1 (en) * 2016-10-12 2018-04-19 Viar Inc Virtual/augmented reality content management system
CN107959861B (zh) * 2016-10-18 2020-08-25 华为技术有限公司 一种数据处理方法、相关设备及系统
CN106791888A (zh) * 2016-12-20 2017-05-31 三星电子（中国）研发中心 基于用户视角的全景图片的传输方法和装置
FI20166017A (fi) * 2016-12-22 2018-06-23 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
WO2018193330A1 (en) * 2017-04-20 2018-10-25 Nokia Technologies Oy Method and apparatus for delivery of streamed panoramic images
US10388077B2 (en) * 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
EP3635949A1 (en) * 2017-06-09 2020-04-15 PCMS Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
CN109218274A (zh) 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
US11122246B2 (en) * 2017-07-19 2021-09-14 Euclideon Holographics Pty Ltd Multiple observer improvement for a virtual environment
US11622153B2 (en) * 2017-10-04 2023-04-04 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
CN116708847A (zh) * 2018-03-22 2023-09-05 Vid拓展公司 方法、系统及非暂时性计算机可读介质
EP3777136A4 (en) * 2018-04-03 2021-05-19 Huawei Technologies Co., Ltd. MULTIMEDIA DATA PROCESSING METHOD AND APPARATUS
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
WO2020065129A1 (en) * 2018-09-28 2020-04-02 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
CN114979750A (zh) * 2019-01-08 2022-08-30 诺基亚技术有限公司 用于虚拟现实的方法、装置和计算机可读介质
US10974147B1 (en) * 2019-12-19 2021-04-13 Sony Interactive Entertainment Inc. Spectator switch board customized to user viewport selection actions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180107149A (ko) * 2016-02-17 2018-10-01 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018175855A1 (en) * 2017-03-23 2018-09-27 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming

Also Published As

Publication number Publication date
KR102669467B1 (ko) 2024-05-24
JP2022525906A (ja) 2022-05-20
US20220150458A1 (en) 2022-05-12
BR112021018563A2 (pt) 2021-11-30
CN113691883A (zh) 2021-11-23
CN110313175B (zh) 2021-10-01
EP3753257A1 (en) 2020-12-23
EP3753257A4 (en) 2021-09-15
CN110313175A (zh) 2019-10-08
WO2020186478A1 (en) 2020-09-24
SG11202110312XA (en) 2021-10-28
JP7286791B2 (ja) 2023-06-05

Similar Documents

Publication Publication Date Title
CN101682719B (zh) 3d影像的记录装置、方法以及3d影像的再现装置、方法
KR102669467B1 (ko) Vr360 애플리케이션에서 시점 전환 기능을 전송하는 방법 및 장치(method and device for transmitting viewpoint switching capabilities in a vr360 application)
KR101022343B1 (ko) 정보 생성 장치, 기록 장치, 재생 장치, 정보 생성 방법, 기록 방법, 재생 방법, 및 기록 재생 시스템
EP4340375A2 (en) Method, device, and computer program for generating timed media data
US20090103630A1 (en) Image processing device
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
US10362262B2 (en) Data recording apparatus and method of controlling the same
JP2010283856A (ja) 記録媒体、再生装置、及び集積回路
JP2009027738A (ja) 画像符号化装置、画像符号化方法および記録方法
US20140050458A1 (en) Recording medium, reproduction device, and recording device
JP2019145917A (ja) 撮像装置、記録装置及び表示制御装置
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
CN112771883A (zh) 用于实现全向内容播放的多时间线支持的方法和装置
CN116233493A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
KR101528269B1 (ko) 동영상 재생 방법
US20110280318A1 (en) Multiview video decoding apparatus and multiview video decoding method
US20200045359A1 (en) Reproduction device, generation device, reproduction system, program, recording medium
RU2811076C1 (ru) Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360
CN110999309A (zh) 生成装置、再现装置、生成方法、再现方法、控制程序、记录介质
RU2781059C1 (ru) Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360
KR102557384B1 (ko) 전자장치 및 그 제어방법
US11503382B2 (en) Method and device for transmitting video content and method and device for receiving video content
US8923689B2 (en) Image processing apparatus and method
KR101426773B1 (ko) 비디오 콘텐츠의 역방향 재생 방법 및 장치
JP2019145918A (ja) 撮像装置、表示制御装置及び表示制御装置の制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant