KR20190043059A - 멀티미디어 데이터를 전송하는 방법 및 장치 - Google Patents

멀티미디어 데이터를 전송하는 방법 및 장치 Download PDF

Info

Publication number
KR20190043059A
KR20190043059A KR1020170134909A KR20170134909A KR20190043059A KR 20190043059 A KR20190043059 A KR 20190043059A KR 1020170134909 A KR1020170134909 A KR 1020170134909A KR 20170134909 A KR20170134909 A KR 20170134909A KR 20190043059 A KR20190043059 A KR 20190043059A
Authority
KR
South Korea
Prior art keywords
interest
space
objects
soi
present disclosure
Prior art date
Application number
KR1020170134909A
Other languages
English (en)
Other versions
KR102390208B1 (ko
Inventor
김동연
소영완
배재현
양현구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170134909A priority Critical patent/KR102390208B1/ko
Priority to PCT/KR2018/012174 priority patent/WO2019078580A2/ko
Priority to EP18868334.6A priority patent/EP3675489B1/en
Priority to US16/650,603 priority patent/US11463673B2/en
Priority to CN201880067795.4A priority patent/CN111295880B/zh
Publication of KR20190043059A publication Critical patent/KR20190043059A/ko
Application granted granted Critical
Publication of KR102390208B1 publication Critical patent/KR102390208B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 개시는 멀티 미디어 데이터 전송 방법 및 장치에 관한 것이다. 멀티 미디어 데이터 전송 방법은, 관심 공간에 해당하는 데이터, 관심 공간 안에서도 관심 객체들과 관심 객체들의 움직임 특성, 장면 내 컨텐트의 문맥적(contextual) 특성, 객체 방향성, 그리고 관심 객체들간의 내부적인 방향성 정보를 고려하여 멀티 미디어 데이터를 전송하는 과정을 포함하는 것을 특징으로 한다.

Description

멀티미디어 데이터를 전송하는 방법 및 장치{METHOD AND APPARATUS FOR DELIVERING MULTIMEDIA DATA}
본 발명은 다양한 종류의 멀티미디어 데이터를 생성, 저장, 부호화, 전송, 재생하기 위한 방법 및 장치에 대한 것으로, 특히 방송망과 통신망, 기타 네트워크를 포함하는 복합 네트워크 환경에서 실감형 멀티미디어 데이터를 전송하는 것에 관한 것이다.
실감형 미디어란 3차원의 공간에서의 움직임과 관련된 정보를 담고 있는 멀티미디어를 말한다. 실감형 미디어를 표현하는 방식에는 여러 종류가 있으나 대표적인 종래 기술로는 3차원의 공간에서 벌어지는 장면을 복수개의 2D 이미지로 촬영하여 이를 이어 붙인(stitching) 후 일정한 크기의 구(sphere) 구조에 투영(projection)하여 재생하는 VR(Virtual Reality) 미디어가 있다.
실감형 미디어를 사용자에게 제공함에 있어서, 얼마나 실사(real-life)와 같은 경험을 전달 할 수 있는가는 실감형 미디어가 표현할 수 있는 자유도(Degree of Freedom, 또는 DoF)의 수준에 의해 결정될 수 있다.
도 1은 3DoF 및 6DoF를 도시한 도면이다.
도 1을 참조하면, DoF란 사용자가 3D 좌표계 안에서 얼마나 자유롭게 움직일 수 있는가를 설명하는 기준을 말한다.
앞서 서술한 VR 미디어의 경우 3DoF에 해당하며 이는 x, y, z 좌표계에서 3개의 축인 x축, y축, z축을 기준으로 회전(Rotation)할 수 있다는 것을 의미한다. 각각의 회전은 Roll(x축 기준 회전), Pitch(y축 기준 회전), Yaw(z축 기준 회전)으로 지칭한다.
3차원의 미디어를 가장 실제와 가깝게 사용자에게 전달할 수 있는 방법에는 6DoF를 지원하는 것이 포함된다. 6DoF란 앞서 설명한 3DoF에 3가지의 움직임을 더 가능하게 한 것을 말한다. 추가된 3가지의 움직임이란 x축, y축, z축 위에서 이동(Translation)하는 것을 말한다. 각각의 이동은 Surge(x축 기준 이동, Forward/Backward), Sway(y축 기준 이동, Left/Right), Heave(z축 기준 이동, Up/Down)으로 지칭한다.
도 1에서 볼 수 있는 것처럼 3DoF에서는 축 기준의 회전만 가능하기 때문에 미디어 데이터는 정해진 구(sphere) 구조의 표면(surface)에만 표현될 수 있다. 반면 6DoF에서는 축 기준 회전뿐만 아니라 축 기준 이동이 가능하기 때문에 미디어 데이터는 구(sphere)의 표면 및 내부의 어느 좌표에서든지 표현될 수 있게 된다.
따라서 궁극적인 6DoF 멀티미디어는 사용자가 주어진 3D 공간 어느 좌표로든 이동할 수 있고, 각 좌표에서는 360도의 모든 방향으로 컨텐트를 시청할 수 있는 경험을 제공하는 것을 특징으로 한다.
현재 6DoF의 3D 멀티미디어 데이터를 표현할 수 있는 기술에는 Point Cloud Compression, Light Field, 3D Modeling 등이 있다.
도 2는 시청 시점(view point)의 이동을 도시한 도면이다.
도 2를 참조하면, 실감형 멀티미디어를 스트리밍함에 있어서, 사용자의 시청 시점(view point)이 변경 되었을 때, 모든 방향의 시청 방향(viewing direction)의 데이터를 수신하기 전까지는 미디어를 재생할 수 없어서 서비스의 질을 저하시키고 서비스의 지연이 발생한다.
본 발명은 실감형 멀티미디어를 전송함에 있어서, 관심 공간 설명 정보를 기반으로 미디어의 내용, 네트워크 환경, 사용자 디바이스의 능력, 사용자의 동작에 따라 선택적이고 적응적인 전송을 할 수 있도록 하는 방법 및 그 장치에 대한 것이다.
여기서, 실감형 미디어란 3DoF, 6DoF 멀티미디어 모두 포함하는 개념이며, 컨텐트의 3D 공간적인 경험을 사용자에게 다양한 방식으로 전달할 수 있는 멀티미디어를 의미한다. 실감형 미디어는 2D, 2D + Depth 정보, 또는 3D의 형식으로 표현(represent)할 수 있다.
종래 OMAF 표준 등 VR이라고 불리는 멀티미디어는 주로 Sphere 표면에 2D 형식의 멀티미디어를 투영(projection)하는 방식을 따르고, 이 경우 3DoF에 해당한다. 6DoF의 경험을 제공하는 방법으로는 3D 공간을 3개 좌표축을 중심으로 모든 좌표에 픽셀이 존재하는 방식인 Point Could Coding (PCC), Light Field 등이 있다.
본 발명은 6DoF 관련 실시예들을 들고 있지만, 3DoF를 지원하는 실감형 멀티미디어에도 적용될 수 있다.
본 개시의 일 실시예에 따른 방법은 관심 공간에 해당하는 데이터, 관심 공간 안에서도 관심 객체들과 관심 객체들의 움직임 특성, 장면 내 컨텐트의 문맥적(contextual) 특성, 객체 방향성, 그리고 관심 객체들간의 내부적인 방향성 정보를 고려하여 멀티 미디어 데이터를 전송하는 과정을 포함하는 것을 특징으로 한다
본 개시의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 3DoF 및 6DoF를 도시한 도면이다.
도 2는 시청 시점(view point)의 이동을 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 관심 공간 정보 기반 6DoF 멀티미디어 데이터 전송 시스템의 구조를 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 관심 공간과 관심 객체에 대해 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 관심 객체들의 객체 방향성(Object Vector)에 대해 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 관심 객체간 내부 방향성(Internal Vector)에 대해 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 관심 공간의 외부 방향성에 대해 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 사용자의 6DoF 멀티미디어 시청 방향을 예측하는 방법에 대해 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 사용자의 6DoF 멀티미디어 시청 방향을 예측하는 방법에 대해 도시한 도면이다.
도 10은 본 개시의 일 실시예에 따른 SoI 기반의 적응적인 전송 방법에 대해 도시한 도면이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 본 개시의 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서 본 개시의 실시예들이 속하는 기술 분야에 익히 알려져 있고 본 개시의 실시예들과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 실시예들의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 실시예들에 의한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시의 실시예들은 이하에서 개시되는 것들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 개시의 실시예들은 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 청구하고자 하는 바는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU(central processing unit)들을 재생시키도록 구현될 수도 있다.
본 개시의 실시예들을 구체적으로 설명함에 있어서, OFDM 기반의 무선통신 시스템을 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
도 3은 본 개시의 일 실시예에 따른 관심 공간 정보 기반 6DoF 멀티미디어 데이터 전송 시스템의 구조를 도시한 도면이다.
도 3을 참조하면, 촬영 장치 (Capture device)는 6DoF 멀티미디어를 제작하기 위해 사용되는 카메라 기타 촬영 관련 장비들을 말한다.
미디어 처리기 (Media Processor)는 촬영장치로부터 얻은 원본 데이터(raw data)들을 가공하여 하나의 6DoF 멀티미디어 컨텐트를 생성하는 장치를 말한다. Video stitching, 3D modeling 등의 멀티미디어 제작 도구들이 사용될 수 있다.
관심 공간 설명 정보 처리기 (SoI Description Information Processor)는 미디어 처리기에서 생성된 6DoF 멀티미디어 컨텐트에서 관심 공간 및 관련 정보를 추출, 생성, 저장, 전송하는 장치를 말한다.
관심 공간 설명 정보를 구성하는 요소인 관심 객체, 객체 방향성, 내부 방향성, 외부 방향성 등을 정의하기 위해 객체 인식 도구, 동작 인식 도구, 카메라 특성 관련 인자들이 적용 될 수 있다.
미디어 송신 장치 (Media Sending Entity)는 미디어 처리기가 제작한 6DoF 멀티미디어 컨텐트와 관심 공간 설명 정보 처리기가 제작한 관심 공간 설명 정보를 송신하는 장치를 말한다. 각각의 정보는 미디어 수신 장치와 약속된 전송 프로토콜의 포맷에 따라 가공되어 전송된다. 예를 들어 약속된 전송프로토콜이 MMTP 일 경우, 6DoF 멀티미디어 데이터는 MPU로 구성된 후 MMTP 패킷으로 전송될 수 있고, 관심 공간 설명 정보는 MMT Signaling으로 구성된 후 MMTP 패킷으로 전송될 수 있다.
미디어 수신 장치 (Media Receiving Entity)는 미디어 송신 장치가 전송한 데이터를 수신하는 장치이다. 수신된 데이터는 미디어 수신 장치 내부 또는 외부에서 다시 복원하는 과정을 거쳐서 사용자 디바이스의 재생 능력(capability)에 맞게 재생될 수 있다.
미디어 수신 장치는 미디어 송신 장치로부터 수신한 관심 공간 설명 정보를 이용하여 사용자에게 최적의 미디어를 재생해줄 수 있다. 또한 관심 공간 설명 정보를 이용하여 사용자에게 상호작용(Interactivity) 경험을 제공할 수 있다. 상호작용 경험에는 맞춤형 광고 서비스, 또는 관련 동영상, 광고, 웹페이지 등을 제공하는 부가서비스 등이 해당될 수 있다.
뿐만 아니라 미디어 송신 장치는 사용자에게 관심 공간을 이동시키거나, 사용자의 시청 방향(viewing direction) 및 시점(view point)을 이동시킬 수 있도록 일정한 UX 인터페이스를 활용하여 선택권을 제공할 수 있다. 예를 들어 농구 경기에서 관중 시점에서 농구 경기를 볼 수 있도록 하거나, 선수 입장에서 경기를 볼 수 있도록 할 수 있다.
미디어 수신 장치는 미디어 송신 장치에게 사용자의 상호작용 정보 또는 사용자 디바이스 및 네트워크 환경과 관련된 정보를 피드백 해줄 수 있다. 예를 들어, 사용자의 시청 방향(viewing direction), 시점(view point), 헤드 트래킹, 아이 트래킹, 사용자 디바이스의 화질 관련 능력, 네트워크 상태, 또는 사용자의 선택 정보 등이 미디어 송신 장치로 전송될 수 있다. 미디어 송신 장치는 미디어 수신 장치로부터 받은 정보와 관심 공간 설명 정보를 기반으로 멀티미디어 전송과 관련된 새로운 판단을 내릴 수 있다.
도 4는 본 개시의 일 실시예에 따른 관심 공간과 관심 객체에 대해 도시한 도면이다.
도 4를 참조하면, 6DoF 멀티미디어 데이터의 선택적인 처리를 위해서는 6DoF 멀티미디어 데이터의 전체 또는 그 일부를 특정할 수 있어야 한다. 선택적인 데이터 처리의 대상이 되는 공간을 관심 공간(Space of Interest, 또는 SoI)이라고 한다.
SoI는 2D 비디오 데이터의 관심 영역(Region of Interest, 또는 RoI)을 3차원적으로 확장한 개념을 포함한다.
하나의 SoI는 다음의 요소를 포함하는 것을 특징으로 한다.
관심 공간 (Space of Interest, 또는 SoI)
- 1개 이상의 관심 객체(Object of Interest, 또는 OoI)를 포함한다.
- 각각의 관심 객체들은 객체 우선순위(Object Priority)가 있다.
- 각각의 관심 객체들은 객체 속도(Object Speed)가 있다.
- 각각의 관심 객체들은 객체 방향성(Object Vector, 또는 OV)이 있다.
- 각각의 관심 객체들은 객체 이벤트(Object Event)가 있다.
- 각각의 관심 객체들은 객체 역할(Object Role)이 있다.
- 관심 객체들 간에는 객체 의존성(Object Dependency)이 있다.
- 관심 객체들 간에는 SoI 내부에서의 방향성(Internal Vector, 또는 IV)이 있다.
- 관심 객체들 간에는 객체 관계 이벤트(Relation Event)가 있다.
- 관심 객체들 간에는 객체 관계 역할(Relation Role)가 있다.
- SoI는 이를 포함하고 있는 전체 공간(Total Space, 또는 TS) 내부에서의 관심 공간의 외부 방향성(External Vector, 또는 EV)이 있다.
객체 우선순위 (Object Priority)
- 객체 우선순위란 하나의 SoI 안에서 SoI를 구성하는 관심 객체들 간의 우선순위를 말한다.
객체 속도 (Object Speed)
- 객체 속도란 관심 객체가 움직이는 순간 속도를 말한다.
객체 방향성 (Object Vector)
- 객체 방향성이란 어떠한 시간 범위 안에서 관심 객체가 움직이는 방향을 말한다.
- 특정 시간 또는 특정 시간 범위 안에서의 객체 방향성을 알면, 관심 객체의 움직임을 예측하는데 도움이 된다.
객체 이벤트 (Object Event)
- 객체 이벤트란 어떠한 시간 범위 안에서 컨텐트의 문맥적인 흐름이나 표현하고 있는 장면의 내용, 사용자의 상호작용 등에 따라 발생할 수 있는 이벤트를 말한다. 발생한 이벤트의 종류와 내용에 따라 관심 객체의 특성이 변화할 수 있다.
객체 역할 (Object Role)
- 객체 역할이란 컨텐트의 문맥적인 흐름이나 표현하고 있는 장면의 내용에 따라 객체가 어떤 내용을 표현하고 있는지를 문자 형태로 표현한 것을 말한다.
- 객체 역할에 따라 객체 관계들 간의 우선순위가 변화할 수 있다.
객체 의존성 (Object Dependency)
- 객체 의존성이란 관심 객체들 간의 의존성을 말한다..
- 두 관심 객체가 동등한 관계, 종속 관계, 혹은 기타 여하의 관계를 표현할 수 있다.
객체간 내부 방향성 (Internal Vector)
- 객체간 내부 방향성이란 어떠한 시간 범위 안에서 관심 객체간의 움직임에 대한 관계를 설명한다.
- 특정 시간 또는 특정 시간 범위 안에서의 객체간 내부 방향성을 알면, 한 관심 객체로부터 다른 관심 객체까지의 움직임을 예측하거나, 관심 객체들간의 공통적인 움직임의 영역을 예측하는데 도움이 된다.
객체 관계 이벤트 (Relation Event)
- 객체 관계 이벤트란 어떠한 시간 범위 안에서 컨텐트의 문맥적인 흐름이나 표현하고 있는 장면의 내용, 사용자의 상호작용 등에 따라 발생할 수 있는 이벤트를 말한다. 발생한 이벤트의 종류와 내용에 따라 관심 객체간 관계의 특성이 변화할 수 있다.
객체 관계 역할 (Relation Role)
- 객체 관계 역할이란 컨텐트의 문맥적인 흐름이나 표현하고 있는 장면의 내용에 따라 객체 관계가 어떤 내용을 표현하고 있는지를 문자 형태로 표현한 것을 말한다.
관심 공간의 외부 방향성 (External Vector)
- 관심 공간의 외부 방향성이란 어떠한 시간 범위 안에서 관심 공간의 특징적인 방향을 말한다.
- 종래의 2D 비디오 기반의 VR, omnidirectional media, 또는 기타 실감형 미디어를 사용자 디바이스에서 재생함에 있어서 정면(front) 또는 기본 시청 영역(default viewport) 등을 3차원적으로 확장하는 개념을 포함한다. 다시 말해, 사용자가 관심 공간의 내부 또는 외부에서 6DoF 멀티미디어를 시청함에 있어서 어느 방향을 주로 바라봐야 하는지를 결정하는데 도움이 된다.
- 관심 공간의 방향성은 6DoF 전체 공간 중 관심 공간이 아닌 부분에 해당하는 공간과 그 방향성이 다를 수 있다.
농구 경기를 6DoF 멀티미디어로 제작하여 사용자에게 스트리밍 하는 서비스를 예로 들면, SoI와 SoI의 각 요소들은 다음과 같이 설명될 수 있다.
사용자가 농구 경기장에 실제로 있는 것처럼 농구 경기를 생생하고 자세하게 시청할 수 있도록 하는 사용자 경험을 제공하기 위해서는 농구 6DoF 멀티미디어의 전체 공간(Total Space)을 농구 경기장으로 정할 수 있다.
도 4를 참조하면, 농구 경기장 전체 공간 안에서 경기가 한참 이루어지고 있는 골대, 공, 선수 주변의 한정적인 공간을 SoI로 정의할 수 있다. 이 경우 관객석이나 농구 코트 외의 공간은 SoI 외부에 해당 할 수 있다. 특정된 SoI 안에서 골대, 농구공, 그리고 농구공을 마지막으로 던진 선수가 관심 객체가 될 수 있다.
도 5는 본 개시의 일 실시예에 따른 관심 객체들의 객체 방향성(Object Vector)에 대해 도시한 도면이다.
도 5를 참조하면, 각각의 관심 객체들은 객체 방향성(Object Vector)을 갖는다. 객체 방향성은 3D 공간 안에서 3차원적인 방향을 지시할 수 있는 형태를 갖는다. (x,y,z) 벡터 형식이 한 예가 될 수 있다. 방향뿐만 아니라 관심 객체의 움직임의 속도 정보까지 전달하고 싶을 경우에는 x, y, z의 절대값은 1이상의 숫자로 표현할 수도 있다.
도 5에서는, 관심 객체들의 움직이는 방향과 속도 정보를 모두 전달하는 예를 표현하고 있다. 한 장소에 고정되어 있는 골대, 골대 방향으로 달려가며 마지막으로 공을 던진 농구 선수, 그리고 그 농구 선수가 던진 공의 방향성을 벡터로 표현할 수 있다. 이러한 객체 방향성 정보는 특정 시간 범위 안에서의 골대, 공, 특정 선수의 움직임의 궤적을 표현하거나 예측하는데 도움이 된다. 각 관심 객체들의 움직임에 대한 표현이나 예측 정보는 사용자가 6DoF 멀티미디어를 경험하는데 있어서 어떤 좌표나 방향을 바라보게 될지 예측하거나 결정하는데 도움을 준다.
도 6은 본 개시의 일 실시예에 따른 관심 객체간 내부 방향성(Internal Vector)에 대해 도시한 도면이다.
도 6을 참조하면, 관심 객체들 간에는 객체간 내부 방향성(Internal Vector)를 갖는다. 객체간 내부방향성은 객체 방향성(Object Vector)의 형태에 대해 상술한 바와 같이 3D 공간 안에서 3차원적인 방향을 지시할 수 있는 형태를 갖는다.
도 6을 참조하면, 관심 객체인 골대, 농구공, 선수 사이에 생길 수 있는 객체간 내부 방향성을 표현하고 있다. Figure 6에서 설명한 것처럼, 농구 선수가 골대 방향으로 달려가며 농구공을 던진 상태를 표현하고 있으므로, 각 객체간의 내부 방향성은 선수는 골대와 농구공 방향으로, 농구공은 골대의 방향으로 정의될 수 있다. 이러한 객체간 내부 방향성 정보는 특정 시간 범위 안에서 골대, 공, 특정 선수 사이의 움직임의 궤적을 표현하거나 예측하는데 도움이 된다. 이는 만약 시청자가 해당 선수의 입장으로 시점을 이동한 상황이라면, 선수를 둘러싼 360의 방향 중에서 공중에 떠있는 공의 방향을 바라보는 것이 가장 관심 있는 방향이라 할 수 있고, 이는 공과 선수 간의 내부 방향성으로부터 그 정보를 얻을 수 있게 된다. 선수를 둘러싼 360 전 방향의 멀티미디어 데이터 중에서 관심 방향에 해당하는 멀티미디어 데이터를 선택적으로 그리고 우선적으로 처리할 수 있게 된다.
도 7은 본 개시의 일 실시예에 따른 관심 공간의 외부 방향성에 대해 도시한 도면이다.
도 7을 참조하면, 관심 공간은 외부 방향성(External Vector)을 갖는다. 외부 방향성이란 어떠한 시간 범위 안에서 특징적인 방향을 말한다. 외부 방향성은 사용자가 관심 공간에 해당하는 6DoF 멀티미디어를 소비하는데 있어서 기준 방향을 정하는데 도움이 된다. 예를 들어 사용자가 HMD기기를 이용하여 6DoF 멀티미디어를 시청하고 있는 상황에서, 다양한 시점에서 다양한 방향으로 자유롭게 미디어를 시청하고 있다가 다시 현재 미디어의 주된 내용이 일어나고 있는 시점 및 방향으로 돌아가고 싶은 경우에 외부 방향성 정보를 이용할 수 있다.
앞서 설명한 것처럼, 관심 공간은 관심 공간의 3차원적인 좌표, 위치와 관심 객체들의 3차원적인 좌표, 위치, 그리고 속도, 방향성, 역할, 이벤트, 우선순위, 객체간 내부 방향성, 관심 공간의 외부 방향성 등에 대한 정보를 포함하는 개념을 말한다.
따라서 어떠한 시간 범위 안에서 실감형 멀티미디어의 관심 공간을 정의하고 이를 사용자 디바이스까지 전달하기 위해서는 관심 공간을 설명하는 형식이 필요하다. 관심 공간에 대한 설명이 관심 공간 설명 형식에 맞게 기술되면, 이 정보는 파일 포맷, 전송 포맷, 부호화 포맷 등에 맞게 다양한 형식으로 다시 생성되어 전달될 수 있다.
대표적인 예로 MMT 전송 포맷 중 하나인 MMT Signaling message 또는 MMT descriptor로 생성되어 실감형 멀티미디어 데이터와 함께 MMT 프로토콜을 통해 송신기에서 수신기로 전달 될 수 있다.
다음은 MMT descriptor의 형식으로 관심 공간 설명 정보를 전달하는 경우의 예이다.
- SOI descriptor의 예
SOI descriptor는 MMT를 이용하여 실감형 멀티미디어 데이터를 전송할 때 일정한 시간 범위에서의 Space of Interest를 설명하는 MMT signaling 정보이다. SOI descriptor는 MMT 송신장치, MMT 수신장치, 또는 사용자 중 하나의 선택이나 전송 네트워크의 상황을 고려하여 실감형 멀티미디어의 전체 또는 일부를 선택적이고 적응적으로 전송할 수 있도록 한다.
SOI descriptor는 실감형 멀티미디어 데이터가 표현하는 전체 공간 중에서 일정한 시간 범위 안에서 관심 공간을 정의하고, 관심 공간을 구성하는 관심 객체들을 정의한다. 각각의 관심 객체들은 특정 시점에서 고유의 방향성을 가질 수 있고, 관심 객체들간에도 내부적인 방향 관계를 가질 수 있다. 모든 방향성에 대한 정보는 본 SOI descriptor가 적용되는 전체 시간 범위 안에서 매 시각 변화할 수 있다.
SOI descriptor는 또한 관심 객체와 관심 객체들간의 관계 대한 속도, 역할, 우선순위, 종속성, 관련 이벤트 등을 정의한다.
- Syntax
하기의 표 1은 SOI descriptor에 대한 Syntax에 대한 것이다.
Figure pat00001
Figure pat00002
- Semantics
SOI_id : 실감형 멀티미디어 전체 공간 안에 존재하는 하나 이상의 관심 공간들 중에서 본 SoI descriptor가 설명하는 SoI를 구분할 수 있는 ID를 말한다.
SOI_start_time : 본 SoI descriptor가 설명하는 내용이 적용되는 시간 범위의 시작 시간을 말한다. 시작 시간은 절대적인 시각으로 표현될 수도 있고, 실감형 멀티미디어 전체 재생 시간 범위 안에서 상대적으로 표현될 수도 있다. 절대적인 시간의 경우 NTP 또는 UTP 기반의 시각(timestamp)으로 표현 될 수 있다.
SOI_duration : SOI_start_time이 지시하는 시작 시간으로부터 얼마 동안의 시간 동안 본 SOI descriptor가 설명하는 내용이 적용될 것인지를 지시한다.
SOI_space_structure : 실감형 멀티미디어 전체 공간 안에서 본 SoI descriptor가 설명하는 내용이 적용되는 공간적인 범위를 지시한다. 공간적인 범위는 일정한 좌표계(coordinate system)안에서의 좌표값을 이용하여, SoI의 경계점, 경계면 등으로 표현될 수 있다. 하나 이상의 구(sphere)와 평면(plane)을 이용하여 SoI를 정의할 수도 있다. 예를 들어 특정 좌표를 중심으로 동일한 거리에 위치한 점들의 집합이 구에 해당하고, 이 하나의 구를 경계표면(boundary surface)으로 정의하여 경계표면 내에 존재하는 모든 좌표에 해당하는 멀티미디어 데이터, 그리고 그 멀티미디어와 관련된 모든 데이터들은 본 SoI descriptor가 설명하는 내용을 적용 받을 수 있는 것으로 정의할 수 있다.
SOI_ext_vector : 본 SoI의 관심 공간의 외부 방향성을 말한다. ext_vector_timestamp가 지시하는 특정 시점(timestamp)에 본 SoI가 갖게되는 특징적인 방향을 말한다. 외부 방향성은 사용자가 관심 공간에 해당하는 실감형 멀티미디어를 소비하는데 있어서 기준 방향을 정하는데 도움이 된다. 관심 공간의 외부 방향성은 실감형 전체 공간 중 관심 공간이 아닌 부분에 해당하는 공간과 그 방향성이 다를 수 있다. ext_vector_x, ext_vector_y, ext_vector_z를 이용하여 (x,y,z) 좌표 형식으로 표현될 수 있다. 또는 ext_vector_extension에서 정의하는 형식을 따를 수도 있다.
num_of_objects : 본 SoI를 구성하는 관심 객체의 개수를 말한다.
object_id : 본 SoI를 구성하는 하나 이상의 관심 객체들을 서로 구분할 수 있는 ID를 말한다.
object_space_structure : 본 관심 객체의 공간적인 범위를 지시한다. SOI_space_structure와 마찬가지로 일정한 좌표계안에서 좌표값을 이용하여 점, 면 등을 이용하여 표현될 수 있다.
object_priority : 본 SoI를 구성하는 관심 객체들간의 우선순위를 표현한다. 본 SoI를 구성하는 다른 관심 객체와의 종속성(object_dependency), 관심 객체의 역할(object_role)과 조합하여 우선순위를 고려할 수 있다.
object_speed : 본 관심 객체의 순간 속도를 말한다. 본 관심 객체가 여러 개의 관련 관심 객체(related_obj_id)들과 연관성이 있을 경우, 각각의 관계에 대한 중요도는 object_priority, object_dependency, object_event, object_role, relation_event, relation_role과 조합하여 그 우선순위가 결정될 수 있다.
object_vector : 본 관심 객체의 객체 방향성을 말한다. object_vector_timestamp가 지시하는 특정시점(timestamp)에 본 관심 객체가 움직이는 방향을 관심 객체가 움직이는 방향을 말한다. object_vector_timestamp가 지시하는 시간의 전후 시간에서의 관심 객체의 움직임을 예측하는데 도움이 된다. object_vector_x, object_vector_y, object_vector_z를 이용하여 (x,y,z) 좌표 형식으로 표현될 수 있다. 또는 object_vector_extension에서 정의하는 형식을 따를 수도 있다.
object_event : 본 관심 객체가, 발생하는 이벤트에 따라 그 특성이 바뀔 수 있을 경우 그 이벤트와 특성을 설명한다.
object_role : 본 관심 객체의 역할을 설명한다. 예를 들어, 사람, 사물, 주인공, 보조출연자, 소품, 공 등의 현재 미디어에서 장면(scene)에 대한 설명을 문자 형태(textual representation)로 표현한 것을 말한다.
num_of_related_objs : 본 관심 객체와 방향적인 관계를 갖는 관심 객체들의 개수를 말한다.
related_obj_id : 본 관심 객체와 방향적인 관련성이 있는 관심 객체의 object_id를 지시한다.
object_dependency : object_id가 지시하는 본 관심 객체와 related_obj_id가 지시하는 관련 관심 객체 간의 종속성을 설명한다. 예를 들어 동등한 관계, related_obj_id가 지시하는 고나련과심 객체가 주종관계 중 주에 해당하는지 여부, 종에 해당하는지 여부 등으로 표현할 수 있다.
internal_vector : 본 관심 객체와 관련 관심 객체 간의 움직임에 대한 관계를 말한다. int_vector_timestamp가 지시하는 특정 시점(timestamp)에서의 관심 객체간 내부 방향성을 알면, 한 관심 객체로부터 다른 관심 객체까지의 움직임을 예측하거나, 관심 객체들간의 공통적인 움직임의 영역을 예측하는데 도움이 된다. int_vector_x, int_vector_y, int_vector_z를 이용하여 (x,y,z) 좌표 형식으로 표현될 수 있다. 또는 int_vector_extension에서 정의하는 형식을 따를 수도 있다.
relation_event : 본 관계가, 발생하는 이벤트에 따라 그 특성이 바뀔 수 있을 경우 그 이벤트와 특성을 설명한다.
relation_role : 본 관계의 역할을 설명한다. 예를 들어, 주행(driving), 스포츠, 풍경(scenic) 등의 현재 미디어에서 장면(scene)에 대한 설명을 문자 형태(textual representation)로 표현한 것을 말한다.
도 8은 본 개시의 일 실시예에 따른 사용자의 6DoF 멀티미디어 시청 방향을 예측하는 방법에 대해 도시한 도면이다.
도 8을 참조하면, 관심 공간 설명 정보는 방대한 양의 실감형 멀티미디어 데이터를 사용자 디바이스로 스트리밍 서비스를 제공함에 있어서 네트워크 환경의 상태와 사용자가 6DoF 공간 중에서 현재 시청하고 있는 공간의 범위를 고려하여 선택적이고 적응적으로 데이터를 전송하는 방법의 판단 기준이 될 수 있다.
사용자가 관심 공간 내부의 특정 시점(view point)에서 미디어를 시청하고 있는 상황을 예로 들어 설명해보면, 사용자는 관심 객체를 중심으로 미디어를 우선적으로 시청할 가능성이 높다. 더 구체적으로는, 관심 객체와 관심 객체 사이의 내부 방향성(Internal Vector)을 따라서 미디어를 회전시키고 줌 인, 줌 아웃 하며 탐색(navigation)할 가능성이 높다.
상술한 6DoF 농구 경기 비디오의 예에서처럼, 선수가 골대 방향으로 뛰어가면서 공을 던진 상황이 재생되고 있다면, 사용자는 경기의 생생함을 느끼기 위해 선수의 시점에서 공이 어떻게 날라가고 있는지를 보려고 할 가능성이 높다.
도 9는 본 개시의 일 실시예에 따른 사용자의 6DoF 멀티미디어 시청 방향을 예측하는 방법에 대해 도시한 도면이다.
도 9를 참조하면, 사용자는 관심 객체 자체의 방향성에 따라 관심 객체를 관찰할 가능성이 높다. 앞서 설명한 예는 사용자가 선수의 입장에서 선수의 시점으로 선수 주변의 미디어를 시청한 경우이지만, 이와 대비하여 만약 사용자가 관심 객체인 선수의 주변의 위치에 서서 선수의 모습을 여러 각도로 관찰하고 싶은 경우를 생각해볼 수 있다. 이 경우 선수의 모습의 360도 범위 중에서 사용자가 주로 관심을 가질만한 범위를 판단할 수 있다면, 그 범위만을 선택적으로 먼저 전송함으로써 전송 효율을 높일 수 있다. 이는 관심 객체의 객체 방향성(Object Vector)을 기준으로 판단할 수 있다. 선수가 골대 방향으로 뛰어가고 있는 상황이기 때문에, 사용자는 선수의 등쪽 보다는 선수의 얼굴 쪽을 보기 위해 현재 재생되고 있는 각도에서 선수의 얼굴이 보이는 각도로 미디어를 회전하려고 할 가능성이 높다.
사용자가 6DoF 공간 안에서 어떤 객체를 중심으로 어떤 방향으로 멀티미디어를 회전하고 시청하려고 할지를 예측하는 방법에는 앞서 설명한 관심 객체의 방향성이나 관심 객체 간의 방향성뿐만 아니라 관심 객체 및 관심 객체 간의 관계의 특성을 함께 고려할 수 있다.
예를 들면 6DoF 농구 경기 비디오의 예에서 농구선수를 가장 높은 우선순위의 객체로 지정할 수 있고, 골대나 농구공의 객체 우선순위는 더 낮게 둘 수 있다. 이 경우, SoI내에 존재하는 3개의 객체간 관계들 중에서도 그 우선순위를 결정할 수 있다. 또한 어떤 특별한 이벤트가 발생했을 때 조건적으로 객체간 관계들의 우선순위를 변화시킬 수 있다.
관심 객체의 움직임 속도에 따라 다른 관심 객체와의 관계들 간의 우선순위를 변화시킬 수 있는 것도 하나의 예가 될 수 있다. 농구선수가 일정 속도 이상으로 빠르게 뛰어갈 경우, 농구공과의 관계의 우선순위가 골대와의 관계보다 높아질 수도 있다.
또 다른 예로, 긴 도로를 달려가고 있는 자동차 안의 운전자 입장의 SoI를 생각했을 때 운전속도가 빠르면 도로와 관련된 관심 객체들과의 관계의 우선순위가 높아지고, 자동차가 정지하고 있을 때는 주변 풍경과 관련된 관심 객체들과의 관계의 우선순위가 높아지는 응용도 가능하다.
따라서 데이터를 송신, 수신하는 과정에서는 6DoF 공간 전체에 해당하는 데이터를 동시에 전송하기 보다는 관심 공간에 해당하는 데이터를 우선적으로 전송할 수 있고, 관심 공간 안에서도 관심 객체들과 관심 객체들의 움직임 특성, 장면 내 컨텐트의 문맥적(contextual) 특성, 객체 방향성, 그리고 관심 객체들간의 내부적인 방향성 정보를 고려하여 이와 관련된 정보를 우선적으로 전송할 수 있다.
사용자가 6DoF 멀티미디어 전체 공간의 내부이자 SoI 공간의 외부의 특정 시점(view point)에서 미디어를 시청하고 있는 상황을 예로 들어 설명해보면, 사용자는 SoI의 외부 방향성을 중심으로 한 공간에 해당하는 미디어를 우선적으로 시청할 가능성이 높다. 멀티미디어가 담고 있는 컨텐트의 내용의 흐름에 따라 앞(front)과 뒤(back)의 개념이 존재할 수 있고, 사용자는 상대적으로 뒤보다는 앞에 해당하는 부분을 더 먼저 시청할 가능성이 높다.
6DoF 농구 경기 비디오의 예로 돌아가보면, 농구 경기의 시간 범위에 따라 A팀의 골대에서 접전이 일어나고 있는 상황이 있을 수 있고, 반대로 B팀의 골대에서 접전이 일어나고 있는 상황이 있을 수 있다. A팀의 골대에서 접전이 일어나고 있을 때는 B팀 골대에서 A팀 골대를 향하는 방향이 SoI의 외부 방향성이 될 수 있고, B팀의 골대에서 접전이 일어나고 있을 때는 A팀의 골대에서 B팀의 골대를 향하는 방향이 SoI의 외부 방향성이 될 수 있다.
따라서 데이터를 송신, 수신하는 과정에서 우선적으로 데이터를 전송해야하는 범위를 결정함에있어서 SoI의 외부방향성을 고려할 수 있다.
앞서 서술한 내용은 SoI와 SoI를 구성하는 객체 및 여러 방향성의 정보를 기반으로, 6DoF 멀티미디어의 일부를 선택적으로 전송하거나, 선택된 공간을 우선적으로 전송하는 방법에 해당한다.
도 10은 본 개시의 일 실시예에 따른 SoI 기반의 적응적인 전송 방법에 대해 도시한 도면이다.
도 10을 참조하면, SoI 정보를 기반으로 선택적인 전송(selective delivery) 방법 외에도 적응적인 전송(adaptive delivery)이 가능하다. 적응적인 전송이란 전송 환경, 즉 네트워크의 상태, 송신기 또는 수신기의 능력(capability)에 맞게 전송하는 것을 말한다. 전송 환경에 의해 적응시킬 수 있는 요소에는 멀티미디어 데이터의 해상도(resolution), 전송율(bitrate), 프레임속도(framerate), HDR 적용 여부, 미디어 포맷 (예: OMAF 포맷, Point Cloud Compression 포맷 등) 또는 부호화 포맷(encoding format) 등의 사용자가 경험하는 화질과 관련된 요소들이 해당된다.
예를 들어, 6DoF 멀티미디어 전체 공간 중 SoI에 해당하는 공간은 고화질(예: UHD)로 전송하고, SoI에 해당하지 않는 나머지 공간은 일반화질(예: HD)로 전송할 수 있다. 뿐만 아니라 SoI 부분은 고용량, 고화질의 6DoF 멀티미디어 포맷인 Point Cloud Compression 기반 3D 데이터로 전송하고, SoI에 해당하지 않는 나머지 공간은 실감형 미디어 포맷인 3DoF 멀티미디어 포맷인 OMAF 파일 포맷 기반 2D Sphere 데이터로 전송할 수 있다.
본 개시의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM: ROM)와, 랜덤-접속 메모리(random access memory: RAM: 'RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 개시의 실시예들이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 개시의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 개시의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시의 실시예들은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시의 실시예들은 이와 균등한 것을 적절하게 포함한다
또한 본 개시의 다양한 실시예들에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 프로그램을 수신하여 저장할 수 있다. 프로그램 제공 장치는 프로그램 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 송수신 장치로 전송하는 제어부를 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 실시 예들은 기술 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 청구하고자 하는 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 개시에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시에 따른 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
본 개시의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM: ROM)와, 랜덤-접속 메모리(random access memory: RAM: 'RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 개시의 실시예들이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 개시의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 개시의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시의 실시예들은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시의 실시예들은 이와 균등한 것을 적절하게 포함한다
또한 본 개시의 다양한 실시예들에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 프로그램을 수신하여 저장할 수 있다. 프로그램 제공 장치는 프로그램 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 송수신 장치로 전송하는 제어부를 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 실시 예들은 기술 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 청구하고자 하는 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 개시에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시에 따른 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (1)

  1. 멀티 미디어 데이터 전송 방법에 있어서,
    관심 공간에 해당하는 데이터, 관심 공간 안에서도 관심 객체들과 관심 객체들의 움직임 특성, 장면 내 컨텐트의 문맥적(contextual) 특성, 객체 방향성, 그리고 관심 객체들간의 내부적인 방향성 정보를 고려하여 멀티 미디어 데이터를 전송하는 과정을 포함하는 방법.
KR1020170134909A 2017-10-17 2017-10-17 멀티미디어 데이터를 전송하는 방법 및 장치 KR102390208B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170134909A KR102390208B1 (ko) 2017-10-17 2017-10-17 멀티미디어 데이터를 전송하는 방법 및 장치
PCT/KR2018/012174 WO2019078580A2 (ko) 2017-10-17 2018-10-16 실감형 미디어를 전송하는 방법 및 장치
EP18868334.6A EP3675489B1 (en) 2017-10-17 2018-10-16 Method and device for transmitting immersive media
US16/650,603 US11463673B2 (en) 2017-10-17 2018-10-16 Method and device for transmitting immersive media
CN201880067795.4A CN111295880B (zh) 2017-10-17 2018-10-16 用于发送沉浸式媒体的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170134909A KR102390208B1 (ko) 2017-10-17 2017-10-17 멀티미디어 데이터를 전송하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190043059A true KR20190043059A (ko) 2019-04-25
KR102390208B1 KR102390208B1 (ko) 2022-04-25

Family

ID=66173266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170134909A KR102390208B1 (ko) 2017-10-17 2017-10-17 멀티미디어 데이터를 전송하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11463673B2 (ko)
EP (1) EP3675489B1 (ko)
KR (1) KR102390208B1 (ko)
CN (1) CN111295880B (ko)
WO (1) WO2019078580A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023509190A (ja) * 2020-01-09 2023-03-07 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4123644B1 (en) * 2018-04-11 2024-08-21 Dolby International AB 6dof audio decoding and/or rendering
US11200700B2 (en) * 2019-01-10 2021-12-14 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
CN114969394A (zh) * 2021-02-22 2022-08-30 腾讯科技（深圳）有限公司 非时序点云媒体的数据处理方法、装置以及设备
US11570417B2 (en) * 2021-05-20 2023-01-31 Apple Inc. Immersive video streaming using view-adaptive prefetching and buffer control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160077548A (ko) * 2014-12-23 2016-07-04 한국전자통신연구원 실감 효과 메타데이터 생성 장치 및 방법
KR20170022078A (ko) * 2015-08-19 2017-03-02 삼성전자주식회사 디스플레이 장치 및 그의 제어방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355990B1 (ko) 2000-08-12 2002-10-18 (주)아이엠티소프트 인터넷 가상현실 서비스에서 점진적 데이터 전송을 위한ｖｒｍｌ 노드 확장 및 처리 방법
DE102004038494A1 (de) * 2004-08-07 2006-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Sensorsystems
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
US9829984B2 (en) 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
KR101539714B1 (ko) 2013-11-27 2015-08-06 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
US10096130B2 (en) * 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
US10880535B2 (en) * 2016-02-17 2020-12-29 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
WO2017187694A1 (ja) * 2016-04-28 2017-11-02 シャープ株式会社 注目領域画像生成装置
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
CN106231291B (zh) * 2016-07-18 2018-03-30 杭州当虹科技有限公司 一种基于虚拟现实视频的影片故事回溯方法
KR102352933B1 (ko) 2016-09-09 2022-01-20 삼성전자주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치
US20180349708A1 (en) * 2017-05-30 2018-12-06 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
US11711544B2 (en) * 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160077548A (ko) * 2014-12-23 2016-07-04 한국전자통신연구원 실감 효과 메타데이터 생성 장치 및 방법
KR20170022078A (ko) * 2015-08-19 2017-03-02 삼성전자주식회사 디스플레이 장치 및 그의 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023509190A (ja) * 2020-01-09 2023-03-07 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Also Published As

Publication number Publication date
WO2019078580A2 (ko) 2019-04-25
US11463673B2 (en) 2022-10-04
CN111295880B (zh) 2022-03-25
CN111295880A (zh) 2020-06-16
KR102390208B1 (ko) 2022-04-25
EP3675489A4 (en) 2020-11-04
EP3675489A2 (en) 2020-07-01
EP3675489B1 (en) 2024-03-27
US20200228780A1 (en) 2020-07-16
WO2019078580A3 (ko) 2019-06-13

Similar Documents

Publication Publication Date Title
KR102390208B1 (ko) 멀티미디어 데이터를 전송하는 방법 및 장치
US10810798B2 (en) Systems and methods for generating 360 degree mixed reality environments
US12094053B2 (en) Systems and associated methods for creating a viewing experience
US11880932B2 (en) Systems and associated methods for creating a viewing experience
US10372209B2 (en) Eye tracking enabling 3D viewing
JP6436320B2 (ja) ライブ選択的適応帯域幅
US20030227453A1 (en) Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
KR20170015938A (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US20180359427A1 (en) Virtual flying camera system
CN103608716A (zh) 体视频呈现
US20190130644A1 (en) Provision of Virtual Reality Content
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
JP6616023B2 (ja) 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム
CN115623149A (zh) 视频记录及回放系统和方法
JP7083361B2 (ja) 画像処理装置およびシステム
JP7365132B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
KR102233667B1 (ko) 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
KR102612605B1 (ko) 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
CN113614776A (zh) 表示场景的图像信号
NZ743078A (en) Systems and associated methods for creating a viewing experience

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant