KR101763921B1 - 컨텐츠 스트리밍 시스템 및 방법 - Google Patents

컨텐츠 스트리밍 시스템 및 방법 Download PDF

Info

Publication number
KR101763921B1
KR101763921B1 KR1020160137704A KR20160137704A KR101763921B1 KR 101763921 B1 KR101763921 B1 KR 101763921B1 KR 1020160137704 A KR1020160137704 A KR 1020160137704A KR 20160137704 A KR20160137704 A KR 20160137704A KR 101763921 B1 KR101763921 B1 KR 101763921B1
Authority
KR
South Korea
Prior art keywords
data
frame
motion
mesh
mesh data
Prior art date
Application number
KR1020160137704A
Other languages
English (en)
Inventor
이상엽
Original Assignee
(주)플럭스플래닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)플럭스플래닛 filed Critical (주)플럭스플래닛
Priority to KR1020160137704A priority Critical patent/KR101763921B1/ko
Priority to US15/336,276 priority patent/US10165303B2/en
Priority to CN201611084663.1A priority patent/CN107979766B/zh
Application granted granted Critical
Publication of KR101763921B1 publication Critical patent/KR101763921B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 일 실시예에 따르면, 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 상기 메쉬 데이터를 기하 이미지로 변환하고, 상기 모션 데이터가 태깅된 기하 이미지(Geometry Image)를 인코딩하여 제1 스트리밍 데이터를 생성하는 인코딩부; 네트워크 대역폭에 기초하여 상기 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 상기 제1 스트리밍 데이터에서 상기 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성하는 전송량 제어부; 상기 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 상기 탈락 프레임의 메쉬 데이터를 보간(interpolation)으로 생성하는 디코딩부; 를 포함하는 콘텐츠 스트리밍 시스템이 제공된다.

Description

컨텐츠 스트리밍 시스템 및 방법{METHOD AND SYSTEM FOR CONTENTS STREAMING}
본 발명은 컨텐츠 스트리밍 시스템 및 방법에 관한 것으로, 보다 상세하게는 통신망의 대역폭을 고려하여 전송량을 제어하고, 전송량을 제어하는 과정에서 탈락된 데이터를 모션 데이터를 이용한 보간으로 복구할 수 있는 4D 컨텐츠 스트리밍 시스템 및 방법에 관한 것이다.
최근 증강형실 및 가상현실 시장이 주목받으면서 관련 기술들이 연구되고 있다. 그러나, 증강현실 및 가상현실을 구현하기 위한 하드웨어 기술들은 급격히 발전하고 있지만 관련한 콘텐츠가 풍부하게 공급되지 않는 것이 시장 활성화의 가장 큰 제약으로 판단되고 있다. 특히, 실제 인물 중심의 콘텐츠는 제작 방법의 어려움으로 인해 매우 제한적으로 제작되고 있다. 또한 제작된 콘텐츠 역시 기존의 비디오 데이터보다 데이터 크기가 훨씬 큰 관계로 실제 활용에는 매우 큰 어려움이 있는 상황이다.
본 발명은 통신망의 대역폭을 고려하여 전송량을 제어하고, 전송량을 제어하는 과정에서 탈락된 데이터를 모션 데이터를 이용한 보간으로 복구할 수 있는 4D 컨텐츠 스트리밍 방법을 제공하는 것을 일 목적으로 한다.
또한, 본 발명은 실제 인물의 3차원 움직임을 표현할 수 있는 4D 콘텐츠를 기존의 비디오 기반 인프라를 활용하여 스트리밍하는 것을 다른 목적으로 한다.
또한, 본 발명은 4D 데이터 스트리밍 시 모션 데이터 기반의 보간을 이용함으로써 스트리밍되는 데이터의 정확도를 높이는 것을 다른 목적으로 한다.
본 발명의 일 실시예에 따르면, 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 상기 메쉬 데이터를 기하 이미지로 변환하고, 상기 모션 데이터가 태깅된 기하 이미지(Geometry Image)를 인코딩하여 제1 스트리밍 데이터를 생성하는 인코딩부; 네트워크 대역폭에 기초하여 상기 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 상기 제1 스트리밍 데이터에서 상기 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성하는 전송량 제어부; 상기 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 상기 탈락 프레임의 메쉬 데이터를 보간(interpolation)으로 생성하는 디코딩부; 를 포함하는 콘텐츠 스트리밍 시스템이 제공된다.
본 발명에 있어서, 상기 탈락되는 기하 이미지에 태깅된 모션 데이터는 상기 탈락 프레임에서 탈락되지 않을 수 잇다.
본 발명에 있어서, 상기 디코딩부는, 상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터 및 상기 탈락 프레임의 모션 데이터에 기초하여, 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성할 수 있다.
본 발명에 있어서, 상기 탈락 프레임은, 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 키프레임을 제외하고 선택될 수 있다.
본 발명에 있어서, 상기 탈락 프레임은 상기 키프레임에 이웃하는 프레임일 수 있다.
본 발명에 있어서, 상기 인코딩부는, 프레임별 상기 메쉬 데이터를 획득하는 메쉬 데이터 획득부; 프레임별 상기 메쉬 데이터에 대응하는 상기 모션 데이터를 획득하는 모션 데이터 획득부; 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 프레임을 키프레임으로 설정하는 키프레임 설정부; 상기 메쉬 데이터를 상기 기하 이미지로 변환하는 기하 이미지 변환부; 상기 기하 이미지에 상기 모션 데이터를 태깅(tagging)하는 모션 데이터 태깅부; 상기 모션 데이터가 태깅된 기하 이미지를 인코딩하여 상기 제1 스트리밍 데이터를 생성하는 인코더; 를 포함할 수 있다.
본 발명에 있어서, 상기 디코딩부는, 상기 제2 스트리밍 데이터를 디코딩하는 디코더; 디코딩된 데이터로부터 기하 이미지를 추출하는 기하 이미지 추출부; 추출된 기하 이미지를 메쉬 데이터로 변환하는 메쉬 데이터 변환부; 상기 탈락 프레임의 모션 데이터 및 상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터에 기초하여 상기 탈락 프레임에 대응하는 메쉬 데이터를 보간하여 생성하는 메쉬 데이터 보간부; 를 포함할 수 있다.
본 발명에 있어서, 상기 메쉬 데이터 보간부는, 상기 이웃하는 프레임의 메쉬 데이터에 상기 대응하는 모션 데이터를 이용하여, 블랜드 쉐이프(Blend Shape) 기법으로 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성할 수 있다.
본 발명의 다른 실시예에 따르면, 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 상기 메쉬 데이터를 기하 이미지로 변환하고, 상기 모션 데이터가 태깅된 기하 이미지(Geometry Image)를 인코딩하여 제1 스트리밍 데이터를 생성하는 인코딩 단계; 네트워크 대역폭에 기초하여 상기 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 상기 제1 스트리밍 데이터에서 상기 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성하는 전송량 제어 단계; 상기 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 상기 탈락 프레임의 메쉬 데이터를 보간(interpolation)으로 생성하는 디코딩 단계; 를 포함하는 콘텐츠 스트리밍 방법이 제공된다.
본 발명에 있어서, 상기 탈락되는 기하 이미지에 태깅된 모션 데이터는 상기 탈락 프레임에서 탈락되지 않을 수 있다.
본 발명에 있어서, 상기 디코딩 단계는, 상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터 및 상기 탈락 프레임의 모션 데이터에 기초하여, 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성할 수 있다.
본 발명에 있어서, 상기 탈락 프레임은, 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 키프레임을 제외하고 선택될 수 있다.
본 발명에 있어서, 상기 탈락 프레임은 상기 키프레임에 이웃하는 프레임일 수 있다.
본 발명에 있어서, 상기 인코딩 단계는, 프레임별 상기 메쉬 데이터를 획득하는 메쉬 데이터 획득 단계; 프레임별 상기 메쉬 데이터에 대응하는 상기 모션 데이터를 획득하는 모션 데이터 획득 단계; 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 프레임을 키프레임으로 설정하는 키프레임 설정 단계; 상기 메쉬 데이터를 상기 기하 이미지로 변환하는 기하 이미지 변환 단계; 상기 기하 이미지에 상기 모션 데이터를 태깅(tagging)하는 모션 데이터 태깅 단계; 를 포함할 수 있다.
본 발명에 있어서, 상기 디코딩 단계는, 디코딩된 제2 스트리밍 데이터로부터 기하 이미지를 추출하는 기하 이미지 추출 단계; 추출된 기하 이미지를 메쉬 데이터로 변환하는 메쉬 데이터 변환 단계; 상기 탈락 프레임의 모션 데이터 및 상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터에 기초하여 상기 탈락 프레임에 대응하는 메쉬 데이터를 보간하여 생성하는 메쉬 데이터 보간 단계; 를 포함할 수 있다.
본 발명에 있어서, 상기 메쉬 데이터 보간 단계는, 상기 이웃하는 프레임의 메쉬 데이터에 상기 대응하는 모션 데이터를 이용하여, 블랜드 쉐이프(Blend Shape) 기법으로 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성할 수 있다.
본 발명에 의하면, 실제 인물의 3차원 움직임을 표현할 수 있는 4D 콘텐츠를 기존의 비디오 기반 인프라를 활용하여 스트리밍할 수 있다.
또한, 본 발명에 의하면, 4D 데이터 스트리밍 시 모션 데이터 기반의 보간을 이용함으로써 스트리밍되는 데이터의 정확도를 높일 수 있다.
도 1 은 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템의 구성을 나타낸 도면이다.
도 2 는 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템을 블록도로 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템의 스트리밍 과정을 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 컨텐츠 스트리밍 방법을 시계열적으로 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 컨텐츠 스트리밍 방법의 일 단계를 시계열적으로 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 컨텐츠 스트리밍 방법의 일 단계를 시계열적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템의 구성을 나타낸 도면이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템(100)은 하나 이상의 4D 촬영 카메라(20), 출력 단말(30), 통신망(40), 인코딩부(110), 전송량 제어부(120) 및 디코딩부(130)를 포함한다.
먼저, 카메라(20)는 4D(4-dimension) 콘텐츠 촬영을 위한 복수개의 카메라들로 이루어진 카메라 그룹일 수 있다. 입체 영상을 의미하는 3D 영상에 시간축까지 더해진 4D 콘텐츠는 3D 동영상이라고도 불릴 수 있다. 본 발명의 일 실시예에 따른 카메라(20)는 복수대의 다시점 카메라로 구성될 수 있으며, 복수대의 다시점 카메라가 동기화된 시간에 피사체를 촬영한 동영상을 생성함으로써 4D 콘텐츠를 생성할 수 있다. 특히, 카메라(20)는 실제 인물 중심의 콘텐츠를 생성하기 위한 동영상을 촬영할 수 있다.
다음으로, 출력 단말(30)은 4D 콘텐츠를 출력할 수 있는 단말이다. 출력 단말(30)은 디코딩부(130)에 의해 디코딩된 4D 콘텐츠를 출력할 수 있다. 출력 단말(30)은 퍼스널 컴퓨터 및 휴대용 단말 등 4D 콘텐츠를 출력할 수 있는 단말이면 제한 없이 본 발명에서 차용될 수 있다. 도 1 의 실시예에서는 디코딩부(130)가 출력 단말(30)의 외부에 존재하는 것으로 도시되었지만, 이는 개념적인 설명을 위한 예시일 뿐 디코딩부(130)는 출력 단말(30) 내에 존재할 수 있다.
한편, 통신망(40)은 복수 개의 출력 단말(30)들에 4D 콘텐츠를 출력하기 위해, 인코딩부와 디코딩부를 연결하는 역할을 수행한다. 즉, 통신망(40)은 출력 단말(30)들이 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 즉, 본 발명의 일 실시예에 따른 통신망(40)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(40)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(40)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
본 발명의 일 실시예에 따른 통신망(40)은 대역폭이 일정 수치 이상으로 제한될 수 있다. 4D 콘텐츠의 경우 데이터의 양이 기존 비디오 데이터보다 방대하므로, 제작된 4D 콘텐츠를 그대로 통신망(40)을 통해 디코딩부(130)로 전송할 경우 통신망(40)에 과부하가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템은 4D 콘텐츠를 스트리밍할때, 통신망의 대역폭을 고려하여 전송량을 제어하고, 전송량을 제어하는 과정에서 탈락된 데이터를 모션 데이터를 이용한 보간으로 복구함으로써, 통신망의 과부하를 방지하면서 원본에 가깝게 4D 콘텐츠를 스트리밍할 수 있다. 이로 인해, 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 방법은 기존의 비디오 기반 인프라를 그대로 활용하여 4D 콘텐츠를 스트리밍하는 것이 가능하고, 단순한 선형 보간이 아닌 스켈레톤 모델 기반의 보간을 이용함으로써 스트리밍의 정확도를 높일 수 있다.
이를 위해, 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템은 인코딩부(110), 전송량 제어부(120) 및 디코딩부(130)를 포함한다. 인코딩부(110)는 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 메쉬 데이터를 기하 이미지로 변환하고, 모션 데이터가 태깅된 기하 이미지를 인코딩하여 제1 스트리밍 데이터를 생성한다. 또한, 전송량 제어부(130)는 네트워크 대역폭에 기초하여 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 제1 스트리밍 데이터에서 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성한다. 또한, 디코딩부(130)는 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 탈락 프레임의 메쉬 데이터를 보간(interpolation)으로 생성한다. 이하에서는, 인코딩부(110), 전송량 제어부(120) 및 디코딩부(130)의 각 구성에 대해 보다 상세히 살펴보기로 한다.
도 2 는 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템을 블록도로 나타낸 도면이다.
도 2 를 참조하면, 본 발명의 일 실시예에 따른 인코딩부(110)는 메쉬 데이터 획득부(111), 모션 데이터 획득부(112), 키프레임 설정부(113), 기하 이미지 변환부(114), 모션 데이터 태깅부(115), 인코더(116)를 포함한다.
또한, 디코딩부(130)는 디코더(131), 기하 이미지 추출부(132), 메쉬 데이터 변환부(133), 메쉬 데이터 보간부(134)를 포함한다.
먼저, 인코딩부(110)의 메쉬 데이터 획득부(111)는 프레임별 메쉬 데이터를 획득한다. 프레임별 메쉬 데이터는, 카메라들이 생성한 프레임별 영상에 기초하여 생성한 입체 메쉬 데이터일 수 있다.
다음으로, 모션 데이터 획득부(112)는 프레임별 메쉬 데이터에 대응하는 모션 데이터를 획득한다. 메쉬 데이터와 마찬가지로, 모션 데이터는 카메라들이 생성한 프레임별 영상에 기초하여 생성된 모션 데이터로서, 입체 영상에서의 움직임을 나타내는 데이터이다. 일 예로, 모션 데이터는 현재 프레임에서 이웃하는 이전 프레임의 데이터 변화값을 나타낸 것일 수 있다.
다음으로, 키프레임 설정부(113)는 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 프레임을 키프레임으로 설정한다. 이때, 키프레임으로 설정되기 위한 움직임이 큰 모션 데이터란, 절대적이 아닌 상대적 가치로 결정될 수도 있다. 즉, 다른 프레임에 비해 움직임이 큰 모션 데이터를 갖는 프레임을 키프레임으로 설정함으로써, 후술하는 전송량 제어부(120)에 의해 전송량을 제어할 때 움직임이 큰 모션 데이터를 프레임이 탈락되지 않도록 함으로써, 원본 4D 데이터를 최대한 보존할 수 있다.
다음으로, 기하 이미지 변환부(114)는 메쉬 데이터를 기하 이미지(Geometry Image)로 변환한다. 기하 이미지 변환부(114)는 기존에 공지된 기술을 이용하여 메쉬 데이터를 기하 이미지로 변환할 수 있다. 본 발명의 일 실시예에 따르면 메쉬 데이터를 기하 이미지로 변환하여 전송함으로써, 4D 데이터의 전송이 보다 용이하도록 할 수 있다.
다음으로, 모션 데이터 태깅부(115)는 기하 이미지에 상기 모션 데이터를 태깅(tagging)할 수 있다. 모션 데이터 태깅부는, 프레임별 기하 이미지 마다, 기하 이미지들에 모션 데이터를 태깅할 수 있다. 따라서 본 발명은 스트리밍 데이터를 생성할 때 메쉬 데이터에 기초한 기하 이미지뿐만 아니라, 각 프레임에 대응되는 모션 데이터를 함께 전송할 수 있다.
다음으로, 인코더는 모션 데이터가 태깅된 기하 이미지를 인코딩하여 제1 스트리밍 데이터를 생성한다.
다음으로, 전송량 제어부(120)는 네트워크 대역폭에 기초하여 상기 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 상기 제1 스트리밍 데이터에서 상기 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성한다. 이때, 기하 이미지가 탈락된다는 것은, 제1 스트리밍 데이터에서 해당 기하 이미지를 삭제한다는 뜻이다. 네트워크 대역폭을 고려할 때, 메쉬 데이터를 변환한 기하 이미지는 그 용량이 크므로 모든 프레임의 기하 이미지를 모두 전송하는 경우 네트워크의 과부하를 야기할 수 있다. 따라서, 본 발명의 일 실시예에 따른 전송량 제어부(120)는 제1 스트리밍 데이터에서 일부 프레임의 기하 이미지를 탈락시킨 제2 스트리밍 데이터를 생성함으로써, 전송량을 경감시킬 수 있다. 이때, 전송량 제어부(120)는 탈락 프레임의 모션 데이터는 유지한다. 모션 데이터는 용량이 비교적 적으므로, 모든 프레임에 대해 모션 데이터를 유지하더라도 네트워크에 과부하를 야기할 가능성이 적다. 따라서, 전송량 제어부(120)는 탈락 프레임에 관계없이, 모든 프레임의 모션 데이터를 유지한다.
또한, 전송량 제어부(120)는 통신망(40)의 대역폭을 고려하여 탈락 프레임을 선택할 수 있다. 통신망(40)의 대역폭이 큰 경우에는 탈락 프레임을 선택하지 않거나 조금만 선택할 수 있다. 통신망(40)의 대역폭이 작은 경우에는 탈락 프레임을 많이 선택할 수 있다.
또한, 전송량 제어부(120)는 탈락 프레임으로서 키프레임을 제외하고 선택할 수 있다. 상술한 바와 같이 키프레임은 다른 프레임에 비해 움직임이 큰 모션 데이터를 갖는 프레임이므로, 키프레임의 경우 원본 기하 이미지 데이터가 보존되는 것이 4D 콘텐츠를 정확하게 스트리밍하는데 도움이 된다. 따라서, 전송량 제어부(120)는 키프레임은 탈락 프레임으로 선택하지 않을 수 있다. 대신, 전송량 제어부(120)는 탈락 프레임으로서 키프레임에 이웃하는 프레임을 선택할 수 있다.
다음으로, 제2 스트리밍 데이터를 수신한 디코딩부(130)의 디코더(131)는, 제2 스트리밍 데이터를 디코딩한다.
또한, 기하 이미지 추출부(132)는 디코딩된 데이터로부터 기하 이미지를 추출한다. 이때, 추출되는 기하 이미지들은 탈락 프레임을 제외한 나머지 프레임들의 기하 이미지들이다. 그러나, 모션 데이터는 탈락 프레임에서도 탈락되지 않았으므로, 모션 데이터는 모든 프레임에 대해 추출될 수 있다.
또한, 메쉬 데이터 변환부(133)는 추출된 기하 이미지를 메쉬 데이터로 변환한다. 상술한 바와 같이, 기하 이미지들은 탈락 프레임에서는 추출되지 않았으므로, 마찬가지로 변환되는 메쉬 데이터 역시 탈락 프레임에 대해서는 생성되지 않는다.
또한, 메쉬 데이터 보간부(134)는 탈락 프레임에서 생성되지 않은 메쉬 데이터를 보간으로 생성한다. 보다 상세히, 메쉬 데이터 보간부(134)는 탈락 프레임의 모션 데이터 및 탈락 프레임에 이웃하는 프레임의 메쉬 데이터에 기초하여, 탈락 프레임에 대응하는 메쉬 데이터를 보간하여 생성한다. 탈락 프레임에는 메쉬 데이터가 생성되지 않았지만, 여전히 모션 데이터는 유지되고 있으므로, 모션 데이터와 이웃하는 프레임들의 메쉬 데이터를 이용하여 보간으로 메쉬 데이터를 생성할 수 있다. 또한, 메쉬 데이터 보간부(134)는 블랜드 쉐이프(Blend Shape) 기법으로 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성할 수 있다.
이와 같이 본 발명의 일 실시예에 따르면 메쉬 데이터 보간 방법에 의해 단순히 탈락된 메쉬 데이터를 선형 보간으로 생성하는 것이 아니라, 모션 데이터를 이용한 보간으로 생성할 수 있으므로, 4D 콘텐츠를 원본에 가깝게 스트리밍 할 수 있다.
또한, 4D 콘텐츠 제공부(135)는 기하 이미지로부터 획득된 메쉬 데이터 및 보간으로 생성된 메쉬 데이터를 이용하여 완성된 4D 콘텐츠가 출력 단말(30)에서 출력될 수 있도로 제공한다.
도 3 은 본 발명의 일 실시예에 따른 콘텐츠 스트리밍 시스템의 스트리밍 과정을 설명하기 위한 도면이다.
먼저, 도 3 의 (a) 를 참조하면 4D 콘텐츠(4D Contents)로서 프레임1, 프레임2, 프레임3,... , 프레임N 에 각각 대응되는 메쉬 데이터인 Mesh1, Mesh2, Mesh3, ... MeshN 이 생성될 수 있다. 또한, 모션 데이터(Motion Data)로서 프레임1, 프레임2, 프레임3,..., 프레임4, 프레임N 에 각각 대응되는 M1, M2, M3, M4,..., MN 이 생성될 수 있다. 이때, 본 발명의 일 실시예에 따르면 모션 데이터들 중 움직임이 큰 모션 데이터에 대응하는 프레임은 키프레임으로 선택(selecting keyframes)될 수 있으며, 도 3 의 실시예에서는 모션 데이터 M1 및 M4 에 대응하는 프레임 1 및 프레임 4가 키프레임으로 선택된 것을 알 수 있다. 키프레임에 대응하는 모션 데이터는 M1(key) 및 M4(key) 로 표현되었다.
다음으로, 메쉬 데이터 Mesh1, Mesh2, Mesh3, ... MeshN 가 각각 변환된 기하 이미지 GI1, GI2, GI3,..., GIN 이 생성될 수 있다. 이때, 기하 이미지 GI1, GI2, GI3,..., GIN 에는 각각 모션 데이터인 M1(key), M2, M3,..., MN 가 태깅된다(Geometry Image Sequece with tagged information). 다음으로, 인코더는 모션 데이터가 태깅된 기하 이미지를 인코딩하여 제1 스트리밍 데이터를 생성한다.
다음으로, 도 3 의 (b)를 참조하면, 일부 기하 이미지들이 탈락된 제2 스트리밍 데이터가 디코더에 의해 디코딩될 수 있다. 이때, 도 3 의 본 발명의 일 실시예에 따르면, 프레임2 및 프레임3이 탈락 프레임으로 선택되고, 따라서 제2 스트리밍 데이터에는 프레임2 및 프레임3에 대응하는 기하 이미지 GI2, GI3 가 포함되지 않은 경우를 가정하기로 한다. 프레임1 및 프레임4는 키프레임이므로, 제2 스트리밍 데이터에서도 기하 이미지가 탈락되지 않을 수 있다.
즉, 도 3 의 제2 스트리밍 데이터가 디코딩한, 모션 데이터가 태깅된 기하 이미지(Geometry Image Sequece with tagged motion data)에서도 알 수 있는 바와 같이, 모션 데이터 M1(key), M2, M3, M4(key),..., MN 는 모든 프레임에 대해 존재하지만, 기하 이미지 GI1, GI4,..., GIN 는 탈락 프레임에 대해서는 존재하지 않는다. 따라서, 기하 이미지를 변환하는 것만으로는 모든 프레임의 메쉬 데이터를 얻을 수 없으므로, 탈락 프레임에 대해서는 메쉬 데이터를 보간하여 생성한다. 도 3 의 실시예에 의하면, 탈락 프레임인 프레임2의 메시 데이터 Mesh2' 는 이웃 프레임의 메쉬 데이터 Mesh1 에 해당 프레임의 모션 데이터 M2 를 잉용하여 보간으로 형성된 데이터이다. 또한, 탈락 프레임인 프레임3의 메시 데이터 Mesh3' 는 이웃 프레임의 메쉬 데이터 Mesh4 에 해당 프레임의 모션 데이터 M3 를 잉용하여 보간으로 형성된 데이터이다. 도 3 의 실시예와 같이, 보간으로 탈락 프레임의 메쉬 데이터를 생성할 수 있고, 따라서 전체 프레임에 대한 4D 컨텐츠를 획득할 수 있다.
도 4 는 본 발명의 일 실시예에 따른 컨텐츠 스트리밍 방법을 시계열적으로 나타낸 도면이다.
도 4 를 참조하면, 컨텐츠 스트리밍 시스템은 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 메쉬 데이터를 기하 이미지로 변환하고, 모션 데이터가 태깅된 기하 이미지를 인코딩하여 제1 스트리밍 데이터를 생성한다(S1).
다음으로, 컨텐츠 스트리밍 시스템은 네트워크 대역폭에 기초하여 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 제1 스트리밍 데이터에서 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성한다(S2).
마지막으로, 컨텐츠 스트리밍 시스템은 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 탈락 프레임의 메쉬 데이터를 보간으로 생성(S3)하여 4D 컨텐츠를 제공한다.
도 5 는 본 발명의 일 실시예에 따른 컨텐츠 스트리밍 방법의 일 단계를 시계열적으로 나타낸 도면이다.
도 5 는 도 4 의 S1 단계를 보다 구체적으로 나타낸 실시예이다. 도 5 의 단계들은 컨텐츠 스트리밍 시스템의 인코딩부(110)에서 수행될 수 있다. 보다 상세히, 컨텐츠 스트리밍 시스템은 프레임별 메쉬 데이터를 획득(S11)한다.
다음으로, 컨텐츠 스트리밍 시스템은 프레임별 메쉬 데이터에 대응하는 모션 데이터를 획득한다(S12).
다음으로, 컨텐츠 스트리밍 시스템은 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 프레임을 키프레임으로 설정한다(S13).
다음으로, 컨텐츠 스트리밍 시스템은 메쉬 데이터를 기하 이미지로 변환한다(S14).
다음으로, 컨텐츠 스트리밍 시스템은 기하 이미지에 모션 데이터를 태깅한다(S15).
마지막으로, 컨텐츠 스트리밍 시스템은 모션 데이터가 태깅된 기하 이미지를 인코딩하여 제1 스트리밍 데이터를 생성한다(S16).
도 6 은 본 발명의 일 실시예에 따른 컨텐츠 스트리밍 방법의 일 단계를 시계열적으로 나타낸 도면이다.
도 6 는 도 4 의 S3 단계를 보다 구체적으로 나타낸 실시예이다. 도 6 의 단계들은 컨텐츠 스트리밍 시스템의 디코딩부(130)에서 수행될 수 있다. 보다 상세히, 컨텐츠 스트리밍 시스템은 제2 스트리밍 데이터를 디코딩한다(S31).
다음으로, 컨텐츠 스트리밍 시스템은 디코딩된 데이터로부터 기하 이미지를 추출한다(S32).
다음으로, 컨텐츠 스트리밍 시스템은 추출된 기하 이미지를 메쉬 데이터로 변환한다(S33).
다음으로, 컨텐츠 스트리밍 시스템은 탈락 프레임의 모션 데이터 및 탈락 프레임에 이웃하는 프레임의 메쉬 데이터에 기초하여 탈락 프레임에 대응하는 메쉬 데이터를 보간하여 생성한다(S34).
마지막으로, 컨텐츠 스트리밍 시스템은 4D 컨텐츠 생성한다(S35).
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 컨텐츠 스트리밍 시스템 110: 인코딩부
120: 전송량 제어부 130: 디코딩부
20: 카메라 30: 출력 단말
40: 통신망

Claims (16)

  1. 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 상기 메쉬 데이터를 기하 이미지로 변환하고, 상기 모션 데이터가 태깅된 기하 이미지(Geometry Image)를 인코딩하여 제1 스트리밍 데이터를 생성하는 인코딩부;
    네트워크 대역폭에 기초하여 상기 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 상기 제1 스트리밍 데이터에서 상기 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성하는 전송량 제어부;
    상기 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 상기 탈락 프레임의 메쉬 데이터를 보간(interpolation)으로 생성하는 디코딩부;
    를 포함하는 콘텐츠 스트리밍 시스템.
  2. 제 1 항에 있어서,
    상기 탈락되는 기하 이미지에 태깅된 모션 데이터는 상기 탈락 프레임에서 탈락되지 않는, 콘텐츠 스트리밍 시스템.
  3. 제 2 항에 있어서,
    상기 디코딩부는,
    상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터 및 상기 탈락 프레임의 모션 데이터에 기초하여, 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성하는, 콘텐츠 스트리밍 시스템.
  4. 제 1 항에 있어서,
    상기 탈락 프레임은, 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 키프레임을 제외하고 선택되는, 콘텐츠 스트리밍 시스템.
  5. 제 4 항에 있어서,
    상기 탈락 프레임은 상기 키프레임에 이웃하는 프레임인, 콘텐츠 스트리밍 시스템.
  6. 제 1 항에 있어서,
    상기 인코딩부는,
    프레임별 상기 메쉬 데이터를 획득하는 메쉬 데이터 획득부;
    프레임별 상기 메쉬 데이터에 대응하는 상기 모션 데이터를 획득하는 모션 데이터 획득부;
    상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 프레임을 키프레임으로 설정하는 키프레임 설정부;
    상기 메쉬 데이터를 상기 기하 이미지로 변환하는 기하 이미지 변환부;
    상기 기하 이미지에 상기 모션 데이터를 태깅(tagging)하는 모션 데이터 태깅부;
    상기 모션 데이터가 태깅된 기하 이미지를 인코딩하여 상기 제1 스트리밍 데이터를 생성하는 인코더;
    를 포함하는, 콘텐츠 스트리밍 시스템.
  7. 제 2 항에 있어서,
    상기 디코딩부는,
    상기 제2 스트리밍 데이터를 디코딩하는 디코더;
    디코딩된 데이터로부터 기하 이미지를 추출하는 기하 이미지 추출부;
    추출된 기하 이미지를 메쉬 데이터로 변환하는 메쉬 데이터 변환부;
    상기 탈락 프레임의 모션 데이터 및 상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터에 기초하여 상기 탈락 프레임에 대응하는 메쉬 데이터를 보간하여 생성하는 메쉬 데이터 보간부;
    를 포함하는, 콘텐츠 스트리밍 시스템.
  8. 제 7 항에 있어서,
    상기 메쉬 데이터 보간부는, 상기 이웃하는 프레임의 메쉬 데이터에 상기 대응하는 모션 데이터를 이용하여, 블랜드 쉐이프(Blend Shape) 기법으로 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성하는, 콘텐츠 스트리밍 시스템.
  9. 프레임별 메쉬 데이터 및 모션 데이터를 생성하고, 상기 메쉬 데이터를 기하 이미지로 변환하고, 상기 모션 데이터가 태깅된 기하 이미지(Geometry Image)를 인코딩하여 제1 스트리밍 데이터를 생성하는 인코딩 단계;
    네트워크 대역폭에 기초하여 상기 기하 이미지가 탈락(drop)되는 탈락 프레임을 선택하고, 상기 제1 스트리밍 데이터에서 상기 탈락 프레임의 기하 이미지를 탈락시켜 제2 스트리밍 데이터를 생성하는 전송량 제어 단계;
    상기 제2 스트리밍 데이터를 디코딩하고, 디코딩된 제2 스트리밍 데이터의 기하 이미지를 메쉬 데이터로 변환하며, 상기 탈락 프레임의 메쉬 데이터를 보간(interpolation)으로 생성하는 디코딩 단계;
    를 포함하는 콘텐츠 스트리밍 방법.
  10. 제 9 항에 있어서,
    상기 탈락되는 기하 이미지에 태깅된 모션 데이터는 상기 탈락 프레임에서 탈락되지 않는, 콘텐츠 스트리밍 방법.
  11. 제 10 항에 있어서,
    상기 디코딩 단계는,
    상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터 및 상기 탈락 프레임의 모션 데이터에 기초하여, 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성하는, 콘텐츠 스트리밍 방법.
  12. 제 9 항에 있어서,
    상기 탈락 프레임은, 상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 키프레임을 제외하고 선택되는, 콘텐츠 스트리밍 방법.
  13. 제 12 항에 있어서,
    상기 탈락 프레임은 상기 키프레임에 이웃하는 프레임인, 콘텐츠 스트리밍 방법.
  14. 제 9 항에 있어서,
    상기 인코딩 단계는,
    프레임별 상기 메쉬 데이터를 획득하는 메쉬 데이터 획득 단계;
    프레임별 상기 메쉬 데이터에 대응하는 상기 모션 데이터를 획득하는 모션 데이터 획득 단계;
    상기 모션 데이터 중 움직임이 큰 모션 데이터에 대응하는 프레임을 키프레임으로 설정하는 키프레임 설정 단계;
    상기 메쉬 데이터를 상기 기하 이미지로 변환하는 기하 이미지 변환 단계;
    상기 기하 이미지에 상기 모션 데이터를 태깅(tagging)하는 모션 데이터 태깅 단계;
    를 포함하는, 콘텐츠 스트리밍 방법.
  15. 제 10 항에 있어서,
    상기 디코딩 단계는,
    디코딩된 제2 스트리밍 데이터로부터 기하 이미지를 추출하는 기하 이미지 추출 단계;
    추출된 기하 이미지를 메쉬 데이터로 변환하는 메쉬 데이터 변환 단계;
    상기 탈락 프레임의 모션 데이터 및 상기 탈락 프레임에 이웃하는 프레임의 메쉬 데이터에 기초하여 상기 탈락 프레임에 대응하는 메쉬 데이터를 보간하여 생성하는 메쉬 데이터 보간 단계;
    를 포함하는, 콘텐츠 스트리밍 방법.
  16. 제 15 항에 있어서,
    상기 메쉬 데이터 보간 단계는, 상기 이웃하는 프레임의 메쉬 데이터에 상기 대응하는 모션 데이터를 이용하여, 블랜드 쉐이프(Blend Shape) 기법으로 상기 탈락 프레임의 메쉬 데이터를 보간하여 생성하는, 콘텐츠 스트리밍 방법.
KR1020160137704A 2016-10-21 2016-10-21 컨텐츠 스트리밍 시스템 및 방법 KR101763921B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160137704A KR101763921B1 (ko) 2016-10-21 2016-10-21 컨텐츠 스트리밍 시스템 및 방법
US15/336,276 US10165303B2 (en) 2016-10-21 2016-10-27 Content streaming system and method
CN201611084663.1A CN107979766B (zh) 2016-10-21 2016-11-30 内容串流系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160137704A KR101763921B1 (ko) 2016-10-21 2016-10-21 컨텐츠 스트리밍 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101763921B1 true KR101763921B1 (ko) 2017-08-01

Family

ID=59650167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160137704A KR101763921B1 (ko) 2016-10-21 2016-10-21 컨텐츠 스트리밍 시스템 및 방법

Country Status (3)

Country Link
US (1) US10165303B2 (ko)
KR (1) KR101763921B1 (ko)
CN (1) CN107979766B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570457A (zh) * 2019-08-07 2019-12-13 中山大学 一种基于流数据的三维物体检测与跟踪方法
WO2022211462A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 동적 메시 코딩을 위한 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
EP3987770A4 (en) 2019-08-20 2022-08-17 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR IMPROVING THE GRAPHIC PERFORMANCE OF AN APPLICATION PROGRAM, AND METHOD OF OPERATION

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506828A (ja) 1996-12-16 2001-05-22 シャープ株式会社 二次元メッシュジオメトリおよび動きベクトル圧縮
WO2014052437A1 (en) 2012-09-28 2014-04-03 Intel Corporation Encoding images using a 3d mesh of polygons and corresponding textures
JP2016046778A (ja) 2014-08-26 2016-04-04 株式会社東芝 映像圧縮装置および映像再生装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514933B2 (en) 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
EP2160631B1 (en) * 2007-06-07 2017-03-01 Paradigm Sciences Ltd. Device and method for displaying full azimuth angle domain image data
CN100493141C (zh) * 2007-12-19 2009-05-27 哈尔滨工业大学 基于下采样和插值同一性建立数学模型的处理图像的方法
CN101626509B (zh) * 2009-08-10 2011-02-02 北京工业大学 三维网格编码、解码方法及编码、解码装置
CN103002283A (zh) * 2012-11-20 2013-03-27 南京邮电大学 多视角分布式视频压缩的边信息生成方法
EP3055993B1 (en) * 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
GB2533625B (en) * 2014-12-23 2021-07-28 Micro Nav Ltd Visual Display Systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506828A (ja) 1996-12-16 2001-05-22 シャープ株式会社 二次元メッシュジオメトリおよび動きベクトル圧縮
WO2014052437A1 (en) 2012-09-28 2014-04-03 Intel Corporation Encoding images using a 3d mesh of polygons and corresponding textures
JP2016046778A (ja) 2014-08-26 2016-04-04 株式会社東芝 映像圧縮装置および映像再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570457A (zh) * 2019-08-07 2019-12-13 中山大学 一种基于流数据的三维物体检测与跟踪方法
CN110570457B (zh) * 2019-08-07 2023-01-06 中山大学 一种基于流数据的三维物体检测与跟踪方法
WO2022211462A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 동적 메시 코딩을 위한 장치 및 방법

Also Published As

Publication number Publication date
US20180115785A1 (en) 2018-04-26
US10165303B2 (en) 2018-12-25
CN107979766B (zh) 2020-07-24
CN107979766A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
TWI826321B (zh) 提高影像品質的方法
KR101763921B1 (ko) 컨텐츠 스트리밍 시스템 및 방법
US10237548B2 (en) Video transmission based on independently encoded background updates
US8031767B2 (en) Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
TW201838419A (zh) 包含用於視頻寫碼之子圖像位元流之視頻內容之信令傳輸
US20180176650A1 (en) Information processing apparatus and information processing method
US10511766B2 (en) Video transmission based on independently encoded background updates
US20180082429A1 (en) Dynamic adjustment of frame rate conversion settings
TW201238356A (en) Adaptive bit rate control based on scenes
JP6807032B2 (ja) 情報処理装置および情報処理方法
CN109587478B (zh) 一种媒体信息的处理方法及装置
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
Schreer et al. Lessons learned during one year of commercial volumetric video production
WO2021057477A1 (zh) 视频编解码方法和相关装置
KR20230107878A (ko) 적응적 얼굴 재현 및 얼굴 복원에 기반한 비디오 화상회의
Huang et al. A cloud computing based deep compression framework for UHD video delivery
WO2021087819A1 (zh) 信息处理方法、终端设备及存储介质
JP2006013754A (ja) 動画像符号化装置及び動画像復号化装置
EP4391550A1 (en) Processing content for extended reality applications
WO2023030070A1 (zh) 编码、封装及显示方法、装置及电子设备
KR20180096399A (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JPWO2008129648A1 (ja) フレームレート変換装置、フレームレート変換方法及び動画像符号化装置
CN116781676A (zh) 一种点云媒体的数据处理方法、装置、设备及介质
KR20040011903A (ko) 대본 혹은 영상의 유사성과 사람의 인지 능력을 고려한동영상 파일 인코딩 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant