KR102362513B1 - 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말 - Google Patents

타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말 Download PDF

Info

Publication number
KR102362513B1
KR102362513B1 KR1020170165389A KR20170165389A KR102362513B1 KR 102362513 B1 KR102362513 B1 KR 102362513B1 KR 1020170165389 A KR1020170165389 A KR 1020170165389A KR 20170165389 A KR20170165389 A KR 20170165389A KR 102362513 B1 KR102362513 B1 KR 102362513B1
Authority
KR
South Korea
Prior art keywords
time slice
image
user terminal
slice image
information
Prior art date
Application number
KR1020170165389A
Other languages
English (en)
Other versions
KR20190065838A (ko
Inventor
문준희
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170165389A priority Critical patent/KR102362513B1/ko
Priority to US16/205,380 priority patent/US11089283B2/en
Publication of KR20190065838A publication Critical patent/KR20190065838A/ko
Application granted granted Critical
Publication of KR102362513B1 publication Critical patent/KR102362513B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

타임 슬라이스 영상을 생성하는 서버는 복수의 카메라에 의해 촬영된 복수의 영상을 수신하는 영상 수신부, 상기 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 패키징부, 사용자 단말로부터 수신한 재생 요청에 따라, 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 상기 사용자 단말로 전송하는 영상 전송부 및 상기 사용자 단말로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 상기 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하고, 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 타임 슬라이스 영상 제공부를 포함한다.

Description

타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말{SERVER AND METHOD FOR GENERATING TIME SLICE VIDEO, AND USER DEVICE}
본 발명은 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말에 관한 것이다.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다.
종래의 타임 슬라이스 영상은 사용자 단말에서 모든 시점의 영상을 보유하고 있으므로 타임 슬라이스 영상의 시점 전환 시, 해당 시점으로의 타임 슬라이스 영상 생성에 대해 빠른 생성 속도를 보장한다. 그러나 이는 너무 많은 네트워크 밴드와 높은 네트워크 속도를 요구되며, 이로 인해 사용자 단말의 높은 성능이 요구되고 있다.
높은 네트워크 밴드를 요구하는 타임 슬라이스 영상을 가상 스트리머를 이용하여 낮은 네트워크 밴드에서도 이용 가능하도록 하는 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말을 제공하고자 한다. 서버단에서 복수의 영상에 대한 각 시점의 영상 정보를 관리하고, 사용자 단말단에서 요구하는 패키지 데이터만을 전달함으로써, 타임 슬라이스 영상에서 요구되는 네트워크 밴드를 최소화시키는 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 카메라에 의해 촬영된 복수의 영상을 수신하는 영상 수신부, 상기 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 패키징부, 사용자 단말로부터 수신한 재생 요청에 따라, 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 상기 사용자 단말로 전송하는 영상 전송부 및 상기 사용자 단말로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 상기 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하고, 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 타임 슬라이스 영상 제공부를 포함하고, 상기 패키징부는 상기 각 영상을 구성하는 복수의 프레임 마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 타임 슬라이스 영상 생성 서버를 제공할 수 있다.
본 발명의 다른 실시예는, 타임 슬라이스 영상 생성 서버로 복수의 카메라에 의해 촬영된 복수의 영상 중 어느 하나에 대한 재생 요청을 전송하는 재생 요청부, 상기 재생 요청에 따라 상기 타임 슬라이스 영상 생성 서버로부터 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 수신하는 영상 수신부, 상기 수신받은 패키징 데이터를 통해 상기 재생 요청에 대응하는 영상을 재생하는 영상 재생부, 상기 타임 슬라이스 영상 생성 서버로 타임 슬라이스 영상에 대한 생성 요청을 전송하고, 상기 생성 요청에 따라 상기 복수의 영상에 대한 패키징 데이터에 기초하여 생성된 타임슬라이스 영상을 상기 타임 슬라이스 영상 생성 서버로부터 수신하고, 상기 수신된 타임슬라이스 영상을 재생하는 타임 슬라이스 영상 제공부를 포함하고, 상기 각 영상에 대한 패키징 데이터는 상기 타임 슬라이스 영상 생성 서버에 의해 상기 각 영상을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 생성되는 것인 사용자 단말을 제공할 수 있다.
본 발명의 또 다른 실시예는, 복수의 카메라에 의해 촬영된 복수의 영상을 수신하는 단계, 상기 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 단계, 사용자 단말로부터 수신한 재생 요청에 따라, 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 상기 사용자 단말로 전송하는 단계, 상기 사용자 단말로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 상기 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하는 단계 및 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 단계를 포함하고, 상기 패키징 데이터를 생성하는 단계는 상기 각 영상을 구성하는 복수의 프레임 마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 것인 타임 슬라이스 영상 생성 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 높은 네트워크 밴드를 요구하는 타임 슬라이스 영상을 가상 스트리머를 이용하여 낮은 네트워크 밴드에서도 이용 가능하도록 하는 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말을 제공할 수 있다. 서버단에서 복수의 영상에 대한 각 시점의 영상 정보를 관리하고, 사용자 단말단에서 요구하는 패키지 데이터만을 전달함으로써, 타임 슬라이스 영상에서 요구되는 네트워크 밴드를 최소화시키는 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 재생하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 각 영상을 구성하는 복수의 프레임 별로 생성된 패키징 데이터를 도시한 예시적인 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 복수의 영상을 타임 슬라이스 영상의 생성을 위해 스트림으로 변환하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상 스트리머의 구성도이다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 패키징 작업이 수행된 복수의 영상에 기초하여 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버에서 타임 슬라이스 영상을 생성하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 시스템의 구성도이다. 도 1을 참조하면, 타임 슬라이스 영상 제공 시스템(1)은 복수의 카메라(110), 사용자 단말(120) 및 타임 슬라이스 영상 생성 서버(130)를 포함할 수 있다. 복수의 카메라(110), 사용자 단말(120) 및 타임 슬라이스 영상 생성 서버(130)는 타임 슬라이스 영상 생성 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 타임 슬라이스 영상 생성 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 타임 슬라이스 영상 생성 서버(130)는 복수의 카메라(110) 및 사용자 단말(120)과 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, 3G, 4G, 5G, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등이 포함되나 이에 한정되지는 않는다.
복수의 카메라(110)는 스포츠 경기장 또는 공연장에서 스포츠 경기 영상 또는 공연 영상을 촬영하고, 촬영된 영상을 타임 슬라이스 영상 생성 서버(130)로 전송할 수 있다. 예를 들어, 복수의 카메라(110)는 스포츠 경기장 또는 공연장에 소정의 간격을 두고 설치된 것일 수 있다.
사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 어느 하나에 대한 재생 요청을 전송할 수 있다.
사용자 단말(120)은 재생 요청에 따라 타임 슬라이스 영상 생성 서버(130)로부터 복수의 영상 중 어느 하나에 대한 패키징 데이터를 수신하고, 수신받은 영상을 재생할 수 있다. 이 때, 사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로부터 사용자 단말(120)에 할당된 가상 스트리머를 통해 패키징 데이터를 스트리밍받을 수 있다. 예를 들어, 패키징 데이터는 복수의 원본 영상에 대한 각 시점(view point) 및 각 원본 영상을 구성하는 프레임 별로 특정 데이터들을 부가하도록 설정된 형식으로 패키징 작업이 수행된 데이터를 의미할 수 있다. 이에 따라, 본원 발명의 서버단은 복수의 영상에 대한 패키징 데이터를 관리하고, 복수의 영상 중 사용자 단말로부터 요청받은 영상에 대한 패키징 데이터를 사용자 단말로 전달함으로써 네트워크 밴드의 요구를 최소화할 수 있다.
사용자 단말(120)은 수신받은 패키징 데이터를 통해 재생 요청에 대응하는 영상을 재생할 수 있다.
사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로 스트리밍 중인 영상에 대한 시점(view point) 이동 요청을 전송할 수 있다. 이 후, 사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로부터 가상 스트리머를 통해 이웃하는 영상 간의 시점 정보에 기초하여 시점(view point) 이동 요청에 대응하는 영상에 대한 패키징 데이터를 스트리밍받을 수 있다.
사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로 타임 슬라이스 영상에 대한 생성 요청을 전송하고, 생성 요청에 따라 복수의 영상에 대한 패키징 데이터에 기초하여 생성된 타임 슬라이스 영상을 타임 슬라이스 영상 생성 서버(130)로부터 수신하고, 수신된 타임 슬라이스 영상을 재생할 수 있다. 예를 들어, 사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로부터 가상 스트리머를 통해 시간 정보에 기초하여 복수의 영상에 대한 패키징 데이터로부터 생성 요청에 대응하는 시점(time point)에 해당하는 추출된 이미지 정보를 이용하여 생성된 타임 슬라이스 영상을 수신할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 복수의 카메라(110)에 의해 촬영된 복수의 영상을 수신할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 수신된 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성할 수 있다. 예를 들어, 패키징 데이터는 해당 프레임에 대한 이미지 정보를 더 포함하고, 슬라이스 정보는 해당 프레임마다 부가되는 시점(view point) 정보 및 시간 정보를 포함할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 사용자 단말(110)로부터 수신한 재생 요청에 따라, 복수의 영상 중 어느 하나에 대한 패키징 데이터를 사용자 단말(120)로 전송할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)에 대해 가상 스트리머를 할당할 수 있다. 예를 들어, 타임 슬라이스 영상 생성 서버(130)는 각각의 사용자 단말(120)에 대해 하나의 가상 스트리머를 할당할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 가상 스트리머를 통해 재생 요청에 대응하는 영상에 대한 패키징 데이터를 사용자 단말(120)로 스트리밍할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)로부터 시점(view point) 이동 요청을 수신한 경우, 가상 스트리머 및 사용자 단말(120)은 시점 이동 요청에 대응하는 영상에 대한 시점 정보에 기초하여 가상 스트리머로부터 사용자 단말(120)로 스트리밍되는 영상의 시점(view point)이 동기화될 수 있다.
가상 스트리머는 시간 정보에 기초하여 재생 요청에 대응하는 영상에 대한 패키징 데이터로부터 재생 요청에 대응하는 시점(time point)을 시작점으로 하여 패키징 데이터를 추출하고, 추출된 패키징 데이터를 사용자 단말(120)로 스트리밍할 수 있다. 슬라이스 정보는 이웃하는 영상 간의 시점(view point) 정보 및 코덱 정보를 더 포함할 수 있다. 예를 들어, 패키징 데이터는 코덱 정보에 기초하여 사용자 단말(120)에 의해 재생될 수 있다.
타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하고, 생성된 타임 슬라이스 영상을 사용자 단말(120)로 전송할 수 있다.
타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)로부터 시점(view point) 이동 요청을 수신한 경우, 가상 스트리머를 통해 이웃하는 영상 간의 시점 정보에 기초하여 시점(view point) 이동 요청에 대응하는 영상에 대한 패키징 데이터를 사용자 단말(120)로 스트리밍할 수 있다. 가상 스트리머는 사용자 단말(120)로부터 생성 요청을 수신한 경우, 사용자 단말(120)로의 스트리밍을 중단할 수 있다.
타임 슬라이스 영상 생성 서버(120)는 가상 스트리머를 통해 수신한 타임 슬라이스 영상에 대한 생성 요청에 대응하는 복수의 영상에 대한 패키징 데이터를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 가상 스트리머는 시간 정보에 기초하여 복수의 영상에 대한 패키징 데이터로부터 생성 요청에 대응하는 시점(time point)에 해당하는 이미지 정보를 추출하고, 추출된 이미지 정보를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 2를 참조하면, 사용자 단말(120)은 재생 요청부(210), 영상 수신부(220), 영상 재생부(230), 시점 요청 이동부(240), 타임 슬라이스 영상 재생부(250)를 포함할 수 있다.
재생 요청부(210)는 타임 슬라이스 영상 생성 서버(130)로 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 어느 하나에 대한 재생 요청을 전송할 수 있다.
영상 수신부(220)는 재생 요청에 따라 타임 슬라이스 영상 생성 서버(130)로부터 복수의 영상 중 어느 하나에 대한 패키징 데이터를 수신할 수 있다. 즉, 본원 발명의 사용자 단말은 복수의 영상 중 요청받은 어느 하나의 영상을 그대로 수신하는 것이 아니라, 요청받은 어느 하나의 영상에 대한 패키지 데이터를 대신 수신할 수 있다.
예를 들어, 영상 수신부(220)는 타임 슬라이스 영상 생성 서버(130)로부터 사용자 단말(120)에 할당된 가상 스트리머를 통해 패키징 데이터를 스트리밍받을 수 있다. 각 영상에 대한 패키징 데이터는 각 영상을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 생성된 것이며, 슬라이스 정보는 해당 프레임마다 부가되는 이웃하는 영상 간의 시점(view point) 정보 및 해당 프레임마다 부가되는 시간 정보를 포함할 수 있다.
다른 예를 들어, 영상 수신부(220)는 타임 슬라이스 영상 생성 서버(130)로부터 가상 스트리머를 통해 이웃하는 영상 간의 시점 정보에 기초하여 시점(view point) 이동 요청에 대응하는 영상에 대한 패키징 데이터를 스트리밍받을 수 있다.
영상 재생부(230)는 수신받은 패키징 데이터를 통해 재생 요청에 대응하는 영상을 재생할 수 있다.
시점 이동 요청부(240)는 타임 슬라이스 영상 생성 서버(130)로 스트리밍 중인 영상에 대한 시점(view point) 이동 요청을 전송할 수 있다.
타임 슬라이스 영상 재생부(250)는 타임 슬라이스 영상 생성 서버(130)로 타임 슬라이스 영상에 대한 생성 요청을 전송하고, 생성 요청에 따라 복수의 영상에 대한 패키징 데이터에 기초하여 생성된 타임 슬라이스 영상을 타임 슬라이스 영상 생성 서버(130)로부터 수신하고, 수신된 타임 슬라이스 영상을 재생할 수 있다.
예를 들어, 타임 슬라이스 영상 재생부(250)는 타임 슬라이스 영상 생성 서버(130)로부터 가상 스트리머를 통해 시간 정보에 기초하여 복수의 영상에 대한 패키징 데이터로부터 생성 요청에 대응하는 시점(time point)에 해당하여 추출된 이미지 정보를 이용하여 생성된 타임 슬라이스 영상을 수신할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 재생하는 방법의 순서도이다. 도 3에 도시된 사용자 단말(120)에 의해 수행되는 타임 슬라이스 영상을 재생하는 방법은 도 1 및 도 2에 도시된 실시예에 따른 타임 슬라이스 영상 생성 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 사용자 단말(120)에 의해 수행되는 타임 슬라이스 영상을 재생하는 방법에도 적용된다.
단계 S310에서 사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 어느 하나에 대한 재생 요청을 전송할 수 있다. 복수의 영상은 타임 슬라이스 영상 생성 서버(130)에 의해 각 영상을 구성하는 복수의 프레임 별로 패키징 작업이 수행되는 것일 수 있다.
단계 S320에서 사용자 단말(120)은 재생 요청에 따라 타임 슬라이스 영상 생성 서버(130)로부터 복수의 영상 중 어느 하나에 대한 패키징 데이터를 수신할 수 있다.
단계 S330에서 사용자 단말(120)은 수신받은 패키징 데이터를 통해 재생 요청에 대응하는 영상을 재생할 수 있다.
단계 S340에서 사용자 단말(120)은 타임 슬라이스 영상 생성 서버(130)로 타임 슬라이스 영상에 대한 생성 요청을 전송하고, 생성 요청에 따라 복수의 영상에 대한 패키징 데이터에 기초하여 생성된 타임 슬라이스 영상을 타임 슬라이스 영상 생성 서버(130)로부터 수신하고, 수신된 타임 슬라이스 영상을 재생할 수 있다.
상술한 설명에서, 단계 S310 내지 S340은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버의 구성도이다. 도 4를 참조하면, 타임 슬라이스 영상 생성 서버(130)는 영상 수신부(410), 패키징부(420), 스트리머 할당부(430), 영상 전송부(440) 및 타임 슬라이스 영상 제공부(450)를 포함할 수 있다.
영상 수신부(410)는 복수의 카메라(110)에 의해 촬영된 복수의 영상을 수신할 수 있다.
패키징부(420)는 사용자 단말로 영상을 전송하기 전에 수행되는 전처리 과정으로서, 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성할 수 있다. 패키징 데이터는 해당 프레임에 대한 이미지 정보를 더 포함하며, 슬라이스 정보는 해당 프레임마다 부가되는 시점(view point) 정보 및 시간 정보를 포함할 수 있다. 슬라이스 정보는 이웃하는 영상 간의 시점(view point) 정보, 코덱 정보를 더 포함할 수 있다. 패키징 데이터는 코덱 정보에 기초하여 사용자 단말(110)에 의해 재생될 수 있다.
패키징 데이터에 대해서는 도 5를 통해 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 각 영상을 구성하는 복수의 프레임 별로 생성된 패키징 데이터를 도시한 예시적인 도면이다. 도 5를 참조하면, 패키징 데이터는 복수의 영상 각각을 구성하는 복수의 프레임 마다 해당 프레임에 대한 슬라이스 정보를 부가하여 생성된 것으로, 각 영상에 대한 시점 정보를 나타내는 뷰 인덱스(510), 프레임에 대한 시간 정보를 나타내는 프레임 인덱스(520), 이전 시점 인덱스(530), 다음 시점 인덱스(540), 코덱 ID(550)를 포함하는 슬라이스 정보 및 이미지 정보(560)를 포함할 수 있다.
뷰 인덱스(510)는 현재 스트리밍되는 영상의 시점 정보를 포함할 수 있다. 예를 들어, 현재 스트리밍되는 영상의 시점 정보가 '시점2'인 경우, 뷰 인덱스(510)는 '시점2'에 대한 시점 정보를 저장하고, 사용자 단말(120)과 가상 스트리머 간의 재생 시점을 동기화하도록 할 수 있다.
프레임 인덱스(520)는 각 영상을 구성하는 복수의 프레임 각각에 대한 시간 정보를 포함할 수 있다. 프레임 인덱스(520)는 영상 재생의 동기화뿐만 아니라, 시점의 전환 시, 타 시점의 재생 시점과의 동기화를 위해 필요한 정보로서, 타임 슬라이스 영상의 생성 시에도 모든 시점의 영상에서 특정 시점의 영상 정보를 추출하기 위한 기본 데이터로 이용될 수 있다.
이웃하는 영상 간의 시점(view point) 정보는 이전 시점 인덱스(530) 및 다음 시점 인덱스(540)를 포함할 수 있다. 이전 시점 인덱스(530)는 현재 사용자 단말에서 재생 중인 영상 또는 현재 사용자 단말로 전송 중인 영상에 대한 현재 재생 시점에 대한 이전 시점의 정보를 포함할 수 있다. 예를 들어, 현재 재생 시점이 '시점2'인 경우, 이전 시점 인덱스(530)는 '시점1'에 대한 시점 정보를 저장할 수 있다. 이전 시점 인덱스(530)는 사용자 단말(120)의 요청에 따라 이전 시점으로의 이동 시 이용되며, 이전 시점이 존재하지 않는 경우, 모든 비트가 '1'로서 채워질 수 있다.
다음 시점 인덱스(540)는 현재 사용자 단말에서 재생 중인 영상 또는 현재 사용자 단말로 전송 중인 영상에 대한 현재 재생 시점의 다음 시점의 정보를 포함할 수 있다. 예를 들어, 현재 재생 시점이 '시점2'인 경우, 다음 시점 인덱스(540)는 '시점3'에 대한 시점 정보를 저장할 수 있다. 다음 시점 인덱스(540)는 사용자 단말(120)의 요청에 따라 다음 시점으로의 이동 시 이용되며, 다음 시점이 존재하지 않는 경우, 모든 비트가 '1'로서 채워질 수 있다.
코덱 ID(550)는 압축된 비디오의 코덱 정보를 포함할 수 있다. 코덱 ID(550)를 통해 사용자 단말(120)에서 해당 코덱으로 영상 정보를 복원하고 재생할 수 있게 된다.
이미지 정보(560)는 각 영상이 재생되기 위해 요구되는 각 영상을 구성하는 각 프레임의 이미지를 포함할 수 있다.
다시 도 4로 돌아와서, 스트리머 할당부(430)는 사용자 단말(120)에 대해 가상 스트리머를 할당할 수 있다. 예를 들어, 가상 스트리머는 사용자 단말(120)에 대해 초기 시점을 할당하고, 해당 시점의 영상을 실시간 인코딩할 수 있다.
사용자 단말(120)로부터 시점(view point) 이동 요청을 수신한 경우, 가상 스트리머 및 사용자 단말(120)은 각 영상에 대한 시점 정보에 기초하여 가상 스트리머로부터 사용자 단말(120)로 스트리밍되는 영상의 시점(view point)이 동기화될 수 있다.
가상 스트리머는 시간 정보에 기초하여 재생 요청에 대응하는 영상에 대한 패키징 데이터로부터 재생 요청에 대응하는 시점(time point)을 시작점으로 하여 패키징 데이터를 추출하고, 추출된 패키징 데이터를 사용자 단말(120)로 스트리밍할 수 있다. 다시 말해, 가상 스트리머는 사용자 단말로부터 수신한 특정 영상의 패키징 데이터 전체를 사용자 단말로 스트리밍하는 것이 아니라, 재생 요청에 대응하는 시점(time point)을 시작점으로 하여 해당 영상의 패키징 데이터로부터 일부를 추출하여 제공하기 위함이다.
가상 스트리머는 사용자 단말(120)로부터 생성 요청을 수신한 경우, 사용자 단말(120)로의 스트리밍을 중단할 수 있다. 이 경우, 가상 스트리머는 요청받은 시점의 모든 영상을 수집하고, 인코딩 처리를 거친 후, 다시 사용자 단말(120)로 스트리밍 정보를 전달하여 타임 슬라이스 영상 전송 요청을 대기할 수 있다.
영상 전송부(440)는 사용자 단말(120)로부터 수신한 재생 요청에 따라, 복수의 영상 중 어느 하나에 대한 패키징 데이터를 사용자 단말(120)로 전송할 수 있다.
영상 전송부(440)는 가상 스트리머를 통해 재생 요청에 대응하는 영상에 대한 패키징 데이터를 사용자 단말(120)로 스트리밍할 수 있다. 예를 들어, 영상 전송부(440)는 사용자 단말(120)로부터 시점(view point) 이동 요청을 수신한 경우, 가상 스트리머를 통해 이웃하는 영상 간의 시점 정보에 기초하여 시점(view point) 이동 요청에 대응하는 영상에 대한 패키징 데이터를 가상 스트리머를 통해 사용자 단말(120)로 스트리밍할 수 있다.
가상 스트리머는 사용자 단말(120)로부터 수신한 시점(view point) 이동 요청에 따라 신규한 시점의 패키징 데이터를 사용자 단말로 전달하기 위해 초기화될 수 있다. 만약, 가상 스트리머가 초기화되지 않고 시점 이동 요청에 응답하는 경우, 각 코덱의 정보에 따른 이전 데이터가 존재하여, 이전 시점에 대한 영상의 데이터가 잔존하는 경우가 발생할 수 있다. 따라서, 본원 발명은 가상 스트리머가 초기화된 후 시점 이동 요청에 따라 신규한 시점의 영상에 대한 이미지 정보를 로딩하고, 인코딩을 하여 신규한 시점의 패키지 데이터를 생성할 수 있다
타임 슬라이스 영상 제공부(450)는 사용자 단말(120)로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하고, 생성된 타임 슬라이스 영상을 사용자 단말(120)로 전송할 수 있다. 예를 들어, 타임 슬라이스 영상 제공부(450)는 가상 스트리머를 통해 생성 요청에 대응하는 복수의 영상에 대한 패키징 데이터를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
가상 스트리머는 시간 정보에 기초하여 복수의 영상에 대한 패키징 데이터로부터 타임 슬라이스 영상에 대한 생성 요청에 대응하는 시점(time point)에 해당하는 이미지 정보를 추출하고, 추출된 이미지 정보를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 예를 들어, 가상 스트리머는 타임 슬라이스 영상에 대한 생성 요청에 대응하는 시점과 각각의 영상에 대한 패키징 데이터의 프레임에 대한 시간 정보를 비교하여, 타임 슬라이스 영상에 대한 생성 요청에 대응하는 시점에 해당하는 이미지 정보를 각 영상에 대한 패키징 데이터로부터 추출하여 타임 슬라이스 영상을 생성할 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 복수의 영상을 타임 슬라이스 영상의 생성을 위해 스트림으로 변환하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a는 종래의 복수의 영상에 대한 타임 슬라이스 영상의 생성을 위해 스트림으로 변환하는 과정을 도시한 예시적인 도면이다. 도 6a를 참조하면, 종래에는 복수의 영상에 대한 타임 슬라이스 영상을 생성하기 위해, 복수의 인코더(600)를 통해 복수의 영상을 동시에 인코딩하고, 이를 디먹서(Demuxer, 610)를 통해 하나의 스트림 또는 파일로 통합되도록 변환하는 작업을 거치고, 스트리머(620)를 통해 해당 파일을 사용자 단말로 전송하는 타임 슬라이스 영상 서비스를 제공하였다.
이러한 종래의 기술은 시점 전환 시, 빠른 속도를 보장할 수 있고, 타임 슬라이스 영상의 생성 시, 사용자 단말(120)에서 모든 시점의 영상을 보유하고 있으므로, 사용자의 선택에 따라 언제든지 타임 슬라이스 영상의 생성이 가능하고, 별도의 타임 슬라이스 영상을 위한 네트워크 협력이 필요하지 않아 빠른 생성 속도를 보장한다는 장점을 갖는다.
하지만 종래의 기술을 이용하여 타임 슬라이스 영상을 제공하기 위해서는 많은 네트워크 밴드와 최소 0.5GBps 이상의 속도를 요구한다는 문제가 발생하며, 이로 인해 사용자 단말(120)의 높은 성능이 요구되고 있다.
도 6b는 본 발명의 일 실시예에 따른 복수의 영상에 대한 타임 슬라이스 영상의 생성을 위한 예시적인 도면이다. 도 6b를 참조하면, 본 발명에서는 가상 스트리머(630)를 통해 복수의 영상 중 사용자에 요청에 대응하는 해당 영상의 패키징 데이터를 제공하고, 복수의 영상에 대한 패키징 데이터에 기초하여 생성된 타임 슬라이스 영상을 제공할 수 있다.
인코더(600)는 각 카메라에서 촬영한 영상을 수집하고, 이를 다시 인코딩한 정보(예를 들어, 각 프레임 정보와 시점 정보)를 저장하여, 인코딩된 정보를 각 시점과 각 프레임 별의 패키지 데이터로 분리하여 관리할 수 있다.
가상 스트리머(630)는 인코딩 정보를 통해 각 사용자 단말(120)로 패키지 데이터를 전송할 수 있다.
따라서, 본 발명에서는 타임 슬라이스 영상 생성 서버(130) 단에서 각 시점의 영상 정보를 관리하고, 사용자 단말(120) 단의 유저에서 요구하는 패키지만을 전달하여 네트워크 밴드의 요구를 만족시키는 방법을 제시하고자 한다.
도 7은 본 발명의 일 실시예에 따른 가상 스트리머의 구성도이다. 도 7을 참조하면, 가상 스트리머(700)는 뷰 매니져(710), 스트림 생성부(720), 이미지 로더(730), 인코더(740) 및 네트워크 매니져(750)를 포함할 수 있다.
뷰 매니져(710)는 현재 사용자가 시청 중인 시점을 관리하고, 사용자의 요청에 따른 시점 변환 및 그에 따른 데이터 정보를 관리하고 저장할 수 있다. 또한, 뷰 매니져(710)는 사용자 단말(120)로부터 요청받은 시점 변경에 대해 이전 시점과 현재 시점에 대한 시간을 동기화할 수 있다. 예를 들어, 뷰 매니져(710)는 사용자 단말(120)로부터 시점 변경을 요청받은 경우, 해당 시점의 동기화를 위해 시청하던 시간의 정보에 기초하여 해당 프레임 정보를 찾고, 해당 이미지 정보를 통해 새로운 영상 스트림에 대한 생성을 이미지 로더(730)와 인코더(740)로 요청할 수 있다. 또한, 뷰 매니져(710)는 타임 슬라이스 영상의 생성 시, 시점 배치 순서 및 시나리오 적용에 따른 확대 및 각 프레임에 대한 시나리오를 관리하고 적용시킬 수 있다.
스트림 생성부(720)는 스트림 생성 기능을 담당하며, 시점 변환 또는 타임 슬라이스 영상의 생성 시, 사용자에게 전달되는 스트림 정보를 생성하고, 이를 네트워크 매니져(750)에게 전달할 수 있다.
이미지 로더(730)는 인코더(740)로부터 생성된 이미지를 로딩하고, 이를 버퍼에서 관리할 수 있다. 또한, 시점 변경 시, 변경된 시점의 이미지를 로딩하고, 스트림으로 생성되기 이전의 버퍼를 플러쉬(flush)하는 역할을 수행할 수 있다.
인코더(740)는 이미지 로더(730)로부터 전달된 이미지 데이터를 인코딩하여 이를 스트림 생성부(720)로 전달하는 역할을 수행할 수 있다. 또한, 인코더(740)는 시점 변경에 따른 새로운 패키징 데이터를 생성하고, 이를 스트림 생성부(720)로 전달할 수 있다. 또한, 인코더(740)는 타임 슬라이스 영상 생성의 요청 시, 각 시점의 이미지에 대해 인코딩을 수행하고, 이를 스트림 생성부(720)로 전달할 수 있다.
네트워크 매니져(750)는 사용자로부터 타임 슬라이스 영상 생성의 요청을 수행하고, 요청 명령을 해석하여 전달하는 역할을 수행할 수 있다. 네트워크 매니져(750)는 스트림 생성부(720)로부터 수신한 데이터를 네트워크를 통해 사용자에게 전달하는 역할을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말(120)로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 패키징 작업이 수행된 복수의 영상에 기초하여 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 8을 참조하면, 타임 슬라이스 영상의 패키징 데이터을 생성하기 위해서는 모든 시점의 영상 정보 중 같은 프레임의 시간 정보를 바탕으로 각 시점의 이미지 정보가 로딩될 수 있다. 일반적으로 영상은 하나의 시점 영상을 시간 순서대로 인코딩되는 반면, 타임 슬라이스 영상의 경우 같은 시간의 프레임들을 각 시점에서 추출되고, 이를 시점의 순서대로 인코딩하는 작업을 수행하여 생성할 수 있다. 기존의 영상 시청 중 타임 슬라이스 영상으로 새로운 인코딩 작업이 필요한 경우, 인코더 버퍼를 비우고, 초기화 작업을 필수적으로 수행해야 한다. 각 영상에 대한 인코딩 데이터를 통해 사용자 단말(120)에서 해당 영상을 디코딩하기 위해서는 뷰 인덱스(811), 프레임 인덱스(812), 코덱 ID(813)를 포함하는 복수의 프레임 마다 해당 프레임에 대한 슬라이스 정보 및 이미지 정보(814)를 포함하는 패키징 데이터가 필요하며, 해당 패키징 데이터는 각 시점마다 저장되어 사용자 단말(120)로 전달될 수 있다.
예를 들어, 각 시점(제 1 시점(810), 제 2 시점(820), 제 3 시점(840) 및 제 4 시점(850))의 영상에 대한 각각의 패키징 데이터가 생성되어있고, 사용자 단말(120)에서 제 1 시점(810)에 대한 영상을 재생 중에 타임 슬라이스 영상의 생성 요청을 수신한 경우를 가정하자. 타임 슬라이스 영상 생성 서버(130)는 타임 슬라이스 영상의 생성 요청을 수신한 시점(time point)에 대응하는 제 1 시점(810)의 프레임 인덱스(812)를 이용하여, 제 1 시점(810)의 프레임 인덱스(812)와 시간적으로 동기화된(또는 동일한 시점) 다른 시점(제 2 시점(820), 제 3 시점(840) 및 제 4 시점(850))의 프레임 인덱스를 이용하여 각 영상의 패키징 데이터로부터 비디오 데이터를 추출하여 타임 슬라이스 영상을 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버에서 타임 슬라이스 영상을 생성하는 방법의 순서도이다. 도 9에 도시된 실시예에 따른 타임 슬라이스 영상 생성 서버(130)에 의해 수행되는 타임 슬라이스 영상을 생성하는 방법은 도 1 내지 도 8에 도시된 실시예에 따른 타임 슬라이스 영상 생성 서버(130)에 의해 수행되는 타임 슬라이스 영상을 생성하는 방법에도 적용된다.
단계 S910에서 타임 슬라이스 영상 생성 서버(130)는 복수의 카메라(110)에 의해 촬영된 복수의 영상을 수신할 수 있다.
단계 S920에서 타임 슬라이스 영상 생성 서버(130)는 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성할 수 있다. 예를 들어, 패키징 데이터는 해당 프레임에 대한 이미지 정보를 더 포함하고, 슬라이스 정보는 해당 프레임마다 부가되는 시점(view point) 정보 및 시간 정보를 포함할 수 있다.
단계 S930에서 타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)로부터 수신한 재생 요청에 따라, 복수의 영상 중 어느 하나에 대한 패키징 데이터를 사용자 단말(120)로 전송할 수 있다.
단계 S940에서 타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성할 수 있다.
단계 S950에서 타임 슬라이스 영상 생성 서버(130)는 생성된 타임 슬라이스 영상을 사용자 단말(120)로 전송할 수 있다.
도 9에서는 도시되지 않았으나, 타임 슬라이스 영상 생성 서버(130)는 사용자 단말(120)에 대해 가상 스트리머를 할당하는 단계 및 가상 스트리머를 통해 재생 요청에 대응하는 영상에 대한 패키징 데이터를 사용자 단말로 스트리밍하는 단계를 더 포함할 수 있다.
도 9에서는 도시되지 않았으나, 타임 슬라이스 영상 생성 서버(130)는 가상 스트리머를 통해 생성 요청에 대응하는 복수의 영상에 대한 패키징 데이터를 이용하여 타임 슬라이스 영상을 생성하는 단계를 더 포함할 수 있다.
상술한 설명에서, 단계 S910 내지 S950은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 9를 통해 설명된 타임 슬라이스 영상 생성 서버 및 사용자 단말에서 타임 슬라이스 영상을 생성하는 방법 및 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 9를 통해 설명된 타임 슬라이스 영상 생성 서버 및 사용자 단말에서 타임 슬라이스 영상을 생성하는 방법 및 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 복수의 카메라
120: 사용자 단말
130: 타임 슬라이스 영상 생성 서버
210: 재생 요청부
220: 영상 수신부
230: 영상 재생부
240: 시점 요청 이동부
250: 타임 슬라이스 영상 재생부
410: 영상 수신부
420: 패키징부
430: 스트리머 할당부
440: 영상 전송부
450: 타임 슬라이스 영상 제공부

Claims (18)

  1. 타임 슬라이스 영상을 생성하는 서버에 있어서,
    복수의 카메라에 의해 촬영된 복수의 영상을 수신하는 영상 수신부;
    상기 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 패키징부;
    사용자 단말로부터 수신한 재생 요청에 따라, 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 상기 사용자 단말로 전송하는 영상 전송부; 및
    상기 사용자 단말로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 상기 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하고, 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 타임 슬라이스 영상 제공부를 포함하며,
    상기 슬라이스 정보는 상기 사용자 단말에서 재생 중인 영상의 현재 재생 시점에 대한 이전 시점 인덱스 및 다음 시점 인덱스를 포함하는 것인, 타임 슬라이스 영상 생성 서버.
  2. 제 1 항에 있어서,
    상기 패키징 데이터는 상기 해당 프레임에 대한 이미지 정보를 더 포함하고,
    상기 슬라이스 정보는 상기 해당 프레임마다 부가되는 시점(view point) 정보 및 시간 정보를 포함하는 것인, 타임 슬라이스 영상 생성 서버.
  3. 제 2 항에 있어서,
    상기 사용자 단말에 대해 가상 스트리머를 할당하는 스트리머 할당부
    를 더 포함하고,
    상기 영상 전송부는 상기 가상 스트리머를 통해 상기 재생 요청에 대응하는 영상에 대한 패키징 데이터를 상기 사용자 단말로 스트리밍하는 것인, 타임 슬라이스 영상 생성 서버.
  4. 제 3 항에 있어서,
    상기 사용자 단말로부터 시점(view point) 이동 요청을 수신한 경우, 상기 가상 스트리머 및 상기 사용자 단말은 상기 시점 이동 요청에 대응하는 영상에 대한 시점 정보에 기초하여 상기 가상 스트리머로부터 상기 사용자 단말로 스트리밍되는 영상의 시점(view point)이 동기화되는 것인, 타임 슬라이스 영상 생성 서버.
  5. 제 3 항에 있어서,
    상기 가상 스트리머는 상기 시간 정보에 기초하여 상기 재생 요청에 대응하는 영상에 대한 패키징 데이터로부터 상기 재생 요청에 대응하는 시점(time point)을 시작점으로 하여 패키징 데이터를 추출하고, 상기 추출된 패키징 데이터를 상기 사용자 단말로 스트리밍하는 것인, 타임 슬라이스 영상 생성 서버.
  6. 제 4 항에 있어서,
    상기 슬라이스 정보는 이웃하는 영상 간의 시점(view point)정보를 더 포함하고,
    상기 영상 전송부는 상기 사용자 단말로부터 시점(view point) 이동 요청을 수신한 경우, 상기 가상 스트리머를 통해 상기 이웃하는 영상 간의 시점 정보에 기초하여 상기 시점(view point) 이동 요청에 대응하는 영상에 대한 패키징 데이터를 상기 사용자 단말로 스트리밍하는 것인, 타임 슬라이스 영상 생성 서버.
  7. 제 6 항에 있어서,
    상기 가상 스트리머는 상기 사용자 단말로부터 상기 생성 요청을 수신한 경우, 상기 사용자 단말로의 스트리밍을 중단하는 것인, 타임 슬라이스 영상 생성 서버.
  8. 제 7 항에 있어서,
    상기 타임 슬라이스 영상 제공부는 상기 가상 스트리머를 통해 상기 생성 요청에 대응하는 상기 복수의 영상에 대한 패키징 데이터를 이용하여 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 생성 서버.
  9. 제 8 항에 있어서,
    상기 가상 스트리머는 상기 시간 정보에 기초하여 상기 복수의 영상에 대한 패키징 데이터로부터 상기 생성 요청에 대응하는 시점(time point)에 해당하는 이미지 정보를 추출하고, 상기 추출된 이미지 정보를 이용하여 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 생성 서버.
  10. 제 1 항에 있어서,
    상기 슬라이스 정보는 코덱 정보를 더 포함하고,
    상기 패키징 데이터는 상기 코덱 정보에 기초하여 상기 사용자 단말에 의해 재생되는 것인, 타임 슬라이스 영상 생성 서버.
  11. 타임 슬라이스 영상을 재생하는 사용자 단말에 있어서,
    타임 슬라이스 영상 생성 서버로 복수의 카메라에 의해 촬영된 복수의 영상 중 어느 하나에 대한 재생 요청을 전송하는 재생 요청부;
    상기 재생 요청에 따라 상기 타임 슬라이스 영상 생성 서버로부터 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 수신하는 영상 수신부;
    상기 수신받은 패키징 데이터를 통해 상기 재생 요청에 대응하는 영상을 재생하는 영상 재생부;
    상기 타임 슬라이스 영상 생성 서버로 타임 슬라이스 영상에 대한 생성 요청을 전송하고, 상기 생성 요청에 따라 상기 복수의 영상에 대한 패키징 데이터에 기초하여 생성된 타임 슬라이스 영상을 상기 타임 슬라이스 영상 생성 서버로부터 수신하고, 상기 수신된 타임 슬라이스 영상을 재생하는 타임 슬라이스 영상 재생부
    를 포함하고,
    상기 각 영상에 대한 패키징 데이터는 상기 타임 슬라이스 영상 생성 서버에 의해 상기 각 영상을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 생성되며,
    상기 슬라이스 정보는 상기 사용자 단말에서 재생 중인 영상의 현재 재생 시점에 대한 이전 시점 인덱스 및 다음 시점 인덱스를 포함하는 것인, 사용자 단말.
  12. 제 11 항에 있어서,
    상기 영상 수신부는 상기 타임 슬라이스 영상 생성 서버로부터 상기 사용자 단말에 할당된 가상 스트리머를 통해 상기 패키징 데이터를 스트리밍받는 것인, 사용자 단말.
  13. 제 12 항에 있어서,
    상기 슬라이스 정보는 상기 해당 프레임마다 부가되는 이웃하는 영상 간의 시점(view point)정보를 포함하고,
    상기 타임 슬라이스 영상 생성 서버로 상기 스트리밍 중인 영상에 대한 시점(view point) 이동 요청을 전송하는 시점 이동 요청부를 더 포함하고,
    상기 영상 수신부는 상기 타임 슬라이스 영상 생성 서버로부터 상기 가상 스트리머를 통해 상기 이웃하는 영상 간의 시점 정보에 기초하여 상기 시점(view point) 이동 요청에 대응하는 영상에 대한 패키징 데이터를 스트리밍받는 것인, 사용자 단말.
  14. 제 13 항에 있어서,
    상기 슬라이스 정보는 상기 해당 프레임마다 부가되는 시간 정보를 더 포함하고,
    상기 타임 슬라이스 영상 제공부는 상기 타임 슬라이스 영상 생성 서버로부터 상기 가상 스트리머를 통해 상기 시간 정보에 기초하여 상기 복수의 영상에 대한 패키징 데이터로부터 상기 생성 요청에 대응하는 시점(time point)에 해당하여 추출된 이미지 정보를 이용하여 생성된 타임 슬라이스 영상을 수신하는 것인, 사용자 단말.
  15. 타임 슬라이스 영상 생성 서버에서 수행되는 타임 슬라이스 영상을 생성하는 방법에 있어서,
    복수의 카메라에 의해 촬영된 복수의 영상을 수신하는 단계;
    상기 수신한 복수의 영상 각각을 구성하는 복수의 프레임마다 해당 프레임에 대한 슬라이스 정보를 부가하여 패키징 데이터를 생성하는 단계;
    사용자 단말로부터 수신한 재생 요청에 따라, 상기 복수의 영상 중 어느 하나에 대한 패키징 데이터를 상기 사용자 단말로 전송하는 단계;
    상기 사용자 단말로부터 수신한 타임 슬라이스 영상에 대한 생성 요청에 따라, 상기 패키징 데이터에 기초하여 타임 슬라이스 영상을 생성하는 단계; 및
    상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 단계
    를 포함하며,
    상기 슬라이스 정보는 상기 사용자 단말에서 재생 중인 영상의 현재 재생 시점에 대한 이전 시점 인덱스 및 다음 시점 인덱스를 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  16. 제 15 항에 있어서,
    상기 패키징 데이터는 상기 해당 프레임에 대한 이미지 정보를 더 포함하고,
    상기 슬라이스 정보는 상기 해당 프레임마다 부가되는 시점(view point) 정보 및 시간 정보를 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  17. 제 16 항에 있어서,
    상기 사용자 단말에 대해 가상 스트리머를 할당하는 단계; 및
    상기 가상 스트리머를 통해 상기 재생 요청에 대응하는 영상에 대한 패키징 데이터를 상기 사용자 단말로 스트리밍하는 단계
    를 더 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  18. 제 17 항에 있어서,
    상기 가상 스트리머를 통해 상기 생성 요청에 대응하는 상기 복수의 영상에 대한 패키징 데이터를 이용하여 타임 슬라이스 영상을 생성하는 단계
    를 더 포함하는 것인, 타임 슬라이스 영상 생성 방법.
KR1020170165389A 2017-12-04 2017-12-04 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말 KR102362513B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170165389A KR102362513B1 (ko) 2017-12-04 2017-12-04 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
US16/205,380 US11089283B2 (en) 2017-12-04 2018-11-30 Generating time slice video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165389A KR102362513B1 (ko) 2017-12-04 2017-12-04 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Publications (2)

Publication Number Publication Date
KR20190065838A KR20190065838A (ko) 2019-06-12
KR102362513B1 true KR102362513B1 (ko) 2022-02-14

Family

ID=66659633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165389A KR102362513B1 (ko) 2017-12-04 2017-12-04 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Country Status (2)

Country Link
US (1) US11089283B2 (ko)
KR (1) KR102362513B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413647B1 (ko) * 2019-08-27 2022-06-27 주식회사 케이티 멀티뷰 스트리밍 서비스를 테스트하는 클라이언트 서버, 방법 및 컴퓨터 프로그램
KR102652647B1 (ko) * 2019-10-25 2024-04-01 주식회사 케이티 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램
KR102295264B1 (ko) * 2019-11-28 2021-08-30 주식회사 알파서클 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
TWI741429B (zh) * 2019-12-04 2021-10-01 晶睿通訊股份有限公司 用於提高精準度的影像分析方法及其相關影像監控設備
KR20210110097A (ko) * 2020-02-28 2021-09-07 삼성전자주식회사 영상 스트리밍 방법 및 이를 지원하는 전자 장치
CN112104897B (zh) * 2020-11-04 2021-03-12 北京达佳互联信息技术有限公司 视频获取方法、终端及存储介质
CN113163185B (zh) * 2021-03-26 2023-03-07 复旦大学 基于异构计算的vr实时自适应传输系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739957A1 (de) 2005-06-28 2007-01-03 Dynaslice AG System und Verfahren zur Aufnahme und Wiedergabe von Bildern
US7665113B1 (en) * 2007-05-24 2010-02-16 TrueSentry, Inc. Rate adaptive video transmission and synchronization system
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
RU2597490C2 (ru) * 2011-10-21 2016-09-10 Телефонактиеболагет Лм Эрикссон (Пабл) Способы связи в реальном времени, обеспечивающие паузу и возобновление, и связанные с ними устройства
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
CN104521236B (zh) * 2012-07-27 2017-10-20 寰发股份有限公司 三维视频编码或解码方法
KR102070924B1 (ko) * 2014-01-20 2020-01-29 한화테크윈 주식회사 영상 기록 시스템
KR102143463B1 (ko) 2015-09-24 2020-08-12 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102002037B1 (ko) 2015-11-03 2019-07-19 주식회사 케이티 멀티 트랙 영상을 이용한 다시점 영상 시청 방법 및 다시점 영상 제공 방법 및 사용자 단말
KR20170020391A (ko) 2017-02-02 2017-02-22 안송길 사용자의 능동적 이용이 가능한 방송 제공방법 및 이를 이용한 단말기, 컴퓨터 판독 가능한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery

Also Published As

Publication number Publication date
US20190174114A1 (en) 2019-06-06
KR20190065838A (ko) 2019-06-12
US11089283B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
KR102362513B1 (ko) 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
KR102324326B1 (ko) 상이한 인코딩 파라미터를 이용해 인코딩되는 복수의 인코딩 스트리밍
US20210099773A1 (en) Using gltf2 extensions to support video and audio data
JP5607251B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
JP5338394B2 (ja) 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
TWI846795B (zh) 用於經串流媒體資料之多個解碼器介面
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
AU2012270417A1 (en) Method and apparatus for transmitting/receiving media contents in multimedia system
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
US20110090970A1 (en) Terminal and relay node for video conference system
CN111447503A (zh) 一种多视点视频的视点切换方法、服务器和系统
KR100897525B1 (ko) Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
KR102137858B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 프로그램
JP5734699B2 (ja) 配信映像の超解像化装置
US20140298392A1 (en) Image processing device, image processing method, and computer program
JP5586420B2 (ja) 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法
JP7229696B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009171294A (ja) 映像配信システム、映像中継装置、及び映像中継方法
US10298651B2 (en) Encoding device, decoding device, computer program product, and streaming system
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
JP6797755B2 (ja) 撮像装置、撮像装置の処理方法およびプログラム
JP2012100032A (ja) 映像配信システム、映像配信方法、および映像配信プログラム
KR102178947B1 (ko) 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법
EP4383735A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant