WO2010027142A2 - 다시점 비디오의 송수신 시스템 및 방법 - Google Patents

다시점 비디오의 송수신 시스템 및 방법 Download PDF

Info

Publication number
WO2010027142A2
WO2010027142A2 PCT/KR2009/003190 KR2009003190W WO2010027142A2 WO 2010027142 A2 WO2010027142 A2 WO 2010027142A2 KR 2009003190 W KR2009003190 W KR 2009003190W WO 2010027142 A2 WO2010027142 A2 WO 2010027142A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
bitstream
view
enhancement layer
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2009/003190
Other languages
English (en)
French (fr)
Other versions
WO2010027142A3 (ko
Inventor
배태면
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of WO2010027142A2 publication Critical patent/WO2010027142A2/ko
Publication of WO2010027142A3 publication Critical patent/WO2010027142A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Definitions

  • the present invention relates to a system and method for transmitting and receiving a multiview video, and more particularly, a basic video is encoded into a base layer from a video photographed by a plurality of photographing means, and provided to a communication terminal through a broadcasting network.
  • the present invention relates to a multi-view video transmission / reception system and method for encoding an enhancement layer bitstream using encoding information of the base layer and providing the same to a communication terminal through a communication network.
  • the basic principle of compressing data is to eliminate spatial and temporal redundancy of the data.
  • Spatial redundancy is the repetition of the same color or object in a video.
  • temporal duplication means that the adjacent picture is almost unchanged in the moving picture or the same sound is repeatedly repeated in the audio.
  • temporal redundancy is eliminated by temporal filtering based on motion compensation and spatial redundancy is removed by spatial transform.
  • a transmission medium is required to transmit multimedia data generated after data duplication is removed.
  • the performance varies depending on the transmission medium.
  • scalable video coding technology is available.
  • Scalable video coding technology cuts a portion of a bit stream according to surrounding conditions such as transmission bit rate, transmission error rate, and system resources, and adjusts the resolution, frame rate, and signal to noise ratio (SNR) of the already compressed bitstream.
  • SNR signal to noise ratio
  • a temporal scalability is realized by constructing a motion prediction image with a hierarchical structure of a frame temporally, and spatially scalable coding is performed through layered coding in which layers are separately encoded according to each resolution.
  • image quality image quality scalability is implemented by using layered coding or fine grain scalability.
  • Multi-view video compression is for simultaneously compressing, storing, and transmitting video input from multiple cameras.
  • the size of the data is very large. Therefore, a large transmission bandwidth is required to transmit data to a user through a broadcasting network or a wired / wireless internet in real time.
  • multi-view video coding and decoding may be performed by independently coding and transmitting each video sequence and then decoding the video sequence. This can be easily implemented through existing MPEG-1 / 2/4 or H.261 / 263/264.
  • the conventional technology as described above has a disadvantage in that it is not possible to remove redundancy between videos caused by photographing the same object with a plurality of cameras.
  • the conventional technology as described above has a disadvantage in that it is not possible to remove redundancy between videos caused by photographing the same object with a plurality of cameras.
  • the broadcast network there was a disadvantage that you can not watch the video at different views.
  • a method of multiplexing a bitstream that can be independently decoded and a bitstream that is independently decoded and transmitted through a broadcasting network or a network is generally known.
  • An object of the present invention for solving the above-mentioned problems of the prior art is to transmit the additional video information through the communication network to watch the video at the desired time when the user wants to watch the video at a different time while watching the video through the broadcasting network.
  • Another object of the present invention is to provide a multi-view video transmission / reception system and method for compressing a base video into a base layer and compressing a video of another view into an enhancement layer.
  • Another object of the present invention is to provide a multi-view video transmission / reception system and method for providing a bitstream encoded in a base layer through a broadcasting network and providing a bitstream encoded in an enhancement layer through a communication network.
  • Another object of the present invention is to provide a multi-view video transmission / reception system and method for removing and encoding redundancy as an enhancement layer for a video at another point in time except for a basic video.
  • a communication terminal which transmits a message to a multi-view video transmission system, receives an enhancement layer bitstream at a corresponding time point, and decodes the enhancement layer bitstream using decoding information of the base layer;
  • a base video is encoded into a base layer among videos taken by a plurality of photographing means and provided to the communication terminal through a broadcasting network, and a video is encoded into an enhancement layer bitstream using encoding information of the base layer for a video of another viewpoint.
  • a multi-view video transmission / reception system including a multi-view video transmission system provided to the communication terminal is provided.
  • the communication terminal converts the video through the broadcasting network into the video through the communication network when the video is received through the communication network.
  • the communication terminal outputs a video through a broadcast network and a video through a communication network as a PIP or POP.
  • a base video is encoded into a base layer among multiview videos captured by a plurality of photographing means, and encoding information of the base layer is encoded for a video of another viewpoint.
  • a multiview video encoding apparatus encoding the enhancement layer bitstream using an encoding layer;
  • a broadcast server providing a basic video coded by the multi-view video encoding apparatus to a communication terminal through a broadcast network;
  • a multiview including a streaming server that selects a bitstream of a corresponding view from among bitstreams of an enhancement layer encoded by the multiview video encoding apparatus and provides the bitstream at a corresponding time to the communication terminal.
  • the video request message includes viewpoint information selected by the communication terminal user.
  • the bitstream of each enhancement layer encoded by the multiview video encoding apparatus includes view information.
  • the multi-view video encoding apparatus compresses each view in a two-layer structure of MPEG-2 MVP in the case of MPEG-2, and compresses each view in a two-layer structure of SVC in the case of H.264.
  • a multiview video encoding apparatus comprising: a base layer encoder configured to encode a base video into a base layer from a multiview video photographed by a plurality of photographing means; A multi-view video encoding apparatus including a plurality of enhancement layer encoders encoding a bitstream of an enhancement layer by using encoding information of a base layer encoded by the base layer encoder for a video of another viewpoint is provided.
  • the enhancement layer encoder encodes the video of the base layer by removing redundancy of the video of the base layer.
  • the enhancement layer encoder sets view information in the bitstream of each encoded enhancement layer.
  • a video request message including viewpoint information is received from a communication unit for communication with a communication terminal through a communication network, and the communication terminal through the communication unit, the video request message is analyzed and the corresponding time point is analyzed.
  • a streaming server including a time determination unit for determining a switching unit for selecting the enhancement layer bitstream corresponding to the time determined by the time determination unit to be provided to the communication terminal.
  • the streaming server further includes a storage unit for receiving and storing a plurality of enhancement layer bitstreams from a multiview video encoding apparatus.
  • the switching unit extracts a corresponding enhancement layer bitstream from a storage unit or a multi-view video encoding apparatus and provides the same to the communication terminal.
  • a communication terminal including a communication unit, an input unit, and an output unit for outputting a multi-view video using a broadcasting network and a communication network, which decodes and outputs a bitstream of a base layer received through the broadcasting network.
  • a decoder which decodes the bitstream of the enhancement layer by using the decoding information of the base layer when the bitstream of the enhancement layer is received through the communication network;
  • a communication terminal including a service request unit generating a video request message including corresponding point information and transmitting the same to the multi-view video transmission system through the communication unit is provided.
  • the decoding unit may include: a base layer decoding unit decoding a bitstream of a base layer received through the broadcasting network, and an enhancement of decoding a bitstream of an enhancement layer received through the communication network using information decoded by the base layer decoding unit. It includes a layer decoding unit.
  • a multi-view video encoding apparatus encodes a basic video as a basic layer among videos captured by a plurality of photographing means, and encodes a video of another viewpoint using encoding information of the base layer.
  • B providing a bitstream of a base layer encoded by the multi-view video encoding apparatus to a communication terminal through a broadcasting network, and (c) in the communication terminal, encoding the enhancement layer bisstream.
  • a video request message including corresponding view information to a streaming server when a video output of another view through a communication network is requested while decoding and outputting a base layer bitstream from a server,
  • Enhancement layer at that time in response to video requests from communication terminals Selecting and providing a bitstream to the communication terminal through a communication network;
  • step (a) the multi-view video encoding apparatus provides a bitstream encoded with a base layer to the broadcast server, and provides a bisstream encoded with an enhancement layer to the streaming server.
  • the enhancement layer bitstream encoded in step (a) includes view information.
  • a method of encoding a multiview video by a multiview video encoding apparatus comprising: encoding a basic video from a multiview video photographed by a plurality of photographing means into a base layer bitstream;
  • a multi-view video encoding method is provided, which comprises encoding a video stream of another view by using the encoding information of the base layer bitstream into a bitstream of an enhancement layer.
  • the method comprises: receiving and storing a plurality of enhancement layer bisstreams from a multiview video encoding apparatus; When the video request message including the view information is received from the communication terminal, determining the corresponding view by analyzing the video request message; A method for transmitting a multi-view video through a communication network is provided, the method including selecting an enhancement layer bitstream corresponding to the determined time point from the stored enhancement layer bitstream and transmitting the selected enhancement layer bitstream to the communication terminal.
  • a video output of another point in time through the communication network is requested while decoding and outputting the bitstream of the base layer received through the broadcast network, a video request message including the view information is provided.
  • a video request message including the view information is provided.
  • the bitstream of the enhancement layer corresponding to the request time point is received from the multiview video transmission system, decoding information of the base layer bitstream from the bitstream of the enhancement layer.
  • Step (a) may include: decoding and outputting a bitstream of a base layer received through a broadcasting network; Determining a corresponding point in time when a video output of another point in time is requested by the user; Generating a video request message including the determined time point and transmitting the multi-view video transmission system.
  • a multi-view video encoding method can be recorded as a program on a computer-readable medium such as a CD or a USB memory.
  • a multi-view video of which a user can watch a video at a desired point of view by transmitting additional video information through a communication network. It is possible to provide a transmission and reception system and a method.
  • a multi-view video transmission / reception system and method may be provided for removing and encoding redundancy as an enhancement layer for a video at a view point other than the basic video.
  • FIG. 1 is a diagram illustrating a system for transmitting and receiving multiview video according to the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration of a multi-view video encoding apparatus according to the present invention.
  • Figure 3 is a block diagram schematically showing the configuration of a streaming server according to the present invention.
  • FIG. 4 is a block diagram schematically illustrating a configuration of a communication terminal for outputting a multiview video using a broadcasting network and a communication network according to the present invention.
  • FIG. 5 is a flowchart illustrating a method of encoding a multiview video by a multiview video encoding apparatus according to the present invention.
  • FIG. 6 is a flowchart illustrating a method for providing a multi-view video to a communication terminal according to the present invention.
  • FIG. 7 is a flowchart illustrating a method for providing an enhancement layer bitstream to a communication terminal by a streaming server according to the present invention.
  • FIG. 1 is a diagram illustrating a system for transmitting and receiving multiview video according to the present invention.
  • a multi-view video transmission / reception system receives a video through a broadcasting network and a communication network, and outputs a video to a request of the communication terminal 200 by encoding a video photographed by a plurality of photographing means. Accordingly, the multi-view video transmission system 100 provides a corresponding video to the communication terminal 200 through a broadcasting network or a communication network.
  • the communication terminal 200 re-views the video request message including the corresponding view information when the video output of another view through the communication network is requested while decoding and outputting the video of the base layer received through the broadcasting network.
  • the video signal is transmitted to the video transmission system 100 to receive an enhancement layer bitstream at a corresponding time point, and to decode and output the enhancement layer bitstream using decoding information of the base layer.
  • the communication terminal 200 includes a mobile communication terminal, a wired communication terminal, and the like, capable of receiving a video through a broadcasting network and a communication network.
  • the communication terminal 200 converts the currently output video into a video through the communication network and outputs the video.
  • the communication terminal 200 may output the video through the broadcasting network and the video through the communication network as PIP or POP.
  • the multi-view video transmission system 100 encodes a basic video into a base layer from a video photographed by a plurality of photographing means and provides it to the communication terminal 200 through a broadcasting network.
  • the multi-view video transmission system 100 encodes a video of another view into an enhancement layer bitstream using encoding information of the base layer, and when a video request message is received from the communication terminal 200, The bitstream is provided to the communication terminal 200 through a communication network.
  • the multiview video transmission system 100 includes a multiview video encoding apparatus 120, a broadcast server 150, and a streaming server 170.
  • the multi-view video encoding apparatus 120 encodes the base video from the multi-view video captured by the plurality of photographing means into a base layer, and encodes the base video into an enhancement layer bitstream using encoding information of the base layer with respect to the video from another viewpoint. do.
  • the broadcast server 150 provides a basic video coded by the multi-view video encoding apparatus 120 to the communication terminal 200 through a broadcast network.
  • the streaming server 170 selects a bitstream of the corresponding view from among bitstreams of the enhancement layer encoded by the multiview video encoding apparatus 120 to communicate with the communication terminal. Provided at 200.
  • the video request message includes viewpoint information selected by the user of the communication terminal.
  • the multi-view video transmission system 100 receives the view request information when the video request message is received from the communication terminal 200.
  • a bitstream of an enhancement layer may be selected and provided.
  • the multi-view video encoding apparatus 120 compresses each viewpoint by using a two-layer structure of MPEG-2 MVP in the case of MPEG-2, and compresses each viewpoint by using a two-layer structure of SVC in the case of H.264. do.
  • the broadcast server 150 corresponds to a current digital terrestrial broadcast, satellite digital broadcast, T-DMB, and S-DMB transmission system, and transmits a base layer of a video encoded by the multiview video encoding apparatus 120.
  • the streaming server 170 receives information on a time point desired by a user from the communication terminal 200 through a communication network and performs streaming of an enhancement layer bitstream corresponding to the IP layer.
  • a multi-view video is compressed using a block-based codec of a hierarchical encoder structure.
  • the base layer can be decoded by the codec of the broadcast network, and the video of the other time is compressed by using a layer-based multi-view video compression method that compresses by reducing the redundancy between the images using the information of the base layer.
  • a user having only a broadcast receiving device watches a video of a base layer, and a user connected to an additional communication network selects a desired time point and requests the streaming server 170 from the streaming server 170 to meet the request time. Additional bitstreams can be received and viewed.
  • FIG. 2 is a block diagram schematically illustrating a configuration of a multiview video encoding apparatus according to the present invention.
  • the multiview video encoding apparatus 120 may include a base layer encoder 122 that encodes a base video as a base layer among multiview videos photographed by a plurality of photographing means, and at different viewpoints.
  • a plurality of enhancement layer encoders 124a, 124b,..., 124n, 124, which are encoded into a beast stream of an enhancement layer by using encoding information of the base layer encoded by the base layer encoder 122 for a video, are hereinafter referred to as 124. ).
  • the base layer encoder 122 encodes the basic video using a codec compatible with an existing broadcasting system such as H.264 or MPEG-2.
  • the enhancement layer encoder 124 encodes the view point 1 to output the first enhancement layer bitstream, and the second enhancement layer encodes the view point 2 to output the second enhancement layer bitstream. And an enhancement layer encoder 124b.
  • the enhancement layer encoder 124 sets view information in the bitstream of each encoded enhancement layer.
  • the viewpoint information set as described above may select an enhancement layer bitstream of the viewpoint information when a video request message is received from the communication terminal.
  • the enhancement layer encoder 124 Since the enhancement layer encoder 124 performs encoding by using the encoding information of the base layer encoded by the base layer encoder 122, the enhancement layer encoder 124 removes redundancy of the video of the base layer from the video of another viewpoint.
  • the enhancement layer encoder 124 compresses each view in a two-layer structure of MPEG-2 MVP in the case of MPEG-2, and compresses each view in a two-layer structure of SVC in the case of H.264. .
  • FIG. 3 is a block diagram schematically showing the configuration of a streaming server according to the present invention.
  • the streaming server 170 requests a video when a video request message including viewpoint information is received from a communication terminal 172 and a communication terminal 172 for communication with a communication terminal through a communication network.
  • a switching unit 176 for selecting a enhancement layer bitstream corresponding to the viewpoint determined by the viewpoint determination unit 174 by analyzing the message and determining the corresponding viewpoint. .
  • the streaming server 170 may further include a storage unit 178 that receives and stores the plurality of enhancement layer bitstreams from the multiview video encoding apparatus.
  • the switching unit 176 extracts an enhancement layer bitstream corresponding to the viewpoint determined by the viewpoint determination unit 174 from the storage unit 178 or the multiview video encoding apparatus 120 and provides the extracted communication layer 200 to the communication terminal 200. Play a role.
  • FIG. 4 is a block diagram schematically illustrating a configuration of a communication terminal for outputting a multi-view video using a broadcasting network and a communication network according to the present invention.
  • a communication terminal 200 for outputting a multiview video using a broadcasting network and a communication network includes a communication unit 202, an input unit 204, a storage unit 206, an output unit 208, and a decoding unit 210. ), The service request unit 214.
  • the decoding unit 210 decodes the encoded bitstream.
  • the decoding unit 210 bases the bitstream of the enhancement layer. Decode using the decoding information of the layer.
  • the decoding unit 210 may decode the base layer decoding unit 211 for decoding the bitstream of the base layer received through the broadcasting network, and decode the bitstream of the enhancement layer received through the communication network in the base layer decoding unit 211.
  • an enhancement layer decoding unit 212 that decodes the received information.
  • the service requesting unit 214 When a video of another point in time is requested through the input unit 204, the service requesting unit 214 generates a video request message including corresponding point information and transmits it to the multi-view video transmission system through the communication unit 202.
  • the video requested by the service requester 214 is received through the communication unit 202, decoded by the decoding unit 210, and output to the output unit 208.
  • FIG. 5 is a flowchart illustrating a method of encoding a multiview video by a multiview video encoding apparatus according to the present invention.
  • the multiview video encoding apparatus 120 when the multiview video encoding apparatus 120 receives a multiview video photographed by a plurality of photographing means (S500), the multiview video encoding apparatus 120 encodes the base video into a base layer bitstream from the received multiview video ( S502).
  • the multi-view video encoding apparatus 120 encodes the video of the other view into the bitstream of the enhancement layer by using encoding information of the base layer bitstream (S504).
  • the base layer bitstream is provided to the communication terminal through the broadcast network, and the enhancement layer bitstream is provided to the communication terminal through the communication network.
  • FIG. 6 is a flowchart illustrating a method of providing a multi-view video to a communication terminal according to the present invention.
  • the broadcast server 150 provides a bitstream of a base layer encoded by the multiview video encoding apparatus 120 to the communication terminal 200 through a broadcast network (S600).
  • the multi-view video encoding apparatus 120 provides a bitstream encoded with a base layer to the broadcast server 150 and provides a bisstream encoded with an enhancement layer to the streaming server 170.
  • the communication terminal 200 decodes and outputs a base layer bitstream from the broadcast server 150 (S602).
  • the communication terminal 200 When outputting a video at another point in time through the communication network while outputting a video through the broadcasting network (S604), the communication terminal 200 transmits a video request message including the corresponding view information to the streaming server 170 (S606). .
  • the communication terminal 200 receives a video request message including view information selected by the user. It generates and transmits to the streaming server 170.
  • the streaming server 170 When the streaming server 170 receives the video request message from the communication terminal 200 (S608), the streaming server 170 selects an enhancement layer bitstream at the corresponding point in time according to the video request and provides it to the communication terminal 200 through the communication network (S610). .
  • the streaming server 170 analyzes the video request message, extracts view information, and selects an enhancement layer bitstream corresponding to the extracted view information through a communication network. Provided to the communication terminal 200.
  • the communication terminal 200 decodes and outputs the enhancement layer bitstream transmitted from the streaming server 170 using the decoding information of the base layer (S612).
  • FIG. 7 is a flowchart illustrating a method for providing an enhancement layer bitstream to a communication terminal by a streaming server according to the present invention.
  • the streaming server 170 receives and stores a plurality of enhancement layer bisstreams from the multiview video encoding apparatus 120 (S700).
  • the streaming server 170 receives the video request message including the viewpoint information from the communication terminal 200 (S702), the streaming server 170 analyzes the video request message to determine the corresponding viewpoint (S704).
  • the streaming server 170 selects the enhancement layer bitstream corresponding to the determined time point from the stored enhancement layer bitstream as described above and transmits it to the communication terminal 200 (S706).
  • the system and method for transmitting and receiving a multi-view video transmits additional video information through a communication network so that a user can watch a video at a desired time point while watching a video through a broadcasting network. It can be used for the technique.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 비디오의 송수신 시스템 및 방법에 관한 것으로, 방송망을 통해 수신된 기본 레이어의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하여 해당 시점의 향상 레이어 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 통신 단말기, 복수의 촬영수단에 의해 촬영된 동영상 중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 상기 통신 단말기로 제공하고, 다른 시점의 동영상에 대해 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하며, 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우, 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 통신 단말기로 제공하는 다시점 비디오 전송 시스템으로 구성되어, 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있다.

Description

다시점 비디오의 송수신 시스템 및 방법
본 발명은 다시점 비디오의 송수신 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 복수의 촬영수단에 의해 촬영된 동영상 중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 통신 단말기로 제공하며, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하여 통신망을 통해 통신 단말기에 제공하는, 다시점 비디오의 송수신 시스템 및 방법에 관한 것이다.
데이터를 압축하는 기본적인 원리는 데이터의 공간적 중복 및 시간적 중복 요소를 제거하는 것이다. 공간적 중복은 비디오에서 동일한 색이나 객체가 반복되는 것을 말한다. 그리고 시간적 중복은 동영상 픽처에서 인접 픽처가 거의 변화없는 것 또는 오디오에서 같은 음이 계속 반복되는 것을 말한다. 일반적인 비디오 코딩 방법에서 시간적 중복은 움직임 보상에 근거한 시간적 필터링에 의해 제거되고 공간적 중복은 공간적 변환에 의해 제거된다.
데이터의 중복이 제거된 후 생성되는 멀티미디어 데이터를 전송하기 위해서는 전송매체가 필요한데, 그 성능은 전송 매체별로 차이가 있다. 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어 데이터를 전송하기 위해 스케일러블 비디오 코딩(Scalable Video Coding) 기술이 있다.
스케일러블 비디오 코딩 기술이란 이미 압축된 비트스트림에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 비트 스트림의 일부를 잘라내어 비디오의 해상도, 프레임율 및 SNR(Signal to Noise Ratio) 등을 조절할 수 있게 해주는 코딩 기술을 의미한다.
일반적인 스케일러블 비디오 코딩은 시간적으로 프레임을 hierarchical structure로 움직임 예측 영상을 구성하여 시간적 스케일러빌러티를 구현하고, 각 해상도에 따라 레이어를 별도로 두어 부호화하는 레이어드 코딩을 통해 공간적으로 스케일러블하게 부호화한다. 화질의 경우, 레이어드 코딩을 통한 방법이나, Fine grain scalability등의 방법을 이용하여 화질 스케일러빌러티를 구현한다.
최근에는 기술적 발전과 사용자의 요구에 의해 다양한 시점에서의 광경에 대한 비디오 정보를 시청자에게 제공하고, 해당 비디오 정보 중에서 보고 싶은 광경에 대한 조작을 통해 각각의 시청자마다 방송국에서 보내지는 정보를 편집하여 시청할 수 있는 서비스가 개발되고 있다. 이와 같은 서비스를 제공하기 위해서는 다시점 비디오에 대한 비디오 압축 기술과 다시점 비디오의 전송 기술 및 시스템이 필요하다.
다시점 비디오 압축은 복수 카메라로부터 입력된 비디오를 동시에 코딩하여 압축 저장 및 전송하기 위한 것이다. 다시점 비디오를 압축하지 않고 저장 및 전송할 경우 데이터의 크기가 매우 크기 때문에 데이터를 실시간으로 방송망 또는 유/무선 인터넷을 통하여 사용자에게 전달하기 위해서는 큰 크기의 전송 대역폭이 요구된다.
통상 다시점 비디오 코딩 및 디코딩은 각각의 비디오 시퀀스를 독립적으로 코딩하여 전송한 후 디코딩하는 방법으로 이루어질 수 있다. 이는 기존의 MPEG-1/2/4나 H.261/263/264를 통하여 쉽게 구현될 수 있다.
그러나 전술한 바와 같은 종래의 기술에는 동일한 물체를 복수의 카메라로 촬영하기 때문에 생기는 비디오 간의 중복성을 제거할 수 없는 단점이 있다. 또한, 방송망을 통해 동영상을 시청하고 있는 중에는 다른 시점의 동영상을 시청할 수 없는 단점이 있었다.
또 다른 방법으로 Scalable Video Coding 방법의 레이어드 코딩 방법을 이용하여 부호화하는 방법이 있다. 이 경우, 시점간의 중복성을 레이어드 코딩방법으로 제거할 수 있으므로 높은 압축률을 얻을 수 있지만, 인접한 시점간의 중복성을 제거하는 특성으로 인해, 시점전환이 쉽지 않은 문제가 발생한다.
다시점 비디오의 전송 시스템의 경우, independent하게 복호화할 수 있는 비트스트림과 dependent하게 복호화되는 비트스트림을 multiplexing 하여 방송망이나 네트워크망을 통해 전송하는 방법이 일반적으로 알려져 있다. 그러나 다시점 비디오를 방송망을 통해 전송하기 위해서는 시점만큼의 채널이 추가적으로 필요한 문제가 발생한다.
전술한 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은 기본 동영상을 기본 레이어(base layer)로 압축하고, 다른 시점의 동영상을 향상 레이어(enhancement layer)로 압축하는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 있다.
또한, 본 발명의 또다른 목적은 방송망을 통해서 기본 레이어로 부호화된 비트스트림을 제공하고, 통신망을 통해서 향상 레이어로 부호화된 비트스트림을 제공하는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 있다.
그리고, 본 발명의 또다른 목적은 기본 동영상을 제외한 다른 시점의 동영상에 대해 향상 레이어로서 중복성을 제거하여 부호화하는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 있다.
전술한 목적들을 달성하기 위한 본 발명의 일 측면에 따르면, 방송망을 통해 수신된 기본 레이어의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하여 해당 시점의 향상 레이어 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 통신 단말기; 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 상기 통신 단말기로 제공하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용한 향상레이어 비트스트림으로 부호화하여 통신망을 통해 상기 통신 단말기로 제공하는 다시점 비디오 전송 시스템을 포함하는 다시점 비디오의 송수신 시스템이 제공된다.
상기 통신 단말기는 통신망을 통해 동영상이 수신된 경우 방송망을 통한 동영상을 통신망을 통한 동영상으로 전환한다.
또한, 상기 통신 단말기는 방송망을 통한 동영상과 통신망을 통한 동영상을 PIP 또는 POP로 출력한다.
본 발명의 다른 측면에 따르면, 다시점 비디오 전송 시스템에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본 레이어로 부호화하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용하여 향상 레이어 비트스트림으로 부호화하는 다시점 비디오 부호화 장치; 상기 다시점 비디오 부호화 장치에서 부호화된 기본 동영상을 방송망을 통해 통신 단말기에 제공하는 방송 서버; 통신망을 통해 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우, 상기 다시점 비디오 부호화 장치에서 부호화된 향상 레이어의 비트스트림중에서 해당 시점의 비트스트림을 선택하여 상기 통신 단말기로 제공하는 스트리밍 서버를 포함하는 다시점 비디오 전송 시스템이 제공된다.
상기 동영상 요청 메시지는 통신 단말기 사용자에 의해 선택된 시점 정보를 포함한다.
상기 다시점 비디오 부호화 장치에서 부호화된 각 향상 레이어의 비트스트림은 시점 정보를 포함한다.
상기 다시점 비디오 부호화 장치는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행한다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본 레이어로 부호화하는 기본 레이어 부호화부; 다른 시점의 동영상에 대해 상기 기본 레이어 부호화부에서 부호화된 기본 레이어의 부호화 정보를 이용하여 향상 레이어의 비트스트림으로 부호화하는 복수의 향상 레이어 부호화부를 포함하는 다시점 비디오 부호화 장치가 제공된다.
또한, 상기 향상 레이어 부호화부는 다른 시점의 동영상에 대해 기본 레이어의 동영상에 대해 중복성을 제거하여 부호화한다.
또한, 상기 향상 레이어 부호화부는 부호화된 각 향상 레이어의 비트스트림에 시점 정보를 설정한다.
본 발명의 또 다른 측면에 따르면, 통신망을 통해 통신 단말기와의 통신을 위한 통신부, 상기 통신부를 통해 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 동영상 요청 메시지를 분석하여 해당 시점을 판단하는 시점 판단부, 상기 시점 판단부에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기에 제공되도록 하는 스위칭부를 포함하는 스트리밍 서버가 제공된다.
상기 스트리밍 서버는 다시점 비디오 부호화 장치로부터 복수의 향샹 레이어 비트스트림을 수신하여 저장하는 저장부를 더 포함한다.
상기 스위칭부는 저장부 또는 다시점 비디오 부호화 장치로부터 해당 향상 레이어 비트스트림을 추출하여 상기 통신 단말기에 제공한다.
본 발명의 또 다른 측면에 따르면, 통신부, 입력부 및 출력부가 구비되어 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기에 있어서, 상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통해 향상 레이어의 비트스트림이 수신된 경우 향상 레이어의 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하는 디코딩부; 상기 입력부를 통해 다른 시점의 동영상이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 상기 통신부를 통해 다시점 비디오 전송 시스템으로 전송하는 서비스 요청부를 포함하는 통신 단말기가 제공된다.
상기 디코딩부는, 상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하는 기본레이어 디코딩부, 상기 통신망을 통해 수신된 향상 레이어의 비트스트림을 상기 기본 레이어 디코딩부에서 디코딩된 정보를 이용하여 디코딩하는 향상 레이어 디코딩부를 포함한다.
본 발명의 또 다른 측면에 따르면, (a)다시점 비디오 부호화 장치에서 복수의 촬영수단에 의해 촬영된 동영상 중에서 기본 동영상을 기본레이어로 부호화하고, 다른 시점의 동영상을 상기 기본 레이어의 부호화 정보를 이용한 향상레이어 비스스트림으로 부호화하는 단계, (b)방송 서버가 상기 다시점 비디오 부호화 장치에서 부호화된 기본 레이어의 비트스트림을 방송망을 통해 통신 단말기로 제공하는 단계, (c)상기 통신 단말기에서, 상기 방송 서버로부터의 기본 레이어 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 스트리밍 서버로 전송하는 단계, (d)상기 스트리밍 서버가 상기 통신 단말기로부터의 동영상 요청에 따라 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기에 제공하는 단계, (e)상기 통신 단말기가 상기 스트리밍 서버로부터 전송된 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계를 포함하는 다시점 비디오의 송수신 방법이 제공된다.
상기 (a)단계에서, 다시점 비디오 부호화 장치는 기본 레이어로 부호화된 비트스트림을 상기 방송 서버로 제공하고, 향상레이어로 부호화된 비스스트림을 상기 스트리밍 서버로 제공한다.
상기 (a)단계에서 부호화된 향상 레이어 비트스트림은 시점 정보를 포함한다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본레이어 비트스트림으로 부호화하는 단계; 다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 단계를 포함하는 다시점 비디오의 부호화 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치로부터 복수의 향상 레이어 비스스트림을 수신하여 저장하는 단계; 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 동영상 요청 메시지를 분석하여 해당 시점을 판단하는 단계; 상기 저장된 향상 레이어 비트스트림중에서 상기 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기로 전송하는 단계를 포함하는 다시점 비디오의 통신망을 통한 송신 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, (a)방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하는 단계, (b)상기 다시점 비디오 전송 시스템으로부터 요청 시점에 해당하는 향샹 레이어의 비트스트림이 수신되는 경우, 그 향상 레이어의 비트스트림을 상기 기본 레이어 비트스트림의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계를 포함하는 다시점 비디오의 수신 방법이 제공된다.
상기 (a)단계는, 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 단계; 사용자에 의해 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점을 판단하는 단계; 상기 판단된 시점을 포함하는 동영상 요청 메시지를 생성하여 상기 다시점 비디오 전송 시스템을 전송하는 단계를 포함한다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오의 부호화 방법을 프로그램으로서 CD나 USB 메모리 등 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
전술한 바와 같이 본 발명에 따르면, 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있는 다시점 비디오의 송수신 시스템 및 방법을 제공할 수 있다.
또한, 기본 동영상을 제외한 다른 시점의 동영상에 대해 향상 레이어로서 중복성을 제거하여 부호화하는 다시점 비디오의 송수신 시스템 및 방법을 제공할 수 있다.
도 1은 본 발명에 따른 다시점 비디오의 송수신 시스템을 나타낸 도면.
*도 2는 본 발명에 따른 다시점 비디오 부호화 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 스트리밍 서버의 구성을 개략적으로 나타낸 블럭도.
도 4는 본 발명에 따른 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기의 구성을 개략적으로 나타낸 블럭도.
도 5는 본 발명에 따른 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법을 나타낸 흐름도.
도 6은 본 발명에 따른 다시점 동영상을 통신 단말기에 제공하는 방법을 나타낸 흐름도.
도 7은 본 발명에 따른 스트리밍 서버가 통신 단말기에 향상 레이어 비트스트림을 제공하는 방법을 나타낸 흐름도.
도 1은 본 발명에 따른 다시점 비디오의 송수신 시스템을 나타낸 도면이다.
도 1을 참조하면, 다시점 비디오의 송수신 시스템은 방송망 및 통신망을 통해 동영상을 수신하여 출력하는 통신 단말기(200), 복수의 촬영수단에 의해 촬영된 동영상을 부호화하여 통신 단말기(200)의 요청에 따라 방송망 또는 통신망을 통해 해당 동영상을 통신 단말기(200)로 제공하는 다시점 비디오 전송 시스템(100)을 포함한다.
통신 단말기(200)는 방송망을 통해 수신된 기본 레이어(base layer)의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템(100)으로 전송하여 해당 시점의 향상 레이어(enhancement layer) 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력한다.
통신 단말기(200)는 방송망 및 통신망을 통해 동영상의 수신이 가능한 이동통신 단말기, 유선통신 단말기 등을 포함한다.
통신 단말기(200)는 통신망을 통해 동영상이 수신된 경우, 현재 출력되고 있는 동영상을 통신망을 통한 동영상으로 전환하여 출력한다.
또한, 통신 단말기(200)는 방송망을 통해 수신된 동영상을 출력하는 중에 통신망을 통해 동영상이 수신된 경우, 방송망을 통한 동영상과 통신망을 통한 동영상을 PIP 또는 POP로 출력할 수 있다.
다시점 비디오 전송 시스템(100)은 복수의 촬영수단에 의해 촬영된 동영상 중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 통신 단말기(200)로 제공한다.
또한, 다시점 비디오 전송 시스템(100)은 다른 시점의 동영상을 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하고, 통신 단말기(200)로부터 동영상 요청 메시지가 수신되는 경우 해당 시점의 향상 레이어의 비트스트림을 통신망을 통해 통신 단말기(200)로 제공한다.
다시점 비디오 전송 시스템(100)은 다시점 비디오 부호화 장치(120), 방송 서버(150), 스트리밍 서버(170)를 포함한다.
다시점 비디오 부호화 장치(120)는 복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본 레이어로 부호화하고, 다른 시점의 동영상에 대해 기본 레이어의 부호화 정보를 이용하여 향상 레이어 비트스트림으로 부호화한다.
방송 서버(150)는 다시점 비디오 부호화 장치(120)에서 부호화된 기본 동영상을 방송망을 통해 통신 단말기(200)로 제공한다.
스트리밍 서버(170)는 통신망을 통해 통신 단말기(200)로부터 동영상 요청 메시지가 수신되는 경우, 다시점 비디오 부호화 장치(120)에서 부호화된 향상 레이어의 비트스트림 중에서 해당 시점의 비트스트림을 선택하여 통신 단말기(200)로 제공한다.
여기서, 동영상 요청 메시지는 통신 단말기의 사용자에 의해 선택된 시점 정보를 포함한다.
다시점 비디오 부호화 장치(120)에서 부호화된 각 향상 레이어의 비트스트림이 시점 정보를 포함하고 있으므로, 다시점 비디오 전송 시스템(100)은 통신 단말기(200)로부터 동영상 요청 메시지가 수신된 경우 해당 시점 정보의 향상 레이어의 비트스트림을 선택하여 제공할 수 있다.
다시점 비디오 부호화 장치(120)는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행한다.
방송 서버(150)는 현재의 디지털 지상파 방송, 위성 디지털 방송, T-DMB, S-DMB 송출 시스템에 대응하는 서버이며, 다시점 비디오 부호화 장치(120)에서 부호화된 동영상의 기본 레이어를 송출한다.
스트리밍 서버(170)는 통신망을 통해 통신 단말기(200)로부터 사용자가 원하는 시점에 대한 정보를 수신하여 이에 해당하는 향상 레이어 비트스트림을 IP망 기반으로 스트리밍을 수행한다.
전술한 바와 같이 구성된 시스템에서는 계층적 부호화기 구조의 블록기반 코덱을 이용하여 다시점 동영상을 압축한다. 이때, 기본 레이어는 방송망의 코덱으로 디코딩이 가능하도록 하고, 다른 시점의 동영상은 기본 레이어의 정보를 이용하여 영상 간 중복성을 줄여 압축하는 레이어 기반 다시점 동영상 압축 방법을 통해 동영상을 압축한다. 이후, 방송 수신 장비만을 가진 사용자는 기본 레이어의 동영상을 시청하도록 하고, 추가적인 통신망과 연결된 사용자는 자신이 원하는 시점을 선택하여 스트리밍 서버(170)에 요청하면, 스트리밍 서버(170)로부터 요청 시점에 맞는 추가적인 비트스트림을 전송받아 시청할 수 있다.
도 2는 본 발명에 따른 다시점 비디오 부호화 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 2를 참조하면, 다시점 비디오 부호화 장치(120)는 복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본 레이어로 부호화하는 기본 레이어(base layer) 부호화부(122), 다른 시점의 동영상에 대해 기본 레이어 부호화부(122)에서 부호화된 기본 레이어의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 복수의 향상 레이어 부호화부(124a, 124b,..., 124n, 이하 124로 칭함)를 포함한다.
기본 레이어 부호화부(122)는 기본 동영상에 대해 H.264 또는 MPEG-2와 같은 기존 방송 시스템과 호환되는 코덱을 사용하여 부호화한다.
향상 레이어 부호화부(124)는 view point 1을 부호화하여 제1 향상 레이어 비트스트림을 출력하는 제1 향상 레이어 부호화부(124a), view point 2를 부호화하여 제2 향상 레이어 비트스트림을 출력하는 제2 향상 레이어 부호화부(124b) 등으로 구성된다.
또한, 향상 레이어 부호화부(124)는 부호화된 각 향상 레이어의 비트스트림에 시점 정보를 설정한다. 이렇게 설정된 시점 정보는 통신 단말기로부터 동영상 요청 메시지가 수신된 경우 해당 시점 정보의 향상 레이어 비트스트림을 선택할 수 있도록 한다.
향상 레이어 부호화부(124)는 기본 레이어 부호화부(122)에서 부호화된 기본 레이어의 부호화 정보를 이용하여 부호화를 수행하므로, 다른 시점의 동영상에 대해 기본 레이어의 동영상에 대해 중복성을 제거한다.
향상 레이어 부호화부(124)는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행한다.
도 3은 본 발명에 따른 스트리밍 서버의 구성을 개략적으로 나타낸 블럭도이다.
도 3을 참조하면, 스트리밍 서버(170)는 통신망을 통해 통신 단말기와의 통신을 위한 통신부(172), 통신부(172)를 통해 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우 동영상 요청 메시지를 분석하여 해당 시점을 판단하는 시점 판단부(174), 시점 판단부(174)에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 통신 단말기에 제공되도록 하는 스위칭부(176)를 포함한다.
또한, 스트리밍 서버(170)는 다시점 비디오 부호화 장치로부터 복수의 향샹 레이어 비트스트림을 수신하여 저장하는 저장부(178)를 더 포함할 수 있다.
상기 스위칭부(176)는 시점 판단부(174)에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 저장부(178) 또는 다시점 비디오 부호화 장치(120)로부터 추출하여 통신 단말기(200)에 제공하는 역할을 수행한다.
도 4는 본 발명에 따른 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기의 구성을 개략적으로 나타낸 블럭도이다.
도 4를 참조하면, 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기(200)는 통신부(202), 입력부(204), 저장부(206), 출력부(208), 디코딩부(210), 서비스 요청부(214)를 포함한다.
디코딩부(210)는 인코딩된 비트스트림을 디코딩하는 것으로, 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통해 향상 레이어의 비트스트림이 수신된 경우 향상 레이어의 비트스트림을 기본 레이어의 디코딩 정보를 이용하여 디코딩한다.
*또한, 디코딩부(210)는 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하는 기본 레이어 디코딩부(211), 통신망을 통해 수신된 향상 레이어의 비트스트림을 기본 레이어 디코딩부(211)에서 디코딩된 정보를 이용하여 디코딩하는 향상 레이어 디코딩부(212)로 구성된다.
서비스 요청부(214)는 입력부(204)를 통해 다른 시점의 동영상이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 통신부(202)를 통해 다시점 비디오 전송 시스템으로 전송한다.
서비스 요청부(214)에 의해 요청된 동영상은 통신부(202)를 통해 수신하여 디코딩부(210)에 의해 디코딩되어 출력부(208)에 출력된다.
도 5는 본 발명에 따른 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 다시점 비디오 부호화 장치(120)는 복수의 촬영수단에 의해 촬영된 다시점 동영상이 수신되면(S500), 수신된 다시점 동영상 중에서 기본 동영상을 기본 레이어 비트스트림으로 부호화한다(S502).
그런 다음 다시점 비디오 부호화 장치(120)는 다른 시점의 동영상에 대해 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화한다(S504).
그리고, 기본 레이어 비트스트림은 방송망을 통해 통신 단말기에 제공되고, 향상 레이어 비트스트림은 통신망을 통해 통신 단말기에 제공된다.
도 6은 본 발명에 따른 다시점 동영상을 통신 단말기에 제공하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 방송 서버(150)는 다시점 비디오 부호화 장치(120)에서 부호화된 기본 레이어의 비트스트림을 방송망을 통해 통신 단말기(200)로 제공한다(S600).
다시점 비디오 부호화 장치(120)는 기본 레이어로 부호화된 비트스트림을 방송 서버(150)에 제공하고, 향상 레이어로 부호화된 비스스트림을 스트리밍 서버(170)에 제공한다.
이어, 통신 단말기(200)는 방송 서버(150)로부터의 기본 레이어 비트스트림을 디코딩하여 출력한다(S602).
통신 단말기(200)는 방송망을 통해 동영상을 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되면(S604), 해당 시점 정보를 포함하는 동영상 요청 메시지를 스트리밍 서버(170)로 전송한다(S606).
즉, 통신 단말기의 사용자가 방송망을 통한 동영상을 시청하는 중에 다른 시점의 동영상을 원하여 통신망을 통해 다른 시점을 선택하면, 통신 단말기(200)는 사용자에 의해 선택된 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 스트리밍 서버(170)로 전송한다.
스트리밍 서버(170)는 통신 단말기(200)로부터 동영상 요청 메시지가 수신되면(S608), 동영상 요청에 따라 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 통신 단말기(200)에 제공한다(S610).
즉, 스트리밍 서버(170)는 통신 단말기(200)로부터 동영상 요청 메시지가 수신되면, 동영상 요청 메시지를 분석하여 시점 정보를 추출하고, 추출된 시점 정보에 해당하는 향상 레이어 비트스트림을 선택하여 통신망을 통해 통신 단말기(200)에 제공한다.
그러면, 통신 단말기(200)는 스트리밍 서버(170)로부터 전송된 향상 레이어 비트스트림을 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력한다(S612).
도 7은 본 발명에 따른 스트리밍 서버가 통신 단말기에 향상 레이어 비트스트림을 제공하는 방법을 나타낸 흐름도이다.
도 7을 참조하면, 스트리밍 서버(170)는 다시점 비디오 부호화 장치(120)로부터 복수의 향상 레이어 비스스트림을 수신하여 저장한다(S700).
그런다음 스트리밍 서버(170)는 통신 단말기(200)로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되면(S702), 동영상 요청 메시지를 분석하여 해당 시점을 판단한다(S704).
그런 다음 스트리밍 서버(170)는 전술한 바와 같이 저장된 향상 레이어 비트스트림 중에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 통신 단말기(200)로 전송한다(S706).
전술한 바와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따른 다시점 비디오의 송수신 시스템 및 방법은 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있도록 하는 기술에 이용할 수 있다.

Claims (12)

  1. 다시점 비디오 부호화 장치에 있어서,
    복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본 레이어로 부호화하는 기본 레이어 부호화부; 및
    다른 시점의 동영상에 대해 상기 기본 레이어 부호화부에서 부호화된 기본 레이어의 부호화 정보를 이용하여 향상 레이어의 비트스트림으로 부호화하는 복수의 향상 레이어 부호화부;
    를 포함하는 다시점 비디오 부호화 장치.
  2. 제1항에 있어서,
    상기 향상 레이어 부호화부는 다른 시점의 동영상에 대해 기본 레이어의 동영상에 대해 중복성을 제거하여 부호화하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  3. 제1항에 있어서,
    상기 향상 레이어 부호화부는 부호화된 각 향상 레이어의 비트스트림에 시점 정보를 설정하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  4. 통신망을 통해 다시점 비디오 부호화 장치 및 통신 단말기와 통신하기 위한 통신부;
    상기 통신부를 통해 상기 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 동영상 요청 메시지를 분석하여 해당 시점을 판단하는 시점 판단부; 및
    상기 시점 판단부에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기에 제공되도록 하는 스위칭부;
    를 포함하는 스트리밍 서버.
  5. 제4항에 있어서,
    상기 다시점 비디오 부호화 장치로부터 복수의 향샹 레이어 비트스트림을 수신하여 저장하는 저장부를 더 포함하는 스트리밍 서버.
  6. 제4항에 있어서,
    상기 스위칭부는 저장부 또는 상기 다시점 비디오 부호화 장치로부터 해당 향상 레이어 비트스트림을 추출하여 상기 통신 단말기에 제공하는 것을 특징으로 하는 스트리밍 서버.
  7. 통신부, 입력부 및 출력부가 구비되어 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기에 있어서,
    상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통해 향상 레이어의 비트스트림이 수신된 경우, 향상 레이어의 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하는 디코딩부; 및
    상기 입력부를 통해 다른 시점의 동영상이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 상기 통신부를 통해 다시점 비디오 전송 시스템으로 전송하는 서비스 요청부;
    를 포함하는 통신 단말기.
  8. 제7항에 있어서,
    상기 디코딩부는,
    상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하는 기본 레이어 디코딩부; 및
    상기 통신망을 통해 수신된 수신된 향상 레이어의 비트스트림을 상기 기본 레이어 디코딩부에서 디코딩된 정보를 이용하여 디코딩하는 향상 레이어 디코딩부;
    를 포함하는 것을 특징으로 하는 통신 단말기.
  9. 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법에 있어서,
    복수의 촬영수단에 의해 촬영된 다시점 동영상 중에서 기본 동영상을 기본 레이어 비트스트림으로 부호화하는 단계; 및
    다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 단계;
    를 포함하는 다시점 비디오의 부호화 방법.
  10. (a) 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하는 단계;
    (b) 상기 요청된 시점에 해당하는 향상 레이어의 비트스트림이 상기 다시점 비디오 전송 시스템으로부터 수신되는 경우, 상기 향상 레이어의 비트스트림을 상기 기본 레이어 비트스트림의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계;
    를 포함하는 다시점 비디오의 수신 방법.
  11. 제10항에 있어서,
    상기 (a)단계는,
    방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 단계;
    사용자에 의해 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점을 판단하는 단계; 및
    상기 판단된 시점을 포함하는 동영상 요청 메시지를 생성하여 상기 다시점 비디오 전송 시스템으로 전송하는 단계;
    를 포함하는 다시점 비디오의 수신 방법.
  12. 제10항에 있어서,
    상기 (b)단계에서,
    상기 디코딩된 향상 레이어의 비트스트림은 PIP, POP, 전체 화면 중 적어도 하나의 방법에 의해 출력되는 것을 특징으로 하는 다시점 비디오의 수신 방법.
PCT/KR2009/003190 2008-09-05 2009-06-15 다시점 비디오의 송수신 시스템 및 방법 Ceased WO2010027142A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080087620A KR101012760B1 (ko) 2008-09-05 2008-09-05 다시점 비디오의 송수신 시스템 및 방법
KR10-2008-0087620 2008-09-05

Publications (2)

Publication Number Publication Date
WO2010027142A2 true WO2010027142A2 (ko) 2010-03-11
WO2010027142A3 WO2010027142A3 (ko) 2010-04-29

Family

ID=41797607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/003190 Ceased WO2010027142A2 (ko) 2008-09-05 2009-06-15 다시점 비디오의 송수신 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101012760B1 (ko)
WO (1) WO2010027142A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077616A1 (zh) * 2022-10-14 2024-04-18 Oppo广东移动通信有限公司 编解码方法、装置、设备、及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116832A (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
KR100919885B1 (ko) * 2006-10-25 2009-09-30 한국전자통신연구원 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077616A1 (zh) * 2022-10-14 2024-04-18 Oppo广东移动通信有限公司 编解码方法、装置、设备、及存储介质

Also Published As

Publication number Publication date
KR20100028749A (ko) 2010-03-15
WO2010027142A3 (ko) 2010-04-29
KR101012760B1 (ko) 2011-02-08

Similar Documents

Publication Publication Date Title
RU2530740C2 (ru) Сообщение характеристик рабочей точки нескольких изображений видео (mvc)
CN109068136B (zh) 图像处理装置和图像处理方法、计算机可读存储介质
WO2010053246A2 (en) Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
KR20010020147A (ko) 범용 직렬버스 접속을 위한 2중 압축 비디오 비트 스트림
WO2011108903A2 (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
WO2012064123A2 (ko) 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치
WO2012070875A2 (ko) 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치
WO2020189817A1 (ko) 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
WO2013150943A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2012144795A2 (en) Apparatus for outputting broadcast recorded by schedule recording and control method thereof
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
RU2649758C2 (ru) Устройство и способ обработки изображения
KR101096802B1 (ko) 비디오 스트림 혼합장치 및 그 방법
WO2012141551A2 (ko) 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법
WO2014109563A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
WO2014042459A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014073873A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811641

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC

122 Ep: pct application non-entry in european phase

Ref document number: 09811641

Country of ref document: EP

Kind code of ref document: A2