KR20100028749A - 다시점 비디오의 송수신 시스템 및 방법 - Google Patents

다시점 비디오의 송수신 시스템 및 방법 Download PDF

Info

Publication number
KR20100028749A
KR20100028749A KR1020080087620A KR20080087620A KR20100028749A KR 20100028749 A KR20100028749 A KR 20100028749A KR 1020080087620 A KR1020080087620 A KR 1020080087620A KR 20080087620 A KR20080087620 A KR 20080087620A KR 20100028749 A KR20100028749 A KR 20100028749A
Authority
KR
South Korea
Prior art keywords
video
bitstream
view
enhancement layer
base layer
Prior art date
Application number
KR1020080087620A
Other languages
English (en)
Other versions
KR101012760B1 (ko
Inventor
배태면
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080087620A priority Critical patent/KR101012760B1/ko
Priority to PCT/KR2009/003190 priority patent/WO2010027142A2/ko
Publication of KR20100028749A publication Critical patent/KR20100028749A/ko
Application granted granted Critical
Publication of KR101012760B1 publication Critical patent/KR101012760B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 비디오의 송수신 시스템 및 방법에 관한 것으로, 방송망을 통해 수신된 기본 레이어의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하여 해당 시점의 향상 레이어 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 통신 단말기, 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본레이어로 부호화하여 방송망을 통해 상기 통신 단말기로 제공하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하여 상기 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우, 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기로 제공하는 다시점 비디오 전송 시스템으로 구성되어, 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있다.
다시점, 부호화, 복호화, 방송,

Description

다시점 비디오의 송수신 시스템 및 방법{System and Method for transmitting and receiving of Multi-view video}
본 발명은 다시점 비디오의 송수신 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 통신 단말기로 제공하며, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하여 통신망을 통해 통신 단말기로부터 다른 시점의 동영상 출력이 요청되는 경우 해당 시점의 향상 레이어 비트스트림을 통신망을 통해 통신 단말기에 제공하는 다시점 비디오의 송수신 시스템 및 방법에 관한 것이다.
데이터를 압축하는 기본적인 원리는 데이터의 공간적 중복 및 시간적 중복 요소를 제거하는 것이다. 공간적 중복은 비디오에서 동일한 색이나 객체가 반복되는 것을 말한다. 그리고 시간적 중복은 동영상 픽처에서 인접 픽처가 거의 변화없는 것 또는 오디오에서 같은 음이 계속 반복되는 것을 말한다. 일반적인 비디오 코딩 방법에서 시간적 중복은 움직임 보상에 근거한 시간적 필터링에 의해 거되고 공 간적 중복은 공간적 변환에 의해 제거된다.
데이터의 중복이 제거된 후 생성되는 멀티미디어 데이터를 전송하기 위해서는 전송매체가 필요한데, 그 성능은 전송매체별로 차이가 있다. 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경 따라 이에 적합한 전송률로 멀티미디어 데이터를 전송하기 위해 스케일러블 비디오 코딩 기술이 있다.
스케일러블 비디오 코딩 기술이란 이미 압축됨 비트스트림에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 비트 스트림의 일부를 잘라내어 비디오의 해상도, 프레임율 및 SNR 등을 조절할 수 있게 해주는 코딩 기술을 의미한다.
일반적인 스케일러블 비디오 코딩은 입력 비디오에 대해 시간적 변환을 이용하여 시간적 스케일러블을 구현하고, 2차원 공간적 변환을 이용하여 공간적 스케일러블을 구현한다. 또한, 스케일러블 비디오 코딩은 텍스처 코딩을 이용하여 화질 스케일러빌러티를 구현한다. 모션 코딩은 각각의 공간적 스케일러블을 구현할 때의 모션 정보를 스케일러블하게 부호화한다. 이와 같은 코딩 알고리즘을 통하여 하나의 비트스트림을 생성한다.
최근에는 기술적 발전과 사용자의 요구에 의해 다양한 시점에서의 광경에 대한 비디오 정보를 시청자에게 제공하고, 해당 비디오 정보 중에서 보고 싶은 광경에 대한 조작을 통해 각각의 시청자마다 방송국에서 보내지는 정보를 편집하여 시청할 수 있는 서비스가 연구되고 있다. 이와 같은 서비스를 제공하기 위해서는 다시점 비디오에 대한 비디오 압축 기술이 필요하다.
다시점 비디오 압축은 다시점 비디오를 제공하는 복수 카메라로부터 입력된 비디오를 동시에 코딩하여 압축 저장 및 전송하기 위한 것이다. 다시점 비디오를 압축하지 않고 저장 및 전송할 경우 데이터의 크기가 매우 크기 때문에 데이터를 실시간으로 방송망 또는 유/무선 인터넷을 통하여 사용자에게 전달하기 위해서는 큰 크기의 전송 대역폭이 요구된다.
통상 다시점 비디오 코딩 및 디코딩은 각각의 비디오 시퀀스를 독립적으로 코딩하여 전송한 후 디코딩하는 방법으로 이루어질 수 있다. 이는 기존의 MPEG-1/2/4나 H.261/263/264를 통하여 쉽게 구현될 수 있다.
그러나 상기와 같은 종래에는 동일한 물체를 복수 카메라로 촬영하기 때문에 생기는 비디오간의 중복성을 제거할 수 없는 단점이 있다.
또한, 방송망을 통해 동영상을 시청하고 있는 중에는 다른 시점의 동영상을 시청할 수 없는 단점이 있었다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 기본 동영상은 기본 레이어(base layer)로 압축하고, 다른 시점의 동영상은 향상 레이어(enhancement layer)로 압축하는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 다른 목적이 있다.
또한, 방송망을 통해서는 기본 레이어로 부호화된 비트스트림을 제공하고, 통신망을 통해서는 향상 레이어로 부호화된 비트스트림을 제공하는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 또 다른 목적이 있다.
또한, 기본 동영상을 제외한 다른 시점의 동영상에 대해 향상 레이어로서 중복성을 제거하여 부호화하는 다시점 비디오의 송수신 시스템 및 방법을 제공하는데 또 다른 목적이 있다.
상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 방송망을 통해 수신된 기본 레이어의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시 점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하여 해당 시점의 향상 레이어 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 통신 단말기, 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 상기 통신 단말기로 제공하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용한 향상레이어 비트스트림으로 부호화하여 상기 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우, 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기로 제공하는 다시점 비디오 전송 시스템을 포함하는 다시점 비디오의 송수신 시스템이 제공된다.
상기 통신 단말기는 통신망을 통해 동영상이 수신된 경우 방송망을 통한 동영상을 통신망을 통한 동영상으로 전환한다.
또한, 상기 통신 단말기는 방송망을 통한 동영상과 통신망을 통한 동영상을 PIP 또는 POP로 출력한다.
본 발명의 다른 측면에 따르면, 다시점 비디오 전송 시스템에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본레어로 부호화하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용하여 향상 레이어 비트스트림으로 부호화하는 다시점 비디오 부호화 장치, 상기 다시점 비디오 부호화 장치에서 부호화된 기본 동영상을 방송망을 통해 통신 단말기에 제공하는 방송 서버, 통신망을 통해 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우, 상기 다시점 비디오 부호화 장치에서 부호화된 향상 레이어의 비트스트림중에서 해당 시점의 비트스트림을 선택하여 상기 통신 단말기로 제공하는 스트리밍 서버를 포함하는 다시점 비디오 전송 시스템이 제공된다.
상기 동영상 요청 메시지는 통신 단말기 사용자에 의해 선택된 시점 정보를 포함한다.
상기 다시점 비디오 부호화 장치에서 부호화된 각 향상 레이어의 비트스트림은 시점 정보를 포함한다.
상기 다시점 비디오 부호화 장치는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행한다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본레어로 부호화하는 기본 레이어 부호화부, 다른 시점의 동영상에 대해 상기 기본 레이어 부호화부에서 부호화된 기본 레이어의 부호화 정보를 이용하여 향상 레이어의 비트스트림으로 부호화하는 복수의 향상 레이어 부호화부를 포함하는 다시점 비디오 부호화 장치가 제공된다.
상기 향상 레이어 부호화부는 각 향상 레이어의 비트스트림에 기본 레이어의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 기본 레이어의 인트라 블록 타입을 예측 정보로 이용하는지 여부를 나타내는 플래그, 기본 레이어의 차분 영상값의 이용 여부에 대한 플래그를 각각 설정한다.
또한, 상기 향상 레이어 부호화부는 다른 시점의 동영상에 대해 기본 레이어의 동영상에 대해 중복성을 제거하여 부호화한다.
또한, 상기 향상 레이어 부호화부는 부호화된 각 향상 레이어의 비트스트림에 시점 정보를 설정한다.
본 발명의 또 다른 측면에 따르면, 통신망을 통해 통신 단말기와의 통신을 위한 통신부, 상기 통신부를 통해 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 메시지를 분석하여 해당 시점을 판단하는 시점 판단부, 상기 시점 판단부에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기에 제공되도록 하는 스위칭부를 포함하는 스트리밍 서버가 제공된다.
상기 스트리밍 서버는 다시점 비디오 부호화 장치로부터 복수의 향샹 레이어 비트스트림을 수신하여 저장하는 저장부를 더 포함한다.
상기 스위칭부는 저장부 또는 다시점 비디오 부호화 장치로부터 해당 향상 레이어 비트스트림을 추출하여 상기 통신 단말기에 제공한다.
본 발명의 또 다른 측면에 따르면, 통신부, 입력부 및 출력부가 구비되어 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기에 있어서, 상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통해 향상 레이어의 비트스트림이 수신된 경우 향상 레이어의 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하는 디코딩부, 상기 입력부를 통해 다른 시점의 동영상이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요 청 메시지를 생성하여 상기 통신부를 통해 다시점 비디오 전송 시스템으로 전송하는 서비스 요청부를 포함하는 통신 단말기가 제공된다.
상기 디코딩부는, 상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하는 기본레이어 디코딩부, 상기 통신망을 통해 수신된 수신된 향상 레이어의 비트스트림을 상기 기본 레이어 디코딩부에서 디코딩된 정보를 이용하여 디코딩하는 향상 레이어 디코딩부를 포함한다.
본 발명의 또 다른 측면에 따르면, (a)다시점 비디오 부호화 장치에서 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본레이어로 부호화하고, 다른 시점의 동영상을 상기 기본 레이어의 부호화 정보를 이용한 향상레이어 비스스트림으로 부호화하는 단계, (b)방송 서버가 상기 다시점 비디오 부호화 장치에서 부호화된 기본 레이어의 비트스트림을 방송망을 통해 통신 단말기로 제공하는 단계, (c)상기 통신 단말기에서, 상기 방송 서버로부터의 기본 레이어 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 스트리밍 서버로 전송하는 단계, (d)상기 스트리밍 서버가 상기 통신 단말기로부터의 동영상 요청에 따라 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기에 제공하는 단계, (e)상기 통신 단말기가 상기 스트리밍 서버로부터 전송된 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계를 포함하는 다시점 비디오의 송수신 방법이 제공된다.
상기 (a)단계에서, 다시점 비디오 부호화 장치는 기본 레이어로 부호화된 비 트스트림을 상기 방송 서버로 제공하고, 향상레이어로 부호화된 비스스트림을 상기 스트리밍 서버로 제공한다.
상기 (a)단계에서 부호화된 향상 레이어 비트스트림은 시점 정보를 포함한다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본레어 비트스트림으로 부호화하는 단계, 다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 단계를 포함하는 다시점 비디오의 부호화 방법이 제공된다.
상기 부호화된 향상 레이어의 비트스트림에는 기본 레이어의 움지임 벡터 정보의 사용 여부를 나타내는 플래그, 기본 레이어의 인트라 블록 타입을 예측 정보로 이용하는지 여부를 나타내는 플래그, 기본 레이어의 차분 영상값의 이용 여부에 대한 플래그가 설정되어 있다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치로부터 복수의 향상 레이어 비스스트림을 수신하여 저장하는 단계, 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 메시지를 분석하여 해당 시점을 판단하는 단계, 상기 저장된 향상 레이어 비트스트림중에서 상기 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기로 전송하는 단계를 포함하는 다시점 비디오의 통신망을 통한 송신 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, (a)방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하는 단계, (b)상기 다시점 비디오 전송 시스템으로부터 요청된 시점에 해당하는 향샹 레이어의 비트스트림이 수신되는 경우, 그 향상 레이어의 비트스트림을 상기 기본 레이어 비트스트림의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계를 포함하는 다시점 비디오의 수신 방법이 제공된다.
상기 (a)단계는, 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 단계, 사용자에 의해 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점을 판단하는 단계, 상기 판단된 시점을 포함하는 동영상 요청 메시지를 생성하여 상기 다시점 비디오 전송 시스템을 전송하는 단계를 포함한다.
본 발명의 또 다른 측면에 따르면, 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 프로그램이 기록된 기록매체에 있어서, 복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어 비트스트림으로 부호화하는 단계, 다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 단계를 포함하는 프로그램이 기록된 기록매체가 제공된다.
상술한 바와 같이 본 발명에 따르면, 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있는 다시점 비디오의 송수신 시스템 및 방법을 제공할 수 있다.
또한, 기본 동영상을 제외한 다른 시점의 동영상에 대해 향상 레이어로서 중복성을 제거하여 부호화하는 다시점 비디오의 송수신 시스템 및 방법을 제공할 수 있다.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 1은 본 발명에 따른 다시점 비디오의 송수신 시스템을 나타낸 도면이다.
도 1을 참조하면, 다시점 비디오의 송수신 시스템은 방송망 및 통신망을 통해 동영상을 수신하여 출력하는 통신 단말기(200), 복수의 촬영수단에 의해 촬영된 동영상을 부호화하여 통신 단말기(200)의 요청에 따라 방송망 또는 통신망을 통해 해당 동영상을 상기 통신 단말기(200)에 제공하는 다시점 비디오 전송 시스템(100)을 포함한다.
상기 통신 단말기(200)는 방송망을 통해 수신된 기본 레이어(base layer)의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요 청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템(100)으로 전송하여 해당 시점의 향상 레이어(enhancement layer) 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력한다.
상기 통신 단말기(200)는 방송망 및 통신망을 통해 동영상의 수신이 가능한 이동통신 단말기, 유선통신 단말기 등을 말할 수 있다.
상기 통신 단말기(200)는 통신망을 통해 동영상이 수신된 경우 현재 출력되고 있는 동영상을 통신망을 통한 동영상으로 전환한다.
또한, 상기 통신 단말기(200)는 방송망을 통해 수신된 동영상을 출력하는 중에 통신망을 통해 동영상이 수신된 경우, 방송망을 통한 동영상과 통신망을 통한 동영상을 PIP 또는 POP로 출력할 수 있다.
상기 다시점 비디오 전송 시스템(100)은 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 상기 통신 단말기(200)로 제공하고, 다른 시점의 동영상을 상기 기본 레이어의 부호화 정보를 이용한 향상 레이어 비스스트림으로 부호화하여 상기 통신 단말기(200)로부터 동영상 요청 메시지가 수신되는 경우 해당 시점의 향상 레이어의 비트스트림을 통신망을 통해 상기 통신 단말기(200)로 제공한다.
상기와 같은 역할을 수행하는 다시점 비디오 전송 시스템(100)은 복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어로 부호화하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용하여 향상 레이어 비트스트림으로 부호화하는 다시점 비디오 부호화 장치(120), 상기 다시점 비디오 부호화 장치(120)에서 부호화된 기본 동영상을 방송망을 통해 통신 단말기(200)에 제공하는 방송 서버(250), 통신망을 통해 통신 단말기(200)로부터 동영상 요청 메시지가 수신되는 경우 상기 다시점 비디오 부호화 장치(120)에서 부호화된 향상 레이어의 비트스트림중에서 해당 시점의 비트스트림을 선택하여 상기 통신 단말기(200)로 제공하는 스트리밍 서버(170)를 포함한다.
여기서, 상기 동영상 요청 메시지는 통신 단말기 사용자에 의해 선택된 시점 정보를 포함한다.
상기 다시점 비디오 부호화 장치(120)에서 부호화된 각 향상 레이어의 비트스트림은 시점 정보를 포함하고 있어서, 통신 단말기(200)로부터 동영상 요청 메시지가 수신된 경우 해당 시점 정보의 향상 레이어의 비트스트림을 선택하여 제공할 수 있다.
상기 다시점 비디오 부호화 장치(120)는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행한다.
상기 방송 서버(150)는 현재의 디지털 지상파 방송, 위성 디지털 방송, T-DMB, S-DMB 송출 시스템에 대응하는 서버이며, 상기 다시점 비디오 부호화 장치(120)에서 부호화된 동영상의 기본 레이어를 송출한다.
상기 스트리밍 서버(170)는 통신망을 통해 사용자가 원하는 시점에 대한 정보를 받아 이에 해당하는 향상 레이어 비트스트림을 IP망 기반으로 스트리밍을 수 행한다.
상기와 같이 구성된 시스템에서는 계층적 부호화기 구조의 블록기반 코덱을 이용하여 다시점 동영상을 압축하고, 기본 레이어는 방송망의 코덱으로 디코딩이 가능하도록 하고, 다른 시점의 동영상은 기본 레이어의 정보를 이용하여 영상간 중복성을 줄여 압축하는 레이어 기반 다시점 동영상 압축 방법을 통해 동영상을 압축한 후, 방송 수신 장비만을 가진 사용자는 기본 레이어의 동영상을 시청하도록 하고, 추가적인 통신망과 연결된 사용자는 자신이 원하는 시점을 선택하여 스트리밍 서버(170)에 요청하면, 스트리밍 서버(170)로부터 시점에 맞는 추가적인 비트스트림을 전송받아 시청할 수 있다.
도 2는 본 발명에 따른 다시점 비디오 부호화 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 2를 참조하면, 다시점 비디오 부호화 장치(120)는 복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어로 부호화하는 기본 레이어(base layer) 부호화부(122), 다른 시점의 동영상에 대해 상기 기본 레이어 부호화부(122)에서 부호화된 기본 레이어의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 복수의 향상 레이어 부호화부(124a, 124b,..., 124n, 이하 124로 칭함)를 포함한다.
상기 기본 레이어 부호화부(122)는 기본 동영상에 대해 H.264 또는 MPEG-2와 같은 기존 방송 시스템과 호환되는 코덱을 사용하여 부호화한다.
향상 레이어 부호화부(124)는 view point 1을 부호화하여 제1 향상 레이어 비트스트림을 출력하는 제1 향상 레이어 부호화부(124a), view point 2를 부호화하여 제2 향상 레이어 비트스트림을 출력하는 제2 향상 레이어 부호화부(124b) 등으로 구성된다.
상기 향상 레이어 부호화부(124)는 각 향상 레이어의 비트스트림에 기본 레이어의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 기본 레이어의 인트라 블록 타입을 예측 정보로 이용하는지 여부를 나타내는 플래그, 기본 레이어의 차분 영상값의 이용 여부에 대한 플래그 등을 각각 설정한다. 상기 설정된 플래그는 통신 단말기가 해당 비트스트림을 복호화할 경우에 이용될 수 있다.
또한, 상기 향상 레이어 부호화부(124)는 부호화된 각 향상 레이어의 비트스트림에 시점 정보를 설정한다. 상기 설정된 시점 정보는 통신 단말기로부터 동영상 요청 메시지가 수신된 경우 해당 시점 정보의 향상 레이어 비트스트림을 선택할 수 있도록 한다.
상기 향상 레이어 부호화부(124)는 기본 레이어 부호화부(122)에서 부호화된 기본 레이어의 부호화 정보를 이용하여 부호화를 수행하므로, 다른 시점의 동영상에 대해 기본 레이어의 동영상에 대해 중복성을 제거한다.
상기 향상 레이어 부호화부(124)는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행한다.
도 3은 본 발명에 따른 스트리밍 서버의 구성을 개략적으로 나타낸 블럭도이다.
도 3을 참조하면, 스트리밍 서버(170)는 통신망을 통해 통신 단말기와의 통신을 위한 통신부(172), 상기 통신부(172)를 통해 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우 상기 메시지를 분석하여 해당 시점을 판단하는 시점 판단부(174), 상기 시점 판단부(174)에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기에 제공되도록 하는 스위칭부(176)를 포함한다.
또한, 상기 스트리밍 서버(170)는 다시점 비디오 부호화 장치로부터 복수의 향샹 레이어 비트스트림을 수신하여 저장하는 저장부(178)를 더 포함할 수 있다.
상기 스위칭부(176)는 시점 판단부(174)에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 저장부(178) 또는 다시점 비디오 부호화 장치로부터 추출하여 통신 단말기에 제공하는 역할을 수행한다.
도 4는 본 발명에 따른 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기의 구성을 개략적으로 나타낸 블럭도이다.
도 4를 참조하면, 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기(200)는 통신부(202), 입력부(204), 저장부(206), 출력부(208), 인코딩된 비트스트림을 디코딩하는 디코딩부(210), 서비스 요청부(214)를 포함한다.
상기 디코딩부(210)는 방송망을 통해 수신된 기본 레이어의 비트스트림을 디 코딩하여 출력하는 중에 통신망을 통해 향상 레이어의 비트스트림이 수신된 경우 향상 레이어의 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩한다.
상기 디코딩부(210)는 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하는 기본 레이어 디코딩부(211), 통신망을 통해 수신된 향상 레이어의 비트스트림을 상기 기본 레이어 디코딩부(211)에서 디코딩된 정보를 이용하여 디코딩하는 향상 레이어 디코딩부(212)로 구성된다.
상기 서비스 요청부(214)는 상기 입력부(204)를 통해 다른 시점의 동영상이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 상기 통신부(202)를 통해 다시점 비디오 전송 시스템으로 전송한다.
상기 서비스 요청부(214)에 의해 요청된 동영상은 통신부(202)를 통해 수신하여 상기 디코딩부(210)에 의해 디코딩되어 출력부에 출력된다.
도 5는 본 발명에 따른 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 다시점 비디오 부호화 장치는 복수의 촬영수단에 의해 촬영된 다시점 동영상이 수신되면(S500), 상기 수신된 다시점 동영상중에서 기본 동영상을 기본 레이어 비트스트림으로 부호화한다(S502).
그런 다음 상기 다시점 비디오 부호화 장치는 다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림 으로 부호화한다(S504).
상기 부호화된 향상 레이어의 비트스트림에는 기본 레이어의 움지임 벡터 정보의 사용 여부를 나타내는 플래그, 기본 레이어의 인트라 블록 타입을 예측 정보로 이용하는지 여부를 나타내는 플래그, 기본 레이어의 차분 영상값의 이용 여부에 대한 플래그, 시점 정보 등이 설정되어 있다.
상기 기본 레이어 비트스트림은 방송망을 통해 통신 단말기에 제공되고, 향상 레이어 비트스트림은 통신망을 통해 통신 단말기에 제공된다.
도 6은 본 발명에 따른 다시점 동영상을 통신 단말기에 제공하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 방송 서버는 다시점 비디오 부호화 장치에서 부호화된 기본 레이어의 비트스트림을 방송망을 통해 통신 단말기로 제공한다(S600).
상기 다시점 비디오 부호화 장치는 기본 레이어로 부호화된 비트스트림을 상기 방송 서버에 제공하고, 향상 레이어로 부호화된 비스스트림을 스트리밍 서버에 제공한다.
상기 S600이 수행되면, 상기 통신 단말기는 상기 방송 서버로부터의 기본 레이어 비트스트림을 디코딩하여 출력한다(S602).
방송망을 통해 동영상을 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되면(S604), 상기 통신 단말기는 해당 시점 정보를 포함하는 동영상 요청 메시지를 스트리밍 서버로 전송한다(S606).
즉, 통신 단말기 사용자가 방송망을 통한 동영상을 시청하는 중에 다른 시점의 동영상을 원하여 통신망을 통해 다른 시점을 선택하면, 상기 통신 단말기는 상기 사용자에 의해 선택된 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 상기 스트리밍 서버로 전송한다.
상기 스트리밍 서버는 상기 통신 단말기로부터 동영상 요청 메시지가 수신되면(S608), 동영상 요청에 따라 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기에 제공한다(S610).
즉, 상기 스트리밍 서버는 통신 단말기로부터 동영상 요청 메시지가 수신되면, 상기 메시지를 분석하여 시점 정보를 추출하고, 상기 추출된 시점 정보에 해당하는 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기에 제공한다.
그러면, 상기 통신 단말기는 상기 스트리밍 서버로부터 전송된 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력한다(S612).
도 7은 본 발명에 따른 스트리밍 서버가 통신 단말기에 향상 레이어 비트스트림을 제공하는 방법을 나타낸 흐름도이다.
도 7을 참조하면, 스트리밍 서버는 다시점 비디오 부호화 장치로부터 복수의 향상 레이어 비스스트림을 수신하여 저장한다(S700).
그런다음 상기 스트리밍 서버는 통신 단말기로부터 시점 정보가 포함된 동영 상 요청 메시지가 수신되면(S702), 상기 동영상 요청 메시지를 분석하여 해당 시점을 판단한다(S704).
그런 다음 상기 스트리밍 서버는 상기 저장된 향상 레이어 비트스트림중에서 상기 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기로 전송한다(S706).
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상과 같이 본 발명에 따른 다시점 비디오의 송수신 시스템 및 방법은 방송망을 통해 동영상을 시청하는 중에 사용자가 다른 시점의 동영상 시청을 원하는 경우 통신망을 통해 추가 동영상 정보를 전송하여 사용자가 원하는 시점의 동영상을 시청할 수 있도록 하는 기술에 이용할 수 있다.
도 1은 본 발명에 따른 다시점 비디오의 송수신 시스템을 나타낸 도면.
도 2는 본 발명에 따른 다시점 비디오 부호화 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 스트리밍 서버의 구성을 개략적으로 나타낸 블럭도.
도 4는 본 발명에 따른 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기의 구성을 개략적으로 나타낸 블럭도.
도 5는 본 발명에 따른 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법을 나타낸 흐름도.
도 6은 본 발명에 따른 다시점 동영상을 통신 단말기에 제공하는 방법을 나타낸 흐름도.
도 7은 본 발명에 따른 스트리밍 서버가 통신 단말기에 향상 레이어 비트스트림을 제공하는 방법을 나타낸 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
100 ; 다시점 비디오 전송 시스템 120 : 다시점 비디오 부호화 장치
122 : 기본 레이어(base layer) 부호화부
124 : 향상 레이어(enhancement layer) 부호화부
150 : 방송 서버 170 : 스트리밍 서버
172, 202 : 통신부 174 : 시점 판단부
176 : 스위칭부 178, 206 : 저장부
200 : 통신 단말기 204 : 입력부
208 : 출력부 210 : 디코딩부
211 : 기본 레이어(base layer) 디코딩부
212 : 향상 레이어(enhancement layer) 디코딩부
214 : 서비스 요청부

Claims (25)

  1. 방송망을 통해 수신된 기본 레이어의 동영상을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하여 해당 시점의 향상 레이어 비트스트림을 수신하고, 그 향상 레이어 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 통신 단말기;및
    복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본 레이어로 부호화하여 방송망을 통해 통신 단말기로 제공하며, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하여 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기로 제공하는 다시점 비디오 전송 시스템;
    을 포함하는 다시점 비디오의 송수신 시스템.
  2. 제1항에 있어서,
    상기 통신 단말기는 통신망을 통해 동영상이 수신된 경우 방송망을 통한 동영상을 통신망을 통한 동영상으로 전환하는 것을 특징으로 하는 다시점 비디오의 송수신 시스템.
  3. 제1항에 있어서,
    상기 통신 단말기는 방송망을 통한 동영상과 통신망을 통한 동영상을 PIP 또는 POP로 출력하는 것을 특징으로 하는 다시점 비디오의 송수신 시스템.
  4. 다시점 비디오 전송 시스템에 있어서,
    복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어로 부호화하고, 다른 시점의 동영상에 대해 상기 기본 레이어의 부호화 정보를 이용하여 향상 레이어 비트스트림으로 부호화하는 다시점 비디오 부호화 장치;
    상기 다시점 비디오 부호화 장치에서 부호화된 기본 동영상을 방송망을 통해 통신 단말기에 제공하는 방송 서버;및
    통신망을 통해 통신 단말기로부터 동영상 요청 메시지가 수신되는 경우, 상기 다시점 비디오 부호화 장치에서 부호화된 향상 레이어의 비트스트림중에서 해당 시점의 비트스트림을 선택하여 상기 통신 단말기로 제공하는 스트리밍 서버;
    를 포함하는 다시점 비디오 전송 시스템.
  5. 제4항에 있어서,
    상기 동영상 요청 메시지는 통신 단말기 사용자에 의해 선택된 시점 정보를 포함하는 것을 특징으로 하는 다시점 비디오 전송 시스템.
  6. 제4항에 있어서,
    상기 다시점 비디오 부호화 장치에서 부호화된 각 향상 레이어의 비트스트림은 시점 정보를 포함하는 것을 특징으로 하는 다시점 비디오 전송 시스템.
  7. 제4항에 있어서,
    상기 다시점 비디오 부호화 장치는 MPEG-2의 경우 MPEG-2 MVP의 2레이어 구조로 각 시점에 대한 압축을 수행하고, H.264의 경우 SVC의 2 레이어 구조로 각 시점에 대한 압축을 수행하는 것을 특징으로 하는 다시점 비디오 전송 시스템.
  8. 다시점 비디오 부호화 장치에 있어서,
    복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어로 부호화하는 기본 레이어 부호화부;및
    다른 시점의 동영상에 대해 상기 기본 레이어 부호화부에서 부호화된 기본 레이어의 부호화 정보를 이용하여 향상 레이어의 비트스트림으로 부호화하는 복수의 향상 레이어 부호화부;
    를 포함하는 다시점 비디오 부호화 장치.
  9. 제8항에 있어서,
    상기 향상 레이어 부호화부는 각 향상 레이어의 비트스트림에 기본 레이어의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 기본 레이어의 인트라 블록 타입을 예측 정보로 이용하는지 여부를 나타내는 플래그, 기본 레이어의 차분 영상값 의 이용 여부에 대한 플래그를 각각 설정하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  10. 제8항에 있어서,
    상기 향상 레이어 부호화부는 다른 시점의 동영상에 대해 기본 레이어의 동영상에 대해 중복성을 제거하여 부호화하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  11. 제8항에 있어서,
    상기 향상 레이어 부호화부는 부호화된 각 향상 레이어의 비트스트림에 시점 정보를 설정하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  12. 통신망을 통해 통신 단말기와의 통신을 위한 통신부;
    상기 통신부를 통해 통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 메시지를 분석하여 해당 시점을 판단하는 시점 판단부;및
    상기 시점 판단부에서 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기에 제공되도록 하는 스위칭부;
    를 포함하는 스트리밍 서버.
  13. 제12항에 있어서,
    다시점 비디오 부호화 장치로부터 복수의 향샹 레이어 비트스트림을 수신하여 저장하는 저장부를 더 포함하는 스트리밍 서버.
  14. 제12항에 있어서,
    상기 스위칭부는 저장부 또는 다시점 비디오 부호화 장치로부터 해당 향상 레이어 비트스트림을 추출하여 상기 통신 단말기에 제공하는 것을 특징으로 하는 스트리밍 서버.
  15. 통신부, 입력부 및 출력부가 구비되어 방송망 및 통신망을 이용하여 다시점 동영상을 출력하는 통신 단말기에 있어서,
    상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통해 향상 레이어의 비트스트림이 수신된 경우 향상 레이어의 비트스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하는 디코딩부;
    상기 입력부를 통해 다른 시점의 동영상이 요청되는 경우, 해당 시점 정보를 포함하는 동영상 요청 메시지를 생성하여 상기 통신부를 통해 다시점 비디오 전송 시스템으로 전송하는 서비스 요청부;
    를 포함하는 통신 단말기.
  16. 제15항에 있어서,
    상기 디코딩부는,
    상기 방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하는 기본 레이어 디코딩부;
    상기 통신망을 통해 수신된 수신된 향상 레이어의 비트스트림을 상기 기본 레이어 디코딩부에서 디코딩된 정보를 이용하여 디코딩하는 향상 레이어 디코딩부;를 포함하는 것을 특징으로 하는 통신 단말기.
  17. (a)다시점 비디오 부호화 장치에서 복수의 촬영수단에 의해 촬영된 동영상중에서 기본 동영상을 기본 레이어로 부호화하고, 다른 시점의 동영상을 상기 기본 레이어의 부호화 정보를 이용한 향상 레이어 비트스트림으로 부호화하는 단계;
    (b)방송 서버가 상기 다시점 비디오 부호화 장치에서 부호화된 기본 레이어의 비트스트림을 방송망을 통해 통신 단말기로 제공하는 단계;
    (c)상기 통신 단말기에서, 상기 방송 서버로부터의 기본 레이어 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 스트리밍 서버로 전송하는 단계;
    (d)상기 스트리밍 서버가 상기 통신 단말기로부터의 동영상 요청에 따라 해당 시점의 향상 레이어 비트스트림을 선택하여 통신망을 통해 상기 통신 단말기에 제공하는 단계;
    (e)상기 통신 단말기가 상기 스트리밍 서버로부터 전송된 향상 레이어 비트 스트림을 상기 기본 레이어의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계;
    를 포함하는 다시점 비디오의 송수신 방법.
  18. 제17항에 있어서,
    상기 (a)단계에서, 다시점 비디오 부호화 장치는 기본 레이어로 부호화된 비트스트림을 상기 방송 서버로 제공하고, 향상레이어로 부호화된 비스스트림을 상기 스트리밍 서버로 제공하는 것을 특징으로 하는 다시점 비디오의 송수신 방법.
  19. 제17항에 있어서,
    상기 (a)단계에서 부호화된 향상 레이어 비트스트림은 시점 정보를 포함하는 것을 특징으로 하는 다시점 비디오의 송수신 방법.
  20. 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 방법에 있어서,
    복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어 비트스트림으로 부호화하는 단계;
    다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 단계;
    를 포함하는 다시점 비디오의 부호화 방법.
  21. 다시점 비디오 부호화 장치로부터 복수의 향상 레이어 비스스트림을 수신하 여 저장하는 단계;
    통신 단말기로부터 시점 정보가 포함된 동영상 요청 메시지가 수신되는 경우, 상기 메시지를 분석하여 해당 시점을 판단하는 단계;및
    상기 저장된 향상 레이어 비트스트림중에서 상기 판단된 시점에 해당하는 향상 레이어 비트스트림을 선택하여 상기 통신 단말기로 전송하는 단계;
    를 포함하는 다시점 비디오의 통신망을 통한 송신 방법.
  22. (a)방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 중에 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해당 시점 정보를 포함하는 동영상 요청 메시지를 다시점 비디오 전송 시스템으로 전송하는 단계;
    (b)상기 다시점 비디오 전송 시스템으로부터 요청된 시점에 해당하는 향상 레이어의 비트스트림이 수신되는 경우, 그 향상 레이어의 비트스트림을 상기 기본 레이어 비트스트림의 디코딩 정보를 이용하여 디코딩하여 출력하는 단계;
    를 포함하는 다시점 비디오의 수신 방법.
  23. 제22항에 있어서,
    상기 (a)단계는,
    방송망을 통해 수신된 기본 레이어의 비트스트림을 디코딩하여 출력하는 단계;
    사용자에 의해 통신망을 통한 다른 시점의 동영상 출력이 요청되는 경우 해 당 시점을 판단하는 단계;
    상기 판단된 시점을 포함하는 동영상 요청 메시지를 생성하여 상기 다시점 비디오 전송 시스템을 전송하는 단계;를 포함하는 다시점 비디오의 수신 방법.
  24. 제22항에 있어서,
    상기 (b)단계에서,
    상기 디코딩된 향상 레이어의 비트스트림은 PIP, POP, 전체 화면중 적어도 하나의 방법에 의해 출력되는 것을 특징으로 하는 다시점 비디오의 수신 방법.
  25. 다시점 비디오 부호화 장치가 다시점 비디오를 부호화하는 프로그램이 기록된 기록매체에 있어서,
    복수의 촬영수단에 의해 촬영된 다시점 동영상중에서 기본 동영상을 기본 레이어 비트스트림으로 부호화하는 단계;및
    다른 시점의 동영상에 대해 상기 기본 레이어 비트스트림의 부호화 정보를 이용하여 향상 레이어의 비스트스트림으로 부호화하는 단계;
    를 포함하는 프로그램이 기록된 기록매체.
KR1020080087620A 2008-09-05 2008-09-05 다시점 비디오의 송수신 시스템 및 방법 KR101012760B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080087620A KR101012760B1 (ko) 2008-09-05 2008-09-05 다시점 비디오의 송수신 시스템 및 방법
PCT/KR2009/003190 WO2010027142A2 (ko) 2008-09-05 2009-06-15 다시점 비디오의 송수신 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080087620A KR101012760B1 (ko) 2008-09-05 2008-09-05 다시점 비디오의 송수신 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20100028749A true KR20100028749A (ko) 2010-03-15
KR101012760B1 KR101012760B1 (ko) 2011-02-08

Family

ID=41797607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080087620A KR101012760B1 (ko) 2008-09-05 2008-09-05 다시점 비디오의 송수신 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101012760B1 (ko)
WO (1) WO2010027142A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157817A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077616A1 (zh) * 2022-10-14 2024-04-18 Oppo广东移动通信有限公司 编解码方法、装置、设备、及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
MY159176A (en) * 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157817A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
WO2010027142A2 (ko) 2010-03-11
KR101012760B1 (ko) 2011-02-08
WO2010027142A3 (ko) 2010-04-29

Similar Documents

Publication Publication Date Title
US10681378B2 (en) Method for encoding and decoding video including plurality of layers
JP5072996B2 (ja) 三次元ビデオ符号化に関するシステム及び方法
JP6756919B2 (ja) 復号装置及び復号方法
JP2012500564A (ja) 洗練された奥行きマップ
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
US20180352248A1 (en) Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CN112997502A (zh) 编码装置、解码装置、编码方法和解码方法
WO2019013236A1 (ja) 符号化装置、符号化方法、復号装置及び復号方法
KR20150043218A (ko) 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
JP2020202597A (ja) 復号装置及び復号方法
KR20160138129A (ko) 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법.
JP2020198655A (ja) 復号装置及び復号方法
US11297329B2 (en) Image encoding method, transmission method, and image encoder
KR20170019362A (ko) 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법
KR101012760B1 (ko) 다시점 비디오의 송수신 시스템 및 방법
Hewage et al. A novel frame concealment method for depth maps using corresponding colour motion vectors
US10375412B2 (en) Multi-layer video encoding method and apparatus, and multi-layer video decoding method and apparatus
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
WO2022050166A1 (ja) 再生装置、送信装置、再生方法、及び、送信方法
Favalli et al. ILPS: a scalable multiple description coding scheme for H. 264
CN114514745B (zh) 视频信号发送方法、装置、计算机设备及存储介质
Kumarganesh et al. Efficient medical data and medical video compression using HEVC standard
Lim et al. Motion/disparity compensated multiview sequence coding
Kim et al. Comparisons of mobile TV standards and development of 3D mobile TV based on DMB
Oh et al. Scalable stereo video coding for heterogeneous environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180123

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 10