KR20040090523A - Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기위한 인터넷 방송 시스템 및 그 방법 - Google Patents

Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기위한 인터넷 방송 시스템 및 그 방법 Download PDF

Info

Publication number
KR20040090523A
KR20040090523A KR1020030024292A KR20030024292A KR20040090523A KR 20040090523 A KR20040090523 A KR 20040090523A KR 1020030024292 A KR1020030024292 A KR 1020030024292A KR 20030024292 A KR20030024292 A KR 20030024292A KR 20040090523 A KR20040090523 A KR 20040090523A
Authority
KR
South Korea
Prior art keywords
video
field
encoding
mpeg
binocular
Prior art date
Application number
KR1020030024292A
Other languages
English (en)
Other versions
KR100556826B1 (ko
Inventor
윤국진
조숙희
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030024292A priority Critical patent/KR100556826B1/ko
Priority to US10/553,667 priority patent/US7782937B2/en
Priority to PCT/KR2004/000871 priority patent/WO2004093459A1/en
Priority to CNB2004800158630A priority patent/CN100473157C/zh
Priority to EP04727444A priority patent/EP1616441A1/en
Publication of KR20040090523A publication Critical patent/KR20040090523A/ko
Application granted granted Critical
Publication of KR100556826B1 publication Critical patent/KR100556826B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 인터넷을 통해 MPEG-4 기반의 양안식 3차원 동영상(stereoscopic video)을 인터넷 사용자에게 제공하는 시스템 및 그 방법에 관한 것이다.
2. 발명이 해결하고자 하는 기술적 과제
본 발명은 멀티미디어 데이터를 MPEG-4 TS(Temporal Scalability) 구조를 이용하여 부호화하고 다중화함으로써 양안식 3차원 동영상 인터넷 방송을 제공하기 위한 시스템 및 그 방법을 제공하는데 목적이 있다.
3. 발명의 해결방법의 요지
본 발명은 MPEG-4 TS 구조로 부호화된 동영상 데이터를 클라이언트에 인터넷 방송하는 시스템으로서, 양안식 3차원 비디오데이터, 오디오데이터 및 컨텐츠 제어정보인 OD/BIFS를 입력받아 MPEG-4의 부호화스트림(ES)으로 부호화하는 인코딩서버, 상기 클라이언트로부터 디스플레이 방식을 입력받는 웹서버 및 상기 웹서버로부터 디스플레이방식을 입력받아 상기 인코딩서버에 의해 부호화된 부호화스트림(ES)을 다중화하여 인터넷 실시간 전송(RTP) 패킷을 생성하고, 상기 클라이언트에 전송하는 스트리밍서버를 포함한다.
4. 발명의 중요한 용도
본 발명은 인터넷 방송 시스템에 사용됨.

Description

ＭＰＥＧ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법{System and Method of Internet Broadcasting for MPEG4 based Stereoscopic Video}
본 발명은 인터넷 방송 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 인터넷을 통해 MPEG-4 기반의 양안식 3차원 동영상(stereoscopic video)을 인터넷 사용자에게 제공하는 시스템 및 그 방법에 관한 것이다.
양안식 3차원 동영상이란 좌영상 데이터와 우영상 데이터를 입력받아 이를 번갈아 출력함으로써 2차원 평면에서 입체적 원근 효과를 내는 동영상을 가리킨다.
최근 인터넷의 발달과 함께 교육, 문화, 시사 등의 다양한 멀티미디어 데이터가 인터넷 사용자에게 제공되고 있다. 따라서 인터넷 사용자는 인터넷에 접속된 클라이언트만 구비하면, 원하는 장소에서 원하는 시간에 원하는 멀티미디어 데이터를 시청할 수 있다.
일반적으로 인터넷 방송 시스템은 멀티미디어 데이터를 일정 규약에 따라 부호화하는 인코딩서버와 멀티미디어 데이터를 전송하는 스트리밍 서버 및 전송된 멀티미디어 데이터를 출력하는 클라이언트로 구성된다.
도 1은 종래의 2차원 동영상 인터넷 방송 시스템의 전체 구성도이다. 도시된 바와 같이 비디오 카메라 등의 비디오/오디오 입력장치(10)로부터 입력된 비디오데이터 및 오디오데이터는 인코딩서버(20)를 거쳐 부호화되어 압축된다. 일반적인 2차원 동영상을 제공하는 인터넷 방송 시스템에서는 부호화 규약으로 MPEG-1 또는 MPEG-2를 사용한다.
MPEG(Motion Picture Experts Group)이란 동영상 부호화방법의 표준 정립을 목적으로 규합한 동화상 전문가 그룹으로서, 시간에 따라 연속적으로 변화하는 동영상 압축과 코드 표현을 통해 정보의 전송을 가능하게 하는 방법에 관하여 연구하는 단체이다. MPEG 에 의해서 국제적인 부호화 표준이 제안되고 있으며, 현재 이러한 표준에 근거하여 인터넷 방송이 이루어지고 있다. 특히, MPEG-1 및 MPEG-2 는 용량이 큰 멀티미디어 데이터를 효율적으로 압축하여 저장매체에 저장하거나 데이터를 전송하는데 사용되는 국제 표준이다.
스트리밍서버(30)는 상술한 규약에 의해 부호화된 멀티미디어 데이터를 인터넷(40)을 통해 클라이언트(50)에 전송하고, 클라이언트(50)는 상기 멀티미디어 데이터를 전송받아 복호화하고, 순서에 따라 출력한다. 클라이언트(50)가 상기 멀티미디어 데이터를 출력하기 위해서는 필수적으로 코덱(codec)을 내장한 플레이어를 구비해야 한다.
한편, 기존의 부호화 방식 및 인터넷 방송 시스템을 이용하여 양안식 3차원 동영상 데이터를 전송하는데는 여러 가지 문제가 발생할 수 있다. 즉, 양안식 3차원 동영상 데이터를 인터넷을 통해 클라이언트에 전송하기 위해서는 좌영상과 우영상을 별도로 인코딩해야 하기 때문에 2배 이상의 데이터가 요구되고, 데이터 용량이 커질수록 전송 트래픽이 가중되기 때문에 전송 에러 확률이 높아질 수 있다. 더욱이 클라이언트는 전송된 좌영상과 우영상을 구별하여 복호화하고, 시간동기를 맞추어 출력해야 하는 어려움이 있다. 만약 좌영상과 우영상이 번갈아 출력되지 않는다면 입체적 효과를 기대하기 어렵고 오히려 시청자의 육안 피로만을 가중시킬 수 있다.
따라서, 양안식 3차원 동영상을 인터넷 방송하기 위해서는 기존의 부호화 방식이 아닌 새로운 부호화 방식이 요구되고, 이에 부합하는 인터넷 방송 시스템 및 그 방법이 절실히 요구된다.
본 발명은 상술한 요구에 부응하기 위해 창안된 것으로서, 멀티미디어 데이터를 MPEG-4 TS(Temporal Scalability) 구조를 이용하여 부호화하고 다중화함으로써 양안식 3차원 동영상 인터넷 방송을 제공하기 위한 시스템 및 그 방법을 제공하는데 목적이 있다.
또한 본 발명은 인터넷 사용자 요구에 따라 기존의 2차원 동영상 인터넷 방송도 가능하게 하는 인터넷 방송 시스템 및 그 방법을 제공하는데 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.
도 1은 종래의 인터넷 방송 시스템의 전체 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 인터넷 방송 시스템의 전체 구성도,
도 3은 도 2의 인코딩서버의 세부 구성도,
도 4는 도 3의 부호화부의 세부 구성도,
도 5는 본 발명의 바람직한 실시예에 따라 MPEG-4 TS 구조의 각층에 입력되는 비디오 데이터를 나타내는 도면,
도 6은 도 3의 MP4 파일생성부의 세부 구성도,
도 7a 및 도7b는 생성된 MP4 파일의 ES 배열구조를 예시한 도면,
도 8은 도 2의 스트리밍서버의 세부 구성도,
도 9는 스트리밍서버에서의 패킷 변환과정을 설명하기 위한 도면이다.
<도면의 주요 참조부호에 대한 설명>
100 : 비디오/오디오 입력장치 200 : 인코딩서버
300 : 스트리밍서버 400 : 웹서버
600 : 클라이언트 210 : 부호화부
220 : 부호화파라메타부 230 : MP4파일생성부
240 : 스토리지 310 : MP4파일분석모듈
320 : SL패킷생성모듈 330 : FlexMux패킷생성모듈
340 : RTP패킷생성모듈
상기와 같은 목적을 달성하기 위한 본 발명은 MPEG-4 TS 구조로 부호화된 동영상 데이터를 클라이언트에 인터넷 방송하는 시스템으로서, 양안식 3차원 비디오 데이터, 오디오데이터 및 컨텐츠 제어정보인 OD/BIFS를 입력받아 MPEG-4의 부호화스트림(ES)으로 부호화하는 인코딩서버, 상기 클라이언트로부터 디스플레이 방식을 입력받는 웹서버 및 상기 웹서버로부터 디스플레이방식을 입력받아 상기 인코딩서버에 의해 부호화된 부호화스트림(ES)을 다중화하여 인터넷 실시간 전송(RTP) 패킷을 생성하고, 상기 클라이언트에 전송하는 스트리밍서버를 포함한다.
또한, 상기와 같은 목적을 달성하기 위한 본 발명은 MPEG-4 TS 구조로 부호화된 동영상 데이터를 클라이언트에 인터넷 방송하는 방법으로서, 양안식 3차원 비디오데이터, 오디오데이터 및 컨텐츠 제어정보인 OD/BIFS를 입력받아 MPEG-4 부호화스트림(ES)으로 부호화하는 제1단계, 상기 클라이언트로부터 디스플레이 방식을 입력받는 제2단계 및 상기 디스플레이 방식에 근거하여 제1단계에서 부호화된 부호화스트림(ES)을 다중화하여 인터넷 실시간 전송(RTP) 패킷을 생성하고, 상기 클라이언트에 전송하는 제3단계를 포함한다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 2는 본 발명의 바람직한 실시예에 따라 MPEG-4 기반의 양안식 3차원 동영상 인터넷 방송 시스템의 전체 구성도이다. 도면을 참조하면, 양안식 3차원 카메라 또는 VTR 등의 비디오/오디오 입력장치(100)로부터 획득된 멀티미디어 데이터(양안식 3차원 비디오데이터 및 오디오데이터) 및 컨텐츠 제어정보인 OD/BIFS 데이터가 인코딩서버(200)에 입력되고, 인코딩서버(200)는 입력된 신호를 MPEG-4 기반으로 부호화한다. 인코딩서버(200)에 의해 부호화된 부호화스트림(elementary stream, ES)은 스트리밍서버(300)에 전달된다.
양안식 3차원 동영상을 부호화하기 위한 방법으로 본 발명은 MPEG-4 TS 구조를 사용한다. MPEG-4 TS 구조란 입력된 좌영상을 기저층(base layer)에, 우영상을 상위층(enhancement layer)에 할당하고, 기저층은 일반적인 2차원 동영상을 부호화하는 방식과 동일하게 부호화하고, 상위층은 기저층의 영상과 중복된 부분에 대해서 기저층의 영상정보를 참조하여 우영상을 부호화한 구조를 말한다.
한편, 웹서버(400)는 클라이언트(600)로부터 원하는 컨텐츠 및 디스플레이 방식을 백채널을 통하여 입력받아 스트리밍서버(300)에 전달한다.
스트리밍서버(300)는 인터넷 사용자가 원하는 컨텐츠에 대해서 사용자가 원하는 디스플레이 방식으로 ES를 다중화하여 인터넷(500)을 통해 클라이언트(600)에 전송하고, 클라이언트(600)는 전송된 데이터를 순서대로 복호화하여 디스플레이한다. 클라이언트(600)가 멀티미디어 데이터를 출력하기 위해서는 필수적으로 코덱(codec)을 내장한 플레이어가 요구된다.
도 3은 도 2의 인코딩서버의 세부 구성도이다. 도면을 참조하면, 인코딩서버(200)는 부호화부(210), 부호화파라메타부(220), 부호화된 ES를 이용하여 MP4 파일을 생성하는 MP4파일생성부(230) 및 MP4 파일을 저장하는 스토리지(240)를 포함한다.
부호화파라메타부(220)는 입력된 양안식 3차원 비디오를 부호화하기 위한 정보를 제공하는 것으로서 이미지크기, 부호화할 프레임수, 프레임율, 움직임 탐색 크기, 전송비트율, 초기 양자화 계수 등의 부호화 파라미터를 설정하여 부호화부(210)에 입력한다.
부호화부(210)는 입력된 양안식 3차원 비디오데이터와 오디오데이터를 MPEG-4 TS 구조 및 MPEG-4 오디오 코덱으로 부호화하는 수단으로서 도 4에 세부 모듈이 도시되어 있다.
도 4를 참조하면, 부호화부(210)는 양안식 3차원 비디오데이터를 부호화하는 비디오부호화모듈(212), ESI 정보생성모듈(216), 오디오데이터를 부호화하는 오디오부호화모듈(218) 및 OD/BIFS 데이터를 부호화하는 OD/BIFS 부호화모듈(219)을 포함한다.
OD/BIFS 부호화모듈(219)은 오디오 및 장면 기술을 위한 BIFS(Binary Format For Scene)와 각 미디어 스트림 관계를 정의한 OD(Object Descriptor)의 부호화를 수행한다.
ESI 정보생성모듈(216)은 후술하는 SL(Sync Layer) 패킷의 헤더정보에 포함되는 ES 데이터 길이, 아이들 플래그(Idle flag), AU(Access Unit) 길이 등의 ES 전송 및 복호화에 필요한 부가정보를 생성한다.
비디오부호화모듈(212)은 입력되는 양안식 3차원 비디오데이터를 좌영상 기수필드, 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드로 구분하는 필드분리모듈(213)과 분리된 좌영상 기수필드를 부호화하는 기저층(Base Layer) 부호화모듈(214) 및 분리된 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드를 부호화하는 상위층(Enhancement Layer) 부호화모듈(215)로 구성된다.
도 5는 필드분리모듈에 의해 분리된 각 필드가 MPEG-4 TS 구조의 각층에 입력되는 데이터를 도시한 도면이다.
도시된 바와 같이 기저층에는 좌영상 기수필드가 입력되고, 제1상위층에는 좌영상 우수필드, 제2상위층에는 우영상 기수필드, 제3상위층에는 우영상 우수필드가 각각 입력되어 부호화된다.
도 6은 도 3의 MP4 파일생성부(230)의 세부 구성도이다. 도면을 참조하면, 부호화부(210)로부터 비디오/오디오 ES, OD/BIFS ES 및 ESI 정보를 입력받는 MP4 파일생성부(230)는 미디어데이터제공모듈(232), 메타데이터제공모듈(234) 및 MP4파일생성모듈(236)을 포함한다.
미디어데이터제공모듈(232)은 필드 단위로 부호화된 비디오 ES, 오디오 ES 및 OD/BIFS ES를 입력받는 버퍼로서 상기 부호화스트림(ES)을 MP4 파일생성모듈(236)에 전달한다.
메타데이터제공모듈(234)은 부호화부(210)에서 전달된 ESI 정보를 입력받는 버퍼로써 상기 ESI 정보를 메타데이터로서 MP4 파일생성모듈(236)에 전달한다.
MP4파일생성모듈(236)은 입력된 ES 와 메타데이터를 MP4 파일 포맷으로 생성한다. 이는 부호화부로부터 출력되는 부호화 스트림의 미디어 데이터 및 각 미디어 데이터에 대한 부가정보를 입력받아 사용자가 요구하는 디스플레이 방식에 대응하는 부호화 스트림만을 추출하여 전송하는데 용이한 포맷의 파일을 생성하여 저장한다
MP4 파일은 파일정보가 저장되는 메타데이터영역과 ES 가 저장되는 mdata Atom 영역으로 나뉘어진다. 이 때 mdata Atom 영역에 저장되는 ES 는 적절한ES_ID 가 부여되어 부호화된 ES를 구별한다.
도 7a는 양안식 3차원 동영상에 대하여 좌우 영상의 4개 필드영상 단위로 입력되는 부호화 스트림에 대하여 4개의 ES_ID를 부여하여 미디어 데이터가 저장되는 mdata Atom에서의 양안식 3차원 동영상의 ES 배열 구조를 예시하고, 도 7b는 양안식 3차원 동영상에 대하여 좌우 영상의 4개 필드영상 단위로 입력되는 부호화 스트림에 대하여 같은 시간정보를 갖는 필드영상 단위에서 순차적으로 다중화하여 1개의 ES_ID를 부여하여 미디어 데이터가 저장되는 mdata Atom에서의 양안식 3차원 동영상의 ES 배열 구조를 예시한다.
상술한 과정을 통하여 생성된 MP4 파일은 스토리지(240)에 저장되고 스트리밍서버(300)에 의해 추출될 수 있다.
도 8은 도 2의 스트리밍서버의 세부 구성도이다. 도면을 참조하면, 스트리밍서버(300)는 스토리지(240)에 저장된 MP4 파일을 추출하거나 부호화부(210)에 의해 부호화된 ES 및 ESI 정보를 입력받아 사용자 요구에 부합하는 RTP 패킷을 생성하고, 클라이언트(600)에 전송한다.
사용자 요구에 부합하는 RTP 패킷을 생성하기 위해서는 사용자가 요구하는 디스플레이 방식이 스트리밍서버(300)에 입력되어야 한다. 따라서 사용자가 요구하는 디스플레이 방식은 클라이언트(600)로부터 웹서버(400)에 입력되고, 스트리밍서버(300)에 전달된다.
본 발명에 따른 인터넷 방송 시스템은 좌영상 기수필드, 좌영상 우수필드,우영상 기수필드 및 우영상 우수필드 별로 부호화되기 때문에 디스플레이 방식으로서 기존의 2차원 동영상, 필드셔터링 방식의 3차원 동영상 또는 프레임 셔터링 방식의 3차원 동영상 지원이 가능하다.
예를 들어, 사용자가 기존의 2차원 동영상으로 디스플레이 하고자 하면 스트리밍서버(300)는 좌영상 기수필드 및 우수필드 스트림만을 전송하고, 필드셔터팅 방식의 3차원 동영상 디스플레이를 원하는 경우는 좌영상 기수필드 스트림과 우영상 우수필드 스트림만을 추출하여 전송한다.
마찬가지로 사용자가 프레임 셔터링 방식의 3차원 동영상 디스플레이를 원하는 경우에는 모든 필드의 스트림을 전송한다.
디스플레이 방식에 대한 사용자 요구가 웹서버(400)를 통하여 MP4 파일분석모듈(310)에 입력되면 MP4파일분석모듈(310)은 스토리지(240)에 저장된 MP4파일로부터 필요한 AU 스트림 및 ESI 정보를 추출한다. 이 때 MP4파일분석모듈(310)은 AU 스트림 및 ESI 정보를 부호화부(210)로부터 실시간으로 입력받는 것도 가능하다.
MP4파일분석모듈(310)에 의해서 사용자 요구에 따른 AU 스트림 및 ESI 정보가 추출되면 SL 패킷생성모듈(320)은 추출된 AU 스트림에 대해서 헤더와 페이로드(payload)로 구성된 SL 패킷을 생성한다. SL 패킷의 헤더는 각 패킷에 대한 동기 정보로서 데이터 손실시 연속성을 체크하기 위해 사용되며 타임스탬프 등의 시간동기 조정을 위한 관련정보를 포함한다. SL 패킷의 페이로드는 헤더 뒤에이어지는 유효 정보로서 MP4파일분석모듈(310)에 의해 추출된 각 AU 스트림을 포함한다.
생성된 SL 패킷은 FlexMux 패킷생성모듈(330)에 입력되고, FlexMux 패킷생성모듈(330)은 SL 패킷에 패킷의 타입을 정의하는 헤더를 첨가하여 FlexMux 패킷을 생성한다. 패킷의 타입이란 전송되는 AU 스트림이 비디오 데이터인지 또는 오디오 데이터인지 여부를 구별할 수 있는 정보를 지칭한다.
생성된 FlexMux 패킷은 RTP 패킷생성모듈(340)에 입력되고, RTP 패킷생성모듈(340)은 실시간으로 인터넷 전송이 가능하도록 RTP 패킷을 생성하여 클라이언트(600)에 전송한다.
RTP 패킷은 인터넷에서 데이터를 실시간으로 전송이 가능하게 하는 트랜스포트층 프로토콜 패킷으로서, FlexMux 패킷에 실시간 전송을 위한 정보를 포함하는 헤더를 첨가함으로써 생성된다.
도 9는 상술한 바와 같이 스트리밍서버(300)에서 AU 스트림이 패킷화되는 과정을 도시한다.
이렇게 생성된 RTP 패킷은 실시간으로 인터넷을 통해 클라이언트(600)에 전송되며, 클라이언트(600)에 장착된 플레이어는 RTP 패킷을 복호화하여 디스플레이한다.
이 때 전송되는 패킷이 필드 셔터링 방식의 3차원 동영상 RTP 패킷인 경우, 플레이어는 좌영상 기수필드 스트림과 우영상 우수필드 스트림을 구분하고 시간동기를 일치시켜 출력하는 것이 아니라, 전송되는 순서에 따라 좌영상 기수필드의스트림과 우영상 우수필드의 스트림을 번갈아 출력함으로써 입체적 원근 효과를 얻을 수 있다. 즉, 스트리밍서버(300)에 의해 다중화된 RTP 패킷은 사용자가 요구하는 디스플레이방식에 따라 필요한 필드 스트림만이 순서대로 패킷화된 것이기 때문에 클라이언트(600)에서 별도의 데이터 처리 없이 양안식 3차원 동영상이 출력될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명의 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법에 따르면 양안식 3차원 동영상 데이터를 효율적으로 부호화함으로써 데이터양을 상당부분 줄일 수 있다. 따라서 데이터 전송 오류가 발생할 확률이 상대적으로 적기 때문에 양안식 3차원 동영상을 실시간으로 인터넷 방송하는 것이 가능하다.
또한, 본 발명에 따른 인터넷 방송 시스템은 인터넷 사용자가 요구하는 디스플레이 방식에 따라 양안식 3차원 동영상 뿐 만 아니라 기존의 2차원 동영상 데이터의 재생도 가능하다.

Claims (14)

  1. 양안식 3차원 동영상 데이터를 클라이언트에 인터넷 방송하는 시스템으로서,
    양안식 3차원 비디오데이터, 오디오데이터 및 컨텐츠 제어정보인 OD/BIFS 데이터를 입력받아 MPEG-4 의 부호화스트림(ES)으로 부호화하는 인코딩서버;
    상기 클라이언트로부터 2차원 동영상 방식, 필드 셔터링 방식 또는 프레임 셔터링 방식 중 어느 하나의 디스플레이 방식을 입력받는 웹서버; 및
    상기 웹서버에 입력된 디스플레이방식에 근거하여 상기 부호화스트림(ES)을 다중화하여 인터넷 실시간 전송(RTP) 패킷을 생성하고, 상기 클라이언트 단말기에 전송하는 스트리밍서버
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  2. 제 1 항에 있어서,
    상기 인코딩서버는
    입력된 신호를 MPEG-4 TS 구조의 부호화스트림(ES)으로 부호화하는 부호화부;
    상기 부호화부로 이미지크기, 부호화할 프레임수 등의 부호화 정보를 제공하는 부호화 파라메타부;
    상기 부호화스트림(ES)에 메타데이터를 추가하여 MP4 파일을 생성하는 MP4 파일생성부; 및
    상기 생성된 MP4 파일을 저장하는 스토리지
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  3. 제 2 항에 있어서,
    상기 부호화부는
    OD/BIFS 데이터를 부호화하는 OD/BIFS부호화모듈;
    오디오데이터를 부호화하는 오디오부호화모듈;
    양안식 3차원 비디오데이터를 부호화하는 비디오부호화모듈; 및
    부호화스트림(ES) 전송 및 복호화에 필요한 부가정보를 생성하는 ESI정보생성모듈
    을 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  4. 제 3 항에 있어서,
    상기 비디오부호화모듈은
    상기 양안식 3차원 비디오데이터에 대하여 좌영상 기수필드, 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드로 분리하는 필드분리모듈;
    상기 좌영상 기수필드를 부호화하는 기저층부호화모듈 및
    상기 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드를 부호화하는 상위층부호화모듈
    을 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  5. 제 4 항에 있어서,
    상기 상위층 부호화모듈은 좌영상 우수필드를 제1상위층에, 우영상 기수필드를 제2상위층에, 우영상 우수필드를 제3상위층에 각각 할당하여 MPEG-4 TS 구조를 이용하여 부호화하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  6. 제 4 항에 있어서,
    MP4파일 생성부는 좌영상 기수필드, 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드의 부호화스트림(ES)에 대하여 1 개의 ES_ID를 부여하여 MP4 파일을 생성하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  7. 제 4 항에 있어서,
    상기 스트리밍서버는
    상기 웹서버로부터 입력된 디스플레이방식이 2차원 동영상 방식인 경우 좌영상 기수필드 및 우수필드에 대한 부호화스트림(ES)을 클라이언트에 전송하고,
    필드 셔터링 방식인 경우 좌영상 기수필드와 우영상 우수필드에 대한 부호화스트림(ES)을 순차적으로 다중화하여 클라이언트에 전송하고,
    프레임 셔터링 방식인 경우 모든 필드에 대한 부호화스트림(ES)을 순차적으로 다중화하여 클라이언트에 전송하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  8. 양안식 3차원 동영상을 클라이언트에 인터넷 방송하는 방법으로서,
    양안식 3차원 비디오데이터, 오디오데이터 및 컨텐츠 제어정보인 OD/BIFS 데이터를 입력받아 MPEG-4 의 부호화스트림(ES)으로 부호화하는 제1단계;
    상기 클라이언트로부터 2차원 동영상 방식, 필드 셔터링 방식 또는 프레임 셔터링 방식 중 어느 하나의 디스플레이 방식을 입력받는 제2단계; 및
    입력된 디스플레이 방식에 근거하여 상기 부호화스트림(ES)을 다중화하여 인터넷 실시간 전송(RTP) 패킷을 생성하고, 상기 클라이언트에 전송하는 제3단계;
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 방법.
  9. 제 8 항에 있어서,
    상기 제1단계는
    양안식 3차원 동영상에 대하여 MPEG-4 TS 구조의 부호화스트림(ES)으로 부호화하는 제4단계;
    상기 부호화스트림(ES)에 대해서 메타데이터를 추가하여 MP4 파일을 생성하는 제5단계 및
    상기 생성된 MP4 파일을 스토리지에 저장하는 제6단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 방법.
  10. 제 9 항에 있어서,
    상기 제4단계는
    OD/BIFS 데이터를 부호화하는 제7단계;
    오디오데이터를 부호화하는 제8단계;
    양안식 3차원 비디오데이터를 부호화하는 제9단계; 및
    상기 부호화스트림(ES) 전송 및 복호화에 필요한 부가정보를 생성하는 제10단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 방법.
  11. 제 10 항에 있어서,
    상기 제9단계는
    상기 양안식 3차원 비디오데이터에 대하여 좌영상 기수필드, 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드로 분리하는 제11단계,
    상기 좌영상 기수필드를 부호화하는 제12단계 및
    상기 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드를 부호화하는 제13단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템.
  12. 제 11 항에 있어서,
    상기 제13단계는 좌영상 우수필드를 제1상위층에, 우영상 기수필드를 제2상위층에, 우영상 우수필드를 제3상위층에 각각 할당하여 MPEG-4 TS 구조를 이용하여 부호화하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 방법.
  13. 제 11 항에 있어서,
    제5단계는 좌영상 기수필드, 좌영상 우수필드, 우영상 기수필드, 우영상 우수필드의 부호화스트림(ES)에 대하여 1 개의 ES_ID를 부여하여 다중화하고 MP4 파일을 생성하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 방법.
  14. 제 11 항에 있어서,
    상기 제3단계는
    제2단계에서 입력된 디스플레이방식이 2차원 동영상 방식인 경우 좌영상 기수필드 및 우수필드에 대한 부호화스트림(ES)을 클라이언트에 전송하고,
    필드 셔터링 방식인 경우 좌영상 기수필드와 우영상 우수필드에 대한 부호화스트림(ES)을 순차적으로 다중화하여 클라이언트에 전송하고,
    프레임 셔터링 방식인 경우 모든 필드에 대한 부호화스트림(ES)을 순차적으로 다중화하여 클라이언트에 전송하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 방법.
KR1020030024292A 2003-04-17 2003-04-17 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법 KR100556826B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020030024292A KR100556826B1 (ko) 2003-04-17 2003-04-17 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US10/553,667 US7782937B2 (en) 2003-04-17 2004-04-14 System and method for internet broadcasting of MPEG-4-based stereoscopic video
PCT/KR2004/000871 WO2004093459A1 (en) 2003-04-17 2004-04-14 System and method for internet broadcasting of mpeg-4-based stereoscopic video
CNB2004800158630A CN100473157C (zh) 2003-04-17 2004-04-14 基于运动图像专家组-4的立体视频因特网广播系统和方法
EP04727444A EP1616441A1 (en) 2003-04-17 2004-04-14 System and method for internet broadcasting of mpeg-4-based stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030024292A KR100556826B1 (ko) 2003-04-17 2003-04-17 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040090523A true KR20040090523A (ko) 2004-10-26
KR100556826B1 KR100556826B1 (ko) 2006-03-10

Family

ID=36811870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030024292A KR100556826B1 (ko) 2003-04-17 2003-04-17 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법

Country Status (5)

Country Link
US (1) US7782937B2 (ko)
EP (1) EP1616441A1 (ko)
KR (1) KR100556826B1 (ko)
CN (1) CN100473157C (ko)
WO (1) WO2004093459A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686521B1 (ko) * 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
KR100739320B1 (ko) * 2000-12-15 2007-07-12 주식회사 케이티 비디오 스트림을 알티피로 전송하기 위한 알티피 송신페이로드 핸들러 장치 및 그 방법
US8023560B2 (en) 2003-12-09 2011-09-20 Electronics And Telecommunications Research Institute Apparatus and method for processing 3d video based on MPEG-4 object descriptor information
KR101369426B1 (ko) * 2007-09-18 2014-03-04 엘지전자 주식회사 엠피쓰리 파일의 엠펙포 파일로의 변환방법 및 장치 및그를 이용한 엠펙포 멀티미디어 파일 실행방법 및 그 장치

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1331359C (zh) * 2005-06-28 2007-08-08 清华大学 交互式多视点视频系统中视频流的传输方法
CN101212452B (zh) * 2006-12-31 2012-06-06 中兴通讯股份有限公司 一种基于实时传输协议的多媒体数据传输控制方法
WO2008153294A2 (en) * 2007-06-11 2008-12-18 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
EP2914000A1 (en) * 2007-06-19 2015-09-02 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
KR100950082B1 (ko) * 2007-06-22 2010-03-26 주식회사 넷앤티비 Ｍｐｅｇ-4 ｂｉｆｓ 스트림을 이용한 압축 이미지 전송방법
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
KR101382618B1 (ko) * 2007-08-21 2014-04-10 한국전자통신연구원 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
US8400497B2 (en) 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN101137060B (zh) * 2007-09-30 2010-06-09 腾讯科技（深圳）有限公司 一种视频传输方法、系统及设备
US8396906B2 (en) * 2007-10-10 2013-03-12 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
CN101822049B (zh) * 2007-10-13 2013-04-24 三星电子株式会社 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法
KR100955578B1 (ko) 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
EP2124449A1 (en) 2008-05-19 2009-11-25 THOMSON Licensing Device and method for synchronizing an interactive mark to streaming content
KR101194480B1 (ko) * 2008-06-18 2012-10-24 미쓰비시덴키 가부시키가이샤 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
US8629898B2 (en) * 2008-09-03 2014-01-14 Sony Corporation Stereoscopic video delivery
RU2502214C2 (ru) 2008-09-30 2013-12-20 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, системная бис, способ воспроизведения, очки и устройство отображения для трехмерных изображений
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
MX2011007645A (es) * 2009-01-20 2011-09-06 Koninkl Philips Electronics Nv Transferencia de datos de imagen de tercera dimension.
CN104618708B (zh) 2009-01-28 2017-07-07 Lg电子株式会社 广播接收机及其视频数据处理方法
EP2400748A4 (en) * 2009-02-03 2013-04-24 Korea Electronics Telecomm SENDING METHOD, SENDING DEVICE, RECEPTION METHOD AND RECEIVER FOR A DIGITAL MULTIMEDIA BROADCASTING SERVICE
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
CN102804785A (zh) * 2009-04-13 2012-11-28 瑞尔D股份有限公司 编码、解码和发布增强分辨率的立体视频
US8948247B2 (en) * 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files
CN102415100B (zh) * 2009-04-27 2015-02-04 Lg电子株式会社 广播接收机及其3d视频数据处理方法
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
CN102473240B (zh) * 2009-08-03 2015-11-25 摩托罗拉移动有限责任公司 编码视频内容的方法
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
CN102118425A (zh) * 2010-01-06 2011-07-06 江国庆 以远程服务器传输三维信息之方法
JP6013920B2 (ja) * 2010-02-15 2016-10-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオコンテンツを処理するための装置および方法
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US9271052B2 (en) * 2010-05-10 2016-02-23 Comcast Cable Communications, Llc Grid encoded media asset data
JP5527603B2 (ja) * 2010-06-24 2014-06-18 ソニー株式会社 情報処理装置および情報処理方法
WO2013090923A1 (en) 2011-12-17 2013-06-20 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
KR20130098184A (ko) * 2010-08-17 2013-09-04 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 컨텐트 처리 방법
CN102387359A (zh) * 2010-08-31 2012-03-21 中国电信股份有限公司 三维视频传输方法、系统及编解码装置
US8878897B2 (en) * 2010-12-22 2014-11-04 Cyberlink Corp. Systems and methods for sharing conversion data
US9204123B2 (en) 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
EP2664156A4 (en) * 2011-01-14 2015-03-25 Comcast Cable Comm Llc GENERATION OF VIDEO CONTENT
CN102131111A (zh) * 2011-01-25 2011-07-20 天津大学 一种立体视频传输系统
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US9420258B1 (en) * 2011-02-07 2016-08-16 Google Inc. Streaming-time 3D metadata injection
US9462024B2 (en) * 2011-06-08 2016-10-04 Futurewei Technologies, Inc. System and method of media content streaming with a multiplexed representation
CN102227133B (zh) * 2011-06-23 2013-01-09 天津大学 一种立体视频传输方法
MX2013005444A (es) * 2011-07-22 2013-07-29 Panasonic Corp Dispositivo de regeneracion de contenido, metodo de regeneracion de contenido, programa de regeneracion de contenido y programa que proporciona contenido.
US20130050573A1 (en) * 2011-08-25 2013-02-28 Comcast Cable Communications, Llc Transmission of video content
KR101779181B1 (ko) * 2011-11-29 2017-09-18 한국전자통신연구원 3ｄ 디지털방송 수신 장치 및 방법, 그리고 영상 모드 전환 장치 및 방법
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
CN102723104A (zh) * 2012-07-04 2012-10-10 深圳锐取信息技术股份有限公司 基于mp4文件封装格式的多媒体录播系统
US8826332B2 (en) 2012-12-21 2014-09-02 Ustudio, Inc. Media distribution and management platform
WO2016144072A1 (ko) * 2015-03-08 2016-09-15 엘지전자(주) 방송 신호 송수신 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
EP2101495B1 (en) * 1996-02-28 2012-12-26 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
EP1269761A1 (en) 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
KR20020088633A (ko) 2001-05-18 2002-11-29 쓰리알 주식회사 동영상 전송장치 및 부호화 방법
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP3794352B2 (ja) * 2002-07-04 2006-07-05 ソニー株式会社 データ分配装置及び方法
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR100576544B1 (ko) * 2003-12-09 2006-05-03 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739320B1 (ko) * 2000-12-15 2007-07-12 주식회사 케이티 비디오 스트림을 알티피로 전송하기 위한 알티피 송신페이로드 핸들러 장치 및 그 방법
US8023560B2 (en) 2003-12-09 2011-09-20 Electronics And Telecommunications Research Institute Apparatus and method for processing 3d video based on MPEG-4 object descriptor information
KR100686521B1 (ko) * 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
KR101369426B1 (ko) * 2007-09-18 2014-03-04 엘지전자 주식회사 엠피쓰리 파일의 엠펙포 파일로의 변환방법 및 장치 및그를 이용한 엠펙포 멀티미디어 파일 실행방법 및 그 장치

Also Published As

Publication number Publication date
EP1616441A1 (en) 2006-01-18
US20060221178A1 (en) 2006-10-05
US7782937B2 (en) 2010-08-24
CN1802858A (zh) 2006-07-12
WO2004093459A1 (en) 2004-10-28
CN100473157C (zh) 2009-03-25
KR100556826B1 (ko) 2006-03-10

Similar Documents

Publication Publication Date Title
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
JP6721631B2 (ja) ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP5551315B2 (ja) ビデオデータをストリーミングするためのサブトラックフラグメントの配列
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
KR20190009290A (ko) 이미지에서의 가장 관심있는 영역
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
Schierl et al. Transport and storage systems for 3-D video using MPEG-2 systems, RTP, and ISO file format
JP2013537762A (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
TW201127062A (en) Multiview video coding over MPEG-2 systems
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
KR101233161B1 (ko) 3차원 동영상을 다중화 방송 서비스로 송수신하는 시스템및 방법
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
Kurutepe et al. A standards-based, flexible, end-to-end multi-view video streaming architecture
KR20050038054A (ko) 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법
Buchowicz Video coding and transmission standards for 3D television—a survey
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
Lee et al. Rich Media Services for T-DMB: 3-D Video and 3-D Data Applications
Lee Scalable video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090202

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee