KR101841313B1 - 멀티미디어 흐름 처리 방법 및 대응하는 장치 - Google Patents

멀티미디어 흐름 처리 방법 및 대응하는 장치 Download PDF

Info

Publication number
KR101841313B1
KR101841313B1 KR1020137007146A KR20137007146A KR101841313B1 KR 101841313 B1 KR101841313 B1 KR 101841313B1 KR 1020137007146 A KR1020137007146 A KR 1020137007146A KR 20137007146 A KR20137007146 A KR 20137007146A KR 101841313 B1 KR101841313 B1 KR 101841313B1
Authority
KR
South Korea
Prior art keywords
video
multimedia stream
audio
data
video data
Prior art date
Application number
KR1020137007146A
Other languages
English (en)
Other versions
KR20130138213A (ko
Inventor
기욤 비쇼
앙또니 로렁
이봉 르걀레
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130138213A publication Critical patent/KR20130138213A/ko
Application granted granted Critical
Publication of KR101841313B1 publication Critical patent/KR101841313B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 서로 다른 소스에 의해 제공되거나 서로 다른 전송 프로토콜을 통해 단일 수신 장치에 전송되거나 또는 서로 다른 렌더링 장치에 의해 렌더링되게 설계된 멀티미디어 흐름의 동기화에 관한 것이다. 본 발명에 따르면, 제1 멀티미디어 흐름의 데이터를 나타내는 참조 데이터가 제2 멀티미디어 흐름에 제공되어 이들 두 멀티미디어 흐름이 동기화되게 이 제2 멀티미디어 흐름의 데이터에 연관된다. 이 참조 데이터는 그것에 연관되는 제2 멀티미디어 흐름의 데이터에 대한 타이밍 참조를 구성한다. 이는 두 멀티미디어 흐름을 동기화시키는데 이용된다.

Description

멀티미디어 흐름 처리 방법 및 대응하는 장치{METHODS FOR PROCESSING MULTIMEDIA FLOWS AND CORRESPONDING DEVICES}
본 발명은 다양한 멀티미디어 소스로부터의 또는 다양한 전송 프로토콜을 통해 전송 및/또는 다양한 렌더링 장치로 복원되는 멀티미디어 흐름(multimedia flows)의 처리에 관한 것이다.
방송 TV에서, 오디오 흐름과 비디오 흐름은 전통적으로 함께 방송된다. 그것들은 일반적으로 하나의 멀티미디어 소스, 예를 들어, 멀티미디어 콘텐츠의 공급자에 의해 제공되며, 이후 이들 흐름은 하나의 전송 프로토콜에 의해서 주어진 전송 네트워크를 통해 전송된 다음 하나의 최종 사용자 기기, 예를 들어, 텔레비전에 전달되며, 이 최종 사용자 기기는 이들 흐름을 읽어서 비디오 데이터는 스크린에 표시하고 오디오 데이터는 라우드스피커로 방송한다.
인터넷 네트워크와 이동 통신 네트워크의 급격한 발전에 따라서, 오디오 흐름 및 비디오 흐름에 있어서 소스 및/또는 전송 프로토콜 및/또는 렌더링 장치가 서로 다를 수 있는 새로운 멀티미디어 응용이 출현하였다. 이들 새로운 응용 프로그램의 경우에는, 오디오 흐름의 렌더링이 반드시 비디오 흐름의 렌더링에 동기화되도록 할 필요가 있다.
새로운 멀티미디어 응용의 한 예로는 비디오 흐름의 소스와는 다른 소스가 오디오 흐름을 생성하는 것이 있으며, 여기서 이 오디오 흐름은 그 자체가 비디오 흐름이 함께 제공되는 기본적인 오디오 흐름을 대체하는 것이다. 예를 들어, 텔레비전의 축구 경기 방송의 경우에, 이 경기의 비디오 흐름과 함께 제공되는 기본적인 오디오 흐름을 예를 들어 이 기본적인 오디오 흐름의 언어와는 다른 언어로 된 의견을 포함하는 것으로 이 경기의 방송사가 아닌 다른 멀티미디어 공급자에 의해 제공되는 오디오 흐름으로 대체할 수 있다. 이러한 오디오 흐름을 비디오 흐름에 동기화시키기 위해서는 이들 흐름이 공통적인 또는 상응하는 타이밍 참조(timing references)를 포함하고 있어야만 한다. 일반적으로, 전송 프로토콜은 렌더링 장치가 두 흐름의 렌더링을 조절하여 동기화시킬 수 있도록 이들 참조 또는 타임스탬프를 렌더링 장치에 제공한다.
타임스탬프는 일반적으로 이 타임스탬프와 연관된 이벤트가 발생하는 동안 시간을 나타내는 카운터 값이다. 카운터의 클럭 주파수는 렌더링 장치가 흐름 렌더링을 올바르게 조절할 수 있도록 렌더링 장치가 아는 값이어야만 한다. 이 클럭 주파수가 렌더링 장치에 부여되는 방식은 전송 레이어(MPEG-TS, RTP 등) 사양에 설명되어 있다.
렌더링 장치가 두 흐름을 동기화시킬 수 있기 위해 두 흐름은 일반적으로 통상 "벽시계"라 불리는 공통의 클럭(common clock)을 참조한다. 예를 들어, RTP 프로토콜(실시간 전송 프로토콜)의 경우, 송신기는 타임스탬프와 공통의 클럭이 부여한 시간 사이의 동등함을 나타내는 전송 보고서 RTCP라 불리는 메시지를 주기적으로 전송한다. 오디오 및 비디오 흐름이 서로 다른 소스에 의해 제공되는 경우, 이들 두 소스는 같은 공통의 클럭을 공유해야만 한다. NTP 프로토콜(네트워크 시간 프로토콜)은 통상 같은 시계로 두 소스를 동기화시키는데 이용된다.
그러나, 두 소스가 전송 시간의 측면에서 충분히 신뢰할 수 있는 네트워크에 의해 연결되어 있지 않을 때는 다른 동기화 매커니즘이 필요하다.
오디오 및/또는 비디오 흐름들 사이의 이 동기화 문제는 두 흐름의 렌더링을 서로 다른 렌더링 장치가 실행할 때, 예를 들어, 비디오 흐름은 텔레비전이 렌더링하고 오디오 흐름은 예를 들어 휴대폰과 같은 개인 단말기가 렌더링할 때도 존재한다. 실제로, 전송 프로토콜이 오디오 흐름 및 비디오 흐름의 렌더링을 수행하기 위한 타임스탬프를 제공하더라도, 단지 비디오 흐름 렌더링 장치만이 비디오 프레임이 화면에 표시되는 때를 정확히 알며, 이 순간은 특히 이 렌더링 장치에서의 저장 시간 및 디코딩 시간에 의존한다. 사용자 단말기에 있어서의 오디오 렌더링의 경우도 마찬가지다.
이 동기화 문제는 또한, 두 개의 비디오 흐름이 동일한 소스 또는 같은 전송 프로토콜에 의해 제공되지 않을 때, 하나의 렌더링 장치에 표시되는 두 개의 비디오 흐름 - 이들 비디오 콘텐츠 중 하나는 다른 하나에서 픽처-인-픽처로 표시된다 - 사이에도 존재할 수 있다.
본 발명의 목적은 앞서 언급한 단점들을 극복하기 위한 해법으로, 서로 다른 소스에 의해 제공되거나 또는 서로 다른 전송 프로토콜을 통해서 단일 수신 장치에 전송되어 및/또는 서로 다른 렌더링 장치에 의해 렌더링되도록 되어 있는 두 오디오 및/또는 비디오 흐름을 동기화시킬 수 있는 해법을 제공하는 것이다.
이러한 목적을 위해, 본 발명은 다음의 단계를 포함하는 수신 장치에서 멀티미디어 데이터 흐름을 처리하는 방법에 관한 것이다:
- 오디오 또는 비디오 데이터를 포함하는 제1 멀티미디어 흐름과 오디오 또는 비디오 데이터를 포함하는 제2 멀티미디어 흐름 - 상기 제2 멀티미디어 흐름은 적어도 동기화 정보를 포함한다 - 을 수신하는 단계;
상기 동기화 정보를 이용하여 상기 제1 및 제2 멀티미디어 흐름을 동기화시키는 단계;
상기 제1 및 제2 멀티미디어 흐름에 대해 렌더링 단계를 실행하는 단계를 포함하며,
상기 방법은 상기 동기화 정보가 참조 데이터(reference datum)라 불리는, 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터를 나타내는 데이터(datum) - 이 데이터는 제2 멀티미디어 흐름의 오디오 또는 비디오 데이터에 연관되어 있다 - 를 포함하며, 이 동기화 동안, 제1 및 제2 멀티미디어 흐름은, 참조 데이터에 연관된 제2 멀티미디어 흐름의 비디오 또는 오디오 데이터의 렌더링과 상기 참조 데이터에 해당하는 제1 멀티미디어 흐름의 비디오 또는 오디오 데이터의 렌더링이 동기화되는 식으로 동기화되는 것에 특징이 있다.
그러므로, 본 발명에 따르면, 제1 멀티미디어 흐름의 데이터를 나타내는 참조 데이터는 제2 멀티미디어 흐름에 제공되어 제1 멀티미디어 흐름과 제2 멀티미디어 흐름이 동기화되게 제2 멀티미디어 흐름의 데이터에 연관된다. 더욱이, 이들 두 멀티미디어 흐름의 데이터는 표시 장치 및/또는 오디오 장치에 의한 그것들의 렌더링이 동기화될 수 있게 동기화된다.
특정의 실시예에 따르면, 제2 멀티미디어 흐름은 제1 멀티미디어 흐름에 대해서 동기화된다. 이 동기화 단계는 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터를 제2 멀티미디어 흐름의 참조 데이터에 비교하여 제2 멀티미디어 흐름의 렌더링을 제1 멀티미디어 흐름의 렌더링에 고정(lock)하는 단계를 포함한다.
이 비교 단계는 예를 들어 제1 멀티미디어 흐름의 각 오디오 또는 비디오 데이터와 참조 데이터 간의 신호대잡음 비를 계산하는 단계를 포함한다.
특정 실시예에 따르면, 제1 멀티미디어 흐름은 비디오 프레임을 포함하는 비디오 흐름이고, 제2 멀티미디어 흐름에 도입된 참조 데이터는 제1 멀티미디어 흐름의 비디오 프레임이거나 또는 상기 비디오 프레임으로부터 유도된 데이터이며, 제2 멀티미디어 흐름은 오디오 흐름이다.
특정 실시예에 따르면, 상기 제1 및 제2 멀티미디어 흐름은 서로 다른 멀티미디어 소스에서 나오고 및/또는 서로 다른 전송 네트워크에 의해 제공된다.
본 발명은 또한 참조 데이터를 포함하는 제2 멀티미디어 흐름을 생성할 수 있는 방법에 관한 것이고, 특히 전송 장치에서 멀티미디어 흐름을 처리하는 방법에 관한 것이며, 이들 방법은:
- 오디오 또는 비디오를 포함하는 제1 멀티미디어 흐름을 수신하는 단계;
- 상기 제1 멀티미디어 흐름에 대해 렌더링 단계를 실행하는 단계;
- 오디오 또는 비디오 데이터를 포함하는 제2 멀티미디어 흐름을 생성하는 단계;
- 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터를 나타내는 참조 데이터로 알려진 적어도 한 데이터를 생성하는 단계;
- 상기 제2 멀티미디어 흐름에서는, 상기 참조 데이터에 해당하는 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터의 렌더링 시에 생성되는 제2 멀티미디어 흐름의 오디오 또는 비디오 데이터에 상기 참조 데이터를 연관시키는 단계를 포함한다.
본 발명은 또한 본 발명의 방법을 구현할 수 있는 수신 장치에 관한 것이다. 수신 레벨에서, 제1 및 제2 멀티미디어 흐름의 렌더링은 단일 장치, 예를 들어, 텔레비전 또는 두 개의 개별적인 장치에서 실행될 수 있다.
첫 번째 경우에, 본 발명에 따른 장치가 제안되는데, 이 장치는:
- 오디오 또는 비디오 데이터를 포함하는 제1 멀티미디어 흐름과 오디오 또는 비디오 데이터를 포함하는 제2 멀티미디어 흐름 - 상기 제2 멀티미디어 흐름은 적어도 동기화 정보를 포함한다 - 을 수신하는 수단;
- 상기 동기화 정보를 이용하여 상기 제1 및 제2 멀티미디어 흐름을 동기화시키는 수단;
- 상기 제1 및 제2 멀티미디어 흐름을 렌더링하는 수단을 포함하며,
상기 동기화 정보는 참조 데이터라 불리는, 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터를 나타내는 데이터 - 이 데이터는 제2 멀티미디어 흐름의 오디오 또는 비디오 데이터에 연관되어 있다 - 를 포함하며, 이 동기화 수단은 참조 데이터에 연관된 제2 멀티미디어 흐름의 비디오 또는 오디오 데이터의 렌더링과 상기 참조 데이터에 해당하는 제1 멀티미디어 흐름의 비디오 또는 오디오 데이터의 렌더링이 동기화되는 식으로 상기 제1 및 제2 멀티미디어 흐름을 동기화시키는 것을 특징으로 한다.
두 번째 경우에, 본 발명에 따른 멀티미디어 흐름을 수신하는 장치가 제안되는데, 이 장치는:
- 오디오 또는 비디오 데이터를 포함하는 제1 멀티미디어의 렌더링을 캡처하는 수단;
- 오디오 또는 비디오 데이터를 포함하는 제2 멀티미디어 흐름 - 이 제2 멀티미디어 흐름은 적어도 동기화 정보를 포함한다 - 을 수신하는 수단;
상기 동기화 정보를 이용하여 제2 멀티미디어 흐름을 동기화시키는 수단;
제2 멀티미디어 흐름을 렌더링하는 수단을 포함하며,
이 동기화 정보는 참조 데이터라 불리는, 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터를 나타내는 데이터 - 이 데이터는 제2 멀티미디어 흐름의 오디오 또는 비디오 데이터에 연관되어 있다 - 를 포함하며, 이 동기화 수단은 참조 데이터에 연관된 제2 멀티미디어 흐름의 비디오 또는 오디오 데이터의 렌더링과 상기 참조 데이터에 해당하는 제1 멀티미디어 흐름의 비디오 또는 오디오 데이터의 렌더링이 동기화되는 식으로 상기 제1 및 제2 멀티미디어 흐름을 동기화시키는 것을 특징으로 한다.
본 발명은 첨부 도면을 참조한 다음의 상세한 설명 과정을 통해 잘 이해할 수 있을 것이며, 다른 목적, 상세한 특징 및 장점도 보다 잘 이해할 수 있을 것이다.
도 1은 전송 장치에 구현된 본 발명의 단계들의 플로우 차트이다.
도 2는 수신 장치에 구현된 본 발명의 단계들의 플로우 차트이다.
도 3은 제1 및 제2 멀티미디어 흐름의 렌더링이 같은 장치에서 실행될 때 본 발명을 구현하는 수단을 나타내는 다이어그램이다.
도 4는 제1 및 제2 멀티미디어 흐름의 렌더링이 서로 다른 장치에서 실행될 때 본 발명을 구현하는 수단을 나타내는 다이어그램이다.
본 발명에 따르면, 제1 및 제2 멀티미디어 흐름의 렌더링을 동기화시키기 위하여, 타이밍 참조로서 제1 멀티미디어 흐름의 오디오 또는 비디오 데이터를 제2 멀티미디어 흐름의 오디오 또는 비디오 데이터에 사용하는 것으로 계획되어 있다. 이들 두 흐름은 서로 다른 멀티미디어 소스에 의해 제공되거나 서로 다른 전송 프로토콜을 통해 단일 수신 장치에 전송되거나 서로 다른 렌더링 장치에 의해 렌더링되도록 설계되어 있다.
현재의 설명에서는, 비디오 흐름은 제1 멀티미디어 흐름으로 오디오 흐름은 제2 멀티미디어 흐름으로 간주한다. 비디오 흐름의 렌더링은 디스플레이 장치에 비디오 흐름의 데이터 또는 비디오 프레임을 표시하는 것을 의미하고, 오디오 흐름의 렌더링은 라우드스피커 또는 헤드폰과 같은 오디오 장치로 오디오 흐름의 오디오 데이터(소리)를 복원하는 것을 의미하는 것으로 이해된다.
오디오 흐름 및 비디오 흐름의 렌더링의 동기화를 위해, 참조 데이터라 불리는 비디오 흐름의 비디오 프레임을 나타내는 데이터가 오디오 흐름에 도입되고 그의 렌더링이 비디오 프레임의 렌더링과 동기화되어야 하는 오디오 흐름 데이터에 연관된다.
이러한 참조 데이터는 비디오 흐름의 비디오 프레임 또는 이 비디오 프레임으로부터 유도된 데이터일 수 있다.
참조 데이터를 포함하고 있는 오디오 흐름의 생성은 도 1에 나타내었다.
단계 E1에서는, 다수의 비디오 프레임을 포함하는 비디오 흐름이 수신된다. 이 비디오 흐름은 디폴트로 오디오 데이터와 함께 전송되었을 수 있다. 이 비디오 흐름은 디스플레이 장치에 표시된다(E2 단계). 더욱, 이 비디오 흐름에 동기화되어야 하는 오디오 흐름이 생성된다(E3 단계). 이 오디오 흐름은 예를 들어 디폴트로 오디오 데이터의 언어와는 다른 언어로 된 의견에 해당한다. 이 오디오 흐름은 비디오 흐름의 이미지들이 표시될 때 이들 비디오 흐름의 이미지들에 대해 의견을 개진하는 사람에 의해 생성된다. 이 오디오 흐름이 생성됨과 동시에, 이 오디오 흐름의 비디오 프레임들을 나타내는 참조 데이터가 바람직하게는 주기적으로 생성된다(E4 단계). 앞서 언급한 바와 같이, 이들 참조 데이터는 이 비디오 흐름의 비디오 프레임 또는 이 프레임으로부터 유도된 데이터이고, 예를 들어, 이 비디오 프레임의 저해상도 이미지에 해당하는 프레임 또는 상기 비디오 프레임의 시그너처(signature)일 수 있다. 이들 참조 데이터 각각은 이후 오디오 흐름에 도입되고 참조 데이터에 해당하는 비디오 프레임의 표시 동안에 생성되는 오디오 흐름의 데이터에 연관된다(E5 단계). 이후 이 오디오 흐름은 전송 또는 통신 네트워크를 통해서 수신 장치에 전송된다.
두 흐름의 렌더링을 실행하는 과정은 도 2에 나타내었다. 두 흐름은 하나 또는 두 개의 수신 장치에 의해 수신된다(E6 단계). 이들 두 흐름은 아마 디코드된 다음 동기화된다(E7 단계). 이 오디오 흐름은 참조 데이터에 연관된 오디오 데이터가 참조 데이터에 해당하는 오디오 흐름의 비디오 프레임에 동기화되도록 동기화된다. 이 동기화 단계는 예를 들어 참조 데이터의 비디오 프레임을 비디오 흐름의 비디오 프레임들에 비교하는 단계를 포함한다. 각각의 비디오 프레임에 대하여, 예를 들어 PSNR(Peak Signal to Noise Ratio)가 계산된다. PSNR 값이 최대인 비디오 프레임이 참조 데이터의 비디오 프레임이다. 참조 데이터에 연관된 오디오 데이터는 이 비디오 프레임이 표시될 때 재생(복원)되어야만 한다.
데시벨(dB)로 표현된 PSNR의 계산은 예를 들어 다음과 같이 실행된다:
Figure 112013024432485-pct00001
여기서
Figure 112013024432485-pct00002
여기서
- m은 비디오 프레임 컬럼에 있는 화소의 수이고,
- n은 비디오 프레임 라인에 있는 화소의 수이며,
- f(i,j)는 비디오 흐름의 비디오 프레임의 좌표(i,j)의 화소 값이고,
- F(i,j)는 참조 데이터의 비디오 프레임의 좌표(i,j)의 화소 값이다.
이 계산은 색도 성분 U 및 V를 무시하고 휘도(Y 성분)에 대해서만 실행될 수 있다.
참조 데이터와 비디오 흐름의 이미지 포맷이 서로 다르다면, 동일한 높이와 폭의 이미지들을 비교하기 위해 이들의 치수를 조절한다.
앞서 언급한 바와 같이, 본 발명의 방법은, 오디오 흐름의 소스와 비디오 흐름의 소스가 독립적인 소스일 경우 또는 두 흐름의 전송 프로토콜이 서로 다를 경우 또는 오디오 흐름 및 비디오 흐름을 렌더링하는 장치가 서로 다른 장치인 경우에 유용하다.
이제, 두 경우, 즉 멀티미디어 소스들의 오디오 및 비디오 흐름의 소스들이 서로 다를 경우와 두 흐름을 렌더링하는 장치가 서로 다른 장치인 경우의 송수신 장치에 대해 설명하기로 한다.
첫 번째 경우: 오디오 흐름의 소스와 비디오 흐름의 소스가 서로 다름
이 경우는 도 3에 도시하였다. 비디오 흐름은 비디오 소스(10)가 제공하고 오디오 흐름은 오디오 소스(20)가 제공한다. 비디오 흐름과 오디오 흐름은 두 개의 전송 네트워크(40 및 50) 각각을 통해서 수신 장치에 전송된다. 이들 전송 네트워크는 서로 다른 기술일 수 있다.
비디오 흐름은 예를 들어 TV 방송 네트워크 또는 인터넷 네트워크(네트워크 40)를 통해서 수신 장치(30)에 방송되는 축구 경기이다. 비디오 소스(10)는 서버의 형태로 표현되어 있다.
네트워크(40)에 의해 전송된 비디오 흐름은 수신 장치의 비디오 디코더(31)에 의해 디코드되고, 일단 디코드되면 비디오 흐름을 렌더링하는 장치를 구성하는 텔레비전(32)에 표시된다.
더욱, 비디오 흐름은 네트워크(40)를 통해서 오디오 소스(20)에 전송된다. 변형으로, 오디오 소스는 이 비디오 흐름을 다른 수단에 의해, 예를 들어, 비디오 흐름이 다른 서버로부터 나올 수 있는 다른 방송 네트워크에 의해 수신할 수 있다. 더욱이, 비디오 흐름의 콘텐츠는 동일할 수 있으나 크기나 코딩 면에서 같은 포맷이 아닐 수 있다.
소스(20)는 비디오 흐름을 수신하여 디코딩하는 비디오 디코더(21), 비디오 흐름을 표시하는 스크린(22), 디코딩된 비디오 흐름으로부터 참조 데이터를 생성하는 참조 데이터 생성기(23), 오디오 흐름을 생성하는 장치(24) 및 생성기(23)가 제공한 참조 데이터를 오디오 흐름에 도입하는 믹서(25)를 포함한다. 오디오 흐름(24)은 비디오 흐름을 스크린(22)에 렌더링하는 동안 생성된다.
이러한 방식으로 강화된 오디오 흐름은 네트워크(50)를 통해서 수신 장치(30)에 전송된다. 오디오 흐름은 오디오/비디오 디코더(33)에 의해 수신되어 디코딩된다. 동기화 장치(34)는 각각의 디코더(31 및 33)로부터 나오는 디코딩된 오디오 및 비디오 흐름을 수신한다. 이 동기화 장치는 비디오 프레임을 오디오 흐름의 참조 데이터에 비교하여 두 흐름을 동기화시킨다. 이 방식으로 동기화된 흐름들은 이후 텔레비전에 제공되어 비디오 흐름은 표시되고 오디오 흐름은 재생된다.
장치(24)는, 비디오 흐름이 스크린(22)에 표시된 후에, 오디오 흐름을 생성한다는 점에 주목해야 한다. 그 결과 생성된 오디오 흐름은 생성되자마자 비디오 흐름에 관해서 오프셋(offset)될 수 있다. 이 오프셋은 바람직하게는 디코더(31)의 출력에서 텔레비전(32)에 전송되는 비디오 흐름을 지연시킴으로써 수신 장치(30)에서 보상된다.
첫 번째 경우의 전형적인 응용은 예를 들어 최종 사용자가 그의 수신 단말기로 이미지와 함께 제공된 사운드 트랙으로 웹 사이트가 제공한 다른 사운드 트랙을 대체할 수 있는 시청각 프로그램의 방송에 해당한다.
두 번째 경우: 오디오 및 비디오 흐름을 렌더링하는 장치가 서로 다름
이 경우는 도 4로 보여주고 있다. 수신 장치(130)는 네트워크(4)가 제공한 비디오 흐름을 표시하는 역할을 한다. 이 장치(130)는 비디오 디코더(131) 및 디코딩된 비디오 프레임을 표시하는 스크린(132)을 포함한다.
수신 장치(230)는 스크린(22)에 비디오 흐름을 렌더링하는 동안 오디오 소스(20)에 의해 생성되어 네트워크(50)에 의해 제공되는 오디오 흐름을 렌더링하는 역할을 한다. 이 장치(230)는 오디오 흐름을 수신해서 디코딩하는 오디오/비디오 디코더(233), 스크린(232)이 표시한 비디오 프레임을 캡처하는 장치(235), 캡처한 비디오 프레임을 참조 데이터의 비디오 프레임에 비교하여 오디오 흐름을 표시된 비디오 흐름에 동기화시키는 동기화 장치(234) 및 동기화된 오디오 흐름의 사운드를 재생하는 라우드스피커 또는 헤드폰(235)을 포함한다.
이 두 번째 경우의 가능한 응용으로는 예를 들어 공공장소나 영화관에서의 영화의 방송 및 이동 전화 네트워크를 통한 개선되거나 주문제작된 사운드의 전송이 있다. 뷰어는 그의 이동 전화로 개선되거나 주문제작된 사운드를 들으면서 영화 이미지를 볼 수 있다.
이 경우에, 캡처 장치(235)는 예를 들어 이동 전화의 카메라이다. 캡처 장치(235)가 제공한 비디오 프레임이 참조 데이터에 포함된 비디오 프레임보다 낮은 해상도를 갖고 있다면, 참조 데이터에 포함된 비디오 프레임은 비교되기 전에 캡처된 비디오 프레임과 같은 해상도로 변환되어야만 한다.
마찬가지로, 캡처된 프레임은 비디오 흐름의 프레임과 일치하지 않을 수 있다. 캡처된 프레임은 중심을 벗어나거나 및/또는 예를 들어 비디오 프레임을 표시하는 스크린의 일부와 같이 과잉 데이터를 포함할 수 있다. 이 경우에, 참조 데이터에 포함되어 있는 비디오 프레임을 손질해야만 한다.
누군가는 단지 프레임의 중앙 구역의 비디오 데이터를 비교하는 것만을 계획할 수 있다.
본 발명은 오디오 흐름과 비디오 흐름을 동기화시키거나 또는 두 개의 비디오 흐름(PIP(picture in picture) 응용 프로그램의 경우)을 함께 동기화시키거나 두 개의 오디오 흐름을 함께 동기화시키는데 적용할 수 있다.
본 발명을 서로 다른 특정의 실시예를 들어서 설명하였을지라도, 본 발명은 결코 제한되는 것이 아니고 본 발명은 설명되는 수단들의 모든 기술적 동등물들과 함께 이들의 조합들(본 발명의 범위 내에 속한다면)을 포함한다는 것은 자명하다. 특히, 여기서 비디오 데이터를 기준으로 제안된 타이밍 참조 데이터는 오디오 흐름의 추출물로 대체할 수 있다.

Claims (11)

  1. 처리 장치에서 제1 멀티미디어 흐름을 생성하는 방법으로서,
    상기 제1 멀티미디어 흐름은 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 포함하고, 상기 제1 멀티미디어 흐름은 비디오 데이터를 포함하는 제2 멀티미디어 흐름과 동기화될 것이며, 상기 방법은,
    제2 멀티미디어 흐름의 제2 비디오 데이터의 렌더링 시에 상기 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 생성하는 단계(E3) - 상기 제2 비디오 데이터는 비디오 프레임임 - ;
    상기 렌더링된 제2 비디오 데이터를 나타내는 비디오 프레임을 포함하는 적어도 하나의 참조 데이터를 생성하는 단계(E4) - 상기 적어도 하나의 참조 데이터에 포함된 상기 비디오 프레임은 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터로부터 유도된 비디오 프레임이고 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터의 저해상도 이미지에 대응하는 프레임을 포함함 - ; 및
    상기 적어도 하나의 참조 데이터를 상기 제1 멀티미디어 흐름 내에 삽입하는 단계(E5) - 상기 삽입하는 단계는 상기 적어도 하나의 참조 데이터를 상기 제1 멀티미디어 흐름 내에 도입하고 상기 적어도 하나의 참조 데이터를 상기 적어도 하나의 제1 오디오 또는 비디오 데이터와 연관시키는 것을 포함함 -
    를 포함하는 것을 특징으로 하는 방법.
  2. 처리 장치에서 수행되고, 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 포함하는 제1 멀티미디어 흐름을 렌더링하는 방법으로서,
    상기 방법은,
    상기 제1 멀티미디어 흐름의 참조 데이터를 이용하여, 상기 제1 멀티미디어 흐름의 상기 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 비디오 데이터를 갖는 제2 멀티미디어 흐름의 제2 비디오 데이터와 동기화시키는 단계(E7) - 상기 제2 비디오 데이터는 비디오 프레임이고, 상기 참조 데이터는 상기 적어도 하나의 제1 오디오 및/또는 비디오 데이터와 연관되고 상기 제2 비디오 데이터를 나타내는 비디오 프레임을 포함하며, 상기 적어도 하나의 참조 데이터에 포함된 상기 비디오 프레임은 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터로부터 유도된 비디오 프레임이고 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터의 저해상도 이미지에 대응하는 프레임을 포함함 -; 및
    상기 동기화된 제1 멀티미디어 흐름을 렌더링하는 단계(E8)
    를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 동기화시키는 것은 상기 제2 멀티미디어 흐름의 비디오 데이터를 상기 참조 데이터에 포함된 상기 비디오 프레임과 비교하는 것을 포함하는 방법.
  4. 제3항에 있어서,
    상기 비교하는 것은 상기 제2 멀티미디어 흐름의 각각의 비디오 데이터와 상기 참조 데이터에 포함된 상기 비디오 프레임 간의 신호-대-잡음 비(signal-to-noise ratio)를 계산하는 것을 포함하는 방법.
  5. 제2항에 있어서,
    상기 제1 멀티미디어 흐름 및 제2 멀티미디어 흐름은 서로 다른 멀티미디어 소스 및/또는 서로 다른 전송 네트워크에 의해 제공되는 방법.
  6. 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 포함하는 제1 멀티미디어 흐름을 렌더링하는 장치(30)로서,
    상기 제1 멀티미디어 흐름은 비디오 데이터를 포함하는 제2 멀티미디어 흐름과 동기화될 것이고, 상기 장치는,
    상기 제1 멀티미디어 흐름의 적어도 하나의 참조 데이터를 이용하여 상기 제1 멀티미디어 흐름의 상기 제1 오디오 및/또는 비디오 데이터를 상기 제2 멀티미디어 흐름의 제2 비디오 데이터와 동기화시키는 수단(34) - 상기 제2 비디오 데이터는 비디오 프레임이고, 상기 적어도 하나의 참조 데이터는 상기 제1 멀티미디어 흐름의 상기 제1 오디오 및/또는 비디오 데이터와 연관되고 상기 제2 비디오 데이터를 나타내는 비디오 프레임을 포함하며, 상기 적어도 하나의 참조 데이터에 포함된 상기 비디오 프레임은 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터로부터 유도된 비디오 프레임이고 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터의 저해상도 이미지에 대응하는 프레임을 포함함 -; 및
    상기 동기화된 제1 멀티미디어 흐름을 렌더링하는 수단(32) - 상기 제1 멀티미디어 흐름의 상기 제1 오디오 및/또는 비디오 데이터를 렌더링하는 것은 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터를 렌더링하는 것과 동기화됨 -
    을 포함하는 것을 특징으로 하는 장치.
  7. 제6항에 있어서,
    상기 제2 멀티미디어 흐름을 렌더링하는 수단(32)을 포함하는 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 제2 멀티미디어 흐름의 렌더링을 캡처하는 수단(235)을 포함하는 것을 특징으로 하는 장치.
  9. 제1 멀티미디어 흐름을 생성하는 장치로서,
    상기 제1 멀티미디어 흐름은 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 포함하고, 상기 제1 멀티미디어 흐름은 비디오 데이터를 포함하는 제2 멀티미디어 흐름과 동기화될 것이며, 상기 장치는,
    상기 제2 멀티미디어 흐름의 제2 비디오 데이터의 렌더링 시에 상기 적어도 하나의 제1 오디오 및/또는 비디오 데이터를 생성하는 수단 - 상기 제2 비디오 데이터는 비디오 프레임임 -;
    상기 렌더링된 제2 비디오 데이터를 나타내는 비디오 프레임을 포함하는 적어도 하나의 참조 데이터를 생성하는 수단 - 상기 적어도 하나의 참조 데이터에 포함된 상기 비디오 프레임은 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터로부터 유도된 비디오 프레임이고 상기 제2 멀티미디어 흐름의 상기 제2 비디오 데이터의 저해상도 이미지에 대응하는 프레임을 포함함 -; 및
    상기 적어도 하나의 참조 데이터를 상기 제1 멀티미디어 흐름 내에 삽입하는 수단 - 상기 삽입하는 것은 상기 적어도 하나의 참조 데이터를 상기 제1 멀티미디어 흐름 내에 도입하고 상기 적어도 하나의 참조 데이터를 상기 적어도 하나의 제1 오디오 또는 비디오 데이터와 연관시키는 것을 포함함 -
    을 포함하는 것을 특징으로 하는 장치.
  10. 삭제
  11. 삭제
KR1020137007146A 2010-09-22 2011-09-22 멀티미디어 흐름 처리 방법 및 대응하는 장치 KR101841313B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1057600 2010-09-22
FR1057600 2010-09-22
PCT/EP2011/066515 WO2012038506A1 (en) 2010-09-22 2011-09-22 Methods for processing multimedia flows and corresponding devices

Publications (2)

Publication Number Publication Date
KR20130138213A KR20130138213A (ko) 2013-12-18
KR101841313B1 true KR101841313B1 (ko) 2018-03-22

Family

ID=43875229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137007146A KR101841313B1 (ko) 2010-09-22 2011-09-22 멀티미디어 흐름 처리 방법 및 대응하는 장치

Country Status (7)

Country Link
US (1) US9609179B2 (ko)
EP (1) EP2619989A1 (ko)
JP (1) JP5837074B2 (ko)
KR (1) KR101841313B1 (ko)
CN (1) CN103119952B (ko)
BR (1) BR112013005160A2 (ko)
WO (1) WO2012038506A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
EP2814259A1 (en) * 2013-06-11 2014-12-17 Koninklijke KPN N.V. Method, system, capturing device and synchronization server for enabling synchronization of rendering of multiple content parts, using a reference rendering timeline
JP6721510B2 (ja) 2014-01-31 2020-07-15 インターデジタル シーイー パテント ホールディングス ２つの電子デバイスにおいて再生を同期させるための方法及び装置
US20160345051A1 (en) * 2014-01-31 2016-11-24 Thomson Licensing Method and apparatus for synchronizing playbacks at two electronic devices
CN104135667B (zh) * 2014-06-10 2015-06-24 腾讯科技（深圳）有限公司 一种视频异地解说同步方法、终端设备,及系统
KR101833942B1 (ko) * 2017-01-05 2018-03-05 네이버 주식회사 실시간 영상 합성을 위한 트랜스코더
CN107155126A (zh) * 2017-03-30 2017-09-12 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
CN113382300B (zh) * 2021-06-08 2023-03-21 三星电子（中国）研发中心 一种音视频播放方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274201A1 (en) * 2005-06-07 2006-12-07 Lim Byung C Method of converting digtial broadcast contents and digital broadcast terminal having function of the same
US20070002902A1 (en) * 2005-06-30 2007-01-04 Nokia Corporation Audio and video synchronization

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471576A (en) * 1992-11-16 1995-11-28 International Business Machines Corporation Audio/video synchronization for application programs
US5751694A (en) 1995-05-22 1998-05-12 Sony Corporation Methods and apparatus for synchronizing temporally related data streams
CN2304214Y (zh) 1996-02-02 1999-01-13 深圳凌云电子有限公司 带有灭菌、喷香装置的电话机
KR100224099B1 (ko) 1997-05-30 1999-10-15 윤종용 오디오/비디오 신호의 동기장치 및 방법
AU2415800A (en) 1999-01-22 2000-08-07 Sony Electronics Inc. Method and apparatus for synchronizing playback of multiple media types over networks having different transmission characteristics
EP1161838A1 (en) 1999-03-22 2001-12-12 Scientific-Atlanta, Inc. Method and apparatus for generating time stamp information
US6480902B1 (en) 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
US20020049727A1 (en) * 2000-05-19 2002-04-25 David Rothkopf Method and apparatus for providing customized information
US7099266B2 (en) * 2001-03-26 2006-08-29 Victor Company Of Japan, Limited Orthogonal frequency division multiplexed signal transmitting apparatus, orthogonal frequency division multiplexed signal receiving apparatus, and orthogonal frequency division multiplexed signal transmitting/receiving system
JP4272050B2 (ja) * 2001-05-25 2009-06-03 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディトリーイベントに基づく特徴付けを使ったオーディオの比較
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
AU2002363907A1 (en) 2001-12-24 2003-07-30 Scientific Generics Limited Captioning system
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
US6912010B2 (en) 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US7333519B2 (en) * 2002-04-23 2008-02-19 Gateway Inc. Method of manually fine tuning audio synchronization of a home network
US7116894B1 (en) * 2002-05-24 2006-10-03 Digeo, Inc. System and method for digital multimedia stream conversion
KR20040032532A (ko) 2002-10-10 2004-04-17 삼성전자주식회사 테스트 프로그램의 표준 문서를 자동적으로 관리하는 시스템
JP4140709B2 (ja) * 2003-02-05 2008-08-27 松下電器産業株式会社 画像信号再生装置および画像信号再生方法
US20040204962A1 (en) 2003-04-14 2004-10-14 Howser Steven Joseph Automated patient compliancy monitoring system and method
KR100499037B1 (ko) 2003-07-01 2005-07-01 엘지전자 주식회사 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치
JP2005109703A (ja) 2003-09-29 2005-04-21 Pioneer Electronic Corp 画像出力装置、画像出力方法、画像表示システムおよび画像出力プログラム並びに情報記録媒体
JP2005210196A (ja) 2004-01-20 2005-08-04 Sony Corp 情報処理装置、情報処理方法
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
KR20050107227A (ko) 2004-05-08 2005-11-11 주식회사 대우일렉트로닉스 방송 수신기의 영상 출력 제어 장치
EP1766962A4 (en) * 2004-06-22 2009-03-25 Sarnoff Corp METHOD AND APPARATUS FOR MEASURING AND / OR CORRECTING AUDIOVISUAL SYNCHRONIZATION
WO2006006714A1 (ja) 2004-07-14 2006-01-19 Seiko Epson Corporation 映像再生同期信号生成方法、映像再生同期信号生成プログラム、タイミング制御装置、映像音声同期再生方法、映像音声同期再生プログラム及び映像音声同期再生装置
US20060101504A1 (en) 2004-11-09 2006-05-11 Veveo.Tv, Inc. Method and system for performing searches for television content and channels using a non-intrusive television interface and with reduced text input
US7573868B2 (en) 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing
JP4573301B2 (ja) 2005-08-18 2010-11-04 Ｋｄｄｉ株式会社 映像信号のフレーム同期方式
US7907212B2 (en) * 2006-03-20 2011-03-15 Vixs Systems, Inc. Multiple path audio video synchronization
US7961792B2 (en) 2006-05-16 2011-06-14 Lsi Corporation Robust system for maintaining audio/video synchronization during playback of multimedia streams with no embedded time stamps
JP4131284B2 (ja) * 2006-07-14 2008-08-13 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法
EP2043323A1 (en) 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
JP5256682B2 (ja) * 2007-10-15 2013-08-07 ヤマハ株式会社 情報処理装置、情報処理方法及びプログラム
AU2008291065A1 (en) 2007-12-19 2009-07-09 Interactivetv Pty Limited Device and method for synchronisation of digital video and audio streams to media presentation devices
JP5602138B2 (ja) * 2008-08-21 2014-10-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274201A1 (en) * 2005-06-07 2006-12-07 Lim Byung C Method of converting digtial broadcast contents and digital broadcast terminal having function of the same
US20070002902A1 (en) * 2005-06-30 2007-01-04 Nokia Corporation Audio and video synchronization

Also Published As

Publication number Publication date
CN103119952B (zh) 2017-06-09
JP5837074B2 (ja) 2015-12-24
US20130182181A1 (en) 2013-07-18
EP2619989A1 (en) 2013-07-31
KR20130138213A (ko) 2013-12-18
CN103119952A (zh) 2013-05-22
JP2013541894A (ja) 2013-11-14
US9609179B2 (en) 2017-03-28
WO2012038506A1 (en) 2012-03-29
BR112013005160A2 (pt) 2016-04-26

Similar Documents

Publication Publication Date Title
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
JP5978308B2 (ja) 自動的にコンテンツ番組を発見するためのシステムおよび方法
TWI544791B (zh) 經由寬頻網路所接收第二節目內容之解碼方法及解碼器裝置
US8880720B2 (en) Method and device for delivering supplemental content associated with audio/visual content to a user
US11122344B2 (en) System and method for synchronizing metadata with audiovisual content
KR101640148B1 (ko) 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법
CN107534797B (zh) 一种增强媒体记录的方法和系统
JP2012507968A (ja) ステレオスコピック画像を同期化する装置及び方法と、これを利用したステレオスコピック画像提供装置及び方法
TWI495331B (zh) 機上盒、快閃眼鏡及多個用戶同時觀看多套影音節目的方法
Boronat et al. HbbTV-compliant platform for hybrid media delivery and synchronization on single-and multi-device scenarios
Van Deventer et al. Standards for multi-stream and multi-device media synchronization
CN108650541B (zh) 实现不同设备同步播放视频的方法和系统
JP2020198510A (ja) 同期制御装置、同期制御方法及び同期制御プログラム
US20100205317A1 (en) Transmission, reception and synchronisation of two data streams
CA2824708C (en) Video content generation
US10264241B2 (en) Complimentary video content
Thomas et al. State‐of‐the‐Art and Challenges in Media Production, Broadcast and Delivery
RU135870U1 (ru) Пользовательское устройство воспроизведения для отображения аудиовизуального ряда, преимущественно относящегося к одному событию, сформированного при съемках несколькими камерами
CN115209198A (zh) 一种视频数据的处理方法、装置、终端设备和存储介质
CN115022665A (zh) 直播制作方法、装置、多媒体处理设备及多媒体处理系统
JP2012244363A (ja) 受信システム及びプログラム
JP2012244361A (ja) 受信機及びプログラム
JP2002165198A (ja) 画像処理装置、画像処理方法、コンテンツ配信システム

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant