KR102179321B1 - 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치 - Google Patents

두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치 Download PDF

Info

Publication number
KR102179321B1
KR102179321B1 KR1020167020961A KR20167020961A KR102179321B1 KR 102179321 B1 KR102179321 B1 KR 102179321B1 KR 1020167020961 A KR1020167020961 A KR 1020167020961A KR 20167020961 A KR20167020961 A KR 20167020961A KR 102179321 B1 KR102179321 B1 KR 102179321B1
Authority
KR
South Korea
Prior art keywords
audio
electronic device
decoded
playback
program
Prior art date
Application number
KR1020167020961A
Other languages
English (en)
Other versions
KR20160114612A (ko
Inventor
존 시드니 스튜어트
Original Assignee
인터디지털 씨이 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스 filed Critical 인터디지털 씨이 페이튼트 홀딩스
Publication of KR20160114612A publication Critical patent/KR20160114612A/ko
Application granted granted Critical
Publication of KR102179321B1 publication Critical patent/KR102179321B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

제 1 전자 디바이스에서 비디오 및 연관된 제 1 오디오를 포함하는 프로그램의 재생과, 제 1 오디오를 또한 수신하는 제 2 전자 디바이스에서 프로그램과 연관된 제 2 오디오의 재생을 동기화하기 위한 방법(400)으로서, 방법은 제 2 전자 디바이스의 제 1 오디오 디코더에 의해 제 1 오디오를 디코딩하고, 디코딩된 제 1 오디오를 출력하는 단계(405); 제 2 전자 디바이스의 제 2 오디오 디코더에 의해 제 2 오디오를 디코딩하고, 제 2 전자 디바이스에 의해 재생하기 위해 디코딩된 제 2 오디오를 출력하는 단계(410); 제 1 전자 디바이스에서 비디오의 재생과, 제 2 전자 디바이스에서 제 2 오디오의 재생을 동기화하기 위한 사용자 명령을 수신하는 단계(415)를 포함하고, 사용자 명령에 응답하여, 방법은, 제 2 전자 디바이스의 캡쳐 디바이스에 의해, 제 1 전자 디바이스에서 제 1 오디오의 재생을 캡쳐하는 단계(505); 제 2 전자 디바이스에 의해, 출력된 디코딩된 제 1 오디오와 캡쳐된 제 1 오디오 사이의 오프셋을 결정하는 단계(510); 및 오프셋에 따라 디코딩된 제 2 오디오의 출력을 조정하는 단계(520)로서, 이에 따라 제 1 전자 디바이스에서 제 1 오디오의 재생이 제 2 전자 디바이스에서 제 2 오디오의 재생과 동기화되는, 제 2 오디오의 출력을 조정하는 단계를 더 포함한다.

Description

두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치{METHOD AND APPARATUS FOR SYNCHRONIZING PLAYBACKS AT TWO ELECTRONIC DEVICES}
실시예들의 본 원리는 두 개의 전자 디바이스의 재생을 동기화하는 방법 및 장치, 특히 두 개의 전자 디바이스 중 하나에서 비디오와 비디오에 연관된 제 1 오디오의 재생, 및 다른 전자 디바이스에서 제 1 오디오와 상이하고 비디오에 연관된 제 2 오디오의 재생을 동기화하는 방법 및 장치에 관한 것이다.
광대역 텔레비전(TV)과 모바일 TV와 같은 다양한 방식들은 오늘날 멀티미디어 스트림 또는 방송 프로그램을 최종 사용자에게 가져오기 위해 공존한다. 광대역 TV에서, 수신기는 보통 셋탑박스 또는 STB로 불리는, 수신 디바이스에 연결된 표준 TV 디바이스이다. 모바일 TV에서, 수신기는 모바일 폰, 개인용 휴대 정보 단말기(PDA) 또는 태블릿과 같은 모바일 단말기이다.
MPEG-2 스트림에서, 몇몇 구성요소, 예컨대 오디오와 비디오는 적절한 시간에 렌더링되기 위해 서로 간에 동기화된다. 이는 구성요소 간 동기화(inter-component synchronization)라고 불린다. 일반적인 예시는 립싱크로 잘 알려진 립 동기화인데, 이는 해당 비디오 상에서 움직이는 사람의 입술과 정확하게 동일한 시간에 오디오를 제공한다. 이러한 동기화는 보통 특정 타임 스탬프를 이용하여 달성된다. MPEG-2 스트림에서, 표현 타임 스탬프, 또는 PTS는 이러한 동기화를 보장한다. 오디오 샘플의 PTS는 내부 클럭(이는 MPEG-2에 또한 포함된 프로그램 클럭 참조 또는 PCR 덕분에 설정된다)에 관하여, 그것의 표현시간을 나타내고; 같은 방식으로, 비디오 샘플의 PTS는 또한 동일한 내부 클럭에 관하여, 그것의 표현 시간을 나타낸다.
그러나, 두 개의 전자 디바이스가 각각 비디오 스트림과 오디오 스트림을 수신할 때, 각각의 재생 사이의 동기화는 쉽게 달성될 수 없다. 따라서, 두 개의 상이한 수신 디바이스에 의해 각각 수신되는 오디오와 비디오를 동기화하기 위한 방법 및 장치에 대한 요구가 있다. 본 발명은 이들 및/또는 다른 이슈들을 다룬다.
본 발명의 양상에 따라, 제 1 전자 디바이스에서 비디오 및 연관된 제 1 오디오를 포함하는 프로그램의 재생과, 제 1 오디오도 수신하는 제 2 전자 디바이스에서 프로그램과 연관된 제 2 오디오의 재생을 동기화하는 방법이 개시된다. 방법은, 제 2 전자 디바이스에서 제 1 오디오 디코더에 의해 제 1 오디오를 디코딩하고, 디코딩된 제 1 오디오를 출력하는 단계; 제 2 전자 디바이스에서 제 2 오디오 디코더에 의해 제 2 오디오를 디코딩하고, 디코딩된 제 2 오디오를 제 2 전자 디바이스로 재생하기 위해 출력하는 단계; 제 1 전자 디바이스의 재생과 제 2 전자 디바이스에서 제 2 오디오의 재생을 동기화하기 위한 사용자 명령을 수신하는 단계를 포함하고; 사용자 명령에 대한 응답으로, 방법은, 제 2 전자 디바이스의 캡쳐 디바이스에 의해, 제 1 전자 디바이스에서 제 1 오디오의 재생을 캡쳐하는 단계; 제 2 전자 디바이스에 의해, 출력된 디코딩된 제 1 오디오와 캡쳐된 제 1 오디오 간의 오프셋을 결정하는 단계; 및 오프셋에 따라 디코딩된 제 2 오디오의 출력을 조정하는 단계를 더 포함하며, 이에 따라 제 1 전자 디바이스에서 제 1 오디오의 재생이 제 2 전자 디바이스에서 제 2 오디오의 재생과 동기화되도록 한다.
일 실시예에서, 사용자 명령은 사용자가 입력 매커니즘을 활성화함으로써 생선된다.
일 실시예에서, 방법은, 프로그램의 정상적인 재생 시 프로그램의 시작으로부터 멀리 떨어진 제 1 시간 간격인 제 1 위치로부터 제 2 전자 디바이스에 의해 제 2 오디오를 재생하는 단계를 더 포함하고, 여기서 제 2 오디오의 재생이 제 1 위치에 있을 때, 제 1 전자 디바이스에 의한 프로그램의 재생은 정상적인 재생 시 프로그램의 시작으로부터 멀리 떨어진 제 2 시간 간격인 제 2 위치에 있게 되는데, 여기서 제 1 시간 간격과 제 2 시간 간격 간의 차이는 미리 정의된 간격 이내이다.
일 실시예에서, 방법은 사용자 신호에 응답하여 제 2 오디오의 재생을 제 1 위치에 위치지정하는 단계를 더 포함한다.
다른 실시예에 있어서, 방법은, 오프셋을 결정하는 단계가 실패한 경우, 사용자에게 사용자 명령을 다시 입력할 것을 요청하는 단계를 더 포함하고, 캡쳐 단계와 오프셋을 결정하는 단계가 반복된다.
다른 실시예에서, 방법은, 제 1 및 제 2 오디오 디코더의 출력들이 동기화되도록, 제 1 오디오 디코더에 의해, 오프셋에 따라 디코딩된 제 1 오디오를 출력함으로써 출력을 조정하는 단계를 더 포함한다.
다른 실시예에서, 방법은, 제 2 전자 디바이스에 의한 제 2 오디오의 재생 전에, 제 1 오디오와 제 2 오디오를 제 2 전자 디바이스에 다운로드하는 단계를 더 포함한다. 제 2 전자 디바이스에 의해 수신된 제 1 및 제 2 오디오들과 제 1 전자 디바이스에 의해 수신된 프로그램은 둘 다 제 1 소스로부터 다운로드될 수 있거나 또는 각각 제 2 소스와 제 1 소스로부터 다운로드될 수 있다.
다른 실시예에서, 방법은, 디코딩된 제 1 오디오 내의 샘플과 연관된, 오프셋에 따라 새롭게 캡쳐된 오디오 샘플에 해당하는 표현 타임 스탬프를 결정하는 단계와, 결정된 표현 타임 스탬프와 연관된, 디코딩된 제 2 오디오 내의 샘플을 출력하는 단계를 포함하는 제 2 오디오의 재생을 조정하는 단계를 더 포함한다.
본 발명의 다른 양상에 따라, 제 2 전자 디바이스가 개시된다. 제 2 디바이스는, 제 2 전자 디바이스에 의해 수신된 제 1 및 제 2 오디오를 각각 디코딩하고, 디코딩된 제 1 및 제 2 오디오를 출력하기 위한 제 1 및 제 2 오디오 디코더로서, 프로그램에 연관된 제 1 및 제 2 오디오는 비디오 및 제 1 오디오를 포함하고 제 1 전자 디바이스에 의해 재생되는 제 1 및 제 2 오디오 디코더; 제 1 전자 디바이스에 의해 재생되는, 제 1 오디오를 캡쳐하기 위한 오디오 캡쳐 디바이스; 캡쳐된 재생 제 1 오디오, 및 제 1 오디오 디코더로부터 디코딩된 제 1 오디오를 수신하는 오디오 상관기; 및 프로세서가 제 2 전자 디바이스에서 제 2 오디오의 재생을 제 1 전자 디바이스에서 비디오의 재생과 동기화하기 위한 사용자 명령을 수신할 때, 오디오 상관기가 수신된 캡쳐된 재생 제 1 오디오 및 제 1 오디오 디코더로부터 출력된 수신된 디코딩된 제 1 오디오 사이의 오프셋을 결정할 것을 지시하도록 구성되고, 제 2 오디오 디코더가 오프셋에 따라 디코딩된 제 2 오디오를 출력할 것을 지시하도록 구성되는 프로세서를 포함한다.
일 실시예에서, 제 2 전자 디바이스는 제 1 위치로부터 제 2 전자 디바이스에 의해 제 2 오디오를 재생하는 비디오 플레이어를 더 포함하고, 여기서 제 1 위치는 프로그램의 정상적인 재생 시에 프로그램의 시작과 멀리 떨어진 제 1 시간 간격이다. 제 2 오디오의 재생이 제 1 위치에 있을 때, 제 1 전자 디바이스에서 프로그램의 재생은 제 2 위치에 있게 되고, 여기서 제 2 위치는 정상적인 재생 시에 프로그램의 시작으로부터 멀리 떨어진 제 2 시간 간격이다. 제 1 시간 간격과 제 2 시간 간격 간의 차이는 미리 정의된 간격 이내이다. 비디오 플레이어는 사용자 신호에 응답하여 제 1 위치에 제 2 오디오의 재생을 위치시킬 수 있다. 제 2 전자 디바이스는 사용자가 사용자 명령을 입력하는 입력 매커니즘(48, 49)을 포함할 수 있다. 오프셋 결정에 실패하는 경우, 프로세서는 사용자에게 사용자 명령을 다시 입력하도록 요청하고, 오디오 상관기가 오프셋을 다시 결정할 것을 지시하도록 구성될 수 있다.
일 실시예에서, 프로세서는, 제 1 오디오 디코더가 오프셋에 따라 디코딩된 제 1 오디오를 출력함으로써 출력을 조정할 것을 지시하여, 제 1 및 제 2 오디오 디코더의 출력들이 동기화되도록 구성될 수 있다.
다른 실시예에서, 제 1 오디오 및 제 2 오디오는, 제 2 전자 디바이스가 제 2 오디오를 재생하기 전에, 제 2 전자 디바이스(4)에 다운로드될 수 있다.
다른 실시예에서, 제 1 전자 디바이스에 의해 수신된 프로그램, 및 제 2 전자 디바이스에 의해 수신된 제 1 오디오와 제 2 오디오는, 제 1 소스로부터, 또는 제 2 소스와 제 1 소스로부터 각각 다운로드된다.
다른 실시예에서, 프로세서는, 오디오 상관기가 디코딩된 제 1 오디오 내의 샘플과 연관된, 오프셋에 따라 새롭게 캡쳐된 오디오 샘플에 해당하는 표현 타임 스탬프를 결정할 것을 지시하도록 구성되고, 제 2 오디오 디코더가 결정된 표현 타임 스탬프와 연관된, 디코딩된 제 2 오디오 내의 샘플을 출력할 것을 지시하도록 구성된다.
본 발명의 다른 양상에 따라, 제 2 전자 디바이스가 개시된다. 제 2 디바이스는, 제 2 전자 디바이스에 의해 수신된 제 1 및 제 2 오디오를 각각 디코딩하고, 디코딩된 제 1 및 제 2 오디오를 출력하기 위한 제 1 및 제 2 수단으로서, 프로그램에 연관된 제 1 및 제 2 오디오는 비디오 및 제 1 오디오를 포함하고 제 1 전자 디바이스에 의해 재생되는, 제 1 및 제 2 수단; 제 1 전자 디바이스에 의해 재생되는, 제 1 오디오를 캡쳐하기 위한 수단; 캡쳐된 재생 제 1 오디오, 및 제 1 수단으로부터 디코딩된 제 1 오디오를 수신하기 위한 상관 수단; 및 프로세싱 수단이 제 2 전자 디바이스에서 제 2 오디오의 재생을 제 1 전자 디바이스에서 비디오의 재생과 동기화하기 위한 사용자 명령을 수신할 때, 상관 수단이 수신된 캡쳐된 재생 제 1 오디오 및 제 1 수단으로부터 출력된 수신된 디코딩된 제 1 오디오 사이의 오프셋을 결정할 것을 지시하도록 구성되고, 제 2 수단이 오프셋에 따라 디코딩된 제 2 오디오를 출력할 것을 지시하도록 구성되는 프로세싱 수단을 포함한다. 제 2 전자 디바이스는 사용자가 사용자 명령을 입력하기 위한 수단을 포함할 수 있다.
일 실시예에서, 제 2 전자 디바이스는 제 1 위치로부터 제 2 전자 디바이스에 의해 제 2 오디오를 재생하는 비디오 플레이어를 더 포함하고, 여기서 제 1 위치는 프로그램의 정상적인 재생 시에 프로그램의 시작과 멀리 떨어진 제 1 시간 간격이다. 제 2 오디오의 재생이 제 1 위치에 있을 때, 제 1 전자 디바이스에서 프로그램의 재생은 제 2 위치에 있게 되고, 여기서 제 2 위치는 정상적인 재생 시에 프로그램의 시작으로부터 멀리 떨어진 제 2 시간 간격이다. 제 1 시간 간격과 제 2 시간 간격 간의 차이는 미리 정의된 간격 이내이다. 비디오 플레이어는 사용자 신호에 응답하여 제 1 위치에 제 2 오디오의 재생을 위치시킬 수 있다.
다른 실시예에서, 오프셋의 결정이 실패하는 경우, 프로세싱 수단은 사용자가 사용자 명령을 다시 입력할 것을 요청하도록 구성될 수 있고, 상관 수단이 오프셋을 다시 결정할 것을 지시하도록 구성될 수 있다.
다른 실시예에서, 프로세싱 수단은 제 1 수단이 오프셋에 따라 디코딩된 제 1 오디오를 출력함으로써 출력을 조정할 것을 지시하여, 제 1 및 제 2 수단의 출력들이 동기화되도록 구성될 수 있다.
다른 실시예에서, 제 1 오디오 및 제 2 오디오는, 제 2 전자 디바이스가 제 2 오디오를 재생하기 전에, 제 2 전자 디바이스에 다운로드될 수 있다.
다른 실시예에서, 제 1 전자 디바이스에 의해 수신된 프로그램, 및 제 2 전자 디바이스에 의해 수신된 제 1 오디오와 제 2 오디오는, 제 1 소스로부터, 또는 제 2 소스와 제 1 소스로부터 각각 다운로드될 수 있다.
다른 실시예에서, 프로세싱 수단은, 상관 수단이 디코딩된 제 1 오디오 내의 샘플과 연관된, 오프셋에 따라 새롭게 캡쳐된 오디오 샘플에 해당하는 표현 타임 스탬프를 결정할 것을 지시하도록 구성되고, 제 2 수단이 결정된 표현 타임 스탬프와 연관된, 디코딩된 제 2 오디오 내의 샘플을 출력할 것을 지시하도록 구성될 수 있다.
모든 세 개의 양상에서, 제 1 전자 디바이스는 텔레비전 수신기, 씨어터 비디오 재생 디바이스, 및 컴퓨터 중 하나일 수 있다.
본 발명의 상기 언급된 특징과 이점들, 및 다른 특징과 이점들, 그리고 이들을 얻는 방식은 더욱 명확해질 것이고, 본 발명은 첨부 도면과 함께 본 발명의 실시예의 설명을 참조하여 더 잘 이해될 것이다.
본 발명을 통해, 두 개의 상이한 수신 디바이스에 의해 각각 수신되는 오디오와 비디오를 동기화하기 위한 방법 및 장치가 제공된다.
도 1은 본 발명의 예시적인 실시예에 따른 시스템을 도시한다.
도 2는 본 발명의 예시적인 실시예에 따라 도 1에 도시된 시스템의 STB(2), TV(3), 및 모바일 단말기(4)를 더 상세하게 도시한다.
도 3은 모바일 단말기(4)의 디스플레이(48) 상의 비디오 플레이어의 예시적인 사용자 인터페이스를 도시한다.
도 4는 본 발명의 예시적인 실시예에 따라 TV(3)에서 비디오의 재생과 모바일 단말기(4)에서 제 2 오디오의 재생을 동기화하기 위해, 모바일 단말기(4)에서 수행되는 예시적인 프로세스(400)를 도시한다.
도 5는 본 발명의 예시적인 실시예에 따라 TV(3)에서 비디오의 재생과 모바일 단말기(4)에서 제 2 오디오의 재생을 동기화하기 위한 사용자 명령에 응답하여 두 개의 재생을 동기화하기 위한 예시적인 프로세스(420)을 도시한다.
본 명세서에 명시된 예시들은 본 발명의 바람직한 실시예들을 도시하고, 이러한 예시들은 어떠한 방식으로 본 발명의 범위를 제한하는 것으로서 이해되지 않아야한다.
도면들, 특히 도 1을 보면, 본 발명의 실시예를 따르는 시스템의 블록도가 도시된다. MPEG-2 전송 스트림과 같은 오디오-비디오 스트림인 제 1 스트림(8)은, 예를 들면 광대역 네트워크인 제 1 네트워크(5) 상에서 비디오 서버(9)에 의해 전송된다. 제 1 스트림(8)은 셋탑박스(STB)(2)에 의해 수신된다. 제 1 스트림(8)은 제 1 오디오 및 연관된 비디오를 포함하는 프로그램을 운반하고, 프로그램은 STB(2)에 의해 프로그램이 프로세싱된 후, 텔레비전(TV)(3)에 의해 재생된다. 종래 기술에 알려진 것처럼, STB(2)는 제 1 스트림(8)에 내장된 동기화 신호를 사용함으로써 제 1 오디오와 비디오를 동기화한다. 따라서, TV(3)에서 비디오와 제 1 오디오의 재생은 동기화된다.
본 명세서에서 사용되는 용어 "동기화"는, 오디오와 비디오 사이의 시간 차이가, 오디오가 비디오에 관하여 앞서는 경우 20ms(milliseconds)를 초과하지 않거나, 또는 오디오가 비디오에 관하여 딜레이되는 경우 40ms을 초과하지 않는다는 것을 의미한다.
비록 MPEG-2 인코딩 포맷이 예시로서 사용되지만, DVB(Digital Video Broadcasting), DVB-H(Digital Video Broadcasting-Handheld), ATSC-M/H(Advanced Television systems Committee-Mobile/Handheld), 및 ATSC A/53에 따른 인코딩 또한 사용될 수 있다.
게다가, 제 1 스트림(8)은 위성, 지상, 또는 케이블을 통한 방송 소스로부터 방송되는 방송 프로그램일 수 있다. 제 1 스트림(8)은 또한 로컬 드라이브, 네트워크 드라이브, 또는 STB(2)에 의해 접근가능한 다른 저장 디바이스로부터 비롯될 수 있다. 따라서, 몇몇 실시예에서, 제 1 네트워크(5)는 필요하지 않다. 제 1 스트림(8)은 또한 아날로그 신호를 나타낼 수 있다. 일 실시예에서, STB(2)는 TV(3)로 통합되어, TV(3)가 기능들의 두 개의 세트를 수행하도록 할 수 있다.
제 1 오디오 및 제 2 오디오를 포함하는 제 2 스트림(7)은 제 2 네트워크(6)를 통한 비디오 서버(1)에 의해 모바일 단말기(4)로 전송된다. 제 2 오디오는 제 1 스트림(8) 내의 비디오에 연관되지만 제 1 오디오와는 상이하다. 예를 들면, 제 2 오디오는 제 1 오디오와 상이한 언어를 운반한다. 본 발명의 실시예의 원리에 따르면, 사용자는 두 개의 동기화된 재생으로 TV(3) 상에서 비디오를 볼 수 있고, 모바일 단말기(4) 상에서 제 2 오디오를 들을 수 있다.
제 2 스트림(7)은 요구 시에 모바일 단말기(4)로 전송되고, 제 2 스트림(7)은 또한 연관 비디오를 포함할 수 있다. 제 1 스트림(8)은 STB(2)로 방송되거나, 또는 요구 시에 STB(2)로 전송될 수 있다.
제 2 네트워크(6)는 또한 인터넷, 위성 네트워크, 와이파이 네트워크, 또는 무선으로 접근가능하거나 또는 모바일 단말기(4)에 의해 유선 연결된 다른 데이터 네트워크일 수 있다.
실시예에 따라, 제 2 스트림(7)은, 모바일 단말기(4)가 인코딩 포맷을 지지하는 한, DVB-H 네트워크, ATSC-M/H 네트워크, 또는 다른 인코딩 표준을 지지하는 다른 네트워크를 통해 분배될 수 있다. 제 2 스트림(7)은 또한 모바일 단말기(4)에 의해 접근가능한 저장 디바이스, 예를 들면 무선으로 모바일 단말기(4)에 연결되거나, 또는 USB와 같이 유선으로 모바일 단말기(4)에 연결된 저장 디바이스로부터 수신될 수 있다. 따라서, 몇몇 실시예에서, 제 2 네트워크(6)는 필요하지 않다. 비록 모바일 단말기로 도시되었지만, 모바일 단말기(4)는 셀룰러 단말기, 태블릿, 와이파이 수신기, DVB-T 단말기, DVB-H 단말기, 및 ATSC-M/H 단말기와 같은 디바이스일 수 있다.
STB(2)는, 비디오를 나타내는 하나 이상의 디스플레이와 제 1 오디오의 오디오 신호를 출력하기 위한 하나 이상의 스피커를 포함하는 공용 핫 스팟에 위치될 수 있다. 공용 핫 스팟에 있을 때, 최종 사용자는 핫 스팟에 디스플레이된 비디오와 연관된 오디오를 모바일 단말기 상에서 듣는다. 본 발명의 실시예의 원리에 따라, 모바일 단말기(4)에 의해 재생되는 오디오는, 모바일 단말기(4)에 부착되거나 포함된 마이크를 활용하여, STB(2)에 의해 재생되는 비디오와 동기화된다. 핫 스팟에 있는 다른 사용자들은 동일한 비디오를 보지만, 예를 들면 그 비디오와 연관된 상이한 언어를 운반하는 상이한 오디오 스트림을 듣게 된다.
도 2는 STB(2), TV(3), 및 모바일 단말기(4)를 더욱 상세히 도시한다. 이전에 언급된 것처럼, STB(2)의 기능은 TV(3)로 통합될 수 있다. STB(2)는 데이터 디멀티플렉서(21), 비디오 디코더(23), 및 오디오 디코더(25)를 포함한다. TV(3)는 디스플레이(31) 및 라우드 스피커(33)를 포함한다. 데이터 디멀티플렉서(21)는 제 1 오디오 스트림과 비디오 스트림을 제 1 네트워크(5)로부터 수신된 제 1 스트림(8)에서 분리하고 출력한다. 이전에 언급한 것처럼, 비록 제 1 스트림(8)이 네트워크로부터 비롯되는 것으로서 도시되지만, 제 1 스트림(8)은 로컬 드라이브, 네트워크 드라이브, 또는 STB(2)에 의해 접근가능한 다른 저장 디바이스로부터 비롯될 수 있다. 다른 실시예에서, 제 1 스트림(8)은 아날로그 신호일 수 있고, 비디오 디코더(23) 및 오디오 디코더(25)는 각각 예를 들어, 비디오 복조기 및 사운드 복조기에 의해 교체될 수 있다.
그런 다음, 비디오 스트림은 비디오 디코더(23)에 의해 디코딩된다. 디코딩된 비디오 신호는 TV(3)에 의해 수신되고 디스플레이(31) 상에 디스플레이된다. 오디오 디코더(25)는 제 1 오디오 스트림을 디코딩하고 디코딩된 제 1 오디오 신호를 TV(3)로 출력한다. TV(3)는 디코딩된 오디오 신호에 응답하여 스피커(33)를 통해 오디오 출력 신호, 즉 재생 제 1 오디오 신호를 생성한다.
본 실시예에서 모바일 단말기(4)는 메인 프로세서(40), 오디오 캡쳐(41), 오디오 상관기(42), 제 1 오디오 디코더(43), 데이터 멀티플렉서(44), 제 2 오디오 디코더(45), 헤드셋 또는 이어폰과 같은 스피커(46), 마이크(47), 디스플레이(48), 및 키보드(49)를 포함한다. 메인 프로세서(40)는 모바일 단말기(4)의 메인 컨트롤러이다. 오디오 캡쳐(41), 오디오 상관기(42), 데이터 디멀티플렉서(44), 및/또는 제 1 및 제 2 오디오 디코더들(43 및 45)과 같은 몇몇 요소들의 기능은 메인 프로세서(40)로 통합될 수 있다.
동작에서, 데이터 디멀티플렉서(44)는 제 2 네트워크(6)로부터 수신된 제 2 스트림(7)으로부터 제 1 오디오 스트림과 제 2 오디오 스트림을 분리하고 추출한다. 데이터 디멀티플렉서(44)는 제 1 및 제 2 오디오 스트림들을 각각 제 1 오디오 디코더(43) 및 제 2 오디오 디코더(45)로 출력한다. 제 1 및 제 2 오디오 디코더들(43 및 45)은 각각 제 1 및 제 2 오디오 스트림에 응답하여 디코딩된 제 1 및 제 2 오디오 신호들을 생성한다. 헤드셋(46)은 디코딩된 제 2 오디오 신호를 오디오 신호, 즉 재생 제 2 오디오 신호로서 렌더링한다.
마이크(47)는 스피커(33)로부터 오디오 출력 신호를 수신한다. 마이크(47)로부터 수신된 오디오 신호는 오디오 캡쳐(41)에 의해 디지털화되고, 오디오 캡쳐(41)는 또한 버퍼로서 역할하며 디지털화된 오디오 신호를 오디오 상관기(42)로 전송한다. 디지털화된 오디오 및 디코딩된 제 1 오디오 신호는 제 1 오디오를 나타내지만, 서로 동기화하지 않을 수 있다.
오디오 상관기(42)는 오디오 캡쳐(41)로부터의 디지털화된 오디오 신호와 제 1 오디오 디코더(43)로부터의 디코딩된 제 1 오디오 신호 사이의 오프셋을 결정한다. 오디오 상관기(42)는, 디지털화된 오디오 신호의 주파수 범위의 적어도 부분을 디코딩된 제 1 오디오 신호의 주파수 범위의 적어도 부분과 상관시킴으로써 오프셋을 결정할 수 있다. 예를 들면, 디지털화된 오디오 신호와 디코딩될 제 1 오디오 신호의 상관 관계는 각각의 신호의 베이스 구성요소, 즉 중심 채널 신호 구성요소 등을 이용하여 수행될 수 있다.
대안적으로, 오디오 상관기(42)는, 종래 기술에서 알려진 것처럼, 오프셋을 결정하기 위해 디코딩된 제 1 오디오 신호와 디지털화된 오디오 신호의 신호 특성을 해석할 수 있다. 예를 들면, 각 신호의 신호 대 잡음비는 오프셋 계산에 관한 신뢰도를 제공하기 위해 결정되고, 그런 다음 상관될 수 있다.
다른 대안으로, 오디오 상관기(42)는 오프셋을 결정하기 위해, 디지털화된 오디오 신호 및 디코딩된 제 1 오디오 신호의 피크 레벨, 엔벨로프 및/또는 파형을 해석할 수 있다.
일단 오프셋이 결정되면, 오디오 상관기(42)는 오프셋에 따라, 디코딩된 제 2 오디오 신호가 스피커(46)에 뒤처지거나 앞서는 것을 제 2 오디오 디코더(45)에 알림으로써, 모바일 단말기(4)에서의 제 2 오디오의 재생이 TV(3)에서의 비디오의 재생과 동기화되도록 한다. 따라서, 제 1 전자 디바이스에서의 제 1 오디오의 재생과 제 2 전자 디바이스에서의 제 2 오디오의 재생 사이의 오프셋은 제거된다. 예를 들면, 오디오 상관기(42)가 오프셋이 2초라는 것을 결정하는 경우, 즉 스피커(33)로부터 디지털화된 오디오 신호가 디코딩된 제 1 오디오 신호에 앞서는 경우, 제 2 오디오 디코더(45)는 2초만에 스피커(46)로 오디오 출력을 준다. 만약 오디오 상관기(42)가 오프셋이 마이너스 2초라는 것을 결정하는 경우, 즉 스피커(33)로부터 디지털화된 오디오 신호가 디코딩된 제 1 오디오 신호에 뒤처지는 경우, 제 2 오디오 디코더(45)는 2초 전부터 출력 오디오 신호를 재출력한다. 비록 이 실시예에서, 디코딩된 제 1 오디오 신호가 오프셋을 계산하기 위한 참조로서 사용되지만, 디지털화된 오디오 신호 또한 역 오프셋의 사인을 초래하는 참조로서 사용될 수 있다.
제 2 오디오 디코더(45)에게 오프셋을 알리는 것 대신, 오디오 상관기(42)는, 결정된 오프셋에 따라 가장 최근에 수신된 디지털화된 오디오 신호와 동기화되는 디코딩된 제 1 오디오 신호의 표현 타임 스탬프(PTS)를 결정할 수 있고 PTS를 제 2 오디오 디코더(45)에게 알림으로써, 제 2 오디오 디코더(45)가 결정된 PTS에 따라 디코딩된 제 2 오디오 신호를 출력하도록 할 수 있다.
오프셋을 결정하기 위해, 및/또는 스피커(33)로부터의 디지털화된 오디오 신호와 디코딩된 제 1 오디오 신호를 저장하는 버퍼(미 도시)의 크기를 줄이기 위해 오디오 상관기(42)에 대한 시간을 감소시키기 위해, 디지털화된 오디오 신호와 디코딩된 제 1 오디오 신호 사이의 실제 오프셋은 미리 결정된 시간, 예를 들면 10초 보다 작아야한다. 이 접근법은 또한 제 1 및 제 2 오디오 디코더들(43 및 45)에서 사용되는 버퍼(미 도시)의 크기를 줄일 수 있다.
본 발명의 실시예의 원리에 따라, 모바일 단말기(4)의 사용자는 TV(3)에서 비디오 재생의 경과 시간을 결정해야 한다. 이 정보는 종래 기술에서 알려진 것처럼 TV(3)의 디스플레이(31) 상에서 나타날 수 있거나, 또는 정보가 디스플레이(31) 상에 나타나지 않는 경우, 사용자는 프로그램의 시작 시간을, 예를 들면 프로그램 가이드로부터 찾을 수 있고, 현재 시간을 이용하여 경과 시간을 계산할 수 있다. 프로그램이 로컬 드라이브로부터 재생되는 경우, 사용자는, 재생 시작 시간을 현재 시간에서 뺌으로써, 경과 시간을 쉽게 계산할 수 있다. 일단 사용자가 비디오 신호의 경과 시간을 결정하면, 사용자는 모바일 단말기(4)에서의 제 2 오디오의 재생을, TV(3)에서의 비디오의 재생의 결정된 경과 시간의 미리 결정된 오프셋 또는 시간 간격, 바람직하게 10초 이내인 경과 시간을 갖는 위치로 조정해야 한다. 그런 다음, 사용자는 입력 매커니즘을 활성화함으로써, 예를 들면 키보드(49)에서 특정 키를 누름으로써, 디스플레이(48) 상에 디스플레이된 특정 가상 키를 누름으로써, 또는 디스플레이(48)나 카메라(미 도시)를 통하여 메인 프로세서가 특정 제스쳐를 검출할 수 있다면 디스플레이(48) 앞에서 특정 제스쳐를 생성함으로써, 모바일 단말기(4)가 TV(3)에서의 프로그램 재생과 모바일 단말기(4)에서의 제 2 오디오의 재생을 동기화할 것을 지시한다.
사용자는, 예를 들면 웹 브라우저로부터 제 2 오디오를 선택함으로써, 모바일 단말기(4) 상에서 제 2 오디오의 재생을 시작할 수 있다. 제 2 오디오가 선택된 후에, 모바일 단말기(4)는 오디오/비디오 플레이어(300)를 작동시키며, 오디오/비디오 플레이어(300)의 사용자 인터페이스는 도 3에 도시되고, 제 2 오디오의 재생 또는 제 2 오디오와 비디오의 조합의 재생을 자동으로 또는 또 하나의(another) 사용자 신호에 응답하여 시작한다. 도 3에 도시된 것처럼, 상태 바(340)는 재생 상태를 도시한다. 현재 재생 위치는 인디케이터(330)에 의해 나타나고, 프로그램의 전체 시간을 인디케이터(310)에 의해 나타나며, 남은 시간은 인디케이터(320)에 의해 나타난다. 전체 시간이 01:15:00(1시간 15분)으로 나타나 있고, 남은 시간은 39:33(39분 33초)로 나타나 있기 때문에, 사용자는 경과 시간을 35분 27초로 결정할 수 있다. 종래 기술에서 알려진 것처럼, 사용자는 인디케이터(330)를 원하는 위치로 드래그함으로써 또는 상태 바(340)의 원하는 위치에 클릭함으로써 재생 위치를 조정할 수 있다. 인디케이터들(310 및 320)에 기초하여, 사용자는 제 2 오디오의 재생 또는 제 2 오디오와 비디오 조합의 재생을 TV(3)에서 비디오의 재생의 예시적인 미리 정의된 오프셋, 즉 10초 이내로 조정할 수 있다.
종래 기술에 잘 알려진 것처럼, 사용자 입력은 키보드(49) 또는 디스플레이(48) 또는 두 개 모두로부터 비롯될 수 있다. 그런 다음, 메인 프로세서(40)는 제 1 및 제 2 오디오 디코더들(43 및 45)이 원하는 동기화 기능을 실행할 것을 지시한다.
일단 사용자가 모바일 단말기(4)에서 재생 위치를 선택하면, 사용자는 키보드(49) 또는 디스플레이(48)를 통해, 메인 프로세서(40)가 TV(3)에서의 비디오 재생과 모바일 단말기(4)에서의 제 2 비디오 재생을 동기화하도록 요청하는 또 다른 신호를 입력할 수 있다. 일단 메인 프로세서(40)가 두 개의 재생을 동기화하기 위한 사용자 신호를 수신하면, 메인 프로세서(40)는 오디오 캡쳐(41)가 TV(3)에서의 제 1 오디오의 재생을 캡쳐하도록, 그리고 오디오 상관기(42)가 오프셋 또는 원하는 PTS를 결정하도록 활성화하거나 지시한다. 메인 프로세서(40)가 동기화하도록 요청하는 신호는, 키보드(49)의 스페셜 키, 디스플레이(48) 상의 스페셜 가상 키, 또는 터치 감응 디스플레이(48)나 카메라(미 도시)를 통해 프로세서(40)에 의해 검출 가능한 특정 핸드 제스쳐를 활성화함으로써 생성될 수 있다.
도 4를 참조하면, TV(3)에서 비디오의 재생과 모바일 단말기(4)에서 제 2 오디오의 재생을 동기화하기 위해, 모바일 단말기(4)에서 수행되는 예시적인 프로세스(400)가 도시된다. 프로세스(400)는 도 1 내지 3에서 도시된 실시예들을 이용하여 도시된다. 제 1 전자 디바이스, 도시적으로 TV(3)는 비디오 및 연관된 제 1 오디오를 포함한 프로그램을 재생한다. 프로그램에 포함된 비디오 및 제 1 오디오는 제 1 스트림(8)의 구성요소이다. 제 1 스트림(8)은 아날로그 형태일 수 있다. 제 1 전자 디바이스에 프로그램의 재생 시, 제 1 오디오와 비디오는 동기화된다는 것을 가정한다. 이것은, 종래 기술에 잘 알려진 것처럼, 제 1 스트림(8)에 내장된 동기화 신호를 사용하는 경우이다. 제 1 전자 디바이스는 또한 씨어터 비디오 재생 디바이스 또는 컴퓨터일 수 있다.
제 2 전자 디바이스, 도시적으로 모바일 단말기(4)는 프로그램에 연관된 제 2 오디오를 재생한다. 제 2 전자 디바이스는 또한 제 1 오디오를 수신하고 디코딩한다. 제 2 전자 디바이스에 의해 수신되는 제 1 및 제 2 오디오들은 제 2 스트림(7)의 구성요소이다. 비록 모바일 단말기로서 도시되지만, 제 2 전자 디바이스는, 제 1 전자 디바이스에서의 제 1 오디오의 재생을 수신하고, 바람직하게는 이어폰 출력을 가짐으로써, 제 2 오디오의 재생이 제 1 전자 디바이스로부터 제 1 오디오의 재생을 캡쳐하는 것에 영향을 미치치 않게 하는, 임의의 전자 디바이스일 수 있다.
만약 메인 프로세서(40)가 오디오 캡쳐(41), 오디오 상관기(42), 제 1 및 제 2 오디오 디코더들(43 및 45)의 기능을 수행한다면, 프로세스(400)는 메인 프로세서(40)에 의해 수행된다. 그러나, 이러한 구성요소들은 비록 메인 프로세서(40) 내부라도 여전히 존재한다.
단계(405)에서, 메인 프로세서(40)는, 제 1 오디오 디코더(43)가 제 1 오디오를 디코딩하고 디코딩된 제 1 오디오를 출력하도록 적용하거나 지시하도록 동작하거나 구성된다. 제 1 오디오 디코더(43)가 오디오 상관기(42)로 출력될, 출력 버퍼 내의 어떤 샘플을 선택할 수 있도록, 제 1 오디오 디코더(43)는 출력 버퍼를 가져야한다.
단계(410)에서, 메인 프로세서(40)는, 제 2 오디오 디코더(45)가 제 2 오디오를 디코딩하고 제 2 전자 디바이스로 재생하기 위해 디코딩된 제 2 오디오를 출력하도록 적용하거나 지시하도록 동작하거나 구성된다. 제 2 오디오 디코더(45)가 재생을 위해 헤드셋(46)으로 출력될, 출력 버퍼 내의 어떤 샘플을 선택할 수 있도록, 제 2 오디오 디코더(45)는 출력 버퍼를 가져야한다.
단계(415)에서, 메인 프로세서(40)는, 제 1 전자 디바이스에서 비디오의 재생과 제 2 전자 디바이스에서 제 2 오디오의 재생을 동기화하기 위한 사용자 명령을 수신하도록 동작하거나 구성된다. 사용자 입력은 입력 매커니즘을 활성화함으로써 생성되고, 이는 디스플레이(46) 상에 디스플레이된 특정 아이콘, 디스플레이(46) 앞에서의 특정 사용자 제스쳐, 또는 키보드(49) 상의 특정 키일 수 있다.
동기화하기 위한 사용자 명령에 응답하여, 단계(420)에서 다른 요소들과 협력하는 메인 프로세서(40)는 두 개의 재생을 동기화하도록 동작하거나 구성된다. 단계(420)의 도시적인 프로세스 흐름은 도 5에 도시된다.
단계(505)에서, 메인 프로세서(40)는 오디오 캡쳐(41)가, 마이크(47)와 같은 제 2 전자 디바이스의 캡쳐 디바이스에 의해, 제 1 전자 디바이스에서의 제 1 오디오의 재생을 캡쳐하도록 적용하거나 지시하도록 동작하거나 구성된다. 단계(510)에서 메인 프로세서(40)는 또한 오디오 상관기(42)가, 모바일 단말기(4)의 제 1 오디오 디코더로부터 디코딩된 제 1 오디오와, 오디오 캡쳐(41)에 의해 디지털화된 캡쳐된 제 1 오디오 사이의 오프셋을 결정하도록 적용하거나 지시하도록 동작하거나 구성된다. 그런 다음, 메인 프로세서(40)는 제 2 오디오 디코더(45)가, 오프셋에 따라 디코딩된 제 2 오디오를 출력하는 것을 조정함으로써 제 2 오디오의 재생을 조정하고, 이로 인해 제 1 전자 디바이스에서 제 1 오디오의 재생이 제 2 전자 디바이스에서 제 2 오디오의 재생과 동기화되도록 적용하거나 지시하도록 동작하거나 구성된다. TV(3)에서 제 1 오디오와 비디오의 재생이 동기화되기 때문에, 그리고 TV(3)에서 제 1 오디오의 재생과 모바일 단말기(4)에서 제 2 오디오의 재생이 동기화되기 때문에, TV(3)에서 비디오의 재생과 모바일 단말기(4)에서 제 2 오디오의 재생 또한 동기화된다.
제 2 오디오 디코더(45), 및 사용자 인터페이스가 도 3에서와 같이 도시될 수 있는 비디오 플레이어(미 도시)와 같은 다른 구성 요소들과 협력하는 메인 프로세서(40)는, 프로그램의 정상적인 재생 시 프로그램의 시작과 멀리 떨어진 제 1 시간 간격인 제 1 위치로부터 제 2 오디오를 재생하도록 동작하거나 구성된다. 여기서 제 2 오디오의 재생이 제 1 위치에 있을 때, 제 1 전자 디바이스에서 프로그램의 재생은 정상적인 재생 시 프로그램의 시작과 멀리 떨어진 제 2 시간 간격인 제 2 위치에 있게 되며, 여기서 제 1 시간 간격과 제 2 시간 간격 간의 차이는 미리 정의된 간격 이내이다.
미리 정의된 간격은 사용자 조정 가능하며, 바람직하게는 10초 이내이고, 이에 따라 동기화는 빨리 달성될 수 있다. 도 3에 관하여 이전에 설명된 것처럼, 사용자는 사용자 신호를 통해 제 1 위치에서 시작하도록 제 2 오디오의 재생을 조정하거나 위치시킬 수 있다. 사용자 신호에 응답하여, 메인 프로세서(40)는 제 2 오디오 디코더(45)가, 예를 들면 제 1 위치에 대응하는 디코딩된 제 2 오디오에 샘플을 출력함으로써, 디코딩된 제 2 오디오의 출력을 조정할 것을 지시하도록 동작하거나 구성된다.
모바일 단말기(4)에 제 2 오디오를 제공하는 서버가 STB(2)로 전송된 비디오의 위치를 아는 경우, 제 2 오디오를 제공하는 서버는, 전송된 비디오의 현재 위치에 대응하는 제 2 오디오 내의 위치를 결정할 수 있고, 사용자 입력에 응답하여 제 2 오디오를 대응하는 위치로부터, 예를 들어 서버 웹 사이트 상에서 아이콘을 활성화하는 서버로 전송할 수 있다. 즉, 제 1 위치를 위치지정하는 것은 모바일 단말기(4)에서 또는 제 2 오디오를 전송하는 서버에서 행해질 수 있다.
일 실시예에서, 제 1 시간 간격과 제 2 시간 간격 사이의 차이가 미리 정의된 간격 이상이라면, 메인 프로세서(40)는 사용자가 두 개의 재생들을 동기화하기 위해 사용자 명령에 응답하여 제 1 위치를 조정할 것을 요청하도록 동작하거나 구성된다.
다른 실시예에서, 오프셋을 결정하는 단계가 실패하면, 메인 프로세서(40)는 사용자가 다시 두 개의 재생을 동기화하기 위한 사용자 명령을 입력할 것을 요청하도록 동작하거나 구성되며, 캡쳐 단계와 오프셋을 결정하는 단계가 반복된다.
본 발명의 실시예의 원리에 따라, 제 2 오디오 디코더(45)로부터 헤드셋(46)에 출력된 디코딩된 제 2 오디오가 제 1 위치로 조정될 때, 제 1 오디오 디코더(43)의 출력은 제 2 오디오 디코더(45)의 출력과 동기화되도록 자동으로 조정되며, 이로 인해 디코딩된 제 1 오디오 내의 출력 샘플은 또한 제 1 위치에 대응한다. 즉, 두 개의 오디오 디코더들의 출력은 동기화된다. 즉, 제 2 오디오 디코더(45)로부터의 출력 샘플들은 제 1 오디오 디코더(43)로부터의 출력 샘플들에 대응한다. 예를 들면, 제 1 오디오 디코더(43)로부터의 현재 출력 샘플과 연관된 PTS와 제 2 오디오 디코더(45)로부터의 현재 출력 샘플과 연관된 PTS는 동일하다.
즉, 메인 프로세서(40)는 제 1 오디오 디코더(43)가 오프셋에 따라 디코딩된 제 1 오디오를 출력함으로써 출력을 조정하도록 지시할 수 있고, 이로 인해 제 1 및 제 2 오디오 디코더들의 출력은 동기화된다.
다른 실시예에서, 메인 프로세서(40)는 제 1 오디오 디코더(43)가, 제 1 전자 디바이스에서 비디오의 재생과 제 2 전자 디바이스의 제 2 오디오의 재생을 동기화하기 위한 사용자 명령 발생의 수신에 응답하여, 제 2 오디오 디코더(45)와 동기화되도록 지시할 수 있다.
제 1 및 제 2 오디오 디코더(43 및 45)의 출력들을 동기화하는 것의 이점은, 사용자가 제 1 전자 디바이스에서 비디오의 재생과 제 2 전자 디바이스에서 제 2 오디오의 재생을 동기화하기 위한 사용자 명령을 아무때나 전송할 수 있다는 것이며, 두 개의 오디오 디코더들은 본 발명의 본 실시예에 따라 동기화를 수행할 준비가 될 것이다.
다른 실시예에서, 제 1 및 제 2 오디오는, 모바일 단말기(4)가 제 2 오디오를 재생하기 전에, 모바일 단말기(4)에 미리 다운로드된다. 일 실시예에서, 제 2 오디오의 재생은 모바일 단말기(4)에 의해 수신된 비디오의 재생을 포함할 수 있다.
일 실시예에서, 제 1 및 제 2 오디오들은, 동일한 소스, 예를 들면 제 1 전자 디바이스에 프로그램을 전송하는 서비스 제공자의 동일한 웹 사이트로부터 제 2 전자 디바이스로 다운로드될 수 있다. 다른 실시예에서, 제 2 오디오는 제 1 전자 디바이스에 프로그램을 전송하는 소스와는 상이한 소스로부터 다운로드될 수 있다. 예를 들면, STB(2)에 의해 수신되는 프로그램은 서비스 제공자의 방송 소스로부터 수신되고, 제 2 전자 디바이스에 의해 수신되는 제 2 오디오는 서비스 제공자에 의해 후원되는 웹 사이트로부터 다운로드된다.
사실상, 제 2 전자 디바이스에 의한 제 2 오디오 수신의 대역폭이 매우 작을 때, 사용자는 제 2 오디오를 수신하기 위해 다른 소스로 전환할 수 있다. 이는 사용자가 아주 낮은 대역폭을 갖는 스트리밍 소스를 선택할 때 일어날 수 있고, 사용자는 제 2 오디오의 재생을 제 1 위치에 조정할 수 없다.
다른 실시예에서, 메인 프로세서(40)는 오디오 상관기(42)가, 오프셋에 따라 PTS를 결정하고 제 2 오디오 디코더(45)에 PTS를 제공할 것을 지시하도록 동작하거나 구성되고, 제 2 오디오 디코더(45)는 PTS와 연관된 디코딩된 샘플로부터 출력해야한다. 다른 실시예에서, 메인 프로세서(40)는 오디오 상관기(42)가, 제 1 오디오 디코더(43)에 동일한 PTS를 제공할 것을 지시하도록 동작하거나 구성되고, 이로 인해 제 1 오디오 디코더(43)가 PTS와 연관된 디코딩된 샘플로부터 출력해야한다. 오디오 상관기(42)가 일단 오프셋을 결정하면, 다음에 수신된 캡쳐된 오디오 샘플에 해당해야하는, 제 1 오디오 디코더(43)로부터 디코딩된 오디오 샘플을 결정하는 것, 및 원하는 PTS로서 해당하는 디코딩된 제 1 오디오 샘플의 PTS를 결정하는 것으로부터 PTS가 결정될 수 있다.
비록 마이크(47)가 TV(3)의 스피커(33)로부터 재생 오디오를 캡쳐하기 위한 캡쳐 디바이스에 대한 예시로서 사용되지만, 캡쳐 디바이스는 모바일 단말기(4)에서 블루투스 수신기와 같은 무선 수신기가 될 수 있고, 캡쳐된 제 1 오디오 신호는 단지 무선으로 무선 단말기(4)로 전송된, STB(2)의 오디오 디코더(25)로부터 디코딩된 제 1 오디오 신호이다.
본 발명이 바람직한 설계를 갖는 것으로서 기재되었지만, 본 발명은 본 개시의 정신과 범위 내에서 추가로 수정될 수 있다. 따라서, 본 출원은 일반적인 원리를 이용하여 본 발명의 임의의 변형, 사용 또는 적응을 커버하도록 의도된다. 게다가, 본 출원은, 본 발명이 속하고 첨부된 청구항이 한정하는 범위 내에 있는 종래 기술의 공지된 관습 내에 있을 때, 본 개시로부터 벗어나는 것이 커버되도록 의도된다.
2 : 셋탑박스 41 : 오디오 캡쳐
3 : 텔레비전 42 : 오디오 상관기
4 : 모바일 단말기 43 : 제 1 오디오 디코더
21 : 데이터 디멀티플렉서 44 : 데이터 디멀티플렉서
23 : 비디오 디코더 45 : 제 2 오디오 디코더
25 : 오디오 디코더 48 : 디스플레이
31 : 디스플레이 49 : 키보드
40 : 프로세서

Claims (33)

  1. 제 1 전자 디바이스에서 비디오 및 연관된 제 1 오디오를 포함하는 프로그램의 재생과, 상기 제 1 오디오를 또한 수신하는 제 2 전자 디바이스에서 상기 프로그램과 연관된 제 2 오디오의 재생을 동기화하기 위한 방법으로서,
    상기 제 1 오디오와 상기 제 2 오디오는 서로 다르고,
    상기 방법은:
    상기 제 2 전자 디바이스에 의해 상기 제 1 오디오를 디코딩하고 상기 디코딩된 제 1 오디오를 출력하는 단계;
    상기 제 2 전자 디바이스에 의해 상기 제 2 오디오를 디코딩하고 그리고 상기 제 2 전자 디바이스에 의해 재생하기 위해 상기 디코딩된 제 2 오디오를 출력하는 단계; 및
    상기 제 1 전자 디바이스에서의 상기 비디오의 재생과, 제 1 위치로부터 상기 제 2 전자 디바이스에서의 상기 제 2 오디오의 재생을 동기화하기 위해 사용자 명령을 수신하는 단계를 포함하고,
    상기 제 1 위치는 상기 프로그램의 정상적인 재생에서 상기 프로그램의 시작으로부터 멀리 떨어진 제 1 시간 간격이고, 상기 제 1 위치는 상기 사용자 명령을 통해 선택될 수 있고,
    상기 제 2 오디오의 재생이 상기 제 1 위치에 있을 때, 상기 제 1 전자 디바이스에 의한 상기 프로그램의 재생은 제 2 위치에 있고, 상기 제 2 위치는 정상적인 재생에서 상기 프로그램의 시작으로부터 멀리 떨어진 제 2 시간 간격이고,
    상기 사용자 명령에 응답하여, 상기 방법은:
    상기 제 2 전자 디바이스의 캡쳐 디바이스에 의해, 상기 제 1 전자 디바이스에서 상기 제 1 오디오의 재생을 캡쳐하는 단계;
    상기 제 2 전자 디바이스에 의해, 상기 출력된 디코딩된 제 1 오디오와 상기 캡쳐된 제 1 오디오 사이의 오프셋을 결정하는 단계; 및
    상기 제 1 전자 디바이스에서의 상기 제 1 오디오의 재생이 상기 제 2 전자 디바이스에서의 상기 제 2 오디오의 재생과 동기화되도록, 상기 오프셋에 따라 상기 디코딩된 제 2 오디오의 출력을 조정하는 단계를 더 포함하고,
    상기 방법은 또한, 상기 제 1 시간 간격과 상기 제 2 시간 간격 간의 차이가 미리 정의된 간격보다 클 때 상기 제 1 위치의 조정을 위한 또 하나의(another) 사용자 명령을 요청하는 단계를 더 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 2 전자 디바이스에 의해 상기 제 2 오디오를 재생하기 전에 상기 제 1 오디오와 상기 제 2 오디오를 상기 제 2 전자 디바이스에 다운로드하는 것을 더 포함하는 방법.
  3. 제 1 항에 있어서,
    사용자 신호에 응답하여 상기 제 2 오디오의 재생을 상기 제 1 위치에 위치지정하는 것을 더 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 오프셋을 결정하는 것이 실패한 경우, 사용자에게 상기 사용자 명령을 다시 입력할 것을 요청하는 것을 더 포함하고,
    상기 오프셋을 캡쳐하는 것과 결정하는 것이 반복되는, 방법.
  5. 제 1 항에 있어서,
    상기 제 1 오디오의 디코딩은 제 1 디코더에 의해 수행되고 상기 제 2 오디오의 디코딩은 제 2 디코더에 의해 수행되며,
    상기 방법은 상기 제 1 및 제 2 오디오 디코더들의 출력들이 동기화되도록, 상기 제 1 오디오 디코더에 의해, 상기 오프셋에 따라 상기 디코딩된 제 1 오디오를 출력함으로써 출력을 조정하는 것을 더 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 사용자 명령은 사용자가 입력 매커니즘을 활성화함으로써 생성되는, 방법.
  7. 제 1 항에 있어서,
    상기 오프셋에 따라 새롭게 캡쳐된 오디오 샘플에 해당하는 상기 디코딩된 제 1 오디오 내의 샘플과 연관된 표현 타임 스탬프를 결정하는 것, 그리고
    상기 결정된 표현 타임 스탬프와 연관된 상기 디코딩된 제 2 오디오 내의 샘플을 출력하는 단계를 포함하는 상기 제 2 오디오의 재생을 조정하는 단계를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 제 1 전자 디바이스는 텔레비전 수신기, 씨어터 비디오 재생 디바이스, 및 컴퓨터 중 하나인, 방법.
  9. 제 2 전자 디바이스로서,
    상기 제 2 전자 디바이스에 의해 수신된 제 1 및 제 2 오디오들을 각각 디코딩하고 상기 디코딩된 제 1 및 제 2 오디오들을 출력하기 위한 제 1 및 제 2 오디오 디코더들 - 상기 제 1 및 제 2 오디오들은 프로그램과 연관되고, 상기 프로그램은 비디오 및 상기 제 1 오디오를 포함하고 제 1 전자 디바이스에 의해 재생됨 -;
    상기 제 1 전자 디바이스에 의해 재생되는 상기 제 1 오디오를 캡쳐하기 위한 오디오 캡쳐 디바이스;
    상기 제 1 오디오 디코더로부터 상기 디코딩된 제 1 오디오 및 상기 캡쳐된 재생 제 1 오디오를 수신하는 오디오 상관기; 및
    프로세서를 포함하고,
    상기 프로세서가 상기 제 1 전자 디바이스에서의 상기 비디오의 재생과, 제 1 위치로부터 상기 제 2 전자 디바이스에서의 상기 제 2 오디오의 재생을 동기화하기 위해 사용자 명령을 수신할 때 - 여기서 상기 제 1 위치는 상기 프로그램의 정상적인 재생에서 상기 프로그램의 시작으로부터 멀리 떨어진 제 1 시간 간격이고, 상기 제 1 위치는 상기 사용자 명령을 통해 선택될 수 있음 -, 그리고 상기 제 2 오디오의 재생이 상기 제 1 위치에 있을 때,
    상기 제 1 전자 디바이스에 의한 상기 프로그램의 재생은 제 2 위치에 있고, 상기 제 2 위치는 정상적인 재생에서 상기 프로그램의 시작으로부터 멀리 떨어진 제 2 시간 간격이고, 상기 프로세서는 상기 오디오 상관기가 상기 제 1 오디오 디코더로부터 출력된 상기 수신된 디코딩된 제 1 오디오와 상기 수신된 캡쳐된 재생 제 1 오디오 사이의 오프셋을 결정할 것을 지시하고 그리고 상기 제 2 오디오 디코더가 상기 오프셋에 따라 상기 디코딩된 제 2 오디오를 출력할 것을 지시하도록 구성되고,
    상기 프로세서는 또한, 상기 제 1 시간 간격과 상기 제 2 시간 간격 간의 차이가 미리 정의된 간격보다 클 때 상기 제 1 위치의 조정을 위한 또 하나의 사용자 명령을 요청하도록 구성되는, 제 2 전자 디바이스.
  10. 제 9 항에 있어서,
    상기 프로세서는 상기 오디오 상관기가 상기 오프셋에 따라 새롭게 캡쳐된 오디오 샘플에 해당하는 상기 디코딩된 제 1 오디오 내의 샘플과 연관된 표현 타임 스탬프를 결정할 것을 지시하고 그리고 상기 제 2 오디오 디코더가 상기 결정된 표현 타임 스탬프와 연관된 상기 디코딩된 제 2 오디오 내의 샘플을 출력할 것을 지시하도록 구성되는, 제 2 전자 디바이스.
  11. 제 9 항에 있어서,
    사용자 신호에 응답하여 상기 제 2 오디오의 재생을 상기 제 1 위치에 위치지정하는 비디오 플레이어를 더 포함하는 제 2 전자 디바이스.
  12. 제 9 항에 있어서,
    상기 오프셋을 결정하는 것이 실패한 경우, 상기 프로세서는 사용자에게 상기 사용자 명령을 다시 입력할 것을 요청하고 상기 오디오 상관기가 상기 오프셋을 다시 결정할 것을 지시하도록 구성되는, 제 2 전자 디바이스.
  13. 제 9 항에 있어서,
    상기 제 1 및 제 2 오디오 디코더들의 출력들이 동기화되도록, 상기 프로세서는 상기 제 1 오디오 디코더가 상기 오프셋에 따라 상기 디코딩된 제 1 오디오를 출력함으로써 출력을 조정할 것을 지시하도록 구성되는, 제 2 전자 디바이스.
  14. 제 9 항에 있어서,
    상기 제 2 전자 디바이스가 상기 제 2 오디오를 재생하기 전에, 상기 제 1 오디오와 상기 제 2 오디오는 상기 제 2 전자 디바이스에 다운로드되는, 제 2 전자 디바이스.
  15. 제 9 항에 있어서,
    사용자가 상기 사용자 명령을 입력하기 위한 입력 매커니즘을 더 포함하는 제 2 전자 디바이스.
  16. 제 2 항에 있어서,
    상기 제 1 전자 디바이스에 의해 수신된 상기 프로그램과 상기 제 2 전자 디바이스에 의해 수신된 상기 제 1 및 제 2 오디오들은 제 1 소스로부터 다운로드되는, 방법.
  17. 제 2 항에 있어서,
    상기 제 1 전자 디바이스에 의해 수신된 상기 프로그램은 제 2 소스로부터 다운로드되고, 상기 제 2 소스는 상기 제 1 및 제 2 오디오들을 상기 제 2 전자 디바이스에 다운로드하기 위한 제 1 소스와는 다른 소스인, 방법.
  18. 제 14 항에 있어서,
    상기 제 1 전자 디바이스에 의해 수신된 상기 프로그램과 상기 제 2 전자 디바이스에 의해 수신된 상기 제 1 및 제 2 오디오들은 제 1 소스로부터 다운로드되는, 제 2 전자 디바이스.
  19. 제 14 항에 있어서,
    상기 제 1 전자 디바이스에 의해 수신된 상기 프로그램은 제 2 소스로부터 다운로드되고, 상기 제 2 소스는 상기 제 1 및 제 2 오디오들을 상기 제 2 전자 디바이스에 다운로드하기 위한 제 1 소스와는 다른 소스인, 제 2 전자 디바이스.
  20. 제 9 항에 있어서,
    상기 제 1 전자 디바이스는 텔레비전 수신기, 씨어터 비디오 재생 디바이스, 및 컴퓨터 중 하나인, 제 2 전자 디바이스.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020167020961A 2014-01-31 2014-01-31 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치 KR102179321B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/014146 WO2015116162A1 (en) 2014-01-31 2014-01-31 Method and apparatus for synchronizing playbacks at two electronic devices

Publications (2)

Publication Number Publication Date
KR20160114612A KR20160114612A (ko) 2016-10-05
KR102179321B1 true KR102179321B1 (ko) 2020-11-18

Family

ID=50102277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020961A KR102179321B1 (ko) 2014-01-31 2014-01-31 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치

Country Status (6)

Country Link
US (1) US10250927B2 (ko)
EP (1) EP3100458B1 (ko)
JP (1) JP6721510B2 (ko)
KR (1) KR102179321B1 (ko)
CN (1) CN105940679B (ko)
WO (1) WO2015116162A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3100458B1 (en) * 2014-01-31 2018-08-15 Thomson Licensing Method and apparatus for synchronizing the playback of two electronic devices
FR3030979A1 (fr) * 2014-12-17 2016-06-24 Orange Procede de controle de la restitution d' un flux media lors d' un appel telephonique
CN105338393A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 媒体同步方法和装置
EP3226570A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Synchronizing audio and video signals rendered on different devices
US9854302B1 (en) * 2016-06-23 2017-12-26 Bryan Nunes Multimedia servers that broadcast a channel listing and packet-switched audio
CN106412665A (zh) * 2016-10-18 2017-02-15 北京小米移动软件有限公司 多媒体的同步播放控制方法、装置及系统
EP3534618A4 (en) * 2016-10-27 2020-06-03 Evixar Inc. CONTENT REPRODUCING PROGRAM AND CONTENT REPRODUCING APPARATUS
US10892833B2 (en) * 2016-12-09 2021-01-12 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using Bluetooth audio devices
JP7102826B2 (ja) 2018-03-23 2022-07-20 ヤマハ株式会社 情報処理方法および情報処理装置
US10764631B2 (en) 2018-06-04 2020-09-01 Dish Network L.L.C. Synchronizing audio of a secondary-language audio track
MX2022009850A (es) * 2020-02-13 2023-01-11 Pacers Basketball Llc Tecnologias para comunicar una experiencia de evento mejorada.
US11601691B2 (en) 2020-05-04 2023-03-07 Kilburn Live, Llc Method and apparatus for providing audio and video within an acceptable delay tolerance
FR3111497A1 (fr) * 2020-06-12 2021-12-17 Orange Procédé de gestion de la restitution d’un contenu multimédia sur des dispositifs de restitution.
CN114339326B (zh) * 2021-12-10 2023-06-27 北京拼响天空文化科技有限公司 基于视频播放的声画同步方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324960A (ja) 2005-05-19 2006-11-30 Toshiba Corp 無線通信装置
JP2008011302A (ja) * 2006-06-30 2008-01-17 Sanyo Electric Co Ltd デジタル放送受信機
JP2013115782A (ja) * 2011-11-30 2013-06-10 Toshiba Corp 電子機器及び音声出力方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040081A (en) * 1986-09-23 1991-08-13 Mccutchen David Audiovisual synchronization signal generator using audio signature comparison
US5055939A (en) 1987-12-15 1991-10-08 Karamon John J Method system & apparatus for synchronizing an auxiliary sound source containing multiple language channels with motion picture film video tape or other picture source containing a sound track
US5642171A (en) 1994-06-08 1997-06-24 Dell Usa, L.P. Method and apparatus for synchronizing audio and video data streams in a multimedia system
MXPA03010751A (es) 2001-05-25 2005-03-07 Dolby Lab Licensing Corp Segmentacion de senales de audio en eventos auditivos.
EP1593272B1 (en) 2003-02-14 2017-08-30 Thomson Licensing DTV Automatic synchronization of audio and video based media services of media content
CN1728794A (zh) 2004-07-28 2006-02-01 上海乐金广电电子有限公司 视频来源设备中的音频信号传送方法及其装置
US8015306B2 (en) * 2005-01-05 2011-09-06 Control4 Corporation Method and apparatus for synchronizing playback of streaming media in multiple output devices
JP4834340B2 (ja) 2005-07-14 2011-12-14 キヤノン株式会社 情報処理装置及びその方法とプログラム
US7681052B2 (en) 2005-11-10 2010-03-16 Microsemi Corp. - Analog Mixed Signal Group Ltd. Enhanced classification for power over ethernet
US7907212B2 (en) 2006-03-20 2011-03-15 Vixs Systems, Inc. Multiple path audio video synchronization
JP4748075B2 (ja) 2007-02-07 2011-08-17 カシオ計算機株式会社 画像同期システム及び画像同期方法
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
US20080219641A1 (en) * 2007-03-09 2008-09-11 Barry Sandrew Apparatus and method for synchronizing a secondary audio track to the audio track of a video source
JP5660895B2 (ja) * 2007-09-21 2015-01-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザー観察可能な信号を同期化させるための装置および方法
EP2043323A1 (en) 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
TW201015997A (en) 2008-10-03 2010-04-16 Aonvision Technology Corp System for listening multiple sound tracks
US8111843B2 (en) 2008-11-11 2012-02-07 Motorola Solutions, Inc. Compensation for nonuniform delayed group communications
JP2010171626A (ja) 2009-01-21 2010-08-05 Olympus Corp 動画生成装置および動画生成方法
JP2010206593A (ja) 2009-03-04 2010-09-16 Sony Corp 画像処理装置、画像処理方法、及びプログラム
RU2011147112A (ru) 2009-04-20 2013-05-27 Конинклейке Филипс Электроникс Н.В. Верификация и синхронизация файлов, полученных отдельно от видеоконтента
US20120102233A1 (en) * 2009-05-27 2012-04-26 Ajay Shah Synchronized delivery of interactive content using standardized vectors
JP2011188289A (ja) 2010-03-09 2011-09-22 Olympus Imaging Corp 画像音声記録システム
US8831761B2 (en) * 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
US9609179B2 (en) 2010-09-22 2017-03-28 Thomson Licensing Methods for processing multimedia flows and corresponding devices
GB201017174D0 (en) * 2010-10-12 2010-11-24 Muvemedia Ltd System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback
US20120105719A1 (en) 2010-10-29 2012-05-03 Lsi Corporation Speech substitution of a real-time multimedia presentation
US20130124664A1 (en) * 2011-11-16 2013-05-16 Motorola Mobility, Inc Coordinating media presentations among peer devices
US20130177286A1 (en) * 2012-01-09 2013-07-11 Mozaik Multimedia, Inc Noninvasive accurate audio synchronization
JP2014000831A (ja) * 2012-06-15 2014-01-09 Sumitomo Wiring Syst Ltd 車両用電子制御ユニット
US9118951B2 (en) * 2012-06-26 2015-08-25 Arris Technology, Inc. Time-synchronizing a parallel feed of secondary content with primary media content
WO2014018652A2 (en) * 2012-07-24 2014-01-30 Adam Polak Media synchronization
US8726304B2 (en) * 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
CN103237203B (zh) * 2013-04-09 2016-03-02 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
US9628837B2 (en) * 2013-08-07 2017-04-18 AudioStreamTV Inc. Systems and methods for providing synchronized content
US9210204B2 (en) * 2013-10-31 2015-12-08 At&T Intellectual Property I, Lp Synchronizing media presentation at multiple devices
EP3100457B1 (en) * 2014-01-31 2018-03-07 Thomson Licensing Method and apparatus for synchronizing playbacks at two electronic devices
EP3100458B1 (en) * 2014-01-31 2018-08-15 Thomson Licensing Method and apparatus for synchronizing the playback of two electronic devices
CN105376628B (zh) * 2014-08-27 2018-09-21 深圳Tcl新技术有限公司 音视频信号同步方法和装置
US9693165B2 (en) * 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324960A (ja) 2005-05-19 2006-11-30 Toshiba Corp 無線通信装置
JP2008011302A (ja) * 2006-06-30 2008-01-17 Sanyo Electric Co Ltd デジタル放送受信機
JP2013115782A (ja) * 2011-11-30 2013-06-10 Toshiba Corp 電子機器及び音声出力方法

Also Published As

Publication number Publication date
JP2017507560A (ja) 2017-03-16
CN105940679B (zh) 2019-08-06
WO2015116162A1 (en) 2015-08-06
EP3100458A1 (en) 2016-12-07
JP6721510B2 (ja) 2020-07-15
EP3100458B1 (en) 2018-08-15
US20160323612A1 (en) 2016-11-03
CN105940679A (zh) 2016-09-14
US10250927B2 (en) 2019-04-02
KR20160114612A (ko) 2016-10-05

Similar Documents

Publication Publication Date Title
KR102179321B1 (ko) 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치
JP6289651B2 (ja) ２つの電子機器での再生を同期させる方法及び装置
JP4456004B2 (ja) メディア・サービスの再生自動同期化方法および装置
KR102016171B1 (ko) 미디어 서비스들을 동기화하기 위한 방법
CN110999318B (zh) 终端、声音协作再现系统和内容显示装置
US10536745B2 (en) Method for audio detection and corresponding device
KR20160093404A (ko) 캐릭터 선택적 오디오 줌인을 제공하는 멀티미디어 콘텐츠 서비스 방법 및 장치
KR101559170B1 (ko) 영상표시장치 및 그 제어방법
JP6440314B2 (ja) 受信装置、受信方法、及びプログラム
JP2008011302A (ja) デジタル放送受信機
JP2021176217A (ja) 配信音声遅延調整装置、配信音声遅延調整システム、および配信音声遅延調整プログラム
JP6436573B2 (ja) 受信装置、受信方法、及びプログラム
JP2013121096A (ja) 音声調整装置およびデジタル放送受信装置
KR20100043581A (ko) 텔레비전의 주화면 및 부화면 출력 제어 장치 및 방법
JP2017069705A (ja) 受信装置、受信方法、放送システムおよびプログラム
JP2010157818A (ja) 放送受信装置およびその出力制御方法
JP2010233243A (ja) 放送受信装置およびその出力制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant