KR20100080838A - 원격 오디오와 고정 비디오의 동기화 - Google Patents

원격 오디오와 고정 비디오의 동기화 Download PDF

Info

Publication number
KR20100080838A
KR20100080838A KR1020107010081A KR20107010081A KR20100080838A KR 20100080838 A KR20100080838 A KR 20100080838A KR 1020107010081 A KR1020107010081 A KR 1020107010081A KR 20107010081 A KR20107010081 A KR 20107010081A KR 20100080838 A KR20100080838 A KR 20100080838A
Authority
KR
South Korea
Prior art keywords
audio
frames
delay
video
remote
Prior art date
Application number
KR1020107010081A
Other languages
English (en)
Other versions
KR101184821B1 (ko
Inventor
마이클 이. 러쎌
아놀드 쉐인맨
Original Assignee
모토로라 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 인코포레이티드 filed Critical 모토로라 인코포레이티드
Publication of KR20100080838A publication Critical patent/KR20100080838A/ko
Application granted granted Critical
Publication of KR101184821B1 publication Critical patent/KR101184821B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

멀티미디어 장치(100)는 멀티미디어 스트림을 오디오 프레임들과 비디오 프레임들로 분리하도록 구성된 분리 엔티티, 시퀀스 번호를 적어도 하나의 오디오 프레임에 부가하도록 구성된 순서화 엔티티, 오디오 프레임들을 원격 오디오 장치로 전송하도록 구성된 송수신기, 비디오 플레이어에 연결되어 있으며, 상기 시퀀스 번호를 근거로 하여 상기 오디오 프레임들을 상기 원격 오디오 장치에 전송하는 것과 연관된 지연을 결정하고, 상기 지연에 따라 상기 비디오 플레이어에서 상기 비디오 프레임들의 상연을 제어하도록 구성된 제어기를 포함한다.

Description

원격 오디오와 고정 비디오의 동기화{SYNCHRONIZING REMOTE AUDIO WITH FIXED VIDEO}
본 발명은 일반적으로 무선 통신에 관한 것으로, 특히, 별개의 장치들, 예를 들어, 휴대용 전자 장치 및 무선 헤드셋에서 재생되는 오디오 및 비디오 신호들을 동기화하는 것에 관한 것이다.
현재, 많은 블루투스 가능 모바일 폰은 핸즈-프리 전화 걸기를 가능하게 해주는 헤드셋/핸즈-프리 프로파일들(Headset/Hands-Free profiles)과 같은 기본 기능과, 파일을 푸싱(pushing), 풀링(pulling) 및 전송하기(transferring) 위한 소정의 OBEX 기능과, 일반 액세스(generic access)를 위한 몇몇 형태의 직렬 접속의 묶음(suite)을 지원한다. 대부분의 이들 폰들은 또한, MP3 및 다른 포맷의 오디오 클립들과 같은 몇 가지의 미디어 콘텐트까지 지원한다. 또한 어떤 블루투스 가능 폰은 비디오, 오디오, 및 메타데이터를 같은 파일 내에 결합시킨 MP4 형태의 미디어 콘텐트를 재생하는 성능도 갖는다. 그러나, 오디오 및 비디오의 동기화 문제는, 비디오 콘텐트를 셀 폰 디스플레이 또는 다른 호스트 장치를 통해 시청할 때 그리고 동반하는 오디오 콘텐트를 무선 헤드셋에서 재생할 때, 발생할 수 있다. 예를 들어, 셀 폰 또는 개인용 컴퓨터와 같은 미디어 장치로부터 블루투스를 통해 스테레오 헤드셋에 스테레오 품질의 오디오를 스트리밍하려면 일반 오디오 비디오 액세스 프로파일(Generic Audio Video Access Profile: GAVDP), 진보된 오디오 분배 프로파일(Advanced Audio Distribution Profile: A2DP), 및 오디오 비디오 분배 트랜스포트 프로토콜(Audio Video Distribution Transport Protocol: ADVTP)를 사용해야 한다. A2DP는 모든 블루투스 장치들 간의 상호 운용성(interoperability)을 보장하는 서브밴드 코딩(sub-band coding: SBC) 방식을 사용해야 한다. 만일 음악 파일들이 폰 내에 MP3 포맷으로 저장되어 있다면, 이 음악 파일들은 일반적으로 A2DP를 이용하는 오디오를 스트림하기 위해 SBC로 트랜스코드된다. 오디오 콘텐트를 트랜스코딩하고 이를 무선 헤드셋으로 전송하면 동기화에 영향을 주는 지연 시간(latency)이 발생된다. 동기화는 또한 호스트 장치와 헤드셋 사이에서 데이터를 재전송하는 것에 의해 그리고 헤드셋에서 오디오 콘텐트를 후속 처리하는 것에 의해서도 영향을 받을 수 있다.
본 발명의 각종 양태, 특징 및 장점은 본 발명의 상세한 설명과 함께 아래에 기술한 첨부 도면을 주의 깊게 고려해 볼 때 본 기술 분야에서 통상의 지식을 가진 자들에게 더욱 자명해질 것이다. 도면은 명료성을 기하기 위해 간략하게 도시될 수 있으며 반드시 실제 비율로 도시되지는 않는다.
도 1은 멀티미디어 장치 및 원격 오디오 장치의 개략적인 블록도이다.
도 2는 지연을 결정하기 위한 프로세스 흐름도이다.
도 3은 추정된 지연을 결정하기 위한 프로세스 흐름도이다.
도 4는 오디오 및 비디오 프레임들을 동기화하기 위한 프로세스 흐름도이다.
도 5는 원격 오디오 장치가 호스트 멀티미디어 장치 본래의 오디오 포맷을 지원하는지를 판정하기 위한 프로세스 흐름도이다.
도 1은 원격 오디오 장치(102)에 통신가능하게 연결된 핸드헬드 멀티미디어 장치(100)를 예시하며, 비디오 콘텐트는 멀티미디어 장치에서 상연되며 관련된 오디오 콘텐트는 원격 오디오 장치에서 상연된다. 예시적인 멀티미디어 장치는 비디오 콘텐트를 재생할 수 있는 비디오 플레이어를 적어도 포함하는 모바일 폰이다. 그러나, 더 일반적으로 말하면, 장치(100)는 오디오 및 비디오 콘텐트를 상연할 수 있는 멀티미디어 플레이어(104)를 포함한다. 다른 실시예에서, 멀티미디어 장치는 적어도 비디오 콘텐트를 상연할 수 있고, 동반하는 오디오 콘텐트를 상연할 수 있는 원격 오디오 장치와 통신할 수 있는 임의의 호스트 장치이다. 일 구현예에서, 멀티미디어 장치는 MP4 멀티미디어 콘텐트 또는 어떤 다른 멀티미디어 포맷의 콘텐트를 지원한다. MP4는 비디오, 오디오 및 메타데이터를 결합한 컨테이너 포맷(container format)이다. 원격 오디오 장치(102)는 호스트 장치와 통신할 수 있는 오디오 헤드셋 또는 어떤 다른 오디오 장치로서 구현될 수 있다. 비록 다른 실시예에서 원격 오디오 장치가 유선으로 호스트 장치와 통신할지라도, 일 실시예에서, 원격 오디오 장치는 호스트 장치와 무선으로 통신한다. 원격 오디오 장치는 일반적으로 아래에서 상세히 설명되는 바와 같이 호스트 장치에 의해 제공된 오디오 포맷을 지원한다.
일 실시예에서, 멀티미디어 장치는 블루투스 프로토콜에 따라서 원격 오디오 장치와 무선으로 통신한다. 그러나, 다른 실시예에서, 이 장치들은 어떤 다른 개방형 또는 전용의 무선 또는 유선 통신 프로토콜에 따라 통신한다. 몇몇 예에서, 멀티미디어 파일의 비디오 컴포넌트가 멀티미디어 장치의 사용자 인터페이스에서 상연되고 동반하는 오디오 컴포넌트가 원격 장치에서 상연될 때, 동기화 문제가 발생할 수 있다. 제안한 바와 같이, 오디오 컴포넌트를 멀티미디어 장치로부터 원격 오디오 장치로 전송하는 것과 연관된 전파 지연(propagation delay)은 받아들일 수 없는 동기화 부재라는 결과를 가져올 수 있다. 전파 지연은 또한 호스트 장치와 원격 오디오 장치 사이에서 불량 또는 유실 데이터를 재전송하는 것에 의해서도 영향받을 수 있다. 전파 지연은 또한, 예를 들어, 호스트 장치가 원격 오디오 장치와 무선으로 통신하는 모바일 애플리케이션에서 채널 상태를 변경으로써 영향받을 수 있다.
멀티미디어 장치 및/또는 원격 오디오 장치에서 오디오 콘텐트를 국부적으로 처리하는 경우에도 동기화에 악영향을 줄 수 있다. 몇몇 구현예에서, 예를 들어, 멀티미디어 장치로부터 블루투스를 통해 스테레오 헤드셋으로 스테레오 품질의 오디오를 스트리밍하면 일반 오디오 비디오 액세스 프로파일(Generic Audio Video Access Profile: GAVDP), 진보된 오디오 분배 프로파일(Advanced Audio Distribution Profile: A2DP), 및 오디오 비디오 분배 트랜스포트 프로토콜(Audio Video Distribution Transport Protocol: ADVTP)을 사용해야 한다. A2DP는 블루투스 장치들 간의 상호 운용성(interoperability)을 보장하는 서브밴드 코딩(SBC)을 필요로 한다. 멀티미디어 장치에 저장된 일부 오디오 파일 포맷들, 예를 들어, MP3는 A2DP를 이용하기 위해 SBC로 트랜스코드되는 것이 일반적이다. 다른 실시예에서, 다른 오디오 및 비디오 프로토콜들이 사용될 수 있다. 그럼에도 불구하고 무슨 이유 때문인지 호스트 장치에서 오디오 콘텐트를 트랜스코딩하면 오디오 및 비디오의 동기화에 악영향을 미칠 수 있는 지연 시간을 가져온다. 동기화는 또한 원격 오디오 장치에서 오디오의 처리에 의해서도 영향받을 수 있다.
도 1에서, 멀티미디어 장치는 멀티미디어 플레이어에 연결된 분리 엔티티(separating entity)(106)를 포함한다. 분리 엔티티는 멀티미디어 스트림을 오디오 프레임들과 비디오 프레임들로 분리하도록 구성된다. 일 구현예에서, 분리 엔티티에 입력된 멀티미디어 콘텐트는 멀티미디어 장치의 스토리지 장치로부터 판독된다. 다른 구현예들에서, 멀티미디어 콘텐트는 원격 소스로부터 스트림된다(streamed). 후자의 구현예에서, 멀티미디어 콘텐트는 유선 또는 무선 네트워크 통해 스트림될 수 있다. 스트림된 콘텐트는 임의의 소스, 예를 들어, DVB-H 또는 다른 방송 소스로부터 발생할 수 있거나, 또는 인터넷에 연결된 콘텐트 서버로부터 또는 어떤 다른 네트워크를 통해서도 스트림될 수 있다. 다른 구현예에서, 멀티미디어 콘텐트는 어떤 다른 소스, 예를 들어, 멀티미디어 장치에 통신가능하게 연결된 레코딩 장치로부터 얻을 수 있다. 본 명세서에서는 특정한 멀티미디어 콘텐트 소스로 제한하려는 것은 아니다.
도 1에서, 멀티미디어 장치(100)는 또한 분리 엔티티의 출력에 연결된 입력을 갖는 순서화 엔티티(sequencing entity)(108)를 포함한다. 일 실시예에서, 순서화 엔티티(108)는 시퀀스 번호(sequence number)를 오디오 프레임들 중 적어도 하나에 부가하도록 구성된다. 다른 실시예에서, 시퀀스 번호는 비디오 프레임들 중 적어도 하나에도 부가된다. 더 일반적으로 말하면, 시퀀스 번호는 매 n번째 오디오 프레임 및 매 n번째 비디오 프레임에 부가될 수 있으며, 여기서 n은 0 보다 큰 어떤 정수값이다. 소정 실시예에서, 오디오 및 비디오 프레임들에 부가된 시퀀스 번호들은, 아래에서 더욱 상세히 설명되는 바와 같이, 재생 중에 오디오 및 비디오 프레임들 간의 동기화를 평가하는데 사용될 수 있다.
도 1에서, 비디오 플레이어(104)는 분리 엔티티(106)에 연결되며, 여기서 비디오 플레이어는 장치의 사용자 인터페이스에서, 예를 들어, 장치의 비디오 디스플레이에서 분리 엔티티로부터 수신한 비디오 프레임들을 상연하도록 구성된다. 도 1에서, 비디오 플레이어(104)는 순서화 엔티티(108)에 연결되며, 여기서 순서화 엔티티는 버퍼 엔티티(114)를 통해 비디오 플레이어(104)에 비디오 프레임들을 전달한다. 다른 구현예에서, 비디오 플레이어는 분리 엔티티(106)에 직접 연결되며, 여기서 분리 엔티티는 버퍼 엔티티(114)를 통해 비디오 플레이어에 비디오 프레임들을 전달한다. 비디오 프레임들이 순서화 엔티티를 통해 비디오 플레이어로 라우트되는 실시예에서, 순서화 엔티티는 특정 구현예에 따라서 비디오 프레임들에 시퀀스 번호를 부가하거나 또는 부가하지 않을 수 있다.
소정 실시예에서, 멀티미디어 장치는 트랜스코딩이 필요할 수 있는 구현예의 경우 트랜스코딩 엔티티를 포함한다. 소정 예에서, 예를 들어, 멀티미디어 장치에 저장된 오디오 파일 포맷들은 원격 오디오 장치에 전송되기 전에 다른 포맷으로 트랜스코딩될 수 있다. 소정 실시예에서, 전술한 바와 같이, MP3 포맷의 오디오 프레임들은 A2DP를 사용하기 위해 SBC로 트랜스코딩된다. 다른 실시예에서, 트랜스코더 엔티티는 다른 오디오 포맷들을 트랜스코딩한다. 도 1에서, 예시적인 호스트 장치는 오디오 프레임들을 트랜스코딩하기 위한 트랜스코딩 엔티티(109)를 포함한다. 호스트 장치 및 원격 장치에서 트랜스코딩과 연관된 지연은 아래에서 더 상세히 설명된다.
도 1에서, 호스트 장치(100)는 순서화 엔티티(108)에 연결된 송수신기(transceiver)(110)를 포함한다. 일 실시예에서, 송수신기는 무선 송수신기, 예를 들어, 블루투스, 또는 어떤 다른 프로토콜의 무선 송수신기이다. 그러나, 더 일반적으로 말하면, 송수신기는 유선 송수신기일 수 있다. 송수신기는 일반적으로 오디오 프레임을 원격 오디오 장치에 전송하도록 구성된다. 오디오 프레임들을 수신할 때, 원격 오디오 장치는 그의 사용자 인터페이스에서, 예를 들어, 이어폰 변환기에서 오디오 프레임들을 상연한다. 소정 실시예에서, 오디오 프레임들은 원격 오디오 장치에서 처리된 다음 사용자에게 상연될 수 있다.
호스트 멀티미디어 장치의 사용자 인터페이스에서 상연된 비디오 프레임들은 바람직하게 원격 오디오 장치의 사용자 인터페이스에서 상연된 오디오 프레임들과 동기화된다. 본 명세서에서, 동기화란 오디오 프레임들과 동반하는 비디오 프레임들이 특정한 시간 간격 내에서 상연되는 것을 의미한다. 특정한 시간 간격은, 동기화에 대한 감도가 사용자마다 어느 정도 다를 수 있기 때문에, 주관적이다. 특정한 시간 간격은 일반적으로, 적어도 사용자들의 대부분이 느낄 수 있는 동기화 부재를 인식할 수 있는 사용자가 없게 선택된다. 비디오 프레임들과 동반하는 오디오 프레임들의 상연 사이에 특정한 시간 간격을 벗어나 임의의 지연이 있다는 것은 비동기된 것이다. 본 발명의 일 양태에 따르면, 주관적으로 특정한 시간 간격에 대해서는, 비동기된 오디오 및 비디오 프레임들의 상연은 줄어들며 적어도 바람직하게는 제거된다.
도 1에서, 멀티미디어 장치는 또한 비디오 플레이어(104)에 연결된 제어기(112)를 포함한다. 제어기는 일반적으로 비디오 프레임들과 동반하는 오디오 프레임들이 동기화되는지를 판정하고, 또한 동기화 부재를 줄이거나 제거하는 방식으로 비디오 및/또는 오디오 프레임들의 상연을 제어하도록 구성된다. 일 실시예에서, 제어기는 하나 이상의 오디오 프레임들에 부가된 시퀀스 번호에 따라서 오디오 프레임들을 원격 오디오 장치로 전송하는 것과 연관된 지연을 결정하도록 구성된다. 제어기는 또한 그 지연에 따라서 비디오 플레이어에서 비디오 프레임들의 상연을 제어하도록 구성된다. 일 실시에에서, 제어기는 멀티미디어 장치의 사용자 인터페이스에서 비디오 프레임들의 상연을 지연시켜서 원격 장치에서 오디오 프레임들의 상연을 호스트 장치에서 비디오 프레임들과 동기화시킨다.
도 1에서 호스트 장치(100)는 비디오 플레이어(104)에 연결된 버퍼 및 지연 엔티티(114)를 포함한다. 일 실시예에서, 버퍼 및 지연 엔티티는 비디오 플레이어의 일부이다. 그러나, 다른 실시예에서, 버퍼 및 지연 엔티티(114)는 별개이다. 제어기(112)는 버퍼 및 지연 엔티티(114)에 연결되며, 그에 따라 제어기는 엔티티(114)를 통해 비디오 플레이어(104)에 연결된다. 일 실시예에서, 제어기(112)는 제어 신호를 버퍼 및 지연 엔티티(114)에게 제공함으로써 전송 지연에 따라서 비디오 프레임들의 상연을 제어하며, 여기서 제어 신호는 비디오 신호들을 비디오 플레이어에 전달하는 것을 지연시킨다.
일 구현예에서, 제어기는 시퀀스 번호를 갖는 비디오 프레임들의 원격 오디오 장치로의 전송 시간을 측정함으로써 전파 지연을 결정한다. 도 2에 예시된 특정 실시예에서, 단계(210)에서, 제어기는 송출 프레임을 선택하고, 단계(220)에서 선택된 오디오 프레임이 전송되기 전 또는 전송 시에 지연 타이머를 동작 개시시킨다. 선택된 오디오 프레임은 시퀀스 번호를 갖는다. 도 1에서, 제어기(112)는 트랜스코딩 엔티티(109)에 연결된다. 일 실시예에서, 제어기는 트랜스코딩 엔티티로부터 오디오 프레임의 시퀀스 번호를 취득할 때 타이머를 시작시킨다. 트랜스코딩 전에 타이머를 시작시키는 것은 호스트 장치에서 트랜스코딩과 연관된 지연 때문이다. 대안으로, 타이머는 트랜스코딩 이후, 예를 들어, 오디오 프레임의 전송 시에 개시될 수 있다. 따라서, 소정 실시예에서, 제어기를 트랜스코딩 엔티티에 연결할 필요가 없을 수 있다. 소정 구현예에서, 예를 들어, 순서화 엔티티는 오디오 프레임들을 직접 제어기에 전달할 수 있으며, 그때, 제어기는 오디오 프레임으로부터 시퀀스 번호를 취득할 수 있다.
도 1에서, 호스트 장치(100)는 시퀀스 번호를 갖는 선택된 오디오 프레임을 원격 오디오 장치에 전송한다. 도 2에서, 오디오 프레임이 전송될 때마다 원격 오디오 장치가 호스트 장치에게 확인(acknowledgement)을 송신하는 실시예에서, 제어기는 단계(230)에서 확인을 기다린다. 확인은 시퀀스 번호를 갖는 프레임들을 식별하며, 이로써 제어기는 해당 오디오 프레임과 연관된 지연을 결정할 수 있게 된다. 단계(240)에서, 제어기는 그 확인을 받을 때, 또는 그 이후 머지않아 타이머를 중지시킨다. 단계(250)에서, 제어기는 전송 지연을 결정한다. 타이머는 일반적으로 시퀀스 번호를 갖는 오디오 프레임들의 왕복(round-trip) 지연을 측정한다. 타이머가 시작되는 시점에 따라서, 타이머 또한 일반적으로 특정 프레임 크기로 고정된 트랜스코딩 지연을 측정할 수 있다. 이러한 고정 지연 및 다른 고정 지연은 일방(one-way) 전송 지연이 정확하게 결정되도록 타이머 기간에서 감산된다. 일방 전송 지연은 또한 국부적 및/또는 원격 처리 지연에 가산될 수 있다. 단독의 전송 지연 또는 다른 지연과 결합한 전송 지연은, 예를 들어, 비디오 프레임들의 상연을 지연시킴으로써 비디오 프레임들의 상연을 제어하는데 사용될 수 있다. 소정의 응용예에서, 전송 지연은 채널에서 변동의 결과로서 변할 수 있다. 그래서 이러한 응용예 또는 다른 응용예에서, 제어기는 전송 지연을 주기적으로 추적 또는 측정할 수 있으며 그에 대응하여 호스트 장치에서 비디오 프레임의 상연을 조절할 수 있다. 일 구현예에서, 제어기는 오디오 프레임들과 연관된 전송 지연을, 소모된(consumed) 다수의 비디오 프레임들과 상관시킨다. 지연이 소정 임계치를 초과할 때, 제어기는 오디오 및 비디오 프레임들을 동기화시키는 방식으로 상연되는 비디오 프레임들을 지연시켜 비디오 플레이어에 전송한다. 일 실시예에서, 비디오 프레임들은 널 프레임들(null frames)을 프레임 시퀀스에 삽입함으로써 지연된다. 다른 실시예에서, 비디오 프레임들은 일부 또는 모든 비디오 프레임들을 반복시킴으로써 지연된다. 일반적으로, 반복되는 비디오 프레임들의 개수 및/또는 반복율은 반드시 발생되는 지연량에 달려있다.
다른 실시예에서, 제어기는 어떤 기간 동안 소모된 비디오 및 오디오 프레임들의 개수를 비교함으로써 지연을 결정한다. 제어기는 특정 기간 동안 버퍼 엔티티가 비디오 프레임들을 비디오 플레이어에 전달하는 비율을 모니터함으로써 소모된 오디오 프레임들의 개수를 카운트할 수 있다. 제어기는 특정한 시간 간격 동안 원격 오디오 장치로부터 수신한 확인들을 모니터함으로써 소모된 오디오 프레임들의 개수를 카운트할 수 있다. 시퀀스 번호가 오디오 및 비디오 프레임에 부가된 실시예에서, 제어기는 오디오 및 비디오 프레임들의 시퀀스 번호들을 모니터함으로써 오디오 및 비디오 프레임들을 카운트할 수 있다. 제어기는 지연이 특정 임계치를 초과할 때 오디오 및 비디오 프레임들을 동기화하는 방식으로 비디오 플레이어에 제공되는 비디오 프레임들의 전송을 지연한다.
소정 실시예에서, 제어기는 추정된 지연만큼 비디오 프레임들을 지연시킨 다음, 오디오 프레임들을 원격 오디오 장치로 전송하는 것과 연관된 지연을 결정한다. 추정된 지연은 하나 이상의 기준을 기초로 할 수 있다. 일 실시예에서, 추정된 지연은 호스트 장치와 원격 오디오 장치 간의 전송 지연의 추정치이다. 다른 실시예에서, 추정된 지연은 호스트 장치에서 일어나는 처리 지연 및/또는 원격 장치에서 일어나는 처리 지연의 추정치이다. 다른 실시예에서, 추정된 지연은 전송 지연과 호스트 장치 및/또는 원격 오디오 장치에서 발생하는 처리 지연을 결합한 추정치이다. 추정된 처리 지연은, 예를 들어, 특정 형태의 트랜스코딩에 근거할 수 있다. 상이한 장치들이 상이한 처리 지연을 갖는다고 가정한다면, 추정된 지연은 또한 특정 형태의 원격 오디오 장치를 근거로 할 수 있다. 그래서, 추정된 전송 지연과 달리, 추정된 처리 지연은 일반적으로 원격 오디오 장치의 성능을 근거로 할 수 있는데, 그 이유는 원격 오디오 장치의 성능은 원격 오디오 장치의 처리 지연 및 호스트 장치가 원격 오디오 장치에 맞추기 위해 수행해야 하는 적어도 임의의 트랜스코딩 지연을 나타내기 때문이다. 일 실시예에서, 제어기는 추정된 지연을 멀티미디어 장치의 룩업 테이블(look-up table)에 저장된 지연 정보에 근거하여 결정한다. 호스트 장치가 원격 오디오 장치와 블루투스를 통해 통신하는 구현예에서, 호스트 장치는 호스트 장치를 원격 오디오 장치와 링크할 때 원격 오디오 장치의 형태를 결정할 수 있다. 그래서, 소정의 응용예에서, 원격 오디오 장치의 형태는 추정된 지연을 룩업 테이블로부터 선택하기 위한 기준으로서 사용될 수 있다. 도 1에는 제어기(112)에 연결된 추정 지연 테이블(116)이 예시된다.
도 3에서, 단계(310)에서, 제어기는 추정된 지연을 결정하는 프로세스를 시작한다. 이 프로세스는 호스트 장치를 원격 오디오 장치와 링크할 때, 또는 어떤 다른 이벤트 때, 바람직하게는 오디오 프레임들을 원격 오디오 장치에 전송을 진행하는 이벤트 때 개시될 수 있다. 단계(320)에서, 제어기는 추정된 지연의 근거를 형성할 수 있는 정보를 획득한다. 그런 다음, 제어기는 추정된 지연 정보를 룩업 테이블로부터 획득할 수 있다. 다른 실시예에서, 추정된 지연은 한 가지 이상의 추정된 팩터를 근거로 한다. 예를 들어, 제어기는 원격 오디오 장치의 형태 정보, 미디어 포맷 정보 등을 획득할 수 있다. 그러면, 제어기는 추정된 지연 정보를 정보의 각 형태마다 룩업 테이블로부터 획득할 수 있다. 단계(330)에서, 제어기는, 예를 들어, 룩업 테이블로부터 추정된 지연 정보를 수집으로써 추정된 지연을 계산한다. 단계(340)에서, 제어기는 계산된 추정된 지연이 어떤 조건을 만족하는지, 예를 들어, 계산된 추정된 지연이 전술한 바와 같은 특정한 시간 간격을 벗어났는지를 판정한다. 만일 그 조건이 만족되면, 단계(350)에서, 제어기(112)는 비디오 버퍼 및 지연 엔티티(114)를 통해 추정된 지연에 근거하여 비디오 프레임들의 상연을 지연시킨다.
도 1에 예시된 소정 실시예에서, 호스트 장치(100)는 사용자가 수동적으로 동기화를 제어 또는 조절하게 하는 입력(118)을 포함한다. 수동적인 동기화 입력 제어는, 추정된 지연 및/또는 측정된 지연에 근거하여, 동기화 제어와 조합하여 사용될 수 있다.
도 4는 오디오 및 비디오 프레임들을 동기화하기 위한 일반적인 프로세스의 흐름도이다. 단계(410)에서, 본 프로세스는 비디오를 초기화할 때 또는 원격 오디오 장치와 링크할 때 초기화된다. 단계(420)에서, 지연 추정기가 초기화된다. 예시적인 지연 추정기는 도 3과 관련하여 앞에서 설명되었다. 도 4에서, 도 2와 관련하여 전술한 바와 같이, 단계(430)에서, 소모된 오디오 및 비디오 프레임들 간의 지연이 모니터된다. 단계(440)에서, 상연 또는 소모된 오디오 및 비디오 프레임들 간의 어떤 지연이 지연 시간 임계치를 초과하는지를 판정한다. 이러한 임계치는 오디오 및 비디오 프레임들이 동기되는지를 규정하는 특정한 시간 간격과 관련되며, 소정 실시예에서는 그 특정한 시간 간격에 해당한다. 단계(450)에서, 동기화에 필요한 비디오 프레임들의 상연이 조절된다. 단계(460)에서, 오디오 및 비디오 프레임들의 동기화 동안 사용자에 의해 생성된 수동적 제어가 제공된다. 앞에서 제안한 바와 같이, 오디오 및 비디오 동기화를 위한 사용자에 의해 생성된 수동적 제어는 추정된 또는 측정된 지연에 근거한 어떤 제어에도 독립적일 수 있다. 단계(470)에서, 제어기는 비디오 프레임들의 상연에 적용될 여러 가지 제어를 모니터한다. 단계(480)에서, 제어기는 상연을 피드백하여 비디오 프레임들의 상연을 제어한다.
본 발명의 또 다른 양태에 따르면, 비디오 프레임들 및 동반하는 오디오 프레임들은 처리 지연을 제거함으로써 동기된다. 처리 지연은 전술한 바와 같이 비디오 프레임들의 상연의 지연과 함께 또는 그 대신 줄일 수 있다. 일 실시예에서, 멀티미디어 장치는 강제적인 오디오 인코딩 방식을 지원하는 프로토콜을 따른다. 예를 들어, 소정의 블루투스 가능 멀티미디어 장치들은 진보된 오디오 분배 프로파일(Advanced Audio Distribution Profile: A2DP)을 따른다. 이들 블루투스 장치들의 상호 의존성을 보장하기 위하여, 블루투스 멀티미디어 장치의 본래 포맷의 콘텐트는 오디오 프레임을 스트림하기위해 A2DP를 이용하여 SBC로 트랜스코딩된다. 만일 원격 오디오 장치가 호스트 장치의 본래 코딩 포맷을 지원한다면, 콘텐트는 트랜스코딩 없이 원격 오디오 장치로 전송될 수 있으며, 그럼으로써 트랜스코딩과 연관된 지연을 제거할 수 있다. 예시적인 블루투스 멀티미디어 장치의 경우, 원격 오디오 장치가 호스트 블루투스 멀티미디어 장치의 본래 포맷을 지원한다고 가정하면, SBC 트랜스코딩과 연관된 지연은 제거될 수 있다.
도 5는 원격 오디오 장치가 멀티미디어 장치의 오디오 콘텐트 본래의 오디오 포맷을 지원하는지를 판정하기 위한 프로세스를 예시한다. 본 프로세스는 프로세서, 예를 들어, 도 1의 프로세서(112)에 의해 실행될 수 있다. 단계(510)에서, 비디오 플레이어 또는 애플리케이션은 호스트 멀티미디어 장치에서 동작개시되며, 이는 원격 오디오 장치와의 블루투스 준수 통신을 위해 인에이블된다. 단계(520)에서, 오디오 프레임들의 스트림의 오디오 인코딩 포맷이 식별된다. 이 오디오 인코딩 포맷은 호스트 멀티미디어 장치에 의해 지원될 수 있고 또는 지원되지 않을 수 있다. 단계(530)에서, 원격 오디오 장치에 의해 지원되는 오디오 포맷이 획득된다. 원격 오디오 장치에 의해 지원되는 하나 이상의 오디오 코덱은 호스트 장치에 의해, 예를 들어, 호스트 장치에 저장된 룩업 테이블로부터 획득된다. 대안으로, 원격 오디오 장치는, 예를 들어, 장치들이 링크될 때, 이 정보를 호스트 장치에 전달할 수 있다. 단계(540)에서, 호스트 장치에 의해 지원된 오디오 포맷이 획득된다. 호스트 장치에 의해 지원된 하나 이상의 오디오 코덱은 호스트 장치에 저장된 룩업 테이블로부터 획득될 수 있다. 단계(550)에서, 멀티미디어 콘텐트의 오디오 포맷이 양측 두 장치들에 의해 지원되는지에 대해 판정된다. 만일 호스트 장치 및 원격 오디오 장치 양측이 오디오 콘텐트의 오디오 포맷을 지원한다면, 단계(560)에서, 오디오 프레임들이 본래 포맷으로 원격 장치에 전송된다. 이와 달리, 만일 호스트 장치 및 원격 오디오 장치 양측이 멀티미디어 콘텐트의 본래 포맷을 지원하지 않으면, 콘텐트는 양측의 장치들에 의해 지원된 포맷으로 트랜스코딩된다. 도 5에서, 단계(570)에서, 오디오 콘텐트는 SBC 코덱을 이용하여 트랜스코딩된다.
본 발명의 설명과 본 발명의 최선의 모드가 소유권을 설정하고 통상의 지식을 가진자들이 본 발명을 실시하고 사용가능하게 해주는 방식으로 기술되었지만, 본 명세서에 기술된 예시적인 실시예들의 등가물이 존재하며 본 발명의 범주 및 정신을 일탈함이 없이도 그에 대한 변형과 변경이 이루어질 수 있음을 알고 인식할 것이며, 본 발명은 예시적인 실시예들로 제한하지 않고 첨부의 청구범위로 제한하고자 한다.

Claims (19)

  1. 핸드헬드 멀티미디어 장치에서의 방법으로서,
    멀티미디어 스트림을 오디오 프레임들과 비디오 프레임들로 분리하는 단계;
    상기 비디오 프레임들을 상기 멀티미디어 장치의 사용자 인터페이스에서 상연(presenting)하는 단계;
    상기 오디오 프레임들을 원격 오디오 장치에 전송하는 단계;
    상기 오디오 프레임들 중 적어도 하나에 부가된 시퀀스 번호를 근거로 하여, 상기 오디오 프레임들을 상기 원격 오디오 장치에 전송하는 것과 연관된 지연을 결정하는 단계; 및
    상기 지연에 기초하여, 상기 사용자 인터페이스에서의 상기 비디오 프레임들의 상연을 제어하는 단계
    를 포함하는, 핸드헬드 멀티미디어 장치에서의 방법.
  2. 제1항에 있어서, 상기 비디오 프레임들의 상연을 지연시킴으로써 상기 사용자 인터페이스에서의 상기 비디오 프레임들의 상연을 제어하는, 핸드헬드 멀티미디어 장치에서의 방법.
  3. 제1항에 있어서, 상기 오디오 프레임들을 상기 원격 오디오 장치로 전송하는 것과 연관된 지연을 결정하기 전에, 상기 오디오와 비디오 프레임들 간의 추정된 지연을 결정하고,
    상기 지연을 보상하기 전에 상기 추정된 지연에 기초하여 상기 멀티미디어 장치의 사용자 인터페이스에서의 상기 비디오 프레임들의 상연을 지연하는, 핸드헬드 멀티미디어 장치에서의 방법.
  4. 제3항에 있어서, 상기 추정된 지연을, 상기 멀티미디어 장치의 룩업 테이블에 저장된 추정된 지연 정보에 기초하여 결정하는, 핸드헬드 멀티미디어 장치에서의 방법.
  5. 제1항에 있어서, 상기 멀티미디어 장치에서 상기 오디오 프레임들의 본래의(native) 코딩 방식이 상기 원격 오디오 장치 및 상기 멀티미디어 장치에 의해 지원되는지를 결정하고,
    상기 본래의 코딩 방식이 상기 원격 오디오 장치 및 상기 멀티미디어 장치의 양측 모두에 의해 지원되는 경우에만 상기 오디오 프레임들을 강제적인(mandatory) 인코딩 방식이 아니라 상기 본래의 코딩 방식으로 전송하는, 핸드헬드 멀티미디어 장치에서의 방법.
  6. 제1항에 있어서, 상기 원격 오디오 장치에서의 상연을 위해 상기 오디오 프레임들을 상기 원격 오디오 장치로 전송하고,
    상기 원격 오디오 장치에서 오디오 프레임들을 처리하는 것과 연관된 원격 지연을 결정하고,
    상기 원격 지연에 기초하여 상기 멀티미디어 장치에서의 상기 비디오 프레임들의 상연을 제어하는, 핸드헬드 멀티미디어 장치에서의 방법.
  7. 제6항에 있어서, 상기 멀티미디어 장치에서 오디오 프레임들을 처리하는 것과 연관된 국부적 지연을 결정하고,
    상기 국부적 지연에 기초하여 상기 멀티미디어 장치에서의 상기 비디오 프레임들의 상연을 제어하는, 핸드헬드 멀티미디어 장치에서의 방법.
  8. 제1항에 있어서, 상기 지연을 결정하는 단계는,
    상기 시퀀스 번호를 갖는 상기 오디오 프레임들의, 상기 원격 오디오 장치로의 전송 시간을 측정하는 단계를 포함하는, 핸드헬드 멀티미디어 장치에서의 방법.
  9. 제1항에 있어서, 공통 시간 간격 동안 소모된 비디오 프레임들의 개수와 소모된 오디오 프레임들의 개수의 비교에 기초하여 상기 지연을 결정하는, 핸드헬드 멀티미디어 장치에서의 방법.
  10. 멀티미디어 장치로서,
    멀티미디어 스트림을 오디오 프레임들과 비디오 프레임들로 분리하도록 구성된 분리 엔티티;
    상기 분리 엔티티에 연결되어 있고, 시퀀스 번호를 적어도 하나의 오디오 프레임에 부가하도록 구성된 순서화 엔티티(sequencing entity);
    상기 분리 엔티티에 연결되어 있으며, 상기 분리 엔티티로부터 수신된 비디오 프레임들을 상연하도록 구성된 비디오 플레이어;
    상기 순서화 엔티티에 연결되어 있으며, 오디오 프레임들을 원격 오디오 장치에 전송하도록 구성된 송수신기; 및
    상기 비디오 플레이어에 연결되어 있는 제어기
    를 포함하며,
    상기 제어기는, 상기 시퀀스 번호를 근거로 하여 상기 오디오 프레임들을 상기 원격 오디오 장치에 전송하는 것과 연관된 지연을 결정하도록 구성되며,
    상기 제어기는, 상기 지연에 기초하여 상기 비디오 플레이어에서 상기 비디오 프레임들의 상연을 제어하도록 구성된 멀티미디어 장치.
  11. 제10항에 있어서, 상기 제어기는 상기 비디오 플레이어에서 상기 비디오 프레임들의 상연을 지연시킴으로써 상기 상연을 제어하도록 구성된 멀티미디어 장치.
  12. 제10항에 있어서, 상기 제어기는 상기 오디오 프레임들을 상기 원격 오디오 장치로 전송하는 것과 연관된 상기 지연을 결정하기 전에, 상기 오디오 프레임들과 비디오 프레임들 간의 추정된 지연을 결정하도록 구성되며,
    상기 지연을 보상하기 전에 상기 추정된 지연에 기초하여 상기 비디오 플레이어에서의 상기 비디오 프레임들의 상연을 지연하는 멀티미디어 장치.
  13. 제12항에 있어서, 상기 제어기에 의해 액세스가능한 룩업 테이블을 포함하며, 상기 룩업 테이블은 추정된 지연 정보를 저장하며,
    상기 제어기는 상기 룩업 테이블에 저장된 원격 오디오 장치 지연 정보를 이용하여, 상기 원격 오디오 장치의 상기 추정 지연을 결정하도록 구성된 멀티미디어 장치.
  14. 제10항에 있어서, 상기 제어기는 상기 멀티미디어 장치에서 상기 오디오 프레임들의 본래의 코딩 방식이 상기 원격 오디오 장치 및 상기 멀티미디어 장치에 의해 지원되는지를 판정하도록 구성되며,
    상기 송신기는 상기 본래의 코딩 방식이 상기 원격 오디오 장치 및 상기 멀티미디어 장치의 양측 모두에 의해 지원되는 경우에만 상기 오디오 프레임들을 강제적인 인코딩 방식이 아니라 상기 본래의 코딩 방식으로 전송하도록 구성되는 멀티미디어 장치.
  15. 제10항에 있어서, 상기 제어기는 상기 원격 오디오 장치에서 오디오 프레임들을 처리하는 것과 연관된 원격 지연을 결정하도록 구성되며,
    상기 제어기는 상기 원격 지연에 기초하여 상기 비디오 플레이어에서 상기 비디오 프레임들의 상연을 제어하도록 구성된 멀티미디어 장치.
  16. 제15항에 있어서, 상기 제어기는 상기 멀티미디어 장치에서 오디오 프레임들을 처리하는 것과 연관된 국부적 지연을 결정하도록 구성되며,
    상기 국부적 지연에 기초하여 상기 비디오 플레이어에서의 상기 비디오 프레임들의 상연을 제어하는 멀티미디어 장치.
  17. 제10항에 있어서, 상기 멀티미디어 장치는 핸드헬드 전자 장치인 멀티미디어 장치.
  18. 제10항에 있어서, 상기 제어기는 상기 시퀀스 번호를 갖는 상기 오디오 프레임들의, 상기 원격 오디오 장치로의 전송 시간을 측정함으로써 상기 지연을 결정하도록 구성된 멀티미디어 장치.
  19. 제10항에 있어서, 상기 제어기는 공통 시간 간격 동안 소모된 비디오 및 오디오 프레임들의 개수를 비교하는 것에 기초하여 상기 지연을 결정하도록 구성된 멀티미디어 장치.
KR1020107010081A 2007-10-08 2008-09-30 원격 오디오와 고정 비디오의 동기화 KR101184821B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/868,643 US8743284B2 (en) 2007-10-08 2007-10-08 Synchronizing remote audio with fixed video
US11/868,643 2007-10-08
PCT/US2008/078299 WO2009048766A2 (en) 2007-10-08 2008-09-30 Synchronizing remote audio with fixed video

Publications (2)

Publication Number Publication Date
KR20100080838A true KR20100080838A (ko) 2010-07-12
KR101184821B1 KR101184821B1 (ko) 2012-09-20

Family

ID=40522918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107010081A KR101184821B1 (ko) 2007-10-08 2008-09-30 원격 오디오와 고정 비디오의 동기화

Country Status (6)

Country Link
US (1) US8743284B2 (ko)
EP (1) EP2188999A2 (ko)
KR (1) KR101184821B1 (ko)
CN (1) CN101933333B (ko)
RU (1) RU2510587C2 (ko)
WO (1) WO2009048766A2 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513029B2 (ja) * 2007-03-09 2010-07-28 株式会社東芝 情報処理装置
KR101416249B1 (ko) * 2007-08-01 2014-07-07 삼성전자 주식회사 신호처리장치 및 그 제어방법
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
US8532714B2 (en) * 2009-01-29 2013-09-10 Qualcomm Incorporated Dynamically provisioning a device with audio processing capability
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
KR101797202B1 (ko) * 2009-11-13 2017-11-14 삼성전자주식회사 디스플레이 장치, 그 오디오 원격 출력방법, 모바일 기기, 및 그 오디오 출력방법
US9438360B2 (en) * 2010-01-11 2016-09-06 Signet Media, Inc. System and method for providing an audio component of a multimedia content displayed on an electronic display device to one or more wireless computing devices
US9819840B2 (en) * 2010-01-11 2017-11-14 Bryan Nunes Audio device that extracts the audio of a multimedia stream and serves the audio on a network while the video is displayed
US9013632B2 (en) 2010-07-08 2015-04-21 Echostar Broadcasting Corporation Apparatus, systems and methods for user controlled synchronization of presented video and audio streams
US8904289B2 (en) * 2011-04-21 2014-12-02 Touchstream Technologies, Inc. Play control of content on a display device
US9767195B2 (en) 2011-04-21 2017-09-19 Touchstream Technologies, Inc. Virtualized hosting and displaying of content using a swappable media player
CN102932673B (zh) * 2011-08-11 2015-08-19 阿里巴巴集团控股有限公司 一种视频信号和音频信号的传输合成方法、系统及装置
JP5978574B2 (ja) * 2011-09-12 2016-08-24 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
US9191553B2 (en) * 2011-09-30 2015-11-17 Intel Corporation System, methods, and computer program products for multi-stream audio/visual synchronization
US9281013B2 (en) * 2011-11-22 2016-03-08 Cyberlink Corp. Systems and methods for transmission of media content
US9516262B2 (en) * 2012-05-07 2016-12-06 Comigo Ltd. System and methods for managing telephonic communications
CN104584567B (zh) * 2012-08-28 2018-11-20 皇家飞利浦有限公司 音频转发设备和对应的方法
US9357163B2 (en) * 2012-09-20 2016-05-31 Viavi Solutions Inc. Characterizing ingress noise
CN104782109B (zh) * 2012-10-30 2018-09-07 三菱电机株式会社 视频音频再现系统、视频显示装置以及音频输出装置
US9357215B2 (en) * 2013-02-12 2016-05-31 Michael Boden Audio output distribution
KR101571338B1 (ko) * 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
CN103281528A (zh) * 2013-04-10 2013-09-04 深圳康佳通信科技有限公司 一种流媒体解码方法、系统及移动终端
KR20150026069A (ko) * 2013-08-30 2015-03-11 삼성전자주식회사 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
KR102140612B1 (ko) * 2013-09-13 2020-08-11 삼성전자주식회사 오디오 신호의 출력을 지연시키는 ａ/ｖ 수신 장치 및 그 방법, 그리고, ａ/ｖ 신호 처리 시스템
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
CN103686326A (zh) * 2013-12-20 2014-03-26 乐视致新电子科技（天津）有限公司 视频文件同步播放的控制方法、智能电视、穿戴式设备
KR102201617B1 (ko) * 2014-01-07 2021-01-12 삼성전자 주식회사 Av기기 및 그 제어방법
CN103905876A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
US11166167B2 (en) * 2014-06-18 2021-11-02 Texas Instruments Incorporated Audio stream identification by a wireless network controller
CN105376628B (zh) * 2014-08-27 2018-09-21 深圳Tcl新技术有限公司 音视频信号同步方法和装置
EP3026262B1 (de) 2014-08-29 2018-07-04 Siemens Aktiengesellschaft Windkraftanlage mit einem Antriebsstrang
US9338391B1 (en) 2014-11-06 2016-05-10 Echostar Technologies L.L.C. Apparatus, systems and methods for synchronization of multiple headsets
US10034035B2 (en) 2014-12-10 2018-07-24 DISH Technologies L.L.C. Methods, devices and systems for audiovisual synchronization with multiple output devices
CN106331562B (zh) * 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
CN105338393A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 媒体同步方法和装置
CN105451056B (zh) * 2015-11-20 2018-10-02 小米科技有限责任公司 音视频同步方法及装置
CN105898502B (zh) * 2016-04-11 2019-09-20 深圳Tcl新技术有限公司 音视频同步播放的方法及装置
CN117612539A (zh) * 2016-05-30 2024-02-27 索尼公司 视频音频处理设备、视频音频处理方法和存储介质
WO2018022074A1 (en) * 2016-07-29 2018-02-01 Hewlett-Packard Development Company, L.P. Audio profile configurations
CN106454471A (zh) * 2016-08-17 2017-02-22 青岛海信电器股份有限公司 一种终端设备的音画同步方法及装置
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
US10104471B2 (en) 2016-11-30 2018-10-16 Google Llc Tactile bass response
CN110463213A (zh) * 2017-03-22 2019-11-15 株式会社阿尔法代码 虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序
WO2018198767A1 (ja) * 2017-04-25 2018-11-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2019168931A1 (en) * 2018-03-01 2019-09-06 Sony Corporation Dynamic lip-sync compensation for truly wireless bluetooth devices
CN108540829B (zh) * 2018-04-12 2021-07-23 海信视像科技股份有限公司 一种多播放设备同步播放方法、系统及终端
US10616061B2 (en) 2018-05-09 2020-04-07 Dish Network L.L.C. Methods and systems for automated configurations of media presentation devices
US10887656B2 (en) * 2018-07-14 2021-01-05 International Business Machines Corporation Automatic content presentation adaptation based on audience
CN109144642B (zh) * 2018-08-14 2022-02-18 Oppo广东移动通信有限公司 显示控制方法、装置、电子设备及存储介质
CN109275008B (zh) * 2018-09-17 2021-04-13 海信视像科技股份有限公司 一种音视频同步的方法和装置
CN109257642A (zh) * 2018-10-12 2019-01-22 Oppo广东移动通信有限公司 视频资源播放方法、装置、电子设备以及存储介质
CN113273221B (zh) 2018-10-24 2024-03-08 弗劳恩霍夫应用研究促进协会 源设备、接收设备和方法
CN109587546B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
US11533534B2 (en) * 2019-02-20 2022-12-20 Huawei Technologies Co., Ltd. Techniques for enabling ultra-high definition alliance specified reference mode (UHDA-SRM)
CN110213789B (zh) * 2019-05-09 2022-06-07 Oppo广东移动通信有限公司 蓝牙连接方法、终端设备、蓝牙设备及计算机存储介质
US11363333B2 (en) * 2019-08-05 2022-06-14 Grass Valley Limited System and method of measuring delay between transmitted audio and video signals
US11057451B2 (en) 2019-08-19 2021-07-06 Bose Corporation Audio synchronization in wireless systems
CN110545454A (zh) * 2019-08-27 2019-12-06 北京奇艺世纪科技有限公司 一种数据同步播放方法及装置
KR20210028880A (ko) 2019-09-05 2021-03-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
DE112019007660T5 (de) * 2019-09-25 2022-06-15 Lg Electronics Inc. Bildanzeigevorrichtung, lippensynchronisationskorrekturverfahren hierfür, und bildanzeigesystem
US11323766B2 (en) * 2019-10-03 2022-05-03 Dolby International Ab Method and device for providing audio/video content to a rendering device
US11196899B1 (en) * 2020-06-18 2021-12-07 Sony Group Corporation Synchronization of wireless-audio to video
KR20230117572A (ko) * 2020-12-11 2023-08-08 퀄컴 인코포레이티드 멀티미디어 재생 동기화
CN114630148B (zh) * 2020-12-11 2023-11-14 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN114827696B (zh) * 2021-01-29 2023-06-27 华为技术有限公司 一种跨设备的音视频数据同步播放的方法和电子设备
WO2023041550A1 (en) * 2021-09-16 2023-03-23 Soclip! Audio-visual offset process
CN114040237A (zh) * 2021-09-30 2022-02-11 茂佳科技(广东)有限公司 音频视频同步播放方法、终端、多媒体播放系统及介质
CN114554270A (zh) * 2022-02-28 2022-05-27 维沃移动通信有限公司 音视频播放方法及其装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696500A (en) * 1995-08-18 1997-12-09 Motorola, Inc. Multi-media receiver and system therefor
JP3063824B2 (ja) * 1996-10-29 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
US6314101B1 (en) 1997-06-17 2001-11-06 Qualcomm Incorporated Method for detecting delayed data frames in a transport function
KR100294663B1 (ko) * 1997-12-29 2001-09-17 구자홍 엠펙디코더및디코딩제어방법
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
DE19930824C2 (de) 1999-07-03 2001-05-31 Grundig Ag Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
JP3344379B2 (ja) 1999-07-22 2002-11-11 日本電気株式会社 オーディオ・ビデオ同期制御装置及びその同期制御方法
US7542068B2 (en) * 2000-01-13 2009-06-02 Polycom, Inc. Method and system for controlling multimedia video communication
GB0000873D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Interconnection of audio/video devices
US6778493B1 (en) * 2000-02-07 2004-08-17 Sharp Laboratories Of America, Inc. Real-time media content synchronization and transmission in packet network apparatus and method
US7266613B1 (en) * 2000-08-09 2007-09-04 Microsoft Corporation Fast dynamic measurement of bandwidth in a TCP network environment
US6907028B2 (en) * 2002-02-14 2005-06-14 Nokia Corporation Clock-based time slicing
DE60211157T2 (de) * 2002-09-06 2007-02-08 Sony Deutschland Gmbh Synchrones Abspielen von Medien-Paketen
US7366462B2 (en) * 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
US20050130585A1 (en) * 2003-11-14 2005-06-16 Cingular Wireless Ii, Llc Subscriber identity module with video permissions
US7170545B2 (en) * 2004-04-27 2007-01-30 Polycom, Inc. Method and apparatus for inserting variable audio delay to minimize latency in video conferencing
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
US7496077B2 (en) * 2004-08-11 2009-02-24 Broadcom Corporation Method and system for dynamically changing audio stream bit rate based on condition of a Bluetooth connection
KR20070057925A (ko) * 2004-10-13 2007-06-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오/비디오 신호의 재생을 동기화 시키는 방법 및시스템
US7796651B2 (en) * 2005-03-02 2010-09-14 Nokia Corporation See what you see (SWYS)
US20060209210A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Automatic audio and video synchronization
US7423693B2 (en) * 2005-07-28 2008-09-09 Cole James R Video delay stabilization system and method

Also Published As

Publication number Publication date
CN101933333A (zh) 2010-12-29
WO2009048766A2 (en) 2009-04-16
US8743284B2 (en) 2014-06-03
RU2010118478A (ru) 2011-11-20
EP2188999A2 (en) 2010-05-26
RU2510587C2 (ru) 2014-03-27
US20090091655A1 (en) 2009-04-09
KR101184821B1 (ko) 2012-09-20
WO2009048766A3 (en) 2010-11-11
CN101933333B (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
KR101184821B1 (ko) 원격 오디오와 고정 비디오의 동기화
CN109906613B (zh) 音频和视频的多模式同步渲染
US10405026B2 (en) Methods, devices and systems for audiovisual synchronization with multiple output devices
US9954671B2 (en) Information processing apparatus, synchronization correction method and computer program
EP2011339B1 (en) Method and system for managing audio data
US9014833B2 (en) System for reproduction of media content
US20120099594A1 (en) Media distribution architecture
CN104584567A (zh) 音频转发设备和对应的方法
US20220038769A1 (en) Synchronizing bluetooth data capture to data playback
US20160088339A1 (en) Reproducing device and method of reproducing data
US20130166769A1 (en) Receiving device, screen frame transmission system and method
US20230216910A1 (en) Audio synchronization in wireless systems
WO2016008131A1 (en) Techniques for separately playing audio and video data in local networks
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム
JP4892090B1 (ja) 情報送信装置、情報送信方法及び情報送信用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150825

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170831

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180828

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190830

Year of fee payment: 8