JP7120997B2 - オーディオとビデオのマルチモード同期レンダリング - Google Patents
オーディオとビデオのマルチモード同期レンダリング Download PDFInfo
- Publication number
- JP7120997B2 JP7120997B2 JP2019515432A JP2019515432A JP7120997B2 JP 7120997 B2 JP7120997 B2 JP 7120997B2 JP 2019515432 A JP2019515432 A JP 2019515432A JP 2019515432 A JP2019515432 A JP 2019515432A JP 7120997 B2 JP7120997 B2 JP 7120997B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- electronic device
- mode
- video
- clock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26233—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving content or additional data duration or size, e.g. length of a movie, size of an executable file
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
- H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Description
通常、テレビは、音声を提供するための内蔵スピーカを含むが、視聴者によっては、無線ヘッドホンで音声を聞きながらテレビを見たいと望む者もいる。この目的でBluetooth(登録商標)無線ヘッドホンを利用することはできるが、Bluetooth(登録商標)無線ヘッドホンはテレビ映像と同期していないことが多いので、Bluetooth(登録商標)プロトコルでは不十分である。従って、視聴者は、聴いているせりふ及びその他の音声が対応する映像内でタイムリーに発生せずにずれてしまうという望ましくない体験に見舞われる。このため、Bluetooth(登録商標)ヘッドホンは消費者に支持されていない。
図1及び図2に、上述した同期機能を実装できるシステム例の概要を示す。その後の図である図3~図10には、図1及び図2に示すようなシステムにおいて実行できる同期処理の実施形態を示す。
図2に、本明細書で説明する方法のいずれかを実行できる、ビデオ装置とオーディオ装置との間の同期メディア再生のために構成されたシステム例200を示す。システムは、メディアソース201と、ネットワーク205を通じてオーディオ受信機207に接続されたメディアプレーヤ203とを含む。メディアソース201は、メディアコンテンツ209を含む。メディアプレーヤ203は、受信機211と、1又は2以上のプロセッサ213と、メモリ、ストレージ、又はメモリとストレージの両デバイス215と、ビデオバッファ217と、ビデオレンダラ219と、無線ブロードキャスタ221とを含む。オーディオ受信機207は、無線受信機223と、プロセッサ225と、メモリ、ストレージ、又はメモリとストレージの両デバイス227と、オーディオ出力部229とを含む。
図3に、ビデオ及びオーディオを送信するための同期モードを選択するプロセス例300を示す。このプロセスは、本明細書で説明するシステムのいずれかが実行することができる。例えば、メディアソース又はメディアプレーヤ上で実行されているソフトウェアがプロセス300を実行することができる。
図4に、オーディオを送信するための同期モード(決定論的又は準アイソクロナス)を選択するプロセス例400を示す。このプロセスは、本明細書で説明するシステムのいずれかが実行することができる。例えば、メディアソース又はメディアプレーヤ上で実行されているソフトウェア(以下、総称的に「システム」と呼ぶ)がプロセス400を実行することができる。この実施形態では、システムが、ブロック401~409に示す複数の基準を評価して、準アイソクロナス同期又は決定論的同期のいずれかを選択する。このプロセスは、メディアソース又はメディアプレーヤが製造後に(例えば、リスナーの家で)実行することができる。1つの実施形態では、システムが一方のモード(例えば、決定論的)をデフォルトとするが、1又は2以上の基準が満たされたことに応答して他方のモードに切り替わる。別の実施形態では、全ての基準が考慮されるわけではない。
図5に、準アイソクロナスモードによるメディア処理のプロセス例500を示す。このプロセスは、本明細書で説明するシステムのうちのいずれかが実行することができる。例えば、メディアソース又はメディアプレーヤ上で実行されているソフトウェア(以下、総称的に「システム」と呼ぶ)が処理500を実行することができる。
図7に、決定論的モードによるメディア処理のプロセス例700を示す。このプロセスは、本明細書で説明するシステムのいずれかが実行することができる。例えば、メディアソース又はメディアプレーヤ上で実行されているソフトウェア(以下、総称的に「システム」と呼ぶ)が処理700を実行することができる。
図9に、クロック同期を初期化する方法例のプロセス例900を示す。図10には、再同期及びクロックドリフト補正のための方法例のプロセス例100を示す。これらのプロセスは、本明細書で説明するシステムのいずれかが実行することができる。図9及び図10は、2013年9月12日に出願された「再生同期(Playback Synchronization)」という名称の米国特許第9,237,324号において考察したものであり、この文献はその全体が引用により本明細書に組み入れられる。
図1に示すように、電話機105は、無線スピーカ141又は有線ヘッドホン153を通じてオーディオを出力することができる。オーディオは、無線スピーカよりも有線ヘッドホンを通じた方が高速にレンダリングすることができる。従って、オーディオ同期中には、このレンダリング時間のばらつきを考慮することができる。例えば、決定論的モードでは、無線スピーカ141を通じた送信及びレンダリングに25ms掛かる場合、電話機1 105は、ステージング時間よりも25ms前に無線スピーカにデータを送信することができる。別の例として、決定論的モードでは、無線スピーカを通じた送信及びレンダリングに可変の25~50msが掛かる場合、電話機1は、オーディオの再生予定よりも少なくとも50ms前に無線スピーカにオーディオを送信するとともにオーディオをいつ再生すべきかを示す遅延時間も送信するように決定論的モードを実行することができる。無線スピーカは、このオーディオを受け取って遅延時間の最後までバッファリングし、その後にオーディオを再生することができる。
上述した実施形態では、特定の実施形態に関連して、ビデオとオーディオのマルチモード同期レンダリング(multimode synchronous rendering)のための装置、システム及び方法について説明した。しかしながら、実施形態の原理及び利点は、ビデオとオーディオの同期を改善するためのネットワーク装置にわたる他のあらゆるシステム、装置又は方法に使用することもできると理解されるであろう。実施形態によっては、電話機、スマートTV又はその他の特定の装置を参照して説明したものもあるが、本明細書で説明した原理及び利点は、様々な装置に適用することができると理解されるであろう。開示した実施形態の中には、特定の無線プロトコル又はネットワークを参照して説明したものもあるが、本明細書で説明した原理及び利点は、様々なネットワーク及びプロトコルに適用することができると理解されるであろう。さらに、例示を目的としていくつかの方程式及びタイミングを示したが、本明細書で説明した機能を実現するために他の同様の方程式又はタイミングを実装することもできる。
Claims (20)
- 第1の電子装置と第2の電子装置との間でオーディオ再生を同期させるモードを選択するための方法であって、
テレビ又はテレビに結合されたメディアソースを含む第1の電子装置においてビデオデータ及びオーディオデータを受け取るステップと、
前記第1の電子装置と前記第2の電子装置との間に同期クロックを確立するために、無線ネットワークを通じて、前記第1の電子装置に関連するクロック情報をモバイル装置である前記第2の電子装置に無線送信するステップと、
前記第1の電子装置のハードウェアプロセッサを用いて、前記ビデオデータに少なくとも部分的に基づいて、前記ビデオデータがサイズにおいて閾値を下回る場合に前記ビデオを遅延させることを含む第1のモードと前記ビデオデータがサイズにおいて前記閾値を上回る場合に前記オーディオデータを圧縮することを含む第2のモードとの間で選択されるオーディオ同期モードをプログラム的に選択するステップと、
前記選択されたオーディオ同期モードに従って、前記第1の電子装置から前記第2の電子装置に前記オーディオデータを送信するステップと、
を含む方法。 - 前記第1のモードを選択したことに応答して、前記ビデオデータを遅延させるステップをさらに含む、請求項1に記載の方法。
- 前記第2のモードを選択したことに応答して、前記オーディオデータを圧縮するステップをさらに含む、請求項1又は2に記載の方法。
- 前記第1のモードを選択したことに応答して、前記オーディオデータを圧縮して前記ビデオデータを遅延させるステップをさらに含む、請求項1から3のいずれか1項に記載の方法。
- 前記オーディオ同期モードを選択するステップは、前記ビデオデータ内でビデオゲームを検出したことに応答して前記第2のモードを選択するステップを含む、請求項1から4のいずれか1項に記載の方法。
- 前記オーディオ同期モードを選択するステップは、前記無線ネットワークの安定性又は前記無線ネットワークの帯域幅に基づいて前記第2のモードを選択するステップを含む、請求項1から5のいずれか1項に記載の方法。
- 前記クロック情報を無線送信するステップは、それぞれがほぼ等しい時間間隔で離間した複数のパケットを送信するステップを含む、請求項1から6のいずれか1項に記載の方法。
- 前記第1の電子装置のバッファリング容量に基づいて、前記第1のモードの遅延時間を決定するステップをさらに含む、請求項1から7のいずれか1項に記載の方法。
- 前記遅延時間を決定するステップは、前記第1の電子装置から前記第2の電子装置にパケットが送信される平均送信時間よりも長い遅延時間を選択するステップを含む、請求項8に記載の方法。
- 交互配置された前方誤り訂正情報をオーディオプレーヤに送信するステップをさらに含む、請求項1から9のいずれか1項に記載の方法。
- 前記第1の電子装置はビデオプレーヤであり、前記第2の電子装置はオーディオプレーヤであり、前記ビデオプレーヤと前記オーディオプレーヤとの間に同期クロックを確立することは、クロックドリフトを考慮するようにオーディオレンダリングの期間後に前記同期クロックを再同期させることを含む、請求項1から9のいずれか1項に記載の方法。
- 第1の電子装置と第2の電子装置との間でオーディオ再生を同期させるモードを選択するためのシステムであって、
前記システムは第1の電子装置を備え、該第1の電子装置は、
プロセッサ実行可能命令を含むメモリと、
前記プロセッサ実行可能命令を実行するように構成されたハードウェアプロセッサと、
前記ハードウェアプロセッサと通信する無線送信機と、
を含み、前記プロセッサ実行可能命令は、
ビデオデータ及びオーディオデータを受け取り、
前記第1の電子装置と第2の電子装置との間に同期クロックを確立するために無線ネットワークを通じて前記第1の電子装置に関連するクロック情報を前記第2の電子装置に無線送信することを前記無線送信機に行わせ、
前記ビデオデータに少なくとも部分的に基づいて、前記ビデオデータがサイズにおいて閾値を下回る場合に前記ビデオを遅延させることを含む第1のモードと前記ビデオデータがサイズにおいて前記閾値を上回る場合に前記オーディオデータを圧縮することを含む第2のモードとの間で選択されるオーディオ同期モードをプログラム的に選択し、
前記選択されたオーディオ同期モードに従って前記第1の電子装置から前記第2の電子装置に前記オーディオデータを送信することを前記無線送信機に行わせる、
ように構成される、
システム。 - 前記第1の装置は、テレビ又はセットトップボックスである、請求項12に記載のシステム。
- 前記オーディオ同期モードは、前記第1のモード及び前記第2のモードから選択される、請求項12又は13に記載のシステム。
- 前記オーディオ同期モードの前記選択は、前記ビデオデータの帯域幅サイズを評価することを含む、請求項14に記載のシステム。
- 前記第2のモードは、前記帯域幅サイズが前記第1の電子装置のバッファリング容量を超えたことに応答して選択される、請求項15に記載のシステム。
- プロセッサ実行可能命令を記憶した非一時的物理電子ストレージであって、前記プロセッサ実行可能命令は、プロセッサによって実行されたときに、第1の電子装置と第2の電子装置との間でオーディオ再生を同期させるモードを選択するためのシステムを実施するように構成され、前記システムは、
第1の電子装置においてビデオデータ及びオーディオデータを受け取り、
前記第1の電子装置と第2の電子装置との間に同期クロックを確立するために、無線ネットワークを通じて、前記第1の電子装置に関連するクロック情報を前記第2の電子装置に無線送信し、
前記ビデオデータに少なくとも部分的に基づいて、前記ビデオデータがサイズにおいて閾値を下回る場合に前記ビデオを遅延させることを含む第1のモードと前記ビデオデータがサイズにおいて前記閾値を上回る場合に前記オーディオデータを圧縮することを含む第2のモードとの間で選択されるオーディオ同期モードをプログラム的に選択し、
前記選択されたオーディオ同期モードに従って、前記第1の電子装置から前記第2の電子装置に前記オーディオデータを送信する、
ように構成される、非一時的物理電子ストレージ。 - 前記オーディオ同期モードは、前記第1のモード及び前記第2のモードから選択される、請求項17に記載の非一時的物理電子ストレージ。
- 前記第2のモードは、前記オーディオデータに非可逆圧縮を適用することを含む、請求項18に記載の非一時的物理電子ストレージ。
- 前記第1のモード又は前記第2のモードのいずれかにおいて前方誤り訂正が使用される、請求項18又は19に記載の非一時的物理電子ストレージ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/265,609 | 2016-09-14 | ||
US15/265,609 US10158905B2 (en) | 2016-09-14 | 2016-09-14 | Systems and methods for wirelessly transmitting audio synchronously with rendering of video |
PCT/US2017/051095 WO2018052881A1 (en) | 2016-09-14 | 2017-09-12 | Multimode synchronous rendering of audio and video |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019532576A JP2019532576A (ja) | 2019-11-07 |
JP7120997B2 true JP7120997B2 (ja) | 2022-08-17 |
Family
ID=59974860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019515432A Active JP7120997B2 (ja) | 2016-09-14 | 2017-09-12 | オーディオとビデオのマルチモード同期レンダリング |
Country Status (6)
Country | Link |
---|---|
US (3) | US10158905B2 (ja) |
EP (1) | EP3513564A1 (ja) |
JP (1) | JP7120997B2 (ja) |
KR (1) | KR102445593B1 (ja) |
CN (1) | CN109906613B (ja) |
WO (1) | WO2018052881A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10296286B2 (en) * | 2016-12-13 | 2019-05-21 | EVA Automation, Inc. | Maintaining coordination following a wireless reset |
EP3571848A1 (en) * | 2017-01-17 | 2019-11-27 | Labs.FM (Pty) Ltd | Content streaming system and method |
EP3373524B1 (en) * | 2017-03-08 | 2023-08-23 | Robert Bosch GmbH | Audio stream network with network components and method for running and/or configuring the network with network components |
DE102017123319A1 (de) * | 2017-10-09 | 2019-04-11 | Sennheiser Electronic Gmbh & Co. Kg | Verfahren und System zur Erfassung und Synchronisation von Audio- und Videosignalen und Audio/Video-Erfassungs- und Synchronisationssystem |
US11509726B2 (en) * | 2017-10-20 | 2022-11-22 | Apple Inc. | Encapsulating and synchronizing state interactions between devices |
CN108012177A (zh) * | 2017-12-01 | 2018-05-08 | 晨星半导体股份有限公司 | 音视频播放系统及应用于其上的音频数据的播放方法 |
EP3780634A4 (en) | 2018-05-09 | 2021-04-28 | Huawei Technologies Co., Ltd. | ASSIGNMENT OF LOCAL PROCESSING CAPABILITY OF INTERCONNECTED TERMINAL DEVICES |
US10771866B2 (en) | 2018-05-24 | 2020-09-08 | Google Llc | Methods, systems, and media synchronizing audio and video content on multiple media devices |
US10805658B2 (en) * | 2018-09-12 | 2020-10-13 | Roku, Inc. | Adaptive switching in a whole home entertainment system |
US10834296B2 (en) * | 2018-09-12 | 2020-11-10 | Roku, Inc. | Dynamically adjusting video to improve synchronization with audio |
EP3791568A4 (en) * | 2018-10-03 | 2022-02-23 | Videolocalize Inc. | PIECE-BY-PIECE HYBRID VIDEO AND AUDIO SYNCHRONIZATION |
EP3902271A4 (en) * | 2018-12-20 | 2022-10-26 | Hisense Visual Technology Co., Ltd. | AUDIO REPRODUCTION AND TRANSMISSION METHOD AND APPARATUS |
US11190836B2 (en) * | 2018-12-20 | 2021-11-30 | Hisense Visual Technology Co., Ltd. | Audio playing and transmitting methods and apparatuses |
KR102643372B1 (ko) * | 2019-05-29 | 2024-03-07 | 삼성전자주식회사 | 장치를 탐색하는 전자 장치 및 그 방법 |
US11234049B2 (en) * | 2019-06-24 | 2022-01-25 | The Nielsen Company (Us), Llc | Use of steganographically-encoded time information as basis to control implementation of dynamic content modification |
CN110430457B (zh) * | 2019-07-25 | 2021-09-10 | 北京奇艺世纪科技有限公司 | 异端音视频播放方法、装置及音视频播放系统 |
WO2021054612A1 (ko) | 2019-09-19 | 2021-03-25 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
KR20210068953A (ko) | 2019-12-02 | 2021-06-10 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN112995759A (zh) * | 2019-12-13 | 2021-06-18 | 腾讯科技(北京)有限公司 | 互动业务处理方法、系统、装置、设备及存储介质 |
KR102306226B1 (ko) * | 2019-12-19 | 2021-09-29 | 애드커넥티드 주식회사 | 디지털 콘텐츠의 비디오 및 오디오 재생 동기화를 맞추는 방법 및 이를 이용한 장치 |
US10904606B1 (en) * | 2020-01-23 | 2021-01-26 | Roku, Inc. | Using non-audio data embedded in an audio signal |
CN211702218U (zh) * | 2020-02-20 | 2020-10-16 | 深圳市昊一源科技有限公司 | 音视频传输装置及音视频传输系统 |
US11038937B1 (en) * | 2020-03-06 | 2021-06-15 | Sonos, Inc. | Hybrid sniffing and rebroadcast for Bluetooth networks |
US11418297B2 (en) * | 2020-03-31 | 2022-08-16 | Bose Corporation | Systems and methods including wireless data packet retransmission schemes |
EP4144097A1 (en) * | 2020-05-01 | 2023-03-08 | ARRIS Enterprises LLC | Method and system for synchronized viewing of content over multiple remote media play devices |
KR102251148B1 (ko) * | 2020-05-06 | 2021-05-12 | (주)유브릿지 | 오디오-비디오 동기화 처리 방법 |
CN111669645B (zh) * | 2020-06-12 | 2021-09-07 | 腾讯科技(深圳)有限公司 | 视频的播放方法、装置、电子设备及存储介质 |
US11196899B1 (en) | 2020-06-18 | 2021-12-07 | Sony Group Corporation | Synchronization of wireless-audio to video |
FR3112444A1 (fr) * | 2020-07-10 | 2022-01-14 | Sagemcom Broadband Sas | Procédé, système et programme de diffusion de signaux audio/vidéo avec un ajustement automatique de latence |
US20220201381A1 (en) * | 2020-07-22 | 2022-06-23 | Google Llc | Bluetooth Earphone Adaptive Audio Playback Speed |
KR20220098577A (ko) * | 2021-01-04 | 2022-07-12 | 삼성전자주식회사 | 오디오 데이터 처리 방법 및 이를 지원하는 전자 장치 |
WO2022181860A1 (ko) * | 2021-02-26 | 2022-09-01 | 애드커넥티드 주식회사 | 디지털 콘텐츠의 비디오 및 오디오 재생 동기화를 맞추는 방법 및 이를 이용한 장치 |
CN113438385B (zh) * | 2021-06-03 | 2023-04-04 | 深圳市昊一源科技有限公司 | 一种视频同步方法及无线图像传输系统 |
US20230023652A1 (en) * | 2021-07-22 | 2023-01-26 | Sonos, Inc. | Wireless Streaming of Audio/Visual Content in a Home Theater Architecture |
FR3131161A1 (fr) * | 2021-12-20 | 2023-06-23 | Sagemcom Broadband Sas | Dispositif et procédé pour la restitution audio-vidéo synchronisée. |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005303713A (ja) | 2004-04-13 | 2005-10-27 | Kenwood Corp | 映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法 |
JP2007159092A (ja) | 2005-11-11 | 2007-06-21 | Sharp Corp | 映像音声処理本体装置およびその制御方法、音声処理端末装置およびその制御方法、音声処理本体装置、映像音声処理システム、映像音声処理本体装置制御プログラム、音声処理端末装置制御プログラム、ならびに該プログラムを記録した記録媒体 |
CN103905877A (zh) | 2014-03-13 | 2014-07-02 | 北京奇艺世纪科技有限公司 | 音视频数据的播放方法、智能电视和移动设备 |
JP2015070460A (ja) | 2013-09-30 | 2015-04-13 | シャープ株式会社 | 映像音声配信システム、音声映像配信方法及びプログラム |
WO2015107909A1 (ja) | 2014-01-20 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 再生装置及びデータ再生方法 |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU7206994A (en) * | 1993-06-09 | 1995-01-03 | Intelligence At Large, Inc. | Method and apparatus for multiple media digital communication system |
US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
US5594660A (en) * | 1994-09-30 | 1997-01-14 | Cirrus Logic, Inc. | Programmable audio-video synchronization method and apparatus for multimedia systems |
US5703877A (en) * | 1995-11-22 | 1997-12-30 | General Instrument Corporation Of Delaware | Acquisition and error recovery of audio data carried in a packetized data stream |
GB9807295D0 (en) * | 1998-04-03 | 1998-06-03 | Snell & Wilcox Ltd | Improvements relating to audio-video delay |
AU4182400A (en) * | 1999-03-30 | 2000-10-16 | Diva Systems Corporation | User access to secondary content associated with a primary content |
CA2313979C (en) * | 1999-07-21 | 2012-06-12 | Thomson Licensing Sa | Synchronizing apparatus for a compressed audio/video signal receiver |
CN1436001A (zh) * | 2002-01-28 | 2003-08-13 | 北京华诺信息技术有限公司 | 解码系统中实现视频与音频同步的方法 |
WO2003093950A2 (en) * | 2002-05-06 | 2003-11-13 | David Goldberg | Localized audio networks and associated digital accessories |
US20040034874A1 (en) * | 2002-08-19 | 2004-02-19 | Hord Phillip M. | Pop-up PVR advertising |
JP2004104730A (ja) * | 2002-09-13 | 2004-04-02 | Hitachi Kokusai Electric Inc | 遅延時間検出方法及びav同期検出方法 |
US8366552B2 (en) * | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
CN1723703B (zh) * | 2003-02-27 | 2012-05-30 | 松下电器产业株式会社 | 数据处理装置及方法 |
WO2004084553A1 (ja) * | 2003-03-19 | 2004-09-30 | Matsushita Electric Industrial Co., Ltd. | データ処理装置 |
EP1643768B1 (en) * | 2003-06-30 | 2012-05-02 | Panasonic Corporation | Data processing device and data processing method |
US7400653B2 (en) * | 2004-06-18 | 2008-07-15 | Dolby Laboratories Licensing Corporation | Maintaining synchronization of streaming audio and video using internet protocol |
JP4595653B2 (ja) * | 2005-04-27 | 2010-12-08 | 日本ビクター株式会社 | 映像・音声処理装置 |
KR20060132412A (ko) * | 2005-06-18 | 2006-12-21 | 엘지전자 주식회사 | 이동 단말간 근거리 무선 통신을 통한 음원 재생 동기화방법 |
US8406309B2 (en) * | 2005-10-21 | 2013-03-26 | Qualcomm Incorporated | Video rate adaptation to reverse link conditions |
US20070124792A1 (en) | 2005-11-30 | 2007-05-31 | Bennett James D | Phone based television remote control |
US9247175B2 (en) | 2005-11-30 | 2016-01-26 | Broadcom Corporation | Parallel television remote control |
US7852416B2 (en) | 2005-11-30 | 2010-12-14 | Broadcom Corporation | Control device with language selectivity |
EP1793592A3 (en) | 2005-11-30 | 2008-02-27 | Broadcom Corporation | Parallel television remote control |
US7827289B2 (en) | 2006-02-16 | 2010-11-02 | Dell Products, L.P. | Local transmission for content sharing |
US20080201751A1 (en) * | 2006-04-18 | 2008-08-21 | Sherjil Ahmed | Wireless Media Transmission Systems and Methods |
ITTO20060668A1 (it) * | 2006-09-19 | 2008-03-20 | Rai Radiotelevisione Italiana Spa | Metodo per riprodurre una sequenza audio e/o video, dispositivo di riproduzione ed apparecchio riproduttore che lo utilizzano |
US9467735B2 (en) * | 2007-09-04 | 2016-10-11 | Apple Inc. | Synchronizing digital audio and analog video from a portable media device |
US8743284B2 (en) * | 2007-10-08 | 2014-06-03 | Motorola Mobility Llc | Synchronizing remote audio with fixed video |
KR101450100B1 (ko) | 2007-11-22 | 2014-10-15 | 삼성전자주식회사 | 멀티미디어기기 및 그의 동기설정방법 |
AU2008333829B2 (en) * | 2007-12-05 | 2013-10-03 | Sony Computer Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
WO2009073830A1 (en) * | 2007-12-05 | 2009-06-11 | Onlive, Inc. | Streaming interactive video client apparatus |
US20090249222A1 (en) * | 2008-03-25 | 2009-10-01 | Square Products Corporation | System and method for simultaneous media presentation |
US8199833B2 (en) * | 2008-08-25 | 2012-06-12 | Broadcom Corporation | Time shift and tonal adjustment to support video quality adaptation and lost frames |
US8655143B2 (en) * | 2009-04-01 | 2014-02-18 | Cisco Technology, Inc. | Supplementary buffer construction in real-time applications without increasing channel change delay |
KR20100124909A (ko) * | 2009-05-20 | 2010-11-30 | 삼성전자주식회사 | 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법 |
KR101797202B1 (ko) * | 2009-11-13 | 2017-11-14 | 삼성전자주식회사 | 디스플레이 장치, 그 오디오 원격 출력방법, 모바일 기기, 및 그 오디오 출력방법 |
US8505054B1 (en) | 2009-12-18 | 2013-08-06 | Joseph F. Kirley | System, device, and method for distributing audio signals for an audio/video presentation |
US10080061B1 (en) * | 2009-12-18 | 2018-09-18 | Joseph F. Kirley | Distributing audio signals for an audio/video presentation |
US9237324B2 (en) | 2010-10-22 | 2016-01-12 | Phorus, Inc. | Playback synchronization |
US8929710B2 (en) * | 2010-11-01 | 2015-01-06 | Todd E. Fitzsimmons | System and method for time shifting at least a portion of a video program |
US9509945B2 (en) * | 2011-02-08 | 2016-11-29 | Texas Instruments Incorporated | Automatic program clock reference correction |
US9088816B2 (en) | 2011-06-03 | 2015-07-21 | Airborne Media Group, Inc. | Venue-oriented social functionality via a mobile communication device |
US9167296B2 (en) * | 2012-02-28 | 2015-10-20 | Qualcomm Incorporated | Customized playback at sink device in wireless display system |
JP5957760B2 (ja) * | 2012-03-08 | 2016-07-27 | パナソニックIpマネジメント株式会社 | 映像音声処理装置 |
EP2891315B1 (en) | 2012-08-28 | 2018-05-30 | Koninklijke Philips N.V. | Audio forwarding device and corresponding method. |
US9736587B2 (en) | 2012-08-31 | 2017-08-15 | Qualcomm Incorporated | Smart tool for headphones |
CN104813303B (zh) * | 2012-09-14 | 2018-11-16 | Dts(英属维尔京群岛)有限公司 | 回放同步 |
KR102132309B1 (ko) * | 2012-09-14 | 2020-07-09 | 디티에스, 인코포레이티드 | 재생 동기화 |
US8918822B2 (en) | 2012-09-26 | 2014-12-23 | Apple Inc. | Displaying a synchronized instance of content on a portable electronic device |
JP6625318B2 (ja) * | 2013-08-29 | 2019-12-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 送信方法および受信方法 |
JP6287315B2 (ja) * | 2014-02-20 | 2018-03-07 | 富士通株式会社 | 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム |
CN103905880A (zh) * | 2014-03-13 | 2014-07-02 | 北京奇艺世纪科技有限公司 | 音视频数据的播放方法、智能电视和移动设备 |
US20150281830A1 (en) | 2014-03-26 | 2015-10-01 | Bose Corporation | Collaboratively Processing Audio between Headset and Source |
US9509740B2 (en) * | 2014-04-11 | 2016-11-29 | Verizon Patent And Licensing Inc. | Quality of experience and network optimization |
US10178281B2 (en) * | 2014-07-28 | 2019-01-08 | Starkey Laboratories, Inc. | System and method for synchronizing audio and video signals for a listening system |
CN105847926A (zh) * | 2016-03-31 | 2016-08-10 | 乐视控股(北京)有限公司 | 一种多媒体数据的同步播放方法及装置 |
-
2016
- 2016-09-14 US US15/265,609 patent/US10158905B2/en active Active
-
2017
- 2017-09-12 WO PCT/US2017/051095 patent/WO2018052881A1/en unknown
- 2017-09-12 CN CN201780066814.7A patent/CN109906613B/zh active Active
- 2017-09-12 JP JP2019515432A patent/JP7120997B2/ja active Active
- 2017-09-12 KR KR1020197010602A patent/KR102445593B1/ko active IP Right Grant
- 2017-09-12 EP EP17777114.4A patent/EP3513564A1/en active Pending
-
2018
- 2018-11-13 US US16/189,719 patent/US10757466B2/en active Active
-
2020
- 2020-08-21 US US17/000,039 patent/US11184661B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005303713A (ja) | 2004-04-13 | 2005-10-27 | Kenwood Corp | 映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法 |
JP2007159092A (ja) | 2005-11-11 | 2007-06-21 | Sharp Corp | 映像音声処理本体装置およびその制御方法、音声処理端末装置およびその制御方法、音声処理本体装置、映像音声処理システム、映像音声処理本体装置制御プログラム、音声処理端末装置制御プログラム、ならびに該プログラムを記録した記録媒体 |
JP2015070460A (ja) | 2013-09-30 | 2015-04-13 | シャープ株式会社 | 映像音声配信システム、音声映像配信方法及びプログラム |
WO2015107909A1 (ja) | 2014-01-20 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 再生装置及びデータ再生方法 |
CN103905877A (zh) | 2014-03-13 | 2014-07-02 | 北京奇艺世纪科技有限公司 | 音视频数据的播放方法、智能电视和移动设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3513564A1 (en) | 2019-07-24 |
US10158905B2 (en) | 2018-12-18 |
WO2018052881A1 (en) | 2018-03-22 |
JP2019532576A (ja) | 2019-11-07 |
US20210144431A1 (en) | 2021-05-13 |
CN109906613B (zh) | 2022-09-13 |
KR102445593B1 (ko) | 2022-09-22 |
US11184661B2 (en) | 2021-11-23 |
KR20190106986A (ko) | 2019-09-18 |
CN109906613A (zh) | 2019-06-18 |
US20180077443A1 (en) | 2018-03-15 |
US20190149874A1 (en) | 2019-05-16 |
US10757466B2 (en) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7120997B2 (ja) | オーディオとビデオのマルチモード同期レンダリング | |
US9479584B2 (en) | Synchronous media rendering of demuxed media components across multiple devices | |
US9832507B2 (en) | System and method for synchronizing media output devices connected on a network | |
US20200014969A1 (en) | User interface for multimode synchronous rendering of headphone audio and video | |
JP6509116B2 (ja) | オーディオ転送デバイス及び対応する方法 | |
US9338208B2 (en) | Common event-based multidevice media playback | |
JP7391500B2 (ja) | 再生同期 | |
US9843489B2 (en) | System and method for synchronous media rendering over wireless networks with wireless performance monitoring | |
US11146611B2 (en) | Lip synchronization of audio and video signals for broadcast transmission | |
CN111837400A (zh) | 用于同步多个媒体设备上的音频内容和视频内容的方法、系统和介质 | |
CN101924753A (zh) | 信息处理装置、同步校正方法和计算机程序 | |
US20170019197A1 (en) | System for synchronous playback of media using a hybrid bluetooth™ and wi-fi network | |
US20170019198A1 (en) | System for synchronous playback of media using a hybrid bluetooth™ and wi-fi network | |
JP6232870B2 (ja) | 無線通信システム、無線通信方法、プログラム、及び記録媒体 | |
WO2016008131A1 (en) | Techniques for separately playing audio and video data in local networks | |
KR20070008069A (ko) | 음성/영상신호의 동기화 장치 및 방법 | |
US9635082B2 (en) | Method of saving content to a file on a server and corresponding device | |
JP5082715B2 (ja) | 受信装置、受信方法およびコンピュータプログラム | |
JP2019211638A (ja) | 処理装置、出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム | |
JP7303670B2 (ja) | Mmt受信機及びプログラム | |
WO2016134186A1 (en) | Synchronous media rendering over wireless networks with wireless performance monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7120997 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |