JP7540488B2 - 無線オーディオのビデオとの同期 - Google Patents

無線オーディオのビデオとの同期 Download PDF

Info

Publication number
JP7540488B2
JP7540488B2 JP2022538804A JP2022538804A JP7540488B2 JP 7540488 B2 JP7540488 B2 JP 7540488B2 JP 2022538804 A JP2022538804 A JP 2022538804A JP 2022538804 A JP2022538804 A JP 2022538804A JP 7540488 B2 JP7540488 B2 JP 7540488B2
Authority
JP
Japan
Prior art keywords
wireless audio
audio
content
playback
wireless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022538804A
Other languages
English (en)
Other versions
JP2023508945A (ja
Inventor
ブラント キャンデロア
マーヤー ネジャト
ピーター シンタニ
ロバート ブランチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023508945A publication Critical patent/JP2023508945A/ja
Application granted granted Critical
Publication of JP7540488B2 publication Critical patent/JP7540488B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42684Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W80/00Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/02Data link layer protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

〔関連出願との相互参照/引用による組み入れ〕
なし。
本開示の様々な実施形態は、オーディオ-ビデオ(AV)同期に関する。具体的には、本開示の様々な実施形態は、無線オーディオをビデオに同期させる電子装置及び方法に関する。
AV同期又はリップシンク(lip sync)問題は、メディア伝送及び再生に関連する周知の課題である。通常、リップシンクエラーは、AVコンテンツのオーディオがAVコンテンツのビデオに対して遅延又は先行している時間によって測定される。Bluetooth(登録商標)オーディオなどの無線オーディオの場合には、非常に煩わしい顕著なリップシンク問題が存在することによって、実際に一定の人々が番組を見ることができなくなってしまうこともある。
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。
実質的に少なくとも1つの図に関連して図示及び/又は説明し、特許請求の範囲にさらに完全に示すような、無線オーディオをビデオに同期させる電子装置及び方法を提供する。
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
本開示の実施形態による、無線オーディオをビデオに同期させる例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、無線オーディオをビデオに同期させる例示的な電子装置を示すブロック図である。 本開示の実施形態による、無線オーディオをビデオに同期させる例示的な動作を示す図である。 本開示の実施形態による、無線オーディオをビデオに同期させる例示的な動作を示す図である。 本開示の実施形態による、無線オーディオをビデオに同期させる例示的な方法を示すフローチャートである。
無線オーディオをビデオに同期させる本開示の電子装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、電子装置(すなわち、オーディオソース)に関連する無線オーディオ処理遅延を決定できる電子装置を提供する。無線オーディオ処理遅延は、ビデオコンテンツの再生が無線オーディオ装置上のオーディオコンテンツの再生に対して先行又は遅延している期間を含むことができる。電子装置は、オーディオコンテンツを再生のために無線オーディオ装置に送信し、ディスプレイ装置上のビデオコンテンツの再生が無線オーディオ装置上の送信されたオーディオコンテンツの再生と時間的に同期するようにビデオコンテンツの再生を制御することができる。
ビデオコンテンツの再生は、決定された無線オーディオ処理遅延に基づいて制御することができる。例えば、電子装置は、決定された無線オーディオ処理遅延を使用してディスプレイ装置上のビデオコンテンツの再生を遅延させることができる。無線オーディオ処理に起因してオーディオコンテンツの再生が遅延した時に、ビデオコンテンツの遅延再生を無線オーディオ装置上のオーディオコンテンツの遅延再生に一致するようにタイミング調整することができる。これにより、リップシンク(又はAV同期問題)を軽減して無線オーディオ装置上でのユーザのリスニング体験を向上させることができる。ユーザは、ディスプレイ装置にビデオコンテンツが表示されている時に、同時に無線オーディオ装置上でオーディオコンテンツを聞くことができる。
図1は、本開示の実施形態による、無線オーディオをビデオに同期させる例示的なネットワーク環境を示すブロック図である。図1にはネットワーク環境100を示す。ネットワーク環境100は、電子装置102、オーディオ/ビデオ(AV)ソース104、ディスプレイ装置106、及び無線オーディオ装置108を含むことができる。電子装置102は、無線ネットワーク110を介して無線オーディオ装置108に結合することができる。さらに、無線オーディオ装置108に関連することができるユーザ112も示す。図1では、電子装置102及びディスプレイ装置106を2つの独立した装置として示しているが、いくつかの実施形態では、本開示の範囲から逸脱することなく、ディスプレイ装置106の機能全体を電子装置102に組み込むこともできる。
電子装置102は、AVソース104からメディアコンテンツを受け取り、受け取ったメディアコンテンツの再生をディスプレイ装置106及び電子装置102に通信可能に結合された1又は2以上のオーディオ装置を介して制御するように構成できる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。
例示的な実施形態では、電子装置102をディスプレイ対応メディアプレーヤとすることができ、電子装置102にディスプレイ装置106を含めることができる。このような電子装置102の実装例としては、以下に限定するわけではないが、テレビ(TV)、インターネットプロトコルTV(IPTV)、スマートTV、スマートフォン、パーソナルコンピュータ、ラップトップ、タブレット、ウェアラブル電子装置、或いはケーブル又は衛星ネットワークからの放送信号、無線放送、又はインターネットベースの通信信号にカプセル化されたコンテンツを受信し、復号して再生する能力を有する他のいずれかのディスプレイ装置を挙げることができる。
別の例示的な実施形態では、電子装置102を、有線又は無線接続を介してディスプレイ装置106と通信できるメディアプレーヤとすることができる。このような電子装置102の実装例としては、以下に限定するわけではないが、デジタルメディアプレーヤ(DMP)、マイクロコンソール、TVチューナ、高度テレビシステム委員会(ATSC)3.0チューナ、セットトップボックス、オーバーザトップ(OTT)プレーヤ、デジタルメディアストリーマ、メディアエクステンダ/レギュレータ、デジタルメディアハブ、コンピュータワークステーション、メインフレームコンピュータ、ハンドヘルドコンピュータ、スマート家電、プラグイン装置、及び/又はコンテンツストリーミング及び再生機能を有する他のいずれかのコンピュータ装置を挙げることができる。
AVソース104は、電子装置102にメディアコンテンツを送信するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。AVソース104上のメディアコンテンツは、オーディオコンテンツと、オーディオコンテンツに関連するビデオコンテンツとを含むことができる。例えば、メディアコンテンツがテレビ番組である場合、オーディオコンテンツは、背景オーディオ、俳優の声又は発話及びオーディオ記述などのその他のオーディオ成分を含むことができる。
ある実施形態では、AVソース104を、メディアコンテンツを記憶する記憶装置として実装することができる。このようなAVソース104の実装例としては、以下に限定するわけではないが、ペンドライブ、フラッシュUSBスティック、ハードディスクドライブ(HDD)、固体ドライブ(SSD)、及び/又はセキュアデジタル(SD)カードを挙げることができる。別の実施形態では、AVソース104を、通信ネットワーク(図示せず)を介して電子装置102にメディアコンテンツを送信できるメディアストリーミングサーバとして実装することができる。別の実施形態では、AVソース104を、無線放送ネットワークからデジタルTV(DTV)信号を受け取り、受け取ったDTV信号からメディアコンテンツを抽出できる、ATSCチューナなどのTVチューナとすることができる。その後、AVソース104は、抽出されたメディアコンテンツを電子装置102に送信することができる。
図1では、AVソース104及び電子装置102を2つの独立した装置として示す。しかしながら、本開示はこのように限定されるものではなく、いくつかの実施形態では、本開示の範囲から逸脱することなく、AVソース104の機能を全体的に又は少なくとも部分的に電子装置102に組み込むこともできる。
ディスプレイ装置106は、電子装置102から受け取ることができるビデオコンテンツを表示するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。1つの実施形態では、ディスプレイ装置106を、ユーザ112がディスプレイ装置106を介してユーザ入力を提供できるようにすることができるタッチ画面とすることができる。ディスプレイ装置106は、以下に限定するわけではないが、液晶ディスプレイ(LCD)ディスプレイ、発光ダイオード(LED)ディスプレイ、プラズマディスプレイ、有機LED(OLED)ディスプレイ技術、又はその他のディスプレイ装置のうちの少なくとも1つなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置106は、ヘッドマウント装置(HMD)のディスプレイ画面、スマートメガネ装置、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイを示すことができる。
無線オーディオ装置108は、電子装置102からオーディオコンテンツを受け取るように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。無線オーディオ装置108は、ポータブル無線スピーカ、ウェアラブルオーディオ装置、又はヘッドマウントオーディオ装置とすることができる。無線オーディオ装置108の例としては、以下に限定するわけではないが、サラウンドサウンドシステムの無線スピーカ、オーバーヘッドヘッドホン、インイヤーヘッドホン、クリップオンヘッドホン、骨伝導ヘッドホン、補聴器、スマートメガネ、又はヘッドマウントディスプレイ(例えば、拡張現実(AR)ヘッドセット、複合現実(MR)ヘッドセット、又は仮想現実(VR)ゴーグル)を挙げることができる。無線オーディオ装置108は、Wi-Fi、Bluetooth(登録商標)、又はBluetooth(登録商標)Low Energy(BLE)などの無線通信プロトコルに依拠して電子装置102からオーディオコンテンツを受け取ることができる。
無線ネットワーク110は、2又は3以上の無線装置が互いに通信できるようにする媒体を含むことができる。例えば、無線ネットワーク110は、電子装置102と無線オーディオ装置108との間に確立されて、電子装置102と無線オーディオ装置108との間の通信を可能にすることができる。2又は3以上の無線オーディオ装置が存在する場合、2又は3以上の無線オーディオ装置の各々がペアになって無線ネットワーク110を介して電子装置102と通信することができる。
Figure 0007540488000001

表1:ルックアップテーブル
表1に示すデータは実験データとして提供するものにすぎず、本開示を限定するものとして解釈すべきではない。第1の無線オーディオ処理遅延は、電子装置102のオーディオ処理パイプラインに関連することができる。オーディオ処理パイプラインは、オーディオコンテンツが無線オーディオ装置108に無線で送信される前に電子装置102上で実行できる様々なオーディオ処理動作を含むことができる。このようなオーディオ処理動作の例としては、以下に限定するわけではないが、オーディオフレームバッファリング、サンプルレート変換、ファイルフォーマット変換、又はオーディオトランスコーディングを挙げることができる。
いくつかの実施形態では、第1の無線オーディオ処理遅延が、各オーディオバッファのサイズと、オーディオコンテンツのオーディオフレームが記憶されて各オーディオバッファから検索される回数とに依存することができる。オーディオバッファが大きければ大きいほど、オーディオサンプルがオーディオバッファに書き込まれる時点と次の動作のために読み出される時点との間の遅延時間も長くなる。無線オーディオ転送では、オーディオ処理パイプラインが、オーディオコンテンツを好適なコーデックフォーマットに変換する動作を含むこともできる。例えば、オーディオコンテンツをBluetooth(登録商標)オーディオとして転送する必要がある場合には、オーディオコンテンツをオーディオのBluetooth(登録商標)標準に準拠する好適なコーデックフォーマットに変換することが必要となり得る。従って、第1の無線オーディオ処理遅延は、無線オーディオを好適なコーデックフォーマットに変換した結果として発生し得る遅延時間を含むことができる。
好適なコーデックフォーマットへの変換は、好適なオーディオコーデックを使用することができる。Bluetooth(登録商標)オーディオのオーディオコーデックの例としては、以下に限定するわけではないが、LDACTM、AptXTM、AptXTM Adaptive、低遅延・高繊細オーディオコーデック(Low latency and High-Definition audio Codec:LHDCTM)、低複雑性通信コーデック(Low Complexity Communication Codec:LC3)、及び低複雑性サブバンドコーデック(low-complexity sub-band codec:SBC)を挙げることができる。各タイプのオーディオコーデックは計算リソース及びバッファを異なる形で消費することができるので、第1の無線オーディオ処理遅延に含まれる遅延時間は、変換に使用されるオーディオコーデックのタイプによって異なることができる。
他のいくつかの実施形態では、第1の無線オーディオ処理遅延が、電子装置102の無線データ転送ハードウェア又は回路が実行できる無線オーディオ転送動作に関連する遅延時間を含むこともできる。例えば、Bluetooth(登録商標)オーディオ転送では、Bluetooth(登録商標)オーディオ転送ハードウェアを介してオーディオコンテンツのオーディオサンプルを待ち行列に入れ、パッケージングして送信することができる。Bluetoothオーディオ転送ハードウェアは、オーディオコンテンツをパケット化し、パケット化されたオーディオコンテンツを無線ネットワーク110を介して送信することができる。Bluetooth(登録商標)オーディオ転送に関連する遅延は、第1の無線オーディオ処理遅延に含めることができる。一例として、Bluetooth(登録商標)オーディオでは、第1の無線オーディオ処理遅延が、オーディオ処理パイプラインのオーディオ処理動作のための100ミリ秒の遅延時間と、好適なコーデックフォーマットへの変換のためのさらなる2~5ミリ秒の遅延時間と、及びBluetooth(登録商標)オーディオ転送のためのさらなる100ミリ秒の遅延とを含むことができる。
他のいくつかの実施形態では、電子装置102が、無線オーディオ装置108に関連する第2の無線オーディオ処理遅延を決定することもできる。例えば、電子装置102は、最初に無線オーディオ装置108のMACアドレスを決定した後に、決定されたMACアドレスに基づいて、無線オーディオ装置108に関連する第2の無線処理遅延を決定することができる。第2の無線オーディオ処理遅延は、電子装置102のメモリに記憶された第2の遅延プロファイルに基づいて決定することができる。メモリは、第1の遅延プロファイルと同様に第2の遅延プロファイルもルックアップテーブルの形態で記憶することができる。ルックアップテーブルは、無線オーディオ装置108の異なるモデル又は変種に関連する無線オーディオ処理遅延を含むことができる。以下の表2にルックアップテーブルの例を示す。
Figure 0007540488000002

表2:ルックアップテーブル
表2に示すデータは実験データとして提供するものにすぎず、本開示を限定するものとして解釈すべきではない。第2の無線オーディオ処理遅延は、無線オーディオ装置108上のオーディオ処理動作によって生じる遅延時間に関連することができる。このようなオーディオ処理動作の例としては、以下に限定するわけではないが、オーディオパケット/フレームバッファリング、オーディオ復号又は解読、或いはオーディオ等化などのその他のオーディオ効果を挙げることができる。
他のいくつかの実施形態では、電子装置102が、ディスプレイ装置106を試験ビデオを表示するように制御することができる。また、電子装置102は、試験ビデオに関連する試験オーディオを無線オーディオ装置108に送信することもできる。電子装置102は、無線オーディオ装置108を介して、無線オーディオ装置108上の送信された試験オーディオの再生時間と一致するように試験ビデオの再生を遅延させるべき期間を含むことができるユーザ入力を受け取ることができる。ユーザ入力は、タッチ入力、ハンドジェスチャ、ヘッドジェスチャ及び音声入力などの形態で受け取ることができる。電子装置102は、第1の無線オーディオ処理遅延をユーザ入力に含まれる期間として決定することができる。
電子装置102は、いずれかの時刻にAVソース104からメディアコンテンツを受け取ることができる。メディアコンテンツは、例えばオーディオコンテンツ、オーディオコンテンツに関連するビデオコンテンツ、並びに字幕及びクローズドキャプションなどのその他の情報を含むことができる。電子装置102は、無線ネットワーク110を介して無線オーディオ装置108にオーディオコンテンツを送信することができる。その後、電子装置102は、ディスプレイ装置106上のビデオコンテンツの再生が無線オーディオ装置108上のオーディオコンテンツの再生と時間的に同期するように、決定された第1の無線オーディオ処理遅延に基づいてビデオコンテンツの再生を制御することができる。例えば、ビデオコンテンツの再生は、無線オーディオ装置108上のオーディオコンテンツの再生時間に一致するように、少なくとも決定された第1の無線オーディオ処理遅延だけ遅延させることができる。
いくつかの実施形態では、電子装置102が、決定された第2のオーディオ処理遅延に基づいてディスプレイ装置106上のビデオコンテンツの再生をさらに制御することができる。例えば、ビデオコンテンツの再生は、決定された第1の無線オーディオ処理遅延と決定された第2の無線オーディオ処理遅延との合計に等しい時間だけ遅延させることができる。ユーザ112は、このビデオ再生の遅延によって、顕著なリップシンク問題を伴わずに無線オーディオ装置108上でオーディオコンテンツを聴き、ディスプレイ装置106上でビデオコンテンツを見ることができる。
図2は、本開示の実施形態による、無線オーディオをビデオに同期させる例示的な電子装置を示すブロック図である。図2の説明は図1の要素に関連して行う。図2には電子装置102のブロック図200を示す。電子装置102は、回路202、メモリ204、AVソース206、バッファメモリ208、及びネットワークインターフェイス210を含むことができる。回路202は、無線オーディオ装置108、AVソース206、バッファメモリ208及びネットワークインターフェイス210に通信可能に結合することができる。AVソース206は、図1のAVソース104の例示的な実装である。
回路202は、電子装置102によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。回路202は、1又は2以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装できる1又は2以上の特殊処理ユニットを含むことができる。回路202は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路202の実装例は、x86ベースのプロセッサ、グラフィックプロセッシングユニット(GPU)、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、マイクロコントローラ、中央処理装置(CPU)、及び/又はその他のコンピュータ回路とすることができる。
メモリ204は、回路202によって実行されるプログラム命令を記憶するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。少なくとも1つの実施形態では、メモリ204を、電子装置102の第1の遅延プロファイルを記憶するように構成することができる。第1の遅延プロファイルは、電子装置102に関連する第1の無線オーディオ処理遅延を含むことができる。また、第1の遅延プロファイルは、電子装置102のモデル名又は識別子(ID)、及び/又は電子装置102に関連するメディアアクセス制御(MAC)アドレスを含むこともできる。メモリ204は、無線オーディオ装置108の第2の遅延プロファイルを記憶するように構成することもできる。第2の遅延プロファイルは、無線オーディオ装置108に関連する第2の無線オーディオ処理遅延を含むことができる。また、第2の遅延プロファイルは、無線オーディオ装置108のモデル名又は識別子、及び/又は無線オーディオ装置108に関連するMACアドレスを含むこともできる。メモリ204は、ビデオコンテンツと、ビデオコンテンツに関連するオーディオコンテンツとを含むメディアコンテンツを記憶するようにさらに構成することができる。メモリ204の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)、ハードディスクドライブ(HDD)、固体ドライブ(SSD)、CPUキャッシュ、及び/又はセキュアデジタル(SD)カードなどを挙げることができる。
AVソース206は、圧縮オーディオデータ及び圧縮ビデオデータを含む圧縮メディアを出力するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。AVソース206は、圧縮メディアを記憶するメモリをさらに含むことができる。AVソース206は、地上波コンテンツ放送ネットワーク、衛星ベースの放送ネットワーク、インターネットプロトコル(IP)ベースのコンテンツネットワーク又はこれらの組み合わせなどの様々なコンテンツ配信システムを通じて圧縮メディアを受け取ることができる。
バッファメモリ208は、電子装置102との間で送受信されるデータを一時的に記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。1つの実施形態では、メモリ204を、データを記憶する必要がある時に瞬時にバッファメモリ208を割り当てるように構成することができる。(キロバイト又はメガバイト単位の)割り当てサイズは、(Mbps単位の)コンテンツ帯域幅、及びバッファメモリ208に圧縮データ又は非圧縮データのどちらを記憶する必要があるかに依存することができる。別の実施形態では、バッファメモリ208を、メモリ204から分離できるメモリモジュールとすることができる。このようなメモリモジュールの実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)、ハードディスクドライブ(HDD)、固体ドライブ(SSD)、及び/又はセキュアデジタル(SD)カードなどを挙げることができる。
ネットワークインターフェイス210は、無線ネットワーク110を介して回路202と無線オーディオ装置108との間の通信を容易にするように構成できる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。ネットワークインターフェイス210は、無線ネットワーク110を介した電子装置102の無線通信をサポートする様々な既知の技術を使用して実装することができる。ネットワークインターフェイス210は、例えばアンテナ、無線周波数(RF)トランシーバ、1又は2以上の増幅器、チューナ、1又は2以上の発振器、デジタルシグナルプロセッサ、コーダ-デコーダ(CODEC)チップセット、加入者IDモジュール(SIM)カード、及びローカルバッファ回路などを含むことができる。
ネットワークインターフェイス210は、インターネット、イントラネット、無線ネットワーク、セルラーネットワーク、無線ローカルエリアネットワーク(LAN)、又はメトロポリタンエリアネットワーク(MAN)などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ(GSM)、拡張データGSM環境(EDGE)、広帯域符号分割多重アクセス(W-CDMA)、ロングタームエボリューション(LTE)、符号分割多重アクセス(CDMA)、時分割多重アクセス(TDMA)、Bluetooth、(IEEE802.11a、IEEE802.11b、IEEE802.11g又はIEEE802.11nなどの)ワイヤレスフィデリティ(WiFi)、ボイスオーバーインターネットプロトコル(VoIP)、ライトフィデリティ(Li-Fi)、又はワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(Wi-MAX)などの複数の通信規格のうちの1つ又は2つ以上を使用するように構成することができる。
図1で説明したような電子装置102によって実行される機能又は動作は、回路202によって実行することができる。回路202によって実行される動作については、例えば図3及び図4で詳細に説明する。
図3は、本開示の実施形態による、無線オーディオをビデオに同期させる例示的な動作を示す図である。図3の説明は図1及び図2の要素に関連して行う。図3には、無線オーディオをビデオに同期させる例示的な動作304~308を示すブロック図300を示す。例示的な動作は、例えば図1の電子装置102又は図2の回路202などのいずれかのコンピュータシステムによって実行することができる。
図2のバッファメモリ208に結合できるAVソース302をさらに示す。AVソース302は、図2のAVソース206又は図1のAVソース104の例示的な実装である。AVソース302の説明については、簡潔さのために本開示からは省略する。AVソース302は、圧縮オーディオデータ302Aと、圧縮オーディオデータ302Aに関連する圧縮ビデオデータ302Bとを含む圧縮メディアを記憶することができる。
304において、圧縮オーディオデータ302Aを復号することができる。ある実施形態によれば、回路202は、圧縮オーディオデータ302Aを復号して、オーディオコンテンツと呼ぶことができる非圧縮オーディオを出力することができる。圧縮オーディオデータ302Aは、復号して、無線オーディオ転送のために、オーディオコーデックによってサポートされている好適なコーデックフォーマットに変換することができる。その後、回路202は、無線ネットワーク110を介して無線オーディオ装置108にオーディオコンテンツを送信することができる。
圧縮オーディオデータ302Aの復号、好適なコーデックフォーマットへの変換及びオーディオコンテンツの無線送信は、電子装置102の無線オーディオ処理パイプラインに遅延を生じさせることがある。遅延は、電子装置102に関連する(図1で説明したような)決定された第1の無線オーディオ処理遅延に相当することができる(又は近似することができる)。このような電子装置102の無線オーディオ処理パイプラインの遅延に起因するいずれかのリップシンクエラーを避けるために、306に示すように圧縮ビデオデータ302Bの復号を遅延させることができる。
306において、圧縮ビデオデータ302Bをバッファメモリ208に記憶することができる。ある実施形態によれば、回路202は、(304において)圧縮オーディオデータ302Aが復号され、変換されて無線オーディオ装置108に送信されている間に、保持期間にわたって圧縮ビデオデータ302Bをバッファメモリ208に記憶することができる。保持期間は、ディスプレイ装置106上の非圧縮ビデオデータ(すなわち、ビデオコンテンツ)の再生を遅延させて、無線オーディオ装置108に送信されたオーディオコンテンツの再生時間に一致させるために、圧縮ビデオデータ302Bをバッファメモリ208に記憶できる時間分を意味することができる。保持期間は、決定された第1の無線オーディオ処理遅延、及び/又はバッファメモリ208に対する圧縮ビデオデータ302Bの移動に関連するいずれかの遅延を含むことができる。少なくとも1つの実施形態では、保持期間が、(図1で説明したような)無線オーディオ装置108に関連する第2の無線オーディオ処理遅延を含むこともできる。
308において、圧縮ビデオデータ302Bを復号することができる。ある実施形態によれば、回路202は、保持期間後にバッファメモリ208から圧縮ビデオデータ302Bを抽出することができる。抽出後、回路202は、圧縮ビデオデータ302Bを復号して、ビデオコンテンツと呼ぶことができる非圧縮ビデオを出力することができる。回路202は、圧縮ビデオデータ302Bの復号後にディスプレイ装置106にビデオコンテンツを転送して、ディスプレイ装置106上のビデオコンテンツの再生を制御することができる。308における動作は、圧縮ビデオデータ302Bがバッファメモリ208から削除された後にのみ開始できるので、ビデオコンテンツの再生は、無線オーディオ装置108上のオーディオコンテンツの再生時刻に一致するように遅延させることができる。これにより、電子装置102は、一般にビデオコンテンツの再生及びオーディオコンテンツの再生に関連するリップシンクエラーを除去することができる。
図4は、本開示の実施形態による、無線オーディオをビデオに同期させる例示的な動作を示す図である。図4の説明は、図1、図2及び図3の要素に関連して行う。図4には、無線オーディオをビデオに同期させる例示的な動作404~408を示すブロック図400を示す。例示的な動作404~408は、例えば図1の電子装置102又は図2の回路202などのいずれかのコンピュータシステムによって実行することができる。
図2のバッファメモリ208に結合できるAVソース402をさらに示す。AVソース402は、図2のAVソース206又は図1のAVソース104の例示的な実装である。AVソース402の説明については、簡潔さのために本開示からは省略する。AVソース402は、圧縮オーディオデータ402Aと、圧縮オーディオデータ402Aに関連する圧縮ビデオデータ402Bとを含む圧縮メディアを記憶することができる。
404において、圧縮オーディオデータ402Aを復号することができる。ある実施形態によれば、回路202は、圧縮オーディオデータ402Aを復号して、オーディオコンテンツと呼ぶことができる非圧縮オーディオを出力することができる。圧縮オーディオデータ402Aは、復号して、無線オーディオ転送のために、オーディオコーデックによってサポートされている好適なコーデックフォーマットに変換することができる。その後、回路202は、無線ネットワーク110を介して無線オーディオ装置108にオーディオコンテンツを送信することができる。
圧縮オーディオデータ402Aの復号、好適なコーデックフォーマットへの変換及びオーディオコンテンツの無線送信は、電子装置102の無線オーディオ処理パイプラインに遅延を生じさせることがある。遅延は、電子装置102に関連する(図1で説明したような)決定された第1の無線オーディオ処理遅延に相当(又は近似)することができる。このような電子装置102の無線オーディオ処理パイプラインの遅延に起因するいずれかのリップシンクエラーを避けるために、圧縮ビデオデータ402Bは、406以降で説明するように最初に復号した後にバッファに記憶して再生を遅延させることができる。
406において、圧縮ビデオデータ402Bを復号することができる。ある実施形態によれば、回路202は、圧縮ビデオデータ402Bを復号して、ビデオコンテンツと呼ぶことができる非圧縮ビデオを出力することができる。
408において、圧縮ビデオデータ402Bの復号後にビデオコンテンツをバッファメモリ208に記憶することができる。ある実施形態によれば、回路202は、(404において)圧縮オーディオデータ402Aが復号され、変換されて無線オーディオ装置108に送信されている間に、保持期間にわたって圧縮ビデオデータ402Bをバッファメモリ208に記憶することができる。
保持期間は、ディスプレイ装置106上の非圧縮ビデオデータ(すなわち、ビデオコンテンツ)の再生を遅延させて、無線オーディオ装置108に送信されたオーディオコンテンツの再生時間に一致させるために、圧縮ビデオデータ402Bをバッファメモリ208に記憶できる時間分を意味することができる。保持期間は、決定された第1の無線オーディオ処理遅延、及び/又はバッファメモリ208に対する圧縮ビデオデータ402Bの移動に関連するいずれかの遅延を含むことができる。少なくとも1つの実施形態では、保持期間が、(図2で説明したような)無線オーディオ装置108に関連する第2の無線オーディオ処理遅延を含むこともできる。
回路202は、保持期間後に、バッファメモリ208からビデオコンテンツ(すなわち、非圧縮ビデオデータ)を抽出し、このビデオコンテンツをディスプレイ装置106に転送することができる。その後、回路202は、ディスプレイ装置106上のビデオコンテンツの再生を、無線オーディオ装置108上のオーディオコンテンツの再生時間に一致するように制御することができる。
図5は、本開示の実施形態による、無線オーディオをビデオに同期させる例示的な方法を示すフローチャートである。図5の説明は、図1、図2、図3及び図4の要素に関連して行う。図5にはフローチャート500を示す。フローチャート500に示す方法は、電子装置102又は回路202などのいずれかのコンピュータシステムによって実行することができる。方法は502から開始して504に進むことができる。
504において、第1の無線オーディオ処理遅延を決定することができる。1又は2以上の実施形態では、回路202を、電子装置102に関連する第1の無線オーディオ処理遅延を決定するように構成することができる。
506において、メディアコンテンツを受け取ることができる。1又は2以上の実施形態では、回路202を、ビデオコンテンツと、ビデオコンテンツに関連するオーディオコンテンツとを含むメディアコンテンツを受け取るように構成することができる。
508において、オーディオコンテンツを無線オーディオ装置108に送信することができる。1又は2以上の実施形態では、回路を、オーディオコンテンツを無線オーディオ装置108に送信するように構成することができる。
510において、決定された第1の無線オーディオ処理遅延に基づいてディスプレイ装置106上のビデオコンテンツの再生を制御することができる。1又は2以上の実施形態では、回路202を、ディスプレイ装置106上のビデオコンテンツの再生が無線オーディオ装置108上のオーディオコンテンツの再生と時間的に同期するように、決定された第1の無線オーディオ処理遅延に基づいてビデオコンテンツの再生を制御するように構成することができる。制御は終了に進むことができる。
フローチャート500については、504、506、508及び510などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、特定の実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。
本開示の様々な実施形態は、電子装置を動作させるために機械及び/又はコンピュータによって実行可能な命令を記憶した非一時的コンピュータ可読媒体及び/又は記憶媒体を提供することができる。これらの命令は、電子装置に関連する第1の無線オーディオ処理遅延を決定することを含む動作を機械及び/又はコンピュータに実行させることができる。動作は、ビデオコンテンツと、ビデオコンテンツに関連するオーディオコンテンツとを含むメディアコンテンツを受け取ることをさらに含むことができる。動作は、電子装置に通信可能に結合された無線オーディオ装置にオーディオコンテンツを送信することをさらに含むことができる。動作は、電子装置に関連するディスプレイ装置上のビデオコンテンツの再生が無線オーディオ装置上のオーディオコンテンツの再生と時間的に同期するように、決定された第1の無線オーディオ処理遅延に基づいてビデオコンテンツの再生を制御することをさらに含むことができる。
本開示の例示的な態様は、(ディスプレイ装置106などの)ディスプレイ装置及び(無線オーディオ装置108などの)無線オーディオ装置に通信可能に結合できる(回路202などの)回路を含む(図1の電子装置102などの)電子装置を提供することができる。回路は、電子装置に関連する第1の無線オーディオ処理遅延を決定するように構成することができる。回路は、ビデオコンテンツと、ビデオコンテンツに関連するオーディオコンテンツとを含むメディアコンテンツをいつでも受け取るようにさらに構成することができる。回路は、オーディオコンテンツを無線オーディオ装置に送信して、ディスプレイ装置上のビデオコンテンツの再生が無線オーディオ装置上のオーディオコンテンツの再生と時間的に同期するように、決定された第1の無線オーディオ処理遅延に基づいてビデオコンテンツの再生を制御するようにさらに構成することができる。ある実施形態によれば、ビデオコンテンツの再生は、無線オーディオ装置上のオーディオコンテンツの再生時間に一致するように、少なくとも決定された第1の無線オーディオ処理遅延だけ遅延される。
ある実施形態によれば、回路は、無線オーディオ装置のメディアアクセス制御(MAC)アドレスを決定し、決定されたMACアドレスに基づいて、無線オーディオ装置に関連する第2の無線オーディオ処理遅延を決定するようにさらに構成することができる。ある実施形態によれば、回路は、決定された第2の無線オーディオ処理遅延にさらに基づいてディスプレイ装置上のビデオコンテンツの再生を制御するようにさらに構成することができる。
ある実施形態によれば、電子装置は、電子装置の第1の遅延プロファイルを記憶するように構成された(メモリ204などの)メモリをさらに含むことができる。第1の遅延プロファイルは、電子装置に関連する第1の無線オーディオ処理遅延を含む。ある実施形態によれば、回路は、第1の遅延プロファイルに基づいて第1の無線オーディオ処理遅延を決定するようにさらに構成することができる。
ある実施形態によれば、電子装置は、(圧縮オーディオデータ302Aなどの)圧縮オーディオデータ及び(圧縮ビデオデータ302Bなどの)圧縮ビデオデータを含む圧縮メディアを出力するように構成された(AVソース206などの)オーディオ/ビデオ(AV)ソースをさらに含むことができる。
ある実施形態によれば、電子装置は、AVソースに結合された(バッファメモリ208などの)バッファメモリをさらに含むことができる。回路は、圧縮オーディオデータがオーディオコンテンツとして復号されて無線オーディオ装置に送信されている間に、決定された第1の無線オーディオ処理遅延を含む保持期間にわたってバッファメモリに圧縮ビデオデータを記憶するように構成することができる。回路は、保持期間後にバッファメモリから圧縮ビデオデータを抽出するようにさらに構成することができる。回路は、抽出後に圧縮ビデオデータをビデオコンテンツとして復号するようにさらに構成することができる。その後、回路は、ディスプレイ装置上のビデオコンテンツの再生を無線オーディオ装置上のオーディオコンテンツの再生のタイミングと一致するように制御するよう構成することができる。
ある実施形態によれば、電子装置は、AVソースに結合された(バッファメモリ208などの)バッファメモリをさらに含むことができる。回路は、圧縮ビデオデータを復号してビデオコンテンツを取得するように構成することができる。復号後、回路は、圧縮オーディオデータがオーディオコンテンツとして復号されて無線オーディオ装置に送信されている間に、決定された第1の無線オーディオ処理遅延を含む保持期間にわたってバッファメモリにビデオコンテンツを記憶するように構成することができる。回路は、保持期間後に、記憶されたビデオデータをバッファメモリから抽出するようにさらに構成することができる。その後、回路は、ディスプレイ装置上のビデオコンテンツの再生を無線オーディオ装置上の送信されたオーディオコンテンツの再生のタイミングと一致するように制御するよう構成することができる。
ある実施形態によれば、回路は、試験ビデオを表示するようにディスプレイ装置を制御するようさらに構成することができる。回路は、試験ビデオに関連する試験オーディオを無線オーディオ装置108に送信するようにさらに構成することができる。回路は、無線オーディオ装置を介して、無線オーディオ装置に送信された試験オーディオの再生時間と一致するように試験ビデオの再生を遅延させるべき期間を含む(ユーザ112などの)ユーザ入力を受け取るようにさらに構成することができる。その後、回路は、第1の無線オーディオ処理遅延をユーザ入力に含まれる期間として設定するように構成することができる。
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも1つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、或いはa)別の言語、コード又は表記法への変換、b)異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、いずれかの言語、コード又は表記法におけるいずれかの表現を意味する。
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
100 ネットワーク環境
102 電子装置
104 オーディオ/ビデオソース
106 ディスプレイ装置
108 無線オーディオ装置
110 無線ネットワーク
112 ユーザ

Claims (10)

  1. 電子装置であって、
    ディスプレイ装置及び無線オーディオ装置に通信可能に結合された回路と、
    圧縮オーディオデータ及び圧縮ビデオデータを含む圧縮メディアを出力するように構成されたオーディオ/ビデオ(AV)ソースと、
    前記AVソースに結合されたバッファメモリと、
    を備え、前記回路は、
    前記電子装置に関連する第1の無線オーディオ処理遅延を決定し、
    前記無線オーディオ装置のメディアアクセス制御(MAC)アドレスを決定し、
    前記決定されたMACアドレスに基づいて、前記無線オーディオ装置に関連する第2の無線オーディオ処理遅延を決定し、
    ビデオコンテンツと、該ビデオコンテンツに関連するオーディオコンテンツとを含むメディアコンテンツを受け取り、
    前記オーディオコンテンツを前記無線オーディオ装置に送信し、
    前記ディスプレイ装置上の前記ビデオコンテンツの再生が前記無線オーディオ装置上の前記オーディオコンテンツの再生と時間的に同期するように、前記決定された第1の無線オーディオ処理遅延及び前記決定された第2の無線オーディオ処理遅延に基づいて前記ビデオコンテンツの前記再生を制御し、
    前記圧縮オーディオデータが前記オーディオコンテンツとして復号されて前記無線オーディオ装置に送信されている間に、前記決定された第1の無線オーディオ処理遅延及び前記決定された第2の無線オーディオ処理遅延を含む保持期間にわたって前記圧縮ビデオデータを前記バッファメモリに記憶し、
    前記保持期間後に、前記記憶された前記圧縮ビデオデータを前記バッファメモリから抽出し、前記圧縮ビデオデータを復号して前記ビデオコンテンツを取得し、
    前記ディスプレイ装置上の前記ビデオコンテンツの前記再生を前記無線オーディオ装置上の前記送信されたオーディオコンテンツの前記再生のタイミングと一致するように制御する、
    ように構成される、
    ことを特徴とする電子装置。
  2. 前記ビデオコンテンツの前記再生は、前記無線オーディオ装置上の前記オーディオコンテンツの前記再生の時間に一致するように、少なくとも前記決定された第1の無線オーディオ処理遅延だけ遅延される、
    請求項1に記載の電子装置。
  3. 前記電子装置の第1の遅延プロファイルを記憶するように構成されたメモリをさらに備え、
    前記第1の遅延プロファイルは、前記電子装置の前記第1の無線オーディオ処理遅延を含む、
    請求項1に記載の電子装置。
  4. 前記回路は、前記第1の遅延プロファイルに基づいて前記第1の無線オーディオ処理遅延を決定するようにさらに構成される、
    請求項に記載の電子装置。
  5. 前記AVソースに結合されたバッファメモリをさらに備え、前記回路は、
    前記圧縮オーディオデータが前記オーディオコンテンツとして復号されて前記無線オーディオ装置に送信されている間に、前記決定された第1の無線オーディオ処理遅延を含む保持期間にわたって前記圧縮ビデオデータを前記バッファメモリに記憶し、
    前記保持期間後に前記圧縮ビデオデータを前記バッファメモリから抽出し、
    前記抽出後に前記圧縮ビデオデータを前記ビデオコンテンツとして復号し、
    前記ディスプレイ装置上の前記ビデオコンテンツの前記再生を前記無線オーディオ装置上の前記オーディオコンテンツの前記再生のタイミングと一致するように制御する、
    ようにさらに構成される、請求項1に記載の電子装置。
  6. 前記回路は、
    試験ビデオを表示するように前記ディスプレイ装置を制御し、
    前記試験ビデオに関連する試験オーディオを前記無線オーディオ装置に送信し、
    前記無線オーディオ装置を介して、前記無線オーディオ装置上の前記送信された試験オーディオの再生の時間に一致するように前記試験ビデオの再生を遅延させる期間を含むユーザ入力を受け取り、
    前記第1の無線オーディオ処理遅延を前記ユーザ入力に含まれる期間として設定する、
    ようにさらに構成される、請求項1に記載の電子装置。
  7. 無線オーディオ装置及びディスプレイ装置に通信可能に結合された電子装置において、
    前記電子装置に関連する第1の無線オーディオ処理遅延を決定するステップと、
    前記無線オーディオ装置のメディアアクセス制御(MAC)アドレスを決定するステップと、
    前記決定されたMACアドレスに基づいて、前記無線オーディオ装置に関連する第2の無線オーディオ処理遅延を決定するステップと、
    ビデオコンテンツと、該ビデオコンテンツに関連するオーディオコンテンツとを含むメディアコンテンツを受け取るステップと、
    前記オーディオコンテンツを前記無線オーディオ装置に送信するステップと、
    前記ディスプレイ装置上の前記ビデオコンテンツの再生が前記無線オーディオ装置上の前記オーディオコンテンツの再生と時間的に同期するように、前記決定された第1の無線オーディオ処理遅延及び前記決定された第2の無線オーディオ処理遅延に基づいて前記ビデオコンテンツの前記再生を制御するステップと、
    前記電子装置のオーディオ/ビデオ(AV)ソースを介して、圧縮オーディオデータ及び圧縮ビデオデータを含む圧縮メディアを出力するステップと、
    前記圧縮オーディオデータが前記オーディオコンテンツとして復号されて前記無線オーディオ装置に送信されている間に、前記決定された第1の無線オーディオ処理遅延及び前記決定された第2の無線オーディオ処理遅延を含む保持期間にわたって前記圧縮ビデオデータをバッファメモリに記憶するステップと、
    前記保持期間後に、前記記憶された圧縮ビデオデータを前記電子装置上の前記バッファメモリから抽出し、前記圧縮ビデオデータを復号して前記ビデオコンテンツを取得するステップと、
    前記ディスプレイ装置上の前記ビデオコンテンツの前記再生を前記無線オーディオ装置上の前記送信されたオーディオコンテンツの前記再生のタイミングと一致するように制御するステップと、
    を含むことを特徴とする方法。
  8. 前記ビデオコンテンツの前記再生を制御する前記ステップは、前記ビデオコンテンツの前記再生を、前記無線オーディオ装置上の前記オーディオコンテンツの前記再生の時間に一致するように、少なくとも前記決定された第1の無線オーディオ処理遅延だけ遅延させることに対応する、
    請求項に記載の方法。
  9. 前記電子装置の第1の遅延プロファイルに基づいて前記第1の無線オーディオ処理遅延を決定するステップをさらに含み、前記第1の遅延プロファイルは、前記第1の無線オーディオ処理遅延を含む、
    請求項に記載の方法。
  10. 試験ビデオを表示するように前記ディスプレイ装置を制御するステップと、
    前記試験ビデオに関連する試験オーディオを前記無線オーディオ装置に送信するステップと、
    前記無線オーディオ装置を介して、前記無線オーディオ装置上の前記送信された試験オーディオの再生の時間に一致するように前記試験ビデオの再生を遅延させる期間を含むユーザ入力を受け取るステップと、
    前記第1の無線オーディオ処理遅延を前記ユーザ入力に含まれる期間として設定するステップと、
    をさらに含む請求項に記載の方法。
JP2022538804A 2020-06-18 2021-06-17 無線オーディオのビデオとの同期 Active JP7540488B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/905,166 2020-06-18
US16/905,166 US11196899B1 (en) 2020-06-18 2020-06-18 Synchronization of wireless-audio to video
PCT/US2021/037930 WO2021257902A1 (en) 2020-06-18 2021-06-17 Synchronization of wireless-audio to video

Publications (2)

Publication Number Publication Date
JP2023508945A JP2023508945A (ja) 2023-03-06
JP7540488B2 true JP7540488B2 (ja) 2024-08-27

Family

ID=78818789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022538804A Active JP7540488B2 (ja) 2020-06-18 2021-06-17 無線オーディオのビデオとの同期

Country Status (6)

Country Link
US (1) US11196899B1 (ja)
EP (1) EP4133377A4 (ja)
JP (1) JP7540488B2 (ja)
KR (1) KR102797702B1 (ja)
CN (1) CN114667510B (ja)
WO (1) WO2021257902A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007486T5 (de) * 2019-07-26 2022-06-30 Lg Electronics Inc. Multimediadienst-bereitstellungsvorrichtung und multimediadienst-bereitstellungsverfahren
CN117528163A (zh) * 2022-07-28 2024-02-06 联发科技股份有限公司 在视频设备和无线音频设备之间进行音视频同步的方法及设备
US12192560B2 (en) 2022-11-03 2025-01-07 Roku, Inc. Private listening system for streaming audio and video
KR20250028897A (ko) * 2023-08-22 2025-03-04 엘지전자 주식회사 영상표시장치
KR20250033844A (ko) * 2023-09-01 2025-03-10 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160309213A1 (en) 2014-08-27 2016-10-20 Shenzhen Tcl New Technology Co., Ltd Audio/video signal synchronization method and apparatus
JP2017041756A (ja) 2015-08-19 2017-02-23 ヤマハ株式会社 オーディオシステムおよびオーディオ機器
US20180167149A1 (en) 2016-12-09 2018-06-14 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using bluetooth audio devices
JP2019532576A (ja) 2016-09-14 2019-11-07 ディーティーエス リミテッド ライアビリティ カンパニー オーディオとビデオのマルチモード同期レンダリング

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
UA57812C2 (uk) * 1997-11-04 2003-07-15 Джорджія Тек Ресерч Корпорейшн Система та спосіб передачі цифрового відеосигналу та даних через канал зв'язку
JP2008524904A (ja) * 2004-12-15 2008-07-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 遅延されたビデオとオーディオの同期
KR101416249B1 (ko) * 2007-08-01 2014-07-07 삼성전자 주식회사 신호처리장치 및 그 제어방법
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
KR101450100B1 (ko) 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
WO2010077564A1 (en) * 2008-12-08 2010-07-08 Analog Devices Inc. Multimedia switching over wired or wireless connections in a distributed environment
CN103905877A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
WO2016008131A1 (en) * 2014-07-17 2016-01-21 21 Vianet Group, Inc. Techniques for separately playing audio and video data in local networks
CN204305260U (zh) 2014-12-28 2015-04-29 冠捷显示科技(厦门)有限公司 一种视频与无线音箱音频匹配的电视机
CN106331562B (zh) 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
US10241748B2 (en) * 2016-12-13 2019-03-26 EVA Automation, Inc. Schedule-based coordination of audio sources
US10834296B2 (en) * 2018-09-12 2020-11-10 Roku, Inc. Dynamically adjusting video to improve synchronization with audio

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160309213A1 (en) 2014-08-27 2016-10-20 Shenzhen Tcl New Technology Co., Ltd Audio/video signal synchronization method and apparatus
JP2017041756A (ja) 2015-08-19 2017-02-23 ヤマハ株式会社 オーディオシステムおよびオーディオ機器
JP2019532576A (ja) 2016-09-14 2019-11-07 ディーティーエス リミテッド ライアビリティ カンパニー オーディオとビデオのマルチモード同期レンダリング
US20180167149A1 (en) 2016-12-09 2018-06-14 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using bluetooth audio devices

Also Published As

Publication number Publication date
US11196899B1 (en) 2021-12-07
US20210400168A1 (en) 2021-12-23
WO2021257902A1 (en) 2021-12-23
KR20220101726A (ko) 2022-07-19
EP4133377A4 (en) 2023-11-01
JP2023508945A (ja) 2023-03-06
CN114667510B (zh) 2025-02-11
CN114667510A (zh) 2022-06-24
EP4133377A1 (en) 2023-02-15
KR102797702B1 (ko) 2025-04-22

Similar Documents

Publication Publication Date Title
JP7540488B2 (ja) 無線オーディオのビデオとの同期
JP7120997B2 (ja) オーディオとビデオのマルチモード同期レンダリング
US9532099B2 (en) Distributed media stream synchronization control
US9928844B2 (en) Method and system of audio quality and latency adjustment for audio processing by using audio feedback
US10992451B2 (en) Audio and video playback system and method for playing audio data applied thereto
EP2987296B1 (en) Method and apparatus for packet header compression
KR102646030B1 (ko) 영상제공장치, 그의 제어 방법 및 영상제공시스템
JP7100052B2 (ja) 電子装置及びその制御方法
KR102797035B1 (ko) 디스플레이장치 및 그 제어방법
US10264298B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
JP2017518656A (ja) Mmtpデカプセル化バッファのシグナリング及び動作
KR20210125099A (ko) Mmt에서 미디어 데이터의 저 지연 소비 시그날링 및 동작 방법 및 장치
US20160295256A1 (en) Digital content streaming from digital tv broadcast
CN103686311B (zh) 一种音视频播放方法和装置
US20260006151A1 (en) Display apparatus and control method therefor
US20150201253A1 (en) Methods and apparatus for universal presentation timeline alignment
US12069323B2 (en) Signaling changes in aspect ratio of media content
US20170374243A1 (en) Method of reducing latency in a screen mirroring application and a circuit of the same
CN116546250A (zh) 一种音视频信号延迟校准的装置、方法、设备及存储介质
CN116801021A (zh) 分布式的流媒体播放系统、方法、设备及存储介质
KR20230025256A (ko) 전자장치 및 그 제어방법
CN119232991A (zh) 一种音视频同步方法、装置、电子设备及存储介质
CN105187862A (zh) 一种分布式播放器流量控制方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240729

R150 Certificate of patent or registration of utility model

Ref document number: 7540488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150