JP5837074B2 - マルチメディア・フローを処理する方法および対応する装置 - Google Patents

マルチメディア・フローを処理する方法および対応する装置 Download PDF

Info

Publication number
JP5837074B2
JP5837074B2 JP2013528725A JP2013528725A JP5837074B2 JP 5837074 B2 JP5837074 B2 JP 5837074B2 JP 2013528725 A JP2013528725 A JP 2013528725A JP 2013528725 A JP2013528725 A JP 2013528725A JP 5837074 B2 JP5837074 B2 JP 5837074B2
Authority
JP
Japan
Prior art keywords
data item
flow
video
multimedia
multimedia flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013528725A
Other languages
English (en)
Other versions
JP2013541894A (ja
Inventor
ビショー，ギヨーム
ローレン，アンソニー
ルガレ，イヴォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013541894A publication Critical patent/JP2013541894A/ja
Application granted granted Critical
Publication of JP5837074B2 publication Critical patent/JP5837074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Description

本発明は、種々のマルチメディア源からの、または種々の転送プロトコルを介して伝送されるおよび／または種々のレンダリング装置上で復元されるマルチメディア・フローの処理に関する。
放送テレビでは、オーディオおよびビデオ・フローは伝統的には一緒に放送される。そうしたフローは、一般に単一のマルチメディア源、たとえばマルチメディア・コンテンツの供給者によって提供され、次いで所与の転送ネットワークを通じて単一の転送プロトコルによって転送され、次いで単一のエンドユーザー装置、たとえばテレビジョンに送達される。そのエンドユーザー装置がそうしたフローを読み、ビデオ・データを画面上に表示してオーディオ・データをスピーカーで発することを担う。
インターネット・ネットワークおよびモバイル遠隔通信ネットワークの急速な発達とともに、源および／または転送プロトコルおよび／またはレンダリング装置がオーディオ・フローとビデオ・フローについて異なることができる新たなマルチメディア・アプリケーションが登場した。これら新たなアプリケーションについては、オーディオ・フローのレンダリングがビデオ・フローのレンダリングと同期していることを確実にする必要がある。
新たなマルチメディア・アプリケーションの例は、ビデオ・フローの生成とは異なる源によるオーディオ・フローの生成である。このオーディオ・フローはビデオ・フローとともに提供される基本的なオーディオ・フローの代わりとなることが意図されている。たとえば、テレビでのサッカー試合放送の場合、試合のビデオ・フローとともに提供される基本的なオーディオ・フローの代わりに、たとえば基本的なオーディオ・フローとは異なる言語での解説を含むオーディオ・フローを使うことが可能である。そのようなオーディオ・フローは、試合放送者とは別のマルチメディア供給者によって送達されるであろう。オーディオ・フローがビデオ・フローと同期されることができるためには、それらのフローは共通のまたは等価なタイミング基準を含む必要がある。一般原則として、転送プロトコルは、二つのフローのレンダリングを統御し、同期するよう、これらの基準またはタイムスタンプをレンダリング装置に提供する。
タイムスタンプは一般に、該タイムスタンプに関連するイベントが発生する時間を示すカウンタ値である。カウンタのクロック周波数は、レンダリング装置が正しくフロー・レンダリングを統御するよう、レンダリング装置によって知られている値である必要がある。このクロック周波数がレンダリング装置に与えられる仕方はトランスポート層（MPEG-TS、RTP等）の仕様において記述されている。
レンダリング装置が二つのフローを同期させることができるために、二つのフローは一般に「壁時計（wall clock）」と呼ばれる共通クロックを参照する。たとえば、RTPプロトコル（Real Time Transport Protocol［リアルタイム転送プロトコル］のこと）の場合、送信側は定期的に送信報告RTCPと呼ばれる、タイムスタンプと共通クロックによって与えられる時間の間の等価性を示すメッセージを送信する。オーディオおよびビデオ・フローが異なる源によって提供される場合、これら二つの源は同じ共通クロックを共有しなければならない。NTPプロトコル（Network Time Protocol［ネットワーク時間プロトコル］のこと）は典型的には、同じクロック上で二つの源を同期させるために使われる。
しかしながら、二つの源が転送時間の点で十分信頼できるネットワークによって接続されていない場合には、別の同期機構が必要となる。
オーディオおよび／またはビデオ・フローの間のこの同期問題は、二つのフローのレンダリングが異なるレンダリング装置によって実行される場合、たとえばビデオ・フローがテレビジョンによってレンダリングされてオーディオ・フローが個人用端末、たとえば携帯電話によってレンダリングされる場合にも存在する。実際、たとえ転送プロトコルがオーディオ・フローとビデオ・フローのレンダリングを実行するためにタイムスタンプを提供したとしても、ビデオ・フロー・レンダリング装置だけが正確にいつビデオ・フレームが画面上に表示されるかを知っており、その瞬間は特に装置内での記憶時間および復号時間に依存する。それは、ユーザー端末におけるオーディオ・レンダリングについても同じである。
この同期問題は、ビデオ・コンテンツの一方が他方の中でピクチャー・イン・ピクチャーによって表示される、単一のレンダリング装置上で表示される二つのビデオ・フローの間にも、二つのフローが同じ源または同じ転送プロトコルによって提供されるのでない場合には、存在することがある。
本発明の目的は、単一の受領装置に種々の源によって提供されるまたは種々の転送プロトコルを介して伝送されるおよび／または種々のレンダリング装置によってレンダリングされることが意図されている二つのオーディオおよび／またはビデオ・フローを同期させることを可能にする、上述した欠点を克服しようとする解決策を提案することである。
この目的のために、本発明は、受領装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する段階であって、前記第二のフローは少なくとも同期情報を含む、段階と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる段階と、
・前記第一および第二のマルチメディア・フローについてレンダリング段階を実行する段階とを含んでおり、
当該方法は、前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データを表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データに関連付けられており、前記同期の際、前記第一および第二のマルチメディア・フローは、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期されることを特徴とする、
方法に関する。
よって、本発明によれば、前記第一のマルチメディア・フローのデータ項目を表す基準データ項目が、前記第二のマルチメディア・フローにおいて提供され、二つのフローを同期させるためにこの前記第二のマルチメディア・フローのあるデータ項目と関連付けられる。さらに、二つのマルチメディア・フローのデータは、それらのディスプレイ装置および／またはオーディオ装置によるレンダリングが同期するよう、同期される。
ある個別的な実施形態によれば、前記第二のマルチメディア・フローは前記第一のマルチメディア・フローに関して同期される。前記同期段階は、前記第一のマルチメディア・フローのオーディオまたはビデオ・データを、前記第二のマルチメディア・フローの基準データ項目と比較して、前記第二のマルチメディア・フローのレンダリングを前記第一のマルチメディア・フローのレンダリングに対してロックする段階を含む。
この比較段階は、たとえば、前記第一のマルチメディア・フローのオーディオまたはビデオ・データのそれぞれと前記基準データ項目との間の信号対雑音比を計算する段階を含む。
ある個別的な実施形態によれば、前記第一のマルチメディア・フローはビデオ・フレームを含むビデオ・フローであり、前記第二のマルチメディア・フローに導入される前記基準データ項目は前記第一のマルチメディア・フローのビデオ・フレームまたは前記ビデオ・フレームから導出されるデータ項目であり、前記第二のマルチメディア・フローはオーディオ・フローである。
ある個別的な実施形態によれば、前記第一および第二のマルチメディア・フローは異なるマルチメディア源から来るおよび／または異なる転送ネットワークによって提供される。
本発明はまた、前記基準データ項目を含む前記第二のマルチメディア・フローを生成することができる方法にも関する。より詳細には、送信装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローを受領する段階と、
・前記第一のマルチメディア・フローについてのレンダリング段階を実行する段階と、
・オーディオまたはビデオ・データを含む第二のマルチメディア・フローを生成する段階と、
・前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目として知られる少なくともあるデータ項目を生成する段階と、
・前記第二のマルチメディア・フローにおいて、前記基準データ項目を、前記基準データ項目に対応する前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目のレンダリングの時点に生成される前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付ける段階とを含む、
方法に関する。
本発明は、本発明の方法を実行することのできる受信装置にも関する。受信レベルでは、第一および第二のマルチメディア・フローのレンダリングは、単一の装置、たとえばテレビジョンにおいて、または二つの相異なる装置において実行されることができる。
第一の場合において、本発明によれば、
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のフローは少なくとも同期情報を含む、手段と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる手段と、
・前記第一および第二のマルチメディア・フローをレンダリングする手段とを有する装置であって、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データを表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期させることを特徴とする、
装置が提案される。
第二の場合においては、本発明によれば、マルチメディア・フローを受信する装置であって、
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローのレンダリングを捕捉する手段と、
・オーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のフローは少なくとも同期情報を含む、手段と、
・前記同期情報を使って前記第二のマルチメディア・フローを同期させる手段と、
・前記第二のマルチメディア・フローをレンダリングする手段とを有しており、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期させることを特徴とする、
装置が提案される。
本発明は、付属の図面を参照して後述される詳細な説明の過程でよりよく理解され、他のねらい、詳細、特徴および利点がより明確になるであろう。
送信装置において実装される本発明の方法の段階のフローチャートである。 受信装置において実装される本発明の方法の段階のフローチャートである。 第一および第二のマルチメディア・ストリームのレンダリングが同じ装置において実行される場合に本発明を実装する手段を表す図である。 第一および第二のマルチメディア・ストリームのレンダリングが異なる装置において実行される場合に本発明を実装する手段を表す図である。
本発明によれば、第一のマルチメディア・フローのオーディオまたはビデオ・データ項目をタイミング基準として使うことが、第二のマルチメディア・フローのオーディオまたはビデオ・データ項目のために計画される。両フローのレンダリングを同期させるためである。これら二つのフローは、単一の受領装置に異なるマルチメディア源によって提供されるまたは異なる転送プロトコルを介して送信される、あるいは異なるレンダリング装置によってレンダリングされるよう企図される。
本稿では、ビデオ・フローである第一のマルチメディア・フローおよびオーディオ・フローである第二のマルチメディア・フローが考察される。ビデオ・フローのレンダリングは、ビデオ・フローのデータまたはビデオ・フレームのディスプレイ装置上での表示を意味するものと理解され、オーディオ・フローのレンダリングはスピーカーまたはヘッドホンのようなオーディオ装置によるオーディオ・フローのオーディオ・データ（音）の復元を意味するものと理解される。
オーディオ・フローおよびビデオ・フローのレンダリングが同期されるためには、ビデオ・フローのビデオ・フレームを表す、基準データ項目と呼ばれるデータ項目が、オーディオ・フロー中に導入され、前記ビデオ・フレームのレンダリングとレンダリングが同期されねばならないオーディオ・フロー・データ項目に関連付けられる。
この基準データ項目はビデオ・フローのビデオ・フレームまたはこのビデオ・フレームから導出されたデータ項目であることができる。
基準データ項目を含むオーディオ・フローの生成は図１に示されている。
ステップE1によれば、複数のビデオ・フレームを含むビデオ・フローが受領される。このビデオ・フローは、デフォルトのオーディオ・データとともに送信されたものであってもよい。このビデオ・フローはディスプレイ装置上で表示される（E2ステップ）。さらに、このビデオ・フローと同期されるべきオーディオ・フローが生成される（E3ステップ）。このオーディオ・フローは、たとえば、デフォルトのオーディオ・データの言語とは別の言語でのコメントに対応する。このオーディオ・フローはたとえば、ビデオ・フローの画像について該画像が表示されていく際にコメントする人物によって生成される。このオーディオ・フローの生成と同時に、オーディオ・フローのビデオ・フレームを表す基準データが、好ましくは定期的に生成される（E4ステップ）。先に示したように、これらの基準データはビデオ・フローのビデオ・フレームまたはこのフレームから導出されたデータ項目、たとえばこのビデオ・フレームの低解像度画像に対応するフレームまたは前記ビデオ・フレームのシグネチャである。次いで、これらの基準データのそれぞれがオーディオ・フロー中に導入され、その基準データ項目に対応するビデオ・フレームの表示の際に生成されたオーディオ・フローのデータ項目に関連付けられる（E5ステップ）。次いでこのオーディオ・フローは転送または通信ネットワークを介して受信装置に送信される。
二つのフローのレンダリングを実行するプロセスは図２に示されている。二つのフローは一つまたは複数の受領装置によって受領される（E6ステップ）。これら二つのフローは可能性としてはデコードされ、次いで同期される（E7ステップ）。オーディオ・フローは、基準データ項目に関連付けられたオーディオ・データ項目が、その基準データ項目に対応するオーディオ・フローのビデオ・フレームと同期されるよう同期される。この同期段階はたとえば、基準データ項目のビデオ・フレームをビデオ・フローのビデオ・フレームと比較する段階を含む。各ビデオ・フレームについて、たとえばPSNR（Peak Signal to Noise Ratio［ピーク信号対雑音比］の略）が計算される。PSNR値が最大になるビデオ・フレームが基準データ項目のビデオ・フレームである。基準データ項目に関連付けられるオーディオ・データ項目は、このビデオ・フレームが表示されるときに再生（再現）されなければならない。
デシベル（dB）で表したPSNRの計算はたとえば次のようにして実行される。
Figure 0005837074
 ここで、
・mはビデオ・フレームの列内のピクセル数、
・nはビデオ・フレームの行内のピクセル数、
・f(i,j)はビデオ・フローのビデオ・フレームの座標(i,j)のピクセルの値、
・F(i,j)は基準データ項目のビデオ・フレームの座標(i,j)のピクセルの値である。
この計算は、クロミナンス成分UおよびVを無視してルミナンス（Y成分）のみに対して行うことができる。
基準データ項目とビデオ・フローの画像フォーマットが異なる場合、同じ高さおよび幅の画像を比較するために、サイズ変更される。
先に示したように、本発明の方法は、オーディオ・フローの源とビデオ・フローの源が独立な源である場合、あるいは二つのフローの転送プロトコルが異なる場合、あるいはオーディオおよびビデオ・フローをレンダリングする装置が異なる装置である場合に有用である。
ここで、送信および受信装置を、マルチメディア源のオーディオおよびビデオ・フローの源が異なる場合と、二つのフローをレンダリングする装置が異なる装置である場合の二つの場合において記述する。
第一の場合：オーディオ・フローの源とビデオ・フローの源が異なる
この場合は、図３に示されている。ビデオ・フローはビデオ源１０によって与えられ、オーディオ・フローはオーディオ源２０によって与えられる。ビデオ・フローおよびオーディオ・フローはそれぞれ二つの転送ネットワーク４０および５０を介して受信装置に送信される。これらの転送ネットワークは異なる技術であってもよい。
ビデオ・フローはたとえば、テレビ放送ネットワークまたはインターネット・ネットワーク（ネットワーク４０）を介してライブで放送されるサッカーの試合である。その際、ビデオ源１０はサーバーの形で表される。
ネットワーク４０によって送信されるビデオ・フローは受信装置のビデオ・デコーダ３１によって受信され、ひとたびデコードされたら、ビデオ・フローのレンダリングのための装置をなすテレビジョン３２で表示される。
さらに、このビデオ・フローはネットワーク４０を介してオーディオ源２０にも送信される。変形として、オーディオ源はこのビデオ・フローを別の手段によって、たとえば上記ビデオ・フローが別のサーバーから来ることができる別の放送ネットワークによって、受信することもできる。さらに、ビデオ・フローのコンテンツは、サイズや符号化の点で同じフォーマットであることなく、同じであることができる。
源２０は、ビデオ・フローを受信してデコードするビデオ・デコーダ２１と、ビデオ・フローを表示する画面２２と、デコードされたビデオ・フローからの基準データ生成器２３と、オーディオ・フローを生成する装置２４と、オーディオ・フロー中に生成器２３によって与えられる基準データを導入する役割を担う混合器２５とを有する。オーディオ・フロー２４は、画面２２上でのビデオ・フローをレンダリングする間に生成される。
このようにして豊かにされたオーディオ・フローはネットワーク５０を介して受信装置３０に送信される。オーディオ・フローはオーディオ／ビデオ・デコーダ３３によって受信およびデコードされる。同期装置３４は、それぞれ３１および３３のデコーダから来るデコードされたオーディオおよびビデオ・フローを受け取る。同期装置はビデオ・フレームをオーディオ・フローの基準データと比較し、二つのフローを同期させる。このようにして同期されたフローは次いで表示および音再生のためにテレビジョンに提供される。
装置２４は、画面２２によるビデオ・フローの表示後にオーディオ・フローを生成することを注意しておくべきである。その結果は、生成されたオーディオ・フローは、作成された時点で早くも、ビデオ・フレームに対してオフセットされることがあるということである。このオフセットは、有利には、受信装置３０において、ビデオ・デコーダ３１の出力において、テレビジョン３２に送信されるビデオ・フローを遅延させることによって、補償される。
この第一の場合の典型的な応用は、たとえば、エンドユーザーが自分の受信端末を用いて、画像とともに提供されたサウンドトラックを、ウェブサイトによって提供される別のサウンドトラックに置き換える視聴覚番組の放送に対応する。
第二の場合：オーディオおよびビデオ・フローをレンダリングする装置が異なる装置である
この場合は、図４によって示される。受信装置１３０はネットワーク４によって提供されるビデオ・フローを表示することを受け持つ。装置１３０はビデオ・デコーダ１３１と、デコードされたビデオ・フレームを表示する画面１３２とを有する。
受信装置２３０は、画面２２上でのビデオ・フローのレンダリングの際にオーディオ源２０によって生成され、ネットワーク５０によって提供されるオーディオ・フローをレンダリングすることを受け持つ。装置２３０は、オーディオ・フローを受信およびデコードするオーディオ／ビデオ・デコーダ２３３と、画面２３２によって表示されるビデオ・フレームを捕捉する装置２３５と、捕捉されたビデオ・フレームを基準データのビデオ・フレームと比較し、このようにして、オーディオ・フローを表示されるビデオ・フローに対して同期させる同期装置２３４と、同期されたオーディオ・フローの音を再生するスピーカーまたはヘッドホン２３５とを有する。
この第二の場合の可能な応用は、たとえば、公共の場所または映画館において映画を放送し、携帯電話ネットワークを通じて改善またはカスタマイズされた音を送信することである。
この場合、捕捉装置２３５はたとえば携帯電話のカメラである。捕捉装置２３５によって提供されるビデオ・フレームが基準データに含まれるよりも低い解像度をもつ場合、基準データは比較前に、捕捉されたビデオ・フレームと同じ解像度に変換されねばならない。
同様に、捕捉されたフレームはビデオ・フローのフレームと同時生起（coincide）しないこともありうる。捕捉されたフレームは、中心を外れているおよび／またはたとえばビデオ・フレームを表示するスクリーンの一部のような余計なデータを含むことがある。この場合、基準データに含まれているビデオ・フレームはトリミングする必要がある。また、フレームの中央領域のビデオ・データのみを比較するよう計画することもできる。
本発明は、オーディオ・フローおよびビデオ・フローを同期させる、または二つのビデオ・フローを互いに同期させる（PIP（Picture In Picture［ピクチャー・イン・ピクチャー］アプリケーションの場合））、または二つのオーディオ・フローを互いに同期させるために適用することができる。
本発明について種々の個別的な実施形態との関係で記述してきたが、いかなる仕方であれ制約されるものではなく、本発明の範囲内にはいるのであれば記載された手段のあらゆる技術的等価物およびその組み合わせを含むことは明らかである。特に、ビデオ・データに基づいて本稿で提案されるタイミング基準データは、オーディオ・フローの抽出物によって置き換えてもよい。
いくつかの付記を記載しておく。
（付記１）
送信装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローを受領する段階と、
・前記第一のマルチメディア・フローについてのレンダリング段階を実行する段階と、
・前記第一のマルチメディア・フローの前記レンダリングの間に、レンダリングについて前記第一のマルチメディア・フローに同期されるべき、オーディオまたはビデオ・データを含む第二のマルチメディア・フローを生成する段階と、
・前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目として知られる少なくともあるデータ項目を生成する段階と、
・前記第二のマルチメディア・フローにおいて、前記基準データ項目を、前記基準データ項目を生成するために使われた前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目のレンダリングの時点に生成された前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目と関連付けることによって、前記基準データ項目を挿入する段階とを含む、
方法に関する。
（付記２）
受領装置においてマルチメディア・データ・フローを処理する方法であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する段階であって、前記第二のフローは前記第一のマルチメディア・フローのレンダリングの間に生成され、少なくとも同期情報を含む、段階と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる段階と、
・前記第一および第二のマルチメディア・フローについてレンダリング段階を実行する段階とを含んでおり、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データを表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データに関連付けられており、
前記同期の際、前記第一および第二のマルチメディア・フローは、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングとが同期するよう、同期されることを特徴とする、
方法。
（付記３）
前記同期段階は、前記第一のマルチメディア・フローのオーディオまたはビデオ・データを前記基準データ項目と比較する段階を含む、付記２記載の方法。
（付記４）
前記比較段階は、前記第一のマルチメディア・フローのオーディオまたはビデオ・データのそれぞれと前記基準データ項目との間の信号対雑音比を計算する段階を含む、付記３記載の方法。
（付記５）
前記第一のマルチメディア・フローはビデオ・フレームを含むビデオ・フローである、付記２ないし４のうちいずれか一項記載の方法。
（付記６）
前記基準データ項目は前記第一のマルチメディア・フローのビデオ・フレームまたは前記ビデオ・フレームから導出されるデータ項目である、付記５記載の方法。
（付記７）
前記第二のマルチメディア・フローはオーディオ・フローである、付記２ないし６のうちいずれか一項記載の方法。
（付記８）
前記第一および第二のマルチメディア・フローは異なるマルチメディア源から来るおよび／または異なる転送ネットワークによって提供される、付記２ないし７のうちいずれか一項記載の方法。
（付記９）
マルチメディア・フローを受信する装置であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローおよびオーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のマルチメディア・フローは前記第一のマルチメディア・フローのレンダリングの際に生成され、少なくとも同期情報を含む、手段と、
・前記第一および第二のマルチメディア・フローを、前記同期情報を使って同期させる手段と、
・前記第一および第二のマルチメディア・フローをレンダリングする手段とを有する装置であって、
前記同期情報が、前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングが同期するよう、同期させることを特徴とする、
装置。
（付記１０）
マルチメディア・フローを受信する装置であって：
・オーディオまたはビデオ・データを含む第一のマルチメディア・フローをレンダリングしたものを捕捉する手段と、
・オーディオまたはビデオ・データを含む第二のマルチメディア・フローを受領する手段であって、前記第二のマルチメディア・フローは、前記第一のマルチメディア・フローのレンダリングの間に生成され、少なくとも同期情報を含む、手段と、
・前記同期情報を使って前記第二のマルチメディア・フローを同期させる手段と、
・前記第二のマルチメディア・フローをレンダリングする手段とを有しており、
前記同期情報が前記第一のマルチメディア・フローのオーディオまたはビデオ・データ項目を表す、基準データ項目と呼ばれるデータ項目を含み、前記基準データ項目は前記第二のマルチメディア・フローのオーディオまたはビデオ・データ項目に関連付けられており、前記同期手段は、前記第一および第二のマルチメディア・フローを、前記基準データ項目に関連付けられた前記第二のマルチメディア・フローのビデオまたはオーディオ・データ項目のレンダリングと、前記基準データ項目に対応する前記第一のマルチメディア・フローのビデオまたはオーディオ・データのレンダリングが同期するよう、同期させることを特徴とする、
装置。

Claims (11)

  1. 処理装置において第一のマルチメディア・フローを生成する方法であって、前記第一のマルチメディア・フローは少なくとも一つの第一のオーディオおよび／またはビデオ・データ項目を含み、前記第一のマルチメディア・フローはビデオ・データを含む第二のマルチメディア・フローと同期されるべきものであり、当該方法は、
    ・前記第二のマルチメディア・フローをレンダリングする段階と、
    ・前記レンダリングの間に、前記第一のデータ項目を生成する段階と、
    ・少なくとも前記第二のマルチメディア・フローのビデオ・データ項目を表すビデオ・フレームを含む基準データ項目を生成する段階であって、前記ビデオ・データ項目は前記第一のデータ項目の生成の時点でレンダリングされる、段階と、
    ・前記第一のマルチメディア・フローにおいて、前記基準データ項目を前記第一のデータ項目と関連付けることによって、前記基準データ項目を挿入する段階とを含む、
    方法。
  2. 処理装置において第一のマルチメディア・フローをレンダリングする方法であって、前記第一のマルチメディア・フローは少なくともオーディオおよび／またはビデオ・データ項目を含み、前記第一のマルチメディア・フローは、ビデオ・データを含む第二のマルチメディア・フローと同期されるべきものであり、当該方法は、
    ・前記第一のマルチメディア・フローの基準データ項目を使って前記第一のマルチメディア・フローの前記第一のデータ項目を前記第二のマルチメディア・フローの第二のビデオ・データ項目と同期させる段階であって、前記基準データ項目は前記第一のデータ項目と関連付けられており、前記第二のビデオ・データ項目を表わすビデオ・フレームを含む、段階と、
    ・前記の同期された第一のマルチメディア・フローをレンダリングする段階であって、前記第一のマルチメディア・フローの前記第一のデータ項目のレンダリングは前記第二のマルチメディア・フローの前記ビデオ・データ項目のレンダリングと同期的である、段階とを含む、
    方法。
  3. 前記同期させる段階は、前記第二のマルチメディア・フローのビデオ・データのそれぞれと前記基準データ項目に含まれる前記ビデオ・フレームとの間の信号対雑音比を計算する段階を含む、請求項２記載の方法。
  4. 前記第二のマルチメディア・フローはビデオ・フレームを含むビデオ・フローである、請求項１ないし３のうちいずれか一項記載の方法。
  5. 前記基準データ項目の前記ビデオ・フレームは前記第二のマルチメディア・フローのビデオ・フレームまたは前記ビデオ・フレームから導出されるデータ項目である、請求項４記載の方法。
  6. 前記第一のマルチメディア・フローがオーディオ・フローである、請求項１ないし５のうちいずれか一項記載の方法。
  7. 前記第一および第二のマルチメディア・フローは異なるマルチメディア源から来るおよび／または異なる転送ネットワークによって提供される、請求項１ないし６のうちいずれか一項記載の方法。
  8. 少なくともオーディオまたはビデオ・データ項目を含む第一のマルチメディア・フローをレンダリングする装置であって、前記第一のマルチメディア・フローはビデオ・データを含む第二のマルチメディア・フローと同期されるべきものであり、当該装置は、
    ・前記第一のマルチメディア・フローの基準データ項目を使って前記第一のマルチメディア・フローの前記第一のデータ項目を前記第二のマルチメディア・フローの第二のビデオ・データ項目と同期させる手段であって、前記基準データ項目は前記第一のデータ項目と関連付けられており、前記第二のビデオ・データ項目を表わすビデオ・フレームを含む、手段と、
    ・前記の同期された第一のマルチメディア・フローをレンダリングする手段であって、前記第一のマルチメディア・フローの前記第一のデータ項目のレンダリングは前記第二のマルチメディア・フローの前記ビデオ・データ項目のレンダリングと同期的である、手段とを有する、
    装置。
  9. 前記第二のマルチメディア・フローをレンダリングする手段を有する、請求項８記載の装置。
  10. ・前記第二のマルチメディア・フローをレンダリングしたものを捕捉する手段を有する、
    請求項９記載の装置。
  11. 第一のマルチメディア・フローを生成する装置であって、前記第一のマルチメディア・フローは少なくとも一つの第一のオーディオおよび／またはビデオ・データ項目を含み、前記第一のマルチメディア・フローはビデオ・データを含む第二のマルチメディア・フローと同期されるべきものであり、当該装置は、
    ・前記第二のマルチメディア・フローをレンダリングする手段と、
    ・前記レンダリングの間に、前記第一のデータ項目を生成する手段と、
    ・少なくとも前記第二のマルチメディア・フローのビデオ・データ項目を表すビデオ・フレームを含む基準データ項目を生成する手段であって、前記ビデオ・データ項目は前記第一のデータ項目の生成の時点でレンダリングされる、手段と、
    ・前記第一のマルチメディア・フローにおいて、前記基準データ項目を前記第一のデータ項目と関連付けることによって、前記基準データ項目を挿入する手段とを有する、
    装置。
JP2013528725A 2010-09-22 2011-09-22 マルチメディア・フローを処理する方法および対応する装置 Active JP5837074B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1057600 2010-09-22
FR1057600 2010-09-22
PCT/EP2011/066515 WO2012038506A1 (en) 2010-09-22 2011-09-22 Methods for processing multimedia flows and corresponding devices

Publications (2)

Publication Number Publication Date
JP2013541894A JP2013541894A (ja) 2013-11-14
JP5837074B2 true JP5837074B2 (ja) 2015-12-24

Family

ID=43875229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013528725A Active JP5837074B2 (ja) 2010-09-22 2011-09-22 マルチメディア・フローを処理する方法および対応する装置

Country Status (7)

Country Link
US (1) US9609179B2 (ja)
EP (1) EP2619989A1 (ja)
JP (1) JP5837074B2 (ja)
KR (1) KR101841313B1 (ja)
CN (1) CN103119952B (ja)
BR (1) BR112013005160A2 (ja)
WO (1) WO2012038506A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
US20140365685A1 (en) * 2013-06-11 2014-12-11 Koninklijke Kpn N.V. Method, System, Capturing Device and Synchronization Server for Enabling Synchronization of Rendering of Multiple Content Parts, Using a Reference Rendering Timeline
PL3100457T3 (pl) * 2014-01-31 2018-06-29 Thomson Licensing Sposób i urządzenie do synchronizowania odtwarzania w dwóch urządzeniach elektronicznych
KR102179321B1 (ko) 2014-01-31 2020-11-18 인터디지털 씨이 페이튼트 홀딩스 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치
CN104135667B (zh) * 2014-06-10 2015-06-24 腾讯科技（深圳）有限公司 一种视频异地解说同步方法、终端设备,及系统
KR101833942B1 (ko) * 2017-01-05 2018-03-05 네이버 주식회사 실시간 영상 합성을 위한 트랜스코더
CN107155126A (zh) * 2017-03-30 2017-09-12 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
CN113382300B (zh) * 2021-06-08 2023-03-21 三星电子（中国）研发中心 一种音视频播放方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471576A (en) * 1992-11-16 1995-11-28 International Business Machines Corporation Audio/video synchronization for application programs
US5751694A (en) 1995-05-22 1998-05-12 Sony Corporation Methods and apparatus for synchronizing temporally related data streams
CN2304214Y (zh) 1996-02-02 1999-01-13 深圳凌云电子有限公司 带有灭菌、喷香装置的电话机
KR100224099B1 (ko) 1997-05-30 1999-10-15 윤종용 오디오/비디오 신호의 동기장치 및 방법
WO2000043999A2 (en) 1999-01-22 2000-07-27 Sony Electronics, Inc. Method and apparatus for synchronizing playback of multiple media types over networks having different transmission characteristics
AU4173100A (en) 1999-03-22 2000-10-09 Scientific-Atlanta, Inc. Method and apparatus for generating time stamp information
US6480902B1 (en) 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
US20020049727A1 (en) * 2000-05-19 2002-04-25 David Rothkopf Method and apparatus for providing customized information
US7099266B2 (en) * 2001-03-26 2006-08-29 Victor Company Of Japan, Limited Orthogonal frequency division multiplexed signal transmitting apparatus, orthogonal frequency division multiplexed signal receiving apparatus, and orthogonal frequency division multiplexed signal transmitting/receiving system
EP1393298B1 (en) * 2001-05-25 2010-06-09 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
ES2420909T3 (es) * 2001-12-24 2013-08-27 Intrasonics S.A.R.L. Sistema de subtitulación
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
US6912010B2 (en) 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US7333519B2 (en) * 2002-04-23 2008-02-19 Gateway Inc. Method of manually fine tuning audio synchronization of a home network
US7116894B1 (en) * 2002-05-24 2006-10-03 Digeo, Inc. System and method for digital multimedia stream conversion
KR20040032532A (ko) 2002-10-10 2004-04-17 삼성전자주식회사 테스트 프로그램의 표준 문서를 자동적으로 관리하는 시스템
JP4140709B2 (ja) * 2003-02-05 2008-08-27 松下電器産業株式会社 画像信号再生装置および画像信号再生方法
US20040204962A1 (en) 2003-04-14 2004-10-14 Howser Steven Joseph Automated patient compliancy monitoring system and method
KR100499037B1 (ko) 2003-07-01 2005-07-01 엘지전자 주식회사 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치
JP2005109703A (ja) 2003-09-29 2005-04-21 Pioneer Electronic Corp 画像出力装置、画像出力方法、画像表示システムおよび画像出力プログラム並びに情報記録媒体
JP2005210196A (ja) * 2004-01-20 2005-08-04 Sony Corp 情報処理装置、情報処理方法
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
KR20050107227A (ko) 2004-05-08 2005-11-11 주식회사 대우일렉트로닉스 방송 수신기의 영상 출력 제어 장치
US7593061B2 (en) * 2004-06-22 2009-09-22 Sarnoff Corporation Method and apparatus for measuring and/or correcting audio/visual synchronization
JPWO2006006714A1 (ja) 2004-07-14 2008-05-01 セイコーエプソン株式会社 映像再生同期信号生成方法、映像再生同期信号生成プログラム、タイミング制御装置、映像音声同期再生方法、映像音声同期再生プログラム及び映像音声同期再生装置
US20060101504A1 (en) * 2004-11-09 2006-05-11 Veveo.Tv, Inc. Method and system for performing searches for television content and channels using a non-intrusive television interface and with reduced text input
KR20060127459A (ko) 2005-06-07 2006-12-13 엘지전자 주식회사 디지털방송 콘텐츠 변환 기능을 갖는 디지털방송용 단말기및 그 방법
US7573868B2 (en) 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing
US7843974B2 (en) * 2005-06-30 2010-11-30 Nokia Corporation Audio and video synchronization
JP4573301B2 (ja) 2005-08-18 2010-11-04 Ｋｄｄｉ株式会社 映像信号のフレーム同期方式
US7907212B2 (en) * 2006-03-20 2011-03-15 Vixs Systems, Inc. Multiple path audio video synchronization
US7961792B2 (en) 2006-05-16 2011-06-14 Lsi Corporation Robust system for maintaining audio/video synchronization during playback of multimedia streams with no embedded time stamps
JP4131284B2 (ja) * 2006-07-14 2008-08-13 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
JP5256682B2 (ja) * 2007-10-15 2013-08-07 ヤマハ株式会社 情報処理装置、情報処理方法及びプログラム
AU2008101244A4 (en) 2007-12-19 2009-02-19 Interactivetv Pty Limited Device and method for synchronisation of digital video and audio streams to media presentation devices
JP5602138B2 (ja) * 2008-08-21 2014-10-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof

Also Published As

Publication number Publication date
JP2013541894A (ja) 2013-11-14
KR101841313B1 (ko) 2018-03-22
EP2619989A1 (en) 2013-07-31
BR112013005160A2 (pt) 2016-04-26
CN103119952B (zh) 2017-06-09
WO2012038506A1 (en) 2012-03-29
KR20130138213A (ko) 2013-12-18
US20130182181A1 (en) 2013-07-18
US9609179B2 (en) 2017-03-28
CN103119952A (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
JP5837074B2 (ja) マルチメディア・フローを処理する方法および対応する装置
US8477950B2 (en) Home theater component for a virtualized home theater system
US8880720B2 (en) Method and device for delivering supplemental content associated with audio/visual content to a user
JP5978308B2 (ja) 自動的にコンテンツ番組を発見するためのシステムおよび方法
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
TWI544791B (zh) 經由寬頻網路所接收第二節目內容之解碼方法及解碼器裝置
CN108495152B (zh) 一种视频直播方法、装置、电子设备及介质
JP5372143B2 (ja) インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法
EP2178306A2 (en) Image processing apparatus and image processing method
CN107534797B (zh) 一种增强媒体记录的方法和系统
CN108650541B (zh) 实现不同设备同步播放视频的方法和系统
JP6606526B2 (ja) 同期制御装置及び同期制御方法
US8879780B2 (en) Method and device for providing a content stream, content stream, method and device for processing a content stream
JP6647241B2 (ja) Ｍｍｔ受信システム、同期制御装置、同期制御方法および同期制御プログラム
WO2014169634A1 (zh) 媒体播放处理方法、装置、系统及媒体服务器
US10264241B2 (en) Complimentary video content
JP5579657B2 (ja) 動画フレーム同期システム
KR102273795B1 (ko) 영상 동기화 처리를 위한 시스템 및 그 제어방법
KR102012580B1 (ko) 멀티미디어 콘텐츠 처리를 위한 장치 및 그 제어방법
CN117241081A (zh) 影音同步方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151104

R150 Certificate of patent or registration of utility model

Ref document number: 5837074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250