JP5101016B2 - 無線環境におけるマルチメディア配信のためのシステム及び方法 - Google Patents

無線環境におけるマルチメディア配信のためのシステム及び方法 Download PDF

Info

Publication number
JP5101016B2
JP5101016B2 JP2006011472A JP2006011472A JP5101016B2 JP 5101016 B2 JP5101016 B2 JP 5101016B2 JP 2006011472 A JP2006011472 A JP 2006011472A JP 2006011472 A JP2006011472 A JP 2006011472A JP 5101016 B2 JP5101016 B2 JP 5101016B2
Authority
JP
Japan
Prior art keywords
clock
multimedia
processing device
output
network interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006011472A
Other languages
English (en)
Other versions
JP2006238424A5 (ja
JP2006238424A (ja
Inventor
デュチャーム ポール
ジラードー ジェイムス
チウ アデリン
ドイル ジェイムス
Original Assignee
ビクシズ システムズ インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビクシズ システムズ インコーポレイティド filed Critical ビクシズ システムズ インコーポレイティド
Publication of JP2006238424A publication Critical patent/JP2006238424A/ja
Publication of JP2006238424A5 publication Critical patent/JP2006238424A5/ja
Application granted granted Critical
Publication of JP5101016B2 publication Critical patent/JP5101016B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は一般に、マルチメディア・データの配信に関し、具体的には無線システムにおけるマルチメディア配信に関する。
関連主題は、参照により全体として本明細書に組み込まれている、2001年3月20日に出願された出願番号第09/823,646号(代理人整理番号1459−ViXS002)の「ADAPTIVE BANDWIDTH FOOTPRINT MATCHING FOR MULTIPLE COMPRESSED VIDEO STREAMS IN A FIXED BANDWIDTH NETWORK」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2001年5月24日に出願された出願番号第09/864,524号(代理人整理番号1459−ViXS003)の「METHOD AND APPARATUS FOR A MULTIMEDIA SYSTEM」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2001年5月24日に出願された出願番号第09/864,602号(代理人整理番号1459−ViXS004)の「METHOD AND APPARATUS OF MULTIPLEXING A PLURALITY OF CHANNELS IN A MULTIMEDIA SUSTEM」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2001年5月24日に出願された出願番号第09/864,476号(代理人整理番号1459−ViXS008)の「METHOD AND APPARATUS FOR MANAGING RESOURCES IN A MULTIMEDIA SYSTEM」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2001年11月21日に出願された出願番号第09/990,976号(代理人整理番号1459−ViXS0012)の「SYSTEM AND METHOD FOR MULTIPLE CHANNEL VIDEO TRANSCODING」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2001年11月21日に出願された出願番号第09/990,737号(代理人整理番号1459−ViXS0013)の「METHOD AND SYSTEM FOR RATE CONTROL DURING VIDEO TRANSCODING」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2002年5月2日に出願された出願番号第10/137,151号(代理人整理番号1459−ViXS0036)の「METHOD AND SYSTEM FOR PROTECTING VIDEO DATA」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2002年6月18日に出願された出願番号第10/174,371号(代理人整理番号1459−ViXS0038)の「DYNAMICALLY ADJUSTING DATA RATE OF WIRELESS COMMUNICATIONS」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年2月28日に出願された出願番号第10/376,581号(代理人整理番号1459−ViXS0048)の「METHOD AND APPARATUS FOR NON−INTRUSIVE TRANSCEIVER PROPERTY ADJUSTMENT」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年2月28日に出願された出願番号第10/376,853号(代理人整理番号1459−ViXS0051)の「SYSTEM FOR PROVIDING DATA TO MULTIPLE DEVICES AND METHOD THEREOF」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年1月16日に出願された出願番号第10/345,710号(代理人整理番号1459−ViXS0053)の「METHOD OF MOTION VECTOR PREDICTION AND SYSTEM THEREOF」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年1月16日に出願された出願番号第10/345,847号(代理人整理番号1459−ViXS0054)の「METHOD OF VIDEO ENCODING USING WINDOWS AND SYSTEM THEREOF」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年2月24日に出願された出願番号第10/375,582号(代理人整理番号1459−ViXS0059)の「METHOD AND SYSTEM FOR TRANSCODING VIDEO DATA」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年6月13日に出願された出願番号第10/461,095号(代理人整理番号1459−ViXS0060)の「SYSTEM AND METHOD FOR PROCESSING AUDIO FRAMES」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年10月10日に出願された出願番号第10/683,062号(代理人整理番号1459−ViXS0061)の「METHOD AND APPARATUS FOR ACCURATELY DETECTING VALIDITY OF A RECEIVED SIGNAL」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年9月29日に出願された出願番号第10/673,693号(代理人整理番号1459−ViXS0062)の「METHOD AND SYSTEM FOR SCALING IMAGES」という名称の同時係属米国特許出願に含まれている。関連主題は、参照により全体として本明細書に組み込まれている、2003年9月29日に出願された出願番号第10/673,612号(代理人整理番号1459−ViXS0063)の「METHOD AND SYSTEM FOR NOISE REDUCTION IN AN IMAGE」という名称の同時係属米国特許出願に含まれている。
MPEG A/V配信システムにおいて確実な放送品質のMotion Picture Experts Group(MPEG)オーディオ/ビデオ(A/V)配信を達成するために、MPEGサーバーで受信され符号化されるオーディオ及びビデオは通常、MPEGデータがサーバーで受信された速度とほぼ同じ速度でMPEGクライアントにおいて再生される必要がある。MPEGクライアントのデコーダは、生成された速度でA/Vデータを消費することができ、それによりバッファ・アンダーフロー又はオーバーフローを軽減又は回避して、表示されるビデオ及びオーディオのアーティファクトを減少又は除去することができるようになるので、この速度の一致はA/Vデータの確実な配信に大きく寄与している。速度を一致させる要件の利点を考慮すると、例えばISO/IEC13818などのMPEG規格では通常、サーバーとクライアント間のジッターが+/−500ナノ秒(ns)内にとどまるという品質要件を設けている。従って、MPEG規格は、標準放送方式においてこのジッター要件を実現する努力の一環として複雑なメカニズムを実装する。衛星、ケーブル又は地上波配信システムにおいては、サーバーとクライアント間にほぼ恒常的な遅延があるため、これらのメカニズムは通常は十分なものである。しかし、無線ネットワーク及びその他同様のネットワークにおいては、無線リンクが無線装置間に大幅な恒常的遅延を呈することは通常ないので、これらのメカニズムは失敗することが多い。例えば、IEEE802.11の適用において、情報を送信するために使用される周波数ひいてはシンボル・レートは、送信機及び受信機との間の距離によって決まる。従って、サーバーとクライアント間の距離の変化に応じて、サーバーとクライアント間のMPEGデータの送信におけるジッターも変化する。同様に、サーバーとクライアントとの間の障害物は、シンボル・レートに動的な変化を引き起こすことがあり、そのため送信時間、ひいてはMPEGデータのジッターに動的な変化をもたらすことになる。
ジッターの大きさはまた、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、大都市圏ネットワーク(MAN)、インターネットなどのネットワーク内にMPEG配信システムを実装した結果として増大することがある。これらの例において、サーバーからクライアントへのMPEGデータの送信には通常、サーバーのネットワーク・スタック(例えば、伝送制御プロトコル/インターネット・プロトコル(TCP/IP)スタックなど)のさまざまな層においてMPEGデータを処理すること、無線媒体を介して処理されたMPEGデータを送信すること、及びクライアントのネットワーク・スタックのさまざまな層においてMPEGデータを引き続き処理することが求められる。これらのネットワーク・スタックを実装しているソフトウェア及びハードウェアの相異が原因となって、多量の追加のジッターがもたらされる可能性がある。これらの相異により生じる全ジッターは、クライアントがサーバーと同期するのを妨げるほどの大きさとなることもある。従って、ジッターを減少させるために無線環境において装置を同期化する改良された技法は有利となろう。
本発明の目的及び利点は、類似した要素を示すために類似した参照文字が使用されている添付の図を参照して以下の詳細な説明を読めば、当業者には明らかとなろう。
以下の説明では、同期化されたマルチメディア・データ配信を伴ういくつかの具体的な実施形態及び詳細を提供することにより、本開示の十分な理解をもたらすことを目的としている。ただし、本開示は、典型的なものに過ぎないこれらの具体的な実施形態及び詳細に限定されないことを理解されたい。さらに、当業者であれば、知られているシステム及び方法を考慮に入れ、特定の設計及びその他の必要性に応じて、本開示をその意図されている目的及び利点のために任意の数の代替実施形態において使用できることを理解するであろうことを理解されたい。
図1〜11は、マルチメディア・サーバーとマルチメディア・クライアントとの間のマルチメディア・データの同期化された配信及び表示のための典型的な技法を示している。説明を簡単にするために、典型的な技法は、無線LAN内のMPEGサーバー及びMPEGクライアントを備えるMPEG配信システムとの関連、及び通常は90KHzクロック(一般に300で割った27MHzクロック信号から得られる)を基にする従来型のMPEGタイミング規格との関連で説明される。しかし、当業者であれば、これらの技法を、本開示の趣旨又は範囲を逸脱することなく本明細書に提供されている指針を使用し、他のサーバー/クライアント・システム、他のマルチメディア・フォーマット、他の種類のネットワーク及び/又は他の種類のタイミング方式で使用することができる。
ここで図1を参照すると、典型的なMPEG配信システム100が本開示の少なくとも1つの実施形態に従って示されている。示されている例において、配信システム100は、無線リンク106を介してMPEGクライアント104に結合されたMPEGサーバー102を備えている。MPEGサーバー102は、オーディオ/ビデオ(A/V)エンコーダ108、無線周波数(RF)送受信装置110、送信機同期化モジュール112、クロック・ソース114及び116、アンテナ118を備えている。MPEGクライアント104は、アンテナ119、RF送受信装置120、入力バッファ122、A/Vデコーダ124、受信機同期化モジュール126、クロック・ソース128及び130を備えている。A/Vエンコーダ108は、任意の種類のMPEGエンコーダ又はトランスコーダを備えることができ、A/Vデコーダ124は同様に任意の種類のMPEGデコーダ又はトランスコーダを備えることができる。RF送受信装置110及び120は、例えばIEEE802.11a/b/c/e/g/i(本明細書においては総称してIEEE802.11と呼ぶ)などの、1つ又は複数の無線プロトコルと互換性のある無線送信機を含むことができる。クロック・ソース114、116、128及び130は、オーバートーン水晶発振器、基本水晶発振器、キャンド発振器、LC発振器、セラミック振動子、VCXO発振器などを含むがこれらには限定されない、クロック信号を生成するために使用されてもよい任意の種類のクリスタル又は発振器を備えることができる。
MPEGサーバー102において、A/Vエンコーダ108は、入力A/Vデータ132を受信し、入力A/Vデータ132のエンコード又はトランスコードされた表現を出力として提供する。RF送信機110はエンコード/トランスコードされたA/Vデータをパケット化し、それをアンテナ118経由で無線リンク106を介して送信するために提供する。A/Vデータ132は、例えば、衛星供給、ケーブル・ヘッド・エンド、インターネット・データ・ストリーム、DVDプレーヤーなどによって提供されるMPEGオーディオ及び/又はビデオデータを表すことができる。MPEGクライアント104において、パケット化されたA/Vデータは、アンテナ119経由でRF送受信装置120によって受信される。A/Vデータはパケット解除され、格納のために入力バッファ122に提供される。A/Vデータは、デコーディング又はトランスコーディングのために入力バッファ122からA/Vデコーダ124に提供され、その結果生じたデコード/トランスコードされたA/Vデータ134は1つ又は複数の表示装置で表示するために提供され、ハード・ディスク又は光ドライブに格納され、さらに処理を行うために別の装置に再送信されるなどしてもよい。
示されているように、A/Vエンコーダ108は、クロック・ソース114によって提供されるクロック信号136(周波数fを有する)によってクロック処理され、送受信装置110は、クロック・ソース116によって提供されるクロック信号138(周波数fを有する)によってクロック処理される。MPEGクライアント104において、A/Vデコーダ124は、クロック・ソース128によって提供されるクロック信号140(周波数fを有する)から得られたクロック信号144によってクロック処理され、送受信装置120は、クロック・ソース130によって提供されるクロック信号142(周波数fを有する)によってクロック処理される。説明を簡単にするために、周波数f及びfは、MPEG規格に従って約27メガヘルツ(MHz)であると仮定され、周波数f及びfは約40MHzと仮定される。ただし、他の周波数を有するクロック信号は、本発明の趣旨又は範囲を逸脱することなく適宜使用されてもよい。
理想的には、クロック・ソース114及び128は完全に同期化され、クロック・ソース116及び130は完全に同期化され、これによりMPEGサーバー102におけるA/Vデータ132のエンコードとMPEGクライアント104におけるA/Vデータ134の後続のデコードとの間のジッターを減少又は除去する。しかし、プロセス変動、温度の変化、電圧の変化、及び製造時の不具合は通常、正確に一定の周波数を維持しないクロック・ソースの生成をもたらす。この周波数ドリフトは通常、MPEGサーバー102とMPEGクライアント104のクロック・ソース間でミラーされないため、MPEGサーバー104のクロック・ソースとさらに厳密に一致するようにMPEGクライアント102のクロック・ソースを調整する技法がない場合、許容できないジッターをもたらす可能性がある。従って、少なくとも1つの実施形態において、MPEG配信システム100は、複数クロック間の周波数オフセットに基づく同期化技法を採用する。
少なくとも1つの実施形態において、送受信装置同期化モジュール112は、入力としてクロック信号136及び138を受信し、これらのクロック信号からクロック信号136及び138間のクロック・オフセット値(本明細書においてΔppmと呼ぶ)を決定する。クロック・オフセット値Δppmは、100万分の1(ppm)として表されることが好ましいが、他の例においては周波数値又はクロック・ティック値として表されてもよい。クロック・オフセット値Δppmを決定する典型的な技法は、図2を参照して以下で説明される。少なくとも1つの実施形態において、クロック・オフセット値Δppmは、クロック信号136と138との間の相異、つまりクロック・ソース114がクロック・ソース116に対して遅いか又は速いかどうかを表している。
次に同期化モジュール112は、MPEGクライアント104への送信のためにクロック・オフセット値ΔppmをRF送受信装置110に提供する。少なくとも1つの実施形態において、RF送受信装置110は、MPEGサーバー102及びMPEGクライアント104間の保守メッセージ内に埋め込むことによってクロック・オフセット値Δppmをパケット化する。例えば、図11は、MPEGサーバー102における時間の表示を提供するための絶対サーバー時間フィールド904とΔppmの値の表示を提供するためのppmオフセット・フィールド906とをそのペイロード902に有する典型的な保守メッセージ・パケット900を示している。MPEGクライアント104において、RF送受信装置120はパケット化されたクロック・オフセット値Δppmを受信し、クロック・オフセット値Δppmをパケット解除して、それを受信機同期化モジュール126に提供する。さらに、RF送受信装置120又は同期化モジュール126は、クロック信号138及び142間の第2のクロック・オフセット(本明細書においてΔppmと呼ぶ)を決定する。クロック・オフセットΔppmの場合と同様に、クロック・オフセットΔppmはppmとして表されることが好ましいが、例えば周波数値又はクロック・ティック値によっても表されてもよい。次にRF送受信装置120は、クロック・オフセット値Δppmを同期化モジュール126に提供する。少なくとも1つの実施形態において、同期化モジュール126は、クロック・オフセット値Δppm及びΔppmを使用して、以下で詳細に説明されるように、クロック・ソース114及び116とクロック・ソース116及び130との間に存在するジッターに合わせて調整するためにA/Vデコーダ124に提供されるクロック信号144を調整する。
クロック・オフセット値Δppm及びΔppmの使用は、クロック128、130とクロック114及び116との間にフィードバック・ループがないために時間の経過と共にかなりの周波数ドリフトをもたらす可能性があることが理解されよう。従って、少なくとも1つの実施形態において、同期化モジュール126は、入力バッファ122の充満をモニターして、クロック114、116に対するクロック128、130の効果的な同期化を測定する。一般に、MPEGデコーダのクロック信号がMPEGエンコーダのクロック信号に十分に同期化されている場合、データは通常適正なクロック同期化により入力される速度と同じ速度でバッファから出力されるので、MPEGデータをデコーダに供給するバッファは通常、特定のバッファ充満の範囲内にある。しかし、クロック信号が適正に同期化されない場合、バッファのオーバーフロー又はアンダーフローが生じることがある。従って同期化モジュール126は、バッファ・アンダーフロー又はオーバーフロー状態に入力バッファ122が向かう可能性があることを検出した場合、同期化モジュール126は、以下に詳細に説明されるクロック修正手順を実行することができる。
図2を参照すると、図1のMPEG配信システム100の典型的なオペレーションが本開示の少なくとも1つの実施形態に従って説明されている。典型的なオペレーションを表す方法150はステップ150において開始し、MPEGクライアント104のクロック130は、当業者に知られているさまざまな技法のいずれかを使用してMPEGサーバー102のクロック116に同期化される。ステップ152において、MPEGクライアント104のデコーダ124タイミング基準(例えば、クロック128から得られる)は、MPEGサーバー102のエンコーダ108タイミング基準(例えばクロック114)に同期化される。この同期化を達成する典型的な技法は、図3〜8を参照して以下でさらに詳細に説明される。MPEGサーバー102及びMPEGクライアント104のクロックが同期化された後、MPEGデータ・ストリームはMPEGサーバー102においてエンコードされ、無線ネットワーク106経由で、例えばその後のデコード及び表示のためにMPEGクライアント104に送信されてもよい。少なくとも1つの実施形態において、MPEGデータ・ストリームに埋め込まれているタイミング基準値(例えばプログラムクロック基準(PCR)又はシステムクロック基準(SCR))は、絶対値(つまり固定タイミングを直接参照する値)から相対値(つまり特定のタイミングポイントと相対的なタイミング値)に変換されてもよい。従って、絶対時間基準は、特定の時間における単一クロックの測定と見なされ、相対時間基準は、同時に測定された2つのクロックの間の相異の計算と見なされてもよい。以下で図9を参照してさらに詳細に説明されるように、この変換は、MPEGクライアント104にMPEGデータ・ストリームを提供するに先立ってMPEGサーバー102におけるMPEGデータ・ストリームの絶対タイミング値からMPEGサーバー102のローカル・クロック基準を減算することによって実施されてもよい。
ステップ155において、MPEGデータ・ストリームはパケット化され、無線ネットワーク106経由でMPEGクライアント104に提供される。ステップ156において、MPEGデータ・ストリームの相対タイミング基準値は、絶対タイミング基準値に変換されて戻される。図9を参照して以下で説明されるように、MPEGクライアント104は、MPEGクライアント104におけるクライアントのローカル・クロック基準を相対タイミング基準値に加算することにより、相対タイミング基準値を絶対タイミング値に変換して戻すことができる。MPEGデータ・ストリームは次に、入力バッファ122に入れられて、デコード及び表示に適切な時間にA/Vデコーダ124に提供されてもよい。
ここで図3を参照すると、MPEGクライアント104のA/Vデコーダ124によって使用されるタイミング基準をMPEGサーバー102のA/Vエンコーダ108によって使用されるタイミング基準に同期化する典型的な方法の概要が本開示の少なくとも1つの実施形態に従って説明されている。説明されている方法170はステップ171において開始し、クロック114及びクロック116の間の第1のオフセットが決定される。図4を参照して詳細に説明されるように、この第1のオフセットは、あらかじめ決められた期間にわたるクロック114のクロック・ティック又はサイクルの数に対するクロック116のクロック・ティック又はサイクルの数の比から導かれる。従って、第1のオフセットは、クロック114及び116の間の相対同期化を表すことができる。
ステップ172において、第1のオフセットの表現がMPEGクライアント104に提供される。例えば、第1のオフセット表現は、無線送受信装置110及び120を介して1つ又は複数のパケットとしてパケット化され、送信されてもよい。ステップ173において、MPEGサーバー102のクロック116とMPEGクライアント104のクロック130との間の第2のオフセットが決定される。第2のオフセットは、例えば、おおよその時間及び周波数調整を決定するために短期の同期化トレーニング期間で時間領域相関を使用し、次に精密なタイミング及び周波数調整を決定するために周波数領域分析と共に時間領域相関を使用するなど、当業者に知られているさまざまな技法のいずれかを使用して決定されてもよい。OFDMパイロット信号及びOFDM配列からの時間領域相関及び位相情報は、送受信装置110及び120間のさらに精密な周波数オフセットを促すために使用されてもよい。従って、第2のオフセットは、クロック116及び130の間の相対同期化を表すことができる。
前述のように、第1のオフセットはクロック114及び116の間の相対同期化を表し、第2のオフセットはクロック116及び130の間の相対同期化を表すことができる。従って、ステップ174において、第1及び第2のオフセットは、以下で図5〜8を参照して詳細に説明されているように、MPEGサーバー102のクロック114と同期させるように、A/Vデコーダ124のタイミング基準(例えばクロック信号144)を調整するために使用することができる。さらに、以下で言及されているように、入力バッファ122の充満は、さらにクロック信号144を調整するために使用されてもよいエラーを検出するためにモニターして使用することができる。この例において、クロック同期化が適正に動作しているかどうかを検出するために潜在的バッファ・アンダーフロー及びオーバーフローへの傾向が使用され、クライアント・クロックはエラーを補正するために人為的に減速又は加速され、それによりアンダーフロー及びオーバーフローが避けられる。さらに、MPEGクライアント104はクラッシュ・ロック機構を実装することができ、これによりMPEGクライアントはMPEGサーバー102に最初に接続した後、絶対サーバー時間及び最初に受信したハートビート・メッセージ900(図11)のΔppm値を使用して、MPEGサーバー102の絶対時間にネットワークのバッファサイズに対応する追加のあらかじめ定められた時間(例えば0.5秒)を加えたものに等しくなるようにそのローカル絶対時間を設定することができる。さらにMPEGクライアントは、チャネル変更の後、又はMPEGクライアント104の絶対時間がMPEGサーバー102の絶対時間と大きく同期がずれている場合に、このクラッシュ・ロック技法を使用することができる。
ここで図4を参照すると、送信機同期化モジュール112の典型的な実施が本開示の少なくとも1つの実施形態に従って示されている。説明されている例において、同期化モジュール112は、スケーリングPLL202、カウンタ204、206、ラッチ208、及びクロック・オフセット計算モジュール210を備えている。スケーリングPLL202は、クロック信号138を入力として受信し、あらかじめ定められた倍率により拡大縮小されるクロック信号214を出力する。示されている例において、クロック信号138の周波数fは約40MHzであり、スケーリングPLL202の倍率は4であり、その結果約160MHzの周波数を有する拡大クロック信号214が生じる。クロック信号214はカウンタ204をインクリメントするために使用され、クロック信号136(約27MHzの周波数fを有する)はカウンタ206をインクリメントするために使用される。カウンタ204は、プログラマブル最大カウント・レジスタを有し、カウンタ204がこの最大カウントに到達すると、リップル桁上げ出力(RCO)がカウンタ204の出力に提供される。RCOはラッチ208に入力され、これによりラッチ208はカウンタ206の現在のカウントにラッチされ、さらにカウンタ204及び206はゼロにリセットされる。カウンタ206の現在のカウントは、クロック・オフセット計算モジュール210に提供され、その後クロック・オフセット値Δppmが計算される。
カウンタ206の現在のカウントは、(分解能を改良するために拡大された)クロック信号214のあらかじめ定められたクロック周期数の間、クロック信号136のクロック周期の数を表していることが理解されるであろう。クロック・オフセット計算210は、カウンタ206の現在のカウントから、以下の数式に従って、クロック・オフセット値Δppmを決定することができる。
C1=Bit_Count/Freq*(Freq+Freq*ppmmax_offset/1e6) {EQ.1}
C2=Bit_Count/Freq*(Freq−Freq*ppmmin_offset/1e6) {EQ.2}
Gain=ppmspread/(C1−C2) {EQ.3}
Δppm=(Freq−C2)*Gain−ppmspread/2 {EQ.4}
ここで、Bit_Countはレジスタ204、206、及び208内のビット数によって表される最大符号なし数値を表し(例えば30ビットレジスタの場合Bit_Count=230)、Freqはクロック信号136の周波数を表し(例えば27MHz)、Freqは拡大クロック信号214の周波数を表し(例えば160MHz)、ppmmax_offsetはクロック114、116、128及び130の最大ppmオフセットを表し、ppmmin_offsetはクロック114、116、128及び130の最小ppmオフセットを表し、ppmspreadはppmmax_offsetとppmmin_offsetとの間の広がりを表している。一例として、約80ppmの合計ppmspreadの場合、ppmmax_offsetは通常約40ppmであり、ppmmin_offsetは約−40ppmとなる。
ここで図5を参照すると、受信機同期化モジュール126の典型的な実施が本開示の少なくとも1つの実施形態に従って示されている。説明されている例において、同期化モジュール126は、PHYプロセッサ302、MACプロセッサ304、数値制御発振器(NCO)306、PLL308、トランスポート・モジュール310、及びバッファ・モニター312を備えている。
無線信号を受信すると、RF送受信装置120の直交周波数分割多重(OFDM)復調装置314は無線信号を復調し、その結果生じたA/VデータをMACプロセッサ304に提供し、これがA/Vデータを入力バッファ122に順にバッファリングする。以下で詳細に説明されているように、MACプロセッサ304(又は、代替としてPHYプロセッサ302)は、A/Vデータに埋め込まれているタイミング基準値(例えばPCR又はSCR)を相対値から絶対値に変換して戻すことができる。前述のように、データは、MACプロセッサ304がNCO306を制御するために使用するクロック・オフセット値Δppmの表現を含むこともできる。OFDM復調装置314はさらに、位相オフセット又は周波数オフセットをPHYプロセッサ302に提供し、ここで位相/周波数オフセットは、正しくデータを回復するために継続して実行するOFDM復調装置314(検出器、同期装置、及びPLLなど)のタイミング回路から決定される。通常、この位相/周波数オフセットは、多数のパケットにわたって平均化され、わずかなppmの範囲内で正確な周波数又は位相オフセットを取得する。PHYプロセッサ302は、この位相/周波数オフセットからクロック・オフセット値Δppmを決定し、NCO306を制御するためにクロック・オフセット値Δppmを提供する。1つの実施形態において、バッファ・モニター312は、バッファの充満が下限しきい値を下回るか又は上限しきい値を超えているかを判別するためにバッファ122の充満をモニターする。この比較に基づいて、バッファ・モニター312はエラーeをNCO306に提供する。
NCO306出力周波数は、クロック・オフセット値Δppm及びΔppmとエラーeに基づいて調整される。NCO306によって出力されて生じた信号316は「ダーティー」(すなわち、非周期クロック・サイクルを有する)になるので、PLL308によって平滑化されることを理解されたい。結果として生じたクロック信号318はトランスポート・モジュール310に提供され、それはバッファ122からのA/Vデータの削除のタイミングを調整するためにクロック信号318を使用する。クロック信号318は、トランスポート・モジュール310によって提供されるA/Vデータのデコード及び表示のタイミングをとる際に使用するためにA/Vデコーダ124にも提供される。
ここで図6を参照すると、NCO306の典型的な実施が本開示の少なくとも1つの実施形態に従って示されている。NCO306は、2つの合計モジュール402、404、オフセット・レジスタ406、ACCレジスタ408、及び除算器410を備えている。動作中、クロック・オフセット値Δppm及びΔppmとエラーeは、合計モジュール402によって合計され、オフセット・レジスタ406にロードされる。図示されていないが、エラーe、Δppm及びΔppmの入力がゼロで公称周波数が出力されるようになる場合、合計モジュール402が公称ppm値を出力するように、合計モジュール402は、例えば公称ppm入力などの追加の入力を備えることもできる。オフセット・レジスタ406の内容は、合計モジュール404によって継続的にACCレジスタ408に追加され、それにより、クロック信号144の拡大された表現を表すクロック信号412によって決められた速度で更新することになる。RCOの発生ごとに除算器410の状態は変化し、それにより、クロック信号412からの望ましいppmオフセットを有するクロック信号144が作成される。前述の技法を使用してクロック信号136に十分に同期化されているクロック信号144は次に、そのデコード・オペレーションの正確なタイミングをとるためにA/Vデコーダ124に供給されてもよい。
ここで図7及び図8を参照すると、前述の技法を要約する典型的な一般方法500及び600が示されている。方法500は、ステップ502において開始し、あらかじめ定められた時間にわたるクロック信号136のクロック・サイクル数が測定される。ステップ504において、同じ時間にわたるクロック信号138のクロック・サイクル数が測定される。ステップ506において、クロック・オフセット値Δppmは、図2に関して上記で説明されているように、ステップ502及び504で測定されたクロック・サイクルの比較から決定される。ステップ508において、クロック・オフセット値Δppmは、MPEGクライアント104の1つ又は複数のクロック・ソースの調整に使用するために無線リンク106を介してMPEGサーバー102からMPEGクライアント104に提供される。
方法600は、ステップ602において開始し、MPEGクライアント104はクロック・オフセット値Δppmを受信する。ステップ604において、クロック・オフセット値Δppmが決定される。一方、ステップ606において、バッファ122の充満は、潜在的バッファ・アンダーフロー又はオーバーフローを検出するために、1つ又は複数の下限及び上限しきい値と充満を比較することによりモニターされる。この比較に基づいて、エラー値eが生成される。ステップ608において、A/Vデコーダ124に提供されたクロック信号144は、さらに厳密にクロック信号144がクロック信号136と同期化するように、クロック・オフセット値Δppm、Δppm及びエラー値eに基づいて調整される。
ここで図9を参照すると、MPEGデータ・ストリームのタイミング基準値(例えばPCR又はSCR)を絶対値から相対値、及びその逆に変換する典型的な技法が本開示の少なくとも1つの実施形態に従って示されている。説明を簡略化するために、技法はMPEGトランスポート・ストリーム(TS)におけるPCRとの関連で説明される。ただし、本明細書において提供される指針を使用して、この技法は、本発明の趣旨又は範囲を逸脱することなく、MPEGプログラム・ストリーム(PS)のSCRを変換するために使用されてもよい。
説明されているように、複数のPCR値703〜706(本明細書においてそれぞれPCR〜PCRとも呼ばれる)を備えるMPEGトランスポート・ストリーム702は、A/Vエンコーダ108(図1)から送信機同期化モジュール112に提供される。同期化モジュールの112のコンポーネントはそれぞれ、絶対タイミング基準値から関連するPCR値713〜716(本明細書においてPCR’〜PCR’とも呼ばれる)にPCR値703〜706を変換する。少なくとも1つの実施形態において、PCR値703〜706は、本明細書においてMPEGサーバー102のリアルタイム・プロトコル(RTP)クロックと呼ばれるローカル・タイミング基準を減算することにより相対PCR値713〜716に変換されるが、これは1つの実施形態においてローカル・クロック114によってインクリメントされるカウンタを備えている。例えば、各PCR値703〜706は、以下の数式に従って変換されてもよい。
PCR'=PCR−RTPserver {EQ.5}
ここでRTPserverは、ローカル・クロック114によってインクリメントされたRTPカウンタの値を表す。
結果として生じたMPEG TSストリーム712は次に、パケット化され、MPEGサーバー102のRF送受信装置110とMPEGクライアント104のRF送受信装置120との間で送信される。MPEGクライアント104において、MPEGストリーム712はパケット解除され、受信機同期化モジュール126のコンポーネントは相対PCR値713〜716を絶対PCR値723〜726(本明細書においてPCR”〜PCR”とも呼ばれる)に変換して戻す。1つの実施形態において、同期化モジュール126は、MPEGクライアント104のクライアントRTPカウンタ値(クロック128によりインクリメント)を加えることによってPCR値を絶対値に変換して戻し、以下の数式に従ってPCR値を生成する。
PCR"=PCR'+ RTPClient {EQ.6}
ここでRTPClientは、ローカル・クロック128によるRTPの値を表す。
EQ.5がEQ.6に代入されると、以下の数式が結果として得られる。
PCR"=PCR−RTPServer+RTPClient {EQ.7}
従って、RTPServer及びRTPClientが同期化されている(つまりRTPServer〜=RTPClient)と仮定すると、EQ.7は以下のように単純化する。
PCR"〜−=PCR {EQ.8}
従って、EQ.8が示しているように、MPEGサーバー102における絶対PCR値から相対PCR値への変換及びそれに続く相対PCR値から絶対PCR値への変換は、(サーバー及びクライアントRTPカウンタが同期していると仮定して)元のPCR値を回復し、しかも結果として生じるMPEGトランスポート・ストリーム722のPCR値に対するMPEGサーバー102とMPEGクライアント104との間のジッター及び伝搬遅延の影響を軽減又は除去する。
ここで図10を参照すると、典型的なパケット再送信の方法800が本開示の少なくとも1つの実施形態に従って示されている。多くのパケット交換ネットワーク・プロトコルはパケット再送信技法を規定しており、受信側装置は、パケットが受信されなかったか又は破損した形で受信されたことを判別するとパケットの再送信を要求することができる。ただし、これらの従来型再送信技法は単に、厳密に同一のパケットが再送信されることを定めている。しかし、これにより、パケットがネットワーク・ハートビート・メッセージ900(図11)のような絶対タイミング基準値を含んでいる場合、受信時にタイミングの問題が生じることもある。というのは、同じ絶対タイミング基準値を有する後続のパケットの再送信が受信側装置に望ましくないタイムシフトを生じる可能性があるからである。
従って、1つの実施形態において、MPEGサーバー102は、当該タイミングの問題の発生及び大きさを軽減するように再送信されるパケットの絶対タイミング基準の値を調整するため、方法800を実行する。ステップ801において、パケットはMPEGサーバー102からMPEGクライアント104に送信される。ステップ802において、MACプロセッサ304(図5)は、パケットが受信されなかったか又は破損していたことを判別する。従って、MACプロセッサ304は、MPEGサーバー102にパケット再送信要求を提供する。MPEGサーバー102のMACプロセッサは、パケットが絶対タイミング基準値を含むかどうか判別する。絶対タイミング値を含む場合、絶対タイミング基準値はステップ804のローカル・クロックに基づいて調整され、パケットはステップ805において再送信される。絶対タイミング値を含まない場合、ステップ805において、パケットは変更されることなく再送信される。
本開示の他の実施形態、用途、及び利点は、本明細書に開示される開示の明細及び実施を考察することにより、当業者には明らかとなろう。明細及び図面は典型的なものに過ぎないと見なされるべきであり、従って開示の範囲は添付の請求の範囲及びその等価物によってしか限定されないことが意図されている。
本開示の少なくとも1つの実施形態による典型的なMPEG配信システムを示すブロック図である。 本開示の少なくとも1つの実施形態による図1のMPEG配信システムの典型的なオペレーションを示すフローチャートである。 本開示の少なくとも1つの実施形態による複数クロックを同期化する典型的な方法を示すフローチャートである。 本開示の少なくとも1つの実施形態による典型的な送信機同期化モジュールを示すブロック図である。 本開示の少なくとも1つの実施形態による典型的な受信機同期化モジュールを示すブロック図である。 本開示の少なくとも1つの実施形態による典型的な数値制御発振器を示すブロック図である。 本開示の少なくとも1つの実施形態による送信同期化モジュールの典型的なオペレーションを示すフローチャートである。 本開示の少なくとも1つの実施形態によるクロック同期化の典型的な方法を示すフローチャートである。 本開示の少なくとも1つの実施形態による再生を同期化してマルチメディア・データ・ストリームのタイムスタンプを調整する典型的な方法を示すフローチャートである。 本開示の少なくとも1つの実施形態によるパケットの再送信の典型的な方法を示すフローチャートである。 本開示の少なくとも1つの実施形態による典型的なハートビート・メッセージを示すブロック図である。
符号の説明
100 MPEG配信システム
102 MPEGサーバー
104 MPEGクライアント
106 無線リンク
108 オーディオ/ビデオ(A/V)エンコーダ
110、120 無線周波数(RF)送受信装置
112 送信機同期化モジュール
114、116、128、130 クロック・ソース
118、119 アンテナ
122 入力バッファ
124 A/Vデコーダ
126 受信機同期化モジュール
202 スケーリングPLL
204、206 カウンタ
208 ラッチ
210 クロック・オフセット計算モジュール
302 PHYプロセッサ
304 MACプロセッサ
306 数値制御発振器(NCO)
308 PLL
310 トランスポート・モジュール
312 バッファ・モニター
314 直交周波数分割多重(OFDM)復調装置
402、404 モジュール
406 オフセット・レジスタ
408 ACCレジスタ
410 除算器

Claims (13)

  1. 第1のマルチメディア処理装置のマルチメディア・デコーダを駆動させる第1のクロックを、第2のマルチメディア処理装置のマルチメディア・エンコーダを駆動させる第2のクロックに同期化するステップであって、前記第1のマルチメディア処理装置は、前記第1のマルチメディア処理装置ネットワーク・インターフェースを駆動する第4のクロックをも含み、並びに、前記第2のマルチメディア処理装置は、前記第2のマルチメディア処理装置のネットワーク・インターフェースを駆動する第3のクロックをも含み、
    前記同期化は、
    前記第1のマルチメディア処理装置において、前記第2のマルチメディア処理装置の前記第2のクロックと第3のクロックとの間の周波数オフセットを表す第1のオフセット値を受信し、
    前記第2のマルチメディア処理装置の前記第3のクロックと前記第1のマルチメディア処理装置の第4のクロックとの間の周波数オフセットを表す第2のオフセット値を決定し、
    前記第1のオフセット値及び前記第2のオフセット値に基づいて前記第1のクロックを調整することを含むステップと、
    前記第1のマルチメディア処理装置の前記ネットワーク・インターフェースにおいて、前記第2のマルチメディア処理装置のネットワーク・インターフェースからエンコードされたマルチメディア・データ・ストリームを受信するステップであって、前記エンコードされたマルチメディア・データ・ストリームは、前記第2のクロックに基づいて前記マルチメディア・エンコーダによってエンコードされ、かつ、前記第3のクロックによって駆動される前記ネットワーク・インターフェースを介して送られるステップと、
    前記第1のクロックに基づいて前記マルチメディア・デコーダにおいて前記エンコードされたマルチメディア・データ・ストリームをデコードするステップとを具備する、方法。
  2. 前記第1のオフセット値は、あらかじめ定められた期間にわたる前記第2のクロックのクロック・ティックと前記第3のクロックのクロック・ティックとの間の相異を表す、請求項1記載の方法。
  3. 前記第1のクロックは、前記第1のマルチメディア処理装置において前記エンコードされたマルチメディア・データ・ストリームを格納するために、入力バッファの充満から決定されるエラー値に基づいてさらに調整される、請求項1または請求項2記載の方法。
  4. 前記第2のマルチメディア処理装置において、前記第2のマルチメディア処理装置のマルチメディア・エンコーダを駆動するために使用される第2のクロックと、前記第2のマルチメディア処理装置の前記ネットワーク・インターフェースを駆動するために使用される第3のクロックとの間の第1のオフセットを決定するステップと、
    前記第1のオフセット値として前記第1のオフセットを表す値を、少なくとも1つのパケットにカプセル化するステップと、
    前記少なくとも1つのパケットを前記第2のマルチメディア処理装置のネットワーク・インターフェースを介して第1のマルチメディア処理装置に提供するステップとをさらに備えた、請求項1から請求項3のいずれか一項に記載の方法。
  5. 前記ネットワーク・インターフェースは無線送受信装置を備える、請求項1から請求項4のいずれか一項に記載の方法。
  6. 前記無線送受信装置はIEEE802.11に準拠する、請求項5記載の方法。
  7. 前記ネットワーク・インターフェースはPHYベースのインターフェースを含む、請求項1から請求項4のいずれか一項に記載の方法。
  8. 前記エンコードされたマルチメディア・データ・ストリームはMPEGストリームを備える、請求項1から請求項7のいずれか一項に記載の方法。
  9. 前記マルチメディア・エンコーダはMPEGエンコーダであり、前記マルチメディア・デコーダはMPEGでコーダである、請求項1から請求項8のいずれか一項に記載の方法。
  10. 第1のクロック信号を提供するための出力を有する第1のクロックと、
    前記第1のクロックの前記出力に操作可能に結合された第1の入力、マルチメディア・データを受信するための第2の入力、及び、エンコードされたマルチメディア・ストリームを提供するための出力を有するマルチメディア・エンコーダ、
    前記マルチメディア・エンコーダの前記出力に操作可能に結合された第1の入力及び出力を有する第1のネットワーク・インターフェース、
    第3のクロック信号を提供するために前記第1のネットワーク・インターフェースの第2の出力に操作可能に結合された出力を有する第3のクロック、および、
    前記第1のクロック信号を受け取るための第1の入力、前記第3のクロック信号を受け取るための第2の入力、および、前記第1のクロックと前記第3のクロックとの間の周波数オフセットを表す第1のオフセット値を提供するための出力を有する第1の同期化モジュール、を含み、
    前記ネットワーク・インターフェースは、送信のために前記第1のオフセット値のパケット化表現を提供するように操作可能である、第1のマルチメディア処理装置と、 前記第1のネットワーク・インターフェースの前記出力に操作可能に結合された第1の入力及び出力を有する第2のネットワーク・インターフェース、
    前記第2のネットワーク・インターフェースの第2の入力に操作可能に結合された出力を有する第4のクロック、
    前記第2のクロック信号を提供するための出力を有する第2のクロック、
    前記第2のクロックの前記出力に操作可能に結合された第1の入力、前記第2のネットワーク・インターフェースの前記出力に操作可能に結合された第2の入力、及び、デコードされたマルチメディア・ストリームを提供するための出力を有するマルチメディア・デコーダ、および、
    前記第2のクロックの出力に操作可能に結合された入力、前記第2のネットワーク・インターフェースの前記出力に操作可能に結合された入力、および、前記第2のクロックに操作可能に結合された出力を有する第2の同期化モジュール、を含む第2のマルチメディア処理装置とを備え、
    前記第1のマルチメディア処理装置は、前記第3のクロックおよび前記第4のクロックとの間の周波数オフセットを表わす第2のオフセット値を決定し、前記第1および前記第2のオフセット値に基づいて前記第2のクロックを前記第1のクロックに同期化するように操作可能である、システム。
  11. 前記第2のマルチメディア処理装置は、前記第2のネットワーク・インターフェースの前記出力に操作可能に結合された入力を有する入力バッファをさらに備え、前記第1のクロックの前記第2のクロックへの同期化は前記入力バッファの充満から決定されたエラー値にさらに基づく、請求項10記載のシステム。
  12. 前記第1及び前記第2のネットワーク・インターフェースは無線インターフェースを備える請求項10または請求項11に記載のシステム。
  13. 前記無線インターフェースはIEEE802.11に準拠する請求項12に記載のシステム。
JP2006011472A 2005-01-20 2006-01-19 無線環境におけるマルチメディア配信のためのシステム及び方法 Expired - Fee Related JP5101016B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/038,856 US7421048B2 (en) 2005-01-20 2005-01-20 System and method for multimedia delivery in a wireless environment
US11/038,856 2005-01-20

Publications (3)

Publication Number Publication Date
JP2006238424A JP2006238424A (ja) 2006-09-07
JP2006238424A5 JP2006238424A5 (ja) 2008-11-20
JP5101016B2 true JP5101016B2 (ja) 2012-12-19

Family

ID=36128332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006011472A Expired - Fee Related JP5101016B2 (ja) 2005-01-20 2006-01-19 無線環境におけるマルチメディア配信のためのシステム及び方法

Country Status (4)

Country Link
US (1) US7421048B2 (ja)
EP (1) EP1684519B1 (ja)
JP (1) JP5101016B2 (ja)
CN (1) CN1897490B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005078945A1 (en) * 2004-02-13 2005-08-25 Matsushita Electric Industrial Co., Ltd. Wireless communications system and wireless digital receiver for use therein
TWI267307B (en) * 2005-03-10 2006-11-21 Benq Corp Timing synchronization module and method for synchronously playing media signal
TWI294085B (en) * 2005-07-12 2008-03-01 Realtek Semiconductor Corp Method and apparatus for synchronizing multimedia data stream
US20070060135A1 (en) * 2005-08-22 2007-03-15 Jeng-Tay Lin Method and device for streaming wireless digital content
US20070070934A1 (en) * 2005-09-28 2007-03-29 Pieter Van Rooyen Method and system for a reconfigurable OFDM radio supporting diversity
US20070070179A1 (en) * 2005-09-28 2007-03-29 Pieter Van Rooyen Method and system for a reconfigurable OFDM radio
KR100770872B1 (ko) * 2006-02-17 2007-10-26 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 채널 전환 시간 단축을위한 데이터 수신장치 및 방법
US8130777B2 (en) * 2006-05-26 2012-03-06 Agere Systems Inc. Link layer device with clock processing hardware resources shared among multiple ingress and egress links
US20080025345A1 (en) * 2006-07-27 2008-01-31 Park Daniel J Methods and Systems for Buffer Management
US20080123732A1 (en) * 2006-11-27 2008-05-29 Rajesh Mamidwar Method and system for configuring decoding based on detecting transport stream input rate
TW200908598A (en) * 2007-05-04 2009-02-16 Amicus Wireless Technology Co Ltd OFDM-based device and method for performing synchronization
US20080298242A1 (en) * 2007-05-30 2008-12-04 Yi Fan Systems and methods for transmission and reception of data including processing and buffering features
US20080298232A1 (en) * 2007-05-30 2008-12-04 Silicon Storage Technology, Inc. Systems and methods for wireless transmission and reception of data including processing and buffering features
US7936794B2 (en) * 2007-08-07 2011-05-03 Avaya Inc. Clock management between two end points
JP5111019B2 (ja) * 2007-08-28 2012-12-26 京セラ株式会社 オフセット補正方法およびそれを利用した通信装置
US7680154B2 (en) * 2007-12-31 2010-03-16 Intel Corporation Methods and apparatus for synchronizing networked audio devices
US8194756B2 (en) * 2008-05-28 2012-06-05 Broadcom Corporation Using program clock references to assist in transport of video stream to wireless device
US8510589B2 (en) * 2008-08-29 2013-08-13 Intel Mobile Communications GmbH Apparatus and method using first and second clocks
CN101729180A (zh) * 2008-10-21 2010-06-09 华为技术有限公司 精准时钟同步方法及系统、精准时钟频率/时间同步装置
JP2010252060A (ja) * 2009-04-16 2010-11-04 Hitachi Ltd 送受信システムにおける送受信方法
US8806044B2 (en) * 2011-11-29 2014-08-12 Maxlinear, Inc. Method and system for cross-protocol time synchronization
BR112013019376B1 (pt) * 2011-01-26 2021-12-07 Huawei Technologies Co., Ltd Sistema de estação base e método de sincronização no tempo
EP2486953B1 (fr) * 2011-02-09 2016-06-01 Sorin CRM SAS Procédé de quantification de la désynchronisation entre les horloges de deux implants actifs de type HBC
DE102012204084A1 (de) * 2011-12-23 2013-06-27 Rohde & Schwarz Gmbh & Co. Kg Verfahren und System zur Optimierung einer Kurzzeitstabilität eines Taktes
EP2801162B1 (en) * 2012-01-04 2016-12-07 Marvell World Trade Ltd. Method and apparatus for communicating time information between time-aware devices
US9425948B2 (en) * 2012-01-26 2016-08-23 Qualcomm Incorporated Techniques for synchronizing a clock of a wired connection when transmitted over a wireless channel
CN102684653B (zh) * 2012-05-29 2015-07-01 中国电子科技集团公司第五十四研究所 一种数字同步脉冲无线低抖动传输方法
CN102821457B (zh) * 2012-08-02 2015-03-04 北京中科晶上科技有限公司 基于软件无线电的时钟同步方法和软件无线电系统
JP5641090B2 (ja) * 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9706508B2 (en) * 2013-04-05 2017-07-11 Honeywell International Inc. Integrated avionics systems and methods
FR3032585B1 (fr) * 2015-02-10 2018-07-06 Devialet Procede de synchronisation et de restitution de flux multimedia
US10341083B2 (en) * 2016-09-09 2019-07-02 Huawei Technologies Co., Ltd. System and methods for network synchronization
JP2020010206A (ja) * 2018-07-10 2020-01-16 セイコーエプソン株式会社 回路装置、発振器、クロック信号生成装置、電子機器及び移動体
US11372441B2 (en) * 2018-07-26 2022-06-28 Integrated Device Technology, Inc. Zero offset clock distribution

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US622886A (en) * 1899-04-11 Grinding-wheel
US654961A (en) * 1900-05-14 1900-07-31 Paschal P Emory Stuff-chest for paper-mills.
US4866395A (en) 1988-11-14 1989-09-12 Gte Government Systems Corporation Universal carrier recovery and data detection for digital communication systems
US5115812A (en) 1988-11-30 1992-05-26 Hitachi, Ltd. Magnetic resonance imaging method for moving object
GB2231227B (en) 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
JPH03114333A (ja) * 1989-09-28 1991-05-15 Toshiba Corp パケット伝送におけるクロック同期方式とパケット送信装置およびパケット受信装置
US5093847A (en) 1990-12-21 1992-03-03 Silicon Systems, Inc. Adaptive phase lock loop
US5696531A (en) 1991-02-05 1997-12-09 Minolta Camera Kabushiki Kaisha Image display apparatus capable of combining image displayed with high resolution and image displayed with low resolution
FR2680619B1 (fr) 1991-08-21 1993-12-24 Sgs Thomson Microelectronics Sa Predicteur d'image.
US5253056A (en) 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3332443B2 (ja) 1993-01-18 2002-10-07 キヤノン株式会社 情報処理装置および情報処理方法
JP3486427B2 (ja) 1993-01-18 2004-01-13 キヤノン株式会社 制御装置および制御方法
ATE204691T1 (de) 1993-03-24 2001-09-15 Sony Corp Verfahren und vorrichtung zur kodierung/dekodierung von bewegungsvektoren, und verfahren und vorrichtung zur kodierung/dekodierung von bildsignalen
KR970009302B1 (en) 1993-08-17 1997-06-10 Lg Electronics Inc Block effect reducing apparatus for hdtv
US5764698A (en) 1993-12-30 1998-06-09 International Business Machines Corporation Method and apparatus for efficient compression of high quality digital audio
JPH07210670A (ja) 1994-01-21 1995-08-11 Fuji Xerox Co Ltd 画像処理装置
US5732391A (en) 1994-03-09 1998-03-24 Motorola, Inc. Method and apparatus of reducing processing steps in an audio compression system using psychoacoustic parameters
US5940130A (en) 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
DE4416967A1 (de) 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
DE69535228T2 (de) 1994-06-08 2007-09-13 Matsushita Electric Industrial Co., Ltd., Kadoma Bildumsetzungsvorrichtung
US5602589A (en) 1994-08-19 1997-02-11 Xerox Corporation Video image compression using weighted wavelet hierarchical vector quantization
US5644361A (en) 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
US5652749A (en) 1995-02-03 1997-07-29 International Business Machines Corporation Apparatus and method for segmentation and time synchronization of the transmission of a multiple program multimedia data stream
JPH08275160A (ja) 1995-03-27 1996-10-18 Internatl Business Mach Corp <Ibm> 離散余弦変換方法
US5559889A (en) 1995-03-31 1996-09-24 International Business Machines Corporation System and methods for data encryption using public key cryptography
EP0739138A3 (en) 1995-04-19 1997-11-05 AT&T IPM Corp. Method and apparatus for matching compressed video signals to a communications channel
GB9608271D0 (en) 1996-04-22 1996-06-26 Electrocraft Lab Video compession
JP3423835B2 (ja) 1996-05-01 2003-07-07 沖電気工業株式会社 スクランブル付き圧縮符号化装置及びその伸長再生装置
US6141693A (en) 1996-06-03 2000-10-31 Webtv Networks, Inc. Method and apparatus for extracting digital data from a video stream and using the digital data to configure the video stream for display on a television set
US6222886B1 (en) 1996-06-24 2001-04-24 Kabushiki Kaisha Toshiba Compression based reduced memory video decoder
US6215821B1 (en) 1996-08-07 2001-04-10 Lucent Technologies, Inc. Communication system using an intersource coding technique
US5850443A (en) 1996-08-15 1998-12-15 Entrust Technologies, Ltd. Key management system for mixed-trust environments
FR2752655B1 (fr) 1996-08-20 1998-09-18 France Telecom Procede et equipement pour affecter a un programme de television deja en acces conditionnel un acces conditionnel complementaire
US6366614B1 (en) 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression
SE515535C2 (sv) 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
US6072810A (en) * 1996-11-08 2000-06-06 Alcatel Method to transparently transport an incoming clock signal over a network segment, and related transmitter and receiver unit
ES2158264T3 (es) * 1996-11-08 2001-09-01 Cit Alcatel Metodo de transporte transparente de una señal de reloj entrante por un segmento de red, y unidad transmisora y receptora seleccionada.
US6480541B1 (en) 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6005624A (en) 1996-12-20 1999-12-21 Lsi Logic Corporation System and method for performing motion compensation using a skewed tile storage format for improved efficiency
JP3328532B2 (ja) 1997-01-22 2002-09-24 シャープ株式会社 デジタルデータの符号化方法
JPH10275080A (ja) 1997-01-24 1998-10-13 Texas Instr Inc <Ti> マイクロプロセッサ
JP3393143B2 (ja) 1997-02-26 2003-04-07 三菱電機株式会社 ビデオデータ配信方法、ビデオデータ配信システム、並びに、そのビデオデータ配信方法
US6014694A (en) 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6144402A (en) 1997-07-08 2000-11-07 Microtune, Inc. Internet transaction acceleration
WO1999005870A2 (en) 1997-07-22 1999-02-04 Koninklijke Philips Electronics N.V. Method of switching between video sequences and corresponding device
DE69803639T2 (de) 1997-08-07 2002-08-08 Matsushita Electric Industrial Co., Ltd. Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors
US6310919B1 (en) 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6385248B1 (en) 1998-05-12 2002-05-07 Hitachi America Ltd. Methods and apparatus for processing luminance and chrominance image data
DE69924922T2 (de) 1998-06-15 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Audiokodierungsmethode und Audiokodierungsvorrichtung
US6584509B2 (en) 1998-06-23 2003-06-24 Intel Corporation Recognizing audio and video streams over PPP links in the absence of an announcement protocol
BR9815964A (pt) 1998-07-27 2001-06-05 Webtv Networks Inc Processo de acesso a computador remoto, sistema servidor de computação remota, processo de transmissão de vìdeo, gerador de monitor de multi-cabeças, processos para gerar um fluxo de vìdeo compactado, de estimativa de movimento para compactação de fluxo de imagem, para mudar a detecção para compactação de fluxo de imagem, para gerar um catálogo, e de navegação na internet, programa de software para projeto de página www, software modificado por compactação para realizar pelo menos uma função e para gerar pelo menos um vìdeo, processos de controle de vìdeo, de processamento de imagem, de compactação de vìdeo, de compactação de fluxo de vìdeo assìncrona, para armazenar a taxa de enquadramento, para personalizar publicidade, de publicidade, de acúmulo de débito, de tv interativa, para alocação de largura de faixa para um fluxo de vìdeo compactado, para alocação de largura de faixa para transmitir vìdeo em um rede de cabo, para gerar uma pluralidade de vìdeos, para transmitir uma pluralidade de canais de vìdeo compactados similares, de multiplexação estatìstica de bits, para gerar uma pluralidade de fluxos de imagem não-relacionados, para gerar uma pluralidade de fluxos de áudio não-relacionados, e para produzir diferentes representações de vìdeo em uma pluralidade de locais remotos
US6167084A (en) 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US6219358B1 (en) 1998-09-11 2001-04-17 Scientific-Atlanta, Inc. Adaptive rate control for insertion of data into arbitrary bit rate data streams
US6259741B1 (en) 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6625211B1 (en) 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
EP1089482A4 (en) 1999-04-16 2005-11-02 Sony Corp METHOD AND DEVICE FOR MESSAGE TRANSMISSION AND RECORDING MEDIUM
JP4158075B2 (ja) * 1999-04-16 2008-10-01 ソニー株式会社 通信装置、通信方法、および記録媒体
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
DE19946267C2 (de) 1999-09-27 2002-09-26 Harman Becker Automotive Sys Digitales Transcodiersystem
FR2800222B1 (fr) 1999-10-26 2001-11-23 Mitsubishi Electric Inf Tech Procede de mise en conformite a un contrat de trafic d'un flux de paquets d'un reseau de transport de paquets a longueur variable
US6714202B2 (en) 1999-12-02 2004-03-30 Canon Kabushiki Kaisha Method for encoding animation in an image file
US6300973B1 (en) 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6438168B2 (en) 2000-06-27 2002-08-20 Bamboo Media Casting, Inc. Bandwidth scaling of a compressed video stream
AU2001271682A1 (en) 2000-07-20 2002-02-05 Thomson Licensing S.A. Multi-media jitter removal in an asynchronous digital home network
FR2813742A1 (fr) 2000-09-05 2002-03-08 Koninkl Philips Electronics Nv Methode de conversion de flux binaires
US6748020B1 (en) 2000-10-25 2004-06-08 General Instrument Corporation Transcoder-multiplexer (transmux) software architecture
US6608792B2 (en) 2000-11-09 2003-08-19 Texas Instruments Incorporated Method and apparatus for storing data in an integrated circuit
JP4517495B2 (ja) 2000-11-10 2010-08-04 ソニー株式会社 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法
KR100433516B1 (ko) 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US6549561B2 (en) 2001-02-21 2003-04-15 Magis Networks, Inc. OFDM pilot tone tracking for wireless LAN
US8107524B2 (en) 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US6993647B2 (en) 2001-08-10 2006-01-31 Hewlett-Packard Development Company, L.P. Method and apparatus for booting an electronic device using a plurality of agent records and agent codes
US7403564B2 (en) 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
US6865398B2 (en) * 2002-02-04 2005-03-08 Sprint Spectrum L.P. Method and system for selectively reducing call-setup latency through management of paging frequency and buffering of user speech in a wireless mobile station
GB2385684A (en) 2002-02-22 2003-08-27 Sony Uk Ltd Frequency synchronisation of clocks
GB0205350D0 (en) 2002-03-07 2002-04-24 Zarlink Semiconductor Inc Clock synchronisation over a packet network using SRTS without a common network clock
JP2004180255A (ja) * 2002-09-30 2004-06-24 Denon Ltd ネットワークシステム
US7203858B2 (en) * 2003-12-19 2007-04-10 Intel Corporation Program clock synchronization in multimedia networks
US8099094B2 (en) * 2004-07-12 2012-01-17 Interdigital Technology Corporation Neighbor scanning in wireless local area networks
US7483943B2 (en) * 2004-09-21 2009-01-27 Microsoft Corporation Reliable messaging using clocks with synchronized rates

Also Published As

Publication number Publication date
CN1897490B (zh) 2014-06-25
EP1684519A2 (en) 2006-07-26
EP1684519B1 (en) 2013-01-09
US20060161675A1 (en) 2006-07-20
EP1684519A3 (en) 2006-09-06
JP2006238424A (ja) 2006-09-07
CN1897490A (zh) 2007-01-17
US7421048B2 (en) 2008-09-02

Similar Documents

Publication Publication Date Title
JP5101016B2 (ja) 無線環境におけるマルチメディア配信のためのシステム及び方法
US6636270B2 (en) Clock slaving methods and arrangements
US6493832B1 (en) Communication apparatus which handles a time stamp
US7664145B2 (en) Jitter correcting apparatus capable of ensuring synchronism between transmitter apparatus and receiver apparatus
US7680153B2 (en) Method and device for stream synchronization of real-time multimedia transport over packet network
US7778372B2 (en) Data delivery system and method, and receiver and transmitter
US7983345B2 (en) Content receiving apparatus, video/audio output timing control method, and content provision system
US20030066094A1 (en) Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
CA2643607C (en) Method for dealing with missing or untimely synchronization signals in digital communications systems
US20110043694A1 (en) Transmitting apparatus, receiving apparatus and contents reproducing system
US7778173B2 (en) Clock recovery algorithm for remultiplexing MPEG-2 SPTSs and/or MPTSs in the presence of network jitter
JP2001045092A (ja) 通信装置および方法、通信システム、並びに記録媒体
JP2017005611A (ja) 動画像復号装置及び動画像復号方法
US6970526B2 (en) Controlling the system time clock of an MPEG decoder
JP2003249922A (ja) データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
KR100619034B1 (ko) 디지털 멀티미디어 데이터 수신기에서 송수신 데이터 동기방법 및 장치
JP2009033326A (ja) パケット伝送装置及び方法
JP3906712B2 (ja) データストリーム処理装置
US7012982B1 (en) Method and system for de-jittering of transmitted MPEG-2 and MPEG-4 video
JP4742836B2 (ja) 受信装置
US7424080B1 (en) Method and system for providing jitter-free transmissions for demodulated data stream
JP2000332831A (ja) 通信装置、通信方法、および記録媒体
EP2337392B1 (en) Time sequence number jumping detecting and processing method and device
JP4425115B2 (ja) クロック同期装置およびプログラム
JP2004129009A (ja) ストリーム送信装置および受信装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees