JPH0767087A - 多重化信号のシリアル伝送方法、多重化信号のシリアル送信装置、受信装置及び送受信装置 - Google Patents

多重化信号のシリアル伝送方法、多重化信号のシリアル送信装置、受信装置及び送受信装置

Info

Publication number
JPH0767087A
JPH0767087A JP5231019A JP23101993A JPH0767087A JP H0767087 A JPH0767087 A JP H0767087A JP 5231019 A JP5231019 A JP 5231019A JP 23101993 A JP23101993 A JP 23101993A JP H0767087 A JPH0767087 A JP H0767087A
Authority
JP
Japan
Prior art keywords
signal
clock
sampling
multiplexed
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5231019A
Other languages
English (en)
Other versions
JP3546889B2 (ja
Inventor
Mamoru Ueda
衛 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=16916986&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH0767087(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP23101993A priority Critical patent/JP3546889B2/ja
Priority to US08/291,194 priority patent/US5523795A/en
Priority to KR1019940020743A priority patent/KR100322979B1/ko
Priority to EP94113152A priority patent/EP0641131B1/en
Priority to DE69417823T priority patent/DE69417823T2/de
Publication of JPH0767087A publication Critical patent/JPH0767087A/ja
Application granted granted Critical
Publication of JP3546889B2 publication Critical patent/JP3546889B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J2203/00—Aspects of optical multiplex systems other than those covered by H04J14/05 and H04J14/07
    • H04J2203/0001—Provisions for broadband connections in integrated services digital network using frames of the Optical Transport Network [OTN] or using synchronous transfer mode [STM], e.g. SONET, SDH
    • H04J2203/0073—Services, e.g. multimedia, GOS, QOS
    • H04J2203/008—Support of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J2203/00—Aspects of optical multiplex systems other than those covered by H04J14/05 and H04J14/07
    • H04J2203/0001—Provisions for broadband connections in integrated services digital network using frames of the Optical Transport Network [OTN] or using synchronous transfer mode [STM], e.g. SONET, SDH
    • H04J2203/0073—Services, e.g. multimedia, GOS, QOS
    • H04J2203/0087—Support of voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Systems (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

(57)【要約】 【目的】 連続信号のデジタル信号を他のデジタル信号
に多重化して、シリアルデータとして伝送する場合に、
連続信号のデジタル信号と他のデジタル信号とが同期し
ていなくても、連続信号を正しく受信側で復元できる。 【構成】 送信側で、他のデジタル信号のワードクロッ
クに基づくアドレスを、連続信号の標本化のクロックで
サンプリングし、そのサンプリングしたアドレス値を多
重化信号に含めて受信側に送信する。受信側では、受信
したシリアルデータから送信側の他のデジタル信号のワ
ードクロックに同期したワードクロックを再生すると共
に、この再生したワードクロックに基づいてアドレス情
報を生成し、このアドレス情報と、多重化信号に含めら
れて伝送されたアドレス値とから、連続信号の受信側の
クロックを再生し、このクロックにより、連続信号を復
元する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、例えば、デジタルビ
デオ信号にデジタルオーディオ信号を時分割多重し、そ
の多重化信号をシリアルデータとして送信、また受信す
る方法及び装置に関し、特に多重化するオーディオ信号
をビデオ信号とは同期していない状態でも送受信するこ
とができるようにする方法及び装置に関する。
【０００２】
【従来の技術】デジタルビデオ信号の伝送方式として、
シリアルデジタルインターフェースを用いるものが知ら
れている。このシリアルデジタルインターフェースで
は、デジタルビデオ信号を１ビットのシリアルデータと
して伝送する。この場合に、シリアルデジタルインター
フェースでは、水平及び垂直同期信号は伝送しないこと
から、ビデオ信号のブランキング期間は空期間となるこ
とを利用して、このブランキング期間にデジタルオーデ
ィオ信号を時間軸圧縮して多重化することによって、デ
ジタルオーディオ信号も一緒に伝送することが提案され
ている。
【０００３】上記のシリアルデジタルインターフェース
によれば、デジタルビデオ信号とデジタルオーディオ信
号とを一本の同軸ケーブルで、信号劣化なく、伝送する
ことができるようになり、デジタルビデオ機器間の信号
接続が大幅に簡便化できるというメリットがある。
【０００４】ところで、デジタルビデオ信号とデジタル
オーディオ信号のサンプリング（標本化）クロック周波
数は、一般に異なっており、例えばＮＴＳＣビデオ信号
の場合には、サンプルレートは１３．５ＭＨｚ、オーデ
ィオ信号は４８ｋＨｚなどのような値となっている。そ
して、伝送クロックレートは、一般にはデジタルビデオ
信号の伝送レートに合わせられることになる。上記の例
でいえば、１サンプルが１０ビットで標本化されるとす
ると、１３５Ｍｂｐｓの伝送レートとなっている。オー
ディオデータは時間軸圧縮されて、この伝送レートのデ
ータとして多重化される。
【０００５】この場合に、一般には、デジタルオーディ
オデータを復元するためにサンプリングクロックが送信
側と受信側で一致している必要がある。しかし、一般に
水晶発振器を用いたとしても、周波数誤差が生じること
は免れず、通常は送信側でビデオ信号にオーディオデー
タのサンプリングクロックを同期させ、受信側では受信
されたビデオ信号中の、例えば垂直同期信号を用いて、
送信側と同様にオーディオ信号のクロック周波数を、そ
の再生同期信号に対してロックさせることにより、送信
側と受信側のクロックの同期をとるようにしている。こ
れによりオーディオデータは、良好に再生されることに
なる。
【０００６】
【発明が解決しようとする課題】以上のように、シリア
ルインターフェースを使って、デジタルビデオ信号にデ
ジタルオーディオ信号を時分割多重して伝送する時に
は、 送信オーディオクロックが送信ビデオ信号に同期し
ていること 送信ビデオ信号と受信ビデオ信号が同期しているこ
と 受信オーディオクロックが受信ビデオ信号に同期し
ていること という３つの関係が必要であり、このことから、 送信オーディオクロックと受信オーディオクロック
が同期していること を暗黙の前提条件としている。
【０００７】前述したように、以上の〜の条件を満
足しない場合には、受信側において、送信オーディオク
ロックと受信オーディオクロックとの周波数誤差によ
り、データの過不足を生じることになり、正常な元のデ
ジタルオーディオ信号が復元されなくなってしまうもの
である。
【０００８】このため、従来のデジタルインターフェー
スによる伝送方式においては、ビデオ信号に同期してい
ないオーディオ信号は、伝送することができなかった。
【０００９】しかしながら、実際の運用上は、必ずしも
常にデジタルビデオ信号とデジタルオーディオ信号の同
期関係が保持されているとは限らない。例えば、放送局
においては、自局の信号にあっては、自局の同期信号に
ビデオ信号及びオーディオ信号はロックしている。しか
し、他局の信号と自局の同期信号は、同期しているとは
限らず、その他局のテレビジョン信号を使用する場合に
は、上記の問題が生じる。
【００１０】この場合に、ビデオ信号に関しては、同期
信号によりロックをかけることによって同期をとるよう
にすることは可能であるが、それでもオーディオ信号の
クロックが追従してロックしているとは限らない。
【００１１】また、放送内容によっては、ＶＴＲを用い
た番組において、正常な再生時間よりも短縮した時間、
あるいは延長した時間で放送を終了させるように調整す
る、いわゆるプログラムプレイモードが使用されること
がある。この場合において、例えば、５％時間が短縮さ
れるような場合には、オーディオクロックの周波数も５
％高い方向にシフトしてしまい、もはやロックしない状
態となってしまうものである。
【００１２】この発明は、上記のように送信オーディオ
クロックが送信ビデオ信号と同期していないような状態
の場合でも、受信側で何ら補正処理を施すことなく、デ
ジタルオーディオ信号を正常に復元することができる多
重化信号のシリアル伝送方法及びそのための装置を提供
することを目的とするものである。
【００１３】
【課題を解決するための手段】上記課題を解決するた
め、この発明による多重化信号のシリアル伝送方法は、
連続信号を標本化した信号を、他の標本化信号に多重化
し、シリアルデータとして伝送する方法であって、送信
側で、上記他の標本化信号のワードクロックに基づくア
ドレスを、上記連続信号の標本化のクロックでサンプリ
ングし、そのサンプリングしたアドレス値を上記多重化
信号に含めて受信側に送信し、受信側では、受信したシ
リアルデータから上記送信側の上記他の標本化信号のワ
ードクロックに同期したワードクロックを再生すると共
に、この再生したワードクロックに基づいてアドレス情
報を生成し、このアドレス情報と、上記多重化信号に含
められて伝送されたアドレス値とから、上記連続信号の
受信側のクロックを再生し、上記連続信号を再生するよ
うにしたことを特徴とする。
【００１４】
【作用】上記の構成のこの発明においては、他の標本化
信号に関しては、そのワードクロックは、送信側と受信
側とで同期して再生される。他の標本化信号のアドレス
は、そのワードクロックに基づいて生成されている。
【００１５】多重化する連続信号のクロックの情報は、
当該オーディオクロックで、他の標本化信号のアドレス
をサンプリングして、そのサンプリングしたアドレス値
を、多重信号に含ませて伝送する。このため、受信側で
再生されたアドレス情報と、この伝送されたアドレス値
の情報とから、オーディオクロックによるアドレスのサ
ンプリング時点、すなわち、オーディオクロックが再生
される。
【００１６】したがって、多重化される連続信号が、他
の標本化信号と同期してしなくても、上記連続信号のク
ロックは、受信側で正しく再生でき、連続信号が正しく
復元できる。
【００１７】
【実施例】以下この発明による方法及び装置の一実施例
を、デジタルハイビジョンビデオ信号に、デジタルオー
ディオ信号を多重化して、その多重化信号をシリアルデ
ータとして伝送するシリアルデジタルインターフェース
の場合を例にとって説明する。
【００１８】図１は、この例の場合の送受信側の構成の
一例のブロック図である。図１において、１１２５／６
０（１フレーム＝６０Ｈｚ当たり１１２５ライン）方式
のハイビジョンビデオ信号は、輝度信号Ｙが７４．２５
ＭＨｚの、色信号Ｐｂ、Ｐｒが３７．１２５ＭＨｚの、
サンプリングクロックによって、それぞれ１０ビットの
デジタルビデオ信号に変換されている。
【００１９】この場合、図２Ｂにも示すように、図２Ａ
のハイビジョンビデオ信号の水平同期信号を基準とし
て、デジタルビデオ信号のワードアドレスＡＤＲＳが生
成されている。すなわち、このデジタルビデオデータの
アドレスＡＤＲＳは、１水平区間を繰り返し周期として
定められており、例えば、図２Ｂに示すように、水平同
期信号の頭のアドレスは、０番地であり、有効ビデオデ
ータの最後のアドレスは、４３９９番地となるものであ
る。
【００２０】輝度信号Ｙ、色差信号Ｐｂ、Ｐｒの各ワー
ドからなるデジタルビデオ信号は、ビデオ多重化回路１
１に供給され、図２Ｂに示すビデオ有効データの期間に
Ｐｂ、Ｙ、Ｐｒ、Ｙ…の順に多重化されてデジタルビデ
オデータが作成される。図示しなかったが、このとき、
ワードアドレスＡＤＲＳに基づいて輝度信号及び色差信
号の振り分けが行われる。
【００２１】図２Ｂから明らかなように、この場合、同
期信号は伝送データとはせず、輝度信号Ｙは、ブランキ
ングの期間を除いたデータである。すなわち、伝送ビデ
オデータは、輝度信号Ｙが、１水平区間当たり１９２０
ワード（１ワードは１０ビット）、色差信号Ｐｒ、Ｐｂ
は１水平区間当たりそれぞれ９６０ワードの、合計３８
４０ワードの有効データとなる。
【００２２】一方、オーディオ信号は、例えば４８ｋＨ
ｚのオーディオクロックＣＫＡＵによって、１ワード２
４ビットのデジタルオーディオ信号ＡＵに変換されてい
る。このデジタルオーディオ信号ＡＵは、オーディオメ
モリ１２に、上記のオーディオクロックＣＫＡＵによっ
て書き込まれる。
【００２３】そして、図示しないが、ビデオ信号のワー
ドクロックにより、オーディオメモリ１２からハイビジ
ョン信号のブランキング期間においてオーディオデータ
ＡＵが読み出され、オーディオ多重化回路１３において
ビデオ多重化回路１１からのビデオデータに対してオー
ディオデータが時分割多重される。この時、書き込みク
ロックと読み出しクロックの周波数差からオーディオデ
ータは時分割圧縮されて読み出されることになる。
【００２４】そして、この例においては、オーディオク
ロック情報発生回路１６が設けられ、この回路１６にデ
ジタルビデオデータのアドレスＡＤＲＳが入力され、オ
ーディオクロックＣＫＡＵにより、サンプリングされ
る。
【００２５】この場合、オーディオ信号は、サンプリン
グクロック周波数が４８ｋＨｚであり、１水平区間は約
３０μｓｅｃであることから、１水平区間内にオーディ
オデータワードは１．５ワード含まれる計算となる。
【００２６】そして、オーディオクロック情報発生回路
１６では、オーディオデータＡＵのサンプリングクロッ
クＣＫＡＵにより、ビデオデータのアドレスＡＤＲＳが
ラッチされるものである。そして，ラッチされたオーデ
ィオワードのサンプリング時点のビデオデータのアドレ
スＡＤＲＳの値が、オーディオ多重化回路１３に供給さ
れて、図２Ｂの多重化データのブランキング期間内のデ
ータとして挿入されるものである。
【００２７】図３に、ブランキング期間内にアンシラリ
ーデータ（補助データ）として時分割多重されるデータ
のフォーマットを示す。
【００２８】図３において、“ＡＤＦ”はアンシラリー
データフラグであって、ブランキング期間内に挿入され
るデータの識別フラグであり、これによりアンシラリー
データがオーディオデータか、その他のデータかなどの
識別が可能である。次の１ワードの“ＤＩＤ”は、補助
データの種類を示す識別データである。次の１ワードの
“ＤＢＮ”は、データブロックナンバーである。このデ
ータブロックナンバーＤＢＮは、パケット内では、オー
ディオデータが連続している間は連続した番号となって
おり、これがジャンプしたときオーディオ信号の継ぎ目
であることがわかる。
【００２９】次の“ＤＣ”は、アンシラリーデータとし
て１パケットに何ワードのデータを挿入したかを示す情
報である。この情報ＤＣの後は、オーディオデータが挿
入される。そして、この例においては、このオーディオ
データの後に、前述したオーディオクロック情報、つま
り、各デジタルオーディオ信号のサンプルワードの時点
のビデオデータのアドレス情報が挿入される。最後の
“ＣＨＫ ＳＵＭ”は、情報ＤＣからオーディオクロッ
ク情報までのチェックサムであり、エラー検出訂正用で
ある。
【００３０】以上のようにして、ビデオ信号にオーディ
オ信号が多重化され、さらにオーディオデータのクロッ
ク情報としてビデオワードのアドレス情報が多重化され
た多重化データは、オーディオ多重化回路１３からＴＲ
Ｓ多重化回路１４に供給される。このＴＲＳ多重化回路
１４では、ブランキング期間内のアンシラリーデータの
前に同期タイミングなどを示すタイミングリファレンス
信号（ＴＲＳ信号）が多重化される。
【００３１】このＴＲＳ多重化回路１４の出力データは
１０ビットを１ワードとするパラレルデータである。こ
のパラレルデータのワードクロックは、ハイビジョンビ
デオデータのワードクロックである。
【００３２】このパラレルデータは、パラレル／シリア
ル変換回路１５に供給されて、１４８．５ＭＨｚ、１０
ビットのパラレルデータから１．４８５ＧＨｚ、１ビッ
トのシリアルデータに変換され、同軸ケーブル３０など
に出力され、これを通じて送信側１０から受信側２０に
多重化データが伝送される。
【００３３】受信側２０では、データ判別回路２１及び
ＰＬＬ回路を含む同期再生回路２２において、受信信号
から１．４８５ＧＨｚのシリアルデータと、ビットクロ
ックを再生する。また、同期再生回路２２では、タイミ
ングリファレンス信号（ＴＲＳ信号）を検出して、ワー
ド同期を再生し、次のＴＲＳ検出及びシリアル／パラレ
ル変換回路２３で、１．４８５ＧＨｚ、１ビットのシリ
アルデータから１４８．５ＭＨｚ、１０ビット／１ワー
ドのパラレルデータＤＴに変換する。
【００３４】変換回路２３では、同期再生回路２２から
のワード同期クロックから、ビデオデータのアドレスデ
ータＡＤＲＳを復元する。そして、パラレルデータＤＴ
は、変換回路２３からビデオ復元回路２４に供給され、
アドレスデータＡＤＲＳに基づいて、輝度信号Ｙ及び色
差信号Ｐｂ、Ｐｒが復元される。
【００３５】また、パラレルデータＤＴはオーディオメ
モリ２５に供給され、ブランキング期間内のオーディオ
データがアドレスデータＡＤＲＳに基づいて書き込ま
れ、このメモリ２５に蓄えられる。一方、パラレルデー
タＤＴはまた、オーディオクロック再生回路２６に供給
され、オーディオクロックのタイミングのアドレスデー
タが復元される。
【００３６】また、このオーディオクロック再生回路２
６には、上記のようにして再生されたビデオデータのア
ドレスデータＡＤＲＳが供給されており、復元されたオ
ーディオクロックに関するアドレス情報と、再生された
アドレスデータＡＤＲＳとが比較され、両者の一致時点
でクロックパルスが得られる。そして、そのクロックパ
ルスが、例えばＰＬＬ回路に供給されて、安定した送信
側のクロックと等しいオーディオのクロックＣＫＡＵが
再生される。そして、このクロックＣＫＡＵがオーディ
オメモリ２５に供給されて、オーディオデータが読み出
されることにより、オーディオデータが過不足なく、受
信側において読み出され、正しく復元されるものであ
る。
【００３７】図４は送信側１０のオーディオクロック情
報発生回路１６の一例のブロック図である。
【００３８】すなわち、送信側のオーディオクロックＣ
ＫＡＵは、微分回路１６１に供給されて、サンプリング
時点、例えば立ち下がりの時点で、微分パルスが得られ
る。この微分パルスはアドレスラッチ回路１６２及び１
６３に供給される。
【００３９】一方、デジタルビデオデータのアドレス信
号ＡＤＲＳは、アドレスラッチ回路１６２に供給され
る。アドレスラッチ回路１６２及び１６３は、従属接続
されており、１クロックごとにアドレス値が後段のラッ
チ回路に転送されるようにされて、いわゆるシフトレジ
スタとして働く。
【００４０】アドレスラッチ回路１６２及び１６３に
は、以上の構成により、オーディオクロックＣＫＡＵの
タイミングのデジタルビデオデータのアドレスＡＤＲＳ
が順次ラッチされることになる。そして、これが、セレ
クタ１６４を介して、オーディオ多重化回路１３に供給
され、ブランキング期間内に、前述したように挿入され
て多重化されるものである。
【００４１】図５は送信側２０のオーディオクロック情
報再生回路２６の一例のブロック図である。
【００４２】すなわち、変換回路２３からのパラレルデ
ータＤＴは、オーディオクロック情報抽出回路２６１に
供給される。このオーディオクロック情報抽出回路２６
１には、ワードクロックＷＣＫが変換回路２３から供給
されることになる。これにより、ブランキング期間内に
挿入されているオーディオクロックに関するビデオデー
タのアドレス情報が抽出され、アドレスラッチ回路２６
２及び２６３に取り込まれる。
【００４３】そして、これらアドレスラッチ回路２６２
及び２６３に取り込まれた各オーディオクロックの時点
のビデオ信号のアドレス値は、一致検出回路２６４及び
２６５に供給される。この一致検出回路２６４及び２６
５には、受信側のデジタルビデオデータのアドレス信号
ＡＤＲＳがそれぞれ供給されている。そして、ラッチ回
路２６２、２６３からのアドレス情報と、入力アドレス
データＡＤＲＳとの一致があったとき、これら一致検出
回路２６４及び２６５から、一致検出パルスが発生す
る。これらのパルスは、オアゲート２６６を介してＰＬ
Ｌ回路２６７に供給され、オーディオクロックＣＫＡＵ
が再生される。
【００４４】ここで、ＰＬＬ回路２６３を設けるのは、
次のような理由による。すなわち、オーディオクロック
情報は、本来の送信側のオーディオクロックＣＫＡＵを
ビデオクロックで標本化したものに等しいものであるた
め、ビデオクロック周期（６．７３４ｎｓｅｃ）分のジ
ッターを含んでいる。このため、オアゲート２６６を通
じたクロックパルスでは、このジッター分を含んでいる
ため、ＰＬＬ２６７を用いてジッターのないクロックＣ
ＫＡＵを得るものである。
【００４５】以上のように、この実施例では、オーディ
オクロックをビデオクロックで標本化したことによって
発生するジッターを除去する目的で、受信側ではＰＬＬ
回路２６７でジッターを除去したオーディオクロックを
発生するようにしたが、その用途によっては、この程度
のジッターが許容される場合もあり、その場合には、オ
アゲート２６６の出力そのものを、オーディオクロック
として使用しても差し支えない。
【００４６】以上のようにして、この例においては、受
信側オーディオクロックは、送信データに多重化された
オーディオクロックに関するビデオデータのアドレス情
報を用いて受信側において発生させるようにしたので、
送信側でオーディオクロックがビデオ信号に同期してい
なくても、受信側のオーディオメモリでデータの過不足
が発生することはなく、何ら不都合なくオーディオ信号
を復元することができる。
【００４７】なお、以上の例において、オーディオ信号
は、１チャンネルに限らず、多重化するビデオブランキ
ング期間の範囲内で何チャンネル分でも伝送することが
可能である。
【００４８】また、以上の例では、オーディオクロック
周波数として４８ｋＨｚの場合を述べたが、それ以外の
周波数であっても、もちろん適用することができること
はいうまでもない。また、ビデオ信号としては、１１２
５／６０方式のハイビジョンビデオ信号を例にとって説
明したが、５２５／６０、６２５／５０、ＮＴＳＣ、Ｐ
ＡＬなど、他のテレビジョン方式のビデオ信号にも適用
可能であることは、もちろんである。
【００４９】さらには、多重化信号としてビデオ信号と
オーディオ信号の場合について説明したが、この発明
は、連続信号を他の信号に多重化する場合であれば、全
て応用することが可能である。
【００５０】また、以上の例は、連続信号がオーディオ
信号で、他の標本化信号がデジタルビデオ信号であっ
て、ビデオ信号のブランキング期間を利用して、オーデ
ィオ信号を多重化する場合であるため、多重化の際のワ
ードクロックは、ビデオデータのワードクロックに等し
いが、他の標本化信号が連続信号である場合には、これ
を時間軸圧縮して、連続信号を多重化する空き期間を設
けるようにする。
【００５１】この場合には、他の標本化信号のワードク
ロックと、多重化のためのワードクロックとは、異なる
周波数となるが、他の標本化信号のワードクロックが、
送信側と、受信側とで同期ロックされるものであれば、
他の標本化信号のワードクロックに基づくアドレス情報
を連続信号のクロックでサンプリングしたアドレス値を
多重化信号に含めて伝送することで、上述と同様にして
連続信号の受信側のクロックを再生することができる。
もちろん、この場合にも、多重化のためのワードクロッ
クに基づくアドレスを連続信号のクロックでサンプリン
グしたアドレス値を多重化信号に含めて伝送するように
してもよい。
【００５２】
【発明の効果】以上説明したように、この発明において
は、連続信号を他の信号に時分割多重して多重化情報を
形成し、それを伝送する場合において、受信側で、再生
が可能な上記他の信号のワードアドレスアドレス情報
を、多重化される連続信号のクロック信号でサンプリン
グし、そのサンプリングしたアドレス情報を多重化信号
中に挿入して伝送するようにしたので、連続信号と他の
信号とが送信側で同期がとれていない場合であっても、
連続信号のクロックを、そのアドレスデータから確実に
再生することができ、受信側で上記連続信号を正しく復
元することができるものである。
【図面の簡単な説明】
【図１】この発明による多重化信号の送受信回路のブロ
ック図の一実施例を示す図である。
【図２】この発明の要部を説明するためのタイミングチ
ャートである。
【図３】この発明において多重化される信号のフォーマ
ットの一例を示す図である。
【図４】図１の例の送信側の要部の一実施例のブロック
図である。
【図５】図１の例の受信側の要部の一実施例のブロック
図である。
【符号の説明】
１１ ビデオ多重化回路 １２ オーディオメモリ １３ オーディオ多重化回路 １５ パラレル／シリアル変換回路 １６ オーディオクロック情報発生回路 ２１ データ判別回路 ２２ 同期再生回路 ２３ ＴＲＳ検出、シリアル／パラレル変換回路 ２４ ビデオ復元回路 ２５ オーディオメモリ ２６ オーディオクロック情報再生回路

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 連続信号を標本化した信号を、他の標本
    化信号に多重化し、シリアルデータとして伝送する方法
    において、 送信側で、上記他の標本化信号のワードクロックに基づ
    くアドレスを、上記連続信号の標本化のクロックでサン
    プリングし、そのサンプリングしたアドレス値を上記多
    重化信号に含めて受信側に送信し、 受信側では、受信したシリアルデータから上記送信側の
    上記他の標本化信号のワードクロックに同期したワード
    クロックを再生すると共に、この再生したワードクロッ
    クに基づいてアドレス情報を生成し、このアドレス情報
    と、上記多重化信号に含められて伝送されたアドレス値
    とから、上記連続信号の受信側のクロックを再生し、上
    記連続信号を再生するようにしたことを特徴とする多重
    化信号のシリアル伝送方法。
  2. 【請求項２】 上記他の標本化信号のワードクロック
    が、多重化信号のワードクロックに等しい請求項１に記
    載の多重化信号のシリアル伝送方法。
  3. 【請求項３】 連続信号を標本化した信号を、他の標本
    化信号に多重化し、シリアルデータとして送信する装置
    において、 上記他の標本化信号のワードクロックに基づくアドレス
    を、上記連続信号の標本化クロックでサンプリングする
    回路と、 上記サンプリングにより求められたアドレス値の情報
    を、上記多重化信号中に挿入する回路と、 このアドレス値が挿入された多重化信号をシリアルデー
    タに変換して、送信データとするパラレル／シリアル変
    換回路とを備える多重化信号のシリアル送信装置。
  4. 【請求項４】 請求項３に記載の送信装置からのシリア
    ルデータを受信して、上記他の標本化信号、上記連続信
    号及び上記アドレス値の情報を分離する回路と、 上記他の標本化信号のワードクロックを再生する回路
    と、 この再生されたワードクロックに基づいてアドレス情報
    を生成する回路と、 上記生成されたアドレス情報と、上記受信信号中から取
    り出されたアドレス値の情報との一致比較を行うことに
    より、上記連続信号の受信側のクロックを再生する回路
    と、 上記再生したクロックに基づいて上記連続信号を再生す
    るようにしたことを特徴とする多重化信号のシリアル受
    信装置。
  5. 【請求項５】 連続信号を標本化した信号を、他の標本
    化信号に多重化する回路と、 上記他の標本化信号のワードクロックに基づくアドレス
    を、上記連続信号の標本化クロックでサンプリングする
    回路と、 上記サンプリングにより求められたアドレス値の情報
    を、上記多重化信号中に挿入する回路と、 このアドレス値が挿入された多重化信号をシリアルデー
    タに変換して、送信データとするパラレル／シリアル変
    換回路と、 上記シリアルデータを受信して、上記他の標本化信号、
    上記連続信号及び上記アドレス値の情報を分離する回路
    と、 上記他の標本化信号のワードクロックを再生する回路
    と、 この再生されたワードクロックに基づいてアドレス情報
    を生成する回路と、 上記生成されたアドレス情報と、上記受信信号中から取
    り出されたアドレス値の情報との一致比較を行うことに
    より、上記連続信号の受信側のクロックを再生する回路
    と、 上記再生したクロックに基づいて上記連続信号を再生す
    る回路とを備える多重化信号のシリアル送受信装置。
  6. 【請求項６】 上記連続信号は、オーディオ信号であ
    り、上記他の標本化信号はデジタルビデオ信号であり、 上記ビデオ信号のブランキング期間に上記オーディオ信
    号の標本化信号を多重化するようにしてなる請求項１に
    記載の多重化信号のシリアル伝送方法。
  7. 【請求項７】 上記連続信号は、オーディオ信号であ
    り、上記他の標本化信号はデジタルビデオ信号であり、 上記ビデオ信号のブランキング期間に上記オーディオ信
    号の標本化信号を多重化するようにしてなる請求項３に
    記載の多重化信号のシリアル送信装置。
  8. 【請求項８】 上記連続信号は、オーディオ信号であ
    り、上記他の標本化信号はデジタルビデオ信号であり、 上記ビデオ信号のブランキング期間に上記オーディオ信
    号の標本化信号が多重化されてなる請求項４に記載の多
    重化信号のシリアル受信装置。
  9. 【請求項９】 上記連続信号は、オーディオ信号であ
    り、上記他の標本化信号はデジタルビデオ信号であり、 上記ビデオ信号のブランキング期間に上記オーディオ信
    号の標本化信号を多重化するようにしてなる請求項５に
    記載の多重化信号のシリアル送受信装置。
JP23101993A 1993-08-24 1993-08-24 多重化伝送方法および装置 Expired - Lifetime JP3546889B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP23101993A JP3546889B2 (ja) 1993-08-24 1993-08-24 多重化伝送方法および装置
US08/291,194 US5523795A (en) 1993-08-24 1994-08-16 Method and apparatus for serial transmission and/or reception of nonsynchronous, multiplexed signals
KR1019940020743A KR100322979B1 (ko) 1993-08-24 1994-08-23 다중화신호의직렬전송방법,다중화신호의직렬송신장치,수신장치및송수신장치
EP94113152A EP0641131B1 (en) 1993-08-24 1994-08-23 Method and apparatus for serial transmission and/or reception of multiplexed signals
DE69417823T DE69417823T2 (de) 1993-08-24 1994-08-23 Verfahren und Vorrichtung zur seriellen Übertragung und/oder zum seriellen Empfang von multiplexierten Signalen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23101993A JP3546889B2 (ja) 1993-08-24 1993-08-24 多重化伝送方法および装置

Publications (2)

Publication Number Publication Date
JPH0767087A true JPH0767087A (ja) 1995-03-10
JP3546889B2 JP3546889B2 (ja) 2004-07-28

Family

ID=16916986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23101993A Expired - Lifetime JP3546889B2 (ja) 1993-08-24 1993-08-24 多重化伝送方法および装置

Country Status (5)

Country Link
US (1) US5523795A (ja)
EP (1) EP0641131B1 (ja)
JP (1) JP3546889B2 (ja)
KR (1) KR100322979B1 (ja)
DE (1) DE69417823T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998015121A1 (fr) * 1996-09-30 1998-04-09 Sony Corporation Dispositif d'emission, dispositif de reception, dispositif d'emission-reception, emetteur et procede d'emission
JP2008516535A (ja) * 2004-10-07 2008-05-15 トムソン ライセンシング オーディオ／ビデオ・ルータ
US8194652B2 (en) 2005-02-28 2012-06-05 Samsung Electronics Co., Ltd. Serializer for generating serial clock based on independent clock source and method for serial data transmission

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) * 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
JP3541896B2 (ja) * 1994-07-15 2004-07-14 ソニー株式会社 情報信号編集装置及び編集システム
JP3551523B2 (ja) * 1995-03-16 2004-08-11 ソニー株式会社 データ受信装置、データ送受信装置およびこれらを用いたデータ伝送システム、並びに、これらの方法
US6769128B1 (en) 1995-06-07 2004-07-27 United Video Properties, Inc. Electronic television program guide schedule system and method with data feed access
US5699124A (en) 1995-06-28 1997-12-16 General Instrument Corporation Of Delaware Bandwidth efficient communication of user data in digital television data stream
US5835498A (en) * 1995-10-05 1998-11-10 Silicon Image, Inc. System and method for sending multiple data signals over a serial link
JPH09212139A (ja) * 1996-02-02 1997-08-15 Sony Corp 画像表示システム
US6469753B1 (en) 1996-05-03 2002-10-22 Starsight Telecast, Inc. Information system
KR100308704B1 (ko) * 1996-07-04 2001-10-19 모리시타 요이찌 다중화 데이터 생성 장치, 부호화 데이터 재생 장치, 클럭 변환 장치, 다중화 데이터 생성 방법, 부호화 데이터 재생 방법 및 클럭 변환 방법
US8635649B2 (en) 1996-12-19 2014-01-21 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
WO1999004561A1 (en) 1997-07-21 1999-01-28 E-Guide, Inc. Systems and methods for displaying and recording control interfaces
US20020095676A1 (en) 1998-05-15 2002-07-18 Robert A. Knee Interactive television program guide system for determining user values for demographic categories
US6091742A (en) * 1998-08-17 2000-07-18 Gilant Satellite Networks Ltd. Bi-directional communications protocol
US6898762B2 (en) 1998-08-21 2005-05-24 United Video Properties, Inc. Client-server electronic program guide
JP3581601B2 (ja) 1998-12-18 2004-10-27 松下電器産業株式会社 データ転送装置、データ転送システムおよび記録媒体
JP2001274923A (ja) * 2000-03-28 2001-10-05 Nec Eng Ltd 携帯電話伝送システム
US7110457B1 (en) * 2000-05-09 2006-09-19 Leitch Technology International Inc. System and method for time division multiplexing of asynchronous video and data signals
US7161998B2 (en) * 2001-01-24 2007-01-09 Broadcom Corporation Digital phase locked loop for regenerating the clock of an embedded signal
JP3903721B2 (ja) * 2001-03-12 2007-04-11 ソニー株式会社 情報送信装置および方法、情報受信装置および方法、情報送受信システムおよび方法、記録媒体およびプログラム
US7123673B2 (en) * 2001-07-19 2006-10-17 Visteon Global Technologies, Inc. System and method for transmission of digital information of varying sample rates over a synchronous network
US7295578B1 (en) 2001-09-12 2007-11-13 Lyle James D Method and apparatus for synchronizing auxiliary data and video data transmitted over a TMDS-like link
US7558326B1 (en) * 2001-09-12 2009-07-07 Silicon Image, Inc. Method and apparatus for sending auxiliary data on a TMDS-like link
US7257163B2 (en) * 2001-09-12 2007-08-14 Silicon Image, Inc. Method and system for reducing inter-symbol interference effects in transmission over a serial link with mapping of each word in a cluster of received words to a single transmitted word
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
EP1486056B1 (en) * 2001-12-24 2018-08-29 Lattice Semiconductor Corporation System for video and auxiliary data transmission over a serial link
US7283566B2 (en) * 2002-06-14 2007-10-16 Silicon Image, Inc. Method and circuit for generating time stamp data from an embedded-clock audio data stream and a video clock
US7965837B2 (en) * 2003-04-30 2011-06-21 Sony Corporation Method and system for wireless digital video presentation
US7436504B2 (en) * 2003-09-10 2008-10-14 Shear Graphics, Llc Non-destructive testing and imaging
US7562379B2 (en) * 2003-12-22 2009-07-14 Sony Corporation Method and system for wireless digital multimedia presentation
US6897793B1 (en) 2004-04-29 2005-05-24 Silicon Image, Inc. Method and apparatus for run length limited TMDS-like encoding of data
KR100766496B1 (ko) * 2005-07-08 2007-10-15 삼성전자주식회사 에이치디엠아이 전송 시스템
US7774341B2 (en) 2006-03-06 2010-08-10 Veveo, Inc. Methods and systems for selecting and presenting content based on dynamically identifying microgenres associated with the content
US8316394B2 (en) 2006-03-24 2012-11-20 United Video Properties, Inc. Interactive media guidance application with intelligent navigation and display features
US8832742B2 (en) 2006-10-06 2014-09-09 United Video Properties, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
US7801888B2 (en) 2007-03-09 2010-09-21 Microsoft Corporation Media content search results ranked by popularity
JP4702402B2 (ja) * 2008-06-05 2011-06-15 ソニー株式会社 信号送信装置、信号送信方法、信号受信装置及び信号受信方法
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
WO2012094564A1 (en) 2011-01-06 2012-07-12 Veveo, Inc. Methods of and systems for content search based on environment sampling
KR102533425B1 (ko) * 2022-10-31 2023-05-30 한국에너지기술연구원 수소공급장치 및 수소공급방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3755624A (en) * 1968-06-26 1973-08-28 Communications Satellite Corp Pcm-tv system using a unique word for horizontal time synchronization
US3988528A (en) * 1972-09-04 1976-10-26 Nippon Hoso Kyokai Signal transmission system for transmitting a plurality of information signals through a plurality of transmission channels
JPS58100585A (ja) * 1981-12-10 1983-06-15 Nec Corp 映音同時伝送方式
US4544950A (en) * 1984-01-03 1985-10-01 At&T Bell Laboratories Technique for the transmission of video and audio signals over a digital transmission system
GB8414665D0 (en) * 1984-06-08 1984-07-11 Philips Electronic Associated Television transmission system
US5113242A (en) * 1987-07-24 1992-05-12 North American Philips Corporation Two-line MAC high definition television system
DE3732111A1 (de) * 1987-09-24 1989-04-06 Bosch Gmbh Robert Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
JP3060507B2 (ja) * 1990-09-11 2000-07-10 ソニー株式会社 ディジタル信号伝送装置
US5138440A (en) * 1990-10-29 1992-08-11 General Instrument Corporation Method and apparatus for communicating a plurality of asynchronous signals over a digital communication path
JPH04207883A (ja) * 1990-11-30 1992-07-29 Fujitsu Ltd クロック同期方式
US5287182A (en) * 1992-07-02 1994-02-15 At&T Bell Laboratories Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks
EP0598295B1 (en) * 1992-11-17 1998-10-14 Matsushita Electric Industrial Co., Ltd. Video and audio signal multiplexing apparatus and separating apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998015121A1 (fr) * 1996-09-30 1998-04-09 Sony Corporation Dispositif d'emission, dispositif de reception, dispositif d'emission-reception, emetteur et procede d'emission
US6553073B1 (en) 1996-09-30 2003-04-22 Sony Corporation Sending device, receiving device, sending-receiving device, transmitter, and transmitting method
JP2008516535A (ja) * 2004-10-07 2008-05-15 トムソン ライセンシング オーディオ／ビデオ・ルータ
US8194652B2 (en) 2005-02-28 2012-06-05 Samsung Electronics Co., Ltd. Serializer for generating serial clock based on independent clock source and method for serial data transmission

Also Published As

Publication number Publication date
EP0641131A3 (en) 1995-04-26
DE69417823T2 (de) 1999-08-12
DE69417823D1 (de) 1999-05-20
JP3546889B2 (ja) 2004-07-28
EP0641131B1 (en) 1999-04-14
US5523795A (en) 1996-06-04
EP0641131A2 (en) 1995-03-01
KR100322979B1 (ko) 2002-06-20
KR950007334A (ko) 1995-03-21

Similar Documents

Publication Publication Date Title
JPH0767087A (ja) 多重化信号のシリアル伝送方法、多重化信号のシリアル送信装置、受信装置及び送受信装置
US5781599A (en) Packet receiving device
EP1381235B1 (en) Data transmitting method, data receiving method, data transmitting device and data receiving device
JP4527135B2 (ja) オーディオ／ビデオ／データをシステム・バスを介して転送する方法
JP5370350B2 (ja) 信号受信装置
US20020174440A1 (en) Video display apparatus, audio mixing apparatus, video-audio output apparatus and video-audio synchronizing method
US5410360A (en) Timing control for injecting a burst and data into a video signal
EP0152309B1 (en) Television sound signal processing apparatus
JPH0964874A (ja) データ伝送方法およびデータ伝送システム
US6195393B1 (en) HDTV video frame synchronizer that provides clean digital video without variable delay
US5583574A (en) Video-data transmitter, video-data receiver, and video-data transceiver for connecting parallel video-data into serial video-data and vice versa
CA2224786C (en) Method and device for transmitting additional data in television channels
JPH07327032A (ja) 送信装置と受信装置
JP2002125207A (ja) 信号送信装置及び信号受信装置
EP0148918B1 (en) Extended definition television system
EP0704840B1 (en) Tape dubbing and copy guard signal inserting method and apparatus
JP2558730B2 (ja) 映像伝送方式
JPH09214909A (ja) デイジタル伝送装置及びデイジタルカメラシステム
JP2654609B2 (ja) 多重変換装置
JP2848608B2 (ja) 映像デジタル伝送方式
JPH09261195A (ja) 送信装置及び受信装置並びに送受信装置
JP2002209192A (ja) 映像音声伝送システム
JPH01130686A (ja) 時刻情報伝送方法とその受信装置
JP2003230115A (ja) データ送信装置、データ受信装置、データ送受信システム
JPH0614347A (ja) データ伝送回路

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080423

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120423

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 10

EXPY Cancellation because of completion of term