JP4357578B1 - 音声データ処理装置および音声データ処理方法 - Google Patents

音声データ処理装置および音声データ処理方法 Download PDF

Info

Publication number
JP4357578B1
JP4357578B1 JP2008143506A JP2008143506A JP4357578B1 JP 4357578 B1 JP4357578 B1 JP 4357578B1 JP 2008143506 A JP2008143506 A JP 2008143506A JP 2008143506 A JP2008143506 A JP 2008143506A JP 4357578 B1 JP4357578 B1 JP 4357578B1
Authority
JP
Japan
Prior art keywords
audio data
audio
time information
output
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008143506A
Other languages
English (en)
Other versions
JP2009289372A (ja
Inventor
芳和 汐見
隆信 向出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008143506A priority Critical patent/JP4357578B1/ja
Priority to US12/398,067 priority patent/US20090300242A1/en
Application granted granted Critical
Publication of JP4357578B1 publication Critical patent/JP4357578B1/ja
Publication of JP2009289372A publication Critical patent/JP2009289372A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

【課題】片方向バスによりデジタル出力される第1音声データに対して再生時刻の同時性を損なわずに双方向バスにより第2音声データをデジタル出力することを可能にする。
【解決手段】音声データ処理装置は第1音声データをAVアンプ20に転送する片方向バスB1および再生時刻に関して第1音声データと並列的な関係にある第2音声データをAVアンプ20に転送する非同期の双方向バスB2を含むHDMI送信部17と、再生時刻を特定する時間情報を第1音声データに順次付加したビットストリームを片方向バスB1に出力し、AVアンプ20においてビットストリームから順次得られる時間情報の各々について発行される出力要求を双方向バスB2から取得し、出力要求の時間情報に対応する第2音声データの部分を双方向バスB2に出力する制御を行う制御部15,16とを備える。
【選択図】図1

Description

本発明は、例えば光ディスクプレーヤにおいて主音声および副音声の音声データを外部出力用に処理する音声データ処理装置および音声データ処理方法に関する。
近年では、DVD等の大容量光ディスクの普及が著しい。現行のDVDプレーヤの多くは、例えばHigh-definition Multimedia Interface (HDMI)のような伝送方式によるデジタル音声出力にも対応している。将来的には、このHDMIによる音声出力だけに対応し、アナログ音声出力端子を備えないDVDプレーヤが登場することが予想される。
このHDMIは映像および音声データ用の片方向バスを備えている。この片方向バスは音声データを圧縮状態のビットストリームとして高速に転送できる。また、バージョン1.3以降のHDMIでは、High-Bit-Rate Audio (HBR Audio)という転送フォーマットがTrueHDやDTS-HD等の高ビットレート音声データのビットストリーム転送用に定義されている。
ところで、大容量光ディスクには、主音声および副音声のような複数種の音声データを含むコンテンツが存在するが、HDMIはこれら複数種の音声データのビットストリームをAVアンプ等の外部機器に並列的に転送可能な仕様になっていない。このため、片方向バスが例えば主音声の音声データをビットストリームとして出力するために占有されると、副音声の音声データを出力することができず、これを破棄しなくてはならない。
従来、このような問題に対処するために、主音声の音声データをHDMI等からデジタル出力し、副音声の音声データをD/A変換してアナログ音声出力端子からアナログ出力する方策が提案されている(例えば特許文献1を参照)。
特開2007−213663号公報
しかしながら、特許文献1の方策はアナログ音声出力端子が設けられない場合に利用することができない。
本発明の目的は、片方向バスによりデジタル出力される第1音声データに対して再生時刻の同時性を損なうことなく双方向バスにより第2音声データをデジタル出力することが可能な音声データ処理装置および音声データ処理方法を提供することにある。
本発明の一観点によれば、同時に再生すべき第1および第2音声データを取得する処理部と、第1および第2音声データをそれぞれ外部機器に転送する片方向バスおよび非同期の双方向バスを有するデジタルインタフェースと、再生時刻を特定する時間情報を第1音声データに順次付加したビットストリームを片方向バスに出力し、外部機器においてビットストリームから順次得られる時間情報の各々について発行される出力要求を双方向バスから取得し、出力要求の時間情報に対応する第2音声データの部分を双方向バスに出力する制御を行う出力制御とを備える音声データ処理装置が提供される。
本発明の他の観点によれば、同時に再生すべき第1および第2音声データをそれぞれ外部機器に転送する片方向バスおよび非同期の双方向バスを有するデジタルインタフェースを用いる音声データ処理方法であって、第1および第2音声データを取得し、再生時刻を特定する時間情報を第1音声データに順次付加したビットストリームを片方向バスに出力し、外部機器においてビットストリームから順次得られる時間情報の各々について発行される出力要求を双方向バスから取得し、出力要求の時間情報に対応する第2音声データの部分を双方向バスに出力する音声データ処理方法が提供される。
これら音声データ処理装置および音声データ処理方法では、再生時刻を特定する時間情報を第1音声データに順次付加したビットストリームが片方向バスに出力され、外部機器においてビットストリームから順次得られる時間情報の各々について発行される出力要求が双方向バスから取得され、出力要求の時間情報に対応する第2音声データの部分が双方向バスに出力される。すなわち、双方向バスが片方向バスに加えて設けられている場合には、第2音声データのデジタル出力がこの双方向バスを利用して実現できる。また、外部機器において時間情報により第1音声データと第2音声データとの再生時刻の同時性を確保できる。従って、片方向バスによりデジタル出力される第1音声データに対して再生時刻の同時性を損なうことなく双方向バスにより第2音声データをデジタル出力することが可能である。
以下、本発明の一実施形態に係る音声再生システムについて添付図面を参照して説明する。図1はこの音声再生システムの構成を概略的に示す。この音声再生システムは例えば大容量光ディスクプレーヤにおいて光ディスクDKに記録されたプログラムストリームから主音声の音声データおよび副音声の音声データを再生する再生装置10およびこの再生装置に対する外部機器であるAVアンプ20で構成される。再生装置10はディスク制御部11、多重分離処理部12、デコード処理部13、ミキシング処理部14、主音声出力制御部15、副音声出力制御部16、およびHDMI送信部17を備える。このHDMI送信部17は主音声の音声データを片方向バスB1を介してAVアンプ20に転送し、再生時刻に関して主音声の音声データと並列的な関係にある副音声の音声データを非同期の双方向バスB2を介してAVアンプ20に転送するデジタルインタフェースである。主音声出力制御部15および副音声出力制御部16は再生時刻を特定するタイムスタンプとしての時間情報を主音声の音声データに順次付加したビットストリームを片方向バスB1に出力し、AVアンプ20においてビットストリームから順次得られる時間情報の各々について発行される出力要求を双方向バスB2から取得し、出力要求の時間情報に対応する副音声の音声データの部分を双方向バスB2に出力する制御を行う出力制御を構成する。
ディスク制御部11は光ディスクDKからプログラムストリームを読み出し、このプログラムストリームを多重分離処理部12に供給する。多重分離処理部12はこのプログラムストリームを映像や音声のようなパケットの種類毎に分離する。音声パケットについては、主音声の音声データおよび副音声の音声データがデコード処理部13でデコード(復号)され、ミキシング処理部14でミキシングされ、ヘッドフォン端子出力される。
また、主音声の音声データおよび副音声の音声データはさらに多重分離処理部12からそれぞれ主音声出力制御部15および副音声出力制御部16に供給される。主音声出力制御部15はプログラムストリームから得られた主音声の音声データを補助記録スペースを持つIEC61937フォーマットに変換し、補助記録スペースに再生時刻を特定する時間情報を埋め込む処理を行うように構成されている。副音声出力制御部16はプログラムストリームから得られた副音声の音声データの部分を出力要求の時間情報に従って選択する処理を行うように構成されている。
AVアンプ20はHDMI受信部21、デコード処理部22、ミキシング処理部23、およびタイムスタンプ解析部24を備える。このHDMI受信部21は主音声の音声データを片方向バスB1を介して受け取り、副音声の音声データを双方向バスB2を介して受け取るデジタルインタフェースである。HDMI受信部21から得られる主音声の音声データおよび副音声の音声データはデコード処理部22で復号され、ミキシング処理部23でミキシングされ、スピーカ端子出力される。主音声の音声データに時間情報を順次付加したビットストリームはHDMI送信部17から片方向バスB1を介してHDMI受信部21に転送される。タイムスタンプ解析部24はこのビットストリームを解析し、このビットストリームから時間情報を順次取得し、さらに各時間情報の各々について副音声出力を要求する副音声要求コマンドを発行する。この副音声要求コマンドはHDMI受信部21により双方向バスB2を介してHDMI送信部17に転送され、このHDMI送信部17から副音声出力制御部16に供給される。
図2は再生装置10およびAVアンプ20の動作シーケンスを示す。音声データをビットストリーム(圧縮状態の音声データ)出力する場合、デコード処理部13でのデコード処理は省略可能である。再生装置10において、主音声の音声データがステップS1でIEC61937フォーマットに変換されると、時間情報の埋め込みがIEC61937フォーマットのStuffing領域に対して行われる。IEC61937フォーマットは、図3に示すようにData-burst領域F1およびStuffing領域F2からなるフレームの繰り返しとして構成される。Data-burst領域は音声データの格納領域であり、Stuffing領域はData-burst領域相互間の間隔を調整するために用いられる”0”値の埋込領域である。Stuffing領域は8バイト以上のサイズを持つことが規格で定められている。主音声出力制御部15では、この”0”値の埋込領域の一部を補助記録スペースとして使用して時間情報の埋め込みを行う。ここでは時間情報が各フレーム毎に埋め込まれるが、例えば4フレーム毎に埋め込まれるように副音声要求コマンドで制御することも可能である。主音声の音声データが時間情報を付加したIEC61937フォーマットのビットストリームとしてHDMI送信部17に供給されると、HDMI送信部17はステップS3でこの主音声の音声データのビットストリームを片方向バスB1を介してAVアンプ20に転送する。
AVアンプ20では、HDMI受信部21が主音声の音声データのビットストリームを受信すると、このビットストリームをデコード処理部22に加えてタイムスタンプ解析部24にも供給する。タイムスタンプ解析部24はステップS4でこのビットストリームについてIEC61937フォーマットのStuffing領域から時間情報を抽出して解析し、さらに副音声出力を要求する副音声要求コマンドを発行する。この副音声要求コマンドには、副音声の音声データの再生時刻を特定するタイムスタンプとしての時間情報が添付され、HDMI受信部21に供給される。ここでは、添付される時間情報が主音声の音声データから抽出された時間情報に一致するが、必ずしも一致させなくてもよい。すなわち、出力要求する副音声の音声データと同時に再生すべき主音声の音声データが既に受信済みであれば、この副音声の音声データを受信するまで主音声の音声データの再生開始をディレイさせることが必要となる。このため、副音声要求コマンドに添付される時間情報にオフセットを設ければ、主音声の音声データと同時に再生すべき副音声の音声データを主音声の音声データに先立って受信して上述のディレイを不要にできる。
副音声要求コマンドはタイムスタンプ解析部24からHDMI受信部21に供給され、ステップS5で双方向バスB2に出力される。再生機器10では、HDMI送信部17がこの副音声要求コマンドを受信して、副音声出力制御部16に供給する。副音声出力制御部16はこの副音声要求コマンドをステップS6で解析し、副音声要求コマンドの時間情報で特定される再生時刻に該当する副音声の音声データの部分を選択する。この副音声の音声データの部分は副音声出力制御部16からHDMI送信部17に供給され、ステップS7で双方向バスB2に出力される。
AVアンプ20では、HDMI受信部21が副音声の音声データを受信すると、この副音声の音声データをデコード処理部22に供給する。デコード処理部22は片方向バスB1から受信された主音声の音声データおよび双方向バスB2から受信された副音声の音声データをステップS8でデコードし、それぞれミキシング処理部23に供給する。ミキシング処理部23はデコード処理部22のデコード結果として得られる主音声の音声データおよび副音声の音声データをステップS9でミキシングして、スピーカ端子出力する。
本実施形態では、再生時刻を特定する時間情報を主音声の音声データに順次付加したビットストリームが片方向バスB1に出力され、AVアンプ20においてビットストリームから順次得られる時間情報の各々について発行される出力要求が双方向バスB2から取得され、出力要求の時間情報に対応する副音声の音声データの部分が双方向バスB2に出力される。すなわち、双方向バスB2が片方向バスB1に加えて設けられている場合には、副音声の音声データのデジタル出力がこの双方向バスB2を利用して実現できる。また、AVアンプ20において時間情報により主音声の音声データと副音声の音声データとの再生時刻の同時性を確保できる。従って、片方向バスB1によりデジタル出力される主音声の音声データに対して再生時刻の同時性を損なうことなく双方向バスB2により副音声の音声データをデジタル出力することが可能である。
Dolby Digital(登録商標)およびDTS(登録商標)のような従来の音声圧縮技術では、主音声の音声データおよび副音声や効果音のような音声データを外部機器へデジタル出力する際(非HBR Audio出力時)には、これらをデコード処理部13でデコードし、さらにミキシング処理部14でミキシングした後、再エンコードすることもあるが、本実施形態のようにタイムスタンプ(時間情報)を付加する方式を採用することによりこの再エンコードの処理が不要となる。従って、より簡素なシステム構成を実現できる。
尚、本発明は上述の実施形態に限定されず、その要旨を逸脱しない範囲で様々に変形可能である。
本発明の一実施形態に係る音声再生システムを概略的に示す図である。 図1に示す再生装置およびAVアンプの動作シーケンスを示す図である。 図1に示す主音声出力制御部で採用されるIEC61937フォーマットおよびこのフォーマットに埋め込まれる時間情報を示す図である。
符号の説明
10…再生装置、20…AVアンプ、11…ディスク制御部、12…多重分離処理部、13…デコード処理部、14…ミキシング処理部、15…主音声出力制御部、16…副音声出力制御部、17…HDMI送信部、21…HDMI受信部、22…デコード処理部、23…ミキシング処理部、24…タイムスタンプ解析部、B1…片方向バス、B2…双方向バス。

Claims (10)

  1. 同時に再生すべき第1および第2音声データを取得する処理部と、
    前記第1および第2音声データをそれぞれ外部機器に転送する片方向バスおよび非同期の双方向バスを有するデジタルインタフェースと、
    再生時刻を特定する時間情報を前記第1音声データに順次付加したビットストリームを前記片方向バスに出力し、前記外部機器において前記ビットストリームから順次得られる前記時間情報の各々について発行される出力要求を前記双方向バスから取得し、前記出力要求の時間情報に対応する前記第2音声データの部分を前記双方向バスに出力する制御を行う出力制御とを備えることを特徴とする音声データ処理装置。
  2. 前記処理部は、映像、主音声および副音声を多重化したプログラムストリームから前記主音声および副音声の音声データを前記第1および第2音声データとして分離する多重分離処理部を有することを特徴とする請求項1に記載の音声データ処理装置。
  3. 前記多重分離処理部は、前記プログラムストリームを記録した記録媒体から前記プログラムストリームを読み出す媒体制御部に接続されることを特徴とする請求項2に記載の音声データ処理装置。
  4. 前記出力制御は前記プログラムストリームから分離された前記主音声の音声データを受け取り、前記主音声の音声データをデジタル音声用転送規格であるIEC6197フォーマットに変換し、前記IEC6197フォーマットのStuffing領域の一部を補助記録スペースとして用いて前記補助記録スペースに前記時間情報を埋め込む主音声出力制御部を含むことを特徴とする請求項3に記載の音声データ処理装置。
  5. 前記出力制御は前記プログラムストリームから分離された前記副音声の音声データを受け取り、前記出力要求の時間情報に対応する部分を前記副音声の音声データにおいて選択する副音声出力制御部を含むことを特徴とする請求項3または4に記載の音声データ処理装置。
  6. 同時に再生すべき第1および第2音声データをそれぞれ外部機器に転送する片方向バスおよび非同期の双方向バスを有するデジタルインタフェースを用いる音声データ処理方法であって、前記第1および第2音声データを取得し、再生時刻を特定する時間情報を前記第1音声データに順次付加したビットストリームを前記片方向バスに出力し、前記外部機器において前記ビットストリームから順次得られる前記時間情報の各々について発行される出力要求を前記双方向バスから取得し、前記出力要求の時間情報に対応する前記第2音声データの部分を前記双方向バスに出力することを特徴とする音声データ処理方法。
  7. 映像、主音声および副音声を多重化したプログラムストリームから前記主音声および副音声の音声データを前記第1および第2音声データとして分離することを特徴とする請求項6に記載の音声データ処理方法。
  8. 前記プログラムストリームを記録した記録媒体から前記プログラムストリームを読み出すことを特徴とする請求項7に記載の音声データ処理方法。
  9. 前記プログラムストリームから前記主音声の音声データをデジタル音声用転送規格であるIEC6197フォーマットに変換し、前記IEC6197フォーマットのStuffing領域の一部を補助記録スペースとして用いて前記補助記録スペースに前記時間情報を埋め込む
    前記プログラムストリームから分離された前記主音声の音声データをデジタル音声用転送規格であるIEC6197フォーマットに変換し、前記IEC6197フォーマットのStuffing領域の一部を補助記録スペースとして用いて前記補助記録スペースに前記時間情報を埋め込むことを特徴とする請求項8に記載の音声データ処理方法。
  10. 前記プログラムストリームから分離された前記副音声の音声データにおいて前記出力要求の時間情報に対応する部分を選択することを特徴とする請求項8または9に記載の音声データ処理方法。
JP2008143506A 2008-05-30 2008-05-30 音声データ処理装置および音声データ処理方法 Expired - Fee Related JP4357578B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008143506A JP4357578B1 (ja) 2008-05-30 2008-05-30 音声データ処理装置および音声データ処理方法
US12/398,067 US20090300242A1 (en) 2008-05-30 2009-03-04 Audio Data Processor and Method for Processing Audio Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008143506A JP4357578B1 (ja) 2008-05-30 2008-05-30 音声データ処理装置および音声データ処理方法

Publications (2)

Publication Number Publication Date
JP4357578B1 true JP4357578B1 (ja) 2009-11-04
JP2009289372A JP2009289372A (ja) 2009-12-10

Family

ID=41381208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008143506A Expired - Fee Related JP4357578B1 (ja) 2008-05-30 2008-05-30 音声データ処理装置および音声データ処理方法

Country Status (2)

Country Link
US (1) US20090300242A1 (ja)
JP (1) JP4357578B1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
JP4369214B2 (ja) * 2002-12-11 2009-11-18 パナソニック株式会社 Avシステム
JP2005109703A (ja) * 2003-09-29 2005-04-21 Pioneer Electronic Corp 画像出力装置、画像出力方法、画像表示システムおよび画像出力プログラム並びに情報記録媒体
JP3892478B2 (ja) * 2004-04-06 2007-03-14 松下電器産業株式会社 音声再生装置
KR20060100191A (ko) * 2005-03-16 2006-09-20 삼성전자주식회사 에이치디엠아이 기기 및 에이치디엠아이 기기의출력조절방법
JP2007194845A (ja) * 2006-01-18 2007-08-02 Sony Corp コンテンツ再生システム及びコンテンツ再生方法
JP4575324B2 (ja) * 2006-03-29 2010-11-04 株式会社東芝 Av装置及びその制御方法
KR20090002809A (ko) * 2007-07-04 2009-01-09 삼성전자주식회사 어플리케이션에서 생성된 데이터를 hdmi cec에 따라송수신하는 방법

Also Published As

Publication number Publication date
JP2009289372A (ja) 2009-12-10
US20090300242A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
JP5052763B2 (ja) 映像データの記録された情報貯蔵媒体、その記録方法、記録装置、再生方法及び再生装置
JP2009158055A (ja) 音声データ処理装置および音声データ処理方法
JP2006527864A (ja) 受信機器、送信機器および伝送システム
WO2023116254A1 (zh) 一种直播视频录制方法、装置、系统和终端设备
JP2006294120A (ja) 音声再生装置
JP2008252834A (ja) 音声再生装置
JP4715306B2 (ja) ストリーム制御装置、ストリーム再生方法、映像記録再生システム
JP5843856B2 (ja) ビットストリーム送信装置、ビットストリーム送受信システム、ビットストリーム受信装置、ビットストリーム送信方法及びビットストリーム受信方法
JP2008245172A (ja) 音声データ出力装置及び音声データ出力方法
JP3504216B2 (ja) デジタルインターフェースを利用した音声ストリーム送受信装置及び方法
JP5023662B2 (ja) 信号処理システム、信号送信装置、信号受信装置およびプログラム
JP4013800B2 (ja) データ作成方法及びデータ記録装置
JP4357578B1 (ja) 音声データ処理装置および音声データ処理方法
JP2008154132A (ja) 音声映像ストリーム圧縮装置及び音声映像記録装置
JP2005006166A (ja) 撮像装置
JP3769330B2 (ja) 再生装置及び再生方法
JP4062832B2 (ja) データ記録再生装置及びデータ記録再生方法
JP4560962B2 (ja) データ伝送装置及びデータ伝送方法
US8719040B2 (en) Signal processing apparatus, signal processing method, and computer program
JP2007158431A (ja) 映像記録装置及び映像記録再生装置
JP2006067367A (ja) 符号化オーディオ信号の編集装置
JP4681723B2 (ja) 再生装置、制御方法及び記憶媒体
JP4169002B2 (ja) 音声フォーマット変換装置及び符号化装置
WO2018216424A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP4921440B2 (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees