JP3756647B2 - 多画面表示装置 - Google Patents

多画面表示装置 Download PDF

Info

Publication number
JP3756647B2
JP3756647B2 JP33175497A JP33175497A JP3756647B2 JP 3756647 B2 JP3756647 B2 JP 3756647B2 JP 33175497 A JP33175497 A JP 33175497A JP 33175497 A JP33175497 A JP 33175497A JP 3756647 B2 JP3756647 B2 JP 3756647B2
Authority
JP
Japan
Prior art keywords
stream
screen
streams
descramblers
screen display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33175497A
Other languages
English (en)
Other versions
JPH11168701A (ja
Inventor
剛夫 新舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP33175497A priority Critical patent/JP3756647B2/ja
Publication of JPH11168701A publication Critical patent/JPH11168701A/ja
Application granted granted Critical
Publication of JP3756647B2 publication Critical patent/JP3756647B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、それぞれがコンテンツ暗号化された複数の入力ストリームデータに、デスクランブル処理及びデコード処理を施して多画面表示させる多画面表示装置の改良に関する。
【0002】
【従来の技術】
周知のように、近年では、DVDフォーマットを用いたストリームデータにデコード処理を施して画像を表示させる画像再生システムが開発され、種々の分野に幅広く利用されてきている。
【0003】
一方、最近のテレビジョン画像表示システムの分野では、1つの画面を2つまたはそれ以上の領域に分割し、各領域毎にそれぞれ独立に画像表示を行なわせるようにした、いわゆる多画面表示を行なうための技術が進んできている。
【0004】
ところで、DVD画像再生システムは、現在のところ、基本的に1画像のみの再生を前提としているため、一時に複数の画像を表示する多画面表示には対応していないのが現状である。
【0005】
すなわち、このDVD画像再生システムにおいて、多画面表示を実現するためには、入力ストリームデータをデコード処理するための全てのLSI(Large Scale Integrated circuit)の処理速度を、表示させる画面の数に対応させて速くするか、あるいは、複数のLSIを並設してデータ処理を並列化する等の対策が必要となる。
【0006】
要するに、同時に2つの画像を表示させるためには、標準時において1画像分のストリームデータをデコード処理するのに要する時間内に、2画像分のストリームデータをデコード処理する必要があるということである。
【0007】
例えば、2画像分のストリームデータが並列に入力される場合には、2つのデコーダを設置して各ストリームデータをそれぞれ並列にデコード処理し、各デコード出力を合成することによって2画面表示させる手段か、あるいは、1つのデコーダの前段に各ストリームデータを蓄えるバッファを設置し、各ストリームデータをその転送速度を2倍にして交互にデコーダに入力させてデコード処理し、その各画像毎のデコード出力を合成することによって2画面表示させる手段がとられる。
【0008】
また、2画像分のストリームデータが1入力で交互に入力される場合にも、1つのデコーダの前段に各ストリームデータを蓄えるバッファを設置し、各ストリームデータをその転送速度を2倍にして画像別に交互にデコーダに入力させてデコード処理し、その各画像毎のデコード出力を合成することによって2画面表示させる手段がとられる。
【0009】
【発明が解決しようとする課題】
ここで、DVDフォーマットのストリームデータには、コピー防止のためのコンテンツ暗号化処理が施されている。このため、DVD画像再生システムでは、ストリームデータのコンテンツ暗号化を解くためのデスクランブラを内蔵したコピー防止モジュールを備え、入力ストリームデータにデスクランブル処理を施した後、デコード処理を施すようにしている。
【0010】
この場合、コピー防止モジュールに供給されるストリームデータは、パケット単位でまとまって転送されるのではなく、バイト単位でシリアルに転送される。ところが、コピー防止モジュールに内蔵されるデスクランブラは、1つのパケットに対する最終バイトまでのデスクランブル処理が終了した後に、次のパケットに対するデスクランブル処理が可能となる。
【0011】
このため、DVD画像再生システムを、複数のストリームデータを入力して多画面表示が可能となるように構成する場合、コピー防止モジュールには、入力されるストリームデータの数だけのデスクランブラを内蔵する必要が生じることになる。
【0012】
ところで、DVDフォーマットのストリームデータには、主画像ストリーム、音声ストリーム及び副画像ストリームの3種類が含まれており、それぞれのストリームにコピー防止のためのコンテンツ暗号化処理が施されている。このため、コピー防止モジュールには、3種類のストリームのコンテンツ暗号化を解くために、最低でも3つのデスクランブラが設置されることになる。
【0013】
したがって、例えば2つのストリームデータを入力して多画面表示させるためには、各ストリームデータにそれぞれ3種類のストリームが含まれているため、コピー防止モジュールに6つのデスクランブラを内蔵させる必要が生じることになる。
【0014】
要するに、DVD画像再生システムで多画面表示を実現させるためには、入力されるストリームデータの3倍の数のデスクランブラを、コピー防止モジュールに内蔵させる必要があるので、多画面表示させる画像数が多くなるほど、構成が複雑で大型化し経済的な不利を招くという問題が生じるものである。
【0015】
そこで、この発明は上記事情を考慮してなされたもので、デスクランブラの数を多くすることなく、実用的な多画面表示を可能とすることができ、簡易な構成で経済的にも有利とし得る極めて良好な多画面表示装置を提供することを目的とする。
【0016】
【課題を解決するための手段】
この発明に係る多画面表示装置は、それぞれが暗号化された複数のストリームを含む複数のストリームデータを入力し、各ストリームにデスクランブル処理及びデコード処理を施して合成し多画面表示させるようにしたものを対象としている。そして、複数のストリームよりも少ない数だけ用意された複数のデスクランブラと、複数のストリームに対して再生する優先順位を設定する設定手段とを備え、設定手段で設定された優先順位の高いストリームから複数のデスクランブラに順次割り当てるようにしたものである。
【0017】
上記のような構成によれば、入力されるストリームの数よりも少ない数のデスクランブラを用意し、予め設定された優先順位の高いストリームから各デスクランブラに順次割り当てるようにしたので、デスクランブラの数を多くすることなく実用的な範囲での多画面表示が可能となり、構成簡易にして小型化に適し経済的にも有利とすることができる。
【0018】
【発明の実施の形態】
以下、この発明の第1の実施の形態について図面を参照して詳細に説明する。図1において、符号11はストリームデータ出力回路である。このストリームデータ出力回路11は、主画像ストリーム、音声ストリーム及び副画像ストリームの3種類を含む複数のストリームデータを、それぞれバイト単位で時分割的にライン12上にシリアルに出力するとともに、各ストリームデータに対応するイネーブル信号をライン13上に出力している。
【0019】
これらライン12,13上に出力されたストリームデータ及びそのイネーブル信号は、コピー防止モジュール14に内蔵された4つのデスクランブラ15,16,17,18とレジスタ19とに、それぞれ供給されるようになっている。このレジスタ19は、ライン20,21を介して、マイクロコンピュータを内蔵した制御回路22と接続されている。
【0020】
このレジスタ19は、制御回路22から発生される指令に基づいて、ストリームデータ出力回路11から出力されたどのストリームデータのどのストリームをどのデスクランブラ15,16,17,18に供給するかを設定する設定信号を生成し、ライン23を介して各デスクランブラ15,16,17,18に出力している。
【0021】
また、このレジスタ19は、どのデスクランブラ15,16,17,18にも供給されないストリームを、自分に供給するように要求するリクエスト信号を、ライン24を介してストリームデータ出力回路11に出力している。さらに、このレジスタ19は、ライン25,26を介して、このコピー防止モジュール14が選択されているか否かを判別するための認証回路27に接続されている。
【0022】
ここで、上記各デスクランブラ15,16,17,18でデスクランブル処理が施されたストリームは、それぞれイネーブル信号とともにライン28,29,30,31を介してバッファ32に出力される。このバッファ32は、入力された各ストリームを蓄積し、ストリーム毎に対応する図示しないデコーダに出力している。
【0023】
また、このバッファ32は、ライン33を介してストリームデータ出力回路11にリクエスト信号を出力している。なお、上記制御回路22は、ライン34,35を介してストリームデータ出力回路11に接続されている。
【0024】
上記のような構成において、以下、その多画面表示動作について説明する。この動作説明では、多画面表示として親画面の一部に重ねて子画面を表示させる形態を例にしている。この場合、ストリームデータ出力回路11からは、親画面に対応するストリームデータ(主画像ストリーム、音声ストリーム及び副画像ストリームを含む)と、子画面に対応するストリームデータ(主画像ストリーム、音声ストリーム及び副画像ストリームを含む)との、6種類のストリームが出力されている。
【0025】
そして、制御回路22には、予め再生するストリームの優先順位が設定されている。この例では、
1.親画面主画像ストリーム
2.親画面副画像ストリーム
3.親画面音声ストリーム
4.子画面主画像ストリーム
5.子画面副画像ストリーム
6.子画面音声ストリーム
なる順序で優先順位が設定されているものとする。なお、この優先順位は、使用者の操作によって設定する方法や、製品の工場出荷時に予め設定しておく方法がある。
【0026】
また、レジスタ19には、自己の設置されたコピー防止モジュール14に内蔵されているデスクランブラ15,16,17,18の数(この場合4)が記憶されている。そして、制御回路22は、ライン20,21を介してレジスタ19に接続されたとき、その情報を読み取るようになっている。
【0027】
すると、まず、制御回路22は、入力された6種類のストリームから、優先順位1に対応するストリームをデスクランブラ15に供給し、優先順位2に対応するストリームをデスクランブラ16に供給し、優先順位3に対応するストリームをデスクランブラ17に供給し、優先順位4に対応するストリームをデスクランブラ18に供給し、優先順位5,6に対応する各ストリームをレジスタ19に供給するように、レジスタ19を制御する。
【0028】
この場合、制御回路22は、入力されたストリーム中から、そのストリームID(Identifier)またはサブストリームIDと称される部分(この部分はスクランブル処理されていない)を読み取ることにより、どのストリームであるかを判別している。
【0029】
そして、各デスクランブラ15,16,17,18によりデスクランブル処理の施された優先順位1,2,3,4に対応する各ストリームが、バッファ32に蓄積され、各ストリーム毎に図示しないデコーダでデコード処理された後、合成されて多画面表示に供される。
【0030】
なお、レジスタ19に供給された優先順位5,6に対応する各ストリームは、レジスタ19が仮想的にデスクランブラのインターフェースを代行することになるが、バッファ32には転送されず、多画面表示には供されないようになる。
【0031】
図2は、このときの表示画面を示している。すなわち、親画面主画像36と親画面副画像37(この場合字幕)と子画面主画像38とが表示され、さらに、親画面音声が再生されている。
【0032】
図3は、上記の動作をまとめたフローチャートを示している。まず、開始(ステップS1)されると、使用者は、ステップS2で、再生するストリームの優先順位を制御回路22に設定し、制御回路22は、ステップS3で、レジスタ19に記憶されているデスクランブラ15,16,17,18の数を読み取る。
【0033】
その後、制御回路22は、ステップS4で、入力された複数のストリームデータの中から優先順位の高い順にストリームを選択し、各デスクランブラ15,16,17,18に割り当てる。また、制御回路22は、ステップS5で、デスクランブラ15,16,17,18に割り当てられなかったストリームを、レジスタ19に供給する。この場合、レジスタ19は、イネーブル信号を受け付け、リクエスト信号をストリームデータ出力回路11に返している。
【0034】
そして、各デスクランブラ15,16,17,18によりデスクランブル処理の施された各ストリームは、ステップS6で、バッファ32に蓄積され、各ストリーム毎に図示しないデコーダでデコード処理された後、合成されて多画面表示に供され、終了(ステップS7)される。
【0035】
上記した第1の実施の形態によれば、入力されるストリームの数“6”よりも少ない4つのデスクランブラ15,16,17,18をコピー防止モジュール14内に設置し、予め設定された優先順位の高い順に選択された4つのストリームを、4つのデスクランブラ15,16,17,18にそれぞれ割り当てるようにすることにより、デスクランブラ15,16,17,18の数を多くすることなく、実用的な範囲での多画面表示を可能としている。このため、構成簡易にして小型化に適し経済的にも有利とすることができる。
【0036】
図4は、上記第1の実施の形態の変形例を示している。すなわち、図1と同一部分には同一符号を付して説明すると、ストリームデータ出力回路11から出力されるストリームが供給される5番目のデスクランブラ39をコピー防止モジュール14内に設置し、このデスクランブラ39によりデスクランブル処理されたストリームを、ライン40を介してバッファ32に供給するようにしている。
【0037】
この場合、上記制御回路22は、入力された6種類のストリームから、優先順位1,2,3,4に対応するストリームをそれぞれデスクランブラ15,16,17,18に供給するとともに、優先順位5に対応するストリームをデスクランブラ39に供給し、優先順位6に対応する各ストリームをレジスタ19に供給するように、レジスタ19を制御する。
【0038】
そして、各デスクランブラ15,16,17,18,39によりデスクランブル処理の施された優先順位1,2,3,4,5に対応する各ストリームが、バッファ32に蓄積され、各ストリーム毎に図示しないデコーダでデコード処理された後、合成されて多画面表示に供される。
【0039】
図5は、このときの表示画面を示している。すなわち、親画面主画像36と親画面副画像37と子画面主画像38と子画面副画像41(この場合字幕)とが表示され、さらに、親画面音声が再生されている。
【0040】
次に、図6は、この発明の第2の実施の形態を示すもので、図1に示した構成において他の動作を加えたフローチャートを示している。まず、開始(ステップS8)され、ステップS9で、制御回路22に対して再生するストリームの優先順位の設定と、制御回路22によるレジスタ19からのデスクランブラ15,16,17,18の数“4”の読み取りとが終了すると、制御回路22は、ステップS10で、デスクランブラ15,16,17,18の数“4”が入力されるストリームの数に足りているか否かを判別する。
【0041】
そして、足りている(YES)と判断された場合、制御回路22は、ステップS11で、入力されたストリームを順次デスクランブラ15,16,17,18に割り当てる。その後、各デスクランブラ15,16,17,18によってデスクランブル処理の施された各ストリームが、ステップS14で、バッファ32に蓄積され各ストリーム毎にデコード処理された後、合成されて多画面表示に供され、終了(ステップS15)される。
【0042】
また、ステップS10でデスクランブラ15,16,17,18の数“4”が入力されるストリームの数に足りていない(NO)と判断された場合、制御回路22は、ステップS12で、入力された複数のストリームを優先順位の高い順に4つ選択して各デスクランブラ15,16,17,18に割り当て、ステップS13で、デスクランブラ15,16,17,18に割り当てられなかったストリームをレジスタ19に供給した後、ステップS14の処理を実行する。
【0043】
次に、図7は、この発明の第3の実施の形態を示している。すなわち、図1と同一部分には同一符号を付して説明すると、デスクランブラ15,16,17,18によってそれぞれデスクランブル処理が施されたストリームは、セレクタ42に供給される。
【0044】
このセレクタ42は、レジスタ19からライン43を介して供給されるセレクト信号に基づいて、デスクランブラ15,16,17,18からそれぞれ出力されるストリームのうち、主画像ストリームをライン44を介してバッファ32に出力し、音声ストリームをライン45を介してバッファ32に出力し、副画像ストリームをライン46を介してバッファ32に出力している。
【0045】
このため、バッファ32では、ライン44を介して入力されたストリームが主画像ストリームであり、ライン45を介して入力されたストリームが音声ストリームであり、ライン46を介して入力されたストリームが副画像ストリームであると判断することができる。
【0046】
したがって、バッファ32からは、主画像、音声及び副画像の各ストリームを任意に読み出すことができ、それぞれのストリームを、後段の対応する主画像、音声及び副画像用のデコーダに導くことが可能となる。
【0047】
図8は、図7に示した第3の実施の形態の動作をまとめたフローチャートである。すなわち、図6と同一ステップには同一符号を付して説明すると、ステップS14において、セレクタ42から出力された主画像ストリーム、音声ストリーム及び副画像ストリームを、それぞれ対応するデコーダに供給した後、合成して多画面表示を行なうようにしている。
なお、この発明は上記した各実施の形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【0048】
【発明の効果】
以上詳述したようにこの発明によれば、デスクランブラの数を多くすることなく、実用的な多画面表示を可能とすることができ、簡易な構成で経済的にも有利とし得る極めて良好な多画面表示装置を提供することができる。
【図面の簡単な説明】
【図1】この発明に係る多画面表示装置の第1の実施の形態を示すブロック構成図。
【図2】同第1の実施の形態における表示画面の一例を示す図。
【図3】同第1の実施の形態における動作を説明するために示すフローチャート。
【図4】同第1の実施の形態における変形例を示すブロック構成図。
【図5】同変形例における表示画面の一例を示す図。
【図6】この発明の第2の実施の形態を説明するために示すフローチャート。
【図7】この発明の第3の実施の形態を示すブロック構成図。
【図8】同第3の実施の形態における動作を説明するために示すフローチャート。
【符号の説明】
11…ストリームデータ出力回路、
12,13…ライン、
14…コピー防止モジュール、
15〜18…デスクランブラ、
19…レジスタ、
20,21…ライン、
22…制御回路、
23〜26…ライン、
27…認証回路、
28〜31…ライン、
32…バッファ、
33〜35…ライン、
36…親画面主画像、
37…親画面副画像、
38…子画面主画像、
39…デスクランブラ、
40…ライン、
41…子画面副画像、
42…セレクタ、
43〜46…ライン。

Claims (6)

  1. それぞれが暗号化された複数のストリームを含む複数のストリームデータを入力し、各ストリームにデスクランブル処理及びデコード処理を施して合成し多画面表示させる多画面表示装置において、前記複数のストリームよりも少ない数だけ用意された複数のデスクランブラと、前記複数のストリームに対して再生する優先順位を設定する設定手段とを具備し、前記設定手段で設定された優先順位の高いストリームから前記複数のデスクランブラに順次割り当てることを特徴とする多画面表示装置。
  2. 前記複数のストリームデータは、それぞれ、主画像ストリームと音声ストリームと副画像ストリームとを含むことを特徴とする請求項1記載の多画面表示装置。
  3. 前記複数のストリームデータは、親画面を構成する親画面ストリームデータと、親画面の一部に重ねて表示される子画面を構成する子画面ストリームデータとからなることを特徴とする請求項2記載の多画面表示装置。
  4. 前記優先順位は、高い方から、前記親画面ストリームデータの主画像ストリーム、副画像ストリーム、音声ストリーム、前記子画面ストリームデータの主画像ストリーム、副画像ストリーム、音声ストリームの順序で設定されることを特徴とする請求項3記載の多画面表示装置。
  5. 前記複数のデスクランブラから出力される各ストリームを、主画像ストリームと音声ストリームと副画像ストリームとに分けるセレクタを具備してなることを特徴とする請求項2記載の多画面表示装置。
  6. 前記複数のデスクランブラの数が入力された前記複数のストリームの数に足りているか否かを判別する判別手段を具備し、この判別手段で足りていると判断された場合、入力された複数のストリームを前記複数のデスクランブラに順次割り当て、前記判別手段で足りていないと判断された場合、前記設定手段で設定された優先順位の高いストリームから前記複数のデスクランブラに順次割り当てることを特徴とする請求項1記載の多画面表示装置。
JP33175497A 1997-12-02 1997-12-02 多画面表示装置 Expired - Fee Related JP3756647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33175497A JP3756647B2 (ja) 1997-12-02 1997-12-02 多画面表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33175497A JP3756647B2 (ja) 1997-12-02 1997-12-02 多画面表示装置

Publications (2)

Publication Number Publication Date
JPH11168701A JPH11168701A (ja) 1999-06-22
JP3756647B2 true JP3756647B2 (ja) 2006-03-15

Family

ID=18247251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33175497A Expired - Fee Related JP3756647B2 (ja) 1997-12-02 1997-12-02 多画面表示装置

Country Status (1)

Country Link
JP (1) JP3756647B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4417854B2 (ja) 2005-01-04 2010-02-17 株式会社東芝 再生装置
JP4737991B2 (ja) 2005-01-04 2011-08-03 株式会社東芝 再生装置
JP4519658B2 (ja) * 2005-01-04 2010-08-04 株式会社東芝 再生装置
JP4625781B2 (ja) 2006-03-22 2011-02-02 株式会社東芝 再生装置
JP2008060653A (ja) * 2006-08-29 2008-03-13 Matsushita Electric Ind Co Ltd 制御装置
US8867622B2 (en) * 2008-08-14 2014-10-21 Broadcom Corporation Method and system for priority-based digital multi-stream decoding
JP5921458B2 (ja) * 2013-02-13 2016-05-24 三菱電機ビルテクノサービス株式会社 映像データ処理装置及び映像データ処理プログラム

Also Published As

Publication number Publication date
JPH11168701A (ja) 1999-06-22

Similar Documents

Publication Publication Date Title
KR100661895B1 (ko) 영상 데이터 처리 장치 및 처리 방법
US6297797B1 (en) Computer system and closed caption display method
US6441813B1 (en) Computer system, and video decoder used in the system
JP4364176B2 (ja) 映像データ再生装置及び映像データ生成装置
JP2000511020A (ja) ディジタル・データとプログラム・ガイド情報の処理方法
JP2000511019A (ja) ディジタル・データ記録媒体のためのパケット化されたデータ・フォーマット
JP2001502854A (ja) ディジタルデータ処理用プログラム特定情報の形成方法
JP2002118821A (ja) Dvd再生システムおよび方法
US20030043142A1 (en) Image information transmission system
US7054989B2 (en) Stream processor
JP3756647B2 (ja) 多画面表示装置
JP2010161808A (ja) 記録媒体及びプログラムが記録された記録媒体
JPH11187393A (ja) 画像データ復号化装置及び画像データ復号化方法
JP2005316007A (ja) 画像表示制御装置
US20060132504A1 (en) Content combining apparatus and method
JP2000069454A (ja) デジタル放送受信機
KR100563666B1 (ko) 디지털 인터페이스를 이용한 디스크 기록매체 및 디스크 재생기의 속성정보 제공방법과 그에 따른 동작 제어장치 및 방법
JP2002247498A (ja) 情報再生装置
JPH10322664A (ja) コンピュータシステムおよびそのシステムで用いられるビデオデコーダ
JP2000036940A (ja) コンピュータシステムおよびデコーダ装置
JPH0945007A (ja) 記録媒体、メニューストリーム作成装置及び記録媒体再生装置
KR20000034698A (ko) 기록매체의 네비게이션 데이터 전송장치 및 방법
JP2010109404A (ja) 再生装置、再生制御方法、およびプログラム
JP2000316134A (ja) 画像処理装置
JP2002016881A (ja) ディジタル信号処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100106

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110106

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120106

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130106

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees