JP3665237B2 - 車載用デジタルテレビ放送受信装置 - Google Patents

車載用デジタルテレビ放送受信装置 Download PDF

Info

Publication number
JP3665237B2
JP3665237B2 JP26974099A JP26974099A JP3665237B2 JP 3665237 B2 JP3665237 B2 JP 3665237B2 JP 26974099 A JP26974099 A JP 26974099A JP 26974099 A JP26974099 A JP 26974099A JP 3665237 B2 JP3665237 B2 JP 3665237B2
Authority
JP
Japan
Prior art keywords
audio
unit
information
broadcast
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26974099A
Other languages
English (en)
Other versions
JP2001094897A (ja
Inventor
剛司 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP26974099A priority Critical patent/JP3665237B2/ja
Publication of JP2001094897A publication Critical patent/JP2001094897A/ja
Application granted granted Critical
Publication of JP3665237B2 publication Critical patent/JP3665237B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車載用デジタルテレビ放送受信装置に関するもので、特に、車両の運転状況に基づき、受信装置が受信している番組の映像ならびに音声の再生を受信装置にて選択することで、走行中の安全を確保しつつ有効な情報を運転者に提供しようとするものである。
【0002】
【従来の技術】
従来の車載用テレビ放送受信装置は車両の走行状況(停車中又は走行中)を検知するセンサ部と接続され、車両が停車中であることが検知されたときにおいてのみ、受信された映像信号を表示装置の画面に表示させるようにし、それ以外の場合は、運転者の注意を奪うおそれのある画面表示をオフあるいは表示装置の電源をオフとするような設定がなされ、受信された音声はそのままスピーカ等から再生されている。
【0003】
最近のテレビ放送は、その多くが多重音声で放送されており、番組の内容に応じて、ステレオ放送、二カ国語放送、主/副音声放送、モノラル放送の音声が放送されている。
【0004】
特に、主/副音声を有する番組は、画像を見ることのできない弱視の人のための解説音声を放送している場合が殆どである。
【0005】
また、近年デジタル放送が開発され、例えば、通信衛星を使用した衛星デジタル放送が一般家庭で視聴されるようになってきているが、このデジタル放送を衛星ではなく地上波で行うための開発検討が進められている。
【0006】
これらのデジタル放送においても、前述の多重音声による放送が可能であり、更に、番組情報を放送する電波とともに送信することが可能である。この番組情報には、放送されている番組に関する種々の情報が含まれており、その中には、番組の音声放送を特定するための判別コードも含まれ、受信装置側でこれらの番組情報を入手し、番組ガイドを作成することも行われている。
【0007】
【発明が解決しようとする課題】
しかしながら、受信装置では、車載用に搭載された場合は、前述の通り、走行中の安全性を確保するために運転者の注意を奪うことの無いように、画面表示を行わない構成をとることが必要であり、一般のテレビ放送は画像と音声により情報を提供するものであるため、音声のみの放送では十分な情報を得られないという問題があった。
【0008】
上記の問題は、受信している番組が副音声を有する多重放送である場合は、当該副音声を再生音声に選択することで放送されている番組についての十分な情報を得ることが可能であるが、当該番組が副音声を有しているかどうかについては、受信装置などへの表示で確認する必要があり、また、副音声を有する多重放送であっても現行のテレビ放送では、その放送が二カ国語で放送されているものか、あるいは、弱視者などのための解説のための副音声を有するものかの判別は操作者による判断が必要であり、番組の副音声の確認ならびに再生音声としての選択が非常に面倒であるとともに、走行中に操作を行うことは安全面からも問題がある。
【0009】
本発明の目的は、上記の課題に鑑み、デジタルテレビ放送で放送されている番組とともに送信されている番組情報に織り込まれた情報を判別することで、受信中の番組が多重音声で放送され、主/副音声を有する放送の場合、走行中あるいは画面非表示の状態においては、再生音声として副音声のみを選択して再生するようにすることで、運転者に番組情報を十分に提供できるとともに走行中の安全性を確保できる受信装置を提供することにある。
【0010】
また、本発明の更なる目的は、デジタル放送において、現在受信している番組の画像情報を映像信号に重畳して送信することで、一般的な動画表示以外の静止画像が放送されている場合に当該静止画像を画面上に表示するようにして、運転者の注意を損なうことなく、十分な情報を提供することにある。
【0011】
【課題を解決するための手段】
上記課題を解決するために本発明は、少なくとも、放送電波を受信・選局する受信選局部と、受信・選局された放送電波を復調する復調部と、復調された電波信号から映像信号、音声信号ならびに番組情報等のその他の情報信号に分配するデマルチプレクサ部と、前記情報信号を復号するデータデコーダ部と、映像信号を復号する映像信号復号部と、音声信号を復号する音声信号復号部と、を有する車載用デジタルテレビ放送受信装置において、車両に車両運転状況を検知するセンサ部を設け、前記センサ部からの出力を前記受信装置に入力し、前記センサ部の出力が車両が走行中であることを示しているとともに、前記車載用テレビ放送受信装置が受信した番組情報に基づき、受信している番組の再生する映像情報ならびに音声情報を選択する選択手段を車載用デジタルテレビ放送受信装置に設けることで達成している。
【0012】
更なる本発明は、少なくとも、放送電波を受信・選局する受信選局部と、受信・選局された放送電波を復調する復調部と、復調された電波信号から映像信号、音声信号ならびに番組情報等のその他の情報信号に分配するデマルチプレクサ部と、前記情報信号を復号するデータデコーダ部と、映像信号を復号する映像信号復号部と、音声信号を復号する音声信号復号部と、を有する車載用デジタルテレビ放送受信装置において、前記映像信号復号部が前記受信された放送電波の映像信号中に含まれる映像の種別情報を検出し、当該検出された種別情報に基づき、表示する画像情報を選択する選択手段を車載用デジタルテレビ放送受信装置に設けることで達成している。
【0013】
【発明の実施の形態】
以下、本発明の最初の実施形態を図面とともに説明する。
【0014】
図1は、本発明に係る車載用デジタルテレビ放送受信装置のブロック図を示したものである。
【0015】
1は車載用デジタルテレビ放送受信装置であり、その内部には、アンテナ5が受信した電波から、操作者が選択する放送局の電波を選局する受信選局部10と、受信した電波を復調する復調部12があり、復調部12は復調の状況を車載用デジタルテレビ受信装置1内の各機能の動作を制御する操作制御部30に通知する。復調部12により復調された信号波は、操作制御部30の指示により、必要があれば、デスクランブラ部14で解読され、解読された信号がMPEGデマルチプレクサ部16に送られ、多重化されているデータストリームを個々のデータストリームに分離される。これらの個々のデータストリームは、制御操作部30の指示に基づき、復調されたデータストリームからEPG(Electronic Program Guide:電子番組ガイド)情報ならびにデータ情報を検出するEPG・データデコーダ部18、受信している番組の映像信号を復号する映像信号復号部20、受信している番組の音声信号を復号する音声信号復号部22の各部へ送出される。EPG・データデコーダ部18ならびに映像信号復号部20の復号情報は操作制御部30に送出され、操作制御部30はこれらの情報と、運転状況検知部40から操作制御部30に入力された情報とに基づき表示映像制御部24ならびに再生音声制御部26に制御信号を送り、表示部34で再生される映像ならびにスピーカ36で再生される音声を選択する。
【0016】
運転状況検知部40は、車両の速度を検出するため前輪の回転軸などの回転駆動部に設けられたセンサ41ならびにパーキングブレーキの稼動状況を検知するためのパーキングブレーキセンサ42からの出力に基づき、車載用デジタルテレビ受信装置1内の操作制御部30に車両の運転状況を示す出力信号を送達している。
【0017】
操作入力部32は、車両の運転者又は同乗者等からデジタルテレビ放送受信装置1に各種の指示を与えるための入力部であり、図示しないリモコン等から操作される。
【0018】
以下、本発明の動作を図2に示したフローチャートに基づき説明する。
【0019】
操作入力部32への運転者等の操作によりテレビ放送の受信・音声選択自動モードが選択される(ステップ100)と、操作制御部30は車両の走行状況に関する情報を得るため、運転状況検知部40からの出力を取得し、その情報をC0として記憶する(ステップ101)。
【0020】
次に、操作制御部30は、前記C0が車両が走行中か否かを判定し(ステップ102)、走行中でなければステップ104に移行し、画面表示をオンとし、走行中であればステップ103に移行し画面表示をオフとする。
【0021】
上記までのステップで画面表示状況が設定されると、再生音声の選択のためのステップに移行する。まず、EPG・データデコーダ部18で解読された番組情報から受信している番組の放送内容を操作制御部30に取り込み、その内容をS0として記憶する(ステップ110)。
【0022】
番組情報は、図3に示されるような放送中の番組ならびに放送が予定されている番組の情報を含むものであり、操作者からの入力により図3に表わされる番組情報を画面上に表示することも可能である。
【0023】
図3において、「二」、「副」、「ス」、「モ」の各語句が各番組名を表示した欄の右下隅に記されているが、この語句は、各番組における放送種別を表わし、それぞれ、「二カ国語放送」、「主/副音声放送」、「ステレオ放送」、「モノラル放送」を意味する。この情報は車載用デジタルテレビ受信装置1が受信した電波からEPG・データデコーダ部18で解読されるデータの一部(放送種別識別コード)として含まれている。S0は、受信している番組の放送種別識別コードを取り出したものである。
【0024】
ステップ110で取得された番組の放送内容について、記憶されたS0の値を続くステップ111から113は操作制御部30内部に設けられた番組情報判定手段を表わす。これらのステップで放送種別識別コードを判定し、判定結果に基づき、操作制御部30が再生する音声を選択し、再生音声制御部26への指示を与える。
【0025】
まず、EPG・データデコーダ部18から操作制御部30に送出されたS0の値とモノラル放送を表わす放送種別識別コードとの比較判定が行われる(ステップ111)。比較判定の結果が一致した場合、受信している番組はモノラル放送であると判定され、操作制御部30は再生音声としてモノラル音声を選択するよう再生音声制御部26に指示を与える(ステップ115)。
【0026】
ステップ111でS0の値がモノラル放送の放送種別識別コードと一致しなかった場合は、受信中の番組は、多重音声により放送されているものと判定され、S0がステレオ放送を表わす放送種別識別コードと比較される(ステップ112)。ここで値が一致した場合は、制御操作部30は再生音声として主/副音声の双方を選択するよう再生音声制御部26に指示を与える(ステップ116)。
【0027】
ステップ112で値が一致しなかった場合、S0が二カ国語放送を表わす放送種別識別コードと比較され(ステップ113)、値が一致すると、操作制御部30は再生音声として主音声のみを選択するように再生音声制御部26に指示を与える(ステップ117)。
【0028】
ステップ113でS0値が二カ国語放送識別コードとも一致しなかった場合、操作制御部30は再生音声として副音声を選択するよう再生音声制御部26に指示を与える(ステップ114)。この時、S0の値がモノラル放送、ステレオ放送、二カ国語放送のいづれでもないことから、受信中の番組は、音声多重放送で主音声とは異なる副音声(一般的には弱視者のための解説音声)となる。
【0029】
以上のステップで車両の走行状況ならびに受信中の放送番組の多重音声の判別に基づく画像表示ならびに音声の選択が行われたこととなる。以下のステップは、この車両走行状況ならびに番組情報の変移により、受信していた番組が終了し、他の放送形態を有する次の番組を受信していることを検知した場合の操作ステップを示す。
【0030】
操作制御部30は、運転状況検知部40からの出力情報を確認し、その結果をC1として記憶する(ステップ120)。
【0031】
次に、操作制御部30は、ステップ101で記憶されているC0の値とステップ120で記憶されたC1の値とを比較し(ステップ121)、その値が一致しない場合、操作制御部30は、新たに取得した運転状況検知出力C1をC0として記憶した後(ステップ122)、ステップ102に戻り、それ以降の操作を繰り返す。ステップ121で値が一致すれば、走行状況に変化が無いものとし、次のステップ125に移行する。
【0032】
ステップ125で、操作制御部30は番組情報(放送種別識別コード)をEPG・データデコーダ部18から取得し、その結果をS1として記憶する。
【0033】
次に、操作制御部30は、ステップ110で記憶されているS0の値とステップ125で記憶されたS1の値とを比較し(ステップ126)、その値が一致しない場合、操作制御部30は、新たに取得した番組情報出力値S1をS0として記憶した後(ステップ127)、ステップ111に戻り、それ以降の操作を繰り返す。ステップ126で値が一致すれば、番組情報に変化が無いものとし、次のステップ130に移行する。
【0034】
ステップ130で、操作制御部30は操作入力部32からの操作情報を確認し、受信局の選局が変更されたか否かを判定する(ステップ130)。
【0035】
このステップ130で操作者から選局変更の操作が行われていることが検知された場合、操作制御部30は新たに選局された受信局を受信するように受信選局部10への指示を与え、復調部12からの情報で受信選局の完了を検知すると、ステップ110へ戻り、以後のステップを繰り返す。
【0036】
ステップ131で操作者から受信・音声選択自動モードの解除の操作が選択されたか否かの検知を行う。このステップ131で自動モードを解除する操作が操作者に要求されている場合、操作制御部30は音声選択の自動モードを解除し(ステップ140)、テレビ放送の再生音声は操作者の選択により行うことができるようになる。
ステップ131で操作者からの自動モード解除の操作がなされていない場合、操作制御部30はステップ120に戻り、以後のステップを繰り返す。
【0037】
上記の実施例により、デジタルテレビ放送で放送局から送信されてくる番組情報中に含まれる放送種別識別コードと車両の走行状況を検知する運転状況検知部からの出力に基づき、操作制御部30が再生する音声を自動的に選択することが可能である。
【0038】
なお、本発明の更なる実施例として、デジタルテレビ放送は、その放送する映像情報中に各種の映像種別識別コードを重畳して送ることも可能であり、例えば、送信する画像が一般的な動画ではなく、天気図等の静止画像であることを示す映像種別識別コードを送信することができる。
【0039】
上記の映像種別識別コードは車載用デジタルテレビ受信装置1内の映像信号復号部20に設けられた映像種別情報検出手段により検出される。映像信号復号部20に設けられた映像種別情報検出手段は、映像復号部20が復号する映像信号に重畳された映像種別識別コードを読み出し、当該映像種別識別コードを操作制御部30に送出する。操作制御部30は、映像復号部20から送出される映像種別識別コードが受信中の画像が静止画像であることを示しているとき、運転状況検知部40からの出力が車両が走行中であることを示している場合であっても、表示部34に静止画像を表示するよう表示映像制御部24に指示を出すことが可能である。
【0040】
上記の様な静止画像であれば、運転者の注意を損なうことが無く、運転者に音声情報とともに十分な情報を提供することができる。
【0041】
図4に静止画像を表示するためのフローチャート図の一例を示す。
このフローチャート図で図2のフローチャート図と同一のステップ番号を有する箇所は図2と同一の動作を行うので、説明を省略する。
【0042】
ステップ101から104までは図2と同じ動作である。
【0043】
ステップ201で、操作制御部30は映像信号復号部20に設けられた映像種別情報識別手段から映像種別識別コードを取得し、P0として記憶する。続くステップ202で取得したP0が静止画像を表わすコードであるか否かを判定する。
【0044】
ステップ202の判定結果、P0が静止画像を表わす場合、画面表示をオンとする(ステップ203)。即ち、ステップ102で車両が走行中であると判別され、画面表示がオフとなっていたとしても、静止画像の画面表示を行う様にこのステップ202から203で設定する。
【0045】
ステップ202の判定結果、P0が静止画像以外の場合は、ステップ204で画面表示をオフとする。その後、ステップ110に移行し、以後ステップ117までは図2のフローチャートと同じ動作であるため説明を省略する。
【0046】
ステップ117までの動作で画像表示ならびに再生音声が選択されると、操作制御部30は次の動作を確定するため、ステップ120に移行し、図2のフローと同様に運転状況の変化の有無を確認する。その後、ステップ210で、操作制御部30は、新たに映像信号復号部20に設けられた映像種別情報検出手段から映像種別識別コードを取得し、P1として記憶する。このP1とステップ201で取得したP0との比較判定を行う(ステップ211)。
【0047】
ステップ211の判定の結果、P0とP1が相違している場合、操作制御部30は、新たに取得したP1の値をP0として記憶した後(ステップ212)ステップ202に戻り、このステップ以降の操作を繰り返す。
【0048】
ステップ211の判定の結果、P1とP0との値が一致した場合、操作制御部30はステップ125に移行し、以後、図2のフローチャートと同じ動作を繰り返す。
【0049】
【発明の効果】
以上説明したように、本発明は、車両の走行状況を検知する検知部からの出力と、放送され受信されている番組に関する番組情報から得られる放送種別識別コードに基づき、再生する音声を選択するようにしたので、走行中に運転者の注意を損なうこと無く、受信している番組の情報を提供することを可能とし、かつ、当該再生音声を前記検知部出力と前記放送種別識別コードに基づき自動的に選択するように設定したので、運転者が最大限の情報を得るために行う必要がある操作を省く事ができるとの効果を有する。
【0050】
更に、本発明は、映像信号復号部が検出する映像信号中に映像種別識別信号が重畳されて送信される場合において、当該映像種別識別信号が静止画像を表わす場合、更なる追加の映像情報を自動的に画面上に表示するように設定したので、運転者に更なる追加情報を提供でき、運転者へのテレビ放送からの情報提供が更に効果的に行えるとの効果を有するものである。
【図面の簡単な説明】
【図1】本発明に係る車載用デジタルテレビ受信装置のブロック図
【図2】本発明に係る車載用デジタルテレビ受信装置の動作フローチャート図
【図3】EPGの一例
【図4】静止画像を表示する車載用デジタルテレビ受信装置のフローチャート図
【符号の説明】
1 車載用デジタルテレビ放送受信装置
10 受信選局部
18 EPG・データデコーダ部
20 映像信号復号部
22 音声信号復号部
24 表示映像制御部
26 再生音声制御部
30 操作制御部
32 操作入力部
34 表示部
36 スピーカ
40 運転状況検知部

Claims (1)

  1. 少なくとも、放送電波を受信・選局する受信選局部と、受信・選局された放送電波を復調する復調部と、復調された電波信号から映像信号、音声信号および番組情報等その他の情報信号に分配するデマルチプレクサ部と、前記情報信号を復号するデータデコーダ部と、映像信号を復号する映像信号復号部と、音声信号を復号する音声信号復号部とを有する車載用デジタルテレビ放送受信装置において、
    車両の運転状況を検知するセンサ部と、
    前記データデコーダ部により復号された情報信号から受信中の放送電波の番組情報を判定する番組情報判定手段と、
    前記センサ部の出力と判定された番組情報とから再生する音声情報の選択を行う選択手段とを備え
    前記センサ部が車両が走行中であることを検知し、かつ、前記番組情報判定手段が受信している番組の番組情報が副音声を有する番組であると判定するとき、
    前記選択手段が再生する音声として副音声を選択することを特徴とする車載用デジタルテレビ放送受信装置。
JP26974099A 1999-09-24 1999-09-24 車載用デジタルテレビ放送受信装置 Expired - Fee Related JP3665237B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26974099A JP3665237B2 (ja) 1999-09-24 1999-09-24 車載用デジタルテレビ放送受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26974099A JP3665237B2 (ja) 1999-09-24 1999-09-24 車載用デジタルテレビ放送受信装置

Publications (2)

Publication Number Publication Date
JP2001094897A JP2001094897A (ja) 2001-04-06
JP3665237B2 true JP3665237B2 (ja) 2005-06-29

Family

ID=17476508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26974099A Expired - Fee Related JP3665237B2 (ja) 1999-09-24 1999-09-24 車載用デジタルテレビ放送受信装置

Country Status (1)

Country Link
JP (1) JP3665237B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341234A (ja) * 2004-05-27 2005-12-08 Pioneer Electronic Corp 受信装置
JP2007331615A (ja) * 2006-06-15 2007-12-27 National Univ Corp Shizuoka Univ 番組共視聴システム
EP2608431A1 (en) * 2011-12-19 2013-06-26 Thomson Licensing Method for processing an audiovisual content and corresponding device

Also Published As

Publication number Publication date
JP2001094897A (ja) 2001-04-06

Similar Documents

Publication Publication Date Title
US8144259B2 (en) Broadcast receiving apparatus and method for minimizing program interruption by an emergency warning signal
JP2006186849A (ja) テレビジョン受信機及びこのテレビジョン受信機の制御方法
US20050273233A1 (en) In-vehicle electronic apparatus and method for displaying digital broadcast in the same
JP2001077712A (ja) デジタル放送受信装置およびデジタル放送受信方法
JP3665237B2 (ja) 車載用デジタルテレビ放送受信装置
JP3951729B2 (ja) 車両用ディジタル放送受信装置
JP2001053635A (ja) 受信装置及び受信方法
JP2007096402A (ja) ディジタル放送受信装置
JP2008085762A (ja) デジタル放送受信装置、並びにデジタル放送受信装置の制御方法及び制御プログラム。
JP2008042443A (ja) テレビジョン放送受信機、及び、テレビジョン放送処理方法
JP2008005190A (ja) テレビ受像機
JP3133687B2 (ja) 録画装置
JP2005286816A (ja) 放送受信装置、送信装置および音声再生装置
JPH05130604A (ja) スクランブル信号の受信装置
JP2004112502A (ja) デジタル放送受信端末装置とその不感地帯対処方法
JP6647990B2 (ja) デジタル放送受信装置
JP3179228B2 (ja) 多重放送用受信機
JP4491542B2 (ja) 地上波デジタル放送受信機および地上波デジタル放送受信方法
JPH06205317A (ja) 多チャンネル放送受信機
JPH02302194A (ja) 衛星放送チューナ内蔵カラーテレビジョン受信機
JPH0595552A (ja) スクランブル信号の受信装置
JP2577432Y2 (ja) 衛星受信装置
JPH06237423A (ja) テレビジョン信号受信装置
JP3404831B2 (ja) テレビジョン受信機
JP2005341234A (ja) 受信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090408

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100408

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110408

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees