JP3645228B2 - 受信装置 - Google Patents

受信装置 Download PDF

Info

Publication number
JP3645228B2
JP3645228B2 JP2002115263A JP2002115263A JP3645228B2 JP 3645228 B2 JP3645228 B2 JP 3645228B2 JP 2002115263 A JP2002115263 A JP 2002115263A JP 2002115263 A JP2002115263 A JP 2002115263A JP 3645228 B2 JP3645228 B2 JP 3645228B2
Authority
JP
Japan
Prior art keywords
program
information
execution
execution capability
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002115263A
Other languages
English (en)
Other versions
JP2003009024A (ja
Inventor
道弘 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002115263A priority Critical patent/JP3645228B2/ja
Publication of JP2003009024A publication Critical patent/JP2003009024A/ja
Application granted granted Critical
Publication of JP3645228B2 publication Critical patent/JP3645228B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Circuits Of Receivers In General (AREA)
  • Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ディジタル放送などのディジタルデータを伝送できる送受信システムにおいて、映像,音声の他に受信装置で実行可能なプログラムを受信し、受信した実行可能なプログラムを能力に応じて実行するための受信装置に関する。
【0002】
また、視聴者からの操作情報に基づいて実行可能なプログラムの動作を変化させるための受信装置に関する。
【0003】
【従来の技術】
従来の受信装置では、放送局側から送られてくる符号化された映像信号,音声信号を復号化し、その復号化した映像信号をCRT(陰極線管)に、同じく復号化した音声信号をスピーカに出力していた。このため、視聴者は放送されてくる映像を眺めるだけ、及び音声を聞くだけであり、映像信号,音声信号を供給するコンテンツプロバイダーは、視聴者毎に(視聴者の反応に応じて)異なるプレゼンテーションの形態をとることができなかった。
【0004】
これに対して特開平9−23417号の特許公開公報には、番組プログラム(コンピュータプログラム)を受信する手段を有し、その受信したコンピュータプログラムを視聴者からの操作情報,タイムテーブルに応じて実行することで、インタラクティブな再生が行える再生装置が開示されている。
【0005】
【発明が解決しようとする課題】
しかしながら、特開平9−23417号の特許公開公報に記載されている再生装置とは異なり、映像信号,音声信号の復号及び出力を主に行い、受信装置で実行可能なプログラムの実行を補助的に用いる受信装置に於いては、送られてくる実行可能なプログラムを実行することによって受信装置の限界能力を超えるような場合に、主として処理すべき映像,音声信号の復号及び出力処理が破綻する可能性があった。また、補助的に用いる実行可能なプログラムが、映像,音声信号の出力を邪魔する可能性があった。
【0006】
本発明は、上述の課題に鑑みてなされたものであり、映像信号,音声信号の復号及び出力を主に行う受信装置に於いて、補助的に用いるプログラムを実行する場合であっても、主として処理すべき映像,音声信号の復号及び出力処理を破綻させることなく、また、補助的に用いるプログラムが映像,音声信号の出力を邪魔するようなことを防止できる受信装置の提供を目的とする。
【0007】
【課題を解決するための手段】
本発明に係る受信装置は、上述の課題を解決するために、符号化された映像信号及び音声信号、並びに受信装置側で実行可能なプログラム、前記プログラムの表示時間に関する表示時間情報及び前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報が多重されたディジタルデータを受信し、映像信号及び音声信号を復号して出力する受信装置において、前記ディジタルデータ中から前記プログラムと前記プログラムの表示時間に関する表示時間情報及び前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報を分離する分離手段と、前記プログラムを実行することで映像または音声処理を行うプログラム実行手段と、前記プログラムに関する情報をもとに、前記表示時間を満たしているときに前記プログラムによる表示を行わせ、前記表示時間を満たさないときに前記プログラムによる表示を止めるように前記プログラム実行手段の動作を制御する第1の制御手段と、前記受信装置のプログラム実行能力情報と前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報とを比較し、前記プログラムを実行する際に要求されるプログラム実行能力が、前記受信装置のプログラム実行能力を超える場合には、プログラムを実行しないように前記プログラム実行手段を制御する第2の制御手段とを有し、前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報は、プログラムを伝送するパケットに付随するストリーム識別情報に含まれるプログラム管理情報で示されており、前記第2の制御手段は、前記プログラム管理情報と前記受信装置のプログラム実行能力情報とを比較することで前記プログラム実行手段を制御することを特徴とする。
【0008】
すなわち本発明の受信装置によれば、映像,音声処理の破綻を防ぐために、第2の制御手段は、プログラム管理情報と受信装置のプログラム実行能力情報とを比較し、プログラム管理情報が示すプログラム実行能力が、受信装置のプログラム実行能力を超える場合には、プログラムを実行しないようにプログラム実行手段を制御し、また、受信したプログラムが映像,音声出力を邪魔するのを防ぐために、第1の制御手段は、プログラムに関する情報をもとに、表示時間を満たしているときにプログラムによる表示を行わせ、表示時間を満たさないときにプログラムによる表示を止めるようにプログラム実行手段の動作を制御する。
【0009】
【発明の実施の形態】
以下、本発明に係る受信装置の好ましい実施の形態について、図面を参照しながら詳細に説明する。
【0010】
本実施の形態では、いわゆるMPEG(Moving Picture image coding Experts Group)のトランスポートストリーム(以下、TSとする)を用いて、符号化された映像及び音声信号と受信装置で実行可能なプログラムとを多重し、ディジタル放送システムを用いて送受信するシステムを例に挙げて説明する。
【0011】
図1には、本発明における受信装置の一実施の形態を示すブロック図を示す。
【0012】
図1において、受信した(複数のTSが多重されている)放送波は、選局部1を介して復調部2に送られ、この復調部2にて復調されることで1本のTSが得られる。このTSには、複数のストリームから構成されている番組が複数個多重されている。
【0013】
次に、PSI(Program Specific Infomation:プログラム仕様情報)処理部4は、デマルチプレクサ3を介して、図2に示すようにTS中に含まれている番組の情報であるPAT(Program Association Table:番組表)やPMT(Program Map Table:番組対応表)から、選択した番組を構成する各ストリーム(映像、音声等)のPID(Packet IDentification:ストリーム識別情報)を取得する。
【0014】
制御部5は、PSI処理部4からのPIDに基づいて、デマルチプレクサ3にてTSから各ストリームを分離させる。
【0015】
このデマルチプレクサ3にて分離された映像信号は映像復号部6へ、音声信号は音声復号部8に送られ、これらにより復号化が行われることで番組が再生される。
【0016】
ここで、映像復号部6は、符号化された映像信号を復号する手段であり、例えばMPEGで圧縮された映像を復号するMPEGデコーダである。この映像復号部6で復号化された映像信号は、映像処理部7で画質の調整,ウィンドウ処理、ODS処理等がされてモニタ等に出力される。
【0017】
また、音声復号部8は符号化された音声信号を復号する手段であり、例えば、AC−3(ATSC standard Doc.A/52, 20 Dec.1995)デコーダである。この音声復号部8で復号化された音声信号は、音声処理部9で音質の調整,外部入力からの合成等が行われてスピーカー等に出力される。
【0018】
ここまでに述べた映像信号及び音声信号の受信から出力までの処理の流れをフローチャートとして表すと、図3及び図4に示すようになる。
【0019】
図3は映像信号の復号処理の流れを示している。この図3において、先ずステップS1にて映像復号処理が開始し、ステップS2にて映像信号(映像データ)の受信が行われると、次のステップS3では符号化された映像信号をMPEGの規格に則って復号する。その次のステップS4では、画質の調整,ウィンドウ処理、ODS処理等の映像制御(加工)のための情報入力がなされ、ステップS5ではその入力がなされた映像制御(加工)のための情報に基づいた映像加工処理が、映像信号に施される。その映像加工処理された映像信号は、その後、ステップS6にてモニタ等に出力される。
【0020】
図4は音声信号の復号処理の流れを示している。この図4において、先ずステップS10にて音声復号処理が開始し、ステップS11にて音声信号(音声データ)の受信が行われると、次のステップS12では符号化された音声信号をAC−3の規格に則って復号する。その次のステップS13では、音質の調整,外部入力からの合成等の音声制御(加工)のための情報入力がなされ、ステップS14ではその入力がなされたその音声制御(加工)のための情報に基づいた音声加工処理が、音声信号に施される。その音声加工処理された音声信号は、その後、ステップS15にてスピーカー等に出力される。
【0021】
一方、PSI処理部4からのPIDに基づいてデマルチプレクサ3がTSから分離した番組の各ストリームに、図2で示すような映像,音声信号以外のプログラムとプログラム管理情報が含まれる場合、本実施の形態の受信装置は以下のように動作する。
【0022】
デマルチプレクサ3で分離されたこれらストリームはプログラム受信部10に送られる。プログラム受信部10では、受信したプログラム管理情報からプログラムを実行するのに必要とされる機能をチェックし、この受信装置で実行できるプログラムであるか否かを判定し、実行できるプログラムであれば、そのプログラムをプログラム実行部11に、また、プログラム関連情報を制御部5に送る。
【0023】
ここで、図2に示すプログラム関連情報中の、プログラムを実行するのに必要とされる機能とは、例えば、多重してあるプログラムが動作する受信装置のメーカ,型番の一覧,動作するOS(オペレーティング・システム)の種類,電話回線のサポートの有無等である。
【0024】
制御部5では、プログラム受信部10から得たプログラム関連情報中の制御情報に従って、プログラム実行部11でのプログラムの実行を制御する。
【0025】
ここで、図2に示すプログラム関連情報中の制御情報とは、例えば動作させる時間(受信装置のSTC(system time clock:デコードのための基本となる同期信号)カウンタの値、ストリーム中のPCR(Program Clock Reference:プログラム時刻基準参照値)の値でプログラムの実行を制御させる等)、動作させる条件(特定のPIDのストリームを受信している間だけ動作させる等)、優先度(複数のプログラムが同時に動作する場合、どちらを優先するか等)等を示す情報である。つまり、プログラム実行部11では、制御部5を介して得られる受信番組の情報、受信装置の情報をもとに、プログラムの動作が制御されることになる。また、制御部5は、プログラム実行部11が実行するプログラムの実行結果をもとに、受信データの切り替えを行うことになる。
【0026】
例えば図5で示す様に、映像、音声信号以外にプログラムが多重されている番組Aがあり、プログラム関連情報には動作させる時間としてPCR(STC)で指定されたプログラムロード後のある時間から番組Aが終了するまでの時間が与えられ、動作させる条件としては映像信号が入っているPIDを受信している間の条件が与えられるとした場合には、プログラムロード後のPCR(STC)で指定された時間からプログラムの実行が行われ、途中で番組Bに切り替わると、時間条件ではまだ実行しているべきであるが、番組がAからBに変わることによって映像信号のPIDが動作条件でのPIDと変わるため、ここで動作条件を満たさなくなり、プログラムの動作を止めることでプログラムが番組Bを妨害することを妨げる。すなわち、図5中の点線にて示す期間でプログラムが実行されていると、番組Bを妨害してしまうが、プログラムの動作を止めることでプログラムが番組Bを妨害することを妨げる。
【0027】
なお、映像信号、音声信号は受信後、復号して出力すれば終わりであるが、プログラムの場合、受信したあと、いつまでも動作させることができるため、このようにプログラムの外からプログラムの実行を制御する手段が必要である。もちろん時間条件、動作条件等を番組受信中に限定しないことで、常駐型のプログラムを動作させることも可能である。
【0028】
このようなプログラム制御の流れをフローチャートとして表すと、図6に示すようになる。この図6において、先ずステップS20にてプログラム制御処理が開始し、ステップS21にてプログラムとプログラム関連情報の受信が行われると、次のステップS22では受信装置の情報とプログラム関連情報とを比較し、さらに次のステップS23ではその比較結果から実行可能プログラムか否かの判定を行う。このステップS23にて実行可能プログラムでないと判定したときにはステップS34にて処理を終了し、実行可能プログラムであると判定したときには、ステップS24以降の処理に進む。なお、受信装置の情報とは、メーカ名、デコーダの型番、OS、時間情報等である。
【0029】
ステップS24ではプログラムを実行部11にロードし、次のステップS25ではプログラム動作条件,時間,優先度等のチェックを行う。ステップS26ではそのチェック結果から、動作条件を満たしているか否かを判定し、満たしていないときにはステップS27に、満たしたときにはステップS30に処理を進める。ステップS27では、実行可能期間が終了したか否かの判定を行い、終了したと判定したときにはステップS34にて処理を終了し、終了していないと判定したときにはステップS28にてプログラム中断の指示を行った後にステップS25の処理に戻る。
【0030】
一方、ステップS26にて動作条件を満たしたと判定したときに進むステップS30では、受信装置の動作モードからプログラム実行能力を評価し、次のステップS31では実行能力とプログラム負荷を比較する。ステップS32ではステップS31の比較結果に基づいて、プログラム実行可能か否かの判定を行い、実行可能でないと判定したときにはステップS25の処理に戻り、実行可能であると判定したときにはステップS33にてプログラム実行指示を行った後にステップS25の処理に戻る。
【0031】
次に、プログラムを実行する場合、本実施の形態の受信装置の動作は以下のようになる。
【0032】
本実施の形態の受信装置において、プログラムを実行する際には、図1の一部を抜き出して示す図7のように、プログラム関連情報中の負荷情報と、実行能力評価部13から得られる受信装置のプログラム実行能力レベルとを比較し、プログラムの実行が受信装置の処理能力を超えることで、主に処理すべき映像,音声の復号処理が破綻しない様にする(超える場合は、プログラムの実行を行わない)。ここで、図2及び図7に示すプログラム関連情報中の負荷情報とは、例えばプログラムを動作させる際に、受信装置側のプログラム実行部が利用可能な空きメモリ容量(必要とするメモリ容量)、必要とされる演算能力(単位時間当たりり演算量)等であり、また、あらかじめメモリ容量と演算能力でレベル分けした値でもよく、プログラム関連情報中に含めず、プログラムの入っているパケットのID(識別データ)で示してもよい。なお、演算能力でレベル分けした値とは、例えばMPEGデコーダでいえばプロファイルとレベルで表されるMP@ML(Main Profile at Main Level)、MP@HL(Main Profile at High Level)等である。
【0033】
また、実行能力評価部13は、例えば図7で示される様に、受信装置の動作モードに対して、能力値を吐き出すLUT(Look Up Table)で構成されている。
【0034】
このようにすることでデコーダの動作に応じて変化する余力(プログラムの実行に割ける能力)をリアルタイムに変化させることができる。ここで、受信装置の動作モードとは、MP@HLデコード、MP@MLデコード、EPG(Electric Program Guide:電子番組ガイド)表示等のデコーダ動作モードである。
【0035】
プログラム実行部11では、プログラム受信部10から得られるプログラムをこのプログラム実行部11内のメモリに格納し、制御部5からの制御情報に従ってプログラムを実行することで、映像処理部7、音声処理部9を制御し、復号された映像,音声信号を加工(画質、音質の調整、ウィンドウ処理、ODS合成、キャラクタ表示、音声合成等)することができる。また、ここで動作させるプログラムが、視聴者からの操作を受け付けられるようなものであれば、プログラム実行部11では、例えばリモコン等の操作部12から操作情報を受け、それに従ってプログラムの実行を制御することが可能である。
【0036】
このようなプログラム実行処理の流れをフローチャートとして表すと、図8に示すようになる。この図8において、先ずステップS40にてプログラム実行処理が始まり、ステップS41にてプログラムの実行が開始される。このプログラムの実行中に、ステップS42ではプログラムの実行中断の指示があるか否かの判定を行い、中断の指示があるときにはステップS46にて処理を終了する。
【0037】
一方で、中断の指示がないときに、ステップS43にて操作部12からの入力があると、ステップS44では操作と実行結果に基づく処理が行われる。次のステップS45では、映像や音声制御情報等を出力した後、ステップS42の処理に戻る。
【0038】
このようにすることで、本実施の形態の受信装置によれば、受信している番組が多重化されたマルチストリームであれば、従来はリモコンで操作するチャンネルとストーリを固定的に関連付けることしかできなかったものが、間にプログラムを介することで、プログラムに対して操作を行い、プログラムがその操作に適したストーリを選択し、制御部5を介してそのストーリのPIDの付いた映像,音声信号をデコードして出力することが可能である。
【0039】
また、従来は一方的に表示することしかできなかったEPG,CM(commercial)等をプログラムの形で送ることで、視聴者との間でインタラクティブ性を持たせることができたり、視聴制限を行う際に、視聴者に対してどうすれば視聴できるかなどのメッセージを番組(コンテンツ)毎に自由に設定することができる。
【0040】
【発明の効果】
本発明に係る受信装置によれば、映像,音声処理の破綻を防ぐことができるとともに、受信したプログラムが映像,音声出力を邪魔するのを防ぐことができる。これにより、ただ見せるだけのコンテンツ(番組,CM,EPG等)だけでなく、より自由度のある(視聴者とコンテンツの間にインタラクティブ性を持たせる)コンテンツの再生が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施の形態における受信装置のブロック図である。
【図2】番組のストリーム構成の例を示す図である。
【図3】映像信号処理の流れを示すフローチャートである。
【図4】音声信号処理の流れを示すフローチャートである。
【図5】プログラム管理情報を用いたプログラムの制御の例を説明するために用いる図である。
【図6】プログラム制御処理の流れを示すフローチャートである。
【図7】実行能力評価部の動作例を説明するために用いるブロック図である。
【図8】プログラム実行処理の流れを示すフローチャートである。
【符号の説明】
1…選局部、2…復調部、3…デマルチプレクサ、4…PSI処理部
5…制御部、6…映像復号部、7…映像処理部、8…音声復号部、
9…音声処理部、10…プログラム受信部、11…プログラム実行部
12…操作部、13…実行能力評価部

Claims (2)

  1. 符号化された映像信号及び音声信号、並びに受信装置側で実行可能なプログラム、前記プログラムの表示時間に関する表示時間情報及び前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報が多重されたディジタルデータを受信し、映像信号及び音声信号を復号して出力する受信装置において、
    前記ディジタルデータ中から前記プログラムと前記プログラムの表示時間に関する表示時間情報及び前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報を分離する分離手段と、
    前記プログラムを実行することで映像または音声処理を行うプログラム実行手段と、
    前記プログラムに関する情報をもとに、前記表示時間を満たしているときに前記プログラムによる表示を行わせ、前記表示時間を満たさないときに前記プログラムによる表示を止めるように前記プログラム実行手段の動作を制御する第1の制御手段と、
    前記受信装置のプログラム実行能力情報と前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報とを比較し、前記プログラムを実行する際に要求されるプログラム実行能力が、前記受信装置のプログラム実行能力を超える場合には、プログラムを実行しないように前記プログラム実行手段を制御する第2の制御手段とを有し、
    前記プログラムを実行する際に要求されるプログラム実行能力を表す実行能力情報は、プログラムを伝送するパケットに付随するストリーム識別情報に含まれるプログラム管理情報で示されており、
    前記第2の制御手段は、前記プログラム管理情報と前記受信装置のプログラム実行能力情報とを比較することで前記プログラム実行手段を制御することを特徴とする受信装置。
  2. 前記受信装置のプログラム実行能力をリアルタイムに評価し、前記受信装置のプログラム実行能力情報を生成する評価手段を有することを特徴とする請求項1記載の受信装置。
JP2002115263A 2002-04-17 2002-04-17 受信装置 Expired - Lifetime JP3645228B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002115263A JP3645228B2 (ja) 2002-04-17 2002-04-17 受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002115263A JP3645228B2 (ja) 2002-04-17 2002-04-17 受信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP30895697A Division JPH11146294A (ja) 1997-11-11 1997-11-11 受信装置

Publications (2)

Publication Number Publication Date
JP2003009024A JP2003009024A (ja) 2003-01-10
JP3645228B2 true JP3645228B2 (ja) 2005-05-11

Family

ID=19194004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002115263A Expired - Lifetime JP3645228B2 (ja) 2002-04-17 2002-04-17 受信装置

Country Status (1)

Country Link
JP (1) JP3645228B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101143002B1 (ko) 2005-04-11 2012-05-08 삼성전자주식회사 전기 영동 표시 장치

Also Published As

Publication number Publication date
JP2003009024A (ja) 2003-01-10

Similar Documents

Publication Publication Date Title
US8830404B2 (en) Broadcast receiving apparatus and method for controlling broadcast receiving apparatus
KR100311479B1 (ko) 디지털 티브이의 채널제어 장치 및 방법
US20060126488A1 (en) Broadcast receiving apparatus and method for controlling video switch thereof
US9307279B2 (en) Digital broadcasting receiving apparatus with improved start-up speed and start-up method for the digital broadcasting receiving apparatus
US20090010324A1 (en) Decoding apparatus and decoding method with efficient response to channel switching
US20050172320A1 (en) Signal processing apparatus and signal processing method
JP2007282082A (ja) デジタル放送受信装置
JP2005516500A (ja) 画像データの欠如の際の知覚される視覚出力品質を向上するための画像処理方法及びシステム
JP2002051325A (ja) デジタル放送映像受信装置およびデジタル放送映像受信方法
WO2010087273A1 (ja) 表示装置、通信装置、表示方法及びプログラム記録媒体
JP3645228B2 (ja) 受信装置
JP2009017360A (ja) デジタル放送受信装置及びその制御方法、並びにコンピュータプログラム
KR20030027514A (ko) 디지털 텔레비전의 채널절환 방법 및 장치
JP5848872B2 (ja) 放送受信装置
JP4067468B2 (ja) ディジタル放送受信装置
JP2004297643A (ja) 信号処理装置及びその制御方法
JPH11146294A (ja) 受信装置
US20070116041A1 (en) Digital broadcast receiver
US8855321B2 (en) Method for processing audio signal and broadcasting output apparatus using the same
JP2007081951A (ja) 携帯端末、および起動方法
JP4210997B2 (ja) デジタル放送受信装置
KR100364733B1 (ko) 디지털 티브이의 아날로그/디지털 오에스디 제어장치
JP2003264762A (ja) デジタルtv受信機
KR100735189B1 (ko) 디지털 티브이에서 스포츠 경기의 스코어 표시 방법
JP4375389B2 (ja) デジタル放送信号受像機

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term