JP3871129B2 - デジタル放送ストリーム処理装置 - Google Patents

デジタル放送ストリーム処理装置 Download PDF

Info

Publication number
JP3871129B2
JP3871129B2 JP2003007401A JP2003007401A JP3871129B2 JP 3871129 B2 JP3871129 B2 JP 3871129B2 JP 2003007401 A JP2003007401 A JP 2003007401A JP 2003007401 A JP2003007401 A JP 2003007401A JP 3871129 B2 JP3871129 B2 JP 3871129B2
Authority
JP
Japan
Prior art keywords
message
playback
digital broadcast
transport stream
predetermined program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003007401A
Other languages
English (en)
Other versions
JP2003283999A (ja
JP2003283999A5 (ja
Inventor
直江 加藤
圭志 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003007401A priority Critical patent/JP3871129B2/ja
Publication of JP2003283999A publication Critical patent/JP2003283999A/ja
Publication of JP2003283999A5 publication Critical patent/JP2003283999A5/ja
Application granted granted Critical
Publication of JP3871129B2 publication Critical patent/JP3871129B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル放送ストリーム処理装置に関し、より特定的には、受信ストリームが表す番組をタイムシフト再生可能なデジタル放送ストリーム処理装置に関する。
【0002】
【従来の技術】
近年、タイムシフト再生が可能なデジタル放送ストリーム処理装置(以下、ストリーム処理装置と略記する)が普及してきている。タイムシフト再生とは、デジタル放送本来の編成時間とは別の時間に番組を再生することを意味する。特に、番組が映像及び音声から構成される場合、タイムシフト再生により、ユーザは上記編成時間とは別の時間に番組を視聴できるようになる。
【0003】
図17は、従来のストリーム処理装置の全体構成を示すブロック図である。図17において、ストリーム処理装置は、チューナ101と、復調部102と、デスクランブラ103と、トランスポートデコーダ104と、インタフェイス105と、バス106と、記録装置107と、音声デコーダ108と、映像デコーダ109と、画像合成部1010と、インタフェイス1011と、フラッシュROM(Read Only Memory)1012と、CPU(Central Processing Unit)1013とを備えている。
【0004】
チューナ101は、プロセッサ1013からの制御信号に従って選局を行い、選択された放送局に割り当てられた周波数帯(つまり、チャネル)の高周波信号HSを受信する。受信した高周波信号HSを、チューナ101は、受信信号RSとして復調部102に出力する。ここで、高周波信号HSは、所定の鍵Kd を使ってスクランブルされたトランスポートストリームTSを搬送波に載せた信号である。また、トランスポートストリームTSは、番組を表す音声データAD及び映像データVD、並びに必要なデータをMPEG2(Motion Picture Experts Group phase2)に従って符号化したものを少なくとも含む。
【0005】
復調部102は、チューナ101の受信信号RSを復調して、復調したものを、ベースバンド帯を有する復調信号DS(つまりスクランブルされたトランスポートストリームTS)として、デスクランブラ103に出力する。
デスクランブラ103は、プロセッサ1013の制御下で設定される鍵Kd を使って、復調部102からの復調信号DSをデスクランブルする。デスクランブルしたものを、復調部102は、トランスポートストリームTSとして、トランスポートデコーダ104に出力する。
【0006】
トランスポートデコーダ104は様々な動作を行うが、本従来技術の説明では、タイムシフト再生時の処理について説明する。つまり、トランスポートデコーダ104は、デスクランブラ103からのトランスポートストリームTSをデコードして、パーシャルトランスポートストリームPSを作成する。その後、トランスポートデコーダ104は、作成したパーシャルトランスポートストリームPSをインタフェイス105に出力する。
【0007】
インタフェイス105は、トランスポートデコーダ104からのパーシャルトランスポートストリームPSを使って、IEEE(Institute of Electrical and Electronics Engineers)1394の規定に従って複数のパケットPPSを組み立てて、バス106に送出する。
バス106は、IEEE1394に準拠しており、インタフェイス105からの各パケットPPSを記録装置107に向けて伝送する。
【0008】
記録装置107は、例えばハードディスク又はDVD(Digital Varsatile Disk)のように、大容量でランダムアクセス可能な記録媒体を有しており、バス106からのパケットPPSを、パーシャルトランスポートストリームPSに分解して、分解したものを内部の記録媒体に記録する。
【0009】
また、タイムシフト再生するに先立ち、記録装置107には、プロセッサ1013から、現在録画中の番組の再生コマンドが送られてくる。記録装置107は、受信コマンドに応答して、再生すべき番組を構成するパーシャルトランスポートストリームPSを内部の記録媒体から読み出し、その後、読み出したものからパケットPPSを組み立てて、バス106に送出する。
【0010】
バス106は、記録装置107からのパケットPPSをインタフェイス105に向けて伝送する。インタフェイス105は、受信パケットPPSを、パーシャルトランスポートストリームPSに分解して、分解したものをトランスポートデコーダ104に出力する。
【0011】
トランスポートデコーダ104は、インタフェイス105からのパーシャルトランスポートストリームPSをデコードして、MPEG2に従って符号化された音声データCDA及び映像データCDVを再生する。その後、トランスポートデコーダ104は、再生した符号化音声データCDAを音声デコーダ108に出力し、再生した符号化映像データCDVを映像デコーダ109に出力する。
【0012】
音声デコーダ108は、トランスポートデコーダ104からの符号化音声データCDAを復号して、再生対象番組を構成する音声を表す音声データADを再生する。その後、音声デコーダ108は、再生した音声データADを、ストリーム処理装置の音声出力端子(図示せず)に接続されているスピーカ200に送信する。スピーカ200は、受信した音声データADに従って音声を出力する。
【0013】
また、映像デコーダ109は、トランスポートデコーダ104からの符号化映像データCDVを復号して、再生対象番組を表す映像データVDを再生する。その後、映像デコーダ109は、再生した映像データVDを、プロセッサ1013の制御下で画像合成部1010が有するフレームメモリ(図示せず)に転送する。画像合成部1010は、ストリーム処理装置の映像出力端子(図示せず)に接続されているモニタ300に、フレームメモリ上の映像データVDを送信する。モニタ300は、受信映像データVDに従って、映像を出力する。
【0014】
また、ストリーム処理装置のスロット(図示せず)には、ICカード400が挿入され、これによって、インタフェイス1011は、ICカード400と接続される。ICカード400は、記録装置107に記録される番組の放送開始前に、トランスポートストリームTSに多重化される各種情報を使って、鍵Kd を生成する。生成された鍵Kd は、上述のようにデスクランブラ103に設定される。さらに、ICカード400には、トランスポートストリームTSに多重化されるEMM個人メッセージが格納される。このEMM個人メッセージは典型的には、有料デジタル放送の視聴料金をユーザが放送事業者に支払ったか否かを示すデータである。
【0015】
フラッシュROM1012は、本ストリーム処理装置の各構成を制御するためのコンピュータプログラムを格納している。このコンピュータプログラムを、プロセッサ1013は実行する。
以上のようなストリーム処理装置は、例えば、特許公開2001−119669号公報に開示されている。
【0016】
また、トランスポートストリームTSには、番組を表す映像及び音声以外にも、自動表示メッセージを多重することができる。自動表示メッセージは、上述のようなストリーム処理装置の画像合成部1010で、映像データVDに合成される。自動表示メッセージに関しては、「BS/広帯域CSデジタル放送運用規定技術資料(ARIB TR−B15)」(社団法人 電波産業会)の第四編及び第五編に詳細に規定されている。
【0017】
【特許文献1】
特許公開2001−119669号公報
【非特許文献1】
「BS/広帯域CSデジタル放送運用規定技術資料(ARIB TR−B15)」(社団法人 電波産業会)
【0018】
【発明が解決しようとする課題】
ところで、メッセージの自動表示には、限定受信テーブル(以下、CAT(Conditional Access Table)と称する) 及び個別情報(以下、EMM(Entitlement Management Message)と称する) が必要となる。また、トランスポートデコーダ104は、トランスポートストリームTSから、パーシャルトランスポートストリームPSを作成するが、IEEE1394の規定によれば、パーシャルトランスポートストリームPSにCAT及びEMMは含まれない。その結果、パーシャルトランスポートストリームPSを使って番組を再生するタイムシフト再生時に、上述のストリーム処理装置は、自動表示メッセージをユーザに提供することができないという問題点があった。
【0019】
それ故に、本発明の目的は、タイムシフト再生時にも、自動表示メッセージを生成可能なデジタル放送ストリーム処理装置を提供することである。
【0020】
【課題を解決するための手段及び発明の効果】
第1の発明は、デジタル放送ストリーム処理装置であって、所定番組の記録を開始するために、入力トランスポートストリームからパーシャルトランスポートストリームを作成し、さらに、メッセージの自動表示に必要な情報を分離するトランスポートデコーダと、トランスポートデコーダにより作成されたパーシャルトランスポートストリームを格納する記録装置と、トランスポートデコーダにより分離された情報を格納する情報格納部と、所定番組の再生を開始するための再生コマンドを生成する再生開始処理部とを備える。ここで、記録装置はさらに、再生開始処理部により生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出す。トランスポートデコーダはさらに、記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生する。デジタル放送ストリーム処理装置はさらに、再生開始処理部により再生コマンドが生成されると、情報格納部の格納情報を使って、自動表示メッセージを作成するメッセージ作成部をさらに備える。
【0021】
第1の発明において、デジタル放送ストリーム処理装置は、トランスポートストリームに多重される番組をユーザがタイムシフト再生可能に構成されている。また、トランスポートデコーダはさらに、記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を構成する映像を表しておりかつ符号化されている符号化映像データを少なくとも再生する。デジタル放送ストリーム処理装置はさらに、トランスポートデコーダにより再生された符号化映像データを復号して、所定番組を構成する映像を表す映像データを再生する映像デコーダと、メッセージ作成部で作成された自動表示メッセージを、映像デコーダで再生された映像データに重畳する画像合成部とを備える。
【0022】
第2の発明は、デジタル放送ストリーム処理装置であって、所定番組の記録を開始するために、入力トランスポートストリームから、メッセージの自動表示に必要な情報を含むパーシャルトランスポートストリームを作成するトランスポートデコーダと、トランスポートデコーダにより作成されたパーシャルトランスポートストリームを格納する記録装置と、所定番組の再生を開始するための再生コマンドを生成する再生開始処理部とを備える。ここで、記録装置はさらに、再生開始処理部により生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出す。トランスポートデコーダはさらに、記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する。デジタル放送ストリーム処理装置はさらに、再生開始処理部により再生コマンドが生成されると、トランスポートデコーダにより分離された情報を使って、自動表示メッセージを作成するメッセージ作成部を備える。
【0023】
第2の発明において、デジタル放送ストリーム処理装置は、トランスポートストリームに多重される番組をユーザがタイムシフト再生可能に構成されている。トランスポートデコーダはさらに、記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を構成する映像を表しておりかつ符号化されている符号化映像データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する。デジタル放送ストリーム処理装置はさらに、トランスポートデコーダにより再生された符号化映像データを復号して、所定番組を構成する映像を表す映像データを再生する映像デコーダと、メッセージ作成部で作成された自動表示メッセージを、映像デコーダで再生された映像データに重畳する画像合成部とを備える。
【0024】
第2の発明において、自動表示メッセージに必要な情報は、パーシャルトランスポートストリームのPMT(Program Map Table )又はSIT(Selection Map Table )に記述される。また、他にも、自動表示メッセージに必要な情報は、エレメンタリストリームとして、パーシャルトランスポートストリームに多重される。
【0025】
第3の発明は、デジタル放送ストリーム処理装置であって、所定番組を記録するために、受信トランスポートストリームを格納する記録装置と、所定番組の再生を開始するための再生コマンドを生成する再生開始処理部とを備える。ここで、記録装置はさらに、再生開始処理部により生成された再生コマンドに応答して、所定番組を含むトランスポートストリームを読み出す。デジタル放送ストリーム処理装置はさらに、記録装置により読み出されたトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離するトランスポートデコーダと、再生開始処理部により再生コマンドが生成されると、トランスポートデコーダにより分離された情報を使って、自動表示メッセージを作成するメッセージ作成部とを備える。
【0026】
第3の発明において、デジタル放送ストリーム処理装置は、トランスポートストリームに多重される番組をユーザがタイムシフト再生可能に構成されている。ここで、トランスポートデコーダはさらに、記録装置により読み出されたトランスポートストリームから、所定番組を構成する映像を表しておりかつ符号化されている符号化映像データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する。デジタル放送ストリーム処理装置はさらに、再生開始処理部により再生コマンドが生成されると、トランスポートデコーダにより分離された情報を使って、自動表示メッセージを作成するメッセージ作成部と、トランスポートデコーダにより再生された符号化映像データを復号して、所定番組を構成する映像を表す映像データを再生する映像デコーダと、メッセージ作成部で作成された自動表示メッセージを、映像デコーダで再生された映像データに重畳する画像合成部とを備える。
【0027】
第1〜第3の発明において、デジタル放送ストリーム処理装置は、好ましくは、所定番組の録画開始時刻と再生開始時刻との時間差を算出して、算出した時間差が所定の基準時間以下か否かを判断する判断部をさらに備える。ここで、メッセージ作成部は、判断部により基準時間以下であると判断された場合に限り、情報格納部の格納情報を使って、自動表示メッセージを作成する。
【0028】
以上の第1〜第3の発明によれば、所定番組の録画時に、自動表示メッセージの作成に必要な情報は待避される。そして、タイムシフト再生のために再生コマンドが作成されると、待避された情報を使って、自動表示メッセージの作成が行われる。これによって、タイムシフト再生時であっても、ユーザに自動表示メッセージを提示することが可能なデジタル放送ストリーム処理装置を提供することが可能となる。
【0029】
第4の発明は、デジタル放送ストリーム処理方法であって、所定番組の記録を開始するために、入力トランスポートストリームからパーシャルトランスポートストリームを作成し、さらに、メッセージの自動表示に必要な情報を分離する第1のデコードステップと、第1のデコードステップで作成されたパーシャルトランスポートストリームを格納する記録ステップと、第1のデコードステップで分離された情報を格納する情報格納ステップと、所定番組の再生を開始するための再生コマンドを生成する再生開始ステップと、再生開始ステップで生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出す読み出しステップと、読み出しステップで読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生する再生ステップと、再生開始ステップで再生コマンドが生成されると、情報格納ステップの格納情報を使って、自動表示メッセージを作成するメッセージ作成ステップとを備える。
【0030】
第5の発明は、デジタル放送ストリーム処理方法であって、所定番組の記録を開始するために、入力トランスポートストリームから、メッセージの自動表示に必要な情報を含むパーシャルトランスポートストリームを作成する第1のデコードステップと、第1のデコードステップで作成されたパーシャルトランスポートストリームを格納する記録ステップと、所定番組の再生を開始するための再生コマンドを生成する再生開始ステップと、再生開始ステップで生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出す読み出しステップと、記録ステップで読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する再生・分離ステップと、再生開始ステップで再生コマンドが生成されると、再生・分離ステップで分離された情報を使って、自動表示メッセージを作成するメッセージ作成ステップとを備える。
【0031】
第6の発明は、デジタル放送ストリーム処理方法であって、所定番組を記録するために、受信トランスポートストリームを格納する記録ステップと、所定番組の再生を開始するための再生コマンドを生成する再生開始ステップと、再生開始ステップで生成された再生コマンドに応答して、所定番組を含むトランスポートストリームを読み出す読み出しステップと、記録ステップで読み出されたトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する再生・分離ステップと、再生開始ステップで再生コマンドが生成されると、再生・分離ステップで分離された情報を使って、自動表示メッセージを作成するメッセージ作成ステップとを備える。
【0032】
第4〜第6の発明において、デジタル放送ストリーム処理方法は、コンピュータ装置上で実行可能なコンピュータプログラムとして実現される。また、コンピュータプログラムが記録媒体上に記録される。
【0033】
【発明の実施の形態】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るストリーム処理装置1の全体構成を示すブロック図である。図1において、ストリーム処理装置1は、図17のストリーム処理装置と比較すると、トランスポートデコーダ104、画像合成部1010、及びフラッシュROM(Read Only Memory)1012の代わりに、トランスポートデコーダ501、画像合成部503及びフラッシュROM504を備える点で相違する。また、ストリーム処理装置1は、RAM502をさらに備える点で、図17のストリーム処理装置と相違する。それ以外に両者の間には相違点は無いので、図1において、図17の構成に相当するものには同一の参照符号を割り当て、それらの説明を省略する。
【0034】
トランスポートデコーダ501は、デスクランブラ103からのトランスポートストリームTSを受け取り、受け取ったものに対して、後で詳説する処理を行う。ここで、図2は、トランスポートデコーダ501への入力トランスポートストリームTSのデータ構造を示す模式図である。図2において、トランスポートストリームTSは、プログラムアソシエーションテーブルパケット(以下、PATパケットと称する)PPAT と、プログラムマップテーブルパケット(以下、PMTパケット)PPMT と、エレメンタリストリームパケット(以下、ESパケットと称する)PESと、限定受信テーブルパケット(以下、CATパケットと称する)PCAT と、個別情報パケット(以下、EMMパケットと称する)PEMM とを含む。
【0035】
PATパケットPPAT は、PAT(Program Association Table) を構成しており、各チャネルのPMTパケットPPMT に割り当てられているPID(Packet ID) を指定する。PMTパケットPPMT は、各チャネル毎のPMT(Program Map Table) を構成しており、対象となるチャネルを使って多重される映像、音声及びデータを構成するESパケットPESのPIDを指定する。ESパケットPESには、所定のPIDが割り当てられており、さらに、各チャネルに多重される映像、音声又はデータのエレメンタリストリームが含まれる。
【0036】
限定受信テーブルパケットPCAT は、CAT(Conditional Access Table)を構成しており、EMMパケットPEMM に割り当てられているCA_PIDを指定する。EMMパケットPEMM には、所定のCA_PIDが割り当てられており、典型的には、EMM共通メッセージが含まれる。ここで、本実施形態では、EMM共通メッセージは、EMM個別メッセージに関連して、ユーザに視聴料金の支払いを促すためのメッセージであるとする。
【0037】
なお、トランスポートストリームTSは、他にもさまざまなパケットを含んでいるが、これらについては図示を省略している。
【0038】
RAM(Random Access Memory)502は一般的には、プロセッサ1013の作業領域として使われる。本実施形態において特徴的であるのは、RAM502には、図3に示すように、第1〜第3の格納領域5021〜5023が予約される点である。第1の格納領域5021は、トランスポートデコーダ501で処理されたトランスポートストリームTSに含まれるCATパケットPCAT 及びEMMパケットPEMM を格納する。第2の格納領域5022は、ユーザにより指定された番組の録画を開始した時刻(以下、録画開始時刻と称する)TREC を格納する。第3の格納領域5023は、録画中の番組再生を開始した時刻(以下、再生開始時刻と称する)TPLAYを格納する。
【0039】
再度、図1を参照する。フラッシュROM504は、本ストリーム処理装置1の各構成を制御するためのコンピュータプログラム5041を格納する。コンピュータプログラム5041はプロセッサ1013により実行される。その結果、タイムシフト再生時、プロセッサ1013は、RAM502内のCATパケットPCAT 及びEMMパケットPEMM と、ICカード400内のEMM個別メッセージとから、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部503に転送する。
【0040】
画像合成部503は、後述する条件を満たす場合に、映像デコーダ109から送られてくる映像データVD、及びプロセッサ1013により作成されたメッセージデータMDをブレンディングして、内部に有するフレームメモリ(図示せず)上で、自動表示メッセージが合成された番組映像を表す映像データVD’を作成する。画像合成部503は、ストリーム処理装置1の映像出力端子(図示せず)に接続されているモニタ300に、フレームメモリ上の映像データVD’を送信する。モニタ300は、受信映像データVD’に従って、スピーカ200の出力音声と同期した映像を出力する。
【0041】
図4は、図1に示すストリーム処理装置1のタイムシフト再生時における動作を示すフローチャートである。
まず、ステップA1で、プロセッサ1013は、ある放送番組の録画を開始する。具体的には、図示しない入力装置の録画ボタンがユーザにより操作された時に、番組録画が開始される。ストリーム処理装置1に設定された予約録画の開始時刻に到達した場合にも、番組録画は開始される。番組録画の開始するために、プロセッサ1013は、前述の制御信号を作成して、チューナ101に送信する。プロセッサ1013はさらに、現在時刻をタイマ(図示せず)から受け取り、受け取った現在時刻を録画開始時刻TREC として第2の格納領域5022に格納する。
【0042】
以上の制御信号に応答して、チューナ101は、受信周波数帯を設定した後、録画対象の番組が多重されている高周波信号HSの受信を開始し、受信したものを受信信号RSとして復調部102に出力する。復調部102は、チューナ101の受信信号RSを復調して、復調信号DSとしてデスクランブラ103に出力する。デスクランブラ103は、プロセッサ1013により設定された鍵Kd を使って、復調部102の出力信号DSをデスクランブルして、トランスポートストリームTSとしてトランスポートデコーダ501に出力する。
【0043】
トランスポートデコーダ501は、入力トランスポートストリームTSから、前述のパーシャルトランスポートストリームPSを作成し、作成したものをインタフェイス105に出力する。インタフェイス105は、入力パーシャルトランスポートストリームPSから前述のパケットPPSを組み立てて、それぞれをバス106を介して記録装置107に送信する。記録装置107は、受信パケットPPSをパーシャルトランスポートストリームPSに分解して、分解したものを内部の記録媒体に記録する。
【0044】
トランスポートデコーダ501はさらに、入力トランスポートストリームTSから、CATパケットPCAT 及びEMMパケットPEMM を分離し、分離したものを、メッセージの自動表示に必要な情報NIとして、第1の記録領域5021に格納する。
以上のようにして始まった番組録画は、所定の終了タイミングが来るまで行われる。
【0045】
次のステップA2で、プロセッサ1013は、現在録画中の番組再生を開始するか否か、つまりタイムシフト再生するか否かを判断する。ステップA2では、番組の再生は典型的には、現在録画中の番組を指定した状態で、上述の入力装置の再生ボタンがユーザにより操作された時に開始される。ステップA2でNOと判断した場合、プロセッサ1013は、ステップA2を再度行う。逆にYESの場合、プロセッサ1013は、ステップA3を行う。
【0046】
ステップA3において、プロセッサ1013は、メッセージの自動表示を行うか否かを判断する。より具体的には、プロセッサ1013はまず、第1の格納領域5021に、CATパケットPCAT 及びEMMパケットPEMM の組み合わせが格納されているか否かを判断する。これらパケットPCAT 及びPEMM がない場合、ステップA3ではNOと判断され、プロセッサ1013は後述のステップA6を行う。
【0047】
逆に、CATパケットPCAT 及びEMMパケットPEMM がある場合には、プロセッサ1013はさらに、第1の格納領域5021内のCATパケットPCAT のCA_service_descriptorを確認した後、インタフェイス1011を介して、EMM個別メッセージをICカード400から取得する。ここで、EMM個別メッセージには、有料デジタル放送の場合、ユーザが契約通りに視聴料金を支払ったか否かを示す情報が含まれる。プロセッサ1013は、以上のEMM個別メッセージを参照して、ユーザが視聴料金を支払い済みか否かを判断する。支払い済みであれば、ステップA3ではNOと判断され、プロセッサ1013は後述のステップA6を行う。また、未払いであれば、プロセッサ1013はステップA4を行う。
【0048】
ステップA4で、プロセッサ1013は、現在時刻をタイマ(図示せず)から受け取り、受け取った現在時刻を再生開始時刻TPLAYとして第3の格納領域5023に格納する。その後、プロセッサ1013は、再生開始時刻TPLAYから、第2の格納領域5022内の録画開始時刻TREC を引き算して、時間差Δtを算出する。さらに、プロセッサ1013は、時間差Δtが予め定められた基準時間TREF 以下か否かを判断する。ステップA4でNOと判断した場合、プロセッサ1013は、後述のステップA6を行う。逆にYESと判断した場合、プロセッサ1013は、ステップA5を行う。
【0049】
ここで、基準時間TREF は、どのような値に設定されても構わない。しかし、自動表示メッセージは、有料デジタル放送の場合、視聴料金を未納のユーザに対して視聴料金の支払いを促すものである場合がある。このような場合、基準時間TREF をあまりに大きな値に設定すると、視聴料金の支払いが終了しているにもかかわらず、ユーザに視聴料金の支払いを促すことになる場合がある。このような観点から、基準時間TREF は、上述のような行き違いが発生する可能性が小さい値、例えば30分に設定される。
【0050】
ステップA5において、プロセッサ1013は、再生対象となる番組、つまり録画中の番組を指定した再生コマンドを生成して、記録装置107に送る。さらに、プロセッサ1013は、第1の記録領域5021内のEMMパケットPEMM から、EMM共通メッセージを取得する。以上のEMM個別メッセージとEMM共通メッセージから、プロセッサ1013は、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部503に転送する。
【0051】
記録装置107は、再生コマンドに応答して、再生対象の番組を構成するパーシャルトランスポートストリームPSを読み出し、読み出したものからパケットPPSを組み立て、バス106を介してインタフェイス105に送信する。インタフェイス105は、受信パケットPPSを、パーシャルトランスポートストリームPSに分解して、トランスポートデコーダ501に出力する。
【0052】
トランスポートデコーダ501は、入力パーシャルトランスポートストリームPSをデコードして、符号化音声データCDA及び符号化映像データCDVを再生する。その後、トランスポートデコーダ104は、再生した符号化音声データCDAを音声デコーダ108に出力し、再生した符号化映像データCDVを映像デコーダ109に出力する。
【0053】
音声デコーダ108は、トランスポートデコーダ104からの符号化音声データCDAを復号し、これによって再生した音声データADをスピーカ200に送信する。スピーカ200は、受信した音声データADに従って音声を出力する。映像デコーダ109は、トランスポートデコーダ104からの符号化映像データCDVを復号して、映像データVDを再生する。映像デコーダ109は、再生した映像データVDを、画像合成部503に転送する。
【0054】
画像合成部503は、受信映像データVD及び受信メッセージデータMDをブレンディングして、内部に有するフレームメモリ(図示せず)上に、自動表示メッセージが合成された番組映像を表す映像データVD’を作成する。画像合成部503は、ストリーム処理装置1に接続されているモニタ300に、フレームメモリ上の映像データVD’を送信する。モニタ300は、受信映像データVD’に従って、スピーカ200の出力音声と同期した映像と、それに重畳された自動表示メッセージとを出力する(図5参照)。
【0055】
以上説明したように、本実施形態によれば、第1の格納領域5021には、CATパケットPCAT 及びEMMパケットPEMM が格納される。さらに、プロセッサ1013は、ステップA3〜A5を行うことにより、タイムシフト再生時であっても、自動表示メッセージを番組映像上に重畳することが可能となる。
【0056】
なお、ステップA3で自動表示メッセージがないと、又はステップA4で時間差Δtが基準時間TREF 以下でないと判断した場合、ステップA6で、プロセッサ1013は、上述同様の再生コマンドを生成して、インタフェイス105を介して記録装置107に送る。これによって、従来技術の欄で説明したような、自動表示メッセージが合成されていない番組映像がモニタ300から出力される。
【0057】
なお、第1の実施形態では、CATパケットPCAT 及びEMMパケットPEMM は、RAM502に格納されるとして説明したが、これに限らず、他の記憶媒体でも構わない。
【0058】
(第2の実施形態)
図6は、本発明の第2の実施形態に係るストリーム処理装置2の全体構成を示すブロック図である。図6において、ストリーム処理装置2は、図17のストリーム処理装置と比較すると、トランスポートデコーダ104、画像合成部1010、及びフラッシュROM(Read Only Memory)1012の代わりに、トランスポートデコーダ601、画像合成部603及びフラッシュROM604を備える点で相違する。また、ストリーム処理装置2は、RAM602をさらに備える点で、図17のストリーム処理装置と相違する。それ以外に両者の間には相違点は無いので、図6において、図17の構成に相当するものには同一の参照符号を割り当て、それらの説明を省略する。
【0059】
トランスポートデコーダ601は、デスクランブラ103からのトランスポートストリームTSを受け取り、受け取ったものに対して、後で詳説する処理を行う。
図7は、トランスポートデコーダ601への入力トランスポートストリームTSのデータ構造を示す模式図である。図7において、トランスポートストリームTSは、PATパケットPPAT と、PMTパケットPPMT と、ESパケットPESとを含む。
【0060】
PATパケットPPAT 及びESパケットPESは、第1の実施形態で説明した通りのものであるため、それぞれの説明を省略する。PMTパケットPPMT は、メッセージの自動表示に必要な情報NIを含む。
【0061】
図8は、本実施形態に係るPMTパケットPPMT で構成されるPMTを示す模式図である。図8において、PMTは、table_idと、program_numberと、descriptor_tagと、descriptor_lengthと、CA_system_idと、CA_broadcaster_group_idと、個別情報としてのEMM共通メッセージと、いくつかのstream_type及びES_PIDの組みとを含んでいる。
【0062】
table_idは、PMTを特定するための固有の番号であり、0x02に定められている。program_numberは、PMTが記述する番組を示す固有の番号であり、本実施形態では103と記述されている。
【0063】
descriptor_tagは、自動表示メッセージ用の記述子を識別するための固有の番号であり、本実施形態では0x7fと定められている。descriptor_lengthは、メッセージの自動表示に必要な情報NIの長さを示している。CA_system_idは、対象となる限定受信方式を識別するための番号であり、CA_broadcaster_group_idは、対象となる限定受信情報を放送している事業者を識別するための番号である。
【0064】
stream_typeは、PMTに記述する番組を構成する映像、音声及びデータのいずれかを示す。また、ES_PIDは、同じ組みをstream_typeで特定される映像、音声又はデータのエレメンタリストリームのPIDである。
【0065】
なお、トランスポートストリームTSは、他にもさまざまなパケットを含んでいるが、これらについては図示を省略している。
【0066】
RAM(Random Access Memory)602は一般的には、プロセッサ1013の作業領域として使われる。本実施形態において特徴的であるのは、RAM602には、図9に示すように、第1及び第2の格納領域6021及び6022が予約される点である。第1の格納領域6021及び第2の格納領域6022は、第1の実施形態で定義した録画開始時刻TREC 及び再生開始時刻TPLAYを格納する。
【0067】
再度、図6を参照する。フラッシュROM604は、本ストリーム処理装置2の各構成を制御するためのコンピュータプログラム6041を格納する。コンピュータプログラム6041はプロセッサ1013により実行される。その結果、タイムシフト再生時、プロセッサ1013は、上述のPMTパケットPPMT と、ICカード400内のEMM個別メッセージとから、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部603に転送する。
【0068】
画像合成部603は、後述する条件を満たす場合に、映像デコーダ109から送られてくる映像データVD、及びプロセッサ1013により作成されたメッセージデータMDをブレンディングして、内部に有するフレームメモリ(図示せず)上で、自動表示メッセージが合成された番組映像を表す映像データVD’を作成する。画像合成部603は、ストリーム処理装置2に接続されているモニタ300に、フレームメモリ上の映像データVD’を送信する。
【0069】
図10は、本ストリーム処理装置2のタイムシフト再生時の動作を示すフローチャートである。
まず、ステップB1で、プロセッサ1013は、前述のステップA1で説明したように、ある番組の録画開始のために、前述の制御信号を作成して、チューナ101に送信する。プロセッサ1013はさらに、図示しないタイマから録画開始時刻TREC を取得し、第1の格納領域6021に格納する。
【0070】
番組録画の開始により、前述と同様に、デスクランブラ103は、トランスポートストリームTSをトランスポートデコーダ601に出力する。トランスポートデコーダ601は、入力トランスポートストリームTSから、前述のパーシャルトランスポートストリームPSを作成し、作成したものをインタフェイス105に出力する。以上のようなパーシャルトランスポートストリームPSは、前述と同様に記録装置107に記録される。ここで、トランスポートデコーダ601は、ARIBの規定に従った処理を行って、PMTパケットPPMT が含まれるパーシャルトランスポートストリームPSを作成する。また、自動表示メッセージに必要な情報NIは全てPMTに記述される。以上のことから、本実施形態では、自動表示メッセージに必要な情報NIは記録装置107に格納されることになる。以上のようにして始まった番組録画は、所定の終了タイミングが来るまで行われる。
【0071】
次のステップB2で、プロセッサ1013は、前述のステップA2と同様の手法で、現在録画中の番組再生を開始するか否かを判断する。ステップB2でNOと判断した場合、プロセッサ1013は、ステップB2を再度行う。逆にYESの場合、プロセッサ1013はステップB3を行う。
【0072】
ステップB3において、プロセッサ1013は、再生対象となる番組、つまり録画中の番組を指定した再生コマンドを生成して、記録装置107に送る。その結果、記録装置107は、再生対象の番組を構成するパーシャルトランスポートストリームPSから組み立てられたパケットPPSを、バス106を介してインタフェイス105に送信する。インタフェイス105は、受信パケットPPSを、パーシャルトランスポートストリームPSに分解して、トランスポートデコーダ601に出力する。
【0073】
トランスポートデコーダ601は、前述と同様、入力パーシャルトランスポートストリームPSから、符号化音声データCDA及び符号化映像データCDVを再生する。符号化音声データCDAは音声デコーダ108に出力され、符号化映像データCDVは映像デコーダ109に出力される。さらに、トランスポートデコーダ601は、入力パーシャルトランスポートストリームPSに、descriptor_tagが含まれる場合には、メッセージの自動表示に必要な情報NIとして、descriptor_tagと、descriptor_lengthと、CA_system_idと、CA_broadcaster_group_idと、個別情報としてのEMM共通メッセージとを分離して、プロセッサ1013に送信する。
【0074】
音声デコーダ108は、トランスポートデコーダ104からの符号化音声データCDAを復号し、これによって再生した音声データADをスピーカ200に送信する。スピーカ200は、受信した音声データADに従って音声を出力する。映像デコーダ109は、トランスポートデコーダ104からの符号化映像データCDVを復号して、映像データVDを再生する。映像デコーダ109は、再生した映像データVDを、画像合成部03に転送する。
【0075】
ステップB3の後、ステップB4で、プロセッサ1013は、予め定められた時間(以下、制限時間と称する)だけ、メッセージの自動表示に必要な情報NIが送られてくることを待機する。必要な情報NIを制限時間内に受信できない場合、プロセッサ1013は、図10の処理を終了する。逆に、必要な情報NIを受信した場合、プロセッサ1013は、ステップB5を行う。
【0076】
ステップB5で、プロセッサ1013は、ステップメッセージの自動表示を行うか否かを判断する。より具体的には、プロセッサ1013はまず、インタフェイス1011を介して、前述のEMM個別メッセージをICカード400から取得する。EMM個別メッセージから視聴料金が支払い済みであるとプロセッサ1013が判断すれば、ステップB5ではNOと判断され、プロセッサ1013は、図10の処理を終了する。また、未払いであれば、プロセッサ1013はステップB6を行う。
【0077】
ステップB6で、プロセッサ1013は、現在時刻をタイマ(図示せず)から受け取り、受け取った現在時刻を再生開始時刻TPLAYとして第2の格納領域6022に格納する。その後、プロセッサ1013は、第1の実施形態と同様にして時間差Δtを算出し、その後、算出した時間差Δtが予め定められた基準時間TREF 以下か否かを判断する。以上のステップB6でNOと判断した場合、プロセッサ1013は、図10の処理を終了する。逆にYESと判断した場合、プロセッサ1013は、ステップB7を行う。
【0078】
ステップB7において、プロセッサ1013は、トランスポートデコーダ601からの受信情報NIから、EMM共通メッセージを取得する。以上のEMM個別メッセージとEMM共通メッセージから、プロセッサ1013は、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部603に転送する。
【0079】
画像合成部603は、受信映像データVD及び受信メッセージデータMDをブレンディングして、内部に有するフレームメモリ(図示せず)上に、自動表示メッセージが合成された番組映像を表す映像データVD’を作成する。画像合成部603は、ストリーム処理装置2に接続されているモニタ300に、フレームメモリ上の映像データVD’を送信する。モニタ300は、受信映像データVD’に従って、スピーカ200の出力音声と同期した映像と、それに重畳された自動表示メッセージとを出力する(図5参照)。
【0080】
以上説明したように、本実施形態によれば、トランスポートストリームTSのPMTパケットPPMT は個別情報を含む。さらに、プロセッサ1013は、ステップB3〜B7を行うことにより、タイムシフト再生時であっても、自動表示メッセージを番組映像上に重畳することが可能となる。
【0081】
なお、ステップB4〜B6のいずれかでNOと判断した場合、プロセッサ1013は、メッセージデータMDを作成しない。これによって、従来技術の欄で説明したような、自動表示メッセージが合成されていない番組映像がモニタ300から出力される。
【0082】
なお、第2の実施形態において、メッセージの自動表示に必要な情報NIの記述子をPMTパケットPPMT に記述されたが、これに限らず、この記述子は、図11に示すように、SIT(Selection Information Table) パケットPSIT が構成するSITに記述されても良い。この場合も、トランスポートデコーダ601は、上述と同様の処理により、メッセージの自動表示を行うことができる。
【0083】
(第3の実施形態)
図12は、本発明の第3の実施形態に係るストリーム処理装置3の全体構成を示すブロック図である。図12において、ストリーム処理装置3は、図17のストリーム処理装置と比較すると、トランスポートデコーダ104、画像合成部1010、及びフラッシュROM(Read Only Memory)1012の代わりに、トランスポートデコーダ701、画像合成部703及びフラッシュROM704を備える点で相違する。また、ストリーム処理装置3は、RAM702をさらに備える点で、図17のストリーム処理装置と相違する。それ以外に両者の間には相違点は無いので、図12において、図17の構成に相当するものには同一の参照符号を割り当て、それらの説明を省略する。
【0084】
トランスポートデコーダ701はまず、デスクランブラ103の出力トランスポートストリームTSから、パーシャルトランスポートストリームPSを作成する。なお、トランスポートストリームTSのデータ構造は、第1の実施形態で説明したとおりであるため、本実施形態では、その説明を省略する。また、パーシャルトランスポートストリームPSの詳細な作成方法については後述する。
【0085】
RAM(Random Access Memory)702は一般的には、プロセッサ1013の作業領域として使われ、第2の実施形態と同様に、録画開始時刻TREC を格納するための第1の格納領域6021と、再生開始時刻TPLAYを格納するための第2の格納領域6022とを有している(図9参照)。
【0086】
フラッシュROM704は、本ストリーム処理装置3の各構成を制御するためのコンピュータプログラム7041を格納する。コンピュータプログラム7041はプロセッサ1013により実行される。その結果、タイムシフト再生時、プロセッサ1013は、上述のパーシャルトランスポートストリームPSにエレメンタリストリームとして多重されるCATパケットPCAT 及び個別情報パケットPEMM と、ICカード400内のEMM個別メッセージとから、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部703に転送する。
【0087】
画像合成部703は、後述する条件を満たす場合に、映像デコーダ109から送られてくる映像データVD、及びプロセッサ1013により作成されたメッセージデータMDをブレンディングして、内部に有するフレームメモリ(図示せず)上で、自動表示メッセージが合成された番組映像を表す映像データVD’を作成する。画像合成部703は、ストリーム処理装置3に接続されているモニタ300に、フレームメモリ上の映像データVD’を送信する。
【0088】
図13は、本ストリーム処理装置3のタイムシフト再生時の動作を示すフローチャートである。
まず、ステップC1で、プロセッサ1013は、前述のステップA1で説明したように、ある番組の録画開始のために、前述の制御信号を作成して、チューナ101に送信する。プロセッサ1013はさらに、図示しないタイマから録画開始時刻TREC を取得し、第1の格納領域6021に格納する。
【0089】
番組録画の開始により、前述と同様に、デスクランブラ103は、トランスポートストリームTSをトランスポートデコーダ701に出力する。トランスポートデコーダ701は、入力トランスポートストリームTSから、パーシャルトランスポートストリームPSを作成する。
【0090】
具体的には、入力トランスポートストリームTSから、トランスポートデコーダ701は、メッセージの自動表示に必要な情報NIとして、CATパケットPCAT 及び個別情報パケットPEMM を取り出す。その後、トランスポートデコーダ701は、取り出したCATパケットPCAT 及び個別情報パケットPEMM から、新たなデータXのエレメンタリストリームを作成した後、作成したエレメンタリストリームに、固有のPID(例えば、y)を割り当てる。さらに、トランスポートデコーダ701は、図14に示すように、このエレメンタリストリームから、割り当てたPIDを含むESパケットPESを作成した後、作成した各ESパケットPESを、CATパケットPCAT 及び個別情報パケットPEMM が取り出されたトランスポートストリームTSに多重する。さらに、トランスポートデコーダ701は、図14に示すように、対象となるPMTに、作成したエレメンタリストリームのPID(図示はES_PID=y)を記述する。これによって、図14に示すような新たなトランスポートストリームTS’が作成される。トランスポートデコーダ701は、このようなトランスポートストリームTS’から、ARIBで規定された通りのパーシャルトランスポートストリームPSを作成する。
【0091】
以上のパーシャルトランスポートストリームPSは、インタフェイス105に出力され、最終的に記録装置107に格納される。以上のようにして始まった番組録画は、所定の終了タイミングが来るまで行われる。
【0092】
次のステップC2で、プロセッサ1013は、前述のステップA2と同様の手法で、現在録画中の番組再生を開始するか否かを判断する。ステップC2でNOと判断した場合、プロセッサ1013は、ステップC2を再度行う。逆にYESの場合、プロセッサ1013は、ステップC3を行う。
【0093】
ステップC3において、プロセッサ1013は、再生対象となる番組、つまり録画中の番組を指定した再生コマンドを生成して、インタフェイス105を介して記録装置107に送る。その結果、記録装置107は、再生対象の番組を構成するパーシャルトランスポートストリームPSから組み立てられたパケットPPSを、バス106を介してインタフェイス105に送信する。インタフェイス105は、受信パケットPPSを、パーシャルトランスポートストリームPSに分解して、トランスポートデコーダ701に出力する。
【0094】
トランスポートデコーダ701は、入力されたパーシャルトランスポートストリームPSから、符号化音声データCDA及び符号化映像データCDVを再生する。符号化音声データCDAは音声デコーダ108に出力され、符号化映像データCDVは映像デコーダ109に出力される。さらに、トランスポートデコーダ701は、入力パーシャルトランスポートストリームPSのPMTに、メッセージの自動表示に必要な情報NIのPIDが記述されている場合には、入力パーシャルトランスポートストリームPSに多重されているCATパケットPCAT 及び個別情報パケットPEMM を分離して、プロセッサ1013に送信する。
【0095】
音声デコーダ108は、トランスポートデコーダ104からの符号化音声データCDAを復号し、これによって再生した音声データADをスピーカ200に送信する。スピーカ200は、受信した音声データADに従って音声を出力する。映像デコーダ109は、トランスポートデコーダ104からの符号化映像データCDVを復号して、映像データVDを再生する。映像デコーダ109は、再生した映像データVDを、画像合成部703に転送する。
【0096】
ステップC3の後、ステップC4で、プロセッサ1013は、前述のステップB4と同様の手法で、前述の制限時間内に、メッセージの自動表示に必要な情報NIが送られてくることを待機する。必要な情報NIを正しく受信できない場合、プロセッサ1013は、図13の処理を終了する。逆に、必要な情報NIを正しく受信した場合、プロセッサ1013は、ステップC5を行う。
【0097】
ステップC5で、プロセッサ1013は、前述のステップB5と同様の手法で、ステップメッセージの自動表示を行うか否かを判断する。ステップC5でNOと判断された場合、プロセッサ1013は、図13の処理を終了する。また、YESと判断されれば、プロセッサ1013はステップC6を行う。
【0098】
ステップC6で、プロセッサ1013は、ステップB6と同様の手法で時間差Δtを算出した後、時間差Δtが基準時間TREF 以下か否かを判断する。以上のステップC6でNOと判断した場合、プロセッサ1013は、図13の処理を終了する。逆にYESと判断した場合、プロセッサ1013は、ステップC7を行う。
【0099】
ステップC7において、プロセッサ1013は、トランスポートデコーダ701からの受信情報NIから、EMM共通メッセージを取得する。以上のEMM個別メッセージとEMM共通メッセージから、プロセッサ1013は、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部703に転送する。
【0100】
画像合成部703は、画像合成部603と同様に、受信映像データVD及び受信メッセージデータMDから映像データVD’を作成して、モニタ300に送信する。モニタ300は、受信映像データVD’に従って、スピーカ200の出力音声と同期した映像と、それに重畳された自動表示メッセージとを出力する(図5参照)。
【0101】
以上説明したように、本実施形態によれば、トランスポートデコーダ701は、CATパケットPCAT 及び個別情報パケットPEMM がエレメンタリストリームとして多重されたトランスポートストリームTS’を作成した後、パーシャルトランスポートストリームPSを作成して、記録装置107に格納する。さらに、プロセッサ1013がステップC3〜C7を行うことにより、タイムシフト再生時であっても、自動表示メッセージを番組映像上に重畳することが可能となる。
【0102】
(第4の実施形態)
図15は、本発明の第4の実施形態に係るストリーム処理装置4の全体構成を示すブロック図である。図15において、ストリーム処理装置4は、図17のストリーム処理装置と比較すると、トランスポートデコーダ104、画像合成部1010、及びフラッシュROM(Read Only Memory)1012の代わりに、トランスポートデコーダ801、画像合成部803及びフラッシュROM804を備える点で相違する。また、ストリーム処理装置4は、RAM802をさらに備える点で、図17のストリーム処理装置と相違する。それ以外に両者の間には相違点は無いので、図15において、図17の構成に相当するものには同一の参照符号を割り当て、それらの説明を省略する。
【0103】
トランスポートデコーダ801はまず、デスクランブラ103の出力トランスポートストリームTSを、そのままインタフェイス105に出力する。なお、トランスポートストリームTSのデータ構造は、第1の実施形態で説明したとおりであるため、本実施形態では、その説明を省略する。
【0104】
RAM(Random Access Memory)802は一般的には、プロセッサ1013の作業領域として使われ、第2の実施形態と同様に、前述の録画開始時刻TREC を格納するための第1の格納領域6021と、前述の再生開始時刻TPLAYを格納するための第2の格納領域6022とを有している(図9参照)。
【0105】
フラッシュROM804は、本ストリーム処理装置4の各構成を制御するためのコンピュータプログラム8041を格納する。コンピュータプログラム8041はプロセッサ1013により実行される。その結果、タイムシフト再生時、プロセッサ1013は、トランスポートストリームTSに多重されるCATパケットPCAT 及び個別情報パケットPEMM と、ICカード400内のEMM個別メッセージとから、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部03に転送する。
【0106】
画像合成部803は、後述する条件を満たす場合に、映像デコーダ109から送られてくる映像データVD、及びプロセッサ1013により作成されたメッセージデータMDをブレンディングして、内部に有するフレームメモリ(図示せず)上で、自動表示メッセージが合成された番組映像を表す映像データVD’を作成する。画像合成部803は、ストリーム処理装置4に接続されているモニタ300に、フレームメモリ上の映像データVD’を送信する。
【0107】
図16は、本ストリーム処理装置4のタイムシフト再生時の動作を示すフローチャートである。
まず、ステップD1で、プロセッサ1013は、前述のステップA1で説明したように、ある番組の録画開始のために、前述の制御信号を作成して、チューナ101に送信する。プロセッサ1013はさらに、図示しないタイマから録画開始時刻TREC を取得し、第1の格納領域6021に格納する。
【0108】
番組録画の開始により、前述と同様に、デスクランブラ103は、トランスポートストリームTSをトランスポートデコーダ01に出力する。トランスポートデコーダ801は、ARIBの規定を考慮することなく、入力トランスポートストリームTSをそのままインタフェイス105に出力する。インタフェイス105は、入力トランスポートストリームTSから、パケットPPSを組み立てる。そのため、記録装置107には、トランスポートストリームTSが格納される。以上のようにして始まった番組録画は、所定の終了タイミングが来るまで行われる。
【0109】
次のステップD2で、プロセッサ1013は、前述のステップA2と同様の手法で、現在録画中の番組再生を開始するか否かを判断する。ステップD2でNOと判断した場合、プロセッサ1013は、ステップD2を再度行う。逆にYESの場合、プロセッサ1013は、ステップD3を行う。
【0110】
ステップD3において、プロセッサ1013は、再生対象となる番組、つまり録画中の番組を指定した再生コマンドを生成して、インタフェイス105及びバス106を介して記録装置107に送る。その結果、記録装置107は、再生対象の番組を構成するトランスポートストリームTSから組み立てられたパケットPPSを、バス106を介してインタフェイス105に送信する。インタフェイス105は、受信パケットPPSを、トランスポートストリームTSに分解して、トランスポートデコーダ801に出力する。
【0111】
トランスポートデコーダ801は、入力されたトランスポートストリームTSから、符号化音声データCDA及び符号化映像データCDVを再生する。符号化音声データCDAは音声デコーダ108に出力され、符号化映像データCDVは映像デコーダ109に出力される。さらに、トランスポートデコーダ801は、入力パーシャルトランスポートストリームPSのPMTに、メッセージの自動表示に必要な情報NIのPIDが記述されている場合には、入力パーシャルトランスポートストリームPSに多重されているCATパケットPCAT 及び個別情報パケットPEMM を分離して、プロセッサ1013に送信する。
【0112】
音声デコーダ108は、トランスポートデコーダ104からの符号化音声データCDAを復号し、これによって再生した音声データADをスピーカ200に送信する。スピーカ200は、受信した音声データADに従って音声を出力する。映像デコーダ109は、トランスポートデコーダ104からの符号化映像データCDVを復号して、映像データVDを再生する。映像デコーダ109は、再生した映像データVDを、画像合成部803に転送する。
【0113】
ステップD3の後、ステップD4で、プロセッサ1013は、前述のステップB4と同様の手法で、前述の制限時間内に、メッセージの自動表示に必要な情報NIが送られてくることを待機する。必要な情報NIを正しく受信できない場合、プロセッサ1013は、図16の処理を終了する。逆に、必要な情報NIを正しく受信した場合、プロセッサ1013は、ステップD5を行う。
【0114】
ステップD5で、プロセッサ1013は、前述のステップB5と同様の手法で、ステップメッセージの自動表示を行うか否かを判断する。ステップD5でNOと判断された場合、プロセッサ1013は、図16の処理を終了する。また、YESと判断されれば、プロセッサ1013はステップD6を行う。
【0115】
ステップD6で、プロセッサ1013は、ステップB6と同様の手法で時間差Δtを算出した後、時間差Δtが基準時間TREF 以下か否かを判断する。以上のステップD6でNOと判断した場合、プロセッサ1013は、図16の処理を終了する。逆にYESと判断した場合、プロセッサ1013は、ステップD7を行う。
【0116】
ステップD7において、プロセッサ1013は、トランスポートデコーダ801からの受信情報NIから、EMM共通メッセージを取得する。以上のEMM個別メッセージとEMM共通メッセージから、プロセッサ1013は、自動表示メッセージを表すデータ(以下メッセージデータと称する)MDを作成して、画像合成部803に転送する。
【0117】
画像合成部803は、画像合成部603と同様に、受信映像データVD及び受信メッセージデータMDから映像データVD’を作成して、モニタ300に送信する。モニタ300は、受信映像データVD’に従って、スピーカ200の出力音声と同期した映像と、それに重畳された自動表示メッセージとを出力する(図5参照)。
【0118】
以上説明したように、本実施形態によれば、トランスポートストリームTSはそのまま記録装置107に格納される。タイムシフト再生時、プロセッサ1013がステップD3〜D7を行うことにより、トランスポートストリームTSに多重されるCATパケットPCAT 及び個別情報パケットPEMM を使って、自動表示メッセージを番組映像上に重畳する。これによって、タイムシフト再生時であっても、メッセージの自動表示が可能となる。
【0119】
なお、以上の第1〜第4の実施形態において、EMM個別メッセージには、ユーザが契約通りに視聴料金を支払ったか否かを示す情報が含まれ、EMM個別メッセージ共通メッセージは、ユーザに視聴料金の支払いを促すためのメッセージであるとして説明した。しかし、これに限らず、EMM個別メッセージは、ユーザが聴覚不自由者であるか否かを示す情報を含んでいて、EMM共通メッセージは、字幕スーパー又は緊急災害情報を含んでいても良い。この場合、ユーザが聴覚不自由者であれば、各ストリーム処理装置1〜4は、字幕スーパー又は緊急災害情報を表示することになる。
【0120】
また、以上の第1〜第4の実施形態において、番組は映像及び音声から構成されるとして説明したが、これに限らず、番組は、音声又はデータのみから構成されていても良い。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るストリーム処理装置1の全体構成を示すブロック図である。
【図2】
に示すトランスポートデコーダ501への入力トランスポートストリームTSのデータ構造を示す模式図である。
【図3】図1に示すRAM502に予約される第1〜第3の格納領域5021〜5023を示す模式図である。
【図4】図1に示すストリーム処理装置1のタイムシフト再生時における動作を示すフローチャートである。
【図5】図1に示すモニタ300の表示画面の一例を示す模式図である。
【図6】本発明の第2の実施形態に係るストリーム処理装置2の全体構成を示すブロック図である。
【図7】図6に示すトランスポートデコーダ601への入力トランスポートストリームTSのデータ構造を示す模式図である。
【図8】第2の実施形態に係るPMTパケットPPMT で構成されるPMTを示す模式図である。
【図9】図6に示すRAM602に予約される第1の格納領域6021及び第2の格納領域6022を示す模式図である。
【図10】図6に示すストリーム処理装置2のタイムシフト再生時における動作を示すフローチャートである。
【図11】第2の実施形態の変型例に係るSITパケットPSIT で構成されるSITを示す模式図である。
【図12】本発明の第3の実施形態に係るストリーム処理装置3の全体構成を示すブロック図である。
【図13】本ストリーム処理装置3のタイムシフト再生時の動作を示すフローチャートである。
【図14】図12に示すトランスポートデコーダ701が再構成するトランスポートストリームTS’のデータ構造を示す模式図である。
【図15】本発明の第4の実施形態に係るストリーム処理装置4の全体構成を示すブロック図である。
【図16】図15に示すストリーム処理装置4のタイムシフト再生時における動作を示すフローチャートである。
【図17】従来のストリーム処理装置の全体構成を示すブロック図である。
【符号の説明】
1,2,3,4…デジタル放送ストリーム処理装置
101…チューナ
102…復調部
103…デスクランブラ
501,601,701,801…トランスポートデコーダ
105…インタフェイス
106…バス
107…記録装置
502,602,702,802…RAM(Random Access Memory)
108…音声デコーダ
109…映像デコーダ
503,603,703,803…画像合成部
1011…インタフェイス
504,604,704,804…フラッシュROM(Read Only Memory)
5041,6041,7041,8041…コンピュータプログラム
1013…CPU(Central Processing Unit)

Claims (20)

  1. デジタル放送ストリーム処理装置であって、
    所定番組の記録を開始するために、入力トランスポートストリームからパーシャルトランスポートストリームを作成し、さらに、メッセージの自動表示に必要な情報を分離するトランスポートデコーダと、
    前記トランスポートデコーダにより作成されたパーシャルトランスポートストリームを格納する記録装置と、
    前記トランスポートデコーダにより分離された情報を格納する情報格納部と、所定番組の再生を開始するための再生コマンドを生成する再生開始処理部とを備え、
    前記記録装置はさらに、前記再生開始処理部により生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出し、
    前記トランスポートデコーダはさらに、前記記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、
    前記デジタル放送ストリーム処理装置はさらに、前記再生開始処理部により再生コマンドが生成されると、前記情報格納部の格納情報を使って、自動表示メッセージを作成するメッセージ作成部をさらに備える、デジタル放送ストリーム処理装置。
  2. トランスポートストリームに多重される番組をユーザがタイムシフト再生可能に構成されており、
    前記トランスポートデコーダはさらに、前記記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を構成する映像を表しておりかつ符号化されている符号化映像データを少なくとも再生し、
    前記デジタル放送ストリーム処理装置はさらに、
    前記トランスポートデコーダにより再生された符号化映像データを復号して、所定番組を構成する映像を表す映像データを再生する映像デコーダと、
    前記メッセージ作成部で作成された自動表示メッセージを、前記映像デコーダで再生された映像データに重畳する画像合成部とを備える、請求項1に記載のデジタル放送ストリーム処理装置。
  3. 所定番組の録画開始時刻と再生開始時刻との時間差を算出して、算出した時間差が所定の基準時間以下か否かを判断する判断部をさらに備え、
    前記メッセージ作成部は、前記判断部により基準時間以下であると判断された場合に限り、前記情報格納部の格納情報を使って、自動表示メッセージを作成する、請求項1に記載のデジタル放送ストリーム処理装置。
  4. デジタル放送ストリーム処理装置であって、
    所定番組の記録を開始するために、入力トランスポートストリームから、メッセージの自動表示に必要な情報を含むパーシャルトランスポートストリームを作成するトランスポートデコーダと、
    前記トランスポートデコーダにより作成されたパーシャルトランスポートストリームを格納する記録装置と、
    所定番組の再生を開始するための再生コマンドを生成する再生開始処理部とを備え、
    前記記録装置はさらに、前記再生開始処理部により生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出し、
    前記トランスポートデコーダはさらに、前記記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離し、
    前記デジタル放送ストリーム処理装置はさらに、前記再生開始処理部により再生コマンドが生成されると、前記トランスポートデコーダにより分離された情報を使って、自動表示メッセージを作成するメッセージ作成部を備える、デジタル放送ストリーム処理装置。
  5. トランスポートストリームに多重される番組をユーザがタイムシフト再生可能に構成されており、
    前記トランスポートデコーダはさらに、前記記録装置により読み出されたパーシャルトランスポートストリームから、所定番組を構成する映像を表しておりかつ符号化されている符号化映像データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離し、
    前記デジタル放送ストリーム処理装置はさらに、
    前記トランスポートデコーダにより再生された符号化映像データを復号して、所定番組を構成する映像を表す映像データを再生する映像デコーダと、
    前記メッセージ作成部で作成された自動表示メッセージを、前記映像デコーダで再生された映像データに重畳する画像合成部とを備える、請求項4に記載のデジタル放送ストリーム処理装置。
  6. 所定番組の録画開始時刻と再生開始時刻との時間差を算出して、算出した時間差が所定の基準時間以下か否かを判断する判断部をさらに備え、
    前記メッセージ作成部は、前記判断部により基準時間以下であると判断された場合に限り、前記情報格納部の格納情報を使って、自動表示メッセージを作成する、請求項4に記載のデジタル放送ストリーム処理装置。
  7. 前記自動表示メッセージに必要な情報は、パーシャルトランスポートストリームのPMT(Program Map Table )又はSIT(Selection Map Table )に記述される、請求項4に記載のデジタル放送ストリーム処理装置。
  8. 前記自動表示メッセージに必要な情報は、エレメンタリストリームとして、パーシャルトランスポートストリームに多重される、請求項4に記載のデジタル放送ストリーム処理装置。
  9. デジタル放送ストリーム処理装置であって、
    所定番組を記録するために、受信トランスポートストリームを格納する記録装置と、
    所定番組の再生を開始するための再生コマンドを生成する再生開始処理部とを備え、
    前記記録装置はさらに、前記再生開始処理部により生成された再生コマンドに応答して、所定番組を含むトランスポートストリームを読み出し、
    前記デジタル放送ストリーム処理装置はさらに、
    前記記録装置により読み出されたトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離するトランスポートデコーダと、
    前記再生開始処理部により再生コマンドが生成されると、前記トランスポートデコーダにより分離された情報を使って、自動表示メッセージを作成するメッセージ作成部とを備える、デジタル放送ストリーム処理装置。
  10. トランスポートストリームに多重される番組をユーザがタイムシフト再生可能に構成されており、
    前記トランスポートデコーダはさらに、前記記録装置により読み出されたトランスポートストリームから、所定番組を構成する映像を表しておりかつ符号化されている符号化映像データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離し、
    前記デジタル放送ストリーム処理装置はさらに、
    前記再生開始処理部により再生コマンドが生成されると、前記トランスポートデコーダにより分離された情報を使って、自動表示メッセージを作成するメッセージ作成部と、
    前記トランスポートデコーダにより再生された符号化映像データを復号して、所定番組を構成する映像を表す映像データを再生する映像デコーダと、
    前記メッセージ作成部で作成された自動表示メッセージを、前記映像デコーダで再生された映像データに重畳する画像合成部とを備える、請求項9に記載のデジタル放送ストリーム処理装置。
  11. 所定番組の録画開始時刻と再生開始時刻との時間差を算出して、算出した時間差が所定の基準時間以下か否かを判断する判断部をさらに備え、
    前記メッセージ作成部は、前記判断部により基準時間以下であると判断された場合に限り、前記情報格納部の格納情報を使って、自動表示メッセージを作成する、請求項9に記載のデジタル放送ストリーム処理装置。
  12. デジタル放送ストリーム処理方法であって、
    所定番組の記録を開始するために、入力トランスポートストリームからパーシャルトランスポートストリームを作成し、さらに、メッセージの自動表示に必要な情報を分離する第1のデコードステップと、
    前記第1のデコードステップで作成されたパーシャルトランスポートストリームを格納する記録ステップと、
    前記第1のデコードステップで分離された情報を格納する情報格納ステップと、
    所定番組の再生を開始するための再生コマンドを生成する再生開始ステップと、
    前記再生開始ステップで生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出す読み出しステップと、
    前記読み出しステップで読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生する再生ステップと、
    前記再生開始ステップで再生コマンドが生成されると、前記情報格納ステップの格納情報を使って、自動表示メッセージを作成するメッセージ作成ステップとを備える、デジタル放送ストリーム処理装置。
  13. コンピュータ装置上で実行可能なコンピュータプログラムとして実現される、請求項12に記載のデジタル放送ストリーム処理方法。
  14. 前記コンピュータプログラムが記録媒体上に記録される、請求項13に記載のデジタル放送ストリーム処理方法。
  15. デジタル放送ストリーム処理方法であって、
    所定番組の記録を開始するために、入力トランスポートストリームから、メッセージの自動表示に必要な情報を含むパーシャルトランスポートストリームを作成する第1のデコードステップと、
    前記第1のデコードステップで作成されたパーシャルトランスポートストリームを格納する記録ステップと、
    所定番組の再生を開始するための再生コマンドを生成する再生開始ステップと、
    前記再生開始ステップで生成された再生コマンドに応答して、所定番組を含むパーシャルトランスポートストリームを読み出す読み出しステップと、
    前記記録ステップで読み出されたパーシャルトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する再生・分離ステップと、
    前記再生開始ステップで再生コマンドが生成されると、前記再生・分離ステップで分離された情報を使って、自動表示メッセージを作成するメッセージ作成ステップとを備える、デジタル放送ストリーム処理方法。
  16. コンピュータ装置上で実行可能なコンピュータプログラムとして実現される、請求項15に記載のデジタル放送ストリーム処理方法。
  17. 前記コンピュータプログラムが記録媒体上に記録される、請求項16に記載のデジタル放送ストリーム処理方法。
  18. デジタル放送ストリーム処理方法であって、
    所定番組を記録するために、受信トランスポートストリームを格納する記録ステップと、
    所定番組の再生を開始するための再生コマンドを生成する再生開始ステップと、
    前記再生開始ステップで生成された再生コマンドに応答して、所定番組を含むトランスポートストリームを読み出す読み出しステップと、
    前記記録ステップで読み出されたトランスポートストリームから、所定番組を表しておりかつ符号化されている符号化データを少なくとも再生し、さらに、メッセージの自動表示に必要な情報を分離する再生・分離ステップと、
    前記再生開始ステップで再生コマンドが生成されると、前記再生・分離ステップで分離された情報を使って、自動表示メッセージを作成するメッセージ作成ステップとを備える、デジタル放送ストリーム処理方法。
  19. コンピュータ装置上で実行可能なコンピュータプログラムとして実現される、請求項18に記載のデジタル放送ストリーム処理方法。
  20. 前記コンピュータプログラムが記録媒体上に記録される、請求項19に記載のデジタル放送ストリーム処理方法。
JP2003007401A 2002-01-16 2003-01-15 デジタル放送ストリーム処理装置 Expired - Fee Related JP3871129B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003007401A JP3871129B2 (ja) 2002-01-16 2003-01-15 デジタル放送ストリーム処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002-6912 2002-01-16
JP2002006912 2002-01-16
JP2003007401A JP3871129B2 (ja) 2002-01-16 2003-01-15 デジタル放送ストリーム処理装置

Publications (3)

Publication Number Publication Date
JP2003283999A JP2003283999A (ja) 2003-10-03
JP2003283999A5 JP2003283999A5 (ja) 2005-12-22
JP3871129B2 true JP3871129B2 (ja) 2007-01-24

Family

ID=29252910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003007401A Expired - Fee Related JP3871129B2 (ja) 2002-01-16 2003-01-15 デジタル放送ストリーム処理装置

Country Status (1)

Country Link
JP (1) JP3871129B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5052788B2 (ja) * 2005-12-27 2012-10-17 京セラ株式会社 デジタル放送受信装置およびデジタル放送受信方法
JP6145730B2 (ja) * 2012-02-22 2017-06-14 パナソニックIpマネジメント株式会社 デスクランブル処理を行う信号処理装置
JP6098798B2 (ja) * 2012-04-18 2017-03-22 パナソニックIpマネジメント株式会社 デスクランブル処理を行う信号処理装置
JP6372316B2 (ja) * 2014-11-13 2018-08-15 船井電機株式会社 デジタルテレビ放送録画装置およびデジタルテレビ放送録画方法
JP6516127B2 (ja) * 2015-09-25 2019-05-22 パナソニックIpマネジメント株式会社 放送番組録画装置及び放送番組録画方法

Also Published As

Publication number Publication date
JP2003283999A (ja) 2003-10-03

Similar Documents

Publication Publication Date Title
JP4076067B2 (ja) 録画再生システム
JP3474510B2 (ja) ディジタル放送送信装置、その受信方法および受信装置
JP4882196B2 (ja) 情報処理システム、情報処理装置、電子機器、情報処理方法及び媒体
US20020057900A1 (en) Information processing apparatus and method, and recording medium
JP2004336576A (ja) コンテンツ配信システム、コンテンツ配信装置、コンテンツ記録再生装置並びにコンテンツ記録再生方法、並びにコンピュータ・プログラム
EP0914002A2 (en) Apparatus for receiving digital broadcast signal and apparatus for recording and reproducing digital broadcast information included in the digital broadcast signal
JP2009020527A (ja) 情報処理装置および情報処理方法
JP2002112237A (ja) デジタル放送受信機
JP3435398B2 (ja) コンテンツ配信方法及びコンテンツデータ記録再生方法及び装置
JP3871129B2 (ja) デジタル放送ストリーム処理装置
US7031781B1 (en) Recording apparatus, recording method and recording medium
JP2002290878A (ja) コンテンツ符号化方法及びコンテンツ配信方法及びコンテンツ受信端末装置
JP4016160B2 (ja) データ受信・記録方法及びデータ受信装置
US7400566B2 (en) Method of sequentially recording programs using calculated reception ending times
JP2002369128A (ja) コンテンツ記録再生方法および装置
JP2002369162A (ja) コンテンツ編成方法および装置
JP2000156848A (ja) デジタル映像装置およびデジタル映像のコピープロテクト方法
JP2006050278A (ja) デジタル放送受信機およびデジタル放送システム
JP2002064795A (ja) 画像伝送装置および方法、画像記録装置および方法、記録装置および方法、再生装置および方法、記録再生装置および方法、並びに記録媒体
JP2003348537A (ja) デジタル放送ストリーム処理装置
WO2013179364A1 (ja) 番組情報表示装置、番組情報出力装置および番組情報表示方法
US20060285820A1 (en) Digital broadcast method and system for supporting dvd recording and relevant receiving and recording method and device
JP2000332706A (ja) 放送装置および方法、受信装置および方法、並びに媒体
JP2004241941A (ja) デジタル放送番組提供システム、デジタル放送番組再生テストシステム、デジタル放送番組提供方法、及び、デジタル放送番組再生テスト方法
JP4329157B2 (ja) 受信装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061011

R150 Certificate of patent or registration of utility model

Ref document number: 3871129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees