JP4301180B2 - 編集装置、編集方法、編集プログラムおよび記録装置 - Google Patents

編集装置、編集方法、編集プログラムおよび記録装置 Download PDF

Info

Publication number
JP4301180B2
JP4301180B2 JP2005040514A JP2005040514A JP4301180B2 JP 4301180 B2 JP4301180 B2 JP 4301180B2 JP 2005040514 A JP2005040514 A JP 2005040514A JP 2005040514 A JP2005040514 A JP 2005040514A JP 4301180 B2 JP4301180 B2 JP 4301180B2
Authority
JP
Japan
Prior art keywords
program
contents
content
flag
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005040514A
Other languages
English (en)
Other versions
JP2006229565A (ja
Inventor
拓史 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005040514A priority Critical patent/JP4301180B2/ja
Publication of JP2006229565A publication Critical patent/JP2006229565A/ja
Application granted granted Critical
Publication of JP4301180B2 publication Critical patent/JP4301180B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

この発明は、テレビジョン放送の連続番組を記録媒体に記録する時に自動的に編集を行う編集装置、編集方法、編集プログラムおよび記録装置に関する。
近年、ハードディスクにテレビジョン放送番組を記録する録画再生装置が普及しつつある。このような録画再生装置の利便性を向上するために、さまざまな提案がなされている。例えば、下記の特許文献1には、ユーザの嗜好情報のデータベースを構築し、ユーザが指定した嗜好情報と放送番組情報(以下、EPG(Electrical Program Guide)情報と適
宜称する)に基づいて嗜好度の高い番組を自動的に録画することによって、嗜好情報に合った番組を迅速に予約録画できる情報処理システムが記載されている。
特開2004−80620号公報
例えば毎週放映されるドラマ、アニメーション等の連載もの(以下、シリーズと適宜称する)が自動録画の対象とされ、蓄積メディアとしてのハードディスク上に複数回の番組が自動的に記録される。通常、ハードディスク上には、多数の番組が録画されており、また、ハードディスクの容量を有効活用し、さらに、将来にわたって特定のシリーズの番組を視聴するために、特定のシリーズの番組をハードディスクから他の蓄積メディア例えばDVD(Digital Versatile Disc)、Blu−ray Disc(登録商標)等の着脱自在な蓄積メディアに記録することが行われる。
通常、シリーズの番組は、番組の冒頭部分(以下、オープニングと適宜称する)、本編部分並びに番組の最後の部分(以下、エンディングと適宜称する)の構成を有し、オープニングとエンディングが毎回同じ内容であることが多い。したがって、蓄積メディアにハードディスクに録画されているシリーズの番組をダビングする場合、各回のオープニングまたはエンディングを常に記録することは無駄である。そのため、ユーザは、ダビング時に、そのような重複部分を取り除くように手動で編集を行っていた。
しかしながら、手動編集は、重複部分、コマーシャル(以下、CMと表記する)等の番組の不要な部分をユーザが手動で選択して削除するため、番組の編集に多くの時間と労力を費やさなければならなかった。また、そのような労力を避けるために、シリーズの番組を記録する際に、編集を行なわずに不要な部分を含めてDVD等の蓄積メディアに記録するようになされる。その場合には、蓄積メディアの記憶容量が無駄に使用されるので、圧縮符号化の圧縮率を高くする必要が生じ、記録された画像の画質が劣化する問題が生じる。また、蓄積メディアを再生する際に、ユーザは、不要な部分を視聴することを避けるために、倍速再生等の操作を行う必要があった。
したがって、この発明の目的は、連続番組を蓄積メディアにダビングする際に、不要な部分を記録することを自動的に回避して手動編集の手間を省くことができる編集装置、編集方法、編集プログラムおよび記録装置を提供することにある。
上述した課題を解決するために、この発明の第1の形態は、連続番組の関係の複数の番組に対応する複数のコンテンツを編集する編集装置において、
コンテンツのそれぞれの特徴量を抽出する特徴量抽出部と、
特徴量抽出部によって抽出された特徴量のうち、複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較部と、
比較部の比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、二つのコンテンツの内容が同じ部分に第1のフラグを付与し、相違する部分に第2のフラグを付与するフラグ生成部とを有し、
第1および第2のフラグにしたがって複数のコンテンツが放送順に連続するコンテンツを作成する編集装置である。
また、この発明の第2の形態は、連続番組の関係の複数の番組に対応する複数のコンテンツを編集する編集方法において、
コンテンツのそれぞれの特徴量を抽出する特徴量抽出ステップと、
特徴量抽出ステップによって抽出された特徴量のうち、複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較ステップと、
比較ステップの比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、二つのコンテンツの内容が同じ部分に第1のフラグを付与し、相違する部分に第2のフラグを付与するフラグ生成ステップとを有し、
第1および第2のフラグにしたがって複数のコンテンツが放送順に連続するコンテンツを作成する編集方法である。
また、この発明の第3の形態は、連続番組の関係の複数の番組に対応する複数のコンテンツを編集する編集方法のプログラムにおいて、
コンテンツのそれぞれの特徴量を抽出する特徴量抽出ステップと、
特徴量抽出ステップによって抽出された特徴量のうち、複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較ステップと、
比較ステップの比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、二つのコンテンツの内容が同じ部分に第1のフラグを付与し、相違する部分に第2のフラグを付与するフラグ生成ステップとを有し、
第1および第2のフラグにしたがって複数のコンテンツが放送順に連続するコンテンツを作成する編集方法のプログラムをコンピュータに実行させるための編集プログラムである。
また、この発明の第4の形態は、連続番組の関係の複数の番組に対応する複数のコンテンツを編集し、編集結果を記録媒体に記録する記録装置において、
コンテンツのそれぞれの特徴量を抽出する特徴量抽出部と、
特徴量抽出部によって抽出された特徴量のうち、複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較部と、
比較部の比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、二つのコンテンツの内容が同じ部分に第1のフラグを付与し、相違する部分に第2のフラグを付与するフラグ生成部とを有し、
第1および第2のフラグにしたがって複数のコンテンツが放送順に連続するコンテンツを作成し、作成されたコンテンツを記録する記録装置である。
この発明によれば、例えばハードディスクに記録されている連続番組の複数回の番組を他の蓄積メディア例えば1枚の光ディスクに記録する際に、オープニングおよびエンディングのように、重複する部分を記録することを避けることができる。また、記録される連続番組の最初のものにオープニングを付加し、その最後のものにエンディングを付加することによって、オープニングおよびエンディングを視聴することが可能となる。さらに、CMをカットすることができる。これらの編集処理が自動的になされるので、手動編集と比較して手間がかからない利点がある。また、蓄積メディアの容量を有効利用し、データの圧縮率が高くなることを防止でき、画質劣化を防止できる。
以下、この発明の一実施形態について図面を参照して説明する。図1は、この発明の一実施形態による編集装置を編集機能として備える録画再生装置1の構成の一例を示す。
録画再生装置1は、MPEG(Moving Picture Experts Group)−2方式のトランスポートストリーム(TS:Transport Stream)に伝送路符号化を施してなるデジタル放送信号を受信し、受信したデジタル放送信号から所望の番組をMPEG−2方式で記録媒体に録画するものである。また、録画再生装置1は、MPEG−2方式で記録媒体に録画されている番組から、所望の番組を再生するものである。なお、この例では、ビデオ信号およびオーディオ信号の圧縮符号化方式として、MPEG−2方式を用いているが、圧縮符号化方式は、特にMPEG−2方式に限定されるものではない。
録画再生装置1は、チューナ2、復調回路3、デスクランブラ4、カードインタフェース(I/F)5、デマルチプレクサ(DEMUX)6、ビデオデコーダ7、オーディオデコーダ8、特徴量抽出回路9および提示処理回路10からなる信号処理部と、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、コントローラ14、計時回路15およびリモコンインタフェース(I
/F)16からなる制御部と、ハードディスク(HDD)17およびDVD(Digital Versatile Disc)ドライブ18からなる記録部とを有している。
チューナ2、復調回路3、デスクランブラ4、カードインタフェース5、デマルチプレクサ6、ビデオデコーダ7、オーディオデコーダ8、特徴量抽出回路9および提示処理回路10とコントローラ14とが共通のバスを介して接続されている。コントローラ14は、ハードディスク17およびDVDドライブ18ともバスを介して接続されている。
信号処理部を構成するチューナ2、復調回路3、デスクランブラ4、カードインタフェース5、デマルチプレクサ6、ビデオデコーダ7、オーディオデコーダ8、特徴量抽出回路9および提示処理回路10は、それぞれコントローラ14を介してCPU11から供給される制御信号に基づき制御される。
チューナ2は、デジタル放送信号を受信可能なアンテナ19と接続されており、アンテナ19から供給されるデジタル放送信号に対して、選択されているチャンネルの選局、検波を行う。チューナ2で選局、検波がなされた信号は、復調回路3に供給される。
復調回路3は、チューナ2から供給される信号を復調し、MPEG−2方式のトランスポートストリーム(以下、単にストリームと称する)を復号する。復調回路3で復号されたストリームは、デスクランブラ4に供給される。
デスクランブラ4は、復調回路3から供給されるストリームの番組信号にスクランブルが施されている場合に、スクランブルの解除を行う。デスクランブラ4は、例えばCAS(Condition Access System)機能によるスクランブルの解除を行う。録画再生装置1に
は、カードインタフェース5を介してICカード20が装着可能とされており、デスクランブラ4は、例えば、復調回路3から供給されるストリームが限定受信である場合に、カードインタフェース5を介してICカード20に記憶されている鍵データを取得し、取得した鍵データで放送信号中の暗号を解くことによってスクランブルの解除を行う。
ライブ放送の視聴動作時には、デスクランブラ4で処理されたストリームがデマルチプレクサ6に供給される。なお、録画動作時には、デスクランブラ4で処理されたストリームは、コントローラ14を介して記録部の記録媒体にも供給される。
例えば、ハードディスク17にストリームを録画する場合には、デスクランブラ4からコントローラ14を介してハードディスク17にストリームが供給され、ハードディスク17に録画コンテンツとしてストリームが記録される。
また、DVDにストリームを記録する場合には、デスクランブラ4からコントローラ14を介してDVDドライブ18にストリームが供給され、DVDに録画コンテンツとしてストリームが記録される。この例では、ハードディスク17に記録したストリームがDVDに記録するようになされる。
なお、再生動作時には、記録部の記録媒体に録画コンテンツとして記録されているストリームが読み出され、読み出されたストリームがコントローラ14を介してデマルチプレクサ6に供給される。例えば、ハードディスク17に記録されているストリームを再生する場合には、ハードディスク17からストリームが読み出され、読み出されたストリームがコントローラ14を介してデマルチプレクサ6に供給される。また、DVDに記録されているストリームを再生する場合には、DVDドライブ18によってDVDからストリームが読み出され、読み出されたストリームがコントローラ14を介してデマルチプレクサ6に供給される。
これら記録部を構成するハードディスク17およびDVDドライブ18は、それぞれコントローラ14を介してCPU11から供給される制御信号に基づき制御される。なお、この例では、ハードディスク17とDVDドライブ18とで記録部を構成しているが、記録部を構成する記録媒体の種類および数は、ストリームの録画/再生に適するのであれば、特に限定するものではない。例えば、DVDドライブ18は、Blu−ray Disc(登録商標)に録画/再生するためのドライブであってもよい。
デマルチプレクサ6は、ライブ放送の視聴動作時にはデスクランブラ4、再生動作時にはハードディスク17またはDVDドライブ18から供給されるストリームから、ビデオパケット、オーディオパケットを分離する。また、デマルチプレクサ6は、デスクランブラ4から供給されるストリームからEPGデータを取得する。EPGデータは、現在時刻が放送信号中からEPGデータを取得可能な所定の時刻になると、デマルチプレクサ6によって自動的に取得される。例えば、EPGデータは、毎日所定の時刻に定期的に取得される。
デマルチプレクサ6は、パケットのヘッダ部に記述されているパケット識別子(PID)に基づいて、所望の番組のビデオパケット、オーディオパケット、データパケット、PSI(Program Specific Information)およびSI(Service Information)のパケット
を分離する。SIでは、番組のチャンネル、タイトル、開始日時、放送継続時間、詳細内容、進行状況、ジャンル、シリーズに関する情報等、様々な情報が伝送される。SIを読み取ることによってEPGデータが取得される。
デマルチプレクサ6で取得されたEPGデータは、コントローラ14を介してハードディスク17に供給され、ハードディスク17に番組情報として記録される。
このように、番組情報は、EPGデータ等から取得される。番組情報は、番組毎に関連付けられた番組のタイトル、ジャンル、チャンネル、放送開始日時および放送終了日時、詳細内容、シリーズに関する情報等からなる番組に関する情報である。ハードディスク17に記録されている録画コンテンツは、対応する番組の番組情報と例えばファイル名によって関連付けられて記録される。番組情報は、録画コンテンツの管理、番組表の作成、後述する予約録画機能および編集機能等において使用される。
なお、番組情報は、EPGデータから取得することに限らず、例えば、DVD、ICカード等の着脱自在な記録媒体から読み取ってもよいし、録画再生装置1にネットワークインタフェースを備えさせ、ネットワークを介して取り込んでもよい。
デマルチプレクサ6で分離されたビデオパケットは、ビデオデコーダ7に供給される。ビデオデコーダ7は、デマルチプレクサ6から供給されるビデオパケットからビデオ信号を復号する。ビデオデコーダ7で復号されたビデオ信号は、特徴量抽出回路9に供給される。特徴量抽出回路9で処理されたビデオ信号は、提示処理回路10に供給される。
特徴量抽出回路9は、ビデオデコーダ7から供給されるビデオ信号から、後述する編集機能で使用される特徴量を抽出する。特徴量は、例えばフレーム単位のデジタルビデオデータそのものまたは原ビデオデータから抽出されたデータである。特徴量抽出回路9によって抽出された特徴量は、番組および番組中の位置を識別可能にコントローラ14を介してRAM13等の記録媒体に一時的に記録される。
なお、後述する編集機能では、2つの番組において同じ内容である部分が存在するか否かを、2つの番組のそれぞれの特徴量を比較することによって判定する。例えば二つの番組の時間的に対応関係にあるフレームに関して、画素データの差分の絶対値を計算し、絶対値を1フレームにわたって累積した値の大小から同一か否かを判定できる。この場合、二つの番組は、既に録画され、ハードディスク17に保存されているものが使用される。その場合には、二つのビデオデコーダが使用され、復号された映像信号に関して比較がなされる。または二つの番組の一方をハードディスク17に蓄積する時に、ハードディスク17に保存されている他方の番組と比較を行うようにしても良い。
なお、特徴量は、他の番組から抽出された特徴量との比較により、2つの番組において同じ内容の部分が存在するか否かを判定できるものであれば、フレーム単位のデジタルビデオデータに限ったものではない。例えば、録画再生装置1がアナログビデオデータを扱う場合には、特徴量は、アナログビデオデータであってもよい。また、特徴量としては、間引きによって画素数またはフレーム数が減少されたデジタルビデオデータ、1フレーム内の部分的なビデオデータ、または複数フレームのビデオデータをまとめたものを使用してもよい。
提示処理回路10は、特徴量抽出回路9を通ったビデオ信号に、各処理の実行時に必要に応じてユーザに提示する提示画面、例えばメニュー画面、番組表、再生動作の際に表示される録画済みの番組リスト、編集を行う際にユーザに提示される画面等を付加する。提示処理回路10で処理されたビデオ信号は、録画再生装置1から出力される。録画再生装置1から出力されたビデオ信号は、図示しない表示装置に供給され、ビデオ信号による映像が表示される。
一方、デマルチプレクサ6で分離されたオーディオパケットは、オーディオデコーダ8に供給される。オーディオデコーダ8において、デマルチプレクサ6から供給されるオーディオパケットからオーディオ信号が復号される。オーディオデコーダ8で復号されたオーディオ信号は、録画再生装置1から出力される。録画再生装置1から出力されたオーディオ信号は、図示しないスピーカ等の音声出力装置に供給され、オーディオ信号による音声が再生される。
デマルチプレクサ6によって、録画動作の際に、EPGデータから録画番組に関する番組情報が取り出される。番組名、放送日時、時間延長に関する記述等が番組情報に含まれている。デマルチプレクサ6で取り出された録画番組の番組情報は、コントローラ14を介してハードディスク17に供給され、ハードディスク17に記録される。また、録画予約の方法についての情報もハードディスク17に記録される。
録画番組の番組情報例えばタイトル情報は、録画番組を再生する際に、ハードディスク17から読み出され、提示処理回路10によってビデオ信号に付加される録画番組リストの作成に使用される。
さらに、後述する編集時に使用されるフラグが録画番組と関連してハードディスクに記録される。フラグは、録画番組と関連付けられてハードディスク17に記録される。フラグの種類は、〔延長あり〕、〔前回あり〕、〔CM〕、〔スポーツ〕、〔同じ〕、〔違う〕および〔不明〕である。〔延長あり〕、〔前回あり〕のフラグは、編集の際に判定処理で使用される判定フラグである。〔CM〕、〔スポーツ〕、〔同じ〕、〔違う〕および〔不明〕のフラグは、編集に使用される特徴フラグである。すなわち、特徴フラグは、編集の際にカットされる始点と終点の位置の特定に使用される。特徴フラグの位置は、ユーザによって調整することが可能であり、ユーザは、所望の位置に編集点を移動できる。
制御部を構成するROM12、RAM13、計時回路15およびリモコンインタフェース16は、コントローラ14を介してCPU11と接続されており、それぞれコントローラ14を介してCPU11から供給される制御信号に基づき制御される。
CPU11は、録画再生装置1の電源が投入されると、ROM12に記憶されているプログラムを読み込み、アプリケーションを起動する。RAM13は、CPU11によるプログラム実行時に一時的なデータを記憶するワーク用メモリ空間として使用される。CPU11によって実行されるプログラムは、DVD、メモリカード等の着脱自在な記録媒体に記録されているものをインストールすることができる。また、このプログラムは、録画再生装置1にインターネット等のネットワークと接続可能なネットワークインタフェースを設け、ネットワークを介して所定のサーバ等からダウンロードしたものであってもよい。
計時回路15は、現在時刻等の時間情報を管理する。計時回路15によって、録画再生装置1が備える現在時刻の表示、予約録画、番組情報の取得、特徴量の比較等の時間に関する処理が実現される。現在時刻は、例えば放送信号から自動的に取得される。
録画再生装置1に対する操作の入力は、リモートコントロール用コマンダ(以下、単にコマンダと称する)21によりなされる。ユーザの操作等によってコマンダ21から送信される赤外線等による遠隔制御信号は、録画再生装置1が有する図示しない受信部によって受信され、リモコンインタフェース(I/F)16およびコントローラ14を介してCPU11に供給される。CPU11は、遠隔制御信号に基づき、録画再生装置1を構成する各部を制御する。なお、録画再生装置1が有する図示しない操作ボタン等の入力部により、録画再生装置1を直接操作することも可能である。
録画再生装置1は、録画/再生機能および番組表表示機能等の通常の機能に加えて、予約録画機能および編集機能を有している。これらの機能は、CPU10がコントローラ14を介して録画再生装置1を構成する各部を適切に制御することによって実現される。
この発明の一実施形態では、好みのジャンル、キーワード、時間帯等を指定しておくことによって、EPGから条件に合致した番組を検索し、自動的に録画する機能を有している。また、地上波に関する機能として、番組名予約並びにスポーツ延長対応の機能を有している。番組名予約は、番組名を録画予約設定し、EPGの番組情報に基づいてその番組名の番組を録画する機能である。スポーツ延長対応は、録画予約した番組の前に野球、サッカー等のスポーツの放送が予定されている場合、EPGデータの情報に基づいて最大延長時間を計算し、計算された最大延長時間の分だけ自動的に録画終了時刻を延長する処理である。このような処理をスポーツ延長と称する。録画予約された番組の録画の失敗をスポーツ延長によって防止できる。
図2は、スポーツ延長対応の録画予約機能を説明するフローチャートである。この機能は、CPU11およびコントローラ14の制御によって実行される処理である。
まず、EPG等を利用してユーザにより所望の番組の録画予約がなされる(ステップS1)。ステップS2において、現在時刻が録画予約の録画開始時刻か否かが判定される。
ステップS2において、現在時刻が録画予約の録画開始時刻でないと判定されると、現在時刻が録画開始時刻となるまで、ステップS2の処理が繰り返される。ステップS2において、現在時刻が録画開始時刻であると判定されると、録画が開始し(ステップS3)、録画終了時間まで録画が行われる。
また、ステップS3において、録画が開始すると、延長判定処理が行われる(ステップS4)。延長判定処理は、上述したように、サッカー、野球等のスポーツ番組において放送時間の延長があっても、録画予約した番組の録画を最後まで行うための処理である。ステップS4の処理が終了すると、予約録画処理が終了する。なお、延長判定処理S4は、録画予約時に行うようにしても良い。
図3は、CPU11およびコントローラ14の制御によって実行される延長判定処理S4の一例の流れを示すフローチャートである。
延長判定処理では、まず、録画予約の録画開始時刻が延長番組時間帯内例えば午後6時以降か否かが判定される(ステップS11)。延長番組時間帯とは、番組の放送時間が延長される可能性がある時間帯を意味する。放送時間の延長は、夕方以降放送されるサッカー、野球等のスポーツ番組においてなされることが多く、昼間の番組は、ほとんど延長されることがない。そこで、午後6時以降から放送終了時間までを延長番組時間帯としている。なお、この延長番組時間帯の設定は、ユーザが任意に変更できるようにしてもよい。
ステップS11において、録画予約の録画開始時刻が午後6時以降でないと判定されると、スポーツ延長を行わずに延長判定処理が終了する。ステップS11において、録画開始時刻が午後6時以降であると判定されると、録画番組と同じチャンネルであって、午後6時以降から録画予約の録画開始時刻までの番組情報において、延長の可能性がある番組が存在するか否かが判定される(ステップS12)。
例えば、番組情報のジャンルが「スポーツ」であり、且つ番組情報に「延長」の文字が含まれる番組は、延長の可能性がある番組と判定し、そうでない番組は、延長の可能性がない番組と判定する。
ステップS12において、録画開始時刻前には、延長の可能性がある番組が存在しないと判定されると、延長判定処理が終了する。ステップS12において、延長の可能性がある番組が存在すると判定されると、その番組情報に延長時間の記述が存在するか否かが判定される(ステップS13)。
延長時間の記述は、15分間の延長というように、番組表等の放送予定時間に対して相対的な時間で示すものであってもよいし、午後9時15分まで延長というように、時刻で表すものでもよい。
ステップS13において、延長時間の記述が存在すると判定されると、録画予約の録画終了時間が延長時間の記述に応じた時間だけ延長される(ステップS14)。ステップS13において、延長時間の記述が存在しないと判定されると、予め設定されていたデフォルトの時間、例えば30分だけ録画終了時刻が延長される(ステップS17)。この設定時間は、ユーザが任意に変更できるようにしてもよい。
ステップS14またはステップS17において、録画予約の終了時間が延長されたら、延長後の録画終了時刻がその後に録画予約されている別の録画予約の録画時間と重なるか否かが判定される(ステップS15)。ステップS15において、録画時間が重なると判定されると、録画終了時刻の延長は、その後の録画予約の録画開始時刻までとされ(ステップS16)、延長判定処理が終了する。ステップS15において、録画時間が重ならないと判定されると、延長処理が終了する。なお、録画予約されている番組に優先度を設け、優先度が高い方の番組を優先的に録画するとしてもよい。
ステップS14またはステップS17において録画終了時刻の延長がなされた録画番組は、録画時間が延長されたことが分かるように、〔延長あり〕のフラグがハードディスク17に記憶される。〔延長あり〕のフラグは、後述するフラグ付け処理によって使用される。
なお、図3に示す延長判定処理では、延長の可能性のある番組の絞込みを迅速にするために、ステップS11において、録画予約の録画開始時刻が午後6時以降であるか否かを判定したが、ステップS11の処理は、省略することも可能である。
スポーツ延長されたときの録画内容の一例について、図4を参照して説明する。図4Aは、同じチャンネルにおける放送スケジュールを示している。すなわち、午後7時から午後9時まで野球放送が行われ、午後9時から午後10時までドラマ1の放送が行われ、午後10時から午後11時までドラマ2の放送が行われ、午後11時から翌午前0時までニュース放送が行われる予定であることを示している。
図4Bは、実際の放送時間を示している。すなわち、野球中継が30分延長されて午後7時から午後9時30分まで放送され、それによって、ドラマ1の放送時間帯が午後9時30分から午後10時30分となり、ドラマ2の放送時間帯が午後10時30分から午後11時30分までなり、ニュース番組の放送時間帯が午後11時30分から午前0時30分までとなったことを示している。
図4Aに示すスケジュールに基づきドラマ2の放送を録画予約する場合、午後10時から午後11時までしか録画されないことになる。しかしながら、延長判定処理を行うことによって、図4Cに示すように、録画終了時刻がスポーツ延長による録画延長時間の30分延長され、午後10時から午後11時30分までの放送が録画される。これによって、実際に録画された内容は、図4Dに示すように、シフト時間分のドラマ1の放送が前部に録画された後、ドラマ2の放送が録画される。ドラマ2を録画することができる。
この発明の一実施形態は、ハードディスク17に録画コンテンツとして記録されている番組を記録可能で、リムーバブルな記録媒体例えば書き込み可能なDVD例えばDVD−Rに記録する際の編集処理に特徴を有する。編集処理は、録画再生装置1が有する。
図5は、CPU11およびコントローラ14の制御によって実行される編集処理の流れを示すフローチャートである。図6から図10は、同じシリーズの3つの録画コンテンツをDVDに編集する際の提示画面の例である。
編集処理では、まず、ハードディスク17に記録されている録画コンテンツのタイトルの一覧がユーザに提示される。ユーザは、その一覧の中からDVDに録画したいタイトルを選択する(ステップS21)。
録画再生装置1と接続された図示しない表示装置例えばテレビジョン受信機のディスプレイ上に、図6に示す提示画面31が表示される。メニュー32のビデオアイコン32aが選択される。ビデオアイコン32aが選択されることによって、録画再生装置1の処理がハードディスク17に記録されているコンテンツの操作に切り換えられる。
ビデオアイコン32aが選択されたら、ハードディスク17に記録されている全コンテンツのサムネイルが表示部33に一覧として表示される。そして、ユーザによって編集したいタイトルのサムネイルが選択される。なお、カーソル34をサムネイルに合わせると、そのサムネイルのコンテンツのタイトル、第何回目の放送であるかを示す放映回、放送日時、放送局名等の番組情報が表示される。この例では、10月18日に放送および録画された「××××」というタイトルの録画番組のサムネイル33aが選択されている。サムネイル33aの選択が確定すると、図7に示すように、提示画面31にサブメニュー35が表示される。
ステップS21において、DVDに記録したいタイトルが選択されると、選択されたタイトルと同じ連続番組(シリーズ)のタイトルが後述するシリーズ判定処理によって検索され、検索結果が編集候補のタイトルとしてユーザに提示される(ステップS22)。
ユーザによってサブメニュー35の「シリーズ編集」が選択されると、図8に示すように、編集候補として、「××××」というタイトルと同じシリーズの録画コンテンツのタイトル、放送回、放送日時、放送局名等の番組情報の一覧が提示画面31に表示される。
ステップS22において、編集候補のタイトルが提示されたら、DVDに追加編集したいタイトルが選択される(ステップS23)。1つのタイトルだけを編集したいときには、追加編集したいタイトルの選択(ステップS23)が省略される。なお、編集候補のタイトルからだけではなく、全タイトルの一覧からも、DVDに追加編集したいタイトルを選択することが可能とされている。
図8に示すように、追加編集したいタイトルにカーソル34が合わせられて、追加編集を行うタイトルが選択される。この例では、「追加」と表示されている10月25日の放送分と11月1日の放送分のタイトルが追加されている。
提示画面31には、さらに、容量表示部36が設けられている。容量表示部36には、選択されているタイトルを記録した番組のDVDの残りの空き容量が表示される。DVDの空き容量が不足する場合には、タイトルの選択ができないようにしたり、ユーザに容量不足を警告するようになされる。
ステップS23において、DVDに追加編集したいタイトルが全て選択されたら、自動編集処理が行われる(ステップS24)。ステップS24における自動編集処理が終了すると、DVDが録画再生装置1から自動的に排出され(ステップS25)、編集処理が終了する。なお自動編集が終了したDVDは、ユーザが手動で取り出してもよい。
ユーザによって追加編集したいタイトルが選択され、「シリーズ編集開始」が選択されると、自動編集処理によるDVDへのシリーズ編集が開始される。図9に示すように、提示画面31に処理の進行状況と残り時間とが表示される。なお、自動編集処理は、バックグラウンドで行われる。
シリーズ編集が正常に終了すると、図10に示すように、シリーズ編集が正常に終了したことを示すメッセージが提示画面31に表示される。なお、シリーズ編集が正常に終了しなかったときには、その旨のメッセージが提示画面31に表示される等の所定の処理がなされる。
次に、シリーズ判定処理について説明する。シリーズ判定処理は、録画予約方法と、ハードディスクに記録されている番組の番組情報とを使用して、シリーズであるか否かと、同じシリーズの前回の番組を録画したものの有無を判定する処理である。図11および図12は、CPU11およびコントローラ14の制御によって実行されるシリーズ判定処理の流れを示すフローチャートである。本来は、一連の処理を示すフローチャートであるが、作図スペースの制約から2分割して示す。
シリーズ判定処理では、まず、その録画番組に関しての録画予約方法の設定が調べられる(ステップS31)。録画予約方法の設定は、番組表等を利用して番組が録画予約される際に、ユーザによって指定される。録画予約方法の設定方法に関する情報、録画日時等の情報は、ハードディスク17上の録画番組のそれぞれについて保存されている。
この例では、録画予約方法として、月曜日から日曜日の毎日予約、月曜日から土曜日にかけての毎日予約、月曜日から金曜日にかけての毎日予約、毎週予約のいずれか1つが指定可能とされている。なお、いずれも指定されなかった場合には、今回だけ録画を行う単独の予約である。
ステップS31において調べられた録画予約方法の設定が月曜日から日曜日の毎日予約であるか否かが判定される(ステップS32)。ステップS32において、録画予約方法の設定が毎日予約であると判定されると、前日の同じ時刻に記録された番組がハードディスク17上に存在するか否かが判定される(ステップS33)。
ステップS33において、前日の同じ時刻の録画番組が存在すると判定されると、前回の録画番組があり、その録画番組が前回のコンテンツとされ(ステップS34)、シリーズ判定処理が終了する。ステップS33において、前日の同じ時刻の録画番組が存在しないと判定されると、前回のコンテンツがないとされ(ステップS46)、シリーズ判定処理が終了する。
ステップS32において、録画予約方法の設定が毎日予約でないと判定されると、録画予約方法の設定が月曜日から土曜日にかけての毎日予約であるか否かが判定される(ステップS35)。ステップS35において、録画予約方法の設定が月曜日から土曜日にかけての毎日予約であると判定されると、録画予約の録画曜日が月曜日であるか否かが判定される(ステップS36)。
ステップS36において、録画予約の録画日が月曜日でないと判定されると、上述した毎日予約と同様に、ステップS33以降の処理が行われる。ステップS36において、録画予約の録画日が月曜日であると判定されると、先週の土曜日の同じ時刻に記録された番組がハードディスク17上に存在するか否かが判定される(ステップS37)。
ステップS37において、先週の土曜日の同じ時刻の番組が存在すると判定されると、前回のコンテンツがあるとされ、その番組が前回のコンテンツとされ(ステップS38)、シリーズ判定処理が終了する。ステップS37において、同じ時刻の番組が存在しないと判定されると、前回のコンテンツがないとされ(ステップS46)、シリーズ判定処理が終了する。
ステップS35において、録画予約方法の設定が月曜日から土曜日にかけての毎日予約でないと判定されると、録画予約方法の設定が月曜日から金曜日にかけての毎日予約であるか否かが判定される(ステップS39)。ステップS39において、録画予約方法の設定が月曜日から金曜日にかけての毎日予約であると判定されると、録画予約の録画日が月曜日であるか否かが判定される(ステップS40)。ステップS40において、録画予約の録画日が月曜日でないと判定されると、毎日予約と同様に、ステップS33以降の処理が行われる。
ステップS40において、録画予約の録画日が月曜日であると判定されると、先週の金曜日の同じ時刻に記録された番組がハードディスク17上に存在するか否かが判定される(ステップS41)。
ステップS41において、先週の金曜日の同じ時刻の番組が存在すると判定されると、前回のコンテンツがあるとし、その録画番組が前回のコンテンツとされ(ステップS42)、シリーズ判定処理が終了する。ステップS41において、先週の金曜日の同じ時刻の番組が存在しないと判定されると、前回のコンテンツがないとされ(ステップS46)、シリーズ判定処理が終了する。
ステップS39において、録画予約方法の設定が月曜日から金曜日にかけての毎日予約でないと判定されると、録画予約方法の設定が毎週予約であるか否かが判定される(ステップS43)。ステップS43において、録画予約方法の設定が毎週予約であると判定されると、先週の同じ曜日の同じ時刻に記録された番組がハードディスク17上に存在するか否かが判定される(ステップS44)。
ステップS44において、先週の同じ曜日の同じ時刻の番組が存在すると判定されると、前回のコンテンツがあるとし、その同じ時刻の録画番組が前回のコンテンツとされ(ステップS45)、シリーズ判定処理が終了する。ステップS44において、先週の同じ曜日の同じ時刻の番組が存在しないと判定されると、前回のコンテンツがないとされ(ステップS46)、シリーズ判定処理が終了する。
ステップS43において、録画予約方法の設定が毎週予約でないと判定されると、単独の予約であるとして、図12に示すように、前日の同じ時刻に記録された番組がハードディスク17上に存在し、その番組のタイトルが一致または類似しているか否かが判定される(ステップS47)。単発的録画予約の場合では、シリーズ判定の可能性が低くなるので、番組名(タイトル)も使用してシリーズ判定を行うようにしている。
ステップS47において、前日の同じ時刻の録画番組が存在し、その番組のタイトルが対象番組と一致または類似していると判定されると、前回のコンテンツがあるとし、そのタイトルが一致または類似している番組が前回のコンテンツとされ(ステップS48)、シリーズ判定処理が終了する。
ステップS47において、前日の同じ時刻の録画番組が存在しない、または存在していてもその番組のタイトルが一致または類似していないと判定されると、録画予約の録画日が月曜日であるか否かが判定される(ステップS49)。
ステップS49において、録画予約の録画日が月曜日であると判定されると、先週の土曜日の同じ時刻に記録された番組がハードディスク17上に存在し、その番組のタイトルが対象番組と一致または類似しているか否かが判定される(ステップS50)。
ステップS50において、同じ時刻の番組が存在し、その番組のタイトルが対象番組と一致または類似していると判定されると、前回のコンテンツがあるとし、そのタイトルが一致または類似している番組が前回のコンテンツとされ(ステップS51)、シリーズ判定処理が終了する。
ステップS50において、同じ時刻の番組が存在しない、または存在していてもその番組のタイトルが対象番組と一致または類似していないと判定されると、先週の金曜日の同じ時刻に記録された番組がハードディスク17上に存在し、その番組のタイトルが対象番組と一致または類似しているか否かが判定される(ステップS52)。
ステップS52において、同じ時刻の番組が存在し、その番組のタイトルが対象番組と一致または類似していると判定されると、前回のコンテンツがあるとし、そのタイトルが一致または類似している番組が前回のコンテンツとされ(ステップS53)、シリーズ判定処理が終了する。
ステップS49において、録画予約の録画日が月曜日でないと判定されると、または、ステップS52において、同じ時刻の録画番組が存在しない、または存在していてもその録画番組のタイトルが処理の対象の録画番組と一致または類似していないと判定されると、先週の同じ曜日の同じ時刻に記録された番組がハードディスク17上に存在し、その番組のタイトルが処理の対象の録画番組と一致または類似しているか否かが判定される(ステップS54)。
ステップS54において、同じ時刻の録画番組が存在し、その番組のタイトルが対象番組と一致または類似していると判定されると、前回のコンテンツがあるとし、そのタイトルが一致または類似している番組が前回のコンテンツとされ(ステップS55)、シリーズ判定処理が終了する。
ステップS54において、同じ時刻の番組が存在しない、または存在していてもその番組のタイトルが対象番組と一致または類似していないと判定されると、前回のコンテンツがないとされ(ステップS56)、シリーズ判定処理が終了する。
以上によって、前回のコンテンツの有無が判定される。前回のコンテンツがあると判定されると、その番組が連続番組であると判定され、その前回のコンテンツが編集候補に追加される。次に、検出された前回の録画番組を対象番組としてシリーズ判定処理が繰り返し行われる。このようにして、シリーズ判定処理を前回のコンテンツ、前々回のコンテンツ、…に対して繰り返し行い、ステップS46またはステップS56によって、前回なしと判定されるまで行うことによって、選択されたタイトルと同じシリーズのタイトルがより確実に抽出される。
なお、最新のタイトルから順に前回のコンテンツがあるか否かを判定するのではなく、最古のタイトルから順に次回のコンテンツがあるか否かを判定してもよい。また、最新と最古の間のタイトル、例えば選択されたタイトルからこれら両方の判定を行ってもよい。さらに、番組情報によって対象番組が連続番組か否かを判定することによって、連続番組をより確実に検出できる。
さらに、シリーズ予約録画機能を録画再生装置が有しており、ハードディスク17に対してシリーズ録画されたものが存在する場合に対してもこの発明を適用できる。その場合には、シリーズ判定処理を省略し、またはシリーズ判定処理を連続番組として録画された複数の録画番組に対して行うようにしても良い。
なお、タイトルのみを参照してシリーズものを検索する方法は、例えば、夜に放送される連続番組の宣伝番組を昼間に放送するようなとき、宣伝番組のタイトルが宣伝される連続番組のタイトルと同じであることがある等の理由で、検索を誤るおそれがある。したがって、一実施形態では、録画予約方法を参照してシリーズ判定を行うようにしている。
次に、上述したステップS24の自動編集処理について説明する。図13は、CPU11およびコントローラ14の制御によって実現される自動編集処理の流れを示すフローチャートである。自動編集処理では、まず、DVDに編集するタイトルが1つであるか否かが判定される(ステップS61)。
ステップS61において、DVDに編集するタイトルが1つであると判定されると、選択されたタイトルの番組のCMが検出され、検出されたCMに〔CM〕のフラグが付与される(ステップS62)。
例えば、番組の映像と音声とが同時に途切れ、その切れ目が15秒、30秒、45秒もしくは60秒の間隔、またはそれらの組み合わせの間隔で、少なくとも30秒以上連続する部分がCMであるとみなして、〔CM〕のフラグが付与される。〔CM〕のフラグは、例えば、CMにフレーム単位で付与される。なお、〔CM〕のフラグは、GOP(Group
of Picture)単位等で付与してもよい。
なお、ここでは、コマーシャルの時間が15秒単位であることと、コマーシャルと他の部分との間では、映像と音声とが共に途切れるということを利用してコマーシャルを検出しているが、コマーシャルの検出方法は、これに限ったものではなく、他の方法を用いてもよい。
ステップS62において、コマーシャルの検出と〔CM〕のフラグ付けの処理が行われたら、〔CM〕のフラグが付与された部分、すなわちコマーシャル部分が削除される(ステップS63)。ステップS63でコマーシャル部分が削除されたら、コマーシャル部分が削除された番組がDVDに番組が書き込まれ(ステップS64)、自動編集処理が終了する。なお、ステップS63のコマーシャルカットの操作は、フラグ付けの処理にしたがってハードディスク17からDVDにデータを書き込む時にコマーシャルの部分を書き込まない処理である。
ステップS61において、DVDに編集するタイトルが1つでない、すなわち複数あると判定されると、それら複数のタイトルがそれぞれ同じシリーズであるか否かが判定される(ステップS65)。このときの判定は、上述したシリーズ判定処理によって行われる。
すなわち、DVDに編集する複数のタイトルがそれぞれ同じであり、且つそれらタイトルの最新のものからシリーズ判定処理を行い、前回のコンテンツがないとされたならば、同じシリーズのタイトルでないとされ、前回のコンテンツがあるとされたならば、同じシリーズのタイトルであるとされる。前回のコンテンツがあるとされたら、今回のコンテンツに対して〔前回あり〕のフラグが付与される。
ステップS65において、同じシリーズのタイトルでないと判定されると、ステップS62以降の処理が行われる。すなわち、コマーシャルが検出され(ステップS62)、検出されたコマーシャル部分が削除され(ステップS63)、コマーシャル部分が削除された番組がDVDに番組が書き込まれ(ステップS64)、自動編集処理が終了する。
ステップS65において、同じシリーズのタイトル(録画番組を意味する)であると判定されると、フラグ付け処理によって、最新のタイトルとその前回のタイトル、前回のタイトルから前々回のタイトル、前々回のタイトル・・・というように、順にそれぞれのタイトルの内容を逐次比較し、フラグが付与される(ステップS66)。
ステップS66において、フラグ付け処理が行われたら、フラグ付け処理によって付与されたフラグにしたがって、DVDに書き込む部分の選択を行う書き込み選択処理がなされる(ステップS67)。ステップS67において、書き込む部分の選択がなされたら、書き込む部分が選択された録画番組がDVDに書き込まれ(ステップS64)、自動編集処理が終了する。書き込み部分選択処理S67は、ハードディスクからDVDに対するデータの書き込み時になされる処理である。
次に、ステップS66のフラグ付け処理の一例についてより詳細に説明する。図14は、CPU11およびコントローラ14の制御によって実現されるフラグ付け処理の流れを示すフローチャートである。
また、図14に示す処理の理解を容易とするために、図15から図23にそれぞれ示すコンテンツの例を使用する。図15から図23の各図に示す上段は、前回のコンテンツを示し、図15から図23の各図に示す各図の中段は、今回のコンテンツを示し、図15から図23の各図に示す下段は、今回のコンテンツに付与されるフラグを示している。これらのコンテンツは、オープニング、本編、エンディングおよびコマーシャルの種類の部分からなる。これらの部分は、少なくとも数十秒以上の長さの動画であるが、簡略化のために、それぞれの部分が1枚の画像でもって構成されているものと仮定する。また、図15から図23のそれぞれの1枚の画像がコンテンツの各部分の特徴量を示していると解釈しても良い。
フラグ付け処理では、まず、編集されるコンテンツ(録画番組を意味する)に前回のコンテンツ(録画番組を意味する)があるか否かが判定される(ステップS71)。このとき、編集されるコンテンツ(以下、今回のコンテンツと称する)に〔前回あり〕のフラグが付与されているなら、前回のコンテンツがあるものと判定され、〔前回あり〕のフラグが付与されていないなら、前回のコンテンツがないものと判定される。
ステップS71において、前回のコンテンツがあると判定されると、前回のコンテンツに関して、さらにその前回とのコンテンツとの比較結果、すなわち、フラグが付与されているか否かが判定される(ステップS72)。ステップS72において、前回のコンテンツにフラグが付与されていると判定されると、前回のコンテンツを録画する際に、録画終了時刻を遅らせることによるスポーツ延長が行われたか否かが判定される(ステップS73)。このとき、前回のコンテンツに〔延長あり〕のフラグがあると、延長が行われたものとされ、〔延長あり〕のフラグがないと、延長が行われなかったものとされる。
ステップS73において、スポーツ延長が行われたと判定された場合には、今回のコンテンツを録画する際に、スポーツ延長が行われたか否かが判定される(ステップS74)。このとき、今回のコンテンツに〔延長あり〕のフラグがあると、延長が行われたものとし、〔延長あり〕のフラグがないと、延長が行われなかったものとする。
ステップS74において、スポーツ延長が行われたと判定されると、今回のコンテンツにおいて前回のコンテンツにおいて、〔同じ〕のフラグを有する部分の特徴量と同じ特徴量が今回のコンテンツにおいて最初に連続し始める時刻が検出される(ステップS75)。検出された時刻は、今回のコンテンツのオープニングの開始時刻である。
ステップS75において、今回のコンテンツにおけるオープニングの開始時刻が検出されると、ステップS76の開始時刻の差の補正処理がなされる。スポーツ延長の処理がなされた場合には、録画対象番組の開始時刻が予約された録画開始時刻より後ろにずれ、録画番組の全体も後ろにずれる。しかも、スポーツ延長の時間が一定ではないため、前回のコンテンツと比較するときに、正確な比較ができない問題が生じる。
この問題を避けるのがステップS75およびS76の処理である。ステップS76では、前回のフラグがスポーツでなくなる時刻と今回のコンテンツに関して検出されたオープニングの開始時刻との差を求め、求めた差の時間を補正して〔同じ〕または〔違う〕のフラグ付けが行われる。また、オープニングの開始時刻以前には、〔スポーツ〕のフラグが付与される。
これら〔同じ〕、〔違う〕および〔スポーツ〕のフラグは、例えば、対応する部分にフレーム単位で付与される。
ステップS76において、〔同じ〕または〔違う〕のフラグ付けの処理と〔スポーツ〕のフラグ付けの処理とが行われたら、今回のコンテンツのコマーシャル部分が検出され、検出されたコマーシャル部分に〔CM〕のフラグが付与され(ステップS77)、フラグ付け処理が終了する。上述したように、映像と音声とが同時に途切れ、その切れ目が15秒、30秒、45秒もしくは60秒の間隔、またはそれらの組み合わせの間隔で、少なくとも30秒以上連続する部分をコマーシャルとして検出している。
図15に示す例は、図14のフローチャート中で、ステップS71,S72,S73,S74,S75,S76およびS77の処理の流れに対応している。すなわち、図15に示す例では、前回のコンテンツがあり、前回のコンテンツがフラグを有しており、前回のコンテンツを録画する際にスポーツ延長が行われ、スポーツ番組の録画部分41sが存在している。また、今回のコンテンツもスポーツ延長が行われている。
ステップS74において、スポーツ延長が行われたと判定されると、今回のコンテンツにおけるオープニングの開始時刻例えば午後9時15分が検出される(ステップS75)。ステップS75において、オープニングの開始時刻が検出されたら、ステップS76において、前回のコンテンツのフラグがスポーツでなくなる時刻例えば午後9時20分が検出され、午後9時15分の差の時間である5分が検出される。検出された5分の時間、今回のコンテンツが時間軸上でシフトされる。図15は、このシフト後の状態を示す。
このようにシフトによって開始時刻の差の補正がなされ、補正後のコンテンツ同士で特徴量を参照して〔同じ〕または〔違う〕のフラグ付け処理が行われる。また、開始時刻の午後9時15分以前の録画部分42sには、〔スポーツ〕のフラグが付与される。
今回のコンテンツの開始時刻が割り出されたら、前回のコンテンツにおける開始時刻以降からのオープニング41a,CM41b,本編41c,CM41d,本編41e,エンディング41f,CM41gと、今回のコンテンツにおける開始時刻以降からのオープニング42a,CM42b,本編42c,CM42d,本編42e,エンディング42f,CM42gとが比較される。オープニングおよびエンディングが同一であるので、オープニング41aおよびエンディング41fに対して〔同じ〕のフラグが付与される。本編は、前回と異なるので、本編42cおよび42eに対して〔違う〕のフラグが付与される。なお、CM42b,42d,42gには、〔CM〕のフラグが付与される。
次に、ステップS71〜S73の判定結果が上述したものと同一であるが、ステップS74において、今回のコンテンツでは、スポーツ延長が行われていないと判定される場合の処理について、図14および図16を参照して説明する。ステップS78において、前回のコンテンツにおいて、〔スポーツ〕のフラグでなくなる時間から、〔同じ〕または〔違う〕のフラグ付け処理が行われる。ステップS78において、フラグ付けの処理が行われたら、CMの判定と〔CM〕のフラグ付けの処理(ステップS77)が行われ、フラグ付け処理が終了する。
図16に示すように、前回のコンテンツがあり、前回のコンテンツにフラグが付与されており、前回のコンテンツを録画する際にスポーツ延長が行われている。また、今回のコンテンツは、録画する際にスポーツ延長が行われていない。
この場合、前回のコンテンツにおいて、〔スポーツ〕のフラグがなくなる時間、すなわち、午後9時20分以降から前回のコンテンツと今回のコンテンツに関して特徴量が比較される。その結果、スポーツ延長による時間差が補正される。また、CMのフラグ〔CM〕が付与される。前回のコンテンツおよび今回のコンテンツは、図15に示すものと同一であり、付与されたフラグも同様のものとなる。図17〜図23にそれぞれ示されるコンテンツも図15および図16と同一の内容である。
次に、ステップS71,S72の判定結果が上述したものと同一であるが、ステップS73において、前回のコンテンツでは、スポーツ延長が行われていないと判定される場合の処理について、図14および図17を参照して説明する。ステップS79において、今回のコンテンツを録画する際に、スポーツ延長が行われたか否かが判定される。
ステップS79において、スポーツ延長が行われたと判定されると、今回のコンテンツにおけるオープニングの開始時刻が検出される(ステップS80)。ステップS81において、今回のコンテンツにおけるオープニングの開始時刻以降から、〔同じ〕または〔違う〕のフラグ付け処理が行われる。また、開始時刻以前には、〔スポーツ〕のフラグが付与される。
ステップS81において、〔同じ〕または〔違う〕のフラグ付けの処理と〔スポーツ〕のフラグ付けの処理とが行われたら、CMの判定と〔CM〕のフラグ付けの処理(ステップS77)が行われ、フラグ付け処理が終了する。
図17に示すように、前回のコンテンツがあり、前回のコンテンツにフラグが付与されており、前回のコンテンツではスポーツ延長がなされていない。また、今回のコンテンツは、スポーツ延長が行われ、スポーツ番組の録画部分42sが存在する。
ステップS59において、スポーツ延長が行われたと判定されると、今回のコンテンツにおいて前回のコンテンツにおける〔同じ〕のフラグを有する部分の特徴量と同じ特徴量が今回のコンテンツにおいて最初に連続し始める時刻が検出される(ステップS60)。検出された時刻は、今回のオープニングの開始時刻である。
この場合、今回のコンテンツの開始時刻、すなわち、午後9時20分以降から前回のコンテンツと今回のコンテンツに関して特徴量が比較される。その結果、スポーツ延長による時間差が補正される。
次に、ステップS71,S72,S73の判定結果が図17の場合と同一であるが、ステップS79において、今回のコンテンツでは、スポーツ延長が行われていないと判定される場合の処理について、図14および図18を参照して説明する。
ステップS79において、今回のコンテンツを録画する際に、スポーツ延長が行われていないと判定されると、〔同じ〕または〔違う〕のフラグ付け処理が行われる(ステップS82)。
ステップS82において、〔同じ〕または〔違う〕のフラグ付けの処理が行われたら、CMの判定と〔CM〕のフラグ付け処理(ステップS77)が行われ、フラグ付け処理が終了する。
図18に示すように、前回のコンテンツがあり、前回のコンテンツにフラグが付与されており、前回のコンテンツおよび今回のコンテンツが共にスポーツ延長がなされていない場合、両コンテンツの開始時刻、すなわち、午後9時00分以降から前回のコンテンツと今回のコンテンツに関して特徴量が比較される。
次に、ステップS72において、前回コンテンツのフラグがないと判定される場合の処理について、図14および図19を参照して説明する。ステップS72において、前回のコンテンツにフラグが付与されていないと判定されると、前回のコンテンツを録画する際に、スポーツ延長が行われたか否かが判定される(ステップS83)。
ステップS83において、スポーツ延長が行われたと判定されると、今回のコンテンツを録画する際に、スポーツ延長が行われたか否かが判定される(ステップS84)。
ステップS84において、スポーツ延長が行われたと判定されると、今回のコンテンツのCMが検出され、〔CM〕のフラグが付与される(ステップS85)。ステップS85において、〔CM〕のフラグ付けの処理が行われたら、それ以外の時間に〔不明〕のフラグが付与され(ステップS86)、フラグ付け処理が終了する。
図19に示すように、前回のコンテンツにフラグがなく、且つ両コンテンツにスポーツ延長がある場合には、今回のコンテンツのオープニングの開始時刻を検出することができない。したがって、〔不明〕のフラグが付与される。スポーツ延長による時間ずれが分からないために、CM以外の部分では、フラグを付与することができない。
次に、ステップS72において、前回コンテンツのフラグがないと判定され、ステップS83において、前回のコンテンツを録画する際に、スポーツ延長が行われていると判定され、ステップS84において、今回のコンテンツにスポーツ延長がない場合の処理について、図14および図20を参照して説明する。
ステップS84において、今回、スポーツ延長が行われないと判定されると、〔CM〕のフラグ付けの処理(ステップS85)と〔不明〕のフラグ付けの処理(ステップS86)とが順次行われ、フラグ付け処理が終了する。
図20に示すように、前回のコンテンツにフラグがなく、且つ前回のコンテンツにのみスポーツ延長がある場合には、今回のコンテンツのオープニングの開始時刻を検出することができない。したがって、〔不明〕のフラグが付与される。スポーツ延長による時間ずれが分からないために、CM以外の部分では、フラグを付与することができない。
次に、ステップS72において、前回コンテンツのフラグがないと判定され、ステップS83において、前回のコンテンツを録画する際に、スポーツ延長が行われていないと判定され、ステップS87において、今回のコンテンツにスポーツ延長がある場合の処理について、図14および図21を参照して説明する。
ステップS87において、スポーツ延長が行われたと判定されると、〔CM〕のフラグ付けの処理(ステップS85)と〔不明〕のフラグ付けの処理(ステップS86)とが順次行われ、フラグ付け処理が終了する。
図21に示すように、前回のコンテンツにフラグがなく、且つ今回のコンテンツにのみスポーツ延長がある場合には、今回のコンテンツのオープニングの開始時刻を検出することができない。したがって、〔不明〕のフラグが付与される。スポーツ延長による時間ずれが分からないために、CM以外の部分では、フラグを付与することができない。
次に、ステップS72において、前回コンテンツのフラグがないと判定され、ステップS83において、前回のコンテンツを録画する際に、スポーツ延長が行われていないと判定され、ステップS87において、今回のコンテンツにスポーツ延長がない場合の処理について、図14および図22を参照して説明する。
ステップS87において、今回のコンテンツにスポーツ延長が行われていないと判定されると、前回のコンテンツと今回のコンテンツの両者にスポーツ延長がないことになる。この場合では、スポーツ延長による時間ずれが生じないので、ステップS88において、前回のコンテンツと今回のコンテンツの特徴量とを比較し、〔同じ〕または〔違う〕のフラグ付け処理が行われる。
ステップS88のフラグ付けの処理が行われたら、前回のコンテンツに対しても、今回のコンテンツと同様のフラグが付与される(ステップS89)。このように、前回のコンテンツに対してもフラグを付与することができる。これにより、初回のコンテンツであっても、フラグによる編集を行うことができる。
ステップS89のフラグ付けの処理が行われたら、前回のコンテンツおよび今回のコンテンツに対して、CMが検出され、〔CM〕のフラグが付与され(ステップS90)、フラグ付け処理が終了する。
図22に示すように、前回のコンテンツにフラグがなくても、前回のコンテンツおよび今回のコンテンツの何れにもスポーツ延長がない場合には、録画開始時刻と今回のコンテンツのオープニングの開始時刻とが一致する。したがって、〔同じ〕または〔違う〕のフラグを付与することができる。
次に、ステップS71において、前回のコンテンツがないと判定された場合の処理について、図14および図23を参照して説明する。この場合では、図23に示すように、今回のコンテンツのみが存在するので、特徴量の比較により〔同じ〕または〔違う〕のフラグを付与することができない。したがって、〔CM〕のフラグ付けの処理(ステップS85)と〔不明〕のフラグ付けの処理(ステップS86)とが順次行われ、フラグ付け処理が終了する。
図13におけるDVDへの連続番組の書き込み処理(ステップS64)においては、上述したフラグ〔CM〕、〔スポーツ〕、〔同じ〕、〔違う〕に基づいて選択的になされる。まず、〔CM〕および〔スポーツ〕のフラグが付与されている部分は、DVDに書き込む対象から除外される。〔違う〕のフラグが付与されている部分は、番組の本編であるとして、DVDに書き込む部分として選択される。
〔同じ〕のフラグが付与されている部分は、番組のオープニングまたはエンディングであるために、最初の番組のオープニングと、最後の番組のエンディングを除いて、DVDに書き込む対象から除外される。すなわち、〔同じ〕フラグを有するオープニングまたはエンディングに対する書き込み処理として、全てのオープニングおよびエンディングを記録せずに、DVDに書き込む最初の番組のオープニングと最後の番組のエンディングのみを記録する。
一例として、連続番組の第1話目から第3話目までの番組をDVDに順に記録する例について、図24を参照して説明する。図24A、図24B、図24Cは、それぞれ同じシリーズの第1話目、第2話目、第3話目の番組構成の一例を示している。
図24Aに示すように、記録される番組の中で最初の番組である第1話目の番組に関して、オープニングと本編とが記録され、CMとエンディングとが記録されない。図24Bに示すように、第2話目の番組は、本編が記録され、オープニング、CMおよびエンディングが記録されない。図24Cに示すように、記録される番組の中で最も新しい回の第3話目の番組は、本編とエンディングが記録され、オープニングとコマーシャルとが記録されない。
この処理によって、図24Dに示すように、DVDには、コマーシャル部分が削除され、オープニングとエンディングが重複して記録されないように編集された結果のデータが記録される。
なお、複数枚のDVDにまたがって同じシリーズの複数の番組を編集する場合には、各DVDに図24Dと同様に、オープニングとエンディングとを記録するようにしてもよい。また、1枚目のDVDにのみDVDに記録する最も古い回の番組のオープニングを記録し、最終枚目のDVDにのみDVDに記録する最も新しい回の番組のエンディングを記録するとしてもよい。
以上説明したように、この発明の一実施形態によれば、連続番組を記録する場合に、同一内容のオープニングおよびエンディングを記録しないように自動的に編集することができる。これによって、連続番組の編集を容易且つ効率的に行うことができる。同一内容の部分の記録を避けることによって、DVD等のメディアの容量を有効に利用でき、また、圧縮率を高くすることによる画質劣化を防止できる。
この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した一実施形態では、デジタル放送の録画/再生を行う録画再生装置について説明したが、アナログ放送を受信し、アナログデータのまま番組をテープ媒体に録画するVCR等についても適用することができる。例えば、アナログテレビジョン放送の場合、垂直帰線期間(VBI:Vertical Blanking Interval)に重畳されているEPGデータを番組情報とすることができる。
また、上述した一実施形態では、録画再生装置が有する編集機能について説明したが、この発明による編集装置は、録画再生装置が有する機能ではなく、編集装置単体、ホームサーバ、コンピュータ機器等の他の機器に適用することができる。
また、上述した一実施形態では、特徴量の抽出にビデオ信号を使用したが、特徴量の抽出には、オーディオ信号を使用してもよい。この場合、例えば、他の番組から抽出された特徴量との比較により、2つの番組において同じ内容である部分が存在するか否かを判定できる所定時間分のデジタルオーディオデータで特徴量を構成する。さらには、特徴量の抽出にビデオ信号とオーディオ信号の両方を使用してもよい。
また、編集の対象となるハードディスクに記録される録画コンテンツは、テレビジョン放送を受信したものに限らず、DVDから読み取ったものや、パーソナルコンピュータから取得したもの等であってもよい。
また、上述した録画再生装置によって行われる各処理の内容は、記載された順序に沿って時系列的に行われることに限らず、例えば各処理が並列的または個別的に行われるものであってもよい。例えば、上述した一実施形態では、自動編集処理を行う際にフラグ付け処理を行うとしたが、フラグ付け処理は、ハードディスクに番組を録画する際に行ってもよい。
この発明の一実施形態による録画再生装置の構成の一例を示すブロック図である。 予約録画処理の流れを示すフローチャートである。 延長判定処理の流れを示すフローチャートである。 野球放送が延長されたときの録画内容について説明するための略線図である。 編集処理の流れを示すフローチャートである。 編集を行う際にユーザに提示される提示画面の一例を示す略線図である。 編集を行う際にユーザに提示される提示画面の一例を示す略線図である。 編集を行う際にユーザに提示される提示画面の一例を示す略線図である。 編集を行う際にユーザに提示される提示画面の一例を示す略線図である。 編集を行う際にユーザに提示される提示画面の一例を示す略線図である。 シリーズ判定処理の流れを示す部分的なフローチャートである。 シリーズ判定処理の流れを示す部分的なフローチャートである。 自動編集処理の流れを示すフローチャートである。 フラグ付け処理の流れを示すフローチャートである。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 フラグ付けを説明するためにコンテンツの例を示す略線図である。 編集処理と編集結果のコンテンツを説明するための略線図である。
符号の説明
1・・・録画再生装置
2・・・チューナ
3・・・復調回路
6・・・デマルチプレクサ(DEMUX)
7・・・ビデオデコーダ
8・・・オーディオデコーダ
9・・・特徴量抽出回路
10・・・提示処理回路
11・・・CPU
12・・・ROM
13・・・RAM
15・・・計時回路
16・・・リモコンインタフェース(I/F)
17・・・ハードディスク(HDD)
18・・・DVDドライブ
21・・・コマンダ
31・・・提示画面
41a,41b,41c,41d,41e,41f,41g,41s・・・特徴量(前回のコンテンツ)
42a,42b,42c,42d,42e,42f,42g,42s・・・特徴量(今回のコンテンツ)

Claims (9)

  1. 連続番組の関係の複数の番組に対応する複数のコンテンツを編集する編集装置において、
    コンテンツのそれぞれの特徴量を抽出する特徴量抽出部と、
    上記特徴量抽出部によって抽出された上記特徴量のうち、上記複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較部と、
    上記比較部の比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、上記二つのコンテンツの内容が同じ部分に上記第1のフラグを付与し、相違する部分に上記第2のフラグを付与するフラグ生成部とを有し、
    上記第1および第2のフラグにしたがって上記複数のコンテンツが放送順に連続するコンテンツを作成する編集装置。
  2. 請求項1において、
    上記第1のフラグによって示される、上記複数のコンテンツの中で最初に放送された番組に対応するコンテンツのオープニングと、上記複数のコンテンツの中で最後に放送された番組に対応するコンテンツのエンディングとを残し、残りのコンテンツのオープニングおよびエンディングを除外するように編集する編集装置。
  3. 請求項1において、
    上記複数のコンテンツが録画番組の前の番組の延長によって延長されたか否かを示す第3のフラグが付加されており、
    上記比較部における比較時に、上記第3のフラグを参照して比較される二つのコンテンツの時間ずれを補正する編集装置。
  4. 請求項1において、
    さらに、上記複数のコンテンツ中のコマーシャル部分を検出し、検出されたコマーシャル部分に対応する第4のフラグを生成し、
    上記第4のフラグにしたがってコマーシャル部分を除外する編集を行う編集装置。
  5. 記第1および第2のフラグの位置を調整可能とした請求項1に記載の編集装置。
  6. ユーザによる録画予約の設定に基づき所定周期毎または単独的にコンテンツの録画予約を行う録画予約設定部と、
    録画されたコンテンツの少なくとも番組名を含む番組情報を取得する番組情報取得部と、
    上記録画予約設定部によって設定された録画予約の内容を示す録画予約設定情報と、上記番組情報取得部によって取得された上記番組情報とに基づき、上記録画されたコンテンツが連続番組であるか否かを判定する連続番組判定部と
    をさらに有し、
    上記連続番組判定部は、
    上記録画予約の設定が上記所定周期毎であるときで、前回の同じ時刻に録画されたコンテンツが存在する場合に、上記録画されたコンテンツが連続番組であると判定し、
    上記録画予約の設定が上記単独的であるときで、前回の同じ時刻に録画されたコンテンツが存在し、且つ該前回の同じ時刻に録画されたコンテンツの番組名と上記録画されたコンテンツの番組名とが一致または類似している場合に、上記録画されたコンテンツが連続番組であると判定する請求項1に記載の編集装置。
  7. 連続番組の関係の複数の番組に対応する複数のコンテンツを編集する編集方法において、
    コンテンツのそれぞれの特徴量を抽出する特徴量抽出ステップと、
    上記特徴量抽出ステップによって抽出された上記特徴量のうち、上記複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較ステップと、
    上記比較ステップの比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、上記二つのコンテンツの内容が同じ部分に上記第1のフラグを付与し、相違する部分に上記第2のフラグを付与するフラグ生成ステップとを有し、
    上記第1および第2のフラグにしたがって上記複数のコンテンツが放送順に連続するコンテンツを作成する編集方法。
  8. 連続番組の関係の複数の番組に対応する複数のコンテンツを編集する編集方法のプログラムにおいて、
    コンテンツのそれぞれの特徴量を抽出する特徴量抽出ステップと、
    上記特徴量抽出ステップによって抽出された上記特徴量のうち、上記複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較ステップと、
    上記比較ステップの比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、上記二つのコンテンツの内容が同じ部分に上記第1のフラグを付与し、相違する部分に上記第2のフラグを付与するフラグ生成ステップとを有し、
    上記第1および第2のフラグにしたがって上記複数のコンテンツが放送順に連続するコンテンツを作成する編集方法のプログラムをコンピュータに実行させるための編集プログラム。
  9. 連続番組の関係の複数の番組に対応する複数のコンテンツを編集し、編集結果を記録媒体に記録する記録装置において、
    コンテンツのそれぞれの特徴量を抽出する特徴量抽出部と、
    上記特徴量抽出部によって抽出された上記特徴量のうち、上記複数のコンテンツの時間的に対応関係にある部分の特徴量を比較して、放送回が異なる二つのコンテンツの内容が同じか否かを検出する比較部と、
    上記比較部の比較結果から同じことを示す第1のフラグと、相違することを示す第2のフラグを生成し、上記二つのコンテンツの内容が同じ部分に上記第1のフラグを付与し、相違する部分に上記第2のフラグを付与するフラグ生成部とを有し、
    上記第1および第2のフラグにしたがって上記複数のコンテンツが放送順に連続するコンテンツを作成し、作成されたコンテンツを記録する記録装置。
JP2005040514A 2005-02-17 2005-02-17 編集装置、編集方法、編集プログラムおよび記録装置 Expired - Fee Related JP4301180B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005040514A JP4301180B2 (ja) 2005-02-17 2005-02-17 編集装置、編集方法、編集プログラムおよび記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005040514A JP4301180B2 (ja) 2005-02-17 2005-02-17 編集装置、編集方法、編集プログラムおよび記録装置

Publications (2)

Publication Number Publication Date
JP2006229565A JP2006229565A (ja) 2006-08-31
JP4301180B2 true JP4301180B2 (ja) 2009-07-22

Family

ID=36990523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005040514A Expired - Fee Related JP4301180B2 (ja) 2005-02-17 2005-02-17 編集装置、編集方法、編集プログラムおよび記録装置

Country Status (1)

Country Link
JP (1) JP4301180B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049516A (ja) * 2007-08-14 2009-03-05 Sony Corp 録画再生装置及び録画再生方法、並びにプログラム
JP5030902B2 (ja) * 2008-09-01 2012-09-19 Necパーソナルコンピュータ株式会社 編集装置及びプログラム
JPWO2010122617A1 (ja) * 2009-04-24 2012-10-22 パナソニック株式会社 番組間重複部分検出方法とそれを搭載する映像音声記録装置

Also Published As

Publication number Publication date
JP2006229565A (ja) 2006-08-31

Similar Documents

Publication Publication Date Title
JP4448273B2 (ja) 放送番組のコンテント制御
JP4081099B2 (ja) 番組選択装置、番組録画装置およびその方法
JP2004343520A (ja) コンテンツ録画再生管理装置、コンテンツ録画再生管理方法、コンテンツ録画再生管理プログラム、コンテンツ録画再生管理プログラムを格納したコンピュータ読み取り可能な記録媒体
JP2005159770A (ja) コンテンツ視聴支援装置及びコンテンツ視聴支援方法、並びにコンピュータ・プログラム
JP2010050965A (ja) 番組対象物および予約パディングの自動検出
US8244100B2 (en) Information apparatus for reproducing commercial broadcast information and method of same
JP4301180B2 (ja) 編集装置、編集方法、編集プログラムおよび記録装置
JP2005302117A (ja) 記録再生装置、記録再生方法、プログラムおよび記録媒体
JP4083179B2 (ja) 番組情報表示装置、番組蓄積装置、その方法、及びプログラム
JP4645583B2 (ja) 記録再生装置及び表示制御方法
JP4628494B2 (ja) 番組選択装置、番組選択方法、およびプログラム
JP4929375B2 (ja) 放送録画装置及び放送録画方法
JP4593609B2 (ja) 番組選択装置、番組選択方法、およびプログラム
US8195028B2 (en) Method for identifying a document recorded by a display, selection of key images and an associated receptor
JP2004193943A (ja) 番組予約録画装置および番組予約録画方法
JP2008182539A (ja) 放送受信記録再生装置および放送受信記録再生方法
JP2002369128A (ja) コンテンツ記録再生方法および装置
JP2008085662A (ja) 記録再生装置及び記録再生方法
JP4168395B2 (ja) 録画番組一覧用サムネイル画像の作成方法、及び映像信号記録再生装置
JP2002369162A (ja) コンテンツ編成方法および装置
JP2005174405A (ja) 情報記録再生装置および情報記録方法
JP2006229566A (ja) 再生装置、再生方法、再生プログラム、記録再生装置および記録再生方法
JP4093996B2 (ja) 映像再生装置
JP2009224926A (ja) 録画制御装置、録画制御方法、およびプログラム
JP2009152974A (ja) 録画再生装置及び録画再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090331

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120501

Year of fee payment: 3

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120501

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120501

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130501

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees