次に、本発明を適用した実施の形態について、図面を参照して説明する。図2は、本発明を適用した録画システムの構成例を表している。この録画システム41は、ネットワーク51を介して相互に接続された録画装置52−1乃至52−5(以下、これらを個々に区別する必要がない場合、単に録画装置52と称する)と、CMインデックスサーバ53とにより構成されている。ネットワーク51は、家庭内のLAN(Local Area Network)でもよいし、インターネット、その他のネットワークであってもよい。
録画装置52は、例えば、ハードディスクレコーダなどにより構成され、図3に示されるように構成される。
図3の録画装置52は、入力部71、一時蓄積部72、メイン蓄積部73、再生部74、出力部75、音声検出部76、制御部77、操作部78、画像音声検出部79、同一シーン検出部80、および通信部81により構成されている。
入力部71は、図示せぬ、例えばテレビジョン受像機などにより受信した画像信号と音声信号を入力する。一時蓄積部72は、入力部71より供給された画像信号と音声信号を一時的に蓄積する。メイン蓄積部73は、一時蓄積部72に一時的に蓄積された画像信号と音声信号のうち、コマーシャルと、その前または後の同一シーンを除く部分を蓄積する。
再生部74は、メイン蓄積部73に蓄積された画像信号と音声信号を再生し、出力部75に出力する。出力部75は、ディスプレイ、スピーカなどにより構成され、入力された画像信号に基づく画像や、音声信号に基づく音声を出力する。なお、出力部75は、録画装置52とは別体の構成とすることも可能である。
通信部81は、ネットワーク51を介してCMインデックスサーバ53と接続され、入力部71より供給されたコマーシャルを構成する画像信号と音声信号を、音声CMインデックスまたは画像CMインデックスとして、ネットワーク51を介してCMインデックスサーバ53に供給し、記録させる。通信部81はまた、一時蓄積部72、メイン蓄積部73または再生部74により供給された音声CMインデックスおよび画像CMインデックスを、ネットワーク51を介してCMインデックスサーバ53に供給し、記録させる。
通信部81はさらに、CMインデックスサーバ53よりネットワーク51を介して供給された音声CMインデックスを音声検出部76に供給するとともに、画像CMインデックスを画像音声検出部79に供給する。画像音声検出部79には、一時蓄積部72より読み出された画像信号と音声信号も供給される。
音声検出部76は、テレビジョン受像機より供給された音声信号と、通信部81を介してCMインデックスサーバ53より供給された音声CMインデックスとを比較し、その比較結果を制御部77に供給する。画像音声検出部79は、一時蓄積部72より供給された画像信号と音声信号からコマーシャルを検出し、検出結果を制御部77に出力する。また、画像音声検出部79は、一時蓄積部72より入力された画像信号と、通信部81を介してCMインデックスサーバ53より供給された画像CMインデックスとを比較し、その比較結果を制御部77に出力する。同一シーン検出部80は、一時蓄積部72に蓄積された画像に含まれる同一シーンを検出し、検出結果を制御部77に出力する。
操作部78は、ユーザからの指示に基づいた操作信号を制御部77に出力する。制御部77は、操作部78からの入力、音声検出部76、画像音声検出部79、または同一シーン検出部80からの入力に基づいて、入力部71、一時蓄積部72、メイン蓄積部73、または再生部74を、必要に応じて制御する。この録画装置52にはまた、必要に応じて、ドライブ82が接続され、リムーバブルメディア83を駆動する。
音声検出部76は、例えば、図4に示されるように構成される。図4の音声検出部76は、コマーシャル検出部101、インデックス比較部102、計時部103、およびインデックス読出部104により構成される。
コマーシャル検出部101は、テレビジョン受像機より入力された音声信号と、計時動作を行う計時部103より入力された日時情報に基づいて、音声信号に含まれるコマーシャルを検出し、検出結果を制御部77に出力する。インデックス読出部104は、通信部81からネットワーク51を介してCMインデックスサーバ53に記憶されている音声CMインデックスを読み出し、インデックス比較部102に供給する。インデックス比較部102にはまた、計時部103が出力する日時情報が供給されている。インデックス比較部102は、計時部103より供給される日時情報に基づくタイミングで、テレビジョン受像機より入力される音声信号とインデックス読出部104より供給される音声CMインデックスとを比較し、その比較結果を制御部77に出力する。
図4のコマーシャル検出部101は、例えば、図5に示されるように構成される。このコマーシャル検出部101は、2カ国語検出部131、ステレオ検出部132、無音部検出部133、および判定部134により構成されている。
2カ国語検出部131、ステレオ検出部132、および無音部検出部133には、テレビジョン受像機より供給された音声信号が入力されている。2カ国語検出部131は、入力された音声信号が2カ国語であることを検出し、その検出結果を判定部134に出力する。ステレオ検出部132は、入力された音声信号がステレオ信号であることを検出し、その検出結果を判定部134に出力する。無音部検出部133は、入力された音声信号に無音部があれば、これを検出し、その検出結果を判定部134に出力する。判定部134は、2カ国語検出部131、ステレオ検出部132、および無音部検出部133の検出結果に基づいてコマーシャルを検出し、その検出結果を制御部77に出力する。
図3の画像音声検出部79は、例えば、図6に示されるように構成される。この画像音声検出部79は、読出部161、インデックス比較部162、コマーシャル検出部163、およびインデックス読出部164により構成される。
読出部161は、一時蓄積部72に蓄積された画像信号と音声信号を読み出し、必要に応じて、コマーシャル検出部163に供給する。また、読出部161は、読み出した画像信号を必要に応じてインデックス比較部162に出力する。コマーシャル検出部163は、読出部161より入力された画像信号と音声信号に基づきコマーシャルを検出し、その検出結果を制御部77に出力する。インデックス読出部164は、通信部81からネットワーク51を介してCMインデックスサーバ53に記憶されている画像CMインデックスを読み出し、インデックス比較部162に供給する。インデックス比較部162は、読出部161より入力された画像信号とインデックス読出部164より入力された画像CMインデックスとを比較し、その比較結果を制御部77に出力する。
図6のコマーシャル検出部163は、例えば、図7に示されるように構成される。このコマーシャル検出部163は、シーンチェンジ検出部191、長さ検出部192、無音部検出部193、長さ検出部194、タイミング検出部195、および判定部196により構成される。
シーンチェンジ検出部191は、読出部161より入力された画像信号からシーンチェンジを検出し、その検出結果を長さ検出部192とタイミング検出部195に出力する。無音部検出部193は、読出部161より入力された音声信号から無音部を検出し、その検出結果をタイミング検出部195と長さ検出部194に出力する。長さ検出部192は、シーンチェンジ検出部191より入力された、2つの隣接するシーンチェンジとシーンチェンジの間の長さを検出し、その検出結果を判定部196に出力する。長さ検出部194は、無音部検出部193より入力された、2つの隣接する無音部と無音部の間の長さを検出し、その検出結果を判定部196に出力する。
タイミング検出部195は、シーンチェンジ検出部191により検出されたシーンチェンジと無音部検出部193により検出された無音部のタイミングを検出し、その検出結果を判定部196に出力する。判定部196は、長さ検出部192、長さ検出部194、およびタイミング検出部195の検出結果に基づいてコマーシャルを検出し、その検出結果を制御部77に出力する。
図2のCMインデックスサーバ53は、例えば図8に示されるように、通信部231、記憶部232、および制御部233により構成される。
通信部231は、ネットワーク51を介して録画装置52と通信する。記憶部232は、通信部231がネットワーク51を介して録画装置52から受信した画像CMインデックスと音声CMインデックスを記憶する。操作部234は、ユーザの操作に基づく操作信号を制御部233に出力する。制御部233は、ユーザからの操作に基づいて、通信部231と記憶部232の動作を制御する。
次に、録画装置52の動作について説明する。制御部77は、操作部78からの入力に基づいて、ユーザから録画の指令が入力されたとき、各部を制御して、記録動作を実行させる。これにより、一時蓄積部72に対して画像信号と音声信号が一時的に蓄積されるとともに、一時蓄積部72に一時的に蓄積された画像信号と音声信号が、さらにメイン蓄積部73に記録される。
最初に図9のフローチャートを参照して、一時蓄積部72に対する一時記憶処理について説明する。
ステップS1において、入力部71は、テレビジョン受像機より出力された画像信号と音声信号を入力する。入力部71は、入力された画像信号と音声信号を一時蓄積部72に出力し、記憶させる。また、音声検出部76のコマーシャル検出部101とインデックス比較部102は、テレビジョン受像機が出力した音声信号を入力する。
ステップS2において、コマーシャル検出部101とインデックス比較部102は、現在時刻はコマーシャル区間検出時刻か否かを判定する。即ち、コマーシャルは、正時、正時から15分経過した時刻、正時から30分経過した時刻、正時から45分経過した時刻に放送されることが多い。そこで、コマーシャル検出部101とインデックス比較部102は、現在時刻が、それらの検出時刻(その時刻の例えば±2分の間の時刻を含む)か否かを判定する。この検出時刻は、具体的な放送時刻を考慮して適宜設定することが可能である。
現在時刻がコマーシャル区間検出時刻であると判定された場合、ステップS3において、コマーシャル検出部101は、音声信号によるコマーシャル検出処理を実行する。この音声信号によるコマーシャル検出処理の詳細は、図10のフローチャートに示されている。
即ち、ステップS31において、コマーシャル検出部101の2カ国語検出部131およびステレオ検出部132は、テレビジョン受像機より出力された音声信号を検出する。2カ国語検出部131は、音声信号が2カ国語であることを検出し、ステレオ検出部132は、音声信号がステレオ信号であることを検出し、それぞれ検出結果を判定部134に出力する。また、無音部検出部133は、ステップS32において、音声信号の無音部を検出し、判定部134に出力する。
ステップS33において、判定部134は、2カ国語検出部131の検出結果に基づいて音声信号が2カ国語か否かを判定し、2カ国語である場合には、コマーシャルが2カ国語で放送されることは殆どないので、ステップS37において、音声信号は非コマーシャル区間であるとする。
音声信号が2カ国語の音声信号でない場合には、ステップS34において判定部134は、ステレオ検出部132の検出結果に基づいて、音声信号はステレオか否かを判定する。音声信号がステレオでない場合においても、コマーシャルがモノラルで放送されることは殆どないので、判定部134はステップS37において、音声信号は非コマーシャル区間であるとする。
音声信号がステレオであると判定された場合、ステップS35において判定部134は、無音部検出部133の検出結果に基づいて、無音部の間隔が15秒の整数倍か否かを判定する。即ち、コマーシャルは、15秒単位で放送されることが多い。従って、無音部と次の無音部の間隔が15秒の整数倍の長さと略等しい場合には、その区間は、コマーシャル区間である可能性が高い。そこで、無音部の間隔が15秒の整数倍である場合には、ステップS36において、判定部134は、その区間はコマーシャル区間であるとする。これに対して、無音部の間隔が15秒の整数倍ではないと判定された場合、ステップS37において、判定部134は、その区間は非コマーシャル区間であるとする。
このように、コマーシャル検出部101は、入力された音声信号に基づいてコマーシャル区間であるか否かを検出する。
図9に戻って、ステップS4において、制御部77は、コマーシャル検出部101の判定部134の出力に基づいて、現在の区間がコマーシャル区間であるか否かを判定する。現在の区間がコマーシャル区間である場合には、ステップS5において、制御部77は、インデックス蓄積部に蓄積する処理を実行する。すなわち、入力部71より出力された画像信号と音声信号は、一時蓄積部72に蓄積されるのではなく、通信部81から、ネットワーク51を介してCMインデックスサーバ53に供給される。
CMインデックスサーバ53の通信部231は、ネットワーク51を介して録画装置52の通信部81から画像信号と音声信号を入力すると、これを画像CMインデックスまたは音声CMインデックスとして記憶部232に記憶させる。
これに対して、ステップS4において、現在の区間はコマーシャル区間ではないと判定された場合、制御部77は、ステップS6において一時蓄積部に蓄積する処理を実行する。即ち、このとき、制御部77は、入力部71を制御して画像信号と音声信号を一時蓄積部72に蓄積させる。
このように、一時蓄積部72には、実質的にコマーシャル部分が削除された画像信号と音声信号だけが一時的に蓄積される。そして、コマーシャルに相当する画像信号と音声信号は、それぞれ画像CMインデックスまたは音声CMインデックスとして、CMインデックスサーバ53の記憶部232に記憶される。換言すれば、ステップS4でコマーシャル区間であると判定された場合、その信号を一時蓄積部72に蓄積させない処理は、コマーシャル区間を削除する処理を実行していることになる。
次に、ステップS7において、制御部77は、処理の終了が指令された否かを判定し、終了が指令されていない場合には、処理をステップS1に戻し、それ以降の処理を繰り返し実行する。
ステップS2において、現在時刻がコマーシャル区間検出時刻ではないと判定された場合、即ち、通常コマーシャルが放送されている時刻ではないと判定された場合、ステップS8において、インデックス読出部104は、通信部81からネットワーク51を介してCMインデックスサーバ53にアクセスし、音声CMインデックスがあるか否かを判定する。CMインデックスサーバ53に音声CMインデックスが記憶されている場合には、ステップS9において、インデックス読出部104は、CMインデックスサーバ53から音声CMインデックスを読み出し、インデックス比較部102に供給する。インデックス比較部102は、入力された音声信号と読み出された音声CMインデックスとを比較する。比較結果は、インデックス比較部102から制御部77に出力される。
その後、処理はステップS4に戻り、制御部77は、インデックス比較部102の検出結果に基づいて、ステップS4において現在の区間はコマーシャル区間か否かを判定する。現在の区間がコマーシャル区間でない場合にはステップS6において、制御部77は、入力部71と一時蓄積部72を制御し、入力された画像信号と音声信号を一時蓄積部72に蓄積させ、コマーシャル区間である場合には、ステップS5において、その区間の信号をCインデックスサーバ53に記憶させる。
コマーシャルは、同一の内容のものが繰り返し放送されることが多い。従って、コマーシャルであると判定された音声信号を音声CMインデックスとして、ステップS5の処理で順次蓄積していくと、迅速かつ容易に、そして確実にコマーシャルを検出することが可能となる。
ステップS8において、音声CMインデックスが存在しないと判定された場合、ステップS9の処理はスキップされる。そして、処理はステップS7に進み、終了が指令されたか否かが判定され、指令されていない場合にはステップS1に戻り、それ以降の処理が繰り返し実行される。ステップS7において、処理の終了が指令されたと判定された場合、処理は終了される。
以上のようにして、一時蓄積部72には、音声信号に基づいてコマーシャルではないと判定された音声信号と画像信号のみが蓄積され、コマーシャルである音声信号と画像信号は実質的に削除される。音声信号に基づく判定であるため、画像信号に基づく判定に較べ、迅速に判定を行うことが可能となる。
以上のようにして、例えば図11に示されるように、本編A−1と本編A−2の間に、それぞれ約15秒の長さのコマーシャルCM1,CM2、およびCM3が挿入されている場合、それらが検出され、対応する音声信号が音声CMインデックスとして、また、対応する画像信号が画像CMインデックスとして、それぞれCMインデックスサーバ53の記憶部232に記憶される。
以上のようにして、一時蓄積部72に音声信号に基づいてコマーシャルを除く部分が順次蓄積される。そして、一時的に蓄積された音声信号と画像信号に対して、さらに、図12と図13に示されるメイン蓄積処理を行うことで、一時蓄積部72より画像信号と音声信号が読み出され、コマーシャルでない音声信号と画像信号のみがメイン蓄積部73に蓄積されることになる。
次に、図12と図13のフローチャートを参照して、このメイン蓄積処理の詳細について説明する。
ステップS61において、画像音声検出部79の読出部161は、一時蓄積部72に一時的に蓄積された画像信号と音声信号を読み出す。この画像信号と音声信号は、コマーシャル検出部163に供給される。また、インデックス比較部162には、画像信号が供給される。ステップS62においてインデックス読出部164は、画像CMインデックスがあるか否かを判定する。即ち、インデックス読出部164は、通信部81から、ネットワーク51を介してCMインデックスサーバ53にアクセスし、画像CMインデックスが記録されているか否かを判定する。
画像CMインデックスが記録されている場合、ステップS63において、インデックス読出部164は、対応する日時の画像CMインデックスがあるか否かを判定する。画像信号に放送日時を表すタイムコードが付加されている場合には、そのタイムコードと、CMインデックスサーバ53に記憶されている画像CMインデックスのタイムコードとを比較することで、この判定処理が行われる。タイムコードが付加されていない場合には、画像CMインデックスには、その画像CMインデックスが受信されたときの日時がタイムコードとして付加され、CMインデックスサーバ53に記録される。この場合、現在日時と画像CMインデックスに付加された日時とに基づいて、この判定処理が行われる。
対応する日時の画像CMインデックスが存在する場合には、ステップS64において、インデックス読出部164は、記憶されている画像CMインデックスの中から、対応する日時のものを読み出す。読み出された画像CMインデックスは、インデックス比較部162に供給される。ステップS66において、インデックス比較部162は、読出部161より供給された画像信号と、インデックス読出部164より読み出された画像CMインデックスとを比較し、その比較結果を制御部77へ出力する。
ステップS67において、制御部77は、インデックス比較部162の比較結果に基づいて現在の画像がコマーシャルか否かを判定する。現在の画像がコマーシャルでない場合には、ステップS68において、制御部77は、その信号をメイン蓄積部73に蓄積する処理を実行する。即ち、この場合、制御部77は、一時蓄積部72に蓄積されていた画像信号と音声信号をメイン蓄積部73に供給し、蓄積させる。その後、処理はステップS62に戻り、それ以降の処理が繰り返し実行される。
このように、対応する日時の画像CMインデックスと比較することで、迅速かつ確実に、現在の画像がコマーシャルであるのか否かを判定することができる。
即ち、図14に示されるように、例えば、2004年3月1日21時00分に放送された番組がメイン蓄積部73に既に蓄積されている場合、その番組に含まれていたコマーシャルの画像が画像CMインデックスとして、CMインデックスサーバ53に記憶されているはずである(図9のステップS5の処理、または後述する図12のステップS81または図13のステップS73の処理)。図14の例においては、本編A−11と本編A−12の間にコマーシャルCM11,CM12,CM13が挿入されており、本編A−12の次にコマーシャルCM14が挿入されている。従って、コマーシャルCM1乃至CM4はCMインデックスサーバ53に記憶されているはずである。
その番組が毎週放送される番組であるとすると、対応する日時である1週間後の2004年3月8日21時00分には、そのシリーズの番組が放送されることになる。その番組の本編は、3月1日に放送されたものとは異なるが、コマーシャルは同一の内容であることが多い。即ち、3月1日に放送されたのが本編A−11、本編A−12であるとすると、3月8日には、これと異なる内容の本編B−11、本編B−12が放送される。しかし、本編B−11と本編B−12の間に挿入されているコマーシャルCM11,CM12,CM13は、本編A−11とA−12の間に挿入されていたコマーシャルCM11,CM12,CM13と同一内容のものであり、本編B−12の後に挿入されているCM14も、本編A−12の後に挿入されていたものと同一内容のものである。
このように、同じシリーズの番組であれば、コマーシャルは、同一のコマーシャルであることが多い。そこで、対応する日時の画像CMインデックスと現在の画像信号とを比較することで、現在の画像がコマーシャルであるか否かを、迅速かつ確実に判定することができる。
しかしながら、対応する日時の画像CMインデックスが存在しない場合には、このような処理を行うことができない。そこで、ステップS63において、対応する日時の画像CMインデックスが存在しないと判定された場合には、ステップS65において、インデックス読出部164は、既に記憶されている画像CMインデックスの中から順番に画像CMインデックスを読み出す。そして、読み出された画像CMインデックスとについて、ステップS66において、比較処理が行われる。シリーズの番組でなくても、多くの場合、コマーシャルは繰り返し放送されることが多いので、これにより、迅速かつ確実に、現在放送されている画像がコマーシャルであるのか否かを判定することが可能となる。
このようにして、メイン蓄積部73には、コマーシャル以外の画像信号と音声信号が順次蓄積されることになる。
ステップS67において、現在受信されている画像がコマーシャルであると判定された場合、ステップS69において、制御部77は、一時蓄積部72に蓄積されている画像信号と音声信号を通信部81からネットワーク51を介してCMインデックスサーバ53に出力し、記録させる。
次にステップS70において、読出部161は、その後の15秒の区間の画像信号と対応する音声信号を読み出す。読出部161は、そのうちの画像信号をコマーシャル検出部163のシーンチェンジ検出部191に、音声信号を無音部検出部193に、それぞれ供給する。
ステップS71において、コマーシャル検出部163は、シーンチェンジと音声によるコマーシャル検出処理を実行する。ステップS71における処理の詳細は図24を参照して後述するが、これにより、シーンチェンジと音声に基づいてコマーシャルが検出される。この処理は、画像信号を相互に比較する処理に較べ、簡単かつ迅速に、処理を行うことが可能である。
ステップS72において、制御部77は、コマーシャル検出部163の検出結果に基づいて、現在の区間がコマーシャル区間であるか否かを判定する。現在の区間がコマーシャル区間である場合には、ステップS73において、制御部77は、そのコマーシャルを記録済みか否かを判定する。記録済みでない場合には、ステップS74において、制御部77は、CMインデックスサーバ53に記憶する処理を実行する。即ち、この場合、制御部77は、一時蓄積部72を制御し、現在の信号を通信部81からネットワーク51を介してCMインデックスサーバ53に供給し、記憶させる。ステップS73において、現在の信号が既に記憶済みであると判定された場合には、さらに記憶する必要がないので、ステップS74の処理はスキップされ、その後、処理はステップS70に戻り、それ以降の処理が繰り返し実行される。
このようにして、画像CMインデックスを利用してコマーシャルが検出された場合、コマーシャルが15秒の単位として、その整数倍の長さで放送されていることが多いため、その性質を利用してコマーシャルであるか否かを検出することで、直接画像と画像CMインデックスとを比較する場合に較べて、迅速にコマーシャルを検出することが可能となる。
例えば、図15に示されるように、2004年3月1日21時00分に放送された番組が、メイン蓄積部73に蓄積されている場合、コマーシャルCM11乃至CM14が、CMインデックスサーバ53に蓄積されているはずであるから、2004年3月8日21時00分に放送されている番組を記録する場合、本編B−11,CM11、CM12,CM13,本編B−12,CM14と受信される画像を、CMインデックスサーバ53に記憶されている画像CMインデックスCM11,CM12,CM13,CM14と順次比較するようにしてもよい。例えば、図13のステップS70乃至S74の処理を省略することで、このような処理が実現される。しかし、そのようにすると、迅速な処理が困難となる。
そこで、ステップS70のシーンチェンジと音声によるコマーシャル検出処理により、15秒単位でコマーシャルを検出する処理が行われる。これは、例えば、図16に示されるような処理となる。
即ち、本編B−11と本編B−12の間にコマーシャルCM11,CM12,CM13が挿入され、本編B−12の後にコマーシャルCM14が配置されている信号が受信されている場合において、CMインデックスサーバ53に記憶されているCMインデックスCM11との比較により、本編B−11の直後のコマーシャルCM11が検出されると、コマーシャルCM11の後の15秒間の信号が読み出され、その信号に対してシーンチェンジと音声によるコマーシャル検出処理により、それがコマーシャルであるか否かが検出される。図16の例の場合、コマーシャルCM12がこれにより検出される。コマーシャルCM12が検出されると、さらにその後の15秒間の信号が読み出され、その信号についてシーンチェンジと音声によるコマーシャル検出処理が実行され、コマーシャルCM13が検出される(ステップS70乃至S74の処理が繰り返される)。このように、コマーシャルは、集中して配置されていることが多いため、1つのコマーシャルが検出された場合、その直後の信号について15秒(またはその整数倍でもよい)を単位とする信号について検出処理を行うことで、迅速かつ容易にコマーシャルを検出することが可能となる。
図13のステップS72において現在の区間がコマーシャル区間ではないと判定された場合、ステップS75において、制御部77は、直前にコマーシャルがあるか否かを判定する。直前にコマーシャルがあると判定された場合には、ステップS76において、制御部77は、同一シーン検出部80の検出結果に基づいて、同一シーンがあるか否かを判定する。即ち、同一シーン検出部80は、一時蓄積部72に蓄積されている画像信号に同一シーンがある場合、これを検出し制御部77に出力する。
ステップS76において、同一シーンが存在しないと判定された場合、ステップS77において、制御部77はメイン蓄積部73に蓄積する処理を実行する。即ち、この場合、制御部77は、一時蓄積部72を制御し、画像信号と音声信号をメイン蓄積部73に供給し、蓄積させる。
ステップS76において同一シーンが存在すると判定された場合、ステップS78において、制御部77は同一シーンを削除してメイン蓄積部73に蓄積する処理を実行する。即ち、この場合、制御部77は、一時蓄積部72を制御し、同一シーンを削除してメイン蓄積部73に蓄積させる。
ステップS75において、現在のコマーシャル区間でない区間の直前にコマーシャルが存在しないと判定された場合、同一シーンを削除する処理を考慮する必要がないため、ステップS77において、メイン蓄積部73に蓄積する処理が実行される。
ステップS77またはステップS78の処理の後、ステップS79において、制御部77は、終了が指令されたか否かを判定し、指令されていない場合には、処理をステップS61に戻し、それ以降の処理を繰り返し実行する。
ステップS62において、画像CMインデックスが記録されていないと判定された場合、ステップS80において、コマーシャル検出部163は、シーンチェンジと音声によるコマーシャル検出処理を実行する。ステップS81において、制御部77は、コマーシャル検出部163の検出結果に基づいて、現在の区間がコマーシャル区間であるか否かを判定し、コマーシャル区間である場合には、ステップS82において、その区間の信号をCMインデックス蓄積サーバ53に記憶する処理を実行する。その後、処理は、ステップS79に進む。
ステップS81において、現在の区間がコマーシャル区間ではないと判定された場合、ステップS83において、制御部77は、メイン蓄積部に蓄積する処理を実行する。すなわち、このとき一時蓄積部72に記憶されている画像信号と音声信号がメイン蓄積部73に供給され、蓄積される。その後、処理はステップS79に進む。
ステップS79において、終了が指令されていないと判定された場合、処理は再びステップS61に戻るが、終了が指令されたと判定された場合、処理は終了される。
以上のようにして、例えば、図17に示されるように、本編のフレームF21乃至F25と、F30乃至F33の間にコマーシャルのフレームF26乃至F29が挿入されている場合、コマーシャルの区間が除去されて、図18に示されるように、本編のフレームF21乃至F25、F30乃至F33からなる画像信号がステップS61乃至ステップS74までの処理で得られることになる。しかし、コマーシャルのフレームF26乃至F29の直前のフレームF24,F25と、直後のフレームF30,F31は、同一の画像のフレームとなっている。このような場合、ステップS78の処理でコマーシャルの直後のフレームであって、コマーシャルの直前のフレームと同一の画像であるフレームF30,F31が削除され、図19に示されるように、フレームF21乃至F25に続いて、フレームF32,F33が続く画像信号、並びに、それに対応する音声信号がメイン蓄積部73に蓄積される。
同一シーン検出部80は、図20に示されるように、例えば、本編A−21と本編A−22の間に、コマーシャルCM21が挿入されている場合において、コマーシャルCM21の直前の本編A−21の一部のフレームF51と、本編A−22の一部のフレームF52とが実質的に同一のシーンである場合、両者を比較して同一シーンであることを検出する。しかしながら、例えば、図21に示されるように、本編A−31のフレームであって、コマーシャルCM31の直前のフレームF61と、本編A−32の一部のフレームであって、コマーシャルCM31の直後のフレームF62とが実質的に同一のシーンであるが、フレームF62には、テロップTが挿入される場合がある。このような場合、フレームF61とフレームF62とをそのまま比較した場合、両者は同一のフレームではないと判定されるおそれがある。
そこで、同一シーン検出部80は、図22に示されるように、比較されるフレームF61,F62のほぼ中央の一部の領域Rの部分のみを抽出して、相互に比較する。通常、テロップTは、画面の下方あるいは右側または左側の辺に沿って表示される。従って、中央の領域Rの画像だけを比較すれば、テロップTが、領域Rの外部の画像となり、両者が異なる画像であると誤判定されるおそれが少なくなる。
なお、以上においては、図16に示されるように、コマーシャルが検出された場合、その直後の15秒単位の信号からコマーシャルを検出するようにしたが、例えば、図23に示されるように、本編A−41と本編A−42の間に、コマーシャルCM41,CM42,CM43が挿入されているような場合において、コマーシャルCM41とコマーシャルCM43の間に挿入されているコマーシャルCM42がコマーシャルとして検出される場合がある。このような場合、コマーシャルは、集中して配置されていることが多いため、コマーシャルCM42の時間的に前方の画像を15秒単位で取り込み、コマーシャルであるか否かを判定し、コマーシャルでないことが確認されたら、時間的に後方の画像を15秒単位で取り込み、コマーシャルであるか否かを判定するようにしてもよい。このようにすることで、例えば、コマーシャルCM42より時間的に前に位置するコマーシャルCM41を、何らかの理由でコマーシャルとして検出することができなかったような場合においても、コマーシャルCM42の、例えば時間的に前方の15秒の整数倍の長さの画像は、コマーシャルである可能性が高いので、コマーシャルとして確実に検出することが可能となる。
このようにして検出されたコマーシャルCM41,CM42,CM43も、CMインデックスサーバ53にCMインデックスとして蓄積される。
次に、図24のフローチャートを参照して、図12のステップS80と図13のステップS71におけるシーンチェンジと音声によるコマーシャル検出処理について説明する。
ステップS101において、シーンチェンジ検出部191は、読出部161より入力された画像信号からシーンチェンジを検出する。シーンチェンジは、時間的に前のフレームと時間的に後のフレームの相関を演算し、その相関が予め設定された基準値より高い相関を示す場合にはシーンチェンジではなく、相関が低い場合にはシーンチェンジであると判定することができる。
ステップS102において、無音部検出部193は、読出部161より入力された音声信号から無音部を検出する。音声信号のレベルが予め設定された基準値より小さい場合に、これが無音部として検出される。
ステップS103において、タイミング検出部195は、シーンチェンジと無音部のタイミングが一致するか否かを判定する。即ち、シーンチェンジ検出部191により検出されたシーンチェンジのタイミングと、無音部検出部193により検出された無音部のタイミングが一致するか否かが判定される。真にシーンチェンジのタイミングであれば、切り替わる前のシーンと切り替わった後のシーンの間には無音部が存在することになる。コマーシャルの区間の時間的に前側の本編との境界と、時間的に後側の本編との境界には、必ずシーンチェンジと無音部が一致するタイミングが存在するはずである。そこで、タイミング検出部195は、両者のタイミングが一致するか否かを判定し、その判定結果を判定部196に出力する。
シーンチェンジと無音部のタイミングが一致する場合、ステップS104において、長さ検出部194は、隣接する無音部と無音部の間の長さが15秒の整数倍であるか否を判定する。上述したように、コマーシャルは、通常15秒の整数倍の長さとされているため、検出中の信号がコマーシャルである場合には、その前側の無音部と後側の無音部、即ち、前側の本編との境界部と後側の本編の境界部の長さは、ほぼ15秒の整数倍の長さとなる。長さ検出部194は、この長さを検出して検出結果を判定部196に出力する。
隣接する無音部の間の長さがほぼ15秒の整数倍であると判定された場合、ステップS105において、長さ検出部192は、隣接するシーンチェンジとシーンチェンジの間の長さがほぼ15秒の整数倍か否かを判定する。即ち、ステップS104においては、音声信号に基づき、信号の長さがほぼ15秒の整数倍であるか否かが判定されたのであるが、ステップS105においては、画像信号に基づいて信号の長さがほぼ15秒の整数倍であるか否かが判定される。
シーンチェンジと無音部のタイミングが一致し、隣接する無音部の間の長さがほぼ15秒の整数倍であり、かつ隣接するシーンチェンジの間の長さがほぼ15秒の整数倍である場合には、その区間はコマーシャルである蓋然性が高い。そこで、この場合、判定部196はステップS106において、処理対象の区間はコマーシャル区間であるとする。これに対して、シーンチェンジと無音部のタイミングが一致しないか、隣接する無音部の間の長さがほぼ15秒の整数倍でないか、または隣接するシーンチェンジの間の長さがほぼ15秒の整数倍ではないと判定された場合には、判定部196は、ステップS107において、処理対象の区間を非コマーシャル区間であるとする(コマーシャル区間ではないとする)。
以上のようにして、シーンチェンジと音声に基づいて、コマーシャル区間であるか否かを判定することが可能となる。
このシーンチェンジと音声によるコマーシャル検出処理は、画像CMインデックスが存在する場合には、これと組み合わせて(図13のステップS71)、画像CMインデックスが存在しない場合には、単独で(図12のステップS80)行われる。
このように本発明においては、CMインデックスサーバ53にできるだけ多くのコマーシャルを蓄積することで、確実にコマーシャルを検出することが可能となる。なぜならば、コマーシャルは殆どの場合、同一の内容のものが繰り返し放送されるからである。
CMインデックスをできるだけ多くするために、ユーザがメイン蓄積部73に蓄積した画像を再生している場合においてコマーシャルが表示された場合、これをユーザが指示することで、CMインデックスとしてCMインデックスサーバ53に蓄積させることも可能である。図25は、この場合の処理を表している。
即ち、ステップS131において、ユーザが操作部78を操作して、メイン蓄積部73に蓄積されている信号の再生を指令した場合、再生部74は指定された記録信号を再生する。再生された信号は、出力部75に供給され、画像および音声としてユーザに提示される。
ユーザは、この画像と音声を視聴して、現在視聴している区間がコマーシャル区間である否かを判定する。上述したように、基本的には、メイン蓄積部73に蓄積される画像信号と音声信号は、コマーシャル区間を除く部分だけのはずである。しかしながら、検出できなかったコマーシャルがメイン蓄積部73に記録されてしまうこともある。そこで、このような場合、ユーザは、操作部78を操作して、コマーシャル区間であることを指示する。制御部77は、ステップS132において、ユーザからの指示に基づいて、コマーシャル区間の指示があるか否かを判定し、指示があった場合には、ステップS133において、その信号をCMインデックスサーバ53に記憶する処理を実行する。メイン蓄積部73は、制御部77により制御された場合、指示された区間の画像信号と音声信号をシーンCMインデックスとして通信部81からネットワーク51を介してCMインデックスサーバ53に供給する。CMインデックスサーバ53は、通信部231を介して、この画像信号と音声信号を受信すると、これを画像CMインデックスおよび音声CMインデックスとして記録部232に供給し、記憶させる。
ステップS132において、コマーシャル区間の指示がないと判定されたされた場合、またはステップS133においてCMインデックスサーバに記憶する処理が終了した場合、ステップS134において、制御部77は、終了が指令されたか否かを判定し、指令されていない場合には、ステップS131に戻り、それ以降の処理を繰り返し実行する。ステップS134において、終了が指令されたと判定された場合、処理は終了される。
以上のようにして、CMインデックスサーバ53の記憶部232には、例えば、図26に示されるように、多くのコマーシャルインデックスCM51,CM52,CM53・・・を記憶しておき、これを受信中の信号と比較することで、本編A−51と本編A−52の間に挿入されているコマーシャルを簡単かつ確実に検出することが可能となる。
なお、以上においては、一時蓄積部72に記憶させる場合と、メイン蓄積部73に記憶させる場合とで二重にコマーシャルを検出するようにしたので、より正確かつ確実にコマーシャルを削除して、本編の信号だけを記録することができる。しかし、処理をより簡単にするために、一時蓄積部72に記憶する場合の処理は省略してもよい。
また、以上においては、画像信号と音声信号とよりなるコンテンツについて説明したが、本発明は、その他のコンテンツに対しても同様に不要なコンテンツを検出することが可能となる。
さらに、以上においては、コマーシャルを削除してメイン蓄積部73に蓄積するようにしたが、実際には削除せず、再生時にコマーシャルの部分をジャンプする制御信号を記録するようにして、実質的に削除したのと同様の効果を上げることも可能である。なお、CMインデックスは、録画装置52の内部に記憶することもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図3に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア83により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
41 録画システム, 51 ネットワーク, 52−1乃至52−5 録画装置, 53 CMインデックスサーバ, 71 入力部,72 一時蓄積部, 73 メイン蓄積部, 74 再生部, 75 出力部, 76 音声検出部, 77制御部, 79 画像音声検出部, 80 同一シーン検出部,