以下に、本発明によるコマーシャルメッセージ検出方法及び移動通信装置の実施の形態を、図面を参照して説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わるコマーシャルメッセージ検出方法が適用された、本発明の第1の実施形態に係わる移動通信装置の構成を示すブロック図である。
この移動通信装置MSは、装置全体の制御を行う制御部110と、基地局(図示せず)との間で電波の送受を行うアンテナ120aと、通信部120bと、送受信部130と、受話音声発生用のスピーカ140aと、送話音声入力用のマイクロフォン140bと、通話部140cと、表示部150と、入力部160と、放送受信部210と、放送局(図示せず)から送信された電波を受信するアンテナ210aと、スピーカ220と、CM検出部230とを備える。
図2は、放送受信部210の詳細な構成を示すブロック図である。放送受信部210は、アンテナ210aと接続されるチューナ部211と、CM検出部230へテレビ放送信号を出力し、CM検出部230からのCM属性信号を受信するデコーダ部212と、表示部150及びスピーカ220と接続される再生部213とからなる。放送受信部210の各部は、制御部110によって制御される。
図3は、CM検出部230の詳細な構成を示すブロック図である。CM検出部230は、CM検出部230内の各部を制御するCM検出制御部231と、放送受信部210からのテレビ放送信号を入力するトリガ検出部232と、放送受信部210からのテレビ放送信号を入力するCM特徴量算出部233と、CM判定部234と、遅延型CM検出部235と、放送受信部210からのテレビ放送信号を入力するCM区間特徴量算出部235−2と、CMデータ登録部236と、CMデータベース部237と、放送受信部210に接続されるCM属性記憶部238と、CMデータ削除部239とからなる。なお、図3では、各部の間を実線矢印で結んだが、この矢印は、信号の流れの概要を容易に理解できるように付したもので、一部の信号の流れを省略している。
CMデータベース部237には、CMデータが記憶される。CMデータは、CMと推定されたテレビ放送信号の特徴量であるCM特徴量と、そのCMの放送時間長などを含む。CM属性記憶部238には、CM属性が記憶される。CM属性は、放送中のテレビ信号がCMであるか否か、更に、CMである場合、そのCMの属性を示す。CM属性記憶部238に記憶されたCM属性は、CM属性信号として放送受信部210へ送られる。
上記のように構成された、本発明の実施形態に係る移動通信装置MSの各部の動作を図1〜図3を参照して説明する。通信部120bは、アンテナ120aによって受信された高周波信号を送受信部130へ出力し、また、送受信部130から出力された高周波信号をアンテナ120aより送信する。
送受信部130は、通信部120bからの高周波信号を増幅、周波数変換及び復調し、それによってデジタル信号を得て、得られた通話音声信号を通話部140cに、制御信号を制御部110に、CMに係る信号をCM検出部230に送る。
更には、送受信部130は、デジタル信号、即ち、通話部140cから出力された通話音声信号、制御部110から出力された制御信号、及びCM検出部230から出力されたCMに係る信号を変調、周波数変換及び増幅し、高周波信号を得て、それを通信部120bに送って送信させる。
通話部140cは、送受信部130から出力されたデジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ140aに送る。また、マイクロフォン140bから出力されたアナログ音声信号を増幅し、それをデジタル音声信号に変換して送受信部130に送信する。
表示部150は、例えば、LCDであり、制御部110に制御されることで、文字・数字や映像データの表示動作を行い、表示されているデータは、入力部160からの入力操作や着信信号に応答して制御部110からの指示を受けることで切換わる。
入力部160は、通信相手の電話番号等を指定するため、また、文字を入力するための数字キーと複数の機能キーを含むキーからなる。そして、入力部160のキーが操作されると、そのキーの識別子が制御部110に通知され、制御部110によって、表示部150に文字として表示され、又は、制御が行われる。
放送受信部210の各部の動作を説明する。チューナ部211は、放送局から送信され、アンテナ210aによって受信された高周波信号から制御部110によって指示されたチャンネル番号のチャンネルの信号を選択する。そして、選択された高周波信号を中間周波数の信号に変換し、変換された信号を復調することによってデジタル放送された信号を得る。
なお、チューナ部211は、接続部(図示せず)を有し、アンテナ210aからの高周波信号を、その接続部に接続されたケーブルを介して受信しても良い。なお、上記ケーブルは、第2の放送受信用アンテナ(図示せず)に接続されていても良い。
デコーダ部212は、チューナ部211によって得られたデジタル放送された信号を受信して、復号することにより、デジタル映像信号及びデジタル音声信号を得て、それらの信号をCM検出部230へ送る。また、CM検出部230から送られたCM属性信号によって、得られた映像信号及び音声信号がCMであるとされた場合、その映像信号及び音声信号に変形を施す。変形の一例は、音声信号の音量の低下であり、別の一例は、映像信号の表示輝度の低下である。輝度の低下によれば、表示部150による消費電力の削減の効果が得られる。
この音声信号の音量の低下は、CM属性信号にCM中の音量の平均値や、音量の分布が含まれていれば、それらに基づいて、AGC(Auto Gain Control)機能や、DRC(Dynamic Range Control)機能を用いて視聴者が違和感を覚えない変形が容易である。また、この映像信号の輝度の低下は、CM属性信号にCM中の輝度の平均値や、輝度の分布が含まれていれば、それらに基づいて、視聴者が違和感を覚えない変形が容易である。
更に、上記変形は、CM属性信号にCMである確度が含まれていれば、その確度が高い程大きくしても良い。確度が所定の閾値を越える場合、音声を発生させず、及び/又は、映像を小さいウィンドウとして表示させ、若しくは、表示させないとしても良い。
また、上記変形は、CM属性信号にCMが現在以後放送され続ける時間が含まれていれば、その時間に渡り、テレビ放送信号に含まれるEPGを表示させることである。また、チューナ部211に異なる放送チャンネルの放送を受信させることである。異なる放送チャンネルの受信と、受信していた放送チャンネルの受信とを所定の時間間隔で切り替えても良い。また、異なる放送チャンネルが複数ある場合、それらの複数のチャンネルを順次選択しても良い。
また、チューナ部211は複数の放送チャンネルの放送を受信する場合、チューナ部211に異なる放送チャンネルの放送を併せて受信させ、再生部213に指示して、表示部150の表示画面を分割させ、複数の放送の映像信号を分割された表示画面のそれぞれに表示させることである。更に、その時間の間、録画放送記憶部(図示せず)に記憶されたテレビ放送信号、若しくは、ビデオカメラで撮影された信号、又は、カメラで撮影された静止画を再生させることである。
更に、上記変形は、放送受信部210の他に起動され、放送受信部210より優先度が低いために動作していなかった処理部(図示せず)を動作させることである。この処理により、例えば、表示部150に表示させるリソースは、その処理部に割り当てられる。また、上記変形は、ブラウザ部(図示せず)を動作させ、所定のURLへアクセスさせ、そのアクセスによって得られた情報を表示部150に表示させ、スピーカ220から発生させることである。これらの表示の際、放送受信部210による表示、及び/又は、音声の発生は、併せて行われても良く、中断されても良い。
再生部213は、デコーダ部212によって変形を施された映像信号を表示部150に送って表示させ、変形を施された音声信号をスピーカ220へ送って音声を発生させる。
CM検出部230の各部の動作を説明する。トリガ検出部232は、入力されたテレビ放送信号の時間方向の変化を検出し、その信号の変化にCMの開始のトリガがあると検出された場合、この変化が発生した時刻をトリガ時刻として出力する。CMの開始の可能性がある信号の変化は、例えば、テレビ放送信号の音声信号が無音から有音に遷移したことであり、この遷移は、CMの終了を判断するための情報でもある。
CM特徴量算出部233は、トリガ検出部232によってトリガ時刻が出力された場合、そのトリガ時刻を起点として、所定の短時間、例えば、数秒間のテレビ放送信号からその信号の特徴量を算出して、CM特徴量として出力する。なお、この特徴量と併せて、トリガ時刻を出力する。
CM判定部234は、CM特徴量算出部233から出力されたCM特徴量がCMデータベース部237に記憶されているか否かを調べる。記憶されていない場合、テレビ放送信号はCMではないと判定する。記憶されている場合、テレビ放送信号は、CMであると判定する。テレビ放送信号はCMであると判定された場合、CM判定部234は、放送中のテレビ信号がCMである旨をCM属性記憶部238に記憶させる。
遅延型CM検出部235は、トリガ検出部232によってトリガ時刻が出力された場合、そのトリガ時刻を起点として、所定の時間のテレビ放送信号がCMであるか否かを検出する。CMであると検出された場合、CM時間長と、トリガ時刻とを出力して、CMであると検出された旨を示す。更には、後述するCM区間特徴量算出部235−2によって算出された、CM全体に渡る音声信号の特徴量や、映像信号の特徴量を出力する。
CM区間特徴量算出部235−2は、入力されたテレビ放送信号の、最近入力された数分に渡る部分をCM区間特徴量算出部235−2内に記憶する。この数分とは、CMの最大の時間長を超える時間であることを意味する。そして、開始時刻と、終了時刻とを指定されて、記憶されたテレビ放送信号の開始時刻から終了時刻に渡る区間の信号を解析して、その区間の信号に係る特徴量を出力する。
CM区間特徴量算出部235−2は、次のような特徴量を出力する。即ち、区間中の音声信号の音量の平均値、区間中の音声信号の音量の分布、区間中の映像信号の輝度の平均値、区間中の映像信号の輝度の分布などである。
CMデータ登録部236は、CM特徴量算出部233から出力されたCM特徴量と、トリガ時刻とを関連付けてCMデータ登録部236内に記憶する。そして、遅延型CM検出部235からCMであると検出された旨が出力された場合、同時に出力されたトリガ時刻と等しいトリガ時刻と関連付けられてCMデータ登録部236内に記憶されたCM特徴量がCMデータベース部237に記憶されているか否かを調べる。記憶されていない場合、CMデータ登録部236は、そのCM特徴量、遅延型CM検出部235から出力されたCM時間長などを関連付けてCMデータベース部237に記憶させる。
CMデータ削除部239は、例えば、CMデータベース部237に記憶されたCMデータの数が増大して、CMデータベース部237に割り当てられた記憶容量を超える恐れがある場合、CMデータの一部を削除する。削除するCMデータは、例えば、古くから記憶されているCMデータである。
上記の各部の動作によって、放送中のテレビ信号がCMであるか否かが検出されることを、CMの構成と併せて説明する。なお、ここでは、音声信号を用い、無音から有音に遷移する時刻をトリガ時刻とするとして説明する。
図4は、CMの構成の一例を示し、図4(a)は、単体CMの構成P1を示す。単体CMの構成P1は、CM時間長が15秒のCMの構成であり、開始直後と、終了直前には無音区間を含む。そして、無音区間を除く部分は有音区間であって、CMの大部分は有音区間である。
図4(b)は、2つの連続するCMが番組本編の間に放送された構成P2を示す。この構成P2は、番組本編1、CM1、CM2、番組本編2の順で構成されている。ここで、CM1と、CM2とはいずれもCM時間長が15秒とする。そして、番組本編1の終了直前の時刻P3と、CM1の開始直後の時刻P4との間、CM1の終了直前の時刻P6と、CM2の開始直後の時刻P7との間、及び、CM2の終了直前の時刻P12と、番組本編2の開始直後の時刻P13との間は無音区間である。更に、CM2の中ほどの時刻P9〜P10の間は無音区間であるとする。
トリガ検出部232は、時刻P4で無音から有音に遷移したので、P4をトリガ時刻として検出する。CM特徴量算出部233は、トリガ時刻P4から所定の時間が経過した時刻P5前後のテレビ放送信号から特徴量を算出する。CM判定部234は、この算出された特徴量がCMデータベース部237に記憶されている場合、その特徴量と関連付けて記憶されたCM時間長である15秒を得て、時刻P4から15秒間のテレビ放送信号はCMであると判定する。記憶されていない場合、時刻P4以降の放送は、CMではないと判定する。なお、CM1の開始時刻は、時刻P4の直前であるが、ここでは、時刻P4が開始時刻であるとして、簡明な説明とする。
一方、遅延型CM検出部235は、トリガ時刻P4から15秒経過した時刻の前後に、音声信号は無音であるか否かを調べる。この場合、時刻P6〜P7の間は無音区間であるので、無音であると判断し、時刻P4から15秒間のテレビ放送信号はCMであると判定する。そして、時刻P5前後のテレビ放送信号から算出された特徴量がCMデータベース部237に記憶されていない場合、その特徴量と、トリガ時刻P4と、CM時間長として15秒をCMデータベース部237に記憶させる。
以上の説明で明らかなように、CM判定部234によるCMであるか否かの検出は、CM1の開始から短時間で行われる。一方、遅延型CM検出部235によるCMであるか否かの検出は、CM1が終了した、即ち、その開始から15秒を経た後で行なわれる。その結果、CM1が初めて放送された場合、CM判定部234は、CM1をCMとは判定しない。そして、2回目以降に放送された場合、CMと判定する。
同様に、トリガ検出部232は、時刻P7をトリガ時刻として検出し、CM特徴量算出部233は、トリガ時刻P7から所定の時間が経過した時刻P8前後のテレビ放送信号から特徴量を算出する。そして、CM判定部234は、時刻P7から15秒間のテレビ放送信号はCMであるか否かを検出し、また、遅延型CM検出部235は、時刻P4から15秒間のテレビ放送信号はCMであるか否かを検出する。
CM2中の時刻P9〜P10が無音であるため、トリガ検出部232は、時刻P10をトリガ時刻として検出し、CM特徴量算出部233は、トリガ時刻P10から所定の時間が経過した時刻P11前後のテレビ放送信号から特徴量を算出する。
遅延型CM検出部235は、時刻P10から15秒間のテレビ放送信号はCMであるか否かを検出する。時刻P10から15秒後には番組本編2が放送されており、無音ではないことが通例である。そこで、時刻P10から15秒間の放送は、CMでないと検出され、時刻P11前後のテレビ放送信号から算出された特徴量は、CMデータベース部237に記憶されない。その結果、このCM2が2回目以降に放送された場合、CM判定部234は、時刻P10から15秒間のテレビ放送信号を誤ってCMとして判定することはない。
次に、CM検出部230によるCM検出の詳細を、まず、CMデータベース部237に記憶されるCMデータ、及び、CM属性記憶部238に記憶されるCM属性の詳細から説明する。
図5は、CMデータベース部237に記憶されるCMデータの構成の一例を示す。CMデータは、CM識別子237aと、CM特徴量237bと、CM時間長237cと、CM音量237dと、CM音量構成237eと、CM輝度値237fと、CM輝度構成237gと、CM確度237hと、CM登録日時237iと、CM参照回数237jと、CM最終参照日時237kとが関連付けられたデータであり、1つの関連付けられたデータが1つのCMを表す。
CM識別子237aは、CMデータをCMデータベース部237内で一意に識別するデータ管理用の識別子である。CM特徴量237bは、CMの特徴量であって、1つ以上の特徴量ベクトルである。CM時間長237cは、CMの放送時間の長さである。CM音量237dは、CM中の音声信号の音量の平均値である。CM音量構成237eは、CM中の音声信号の音量の分布であって、例えば、1秒ごとの音量やCM全体を15分割や30分割した小区間ごとの音量の平均値である。
CM輝度値237fは、CM中の映像信号の輝度の平均値である。CM輝度構成237gは、CM中の映像信号の輝度の分布であって、例えば、1秒ごとの輝度やCM全体を15分割や30分割した小区間ごとの輝度の平均値である。
CM確度237hは、CMである確からしさである。CM登録日時237iは、CMデータが新規に記憶された日時である。CM参照回数237jは、CM特徴量237bに基づいて、テレビ放送信号がCMであると判定された回数である。CM最終参照日時237kは、CM特徴量237bに基づいて、最後にテレビ放送信号がCMであると判定された日時である。
図6は、CM属性記憶部238に記憶されるCM属性の構成の一例を示す。このCM属性は、CMフラグ238aと、CM時間長238bと、残CM時間238cと、CM開始日時238dと、CM音量238eと、CM音量構成238fと、CM輝度値238gと、CM輝度構成238hと、CM確度238iとが関連付けられた、1組の情報である。
CMフラグ238aは、放送中のテレビ信号がCMであると判定されている場合、「ON」なる値であり、CMでないと判定されている場合、「OFF」なる情報である。CMフラグ238a以外の値は、CMフラグ238aが「ON」の場合に意味を持ち、CM時間長238bは、放送中のCMの放送時間長である。残CM時間238cは、放送中のCMが終了するまでの時間である。CM開始日時238dは、放送中のCMが放送開始された日時である。
CM音量238eと、CM音量構成238fと、CM輝度値238gと、CM輝度構成238hと、CM確度238iとは、それぞれ、CMデータベース部237に記憶されるCMデータ中のCM音量237dと、CM音量構成237eと、CM輝度値237fと、CM輝度構成237gと、CM確度237hと同じであって、放送中のCMに係る情報である。
トリガ検出部232の動作の詳細を説明する。トリガ検出部232は、テレビ放送信号がCMに変化したトリガの検出と、時刻の変化に伴うCM属性記憶部238に記憶されるCM属性の更新を行う。図7は、トリガ検出部232の動作のフローチャートを示す。
トリガ検出部232は、CM検出部230を動作させるため、制御部110によってCM検出制御部231が起動されると、CM検出制御部231によって起動を開始し、初期化、即ち、CM属性のCMフラグ238aに「OFF」を設定して、CM属性を更新させる(ステップS232a)。この初期化は、CM検出部230の各部が動作を開始した時点では、テレビ放送信号はCMではないとするものであるが、CMであったとしても支障はない。
続いて、トリガ検出部232は、CMフラグ238aは「ON」であるか否かを調べ(ステップS232b)、「ON」であれば、残CM時間238cから、トリガ検出部232が放送受信部210からテレビ放送信号を間欠的に、即ち、所定の時間間隔で入力する間隔の時間を減じて、CM属性に更新記憶させる(ステップS232c)。
残CM時間238cが「0」以下の値であるか否かを調べ(ステップS232d)、「0」以下の値であれば、トリガ検出部232は、CMフラグ238aは「OFF」に更新記憶させる(ステップS232e)。
続いて、トリガ検出部232は、上記所定の間隔の時間に係るテレビ放送信号を放送受信部210から入力し、CM属性を放送受信部210へ出力し(ステップS232f)、トリガを検出する(ステップS232g)。トリガが検出されたか否かを調べ(ステップS232h)、検出された場合、トリガが発生したトリガ時刻を出力して(ステップS232i)、ステップS232bのCMフラグ238aは「ON」であるか否かを調べる動作に移る。検出されなかった場合、直ちに、ステップS232bのCMフラグ238aは「ON」であるか否かを調べる動作に移る。
ステップS232bの動作で、CMフラグ238a「ON」でない、即ち、「OFF」である場合、及び、ステップS232dの動作で、残CM時間238cが「0」以下の値である場合、トリガ検出部232は、ステップS232fの上記所定の間隔の時間に係るテレビ放送信号を放送受信部210から入力する動作に移る。トリガ検出部232は、CM検出部230が動作中は動作を続ける。
なお、上記ステップS232a〜ステップS232eの動作は、CM属性の更新の動作であり、ステップS232f〜ステップS232iのトリガ検出に係る動作とは異なる種類の動作である。この実施形態では、トリガ検出部232は、間欠的にテレビ放送信号を入力し、入力された信号の処理を次に信号を入力するまでの間に完了するので、この入力の間隔が一定であることを活用して、CM属性の更新を行う。残CM時間238cは、時刻の経過と共に、減算されることが必須であるためである。
しかしながら、CM属性の更新の動作は、トリガ検出部232が行うと限るものではない。例えば、CM検出制御部231又は制御部110が所定の時間間隔で発生させる割り込みによって、上記CM属性の更新動作を開始するとしても良い。
また、ステップS232fでCM属性を放送受信部210へ出力するとしたが、これも、トリガ検出部232は、一定の時間間隔で放送受信部210からテレビ放送信号を入力することを活用したものであって、CM属性の出力は、この方法に限るものではない。例えば、放送受信部210がCM属性記憶部238を参照しても良い。また、CM検出制御部231はCM属性を制御部11に通知し、制御部11は、放送受信部210の要求に応じてCM属性を通知するとしても良い。
更に、放送受信部210がCM属性記憶部238を参照する際、現在時刻からCM開始日時238dを減算することにより残CM時間を算出し、算出された残CM時間が「0」以下であれば、CMフラグ238aの値に係らず、テレビ放送信号はCMでないと判断する場合、上述したCM属性の更新の動作は不要となる。また、CM属性は、残CM時間238cを含む必要はない。
なお、トリガ検出部232が放送受信部210からテレビ放送信号を間欠的に入力するとしたが、この時間間隔は、数十m秒、長くても100m秒が適切である。トリガ検出部232がCMの開始を早く検出することによって、テレビ放送信号がCMであるか否かが早く判定されるためである。例えば、地上波デジタルテレビ放送信号の音声信号はAAC方式で符号化されており、これをデコードして得られる信号は、48KHzサンプリングで1024サンプルずつである。この信号を得る周期は、1024/48≒21.3m秒となり、妥当な間欠入力周期である。
ステップS232gのトリガの検出動作の詳細を、図8を参照して説明する。トリガ検出部232は、テレビ放送信号の音声信号が無音から有音に遷移したこと、及び/又は、テレビ放送信号の映像信号のシーンチェンジが発生したことをトリガとして検出し、トリガが発生したトリガ時刻を出力する。なお、シーンチェンジとは、時間的に連続する2つのフレームの映像が大きく変化したことであり、それらのフレームがフレーム内符号化されているか否かとは無関係である。ここで、この無音から有音に遷移したことや、シーンチェンジしたことは、少なくともCM放送の開始の際に、及び、CM放送の終了の際に発生する。
トリガ検出部232は、音声信号の振幅がある無音閾値よりも小さくかつ一定時間以上連続する区間を無音区間として検出し、この無音区間の終了時刻(図8では、時刻T5。)をトリガ時刻として検出する。このようにトリガ時刻を検出することによって、CM特徴量算出部233がトリガ時刻直後の音声信号の特徴量を算出する際、有音区間の音声特徴量を算出し、有効な特徴量が得られる。
ここで、無音閾値を小さくし過ぎたり、逆に大きくし過ぎると、本来検出されるべきCMの開始付近のトリガ検出不足が生じ、結果的にCMが検出されないエラーが発生し、また、CMの開始付近以外の余計な無音終了がトリガとして検出され、CMでない放送がCMであると検出されないにしても、CM特徴量算出部233による無用な特徴量の算出が行われる問題が発生する。
無音閾値は、上記を鑑みて適切な値に設定すべきであり、音声信号が16bit量子化のPCMの場合、経験上、無音閾値は100前後が妥当である。また、無音継続長も同様に長すぎるとトリガ検出が不足し、逆に短すぎると余計なトリガ検出により無駄な処理量増加を引き起こす。無音継続長は上記を鑑みて適切な値に設定すべきであり、経験上、200から300m秒程度が妥当である。
トリガ検出部232は、映像信号のシーンチェンジ時刻(時刻T1、T3、T7)をトリガ時刻として検出しても良い。シーンチェンジ時刻は、例えば隣り合う映像フレーム間の差が、あるシーンチェンジ閾値よりも大きい場合に、その隣り合う2つのフレームの前フレームに係る時刻、後フレームに係る時刻、又は、それらの時刻の中間時刻とする。映像フレーム間の差の算出方法は、映像フレームのブロックごとの輝度や色差の平均値を映像特徴量ベクトルとし、この映像特徴量ベクトルのベクトル距離や内績として算出する。
このように、映像信号によってトリガ時刻を検出すると、CM冒頭の無音区間に該当する部分の音量が大きいために、無音検出がされなかった場合でも、CM冒頭付近のシーンチェンジを検出できる可能性があるので、CM冒頭付近のトリガを取りこぼさない。ただし、シーンチェンジ閾値を大きくし過ぎると、検出されるシーンチェンジが減りCM冒頭付近のトリガの取りこぼし抑制効果が低減する。逆にシーンチェンジ閾値を小さくしすぎると、検出されるシーンチェンジが増加し、その都度CM特徴量が算出されるので、無駄な処理量増加を引き起こす。シーンチェンジ閾値は上記を鑑みて適切な値に設定する必要がある。
トリガ検出部232は、上記無音区間の終端時刻(時刻T5)に最も近い時刻の映像フレーム位置(時刻T4)、又は、直後の映像フレーム位置(時刻T6)をトリガ時刻として検出しても良い。例えば、無音区間の終端位置時刻(時刻T5)をトリガ時刻とする場合、音声信号中のノイズや音量(ゲイン)などの影響で、無音区間の終了位置時刻が多少前後にずれる可能性があるが、上記方法でトリガ時刻を特定することで、前後のずれによる影響を受けない。
トリガ検出部232は、無音区間に存在するシーンチェンジ時刻(時刻T3)をトリガ時刻として検出しても良い。例えば無音区間の終了位置時刻(時刻T5)をトリガ時刻とする場合、もしCM冒頭の無音が5秒継続するときは、CMが開始してからトリガ検出までに最低5秒の遅延が生じることになるが、上記方法でトリガ時刻を特定すれば、CM冒頭の無音が長く続くような場合でも、無音状態になってから最初のシーンチェンジ時刻をトリガ時刻とするので、無駄な遅延を生じることなく、トリガ検出が可能となる。無音区間にシーンチェンジ時刻が複数存在する場合、最後のシーンチェンジ、即ち、無音区間の終了位置時刻(時刻T5)に最も近い時刻のシーンチェンジの時刻とする。
以上のようにトリガ検出部232がトリガ時刻を厳密に定められた手順によって検出することが、同じCMが複数回放送された際、CM特徴量算出部233がそれらの複数のCMから同じ特徴量を算出するために必須である。言い換えると、CM特徴量算出部233がCMの特徴量を算出するために用いるテレビ放送信号は、CM開始から同じ時間が経過した信号でなければならない。これを保証するため、トリガ時刻と、CM開始時刻との差は、常に一定でなければならないためである。
上記のように、無音区間を音声信号の振幅を参照して検出することに代えて、音声フレームのビット列を参照して検出することが考えられる。CM素材がフレーム毎に切り出されたデジタルデータとして放送局に送られ、そのデジタルデータがアナログ信号に変換されることなく、符号化されて放送される場合、このフレームのビット列を参照して検出する方法も有効である。同じCMが複数回放送された際、全く同じビット列のフレームが放送受信部210で得られ、トリガ検出部232に入力されるからである。
しかし、CM素材がアナログデータとして放送局に送られ、放送局でデジタル化される場合、このビット列を参照して検出する方法の適用には、充分な注意が必要である。この注意が必要な理由を説明する。図9は、アナログデータであるCM素材から音声フレームが切り出される2つの例を示し、横軸は、時刻をフレーム切り出しのタイミング単位の目盛りを付して表している。
音声フレーム切り出しの際、アナログデータであるCM素材の冒頭から切り出すのであるが、素材の冒頭から誤差を含んだ時間を経過した時刻からデータから切り出しを開始する。この誤差が、たとえ数m秒程度であっても、音声フレームのビット列は大きく変化する。また、異なった音声フレームによって、無音が終了したと判断されることがある。
図9(a)の音声フレーム切り出しの第1の例では、F11個目の音声フレームで無音が終了したと判断され、トリガ時刻とされる。図9(b)の音声フレーム切り出しの第2の例では、F12個目の音声フレームで無音が終了したと判断され、トリガ時刻とされる。無音が終了したと判断されたフレームに続く4つの音声フレームから特徴量を算出するとした場合、これらの2つの例では、同じCM素材から放送されたCMであるにも係らず、大きく異なる音声フレームから特徴量を算出することになり、CM判定部234の判定が妥当でない可能性が大変に大きくなる。
なお、アナログデータであるCM素材から切り出された映像フレームにも、上述したように、CM素材の冒頭から最初のフレームが切り出されるまでの時間に依存した、放送される度に生じる差がある。しかし、一般に、時間的に連続する映像フレームの特徴量の差は、連続する音声フレームの特徴量の差に比較すれば少ない。
そこで、例えば、放送された映像フレームと、記憶された映像フレームが等しいか否かの判断の際、時間的に連続する映像フレームが記憶されていれば、それらのフレームから、等しいと予想されるフレーム、その前のフレーム、及び、その後のフレームとを選択して比較し、いずれかと等しい場合、放送された映像フレームと、記憶された映像フレームが等しいとみなすことができる。
CM特徴量算出部233の動作の詳細を説明する。図10は、CM特徴量算出部233の特徴量算出の動作のフローチャートを示す。CM特徴量算出部233は、トリガ検出部232によってトリガが検出され、トリガ時刻が出力された場合、動作を開始し、トリガ時刻から短時間に渡るテレビ放送信号から第一のCM特徴量を算出する(ステップS233a)。そして、算出された第一のCM特徴量と、トリガ時刻とを出力する(ステップS233b)。
ここで、上記短時間は、より短いほどCM判定部234によってより早くCMであるか否かが判定され、より長いほどCM判定部234によってより正確にCMであるか否かが判定される。早さを重視する場合、例えば、数百m秒間〜1秒間程度、正確さを重視する場合、例えば、1秒間〜3秒間程度が適切である。
ここで、CM特徴量は、例えば、テレビ放送信号の音声信号のスペクトルや、メル周波数ケプストラム係数(MFCC、Mel Frequency Cepstrum Coefficients)、LPCケプストラムなどのケプストラム、又は、帯域ごとのフィルタバンク出力である。また、テレビ放送信号の映像信号をブロックに分割し、それぞれのブロック毎の輝度信号の平均値と色差信号の平均値とである。
続いて、CM特徴量算出部233は、テレビ放送信号から第二のCM特徴量を算出し(ステップS233c)、算出された第二のCM特徴量を出力して(ステップS233d)、動作を終了する。ここで、第二のCM特徴量は、ステップS233aで第一のCM特徴量を算出するのに用いたテレビ放送信号より後のテレビ放送信号、例えば、トリガ時刻から7〜10秒程度を経たテレビ放送信号から算出される。
なお、CM特徴量算出部233は、トリガ検出部232によってトリガが検出される度に動作を開始する。そのため、1つのトリガ時刻を契機とした動作が終了する前に、異なるトリガ時刻を契機とした動作を開始することがある。
ここで、図11を参照して、第一のCM特徴量と、第二のCM特徴量との一例を説明する。この例では、第一のCM特徴量P611は、トリガ時刻の直後の連続したテレビ放送信号P612から算出されたM本の特徴量ベクトルから構成されている。第二のCM特徴量P613は、テレビ放送信号P612より後に放送された、不連続のテレビ放送信号P614、P615、P616から算出されたN−M本の特徴量ベクトルから構成されている。そして、第一のCM特徴量P611及び第二のCM特徴量P613がCM特徴量237bとして記憶される。
第一のCM特徴量P611は、トリガ時刻後、放送中のテレビ信号がCMであるか否かを速やかに判定するため用いられるので、トリガ時刻から近く、かつ、短い、数百m秒〜1秒程度以内のテレビ放送信号から短時間で算出される。一方、第二のCM特徴量P613は、冒頭が同じ内容で、CM時間長が長短のCM、例えば、15秒のCMと30秒のCMとが放送される場合、又は、冒頭の内容は同じ、かつ、CM時間長は同じだが、アレンジ等の違いにより冒頭以外の内容が異なるCMの場合に、いずれのCMであるかの判定に用いられる。
そこで、第二のCM特徴量P613は、トリガ時刻後、比較的長い時間、例えば、7〜10秒程度の時間が経過した後のテレビ放送信号から算出される。第一のCM特徴量P611の算出に用いられたトリガ時刻直後のテレビ放送信号P612に依存して算出されると、CM時間長が長短のCMのいずれであるかの判定や、アレンジが異なるCMの判定には有効ではない。また、算出時間が短いことを、第一のCM特徴量P611の算出に比較すると強く要求されることがないので、図11に示すように、複数の区間のテレビ放送信号P614、P615、P616から算出されることがいずれのCMであるかの判定の際に望ましいが、1つの区間のテレビ放送信号から算出されても良い。
CM判定部234の動作の詳細を説明する。図12は、CM判定部234が放送中のテレビ信号がCMであるか否かを判定する動作のフローチャートを示す。CM判定部234は、CM特徴量算出部233から第一のCM特徴量と、トリガ時刻とが出力されることを契機として動作を開始し、CM特徴量算出部233から出力された第一のCM特徴量と、トリガ時刻とを入力する(ステップS234a)。
CM判定部234は、入力された第一のCM特徴量に等しい第一のCM特徴量を含むCM特徴量237bをCMデータベース部237から検索することによって、現在のテレビ放送信号はCMであるか否かの第一の判定を行なう(ステップS234b)。この検索に際し、CM判定部234は、CM特徴量算出部233から出力されたCM特徴量と、記憶されているCM特徴量のいずれかとの距離が所定の値未満である場合、記憶されているとする。上記CM特徴量と、記憶されているCM特徴量のそれぞれとの距離が全て所定の値以上である場合、記憶されていないとする。
なお、この検索動作の際、更に、追加条件が満たされる場合に限って検索されたとしても良い。即ち、CM判定部234は、上記のCM特徴量237bの条件に加えて、CM確度237hが所定の確度閾値以上であること、CM登録日時237iが所定の日時より新しいこと、CM参照回数237jが所定の回数閾値より大きいこと、CM最終参照日時237kが所定の日時より新しいこと、の条件中の1つ、若しくは、所定の数以上が満たされること、又は、これらの条件の中で満たされる条件の重要度、若しくは、これらの条件が満たされる程度を数値で評価し、その評価された数値を加重平均し、その加重平均値が所定の値以上である場合、検索されたとしても良い。
ステップS234bで検索されない場合、CM判定部234は、放送中のテレビ信号はCMでないと判定して、CMであるか否かを判定する動作を終了する。なお、検索されない場合であっても、上記追加条件は満たされないものの、入力された第一のCM特徴量を含むCM特徴量237bがCMデータベース部237から検索された場合、CM判定部234は、検索されたCM特徴量237bと関連付けられたCM確度237hを増加させて更新記憶させても良い。
また、この更新記憶は、そのCM特徴量237bと関連付けられたCMデータが、上記追加条件が満たされるか否かの際に説明した加重平均値が上記所定の値未満の所定の値以上である場合に限っても良い。言い換えると、CMであると判定されないにしても、CMである可能性が大きいものについて、CM確度237hを増加させるものである。
一方、検索された場合、CM判定部234は、放送中のテレビ信号はCMであると判定して、CM属性のCMフラグ238aに「ON」を、そして、ステップS234bの検索で得られたCM特徴量237bと関連付けられたCM時間長237cをCM属性のCM時間長238bと、残CM時間238cとに、CM確度237hをCM属性のCM確度238iに、上記トリガ時刻をCM開始日時238dに、それぞれに記憶させる(ステップS234c)。
なお、トリガ時刻は、必ずしも放送中のCMが放送開始された日時ではないが、CMの冒頭の無音区間は短いことが通例であり、トリガ時刻を放送中のCMが放送開始された日時として支障はない。なお、CMが放送開始された日時と、トリガ時刻との差は、例えば、複数のCMが連続して放送された際、それらのCMの間の無音区間のどの時点をCMが放送開始された日時とすることによって、連続して放送された全てのCMのCM時間長237cが、誤差なく15秒の整数倍になるかによって、遅延型CM検出部235によって判断され、その差がCMデータに記憶されることにより、トリガ時刻から上記差を減じた日時をCM開始日時238dに記憶させるとしても良い。
検索されたCM特徴量237bが1つの場合、CM判定部234は、そのCM特徴量237bと関連付けられたCM確度237hを増加させ、CM参照回数237jに1を加え、CM最終参照日時237kに上記トリガ時刻を設定して、更新記憶させる。
検索されたCM特徴量237bが複数の場合、CM判定部234は、それぞれに関連付けられた複数の値をCM属性に記憶させるが、CM開始日時238dに記憶される値は1つである。なお、複数のCM特徴量237bが検索されることは、第一のCM特徴量が等しいCMであって、CM時間長237cが異なる、例えば、冒頭の内容は同じだが15秒と30秒のCM、又は、第一のCM特徴量及びCM時間長237cは等しいが第二のCM特徴量は異なる、例えば、同じ15秒のCMだがアレンジなどの違いにより冒頭以外の内容が異なるCMがCMデータベース部237に記憶されていることを意味する。
続いて、CM判定部234は、CM特徴量算出部233から出力された第二のCM特徴量を入力し(ステップS234d)、この第二のCM特徴量を含むCM特徴量237bをCMデータベース部237から検索することによって、現在のテレビ放送信号はCMであるか否かの第二の判定を行なう(ステップS234e)。この検索にあたり、CM判定部234は、上記第一のCM特徴量の一部又は全部を含むCM特徴量237bを検索しても良い。また、この検索動作の際、更に、追加条件が満たされる場合に限って検索されたとしても良いことは、ステップS234bの動作説明で述べた通りである。
ステップS234eで検索結果が得られ、かつ、CM属性に複数のCMに係る情報が記憶されている場合、検索結果は、それらの複数のCMのいずれかの1つに係る情報であるので、CM判定部234は、検索されたCM特徴量237bに関連付けられてCMデータベース部237に記憶された情報に起因する情報を残し、その他の情報をCM属性から削除して(ステップS234f)、CMであるか否かを判定する動作を終了する。
ここで、検索されたCM特徴量237bに関連付けられてCMデータベース部237に記憶された情報の更新をすることは、ステップS234cの動作で説明した通りである。
ステップS234eで検索結果が得られ、かつ、CM属性に1つのCMに係る情報が記憶されている場合、検索結果は、ステップS234bで検索されたものと等しいので、CM判定部234は、更新処理をすることなくCMであるか否かを判定する動作を終了する。
一方、ステップS234eで検索結果が得られない場合、CM判定部234は、CMであるか否かの判定として、上記第一の判定以外に行うことはなく、CM属性に複数のCMに係る情報が記憶されている場合、いずれか1つを選択して、また、CM属性に1つのCMに係る情報が記憶されている場合、何もせずに(ステップS234g)、CMであるか否かを判定する動作を終了する。なお、選択されたCMに係るCMデータベース部237に記憶された情報の更新をすることは、ステップS234cの動作で説明した通りである。
以上説明したように、CM判定部234は、2段階に分けてCM判定を行うことで、CMの放送開始から、CMであると判定されるまでの遅延を低減し、かつ、CM時間長の精度及びCM特定の精度を向上させることが可能となる。具体的にはCMの冒頭部分のテレビ放送信号は同じだが、長さが異なるCMが存在する場合、及び、CMの冒頭部分のテレビ放送信号と長さは同じだが、アレンジなどの違いにより、冒頭以外の内容が異なるCMが存在する場合に効果を発揮する。
例えば、あるCMの15秒バージョンと30秒バージョンとがあり、それらのCM冒頭部分のテレビ放送信号が等しいとする。簡単のため15秒バージョンをCM15、30秒バージョンをCM30とする。
例えばCM15に関する情報のみがCMデータベース部237に登録されている場合にCM30が放送された際のCMの検出を考える。この場合、CM15と、CM30との冒頭のテレビ放送信号は等しいので、ステップS234bの第一の判定ではCMと判定されて、ステップS234cで、CM時間長238bは15秒として記憶される。しかしCM30は既に登録されているCM15とは異なるので、ステップS234eの第二の判定ではCMではないと判定される。この場合、CM時間長238bを更新せずにCM30が開始から15秒経過した時点でCM区間終了とすると説明したが、これに限るものではない。
この時点ではCM30に関する情報はCMデータベース部237に未だ登録されていないので何秒継続するかは不明だが、15秒バージョンの違う長さのバージョンとしてCM時間長238bを30秒に更新しても良いし、番組本編をCM区間として判定するエラーを回避するため、直ちにCM区間終了としても良く、更に、上記のいずれかを入力部160の所定のキー操作によって決定することにより、視聴者に選択させるような機構を備えても良い。
次に、例えばCM30に関する情報のみがCMデータベース部237に登録されている場合にCM15が放送された際のCMの検出を考える。この場合も、CM15と、CM30との冒頭のテレビ放送信号は等しいので、ステップS234bの第一の判定ではCMであると判定されて、ステップS234cで、CM時間長238bは30秒として記憶される。
しかし、CM15は既に登録されているCM30とは異なるので、ステップS234eの第二の判定ではCMではないと判定される。この場合、CM時間長238bを更新せずにCM15が開始から30秒経過した時点でCM放送終了とすると説明したが、これに限るものではない。
この時点ではCM15はCMデータベース部237に未だ登録されていないので何秒継続するかは不明だが、30秒バージョンの違う長さのバージョンとしてCM時間長238bを15秒に更新しても良いし、番組本編をCM区間として判定するエラーを回避するため、一意にCM時間長238bを15秒にするか、直ちにCM区間終了としても良く、更に、上記のいずれかを入力部160の所定のキー操作によって決定することにより、視聴者に選択させるような機構を備えても良い。
また、例えばCM15に関する情報とCM30に関する情報の両方ともCMデータベース部237に登録されている場合にCM15が放送された際のCMの検出を考える。この場合、CM冒頭のテレビ放送信号は等しいので、ステップS234bの第一の判定ではCMであると判定されて、ステップS234cでCM時間長238bは15秒及び30秒として記憶される。しかし、ステップS234eの第二の判定でCMであると判定され、ステップS234fでは正しいCM時間長238bである15秒が更新記憶される。
同様にCM30が放送された際のCMの検出の場合、CM冒頭のテレビ放送信号は等しいので、ステップS234bの第一の判定ではCMであると判定されて、ステップS234cでCM時間長238bは15秒及び30秒と記憶される。しかし、ステップS234eの第二の判定でCMであると判定され、ステップS234fでは正しいCM時間長238bである30秒が更新記憶される。この様に、時間長は異なるが冒頭部分のテレビ放送信号が等しいCMが存在する場合、2段階でCMであるか否かの判定を行うことにより、CMであると判定されるまでの遅延が長くなることなく、かつ、CM時間長238bを正しく記憶させることができるようになる。上記説明は、簡単のため15秒バージョンCMと30秒バージョンCMとを例に挙げたが、勿論これに限定するものではなく、2種類のみならず3種類以上の長さのバージョンCMが存在する場合も同様である。
また、例えばある15秒のCMのAバージョンとBバージョンとがあり、それらのCMの冒頭部分のテレビ放送信号が等しいとする。簡単のためAバージョンをCM−A、BバージョンをCM−Bとする。
例えばCM−Aに関する情報のみがCMデータベース部237に登録されている場合にCM−Bが放送された際のCMの検出を考える。この場合、CM−Aと、CM−Bとの冒頭のテレビ放送信号は等しいので、ステップS234bの第一の判定ではCMと判定される。しかしCM−Bは既に登録されているCM−Aとは異なるので、ステップS234eの第二の判定ではCMではないと判定される。この場合、CM−Bが開始から15秒経過した時点でCM区間終了とすると説明したが、これに限るものではない。
この時点ではCM−Bに関する情報はCMデータベース部237に未だ登録されていないので何秒継続するかは不明だが、番組本編をCM区間として判定するエラーを回避するため、直ちにCM区間終了としても良く、更に、上記のいずれかを入力部160の所定のキー操作によって決定することにより、視聴者に選択させるような機構を備えても良い。
CM−BのみがCMデータベース部237に登録されている場合に、CM−Aが放送された際のCM検出も上記と同様である。
また、例えばCM−Aに関する情報とCM−Bに関する情報の両方ともCMデータベース部237に登録されている場合にCM−Aが放送された際のCMの検出及びCMデータベース部237の更新を考える。この場合、CM冒頭のテレビ放送信号は等しいので、ステップS234bの第一の判定ではCMであると判定されるがCM−AとCM−Bのどちらであるかは不明である。しかし、ステップS234eの第二の判定でCMであると判定され、この時点でCM−Aであることが確定する。
ステップS234bにて、入力された第一のCM特徴量を含むCM特徴量237bがCMデータベース部237から検索された場合、CM判定部234は、検索されたCM特徴量237bと関連付けられたCM確度237hを増加させて更新記憶させても良いと説明したが、CM−Aであることが確定してからCM−AのCM特徴量237bと関連付けられたCM確度237hを増加させて更新記録させても良い。
同様に、CM−Aに関する情報とCM−Bに関する情報の両方ともCMデータベース部237に登録されている場合にCM−Bが放送された際のCMの検出及びCMデータベース部237の更新についても同様である。
この様に、冒頭部分のテレビ放送信号が等しいCMが存在する場合、2段階でCMであるか否かの判定を行うことにより、CMであると判定されるまでの遅延が長くなることなく、かつ、CMデータベース部237のCM確度237hを正しく更新させることができるようになる。上記説明は、簡単のためAバージョンCMとBバージョンCMとを例に挙げたが、勿論これに限定するものではなく、2種類のみならず3種類以上のアレンジCMが存在する場合も同様である。
遅延型CM検出部235の動作の詳細を説明する。図13は、遅延型CM検出部235の動作のフローチャートを示す。遅延型CM検出部235は、トリガ検出部232によってトリガ時刻が出力された場合、動作を開始し、その時刻の略15秒後にトリガ検出部232によってトリガ時刻が出力されるか否かを判定する(ステップS235a)。トリガ時刻が出力された場合、上記2つのトリガ時刻の前者を開始時刻、後者を終了時刻と指定してCM区間特徴量算出部235−2を起動し、その指定された時刻で指定される区間のテレビ放送信号の特徴量を算出させる(ステップS235b)。
そして、遅延型CM検出部235は、CM区間特徴量算出部235−2によって算出された区間中の音声信号の音量の平均値、区間中の音声信号の音量の分布、区間中の映像信号の輝度の平均値、区間中の映像信号の輝度の分布と、動作開始の契機となったトリガ時刻と、CM時間長として15秒とをCMデータ登録部236へ出力し(ステップS235c)、動作を終了する(ステップS235d)。
ステップS235aでトリガ時刻が出力されなかった場合、遅延型CM検出部235は、動作を開始する契機となったトリガ時刻の略30秒後にトリガ検出部232によってトリガ時刻が出力されるか否かを判定する(ステップS235d)。トリガ時刻が出力された場合、既に説明したように、上記2つのトリガ時刻の前者を開始時刻、後者を終了時刻と指定してCM区間特徴量算出部235−2を起動し、その指定された時刻で指定される区間のテレビ放送信号の特徴量を算出させ(ステップS235b)、そして、CMデータ登録部236へ情報を出力し(ステップS235c)、動作を終了する(ステップS235d)。ここで、CMデータ登録部236へ出力するCM時間長は30秒である。
ステップS235dでトリガ時刻が出力されなかった場合、遅延型CM検出部235は、同様に、動作を開始する契機となったトリガ時刻の略45秒後にトリガ検出部232によってトリガ時刻が出力されるか否かを判定し(ステップS235e)、更には、60秒後にトリガ時刻が出力されるか否かを判定し(ステップS235f)、それぞれ出力された場合、CM区間特徴量算出部235−2を動作させ(ステップS235b)、そして、CMデータ登録部236へ情報を出力し(ステップS235c)、動作を終了する(ステップS235d)。ここで、CMデータ登録部236へ出力するCM時間長は、それぞれ45秒、60秒である。
動作開始の契機となったトリガ時刻以外のトリガ時刻が出力されなかった場合、遅延型CM検出部235は、動作を終了する(ステップS235d)。
CMデータ登録部236の動作の詳細を説明する。CMデータ登録部236は、CM特徴量算出部233から出力されたCM特徴量と、トリガ時刻とを関連付けてCMデータ登録部236内に記憶する。そして、遅延型CM検出部235によってトリガ時刻などが出力された場合、そのトリガ時刻と等しいトリガ時刻と関連付けられてCMデータ登録部236内に記憶されたCM特徴量とのリンクを取る。
即ち、CMデータ登録部236は、CM特徴量算出部233から出力されたCM特徴量をCM特徴量237bに、遅延型CM検出部235によって出力されたCM時間長をCM時間長237cに、区間中の音声信号の音量の平均値をCM音量237dに、区間中の音声信号の音量の分布をCM音量構成237eに、区間中の映像信号の輝度の平均値をCM輝度値237fに、区間中の映像信号の輝度の分布をCM輝度構成237gに、更に、トリガ時刻をCM登録日時237i及びCM最終参照日時237kに、初期値、例えば、0をCM参照回数237jに設定したCMデータ(仮)を、CMデータ登録部236内のバッファにそのCM登録日時237i(上述のように、これは、トリガ時刻である。)をソートキーにソートして一時記憶する。
CMデータ登録部236は、CM登録日時237iが現在時刻より1分〜数分以上古いCMデータ(仮)を対象に、又は、1分〜数分の長さの時間に含まれる時刻のCM登録日時237iを含むCMデータ(仮)がバッファに記憶されていない場合、その時間に含まれる時刻より前のCM登録日時237iを含むCMデータ(仮)を対象に、CM登録日時237iと、CM時間長237cとを参照して、CMが連続して放送されたか否かを判断し、その判断に基づいてCM確度237hを設定する。ここで、この1分〜数分とは、CMが連続して放送されたか否かを判断するために充分な長さとして決定される値である。
CM確度237hは、多数のCMと共に時間的に連続して放送されたCMに対して大きい値を、少数のCMと共に連続して放送されたCMに対して小さい値とする。特に、1つのCMが単体で放送された場合、そのCMに対しては特に小さい値とする。なぜなら、CMは、連続して放送される場合が多いからであり、単体で放送されたCMは、遅延型CM検出部235によって誤ってCMとされた可能性が大きいからである。
また、CMデータ登録部236は、特にCM確度237hが小さいCMデータ(仮)をバッファから削除しても良い。例えば、単体で放送されたCMに係るCMデータ(仮)であり、また、CM時間長237cが15秒であるCMが2つ連続して放送されたCMに係るCMデータ(仮)である。
更に、遅延型CM検出部235によるCMの検出の際、CMの途中にトリガ時刻が入力された、即ち、無音区間がある旨が遅延型CM検出部235から出力された場合、そのCMのCM確度237hは、途中にトリガ時刻が入力されない場合に比較して小とする。なぜなら、途中に無音区間があるCMは少数だからである。
CMデータ登録部236は、CM確度237hが設定された、そして、バッファから削除されなかったCMデータ(仮)をCMデータとしてCMデータベース部237に記憶させて、バッファから削除する。なお、この記憶をさせる際、CMデータ(仮)のCM特徴量237bが既にCMデータのCM特徴量237bとしてCMデータベース部237に記憶されている場合、CMデータ(仮)をCMデータベース部237に記憶させずに、バッファから削除する。なお、記憶されているか否かを調べる際、CMデータ(仮)のCM特徴量237bと、CMデータのCM特徴量237bとの間の距離によって判断することは、CM判定部234の動作説明で述べた通りである。
なお、CMデータ(仮)のCM特徴量237bが既にCMデータのCM特徴量237bとしてCMデータベース部237に記憶されている場合、CMデータ登録部236は、そのCM特徴量237bと関連付けて記憶されているCM確度237hを増加させ、CM参照回数237jに1を加え、CM最終参照日時237kに上記トリガ時刻を設定して、更新記憶させても良い。
更に、特にCM確度237hが小さいが故に、バッファから削除されるCMデータ(仮)のCM確度237hが所定の値以上であり、かつ、そのCMデータ(仮)のCM特徴量237bが既にCMデータのCM特徴量237bとしてCMデータベース部237に記憶されている場合、CMデータ登録部236は、そのCM特徴量237bと関連付けて記憶されているCM確度237hを増加させても良い。
なお、上述したCM確度237h、CM参照回数237j、及び、CM最終参照日時237kの更新は、CM判定部234が、CM特徴量算出部233から出力された特徴量と等しいCM特徴量237bが検索された場合に行う更新動作と同じ趣旨であり、CM判定部234に代えて、CMデータ登録部236が行っても良い動作である。
ただし、CM判定部234は、トリガ時刻直後のテレビ放送信号から算出された特徴量を検索キーにCMデータベース部237を検索するのに対し、CMデータ登録部236は、CM放送が終了した後で、トリガ時刻順にソートされたCMデータ(仮)を参照し、CMであるとされたテレビ放送信号に関する情報をCMデータベース部237に記憶させる。そこで、より確実にCMであるか否かを判断することができるので、CMデータ登録部236は、CM判定部234に比較して、より大きくCM確度237hを増加させることが適切である。
CMデータ削除部239の動作の詳細を説明する。CMデータ削除部239は、CMデータベース部237に記憶されたCMデータの中で、CMではない可能性があるものや、将来放送される可能性が低いものを削除する。
CMデータ削除部239は、移動通信装置MSの電源を切断する入力部160のキー操作が行われた場合、CMデータベース部237に割り当てられた記憶容量の中の所定の容量、例えば、90%以上が使用された場合、所定の曜日の所定の時刻、例えば、日曜日の深夜である場合、CMデータ登録部236によってCMデータをCMデータベース部237に記憶させる際、記憶させる記憶容量がない場合、入力部160の所定のキー操作が行われた場合、などのいずれかの場合、動作を開始する。
CMデータ削除部239は、削除するCMデータを、以下の条件の1つ、又は、複数の組み合わせによって選択する。第1に、CM登録日時237iが古いものであって、例えば、所定の閾値より古いものである。第2に、CM最終参照日時237kが古いものであって、例えば、所定の閾値より古いものである。なぜなら、CMは、長期間に渡って放送されるものは少ないからである。
第3に、CM参照回数237jが小さいものであって、例えば、所定の閾値より小さいものである。特にCM参照回数237jが小さいものは、放送された回数が少ないもの、極端にはCMでないものと考えられるからである。第4に、CM確度237hが小さいものである。第5に、CM登録日時237iが古い順で、例えば、所定の順位よりも上位のものである。第6に、CM最終参照日時237kが古い順で、例えば、所定の順位よりも上位のものである。
第7に、CM参照回数237jが小さい順で、例えば、所定の順位よりも上位のものである。第8に、CM確度237hが小さい順で、例えば、所定の順位よりも上位のものである。また、以上の他に、CM参照回数237jを所定の間隔、例えば、1週間毎に記憶させ、週当たりのCM参照回数237jが小さいものとしても良いし、週当たりのCM参照回数237jが小さい順で上位のものとしても良い。
(第1の変形例)
以上の説明では、CM特徴量算出部233は、第一のCM特徴量と、第二のCM特徴量とを算出するとしたが、第一のCM特徴量を算出し、第二のCM特徴量を算出しないとしても良い。この場合、当然に、CM判定部234は、図12のフローチャートに示すステップS234d〜ステップS234gまでの動作を行わない。また、CMデータ登録部236は、CM特徴量237bに第二のCM特徴量を含ませない。
この処理によって、冒頭が同じで、CM時間長237cが異なるCMを区別して検出することができないが、CM特徴量算出部233の動作と、CM判定部234の動作とは、短時間で終了し、大幅な処理の削減となる。
(第2の変形例)
この実施形態で、放送受信部210は、放送局から送信されるテレビ放送信号を受信して、CM検出部230からのCM属性信号に依存して、テレビ放送信号の映像信号や音声信号を変形して出力するとしたが、これに限るものではない。タイムシフト再生中のテレビ放送信号の映像信号や音声信号を変形して出力する際にも、CM検出部230からのCM属性信号を適用することが当然に可能である。
タイムシフト再生の目的の一例は、トリガ時刻からCM判定部234によってCMであると判定されるまでの時間を、見かけ上、なくすことである。即ち、放送受信部210は、受信されたテレビ放送信号を遅延なしにCM検出部230に送りつつ、その時間分のタイムシフト再生を行う。そして、CM判定部234によってCMであると判定された際に再生中である映像信号や音声信号を変形して出力することによって、視聴者にとって、その時間はない。
タイムシフト再生においては、録画されたテレビ放送信号の再生とは異なり、放送された内容が繰り返し再生されることがないため、1回目に放送されたCMに対して、CM属性信号によって変形して出力されることはなく、同じCMが複数回放送された際に、変形して出力されることがある。なお、タイムシフト再生中の映像や音声の変形としては、早送りや、再生スキップも可能である。
タイムシフト再生の目的の別の例は、移動通信装置MSが備える放送受信部210に特有なものであって、放送受信部210がテレビ放送を受信して、映像や音声を出力している際に通話が開始され、通話中はテレビ放送信号が記憶部(図示せず)に記憶され、映像や音声の出力が停止されて、通話が終了した後にタイムシフト再生が行われる。
なお、タイムシフト再生ではない録画されたテレビ放送信号の再生の際、本発明の適用が可能であるが、1回放送されたCMを複数回再生することがあるため、録画された信号の再生の際、CM参照回数237j、CM最終参照日時237kなどのCMデータは、更新されないとする。これによって、CMであることが疑わしいCMが、再生が繰り返されることにより、例えば、CM確度237hが増大してCMであると判断される誤りを防ぐことができる。
(第3の変形例)
この実施形態で、放送受信部210は、デジタルテレビ放送を受信するとしたが、これに限るものではない。アナログテレビ放送を受信するとしても良い。この場合、放送受信部210は、デコーダ部212に代えて復調部(図示せず)を、再生部213に代えて映像音声出力制御部(図示せず)を有する。
そして、復調部による復調によって得られたアナログ信号であるテレビ放送信号がCM検出部230へ送られ、CM検出部230から送られたCM属性信号によって、映像音声出力制御部は、表示部150に表示される映像、及び、スピーカ220から発生させる音声を制御する。
この変形例で、CM検出部230は、アナログ信号をデジタル信号に変換するAD変換部(図示せず)を有する。そして、放送受信部210から送られたアナログ信号であるテレビ放送信号は、AD変換部によってデジタル信号であるテレビ放送信号に変換された上、CM検出部230内の各部に供給される。アナログテレビ放送信号には、雑音が加わるなどにより、無音か有音かの判断の際の無音閾値は、デジタルテレビ放送信号を用いる場合と異なる値が必要である。また、信号の特徴量が等しいか否かの判断に用いられる特徴量の差の閾値にも、異なる値が必要である。
また、CM検出部230は、コネクタ(図示せず)を有し、移動通信装置MS外のチューナ(図示せず)によって受信されたアナログ信号であるテレビ放送信号をそのコネクタを介して入力しても良い。この場合、その入力された信号をAD変換部によってデジタル信号であるテレビ放送信号に変換の上、CM検出部230内の各部に提供する。上記チューナがデジタルテレビ放送を受信する場合、CM検出部230が入力するテレビ放送信号がアナログ信号であるにしても、その信号に含まれる雑音は、放送受信部210がアナログテレビ放送を受信する場合に含まれる雑音より小さいく、本発明の適用に適する。
(第4の変形例)
CM特徴量が等しいか否か、言い換えると、CM特徴量の間の距離の算出は、CM判定部234と、遅延型CM検出部235とで行われるが、共通のCM特徴量判定部(図示せず)によって行われるとしても良い。このCM特徴量判定部は、CMデータベース部237を管理するデータベース管理部(図示せず)と共通でも良い。
CM特徴量を算出する際、信号をパワーで正規化した上で用いても良い。特に、映像信号は、映像フレームをブロックに分割し、ブロック毎に平均した値を用いても良い。
以上に説明したように、CMの放送開始の検出は、無音区間の終了により、また、CMの特徴量は、CMの冒頭のテレビ放送信号から算出されるとした。そのため、そのCMが、例えば、ドラマの中で放送されたとしても、CMと判定されないことが通例である。なぜなら、ドラマ中ではCM放送開始時の無音区間が設けられないことが通例であり、また、テレビ放送信号の音声信号は、俳優の声が合わされることが通例である。また、映像信号は、異なることが通例である。そこで、トリガが検出されず、また、CM特徴量が異なるためである。
以上説明したように、あるCMは、初回の放送の際には、何ら変形されることなく再生され、所定回の放送の後、変形が施される。又は、所定回の放送の後、順次強く変形が施される。これによって、視聴者は、そのCMを容易に理解し、理解した後、装置は、そのCMを目立たなくさせる。
なお、以上の説明では、例えば、30秒のCMの丁度中間の冒頭から15秒の部分に無音区間がある場合、そのCMは、2つのCMとみなされるが、これによって何ら支障はない。
また、アナログ音声信号から音声フレーム切り出すタイミングの誤差に起因して、トリガ時刻には誤差が含まれることがある。この場合、同じCMであってもトリガ時刻後の特徴量の算出に使用される信号が異なるため、2つの異なるCMとみなされる。そのため、それぞれのCMの初回の放送の際に変形が施されないものの、それ以上の支障はない。
(第2の実施形態)
本発明の第2の実施形態に係わるコマーシャルメッセージ検出方法が適用された、本発明の第2の実施形態に係わる移動通信装置MSは、第1の実施形態に係わる移動通信装置MSと比較して、CM検出部230に相違がある。そこで、第2の実施形態に係わるCM検出部230を説明する。なお、第1の実施形態に係わるCM検出部230と同じ部分には同じ符号を付して説明を省略する。
図14は、本発明の第2の実施形態に係わるCM検出部230の詳細な構成を示すブロック図である。このCM検出部230は、第1の実施形態に係わるCM検出部230と比較して、放送受信部210から送られたテレビ放送信号が記憶されるテレビ放送信号一時記憶部401と、録画コンテンツ保存部402と、CM属性記憶部238に記憶されたCM属性を参照し、テレビ放送信号一時記憶部401に記憶されたテレビ放送信号の一部を録画コンテンツ保存部402に記憶させるCM記憶制御部403とを更に備える。
このCM検出部230の各部の動作を説明する。CM検出制御部231は、放送受信部210から送られたテレビ放送信号をテレビ放送信号一時記憶部401に記憶させる。ここで、記憶される信号は、最近に入力された数分間の信号である。この数分間は、CMの最大の時間長より長い時間を意味する。
CM記憶制御部403は、CM属性のCMフラグ238aが「ON」である際、テレビ放送信号をテレビ放送信号一時記憶部401から読み出して、録画コンテンツ保存部402に追加記憶させる。
なお、この追加記憶させる動作のために、CM記憶制御部403は、常に動作し、CMフラグ238aを読み出し続ける必要はない。CM時間長238bの最小値は、15秒であることを利用し、15秒より短い間隔で間欠動作し、CMフラグ238aが「ON」であるか否かを調べる。
そして、「ON」である場合、CM記憶制御部403は、CM開始日時238dの時刻
(CM開始日時238dの時刻)
と、CM開始日時238dの時刻にCM時間長238bを加えた時刻
(CM開始日時238dの時刻)+(CM時間長238b)
との間に渡るテレビ放送信号を録画コンテンツ保存部402に追加記憶させれば良い。
そして、CM検出制御部231は、入力部160のキー操作に起因する制御部110からの指示に従い、録画コンテンツ保存部402に記憶されたテレビ放送信号をデコーダ部212に送り、再生部213にその信号の映像を表示部150に表示させ、その信号の音声をスピーカ220から発生させる。
この第2の実施形態に係わるCM検出部230によれば、所望のCMを視聴することが容易に可能である。即ち、CMのみを短時間で効率良く視聴する場合、一旦番組を録画してからCM部分のみを視聴するのが一般的である。しかし、ある特定のCMを視聴したい場合、そのCMがなるべく高確率で含まれるように、不特定番組を長時間録画する必要があり、これでは意味のない大きな録画記憶領域が必要となる。
この解決策として、録画番組からCM区間を切り出し、小コンテンツとして保存できることが望ましいが、地上デジタルテレビ放送をデジタル録画した場合、著作権保護のため、あるひと塊りの録画番組からCM部分のみを切り取って保存できる回数には限りがあるため、CM部分の小コンテンツを効率よく短時間で作成することはできない。
そこで、この第2の実施形態に係わるCM検出部230によれば、テレビ放送中のCMの開始と終了がリアルタイムで分かるため、自動でCM毎に録画をすることが可能となる。また、例えば、CMデータのCM参照回数237jをCM属性にも記憶させ、CM記憶制御部403は、この回数を参照すると、CMを録画コンテンツ保存部402に重複なく記憶させることができ、意味もなく重複して記憶されたCMを視聴することなく、効率的にCMを視聴することができるようになる。
(第3の実施形態)
本発明の第3の実施形態に係わるコマーシャルメッセージ検出方法が適用された、本発明の第3の実施形態に係わる移動通信装置MSは、CMデータ管理システム内の装置として動作する。
図15は、CMデータ管理システムの構成を示すブロック図である。このシステムは、移動通信装置MSと、CM管理サーバ装置SVとがインターネットで接続されている。なお、インターネットによる接続の一部は、移動通信網を介している。
本発明の第3の実施形態に係わる移動通信装置MSは、第1の実施形態に係わる移動通信装置MSと比較して、CM検出部230に相違がある。そこで、第3の実施形態に係わるCM検出部230を説明する。なお、第1の実施形態に係わるCM検出部230と同じ部分には同じ符号を付して説明を省略する。
図16は、本発明の第3の実施形態に係わるCM検出部230の詳細な構成を示すブロック図である。このCM検出部230は、第1の実施形態に係わるCM検出部230と比較して、送受信部130との間でCMデータ信号の送受信を行うCMデータベース更新制御部601を更に備える。
図17は、CM管理サーバ装置SVの構成を示すブロック図である。なお、この実施形態に係る移動通信装置MSと同じ部分には同じ符号を付して説明を省略する。このCM管理サーバ装置SVは、装置全体の制御を行う制御部710と、インターネット通信部720と、インターネット送受信部730と、表示部740と、入力部750と、放送受信部210と、放送局から送信された電波を受信するアンテナ210aと、スピーカ220と、CM検出部760と、外部記憶媒体が取り外し可能に接続される外部記憶媒体接続部770とを備える。
図18は、CM検出部760の詳細な構成を示すブロック図である。CM検出部760は、第1の実施形態に係るCM検出部230と類似しており、同じ部分には同じ符号を付して説明を省略する。CM検出部760は、CM検出部230と比較すると、CM判定部234と、CMデータベース部237と、CM属性記憶部238とを備えない。
一方、CM検出部760は、CMコンテンツデータを記憶するCMコンテンツデータベース部761と、放送受信部210から出力されたテレビ放送信号と、外部記憶媒体接続部770に接続された外部記憶媒体に記憶されたメタデータとを記憶するテレビ放送信号一時記憶部762と、インターネット送受信部730との間でCMコンテンツデータを入出力するCMデータベース同期制御部763と、表示部150及びスピーカ220へCMコンテンツを送るCMデータ出力部764と、外部記憶媒体接続部770に接続された外部記憶媒体に記憶されたCMコンテンツデータを入力するCMデータ入力部765とを備える。
なお、CMデータ登録部236は、CMデータをCMコンテンツデータベース部761に記憶させ、CMデータ削除部239は、CMコンテンツデータベース部761に記憶されたCMコンテンツデータを削除する。
第3の実施形態に係わる移動通信装置MSのCM検出部230の動作と、CM管理サーバ装置SVの動作を説明する。
CM検出部230のCMデータベース更新制御部601は、所定の間隔、例えば、1時間おきに、又は、入力部160のキー操作に起因する制御部110からの指示に従って動作を開始し、送受信部130を介して、CM管理サーバ装置SVに対して、CMデータの送信を要求する。そして、この要求に対応してCM管理サーバ装置SVから送信されたCMデータを送受信部130を介して受信し、受信されたCMデータをCMデータベース部237に記憶させる。
CM管理サーバ装置SVから送信されたCMデータには、CMデータを識別する識別子が付され、また、変更であるか、追加であるか、削除であるかのいずれかが付される。CMデータベース更新制御部601は、変更の場合、上記識別子がCM識別子237aに等しいCMデータを変更する。追加の場合、上記識別子をCM識別子237aに設定して、受信されたCMデータを追加記憶させる。削除の場合、上記識別子がCM識別子237aに等しいCMデータを削除する。
なお、この記憶させる際、CMデータ登録部236の動作説明で行ったように、CMデータベース更新制御部601は、重複記憶を避ける動作を伴うが、CM識別子237aは、受信されたCMデータに付されたCMデータを識別する識別子に更新する。また、CMデータに加えて、CMのメタデータが送信された場合、それを受信して、併せてCMデータベース部237に記憶させる。
また、CMデータベース更新制御部601は、CMデータのCM確度237hを、CM管理サーバ装置SVから送信されたもので更新記憶させる。送信されたものは、網羅的に記憶したCMデータに基づいており、より正確と考えられるからである。CM参照回数237j及びCM最終参照日時237kは、テレビ放送を受信する個々の装置に特有な情報であり、例えば、移動通信装置MSが位置する地域に依存した情報であるので、CM管理サーバ装置SVから送信されたもので更新記憶させない。
しかし、これらの動作に限るものではなく、入力部160の所定のキー操作に基づいて、CMデータベース更新制御部601は、CM確度237hを移動通信装置MSに依存したものとすべく、CM管理サーバ装置SVから送信されたもので更新記憶させず、また、CM参照回数237j及びCM最終参照日時237kを網羅的なCM放送状況に従うものとすべく、CM管理サーバ装置SVから送信されたもので更新記憶させても良い。
上記要求に際し、CMデータベース更新制御部601は、CMデータベース更新制御部601内に記憶された更新管理番号を付す。そして、上記送信されたCMデータに伴ってCM管理サーバ装置SVから送信された更新管理番号をCMデータベース更新制御部601内に記憶する。複数の更新管理番号が送信された場合、最新であることを示す更新管理番号を記憶する。更新管理番号は、CM管理サーバ装置SVが記憶するCMデータのバージョンを示す情報であり、一度CM管理サーバ装置SVから送信されたCMデータを再び受信することを防止するために用いられる。
例えば、前回にCMデータベース更新制御部601がCM管理サーバ装置SVからCMデータを取得してCMデータベース部237を更新したときの更新管理番号がN−Mであるとし、CM管理サーバ装置SVに記憶された最新の更新管理番号がNとすると、CMデータベース更新制御部601は、N−M+1の更新管理番号から、Nの更新管理番号までのM個の更新管理番号それぞれに該当するCMデータをCM管理サーバ装置SVから取得して更新する。
こうすることで、CMデータベース部237に記憶されていない可能性があるCMデータのみを効率的に取得し、常に最新のCMデータを記憶させることが可能となる。また、CMデータベース更新制御部601は、特定のCMデータのみを取得するために、CMデータ取得条件を設定してCM管理サーバ装置SVにCMデータの送信を要求することも可能である。
具体的には、CMデータ取得条件は移動通信装置MSが設置されている場所、又は、放送波の受信地域として設定している地域情報である。ワンセグ放送を含む、地上波デジタル放送は、地域ごとに異なる周波数帯で放送されており、また、地方局など、放送局が異なれば放送されるCMも異なる。
より具体的には、第1の県で放送されるCMと第2の県で放送されるCMは異なるため、CM管理サーバ装置SVが、全国各地のCMデータを記憶している場合に、第1の県に位置する移動通信装置MSが第2の県で放送されるCMのCMデータを記憶すると、無意味にCMデータベース部237のために大きな記憶容量を必要とする。
なお、上記場所、又は、上記地域情報の一例は、緯度及び経度であって、移動通信装置MSは、GPS衛星から送信された電波によって測位する第1の測位部(図示せず)や複数存在する基地局からの電波の受信強度から測位する第2の測位部(図示せず)、を備え、第1の測位部や、第2の測位部によって測位された緯度及び経度を上記地域情報とする。
このように、CM管理サーバ装置SVからCMデータを受信することにより、未だ放送局からテレビ放送されていない、又は、放送受信部210によって受信されていないCMに関するCMデータをCMデータベース部237に記憶させることができる。後述するように、CM管理サーバ装置SVでは、多くの放送チャンネル数分の装置を用意して、網羅的にCMデータを記憶させているからである。
また、CMデータベース更新制御部601は、CM特徴量237bを付してCM管理サーバ装置SVへCMデータの送信を要求しても良い。この要求に応じて送信されたCMデータをCMデータベース部237に記憶させることにより、上記要求に放送地域などのCMデータ取得条件を設定する必要がなくなる。また、更新管理番号を記憶してCMデータの更新管理を行う必要がない。
次に、CM管理サーバ装置SVの動作を図17及び図18を参照して説明する。
インターネット通信部720は、コネクタ(図示せず)に接続されたケーブルがハブに接続されることにより、インターネットに接続され、インターネットから受信した高周波信号をインターネット送受信部730に送信する。また、インターネット送受信部730から送信された高周波信号をインターネットに送信する。
インターネット送受信部730は、インターネット通信部720から送信された高周波信号を増幅、周波数変換及び復調し、復調された制御信号を制御部710に送信し、CMコンテンツデータの送信に係る信号をCM検出部760に送信する。更には、制御部710から送信された制御信号、及びCM検出部760から送信されたCMコンテンツデータに係る信号をインターネット通信部720に送信する。
表示部740は、例えばLCDであり、制御部710に制御されることで、文字・数字や映像データ、静止画データの表示動作を行う。入力部750は、複数のキースイッチからなり、入力部750のキーが操作されると、そのキーの識別子が制御部710に通知され、制御部710によって、表示部740に文字として表示され、また、CM管理サーバ装置SVの各部によって制御が行われる。
CM管理サーバ装置SVのCM検出部760の各部の動作を説明の前に、まず、CMコンテンツデータベース部761に記憶されるCMコンテンツデータを説明する。なお、CMコンテンツデータに含まれる情報の一部は、CMデータベース部237に記憶されるCMデータと同じである。そこで、同じ情報には同じ符号を付して説明を省略する。
図19は、CMコンテンツデータの構成の一例を示す。このCMコンテンツデータは、CM識別子761aと、CM特徴量237bと、CM時間長237cと、CM音量237dと、CM音量構成237eと、CM輝度値237fと、CM輝度構成237gと、CM確度237hと、CM登録日時237iと、CM参照回数237jと、CM最終参照日時237kと、CMコンテンツ761bと、CMメタデータ761cと、放送地域761dとが関連付けられたデータであり、1つの関連付けられたデータが1つのCMを表す。
CM識別子761aは、CMコンテンツデータをCMコンテンツデータベース部761内で一意に識別するデータ管理用の識別子であって、移動通信装置MSのCMデータベース部237に記憶されたCMデータを識別するCM識別子237aとは重複しないとする。CMコンテンツ761bは、CMを構成する映像信号と音声信号とが符号化された情報である。なお、この情報は、ファイルとして記憶され、CMコンテンツ761bには、そのファイル名が記憶されるとしても良い。CMメタデータ761cは、CMのメタデータである。放送地域761dは、CMが放送された又はされる領域である。
CMメタデータ761cは、CMに関する各種の情報を含み、例えば、ジャンル、使用されている楽曲の名称、出演している俳優名、使用されている背景が撮影された地点に関する情報(その地点に関する情報が得られるウェブシステムのURLを含む。)、スポンサーの名称(そのスポンサーが用意したウェブシステムのURLを含む。)、CMの詳細が記憶されたウェブシステムのURL、CM作成秘話、CMを作成した者の名前、所属事務所などの情報、CMの人気ランキング、CMの放送頻度、CMが放送された回数、類似CMを識別する情報である。
また、CMメタデータ761cは、CMが複数のCMがシリーズとなったものである場合、全部で何回のCM中の何番目のCMであるか(例えば、「X社Y製品CM:Zシリーズ、全12種中1番目」。)と、そのシリーズのCMを識別する識別子、又は、そのCMのCMコンテンツ761bである。
更に、CMメタデータ761cは、CMが同じ内容のCM時間長237cが異なる複数のCMの1つである場合、その旨と、異なる時間長のCMを識別する識別子、又は、そのCMのCMコンテンツ761bである。なお、CMメタデータ761cは、後述するように、主にCMコンテンツデータがCMデータ入力部765によって記憶された場合、記憶される。
テレビ放送信号一時記憶部762は、CM検出制御部231の指示に従い、放送受信部210から出力されたテレビ放送信号と、外部記憶媒体接続部770に接続された外部記憶媒体に記憶されたメタデータとを記憶する。
なお、テレビ放送信号一時記憶部762に記憶されたテレビ放送信号と、メタデータとは、CMデータ登録部236によってCMコンテンツデータがCMコンテンツデータベース部761に新規記憶される際、そのCMコンテンツデータのCMコンテンツ761bと、CMメタデータ761cとして記憶される。
このCMコンテンツ761bを記憶させる動作は、第2の実施形態に係るCM記憶制御部403の動作で説明した通りである。
また、CMメタデータ761cを記憶させる際、CMデータ登録部236は、テレビ放送信号一時記憶部762に記憶されたメタデータに、そのメタデータに係るCMが放送される時刻が含まれている場合、その時刻と、CMの放送開始のトリガが検出されたトリガ時刻との対比をすることによって、そのメタデータが、いずれのCMコンテンツデータのメタデータであるかを判断する。
又は、入力部750の所定のキー操作に基づいて、上記記憶されたメタデータを、CMコンテンツデータに関連付ける。又は、入力部750の所定のキー操作に基づいて入力されたメタデータを、CMコンテンツデータに関連付けて記憶させる。この、入力部750のキー操作に基づくメタデータの入力は、CMコンテンツデータが遅延型CM検出部235によって記憶された場合、有効である。
CMデータベース同期制御部763は、CMコンテンツデータベース部761に記憶された情報に変更がある度に、また、1時間おきなどの一定間隔ごとに、CMコンテンツデータベース部761が更新された更新日時を示す更新管理番号を定め、前回に更新管理番号を定めて以来、新規記憶や、更新が行われたCMコンテンツデータのCM識別子761aを新たに定められた更新管理番号と関連付けた情報である、CMコンテンツデータ更新内容をCMデータベース同期制御部763内に記憶する。
図20は、CMコンテンツデータ更新内容の構成の一例を示す。このCMデータ更新内容は、更新管理番号763aと、変更CM識別子763bと、追加CM識別子763cと、削除CM識別子763dとが関連付けられ、更新管理番号763aをソートキーにソートされている。
更新管理番号763aは、上記のようにCMデータベース同期制御部763によって定められた識別情報である。変更CM識別子763bと、追加CM識別子763cと、削除CM識別子763dとは、それぞれ、更新管理番号763aが定められた時刻と、その更新管理番号763aの直前に定められた更新管理番号763a時刻との間に更新されたCMコンテンツデータのCM識別子761a、追加されたCMコンテンツデータのCM識別子761a、削除されたCMコンテンツデータのCM識別子761aである。
更新管理番号763aは、重複せず、かつ定められた順序が特定できるように定められ、例えば連番の数字列であるが、それに限るものではない。例えば、定められた日時が2008年10月24日の18時43分の場合は、200810241843などのように、日時を直接表現する数値で表現しても良いし、数字列に限らず、文字列でも良い。
CMデータベース同期制御部763は、移動通信装置MSからの要求に従って、CMコンテンツデータをインターネット送受信部730を介して移動通信装置MSへ送信する。この要求に更新管理番号が付されている場合、その更新管理番号と等しい更新管理番号763aと関連付けられた変更CM識別子763bと、追加CM識別子763cと、削除CM識別子763dとを得る。
そして、CMデータベース同期制御部763は、変更CM識別子763b及び追加CM識別子763cと等しいCM識別子761aによって識別されるCMコンテンツデータを、それぞれ、変更された旨、追加された旨を付して送信する。また、削除CM識別子763dを削除された旨を付して送信する。なお、CMコンテンツデータは、削除された際、削除された旨を付されるものの、削除されなくても良い。
上記要求に、更新管理番号が付され、その更新管理番号以降である旨が更に付されている場合、CMデータベース同期制御部763は、その更新管理番号より後であることを示す更新管理番号763aと関連付けられた変更CM識別子763bと、追加CM識別子763cと、削除CM識別子763dとについて、上記の送信を行う。
また、上記要求にCM特徴量が付された場合、CMデータベース同期制御部763は、そのCM特徴量と等しいCM特徴量237bと関連付けられたCMコンテンツデータを送信する。このように、上記要求にCM特徴量が付されるとすることによれば、CMコンテンツデータ更新内容の記憶によるCMコンテンツデータの更新管理を行う必要がなく、また、放送地域761dを記憶する必要がなく、装置の小型化に利する。
CMデータベース同期制御部763は、移動通信装置MSからの要求に従うことに加えて、又は、代えて、CMコンテンツデータベース部761に記憶されたCMコンテンツデータに変化がある度に、その変化があったCMコンテンツデータをインターネット送受信部730を介して移動通信装置MSへ送信する。
CMデータ出力部764は、CMコンテンツデータベース部761に記憶されたCMコンテンツデータ中の映像信号と文字列とを表示部150に表示させ、また、音声信号をスピーカ220から発生させる。このCMデータ出力部764の動作により、CM管理サーバ装置SVを管理する管理者は、CMコンテンツデータはCMに関する情報であるか否かを確認することができる。また、例えば、CM時間長237cに誤りがあれば、CMデータ入力部765を介して入力部750の操作によって、その誤りを訂正し、また、CMメタデータ761cに情報を追加させる。
また、管理者は、CMデータ出力部764に新規にCMコンテンツデータベース部761に記憶されたCMコンテンツデータのCMコンテンツ761bを表示部150及びスピーカ220から出力させ、その出力を視聴してCMであるか否かを判断し、CMでなければ、CMデータ入力部765を介して入力部750の操作によって、そのCMコンテンツデータを削除することができる。また、CM登録日時237iが古い日時であることなどを参照の上、不要と考えられるCMコンテンツデータを削除することができる。
CMデータ入力部765は、外部記憶媒体接続部770に接続された外部記憶媒体に記憶されたCMコンテンツデータをCMコンテンツデータベース部761に記憶させる。このように、放送受信部210の動作に依存することなく、即ち、遅延型CM検出部235を動作させることなくCMコンテンツデータを意図的に記憶させる場合、CM確度237hは、最高の値とする。
CMデータ入力部765によるCMコンテンツデータの記憶は、例えば、CM提供元のスポンサーや広告代理店がCMコンテンツデータを登録する場合に用いられ、CMでないCMコンテンツデータが記憶される恐れが全くない。
なお、CM管理サーバ装置SVは、家庭内に設置されたテレビ受信機であっても良い。この場合、移動通信装置MSは、無線LAN通信部(図示せず)を備え、CM管理サーバ装置SVのインターネット通信部720は、無線LAN方式の通信を行い、移動通信装置MSと、CM管理サーバ装置SVとの間は、無線LAN方式で接続されても良い。また、無線LANに限らず、ブルートゥース(Bluetooth、登録商標)方式などの近距離無線通信方式によって接続されても良い。
(第1の変形例)
移動通信装置MSのCM検出部230は、CMメタデータ送信部(図示ぜす)を備え、CMメタデータ送信部は、CM属性のCMフラグ238aに「ON」が記憶されている場合、また、入力部160の所定のキーが操作されると、CM属性に含まれるCM識別子237aと関連付けられた、例えば、CM参照回数237jや、メタデータを検索する。そして、検索されたCM参照回数237jや、メタデータや、メタデータを参照して得られるCMを、表示部150に表示させ、スピーカ220から発生させる。
また、移動通信装置MSは、放送受信部210が動作した時間を記憶し、CMメタデータ送信部は、CM参照回数237jをCM登録日時237iから現在に至るまでの放送受信部210が動作した時間で除すことにより、放送中のCMの放送頻度を表示部150に表示させる。更に、放送中のCMと同じ内容であって、CM時間長237cが異なるCMを表示部150に表示させ、スピーカ220から発生させる。
また、移動通信装置MSは、放送受信部210が動作した時間を所定の間隔、例えば、1週間毎に記憶し、CMデータには、CM参照回数237jを所定の間隔、例えば、1週間毎に記憶させることによって、CMメタデータ送信部は、放送中のCMの現在の放送頻度や、放送頻度を表示部150に表示させる。
(第2の変形例)
移動通信装置MSは、電子メールの送受信を行う電子メール送受信部(図示せず)を備え、移動通信装置MSのCM検出部230は、CMメタデータ送信部を備え、CM属性は、CMデータのCM識別子237aを含む。
そして、CMメタデータ送信部は、入力部160の所定のキーが操作されると、CM属性に含まれるCM識別子237aと関連付けられた、例えば、メタデータを検索する。そして、電子メール送受信部に指示して、検索されたメタデータを電子メールの本文とする電子メールを移動通信装置MSに割り当てられている電子メールアドレスへ送信させる。この際、移動通信装置MSの表示部150の表示画面の大きさなどに基づいて、上記電子メール本文の形式を整える。
また、移動通信装置MSは、ウェブサーバ装置(図示せず)へ送受信部130を介してアクセスするブラウザ部(図示せず)を備え、CMメタデータ送信部は、ブラウザ部に指示して、メタデータに含まれるURLで識別されるウェブページへアクセスさせ、そのアクセスで得られた情報を表示部150に表示させ、また、スピーカ220から発生させる。
(第3の変形例)
CM検出部230は、上述したテレビ放送信号一時記憶部401を備え、CM属性のCMフラグ238aに「ON」が記憶されている場合、デコーダ部212は、テレビ放送信号一時記憶部401に記憶されたテレビ放送信号を再生させても良い。再生にあたり、表示部150の表示画面を分割し、分割された表示画面に再生させても良い。再生させるテレビ放送信号は、入力部160の所定のキー操作によって選択される。また、CMメタデータを参照して選択される。
また、CMメタデータを参照して再生されたテレビ放送信号のスポンサーを検索し、そのスポンサーのウェブページを介して、検索されたスポンサーに、CMを再生したことを通知しても良い。
以上説明したCMメタデータ761cを用いる第3の実施形態によれば、視聴者は、同じCMを繰り返し視聴することが減り、新鮮な情報の視聴が可能となる。即ち、1回目のCMは情報として価値が高いが、2回目以降は鮮度が下がり、価値が見出せる情報量が減り、かつ、宣伝効果が低下してしまう。そこで、一定回数(例えば1回)以上放送されたCMを視聴した後は、放送されたCMに代えて、そのCM提供元のスポンサーのウェブページや姉妹商品のウェブページが表示されることで、視聴者は情報価値の低くなったCMを見ることがなくなり、常に新鮮な情報を得続けることが可能となる。また、CM提供元も効率的に宣伝情報をユーザに提示できるので宣伝効果をより増す効果が得られる。
(その他の実施形態)
上述した実施形態は、適宜組み合わせて実施しても良い。また、以上の説明は、本発明に係るコマーシャルメッセージ検出方法を移動通信装置に適用した例を用いて行ったが、本発明に係るコマーシャルメッセージ検出方法は、ワンセグであるか、フルセグであるか、更にはデジタル方式であるか、アナログ方式であるかを問わず、テレビ放送を受信する全ての装置、例えば、固定式のテレビ受信装置、携帯式のテレビ受信装置、パソコンなどに当然に適用が可能である。以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。