JP7268848B2 - コマーシャル検出装置 - Google Patents
コマーシャル検出装置 Download PDFInfo
- Publication number
- JP7268848B2 JP7268848B2 JP2019035742A JP2019035742A JP7268848B2 JP 7268848 B2 JP7268848 B2 JP 7268848B2 JP 2019035742 A JP2019035742 A JP 2019035742A JP 2019035742 A JP2019035742 A JP 2019035742A JP 7268848 B2 JP7268848 B2 JP 7268848B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- logo
- image data
- range
- channel logo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
本発明は、テレビジョン放送（以下「ＴＶ放送」と略、また「テレビジョン」は「ＴＶ」と略）におけるコマーシャル（以下「ＣＭ」と略）の時間軸上の位置を検出するコマーシャル検出装置に関する。
民間ＴＶ放送事業者（以下「民放ＴＶ局」と略）におけるＴＶ放送の番組コンテンツに含まれるＣＭの検出は、ＴＶ放送番組コンテンツを活用する際の基本的な処理であり、出願人が管理運用する放送映像アーカイブにおいても使用している機能である。
ＣＭ検出の技術は、ＴＶ放送がビデオ録画装置によって録画される当初から様々な手法が発明され、一部の技術は市販のビデオ録画装置等に搭載されている。
特許文献１には、ＴＶＣＭを、放送手段や、映像フォーマットに関わらずに、自動的に識別する技術が開示されている。
特許文献２には、チャンネルロゴを用いてＴＶＣＭを検出する技術が開示されている。
特許文献３には、静止画を検知することにより、ＴＶＣＭを検出する技術が開示されている。
非特許文献１には、チャンネルロゴを検出することでＴＶＣＭと番組コンテンツを識別する技術が開示されている。
特許文献１には、ＴＶＣＭを、放送手段や、映像フォーマットに関わらずに、自動的に識別する技術が開示されている。
特許文献２には、チャンネルロゴを用いてＴＶＣＭを検出する技術が開示されている。
特許文献３には、静止画を検知することにより、ＴＶＣＭを検出する技術が開示されている。
非特許文献１には、チャンネルロゴを検出することでＴＶＣＭと番組コンテンツを識別する技術が開示されている。
「ロゴ検出型自動CMカットプログラム logoGuilloとは」Wirewriggle、２０１８年１１月２６日閲覧、インターネット＜http://loggialogic.blogspot.com/2011/11/cm-logoguillo.html＞
特許文献１に開示されるＣＭ検出の概略を説明する。
先ず、ＣＭコンテンツは１５秒の自然数倍である。そして、ＣＭとＣＭ、ＣＭと番組との間には映像の大きな切り替わり（以下「シーンチェンジ」と略）と、音声がなくなる区間、すなわち無音区間が発生する。これらの条件から、シーンチェンジと音声の無音区間が同時に発生する箇所が１５秒の自然数倍で一致する時間軸上の位置を、ＣＭと番組の境目であると認識する。
しかしながら、番組コンテンツの中でもシーンチェンジと音声の無音区間が１５秒の自然数倍で一致する場合が往々にして生じることがあり、ＣＭ誤検出の要因となっている。
先ず、ＣＭコンテンツは１５秒の自然数倍である。そして、ＣＭとＣＭ、ＣＭと番組との間には映像の大きな切り替わり（以下「シーンチェンジ」と略）と、音声がなくなる区間、すなわち無音区間が発生する。これらの条件から、シーンチェンジと音声の無音区間が同時に発生する箇所が１５秒の自然数倍で一致する時間軸上の位置を、ＣＭと番組の境目であると認識する。
しかしながら、番組コンテンツの中でもシーンチェンジと音声の無音区間が１５秒の自然数倍で一致する場合が往々にして生じることがあり、ＣＭ誤検出の要因となっている。
非特許文献１に開示されるＣＭ検出の概略を説明する。
民放ＴＶ局は、各々が独自のロゴマークを所有している。このロゴマークをチャンネルロゴと呼ぶ。殆どの場合、チャンネルロゴは登録商標であると共に、可視化されたウォーターマークであり、放送される番組コンテンツの概ね右上あるいは左上に薄く表示される。
非特許文献１に開示される技術では、このチャンネルロゴが表示されているコンテンツが番組コンテンツであると判断されている。
しかしながら、ウォーターマークであるチャンネルロゴは、番組コンテンツの状態によってはその検出が不可能になる場合がある。
このため、特許文献１と非特許文献１を組み合わせても、ＣＭ検出の誤検出を実用的に低減させるに至っていない。
民放ＴＶ局は、各々が独自のロゴマークを所有している。このロゴマークをチャンネルロゴと呼ぶ。殆どの場合、チャンネルロゴは登録商標であると共に、可視化されたウォーターマークであり、放送される番組コンテンツの概ね右上あるいは左上に薄く表示される。
非特許文献１に開示される技術では、このチャンネルロゴが表示されているコンテンツが番組コンテンツであると判断されている。
しかしながら、ウォーターマークであるチャンネルロゴは、番組コンテンツの状態によってはその検出が不可能になる場合がある。
このため、特許文献１と非特許文献１を組み合わせても、ＣＭ検出の誤検出を実用的に低減させるに至っていない。
本発明はかかる課題を解決し、少ない演算量でＣＭ誤検出の可能性を極力低減することができる、コマーシャル検出装置を提供することを目的とする。
上記課題を解決するために、本発明のコマーシャル検出装置は、動画データに含まれる無音区間とシーンチェンジが一致する箇所を検出して、ＣＭである可能性がある、動画データ上の時間軸上の区間であるＣＭ候補区間の情報が記憶されているＣＭ候補時間リストを作成するＣＭ候補時間検出部と、動画データにおけるＣＭ候補区間に含まれるフレームの中からチャンネルロゴを検出するチャンネルロゴ検出部とを具備する。更に、ＣＭ候補区間の開始位置及び／または終了位置の前後２フレームにおける、動画データにおいて放送局のチャンネルロゴが表示される画面上の座標情報であるチャンネルロゴ範囲座標情報によって特定される部分画像データが連続しているか否かを検出するチャンネルロゴ範囲連続性検出部と、チャンネルロゴ検出部及びチャンネルロゴ範囲連続性検出部の検出結果に基づいて、ＣＭ候補時間リストから番組コンテンツであると判断されるレコードに削除フラグを付与するＣＭ候補時間修正部とを具備する。
本発明により、少ない演算量でＣＭ誤検出の可能性を極力低減することができる、コマーシャル検出装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
［第一の実施形態：全体構成］
図１は、本発明の第一の実施形態に係るコマーシャル検出装置１０１の概略図である。
コマーシャル検出装置１０１は、ＴＶ録画装置であると共に、パソコン等の情報処理装置でもある。
コマーシャル検出装置１０１には、アンテナ１０２が接続されている。そして、内蔵するＴＶチューナボード２０８（図２にて後述）でＴＶ放送電波を受信して復調し、所望の番組コンテンツのデジタル動画データをＨＤＤ等の不揮発性ストレージ２０５（図２にて後述）に録画することで、録画済み動画ファイル３０１（図３にて後述）を作成する。そしてコマーシャル検出装置１０１は、後述するＣＭ検出機能を実行することによって、録画済み動画ファイル３０１に含まれるＣＭの時間軸上の位置を検出する。
図１は、本発明の第一の実施形態に係るコマーシャル検出装置１０１の概略図である。
コマーシャル検出装置１０１は、ＴＶ録画装置であると共に、パソコン等の情報処理装置でもある。
コマーシャル検出装置１０１には、アンテナ１０２が接続されている。そして、内蔵するＴＶチューナボード２０８（図２にて後述）でＴＶ放送電波を受信して復調し、所望の番組コンテンツのデジタル動画データをＨＤＤ等の不揮発性ストレージ２０５（図２にて後述）に録画することで、録画済み動画ファイル３０１（図３にて後述）を作成する。そしてコマーシャル検出装置１０１は、後述するＣＭ検出機能を実行することによって、録画済み動画ファイル３０１に含まれるＣＭの時間軸上の位置を検出する。
［第一の実施形態：ハードウェア構成］
図２は、コマーシャル検出装置１０１のハードウェア構成を示すブロック図である。
コマーシャル検出装置１０１は、バス２０１に接続された、周知のＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ハードディスク装置やフラッシュメモリ等の不揮発性ストレージ２０５、表示部２０６、操作部２０７を備える。
バス２０１には更に、ＴＶ放送電波を受信して復調するＴＶチューナボード２０８が接続されている。
不揮発性ストレージ２０５には、情報処理装置をコマーシャル検出装置１０１として稼働させるためのプログラムが記憶されている。
図２は、コマーシャル検出装置１０１のハードウェア構成を示すブロック図である。
コマーシャル検出装置１０１は、バス２０１に接続された、周知のＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ハードディスク装置やフラッシュメモリ等の不揮発性ストレージ２０５、表示部２０６、操作部２０７を備える。
バス２０１には更に、ＴＶ放送電波を受信して復調するＴＶチューナボード２０８が接続されている。
不揮発性ストレージ２０５には、情報処理装置をコマーシャル検出装置１０１として稼働させるためのプログラムが記憶されている。
［第一の実施形態：ソフトウェア機能］
図３は、コマーシャル検出装置１０１のソフトウェア機能を示すブロック図である。
図３に示すコマーシャル検出装置１０１のソフトウェア機能は、大きく３つの段階に分けられる。
＜第一の段階：ＣＭ候補時間リスト３０７の作成＞
不揮発性ストレージ２０５に記憶されている録画済み動画ファイル３０１は、無音検出部３０２に読み込まれる。
無音検出部３０２は、録画済み動画ファイル３０１に存在する無音区間を検出して、無音検出時間リスト３０３を作成する。
一方、不揮発性ストレージ２０５に記憶されている録画済み動画ファイル３０１は、シーンチェンジ検出部３０４にも読み込まれる。
シーンチェンジ検出部３０４は、録画済み動画ファイル３０１に存在するシーンチェンジを検出して、シーンチェンジ検出時間リスト３０５を作成する。
図３は、コマーシャル検出装置１０１のソフトウェア機能を示すブロック図である。
図３に示すコマーシャル検出装置１０１のソフトウェア機能は、大きく３つの段階に分けられる。
＜第一の段階：ＣＭ候補時間リスト３０７の作成＞
不揮発性ストレージ２０５に記憶されている録画済み動画ファイル３０１は、無音検出部３０２に読み込まれる。
無音検出部３０２は、録画済み動画ファイル３０１に存在する無音区間を検出して、無音検出時間リスト３０３を作成する。
一方、不揮発性ストレージ２０５に記憶されている録画済み動画ファイル３０１は、シーンチェンジ検出部３０４にも読み込まれる。
シーンチェンジ検出部３０４は、録画済み動画ファイル３０１に存在するシーンチェンジを検出して、シーンチェンジ検出時間リスト３０５を作成する。
［データ構造］
ここで、図４を参照して、無音検出時間リスト３０３を説明する。
図４は、各種テーブルのフィールド構成を示す図である。
無音検出時間リスト３０３は、無音検出開始時間フィールドと、無音検出終了時間フィールドを有する。
無音検出開始時間フィールドには、無音検出区間の開始時間が格納される。この開始時間は、録画済み動画ファイル３０１の先頭から見た相対時間である。なお、これ以降に説明する録画済み動画ファイル３０１上の時間は、全て録画済み動画ファイル３０１の先頭から見た相対時間である。
無音検出終了時間フィールドには、無音検出区間の終了時間が格納される。この開始時間は、録画済み動画ファイル３０１の先頭から見た相対時間である。
ここで、図４を参照して、無音検出時間リスト３０３を説明する。
図４は、各種テーブルのフィールド構成を示す図である。
無音検出時間リスト３０３は、無音検出開始時間フィールドと、無音検出終了時間フィールドを有する。
無音検出開始時間フィールドには、無音検出区間の開始時間が格納される。この開始時間は、録画済み動画ファイル３０１の先頭から見た相対時間である。なお、これ以降に説明する録画済み動画ファイル３０１上の時間は、全て録画済み動画ファイル３０１の先頭から見た相対時間である。
無音検出終了時間フィールドには、無音検出区間の終了時間が格納される。この開始時間は、録画済み動画ファイル３０１の先頭から見た相対時間である。
シーンチェンジ検出時間リスト３０５は、シーンチェンジ開始時間フィールドを有する。
シーンチェンジ開始時間フィールドは、録画済み動画ファイル３０１における、シーンチェンジが発生した瞬間のフレームの時間が格納される。
シーンチェンジ開始時間フィールドは、録画済み動画ファイル３０１における、シーンチェンジが発生した瞬間のフレームの時間が格納される。
図３に戻って、コマーシャル検出装置１０１のソフトウェア機能の説明を続ける。
無音検出時間リスト３０３とシーンチェンジ検出時間リスト３０５は、ＣＭ候補時間検出部３０６に読み込まれる。
ＣＭ候補時間検出部３０６は、無音検出時間リスト３０３とシーンチェンジ検出時間リスト３０５を突き合わせて、無音検出時間内に存在するシーンチェンジ検出時間を抽出する。そして、ＣＭ候補時間検出部３０６は、それら抽出されたシーンチェンジ検出時間とシーンチェンジ検出時間との間が１５秒の自然数倍に合致している区間を、ＣＭ区間であると推定し、このＣＭ区間に相当する時間をＣＭ候補時間リスト３０７に出力する。
無音検出時間リスト３０３とシーンチェンジ検出時間リスト３０５は、ＣＭ候補時間検出部３０６に読み込まれる。
ＣＭ候補時間検出部３０６は、無音検出時間リスト３０３とシーンチェンジ検出時間リスト３０５を突き合わせて、無音検出時間内に存在するシーンチェンジ検出時間を抽出する。そして、ＣＭ候補時間検出部３０６は、それら抽出されたシーンチェンジ検出時間とシーンチェンジ検出時間との間が１５秒の自然数倍に合致している区間を、ＣＭ区間であると推定し、このＣＭ区間に相当する時間をＣＭ候補時間リスト３０７に出力する。
ここで再び図４を参照して、ＣＭ候補時間リスト３０７を説明する。
ＣＭ候補時間リスト３０７は、ＣＭ候補開始時間フィールドと、ＣＭ候補終了時間フィールドと、削除フラグフィールドを有する。
ＣＭ候補開始時間フィールドには、ＣＭ候補区間の開始時間が格納される。
ＣＭ候補区間とは、録画済み動画ファイル３０１に存在する無音検出時間の中に含まれるシーンチェンジ時間同士が、１５秒の自然数倍に等しい、録画済み動画ファイル３０１上の時間軸上の区間を指している。すなわち、ＣＭ候補区間は、録画済み動画ファイル３０１の時間軸上で、ＣＭである可能性が高い区間を示している。
なお、ＣＭの長さは最大で４フレーム前後の時間幅を有するため、１５秒に±０．１５秒程度のマージンを設けて、シーンチェンジを検出することが望ましい。
ＣＭ候補時間リスト３０７は、ＣＭ候補開始時間フィールドと、ＣＭ候補終了時間フィールドと、削除フラグフィールドを有する。
ＣＭ候補開始時間フィールドには、ＣＭ候補区間の開始時間が格納される。
ＣＭ候補区間とは、録画済み動画ファイル３０１に存在する無音検出時間の中に含まれるシーンチェンジ時間同士が、１５秒の自然数倍に等しい、録画済み動画ファイル３０１上の時間軸上の区間を指している。すなわち、ＣＭ候補区間は、録画済み動画ファイル３０１の時間軸上で、ＣＭである可能性が高い区間を示している。
なお、ＣＭの長さは最大で４フレーム前後の時間幅を有するため、１５秒に±０．１５秒程度のマージンを設けて、シーンチェンジを検出することが望ましい。
ＣＭ候補終了時間フィールドには、ＣＭ候補区間の終了時間が格納される。
削除フラグフィールドには、当該ＣＭ候補区間に付与する削除フラグが格納される。すなわち、削除フラグフィールドは論理値フィールドであり、論理の真または偽の何れかの値が格納される。そして、削除フラグフィールドの初期状態は、論理の偽である。すなわち、削除フラグフィールドが論理の偽であるということは、当該レコードに削除フラグが付与されていないことを意味する。
削除フラグフィールドには、当該ＣＭ候補区間に付与する削除フラグが格納される。すなわち、削除フラグフィールドは論理値フィールドであり、論理の真または偽の何れかの値が格納される。そして、削除フラグフィールドの初期状態は、論理の偽である。すなわち、削除フラグフィールドが論理の偽であるということは、当該レコードに削除フラグが付与されていないことを意味する。
以上、録画済み動画ファイル３０１から、無音検出部３０２、シーンチェンジ検出部３０４、ＣＭ候補時間検出部３０６を実行してＣＭ候補時間リスト３０７を作成するまでが、コマーシャル検出装置１０１のソフトウェア機能における第一の段階である。
＜第二の段階：チャンネルロゴを検出してＣＭ候補時間リスト３０７に削除フラグを付与する＞
再び図３に戻って、コマーシャル検出装置１０１のソフトウェア機能の説明を続ける。
録画済み動画ファイル３０１とＣＭ候補時間リスト３０７は、チャンネルロゴ検出部３０８に読み込まれる。
チャンネルロゴ検出部３０８は、先ず、操作部２０７等から入力されるチャンネル情報３０９から、録画済み動画ファイル３０１が放送された民放ＴＶ局のチャンネル情報を取得する。
再び図３に戻って、コマーシャル検出装置１０１のソフトウェア機能の説明を続ける。
録画済み動画ファイル３０１とＣＭ候補時間リスト３０７は、チャンネルロゴ検出部３０８に読み込まれる。
チャンネルロゴ検出部３０８は、先ず、操作部２０７等から入力されるチャンネル情報３０９から、録画済み動画ファイル３０１が放送された民放ＴＶ局のチャンネル情報を取得する。
次に、チャンネルロゴ検出部３０８は、チャンネル情報３０９でチャンネルロゴサンプルリスト３１０を検索して、当該民放ＴＶ局のチャンネルロゴの画像データであるチャンネルロゴ画像データを取得する。なお、チャンネル情報３０９は操作部２０７から手入力で入力する他、録画済み動画ファイル３０１に埋め込むか、あるいは録画済み動画ファイル３０１を管理するテーブル等から取得してもよい。
更に、チャンネルロゴ検出部３０８は、チャンネル情報３０９でチャンネルロゴアドレス範囲リスト３１１を検索して、当該民放ＴＶ局のチャンネルロゴが表示される、録画済み動画ファイル３０１における画面上の座標情報を取得する。これ以降、この座標情報をチャンネルロゴ範囲座標情報と呼ぶ。
更に、チャンネルロゴ検出部３０８は、チャンネル情報３０９でチャンネルロゴアドレス範囲リスト３１１を検索して、当該民放ＴＶ局のチャンネルロゴが表示される、録画済み動画ファイル３０１における画面上の座標情報を取得する。これ以降、この座標情報をチャンネルロゴ範囲座標情報と呼ぶ。
次にチャンネルロゴ検出部３０８は、録画済み動画ファイル３０１のうち、ＣＭ候補時間リスト３０７の各レコードによって指定されるＣＭ候補区間内の各フレームから、チャンネルロゴ範囲座標情報にしたがって部分画像データを切り出す。
そして、チャンネルロゴ検出部３０８は、部分画像データに微分演算処理等を施して、部分画像データに含まれる輪郭を抽出し、部分輪郭画像データを生成する。この処理はウォーターマークの検出処理である。そして、部分輪郭画像データをチャンネルロゴ画像データと比較して、チャンネルロゴの検出を試みる。
そして、チャンネルロゴ検出部３０８は、部分画像データに微分演算処理等を施して、部分画像データに含まれる輪郭を抽出し、部分輪郭画像データを生成する。この処理はウォーターマークの検出処理である。そして、部分輪郭画像データをチャンネルロゴ画像データと比較して、チャンネルロゴの検出を試みる。
以上の処理によって、ＣＭ候補時間リスト３０７の各レコードによって指定される、録画済み動画ファイル３０１におけるＣＭ候補区間に、チャンネルロゴが検出された場合には、チャンネルロゴ検出部３０８は、ＣＭ候補時間修正部３１２にＣＭ候補時間リスト３０７の該当するレコードを指示する。
ＣＭ候補時間修正部３１２は、チャンネルロゴ検出部３０８からＣＭ候補時間リスト３０７の該当するレコードを特定して、ＣＭ候補時間リスト３０７の当該レコードの削除フラグフィールドに論理の真を書き込む。
ＣＭ候補時間修正部３１２は、チャンネルロゴ検出部３０８からＣＭ候補時間リスト３０７の該当するレコードを特定して、ＣＭ候補時間リスト３０７の当該レコードの削除フラグフィールドに論理の真を書き込む。
ここで再び図４を参照して、チャンネルロゴサンプルリスト３１０とチャンネルロゴアドレス範囲リスト３１１を説明する。
チャンネルロゴサンプルリスト３１０は、チャンネル情報フィールドと、チャンネルロゴ画像データフィールドを有する。
チャンネル情報フィールドには、民放ＴＶ局のチャンネル情報が格納される。
チャンネルロゴ画像データフィールドには、民放ＴＶ局のチャンネルロゴの画像データが格納される。
チャンネルロゴサンプルリスト３１０は、チャンネル情報フィールドと、チャンネルロゴ画像データフィールドを有する。
チャンネル情報フィールドには、民放ＴＶ局のチャンネル情報が格納される。
チャンネルロゴ画像データフィールドには、民放ＴＶ局のチャンネルロゴの画像データが格納される。
チャンネルロゴアドレス範囲リスト３１１は、チャンネル情報フィールドと、チャンネルロゴ第一座標フィールドと、チャンネルロゴ第二座標フィールドを有する。
チャンネル情報フィールドは、上述のチャンネルロゴサンプルリスト３１０の同名フィールドと同じである。
チャンネルロゴ第一座標フィールドには、民放ＴＶ局の画面上における、チャンネルロゴが表示される矩形範囲の左上の座標情報（以下「チャンネルロゴ第一座標」と略）が格納される。
チャンネルロゴ第二座標フィールドには、民放ＴＶ局の画面上における、チャンネルロゴが表示される矩形範囲の右下の座標情報（以下「チャンネルロゴ第二座標」と略）が格納される。
チャンネル情報フィールドは、上述のチャンネルロゴサンプルリスト３１０の同名フィールドと同じである。
チャンネルロゴ第一座標フィールドには、民放ＴＶ局の画面上における、チャンネルロゴが表示される矩形範囲の左上の座標情報（以下「チャンネルロゴ第一座標」と略）が格納される。
チャンネルロゴ第二座標フィールドには、民放ＴＶ局の画面上における、チャンネルロゴが表示される矩形範囲の右下の座標情報（以下「チャンネルロゴ第二座標」と略）が格納される。
なお、チャンネルロゴ第一座標とチャンネルロゴ第二座標で特定されるチャンネルロゴ座標情報は、実際に民放ＴＶ局の画面上で表示されるチャンネルロゴの大きさよりも約１．５倍程度大きい範囲を指定する。これは、チャンネルロゴを検出する際に隣接するピクセル同士で微分演算を行う都合上、チャンネルロゴの周囲にマージンが必要になること、及び、チャンネルロゴの表示位置がわずかに変更されても検出可能にするためである。ただし、この矩形範囲を広げ過ぎると、演算量が増加するとともに、チャンネルロゴ以外の内容が入り込む可能性が高まり、チャンネルロゴの検出精度が低下することにつながる。そのため、矩形範囲の大きさは、チャンネルロゴの表示位置の変動に対する柔軟性と、演算量の増加および検出精度の低下との間で、バランスを取って決める必要がある。
＜第三の段階：ＣＭ候補区間の前後のフレームにおけるチャンネルロゴ範囲の連続性を検出して、ＣＭ候補時間リスト３０７に削除フラグを付与する＞
再び図３に戻って、コマーシャル検出装置１０１のソフトウェア機能の説明を続ける。
録画済み動画ファイル３０１とＣＭ候補時間リスト３０７は、チャンネルロゴ範囲連続性検出部３１３に読み込まれる。
ここで、チャンネルロゴ範囲連続性検出部３１３の動作の詳細について、図を改めて説明する。
再び図３に戻って、コマーシャル検出装置１０１のソフトウェア機能の説明を続ける。
録画済み動画ファイル３０１とＣＭ候補時間リスト３０７は、チャンネルロゴ範囲連続性検出部３１３に読み込まれる。
ここで、チャンネルロゴ範囲連続性検出部３１３の動作の詳細について、図を改めて説明する。
図５は、チャンネルロゴ範囲連続性検出部３１３の機能ブロック図である。
チャンネルロゴ範囲切り出し処理部５０１は、先ず、前述のチャンネルロゴ検出部３０８と同様に、操作部２０７等から入力されるチャンネル情報３０９から、録画済み動画ファイル３０１が放送された民放ＴＶ局のチャンネル情報を取得する。
次に、チャンネル情報３０９でチャンネルロゴアドレス範囲リスト３１１を検索して、当該民放ＴＶ局のチャンネルロゴが表示される位置を示すチャンネルロゴ範囲座標情報を取得する。このチャンネルロゴ範囲座標情報は、録画済み動画ファイル３０１における画面上の座標情報である。
つまり、チャンネルロゴ範囲連続性検出部３１３は、チャンネルロゴ検出部３０８とは異なり、チャンネルロゴサンプルリスト３１０を参照しない。
チャンネルロゴ範囲切り出し処理部５０１は、先ず、前述のチャンネルロゴ検出部３０８と同様に、操作部２０７等から入力されるチャンネル情報３０９から、録画済み動画ファイル３０１が放送された民放ＴＶ局のチャンネル情報を取得する。
次に、チャンネル情報３０９でチャンネルロゴアドレス範囲リスト３１１を検索して、当該民放ＴＶ局のチャンネルロゴが表示される位置を示すチャンネルロゴ範囲座標情報を取得する。このチャンネルロゴ範囲座標情報は、録画済み動画ファイル３０１における画面上の座標情報である。
つまり、チャンネルロゴ範囲連続性検出部３１３は、チャンネルロゴ検出部３０８とは異なり、チャンネルロゴサンプルリスト３１０を参照しない。
次にチャンネルロゴ範囲切り出し処理部５０１は、録画済み動画ファイル３０１から、ＣＭ候補時間リスト３０７の削除フラグが付されていないレコードによって指定されるＣＭ候補区間の開始位置の前後２フレームを読み出す。そして、チャンネルロゴ範囲切り出し処理部５０１は、この前後２フレームに対してチャンネルロゴ範囲座標情報に従って部分画像データを切り出す。これが、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３である。
次にチャンネルロゴ範囲切り出し処理部５０１は、録画済み動画ファイル３０１から、ＣＭ候補時間リスト３０７の削除フラグが付されていないレコードによって指定されるＣＭ候補区間の終了位置の前後２フレームを読み出す。そして、チャンネルロゴ範囲切り出し処理部５０１は、この前後２フレームに対してチャンネルロゴ範囲座標情報に従って部分画像データを切り出す。これが、ＣＭ候補終了直前フレームロゴ範囲画像データ５０４と、ＣＭ候補終了直後フレームロゴ範囲画像データ５０５である。
また、チャンネルロゴ範囲切り出し処理部５０１は、ＣＭ候補時間リスト３０７のあるレコードに従ってＣＭ候補開始直前フレームロゴ範囲画像データ５０２、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３、ＣＭ候補終了直前フレームロゴ範囲画像データ５０４、そしてＣＭ候補終了直後フレームロゴ範囲画像データ５０５を出力する。
そして、チャンネルロゴ範囲切り出し処理部５０１は、その時点におけるＣＭ候補時間リスト３０７のレコードの情報（レコード番号、あるいはＣＭ候補開始時間等、レコードを特定できる情報）を、ＣＭ候補時間修正部３１２に出力する。
そして、チャンネルロゴ範囲切り出し処理部５０１は、その時点におけるＣＭ候補時間リスト３０７のレコードの情報（レコード番号、あるいはＣＭ候補開始時間等、レコードを特定できる情報）を、ＣＭ候補時間修正部３１２に出力する。
ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３は、第一差分演算処理部５０６に入力される。
第一差分演算処理部５０６は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の部分領域の割合を算出する。この、部分領域の割合については、図６で詳述する。
第一差分演算処理部５０６は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の部分領域の割合を算出する。この、部分領域の割合については、図６で詳述する。
また、ＣＭ候補終了直前フレームロゴ範囲画像データ５０４と、ＣＭ候補終了直後フレームロゴ範囲画像データ５０５は、第二差分演算処理部５０７に入力される。
第二差分演算処理部５０７は、ＣＭ候補終了直前フレームロゴ範囲画像データ５０４と、ＣＭ候補終了直後フレームロゴ範囲画像データ５０５の部分領域の割合を算出する。この、部分領域の割合についても、図６で詳述する。
第二差分演算処理部５０７は、ＣＭ候補終了直前フレームロゴ範囲画像データ５０４と、ＣＭ候補終了直後フレームロゴ範囲画像データ５０５の部分領域の割合を算出する。この、部分領域の割合についても、図６で詳述する。
第一差分演算処理部５０６が出力する第一の部分領域の割合は、第一コンパレータ５０８のプラス側入力に入力される。第一コンパレータ５０８は、第一の部分領域の割合を領域割合閾値５０９と比較して、第一の部分領域の割合が領域割合閾値５０９を上回る場合には、論理の真を出力する。
第二差分演算処理部５０７が出力する第二の部分領域の割合は、第二コンパレータ５１０のプラス側入力に入力される。第二コンパレータ５１０は、第二の部分領域の割合を領域割合閾値５０９と比較して、第二の部分領域の割合が領域割合閾値５０９を上回る場合には、論理の真を出力する。
第二差分演算処理部５０７が出力する第二の部分領域の割合は、第二コンパレータ５１０のプラス側入力に入力される。第二コンパレータ５１０は、第二の部分領域の割合を領域割合閾値５０９と比較して、第二の部分領域の割合が領域割合閾値５０９を上回る場合には、論理の真を出力する。
第一コンパレータ５０８及び第二コンパレータ５１０の出力は、それぞれＯＲゲート５１１に入力される。すなわち、第一コンパレータ５０８と第二コンパレータ５１０の何れか一方または両方が論理の真である場合には、ＯＲゲート５１１は論理の真を出力する。
ＯＲゲート５１１の論理出力は、ＣＭ候補時間修正部３１２に出力される。
ＯＲゲート５１１の論理出力は、ＣＭ候補時間修正部３１２に出力される。
［第一差分演算処理部５０６及び第二差分演算処理部５０７］
ここで図６を参照して、第一差分演算処理部５０６及び第二差分演算処理部５０７の処理を説明する。
図６は、第一差分演算処理部５０６のソフトウェア機能を示すブロック図である。なお、前述の通り、第一差分演算処理部５０６及び第二差分演算処理部５０７は同一の機能を有するため、図６は第二差分演算処理部５０７のソフトウェア機能を示すブロック図でもある。したがって図６中、同一の機能ブロックやデータ等については括弧書きで当該同一機能ブロックの符号を付している。
ここで図６を参照して、第一差分演算処理部５０６及び第二差分演算処理部５０７の処理を説明する。
図６は、第一差分演算処理部５０６のソフトウェア機能を示すブロック図である。なお、前述の通り、第一差分演算処理部５０６及び第二差分演算処理部５０７は同一の機能を有するため、図６は第二差分演算処理部５０７のソフトウェア機能を示すブロック図でもある。したがって図６中、同一の機能ブロックやデータ等については括弧書きで当該同一機能ブロックの符号を付している。
第一アドレス制御部６０１は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、同一アドレスのピクセルを読み出して、輝度差演算部６０２に出力する。
輝度差演算部６０２は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、同一アドレスのピクセルの輝度差の絶対値を算出し、輝度差データを出力する。
ピクセルは、ＲＧＢやＹＵＶ等のカラー、つまり３個の変数を有するデータであるので、先ず、ピクセルの輝度成分を抽出する。ＲＧＢ形式やＹＵＶ形式の色情報を周知のＣＩＥＬＡＢ形式の色情報に変換してからＬ＊成分を輝度として使用してもよいし、ＹＵＶ形式の場合には、Ｙ成分をそのまま輝度として使用してもよい。その後、ピクセル相互の輝度の比較を行う。
輝度差演算部６０２が出力する輝度差データは、第三コンパレータ６０３のマイナス側入力に入力される。
一方、第三コンパレータ６０３のプラス側入力には、輝度変化閾値６０４が入力される。
第三コンパレータ６０３は、輝度差演算部６０２が出力する輝度差データが輝度変化閾値６０４未満であれば、論理の真を出力する。
輝度差演算部６０２は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、同一アドレスのピクセルの輝度差の絶対値を算出し、輝度差データを出力する。
ピクセルは、ＲＧＢやＹＵＶ等のカラー、つまり３個の変数を有するデータであるので、先ず、ピクセルの輝度成分を抽出する。ＲＧＢ形式やＹＵＶ形式の色情報を周知のＣＩＥＬＡＢ形式の色情報に変換してからＬ＊成分を輝度として使用してもよいし、ＹＵＶ形式の場合には、Ｙ成分をそのまま輝度として使用してもよい。その後、ピクセル相互の輝度の比較を行う。
輝度差演算部６０２が出力する輝度差データは、第三コンパレータ６０３のマイナス側入力に入力される。
一方、第三コンパレータ６０３のプラス側入力には、輝度変化閾値６０４が入力される。
第三コンパレータ６０３は、輝度差演算部６０２が出力する輝度差データが輝度変化閾値６０４未満であれば、論理の真を出力する。
第一アドレス制御部６０１が輝度差演算部６０２に出力したＣＭ候補開始直後フレームロゴ範囲画像データ５０３のピクセルは、輝度演算部６０５及び勾配演算部６０６にも出力される。
輝度演算部６０５は、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３のピクセルの輝度を算出し、輝度データを出力する。
輝度演算部６０５が出力する輝度データは、第四コンパレータ６０７のプラス側入力に入力される。
一方、第四コンパレータ６０７のマイナス側入力には、輝度閾値６０８が入力される。
第四コンパレータ６０７は、輝度演算部６０５が出力する輝度データが輝度閾値６０８以上であれば、論理の真を出力する。
輝度演算部６０５は、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３のピクセルの輝度を算出し、輝度データを出力する。
輝度演算部６０５が出力する輝度データは、第四コンパレータ６０７のプラス側入力に入力される。
一方、第四コンパレータ６０７のマイナス側入力には、輝度閾値６０８が入力される。
第四コンパレータ６０７は、輝度演算部６０５が出力する輝度データが輝度閾値６０８以上であれば、論理の真を出力する。
勾配演算部６０６は、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３のピクセルにおける輝度の勾配を算出し、勾配データを出力する。
勾配演算部６０６は、指定されるピクセルに対し、Ｘ方向とＹ方向に中心差分勾配を算出し、それらのベクトル長（Ｘ方向の勾配をGx、Ｙ方向の勾配をGyとしたとき、√(Gx2＋Gy2)の値）を算出する。なお、勾配の計算は中心差分勾配の代わりにソーベル勾配演算子を用いる等、他の計算方法も採用し得る。
勾配演算部６０６が出力する勾配データは、第五コンパレータ６０９のプラス側入力に入力される。
一方、第五コンパレータ６０９のマイナス側入力には、勾配閾値６１０が入力される。
第五コンパレータ６０９は、勾配演算部６０６が出力する勾配データが勾配閾値６１０以上であれば、論理の真を出力する。
勾配演算部６０６は、指定されるピクセルに対し、Ｘ方向とＹ方向に中心差分勾配を算出し、それらのベクトル長（Ｘ方向の勾配をGx、Ｙ方向の勾配をGyとしたとき、√(Gx2＋Gy2)の値）を算出する。なお、勾配の計算は中心差分勾配の代わりにソーベル勾配演算子を用いる等、他の計算方法も採用し得る。
勾配演算部６０６が出力する勾配データは、第五コンパレータ６０９のプラス側入力に入力される。
一方、第五コンパレータ６０９のマイナス側入力には、勾配閾値６１０が入力される。
第五コンパレータ６０９は、勾配演算部６０６が出力する勾配データが勾配閾値６１０以上であれば、論理の真を出力する。
第四コンパレータ６０７の論理出力と第五コンパレータ６０９の論理出力は、ＯＲゲート６１１に入力される。
第三コンパレータ６０３の論理出力とＯＲゲート６１１の論理出力は、ＡＮＤゲート６１２に入力される。
ＡＮＤゲート６１２の出力論理値は、第一アドレス制御部６０１を通じてフレームロゴ範囲フラグデータ６１３の該当アドレスのセルに書き込まれる。すなわち、第一アドレス制御部６０１は、ＡＮＤゲート６１２の出力論理値を、フレームロゴ範囲フラグデータ６１３の、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２とＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、該当するアドレスのセルに記憶する。
フレームロゴ範囲フラグデータ６１３は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３と同一の要素数（セル数）を有するフラグ群である。
第三コンパレータ６０３の論理出力とＯＲゲート６１１の論理出力は、ＡＮＤゲート６１２に入力される。
ＡＮＤゲート６１２の出力論理値は、第一アドレス制御部６０１を通じてフレームロゴ範囲フラグデータ６１３の該当アドレスのセルに書き込まれる。すなわち、第一アドレス制御部６０１は、ＡＮＤゲート６１２の出力論理値を、フレームロゴ範囲フラグデータ６１３の、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２とＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、該当するアドレスのセルに記憶する。
フレームロゴ範囲フラグデータ６１３は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３と同一の要素数（セル数）を有するフラグ群である。
すなわち、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、同一アドレスのピクセルについて、以下の条件を満たすピクセルに対し、論理の真を、フレームロゴ範囲フラグデータ６１３の該当するアドレスのセルに出力する。
（１）ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、同一アドレスのピクセルの輝度差が輝度変化閾値６０４未満である。
（２）ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の当該アドレスのピクセルの輝度が輝度閾値６０８以上である。
（３）ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の当該アドレスのピクセルの勾配が勾配閾値６１０以上である。
（４）（１）かつ、（２）または（３）を満たす。
（１）ＣＭ候補開始直前フレームロゴ範囲画像データ５０２と、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の、同一アドレスのピクセルの輝度差が輝度変化閾値６０４未満である。
（２）ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の当該アドレスのピクセルの輝度が輝度閾値６０８以上である。
（３）ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の当該アドレスのピクセルの勾配が勾配閾値６１０以上である。
（４）（１）かつ、（２）または（３）を満たす。
フレームロゴ範囲フラグデータ６１３は、移動平均演算部６１４に読み込まれる。
移動平均演算部６１４は、フレームロゴ範囲フラグデータ６１３の各セルに対し、論理の真を「１」、論理の偽を「０」として、縦８セル×横８セル＝６４セル単位の移動平均を算出する。そして、フレームロゴ範囲フラグデータ６１３の約１／６４の要素数よりなる部分領域原データ６１５を出力する。
部分領域原データ６１５は、フレームロゴ範囲フラグデータ６１３の約１／６４の要素数（セル数）よりなると共に、各セルが小数点の値を有するデータ群である。
なお、本発明の実施形態において、移動平均演算部６１４は８×８の６４個のセル分割を採用しているが、セルあたりのピクセル数を一定にしてもよい。例えば、８ピクセル×８ピクセルの６４ピクセルを１つのセルとする。この場合、セルの数は、ロゴ範囲の大きさによって変化することになる。一例として、チャンネルロゴ範囲の大きさが９６ピクセル×９６ピクセルであれば１４４個のセルに、１２８ピクセル×１２８ピクセルであれば２５６個のセルに分割することになる。
移動平均演算部６１４は、フレームロゴ範囲フラグデータ６１３の各セルに対し、論理の真を「１」、論理の偽を「０」として、縦８セル×横８セル＝６４セル単位の移動平均を算出する。そして、フレームロゴ範囲フラグデータ６１３の約１／６４の要素数よりなる部分領域原データ６１５を出力する。
部分領域原データ６１５は、フレームロゴ範囲フラグデータ６１３の約１／６４の要素数（セル数）よりなると共に、各セルが小数点の値を有するデータ群である。
なお、本発明の実施形態において、移動平均演算部６１４は８×８の６４個のセル分割を採用しているが、セルあたりのピクセル数を一定にしてもよい。例えば、８ピクセル×８ピクセルの６４ピクセルを１つのセルとする。この場合、セルの数は、ロゴ範囲の大きさによって変化することになる。一例として、チャンネルロゴ範囲の大きさが９６ピクセル×９６ピクセルであれば１４４個のセルに、１２８ピクセル×１２８ピクセルであれば２５６個のセルに分割することになる。
第二アドレス制御部６１６は、部分領域原データ６１５からセル毎にデータを読み出して、第六コンパレータ６１７のプラス側入力に出力する。
第六コンパレータ６１７のマイナス側入力には領域閾値６１８が入力される。
第六コンパレータ６１７は、部分領域原データ６１５の各セルの値が領域閾値６１８以上であれば、論理の真を出力する。
第六コンパレータ６１７のマイナス側入力には領域閾値６１８が入力される。
第六コンパレータ６１７は、部分領域原データ６１５の各セルの値が領域閾値６１８以上であれば、論理の真を出力する。
第六コンパレータ６１７の出力論理値は、第二アドレス制御部６１６を通じて部分領域フラグデータ６１９に書き込まれる。
部分領域フラグデータ６１９は、部分領域原データ６１５と同一の要素数（セル数）を有するフラグ群である。
部分領域フラグデータ６１９は領域割合演算部６２０に入力される。
領域割合演算部６２０は、部分領域フラグデータ６１９の、論理が真のセル数を計数して、部分領域フラグデータ６１９のセルの全数で除算することにより、セルの全数に対する論理が真のセル数の割合である第一の部分領域の割合を算出して出力する。この第一の部分領域の割合が、第一差分演算処理部５０６の出力データとなる。
部分領域フラグデータ６１９は、部分領域原データ６１５と同一の要素数（セル数）を有するフラグ群である。
部分領域フラグデータ６１９は領域割合演算部６２０に入力される。
領域割合演算部６２０は、部分領域フラグデータ６１９の、論理が真のセル数を計数して、部分領域フラグデータ６１９のセルの全数で除算することにより、セルの全数に対する論理が真のセル数の割合である第一の部分領域の割合を算出して出力する。この第一の部分領域の割合が、第一差分演算処理部５０６の出力データとなる。
領域割合演算部６２０が出力する第一の部分領域の割合は、第一コンパレータ５０８のプラス側入力に入力される。
第一コンパレータ５０８のマイナス側入力には、領域割合閾値５０９が入力される。
第一コンパレータ５０８は、第一の部分領域の割合が領域割合閾値５０９以上であれば、論理の真を出力する。
第一コンパレータ５０８のマイナス側入力には、領域割合閾値５０９が入力される。
第一コンパレータ５０８は、第一の部分領域の割合が領域割合閾値５０９以上であれば、論理の真を出力する。
図６において説明した第一差分演算処理部５０６及び周辺の各機能ブロック等は、第二差分演算処理部５０７において以下のように読み替えられる。
ＣＭ候補開始直前フレームロゴ範囲画像データ５０２→ＣＭ候補終了直前フレームロゴ範囲画像データ５０４
ＣＭ候補開始直後フレームロゴ範囲画像データ５０３→ＣＭ候補終了直後フレームロゴ範囲画像データ５０５
領域割合演算部６２０が出力する第一の部分領域の割合→領域割合演算部６２０が出力する第二の部分領域の割合
第一コンパレータ５０８→第二コンパレータ５１０
ＣＭ候補開始直前フレームロゴ範囲画像データ５０２→ＣＭ候補終了直前フレームロゴ範囲画像データ５０４
ＣＭ候補開始直後フレームロゴ範囲画像データ５０３→ＣＭ候補終了直後フレームロゴ範囲画像データ５０５
領域割合演算部６２０が出力する第一の部分領域の割合→領域割合演算部６２０が出力する第二の部分領域の割合
第一コンパレータ５０８→第二コンパレータ５１０
再び図３に戻って、コマーシャル検出装置１０１のソフトウェア機能の説明を続ける。
ＣＭ候補時間修正部３１２は、チャンネルロゴ範囲連続性検出部３１３から出力される論理出力（図５のＯＲゲート５１１の出力）が論理の真である場合には、チャンネルロゴ範囲連続性検出部３１３によって指定されたＣＭ候補時間リスト３０７のレコードの削除フラグフィールドに論理の真を書き込む。
最終的にチャンネルロゴ範囲連続性検出部３１３とＣＭ候補時間修正部３１２による、ＣＭ候補時間リスト３０７に対する削除フラグ付与処理が終了したら、ＣＭ候補時間修正部３１２はＣＭ候補時間リスト３０７のうち、削除フラグが付されていないレコードのみを抽出して、ＣＭ時間リスト３１４を作成する。
ＣＭ候補時間修正部３１２は、チャンネルロゴ範囲連続性検出部３１３から出力される論理出力（図５のＯＲゲート５１１の出力）が論理の真である場合には、チャンネルロゴ範囲連続性検出部３１３によって指定されたＣＭ候補時間リスト３０７のレコードの削除フラグフィールドに論理の真を書き込む。
最終的にチャンネルロゴ範囲連続性検出部３１３とＣＭ候補時間修正部３１２による、ＣＭ候補時間リスト３０７に対する削除フラグ付与処理が終了したら、ＣＭ候補時間修正部３１２はＣＭ候補時間リスト３０７のうち、削除フラグが付されていないレコードのみを抽出して、ＣＭ時間リスト３１４を作成する。
以上説明した、第一の段階、第二の段階、第三の段階のシーケンス制御は、入出力制御部３１５によって行われる。入出力制御部３１５は、操作部２０７の指示にしたがい、処理の開始、中断等を、無音検出部３０２、シーンチェンジ検出部３０４、ＣＭ候補時間検出部３０６、チャンネルロゴ検出部３０８、ＣＭ候補時間修正部３１２、そしてチャンネルロゴ範囲連続性検出部３１３に指示する。また、処理の進行状況等を表示部２０６に表示する。
［チャンネルロゴとＣＭ及び番組コンテンツとの関係］
以上、本発明の実施形態に係るコマーシャル検出装置の機能について説明をしたが、これより各々の機能ブロックの存在理由について、チャンネルロゴとＣＭ及び番組コンテンツとの関係を中心に説明する。
図７は、ＴＶ受像機等で閲覧できる、民放ＴＶ局から放送される番組コンテンツの表示画面Ｐ７０１における、チャンネルロゴの表示態様の一例を示す図である。
図７に示す表示画面Ｐ７０１は、バラエティ番組のタイトル画面を想定している。この表示画面Ｐ７０１の右上に、チャンネルロゴ７０２が薄いウォーターマークの形態で表示されている。
以上、本発明の実施形態に係るコマーシャル検出装置の機能について説明をしたが、これより各々の機能ブロックの存在理由について、チャンネルロゴとＣＭ及び番組コンテンツとの関係を中心に説明する。
図７は、ＴＶ受像機等で閲覧できる、民放ＴＶ局から放送される番組コンテンツの表示画面Ｐ７０１における、チャンネルロゴの表示態様の一例を示す図である。
図７に示す表示画面Ｐ７０１は、バラエティ番組のタイトル画面を想定している。この表示画面Ｐ７０１の右上に、チャンネルロゴ７０２が薄いウォーターマークの形態で表示されている。
なお、一点鎖線の枠は、実際には非表示であるが、コマーシャル検出装置のチャンネルロゴアドレス範囲リスト３１１に格納されているチャンネルロゴ範囲座標情報によって形成される枠Ａ７０３である。この枠Ａ７０３の左上の頂点の座標がチャンネルロゴ第一座標であり、右下の頂点の座標がチャンネルロゴ第二座標である。
図７に示すように、民放ＴＶ局が番組コンテンツを放送している最中、チャンネルロゴ７０２は画面の右上あるいは左上に、ウォーターマークとして表示される。
図７に示すように、民放ＴＶ局が番組コンテンツを放送している最中、チャンネルロゴ７０２は画面の右上あるいは左上に、ウォーターマークとして表示される。
図８は、番組コンテンツの画面内に表示されるチャンネルロゴの画素の輝度と、チャンネルロゴの周囲の背景の輝度のサンプルをプロットしたグラフである。横軸は背景の輝度、縦軸は画面上に表示されるチャンネルロゴの輝度である。輝度はピクセルの値（０～２５５）であるため、単位は存在しない。
チャンネルロゴは周知のウォーターマークである。ウォーターマークは、文字あるいはロゴマークを透過画像データで用意され、基の画像データと合成されている。
チャンネルロゴは周知のウォーターマークである。ウォーターマークは、文字あるいはロゴマークを透過画像データで用意され、基の画像データと合成されている。
発明者らは、民放ＴＶ局のチャンネルロゴのサンプルを沢山収集して、チャンネルロゴに属する画素の輝度と、チャンネルロゴの周囲のうち、当該画素に最も近い箇所の画素の輝度を調べて、民放ＴＶ局毎にグラフにした。これが図８のグラフである。
図８中、実線Ｌ８０１は放送局Ａ、点線Ｌ８０２は放送局Ｂ、一点鎖線Ｌ８０３は放送局Ｃの、番組コンテンツ上におけるチャンネルロゴとその周囲の画素の輝度の相関を示している。どの民放ＴＶ局も、１次関数で示される。この調査結果から、画面上のチャンネルロゴの画素の輝度は、以下の式で計算できる。
画面上チャンネルロゴ輝度＝チャンネルロゴ画像輝度＋透過率×背景輝度
図８中、実線Ｌ８０１は放送局Ａ、点線Ｌ８０２は放送局Ｂ、一点鎖線Ｌ８０３は放送局Ｃの、番組コンテンツ上におけるチャンネルロゴとその周囲の画素の輝度の相関を示している。どの民放ＴＶ局も、１次関数で示される。この調査結果から、画面上のチャンネルロゴの画素の輝度は、以下の式で計算できる。
画面上チャンネルロゴ輝度＝チャンネルロゴ画像輝度＋透過率×背景輝度
調査の結果、殆どの民放ＴＶ局では透過率が０．７以上と高い値であることが判明した。このように高い透過率でチャンネルロゴを画面上に表示すると、背景の状態によってはチャンネルロゴの検出が困難あるいは不可能になる場合がある。
図９Ａは、ある番組におけるチャンネルロゴ７０２の表示態様の一例である画面の一部を示す概略図である。
図９Ｂは、ある番組におけるチャンネルロゴ７０２の表示態様の一例である画面の、チャンネルロゴ７０２の部分を拡大した図である。
図９Ａは、ある番組におけるチャンネルロゴ７０２の表示態様の一例である画面の一部を示す概略図である。
図９Ｂは、ある番組におけるチャンネルロゴ７０２の表示態様の一例である画面の、チャンネルロゴ７０２の部分を拡大した図である。
図９Ａでは、一例としてバラエティ番組によく見受けられるワイプ９０１という、番組出演者の顔が画面の端に表示されている態様を示している。
図９Ｂを見ると、ワイプ９０１として表示されている番組出演者の顔９０２と、チャンネルロゴ７０２が重なっている。このような場合には、番組出演者、すなわち人間の顔は、狭い面積に輝度勾配の高い箇所が密集しているため、チャンネルロゴ７０２の検出が困難あるいは不可能になる。
図９Ｂを見ると、ワイプ９０１として表示されている番組出演者の顔９０２と、チャンネルロゴ７０２が重なっている。このような場合には、番組出演者、すなわち人間の顔は、狭い面積に輝度勾配の高い箇所が密集しているため、チャンネルロゴ７０２の検出が困難あるいは不可能になる。
図９Ｃは、別の番組におけるチャンネルロゴ７０２の表示態様の一例である画面の一部を示す概略図である。
図９Ｄは、別の番組におけるチャンネルロゴ７０２の表示態様の一例である画面の、チャンネルロゴ７０２の部分を拡大した図である。
図９Ｃでは、一例として番組中で画面全体あるいは画面の大部分の領域に白色等の高輝度領域Ａ９０３が生じている態様を示している。図９Ｄを見ると、高輝度領域Ａ９０３とチャンネルロゴ７０２が重なっている。
番組コンテンツにおけるチャンネルロゴ７０２の表示は、周囲の背景より輝度が高くなるように表示されるため、背景の輝度が高いと、チャンネルロゴ７０２と輝度差が小さくなってしまい、チャンネルロゴ７０２の検出が困難あるいは不可能になる。
図９Ｄは、別の番組におけるチャンネルロゴ７０２の表示態様の一例である画面の、チャンネルロゴ７０２の部分を拡大した図である。
図９Ｃでは、一例として番組中で画面全体あるいは画面の大部分の領域に白色等の高輝度領域Ａ９０３が生じている態様を示している。図９Ｄを見ると、高輝度領域Ａ９０３とチャンネルロゴ７０２が重なっている。
番組コンテンツにおけるチャンネルロゴ７０２の表示は、周囲の背景より輝度が高くなるように表示されるため、背景の輝度が高いと、チャンネルロゴ７０２と輝度差が小さくなってしまい、チャンネルロゴ７０２の検出が困難あるいは不可能になる。
図１０は、録画済み動画ファイル３０１の時間軸上におけるＣＭ候補区間Ｓ１００１とその前後のフレームを示す概略図である。横軸は時間軸を示す。
図１０において、ＣＭ候補区間Ｓ１００１の先頭は、ＣＭ候補区間Ｓ１００１の開始位置Ｔ１００２である。ＣＭ候補区間Ｓ１００１の末尾は、ＣＭ候補区間Ｓ１００１の終了位置Ｔ１００３である。
開始位置Ｔ１００２の直前には、フレームＦ１００４がある。開始位置Ｔ１００２の時点には、フレームＦ１００５がある。
終了位置Ｔ１００３の直前には、フレームＦ１００６がある。終了位置Ｔ１００３の時点には、フレームＦ１００７がある。
図１０において、ＣＭ候補区間Ｓ１００１の先頭は、ＣＭ候補区間Ｓ１００１の開始位置Ｔ１００２である。ＣＭ候補区間Ｓ１００１の末尾は、ＣＭ候補区間Ｓ１００１の終了位置Ｔ１００３である。
開始位置Ｔ１００２の直前には、フレームＦ１００４がある。開始位置Ｔ１００２の時点には、フレームＦ１００５がある。
終了位置Ｔ１００３の直前には、フレームＦ１００６がある。終了位置Ｔ１００３の時点には、フレームＦ１００７がある。
フレームＦ１００４のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補開始直前フレームロゴ範囲画像データ５０２が含まれている。
フレームＦ１００５のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補開始直後フレームロゴ範囲画像データ５０３が含まれている。
フレームＦ１００６のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補終了直前フレームロゴ範囲画像データ５０４が含まれている。
フレームＦ１００７のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補終了直後フレームロゴ範囲画像データ５０５が含まれている。
フレームＦ１００５のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補開始直後フレームロゴ範囲画像データ５０３が含まれている。
フレームＦ１００６のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補終了直前フレームロゴ範囲画像データ５０４が含まれている。
フレームＦ１００７のチャンネルロゴ範囲座標情報には、部分画像データであるＣＭ候補終了直後フレームロゴ範囲画像データ５０５が含まれている。
先に説明したように、番組コンテンツの中でも、無音区間とシーンチェンジが一致する場合は多々生じ得る。そこで、図３において説明した第二の段階で、チャンネルロゴ検出部３０８がＣＭ候補区間Ｓ１００１に含まれるフレームの中からチャンネルロゴを検出して、当該ＣＭ候補区間Ｓ１００１が属するＣＭ候補時間リスト３０７のレコードに削除フラグを付与した。
しかし、先に説明したように番組コンテンツの内容によっては、チャンネルロゴの検出が困難あるいは不可能になる場合が多々生じ得る。
しかし、先に説明したように番組コンテンツの内容によっては、チャンネルロゴの検出が困難あるいは不可能になる場合が多々生じ得る。
図１１Ａは、番組コンテンツであるＣＭ候補区間Ｓ１００１における、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２の一例を示す図である。
図１１Ｂは、番組コンテンツであるＣＭ候補区間Ｓ１００１における、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の一例を示す図である。
すなわち、図１１Ａ及び図１１Ｂは、番組コンテンツ内においてシーンチェンジが発生している状態における、チャンネルロゴ範囲座標情報によって形成される枠Ａ７０３の画像データのイメージを示す。
図１１Ｂは、番組コンテンツであるＣＭ候補区間Ｓ１００１における、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３の一例を示す図である。
すなわち、図１１Ａ及び図１１Ｂは、番組コンテンツ内においてシーンチェンジが発生している状態における、チャンネルロゴ範囲座標情報によって形成される枠Ａ７０３の画像データのイメージを示す。
図１１Ａに示すＣＭ候補開始直前フレームロゴ範囲画像データ５０２のイメージＭ１１０１は、図９Ｄと同様に、高輝度領域Ａ９０３とチャンネルロゴ７０２が重なっているので、チャンネルロゴ７０２の検出が不可能になっている。その一方で、高輝度領域Ａ９０３の周辺には第一模様Ｐ１１０２が表示されている。
図１１Ｂに示すＣＭ候補開始直後フレームロゴ範囲画像データ５０３のイメージＭ１１０３は、図９Ｄと同様に、高輝度領域Ａ９０３とチャンネルロゴ７０２が重なっているので、チャンネルロゴ７０２の検出が不可能になっている。その一方で、高輝度領域Ａ９０３の周辺には、第一模様Ｐ１１０２とは輝度及び／または勾配が異なる第二模様Ｐ１１０４が表示されている。
図１１Ｂに示すＣＭ候補開始直後フレームロゴ範囲画像データ５０３のイメージＭ１１０３は、図９Ｄと同様に、高輝度領域Ａ９０３とチャンネルロゴ７０２が重なっているので、チャンネルロゴ７０２の検出が不可能になっている。その一方で、高輝度領域Ａ９０３の周辺には、第一模様Ｐ１１０２とは輝度及び／または勾配が異なる第二模様Ｐ１１０４が表示されている。
発明者らは、ＣＭ候補区間Ｓ１００１としてＣＭ候補時間リスト３０７に登録された番組コンテンツにおいて、チャンネルロゴの検出が困難あるいは不可能になる場合、チャンネルロゴ範囲座標情報の周辺では、どのような状態になっているのかを調べた。
図１１Ａ及び図１１Ｂに示すように、番組コンテンツであるにもかかわらず、ＣＭ候補区間Ｓ１００１としてＣＭ候補時間リスト３０７に登録されている録画済み動画ファイル３０１のフレームを調べると、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の前後の２フレームにおいて、シーンチェンジが発生する。しかし、シーンチェンジが発生しても、チャンネルロゴ範囲座標情報の周辺の画像データは、殆ど変わっていないことが判明した。
図１１Ａ及び図１１Ｂに示すように、番組コンテンツであるにもかかわらず、ＣＭ候補区間Ｓ１００１としてＣＭ候補時間リスト３０７に登録されている録画済み動画ファイル３０１のフレームを調べると、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の前後の２フレームにおいて、シーンチェンジが発生する。しかし、シーンチェンジが発生しても、チャンネルロゴ範囲座標情報の周辺の画像データは、殆ど変わっていないことが判明した。
番組コンテンツが放送されている途中、番組コンテンツ内でシーンチェンジと無音区間が重なり、更にその時間間隔が１５秒の自然数倍になることがある。このように検出されたＣＭ候補区間Ｓ１００１は、チャンネルロゴが検出できれば、当該ＣＭ候補区間Ｓ１００１は番組コンテンツであると判断して、チャンネルロゴ検出部３０８とＣＭ候補時間修正部３１２がＣＭ候補時間リスト３０７の該当するレコードに削除フラグを付与する。
しかし、当該ＣＭ候補区間Ｓ１００１でチャンネルロゴが検出できない場合、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の前後の２フレームでは、２通りの挙動が確認できた。
しかし、当該ＣＭ候補区間Ｓ１００１でチャンネルロゴが検出できない場合、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の前後の２フレームでは、２通りの挙動が確認できた。
ＣＭ候補区間Ｓ１００１がＣＭそのものである場合、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の前後２フレームにおける、チャンネルロゴ範囲座標情報の周辺の画像データは、大きく変化している。したがって、前後２フレームについて、チャンネルロゴ範囲座標情報で指定される部分画像データを切り出して、部分領域の割合を得ると、多くの場合、小さな値が得られる。
これに対し、ＣＭ候補区間Ｓ１００１が番組コンテンツである場合、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の前後２フレームにおける、チャンネルロゴ範囲座標情報の周辺の画像データは、殆ど変化しないことが多い。
すなわち、チャンネルロゴ範囲座標情報の周辺の画像データには、前述の図９Ｂまたは図９Ｄに示したような状態が、当該フレームに生じている。
この場合、図１１Ａ及び図１１Ｂに示すように、前後２フレームの全体はシーンチェンジによって大きく変化しているが、前後２フレームについて、チャンネルロゴ範囲座標情報（図１１Ａ及び図１１Ｂの枠Ａ７０３）の画像データを切り出して、シーンチェンジによって大きく変化した部分を除外すると、残った領域のピクセルは図９Ｂに示すような密度勾配が高い領域であるか、図９Ｄに示すような高輝度領域である。
すなわち、チャンネルロゴ範囲座標情報の周辺の画像データには、前述の図９Ｂまたは図９Ｄに示したような状態が、当該フレームに生じている。
この場合、図１１Ａ及び図１１Ｂに示すように、前後２フレームの全体はシーンチェンジによって大きく変化しているが、前後２フレームについて、チャンネルロゴ範囲座標情報（図１１Ａ及び図１１Ｂの枠Ａ７０３）の画像データを切り出して、シーンチェンジによって大きく変化した部分を除外すると、残った領域のピクセルは図９Ｂに示すような密度勾配が高い領域であるか、図９Ｄに示すような高輝度領域である。
チャンネルロゴ範囲連続性検出部３１３のチャンネルロゴ範囲切り出し処理部５０１は、まさにこのチャンネルロゴ範囲座標情報で特定される部分画像データを、ＣＭ候補区間Ｓ１００１の開始位置及び／または終了位置の、前後の２フレームについて切り出す。これが、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３、ＣＭ候補終了直前フレームロゴ範囲画像データ５０４及びＣＭ候補終了直後フレームロゴ範囲画像データ５０５である。
そして第一差分演算処理部５０２は、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２及びＣＭ候補開始直後フレームロゴ範囲画像データ５０３から、輝度変化が小さく、かつ、輝度が高いか勾配が大きいピクセルに対して論理の真を与える、フレームロゴ範囲フラグデータ６１３を作成する。この処理は、第一アドレス制御部６０１、輝度差演算部６０２、第三コンパレータ６０３、輝度変化閾値６０４、輝度演算部６０５、第四コンパレータ６０７、輝度閾値６０８、勾配演算部６０６、第五コンパレータ６０９、勾配閾値６１０、ＯＲゲート６１１、ＡＮＤゲート６１２によって遂行される。
輝度変化が小さく、かつ、輝度が高いか勾配が大きいピクセルが多数を占有する領域とは、例えば図９Ｂにおけるワイプ９０１と枠Ａ７０３が重複する箇所であり、例えば図９Ｄ、図１１Ａ及び図１１Ｂにおける高輝度領域Ａ９０３と枠Ａ７０３が重複する箇所である。
輝度変化が小さく、かつ、輝度が高いか勾配が大きいピクセルが多数を占有する領域とは、例えば図９Ｂにおけるワイプ９０１と枠Ａ７０３が重複する箇所であり、例えば図９Ｄ、図１１Ａ及び図１１Ｂにおける高輝度領域Ａ９０３と枠Ａ７０３が重複する箇所である。
第一差分演算処理部５０２は、フレームロゴ範囲フラグデータ６１３に基づいて、フレームロゴ範囲に対し、輝度変化が小さく、かつ、輝度が高いか勾配が大きいピクセルが多数を占有する領域の割合である第一の部分領域の割合を算出する。この処理は、移動平均演算部６１４、第二アドレス制御部６１６、第六コンパレータ６１７、領域閾値６１８、領域割合演算部６２０によって遂行される。
この、第一の部分領域の割合が領域割合閾値５０９以上であれば、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２が属するフレームと、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３が属するフレームは、チャンネルロゴの検出を阻害する何らかの映像が連続して存在していると推測できる。
チャンネルロゴ範囲はフレーム全体に対して小さな面積（データ量）である。これに加えて、特に、移動平均演算部６１４によって演算の対象となるデータ量が更に約１／６４に低減される。
以上より、第一差分演算処理部５０２の全体的な演算量は、録画済み動画ファイル３０１の全てのフレームに対して連続性を演算するシーンチェンジ検出部３０４の演算処理と比べて遥かに少ない演算量であるため、極めて高速に実行できる。
この、第一の部分領域の割合が領域割合閾値５０９以上であれば、ＣＭ候補開始直前フレームロゴ範囲画像データ５０２が属するフレームと、ＣＭ候補開始直後フレームロゴ範囲画像データ５０３が属するフレームは、チャンネルロゴの検出を阻害する何らかの映像が連続して存在していると推測できる。
チャンネルロゴ範囲はフレーム全体に対して小さな面積（データ量）である。これに加えて、特に、移動平均演算部６１４によって演算の対象となるデータ量が更に約１／６４に低減される。
以上より、第一差分演算処理部５０２の全体的な演算量は、録画済み動画ファイル３０１の全てのフレームに対して連続性を演算するシーンチェンジ検出部３０４の演算処理と比べて遥かに少ない演算量であるため、極めて高速に実行できる。
なお、輝度差演算部６０２において、輝度の差の絶対値を得る代わりに、輝度の差の２乗を得てもよい。その際、輝度変化閾値６０４は輝度の差の２乗に併せて適切な値に増やす必要が生じる。
［第二の実施形態：ソフトウェア機能］
以上説明した、本発明の第一の実施形態に係るコマーシャル検出装置１０１は、ソフトウェア機能によって、録画済み動画ファイル３０１に対して、ＣＭ検出を実行する装置であった。
特に図３において説明した、本発明のＣＭ検出機能は、少しの工夫を加えることで、ＴＶ番組コンテンツを録画している最中においてもＣＭ検出を実行することが可能である。具体的には、個々の処理のステップを可能な範囲で同時並行して実行することにより、ＣＭ検出結果が得られるまでの時間を短くすることが可能である。以下に、実施形態のバリエーションとして、それら手法を説明する。
以上説明した、本発明の第一の実施形態に係るコマーシャル検出装置１０１は、ソフトウェア機能によって、録画済み動画ファイル３０１に対して、ＣＭ検出を実行する装置であった。
特に図３において説明した、本発明のＣＭ検出機能は、少しの工夫を加えることで、ＴＶ番組コンテンツを録画している最中においてもＣＭ検出を実行することが可能である。具体的には、個々の処理のステップを可能な範囲で同時並行して実行することにより、ＣＭ検出結果が得られるまでの時間を短くすることが可能である。以下に、実施形態のバリエーションとして、それら手法を説明する。
図１２は、本発明の第二の実施形態に係るコマーシャル検出装置１２０１のソフトウェア機能を説明するブロック図である。
図１２の、図３と同一の機能ブロックは同一の符号を付して説明を省略する。
ＴＶチューナボード２０８は、アンテナ１０２から放送電波を受信して復調し、動画データストリームを出力する。
ＴＶチューナボード２０８が出力する動画データストリームは、一旦リングバッファ１２０２に格納される。
リングバッファ１２０２に格納された動画データストリームは、所定の容量に達したら、ファイルシステム１２０３によって読み込まれ、録画中動画ファイル１２０４に追記録される。
図１２の、図３と同一の機能ブロックは同一の符号を付して説明を省略する。
ＴＶチューナボード２０８は、アンテナ１０２から放送電波を受信して復調し、動画データストリームを出力する。
ＴＶチューナボード２０８が出力する動画データストリームは、一旦リングバッファ１２０２に格納される。
リングバッファ１２０２に格納された動画データストリームは、所定の容量に達したら、ファイルシステム１２０３によって読み込まれ、録画中動画ファイル１２０４に追記録される。
ＣＭ仮候補時間検出部１２０５は、無音検出時間リスト３０３とシーンチェンジ検出時間リスト３０５が合致するタイミングのみを抽出して、ＣＭ仮候補時間リスト１２０６を出力する。
ＣＭ仮候補時間リスト１２０６は、図３のＣＭ候補時間リスト３０７とは異なり、１５秒の自然数倍の区間のチェックが入っていない。
ＣＭ仮候補時間リスト１２０６は、図３のＣＭ候補時間リスト３０７とは異なり、１５秒の自然数倍の区間のチェックが入っていない。
チャンネルロゴ検出部３０８は、録画中常時稼働し続ける。そして、リングバッファ１２０２中の動画データストリームを読み込み、チャンネルロゴを検出する度、チャンネルロゴ検出時間リスト１２０７に出力する。
チャンネルロゴ範囲連続性検出部３１３は、ＣＭ仮候補時間リスト１２０６に基づいて、チャンネルロゴ範囲の連続性を検出する。
チャンネルロゴ範囲連続性検出部３１３は、ＣＭ仮候補時間リスト１２０６に基づいて、チャンネルロゴ範囲の連続性を検出する。
ＣＭ候補時間変換部１２０８は、ＣＭ仮候補時間リスト１２０６と、チャンネルロゴ検出時間リスト１２０７と、チャンネルロゴ範囲連続性検出部３１３の検出結果に基づいて、ＣＭ時間リスト３１４を出力する。
図１２に示す本発明の第二の実施形態に係るコマーシャル検出装置１２０１では、チャンネルロゴ検出部３０８を常時稼働させ、かつ、チャンネルロゴ範囲連続性検出部３１３をＣＭ仮候補時間リスト１２０６に適用するという点がポイントである。
［第三の実施形態：ソフトウェア機能］
図１３は、本発明の第三の実施形態に係るコマーシャル検出装置１３０１のソフトウェア機能を説明するブロック図である。
図１３の、図３及び図１２と同一の機能ブロックは同一の符号を付して説明を省略する。
図１３は、本発明の第三の実施形態に係るコマーシャル検出装置１３０１のソフトウェア機能を説明するブロック図である。
図１３の、図３及び図１２と同一の機能ブロックは同一の符号を付して説明を省略する。
チャンネルロゴ範囲画像データ抽出部１３０２は、チャンネル情報３０９及びチャンネルロゴアドレス範囲リスト３１１を読み込み、リングバッファ１２０２中の動画データストリームから、チャンネルロゴアドレス範囲の画像データを抜き出して、ハードディスク装置等の不揮発性ストレージ２０５上に一時ファイル１３０３として記録する。
チャンネルロゴ検出部３０８は、一時ファイル１３０３から部分画像データストリームを読み出し、チャンネルロゴが検出できたらチャンネルロゴを検出した旨の情報をＣＭ候補時間修正部１３０４に送る。
チャンネルロゴ検出部３０８は、一時ファイル１３０３から部分画像データストリームを読み出し、チャンネルロゴが検出できたらチャンネルロゴを検出した旨の情報をＣＭ候補時間修正部１３０４に送る。
図１３に示す本発明の第三の実施形態に係るコマーシャル検出装置１３０１では、不揮発性ストレージ２０５上に一時ファイル１３０３を作成し、この一時ファイル１３０３にチャンネルロゴアドレス範囲の画像データを一時的に記憶する。したがって、チャンネルロゴ範囲連続性検出部３１３は、第一の実施形態に係るコマーシャル検出装置１０１と同様に、過去のチャンネルロゴアドレス範囲における連続性の検出処理が可能になる。
本発明の実施形態においては、コマーシャル検出装置１０１を開示した。
コマーシャル検出装置１０１は、第一の段階において、録画済み動画ファイル３０１に含まれる無音区間とシーンチェンジが一致する箇所（相対時間）を検出して、ＣＭ候補時間リスト３０７を作成する。
次に第二の段階において、チャンネルロゴ検出部３０８がＣＭ候補区間に含まれるフレームの中からチャンネルロゴを検出して、当該ＣＭ候補区間が属するＣＭ候補時間リスト３０７のレコードに削除フラグを付与する。
コマーシャル検出装置１０１は、第一の段階において、録画済み動画ファイル３０１に含まれる無音区間とシーンチェンジが一致する箇所（相対時間）を検出して、ＣＭ候補時間リスト３０７を作成する。
次に第二の段階において、チャンネルロゴ検出部３０８がＣＭ候補区間に含まれるフレームの中からチャンネルロゴを検出して、当該ＣＭ候補区間が属するＣＭ候補時間リスト３０７のレコードに削除フラグを付与する。
最後に第三の段階において、チャンネルロゴ範囲連続性検出部３１３は、ＣＭ候補区間の開始位置及び／または終了位置の前後２フレームにおけるチャンネルロゴ範囲座標情報の画像データを切り出す。そして、それら画像データの部分領域の割合を、領域割合閾値５０９と比較する。領域割合閾値５０９と比較して、ＣＭ候補区間の開始位置及び／または終了位置の前後２フレームにおけるチャンネルロゴ範囲座標情報の画像データに連続性が認められる場合は、当該ＣＭ候補区間を番組コンテンツであると判断して、当該ＣＭ候補区間が属するＣＭ候補時間リスト３０７のレコードに削除フラグを付与する。
以上説明したように、特に第三の段階におけるチャンネルロゴ範囲連続性検出部３１３の機能により、チャンネルロゴが検出できないＣＭ候補区間に対しても、高い精度で番組コンテンツであるかＣＭかを推定することが可能になる。
また、チャンネルロゴ範囲連続性検出部３１３の演算量は極めて少ないため、高速な処理が可能である。
また、チャンネルロゴ範囲連続性検出部３１３の演算量は極めて少ないため、高速な処理が可能である。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
１０１…コマーシャル検出装置、１０２…アンテナ、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…不揮発性ストレージ、２０６…表示部、２０７…操作部、２０８…ＴＶチューナボード、３０１…録画済み動画ファイル、３０２…無音検出部、３０３…無音検出時間リスト、３０４…シーンチェンジ検出部、３０５…シーンチェンジ検出時間リスト、３０６…ＣＭ候補時間検出部、３０７…ＣＭ候補時間リスト、３０８…チャンネルロゴ検出部、３０９…チャンネル情報、３１０…チャンネルロゴサンプルリスト、３１１…チャンネルロゴアドレス範囲リスト、３１２…ＣＭ候補時間修正部、３１３…チャンネルロゴ範囲連続性検出部、３１４…ＣＭ時間リスト、３１５…入出力制御部、５０１…チャンネルロゴ範囲切り出し処理部、５０２…ＣＭ候補開始直前フレームロゴ範囲画像データ、５０３…ＣＭ候補開始直後フレームロゴ範囲画像データ、５０４…ＣＭ候補終了直前フレームロゴ範囲画像データ、５０５…ＣＭ候補終了直後フレームロゴ範囲画像データ、５０６…第一差分演算処理部、５０７…第二差分演算処理部、５０８…第一コンパレータ、５０９…領域割合閾値、５１０…第二コンパレータ、５１１…ＯＲゲート、６０１…第一アドレス制御部、６０２…輝度差演算部、６０３…第三コンパレータ、６０４…輝度変化閾値、６０５…輝度演算部、６０６…勾配演算部、６０７…第四コンパレータ、６０８…輝度閾値、６０９…第五コンパレータ、６１０…勾配閾値、６１１…ＯＲゲート、６１２…ＡＮＤゲート、６１３…フレームロゴ範囲フラグデータ、６１４…移動平均演算部、６１５…部分領域原データ、６１６…第二アドレス制御部、６１７…第六コンパレータ、６１８…領域閾値、６１９…部分領域フラグデータ、６２０…領域割合演算部、７０２…チャンネルロゴ、９０１…ワイプ、９０２…顔、１２０１…コマーシャル検出装置、１２０２…リングバッファ、１２０３…ファイルシステム、１２０４…録画中動画ファイル、１２０５…ＣＭ仮候補時間検出部、１２０６…ＣＭ仮候補時間リスト、１２０７…チャンネルロゴ検出時間リスト、１２０８…ＣＭ候補時間変換部、１３０１…コマーシャル検出装置、１３０２…チャンネルロゴ範囲画像データ抽出部、１３０３…一時ファイル、１３０４…ＣＭ候補時間修正部
Claims (6)
- 動画データに含まれる無音区間とシーンチェンジが一致する箇所を検出して、ＣＭである可能性がある、前記動画データ上の時間軸上の区間であるＣＭ候補区間の情報が記憶されているＣＭ候補時間リストを作成するＣＭ候補時間検出部と、
前記動画データにおける前記ＣＭ候補区間に含まれるフレームの中からチャンネルロゴを検出するチャンネルロゴ検出部と、
前記ＣＭ候補区間の開始位置及び／または終了位置の前後２フレームにおける、前記動画データにおいて放送局のチャンネルロゴが表示される画面上の座標情報であるチャンネルロゴ範囲座標情報によって特定される部分画像データが連続しているか否かを検出するチャンネルロゴ範囲連続性検出部と、
前記チャンネルロゴ検出部及び前記チャンネルロゴ範囲連続性検出部の検出結果に基づいて、前記ＣＭ候補時間リストから番組コンテンツであると判断されるレコードに削除フラグを付与するＣＭ候補時間修正部と
を具備するコマーシャル検出装置。 - 前記ＣＭ候補時間リストは、前記ＣＭ候補区間の開始時間が格納されるＣＭ候補開始時間フィールドと、前記ＣＭ候補区間の終了時間が格納されるＣＭ候補終了時間フィールドと、前記ＣＭ候補区間に付与する削除フラグが格納される削除フラグフィールドとを有する、請求項１に記載のコマーシャル検出装置。
- 前記ＣＭ候補時間修正部は、前記チャンネルロゴ検出部が前記動画データにおける前記ＣＭ候補区間に含まれるフレームの中からチャンネルロゴを検出したことに呼応して、前記ＣＭ候補区間が属する前記ＣＭ候補時間リストのレコードに削除フラグを付与する、
請求項２に記載のコマーシャル検出装置。 - 前記ＣＭ候補時間修正部は、前記チャンネルロゴ範囲連続性検出部が、前記ＣＭ候補区間の開始位置の前後２フレームにおける前記部分画像データ、または終了位置の前後２フレームにおける前記部分画像データの何れかが連続していることを検出した場合に、前記ＣＭ候補区間が属する前記ＣＭ候補時間リストのレコードに削除フラグを付与する、
請求項２または３に記載のコマーシャル検出装置。 - 前記チャンネルロゴ範囲連続性検出部は、チャンネルロゴ範囲切り出し処理部を備え、
前記チャンネルロゴ範囲切り出し処理部は、
前記動画データから、前記ＣＭ候補時間リストの前記削除フラグが付されていないレコードによって指定される前記ＣＭ候補区間の開始位置の前後２フレームを読み出し、
前記チャンネルロゴ範囲座標情報に従って前記部分画像データを切り出すことにより、ＣＭ候補開始直前フレームロゴ範囲画像データと、ＣＭ候補開始直後フレームロゴ範囲画像データを出力すると共に、
前記動画データから、前記ＣＭ候補時間リストの前記削除フラグが付されていないレコードによって指定される前記ＣＭ候補区間の終了位置の前後２フレームを読み出し、
前記チャンネルロゴ範囲座標情報に従って前記部分画像データを切り出すことにより、ＣＭ候補終了直前フレームロゴ範囲画像データと、ＣＭ候補終了直後フレームロゴ範囲画像データを出力する、
請求項４に記載のコマーシャル検出装置。 - 前記チャンネルロゴ範囲連続性検出部は、
前記ＣＭ候補開始直前フレームロゴ範囲画像データと、前記ＣＭ候補開始直後フレームロゴ範囲画像データにおいて、輝度変化が小さく、かつ、輝度が高いか勾配が大きいピクセルが多数を占有する領域を部分領域として特定し、チャンネルロゴ範囲における前記部分領域の面積の割合を領域割合として算出し、前記領域割合が所定の領域割合閾値以上であるか、または、
前記ＣＭ候補終了直前フレームロゴ範囲画像データと、前記ＣＭ候補終了直後フレームロゴ範囲画像データにおいて、輝度変化が小さく、かつ、輝度が高いか勾配が大きいピクセルが多数を占有する領域を部分領域として特定し、チャンネルロゴ範囲における前記部分領域の面積の割合を領域割合として算出し、前記領域割合が所定の領域割合閾値以上であるか、何れかの場合において、指定された前記ＣＭ候補区間を除外する、
請求項５に記載のコマーシャル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019035742A JP7268848B2 (ja) | 2019-02-28 | 2019-02-28 | コマーシャル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019035742A JP7268848B2 (ja) | 2019-02-28 | 2019-02-28 | コマーシャル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020141273A JP2020141273A (ja) | 2020-09-03 |
| JP7268848B2 true JP7268848B2 (ja) | 2023-05-08 |
Family
ID=72265268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019035742A Active JP7268848B2 (ja) | 2019-02-28 | 2019-02-28 | コマーシャル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7268848B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2771212C1 (ru) * | 2021-06-02 | 2022-04-28 | Общество с Ограниченной Ответственностью "СТРИМ Лабс" | Способ обнаружения логотипа телеканала в телевизионной трансляции |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006109126A (ja) | 2004-10-06 | 2006-04-20 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2007267121A (ja) | 2006-03-29 | 2007-10-11 | Victor Co Of Japan Ltd | Ｃｍ検出装置 |
| JP2010130563A (ja) | 2008-11-28 | 2010-06-10 | Toshiba Corp | 映像解析装置およびプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4697371B2 (ja) * | 2001-08-03 | 2011-06-08 | 日本電気株式会社 | コマーシャル検出方法及び装置 |
-
2019
- 2019-02-28 JP JP2019035742A patent/JP7268848B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006109126A (ja) | 2004-10-06 | 2006-04-20 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2007267121A (ja) | 2006-03-29 | 2007-10-11 | Victor Co Of Japan Ltd | Ｃｍ検出装置 |
| JP2010130563A (ja) | 2008-11-28 | 2010-06-10 | Toshiba Corp | 映像解析装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020141273A (ja) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2109313B1 (en) | Television receiver and method | |
| CN108024145B (zh) | 视频推荐方法、装置、计算机设备和存储介质 | |
| US6157744A (en) | Method and apparatus for detecting a point of change in a moving image | |
| US9165389B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4774816B2 (ja) | 画像処理装置，画像処理方法，およびコンピュータプログラム。 | |
| JP4377887B2 (ja) | 映像分割装置 | |
| JP4613867B2 (ja) | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2007060392A (ja) | 画像記憶装置及び方法 | |
| JP2010035125A (ja) | ターゲット画像検出装置及びその方法並びに記録媒体 | |
| JP2004364234A (ja) | 放送番組内容メニュー作成装置及び方法 | |
| JP3258924B2 (ja) | シーン管理装置、シーン管理方法及び記録媒体 | |
| JP7268848B2 (ja) | コマーシャル検出装置 | |
| JP3332166B2 (ja) | 動画像の検索装置 | |
| JP2008046608A (ja) | ビデオウィンドウ検出器 | |
| US20070061727A1 (en) | Adaptive key frame extraction from video data | |
| US20070248243A1 (en) | Device and method of detecting gradual shot transition in moving picture | |
| CN112000908A (zh) | 图片加载方法、装置、系统、电子设备及可读存储介质 | |
| US20080063063A1 (en) | Electronic device and method for block-based image processing | |
| US9432650B2 (en) | Image display apparatus, image capturing apparatus, and method of controlling image display apparatus | |
| JP4613941B2 (ja) | 文字表示領域検出装置及びその方法、並びに携帯端末 | |
| JP5424737B2 (ja) | 画像再生装置 | |
| JP3624677B2 (ja) | 動画像の特殊効果検出装置及びプログラムを記録した記録媒体 | |
| US20170278286A1 (en) | Method and electronic device for creating title background in video frame | |
| CN114079815B (zh) | 字幕保护方法、系统、终端设备及存储介质 | |
| US20070256091A1 (en) | Monochrome frame detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190307 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230414 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7268848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |