JP6710476B2 - コマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラム - Google Patents

Description

本発明は、コマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラムに関する。

従来、テレビジョン放送等によって提供されたコンテンツには番組とコマーシャルとが含まれている。このようなコンテンツには、該コンテンツのいずれの部分が番組であるかコマーシャルであるかを示す情報が含まれていない場合がある。このような場合に、コンテンツからコマーシャルの部分を判定する方法が知られている。例えば、特許文献１には、コンテンツにおいて番組とコマーシャルとの間に再生される音の音量が所定値より低い（例えば、ゼロ）ことを利用してコマーシャル部分を判定するコマーシャル部分認識装置が記載されている。具体的には、コマーシャル部分認識装置は、音量が所定時間（例えば、０．１秒）以上、所定値を下回る時間帯をブランクとし、互いに隣接する２つのブランクの間をコマーシャル部分と判定している。

特開２０００−３２２０７６号公報

近年、例えば、テレビ放送等によりコマーシャルが放送された実績、あるいはコマーシャルの視聴傾向等を分析するために、コンテンツに含まれるコマーシャルの部分を正確に判定することが求められている。しかし、特許文献１のコマーシャル部分認識装置は、ブランクに幅があるため該幅のいずれの時点がコマーシャル境界であるかを正確に判定することが困難である。これに伴い、コマーシャル部分認識装置は、コマーシャルを正確に検出することが困難となっている。

かかる事情に鑑みてなされた本発明の目的は、コンテンツにおけるコマーシャル境界を正確に判定することができるコマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラムを提供することにある。

上記の課題を解決するため、本発明に係るコマーシャル境界判定装置は、複数のコマーシャルを含むコンテンツを入力する入力部と、前記コンテンツの音量の時系列データを算出する音量算出部と、前記音量が所定時間以上、音量閾値未満となる低音量区間を含む候補区間を決定する候補区間決定部と、前記コンテンツにおける複数の前記候補区間それぞれから、前フレームからの変化量が画素変化閾値以上であるフレームが再生されるカット点を抽出するカット点抽出部と、複数の前記候補区間それぞれから１個ずつ選択された前記カット点の組み合わせで構成される複数のカット点系列における、各カット点と、該各カット点が含まれる候補区間の前の候補区間のカット点との間の時間である隣接カット点時間に基づいてコマーシャル境界を判定する判定部と、を備えることを特徴とする。

また、本発明に係るコマーシャル境界判定方法は、複数のコマーシャルを含むコンテンツを入力するステップと、前記コンテンツの音量の時系列データを算出するステップと、前記音量が所定時間以上、音量閾値未満となる低音量区間を含む候補区間を決定するステップと、前記コンテンツにおける複数の前記候補区間それぞれから、前フレームからの変化量が画素変化閾値以上であるフレームが再生されるカット点を抽出するステップと、複数の前記候補区間それぞれから１個ずつ選択された前記カット点の組み合わせで構成される複数のカット点系列における、各カット点と、該各カット点が含まれる候補区間の前の候補区間のカット点との間の時間である隣接カット点時間に基づいてコマーシャル境界を判定するステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、上記のコマーシャル境界判定装置としてコンピュータを機能させる。

本発明によれば、コンテンツにおけるコマーシャル境界を正確に判定することができる。

本発明の第１の実施形態に係るコマーシャル境界判定装置の構成例を示すブロック図である。 コンテンツにおける音量の時系列データを示す図である。 候補区間及びカット点について説明するための図である。 判定部による境界系列の判定の一例を説明するための図である。 判定部によるコマーシャル境界の判定の一例を説明するための図である。 カット点が抽出されなかった候補区間について説明するための図である。 カット点が抽出されなかった候補区間におけるコマーシャル境界の判定の例を説明するための図である。 本発明の第１の実施形態に係るコマーシャル境界判定方法の一例を示すフローチャートである。 本発明の第２の実施形態に係るコマーシャル境界判定装置の構成例を示すブロック図である。 本発明の第２の実施形態に係るコマーシャル境界判定方法の一例を示すフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照して説明する。

図１は、第１の実施形態に係るコマーシャル境界判定装置１の構成例を示す図である。図１に示すように、コマーシャル境界判定装置１は、入力部１１と、音量算出部１２と、コマーシャル検出部１３と、候補区間決定部１４と、カット点抽出部１５と、判定部１６と、出力部１７とを備える。

入力部１１は、コンテンツを入力する。コンテンツは、テレビ局からテレビジョン放送によって提供される。コンテンツは、複数のコマーシャル及び番組が含まれる。各コマーシャル及び各番組は、映像及び音響によって構成される。

音量算出部１２は、図２に示すように、入力部１１によって入力されたコンテンツの時系列での音量を算出する。

コマーシャル検出部１３は、音量算出部１２によって算出された音量の時系列データから所定時間（例えば０．１秒）以上、音量が音量閾値未満となる時間帯（以下、「低音量区間」という）を判定する。そして、コマーシャル検出部１３は、低音量区間の間隔がコマーシャル規定長となる部分をコマーシャルとして検出する。コマーシャル規定長は、１つのコマーシャルが再生される時間であり、例えば、１５秒、３０秒、４５秒等である。

候補区間決定部１４は、コマーシャル検出部１３によって検出されたコマーシャルの両端の低音量区間を含む時間帯を候補区間と決定する。例えば、候補区間決定部１４は、低音量区間の開始時点から所定時間（例えば、０．５秒）前の時点以降で、低音量区間の終了時点から所定時間（例えば、０．５秒）後の時点までの時間帯を候補区間と決定する。なお、上述のように、コマーシャル検出部６２は、低音量区間の間隔がコマーシャル規定長となる部分をコマーシャルとして検出する。そのため、候補区間に含まれる低音量区間は、低音量区間のうち、該低音量区間の任意の時点が所定の時間間隔で離れて存在する低音量区間のみとなる。

カット点抽出部１５は、候補区間決定部１４によって決定された複数の候補区間Ｔ_ｋ（ｋ＝１〜ｎ（ｎは２以上の整数）それぞれからＣ_ｋ（０以上の整数）個のカット点を抽出する。カット点は、候補区間の映像を構成する複数のフレームのうち、変化量が画素変化閾値以上であるフレームの再生時点である。変化量は、各フレームの画素値と、該各フレームの前フレームの画素値との差分又は比に基づく値である。例えば、変化量は、各フレームを構成する各画素の画素値と、各フレームの各画素にそれぞれ対応する、前フレームの画素の画素値との差分に基づく値であってもよい。差分に基づく値とは、例えば、各画素についての差分の絶対値の和、平均値、若しくは中央値、又は差分の二乗平均値である。また、変化量は、一のフレームと、該一のフレームの前フレームとの画素の平均値の比であってもよい。再生時点は、コンテンツが始めから再生される場合の開始を基準時点としたときの、該基準時点からの経過時間である。カット点抽出部１５は、変化量が画素変化閾値以上であるフレームの再生時点をカット点として抽出する。例えば、カット点抽出部１５は、変化量の比及び差それぞれが画素変化閾値以上であるフレームの再生時点をカット点としてもよい。なお、実験においては、各候補区間Ｔ_ｋから６〜８個のカット点が検出されることが多い。

図３に示した例では、カット点抽出部１５は、候補区間Ｔ_１からＣ_１個（図３では２個）のカット点を抽出し、候補区間Ｔ_２からＣ_２個（図３では３個）のカット点を抽出し、候補区間Ｔ_３からＣ_３個（図３では１個）のカット点を抽出する。同様にして、カット点抽出部１５は、候補区間Ｔ_ｋ（ｋは自然数）からＣ_ｋ個のカット点を抽出する。

判定部１６は、カット点に基づいてコマーシャル境界を判定する。コマーシャル境界は、コンテンツにおける２つの連続したコマーシャルの区切りとなる時点、及び番組とコマーシャルとの区切りとなる時点である。

具体的には、判定部１６は、１個以上のカット点をそれぞれ含む複数の候補区間それぞれから１個のカット点を選択する。判定部１６は、カット点系列Ｓ_ｊそれぞれに含まれるカット点に基づいてコマーシャル境界を判定する。カット点系列Ｓ_ｊは、複数の候補区間それぞれから選択されたカット点の組み合わせであり、カット点系列Ｓ_ｊの全数Ｃ_ａｌｌは式（１）に示すとおりである。なお、候補区間Ｔ_ｋにおいてカット点が検出されなかった場合、Ｃ_ｋ＝１とする。
Ｃ_ａｌｌ＝Ｃ_１×Ｃ_２×・・・×Ｃ_ｋ×・・・×Ｃ_ｎ （１）

具体的には、判定部１６は、カット点系列Ｓ_ｊそれぞれに含まれるカット点の隣接カット点時間とコマーシャル規定長とに基づいてコマーシャル境界を判定する。隣接カット点時間は、各候補区間のカット点と前の候補区間のカット点との間の時間である。

さらに具体的には、判定部１６は、各隣接カット点時間とコマーシャル規定長との差を算出する。判定部１６は、ノイズの影響を加味して、該差が時間差閾値未満である数（以下、「一致数」という）をカット点系列Ｓ_ｊごとに算出する。時間差閾値は、例えば、コンテンツの映像の所定フレーム数が再生される時間である。所定フレーム数は、例えば、２フレームである。コンテンツの映像のフレームレートが３０ｆｐｓである場合、２フレームが再生される時間、すなわち時間差閾値は（２／３０）秒である。

一例として、図４に示すように、候補区間決定部１４が３つの候補区間Ｔ_１〜Ｔ_３を決定し、カット点抽出部１５が、候補区間Ｔ_１から２個のカット点Ｐ_１１及びＰ_１２、候補区間Ｔ_２から３個のカット点Ｐ_２１、Ｐ_２２、及びＰ_２３、並びに候補区間Ｔ_３から１個のカット点Ｐ_３１を抽出した場合について説明する。

図４に示す例では、カット点系列Ｓ_ｊの全数Ｃ_ａｌｌはＣ_１×Ｃ_２×Ｃ_３＝２×３×１＝６個である。カット点系列Ｓ_１は、カット点Ｐ_１１、カット点Ｐ_２１、及びカット点Ｐ_３１の組合せで構成される系列である。カット点系列Ｓ_２は、カット点Ｐ_１１、カット点Ｐ_２２、及びカット点Ｐ_３１の組合せで構成される系列である。カット点系列Ｓ４は、カット点Ｐ_１１、カット点Ｐ_２３、及びカット点Ｐ_３１の組合せで構成される系列である。カット点系列Ｓ_４は、カット点Ｐ_１２、カット点Ｐ_２１、及びカット点Ｐ_３１の組合せで構成される系列である。カット点系列Ｓ_５は、カット点Ｐ_１２、及びカット点Ｐ_２２、及びカット点Ｐ_３１の組合せで構成される系列である。カット点系列Ｓ_６は、カット点Ｐ_１２、カット点Ｐ_２３、及びカット点Ｐ_３１の組合せで構成される系列である。

判定部１６は、カット点系列Ｓ_ｊ（ｊ＝１〜６）それぞれにおける各隣接カット点時間とコマーシャル規定長との差を算出する。コマーシャル規定長を１５秒、所定範囲が（２／３０）秒であるとすると、判定部１６は、カット点系列Ｓ_１〜Ｓ_６の一致数をそれぞれ０，２，０，０，１，０と算出する。

判定部１６は、一致数が最大となるカット点系列Ｓ_ｊが複数あるか否かを判定する。そして、判定部１６は、一致数が最大のカット点系列Ｓ_ｊが１つである場合、該カット点系列Ｓ_ｊを境界系列と判定する。図４に示す例では、判定部１６は、カット点系列Ｓ_１〜Ｓ_６のうち、一致数が最大のカット点系列はカット点系列Ｓ_２の１つであるため、カット点系列Ｓ_２が境界系列であると判定する。

判定部１６は、一致数が最大となるカット点系列Ｓ_ｊが複数あると判定した場合、一致数が最大の複数のカット点系列Ｓ_ｊのうち、各隣接カット点時間とコマーシャル規定長との差の合計が最小であるカット点系列Ｓ_ｊを境界系列と判定する。

そして、判定部１６は、境界系列に基づいてコマーシャル境界を判定する。具体的には、判定部１６は、境界系列において、隣接カット点時間がコマーシャル規定長に一致するカット点がコマーシャル境界であると判定する。

また、判定部１６は、境界系列において、隣接カット点時間がコマーシャル規定長に一致するカット点が含まれない候補区間のコマーシャル境界を、隣接する候補区間において決定されたコマーシャル境界とコマーシャル規定長とに基づいて判定する。

一例では、境界系列において、隣接カット点時間とコマーシャル規定長との差が時間差閾値以上であるカット点がある場合、判定部１６は、上述のように判定されたコマーシャル境界からの時間がコマーシャル規定長となる時点をコマーシャル境界と判定する。図５に示す例では、図４に示す例とは異なり、境界系列はカット点Ｐ_１１、Ｐ_２２、Ｐ_３２、Ｐ_４１、Ｐ_５３で構成されるカット点系列であると判定されているとする。また、この境界系列において、判定部１６により、カット点Ｐ_２２についての隣接カット点時間がコマーシャル規定長である１５秒に一致していると判定されているとする。また、判定部１６により、カット点Ｐ_３２についての隣接カット点時間が１６．５秒であるため、隣接カット点時間とコマーシャル規定長との差が時間差閾値以上であると判定されているとする。この場合、判定部１６は、カット点Ｐ_２２を候補区間Ｔ_２におけるコマーシャル境界と判定する。そして、判定部１６は、カット点Ｐ_３２ではなく、カット点Ｐ_２２にコマーシャル規定長に許容時間を加算又は減算した時間を加算した時点が候補区間Ｔ_３におけるコマーシャル境界であると判定する。許容時間は、候補区間ごとに異なる時間である。各候補区間の許容時間は、コマーシャル規定長に許容時間を加算又は減算した時間の合計がコマーシャル全体の再生時間となるように調整される。

他の例では、カット点抽出部１５によって候補区間Ｔ_ｋにおいてカット点が抽出されなかった場合、判定部１６は、上述のように判定されたコマーシャル境界からの時間がコマーシャル規定長となる時点をコマーシャル境界と判定する。図６Ａに示す例では、カット点抽出部１５によって、候補区間Ｔ_３においてカット点が抽出されていない。また、判定部１６によって、境界系列はカット点Ｐ_１１、Ｐ_２２、Ｐ_４１、Ｐ_５３で構成されるカット点系列であると判定されている。この場合、判定部１６は、図６Ｂに示すように、候補区間Ｔ_３の前の候補区間Ｔ_２において抽出されたコマーシャル境界からコマーシャル規定長に許容時間を加算又は減算した時間を加算した時点を候補区間Ｔ_３におけるコマーシャル境界と判定する。

さらに、判定部１５は、互いに隣接するコマーシャル境界の間にあるコンテンツの一部をコマーシャルと判定してもよい。

出力部１７は、判定部１６によって判定されたコマーシャル境界を示す情報を他の装置に通信ネットワークを介して出力する。出力部１７は、判定部１６によって判定された、互いに隣接するコマーシャル境界の間にあるコンテンツの一部を他の装置に通信ネットワークを介して出力してもよい。

次に、第１の実施形態のコマーシャル境界判定装置１によるコマーシャル境界判定方法について、図７を参照して説明する。図７は、コマーシャル境界判定方法の一例を示すフローチャートである。

まず、入力部１１により、テレビジョン放送等によって提供されたコンテンツを入力する（ステップＳ１１）。

次に、音量算出部１２により、入力部１１によって入力されたコンテンツの時系列での音量を算出する（ステップＳ１２）。

次に、コマーシャル検出部１３により、ステップＳ１２で算出された音量が音量閾値未満となる低音量区間を抽出する。そして、互いに隣接する低音量区間の間隔がコマーシャル規定長となる部分をコマーシャルとして検出する（ステップＳ１３）。

次に、候補区間決定部１４により、低音量区間の開始時点から所定時間（例えば、０．５秒）前の時点以降で、低音量区間の終了時点から所定時間（例えば、０．５秒）後の時点までの時間を候補区間と決定する（ステップＳ１４）。

次に、カット点抽出部１５により、ステップＳ１４で決定された候補区間の映像からカット点を抽出する（ステップＳ１５）。

次に、判定部１６により、ステップＳ１５で抽出された各候補区間内のカット点の組合せによって構成される全てのカット点系列Ｓ_ｊについての一致数を算出する（ステップＳ１６）。

次に、判定部１６により、一致数が最大のカット点系列Ｓ_ｊが複数あるか否かを判定する（ステップＳ１７）。

ステップＳ１７で、一致数が最大のカット点系列Ｓ_ｊが１つあると判定された場合、判定部１６により、該カット点系列Ｓ_ｊを境界系列と判定する（ステップＳ１８）。

ステップＳ１７で、一致数が最大のカット点系列Ｓ_ｊが複数あると判定された場合、判定部１６により、複数の、一致数が最大のカット点系列Ｓ_ｊのうち、隣接カット点時間のコマーシャル規定長との差が最小であるカット点系列Ｓ_ｊを境界系列と判定する（ステップＳ１９）。

ステップＳ１８又はステップＳ１９で境界系列が決定されると、判定部１６により、該境界系列に基づいてコマーシャル境界を判定する（ステップＳ２０）。判定部１６により、互いに隣接するコマーシャル境界の間にあるコンテンツの一部をコマーシャルと判定してもよい。

次に、出力部１７により、コマーシャル境界を示す情報を他の装置に通信ネットワークを介して出力する（ステップＳ２１）。出力部１７により、互いに隣接するコマーシャル境界の間にあるコンテンツを他の装置に通信ネットワークを介して出力してもよい。

なお、上述したコマーシャル境界判定装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コマーシャル境界判定装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

以上説明したように、第１の実施形態によれば、コマーシャル境界判定装置１は、コンテンツにおいて音量が所定時間以上、音量閾値未満となる低音量区間を含む、複数の候補区間を決定し、候補区間からカット点を抽出する。そして、コマーシャル境界判定装置１は、カット点に基づいてコマーシャル境界を判定する。コマーシャルとコマーシャルとの間、及びコマーシャルと番組の間では、映像が切り替わることが多い。すなわち、コマーシャル境界はカット点であることが多い。したがって、コマーシャル境界判定装置１は、音量にのみ基づいてコマーシャル境界を判定する場合に比べて、低音量区間を含む候補区間におけるカット点に基づいてコマーシャル境界を判定することによって、正確にコマーシャルを検出することができる。

なお、発明者らによる検証実験において、コマーシャル境界判定装置１が、１７時間の再生時間を有し、７４２個のコマーシャルを含むコンテンツのコマーシャル境界を判定した。その結果、コマーシャル境界判定装置１が判定したコマーシャル境界の、実際のコマーシャル境界との差の合計は計３．７秒であった。これに対して、従来のように低音量区間のみに基づいてコマーシャル境界が判定された場合、判定されたコマーシャル境界の、実際のコマーシャル境界との差の合計は計１７．７秒であった。また、この検証実験において、従来の判定における適合率は９３．５％であったのに対して、コマーシャル境界判定装置１による判定の適合率は９３．９％であった。また、従来の判定における再現率は９７．３％であったのに対して、コマーシャル境界判定装置１による判定の再現率は９９．０％であった。すなわち、本実施形態のコマーシャル境界判定装置１は従来に比べて正確にコマーシャル境界を判定することが検証された。

また、第１の実施形態によれば、コマーシャル境界判定装置１は、複数のカット点系列それぞれにおける複数の候補区間についての、隣接カット点時間とコマーシャル規定長とに基づいてコマーシャル境界を判定する。すなわち、複数のカット点系列から、隣接カット点時間とコマーシャル規定長とに基づいて、各カット点がコマーシャル境界であることが確からしいカット点系列を判定することができる。したがって、コマーシャル境界判定装置１は、１つの候補区間（例えば、最初の時点の候補区間）のカット点を基準にコマーシャル規定長に基づいてコマーシャル境界を判定する場合に比べて、確からしさがより高いカット点系列に基づいてコマーシャルを検出することができる。

また、第１の実施形態によれば、コマーシャル境界判定装置１は、一致数をカット点系列ごとに算出し、一致数が最大のカット点系列が１つである場合、該カット点系列に基づいてコマーシャル境界を決定する。したがって、コマーシャル境界判定装置１は、確からしさがより高いカット点系列に基づいてコマーシャルを検出することができる。さらに、隣接カット点時間のコマーシャル規定長との差が時間差閾値未満であるカット点の数が一致数に含まれるため、隣接カット点時間に誤差があった場合にも、該カット点がコマーシャル境界であると認識することができる。したがって、コマーシャル境界判定装置１は、正確にコマーシャルを検出することができる。

また、第１の実施形態によれば、候補区間は、低音量区間の開始時点から所定時間前の時点以降で、低音量区間の終了時点から所定時間後の時点までの時間を含む。コマーシャルには、コマーシャル境界が低音区間に含まれない場合がある。例えば、一のコマーシャルの音量が終了時点までフェードアウトし、次の番組の音量が開始時点からフェードインする場合である。このような場合、番組とコマーシャルとの間の低音量区間が短くなったり、ずれたりすることがある。仮に、候補区間決定部１４が低音量区間のみを候補区間と決定する場合、コマーシャル境界が候補区間に含まれないことがある。これにより、判定部１６は、該番組とコマーシャルとの間のコマーシャル境界を判定することができないことがある。これに対し、本実施形態のコマーシャル境界判定装置１は、低音量区間のみではなく、低音量区間の開始時点から所定時間前の時点以降で、低音量区間の終了時点から所定時間後の時点までの時間を候補区間と決定するため、コマーシャル境界が低音区間に含まれない場合も正確にコマーシャル境界を判定することができることがある。したがって、コマーシャル境界判定装置１は、より正確にコマーシャルを検出することができる。

また、第１の実施形態によれば、判定部１６は、境界系列においてカット点が含まれない候補区間のコマーシャル境界を、隣接カット点時間のコマーシャル規定長との差が時間差閾値未満であるカット点とコマーシャル規定長とに基づいて該候補区間のコマーシャル境界と判定する。コマーシャル境界を含む候補区間であっても、例えば、コマーシャル境界近傍の映像がブラックアウトしている場合、該候補区間においてカット点は抽出されないことがある。このように映像の変更量が少ない場合においても、コマーシャル境界判定装置１は、コマーシャルを正確に検出することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について、図面を参照して説明する。

図８は、第２の実施形態に係るコマーシャル境界判定装置２の構成例を示す図である。図８に示すように、コマーシャル境界判定装置２は、入力部１１と、音量算出部１２と、コマーシャル検出部１３と、候補区間決定部１４と、カット点抽出部１５と、判定部１６と、出力部１７とを備える。また、コマーシャル境界判定装置２は、さらにコンテンツ分割部１８を備え、この点で第１の実施形態のコマーシャル境界判定装置１と異なる。なお、第１の実施形態と同様の構成ブロックについては同一の参照符号を付して、適宜、説明を省略する。

第１の実施形態で説明したように、判定部１６は、カット点系列Ｓ_ｎごとに該カット点系列Ｓ_ｎに含まれる各カット点における隣接カット点時間のコマーシャル規定長との差を算出することによって、コマーシャル境界を判定する。そのため、カット点系列Ｓ_ｎの全数Ｃ_ａｌｌが大きいほど、判定部１６による判定に時間がかかる。したがって、コンテンツ分割部１８は、判定部１６による判定に要する時間が許容時間以下となるように、コンテンツを分割する。

例えば、コンテンツ分割部１８は、分割された各コンテンツに含まれるカット点系列Ｓ_ｊの全数Ｃ_ａｌｌを算出する。そして、コンテンツ分割部１８は、全数Ｃ_ａｌｌが系列数閾値以下であるか否かを判定する。全数Ｃ_ａｌｌが系列数閾値以下であると判定された場合、コンテンツ分割部１８は、コンテンツを分割しない。全数Ｃ_ａｌｌが系列数閾値より大きいと判定された場合、コンテンツ分割部１８は、分割されたコンテンツのカット点系列Ｓ_ｎの全数Ｃ_ａｌｌが系列数閾値以下となるようにコンテンツをＮ分割（Ｎは２以上の整数）する。このとき、コンテンツ分割部１８は、カット点の位置でコンテンツを分割する。これにより、コンテンツは、カット点とカット点との間のコマーシャルの途中と推定される時点で分割されるのが防がれる。コンテンツ分割部１８は、分割されたコンテンツの長さの差が所定範囲内となるようにコンテンツを等分割してもよいし、分割されたコンテンツにおけるカット点系列Ｓ_ｊの全数Ｃ_ａｌｌが系列数閾値となるように、開始時点からカット点の位置でコンテンツを分割してもよい。

判定部１６は、コンテンツ分割部１８によって分割されたコンテンツごとに各カット点系列が境界系列であるか否かを判定し、コマーシャル境界を判定する。判定部１６による境界系列の判定に基づくコマーシャル境界の判定の具体的な方法は、第１の実施形態と同様である。

次に、第２の実施形態のコマーシャル境界判定装置２によるコマーシャル境界判定方法について、図９を参照して説明する。図９は、コマーシャル境界判定方法の一例を示すフローチャートである。

ステップＳ３１からステップＳ３５までの処理は、第１の実施形態のコマーシャル検出方法におけるステップＳ１１からステップＳ１５までの処理と同様である。

ステップＳ３５でカット点が抽出されると、コンテンツ分割部１８により、カット点系列Ｓ_ｊの全数Ｃ_ａｌｌを算出し、全数Ｃ_ａｌｌが系列数閾値以下であるか否かを判定する（ステップＳ３６）。

ステップＳ３６で全数Ｃ_ａｌｌが系列数閾値より大きいと判定された場合、コンテンツ分割部１８によりコンテンツを分割する（ステップＳ３７）。具体的には、コンテンツ分割部１８は、分割された各コンテンツのカット点系列Ｓ_ｊの全数Ｃ_ａｌｌが系列数閾値以下となるように、コンテンツを分割する。

次に、判定部１６により、分割されたコンテンツのカット点系列Ｓ_ｊごとに一致数を算出する（ステップＳ３８）。

ステップＳ３６で全数Ｃ_ａｌｌが系列数閾値以下であると判定された場合、判定部１６により、カット点系列Ｓ_ｊごとに一致数を算出する（ステップＳ３８）。

続いて、判定部１６は、各コンテンツについてステップＳ３９からステップＳ４３の処理を行う。ステップＳ３９からステップＳ４３の処理は、第１の実施形態のコマーシャル境界判定方法におけるステップＳ１７からステップＳ２１までの処理と同様である。

なお、上述したコマーシャル境界判定装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コマーシャル境界判定装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

以上説明したように、第２の実施形態によれば、コマーシャル境界判定装置２は、複数の候補区間それぞれに含まれるカット点の数に基づいてコンテンツを分割する。この場合、コンテンツが分割されない場合に比べて、判定部１６が隣接カット点時間とコマーシャル規定長と差が所定範囲内であるか否かを判定する処理の回数が減少する。したがって、コマーシャル境界判定装置２は、コマーシャル境界を判定する処理に要する時間を低減することができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１，２ コマーシャル境界判定装置
１１ 入力部
１２ 音量算出部
１３ コマーシャル検出部
１４ 候補区間決定部
１５ カット点抽出部
１６ 判定部
１７ 出力部
１８ コンテンツ分割部

Claims (9)

1. 複数のコマーシャルを含むコンテンツを入力する入力部と、
   前記コンテンツの音量の時系列データを算出する音量算出部と、
   前記音量が所定時間以上、音量閾値未満となる低音量区間を含む候補区間を決定する候補区間決定部と、
   前記コンテンツにおける複数の前記候補区間それぞれから、前フレームからの変化量が画素変化閾値以上であるフレームが再生されるカット点を抽出するカット点抽出部と、
   複数の前記候補区間それぞれから１個ずつ選択された前記カット点の組み合わせで構成される複数のカット点系列における、各カット点と、該各カット点が含まれる候補区間の前の候補区間のカット点との間の時間である隣接カット点時間に基づいてコマーシャル境界を判定する判定部と、
   を備えることを特徴とするコマーシャル境界判定装置。
2. 前記判定部は、前記複数のカット点系列のそれぞれにおける、前記隣接カット点時間と、コマーシャル規定長との差が時間差閾値未満である前記カット点の数である一致数を算出し、前記一致数が最大であるカット点系列が１つである場合、該カット点系列を境界系列と判定し、前記一致数が最大であるカット点系列が複数である場合、前記一致数が最大であるカット点系列である複数のカット点系列のうち、前記差の合計が最小であるカット点系列を境界系列と判定し、前記境界系列を構成するカット点に基づいて前記コマーシャル境界を判定することを特徴とする請求項１に記載のコマーシャル境界判定装置。
3. 前記変化量は、前記フレームの画素値と、前記前フレームの画素値との差分又は比に基づく値であることを特徴とする請求項１または２に記載のコマーシャル境界判定装置。
4. 前記候補区間は、前記低音量区間の開始時点から所定時間前の時点以降で、前記低音量区間の終了時点から所定時間後の時点までの時間を含むことを特徴とする請求項１から３のいずれか一項に記載のコマーシャル境界判定装置。
5. 前記候補区間は、前記低音量区間のうち、所定の時間間隔で離れて存在する低音量区間を含むことを特徴とする請求項１から４のいずれか一項に記載のコマーシャル境界判定装置。
6. 前記複数の候補区間それぞれに含まれる前記カット点の数に基づいてコンテンツを分割するコンテンツ分割部を備え、
   前記判定部は、前記コンテンツ分割部によって分割されたコンテンツごとに前記コマーシャル境界を判定することを特徴とする請求項１から５のいずれか一項に記載のコマーシャル境界判定装置。
7. 前記時間差閾値は、前記コンテンツの映像の所定フレーム数が再生される時間であることを特徴とする請求項２に記載のコマーシャル境界判定装置。
8. 複数のコマーシャルを含むコンテンツを入力するステップと、
   前記コンテンツの音量の時系列データを算出するステップと、
   前記音量が所定時間以上、音量閾値未満となる低音量区間を含む候補区間を決定するステップと、
   前記コンテンツにおける複数の前記候補区間それぞれから、前フレームからの変化量が画素変化閾値以上であるフレームが再生されるカット点を抽出するステップと、
   複数の前記候補区間それぞれから１個ずつ選択された前記カット点の組み合わせで構成される複数のカット点系列における、各カット点と、該各カット点が含まれる候補区間の前の候補区間のカット点との間の時間である隣接カット点時間に基づいてコマーシャル境界を判定するステップと、
   を含むことを特徴とするコマーシャル境界判定方法。
9. 請求項１から７のいずれか一項に記載のコマーシャル境界判定装置としてコンピュータを機能させるためのプログラム。

Images