JP4427600B1 - 映像解析装置およびプログラム - Google Patents

Abstract

【課題】テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類（コンテンツの本編またはコマーシャルメッセージ）が変化する位置を正確に検出する。
【解決手段】コンテンツの映像フレームに出現する略同一な静止画の群である静止画グループが存在する区間または静止画グループが存在しない区間であるかどうかに加えて、コンテンツを構成する映像フレームのうち単一色の映像フレームとコンテンツを構成する音声の音量が一定の閾値を下回る無音区間との少なくとも一方の情報も用いて、コンテンツの内容の種類が変化する位置を検出する。これにより、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類（コンテンツの本編またはコマーシャルメッセージ）が変化する位置を正確に検出することができる。
【選択図】 図７

Description

本発明は、テレビ番組の録画時にコマーシャルメッセージを録画しないようにするＣＭカットに用いられる映像解析機能を有する映像解析装置およびプログラムに関する。

テレビ番組の前後や番組の途中に、短い広告放送であるコマーシャルメッセージ（ＣＭ：commercial message）が流されることは、民間放送においては一般的なこととなっている。例えば、日本のテレビ放送における個々のＣＭの長さは、１５秒、３０秒、６０秒など１５秒を基本としている。

一方、近年においては、磁気ディスク等の記憶媒体に対して効率良く記憶するなどの目的で、テレビ番組の録画時にＣＭを録画しないようにするＣＭカット機能を備えた録画装置が開発されている（例えば、特許文献１参照）。

特許文献１記載の録画装置によれば、画像にチャンネルロゴなどの静止画が含まれている区間をテレビ番組の本編と判断してそれ以外をＣＭと判断するようにしている。これにより、ＣＭ時間が日本のように１５秒、３０秒のように規則的ではないヨーロッパ諸国などにおけるテレビ放送においてもＣＭカット機能を実現することができる。

特開２００７-２８８７５９号公報

ところで、実際のテレビ放送においては、本編でもチャンネルロゴなどの静止画がない部分がある。そのため、特許文献１記載の録画装置に開示された技術では、本編でもチャンネルロゴなどの静止画がない部分については、テレビ番組の本編にもかかわらず静止画がないためにＣＭと誤判定してしまう、という問題がある。

本発明は、上記に鑑みてなされたものであって、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類（コンテンツの本編またはコマーシャルメッセージ）が変化する位置を正確に検出することができる映像解析装置およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の映像解析装置は、映像および音声で構成されるコンテンツの映像フレームに出現する一定期間継続して表示される表示画像である静止画を検出し、検出した略同一な前記静止画が出現する区間を静止画グループとしてまとめる静止画検出手段と、前記コンテンツを構成する前記映像フレームのうち単一色の映像フレームを検出する単色検出手段と、前記コンテンツを構成する音声の音量が一定の閾値を下回る無音区間を検出する無音検出手段との少なくともいずれか一方を実行する特徴検出手段と、前記静止画グループが存在する区間と前記静止画グループが存在しない区間とのそれぞれに含まれる前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報から、前記コンテンツの内容の種類が変化する位置を検出する境界位置検出手段と、を備える。

また、本発明のプログラムは、コンピュータを、映像および音声で構成されるコンテンツの映像フレームに出現する一定期間継続して表示される表示画像である静止画を検出し、検出した略同一な前記静止画が出現する区間を静止画グループとしてまとめる静止画検出手段と、前記コンテンツを構成する前記映像フレームのうち単一色の映像フレームを検出する単色検出手段と、前記コンテンツを構成する音声の音量が一定の閾値を下回る無音区間を検出する無音検出手段との少なくともいずれか一方を実行する特徴検出手段と、前記静止画グループが存在する区間と前記静止画グループが存在しない区間とのそれぞれに含まれる前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報から、前記コンテンツの内容の種類が変化する位置を検出する境界位置検出手段と、として機能させる。

本発明によれば、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類（コンテンツの本編またはコマーシャルメッセージ）が変化する位置を正確に検出することができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる映像解析装置およびプログラムの最良な実施の形態を詳細に説明する。

本発明の実施の一形態を図１ないし図１０に基づいて説明する。本実施の形態は映像解析装置としてパーソナルコンピュータを適用した例である。

図１は、本発明の実施の一形態にかかる映像解析装置１００の構成を示すブロック図である。映像解析装置１００は、情報処理を行うＣＰＵ（Central Processing Unit）１０１、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）１０２、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）１０３、各種データベースとして機能するとともに各種のプログラムを格納するＨＤＤ（Hard Disk Drive）１０４、記憶媒体１１０を用いて情報を保管したり外部に情報を配布したり外部から情報を入手するためのＤＶＤドライブ等の媒体読取装置１０５、ネットワーク２００を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置１０６、処理経過や結果等を操作者に表示するＬＣＤ（Liquid Crystal Display）等の表示部１０７、並びに操作者がＣＰＵ１０１に命令や情報等を入力するためのキーボードやマウス等の入力部１０８等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１０９が調停して動作する。

このような映像解析装置１００では、ユーザが電源を投入するとＣＰＵ１０１がＲＯＭ１０２内のローダーというプログラムを起動させ、ＨＤＤ１０４よりＯＳ（Operating System）というコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１０３に読み込み、このＯＳを起動させる。このようなＯＳは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。ＯＳのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）等が知られている。これらのＯＳ上で走る動作プログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のＯＳ上で動作するものに限らず、後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

ここで、映像解析装置１００は、アプリケーションプログラムとして、映像解析プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、映像解析プログラムを記憶する記憶媒体として機能する。

また、一般的には、映像解析装置１００のＨＤＤ１０４にインストールされるアプリケーションプログラムは、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等の各種方式のメディア等の記憶媒体１１０に記憶され、この記憶媒体１１０に記憶された動作プログラムがＨＤＤ１０４にインストールされる。このため、ＤＶＤ等の光情報記憶メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体１１０も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えば通信制御装置１０６を介して外部のネットワーク２００から取り込まれ、ＨＤＤ１０４にインストールされても良い。

映像解析装置１００は、ＯＳ上で動作する映像解析プログラムが起動すると、この映像解析プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。映像解析装置１００のＣＰＵ１０１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。

図２は、映像解析装置１００の概略的な機能構成を示すブロック図である。図２に示すように、映像解析装置１００は、映像解析プログラムに従うことにより、コンテンツ情報解析部１と、境界位置検出手段として機能する境界位置検出部２と、を備える。

以下において、映像解析装置１００の特徴的な機能を有する各部について説明する。

まず、コンテンツ情報解析部１について説明する。コンテンツ情報解析部１は、アンテナおよび受信装置（いずれも図示せず）を介して入力されたコンテンツの映像および音声を解析する。より詳細には、コンテンツ情報解析部１は、コンテンツの映像上に合成される静止画が存在する区間を検出する静止画検出手段である静止画検出部１１と、映像フレームが単一の色からなる区間を検出する単色検出手段（特徴検出手段）である単色検出部１２と、音量が一定の閾値を下回る区間を検出する無音検出手段（特徴検出手段）である無音検出部１３とを備えている。

静止画検出部１１は、図３に示すように、映像フレーム上に出現する静止画のうち、画面の端に長時間表示される静止画Ｘを検出する。テレビ番組のコンテンツの本編中に一定期間継続して表示される表示画像である静止画Ｘとしては、テレビ局のロゴマークやテレビ局名である場合が多い。ただし、コンテンツの本編中に継続して表示される静止画ならば、上述のものに限定されない。なお、静止画（例えば、ロゴマーク）Ｘを検出する方法は広く知られているが、例えば特開２００７−２７４１５４号公報に開示されている方法を使うことができる。

ところで、コンテンツの本編の冒頭や末尾などのような映像フレームの種類が切り替わる付近では、静止画（例えば、ロゴマーク）の位置や形が変わることが多い。そこで、静止画検出部１１は、静止画を検出する既存の方法に加え、以下に示すような方法（図４参照）を用い、静止画の位置や形が変わっていても、同一種類の静止画として検出できるようにしたものである。
１．検出された複数の静止画（例えば、ロゴマーク）であって同時刻に出現していないものについて、出現座標を比較する。ここで、図４は、コンテンツから３種類の映像フレームを抽出した例である。図４に示す映像フレームのうち、静止画Ｘ１、静止画Ｘ２はテレビ局のロゴであり、同時刻には出現していないが、似た場所に出現している。このように、静止画Ｘ１と静止画Ｘ２との出現位置の差異が予め定めた閾値以内ならば、たとえ静止画Ｘ１から静止画Ｘ２へのように変化していたとしても、同じ箇所に出現した静止画としてまとめ、１つの静止画グループＧ１とする。一方、静止画Ｘ３は、異なる位置に出現しているため異なる静止画グループＧ２とする。
２．各静止画グループについて出現した時間長を算出し、時間長が所定の閾値に満たないならば排除する。図４に示す例によれば、静止画Ｘ３はコマーシャルメッセージ中に出現した静止画である。通常コマーシャルメッセージは短いため、静止画グループＧ２の時間長が閾値に満たない（すなわち、出現している時間が短い）ならばコマーシャルメッセージ中に出現した静止画と判断して、静止画グループＧ２を排除する。例えば、静止画グループＧ２の時間長が１分以下であれば、ＣＭと判断する。この処理を行うことで、コマーシャルメッセージ中の静止画を検出した場合でも、コンテンツの本編であると誤検出しなくなる。
３．検出した静止画グループをまとめる。より詳細には、図５に示す例によれば、静止画Ｘ１、Ｘ２から静止画グループＧ１が構成され、静止画Ｘ４から静止画グループＧ３が構成される。静止画グループＧ１、Ｇ３のように時刻が重なっているグループをまとめ、静止画の出現区間を作成する。なお、図５に示す例で静止画グループＧ３が静止画グループＧ１よりも先に出現しているのは、本編に入ってもしばらくの間はテレビ局のロゴマークが出現しなかったためである。

単色検出部１２は、映像フレームの色情報を解析し、映像フレームが単一の色（例えば、全画面が黒一色のブラックフレーム）から構成されているかどうかを判定する。これは、ヨーロッパ諸国などにおけるテレビ放送において、ＣＭの開始位置に「ブラックフレーム」が挿入されることが多いからである。また、単一の色の映像フレームとしては、黒一色のブラックフレームに限るものではなく、青一色や白一色などの映像フレームであっても良い。また、映像フレームの全領域を解析しても良いが、画像の端にはノイズが含まれることが多いので、映像フレームの中心部分のみを解析するようにしても良い。

無音検出部１３は、コンテンツの音量を解析して無音状態（音量が一定の閾値を下回る区間）を検出するものである。音量の計算方法はデコードしたＰＣＭレベルから計算しても良いし、デコード前の音声スペクトル情報から計算したものでも良い。なお、コンテンツの音量の検出手法は、上述のものに限定されるものではない。これは、ヨーロッパ諸国などにおけるテレビ放送において、ＣＭの開始位置が無音（または、無音に近い）である場合が多いからである。

なお、単色検出部１２による処理を実行した後、無音検出部１３の処理を実行するようにしたほうが、高精度な検出が可能になる。

次に、境界位置検出部２について説明する。境界位置検出部２は、コンテンツ情報解析部１における解析の結果として得られた情報から、内容の種類が変化する位置を計算する。本実施の形態における内容の種類とは、コンテンツの本編とコマーシャルメッセージである。ただし、内容の種類として、この２種類に限定されるものではない。境界位置検出部２は、区間種類判定手段として機能する区間種類判定部２１と、境界位置補正手段として機能する境界位置補正部２２とを備えている。

区間種類判定部２１は、図６に示すように、コンテンツ中で静止画が出現した区間Ａ，Ｃ、出現しなかった区間Ｂによってコンテンツを複数のセグメント（Ｓ１、Ｓ２、Ｓ３）に分割する。

そして、区間種類判定部２１は、静止画検出部１１によって静止画が検出された区間および静止画がされなかった区間それぞれについて、その区間内に含まれる映像、音声の情報から内容の種類（コンテンツの本編またはコマーシャルメッセージ）を判定する。

ここで、映像種類の判定について詳述する。具体的には、図７に示すように、セグメント（Ｓ１、Ｓ２、Ｓ３）の中に含まれる単色（ａ，ｂ，ｃ，ｄ）や無音（ｅ，ｆ，ｇ）などの映像、音声の情報を用いてセグメントの種類を計算する。図７に示す静止画が表示されているセグメント（Ｓ１、Ｓ３）は本編である確率が高く、単色や無音が多く出現しているセグメント（Ｓ２）はコマーシャルメッセージである確率が高い。この特性から、セグメント中の静止画の有無、セグメント中に含まれる単色、無音の数を使い、セグメントが本編である確率を計算する。

ここで、セグメントが本編である確率の計算例について説明する。
１．セグメント中に、静止画と単色かつ無音の部分の両方が存在する場合、１分当たりの単色かつ無音数を算出し、閾値と比較し、本編とコマーシャルメッセージとでどちらの確率が高いかを決定する。単色かつ無音の数が多ければコマーシャルメッセージ（本編の確率は０％）とし、そうでない場合は本編とする。
２．セグメント中に、静止画はないが、単色かつ無音の部分がある場合、本編を含むＣＭ区間と考え、本編の確率を２０％とする。
３．セグメント中の静止画の有無に関わらず、単色かつ無音がなければ１００％の確率で本編とする。
４．セグメント毎に本編である確率が計算できたら、隣接するセグメントで確率が大きく変化する境界を、本編とコマーシャルメッセージの境界とする。

静止画は多くの場合コンテンツの本編中に表示されているが、コマーシャルメッセージ中にも同一箇所に長時間表示されることがある。テレビ局の番組宣伝にテレビ局のロゴマークが連続して表示される場合などである。単色や無音といった情報を使うとこのような場合でも正しくコマーシャルメッセージであると判定できる。

境界位置補正部２２は、区間種類判定部２１で判定された種類と、単色検出部１２で検出された単色の映像フレームと、無音検出部１３で検出された無音または無音に近い情報とを用い、内容の種類が変化する位置（境界）をより正しいと判定される位置に補正する。

ここで、区間種類判定部２１で検出した内容の種類が変化する位置（境界）を、境界位置補正部２２がコマーシャルメッセージと本編との正確な境界に補正する方法について詳述する。具体的には、図８に示すように、静止画は正確なコマーシャルメッセージと本編の境界からずれて表示されることが多く、コマーシャルメッセージ間際では静止画が消失しているなど、セグメントの境界は基本的に本編側にずれていることが多い。すなわち、本編からコマーシャルメッセージに変わる境界では、正確な境界よりも前側に、コマーシャルメッセージから本編に変わる境界では、正確な境界よりも後ろ側にずれる傾向がある。図８に示す例では、区間Ｄ，Ｆは本編であると検出された区間であり、区間Ｅはコマーシャルメッセージであると検出された区間である。なお、区間Ｄ，Ｅ，Ｆは、同種類の複数のセグメントから構成されていることもある。静止画の有無で検出された本編からコマーシャルメッセージに変わる位置（境界）が符号Ｏで示す位置であり、コマーシャルメッセージから本編に変わる位置（境界）が符号Ｒで示す位置である。符号ｈ，ｉ，ｊは検出された単色であり、符号ｋ，ｌ，ｍ，ｎは検出された無音である。境界位置補正部２２は、図８で例示する単色と無音が同時に検出された符号Ｐ，Ｑで示す位置に注目する。符号Ｐで示す位置は符号Ｏで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Ｏで示す位置よりもコマーシャルメッセージ側にあるものである。符号Ｑで示す位置は符号Ｒで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Ｒで示す位置よりもコマーシャルメッセージ側にあるものである。本編とコマーシャルメッセージの境界には単色と無音が同時に出現するなど、映像・音声に特徴がある。本編からコマーシャルメッセージに変わる境界では後側の映像、音声の特徴を優先して、コマーシャルメッセージから本編に変わる境界では、正確な境界よりも前側の映像、音声の特徴を優先して探せばよいため、境界位置補正部２２は、符号Ｏで示す位置、符号Ｒで示す位置を取り消し、符号Ｐ示す位置および符号Ｑで示す位置を新たな境界とする。

これにより、静止画のみによる境界位置検出で若干のずれが発生してしまうような場合であっても、より正確に境界位置を検出することができる。

次に、静止画の有無で検出された境界よりも検出された単色と無音の時刻が本編側にある場合について図９を参照して説明する。

図９に示す例では、区間Ｇ，Ｉは本編であると検出された区間であり、区間Ｈはコマーシャルメッセージであると検出された区間である。なお、区間Ｇ，Ｈ，Ｉは、同種類の複数のセグメントから構成されていることもある。静止画の有無で検出された本編からコマーシャルメッセージに変わる位置（境界）が符号Ｔで示す位置であり、コマーシャルメッセージから本編に変わる位置（境界）が符号Ｕで示す位置である。符号ｏ，ｐ，ｑは検出された単色であり、符号ｒ，ｓ，ｔ，ｕは検出された無音である。図９に示す例では、境界位置補正部２２は、単色と無音が同時に検出された符号Ｓ，Ｖで示す位置に注目する。符号Ｓで示す位置は符号Ｔで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Ｔで示す位置より本編側にあるものである。符号Ｖで示す位置は符号Ｕで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Ｕで示す位置より本編側にあるものである。映像と音声の特徴はコマーシャルメッセージ側に近いほうに検出されることが多いため、図９に示す例のように逆方向に映像と音声の特徴が出現している場合は慎重に判断する必要がある。境界位置補正部２２は、符号Ｓで示す位置と符号Ｔで示す位置、および、符号Ｕで示す位置と符号Ｖで示す位置の時間間隔を計算し、その値が閾値以内ならば映像と音声の特徴がある時刻を新たな境界とする。図９に示す例では、符号Ｓで示す位置と符号Ｔで示す位置は時間的に近接しているため、例えばＣＭ中に本編と同じ位置にロゴマークがあったとして符号Ｔで示す位置を取り消し、符号Ｓで示す位置を新たな境界とする。一方、符号Ｕで示す位置と符号Ｖで示す位置は時間的に閾値以上離れているために符号Ｖで示す位置を新たな境界とせず、符号Ｕで示す位置を保持する。

なお、図８および図９に示す例では、単色と無音が同時に発生した時刻に補正したが、単色と無音のどちらかが検出された時刻に検出された時刻を補正対象としても良い。

次いで、上述したような映像解析装置１００のＣＰＵ１０１が実行する特徴的な処理である映像解析処理について図１０のフローチャートを参照して説明する。

まず、アンテナおよび受信装置（いずれも図示せず）を介して入力された映像および音声を含むコンテンツについて、静止画検出部１１による静止画検出、単色検出部１２による単色検出、無音検出部１３による無音検出といった映像および音声解析を行う（ステップＳ１）。

次いで、区間種類判定部２１が、静止画が出現した区間、静止画が出現しなかった区間でセグメントを定義する（ステップＳ２）。

全てのセグメントについての処理が終了していなければ（ステップＳ３のＮｏ）、処理対象のセグメントを１つ選び（ステップＳ４）、区間種類判定部２１は、セグメントの中に存在する無音（音量が一定の閾値を下回る区間）の数、単色の数、単色かつ無音（音量が一定の閾値を下回る区間）の数をカウントする（ステップＳ５）。

選択したセグメントに単色かつ無音（音量が一定の閾値を下回る区間）がない場合は（ステップＳ６のＹｅｓ）、区間種類判定部２１は、そのセグメントを本編であると判定する（ステップＳ９）。

一方、セグメントに単色かつ無音（音量が一定の閾値を下回る区間）はあるが、静止画はない場合は（ステップＳ６のＮｏ，ステップＳ７のＹｅｓ）、区間種類判定部２１は、そのセグメントをコマーシャルメッセージと判定する（ステップＳ１０）。

セグメントに単色かつ無音（音量が一定の閾値を下回る区間）も、静止画もある場合は（ステップＳ６のＮｏ，ステップＳ７のＮｏ）、１分あたりの単色かつ無音（音量が一定の閾値を下回る区間）の数を計算した値と閾値を比較し、閾値を上回れば（ステップＳ８のＹｅｓ）、区間種類判定部２１は、そのセグメントをコマーシャルメッセージと判定する（ステップＳ１０）。閾値を下回れば（ステップＳ８のＮｏ）、区間種類判定部２１は、そのセグメントを本編であると判定する（ステップＳ９）。

なお、図１０に示すフローチャートでは、本編である確率を１００％か０％かで計算したが、細かく計算するよう変更しても良い。

以上によりセグメントの種類が判定できたので、直前に判定したセグメントの種類と比較する（ステップＳ１１）。

直前に判定したセグメントの種類と種類が変わっている場合には（ステップＳ１１のＹｅｓ）、境界位置補正部２２は、内容の種類が変化する位置（境界）をより正しいと判定される位置に補正する。具体的には、コマーシャルメッセージから本編に変化する位置（境界）ならば（ステップＳ１２のＹｅｓ）、セグメントの前側近傍に単色かつ無音（音量が一定の閾値を下回る区間）があれば、その位置に境界を補正する（ステップＳ１４）。

一方、境界位置補正部２２は、本編からコマーシャルメッセージに変化する位置（境界）ならば（ステップＳ１２のＮｏ）、セグメントの後側近傍に単色かつ無音（音量が一定の閾値を下回る区間）があれば、その位置に境界を補正する（ステップＳ１３）。

以上ステップＳ４〜Ｓ１４の処理は、全てのセグメントについての処理が終了するまで（ステップＳ３のＹｅｓ）、繰り返される。

なお、図１０のフローチャートでは単色と無音が同時に発生した時刻に補正したが、単色と無音のどちらかが検出された時刻に検出された時刻を補正対象としても良い。

また、セグメント毎に上記の処理を実行するのではなく、コンテンツの先頭から末尾までの情報を全て保持し、まとめて処理しても良いし、セグメントを検出して必要な情報がたまった都度、逐次的に処理しても良い。

このように本実施の形態によれば、コンテンツの映像フレームに出現する略同一な静止画の群である静止画グループが存在する区間または静止画グループが存在しない区間であるかどうかに加えて、コンテンツを構成する映像フレームのうち単一色の映像フレームとコンテンツを構成する音声の音量が一定の閾値を下回る無音区間との少なくとも一方の情報も用いて、コンテンツの内容の種類が変化する位置を検出することにより、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類（コンテンツの本編またはコマーシャルメッセージ）が変化する位置を正確に検出することができる。

なお、本実施の形態においては、映像解析装置１００としてパーソナルコンピュータを適用したが、これに限るものではなく、テレビ、ＨＤＤレコーダ、ワンセグ搭載端末などにも適用可能である。

本発明の実施の一形態にかかる映像解析装置の構成を示すブロック図である。 映像解析装置の概略的な機能構成を示すブロック図である。 表示された静止画を示す正面図である。 映像フレームの抽出例を示す模式図である。 静止画グループをまとめた例を示す模式図である。 セグメント分割例を示す模式図である。 映像種類の判定例を示す模式図である。 境界補正例を示す模式図である。 境界補正例を示す模式図である。 映像解析処理の流れを示すフローチャートである。

符号の説明

２ 境界位置検出手段
１１ 静止画検出手段
１２ 単色検出手段、特徴検出手段
１３ 無音検出手段、特徴検出手段
２１ 区間種類判定手段
２２ 境界位置補正手段
１００ 映像解析装置

Claims (10)

1. 映像および音声で構成されるコンテンツの映像フレームに出現する一定期間継続して表示される表示画像である静止画を検出し、検出した略同一な前記静止画が出現する区間を静止画グループとしてまとめる静止画検出手段と、
   前記コンテンツを構成する前記映像フレームのうち単一色の映像フレームを検出する単色検出手段と、前記コンテンツを構成する音声の音量が一定の閾値を下回る無音区間を検出する無音検出手段との少なくともいずれか一方を実行する特徴検出手段と、
   前記静止画グループが存在する区間と前記静止画グループが存在しない区間とのそれぞれに含まれる前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報から、前記コンテンツの内容の種類が変化する位置を検出する境界位置検出手段と、
   を備えることを特徴とする映像解析装置。
2. 前記境界位置検出手段は、
   前記静止画グループが存在する区間と前記静止画グループが存在しない区間とのそれぞれについて、前記映像または前記音声から前記コンテンツの内容の種類を判定する区間種類判定手段と、
   判定された前記コンテンツの内容の種類と、前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報とを用い、前記コンテンツの内容の種類が変化する位置をより正しいと判定される位置に補正する境界位置補正手段と、
   を備えることを特徴とする請求項１記載の映像解析装置。
3. 前記特徴検出手段は、前記単色検出手段を実行した後、前記無音検出手段を実行する、
   ことを特徴とする請求項１記載の映像解析装置。
4. 前記静止画検出手段は、検出された複数の前記静止画であって同時刻に出現していないものについて出現座標を比較し、出現位置の差異が予め定めた閾値以内ならば、同じ箇所に出現した複数の前記静止画が出現する区間を前記静止画グループとしてまとめる、
   ことを特徴とする請求項１記載の映像解析装置。
5. 前記静止画検出手段は、前記静止画グループについて出現した時間長を算出し、時間長が所定の閾値に満たない前記静止画グループを排除する、
   ことを特徴とする請求項１記載の映像解析装置。
6. 前記静止画検出手段は、時刻が重なっている前記静止画グループをまとめ、前記静止画の出現区間を作成する、
   ことを特徴とする請求項１記載の映像解析装置。
7. 前記区間種類判定手段は、前記各区間中の前記静止画の有無、前記各区間中に含まれる前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報を用いて前記コンテンツの内容の種類を判定する、
   ことを特徴とする請求項１記載の映像解析装置。
8. 前記境界位置補正手段は、前記静止画グループが存在する区間から前記静止画グループが存在しない区間に変わる境界では当該境界以後の前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報を優先し、前記静止画グループが存在しない区間から前記静止画グループが存在する区間に変わる境界では当該境界よりも以前の前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報を優先する、
   ことを特徴とする請求項１記載の映像解析装置。
9. 前記境界位置補正手段は、前記静止画グループが存在する区間内に前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報が存在する場合には、前記静止画グループが存在する区間と前記静止画グループが存在しない区間との境界位置と、前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報が存在する位置との時間間隔を計算し、その値が閾値以内ならば前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報がある時刻を新たな境界とする、
   ことを特徴とする請求項１記載の映像解析装置。
10. コンピュータを、
    映像および音声で構成されるコンテンツの映像フレームに出現する一定期間継続して表示される表示画像である静止画を検出し、検出した略同一な前記静止画が出現する区間を静止画グループとしてまとめる静止画検出手段と、
    前記コンテンツを構成する前記映像フレームのうち単一色の映像フレームを検出する単色検出手段と、前記コンテンツを構成する音声の音量が一定の閾値を下回る無音区間を検出する無音検出手段との少なくともいずれか一方を実行する特徴検出手段と、
    前記静止画グループが存在する区間と前記静止画グループが存在しない区間とのそれぞれに含まれる前記単一色の映像フレームまたは前記無音区間の少なくとも一方の情報から、前記コンテンツの内容の種類が変化する位置を検出する境界位置検出手段と、
    として機能させることを特徴とするプログラム。

Images