JP5882883B2 - テロップ検出装置、テロップ検出方法及びテロップ検出プログラム - Google Patents

Description

本発明は、映像に表示されたテロップ領域を検出する技術に関する。

映像内容の一覧化や特定シーンへのアクセスといった効率的な映像視聴を支援するため、映像中のフレーム画像から文字等のテロップが表示されているテロップ領域を検出する技術がある（特許文献１，２）。

また、当該テロップ領域の検出時間を短縮するため、映像データを時間軸に沿って複数に分割し、各処理区間でのテロップ検出を複数のＣＰＵ又はプロセスで並行して行う技術がある（非特許文献１）。

映像データを任意に分割するとテロップ領域の検出区間と処理区間との境界の重複によりテロップ領域を正確に検出できない可能性があるが、非特許文献１では、前の処理区間の最終フレームでテロップ領域を検出中の場合、当該前の処理区間を動的に延長してテロップ領域の検出を継続している。

特開平１０−３２０５５７号公報 特開平１１−２０５６７９号公報

後藤、外２名、「並列分散による映像イベント検出の高速化」、情報処理学会研究報告、Vol.2012-AVM-76 No.2、2012年2月23日、p.1-6

しかしながら、テロップにはシーンに応じて表示される通常のテロップ以外に、時刻やロゴマークといった映像全体に渡って継続表示される定常表示テロップが存在し、特許文献１，２のテロップ検出技術に非特許文献１の高速化技術を単に適用すると、定常表示テロップの継続表示により各処理区間が大幅に延長されてしまうため、テロップ領域の検出時間が増加してしまう（図１１参照）。

また、定常表示テロップは映像中の特定区間を特徴付けるインデクス情報にはならないため、特定シーンの頭出しといった映像視聴の支援に利用することは不適であり、有用ではない（図１２参照）。

本発明は、上記事情を鑑みてなされたものであり、定常表示テロップ以外のテロップのみを高速かつ正確に検出することを目的とする。

請求項１記載のテロップ検出装置は、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割手段と、分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出手段と、記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出手段と、を有し、前記テロップ検出手段は、マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を各フレーム画像群毎に並行して検出する複数のテロップ検出手段であって、前記定常表示テロップ検出手段は、フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算し、各テロップ検出手段でそれぞれ検出された各テロップ領域に同じ位置の画素が含まれている場合には、当該画素のテロップ表示回数に当該検出されたテロップ検出手段の数を加算するテロップ表示回数計算手段と、各画素のテロップ表示回数のヒストグラムを生成し、閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定手段と、前記定常表示テロップ領域と判定された画素をテロップ検出対象外とするマスク画像を生成するマスク画像生成手段と、を有することを要旨とする。

本発明によれば、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割し、分割された各フレーム画像群のフレーム画像から映像全体に渡って表示される定常表示テロップ領域を検出し、定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するため、定常表示テロップ以外のテロップのみを高速かつ正確に検出できる。

請求項２記載のテロップ検出装置は、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割手段と、分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出手段と、記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出手段と、を有し、前記テロップ検出手段は、マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を検出し、前記定常表示テロップ検出手段は、フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算するテロップ表示回数計算手段と、各画素のテロップ表示回数に基づいて閾値を決定し、当該閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定手段と、前記定常表示テロップ領域と判定された画素がない場合、全画素をテロップ検出対象とするマスク画像を生成するマスク画像生成手段と、を有することを要旨とする。

請求項３記載のテロップ検出方法は、コンピュータにより、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割ステップと、分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出ステップと、記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出ステップと、を有し、前記テロップ検出ステップでは、複数のテロップ検出手段により、マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を各フレーム画像群毎に並行して検出し、前記定常表示テロップ検出ステップでは、フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算し、各テロップ検出手段でそれぞれ検出された各テロップ領域に同じ位置の画素が含まれている場合には、当該画素のテロップ表示回数に当該検出されたテロップ検出手段の数を加算するテロップ表示回数計算ステップと、各画素のテロップ表示回数のヒストグラムを生成し、閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定ステップと、前記定常表示テロップ領域と判定された画素をテロップ検出対象外とするマスク画像を生成するマスク画像生成ステップと、を有することを要旨とする。

請求項４記載のテロップ検出方法は、コンピュータにより、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割ステップと、分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出ステップと、記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出ステップと、を有し、前記テロップ検出ステップでは、マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を検出し、前記定常表示テロップ検出ステップでは、フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算するテロップ表示回数計算ステップと、各画素のテロップ表示回数に基づいて閾値を決定し、当該閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定ステップと、前記定常表示テロップ領域と判定された画素がない場合、全画素をテロップ検出対象とするマスク画像を生成するマスク画像生成ステップと、を有することを要旨とする。

請求項５記載のテロップ検出プログラムは、コンピュータを請求項１又は２に記載のテロップ検出装置として機能させることを要旨とする。

本発明によれば、定常表示テロップ以外のテロップのみを高速かつ正確に検出できる。

テロップ検出装置の機能ブロック構成を示す図である。 テロップ検出装置の全体処理フローを示す図である。 処理区間データの生成処理フローを示す図である。 処理区間データの例を示す図である。 処理区間の割り当ての例を示す図である。 テロップ領域の検出処理フローを示す図である。 定常表示テロップ領域の検出処理フローを示す図である。 テロップ表示回数の計算イメージを示す図である。 マスク画像の適用イメージを示す図である。 テロップ検出装置の実装例を示す図である。 従来技術の課題説明時の参照図である。 従来技術の課題説明時の参照図である。

本発明は、映像データの映像全体に渡って表示される定常表示テロップ領域の位置をマスクするマスク画像を各処理区間のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各処理区間毎に並行して検出することを特徴としている。

これにより、定常表示テロップ領域がマスクされた状態でテロップ領域の検出処理が実行されることから、例えば非特許文献１のような高速化技術を用いた場合であっても、定常表示テロップの継続表示に基づく処理区間の延長は発生しないため、映像視聴の支援に利用できる有用なテロップ（以下、非定常表示テロップ）のみを正確に検出することが可能となる。

また、そのように不要な処理区間の延長が発生することなく、更にテロップ領域の検出を各処理区間毎に並行して行うため、特許文献１，２で詳述されたような処理時間のかかるテロップ領域の検出処理が並列分散されることから、非定常表示テロップを高速に検出することが可能となる。

以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。

〔テロップ検出装置の構成について〕
図１は、本実施の形態に係るテロップ検出装置１の機能ブロック構成を示す図である。テロップ検出装置１は、映像記憶部１１と、映像データ分割部１２と、テロップ検出部１３と、定常表示テロップ検出部１４と、中間結果記憶部１５と、検出結果統合部１６と、統合結果記憶部１７とで主に構成される。

映像記憶部１１は、ＨＴＴＰ（HyperText Transfer Protocol）やＳＭＢ（Server Message Block）等の通信プロトコルを用いて外部のデータ入力装置から入力された映像データ及び処理ワーカ数を記憶する機能を有している。

映像データ分割部１２は、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する機能を有している。

具体的には、映像データを入力された処理ワーカ数で分割した各処理区間の開始位置・終了位置の各タイムスタンプを計算する処理区間計算部１２１と、それら各タイムスタンプを処理区間ＩＤに関連付けて処理区間データとして記憶する処理区間記憶部１２２と、各処理区間のそれら各タイムスタンプをテロップ検出部１３の各処理ワーカ部１３２にそれぞれ割り当ててテロップ領域の検出処理を制御する解析処理管理部１２３とで構成される。

テロップ検出部１３は、映像記憶部１１から映像データを読み出して、分割された各処理区間のフレーム画像群のフレーム画像からテロップ領域を検出し、当該テロップ領域に含まれる定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用して、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出する機能を有している。

具体的には、上記処理区間データに基づいて映像記憶部１１から各処理区間のフレーム画像群を読み出して各処理ワーカ部１３２にそれぞれ割り当てる映像取得部１３１と、各処理区間のフレーム画像群のフレーム画像からテロップ領域を独立して時間並列的に検出する複数の処理ワーカ部１３２とで構成される。処理ワーカ部１３２の数は、入力された処理ワーカ数に対応している。

定常表示テロップ検出部１４は、分割された各処理区間のフレーム画像群のフレーム画像から定常表示テロップ領域を検出する機能を有している。

具体的には、フレーム画像内の各画素が上記テロップ領域に含まれる回数を画素のテロップ表示回数として計算するテロップ表示回数計算部１４１と、各画素のテロップ表示回数の頻度ヒストグラムを生成し、閾値を用いてテロップ領域に定常表示テロップ領域が存在するか否かを判定する定常表示テロップ判定部１４２と、定常表示テロップ領域と判定された画素をテロップ検出対象外とするマスク画像を生成するフレームマスク生成部１４３とで構成される。

中間結果記憶部１５は、各処理ワーカ部１３２によってそれぞれ検出されたテロップ領域の検出結果（例えば、テロップ領域の座標位置、テロップ領域の開始タイムスタンプ及び終了タイムスタンプ等）を中間結果として記憶する機能を有している。

検出結果統合部１６は、中間結果記憶部１５に記憶されている全ての中間結果を１つに統合し、統合後のテロップ検出結果を統合結果記憶部１７に記憶させる機能を有している。

統合結果記憶部１７は、テロップ領域が継続表示されている映像区間の開始タイムスタンプ及び終了タイムスタンプと、当該テロップ領域の座標位置とを関連付けて映像データのテロップ検出結果として記憶する機能を有している。

尚、テロップ検出部１３は、非特許文献１に開示された高速化技術と同様に、前の処理区間の最終フレーム画像でテロップ領域を検出中の場合、当該前の処理区間を動的に延長してテロップ領域の検出を継続するものとする。

以上説明した各機能部１１〜１７により構成されるテロップ検出装置１は、メモリやＣＰＵを備えたコンピュータを用いて実現できる。また、各機能部１１〜１７の各処理動作はプログラムにより実行される。さらに、各機能部１１〜１７を実行するプログラムをコンピュータに搭載することにより、当該コンピュータをテロップ検出装置１として機能させるテロップ検出プログラムを構築することも可能である。

〔テロップ検出装置１の処理動作について〕
次に、テロップ検出装置１の処理動作について説明する。図２は、テロップ検出装置１の全体処理フローを示す図である。

最初に、テロップ検出装置１は、ユーザ操作によってデータ入力装置で入力された処理対象の映像データを受信して、それと同時に入力された処理ワーカ数に関連付けて映像記憶部１１に記憶する（ステップＳ１）。

次に、処理区間計算部１２１は、入力された処理ワーカ数で映像データ数を除算することにより、それによって分割された、各フレーム画像群により構成される複数の処理区間を計算する（ステップＳ２）。

ここで、図３を参照しながら、このステップＳ２の処理について詳述する。まず、処理区間計算部１２１は、映像記憶部１１から処理対象である映像データの映像長Ｌ及び処理ワーカ数Ｗを取得する（ステップＳ２０１）。

その後、取得した映像長Ｌを処理ワーカ数Ｗで分割して得られるＷ個の処理区間Ｐ_ｉを計算する。例えば、その変数ｉ（ｉは０を含む自然数）を初期化し（ステップＳ２０２）、当該変数ｉの値と処理ワーカ数Ｗの値とを比較する（ステップＳ２０３）。

ｉ≧Ｗの関係が成立しない場合、その変数ｉの処理区間Ｐ_ｉの開始タイムスタンプＳ_ｉを式（１）より計算し、終了タイムスタンプＥ_ｉを式（２）より計算して（ステップＳ２０４）、それらの計算結果をＰ_ｉの処理区間として処理区間記憶部１２２に記憶する（ステップＳ２０５）。尚、タイムスタンプとは、フレーム画像が表示される先頭からの時間（ｍｓ）を意味する。

Ｓ_ｉ＝ｉ×（Ｌ／Ｗ） ・・・式（１）
Ｅ_ｉ＝Ｓ_ｉ＋１ ・・・式（２）
その後、変数ｉをインクリメントした後に（ステップＳ２０６）、ステップＳ２０３に戻りｉ≧Ｗの関係が成立するまでステップＳ２０４〜ステップＳ２０６を繰り返す。

以上の処理を通じて、変数ｉがｉ＝０からｉ＝Ｗ−１までインクリメントされることにより、Ｗ個の処理区間Ｐ_ｉで構成される処理区間データが図４のように計算される。

最後に、解析処理管理部１２３が、求めた処理区間データを処理区間記憶部１２２から読み出して、図５に示すように、各処理区間Ｐ_ｉの開始タイムスタンプＳ_ｉ及び終了タイムスタンプＥ_ｉを各処理ワーカ部１３２にそれぞれ割り当てる（ステップＳ２０７）。

続いて、図２に戻り、各処理ワーカ部１３２は、それぞれに割り当てられた各処理区間Ｐ_ｉのフレーム画像群から予め設定された時間間隔毎のフレーム画像を順次取得し、その取得したフレーム画像からテロップ領域を検出する（ステップＳ３）。

例えば、特許文献１，２に記載されているように、文字の濃淡レベルが走査線上で凸状又は凹状であることに着目し、凸状又は凹状の濃淡変化を持つ隣接エッジのペア数を計算して、フレーム画像の水平方向及び垂直方向でのエッジペアの総数が所定の設定範囲内に属する領域をテロップ領域として検出する。それ以外の検出方法を用いても構わない。

その後、定常表示テロップ判定部１４２は、テロップ表示回数計算部１４１で計算された画素のテロップ表示回数を用いて、ステップＳ３で検出されたテロップ領域に定常表示テロップ領域が含まれているか否かを判定する（ステップＳ４）。

ここで、テロップ領域に定常表示テロップ領域が存在する場合、フレームマスク生成部１４３は、その定常表示テロップ領域の位置をマスクするマスク画像を生成する（ステップＳ５）。

一方、テロップ領域に定常表示テロップ領域が存在しない場合、フレームマスク生成部１４３は、フレーム画像の全画素をテロップ検出対象とするマスク画像を生成する（ステップＳ６）。

その後、各処理ワーカ部１３２は、ステップＳ５又はステップＳ６で生成されたマスク画像を適用したフレーム画像からテロップ領域を検出する（ステップＳ７）。

このステップＳ７では、定常表示テロップ領域の位置がマスクされた状態でテロップ領域を検出するため、定常表示テロップの継続表示に基づく処理区間の延長は発生しないことから、映像視聴の支援に利用できる有用な非定常表示テロップのみを正確に検出することができる。

また、ステップＳ３やステップＳ７のテロップ検出処理を各処理区間毎に並行して実行するため、エッジ検出等を伴う処理の重たいテロップ領域の検出処理が並列分散されることから、非定常表示テロップを高速に検出することができる。

その後、検出結果統合部１６は、ステップＳ７において各処理ワーカ部１３２によりそれぞれ行われたテロップ領域の検出処理の各中間結果を統合し（ステップＳ８）、映像データのテロップ検出結果として統合結果記憶部１７に記憶させる（ステップＳ９）。

以下では、ステップＳ３〜ステップＳ９の処理について詳述する。まず、図６を参照しながら、テロップ検出部１３で行うテロップ検出処理について詳述する。

＜テロップ検出処理＞
最初に、テロップ検出部１３は、テロップ領域を検出する前に、画素のテロップ表示回数の計測周期Ｔをテロップ検出処理周期Ｆ以上の時間間隔で設定し、テロップ検出処理回数をカウントする処理回数カウンタｃを初期化する（ステップＳ３０１）。

例えば、テロップ領域の検出処理を５００ｍｓ毎に実行する場合、テロップ表示回数の計測周期Ｔを５００ｍｓ又は１０００ｍｓに設定する。これにより、テロップ領域の検出処理が１回実行されると、画素のテロップ表示回数が１回又は２回計測されることになる。

次に、各処理ワーカ部１３２は、各処理区間Ｐ_ｉの開始点フレームまでシークして、それぞれに割り当てられた処理区間Ｐ_ｉのフレーム画像群を取得し（ステップＳ３０２）、開始点フレームのフレーム画像を用いてテロップ領域の検出処理を各処理区間毎に並行して実行する（ステップＳ３０３）。

次に、テロップ検出処理周期Ｆに処理回数カウンタｃを乗算して計測周期Ｔで割った際の剰余値が０であり、かつテロップ領域が検出されている場合にのみ、そのテロップ領域の座標位置をテロップ表示回数計算部１４１に送信する（ステップＳ３０４）。

このとき、テロップ表示回数計算部１４１によって、その座標位置に対応する画素のテロップ表示回数がカウントされ、そのカウント結果に基づいて、フレームマスク生成部１４３によりマスク画像が生成される。

続いて、各処理ワーカ部１３２は、テロップ検出処理を１回実行する毎に処理回数カウンタｃをインクリメントし（ステップＳ３０５）、現在処理中のフレーム画像が各処理区間の終了点フレームのフレーム画像か否かを判定する（ステップＳ３０６）。

各処理区間の終了点フレームのフレーム画像でない場合、割り当てられた各処理区間内の次のフレーム画像を取得し（ステップＳ３０７）、フレームマスク生成部１４３によって生成されたマスク画像を当該フレーム画像に適用する（ステップＳ３０８）。

そして、ステップＳ３０８の後にステップＳ３０３に戻り、各処理ワーカ部１３２は、マスク画像適用後のフレーム画像からテロップ領域を検出する（ステップＳ３０３’）。以降、各処理区間内の終了点フレームに到達するまでフレーム画像を順次取得しながらステップＳ３０３〜ステップＳ３０８を繰り返す。

後述するように、マスク画像によってマスクされた画素の濃淡レベル（例えば、輝度値又は彩度値）は０になるため、ステップＳ３０３’におけるテロップ領域の検出処理では処理対象外となる。これにより、定常表示テロップ領域に基づく不要な処理区間の延長がなくなり、有用な非定常表示テロップのみを正確に検出することができる。

一方、ステップＳ３０６の判定の結果、現在処理中のフレーム画像が各処理区間の終了点フレームのフレーム画像である場合には、テロップ領域を現在検出中であるか否かを判定する（ステップＳ３０９）。

テロップ領域を検出中の場合、次の処理区間のフレーム画像を取得して（ステップＳ３１０）、前述したステップＳ３０８を実行する。以降、検出中のテロップが出現しなくなるまで処理区間を延長し、ステップＳ３０３〜ステップＳ３０６、ステップＳ３０９、ステップＳ３１０を繰り返す。

ステップＳ３０９の判定の結果、テロップ領域を未検出中の場合には、各処理区間でのテロップ領域の検出処理をこれ以上継続する必要がないことから、それぞれのテロップ検出処理によって得られた各検出結果を中間結果として中間結果記憶部１５に記憶させ（ステップＳ３１１）、テロップ領域の検出処理を終了する。

＜定常表示テロップ検出処理＞
次に、図７を参照しながら、定常表示テロップ検出部１４で行う定常表示テロップ検出処理について詳述する。

最初に、テロップ表示回数計算部１４１は、各処理ワーカ部１３２から送信されたテロップ領域の座標位置を受信して、各画素のテロップ表示回数をカウントする（ステップＳ４０１）。

テロップ表示回数のカウント方法としては、例えば、テロップ表示回数に初期値として０を与え、テロップ領域に含まれている回数に応じてテロップ表示回数をインクリメントしていくことが考えられる。これにより、テロップ領域に１回も含まれなかった画素のテロップ表示回数は０となり、テロップ領域に含まれた画素のテロップ表示回数は当該含まれた回数に応じて増加することになる。

その他、例えば、３つの処理ワーカ部１３２がそれぞれテロップ領域を検出し、それぞれのテロップ領域に同じ位置の画素が含まれている場合には、その画素のテロップ表示回数に当該テロップ領域を検出した処理ワーカ部１３２の数を更に加算しても構わない（図８）。

次に、定常表示テロップ判定部１４２は、テロップ表示回数計算部１４１から各画素のテロップ表示回数を取得して頻度ヒストグラムを生成する（ステップＳ４０２）。

続いて、定常表示テロップ判定部１４２は、その頻度ヒストグラムから閾値以上のテロップ表示回数を持つ画素が存在するか否かを判定する（ステップＳ４０３）。

閾値以上のテロップ表示回数を持つ画素が存在する場合、その画素群を定常表示テロップ領域として設定し（ステップＳ４０４）、そのような画素が存在しない場合、その画素群を定常表示テロップ領域以外の領域として設定する（ステップＳ４０５）。

この閾値は、定常表示テロップ領域の画素とそれ以外の画素とを分離するために用いる値であり、処理前に予め設定された固定値を用いてもよいし、各画素のテロップ表示回数から生成された頻度ヒストグラムに基づいて処理中に動的に決定してもよい。処理中に閾値を動的に決定する計算方法としては、例えば、判別識別法、最小二乗法、モード法等の既存の自動２値化アルゴリズムを利用できる。

尚、図８を用いて説明したように各画素のテロップ表示回数を処理ワーカ部１３２の数に比例させてもよいため、閾値として固定値を用いる場合には、以下の式（３）を用いて、全ての処理ワーカ部１３２のうち何割の処理ワーカ部１３２がテロップ領域を検出したかを計算して閾値Ｔｈを決定してもよい。αは上位ｎパーセント（ｎは自然数）に含まれる割合であり、Ｗは処理ワーカ部の数である。

Ｔｈ＝α×Ｗ ・・・式（３）
次に、フレームマスク生成部１４３は、定常表示テロップ判定部１４２から判定結果を取得し、解析処理管理部１２３からフレーム画像のサイズを取得する（ステップＳ４０６）。

そして、処理対象の映像データのフレーム画像と同じ大きさで、定常表示テロップ領域に含まれる座標位置の画素値を０とし、それ以外の座標位置の画素値を１とするマスク画像を生成する（ステップＳ４０７）。

以上の処理を通じて、定常表示テロップ領域の位置の画素のみに０が設定され、それ以外の画素に１が設定されたマスク画像が生成される。特に、ステップＳ４０３の判定の結果、定常表示テロップ領域と判定された画素が全くない場合には、全ての画素値に１を設定することにより、全画素をテロップ検出対象とするマスク画像を生成する。

上記ステップＳ３０３’で説明したように、各処理ワーカ部１３２は、ここで生成されたマスク画像をフレーム画像に適用してテロップ領域の検出処理を実行することになる。

具体的には、各処理ワーカ部１３２は、元となる元フレーム画像の各画素値ｐ（ｘ，ｙ）とマスク画像の各画素値ｑ（ｘ，ｙ）とを積算して各画素値ｐ’（ｘ，ｙ）からなるマスク画像適用後のフレーム画像を生成し（図９）、テロップ領域の検出処理を実行する。

マスク画像の座標（ｘ，ｙ）の画素値ｑ（ｘ，ｙ）が０の場合には、式（４）より、マスク画像適用後のフレーム画像の座標（ｘ，ｙ）の画素値ｐ’（ｘ，ｙ）は０となる。

一方、マスク画像の座標（ｘ，ｙ）の画素値ｑ（ｘ，ｙ）が１の場合には、式（５）より、マスク画像適用後のフレーム画像の座標（ｘ，ｙ）の画素値ｐ’（ｘ，ｙ）は元フレーム画像の座標（ｘ，ｙ）の画素値ｐ（ｘ，ｙ）となる。

ｐ’（ｘ，ｙ）＝０ （ｑ（ｘ，ｙ）＝０） ・・・式（４）
ｐ’（ｘ，ｙ）＝ｐ（ｘ，ｙ） （ｑ（ｘ，ｙ）＝１） ・・・式（５）
以上説明した全ての処理動作を通じて、統合結果記憶部１７には、統合後のテロップ検出結果として、テロップ領域が継続表示されている映像区間の開始タイムスタンプ（開始フレーム位置情報）及び終了タイムスタンプ（終了フレーム位置情報）と、当該テロップ領域の座標位置とが関連付けて記憶されることになる。

このような統合後のテロップ検出結果をデータ出力装置（図１）を用いて画面等に出力し又はテキストファイルで読み出すことにより、ユーザは特定シーンへのアクセスといった効率的な視聴支援に役立てることができる。

最後に、テロップ検出装置１の実装例を図１０に示す。図１０（ａ）は、マルチコアＣＰＵの１つのコア１が解析処理管理部１２３として機能し、これに接続された複数のコア２〜コア４が複数の処理ワーカ部１３２として機能する場合の実装例を示している。

図１０（ｂ）は、１台のサーバが解析処理管理部１２３として機能し、これに接続された複数の解析サーバ１〜解析サーバコア３が複数の処理ワーカ部１３２として機能する場合の実装例を示している。

上記以外にも、マルチコアＣＰＵを持つ複数のサーバによりテロップ領域の検出処理を並行して行うようにしてもよい。各処理ワーカ部１３２が独立して動作可能な環境であれば、その各処理ワーカ部１３２の構築形態は問わない。

以上より、本実施の形態によれば、映像データを構成しているフレーム画像群を時間軸に沿って複数に分割し、分割された各フレーム画像群のフレーム画像から映像全体に渡って表示される定常表示テロップ領域を検出し、定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するので、時間やロゴマークといった定常表示テロップ以外のテロップのみを高速かつ正確に検出できる。

１…テロップ検出装置
１１…映像記憶部
１２…映像データ分割部（映像データ分割手段）
１２１…処理区間計算部
１２２…処理区間記憶部
１２３…解析処理管理部
１３…テロップ検出部（テロップ検出手段）
１３１…映像取得部
１３２…処理ワーカ部
１４…定常表示テロップ検出部（定常表示テロップ検出手段）
１４１…テロップ表示回数計算部（テロップ表示回数計算手段）
１４２…定常表示テロップ判定部（定常表示テロップ判定手段）
１４３…フレームマスク生成部（マスク画像生成手段）
１５…中間結果記憶部
１６…検出結果統合部
１７…統合結果記憶部
Ｓ１〜Ｓ９、Ｓ２０１〜Ｓ２０７、Ｓ３０１〜Ｓ３１１、Ｓ４０１〜Ｓ４０７…ステップ

Claims (5)

1. 映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割手段と、
   分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出手段と、
   記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出手段と、を有し、
   前記テロップ検出手段は、
   マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を各フレーム画像群毎に並行して検出する複数のテロップ検出手段であって、
   前記定常表示テロップ検出手段は、
   フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算し、各テロップ検出手段でそれぞれ検出された各テロップ領域に同じ位置の画素が含まれている場合には、当該画素のテロップ表示回数に当該検出されたテロップ検出手段の数を加算するテロップ表示回数計算手段と、
   各画素のテロップ表示回数のヒストグラムを生成し、閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定手段と、
   前記定常表示テロップ領域と判定された画素をテロップ検出対象外とするマスク画像を生成するマスク画像生成手段と、
   を有することを特徴とするテロップ検出装置。
2. 映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割手段と、
   分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出手段と、
   記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出手段と、を有し、
   前記テロップ検出手段は、
   マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を検出し、
   前記定常表示テロップ検出手段は、
   フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算するテロップ表示回数計算手段と、
   各画素のテロップ表示回数に基づいて閾値を決定し、当該閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定手段と、
   前記定常表示テロップ領域と判定された画素がない場合、全画素をテロップ検出対象とするマスク画像を生成するマスク画像生成手段と、
   を有することを特徴とするテロップ検出装置。
3. コンピュータにより、
   映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割ステップと、
   分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出ステップと、
   記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出ステップと、を有し、
   前記テロップ検出ステップでは、
   複数のテロップ検出手段により、マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を各フレーム画像群毎に並行して検出し、
   前記定常表示テロップ検出ステップでは、
   フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算し、各テロップ検出手段でそれぞれ検出された各テロップ領域に同じ位置の画素が含まれている場合には、当該画素のテロップ表示回数に当該検出されたテロップ検出手段の数を加算するテロップ表示回数計算ステップと、
   各画素のテロップ表示回数のヒストグラムを生成し、閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定ステップと、
   前記定常表示テロップ領域と判定された画素をテロップ検出対象外とするマスク画像を生成するマスク画像生成ステップと、
   を有することを特徴とするテロップ検出方法。
4. コンピュータにより、
   映像データを構成しているフレーム画像群を時間軸に沿って複数に分割する映像データ分割ステップと、
   分割された各フレーム画像群のフレーム画像から前記映像データの映像全体に渡って表示される定常表示テロップ領域を検出する定常表示テロップ検出ステップと、
   記憶手段から前記映像データを読み出して、前記定常表示テロップ領域の位置をマスクするマスク画像を各フレーム画像群のフレーム画像に適用し、マスク画像適用後のフレーム画像からテロップ領域を各フレーム画像群毎に並行して検出するテロップ検出ステップと、を有し、
   前記テロップ検出ステップでは、
   マスク画像適用前のフレーム画像から前記定常表示テロップ領域を含むテロップ領域を検出し、
   前記定常表示テロップ検出ステップでは、
   フレーム画像内の各画素が前記テロップ領域に含まれるテロップ表示回数を計算するテロップ表示回数計算ステップと、
   各画素のテロップ表示回数に基づいて閾値を決定し、当該閾値以上のテロップ表示回数の画素を前記定常表示テロップ領域と判定する定常表示テロップ判定ステップと、
   前記定常表示テロップ領域と判定された画素がない場合、全画素をテロップ検出対象とするマスク画像を生成するマスク画像生成ステップと、
   を有することを特徴とするテロップ検出方法。
5. コンピュータを請求項１又は２に記載のテロップ検出装置として機能させるためのテロップ検出プログラム。

Images