JP4930364B2 - 映像文字検出方法、装置、およびプログラム - Google Patents

Description

本発明は映像解析方法、映像解析装置、および映像解析プログラムに関し、特に放送映像中のテロップ文字を検出する映像文字検出方法、映像文字検出装置、および映像文字検出プログラムに関する。

放送のテロップに代表されるような、映像中に現れる文字等の図形を検出し、認識する技術が種々提案されている。

例えば特許文献１は、映像中の連続フレームを解析して輝度平均・分散や固定エッジなどを調べ、映像中のテロップを検出し認識する技術についての発明を開示している。特許文献２は、映像中のシーンチェンジ前後に探索範囲を絞ってテロップを検出する技術についての発明を開示している。特許文献３は、放送映像を各種解析手法で区間分割し、各区間の重要度を判定して、重要度に従い再生速度を変更し、ダイジェスト映像を作成する技術についての発明を開示している。
特許第００３６９２０１８号(特開２００１−２８５７１６号公報) 特開２００７−６４５４号公報 特開２００５−２５２３７２号公報

放送映像に重畳されるテロップは通常、視聴者の可読性を考慮して一定時間継続される場合が大半である。すなわち各フレームにつき独立してテロップが現れることは稀であり、時間軸上では局所的な映像区間に集中して表示される場合が多い。

上記の発明には、このような特性を持つテロップを検出するために映像中の多数のフレームを連続して密に探索するものがある。これは入力映像として放送映像などを扱うなどリアルタイム映像を前提にしているほか、各フレームにテロップが独立して発生することを仮定しており、上記のテロップの出現パタンとは乖離するものである。すなわち連続フレームで継続表示されるテロップを個別に再度検出してしまうなど無駄が多く、実際のテロップを検出するには処理負荷上非効率的であった。このため、多数の映像を含むアーカイブにつきテロップ認識するのは困難であった。

本発明の目的は、主に既に記録された蓄積オフライン映像において、効率的な追跡・探索を行え、処理量を削減できる映像文字検出方法、装置、およびプログラムを提供することにある。

本発明の映像文字検出装置はフレーム取得手段とフレーム解析手段とフレーム取得間隔設定手段とテロップ検出手段を有する。

フレーム取得手段は、入力として与えられたテロップを含む映像からフレームを取得する。フレーム解析手段は、フレーム取得手段で得られたフレームを解析し、テロップの存在する可能性を推定する処理を行う。フレーム取得間隔設定手段は、フレーム取得手段で得られたフレームについて、フレーム解析手段によって得られたテロップの存在可能性の推定結果をもとに、フレーム取得手段で取得する、次の処理対象とするフレームまでの時間間隔を変更する。テロップ検出手段は、フレーム解析手段によって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行う。

本発明は、映像中の散在するテロップ文字列を、一定間隔でフレーム走査する場合に比べて効率的に検出して認識することができ、その処理量を削減できる効果がある。その理由は、テロップ文字の無い映像区間や、同一の文字が表示されていると思しき映像区間の処理を回避しつつ、テロップ文字が存在すると思しき映像区間や新しいテロップ文字の出現可能性の高い映像区間を集中的に探査するためである。すなわち、オフラインの映像の全フレームに対するテロップ探索を回避し、テロップの存在する可能性の高いフレームを探索して効率的にテロップを検出するからである。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

［第１の実施の形態］
図１を参照すると、本発明の第１の実施の形態の映像文字検出装置はフレーム取得部１１Ａとフレーム解析部１２Ａとフレーム取得間隔設定部１３Ａとテロップ検出部１４Ａを有する。

フレーム取得部１１Ａは、入力として与えられた、テロップを含む映像からフレームを取得する。フレーム解析部１２Ａは、フレーム取得部１１Ａによって得られたフレームにつき、エッジ、差分、カラーヒストグラムなどのフレーム特徴量を求め、これを用いてテロップの存在する可能性を推定するフレーム解析処理を行う。フレーム取得間隔設定部１３Ａは、フレーム取得部１１Ａによって得られたフレームにつき、フレーム解析部１２Ａによって得られたテロップの存在可能性の推定結果、すなわち直前フレームにおけるテロップ文字検出の有無を用いて、フレーム取得部１１Ａにおける次の処理対象としての取得フレームまでの時間間隔を変更する処理を行う。テロップ検出部１４Ａは、フレーム解析部１２Ａによって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行う。

次に、図１および図２のフローチャートを参照して本実施の形態の映像文字検出装置の動作について詳細に説明する。

テロップを含む映像から、フレーム取得部１１Ａによってフレームが取得され(ステップ１０１)、フレーム解析部１２Ａに与えられる。フレーム解析部１２Ａでは、エッジ、差分、カラーヒストグラムなどのフレーム特徴量を求め、これを用いてテロップの存在する可能性を推定するフレーム解析処理が行われる(ステップ１０２)。フレーム解析部１２Ａによってテロップが存在すると推定された場合には、当該フレームをテロップ検出部１４Ａに与えて、テロップの存在する領域を詳細に検出する処理が行われる(ステップ１０３)。このテロップ検出については既存の手法を用いてよい。得られたテロップ検出領域についての情報、例えば矩形範囲やフレーム番号などは、検出結果として出力される。さらに、上記のテロップ検出処理(ステップ１０３)と並行して、フレーム解析部１２Ａにおけるフレーム解析処理結果に基づき、フレーム取得間隔設定部１３Ａにおいてフレーム間引きの間隔を変更する処理が行われる(ステップ１０４)。概略としては、フレーム解析部１２Ａによってあるフレームについてテロップが存在すると推定された場合には、フレーム取得部１１Ａにおける当該フレームからのフレーム間引きの間隔を狭くする。逆に、フレーム解析部１２Ａによってテロップの存在確率が低いとされた際には、フレーム取得部１１Ａにおける当該フレーム間引き間隔を広げる。

このフレーム取得間隔設定部１３Ａでのフレーム間引きの間隔設定処理(ステップ１０４)を、図３に示す模式図を参照して具体的に説明する。入力映像の各フレームを図中左から右の時間軸順に取り出しながら、フレーム解析処理を行い、テロップの存在確率を調べる。テロップはフレーム単位で明滅することは稀であり、その出現区間は連続性をもつと考えられる。すなわち、あるフレームについてテロップが存在しないと判定された場合(図中で×を付加したフレーム)には、そのフレームの近くにはテロップが現れる可能性が少ないと考えられるので、次のフレームを取得するフレーム間隔を広げる。これに対して、テロップが存在するものと推定されたフレーム(図中で○を付加したフレーム)については、時間的に近接するフレームにおいても継続してテロップが表示されているものと考えられるため、フレーム取得の間隔を狭くする。このような処理で入力映像から選択されたフレーム群のみを、テロップ検出部１４Ａにおける以降のテロップ検出処理に与える。これによって、テロップ文字が無いと思われる映像区間では粗く、テロップ文字がありそうな映像区間では細かく探索できる。

次に、本実施の形態の効果について説明する。本実施の形態では、文字の無い映像区間や、同一の文字が表示されていると思しき映像区間の処理を回避しつつ、文字のありそうな映像区間や新しいテロップ文字列の出現可能性の高い映像区間を集中的に探査することで映像中の散在するテロップ文字列を、一定間隔でフレーム走査する場合に比べて効率的に検出することができる。そのため、多数の映像が蓄積された映像アーカイブに対して効率的にテロップ検出やその後の認識などの処理を行える。これによって、多数の映像コンテンツを含むデータベースのメタデータ作成や、検索その他の応用展開が容易となる。

［第２の実施の形態］
図４を参照すると、本発明の第２の実施の形態の映像文字検出装置はフレーム取得部１１Ｂとフレーム解析部１２Ｂとフレーム取得間隔設定部１３Ｂとテロップ検出部１４Ｂを有する。

第２の実施の形態の動作を、第１の実施の形態との相違点を中心に、図５を参照して説明する。

フレームが与えられたフレーム解析部１２Ｂでは、テロップの存在の検知を行い、テロップがあると判断されたフレームをテロップ検出部１４Ｂに与える。テロップ検出部１４Ｂ内のフレーム取得間隔設定部１３Ｂでは、フレームに含まれるテロップの出現位置を特定し、縦ないし横にスクロールするかどうかをフレーム間で追跡して判定する。スクロールテロップと判断されたテロップについては、推定した移動速度が維持されるものと仮定し、現フレームでの検出位置からスクロールを継続し、画面外に出るまでのフレーム数を推定する。フレーム取得間隔設定部１３Ｂは、この推定フレーム数を、現フレームからのスキップフレーム数としてフレーム取得部１１Ｂに設定する。フレーム取得部１１Ｂは、該スキップフレーム数だけ当該スクロールテロップが出現する間のフレームをスキップし、画面外に消滅した時点のフレームを次フレームとして取得する。

本実施の形態によれば、継続表示されている同一のスクロールテロップを繰り返し検出ないし認識することを回避して、探索を効率化できる。

［第３の実施の形態］
図６を参照すると、本発明の第３の実施の形態の映像文字検出装置はフレーム取得部１１Ｃとフレーム解析部１２Ｃとフレーム取得間隔設定部１３Ｃとテロップ検出部１４Ｃを有する。

第３の実施の形態の動作を、第１の実施の形態との相違点を中心に、図７を参照して説明する。

フレームが与えられたフレーム解析部１２Ｃは、テロップの存在の検知を行い、テロップがあると判断されたフレームをテロップ検出部１４Ｃに与える。テロップ検出部１４Ｃ内のフレーム取得間隔設定部１３Ｃは、フレームに含まれるテロップの出現位置を特定し、縦ないし横にスクロールするかどうかをフレーム間で追跡して判定する。このうち、同一箇所に継続して表示されている静止テロップと判断されたものについては、その検出箇所に対応する所定のテロップ表示時間基準を参照して、次フレーム取得までの間隔を決定する。このテロップ表示時間基準は、多くの場合静止テロップは通常可読性のため一定時間以上継続表示されることを踏まえて定められるもので、画面内の位置に依存するフレーム数の分布として設定する。これは図７の画面中央に表示される静止テロップは頻繁に切り替わり表示時間は比較的短いのに対して、画面隅に表示される静止テロップでは、あるトピックについて継続表示されるなど比較的長い場合が多い知見を考慮しているためである。フレーム取得間隔設定部１３Ｃは、このテロップ表示時間基準フレーム数を、現フレームからのスキップフレーム数としてフレーム取得部１１Ｃに設定する。フレーム取得部１１Ｃは、当該静止テロップが出現する間のフレームをスキップして、次フレームの取得を行う。

本実施の形態によれば、継続表示されている同一の静止テロップを繰り返し検出ないし認識することを回避して、探索を効率化できる。

［第４の実施の形態］
本発明の映像文字検出装置は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

［変形例］
本発明は上記の実施の形態に限られるものではなく、本発明の範囲内で種々の変形、修正が可能である。

例えば、第２の実施の形態と、第３の実施の形態を組み合わせ、静止テロップとスクロールテロップのそれぞれを並行して処理する構成としてもよい。

また、静止テロップについてスキップしたフレームの前後で認識結果が異なる場合には、時間軸の逆方向に所定フレーム数戻って再度探索を行い、テロップ表示の更新されたフレームを検出してもよい。

さらに、スキップ中新規に出現した別テロップを発見できるように、処理スキップをテロップの検出された領域に限定しつつ、フレームの他の部分では探索を継続するようにしてもよい。

あるいは、映像に音声が付随する場合には、その音声を既存の手法で認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くするなど、認識音声情報を用いてフレーム取得間隔を設定するようにしてもよい。

第３の実施の形態の変形例として、所定のテロップ表示時間基準の代わりに、事前ないしリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いてもよい。

なお、上記におけるすべての構成において、テロップ検出出力部の検出テロップ出力を既知の手法を用いるテロップ認識手段に与えてその表示内容を認識するようにしてもよい。

本発明によれば、多数の放送映像に含まれる情報を抽出し、展開応用を容易にするシステムに広く適用できる。たとえば、映像コンテンツを含むデータベースのメタデータ作成や、映像検索システムにおけるサムネイル画像などによるインデクス作成等の用途に用いることができる。

本発明の第１の実施の形態の映像文字検出装置のブロック図である。 第１の実施の形態の映像文字検出装置の動作を示すフローチャートである。 第１の実施の形態におけるフレーム取得間隔設定部１３Ａの動作を説明する模式図である。 本発明の第２の実施の形態の映像文字検出装置のブロック図である。 第２の実施の形態におけるフレーム取得間隔設定部１３Ｂの動作を説明する模式図である。 本発明の第３の実施の形態の映像文字検出装置のブロック図である。 第３の実施の形態において対象とするテロップを含む映像の画面例を表す模式図である。

符号の説明

１１Ａ、１１Ｂ、１１Ｃ フレーム取得部
１２Ａ、１２Ｂ、１１Ｃ フレーム解析部
１３Ａ、１３Ｂ、１３Ｃ フレーム取得間隔設定部
１４Ａ、１４Ｂ、１４Ｃ テロップ検出部

Claims (18)

1. 入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得ステップと、
   前記フレーム取得ステップより得られたフレームを解析し、テロップの存在する可能性を推定する処理を行うフレーム解析ステップと、
   前記フレーム取得ステップで得られたフレームについて、前記フレーム解析ステップによって得られたテロップの存在可能性の推定結果をもとに、前記フレーム取得ステップで取得する、次の処理対象とするフレームまでの時間間隔を変更するフレーム取得間隔設定ステップと、
   前記フレーム解析ステップによって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行うテロップ検出ステップと
   を有する映像文字検出方法。
2. 前記フレーム取得間隔設定ステップは、前記フレーム解析ステップによって得られたテロップの存在可能性の推定結果を用い、テロップが存在しないと推定されたフレームについては、次処理対象とするフレームまでの時間間隔を大きくし、テロップが存在すると推定されたフレームについては、次処理対象とするフレームまでの時間間隔を小さくする、請求項１記載の映像文字検出方法。
3. 前記フレーム取得間隔設定ステップは、画面中を移動するテロップの現フレームにおける画面内検出位置と推定移動速度より、当該テロップが画面内に残留する時間を推定して次処理対象とするフレームまでの時間間隔とする、請求項１記載の映像文字検出方法。
4. 前記フレーム取得間隔設定ステップは、同一箇所に継続表示される静止テロップの検出箇所に対応する所定のテロップ表示時間基準を参照して、次処理対象とするフレームまでの時間間隔とする、請求項１記載の映像文字検出方法。
5. 前記フレーム取得間隔設定ステップは、前記所定のテロップ表示時間基準の代わりに、事前にまたはリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いる、請求項４記載の映像文字検出方法。
6. 前記フレーム取得間隔設定ステップは、映像に音声が付随する場合には、その音声を認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くする、請求項１記載の映像文字検出方法。
7. 入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得手段と、
   前記フレーム取得手段より得られたフレームを解析し、テロップの存在する可能性を推定する処理を行うフレーム解析手段と、
   前記フレーム取得手段で得られたフレームについて、前記フレーム解析手段によって得られたテロップの存在可能性の推定結果をもとに、前記フレーム取得手段で取得する、次の処理対象とするフレームまでの時間間隔を変更するフレーム取得間隔設定手段と、
   前記フレーム解析手段によって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行うテロップ検出手段と
   を有する映像文字検出装置。
8. 前記フレーム取得間隔設定手段は、前記フレーム解析手段によって得られたテロップの存在可能性の推定結果を用い、テロップが存在しないと推定されたフレームについては、次処理対象とするフレームまでの時間間隔を大きくし、テロップが存在すると推定されたフレームについては、次処理対象とするフレームまでの時間間隔を小さくする、請求項７記載の映像文字検出装置。
9. 前記フレーム取得間隔設定手段は、画面中を移動するテロップの現フレームにおける画面内検出位置と推定移動速度より、当該テロップが画面内に残留する時間を推定して次処理対象とするフレームまでの時間間隔とする、請求項７記載の映像文字検出装置。
10. 前記フレーム取得間隔設定手段は、同一箇所に継続表示される静止テロップの検出箇所に対応する所定のテロップ表示時間基準を参照して、次処理対象とするフレームまでの時間間隔とする、請求項７記載の映像文字検出装置。
11. 前記フレーム取得間隔設定手段は、前記所定のテロップ表示時間基準の代わりに、事前にまたはリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いる、請求項１０記載の映像文字検出装置。
12. 前記フレーム取得間隔設定手段は、映像に音声が付随する場合には、その音声を認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くする、請求項７記載の映像文字検出装置。
13. 入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得手順と、
    前記フレーム取得手順より得られたフレームを解析し、テロップの存在する可能性を推定する処理を行うフレーム解析手順と、
    前記フレーム取得手順で得られたフレームについて、前記フレーム解析手順によって得られたテロップの存在可能性の推定結果をもとに、前記フレーム取得手順で取得する、次の処理対象とするフレームまでの時間間隔を変更するフレーム取得間隔設定手順と、
    前記フレーム解析手順によって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行うテロップ検出手順と
    をコンピュータに実行させるための映像文字検出プログラム。
14. 前記フレーム取得間隔設定手順は、前記フレーム解析手順によって得られたテロップの存在可能性の推定結果を用い、テロップが存在しないと推定されたフレームについては、次処理対象とするフレームまでの時間間隔を大きくし、テロップが存在すると推定されたフレームについては、次処理対象とするフレームまでの時間間隔を小さくする、請求項１３記載の映像文字検出プログラム。
15. 前記フレーム取得間隔設定手順は、画面中を移動するテロップの現フレームにおける画面内検出位置と推定移動速度より、当該テロップが画面内に残留する時間を推定して次処理対象とするフレームまでの時間間隔とする、請求項１３記載の映像文字検出プログラム。
16. 前記フレーム取得間隔設定手順は、同一箇所に継続表示される静止テロップの検出箇所に対応する所定のテロップ表示時間基準を参照して、次処理対象とするフレームまでの時間間隔とする、請求項１３記載の映像文字検出プログラム。
17. 前記フレーム取得間隔設定手順は、前記所定のテロップ表示時間基準の代わりに、事前にまたはリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いる、請求項１６記載の映像文字検出プログラム。
18. 前記フレーム取得間隔設定手順は、映像に音声が付随する場合には、その音声を認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くする、請求項１３記載の映像文字検出プログラム。

Images