JP3470938B2 - テロップ文字表示フレーム検出方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テロップ文字表示
フレーム検出方法及び装置に関し、特に、動画像を構成
する複数のフレームの中から文字が表示されているフレ
ームを検出する技術に適用して有効な技術に関するもの
である。

【０００２】

【従来の技術】動画像を構成する複数のフレームの中か
ら文字が含まれるフレームを検出する技術に関しては、
近年、多くの研究が行われており、その中でも、文字表
示と非表示の違いを反映したフレーム間の輝度差分に基
づいた方法が多く提案されている。

【０００３】それらの中で、フレーム間の輝度差分に加
え、フレーム内の輝度分布に基づいた特徴量を計算し、
文字が含まれるフレームを検出する方法として桑野，倉
掛，小高が提案されている“映像データ検索のためのテ
ロップ文字抽出法”（信学技報，ＰＲＭＵ９６-９８，
ｐｐ３９-４６，（１９９６））がある。これは、各フ
レームを複数の部分矩形領域に分割しておき、各フレー
ムの各部分矩形領域毎に前時刻のフレームの対応する部
分矩形領域との間の輝度ヒストグラム差分値が設定した
閾値よりも大きく、かつ後時刻のフレームの対応する部
分矩形領域との間で継続して存在位置が変わらない高コ
ントラスト部分の面積の値を求め、この値が設定した閾
値よりも大きい場合、このフレームを文字出現フレーム
候補とし、次にこのフレーム内で方向情報を伴うエッジ
検出を行い、フレーム内の予め設定した局所範囲内で、
エッジの数、及びエッジの方向分散値が予め設定した閾
値より大きい場合、該フレームを文字出現フレームとす
る方法をとっている。

【０００４】

【発明が解決しようとする課題】しかしながら、前記従
来手法においては、高コントラスト部を多く含み、得ら
れるエッジ点の数、及びエッジの方向分散値が高いテロ
ップ文字以外の物体（例えば、市松模様の服装、一人一
人の着ている服の色が異なる群衆）などが出現後、一定
時間静止して表示される場合に、これらの物体の出現時
のフレームをテロップ文字表示フレームとして誤検出す
るという問題があった。

【０００５】本発明の目的は、画像特徴の不安定性によ
るテロップ文字表示フレーム検出失敗、及び過剰検出を
低減することが可能な技術に関するものである。

【０００６】本発明の他の目的は、誤検出の割合を削減
し、テロップ文字表示フレーム検出精度を向上させるこ
とが可能な技術を提供することにある。

【０００７】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、文字表示フレーム検出方法において、動
画像をフレーム単位に入力し、この入力された各フレー
ムを互いに重なりを許さない予め設定した複数個の部分
ブロックに分割し、この部分ブロックに分割された各フ
レームにおいて、各部分ブロック毎に、予め決められた
方法を用いてテロップ文字表示フレーム候補を検出し、
テロップ文字表示フレーム候補の条件を満たした部分ブ
ロックを互いに重なりを許さない予め設定した複数個の
サブ部分ブロック領域に分割し、この分割された各サブ
部分ブロックに対してエッジ検出を行い、エッジ検出の
結果の画像であるエッジ検出結果画像及び元の濃淡画像
を予め設定した複数の異なる方向にスキャンし、各スキ
ャン方向の各走査線上に存在する各エッジに関して、そ
れらの勾配の方向を判断し、あるスキャン方向のある走
査線上で隣接する２つのエッジの勾配方向が反対方向で
ある場合、それらを１組のエッジペアとして数える数え
方で、サブ部分ブロック領域で予め設定した複数の異な
る方向の全てのスキャン方向毎にエッジペアの数を数
え、予め設定した複数の異なる方向の全てのスキャン方
向毎に求めたエッジペアの数の比を計算し、スキャン方
向別のエッジペアの比が予め設定した範囲内に入るかど
うかを判断し、スキャン方向毎のエッジペアの比が予め
設定した範囲内に入ると判断された場合、処理対象フレ
ーム中の未処理のサブ部分ブロック及び部分ブロックに
対しての以降の処理は行わず、処理対象フレームを文字
が表示されているフレームと判断し、そのフレームを蓄
積媒体に書き込むことを特徴とするものである。前記動
画像はフレーム単位で入力されてメモリに記憶される。

【０００９】また、文字表示フレーム検出装置におい
て、動画像をフレーム単位に入力して記憶する手段と、
各フレームを互いに重なりを許さない予め設定した複数
個の部分ブロックに分割する手段と、部分ブロックに分
割された各フレームにおいて、各部分ブロック毎に、予
め決められた方法を用いてテロップ文字表示フレーム候
補を検出する手段と、テロップ文字表示候補の条件を満
たした部分ブロックを互いに重なりを許さない予め設定
した複数個のサブ部分ブロック領域に分割する手段と、
各サブ部分ブロックに対して予め決められたエッジ検出
法を用いてエッジ検出処理を行う手段と、エッジ検出の
結果の画像であるエッジ検出結果画像及び元の濃淡画像
を予め設定した複数の異なる方向にスキャンし、スキャ
ン方向の各走査線上に存在する各エッジに関して、それ
らの勾配の方向を判断する手段と、あるスキャン方向の
ある走査線上で隣接する２つのエッジの勾配方向が反対
方向である場合、それらを１組のエッジペアとして数え
る数え方で、予め設定した複数の異なる方向の全てのス
キャン方向毎にエッジペアの数を数える手段と、予め設
定した複数の異なる方向の全てのスキャン方向毎に求め
たエッジペアの数の比を計算する手段と、スキャン方向
別のエッジペアの比が予め設定した範囲内に入るかどう
かを判断する手段と、スキャン方向毎のエッジペアの比
が予め設定した範囲内に入ると判断された場合、処理対
象フレーム中の未処理のサブ部分ブロック、及び部分ブ
ロックに対しての以降の処理は行わず、処理対象フレー
ムを文字が表示されているフレームと判断し、そのフレ
ームを蓄積媒体に書き込む手段を備えることを特徴とす
るものである。

【００１０】映像中のテロップ文字の内部の色は、単一
色であり、かつ文字周囲部分との色の関係はコントラス
トが高いという特徴を持つ。テロップ文字周囲部の色に
関しても単一色をとるという特徴を持つ。テロップ文字
を含む画像中の局所領域内でエッジ検出を行い、局所領
域を様々な方向からスキャンし、ある走査線上で隣接す
るエッジの勾配方向を調べた場合、テロップ文字輪郭部
から得られるエッジに関しては、テロップ文字、及び周
囲部の色特徴から、「登り」「下り」の順か、あるいは
「下り」「登り」の順という関係を持つ。（この関係を
持つ隣接する２つのエッジを「１組のエッジペア」と定
義する。）文字は様々な方向を持つストロークが存在す
るため、全てのスキャン方向でおおよそ均等な数のエッ
ジペアが得られるという性質を持つ。

【００１１】これに対し、高コントラスト部を多く含
み、得られるエッジ点の数、及びエッジの方向分散値が
高いという特徴を持つテロップ文字以外の物体に関し
て、通常、物体内部の色は様々なバリエーションがあ
り、かつ物体の周囲部の色との関係は、照明条件も考慮
した場合、必ずしも高コントラストではない。このこと
から、この物体を含む局所領域内でエッジ検出を行い、
局所領域を様々な方向からスキャンしても前述のエッジ
ペアの数は、各スキャン方向から均等に得られない場合
がある。

【００１２】したがって、前述のエッジ検出結果画像及
び元の濃淡画像を予め設定した方向にスキャンし、スキ
ャン方向の各走査線上に存在する各エッジに関して、そ
れらの勾配の方向を判断し、あるスキャン方向のある走
査線上で隣接する２つのエッジの勾配方向が反対方向で
ある場合、それらを１組のエッジペアとして数え、予め
設定した全てのスキャン方向毎にエッジペアの数を数
え、予め設定した全てのスキャン方向毎に求めたエッジ
ペアの数の比を計算し、スキャン方向別のエッジペアの
比が予め設定した範囲内に入るかどうかを判断し、スキ
ャン方向毎のエッジペアの比が予め設定した範囲内に入
ると判断された場合、処理対象フレーム中の未処理のサ
ブ部分ブロック及び部分ブロックに対しての以降の処理
は行わず、処理対象フレームを文字が表示されているフ
レームと判断し、蓄積媒体に書き込むことにより、従来
手法の問題点であったテロップ文字以外の高コントラス
ト部を持つ物体の出現時のフレームをテロップ文字表示
フレームとして誤検出することを抑制することができ
る。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施例を詳細に説明する。

【００１４】図１は本発明の実施形態（実施装置）の概
略構成を示すブロック構成図であり、１は処理対象の動
画像データを入力してメモリに記憶する動画像入力記憶
手段、２はテロップ文字表示フレーム候補検出手段であ
り、動画像入力記憶手段１で入力，記憶された動画像デ
ータから既存の方法を用いてテロップ文字が表示されて
いるフレームの候補を検出する。

【００１５】３はテロップ文字表示フレーム候補判断手
段であり、テロップ文字表示フレーム候補検出手段２で
検出されたテロップ文字表示フレーム候補に対して、フ
レーム内の輝度分布から得られる特徴量を用いてテロッ
プ文字が表示されているかどうか判断する。

【００１６】４はテロップ文字表示フレーム候補判断手
段３でテロップ文字表示フレームと判断されたフレーム
を出力し蓄積するテロップ文字表示フレーム蓄積記憶手
段である。

【００１７】図２は本実施形態のテロップ文字表示フレ
ーム候補判断手段の一実施例の詳細な構成を示すブロッ
ク構成図である。図２において、３１は未処理部分ブロ
ック判断手段であり、図１のテロップ文字表示フレーム
候補検出手段２で検出されたテロップ文字表示フレーム
候補の内の部分ブロックに対して、テロップ文字表示フ
レーム候補判断の未処理のものがあればサブ部分ブロッ
ク分割手段に処理を移し、全てのブロックに対しテロッ
プ文字表示フレーム候補判断処理済みであれば、図１の
テロップ文字表示フレーム候補検出手段２のテロップ文
字表示フレーム候補検出手段に処理を移す制御を行う。

【００１８】３２は部分ブロックを複数の互いに重なり
を許さないサブ部分ブロックに分割するサブ部分ブロッ
ク分割手段、３３はサブ部分ブロック内でエッジ検出処
理を行うエッジ検出手段、３４はスキャン制御手段であ
り、エッジ検出処理を施したサブ部分ブロックに対し
て、エッジペアカウント処理の未処理のスキャン方向が
あればスキャン制御手段３４に処理を移し、全てのスキ
ャン方向に対しエッジペアカウント処理済みであればエ
ッジペアカウント手段に処理を移す制御を行う。

【００１９】３５はあるスキャン方向に沿ってエッジの
勾配方向を判断するエッジ勾配方向判断手段、３６はエ
ッジペアカウント手段であり、スキャン方向に沿って
「登り」「下り」、あるいは「下り」「登り」の順で隣
接する２つのエッジ（エッジペア）の数をカウントす
る。

【００２０】３７はスキャン方向毎にカウントされたエ
ッジペアのスキャン方向別の比を計算する方向別エッジ
ペア比算出手段、３８は方向別エッジペア比算出手段３
７で計算された方向別エッジペア比が予め設定された範
囲に属するかどうかを判断し、属していれば図１のテロ
ップ文字表示フレーム蓄積記憶手段４に処理を移し、属
していなければ未処理部分ブロック判断手段３１に処理
を移す制御を行う方向別エッジペア比判断手段である。

【００２１】図３は本実施形態のテロップ文字表示フレ
ーム検出処理を説明するためのフローチャートである。

【００２２】図３において、ステップ（３１）はテロッ
プ文字表示フレーム検出処理対象の動画像を構成するフ
レームのうち、未処理のフレームが存在するかどうかを
判断する過程で、未処理のフレームが存在すればステッ
プ（３２）へ移り、未処理のフレームが存在しない場合
には処理を終了する。

【００２３】ステップ（３２）はテロップ文字表示フレ
ーム検出処理対象のフレーム、及び処理に必要な他のフ
レームを含んだフレームシーケンスをメモリに読み込む
過程である。

【００２４】ステップ（３３）は入力された各フレーム
を複数の互いに重なりを許さない複数の部分ブロックに
分割する過程である。図４はステップ（３３）の部分ブ
ロック分割の一実施例を説明するための図であり、フレ
ームを縦２つ、横４つに分割し計８個の部分ブロックに
分割した例である。

【００２５】ステップ（３４）は処理対象フレームの各
部分ブロックに対し、従来の技術、例えば“映像データ
検索のためのテロップ文字抽出法”（信学技報，ＰＲＭ
Ｕ９６-９８，ｐｐ３９-４６，（１９９６））を用いて
テロップ文字表示フレーム候補を検出する過程である。

【００２６】ステップ（３５）はステップ（３４）で検
出されたテロップ文字表示フレーム候補をメモリに読み
込む過程である。

【００２７】ステップ（３６）はテロップ文字表示フレ
ーム候補判断処理の未処理の部分ブロックが存在するか
どうかを判断する過程で、未処理の部分ブロックが存在
すればステップ（３７）へ移り、未処理の部分ブロック
が存在しない場合にはステップ（３１）へ移る。

【００２８】ステップ（３７）は部分ブロックを複数の
互いに重なりを許さないサブ部分ブロックに分割する過
程である。図５はステップ（３７）のサブ部分ブロック
分割の一例を示す図であり、部分ブロックを縦７つ、横
４つに分割し計２８個のサブ部分ブロックに分割した例
である。

【００２９】ステップ（３８）はエッジペアカウント処
理の未処理のサブ部分ブロックが存在するかどうかを判
断する過程で、未処理のサブ部分ブロックが存在すれば
ステップ（３９）へ移り、未処理のサブ部分ブロックが
存在しない場合にはステップ（３６）へ移る。

【００３０】ステップ（３９）はサブ部分ブロック内で
勾配の方向情報も伴ったエッジ検出を行う過程である。
勾配方向情報を伴ったエッジ検出には、例えばロビンソ
ン（Robinson）のエッジ検出オペレータを用いればよ
い。

【００３１】ステップ（４０）はエッジペアカウント処
理の未処理のスキャン方向が存在するかどうかを判断す
る過程で、未処理のスキャン方向が存在すればステップ
（４１）へ移り、未処理のスキャン方向が存在しない場
合はステップ（４４）へ移る。図６はステップ（４０）
の一例を説明する図であり、図６ではスキャン方向を水
平方向、垂直方向の２方向に設定した例であり、矢印の
方向がスキャンの方向を示す。

【００３２】ステップ（４１）はスキャン方向に勾配方
向を判断する処理の未処理のエッジ点が存在するかどう
かを判断する過程で、未処理のエッジ点が存在すればス
テップ（４２）へ移り、未処理のエッジ点が存在しない
場合は、ステップ（４０）へ移る。

【００３３】ステップ（４２）はスキャン方向に存在す
るエッジの勾配方向を「登り」か「下り」か判断し、判
断された方向が既に勾配方向の判断を終えている隣接エ
ッジの勾配方向と同じ方向かあるいは反対方向かを判断
する過程であり、同じ方向であればステップ（４１）へ
移り、反対方向であればステップ（４３）へ移る。図７
はステップ（４２）の一例を示す図であり、濃淡画像、
及び濃淡画像上の水平方向のある走査線上の座標値を横
軸、その座標における画像濃度レベルを縦軸にとったグ
ラフを示す。エッジの勾配方向に関して、「登り」は低
濃度から高濃度への変化を意味し、「下り」は高濃度か
ら低濃度への変化を意味する。

【００３４】ステップ（４３）はスキャン方向で隣接す
る２つのエッジの勾配が互いに反対方向（「登り」「下
り」、あるいは「下り」「登り」）の場合、エッジペア
数を１だけインクリメントする過程である。図７はステ
ップ（４３）を説明する図であり、ある走査線上の隣接
する２つのエッジの勾配が、「登り」「登り」、あるい
は「下り」「下り」という同じ方向を持つ関係である場
合はエッジペアをカウントせず、「登り」「下り」、あ
るいは「下り」「登り」の場合、エッジペアを１だけイ
ンクリメントすると、図７に示された走査線上のエッジ
ペア数は１３である。

【００３５】ステップ（４４）はスキャン方向毎に求め
られたエッジペアの数の比を計算し、その比が予め設定
した範囲内に属するかどうかを判断する過程で、範囲内
に属する場合はステップ（４５）へ移り、属さない場合
はステップ（３８）へ移る。

【００３６】図８はステップ（４４）を説明するための
図であり、サブ部分ブロックのスキャン方向を水平方向
と垂直方向に設定した場合、水平方向の全走査線上のエ
ッジペアの合計は２５、垂直方向の全走査線上のエッジ
ペアの合計は１２であり、スキャン方向毎に求めたエッ
ジペアの比は、水平方向：垂直方向＝２５：１２であ
る。なお、図８中のエッジペアの数は、走査線上でグレ
ーの部分から白い部分に変化する点を「登り」エッジ、
白い部分からグレーの部分に変化する点を「下り」エッ
ジとし、ステップ（４３）に基づきカウントした数字で
ある。

【００３７】ステップ（４５）はステップ（４４）でス
キャン方向毎のエッジペアの比が予め設定した範囲内に
属すると判断されたサブ部分ブロックを含む部分ブロッ
クを含むフレームをテロップ文字表示フレームとして蓄
積媒体に書き込む過程である。

【００３８】以上、本発明者によってなされた発明を、
前記実施形態（実施例）に基づき具体的に説明したが、
本発明は、前記実施形態（実施例）に限定されるもので
はなく、その要旨を逸脱しない範囲において種々変更可
能であることは勿論である。

【００３９】

【発明の効果】以上、説明したように、本発明によれ
ば、テロップ文字以外の物体が、フレーム内に出現後、
一定時間静止して表示されており、かつ高コントラスト
部を多く含み、得られるエッジ点の数、及びエッジの方
向分散値が高いという特徴を持つ場合に対して、スキャ
ン方向別に反対方向の勾配を持つ隣接エッジペアを求
め、それらの比を計算することにより、前述の物体が出
現する瞬間のフレームをテロップ文字表示フレームとし
て誤検出することを抑制することができる。従って、従
来の手法に比べ、より誤検出率の少なく高精度にテロッ
プ文字表示フレームの検出を実行することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の実施形態（実施装置）の概略構成を示
すブロック構成図である。

【図２】本実施形態のテロップ文字表示フレーム候補判
断手段の一実施例の詳細な構成を示すブロック構成図で
ある。

【図３】本実施形態のテロップ文字表示フレーム検出処
理を説明するためのフローチャートである。

【図４】図３中のステップ（３３）の処理内容を補足す
るためのものであり、１枚のフレームを８個の部分ブロ
ックに分割する例を示す図である。

【図５】図３中のステップ（３７）の処理内容を補足す
るためのものであり、１個の部分ブロックを２８個のサ
ブ部分ブロックに分割する例を示す図である。

【図６】図３中のステップ（４０）の処理内容を補足す
るためのものであり、スキャン方向の例を示す図であ
る。

【図７】図３中のステップ（４２），（４３）の処理内
容を補足するためのものであり、エッジ勾配の判断、及
びエッジペアのカウントの例を示す図である。

【図８】図３中のステップ（４４）の処理内容を補足す
るためのものであり、スキャン方向別のエッジペア比の
計算例を示す図である。

【符号の説明】

１…動画像入力記憶手段、２…テロップ文字表示フレー
ム候補検出手段、３…テロップ文字表示フレーム候補判
断手段、４…テロップ文字表示フレーム蓄積記憶手段、
３１…未処理部分ブロック判断手段、３２…サブ部分ブ
ロック分割手段、３３…エッジ検出手段、３４…スキャ
ン制御手段、３５…エッジ勾配方向判断手段、３６…エ
ッジペアカウント手段、３７…方向別エッジペア比算出
手段、３８…方向別エッジペア比判断手段。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｈ０４Ｎ 7/081 Ｈ０４Ｎ 7/08 Ｚ // Ｈ０４Ｎ 5/445 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 300 Z G06K 9/46 H04N 7/08 H04N 7/081 H04N 5/445 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 動画像をフレーム単位で入力し、 この入力された各フレームを互いに重なりを許さない予
   め設定した複数個の部分ブロックに分割し、 この部分ブロックに分割された各フレームにおいて、各
   部分ブロック毎に、予め決められた方法を用いてテロッ
   プ文字表示フレーム候補を検出し、テ ロップ文字表示フレーム候補の条件を満たした部分ブ
   ロックを互いに重なりを許さない予め設定した複数個の
   サブ部分ブロック領域に分割し、 この分割された各サブ部分ブロックに対してエッジ検出
   を行い、エッジ検出の結果の画像である エッジ検出結果画像及び
   元の濃淡画像を予め設定した複数の異なる方向にスキャ
   ンし、各スキャン方向の各走査線上に存在する各エッジ
   に関して、それらの勾配の方向を判断し、 あるスキャン方向のある走査線上で隣接する２つのエッ
   ジの勾配方向が反対方向である場合、それらを１組のエ
   ッジペアとして数える数え方で、サブ部分ブロック領域
   で予め設定した複数の異なる方向の全てのスキャン方向
   毎にエッジペアの数を数え、 予め設定した複数の異なる方向の全てのスキャン方向毎
   に求めたエッジペアの数の比を計算し、 スキャン方向別のエッジペアの比が予め設定した範囲内
   に入るかどうかを判断し、 スキャン方向毎のエッジペアの比が予め設定した範囲内
   に入ると判断された場合、処理対象フレーム中の未処理
   のサブ部分ブロック及び部分ブロックに対しての以降の
   処理は行わず、処理対象フレームを文字が表示されてい
   るフレームと判断し、そのフレームを蓄積媒体に書き込
   むことを特徴とする文字表示フレーム検出方法。
2. 【請求項２】 請求項１の文字表示フレーム検出方法に
   おいて、前記動画像はフレーム単位で入力されメモリに
   記憶されることを特徴とする文字表示フレーム検出方
   法。
3. 【請求項３】 動画像をフレーム単位に入力して記憶す
   る手段と、 各フレームを互いに重なりを許さない予め設定した複数
   個の部分ブロックに分割する手段と、 部分ブロックに分割された各フレームにおいて、各部分
   ブロック毎に、予め決められた方法を用いてテロップ文
   字表示フレーム候補を検出する手段と、テ ロップ文字表示候補の条件を満たした部分ブロックを
   互いに重なりを許さない予め設定した複数個のサブ部分
   ブロック領域に分割する手段と、 各サブ部分ブロックに対して予め決められたエッジ検出
   法を用いてエッジ検出処理を行う手段と、エッジ検出の結果の画像である エッジ検出結果画像及び
   元の濃淡画像を予め設定した複数の異なる方向にスキャ
   ンし、スキャン方向の各走査線上に存在する各エッジに
   関して、それらの勾配の方向を判断する手段と、 あるスキャン方向のある走査線上で隣接する２つのエッ
   ジの勾配方向が反対方向である場合、それらを１組のエ
   ッジペアとして数える数え方で、サブ部分ブロック領域
   で予め設定した複数の異なる方向の全てのスキャン方向
   毎にエッジペアの数を数える手段と、 予め設定した複数の異なる方向の全てのスキャン方向毎
   に求めたエッジペアの数の比を計算する手段と、 スキャン方向別のエッジペアの比が予め設定した範囲内
   に入るかどうかを判断する手段と、 スキャン方向毎のエッジペアの比が予め設定した範囲内
   に入ると判断された場合、処理対象フレーム中の未処理
   のサブ部分ブロック、及び部分ブロックに対しての以降
   の処理は行わず、処理対象フレームを文字が表示されて
   いるフレームと判断し、そのフレームを蓄積媒体に書き
   込む手段を備えることを特徴とする文字表示フレーム検
   出装置。