JPH1049682A - 文字出現フレーム抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】動画像を構成する複数のフレームの中から文字
が含まれるフレームを抽出する装置において，従来手法
で問題となった文字出現フレーム抽出失敗を減少させ，
文字が出現するフレームの抽出精度を向上させることを
目的とする。 【解決手段】動画像をフレーム単位に入力し，複数種類
の部分矩形領域に分割する(1,2) 。処理対象の現フレー
ムに対して，１単位時間だけ前の時刻のフレームが文字
出現フレームでないとき，所定の方法で文字出現を判断
する(5) 。前フレームが文字出現フレームのとき，現フ
レームと前フレームとの間で，対応する部分矩形領域毎
に，対応画素間の輝度差分値が所定の閾値より小さい画
素の個数を求め(6),これにより現フレームが部分シーン
チェンジ発生フレームかどうかを判断する(7) 。部分シ
ーンチェンジ発生フレームの場合，時間軸の後方向にあ
るフレームとの間で対応画素の輝度差分値を算出し(8),
文字出現を判断する(9) 。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は，動画像を構成す
る複数のフレームの中から文字が含まれるフレームを抽
出する文字出現フレーム抽出装置に関するものである。

【０００２】

【従来の技術】動画像を構成する複数のフレームの中か
ら文字が含まれるフレームを抽出する技術に関しては，
近年多くの研究が行われている。その一つとして，各フ
レームにおいて輝度に関して高コントラスト部分の面積
を，エッジ強度の高い画素の個数などを用いて求め，面
積値が時間軸上で急激に増加した時刻のフレームを文字
出現フレームとする方法が提案されている。この方法に
関する参考文献としては，下記の参考文献［１］［２］
［３］がある。

【０００３】また，下記の参考文献［４］では，文字出
現フレームの抽出が目的ではないが，動画像を構成する
各フレームにおける高コントラスト部分の面積の時間変
化を求める量として，フレーム間の輝度ヒストグラム差
分値を提案している。これは前述のエッジ強度の高い画
素の個数を求める場合と比べて計算量が少ないという性
質を持つ。

【０００４】また，ニュース映像中の文字出現フレーム
抽出に特化した方法なども提案されている（参考文献
［５］）。これは，テロップ文字がシーンチェンジが行
われたフレームに表示されることを利用するもので，シ
ーンチェンジフレームの中でスタジオシーンを選択し
て，このフレームを文字出現フレームとして抽出する方
法である。

【０００５】〔参考文献〕 ［１］中島，堀，塩原：“キーワード画像抽出による動
画像サマリの作成”，情処全大，１Ｆ-10,（1994後
期）． ［２］根本，半谷，宮内：“テロップの認識による資料
映像の検索について”，信学全大，Ｄ-427，(1994 春
季）． ［３］高野，中村：“Ｈ.261符号ハンドリングによるテ
ロップ検出”，画像電子学会研究会予稿，94-06-04，p
p.13-16, (1994-06) ． ［４］長坂，田中：“カラービデオ映像における自動索
引付け法と物体探索法”，情処論，Vol.33，No.4，pp.5
43-550, (1992-04) ． ［５］茂木，有木：“ニュース映像中の文字認識に基づ
く記事の索引付け”，信学技報，ＩＥ95-153，ＰＲＵ95
-240, pp.33-40, (1996-03) ．

【０００６】

【発明が解決しようとする課題】従来手法の中で，輝度
の高コントラスト部分の面積の時間変化に基づく方法で
は，フレーム内の高コントラスト部分のフレーム内にお
ける空間的位置情報や形状情報の時間変化は考慮されて
いない。このため，異なる文字が，間に１フレームも間
隔を置かずに連続して現れる場合等，文字出現の際の高
コントラスト部分の面積の時間変化が小さい場合の文字
出現フレームの抽出が安定して行えないなどの問題点が
ある。

【０００７】また，シーンチェンジフレームを利用する
方法でも，異なる文字が，間に１フレームも間隔を置か
ずに連続して現れる場合等，フレーム内の色や輝度の時
間変化が少ない場合には，シーンチェンジの検出ができ
ないため，文字出現フレームの抽出に失敗するという問
題点がある。

【０００８】本発明は，従来手法で問題となった文字出
現フレーム抽出失敗を減少させ，文字が出現するフレー
ムの抽出精度を向上させることを目的としている。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
め，本発明は，以下の手段を備えることを主要な特徴と
する。

【００１０】１．動画像をフレーム単位に入力して記憶
する手段， ２．入力された各フレームに対して，予め設定した複数
のフレーム分割法により，フレームを部分矩形領域に分
割する手段， ３．文字出現検出処理対象時刻を指定する手段， ４．前記３の手段を用いて指定された時刻に対応するフ
レームと該フレームの時刻から時間軸の前後に予め設定
した１種類以上の時間間隔ずつ離れた１以上の時刻に対
応するフレームが前記２の手段を用いて部分矩形領域に
分割された場合に，文字出現検出処理対象時刻より１単
位時間だけ前の時刻のフレームが文字出現フレームであ
るかどうかを調べ，文字出現フレームでない場合，次の
第５の手段に進むことを決定し，文字出現検出処理対象
時刻より１単位時間だけ前のフレームが文字出現フレー
ムである場合，第６の手段へ進むことを決定する手段， ５．文字出現検出処理対象時刻のフレームに関して，予
め決められた文字出現検出方法で文字出現が起こったか
どうか判断する手段， ６．文字出現検出処理対象時刻のフレームとそれより１
単位時間だけ前の時刻の文字出現フレームとの間で，対
応する部分矩形領域毎に，対応画素間の輝度差分値が予
め設定した差分値閾値よりも小さい画素の個数を求める
手段， ７．文字出現検出処理対象時刻のフレームに関して，前
記６の手段を用いて求めた画素の個数が予め設定した個
数閾値より少ない部分矩形領域が存在するという条件を
満たすかどうか判定し，該条件を満たす場合，該フレー
ムを部分シーンチェンジ発生フレームと判断する手段， ８．文字出現検出処理対象時刻のフレームが前記７の手
段を用いて部分シーンチェンジ発生フレームと判断され
た場合，文字出現検出処理対象時刻のフレームとそれよ
り時間軸の後方向に予め設定した１種類以上の時間間隔
ずつ離れた１以上の時刻に対応するフレームとの間で前
記７の手段において部分シーンチェンジ発生の条件を満
たした部分矩形領域における対応画素間の輝度差分値が
予め設定した差分値閾値よりも小さい画素の個数を求め
る手段， ９．文字出現検出処理対象時刻のフレームに関して，前
記８の手段を用いて算出した画素の個数が，全て予め設
定した個数閾値以上存在するという条件を満たすかどう
か判定し，該条件を満たす場合，該フレームを文字出現
フレームと判断する手段， １０．前記５の手段および前記９の手段を用いて文字出
現フレームと判断されたフレームを出力する手段。

【００１１】本発明の作用は，以下のとおりである。映
像中で類似した面積値を持つ異なる文字が間に１フレー
ムも間隔を置かずに連続して現れる場合（例えば，ニュ
ース映像において，あるニュース項目の開始時に，その
ニュース内容の概要を示すヘッドラインが表示され，そ
れに続いて間に１フレームも間隔を置かずに，ヘッドラ
インと同程度の文字数，および大きさを持つニュースの
詳細を説明するためのヘッドラインとは内容が異なるテ
ロップ文字が表示される場合など），最初の文字が現れ
ていたフレームと次の文字が現れたフレームとの間の高
コントラスト部分の面積差分値は，必ずしも大きい値を
とるとは限らない。しかし，両フレーム内の各々の文字
を構成する各画素の存在位置は異なることが多いため，
対応画素間輝度差分値が小さい画素の数は少なくなる。

【００１２】また，文字が出現したフレームの後，数フ
レームに渡っては，文字は同じ位置に静止して表示され
るため，文字を構成する各画素の存在位置の変化がな
い。したがって，前の時刻のフレームが文字出現フレー
ムである場合，１単位時間だけ前の時刻の文字出現フレ
ームとの間の輝度値の対応画素間輝度差分値が予め設定
した差分値閾値よりも小さい画素の個数が，予め設定し
た個数閾値より小さいフレームを，文字出現の特徴を反
映した部分シーンチェンジ発生フレームとして抽出して
おき，さらに該フレームに対して，後の時刻の一つ，あ
るいは複数のフレームとの対応画素間の輝度差分値が予
め設定した差分値閾値より小さい画素の個数が全て予め
設定した個数閾値以上であるという条件を満たす場合，
該フレームを文字出現フレームとして抽出する手段によ
り，文字連続出現の場合にも，従来手法の問題点であっ
た文字出現フレームの抽出漏れを防ぐことができる。

【００１３】また，対応画素間輝度差分値算出処理は，
前記のように部分シーンチェンジを検出することが可能
であるため，従来手法の問題点であった連続文字出現の
場合の文字出現フレームの抽出漏れを抑制するために用
いるだけでなく，文字が表示されていないフレームに続
いて，最初に文字が出現する場合（この場合の文字出現
を前記の「連続文字出現」に対して，「最初の文字出
現」と呼ぶことにする）の文字出現フレーム抽出にも適
用可能である。

【００１４】ただし，対応画素間輝度差分値を用いて前
記の最初の文字出現フレーム抽出を行う場合，文字出現
検出処理対象時刻のフレームとそれより１単位時間だけ
前の時刻のフレームとの間で対応画素間輝度差分値算出
処理対象の部分矩形領域内の全ての画素について，対応
画素間輝度差分値を算出するため，前述した参考文献
［４］に示されているような従来の手法で提案されたフ
レーム間輝度ヒストグラム差分値と差分値算出の回数を
比較すると，従来手法の輝度ヒストグラム差分値の算出
の方が処理量が少ない。また，通常，映像中の文字出現
パターンとしては「連続文字出現」に比べ，「最初の文
字出現」の方が出現頻度が高いため，「最初の文字出
現」パターンに対しても，対応画素間輝度差分値を用い
て，文字が出現するフレームを抽出することは，処理量
が多くなる。

【００１５】したがって，特許請求の範囲に記載の第４
の手段により，「最初の文字出現」パターンに対して
は，従来手法で用いられている量で文字出現検出処理対
象時刻のフレームの文字出現を判断し，「連続文字出
現」パターンに対しては，対応画素間輝度差分値を用い
て文字出現検出処理対象時刻のフレームの文字出現を判
断することで，「最初の文字出現」および「連続文字出
現」の両方の場合の文字出現フレームを効率的に検出す
ることができる。

【００１６】

【発明の実施の形態】以下，本発明の実施の形態を図１
を用いて詳細に説明する。図１は，本発明を実施する装
置の一構成例を示すブロック図である。１は動画像入力
記憶部，２は部分矩形領域分割部，３は文字出現検出処
理対象時刻指定部，４は文字出現検出処理開始制御部，
５は第１の文字出現判断部，６は第１の対応画素間輝度
差分値算出部，７は部分シーンチェンジ判断部，８は第
２の対応画素間輝度差分値算出部，９は第２の文字出現
判断部，１０は文字出現フレーム抽出処理結果の出力部
である。

【００１７】動画像入力記憶部１では，動画像を構成す
る複数のフレームを入力してメモリ上に記憶する。部分
矩形領域分割部２では，動画像入力記憶部１の処理で記
憶した動画像を構成する各フレームに対して，予め設定
した複数のフレーム分割法により，フレームを部分矩形
領域に分割する（図２参照）。図２は，フレーム分割の
一例を示すものであり，複数の階層を設け，各階層毎に
異なるサイズの部分矩形領域にフレームを分割してい
る。

【００１８】文字出現検出処理対象時刻指定部３では，
部分矩形領域分割部２の処理により部分矩形領域に分割
されたフレームのうち，文字出現検出処理を行っていな
いフレームに対して，予め決められた方法で文字出現検
出処理を行うフレームの時刻を設定する。時刻の決め方
は，例えば，時刻の順に決めればよい。

【００１９】文字出現検出処理開始制御部４では，文字
出現検出処理対象時刻指定部３で指定された時刻に対応
するフレームと該フレームの時刻から時間軸の前後に予
め設定した１種類以上の時間間隔ずつ離れた１以上の時
刻に対応するフレームが部分矩形領域分割部２の処理で
部分矩形領域に分割された場合，文字出現検出処理対象
時刻より１単位時間だけ前の時刻のフレームが文字出現
フレームであるかどうかを，１単位時間だけ前の時刻の
フレームの文字出現検出処理結果のフラグ情報から判断
し，文字出現でないと判断された場合，文字出現検出処
理対象時刻のフレームに対し，第１の文字出現判断部５
により文字出現検出処理を開始することを決定する。一
方，文字出現検出処理対象時刻のフレームより１単位時
間だけ前のフレームが文字出現フレームであると判断さ
れた場合，第１の対応画素間輝度差分値算出部６の処理
を行う。

【００２０】第１の文字出現判断部５では，文字出現検
出処理対象フレームに対し，予め決められた方法（例え
ば参考文献［４］に記載の方法）を用いて文字出現フレ
ームかどうかを判断し，文字出現フレームと判断された
場合，該フレームに対し，文字出現をフラグ情報として
付与する。文字出現でないと判断された場合，文字非出
現をフラグ情報として付与し，文字出現検出処理対象時
刻指定部３の処理に戻る。

【００２１】第１の対応画素間輝度差分値算出部６で
は，文字出現検出処理対象フレームと１単位時間だけ前
の時刻の文字出現フレームとの間で，対応する部分矩形
領域における対応画素間の輝度差分値が予め設定した差
分値閾値よりも小さい画素の個数を求める（図３参
照）。

【００２２】図３は，第１の対応画素間輝度差分値算出
部６の機能の一例を示すものであり，文字出現検出処理
対象時刻のフレームとそれより１単位時間だけ前の時刻
のフレームとの間で対応する部分矩形領域における対応
画素間で輝度の差分値を算出することを示している。図
３の例では，部分矩形領域を構成する４８個の画素中，
輝度差分値が所定の閾値より小さい画素数を求めてい
る。

【００２３】部分シーンチェンジ判断部７では，文字出
現検出処理対象フレームに関して，各部分矩形領域毎に
第１の対応画素間輝度差分値算出部６の処理で求めた前
の時刻の文字出現フレームとの対応画素間の輝度差分値
が予め設定した差分値閾値より小さい画素の個数が，予
め設定した個数閾値より少ないかどうか判定し，該条件
を満たす部分矩形領域を持つ場合，該フレームを部分シ
ーンチェンジ発生フレームとして判断する。

【００２４】第１の対応画素間輝度差分値算出部６の処
理で求めた画素数が該条件を満たさない場合，該フレー
ムを文字が前の時刻から継続して出現しているフレーム
と判断し，該フレームに対して，文字出現のフラグ情報
を付与し，文字出現検出処理対象時刻指定部３の処理に
戻る。

【００２５】第２の対応画素間輝度差分値算出部８で
は，部分シーンチェンジ判断部７の処理で部分シーンチ
ェンジ発生フレームとして判断された文字出現検出処理
対象フレームとそれより時間軸の後方向に予め設定した
１種類以上の時間間隔ずつ離れた１以上の時刻のフレー
ムとの間で，対応する部分矩形領域における対応画素間
の輝度差分値が予め設定した差分値閾値よりも小さい画
素の個数を求める（図４参照）。

【００２６】図４は，第２の対応画素間輝度差分値算出
部８の機能の一例を示すものであり，文字出現検出処理
対象時刻のフレームとそれより後の１以上の時刻のフレ
ームとの間で対応する部分矩形領域における対応画素間
で輝度の差分値を算出することを示している。この図４
の例では，対応画素間輝度差分値算出処理対象の後時刻
の複数のフレームを６枚としており，部分矩形領域を構
成する４８個の画素中，輝度差分値が所定の閾値より小
さい画素数を後の時刻の６フレーム分について求めてい
る。

【００２７】第２の文字出現判断部９では，部分シーン
チェンジ判断部７の処理で部分シーンチェンジ発生フレ
ームとして判断されたフレーム内の部分シーンチェンジ
発生の条件を満たした部分矩形領域において，第２の対
応画素間輝度差分値算出部８で求めた文字出現検出処理
対象時刻のフレームの後の時刻の１以上のフレームとの
間の対応する部分矩形領域における対応画素間の輝度差
分値が小さい画素数が全て予め設定した個数閾値以上の
場合，該フレームを文字出現フレームとして判断し，該
フレームに対し，文字出現をフラグ情報として付与す
る。

【００２８】また，第２の対応画素間輝度差分値算出部
８で算出した１種類以上の画素数の中で予め設定した個
数閾値より少ない値が一つでも存在すれば，文字非出現
フレームと判断し，当該フレームに対して，文字非出現
のフラグ情報を付与し，文字出現検出処理対象時刻指定
部３の処理に戻る。

【００２９】出力部１０では，第１の文字出現判断部５
および第２の文字出現判断部９の処理で得られた文字出
現フレーム抽出結果を出力する。以上の説明では，第１
の対応画素間輝度差分値算出部６および第２の対応画素
間輝度差分値算出部８において，対応画素間の輝度差分
値が所定の閾値より小さい画素の数を求めるとしたが，
もちろん輝度差分値が所定の閾値以上の画素の数を求
め，該当する画素数と閾値との大小の比較を変えれば，
実質的に同等であり，同様に本発明を実施することが可
能であることは言うまでもない。

【００３０】

【発明の効果】以上説明したように，本発明によれば，
画像中から予め決められた方法で抽出された文字出現フ
レームとそれより１単位時間だけ後の時刻のフレームと
の間のフレーム間対応画素間輝度差分値を算出すること
で，従来手法では困難であった文字の連続出現を検出す
るため，従来の手法に比べ，より高精度に文字出現フレ
ームの抽出が可能となる。

【図面の簡単な説明】

【図１】本発明を実施する装置の一構成例を示すブロッ
ク図である。

【図２】部分矩形領域分割部の機能の一例を説明する図
である。

【図３】第１の対応画素間輝度差分値算出部の機能の一
例を説明する図である。

【図４】第２の対応画素間輝度差分値算出部の機能の一
例を説明する図である。

【符号の説明】

１ 動画像入力記憶部 ２ 部分矩形領域分割部 ３ 文字出現検出処理対象時刻指定部 ４ 文字出現検出処理開始制御部 ５ 第１の文字出現判断部 ６ 第１の対応画素間輝度差分値算出部 ７ 部分シーンチェンジ判断部 ８ 第２の対応画素間輝度差分値算出部 ９ 第２の文字出現判断部 １０ 文字出現フレーム抽出処理結果の出力部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 動画像を構成する複数のフレームの中か
   ら文字が含まれるフレームを抽出する文字出現フレーム
   抽出装置において，動画像をフレーム単位に入力して記
   憶する第１の手段と，入力された各フレームに対して，
   予め設定した複数のフレーム分割法により，フレームを
   部分矩形領域に分割する第２の手段と，文字出現検出処
   理対象時刻を指定する第３の手段と，前記第３の手段を
   用いて指定された文字出現検出処理対象時刻より１単位
   時間だけ前の時刻のフレームが文字出現フレームでない
   場合，第５の手段に進むことを決定し，文字出現検出処
   理対象時刻より１単位時間だけ前のフレームが文字出現
   フレームである場合，第６の手段へ進むことを決定する
   第４の手段と，文字出現検出処理対象時刻のフレームに
   関して，予め決められた文字出現検出方法で文字出現が
   起こったかどうか判断する第５の手段と，文字出現検出
   処理対象時刻のフレームとそれより１単位時間だけ前の
   時刻の文字出現フレームとの間で，対応する部分矩形領
   域毎に，対応画素間の輝度差分値が予め設定した差分値
   閾値よりも小さい画素の個数を求める第６の手段と，文
   字出現検出処理対象時刻のフレームに関して，前記第６
   の手段を用いて求めた画素の個数が予め設定した個数閾
   値より少ない部分矩形領域が存在するという条件を満た
   すかどうか判定し，該条件を満たす場合，該フレームを
   部分シーンチェンジ発生フレームと判断する第７の手段
   と，文字出現検出処理対象時刻のフレームが前記第７の
   手段を用いて部分シーンチェンジ発生フレームと判断さ
   れた場合，文字出現検出処理対象時刻のフレームとそれ
   より時間軸の後方向に予め設定した１種類以上の時間間
   隔ずつ離れた１以上の時刻に対応するフレームとの間で
   前記第７の手段において部分シーンチェンジ発生の条件
   を満たした部分矩形領域における対応画素間の輝度差分
   値が予め設定した差分値閾値よりも小さい画素の個数を
   求める第８の手段と，文字出現検出処理対象時刻のフレ
   ームに関して，前記第８の手段を用いて算出した画素の
   個数が，全て予め設定した個数閾値以上存在するという
   条件を満たすかどうか判定し，該条件を満たす場合，該
   フレームを文字出現フレームと判断する第９の手段と，
   前記第５の手段および前記第９の手段を用いて文字出現
   フレームと判断されたフレームを出力する手段とを備え
   たことを特徴とする文字出現フレーム抽出装置。