JPH10322595A - 映像テロップ検出方法および装置 - Google Patents
映像テロップ検出方法および装置Info
- Publication number
- JPH10322595A JPH10322595A JP9127358A JP12735897A JPH10322595A JP H10322595 A JPH10322595 A JP H10322595A JP 9127358 A JP9127358 A JP 9127358A JP 12735897 A JP12735897 A JP 12735897A JP H10322595 A JPH10322595 A JP H10322595A
- Authority
- JP
- Japan
- Prior art keywords
- telop
- image
- area
- candidate
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
- Studio Circuits (AREA)
Abstract
力端子101に入力された映像からテロップを検出し、
テロップの存在する画素を“1”、それ以外の画素を
“0”としたテロップ候補画像を作成する。差分画像作
成部103は、時間的に離れた2枚のフレーム画像間の
差の絶対値を画素値とする差分画像を作成する。AND
回路104はテロップ候補画像と差分画像との積を求
め、差分画像のうちテロップ候補画像が“0”である部
分を“0”とする。判定部105は、テロップ候補画像
作成部102の出力であるテロップ候補画像と、AND
回路104の出力である差分画像を用いてテロップの存
在を判定し、テロップ出力端子106に出力する。
Description
検出する映像テロップ検出方法および装置に関する。
ーディスク、DVD、Video on Demand 等、映像の流通
が活発になるにつれて、映像をより柔軟に扱いたいとい
う需要が増えてきた。そこで、映像に様々な目次や索引
情報を付加し、映像の検索やランダムアクセスを可能と
する技術が提案されている。映像を特徴づける情報のう
ち、字幕、写真、記号、アイコン等のテロップは、映像
の意味や内容を反映するものとして重要である。そのた
め、映像から自動的にテロップを検出する方法が提案さ
れている。
がある。
精度であるという性質を用い、2枚のフレーム間で動き
のない部分を求め、さらに、輝度が所定値以上の領域を
字幕部分として検出する装置がある(特開平8−331
456「字幕移動装置」)。
精度であるという性質を用い、フレーム画像のエッジ強
度と輝度とが閾値を超えるブロックを字幕の存在する部
分として検出する方法もある(例えば、特開平8−21
2231「字幕検出方法および動画像の代表画像抽出装
置」)。
いて符号化された映像では、フレーム間の相関を用い、
かつ、動き補償を用いないで符号化された画素がテロッ
プの部分に時間的空間的に集中するという性質がある。
この性質を利用し、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化された画素の出現頻度を、あ
る時間区間で計数することによってテロップを検出する
装置もある(1996年電子情報通信学会情報・システ
ムソサィエティ大会「MPEG映像からのテロップ領域
検出方法」)。
は、エッジ強度や輝度などのテロップのもつ性質を用い
てテロップを検出していたが、テロップの切り替わりの
検出能力が低かった。例えば、特開平8−212231
では、フレーム画像をブロックに分割し、ブロックに対
応する字幕領域データを用意する。字幕領域データに
は、テロップの存在するブロックに1、存在しないブロ
ックに0を格納する。そして、2枚のフレーム間で、字
幕領域データの値が異なるブロックの数を計数し、この
数が一定の割合を超えた場合に、テロップが切り替わっ
たとしている。
なく、かつ、面積の変化がなく切り替わったとき、字幕
領域データには変化が現れないので、テロップの切り替
わりを検出することができない。
替わりを検出する映像テロップ検出方法および装置を提
供することである。
出方法は、フレーム画像からテロップ候補の存在する領
域を示すテロップ候補画像を作成するテロップ候補画像
作成段階と、2枚のフレーム画像の差分画像を作成する
差分画像作成段階と、差分画像からテロップ候補の存在
する部分だけを抽出する抽出段階と、テロップ候補画像
と抽出された差分画像とに基づいてテロップの存在を判
定する判定段階を有する。
フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、2枚のフレーム画像の差分画像を作成する差分画像
作成手段と、差分画像からテロップ候補の存在する部分
だけを抽出する抽出手段と、テロップ候補画像と抽出さ
れた差分画像とに基づいてテロップの存在を判定する判
定手段を有する。
像からテロップ候補を検出し、テロップ候補画像を作成
する。差分画像作成手段は、2枚のフレーム画像を作成
する。抽出手段は、テロップ候補の存在する領域の差分
画像を抽出する。判定手段は、テロップ候補画像とテロ
ップ候補の存在する領域の差分画像を用いてテロップの
存在を判定する。これによって、テロップの存在する領
域のフレーム画像の変化に基づいてテロップを検出する
ので、テロップの切り替わりを検出することができる。
レーム画像からテロップ候補の存在する領域を示すテロ
ップ候補画像を作成するテロップ候補画像作成段階と、
2枚のフレーム画像の差分画像を作成する差分画像作成
段階と、前記テロップ候補画像と前記差分画像を用い
て、画素値の変化を検出すべき領域を示すマスクを作成
するマスク作成段階と、前記差分画像からマスクの部分
だけを抽出する抽出段階と、前記テロップ候補画像と抽
出された差分画像とに基づいてテロップの存在を判定す
る段階を有する。
は、フレーム画像からテロップ候補の存在する領域を示
すテロップ候補画像を作成するテロップ候補画像作成手
段と、2枚のフレーム画像の差分画像を作成する差分画
像作成手段と、テロップ候補画像と差分画像を用いて、
画素値の変化を検出すべき領域を示すマスクを作成する
マスク作成手段と、差分画像からマスクの部分だけを抽
出する抽出手段と、テロップ候補画像と抽出された差分
画像とに基づいてテロップの存在を判定する判定手段を
有する。
を判定することに留まっていた。そこで、本発明では、
さらにテロップの存在する領域についてフレーム画像の
変化を調べることによって、テロップの切り替わりを検
出する。
分画像を用いて、マスクを作成する。マスクは、画素値
の変化を検出すべき領域を例えば1とし、それ以外の領
域を例えば0とする。抽出手段は、マスクが1である領
域の差分画像を抽出し、判定手段でテロップ候補画像と
マスクが1である領域の差分画像を用いて、テロップの
素材を判定する。これによって、フレーム画像の変化を
調べる領域を、テロップの存在する領域に限定すること
ができるので、テロップの背景の変化の影響を受けにく
くなり、より正確にテロップの切り替わりを検出するこ
とができる。
入力画像のうちの、フレーム間で値の変化が小さい画素
である不変画素か、または新たにテロップ候補となった
画素の集合を判定領域としてその面積を求め、また該判
定領域内でフレーム画像が変化した部分の面積を求める
段階と、不変画素を求める段階を含む。
テロップの継続時間が0のとき、判定領域の面積が第1
の閾値以上ならばテロップの継続時間を1とする段階
と、テロップの継続時間が0よりも大きいとき、判定領
域の面積が第1の閾値よりも小さいか、フレーム画像が
変化した部分の面積を前記判定領域の面積で割った値が
第2の閾値よりも大きいとき、テロップの継続時間が第
3の閾値以上ならばテロップ終了を実行し、この後およ
びテロップの継続時間が第3の継続時間未満のときテロ
ップの継続時間を0にリセットし、前記判定領域の面積
が第1の閾値以上で、フレーム画像が変化した部分の面
積を前記判定領域の面積で割った値が第2の閾値以下の
時、テロップの継続時間を1増やす段階と、テロップの
継続時間が第3の閾値と等しいとき副手順「テロップ開
始」を実行し、テロップの継続時間が第3の閾値よりも
大きいとき副手順「テロップ継続中」を呼び出す段階を
含む。
画像作成手段が、符号化された映像データからフレーム
間の相関を用いて符号化されたフレームを抽出するフレ
ーム判別手段と、抽出されたフレームのマクロブロック
のうち、フレーム間の相関を用い、かつ動き補償を用い
ないで符号化されたマクロブロックが現われる数を、そ
れぞれのマクロブロックの位置毎に、一定計数区間内で
計数する計数手段と、計数結果を与えられた閾値と比較
してテロップ領域を表すマトリックスを出力する選択手
段と、前記マトリックスの連結領域を求め、それぞれの
連結領域をテロップ候補画像として出力する連結領域作
成手段を含む。
段が、フレーム間で値の小さい画素である不要画素を検
出する不変画素検出手段と、新たに現れたテロップ候補
を検出する新規候補画素検出手段と、不変画素か新規候
補画素の少なくとも一方が存在する領域を示すマスクを
合成するマスク合成手段を有する。
手段が、画素が不変である領域を検出する。新規候補画
素検出手段は、新たに現れたテロップ候補を検出する。
合成手段は、不変画素か新規候補画素の少なくとも一方
が存在する領域を求めマスクを合成する。これによっ
て、テロップが以前より存在する画素と、テロップ候補
が新たに現れた画素を例えば1とし、それ以外の領域を
例えば0とするマスクが作成される。
検出手段が、テロップ候補画像を1フレーム分蓄積する
第1のバッファと、現フレームのテロップ候補画像と第
1のバッファに蓄積されたテロップ候補画像を比較し、
テロップ候補画像が現フレームにのみ存在するとき現フ
レームのテロップ候補画像を出力する第1の比較手段を
含み、不変画素検出手段が、差分画像を閾値と比較する
第2の比較手段と、差分画像が前記閾値より大きいと
き、現フレームのテロップ候補画像を1フレーム分蓄積
する第2のバッファと、第1の比較手段または第2のバ
ッファから出力された現フレームのテロップ候補画像を
マスク出力として出力するマスク出力手段を含む。
テロップ候補画像のうち値が1である画素数を数える計
数手段と、差分画像のうち閾値より大きい値をもつ画素
数をを数える計数手段と、2つの画素数の比較結果に基
づいてテロップの存在を判定する比較判定手段を有す
る。
ロップ候補画像のうち値が1である画素数を数え、第2
の計数手段が、差分画素のうち閾値以上の画素値を持つ
画素数を数える。比較判定手段では、2つの画素数の比
較結果に基づいてテロップの存在を判定する。これによ
って、テロップ候補画像の面積とフレーム間の差分の大
きさに基づいて、テロップの存在と切り替わりを検出す
ることができる。
が、第1の画素数を第1の閾値と比較する第1の比較手
段と、第1の画素数に第2の閾値を乗算する乗算手段
と、第2の画素数と乗算結果を比較する第2の比較手段
と、第1の画素数が第1の閾値よりも大きく、かつ乗算
結果が第2の画素数より大きいときテロップが存在する
と判定する出力手段を含む。
が、第1の画素数を第1の閾値と比較する第1の比較手
段と、第1の画素数に第2の閾値を乗算する乗算手段
と、第2の画素数と乗算結果を比較する第2の比較手段
と、第1の画素値が第1の閾値よりも大きく、かつ乗算
結果が第2の画素値よりも大きいとき+1ずつカウント
アップし、それ以外のときリセットされるカウンタと、
カウンタの出力が一定値以上のとき、テロップが存在す
ると判定する出力手段を含む。
カウンタが、テロップの継続時間を計時する。これによ
って、一定時間以上継続する場合を検出することがで
き、テロップ以外の被写体が誤検出されても、それが短
時間しか存在しないならそれを除去することができ、よ
り正確な検出を行うことができる。
て図面を参照して説明する。
ップ検出装置のブロック図である。
01とテロップ候補画像作成部102と差分画像作成部
103とAND回路104と判定部105とテロップ出
力端子106で構成される。テロップ候補画像作成部1
02は映像入力端子101に入力された映像からテロッ
プを検出し、テロップの存在する画素を“1”とし、そ
れ以外の画素を“0”としたテロップ候補画像を作成す
る。差分画像作成部103は、時間的に離れた2枚のフ
レーム画像間の差の絶対値を画素値とする差分画像を作
成する。なお、フレーム間隔は、隣接するフレーム間で
もよいし、複数フレーム離れた間隔でもよい。AND回
路104はテロップ候補画像と差分画像との積を求め、
差分画像のうちテロップ候補画像が“0”である部分を
“0”とする。判定部105は、テロップ候補画像作成
部102の出力であるテロップ候補画像と、AND回路
104の出力である差分画像を用いてテロップの存在を
判定し、テロップ出力端子106に出力する。なお、テ
ロップの存在する画素を“0”、それ以外の画素を
“1”としてもよく、また“0”、“1”以外の値をと
るようにしてもよい。
存在する部分に限って差分画像を評価するので、テロッ
プの切り替わりを検出することができるという点であ
る。
技術を利用することができる。例えば、前述の1996
年電子情報通信学会情報・システムソサィエティ大会
「MPEG映像からのテロップ領域検出法」に基づく方
法を用いることができる。
る。符号化された映像データをフレームごとに入力し
(ステップ201)、フレーム間の相関を用いて符号化
されたフレームを対象にしてフレーム間の相関を用い、
かつ、動き補償を用いないで符号化されたマクロブロッ
クを一定計数区間内で計数し(ステップ201〜20
4)、閾値との比較結果に基づいてテロップ部分を選択
している(ステップ205)。
作成部102のブロック図である。フレーム判別部30
1は、符号化された映像データからフレーム間の相関を
用いて符号化されたフレームを抽出する。計数部302
はこのフレームのマクロブロックのうち、フレーム間の
相関を用い、かつ、動き補償を用いないで符号化された
マクロブロックが現れる数を、それぞれのマクロブロッ
クの位置ごとに、一定計数区間内で計数する。計数結果
はマトリックスになって選択部303に入力され、選択
部303は与えられた閾値との比較結果に基づいて、テ
ロップ領域を表すマトリックスを出力する。最後に、連
結領域作成部304は、テロップ領域マトリックスの連
結領域を求め、それぞれの連結領域をテロップ候補画像
として出力する。
ップ検出装置のブロック図である。
成部107を追加したものである。マスク作成部107
はテロップ候補画像と差分画像を用いてマスクを作成す
る。マスクは、差分画像を評価する領域を“1”とし、
それ以外を“0”とした画像である。差分画像を評価す
る領域を“0”、それ以外を“1”としてもよく、また
“0”、“1”以外の値でもよい。
べて、差分画像を評価する領域をさらに限定することが
できる。例えば、テロップ候補画像が、実際にテロップ
が存在する領域よりも幅広い領域をカバーしている場
合、マスク作成部107によって、実際にテロップが存
在する領域だけに判定領域を限定することができる。こ
れによって、テロップの背景の影響を少なくして、より
正確なテロップ検出が可能となる。
ロック図である。
画像入力端子401に入力されたテロップ候補画像を前
のフレームでのテロップ候補画像と比較し、新たに出現
したテロップ候補画素を抽出する。なお、テロップ候補
画像の変化を求めるフレーム間隔は、近接するフレーム
間でもよいし、数フレーム離れた間隔でもよいが、差分
画像を求めるときのフレーム間隔が適当である。一方、
不変画素検出部404は、差分画像入力端子403に入
力された差分画像から、画素値がある閾値よりも小さ
く、かつ対応するテロップ候補画像の値が“1”である
ものだけを抽出する。新規候補画素検出部402と不変
画素検出部404の両出力はOR回路405において少
なくとも一方が“1”である画素を“1”とし、それ以
外を“0”としたマスクを合成し、マスク出力端子40
6に出力される。
子を示す図である。図6(1)と図6(2)はテロップ
候補画像と実際のテロップを構成する画素を表し、時間
的に図6(1)から図6(2)に変化したものとする。
図で実線枠に囲まれた斜線部はテロップ候補である部分
を表し、さらに黒い領域は実際のテロップを構成する画
素を表す。図6(1)と図6(2)の間で、新規候補画
素検出部402によって、右の「C」を含む周辺のテロ
ップ候補画素が検出されるので、図6(3)のマスクの
右部では、矩形領域が1となる。また、図6(1)と図
6(2)で、「B」の背景部の画素の変化が激しいとす
ると、不変画素検出部404によって、実際のテロップ
を構成する画素だけが検出されるので、図6(3)のマ
スクの中央部では、テロップを構成する画素に対応する
部分が“1”となる。「A」の部分は、図6(2)の時
点でテロップが消滅しているため、対応するマスクは
“0”となる。このようにして、テロップが変化しない
部分では、テロップを構成する画素に対応する部分を
“1”とし、また、新たにテロップが出現した部分で
は、テロップ候補画像が“1”である部分を“1”とす
るマスクを合成することができる。
ブロック図である。
ァ502、AND回路503は新規候補画素検出部40
2を構成している。テロップ候補画像入力端子501に
入力されたテロップ候補画像はバッファ502に1フレ
ーム分だけ蓄積される。AND回路503は、現フレー
ムとバッファ502に蓄積された前フレームとでテロッ
プ候補画像を比較する。ここでは、テロップ候補が現フ
レームにのみ存在し、かつ前フレームには存在しないと
きに“1”、それ以外は“0”の値が出力される。
05、比較器506、AND回路507、バッファ50
8は不変画素検出部404を構成している。比較器50
6において、差分画像入力端子504から入力された差
分画像と、閾値入力端子505に入力された閾値Dとが
比較される。差分画像は画素毎に比較され、閾値Dの方
が大きいときに“1”、それ以外のときは“0”の値が
出力される。さらに、AND回路507によって、テロ
ップ候補でない画素は“0”とされる。その結果はバッ
ファ508に1フレーム分だけ蓄積される。
の出力はOR回路509によって統合され、少なくとも
一方が“1”の場合“1”、両方が“0”の場合に
“0”というマスク出力としてマスク出力端子510に
出力される。
図である。
す画像が入力され、計数部602において、画素値が
“1”である画素が計数される。判定領域を表す画像と
しては、例えば、図1では、テロップ候補画像作成部1
02から出力されたテロップ候補画像から構成される画
像や、図4では、マスク部107によって作成されたマ
スクを用いることができる。判定領域入力端子601と
計数部602によって判定領域の面積を求めることがで
きる。
差分画像が入力される。例えば、図1や図4では、AN
D回路104の出力を用いることができる。比較器60
5によって、差分画像の画素値は、閾値入力端子604
に入力された閾値Dと比較され、差分画像の画素値の方
が閾値Dよりも大きい場合には“1”、それ以外の場合
には“0”が出力される。計数部606では、比較器6
05の出力のうち“1”の数を計数する。入力端子60
3,604、比較器605によって、判定領域内で差分
がD以上の部分の面積を求めることができる。比較判定
部607では、計数部602の出力をaとし、計数部6
06の出力をbとして入力し、aとbとの比較結果をテ
ロップ出力端子608に出力する。
ック図である。
力され、入力端子703には判定領域内の差分画像で閾
値を超える部分の面積bが入力される。比較器702で
は、面積aが閾値Aと比較され、aの方が大きい場合に
“1”が、それ以外の場合に“0”が出力される。ま
た、比較器705は、閾値Rと面積aの乗算器704に
よる乗算結果aRとbとを比較し、aRの方が大きい場
合に“1”を、それ以外の場合に“0”を出力する。比
較器702と705の出力は、AND回路706によっ
て、両方が“1”である場合に“1”、それ以外の場合
に“0”をテロップ出力端子707に出力する。比較判
定部607のこの例によれば、a>A、かつ、aR>b
の場合、すなわち、テロップが存在しフレーム画像の変
化を調べるべき判定領域の面積が大きく、しかも、判定
領域内のフレーム画像の変化が小さいときは“1”、そ
れ以外の場合に“0”が出力される。テロップが切り替
わることによって、判定領域内でフレーム画像が大きく
変化すると、出力は“0”となる。これによって、ある
テロップが連続的に出現している間は“1”が出力さ
れ、テロップが存在しない場合や、テロップが切り替わ
った時に“0”が出力される。
ブロック図である。
がOR回路708、カウンタ709、比較器710に置
き換わっている。OR回路708、カウンタ709、比
較器710は計時手段を構成している。比較器702の
出力は、カウンタ709の増分信号としてカウンタ70
9に入力される。また、比較器702と705の出力か
ら、OR回路708によって、比較器702の出力が
“0”および/または、比較器705の出力が“1”の
ときに“1”、それ以外の場合“0”の信号が作成さ
れ、カウンタ709のリセット信号として出力される。
カウンタ709の値は比較器710によって閾値Tと比
較され、カウンタ709の値が閾値Tよりも大きいとき
に“1”が、それ以外の場合は“0”が出力端子707
に出力される。
A、かつaR>bの場合、すなわち、テロップが存在し
フレーム画像の変化を調べるべき判定領域の面積がある
値よりも大きく、しかも、判定領域内のフレーム画像の
変化が小さいとき、カウンタ709の値が1ずつ増え
る。それ以外の場合には、カウンタ709がリセットさ
れる。例えば、テロップが切り替わることによって、判
定領域内でフレーム画像が大きく変化すると、カウンタ
709がリセットされる。これによって、あるテロップ
が連続的に出現している間は、カウンタ709の値が1
ずつ増え、テロップが存在しない場合や、テロップが切
り替わった時にカウンタ709がリセットされる。つま
り、カウンタ709は、テロップの継続時間を計る働き
をしている。
が一定時間以上継続する場合に“1”を出力する。こう
すれば、短時間しか存在しないテロップを除去すること
ができる。テロップ以外の被写体が誤ってテロップ候補
となった場合でも、短時間しか継続しなければ、除去す
ることが可能となる。
施形態を表すフローチャートである。
入力する。次に、テロップ候補画像作成段階802にお
いてテロップ候補画像が検出され、テロップ候補画像の
存在する画素を“1”とし、それ以外の画素を“0”と
したテロップ候補画像が作成される。また、差分画像作
成段階803において、時間的に離れた2枚のフレーム
画像間の差の絶対値を画素値とする差分画像が作成され
る。なお、フレーム間隔は、隣接するフレーム間でもよ
いし、複数フレーム離れた間隔でもよい。また、テロッ
プ候補画像作成段階802と差分画像作成段階803
は、どちらを先に実行してもよい。抽出段階804で
は、差分画像のうちテロップ候補画像が“0”である部
分を“0”とする。判定段階805ではテロップの存在
を判定する。
実施形態で処理をする画像やバッファについて説明す
る。
ており、個々の画素は、画素番号pによって指示される
scr[p]で表される。また、1個以上の画素の集合
をブロックとし、ブロック番号bによって指示されると
する。テロップ候補画像はブロック単位で管理し、te
l[b]によって表される。テロップ候補ならtel
[b]=1、それ以外ではtel[b]=0となる。ま
た、前の処理段階のフレームのテロップ候補画像は、p
retel[b]で表される。差分画像は画素単位で管
理し、diff[p]によって表される。同様に、前の
処理段階のフレームの差分画像は、prediff
[b]で表される。
の例を表すフローチャートである。
号bを0に初期化する。次に、ステップ902で、ブロ
ック番号bによって指示されるブロックがテロップ候補
であるかどうかを調べ、テロップ候補であれば、ステッ
プ903でtel[b]に1を代入し、そうでなければ
ステップ904でtel[b]に0を代入する。なお、
テロップ候補画像の検出には、従来技術である、例え
ば、前述の1996年電子情報通信学会情報・システム
ソサィエティ大会「MPEG映像からのテロップ領域検
出法」に基づく方法を用いることができる。続いて、ス
テップ905でbの値を1増やし、ステップ906でブ
ロック番号bがブロック数と等しいかを判定し、ブロッ
ク番号bがブロック数になるまでステップ902からの
処理を繰り返す。以上の手順により、テロップ候補画像
tel[b]が作成される。
すフローチャートである。
が0に初期化される。次に、ステップ912において現
フレームの画素値scr[p]と前フレームの画素値p
rescr[p]の差の絶対値が差分画像の画素値di
ff[p]に格納される。続いて、ステップ913でp
の値を1ずつ増やし、ステップ914で画素番号pが全
画素数と等しくなるまでステップ912からの処理を繰
り返す。以上の手順により、差分画像diff[p]が
作成される。
すフローチャートである。
ップ領域画像のうちの不変画素か、または、新たにテロ
ップ候補となった画素の集合を判定領域とし、判定領域
に含まれる差分画像を抽出する。ここで、不変画素はフ
レーム間で値の変化が小さい画素を表す。そして、判定
領域の面積countと、判定領域内の差分画像の大き
い部分、すなわち、フレーム画像が変化した部分の面積
cdiffを計算し、出力とする。判定領域のうち、不
変画素は画素m[p]によって表される。なお、m
[p]は最初0である。
iffと画素番号pを0に初期化する。以下、すべての
画素番号pについて処理を行う。ステップ922では、
画素番号pに対応するブロック番号bを求める。ステッ
プ923の条件判断では、不変画素(m[p]=1)で
あるか、または、番号bのブロックがテロップ候補であ
り(tel[b]=1)、かつ、前フレームではテロッ
プ候補でない(pretel[b]=0)かの少なくと
も一方が成り立つか判断し、成り立つときステップ92
4に進み、それ以外の場合は、ステップ927に進む。
この条件判断では、不変画素か、または、新たにテロッ
プ候補となった画素かの少なくとも一方であるかどうか
を判断している。ステップ924では、countの値
を1増やす。さらに、ステップ925で画素番号pの差
分画像の画素値を調べ、閾値Dより大きい場合には、ス
テップ926に進み、cdiffの値を1増やし、そう
でない場合は、ステップ927に進む。ステップ927
では、画素番号pの値を1増やし、ステップ928で画
素番号pが全画素数になるまで、ステップ922からの
処理を繰り返す。以上の手順により、テロップ候補が存
在しフレーム画像の変化を調べるべき判定領域の面積c
ountと、判定領域内でフレーム画像が変化した部分
の面積cdiffを求めることができる。
よって不変画素m[p]を求め、pretelとpre
scrを作成する。まず、ステップ929で画素番号p
を0に初期化する。ステップ930では、pに対応する
ブロック番号bを求める。ステップ931では、ブロッ
クbがテロップ候補であり(tel[b]=1)、か
つ、差分画像の番号pの画素値が閾値D以下(diff
[p]≦D)であるかどうか判断し、条件が真であれば
ステップ932に進んでm[p]の値を1にし、そうで
ない場合に、ステップ933に進んでm[p]の値を0
にする。ステップ934でpの値を1増やし、ステップ
935でpが全画素数になるまで、ステップ930から
の処理を繰り返す。以上の手順により、不変画素m
[p]を求めることができる。次に、ステップ936で
現フレームのtelとscrの内容をそれぞれpret
el,prescrにコピーし、次回の処理段階に備え
る。最後に、先に計算したcountとcdiffをス
テップ937で出力して、本段階を終わる。
チャートである。まず、概要を説明すると、本例は、フ
レーム画像の変化を調べるべき判定領域の面積coun
tと、判定領域内でフレーム画像が変化した部分の面積
cdiffを入力とする。変数tは整数の値を持ち、テ
ロップの継続時間を表している。countとcdif
fを比較し、テロップが継続的に出現している間は、t
の値が1ずつ増え、テロップが存在しない場合や、テロ
ップが切り替わった時に、tは0にリセットされる。短
時間のノイズを除去するために、閾値T以上存続した場
合にテロップと認定する。そこで、Tとtを比較し、テ
ロップの「開始」「継続中」「終了」を判定し、さら
に、それぞれに対応する副手順を実行することができ
る。なお、この例では、各副手順を特に規定しておら
ず、用途に応じて様々に定義することができる。たとえ
ば、検出状態を画面上に表示するための描画関数を副手
順として定義することもできる。
どうかを調べる。tが0以下、すなわち現時点でテロッ
プが存在していないときは、ステップ942に進み、t
が0より大きいとき、すなわちテロップが存在している
ときは、ステップ944に進む。ステップ942では、
countの値を閾値Aと比較し、A以上の場合にのみ
ステップ943に進んでtの値を1とする。つまり、テ
ロップの開始を表す。
と比較し、さらに、cdiffをcountで割った数
を閾値Rと比較し、count<Aとcdiff/co
unt>Rの少なくとも一方が成り立つかどうか判定
し、成り立つときステップ946に進み、そうでなけれ
ばステップ945に進む。この条件判断は、テロップが
存在しないか、または、判定領域内の画像変化が大きい
場合を調べている。ステップ945では、前記条件が成
立しなかったので、テロップは継続中であり、tの値を
1増やす。
テロップが消滅または切り替わったことを表すので、テ
ロップ継続時間tが閾値T以上であるかを調べる。条件
成立の場合は、後述の副手順「テロップ開始」が呼び出
されているので、それに対応するように、ステップ94
7の副手順「テロップ終了」を実行する。いずれの場合
も、ステップ948でtの値をリセットする。
果に基づきtの値を変化させる手順であった。続くステ
ップ949〜952は、tと閾値Tとを比較し、副手順
「テロップ開始」「テロップ継続中」を呼び出す処理で
ある。まず、ステップ949で、tが閾値Tと等しいか
どうか調べる。等しい場合は、ステップ950の副手順
「テロップ開始」を実行する。等しくない場合は、ステ
ップ951でtがTより大きいか調べ、条件成立の場合
は、ステップ952の副手順「テロップ継続中」を呼び
出す。
れるものではなく、その趣旨を変えない範囲で、様々に
実施することができる。たとえば、最終的なテロップの
存在判定を用いて、フレーム画像を出力し、テロップの
一覧を作成することもできる。
うな効果がある。 (1)請求項1と5の発明は、テロップの存在する領域
のフレーム画像の変化に基づいてテロップを検出するの
で、テロップの切り替わりを検出することができる。 (2)請求項4と6の発明は、フレーム画像の変化を調
べる領域を、テロップの存在する領域に限定することが
できるので、テロップの背景の変化の影響を受けにくく
なり、より正確にテロップの切り替わりを検出すること
ができる。 (3)請求項12の本発明は、テロップの継続時間を計
ることができ、短時間しか存在しないテロップを除去す
ることができる。テロップ以外の被写体が誤ってテロッ
プ候補となった場合でも、短時間しか継続しなければ、
除去することが可能となる。
置を表すブロック図である。
トである。
図である。
置を表すブロック図である。
ある。
ある。
である。
る。
である。
を表すフローチャートである。
ーチャートである。
トである。
る。
る。
る。
41〜952 ステップ
Claims (12)
- 【請求項1】 映像からテロップを検出する方法であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成段階
と、 2枚のフレーム画像の差分画像を作成する差分画像作成
段階と、 前記差分画像からテロップ候補の存在する部分だけを抽
出する抽出段階と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する判定段階を有する映像テロ
ップ検出方法。 - 【請求項2】 前記抽出段階が、入力画像のうちの、フ
レーム間で値の変化が小さい画素である不変画素か、ま
たは新たにテロップ候補となった画素の集合を判定領域
としてその面積を求め、また該判定領域内でフレーム画
像が変化した部分の面積を求める段階と、前記不変画素
を求める段階を含む、請求項1記載の方法。 - 【請求項3】 前記判定段階が、テロップの継続時間が
0のとき、前記判定領域の面積が第1の閾値以上ならば
テロップの継続時間を1とする段階と、テロップの継続
時間が0よりも大きいとき、前記判定領域の面積が第1
の閾値よりも小さいか、フレーム画像が変化した部分の
面積を前記判定領域の面積で割った値が第2の閾値より
も大きいとき、テロップの継続時間が第3の閾値以上な
らばテロップ終了を実行し、この後およびテロップの継
続時間が第3の継続時間未満のときテロップの継続時間
を0にリセットし、前記判定領域の面積が第1の閾値以
上で、フレーム画像が変化した部分の面積を前記判定領
域の面積で割った値が第2の閾値以下の時、テロップの
継続時間を1増やす段階と、テロップの継続時間が第3
の閾値と等しいとき副手順「テロップ開始」を実行し、
テロップの継続時間が第3の閾値よりも大きいとき副手
順「テロップ継続中」を呼び出す段階を含む、請求項2
記載の方法。 - 【請求項4】 映像からテロップを検出する方法であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成段階
と、 2枚のフレーム画像の差分画像を作成する差分画像作成
段階と、 前記テロップ候補画像と前記差分画像を用いて、画素値
の変化を検出すべき領域を示すマスクを作成するマスク
作成段階と、 前記差分画像からマスクの部分だけを抽出する抽出段階
と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する段階を有する映像テロップ
検出方法。 - 【請求項5】 映像からテロップを検出する装置であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、 2枚のフレーム画像の差分画像を作成する差分画像作成
手段と、 前記差分画像からテロップ候補の存在する部分だけを抽
出する抽出手段と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する判定手段を有する映像テロ
ップ検出装置。 - 【請求項6】 映像からテロップを検出する装置であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、 2枚のフレーム画像の差分画像を作成する差分画像作成
手段と、 前記テロップ候補画像と前記差分画像を用いて、画素値
の変化を検出すべき領域を示すマスクを作成するマスク
作成手段と、 前記差分画像からマスクの部分だけを抽出する抽出手段
と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する判定手段を有する映像テロ
ップ検出装置。 - 【請求項7】 前記テロップ候補画像作成手段が、符号
化された映像データからフレーム間の相関を用いて符号
化されたフレームを抽出するフレーム判別手段と、抽出
されたフレームのマクロブロックのうち、フレーム間の
相関を用い、かつ動き補償を用いないで符号化されたマ
クロブロックが現われる数を、それぞれのマクロブロッ
クの位置毎に、一定計数区間内で計数する計数手段と、
計数結果を与えられた閾値と比較してテロップ領域を表
すマトリックスを出力する選択手段と、前記マトリック
スの連結領域を求め、それぞれの連結領域をテロップ候
補画像として出力する連結領域作成手段を含む、請求項
5または6記載の装置。 - 【請求項8】 前記マスク作成手段が、フレーム間で値
の変化が小さい画素である不変画素を検出する不変画素
検出手段と、新たに現れたテロップ候補を検出する新規
候補画素検出手段と、不変画素と新規候補画素の少なく
とも一方が存在する領域を示すマスクを合成するマスク
合成手段を有する請求項6記載の映像テロップ検出装
置。 - 【請求項9】 前記新規候補画素検出手段が、テロップ
候補画像を1フレーム分蓄積する第1のバッファと、現
フレームのテロップ候補画像と前記第1のバッファに蓄
積されたテロップ候補画像を比較し、テロップ候補画像
が現フレームにのみ存在するとき現フレームのテロップ
候補画像を出力する第1の比較手段を含み、前記不変画
素検出手段が、前記差分画像を閾値と比較する第2の比
較手段と、前記差分画像が前記閾値より大きいとき、現
フレームのテロップ候補画像を1フレーム分蓄積する第
2のバッファと、第1の比較手段または第2のバッファ
から出力された現フレームのテロップ候補画像をマスク
出力として出力するマスク出力手段を含む、請求項8記
載の装置。 - 【請求項10】 前記判定手段が、テロップ候補画像の
うち値が1である第1の画素数を数える計数手段と、差
分画像のうち閾値より大きい値を持つ第2の画素数を数
える計数手段と、2つの画素数の比較結果に基づいてテ
ロップの存在を判定する比較判定手段を有する請求項5
または6記載の映像テロップ検出装置。 - 【請求項11】 前記比較判定手段が、第1の画素数を
第1の閾値と比較する第1の比較手段と、第1の画素数
に第2の閾値を乗算する乗算手段と、第2の画素数と前
記乗算結果を比較する第2の比較手段と、第1の画素数
が第1の閾値よりも大きく、かつ前記乗算結果が第2の
画素数より大きいときテロップが存在すると判定する出
力手段を含む、請求項10記載の装置。 - 【請求項12】 前記比較判定手段が、第1の画素数を
第1の閾値と比較する第1の比較手段と、第1の画素数
に第2の閾値を乗算する乗算手段と、第2の画素数と前
記乗算結果を比較する第2の比較手段と、第1の画素値
が第1の閾値よりも大きく、かつ前記乗算結果が第2の
画素値よりも大きいとき+1ずつカウントアップし、そ
れ以外のときリセットされるカウンタと、前記カウンタ
の出力が一定値以上のとき、テロップが存在すると判定
する出力手段を含む、請求項10記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12735897A JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12735897A JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10322595A true JPH10322595A (ja) | 1998-12-04 |
JP3609236B2 JP3609236B2 (ja) | 2005-01-12 |
Family
ID=14957981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12735897A Expired - Lifetime JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3609236B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002084458A (ja) * | 2000-06-23 | 2002-03-22 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
KR100652467B1 (ko) | 1998-09-03 | 2006-12-01 | 소니 가부시끼 가이샤 | 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치 |
JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
CN102494676A (zh) * | 2011-12-12 | 2012-06-13 | 中国科学院长春光学精密机械与物理研究所 | 复杂背景下的卫星自动识别装置 |
WO2013008374A1 (ja) * | 2011-07-13 | 2013-01-17 | 日本電気株式会社 | 動画領域検出装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07105340A (ja) * | 1993-09-30 | 1995-04-21 | Nippondenso Co Ltd | 表示プレート検出装置 |
JPH08212231A (ja) * | 1995-02-02 | 1996-08-20 | Hitachi Ltd | 字幕検出方法および動画像の代表画像抽出装置 |
JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
JPH0916769A (ja) * | 1995-06-27 | 1997-01-17 | Canon Inc | 画像処理装置および方法 |
-
1997
- 1997-05-16 JP JP12735897A patent/JP3609236B2/ja not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07105340A (ja) * | 1993-09-30 | 1995-04-21 | Nippondenso Co Ltd | 表示プレート検出装置 |
JPH08212231A (ja) * | 1995-02-02 | 1996-08-20 | Hitachi Ltd | 字幕検出方法および動画像の代表画像抽出装置 |
JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
JPH0916769A (ja) * | 1995-06-27 | 1997-01-17 | Canon Inc | 画像処理装置および方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100652467B1 (ko) | 1998-09-03 | 2006-12-01 | 소니 가부시끼 가이샤 | 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치 |
JP2002084458A (ja) * | 2000-06-23 | 2002-03-22 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
WO2013008374A1 (ja) * | 2011-07-13 | 2013-01-17 | 日本電気株式会社 | 動画領域検出装置 |
JPWO2013008374A1 (ja) * | 2011-07-13 | 2015-02-23 | 日本電気株式会社 | 動画領域検出装置 |
US9367927B2 (en) | 2011-07-13 | 2016-06-14 | Nec Corporation | Moving image region detection device |
CN102494676A (zh) * | 2011-12-12 | 2012-06-13 | 中国科学院长春光学精密机械与物理研究所 | 复杂背景下的卫星自动识别装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3609236B2 (ja) | 2005-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5387947A (en) | Motion vector detecting method of a video signal | |
US7257261B2 (en) | Apparatus and method for generating thumbnail images | |
EP1393553B1 (en) | Detecting subtitles in a displayable image area of a video signal | |
US7502513B2 (en) | Commercial detector with a start of active video detector | |
KR100450808B1 (ko) | 정지 판정 장치 및 그것을 구비한 주사선 보간 장치 | |
JPH11205714A (ja) | ディジタルビデオ画像のアスペクトフォーマットの自動検出方法及び装置 | |
US20060209957A1 (en) | Motion sequence pattern detection | |
US5515114A (en) | Motion-vector detection apparatus for a video signal | |
KR100196553B1 (ko) | 로고 및 폐쇄자막을 갖는 레터박스 신호 처리 시스템 | |
US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
EP1958451B1 (en) | Motion vector field correction | |
US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
EP1149496B1 (en) | Progressive/interlace and redundant field detection for encoder | |
US20090180670A1 (en) | Blocker image identification apparatus and method | |
JPH10322595A (ja) | 映像テロップ検出方法および装置 | |
EP1654703B1 (en) | Graphics overlay detection | |
JP2971724B2 (ja) | 動画像のカット点検出装置 | |
EP0913994B1 (en) | Method and apparatus for automatic format detection in digital video pictures | |
US20060158513A1 (en) | Recognizing film and video occurring in parallel in television fields | |
US6973129B2 (en) | Overlapped field detecting apparatus capable of detecting non-overlapped fields mostly overlapped | |
KR100468843B1 (ko) | 동영상 데이터에서 장면전환을 자동검출하는 방법 및 그장치 | |
JPH089340A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP2002335441A (ja) | テレシネ映像信号検出装置 | |
JPH1023329A (ja) | シーン・チェンジおよび/またはフラッシュ検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031224 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031224 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041013 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |