JPH10322595A - 映像テロップ検出方法および装置 - Google Patents
映像テロップ検出方法および装置Info
- Publication number
- JPH10322595A JPH10322595A JP9127358A JP12735897A JPH10322595A JP H10322595 A JPH10322595 A JP H10322595A JP 9127358 A JP9127358 A JP 9127358A JP 12735897 A JP12735897 A JP 12735897A JP H10322595 A JPH10322595 A JP H10322595A
- Authority
- JP
- Japan
- Prior art keywords
- telop
- image
- area
- candidate
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【課題】 映像からテロップの切り替わりを検出する。
【解決手段】 テロップ候補画像作成部１０２は映像入
力端子１０１に入力された映像からテロップを検出し、
テロップの存在する画素を“１”、それ以外の画素を
“０”としたテロップ候補画像を作成する。差分画像作
成部１０３は、時間的に離れた２枚のフレーム画像間の
差の絶対値を画素値とする差分画像を作成する。ＡＮＤ
回路１０４はテロップ候補画像と差分画像との積を求
め、差分画像のうちテロップ候補画像が“０”である部
分を“０”とする。判定部１０５は、テロップ候補画像
作成部１０２の出力であるテロップ候補画像と、ＡＮＤ
回路１０４の出力である差分画像を用いてテロップの存
在を判定し、テロップ出力端子１０６に出力する。
力端子１０１に入力された映像からテロップを検出し、
テロップの存在する画素を“１”、それ以外の画素を
“０”としたテロップ候補画像を作成する。差分画像作
成部１０３は、時間的に離れた２枚のフレーム画像間の
差の絶対値を画素値とする差分画像を作成する。ＡＮＤ
回路１０４はテロップ候補画像と差分画像との積を求
め、差分画像のうちテロップ候補画像が“０”である部
分を“０”とする。判定部１０５は、テロップ候補画像
作成部１０２の出力であるテロップ候補画像と、ＡＮＤ
回路１０４の出力である差分画像を用いてテロップの存
在を判定し、テロップ出力端子１０６に出力する。
Description
【０００１】
【発明の属する技術分野】本発明は映像からテロップを
検出する映像テロップ検出方法および装置に関する。
検出する映像テロップ検出方法および装置に関する。
【０００２】
【従来の技術】テレビ放送、デジタル衛星放送、レーザ
ーディスク、ＤＶＤ、Video on Demand 等、映像の流通
が活発になるにつれて、映像をより柔軟に扱いたいとい
う需要が増えてきた。そこで、映像に様々な目次や索引
情報を付加し、映像の検索やランダムアクセスを可能と
する技術が提案されている。映像を特徴づける情報のう
ち、字幕、写真、記号、アイコン等のテロップは、映像
の意味や内容を反映するものとして重要である。そのた
め、映像から自動的にテロップを検出する方法が提案さ
れている。
ーディスク、ＤＶＤ、Video on Demand 等、映像の流通
が活発になるにつれて、映像をより柔軟に扱いたいとい
う需要が増えてきた。そこで、映像に様々な目次や索引
情報を付加し、映像の検索やランダムアクセスを可能と
する技術が提案されている。映像を特徴づける情報のう
ち、字幕、写真、記号、アイコン等のテロップは、映像
の意味や内容を反映するものとして重要である。そのた
め、映像から自動的にテロップを検出する方法が提案さ
れている。
【０００３】従来の映像テロップ検出装置には次のもの
がある。
がある。
【０００４】例えば、テロップが静止していて、かつ高
精度であるという性質を用い、２枚のフレーム間で動き
のない部分を求め、さらに、輝度が所定値以上の領域を
字幕部分として検出する装置がある（特開平８−３３１
４５６「字幕移動装置」）。
精度であるという性質を用い、２枚のフレーム間で動き
のない部分を求め、さらに、輝度が所定値以上の領域を
字幕部分として検出する装置がある（特開平８−３３１
４５６「字幕移動装置」）。
【０００５】また、テロップはエッジが強く、かつ、高
精度であるという性質を用い、フレーム画像のエッジ強
度と輝度とが閾値を超えるブロックを字幕の存在する部
分として検出する方法もある（例えば、特開平８−２１
２２３１「字幕検出方法および動画像の代表画像抽出装
置」）。
精度であるという性質を用い、フレーム画像のエッジ強
度と輝度とが閾値を超えるブロックを字幕の存在する部
分として検出する方法もある（例えば、特開平８−２１
２２３１「字幕検出方法および動画像の代表画像抽出装
置」）。
【０００６】また、ＭＰＥＧなどフレーム間の相関を用
いて符号化された映像では、フレーム間の相関を用い、
かつ、動き補償を用いないで符号化された画素がテロッ
プの部分に時間的空間的に集中するという性質がある。
この性質を利用し、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化された画素の出現頻度を、あ
る時間区間で計数することによってテロップを検出する
装置もある（１９９６年電子情報通信学会情報・システ
ムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域
検出方法」）。
いて符号化された映像では、フレーム間の相関を用い、
かつ、動き補償を用いないで符号化された画素がテロッ
プの部分に時間的空間的に集中するという性質がある。
この性質を利用し、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化された画素の出現頻度を、あ
る時間区間で計数することによってテロップを検出する
装置もある（１９９６年電子情報通信学会情報・システ
ムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域
検出方法」）。
【０００７】
【発明が解決しようとする課題】上述した従来技術で
は、エッジ強度や輝度などのテロップのもつ性質を用い
てテロップを検出していたが、テロップの切り替わりの
検出能力が低かった。例えば、特開平８−２１２２３１
では、フレーム画像をブロックに分割し、ブロックに対
応する字幕領域データを用意する。字幕領域データに
は、テロップの存在するブロックに１、存在しないブロ
ックに０を格納する。そして、２枚のフレーム間で、字
幕領域データの値が異なるブロックの数を計数し、この
数が一定の割合を超えた場合に、テロップが切り替わっ
たとしている。
は、エッジ強度や輝度などのテロップのもつ性質を用い
てテロップを検出していたが、テロップの切り替わりの
検出能力が低かった。例えば、特開平８−２１２２３１
では、フレーム画像をブロックに分割し、ブロックに対
応する字幕領域データを用意する。字幕領域データに
は、テロップの存在するブロックに１、存在しないブロ
ックに０を格納する。そして、２枚のフレーム間で、字
幕領域データの値が異なるブロックの数を計数し、この
数が一定の割合を超えた場合に、テロップが切り替わっ
たとしている。
【０００８】しかし、この方法では、テロップが切れ目
なく、かつ、面積の変化がなく切り替わったとき、字幕
領域データには変化が現れないので、テロップの切り替
わりを検出することができない。
なく、かつ、面積の変化がなく切り替わったとき、字幕
領域データには変化が現れないので、テロップの切り替
わりを検出することができない。
【０００９】本発明の目的は、映像からテロップの切り
替わりを検出する映像テロップ検出方法および装置を提
供することである。
替わりを検出する映像テロップ検出方法および装置を提
供することである。
【００１０】
【課題を解決するための手段】本発明の映像テロップ検
出方法は、フレーム画像からテロップ候補の存在する領
域を示すテロップ候補画像を作成するテロップ候補画像
作成段階と、２枚のフレーム画像の差分画像を作成する
差分画像作成段階と、差分画像からテロップ候補の存在
する部分だけを抽出する抽出段階と、テロップ候補画像
と抽出された差分画像とに基づいてテロップの存在を判
定する判定段階を有する。
出方法は、フレーム画像からテロップ候補の存在する領
域を示すテロップ候補画像を作成するテロップ候補画像
作成段階と、２枚のフレーム画像の差分画像を作成する
差分画像作成段階と、差分画像からテロップ候補の存在
する部分だけを抽出する抽出段階と、テロップ候補画像
と抽出された差分画像とに基づいてテロップの存在を判
定する判定段階を有する。
【００１１】また、本発明の映像テロップ検出装置は、
フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、２枚のフレーム画像の差分画像を作成する差分画像
作成手段と、差分画像からテロップ候補の存在する部分
だけを抽出する抽出手段と、テロップ候補画像と抽出さ
れた差分画像とに基づいてテロップの存在を判定する判
定手段を有する。
フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、２枚のフレーム画像の差分画像を作成する差分画像
作成手段と、差分画像からテロップ候補の存在する部分
だけを抽出する抽出手段と、テロップ候補画像と抽出さ
れた差分画像とに基づいてテロップの存在を判定する判
定手段を有する。
【００１２】テロップ候補画像作成手段は、フレーム画
像からテロップ候補を検出し、テロップ候補画像を作成
する。差分画像作成手段は、２枚のフレーム画像を作成
する。抽出手段は、テロップ候補の存在する領域の差分
画像を抽出する。判定手段は、テロップ候補画像とテロ
ップ候補の存在する領域の差分画像を用いてテロップの
存在を判定する。これによって、テロップの存在する領
域のフレーム画像の変化に基づいてテロップを検出する
ので、テロップの切り替わりを検出することができる。
像からテロップ候補を検出し、テロップ候補画像を作成
する。差分画像作成手段は、２枚のフレーム画像を作成
する。抽出手段は、テロップ候補の存在する領域の差分
画像を抽出する。判定手段は、テロップ候補画像とテロ
ップ候補の存在する領域の差分画像を用いてテロップの
存在を判定する。これによって、テロップの存在する領
域のフレーム画像の変化に基づいてテロップを検出する
ので、テロップの切り替わりを検出することができる。
【００１３】本発明の他の映像テロップ検出方法は、フ
レーム画像からテロップ候補の存在する領域を示すテロ
ップ候補画像を作成するテロップ候補画像作成段階と、
２枚のフレーム画像の差分画像を作成する差分画像作成
段階と、前記テロップ候補画像と前記差分画像を用い
て、画素値の変化を検出すべき領域を示すマスクを作成
するマスク作成段階と、前記差分画像からマスクの部分
だけを抽出する抽出段階と、前記テロップ候補画像と抽
出された差分画像とに基づいてテロップの存在を判定す
る段階を有する。
レーム画像からテロップ候補の存在する領域を示すテロ
ップ候補画像を作成するテロップ候補画像作成段階と、
２枚のフレーム画像の差分画像を作成する差分画像作成
段階と、前記テロップ候補画像と前記差分画像を用い
て、画素値の変化を検出すべき領域を示すマスクを作成
するマスク作成段階と、前記差分画像からマスクの部分
だけを抽出する抽出段階と、前記テロップ候補画像と抽
出された差分画像とに基づいてテロップの存在を判定す
る段階を有する。
【００１４】また、本発明の他の映像テロップ検出装置
は、フレーム画像からテロップ候補の存在する領域を示
すテロップ候補画像を作成するテロップ候補画像作成手
段と、２枚のフレーム画像の差分画像を作成する差分画
像作成手段と、テロップ候補画像と差分画像を用いて、
画素値の変化を検出すべき領域を示すマスクを作成する
マスク作成手段と、差分画像からマスクの部分だけを抽
出する抽出手段と、テロップ候補画像と抽出された差分
画像とに基づいてテロップの存在を判定する判定手段を
有する。
は、フレーム画像からテロップ候補の存在する領域を示
すテロップ候補画像を作成するテロップ候補画像作成手
段と、２枚のフレーム画像の差分画像を作成する差分画
像作成手段と、テロップ候補画像と差分画像を用いて、
画素値の変化を検出すべき領域を示すマスクを作成する
マスク作成手段と、差分画像からマスクの部分だけを抽
出する抽出手段と、テロップ候補画像と抽出された差分
画像とに基づいてテロップの存在を判定する判定手段を
有する。
【００１５】従来の技術では、基本的にテロップの有無
を判定することに留まっていた。そこで、本発明では、
さらにテロップの存在する領域についてフレーム画像の
変化を調べることによって、テロップの切り替わりを検
出する。
を判定することに留まっていた。そこで、本発明では、
さらにテロップの存在する領域についてフレーム画像の
変化を調べることによって、テロップの切り替わりを検
出する。
【００１６】マスク作成画像は、テロップ候補画像と差
分画像を用いて、マスクを作成する。マスクは、画素値
の変化を検出すべき領域を例えば１とし、それ以外の領
域を例えば０とする。抽出手段は、マスクが１である領
域の差分画像を抽出し、判定手段でテロップ候補画像と
マスクが１である領域の差分画像を用いて、テロップの
素材を判定する。これによって、フレーム画像の変化を
調べる領域を、テロップの存在する領域に限定すること
ができるので、テロップの背景の変化の影響を受けにく
くなり、より正確にテロップの切り替わりを検出するこ
とができる。
分画像を用いて、マスクを作成する。マスクは、画素値
の変化を検出すべき領域を例えば１とし、それ以外の領
域を例えば０とする。抽出手段は、マスクが１である領
域の差分画像を抽出し、判定手段でテロップ候補画像と
マスクが１である領域の差分画像を用いて、テロップの
素材を判定する。これによって、フレーム画像の変化を
調べる領域を、テロップの存在する領域に限定すること
ができるので、テロップの背景の変化の影響を受けにく
くなり、より正確にテロップの切り替わりを検出するこ
とができる。
【００１７】本発明の実施態様によれば、抽出段階が、
入力画像のうちの、フレーム間で値の変化が小さい画素
である不変画素か、または新たにテロップ候補となった
画素の集合を判定領域としてその面積を求め、また該判
定領域内でフレーム画像が変化した部分の面積を求める
段階と、不変画素を求める段階を含む。
入力画像のうちの、フレーム間で値の変化が小さい画素
である不変画素か、または新たにテロップ候補となった
画素の集合を判定領域としてその面積を求め、また該判
定領域内でフレーム画像が変化した部分の面積を求める
段階と、不変画素を求める段階を含む。
【００１８】本発明の実施態様によれば、判定段階が、
テロップの継続時間が０のとき、判定領域の面積が第１
の閾値以上ならばテロップの継続時間を１とする段階
と、テロップの継続時間が０よりも大きいとき、判定領
域の面積が第１の閾値よりも小さいか、フレーム画像が
変化した部分の面積を前記判定領域の面積で割った値が
第２の閾値よりも大きいとき、テロップの継続時間が第
３の閾値以上ならばテロップ終了を実行し、この後およ
びテロップの継続時間が第３の継続時間未満のときテロ
ップの継続時間を０にリセットし、前記判定領域の面積
が第１の閾値以上で、フレーム画像が変化した部分の面
積を前記判定領域の面積で割った値が第２の閾値以下の
時、テロップの継続時間を１増やす段階と、テロップの
継続時間が第３の閾値と等しいとき副手順「テロップ開
始」を実行し、テロップの継続時間が第３の閾値よりも
大きいとき副手順「テロップ継続中」を呼び出す段階を
含む。
テロップの継続時間が０のとき、判定領域の面積が第１
の閾値以上ならばテロップの継続時間を１とする段階
と、テロップの継続時間が０よりも大きいとき、判定領
域の面積が第１の閾値よりも小さいか、フレーム画像が
変化した部分の面積を前記判定領域の面積で割った値が
第２の閾値よりも大きいとき、テロップの継続時間が第
３の閾値以上ならばテロップ終了を実行し、この後およ
びテロップの継続時間が第３の継続時間未満のときテロ
ップの継続時間を０にリセットし、前記判定領域の面積
が第１の閾値以上で、フレーム画像が変化した部分の面
積を前記判定領域の面積で割った値が第２の閾値以下の
時、テロップの継続時間を１増やす段階と、テロップの
継続時間が第３の閾値と等しいとき副手順「テロップ開
始」を実行し、テロップの継続時間が第３の閾値よりも
大きいとき副手順「テロップ継続中」を呼び出す段階を
含む。
【００１９】本発明の実施態様によれば、テロップ候補
画像作成手段が、符号化された映像データからフレーム
間の相関を用いて符号化されたフレームを抽出するフレ
ーム判別手段と、抽出されたフレームのマクロブロック
のうち、フレーム間の相関を用い、かつ動き補償を用い
ないで符号化されたマクロブロックが現われる数を、そ
れぞれのマクロブロックの位置毎に、一定計数区間内で
計数する計数手段と、計数結果を与えられた閾値と比較
してテロップ領域を表すマトリックスを出力する選択手
段と、前記マトリックスの連結領域を求め、それぞれの
連結領域をテロップ候補画像として出力する連結領域作
成手段を含む。
画像作成手段が、符号化された映像データからフレーム
間の相関を用いて符号化されたフレームを抽出するフレ
ーム判別手段と、抽出されたフレームのマクロブロック
のうち、フレーム間の相関を用い、かつ動き補償を用い
ないで符号化されたマクロブロックが現われる数を、そ
れぞれのマクロブロックの位置毎に、一定計数区間内で
計数する計数手段と、計数結果を与えられた閾値と比較
してテロップ領域を表すマトリックスを出力する選択手
段と、前記マトリックスの連結領域を求め、それぞれの
連結領域をテロップ候補画像として出力する連結領域作
成手段を含む。
【００２０】本発明の実施態様によれば、マスク作成手
段が、フレーム間で値の小さい画素である不要画素を検
出する不変画素検出手段と、新たに現れたテロップ候補
を検出する新規候補画素検出手段と、不変画素か新規候
補画素の少なくとも一方が存在する領域を示すマスクを
合成するマスク合成手段を有する。
段が、フレーム間で値の小さい画素である不要画素を検
出する不変画素検出手段と、新たに現れたテロップ候補
を検出する新規候補画素検出手段と、不変画素か新規候
補画素の少なくとも一方が存在する領域を示すマスクを
合成するマスク合成手段を有する。
【００２１】マスク作成手段においては、不変画素検出
手段が、画素が不変である領域を検出する。新規候補画
素検出手段は、新たに現れたテロップ候補を検出する。
合成手段は、不変画素か新規候補画素の少なくとも一方
が存在する領域を求めマスクを合成する。これによっ
て、テロップが以前より存在する画素と、テロップ候補
が新たに現れた画素を例えば１とし、それ以外の領域を
例えば０とするマスクが作成される。
手段が、画素が不変である領域を検出する。新規候補画
素検出手段は、新たに現れたテロップ候補を検出する。
合成手段は、不変画素か新規候補画素の少なくとも一方
が存在する領域を求めマスクを合成する。これによっ
て、テロップが以前より存在する画素と、テロップ候補
が新たに現れた画素を例えば１とし、それ以外の領域を
例えば０とするマスクが作成される。
【００２２】本発明の実施態様によれば、新規候補画素
検出手段が、テロップ候補画像を１フレーム分蓄積する
第１のバッファと、現フレームのテロップ候補画像と第
１のバッファに蓄積されたテロップ候補画像を比較し、
テロップ候補画像が現フレームにのみ存在するとき現フ
レームのテロップ候補画像を出力する第１の比較手段を
含み、不変画素検出手段が、差分画像を閾値と比較する
第２の比較手段と、差分画像が前記閾値より大きいと
き、現フレームのテロップ候補画像を１フレーム分蓄積
する第２のバッファと、第１の比較手段または第２のバ
ッファから出力された現フレームのテロップ候補画像を
マスク出力として出力するマスク出力手段を含む。
検出手段が、テロップ候補画像を１フレーム分蓄積する
第１のバッファと、現フレームのテロップ候補画像と第
１のバッファに蓄積されたテロップ候補画像を比較し、
テロップ候補画像が現フレームにのみ存在するとき現フ
レームのテロップ候補画像を出力する第１の比較手段を
含み、不変画素検出手段が、差分画像を閾値と比較する
第２の比較手段と、差分画像が前記閾値より大きいと
き、現フレームのテロップ候補画像を１フレーム分蓄積
する第２のバッファと、第１の比較手段または第２のバ
ッファから出力された現フレームのテロップ候補画像を
マスク出力として出力するマスク出力手段を含む。
【００２３】本発明の実施態様によれば、判定手段が、
テロップ候補画像のうち値が１である画素数を数える計
数手段と、差分画像のうち閾値より大きい値をもつ画素
数をを数える計数手段と、２つの画素数の比較結果に基
づいてテロップの存在を判定する比較判定手段を有す
る。
テロップ候補画像のうち値が１である画素数を数える計
数手段と、差分画像のうち閾値より大きい値をもつ画素
数をを数える計数手段と、２つの画素数の比較結果に基
づいてテロップの存在を判定する比較判定手段を有す
る。
【００２４】判定手段においては、第１の計数手段がテ
ロップ候補画像のうち値が１である画素数を数え、第２
の計数手段が、差分画素のうち閾値以上の画素値を持つ
画素数を数える。比較判定手段では、２つの画素数の比
較結果に基づいてテロップの存在を判定する。これによ
って、テロップ候補画像の面積とフレーム間の差分の大
きさに基づいて、テロップの存在と切り替わりを検出す
ることができる。
ロップ候補画像のうち値が１である画素数を数え、第２
の計数手段が、差分画素のうち閾値以上の画素値を持つ
画素数を数える。比較判定手段では、２つの画素数の比
較結果に基づいてテロップの存在を判定する。これによ
って、テロップ候補画像の面積とフレーム間の差分の大
きさに基づいて、テロップの存在と切り替わりを検出す
ることができる。
【００２５】本発明の実施態様によれば、比較判定手段
が、第１の画素数を第１の閾値と比較する第１の比較手
段と、第１の画素数に第２の閾値を乗算する乗算手段
と、第２の画素数と乗算結果を比較する第２の比較手段
と、第１の画素数が第１の閾値よりも大きく、かつ乗算
結果が第２の画素数より大きいときテロップが存在する
と判定する出力手段を含む。
が、第１の画素数を第１の閾値と比較する第１の比較手
段と、第１の画素数に第２の閾値を乗算する乗算手段
と、第２の画素数と乗算結果を比較する第２の比較手段
と、第１の画素数が第１の閾値よりも大きく、かつ乗算
結果が第２の画素数より大きいときテロップが存在する
と判定する出力手段を含む。
【００２６】本発明の実施態様によれば、比較判定手段
が、第１の画素数を第１の閾値と比較する第１の比較手
段と、第１の画素数に第２の閾値を乗算する乗算手段
と、第２の画素数と乗算結果を比較する第２の比較手段
と、第１の画素値が第１の閾値よりも大きく、かつ乗算
結果が第２の画素値よりも大きいとき＋１ずつカウント
アップし、それ以外のときリセットされるカウンタと、
カウンタの出力が一定値以上のとき、テロップが存在す
ると判定する出力手段を含む。
が、第１の画素数を第１の閾値と比較する第１の比較手
段と、第１の画素数に第２の閾値を乗算する乗算手段
と、第２の画素数と乗算結果を比較する第２の比較手段
と、第１の画素値が第１の閾値よりも大きく、かつ乗算
結果が第２の画素値よりも大きいとき＋１ずつカウント
アップし、それ以外のときリセットされるカウンタと、
カウンタの出力が一定値以上のとき、テロップが存在す
ると判定する出力手段を含む。
【００２７】比較判定手段においては、計時手段である
カウンタが、テロップの継続時間を計時する。これによ
って、一定時間以上継続する場合を検出することがで
き、テロップ以外の被写体が誤検出されても、それが短
時間しか存在しないならそれを除去することができ、よ
り正確な検出を行うことができる。
カウンタが、テロップの継続時間を計時する。これによ
って、一定時間以上継続する場合を検出することがで
き、テロップ以外の被写体が誤検出されても、それが短
時間しか存在しないならそれを除去することができ、よ
り正確な検出を行うことができる。
【００２８】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２９】図１は本発明の第１の実施形態の映像テロ
ップ検出装置のブロック図である。
ップ検出装置のブロック図である。
【００３０】本映像テロップ検出装置は映像入力端子１
０１とテロップ候補画像作成部１０２と差分画像作成部
１０３とＡＮＤ回路１０４と判定部１０５とテロップ出
力端子１０６で構成される。テロップ候補画像作成部１
０２は映像入力端子１０１に入力された映像からテロッ
プを検出し、テロップの存在する画素を“１”とし、そ
れ以外の画素を“０”としたテロップ候補画像を作成す
る。差分画像作成部１０３は、時間的に離れた２枚のフ
レーム画像間の差の絶対値を画素値とする差分画像を作
成する。なお、フレーム間隔は、隣接するフレーム間で
もよいし、複数フレーム離れた間隔でもよい。ＡＮＤ回
路１０４はテロップ候補画像と差分画像との積を求め、
差分画像のうちテロップ候補画像が“０”である部分を
“０”とする。判定部１０５は、テロップ候補画像作成
部１０２の出力であるテロップ候補画像と、ＡＮＤ回路
１０４の出力である差分画像を用いてテロップの存在を
判定し、テロップ出力端子１０６に出力する。なお、テ
ロップの存在する画素を“０”、それ以外の画素を
“１”としてもよく、また“０”、“１”以外の値をと
るようにしてもよい。
０１とテロップ候補画像作成部１０２と差分画像作成部
１０３とＡＮＤ回路１０４と判定部１０５とテロップ出
力端子１０６で構成される。テロップ候補画像作成部１
０２は映像入力端子１０１に入力された映像からテロッ
プを検出し、テロップの存在する画素を“１”とし、そ
れ以外の画素を“０”としたテロップ候補画像を作成す
る。差分画像作成部１０３は、時間的に離れた２枚のフ
レーム画像間の差の絶対値を画素値とする差分画像を作
成する。なお、フレーム間隔は、隣接するフレーム間で
もよいし、複数フレーム離れた間隔でもよい。ＡＮＤ回
路１０４はテロップ候補画像と差分画像との積を求め、
差分画像のうちテロップ候補画像が“０”である部分を
“０”とする。判定部１０５は、テロップ候補画像作成
部１０２の出力であるテロップ候補画像と、ＡＮＤ回路
１０４の出力である差分画像を用いてテロップの存在を
判定し、テロップ出力端子１０６に出力する。なお、テ
ロップの存在する画素を“０”、それ以外の画素を
“１”としてもよく、また“０”、“１”以外の値をと
るようにしてもよい。
【００３１】本実施形態の利点は、テロップ候補画像の
存在する部分に限って差分画像を評価するので、テロッ
プの切り替わりを検出することができるという点であ
る。
存在する部分に限って差分画像を評価するので、テロッ
プの切り替わりを検出することができるという点であ
る。
【００３２】なお、テロップ候補画像の検出には、従来
技術を利用することができる。例えば、前述の１９９６
年電子情報通信学会情報・システムソサィエティ大会
「ＭＰＥＧ映像からのテロップ領域検出法」に基づく方
法を用いることができる。
技術を利用することができる。例えば、前述の１９９６
年電子情報通信学会情報・システムソサィエティ大会
「ＭＰＥＧ映像からのテロップ領域検出法」に基づく方
法を用いることができる。
【００３３】図２はこの方法を示すフローチャートであ
る。符号化された映像データをフレームごとに入力し
（ステップ２０１）、フレーム間の相関を用いて符号化
されたフレームを対象にしてフレーム間の相関を用い、
かつ、動き補償を用いないで符号化されたマクロブロッ
クを一定計数区間内で計数し（ステップ２０１〜２０
４）、閾値との比較結果に基づいてテロップ部分を選択
している（ステップ２０５）。
る。符号化された映像データをフレームごとに入力し
（ステップ２０１）、フレーム間の相関を用いて符号化
されたフレームを対象にしてフレーム間の相関を用い、
かつ、動き補償を用いないで符号化されたマクロブロッ
クを一定計数区間内で計数し（ステップ２０１〜２０
４）、閾値との比較結果に基づいてテロップ部分を選択
している（ステップ２０５）。
【００３４】図３はこの方法に基づくテロップ候補画像
作成部１０２のブロック図である。フレーム判別部３０
１は、符号化された映像データからフレーム間の相関を
用いて符号化されたフレームを抽出する。計数部３０２
はこのフレームのマクロブロックのうち、フレーム間の
相関を用い、かつ、動き補償を用いないで符号化された
マクロブロックが現れる数を、それぞれのマクロブロッ
クの位置ごとに、一定計数区間内で計数する。計数結果
はマトリックスになって選択部３０３に入力され、選択
部３０３は与えられた閾値との比較結果に基づいて、テ
ロップ領域を表すマトリックスを出力する。最後に、連
結領域作成部３０４は、テロップ領域マトリックスの連
結領域を求め、それぞれの連結領域をテロップ候補画像
として出力する。
作成部１０２のブロック図である。フレーム判別部３０
１は、符号化された映像データからフレーム間の相関を
用いて符号化されたフレームを抽出する。計数部３０２
はこのフレームのマクロブロックのうち、フレーム間の
相関を用い、かつ、動き補償を用いないで符号化された
マクロブロックが現れる数を、それぞれのマクロブロッ
クの位置ごとに、一定計数区間内で計数する。計数結果
はマトリックスになって選択部３０３に入力され、選択
部３０３は与えられた閾値との比較結果に基づいて、テ
ロップ領域を表すマトリックスを出力する。最後に、連
結領域作成部３０４は、テロップ領域マトリックスの連
結領域を求め、それぞれの連結領域をテロップ候補画像
として出力する。
【００３５】図４は本発明の第２の実施形態の映像テロ
ップ検出装置のブロック図である。
ップ検出装置のブロック図である。
【００３６】本実施形態は、第１の実施形態にマスク作
成部１０７を追加したものである。マスク作成部１０７
はテロップ候補画像と差分画像を用いてマスクを作成す
る。マスクは、差分画像を評価する領域を“１”とし、
それ以外を“０”とした画像である。差分画像を評価す
る領域を“０”、それ以外を“１”としてもよく、また
“０”、“１”以外の値でもよい。
成部１０７を追加したものである。マスク作成部１０７
はテロップ候補画像と差分画像を用いてマスクを作成す
る。マスクは、差分画像を評価する領域を“１”とし、
それ以外を“０”とした画像である。差分画像を評価す
る領域を“０”、それ以外を“１”としてもよく、また
“０”、“１”以外の値でもよい。
【００３７】本実施形態の利点は、第１の実施形態に比
べて、差分画像を評価する領域をさらに限定することが
できる。例えば、テロップ候補画像が、実際にテロップ
が存在する領域よりも幅広い領域をカバーしている場
合、マスク作成部１０７によって、実際にテロップが存
在する領域だけに判定領域を限定することができる。こ
れによって、テロップの背景の影響を少なくして、より
正確なテロップ検出が可能となる。
べて、差分画像を評価する領域をさらに限定することが
できる。例えば、テロップ候補画像が、実際にテロップ
が存在する領域よりも幅広い領域をカバーしている場
合、マスク作成部１０７によって、実際にテロップが存
在する領域だけに判定領域を限定することができる。こ
れによって、テロップの背景の影響を少なくして、より
正確なテロップ検出が可能となる。
【００３８】図５はマスク作成部１０７の一例を表すブ
ロック図である。
ロック図である。
【００３９】新規候補画素検出部４０２はテロップ候補
画像入力端子４０１に入力されたテロップ候補画像を前
のフレームでのテロップ候補画像と比較し、新たに出現
したテロップ候補画素を抽出する。なお、テロップ候補
画像の変化を求めるフレーム間隔は、近接するフレーム
間でもよいし、数フレーム離れた間隔でもよいが、差分
画像を求めるときのフレーム間隔が適当である。一方、
不変画素検出部４０４は、差分画像入力端子４０３に入
力された差分画像から、画素値がある閾値よりも小さ
く、かつ対応するテロップ候補画像の値が“１”である
ものだけを抽出する。新規候補画素検出部４０２と不変
画素検出部４０４の両出力はＯＲ回路４０５において少
なくとも一方が“１”である画素を“１”とし、それ以
外を“０”としたマスクを合成し、マスク出力端子４０
６に出力される。
画像入力端子４０１に入力されたテロップ候補画像を前
のフレームでのテロップ候補画像と比較し、新たに出現
したテロップ候補画素を抽出する。なお、テロップ候補
画像の変化を求めるフレーム間隔は、近接するフレーム
間でもよいし、数フレーム離れた間隔でもよいが、差分
画像を求めるときのフレーム間隔が適当である。一方、
不変画素検出部４０４は、差分画像入力端子４０３に入
力された差分画像から、画素値がある閾値よりも小さ
く、かつ対応するテロップ候補画像の値が“１”である
ものだけを抽出する。新規候補画素検出部４０２と不変
画素検出部４０４の両出力はＯＲ回路４０５において少
なくとも一方が“１”である画素を“１”とし、それ以
外を“０”としたマスクを合成し、マスク出力端子４０
６に出力される。
【００４０】図６はマスク作成部１０７による処理の様
子を示す図である。図６（１）と図６（２）はテロップ
候補画像と実際のテロップを構成する画素を表し、時間
的に図６（１）から図６（２）に変化したものとする。
図で実線枠に囲まれた斜線部はテロップ候補である部分
を表し、さらに黒い領域は実際のテロップを構成する画
素を表す。図６（１）と図６（２）の間で、新規候補画
素検出部４０２によって、右の「Ｃ」を含む周辺のテロ
ップ候補画素が検出されるので、図６（３）のマスクの
右部では、矩形領域が１となる。また、図６（１）と図
６（２）で、「Ｂ」の背景部の画素の変化が激しいとす
ると、不変画素検出部４０４によって、実際のテロップ
を構成する画素だけが検出されるので、図６（３）のマ
スクの中央部では、テロップを構成する画素に対応する
部分が“１”となる。「Ａ」の部分は、図６（２）の時
点でテロップが消滅しているため、対応するマスクは
“０”となる。このようにして、テロップが変化しない
部分では、テロップを構成する画素に対応する部分を
“１”とし、また、新たにテロップが出現した部分で
は、テロップ候補画像が“１”である部分を“１”とす
るマスクを合成することができる。
子を示す図である。図６（１）と図６（２）はテロップ
候補画像と実際のテロップを構成する画素を表し、時間
的に図６（１）から図６（２）に変化したものとする。
図で実線枠に囲まれた斜線部はテロップ候補である部分
を表し、さらに黒い領域は実際のテロップを構成する画
素を表す。図６（１）と図６（２）の間で、新規候補画
素検出部４０２によって、右の「Ｃ」を含む周辺のテロ
ップ候補画素が検出されるので、図６（３）のマスクの
右部では、矩形領域が１となる。また、図６（１）と図
６（２）で、「Ｂ」の背景部の画素の変化が激しいとす
ると、不変画素検出部４０４によって、実際のテロップ
を構成する画素だけが検出されるので、図６（３）のマ
スクの中央部では、テロップを構成する画素に対応する
部分が“１”となる。「Ａ」の部分は、図６（２）の時
点でテロップが消滅しているため、対応するマスクは
“０”となる。このようにして、テロップが変化しない
部分では、テロップを構成する画素に対応する部分を
“１”とし、また、新たにテロップが出現した部分で
は、テロップ候補画像が“１”である部分を“１”とす
るマスクを合成することができる。
【００４１】図７はマスク作成部１０７の別の例を表す
ブロック図である。
ブロック図である。
【００４２】テロップ候補画像入力端子５０１、バッフ
ァ５０２、ＡＮＤ回路５０３は新規候補画素検出部４０
２を構成している。テロップ候補画像入力端子５０１に
入力されたテロップ候補画像はバッファ５０２に１フレ
ーム分だけ蓄積される。ＡＮＤ回路５０３は、現フレー
ムとバッファ５０２に蓄積された前フレームとでテロッ
プ候補画像を比較する。ここでは、テロップ候補が現フ
レームにのみ存在し、かつ前フレームには存在しないと
きに“１”、それ以外は“０”の値が出力される。
ァ５０２、ＡＮＤ回路５０３は新規候補画素検出部４０
２を構成している。テロップ候補画像入力端子５０１に
入力されたテロップ候補画像はバッファ５０２に１フレ
ーム分だけ蓄積される。ＡＮＤ回路５０３は、現フレー
ムとバッファ５０２に蓄積された前フレームとでテロッ
プ候補画像を比較する。ここでは、テロップ候補が現フ
レームにのみ存在し、かつ前フレームには存在しないと
きに“１”、それ以外は“０”の値が出力される。
【００４３】差分画像入力端子５０４、閾値入力端子５
０５、比較器５０６、ＡＮＤ回路５０７、バッファ５０
８は不変画素検出部４０４を構成している。比較器５０
６において、差分画像入力端子５０４から入力された差
分画像と、閾値入力端子５０５に入力された閾値Ｄとが
比較される。差分画像は画素毎に比較され、閾値Ｄの方
が大きいときに“１”、それ以外のときは“０”の値が
出力される。さらに、ＡＮＤ回路５０７によって、テロ
ップ候補でない画素は“０”とされる。その結果はバッ
ファ５０８に１フレーム分だけ蓄積される。
０５、比較器５０６、ＡＮＤ回路５０７、バッファ５０
８は不変画素検出部４０４を構成している。比較器５０
６において、差分画像入力端子５０４から入力された差
分画像と、閾値入力端子５０５に入力された閾値Ｄとが
比較される。差分画像は画素毎に比較され、閾値Ｄの方
が大きいときに“１”、それ以外のときは“０”の値が
出力される。さらに、ＡＮＤ回路５０７によって、テロ
ップ候補でない画素は“０”とされる。その結果はバッ
ファ５０８に１フレーム分だけ蓄積される。
【００４４】ＡＮＤ回路５０３の出力とバッファ５０８
の出力はＯＲ回路５０９によって統合され、少なくとも
一方が“１”の場合“１”、両方が“０”の場合に
“０”というマスク出力としてマスク出力端子５１０に
出力される。
の出力はＯＲ回路５０９によって統合され、少なくとも
一方が“１”の場合“１”、両方が“０”の場合に
“０”というマスク出力としてマスク出力端子５１０に
出力される。
【００４５】図８は判定部１０５の一例を表すブロック
図である。
図である。
【００４６】判定領域入力端子６０１には判定領域を表
す画像が入力され、計数部６０２において、画素値が
“１”である画素が計数される。判定領域を表す画像と
しては、例えば、図１では、テロップ候補画像作成部１
０２から出力されたテロップ候補画像から構成される画
像や、図４では、マスク部１０７によって作成されたマ
スクを用いることができる。判定領域入力端子６０１と
計数部６０２によって判定領域の面積を求めることがで
きる。
す画像が入力され、計数部６０２において、画素値が
“１”である画素が計数される。判定領域を表す画像と
しては、例えば、図１では、テロップ候補画像作成部１
０２から出力されたテロップ候補画像から構成される画
像や、図４では、マスク部１０７によって作成されたマ
スクを用いることができる。判定領域入力端子６０１と
計数部６０２によって判定領域の面積を求めることがで
きる。
【００４７】差分画像入力端子６０３には判定領域内の
差分画像が入力される。例えば、図１や図４では、ＡＮ
Ｄ回路１０４の出力を用いることができる。比較器６０
５によって、差分画像の画素値は、閾値入力端子６０４
に入力された閾値Ｄと比較され、差分画像の画素値の方
が閾値Ｄよりも大きい場合には“１”、それ以外の場合
には“０”が出力される。計数部６０６では、比較器６
０５の出力のうち“１”の数を計数する。入力端子６０
３，６０４、比較器６０５によって、判定領域内で差分
がＤ以上の部分の面積を求めることができる。比較判定
部６０７では、計数部６０２の出力をａとし、計数部６
０６の出力をｂとして入力し、ａとｂとの比較結果をテ
ロップ出力端子６０８に出力する。
差分画像が入力される。例えば、図１や図４では、ＡＮ
Ｄ回路１０４の出力を用いることができる。比較器６０
５によって、差分画像の画素値は、閾値入力端子６０４
に入力された閾値Ｄと比較され、差分画像の画素値の方
が閾値Ｄよりも大きい場合には“１”、それ以外の場合
には“０”が出力される。計数部６０６では、比較器６
０５の出力のうち“１”の数を計数する。入力端子６０
３，６０４、比較器６０５によって、判定領域内で差分
がＤ以上の部分の面積を求めることができる。比較判定
部６０７では、計数部６０２の出力をａとし、計数部６
０６の出力をｂとして入力し、ａとｂとの比較結果をテ
ロップ出力端子６０８に出力する。
【００４８】図９は比較判定部６０７の一例を表すブロ
ック図である。
ック図である。
【００４９】入力端子７０１には判定領域の面積ａが入
力され、入力端子７０３には判定領域内の差分画像で閾
値を超える部分の面積ｂが入力される。比較器７０２で
は、面積ａが閾値Ａと比較され、ａの方が大きい場合に
“１”が、それ以外の場合に“０”が出力される。ま
た、比較器７０５は、閾値Ｒと面積ａの乗算器７０４に
よる乗算結果ａＲとｂとを比較し、ａＲの方が大きい場
合に“１”を、それ以外の場合に“０”を出力する。比
較器７０２と７０５の出力は、ＡＮＤ回路７０６によっ
て、両方が“１”である場合に“１”、それ以外の場合
に“０”をテロップ出力端子７０７に出力する。比較判
定部６０７のこの例によれば、ａ＞Ａ、かつ、ａＲ＞ｂ
の場合、すなわち、テロップが存在しフレーム画像の変
化を調べるべき判定領域の面積が大きく、しかも、判定
領域内のフレーム画像の変化が小さいときは“１”、そ
れ以外の場合に“０”が出力される。テロップが切り替
わることによって、判定領域内でフレーム画像が大きく
変化すると、出力は“０”となる。これによって、ある
テロップが連続的に出現している間は“１”が出力さ
れ、テロップが存在しない場合や、テロップが切り替わ
った時に“０”が出力される。
力され、入力端子７０３には判定領域内の差分画像で閾
値を超える部分の面積ｂが入力される。比較器７０２で
は、面積ａが閾値Ａと比較され、ａの方が大きい場合に
“１”が、それ以外の場合に“０”が出力される。ま
た、比較器７０５は、閾値Ｒと面積ａの乗算器７０４に
よる乗算結果ａＲとｂとを比較し、ａＲの方が大きい場
合に“１”を、それ以外の場合に“０”を出力する。比
較器７０２と７０５の出力は、ＡＮＤ回路７０６によっ
て、両方が“１”である場合に“１”、それ以外の場合
に“０”をテロップ出力端子７０７に出力する。比較判
定部６０７のこの例によれば、ａ＞Ａ、かつ、ａＲ＞ｂ
の場合、すなわち、テロップが存在しフレーム画像の変
化を調べるべき判定領域の面積が大きく、しかも、判定
領域内のフレーム画像の変化が小さいときは“１”、そ
れ以外の場合に“０”が出力される。テロップが切り替
わることによって、判定領域内でフレーム画像が大きく
変化すると、出力は“０”となる。これによって、ある
テロップが連続的に出現している間は“１”が出力さ
れ、テロップが存在しない場合や、テロップが切り替わ
った時に“０”が出力される。
【００５０】図１０は比較判定部６０７の別の例を表す
ブロック図である。
ブロック図である。
【００５１】この例では、図９の例のＡＮＤ回路７０６
がＯＲ回路７０８、カウンタ７０９、比較器７１０に置
き換わっている。ＯＲ回路７０８、カウンタ７０９、比
較器７１０は計時手段を構成している。比較器７０２の
出力は、カウンタ７０９の増分信号としてカウンタ７０
９に入力される。また、比較器７０２と７０５の出力か
ら、ＯＲ回路７０８によって、比較器７０２の出力が
“０”および／または、比較器７０５の出力が“１”の
ときに“１”、それ以外の場合“０”の信号が作成さ
れ、カウンタ７０９のリセット信号として出力される。
カウンタ７０９の値は比較器７１０によって閾値Ｔと比
較され、カウンタ７０９の値が閾値Ｔよりも大きいとき
に“１”が、それ以外の場合は“０”が出力端子７０７
に出力される。
がＯＲ回路７０８、カウンタ７０９、比較器７１０に置
き換わっている。ＯＲ回路７０８、カウンタ７０９、比
較器７１０は計時手段を構成している。比較器７０２の
出力は、カウンタ７０９の増分信号としてカウンタ７０
９に入力される。また、比較器７０２と７０５の出力か
ら、ＯＲ回路７０８によって、比較器７０２の出力が
“０”および／または、比較器７０５の出力が“１”の
ときに“１”、それ以外の場合“０”の信号が作成さ
れ、カウンタ７０９のリセット信号として出力される。
カウンタ７０９の値は比較器７１０によって閾値Ｔと比
較され、カウンタ７０９の値が閾値Ｔよりも大きいとき
に“１”が、それ以外の場合は“０”が出力端子７０７
に出力される。
【００５２】比較判定部６０７のこの例によれば、ａ＞
Ａ、かつａＲ＞ｂの場合、すなわち、テロップが存在し
フレーム画像の変化を調べるべき判定領域の面積がある
値よりも大きく、しかも、判定領域内のフレーム画像の
変化が小さいとき、カウンタ７０９の値が１ずつ増え
る。それ以外の場合には、カウンタ７０９がリセットさ
れる。例えば、テロップが切り替わることによって、判
定領域内でフレーム画像が大きく変化すると、カウンタ
７０９がリセットされる。これによって、あるテロップ
が連続的に出現している間は、カウンタ７０９の値が１
ずつ増え、テロップが存在しない場合や、テロップが切
り替わった時にカウンタ７０９がリセットされる。つま
り、カウンタ７０９は、テロップの継続時間を計る働き
をしている。
Ａ、かつａＲ＞ｂの場合、すなわち、テロップが存在し
フレーム画像の変化を調べるべき判定領域の面積がある
値よりも大きく、しかも、判定領域内のフレーム画像の
変化が小さいとき、カウンタ７０９の値が１ずつ増え
る。それ以外の場合には、カウンタ７０９がリセットさ
れる。例えば、テロップが切り替わることによって、判
定領域内でフレーム画像が大きく変化すると、カウンタ
７０９がリセットされる。これによって、あるテロップ
が連続的に出現している間は、カウンタ７０９の値が１
ずつ増え、テロップが存在しない場合や、テロップが切
り替わった時にカウンタ７０９がリセットされる。つま
り、カウンタ７０９は、テロップの継続時間を計る働き
をしている。
【００５３】最後に、比較器７１０によって、テロップ
が一定時間以上継続する場合に“１”を出力する。こう
すれば、短時間しか存在しないテロップを除去すること
ができる。テロップ以外の被写体が誤ってテロップ候補
となった場合でも、短時間しか継続しなければ、除去す
ることが可能となる。
が一定時間以上継続する場合に“１”を出力する。こう
すれば、短時間しか存在しないテロップを除去すること
ができる。テロップ以外の被写体が誤ってテロップ候補
となった場合でも、短時間しか継続しなければ、除去す
ることが可能となる。
【００５４】図１１は本発明のテロップ検出方法の一実
施形態を表すフローチャートである。
施形態を表すフローチャートである。
【００５５】まず、画像入力段階８０１において画像を
入力する。次に、テロップ候補画像作成段階８０２にお
いてテロップ候補画像が検出され、テロップ候補画像の
存在する画素を“１”とし、それ以外の画素を“０”と
したテロップ候補画像が作成される。また、差分画像作
成段階８０３において、時間的に離れた２枚のフレーム
画像間の差の絶対値を画素値とする差分画像が作成され
る。なお、フレーム間隔は、隣接するフレーム間でもよ
いし、複数フレーム離れた間隔でもよい。また、テロッ
プ候補画像作成段階８０２と差分画像作成段階８０３
は、どちらを先に実行してもよい。抽出段階８０４で
は、差分画像のうちテロップ候補画像が“０”である部
分を“０”とする。判定段階８０５ではテロップの存在
を判定する。
入力する。次に、テロップ候補画像作成段階８０２にお
いてテロップ候補画像が検出され、テロップ候補画像の
存在する画素を“１”とし、それ以外の画素を“０”と
したテロップ候補画像が作成される。また、差分画像作
成段階８０３において、時間的に離れた２枚のフレーム
画像間の差の絶対値を画素値とする差分画像が作成され
る。なお、フレーム間隔は、隣接するフレーム間でもよ
いし、複数フレーム離れた間隔でもよい。また、テロッ
プ候補画像作成段階８０２と差分画像作成段階８０３
は、どちらを先に実行してもよい。抽出段階８０４で
は、差分画像のうちテロップ候補画像が“０”である部
分を“０”とする。判定段階８０５ではテロップの存在
を判定する。
【００５６】以降のフローチャートを説明する前に、本
実施形態で処理をする画像やバッファについて説明す
る。
実施形態で処理をする画像やバッファについて説明す
る。
【００５７】入力された画像はｓｃｒという配列に入っ
ており、個々の画素は、画素番号ｐによって指示される
ｓｃｒ［ｐ］で表される。また、１個以上の画素の集合
をブロックとし、ブロック番号ｂによって指示されると
する。テロップ候補画像はブロック単位で管理し、ｔｅ
ｌ［ｂ］によって表される。テロップ候補ならｔｅｌ
［ｂ］＝１、それ以外ではｔｅｌ［ｂ］＝０となる。ま
た、前の処理段階のフレームのテロップ候補画像は、ｐ
ｒｅｔｅｌ［ｂ］で表される。差分画像は画素単位で管
理し、ｄｉｆｆ［ｐ］によって表される。同様に、前の
処理段階のフレームの差分画像は、ｐｒｅｄｉｆｆ
［ｂ］で表される。
ており、個々の画素は、画素番号ｐによって指示される
ｓｃｒ［ｐ］で表される。また、１個以上の画素の集合
をブロックとし、ブロック番号ｂによって指示されると
する。テロップ候補画像はブロック単位で管理し、ｔｅ
ｌ［ｂ］によって表される。テロップ候補ならｔｅｌ
［ｂ］＝１、それ以外ではｔｅｌ［ｂ］＝０となる。ま
た、前の処理段階のフレームのテロップ候補画像は、ｐ
ｒｅｔｅｌ［ｂ］で表される。差分画像は画素単位で管
理し、ｄｉｆｆ［ｐ］によって表される。同様に、前の
処理段階のフレームの差分画像は、ｐｒｅｄｉｆｆ
［ｂ］で表される。
【００５８】図１２はテロップ候補画像作成段階８０２
の例を表すフローチャートである。
の例を表すフローチャートである。
【００５９】まず、ステップ９０１においてブロック番
号ｂを０に初期化する。次に、ステップ９０２で、ブロ
ック番号ｂによって指示されるブロックがテロップ候補
であるかどうかを調べ、テロップ候補であれば、ステッ
プ９０３でｔｅｌ［ｂ］に１を代入し、そうでなければ
ステップ９０４でｔｅｌ［ｂ］に０を代入する。なお、
テロップ候補画像の検出には、従来技術である、例え
ば、前述の１９９６年電子情報通信学会情報・システム
ソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検
出法」に基づく方法を用いることができる。続いて、ス
テップ９０５でｂの値を１増やし、ステップ９０６でブ
ロック番号ｂがブロック数と等しいかを判定し、ブロッ
ク番号ｂがブロック数になるまでステップ９０２からの
処理を繰り返す。以上の手順により、テロップ候補画像
ｔｅｌ［ｂ］が作成される。
号ｂを０に初期化する。次に、ステップ９０２で、ブロ
ック番号ｂによって指示されるブロックがテロップ候補
であるかどうかを調べ、テロップ候補であれば、ステッ
プ９０３でｔｅｌ［ｂ］に１を代入し、そうでなければ
ステップ９０４でｔｅｌ［ｂ］に０を代入する。なお、
テロップ候補画像の検出には、従来技術である、例え
ば、前述の１９９６年電子情報通信学会情報・システム
ソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検
出法」に基づく方法を用いることができる。続いて、ス
テップ９０５でｂの値を１増やし、ステップ９０６でブ
ロック番号ｂがブロック数と等しいかを判定し、ブロッ
ク番号ｂがブロック数になるまでステップ９０２からの
処理を繰り返す。以上の手順により、テロップ候補画像
ｔｅｌ［ｂ］が作成される。
【００６０】図１３は差分画像作成段階８０３の例を表
すフローチャートである。
すフローチャートである。
【００６１】まず、ステップ９１１において画素番号ｐ
が０に初期化される。次に、ステップ９１２において現
フレームの画素値ｓｃｒ［ｐ］と前フレームの画素値ｐ
ｒｅｓｃｒ［ｐ］の差の絶対値が差分画像の画素値ｄｉ
ｆｆ［ｐ］に格納される。続いて、ステップ９１３でｐ
の値を１ずつ増やし、ステップ９１４で画素番号ｐが全
画素数と等しくなるまでステップ９１２からの処理を繰
り返す。以上の手順により、差分画像ｄｉｆｆ［ｐ］が
作成される。
が０に初期化される。次に、ステップ９１２において現
フレームの画素値ｓｃｒ［ｐ］と前フレームの画素値ｐ
ｒｅｓｃｒ［ｐ］の差の絶対値が差分画像の画素値ｄｉ
ｆｆ［ｐ］に格納される。続いて、ステップ９１３でｐ
の値を１ずつ増やし、ステップ９１４で画素番号ｐが全
画素数と等しくなるまでステップ９１２からの処理を繰
り返す。以上の手順により、差分画像ｄｉｆｆ［ｐ］が
作成される。
【００６２】図１４、図１５は抽出段階８０４の例を表
すフローチャートである。
すフローチャートである。
【００６３】まず、概要を説明すると、本例では、テロ
ップ領域画像のうちの不変画素か、または、新たにテロ
ップ候補となった画素の集合を判定領域とし、判定領域
に含まれる差分画像を抽出する。ここで、不変画素はフ
レーム間で値の変化が小さい画素を表す。そして、判定
領域の面積ｃｏｕｎｔと、判定領域内の差分画像の大き
い部分、すなわち、フレーム画像が変化した部分の面積
ｃｄｉｆｆを計算し、出力とする。判定領域のうち、不
変画素は画素ｍ［ｐ］によって表される。なお、ｍ
［ｐ］は最初０である。
ップ領域画像のうちの不変画素か、または、新たにテロ
ップ候補となった画素の集合を判定領域とし、判定領域
に含まれる差分画像を抽出する。ここで、不変画素はフ
レーム間で値の変化が小さい画素を表す。そして、判定
領域の面積ｃｏｕｎｔと、判定領域内の差分画像の大き
い部分、すなわち、フレーム画像が変化した部分の面積
ｃｄｉｆｆを計算し、出力とする。判定領域のうち、不
変画素は画素ｍ［ｐ］によって表される。なお、ｍ
［ｐ］は最初０である。
【００６４】まず、ステップ９２１でｃｏｕｎｔとｃｄ
ｉｆｆと画素番号ｐを０に初期化する。以下、すべての
画素番号ｐについて処理を行う。ステップ９２２では、
画素番号ｐに対応するブロック番号ｂを求める。ステッ
プ９２３の条件判断では、不変画素（ｍ［ｐ］＝１）で
あるか、または、番号ｂのブロックがテロップ候補であ
り（ｔｅｌ［ｂ］＝１）、かつ、前フレームではテロッ
プ候補でない（ｐｒｅｔｅｌ［ｂ］＝０）かの少なくと
も一方が成り立つか判断し、成り立つときステップ９２
４に進み、それ以外の場合は、ステップ９２７に進む。
この条件判断では、不変画素か、または、新たにテロッ
プ候補となった画素かの少なくとも一方であるかどうか
を判断している。ステップ９２４では、ｃｏｕｎｔの値
を１増やす。さらに、ステップ９２５で画素番号ｐの差
分画像の画素値を調べ、閾値Ｄより大きい場合には、ス
テップ９２６に進み、ｃｄｉｆｆの値を１増やし、そう
でない場合は、ステップ９２７に進む。ステップ９２７
では、画素番号ｐの値を１増やし、ステップ９２８で画
素番号ｐが全画素数になるまで、ステップ９２２からの
処理を繰り返す。以上の手順により、テロップ候補が存
在しフレーム画像の変化を調べるべき判定領域の面積ｃ
ｏｕｎｔと、判定領域内でフレーム画像が変化した部分
の面積ｃｄｉｆｆを求めることができる。
ｉｆｆと画素番号ｐを０に初期化する。以下、すべての
画素番号ｐについて処理を行う。ステップ９２２では、
画素番号ｐに対応するブロック番号ｂを求める。ステッ
プ９２３の条件判断では、不変画素（ｍ［ｐ］＝１）で
あるか、または、番号ｂのブロックがテロップ候補であ
り（ｔｅｌ［ｂ］＝１）、かつ、前フレームではテロッ
プ候補でない（ｐｒｅｔｅｌ［ｂ］＝０）かの少なくと
も一方が成り立つか判断し、成り立つときステップ９２
４に進み、それ以外の場合は、ステップ９２７に進む。
この条件判断では、不変画素か、または、新たにテロッ
プ候補となった画素かの少なくとも一方であるかどうか
を判断している。ステップ９２４では、ｃｏｕｎｔの値
を１増やす。さらに、ステップ９２５で画素番号ｐの差
分画像の画素値を調べ、閾値Ｄより大きい場合には、ス
テップ９２６に進み、ｃｄｉｆｆの値を１増やし、そう
でない場合は、ステップ９２７に進む。ステップ９２７
では、画素番号ｐの値を１増やし、ステップ９２８で画
素番号ｐが全画素数になるまで、ステップ９２２からの
処理を繰り返す。以上の手順により、テロップ候補が存
在しフレーム画像の変化を調べるべき判定領域の面積ｃ
ｏｕｎｔと、判定領域内でフレーム画像が変化した部分
の面積ｃｄｉｆｆを求めることができる。
【００６５】次に、ステップ９２９から９３５の処理に
よって不変画素ｍ［ｐ］を求め、ｐｒｅｔｅｌとｐｒｅ
ｓｃｒを作成する。まず、ステップ９２９で画素番号ｐ
を０に初期化する。ステップ９３０では、ｐに対応する
ブロック番号ｂを求める。ステップ９３１では、ブロッ
クｂがテロップ候補であり（ｔｅｌ［ｂ］＝１）、か
つ、差分画像の番号ｐの画素値が閾値Ｄ以下（ｄｉｆｆ
［ｐ］≦Ｄ）であるかどうか判断し、条件が真であれば
ステップ９３２に進んでｍ［ｐ］の値を１にし、そうで
ない場合に、ステップ９３３に進んでｍ［ｐ］の値を０
にする。ステップ９３４でｐの値を１増やし、ステップ
９３５でｐが全画素数になるまで、ステップ９３０から
の処理を繰り返す。以上の手順により、不変画素ｍ
［ｐ］を求めることができる。次に、ステップ９３６で
現フレームのｔｅｌとｓｃｒの内容をそれぞれｐｒｅｔ
ｅｌ，ｐｒｅｓｃｒにコピーし、次回の処理段階に備え
る。最後に、先に計算したｃｏｕｎｔとｃｄｉｆｆをス
テップ９３７で出力して、本段階を終わる。
よって不変画素ｍ［ｐ］を求め、ｐｒｅｔｅｌとｐｒｅ
ｓｃｒを作成する。まず、ステップ９２９で画素番号ｐ
を０に初期化する。ステップ９３０では、ｐに対応する
ブロック番号ｂを求める。ステップ９３１では、ブロッ
クｂがテロップ候補であり（ｔｅｌ［ｂ］＝１）、か
つ、差分画像の番号ｐの画素値が閾値Ｄ以下（ｄｉｆｆ
［ｐ］≦Ｄ）であるかどうか判断し、条件が真であれば
ステップ９３２に進んでｍ［ｐ］の値を１にし、そうで
ない場合に、ステップ９３３に進んでｍ［ｐ］の値を０
にする。ステップ９３４でｐの値を１増やし、ステップ
９３５でｐが全画素数になるまで、ステップ９３０から
の処理を繰り返す。以上の手順により、不変画素ｍ
［ｐ］を求めることができる。次に、ステップ９３６で
現フレームのｔｅｌとｓｃｒの内容をそれぞれｐｒｅｔ
ｅｌ，ｐｒｅｓｃｒにコピーし、次回の処理段階に備え
る。最後に、先に計算したｃｏｕｎｔとｃｄｉｆｆをス
テップ９３７で出力して、本段階を終わる。
【００６６】図１６は判定段階８０５の例を表すフロー
チャートである。まず、概要を説明すると、本例は、フ
レーム画像の変化を調べるべき判定領域の面積ｃｏｕｎ
ｔと、判定領域内でフレーム画像が変化した部分の面積
ｃｄｉｆｆを入力とする。変数ｔは整数の値を持ち、テ
ロップの継続時間を表している。ｃｏｕｎｔとｃｄｉｆ
ｆを比較し、テロップが継続的に出現している間は、ｔ
の値が１ずつ増え、テロップが存在しない場合や、テロ
ップが切り替わった時に、ｔは０にリセットされる。短
時間のノイズを除去するために、閾値Ｔ以上存続した場
合にテロップと認定する。そこで、Ｔとｔを比較し、テ
ロップの「開始」「継続中」「終了」を判定し、さら
に、それぞれに対応する副手順を実行することができ
る。なお、この例では、各副手順を特に規定しておら
ず、用途に応じて様々に定義することができる。たとえ
ば、検出状態を画面上に表示するための描画関数を副手
順として定義することもできる。
チャートである。まず、概要を説明すると、本例は、フ
レーム画像の変化を調べるべき判定領域の面積ｃｏｕｎ
ｔと、判定領域内でフレーム画像が変化した部分の面積
ｃｄｉｆｆを入力とする。変数ｔは整数の値を持ち、テ
ロップの継続時間を表している。ｃｏｕｎｔとｃｄｉｆ
ｆを比較し、テロップが継続的に出現している間は、ｔ
の値が１ずつ増え、テロップが存在しない場合や、テロ
ップが切り替わった時に、ｔは０にリセットされる。短
時間のノイズを除去するために、閾値Ｔ以上存続した場
合にテロップと認定する。そこで、Ｔとｔを比較し、テ
ロップの「開始」「継続中」「終了」を判定し、さら
に、それぞれに対応する副手順を実行することができ
る。なお、この例では、各副手順を特に規定しておら
ず、用途に応じて様々に定義することができる。たとえ
ば、検出状態を画面上に表示するための描画関数を副手
順として定義することもできる。
【００６７】ステップ９４１では、ｔが０より大きいか
どうかを調べる。ｔが０以下、すなわち現時点でテロッ
プが存在していないときは、ステップ９４２に進み、ｔ
が０より大きいとき、すなわちテロップが存在している
ときは、ステップ９４４に進む。ステップ９４２では、
ｃｏｕｎｔの値を閾値Ａと比較し、Ａ以上の場合にのみ
ステップ９４３に進んでｔの値を１とする。つまり、テ
ロップの開始を表す。
どうかを調べる。ｔが０以下、すなわち現時点でテロッ
プが存在していないときは、ステップ９４２に進み、ｔ
が０より大きいとき、すなわちテロップが存在している
ときは、ステップ９４４に進む。ステップ９４２では、
ｃｏｕｎｔの値を閾値Ａと比較し、Ａ以上の場合にのみ
ステップ９４３に進んでｔの値を１とする。つまり、テ
ロップの開始を表す。
【００６８】ステップ９４４では、ｃｏｕｎｔを閾値Ａ
と比較し、さらに、ｃｄｉｆｆをｃｏｕｎｔで割った数
を閾値Ｒと比較し、ｃｏｕｎｔ＜Ａとｃｄｉｆｆ／ｃｏ
ｕｎｔ＞Ｒの少なくとも一方が成り立つかどうか判定
し、成り立つときステップ９４６に進み、そうでなけれ
ばステップ９４５に進む。この条件判断は、テロップが
存在しないか、または、判定領域内の画像変化が大きい
場合を調べている。ステップ９４５では、前記条件が成
立しなかったので、テロップは継続中であり、ｔの値を
１増やす。
と比較し、さらに、ｃｄｉｆｆをｃｏｕｎｔで割った数
を閾値Ｒと比較し、ｃｏｕｎｔ＜Ａとｃｄｉｆｆ／ｃｏ
ｕｎｔ＞Ｒの少なくとも一方が成り立つかどうか判定
し、成り立つときステップ９４６に進み、そうでなけれ
ばステップ９４５に進む。この条件判断は、テロップが
存在しないか、または、判定領域内の画像変化が大きい
場合を調べている。ステップ９４５では、前記条件が成
立しなかったので、テロップは継続中であり、ｔの値を
１増やす。
【００６９】ステップ９４６では、前記条件が成立し、
テロップが消滅または切り替わったことを表すので、テ
ロップ継続時間ｔが閾値Ｔ以上であるかを調べる。条件
成立の場合は、後述の副手順「テロップ開始」が呼び出
されているので、それに対応するように、ステップ９４
７の副手順「テロップ終了」を実行する。いずれの場合
も、ステップ９４８でｔの値をリセットする。
テロップが消滅または切り替わったことを表すので、テ
ロップ継続時間ｔが閾値Ｔ以上であるかを調べる。条件
成立の場合は、後述の副手順「テロップ開始」が呼び出
されているので、それに対応するように、ステップ９４
７の副手順「テロップ終了」を実行する。いずれの場合
も、ステップ９４８でｔの値をリセットする。
【００７０】以上は、ｃｏｕｎｔとｃｄｉｆｆの比較結
果に基づきｔの値を変化させる手順であった。続くステ
ップ９４９〜９５２は、ｔと閾値Ｔとを比較し、副手順
「テロップ開始」「テロップ継続中」を呼び出す処理で
ある。まず、ステップ９４９で、ｔが閾値Ｔと等しいか
どうか調べる。等しい場合は、ステップ９５０の副手順
「テロップ開始」を実行する。等しくない場合は、ステ
ップ９５１でｔがＴより大きいか調べ、条件成立の場合
は、ステップ９５２の副手順「テロップ継続中」を呼び
出す。
果に基づきｔの値を変化させる手順であった。続くステ
ップ９４９〜９５２は、ｔと閾値Ｔとを比較し、副手順
「テロップ開始」「テロップ継続中」を呼び出す処理で
ある。まず、ステップ９４９で、ｔが閾値Ｔと等しいか
どうか調べる。等しい場合は、ステップ９５０の副手順
「テロップ開始」を実行する。等しくない場合は、ステ
ップ９５１でｔがＴより大きいか調べ、条件成立の場合
は、ステップ９５２の副手順「テロップ継続中」を呼び
出す。
【００７１】なお、本発明は、以上の実施形態に限定さ
れるものではなく、その趣旨を変えない範囲で、様々に
実施することができる。たとえば、最終的なテロップの
存在判定を用いて、フレーム画像を出力し、テロップの
一覧を作成することもできる。
れるものではなく、その趣旨を変えない範囲で、様々に
実施することができる。たとえば、最終的なテロップの
存在判定を用いて、フレーム画像を出力し、テロップの
一覧を作成することもできる。
【００７２】
【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。 （１）請求項１と５の発明は、テロップの存在する領域
のフレーム画像の変化に基づいてテロップを検出するの
で、テロップの切り替わりを検出することができる。 （２）請求項４と６の発明は、フレーム画像の変化を調
べる領域を、テロップの存在する領域に限定することが
できるので、テロップの背景の変化の影響を受けにくく
なり、より正確にテロップの切り替わりを検出すること
ができる。 （３）請求項１２の本発明は、テロップの継続時間を計
ることができ、短時間しか存在しないテロップを除去す
ることができる。テロップ以外の被写体が誤ってテロッ
プ候補となった場合でも、短時間しか継続しなければ、
除去することが可能となる。
うな効果がある。 （１）請求項１と５の発明は、テロップの存在する領域
のフレーム画像の変化に基づいてテロップを検出するの
で、テロップの切り替わりを検出することができる。 （２）請求項４と６の発明は、フレーム画像の変化を調
べる領域を、テロップの存在する領域に限定することが
できるので、テロップの背景の変化の影響を受けにくく
なり、より正確にテロップの切り替わりを検出すること
ができる。 （３）請求項１２の本発明は、テロップの継続時間を計
ることができ、短時間しか存在しないテロップを除去す
ることができる。テロップ以外の被写体が誤ってテロッ
プ候補となった場合でも、短時間しか継続しなければ、
除去することが可能となる。
【図１】本発明の第１の実施形態の映像テロップ検出装
置を表すブロック図である。
置を表すブロック図である。
【図２】テロップ候補画像検出方法を表すフローチャー
トである。
トである。
【図３】テロップ候補画像作成部１０２を表すブロック
図である。
図である。
【図４】本発明の第２の実施形態の映像テロップ検出装
置を表すブロック図である。
置を表すブロック図である。
【図５】マスク作成部１０７の一例を表すブロック図で
ある。
ある。
【図６】マスク作成部１０７の処理を説明する説明図で
ある。
ある。
【図７】マスク作成部１０７の他の例を表すブロック図
である。
である。
【図８】判定部１０５の一例を表すブロック図である。
【図９】比較判定部６０７の一例を表すブロック図であ
る。
る。
【図１０】比較判定部６０７の他の例を表すブロック図
である。
である。
【図１１】本発明の一実施形態の映像テロップ検出方法
を表すフローチャートである。
を表すフローチャートである。
【図１２】テロップ候補画像作成段階８０２を表すフロ
ーチャートである。
ーチャートである。
【図１３】差分画像作成段階８０３を表すフローチャー
トである。
トである。
【図１４】抽出段階８０４を表すフローチャートであ
る。
る。
【図１５】抽出段階８０４を表すフローチャートであ
る。
る。
【図１６】判定段階８０５を表すフローチャートであ
る。
る。
１０１ 映像入力端子 １０２ テロップ候補画像作成部 １０３ 差分画像作成部 １０４ ＡＮＤ回路 １０５ 判定部 １０６ テロップ出力端子 １０７ マスク部 ２０１〜２０５ ステップ ３０１ フレーム判別部 ３０２ 計数部 ３０３ 選択部 ３０４ 連結領域作成部 ４０１ テロップ候補画像入力端子 ４０２ 新規候補画素検出部 ４０３ 差分画像入力端子 ４０４ 不変画素検出部 ４０５ ＯＲ回路 ４０６ マスク出力端子 ５０１ テロップ候補画像入力端子 ５０２ バッファ ５０３ ＡＮＤ回路 ５０４ 差分画像入力端子 ５０５ 閾値入力端子 ５０６ 比較器 ５０７ ＡＮＤ回路 ５０８ バッファ ５０９ ＯＲ回路 ５１０ マスク出力端子 ６０１ 判定領域入力端子 ６０２ 計数部 ６０３ 判定領域内差分画像入力端子 ６０４ 閾値入力端子 ６０５ 比較器 ６０６ 計数部 ６０７ 比較判定部 ６０８ テロップ出力端子 ７０１ 入力端子 ７０２ 比較器 ７０３ 入力端子 ７０４ 乗算器 ７０５ 比較器 ７０６ ＡＮＤ回路 ７０７ テロップ出力端子 ７０８ ＯＲ回路 ７０９ カウンタ ７１０ 比較器 ８０１ 画像入力段階 ８０２ テロップ候補画像作成段階 ８０３ 差分画像作成段階 ８０４ 抽出段階 ８０５ 判定段階 ９０１〜９０６，９１１〜９１４，９２１〜９３７，９
４１〜９５２ ステップ
４１〜９５２ ステップ
Claims (12)
- 【請求項１】 映像からテロップを検出する方法であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成段階
と、 ２枚のフレーム画像の差分画像を作成する差分画像作成
段階と、 前記差分画像からテロップ候補の存在する部分だけを抽
出する抽出段階と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する判定段階を有する映像テロ
ップ検出方法。 - 【請求項２】 前記抽出段階が、入力画像のうちの、フ
レーム間で値の変化が小さい画素である不変画素か、ま
たは新たにテロップ候補となった画素の集合を判定領域
としてその面積を求め、また該判定領域内でフレーム画
像が変化した部分の面積を求める段階と、前記不変画素
を求める段階を含む、請求項１記載の方法。 - 【請求項３】 前記判定段階が、テロップの継続時間が
０のとき、前記判定領域の面積が第１の閾値以上ならば
テロップの継続時間を１とする段階と、テロップの継続
時間が０よりも大きいとき、前記判定領域の面積が第１
の閾値よりも小さいか、フレーム画像が変化した部分の
面積を前記判定領域の面積で割った値が第２の閾値より
も大きいとき、テロップの継続時間が第３の閾値以上な
らばテロップ終了を実行し、この後およびテロップの継
続時間が第３の継続時間未満のときテロップの継続時間
を０にリセットし、前記判定領域の面積が第１の閾値以
上で、フレーム画像が変化した部分の面積を前記判定領
域の面積で割った値が第２の閾値以下の時、テロップの
継続時間を１増やす段階と、テロップの継続時間が第３
の閾値と等しいとき副手順「テロップ開始」を実行し、
テロップの継続時間が第３の閾値よりも大きいとき副手
順「テロップ継続中」を呼び出す段階を含む、請求項２
記載の方法。 - 【請求項４】 映像からテロップを検出する方法であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成段階
と、 ２枚のフレーム画像の差分画像を作成する差分画像作成
段階と、 前記テロップ候補画像と前記差分画像を用いて、画素値
の変化を検出すべき領域を示すマスクを作成するマスク
作成段階と、 前記差分画像からマスクの部分だけを抽出する抽出段階
と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する段階を有する映像テロップ
検出方法。 - 【請求項５】 映像からテロップを検出する装置であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、 ２枚のフレーム画像の差分画像を作成する差分画像作成
手段と、 前記差分画像からテロップ候補の存在する部分だけを抽
出する抽出手段と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する判定手段を有する映像テロ
ップ検出装置。 - 【請求項６】 映像からテロップを検出する装置であっ
て、 フレーム画像からテロップ候補の存在する領域を示すテ
ロップ候補画像を作成するテロップ候補画像作成手段
と、 ２枚のフレーム画像の差分画像を作成する差分画像作成
手段と、 前記テロップ候補画像と前記差分画像を用いて、画素値
の変化を検出すべき領域を示すマスクを作成するマスク
作成手段と、 前記差分画像からマスクの部分だけを抽出する抽出手段
と、 前記テロップ候補画像と抽出された差分画像とに基づい
てテロップの存在を判定する判定手段を有する映像テロ
ップ検出装置。 - 【請求項７】 前記テロップ候補画像作成手段が、符号
化された映像データからフレーム間の相関を用いて符号
化されたフレームを抽出するフレーム判別手段と、抽出
されたフレームのマクロブロックのうち、フレーム間の
相関を用い、かつ動き補償を用いないで符号化されたマ
クロブロックが現われる数を、それぞれのマクロブロッ
クの位置毎に、一定計数区間内で計数する計数手段と、
計数結果を与えられた閾値と比較してテロップ領域を表
すマトリックスを出力する選択手段と、前記マトリック
スの連結領域を求め、それぞれの連結領域をテロップ候
補画像として出力する連結領域作成手段を含む、請求項
５または６記載の装置。 - 【請求項８】 前記マスク作成手段が、フレーム間で値
の変化が小さい画素である不変画素を検出する不変画素
検出手段と、新たに現れたテロップ候補を検出する新規
候補画素検出手段と、不変画素と新規候補画素の少なく
とも一方が存在する領域を示すマスクを合成するマスク
合成手段を有する請求項６記載の映像テロップ検出装
置。 - 【請求項９】 前記新規候補画素検出手段が、テロップ
候補画像を１フレーム分蓄積する第１のバッファと、現
フレームのテロップ候補画像と前記第１のバッファに蓄
積されたテロップ候補画像を比較し、テロップ候補画像
が現フレームにのみ存在するとき現フレームのテロップ
候補画像を出力する第１の比較手段を含み、前記不変画
素検出手段が、前記差分画像を閾値と比較する第２の比
較手段と、前記差分画像が前記閾値より大きいとき、現
フレームのテロップ候補画像を１フレーム分蓄積する第
２のバッファと、第１の比較手段または第２のバッファ
から出力された現フレームのテロップ候補画像をマスク
出力として出力するマスク出力手段を含む、請求項８記
載の装置。 - 【請求項１０】 前記判定手段が、テロップ候補画像の
うち値が１である第１の画素数を数える計数手段と、差
分画像のうち閾値より大きい値を持つ第２の画素数を数
える計数手段と、２つの画素数の比較結果に基づいてテ
ロップの存在を判定する比較判定手段を有する請求項５
または６記載の映像テロップ検出装置。 - 【請求項１１】 前記比較判定手段が、第１の画素数を
第１の閾値と比較する第１の比較手段と、第１の画素数
に第２の閾値を乗算する乗算手段と、第２の画素数と前
記乗算結果を比較する第２の比較手段と、第１の画素数
が第１の閾値よりも大きく、かつ前記乗算結果が第２の
画素数より大きいときテロップが存在すると判定する出
力手段を含む、請求項１０記載の装置。 - 【請求項１２】 前記比較判定手段が、第１の画素数を
第１の閾値と比較する第１の比較手段と、第１の画素数
に第２の閾値を乗算する乗算手段と、第２の画素数と前
記乗算結果を比較する第２の比較手段と、第１の画素値
が第１の閾値よりも大きく、かつ前記乗算結果が第２の
画素値よりも大きいとき＋１ずつカウントアップし、そ
れ以外のときリセットされるカウンタと、前記カウンタ
の出力が一定値以上のとき、テロップが存在すると判定
する出力手段を含む、請求項１０記載の装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12735897A JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12735897A JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10322595A true JPH10322595A (ja) | 1998-12-04 |
| JP3609236B2 JP3609236B2 (ja) | 2005-01-12 |
Family
ID=14957981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12735897A Expired - Lifetime JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3609236B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002084458A (ja) * | 2000-06-23 | 2002-03-22 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| KR100652467B1 (ko) | 1998-09-03 | 2006-12-01 | 소니 가부시끼 가이샤 | 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치 |
| JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
| CN102494676A (zh) * | 2011-12-12 | 2012-06-13 | 中国科学院长春光学精密机械与物理研究所 | 复杂背景下的卫星自动识别装置 |
| WO2013008374A1 (ja) * | 2011-07-13 | 2013-01-17 | 日本電気株式会社 | 動画領域検出装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105340A (ja) * | 1993-09-30 | 1995-04-21 | Nippondenso Co Ltd | 表示プレート検出装置 |
| JPH08212231A (ja) * | 1995-02-02 | 1996-08-20 | Hitachi Ltd | 字幕検出方法および動画像の代表画像抽出装置 |
| JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
| JPH0916769A (ja) * | 1995-06-27 | 1997-01-17 | Canon Inc | 画像処理装置および方法 |
-
1997
- 1997-05-16 JP JP12735897A patent/JP3609236B2/ja not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105340A (ja) * | 1993-09-30 | 1995-04-21 | Nippondenso Co Ltd | 表示プレート検出装置 |
| JPH08212231A (ja) * | 1995-02-02 | 1996-08-20 | Hitachi Ltd | 字幕検出方法および動画像の代表画像抽出装置 |
| JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
| JPH0916769A (ja) * | 1995-06-27 | 1997-01-17 | Canon Inc | 画像処理装置および方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100652467B1 (ko) | 1998-09-03 | 2006-12-01 | 소니 가부시끼 가이샤 | 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치 |
| JP2002084458A (ja) * | 2000-06-23 | 2002-03-22 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
| WO2013008374A1 (ja) * | 2011-07-13 | 2013-01-17 | 日本電気株式会社 | 動画領域検出装置 |
| JPWO2013008374A1 (ja) * | 2011-07-13 | 2015-02-23 | 日本電気株式会社 | 動画領域検出装置 |
| US9367927B2 (en) | 2011-07-13 | 2016-06-14 | Nec Corporation | Moving image region detection device |
| CN102494676A (zh) * | 2011-12-12 | 2012-06-13 | 中国科学院长春光学精密机械与物理研究所 | 复杂背景下的卫星自动识别装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3609236B2 (ja) | 2005-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5387947A (en) | Motion vector detecting method of a video signal | |
| US7257261B2 (en) | Apparatus and method for generating thumbnail images | |
| EP1393553B1 (en) | Detecting subtitles in a displayable image area of a video signal | |
| US7502513B2 (en) | Commercial detector with a start of active video detector | |
| KR100450808B1 (ko) | 정지 판정 장치 및 그것을 구비한 주사선 보간 장치 | |
| JPH11205714A (ja) | ディジタルビデオ画像のアスペクトフォーマットの自動検出方法及び装置 | |
| US20060209957A1 (en) | Motion sequence pattern detection | |
| US5515114A (en) | Motion-vector detection apparatus for a video signal | |
| KR100196553B1 (ko) | 로고 및 폐쇄자막을 갖는 레터박스 신호 처리 시스템 | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| EP1958451B1 (en) | Motion vector field correction | |
| US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
| EP1149496B1 (en) | Progressive/interlace and redundant field detection for encoder | |
| US20090180670A1 (en) | Blocker image identification apparatus and method | |
| JPH10322595A (ja) | 映像テロップ検出方法および装置 | |
| EP1654703B1 (en) | Graphics overlay detection | |
| JP2971724B2 (ja) | 動画像のカット点検出装置 | |
| EP0913994B1 (en) | Method and apparatus for automatic format detection in digital video pictures | |
| US20060158513A1 (en) | Recognizing film and video occurring in parallel in television fields | |
| US6973129B2 (en) | Overlapped field detecting apparatus capable of detecting non-overlapped fields mostly overlapped | |
| KR100468843B1 (ko) | 동영상 데이터에서 장면전환을 자동검출하는 방법 및 그장치 | |
| JPH089340A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JP2002335441A (ja) | テレシネ映像信号検出装置 | |
| JPH1023329A (ja) | シーン・チェンジおよび／またはフラッシュ検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031224 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031224 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041013 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |