JP3412737B2 - 映像目次生成表示装置 - Google Patents
映像目次生成表示装置Info
- Publication number
- JP3412737B2 JP3412737B2 JP26601996A JP26601996A JP3412737B2 JP 3412737 B2 JP3412737 B2 JP 3412737B2 JP 26601996 A JP26601996 A JP 26601996A JP 26601996 A JP26601996 A JP 26601996A JP 3412737 B2 JP3412737 B2 JP 3412737B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- contents
- unit
- video
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、映像の目次を生成
し、表示する装置に関する。
し、表示する装置に関する。
【０００２】
【従来の技術】従来、映像の目次を生成し表示する装置
では、映像の切れ目に基づく目次が用いられている。例
えば、特開平４−２３７２８４では、まず、フレーム間
の相関を用いて映像の切れ目（カット点）を検出し、目
次とする。さらに、カット点によって映像をショットと
呼ばれる短い区間に分け、ショットの代表フレーム画像
を表示することによって、目次を表示する。
では、映像の切れ目に基づく目次が用いられている。例
えば、特開平４−２３７２８４では、まず、フレーム間
の相関を用いて映像の切れ目（カット点）を検出し、目
次とする。さらに、カット点によって映像をショットと
呼ばれる短い区間に分け、ショットの代表フレーム画像
を表示することによって、目次を表示する。
【０００３】また、文献 "Magnifier Tool for Video D
ata" (Micheal Mills 他、CHI'92,pp.93-28, May 199
2）では、映像を概要の粗さによって階層的に一定時間
間隔でサンプリングした画像を映像表示手段上に並列に
表示する方法が提案されている。この方法では、まず粗
いサンプルで画像を表示しておき、より詳しく見る場合
には指定区間をより細かいサンプルで表示するものであ
る。
ata" (Micheal Mills 他、CHI'92,pp.93-28, May 199
2）では、映像を概要の粗さによって階層的に一定時間
間隔でサンプリングした画像を映像表示手段上に並列に
表示する方法が提案されている。この方法では、まず粗
いサンプルで画像を表示しておき、より詳しく見る場合
には指定区間をより細かいサンプルで表示するものであ
る。
【０００４】
【発明が解決しようとする課題】上記従来技術において
は、カット点に基づいて映像を扱うため、映像が必要以
上に細かく分断され、粒度の細かすぎる目次が生成され
てしまうという問題がある。また、後者の従来技術のよ
うに、粗い映像区間によって複数のショットを統合して
目次とする方法においては、統合された映像区間が必ず
しも映像の内容を反映するとは限らないという問題があ
る。
は、カット点に基づいて映像を扱うため、映像が必要以
上に細かく分断され、粒度の細かすぎる目次が生成され
てしまうという問題がある。また、後者の従来技術のよ
うに、粗い映像区間によって複数のショットを統合して
目次とする方法においては、統合された映像区間が必ず
しも映像の内容を反映するとは限らないという問題があ
る。
【０００５】本発明の目的は、必要以上に細かい目次が
生成され、しかも統合された目次が映像の内容を必ずし
も反映しないという、上記従来技術の欠点を解決した映
像目次生成表示装置を提供することにある。
生成され、しかも統合された目次が映像の内容を必ずし
も反映しないという、上記従来技術の欠点を解決した映
像目次生成表示装置を提供することにある。
【０００６】
【課題を解決するための手段】上記目的を達成するため
に、本発明の、映像目次生成表示装置は、映像からテロ
ップを検出する検出部と、前記テロップを分類する分類
部と、分類されたテロップの時間的存在範囲に基づいて
目次を生成する目次生成部と、前記目次を表示する表示
部を有し、テロップ検出部は、符号化された映像データ
からフレーム間の相関を用いて符号化されたフレームを
抽出するフレーム判別部と、前記フレームのマクロブロ
ックのうち、フレーム間の相関を用い、かつ動き補償を
用いないで符号化されたマクロブロックが現われる数
を、それぞれのマクロブロックの位置ごとに、一定計数
区間内で計数し、計数マトリックスを出力する計数部
と、前記計数マトリックスを、与えられた閾値と比較
し、テロップ領域を表すテロップ領域マトリックスを出
力する選択部と、前記テロップ領域マトリックスの連結
領域を求め、それぞれの連結領域をテロップ領域として
出力する連結領域作成部を含む。
に、本発明の、映像目次生成表示装置は、映像からテロ
ップを検出する検出部と、前記テロップを分類する分類
部と、分類されたテロップの時間的存在範囲に基づいて
目次を生成する目次生成部と、前記目次を表示する表示
部を有し、テロップ検出部は、符号化された映像データ
からフレーム間の相関を用いて符号化されたフレームを
抽出するフレーム判別部と、前記フレームのマクロブロ
ックのうち、フレーム間の相関を用い、かつ動き補償を
用いないで符号化されたマクロブロックが現われる数
を、それぞれのマクロブロックの位置ごとに、一定計数
区間内で計数し、計数マトリックスを出力する計数部
と、前記計数マトリックスを、与えられた閾値と比較
し、テロップ領域を表すテロップ領域マトリックスを出
力する選択部と、前記テロップ領域マトリックスの連結
領域を求め、それぞれの連結領域をテロップ領域として
出力する連結領域作成部を含む。
【０００７】映像に含まれるテロップは、映像のテーマ
に対応し、複数のショットにまたがって存在することが
しばしばある。このため、テロップを用いた目次は、適
度な粒度であり、映像の内容を良く反映することが期待
できる。本発明は、このようなテロップの特徴に着目
し、映像の目次を生成し表示する。
に対応し、複数のショットにまたがって存在することが
しばしばある。このため、テロップを用いた目次は、適
度な粒度であり、映像の内容を良く反映することが期待
できる。本発明は、このようなテロップの特徴に着目
し、映像の目次を生成し表示する。
【０００８】
【０００９】本発明の実施態様によれば、本発明の映像
目次生成表示装置は、テロップを含んだフレーム画像を
生成するフレーム画像生成部をさらに有し、表示部はフ
レーム画像を目次に対応させて表示する。
目次生成表示装置は、テロップを含んだフレーム画像を
生成するフレーム画像生成部をさらに有し、表示部はフ
レーム画像を目次に対応させて表示する。
【００１０】本発明の実施態様によれば、表示部は、テ
ロップの存在する区間に対応する映像のフレーム画像の
うちテロップ部分を目次に対応させて表示する。したが
って、テロップの種類に基づく目次に加えて、テロップ
の具体的な内容による目次が提供される。
ロップの存在する区間に対応する映像のフレーム画像の
うちテロップ部分を目次に対応させて表示する。したが
って、テロップの種類に基づく目次に加えて、テロップ
の具体的な内容による目次が提供される。
【００１１】本発明の実施態様によれば、分類部は、テ
ロップの空間上の配置に基づいてテロップを分類する。
したがって、タイトルや人名、時刻など、テロップの典
型的な空間的出現パターンに沿った分類ができる。
ロップの空間上の配置に基づいてテロップを分類する。
したがって、タイトルや人名、時刻など、テロップの典
型的な空間的出現パターンに沿った分類ができる。
【００１２】本発明の実施態様によれば、目次生成部
は、テロップの存在する区間に挟まれたテロップの存在
しない短い区間を、テロップが存在する区間とする。
は、テロップの存在する区間に挟まれたテロップの存在
しない短い区間を、テロップが存在する区間とする。
【００１３】本発明の実施態様によれば、目次生成部
は、テロップの存在しない区間に挟まれたテロップの存
在する短い区間を、テロップが存在しない区間とする。
は、テロップの存在しない区間に挟まれたテロップの存
在する短い区間を、テロップが存在しない区間とする。
【００１４】本発明の実施態様によれば、目次生成部
は、分類部によって分類されなかったテロップの存在す
る区間を、分類部によって分類されたテロップが存在し
ない区間とする。
は、分類部によって分類されなかったテロップの存在す
る区間を、分類部によって分類されたテロップが存在し
ない区間とする。
【００１５】テロップの自動検出、自動分類結果を処理
し、検出漏れや過剰検出を補って、不完全な検出分類結
果でも有効な目次生成が可能となる。
し、検出漏れや過剰検出を補って、不完全な検出分類結
果でも有効な目次生成が可能となる。
【００１６】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１７】図１は本発明の第１の実施形態の映像目次
生成表示装置のブロック図である。
生成表示装置のブロック図である。
【００１８】本実施形態の映像目次生成表示装置はテロ
ップ検出部１と分類部２と目次生成部３と表示部４で構
成される。
ップ検出部１と分類部２と目次生成部３と表示部４で構
成される。
【００１９】映像データがテロップ検出部１に入力さ
れ、映像に含まれるテロップが検出される。テロップの
情報は分類部２に入力され、テロップの種類が分類され
る。目次生成部３は、テロップの種類ごとにテロップの
時間的存在区間を管理し、目次情報を生成する。表示部
４は目次情報を用い、それぞれの分類ごとに、テロップ
の時間的存在区間を時間軸上に表示する。
れ、映像に含まれるテロップが検出される。テロップの
情報は分類部２に入力され、テロップの種類が分類され
る。目次生成部３は、テロップの種類ごとにテロップの
時間的存在区間を管理し、目次情報を生成する。表示部
４は目次情報を用い、それぞれの分類ごとに、テロップ
の時間的存在区間を時間軸上に表示する。
【００２０】テロップ検出部１の実現方法には、あらか
じめ映像に与えられたテロップ情報を用いる方法と、画
像処理や画像認識の技術を用いて映像を処理することに
よってテロップ部分を抽出する自動的な検出方法の２通
り考えられる。テロップの自動的検出方法には、例え
ば、テロップの画像領域が背景部分に比べて高輝度であ
りエッジを抽出しやすいという性質を用いた方法（例え
ば、茂木他、「ニュース映像中の文字認識に基づく記事
の索引付け」、電子情報通信学会技術研究報告ＩＥ９５
−１５３，１９９６など）や、ＭＰＥＧなどのフレーム
間の相関を用いて符号化された映像データのうち、フレ
ーム間の相関を用い、かつ動き補償を用いないで符号化
された画素が時間的空間的に集中している部分を抽出す
る方法（特願平８−１３１８９８「動画像テロップ抽出
方法及び装置」）などに示される既存のテロップ検出手
段を用いてもよい。
じめ映像に与えられたテロップ情報を用いる方法と、画
像処理や画像認識の技術を用いて映像を処理することに
よってテロップ部分を抽出する自動的な検出方法の２通
り考えられる。テロップの自動的検出方法には、例え
ば、テロップの画像領域が背景部分に比べて高輝度であ
りエッジを抽出しやすいという性質を用いた方法（例え
ば、茂木他、「ニュース映像中の文字認識に基づく記事
の索引付け」、電子情報通信学会技術研究報告ＩＥ９５
−１５３，１９９６など）や、ＭＰＥＧなどのフレーム
間の相関を用いて符号化された映像データのうち、フレ
ーム間の相関を用い、かつ動き補償を用いないで符号化
された画素が時間的空間的に集中している部分を抽出す
る方法（特願平８−１３１８９８「動画像テロップ抽出
方法及び装置」）などに示される既存のテロップ検出手
段を用いてもよい。
【００２１】図２は後者の方法を示すフローチャートで
ある。この方法では、符号化された映像データをフレー
ムごとに入力し（ステップ１１）、フレーム間の相関を
用いて符号化されたフレームを対象にして、フレーム間
の相関を用い、かつ、動き補償を用いないで符号化され
たマクロブロックを一定計数区間内で計数し（ステップ
１２〜１４）、関値との比較結果に基づいてテロップ部
分を選択している（ステップ１５，１６）。
ある。この方法では、符号化された映像データをフレー
ムごとに入力し（ステップ１１）、フレーム間の相関を
用いて符号化されたフレームを対象にして、フレーム間
の相関を用い、かつ、動き補償を用いないで符号化され
たマクロブロックを一定計数区間内で計数し（ステップ
１２〜１４）、関値との比較結果に基づいてテロップ部
分を選択している（ステップ１５，１６）。
【００２２】図３はこの方法に基づくテロップ検出部１
のブロック図である。フレーム判別部２１において、符
号化された映像データからフレーム間の相関を用いて符
号化されたフレームが抽出される。このフレームのマク
ロブロックのうち、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化されたマクロブロックが現れ
る数を、計数部２２でそれぞれのマクロブロックの位置
ごとに、一定計数区間内で計数する。計数結果はマトリ
ックスになって選択部２３に入力され、与えられた閾値
との比較結果に基づいて、テロップ領域を表すテロップ
領域マトリックスが出力される。連結領域作成部２４に
おいて、テロップ領域マトリックスの連結領域が求めら
れ、それぞれの連結領域がテロップ領域として出力され
る。
のブロック図である。フレーム判別部２１において、符
号化された映像データからフレーム間の相関を用いて符
号化されたフレームが抽出される。このフレームのマク
ロブロックのうち、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化されたマクロブロックが現れ
る数を、計数部２２でそれぞれのマクロブロックの位置
ごとに、一定計数区間内で計数する。計数結果はマトリ
ックスになって選択部２３に入力され、与えられた閾値
との比較結果に基づいて、テロップ領域を表すテロップ
領域マトリックスが出力される。連結領域作成部２４に
おいて、テロップ領域マトリックスの連結領域が求めら
れ、それぞれの連結領域がテロップ領域として出力され
る。
【００２３】分類部２は、テロップ情報を用いて、テロ
ップをいくつかの種類に分類する。このとき、テロップ
情報として種別が与えられている場合、それを使うこと
ができる。また、テロップに現れるテキスト内容を解析
して、人名、地名、時刻などに分類することもできる。
また、空間的配置情報に基づいて分類することもでき、
これについては後述する。
ップをいくつかの種類に分類する。このとき、テロップ
情報として種別が与えられている場合、それを使うこと
ができる。また、テロップに現れるテキスト内容を解析
して、人名、地名、時刻などに分類することもできる。
また、空間的配置情報に基づいて分類することもでき、
これについては後述する。
【００２４】目次生成部３は、分類部２で分けられたテ
ロップの種類それぞれについて、テロップの時間的存在
区間を管理する。テロップの存在区間を対象にして、区
間の併合や分割、ノイズ除去などの操作を行うこともで
きる。以下の実施形態では、テロップの種類ごとの目次
情報としてビット列を用い、フレームにビットの位置を
対応させ、テロップの存在するフレームに対応するビッ
トを１、そうでないビットを０として表している。な
お、目次の表現方法としては、ビット列以外に、表形式
を用いて、テロップの画面上での位置などの詳細情報を
管理するようにしてもよい。
ロップの種類それぞれについて、テロップの時間的存在
区間を管理する。テロップの存在区間を対象にして、区
間の併合や分割、ノイズ除去などの操作を行うこともで
きる。以下の実施形態では、テロップの種類ごとの目次
情報としてビット列を用い、フレームにビットの位置を
対応させ、テロップの存在するフレームに対応するビッ
トを１、そうでないビットを０として表している。な
お、目次の表現方法としては、ビット列以外に、表形式
を用いて、テロップの画面上での位置などの詳細情報を
管理するようにしてもよい。
【００２５】図４は表示部４による映像目次の表示の例
を示す。ここでは、テロップを、タイトル、人名、場
所、時刻、ロゴの５種類に分類している。それぞれ横軸
に時間軸をとり、テロップの出現している時間的存在区
間を太い線分によって表示している。また、分類に外れ
たテロップについても、分類外として同様に存在区間を
表示する。
を示す。ここでは、テロップを、タイトル、人名、場
所、時刻、ロゴの５種類に分類している。それぞれ横軸
に時間軸をとり、テロップの出現している時間的存在区
間を太い線分によって表示している。また、分類に外れ
たテロップについても、分類外として同様に存在区間を
表示する。
【００２６】本実施形態では、分類されたそれぞれのテ
ロップの種類ごとに存在区間が時間軸上に位置付けられ
るので、テロップの種類に基づいた目次を提供すること
ができる。例えば、タイトルが出現する区間が太い線分
によって表示されているので、タイトルを用いて映像を
時間的に分割して扱うことができる。
ロップの種類ごとに存在区間が時間軸上に位置付けられ
るので、テロップの種類に基づいた目次を提供すること
ができる。例えば、タイトルが出現する区間が太い線分
によって表示されているので、タイトルを用いて映像を
時間的に分割して扱うことができる。
【００２７】図５は本発明の第２の実施形態を示すブロ
ック図である。本実施形態では、第１の実施形態にフレ
ーム画像生成部５を追加し、テロップを含んだフレーム
画像を生成し、表示部４において目次に対応させて表示
する。フレーム画像生成部５では、テロップ検出部１か
らの信号を用いて映像からテロップを含んだフレーム画
像を生成し、目次生成部３によって管理されているテロ
ップの時間的存在区間に対応づける。
ック図である。本実施形態では、第１の実施形態にフレ
ーム画像生成部５を追加し、テロップを含んだフレーム
画像を生成し、表示部４において目次に対応させて表示
する。フレーム画像生成部５では、テロップ検出部１か
らの信号を用いて映像からテロップを含んだフレーム画
像を生成し、目次生成部３によって管理されているテロ
ップの時間的存在区間に対応づける。
【００２８】図６は第２の実施形態による映像目次表示
の例を示す。本実施形態では、第１の実施形態による目
次表示に基づき、テロップの種類ごとに時間的存在区間
を太い線分によって時間軸上に表示しているが、さら
に、対応するテロップを含むフレーム画像を線分の始点
にそろえて表示している。これによって、テロップの種
類ごとの存在区間が時間軸上に位置付けられるととも
に、テロップの存在区間に対応するフレーム画像が表示
されるので、テロップの種類に基づく目次に加えて、テ
ロップの具体的な内容による目次を提供することができ
る。例えば、タイトルが出現する区間を表す線分と、そ
れに対応して表示されたフレーム画像を見ることによっ
て、タイトルを用いて映像を時間的に分割し、さらに分
割された部分映像に具体的なタイトルをつけて扱うこと
ができる。
の例を示す。本実施形態では、第１の実施形態による目
次表示に基づき、テロップの種類ごとに時間的存在区間
を太い線分によって時間軸上に表示しているが、さら
に、対応するテロップを含むフレーム画像を線分の始点
にそろえて表示している。これによって、テロップの種
類ごとの存在区間が時間軸上に位置付けられるととも
に、テロップの存在区間に対応するフレーム画像が表示
されるので、テロップの種類に基づく目次に加えて、テ
ロップの具体的な内容による目次を提供することができ
る。例えば、タイトルが出現する区間を表す線分と、そ
れに対応して表示されたフレーム画像を見ることによっ
て、タイトルを用いて映像を時間的に分割し、さらに分
割された部分映像に具体的なタイトルをつけて扱うこと
ができる。
【００２９】なお、本実施形態では、対応するフレーム
画像の表示を太い線分の始点にそろえたが、線分の終点
や、中間的に対応させてもよい。
画像の表示を太い線分の始点にそろえたが、線分の終点
や、中間的に対応させてもよい。
【００３０】図７は第３の実施形態であり、第２の実施
形態とは異なる映像目次表示の例である。この実施形態
では、テロップの存在区間を表す太い線分にフレーム画
像全体を対応させるのではなく、フレーム画像のうちテ
ロップ領域の部分だけを対応させて表示している。この
実施形態では、第２の実施形態と同様に、テロップの種
類による目次に加えて、テロップの具体的な内容による
目次を提供することができる。この実施形態は、第２の
実施形態に比べて、分類されたテロップ領域画像が時間
軸上に位置付けられるので、映像内容の時間的移り変わ
りをより効果的に表現することができる。たとえば、タ
イトルに分類されたテロップ領域画像の移り変わりを順
番に見ていくことによって、映像中にどんな話題が存在
するのかが把握できる。
形態とは異なる映像目次表示の例である。この実施形態
では、テロップの存在区間を表す太い線分にフレーム画
像全体を対応させるのではなく、フレーム画像のうちテ
ロップ領域の部分だけを対応させて表示している。この
実施形態では、第２の実施形態と同様に、テロップの種
類による目次に加えて、テロップの具体的な内容による
目次を提供することができる。この実施形態は、第２の
実施形態に比べて、分類されたテロップ領域画像が時間
軸上に位置付けられるので、映像内容の時間的移り変わ
りをより効果的に表現することができる。たとえば、タ
イトルに分類されたテロップ領域画像の移り変わりを順
番に見ていくことによって、映像中にどんな話題が存在
するのかが把握できる。
【００３１】図８は第４の実施形態であり、第２、３の
実施形態とは異なる映像目次表示の例である。この実施
形態では、テロップの存在区間を表示せず、テロップ領
域画像を順番に表示している。この実施形態では、時間
軸によらず、テロップの種類別にテロップの具体的な内
容による目次を提供することができる。例えば、映像か
ら、タイトル目次、人名目次などを生成し表示すること
ができる。
実施形態とは異なる映像目次表示の例である。この実施
形態では、テロップの存在区間を表示せず、テロップ領
域画像を順番に表示している。この実施形態では、時間
軸によらず、テロップの種類別にテロップの具体的な内
容による目次を提供することができる。例えば、映像か
ら、タイトル目次、人名目次などを生成し表示すること
ができる。
【００３２】なお、ここではテロップ領域画像を出現順
に表示しているが、テロップの情報としてテキスト情報
が与えられているか、テロップ領域画像の解析によって
テキスト情報を検出できる場合には、テロップ領域画像
を辞書順に並べるようにしてもよい。
に表示しているが、テロップの情報としてテキスト情報
が与えられているか、テロップ領域画像の解析によって
テキスト情報を検出できる場合には、テロップ領域画像
を辞書順に並べるようにしてもよい。
【００３３】図９は第５の実施形態であり、分類部２の
例を表すブロック図である。比較器３１1〜３１nは、図
１０に示す表に基づき、それぞれの種類の空間的存在範
囲とテロップ領域とを比較し、空間的存在範囲内にある
場合に１、そうでない場合に０をバッファ３３1〜３３n
に出力する。また、ノア回路３２で比較器３１1〜３１n
の出力の論理和の反転値をとり、バッファ３３n+1に分
類外の結果として出力する。
例を表すブロック図である。比較器３１1〜３１nは、図
１０に示す表に基づき、それぞれの種類の空間的存在範
囲とテロップ領域とを比較し、空間的存在範囲内にある
場合に１、そうでない場合に０をバッファ３３1〜３３n
に出力する。また、ノア回路３２で比較器３１1〜３１n
の出力の論理和の反転値をとり、バッファ３３n+1に分
類外の結果として出力する。
【００３４】なお、１枚のフレームには複数のテロップ
が存在する可能性があるので、１枚のフレームに含まれ
るすべてのテロップ領域について、空間的存在範囲を比
較し、その結果を論理和によってバッファに蓄積する。
例えば、２つの分類（ｃ１，ｃ２）があるとすると、 ＜ｃ１，ｃ２， （ｃ１ ｃ２）＞ という３つの出力が得られる。今、あるフレームに、ｃ
１とｃ２にあてはまるテロップがひとつずつ存在すると
すると、比較器の出力は、 ＜１，０，０＞ ＜０，１，０＞ となる。これらの結果を論理和によってバッファに蓄積
すると、 ＜１，１，０＞ となり、これが分類部２の出力となる。
が存在する可能性があるので、１枚のフレームに含まれ
るすべてのテロップ領域について、空間的存在範囲を比
較し、その結果を論理和によってバッファに蓄積する。
例えば、２つの分類（ｃ１，ｃ２）があるとすると、 ＜ｃ１，ｃ２， （ｃ１ ｃ２）＞ という３つの出力が得られる。今、あるフレームに、ｃ
１とｃ２にあてはまるテロップがひとつずつ存在すると
すると、比較器の出力は、 ＜１，０，０＞ ＜０，１，０＞ となる。これらの結果を論理和によってバッファに蓄積
すると、 ＜１，１，０＞ となり、これが分類部２の出力となる。
【００３５】分類されたテロップに加えて、分類外のテ
ロップを扱う理由は次の通りである。自動的なテロップ
検出手段を用いる場合に、テロップでない部分をテロッ
プとして過剰に誤検出することがしばしば起こる。この
ようなノイズは、画面上のあらゆる場所にランダムに存
在するので、いずれかのテロップの種類に誤って分類さ
れてしまうことがあるが、いずれにも分類されない可能
性もある。したがって、分類外のテロップの存在を見る
ことによって、ノイズの有無を知ることができ、分類の
精度を把握することができる。
ロップを扱う理由は次の通りである。自動的なテロップ
検出手段を用いる場合に、テロップでない部分をテロッ
プとして過剰に誤検出することがしばしば起こる。この
ようなノイズは、画面上のあらゆる場所にランダムに存
在するので、いずれかのテロップの種類に誤って分類さ
れてしまうことがあるが、いずれにも分類されない可能
性もある。したがって、分類外のテロップの存在を見る
ことによって、ノイズの有無を知ることができ、分類の
精度を把握することができる。
【００３６】図１１は第６の実施形態であり、目次生成
部３の一例を表すブロック図である。なお、ここでは、
ひとつの種類についての目次生成部３の構成を示すので
あって、実際には（（種類の数）＋１（分類外の分））
個が必要になる。
部３の一例を表すブロック図である。なお、ここでは、
ひとつの種類についての目次生成部３の構成を示すので
あって、実際には（（種類の数）＋１（分類外の分））
個が必要になる。
【００３７】目次生成部３は、分類部２の出力を受け取
るシフトレジスタ４１と、シフトレジスタ４１のビット
間で論理演算する論理演算部４２と、その結果を受け取
る長いシフトレジスタ４３から構成される。シフトレジ
スタ４１は、１フレームごとに右にシフトされる。結果
を受け取る長いシフトレジスタ４３が、テロップの存在
区間を保持する働きをする。すなわち、シフトレジスタ
４１上のビットの位置をフレームに対応させれば、どの
フレームにどの種類のテロップが存在するのかを管理す
ることができる。
るシフトレジスタ４１と、シフトレジスタ４１のビット
間で論理演算する論理演算部４２と、その結果を受け取
る長いシフトレジスタ４３から構成される。シフトレジ
スタ４１は、１フレームごとに右にシフトされる。結果
を受け取る長いシフトレジスタ４３が、テロップの存在
区間を保持する働きをする。すなわち、シフトレジスタ
４１上のビットの位置をフレームに対応させれば、どの
フレームにどの種類のテロップが存在するのかを管理す
ることができる。
【００３８】図１２は第７の実施形態であり、目次生成
部３の論理演算部４２の一例を表すブロック図である。
シフトレジスタ４１の値をそのまま結果のシフトレジス
タ４３に代入している。つまり、分類部２の出力をその
ままテロップの存在区間とする例である。
部３の論理演算部４２の一例を表すブロック図である。
シフトレジスタ４１の値をそのまま結果のシフトレジス
タ４３に代入している。つまり、分類部２の出力をその
ままテロップの存在区間とする例である。
【００３９】図１３は第８の実施形態であり、目次生成
部３の論理演算部４２の一例を表すブロック図である。
ここでは、二つのビットが１であり、その間がｋビット
以下なら、その間のｋビットを１としている。例えばｋ
＝２の場合、ビット列は表１のように変換される。
部３の論理演算部４２の一例を表すブロック図である。
ここでは、二つのビットが１であり、その間がｋビット
以下なら、その間のｋビットを１としている。例えばｋ
＝２の場合、ビット列は表１のように変換される。
【００４０】
【表１】
この例は、前後でテロップ検出されているにもかかわら
ず一瞬だけテロップが検出されなかった場合を補う働き
をするので、とくに自動的なテロップ検出手段を用いる
場合にしばしば起こるテロップの検出漏れの事態に対処
することができる。
ず一瞬だけテロップが検出されなかった場合を補う働き
をするので、とくに自動的なテロップ検出手段を用いる
場合にしばしば起こるテロップの検出漏れの事態に対処
することができる。
【００４１】図１４は第９の実施形態であり、目次生成
部３の論理演算部４２の一例を表すブロック図である。
ここでは、二つのビットが０であり、その間がｋビット
以下なら、その間のｋビットを０としている。例えばｋ
＝２の場合、ビット列は表２のように変換される。
部３の論理演算部４２の一例を表すブロック図である。
ここでは、二つのビットが０であり、その間がｋビット
以下なら、その間のｋビットを０としている。例えばｋ
＝２の場合、ビット列は表２のように変換される。
【００４２】
【表２】
この実施形態は、前後でテロップ検出されていないにも
かかわらず一瞬だけテロップが検出された場合を除去す
る働きをするので、特に自動的なテロップ検出手段を用
いる場合にしばしば起こるテロップの過剰検出の事態に
対処することができる。
かかわらず一瞬だけテロップが検出された場合を除去す
る働きをするので、特に自動的なテロップ検出手段を用
いる場合にしばしば起こるテロップの過剰検出の事態に
対処することができる。
【００４３】なお、シフトレジスタと論理演算部の構成
は、図１５のように段階的な構成にすることもできる。
例えば、第８の実施形態の論理演算の後に、第９の実施
形態の論理演算を行なうという構成にすることもでき
る。段数は、２段に限らず、３段以上に増やすこともで
きる。
は、図１５のように段階的な構成にすることもできる。
例えば、第８の実施形態の論理演算の後に、第９の実施
形態の論理演算を行なうという構成にすることもでき
る。段数は、２段に限らず、３段以上に増やすこともで
きる。
【００４４】図１６は第１０の実施形態であり、目次生
成部３の一例を表すブロック図である。本実施形態で
は、分類部２の出力のうち、インバータ５１の、分類外
の出力の反転値と、種類ごとのテロップの存在区間との
間でアンド回路５２1〜５２nで論理積をとって、結果を
第６の実施形態（図１１）の回路５３1〜５３n+1に入力
している。つまり、分類外のテロップが存在する区間で
は、テロップの自動検出やテロップの空間的配置による
自動分類にノイズが含まれているとし、その区間は有意
なテロップが存在しないことにする。
成部３の一例を表すブロック図である。本実施形態で
は、分類部２の出力のうち、インバータ５１の、分類外
の出力の反転値と、種類ごとのテロップの存在区間との
間でアンド回路５２1〜５２nで論理積をとって、結果を
第６の実施形態（図１１）の回路５３1〜５３n+1に入力
している。つまり、分類外のテロップが存在する区間で
は、テロップの自動検出やテロップの空間的配置による
自動分類にノイズが含まれているとし、その区間は有意
なテロップが存在しないことにする。
【００４５】本実施形態には、すべてのテロップが目次
に反映されるわけではないという欠点があるが、誤りの
少ない目次生成が可能となるという優れた点がある。
に反映されるわけではないという欠点があるが、誤りの
少ない目次生成が可能となるという優れた点がある。
【００４６】なお、本発明は、上記実施形態に限られる
わけではなく、その要旨を変更しない範囲内で種々に変
形して実施できる。例えば、第２の実施形態のフレーム
画像の表示において、テロップ部分を強調表示すること
もできる。
わけではなく、その要旨を変更しない範囲内で種々に変
形して実施できる。例えば、第２の実施形態のフレーム
画像の表示において、テロップ部分を強調表示すること
もできる。
【００４７】
【発明の効果】以上説明したように、本発明は、下記の
ような効果がある。
ような効果がある。
【００４８】請求項１の発明は、テロップの種類に基づ
いて映像の目次生成と表示を行なうことにより、映像の
内容を反映した目次を生成し、表示することが可能とな
る。
いて映像の目次生成と表示を行なうことにより、映像の
内容を反映した目次を生成し、表示することが可能とな
る。
【００４９】請求項２、３の発明は、フレーム画像生成
部を有し、テロップの存在するフレーム画像、またはフ
レーム画像のうちテロップ部分を生成し、表示部にテロ
ップの時間的存在範囲に対応させて表示することによっ
て、具体的なテロップに基づいた映像の目次生成と表示
が可能となる。
部を有し、テロップの存在するフレーム画像、またはフ
レーム画像のうちテロップ部分を生成し、表示部にテロ
ップの時間的存在範囲に対応させて表示することによっ
て、具体的なテロップに基づいた映像の目次生成と表示
が可能となる。
【００５０】請求項４の発明は、テロップの空間的配置
に基づいてテロップを分類する分類部を備えることによ
って、タイトルや人名、時刻など、テロップの典型的な
時間的空間的出現パターンに沿った分類ができる。
に基づいてテロップを分類する分類部を備えることによ
って、タイトルや人名、時刻など、テロップの典型的な
時間的空間的出現パターンに沿った分類ができる。
【００５１】請求項５、６、７の発明は、テロップの自
動検出、自動分類結果を論理演算によって処理する目次
生成部を有することによって、検出漏れや、過剰検出を
補って、不完全な検出結果でも有効な目次生成が可能と
なる。
動検出、自動分類結果を論理演算によって処理する目次
生成部を有することによって、検出漏れや、過剰検出を
補って、不完全な検出結果でも有効な目次生成が可能と
なる。
【図１】本発明の第１の実施形態の映像目次生成表示装
置のブロック図である。
置のブロック図である。
【図２】映像テロップ検出方法のフローチャートであ
る。
る。
【図３】テロップ検出部１のブロック図である。
【図４】第１の実施形態の表示部４による映像目次の表
示例を示す図である。
示例を示す図である。
【図５】本発明の第２の実施形態の映像目次生成表示装
置のブロック図である。
置のブロック図である。
【図６】第２の実施形態の表示部４による映像目次の表
示の例である。
示の例である。
【図７】本発明の第３の実施形態の映像目次生成表示装
置の表示部４による映像目次の表示例を示す図である。
置の表示部４による映像目次の表示例を示す図である。
【図８】本発明の第４の実施形態の映像目次生成表示装
置の表示部４による映像目次の表示例を示す図である。
置の表示部４による映像目次の表示例を示す図である。
【図９】本発明の第５の実施形態の映像目次生成表示装
置の分類部２のブロック図である。
置の分類部２のブロック図である。
【図１０】テロップの分類表と画面上での空間的配置を
表す図である。
表す図である。
【図１１】本発明の第６の実施形態の映像目次生成表示
装置の目次生成部３のブロック図である。
装置の目次生成部３のブロック図である。
【図１２】本発明の第７の実施形態の映像目次生成表示
装置の目次生成部３のブロック図である。
装置の目次生成部３のブロック図である。
【図１３】本発明の第８の実施形態の映像目次生成表示
装置の目次生成部３のブロック図である。
装置の目次生成部３のブロック図である。
【図１４】本発明の第９の実施形態の映像目次生成表示
装置の目次生成部３のブロック図である。
装置の目次生成部３のブロック図である。
【図１５】多段階に構成された目次生成部３のブロック
図である。
図である。
【図１６】本発明の第１０の実施形態の映像目次生成表
示装置の目次生成部３のブロック図である。
示装置の目次生成部３のブロック図である。
１ テロップ検出部
２ 分類部
３ 目次生成部
４ 表示部
５ フレーム画像生成部
１１〜１６ ステップ
２１ フレーム判別部
２２ 計数部
２３ 選択部
２４ 連結領域作成部
３１1〜３１n 比較器
３２ ノア回路
３３1〜３３n+1 バッファ
４１，４１′，４３ シフトレジスタ
４２，４２′ 論理演算部
５１ インバータ
５２1〜５２n アンド回路
５３1〜５３n+1 図１１の回路
フロントページの続き
(72)発明者 阿久津 明人
東京都新宿区西新宿三丁目19番２号 日
本電信電話株式会社内
(56)参考文献 特開 平７−192003（ＪＰ，Ａ)
特開 平４−237284（ＪＰ，Ａ)
特開 平９−322173（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/76 - 5/956
H04N 7/24 - 7/68
Claims (7)
- 【請求項１】 映像の目次を生成し、表示する装置であ
って、 映像からテロップを検出するテロップ検出部と、 前記テロップを分類する分類部と、 分類されたテロップの時間的存在範囲に基づいて目次を
生成する目次生成部と、 前記目次を表示する表示部を有し、 前記テロップ検出部は、符号化された映像データからフ
レーム間の相関を用いて符号化されたフレームを抽出す
るフレーム判別部と、前記フレームのマクロブロックの
うち、フレーム間の相関を用い、かつ動き補償を用いな
いで符号化されたマクロブロックが現われる数を、それ
ぞれのマクロブロックの位置ごとに、一定計数区間内で
計数し、計数マトリックスを出力する計数部と、前記計
数マトリックスを、与えられた閾値と比較し、テロップ
領域を表すテロップ領域マトリックスを出力する選択部
と、前記テロップ領域マトリックスの連結領域を求め、
それぞれの連結領域をテロップ領域として出力する連結
領域作成部を含む 映像目次生成表示装置。 - 【請求項２】 テロップを含んだフレーム画像を生成す
るフレーム画像生成部をさらに有し、前記表示部が前記
フレーム画像を目次に対応させて表示する請求項１に記
載の映像目次生成表示装置。 - 【請求項３】 前記表示部が、テロップの存在する区間
に対応する映像のフレーム画像のうちテロップ部分を目
次に対応させて表示する請求項１または２に記載の映像
目次生成表示装置。 - 【請求項４】 前記分類部が、テロップの空間上の配置
に基づいてテロップを分類する請求項１から３のいずれ
か１項に記載に映像目次生成表示装置。 - 【請求項５】 前記目次生成部が、テロップの存在する
区間に挟まれたテロップの存在しない短い区間を、テロ
ップが存在する区間とする請求項１から４のいずれか１
項に記載の映像目次生成表示装置。 - 【請求項６】 前記目次生成部が、テロップの存在しな
い区間に挟まれたテロップの存在する短い区間を、テロ
ップが存在しない区間とする請求項１から５のいずれか
１項に記載の映像目次生成表示装置。 - 【請求項７】 前記目次生成部が、前記分類部によって
分類されなかったテロップの存在する区間を、前記分類
部によって分類されたテロップが存在しない区間とする
請求項１から５のいずれか１項に記載の映像目次生成表
示装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26601996A JP3412737B2 (ja) | 1996-10-07 | 1996-10-07 | 映像目次生成表示装置 |
| MYPI97002288A MY119560A (en) | 1996-05-27 | 1997-05-26 | Scheme for detecting captions in coded video data without decoding coded video data |
| US08/863,840 US6243419B1 (en) | 1996-05-27 | 1997-05-27 | Scheme for detecting captions in coded video data without decoding coded video data |
| KR1019970020966A KR100272090B1 (ko) | 1996-05-27 | 1997-05-27 | 영상데이터에서 캡션을 검출하는 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26601996A JP3412737B2 (ja) | 1996-10-07 | 1996-10-07 | 映像目次生成表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10112837A JPH10112837A (ja) | 1998-04-28 |
| JP3412737B2 true JP3412737B2 (ja) | 2003-06-03 |
Family
ID=17425255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26601996A Expired - Fee Related JP3412737B2 (ja) | 1996-05-27 | 1996-10-07 | 映像目次生成表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3412737B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7697785B2 (en) * | 2004-03-31 | 2010-04-13 | Fuji Xerox Co., Ltd. | Generating a highly condensed visual summary |
| JP4613867B2 (ja) * | 2005-05-26 | 2011-01-19 | ソニー株式会社 | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム |
| US8077977B2 (en) | 2006-08-15 | 2011-12-13 | Fuji Xerox Co., Ltd. | Image processing system, image processing method, computer readable medium and computer data signal |
| JP2008046832A (ja) * | 2006-08-15 | 2008-02-28 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2980387B2 (ja) * | 1991-01-21 | 1999-11-22 | 日本電信電話株式会社 | 映像内容圧縮表示処理方法 |
| JP3361587B2 (ja) * | 1993-12-27 | 2003-01-07 | 株式会社日立製作所 | 動画像検索装置及び方法 |
| JPH09322173A (ja) * | 1996-05-27 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 動画像テロップ抽出方法及び装置 |
-
1996
- 1996-10-07 JP JP26601996A patent/JP3412737B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10112837A (ja) | 1998-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4643829B2 (ja) | ビデオフレーム中の検出されたテキストを使用してビデオコンテンツを分析するシステム及び方法 | |
| Zabih et al. | A feature-based algorithm for detecting and classifying production effects | |
| US6101274A (en) | Method and apparatus for detecting and interpreting textual captions in digital video signals | |
| US7184100B1 (en) | Method of selecting key-frames from a video sequence | |
| US6195458B1 (en) | Method for content-based temporal segmentation of video | |
| US6937766B1 (en) | Method of indexing and searching images of text in video | |
| KR100468967B1 (ko) | 썸네일 영상 생성장치 및 방법 | |
| Gargi et al. | Indexing text events in digital video databases | |
| JP3361587B2 (ja) | 動画像検索装置及び方法 | |
| US7880815B2 (en) | Method for detecting and eliminating flash scene in digital video | |
| CN112990191A (zh) | 一种基于字幕视频的镜头边界检测与关键帧提取方法 | |
| JPH08237549A (ja) | 自動ビデオ区分とキーフレーム抽出用システム | |
| KR20040070269A (ko) | 광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들 | |
| JP2005243035A (ja) | アンカーショット決定方法及び決定装置 | |
| JP3412737B2 (ja) | 映像目次生成表示装置 | |
| JP2009123095A (ja) | 映像解析装置及び映像解析方法 | |
| Tahaghoghi et al. | Video cut detection using frame windows | |
| WO1999051022A1 (en) | Method of selecting key-frames from a video sequence | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| Zhang et al. | Accurate overlay text extraction for digital video analysis | |
| Haloi et al. | Unsupervised broadcast news video shot segmentation and classification | |
| KR101822443B1 (ko) | 샷 경계 및 자막을 이용한 동영상 축약 방법 및 처리 장치 | |
| Zafarifar et al. | Instantaneously responsive subtitle localization and classification for TV applications | |
| CN112818984B (zh) | 标题生成方法、装置、电子设备和存储介质 | |
| Varghese et al. | An algorithmic approach for general video summarization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090328 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090328 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100328 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |