JPH11205679A - 映像中字幕文字検出方法およびその装置およびその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動きながら表示される映像中の字幕文字を一
まとまりの文字列として正確かつ高速に検出できる映像
中字幕文字検出方法および装置を提供する。 【解決手段】 映像から一定時間間隔毎にフレーム画像
を獲得し、各フレーム画像から文字部分に特徴的に現れ
る特徴点を検出する。この該特徴点の空間分布から字幕
文字の出現を検知し、検知されたフレーム画像とそれに
続いて獲得したフレーム画像における特徴点同士を照合
して、字幕全体の移動量を算出する。この移動量を用い
て当該フレーム画像間で共通表示される字幕文字が空間
的に重なるように一方の画像の座標値を変換した上で、
各画像において検出された特徴点を局所的に照合し、字
幕の各文字部分の局所的なずれの値を算出する。局所的
なずれが検出された画像部分に適当な幾何変換を施して
局所的なずれを補正する。これで、フレーム画像間で共
通表示される字幕文字同士を正確に対応させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像情報に様々な
情報を付与し再編集する映像編集システムや、映像情報
の管理、検索を行う映像データベースシステムや映像情
報提供システムにおける画像情報処理方法、およびテレ
ビ、ビデオテープレコーダ、ＤＶＤ等の映像入力・記録
・表示装置において、映像内の情報を抽出し、加工・再
編集・記録・表示することにより、映像情報の利用の利
便性を高めるための画像情報処理技術に関する。

【０００２】

【従来の技術】映像内の情報を抽出する技術として字幕
文字検出方法がある。これまでに提案された字幕文字検
出方法では、文字部分に特徴的に現れる特徴点の空間的
な分布を用いて字幕文字の出現を検知し、多くの字幕文
字が一定時間画面上に静止して表示されるという性質を
利用して一まとまりの字幕文字列を検出していた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ような従来手法では、字幕文字が画面上に一定時間静止
しているという性質を利用していたため、動きながら表
示される字幕文字には対応することができなかった。

【０００４】動きながら表示される字幕文字を一まとま
りの文字列として検出するためには、字幕文字の移動量
を推定し、連続するフレーム画像において共通に表示さ
れている字幕文字同士の対応をとる必要がある。さらに
画像中から字幕文字画像（文字そのものの画像）を精度
良く検出するためには、連続するフレーム画像において
共通的に表示されている文字画像部分をそれぞれ正確に
重ね合わせることが必要となる。しかし、移動しながら
表示される字幕文字は、傾きや伸縮を伴っている場合も
多く、字幕文字全体の移動量を用いて重ね合わせただけ
では十分な精度は得られない。従って字幕文字全体の移
動量に加え、局所的なずれや歪みの補正を行う必要があ
る。しかし、字幕文字の移動量の算出および局所的な補
正を精度良くかつ実用可能な処理時間で行う手法は、確
立されていない。

【０００５】本発明は、これまでに提案された字幕文字
検出方法の、字幕が動きながら表示される場合にその移
動量の算出および局所的な補正を正確かつ高速に行うこ
とができないという欠点を克服し、動きながら表示され
る字幕文字を一まとまりの文字列として検出することが
できる映像中字幕文字検出方法および装置を提供するこ
とを課題とする。

【０００６】

【課題を解決するための手段】本発明は、下記の（１）
〜（９）の発明により、上記の課題を解決する。

【０００７】（１）映像中に挿入される字幕文字を検出
する字幕文字検出方法であって、映像から一定時間間隔
毎にフレーム画像を獲得する手順と、前記獲得した各フ
レーム画像から文字部分に特徴的に現れる特徴点を検出
する手順と、前記検出した特徴点の空間分布から字幕文
字の出現を検知する手順と、前記字幕文字の出現が検知
されたフレーム画像とそのフレーム画像に引き続いて獲
得されたフレーム画像における特徴点同士を照合するこ
とにより字幕全体の移動量を算出する手順と、前記字幕
全体の移動量を用いて当該フレーム画像間で共通して表
示される字幕文字が空間的に重なるように一方の画像の
座標値を変換した上で、各々の画像において検出された
特徴点を局所的に照合することにより字幕を構成する各
文字部分の局所的なずれの値を算出する手順と、前記局
所的なずれが検出された画像の部分に対し適当な幾何変
換を施して前記局所的なずれを補正することにより当該
フレーム画像間で共通して表示される字幕文字同士を正
確に対応させる手順と、を有することを特徴とする映像
中字幕文字検出方法。

【０００８】（２）上記（１）において、前記字幕文字
全体の移動量の算出する手順は、字幕文字の出現が検知
されたフレーム画像上の横方向または縦方向の全てのラ
インに対し、横方向のラインに対しては縦方向のライン
座標値、縦方向のラインに対しては横方向のライン座標
値をインデクスとし当該ライン上の全ての特徴点の位置
情報を登録した参照テーブルを作成する手順と、引き続
いて獲得されたフレーム画像の各ライン上の全ての特徴
点の位置と、前記参照テーブルで同じライン座標値に登
録されている全ての特徴点との位置の差分値を計算する
手順と、全てのラインについて算出された全ての差分値
の横方向または縦方向についての頻度分布を計算し、最
も頻度の高い差分値を字幕文字全体の横方向または縦方
向の移動量とする手順と、を有することを特徴とする映
像中字幕文字検出方法。

【０００９】（３）上記（１）または（２）において、
前記字幕文字部分の局所的なずれの値の算出する手順
は、上記（２）の字幕文字全体の移動量の算出する手順
を有し、該字幕文字全体の移動量の算出する手順を画像
内の小ブロック毎に個別に適用することにより字幕文字
の局所的なずれの値を算出することを特徴とする映像中
字幕文字検出方法。

【００１０】（４）上記（１）または（２）または
（３）において、前記字幕文字全体の移動量の算出する
手順の前に、文字が出現している可能性の高い画像部分
を推定を構成する手順を加え、文字が出現している可能
性の高い画像部分を推定した後、前記字幕文字全体の移
動量の算出する手順、および前記字幕を構成する各文字
部分の局所的なずれの値の算出する手順を文字が出現し
ている可能性の高い画像部分に対してのみ適用する、こ
とを特徴とする映像中字幕文字検出方法。

【００１１】（５）映像データからフレーム画像を獲得
する第１の手段と、前記獲得したフレーム画像から文字
部分に特徴的に現れる特徴点を検出する第２の手段と、
前記検出した特徴点の空間的な分布から字幕文字の出現
を検知する第３の手段と、連続する二つのフレーム画像
間で前記特徴点を照合することにより字幕文字全体の移
動量を算出する第４の手段と、前記連続する二つのフレ
ーム画像において算出された字幕文字全体の移動量を用
いて検出された特徴点を局所的に照合することにより字
幕を構成する各文字部分の局所的なずれの値を算出する
第５の手段と、前記二つのフレーム画像のうち一方のフ
レーム画像の一部分に対して幾何変換を施すことにより
前記局所的なずれを補正する第６の手段と、これらの第
１〜６の手段を制御する第７の手段と、を備えることを
特徴とする映像中字幕文字検出装置。

【００１２】（６）上記（５）において、前記第４の手
段を、特徴点の位置を画像上の各横ラインまたは縦ライ
ン毎に記録した参照テーブルを作成する第８の手段と、
ある画像における横または縦のライン上の全ての特徴点
の位置と前記参照テーブルに登録されている全ての特徴
点との位置の差分をライン毎に計算する第９の手段と、
全てのラインについて算出された全ての前記差分値の横
方向または縦方向についての頻度分布を計算し最も頻度
の高い差分値を検出する第１０の手段と、前記第８、第
９、第１０の手段を画像全体に対して適用するための制
御を行う第１１の手段とを用いて実現することを特徴と
する映像中字幕文字検出装置。

【００１３】（７）上記（５）または（６）において、
前記第５の手段を、上記（６）の第８、第９、第１０の
手段を備えるとともに、これらの第８、第９、第１０の
手段を画像中の部分領域に対して適用するための制御を
行う第１２の手段を備え、前記第８、第９、第１０の手
段を、画像中の部分領域に対して適用することにより実
現することを特徴とする映像中字幕文字検出装置。

【００１４】（８）文字が出現している可能性の高い画
像部分を検出する第１３の手段を新たに備え、前記第７
の手段に代わり、前記検出した、文字が出現している可
能性の高い画像部分に対してのみ前記第４および第５の
手段を適用するように全体制御を行う第１４の手段を備
えることを特徴とする映像中字幕文字検出装置。

【００１５】（９）上記（１），（２），（３），
（４）のいずれかの映像中字幕検出方法における手順
を、コンピュータで実行するプログラムとして該コンピ
ュータが読み取り可能な記録媒体に記録したことを特徴
とする映像中字幕検出方法を記録した記録媒体。

【００１６】本発明では、映像より一定時間間隔毎に獲
得した各フレーム画像から文字部分の特徴点を検出し、
この特徴点の空間分布から字幕文字の出現を検知し、こ
の出現が検知されたフレーム画像とそれに続くフレーム
画像における特徴点同士を照合して字幕全体の移動量を
算出し、この移動量を用いて当該フレーム画像間で共通
して表示される字幕文字が空間的に重なるように一方の
画像の座標値を変換した上で各画像の特徴点を局所的に
照合して字幕の各文字部分の局所的なずれを算出し、補
正することにより、当該フレーム画像間で共通して表示
される字幕文字同士を正確に対応させることで、字幕文
字が動きながら表示される場合でも、その移動量の算出
および局所的な補正を高速かつ高精度に行うことを可能
にし、動きながら表示される字幕文字を一まとまりの文
字列として検出することが可能にする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００１８】本発明の手法は、テレビ放送やビデオ出
力、ＭＰＥＧ等の圧縮映像等、全ての映像情報を対象と
する。また本発明の手法では、映像が１枚１枚のフレー
ム画像に変換されていることを前提としているので、必
要に応じそれぞれの信号形式に従いフレーム画像を生成
する手段が必要となる。しかしこれらは既に流通、市販
されているので、本手法では既存の手段を使用するもの
とする。

【００１９】本発明の手法の処理の概要を図１、図２、
図３、図４に示す（本発明（１）〜（４）は図１〜図４
に対応する）。図中、ｎはフレームの通し番号、（ｎ）
は処理対象フレーム番号を表している。また、本発明の
装置構成図を図５、図６、図７、図８に示す（本発明
（５）〜（８）は図５〜図８に対応する）。以下では本
発明（１）〜（８）までを含めた形での実施形態例を示
す。

【００２０】まず、本発明（５）に対応する基本的な構
成の実施形態例を示す。図５に示すように、本実施形態
例の映像中字幕文字検出装置は、映像データからフレー
ム画像を獲得するフレーム画像獲得部１と、フレーム画
像から文字部分に特徴的に現れる特徴点を検出する特徴
点検出部２と、特徴点の空間的な分布から字幕文字の出
現を検知する字幕文字検知部３と、連続する二つのフレ
ーム画像間で特徴点を照合することにより字幕文字全体
の移動量を算出する字幕文字移動量算出部４と、連続す
る二つのフレーム画像において算出された字幕文字全体
の移動量を用いて検出された特徴点を局所的に照合する
ことにより字幕を構成する各文字部分の局所的なずれの
値を算出する局所的位置ずれ算出部５と、二つのフレー
ム画像のうち一方のフレーム画像の一部分に対して適当
な幾何変換を施すことにより局所的な位置ずれを補正す
る局所的位置ずれ補正部６と、これらの各部１〜６を制
御する全体制御部（Ａ）７を備える。

【００２１】次に、本発明（６）に対応する実施形態例
を示す。図６に示すように、本実施形態例の映像中字幕
文字検出装置は、本発明（５）の実施形態例において、
字幕文字移動量算出部４を、特徴点の位置を画像上の各
横ラインまたは縦ライン毎に記録した参照テーブルを作
成する参照テーブル作成部８と、ある画像における横ま
たは縦のライン上の全ての特徴点の位置と前記参照テー
ブルに登録されている全ての特徴点との位置の差分をラ
イン毎に計算する特徴点差文値計算部９と、全てのライ
ンについて算出された全ての差分値の横方向または縦方
向についての頻度分布を計算し最も頻度の高い差分値を
検出する差分値頻度分布のピーク検出部１０と、これら
の各部８〜１０を画像全体に対して適用するための制御
を行う制御部（ａ）１１とを用いて実現したものであ
る。

【００２２】次に、本発明（７）に対応する実施形態例
を示す。図７に示すように、本実施形態例の映像中字幕
文字検出装置は、本発明（５）または（６）の実施形態
例において、局所的位置ずれ算出部５を、本発明（６）
の参照テーブル作成部８、特徴点差分値計算部９および
差分値頻度分布のピーク検出部１０を備えるとともに、
画像中の部分領域に対して適用するための制御を行う制
御部（ｂ）１２を備えて、それらの各部８〜１０を、画
像中の画像中の部分領域に対して適用することにより実
現したものである。

【００２３】次に、本発明（８）に対応する実施形態例
を示す。図８に示すように、本実施形態例の映像中字幕
文字検出装置は、本発明（５）または（６）または
（７）の実施形態例において、字幕文字出現検知部３と
字幕文字列移動量算出部４の間に、文字が出現している
可能性の高い画像部分を検出する文字出現位置推定部１
３を加え、全体制御部７に代わり、文字が出現している
可能性の高い画像部分に対してのみ字幕文字列移動量算
出部４および局所的位置ずれ算出部５を適用するように
全体制御を行う全体制御部（Ｂ）１４を備えたものであ
る。

【００２４】続いて、図１〜図４のフロー図を参照し
て、上記装置の実施形態例の動作とともに、本発明の手
法での処理の実施形態例を説明する。以下に説明する処
理は、次々に生成されるフレーム画像に対し順次繰り返
し行われる。

【００２５】まず、フレーム画像獲得部１により獲得し
た、ある時点ｔ₀のフレーム画像ｆ₀に対してエッジ点等
の特徴点を特徴点検出部２により検出する。特徴点とし
ては、字幕文字部分に特徴的に現れかつ位置が正確に決
まる性質を持つものが好ましい。この条件を満たす特徴
点の例としては単なる輝度エッジ点および彩度エッジ点
等がある。さらに、後段の処理においてより高い精度を
得るためには字幕文字部分により支配的に現れる特徴点
を用いるほうが好ましい。字幕文字部分に支配的に現れ
る特徴点として、エッジペア特徴点（特願平９−１２９
０７５号「テロップ文字表示フレーム検出方法および装
置」）が提案されている。エッジペア特徴点とは、字幕
文字と背景の画像の輝度分布または彩度分布が凸状また
は凹状になっていることが多いことに注目したものであ
り、横方向または縦方向に見た時に凸状または凹状の輝
度変化および彩度変化を持つエッジの対（エッジペア）
だけを抽出することによりエッジペア特徴点を得ること
ができる。

【００２６】図９にエッジペア特徴点を画像上にマッピ
ングしたエッジペア画像の例を示す。図９（ｃ）は、数
字の「１」のように縦方向の輪郭線が平行している場合
に発生するエッジペア点（以降、縦方向のエッジペア点
と呼ぶ）の例であり、図９（ｄ）は、マイナス記号
「−」のように、横方向の輪郭線が平行している場合に
発生するエッジペア点（以降、横方向のエッジペア点と
呼ぶ）の例である。

【００２７】次に、詳細については上記（特願平９−１
２９０７５号「テロップ文字表示フレーム検出方法およ
び装置」）に記載されているように、上記で算出された
エッジペア点の空間的な密集度を調べることにより、字
幕文字が表示されているかどうかを判定することができ
る。そこで、字幕文字出現検知部３によりこの判定を行
い、字幕文字出現を検知する。

【００２８】次に、字幕文字が表示されていると判定さ
れた場合、字幕文字列移動量算出部４は、字幕文字が表
示されていると判定されたフレーム画像（以下フレーム
（ｎ））と連続して獲得されたフレーム画像（以下フレ
ーム（ｎ＋１））を用いて、字幕文字の移動量を以下の
ような手法により算出する。なお、ここでは連続するフ
レーム画像とは必ずしもビデオレート（秒３０枚のフレ
ーム画像）でなくても良く、移動表示されている字幕文
字のうち、およそ半分程度以上の字幕文字が共通に表示
されていれば字幕文字の移動量を算出できる。通常の速
度で移動表示される字幕の場合であれば、秒２〜３枚程
度のレートで算出することが可能である。以下の説明
は、横方向に移動表示される字幕を対象にしているが、
全く同じ原理を用い、横方向と縦方向を入れ替えるだけ
で縦方向に移動する字幕文字にも対応できる。

【００２９】〈処理Ａ〉 図２、図６に示すように、こ
こではフレーム（ｎ）と一定時間後に獲得されたフレー
ム（ｎ＋１）の２枚のフレーム画像を用いて、参照テー
ブル作成部８により字幕文字の移動量を算出する。まず
はじめに、フレーム（ｎ）において算出されているエッ
ジペア点のうち、縦方向のエッジペア点に対して、画像
の基準点（左端）から見た各エッジペア点の座標値を登
録した参照テーブルを作成する（図１０）。この参照テ
ーブルは、画像中の横方向の各ライン毎に別々に作成さ
れる。この際、輝度または彩度が空間的に上昇するエッ
ジ点（上り方向のエッジ点（ｕｐ））と、輝度または彩
度が空間的に下降するエッジ点（下り方向のエッジ点
（ｄｏｗｎ））は別のものとして、それぞれの参照テー
ブルを作成する。従って、画像の縦方向の画素数がＮｙ
であるとすると、（Ｎｙ×２）個の参照テーブルが作成
されることになる。

【００３０】なおこの際、前記エッジペア点の密集度の
算出結果を用い、字幕文字が表示されている可能性の高
い範囲を見つけることも可能である（特願平９−１２９
０７５号「テロップ文字表示フレーム検出方法および装
置」）ので、図４、図８に示すように字幕文字が表示さ
れている可能性の高い範囲を、文字出現位置推定部１３
で推定し、推定された範囲だけを対象として上記参照テ
ーブルを作成することにより、字幕文字以外の部分から
検出されるエッジペア（背景ノイズ）の影響を小さくす
ることもできる（図１０上図）。

【００３１】〈処理Ｂ〉 次に、フレーム（ｎ＋１）に
おいて算出されている縦方向のエッジペア点に対して、
それぞれ横方向のライン毎に、対応するライン（同じ縦
方向の座標値を持つライン）に対する参照テーブルに登
録されている全ての座標値との差分を特徴点差分値計算
部９により計算し、差分値頻度分布のピーク検知部１０
において差分投票テーブルに投票していく（図１１）。
この投票テーブルは差分値に対する投票数を加算してい
くものであり、異なるラインについての投票を全て集約
（加算）していく。この投票の結果、それぞれの画像に
共通する字幕文字が存在している場合には鋭いピークが
得られる。このピークを与える差分値が、２つのフレー
ム画像に表示されている字幕文字の平行移動量に対応す
る。なお、この投票は一般的に知られている一般化ハフ
変換の原理に基づいている。

【００３２】なお、投票テーブルにおけるピーク値とそ
の他の値とのＳＮ比が小さい場合には、文字がほとんど
（または全く）表示されていないと考えられるので、こ
のＳＮ比を用いることにより、本当に字幕文字が出現し
たのか、それとも文字以外の背景の影響で誤って字幕文
字が出現したと判定してしまったのかを確認することが
できる。

【００３３】以上の処理により、字幕文字の平行移動量
を算出することができるが、移動しながら表示される字
幕は歪みを伴っていることが多い。様々な歪みのパター
ンがあるが、ほとんどは以下の２つのパターンに分類さ
れる。

【００３４】（１）字幕が少し傾いて進行する（左下が
り、左上がり）。

【００３５】（２）文字の進行方向に対する伸縮があ
る。

【００３６】これらが同時に発生する場合もある。

【００３７】〈処理Ｃ〉 ここでは、（１）に対する補
正法を以下に述べる。処理Ｂにより算出された移動量に
従い２つのフレーム画像を重ねた場合、（１）のような
歪みがあると、字幕文字同士に上下方向のずれが生じ
る。つまり以下の処理は、処理Ｂで算出された横方向の
移動量から推定される「同じ文字が共通して表示されて
いる範囲（以下重畳領域と呼ぶ：図１２）」に対して行
う。まず、上記の位置ずれを、局所的位置ずれの値を局
所的位置ずれ算出部５により算出し、局所的位置ずれ補
正部６により局所的なずれが検出された部分に対し適当
な幾何変換を施して補正する。

【００３８】上述したように処理Ｂでの横方向の移動量
を算出する際には、縦方向のエッジペア点を用いたが、
上下方向の移動量は、横方向のエッジペア点を用い、処
理Ｂの縦と横を入れ替えることで、図３、図７に示すよ
うに、特徴点テーブル作成部８、特徴点差分値計算部
９、差分値頻度分布のピーク検出部１０により、全く同
様の投票を行うことにより正確に算出することができ
る。

【００３９】〈処理Ｄ〉 ここでは、（２）の伸縮の補
正方法について説明する。同じく図３、図７に示すよう
に前記重畳領域を対象に以下の処理を行う。まず、重畳
領域を横方向に一定間隔で短冊状の小ブロックに分割す
る（図１２）。そして、特徴点テーブル作成部８、特徴
点差分値計算部９、差分値頻度分布のピーク検出部１０
により、各小ブロックを単位として処理Ｂと同様の投票
を行うことにより、小ブロック毎の微小な平行移動量を
算出することができる。なお、この際、ブロックによっ
ては、ほとんど（または全く）字幕文字が含まれていな
い場合もあり、そのような場合には平行移動量は正しく
算出されないので、ブロック内のエッジペア点の数が少
ないブロックは移動量を算出せず、周囲（左右）の移動
量を用いて補完するものとする。

【００４０】次に各ブロック毎に算出された微小な平行
移動量を用い、２つのフレーム画像を重畳させる。この
際、伸縮に応じて、縦方向一列の画像の間引き、または
補完（隣と同じ縦方向一列の画像を挿入）等の処理を行
うことにより、２つのフレームにおいて共通に表示され
る字幕文字同士を高い精度で重ね合わせることができ
る。

【００４１】カラーセグメンテーション等の画像領域分
割手法を用いることにより、字幕文字画像（字幕文字そ
のものの画像）を抽出することができる。この際、複数
のフレーム画像において表示されている字幕文字同士を
重ね合わせることにより、ノイズや掠れの少ない品質の
高い字幕文字画像の抽出を行うことができるようにな
る。詳細については本発明の対象外であるので割愛す
る。

【００４２】なお、以上実施形態例における説明では移
動表示される字幕文字について記述したが、もちろん字
幕文字が静止している場合は移動量が０である一つの場
合にすぎず、本発明を用いることにより対処することが
できる。

【００４３】本発明は、映像データを保存したり、ある
いは映像データから獲得した映像フレームを保持し、そ
れらを自由に読み出し可能なハードディスクやそれに準
ずる記憶装置と、特徴点検出、字幕文字検知、字幕文字
列移動量算出、局所的位置ずれ算出、局所的位置ずれ補
正等の処理を行う際のデータの保持等に必要なバッファ
やそれに準ずる装置と、所望の映像や情報を表示、出力
するディスプレイなどの出力装置と、キーボードやマウ
スなどの入力装置を備え、それらハードディスク、バッ
ファ、出力装置及び入力装置などをあらかじめ定められ
た手順に基いて制御するコンピュータやそれに準ずる装
置により、上記の図１〜図４のフロー図で示した本発明
の方法の実施形態例での処理の手順ないしアルゴリズム
を適宜、実行することが可能であり、その手順ないしア
ルゴリズムをコンピュータ等に実行させるためのプログ
ラムを該コンピュータが読み取り可能な媒体、例えばフ
ロッピーディスクやメモリカード、ＭＯ、ＣＤ−ＲＯＭ
などに記録して配布することが可能である。

【００４４】

【発明の効果】本発明によれば、移動しながら表示され
る字幕文字の移動量の算出を正確かつ高速に行うことが
できるようになるため、移動しながら表示される字幕文
字を一まとまりの文字列として検出することが可能にな
る。

【００４５】また、本発明によれば、移動しながら表示
される字幕文字であっても、複数のフレームに表示され
ている字幕文字同士を精度良く重ね合わせることができ
るため、ノイズや掠れの少ない品質の高い字幕文字画像
を抽出することができるようになる。

【００４６】これにより、映像情報に様々な情報を付与
し再編集する映像編集システムや、映像情報の管理、検
索を行う映像データベースシステムや映像情報提供シス
テム、およびテレビ、ビデオテープレコーダ、ＤＶＤ等
の映像入力・記録・表示装置において、映像中の字幕文
字情報の有効活用が可能になり、映像情報の利用の利便
性を高めることができる。

【図面の簡単な説明】

【図１】本発明（１）に対応する手法の処理の実施形態
例を示すフロー図である。

【図２】本発明（２）に対応する手法の処理の実施形態
例を示すフロー図である。

【図３】本発明（３）に対応する手法の処理の実施形態
例を示すフロー図である。

【図４】本発明（４）に対応する手法の処理の実施形態
例を示すフロー図である。

【図５】本発明（５）に対応する装置の実施形態例を示
す構成図である。

【図６】本発明（６）に対応する装置の実施形態例を示
す構成図である。

【図７】本発明（７）に対応する装置の実施形態例を示
す構成図である。

【図８】本発明（８）に対応する装置の実施形態例を示
す構成図である。

【図９】（ａ），（ｂ），（ｃ），（ｄ）は、上記実施
形態例におけるエッジペア特徴点の例を示す図である。

【図１０】上記実施形態例における参照テーブル登録処
理の概要を示す図である。

【図１１】上記実施形態例における字幕文字の移動量の
算出方法の概要を示す図である。

【図１２】上記実施形態例における重畳領域および局所
補正用のブロック領域の例を示す図である。

【符号の説明】

１…フレーム画像獲得部 ２…特徴点検出部 ３…字幕文字検知部 ４…字幕文字移動量算出部 ５…局所的位置ずれ算出部 ６…局所的位置ずれ補正部 ７…全体制御部（Ａ） ８…参照テーブル作成部 ９…特徴点差文値計算部 １０…差分値頻度分布のピーク検出部 １１…制御部（ａ） １２…制御部（ｂ） １３…文字出現位置推定部 １４…全体制御部（Ｂ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 映像中に挿入される字幕文字を検出する
   字幕文字検出方法であって、 映像から一定時間間隔毎にフレーム画像を獲得する手順
   と、 前記獲得した各フレーム画像から文字部分に特徴的に現
   れる特徴点を検出する手順と、 前記検出した特徴点の空間分布から字幕文字の出現を検
   知する手順と、 前記字幕文字の出現が検知されたフレーム画像とそのフ
   レーム画像に引き続いて獲得されたフレーム画像におけ
   る特徴点同士を照合することにより字幕全体の移動量を
   算出する手順と、 前記字幕全体の移動量を用いて当該フレーム画像間で共
   通して表示される字幕文字が空間的に重なるように一方
   の画像の座標値を変換した上で、各々の画像において検
   出された特徴点を局所的に照合することにより字幕を構
   成する各文字部分の局所的なずれの値を算出する手順
   と、 前記局所的なずれが検出された画像の部分に対し適当な
   幾何変換を施して前記局所的なずれを補正することによ
   り当該フレーム画像間で共通して表示される字幕文字同
   士を正確に対応させる手順と、 を有することを特徴とする映像中字幕文字検出方法。
2. 【請求項２】 前記字幕文字全体の移動量の算出する手
   順は、 字幕文字の出現が検知されたフレーム画像上の横方向ま
   たは縦方向の全てのラインに対し、横方向のラインに対
   しては縦方向のライン座標値、縦方向のラインに対して
   は横方向のライン座標値をインデクスとし当該ライン上
   の全ての特徴点の位置情報を登録した参照テーブルを作
   成する手順と、 引き続いて獲得されたフレーム画像の各ライン上の全て
   の特徴点の位置と、前記参照テーブルで同じライン座標
   値に登録されている全ての特徴点との位置の差分値を計
   算する手順と、 全てのラインについて算出された全ての差分値の横方向
   または縦方向についての頻度分布を計算し、最も頻度の
   高い差分値を字幕文字全体の横方向または縦方向の移動
   量とする手順と、 を有することを特徴とする請求項１記載の映像中字幕文
   字検出方法。
3. 【請求項３】 前記字幕文字部分の局所的なずれの値の
   算出する手順は、 請求項２の字幕文字全体の移動量を算出する手順を有
   し、該字幕文字全体の移動量の算出する手順を画像内の
   小ブロック毎に個別に適用することにより字幕文字の局
   所的なずれの値を算出する、 ことを特徴とする請求項１または２記載の映像中字幕文
   字検出方法。
4. 【請求項４】 前記字幕文字全体の移動量の算出する手
   順の前に、文字が出現している可能性の高い画像部分を
   推定を構成する手順を加え、 文字が出現している可能性の高い画像部分を推定した
   後、前記字幕文字全体の移動量の算出する手順、および
   前記字幕を構成する各文字部分の局所的なずれの値の算
   出する手順を文字が出現している可能性の高い画像部分
   に対してのみ適用する、 ことを特徴とする請求項１，２，３のいずれかに記載の
   映像中字幕文字検出方法。
5. 【請求項５】 映像データからフレーム画像を獲得する
   第１の手段と、 前記獲得したフレーム画像から文字部分に特徴的に現れ
   る特徴点を検出する第２の手段と、 前記検出した特徴点の空間的な分布から字幕文字の出現
   を検知する第３の手段と、 連続する二つのフレーム画像間で前記特徴点を照合する
   ことにより字幕文字全体の移動量を算出する第４の手段
   と、 前記連続する二つのフレーム画像において算出された字
   幕文字全体の移動量を用いて検出された特徴点を局所的
   に照合することにより字幕を構成する各文字部分の局所
   的なずれの値を算出する第５の手段と、 前記二つのフレーム画像のうち一方のフレーム画像の一
   部分に対して幾何変換を施すことにより前記局所的なず
   れを補正する第６の手段と、 これらの第１〜６の手段を制御する第７の手段と、 を備えることを特徴とする映像中字幕文字検出装置。
6. 【請求項６】 前記第４の手段を、 特徴点の位置を画像上の各横ラインまたは縦ライン毎に
   記録した参照テーブルを作成する第８の手段と、 ある画像における横または縦のライン上の全ての特徴点
   の位置と前記参照テーブルに登録されている全ての特徴
   点との位置の差分値をライン毎に計算する第９の手段
   と、 全てのラインについて算出された全ての前記差分値の横
   方向または縦方向についての頻度分布を計算し最も頻度
   の高い差分値を検出する第１０の手段と、 前記第８、第９、第１０の手段を画像全体に対して適用
   するための制御を行う第１１の手段とを用いて実現す
   る、 ことを特徴とする請求項５記載の映像中字幕文字検出装
   置。
7. 【請求項７】 前記第５の手段を、 請求項６記載の第８、第９、第１０の手段を備えるとと
   もに、 これらの第８、第９、第１０の手段を画像中の部分領域
   に対して適用するための制御を行う第１２の手段を備
   え、 前記第８、第９、第１０の手段を、画像中の部分領域に
   対して適用することにより実現する、 ことを特徴とする請求項５または６記載の映像中字幕文
   字検出装置。
8. 【請求項８】 文字が出現している可能性の高い画像部
   分を検出する第１３の手段を新たに備え、 前記第７の手段に代わり、前記検出した、文字が出現し
   ている可能性の高い画像部分に対してのみ前記第４およ
   び第５の手段を適用するように全体制御を行う第１４の
   手段を備える、 ことを特徴とする請求項５，６，７のいずれかに記載の
   映像中字幕文字検出装置。
9. 【請求項９】 請求項１，２，３，４のいずれかに記載
   の映像中字幕検出方法における手順を、コンピュータで
   実行するプログラムとして該コンピュータが読み取り可
   能な記録媒体に記録した、 ことを特徴とする映像中字幕検出方法を記録した記録媒
   体。