JP3435334B2 - 映像中文字領域抽出装置および方法および記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばテレビ放送
の映像等のカラー動画像を構成する複数のフレームにお
いて、テロップ文字等の文字が表示されているフレーム
画像の中から文字部分を画素連結領域として抽出する文
字領域抽出技術に関するものである。

【０００２】

【従来の技術】カラー動画像を構成する複数のフレーム
の中の文字が表示されているフレーム画像、あるいは文
字が表示されている静止カラー画像に関して、少ない計
算量で安定的に文字部分を画素連結領域として抽出する
文字領域抽出技術に関しては、従来から多くの研究が行
われている。それらの中で、参考文献１「Ｈ．Ｋｕｗａ
ｎｏ，Ｓ．Ｋｕｒａｋａｋｅ，Ｋ．Ｏｄａｋａ，”Ｔｅ
ｌｏｐ Ｃｈａｒａｃｔｅｒ Ｅｘｔｒａｃｔｉｏｎ
ｆｒｏｍ Ｖｉｄｅｏ Ｄａｔａ”，Ｐｒｏｃ． ｏｆ
ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓ
ｈｏｐ ｏｎ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ Ａｎａ
ｌｙｓｉｓ， ｐｐ．８２−８８（１９９７−０６）」
で提案されている文字領域抽出法がある。

【０００３】この方法は、文字が表示されている入力カ
ラー画像に対して、画像の中の輝度、彩度、色相の順で
１次元色空間の分割を行うことで、輝度、彩度、色相が
類似し、画像空間内で隣接する画素連結領域の形成を行
い、次に形成した領域のうち、文字領域特徴を満たさな
い領域を除去するという方法をとっている。

【０００４】従来手法において、輝度空間の分割処理
は、画像中の局所的な矩形領域内での輝度空間に対し、
該矩形領域内で求めた閾値を用いて分割するため、画像
内の局所的な輝度変動がある場合でも良好な文字領域抽
出結果が得られるという特徴がある。

【０００５】

【発明が解決しようとする課題】しかしながら、前記の
従来手法においては、入力される文字表示カラー画像が
テレビ放送などで使用されているＮＴＳＣ信号形式の映
像中の画像の場合、色劣化した文字の色劣化部が途切れ
た文字領域が抽出されてしまう問題点がある。

【０００６】通常、ＮＴＳＣ信号形式の動画像には、画
像内の各走査線に沿って各画素の色が滲み、画像内の文
字については背景との左右の境界部で背景部の色が文字
内部に滲んで、本来の色が劣化してしまうという特徴が
ある。色劣化は、文字内の横成分に関しては左右の端の
み起こり、中心部は影響を受けず、縦成分に関しては文
字幅が狭いために全体が劣化して輝度が低下し、文字内
の横成分と縦成分の輝度コントラストが高くなる場合が
ある（図１２、図１３参照）。このため、前記の従来手
法において、ＮＴＳＣ信号形式の動画像中の色が劣化し
た文字の横成分と縦成分の接続部を含むような矩形領域
内で閾値を決定すると色劣化した縦成分が背景としてみ
なされてしまい、結果として文字領域が途切れて抽出さ
れてしまう（図１４参照）。

【０００７】図１２は、ＮＴＳＣ形式の映像中に表示さ
れる文字内に生じる色劣化の一例を示した図である。黒
い背景が白い「音響エコーキャンセラ、Ａｃｏｕｓｔｉ
ｃ Ｅｃｈｏ Ｃａｎｃｅｌｌｅｒ」という文字の内部
に滲み、文字内の縦成分が灰色に劣化している。

【０００８】図１３は、文字内色劣化の模式図であり、
黒い背景中の白い文字「ｔ」というテロップ文字の内部
に黒い背景色が滲み、文字内部の色が部分的に灰色に変
色する色劣化の模式図である。文字内の横成分に関して
は左右の端のみ色劣化を起こし、中心部は影響を受けな
い（図１３中領域Ａ）。縦成分に関しては文字幅が狭い
ために全体が劣化して輝度が低下し（図１３中領域
Ｂ）、文字内の横成分と縦成分の輝度コントラストが大
きくなる。このような場合、従来の二値化法［参考文献
１］によると、領域Ｂが背景とみなされる場合があっ
た。

【０００９】図１４は、従来手法［参考文献１］で図１
２のカラー画像から文字領域を抽出した結果であり、各
文字の色劣化部が途切れた結果となる。

【００１０】また、通常、画像中に表示されるテロップ
文字等の文字は、周囲の部分との色のコントラストが非
常に高いという特徴を持つ。前記の従来手法では、画素
連結領域の形成を色空間の分割処理のみで行い、画像空
間内の色分布の特徴を考慮していないため、周囲の部分
との色のコントラストが低い連結画素領域も抽出してし
まい、文字以外の領域を多数抽出してしまうという問題
点もある。

【００１１】そこで本発明は、画像中から文字領域を抽
出する際に、高輝度文字内の色劣化部を抽出でき、周囲
とのコントラストが低い領域の抽出を抑制できる画像中
文字領域抽出装置および方法を提供することを課題とす
る。

【００１２】前記の課題を解決するために、本発明によ
る映像中文字領域抽出装置は、カラー動画像中の複数の
フレーム画像の中から予め決められた方法を用いて文字
が表示されているフレーム画像と、該フレーム画像より
も後の時刻のフレーム画像のうち該フレーム画像中の文
字と同一の文字が表示されているカラー画像を複数枚入
力して記憶する第１の手段と、第１の手段により入力さ
れた複数の画像間で位置の対応する画素同士の輝度、彩
度、色相それぞれの平均値を各画素の値として持つ平均
値カラー画像を作成する第２の手段と、第２の手段によ
り得られた平均値カラー画像に対して、輝度値が類似
し、画像空間内で隣接する複数の画素同士を連結領域と
して形成する第３の手段と、第３の手段により得られた
輝度値が類似する連結領域画像に対し、各領域内で彩度
値が類似し、画像空間内で隣接する複数の画素同士を連
結領域として形成する第４の手段と、第４の手段により
得られた輝度値、彩度値共に類似する連結領域画像に対
し、各領域内で色相値が類似し、画素空間内で隣接する
複数の画素を連結領域として形成する第５の手段と、第
５の手段により得られた輝度値、彩度値、色相値共に類
似する画像中の連結領域に対し、文字領域特徴を満たさ
ない連結領域を除去する第６の手段と、第６の手段によ
り得られた連結領域画像を文字領域抽出結果として蓄積
する第７の手段と、第１〜第７の手段の実行順序を制御
する第８の手段と、を有する映像中文字領域抽出装置に
おいて、第３の手段を、画像中の各水平ライン内の輝度
分布中で輝度の極大値をとる画素付近で局所的に輝度値
が高い範囲を全て抽出し、抽出された高輝度範囲とその
他の範囲とで水平ラインの第一の二値化を行い、また、
各水平ライン内の輝度分布中で輝度の極小値をとる画素
付近で局所的に輝度値が低い範囲を全て抽出し、抽出さ
れた低輝度範囲とその他の範囲とで水平ラインの第二の
二値化を行い、各水平ライン毎の第一の二値化結果を統
合することにより仮の高輝度文字領域を抽出し、各水平
ライン毎の第二の二値化結果を統合することにより仮の
低輝度文字領域を抽出する第９の手段と、第９の手段に
より得られた仮の高輝度文字領域画像中の各領域毎に、
通し番号をラベルとして付与し、また、第９の手段によ
り得られた仮の低輝度文字領域画像中の各領域毎に通し
番号をラベルとして付与するラベリング処理を行う第１
０の手段と、第１０の手段によ り得られたラベル画像中
の同一ラベルが付与された個々の仮の高輝度文字領域内
で、及び個々の仮の低輝度文字領域内で垂直方向の輝度
分布を二値化することで仮の高輝度文字領域中の高輝度
文字領域画素、及び個々の仮の低輝度文字領域中の低輝
度文字領域画素を確定する第１１の手段と、第９〜第１
１の手段の実行順序を制御する第１２の手段と、を用い
て実現することを特徴とする。

【００１３】

【００１４】また、前記の第９の手段を、画像中のある
水平ライン内の輝度分布において、輝度の極大値を持つ
画素を全て求め、求めた各極大値画素を開始点とし、該
水平ライン上を一画素ずつ左右に走査し、開始点の極大
値画素の左右両側でそれぞれ開始点の輝度値よりも予め
設定した閾値だけ輝度値が低い最初の画素を検出し、検
出された左右２つの画素と該水平ライン上でそれら２つ
の画素の間に存在する複数の画素を連結画素領域として
抽出する第１３の手段と、画像中のある水平ライン上
で、第１３の手段により得られた連結画素領域の左右の
両端における水平方向の輝度勾配の絶対値が左右の両端
とも予め設定した値よりも大きい連結画素領域だけを抽
出し、得られた各水平ライン上の連結画素領域が画像全
体で統合されるものを仮の高輝度文字領域とする第１４
の手段と、画像中のある水平ライン内の輝度分布におい
て、輝度の極小値を持つ画素を全て求め、求めた各極小
値画素を開始点とし、該水平ライン上を一画素ずつ左右
に走査し、開始点の極小値画素の左右両側でそれぞれ開
始点の輝度値よりも予め設定した閾値だけ輝度値が高い
最初の画素を検出し、検出された左右２つの画素と該水
平ライン上でそれら２つの画素の間に存在する複数の画
素を連結画素領域として抽出する第１５の手段と、画像
中のある水平ライン上で、第１５の手段により得られた
連結画素領域の左右の両端における水平方向の輝度勾配
の絶対値が左右の両端とも予め設定した値よりも大きい
連結画素領域だけを抽出し、得られた各水平ライン上の
連結画素領域が画像全体で統合されるものを仮の低輝度
文字領域とする第１６の手段と、第１３〜第１６の手段
の実行順序を制御する第１７の手段と、を用いて実現す
ることを特徴とする。

【００１５】また、前記の第１１の手段を、画像中の同
一ラベル領域内の各水平ライン毎に該領域の左右の両端
の部分から予め設定した画素幅だけ該領域の内側の画素
を除いた範囲で輝度値の平均値を算出する第１８の手段
と、画像中の同一ラベル領域内で、第１８の手段で求め
た各水平ライン毎の輝度平均値の垂直方向の分布におい
て、輝度平均値の極大値を持つ水平ラインを全て求め、
求めた各極大値水平ラインを開始ラインとし、該水平ラ
インを一ラインずつ上下に参照し、開始ラインの上下両
側でそれぞれ開始ラインの平均輝度値よりも予め設定し
た閾値だけ輝度値が低い最初の水平ラインを検出し、検
出された上下２つの水平ライン上の画素と該２つの水平
ラインの間に存在する画素を統合し、連結する複数の水
平ライン上の領域を抽出する第１９の手段と、画像中の
同一ラベル領域内で、第１９の手段で求めた連結する複
数の水平ライン毎の領域の上下の両端部における第１８
の手段で求めた水平ライン毎の輝度平均値の垂直方向の
勾配値が上下の両端とも予め設定した値よりも大きい場
合、該連結水平ライン領域の画素を高輝度文字領域画素
として確定する第２０の手段と、画像中の同一ラベル領
域内で、第１８の手段で求めた各水平ライン毎の輝度平
均値の垂直方向の分布において、輝度平均値の極小値を
持つ水平ラインを全て求め、求めた各極小値水平ライン
を開始ラインとし、該水平ラインを一ラインずつ上下に
参照し、開始ラインの上下両側でそれぞれ開始ラインの
平均輝度値よりも予め設定した閾値だけ輝度値が高い最
初の水平ラインを検出し、検出された上下２つの水平ラ
イン上の画素と該２つの水平ラインの間に存在する画素
を統合し、連結する複数の水平ライン上の領域を抽出す
る第２１の手段と、画像中の同一ラベル領域内で、第２
１の手段で求めた連結する複数の水平ライン上の領域の
上下の両端部における第１８の手段で求めた水平ライン
毎の輝度平均値の垂直方向の勾配値が上下の両端とも予
め設定した値よりも大きい場合、該連結水平ライン領域
の画素を低輝度文字領域画素として確定する第２２の手
段と、第１８〜第２２の手段の実行順序を制御する第２
３の手段と、を用いて実現することを特徴とする。

【００１６】同じく、前記の課題を解決するために、本
発明による画像中文字領域抽出方法は、カラー動画像中
の複数のフレーム画像の中から予め決められた方法を用
いて文字が表示されているフレーム画像と、該フレーム
画像よりも後の時刻のフレーム画像のうち該フレーム画
像中の文字と同一の文字が表示されているカラー画像を
複数枚入力して記憶する第１の手順と、第１の手順によ
り入力された複数の画像間で位置の対応する画素同士の
輝度、彩度、色相それぞれの平均値を各画素の値として
持つ平均値カラー画像を作成する第２の手順と、第２の
手順により得られた平均値カラー画像に対して、輝度値
が類似し、画像空間内で隣接する複数の画素同士を連結
領域として形成する第３の手順と、第３の手順により得
られた輝度値が類似する連結領域画像に対し、各領域内
で彩度値が類似し、画像空間内で隣接する複数の画素同
士を連結領域として形成する第４の手順と、第４の手順
により得られた輝度値、彩度値共に類似する連結領域画
像に対し、各領域内で色相値が類似し、画素空間内で隣
接する複数の画素を連結領域として形成する第５の手順
と、第５の手順により得られた輝度値、彩度値、色相値
共に類似する画像中の連結領域に対し、文字領域特徴を
満たさない連結領域を除去する第６の手順と、第６の手
順により得られた連結領域画像を文字領域抽出結果とし
て蓄積する第７の手順と、を有する映像中文字領域抽出
方法において、第３の手順を、画像中の各水平ライン内
の輝度分布中で輝度の極大値をとる画素付近で局所的に
輝度値が高い範囲を全て抽出し、抽出された高輝度範囲
とその他の範囲とで水平ラインの第一の二値化を行い、
また、各水平ライン内の輝度分布中で輝度の極小値をと
る画素付近で局所的に輝度値が低い範囲を全て抽出し、
抽出された低輝度範囲とその他の範囲とで水平ラインの
第二の二値化を行い、各水平ライン毎の第一の二値化結
果を統合することにより仮の高輝度文字領域を抽出し、
各水平ライン毎の第二の二値化結果を統合することによ
り仮の低輝度文字領域を抽出する第９の手順と、第９の
手順により得られた仮の高輝度文字領域画像中の各領域
毎に、通し番号をラベルとして付与し、また、第９の手
段により得られた仮の低輝度文字領域画像中の各領域毎
に通し番号をラベルとして付与するラベリング処理を行
う第１０の手順と、第１０の手順により得られたラベル
画像中の同一ラベルが付与さ れた個々の仮の高輝度文字
領域内で、及び個々の仮の低輝度文字領域内で垂直方向
の輝度分布を二値化することで仮の高輝度文字領域中の
高輝度文字領域画素、及び個々の仮の低輝度文字領域中
の低輝度文字領域画素を確定する第１１の手順と、で実
行することを特徴とする。

【００１７】

【００１８】また、前記の第９の手順を、画像中のある
水平ライン内の輝度分布において、輝度の極大値を持つ
画素を全て求め、求めた各極大値画素を開始点とし、該
水平ライン上を一画素ずつ左右に走査し、開始点の極大
値画素の左右両側でそれぞれ開始点の輝度値よりも予め
設定した閾値だけ輝度値が低い最初の画素を検出し、検
出された左右２つの画素と該水平ライン上でそれら２つ
の画素の間に存在する複数の画素を連結画素領域として
抽出する第１３の手順と、画像中のある水平ライン上
で、第１３の手順により得られた連結画素領域の左右の
両端における水平方向の輝度勾配の絶対値が左右の両端
とも予め設定した値よりも大きい連結画素領域だけを抽
出し、得られた各水平ライン上の連結画素領域が画像全
体で統合されるものを仮の高輝度文字領域とする第１４
の手順と、画像中のある水平ライン内の輝度分布におい
て、輝度の極小値を持つ画素を全て求め、求めた各極小
値画素を開始点とし、該水平ライン上を一画素ずつ左右
に走査し、開始点の極小値画素の左右両側でそれぞれ開
始点の輝度値よりも予め設定した閾値だけ輝度値が高い
最初の画素を検出し、検出された左右２つの画素と該水
平ライン上でそれら２つの画素の間に存在する複数の画
素を連結画素領域として抽出する第１５の手順と、画像
中のある水平ライン上で、第１５の手順により得られた
連結画素領域の左右の両端における水平方向の輝度勾配
の絶対値が左右の両端とも予め設定した値よりも大きい
連結画素領域だけを抽出し、得られた各水平ライン上の
連結画素領域が画像全体で統合されるものを仮の低輝度
文字領域とする第１６の手順と、で実行することを特徴
とする。

【００１９】また、前記の第１１の手順を、画像中の同
一ラベル領域内の各水平ライン毎に該領域の左右の両端
の部分から予め設定した画素幅だけ該領域の内側の画素
を除いた範囲で輝度値の平均値を算出する第１８の手順
と、画像中の同一ラベル領域内で、第１８の手順で求め
た各水平ライン毎の輝度平均値の垂直方向の分布におい
て、輝度平均値の極大値を持つ水平ラインを全て求め、
求めた各極大値水平ラインを開始ラインとし、該水平ラ
インを一ラインずつ上下に参照し、開始ラインの上下両
側でそれぞれ開始ラインの平均輝度値よりも予め設定し
た閾値だけ輝度値が低い最初の水平ラインを検出し、検
出された上下２つの水平ライン上の画素と該２つの水平
ラインの間に存在する画素を統合し、連結する複数の水
平ライン上の領域を抽出する第１９の手順と、画像中の
同一ラベル領域内で、第１９の手順で求めた連結する複
数の水平ライン毎の領域の上下の両端部における第１８
の手順で求めた水平ライン毎の輝度平均値の垂直方向の
勾配値が上下の両端とも予め設定した値よりも大きい場
合、該連結水平ライン領域の画素を高輝度文字領域画素
として確定する第２０の手順と、画像中の同一ラベル領
域内で、第１８の手順で求めた各水平ライン毎の輝度平
均値の垂直方向の分布において、輝度平均値の極小値を
持つ水平ラインを全て求め、求めた各極小値水平ライン
を開始ラインとし、該水平ラインを一ラインずつ上下に
参照し、開始ラインの上下両側でそれぞれ開始ラインの
平均輝度値よりも予め設定した閾値だけ輝度値が高い最
初の水平ラインを検出し、検出された上下２つの水平ラ
イン上の画素と該２つの水平ラインの間に存在する画素
を統合し、連結する複数の水平ライン上の領域を抽出す
る第２１の手順と、画像中の同一ラベル領域内で、第２
１の手順で求めた連結する複数の水平ライン上の領域の
上下の両端部における第１８の手順で求めた水平ライン
毎の輝度平均値の垂直方向の勾配値が上下の両端とも予
め設定した値よりも大きい場合、該連結水平ライン領域
の画素を低輝度文字領域画素として確定する第２２の手
順と、で実行することを特徴とする。

【００２０】また、前記の映像中文字領域抽出方法にお
ける手順を、コンピュータに実行させるプログラムとし
て該コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする。

【００２１】前記のとおり、ＮＴＳＣ形式の映像中のカ
ラー画像は、水平ライン方向に色の滲みが生じ、テロッ
プなどの文字部に関しても色劣化が生じる。ただし、色
劣化した場合でも一つの水平ライン上の輝度分布だけを
調べると、文字内の輝度の変化は小さく、文字と背景の
間のコントラストは高い場合が多いという性質をもつ。
図１０は色劣化文字中のある走査線上の輝度分布の一例
を示した図であり、文字内で色劣化が生じてもある水平
ライン上の輝度分布には、文字内の高コントラスト部は
含まず、色劣化部も周囲の背景部とは十分に輝度の差が
存在するという特徴を持つことを示す。そこで、本発明
では、画像中の水平ライン単位で局所的に輝度値が高い
連結画素、あるいは局所的に輝度値が低い連結画素を文
字領域とすることにより、従来手法では困難であった高
輝度文字内の色劣化部を抽出することを可能とする。更
に、領域境界部での輝度勾配の勾配の絶対値が大きい場
合のみ文字領域として確定することにより、従来手法の
問題点であった周囲とのコントラストが低い領域の抽出
を抑制することを可能とする。図１１に、本発明により
図１２の画像から文字領域抽出を行った結果を、図１４
の従来技術による抽出結果と対比させて示す。

【００２２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。

【００２３】図１は、本発明の一実施形態例による装置
の構成とともに処理の流れを示すブロック図である。

【００２４】図１において、１はカラー動画像入力記憶
手段であり、処理対象の文字が表示されているカラー画
像データを、指定した複数枚入力してメモリに記憶す
る。

【００２５】２は複数フレーム平均化部であり、カラー
動画像入力記憶手段１により入力された複数の画像間で
位置の対応する画素同士のＲＧＢ各成分の平均値を各画
素の値として持つ平均値カラー画像を作成する。

【００２６】３は輝度値類似領域形成部であり、複数フ
レーム平均化部２により得られた平均値カラー画像中で
輝度値が類似し、画像空間内で隣接する複数の画素同士
を連結領域として形成する。

【００２７】４は彩度値類似領域形成部であり、輝度値
類似領域形成部３により得られた輝度値が類似する連結
領域画像中の各領域内で彩度値が類似し、画像空間内で
隣接する複数の画素同士を連結領域として形成する。

【００２８】５は色相値類似領域形成部であり、彩度値
類似領域形成部４により得られた輝度値、彩度値共に類
似する連結領域画像に対し、各領域内で色相値が類似
し、画素空間内で隣接する複数の画素を連結領域として
形成する。

【００２９】６は背景領域除去部であり、色相値類似領
域形成部５により得られた輝度値、彩度値、色相値共に
類似する画像中の連結領域に対し、文字領域特徴を満た
さない連結領域を除去する。

【００３０】７は文字領域画像蓄積部であり、背景領域
除去部６により得られた文字領域抽出結果画像を蓄積す
る。

【００３１】８は処理制御部であり、上記１〜７の各部
の実行を制御する。

【００３２】図２は、図１中の輝度値類似領域形成部３
の構成の一例とともに処理の流れの一例を示すブロック
図である。

【００３３】図２において、９は水平ライン単位二値化
部であり、画像中の各水平ライン内で輝度の二値化を行
い、各水平ライン毎の二値結果を統合することにより仮
の文字領域を抽出する。

【００３４】１０は二値化結果ラベリング部であり、水
平ライン単位二値化部９により得られた仮の文字領域画
像中の各領域毎に、通し番号をラベルとして付与するラ
ベリング処理を行う。

【００３５】１１は輝度類似文字領域確定部であり、二
値化結果ラベリング部１０により得られたラベル画像中
の同一ラベルが付与された仮の文字領域内で垂直方向の
輝度分布を二値化することで仮の文字領域中の文字領域
画素を確定する。

【００３６】１２は処理制御部であり、上記９〜１１の
各部の実行を制御する。また、２，３，４はそれぞれ図
１中の同番号の部分と同一である。

【００３７】図３は、図２中の水平ライン単位二値化部
９の構成の一例とともに処理の流れの一例を示すブロッ
ク図である。

【００３８】図３において、１３は水平ライン上輝度極
大値領域検出部であり、画像中のある水平ライン内の輝
度分布を調べ、該水平ライン内で局所的に輝度値が予め
設定した値だけ高い連結画素領域を抽出する。

【００３９】１４は仮高輝度文字領域抽出部であり、画
像中のある水平ライン上で、水平ライン上輝度極大値領
域検出部１３により得られた連結画素領域の左右の両端
における水平方向の輝度勾配の絶対値が左右の両端とも
予め設定した値よりも大きい場合、該連結画素領域を仮
の高輝度文字領域とする。

【００４０】１５は水平ライン上輝度極小値領域検出部
であり、画像中のある水平ライン内の輝度分布を調べ、
該水平ライン内で局所的に輝度値が予め設定した値だけ
低い連結画素領域を抽出する。

【００４１】１６は仮低輝度文字領域抽出部であり、画
像中のある水平ライン上で、水平ライン上輝度極小値領
域検出部１５により得られた連結画素領域の左右の両端
における水平方向の輝度勾配の絶対値が左右の両端とも
予め設定した値よりも大きい場合、該連結画素領域を仮
の低輝度文字領域とする。

【００４２】１７は処理制御部であり、１３〜１６の処
理部における実行を制御する。

【００４３】図４は、図２中の輝度類似文字領域確定部
１１の構成の一例とともに処理の流れの一例を示すブロ
ック図である。

【００４４】図４において、１８は水平ライン輝度平均
値算出部であり、画像中の同一ラベル領域内の各水平ラ
イン毎に該領域の左右の両端の部分から予め設定した画
素幅だけ内側の画素を除いた範囲で輝度値の平均値を算
出する。

【００４５】１９は垂直方向輝度極大水平ライン領域検
出部であり、水平ライン輝度平均値算出部１８で求めた
各水平ライン上の輝度平均値の垂直方向の分布を調べ、
該領域内で局所的に輝度値が予め設定した値だけ高い連
結する複数の水平ライン上の領域を抽出する。

【００４６】２０は高輝度文字領域確定部であり、垂直
方向輝度極大水平ライン領域検出部１９で求めた同一ラ
ベル領域内の連結する複数の水平ライン上の領域の上下
の両端部における水平ライン輝度平均算出部１８で求め
た水平ライン毎の輝度平均値の垂直方向の勾配値が上下
の両端とも予め設定した値よりも大きい場合、該連結水
平ライン領域を高輝度文字領域として確定する。

【００４７】２１は垂直方向輝度極小水平ライン領域検
出部であり、水平ライン輝度平均値算出部１８で求めた
各水平ライン上の輝度平均値の垂直方向の分布を調べ、
該領域内で局所的に輝度値が予め設定した値だけ低い連
結する複数の水平ライン上の領域を抽出する。

【００４８】２２は低輝度文字領域確定部であり、垂直
方向輝度極小水平ライン領域検出部１９で求めた同一ラ
ベル領域内の連結する複数の水平ライン上の領域の上下
の両端部における水平ライン輝度平均算出部１８で求め
た水平ライン毎の輝度平均値の垂直方向の勾配値が上下
の両端とも予め設定した値よりも大きい場合、該連結水
平ライン領域を低輝度文字領域として確定する。

【００４９】２３は処理制御部であり、１８〜２２の各
部における実行を制御する。

【００５０】図５は、図２中の水平ライン単位輝度二値
化部９の処理の実施形態を説明するためのフローチャー
トである。

【００５１】図５において、ステップ（３０）は輝度値
画像をメモリに読み込む過程である。

【００５２】ステップ（３１）は、ステップ（３０）で
メモリに読み込まれた輝度画像を水平ライン単位に分割
する過程である。

【００５３】ステップ（３２）は、輝度類似文字領域確
定処理の未処理の水平ラインが存在するかどうかを判断
する過程であり、未処理の水平ラインが存在すれば、ス
テップ（３３）へ移り、未処理の水平ラインが存在しな
ければ、処理を終了する。

【００５４】ステップ（３３）は、ステップ（３１）で
得られた画像中の各水平ライン上毎に輝度分布を調べ、
極大値を持つ画素を全て求める過程である。

【００５５】ステップ（３４）は、ステップ（３１）で
得られた画像中の各水平ライン上毎に輝度分布を調べ、
極小値を持つ画素を全て求める過程である。

【００５６】ステップ（３５）は、ステップ（３３）で
得られた極大値画素のうち、仮の高輝度文字領域抽出処
理の未処理の極大値画素が存在するかどうかを判断する
過程であり、未処理の極大値画素が存在すれば、ステッ
プ（３６）へ移り、未処理の極大値画素が存在しなけれ
ば、ステップ（３９）へ移る。

【００５７】ステップ（３６）は、ステップ（３３）で
得られた極大値画素を開始点とし、左方向、及び右方向
に水平ライン上を一画素づつ走査し、極大値画素よりも
左側、右側でそれぞれ極大値より予め設定した閾値だけ
輝度値が低い最初の画素を検出し、検出された２つの画
素と該水平ライン上でそれら２つの画素の間に存在する
画素を連結画素領域として抽出する過程である。

【００５８】ステップ（３７）は、ステップ（３６）で
得られた水平ライン上の連結画素領域の左右の両端部に
おける水平方向の輝度勾配の絶対値が、左右両方とも予
め設定した閾値よりも大きいかどうか判断する過程であ
り、大きいと判断された場合、ステップ（３８）へ移
り、大きくないと判断された場合、ステップ（３５）へ
移る。

【００５９】ステップ（３８）は、ステップ（３６）で
得られた水平ライン上の連結画素領域を仮の高輝度文字
領域として抽出する過程であり、処理後はステップ（３
５）へ移る。

【００６０】図６は、ステップ（３６）、ステップ（３
７）、ステップ（３８）を説明するための図であり、あ
る水平ライン上の極大輝度値画素１〜４について、仮の
高輝度文字領域が抽出されるかどうかを示す。極大輝度
値画素１，３は、左右の画素との輝度差、輝度勾配とも
条件を満たすため仮の高輝度文字領域として抽出される
が、極大輝度値画素２，４は条件をみたさないため、抽
出されない。

【００６１】ステップ（３９）は、ステップ（３４）で
得られた極小値画素のうち、仮の低輝度文字領域抽出処
理の未処理の極小値画素が存在するかどうかを判断する
過程であり、未処理の極小値画素が存在すれば、ステッ
プ（４０）へ移り、未処理の極小値画素が存在しなけれ
ば、ステップ（３２）へ移る。

【００６２】ステップ（４０）は、ステップ（３４）で
得られた極小値画素を開始点とし、左方向、及び右方向
に水平ライン上を一画素づつ走査し、極小値画素よりも
左側、右側でそれぞれ極小値より予め設定した閾値だけ
輝度値が高い最初の画素を検出し、検出された２つの画
素と該水平ライン上でそれら２つの画素の間に存在する
画素を連結画素領域として抽出する過程である。

【００６３】ステップ（４１）は、ステップ（４０）で
得られた水平ライン上の連結画素領域の左右の両端部に
おける水平方向の輝度勾配の絶対値が、左右両方とも予
め設定した閾値よりも大きいかどうか判断する過程であ
り、大きいと判断された場合、ステップ（４２）へ移
り、大きくないと判断された場合、ステップ（３９）へ
移る。

【００６４】ステップ（４２）は、ステップ（４０）で
得られた水平ライン上の連結画素領域を仮の低輝度文字
領域として抽出する過程であり、処理後はステップ（３
９）へ移る。

【００６５】図７は、図２中の輝度類似文字領域確定部
１１の処理の実施形態を説明するためのフローチャート
である。

【００６６】図７において、ステップ（５１）は、輝度
値画像、及び仮高輝度文字領域画像をメモリに読み込む
過程である。

【００６７】ステップ（５２）は、高輝度文字領域確定
処理の未処理の仮高輝度領域が存在するかどうか判断す
る過程であり、未処理の仮高輝度領域が存在すれば、ス
テップ（５３）へ移り、未処理の仮高輝度領域が存在し
なければ、ステップ（５９）へ移る。

【００６８】ステップ（５３）は、仮高輝度文字領域画
像中の同一ラベル領域内の各水平ライン毎に該領域の左
右の両端の部分から予め設定した画素幅だけ内側の画素
を除いた範囲で輝度値の平均値を算出する過程である。

【００６９】ステップ（５４）は、画像中の同一ラベル
領域内でステップ（５３）で求めた各水平ライン毎の輝
度値の平均値を垂直方向に調べ、極大値となる輝度平均
値を持つ水平ラインを全て検出する過程である。

【００７０】ステップ（５５）は、高輝度文字領域確定
処理の未処理の極大輝度水平ラインが存在するかどうか
判断する過程であり、未処理の極大輝度水平ラインが存
在すれば、ステップ（５６）に移り、未処理の極大輝度
水平ラインが存在しなければ、ステップ（５２）に移
る。

【００７１】ステップ（５６）は、ステップ（５４）で
得られた極大輝度水平ラインを開始ラインとし、上方
向、及び下方向に同一ラベル領域内を一水平ラインずつ
参照し、開始ラインよりも上側、下側でそれぞれ開始ラ
インの輝度平均値より予め設定した閾値だけ低い輝度平
均値を持つ最初の水平ラインを検出し、検出された２つ
の水平ライン上の画素と該同一ラベル領域内でそれら２
つの水平ラインの間に存在する水平ライン上の画素を統
合し、連結画素領域として抽出する過程である。このと
き、２つの水平ラインが検出される前に同一ラベル領域
の上端部、あるいは下端部の水平ラインに到達した場合
は、該水平ラインを連結画素領域の上端、あるいは下端
として検出する。

【００７２】ステップ（５７）は、ステップ（５６）で
抽出した連結画素領域の上下の両端部において、垂直方
向の輝度勾配値の絶対値が予め設定した閾値より大きい
かどうか判断する過程であり、大きいと判断された場
合、ステップ（５８）に移り、大きくないと判断された
場合、ステップ（５５）に移る。

【００７３】ステップ（５８）は、ステップ（５７）で
求めた上下の両端部における垂直方向の輝度勾配の絶対
値が、上下とも予め設定した閾値よりも大きい場合、該
連結画素領域を高輝度文字領域として確定する過程であ
る。

【００７４】図８、図９は、ステップ（５３），（５
６），（５７），（５８）を説明する図であり、図８で
は、黒い背景中に白い「雪」という文字が左右の両端部
で色劣化が生じ、表示されている例を用いる。水平ライ
ン毎に両端部の画素を除いた範囲で輝度の平均値を求め
ると、色劣化部を除いた値が得られることを示す。図９
では、「電」という文字の上にノイズ領域が統合されて
いる例を用いる。各水平ライン毎の輝度平均値を垂直方
向の分布から極大値を検出し、上部、下部に一定値だけ
輝度値が下がる水平ラインを検出すると「電」という文
字とノイズ領域が分離できる。

【００７５】ステップ（５９）は、仮低輝度文字領域画
像をメモリに読み込む過程である。

【００７６】ステップ（６０）は、低輝度文字領域確定
処理の未処理の仮低輝度領域が存在するかどうか判断す
る過程であり、未処理の仮低輝度領域が存在すれば、ス
テップ（６１）へ移り、未処理の仮高輝度領域が存在し
なければ輝度類似文字領域確定部の処理を終了する。

【００７７】ステップ（６１）は、仮低輝度文字領域画
像中の同一ラベル領域内の各水平ライン毎に該領域の左
右の両端の部分から予め設定した画素幅だけ内側の画素
を除いた範囲で輝度値の平均値を算出する過程である。

【００７８】ステップ（６２）は、画像中の同一ラベル
領域内でステップ（６１）で求めた各水平ライン毎の輝
度値の平均値を垂直方向に調べ、極小値となる輝度平均
値を持つ水平ラインを全て検出する過程である。

【００７９】ステップ（６３）は低輝度文字領域確定処
理の未処理の極小輝度水平ラインが存在するかどうか判
断する過程であり、未処理の極小輝度水平ラインが存在
すれば、ステップ（６４）に移り、未処理の極小輝度水
平ラインが存在しなければ、ステップ（６０）に移る。

【００８０】ステップ（６４）は、ステップ（６２）で
得られた極小輝度水平ラインを開始ラインとし、上方
向、及び下方向に同一ラベル領域内を一水平ラインずつ
参照し、開始ラインよりも上側、下側でそれぞれ開始ラ
インの輝度平均値より予め設定した閾値だけ高い輝度平
均値を持つ最初の水平ラインを検出し、検出された２つ
の水平ライン上の画素と該同一ラベル領域内でそれら２
つの水平ラインの間に存在する水平ライン上の画素を統
合し、連結画素領域として抽出する過程である。このと
き、２つの水平ラインが検出される前に同一ラベル領域
の上端部、あるいは下端部の水平ラインに到達した場合
は、該水平ラインを連結画素領域の上端、あるいは下端
として検出する。

【００８１】ステップ（６５）は、ステップ（６４）で
抽出した連結画素領域の上下の両端部において、垂直方
向の輝度勾配値の絶対値が予め設定した閾値より大きい
かどうか判断する過程であり、大きいと判断された場
合、ステップ（６６）に移り、大きくないと判断された
場合、ステップ（６３）に移る。

【００８２】ステップ（６６）は、ステップ（６５）で
求めた上下の両端部における垂直方向の輝度勾配の絶対
値が、上下とも予め設定した閾値よりも大きい場合、該
連結画素領域を低輝度文字領域として確定する過程であ
る。

【００８３】なお本発明は、記録媒体を読み取るための
読取装置と、文字認識対象のカラー画像や記録媒体から
読み取ったプログラム、抽出された文字領域画像等を格
納しそれを自由に読み出し可能なメモリ装置と、各種の
処理を行う際に必要なデータを保持するためのバッファ
やそれに準ずる装置と、その処理の過程で必要な情報を
表示したりカラー画像や文字認識結果等をモニタしたり
するためのディスプレイなどの出力装置と、必要な指示
を与えるためのキーボードやマウスなどの入力装置とを
備え、それらのメモリ装置、バッファ、出力装置及び入
力装置などを上記プログラムによって予め定められた手
順に基いて制御するコンピュータやそれに準ずる装置に
より、図１〜図９を用いて説明した本発明の実施形態例
の各部での処理の手順ないしアルゴリズムを適宜、実行
することが可能であり、その手順ないしアルゴリズムを
コンピュータ等に実行させるためのプログラムを上記読
取装置が読み取り可能な記録媒体、例えばフロッピーデ
ィスクやメモリカード、ＭＯ、ＣＤ、ＤＶＤなどに記録
して配布することが可能である。

【００８４】

【発明の効果】以上の説明のとおり、本発明によれば、
画像中の水平ライン単位で局所的に輝度値が高い、ある
いは低い連結画素を文字領域とすることで色劣化文字の
領域抽出が可能となる。また、このとき領域境界部の輝
度勾配の絶対値が高い領域を文字領域として抽出するた
め、周囲の部分と低コントラストの領域の過剰抽出を抑
制する効果も得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態例による映像中文字領域抽
出装置の構成とともに処理の流れを示すブロック図であ
る。

【図２】図１中の輝度値類似領域形成部３の構成の一例
とともに処理の流れの一例を示すブロック図である。

【図３】図２中の水平ライン単位二値化部９の構成の一
例とともに処理の流れの一例を示すブロック図である。

【図４】図２中の輝度類似文字領域確定部１１の構成の
一例とともに処理の流れの一例を示すブロック図であ
る。

【図５】図２中の水平ライン単位二値化部９の処理内容
の一例を示すフローチャートである。

【図６】図２中の水平ライン単位二値化部９の処理実施
の一例を説明するための捕捉図である。

【図７】図２中の輝度類似文字領域確定部１１の処理内
容の一例を示すフローチャートである。

【図８】図２中の輝度類似文字領域確定部１１の処理実
施の一例を説明するための捕捉図（その１）である。

【図９】図２中の輝度類似文字領域確定部１１の処理実
施の一例を説明するための捕捉図（その２）である。

【図１０】色劣化文字中の、ある水平ライン上の輝度分
布の一例を示す図である。

【図１１】本発明により図１２の色劣化画像中から文字
領域を抽出した結果を示す画像である。

【図１２】ＮＴＳＣ形式の映像中文字の色劣化の一例を
示す画像である。

【図１３】色劣化文字の模式図である。

【図１４】従来手法により図１２の色劣化画像中から文
字領域を抽出した結果を示す画像である。

【符号の説明】

１…カラー動画像入力記憶手段 ２…複数フレーム平均化部 ３…輝度値類似領域形成部 ４…彩度値類似領域形成部 ５…色相値類似領域形成部 ６…背景領域除去部 ７…文字領域画像蓄積部 ８…処理制御部 ９…水平ライン単位二値化部 １０…二値化結果ラベリング部 １１…輝度類似文字領域確定部 １２…処理制御部 １３…水平ライン上輝度極大値領域検出部 １４…仮高輝度文字領域抽出部 １５…水平ライン上輝度極小値領域検出部 １６…仮低輝度文字領域抽出部 １７…処理制御部 １８…水平ライン輝度平均値算出部 １９…垂直方向輝度極大水平ライン領域検出部 ２０…高輝度文字領域確定部 ２１…垂直方向輝度極小水平ライン領域検出部 ２２…低輝度文字領域確定部 ２３…処理制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿３丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平４−74283（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/74 G06T 7/40 100 H04N 5/91 H04N 9/00 H04N 9/79 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 カラー動画像中の複数のフレーム画像の
   中から予め決められた方法を用いて文字が表示されてい
   るフレーム画像と、該フレーム画像よりも後の時刻のフ
   レーム画像のうち該フレーム画像中の文字と同一の文字
   が表示されているカラー画像を複数枚入力して記憶する
   第１の手段と、 第１の手段により入力された複数の画像間で位置の対応
   する画素同士の輝度、彩度、色相それぞれの平均値を各
   画素の値として持つ平均値カラー画像を作成する第２の
   手段と、 第２の手段により得られた平均値カラー画像に対して、
   輝度値が類似し、画像空間内で隣接する複数の画素同士
   を連結領域として形成する第３の手段と、 第３の手段により得られた輝度値が類似する連結領域画
   像に対し、各領域内で彩度値が類似し、画像空間内で隣
   接する複数の画素同士を連結領域として形成する第４の
   手段と、 第４の手段により得られた輝度値、彩度値共に類似する
   連結領域画像に対し、各領域内で色相値が類似し、画素
   空間内で隣接する複数の画素を連結領域として形成する
   第５の手段と、 第５の手段により得られた輝度値、彩度値、色相値共に
   類似する画像中の連結領域に対し、文字領域特徴を満た
   さない連結領域を除去する第６の手段と、 第６の手段により得られた連結領域画像を文字領域抽出
   結果として蓄積する第７の手段と、 第１〜第７の手段の実行順序を制御する第８の手段と、
   を有する 映像中文字領域抽出装置において、 第 ３の手段を、 画像中の各水平ライン内の輝度分布中で輝度の極大値を
   とる画素付近で局所的に輝度値が高い範囲を全て抽出
   し、抽出された高輝度範囲とその他の範囲とで水平ライ
   ンの第一の二値化を行い、また、各水平ライン内の輝度
   分布中で輝度の極小値をとる画素付近で局所的に輝度値
   が低い範囲を全て抽出し、抽出された低輝度範囲とその
   他の範囲とで水平ラインの第二の二値化を行い、各水平
   ライン毎の第一の二値化結果を統合することにより仮の
   高輝度文字領域を抽出し、各水平ラ イン毎の第二の二値
   化結果を統合することにより仮の低輝度文字領域を抽出
   する第９の手段と、 第９の手段により得られた仮の高輝度文字領域画像中の
   各領域毎に、通し番号をラベルとして付与し、また、第
   ９の手段により得られた仮の低輝度文字領域画像中の各
   領域毎に通し番号をラベルとして付与するラベリング処
   理を行う第１０の手段と、 第１０の手段により得られたラベル画像中の同一ラベル
   が付与された個々の仮の高輝度文字領域内で、及び個々
   の仮の低輝度文字領域内で垂直方向の輝度分布を二値化
   することで仮の高輝度文字領域中の高輝度文字領域画
   素、及び個々の仮の低輝度文字領域中の低輝度文字領域
   画素を確定する第１１の手段と、 第９〜第１１の手段の実行順序を制御する第１２の手段
   と、 を用いて実現することを特徴とする映像中文字領域抽出
   装置。
2. 【請求項２】 請求項１記載の映像中文字領域抽出装置
   において、 第 ９の手段を、 画像中のある水平ライン内の輝度分布において、輝度の
   極大値を持つ画素を全て求め、求めた各極大値画素を開
   始点とし、該水平ライン上を一画素ずつ左右に走査し、
   開始点の極大値画素の左右両側でそれぞれ開始点の輝度
   値よりも予め設定した閾値だけ輝度値が低い最初の画素
   を検出し、検出された左右２つの画素と該水平ライン上
   でそれら２つの画素の間に存在する複数の画素を連結画
   素領域として抽出する第１３の手段と、 画像中のある水平ライン上で、第１３の手段により得ら
   れた連結画素領域の左右の両端における水平方向の輝度
   勾配の絶対値が左右の両端とも予め設定した値よりも大
   きい連結画素領域だけを抽出し、得られた各水平ライン
   上の連結画素領域が画像全体で統合されるものを仮の高
   輝度文字領域とする第１４の手段と、 画像中のある水平ライン内の輝度分布において、輝度の
   極小値を持つ画素を全て求め、求めた各極小値画素を開
   始点とし、該水平ライン上を一画素ずつ左右に走査し、
   開始点の極小値画素の左右両側でそれぞれ開始点の輝度
   値よりも予め設定した閾値だけ輝度値が高い最初の画素
   を検出し、検出された左右２つの画素と該水平ライン上
   でそれら２つの画素の間に存在する複数の画素を連結画
   素領域と して抽出する第１５の手段と、 画像中のある水平ライン上で、第１５の手段により得ら
   れた連結画素領域の左右の両端における水平方向の輝度
   勾配の絶対値が左右の両端とも予め設定した値よりも大
   きい連結画素領域だけを抽出し、得られた各水平ライン
   上の連結画素領域が画像全体で統合されるものを仮の低
   輝度文字領域とする第１６の手段と、 第１３〜第１６の手段の実行順序を制御する第１７の手
   段と、 を用いて実現することを特徴とする映像中文字領域抽出
   装置。
3. 【請求項３】 請求項１の映像中文字領域抽出装置にお
   いて、 第 １１の手段を、 画像中の同一ラベル領域内の各水平ライン毎に該領域の
   左右の両端の部分から予め設定した画素幅だけ該領域の
   内側の画素を除いた範囲で輝度値の平均値を算出する第
   １８の手段と、 画像中の同一ラベル領域内で、第１８の手段で求めた各
   水平ライン毎の輝度平均値の垂直方向の分布において、
   輝度平均値の極大値を持つ水平ラインを全て求め、求め
   た各極大値水平ラインを開始ラインとし、該水平ライン
   を一ラインずつ上下に参照し、開始ラインの上下両側で
   それぞれ開始ラインの平均輝度値よりも予め設定した閾
   値だけ輝度値が低い最初の水平ラインを検出し、検出さ
   れた上下２つの水平ライン上の画素と該２つの水平ライ
   ンの間に存在する画素を統合し、連結する複数の水平ラ
   イン上の領域を抽出する第１９の手段と、 画像中の同一ラベル領域内で、第１９の手段で求めた連
   結する複数の水平ライン毎の領域の上下の両端部におけ
   る第１８の手段で求めた水平ライン毎の輝度平均値の垂
   直方向の勾配値が上下の両端とも予め設定した値よりも
   大きい場合、該連結水平ライン領域の画素を高輝度文字
   領域画素として確定する第２０の手段と、 画像中の同一ラベル領域内で、第１８の手段で求めた各
   水平ライン毎の輝度平均値の垂直方向の分布において、
   輝度平均値の極小値を持つ水平ラインを全て求め、求め
   た各極小値水平ラインを開始ラインとし、該水平ライン
   を一ラインずつ上下に参照し、開始ラインの上下両側で
   それぞれ開始ラインの平均輝度値よりも予め設定した閾
   値だけ輝度値が高い最初の水平ラインを検出し、検出さ
   れた上下 ２つの水平ライン上の画素と該２つの水平ライ
   ンの間に存在する画素を統合し、連結する複数の水平ラ
   イン上の領域を抽出する第２１の手段と、 画像中の同一ラベル領域内で、第２１の手段で求めた連
   結する複数の水平ライン上の領域の上下の両端部におけ
   る第１８の手段で求めた水平ライン毎の輝度平均値の垂
   直方向の勾配値が上下の両端とも予め設定した値よりも
   大きい場合、該連結水平ライン領域の画素を低輝度文字
   領域画素として確定する第２２の手段と、 第１８〜第２２の手段の実行順序を制御する第２３の手
   段と、 を用いて実現することを特徴とする映像中文字領域抽出
   装置。
4. 【請求項４】 カラー動画像中の複数のフレーム画像の
   中から予め決められた方法を用いて文字が表示されてい
   るフレーム画像と、該フレーム画像よりも後の時刻のフ
   レーム画像のうち該フレーム画像中の文字と同一の文字
   が表示されているカラー画像を複数枚入力して記憶する
   第１の手順と、 第１の手順により入力された複数の画像間で位置の対応
   する画素同士の輝度、彩度、色相それぞれの平均値を各
   画素の値として持つ平均値カラー画像を作成する第２の
   手順と、 第２の手順により得られた平均値カラー画像に対して、
   輝度値が類似し、画像空間内で隣接する複数の画素同士
   を連結領域として形成する第３の手順と、 第３の手順により得られた輝度値が類似する連結領域画
   像に対し、各領域内で彩度値が類似し、画像空間内で隣
   接する複数の画素同士を連結領域として形成する第４の
   手順と、 第４の手順により得られた輝度値、彩度値共に類似する
   連結領域画像に対し、各領域内で色相値が類似し、画素
   空間内で隣接する複数の画素を連結領域として形成する
   第５の手順と、 第５の手順により得られた輝度値、彩度値、色相値共に
   類似する画像中の連結領域に対し、文字領域特徴を満た
   さない連結領域を除去する第６の手順と、 第６の手順により得られた連結領域画像を文字領域抽出
   結果として蓄積する第７の手順と、 を有する 映像中文字領域抽出方法において、 第 ３の手順を、 画像中の各水平ライン内の輝度分布中で輝度の極大値を
   とる画素付近で局所的に輝度値が高い範囲を全て抽出
   し、抽出された高輝度範囲とその他の範囲とで水平ライ
   ンの第一の二値化を行い、また、各水平ライン内の輝度
   分布中で輝度の極小値をとる画素付近で局所的に輝度値
   が低い範囲を全て抽出し、抽出された低輝度範囲とその
   他の範囲とで水平ラインの第二の二値化を行い、各水平
   ライン毎の第一の二値化結果を統合することにより仮の
   高輝度文字領域を抽出し、各水平ライン毎の第二の二値
   化結果を統合することにより仮の低輝度文字領域を抽出
   する第９の手順と、 第９の手順により得られた仮の高輝度文字領域画像中の
   各領域毎に、通し番号をラベルとして付与し、また、第
   ９の手段により得られた仮の低輝度文字領域画像中の各
   領域毎に通し番号をラベルとして付与するラベリング処
   理を行う第１０の手順と、 第１０の手順により得られたラベル画像中の同一ラベル
   が付与された個々の仮の高輝度文字領域内で、及び個々
   の仮の低輝度文字領域内で垂直方向の輝度分布を二値化
   することで仮の高輝度文字領域中の高輝度文字領域画
   素、及び個々の仮の低輝度文字領域中の低輝度文字領域
   画素を確定する第１１の手順と、 で実行することを特徴とする映像中文字領域抽出方法。
5. 【請求項５】 請求項４記載の映像中文字領域抽出方法
   において、 第 ９の手順を、 画像中のある水平ライン内の輝度分布において、輝度の
   極大値を持つ画素を全て求め、求めた各極大値画素を開
   始点とし、該水平ライン上を一画素ずつ左右に走査し、
   開始点の極大値画素の左右両側でそれぞれ開始点の輝度
   値よりも予め設定した閾値だけ輝度値が低い最初の画素
   を検出し、検出された左右２つの画素と該水平ライン上
   でそれら２つの画素の間に存在する複数の画素を連結画
   素領域として抽出する第１３の手順と、 画像中のある水平ライン上で、第１３の手順により得ら
   れた連結画素領域の左右の両端における水平方向の輝度
   勾配の絶対値が左右の両端とも予め設定した値よりも大
   きい連結画素領域だけを抽出し、得られた各水平ライン
   上の連結画素領 域が画像全体で統合されるものを仮の高
   輝度文字領域とする第１４の手順と、 画像中のある水平ライン内の輝度分布において、輝度の
   極小値を持つ画素を全て求め、求めた各極小値画素を開
   始点とし、該水平ライン上を一画素ずつ左右に走査し、
   開始点の極小値画素の左右両側でそれぞれ開始点の輝度
   値よりも予め設定した閾値だけ輝度値が高い最初の画素
   を検出し、検出された左右２つの画素と該水平ライン上
   でそれら２つの画素の間に存在する複数の画素を連結画
   素領域として抽出する第１５の手順と、 画像中のある水平ライン上で、第１５の手順により得ら
   れた連結画素領域の左右の両端における水平方向の輝度
   勾配の絶対値が左右の両端とも予め設定した値よりも大
   きい連結画素領域だけを抽出し、得られた各水平ライン
   上の連結画素領域が画像全体で統合されるものを仮の低
   輝度文字領域とする第１６の手順と、 で実行することを特徴とする映像中文字領域抽出方法。
6. 【請求項６】 請求項４記載の映像中文字領域抽出方法
   において、 第 １１の手順を、 画像中の同一ラベル領域内の各水平ライン毎に該領域の
   左右の両端の部分から予め設定した画素幅だけ該領域の
   内側の画素を除いた範囲で輝度値の平均値を算出する第
   １８の手順と、 画像中の同一ラベル領域内で、第１８の手順で求めた各
   水平ライン毎の輝度平均値の垂直方向の分布において、
   輝度平均値の極大値を持つ水平ラインを全て求め、求め
   た各極大値水平ラインを開始ラインとし、該水平ライン
   を一ラインずつ上下に参照し、開始ラインの上下両側で
   それぞれ開始ラインの平均輝度値よりも予め設定した閾
   値だけ輝度値が低い最初の水平ラインを検出し、検出さ
   れた上下２つの水平ライン上の画素と該２つの水平ライ
   ンの間に存在する画素を統合し、連結する複数の水平ラ
   イン上の領域を抽出する第１９の手順と、 画像中の同一ラベル領域内で、第１９の手順で求めた連
   結する複数の水平ライン毎の領域の上下の両端部におけ
   る第１８の手順で求めた水平ライン毎の輝度平均値の垂
   直方向の勾配値が上下の両端とも予め設定した値よりも
   大きい場合、該連結水平ライン領域の画素を高輝度文字
   領域画素として確定する第２０の手順と、 画像中の同一ラベル領域内で、第１８の手順で求めた各
   水平ライン毎の輝度平均値の垂直方向の分布において、
   輝度平均値の極小値を持つ水平ラインを全て求め、求め
   た各極小値水平ラインを開始ラインとし、該水平ライン
   を一ラインずつ上下に参照し、開始ラインの上下両側で
   それぞれ開始ラインの平均輝度値よりも予め設定した閾
   値だけ輝度値が高い最初の水平ラインを検出し、検出さ
   れた上下２つの水平ライン上の画素と該２つの水平ライ
   ンの間に存在する画素を統合し、連結する複数の水平ラ
   イン上の領域を抽出する第２１の手順と、 画像中の同一ラベル領域内で、第２１の手順で求めた連
   結する複数の水平ライン上の領域の上下の両端部におけ
   る第１８の手順で求めた水平ライン毎の輝度平均値の垂
   直方向の勾配値が上下の両端とも予め設定した値よりも
   大きい場合、該連結水平ライン領域の画素を低輝度文字
   領域画素として確定する第２２の手順と、 で実行することを特徴とする映像中文字領域抽出方法。
7. 【請求項７】 請求項４から請求項６までのいずれかに
   記載の映像中文字領域抽出方法における手順を、コンピ
   ュータに実行させるプログラムとして該コンピュータが
   読み取り可能な記録媒体に記録した、 ことを特徴とする記録媒体。