JP3655110B2 - 映像処理方法及び装置並びに映像処理手順を記録した記録媒体 - Google Patents
映像処理方法及び装置並びに映像処理手順を記録した記録媒体 Download PDFInfo
- Publication number
- JP3655110B2 JP3655110B2 JP35672098A JP35672098A JP3655110B2 JP 3655110 B2 JP3655110 B2 JP 3655110B2 JP 35672098 A JP35672098 A JP 35672098A JP 35672098 A JP35672098 A JP 35672098A JP 3655110 B2 JP3655110 B2 JP 3655110B2
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- image
- character
- video
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は映像処理方法及び装置並びに映像処理手順を記録した記録媒体に係り、特に映像中の文字情報の認識と検出を精度良く行なうようにした映像処理方法及び装置並びに映像処理手順を記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、映像処理技術の大幅な進歩により映像のデジタル化が図られている。このデジタル化技術によって、有限な資源である電波に多数の番組映像を圧縮して送信する技術が確立された。そのため、現在では、衛星放送を用いて数百を超える番組が配信されるようになってきた。それだけでなく、近い将来には地上波やＣＡＴＶもデジタル化され、より多くの映像が家庭に配信されるようになる。このような映像番組の数量的な増加は、視聴者に好みの番組の選択を困難にする事態を招きつつある。これを解決するために、映像に含まれる情報を検索キーとして視聴者の好みの番組を検索できるシステムの研究が進んでいる。
【０００３】
その一つに、映像の中に含まれている字幕スーパーやテロップといった文字情報を計算機で自動的に読み取り、その単語を検索のキーとする研究が活発に行われている。過去に放映されたいわゆるレガシーと呼ばれる既放送番組は、映像アーカイブとして何百にものぼって貯蔵されており、その映像から字幕スーパーやテロップを計算機により抽出して読み取ることができれば、容易に所望の映像を検索することができる。
【０００４】
このような映像中の文字情報は、背景と比較して輝度や彩度が相対的に高い値を有する文字がスーパーインポーズされており、文字の周辺は輝度や彩度を低くした領域により縁取られている。このような、テロップ文字特有の特徴を用いて映像からテロップ文字の位置を検出し、文字部と背景部を分離して文字部を例えばＯＣＲ（Optical Character Reader）と呼ばれる文字読み取りシステムに入力し、文字コードを得る研究が行なわれている。
【０００５】
しかしながら、ＯＣＲは紙類等に印刷された文字を読み取りの対象と考えているため、文字の背景に文字以外の物体の画像が少しでも入っているとその画像の雑音も文字の一部として認識して、誤った文字コードを出力してしまうという問題があった。したがって、映像に含まれる文字情報を背景画像から精度良く切り出す処理が重要となってきており、これまでの研究では文字情報を背景から分離するために文字情報の周辺に対して二値化処理を行ない、輝度または彩度の高い部分を１としその他を０に変換していた。このような二値化処理を行なうことにより例えばテロップ文字のような文字情報の部分を「１」という値を持つ画像として「０」の値を有する背景部分から取り出すことができる。
【０００６】
【発明が解決しようとする課題】
ところが、輝度や彩度が比較的高い値となるテロップ文字も均一の値を持っているわけでなく、二値化の閾値を高めに設定するとテロップ文字が十分抽出できず、また閾値を低めに設定するとテロップ文字がつぶれたり、背景が雑音として余分に抽出されたりし、テロップ認識に悪影響を及ぼすという問題があった。そのため、「大津の方法」（文献１：Otsu. "A threshold selection method from gray-scale histograms", IEEE Trans. Syst Man Cybern., SMC-9, 1, pp.62-66, 1986) と呼ばれる方法により二値化の閾値を自動的に決める方法を導入した研究もあるが、良好な結果が得られていない。「大津の方法」は、文字情報の部分と背景部分とがそれぞれ単色であるものと仮定しており、輝度の分布（ヒストグラム）を計算するときに、輝度の高い方と低い方に峰（モーダル）ができるグラフから最適な閾値を決定するアルゴリズムになっている。このアルゴリズムは、分布を２つのクラスに分けた時に２つのクラスの（級内分散／級間分散）が最小になるように閾値を決定している。
【０００７】
また、「大津の方法」に改良を加えた「塩の方法」（文献２：塩 昭夫、背景中文字の検出のための動的２値化処理法、信学論D.pp.863-873,May,1988)では、基本的には大津の方法を用いているが、自然画の中の看板文字であっても切り出せるように、陰影による影響を取り除くために、処理画像を矩形のブロックに分割して、個々のブロックにおいて大津の方法を用いて閾値を決定し、コントラストの高い領域のブロックの閾値のみを採択し、コントラストの低い近傍のブロックにその値を伝播していくことで、個々のブロックでの二値化の閾値を決定する。しかし、両者の方法は、基本的には文字部と背景が単色であることを仮定しており、映像の中にスーパーインポーズされるテロップ文字のように、背景が複雑な輝度を持つ場合は、この仮定が崩れ不適切に閾値が自動設定されるため、テロップ文字がかすれたり、背景の一部が文字として検出されるという問題があった。
【０００８】
本発明は上記問題を解決するため、映像中に文字情報が含まれる場合であってその文字の背景に識別の難しい背景等が存在する場合であっても、種々の輝度や色を有する背景から文字情報だけを精度良く切り出すことができ、ＯＣＲ等により高精度に読み取り可能な映像処理装置を提供することを目的としている。
【０００９】
上記目的を達成するため、本発明の第１の基本構成に係る映像処理方法は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理方法であって、前記映像中文字が含まれる可能性のある所定の領域を文字候補領域画像として切り出す切出しステップと、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定ステップと、前記分布決定ステップにより求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定ステップと、前記領域限定ステップにより限定された前記限定領域の情報から、前記分布決定領域により求められた前記分布における平均および分散を推定する推定ステップと、前記推定ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップと、前記第１の検出ステップにより検出された前記画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出ステップと、前記第２の検出ステップにより検出された画素の纏まりを前記映像中文字として出力する文字出力ステップと、を備えることを特徴としている。
本発明の第２の基本構成に係る映像処理方法は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理方法であって、前記映像中文字が含まれる可能性のある所定の領域を文字候補領域画像として、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定ステップと、前記分布決定ステップにより求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定ステップと、前記領域限定ステップにより限定された前記限定領域の情報から、前記分布決定ステップにより求められた前記分布における平均および分散を推定する推定ステップと、前記推定ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップと、前記第１の検出ステップにより検出された前記画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加する第２の検出ステップと、前記第２の検出ステップにより検出された画素の纏まりを前記映像中文字として出力する文字出力ステップと、を備えることを特徴としている。
【００１０】
また、本発明に係る映像処理方法は、上記第１および第２の基本構成に係る映像処理方法において、前記映像から取り出された複数枚のフレーム画像を用いて、圧縮された情報を含む１枚のフレーム画像における特定領域の画素、および、前記複数枚のフレーム画像の平均画像における特定領域の画素のいずれか一方を求めて処理用の画像とし、この処理用の画像を用いて前記第１および第２の検出ステップの処理を行なうことを特徴としている。
【００１１】
また、本発明に係る映像処理方法は、上記第１および第２の基本構成に係る映像処理方法において、前記限定領域の情報に対して平均と分散を推定する前記推定ステップにおける推定は、ロバスト推定を用いて行なわれることを特徴としている。
【００１２】
また、本発明に係る映像処理方法は、上記第１および第２の基本構成に係る映像処理方法において、前記分布決定ステップで文字領域画像より求められる前記色分布の色として、彩度を用いることを特徴としている。
さらに、本発明の第３の基本構成に係る映像処理装置は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理装置であって、前記映像中文字を含む所定の領域の部分画像を文字候補領域画像として切り出す画像切り出し手段と、切り出された部分画像から輝度分布および色分布の少なくとも一方を含む分布を算出して求める分布算出手段と、前記分布算出手段により求められた前記分布に基づいて前記映像中文字を構成しているものと推定される特徴を含む分布領域を限定する領域限定手段と、前記領域限定手段により限定された前記分布領域の情報から、前記分布の平均と分散とを推定する平均・分散推定手段と、前記平均・分散推定手段により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段と、前記第１の検出手段により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出手段と、検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段と、を備えることを特徴としている。
本発明の第４の基本構成に係る映像処理装置は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理装置であって、前記映像中文字を含む所定の領域の部分画像を文字候補領域画像として、この文字候補領域画像から輝度分布および色分布の少なくとも一方を含む分布を算出して求める分布算出手段と、前記分布算出手段により求められた前記分布に基づいて前記映像中文字を構成しているものと推定される特徴を含む分布領域を限定する領域限定手段と、前記領域限定手段により限定された前記分布領域の情報から、前記分布の平均と分散とを推定する平均・分散推定手段と、前記平均・分散推定手段により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段と、前記第１の検出手段により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加する第２の検出手段と、検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段とを備えることを特徴としている。
【００１３】
さらに、本発明第５の基本構成に係る映像処理手順を記録したコンピュータにより読み取り可能な記録媒体は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理手順を記録したコンピュータにより読み取り可能な記録媒体であって、前記映像中文字が含まれる所定の領域を文字領域画像として切り出す切出し手順と、この文字領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定手順と、前記分布決定手順により求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定手順と、前記領域限定手順により限定された前記限定領域の情報から、前記分布の平均および分散を推定する推定手順と、前記推定手順により推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手順と、前記第１の検出手順により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出手順と、前記第２の検出手順により検出された画素の纏まりを前記映像中文字として読み込ませる命令を読込手段へ出力する出力手順と、を含むことを特徴としている。
【００１４】
具体的には、本発明では、映像中のテロップ文字の背景は種々の輝度または色を含むことを想定し、テロップ文字領域を切り出すことを可能にした。まず、テロップ文字がスーパーインポーズされている領域を検出し、映像からテロップ文字との背景を含んだ矩形の領域を切り出す。その画像領域の輝度または彩度の分布ヒストグラムを求める。その求めた分布より、テロップ文字から取り出されたと推定される分布の領域を決定する。さらに、その分布領域より、テロップ文字からの輝度分布または彩度分布の平均ｍと分散σを推定する。ある閾値ｔを決めて関数ｆ（ｍ，ｔ，σ）（例えばｍ＋ｔσ）で決定する閾値よりも高い値の画素を、矩形領域の画像から検出し、次に検出された画素の近傍を検査し、ある閾値Ｔを決めて関数ｔ（ｍ，Ｔ，σ）（例えばｍ＋Ｔσ）で決定する閾値よりも高い値の画素を検出した画素に加え、この手順を繰り返す。
【００１５】
新しく検出される画素がなくなったら処理を終了し、検出された画素をテロップ文字の切り出し結果としてＯＣＲで読み取る。この方法により、背景が様々な輝度または色を持っていても安定にテロップ文字だけを切り出すことが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の好適な実施形態に係る映像処理方法および装置について、添付図面を参照しながら詳細に説明する。まず、本発明のもっとも基本的な概念としての第１実施形態に係る映像処理方法について、その概略を示すフローチャートである図１を用いてその処理ステップを説明する。
【００１７】
図１において、第１実施形態に係る映像処理方法は、映像中に存在する文字を認識し検出するため映像中文字が含まれる所定の範囲を文字候補領域画像として切り出すステップＳ１と、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を求めるステップＳ２と、求められた分布から映像中文字を構成すると推察される特徴を含む領域を限定領域として限定するステップＳ３と、前記限定領域の情報から、輝度および色分布のうちの少なくとも一方の平均および分散を推定するステップＳ４と、前記ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップＳ５と、第１の閾値よりも小さな値の第２の閾値より大きい値の画素を第１の検出ステップＳ５で検出された画素の近傍から検出する第２の検出ステップＳ６と、検出された画素の纏まりを前記映像中文字として出力するステップＳ７と、を備えている。前記第２の検出ステップＳ６は、検出された画素の近傍の画素を検査して前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行なうステップＳ６１と、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加するステップＳ６２と、新しく検出される画素がなくなるまで画素の判定と検出とを繰り返す判断ステップＳ６３と、を含んでいる。
【００１８】
上記のような基本的な構成により第１実施形態に係る映像処理方法は、処理対象としての映像の中に例えばテロップやスーパーインポーズ等の文字情報が含まれている場合に、背景の色彩や輝度等に捕らわれることなく文字のみを精度良く抽出することができ、この文字情報をＯＣＲ等の読み取り手段により読み取ってこれをインデックスとして用いることにより画像の整理や分類等を容易に行なうことが可能になるという特有の効果を奏する。
【００１９】
次に、本発明のより具体的な例としての第２実施形態に係る映像処理方法について、図２ないし図９を参照しながら詳細に説明する。図２は第２実施形態に係る映像処理方法の全体的な処理の流れを示し、図３は映像中文字としてのテロップ文字の位置を検出するステップを詳細に示し、図５は第２実施形態の主要構成要素としての画像からテロップ文字の切り出すステップを詳細に示したものである。
【００２０】
図２に示すように、本発明の第２実施形態に係る映像処理方法は大きく分類して４つの処理を含んでいる。まず、ステップ１０１で例えばＭＰＥＧ等により圧縮された動画像映像などの一連の映像を入力して、この映像の中から例えば動画像中の１フレーム分の画像のような処理対象となる画像を準備（ステップ１０２）する。次に、ステップ１０３で例えばテロップ文字等の映像中文字が含まれている領域を文字列の位置として検出する。ステップ１０４では、検出されたこの文字列の位置から矩形領域の画像を切り出して、テロップ文字等の映像中文字のみを背景から切り出している。最後に、切り出された文字情報をＯＣＲへ例えば信号出力等により送り、この情報を読み取って文字コードに変換する（ステップ１０６）。変換された文字コードは例えば画像をインデックス化して画像の整理や分類を行なう際に有効に利用することができる。
【００２１】
次に、図３を用いて、文字列の位置の抽出について説明する。映像の種類としては、どんなものを用いても良いが、アナログ映像の場合は、デジタル化する必要がある。この第２実施形態では、ＭＰＥＧ２で圧縮された映像を例に処理の説明をする。なお、ＭＰＥＧ２とは、動画像処理技術分野の標準化を進める専門家グループ（Moving Picture Experts Group）により標準化がなされた符号化方式の呼称であり、転送速度が１．５Ｍビット／秒程度で主としてＣＤ‐ＲＯＭ等の蓄積メディアを対象としている１に対して、転送速度が数Ｍ〜数十Ｍビット／秒程度でＭＰＥＧ１の上位バージョンとなると共に、次世代テレビジョン放送や広帯域ＩＳＤＮを利用した映像伝送等も適用対象としている。
【００２２】
図３において、まず、ステップ２０１で処理対象としての映像が入力され、ステップ２０２でこの映像がサンプリングされる。テロップ用の文字は、人が読むのに十分な大きさと十分な時間の長さで映像画面上に現れる。したがって、極端に小さな文字や大きな文字が含まれることはほとんどないばかりでなく、文字列が表示されている時間も最低でも２秒の長さを有している。処理対象画像中にテロップ文字が含まれているか否かを観察するためには、２秒に１回の割合でサンプリングした映像フレームを用いて映像処理を行なったとしても映像中のテロップを見落とすようなことはない。
【００２３】
一般に、ＭＰＥＧ２は数十フレーム毎にＧＯＰ（Group of pictures ）と呼ばれる単位に区切られており、先頭に１フレームというイントラフレームのみで圧縮したフレームを含み、それを参照画像として画像間（インター）で順次圧縮されている。一般にＧＯＰは１５フレーム（０．５秒）に設定することが多い。１フレームは取り出すのが容易で復号も早いため、１フレームのみをＭＰＥＧ２データから復号して処理の対象とするだけでテロップ処理には十分である（ステップ２０２）。今回、扱うテロップは２秒以上映像中で静止しているという条件を有するものであるため、４枚のＭＰＥＧ２の１フレームの平均画像を用いてテロップ文字の抽出処理を行う（ステップ２０３）。４枚の平均画像上では、テロップ部分はそのままで、その他の動きのある部分はモーションブラーが掛かってぼけてしまうので、文字領域を検出するために行うエッジ強調処理で扱いやすくなる。しかし、テロップの部分は静止しているので、文字は明瞭に表示される。ＭＰＥＧ２映像でない場合は、適当にサンプリングしたフレーム画像を数枚用いて平均画像を作成すれば良い。
【００２４】
ＭＰＥＧ２の映像から復元された画像は、４：２：０という形式となる。この形式は輝度情報Ｙ、赤色情報Ｃｒおよび青色情報Ｃｂより構成されている。４：２：０形式は、２５６階調の輝度情報のＹの画像の大きさに対して２５６階調の赤色情報Ｃｒおよび青色情報Ｃｂの画像の大きさは１／４と小さいため、縦横の解像度をそれぞれ１／２ずつ下げている。これは、人間の視覚分解能は色に対して低いという性質があるためであり、この性質を利用して縦横の解像度を下げて画像の容量を小さくしている。
【００２５】
この画像を用いて、文字列位置を抽出する方法について述べる。まず、テロップ文字候補領域を検出する。テロップの文字候補領域は以下の手順で求める。まず、輝度情報であるＹ画像を１／４（縦横それぞれ１／２）に縮小する。これは文字候補領域及び文字列候補領域の検出は縮小画像で十分であり、計算量を節約するためである。画像の処理量は、画像の大きさにほぼ比例している。赤色情報Ｃｒと青色情報Ｃｂの色の情報を利用して色相Ｈと彩度Ｓを求める。色の情報としては、ステップ２０４に示すように、今回は彩度Ｓを用いた。
【００２６】
テロップの文字候補領域を検出するために、文字が背景に比べて輝度が高いという特徴と文字と背景の境界に鋭いエッジが存在するという特徴を用いる。その特徴を表す画像としてＹ画像の二値画像と、Ｙ画像にＳｏｂｅｌ演算を施し、ステップ２０５のようにエッジ強調した画像からステップ２０６で二値化を行なって二値画像を得る。さらに、ステップ２０７でエッジ強調した画像の二値画像に対して膨張の処理を行いエッジ領域を広げる。一方、ステップ２０４で彩度の計算を行なった画像に対してステップ２０８で輝度の二値化を行ない、輝度（Ｙ）画像の二値画像を求める。
【００２７】
次に、ステップ２０７で求めたエッジの二値化画像の膨張処理を行なった画像とステップ２０８で得られたＹ画像の二値画像（２０８）とから、ステップ２０９で論理積をとった画像を生成する。このようにすると、テロップ文字のように、輝度が高く周辺にエッジの多い領域のみを検出することができる。彩度の高いテロップ文字に関しては、Ｙ画像の代わりに彩度画像を用いるようにしても良い。なお、Ｙ画像と彩度画像のいずれか一方に限定する必要はなく、両者を併用して文字の抽出を行なっても良い。
【００２８】
次に、ステップ２１０でラベリングを行なって孤立図形として文字領域の候補を抽出する。上述したように、本発明に係る映像処理方法においては文字を読み取ることができることを前提としていることから、極端に大きな文字や小さな文字は処理対象としての文字情報から除外して考えても差し支えないため、ステップ２１１において抽出した孤立図形の矩形領域の大きさから、明らかに文字でない孤立図形を文字候補領域から除外する。なお、このステップ２１１においては、孤立図形の大きさを基準として文字情報であるかないかを判断していたが大きさを基準として用いる代わりに、孤立図形の領域内における密集度を判断基準として用いて、文字情報の場合は領域内における密集度が高いことから文字と判断し、その領域がテロップと略同程度の大きさであっても画素の密度が低ければ文字ではなく背景の一部であるものと判断するようにしても良い。また、大きさと密度の両方を判断基準としても良い。
【００２９】
次に、検出された文字候補領域を用いて文字列を検出する。文字列候補領域の検出は、文字候補領域を近傍の画素同士を集めてグループ化することで行う。文字候補領域を囲む矩形間で最も近い辺同士の距離が短い方向にグループ化した。今回は横書きなので、水平方向の辺同士の距離が短くなって水平方向にグループ化されているが、縦書きの場合は垂直方向にグループ化すれば良い（ステップ２１２）。このようにして、グループ化された文字候補領域の集合全体を囲む矩形を文字列候補領域とする。次に、文字列かどうかの判定を行う。ステップ２１３において、文字候補と同じように大きさの情報を用いると共に、文字列領域の矩形領域の中に文字領域が占める割合が小さいものを文字列候補から除外する。このようにして、ステップ２１４によりテロップ文字領域が出力される。
【００３０】
上述した第２実施形態に係る映像処理方法の処理ステップにおける要旨に相当するステップに対応する画像が図４に示されている。図４は、図３の処理フローの方法によりテロップ文字の位置を検出した例であり、図３におけるステップ２０１の画像を、ステップ２０５ないしステップ２１３に対応させて例示したものである。ステップ２０１のテロップ文字含む原画像４０１に対し、エッジ強調すると共にエッジの二値化を行なった画像４０２、エッジを二値化したものを膨張処理した画像４０３、原画像４０１における輝度を二値化した画像４０４、画像４０３と４０４の論理積をとった画像４０５、文字領域のみが抽出された画像４０６のそれぞれの例が示されている。
【００３１】
論理積をとった画像４０５では、文字を中心とした孤立図形と、映像中で孤立図形として捉えられる領域が、４つの矩形領域として抽出されている。次に図３のステップ２１２のような文字候補図形の連結処理を行なうことにより、文字を中心とする孤立図形のみが文字列として連結されて文字領域のみが抽出された画像４０６となる。
【００３２】
次に、図５を用いてテロップ文字部を背景から切り出す方法について説明する。図５の処理ステップにおいて、ステップ３０１からステップ３０４までは文字領域の切り出しを行う処理の流れを示し、ステップ３０５からステップ３０９までは文字領域に対して二値化を行なう処理の流れを示している。まず、ステップ３０１では切り出したテロップ文字を含む矩形画像のエッジ強調を行なってから二値化することによりエッジ部を得ている。エッジ強調の方法としては、この第２実施形態では例えばＳｏｂｅｌ演算子を用いて行なうようにしているが、エッジ強調には種々の方法がありこれに限定されるものではない。次に、ステップ３０２において二値化されたエッジ画像を膨張させた画像を作成する。
【００３３】
次にステップ３０３において、膨張画像に該当する画素の輝度及び彩度分布を計算する。この画素はテロップ文字部と縁取り部の値の分布を計算したことになる。したがって、輝度および彩度のそれぞれの峰を有する分布となり、この２つの峰の分布を「大津の方法」により分離すると、ステップ３０４のように輝度および彩度の高い方がテロップ文字部からの分布として得られる。上記の処理を行なった例として図示説明は控えるが、エッジの強調と二値化を行なった画像に関しては図４の画像４０３および４０４に相当する画像が例として考えられる。なお、図６は輝度の分布を示した図である。この領域を限定された分布を用いて平均ｍと分散σを推定する。図７は、単純に平均と分散を推定した例である。この時、単純に限定領域のすべてのサンプルデータを用いて平均と分散を推定すると雑音の影響で正しい推定ができない場合がある。そのため、ロバスト推定という統計処理を用いて精度の良い平均ｍと分散σとを求める。ここでは、輝度についても彩度においても同じなので輝度についてのみ例を挙げて説明する。
【００３４】
ロバスト推定の一種であるＭ推定法を用いて、外乱にロバストな輝度分布の推定を行う。以下に最小二乗誤差の拡張であるＭ推定法について説明する。誤差分布が正規分布に従うとき、最小二乗誤差を最小にするようにパラメータを推定することが最大推定であることが知られている。しかし、現実の世界では観測値に、観測したい事実以外のサンプルが含まれ、それが外乱（アウトライヤー）となることが多い。最小二乗誤差はそのような外乱に敏感で、たとえ外乱が少数でも大きく誤った推定を行ってしまうため、外乱に強い推定方法としてロバスト推定が考案された。ロバスト推定であるＭ推定の詳細な解説は、文献３（中川徹、小柳巖夫、最小二乗法による実験データの解析）に紹介されているが、ここで、簡単にその方法について説明する。
【００３５】
まず、サンプルデータを用いて平均ｍと分散σを計算する。次に、各サンプルの値ｉの絶対誤差｜ｉ−ｍ｜を求める。これを残差と呼び、残差の大きい順にソートする。残差の中央値をとって、その値をｓとする。平均から離れた値ほど外乱である可能性が高いため、Ｍ推定法では、サンプルデータの値の残差が大きいほど、重みづけｗを小さくして掛け合わせた値で平均ｍと分散σを計算し直す。新しく求まったｍを用いて再度、この手順を繰り返すことにより、雑音の影響のない値を計算する。この繰返し計算は、約６回ほどで良いことが知られている。重み付けｗは、種々のものが考案されているが、ＢＩＷＥＩＧＨＴと呼ばれる式１によりｗを決定する。ｃは定数で５〜９の値をつける。また、式１のｓは残差である。
【００３６】
ｗ＝［１−（ｚ／ｃｓ）2 ］2 …式１
Ｍ推定法により求められた平均と分散が文字の輝度または彩度の値となる（３０５）。図８は、図６のデータに対して、ロバスト推定（Ｍ推定）で平均と分散を求めた例である。
【００３７】
再び図５に戻って、求められた文字部の輝度分布を用いて、比較的安定している輝度の高い画素を文字領域の一部と仮定し、その領域を種に文字領域を拡張させて文字を取り出す。したがって、ステップ３０６において推定された輝度の平均ｍと分散σから「ｍ＋ｔσ」よりも高い画像領域をまず抽出し、そして、その画素の８つの近傍を検査し輝度が「ｍ＋Ｔσ」よりも大きな値をとる場合は、文字の領域として併合していく（ステップ３０７）。新しく検出される画素がなくなったら処理を停止し（ステップ３０８）、検出された画素をテロップ文字とする（ステップ３０９）。ここで、Ｔはｔよりも小さな値とする。この処理は、以下の仮定に基づいている。文字列候補領域の中では文字領域以外の場所では「ｍ＋ｔσ」よりも高い輝度を有する領域はない。文字を構成する画素は、「ｍ＋Ｔσ」以上の輝度を有している。文字と背景の境界は「ｍ＋Ｔσ」よりも低い値の輝度で囲まれている。信頼性の高い文字領域を第１の検出ステップにより抽出し、その領域を第２の検出ステップで拡大していくことにより、テロップ領域全体を取得する。
【００３８】
図９には、「ｍ＋ｔσ」より高い輝度を有する領域を抽出した結果（９０１）と、この結果９０１から「ｍ＋Ｔσ」より高い輝度を持つ近傍の画素を併合した最終結果（９０２）と、が示されている。このように得られた画素の値を１にその他の領域を０とした二値画を作成し、ＯＣＲに読ませて文字コードを得る。背景に雑音のないテロップ文字のため、誤読のない処理結果が得られる。
【００３９】
次に、本発明の第３実施形態に係る映像処理装置について、図１０を参照しながら説明する。図１０において、第３実施形態に係る映像処理装置１０は、映像中に存在する文字を認識し検出するため映像中文字を含む一定の領域の部分画像を切り出す画像切り出し手段１１と、切り出された部分画像から輝度分布および色分布の少なくとも一方の分布を算出して求める分布算出手段１２と、分布算出手段１２により求められた分布に基づいて前記映像中文字を構成しているものと推察される特徴を含む分布領域を限定する領域限定手段１３と、前記領域限定手段１３により限定された前記分布領域の情報から、前記輝度分布および色分布の少なくとも一方平均と分散とを推定する平均・分散推定手段１４と、前記平均・分散推定手段１４により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段１５と、前記第１の検出手段１５により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行なって、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく検出される画素がなくなるまで画素の判定と検出とを繰り返す第２の検出手段１６と、検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段１７と、を備えている。
【００４０】
このような映像処理装置１０によれば、上述した第１及び第２実施形態に係る映像処理方法を各構成要素において適用することにより、上述した第１及び第２実施形態に係る映像処理方法と同様の効果を得ることができる。特に、このような第３実施形態に係る映像処理装置をデジタルテレビジョン受像機やＯＣＲを組み込んだビデオインデックスシステム等に適用することにより、より一層の効果をあげることができる。
【００４１】
次に、本発明の第４実施形態に係る映像処理手順を記録した記録媒体について、図１１および図１２を用いて説明する。図１１及び図１２は第４実施形態に係る記録媒体が用いられるコンピュータシステム２０を示している。両図において、コンピュータシステム２０は、内部メモリ２２を備えるコンピュータ本体２１と、キーボードやマウス等の入力装置２３と、陰極線管（ＣＲＴ―Cathode Ray Tube―）等の表示装置２４と、プリンタ等の出力装置２５と、を備え、コンピュータ本体２１には内蔵または外付の記録媒体駆動装置２６が設けられている。記録媒体駆動装置２６は、図１２に示すように、フロッピディスク（ＦＤ）ドライブ２７，ＣＤ‐ＲＯＭ（Compact Disk-Read Only Memory ）ドライブ２８，ハードディスク（ＨＤ）ドライブ２９等を含んでいる。図１１に示すように、第４実施形態に係る映像処理手順を記録した記録媒体３０は、具体的にはこのような各種の記録媒体駆動装置２６に用いられる例えばフロッピディスク３１やＣＤ‐ＲＯＭ３２である。なお、これらの記録媒体３０は一例であって、この他にもＭＯ（Magnet-Optical）ディスクやジップ等のような種々のものが適用可能である。
【００４２】
この第４実施形態に係る映像処理手順を記録した記録媒体３０に記録されている手順は、図１に示す第１実施形態の映像処理方法における各処理ステップに対応している。具体的には、映像中に存在する文字を認識し検出するため映像中文字が含まれる所定の範囲を文字領域画像として切り出す手順と、この文字領域画像における輝度分布および色分布のうち少なくとも一方を求める手順と、求められた分布から映像中文字を構成すると推察される特徴を含む領域を限定領域として限定する手順と、前記限定領域の情報から、輝度および色分布のうちの少なくとも一方の平均および分散を推定する手順と、前記手順により推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手順と、検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく検出される画素がなくなるまで画素の判定と検出とを繰り返す第２の検出手順と、検出された画素の纏まりを前記映像中文字として読み込ませる命令を読込手段へ出力する手順と、が記録されている。
【００４３】
この第４実施形態に係る記録媒体に処理手順を記録しておくことにより、記録媒体３０をコンピュータ本体２１に内蔵のまたはこれに外付けの記録媒体駆動装置２６のスロット等に挿入してデータをコンピュータシステム２０に読み込ませることにより本発明を確実かつ容易に実施することができる。
【００４４】
【発明の効果】
以上詳細に説明したように、本発明に係る映像処理方法によれば、映像にインポーズされたテロップ文字を背景が様々な輝度及び色をもっていても文字部だけを精度良く切り出すことができ、その結果ＯＣＲ等による判読を精度良く行なうことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る映像処理方法の処理ステップを示すフローチャートである。
【図２】本発明の第２実施形態に係る映像処理方法のテロップ抽出処理の概略を示すフローチャートである。
【図３】第２実施形態に係る映像処理方法におけるテロップ抽出処理の詳細を示すフローチャートである。
【図４】第２実施形態におけるテロップ位置の抽出例を図３の要部と対応させて示す概略説明図である。
【図５】第２実施形態におけるテロップ文字の背景からの切り出し処理を示すフローチャートである。
【図６】第２実施形態における輝度の分布を示す特性図である。
【図７】輝度の高い領域の分布の平均と分散を示す特性図である。
【図８】ロバスト推定で求めた平均と分散を示す特性図である。
【図９】テロップ文字領域の切り出し例を示す概略説明図である。
【図１０】本発明の第３実施形態に係る映像処理装置の構成を示すブロック図である。
【図１１】本発明の第４実施形態に係る映像処理手順を記録した記録媒体が用いられるコンピュータシステムを示す概略斜視図である。
【図１２】第４実施形態に係る映像処理手順を記録した記録媒体が用いられるコンピュータシステムを示すブロック図である。
【符号の説明】
Ｓ１ 画像切り出しステップ
Ｓ２ 分布算出ステップ
Ｓ３ 領域限定ステップ
Ｓ４ 平均・分散推定ステップ
Ｓ５ 第１の検出ステップ
Ｓ６ 第２の検出ステップ
Ｓ７ 映像中文字出力ステップ
１０ 画像処理装置
１１ 画像切り出し手段
１２ 分布算出手段
１３ 領域限定手段
１４ 平均・分散推定手段
１５ 第１の検出手段
１６ 第２の検出手段
１７ 出力手段
【発明の属する技術分野】
本発明は映像処理方法及び装置並びに映像処理手順を記録した記録媒体に係り、特に映像中の文字情報の認識と検出を精度良く行なうようにした映像処理方法及び装置並びに映像処理手順を記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、映像処理技術の大幅な進歩により映像のデジタル化が図られている。このデジタル化技術によって、有限な資源である電波に多数の番組映像を圧縮して送信する技術が確立された。そのため、現在では、衛星放送を用いて数百を超える番組が配信されるようになってきた。それだけでなく、近い将来には地上波やＣＡＴＶもデジタル化され、より多くの映像が家庭に配信されるようになる。このような映像番組の数量的な増加は、視聴者に好みの番組の選択を困難にする事態を招きつつある。これを解決するために、映像に含まれる情報を検索キーとして視聴者の好みの番組を検索できるシステムの研究が進んでいる。
【０００３】
その一つに、映像の中に含まれている字幕スーパーやテロップといった文字情報を計算機で自動的に読み取り、その単語を検索のキーとする研究が活発に行われている。過去に放映されたいわゆるレガシーと呼ばれる既放送番組は、映像アーカイブとして何百にものぼって貯蔵されており、その映像から字幕スーパーやテロップを計算機により抽出して読み取ることができれば、容易に所望の映像を検索することができる。
【０００４】
このような映像中の文字情報は、背景と比較して輝度や彩度が相対的に高い値を有する文字がスーパーインポーズされており、文字の周辺は輝度や彩度を低くした領域により縁取られている。このような、テロップ文字特有の特徴を用いて映像からテロップ文字の位置を検出し、文字部と背景部を分離して文字部を例えばＯＣＲ（Optical Character Reader）と呼ばれる文字読み取りシステムに入力し、文字コードを得る研究が行なわれている。
【０００５】
しかしながら、ＯＣＲは紙類等に印刷された文字を読み取りの対象と考えているため、文字の背景に文字以外の物体の画像が少しでも入っているとその画像の雑音も文字の一部として認識して、誤った文字コードを出力してしまうという問題があった。したがって、映像に含まれる文字情報を背景画像から精度良く切り出す処理が重要となってきており、これまでの研究では文字情報を背景から分離するために文字情報の周辺に対して二値化処理を行ない、輝度または彩度の高い部分を１としその他を０に変換していた。このような二値化処理を行なうことにより例えばテロップ文字のような文字情報の部分を「１」という値を持つ画像として「０」の値を有する背景部分から取り出すことができる。
【０００６】
【発明が解決しようとする課題】
ところが、輝度や彩度が比較的高い値となるテロップ文字も均一の値を持っているわけでなく、二値化の閾値を高めに設定するとテロップ文字が十分抽出できず、また閾値を低めに設定するとテロップ文字がつぶれたり、背景が雑音として余分に抽出されたりし、テロップ認識に悪影響を及ぼすという問題があった。そのため、「大津の方法」（文献１：Otsu. "A threshold selection method from gray-scale histograms", IEEE Trans. Syst Man Cybern., SMC-9, 1, pp.62-66, 1986) と呼ばれる方法により二値化の閾値を自動的に決める方法を導入した研究もあるが、良好な結果が得られていない。「大津の方法」は、文字情報の部分と背景部分とがそれぞれ単色であるものと仮定しており、輝度の分布（ヒストグラム）を計算するときに、輝度の高い方と低い方に峰（モーダル）ができるグラフから最適な閾値を決定するアルゴリズムになっている。このアルゴリズムは、分布を２つのクラスに分けた時に２つのクラスの（級内分散／級間分散）が最小になるように閾値を決定している。
【０００７】
また、「大津の方法」に改良を加えた「塩の方法」（文献２：塩 昭夫、背景中文字の検出のための動的２値化処理法、信学論D.pp.863-873,May,1988)では、基本的には大津の方法を用いているが、自然画の中の看板文字であっても切り出せるように、陰影による影響を取り除くために、処理画像を矩形のブロックに分割して、個々のブロックにおいて大津の方法を用いて閾値を決定し、コントラストの高い領域のブロックの閾値のみを採択し、コントラストの低い近傍のブロックにその値を伝播していくことで、個々のブロックでの二値化の閾値を決定する。しかし、両者の方法は、基本的には文字部と背景が単色であることを仮定しており、映像の中にスーパーインポーズされるテロップ文字のように、背景が複雑な輝度を持つ場合は、この仮定が崩れ不適切に閾値が自動設定されるため、テロップ文字がかすれたり、背景の一部が文字として検出されるという問題があった。
【０００８】
本発明は上記問題を解決するため、映像中に文字情報が含まれる場合であってその文字の背景に識別の難しい背景等が存在する場合であっても、種々の輝度や色を有する背景から文字情報だけを精度良く切り出すことができ、ＯＣＲ等により高精度に読み取り可能な映像処理装置を提供することを目的としている。
【０００９】
上記目的を達成するため、本発明の第１の基本構成に係る映像処理方法は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理方法であって、前記映像中文字が含まれる可能性のある所定の領域を文字候補領域画像として切り出す切出しステップと、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定ステップと、前記分布決定ステップにより求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定ステップと、前記領域限定ステップにより限定された前記限定領域の情報から、前記分布決定領域により求められた前記分布における平均および分散を推定する推定ステップと、前記推定ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップと、前記第１の検出ステップにより検出された前記画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出ステップと、前記第２の検出ステップにより検出された画素の纏まりを前記映像中文字として出力する文字出力ステップと、を備えることを特徴としている。
本発明の第２の基本構成に係る映像処理方法は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理方法であって、前記映像中文字が含まれる可能性のある所定の領域を文字候補領域画像として、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定ステップと、前記分布決定ステップにより求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定ステップと、前記領域限定ステップにより限定された前記限定領域の情報から、前記分布決定ステップにより求められた前記分布における平均および分散を推定する推定ステップと、前記推定ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップと、前記第１の検出ステップにより検出された前記画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加する第２の検出ステップと、前記第２の検出ステップにより検出された画素の纏まりを前記映像中文字として出力する文字出力ステップと、を備えることを特徴としている。
【００１０】
また、本発明に係る映像処理方法は、上記第１および第２の基本構成に係る映像処理方法において、前記映像から取り出された複数枚のフレーム画像を用いて、圧縮された情報を含む１枚のフレーム画像における特定領域の画素、および、前記複数枚のフレーム画像の平均画像における特定領域の画素のいずれか一方を求めて処理用の画像とし、この処理用の画像を用いて前記第１および第２の検出ステップの処理を行なうことを特徴としている。
【００１１】
また、本発明に係る映像処理方法は、上記第１および第２の基本構成に係る映像処理方法において、前記限定領域の情報に対して平均と分散を推定する前記推定ステップにおける推定は、ロバスト推定を用いて行なわれることを特徴としている。
【００１２】
また、本発明に係る映像処理方法は、上記第１および第２の基本構成に係る映像処理方法において、前記分布決定ステップで文字領域画像より求められる前記色分布の色として、彩度を用いることを特徴としている。
さらに、本発明の第３の基本構成に係る映像処理装置は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理装置であって、前記映像中文字を含む所定の領域の部分画像を文字候補領域画像として切り出す画像切り出し手段と、切り出された部分画像から輝度分布および色分布の少なくとも一方を含む分布を算出して求める分布算出手段と、前記分布算出手段により求められた前記分布に基づいて前記映像中文字を構成しているものと推定される特徴を含む分布領域を限定する領域限定手段と、前記領域限定手段により限定された前記分布領域の情報から、前記分布の平均と分散とを推定する平均・分散推定手段と、前記平均・分散推定手段により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段と、前記第１の検出手段により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出手段と、検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段と、を備えることを特徴としている。
本発明の第４の基本構成に係る映像処理装置は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理装置であって、前記映像中文字を含む所定の領域の部分画像を文字候補領域画像として、この文字候補領域画像から輝度分布および色分布の少なくとも一方を含む分布を算出して求める分布算出手段と、前記分布算出手段により求められた前記分布に基づいて前記映像中文字を構成しているものと推定される特徴を含む分布領域を限定する領域限定手段と、前記領域限定手段により限定された前記分布領域の情報から、前記分布の平均と分散とを推定する平均・分散推定手段と、前記平均・分散推定手段により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段と、前記第１の検出手段により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加する第２の検出手段と、検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段とを備えることを特徴としている。
【００１３】
さらに、本発明第５の基本構成に係る映像処理手順を記録したコンピュータにより読み取り可能な記録媒体は、映像の中に存在する文字である映像中文字を認識し検出するための映像処理手順を記録したコンピュータにより読み取り可能な記録媒体であって、前記映像中文字が含まれる所定の領域を文字領域画像として切り出す切出し手順と、この文字領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定手順と、前記分布決定手順により求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定手順と、前記領域限定手順により限定された前記限定領域の情報から、前記分布の平均および分散を推定する推定手順と、前記推定手順により推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手順と、前記第１の検出手順により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出手順と、前記第２の検出手順により検出された画素の纏まりを前記映像中文字として読み込ませる命令を読込手段へ出力する出力手順と、を含むことを特徴としている。
【００１４】
具体的には、本発明では、映像中のテロップ文字の背景は種々の輝度または色を含むことを想定し、テロップ文字領域を切り出すことを可能にした。まず、テロップ文字がスーパーインポーズされている領域を検出し、映像からテロップ文字との背景を含んだ矩形の領域を切り出す。その画像領域の輝度または彩度の分布ヒストグラムを求める。その求めた分布より、テロップ文字から取り出されたと推定される分布の領域を決定する。さらに、その分布領域より、テロップ文字からの輝度分布または彩度分布の平均ｍと分散σを推定する。ある閾値ｔを決めて関数ｆ（ｍ，ｔ，σ）（例えばｍ＋ｔσ）で決定する閾値よりも高い値の画素を、矩形領域の画像から検出し、次に検出された画素の近傍を検査し、ある閾値Ｔを決めて関数ｔ（ｍ，Ｔ，σ）（例えばｍ＋Ｔσ）で決定する閾値よりも高い値の画素を検出した画素に加え、この手順を繰り返す。
【００１５】
新しく検出される画素がなくなったら処理を終了し、検出された画素をテロップ文字の切り出し結果としてＯＣＲで読み取る。この方法により、背景が様々な輝度または色を持っていても安定にテロップ文字だけを切り出すことが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の好適な実施形態に係る映像処理方法および装置について、添付図面を参照しながら詳細に説明する。まず、本発明のもっとも基本的な概念としての第１実施形態に係る映像処理方法について、その概略を示すフローチャートである図１を用いてその処理ステップを説明する。
【００１７】
図１において、第１実施形態に係る映像処理方法は、映像中に存在する文字を認識し検出するため映像中文字が含まれる所定の範囲を文字候補領域画像として切り出すステップＳ１と、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を求めるステップＳ２と、求められた分布から映像中文字を構成すると推察される特徴を含む領域を限定領域として限定するステップＳ３と、前記限定領域の情報から、輝度および色分布のうちの少なくとも一方の平均および分散を推定するステップＳ４と、前記ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップＳ５と、第１の閾値よりも小さな値の第２の閾値より大きい値の画素を第１の検出ステップＳ５で検出された画素の近傍から検出する第２の検出ステップＳ６と、検出された画素の纏まりを前記映像中文字として出力するステップＳ７と、を備えている。前記第２の検出ステップＳ６は、検出された画素の近傍の画素を検査して前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行なうステップＳ６１と、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加するステップＳ６２と、新しく検出される画素がなくなるまで画素の判定と検出とを繰り返す判断ステップＳ６３と、を含んでいる。
【００１８】
上記のような基本的な構成により第１実施形態に係る映像処理方法は、処理対象としての映像の中に例えばテロップやスーパーインポーズ等の文字情報が含まれている場合に、背景の色彩や輝度等に捕らわれることなく文字のみを精度良く抽出することができ、この文字情報をＯＣＲ等の読み取り手段により読み取ってこれをインデックスとして用いることにより画像の整理や分類等を容易に行なうことが可能になるという特有の効果を奏する。
【００１９】
次に、本発明のより具体的な例としての第２実施形態に係る映像処理方法について、図２ないし図９を参照しながら詳細に説明する。図２は第２実施形態に係る映像処理方法の全体的な処理の流れを示し、図３は映像中文字としてのテロップ文字の位置を検出するステップを詳細に示し、図５は第２実施形態の主要構成要素としての画像からテロップ文字の切り出すステップを詳細に示したものである。
【００２０】
図２に示すように、本発明の第２実施形態に係る映像処理方法は大きく分類して４つの処理を含んでいる。まず、ステップ１０１で例えばＭＰＥＧ等により圧縮された動画像映像などの一連の映像を入力して、この映像の中から例えば動画像中の１フレーム分の画像のような処理対象となる画像を準備（ステップ１０２）する。次に、ステップ１０３で例えばテロップ文字等の映像中文字が含まれている領域を文字列の位置として検出する。ステップ１０４では、検出されたこの文字列の位置から矩形領域の画像を切り出して、テロップ文字等の映像中文字のみを背景から切り出している。最後に、切り出された文字情報をＯＣＲへ例えば信号出力等により送り、この情報を読み取って文字コードに変換する（ステップ１０６）。変換された文字コードは例えば画像をインデックス化して画像の整理や分類を行なう際に有効に利用することができる。
【００２１】
次に、図３を用いて、文字列の位置の抽出について説明する。映像の種類としては、どんなものを用いても良いが、アナログ映像の場合は、デジタル化する必要がある。この第２実施形態では、ＭＰＥＧ２で圧縮された映像を例に処理の説明をする。なお、ＭＰＥＧ２とは、動画像処理技術分野の標準化を進める専門家グループ（Moving Picture Experts Group）により標準化がなされた符号化方式の呼称であり、転送速度が１．５Ｍビット／秒程度で主としてＣＤ‐ＲＯＭ等の蓄積メディアを対象としている１に対して、転送速度が数Ｍ〜数十Ｍビット／秒程度でＭＰＥＧ１の上位バージョンとなると共に、次世代テレビジョン放送や広帯域ＩＳＤＮを利用した映像伝送等も適用対象としている。
【００２２】
図３において、まず、ステップ２０１で処理対象としての映像が入力され、ステップ２０２でこの映像がサンプリングされる。テロップ用の文字は、人が読むのに十分な大きさと十分な時間の長さで映像画面上に現れる。したがって、極端に小さな文字や大きな文字が含まれることはほとんどないばかりでなく、文字列が表示されている時間も最低でも２秒の長さを有している。処理対象画像中にテロップ文字が含まれているか否かを観察するためには、２秒に１回の割合でサンプリングした映像フレームを用いて映像処理を行なったとしても映像中のテロップを見落とすようなことはない。
【００２３】
一般に、ＭＰＥＧ２は数十フレーム毎にＧＯＰ（Group of pictures ）と呼ばれる単位に区切られており、先頭に１フレームというイントラフレームのみで圧縮したフレームを含み、それを参照画像として画像間（インター）で順次圧縮されている。一般にＧＯＰは１５フレーム（０．５秒）に設定することが多い。１フレームは取り出すのが容易で復号も早いため、１フレームのみをＭＰＥＧ２データから復号して処理の対象とするだけでテロップ処理には十分である（ステップ２０２）。今回、扱うテロップは２秒以上映像中で静止しているという条件を有するものであるため、４枚のＭＰＥＧ２の１フレームの平均画像を用いてテロップ文字の抽出処理を行う（ステップ２０３）。４枚の平均画像上では、テロップ部分はそのままで、その他の動きのある部分はモーションブラーが掛かってぼけてしまうので、文字領域を検出するために行うエッジ強調処理で扱いやすくなる。しかし、テロップの部分は静止しているので、文字は明瞭に表示される。ＭＰＥＧ２映像でない場合は、適当にサンプリングしたフレーム画像を数枚用いて平均画像を作成すれば良い。
【００２４】
ＭＰＥＧ２の映像から復元された画像は、４：２：０という形式となる。この形式は輝度情報Ｙ、赤色情報Ｃｒおよび青色情報Ｃｂより構成されている。４：２：０形式は、２５６階調の輝度情報のＹの画像の大きさに対して２５６階調の赤色情報Ｃｒおよび青色情報Ｃｂの画像の大きさは１／４と小さいため、縦横の解像度をそれぞれ１／２ずつ下げている。これは、人間の視覚分解能は色に対して低いという性質があるためであり、この性質を利用して縦横の解像度を下げて画像の容量を小さくしている。
【００２５】
この画像を用いて、文字列位置を抽出する方法について述べる。まず、テロップ文字候補領域を検出する。テロップの文字候補領域は以下の手順で求める。まず、輝度情報であるＹ画像を１／４（縦横それぞれ１／２）に縮小する。これは文字候補領域及び文字列候補領域の検出は縮小画像で十分であり、計算量を節約するためである。画像の処理量は、画像の大きさにほぼ比例している。赤色情報Ｃｒと青色情報Ｃｂの色の情報を利用して色相Ｈと彩度Ｓを求める。色の情報としては、ステップ２０４に示すように、今回は彩度Ｓを用いた。
【００２６】
テロップの文字候補領域を検出するために、文字が背景に比べて輝度が高いという特徴と文字と背景の境界に鋭いエッジが存在するという特徴を用いる。その特徴を表す画像としてＹ画像の二値画像と、Ｙ画像にＳｏｂｅｌ演算を施し、ステップ２０５のようにエッジ強調した画像からステップ２０６で二値化を行なって二値画像を得る。さらに、ステップ２０７でエッジ強調した画像の二値画像に対して膨張の処理を行いエッジ領域を広げる。一方、ステップ２０４で彩度の計算を行なった画像に対してステップ２０８で輝度の二値化を行ない、輝度（Ｙ）画像の二値画像を求める。
【００２７】
次に、ステップ２０７で求めたエッジの二値化画像の膨張処理を行なった画像とステップ２０８で得られたＹ画像の二値画像（２０８）とから、ステップ２０９で論理積をとった画像を生成する。このようにすると、テロップ文字のように、輝度が高く周辺にエッジの多い領域のみを検出することができる。彩度の高いテロップ文字に関しては、Ｙ画像の代わりに彩度画像を用いるようにしても良い。なお、Ｙ画像と彩度画像のいずれか一方に限定する必要はなく、両者を併用して文字の抽出を行なっても良い。
【００２８】
次に、ステップ２１０でラベリングを行なって孤立図形として文字領域の候補を抽出する。上述したように、本発明に係る映像処理方法においては文字を読み取ることができることを前提としていることから、極端に大きな文字や小さな文字は処理対象としての文字情報から除外して考えても差し支えないため、ステップ２１１において抽出した孤立図形の矩形領域の大きさから、明らかに文字でない孤立図形を文字候補領域から除外する。なお、このステップ２１１においては、孤立図形の大きさを基準として文字情報であるかないかを判断していたが大きさを基準として用いる代わりに、孤立図形の領域内における密集度を判断基準として用いて、文字情報の場合は領域内における密集度が高いことから文字と判断し、その領域がテロップと略同程度の大きさであっても画素の密度が低ければ文字ではなく背景の一部であるものと判断するようにしても良い。また、大きさと密度の両方を判断基準としても良い。
【００２９】
次に、検出された文字候補領域を用いて文字列を検出する。文字列候補領域の検出は、文字候補領域を近傍の画素同士を集めてグループ化することで行う。文字候補領域を囲む矩形間で最も近い辺同士の距離が短い方向にグループ化した。今回は横書きなので、水平方向の辺同士の距離が短くなって水平方向にグループ化されているが、縦書きの場合は垂直方向にグループ化すれば良い（ステップ２１２）。このようにして、グループ化された文字候補領域の集合全体を囲む矩形を文字列候補領域とする。次に、文字列かどうかの判定を行う。ステップ２１３において、文字候補と同じように大きさの情報を用いると共に、文字列領域の矩形領域の中に文字領域が占める割合が小さいものを文字列候補から除外する。このようにして、ステップ２１４によりテロップ文字領域が出力される。
【００３０】
上述した第２実施形態に係る映像処理方法の処理ステップにおける要旨に相当するステップに対応する画像が図４に示されている。図４は、図３の処理フローの方法によりテロップ文字の位置を検出した例であり、図３におけるステップ２０１の画像を、ステップ２０５ないしステップ２１３に対応させて例示したものである。ステップ２０１のテロップ文字含む原画像４０１に対し、エッジ強調すると共にエッジの二値化を行なった画像４０２、エッジを二値化したものを膨張処理した画像４０３、原画像４０１における輝度を二値化した画像４０４、画像４０３と４０４の論理積をとった画像４０５、文字領域のみが抽出された画像４０６のそれぞれの例が示されている。
【００３１】
論理積をとった画像４０５では、文字を中心とした孤立図形と、映像中で孤立図形として捉えられる領域が、４つの矩形領域として抽出されている。次に図３のステップ２１２のような文字候補図形の連結処理を行なうことにより、文字を中心とする孤立図形のみが文字列として連結されて文字領域のみが抽出された画像４０６となる。
【００３２】
次に、図５を用いてテロップ文字部を背景から切り出す方法について説明する。図５の処理ステップにおいて、ステップ３０１からステップ３０４までは文字領域の切り出しを行う処理の流れを示し、ステップ３０５からステップ３０９までは文字領域に対して二値化を行なう処理の流れを示している。まず、ステップ３０１では切り出したテロップ文字を含む矩形画像のエッジ強調を行なってから二値化することによりエッジ部を得ている。エッジ強調の方法としては、この第２実施形態では例えばＳｏｂｅｌ演算子を用いて行なうようにしているが、エッジ強調には種々の方法がありこれに限定されるものではない。次に、ステップ３０２において二値化されたエッジ画像を膨張させた画像を作成する。
【００３３】
次にステップ３０３において、膨張画像に該当する画素の輝度及び彩度分布を計算する。この画素はテロップ文字部と縁取り部の値の分布を計算したことになる。したがって、輝度および彩度のそれぞれの峰を有する分布となり、この２つの峰の分布を「大津の方法」により分離すると、ステップ３０４のように輝度および彩度の高い方がテロップ文字部からの分布として得られる。上記の処理を行なった例として図示説明は控えるが、エッジの強調と二値化を行なった画像に関しては図４の画像４０３および４０４に相当する画像が例として考えられる。なお、図６は輝度の分布を示した図である。この領域を限定された分布を用いて平均ｍと分散σを推定する。図７は、単純に平均と分散を推定した例である。この時、単純に限定領域のすべてのサンプルデータを用いて平均と分散を推定すると雑音の影響で正しい推定ができない場合がある。そのため、ロバスト推定という統計処理を用いて精度の良い平均ｍと分散σとを求める。ここでは、輝度についても彩度においても同じなので輝度についてのみ例を挙げて説明する。
【００３４】
ロバスト推定の一種であるＭ推定法を用いて、外乱にロバストな輝度分布の推定を行う。以下に最小二乗誤差の拡張であるＭ推定法について説明する。誤差分布が正規分布に従うとき、最小二乗誤差を最小にするようにパラメータを推定することが最大推定であることが知られている。しかし、現実の世界では観測値に、観測したい事実以外のサンプルが含まれ、それが外乱（アウトライヤー）となることが多い。最小二乗誤差はそのような外乱に敏感で、たとえ外乱が少数でも大きく誤った推定を行ってしまうため、外乱に強い推定方法としてロバスト推定が考案された。ロバスト推定であるＭ推定の詳細な解説は、文献３（中川徹、小柳巖夫、最小二乗法による実験データの解析）に紹介されているが、ここで、簡単にその方法について説明する。
【００３５】
まず、サンプルデータを用いて平均ｍと分散σを計算する。次に、各サンプルの値ｉの絶対誤差｜ｉ−ｍ｜を求める。これを残差と呼び、残差の大きい順にソートする。残差の中央値をとって、その値をｓとする。平均から離れた値ほど外乱である可能性が高いため、Ｍ推定法では、サンプルデータの値の残差が大きいほど、重みづけｗを小さくして掛け合わせた値で平均ｍと分散σを計算し直す。新しく求まったｍを用いて再度、この手順を繰り返すことにより、雑音の影響のない値を計算する。この繰返し計算は、約６回ほどで良いことが知られている。重み付けｗは、種々のものが考案されているが、ＢＩＷＥＩＧＨＴと呼ばれる式１によりｗを決定する。ｃは定数で５〜９の値をつける。また、式１のｓは残差である。
【００３６】
ｗ＝［１−（ｚ／ｃｓ）2 ］2 …式１
Ｍ推定法により求められた平均と分散が文字の輝度または彩度の値となる（３０５）。図８は、図６のデータに対して、ロバスト推定（Ｍ推定）で平均と分散を求めた例である。
【００３７】
再び図５に戻って、求められた文字部の輝度分布を用いて、比較的安定している輝度の高い画素を文字領域の一部と仮定し、その領域を種に文字領域を拡張させて文字を取り出す。したがって、ステップ３０６において推定された輝度の平均ｍと分散σから「ｍ＋ｔσ」よりも高い画像領域をまず抽出し、そして、その画素の８つの近傍を検査し輝度が「ｍ＋Ｔσ」よりも大きな値をとる場合は、文字の領域として併合していく（ステップ３０７）。新しく検出される画素がなくなったら処理を停止し（ステップ３０８）、検出された画素をテロップ文字とする（ステップ３０９）。ここで、Ｔはｔよりも小さな値とする。この処理は、以下の仮定に基づいている。文字列候補領域の中では文字領域以外の場所では「ｍ＋ｔσ」よりも高い輝度を有する領域はない。文字を構成する画素は、「ｍ＋Ｔσ」以上の輝度を有している。文字と背景の境界は「ｍ＋Ｔσ」よりも低い値の輝度で囲まれている。信頼性の高い文字領域を第１の検出ステップにより抽出し、その領域を第２の検出ステップで拡大していくことにより、テロップ領域全体を取得する。
【００３８】
図９には、「ｍ＋ｔσ」より高い輝度を有する領域を抽出した結果（９０１）と、この結果９０１から「ｍ＋Ｔσ」より高い輝度を持つ近傍の画素を併合した最終結果（９０２）と、が示されている。このように得られた画素の値を１にその他の領域を０とした二値画を作成し、ＯＣＲに読ませて文字コードを得る。背景に雑音のないテロップ文字のため、誤読のない処理結果が得られる。
【００３９】
次に、本発明の第３実施形態に係る映像処理装置について、図１０を参照しながら説明する。図１０において、第３実施形態に係る映像処理装置１０は、映像中に存在する文字を認識し検出するため映像中文字を含む一定の領域の部分画像を切り出す画像切り出し手段１１と、切り出された部分画像から輝度分布および色分布の少なくとも一方の分布を算出して求める分布算出手段１２と、分布算出手段１２により求められた分布に基づいて前記映像中文字を構成しているものと推察される特徴を含む分布領域を限定する領域限定手段１３と、前記領域限定手段１３により限定された前記分布領域の情報から、前記輝度分布および色分布の少なくとも一方平均と分散とを推定する平均・分散推定手段１４と、前記平均・分散推定手段１４により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段１５と、前記第１の検出手段１５により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行なって、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく検出される画素がなくなるまで画素の判定と検出とを繰り返す第２の検出手段１６と、検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段１７と、を備えている。
【００４０】
このような映像処理装置１０によれば、上述した第１及び第２実施形態に係る映像処理方法を各構成要素において適用することにより、上述した第１及び第２実施形態に係る映像処理方法と同様の効果を得ることができる。特に、このような第３実施形態に係る映像処理装置をデジタルテレビジョン受像機やＯＣＲを組み込んだビデオインデックスシステム等に適用することにより、より一層の効果をあげることができる。
【００４１】
次に、本発明の第４実施形態に係る映像処理手順を記録した記録媒体について、図１１および図１２を用いて説明する。図１１及び図１２は第４実施形態に係る記録媒体が用いられるコンピュータシステム２０を示している。両図において、コンピュータシステム２０は、内部メモリ２２を備えるコンピュータ本体２１と、キーボードやマウス等の入力装置２３と、陰極線管（ＣＲＴ―Cathode Ray Tube―）等の表示装置２４と、プリンタ等の出力装置２５と、を備え、コンピュータ本体２１には内蔵または外付の記録媒体駆動装置２６が設けられている。記録媒体駆動装置２６は、図１２に示すように、フロッピディスク（ＦＤ）ドライブ２７，ＣＤ‐ＲＯＭ（Compact Disk-Read Only Memory ）ドライブ２８，ハードディスク（ＨＤ）ドライブ２９等を含んでいる。図１１に示すように、第４実施形態に係る映像処理手順を記録した記録媒体３０は、具体的にはこのような各種の記録媒体駆動装置２６に用いられる例えばフロッピディスク３１やＣＤ‐ＲＯＭ３２である。なお、これらの記録媒体３０は一例であって、この他にもＭＯ（Magnet-Optical）ディスクやジップ等のような種々のものが適用可能である。
【００４２】
この第４実施形態に係る映像処理手順を記録した記録媒体３０に記録されている手順は、図１に示す第１実施形態の映像処理方法における各処理ステップに対応している。具体的には、映像中に存在する文字を認識し検出するため映像中文字が含まれる所定の範囲を文字領域画像として切り出す手順と、この文字領域画像における輝度分布および色分布のうち少なくとも一方を求める手順と、求められた分布から映像中文字を構成すると推察される特徴を含む領域を限定領域として限定する手順と、前記限定領域の情報から、輝度および色分布のうちの少なくとも一方の平均および分散を推定する手順と、前記手順により推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手順と、検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく検出される画素がなくなるまで画素の判定と検出とを繰り返す第２の検出手順と、検出された画素の纏まりを前記映像中文字として読み込ませる命令を読込手段へ出力する手順と、が記録されている。
【００４３】
この第４実施形態に係る記録媒体に処理手順を記録しておくことにより、記録媒体３０をコンピュータ本体２１に内蔵のまたはこれに外付けの記録媒体駆動装置２６のスロット等に挿入してデータをコンピュータシステム２０に読み込ませることにより本発明を確実かつ容易に実施することができる。
【００４４】
【発明の効果】
以上詳細に説明したように、本発明に係る映像処理方法によれば、映像にインポーズされたテロップ文字を背景が様々な輝度及び色をもっていても文字部だけを精度良く切り出すことができ、その結果ＯＣＲ等による判読を精度良く行なうことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る映像処理方法の処理ステップを示すフローチャートである。
【図２】本発明の第２実施形態に係る映像処理方法のテロップ抽出処理の概略を示すフローチャートである。
【図３】第２実施形態に係る映像処理方法におけるテロップ抽出処理の詳細を示すフローチャートである。
【図４】第２実施形態におけるテロップ位置の抽出例を図３の要部と対応させて示す概略説明図である。
【図５】第２実施形態におけるテロップ文字の背景からの切り出し処理を示すフローチャートである。
【図６】第２実施形態における輝度の分布を示す特性図である。
【図７】輝度の高い領域の分布の平均と分散を示す特性図である。
【図８】ロバスト推定で求めた平均と分散を示す特性図である。
【図９】テロップ文字領域の切り出し例を示す概略説明図である。
【図１０】本発明の第３実施形態に係る映像処理装置の構成を示すブロック図である。
【図１１】本発明の第４実施形態に係る映像処理手順を記録した記録媒体が用いられるコンピュータシステムを示す概略斜視図である。
【図１２】第４実施形態に係る映像処理手順を記録した記録媒体が用いられるコンピュータシステムを示すブロック図である。
【符号の説明】
Ｓ１ 画像切り出しステップ
Ｓ２ 分布算出ステップ
Ｓ３ 領域限定ステップ
Ｓ４ 平均・分散推定ステップ
Ｓ５ 第１の検出ステップ
Ｓ６ 第２の検出ステップ
Ｓ７ 映像中文字出力ステップ
１０ 画像処理装置
１１ 画像切り出し手段
１２ 分布算出手段
１３ 領域限定手段
１４ 平均・分散推定手段
１５ 第１の検出手段
１６ 第２の検出手段
１７ 出力手段
Claims (8)
- 映像の中に存在する文字である映像中文字を認識し検出するための映像処理方法であって、
前記映像中文字が含まれる可能性のある所定の領域を文字候補領域画像として切り出す切出しステップと、
この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定ステップと、
前記分布決定ステップにより求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定ステップと、
前記領域限定ステップにより限定された前記限定領域の情報から、前記分布決定領域により求められた前記分布における平均および分散を推定する推定ステップと、
前記推定ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップと、
前記第１の検出ステップにより検出された前記画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出ステップと、
前記第２の検出ステップにより検出された画素の纏まりを前記映像中文字として出力する文字出力ステップと、
を備えることを特徴とする映像処理方法。 - 映像の中に存在する文字である映像中文字を認識し検出するための映像処理方法であって、
前記映像中文字が含まれる可能性のある所定の領域を文字候補領域画像として、この文字候補領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定ステップと、
前記分布決定ステップにより求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定ステップと、
前記領域限定ステップにより限定された前記限定領域の情報から、前記分布決定ステップにより求められた前記分布における平均および分散を推定する推定ステップと、
前記推定ステップにより推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出ステップと、
前記第１の検出ステップにより検出された前記画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加する第２の検出ステップと、
前記第２の検出ステップにより検出された画素の纏まりを前記映像中文字として出力する文字出力ステップと、
を備えることを特徴とする映像処理方法。 - 前記映像から取り出された複数枚のフレーム画像を用いて、圧縮された情報を含む１枚のフレーム画像における特定領域の画素、および、前記複数枚のフレーム画像の平均画像における特定領域の画素のいずれか一方を求めて処理用の画像とし、この処理用の画像を用いて前記第１および第２の検出ステップの処理を行なうことを特徴とする請求項１または請求項２に記載の映像処理方法。
- 前記限定領域の情報に対して平均と分散を推定する前記推定ステップにおける推定は、ロバスト推定を用いて行なわれることを特徴とする請求項１または請求項２に記載の映像処理方法。
- 前記分布決定ステップで前記文字領域画像より求められる前記色分布の色として、彩度を用いることを特徴とする請求項１または請求項２に記載の映像処理方法。
- 映像の中に存在する文字である映像中文字を認識し検出するための映像処理装置であって、
前記映像中文字を含む所定の領域の部分画像を文字候補領域画像として切り出す画像切り出し手段と、
切り出された部分画像から輝度分布および色分布の少なくとも一方を含む分布を算出して求める分布算出手段と、
前記分布算出手段により求められた前記分布に基づいて前記映像中文字を構成しているものと推定される特徴を含む分布領域を限定する領域限定手段と、
前記領域限定手段により限定された前記分布領域の情報から、前記分布の平均と分散とを推定する平均・分散推定手段と、
前記平均・分散推定手段により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段と、
前記第１の検出手段により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出手段と、
検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段と、
を備えることを特徴とする映像処理装置。 - 映像の中に存在する文字である映像中文字を認識し検出するための映像処理装置であって、
前記映像中文字を含む所定の領域の部分画像を文字候補領域画像として、この文字候補領域画像から輝度分布および色分布の少なくとも一方を含む分布を算出して求める分布算出手段と、
前記分布算出手段により求められた前記分布に基づいて前記映像中文字を構成しているものと推定される特徴を含む分布領域を限定する領域限定手段と、
前記領域限定手段により限定された前記分布領域の情報から、前記分布の平均と分散とを推定する平均・分散推定手段と、
前記平均・分散推定手段により推定された平均と分散とを用いて所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手段と、
前記第１の検出手段により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加する第２の検出手段と、
検出された画素の纏まりを前記映像中文字として文字読込手段へ出力する出力手段と、
を備えることを特徴とする映像処理装置。 - 映像の中に存在する文字である映像中文字を認識し検出するための映像処理手順を記録したコンピュータにより読み取り可能な記録媒体であって、
前記映像中文字が含まれる所定の領域を文字領域画像として切り出す切出し手順と、
この文字領域画像における輝度分布および色分布のうち少なくとも一方を含む分布を求める分布決定手順と、
前記分布決定手順により求められた前記分布から前記映像中文字を構成すると推定される特徴を含む領域を限定領域として限定する領域限定手順と、
前記領域限定手順により限定された前記限定領域の情報から、前記分布の平均および分散を推定する推定手順と、
前記推定手順により推定された前記平均および分散に対して、所定の値を有する第１の閾値による判定を行ない、この第１の閾値よりも高い値を有する画素のみを画像から検出する第１の検出手順と、
前記第１の検出手順により検出された画素の近傍の画素を検査して、前記第１の閾値よりも小さな値に設定された第２の閾値による判定を行ない、前記近傍の画素の値が前記第２の閾値よりも高い値を有する場合にその画素を検出画素に追加し、新しく判定される画素がなくなるまで画素の判定と追加とを繰り返す第２の検出手順と、
前記第２の検出手順により検出された画素の纏まりを前記映像中文字として読み込ませる命令を読込手段へ出力する出力手順と、
を含むことを特徴とする映像処理手順を記録したコンピュータにより読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35672098A JP3655110B2 (ja) | 1998-12-15 | 1998-12-15 | 映像処理方法及び装置並びに映像処理手順を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35672098A JP3655110B2 (ja) | 1998-12-15 | 1998-12-15 | 映像処理方法及び装置並びに映像処理手順を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000182053A JP2000182053A (ja) | 2000-06-30 |
| JP3655110B2 true JP3655110B2 (ja) | 2005-06-02 |
Family
ID=18450450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35672098A Expired - Fee Related JP3655110B2 (ja) | 1998-12-15 | 1998-12-15 | 映像処理方法及び装置並びに映像処理手順を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3655110B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4617611B2 (ja) * | 2000-06-23 | 2011-01-26 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US20060045346A1 (en) * | 2004-08-26 | 2006-03-02 | Hui Zhou | Method and apparatus for locating and extracting captions in a digital image |
| JP2006154976A (ja) * | 2004-11-25 | 2006-06-15 | Sharp Corp | 動画フレーム解析装置 |
| JP4839076B2 (ja) * | 2005-12-09 | 2011-12-14 | 日本電信電話株式会社 | 映像中文字認識装置、映像中文字認識方法、プログラム、及び記録媒体 |
| JP4861845B2 (ja) * | 2007-02-05 | 2012-01-25 | 富士通株式会社 | テロップ文字抽出プログラム、記録媒体、方法及び装置 |
| US8280157B2 (en) | 2007-02-27 | 2012-10-02 | Sharp Laboratories Of America, Inc. | Methods and systems for refining text detection in a digital image |
| KR100895622B1 (ko) | 2007-05-14 | 2009-05-06 | 주식회사신도리코 | 화상형성장치 및 화상형성방법 |
| KR101016821B1 (ko) | 2008-11-21 | 2011-02-21 | 호서대학교 산학협력단 | 마킹 인식 방법 및 이를 이용한 장치 |
| JP5465620B2 (ja) | 2010-06-25 | 2014-04-09 | Ｋｄｄｉ株式会社 | 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法 |
| JP5073075B2 (ja) * | 2011-03-31 | 2012-11-14 | 株式会社ナナオ | 細線・文字検出方法及び装置 |
| JP6320130B2 (ja) * | 2014-04-02 | 2018-05-09 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
-
1998
- 1998-12-15 JP JP35672098A patent/JP3655110B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000182053A (ja) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0720114B1 (en) | Method and apparatus for detecting and interpreting textual captions in digital video signals | |
| JP4626886B2 (ja) | デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置 | |
| US6501856B2 (en) | Scheme for extraction and recognition of telop characters from video data | |
| EP2337345B1 (en) | Video identifier extracting device | |
| US20070286499A1 (en) | Method for Classifying Digital Image Data | |
| US7630544B1 (en) | System and method for locating a character set in a digital image | |
| US20080143880A1 (en) | Method and apparatus for detecting caption of video | |
| Yang et al. | Lecture video indexing and analysis using video ocr technology | |
| US20050196043A1 (en) | Method and apparatus for detecting text associated with video | |
| JP3655110B2 (ja) | 映像処理方法及び装置並びに映像処理手順を記録した記録媒体 | |
| US20120019717A1 (en) | Credit information segment detection method, credit information segment detection device, and credit information segment detection program | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| JP2011203790A (ja) | 画像照合装置 | |
| KR101390561B1 (ko) | 자막 검출 방법 및 그 장치 | |
| CN113435438B (zh) | 一种图像和字幕融合的视频报幕板提取及视频切分方法 | |
| US20020025080A1 (en) | Image processing apparatus, image processing method, and computer readable recording medium recording image processing program for processing image obtained by picking up or reading original | |
| Gao et al. | Automatic news video caption extraction and recognition | |
| Yang et al. | Caption detection and text recognition in news video | |
| JP3544324B2 (ja) | 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 | |
| JP3435334B2 (ja) | 映像中文字領域抽出装置および方法および記録媒体 | |
| KR100473944B1 (ko) | 디지털 영상신호의 텍스트 추출방법 | |
| KR101911613B1 (ko) | 뉴스 인터뷰 영상의 오버레이 텍스트 기반 인물 인덱싱 방법 및 장치 | |
| JP4409713B2 (ja) | 文書画像認識装置及び記録媒体 | |
| JP2000182028A (ja) | 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置 | |
| KR100845662B1 (ko) | 비디오 자막영역 추출방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050302 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |