JP3544324B2 - 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 - Google Patents
文字列情報抽出装置及び方法及びその方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP3544324B2 JP3544324B2 JP25394499A JP25394499A JP3544324B2 JP 3544324 B2 JP3544324 B2 JP 3544324B2 JP 25394499 A JP25394499 A JP 25394499A JP 25394499 A JP25394499 A JP 25394499A JP 3544324 B2 JP3544324 B2 JP 3544324B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- character
- line
- edge
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文字列情報抽出技術に関し、特に画像処理、パターン認識の技術を利用して、画像中に存在する文字列の表示位置、高さ、幅の検出に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
画像中の文字列の位置情報を検出する技術に関しては、従来、下記の文献［１］，［２］，［３］等で提案されている。
【０００３】
［１］Ｙ．Ａｒｉｋｉ ａｎｄ Ｔ．Ｔｅｒａｎｉｓｈｉ，“Ｉｎｄｅｘｉｎｇ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ＴＶ ＮｅｗｓＡｒｔｉｃｌｅｓ Ｂａｓｅｄ ｏｎ Ｔｅｌｏｐ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｐｒｏｃ．ｏｆ ４ｔｈ ＩＣＤＡＲ，ｐｐ．４２２−４２７，１９９７。
【０００４】
［２］Ｙｕ Ｚｈｏｎｇ，Ｋａｌｌｅ Ｋａｒｕ，ａｎｄ Ａｎｌｉ Ｋ．Ｊａｉｎ、“Ｌｏｃａｔｉｎｇ Ｔｅｘｔ ｉｎ Ｃｏｍｐｌｅｘ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，Ｐｒｏｃ．ｏｆ ３ｒｄ ＩＣＤＡＲ，ｐｐ．１４６−１４９，１９９５。
【０００５】
［３］Ｓ．Ｋｕｒａｋａｋｅ，Ｈ．Ｋｕｗａｎｏ，ａｎｄ Ｋ．Ｏｄａｋａ、“Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｖｉｓｕａｌ Ｆｅａｔｕｒｅ Ｍａｔｃｈｉｎｇ ｏｆ Ｔｅｘｔ Ｒｅｇｉｏｎ ｉｎ Ｖｉｄｅｏ ｆｏｒ Ｃｏｎｃｅｐｔｕａｌ Ｉｎｄｅｘｉｎｇ”，Ｐｒｏｃ．ｏｆ ＳＰＩＥ Ｓｔｏｒａｇｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｉｍａｇｅ Ｖｉｄｅｏ Ｄａｔａｂａｓｅ Ｖ，ｖｏｌ．３０２２，ｐｐ．３６８−３７９，１９９７。
【０００６】
文献［１］〜［３］はそれぞれ、ＣＤカバー画像や映像中のフレーム画像等、複雑な背景中に表示された文字列が検出対象であり、文字表示部の画像空間内の輝度分布、及び領域抽出結果を利用した方法になっている。
【０００７】
文献［１］［２］は、画像内の文字部が周囲の背景部との境界部に大きなコントラストを有し、文字輪郭部からはエッジ成分が多く検出されるという特徴に着目した方法である。画像にエッジ検出法を適用し、エッジ画素を文字輪郭とみなし、エッジ画素を多く含むラインを文字列ラインとして定義し、文字列ラインが空間的に集中している部分を文字列ライン群とし、文字列ライン群の両端ラインを文字列の境界ラインとみなし、高さや幅を計算している。
【０００８】
文献［３］は、文字領域抽出結果を利用した方法である。決められた方法で入力画像から二値の文字領域画像を得る。文字領域を膨張させ、縦、あるいは横に一定長以上の長さを持つ膨張領域に含まれる領域を文字領域とみなし、該膨張領域を囲む矩形を文字列矩形として抽出する。矩形の高さや幅を文字列の高さ、幅としている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記文献［１］〜［３］の従来技術とも文字以外の背景部分の影響を十分に検討していないという問題点がある。
【００１０】
文献［１］［２］は、文字輪郭部のコントラストに着目し、エッジ画素を文字輪郭とみなす方法であるが、文字以外の部分からもコントラストの高い部分が存在する場合には、エッジは多数検出される。つまり、文献［１］［２］のように、エッジ検出処理で得られたエッジ画素を単純にすべて文字輪郭線とみなしてしまっては、文字の存在しない背景部に文字が存在すると誤って判断することもあり、正確な文字列の位置を検出することが困難である。また、映像中の文字表示に関しては、文字の表示効果等により文字の境界からのエッジが少ない場合もある。この場合も同じく、文字列ラインの決定精度が不安定になり、文字列の高さや幅を正確に求めることが困難となる問題点がある。
【００１１】
また、文献［３］では、文字領域抽出処理の段階で、誤って抽出した背景中のノイズ領域が文字列の周りに残る場合、膨張領域の中に背景中のノイズ領域も含まれ、正確な文字列矩形を求めることが困難となり、その結果、文字列の高さや幅も正確に求まらないという問題点がある。
【００１２】
上記のように従来の方法は、文字輪郭情報、あるいは文字領域情報のどちらか一方にのみ着目しているため、背景部から受ける影響を十分に取り除くことができず、文字列情報の抽出が困難な場合があった。
【００１３】
本発明は、従来手法で問題となった文字列周囲の背景中のコントラストやノイズ領域の影響を極力抑制し、正確な文字列の高さや幅の情報を抽出することができる文字列情報抽出装置及び方法を提供することを課題としている。
【００１４】
【課題を解決するための手段】
前記の課題を解決するために、本発明による文字列情報抽出装置は、入力画像に対して輝度値が急激に変化する画素を文字の輪郭線上の画素として検出し、文字輪郭線画像を得る文字輪郭線検出部と、該入力画像に対して画像内で局所的に輝度値が均一であり連結する複数の画素を文字領域として抽出し文字領域画像を得る文字領域抽出部と、該入力画像に対して画像中の文字列を囲む矩形画像を抽出する文字矩形抽出部と、該矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線画像から文字輪郭画素の個数を、該文字領域画像から文字領域の個数を各ライン毎にカウントし、該文字輪郭画素の個数及び該文字領域の個数がともに高い値を取るラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン及び最も下側の文字列ライン並びに垂直方向ライン中の最も左側の文字列ライン及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出部と、該文字列矩形の抽出の結果を出力する結果出力部とを、具備することを特徴とする。
【００１５】
また、前記文字輪郭線検出部が、前記入力画像の中で輝度値が急激に変化する画素をエッジ画素として検出しエッジ画像を得るエッジ検出部と、該エッジ画像のスキャン方向を指定するスキャン方向制御部と、該指定されたスキャン方向に該エッジ画像をスキャンし、同一のライン上で隣接する２つのエッジ画素を選択し、該２つのエッジ画素についてライン上の距離が予め決めた値より小さいかどうか判断するエッジ間距離判断部と、該距離が予め決めた値より小さいと判断された２つのエッジ画素の勾配が反対であるかどうか判断するエッジ勾配正負判断部と、該勾配正負が反対であると判断された２つのエッジ画素間の輝度差が予め決めた範囲内であるかどうか判断するエッジ間輝度差計算部と、該輝度差が予め決めた範囲内であると判断された２つのエッジ画素を一組のエッジペアとして検出するエッジペア検出部と、該エッジペア画素を該指定された全てのスキャン方向で求め、該求めた全エッジペア画素を文字輪郭線とみなして文字輪郭線画像を作成する文字輪郭線画像作成部とを、具備することを特徴とする。
【００１６】
また、前記文字列情報抽出部が、各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を文字列特徴値として計算する文字列特徴値計算部と、該文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断部とを、具備することを特徴とする。
【００１７】
また、テロップ文字が表示されている映像中の各入力画像に対し、前記の文字列情報抽出装置により得た文字列矩形を入力し、該文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は横書きであると判断し、垂直方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は縦書きであると判断するテロップ文字列方向判断部と、該テロップ文字列が横書きであると判断された場合は該文字列矩形の最も上側のラインと最も下側のラインからテロップ文字列の高さを求め、該テロップ文字列が縦書きであると判断された場合は該文字列矩形の最も左側のラインと最も右側のラインからテロップ文字列の幅を求めるテロップ文字列情報抽出部と、該映像中の各入力画像から求めた複数の該テロップ文字列の高さの値又は該テロップ文字列の幅の値が近いテロップ文字列同士を一つのカテゴリとして分類する複数テロップ文字列情報分類部と、該分類された一つあるいは複数のカテゴリに対し予め決められた規則を用いて意味付けを行うテロップ文字列意味付け部と、該意味付けの結果を出力する結果出力部とを、具備することを特徴とする。
【００１８】
なお、この構成において、テロップ文字列方向判断部は、前記の文字列情報抽出装置を含む構成であっても良い。
【００１９】
同じく、前記の課題を解決するために、本発明による文字列情報抽出方法は、入力画像に対して輝度値が急激に変化する画素を文字の輪郭線上の画素として検出し、文字輪郭線画像を得る文字輪郭線検出手順と、該入力画像に対して画像内で局所的に輝度値が均一であり連結する複数の画素を文字領域として抽出し、文字領域画像を得る文字領域抽出手順と、該入力画像に対して画像中の文字列を囲む矩形画像を抽出する文字列矩形抽出手順と、該矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線画像から文字輪郭画素の個数を、該文字領域画像から文字領域の個数を各ライン毎にカウントし、該文字輪郭画素の個数及び該文字領域の個数がともに高い値を取るラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン及び最も下側の文字列ライン並びに垂直方向ライン中の最も左側の文字列ライン及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出手順と、該文字列矩形の抽出の結果を出力する結果出力手順とを、有することを特徴とする。
【００２０】
また、前記文字輪郭線検出手順では、前記入力画像の中で輝度値が急激に変化する画素をエッジ画素として検出するエッジ検出手順と、該エッジ画像のスキャン方向を指定するスキャン方向制御手順と、該指定されたスキャン方向に該エッジ画像をスキャンし、同一のライン上で隣接する２つのエッジ画素を選択し、該２つのエッジ画素についてライン上の距離が予め決めた値より小さいかどうか判断するエッジ間距離判断手順と、該距離が予め決めた値より小さいと判断された２つのエッジ画素の勾配が反対であるかどうか判断するエッジ勾配正負判断手順と、該勾配正負が反対であると判断された２つのエッジ画素間の輝度差が予め決めた範囲内であるかどうか判断するエッジ間輝度差計算手順と、該輝度差が予め決めた範囲内であると判断された２つのエッジ画素を一組のエッジペアとして検出するエッジペア検出手順と、該エッジペア画素を該指定された全てのスキャン方向で求め、該求めた全エッジペア画素を文字輪郭線とみなして文字輪郭線画像を作成する文字輪郭線画像作成手順とを、有することを特徴とする。
【００２１】
また、前記文字列情報抽出手順では、各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を文字列特徴値として計算する文字列特徴値計算手順と、該文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断手順とを、有することを特徴とする。
【００２２】
テロップ文字が表示されている映像中の各入力画像に対し、前記の文字列情報抽出方法により得た文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は横書きであると判断し、垂直方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は縦書きであると判断するテロップ文字列方向判断手順と、該テロップ文字列が横書きであると判断された場合は該文字列矩形の最も上側のラインと最も下側のラインからテロップ文字列の高さを求め、該テロップ文字列が縦書きであると判断された場合は該文字列矩形の最も左側のラインと最も右側のラインからテロップ文字列の幅を求めるテロップ文字列情報抽出手順と、該映像中の各入力画像から求めた複数の該テロップ文字列の高さの値又は該テロップ文字列の幅の値が近いテロップ文字列同士を一つのカテゴリとして分類する複数テロップ文字列情報分類手順と、該分類された一つあるいは複数のカテゴリに対し予め決められた規則を用いて意味付けを行うテロップ文字列意味付け手順と、該意味付けの結果を出力する結果出力手順とを、有することを特徴とする。
【００２３】
また、前記の文字列情報抽出方法における手順をコンピュータに実行させるプログラムとして該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００２４】
本発明では、文字輪郭線情報と文字領域情報を組み合わせることで、文字列の情報だけを選択的に抽出し、文字列の高さや幅の情報を正確に抽出できるようにしている。
【００２５】
すなわち、画像中の文字部、及び周囲部に関して、一般にエッジ画素の数と文字領域抽出結果の領域の個数には以下のような傾向がある。エッジ分布に関しては、文字部のエッジ数は、文字周囲の背景部のエッジ数よりも多い傾向がある。文字と背景間のコントラストが高く、背景部に高コントラスト部が少ない理想的な場合には、文字部から得られるエッジ画素が背景部から得られるそれに比べて圧倒的に多い。ただし、実際には映像中のテロップ文字などにおいて、文字表示効果の影響で文字境界のコントラストが低く、さらに文字周囲の背景に高コントラスト部が多く存在することがあり、文字部と背景部のエッジ数には際立った差が見られない場合がある。領域分布に関しても、同じく文字の領域数は、文字周囲の背景部のノイズ領域数よりも多い傾向にある。文字部の周囲の背景部に高コントラスト部やあるいは文字部の濃度に近い濃度を持つ部分が存在しなければ、文字領域のみが選択的に抽出され、周囲からノイズ領域は抽出されない。ただし、映像中のテロップ文字に付着する飾り効果等、文字周囲の背景部に文字と類似するようなコントラスト部を持ち、さらに、文字部の濃度に近い部分が存在する場合は、文字周囲の背景からも領域が多く抽出される。そこで、本発明では、各ラインのエッジペア数と領域の数がともに高い値をとるラインを文字列の存在するラインであると判断することで、文字部のラインと背景部のラインの境界を従来方法よりも精度よく求めることができ、より正確な文字列の高さ・幅情報を得ることが可能となる。
【００２６】
また、画像中の文字部、及び周囲部に関して、一般にエッジ分布の特徴には、以下のような傾向がある。文字部からは、文字と背景の境界のコントラストが高いことから、文字輪郭部からエッジ画素が得られることが多く、つまり隣接する２つのエッジ画素は、その距離がほぼ線幅値に近く、また、濃度勾配の正負が反対であり、さらには、エッジの内側画素は文字内部のため濃度値がほぼ等しい、という特徴がある。これに対し、背景部の濃度分布は任意であるため、必ずしも、文字部と同等な特徴は持たない。そこで、本発明において定義したエッジペア画素を検出することで、文字部からのエッジ画素を従来方法よりも精度よく選択的に検出することが可能となる。
【００２７】
また、通常、ニュース映像などの放送映像では、最初に見出しを表すテロップ文字が画面上で大きく表示され、見出し以外のニュース内容の詳細を説明するテロップは見出しのテロップよりも小さく表示される等、重要な文字を大きく表示する傾向がある。そこで本発明では、映像中の複数のテロップ文字列の方向を判断し、それを基に文字列の高さと幅の情報を分類し、高さや幅の値が大きいテロップが表示されている画面を映像中のテロップ画面の中でも重要度の高い画面として意味付けることで、映像の構造化を行う上で有益な情報として利用することが可能となる。
【００２８】
【発明の実施の形態】
以下、本発明について図面を参照して実施の形態ととも詳細に説明する。
【００２９】
図１は、本発明による文字列情報抽出装置、及び方法の構成の一実施形態例を示すブロック図である。
【００３０】
図１において、１は、画像データを、例えばコンピュータに入力し、メモリに記憶する画像入力記憶部である。
【００３１】
２は、画像入力記憶部１で入力、記憶された画像データに対し、輝度値が急激に変化する画素を文字輪郭線画素として検出し、文字輪郭線画像を作成する文字輪郭線検出部である。
【００３２】
３は、画像入力記憶部１で入力、記憶された画像データに対し、画像内で局所的に輝度値が均一であり、連結する複数の画素を文字領域として抽出し、文字領域画像を得る文字領域抽出部である。
【００３３】
４は、画像入力記憶部１で入力、記憶された画像データに対し、予め決められた文字列矩形抽出法を用いるか、あるいは、予め画像内の文字列を囲む範囲を指定することにより、画像中の文字列を囲む矩形画像を得る文字列矩形抽出部である。
【００３４】
５は、該文字列矩形抽出部４により得られた画像中の文字列を含む矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線検出部から得られた文字輪郭画素の個数と該文字領域抽出部から得られた文字領域の個数を求め、各ライン毎に文字輪郭画素の個数、及び文字領域の個数がともに高い値をとる場合、該ラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン、及び最も下側の文字列ライン、垂直方向ライン中の最も左側の文字列ライン、及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出部である。
【００３５】
６は、文字列情報抽出部５の結果を出力する結果出力部である。
【００３６】
７は、前記画像入力記憶部１、文字輪郭線検出部２、文字領域抽出部３、文字列矩形抽出部４文字列情報抽出部５、結果出力部６の処理を実行するための制御を行う処理制御部である。
【００３７】
図１の構成において、本発明の一実施形態例を説明する。
【００３８】
まず、テレビやビデオ、あるいはカメラ等の画像情報を画像入力記憶部１によりコンピュータ上のメモリに記憶する。
【００３９】
記憶された画像データに対し、文字輪郭線検出部２において、画像中の輝度が急激に変化する画素を検出するための従来提案されているエッジ検出方法、例えば、Ｓｏｂｅｌオペレータを用いる方法やＲｏｂｉｎｓｏｎオペレータを用いる方法を用いて、エッジ画素を検出し、これを文字輪郭線画素とみなし文字輪郭線画像を作成する。
【００４０】
また、文字領域抽出部３では、画像入力記憶部１で記憶された画像データに対し、予め決められた文字領域抽出法（例えば、文献［４］「桑野、新井、倉掛、杉村、“ライン単位の二値化による映像中文字領域の抽出方法”、信学秋大、Ｄ−１２−４２，１９９８」で提案されている方法）を用いて、文字領域画像を作成する。
【００４１】
また、文字列矩形抽出部４では、画像入力記憶部１で記憶された画像データに対し、先に示した文献［１］〜［３］等で提案されている方法を用いるか、予め手入力等により矩形の範囲を設定することで、文字列を囲む矩形画像を抽出する。
【００４２】
文字列情報抽出部５では、文字列矩形抽出部４で抽出された文字列矩形画像内で文字輪郭線検出部２で求めた文字輪郭画素の個数と文字領域抽出部３で求めた文字領域の個数を水平、垂直の各ライン毎に数え、文字輪郭画素の個数、及び文字領域の個数がともに高い値をとる場合、該ラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン、及び最も下側の文字列ライン、垂直方向ライン中の最も左側の文字列ライン、及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する。
【００４３】
結果出力部６では、文字列情報抽出部５の結果をコンピュータの上のメモリやディスク上のファイル、あるいは、ディスプレイ上に表示などして出力する。
【００４４】
処理制御部７では、一連の処理を行う上での同期とりを行う。
【００４５】
図２は、図１の文字輪郭線検出部２を実施する装置の構成の一実施形態例を示すブロック図である。
【００４６】
図２において、２１は図１の画像入力記憶部１で入力された画像に対し、予め決められた方法でエッジ検出処理を行うエッジ検出部である。
【００４７】
２２は、エッジ検出処理を施した各フレーム画像に対して、エッジヘアカウント処理を行うスキャン方向を制御するスキャン制御部である。
【００４８】
２３は、スキャン制御部２２により指定されたスキャン方向に前記エッジ画像をスキャンし、同一のスキャンライン上で隣接する２つのエッジ画素を選択し、選択した２つのエッジ画素について、ライン上の距離が予め決められた値より小さいかどうか判断するエッジ間距離判断部である。
【００４９】
２４は、エッジ間距離判断部２３により同一のスキャンライン上で距離が予め決められた値より小さいと判断された隣接する２つのエッジの勾配が反対であるかどうか判断するエッジ勾配判断部である。
【００５０】
２５は、エッジ勾配判断部２４により、同一ライン上で距離が予め決められた値よりも小さく、且つ勾配正負が反対であると判断された隣接する２つのエッジの内側画素の輝度差が予め設定された範囲内にあるかどうか判断するエッジ間輝度差判断部である。
【００５１】
２６は、エッジ間輝度差判断部２５により、同一ライン上で距離が予め決められた値よりも小さく、且つ勾配正負が反対であり、且つ内側画素の輝度差が予め設定された範囲内にある隣接する２つのエッジ点を一組のエッジペアと定義し、カウントするエッジペア検出部である。
【００５２】
２７は、エッジペア検出部２６により得られたエッジペアをスキャン制御部２２により指定された全てのスキャン方向で求め、文字輪郭線画像を作成する文字輪郭線画像作成部である。
【００５３】
図３は、図１、及び図２の文字輪郭線検出部２の処理の実施形態例を説明するためのフローチャートである。
【００５４】
前記エッジ検出部２１において、ステップ（３１）で、前記画像入力記憶部１で入力された画像をコンピュータ上のメモリに読み、この画像に対し、ステップ（３２）で、予め決められたエッジ検出方法を用いてエッジの勾配の方向情報も伴ったエッジ検出処理を行う。検出されたエッジ画素情報はスキャン制御部２２に渡される。
【００５５】
勾配方向情報を伴ったエッジ検出には、例えばＳｏｂｅｌのエッジ検出オペレータやＲｏｂｉｎｓｏｎのエッジ検出オペレータ等の従来提案されている方法を用いればよい。
【００５６】
次に、スキャン制御部２２において、ステップ（３３）で、エッジ検出部２１で検出されたエッジ画素に対し、エッジペア検出処理が未処理のスキャン方向が存在するかどうかを判断し、未処理のスキャン方向が存在すれば処理対象スキャン方向を指定し、ステップ（３４）へ移り、未処理のスキャン方向が存在しない場合はステップ（３９）へ移る、ステップ（３４）では、処理対象スキャン方向に画像をスキャンしながら、エッジペア検出処理が未処理のエッジ画素があるかどうかを判断し、未処理のエッジ画素が存在すればステップ（３５）へ移り、未処理のエッジ点が存在しない場合はステップ（３３）へ移る。
【００５７】
図４は、ステップ（３３）の一例を説明する図であり、図４ではスキャン方向を水平方向、垂直方向の２方向に設定した例であり、矢印の方向がスキャン方向を示す。
【００５８】
次に、エッジ間距離判断部２３において、ステップ（３５）で、スキャン方向に存在する同一ライン上で隣接する２つのエッジ画素の距離が予め設定した値より小さいかどうか判断し、小さい場合はステップ（３６）へ移り、小さくない場合はステップ（３４）へ移る。
【００５９】
次に、エッジ勾配判断部２４において、ステップ（３６）で、エッジ間距離判断部２３でスキャン方向に存在する距離が予め決めた値よりも小さい隣接する２つのエッジ画素の勾配がスキャン方向に対し「登り」か「下り」かを判断し、同じであればステップ（３４）へ移り、反対方向であればステップ（３７）へ移る。
【００６０】
図５は、ステップ（３６）の一例を説明する図であり、入力文字画像、及び入力文字画像上の水平方向のあるスキャンライン上の座標値を横軸、その座標における画像濃度レベルを縦軸にとったグラフを示す。エッジの勾配方向に関して、「登り」は低濃度から高濃度への変化を意味し、「下り」は高濃度から低濃度への変化を意味する。スキャンライン上の隣接する２つのエッジの勾配が、「登り」「登り」、あるいは「下り」「下り」という同じ方向を持つ関係である場合はエッジペアをカウントせず、「登り」「下り」、あるいは「下り」「登り」の場合、エッジペアを１だけインクリメントすると図５に示されたスキャンライン上のエッジペア数は１３である。
【００６１】
次に、エッジ間輝度差計算部２５において、ステップ（３７）で、エッジ勾配判断部２４で同一ライン上で距離が予め決めた値より小さく、勾配が反対である２つの隣接エッジ画素の輝度差が予め設定した範囲内かどうか判断し、範囲内であればステップ（３８）へ移り、範囲に入っていなければステップ（３４）へ移る。
【００６２】
図６は、ステップ（３７）の一例を説明する図であり、あるスキャンライン上の座標値を横軸、その座標における画像濃度レベルを縦軸にとったグラフである。図中では１組のエッジペア画素Ａ，Ｂの付近の輝度分布を示しており、エッジペア画素間の輝度レベルの差を矢印の範囲で示しており、ステップ（３７）ではこの差が予め設定した範囲に入るかどうかを判断する。
【００６３】
次に、エッジペア検出部２６において、ステップ（３８）で、スキャン方向で隣接する２つのエッジの距離が予め指定した値より小さく、勾配が互いに反対であり、且つ、エッジ間の輝度変化が予め設定した範囲内の場合、エッジペア数を１だけインクリメントする。
【００６４】
次に、文字輪郭線画像作成部２７において、ステップ（３９）で、スキャン方向毎に求められたエッジペア画素からなる文字輪郭線画像を作成する。
【００６５】
図７は、ステップ（３９）を補足する図であり、画像全体でのエッジペアの数え方を説明する図である。水平方向の全スキャンライン上のエッジペアの合計は１１、垂直方向の全スキャンライン上のエッジペアの合計は９であり、スキャン方向毎に求めたエッジペアの総数は、水平方向＋垂直方向＝１１＋９である。
【００６６】
図８は、図１の文字列情報抽出部５を実施する装置の構成の一実施形態例を示すブロック図である。
【００６７】
図８において、５１は、前記文字列矩形抽出部４により得られた文字列矩形画像を水平、及び垂直方向の各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を各ラインの文字列特徴値として計算する文字列特徴値計算部である。
【００６８】
５２は、該文字列特徴値計算部５１で得られた文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断部である。
【００６９】
図９は、図１、図８の文字列情報抽出部５の一実施形態例を説明するためのフローチャートである。
【００７０】
まず、ステップ（９１）で、図１の文字輪郭線検出部２で得られた文字輪郭線画像を読み込む。
【００７１】
図１０は、ステップ（９１）を補足する図であり、（ａ）は入力画像、（ｂ）は従来のＳｏｂｅｌオペレータを用いたエッジ検出方法により得た文字輪郭線画像、（ｃ）は、本発明による文字輪郭線画像の一例である。文字部分から選択的にエッジペア画素が得られていることが確認できる。この例の場合、ステップ（９１）では、（ｃ）の画像を読み込む。
【００７２】
ステップ（９２）では、図１の文字領域抽出部３で得られた文字領域画像を読み込む。
【００７３】
図１１は、ステップ（９２）を補足する図であり、文字領域画像の一例を示す。文献［４］の従来の文字領域抽出法を用いて得た文字領域画像である。
【００７４】
ステップ（９３）では、図１の文字列候補矩形抽出部４で得られた文字列候補矩形画像を読み込む。
【００７５】
図１２は、ステップ（９３）を補足する図であり、図１１の文字列領域画像中に文献［３］の従来の文字列候補矩形抽出法を用いて得た横書きの文字列の矩形を示したものである。矩形内に文字列は全て含まれるが、文字列の正確な高さの値を出すためには情報が不足である。図１２は説明の便宜上、文字列矩形は一つだけ選択して示した。
【００７６】
ステップ（９４）では、ステップ（９３）で読み込んだ一つ、あるいは複数の文字列矩形のうち、文字列情報抽出処理が未処理の画像があるかどうか判断し、未処理の画像があればステップ（９５）に移り、未処理の画像がなければステップ（９９）に移る。文字列矩形が図１２に示したものの場合、以後の処理対象になる文字列矩形は一つになる。
【００７７】
ステップ（９５）では、文字列情報抽出の処理対象である文字列候補矩形中で、文字列特徴量を計算する処理が未処理のラインがあるかどうか判断し、未処理のラインが存在する場合、ステップ（９６）に移り、未処理のラインが存在しない場合、ステップ（６４）に移る。
【００７８】
ステップ（９６）では、文字列情報抽出処理対象の文字列候補矩形の中の文字列特徴量を計算する処理対象のライン上に含まれるステップ（９２）で読み込まれた文字領域画像中の文字領域の個数を数える。
【００７９】
図１２は、ステップ（９６）を補足する図でもあり、ステップ（９２）で読み込まれた文字領域画像中で、ステップ（９３）で読み込まれた横書きの卒字列候補矩形の範囲を示す。この場合、矩形中の注目水平ライン上の文字領域の個数は１６である。
【００８０】
ステップ（９７）では、文字列情報抽出処理対象の文字列候補矩形の中の文字列特徴量を計算する処理対象のライン上に含まれるステップ（９１）で読み込まれたエッジペア画像中のエッジペア画素の個数を数える。
【００８１】
図１３は、ステップ（９７）を補足する図であり、ステップ（９１）で読み込まれた文字輪郭線画像中で、ステップ（９３）で読み込まれた横書きの文字列候補矩形の範囲を示す。矩形中の注目水平ライン上の文字輪郭線画素の個数は３０個である。
【００８２】
ステップ（９８）では、文字列情報抽出処理対象の文字列候補矩形の中の文字列特徴量を計算する処理対象のライン上で、ステップ（９６）及びステップ（９７）で求めた文字領域の個数と文字輪郭線画素の個数を掛け合わせた値を文字列特徴値として計算する。
【００８３】
ステップ（９９）は、水平、及び垂直の各方向のライン毎に求めた文字列特徴値が予め設定した閾値以上の場合、該ラインを文字列ラインと判断し、閾値より小さい場合、該ラインを背景部のラインと判断する。
【００８４】
ただし、文字列特徴値は、必ずしもステップ（９８）のようにライン上の文字輪郭線画素の個数と文字領域の個数の積で定義しなくともよい。文字輪郭線画素の個数と文字領域の個数をともに利用し、文字列に載るラインと載らないラインを判別できれば他の定義でもよい。例えば、ライン上の文字輪郭線画素の個数と文字領域の個数のそれぞれの合計を独立に予め設定した閾値と比較し、両者ともに閾値以上の場合、該ラインを文字列ラインと判断してもよい。あるいは、ライン上の文字輪郭線画素の個数と文字領域の個数のそれぞれの合計に予め設定した重みを掛けあわせて、両者の和をとり、この値が予め設定した閾値以上の場合、該ラインを文字列ラインと判断するなどしてもよい。
【００８５】
図１４は、図９中のステップ（９９）、及びステップ（９９）の処理内容を補足するためのものであり、文献［３］の従来の文字列矩形抽出法で抽出した文字列矩形をやや細い実線で囲み、本発明により抽出した文字列矩形をやや太い実線で囲んだ画像を示す。また、画像の横に文献［３］の従来の方法による文字列矩形の水平ライン毎の文字列特徴値の分布の模式図を示す。従来の方法よりも正確に文字列の矩形が抽出できていることが確認できる。これは、図１２、図１３より、矩形内の文字部に関しては、実際の画像中の文字表示部に相当する部分から文字輪郭線画素、及び文字領域ともに抽出できているが、矩形内の背景部に関しては文字輪郭線画素と文字領域が必ずしもともに存在せず、文字列特徴値の一例として文字輪郭画素と文字領域の個数の積をとると、文字部のラインからは高い値が得られ、背景部のラインからは文字部よりも極めて低い値が得られ、両者を分離しやすい、文字列特徴値の分布が得られるためである。
【００８６】
図１５は、本発明による上記の実施形態例の文字列情報抽出装置を映像中のテロップ文字が表示されている画像に対して適用し、文字列情報を抽出する装置の一実施形態例を説明するための図である。
【００８７】
図１５において、１５１は、映像中のテロップ文字が表示されている画像を入力するテロップ表示画像入力記憶部である。
【００８８】
１５２は、前記テロップ表示画像入力記憶部１５１により入力された画像に対し、前述の文字列情報抽出装置により得た文字列矩形を入力し、その文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は、該文字列矩形に囲まれる文字列は横書きであると判断し、垂直方向の長さが長い場合は、該文字列矩形に囲まれる文字列は縦書きであると判断するテロップ文字列方向判断部である。
【００８９】
なお、前述の文字列情報抽出装置と本文字列情報抽出装置とは別体に構成しても良いし、本文字列情報抽出装置のテロップ文字列方向判断部内に内蔵させても構わない。
【００９０】
１５３は、該文字列方向判断部１５２で得られた文字列方向が横書きの場合、該文字列矩形の最も上側のラインと最も下側のラインから文字列の高さを求め、テロップ文字列が縦書きの場合、該文字列矩形の最も左側のラインと最も右側のラインから文字列の幅を求めるテロップ文字列情報抽出部である。
【００９１】
１５４は、該テロップ文字列情報抽出部１５３により抽出したある映像中に表示される複数のテロップ文字の高さ、及び幅の値を予め決められた分類方法を用いて、高さ、幅に関して近い値を持つテロップ文字列同士を一つのカテゴリとして抽出する複数テロップ文字列情報分類部である。
【００９２】
１５５は、該複数テロップ文字列情報分類部１５４により分類され、一つあるいは複数のテロップ文字列カテゴリに対し、予め決められた規則を用いて、意味付けを行うテロップ文字列意味付け部である。
【００９３】
１５６は、該テロップ文字列意味付け部の結果を出力する結果出力部である。
【００９４】
１５７は、前記テロップ表示画像入力記憶部１５１、テロップ文字列方向判断部１５２、テロップ文字列情報抽出部１５３、複数テロップ文字列情報分類部１５４、テロップ文字列意味付け部１５５、結果出力部１５６の処理実効を制御する処理制御部である。
【００９５】
図１６は、本発明の文字列情報抽出装置をニュース映像中のテロップ文字表示画像に対して適用した例を示す模式図である。
【００９６】
図１６の（ａ）は、ニュース映像中の全てのテロップ文字が表示されている画像を示す。見出しのテロップは大きく、それ以外のテロップは小さい。図１６の（ｂ）は、（ａ）の全画像から本発明の文字列情報抽出装置を用いて抽出したテロップ文字の高さ、幅の情報に関して、横軸を高さ、幅の値、縦軸をテロップ文字列の個数とするヒストグラムで表した模式図である。図１６の（ｃ）は、（ｂ）のヒストグラムを予め決めた方法（例えば、判別分析法）を用いて、大小の二つのカテゴリに分割した例を示す模式図である。図１６の（ｄ）は、（ｃ）のカテゴライズの結果により、大きい文字列カテゴリに含まれるテロップ文字が表示される画面だけを取り出し、ニュース映像の見出しだけを表示した例である。これにより大量のニュース映像を、見出し画面だけを参照するだけで短時間で把握することが可能となる。
【００９７】
なお、図１、図２、図８、図１５を用いて示した装置各部の一部もしくは全部の機能を、コンピュータを用いて実現することができること、あるいは、それらの図面とともに図３、図９を用いて示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し、提供し、配布することが可能である。
【００９８】
【発明の効果】
以上の説明の通り、本発明によれば、文字を含む画像に対して、文字輪郭線検出処理、文字領域抽出処理、文字列候補矩形抽出処理を行い、文字列候補矩形の中で、文字輪郭線情報と文字領域情報を組み合わせて各ライン毎に文字列特徴値を計算し、閾値処理することで、従来よりも正確に文字列の高さ、あるいは幅の値を求めることが可能となる。
【００９９】
さらには、映像中のテロップ文字が表示される画像、複数枚に対して本発明を適用し、抽出された文字列の高さ情報を分類し、分類された各カテゴリ毎にあらかじめ決めた規則で意味付けを行うことが可能となり、映像の構造化を行う上で有効な情報となる。例えば、ニュース映像中のテロップ文字画像に本発明を適用して、文字列の正確な高さ情報を抽出し、映像中の全てのテロップ文字画像中の文字列高さ情報を大小二つのカテゴリに分類し、大きいほうのカテゴリ中のテロップ文字画面を抽出することでニュース項目の見出しテロップだけを選択的に参照することが可能となる。
【図面の簡単な説明】
【図１】本発明を実施する装置の構成の一実施形態例を示すブロック図である。
【図２】図１中の文字輪郭線検出部を実施する装置の構成の一実施形態例を示すブロック図である。
【図３】図１中、及び図２に示した文字輪郭線検出部の処理の一実施形態例を説明するためのフローチャートである。
【図４】（ａ），（ｂ）は、図３中のステップ（３３）の処理内容を補足説明するためのものであり、スキャン方向の例を示す図である。
【図５】図３中のステップ（３６）の処理内容を補足説明するためのものであり、エッジ勾配の判断、及びエッジペアのカウントの例を示す図である。
【図６】図３中のステップ（３７）の処理内容を補足説明するためのものであり、エッジ間の輝度差の算出対象箇所を示す図である。
【図７】（ａ），（ｂ）は、図３中のステップ（３９）の処理内容を補足説明するためのものであり、画像全体でのエッジペアの数え方の例を示す図である。
【図８】図１中の文字列情報抽出部を実施する装置の構成の一実施形態例を示すブロック図である。
【図９】図１中、及び図８に示した文字列情報抽出部の処理の一実施形態例を説明するためのフローチャートである。
【図１０】（ａ），（ｂ），（ｃ）は、図９中のステップ（９１）の処理内容を補足説明するためのものであり、入力画像、従来手法による文字輪郭線画像、本発明による文字輪郭線検出画像の一例を示す図である。
【図１１】図９中のステップ（９２）の処理内容を補足説明するためのものであり、文字領域画像の一例を示す図である。
【図１２】図９中のステップ（９６）の処理内容を補足説明するためのものであり、文字領域画像中の文字列候補矩形範囲の一例、及び注目ライン上の文字領域の個数を示す図である。
【図１３】図９中のステップ（９７）の処理内容を補足するためのものであり、文字輪郭線画像中の文字列候補矩形範囲の一例、及び注目ライン上の文字輪郭線画素の個数を示す図である。
【図１４】図１０の入力画像に対し得られた文献［３］の従来方法による文字列矩形と本発明により得られた文字列矩形を図１１の文字領域画像上に示し、画像の横に、文献［３］の従来方法により得られた矩形の範囲内の各水平ライン毎の文字列特徴値の分布を示した図である。
【図１５】映像中のテロップ文字画像の文字列情報を抽出してテロップ文字画像に意味付けを行う装置の構成の一例を示すブロック図である。
【図１６】（ａ），（ｂ），（ｃ），（ｄ）は、本発明の文字列情報抽出装置をニュース映像中のテロップ文字表示画像に対して適用した例を示す模式図である。
【符号の説明】
１…画像入力記憶部
２…文字輪郭線検出部
２１…エッジ検出部
２２…スキャン制御部
２３…エッジ間距離判断部
２４…エッジ勾配判断部
２５…エッジ間輝度差判断部
２６…エッジペア検出部
２７…文字輪郭線画像作成部
３…文字領域抽出部
４…文字列矩形抽出部
５…文字列情報抽出部
５１…文字列特徴値計算部
５２…文字列ライン判断部
６…結果出力部
７…処理制御部
１５１…テロップ表示画像入力記憶部
１５２…テロップ文字列方向判断部
１５３…テロップ文字列情報抽出部
１５４…複数テロップ文字列情報分類部
１５５…テロップ文字列意味付け部
１５６…結果出力部
１５７…処理制御部
【発明の属する技術分野】
本発明は、文字列情報抽出技術に関し、特に画像処理、パターン認識の技術を利用して、画像中に存在する文字列の表示位置、高さ、幅の検出に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
画像中の文字列の位置情報を検出する技術に関しては、従来、下記の文献［１］，［２］，［３］等で提案されている。
【０００３】
［１］Ｙ．Ａｒｉｋｉ ａｎｄ Ｔ．Ｔｅｒａｎｉｓｈｉ，“Ｉｎｄｅｘｉｎｇ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ＴＶ ＮｅｗｓＡｒｔｉｃｌｅｓ Ｂａｓｅｄ ｏｎ Ｔｅｌｏｐ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｐｒｏｃ．ｏｆ ４ｔｈ ＩＣＤＡＲ，ｐｐ．４２２−４２７，１９９７。
【０００４】
［２］Ｙｕ Ｚｈｏｎｇ，Ｋａｌｌｅ Ｋａｒｕ，ａｎｄ Ａｎｌｉ Ｋ．Ｊａｉｎ、“Ｌｏｃａｔｉｎｇ Ｔｅｘｔ ｉｎ Ｃｏｍｐｌｅｘ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，Ｐｒｏｃ．ｏｆ ３ｒｄ ＩＣＤＡＲ，ｐｐ．１４６−１４９，１９９５。
【０００５】
［３］Ｓ．Ｋｕｒａｋａｋｅ，Ｈ．Ｋｕｗａｎｏ，ａｎｄ Ｋ．Ｏｄａｋａ、“Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｖｉｓｕａｌ Ｆｅａｔｕｒｅ Ｍａｔｃｈｉｎｇ ｏｆ Ｔｅｘｔ Ｒｅｇｉｏｎ ｉｎ Ｖｉｄｅｏ ｆｏｒ Ｃｏｎｃｅｐｔｕａｌ Ｉｎｄｅｘｉｎｇ”，Ｐｒｏｃ．ｏｆ ＳＰＩＥ Ｓｔｏｒａｇｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｉｍａｇｅ Ｖｉｄｅｏ Ｄａｔａｂａｓｅ Ｖ，ｖｏｌ．３０２２，ｐｐ．３６８−３７９，１９９７。
【０００６】
文献［１］〜［３］はそれぞれ、ＣＤカバー画像や映像中のフレーム画像等、複雑な背景中に表示された文字列が検出対象であり、文字表示部の画像空間内の輝度分布、及び領域抽出結果を利用した方法になっている。
【０００７】
文献［１］［２］は、画像内の文字部が周囲の背景部との境界部に大きなコントラストを有し、文字輪郭部からはエッジ成分が多く検出されるという特徴に着目した方法である。画像にエッジ検出法を適用し、エッジ画素を文字輪郭とみなし、エッジ画素を多く含むラインを文字列ラインとして定義し、文字列ラインが空間的に集中している部分を文字列ライン群とし、文字列ライン群の両端ラインを文字列の境界ラインとみなし、高さや幅を計算している。
【０００８】
文献［３］は、文字領域抽出結果を利用した方法である。決められた方法で入力画像から二値の文字領域画像を得る。文字領域を膨張させ、縦、あるいは横に一定長以上の長さを持つ膨張領域に含まれる領域を文字領域とみなし、該膨張領域を囲む矩形を文字列矩形として抽出する。矩形の高さや幅を文字列の高さ、幅としている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記文献［１］〜［３］の従来技術とも文字以外の背景部分の影響を十分に検討していないという問題点がある。
【００１０】
文献［１］［２］は、文字輪郭部のコントラストに着目し、エッジ画素を文字輪郭とみなす方法であるが、文字以外の部分からもコントラストの高い部分が存在する場合には、エッジは多数検出される。つまり、文献［１］［２］のように、エッジ検出処理で得られたエッジ画素を単純にすべて文字輪郭線とみなしてしまっては、文字の存在しない背景部に文字が存在すると誤って判断することもあり、正確な文字列の位置を検出することが困難である。また、映像中の文字表示に関しては、文字の表示効果等により文字の境界からのエッジが少ない場合もある。この場合も同じく、文字列ラインの決定精度が不安定になり、文字列の高さや幅を正確に求めることが困難となる問題点がある。
【００１１】
また、文献［３］では、文字領域抽出処理の段階で、誤って抽出した背景中のノイズ領域が文字列の周りに残る場合、膨張領域の中に背景中のノイズ領域も含まれ、正確な文字列矩形を求めることが困難となり、その結果、文字列の高さや幅も正確に求まらないという問題点がある。
【００１２】
上記のように従来の方法は、文字輪郭情報、あるいは文字領域情報のどちらか一方にのみ着目しているため、背景部から受ける影響を十分に取り除くことができず、文字列情報の抽出が困難な場合があった。
【００１３】
本発明は、従来手法で問題となった文字列周囲の背景中のコントラストやノイズ領域の影響を極力抑制し、正確な文字列の高さや幅の情報を抽出することができる文字列情報抽出装置及び方法を提供することを課題としている。
【００１４】
【課題を解決するための手段】
前記の課題を解決するために、本発明による文字列情報抽出装置は、入力画像に対して輝度値が急激に変化する画素を文字の輪郭線上の画素として検出し、文字輪郭線画像を得る文字輪郭線検出部と、該入力画像に対して画像内で局所的に輝度値が均一であり連結する複数の画素を文字領域として抽出し文字領域画像を得る文字領域抽出部と、該入力画像に対して画像中の文字列を囲む矩形画像を抽出する文字矩形抽出部と、該矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線画像から文字輪郭画素の個数を、該文字領域画像から文字領域の個数を各ライン毎にカウントし、該文字輪郭画素の個数及び該文字領域の個数がともに高い値を取るラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン及び最も下側の文字列ライン並びに垂直方向ライン中の最も左側の文字列ライン及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出部と、該文字列矩形の抽出の結果を出力する結果出力部とを、具備することを特徴とする。
【００１５】
また、前記文字輪郭線検出部が、前記入力画像の中で輝度値が急激に変化する画素をエッジ画素として検出しエッジ画像を得るエッジ検出部と、該エッジ画像のスキャン方向を指定するスキャン方向制御部と、該指定されたスキャン方向に該エッジ画像をスキャンし、同一のライン上で隣接する２つのエッジ画素を選択し、該２つのエッジ画素についてライン上の距離が予め決めた値より小さいかどうか判断するエッジ間距離判断部と、該距離が予め決めた値より小さいと判断された２つのエッジ画素の勾配が反対であるかどうか判断するエッジ勾配正負判断部と、該勾配正負が反対であると判断された２つのエッジ画素間の輝度差が予め決めた範囲内であるかどうか判断するエッジ間輝度差計算部と、該輝度差が予め決めた範囲内であると判断された２つのエッジ画素を一組のエッジペアとして検出するエッジペア検出部と、該エッジペア画素を該指定された全てのスキャン方向で求め、該求めた全エッジペア画素を文字輪郭線とみなして文字輪郭線画像を作成する文字輪郭線画像作成部とを、具備することを特徴とする。
【００１６】
また、前記文字列情報抽出部が、各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を文字列特徴値として計算する文字列特徴値計算部と、該文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断部とを、具備することを特徴とする。
【００１７】
また、テロップ文字が表示されている映像中の各入力画像に対し、前記の文字列情報抽出装置により得た文字列矩形を入力し、該文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は横書きであると判断し、垂直方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は縦書きであると判断するテロップ文字列方向判断部と、該テロップ文字列が横書きであると判断された場合は該文字列矩形の最も上側のラインと最も下側のラインからテロップ文字列の高さを求め、該テロップ文字列が縦書きであると判断された場合は該文字列矩形の最も左側のラインと最も右側のラインからテロップ文字列の幅を求めるテロップ文字列情報抽出部と、該映像中の各入力画像から求めた複数の該テロップ文字列の高さの値又は該テロップ文字列の幅の値が近いテロップ文字列同士を一つのカテゴリとして分類する複数テロップ文字列情報分類部と、該分類された一つあるいは複数のカテゴリに対し予め決められた規則を用いて意味付けを行うテロップ文字列意味付け部と、該意味付けの結果を出力する結果出力部とを、具備することを特徴とする。
【００１８】
なお、この構成において、テロップ文字列方向判断部は、前記の文字列情報抽出装置を含む構成であっても良い。
【００１９】
同じく、前記の課題を解決するために、本発明による文字列情報抽出方法は、入力画像に対して輝度値が急激に変化する画素を文字の輪郭線上の画素として検出し、文字輪郭線画像を得る文字輪郭線検出手順と、該入力画像に対して画像内で局所的に輝度値が均一であり連結する複数の画素を文字領域として抽出し、文字領域画像を得る文字領域抽出手順と、該入力画像に対して画像中の文字列を囲む矩形画像を抽出する文字列矩形抽出手順と、該矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線画像から文字輪郭画素の個数を、該文字領域画像から文字領域の個数を各ライン毎にカウントし、該文字輪郭画素の個数及び該文字領域の個数がともに高い値を取るラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン及び最も下側の文字列ライン並びに垂直方向ライン中の最も左側の文字列ライン及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出手順と、該文字列矩形の抽出の結果を出力する結果出力手順とを、有することを特徴とする。
【００２０】
また、前記文字輪郭線検出手順では、前記入力画像の中で輝度値が急激に変化する画素をエッジ画素として検出するエッジ検出手順と、該エッジ画像のスキャン方向を指定するスキャン方向制御手順と、該指定されたスキャン方向に該エッジ画像をスキャンし、同一のライン上で隣接する２つのエッジ画素を選択し、該２つのエッジ画素についてライン上の距離が予め決めた値より小さいかどうか判断するエッジ間距離判断手順と、該距離が予め決めた値より小さいと判断された２つのエッジ画素の勾配が反対であるかどうか判断するエッジ勾配正負判断手順と、該勾配正負が反対であると判断された２つのエッジ画素間の輝度差が予め決めた範囲内であるかどうか判断するエッジ間輝度差計算手順と、該輝度差が予め決めた範囲内であると判断された２つのエッジ画素を一組のエッジペアとして検出するエッジペア検出手順と、該エッジペア画素を該指定された全てのスキャン方向で求め、該求めた全エッジペア画素を文字輪郭線とみなして文字輪郭線画像を作成する文字輪郭線画像作成手順とを、有することを特徴とする。
【００２１】
また、前記文字列情報抽出手順では、各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を文字列特徴値として計算する文字列特徴値計算手順と、該文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断手順とを、有することを特徴とする。
【００２２】
テロップ文字が表示されている映像中の各入力画像に対し、前記の文字列情報抽出方法により得た文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は横書きであると判断し、垂直方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は縦書きであると判断するテロップ文字列方向判断手順と、該テロップ文字列が横書きであると判断された場合は該文字列矩形の最も上側のラインと最も下側のラインからテロップ文字列の高さを求め、該テロップ文字列が縦書きであると判断された場合は該文字列矩形の最も左側のラインと最も右側のラインからテロップ文字列の幅を求めるテロップ文字列情報抽出手順と、該映像中の各入力画像から求めた複数の該テロップ文字列の高さの値又は該テロップ文字列の幅の値が近いテロップ文字列同士を一つのカテゴリとして分類する複数テロップ文字列情報分類手順と、該分類された一つあるいは複数のカテゴリに対し予め決められた規則を用いて意味付けを行うテロップ文字列意味付け手順と、該意味付けの結果を出力する結果出力手順とを、有することを特徴とする。
【００２３】
また、前記の文字列情報抽出方法における手順をコンピュータに実行させるプログラムとして該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００２４】
本発明では、文字輪郭線情報と文字領域情報を組み合わせることで、文字列の情報だけを選択的に抽出し、文字列の高さや幅の情報を正確に抽出できるようにしている。
【００２５】
すなわち、画像中の文字部、及び周囲部に関して、一般にエッジ画素の数と文字領域抽出結果の領域の個数には以下のような傾向がある。エッジ分布に関しては、文字部のエッジ数は、文字周囲の背景部のエッジ数よりも多い傾向がある。文字と背景間のコントラストが高く、背景部に高コントラスト部が少ない理想的な場合には、文字部から得られるエッジ画素が背景部から得られるそれに比べて圧倒的に多い。ただし、実際には映像中のテロップ文字などにおいて、文字表示効果の影響で文字境界のコントラストが低く、さらに文字周囲の背景に高コントラスト部が多く存在することがあり、文字部と背景部のエッジ数には際立った差が見られない場合がある。領域分布に関しても、同じく文字の領域数は、文字周囲の背景部のノイズ領域数よりも多い傾向にある。文字部の周囲の背景部に高コントラスト部やあるいは文字部の濃度に近い濃度を持つ部分が存在しなければ、文字領域のみが選択的に抽出され、周囲からノイズ領域は抽出されない。ただし、映像中のテロップ文字に付着する飾り効果等、文字周囲の背景部に文字と類似するようなコントラスト部を持ち、さらに、文字部の濃度に近い部分が存在する場合は、文字周囲の背景からも領域が多く抽出される。そこで、本発明では、各ラインのエッジペア数と領域の数がともに高い値をとるラインを文字列の存在するラインであると判断することで、文字部のラインと背景部のラインの境界を従来方法よりも精度よく求めることができ、より正確な文字列の高さ・幅情報を得ることが可能となる。
【００２６】
また、画像中の文字部、及び周囲部に関して、一般にエッジ分布の特徴には、以下のような傾向がある。文字部からは、文字と背景の境界のコントラストが高いことから、文字輪郭部からエッジ画素が得られることが多く、つまり隣接する２つのエッジ画素は、その距離がほぼ線幅値に近く、また、濃度勾配の正負が反対であり、さらには、エッジの内側画素は文字内部のため濃度値がほぼ等しい、という特徴がある。これに対し、背景部の濃度分布は任意であるため、必ずしも、文字部と同等な特徴は持たない。そこで、本発明において定義したエッジペア画素を検出することで、文字部からのエッジ画素を従来方法よりも精度よく選択的に検出することが可能となる。
【００２７】
また、通常、ニュース映像などの放送映像では、最初に見出しを表すテロップ文字が画面上で大きく表示され、見出し以外のニュース内容の詳細を説明するテロップは見出しのテロップよりも小さく表示される等、重要な文字を大きく表示する傾向がある。そこで本発明では、映像中の複数のテロップ文字列の方向を判断し、それを基に文字列の高さと幅の情報を分類し、高さや幅の値が大きいテロップが表示されている画面を映像中のテロップ画面の中でも重要度の高い画面として意味付けることで、映像の構造化を行う上で有益な情報として利用することが可能となる。
【００２８】
【発明の実施の形態】
以下、本発明について図面を参照して実施の形態ととも詳細に説明する。
【００２９】
図１は、本発明による文字列情報抽出装置、及び方法の構成の一実施形態例を示すブロック図である。
【００３０】
図１において、１は、画像データを、例えばコンピュータに入力し、メモリに記憶する画像入力記憶部である。
【００３１】
２は、画像入力記憶部１で入力、記憶された画像データに対し、輝度値が急激に変化する画素を文字輪郭線画素として検出し、文字輪郭線画像を作成する文字輪郭線検出部である。
【００３２】
３は、画像入力記憶部１で入力、記憶された画像データに対し、画像内で局所的に輝度値が均一であり、連結する複数の画素を文字領域として抽出し、文字領域画像を得る文字領域抽出部である。
【００３３】
４は、画像入力記憶部１で入力、記憶された画像データに対し、予め決められた文字列矩形抽出法を用いるか、あるいは、予め画像内の文字列を囲む範囲を指定することにより、画像中の文字列を囲む矩形画像を得る文字列矩形抽出部である。
【００３４】
５は、該文字列矩形抽出部４により得られた画像中の文字列を含む矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線検出部から得られた文字輪郭画素の個数と該文字領域抽出部から得られた文字領域の個数を求め、各ライン毎に文字輪郭画素の個数、及び文字領域の個数がともに高い値をとる場合、該ラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン、及び最も下側の文字列ライン、垂直方向ライン中の最も左側の文字列ライン、及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出部である。
【００３５】
６は、文字列情報抽出部５の結果を出力する結果出力部である。
【００３６】
７は、前記画像入力記憶部１、文字輪郭線検出部２、文字領域抽出部３、文字列矩形抽出部４文字列情報抽出部５、結果出力部６の処理を実行するための制御を行う処理制御部である。
【００３７】
図１の構成において、本発明の一実施形態例を説明する。
【００３８】
まず、テレビやビデオ、あるいはカメラ等の画像情報を画像入力記憶部１によりコンピュータ上のメモリに記憶する。
【００３９】
記憶された画像データに対し、文字輪郭線検出部２において、画像中の輝度が急激に変化する画素を検出するための従来提案されているエッジ検出方法、例えば、Ｓｏｂｅｌオペレータを用いる方法やＲｏｂｉｎｓｏｎオペレータを用いる方法を用いて、エッジ画素を検出し、これを文字輪郭線画素とみなし文字輪郭線画像を作成する。
【００４０】
また、文字領域抽出部３では、画像入力記憶部１で記憶された画像データに対し、予め決められた文字領域抽出法（例えば、文献［４］「桑野、新井、倉掛、杉村、“ライン単位の二値化による映像中文字領域の抽出方法”、信学秋大、Ｄ−１２−４２，１９９８」で提案されている方法）を用いて、文字領域画像を作成する。
【００４１】
また、文字列矩形抽出部４では、画像入力記憶部１で記憶された画像データに対し、先に示した文献［１］〜［３］等で提案されている方法を用いるか、予め手入力等により矩形の範囲を設定することで、文字列を囲む矩形画像を抽出する。
【００４２】
文字列情報抽出部５では、文字列矩形抽出部４で抽出された文字列矩形画像内で文字輪郭線検出部２で求めた文字輪郭画素の個数と文字領域抽出部３で求めた文字領域の個数を水平、垂直の各ライン毎に数え、文字輪郭画素の個数、及び文字領域の個数がともに高い値をとる場合、該ラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン、及び最も下側の文字列ライン、垂直方向ライン中の最も左側の文字列ライン、及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する。
【００４３】
結果出力部６では、文字列情報抽出部５の結果をコンピュータの上のメモリやディスク上のファイル、あるいは、ディスプレイ上に表示などして出力する。
【００４４】
処理制御部７では、一連の処理を行う上での同期とりを行う。
【００４５】
図２は、図１の文字輪郭線検出部２を実施する装置の構成の一実施形態例を示すブロック図である。
【００４６】
図２において、２１は図１の画像入力記憶部１で入力された画像に対し、予め決められた方法でエッジ検出処理を行うエッジ検出部である。
【００４７】
２２は、エッジ検出処理を施した各フレーム画像に対して、エッジヘアカウント処理を行うスキャン方向を制御するスキャン制御部である。
【００４８】
２３は、スキャン制御部２２により指定されたスキャン方向に前記エッジ画像をスキャンし、同一のスキャンライン上で隣接する２つのエッジ画素を選択し、選択した２つのエッジ画素について、ライン上の距離が予め決められた値より小さいかどうか判断するエッジ間距離判断部である。
【００４９】
２４は、エッジ間距離判断部２３により同一のスキャンライン上で距離が予め決められた値より小さいと判断された隣接する２つのエッジの勾配が反対であるかどうか判断するエッジ勾配判断部である。
【００５０】
２５は、エッジ勾配判断部２４により、同一ライン上で距離が予め決められた値よりも小さく、且つ勾配正負が反対であると判断された隣接する２つのエッジの内側画素の輝度差が予め設定された範囲内にあるかどうか判断するエッジ間輝度差判断部である。
【００５１】
２６は、エッジ間輝度差判断部２５により、同一ライン上で距離が予め決められた値よりも小さく、且つ勾配正負が反対であり、且つ内側画素の輝度差が予め設定された範囲内にある隣接する２つのエッジ点を一組のエッジペアと定義し、カウントするエッジペア検出部である。
【００５２】
２７は、エッジペア検出部２６により得られたエッジペアをスキャン制御部２２により指定された全てのスキャン方向で求め、文字輪郭線画像を作成する文字輪郭線画像作成部である。
【００５３】
図３は、図１、及び図２の文字輪郭線検出部２の処理の実施形態例を説明するためのフローチャートである。
【００５４】
前記エッジ検出部２１において、ステップ（３１）で、前記画像入力記憶部１で入力された画像をコンピュータ上のメモリに読み、この画像に対し、ステップ（３２）で、予め決められたエッジ検出方法を用いてエッジの勾配の方向情報も伴ったエッジ検出処理を行う。検出されたエッジ画素情報はスキャン制御部２２に渡される。
【００５５】
勾配方向情報を伴ったエッジ検出には、例えばＳｏｂｅｌのエッジ検出オペレータやＲｏｂｉｎｓｏｎのエッジ検出オペレータ等の従来提案されている方法を用いればよい。
【００５６】
次に、スキャン制御部２２において、ステップ（３３）で、エッジ検出部２１で検出されたエッジ画素に対し、エッジペア検出処理が未処理のスキャン方向が存在するかどうかを判断し、未処理のスキャン方向が存在すれば処理対象スキャン方向を指定し、ステップ（３４）へ移り、未処理のスキャン方向が存在しない場合はステップ（３９）へ移る、ステップ（３４）では、処理対象スキャン方向に画像をスキャンしながら、エッジペア検出処理が未処理のエッジ画素があるかどうかを判断し、未処理のエッジ画素が存在すればステップ（３５）へ移り、未処理のエッジ点が存在しない場合はステップ（３３）へ移る。
【００５７】
図４は、ステップ（３３）の一例を説明する図であり、図４ではスキャン方向を水平方向、垂直方向の２方向に設定した例であり、矢印の方向がスキャン方向を示す。
【００５８】
次に、エッジ間距離判断部２３において、ステップ（３５）で、スキャン方向に存在する同一ライン上で隣接する２つのエッジ画素の距離が予め設定した値より小さいかどうか判断し、小さい場合はステップ（３６）へ移り、小さくない場合はステップ（３４）へ移る。
【００５９】
次に、エッジ勾配判断部２４において、ステップ（３６）で、エッジ間距離判断部２３でスキャン方向に存在する距離が予め決めた値よりも小さい隣接する２つのエッジ画素の勾配がスキャン方向に対し「登り」か「下り」かを判断し、同じであればステップ（３４）へ移り、反対方向であればステップ（３７）へ移る。
【００６０】
図５は、ステップ（３６）の一例を説明する図であり、入力文字画像、及び入力文字画像上の水平方向のあるスキャンライン上の座標値を横軸、その座標における画像濃度レベルを縦軸にとったグラフを示す。エッジの勾配方向に関して、「登り」は低濃度から高濃度への変化を意味し、「下り」は高濃度から低濃度への変化を意味する。スキャンライン上の隣接する２つのエッジの勾配が、「登り」「登り」、あるいは「下り」「下り」という同じ方向を持つ関係である場合はエッジペアをカウントせず、「登り」「下り」、あるいは「下り」「登り」の場合、エッジペアを１だけインクリメントすると図５に示されたスキャンライン上のエッジペア数は１３である。
【００６１】
次に、エッジ間輝度差計算部２５において、ステップ（３７）で、エッジ勾配判断部２４で同一ライン上で距離が予め決めた値より小さく、勾配が反対である２つの隣接エッジ画素の輝度差が予め設定した範囲内かどうか判断し、範囲内であればステップ（３８）へ移り、範囲に入っていなければステップ（３４）へ移る。
【００６２】
図６は、ステップ（３７）の一例を説明する図であり、あるスキャンライン上の座標値を横軸、その座標における画像濃度レベルを縦軸にとったグラフである。図中では１組のエッジペア画素Ａ，Ｂの付近の輝度分布を示しており、エッジペア画素間の輝度レベルの差を矢印の範囲で示しており、ステップ（３７）ではこの差が予め設定した範囲に入るかどうかを判断する。
【００６３】
次に、エッジペア検出部２６において、ステップ（３８）で、スキャン方向で隣接する２つのエッジの距離が予め指定した値より小さく、勾配が互いに反対であり、且つ、エッジ間の輝度変化が予め設定した範囲内の場合、エッジペア数を１だけインクリメントする。
【００６４】
次に、文字輪郭線画像作成部２７において、ステップ（３９）で、スキャン方向毎に求められたエッジペア画素からなる文字輪郭線画像を作成する。
【００６５】
図７は、ステップ（３９）を補足する図であり、画像全体でのエッジペアの数え方を説明する図である。水平方向の全スキャンライン上のエッジペアの合計は１１、垂直方向の全スキャンライン上のエッジペアの合計は９であり、スキャン方向毎に求めたエッジペアの総数は、水平方向＋垂直方向＝１１＋９である。
【００６６】
図８は、図１の文字列情報抽出部５を実施する装置の構成の一実施形態例を示すブロック図である。
【００６７】
図８において、５１は、前記文字列矩形抽出部４により得られた文字列矩形画像を水平、及び垂直方向の各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を各ラインの文字列特徴値として計算する文字列特徴値計算部である。
【００６８】
５２は、該文字列特徴値計算部５１で得られた文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断部である。
【００６９】
図９は、図１、図８の文字列情報抽出部５の一実施形態例を説明するためのフローチャートである。
【００７０】
まず、ステップ（９１）で、図１の文字輪郭線検出部２で得られた文字輪郭線画像を読み込む。
【００７１】
図１０は、ステップ（９１）を補足する図であり、（ａ）は入力画像、（ｂ）は従来のＳｏｂｅｌオペレータを用いたエッジ検出方法により得た文字輪郭線画像、（ｃ）は、本発明による文字輪郭線画像の一例である。文字部分から選択的にエッジペア画素が得られていることが確認できる。この例の場合、ステップ（９１）では、（ｃ）の画像を読み込む。
【００７２】
ステップ（９２）では、図１の文字領域抽出部３で得られた文字領域画像を読み込む。
【００７３】
図１１は、ステップ（９２）を補足する図であり、文字領域画像の一例を示す。文献［４］の従来の文字領域抽出法を用いて得た文字領域画像である。
【００７４】
ステップ（９３）では、図１の文字列候補矩形抽出部４で得られた文字列候補矩形画像を読み込む。
【００７５】
図１２は、ステップ（９３）を補足する図であり、図１１の文字列領域画像中に文献［３］の従来の文字列候補矩形抽出法を用いて得た横書きの文字列の矩形を示したものである。矩形内に文字列は全て含まれるが、文字列の正確な高さの値を出すためには情報が不足である。図１２は説明の便宜上、文字列矩形は一つだけ選択して示した。
【００７６】
ステップ（９４）では、ステップ（９３）で読み込んだ一つ、あるいは複数の文字列矩形のうち、文字列情報抽出処理が未処理の画像があるかどうか判断し、未処理の画像があればステップ（９５）に移り、未処理の画像がなければステップ（９９）に移る。文字列矩形が図１２に示したものの場合、以後の処理対象になる文字列矩形は一つになる。
【００７７】
ステップ（９５）では、文字列情報抽出の処理対象である文字列候補矩形中で、文字列特徴量を計算する処理が未処理のラインがあるかどうか判断し、未処理のラインが存在する場合、ステップ（９６）に移り、未処理のラインが存在しない場合、ステップ（６４）に移る。
【００７８】
ステップ（９６）では、文字列情報抽出処理対象の文字列候補矩形の中の文字列特徴量を計算する処理対象のライン上に含まれるステップ（９２）で読み込まれた文字領域画像中の文字領域の個数を数える。
【００７９】
図１２は、ステップ（９６）を補足する図でもあり、ステップ（９２）で読み込まれた文字領域画像中で、ステップ（９３）で読み込まれた横書きの卒字列候補矩形の範囲を示す。この場合、矩形中の注目水平ライン上の文字領域の個数は１６である。
【００８０】
ステップ（９７）では、文字列情報抽出処理対象の文字列候補矩形の中の文字列特徴量を計算する処理対象のライン上に含まれるステップ（９１）で読み込まれたエッジペア画像中のエッジペア画素の個数を数える。
【００８１】
図１３は、ステップ（９７）を補足する図であり、ステップ（９１）で読み込まれた文字輪郭線画像中で、ステップ（９３）で読み込まれた横書きの文字列候補矩形の範囲を示す。矩形中の注目水平ライン上の文字輪郭線画素の個数は３０個である。
【００８２】
ステップ（９８）では、文字列情報抽出処理対象の文字列候補矩形の中の文字列特徴量を計算する処理対象のライン上で、ステップ（９６）及びステップ（９７）で求めた文字領域の個数と文字輪郭線画素の個数を掛け合わせた値を文字列特徴値として計算する。
【００８３】
ステップ（９９）は、水平、及び垂直の各方向のライン毎に求めた文字列特徴値が予め設定した閾値以上の場合、該ラインを文字列ラインと判断し、閾値より小さい場合、該ラインを背景部のラインと判断する。
【００８４】
ただし、文字列特徴値は、必ずしもステップ（９８）のようにライン上の文字輪郭線画素の個数と文字領域の個数の積で定義しなくともよい。文字輪郭線画素の個数と文字領域の個数をともに利用し、文字列に載るラインと載らないラインを判別できれば他の定義でもよい。例えば、ライン上の文字輪郭線画素の個数と文字領域の個数のそれぞれの合計を独立に予め設定した閾値と比較し、両者ともに閾値以上の場合、該ラインを文字列ラインと判断してもよい。あるいは、ライン上の文字輪郭線画素の個数と文字領域の個数のそれぞれの合計に予め設定した重みを掛けあわせて、両者の和をとり、この値が予め設定した閾値以上の場合、該ラインを文字列ラインと判断するなどしてもよい。
【００８５】
図１４は、図９中のステップ（９９）、及びステップ（９９）の処理内容を補足するためのものであり、文献［３］の従来の文字列矩形抽出法で抽出した文字列矩形をやや細い実線で囲み、本発明により抽出した文字列矩形をやや太い実線で囲んだ画像を示す。また、画像の横に文献［３］の従来の方法による文字列矩形の水平ライン毎の文字列特徴値の分布の模式図を示す。従来の方法よりも正確に文字列の矩形が抽出できていることが確認できる。これは、図１２、図１３より、矩形内の文字部に関しては、実際の画像中の文字表示部に相当する部分から文字輪郭線画素、及び文字領域ともに抽出できているが、矩形内の背景部に関しては文字輪郭線画素と文字領域が必ずしもともに存在せず、文字列特徴値の一例として文字輪郭画素と文字領域の個数の積をとると、文字部のラインからは高い値が得られ、背景部のラインからは文字部よりも極めて低い値が得られ、両者を分離しやすい、文字列特徴値の分布が得られるためである。
【００８６】
図１５は、本発明による上記の実施形態例の文字列情報抽出装置を映像中のテロップ文字が表示されている画像に対して適用し、文字列情報を抽出する装置の一実施形態例を説明するための図である。
【００８７】
図１５において、１５１は、映像中のテロップ文字が表示されている画像を入力するテロップ表示画像入力記憶部である。
【００８８】
１５２は、前記テロップ表示画像入力記憶部１５１により入力された画像に対し、前述の文字列情報抽出装置により得た文字列矩形を入力し、その文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は、該文字列矩形に囲まれる文字列は横書きであると判断し、垂直方向の長さが長い場合は、該文字列矩形に囲まれる文字列は縦書きであると判断するテロップ文字列方向判断部である。
【００８９】
なお、前述の文字列情報抽出装置と本文字列情報抽出装置とは別体に構成しても良いし、本文字列情報抽出装置のテロップ文字列方向判断部内に内蔵させても構わない。
【００９０】
１５３は、該文字列方向判断部１５２で得られた文字列方向が横書きの場合、該文字列矩形の最も上側のラインと最も下側のラインから文字列の高さを求め、テロップ文字列が縦書きの場合、該文字列矩形の最も左側のラインと最も右側のラインから文字列の幅を求めるテロップ文字列情報抽出部である。
【００９１】
１５４は、該テロップ文字列情報抽出部１５３により抽出したある映像中に表示される複数のテロップ文字の高さ、及び幅の値を予め決められた分類方法を用いて、高さ、幅に関して近い値を持つテロップ文字列同士を一つのカテゴリとして抽出する複数テロップ文字列情報分類部である。
【００９２】
１５５は、該複数テロップ文字列情報分類部１５４により分類され、一つあるいは複数のテロップ文字列カテゴリに対し、予め決められた規則を用いて、意味付けを行うテロップ文字列意味付け部である。
【００９３】
１５６は、該テロップ文字列意味付け部の結果を出力する結果出力部である。
【００９４】
１５７は、前記テロップ表示画像入力記憶部１５１、テロップ文字列方向判断部１５２、テロップ文字列情報抽出部１５３、複数テロップ文字列情報分類部１５４、テロップ文字列意味付け部１５５、結果出力部１５６の処理実効を制御する処理制御部である。
【００９５】
図１６は、本発明の文字列情報抽出装置をニュース映像中のテロップ文字表示画像に対して適用した例を示す模式図である。
【００９６】
図１６の（ａ）は、ニュース映像中の全てのテロップ文字が表示されている画像を示す。見出しのテロップは大きく、それ以外のテロップは小さい。図１６の（ｂ）は、（ａ）の全画像から本発明の文字列情報抽出装置を用いて抽出したテロップ文字の高さ、幅の情報に関して、横軸を高さ、幅の値、縦軸をテロップ文字列の個数とするヒストグラムで表した模式図である。図１６の（ｃ）は、（ｂ）のヒストグラムを予め決めた方法（例えば、判別分析法）を用いて、大小の二つのカテゴリに分割した例を示す模式図である。図１６の（ｄ）は、（ｃ）のカテゴライズの結果により、大きい文字列カテゴリに含まれるテロップ文字が表示される画面だけを取り出し、ニュース映像の見出しだけを表示した例である。これにより大量のニュース映像を、見出し画面だけを参照するだけで短時間で把握することが可能となる。
【００９７】
なお、図１、図２、図８、図１５を用いて示した装置各部の一部もしくは全部の機能を、コンピュータを用いて実現することができること、あるいは、それらの図面とともに図３、図９を用いて示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し、提供し、配布することが可能である。
【００９８】
【発明の効果】
以上の説明の通り、本発明によれば、文字を含む画像に対して、文字輪郭線検出処理、文字領域抽出処理、文字列候補矩形抽出処理を行い、文字列候補矩形の中で、文字輪郭線情報と文字領域情報を組み合わせて各ライン毎に文字列特徴値を計算し、閾値処理することで、従来よりも正確に文字列の高さ、あるいは幅の値を求めることが可能となる。
【００９９】
さらには、映像中のテロップ文字が表示される画像、複数枚に対して本発明を適用し、抽出された文字列の高さ情報を分類し、分類された各カテゴリ毎にあらかじめ決めた規則で意味付けを行うことが可能となり、映像の構造化を行う上で有効な情報となる。例えば、ニュース映像中のテロップ文字画像に本発明を適用して、文字列の正確な高さ情報を抽出し、映像中の全てのテロップ文字画像中の文字列高さ情報を大小二つのカテゴリに分類し、大きいほうのカテゴリ中のテロップ文字画面を抽出することでニュース項目の見出しテロップだけを選択的に参照することが可能となる。
【図面の簡単な説明】
【図１】本発明を実施する装置の構成の一実施形態例を示すブロック図である。
【図２】図１中の文字輪郭線検出部を実施する装置の構成の一実施形態例を示すブロック図である。
【図３】図１中、及び図２に示した文字輪郭線検出部の処理の一実施形態例を説明するためのフローチャートである。
【図４】（ａ），（ｂ）は、図３中のステップ（３３）の処理内容を補足説明するためのものであり、スキャン方向の例を示す図である。
【図５】図３中のステップ（３６）の処理内容を補足説明するためのものであり、エッジ勾配の判断、及びエッジペアのカウントの例を示す図である。
【図６】図３中のステップ（３７）の処理内容を補足説明するためのものであり、エッジ間の輝度差の算出対象箇所を示す図である。
【図７】（ａ），（ｂ）は、図３中のステップ（３９）の処理内容を補足説明するためのものであり、画像全体でのエッジペアの数え方の例を示す図である。
【図８】図１中の文字列情報抽出部を実施する装置の構成の一実施形態例を示すブロック図である。
【図９】図１中、及び図８に示した文字列情報抽出部の処理の一実施形態例を説明するためのフローチャートである。
【図１０】（ａ），（ｂ），（ｃ）は、図９中のステップ（９１）の処理内容を補足説明するためのものであり、入力画像、従来手法による文字輪郭線画像、本発明による文字輪郭線検出画像の一例を示す図である。
【図１１】図９中のステップ（９２）の処理内容を補足説明するためのものであり、文字領域画像の一例を示す図である。
【図１２】図９中のステップ（９６）の処理内容を補足説明するためのものであり、文字領域画像中の文字列候補矩形範囲の一例、及び注目ライン上の文字領域の個数を示す図である。
【図１３】図９中のステップ（９７）の処理内容を補足するためのものであり、文字輪郭線画像中の文字列候補矩形範囲の一例、及び注目ライン上の文字輪郭線画素の個数を示す図である。
【図１４】図１０の入力画像に対し得られた文献［３］の従来方法による文字列矩形と本発明により得られた文字列矩形を図１１の文字領域画像上に示し、画像の横に、文献［３］の従来方法により得られた矩形の範囲内の各水平ライン毎の文字列特徴値の分布を示した図である。
【図１５】映像中のテロップ文字画像の文字列情報を抽出してテロップ文字画像に意味付けを行う装置の構成の一例を示すブロック図である。
【図１６】（ａ），（ｂ），（ｃ），（ｄ）は、本発明の文字列情報抽出装置をニュース映像中のテロップ文字表示画像に対して適用した例を示す模式図である。
【符号の説明】
１…画像入力記憶部
２…文字輪郭線検出部
２１…エッジ検出部
２２…スキャン制御部
２３…エッジ間距離判断部
２４…エッジ勾配判断部
２５…エッジ間輝度差判断部
２６…エッジペア検出部
２７…文字輪郭線画像作成部
３…文字領域抽出部
４…文字列矩形抽出部
５…文字列情報抽出部
５１…文字列特徴値計算部
５２…文字列ライン判断部
６…結果出力部
７…処理制御部
１５１…テロップ表示画像入力記憶部
１５２…テロップ文字列方向判断部
１５３…テロップ文字列情報抽出部
１５４…複数テロップ文字列情報分類部
１５５…テロップ文字列意味付け部
１５６…結果出力部
１５７…処理制御部
Claims (10)
- 入力画像に対して輝度値が急激に変化する画素を文字の輪郭線上の画素として検出し、文字輪郭線画像を得る文字輪郭線検出部と、
該入力画像に対して画像内で局所的に輝度値が均一であり連結する複数の画素を文字領域として抽出し文字領域画像を得る文字領域抽出部と、
該入力画像に対して画像中の文字列を囲む矩形画像を抽出する文字矩形抽出部と、
該矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線画像から文字輪郭画素の個数を、該文字領域画像から文字領域の個数を各ライン毎にカウントし、該文字輪郭画素の個数及び該文字領域の個数がともに高い値を取るラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン及び最も下側の文字列ライン並びに垂直方向ライン中の最も左側の文字列ライン及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出部と、
該文字列矩形の抽出の結果を出力する結果出力部とを、
具備することを特徴とする文字列情報抽出装置。 - 前記文字輪郭線検出部が、
前記入力画像の中で輝度値が急激に変化する画素をエッジ画素として検出しエッジ画像を得るエッジ検出部と、
該エッジ画像のスキャン方向を指定するスキャン方向制御部と、
該指定されたスキャン方向に該エッジ画像をスキャンし、同一のライン上で隣接する２つのエッジ画素を選択し、該２つのエッジ画素についてライン上の距離が予め決めた値より小さいかどうか判断するエッジ間距離判断部と、
該距離が予め決めた値より小さいと判断された２つのエッジ画素の勾配が反対であるかどうか判断するエッジ勾配正負判断部と、
該勾配正負が反対であると判断された２つのエッジ画素間の輝度差が予め決めた範囲内であるかどうか判断するエッジ間輝度差計算部と、
該輝度差が予め決めた範囲内であると判断された２つのエッジ画素を一組のエッジペアとして検出するエッジペア検出部と、
該エッジペア画素を該指定された全てのスキャン方向で求め、該求めた全エッジペア画素を文字輪郭線とみなして文字輪郭線画像を作成する文字輪郭線画像作成部とを、
具備することを特徴とする請求項１記載の文字列情報抽出装置。 - 前記文字列情報抽出部が、
各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を文字列特徴値として計算する文字列特徴値計算部と、
該文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断部とを、
具備することを特徴とする請求項１又は２記載の文字列情報抽出装置。 - テロップ文字が表示されている映像中の各入力画像に対し、請求項１，２，３のいずれか１項記載の文字列情報抽出装置により得た文字列矩形を入力し、該文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は横書きであると判断し、垂直方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は縦書きであると判断するテロップ文字列方向判断部と、
該テロップ文字列が横書きであると判断された場合は該文字列矩形の最も上側のラインと最も下側のラインからテロップ文字列の高さを求め、該テロップ文字列が縦書きであると判断された場合は該文字列矩形の最も左側のラインと最も右側のラインからテロップ文字列の幅を求めるテロップ文字列情報抽出部と、
該映像中の各入力画像から求めた複数の該テロップ文字列の高さの値又は該テロップ文字列の幅の値が近いテロップ文字列同士を一つのカテゴリとして分類する複数テロップ文字列情報分類部と、
該分類された一つあるいは複数のカテゴリに対し予め決められた規則を用いて意味付けを行うテロップ文字列意味付け部と、
該意味付けの結果を出力する結果出力部とを、
具備することを特徴とする文字列情報抽出装置。 - 前記テロップ文字列方向判断部が、
請求項１，２，３のいずれか１項記載の文字列情報抽出装置を具備する
ことを特徴とする請求項４記載の文字列情報抽出装置。 - 入力画像に対して輝度値が急激に変化する画素を文字の輪郭線上の画素として検出し、文字輪郭線画像を得る文字輪郭線検出手順と、
該入力画像に対して画像内で局所的に輝度値が均一であり連結する複数の画素を文字領域として抽出し、文字領域画像を得る文字領域抽出手順と、
該入力画像に対して画像中の文字列を囲む矩形画像を抽出する文字列矩形抽出手順と、
該矩形画像の中で水平方向、垂直方向の各ライン毎に走査し、該文字輪郭線画像から文字輪郭画素の個数を、該文字領域画像から文字領域の個数を各ライン毎にカウントし、該文字輪郭画素の個数及び該文字領域の個数がともに高い値を取るラインを文字の画素を含んだ文字列ラインとして抽出し、該矩形画像の水平ライン中の最も上側の文字列ライン及び最も下側の文字列ライン並びに垂直方向ライン中の最も左側の文字列ライン及び最も右側の文字列ラインに囲まれる矩形を新たな文字列矩形として抽出する文字列情報抽出手順と、
該文字列矩形の抽出の結果を出力する結果出力手順とを、
有することを特徴とする文字列情報抽出方法。 - 前記文字輪郭線検出手順では、
前記入力画像の中で輝度値が急激に変化する画素をエッジ画素として検出するエッジ検出手順と、
該エッジ画像のスキャン方向を指定するスキャン方向制御手順と、
該指定されたスキャン方向に該エッジ画像をスキャンし、同一のライン上で隣接する２つのエッジ画素を選択し、該２つのエッジ画素についてライン上の距離が予め決めた値より小さいかどうか判断するエッジ間距離判断手順と、
該距離が予め決めた値より小さいと判断された２つのエッジ画素の勾配が反対であるかどうか判断するエッジ勾配正負判断手順と、
該勾配正負が反対であると判断された２つのエッジ画素間の輝度差が予め決めた範囲内であるかどうか判断するエッジ間輝度差計算手順と、
該輝度差が予め決めた範囲内であると判断された２つのエッジ画素を一組のエッジペアとして検出するエッジペア検出手順と、
該エッジペア画素を該指定された全てのスキャン方向で求め、該求めた全エッジペア画素を文字輪郭線とみなして文字輪郭線画像を作成する文字輪郭線画像作成手順とを、
有することを特徴とする請求項６記載の文字列情報抽出方法。 - 前記文字列情報抽出手順では、
各ライン毎にカウントした文字輪郭線画素の個数と文字領域の個数の積を文字列特徴値として計算する文字列特徴値計算手順と、
該文字列特徴値が予め設定した値以上の値を持つラインを文字列ラインとして判断し、予め設定した値より小さい値を持つラインを背景ラインとして判断する文字列ライン判断手順とを、
有することを特徴とする請求項６又は７記載の文字列情報抽出方法。 - テロップ文字が表示されている映像中の各入力画像に対し、請求項６，７，８のいずれか１項記載の文字列情報抽出方法により得た文字列矩形の水平方向の長さと垂直方向の長さを比較し、水平方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は横書きであると判断し、垂直方向の長さが長い場合は該文字列矩形に囲まれるテロップ文字列は縦書きであると判断するテロップ文字列方向判断手順と、
該テロップ文字列が横書きであると判断された場合は該文字列矩形の最も上側のラインと最も下側のラインからテロップ文字列の高さを求め、該テロップ文字列が縦書きであると判断された場合は該文字列矩形の最も左側のラインと最も右側のラインからテロップ文字列の幅を求めるテロップ文字列情報抽出手順と、
該映像中の各入力画像から求めた複数の該テロップ文字列の高さの値又は該テロップ文字列の幅の値が近いテロップ文字列同士を一つのカテゴリとして分類する複数テロップ文字列情報分類手順と、
該分類された一つあるいは複数のカテゴリに対し予め決められた規則を用いて意味付けを行うテロップ文字列意味付け手順と、
該意味付けの結果を出力する結果出力手順とを、
有することを特徴とする文字列情報抽出方法。 - 請求項６，７，８，９のいずれか１項記載の文字列情報抽出方法における手順を、コンピュータに実行させるプログラムとして該コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする文字列情報抽出方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25394499A JP3544324B2 (ja) | 1999-09-08 | 1999-09-08 | 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25394499A JP3544324B2 (ja) | 1999-09-08 | 1999-09-08 | 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001076094A JP2001076094A (ja) | 2001-03-23 |
| JP3544324B2 true JP3544324B2 (ja) | 2004-07-21 |
Family
ID=17258172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25394499A Expired - Lifetime JP3544324B2 (ja) | 1999-09-08 | 1999-09-08 | 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3544324B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004364234A (ja) | 2003-05-15 | 2004-12-24 | Pioneer Electronic Corp | 放送番組内容メニュー作成装置及び方法 |
| JP4839076B2 (ja) * | 2005-12-09 | 2011-12-14 | 日本電信電話株式会社 | 映像中文字認識装置、映像中文字認識方法、プログラム、及び記録媒体 |
| KR100836197B1 (ko) * | 2006-12-14 | 2008-06-09 | 삼성전자주식회사 | 동영상 자막 검출 장치 및 그 방법 |
| JP4884305B2 (ja) * | 2007-06-06 | 2012-02-29 | シャープ株式会社 | 画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 |
| JP4986934B2 (ja) * | 2008-05-29 | 2012-07-25 | 日本電信電話株式会社 | 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体 |
| US9076058B2 (en) * | 2013-01-29 | 2015-07-07 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for determining orientation in a document image |
| CN111062317A (zh) * | 2019-12-16 | 2020-04-24 | 中国计量大学上虞高等研究院有限公司 | 一种扫描文档的裁边方法与系统 |
-
1999
- 1999-09-08 JP JP25394499A patent/JP3544324B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001076094A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6731788B1 (en) | Symbol Classification with shape features applied to neural network | |
| EP1146478B1 (en) | A method for extracting titles from digital images | |
| Gllavata et al. | A robust algorithm for text detection in images | |
| US6614930B1 (en) | Video stream classifiable symbol isolation method and system | |
| JP3278471B2 (ja) | 領域分割方法 | |
| JP2002133426A (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| JP2006067585A (ja) | デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置 | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| JP3544324B2 (ja) | 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 | |
| JP3606500B2 (ja) | 矩形分類方法 | |
| JP3655110B2 (ja) | 映像処理方法及び装置並びに映像処理手順を記録した記録媒体 | |
| JP2002015280A (ja) | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP2010186246A (ja) | 画像処理装置、方法、及び、プログラム | |
| Vu et al. | Automatic extraction of text regions from document images by multilevel thresholding and k-means clustering | |
| JP4040905B2 (ja) | 縮小画像表示装置、方法、プログラムおよびプログラムを記録した記録媒体 | |
| Zedan et al. | Caption detection, localization and type recognition in Arabic news video | |
| JPH064704A (ja) | 罫線識別方法及び領域識別方法 | |
| JP3488678B2 (ja) | 画像分類装置 | |
| JP2861860B2 (ja) | 宛名行抽出装置 | |
| JP4409713B2 (ja) | 文書画像認識装置及び記録媒体 | |
| Lee et al. | Automatic person information extraction using overlay text in television news interview videos | |
| Lee et al. | Beginning frame and edge based name text localization in news interview videos | |
| JP2004046528A (ja) | 文書方向推定方法および文書方向推定プログラム | |
| JP4738645B2 (ja) | 網掛け領域検出装置、網掛け領域検出方法、プログラムおよび記憶媒体 | |
| JP2001043312A (ja) | 文書画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3544324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |