JP3585143B2 - 文字列抽出方法および装置 - Google Patents
文字列抽出方法および装置 Download PDFInfo
- Publication number
- JP3585143B2 JP3585143B2 JP18792496A JP18792496A JP3585143B2 JP 3585143 B2 JP3585143 B2 JP 3585143B2 JP 18792496 A JP18792496 A JP 18792496A JP 18792496 A JP18792496 A JP 18792496A JP 3585143 B2 JP3585143 B2 JP 3585143B2
- Authority
- JP
- Japan
- Prior art keywords
- flag
- image
- pixel
- undetermined
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、スキャナーあるいはテレビカメラ等で入力された画像中から文字列を抽出する技術に関するものである。
【０００２】
【従来の技術】
従来の文字列抽出技術は、画像内の物体領域画素数等の文字分布に関する特徴を画像の周辺に投影し、該投影された特徴量に基づき投影軸に沿った文字列の切れ目を探して画像を分割していって文字列を抽出する方法（例えば、信学論（Ｄ）Ｖol．Ｊ６９−Ｄ，No．８，ｐｐ．１１８７〜１１９６（昭和６１−０８）参照）、局所的に文字領域を統合していき、該統合された結果を文字列として抽出する方法（例えば、Ｐroceeding of Ｉnternational Ｃonference on Ｄocument Ａnalysis and Ｒecognition，Ｖol．１，ｐｐ．１３８−１４１（１９９５）を参照）の２種類に分類することができる。
【０００３】
画像を分割する方法では、画像の周辺部に投影された特徴に依存するため、２次元情報が失われる。そのため、画像内の文字列の方向がほぼ同じである場合には有効であるが、画像内に横書きと縦書きが混在する場合には、必ずしも文字列の切り目が投影軸にそろわないため、文字列の切れ目を探すことができない。一方、局所的に文字領域を統合する方法では、様々な方向の文字列が混在する場合でも局所的には文字列の方向が一定であることを利用して、局所的な文字列の切れ目の候補を抽出することができる。しかし、領域統合を繰り返して正しい文字列を抽出するためには、統合結果が文字列と一致した階段で文字領域の統合を終了させる必要がある。この統合処理の終了条件は画像内の文字の大きさや配置に依存するが、終了条件を入力画像毎に最適化することが困難で、事前に与えた固定的な条件を使うため、対処可能な文字配置が事前にあたえる領域統合処理終了条件により制限される。
【０００４】
【発明が解決しようとする課題】
上記したように、従来の投影された特徴量に基づき画像を分割していく方法では、画像内に様々な方向の文字列が混在する場合には、対処できないという問題点があった。また、局所文字領域を統合していく方法では、文字の大きさや配置の異なる様々な画像に対して、同一条件で領域統合を終了させることが困難であるという問題点があった。
【０００５】
本発明の目的は、従来技術が、対処可能な文字配置が事前にあたえる領域統合処理終了条件により制限されるという問題を除去し、文字の大きさ・配置が多様な様々な画像に対して対処できる文字列抽出方法および文字列抽出装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、スキャナーあるいはテレビカメラ等で画像を入力し、文字領域を含む物体領域が第１の値を、背景領域が第２の値をとるように２値化された入力２値画像に対して、まず、物体領域を拡大する処理を行い、次に、前記処理を行った結果画像の各連結成分ごとに、当該連結成分に属する画素に対して、あらかじめ指定した方向毎に当該連結領域の広がりを計測し、該指定した方向毎の連結画素の広がり具合を比較し、特定の一方向に対応する方向フラグあるいは方向未定に対応する方向フラグを当該画素に与え、次に、各方向フラグの種類毎に、対応する方向フラグ及び方向未定フラグが立っている画素を当該方向フラグに対応する領域として取り出し、該取り出された領域の連結成分毎に対応する入力２値画像の対応する領域から当該方向フラグに対応する方向の文字列を抽出する処理を行い、該抽出された各文字列の位置を出力するようにする。
【０００７】
具体的には、文字領域を含む物体領域が値１を、背景領域が値０をとるように２値化された入力２値画像に対して、まず、物体領域を拡大する処理を行う。次に、入力画像と同じサイズの方向フラグ画像を生成し、２値画像の値１の画素に対して、当該画素からあらかじめ指定した方向毎に連続する値１の画素の数を数えて、ある特定の一方向の連続画素数が前記一方向以外の他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合に、当該特定方向に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立て、そうでない場合には、方向未定に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立てる処理を画像全体に対して行う。次に、前記方向フラグ画像の方向フラグを与えられた画素に対して、前記方向未定以外のフラグが与えられている場合には、当該画素からあらかじめ指定した方向毎に走査を行い、該画素と同じ方向フラグを持つ画素が連続する数を数えて、当該画素に与えられた方向フラグに対応する方向の連続画素数が他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合には、当該画素の方向フラグをそのまま変更せず、そうでない場合には当該画素の方向フラグを方向未定の方向フラグに変更し、前記方向未定のフラグが与えられている場合には、あらかじめ指定した方向へ方向未定以外の方向フラグが立っている画素あるいは方向フラグが立っていない画素を検出するまで走査を行い、走査方向と一致する方向未定以外の方向フラグが複数の方向で得られた場合には、そのまま方向未定フラグを立て、一方向にだけ走査方向と一致する方向未定以外の方向フラグが得られた場合には、その方向フラグを与え、どの方向にも走査方向と一致する方向未定以外の方向フラグが得られなかった場合には、不定フラグを立てる処理を画像全体に対して行う。次に、各方向フラグの種類毎に入力画像を同じサイズの方向別画像を生成し、各方向別画像に対して、前記方向フラグ画像に基づき、対応する方向フラグ及び方向未定フラグが立っている方向フラグ画像の画素に対応する方向別画像の画素の値を１とし、それ以外の画素を０とする処理を行う。次に、前記各方向別画像に対して、連結成分を取り出し、該抽出された連結成分と、方向フラグ画像において不定フラグが立っている画素から構成される連結成分とを、当該方向別画像に対応する方向に文字列が存在するとして、連結成分毎に対応する入力２値画像の領域から文字列を抽出する処理を行い、該抽出された各文字列の位置を出力する。
【０００８】
このように、発明では、局所的物体領域を統合する処理を行った後に、統合された領域内で方向別に再分割を行うという２段階構成になっていることを最も主要な特徴とする。このために、物体領域統合処理の結果、実際に文字列の境界を越えて統合されても再分割処理により文字列抽出が行える。従って、文字列抽出結果の物体領域統合処理の終了条件への依存を減らすことができ、文字の大きさ・配置が多様な様々な画像に対して文字抽出ができるようになる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて詳細に説明する。
図１は、本発明による文字列抽出装置の一実施例の形態を示すブロック図である。図１において、１はスキャナーあるいはテレビカメラ等から処理対象の画像を入力し、物体領域が値１をとり、背景領域が値０をとるように２値化した２値画像を得る入力部、２は入力２値画像に対して物体領域を拡大する文字領域拡大処理部、３は文字領域拡大処理部２で拡大処理を行って得られた領域の各点（画素）において、その点を含む領域の広がり方向を求める文字列方向検出部、４は文字列方向検出部３で求めた各点での領域の広がり方向を周囲の点での領域の広がり方向と整合性をとるように修正する処理をおこなう文字列方向修正部、５は文字列方向修正部４で得られた文字列方向に基づき、各方向に画素を取り出して方向別画素を抽出する方向別文字列画像抽出部、６は方向別文字列画像抽出部５で得られた各方向別画像に対して、連結成分を抽出し、該抽出された連結成分を当該方向をもっ文字列が存在するとして、連続成分毎に文字列を抽出する処理を行う文字列切り出し部、７は文字列切り出し部６で抽出された各文字列の位置を出力する出力部、１０は全体の制御を行う制御部である。
【００１０】
図２は、本発明による文字列抽出処理の一実施例を説明するためのフローチャートである。
【００１１】
まず、ステップ２１において、文字列抽出処理を継続するか終了するか判定し、処理対象の画像が存在する場合はステップ２２へ移り、処理対象の画像が存在しない場合には、本文字列抽出処理を終了とする。
【００１２】
ステップ２２は処理対象の画像を入力する処理であり、図１の入力部１の処理に該当する。該ステップ２２では、画像を入力して２値化を行い、入力２値パターンとして記憶するとともに、該入力２値パターンのコピーをステップ２３へ渡す。画像の２値化は、例えば、入力画像の各画素に対して、画素の輝度と閾値を比較し、その結果に応じて値０または１を２値画像の対応する画素に与えることで行う。即ち、入力の画素において文字領域に対応する画素の輝度値が背景より明るいか暗いかは事前の処理で分かっているとし、文字領域を含む物体領域が値１となるように２値化を行う。また、上記２値化画像の連結領域の外接矩形内を全て値１に変更して、新たな２値画像としてステップ２３に渡してもよい。
【００１３】
ステップ２３は物体領域を拡大する処理であり、図１の文字領域拡大処理部２の処理に該当する。該ステップ２３では、物体領域を拡大し、結果の２値画像をステップ２４へ渡す。ここで、物体領域を拡大する処理は、従来法で提案された方法を用いればよい。例えば、単純な太め処理を用いることやＲun Ｌength Ｓmoothing Ａlgorithm（例えばＫ．Ｙ．Ｗong et．al．”Ｄocument Ａnalysis Ｓystem”，ＩＢＭ Ｊour．On Ｒesearch and Ｄevelopment，Ｖol．２６，Ｎo．６，ｐｐ６４７−６５６，１９８２を参照）を用いることが考えられる。また、物体領域を拡大するルールを決めて、そのルールを各画素に対して適用していく方法（例えば、Ｐroceeding of Ｉnternational Ｃonference on Ｄocument Ａnalysis and Ｒecognition，Ｖol．１，ｐｐ．１３８−１４１（１９９５）を参照）等も考えられる。また、それらを組み合わせて用いてもよい。
【００１４】
ステップ２４は、ステップ２３から渡される２値画像に対して各画素単位に領域の方向を検出する処理であり、図１の文字列方向検出部３の処理に該当する。該ステップ２４では、入力画像と同じサイズの方向フラグ画像を生成し、上記ステップ２３から渡される２値画像の値１の画素に対して、当該画素からあらかじめ指定した方向毎に連続する値１の画素の数を数えて、特定の方向の連続画素数が他の連続画素数のあらかじめ指定した定数倍以上である場合に、当該方向に対応する方向フラグを当該画素に対応する方向フラグ画像の画素に立て、そうでない場合は方向未定に対応する方向フラグを対応する方向フラグ画像の画素に立てる処理を画像全体に行い、結果をステップ２５へ渡す。図３は、方向を縦横の２方向とした場合の方向フラグ画像の具体例を示したもので、「縦」、「横」、「未定」が各画素に立てられた方向フラグである。
【００１５】
ステップ２５は、ステップ２４から渡される方向フラグ画像と２値画像に対して、方向フラグを修正する処理で、図１の文字列方向修正部４の処理に該当する。該ステップ２５では、ステップ２４から渡された方向フラグ画像で方向フラグを与えられた画素に対して、方向未定のフラグ以外のフラグが与えられている場合（図３の例では、「縦」、「横」の方向フラグの画素）には、当該画素からあらかじめ指定した方向毎に当該画素と同じ方向フラグを持つ画素が連続する数を数えて、与えられた方向フラグに対応する方向の連続画素数が他の方向の連続画素数のあらかじめ指定した定数倍以上である場合には、当該方向フラグをそのまま保存し、そうでない場合には方向未定の方向フラグに変更する。また、当該画素に方向未定のフラグが与えられている場合には、あらかじめ指定した方向へ方向未定以外の方向フラグが立っている画素あるいは方向フラグが立っていない画素を検出するまで走査を行い、走査方向と一致する方向未定以外の方向フラグが複数の方向で得られた場合には、そのまま方向未定のフラグを立て、一方向にだけ走査方向と一致する方向未定以外の方向フラグが得られた場合には、その方向フラグを与え、どの方向にも走査方向と一致する方向未定以外の方向フラグが得られなかった場合には、不定フラグを立てる。この処理を画像全体に対して行うことで、方向フラグの修正された方向フラグを得る。図４は、図３の例について、修正後の方向フラグ画像を示したものである。
【００１６】
ステップ２６は、当該入力画像に対する文字列抽出処理を継続するか終了するか判断する処理で、ステップ２５で得られた修正後の方向フラグ画像の中で、後述のステップ２７〜３１の処理が未処理の方向が存在する場合はステップ２７へ移り、ステップ２７〜３１の処理が未処理の方向が存在しない場合にはステップ２１へ戻る。
【００１７】
ステップ２７は、方向を指定する処理であり、ステップ２５で得られた修正後の方向フラグ画像の中で、ステップ２８〜３１の処理が未処理の方向の中から処理対象を指定する。文字抽出結果は処理対象の方向に依存しないため、例えば、あらかじめ指定された方向に対して時計回りに順番を付けて、その順番に方向を指定していけばよい。
【００１８】
ステップ２８は、指定された方向の方向別画像を抽出する処理であり、図１の方向別文字列画像抽出部５の処理に該当する。該ステップ２８では、ステップ２７で指定された各方向に対して入力画像と同じサイズの方向別画像を生成し、指定された方向に対応する方向フラグ及び方向未定フラグが立っている方向フラグ画像の画素に対応する方向別画像の画素の値を１とし、それ以外の画素を０とする処理を行って、各方向別画像を抽出し、該抽出した方向別画像をステップ２９へ渡す。図５及び図６は、図４の修正後の方向フラグ画像に対して、それぞれ横方向及び縦方向の方向別画像の抽出結果を示したものである。
【００１９】
ステップ２９は、ステップ２８から渡される方向別画像から連結成分を抽出する処理、また、ステップ３０は、ステップ２９で得られた各連結成分毎に、当該連結成分と対応するステップ２２で記憶された入力２値パターンの領域に対して文字列切り出しを行う処理であり、図１の文字列切り出し部６の処理に該当する。ここで、各連結成分に対応する入力２値パターンの領域は、含まれる文字列の方向は一定で既知であるため、文字切り出し手法としては従来法の画像内の物体領域画素数等の文字分布に関する特徴を画像の周辺に投影し、該投影された特徴量に基づき投影軸に沿った文字列の切れ目を探して画像を分割していき文字列を抽出する方法（例えば、信学論（Ｄ）Ｖol．Ｊ６９−Ｄ，Ｎo．８，ｐｐ１１８７〜１１９６（昭和６１−０８）を参照）を適用すればよい。
【００２０】
ステップ３１はステップ３０の結果を出力する処理であり、ステップ３０で得られて文字列抽出結果を出力してステップ２６へ戻る。該ステップ３１は図１の出力部７の処理に該当する。
【００２１】
【発明の効果】
以上説明したように、本発明においては、局所的物体領域を統合する処理を行った後に、統合された領域内で方向別に再分割を行うという２段階構成になっているため、物体領域統合処理の結果、実際に文字列の境界を越えて統合されても再分割処理により文字列抽出が行え、文字列抽出結果の物体領域統合処理の終了条件への依存を減らすことができるため、文字の大きさ・配置が多様な様々な画像に対して文字抽出ができる。
【図面の簡単な説明】
【図１】本発明による装置構成の一実施例を示すブロック図である。
【図２】本発明による文字列抽出処理の一実施例を説明するためのフローチャートである。
【図３】方向フラグ修正前の方向フラグ画像の具体例を示す図である。
【図４】図３の例における方向フラグ修正後の方向フラグ画像を示す図である。
【図５】図４の修正後の方向フラグ画像から抽出された横方向の方向別画像を示す図である。
【図６】図４の修正後の方向フラグ画像から抽出された縦方向の方向別画像を示す図である。
【符号の説明】
１ 入力部
２ 文字領域拡大処理部
３ 文字列方向検出部
４ 文字列方向修正部
５ 方向別文字列画像抽出部
６ 文字列切り出し部
７ 出力部
１０ 制御部
【発明の属する技術分野】
本発明は、スキャナーあるいはテレビカメラ等で入力された画像中から文字列を抽出する技術に関するものである。
【０００２】
【従来の技術】
従来の文字列抽出技術は、画像内の物体領域画素数等の文字分布に関する特徴を画像の周辺に投影し、該投影された特徴量に基づき投影軸に沿った文字列の切れ目を探して画像を分割していって文字列を抽出する方法（例えば、信学論（Ｄ）Ｖol．Ｊ６９−Ｄ，No．８，ｐｐ．１１８７〜１１９６（昭和６１−０８）参照）、局所的に文字領域を統合していき、該統合された結果を文字列として抽出する方法（例えば、Ｐroceeding of Ｉnternational Ｃonference on Ｄocument Ａnalysis and Ｒecognition，Ｖol．１，ｐｐ．１３８−１４１（１９９５）を参照）の２種類に分類することができる。
【０００３】
画像を分割する方法では、画像の周辺部に投影された特徴に依存するため、２次元情報が失われる。そのため、画像内の文字列の方向がほぼ同じである場合には有効であるが、画像内に横書きと縦書きが混在する場合には、必ずしも文字列の切り目が投影軸にそろわないため、文字列の切れ目を探すことができない。一方、局所的に文字領域を統合する方法では、様々な方向の文字列が混在する場合でも局所的には文字列の方向が一定であることを利用して、局所的な文字列の切れ目の候補を抽出することができる。しかし、領域統合を繰り返して正しい文字列を抽出するためには、統合結果が文字列と一致した階段で文字領域の統合を終了させる必要がある。この統合処理の終了条件は画像内の文字の大きさや配置に依存するが、終了条件を入力画像毎に最適化することが困難で、事前に与えた固定的な条件を使うため、対処可能な文字配置が事前にあたえる領域統合処理終了条件により制限される。
【０００４】
【発明が解決しようとする課題】
上記したように、従来の投影された特徴量に基づき画像を分割していく方法では、画像内に様々な方向の文字列が混在する場合には、対処できないという問題点があった。また、局所文字領域を統合していく方法では、文字の大きさや配置の異なる様々な画像に対して、同一条件で領域統合を終了させることが困難であるという問題点があった。
【０００５】
本発明の目的は、従来技術が、対処可能な文字配置が事前にあたえる領域統合処理終了条件により制限されるという問題を除去し、文字の大きさ・配置が多様な様々な画像に対して対処できる文字列抽出方法および文字列抽出装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、スキャナーあるいはテレビカメラ等で画像を入力し、文字領域を含む物体領域が第１の値を、背景領域が第２の値をとるように２値化された入力２値画像に対して、まず、物体領域を拡大する処理を行い、次に、前記処理を行った結果画像の各連結成分ごとに、当該連結成分に属する画素に対して、あらかじめ指定した方向毎に当該連結領域の広がりを計測し、該指定した方向毎の連結画素の広がり具合を比較し、特定の一方向に対応する方向フラグあるいは方向未定に対応する方向フラグを当該画素に与え、次に、各方向フラグの種類毎に、対応する方向フラグ及び方向未定フラグが立っている画素を当該方向フラグに対応する領域として取り出し、該取り出された領域の連結成分毎に対応する入力２値画像の対応する領域から当該方向フラグに対応する方向の文字列を抽出する処理を行い、該抽出された各文字列の位置を出力するようにする。
【０００７】
具体的には、文字領域を含む物体領域が値１を、背景領域が値０をとるように２値化された入力２値画像に対して、まず、物体領域を拡大する処理を行う。次に、入力画像と同じサイズの方向フラグ画像を生成し、２値画像の値１の画素に対して、当該画素からあらかじめ指定した方向毎に連続する値１の画素の数を数えて、ある特定の一方向の連続画素数が前記一方向以外の他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合に、当該特定方向に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立て、そうでない場合には、方向未定に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立てる処理を画像全体に対して行う。次に、前記方向フラグ画像の方向フラグを与えられた画素に対して、前記方向未定以外のフラグが与えられている場合には、当該画素からあらかじめ指定した方向毎に走査を行い、該画素と同じ方向フラグを持つ画素が連続する数を数えて、当該画素に与えられた方向フラグに対応する方向の連続画素数が他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合には、当該画素の方向フラグをそのまま変更せず、そうでない場合には当該画素の方向フラグを方向未定の方向フラグに変更し、前記方向未定のフラグが与えられている場合には、あらかじめ指定した方向へ方向未定以外の方向フラグが立っている画素あるいは方向フラグが立っていない画素を検出するまで走査を行い、走査方向と一致する方向未定以外の方向フラグが複数の方向で得られた場合には、そのまま方向未定フラグを立て、一方向にだけ走査方向と一致する方向未定以外の方向フラグが得られた場合には、その方向フラグを与え、どの方向にも走査方向と一致する方向未定以外の方向フラグが得られなかった場合には、不定フラグを立てる処理を画像全体に対して行う。次に、各方向フラグの種類毎に入力画像を同じサイズの方向別画像を生成し、各方向別画像に対して、前記方向フラグ画像に基づき、対応する方向フラグ及び方向未定フラグが立っている方向フラグ画像の画素に対応する方向別画像の画素の値を１とし、それ以外の画素を０とする処理を行う。次に、前記各方向別画像に対して、連結成分を取り出し、該抽出された連結成分と、方向フラグ画像において不定フラグが立っている画素から構成される連結成分とを、当該方向別画像に対応する方向に文字列が存在するとして、連結成分毎に対応する入力２値画像の領域から文字列を抽出する処理を行い、該抽出された各文字列の位置を出力する。
【０００８】
このように、発明では、局所的物体領域を統合する処理を行った後に、統合された領域内で方向別に再分割を行うという２段階構成になっていることを最も主要な特徴とする。このために、物体領域統合処理の結果、実際に文字列の境界を越えて統合されても再分割処理により文字列抽出が行える。従って、文字列抽出結果の物体領域統合処理の終了条件への依存を減らすことができ、文字の大きさ・配置が多様な様々な画像に対して文字抽出ができるようになる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて詳細に説明する。
図１は、本発明による文字列抽出装置の一実施例の形態を示すブロック図である。図１において、１はスキャナーあるいはテレビカメラ等から処理対象の画像を入力し、物体領域が値１をとり、背景領域が値０をとるように２値化した２値画像を得る入力部、２は入力２値画像に対して物体領域を拡大する文字領域拡大処理部、３は文字領域拡大処理部２で拡大処理を行って得られた領域の各点（画素）において、その点を含む領域の広がり方向を求める文字列方向検出部、４は文字列方向検出部３で求めた各点での領域の広がり方向を周囲の点での領域の広がり方向と整合性をとるように修正する処理をおこなう文字列方向修正部、５は文字列方向修正部４で得られた文字列方向に基づき、各方向に画素を取り出して方向別画素を抽出する方向別文字列画像抽出部、６は方向別文字列画像抽出部５で得られた各方向別画像に対して、連結成分を抽出し、該抽出された連結成分を当該方向をもっ文字列が存在するとして、連続成分毎に文字列を抽出する処理を行う文字列切り出し部、７は文字列切り出し部６で抽出された各文字列の位置を出力する出力部、１０は全体の制御を行う制御部である。
【００１０】
図２は、本発明による文字列抽出処理の一実施例を説明するためのフローチャートである。
【００１１】
まず、ステップ２１において、文字列抽出処理を継続するか終了するか判定し、処理対象の画像が存在する場合はステップ２２へ移り、処理対象の画像が存在しない場合には、本文字列抽出処理を終了とする。
【００１２】
ステップ２２は処理対象の画像を入力する処理であり、図１の入力部１の処理に該当する。該ステップ２２では、画像を入力して２値化を行い、入力２値パターンとして記憶するとともに、該入力２値パターンのコピーをステップ２３へ渡す。画像の２値化は、例えば、入力画像の各画素に対して、画素の輝度と閾値を比較し、その結果に応じて値０または１を２値画像の対応する画素に与えることで行う。即ち、入力の画素において文字領域に対応する画素の輝度値が背景より明るいか暗いかは事前の処理で分かっているとし、文字領域を含む物体領域が値１となるように２値化を行う。また、上記２値化画像の連結領域の外接矩形内を全て値１に変更して、新たな２値画像としてステップ２３に渡してもよい。
【００１３】
ステップ２３は物体領域を拡大する処理であり、図１の文字領域拡大処理部２の処理に該当する。該ステップ２３では、物体領域を拡大し、結果の２値画像をステップ２４へ渡す。ここで、物体領域を拡大する処理は、従来法で提案された方法を用いればよい。例えば、単純な太め処理を用いることやＲun Ｌength Ｓmoothing Ａlgorithm（例えばＫ．Ｙ．Ｗong et．al．”Ｄocument Ａnalysis Ｓystem”，ＩＢＭ Ｊour．On Ｒesearch and Ｄevelopment，Ｖol．２６，Ｎo．６，ｐｐ６４７−６５６，１９８２を参照）を用いることが考えられる。また、物体領域を拡大するルールを決めて、そのルールを各画素に対して適用していく方法（例えば、Ｐroceeding of Ｉnternational Ｃonference on Ｄocument Ａnalysis and Ｒecognition，Ｖol．１，ｐｐ．１３８−１４１（１９９５）を参照）等も考えられる。また、それらを組み合わせて用いてもよい。
【００１４】
ステップ２４は、ステップ２３から渡される２値画像に対して各画素単位に領域の方向を検出する処理であり、図１の文字列方向検出部３の処理に該当する。該ステップ２４では、入力画像と同じサイズの方向フラグ画像を生成し、上記ステップ２３から渡される２値画像の値１の画素に対して、当該画素からあらかじめ指定した方向毎に連続する値１の画素の数を数えて、特定の方向の連続画素数が他の連続画素数のあらかじめ指定した定数倍以上である場合に、当該方向に対応する方向フラグを当該画素に対応する方向フラグ画像の画素に立て、そうでない場合は方向未定に対応する方向フラグを対応する方向フラグ画像の画素に立てる処理を画像全体に行い、結果をステップ２５へ渡す。図３は、方向を縦横の２方向とした場合の方向フラグ画像の具体例を示したもので、「縦」、「横」、「未定」が各画素に立てられた方向フラグである。
【００１５】
ステップ２５は、ステップ２４から渡される方向フラグ画像と２値画像に対して、方向フラグを修正する処理で、図１の文字列方向修正部４の処理に該当する。該ステップ２５では、ステップ２４から渡された方向フラグ画像で方向フラグを与えられた画素に対して、方向未定のフラグ以外のフラグが与えられている場合（図３の例では、「縦」、「横」の方向フラグの画素）には、当該画素からあらかじめ指定した方向毎に当該画素と同じ方向フラグを持つ画素が連続する数を数えて、与えられた方向フラグに対応する方向の連続画素数が他の方向の連続画素数のあらかじめ指定した定数倍以上である場合には、当該方向フラグをそのまま保存し、そうでない場合には方向未定の方向フラグに変更する。また、当該画素に方向未定のフラグが与えられている場合には、あらかじめ指定した方向へ方向未定以外の方向フラグが立っている画素あるいは方向フラグが立っていない画素を検出するまで走査を行い、走査方向と一致する方向未定以外の方向フラグが複数の方向で得られた場合には、そのまま方向未定のフラグを立て、一方向にだけ走査方向と一致する方向未定以外の方向フラグが得られた場合には、その方向フラグを与え、どの方向にも走査方向と一致する方向未定以外の方向フラグが得られなかった場合には、不定フラグを立てる。この処理を画像全体に対して行うことで、方向フラグの修正された方向フラグを得る。図４は、図３の例について、修正後の方向フラグ画像を示したものである。
【００１６】
ステップ２６は、当該入力画像に対する文字列抽出処理を継続するか終了するか判断する処理で、ステップ２５で得られた修正後の方向フラグ画像の中で、後述のステップ２７〜３１の処理が未処理の方向が存在する場合はステップ２７へ移り、ステップ２７〜３１の処理が未処理の方向が存在しない場合にはステップ２１へ戻る。
【００１７】
ステップ２７は、方向を指定する処理であり、ステップ２５で得られた修正後の方向フラグ画像の中で、ステップ２８〜３１の処理が未処理の方向の中から処理対象を指定する。文字抽出結果は処理対象の方向に依存しないため、例えば、あらかじめ指定された方向に対して時計回りに順番を付けて、その順番に方向を指定していけばよい。
【００１８】
ステップ２８は、指定された方向の方向別画像を抽出する処理であり、図１の方向別文字列画像抽出部５の処理に該当する。該ステップ２８では、ステップ２７で指定された各方向に対して入力画像と同じサイズの方向別画像を生成し、指定された方向に対応する方向フラグ及び方向未定フラグが立っている方向フラグ画像の画素に対応する方向別画像の画素の値を１とし、それ以外の画素を０とする処理を行って、各方向別画像を抽出し、該抽出した方向別画像をステップ２９へ渡す。図５及び図６は、図４の修正後の方向フラグ画像に対して、それぞれ横方向及び縦方向の方向別画像の抽出結果を示したものである。
【００１９】
ステップ２９は、ステップ２８から渡される方向別画像から連結成分を抽出する処理、また、ステップ３０は、ステップ２９で得られた各連結成分毎に、当該連結成分と対応するステップ２２で記憶された入力２値パターンの領域に対して文字列切り出しを行う処理であり、図１の文字列切り出し部６の処理に該当する。ここで、各連結成分に対応する入力２値パターンの領域は、含まれる文字列の方向は一定で既知であるため、文字切り出し手法としては従来法の画像内の物体領域画素数等の文字分布に関する特徴を画像の周辺に投影し、該投影された特徴量に基づき投影軸に沿った文字列の切れ目を探して画像を分割していき文字列を抽出する方法（例えば、信学論（Ｄ）Ｖol．Ｊ６９−Ｄ，Ｎo．８，ｐｐ１１８７〜１１９６（昭和６１−０８）を参照）を適用すればよい。
【００２０】
ステップ３１はステップ３０の結果を出力する処理であり、ステップ３０で得られて文字列抽出結果を出力してステップ２６へ戻る。該ステップ３１は図１の出力部７の処理に該当する。
【００２１】
【発明の効果】
以上説明したように、本発明においては、局所的物体領域を統合する処理を行った後に、統合された領域内で方向別に再分割を行うという２段階構成になっているため、物体領域統合処理の結果、実際に文字列の境界を越えて統合されても再分割処理により文字列抽出が行え、文字列抽出結果の物体領域統合処理の終了条件への依存を減らすことができるため、文字の大きさ・配置が多様な様々な画像に対して文字抽出ができる。
【図面の簡単な説明】
【図１】本発明による装置構成の一実施例を示すブロック図である。
【図２】本発明による文字列抽出処理の一実施例を説明するためのフローチャートである。
【図３】方向フラグ修正前の方向フラグ画像の具体例を示す図である。
【図４】図３の例における方向フラグ修正後の方向フラグ画像を示す図である。
【図５】図４の修正後の方向フラグ画像から抽出された横方向の方向別画像を示す図である。
【図６】図４の修正後の方向フラグ画像から抽出された縦方向の方向別画像を示す図である。
【符号の説明】
１ 入力部
２ 文字領域拡大処理部
３ 文字列方向検出部
４ 文字列方向修正部
５ 方向別文字列画像抽出部
６ 文字列切り出し部
７ 出力部
１０ 制御部
Claims (2)
- 画像を入力し、文字領域を含む物体領域が値１を、背景領域が値０をとる入力２値画像から、当該画像内の文字列を抽出する方法において、
まず、当該入力２値画像に対して、物体領域を拡大する処理を行い、
次に、入力画像と同じサイズの方向フラグ画像を生成し、前記処理を行った２値画像の値１の画素に対して、当該画素からあらかじめ指定した方向毎に連続する値１の画素の数を数えて、ある特定の一方向の連続画素数が前記一方向以外の他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合に、当該特定方向に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立て、そうでない場合には、方向未定に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立てる処理を画像全体に対して行い、
次に、前記処理を行った方向フラグ画像の方向フラグを与えられた画素に対して、前記処理により方向未定のフラグ以外のフラグが与えられている場合には、当該画素からあらかじめ指定した方向毎に走査を行い、当該画素と同じ方向フラグを持つ画素が連続する数を数えて、当該画素に与えられた方向フラグに対応する方向の連続画素数が他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合には、当該画素の方向フラグをそのまま変更せず、そうでない場合には当該画素の方向フラグを方向未定の方向フラグに変更し、前記処理により方向未定のフラグが与えられている場合には、あらかじめ指定した方向へ方向未定以外の方向フラグが立っている画素あるいは方向フラグが立っていない画素を検出するまで走査を行い、走査方向と一致する方向未定以外の方向フラグが複数の方向で得られた場合には、そのまま方向未定フラグを立て、一方向にだけ走査方向と一致する方向未定以外の方向フラグが得られた場合には、その方向フラグを与え、どの方向にも走査方向と一致する方向未定以外の方向フラグが得られなかった場合には、不定フラグを立てる処理を画像全体に対して行い、
次に、各方向フラグの種類毎に入力画像と同じサイズの方向別画像を生成し、各方向別画像に対して、前記処理により得られた方向フラグ画像に基づき、対応する方向フラグ及び方向未定フラグが立っている方向フラグ画像の画素に対応する方向別画像の画素の値を１とし、それ以外の画素を０とする処理を行い、
次に、前記処理を行った各方向別画像に対して、連結成分を取り出し、抽出された連結成分と、方向フラグ画像において不定フラグが立っている画素から構成される連結成分とを、当該方向別画像に対応する方向に文字列が存在するとして、連結成分毎に対応する入力２値画像の領域から文字列を抽出する処理を行い、該抽出された各文字列の位置を出力する、
ことを特徴とする文字列抽出方法。 - スキャナーあるいはテレビカメラ等から画像を入力し、文字領域を含む物体領域が値１を、背景領域が値０（１）をとるように２値化した入力２値画像を得る入力手段と、
当該入力２値画像に対して、物体領域を拡大する処理を行う文字領域拡大手段と、
入力画像と同じサイズの方向フラグ画像を生成し、前記２値画像の値１の画素に対して、当該画素からあらかじめ指定した方向毎に連続する値１の画素の数を数えて、ある特定の一方向の連続画素数が前記一方向以外の他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合に、当該方向に対応する方向フラグを、当該画素に対応する方向フラグ画像の画素に立て、そうでない場合には、方向未定に対応する方向フラグを当該画素に対応する方向フラグ画像の画素に立てる処理を画像全体に対して行う文字列方向検出手段と、
前記方向フラグ画像の方向フラグを与えられた画素に対して、前記方向未定のフラグ以外のフラグが与えられている場合には、当該画素からあらかじめ指定した方向毎に走査を行い、当該画素と同じ方向フラグを持つ画素が連続する数を数えて、与えられた方向フラグに対応する方向の連続画素数が他の方向の連続画素数をあらかじめ指定した定数倍した値以上である場合には、方向フラグをそのまま変更せず、そうでない場合には方向未定の 方向フラグに変更し、前記方向未定のフラグが与えられている場合には、あらかじめ指定した方向へ方向未定以外の方向フラグが立っている画素あるいは方向フラグが立っていない画素を検出するまで走査を行い、走査方向と一致する方向未定以外の方向フラグが複数の方向で得られた場合には、そのまま方向未定フラグを立て、一方向にだけ走査方向と一致する方向未定以外の方向フラグが得られた場合には、その方向フラグを与え、どの方向にも走査方向と一致する方向未定以外の方向フラグが得られなかった場合には、不定フラグを立てる処理を画像全体に対して行う文字列方向修正手段と、
各方向フラグの種類毎に入力画像と同じサイズの方向別画像を生成し、各方向別画像に対して、前記方向フラグ画像に基づき、対応する方向フラグ及び方向未定フラグが立っている方向フラグ画像の画素に対応する方向別画像の画素の値を１とし、それ以外の画素を０とする処理を行う方向別文字列画像抽出手段と、
前記各方向別画像に対して、連結成分を取り出し、抽出された連結成分と、方向フラグ画像において不定フラグが立っている画素から構成される連結成分とを、当該方向別画像に対応する方向に文字列が存在するとして、連結成分毎に対応する入力２値画像の領域から文字列を抽出する処理を行う文字列抽出手段と、
前記抽出された各文字列の位置を出力する出力手段と、
を備えることを特徴とする文字列抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18792496A JP3585143B2 (ja) | 1996-07-17 | 1996-07-17 | 文字列抽出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18792496A JP3585143B2 (ja) | 1996-07-17 | 1996-07-17 | 文字列抽出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1031715A JPH1031715A (ja) | 1998-02-03 |
| JP3585143B2 true JP3585143B2 (ja) | 2004-11-04 |
Family
ID=16214595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18792496A Expired - Lifetime JP3585143B2 (ja) | 1996-07-17 | 1996-07-17 | 文字列抽出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3585143B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100833346B1 (ko) | 2007-01-03 | 2008-05-28 | (주)폴리다임 | 디스플레이 장치에 표시된 문자 이미지의 픽셀 단위 가로폭 측정 방법 |
| JP5935324B2 (ja) * | 2012-01-04 | 2016-06-15 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
-
1996
- 1996-07-17 JP JP18792496A patent/JP3585143B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1031715A (ja) | 1998-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6798906B1 (en) | Image processing apparatus and method including line segment data extraction | |
| JP4100885B2 (ja) | 帳票認識装置、方法、プログラムおよび記憶媒体 | |
| JPH08235341A (ja) | ドキュメントファイリング装置および方法 | |
| CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
| US5748778A (en) | Image processing apparatus and method | |
| JPH10162118A (ja) | 画像処理装置及び方法 | |
| JP3814353B2 (ja) | 画像分割方法および画像分割装置 | |
| JP3585143B2 (ja) | 文字列抽出方法および装置 | |
| JP2871601B2 (ja) | 文字列検出装置及び方法 | |
| CN112364835A (zh) | 视频信息取帧方法、装置、设备及存储介质 | |
| JP4409713B2 (ja) | 文書画像認識装置及び記録媒体 | |
| JP4253265B2 (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム | |
| JP2000076378A (ja) | 文字認識方法 | |
| JPH10105689A (ja) | 移動体挙動検知装置 | |
| JP3883993B2 (ja) | 画像処理装置、方法およびプログラム | |
| JP2001126027A (ja) | ナンバープレート認識装置 | |
| JPH0869535A (ja) | 背景特徴マスク生成装置および移動物体特徴抽出装置 | |
| JPH0490083A (ja) | 文字認識装置 | |
| JP2007328652A (ja) | 画像処理装置および画像処理プログラム | |
| JPS63101983A (ja) | 文字列抽出方式 | |
| JP2003348340A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2004062266A (ja) | 被撮像物のエッジ位置検出方法 | |
| JPH0271379A (ja) | 画像処理装置 | |
| JP2002032713A (ja) | 文字認識処理方法 | |
| JPH05128305A (ja) | 領域分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040727 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040730 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110813 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120813 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |