JPH1031716A - 文字行抽出方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 文字行方向が不明で、文字の大きさやピッ
チ、文字行方向の異なる文字行や写真等の領域が混在す
る文書からの文字行抽出を可能にする。 【解決手段】 文字行候補生成部４で、画像データより
生成した画素連結矩形を接続し、文字行候補を生成す
る。文字矩形生成部５で、生成された文字行候補を非分
割領域として、主方向、副方向に適宜分割して、副方向
の文字行を抽出するとともに、文字行候補内で基本矩形
の統合を行なうことにより文字矩形を生成する。文字行
候補分割部６で、文字矩形サイズの平均値、分散値から
文字行候補の構成を判定し、構成に応じて文字行候補を
分割する。文字矩形接続部７で、分割された文字行候補
の領域内において文字矩形を接続することにより文字行
を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光学的文字読み取
り装置（ＯＣＲ）等に用いる、文書から文字行を抽出す
る方法および装置に関する。

【０００２】

【従来の技術】従来、ＯＣＲ等において文書から文字行
を抽出する方法として、画像データから連結する画素成
分を連結要素として抽出し、連結要素間の距離や重なり
に応じて文書の文字行方向に、抽出した連結要素を接続
することによって文字行を抽出する方法（特開平５−３
４２４０７）があった。しかし、この方法では、連結要
素と文字が必ずしも１対１に対応していないため、１文
字がいくつかの連結要素に分かれていることがあり、こ
のような文字が連続する文字行内や文字行付近において
は、同じ文字行内に属する連結要素同士が正しく接続さ
れなかったり、接続すべきでない隣り合った文字行の連
結要素同士が接続されてしまう場合がある。また、この
方法では、文書の文字行方向が１方向に決まっているこ
とが前提であり、縦書き横書き混在の文書において、両
方向の文字行を抽出することは困難である。

【０００３】このような問題を解決する方法として、処
理対象の文書の圧縮画像から連結する画素成分を連結要
素として抽出し、連結要素の外接矩形の縦横比から圧縮
による文字間の融合度合を推定し、融合度合に応じて接
続パラメータを決定して連結要素を接続する方法（特開
平７−７３２７１）が提案されている。この方法による
と、圧縮率が適切であれば１文字が複数の連結要素に分
かれる頻度が減り、上記に述べたような連結要素と文字
が１対１に対応していないためにおこる誤結合をある程
度防ぐことができる。また、文書内に本文領域と呼ばれ
るような文字行が連続的に存在する領域があれば、本文
領域の文字間や文字の大きさに応じて適切な接続パラメ
ータが設定され、精度よく文字行を抽出することがで
き、本文文字行と異方向の文字行（縦書き文書における
フッタやヘッダ等）の抽出も可能となる。

【０００４】また、処理対象となる文書内に写真等の非
文字領域が存在する場合、例えば、写真領域内に存在す
る連結要素の大きさが文字サイズ程度で、文字行と近接
している場合など、文字認識処理を行なわずに写真領域
内の連結要素と文字行との誤結合を防ぐことは困難であ
る。これに対処するために先に文字領域と非文字領域を
分離しておくと、その後の文字行抽出の精度が向上する
場合がある。このような文字領域と非文字領域を分離す
る従来の技術として、画像データから射影分布を取得
し、分布の谷部を検出し、検出された谷部で対象領域を
分割する方法（特開平３−２９０７７４）が提案されて
いる。

【０００５】さらに、連結要素を接続する方法において
は、文字行方向が不明な場合、文字行方向を先に判別し
ておく必要がある。かかる文字行方向の判別方法として
は、画像データから文字要素を抽出し、相互に近接する
文字要素毎に群分けし、文字要素群の外接矩形の長辺方
向を文字行方向として判別する方法（特開平６−２４３
２８６）が提案されている。

【０００６】

【発明が解決しようとする課題】しかし、上記処理対象
の文書の圧縮画像から連結する画素成分を連結要素とし
て抽出して文字行を抽出する方法においては、例えば名
刺のように文字の大きさやピッチの異なる別の文字行が
近接していたり、文字の大きさが等しい別の文字行同士
が１列に並んでいたり、文字の大きさが等しい２列の文
字行の中間的な位置に文字行が存在していたりするよう
な文書においては、適切な圧縮率や接続パラメータを設
定することは困難である。そして、圧縮率が不適切な場
合、行間の狭い文書では複数行が癒着してしまうことも
ある。

【０００７】また、一般的に１文字行を構成する文字は
文字間が近く、均等で文字の大きさもほぼそろっている
のが普通であり、従来の文字行の抽出方法はこのことを
前提としていた。ところが、名刺の氏名にふられるルビ
等は、文字行内の個々の文字が極端に離れているため、
従来の方法では１文字行と判断することは困難である。

【０００８】さらに、対象処理対象の文書に散点状に描
かれた絵や装飾等が存在する場合には、従来の文字行の
抽出方法では、絵等を構成する点を文字と認識して文字
行を構成しないにもかかかわらず、文字行として抽出し
てしまうおそれもある。一方、上述した従来の文字領域
と非文字領域を分離する方法では、２値化された写真画
像には画素の多い部分と少ない部分が混在しているの
で、１写真領域内で複数の谷部が検出され、複数の領域
に分割されてしまい、その後の統合処理が適当に行なわ
れない場合、やはり誤結合を招く可能性がある。例え
ば、図４３（ａ）のような画像データに対して、射影分
布を取得すると図４３（ｂ）のようになるが、写真領域
に一部画素の少ない領域があるため、分布を操作して検
出された谷部Ｚで対象領域を分割すると図４３（ｃ）の
ように、写真領域が領域ａ１、領域ａ２に分かれてしま
い、領域ａ２は文字行として誤って認識される恐れが高
い。

【０００９】また、上記従来の文字行方向の判別方法に
おいては、文字要素群の外接矩形の長辺方向を文字行方
向とするものであるので、行間が狭く、長さの短い文字
行がかたまっている場合など、外接矩形の長辺が文字行
方向と直交する方向となることもあり、文字行方向の判
定を誤ってしまう可能性がある。即ち、従来の文字行を
抽出する方法では、文字の大きさやピッチの異なる文字
行、行間の幅が狭い文字行、縦書き文字行や横書き文字
行が混在する文書、写真等の非文字領域が存在する文書
や文字行方向が不明な文書等、複雑なレイアウトの文書
から正確に文字行を抽出することが容易にはできなかっ
た。

【００１０】そこで、本発明はこのような課題を解決
し、雑多な構成要素をもつ複雑なレイアウトの文書から
正確にかつ効率よく、文書データから文字行を抽出する
方法および装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に、本願発明の文字行抽出方法は文字行候補生成ステッ
プと、文字矩形生成ステップと、文字行候補分割ステッ
プと、文字矩形接続ステップとにより構成される。文字
行候補生成ステップは、処理対象の画像データから画素
の連結する成分の外接矩形を画素連結矩形として抽出す
る画素連結矩形生成ステップと、前記画像データもしく
は抽出された各画素連結矩形の構成から、主な文字行の
方向を主方向、主方向に直交する方向を副方向として判
定する文字行方向判定ステップと、各画素連結矩形を相
互の位置関係に応じて主方向又は副方向に接続すること
により文字行候補を生成する画素連結矩形接続ステップ
とよりなる。

【００１２】そして、文字矩形生成ステップは、文字行
候補内で、各画素連結矩形の相互の位置関係から文字を
構成する画素連結矩形群を抽出し、これに外接する矩形
を文字矩形として生成する。また、文字行候補分割ステ
ップは、文字行候補内での文字矩形群の構成に応じて、
文字行候補を分割する。さらに、文字矩形接続ステップ
は分割された文字行候補内で文字矩形を接続して文字行
とする。

【００１３】また、上記課題を解決するために本願発明
に係る文字領域抽出方法は、処理対象の画像データから
射影分布を生成する射影分布生成ステップと、射影分布
を所定の幅ごとにグループ化する射影グループ生成ステ
ップと、生成された各グループ内の射影分布の代表値を
算出する射影グループ代表値算出ステップとを有し、さ
らに、隣接する前記射影分布のグループの代表値間の差
の最も大きなグループ間の境界をグループ境界として求
めるグループ境界抽出ステップと、このグループ境界を
挟む２つのグループ内の射影分布の差から文字領域と写
真図形領域との境界を決定し、当該境界の接している射
影分布の小さい側を文字領域として抽出する文字領域抽
出ステップとを有するものである。

【００１４】そして、前記文字行抽出方法においては、
この文字領域抽出方法により抽出された文字領域を処理
対象とすることが望ましい。さらに、前記文字行抽出方
法において、文字行候補生成ステップ中の画素連結矩形
接続ステップには、主方向に重なり、かつ、近接する画
素連結矩形群を主方向に接続して主方向の部分文字行と
して生成する主方向部分文字行生成ステップと、主方向
部分文字行生成ステップで、接続されなかった画素連結
矩形群で、所定の距離の範囲内にあるものを接続して、
主方向以外の部分文字行として生成する非主方向部分文
字行生成ステップとを設け、さらに部分文字行のうち、
縦横比から文字を構成する部分文字行を抽出する文字部
分文字行抽出ステップと、副方向に重なり、かつ、近接
する文字を構成する部分文字行群を副方向に接続して、
新たな副方向の部分文字行を生成する部分文字行接続第
１ステップと、副方向に重なり、かつ、近接する主方向
の部分文字行群を接続して新たな主方向の部分文字行を
生成する部分文字行接続第２ステップと、主方向に重な
る、主方向の部分文字行群を主方向に接続して新たな主
方向の部分文字行を生成する部分文字行接続第３ステッ
プとを設け、これらの各ステップより生成された部分文
字行を文字行候補とすることが望ましい。

【００１５】そして、上記課題を解決するために本願発
明に係る文字行主方向抽出方法は、処理対象の画像デー
タから画素の連結する成分の外接矩形を画素連結矩形と
して抽出し、この抽出した画素連結矩形を用いる方法で
あり、処理対象の画像データの形状から仮の主方向を決
定する仮主方向決定ステップと、主方向に重なり、か
つ、近接する画素連結矩形群を主方向に接続して主方向
の部分文字行として生成する主方向部分文字行生成ステ
ップ、さらに、生成された各主方向の部分文字行の構成
から、仮主方向決定ステップで決定した仮の主方向が正
しいかどうかを判断する主方向判断ステップと、主方向
判断ステップで仮の主方向が正しいと判断されればその
仮の主方向を主方向として抽出し、仮の主方向が正しく
ないと判断されればその仮の主方向に直交する方向を主
方向として抽出する主方向抽出ステップとにより構成さ
れる。

【００１６】前記文字行抽出方法においては、文字行候
補生成ステップ中の主方向部分文字行生成ステップは、
上記の文字行主方向抽出方法を用いることが望ましく、
この場合、前記主方向部分文字行生成ステップでは、文
字行主方向判断方法中の主方向判断ステップで仮の主方
向が正しくないと判断された場合のみ、主方向の部分文
字行を生成するようにすれば足りる。

【００１７】また、前記部分文字行接続第２ステップに
は、さらに、副方向に重なり、かつ、準近接する主方向
の部分文字行同士を抽出する準近接部分文字行抽出ステ
ップと、この準近接部分文字行抽出ステップで抽出され
た部分文字行同士間における各部分文字行に含まれる画
素連結矩形の距離が所定の値以下であれば、当該部分文
字行同士を接続し新たな主方向の部分文字行を生成する
準近接部分文字行接続ステップとを設けると効果的であ
る。なお、ここで準近接するとは部分文字行同士の間隔
が近接しているとは判断できないが、かなり近いと認め
られる所定の距離範囲に入っている状態をいい、当該距
離は予め定められる。

【００１８】また、前記文字行抽出方法においては、前
記主方向接続ステップの前には、さらに、処理対象の画
像データの所定領域を予め定めておき、当該所定領域内
において、副方向に重なり、かつ、近接する画素連結矩
形群を副方向に接続して副方向の部分文字行として生成
する特定領域部分文字行生成ステップを設けてもよい。

【００１９】それから、前記文字矩形生成ステップに
は、文字行候補を被分割領域とし、この被分割領域に対
して、主方向の被分割領域、副方向の被分割領域、その
他の被分割領域に分類する被分割領域分類ステップを設
け、被分割領域分類ステップで、副方向の被分割領域で
あると分類された場合は、この被分割領域となっている
文字行候補を文字行として抽出する副方向文字行抽出ス
テップと、被分割領域分類ステップで、その他の被分割
領域と分類された場合は、この被分割領域の外接矩形を
文字矩形として作成する単体文字矩形作成ステップと、
被分割領域分類ステップで、主方向の被分割領域である
と分類された場合は、この主方向の被分割領域に対し
て、主方向、副方向に射影をとり、射影間の空白部分が
所定の長さを越える区間がある場合は、当該区間で被分
割領域を分割してあらたな被分割領域とする被分割領域
分割ステップと、被分割領域分割ステップで、射影間の
空白部分が所定の長さを越える区間がない場合に、当該
被分割領域内で、各画素連結矩形の相互の位置関係から
文字を構成する画素連結矩形群を抽出し、これに外接す
る矩形を文字矩形として生成する主方向文字矩形生成ス
テップとを設けると効果的である。

【００２０】さらに、前記文字行候補分割ステップに
は、文字行候補内での文字矩形の大きさの平均値と分散
値のいずれか又は両方により、文字行候補内での文字矩
形の構成を判断する文字矩形構成判断ステップと、文字
矩形構成判断ステップにより、文字行候補内で文字矩形
間で所定の差異を有すると判断された場合に、所定の差
異がある文字矩形間で、文字行候補を分割する文字矩形
間分割ステップとを設けることが望ましい。

【００２１】かかる文字行候補分割ステップの文字矩形
構成判断ステップには、文字行候補内での文字矩形の一
辺の長さの平均値が文字行候補の短辺の長さよりも小さ
く、かつ、文字矩形の一辺の長さの分散値が所定値より
も大きければ、文字行候補中に大小の文字矩形が存在す
るという判断を含ませ、文字矩形間分割ステップには、
文字矩形判断ステップにより文字行候補中に大小の文字
矩形が存在すると判断された場合に、大きい文字矩形と
小さい文字矩形を挟む区間を検索する大小文字矩形間検
索ステップと、大小文字矩形間検索ステップで検索され
た区間で、文字行候補を分割する区間分割ステップとを
設けると好適である。

【００２２】さらに、文字行候補分割ステップの文字矩
形構成判断ステップには、文字行候補内での文字矩形の
一辺の長さの平均値が文字行候補の短辺の長さとほぼ同
じであれば、文字行候補中の文字矩形間に空白が存在す
るという判断を含ませ、文字矩形間分割ステップには、
文字矩形判断ステップにより文字行候補中の文字矩形間
に空白があると判断された場合に、空白がある区間を検
索する文字矩形間空白検索ステップと、文字矩形間空白
検索ステップで検索された区間で、文字行候補を分割す
る区間分割ステップとを設けてもよい。

【００２３】同様に、文字行候補分割ステップの文字矩
形構成判断ステップには、文字行候補の短辺の長さが文
字行候補内での文字矩形の一辺の長さの平均値の２倍以
上であれば、文字行候補中に文字列が２列以上混在する
という判断を含ませ、前記文字行候補分割ステップに
は、文字矩形判断ステップにより文字行候補中に文字列
が２列以上混在すると判断された場合に、文字行間で段
差を生じている区間を検索する文字行段差部検索ステッ
プと、文字行段差部検索ステップで検索された区間で、
文字行候補を分割する区間分割ステップとを設けること
ができる。

【００２４】また、かかる構成にさらに、前記文字行段
差部検索ステップで検索された区間に隣接する文字矩形
が所定の特殊な文字矩形か否かを判断する特殊文字判定
ステップと、特殊文字判定ステップで所定の特殊な文字
矩形であると判断された場合は、当該特殊な文字矩形を
分割する、特殊文字分割ステップとを設けることもでき
る。

【００２５】さらに、上記課題を解決するために本願発
明に係る文字行抽出方法は、画像データから画素の連結
する成分の外接矩形を画素連結矩形として抽出し、抽出
された各画素連結矩形の位置関係から文字を構成する部
分を抽出して、これに外接する矩形を文字矩形として生
成し、生成された各文字矩形を連結することによって文
字行を抽出する文字行抽出方法において、所定の構成を
有する文字矩形をルビ矩形として抽出するルビ矩形抽出
ステップと、ルビ矩形の近傍に存在する文字行を検索す
る親文字行検索ステップと、このルビ矩形を含む、検索
された文字行に対してルビが存在し得る範囲を決定する
ルビ存在可能範囲決定ステップと、ルビが存在し得る範
囲に存在するルビ矩形および文字行を連結することによ
って、ルビを構成する文字行を抽出するルビ文字行抽出
ステップとを設けたものである。

【００２６】また、本願発明に係る文字行抽出方法は、
画像データから画素の連結する成分の外接矩形を画素連
結矩形として抽出し、抽出された各画素連結矩形の位置
関係から文字を構成する部分を抽出して、これに外接す
る矩形を文字矩形として生成し、生成された各文字矩形
を連結することによって文字行を抽出する文字行抽出方
法において、抽出された文字行内の画素連結矩形または
文字矩形の数が定められた第１の閾値よりも大きけれ
ば、その文字行がノイズであると判断するノイズ文字行
判断ステップと、ノイズと判断された文字行を削除する
ノイズ文字行削除ステップとを設けたものである。

【００２７】さらに、この文字行抽出方法においては、
抽出された文字行内の画素連結矩形または文字矩形の数
が前記第１の閾値よりも小さく、第１の閾値よりも小さ
い定められた第２の閾値よりも大きければ、その文字行
をノイズ文字行候補とするノイズ文字行候補判断ステッ
プと、ノイズ文字行候補内の画素連結矩形または文字矩
形の大きさの平均値を算出し、この平均値が予め定めら
れる所定の値以下であれば、そのノイズ文字行候補をノ
イズと判断するノイズ文字行候補検証ステップとを設け
ることが望ましい。なお、この所定の値は計算値も含
み、例えば、ノイズ文字行候補の短辺の長さに対して所
定の割合を定めておき、この割合を予め計算することに
よって与えるようにしてもよい。

【００２８】一方、上記課題を解決するために本願発明
に係る文字行抽出装置は文字行候補生成手段と、文字矩
形生成手段と、文字行候補分割手段と、文字矩形接続手
段とにより構成される。文字行候補生成手段は、処理対
象の画像データから画素の連結する成分の外接矩形を画
素連結矩形として抽出する画素連結矩形生成手段と、前
記画像データもしくは抽出された各画素連結矩形の構成
から、主な文字行の方向を主方向、主方向に直交する方
向を副方向として判定する文字行方向判定手段と、各画
素連結矩形を相互の位置関係に応じて主方向又は副方向
に接続することにより文字行候補を生成する画素連結矩
形接続手段とよりなる。

【００２９】そして、文字矩形生成手段は、文字行候補
内で、各画素連結矩形の相互の位置関係から文字を構成
する画素連結矩形群を抽出し、これに外接する矩形を文
字矩形として生成する。また、文字行候補分割手段は、
文字行候補内での文字矩形群の構成に応じて、文字行候
補を分割する。さらに、文字矩形接続手段は分割された
文字行候補内で文字矩形を接続して文字行とする。

【００３０】また、上記課題を解決するために本願発明
に係る文字領域抽出装置は、処理対象の画像データから
射影分布を生成する射影分布生成手段と、射影分布を所
定の幅ごとにグループ化する射影グループ生成手段と、
各グループ内の射影分布の代表値を算出する射影グルー
プ代表値算出手段とを有し、さらに、隣接する前記射影
分布のグループの代表値間の差の最も大きなグループ間
の境界をグループ境界として求めるグループ境界抽出手
段と、このグループ境界を挟む２つのグループ内の射影
分布の差から文字領域と写真図形領域との境界を決定
し、当該境界の接している射影分布の小さい側を文字領
域として抽出する文字域抽出手段とを有するものであ
る。

【００３１】さらに、前記文字行抽出装置において、文
字行候補生成手段中の画素連結矩形接続手段には、主方
向に重なり、かつ、近接する画素連結矩形群を主方向に
接続して主方向の部分文字行として生成する主方向部分
文字行生成手段と、主方向部分文字行生成手段で、接続
されなかった画素連結矩形群で、所定の距離の範囲内に
あるものを接続して、主方向以外の部分文字行として生
成する非主方向部分文字行生成手段とを設け、さらに部
分文字行のうち、縦横比から文字を構成する部分文字行
を抽出する文字部分文字行抽出手段と、副方向に重な
り、かつ、近接する文字を構成する部分文字行群を副方
向に接続して、新たな副方向の部分文字行を生成する文
字副方向接続手段と、副方向に重なり、かつ、近接する
主方向の部分文字行群を接続して新たな主方向の部分文
字行を生成する部分文字行副方向接続手段と、主方向に
重なる、主方向の部分文字行群を主方向に接続して新た
な主方向の部分文字行を生成する部分文字行主方向接続
手段とを設け、これらの各手段より生成された部分文字
行を文字行候補とすることが望ましい。

【００３２】そして、上記課題を解決するために本願発
明に係る文字行主方向抽出装置は、処理対象の画像デー
タから画素の連結する成分の外接矩形を画素連結矩形と
して抽出し、この抽出した画素連結矩形を用いて処理対
象の画像の主方向を抽出する装置であり、処理対象の画
像データの形状から仮の主方向を決定する仮主方向決定
手段と、主方向に重なり、かつ、近接する画素連結矩形
群を主方向に接続して主方向の部分文字行として生成す
る主方向部分文字行生成手段、さらに、生成された各主
方向の部分文字行の構成から、仮主方向決定手段で決定
した仮の主方向が正しいかどうかを判断する主方向判断
手段と、主方向判断手段で仮の主方向が正しいと判断さ
れればその仮の主方向を主方向として抽出し、仮の主方
向が正しくないと判断されればその仮の主方向に直交す
る方向を主方向として抽出する主方向抽出手段とにより
構成される。

【００３３】前記文字行抽出装置においては、文字行候
補生成手段中の主方向部分文字行生成手段は、上記の文
字行主方向抽出装置を用いることが望ましく、この場
合、前記主方向部分文字行生成手段では、文字行主方向
判断装置中の主方向判断手段で仮の主方向が正しくない
と判断された場合のみ、主方向の部分文字行を生成する
ようにすれば足りる。

【００３４】また、前記部分文字行副方向接続手段に
は、さらに、副方向に重なり、かつ、準近接する主方向
の部分文字行同士を抽出する準近接部分文字行抽出手段
と、この準近接部分文字行抽出手段で抽出された部分文
字行同士間における各部分文字行に含まれる画素連結矩
形の距離が所定の値以下であれば、当該部分文字行同士
を接続し新たな主方向の部分文字行を生成する準近接部
分文字行接続手段とを設けると効果的である。

【００３５】また、前記文字行抽出装置においては、前
記主方向接続手段の前には、さらに、処理対象の画像デ
ータの所定領域を予め定めておき、当該所定領域内にお
いて、副方向に重なり、かつ、近接する画素連結矩形群
を副方向に接続して副方向の部分文字行として生成する
特定領域部分文字行生成手段を設けてもよい。それか
ら、前記文字矩形生成手段には、文字行候補を被分割領
域とし、この被分割領域に対して、主方向の被分割領
域、副方向の被分割領域、その他の被分割領域に分類す
る被分割領域分類手段を設け、被分割領域分類手段で、
副方向の被分割領域であると分類された場合は、この被
分割領域となっている文字行候補を文字行として抽出す
る副方向文字行抽出手段と、被分割領域分類手段で、そ
の他の被分割領域と分類された場合は、この被分割領域
の外接矩形を文字矩形として作成する単体文字矩形作成
手段と、被分割領域分類手段で、主方向の被分割領域で
あると分類された場合は、この主方向の被分割領域に対
して、主方向、副方向に射影をとり、射影間の空白部分
が所定の長さを越える区間がある場合は、当該区間で被
分割領域を分割してあらたな被分割領域とする被分割領
域分割手段と、被分割領域分割手段で、射影間の空白部
分が所定の長さを越える区間がない場合に、当該被分割
領域内で、各画素連結矩形の相互の位置関係から文字を
構成する画素連結矩形群を抽出し、これに外接する矩形
を文字矩形として生成する主方向文字矩形生成手段とを
設けると効果的である。

【００３６】さらに、前記文字行候補分割手段には、文
字行候補内での文字矩形の大きさの平均値と分散値のい
ずれか又は両方により、文字行候補内での文字矩形の構
成を判断する文字矩形構成判断手段と、文字矩形構成判
断手段により、文字行候補内で文字矩形間で所定の差異
を有すると判断された場合に、所定の差異がある文字矩
形間で、文字行候補を分割する文字矩形間分割手段とを
設けることが望ましい。

【００３７】かかる文字行候補分割手段の文字矩形構成
判断手段は、文字行候補内での文字矩形の一辺の長さの
平均値が文字行候補の短辺の長さよりも小さく、かつ、
文字矩形の一辺の長さの分散値が所定値よりも大きけれ
ば、文字行候補中に大小の文字矩形が存在するという判
断を行わせ、文字矩形間分割手段には、文字矩形判断手
段により文字行候補中に大小の文字矩形が存在すると判
断された場合に、大きい文字矩形と小さい文字矩形を挟
む区間を検索する大小文字矩形間検索手段と、大小文字
矩形間検索手段で検索された区間で、文字行候補を分割
する区間分割手段とを設けると好適である。

【００３８】さらに、文字行候補分割手段の文字矩形構
成判断手段は、文字行候補内での文字矩形の一辺の長さ
の平均値が文字行候補の短辺の長さとほぼ同じであれ
ば、文字行候補中の文字矩形間に空白が存在するという
判断を行わせ、文字矩形間分割手段には、文字矩形判断
手段により文字行候補中の文字矩形間に空白があると判
断された場合に、空白がある区間を検索する文字矩形間
空白検索手段と、文字矩形間空白検索手段で検索された
区間で、文字行候補を分割する区間分割手段とを設けて
もよい。

【００３９】同様に、文字行候補分割手段の文字矩形構
成判断手段には、文字行候補の短辺の長さが文字行候補
内での文字矩形の一辺の長さの平均値の２倍以上であれ
ば、文字行候補中に文字列が２列以上混在するという判
断を行わせ、前記文字行候補分割手段には、文字矩形判
断手段により文字行候補中に文字列が２列以上混在する
と判断された場合に、文字行間で段差を生じている区間
を検索する文字行段差部検索手段と、文字行段差部検索
手段で検索された区間で、文字行候補を分割する区間分
割手段とを設けることができる。

【００４０】また、かかる構成にさらに、前記文字行段
差部検索手段で検索された区間に隣接する文字矩形が所
定の特殊な文字矩形か否かを判断する特殊文字判定手段
と、特殊文字判定手段で所定の特殊な文字矩形であると
判断された場合は、当該特殊な文字矩形を分割する、特
殊文字分割手段とを設けることもできる。さらに、上記
課題を解決するために本願発明に係る文字行抽出装置
は、画像データから画素の連結する成分の外接矩形を画
素連結矩形として抽出し、抽出された各画素連結矩形の
位置関係から文字を構成する部分を抽出して、これに外
接する矩形を文字矩形として生成し、生成された各文字
矩形を連結することによって文字行を抽出する文字行抽
出装置において、所定の構成を有する文字矩形をルビ矩
形として抽出するルビ矩形抽出手段と、ルビ矩形の近傍
に存在する文字行を検索する親文字行検索手段と、この
ルビ矩形を含む、検索された文字行に対してルビが存在
し得る範囲を決定するルビ存在可能範囲決定手段と、ル
ビが存在し得る範囲に存在するルビ矩形および文字行を
連結することによって、ルビを構成する文字行を抽出す
るルビ文字行抽出手段とを設けたものである。

【００４１】また、本願発明に係る文字行抽出装置は、
画像データから画素の連結する成分の外接矩形を画素連
結矩形として抽出し、抽出された各画素連結矩形の位置
関係から文字を構成する部分を抽出して、これに外接す
る矩形を文字矩形として生成し、生成された各文字矩形
を連結することによって文字行を抽出する文字行抽出装
置において、抽出された文字行内の画素連結矩形または
文字矩形の数が定められた第１の閾値よりも大きけれ
ば、その文字行がノイズであると判断するノイズ文字行
判断手段と、ノイズと判断された文字行を削除するノイ
ズ文字行削除手段とを設けたものである。

【００４２】さらに、この文字行抽出装置においては、
抽出された文字行内の画素連結矩形または文字矩形の数
が前記第１の閾値よりも小さく、第１の閾値よりも小さ
い定められた第２の閾値よりも大きければ、その文字行
をノイズ文字行候補とするノイズ文字行候補判断手段
と、ノイズ文字行候補内の画素連結矩形または文字矩形
の大きさの平均値を算出し、この平均値が予め定められ
る所定の値以下であれば、そのノイズ文字行候補をノイ
ズと判断するノイズ文字行候補検証手段とを設けること
が望ましい。なお、この所定の値も計算値も含むもので
あり、例えば、ノイズ文字行候補の短辺の長さに対して
所定の割合を定めておき、この割合を予め計算すること
によって与えるようにしてもよい。

【００４３】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図を用いて説明する。図１は本発明に係る文字行抽
出方法および文字行抽出装置を用いた文字認識装置の構
成を示すブロック図である。かかる文字認識装置は、ス
キャナー等よりなる光学的手段により紙面に印字された
文字画像等を画像データとして読み取る画像入力部１、
画像データから文字領域を抽出する文字領域抽出部２、
後に詳述する文字行を抽出する文字行抽出部３、文字行
抽出部３で抽出されないルビ文字行を抽出するルビ文字
行抽出部８、抽出された文字行がノイズである場合に除
去するノイズ文字行削除部９、抽出された文字行を構成
する文字を一文字づつ認識する文字認識部１０により構
成される。この装置の文字領域抽出部２、文字行抽出部
３、ルビ文字行抽出部８、ノイズ文字行削除部９、文字
認識部１０の動作は汎用のコンピューターとこれに格納
されるプログラムによっても達成することができ、この
プログラムはフロッピーディスク等の記録媒体に記録す
ることができる。

【００４４】以下に、各構成部分の詳細をさらに説明す
る。まず、本願発明に係る文字領域抽出装置である文字
領域抽出部２の構成を図２に示す。文字領域抽出部２
中、射影分布生成部２１は処理対象の画像データから射
影分布を生成する。射影分布とは処理対象の画像データ
の一方向における黒画素の総和をこの方向に直交する方
向に沿って一定間隔ごとに分布をとったものであり、例
えば、図３（ａ）に示すように画像データに対して、縦
方向の射影分布を生成すると図３（ｂ）のようになる。

【００４５】射影グループ生成部２２は射影分布を所定
の幅ごとにグループ化する。この所定の幅は処理対象の
文書内に表される写真や図形の大きさ等を統計し、実験
により最も良い結果をもたらす値を導き出して使用す
る。次に、射影グループ代表値算出部２３は生成された
各グループ内の射影分布の代表値を算出する。ここでは
代表値としてグループ内の各射影の平均値を求める。図
３（ｃ）に、図３（ｂ）の射影分布をグループ化して各
グループを代表値によって表した図を示す。 グループ
境界抽出部２４は隣接する前記射影分布のグループの代
表値間の差の最も大きなグループ間の境界をグループ境
界として求める。また、さらにグループ境界抽出部２４
は、境界で分割してできるそれぞれの領域に属する全グ
ループの射影の平均値の差や平均値の大きな方の値が所
定の閾値を越えるか否か、さらには領域の幅が所定の値
を越える否か等によって、当該境界が文書領域と写真図
形領域のおおよその境界となり得るか否かを判断する。

【００４６】文字域抽出部２５は、このグループ境界が
文書領域と写真図形領域のおおよその境界となり得ると
判断された場合に、このグループ境界を挟む２つのグル
ープ内の射影分布の差から文字領域と写真図形領域との
境界を決定し、当該境界の接している射影分布の小さい
側を文字領域として抽出する。ここでは、射影分布の差
から谷部分を検出し、当該谷部分を文字領域と写真図形
領域との境界とする。ただし、射影分布が０の領域と０
で出ない領域が隣接している所があれば、その隣接して
いる境界を文字領域と写真図形領域との境界とする。ま
た、グループ境界が文書領域と写真図形領域のおおよそ
の境界となり得えないと判断された場合には対象領域全
体を文字領域として抽出する。なお、ここでは対象画像
の長辺方向に対して、文字行域と写真図形領域を分離す
るようにしているが、これは、短辺方向に対して同様の
処理を行ってもよく、長辺方向と短辺方向の両方につい
て同様の処理を行ってもよい。

【００４７】次に、本願発明に係る文字抽出装置である
文字行抽出部３の構成を説明する。文字行抽出部３は、
図１に示すように、画像データから以降の処理の基本単
位となる基本矩形を構成する画素の連結する成分を適宜
接続して文字行候補を生成する文字行候補生成部４、画
素の連結する成分の構成から文字を構成する領域を囲む
文字矩形を生成する文字矩形生成部５、文字行候補生成
部４により生成された文字行候補を、文字矩形の平均
値、分散値等に基づいて分割する文字行候補分割部６、
文字行候補分割部６により分割された領域内で文字矩形
を適宜接続する文字矩形接続部７よりなる。

【００４８】文字行候補生成部４の構成を図４に示す。
文字行候補生成部４中、画素連結矩形生成部４１は画像
入力部１から入力された画像デ−タの内、文字領域抽出
部２により抽出された領域に対して、連続している画素
連結成分に外接する矩形（画素連結矩形）を生成する。
この画素連結矩形の生成はラベリングなどの公知の手法
を用いて行われる。画素連結矩形の例を図５に示す。図
５中の各矩形ａ、ａ、・・・が画素連結矩形である。図
からもわかるように画素連結矩形は必ずしも一文字に対
応するものではなく、一文字の部分である場合もある。

【００４９】文字行方向判定部４２は、主な文字行の方
向を主方向として判定抽出する部分であり、文字行方向
判定部４２は、図に示すように仮主方向決定部４２ａ、
主方向判断部４２ｂ、主方向抽出部４２ｃにより構成さ
れる。仮主方向決定部４２ａは、画像データの外形から
仮の主方向を設定する。例えば、処理対象が英文であれ
ば画像データの外形の短辺方向を仮の主方向とし、処理
対象が名刺ならば画像データの外形の長辺方向を仮の主
方向とする。もっとも、主方向の決定は画素連結矩形の
配列の構成から行の多い方向を主方向と定めてもよい。
なお、ここでは「主方向」とは画像データに含まれる大
多数の文字行の方向をいい、主方向に直交する方向を
「副方向」と呼んでいる。例えば、図７の画像データに
ついては、横方向が主方向であり、これに、直交する方
向が副方向である。

【００５０】主方向判断部４２ｂは、後に述べる主方向
部分文字行生成部４３で画素連結矩形を主方向に接続し
て生成された各主方向の部分文字行の構成から仮主方向
決定部４２ａで決定した主方向が正しかったかどうかを
判断する。ここで、画素連結矩形群の接続とは、例え
ば、図６に示すように、図５のように作成された各画素
連結矩形群ａ、ａ・・をその位置関係から、グル−プ化
してこれに外接する領域ｂを作成することであり、この
領域ｂが主方向への部分文字行となる。

【００５１】仮主方向決定部４２ａで決定した仮の主方
向が正しかったかどうかの判断は、所定の長さを越え、
かつ、画素連結矩形が所定の割合以上に詰まっている部
分文字行が所定数あれば仮主方向決定部４２ａで決定し
た仮の主方向が正しかったと判断し、この条件を満たさ
なければ決定した仮の主方向が誤っていたと判断する。
例えば、主方向部分文字行生成部４３で、図８（ａ）に
示すような主方向の部分文字行が生成されたならば、十
分に長く文字の詰まった文字行が多数存在しているの
で、仮の主方向は正しかった判断されるが、主方向部分
文字行生成部４３で、図８（ｂ）に示すような主方向の
部分文字行が生成されたならば、上記条件を満たさず、
仮の主方向は誤っていたと判断される。なお、上記の他
に、所定長さ以下の部分文字行が所定数あることや、所
定長さを越え、画素連結矩形が所定の割合以下の部分文
字行が所定数あることをもって、仮主方向決定部４２ａ
で決定した仮の主方向は誤っていたと判断する等の条件
も考えられる。

【００５２】最後に、主方向抽出部４２ｃは、主方向判
断部４２ｂで仮の主方向が正しいと判断されればその仮
の主方向を主方向として抽出し、仮の主方向が正しくな
いと判断されればその仮の主方向に直交する方向を主方
向として抽出する。なお、以上の構成を有する文字行方
向判定部４２と次に説明する主方向部分文字行生成部４
３が本願発明に係る文字行主方向抽出装置を構成する。

【００５３】主方向部分文字行生成部４３は主方向に重
なり、かつ、近接する画素連結矩形群を主方向に接続し
て主方向の部分文字行として生成する。主方向への画素
連結矩形の接続は、画素連結矩形間の距離や重なり度合
い等の位置関係、大きさの違いなどの接続条件により接
続するかどうか判定し、注目矩形に被接続矩形を接続し
ていくという公知の手法を用いる。主方向部分文字行生
成部４３での処理の結果は上述したように文字行方向判
定部４２へと戻され、仮の主方向が正しいが否かの判断
がされ、真の主方向が抽出される。ここで、仮の主方向
が誤っていれば主方向部分文字行生成部４３は、抽出さ
れた真の主方向に基づき主方向の部分文字行を生成しな
おす。一方、仮の主方向が正しければ主方向部分文字行
生成部４３は何もせず以前に生成した結果をそのまま出
力する。

【００５４】非主方向部分文字行生成部４４は、接続さ
れなかった画素連結矩形群のうち、互いに一定範囲に存
するもの同士を接続して部分文字行を作成する。部分文
字行分類部４５は、生成された部分文字行を、大きさや
縦横の比率から主方向の部分文字行、副方向の部分文字
行、文字の部分文字行、その他の部分文字行などの属性
に分類し、各部分文字行に対して、分類された固有の属
性を設定する。例えば、縦横比等から副方向に長い部分
文字行は副方向の部分文字行に分類され、縦横比がほぼ
等しく、大きさが所定の閾値以下であれば文字の部分文
字行であると分類され、抽出される。また、主方向の部
分文字行は主方向部分文字行生成部４３によって接続さ
れた領域が、そのまま主方向の部分文字行となる。

【００５５】文字副方向接続部４６は、属性が文字であ
る部分文字行のうち、互いに副方向に重なりが大きく、
近接するもの同士を接続する。なお、ここで近接すると
は所定の距離以下の範囲に互いに存することをいい、重
なる場合も含む。部分文字行副方向接続部４７は副方向
に重なりが大きく、近接する部分文字行同士を接続す
る。部分文字行主方向接続部４８は主方向に重なりが大
きい、副方向以外の部分文字行同士を主方向に接続す
る。文字行候補生成部４で部分文字行および部分文字行
を接続してできた領域を「文字行候補」とする。

【００５６】続いて、文字矩形生成部５の構成を図９に
示す。文字矩形生成部５中、被分割領域分類部５１は文
字行候補生成部４によって生成された文字行候補を被分
割領域とし、この被分割領域を主方向、副方向、文字、
その他の属性に分類する。副方向文字行抽出部５２は、
属性が副方向の被分割領域を副方向の文字行として抽出
する。被分割領域分割部は、属性が主方向の被分割領域
を、主方向及び副方向に射影を取得し、射影と射影の間
の空白部分が所定の閾値を越えるところで文字行候補を
分割する。なお、射影とは図１０のｓ、ｓ・・・で示す
ようなある方向からの投影光が画素連結矩形によって遮
られる部分をいい、空白部分は図１０のＢ、Ｂ、・・・
で示すような射影と射影の隙間をいう。また、射影間の
空白部分が所定の閾値を越えるところを本願では「セパ
レータ」とよぶ。文字矩形抽出部５４は、セパレータと
なる空白部分がなくなった主方向の被分割領域および、
文字、その他の属性をもつ被分割領域について、被分割
領域内の各画素連結矩形を相互の位置関係に応じて、こ
れに外接する矩形を「文字矩形」として生成する。ここ
で「文字矩形」とは、図１１（ａ）のように重なりのあ
る画素連結矩形群を文字を構成するものと判断して、図
１１（ｂ）に示すように、この画素連結矩形群に外接す
るように形成された矩形をいう。

【００５７】文字行候補分割部６の構成を図１２に示
す。文字行候補分割部６中、文字矩形平均値算出部６１
は文字矩形生成部５によって、文字矩形生成の完了した
文字行候補内の各文字矩形の主方向の一辺の大きさを文
字サイズとして、これら文字サイズの平均値を文字サイ
ズ平均値として算出する。文字矩形分散値算出部６３は
文字サイズの分散値を算出する。平均値比較部６２は文
字行候補短辺の長さと文字サイズ平均値の大小を比較す
る。文字構成判定部６４は文字行候補の短辺の長さが文
字サイズ平均値より小さければ、文字行候補内には１文
字行のみが存在すると判定する。文字行候補の短辺の長
さが文字サイズの平均値より小さい場合があり得るの
は、文字行内の画素連結矩形群が主方向に近接してお
り、二つ以上の文字が一文字として文字矩形に含まれる
場合であり、かかる場合は文字間が近接しており、文字
間には空間が無いものと考える。さらに、文字構成判定
部６４は、文字行候補の短辺の長さが文字サイズ平均値
より小さくなく、文字サイズの分散値が大きければ、文
字行候補内には文字サイズが異なる複数の文字行が存在
すると判定し、文字サイズの分散値が大きくなく、文字
行候補短辺の長さと文字サイズ平均値がほぼ等しければ
文字行候補内に同じ文字サイズの文字行が１列のみ存在
し、かつセパレータが存在すると判定し、文字サイズの
分散値が大きくなく、文字行候補短辺の長さが文字サイ
ズ平均値より大きければ、文字行候補内に同じ文字サイ
ズの文字行が２列存在すると判定する。ここでは、文字
行候補短辺の長さと文字サイズ平均の比が２倍程度であ
れば２列と判定するが、文字行候補短辺の長さと文字サ
イズ平均の比が、３倍程度であれば３列である等の判定
ができるのは言うまでもない。

【００５８】大小文字矩形間検索部６５は文字構成判定
部６４が文字行候補内には文字サイズが異なる複数の文
字行が存在すると判定した場合に、大きい文字矩形と小
さい文字矩形を挟む区間（図２５（ａ）参照）を検索す
る。大きい文字矩形と小さい文字矩形を挟む区間を検索
する方法は、まず、文字行候補の端に位置する文字矩形
を取得し、基準文字とする。次に基準文字に隣接する文
字矩形を取得し、これを比較文字とする。基準文字と比
較文字の文字サイズを比較して、極端な差異がなければ
現在の比較文字を基準文字とし、次の隣接する文字矩形
を比較文字として、文字サイズを比較する。そして、文
字サイズに極端な差異があれば、この基準文字と比較文
字の間が大きい文字矩形と小さな文字矩形を挟む区間で
あると認定する。

【００５９】文字矩形間空白検索部６６は文字構成判定
部６４が文字行候補内に同じ文字サイズの文字行が１列
のみ存在し、かつセパレータが存在すると判定した場合
に、セパレータとなる区間（図２７参照）を検索する。
セパレータとなる区間の検索の方法は、文字行候補内で
文字行方向に垂直な方向に文字矩形の射影をとり、その
射影値より得られた空白部分について、セパレータとな
る極端に大きい空白部分が存在するかどうか判定するこ
とにより行う。空白部分がセパレータになりうる程度に
極端に大きいかどうかは、例えば最も大きい空白部分と
２番目に大きい空白部分との比が閾値以上であるかどう
かなどにより判定する。

【００６０】文字行段差部検索部６７は、文字構成判定
部６４が文字行候補内に同じ文字サイズの文字行が２列
以上存在すると判定した場合に、２列に並んだ文字行の
中間的な位置に、段差をもって存在する文字行（図２９
（ａ）参照）と２列の文字行の区間を検索する。なお、
本願では、この中間的な位置に存在する文字行を「１／
２改行文字行」と呼ぶ。この区間の検索の方法は、ま
ず、１／２改行文字行の存在範囲を計算する。１／２改
行文字行の存在範囲は例えば、短辺方向の中心が文字行
候補と等しく、短辺方向の幅が平均文字サイズの値と等
しい矩形内とする。次に、文字行候補の端に位置する文
字矩形を取得し比較文字とする。比較文字が１／２改行
文字行の存在範囲内に含まれていれば、現在の比較文字
に隣接する文字矩形を次の比較文字とする。このような
操作を順次行い、比較文字が１／２改行文字行の存在範
囲外となったところで、当該比較文字の文字矩形と直前
に比較文字であった文字矩形との間の区間を、１／２改
行文字行と２列の文字行の間の区間であると認定する。
なお、最初の比較文字が１／２改行文字行の存在範囲外
である場合は、１／２改行文字行は存在しないとみなし
分割は行なわない。

【００６１】区間分割部６８は、大小文字矩形間検索部
６５、文字矩形間空白検索部６６、文字行段差部検索部
６７によって検索された区間で、文字行候補を分割す
る。特殊文字判定部６９は、文字行段差部検索部６７で
検索された区間に隣接する文字矩形が所定の特殊文字で
あるか否かを判定する。特殊文字とは、例えば、１／２
改行文字行と２列の文字行の間に挿入される｛等の特殊
な文字をいう（図２９（ｂ）参照）。特殊文字の判定
は、１／２改行文字行を抽出した残りの領域内におい
て、１／２改行文字行に最も近い最初の１文字が｛等の
特殊文字であるかどうかにより行う。特殊文字であるか
どうかは、文字矩形の形状が他の文字矩形に比べて極端
に大きいかどうかなどにより判定する。そして、特殊文
字分割部７０は特殊文字判定部６９で特殊文字が存在す
ると判定された場合に、当該特殊文字を分割する。

【００６２】最後に、文字矩形接続部７について説明す
る。文字矩形接続部７は文字行候補分割部６による分割
処理が終了した後、所定の接続条件を満たす文字行候補
を分割した領域内の文字矩形群を主方向に接続する。文
字矩形群の接続は、矩形間の距離や重なり度合い、大き
さの違いなどの接続条件により接続するかどうか判定
し、注目矩形に被接続矩形を接続していくという公知の
手法を用いる。なお、文字行段差部検索部６７で生成さ
れた１／２改行文字行部分など、分割領域内に１文字行
しか存在しないことがわかっている場合は、分割領域を
そのまま文字行として抽出する。

【００６３】以上の構成により文字行抽出部３は文字行
を抽出することができるが、図１のブロック図では、さ
らに文字行を抽出した後に、ルビ文字行抽出部８、ノイ
ズ文字行削除部９を設けて、ルビを構成する文字行の抽
出と、ノイズ文字行の削除を行なっている。まず、ルビ
文字行抽出部８の構成を図１３に示す。ルビ文字行抽出
部８中、ルビ矩形抽出部８１は文字行抽出部３によって
抽出された文字行の領域を示す各矩形に注目し、ルビか
どうかを判定する。注目した矩形がルビかどうかは、矩
形の大きさと予め定められた閾値よりも小さいか否か等
により判定する。親文字行検索部８２は、ルビ矩形抽出
部８１によって、注目した矩形がルビと判定されたなら
ば、当該ルビ矩形の近くにある可能性のある「親文字
行」を検索する。なお、「親文字行」とは、ルビがふら
れている文字行をいう。親文字行が存在するかどうか
は、注目した矩形の最近接文字行と注目した矩形の距離
が近く、最近接文字行が十分大きければ、当該最近接文
字行を親文字行とする等の方法で行う。ルビ存在可能範
囲決定部８３は、親文字行検索部８２によって検索され
た親文字行を基準として、ルビの存在可能範囲を決定す
る。ルビの存在範囲は、例えば、親文字行の注目した矩
形がある側に接し、長辺の長さが親文字行と等しく、短
辺の長さが予め定められた閾値以内である領域内とす
る。ルビ文字行作成部８４は、ルビの存在可能範囲に含
まれるすべての文字行の領域を表す矩形を注目矩形に接
続することにより、ルビ文字行を抽出する。

【００６４】次に、ノイズ文字行削除部９の構成を図１
４に示す。ノイズ文字行削除部９中、ノイズ文字行判定
部９１は抽出された各文字行がノイズであるかどうかを
判断する。判断はその文字行に含まれる文字矩形の数が
定められた第１の閾値よりも大きければ、その文字行が
ノイズであると判断する。ノイズ文字行候補判断部９２
は各文字行内の文字矩形の数が前記第１の閾値よりも小
さく、第１の閾値よりも小さい定められた第２の閾値よ
りも大きければ、その文字行をノイズ文字行候補と判断
する。これら第１、第２の閾値は処理対象に応じて経験
的に見出される値であり予め定められる。ここでは、第
１の閾値として２００、第２の閾値として５と定めてあ
る。ノイズ文字行候補検証部９３は、ノイズ文字行候補
内の文字矩形の大きさの平均値を算出し、この平均値が
予め定められる所定の値以下であれば、そのノイズ文字
行候補をノイズと判断する。この所定の値は実験等によ
って得られ予め定められる。ここでは、この値を４００
ｄｐｉの解像度で６ピクセル（原画像で０．４ｍｍ）と
している。なお、上記の判断は文字矩形の数や大きさで
なく、画素連結矩形の数や大きさによって行ってもよ
い。また、文字矩形や画素連結矩形の大きさは所定の位
置方向の辺の長さを用いる。以上の動作の後、ノイズ文
字行削除部９４はノイズと判定された文字行を削除す
る。

【００６５】以上の構成を有する文字行抽出装置による
文字行抽出方法の動作について、名刺画像から文字行を
抽出する場合を例にとって以下に説明する。まず、文字
領域抽出部２の操作について説明する。図１５に文字領
域抽出部２の動作を表すフローチャートを示す。ここで
は、図３に示す名刺から文字領域を抽出するものとす
る。

【００６６】文字領域抽出部２の射影分布生成部２１
は、画像入力部１から入力された名刺の画像データか
ら、射影分布を生成し、平滑化する（ステップ１０
１）。これにより図３（ａ）のような名刺画像の場合か
ら、図３（ｂ）のような射影分布が得られる。射影グル
ープ生成部２２は、生成された射影分布を名刺画像に対
応して予め定められれた所定の幅をもってグループ化
し、射影グループ代表値算出部２３は生成された各グル
ープ毎に射影分布の平均値を求める（ステップ１０
２）。これにより、図３（ｂ）のような射影分布から、
図３（ｃ）のような射影グループの分布が得られる。

【００６７】グループ境界抽出部２４は、隣接する射影
グループ間の平均値の差が最大となるグループ間の境界
を射影グループの境界として抽出する（ステップ１０
３）。この動作により図３（ｃ）に示す射影グループの
分布の場合は、グループ境界ｌが抽出される。さらに、
グループ境界抽出部２４は、このグループ境界によって
分けられた各々の領域の射影グループの平均値および各
々の領域の幅を算出し（ステップ１０４）、その平均
値、領域の幅に基づき、当該グループ境界が文章領域と
写真領域のおおよその境界となり得るか否かを判断する
（ステップ１０５）。図３（ｃ）におけるグループ境界
ｌの場合には、このグループ境界ｌによって分けられた
各々の領域の射影グループ間の平均値の差が大きく、各
々の領域の幅も妥当であるのでグループ境界ｌは文章領
域と写真領域のおおよその境界となり得ると判断され
る。

【００６８】ステップ１０５でグループ境界が文書領域
と写真図形領域のおおよその境界となり得ると判断され
た場合には、文字域抽出部２５はこのグループ境界を挟
む２つのグループ内の射影分布の差から文字領域と写真
図形領域との境界を決定し、当該境界の接している射影
分布の小さい側を文字領域として抽出する（ステップ１
０６）。例えば、図３（ｃ）で射影グループの境界ｌが
求まれば、これに隣接する射影グループＡ、Ａ内に含ま
れる図３（ｂ）中の射影分布領域から文字領域と写真図
形領域との境界Ｌが求まる。そして、この境界Ｌに接し
ている射影分布の小さい側、即ち、境界Ｌの右側の領域
が文字領域と判断される。

【００６９】また、ステップ１０５でグループ境界が文
書領域と写真図形領域のおおよその境界となり得ると判
断されなかった場合には、文字域抽出部２５は対象領域
全体を文章領域と判断する。以上の動作により対象画像
から文字領域が抽出される。なお、グループ境界抽出部
２４は、隣接する射影グループの値の差が最大となる部
分を、射影グループの境界位置として抽出する（ステッ
プ１０３）だけにとどめ、ステップ１０４、１０５を省
略することも可能である。

【００７０】次に、文字行抽出部３の大まかな動作につ
いて、図１６を用いて説明する。図１６は文字行抽出部
３の処理を示すフローチャートである。まず、文字行候
補生成部４は、画像入力部１から取り込んだ画像データ
から文字行候補を生成する（ステップ２０１）。次に文
字矩形生成部５は文字行候補を一つ取得し（ステップ２
０２）、文字行候補内で、文字矩形を生成する（ステッ
プ２０３）。そして、文字行候補分割部６は文字行候補
内の文字矩形の構成に応じてこの文字行候補を分割する
（ステップ２０４）。さらに、文字矩形接続部７は、文
字行候補の分割により生成された分割領域を１つ取得し
（ステップ２０５）、分割領域内で文字矩形の接続を行
なう（ステップ２０６）。文字矩形接続部７は全ての分
割領域について、同様の操作を繰り返す（ステップ２０
７）。文字矩形生成部５、文字行候補分割部６、文字矩
形接続部７は、以上の動作（ステップ２０２〜ステップ
２０７）を文字行候補生成部４で生成された全ての文字
行候補の処理がされるまで繰り返す（ステップ２０
８）。

【００７１】以下に、各構成部分の動作についてさらに
詳細に説明する。まず、文字行候補生成部４の動作につ
いて図１７を用いて説明する。図１７は文字行候補生成
部４の動作を示すフローチャートである。文字行候補生
成部４の画素連結矩形生成部４１は、画像入力部１から
入力された名刺の画像デ−タから、画素連結矩形を生成
する（ステップ３０１）。次に、文字行方向判定部４２
の仮主方向決定部４２ａは、名刺画像の形状から仮の主
方向を決定する（ステップ３０２）。名刺の場合、ほと
んどの場合が名刺画像の長辺と文字行は平行であるた
め、長辺方向を仮の主方向と設定する。次に、主方向部
分文字行生成部４３は、各画素連結矩形群の位置関係等
の情報から、生成された画素連結矩形群を主方向に接続
して主方向の部分文字行を生成する（ステップ３０
３）。それから、主方向判断部４２ｂが仮主方向決定部
４２ａで決定した主方向が正しかったかどうかを判断す
る（ステップ３０４）。ここで、仮の主方向が誤ってい
たと判断されたときは主方向抽出部４２ｃは、仮の主方
向と直交する方向を主方向として抽出し（ステップ３０
５）、主方向部分文字行生成部４３は新たに主方向の部
分文字行を生成する（ステップ３０６）。一方、主方向
判断部４２ｂで仮の主方向が誤っていたと判断されたと
きは、主方向抽出部４２ｃは、仮の主方向主方向として
抽出し（ステップ３０７）、主方向部分文字行生成部４
３は何もしない。このような処理によって、例えば図８
（ｂ）に示すような名刺であっても適切に主方向を抽出
することができる。

【００７２】つぎに、非主方向部分文字行生成部４４は
主方向以外の部分文字行を作成する（ステップ３０
８）。まず最初に主方向に画素連結矩形群を接続して主
方向の部分文字行を生成し、それから主方向以外の部分
文字行を作成するのは、文字行の多くは主方向の文字行
であり、主方向の文字行が並列に並んでいる場合に、副
方向に重なりのある文字同士が副方向の部分文字行と判
断されることを避けるためである。

【００７３】図１８に、ステップ３０１から３０８まで
を実行した結果の一例を示す。図に示すように、主方向
への接続パラメータの一つである矩形間の距離の閾値を
厳しく設定すると図１８（ａ）のように接続不十分な箇
所が発生し、逆に緩く設定すると図１８（ｂ）のように
重なり度合いの大きい副方向文字行の一部と接続してし
まう。また、図１８（ｃ）のように画素連結矩形が上下
に別れた文字が連続する文字行の場合、１文字行が上下
に分離してしまうこともある。このようにステップ３０
３や３０８による接続において、常に最適の接続パラメ
ータを設定することは容易ではない。このように接続パ
ラメータが適切でなかった場合に対応できるように文字
行候補生成部４はさらに、以下の処理を行う。この処理
手順を図１９を参照しながら説明する。

【００７４】まず、部分文字行分類部４５は、各画素連
結矩形群の位置関係、矩形の形状などの情報から、主方
向の部分文字行、副方向の部分文字行、文字の部分文字
行、その他の部分文字行などの属性に分類し、各部分文
字行に対して、分類された固有の属性を設定する（ステ
ップ３０９）。図１９（ａ）においては、「Ｍ」「ｉ」
「Ｌ」「Ｈ」を囲む部分文字行の属性が文字であると設
定され、その他の部分文字行は属性が主方向の部分文字
行であると設定される。なお、「Ｍ」「ｉ」「Ｌ」
「Ｈ」は互いに距離が離れているため、それぞれを囲む
領域が部分文字行とされたが、距離の閾値を大きく設定
していたなら、この四つの文字を囲む領域が副方向の部
分文字行と判断されることもあり得る。文字副方向接続
部４６により属性が文字である部分文字行のうち、互い
に副方向に重なりが大きく、近接するもの同士を接続す
る（ステップ３１０）。この操作は主方向の接続（ステ
ップ３０３等）では抽出できない副方向の部分文字行を
抽出するために行う。例えば、図１９（ａ）において、
属性が文字の部分文字行は「Ｍ」「ｉ」「Ｌ」「Ｈ」を
囲む部分文字行であり、副方向に重なりが大きく、近接
するので、図１９（ｂ）のハッチング部分に示すように
副方向に接続される。さらに、部分文字行副方向接続部
４７は、副方向に重なりが大きく、近接する部分文字行
同士を接続する（ステップ３１１）。これは、図１８
（ｃ）のような誤接続に対処するために行なう。例え
ば、図１９（ｂ）では、右下の二つの矩形で囲まれる部
分文字行が、互いに副方向に重なり、近接しているの
で、図１９（ｃ）のハッチング部分に示すように副方向
に接続される。最後に、部分文字行主方向接続部４８
は、主方向に重なりが大きい、副方向以外の部分文字行
同士を主方向に接続する（ステップ３１２）。これは図
１８（ａ）または図１８（ｃ）のような誤接続に対処す
るために行なう。例えば、図１９（ｃ）では、下の二つ
の矩形で囲まれる部分文字行が主方向に重なりが大きい
ので、図１９（ｃ）のハッチング部分に示すように接続
される。

【００７５】ところで、以上の処理によっても、文字行
候補生成部４の、主方向部分文字行生成部４３、文字副
方向接続部４６、部分文字行副方向接続部４７、部分文
字行主方向接続部４８における接続パラメータと、読み
取る画像データの構成によっては、うまく文字行の抽出
ができないことがある。例えば、主方向部分文字行生成
部４３によって図２０（ａ）のように接続された後に、
部分文字行副方向接続部４７によって図２０（ｂ）のよ
うに副方向文字行の全体を含んだ１つの文字行候補とし
て統合されてしまうことがある。このような場合であっ
ても以下の文字矩形生成部５の処理によって、副方向の
文字行も１つの文字行として抽出できる。

【００７６】文字矩形生成部５の動作について図２１を
用いて説明する。図２１は文字矩形生成部５の動作を示
すフローチャートである。この図において最初に入力さ
れるのは、上記の文字行候補生成部４によって生成され
た文字行候補の任意の１つである。ここでは、図２２
（ａ）に示す文字行候補が入力されたとする。まず、被
分割領域分類部５１は文字行候補を最初の被分割領域と
する（ステップ４０１）。そして、被分割領域に主方
向、副方向、文字、その他のいずれかに分類して属性を
設定する（ステップ４０３）。図２２（ａ）に示す被分
割領域は主方向の属性に設定される。被分割領域の属性
が副方向文字行または文字であれば何もせず（ステップ
４０４）、それ以外であれば、被分割領域分割部５３が
被分割領域内で画素連結矩形の射影を取得する（ステッ
プ４０５）。セパレータとなる空白部分があれば（ステ
ップ４０６）、セパレータとなる空白部分の前後で被分
割領域を分割する（ステップ４０７）。図２２（ａ）に
おいて、主方向、副方向の両方向に射影をとると、まず
縦に長い空白部分が見つかり、この空白部分をセパレー
タとして左右に分割した結果が図２２（ｂ）である。

【００７７】次に、分割してできた領域それぞれを新た
な被分割領域とし（ステップ４０８）、未処理の被分割
領域が存在する間（ステップ４０９）、ステップ４０２
から繰り返す。図２２（ｂ）では新たな被分割領域が左
右にできるので、この新たな被分割領域に対して処理が
繰り返される。左側の領域は縦に細長いため、属性が副
方向であるとされ、これ以上分割されない。右側の領域
は横に長く、適当な大きさがあるため、副方向文字行で
も文字でもない。そして、右側の領域に射影をとると、
今度は横に細長い空白部分がみつかり、これらの上下で
分割すると図２２（ｃ）のようになる。ステップ４０６
でセパレータとなる空白部分がなければ、文字矩形抽出
部５４は被分割領域内の重なりのある画素連結矩形を統
合することにより、文字矩形を生成する（ステップ４１
０）。図２２（ｃ）では、上の２つの領域には、広い空
白部分が存在しないので、文字矩形抽出部５４により文
字矩形が生成される。一方、一番下の領域（「吉森亜
依」の文字行）では、文字間に広い空白部分が存在する
ので、それぞれの左右で分割され図２２（ｄ）のように
なる。分割により生じた領域は、縦横比が小さいことや
長辺の長さが閾値以内であることから、属性が文字とな
るのでこれ以上分割されず、これらから文字矩形抽出部
５４により文字矩形が生成される。なお、以上の動作は
あくまで文字矩形を生成するためのものであり、文字行
候補は分割されず、以上の動作によっても、もとの文字
行候補生成部４で生成された図２２（ａ）の矩形の領域
が文字行候補であることには変わりがない。

【００７８】今度は、文字行候補分割部６について図２
３を用いて説明する。図２３は文字行候補分割部６の動
作を示すフローチャートである。まず、文字行候補分割
部６は、文字矩形生成部５で文字矩形生成の完了した文
字行候補を１つ取得する（ステップ５０１）。次に、文
字矩形平均算出部６１により、文字行候補内の文字矩形
の長辺の長さの平均値を算出する（ステップ５０２）。
次に、平均値比較部６２により文字行候補の短辺の長さ
と文字サイズ平均値を比較する。文字構成判定部６４は
文字行候補の短辺の長さが文字サイズ平均値より小さけ
れば（ステップ５０３）、文字行候補内には１文字行の
みが存在すると判定し、分割は行なわない。それ以外で
あれば、文字矩形分散値算出部６３により、文字サイズ
の分散値を算出する（ステップ５０４）。文字構成判定
部６４は、文字サイズ分散値が大きければ（ステップ５
０５）、文字行候補内には文字サイズが異なる複数の文
字行が存在すると判定し、文字行候補の分割１の処理を
行なう（ステップ５０６）。文字サイズの分散値が小さ
く、文字行候補短辺の長さと文字サイズ平均値がほぼ等
しければ（ステップ５０７）、文字行候補内に同じ文字
サイズの文字行が１列のみ存在し、かつセパレータが存
在すると判定し、文字行候補の分割２の処理を行なう
（ステップ５０８）。文字サイズの分散値が小さく、文
字行候補短辺の長さが文字サイズの平均値より大きけれ
ば（ステップ５０９）、文字行候補内に同じ文字サイズ
の文字行が２列以上存在すると判定し、分割３の処理を
行なう（ステップ５１０）。文字行候補の分割１、２、
３については以下に述べる。

【００７９】まず、文字行候補の分割１の処理を図２４
を用いて説明する。図２４は文字行候補の分割１の処理
のフローチャートである。文字行候補の分割１は、文字
行候補を文字矩形の大きさが不連続な箇所で分割する処
理である。まず、文字行候補内に文字サイズが異なる複
数の文字行が存在すると判定されると、大小文字矩形間
検索部６５は当該文字行候補の端に位置する文字矩形を
取得し、基準文字とする（ステップ６０１）。次に基準
文字に隣接する文字矩形を取得し、これを比較文字とす
る（ステップ６０２）。基準文字と比較文字の文字サイ
ズに極端な差異があれば（ステップ６０３）、区間分割
部６８により基準文字と比較文字の間で文字行候補を分
割する（ステップ６０４）。極端な差異がなければ現在
の比較文字を基準文字とし（ステップ６０５）、次の文
字矩形が存在する間（ステップ６０６）、ステップ６０
２より繰り返す。

【００８０】かかる処理を、図２５を用いてさらに具体
的に説明する。ｘｙ座標系で考えた場合、横に長い文字
行候補においては矩形左辺のｘ座標の小さい順に処理を
行なう。図２５（ａ）において、最初、文字矩形１を基
準文字とし、文字矩形２を比較文字とする。文字矩形１
と文字矩形２の大きさはほぼ等しいので、次に、文字矩
形２を基準文字とし、文字矩形３を比較文字とする。こ
のような処理を文字矩形の大きさに極端な差異が生じる
まで進めていく。文字矩形４を基準文字とし、文字矩形
５を比較文字としたところで、初めて文字矩形の大きさ
に極端な差異が生じるので、この文字矩形４と文字矩形
５の区間が分割する区間とされる。このようにして文字
行候補を分割しておくと、文字行方向に一列に並んだ、
異なる文字行同士が誤接続されるのを防ぐことができ
る。また、図２５（ｂ）に示すように、分割領域内に列
方向に複数の文字行が存在する場合は、その後、分割領
域内において文字矩形同士を主方向に接続することによ
り、図２５（ｃ）のように正確に文字行が抽出される。

【００８１】次に、文字行候補の分割２の処理につい
て、図２６を用いて説明する。図２６は文字行候補の分
割２の処理を示すフローチャートである。文字行候補の
分割２の処理は、文字行候補をセパレータとなる空白部
分の前後で分割する処理である。まず、文字行候補内に
同じ文字サイズの文字行が１列のみ存在し、かつセパレ
ータが存在すると判定されると、文字矩形間空白検索部
６６は、当該文字行候補内で文字行方向に垂直な方向に
文字矩形の射影をとる（ステップ７０１）。次に、その
射影値より得られた空白部分について、セパレータとな
る極端に大きい空白部分が存在するかどうか判定する
（ステップ７０２）。セパレーターとなる空白部分が存
在すると判定された場合には区間分割部６８は、セパレ
ータとなる空白部分の前後で文字行候補を分割する（ス
テッ７０３）。このような文字行候補の分割２の処理に
よって、例えば図２７に示すような文字行方向に一列に
並んだ、異なる文字行が含まれる文字行候補はセパレー
タから左右に分割され、これらの異なる文字行が互いに
誤接続されるのを防ぐことができる。

【００８２】最後に、文字行候補の分割３の処理につい
て図２８を用いて説明する。図２８は文字行候補の分割
３の処理を示すフローチャートである。文字行候補の分
割３は、２列に並んだ文字行の中間的な位置に存在する
１／２改行文字行部分と２列に並んだ文字行の部分に分
割する処理である。まず、文字行候補内に同じ文字サイ
ズの文字行が２列以上存在すると判定されると、文字行
段差部検索部６７は１／２改行文字行の存在範囲を計算
する（ステップ８０１）。次に、文字行候補の端に位置
する文字矩形を取得し、比較文字とする（ステップ８０
２）。比較文字が１／２改行文字行の存在範囲内に含ま
れていれば（ステップ８０３）、次の文字矩形が存在す
る間（ステップ８０４）、現在の比較文字に隣接する文
字矩形を次の比較文字とし（ステップ８０５）、ステッ
プ８０３より繰り返す。１／２改行文字行の存在範囲外
の文字が最初の比較文字であれば（ステップ８０６）、
１／２改行文字行は存在しないとみなす。全文字矩形が
１／２改行文字行範囲に含まれる場合も同様である。１
／２改行文字行の存在範囲外となった文字が最初の比較
文字でなければ、区間分割部６８は、比較文字の前後で
文字行候補を分割する（ステップ８０７）。これらの処
理によって、図２９（ａ）上段に示すような文字行候補
は、下段に示すように分割される。これにより、１／２
改行文字行と残りの２列の文字行が誤接続されるのが防
がれ、１／２改行文字行部分はそのまま文字行とし、残
りの２列の文字行部分についてはその後、分割領域内に
おいて文字矩形同士を主方向に接続することにより、２
列の文字行をそれぞれ抽出することができる。

【００８３】さらに、文字行候補の分割３は図２９
（ｂ）に示すような１／２改行文字行に続く２行が｛等
の特殊文字でくくられている場合に、この特殊文字を分
割する処理も行う。即ち、ステップ８０７による分割
後、１／２改行文字行を抽出した残りの領域内におい
て、１／２改行文字行に最も近い最初の１文字が｛等の
特殊文字であるかどうか判定する（ステップ８０８）。
特殊文字であれば、その文字と残りの部分の間で文字行
候補を分割する（ステップ８０９）。かかる処理によっ
て、図２９（ｂ）上段の右側の文字行候補は、図の下段
に示すように、特殊文字と２列の文字行部分が分離さ
れ、これにより、｛の文字矩形の影響でこれらの２列の
文字行を別々の行として抽出できないということを防ぐ
ことができる。

【００８４】そして、文字矩形接続部７は、文字行候補
分割部６による文字行候補の分割処理が終了した後、所
定の接続条件を満たす文字行候補の分割した領域内の文
字矩形群を主方向に接続して文字行を抽出する。次に、
ルビ文字行抽出部８の動作について説明する。ルビ文字
行抽出部８は、ルビを構成する文字行を抽出する。つま
り、以上に述べた文字行抽出部３の処理によって文字行
を抽出した後であっても、ルビを構成する文字群は大き
さに比較して互いの距離が非常に離れているため、文字
矩形接続部７によってはルビを構成する文字矩形は接続
できない場合があるために、特にルビ文字行抽出部８を
設けてルビを構成する文字行を抽出する。

【００８５】図３０はルビ文字行抽出部８の動作を示す
フローチャートである。図３０の入力状態は、文字行抽
出部３によって文字行抽出がすべて完了された状態であ
る。ここでは、例えば図３１（ａ）のような画像が入力
されているとする。まず、ルビ矩形抽出部８１は生成し
た文字行のそれぞれを注目矩形とし、注目矩形がルビか
どうか判定する（ステップ９０１）。図３１（ａ）で
は、例えば矩形の大きさ等から「よ」を囲む文字行がル
ビ矩形と判定される。注目矩形がルビと判定されたなら
ば、親文字行検索部８２はルビ矩形の近傍において親文
字行を検索する（ステップ９０２）。図３１（ａ）で
は、ルビ矩形からの距離や大きさ等から「吉森 亜
依」を囲む文字行が親文字行として認定される。親文字
行が見つかった場合には、ルビ存在可能範囲決定部８３
はルビの存在可能範囲を決定する（ステップ９０３）。
図３１（ａ）のように「よ」がルビ矩形であり、「吉
森 亜依」を囲む文字行が親文字行とされた場合は、図
３１（ｂ）のトーン部分がルビ文字行存在可能範囲と決
定される。最後に、ルビ文字行作成部８４がルビの存在
可能範囲に含まれるすべての矩形を注目矩形に接続する
ことにより、ルビ文字行を抽出する（ステップ９０
４）。この結果、図３１（ａ）のように離れていたルビ
を構成する文字行は、図３１（ｃ）のように統合され
て、一つの文字行となる。

【００８６】最後にノイズ文字行削除部９の動作につい
て説明する。ノイズ文字行削除部９は、以上に述べた文
字行抽出部３、ルビ文字行抽出部８の処理によって生成
された各文字行について、その文字行を構成する文字矩
形の数や大きさから、その文字行がノイズであるかを判
断し、ノイズにより構成される文字行を削除する。図３
２はノイズ文字行削除部９の動作を示すフローチャート
である。図３２の入力状態は、文字行抽出部３およびル
ビ文字行抽出部８によって文字行抽出がすべて完了され
た状態である。ノイズ文字行判定部９１は、抽出された
各文字行から一つの文字行を取得し（ステップ１００
１）、その文字行に含まれる文字矩形の数が予め定めら
れた第１の閾値ａよりも大きいか否かを判断する（ステ
ップ１００２）。ステップ１００２で文字矩形の数が第
１の閾値よりも大きい場合は、その文字行はノイズであ
ると判断され、ノイズ文字行削除部９４が、これを削除
する（ステップ１００６）。

【００８７】また、文字矩形の数が第１の閾値ａよりも
大きくないときは、ノイズ文字行候補判断部９２が、文
字矩形の数が第２の閾値ｂよりも大きいか否かについて
判断する（ステップ１００３）。ここで文字矩形の数が
第２の閾値ｂよりも小さければ、この文字行はノイズで
ないと判断する。一方、文字矩形の数が第２の閾値ｂよ
りも大きい場合はノイズの可能性があるのでノイズ文字
行候補であると判断する。例えば、ここで図３３（ａ）
（ｂ）のような文字行をノイズ文字行候補と判断したも
のとする。

【００８８】ノイズ文字行候補に対し、ノイズ文字行候
補検証部９３は、当該ノイズ文字行候補内の文字矩形の
大きさの平均値を算出し（ステップ１００４）、この平
均値が文字行の短辺の長さに対して所定の割合以下であ
るか否かを判断する（ステップ１００５）。ここで、所
定の割合以下であると判断された場合は、当該文字行は
ノイズであると判断され、ノイズ文字行削除部９４がこ
れを削除する（ステップ１００６）。図３８（ｂ）に示
すノイズ文字行候補は、文字矩形の大きさの平均値が文
字行の短辺の大きさより十分小さいので、ノイズと判断
されて削除される。一方、所定の割合以下でないと判断
された場合は、当該文字行はノイズではないと判断され
る。図３８（ａ）に示すノイズ文字行候補は、文字矩形
の大きさの平均値が文字行の短辺の長さに比較的近い値
となり、ノイズではないと判断される。以上の動作（ス
テップ１００１〜ステップ１００６）を全ての文字行に
対して行い（ステップ１００７）、ノイズを構成する文
字行を削除は完了する。

【００８９】なお、上記実施の形態において文字行候補
生成部４では、主方向の文字行が並列に並んでいる場合
に、副方向に重なりのある文字同士が副方向の部分文字
行と判断されることを避けるため、最初に主方向の部分
文字行を作成して、それからその他の部分文字行を作成
した。しかし、処理対象の特定の領域に副方向の文字行
が高い確率で現れることが経験的にわかっているとき
は、この特定の領域についてのみ先に副方向の文字行を
作成しておくことが望ましい。例えば、上記実施の形態
に基づく処理によって文字行候補生成部４が図３４
（ａ）に示すような文字行候補を生成した場合、文字矩
形生成部５において射影の取得を行っても副方向文字行
「ａ」と他の主方向文字行の間が詰まっており、セパレ
ータとなりうる空白部分が発生しない。したがって、副
方向文字行「ａ」が独立して副方向の属性を与えられる
ことはなく、図３４（ｂ）のように、単独で文字矩形と
して生成される。さらに、文字行候補分割部６、文字矩
形接続部７の処理によって、結果として図３４（ｃ）の
ような文字行が抽出されてしまう。一方、対象画像が名
刺であって主方向が長辺方向である場合は、図３５に示
すような両短辺に沿う一定領域Ｘに副方向の文字行が現
れる確率が高いことが知られている。このような場合に
は、このような領域における文字行を先に生成しておけ
ば上述のような事態を防ぐことができる。

【００９０】かかる目的を達成するためには、文字行候
補生成部４において図３６に示すように、処理対象の画
像データの予め定められた所定領域内において、副方向
に重なり、かつ、近接する画素連結矩形群を副方向に接
続して副方向の部分文字行として生成する特定領域部分
文字行生成部４９を設ければよい。特定領域部分文字行
生成部４９を設けたときの部分文字行分類に至るまでの
動作を表すフローチャートを図３７に示す。これ以下の
動作は図１７に示すフローチャートと同じである。これ
に基づき図３８（i） に示す名刺画像を例にとって動作
を説明すると、画素連結矩形生成部４１は名刺の画像デ
ータから画素連結矩形を生成し（ステップ１１０１）、
文字行方向判定部４２の仮主方向決定部４２ａは仮の主
方向を決定する（ステップ１１０２）。ここでは上述し
たように名刺画像の長辺方向が仮の主方向とされる。次
に、特定領域部分文字行生成部４９が予め定められた特
定の領域において、副方向の部分文字行を生成する（ス
テップ１１０３）。ここでは図３５のハッチングされた
領域Ｘが予め定められた領域であるとする。すると、図
３８（i） の名刺画像から図３８（ii）のように、「☆
ａｎａｓｏｎｉｃ」の部分が副文字行として抽出され
る。

【００９１】それから、上述した文字行候補生成部４の
動作と同様にして、主方向部分文字行生成部４３が主方
向の部分文字行が生成し（ステップ１１０４）、主方向
判断部４２ｂが、領域Ｘ以外の領域において仮の主方向
が正しいか否かを判断し（ステップ１１０５）、ここで
正しいと判断された場合は主方向抽出部４２ｃがその方
向を主方向として抽出する。一方、ステップ１１０５で
正しくないと判断されたときは、主方向抽出部４２ｃが
仮の主方向と直交する方向を主方向として抽出し（ステ
ップ１１０７）、特定領域部分文字行生成部４９が、以
前の特定領域における文字行の生成を取り消し、新たに
特定領域の部分文字行を生成する（ステップ１１０
８）。ただし、仮の主方向が変わることで通常は特定領
域も変わるが、場合によっては仮の主方向が変わること
によって特定の領域がなくなる場合もある。そのような
場合には、特定領域部分文字行生成部４９での文字行の
生成は行われない。今の場合は、名刺画像であるが主方
向が短辺に平行な方向となった場合は、かかる特定領域
は存在しなくなるので、ステップ１１０８では以前の特
定領域を取り消すに留まる。ステップ１１０８、１１０
９の後、非主方向部分文字行生成部４４がその他の部分
文字行を生成する（ステップ１０１０）。この結果、文
字行候補生成部４において図３８（i）の名刺画像から
は図３８（iii）のよう文字行候補が生成される。これ
により、以後の処理によっても副方向の文字行の一部が
主方向の文字行に取り込まれることがなくなる。なお、
特定領域において副方向を接続する際の接続条件は、特
定領域に存在する主方向の部分文字行の一部を誤接続し
ないように、厳しく設定しておくことが望ましい。

【００９２】さらに、上記実施の形態において、文字行
候補生成部４の部分文字行副方向接続部４７は図１８
（ｃ）に示すような１文字行が上下に分離してしまった
属性が文字行である部分文字行を接合するために、副方
向に重なりが大きく、近接する部分文字行同士を接続し
ている。この際、近接するか否かは部分文字行を構成す
る矩形間の距離が所定の閾値よりも小さいか否かによっ
て判断するが、画像が傾いて画像入力部１から取り込ま
れた場合は、この部分文字行を構成する矩形間の距離が
実際よりも小さくなってしまう。例えば、図３９（ａ）
の名刺画像の下方の電話番号とファクシミリ番号の文字
行間の距離は、傾きなしに画像入力部１から取り込まれ
た場合はｄであるが、図３９（ｂ）に示すように角度θ
だけ傾いて取り込まれた場合は、両文字間の距離はｄ’
になり、小さくなってしまう。この結果、部分文字行副
方向接続部４７によって接続されるべきでない両文字行
が接続されてしまう。そして、傾きが大きく両矩形間が
一定距離以内となれば、文字矩形生成部５においてもこ
の間隔をセパレータと認識できず、個々の文字が文字矩
形として生成されずに正しい文字行抽出が行われなくな
ることもあり得る。このことは部分文字行が長い場合に
傾きによる移動量が大きくなるため顕著に現れる。

【００９３】そこで、このように名刺画像が傾きをもっ
て入力された場合に対処する手段として、部分文字行副
方向接続部４７を図４０に示すような構成とすることが
できる。即ち、部分文字行副方向接続部４７に、副方向
に重なり、かつ、準近接する主方向の部分文字行同士を
抽出する準近接部分文字行抽出部４７ｂと、この準近接
部分文字行抽出部４７ｂで抽出された部分文字行同士間
における各部分文字行に含まれる画素連結矩形の距離が
所定の値以下であれば、当該部分文字行同士を接続し新
たな主方向の部分文字行を生成する準近接部分文字行接
続部４７ｃを付加する。なお、近接部分文字行副方向接
続部４７ａは、上述した実施の形態における部分文字行
副方向接続部４７と同様のものであり、副方向に重な
り、かつ、近接する主方向の部分文字行群を接続して新
たな主方向の部分文字行を生成する。

【００９４】このような構成を有する部分文字行副方向
接続部４７の動作を図４１を用いて説明する。図４１は
部分文字行副方向接続部４７の動作を示すフローチャー
トである。まず、近接部分文字行副方向接続部４７ａが
部分文字行のペアを取得し（ステップ１２０１）、副方
向に十分重なるか否か、ここでは長辺の短い方の１／２
以上重なるか否かを判断する（ステップ１２０２）。こ
こで、十分に重ならないと判断した場合は、その部分文
字行のペアについての処理は終了する。

【００９５】十分に重なると判断された場合は、次に各
部分文字行を構成する矩形間の距離が所定の近接してい
ると言える距離の範囲、ここでは短辺の短い方の３０％
以上重なっている距離の範囲にあるか否かを判断する
（ステップ１２０３）。ここで、近接していると判断し
た場合は当該部分文字行同士を接続する（ステップ１２
０７）。

【００９６】近接していないと判断した場合は、準近接
部分文字行抽出部４７ｂによって、各部分文字行を構成
する矩形間の距離が所定の準近接していると言える距離
の範囲、ここでは４００ｄｐｉの精度で１ピクセル（原
画像における約０．０７ｍｍ）以内の範囲にあるか否か
を判断する（ステップ１２０４）。このステップによっ
て準近接していないと判断した場合は、この部分文字行
のペアは接続されずに処理が終わる。ステップ１２０４
で準近接していると判断した場合は、準近接部分文字行
接続部４７ｃが、まず、部分文字行同士間における各部
分文字行に含まれる画素連結矩形の副方向における距離
を取得し平均値を算出する（ステップ１２０５）。そし
て、この平均値が、所定の近接しているといえるほどの
値以内、ここでは４００ｄｐｉの精度で１ピクセル（原
画像における約０．３ｍｍ）以内であるか否かを判断す
る（ステップ１２０６）。ここで、近接していると判断
した場合は、当該部分文字行のペアを接続し（ステップ
１２０７）。そうでなければ接続は行わない。以上の動
作を全ての部分文字行のペアについて行う（ステップ１
２０８）。

【００９７】このように、上記構成を有する部分文字行
副方向接続部４７では接続すべきか否かの判断が困難な
部分文字行のペアについては、画素連結矩形間の距離を
基準に判断するので、部分文字行が長くても傾きの影響
を受けずに正確な判断が可能となる。例えば、図４２
（ａ）および図４２（ｂ）の部分文字行のペアではステ
ップ１２０４で準近接してるいるといる判断が下され、
ステップ１２０５において画素連結矩形の距離ａ、ｂが
それぞれ求められ、これらの平均値が算出され、さら
に、ステップ１２０６において画素連結矩形が近接して
いるか否かが判断される。図４２（ｂ）の場合は距離ｂ
の平均値が小さいので近接していると判断されて接続さ
れる。一方、図４２（ａ）の場合は距離ａの平均値が大
きいので近接していないと判断される。そして、たとえ
画像が傾いて入力されて部分文字行間が狭くなっていて
も、画素連結矩形間の距離にはあまり影響がないので同
様の結果が得られる。なお、ここでは、準近接するとき
に最終的に接続する否かの判断を画素連結矩形間の距離
の平均値によって行ったが、これは、画素連結矩形間の
距離の小さいものから所定の順番目までのものが、所定
の閾値以下であるか否かで判断してもよい。

【００９８】ところで、以上の実施形態では、名刺から
文字を抽出する場合を例に挙げており、画素連結成分の
接続のパラメータや文字行候補の分割の際の閾値等の、
任意に設定できる変数の値等は慣用されている名刺の文
字の大きさやレイアウト等から経験的、または実験的に
定めることができる。そして、この各種の変数の値は文
字行を抽出する対象が変わることによって、例えば葉書
から文字行を抽出する場合等は、名刺の場合と異なる値
が採用できることは言うまでもない。

【００９９】

【発明の効果】以上のように、まず、本願発明に係る文
字行抽出方法および装置では、画像データから画素の連
結する成分の外接矩形が画素連結矩形として生成され、
文字行の主方向と副方向が判定され、生成された画素連
結矩形群が、主方向、副方向に接続されて文字行候補を
生成する。そして、文字行候補内で各画素連結矩形の相
互の位置関係から文字を構成する画素連結矩形群が抽出
され、これに外接する矩形が文字矩形として生成され、
文字行候補内での文字矩形の構成に応じて、文字行候補
が分割され、分割された文字行候補内で文字矩形を接続
して文字行が抽出される。

【０１００】このように、主方向、副方向の文字行候補
を作成し、文字行候補の構成に応じて、文字行候補が分
割されて文字矩形が接続されるので、従来の方法では抽
出が困難であった、文字の大きさやピッチの異なる文字
行、行間の幅が狭い文字行、縦書き文字行や横書き文字
行が混在するような複雑なレイアウトの文書から、正確
にかつ効率よく文字行を抽出することができ、文字認識
率の向上を図ることができる。

【０１０１】また、本願発明に係る文字領域抽出方法で
は、画像データから画素の射影分布を生成し、射影分布
を一定の幅でグループ化し、各グループ内の射影分布の
代表値を算出し、隣接するグループの代表値間の差の最
も大きなグループ間の境界をグループ境界として求め、
このグループ境界を挟む２つのグループ内の射影分布の
差から文字領域と写真図形領域との境界を決定し、この
境界の接している射影分布の小さい側を文字領域として
抽出する。このようにして文字領域の抽出を行なうの
で、写真等が混在する文書においても、１写真領域が複
数の領域に分割されて抽出されて、その一部が文字領域
と誤って抽出されることがない。

【０１０２】そして、上記文字行抽出方法において、こ
の文字領域抽出方法および装置によって抽出された文字
領域を処理対象とするようにすれば、写真領域を含む文
書から文字行を抽出する際に、まず、文字領域が抽出さ
れることになるので、写真領域の一部が文字行として抽
出されることなく、容易にかつ正確に文字行を抽出する
ことができる。

【０１０３】また、上記文字行抽出方法および装置にお
ける画素連結矩形の接続では、主方向に重なり、かつ、
近接する画素連結矩形群を主方向に接続して主方向の部
分文字行として生成し、接続されなかった画素連結矩形
群で、所定の距離の範囲内にあるものを接続して、主方
向以外の部分文字行として生成し、部分文字行のうち、
縦横比から文字を構成する部分文字行を抽出する。そし
て、副方向に重なり、かつ、近接する文字を構成する部
分文字行群を副方向に接続して、新たな副方向の部分文
字行を生成する。さらに、副方向に重なり、かつ、近接
する主方向の部分文字行群を接続して新たな主方向の部
分文字行を生成し、主方向に重なる、主方向の部分文字
行群を主方向に接続して新たな主方向の部分文字行を生
成する。

【０１０４】以上のような動作により生成された部分文
字行を文字行候補とすれば、副方向の部分文字行が正確
に抽出でき、文字行が副方向に分離されるのを防ぐこと
ができ、縦書き、横書き文字行が混在する文書におい
て、両方向の文字行を容易に抽出することができる。ま
た、本願発明に係る文字行主方向抽出方法および装置で
は、処理対象の画像データの形状から仮の主方向を決定
して主方向部分文字行を生成し、生成した主方向部分文
字行の長さ、数、その基本矩形の配置等の構成から、仮
の主方向が正しいかどうかを判断し、仮の主方向が正し
いと判断されればその仮の主方向を主方向として抽出
し、仮の主方向が正しくないと判断されればその仮の主
方向に直交する方向を主方向として抽出する。

【０１０５】このような動作により、例えば名刺画像に
おいて行間が狭く、長さの短い文字行がかたまっている
ような場合等、主方向が通常の経験で判断される方向と
異なる場合でも正確に文字行方向を判定することができ
るだけでなく、仮の主方向が正しかった場合、生成した
部分文字行をそのまま後の処理に用いることができるの
で効率がよい。

【０１０６】即ち、この文字行主方向抽出方法および装
置を、上記文字行抽出方法および装置の文字行候補の生
成における主方向の判定に用いると、より正確な文字行
の抽出が可能となり、効率も上がることとなる。さら
に、上記画素連結矩形の生成における部分文字行の生成
で、副方向に重なり、かつ準近接する主方向の部分文字
行同士を抽出し、抽出された部分文字行同士間に含まれ
る画素連結矩形の距離が所定の値以下であれば、当該部
分文字行同士を接続して新たな主方向の部分文字行を生
成するような構成を加えると、対象画像が傾いて入力さ
れた場合でも、画素連結矩形間の距離で接続するか否か
を判断するので行間が狭く長い文字行同士も誤結合され
ることを防ぐことができる。

【０１０７】さらに、上記部分文字行の生成において、
処理対象の画像データの所定領域を予め定めておき、当
該所定領域内において、副方向に重なり、かつ、近接す
る画素連結矩形群を副方向に接続して副方向の部分文字
行として生成するようにしておけば、より精度よく、副
方向文字行を抽出することが出来る。また、本願発明に
係る文字行抽出方法および装置における文字矩形の生成
では、文字行候補を被分割領域とし、この被分割領域
を、主方向の被分割領域、副方向の被分割領域、その他
の被分割領域に分類する。そして、副方向の被分割領域
に分類された場合は、この被分割領域となっている文字
行候補を文字行として抽出し、その他の被分割領域と分
類された場合は、この被分割領域の外接矩形を文字矩形
として作成し、主方向の被分割領域であると分類された
場合は、この主方向の被分割領域に対して、主方向、副
方向に射影をとり、射影間の空白部分が所定の長さを越
える区間がある場合は、当該区間で被分割領域を分割し
てあらたな被分割領域とする。それから、主方向の非分
割領域で射影間の空白部分が所定の長さを越える区間が
ない場合に、当該被分割領域内で、各画素連結矩形の相
互の位置関係から文字を構成する画素連結矩形群を抽出
し、これに外接する矩形を文字矩形として生成する。こ
のような構成を設ければ以下のような効果を奏する。

【０１０８】つまり、副方向の文字行を抽出して文字行
を確定するので、文字行候補の生成において、副方向の
文字行が主方向の文字行と混在することとなっても、副
方向の文字行の抽出ができ、縦書き、横書き文字行が混
在する文書からも、より容易に両方向の文字行を抽出す
ることができる。また、主方向の文字矩形を精度よく抽
出することができることにより、文字行候補の構成も精
度よく判定することができる。

【０１０９】さらに、文字行候補の分割において、文字
行候補内での文字矩形の大きさの平均値と分散値のいず
れか又は両方により、文字行候補内での文字矩形の構成
を判断し、文字行候補内で文字矩形間で所定の差異を有
すると判断された場合に、所定の差異がある文字矩形間
で、文字行候補を分割するようにすれば、一つの文字行
候補内で、文字矩形の構成の異なるところで文字行候補
が分離されるので、一つの文字行候補内に異なる文字行
が含まれていても、これを分離することができる。

【０１１０】さらに、上記のような文字行候補の分割
で、文字行候補内での文字矩形の構成を判断する場合
に、文字行候補内での文字矩形の一辺の長さの平均値が
文字行候補の短辺の長さよりも小さく、かつ、文字矩形
の一辺の長さの分散値が所定値よりも大きければ、文字
行候補中に大小の文字矩形が存在するという判断を含
み、文字行候補中に大小の文字矩形が存在すると判断さ
れた場合に、大きい文字矩形と小さい文字矩形を挟む区
間を検索し、検索された区間で、文字行候補を分割する
こととすれば、特に、文字矩形の大きさが異なる文字行
同士が近接している文書において、文字矩形の大きさが
異なる文字行同士が誤結合されることなく、別々の文字
行として抽出することができる。

【０１１１】また、上記のような文字行候補の分割で、
文字行候補内での文字矩形の構成を判断する場合に、文
字行候補内での文字矩形の一辺の長さの平均値が文字行
候補の短辺の長さとほぼ同じであれば、文字行候補中の
文字矩形間に空白が存在するという判断を含み、文字行
候補中の文字矩形間に空白があると判断された場合に、
空白がある区間を検索し、検索された区間で、文字行候
補を分割するようにすれば、特に、文字の大きさが等し
い、異なる文字行同士が１列に並んでいる文書におい
て、異なる文字行同士が誤結合されることなく、別々の
文字行として抽出することができる。

【０１１２】そして、上記のような文字行候補の分割
で、文字行候補内での文字矩形の構成を判断する場合
に、文字行候補の短辺の長さが文字行候補内での文字矩
形の一辺の長さの平均値の２倍以上であれば、文字行候
補中に文字列が２列以上混在するという判断を含み、文
字行候補中に文字列が２列以上混在すると判断された場
合に、文字行間で段差を生じている区間を検索し、検索
された区間で、文字行候補を分割するようにすれば、特
に、文字の大きさが等しい２列の文字行が存在し、さら
に前記２列の中間的な位置に文字行が存在する文書にお
いて、中間的な位置に存在する文字行の影響により前記
２列の文字行が誤結合されることなく、別々の文字行と
して抽出することができる。

【０１１３】また、ここでさらに検索された区間に隣接
する文字矩形が所定の特殊な文字矩形か否かを判断し、
所定の特殊な文字矩形であると判断された場合に、当該
特殊な文字矩形を分割するようにすれば、特に、２列以
上の文字行の前に｛等の特殊文字が存在する文書におい
て、特殊文字の影響により前記２列以上の文字行が誤結
合されることなく、別々の文字行として抽出することが
できる。

【０１１４】さらに、本願発明においては、画像データ
から画素の連結する成分の外接矩形を画素連結矩形とし
て抽出し、抽出された各画素連結矩形の位置関係から文
字を構成する部分を抽出して、これに外接する矩形を文
字矩形として生成し、生成された各文字矩形を連結する
ことによって文字行を抽出する場合に、所定の構成を有
する文字矩形をルビ矩形として抽出し、ルビ矩形の近傍
に存在する親文字行を検索し、このルビ矩形を含む、検
索された親文字行に対してルビが存在し得る範囲を決定
し、ルビが存在し得る範囲に存在するルビ矩形および文
字行を連結することによって、ルビを構成する文字行を
抽出することとしたので、文字間距離が極端に離れてい
る文字行、例えば名刺の氏名にふられているルビを、他
行の抽出精度に悪影響を及ぼすことなく、文字行として
抽出することができる。

【０１１５】そして、本願発明においては抽出された各
文字行について、抽出された文字行内の画素連結矩形ま
たは文字矩形の数が定められた第１の閾値よりも大きけ
れば、その文字行がノイズであると判断し、ノイズであ
ると判断された文字行を削除するようにしたので、ノイ
ズが誤って文字行として認識された場合もこれを削除す
ることができ、文字認識率の向上を図ることができる。

【０１１６】このノイズにより構成される文字行の削除
に際してさらに、抽出された文字行内の画素連結矩形ま
たは文字矩形の数が前記第１の閾値よりも小さく、第１
の閾値よりも小さい定められた第２の閾値よりも大きけ
れば、その文字行をノイズ文字行候補とし、ノイズ文字
行候補内の画素連結矩形または文字矩形の大きさの平均
値を算出し、この平均値が当該ノイズ文字行候補の短辺
の長さに対して所定の割合以下であれば、そのノイズ文
字行候補をノイズと判断するようにすれば、画素連結矩
形や文字矩形の数だけではノイズか否かの判断が困難な
場合に、さらに詳細な判断を行うことが可能となり、よ
り精度良くノイズによって構成される文字行を削除する
ことができる。

【図面の簡単な説明】

【図１】本発明の文字行抽出方法を用いた文字認識装置
の一例を示すブロック図である。

【図２】文字領域抽出部の構成を示すブロック図であ
る。

【図３】画素の射影分布および射影グループの一例を示
す図である。

【図４】文字行候補生成部の構成を示すブロック図であ
る。

【図５】画素連結矩形の一例を示す図である。

【図６】画素連結矩形群を接続して部分文字行を生成し
たところを示す図である。

【図７】主方向、副方向の一例を示す図である。

【図８】（ａ）は仮の主方向が正しい状態を示す図であ
り、（ｂ）は仮の主方向が正しくない状態を示す図であ
る。

【図９】文字矩形生成部の構成を示すブロック図であ
る。

【図１０】画素連結矩形の射影の一例を示す図である。

【図１１】画素連結矩形群から文字矩形を生成したとこ
ろを示す図である。

【図１２】文字行候補分割部の構成を示すブロック図で
ある。

【図１３】ルビ文字行抽出部の構成を示すブロック図で
ある。

【図１４】ノイズ文字行削除部の構成を示すブロック図
である。

【図１５】文字領域抽出部の処理を示すフローチャート
である。

【図１６】文字行抽出部の処理を示すフローチャートで
ある。

【図１７】文字行候補生成部の処理を示すフローチャー
トである。

【図１８】部分文字行の生成結果の例を示す図である。

【図１９】文字行候補の生成過程の例を示す図である。

【図２０】文字行候補の生成過程の他の例を示す図であ
る。

【図２１】文字矩形生成部の処理を示すフローチャート
である。

【図２２】文字矩形の生成過程の例を示す図である。

【図２３】文字行候補分割部の処理を示すフローチャー
トである。

【図２４】図２３における文字行候補の分割１の処理を
示すフローチャートである。

【図２５】文字サイズが異なる複数の文字行が存在する
文字行候補の例を示す図である。

【図２６】図２３における文字行候補の分割２の処理を
示すフローチャートである。

【図２７】同じ文字サイズの文字行が１列のみ存在し、
かつセパレータとなる空白部分が存在する文字行候補の
例を示す図である。

【図２８】図２３における文字行候補の分割３の処理を
示すフローチャートである。

【図２９】（ａ）は同じ文字サイズの文字行が２列存在
し、１／２改行文字行が存在する文字行候補の例を示す
図であり、（ｂ）はさらに特殊文字が存在する文字行候
補の例を示す図である。

【図３０】ルビ文字行抽出部の処理の例を示すフローチ
ャートである。

【図３１】ルビ文字行抽出過程の例を示す図である。

【図３２】ノイズ文字行削除部の処理を示すフローチャ
ートである。

【図３３】文字行とノイズ文字行との違いを示す図であ
る。

【図３４】副方向文字行が含まれる文字行候補におい
て、セパレータとなりうる空白部分が存在しない例を示
す図である。

【図３５】長辺が主方向の名刺において、副方向の文字
行が存在する確率の高い特定領域を示す図である。

【図３６】特定領域部分文字行生成部を設けた文字行候
補生成部の構成を示すブロック図である。

【図３７】特定領域部分文字行生成部を設けた文字行候
補生成部の処理を示すフローチャートである。

【図３８】特定領域部分文字行生成部を設けた文字行候
補生成部による部分文字行の生成過程の例を示す図であ
る。

【図３９】（ａ）は対象画像が適切に入力された状態を
示す図であり、（ｂ）は対象画像が傾いて入力された状
態を示す図である。

【図４０】部分文字行副方向接続部の他の構成を示す図
である。

【図４１】部分文字行副方向接続部の処理を示すフロー
チャートである。

【図４２】部分文字行副方向接続部における画素連結矩
形間距離の例を示す図である。

【図４３】従来の文字領域抽出方法による抽出過程を示
す図である。

【符号の説明】

１ 画像入力部 ２ 文字領域抽出部 ３ 文字行抽出部 ４ 文字行候補生成部 ５ 文字矩形生成部 ６ 文字行候補分割部 ７ 文字矩形接続部 ８ ルビ文字行抽出部 ９ ノイズ文字行削除部 １０ 文字認識部 ２１ 射影分布生成部 ２２ 射影グループ生成部 ２３ 射影グループ代表値算出部 ２４ グループ境界抽出部 ２５ 文字域抽出部 ４１ 画素連結矩形生成部 ４２ 文字行方向判定部 ４２ａ 仮主方向決定部 ４２ｂ 主方向判断部 ４２ｃ 主方向抽出部 ４３ 主方向部分文字行生成部 ４４ 非主方向部分文字行生成部 ４５ 部分文字行分類部 ４６ 文字副方向接続部 ４７ 部分文字行副方向接続部 ４７ａ 近接部分文字行副方向接続部 ４７ｂ 準近接部分文字行抽出部 ４７ｃ 準近接部分文字行接続部 ４８ 部分文字行主方向接続部 ４９ 特定領域部分文字行生成部 ５１ 被分割領域分類部 ５２ 副方向文字行抽出部 ５３ 被分割領域分割部 ５４ 文字矩形抽出部 ６１ 文字矩形平均算出部 ６２ 平均値比較部 ６３ 文字矩形分散算出部 ６４ 文字構成判定部 ６５ 大小文字矩形間検索部 ６６ 文字矩形間空白検索部 ６７ 文字行段差部検索部 ６８ 区間分割部 ６９ 特殊文字判定部 ７０ 特殊文字分割部 ８１ ルビ矩形抽出部 ８２ 親文字行検索部 ８３ ルビ存在可能範囲決定部 ８４ ルビ文字行作成部 ９１ ノイズ文字行判断部 ９２ ノイズ文字行候補判断部 ９３ ノイズ文字行候補検証部 ９４ ノイズ文字行削除部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉森 亜依 広島市東区光町１丁目12番20号 株式会社 松下電器情報システム広島研究所内

Claims (33)

【特許請求の範囲】
1. 【請求項１】 文字行候補生成ステップと、文字矩形生
   成ステップと、文字行候補分割ステップと、文字矩形接
   続ステップとにより構成される文字行抽出方法であっ
   て、 文字行候補生成ステップが、 処理対象の画像データから画素の連結する成分の外接矩
   形を画素連結矩形として抽出する画素連結矩形生成ステ
   ップと、 前記画像データもしくは抽出された各画素連結矩形の構
   成から、主な文字行の方向を主方向、主方向に直交する
   方向を副方向として判定する文字行方向判定ステップ
   と、 各画素連結矩形を相互の位置関係に応じて主方向又は副
   方向に接続することにより文字行候補を生成する画素連
   結矩形接続ステップとからなり、 文字矩形生成ステップが、 文字行候補内で、各画素連結矩形の相互の位置関係から
   文字を構成する画素連結矩形群を抽出し、これに外接す
   る矩形を文字矩形として生成するステップであり、 文字行候補分割ステップが、 文字行候補内での文字矩形群の構成に応じて、文字行候
   補を分割するステップであり、 文字矩形接続ステップが、 分割された文字行候補内で文字矩形を接続して文字行と
   するステップである、 文字行抽出方法。
2. 【請求項２】 処理対象の画像データから射影分布を生
   成する射影分布生成ステップと、 射影分布を所定の幅ごとにグループ化する射影グループ
   生成ステップと、 生成された各グループ内の射影分布の代表値を算出する
   射影グループ代表値算出ステップと、 隣接する前記射影分布のグループの代表値間の差の最も
   大きなグループ間の境界をグループ境界として求めるグ
   ループ境界抽出ステップと、 このグループ境界を挟む２つのグループ内の射影分布の
   差から文字領域と写真図形領域との境界を決定し、当該
   境界の接している射影分布の小さい側を文字領域として
   抽出する文字領域抽出ステップとよりなる文字領域抽出
   方法。
3. 【請求項３】 請求項１記載の文字行抽出方法における
   処理対象を請求項２記載の文字領域抽出方法により抽出
   された文字領域とした文字行抽出方法。
4. 【請求項４】 前記画素連結矩形接続ステップが、 主方向に重なり、かつ、近接する画素連結矩形群を主方
   向に接続して主方向の部分文字行として生成する主方向
   部分文字行生成ステップと、 主方向部分文字行生成ステップで、接続されなかった画
   素連結矩形群で、所定の距離の範囲内にあるものを接続
   して、主方向以外の部分文字行として生成する非主方向
   部分文字行生成ステップと、 部分文字行のうち、縦横比から文字を構成する部分文字
   行を抽出する文字部分文字行抽出ステップと、 副方向に重なり、かつ、近接する文字を構成する部分文
   字行群を副方向に接続して、新たな副方向の部分文字行
   を生成する部分文字行接続第１ステップと、 副方向に重なり、かつ、近接する主方向の部分文字行群
   を接続して新たな主方向の部分文字行を生成する部分文
   字行接続第２ステップと、 主方向に重なる、主方向の部分文字行群を主方向に接続
   して新たな主方向の部分文字行を生成する部分文字行接
   続第３ステップと、 より生成された部分文字行を文字行候補とする請求項１
   記載の文字行抽出方法。
5. 【請求項５】 処理対象の画像データから画素の連結す
   る成分の外接矩形を画素連結矩形として抽出し、この抽
   出した画素連結矩形を用いて処理対象の画像の主方向を
   抽出する方法であって、 処理対象の画像データの形状から仮の主方向を決定する
   仮主方向決定ステップと、 主方向に重なり、かつ、近接する画素連結矩形群を主方
   向に接続して主方向の部分文字行として生成する主方向
   部分文字行生成ステップと、 生成された各主方向の部分文字行の構成から、仮主方向
   決定ステップで決定した仮の主方向が正しいかどうかを
   判断する主方向判断ステップと主方向判断ステップで仮
   の主方向が正しいと判断されればその仮の主方向を主方
   向として抽出し、仮の主方向が正しくないと判断されれ
   ばその仮の主方向に直交する方向を主方向として抽出す
   る主方向抽出ステップとを有する文字行主方向抽出方
   法。
6. 【請求項６】 前記文字行候補生成ステップが、請求項
   ５記載の文字行主方向抽出方法を用いて主方向を判定
   し、 前記主方向部分文字行生成ステップが、前記文字行主方
   向抽出方法の前記主方向判断ステップによって仮の主方
   向が正しくないと判断された場合のみ、主方向の部分文
   字行を生成する請求項４記載の文字行抽出方法。
7. 【請求項７】 前記部分文字行接続第２ステップにさら
   に、 副方向に重なり、かつ、準近接する主方向の部分文字行
   同士を抽出する準近接部分文字行抽出ステップと、 この準近接部分文字行抽出ステップで抽出された部分文
   字行同士間における各部分文字行に含まれる画素連結矩
   形の距離が所定の値以下であれば、当該部分文字行同士
   を接続し新たな主方向の部分文字行を生成する準近接部
   分文字行接続ステップと、 を設けた請求項４又は６記載の文字行抽出方法。
8. 【請求項８】 請求項４、６又は７記載の文字行抽出方
   法において、主方向接続ステップの前にさらに、 処理対象の画像データの所定領域を予め定めておき、当
   該所定領域内において、副方向に重なり、かつ、近接す
   る画素連結矩形群を副方向に接続して副方向の部分文字
   行として生成する特定領域部分文字行生成ステップを設
   けた文字行抽出方法。
9. 【請求項９】 前記文字矩形生成ステップが、 文字行候補を被分割領域とし、この被分割領域を、主方
   向の被分割領域、副方向の被分割領域、その他の被分割
   領域に分類する被分割領域分類ステップと、 被分割領域分類ステップで、副方向の被分割領域である
   と分類された場合は、この被分割領域となっている文字
   行候補を文字行として抽出する副方向文字行抽出ステッ
   プと、 被分割領域分類ステップで、その他の被分割領域と分類
   された場合は、この被分割領域の外接矩形を文字矩形と
   して作成する単体文字矩形作成ステップと、 被分割領域分類ステップで、主方向の被分割領域である
   と分類された場合は、この主方向の被分割領域に対し
   て、主方向、副方向に射影をとり、射影間の空白部分が
   所定の長さを越える区間がある場合は、当該区間で被分
   割領域を分割してあらたな被分割領域とする被分割領域
   分割ステップと、 被分割領域分割ステップで、射影間の空白部分が所定の
   長さを越える区間がない場合に、当該被分割領域内で、
   各画素連結矩形の相互の位置関係から文字を構成する画
   素連結矩形群を抽出し、これに外接する矩形を文字矩形
   として生成する主方向文字矩形生成ステップと、 を有する請求項１、３、４、６〜８のいずれか１項に記
   載の文字行抽出方法。
10. 【請求項１０】 前記文字行候補分割ステップが、 文字行候補内での文字矩形の大きさの平均値と分散値の
    いずれか又は両方により、文字行候補内での文字矩形の
    構成を判断する文字矩形構成判断ステップと、 文字矩形構成判断ステップにより、文字行候補内で文字
    矩形間に所定の差異を有すると判断された場合に、所定
    の差異がある文字矩形間で、文字行候補を分割する文字
    矩形間分割ステップと、 を有する請求項１、３、４、６〜９のいずれか１項に記
    載の文字行抽出方法。
11. 【請求項１１】 前記文字矩形構成判断ステップが、 文字行候補内での文字矩形の一辺の長さの平均値が文字
    行候補の短辺の長さよりも小さく、かつ、文字矩形の一
    辺の長さの分散値が所定値よりも大きければ、文字行候
    補中に大小の文字矩形が存在するという判断を含み、 前記文字矩形間分割ステップが、 文字矩形判断ステップにより文字行候補中に大小の文字
    矩形が存在すると判断された場合に、大きい文字矩形と
    小さい文字矩形を挟む区間を検索する大小文字矩形間検
    索ステップと、 大小文字矩形間検索ステップで検索された区間で、文字
    行候補を分割する区間分割ステップと、 を有する請求項１、３、４、６〜１０のいずれか１項に
    記載の文字行抽出方法。
12. 【請求項１２】 前記文字矩形構成判断ステップが、 文字行候補内での文字矩形の一辺の長さの平均値が文字
    行候補の短辺の長さとほぼ同じであれば、文字行候補中
    の文字矩形間に空白が存在するという判断を含み、 前記文字矩形間分割ステップが、 文字矩形判断ステップにより文字行候補中の文字矩形間
    に空白があると判断された場合に、空白がある区間を検
    索する文字矩形間空白検索ステップと、 文字矩形間空白検索ステップで検索された区間で、文字
    行候補を分割する区間分割ステップとを有する、 請求項１、３、４、６〜１１のいずれか１項に記載の文
    字行抽出方法。
13. 【請求項１３】 前記文字矩形構成判断ステップが、 文字行候補の短辺の長さが文字行候補内での文字矩形の
    一辺の長さの平均値の２倍以上であれば、文字行候補中
    に文字列が２列以上混在するという判断を含み、 前記文字矩形間分割ステップが、 文字矩形判断ステップにより文字行候補中に文字列が２
    列以上混在すると判断された場合に、文字行間で段差を
    生じている区間を検索する文字行段差部検索ステップ
    と、 文字行段差部検索ステップで検索された区間で、文字行
    候補を分割する区間分割ステップとを有する、 請求項１、３、４、６〜１２のいずれか１項に記載の文
    字行抽出方法。
14. 【請求項１４】 請求項１３記載の文字行抽出方法にお
    いて、 前記文字行段差部検索ステップで検索された区間に隣接
    する文字矩形が所定の特殊な文字矩形か否かを判断する
    特殊文字判定ステップと、 特殊文字判定ステップで所定の特殊な文字矩形であると
    判断された場合は、当該特殊な文字矩形を分割する、特
    殊文字分割ステップと、 をさらに有する請求項１３記載の文字行抽出方法。
15. 【請求項１５】 画像データから画素の連結する成分の
    外接矩形を画素連結矩形として抽出し、抽出された各画
    素連結矩形の位置関係から文字を構成する部分を抽出し
    て、これに外接する矩形を文字矩形として生成し、生成
    された各文字矩形を連結することによって文字行を抽出
    する文字行抽出方法において、 所定の構成を有する文字矩形をルビ矩形として抽出す
    る、ルビ矩形抽出ステップと、 ルビ矩形の近傍に存在する文字行を検索する親文字行検
    索ステップと、 このルビ矩形を含む、検索された文字行に対してルビが
    存在し得る範囲を決定するルビ存在可能範囲決定ステッ
    プと、 ルビが存在し得る範囲に存在するルビ矩形および文字行
    を連結することによって、ルビを構成する文字行を抽出
    するルビ文字行抽出ステップと、 を有することを特徴とする文字行抽出方法。
16. 【請求項１６】 画像データから画素の連結する成分の
    外接矩形を画素連結矩形として抽出し、抽出された各画
    素連結矩形の位置関係から文字を構成する部分を抽出し
    て、これに外接する矩形を文字矩形として生成し、生成
    された各文字矩形を連結することによって文字行を抽出
    する文字行抽出方法において、 抽出された文字行内の画素連結矩形または文字矩形の数
    が定められた第１の閾値よりも大きければ、その文字行
    がノイズであると判断するノイズ文字行判断ステップ
    と、 ノイズと判断された文字行を削除するノイズ文字行削除
    ステップとを有することを特徴とする文字行抽出方法。
17. 【請求項１７】 請求項１６記載の文字行抽出方法にお
    いて、さらに、 抽出された文字行内の画素連結矩形または文字矩形の数
    が前記第１の閾値よりも小さく、第１の閾値よりも小さ
    い定められた第２の閾値よりも大きければ、その文字行
    をノイズ文字行候補とするノイズ文字行候補判断ステッ
    プと、 ノイズ文字行候補内の画素連結矩形または文字矩形の大
    きさの平均値を算出し、この平均値が予め定められる所
    定の値以下であれば、そのノイズ文字行候補をノイズと
    判断するノイズ文字行候補検証ステップとを設けた文字
    行抽出方法。
18. 【請求項１８】 文字行候補生成手段と、文字矩形生成
    手段と、文字行候補分割手段と、文字矩形接続手段とに
    より構成される文字行抽出手段であって、 文字行候補生成手段が、 処理対象の画像データから画素の連結する成分の外接矩
    形を画素連結矩形として抽出する画素連結矩形生成手段
    と、 前記画像データもしくは抽出された各画素連結矩形の構
    成から、主な文字行の方向を主方向、主方向に直交する
    方向を副方向として判定する文字行方向判定手段と、 各画素連結矩形を相互の位置関係に応じて主方向又は副
    方向に接続することにより文字行候補を生成する画素連
    結矩形接続手段とからなり、 文字矩形生成手段が、 文字行候補内で、各画素連結矩形の相互の位置関係から
    文字を構成する画素連結矩形群を抽出し、これに外接す
    る矩形を文字矩形として生成する手段であり、 文字行候補分割手段が、 文字行候補内での文字矩形群の構成に応じて、文字行候
    補を分割する手段であり、 文字矩形接続手段が、 分割された文字行候補内で文字矩形を接続して文字行と
    する手段である、 文字行抽出装置。
19. 【請求項１９】 処理対象の画像データから射影分布を
    生成する射影分布生成手段と、 射影分布を所定の幅ごとにグループ化する射影グループ
    生成手段と、 生成された各グループ内の射影分布の代表値を算出する
    射影グループ代表値算出手段と、 隣接する前記射影分布のグループの代表値間の差の最も
    大きなグループ間の境界をグループ境界として求めるグ
    ループ境界抽出手段と、 このグループ境界を挟む２つのグループ内の射影分布の
    差から文字領域と写真図形領域との境界を決定し、当該
    境界の接している射影分布の小さい側を文字領域として
    抽出する文字域抽出手段とよりなる文字領域抽出装置。
20. 【請求項２０】 前記画素連結矩形接続手段が、 主方向に重なり、かつ、近接する画素連結矩形群を主方
    向に接続して主方向の部分文字行として生成する主方向
    部分文字行生成手段と、 主方向部分文字行生成手段で、接続されなかった画素連
    結矩形群で、所定の距離の範囲内にあるものを接続し
    て、主方向以外の部分文字行として生成する非主方向部
    分文字行生成手段と、 部分文字行のうち、縦横比から文字を構成する部分文字
    行を抽出する文字部分文字行抽出手段と、 副方向に重なり、かつ、近接する文字を構成する部分文
    字行群を副方向に接続して、新たな副方向の部分文字行
    を生成する文字副方向接続手段と、 副方向に重なり、かつ、近接する主方向の部分文字行群
    を接続して新たな主方向の部分文字行を生成する部分文
    字行副方向接続手段と、 主方向に重なる、主方向の部分文字行群を主方向に接続
    して新たな主方向の部分文字行を生成する部分文字行主
    方向接続手段と、 より生成された部分文字行を文字行候補とする請求項１
    ８記載の文字行抽出装置。
21. 【請求項２１】 処理対象の画像データから画素の連結
    する成分の外接矩形を画素連結矩形として抽出し、この
    抽出した画素連結矩形を用いて処理対象の画像の主方向
    を抽出する文字行主方向抽出装置であって、 処理対象の画像データの形状から仮の主方向を決定する
    仮主方向決定手段と、 主方向に重なり、かつ、近接する画素連結矩形群を主方
    向に接続して主方向の部分文字行として生成する主方向
    部分文字行生成手段と、 生成された各主方向の部分文字行の構成から、仮主方向
    決定手段で決定した仮の主方向が正しいかどうかを判断
    する主方向判断手段と主方向判断手段で仮の主方向が正
    しいと判断されればその仮の主方向を主方向として抽出
    し、仮の主方向が正しくないと判断されればその仮の主
    方向に直交する方向を主方向として抽出する主方向抽出
    手段とを有する文字行主方向抽出装置。
22. 【請求項２２】 前記文字行候補生成手段が、請求項２
    １記載の文字行主方向判断装置であり、 前記主方向部分文字行生成手段が、前記文字行主方向判
    断装置の前記主方向判断手段によって仮の主方向が正し
    くないと判断された場合のみ、主方向の部分文字行を生
    成する請求項２０記載の文字行抽出装置。
23. 【請求項２３】 前記部分文字行主方向接続手段にさら
    に、 副方向に重なり、かつ、準近接する主方向の部分文字行
    同士を抽出する準近接部分文字行抽出手段と、 この準近接部分文字行抽出手段で抽出された部分文字行
    同士間における各部分文字行に含まれる画素連結矩形の
    距離が所定の値以下であれば、当該部分文字行同士を接
    続し新たな主方向の部分文字行を生成する準近接部分文
    字行接続手段と、 を設けた請求項２０又は２２記載の文字行抽出装置。
24. 【請求項２４】 請求項２０、２２又は２３記載の文字
    行抽出装置にさらに、 処理対象の画像データの予め定
    められた所定領域内において、副方向に重なり、かつ、
    近接する画素連結矩形群を副方向に接続して副方向の部
    分文字行として生成する特定領域部分文字行生成手段を
    設けた文字行抽出装置。
25. 【請求項２５】 前記文字矩形生成手段が、 文字行候補を被分割領域とし、この被分割領域を、主方
    向の被分割領域、副方向の被分割領域、その他の被分割
    領域に分類する被分割領域分類手段と、 被分割領域分類手段で、副方向の被分割領域であると分
    類された場合は、この被分割領域となっている文字行候
    補を文字行として抽出する副方向文字行抽出手段と、 被分割領域分類手段で、その他の被分割領域と分類され
    た場合は、この被分割領域の外接矩形を文字矩形として
    作成する単体文字矩形作成手段と、 被分割領域分類手段で、主方向の被分割領域であると分
    類された場合は、この主方向の被分割領域に対して、主
    方向、副方向に射影をとり、射影間の空白部分が所定の
    長さを越える区間がある場合は、当該区間で被分割領域
    を分割してあらたな被分割領域とする被分割領域分割手
    段と、 被分割領域分割手段で、射影間の空白部分が所定の長さ
    を越える区間がない場合に、当該被分割領域内で、各画
    素連結矩形の相互の位置関係から文字を構成する画素連
    結矩形群を抽出し、これに外接する矩形を文字矩形とし
    て生成する主方向文字矩形生成手段と、 を有する請求項１７、２０、２２〜２４のいずれか１項
    に記載の文字行抽出装置。
26. 【請求項２６】 文字行候補分割手段が、 文字行候補内での文字矩形の大きさの平均値と分散値の
    いずれか又は両方により、文字行候補内での文字矩形の
    構成を判断する文字矩形構成判断手段と、 文字矩形構成判断手段により、文字行候補内で文字矩形
    間に所定の差異を有すると判断された場合に、所定の差
    異がある文字矩形間で、文字行候補を分割する文字矩形
    間分割手段と、 を有する請求項１７、２０、２２〜２５のいずれか１項
    に記載の文字行抽出装置。
27. 【請求項２７】 前記文字矩形構成判断手段が、 文字行候補内での文字矩形の一辺の長さの平均値が文字
    行候補の短辺の長さよりも小さく、かつ、文字矩形の一
    辺の長さの分散値が所定値よりも大きければ、文字行候
    補中に大小の文字矩形が存在するという判断を行い、 前記文字矩形間分割手段が、 文字矩形判断手段により文字行候補中に大小の文字矩形
    が存在すると判断された場合に、大きい文字矩形と小さ
    い文字矩形を挟む区間を検索する大小文字矩形間検索手
    段と、 大小文字矩形間検索手段で検索された区間で、文字行候
    補を分割する区間分割手段と、 を有する請求項１７、２０、２２〜２６のいずれか１項
    に記載の文字行抽出装置。
28. 【請求項２８】 前記文字矩形構成判断手段が、 文字行候補内での文字矩形の一辺の長さの平均値が文字
    行候補の短辺の長さとほぼ同じであれば、文字行候補中
    の文字矩形間に空白が存在するという判断を行い、 前記文字矩形間分割手段が、 文字矩形判断手段により文字行候補中の文字矩形間に空
    白があると判断された場合に、空白がある区間を検索す
    る文字矩形間空白検索手段と、 文字矩形間空白検索手段で検索された区間で、文字行候
    補を分割する区間分割手段とを有する、 請求項１７、２０、２２〜２７のいずれか１項に記載の
    文字行抽出装置。
29. 【請求項２９】 前記文字矩形構成判断手段が、 文字行候補の短辺の長さが文字行候補内での文字矩形の
    一辺の長さの平均値の２倍以上であれば、文字行候補中
    に文字列が２列以上混在するという判断を行い、 前記文字矩形間分割手段が、 文字矩形判断手段により文字行候補中に文字列が２列以
    上混在すると判断された場合に、文字行間で段差を生じ
    ている区間を検索する文字行段差部検索手段と、 文字行段差部検索手段で検索された区間で、文字行候補
    を分割する区間分割手段とを有する、 請求項１７、２０、２２〜２８のいずれか１項に記載の
    文字行抽出装置。
30. 【請求項３０】 請求項２９記載の文字行抽出装置にお
    いて、さらに、 前記文字行段差部検索手段で検索された区間に隣接する
    文字矩形が所定の特殊な文字矩形か否かを判断する特殊
    文字判定手段と、 特殊文字判定手段で所定の特殊な文字矩形であると判断
    された場合は、当該特殊な文字矩形を分割する、特殊文
    字分割手段と、 を設けた文字行抽出装置。
31. 【請求項３１】 画像データから画素の連結する成分の
    外接矩形を画素連結矩形として抽出し、抽出された各画
    素連結矩形の位置関係から文字を構成する部分を抽出し
    て、これに外接する矩形を文字矩形として生成し、生成
    された各文字矩形を連結することによって文字行を抽出
    する文字行抽出装置において、 所定の構成を有する文字矩形をルビ矩形として抽出す
    る、ルビ矩形抽出手段と、 ルビ矩形の近傍に存在する文字行を検索する親文字行検
    索手段と、 このルビ矩形を含む、検索された文字行に対してルビが
    存在し得る範囲を決定するルビ存在可能範囲決定手段
    と、 ルビが存在し得る範囲に存在するルビ矩形および文字行
    を連結することによって、ルビを構成する文字行を抽出
    するルビ文字行抽出手段と、 を有することを特徴とする文字行抽出装置。
32. 【請求項３２】 画像データから画素の連結する成分の
    外接矩形を画素連結矩形として抽出し、抽出された各画
    素連結矩形の位置関係から文字を構成する部分を抽出し
    て、これに外接する矩形を文字矩形として生成し、生成
    された各文字矩形を連結することによって文字行を抽出
    する文字行抽出装置において、 抽出された文字行内の画素連結矩形または文字矩形の数
    が定められた第１の閾値よりも大きければ、その文字行
    がノイズであると判断するノイズ文字行判断手段と、 ノイズと判断された文字行を削除するノイズ文字行削除
    手段とを有することを特徴とする文字行抽出装置。
33. 【請求項３３】 請求項３２記載の文字行抽出装置にお
    いて、さらに、 抽出された文字行内の画素連結矩形または文字矩形の数
    が前記第１の閾値よりも小さく、第１の閾値よりも小さ
    い定められた第２の閾値よりも大きければ、その文字行
    をノイズ文字行候補とするノイズ文字行候補判断手段
    と、 ノイズ文字行候補内の画素連結矩形または文字矩形の大
    きさの平均値を算出し、この平均値が予め定められる所
    定の値以下であれば、そのノイズ文字行候補をノイズと
    判断するノイズ文字行候補検証手段とを設けた文字行抽
    出装置。