JPH11238098A - 文字列抽出装置及びパターン抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】 複雑な画像から文字列を抽出することを可能
とし、文字色を見誤ることがなく、かつ線幅が細い線分
を見落とすことがない文字列抽出装置を提供する。 【解決手段】 入力画像の連結成分を求め、連結成分の
相対的位置及び太さの類似性に基づいてグループに分
け、文字認識処理を行ってグループの文字認識度を求
め、矩形領域の面積によって重み付けしたものの総和を
グループの評価値とし、全てのグループの組み合わせに
ついて評価値を求め、組み合わせの評価値が最も高いグ
ループの組み合わせを文字列として抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文書や図面などを読
み取る画像認識技術に関わり、特に、画像から見出しな
どの文字列を抽出する場合に適用して好適なものであ
る。

【０００２】

【従来の技術】文書を電子的にファイリングする場合、
キーワードを文書に付与しておくことが不可欠である
が、この作業は作業者にとって極めて煩わしいものであ
り、この作業を自動化することは、電子ファイリングの
有用性を高める上で極めて重要な課題である。

【０００３】新聞や雑誌においては、見出し部分を自動
的に抽出し、文字認識してキーワードとするのが最も効
率的である。なぜなら、見出しは文書の内容の特徴を豊
富に含み、かつ文書の中で特定し易いからである。

【０００４】このため、キーワードを抽出する時間を短
縮し、キーワードを的確に抽出する技術（例えば特開平
４−２８７１６８号 ファイリングの自動キーワード抽
出方法）が考案されている。

【０００５】この方法は、図や写真や表の説明文が、図
や写真や表の矩形部分の上部あるいは下部にあることに
着目して、そこにある文字列あるいは文字列領域を抽出
し、文字認識を行い、キーワードとして登録するという
ものである。

【０００６】また、画像から文字列を抽出する技術（例
えば、特開平８−２９３００３号文字列抽出方法および
その方法を用いた文字列抽出装置、及びその装置を用い
た文字列認識処理装置ならびに文字列認識処理システ
ム）が考案されている。

【０００７】ここでは、画像内の全ての文字を抽出し、
連続性を有する文字列毎にグループ分けし、各グループ
の特徴量と登録された文字列の特徴量のモデルと比較・
判別し、文字列として抽出するものである。ここで、連
続性とは文字列の並びのことであり、特徴量とは漢字や
数字などの文字の種類と大きさのことである。

【０００８】このように、電子ファイリングの対象とな
る文書や図面が様々であり、画像認識技術も多様である
が、画像から抽出する文字列の例として、新聞でよく見
られる背景模様のある見出しを対象とする次に示す方法
が一般的によく知られている。

【０００９】まず、入力画像を縦書きか、横書きかを判
定し、入力画像とその反転画像にラベリング処理を行
い、同じ色の画素が連なる連結成分を求める。次に、各
連結成分の大きさ、太さ、及び相対的位置から文字候補
を見つけ出す。

【００１０】ここで、入力画像の連結成分から得られる
文字候補を黒文字候補、反転画像の連結成分から得られ
る文字候補を白文字候補と呼ぶ。この黒文字候補と白文
字候補の個数から文字の色を決定し、文字色を黒とした
場合は入力画像の連結成分のみをそれ以降の処理対象と
し、文字色を白とした場合は反転画像の連結成分のみを
それ以降の処理対象にする。

【００１１】次に、処理対象の連結成分をマージして文
字列領域を求め、この文字列領域に含まれる連結成分
で、しきい値以上の太さの連結成分を文字成分として抽
出する。このしきい値は、連結成分の太さの最大値に対
する一定の割合の値である。最後に、文字成分として抽
出した連結成分を画像として生成し、文字認識処理によ
って文字列とする。

【００１２】また、見出し部分を正確に抽出するため、
同一文字列に属する黒画素領域の正確な統合技術が必要
となる。この技術に関する従来方法としては、次の方法
がある。

【００１３】まず、傾き補正や枠線除去などの前処理を
してから、画像全体をラベリングし、得られた黒画素連
結領域の重なりネスト統合を行う。次に、得られた黒画
素連結領域から文書全体の本文文字サイズを判断し、そ
の値をもとに各連結領域の属性判別を行う。そして、属
性が文字と判断された矩形に対しては、縦または横の統
合を繰り返し、文字列を確定する。

【００１４】

【発明が解決しようとする課題】しかしながら、従来の
技術では、文字抽出処理の途中の段階で文字色を決定
し、一律の標準文字線幅を用いており、また、文字列領
域を設定するときは１行（あるいは１列）を前提にして
いた。そのため、背景模様の白黒混在、複数種類のフォ
ント混在、カラー文書、複数行、縦横混在、およびそれ
らの複合体で構成される複雑な画像から文字列を抽出す
ることが困難になるという問題があった。

【００１５】また、黒文字候補と白文字候補の個数の関
係は、文字色を決定するための判断基準として信頼性が
高いとは言えず、また、文字抽出処理の途中の段階で文
字色を決定しているが、ここで判断を誤ると、それ以降
は修復不可能であり、最後に処理する文字認識が不可能
になってしまうという問題があった。

【００１６】さらに、一律の標準文字線幅を用いること
は比較的線幅の細い文字成分が消失しやすい傾向にある
ことを意味し、最後に処理する文字認識に影響を及ぼし
てしまうという問題があった。

【００１７】また、従来手法では、黒画素連結領域の重
なりネスト統合を行うために、本来統合されるべきでな
いところが次々と統合され、結局文書全体が統合される
という深刻な失敗に陥る可能性があった。

【００１８】例えば、文書全体の傾きが補正されない場
合、また枠線が完全に除去されない場合、重なりネスト
統合により、文書全体が統合されることがある。図３０
は、従来の重なりネスト統合により、文書全体が統合さ
れる例を示す図である。

【００１９】図３０（ａ）において、連結成分の外接矩
形Ｋ６１〜Ｋ６５が入力画像から得られたものとする。
この連結成分の外接矩形Ｋ６１〜Ｋ６５に対して、重な
りネスト統合を行うと、外接矩形Ｋ６１と外接矩形Ｋ６
２とが重なっているため、外接矩形Ｋ６１と外接矩形Ｋ
６２とは統合され、図３０（ｂ）に示すように、外接矩
形Ｋ６１と外接矩形Ｋ６２とを囲む外接矩形Ｋ６６が生
成される。外接矩形Ｋ６６が生成されると、この外接矩
形Ｋ６６と外接矩形Ｋ６３とが重なるため、外接矩形Ｋ
６６と外接矩形Ｋ６３とが統合され、図３０（ｃ）に示
すように、外接矩形Ｋ６６と外接矩形Ｋ６３とを囲む外
接矩形Ｋ６７が生成される。外接矩形Ｋ６７が生成され
ると、この外接矩形Ｋ６７と外接矩形Ｋ６４とが重なる
ため、外接矩形Ｋ６７と外接矩形Ｋ６４とが統合され
る。同様にして、図３０（ａ）の外接矩形Ｋ６１〜Ｋ６
５の全てが統合され、図３０（ｄ）に示すように、外接
矩形Ｋ６１〜Ｋ６５を囲む外接矩形Ｋ６８が生成され
る。

【００２０】また、写真や図、テクスチャ付きの見出し
がある場合には、重なりネスト統合処理の時間がかかり
過ぎるという問題もある。。

【００２１】そこで、本発明の第１の目的は、文書や図
面などを読み取る画像認識技術に関わり、特に、複雑な
画像から文字列を抽出することを可能とし、文字色を見
誤ることがなく、かつ線幅が細い線分を見落とすことが
ない文字列抽出装置を提供することである。

【００２２】また、本発明の第２の目的は、部分的に重
なりネスト統合を行うことが可能なパターン抽出装置を
提供することである。

【００２３】

【課題を解決するための手段】本発明の文字列抽出装置
は、画像から文字列を抽出する装置であって、入力した
画像から画素の色に基づいて、画素の色が連なる連結成
分を抽出する連結成分抽出手段と、連結成分の相対的位
置、および、連結成分の全画素数に対する境界画素数の
比に基づいて、連結成分を共通の文字列または文字列群
を構成する可能性が高いグループに分けるグルーピング
手段と、グループ毎に文字認識処理を行い、その結果の
各文字の第１位認識候補の距離値の逆数の和をグループ
の文字認識度とする文字認識手段と、グループの文字認
識度にグループが占める矩形領域の面積によって重み付
けしたものをグループの評価値とし、全てのグループの
組合せについてグループの評価値の和を組合せの評価値
とする組合せ評価手段と、組合せの評価値が最も高いグ
ループの組合せを文字列として抽出する文字列抽出手段
と、を備えることを特徴とする。

【００２４】また、本発明の文字列抽出装置は、入力し
た画像が白黒２値画像の場合には、入力画像と、白黒２
値を反転させた反転画像とについて、黒画素が連なる連
結成分を抽出することを特徴とする。

【００２５】更に、本発明の文字列抽出装置は、グルー
プが占める矩形領域に重なりがないグループのみを関連
付け、グループが占める矩形領域に重なりがないグルー
プの組合せを全て求めることを特徴とする。

【００２６】更にまた、本発明の記録媒体は、プログラ
ムを記録したコンピュータ読み取り可能な記録媒体であ
って、コンピュータを、入力した画像から画素の色に基
づいて、画素の色が連なる連結成分を抽出する連結成分
抽出手段と、連結成分の相対的位置、および、連結成分
の全画素数に対する境界画素数の比に基づいて、連結成
分を共通の文字列または文字列群を構成する可能性が高
いグループに分けるグルーピング手段と、グループ毎に
文字認識処理を行い、その結果の各文字の第１位認識候
補の距離値の逆数の和をグループの文字認識度とする文
字認識手段と、グループの文字認識度にグループが占め
る矩形領域の面積によって重み付けしたものをグループ
の評価値とし、全てのグループの組合せについてグルー
プの評価値の和を組合せの評価値とする組合せ評価手段
と、組合せの評価値が最も高いグループの組合せを文字
列として抽出する文字列抽出手段と、を備え、画像から
文字列を抽出する文字列抽出装置として機能させること
を特徴とする。

【００２７】また、本発明の一態様によれば、入力画像
及び前記入力画像の白黒反転画像のそれぞれから得られ
るパターンの認識結果のうち、互いに領域が重複しない
部分を組み合わせたものを、前記入力画像からのパター
ンの抽出結果とするようにしている。

【００２８】このことにより、新聞などの見出し文字の
中に、黒画素で構成された文字と白抜き文字とが混在し
ている場合においても、黒文字候補と白文字候補の個数
から文字の色が決定されたために、文字色が黒とされた
場合は入力画像の連結成分のみがそれ以降の処理対象と
され、黒文字は正確に認識できるが、白抜き文字は認識
不能となったり、文字色が白とされた場合は白黒反転画
像の連結成分のみが文字認識の処理対象とされ、白抜き
文字は正確に認識できるが、黒文字は認識不能となった
りすることを防止することが可能となり、背景模様の白
黒混在、複数種類のフォント混在、カラー文書、複数
行、縦横混在、及びそれらの複合体で構成される複雑な
画像から文字列を精度よく抽出することが可能となる。

【００２９】また、本発明の一態様によれば、入力画像
の連結成分を抽出する連結成分抽出手段と、前記連結成
分の外接矩形を生成する外接矩形生成手段と、前記外接
矩形が前記入力画像に存在する頻度を前記外接矩形の面
積で重み付けたヒストグラムを生成するヒストグラム生
成手段と、前記ヒストグラムの最大値を示す外接矩形の
大きさを前記入力画像の文字サイズと推定する文字サイ
ズ推定手段とを備えている。

【００３０】このことにより、１つの文字が互いに分離
した複数のストロークで構成され、重なりネスト統合処
理を行わなかったために、各ストロークごとに生成され
る外接矩形がそのまま残ってしまう場合においても、１
つの文字の一部から構成される外接矩形は、１つの文字
全体からの構成される外接矩形よりも、サイズが小さく
なることから、１つの文字の一部から構成される外接矩
形の頻度の評価を低くすることが可能となり、文字サイ
ズを推定する際に、文字の部分的な大きさが文字サイズ
の推定に影響することを小さくすることが可能となるた
め、重なりネスト統合処理を行わない場合においても、
文字サイズを精度よく推定することが可能となる。

【００３１】また、本発明の一態様によれば、前記外接
矩形生成手段で生成された外接矩形のグルーピングを行
うグルーピング手段と、前記文字サイズ推定手段で推定
された文字サイズを有する第１の外接矩形を所定の個数
以上含む第２の外接矩形を抽出する枠矩形抽出手段と、
前記第２の外接矩形を前記グルーピングの対象から除外
する枠矩形除外手段とを備えている。

【００３２】このことにより、新聞などから見出し文字
を抽出する場合において、見出し文字の近くに本文文字
を囲む枠矩形が存在する場合においても、この枠矩形の
みを抽出することが可能となり、見出し文字の外接矩形
と区別することが可能となることから、見出し文字のみ
を精度良く抽出することが可能となる。

【００３３】また、本発明の一態様によれば、前記外接
矩形に与えられた矩形番号を前記入力画像に設定された
各座標に射影する射影手段を備え、前記枠矩形抽出手段
は、前記各座標に含まれる矩形番号を前記第２の外接矩
形の座標の範囲内で探索することにより、第１の外接矩
形を抽出するようにしている。

【００３４】このことにより、外接矩形内に存在する他
の外接矩形を容易に抽出することが可能となり、本文文
字を囲む枠矩形と見出し文字とが混在している場合にお
いても、枠矩形のみを高速に抽出することが可能とな
る。

【００３５】また、本発明の一態様によれば、入力画像
の連結成分を抽出する連結成分抽出手段と、前記連結成
分の外接矩形を生成する外接矩形生成手段と、前記外接
矩形が互いに重なっている他の外接矩形の個数を算出す
る重なり度評価手段と、前記重なり度評価手段の算出結
果に基づいて、重なりネスト統合処理を行う重なりネス
ト統合処理手段とを備えている。

【００３６】このことにより、重なり度の大きな外接矩
形だけを対象に重なりネスト統合処理を行い、重なり度
の小さな外接矩形の重なりネスト統合処理を行わないよ
うにすることが可能となることから、外接矩形が画面全
体で統合されて、見出し文字の外接矩形が消失すること
を防止することが可能となるとともに、重なり度の大き
な図や写真の一部をより大きな矩形に吸収統合しておく
ことが可能となり、図や写真の一部の外接矩形がそのま
ま残り、見出し文字として誤って抽出されたり、見出し
文字を構成するものとして誤って矩形統合されたりする
ことを防止することが可能となり、見出し文字と図や写
真などが混在している場合においても、見出し文字の抽
出を精度良く行うことが可能となる。

【００３７】また、本発明の一態様によれば、前記外接
矩形に与えられた矩形番号を前記入力画像に設定された
各座標に射影する射影手段と、前記各座標に含まれる矩
形番号を所定の外接矩形の座標の範囲内で探索すること
により、前記所定の外接矩形に重なっている他の外接矩
形を抽出する重なり矩形抽出手段とを備えている。

【００３８】このことにより、互いに重なっている外接
矩形を容易に抽出することが可能となり、外接矩形の重
なり度を高速に算出することが可能となる。

【００３９】

【発明の実施の形態】以下、本発明の一実施例に係わる
パターン抽出装置について、図面を参照しながら説明す
る。

【００４０】図１は、本発明の第１実施例に係わるパタ
ーン抽出装置の構成を示すブロック図である。図１にお
いて、反転画像生成手段１は、入力画像のラベルを反転
した反転画像を生成する。認識手段２は、入力画像から
抽出されたパターン及び反転画像生成手段１で生成され
た反転画像から抽出されたパターンの認識処理を行う。
出力手段３は、認識手段２で認識された認識結果のう
ち、入力画像から抽出されたパターンの領域と反転画像
生成手段１で生成された反転画像から抽出されたパター
ンの領域との重なりのない組み合わせを、整合性のある
組み合わせとして出力する。

【００４１】このことにより、新聞などの見出し文字の
中に、黒画素で構成された文字と白抜き文字とが混在し
ている場合においても、黒画素で構成された文字と白抜
き文字との両方について認識処理を行い、黒画素で構成
された文字の認識結果及び白抜き文字の認識結果を組み
合わせて出力することが可能となる。

【００４２】このため、黒文字候補と白文字候補の個数
から文字の色が決定されて、文字色が黒とされた場合は
入力画像の連結成分のみがそれ以降の処理対象とされ、
黒文字は正確に認識できるが、白抜き文字は認識不能と
なったり、文字色が白とされた場合は白黒反転画像の連
結成分のみが文字認識の処理対象とされ、白抜き文字は
正確に認識できるが、黒文字は認識不能となったりする
ことを防止することが可能となり、背景模様の白黒混
在、複数種類のフォント混在、カラー文書、複数行、縦
横混在、及びそれらの複合体で構成される複雑な画像か
ら文字列を精度よく抽出することが可能となる。

【００４３】図２は、本発明の第２実施例に係わるパタ
ーン抽出装置の構成を示すブロック図である。図２にお
いて、連結成分抽出手段１１は、入力画像のラベリング
を行うことにより、入力画像の連結成分を抽出する。外
接矩形生成手段１２は、連結成分抽出手段１１で抽出さ
れた連結成分の外接矩形を生成する。重なり度評価手段
１３は、外接矩形生成手段１２で生成された外接矩形が
互いに重なっている他の外接矩形の個数を算出する。重
なりネスト統合処理手段１４は、重なり度評価手段１３
の算出結果に基づいて、重なりネスト統合処理を行う。

【００４４】このことにより、重なりネスト統合を部分
的に行うことが可能となり、重なり度の大きな外接矩形
だけを対象に重なりネスト統合処理を行い、重なり度の
小さな外接矩形の重なりネスト統合処理を行わないよう
にすることが可能となることから、外接矩形が画面全体
で統合されて、見出し文字の外接矩形が消失することを
防止することが可能となる。

【００４５】また、重なり度の大きな図や写真の一部を
より大きな矩形に吸収統合しておくことが可能となり、
図や写真の一部の外接矩形がそのまま残り、見出し文字
として誤って抽出されたり、見出し文字を構成するもの
として誤って矩形統合されたりすることを防止すること
が可能となり、見出し文字と図や写真などが混在してい
る場合においても、見出し文字の抽出を精度良く行うこ
とが可能となる。

【００４６】図３は、本発明の一実施例に係わる情報検
索装置のシステム構成を示すブロック図である。図３に
おいて、２１は全体的な処理を行う中央演算処理ユニッ
ト（ＣＰＵ）、２２はリードオンリメモリ（ＲＯＭ）、
２３はランダムアクセスメモリ（ＲＡＭ）、２４は通信
インターフェイス、２５は通信ネットワーク、２６はバ
ス、２７は入出力インターフェイス、２８は見出し文字
などの認識結果などを表示するディスプレイ、２９は見
出し文字などの認識結果などを印刷するプリンタ、３０
はスキャナ３１により読み取られたデータを一時的に格
納するメモリ、３１は入力画像などを読み取るスキャ
ナ、３２はキーボード、３３は記憶媒体を駆動するドラ
イバ、３４はハードディスク、３５はＩＣメモリカー
ド、３６は磁気テープ、３７はフロッピーディスク、３
８はＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光ディスクで
ある。

【００４７】パターン抽出処理を行うプログラムなど
は、ハードディスク３４、ＩＣメモリカード３５、磁気
テープ３６、フロッピーディスク３７、光ディスク３８
などの記憶媒体に格納される。そして、パターン抽出処
理を行うプログラムなどを、これらの記憶媒体からＲＡ
Ｍ２３に読み出すことにより、新聞や雑誌などの文書画
像から見出し文字などの抽出を行うことができる。ま
た、パターン抽出処理を行うプログラムなどを、ＲＯＭ
２２に格納しておくこともできる。

【００４８】さらに、パターン抽出処理を行うプログラ
ムなどを、通信インターフェイス２４を介して通信ネッ
トワーク２５から取り出すこともできる。通信インター
フェイス２４に接続される通信ネットワーク２５とし
て、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗ
ｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒ
ｋ）、インターネット、アナログ電話網、デジタル電話
網（ＩＳＤＮ：Ｉｎｔｅｇｒａｌ Ｓｅｒｖｉｃｅ Ｄ
ｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＰＨＳ（パーソナル
ハンディシステム）や衛星通信などの無線通信網を用い
ることができる。

【００４９】ＣＰＵ２１は、パターン抽出処理を行うプ
ログラムが起動されると、スキャナ３１により読み取ら
れた入力画像にラベリングを行い、同一ラベルが付され
た連結成分ごとに外接矩形を生成する。そして、各外接
矩形の重なり度を調べ、重なり度の大きな外接矩形同士
に対して、重なりネスト統合を行う。次に、重なりネス
ト統合が行われた外接矩形のグルーピングを行い、その
グルーピング結果の中から見出し文字を抽出し、その抽
出結果をディスプレイ２８やプリンタ２９に出力する。

【００５０】図４は、本発明の第３実施例に係わる文字
列抽出装置の動作を説明する図である。図４（ａ）にお
いて、黒枠の中に「黒白反転」と２行に渡って書かれた
黒画素文字と、「調査グ」と縦書きで書かれた白抜き文
字が入力画像として入力されたものとし、この入力画像
から、「黒白反転」という文字列と「調査グ」という文
字列とを抽出するものとする。

【００５１】まず、入力した画像から画素の色に基づい
て、画素の色が連なる連結成分を抽出する。入力画像が
カラー画像である場合は、各色について連結成分を抽出
する。図４（ａ）の入力画像は白黒２値画像であるで、
白黒２値を反転させた反転画像についても、黒画素およ
び白画素が連なる連結成分を抽出する。反転画像は図４
（ａ）に示すように、入力画像の背景領域の色と文字部
分の色とが反転する。

【００５２】この連結成分の抽出処理により、入力画像
の黒画素の各連結成分ごとに、異なるラベルが付される
ととも、反転画像の黒画素の各連結成分ごとに、異なる
ラベルが付される。

【００５３】次に、入力画像と反転画像のそれぞれにつ
いて、連結成分と連結成分の位置関係および連結成分と
連結成分の太さの類似性から、共通の文字列または文字
列群を構成する可能性が高い連結成分をグループ分けす
る。

【００５４】ここで、連結成分の太さの類似性とは、連
結成分の全画素数に対する境界画素数の比のことであ
り、共通の文字列または文字列群とは、意味的に共同し
て同一のことがらを表現する文字列の集合のことであ
る。

【００５５】その結果、図４（ａ）に示すように、入力
画像の「黒白反転」という文字は、太さが互いに同じ
で、それぞれ近接して配置されているので、グループａ
にグルーピングされる。また、入力画像の「黒白反転」
という文字を囲む枠及び「調査グ」という白抜き文字の
背景部分に対応する黒画素領域は、黒画素で１つに連結
しているので、グループｂにグルーピングされる。

【００５６】また、反転画像の「黒白反転」という白抜
き文字の背景部分に対応する黒画素領域及び「調査グ」
という文字を囲む枠は、黒画素で１つに連結しているの
で、グループａ１にグルーピングされる。また、反転画
像の「調査グ」という文字は、太さが互いに同じで、そ
れぞれ近接して配置されているので、グループｂ１にグ
ルーピングされる。

【００５７】ここで、グループａは背景領域が白で比較
的小さい文字のグループであり、グループｂは背景領域
が黒で比較的大きめの白抜き文字であるが、この時点で
はグループｂは白抜き文字とは認識できていない。グル
ープａには白を背景に文字があるらしいこと、グループ
ｂは全体が黒っぽいことが判る程度である。このため、
グループｂの黒画素で構成される背景領域についての文
字認識処理を行っても、「調査グ」という文字を認識す
ることはできない。

【００５８】また、グループａ１は背景領域が黒で比較
的小さめの白抜き文字であり、グループｂ１は背景領域
が白で比較的大きい文字のグループであるが、この時点
ではグループｂ１は白抜き文字とは認識できていない。
グループａ１は全体が黒っぽいこと、グループｂ１には
白を背景に文字があるらしいことが判る程度である。こ
のため、グループａ１の黒画素で構成される背景領域に
ついての文字認識処理を行っても、「黒白反転」という
文字を認識することはできない。

【００５９】このようにグループ分けされると、グルー
プ毎に文字認識処理を行う。その結果の各文字の第１位
認識候補の距離値の逆数の和をグループの文字認識度と
する。従って、グループの文字認識度の値が高ければ、
抽出すべき文字列である可能性が高いことになる。グル
ープの文字認識度にグループが占める矩形領域の面積に
よって重み付けしたものをグループの評価値とする。

【００６０】次に、全てのグループの組合せについて評
価値を求め、組合せの評価値とする。グループを組合せ
る時には、グループが占める矩形領域に重なりがないグ
ループのみを関連付け、グループが占める矩形領域に重
なりがないグループの組合せを全て求める。

【００６１】図４（ｂ）の組合せは、グループが占める
矩形領域に重なりがないグループを組合せることを説明
するための図である。図４（ｂ）に示すように、図４
（ａ）のグループａは、グループｂ１が占める矩形領域
と重ならないため、グループｂ１と組み合わされる可能
性があるが、グループｂ及びグループａ１とは、グルー
プが占める矩形領域が重なるため、グループｂ及びグル
ープａ１と組み合わされることがない。

【００６２】一方、グループｂは、グループａ、グルー
プａ１、あるいはグループｂ１のどのグループと組み合
わせても、グループが占める矩形領域が重なるため、グ
ループａ、グループａ１、あるいはグループｂ１のいず
れのグループとも組み合わされる可能性がない。

【００６３】従って、全ての組合せから、グループａと
グループｂの組合せ、グループａとグループａ１の組合
せ、グループｂとグループａ１の組合せ、グループｂと
グループｂ１の組合せ及びグループａ１とグループｂ１
の組合せが除外され、グループａとグループｂ１の組合
せだけが残る。図４（ｂ）に除外される組合せを点線で
示す。実線で接続されるグループの組合せの全てについ
て評価値が計算される。その結果、組合せの評価値が最
も高いグループの組合せを文字列として抽出する。

【００６４】図４（ｃ）は、抽出結果を示す。図４
（ｃ）において、グループａとグループｂ１の組合せが
選択され、グループａから抽出されるパターンの文字認
識を行った結果、「黒白反転」という文字列が出力さ
れ、グループｂ１から抽出されるパターンの文字認識を
行った結果、「調査グ」という文字列が出力される。

【００６５】ここで、もし、グループｂについての文字
認識を行った場合には、グループｂは、入力画像の「黒
白反転」という文字を囲む枠及び「調査グ」という白抜
き文字の背景部分に対応する黒画素領域で構成されてい
るため、「調査グ」という文字列を正しく認識すること
ができない。

【００６６】このため、図４（ａ）の入力画像から抽出
されるパターンだけを用いて、認識処理を行うと、「黒
白反転」という文字列は抽出できるが、「調査グ」とい
う文字列は抽出できなくなる。

【００６７】一方、グループａ１についての文字認識を
行った場合には、グループａ１は、反転画像の「黒白反
転」という白抜き文字の背景部分に対応する黒画素領域
及び「調査グ」という文字を囲む枠で構成されているた
め、「調査グ」という文字列を正しく認識することがで
きない。

【００６８】このため、図４（ａ）の反転画像から抽出
されるパターンだけを用いて、認識処理を行うと、「調
査グ」という文字列は抽出できるが、「黒白反転」とい
う文字列は抽出できなくなる。

【００６９】これに対して、図４の実施例では、入力画
像から抽出されるパターン及び反転画像から抽出される
パターンの両方を用いて文字認識を行い、「黒白反転」
という文字列は入力画像から抽出し、「調査グ」という
文字列は反転画像から抽出することができるので、「黒
白反転」という文字列及び「調査グ」という文字列の両
方とも正しく抽出するこができる。

【００７０】図５は、本発明の第３実施例に係わる文字
列抽出装置の構成を示すブロック図である。図５におい
て、文字列抽出装置４１は、連結成分抽出手段４２とグ
ルーピング手段４３と文字認識手段４４と組合せ評価手
段４５と文字列抽出手段４６を備えている。

【００７１】連結成分抽出手段４２では、入力した画像
から画素の色に基づいて画素の色が連なる連結成分を抽
出する。入力画像がカラー画像である場合は各色につい
て連結成分を抽出し、入力画像が白黒２値画像である場
合は反転画像についても黒画素および白画素が連なる連
結成分を抽出する。

【００７２】グルーピング手段４３では、連結成分と連
結成分の位置関係および連結成分と連結成分の太さの類
似性から共通の文字列または文字列群を構成する可能性
が高い連結成分をグループ分けする。

【００７３】文字認識手段４４では、グループ毎に文字
認識処理を行い、グループの文字認識度を求める。組合
せ評価手段４５では、グループの評価値を求め、更に組
合せの評価値を求める。文字列抽出手段４６では、組合
せの評価値が最も高いグループの組合せを文字列として
抽出する。

【００７４】このように、図５の文字列抽出装置４１で
は、連結成分の類似性からグループ分けし、グループ毎
に文字認識処理を実施し文字列らしさを付与し、整合性
のある組合せのグループを抽出するので、黒白混在の背
景模様、カラー文書などの複雑な画像から文字列を抽出
することが可能になる。

【００７５】また、図５の文字列抽出装置４１および記
録媒体では、抽出処理の途中では色の決定を行わず、文
字列領域の仮定も行わず、また、抽出処理の過程で一律
に標準文字の線幅を決定しないので、文字列抽出の精度
が向上する。

【００７６】以下、本発明の第３実施例に係わる文字列
抽出装置４１について図面を用いて詳細に説明する。こ
の文字列抽出装置４１の実施例として、新聞の見出しな
どの白黒２値の画像から文字列を抽出する場合を例にと
る。

【００７７】図６は、本発明の第３実施例に係わる文字
列抽出装置の動作を示すフローチャートである。図６に
おいて、まず、ステップＳ１において、画像が入力さ
れ、ステップＳ２に進む。ステップＳ２では、入力され
た画像に対し黒白反転の画像を生成する。続いて、入力
画像と反転画像の処理を並行して行うが、入力画像の処
理をする場合はステップＳ３へ、反転画像の処理をする
場合はステップＳ６に進む。

【００７８】入力画像と反転画像が得られると、続いて
それぞれの連結成分を求めるためにラベリング処理を行
う。ステップＳ３では、入力画像のラベリング処理を、
ステップＳ６では、反転画像のラベリング処理を行う。

【００７９】入力画像と反転画像のラベリングに続い
て、それぞれの連結成分をグルーピング（グループ分
け）する。図６のステップＳ４では、入力画像のグルー
ピングを、ステップＳ７では、反転画像のグルーピング
を行う。

【００８０】入力画像と反転画像のグルーピングに続い
て、それぞれのグループの文字認識処理を行う。ステッ
プＳ５では、入力画像のグループの文字認識処理を、ス
テップＳ８では、反転画像のグループの文字認識処理を
行う。

【００８１】入力画像と反転画像のグループの文字認識
処理に続いて、ステップＳ９に進む。ステップＳ９で
は、グループが占める矩形領域に重なりがあるグループ
をグループの組合せから除外し、整合性のある組合せを
全て数え上げる。

【００８２】ステップＳ１０では、候補に上がった組合
せの各々について、評価値に基づいて評価する。各グル
ープの評価値は、グループの文字認識度と各グループが
占める矩形領域の面積との関数であり、組合せの評価値
は、整合性のある組合せについてグループの評価値を組
み合わせて求める。

【００８３】続いて、ステップＳ１１に進み、ステップ
Ｓ１０において、組合せの評価値が最高の組合せのグル
ープに対応する文字列を抽出して処理を終了する。図７
は、本発明の一実施例に係わるラベリング処理を説明す
る図である。図７において、白抜き文字の「祭」の１文
字が１から４までの番号を付けた４つの連結成分Ｒ１〜
Ｒ４から構成されていることが示される。このように、
同じ色の画素（図４では白画素）が連なる連結成分を番
号などによって識別してゆくことをラベリングという。

【００８４】図８は、本発明の一実施例に係わるグルー
ピング処理を示すフローチャートである。図８におい
て、まず、ステップＳ２１において、文字成分候補を選
択する。ステップＳ２１では、対象連結成分の絞り込み
を行う。ここでは、連結成分の外接矩形の大きさがある
基準以下のものを除去し、明らかに文字成分候補となり
得ないものを今後の処理の対象外にする。続いて、ステ
ップＳ２２に進む。

【００８５】ステップＳ２２では、連結成分に対して近
傍を設定する。近傍は、連結成分の外接矩形の周囲を一
定の大きさで囲んだ時にできる領域とする。連結成分の
近傍に一部が含まれる連結成分を近傍連結成分と呼ぶ。
続いて、ステップＳ２３に進む。

【００８６】ステップＳ２３では、連結成分とその近傍
連結成分とをリンクさせる。ここでリンクとは、連結成
分および近傍連結成分のそれぞれが同じ文字列あるいは
同じ文字列群に属するかを判断し、連結成分とその近傍
連結成分とを関係付けることである。

【００８７】連結成分のリンクは、連結成分の相対的位
置および太さの類似性に基づいて行われる。連結成分間
の相対的位置と太さの類似性のことを連結成分の家族的
類似性と呼ぶ。ステップＳ２３では、全ての連結成分お
よび全ての近傍連結成分との家族的類似性が判断され、
ステップＳ２４に進む。

【００８８】ステップＳ２４では、リンクで結ばれた連
結成分および近傍連結成分をグループとして抽出する。
連結成分のリンクの仕方は様々であり、例えば、連結成
分Ａと連結成分Ｂと連結成分Ｃがリンクで結ばれている
が、連結成分Ａと連結成分Ｃは直接結ばれていない場合
がある。また、連結成分Ａから連結成分Ｂにリンクして
いるが、連結成分Ｂから連結成分Ａにはリンクしていな
い場合もある。

【００８９】このようなリンクを形成する連結成分を弧
状連結の連結成分と呼ぶ。ステップＳ２４では、リンク
で結ばれた弧状連結の連結成分の集合を取り出して一つ
のグループとする。図９は、本発明の一実施例に係わる
連結成分と外接矩形の例を示す図である。

【００９０】図９において、カタカナの「タ」という文
字が一つの連結成分であり、その外接矩形のｘ方向の長
さがｄｘ、ｙ方向の長さがｄｙである。図１０は、本発
明の一実施例に係わる対象連結成分の絞り込み方法を示
すフローチャートである。

【００９１】図１０において、連結成分の外接矩形を表
すｘ方向の長さｄｘのしきい値とｙ方向の長さｄｙのし
きい値とを、それえぞｔｈ１乃至ｔｈ２と予め決めてお
く。図１０のステップＳ３１において、ｘ方向の長さｄ
ｘとｙ方向の長さｄｙが入力されると、ステップＳ３２
において、ｙ方向の長さｄｙがしきい値ｔｈ２より小さ
いかどうかが判定される。

【００９２】ステップＳ３２において、ｙ方向の長さｄ
ｙがしきい値ｔｈ２より小さければ、ステップＳ３３に
進み、ｙ方向の長さｄｙがしきい値ｔｈ２より小さくな
ければ、ステップＳ３６に進む。ステップＳ３３におい
て、ｘ方向の長さｄｘがしきい値ｔｈ１より大きく、し
きい値ｔｈ２より小さければ、ステップＳ３５に進み、
ｘ方向の長さｄｘがしきい値ｔｈ１以下であるか、しき
い値ｔｈ２以上であれば、ステップＳ３４に進む。

【００９３】ステップＳ３４において、ｙ方向の長さｄ
ｙがしきい値ｔｈ１より大きければ、ステップＳ３５に
進み、ｙ方向の長さｄｙがしきい値ｔｈ１より大きくな
ければ、ステップＳ３６に進む。

【００９４】ステップＳ３５においては、当該の連結成
分を文字成分候補となり得るものとし、ステップＳ３６
においては、当該の連結成分を今後の処理の対象外にし
て処理を終了する。

【００９５】図１１は、本発明の一実施例に係わる連結
成分近傍を説明する図である。図１１において、近傍は
連結成分の外接矩形の周囲を一定の大きさで囲んだ時に
できる領域である。

【００９６】ここで、一定の大きさとは、図１１に示す
ように、縦書きの場合は横方向の両側にそれぞれ横方向
サイズ×（１／６）、縦方向の上下に縦方向サイズ×
（３／４）の領域とする。横書きの場合も近傍の定義は
同じである。

【００９７】図１１では、「京」という文字に着目し
て、「京」の近傍を設定した場合、「京」の近傍には、
「東」という文字と「に」という文字がかかっているの
で、「京」という文字の近傍連結成分が「東」という文
字と「に」という文字であることが判る。図１１の「東
京に今秋」の背景領域の半分には大小の網点が配置され
ており、「京」の文字は○印を付けた部分で接触してい
るように見えるため、「京」の１文字が一つの連結成分
と見なされる。

【００９８】なお、図１１で「京」の文字が○印を付け
た部分で接触していないとすると、「京」は「なべぶ
た」とそれ以外の２つの連結成分からなり、それぞれの
連結成分の近傍について、それぞれのサイズについて近
傍連結成分が調べられる。

【００９９】図１２は、本発明の一実施例に係わる連結
成分の家族的類似性を説明する図である。図１２におい
て、連結成分の家族的類似性は連結成分間の相対的な位
置関係と連結成分の平均的太さの差に依存して定まる。
ここで、平均的太さは、連結成分の全画素数に対する境
界画素数の比、すなわち（境界画素数／全画素数）で表
される。

【０１００】図１２に示す連結成分Ａと連結成分Ａの近
傍連結成分Ｂの位置関係をｄおよびｎｘ、連結成分Ａと
近傍連結成分Ｂの平均的太さをそれぞれｔａとｔｂとす
ると、連結成分Ａに対する近傍連結成分Ｂの家族的類似
性は、以下の式で表される。

【０１０１】連結成分Ａに対する近傍連結成分Ｂの家族
的類似性＝ｄ／ｎｘ＋０．１×ｍａｘ（ｔａ，ｔｂ）／
ｍｉｎ（ｔａ，ｔｂ） ここで、ｄは、近傍連結成分Ｂのｘ方向の成分ｎｘが連
結成分Ａからはみ出た部分の長さを表す。

【０１０２】図１２に示す連結成分Ａに対する近傍連結
成分Ｂの家族的類似性も、連結成分Ｂに対する連結成分
Ｃの家族的類似性も同程度に高いので、それぞれの連結
成分Ａ，Ｂ，Ｃは同じ文字列に属すると判断される。こ
こでは、連結成分Ｂに対する連結成分Ｃの家族的類似性
は太さの成分についてのみ考慮される。

【０１０３】図１３は、本発明の一実施例に係わるグル
ープの文字認識度の算出方法を説明する図である。図１
３において、グループの文字認識度はグループごとに文
字認識処理を行い、その結果の各文字の第１位認識候補
の距離値の逆数の和で表される。文字の距離値が小さい
ことは文字の認識度が高いことを意味する。

【０１０４】図１３に示すように、例えば、「東京に今
秋」という文字列をグループＡ、グループＡの各文字
「東」、「京」、「に」、「今」、「秋」の第１位認識
候補の距離値をそれぞれｄ１，ｄ２，ｄ３，ｄ４，ｄ５
とすると、グループＡの文字認識度Ｒａは、以下の式で
表される。

【０１０５】Ｒａ＝１／ｄ１＋１／ｄ２＋１／ｄ３＋１
／ｄ４＋１／ｄ５ なお、図１３の「東京の今秋」という文字列の背景領域
にある「網点模様」は完全に「点」であれば、対象連結
成分の絞り込みで対象外とされる可能性が高いが、仮
に、点と点が接続された「網目模様」であるとすると、
グループＢとして分類され、グループＢも、「網目模
様」の反転画像のグループも、文字認識度は０であるこ
とが予想される。また、このグループＢの「網目模様」
は、「東京の今秋」という文字列からなるグループＡと
重なっているため、グループＢがグループＡと組み合わ
されて出力されることはない。

【０１０６】図１４は、本発明の一実施例に係わる連合
グラフとクリークを示す図である。図１４において、グ
ループが占める矩形領域に重なりがないグループのみを
関連付け、グループが占める矩形領域に重なりがないグ
ループの組合せを全て求めるために、連合グラフとクリ
ークの概念を用いている。

【０１０７】すなわち、整合性のある組合せを数え上げ
るために連合グラフを作成し、完全グラフであるクリー
クを全て求めることで、グループが占める矩形領域に重
なりがあるグループをグループの組合せから除外するこ
とができる。

【０１０８】図１４の連合グラフは、グループをノード
として、グループが占める矩形領域が互いに重ならない
グループに相当するノード同士を、パス（実線）で接続
して作成したものである。連合グラフにおいて、矩形領
域に重なりがあるグループに相当するノード同士はパス
で接続されない。

【０１０９】クリークは整合性あるノードの組合せを表
す。クリークは連合グラフから複数作成され、それぞれ
のクリークは全てのノードがパスで結ばれる完全グラフ
である。連合グラフからクリークを求めることで整合性
のあるグループの組合せを全て数え上げることができ
る。

【０１１０】図１３ところで仮に設定したグループＢの
「網目模様」とグループＡの「東京に今秋」について、
グループＡとグループＢとが個別に認識されても、グル
ープＡとグループＢとの組合せとして成立しないのはこ
のためである。

【０１１１】こうして整合性のあるグループについての
組合せの評価値を求めることが可能になり、評価の結
果、例えば、背景領域にある網目模様や、汚れなどが除
外されることになる。

【０１１２】例えば、図１４において、ノードＮ１〜Ｎ
８からなる連合グラフが作成されたものとすると、各ノ
ードから他の全てのノードにパスがででいる完全グラフ
を求める。例えば、ノードＮ１は、ノードＮ１から他の
全てのノードＮ２〜Ｎ８にパスがでているので、ノード
Ｎ１は、クリークのノードとなり、ノードＮ２は、ノー
ドＮ２からノードＮ８にパスがでていないので、ノード
Ｎ２は、クリークのノードから除外され、ノードＮ３
は、ノードＮ３から他の全てのノードＮ１、Ｎ２、Ｎ４
〜Ｎ８にパスがでているので、ノードＮ３は、クリーク
のノードとなり、ノードＮ４は、ノードＮ４から他の全
てのノードＮ１２〜Ｎ３、Ｎ５〜Ｎ８にパスがでている
ので、ノードＮ４は、クリークのノードとなり、ノード
Ｎ５は、ノードＮ５から他の全てのノードＮ１〜Ｎ４、
Ｎ６〜Ｎ８にパスがでているので、ノードＮ５は、クリ
ークのノードとなり、ノードＮ６は、ノードＮ６からノ
ードＮ８にパスがでていないので、ノードＮ６は、クリ
ークのノードから除外され、ノードＮ７は、ノードＮ７
から他の全てのノードＮ１〜Ｎ６、Ｎ８にパスがでてい
るので、ノードＮ７は、クリークのノードとなり、ノー
ドＮ８は、ノードＮ８から他の全てのノードＮ１〜Ｎ７
にパスがでているので、ノードＮ８は、クリークのノー
ドとなる。

【０１１３】この結果、ノードＮ１、Ｎ３、Ｎ４、Ｎ
５、Ｎ７、Ｎ８からなるクリークを抽出することができ
る。連合グラフからクリークを抽出することにより、矩
形領域が互いに重ならないグループのみを効率的に抽出
することができる。

【０１１４】図１５は、本発明の一実施例に係わる連結
成分の重なりのないグループの抽出方法を示すフローチ
ャートである。図１５において、各グループについて、
他の全てのグループに対し関連付けられるかどうかの判
断を行い（ステップＳ４１）、連合グラフを生成する
（ステップＳ４２）。次に、連合グラフからクリークを
抽出し（ステップＳ４３）、入力画像から抽出されるグ
ループと反転画像から抽出されるグループの組み合わせ
のうち、整合性のある組み合わせを確定する（ステップ
Ｓ４４）。

【０１１５】図１６は、本発明の一実施例に係わる連結
成分同士のリンク付けの方法を説明する図である。図１
６（ａ）において、「水道メーター」という背景が黒色
の白抜き文字と「談合解明」という黒画素文字が入力さ
れたものとし、「談」という文字の一部の連結成分Ｒ１
１とリンク付けられる連結成分を抽出するものとする。

【０１１６】この場合、図１６（ｂ）に示すように、連
結成分Ｒ１１の外接矩形Ｇ１が生成され、この外接矩形
Ｇ１の周囲に連結成分の近傍Ｂ１が設定される。連結成
分の近傍Ｂ１が設定されると、図１６（ｃ）に示すよう
に、連結成分の近傍Ｂ１にかかる近傍連結成分Ｒ１２〜
Ｒ２０が抽出される。近傍連結成分Ｒ１２〜Ｒ２０が抽
出されると、図１６（ｄ）に示すように、連結成分Ｒ１
１と近傍連結成分Ｒ１２〜Ｒ２０との家族的類似性が調
べられる。ここで、近傍連結成分Ｒ１２は連結成分Ｒ１
１と太さが大きく異なるので、近傍連結成分Ｒ１２は連
結成分Ｒ１１とのリンク付けの対象から除外され、近傍
連結成分Ｒ１２を除いた近傍連結成分Ｒ１３〜Ｒ２０が
連結成分Ｒ１１とリンク付けられる。

【０１１７】図１７は、本発明の一実施例に係わるクリ
ークとなるグループとクリークとならないグループの例
を示す図である。図１７（ａ）において、原画像の「水
道メーター」という文字は、太さが互いに同じで、それ
ぞれ近接して配置されているので、グループ１にグルー
ピングされる。また、原画像の「談合解明」という白抜
き文字の背景部分に対応する黒画素領域は、黒画素で１
つに連結しているので、グループ２にグルーピングされ
る。

【０１１８】また、反転画像の「水道メーター」という
白抜き文字の背景部分に対応する黒画素領域は、黒画素
で１つに連結しているので、グループａにグルーピング
される。また、反転画像の「談合解明」という文字は、
太さが互いに同じで、それぞれ近接して配置されている
ので、グループｂにグルーピングされる。

【０１１９】次に、図１７（ｃ）に示すように、グルー
プ１とグループｂは、グループ１が占める矩形領域とグ
ループｂが占める矩形領域とが互いに重ならないため、
クリークとみなされ、グループ１とグループｂは整合性
のある組み合わせとされる。また、図１７（ｄ）に示す
ように、グループ１とグループａは、グループ１が占め
る矩形領域とグループａが占める矩形領域とが互いに重
なり、クリークでないとみなされるため、グループ１と
グループａは整合性のない組み合わせとされる。

【０１２０】このようにして、図１７（ｂ）に示すよう
に、グループ１は、グループｂ及びグループ２とは整合
性のある組み合わせとなるが、グループａとは整合性の
ある組み合わせとならない。また、グループ２は、グル
ープ１及びグループａとは整合性のある組み合わせとな
るが、グループｂとは整合性のある組み合わせとならな
い。また、グループａは、グループ２及びグループｂと
は整合性のある組み合わせとなるが、グループ１とは整
合性のある組み合わせとならない。また、グループｂ
は、グループ１及びグループａとは整合性のある組み合
わせとなるが、グループ２とは整合性のある組み合わせ
とならない。

【０１２１】図１８は、本発明の一実施例に係わる組合
せの評価値の算出方法を示す図である。図１８におい
て、組合せの評価値は、整合性のある組合せについて、
グループの文字認識度と各グループが占める矩形領域の
面積との関数であるグループの評価値を組み合わせて求
める。

【０１２２】例えば、図１８の入力画像から整合性のあ
るグループの組合せとして、グループＡとグループＢの
組合せを得たとする。グループＡが占める矩形領域の面
積をＳａ、グループの文字認識度をＲａ、グループＢが
占める矩形領域の面積をＳｂ、グループの文字認識度を
Ｒｂとすると、グループＡとグループＢの組合せの評価
値は、以下の式で求められる。

【０１２３】組み合わせ（Ａ、Ｂ）の評価値＝ａＳａ×
Ｒａ×Ｒａ＋Ｓｂ×Ｒｂ×Ｒｂなお、本実施例では、黒
白画像について説明したが、本実施例は黒白画像に限定
されることなく、黒白画素を色の彩度、明度、濃度に置
き換えることにより、広くカラー文字やカラーの背景に
適用できることは勿論のことである。

【０１２４】また、本実施例では、縦書き文字を例にし
て説明したが、縦書き文字にも縦横混在の文字列にも適
用できることは勿論のことである。次に、本発明の第４
実施例に係わるパターン抽出装置について説明する。

【０１２５】本発明の第４実施例では、連結成分の重な
りネスト統合を省略することにより、画像全体が統合さ
れることを防止するととも、見出し領域を抽出する際に
悪影響のもとになる図や写真の一部は、より大きな矩形
に吸収統合しておくようにして、その影響を軽減する。
一般に、図や写真の一部からなる矩形は、互いに重なっ
ていることが多く、これらを見分ける目安となる。そこ
で、見出し矩形の互いの重なり度を計算し、あるしきい
値を越えるものを図や写真の一部からなる矩形と判断
し、その矩形に限り重なりネスト統合を行う。

【０１２６】また、重なりネスト統合を省略した時に、
正確な本文文字サイズを推定するために、連結成分の外
接矩形の大きさに関するヒストグラムで、頻度及び矩形
の面積によって重みづけられたものを利用する。これに
より、文字の一部分がそのままカウントされ、実際の本
文文字サイズよりも小さい大きさの矩形の数が最大にな
っても、面積の重みづけがあるので、新しいヒストグラ
ムでは最大にならない。よって、実際の本文文字サイズ
よりも小さい大きさの矩形が推定文字サイズにはならな
い。逆に、大きな連結成分があったとしても、面積は大
きいものの頻度が小さいので、実際の本文文字サイズよ
りも大きい大きさの矩形も推定文字サイズにはならな
い。

【０１２７】以下、本発明の第４実施例について、白黒
２値の画像の場合を例にとって説明する。図１９は、本
発明の第４実施例に係わるパターン抽出装置の動作を示
すフローチャートである。

【０１２８】図１９において、まず、入力された画像に
対し、ラベリング処理を施す（ステップＳ５１）。この
ラベリング処理により、各連結成分の外接矩形の座標情
報が得られる。

【０１２９】次に、本文文字サイズの推定を行う（ステ
ップＳ５２）。この本文文字サイズの推定では、まず、
連結成分の外接矩形の大きさに関するヒストグラムを作
成する。ただし、このヒストグラムは、頻度及び矩形の
面積によって重みづけられたものとする。具体的には、
まず、ある連結成分の横幅をｄｘ、縦幅をｄｙとしたと
き、その大きい方のヒトスグラムをとる。さらに、得ら
れたヒストグラムの各値Ｈ（ｉ）に対し、 Ｈ′（ｉ）＝Ｈ（ｉ）×Ｈ（ｉ）×ｉ×ｉ （ただし、ｉは矩形の大きさを表す。）という変換を施
して、新しいヒストグラムＨ′を作成する。この新しい
ヒストグラムＨ′に関し、ヒストグラム値の最大を与え
るところを本文文字サイズとする。

【０１３０】図２０は、本発明の一実施例に係わる外接
矩形の大きさを求めるためのヒストグラムの一例を示す
図である。図２０（ａ）において、重なりネスト統合を
行わないで、外接矩形の大きさの頻度Ｈを表すヒストグ
ラムを生成すると、本文文字の大きさに対応するピーク
Ｐ２が発生するとともに、統合される前の文字の一部の
外接矩形の大きさに対応するピークＰ１が発生する場合
がある。

【０１３１】このため、このヒストグラムを用いて本文
文字サイズを推定すると、ピークＰ１に対応する外接矩
形の大きさが本文文字サイズと推定され、本文文字サイ
ズの大きさが誤って推定される場合がある。

【０１３２】一方、図２０（ｂ）において、図２０
（ａ）のヒストグラムを外接矩形の大きさで重み付けす
ると、外接矩形の大きさの大きいピークＰ２のヒストグ
ラム値Ｈに比べて、外接矩形の大きさの小さいピークＰ
１のヒストグラム値Ｈは小さくなる。この結果、図２０
（ｂ）のヒストグラムでは、統合される前の文字の一部
の外接矩形の大きさに対応するピークＰ１’の値に比べ
て、本文文字の大きさに対応するピークＰ２’の値を大
きく評価することが可能となり、ピークＰ１’に対応す
る外接矩形の大きさが本文文字サイズと誤って推定され
ることを防止して、本文文字サイズの大きさを正しく推
定することが可能となる。

【０１３３】次に、本文文字矩形候補の射影テーブルの
作成を行う（ステップＳ５３）。この射影テーブルの作
成では、まず、すべての矩形の中から本文文字矩形候補
を選出する。具体的には、連結成分の横幅をｄｘ、縦幅
をｄｙ、本文文字サイズをｃ、しきい値をαとすると、 ｜ｍａｘ（ｄｘ，ｄｙ）−ｃ｜＜α を満たす矩形を本文文字矩形候補とする。

【０１３４】次に、全画像のｘ座標軸、及びｙ座標軸に
関し、本文文字矩形候補の射影をとる。すなわち、ある
本文文字矩形候補の番号をｎ、その矩形の左上点の座標
を（ｘ１，ｙ１）、右下点の座標を（ｘ２，ｙ２）とし
た時、ｘ座標軸上でｘ１〜ｘ２までのところに、また、
ｙ座標軸上でｙ１〜ｙ２までのところに、番号ｎを記録
する。このようにして、本文文字矩形候補の射影テーブ
ルを作成する。

【０１３５】図２１は、本発明の一実施例に係わる矩形
番号の射影方法の一例を示す図である。図２１におい
て、矩形番号１〜６の外接矩形が生成されたものとする
と、各矩形番号１〜６をｘｙ座標軸に射影する。例え
ば、ｘ座標が４〜６の点には、矩形番号１、６の外接矩
形がかかっているので、ｘ座標が４〜６の点には矩形番
号１、６が射影される。また、ｘ座標が７、８、１０の
点には、矩形番号６の外接矩形がかかっているので、ｘ
座標が７、８、１０の点には矩形番号６が射影される。
また、ｘ座標が９の点には、矩形番号２、４、６の外接
矩形がかかっているので、ｘ座標が９の点には矩形番号
２、４、６が射影される。また、ｘ座標が１１の点に
は、矩形番号３、５の外接矩形がかかっているので、ｘ
座標が１１の点には矩形番号３、５が射影される。ｙ座
標についても同様である。

【０１３６】次に、見出し矩形候補の選択を行う（ステ
ップＳ５４）。この見出し矩形候補の選択では、見出し
及び見出しを構成する文字を選択する。基本的には、本
文文字のある一定倍の大きさ以上のものを、見出し矩形
候補とする。

【０１３７】図２２は、本発明の一実施例に係わる見出
し矩形候補の選択方法を示すフローチャートである。図
２２において、まず、矩形の左上点の座標を（ｘ１，ｙ
１）、矩形の右下点の座標を（ｘ２，ｙ２）、矩形の右
下点のｘ座標ｘ２と矩形の左上点のｘ座標ｘ１との差を
ｄｘ、矩形の右下点のｙ座標ｙ２と矩形の左上点のｙ座
標ｙ１との差をｄｙ、本文文字サイズをｍｏｊｉとする
（ステップＳ７１）。

【０１３８】次に、以下の条件を満たすかどうかを判断
し（ステップＳ７２）、この条件を満たさない場合は、
見出し矩形候補でないとして処理を終了し、この条件を
満たす場合は、ステップＳ７３に進む。

【０１３９】 （ｄｘ＜ｍｏｊｉ×１６またはｄｙ＞ｍｏｊｉ×２） かつ （ｄｘ＞ｍｏｊｉ×２またはｄｙ＜ｍｏｊｉ×１６） 次に、以下の条件を満たすかどうかを判断し（ステップ
Ｓ７３）、この条件を満たさない場合は、見出し矩形候
補でないとして処理を終了し、この条件を満たす場合
は、見出し矩形候補として登録する（ステップＳ７
４）。

【０１４０】 （ｄｘ＞ｍｏｊｉ×３／２またはｄｙ＞ｍｏｊｉ×３／
２） かつ （ｄｘ＞ｍｏｊｉ／３またはｄｙ＞ｍｏｊｉ／３） 次に、枠矩形のチェックを行う（ステップＳ５５）。

【０１４１】枠の全体、あるいはその一部からなる連結
成分の外接矩形を枠矩形と呼ぶことにすると、枠矩形
は、見出しにはなり得ないものの、大きさ及び形状から
では、枠矩形と見出し矩形との判別ができない。そこ
で、予め矩形全体から枠矩形を除外しなくてはならな
い。一般に、枠の中には本文文字が数多く含まれ、見出
し矩形の中には本文文字がほとんど含まれていないた
め、矩形の中の本文文字矩形候補の数を調べ、枠矩形か
どうかの判断をする。すなわち、注目する領域の外接矩
形内に含まれる本文文字矩形候補の数を数え、ある一定
の数よりも多いとき、枠、あるいは枠の一部で囲まれた
領域であると判断する。ここで、本文文字矩形候補と
は、外接矩形が本文文字サイズである連結黒画素領域の
ことを指す。なお、枠の中の本文文字の数は、文字矩形
候補の射影テーブルを用いて、効率的に計算することが
できる。

【０１４２】図２３は、本発明の一実施例に係わる枠矩
形のチェック方法を説明する図である。図２３におい
て、外接矩形Ｋ１〜Ｋ６が抽出され、外接矩形Ｋ１〜Ｋ
５が見出し文字の矩形候補として選択されたものとす
る。ここで、外接矩形Ｋ１〜Ｋ４は見出し文字の外接矩
形であり、外接矩形Ｋ５は、本文文字を囲む枠の外接矩
形であるものとする。この場合、外接矩形Ｋ１〜Ｋ５が
同一のグループにグルーピングされると、見出し文字の
外接矩形のグループの中に見出し文字以外の外接矩形が
属するため、見出し文字の抽出が正確にできなくなるの
で、外接矩形Ｋ５を見出し文字の矩形候補から除去する
必要がある。

【０１４３】そこで、本文文字を囲む枠の中には、本文
文字が多数含まれているということに着目し、見出し文
字の矩形候補として選択された外接矩形Ｋ１〜Ｋ５の中
に含まれる本文文字サイズの外接矩形Ｋ６の個数を数え
る。

【０１４４】この結果、外接矩形Ｋ５の中には、本文文
字サイズの外接矩形Ｋ６が多数含まれており、外接矩形
Ｋ１〜Ｋ４の中には、本文文字サイズの外接矩形が含ま
れていないので、本文文字サイズの外接矩形Ｋ６が多数
含まれている外接矩形Ｋ５を見出し文字の矩形候補から
除去することにより、見出し文字の矩形候補として外接
矩形Ｋ１〜Ｋ４だけを正しく選択することが可能とな
る。

【０１４５】次に、部分的重なりネスト統合を行う（ス
テップＳ５６） 見出し矩形候補の中には、図や写真の一部からなる連結
成分の外接矩形が含まれていることがあり、これらの外
接矩形は他の正しい見出し矩形と統合されるなどして、
悪影響のもとになる。そこで、これらの図や写真の一部
からなる外接矩形は、より大きな矩形に吸収統合してお
くことで、見出し矩形の抽出への悪影響を軽減しなけれ
ばならない。一般に、図や写真の一部からなる矩形は、
互いに重なっていることが多く、これらを見分ける目安
となる。そこで、外接矩形の互いの重なり度を計算し、
あるしきい値を越えるものを図や写真の一部から得られ
た外接矩形と判断し、その矩形に限り重なりネスト統合
を行う。ここで、外接矩形の重なり度とは、外接矩形が
他の外接矩形と何重に重なっているかを示す数である。

【０１４６】図２４は、本発明の一実施例に係わる重な
りネスト統合を説明する図である。図２４において、
「画」という文字の連結成分を抽出した結果、２つの連
結成分Ｒ１、Ｒ２が抽出され、連結成分Ｒ１の外接矩形
Ｋ１１及び連結成分Ｒ２の外接矩形Ｋ１２が生成された
ものとする。この外接矩形Ｋ１１、Ｋ１２に重なりネス
ト統合を行うと、外接矩形Ｋ１１、Ｋ１２を囲む外接矩
形Ｋ１３が生成される。

【０１４７】この結果、複数のストロークから構成され
る文字について、各ストロークごとに異なるラベルが付
与された場合においても、１つの文字を構成する各スト
ロークを１つにまとめることができる。

【０１４８】図２５は、本発明の一実施例に係わる部分
的重なりネスト統合を説明する図である。図２５（ａ）
において、外接矩形Ｋ２１〜Ｋ２６が生成されたものと
する。ここで、例えば、外接矩形Ｋ２２については、外
接矩形Ｋ２２は外接矩形Ｋ２１及び外接矩形Ｋ２３の２
つの外接矩形と重なっているので、重なり度が２とな
る。また、外接矩形Ｋ２３については、外接矩形Ｋ２３
は外接矩形Ｋ２２、外接矩形Ｋ２４〜Ｋ２６の４つの外
接矩形と重なっているので、重なり度が４となる。

【０１４９】ここで、例えば、重なり度が４以上の外接
矩形だけについて、重なりネスト統合を行うものとする
と、図２５（ｂ）に示すように、外接矩形Ｋ２２〜Ｋ２
６を含む外接矩形Ｋ２７が生成され、外接矩形Ｋ２１と
外接矩形Ｋ２７は統合されない。

【０１５０】ここで、例えば、外接矩形Ｋ２１は見出し
文字の外接矩形であり、外接矩形Ｋ２２〜Ｋ２６は背景
の絵柄の外接矩形であるものとし、重なり度を考慮しな
いで重なりネスト統合を行うと、外接矩形Ｋ２１〜Ｋ２
６は全て統合され、見出し文字の外接矩形が消失し、見
出し文字の領域を抽出できなくなる。

【０１５１】一方、重なりネスト統合を全く行わないよ
うにすると、外接矩形Ｋ２１〜Ｋ２６はそれぞれ別個に
存在し、見出し文字の背景の絵柄の外接矩形Ｋ２２〜Ｋ
２６が見出し矩形候補として選択される場合が発生し、
見出し文字の背景の絵柄の外接矩形Ｋ２２〜Ｋ２６が見
出し矩形候補として選択される場合には、見出し文字の
正確な抽出ができなくなる。

【０１５２】そこで、重なりネスト統合の対象となる外
接矩形Ｋ２１〜Ｋ２６を重なり度を用いて選別し、外接
矩形Ｋ２２〜Ｋ２６のみを対象として重なりネスト統合
を行うことにより、見出し文字の背景の絵柄の外接矩形
Ｋ２２〜Ｋ２６を外接矩形Ｋ２７に吸収して、外接矩形
Ｋ２２〜Ｋ２６が見出し矩形候補として選択されること
を防止することが可能となるとともに、見出し文字の外
接矩形Ｋ２１をそのまま残しておくことが可能となり、
見出し文字の抽出精度を向上させることが可能となる。

【０１５３】重なり度の具体的な計算は、以下のように
して行うことができる。まず、図２１に示した方法によ
り、見出し矩形候補の射影テーブルを作成する。次に、
見出し矩形候補について、１画素ずつ、ｘ座標軸の射影
テーブルとｙ座標軸の射影テーブルとから見出し矩形の
番号を参照することにより、重なり度を計算する。

【０１５４】次に、矩形統合を行う（ステップＳ５
７）。この矩形統合では、見出し矩形同士の統合が行わ
れる。まず、注目する見出し矩形について近傍領域をと
り、他の見出し矩形の中で一部がその近傍領域に含まれ
る見出し矩形を調べ上げる。そして、注目している見出
し矩形が、その近傍領域内の見出し矩形と統合できるか
どうかを判断する。この際、近傍領域の取り方及び統合
条件は、縦書き用と横書き用の２つのケースに即した取
り方及び条件で行う。

【０１５５】図２６は、本発明の一実施例に係わる近傍
矩形の例を示す図である。図２６において、外接矩形Ｋ
３１〜Ｋ３６が生成されているものとし、外接矩形Ｋ３
１を注目矩形として、近傍領域を設定するものとする
と、外接矩形Ｋ３１の周囲の所定の範囲内に近傍領域Ｈ
１が設定される。外接矩形Ｋ３１と矩形統合される外接
矩形の候補として、近傍領域Ｈ１にかかる外接矩形Ｋ３
２〜Ｋ３４が選択され、外接矩形Ｋ３５、Ｋ３６は、外
接矩形Ｋ３１と矩形統合される外接矩形の候補から除か
れる。

【０１５６】図２７は、本発明の一実施例に係わる近傍
統合処理を示すフローチャートである。図２７におい
て、まず、矩形集合を入力し（ステップＳ８１）、矩形
間のリンク張りを行う（ステップＳ８２）。矩形間のリ
ンク張りでは、まず、注目矩形の近傍を設定し（ステッ
プＳ９１）、注目矩形の近傍にかかる外接矩形を抽出す
ることにより、注目矩形の近傍矩形を決定し（ステップ
Ｓ９２）、注目矩形と近傍矩形との位置関係、文字線太
さ、または各矩形内の黒画素密度などを考慮することに
より、注目矩形と近傍矩形との統合可否の決定を行う。
そして、注目矩形と近傍矩形とが統合可とされたものに
ついて、リンクを張る。

【０１５７】次に、リンクでつながる極大矩形集合の抽
出を行い（ステップＳ８３）、極大矩形集合に属する矩
形を、ステップＳ８１で入力された矩形の集合から削除
し、極大矩形集合の外接矩形を矩形集合に追加する（ス
テップＳ８４）。

【０１５８】次に、重複矩形除去を行う（ステップＳ５
８）。この重複矩形除去では、統合された見出し矩形の
中で重複をさけるため、同一の矩形の一方を棄却する。

【０１５９】図２８は、本発明の一実施例に係わる重複
矩形の一例を示す図である。図２８において、外接矩形
Ｋ４１、Ｋ４２が抽出され、外接矩形Ｋ４１を注目矩形
として縦統合を行う場合、外接矩形Ｋ４１の周囲に近傍
領域Ｈ１１が設定される。そして、近傍領域Ｈ１１にか
かる外接矩形Ｋ４２が抽出され、外接矩形Ｋ４１と外接
矩形Ｋ４２との統合が可能であると判定されると、外接
矩形Ｋ４１、Ｋ４２を含む外接矩形Ｋ４３が生成され
る。

【０１６０】一方、外接矩形Ｋ４１を注目矩形として横
統合を行う場合、外接矩形Ｋ４１の周囲に近傍領域Ｈ１
２が設定される。そして、近傍領域Ｈ１２にかかる外接
矩形Ｋ４２が抽出され、外接矩形Ｋ４１と外接矩形Ｋ４
２との統合が可能であると判定されると、外接矩形Ｋ４
１、Ｋ４２を含む外接矩形Ｋ４３が生成される。

【０１６１】この結果、全く同一の外接矩形Ｋ４３が重
複して生成されるため、一方の外接矩形Ｋ４３を棄却す
る。次に、枠矩形のチェックを行う（ステップＳ５
９）。

【０１６２】この枠矩形のチェックでは、得られた見出
し矩形について、再び、それが枠矩形かどうかの判断を
射影テーブルを用いて行い、見出し矩形の中から枠矩形
を除外する。

【０１６３】次に、見出し矩形の得点づけを行う（ステ
ップＳ６０）。この見出し矩形の得点づけでは、得られ
た見出し矩形について、その大きさ及び形状から得点を
付与する。

【０１６４】図２９は、本発明の一実施例に係わる見出
し矩形の得点付け方法を説明する図である。図２９にお
いて、外接矩形Ｋ５１が生成され、その外接矩形Ｋ５１
の横方向の長さをｄｘ、縦方向の長さをｄｙとすると、
この外接矩形Ｋ５１についての得点は、以下の式で与え
られる。

【０１６５】 得点＝（１＋α×ｒａｔｉｏ）×（ｄｘ×ｄｙ） ｒａｔｉｏ＝ｍａｘ（ｄｘ、ｄｙ）／ｍｉｎ（ｄｘ、ｄ
ｙ） ここで、αはパラメータである。

【０１６６】この得点を算出することにより、見出し文
字から構成されるタイトルが、１つの文書画像から複数
得られた場合、それらのタイトルに優先順位を付けて出
力することができる。

【０１６７】

【発明の効果】以上の説明したように、本発明によれ
ば、連結成分の家族的類似性からグループ分けし、グル
ープ毎に文字認識処理を実施し文字列らしさを付与し、
整合性のある組合せのグループを抽出するので、白黒混
在の背景模様、複数のフォント混在、カラー文書、複数
行、縦横混在、およびそれらの複合体で構成される複雑
な画像から文字列を抽出することが可能になるという効
果がある。

【０１６８】また、本発明の一態様によれば、抽出処理
の途中では、色の決定や文字列領域の仮定を行わず、ま
た、抽出処理の過程で一律に標準文字の線幅を決めてし
まうことがないので、文字色を見誤ることがなく、かつ
比較的細い線分を見落とすことがなくなり、文字列抽出
の精度が向上するという効果がある。

【０１６９】また、本発明の一態様によれば、入力画像
及び前記入力画像の白黒反転画像のそれぞれから得られ
るパターンの認識結果のうち、互いに領域が重複しない
部分を組み合わせたものを、前記入力画像からのパター
ンの抽出結果とすることにより、新聞などの見出し文字
の中に、黒画素で構成された文字と白抜き文字とが混在
している場合においても、黒文字候補と白文字候補の個
数から文字の色を決定されて、文字色が黒とされた場合
は入力画像の連結成分のみがそれ以降の処理対象とさ
れ、黒文字は正確に認識できるが、白抜き文字は認識不
能となったり、文字色が白とされた場合は白黒反転画像
の連結成分のみが文字認識の処理対象とされ、白抜き文
字は正確に認識できるが、黒文字は認識不能となったり
することを防止することが可能となり、背景模様の白黒
混在、複数種類のフォント混在、カラー文書、複数行、
縦横混在、及びそれらの複合体で構成される複雑な画像
から文字列を精度よく抽出することが可能となる。

【０１７０】また、本発明の一態様によれば、外接矩形
の頻度をその外接矩形の面積で重み付けることにより、
１つの文字が互いに分離した複数のストロークで構成さ
れ、重なりネスト処理を行わなかったために、各ストロ
ークごとに生成される外接矩形がそのまま残ってしまう
場合においても、１つの文字の一部から構成される外接
矩形は、１つの文字全体からの構成される外接矩形より
も、サイズが小さくなることから、１つの文字の一部か
ら構成される外接矩形の頻度を小さくすることが可能と
なり、文字サイズを推定する際に、文字の部分的な大き
さが文字サイズの推定に影響することを小さくすること
が可能となり、重なりネスト処理を行わない場合におい
ても、文字サイズを精度よく推定することが可能とな
る。

【０１７１】また、本発明の一態様によれば、枠の中に
含まれている本文文字の個数を数えることにより、新聞
などから見出し文字を抽出する場合において、見出し文
字の近くに本文文字を囲む枠矩形が存在する場合におい
ても、この枠矩形のみを抽出することが可能となり、見
出し文字の外接矩形と区別することが可能となることか
ら、見出し文字のみを精度良く抽出することが可能とな
る。

【０１７２】また、本発明の一態様によれば、外接矩形
に与えられた矩形番号を入力画像に設定された各座標に
射影することにより、外接矩形内に存在する他の外接矩
形を容易に抽出することが可能となり、本文文字を囲む
枠矩形と見出し文字とが混在している場合においても、
枠矩形のみを高速に抽出することが可能となる。

【０１７３】また、本発明の一態様によれば、重なりネ
スト統合を部分的に行うことにより、重なり度の大きな
外接矩形だけを対象に重なりネスト処理を行い、重なり
度の小さな外接矩形の重なりネスト統合処理を行わない
ようにすることが可能となることから、外接矩形が画面
全体で統合されて、見出し文字の外接矩形が消失するこ
とを防止することが可能となるとともに、重なり度の大
きな図や写真の一部をより大きな矩形に吸収統合してお
くことが可能となり、図や写真の一部の外接矩形がその
まま残り、見出し文字として誤って抽出されたり、見出
し文字を構成するものとして誤って矩形統合されたりす
ることを防止することが可能となり、見出し文字と図や
写真などが混在している場合においても、見出し文字の
抽出を精度良く行うことが可能となる。

【０１７４】また、本発明の一態様によれば、外接矩形
に与えられた矩形番号を入力画像に設定された各座標に
射影することにより、互いに重なっている外接矩形を容
易に抽出することが可能となり、外接矩形の重なり度を
高速に算出することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係わるパターン抽出装置
の構成を示すブロック図である。

【図２】本発明の第２実施例に係わるパターン抽出装置
の構成を示すブロック図である。

【図３】本発明の一実施例に係わるパターン抽出装置の
システム構成を示すブロック図である。

【図４】本発明の第３実施例に係わる文字列抽出装置の
動作を説明する図である。

【図５】本発明の第３実施例に係わる文字列抽出装置の
構成を示すブロック図である。

【図６】本発明の第３実施例に係わる文字列抽出装置の
動作を示すフローチャートである。

【図７】本発明の一実施例に係わるラベリング処理を説
明する図である。

【図８】本発明の一実施例に係わるグルーピング処理を
示すフローチャートである。

【図９】本発明の一実施例に係わる連結成分と外接矩形
の例を示す図である。

【図１０】本発明の一実施例に係わる対象連結成分の絞
り込み方法を示すフローチャートである。

【図１１】本発明の一実施例に係わる連結成分近傍を説
明する図である。

【図１２】本発明の一実施例に係わる連結成分の家族的
類似性を説明する図である。

【図１３】本発明の一実施例に係わるグループの文字認
識度の算出方法を説明する図である。

【図１４】本発明の一実施例に係わる連合グラフとクリ
ークを示す図である。

【図１５】本発明の一実施例に係わる連結成分の重なり
のないグループの抽出方法を示すフローチャートであ
る。

【図１６】本発明の一実施例に係わる連結成分同士のリ
ンク付けの方法を説明する図である。

【図１７】本発明の一実施例に係わるクリークとなるグ
ループとクリークとならないグループの例を示す図であ
る。

【図１８】本発明の一実施例に係わる組合せの評価値の
算出方法を示す図である。

【図１９】本発明の第４実施例に係わるパターン抽出装
置の動作を示すフローチャートである。

【図２０】本発明の一実施例に係わる外接矩形の大きさ
を求めるためのヒストグラムの一例を示す図である。

【図２１】本発明の一実施例に係わる矩形番号の射影テ
ーブルの一例を示す図である。

【図２２】本発明の一実施例に係わる見出し矩形候補の
選択方法を示すフローチャートである。

【図２３】本発明の一実施例に係わる枠矩形のチェック
方法を説明する図である。

【図２４】本発明の一実施例に係わる重なりネスト統合
を説明する図である。

【図２５】本発明の一実施例に係わる部分的重なりネス
ト統合を説明する図である。

【図２６】本発明の一実施例に係わる近傍矩形の例を示
す図である。

【図２７】本発明の一実施例に係わる近傍統合処理を示
すフローチャートである。

【図２８】本発明の一実施例に係わる重複矩形の一例を
示す図である。

【図２９】本発明の一実施例に係わる見出し矩形の得点
付け方法を説明する図である。

【図３０】従来の重なりネスト統合により文書全体の矩
形が統合される例を示す図である。

【符号の説明】

１ 反転画像生成手段 ２ 認識手段 ３ 出力手段 １１ 連結成分抽出手段 １２ 外接矩形生成手段 １３ 重なり度評価手段 １４ 重なりネスト処理手段 ２１ ＣＰＵ ２２ ＲＯＭ ２３ ＲＡＭ ２４ 通信インターフェース ２５ 通信ネットワーク ２６ バス ２７ 入出力インターフェース ２８ ディスプレイ ２９ プリンタ ３０ メモリ ３１ スキャナ ３２ キーボード ３３ ドライバ ３４ ハードディスク ３５ ＩＣメモリカード ３６ 磁気テープ ３７ フロッピーディスク ３８ 光ディスク ４１ 文字列抽出装置 ４２ 連結成分抽出手段 ４３ グルーピング手段 ４４ 文字認識手段 ４５ 組合せ評価手段 ４６ 文字列抽出手段

Claims (14)

【特許請求の範囲】
1. 【請求項１】 画像から文字列を抽出する文字列抽出装
   置であって、 入力した画像から画素の色に基づいて、画素の色が連な
   る連結成分を抽出する連結成分抽出手段と、 連結成分の相対的位置、および、連結成分の太さに基づ
   いて、連結成分を共通の文字列または文字列群を構成す
   る可能性が高いグループに分けるグルーピング手段と、 グループ毎に文字認識処理を行い、その結果の各文字の
   第１位認識候補の距離値に基づいてグループの文字認識
   度を決める文字認識手段と、 グループの文字認識度にグループが占める矩形領域の面
   積によって重み付けしたものをグループの評価値とし、
   全てのグループの組合せについてグループの評価値の和
   を組合せの評価値とする組合せ評価手段と、 組合せの評価値が最も高いグループの組合せを文字列と
   して抽出する文字列抽出手段と、 を備えることを特徴とする文字列抽出装置。
2. 【請求項２】 前記連結成分の太さは、前記連結成分の
   全画素数に対する境界画素数の比であることを特徴とす
   る請求項１に記載の文字列抽出装置。
3. 【請求項３】 入力した画像が白黒２値画像の場合に
   は、入力画像と、白黒２値を反転させた反転画像とにつ
   いて、黒画素が連なる連結成分を抽出することを特徴と
   する請求項１または２に記載の文字列抽出装置。
4. 【請求項４】 グループが占める矩形領域に重なりがな
   いグループのみを関連付け、グループが占める矩形領域
   に重なりがないグループの組合せを全て求めることを特
   徴とする請求項１または２に記載の文字列抽出装置。
5. 【請求項５】 入力画像のラベルを反転した反転画像を
   生成する反転画像生成手段と、 前記入力画像から抽出されたパターン及び前記反転画像
   から抽出されたパターンの認識処理を行う認識手段と、 前記認識結果のうち、前記入力画像から抽出されたパタ
   ーンの領域と前記反転画像から抽出されたパターンの領
   域との重なりのない組み合わせを出力する出力手段とを
   備えることを特徴とするパターン抽出装置。
6. 【請求項６】 入力画像の連結成分を抽出する連結成分
   抽出手段と、 前記連結成分の外接矩形を生成する外接矩形生成手段
   と、 前記外接矩形の頻度を前記外接矩形の面積で重み付けた
   ヒストグラムを生成するヒストグラム生成手段と、 前記ヒストグラムの最大値を示す外接矩形の大きさを、
   前記入力画像の文字サイズと推定する文字サイズ推定手
   段とを備えることを特徴とするパターン抽出装置。
7. 【請求項７】 前記外接矩形生成手段で生成された外接
   矩形のグルーピングを行うグルーピング手段と、 前記文字サイズ推定手段で推定された文字サイズを有す
   る第１の外接矩形を所定の個数以上含む第２の外接矩形
   を抽出する枠矩形抽出手段と、 前記第２の外接矩形を前記グルーピングの対象から除外
   する枠矩形除外手段とを備えることを特徴とする請求項
   ６に記載のパターン抽出装置。
8. 【請求項８】 前記外接矩形に与えられた矩形番号を前
   記入力画像に設定された各座標に射影する射影手段を備
   え、 前記枠矩形抽出手段は、前記各座標に含まれる矩形番号
   を前記第２の外接矩形の座標の範囲内で探索することに
   より、第１の外接矩形を抽出することを特徴とする請求
   項７に記載のパターン抽出装置。
9. 【請求項９】 入力画像の連結成分を抽出する連結成分
   抽出手段と、 前記連結成分の外接矩形を生成する外接矩形生成手段
   と、 前記外接矩形が互いに重なっている他の外接矩形の個数
   を算出する重なり度評価手段と、 前記重なり度評価手段の算出結果に基づいて、重なりネ
   スト統合処理を行う重なりネスト統合処理手段とを備え
   ることを特徴とするパターン抽出装置。
10. 【請求項１０】 前記外接矩形に付与された矩形番号
    を、前記入力画像に設定された各座標に射影する射影手
    段と、 前記各座標に含まれる矩形番号を所定の外接矩形の座標
    の範囲内で探索することにより、前記所定の外接矩形に
    重なっている他の外接矩形を抽出する重なり矩形抽出手
    段とを備えることを特徴とする請求項９に記載のパター
    ン抽出装置。
11. 【請求項１１】 入力画像及び前記入力画像の白黒反転
    画像のそれぞれから得られるパターンの認識結果のう
    ち、互いに領域が重複しない部分を組み合わせたもの
    を、前記入力画像からのパターンの抽出結果とすること
    を特徴とするパターン抽出方法。
12. 【請求項１２】 入力画像の連結成分の外接矩形の重な
    り度に基づいて、重なりネスト統合処理を部分的に行う
    ことを特徴とするパターン抽出方法。
13. 【請求項１３】 コンピュータを入力した画像から画素
    の色に基づいて、画素の色が連なる連結成分を抽出する
    連結成分抽出手段と、 連結成分の相対的位置、および、連結成分の太さに基づ
    いて、連結成分を共通の文字列または文字列群を構成す
    る可能性が高いグループに分けるグルーピング手段と、 グループ毎に文字認識処理を行い、その結果の各文字の
    第１位認識候補の距離値に基づいてグループの文字認識
    度を決める文字認識手段と、 グループの文字認識度にグループが占める矩形領域の面
    積によって重み付けしたものをグループの評価値とし、
    全てのグループの組合せについてグループの評価値の和
    を組合せの評価値とする組合せ評価手段と、 組合せの評価値が最も高いグループの組合せを文字列と
    して抽出する文字列抽出手段と、 を備え、画像から文字列を抽出する文字列抽出装置とし
    て機能させることを特徴とするプログラムを記録したコ
    ンピュータ読み取り可能な記録媒体。
14. 【請求項１４】 入力画像の連結成分を抽出する機能
    と、 前記連結成分の外接矩形を生成する機能と、 前記外接矩形が互いに重なっている他の外接矩形の個数
    を算出する機能と、 前記算出された個数に基づいて、重なりネスト統合処理
    を行う機能とをコンピュータに実行させるプログラムを
    格納したコンピュータ読み取り可能な記憶媒体。