JP4240296B2 - 画像処理装置、画像処理方法及び該方法の実行に用いるプログラム - Google Patents
画像処理装置、画像処理方法及び該方法の実行に用いるプログラム Download PDFInfo
- Publication number
- JP4240296B2 JP4240296B2 JP2003164915A JP2003164915A JP4240296B2 JP 4240296 B2 JP4240296 B2 JP 4240296B2 JP 2003164915 A JP2003164915 A JP 2003164915A JP 2003164915 A JP2003164915 A JP 2003164915A JP 4240296 B2 JP4240296 B2 JP 4240296B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- connected component
- image processing
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カラー画像対応の文書画像認識システム等に利用される、入力カラー画像に含まれる文字・文書画像を認識する処理に関し、より詳細には、対象画像の一部に存在する文字・文書画像が占める文字領域を表す情報を取得するための画像処理装置、画像処理方法、及び該方法をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
画像処理では、文字・文書画像の認識処理が従来から行われている。この認識処理を行う際に、処理対象画像の一部に存在する文字・文書画像が占める文字領域を正しく把握することは、高い認識精度を得るために不可欠である。仮に、文書画像のどこに文字があるのか不明な状態で文字認識処理を行った場合、文字認識の必要のない写真、図などの領域に文字認識処理を行ってしまうことになるため、時間を不要な処理に費やすだけでなく、文字の存在しない領域に無理に文字認識を実行した結果として、大量にエラーが出力されることになり、認識結果を利用する際に、大きな困難を伴うことになる。
このため、文字領域の正しい位置情報を取得する文字領域認識処理方法として、二値画像の黒画素の連結成分を用いた方法の提案がなされた（下記特許文献１）。この方法では、入力された画像を縮小して黒画素の連結成分の外接矩形を得、得た外接矩形から、文字、表、図、その他、に基本要素を分類し、その中から文字要素を取り出し統合して行を生成し、生成した行を統合して文字領域を取得する。さらにこの例では、文字領域から段組情報を抽出し、抽出段の位置を参照して過剰に統合された文字領域を修正するようにしている。
【０００３】
ところで、近年カラープリンタなどの普及に伴い、急速にカラー原稿が文字認識の対象として処理されるケースが増加してきている。カラー原稿を処理する際、上記した黒画素の連結成分を用いた方法の例に示される文字領域認識処理方法を適用する場合には、カラー情報をどこかで欠落させて二値画像に変換する必要がある。しかし、二値化には決定的な方法があるわけではなく、処理対象画像によっては文字がつぶれてしまったり、背景の色が細かいノイズ状になって二値画像に表現されてしまうなどの問題がしばしば発生する。このような状態では、縮小画像の黒画素の連結成分抽出が思うようにできず、精度が低下してしまう。
また、カラー画像に適用する文字領域認識処理技術としては、下記特許文献２、特許文献３にそれぞれ示される提案がなされている。文字認識のために変換される二値画像の質を向上させることを目標に、前者は同一とみなせる色の、後者は同一とみなせる明度の背景を持つ領域を分割抽出し、各領域を文字領域とみなし、各領域ごとに二値化を行うものである。
しかしながら、特許文献２、特許文献３で提案されたカラー画像への適用を考慮した文字領域認識処理技術は、背景色が連続的に変化している場合には適用できない。また、抽出された領域は背景が同一色というだけで、実際に文字領域かどうかの判定は行っておらず、文字領域かどうかの判定は生成された二値画像を用いて別に行うこととなる。
こうした問題点を解消するために、下記特許文献４では、カラー画像からカラー情報を抽出し、この情報を二値化によらず直接用いることによって文字抽出精度の向上を図るとしている。この文字領域認識処理方法は、原画像から圧縮画像を生成し、同色とみなせる画素をラン（連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念）として抽出し、それらの連結成分を色ごとに求め、得た連結成分を文字候補とみなして近接する連結成分同士を統合して文字行を生成し、その後抽出された文字行から、過抽出部分を排除して文字行を出力するもので、背景という概念を入れることなく文字領域を取得可能としたものである。
従って、特許文献４では、直接カラー画像の画素情報を用いることで、上記した従来例によっては困難であったカラー文書から、より精度のよい文字領域抽出を行うことを可能とし、背景色が連続的に変化している場合でも対処可能とした。
【０００４】
【特許文献１】
特開2000-67158号公報
【特許文献２】
特開2000-132689号公報
【特許文献３】
特開平11-213160号公報
【特許文献４】
特開2002-288589号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献４の手法では、近接する連結成分（文字）同士を統合し、文字行を生成するする際に、文字外接矩形間における高さ方向の座標値の差異、幅方向の座標値の差異、距離限界値、色差を条件として統合の可否を判定し、判定結果により統合を行うとしているので、この統合条件が満たされる場合として、例えば図１２に示すように、複数行（この例では、２行）の文字行同士が接近して配置される場合があり、この場合には、本来個別に生成されるべき文字行が融合して1行として抽出されてしまうことになる（図１２では２行の文字列を囲む破線が、統合後に1行として抽出された矩形を示す）。この場合、抽出された領域を1行の対象文字列として文字認識を行っても、正しい認識結果が得られない。
また、特許文献４の手法においては、画像のコントラストが低い場合に、行抽出の精度が低下することに対する解決が図られていない、即ち入力画像に対して行われる文字画像のラン（連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念）が文字画像のコントラストが低い場合に正しく抽出されない等の原因によって、行抽出の精度低下が起きるという問題点が存在する。
さらに、特許文献４の手法においては、文字画像のランを抽出する際に、例えば図５に示すように、肉眼では単一色の文字行として認識できても、印刷のずれ等で微視的に見るとさまざまな色をもつ画素から文字が構成されることがあり、装置側が備える色の検出精度は、この色の違いを検出してしまうので、文字の一部を欠落した形で文字ランを抽出する（肉眼では単一色であっても、単一色からずれているために異なる色として検出した部分が欠落する）ことがあり、この場合も行抽出の精度が低下するという問題が生じる。
本発明は、画像読み取り手段等により入力されるカラー画像を対象とし、そこに含まれる文字・文書画像が占める文字領域を表す情報を取得する、文字領域認識処理における上記した従来技術の問題点に鑑みてなされたものであり、その目的は、上記従来技術の文字領域認識処方法を採用した場合に生じる、本来個別に生成されるべき文字行が融合して抽出されてしまうという不具合、画像のコントラストが低い場合に、行抽出の精度が低下する不具合、或いは、色の僅かな違いにより文字の一部が欠落することによる不具合が解消でき、文字行の抽出の耐性を強化して、対象画像に存在する文字・文書画像が占める文字領域を表す適切な情報の取得を可能とする処理を行うための画像処理装置、画像処理方法、及び該方法をコンピュータに実行させるプログラムを提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、処理対象として入力された多値画像或いはその圧縮画像から同色とみなせる画素をランとして抽出する手段と、隣接するランを統合して連結成分を生成する手段と、連結成分のうち文字とみなせない不要成分を排除する手段と、不要成分が排除された連結成分の外接矩形を統合する手段と、統合された外接矩形から文字連結成分によるとみなせるものを判定する手段と、判定された文字連結成分によるとみなせる外接矩形を文字領域情報として出力する手段とを有する画像処理装置であって、統合された外接矩形から文字連結成分によるとみなせるものを判定する前記手段の入力段に、連結成分の外接矩形を統合する前記手段により一旦統合された外接矩形内の画像に対し条件を変更して連結成分を再生成する手段を備えたことを特徴とする画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、連結成分の外接矩形を統合する前記手段により一旦統合された外接矩形内の文字サイズに基づいて、連結成分を再生成する前記手段を適用するか否かを判定する手段を備えたことを特徴とする。
請求項３の発明は、請求項２に記載された画像処理装置において、統合された外接矩形、連結成分の少なくとも一方のサイズによって、連結成分を再生成する前記手段を適用するか否かの判定に用いる文字サイズを推定する手段を備えたことを特徴とする。
請求項４の発明は、請求項１乃至３のいずれかに記載された画像処理装置において、連結成分を再生成する前記手段は、同色とみなせる画素の条件を緩和して連結成分を生成する手段であることを特徴とする。
請求項５の発明は、請求項１乃至４のいずれかに記載された画像処理装置において、連結成分を再生成する前記手段により生成された連結成分に対して、連結成分のうち文字とみなせない不要成分を排除するための条件を緩和して該不要成分を排除する手段を備えたことを特徴とする。
請求項６の発明は、処理対象として入力された多値画像或いはその圧縮画像から同色とみなせる画素をランとして抽出する処理手順と、隣接するランを統合して連結成分を生成する処理手順と、連結成分のうち文字とみなせない不要成分を排除する処理手順と、不要成分が排除された連結成分の外接矩形を統合する処理手順と、統合された外接矩形から文字連結成分によるとみなせるものを判定する処理手順と、判定された文字連結成分によるとみなせる外接矩形を文字領域情報として出力する処理手順とを実行する画像処理方法であって、さらに統合された外接矩形から文字連結成分によるとみなせるものを判定する前記処理手順の前段で、連結成分の外接矩形を統合する前記処理手順により一旦統合された外接矩形内の画像に対し条件を変更して連結成分を再生成する処理手順を実行することを特徴とする画像処理方法である。
請求項７の発明は、請求項６に記載された画像処理方法の各処理手順をコンピュータに実行させるためのプログラムである。
請求項８の発明は、請求項７に記載されたプログラムを記録した記録媒体である。
【００２１】
【発明の実施の形態】
本発明を添付する図面とともに示す以下の実施形態に基づき説明する。
なお、本願では、本発明の「画像処理装置」を本発明の「画像処理方法」の手順を実現するための処理手順（装置）として位置付けているので、下記の「実施形態１」〜「実施形態３」それぞれにおいて、本願に係わる方法発明と装置発明の実施形態を併せて説明する。
「実施形態１」
本実施形態は、公知文献（特開2002-288589号公報）に示された文字領域認識処理手順中にコントラスト調整手順、連結成分再生成処理手順及び行分割処理手順を付加して構成され、付加した処理手順により文字行の抽出の耐性を強化して文字領域の抽出精度を向上させることを意図するものである。
図１は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図２は、本実施形態に係る画像処理装置の構成を示すブロック図である。
【００２２】
図２を参照して本実施形態に係る画像処理装置を説明すると、画像入力手段１０１は、処理対象の原画像を取得し、格納しておく手段（例えば、カラー画像データを出力するスキャナ、撮像装置などの原稿読み取り装置により実施し得る）であり、画像入力手段１０１で取得した原画像データを圧縮画像生成手段１０２と、コントラスト調整手段１０３と、文字行判定手段１０８に送出する。
圧縮画像生成手段１０２は、圧縮画像を生成し、格納するとともに、コントラスト調整手段１０３、ラン生成手段１０４、連結成分生成手段１０５、連結成分選別手段１０６、外接矩形統合手段１０７、文字行判定手段１０８に圧縮画像をそれぞれ出力する。なお、本実施形態で行う圧縮処理を省略することが可能で、その場合には、圧縮画像生成手段１０２を介さずに画像入力手段１０１の出力画像を各手段に出力するように構成する。
コントラスト調整手段１０３は、入力画像が低コントラストである場合に、コントラストを強めるように調整する手段であり、調整後の画像をラン生成手段１０４に送出する。
ラン生成手段１０４は、入力画像からランを生成する手段であり、生成したランを連結成分生成手段１０５に送出する。
連結成分生成手段１０５は、ランから連結成分を生成する手段であり、生成した連結成分は連結成分選別手段１０６に送出する。
連結成分選別手段１０６は、連結成分生成手段１０５で得られた連結成分を選別して外接矩形統合手段１０７に送出する。
外接矩形統合手段１０７は、連結成分選別手段１０６で得られた連結成分の外接矩形を統合して、文字行判定手段１０８に送出する。
文字行判定手段１０８は、外接矩形統合手段１０６で統合された外接矩形（文字行候補）から文字行を判定して、行分割手段１０９に送出する。
行分割手段１０９は、文字行判定手段１０８から入力された文字行における誤統合を見つけ、これに対し行分割処理（行分割処理については後記に詳述）を行い、適正な文字行を文字領域出力手段１０９に送出する。
文字領域出力手段１１０は、文字行と判定された座標を出力する手段である。
【００２３】
次に、本実施形態に係る画像処理方法を図１のフローチャートを参照して説明する。なお、以下の説明は、上記画像処理装置の動作説明を兼ねる。
図１のフローによると、まず、処理したい原稿を画像入力手段１０１により原画像（カラー画像）として取得する（Ｓ１）。ここで取得されるカラー画像は、通常のラスタ方式による連続画素データの形式をとる。
続けて、圧縮画像生成手段１０２により原画像から圧縮画像を生成する（Ｓ２）。圧縮画像は、処理の高速化のためと、ある色が細かい点（各色成分ドット）の集合で表現されている場合の悪影響を防ぐために生成するものである。圧縮画像の生成方法には様々なものが考えられるが、ここでは原画像の(2×2)画素を圧縮画像の1画素にまとめるものとする。圧縮画像の画素値は、原画像の(2×2)画素内で最も明度の低い画素値を用いることとする。
次にコントラスト調整手段１０３により圧縮画像と原画像のコントラスト調整を行う（Ｓ３）。この処理は、画像全体が低コントラストの場合、次に続くラン生成などの処理で文字部分を正しく抽出することができなくなるのを防ぐためのものであり、低コントラストの画像に対するコントラスト強調の処理を行う。このコントラスト強調処理は、既存の方法を適用することにより実施することが可能である。
【００２４】
次に、ラン生成手段１０４によりコントラスト調整後の圧縮画像からラン生成を行う（Ｓ４）。ここでは、水平方向に隣接する画素の色が互いに近い場合にそれらを処理単位としてまとめる方法によりランを生成する。なお、「ラン」は、連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念で、符号化の単位として扱われる（フアクシミリなどで扱う2値の文書画像において、一次元方向に連続する白画素、あるいは黒画素のかたまりを「ラン」として符号化の単位とする例は周知である）。
ここで、色が近いことを判定する方法には様々な手法を採用することができるが、例えば画素値の各色成分（RGBなど）の差の2乗和などを計算し、これを画素間の色相違度とみなして、この値が実験値等を基に予め定めておいた基準値よりも小さい場合に近いと判断する、という方法を用いることが可能である。
また、このときに、抽出した各ランの色を定義しておく。色の定義は、ランを構成する画素が持つ色データの平均値やメジアンなどを用いることにより行うことが可能であるが、本例ではメジアンを用いることとする。ランを圧縮画像の各行ごとに求め、このステップを終了する。
【００２５】
次に、連結成分生成手段１０５によりランの連結成分を生成する（Ｓ５）。この処理では、前段のステップＳ４で水平方向の連続画素について求めたランを対象として、垂直方向に接するもの同士の色を比較し、色が近ければ連結成分として統合する。このようにすれば、文字候補となるひとかたまりの画素がひとつの連結成分として抽出できることになる。図３は、連結成分の生成状態を示す。同図示のように、隣接ランの色が近いラン同士を連結成分として統合し、色が遠い隣接ランは連結せずに非統合にすると、入力した文字画像「すり」に対する連結成分を生成することができる。
次に連結成分選別手段１０６により連結成分の選別を行う（Ｓ６）。前段のステップＳ５で求めた連結成分は、その中には文字でないものが多数含まれている、いわば文字候補である。例えば、非常に小さな連結成分はノイズである可能性が高く、これをそのまま後段の処理に渡すと精度の低下や処理速度の低下を招く可能性がある。そこで、ある一定以下の大きさの連結成分は削除する作業を行う。もちろん、連結成分の大きさ以外の条件、例えば周囲との明るさの関係等で選別を行っても良い。
【００２６】
次に、外接矩形統合手段１０７により連結成分の外接矩形の統合処理を行う（Ｓ７）。
この外接矩形統合処理は、前段のステップＳ６で選別された文字に相当する連結成分を対象にして、文字行として統合するための規則に従ってこの連結成分を統合して文字行候補の矩形領域を生成する処理である。
統合規則は、連結成分の外接矩形同士の関係が、サイズ、色がそれぞれ似ており、さらに距離が接近している場合に、統合するという規則による。
図４は、統合規則に従って連結成分の外接矩形の統合を行う処理を説明する図である。図４において、連結成分の外接矩形同士のサイズに着目した場合には、図中の(A)に示すように、破線で囲まれたグループG1と他のグループG2はサイズが異なるので統合しない。また、連結成分の外接矩形同士の色に着目した場合には、図中の(B)に示すように、グループG1と他のグループG3は色が異なるので統合しない。また、連結成分の外接矩形同士の距離に着目した場合には、図中の(C)に示すように、グループG1と他のグループG4は距離が離れているので統合しない。なお、グループG1内の外接矩形は、統合されてこのグループを構成する。なお、グループG1内の外接矩形は、サイズ、色がそれぞれ似ており、さらに距離が接近している場合に当たるので、統合されてこのグループを構成する。
このような統合規則によって、グループ化された連結成分の外接矩形領域を文字行候補として生成する。
【００２７】
次に、連結成分生成手段１０５及び連結成分選別手段１０６により連結成分の再生成処理を行う（Ｓ８）。
連結成分の再生成処理は、本発明を特徴付ける要素であり、後段の文字行判定処理において誤判定を防ぐために行う。この処理は、前段のステップＳ７で統合された文字行判定に用いる文字行候補を対象に、先の連結成分生成処理手順（Ｓ５）及び連結成分選別処理手順（Ｓ６）で欠落した部分を補い、文字特徴を示す連結成分を復元するために、連結成分の生成と連結成分の選別の各々においてその処理条件を緩めて再びこの処理を実行する。
上記した欠落部分について説明を補足すると、対象画像に例えば、図５に示すように、印刷のずれ等の原因により肉眼では単一色の文字行として認識できても、微視的には多数の色の画素で構成されている文字が存在する場合がある。この場合、装置が備える色の検出精度は、これらの色の違いを検出してしまうので、連結成分を生成する際に、文字の一部を欠落した形で文字ランを抽出してしまい、後で行う文字行判定時に抽出された文字行を構成する画素数が過小評価され、特に文字が小さい場合には、文字でないと判断されてしまう可能性が高くなる。
そこで、この連結成分の再生成処理では、前段のステップＳ７で連結成分の外接矩形を統合することにより文字行候補を求めた後、求めた文字行候補の領域を示す座標値内で再度、連結成分生成手段１０５により連結成分の生成を行う。ただし、再生成の際には、やや違った色の画素に対しても連結可能とするように、画素が近い色（同一色）を持つと判定する条件を緩め、欠落のない文字連結成分を構成するための画素として統合する。
【００２８】
さらに、この連結成分の再生成処理では、再生成した連結成分に対して選別処理を行う。この処理は、文字でないノイズに当たる連結成分を除くために行われる上記ステップＳ６と同様の処理であるが、再生成処理では、ノイズではない濁点（濁音符）等の文字の一部をなす連結成分が除かれることが回避できるように、選別する連結成分の大きさに関する条件を緩め、欠落のない文字連結成分を構成するための画素として、次の処理手順で行う文字行の判定の対象となるデータとして用いるようにする。
ところで、上記した印刷ずれ等による文字行の判定に与える影響は、文字が小さい場合に顕著に現れるので、文字が大きいと判断される場合には、文字行候補内の画素に対する連結成分の再生成処理は行わないことで処理を高速化するという方法を採用して実施することが可能である。
この方法を採用するにあたっては、一旦連結成分の外接矩形を統合した（Ｓ７）後、連結成分の再生成処理（Ｓ８）に入る前に、統合した外接矩形内の文字サイズを求め、連結成分の再生成処理を必要とするサイズとして予め定められた基準内の文字サイズを有するか否かをチェックし、この再生成処理を適用するという判定を行い、実行に移すようにする。
ここで、文字サイズのチェックに用いる文字の大きさを表す量としては、既に求めた文字行候補の高さや、文字行候補を構成する連結成分（文字外接矩形）の大きさにより推定し、これを文字サイズとして用いることが可能である。
【００２９】
次に、文字行判定手段１０８により、文字行であるかを判定する（Ｓ９）。
この文字行判定処理は、先の外接矩形統合処理手順（Ｓ７）で統合された連結成分の外接矩形（文字行候補）を対象にして、それが真に文字行であるかの判定を行う。なお、ここで対象にする文字行候補は、基準に従って再生成処理が必要なものに対しては、前段の連結成分の再生成処理（Ｓ８）が適用され、この処理により欠落のない文字連結成分が補正された文字行候補とする。
文字行判定処理では、ここまでで文字行を抽出するために絞り込んできた連結成分には文字行が含まれているが、図や写真の一部などを誤って統合するなどした、文字行でないものが含まれている可能性もあり、その意味では文字行候補である。そこで、このステップではさらに絞り込みを行うために文字行の吟味を行う。
この絞り込みを行うための具体的な方法は、公知文献（特開2002-288589号公報）にも記述がある方法を適用することができる。例えば、領域内のエッジ強度や、文字行候補を構成する連結成分と周囲の画素との色差、連結成分と文字行候補領域（統合された外接矩形領域）の面積比などの特徴の量的関係により判定する方法を用いるようにする。これらの例の場合、エッジ強度が強く、色差は大きいほど文字らしいと判断され、面積比に関しては極端な値ではなく、ある範囲内にあるものを文字らしいと判断することによる。
ここでは、求めた複数の特徴量を総合的に判断して、文字行でないものを削除する。判断の方法は、例えば特徴量と、文字行とわかっている学習データから求めた典型値との差の絶対値の線型和がある閾値よりも小さいものを文字らしいとして判断する、などの方法をとる。即ち、特徴量ｉの典型値と実測値をそれぞれ、ｔｉ，ｍｉとおき、各特徴量の判定に対する重要度(寄与度)をあらわす重みをｗｉとおく。合計ｎ種の特徴量が存在するとすると、線型和Ｓは 、下記式(1)により計算する。なお重みｗｉは、判定ができるだけ正確になるように、予め実験的に定めておくと良い。
上記のように、文字行候補を構成する連結成分の特徴量による判定方法を用いる場合に、前段の連結成分の再生成処理（Ｓ８）において、欠落のない文字連結成分を復元するようにしたので、本来、文字行であるものが誤判定され、抽出漏れを生じることがないようになる。
【００３０】
【数１】
【００３１】
次に、文字行候補として求めた連結成分の外接矩形に含まれる誤統合文字行を行分割手段１０９により分割し、適切な文字行を生成する処理を行う（Ｓ１０）。
この行分割処理手順は、本発明を特徴付ける要素であり、前段までの処理過程で絞り込まれた文字行候補に複数行分が1行として誤統合されたものが含まれることがあり、それを改善するために行う。
即ち、文字外接矩形の統合による文字行候補を生成する（Ｓ７）際に、文字外接矩形間における高さ方向の座標値の差異、幅方向の座標値の差異、距離限界値、色差を条件として統合の可否を判定し、判定結果により統合を行うとしているので、この統合条件が満たされる場合として、例えば図６の統合例に示すように、複数行（この例では、２行）の文字行同士が接近して配置され、一方の行に属している連結成分がわずかに他方に、はみ出している場合がある。図６に示す例では、本来個別に生成されるべき文字行が融合して1行として抽出されてしまう（図６では２行の文字列を囲む破線が、統合後に1行として誤抽出された矩形を示す）。この場合、抽出された領域を1行の対象文字列として文字認識を行っても、正しい認識結果が得られない。
そこで、前段までの処理手順により求めた文字行らしいと判定された文字行候補を対象に誤統合を判定し、誤統合領域に対し単位行への分割を行うことにより適切な文字行を抽出する分割処理手順を行うようにする。
【００３２】
図７は、本実施形態に係る行分割処理（Ｓ１０）のより詳細なフローを示すチャートであり、図８は、本実施形態に係る行分割手段１０９のより詳細な構成を示すブロック図である。
本例の行分割手段１０９について図８を参照して説明すると、矩形領域サイズ取得手段１０９−０１は、文字行判定手段１０８からの文字行らしいと判定された文字行候補（統合された矩形領域）に対応する処理対象画像等のデータから矩形領域のサイズを取得する手段である。
連結成分数計数手段１０９−０２は、矩形領域内にある連結成分の数を計数する手段である。
分割数設定手段１０９−０３は、設定を可変とした分割数を仮定して、その数の適正を吟味するために可変の分割数を設定する手段である。
分割判定用領域設定手段１０９−０４は、分割数に応じた分割判定用領域を設定する手段である。
連結成分存在位置吟味手段１０９−０５は、設定した分割数により区分された領域間にまたがる連結成分があるか、その数を求める手段である。
矩形領域の再設定手段１０９−０６は、分割数設定手段１０９−０３の分割数を再設定する手段である。
なお、上記各手段の機能の詳細については、後述の処理手順の説明を参照することとする。
【００３３】
次に、行分割処理手順を図７のフローチャートを参照して説明する。なお、以下の説明は、上記行分割手段の動作説明を兼ねる。
図７のフローによると、まず矩形領域サイズ取得手段１０９−０１で処理対象の文字行候補である矩形領域のサイズを取得し（Ｓ１０１）、取得したサイズによって行分割の対象領域に当たるか否かを吟味する(Ｓ１０２)。即ち、行の高さに相当する矩形領域の一辺の長さが小さい場合は、行が誤って統合されている可能性が低いので、分割処理をパスして、次段の文字領域出力処理手順（Ｓ１１）に移行させる。
ここで、矩形領域の一辺の長さが大きい場合は、分割処理手順に入り、連結成分数計数手段１０９−０２で矩形領域内にある連結成分の数を計数し（Ｓ１０３）、計数値によって行分割の対象領域に当たるか否かを吟味する(Ｓ１０４)。即ち、連結成分の数が少ない場合は、行が誤って統合されている可能性が低いので、分割処理を止めて、次段の文字領域出力処理手順（Ｓ１１）に移行させる。
他方、連結成分の数が多い場合は、行が誤って統合されている可能性があるから、分割数設定手段１０９−０３で、該当矩形領域にいくつの行が誤って統合されているという仮定のもとに、仮定した条件を分割領域数によって設定する(Ｓ１０５)。このときに設定する分割領域数は、いくつでもかまわないが、ここでは２分割であると仮定した処理を例に説明する。なお、２分割を仮定した処理を優先させ、その設定で処理を行った後、別の分割数を仮定して処理を繰り返すという方法を採用してもよい。
【００３４】
次に、分割判定用領域設定手段１０９−０４では、分割数設定手段１０９−０３で設定された分割領域数を受けて、分割数に応じた分割判定用領域の設定を行う（Ｓ１０６）。本例のように２分割を設定した場合は、図９の（ａ）に示すような、行の方向に平行な、２本の直線状の座標値を領域として設定する。ここでは、直線の位置は、行候補の矩形領域が有する高さを例えば３分する座標値に設定し、分割領域と行候補にある連結成分の位置関係を次の処理手順でチェックする。
このチェック処理は、連結成分存在位置吟味手段１０９−０５により連結成分存在位置吟味処理手順を行い、２本の直線領域にまたがって存在する連結成分の数を数え（Ｓ１０７）、この後、該当する連結成分の数が多数あるか否かをチェックする（Ｓ１０８）ことにより、分割領域に対する連結成分の位置関係を知り、分割の可否を判断する。
つまり、前段で中心線（矩形領域の高さ／２）にまたがる連結成分の数を求め、 得られた連結成分の数が多数あれば、図９の（ｂ）に示すように、２行が１行に誤って統合されたわけではなく、もともとが1行だと判断できる（Ｓ１０８-YES）ので、領域を分割しない。逆に、図９の（ａ）に示すように、このような連結成分がなかったり、非常に少ない場合には、もともとが２行だったと判断できる（Ｓ１０８-NO）ので、矩形領域の再設定手段１０９−０６で２分割するように矩形領域を定義し直し（Ｓ１０９）、新たな領域定義に従って再度ステップＳ１０１からの行分割処理手順を行う。
【００３５】
また、２本の直線領域にまたがって存在する連結成分の数をチェックする手順で、条件に合致する多数の連結成分を得た場合には（Ｓ１０８-YES）、２分割だけでなく他の分割数も試すために、分割数を設定する手順（Ｓ１０５）から繰り返し処理を行う。あらかじめ定められた分割条件をすべて吟味し終えたら（Ｓ１１０）、図７の処理フローに示される行分割処理のサブルーチンを抜け、次の文字領域出力の処理手順に移行する。
なお、分割数はいくつか設定が可能であるが、誤統合の発生のしやすさは、２行において一番発生頻度が高く、３，４・・と増えるに従って頻度は低下する傾向がある。そのため、「２行の統合」との判断のされやすさと、「３行の統合」との判断のされやすさに差をつけ、「２行の統合」の方を判断されやすくしたほうが、この分割処理の副作用である行の過分割が発生し難くなる。具体化するための手法としては、連結成分の数が多数あるか否かをチェックする手順（Ｓ１０８）での判断の基準を、仮定した条件を分割領域数によって設定する手順(Ｓ１０５)で仮定した分割数によって変化させることが有用である。
上記の様にして文字行候補に発生し得る誤統合を分割し、適切な文字行を生成する処理を行うことにより、文字行の領域が抽出できたことになり、この座標値を処理結果として出力し（Ｓ１１）、処理フローを終了する。
【００３６】
「実施形態２」
本実施形態は、上記した「実施形態１」の文字領域認識処理において、コントラスト調整に代わる手順として手順の一部を改変する。
文字領域認識処理の対象画像において、画像全体のコントラストが小さい場合、色差も小さくなるので文字行候補が抽出されにくくなる。この場合、実施形態１のように、画像全体のコントラストを上げるコントラスト調整処理（Ｓ３）を行うことにより、改善を図る方法がある。しかしながら、この方法の問題点は、やや時間がかかる点にある。本実施形態では、高速処理を可能にする方法を採用して低コントラスト画像を対象にした場合の背景と文字の融合を防ぎ、抽出精度を向上させることを意図する。
図１０は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図１１は、本実施形態に係る画像処理装置の構成を示すブロック図である。
図１１を参照して本実施形態に係る画像処理装置を説明すると、本実施形態における改変部分は、上記「実施形態１」のコントラスト調整手段１０３（図２参照）に代えて、コントラスト算出手段２０３を設け、この手段で求めるコントラストの算出結果をラン生成手段２０４、連結成分生成手段２０５及び文字行判定手段２０８の処理条件に反映させる点にある。新たな構成要素となるコントラスト算出手段２０３は画像入力手段２０１、圧縮画像生成手段２０２からの入力を受け、入力画像における特定の色成分について、画像が全体的にコントラストが低い画像を検出し、検出されたコントラストに関するデータを生成し、このデータを用いるラン生成手段２０４、連結成分生成手段２０５及び文字行判定手段２０８に送出する。
上記した改変部分に係わる手段以外は、基本的に上記「実施形態１」と同様の装置構成により、ラン生成手段２０４、連結成分生成手段２０５、連結成分選別手段２０６、外接矩形統合手段２０７、文字行判定手段２０８、行分割手段２０９、文字領域出力手段２１０を設ける。
【００３７】
次に、本実施形態に係る画像処理方法を図１０のフローチャートを参照して説明する。なお、以下の説明は、上記画像処理装置（図１１）の動作説明を兼ねる。
本実施形態に係る画像処理方法は、図１０のフローチャートに示すように、画像入力手段２０１により処理対象の画像入力（Ｓ２１）を行い、入力された原画像に対し圧縮画像生成手段２０２により圧縮処理（Ｓ２２）を上記「実施形態１」に示したと同様に実行する。
次いで、原画像と圧縮画像のコントラストを取得するためのコントラスト算出処理を行う（Ｓ２３）。このコントラストの取得は、コントラスト算出手段２０３によって行われ、入力画像が全体的に低コントラストの画像である場合に、後段のラン生成（Ｓ２４）、連結成分生成（Ｓ２５）、連結成分再生成（Ｓ２８）及び文字行判定（Ｓ２９）の各処理において処理条件の変更を要する対象画像になるので、このような画像を検出し、検出された画像のコントラストに関するデータを算出する。具体的な方法として、例えば、画像を構成するある色成分の画素値のヒストグラムを画像全体に対し作成し、その分布範囲が狭い場合に低コントラスト画像とみなし、該当する画像に対し、処理条件を変更する必要がある低コントラストであることを示す定性的な、或いは程度を示す定量データを付加するといった方法などにより実施可能である。
コントラスト算出処理を行った後、ラン生成（Ｓ２４）、連結成分生成（Ｓ２５）、連結成分再生成（Ｓ２８）の各処理手順を基本的には上記「実施形態１」に示したと同様に実行するが、これらの処理では、隣接する画素やランの色差を求め、その色差が小さいときにラン或いは連結成分を統合するという判断のもとにその処理を行う。よって、画像全体のコントラストが小さい場合、この色差も小さくなるので文字と背景が融合してしまい、文字行候補が抽出され難くなる。
そこで、本実施形態では、コントラスト算出処理（Ｓ２３）によって得られた低コントラスト画像に関するデータを用いて、処理条件に必要な変更を施す。ここでは、隣接する画素やランの色を比較して同色とみなす基準を低コントラスト画像データに基づいて変更する、つまり、同色とみなし難くする方向に基準を変更する。
以上のような低コントラスト画像に対する処理方法を採用することにより、背景と文字の融合を防ぐことができる。
【００３８】
また、本実施形態では、文字行判定の処理（Ｓ２９）においても、コントラスト算出処理によって得られた低コントラスト画像に関するデータを用いて、処理条件を変更する。
本実施形態の文字行判定の処理（Ｓ２９）も、基本的には上記「実施形態１」に示したと同様の処理方法をとる。上記「実施形態１」の説明に示したように、種々の画像特徴量の線型和（式(1)参照）などで、文字らしさを計算する。
この文字らしさの計算では、特徴量として文字行候補領域内のエッジ強度や、行候補を構成する連結成分と周囲の画素との色差を使っている場合、画像全体が低コントラストでは、これらの値は小さくなる傾向がある。画像全体が低コントラストの場合は、文字行であってもこれらの値が大きくはならないので、文字らしさを表す式(1)の値が、文字らしい値にならない可能性がある。結果として文字行として判定されずに、抽出漏れとなってしまうことが起こり得る。
このような抽出漏れを防止するために、文字行判定の処理（Ｓ２９）において、コントラスト算出処理（Ｓ２３）によって得られた低コントラスト画像に関するデータを用いて、処理条件を変更して、別の処理を行うことが有効である。
処理条件の変更を具体化するための簡単な方法として、文字行を閾値処理により判定する場合に、閾値を大きくすることで、文字行と判定し易くする方法もある。ただ、この方法では、画像のコントラストとは関係ない特徴量が、文字らしくない特徴を示している文字行候補でも文字と判定されやすくなる問題点がある。
処理条件の変更を具体化するための他の方法は、低コントラストと判断された画像に対し、式(1)において、画像全体のコントラストに影響される特徴量にかかる重みｗｉのみの値を小さくし、求める線型和Ｓがコントラストの影響を余り受けないようにする方法がある。この方法を用いる場合には、勿論、閾値自体の変更を合わせて行ってもかまわない。
さらに、上記のような重みｗｉの変更を、特徴量のうちでコントラストに関連したものだけが文字らしくなく、他の特徴量が文字らしい値を示している場合にのみ行ってもよい。この処理は、重みｗｉの変更により文字でないものが文字と判定される傾向が強まってしまった場合に、これを補正する効果がある。
なお、本実施形態の処理フロー（図１０）において、低コントラスト画像に関するデータを用いて、処理条件の変更を行う必要のない連結成分選別処理（Ｓ２６）、外接矩形統合処理（Ｓ２７）、行分割処理（Ｓ３０）、文字領域出力処理（Ｓ３１）の各処理手順は、上記「実施形態１」に示したそれぞれに対応する処理手順Ｓ６，Ｓ７，Ｓ１０，Ｓ１１と同様に実施し得る。従って、ここでは上記「実施形態１」の説明を参照することとし、記載を省略する。
以上の処理を行うことで、画像全体のコントラストの変更というやや時間のかかる処理を行わなくとも、低コントラスト画像からの文字領域の抽出が正しく行えるようになる。
【００３９】
「実施形態３」
本実施形態は、上記「実施形態１」，「実施形態２」に示した文字領域抽出を行う画像処理フローの各処理手順を実行する手段として、汎用の処理装置（コンピュータ）を利用する実施形態を示すものである。
図１３は、本実施形態の処理装置の構成を示す。図１３に示すように、本実施形態は、汎用の処理装置（コンピュータ）により実施する例を示すものであり、構成要素としてＣＰＵ４０１、メモリ４０２、ハードディスクドライブ４０３、入力装置４０４、ＣＤ−ＲＯＭドライブ４０５、ディスプレイ４０６、マウスなどを備える。また、ＣＤ−ＲＯＭドライブ４０５が用いるＣＤ−ＲＯＭなどの記録媒体４０７には、本発明の文字領域抽出の画像処理手順をコンピュータに実行させるためのプログラム（ソフトウェア）が記録されている。
処理対象の原稿画像は、スキャナー等の入力装置６０４により入力され、例えばハードディスク６０３などに格納されているものである。ＣＰＵ６０１は、記録媒体６０７から上記した文字領域抽出の画像処理手順を実現するプログラムを読み出し、プログラムに従う文字領域抽出処理を対象画像に実行し、その結果を文字認識処理などの抽出した文字領域データを必要とする他の画像処理手順に利用するために出力する。
このように、コンピュータに文字領域抽出処理を行うためのプログラムに従う動作を行わせることにより、該コンピュータを本発明の画像処理装置を構成する手段として機能させる。
【００４０】
「実施形態４」
本実施形態は、上記「実施形態１」，「実施形態２」に示した文字領域抽出を行う画像処理フローの各処理手順を実行する手段として、サーバー・クライアントシステムを利用する実施形態を示すものである。
図１４は、本実施形態の処理装置のシステム構成を示す。図１４に示すように、本実施形態は、サーバー・クライアントシステムにより実施する例を示すものであり、ＣＰＵ５０１、メモリ５０２、ハードディスクドライブ５０３、ルーター５０５とネットワークカード５０４よりなるインターフェース部などを備えるサーバー５０と、このサーバー５０にインターネット網を介して接続されたクライアントＰＣ５０６〜５０８を要素としてシステムを構成する。
本実施形態では、サーバーが文字領域抽出処理を行うので、サーバー５０のハードディスクドライブ５０３が用いる記録媒体に、本発明の文字領域抽出の画像処理手順を記録したプログラム（ソフトウェア）を格納して、サーバー５０側のコンピュータによりプログラムに従う画像処理手順を行わせる。
クライアントＰＣ５０６〜５０８が、作業を指示するメッセージと、処理対象画像および参照画像をサーバー５０に送る。なお、作業の指示は、文字領域抽出のみとしてもよいが、ここでは、文字領域抽出処理を一部に含む文字認識処理をサーバー５０に対する作業として指示する実施形態を想定したもので、参照画像は文字認識処理に利用可能な情報としてサーバー５０における作業を支援するために送られる。
サーバー５０側ではルーター５０５、ネットワークカード５０４を経て、クライアントＰＣ５０６〜５０８からの画像と作業指示をハードディスク５０３に格納する。ＣＰＵ５０１は、作業指示内容を読み出したのち、ハードディスク５０３に格納されている上記した文字領域抽出の画像処理手順を実現するプログラムを含む文字認識処理に必要なプログラムと処理対象となる画像をメモリ５０２に読み出して、このプログラムに従う画像処理を実行する。処理後には、得られた文字認識結果を再びインターネット網を通してクライアントＰＣ５０６〜５０８へ送出する。
このように、サーバー５０のコンピュータに文字領域抽出処理プログラムに従う動作を行わせることにより、該コンピュータを本発明の画像処理装置を構成する手段として機能させる。また、本実施形態によれば処理はサーバー５０側で行うため、クライアントＰＣ５０６〜５０８にプログラムを導入する必要がないので、クライアント側は導入のための時間・コストが節約できる。
【００４１】
【発明の効果】
（１）請求項１〜６の発明に対応する効果
統合された外接矩形（文字行候補）から文字連結成分によるとみなせるものを判定する文字行判定処理の前段で、一旦統合された外接矩形（文字行候補）内の画像に対し条件を変更して連結成分を再生成する処理を行うようにしたことにより、厳しい条件のもとで欠落した文字の構成画素（例えば、印刷ずれによる僅かな色の違いや文字の濁点など）を復元することができ、後段の文字行判定処理の誤りをなくすことができるので、対象画像の文字領域を表す適切な情報の取得を可能にする。
（２）請求項７，８の発明に対応する効果
請求項６に記載された画像処理方法の各処理手順を実行するためのプログラムをコンピュータに搭載することにより、上記（１）の効果を容易に具現化することが可能になる。
【図面の簡単な説明】
【図１】 文字領域抽出処理を行う本発明に係る画像処理方法の処理フロー（実施形態１）を示すチャートである。
【図２】 文字領域抽出処理を行う本発明に係る画像処理装置の構成（実施形態１）を示すブロック図である。
【図３】 ランの統合による連結成分の生成状態を示す図である。
【図４】 統合規則に従って連結成分の外接矩形の統合を行う処理を説明する図である。
【図５】 僅かな色ずれにより文字に欠落が起きる場合を例示する説明図である。
【図６】 ２行の文字行同士が接近して配置されたために誤統合される場合を例示する説明図である。
【図７】 図１における行分割処理（Ｓ７）の詳細フローを示すチャートである。
【図８】 図２における行分割手段のより詳細な構成を示すブロック図である。
【図９】 文字行候補に行分割処理を適用し、分割される場合と分割されない場合を例示する説明図である。
【図１０】 文字領域抽出処理を行う本発明に係る画像処理方法の処理フロー（実施形態２）を示すチャートである。
【図１１】 文字領域抽出処理を行う本発明に係る画像処理装置の構成（実施形態２）を示すブロック図である。
【図１２】 本来個別に生成されるべき文字行が融合して1行として抽出されてしまう場合を例示する説明図である。
【図１３】 本発明の画像処理装置を実施し得る汎用コンピュータの構成を示すブロック図である。
【図１４】 本発明の画像処理装置を実施し得るサーバー・クライアントシステムの構成を示すブロック図である。
【符号の説明】
１０１，２０１…処理対象画像入力手段、
１０２，２０２…圧縮画像生成手段、
１０３…コントラスト調整手段、
２０３…コントラスト算出手段、
１０４，２０４…ラン生成手段、
１０５，２０５…連結成分生成手段、
１０６，２０６…連結成分選別手段、
１０７，２０７…外接矩形統合手段、
１０８，２０８…文字行判定手段、
１０９，２０９…行分割手段
１１０，２１０…文字領域出力手段
４０１，５０１…ＣＰＵ、 ４０２，５０２…メモリ、
４０３，５０３…ハードディスクドライブ、
４０４…入力装置、 ５０４…ネットワークカード、
４０５…ＣＤ−ＲＯＭドライブ、 ５０５…ルーター、
４０６…ディスプレイ、 ５０６〜５０８…クライアントＰＣ、
４０７…ＣＤ−ＲＯＭ。
【発明の属する技術分野】
本発明は、カラー画像対応の文書画像認識システム等に利用される、入力カラー画像に含まれる文字・文書画像を認識する処理に関し、より詳細には、対象画像の一部に存在する文字・文書画像が占める文字領域を表す情報を取得するための画像処理装置、画像処理方法、及び該方法をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
画像処理では、文字・文書画像の認識処理が従来から行われている。この認識処理を行う際に、処理対象画像の一部に存在する文字・文書画像が占める文字領域を正しく把握することは、高い認識精度を得るために不可欠である。仮に、文書画像のどこに文字があるのか不明な状態で文字認識処理を行った場合、文字認識の必要のない写真、図などの領域に文字認識処理を行ってしまうことになるため、時間を不要な処理に費やすだけでなく、文字の存在しない領域に無理に文字認識を実行した結果として、大量にエラーが出力されることになり、認識結果を利用する際に、大きな困難を伴うことになる。
このため、文字領域の正しい位置情報を取得する文字領域認識処理方法として、二値画像の黒画素の連結成分を用いた方法の提案がなされた（下記特許文献１）。この方法では、入力された画像を縮小して黒画素の連結成分の外接矩形を得、得た外接矩形から、文字、表、図、その他、に基本要素を分類し、その中から文字要素を取り出し統合して行を生成し、生成した行を統合して文字領域を取得する。さらにこの例では、文字領域から段組情報を抽出し、抽出段の位置を参照して過剰に統合された文字領域を修正するようにしている。
【０００３】
ところで、近年カラープリンタなどの普及に伴い、急速にカラー原稿が文字認識の対象として処理されるケースが増加してきている。カラー原稿を処理する際、上記した黒画素の連結成分を用いた方法の例に示される文字領域認識処理方法を適用する場合には、カラー情報をどこかで欠落させて二値画像に変換する必要がある。しかし、二値化には決定的な方法があるわけではなく、処理対象画像によっては文字がつぶれてしまったり、背景の色が細かいノイズ状になって二値画像に表現されてしまうなどの問題がしばしば発生する。このような状態では、縮小画像の黒画素の連結成分抽出が思うようにできず、精度が低下してしまう。
また、カラー画像に適用する文字領域認識処理技術としては、下記特許文献２、特許文献３にそれぞれ示される提案がなされている。文字認識のために変換される二値画像の質を向上させることを目標に、前者は同一とみなせる色の、後者は同一とみなせる明度の背景を持つ領域を分割抽出し、各領域を文字領域とみなし、各領域ごとに二値化を行うものである。
しかしながら、特許文献２、特許文献３で提案されたカラー画像への適用を考慮した文字領域認識処理技術は、背景色が連続的に変化している場合には適用できない。また、抽出された領域は背景が同一色というだけで、実際に文字領域かどうかの判定は行っておらず、文字領域かどうかの判定は生成された二値画像を用いて別に行うこととなる。
こうした問題点を解消するために、下記特許文献４では、カラー画像からカラー情報を抽出し、この情報を二値化によらず直接用いることによって文字抽出精度の向上を図るとしている。この文字領域認識処理方法は、原画像から圧縮画像を生成し、同色とみなせる画素をラン（連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念）として抽出し、それらの連結成分を色ごとに求め、得た連結成分を文字候補とみなして近接する連結成分同士を統合して文字行を生成し、その後抽出された文字行から、過抽出部分を排除して文字行を出力するもので、背景という概念を入れることなく文字領域を取得可能としたものである。
従って、特許文献４では、直接カラー画像の画素情報を用いることで、上記した従来例によっては困難であったカラー文書から、より精度のよい文字領域抽出を行うことを可能とし、背景色が連続的に変化している場合でも対処可能とした。
【０００４】
【特許文献１】
特開2000-67158号公報
【特許文献２】
特開2000-132689号公報
【特許文献３】
特開平11-213160号公報
【特許文献４】
特開2002-288589号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献４の手法では、近接する連結成分（文字）同士を統合し、文字行を生成するする際に、文字外接矩形間における高さ方向の座標値の差異、幅方向の座標値の差異、距離限界値、色差を条件として統合の可否を判定し、判定結果により統合を行うとしているので、この統合条件が満たされる場合として、例えば図１２に示すように、複数行（この例では、２行）の文字行同士が接近して配置される場合があり、この場合には、本来個別に生成されるべき文字行が融合して1行として抽出されてしまうことになる（図１２では２行の文字列を囲む破線が、統合後に1行として抽出された矩形を示す）。この場合、抽出された領域を1行の対象文字列として文字認識を行っても、正しい認識結果が得られない。
また、特許文献４の手法においては、画像のコントラストが低い場合に、行抽出の精度が低下することに対する解決が図られていない、即ち入力画像に対して行われる文字画像のラン（連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念）が文字画像のコントラストが低い場合に正しく抽出されない等の原因によって、行抽出の精度低下が起きるという問題点が存在する。
さらに、特許文献４の手法においては、文字画像のランを抽出する際に、例えば図５に示すように、肉眼では単一色の文字行として認識できても、印刷のずれ等で微視的に見るとさまざまな色をもつ画素から文字が構成されることがあり、装置側が備える色の検出精度は、この色の違いを検出してしまうので、文字の一部を欠落した形で文字ランを抽出する（肉眼では単一色であっても、単一色からずれているために異なる色として検出した部分が欠落する）ことがあり、この場合も行抽出の精度が低下するという問題が生じる。
本発明は、画像読み取り手段等により入力されるカラー画像を対象とし、そこに含まれる文字・文書画像が占める文字領域を表す情報を取得する、文字領域認識処理における上記した従来技術の問題点に鑑みてなされたものであり、その目的は、上記従来技術の文字領域認識処方法を採用した場合に生じる、本来個別に生成されるべき文字行が融合して抽出されてしまうという不具合、画像のコントラストが低い場合に、行抽出の精度が低下する不具合、或いは、色の僅かな違いにより文字の一部が欠落することによる不具合が解消でき、文字行の抽出の耐性を強化して、対象画像に存在する文字・文書画像が占める文字領域を表す適切な情報の取得を可能とする処理を行うための画像処理装置、画像処理方法、及び該方法をコンピュータに実行させるプログラムを提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、処理対象として入力された多値画像或いはその圧縮画像から同色とみなせる画素をランとして抽出する手段と、隣接するランを統合して連結成分を生成する手段と、連結成分のうち文字とみなせない不要成分を排除する手段と、不要成分が排除された連結成分の外接矩形を統合する手段と、統合された外接矩形から文字連結成分によるとみなせるものを判定する手段と、判定された文字連結成分によるとみなせる外接矩形を文字領域情報として出力する手段とを有する画像処理装置であって、統合された外接矩形から文字連結成分によるとみなせるものを判定する前記手段の入力段に、連結成分の外接矩形を統合する前記手段により一旦統合された外接矩形内の画像に対し条件を変更して連結成分を再生成する手段を備えたことを特徴とする画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、連結成分の外接矩形を統合する前記手段により一旦統合された外接矩形内の文字サイズに基づいて、連結成分を再生成する前記手段を適用するか否かを判定する手段を備えたことを特徴とする。
請求項３の発明は、請求項２に記載された画像処理装置において、統合された外接矩形、連結成分の少なくとも一方のサイズによって、連結成分を再生成する前記手段を適用するか否かの判定に用いる文字サイズを推定する手段を備えたことを特徴とする。
請求項４の発明は、請求項１乃至３のいずれかに記載された画像処理装置において、連結成分を再生成する前記手段は、同色とみなせる画素の条件を緩和して連結成分を生成する手段であることを特徴とする。
請求項５の発明は、請求項１乃至４のいずれかに記載された画像処理装置において、連結成分を再生成する前記手段により生成された連結成分に対して、連結成分のうち文字とみなせない不要成分を排除するための条件を緩和して該不要成分を排除する手段を備えたことを特徴とする。
請求項６の発明は、処理対象として入力された多値画像或いはその圧縮画像から同色とみなせる画素をランとして抽出する処理手順と、隣接するランを統合して連結成分を生成する処理手順と、連結成分のうち文字とみなせない不要成分を排除する処理手順と、不要成分が排除された連結成分の外接矩形を統合する処理手順と、統合された外接矩形から文字連結成分によるとみなせるものを判定する処理手順と、判定された文字連結成分によるとみなせる外接矩形を文字領域情報として出力する処理手順とを実行する画像処理方法であって、さらに統合された外接矩形から文字連結成分によるとみなせるものを判定する前記処理手順の前段で、連結成分の外接矩形を統合する前記処理手順により一旦統合された外接矩形内の画像に対し条件を変更して連結成分を再生成する処理手順を実行することを特徴とする画像処理方法である。
請求項７の発明は、請求項６に記載された画像処理方法の各処理手順をコンピュータに実行させるためのプログラムである。
請求項８の発明は、請求項７に記載されたプログラムを記録した記録媒体である。
【００２１】
【発明の実施の形態】
本発明を添付する図面とともに示す以下の実施形態に基づき説明する。
なお、本願では、本発明の「画像処理装置」を本発明の「画像処理方法」の手順を実現するための処理手順（装置）として位置付けているので、下記の「実施形態１」〜「実施形態３」それぞれにおいて、本願に係わる方法発明と装置発明の実施形態を併せて説明する。
「実施形態１」
本実施形態は、公知文献（特開2002-288589号公報）に示された文字領域認識処理手順中にコントラスト調整手順、連結成分再生成処理手順及び行分割処理手順を付加して構成され、付加した処理手順により文字行の抽出の耐性を強化して文字領域の抽出精度を向上させることを意図するものである。
図１は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図２は、本実施形態に係る画像処理装置の構成を示すブロック図である。
【００２２】
図２を参照して本実施形態に係る画像処理装置を説明すると、画像入力手段１０１は、処理対象の原画像を取得し、格納しておく手段（例えば、カラー画像データを出力するスキャナ、撮像装置などの原稿読み取り装置により実施し得る）であり、画像入力手段１０１で取得した原画像データを圧縮画像生成手段１０２と、コントラスト調整手段１０３と、文字行判定手段１０８に送出する。
圧縮画像生成手段１０２は、圧縮画像を生成し、格納するとともに、コントラスト調整手段１０３、ラン生成手段１０４、連結成分生成手段１０５、連結成分選別手段１０６、外接矩形統合手段１０７、文字行判定手段１０８に圧縮画像をそれぞれ出力する。なお、本実施形態で行う圧縮処理を省略することが可能で、その場合には、圧縮画像生成手段１０２を介さずに画像入力手段１０１の出力画像を各手段に出力するように構成する。
コントラスト調整手段１０３は、入力画像が低コントラストである場合に、コントラストを強めるように調整する手段であり、調整後の画像をラン生成手段１０４に送出する。
ラン生成手段１０４は、入力画像からランを生成する手段であり、生成したランを連結成分生成手段１０５に送出する。
連結成分生成手段１０５は、ランから連結成分を生成する手段であり、生成した連結成分は連結成分選別手段１０６に送出する。
連結成分選別手段１０６は、連結成分生成手段１０５で得られた連結成分を選別して外接矩形統合手段１０７に送出する。
外接矩形統合手段１０７は、連結成分選別手段１０６で得られた連結成分の外接矩形を統合して、文字行判定手段１０８に送出する。
文字行判定手段１０８は、外接矩形統合手段１０６で統合された外接矩形（文字行候補）から文字行を判定して、行分割手段１０９に送出する。
行分割手段１０９は、文字行判定手段１０８から入力された文字行における誤統合を見つけ、これに対し行分割処理（行分割処理については後記に詳述）を行い、適正な文字行を文字領域出力手段１０９に送出する。
文字領域出力手段１１０は、文字行と判定された座標を出力する手段である。
【００２３】
次に、本実施形態に係る画像処理方法を図１のフローチャートを参照して説明する。なお、以下の説明は、上記画像処理装置の動作説明を兼ねる。
図１のフローによると、まず、処理したい原稿を画像入力手段１０１により原画像（カラー画像）として取得する（Ｓ１）。ここで取得されるカラー画像は、通常のラスタ方式による連続画素データの形式をとる。
続けて、圧縮画像生成手段１０２により原画像から圧縮画像を生成する（Ｓ２）。圧縮画像は、処理の高速化のためと、ある色が細かい点（各色成分ドット）の集合で表現されている場合の悪影響を防ぐために生成するものである。圧縮画像の生成方法には様々なものが考えられるが、ここでは原画像の(2×2)画素を圧縮画像の1画素にまとめるものとする。圧縮画像の画素値は、原画像の(2×2)画素内で最も明度の低い画素値を用いることとする。
次にコントラスト調整手段１０３により圧縮画像と原画像のコントラスト調整を行う（Ｓ３）。この処理は、画像全体が低コントラストの場合、次に続くラン生成などの処理で文字部分を正しく抽出することができなくなるのを防ぐためのものであり、低コントラストの画像に対するコントラスト強調の処理を行う。このコントラスト強調処理は、既存の方法を適用することにより実施することが可能である。
【００２４】
次に、ラン生成手段１０４によりコントラスト調整後の圧縮画像からラン生成を行う（Ｓ４）。ここでは、水平方向に隣接する画素の色が互いに近い場合にそれらを処理単位としてまとめる方法によりランを生成する。なお、「ラン」は、連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念で、符号化の単位として扱われる（フアクシミリなどで扱う2値の文書画像において、一次元方向に連続する白画素、あるいは黒画素のかたまりを「ラン」として符号化の単位とする例は周知である）。
ここで、色が近いことを判定する方法には様々な手法を採用することができるが、例えば画素値の各色成分（RGBなど）の差の2乗和などを計算し、これを画素間の色相違度とみなして、この値が実験値等を基に予め定めておいた基準値よりも小さい場合に近いと判断する、という方法を用いることが可能である。
また、このときに、抽出した各ランの色を定義しておく。色の定義は、ランを構成する画素が持つ色データの平均値やメジアンなどを用いることにより行うことが可能であるが、本例ではメジアンを用いることとする。ランを圧縮画像の各行ごとに求め、このステップを終了する。
【００２５】
次に、連結成分生成手段１０５によりランの連結成分を生成する（Ｓ５）。この処理では、前段のステップＳ４で水平方向の連続画素について求めたランを対象として、垂直方向に接するもの同士の色を比較し、色が近ければ連結成分として統合する。このようにすれば、文字候補となるひとかたまりの画素がひとつの連結成分として抽出できることになる。図３は、連結成分の生成状態を示す。同図示のように、隣接ランの色が近いラン同士を連結成分として統合し、色が遠い隣接ランは連結せずに非統合にすると、入力した文字画像「すり」に対する連結成分を生成することができる。
次に連結成分選別手段１０６により連結成分の選別を行う（Ｓ６）。前段のステップＳ５で求めた連結成分は、その中には文字でないものが多数含まれている、いわば文字候補である。例えば、非常に小さな連結成分はノイズである可能性が高く、これをそのまま後段の処理に渡すと精度の低下や処理速度の低下を招く可能性がある。そこで、ある一定以下の大きさの連結成分は削除する作業を行う。もちろん、連結成分の大きさ以外の条件、例えば周囲との明るさの関係等で選別を行っても良い。
【００２６】
次に、外接矩形統合手段１０７により連結成分の外接矩形の統合処理を行う（Ｓ７）。
この外接矩形統合処理は、前段のステップＳ６で選別された文字に相当する連結成分を対象にして、文字行として統合するための規則に従ってこの連結成分を統合して文字行候補の矩形領域を生成する処理である。
統合規則は、連結成分の外接矩形同士の関係が、サイズ、色がそれぞれ似ており、さらに距離が接近している場合に、統合するという規則による。
図４は、統合規則に従って連結成分の外接矩形の統合を行う処理を説明する図である。図４において、連結成分の外接矩形同士のサイズに着目した場合には、図中の(A)に示すように、破線で囲まれたグループG1と他のグループG2はサイズが異なるので統合しない。また、連結成分の外接矩形同士の色に着目した場合には、図中の(B)に示すように、グループG1と他のグループG3は色が異なるので統合しない。また、連結成分の外接矩形同士の距離に着目した場合には、図中の(C)に示すように、グループG1と他のグループG4は距離が離れているので統合しない。なお、グループG1内の外接矩形は、統合されてこのグループを構成する。なお、グループG1内の外接矩形は、サイズ、色がそれぞれ似ており、さらに距離が接近している場合に当たるので、統合されてこのグループを構成する。
このような統合規則によって、グループ化された連結成分の外接矩形領域を文字行候補として生成する。
【００２７】
次に、連結成分生成手段１０５及び連結成分選別手段１０６により連結成分の再生成処理を行う（Ｓ８）。
連結成分の再生成処理は、本発明を特徴付ける要素であり、後段の文字行判定処理において誤判定を防ぐために行う。この処理は、前段のステップＳ７で統合された文字行判定に用いる文字行候補を対象に、先の連結成分生成処理手順（Ｓ５）及び連結成分選別処理手順（Ｓ６）で欠落した部分を補い、文字特徴を示す連結成分を復元するために、連結成分の生成と連結成分の選別の各々においてその処理条件を緩めて再びこの処理を実行する。
上記した欠落部分について説明を補足すると、対象画像に例えば、図５に示すように、印刷のずれ等の原因により肉眼では単一色の文字行として認識できても、微視的には多数の色の画素で構成されている文字が存在する場合がある。この場合、装置が備える色の検出精度は、これらの色の違いを検出してしまうので、連結成分を生成する際に、文字の一部を欠落した形で文字ランを抽出してしまい、後で行う文字行判定時に抽出された文字行を構成する画素数が過小評価され、特に文字が小さい場合には、文字でないと判断されてしまう可能性が高くなる。
そこで、この連結成分の再生成処理では、前段のステップＳ７で連結成分の外接矩形を統合することにより文字行候補を求めた後、求めた文字行候補の領域を示す座標値内で再度、連結成分生成手段１０５により連結成分の生成を行う。ただし、再生成の際には、やや違った色の画素に対しても連結可能とするように、画素が近い色（同一色）を持つと判定する条件を緩め、欠落のない文字連結成分を構成するための画素として統合する。
【００２８】
さらに、この連結成分の再生成処理では、再生成した連結成分に対して選別処理を行う。この処理は、文字でないノイズに当たる連結成分を除くために行われる上記ステップＳ６と同様の処理であるが、再生成処理では、ノイズではない濁点（濁音符）等の文字の一部をなす連結成分が除かれることが回避できるように、選別する連結成分の大きさに関する条件を緩め、欠落のない文字連結成分を構成するための画素として、次の処理手順で行う文字行の判定の対象となるデータとして用いるようにする。
ところで、上記した印刷ずれ等による文字行の判定に与える影響は、文字が小さい場合に顕著に現れるので、文字が大きいと判断される場合には、文字行候補内の画素に対する連結成分の再生成処理は行わないことで処理を高速化するという方法を採用して実施することが可能である。
この方法を採用するにあたっては、一旦連結成分の外接矩形を統合した（Ｓ７）後、連結成分の再生成処理（Ｓ８）に入る前に、統合した外接矩形内の文字サイズを求め、連結成分の再生成処理を必要とするサイズとして予め定められた基準内の文字サイズを有するか否かをチェックし、この再生成処理を適用するという判定を行い、実行に移すようにする。
ここで、文字サイズのチェックに用いる文字の大きさを表す量としては、既に求めた文字行候補の高さや、文字行候補を構成する連結成分（文字外接矩形）の大きさにより推定し、これを文字サイズとして用いることが可能である。
【００２９】
次に、文字行判定手段１０８により、文字行であるかを判定する（Ｓ９）。
この文字行判定処理は、先の外接矩形統合処理手順（Ｓ７）で統合された連結成分の外接矩形（文字行候補）を対象にして、それが真に文字行であるかの判定を行う。なお、ここで対象にする文字行候補は、基準に従って再生成処理が必要なものに対しては、前段の連結成分の再生成処理（Ｓ８）が適用され、この処理により欠落のない文字連結成分が補正された文字行候補とする。
文字行判定処理では、ここまでで文字行を抽出するために絞り込んできた連結成分には文字行が含まれているが、図や写真の一部などを誤って統合するなどした、文字行でないものが含まれている可能性もあり、その意味では文字行候補である。そこで、このステップではさらに絞り込みを行うために文字行の吟味を行う。
この絞り込みを行うための具体的な方法は、公知文献（特開2002-288589号公報）にも記述がある方法を適用することができる。例えば、領域内のエッジ強度や、文字行候補を構成する連結成分と周囲の画素との色差、連結成分と文字行候補領域（統合された外接矩形領域）の面積比などの特徴の量的関係により判定する方法を用いるようにする。これらの例の場合、エッジ強度が強く、色差は大きいほど文字らしいと判断され、面積比に関しては極端な値ではなく、ある範囲内にあるものを文字らしいと判断することによる。
ここでは、求めた複数の特徴量を総合的に判断して、文字行でないものを削除する。判断の方法は、例えば特徴量と、文字行とわかっている学習データから求めた典型値との差の絶対値の線型和がある閾値よりも小さいものを文字らしいとして判断する、などの方法をとる。即ち、特徴量ｉの典型値と実測値をそれぞれ、ｔｉ，ｍｉとおき、各特徴量の判定に対する重要度(寄与度)をあらわす重みをｗｉとおく。合計ｎ種の特徴量が存在するとすると、線型和Ｓは 、下記式(1)により計算する。なお重みｗｉは、判定ができるだけ正確になるように、予め実験的に定めておくと良い。
上記のように、文字行候補を構成する連結成分の特徴量による判定方法を用いる場合に、前段の連結成分の再生成処理（Ｓ８）において、欠落のない文字連結成分を復元するようにしたので、本来、文字行であるものが誤判定され、抽出漏れを生じることがないようになる。
【００３０】
【数１】
次に、文字行候補として求めた連結成分の外接矩形に含まれる誤統合文字行を行分割手段１０９により分割し、適切な文字行を生成する処理を行う（Ｓ１０）。
この行分割処理手順は、本発明を特徴付ける要素であり、前段までの処理過程で絞り込まれた文字行候補に複数行分が1行として誤統合されたものが含まれることがあり、それを改善するために行う。
即ち、文字外接矩形の統合による文字行候補を生成する（Ｓ７）際に、文字外接矩形間における高さ方向の座標値の差異、幅方向の座標値の差異、距離限界値、色差を条件として統合の可否を判定し、判定結果により統合を行うとしているので、この統合条件が満たされる場合として、例えば図６の統合例に示すように、複数行（この例では、２行）の文字行同士が接近して配置され、一方の行に属している連結成分がわずかに他方に、はみ出している場合がある。図６に示す例では、本来個別に生成されるべき文字行が融合して1行として抽出されてしまう（図６では２行の文字列を囲む破線が、統合後に1行として誤抽出された矩形を示す）。この場合、抽出された領域を1行の対象文字列として文字認識を行っても、正しい認識結果が得られない。
そこで、前段までの処理手順により求めた文字行らしいと判定された文字行候補を対象に誤統合を判定し、誤統合領域に対し単位行への分割を行うことにより適切な文字行を抽出する分割処理手順を行うようにする。
【００３２】
図７は、本実施形態に係る行分割処理（Ｓ１０）のより詳細なフローを示すチャートであり、図８は、本実施形態に係る行分割手段１０９のより詳細な構成を示すブロック図である。
本例の行分割手段１０９について図８を参照して説明すると、矩形領域サイズ取得手段１０９−０１は、文字行判定手段１０８からの文字行らしいと判定された文字行候補（統合された矩形領域）に対応する処理対象画像等のデータから矩形領域のサイズを取得する手段である。
連結成分数計数手段１０９−０２は、矩形領域内にある連結成分の数を計数する手段である。
分割数設定手段１０９−０３は、設定を可変とした分割数を仮定して、その数の適正を吟味するために可変の分割数を設定する手段である。
分割判定用領域設定手段１０９−０４は、分割数に応じた分割判定用領域を設定する手段である。
連結成分存在位置吟味手段１０９−０５は、設定した分割数により区分された領域間にまたがる連結成分があるか、その数を求める手段である。
矩形領域の再設定手段１０９−０６は、分割数設定手段１０９−０３の分割数を再設定する手段である。
なお、上記各手段の機能の詳細については、後述の処理手順の説明を参照することとする。
【００３３】
次に、行分割処理手順を図７のフローチャートを参照して説明する。なお、以下の説明は、上記行分割手段の動作説明を兼ねる。
図７のフローによると、まず矩形領域サイズ取得手段１０９−０１で処理対象の文字行候補である矩形領域のサイズを取得し（Ｓ１０１）、取得したサイズによって行分割の対象領域に当たるか否かを吟味する(Ｓ１０２)。即ち、行の高さに相当する矩形領域の一辺の長さが小さい場合は、行が誤って統合されている可能性が低いので、分割処理をパスして、次段の文字領域出力処理手順（Ｓ１１）に移行させる。
ここで、矩形領域の一辺の長さが大きい場合は、分割処理手順に入り、連結成分数計数手段１０９−０２で矩形領域内にある連結成分の数を計数し（Ｓ１０３）、計数値によって行分割の対象領域に当たるか否かを吟味する(Ｓ１０４)。即ち、連結成分の数が少ない場合は、行が誤って統合されている可能性が低いので、分割処理を止めて、次段の文字領域出力処理手順（Ｓ１１）に移行させる。
他方、連結成分の数が多い場合は、行が誤って統合されている可能性があるから、分割数設定手段１０９−０３で、該当矩形領域にいくつの行が誤って統合されているという仮定のもとに、仮定した条件を分割領域数によって設定する(Ｓ１０５)。このときに設定する分割領域数は、いくつでもかまわないが、ここでは２分割であると仮定した処理を例に説明する。なお、２分割を仮定した処理を優先させ、その設定で処理を行った後、別の分割数を仮定して処理を繰り返すという方法を採用してもよい。
【００３４】
次に、分割判定用領域設定手段１０９−０４では、分割数設定手段１０９−０３で設定された分割領域数を受けて、分割数に応じた分割判定用領域の設定を行う（Ｓ１０６）。本例のように２分割を設定した場合は、図９の（ａ）に示すような、行の方向に平行な、２本の直線状の座標値を領域として設定する。ここでは、直線の位置は、行候補の矩形領域が有する高さを例えば３分する座標値に設定し、分割領域と行候補にある連結成分の位置関係を次の処理手順でチェックする。
このチェック処理は、連結成分存在位置吟味手段１０９−０５により連結成分存在位置吟味処理手順を行い、２本の直線領域にまたがって存在する連結成分の数を数え（Ｓ１０７）、この後、該当する連結成分の数が多数あるか否かをチェックする（Ｓ１０８）ことにより、分割領域に対する連結成分の位置関係を知り、分割の可否を判断する。
つまり、前段で中心線（矩形領域の高さ／２）にまたがる連結成分の数を求め、 得られた連結成分の数が多数あれば、図９の（ｂ）に示すように、２行が１行に誤って統合されたわけではなく、もともとが1行だと判断できる（Ｓ１０８-YES）ので、領域を分割しない。逆に、図９の（ａ）に示すように、このような連結成分がなかったり、非常に少ない場合には、もともとが２行だったと判断できる（Ｓ１０８-NO）ので、矩形領域の再設定手段１０９−０６で２分割するように矩形領域を定義し直し（Ｓ１０９）、新たな領域定義に従って再度ステップＳ１０１からの行分割処理手順を行う。
【００３５】
また、２本の直線領域にまたがって存在する連結成分の数をチェックする手順で、条件に合致する多数の連結成分を得た場合には（Ｓ１０８-YES）、２分割だけでなく他の分割数も試すために、分割数を設定する手順（Ｓ１０５）から繰り返し処理を行う。あらかじめ定められた分割条件をすべて吟味し終えたら（Ｓ１１０）、図７の処理フローに示される行分割処理のサブルーチンを抜け、次の文字領域出力の処理手順に移行する。
なお、分割数はいくつか設定が可能であるが、誤統合の発生のしやすさは、２行において一番発生頻度が高く、３，４・・と増えるに従って頻度は低下する傾向がある。そのため、「２行の統合」との判断のされやすさと、「３行の統合」との判断のされやすさに差をつけ、「２行の統合」の方を判断されやすくしたほうが、この分割処理の副作用である行の過分割が発生し難くなる。具体化するための手法としては、連結成分の数が多数あるか否かをチェックする手順（Ｓ１０８）での判断の基準を、仮定した条件を分割領域数によって設定する手順(Ｓ１０５)で仮定した分割数によって変化させることが有用である。
上記の様にして文字行候補に発生し得る誤統合を分割し、適切な文字行を生成する処理を行うことにより、文字行の領域が抽出できたことになり、この座標値を処理結果として出力し（Ｓ１１）、処理フローを終了する。
【００３６】
「実施形態２」
本実施形態は、上記した「実施形態１」の文字領域認識処理において、コントラスト調整に代わる手順として手順の一部を改変する。
文字領域認識処理の対象画像において、画像全体のコントラストが小さい場合、色差も小さくなるので文字行候補が抽出されにくくなる。この場合、実施形態１のように、画像全体のコントラストを上げるコントラスト調整処理（Ｓ３）を行うことにより、改善を図る方法がある。しかしながら、この方法の問題点は、やや時間がかかる点にある。本実施形態では、高速処理を可能にする方法を採用して低コントラスト画像を対象にした場合の背景と文字の融合を防ぎ、抽出精度を向上させることを意図する。
図１０は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図１１は、本実施形態に係る画像処理装置の構成を示すブロック図である。
図１１を参照して本実施形態に係る画像処理装置を説明すると、本実施形態における改変部分は、上記「実施形態１」のコントラスト調整手段１０３（図２参照）に代えて、コントラスト算出手段２０３を設け、この手段で求めるコントラストの算出結果をラン生成手段２０４、連結成分生成手段２０５及び文字行判定手段２０８の処理条件に反映させる点にある。新たな構成要素となるコントラスト算出手段２０３は画像入力手段２０１、圧縮画像生成手段２０２からの入力を受け、入力画像における特定の色成分について、画像が全体的にコントラストが低い画像を検出し、検出されたコントラストに関するデータを生成し、このデータを用いるラン生成手段２０４、連結成分生成手段２０５及び文字行判定手段２０８に送出する。
上記した改変部分に係わる手段以外は、基本的に上記「実施形態１」と同様の装置構成により、ラン生成手段２０４、連結成分生成手段２０５、連結成分選別手段２０６、外接矩形統合手段２０７、文字行判定手段２０８、行分割手段２０９、文字領域出力手段２１０を設ける。
【００３７】
次に、本実施形態に係る画像処理方法を図１０のフローチャートを参照して説明する。なお、以下の説明は、上記画像処理装置（図１１）の動作説明を兼ねる。
本実施形態に係る画像処理方法は、図１０のフローチャートに示すように、画像入力手段２０１により処理対象の画像入力（Ｓ２１）を行い、入力された原画像に対し圧縮画像生成手段２０２により圧縮処理（Ｓ２２）を上記「実施形態１」に示したと同様に実行する。
次いで、原画像と圧縮画像のコントラストを取得するためのコントラスト算出処理を行う（Ｓ２３）。このコントラストの取得は、コントラスト算出手段２０３によって行われ、入力画像が全体的に低コントラストの画像である場合に、後段のラン生成（Ｓ２４）、連結成分生成（Ｓ２５）、連結成分再生成（Ｓ２８）及び文字行判定（Ｓ２９）の各処理において処理条件の変更を要する対象画像になるので、このような画像を検出し、検出された画像のコントラストに関するデータを算出する。具体的な方法として、例えば、画像を構成するある色成分の画素値のヒストグラムを画像全体に対し作成し、その分布範囲が狭い場合に低コントラスト画像とみなし、該当する画像に対し、処理条件を変更する必要がある低コントラストであることを示す定性的な、或いは程度を示す定量データを付加するといった方法などにより実施可能である。
コントラスト算出処理を行った後、ラン生成（Ｓ２４）、連結成分生成（Ｓ２５）、連結成分再生成（Ｓ２８）の各処理手順を基本的には上記「実施形態１」に示したと同様に実行するが、これらの処理では、隣接する画素やランの色差を求め、その色差が小さいときにラン或いは連結成分を統合するという判断のもとにその処理を行う。よって、画像全体のコントラストが小さい場合、この色差も小さくなるので文字と背景が融合してしまい、文字行候補が抽出され難くなる。
そこで、本実施形態では、コントラスト算出処理（Ｓ２３）によって得られた低コントラスト画像に関するデータを用いて、処理条件に必要な変更を施す。ここでは、隣接する画素やランの色を比較して同色とみなす基準を低コントラスト画像データに基づいて変更する、つまり、同色とみなし難くする方向に基準を変更する。
以上のような低コントラスト画像に対する処理方法を採用することにより、背景と文字の融合を防ぐことができる。
【００３８】
また、本実施形態では、文字行判定の処理（Ｓ２９）においても、コントラスト算出処理によって得られた低コントラスト画像に関するデータを用いて、処理条件を変更する。
本実施形態の文字行判定の処理（Ｓ２９）も、基本的には上記「実施形態１」に示したと同様の処理方法をとる。上記「実施形態１」の説明に示したように、種々の画像特徴量の線型和（式(1)参照）などで、文字らしさを計算する。
この文字らしさの計算では、特徴量として文字行候補領域内のエッジ強度や、行候補を構成する連結成分と周囲の画素との色差を使っている場合、画像全体が低コントラストでは、これらの値は小さくなる傾向がある。画像全体が低コントラストの場合は、文字行であってもこれらの値が大きくはならないので、文字らしさを表す式(1)の値が、文字らしい値にならない可能性がある。結果として文字行として判定されずに、抽出漏れとなってしまうことが起こり得る。
このような抽出漏れを防止するために、文字行判定の処理（Ｓ２９）において、コントラスト算出処理（Ｓ２３）によって得られた低コントラスト画像に関するデータを用いて、処理条件を変更して、別の処理を行うことが有効である。
処理条件の変更を具体化するための簡単な方法として、文字行を閾値処理により判定する場合に、閾値を大きくすることで、文字行と判定し易くする方法もある。ただ、この方法では、画像のコントラストとは関係ない特徴量が、文字らしくない特徴を示している文字行候補でも文字と判定されやすくなる問題点がある。
処理条件の変更を具体化するための他の方法は、低コントラストと判断された画像に対し、式(1)において、画像全体のコントラストに影響される特徴量にかかる重みｗｉのみの値を小さくし、求める線型和Ｓがコントラストの影響を余り受けないようにする方法がある。この方法を用いる場合には、勿論、閾値自体の変更を合わせて行ってもかまわない。
さらに、上記のような重みｗｉの変更を、特徴量のうちでコントラストに関連したものだけが文字らしくなく、他の特徴量が文字らしい値を示している場合にのみ行ってもよい。この処理は、重みｗｉの変更により文字でないものが文字と判定される傾向が強まってしまった場合に、これを補正する効果がある。
なお、本実施形態の処理フロー（図１０）において、低コントラスト画像に関するデータを用いて、処理条件の変更を行う必要のない連結成分選別処理（Ｓ２６）、外接矩形統合処理（Ｓ２７）、行分割処理（Ｓ３０）、文字領域出力処理（Ｓ３１）の各処理手順は、上記「実施形態１」に示したそれぞれに対応する処理手順Ｓ６，Ｓ７，Ｓ１０，Ｓ１１と同様に実施し得る。従って、ここでは上記「実施形態１」の説明を参照することとし、記載を省略する。
以上の処理を行うことで、画像全体のコントラストの変更というやや時間のかかる処理を行わなくとも、低コントラスト画像からの文字領域の抽出が正しく行えるようになる。
【００３９】
「実施形態３」
本実施形態は、上記「実施形態１」，「実施形態２」に示した文字領域抽出を行う画像処理フローの各処理手順を実行する手段として、汎用の処理装置（コンピュータ）を利用する実施形態を示すものである。
図１３は、本実施形態の処理装置の構成を示す。図１３に示すように、本実施形態は、汎用の処理装置（コンピュータ）により実施する例を示すものであり、構成要素としてＣＰＵ４０１、メモリ４０２、ハードディスクドライブ４０３、入力装置４０４、ＣＤ−ＲＯＭドライブ４０５、ディスプレイ４０６、マウスなどを備える。また、ＣＤ−ＲＯＭドライブ４０５が用いるＣＤ−ＲＯＭなどの記録媒体４０７には、本発明の文字領域抽出の画像処理手順をコンピュータに実行させるためのプログラム（ソフトウェア）が記録されている。
処理対象の原稿画像は、スキャナー等の入力装置６０４により入力され、例えばハードディスク６０３などに格納されているものである。ＣＰＵ６０１は、記録媒体６０７から上記した文字領域抽出の画像処理手順を実現するプログラムを読み出し、プログラムに従う文字領域抽出処理を対象画像に実行し、その結果を文字認識処理などの抽出した文字領域データを必要とする他の画像処理手順に利用するために出力する。
このように、コンピュータに文字領域抽出処理を行うためのプログラムに従う動作を行わせることにより、該コンピュータを本発明の画像処理装置を構成する手段として機能させる。
【００４０】
「実施形態４」
本実施形態は、上記「実施形態１」，「実施形態２」に示した文字領域抽出を行う画像処理フローの各処理手順を実行する手段として、サーバー・クライアントシステムを利用する実施形態を示すものである。
図１４は、本実施形態の処理装置のシステム構成を示す。図１４に示すように、本実施形態は、サーバー・クライアントシステムにより実施する例を示すものであり、ＣＰＵ５０１、メモリ５０２、ハードディスクドライブ５０３、ルーター５０５とネットワークカード５０４よりなるインターフェース部などを備えるサーバー５０と、このサーバー５０にインターネット網を介して接続されたクライアントＰＣ５０６〜５０８を要素としてシステムを構成する。
本実施形態では、サーバーが文字領域抽出処理を行うので、サーバー５０のハードディスクドライブ５０３が用いる記録媒体に、本発明の文字領域抽出の画像処理手順を記録したプログラム（ソフトウェア）を格納して、サーバー５０側のコンピュータによりプログラムに従う画像処理手順を行わせる。
クライアントＰＣ５０６〜５０８が、作業を指示するメッセージと、処理対象画像および参照画像をサーバー５０に送る。なお、作業の指示は、文字領域抽出のみとしてもよいが、ここでは、文字領域抽出処理を一部に含む文字認識処理をサーバー５０に対する作業として指示する実施形態を想定したもので、参照画像は文字認識処理に利用可能な情報としてサーバー５０における作業を支援するために送られる。
サーバー５０側ではルーター５０５、ネットワークカード５０４を経て、クライアントＰＣ５０６〜５０８からの画像と作業指示をハードディスク５０３に格納する。ＣＰＵ５０１は、作業指示内容を読み出したのち、ハードディスク５０３に格納されている上記した文字領域抽出の画像処理手順を実現するプログラムを含む文字認識処理に必要なプログラムと処理対象となる画像をメモリ５０２に読み出して、このプログラムに従う画像処理を実行する。処理後には、得られた文字認識結果を再びインターネット網を通してクライアントＰＣ５０６〜５０８へ送出する。
このように、サーバー５０のコンピュータに文字領域抽出処理プログラムに従う動作を行わせることにより、該コンピュータを本発明の画像処理装置を構成する手段として機能させる。また、本実施形態によれば処理はサーバー５０側で行うため、クライアントＰＣ５０６〜５０８にプログラムを導入する必要がないので、クライアント側は導入のための時間・コストが節約できる。
【００４１】
【発明の効果】
（１）請求項１〜６の発明に対応する効果
統合された外接矩形（文字行候補）から文字連結成分によるとみなせるものを判定する文字行判定処理の前段で、一旦統合された外接矩形（文字行候補）内の画像に対し条件を変更して連結成分を再生成する処理を行うようにしたことにより、厳しい条件のもとで欠落した文字の構成画素（例えば、印刷ずれによる僅かな色の違いや文字の濁点など）を復元することができ、後段の文字行判定処理の誤りをなくすことができるので、対象画像の文字領域を表す適切な情報の取得を可能にする。
（２）請求項７，８の発明に対応する効果
請求項６に記載された画像処理方法の各処理手順を実行するためのプログラムをコンピュータに搭載することにより、上記（１）の効果を容易に具現化することが可能になる。
【図面の簡単な説明】
【図１】 文字領域抽出処理を行う本発明に係る画像処理方法の処理フロー（実施形態１）を示すチャートである。
【図２】 文字領域抽出処理を行う本発明に係る画像処理装置の構成（実施形態１）を示すブロック図である。
【図３】 ランの統合による連結成分の生成状態を示す図である。
【図４】 統合規則に従って連結成分の外接矩形の統合を行う処理を説明する図である。
【図５】 僅かな色ずれにより文字に欠落が起きる場合を例示する説明図である。
【図６】 ２行の文字行同士が接近して配置されたために誤統合される場合を例示する説明図である。
【図７】 図１における行分割処理（Ｓ７）の詳細フローを示すチャートである。
【図８】 図２における行分割手段のより詳細な構成を示すブロック図である。
【図９】 文字行候補に行分割処理を適用し、分割される場合と分割されない場合を例示する説明図である。
【図１０】 文字領域抽出処理を行う本発明に係る画像処理方法の処理フロー（実施形態２）を示すチャートである。
【図１１】 文字領域抽出処理を行う本発明に係る画像処理装置の構成（実施形態２）を示すブロック図である。
【図１２】 本来個別に生成されるべき文字行が融合して1行として抽出されてしまう場合を例示する説明図である。
【図１３】 本発明の画像処理装置を実施し得る汎用コンピュータの構成を示すブロック図である。
【図１４】 本発明の画像処理装置を実施し得るサーバー・クライアントシステムの構成を示すブロック図である。
【符号の説明】
１０１，２０１…処理対象画像入力手段、
１０２，２０２…圧縮画像生成手段、
１０３…コントラスト調整手段、
２０３…コントラスト算出手段、
１０４，２０４…ラン生成手段、
１０５，２０５…連結成分生成手段、
１０６，２０６…連結成分選別手段、
１０７，２０７…外接矩形統合手段、
１０８，２０８…文字行判定手段、
１０９，２０９…行分割手段
１１０，２１０…文字領域出力手段
４０１，５０１…ＣＰＵ、 ４０２，５０２…メモリ、
４０３，５０３…ハードディスクドライブ、
４０４…入力装置、 ５０４…ネットワークカード、
４０５…ＣＤ−ＲＯＭドライブ、 ５０５…ルーター、
４０６…ディスプレイ、 ５０６〜５０８…クライアントＰＣ、
４０７…ＣＤ−ＲＯＭ。
Claims (8)
- 処理対象として入力された多値画像或いはその圧縮画像から同色とみなせる画素をランとして抽出する手段と、隣接するランを統合して連結成分を生成する手段と、連結成分のうち文字とみなせない不要成分を排除する手段と、不要成分が排除された連結成分の外接矩形を統合する手段と、統合された外接矩形から文字連結成分によるとみなせるものを判定する手段と、判定された文字連結成分によるとみなせる外接矩形を文字領域情報として出力する手段とを有する画像処理装置であって、統合された外接矩形から文字連結成分によるとみなせるものを判定する前記手段の入力段に、連結成分の外接矩形を統合する前記手段により一旦統合された外接矩形内の画像に対し条件を変更して連結成分を再生成する手段を備えたことを特徴とする画像処理装置。
- 請求項１に記載された画像処理装置において、連結成分の外接矩形を統合する前記手段により一旦統合された外接矩形内の文字サイズに基づいて、連結成分を再生成する前記手段を適用するか否かを判定する手段を備えたことを特徴とする画像処理装置。
- 請求項２に記載された画像処理装置において、統合された外接矩形、連結成分の少なくとも一方のサイズによって、連結成分を再生成する前記手段を適用するか否かの判定に用いる文字サイズを推定する手段を備えたことを特徴とする画像処理装置。
- 請求項１乃至３のいずれかに記載された画像処理装置において、連結成分を再生成する前記手段は、同色とみなせる画素の条件を緩和して連結成分を生成する手段であることを特徴とする画像処理装置。
- 請求項１乃至４のいずれかに記載された画像処理装置において、連結成分を再生成する前記手段により生成された連結成分に対して、連結成分のうち文字とみなせない不要成分を排除するための条件を緩和して該不要成分を排除する手段を備えたことを特徴とする画像処理装置。
- 処理対象として入力された多値画像或いはその圧縮画像から同色とみなせる画素をランとして抽出する処理手順と、隣接するランを統合して連結成分を生成する処理手順と、連結成分のうち文字とみなせない不要成分を排除する処理手順と、不要成分が排除された連結成分の外接矩形を統合する処理手順と、統合された外接矩形から文字連結成分によるとみなせるものを判定する処理手順と、判定された文字連結成分によるとみなせる外接矩形を文字領域情報として出力する処理手順とを実行する画像処理方法であって、さらに統合された外接矩形から文字連結成分によるとみなせるものを判定する前記処理手順の前段で、連結成分の外接矩形を統合する前記処理手順により一旦統合された外接矩形内の画像に対し条件を変更して連結成分を再生成する処理手順を実行することを特徴とする画像処理方法。
- 請求項６に記載された画像処理方法の各処理手順をコンピュータに実行させるためのプログラム。
- 請求項７に記載されたプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003164915A JP4240296B2 (ja) | 2003-06-10 | 2003-06-10 | 画像処理装置、画像処理方法及び該方法の実行に用いるプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003164915A JP4240296B2 (ja) | 2003-06-10 | 2003-06-10 | 画像処理装置、画像処理方法及び該方法の実行に用いるプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005004334A JP2005004334A (ja) | 2005-01-06 |
| JP4240296B2 true JP4240296B2 (ja) | 2009-03-18 |
Family
ID=34091557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003164915A Expired - Fee Related JP4240296B2 (ja) | 2003-06-10 | 2003-06-10 | 画像処理装置、画像処理方法及び該方法の実行に用いるプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4240296B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5075997B2 (ja) | 2011-03-30 | 2012-11-21 | 株式会社東芝 | 電子機器、プログラムおよび文字列認識方法 |
| JP5547226B2 (ja) * | 2012-03-16 | 2014-07-09 | 株式会社東芝 | 画像処理装置、及び画像処理方法 |
| JP6119427B2 (ja) * | 2013-05-28 | 2017-04-26 | コニカミノルタ株式会社 | 画像処理装置、画像読取装置、画像処理装置の制御方法、及び画像処理装置の制御プログラム |
| CN116703899B (zh) * | 2023-08-03 | 2023-10-24 | 青岛义龙包装机械有限公司 | 基于图像数据的袋式包装机产品质量检测方法 |
-
2003
- 2003-06-10 JP JP2003164915A patent/JP4240296B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005004334A (ja) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8582888B2 (en) | Method and apparatus for recognizing boundary line in an image information | |
| KR100625755B1 (ko) | 문자 인식 장치, 문자 인식 방법, 매체 처리 방법 및 문자 인식 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| JP4403513B2 (ja) | 指紋隆線認識装置、指紋隆線認識方法、及びプログラム | |
| JP5768590B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2014225932A (ja) | 文字の形状特徴を使用した文字比較による文書改変検知方法 | |
| JP4243454B2 (ja) | 明度補正方法及び選択的欠陥検出方法及びこれらを記録した記録媒体 | |
| US7769234B2 (en) | Ruled line extracting program, ruled line extracting apparatus and ruled line extracting method | |
| JP2002288589A (ja) | 画像処理方法、画像処理装置および画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US7873226B2 (en) | Image encoding apparatus | |
| CN101256630A (zh) | 用于改善文档图像二值化性能的去噪声装置和方法 | |
| JP4392907B2 (ja) | 文字切出し方法 | |
| CN1363911A (zh) | 图象处理设备和由一个多级图象产生二进制图象的方法 | |
| JP4240296B2 (ja) | 画像処理装置、画像処理方法及び該方法の実行に用いるプログラム | |
| US20050271260A1 (en) | Device, method and program for removing pores | |
| JP2004336282A (ja) | 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体 | |
| US8830529B2 (en) | Image processing device for accurately identifying region in image without increase in memory requirement | |
| KR100513784B1 (ko) | 영상 개선 방법 및 장치 | |
| JP5523537B2 (ja) | 文書画像の行分割方法及び行分割システム | |
| US10458923B2 (en) | Print data processing method, print data processing device, and recording medium having recorded therein print data processing program | |
| JP4867903B2 (ja) | 画像処理プログラム及び画像処理装置 | |
| JP5424694B2 (ja) | 画像認識装置、及びプログラム | |
| JP4825888B2 (ja) | 文書画像処理装置および文書画像処理方法 | |
| JP2006309402A (ja) | 文字列認識方法、ナンバープレート認識方法、及び装置 | |
| JP4227530B2 (ja) | 画像処理装置および画像処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム | |
| JP4070486B2 (ja) | 画像処理装置、画像処理方法及び同方法の実行に用いるプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081217 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4240296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |