JP3972751B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、文字認識処理によらずに画像データの文字画像を含む領域を判別する画像処理装置に関する。
【０００２】
【従来の技術】
従来、文書原稿にかかる画像データから文字画像のみを含む領域（以下、「文字画像領域」という）を分離し、文字画像を構成する画素のみからなる画像データ（以下「文字画像データ」という）を抽出する処理は、文字認識処理を用いて行っていた。しかし、文字認識処理はＯＳに依存すること、辞書ファイルを用いること等により、スキャナや専用の画像処理装置への組み込みには不向きであった。
【０００３】
一方、文字認識処理によらずに文字画像領域を判別する方法として、特開平９−１８６８６１号公報に記載のものが知られている。当該方法は、文字画像の周辺領域は単一色であり周波数成分の殆どは直流成分になるという前提で，抽出した領域が文字画像領域であるか否かを判断するものであるが、雑誌等のスクリーンで再現されている色領域上の文字等は周辺領域の周波数特性が上記特性を示さず、正しく文字画像領域が抽出されないという問題があった。また、所定ブロック（８×８ＤＣＴ変換）単位で判別を行っており、誤判別があった場合等文字が部分的に欠損したり文字列内で違和感のある画像になってしまったりするという欠点があった。
【０００４】
一方、文書画像データの画像処理にあっては、文書画像領域を必ずしも文字画像のみを含む領域としてではなく主として文字画像を含む領域（以下「文字画像包含領域」という）として抽出すれば足り、このようにして得られた文字画像包含領域に対して文字画像に適した画像処理を施すことにより、文書画像データの画像処理を簡便かつ迅速に行うことができる場合がある。
【０００５】
【発明が解決しようとする課題】
本発明は上記従来技術の有する問題点に鑑みなされたものであり、その目的とするところは、文字認識処理によらずに文字画像領域を判別する画像処理装置であって、スクリーン等で再現された複雑な色領域上の文字画像であっても文字画像領域を正しく判別でき、かつ文字の部分的欠損等の不具合を生じることなく文字画像領域を抽出することのできる画像処理装置を提供することにある。
【０００６】
本発明の他の目的は、対象領域の設定に応じて、簡便かつ迅速に入力画像データから文字画像包含領域を抽出することができる画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の上記目的は、下記の手段によって達成される。
【０００８】
（１） 入力画像データの対象領域内において当該入力画像データに対する斜め方向エッジ成分を抽出する斜め方向エッジ成分抽出手段と、前記対象領域における前記斜め方向エッジ成分の含有率を算出する斜め方向エッジ成分含有率算出手段と、前記斜め方向エッジ成分の含有率により前記対象領域が文字画像を含む領域か否かを判別する文字領域判別手段と、を有することを特徴とする画像処理装置。
【０００９】
（２） 前記文字領域判別手段は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記対象領域が文字画像を含む領域であると判別するものである（１）に記載の画像処理装置。
【００１０】
（３） 前記斜め方向エッジ成分抽出手段は、入力画像データの頁全体を前記対象領域として斜め方向エッジ成分を抽出するものである（１）または（２）に記載の画像処理装置。
【００１１】
（４） 前記斜め方向エッジ成分抽出手段は、入力画像データの頁を複数に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（１）〜（３）のいずれか１つに記載の画像処理装置。
【００１２】
（５） 前記斜め方向エッジ成分抽出手段は、入力画像データの頁を縦または横のいずれかに分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（１）〜（４）のいずれか１つに記載の画像処理装置。
【００１３】
（６） 前記斜め方向エッジ成分抽出手段は、入力画像データの頁を縦および横に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（１）〜（５）のいずれか１つに記載の画像処理装置。
【００１４】
（７） 前記斜め方向エッジ成分抽出手段は、前記入力画像データから得られたエッジ画像データの所定方向および前記所定方向に直交する方向のエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を前記対象領域として斜め方向エッジ成分を抽出するものである（１）〜（６）のいずれか１つに記載の画像処理装置。
【００１５】
（８） 入力画像データからエッジ画像データを作成するエッジ画像データ作成手段と、
前記エッジ画像データの主走査および副走査方向のエッジ画素の間隔を計測し、前記間隔が所定画素数以下であるエッジ画素間を補間して連結エッジ画素群とした連結エッジ画像データを作成する連結エッジ画像データ作成手段と、
前記連結エッジ画像データの前記連結エッジ画素群の外接矩形内領域を局所領域として抽出する局所領域抽出手段と、
をさらに有し、
前記斜め方向エッジ成分抽出手段は、前記入力画像データの前記局所領域を前記対象領域として斜め方向エッジ成分を抽出するものであり、
前記文字領域判別手段は、前記斜め方向エッジ成分の含有率により前記局所領域が文字画像のみを含む領域であるか否かを判別するものである、
（１）に記載の画像処理装置。
【００１６】
（９） 前記文字領域判別手段は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記局所領域が文字画像のみを含む領域であると判別するものである請求項８に記載の画像処理装置。
【００１７】
（１０） 前記入力画像データの文字画像のみを含む領域と判別された局所領域から文字画像構成画素のみからなる文字画像データを抽出する文字画像データ抽出手段をさらに有する（８）または（９）に記載の画像処理装置。
【００１８】
（１１） 前記入力画像データの文字画像のみを含む領域と判別された局所領域に含まれる前記文字画像構成画素を周辺画素で置換して非文字画像データを作成する非文字画像データ作成手段をさらに有する（８）〜（１０）のいずれか１つに記載の画像処理装置。
（１２） 入力画像データの対象領域内において当該入力画像データに対する斜め方向エッジ成分を抽出する段階（１）と、前記対象領域における前記斜め方向エッジ成分の含有率を算出する段階（２）と、前記斜め方向エッジ成分の含有率により前記対象領域が文字画像を含む領域か否かを判別する段階（３）と、を有することを特徴とする画像処理方法。
（１３） 段階（３）は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記対象領域が文字画像を含む領域であると判別するものである（１２）に記載の画像処理方法。
（１４） 段階（１）は、入力画像データの頁全体を前記対象領域として斜め方向エッジ成分を抽出するものである（１２）または（１３）に記載の画像処理方法。
（１５） 段階（１）は、入力画像データの頁を複数に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（１２）〜（１４ ) のいずれか１つに記載の画像処理方法。
（１６） 段階（１）は、入力画像データの頁を縦または横のいずれかに分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（１２）〜（１５）のいずれか１つに記載の画像処理方法。
（１７） 段階（１）は、入力画像データの頁を縦および横に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（１２）〜（１６）のいずれか１つに記載の画像処理方法。
（１８） 段階（１）は、前記入力画像データから得られたエッジ画像データの所定方向および前記所定方向に直交する方向のエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を前記対象領域として斜め方向エッジ成分を抽出するものである（１２）〜（１７）のいずれか１つに記載の画像処理方法。
（１９） 入力画像データからエッジ画像データを作成する段階（４）と、前記エッジ画像データの主走査および副走査方向のエッジ画素の間隔を計測し、前記間隔が所定画素数以下であるエッジ画素間を補間して連結エッジ画素群とした連結エッジ画像データを作成する段階（５）と、前記連結エッジ画像データの前記連結エッジ画素群の外接矩形内領域を局所領域として抽出する段階（６）と、をさらに有し、段階（１）は、前記入力画像データの前記局所領域を前記対象領域として斜め方向エッジ成分を抽出するものであり、段階（３）は、前記斜め方向エッジ成分の含有率により前記局所領域が文字画像のみを含む領域であるか否かを判別するものである、（１２）に記載の画像処理方法。
（２０） 段階（３）は、前記斜め方向エッジ成分の含有率が０．２〜２０％である場合に前記局所領域が文字画像のみを含む領域であると判別するものである（１９）に記載の画像処理方法。
（２１） 前記入力画像データの文字画像のみを含む領域と判別された局所領域から文字画像構成画素のみからなる文字画像データを抽出する段階（７）をさらに有する（１９）または（２０）に記載の画像処理方法。
（２２） 前記入力画像データの文字画像のみを含む領域と判別された局所領域に含まれる前記文字画像構成画素を周辺画素で置換して非文字画像データを作成する段階（８）をさらに有する（１９）〜（２１）のいずれか１つに記載の画像処理方法。
（２３） 入力画像データの対象領域内において当該入力画像データに対する斜め方向エッジ成分を抽出する手順（１）と、前記対象領域における前記斜め方向エッジ成分の含有率を算出する手順（２）と、前記斜め方向エッジ成分の含有率により前記対象領域が文字画像を含む領域か否かを判別する手順（３）と、を画像処理装置に実行させることを特徴とする画像処理プログラム。
（２４） 手順（３）は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場 合に前記対象領域が文字画像を含む領域であると判別するものである（２３）に記載の画像処理プログラム。
（２５） 手順（１）は、入力画像データの頁全体を前記対象領域として斜め方向エッジ成分を抽出するものである（２３）または（２４）に記載の画像処理プログラム。
（２６） 手順（１）は、入力画像データの頁を複数に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである（２３）〜（２５）のいずれか１つに記載の画像処理プログラム。
【００１９】
なお、本明細書において、「文字画像を含む領域」とは、「文字画像領域」（文字画像のみを含む領域）および「文字画像包含領域」（主として文字画像を含む領域）の両方を含む概念を示す用語として使用する。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００２１】
図１は、本発明の実施形態にかかる画像処理装置を含む画像処理システムの全体構成を示すブロック図である。本画像処理システムは、画像処理装置１と、画像入力装置としてのスキャナ２と、画像出力先装置としてのファイルサーバ３とを備え、画像処理装置１とスキャナ２とは通信ケーブル４を介して、また画像処理装置１とファイルサーバ３とはコンピュータネットワーク５を介して相互に通信可能に接続されている。なお、コンピュータネットワーク５に接続される機器の種類および台数は、図１に示す例に限定されない。
【００２２】
図２は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。図２において、画像処理装置１は、制御部１０１、記憶部１０２、操作部１０３、入力インタフェース部１０４、出力インタフェース部１０５、領域分離部１０６、画像抽出部１０７、画像処理部１０８、文書ファイル作成部１０９およびファイル形式変換部１１０を備えており、これらは信号をやり取りするためのバス１１１を介して相互に接続されている。
【００２３】
制御部１０１はＣＰＵであり、プログラムにしたがって上記各部の制御や各種の演算処理等を行う。記憶部１０２は、予め各種プログラムやパラメータを格納しておくＲＯＭ、作業領域として一時的にプログラムやデータを記憶するＲＡＭ、各種プログラムやパラメータを格納し、または画像処理により得られた画像データ等を一時的に保存するために使用されるハードディスク等からなる。
【００２４】
操作部１０３は、画像データの送信先や出力ファイル形式等の設定や、動作開始の指示を行うためのキーや操作パネル等から構成される。ここで、画像データの送信先の設定は、画像出力先装置のＩＰアドレス、ホスト名、メールアドレス等を入力して行う。また、出力ファイル形式の設定は、画像出力先装置に送信する出力ファイルのファイル形式を選択することにより行う。
【００２５】
入力インタフェース部１０４は、外部の画像入力装置から画像データの入力を受けるためのインタフェースであり、出力インタフェース部１０５は、外部の画像出力先装置に出力ファイルを送信するためのインタフェースである。
【００２６】
領域分離部１０６は、入力画像データから文字画像領域を分離する処理を行う。画像抽出部１０７は、入力画像データから文字画像データ、図形画像データおよび写真画像データを抽出する処理を行う。画像処理部１０８は、文字画像処理部１０８ａ、図形画像処理部１０８ｂおよび写真画像処理部１０８ｃからなり、それぞれ抽出された文字画像データ、図形画像データおよび写真画像データに適切な画像処理を施す。文書ファイル作成部１０９は、前記画像処理後の文字画像データ、図形画像データおよび写真画像データを合成して内部ファイル形式により文書ファイルを作成する。ファイル形式変換部１１０は、内部ファイル形式により作成した文書ファイルを設定された出力ファイル形式に変換する。なお、出力ファイル形式としては、各種文書作成ソフトの文書形式や、ポストスクリプト（登録商標）、ＰＤＦ、ＪＰＥＧ、ＴＩＦＦ等の汎用フォーマットが挙げられる。
【００２７】
スキャナ２は、文書原稿を読み取って画像データを取得し、得られた画像データを接続ケーブル４を介して画像処理装置１に送信する。なお、接続ケーブル４は、ＵＳＢ等のシリアルインタフェースやＳＣＳＩ等のパラレルインタフェース等の規格によるものの他、独自の専用ケーブルであってもよい。
【００２８】
ファイルサーバ３はコンピュータであり、コンピュータネットワーク５を介して受信したファイルを格納し、また転送要求に応じて格納したファイルをコンピュータネットワーク５上の他の機器に転送する。
【００２９】
コンピュータネットワーク５は、イーサネット（登録商標）、トークンリング、ＦＤＤＩ等の規格によりコンピュータや周辺機器、ネットワーク機器等を接続したＬＡＮや、ＬＡＮ同士を専用線で接続したＷＡＮ等からなる。
【００３０】
つぎに、本実施形態における画像処理システム全体の動作の概要を説明する。図３は、本実施形態における画像処理装置１の画像処理の手順を示すフローチャートである。図３において、画像処理装置１は画像処理の開始命令があるまで待機する（Ｓ１０１のＮＯ）。ユーザから操作部１０３を介して開始命令の入力を受け付けると（Ｓ１０１のＹＥＳ）、入力インタフェース部１０４を介してスキャナ２に原稿読み取り命令を送信し（Ｓ１０２）、スキャナ２から画像データを受信するまで待機する（Ｓ１０３のＮＯ）。スキャナ２は、画像処理装置１から原稿読み取り命令を受信すると、所定の位置にセットされた文書原稿を読み取って画像データを取得し、得られた画像データを画像処理装置１に送信する。なお、画像処理の開始命令はコンピュータネットワーク５上の他の機器から、またはスキャナ２から直接入力されてもよく、この場合上記ステップＳ１０１およびＳ１０２は省略される。
【００３１】
画像処理装置１は、入力インタフェース部１０４を介してスキャナ２から画像データを受信すると（Ｓ１０３のＹＥＳ）、受信した入力画像データ（ＲＧＢ画像データ、以下同じ）を記憶部１０２に保存し、ついで、領域分離部１０６により、後述する文字画像領域の分離の手順に従って入力画像データから文字画像領域を判別して分離する（Ｓ１０４）。
【００３２】
さらに、画像抽出部１０７により、後述する文字画像抽出の手順に従って入力画像データの文字画像領域から文字画像を構成する画素のみからなる文字画像データを抽出するとともに（Ｓ１０５）、後述する非文字画像データの作成の手順に従って入力画像データの抽出した文字画像構成画素を周辺画素で置換して非文字画像データを作成する（Ｓ１０６）。
【００３３】
ついで、画像抽出部１０７により、非文字画像データから図形画像データおよび写真画像データを抽出する（Ｓ１０７）。図形画像データおよび写真画像データの抽出の方法としては、例えば、取得した非文字画像データを二値化し、白画素部分を区切りとして領域を切り出し、ランレングス情報や黒画素率情報等を基に切り出した領域が図形領域または写真領域のいずれであるかを判別して図形画像データまたは写真画像データを抽出する方法等を用いることができる。
【００３４】
つぎに、画像処理部１０８により、得られた文字、図形および写真画像データごとの画像処理を行う（Ｓ１０８）。すなわち、文字画像処理部１０８ａにより、得られた文字画像データを二値化し、１ビットデータの可逆圧縮処理を施して、色情報、位置情報とともに記憶部１０２に保存する。また、図形画像処理部１０８ｂにより、得られた図形画像データにスムージング処理、減色処理等を施した後、カラー画像の可逆圧縮処理を行い、位置情報とともに記憶部１０２に保存する。さらに、写真画像処理部１０８ｃにより、得られた写真画像データの解像度変換を行った後、カラー画像の非可逆圧縮処理を行い、位置情報とともに記憶部１０２に保存する。
【００３５】
さらに、文書ファイル作成部１０９により、上記画像処理により得られた文字画像データ、図形画像データおよび写真画像データをそれぞれの位置情報等に基づいて合成し、内部ファイル形式により文書ファイルを作成する（Ｓ１０９）。そして、ファイル形式変換部１１０により、得られた文書ファイルを設定された出力ファイル形式に変換し（Ｓ１１０）、得られた出力ファイルを出力インタフェース部１０５およびコンピュータネットワーク５を介してファイルサーバ３に送信する（Ｓ１１１）。
【００３６】
ファイルサーバ３は、コンピュータネットワーク５を介して画像処理装置１から出力ファイルを受信すると、必要により、受信したファイルから文字画像データおよび図形画像データを展開し、文字画像データは文字認識処理を施して文字コードデータに変換し、図形画像データはベクタ変換処理を施してベクタデータに変換し、変換後の各データを写真画像データとともに再度合成して、所定のファイル形式に変換して得られた文書ファイルをハードディスク等の記憶装置の所定のディレクトリに格納する。そして、コンピュータネットワーク５上の他の機器から当該ファイルの転送要求があると、格納した前記ファイルをコンピュータネットワーク５を介して前記他の機器に転送する。
【００３７】
つぎに、本実施形態における画像処理装置１の画像処理の特徴である文字画像領域の分離、文字画像データの抽出および非文字画像データの作成の手順について、さらに詳細に説明する。
【００３８】
図４は、本実施形態における画像処理装置１の文字画像領域分離の手順を示すフローチャートである。文字画像領域分離の手順においては、画像処理装置１は、入力画像データから文字画像のみを含む文字画像領域を判別して分離する。すなわち、図４において、画像処理装置１は、まずスキャナ２から取得した入力画像データのうち明度画像データに対して、スムージングフィルタ処理を施した後、変動しきい値による二値化を行ってエッジ画像データを作成し、記憶部１０２に保存する（Ｓ２０１）。変動しきい値による二値化処理とは、具体的には、例えば図５に示すように、５×５ブロック内の四隅の画素の階調値の最大値からオフセット値を減算した値をしきい値として注目画素を二値化することによりエッジ画像データを得るものである。ついで、得られたエッジ画像データの主走査方向の黒画素の間隔を計測し（Ｓ２０２）、所定間隔以下である黒画素間の白画素を全て黒画素で置換して主走査方向に黒画素を連結した連結エッジ画像データを作成する（Ｓ２０３）。さらに、得られた連結エッジ画像データの副走査方向に対しても、同様の手順（Ｓ２０２およびＳ２０３）を繰り返して主走査方向および副走査方向に黒画素を連結した連結エッジ画像データを取得し、記憶部１０２に保存する。図６は、スキャナ２により得られた入力画像データの一例を示す図であり、図７は、図６の入力画像データに対し、変動しきい値による二値化処理および黒画素の連結処理を施して得られた連結エッジ画像データの一例を示す図である。このように、画像処理装置１は、近隣の黒画素を連結し入力画像データでは孤立している個々の文字画像を１つの領域として統合することにより、ある程度まとまった文字列ごとに１つの領域として分離することが可能となるものである。
【００３９】
ついで、得られた連結エッジ画像データに対し、連結した黒画素ごとにラベリングを施しラベリング画像データを作成する（Ｓ２０４）。そして得られたラベリング画像データから、同一ラベルの連結した黒画素ごとの外接矩形の位置情報を求め、当該外接矩形で囲まれる領域を局所領域として抽出し、得られた局所領域の位置情報を記憶部１０２に保存する（Ｓ２０５）。図８は、図７の連結エッジ画像データから得られたラベリング画像データにおいて、同一ラベルの連結した黒画素ごとに求めた外接矩形を表示したものである。このように、画像処理装置１は、同一ラベルの連結した黒画素ごとに求めた外接矩形を単位として領域を切り出すので、ある程度のまとまった文字列を含む領域として分離することができ、８×８ＤＣＴ変換行列により所定ブロック単位で領域を切り出す従来技術に比べ文字の部分的欠損や文字列内でノイズが目立つ画像になる等の不具合がないものである。また、図８において、同一ラベルの連結した黒画素ごとに求めた外接矩形を局所領域として抽出することにより、図９に示すように、外接矩形同士が重なり合ったレイアウトの画像も分離して抽出することが可能となるものである。
【００４０】
つぎに、それぞれの局所領域に属する入力画像データの斜め方向エッジ成分を抽出し（Ｓ２０６）、斜め方向エッジ成分の含有率が所定範囲内にある局所領域を文字画像領域と判別する（Ｓ２０７）。文書画像において、文字画像領域は、図形、写真、罫線等の他の画像領域と比較して狭い領域に斜め方向エッジ成分を多く含んでいる。従って、文字画像領域特有の周波数成分として斜め方向エッジ成分を抽出し局所領域における含有率を求めることにより、当該局所領域が文字画像領域であるか否かを判定することができる。すなわち、局所領域に含まれる連結黒画素が文字画像構成画素からなるものである場合、当該局所領域は文字列の外接矩形領域となり、当該局所領域内に含まれる入力画像データの斜め方向エッジ成分の比率は所定範囲内となるからである。かかる斜め方向エッジ成分の抽出は、２×２ＤＣＴ（離散コサイン変換）による特徴周波数成分のうち高周波成分を抽出する処理と同等である。すなわち、まず、図１０に示すようなフィルタ処理により、入力画像データに対し２×２マトリクスによるＤＣＴを施し、得られた特徴周波数成分のうち高周波成分を０として逆ＤＣＴ変換を行い、高周波成分を除去した復元画像データを得る。そして、入力画像データと得られた復元画像データとの差分を取り出すことにより、入力画像データの高周波成分のみを抽出することができる。図１１は、図６の入力画像データから抽出した高周波成分を二値化して得られた斜め方向エッジ成分画像データの一例を示すものである。局所領域が文字画像領域である場合、局所領域の斜め方向エッジ成分の含有率、すなわち、局所領域の面積に対する当該局所領域に属する図１１の黒画素総数の比率は所定範囲内となるので（０．２〜３０％）、当該比率がかかる範囲内である局所領域を文字画像領域と判別する。
【００４１】
このように、従来技術では文字画像の周辺領域は単一色であり周波数成分の殆どは直流成分になるという前提で抽出した領域が文字画像領域であるか否かを判断するものであるが、本実施形態にかかる画像処理装置１では、文字画像領域が狭い領域で斜め方向エッジ成分を多く含んでいるという特徴に基づき特徴周波数成分の高周波成分を抽出するものであるので、文字画像の周辺領域の影響を受けにくく、スクリーン等で再現された複雑な色領域上の文字画像であっても文字画像領域を正しく判別することができるものである。また、従来技術が８×８ＤＣＴ変換により特徴周波数成分を抽出しているのに対し、画像処理装置１では、２×２ＤＣＴ変換により特徴周波数成分を抽出するので、処理速度においても極めて有利となるものである。
【００４２】
つぎに、画像処理装置１の文字画像データ抽出の手順について説明する。図１２は、本実施形態における画像処理装置１の文字画像データ抽出の手順を示すフローチャートである。文字画像データ抽出の手順においては、画像処理装置１は、入力画像データの上記文字領域分離の手順で分離した文字画像領域から文字画像構成画素のみからなる文字画像データを抽出する。すなわち、図１２において、画像処理装置１は、上記文字画像領域分離の手順で分離した文字画像領域に属する入力画像データを、文字画像領域ごとにしきい値を設定して二値化する（Ｓ３０１）。文字画像領域ごとのしきい値の設定方法としては、例えば以下の方法を用いることができる。まず、文字画像領域ごとに、当該文字画像領域に属する入力画像データの明度画像データを用いて、図１３（ａ）に示すような明度ヒストグラムを作成する。つぎに、明度ヒストグラムを当該文字画像領域内の画素数に対する百分率に変換して二次微分を行い、二次微分の結果が所定値以上であれば１、それ以外は０を出力することによって、図１３（ｂ）に示すようなピーク検出用ヒストグラムを作成し、ピークを検出する。そして、検出されたピーク数が２以上のときは両端のピークの中心値、ピーク数が１のときは当該ピークと前記明度ヒストグラムの左右立ち上がり値（図１３（ａ）におけるＬｅｆｔおよびＲｉｇｈｔの値）の平均値、ピーク数が０のときは前記明度ヒストグラムの前記左右立ち上がり値の中心値をしきい値と決定する。文字画像領域ごとに得られたしきい値により二値化を行った後、得られた二値画像データの黒画素を抽出することにより、図１４に示すようなマスク画像データを作成する。このように、画像処理装置１は、文字画像領域内の明度ヒストグラムのピーク数によって異なる二値化しきい値を用いて二値化するので、下地上の文字や反転文字等も、画像が欠けることなく二値化可能となるものである。
【００４３】
ついで、入力画像データから、得られたマスク画像データの黒画素に対応する画素を文字画像構成画素として抽出して、図１５に示すような文字画像データを作成する（Ｓ３０２）。
【００４４】
つぎに、画像処理装置１の非文字画像データの作成の手順について説明する。図１６は、本実施形態における画像処理装置１の非文字画像データ作成の手順を示すフローチャートである。非文字画像データ作成の手順においては、画像処理装置１は、入力画像データの上記文字画像データ抽出の手順により抽出した文字画像構成画素を周辺画素で置換して非文字画像データを作成する。すなわち、図１６において、画像処理装置１は、入力画像データの文字画像領域ごとにステップＳ３０１の手順で作成したマスク画像データの黒画素に対応する画素のＲＧＢ平均値１（Ｒ１，Ｇ１，Ｂ１）、およびマスク画像データの白画素に対応する画素のＲＧＢ平均値２（Ｒ２，Ｇ２，Ｂ２）を求める（Ｓ４０１）。
【００４５】
ついで、文字画像領域が反転領域であるか非反転領域であるかを判別する（Ｓ４０２）。反転領域の判別方法としては、文字画像領域について、マスク画像データの当該文字画像領域の外接矩形上に位置する黒画素数を計測し、黒画素数が外接矩形上の全画素の３分の２以上であれば当該文字画像領域を反転領域と判別する方法等を用いることができる。そして、図１７に示すように、文字画像領域が非反転領域である場合は当該文字画像領域内をすべて平均値２（Ｒ２，Ｇ２，Ｂ２）で置換し、文字画像領域が反転領域である場合は当該文字画像領域をすべて平均値１（Ｒ１，Ｇ１，Ｂ１）で置換して、図１８に示すような非文字画像データを作成する（Ｓ４０３）。
【００４６】
上記実施形態では、エッジ画像データの連結エッジ画素群の外接矩形内領域として抽出された極狭小な局所領域に対して、文字画像領域特有の周波数成分である斜め方向エッジ成分を抽出してその含有率を求めることにより、当該局所領域が文字画像領域であるか否かを判定するものであった。しかし、本発明は、かかる局所領域に対してのみならず任意の対象領域に対しても適用することができ、任意の対象領域について斜め方向エッジ成分の含有率を求めることにより、当該対象領域が主として文字画像を含む文字画像包含領域であるか否かを判別することができる。すなわち、文書画像を含む領域の画像処理にあっては、文書画像データを必ずしも文字画像のみを含む領域としてではなく主として文字画像を含む文字画像包含領域として抽出すれば足りる場合があり、このようにして抽出した文字画像包含領域に対して文字画像に適した画像処理を施すことで文書画像データの画像処理を簡便かつ迅速に行うことができるものである。
【００４７】
文書画像データの画像処理において、本発明の文書画像包含領域の分離方法が適用可能な対象領域としては、次のようなものが挙げられる。まず、前記入力画像データから得られたエッジ画像データの所定方向および前記所定方向に直交する方向のエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を前記対象領域とするものである。この場合、エッジ画像データの作成方法は、特に限定されるものではなく、上述の変動しきい値による二値化処理以外にも、例えば５×５の微分フィルタを用いて明度データの傾きを検出することによりエッジ成分を抽出する方法（特開２０００−３０７８６９号公報）等を用いることができる。また、斜め方向エッジ成分の抽出方法も特に限定されるものではなく、上述の２×２ＤＣＴ（離散コサイン変換）による高周波成分を抽出する方法ばかりでなく、例えば、対象領域内のエッジ成分に対し３×３フィルタによる斜線パターンマッチングを行うことにより、エッジ成分が斜め方向エッジ成分であるか否かを判別する方法（特開平１０−１４５６０２号公報）等を用いることができる。このようにして得られた対象領域の斜め方向エッジ成分の含有率が所定範囲内（０．２〜３０％）である場合、当該対象領域は文字画像を含む文字画像包含領域であると判別することができる。
【００４８】
また、入力画像データの頁全体を前記対象領域としてもよい。この場合、３００ｄｐｉ、Ａ４（２９．７ｃｍ×２１．０ｃｍ）の画像データで、上記実施形態の図１１に示したような斜め方向エッジ成分画像データの画素数が６２３７０〜７４８４４０ｄｏｔであれば、当該対象領域が文字画像中心の文字画像包含領域であると判断することができる。また、図１９に示すように、入力画像データの頁を所定幅に横に分割したブロックを前記対象領域とする場合、３００ｄｐｉ、Ａ４（２９．７ｃｍ×２１．０ｃｍ）の画像データの幅１ｃｍのブロックで、前記斜め方向エッジ成分画像データの画素数が２１００〜２５２００ｄｏｔであるとき、さらには、図２０に示すように、入力画像データの頁を桝目状に分割したブロックを前記対象領域とする場合、３００ｄｐｉ、Ａ４（２９．７ｃｍ×２１．０ｃｍ）の画像データの１ｃｍ×１ｃｍのブロックで、前記斜め方向エッジ成分画像データの画素数が１００〜１２００ｄｏｔであるとき、当該対象領域が文字画像中心の文字画像包含領域であると判断することができる。
【００４９】
本発明の画像処理装置は、上記実施形態で示した態様に限定されるものではなく、上記実施形態以外にも、スキャナ等の画像読取装置、パソコン、ワークステーション、サーバ等のコンピュータ、デジタル複写機、ファクシミリ装置等の多機能周辺機器（ＭＦＰ）等に応用することができる。
【００５０】
本発明による画像処理装置および画像処理方法は、上記各手順を実行するための専用のハードウエア回路によっても、また、上記各手順を記述したプログラムをＣＰＵが実行することによっても実現することができる。後者により本発明を実現する場合、画像処理装置を動作させる上記プログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、ＲＯＭやハードディスク等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込んでもよい。
【００７５】
【発明の効果】
上述したように、本発明の画像処理装置によれば、スクリーン等で再現された複雑な色領域上の文字画像であっても文字画像領域を正しく判別でき、また、文字の部分的欠損等の不具合を生じることなく文字画像領域を抽出することができる。
【００７６】
また、本発明の画像処理装置によれば、対象領域の設定に応じて、簡便かつ迅速に入力画像データから文字画像包含領域を抽出することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態にかかる画像処理装置を含む画像処理システムの全体構成を示すブロック図である。
【図２】 図１における画像処理装置１の構成を示すブロック図である。
【図３】 画像処理装置１の画像処理の手順を示すフローチャートである。
【図４】 画像処理装置１の文字画像領域分離の手順を示すフローチャートである。
【図５】 画像処理装置１の文字画像領域分離の手順における変動しきい値による二値化処理を説明するための図である。
【図６】 スキャナ２により得られた明度画像データの一例を示す図である。
【図７】 図６の明度画像データに対し、変動しきい値による二値化処理および黒画素の連結処理を施して得られた連結エッジ画像データの一例を示す図である。
【図８】 図７の連結エッジ画像データから得られたラベリング画像データにおいて、同一ラベルの連結した黒画素ごとに求めた外接矩形を示す図である。
【図９】 図７における同一ラベルの連結した黒画素ごとに求めた外接矩形の一例を示す概念図である。
【図１０】 画像処理装置１の文字画像領域分離の手順において入力画像データの特徴周波数成分から高周波成分を除去するためのフィルタ処理を説明するための図である。
【図１１】 図６と同じ入力画像データから抽出した高周波成分を二値化して得られた斜め方向エッジ成分画像データの一例を示す図である。
【図１２】 画像処理装置１の文字画像データ抽出の手順を示すフローチャートである。
【図１３】 画像処理装置１の文字画像データ抽出の手順において文字領域に属する入力明度画像データから作成した明度ヒストグラムおよびピーク検出用ヒストグラムの一例を示す図である。
【図１４】 図６と同じ入力画像データの文字画像領域ごとに二値化処理を行って得られたマスク画像データの一例を示す図である。
【図１５】 図６と同じ入力画像データから図１４のマスク画像データに対応する画素を抽出して得られた文字画像データの一例を示す図である。
【図１６】 画像処理装置１の非文字画像データ作成の手順を示すフローチャートである。
【図１７】 画像処理装置１の非文字画像データ作成の手順において入力画像データの文字画像領域の文字画像構成画素を周辺画素で置換する処理を説明するための概念図である。
【図１８】 画像処理装置１の非文字画像データ作成の手順において入力画像データの文字画像領域の文字画像構成画素を周辺画素で置換して作成した非文字画像データの一例を示す図である。
【図１９】 図６の入力画像データを所定幅に横に分割したブロックを文字画像が含まれるか否かを判別する対象領域として設定した例を示す図である。
【図２０】 図６の入力画像データを桝目状に分割したブロックを文字画像が含まれるか否かを判別する対象領域として設定した例を示す図である。
【符号の説明】
１…画像処理装置、
１０１…制御部、
１０２…記憶部、
１０３…操作部、
１０４…入力インタフェース部、
１０５…出力インタフェース部、
１０６…領域分離部、
１０７…画像抽出部、
１０８…画像処理部、
１０８ａ…文字画像処理部、
１０８ｂ…図形画像処理部、
１０８ｃ…写真画像処理部、
１０９…文書ファイル作成部、
１１０…ファイル形式変換部、
１１１…バス、
２…スキャナ、
３…ファイルサーバ、
４…接続ケーブル、
５…コンピュータネットワーク。

Claims (26)

1. 入力画像データの対象領域内において当該入力画像データに対する斜め方向エッジ成分を抽出する斜め方向エッジ成分抽出手段と、
   前記対象領域における前記斜め方向エッジ成分の含有率を算出する斜め方向エッジ成分含有率算出手段と、
   前記斜め方向エッジ成分の含有率により前記対象領域が文字画像を含む領域か否かを判別する文字領域判別手段と、
   を有することを特徴とする画像処理装置。
2. 前記文字領域判別手段は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記対象領域が文字画像を含む領域であると判別するものである請求項１に記載の画像処理装置。
3. 前記斜め方向エッジ成分抽出手段は、入力画像データの頁全体を前記対象領域として斜め方向エッジ成分を抽出するものである請求項１または２に記載の画像処理装置。
4. 前記斜め方向エッジ成分抽出手段は、入力画像データの頁を複数に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記斜め方向エッジ成分抽出手段は、入力画像データの頁を縦または横のいずれかに分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記斜め方向エッジ成分抽出手段は、入力画像データの頁を縦および横に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記斜め方向エッジ成分抽出手段は、前記入力画像データから得られたエッジ画像データの所定方向および前記所定方向に直交する方向のエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を前記対象領域として斜め方向エッジ成分を抽出するものである請求項１〜６のいずれか１項に記載の画像処理装置。
8. 入力画像データからエッジ画像データを作成するエッジ画像データ作成手段と、
   前記エッジ画像データの主走査および副走査方向のエッジ画素の間隔を計測し、前記間隔が所定画素数以下であるエッジ画素間を補間して連結エッジ画素群とした連結エッジ画像データを作成する連結エッジ画像データ作成手段と、
   前記連結エッジ画像データの前記連結エッジ画素群の外接矩形内領域を局所領域として抽出する局所領域抽出手段と、
   をさらに有し、
   前記斜め方向エッジ成分抽出手段は、前記入力画像データの前記局所領域を前記対象領域として斜め方向エッジ成分を抽出するものであり、
   前記文字領域判別手段は、前記斜め方向エッジ成分の含有率により前記局所領域が文字画像のみを含む領域であるか否かを判別するものである、
   請求項１に記載の画像処理装置。
9. 前記文字領域判別手段は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記局所領域が文字画像のみを含む領域であると判別するものである請求項８に記載の画像処理装置。
10. 前記入力画像データの文字画像のみを含む領域と判別された局所領域から文字画像構成画素のみからなる文字画像データを抽出する文字画像データ抽出手段をさらに有する請求項８または９に記載の画像処理装置。
11. 前記入力画像データの文字画像のみを含む領域と判別された局所領域に含まれる前記文字画像構成画素を周辺画素で置換して非文字画像データを作成する非文字画像データ作成手段をさらに有する請求項８〜１０のいずれか１項に記載の画像処理装置。
12. 入力画像データの対象領域内において当該入力画像データに対する斜め方向エッジ成分を抽出する段階（１）と、
    前記対象領域における前記斜め方向エッジ成分の含有率を算出する段階（２）と、
    前記斜め方向エッジ成分の含有率により前記対象領域が文字画像を含む領域か否かを判別する段階（３）と、
    を有することを特徴とする画像処理方法。
13. 段階（３）は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記対象領域が文字画像を含む領域であると判別するものである請求項１２に記載の画像処理方法。
14. 段階（１）は、入力画像データの頁全体を前記対象領域として斜め方向エッジ成分を抽出するものである請求項１２または１３に記載の画像処理方法。
15. 段階（１）は、入力画像データの頁を複数に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項１２〜１４のいずれか１つに記載の画像処理方法。
16. 段階（１）は、入力画像データの頁を縦または横のいずれかに分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項１２〜１５のいずれか１つに記載の画像処理方法。
17. 段階（１）は、入力画像データの頁を縦および横に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項１２〜１６のいずれか１つに記載の画像処理方法。
18. 段階（１）は、前記入力画像データから得られたエッジ画像データの所定方向および前記所定方向に直交する方向のエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を前記対象領域として斜め方向エッジ成分を抽出するものである請求項１２〜１７のいずれか１つに記載の画像処理方法。
19. 入力画像データからエッジ画像データを作成する段階（４）と、
    前記エッジ画像データの主走査および副走査方向のエッジ画素の間隔を計測し、前記間隔が所定画素数以下であるエッジ画素間を補間して連結エッジ画素群とした連結エッジ画像データを作成する段階（５）と、
    前記連結エッジ画像データの前記連結エッジ画素群の外接矩形内領域を局所領域として抽出する段階（６）と、
    をさらに有し、
    段階（１）は、前記入力画像データの前記局所領域を前記対象領域として斜め方向エッジ成分を抽出するものであり、
    段階（３）は、前記斜め方向エッジ成分の含有率により前記局所領域が文字画像のみを含む領域であるか否かを判別するものである、
    請求項１２に記載の画像処理方法。
20. 段階（３）は、前記斜め方向エッジ成分の含有率が０．２〜２０％である場合に前記局所領域が文字画像のみを含む領域であると判別するものである請求項１９に記載の画像処理方法。
21. 前記入力画像データの文字画像のみを含む領域と判別された局所領域から文字画像構成画素のみからなる文字画像データを抽出する段階（７）をさらに有する請求項１９または２０に記載の画像処理方法。
22. 前記入力画像データの文字画像のみを含む領域と判別された局所領域に含まれる前記文字画像構成画素を周辺画素で置換して非文字画像データを作成する段階（８）をさらに有する請求項１９〜２１のいずれか１つに記載の画像処理方法。
23. 入力画像データの対象領域内において当該入力画像データに対する斜め方向エッジ成分を抽出する手順（１）と、
    前記対象領域における前記斜め方向エッジ成分の含有率を算出する手順（２）と、
    前記斜め方向エッジ成分の含有率により前記対象領域が文字画像を含む領域か否かを判別する手順（３）と、
    を画像処理装置に実行させることを特徴とする画像処理プログラム。
24. 手順（３）は、前記斜め方向エッジ成分の含有率が０．２〜３０％である場合に前記対象領域が文字画像を含む領域であると判別するものである請求項２３に記載の画像処理プログラム。
25. 手順（１）は、入力画像データの頁全体を前記対象領域として斜め方向エッジ成分を抽出するものである請求項２３または２４に記載の画像処理プログラム。
26. 手順（１）は、入力画像データの頁を複数に分割したブロックを前記対象領域として斜め方向エッジ成分を抽出するものである請求項２３〜２５のいずれか１つに記載の画像処理プログラム。

Images