JP4047090B2 - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP4047090B2 JP4047090B2 JP2002223576A JP2002223576A JP4047090B2 JP 4047090 B2 JP4047090 B2 JP 4047090B2 JP 2002223576 A JP2002223576 A JP 2002223576A JP 2002223576 A JP2002223576 A JP 2002223576A JP 4047090 B2 JP4047090 B2 JP 4047090B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- character
- tile
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/162—Quantising the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、スキャナ等を用いて入力された原稿画像の上下左右の向きを検知する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
従来、スキャナ等を用いてコンピュータ内に入力された原稿画像の上下左右の向きを検知するためには次のような方法があった。
【０００３】
（１）ソフトウェアによる原稿画像方向検知
図３０は、従来の画像方向検知のソフトウェア処理の概要を説明するための概要図である。図３０に示すように従来は、まず、方向を検知する対象であるカラー画像１０１１が、二値化処理手順１０１２によって二値化され、二値画像１０１３が生成される。次に、二値画像１０１３は、領域分割処理手順１０１４によって領域分割され、文字領域の座標情報である文字座標情報１０１５が作成される。そして、ＯＣＲ処理手順１０１６によって文字座標情報１０１５内の二値画像１０１３を参照して文字認識処理が行われ、カラー画像１０１１の方向結果が出力される。
【０００４】
上記処理について、さらに詳細に説明する。図３１は、ＲＧＢ各８ビットで構成されたカラー画像１０１１の一例を示す図である。このカラー画像を輝度変換して固定しきい値を１２８として単純二値化する。図３２は、図３１に示すカラー画像を単純二値化したときの二値画像例を示す図である。図３２に示すような単純二値化によって得られた二値画像にはノイズが多く含まれているので、この二値画像を用いても良好な領域分割ができない。
【０００５】
そこで、二値化処理手順１０１２では、 図３３に示すようにカラー画像の輝度情報のヒストグラムを取り、最適な二値化ポイント１０４１を算出する。図３３は、図３１に示すカラー画像の輝度情報ヒストグラムと最適な二値化ポイントを示す図である。また、図３４は、二値化ポイント１０４１を用いたカラー画像１０１１の二値画像を示す図である。図３４に示すように、固定しきい値ではなく輝度情報のヒストグラムを用いたしきい値（二値化ポイント１０４１）を用いることによって、図３２に示す二値画像に比べてノイズがないので良好な領域分割を得ることができる。
【０００６】
図３５は、図３４に示す二値画像を領域分割処理手順１０１４によって領域分割を行った場合の領域分割結果の一例を示す図である。この領域分割処理においては、黒画素を連結するように解像度を減らして輪郭線追跡を行い、輪郭線の形状から文字であるか文字でないかを判断した。図３５において、符号１０６１〜１０６８で示される矩形領域が文字領域と判定された領域である。尚、領域１０６７、１０６８は誤判定された領域である。
【０００７】
上述したように、文字領域と判定された領域をＯＣＲ処理手順１０１６において読み取って文字きり処理を行い、１文字毎に方向判別処理が行われる。方向判別処理では、１文字の特徴ベクトルを算出し、特徴ベクトルを回転させて４方向の文字認識処理を行う。この４方向の文字認識処理の結果から、確度の一番高い角度を方向結果とする。
【０００８】
ソフトウェアによる画像方向検知では、原稿内に存在する文字（領域分割の結果文字となった領域に存在する文字）のすべてについてのＯＣＲ結果の加算値によって最終結果を出力する。
【０００９】
（２）ハードウェアによる原稿画像方向検知
次に、従来の画像方向検知処理を行うハードウェア構成の概要について説明する。図３６は、白黒デジタル複写機のメインボードに接続される方向検知専用の方向検知ボードのハードウェア構成を示すブロック図である。図３６において、符号１０７１は、文字抽出部であり、文字抽出処理及び二値化処理のための専用ＧＡを示す。また、符号１０７２はＲＡＭ、１０７３はＣＰＵ、１０７４はＲＯＭを示す。
【００１０】
図３７は、図３６に示す方向検知ボードを用いた各動作のタイミングチャートを示す図である。ここで、図３７のタイミングチャートを利用して、図３６の方向検知ボードの動作について説明する。
【００１１】
図３７中の「０」、「１」、「２」、「３」は、白黒デジタル複写機のＡＤＦ（Ａｕｔｏｍａｔｉｃ Ｄｉｒｅｃｔｉｏｎ Ｆｉｎｄｅｒ）に載せられた原稿のページ番号を示す。また、１０８１は複写機のスキャナが原稿読み込みを行うタイミングを示す。さらに、１０８２は文字抽出専用ＧＡが文字抽出処理及び二値化を行うタイミングを示す。さらにまた、１０８３はＣＰＵが方向判別ＯＣＲを行うタイミングを示す。そして、１０８４は方向判別結果が出るタイミングを示す。図３７に示すように、原稿の入力から２パイプライン後れでそれぞれページの結果が出力される。
【００１２】
まず、ＡＤＦに載せられた原稿をスキャナが順次読み取り、図３６中のＶＩＤＥＯが作成される。ここで、ＶＩＤＥＯとは、ＣＬＫ及びＣＬＫに同期した画像データ（８ビット）及び画像データのページの切れ目を示すページ信号、画像データの横幅の切れ目を示す主走査同期信号である。
【００１３】
文字抽出部１０７１は、画像データ（８ビット）を取り込み、画像データの連続する文字らしい領域（具体的には、近隣の複数画素を参照して、最大値と最小値の差がしきい値より大きい領域）を検出しその座標データを作成する。また、画像データ（８ビット）を二値化する。尚、二値化に用いるしきい値は、前ラインのヒストグラムから決定される。そして、座標データ及び二値画像がＲＡＭ１０７２に書き込まれる（尚、ＧＡ内部にＲＡＭを持って保持する形でもよい）。以上の動作は、図３７の符号１０８２に示すタイミングで行われる。
【００１４】
次いで、１ページ遅れて文字抽出処理と並列にＣＰＵ１０７３によって方向判別ＯＣＲ処理が行われる。ＣＰＵ１０７３はＲＯＭ１０７４に記録されたプログラムに従って、ＲＡＭ１０７２に存在する座標データを読み出し、座標データに相当するＲＡＭ１０７２上の二値画像を方向判別ＯＣＲ処理する。尚、速度アップのためＲＡＭサイズに余裕がある場合、ＲＯＭ１０７４上のプログラムをＲＡＭ１０７２にダウンロードされる。ここで、ＣＬＫに同期して処理する文字抽出は固定時間処理であるが、方向判別ＯＣＲは処理時間可変であるのでタイマーを利用して処理強制終了を行う。タイマーによる制限時間での方向判別結果（０、９０、１８０、２７０、ＵＮＫＮＯＷＮ）を結果１０８４において「三角」で示されるタイミングで出力する。
【００１５】
【発明が解決しようとする課題】
しかしながら、上述した従来方法では、以下のような問題点があった。
【００１６】
（１）ソフトウェアによる原稿画像方向検知の問題点
（１−１）処理時間がかかる。
以下、Ａ４サイズの画像を２６６ＭＨｚ、Ｐｅｎｔｉｕｍ（登録商標）ＩＩのパーソナルコンピュータを利用して処理し、測定した結果について示す。まず、ヒストグラムをとり最適な二値化ポイントを算出し、二値化処理を行うまでの処理に１．８秒を要する。次いで、領域分割処理は画像によりばらつく（黒画素のかたまりの数に依存する）が０．３〜１．０秒を要する。そして、ＯＣＲ処理は文字数によりばらつくが、文字中心の文書原稿では２、３秒を要する。従って、合計４、５秒を要する。
（１−２）多くのワークメモリを必要とする。
最適二値化画像を得るためにカラー画像全面を参照するので、Ａ４サイズの画像の場合、２４ＭＢｙｔｅｓのメモリを必要とする。
【００１７】
（２）ハードウェアによる原稿画像方向検知の問題点
（２−１）コストがかかる。
専用機版を利用し、ＣＰＵ、ＲＡＭ、ＲＯＭ、文字抽出ＧＡ、図示しない制御部ＧＡなどが方向判別処理のためだけに必要となり、コストがかかる。
（２−２）バージョンアップが困難
文字抽出部を専用ＧＡで構成しているため、文字抽出アルゴリズムのバージョンアップが困難である。
【００１８】
（３）両検知に共通の問題点
両者とも反転文字部のＯＣＲ処理が不可能である。近年 印刷原稿だけにとどまらずオフィス原稿もカラー化が進んでいるが、カラー画像には白黒原稿と比較して反転文字によってデザインされているものが多い。従って、両者とも反転文字の頻度が高いカラー画像の認識精度が悪い。
【００１９】
本発明は、このような事情を考慮してなされたものであり、微分情報の多い画像から少ない画像まで、効率よく画像の入力方向を検出することができる画像処理方法及び画像処理装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、本発明は、コンピュータに入力された、文字領域を含む多値画像の方向を検知する画像処理方法であって、前記多値画像を微分した結果において、第１しきい値以上の画素を１とし、前記第１しきい値より小さい画素を０とした像域フラグによる第１の二値画像を生成する二値画像生成工程と、前記生成された第１の二値画像において、複数の画素からなる矩形の領域ごとに、画素値が１の画素の数が第２しきい値以上であれば１を付与し、当該第２しきい値より小さければ０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成するタイル画像生成工程と、前記タイル画像において、ラベリング法もしくは輪郭追跡法を用いて画素値が１の画素の固まりを抽出し、当該抽出した固まりそれぞれの外接矩形の座標とサイズとに基づいて、当該外接矩形それぞれについてテキストであるか否かの判定を行うことにより、文字領域の座標を抽出する文字領域抽出工程と、前記抽出した文字領域の座標に対応する領域について前記多値画像の二値化処理を行うことにより、前記文字領域の二値画像を作成する一部二値画像作成工程と、前記作成された文字領域の二値画像に対してＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する方向検知工程とを有することを特徴とする。
【００２３】
また、本発明に係る画像処理方法は、前記方向検知工程は、前記文字領域の二値画像に基づいて前記文字領域が反転画像であるか否かを判断する判断工程と、前記文字領域が反転画像であると判断された場合、前記二値画像の白黒成分を反転する反転処理工程と、前記判断工程で反転画像であると判断されて前記反転処理工程で反転された後の文字領域の二値画像、あるいは前記判断工程で反転画像でないと判断されて反転処理されていない前記文字領域の二値画像に対して、前記ＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する検知工程とを含むことを特徴とする。
【００２４】
さらにまた、本発明に係る画像処理方法は、前記タイル画像生成工程では、前記第２しきい値として複数の異なるしきい値をそれぞれ用いることにより複数のタイル画像を生成し、前記文字領域抽出工程では、前記生成された複数のタイル画像それぞれから前記画素の固まりを抽出し、それぞれから抽出した画素の固まりの外接矩形が重複している面積に基づいて前記外接矩形のスコアを求め、所定しきい値以上のスコアとなった外接矩形に基づいて前記文字領域の座標を抽出することを特徴とする。
【００２５】
さらにまた、本発明に係る画像処理方法は、前記タイル画像生成工程では、前記生成された第１の二値画像において、前記複数の画素からなる矩形の領域ごとに、当該領域の少なくとも１ラインに１の像域フラグが第３しきい値以上存在すれば１を付与し、それ以外は０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成することを特徴とする。
【００３０】
さらにまた、本発明に係る画像処理方法は、前記文字領域抽出工程では、前記タイル画像をメッシュ状に分割し、分割されたメッシュ状の領域内に含まれる前記外接矩形に基づいて前記メッシュ状領域のスコアを求め、前記所定しきい値以上のスコアとなった外接矩形と前記メッシュ状領域のスコアとに基づいて、前記文字領域の座標を抽出することを特徴とする。
【００３２】
本発明によれば、カラー画像の微分情報からなる複数の低解像度の画像を利用して文字領域を検出するので、微分情報の多い画像から少ない画像まで、効率よく画像の入力方向を検出することが可能となる。
【００３３】
また、本発明によれば、反転判断部を有するので、反転文字部分の文字認識が可能となり、反転文字の多いカラー画像であっても入力方向の検出をすることが可能となる。
【００３４】
さらに、本発明によれば、少ないワークメモリで高速なソフトウェア処理を可能とするので、方向検知処理のバージョンアップをする際にも部品にかかるコストが必要がない。
【００３５】
【発明の実施の形態】
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の動作について詳細に説明する。
【００３６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１において、符号１０１は方向を判別する対象であるカラー画像を示す。また、１０２は汎用の画像処理システムであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有し、入力画像の微分処理、ヒストグラム演算、圧縮伸長処理、解像度変換、二値化処理等を行うためのハードウェア機能を持っている。尚、これらの機能はハードウェアによってではなくソフトウェア処理による機能であってもかまわない。
【００３７】
符号１０３は画像処理システム１０２によって作成された微分情報である。また、１０４は画像処理システム１０２により作成されたヒストグラム情報（全面ヒストグラム）である。１０５は画像処理システム１０２により作成されたカラー画像データの文字部分（１領域）の二値画像である。
【００３８】
方向検知モジュール１００内に存在する各部は画像処理システム１０２内に含まれる処理部で実現されるが、ハードウェア機能としてではなく、ソフトウェア機能として実現し、ＣＰＵを用いてソフトウェア処理されるものであってもよい。
【００３９】
図１において、方向検知モジュール１００内の１０６は微分情報１０３を入力して文字領域の推測を行うための第一次文字抽出部である。また、１０７は第一次文字抽出部１０６によって作成された文字領域座標である。一方、１０８はヒストグラム情報１０４を入力し最適二値化しきい値の算出を行うための二値化しきい値算出部である。そして、１０９は二値化しきい値算出部１０８において算出された二値化しきい値である。
【００４０】
さらに、１１０は文字部分に関する二値画像１０５を入力し、さらに詳細な文字領域の差表を作成する領域分割部である。領域分割部１１０は、反転判断及び反転処理機能を有しており、部分二値画像が反転領域であると判断された場合に二値画像の反転処理を行って領域分割処理を行う。そして、１１１は領域分割部１１０により検出された文字領域の方向判別ＯＣＲ処理を行うＯＣＲ部である。
【００４１】
次に、汎用の画像処理システム１０２を実現した例として、図２９Ａ〜Ｃを用いて、デジタルカラー複合複写機について説明する。
【００４２】
図２９Ａは、本発明の一実施形態によるデジタルカラー複合複写機の構成を説明するための機能ブロック図である。図１において、コントローラユニット（Controller Unit）２０００は、画像情報やデバイス情報の入出力、ＰＤＬデータのイメージ展開等を行うためのコントローラであって、画像入力デバイスであるスキャナ（Scanner）２０７０や画像出力デバイスであるプリンタ（Printer）２０９５、ＬＡＮ２０１１や公衆回線（ＷＡＮ）２０５１に接続する。
【００４３】
また、図２９Ｂは、コントローラユニット２０００におけるシステム制御部２１５０を詳細に示す機能ブロック図である。さらに、図２９Ｃは、コントローラユニット２０００におけるタイル画像処理部２１４９を詳細に示す機能ブロック図である。
【００４４】
図２９Ｂに示すＣＰＵ２００１は、本デジタルカラー複合複写機全体を制御するためのプロセッサである。尚、本実施形態では、２つのＣＰＵを用いた例が示されている。これらの２つのＣＰＵは、共通のＣＰＵバス２１２６に接続され、さらに、システムバスブリッジ２００７に接続されている。
【００４５】
システムバスブリッジ２００７はバススイッチであり、ＣＰＵバス２１２６、ＲＡＭコントローラ２１２４、ＲＯＭコントローラ２１２５、ＩＯバス２１２７、サブバススイッチ２１２８、ＩＯバス２１２９、画像リングインタフェース２１４７、画像リングインタフェース２１４８に接続される。
【００４６】
サブバススイッチ２１２８は第２のバススイッチであり、画像ＤＭＡ２１３０、画像ＤＭＡ２１３２、フォント伸長部２１３４、ソート回路２１３５、ビットマップトレース部２１３６が接続され、これらのＤＭＡから出力されるメモリアクセス要求を調停し、システムバスブリッジへの接続を行う。
【００４７】
ＲＡＭ２００２は、ＣＰＵ２００１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもあって、ＲＡＭコントローラ２１２４により制御される。ＲＯＭ２００３はブートＲＯＭであり、システムのブートプログラムが格納されており、ＲＯＭコントローラ２１２５により制御される。
【００４８】
画像ＤＭＡ２１３０は、画像圧縮部２１３１に接続し、レジスタアクセスリング２１３７を介して設定された情報に基づき、画像圧縮部２１３１を制御して、ＲＯＭ２００２上にある非圧縮データの読み出し、圧縮、圧縮後データの書き戻しを行う。
【００４９】
画像ＤＭＡ２１３２は、画像伸長部２１３３に接続し、レジスタアクセスリング２１３７を介して設定された情報に基づき、画像伸長部２１３３を制御して、ＲＡＭ２００２上にある圧縮データの読み出し、伸長、伸長後データの書き戻しを行う。
【００５０】
フォント伸長部２１３４は、ＬＡＮインタフェース２０１０等を介して外部より転送されるＰＤＬデータに含まれるフォントコードに基づき、ＲＯＭ２００３若しくは、ＲＡＭ２００２内に格納された圧縮フォントデータの伸長を行う。
【００５１】
ソート回路２１３５は、ＰＤＬデータを展開する段階で生成されるディスプレイリストのオブジェクトの順番を並び替える回路である。また、ビットマップトレース回路２１３６は、ビットマップデータより、エッジ情報を抽出する回路である。
【００５２】
ＩＯバス２１２７は、内部ＩＯバスの一種であり、標準バスであるＵＳＢバスのコントローラ、ＵＳＢインタフェース２１３８、汎用シリアルポート２１３９、インタラプトコントローラ２１４０、ＧＰＩＯインタフェース２１４１に接続される。ＩＯバス２１２７には、図示しないバスアービタが含まれる。
【００５３】
操作部インタフェース２００６は、操作部（ＵＩ）２０１２とのインタフェース部で、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部２０１２から本システム使用者が入力した情報を、ＣＰＵ２００１に伝える役割をする。
【００５４】
ＩＯバス２１２９は、内部ＩＯバスの一種であり、汎用バスインタフェース２１４２と、ＬＡＮコントローラ２０１０に接続される。ＩＯバス２１２９には図示しないバスアービタが含まれる。また、汎用バスインタフェース２１４２は、２つの同一のバスインタフェースから成り、標準ＩＯバスをサポートするバスブリッジである。尚、本実施形態では、ＰＣＩバス２１４３が採用された例が示されている。
【００５５】
外部記憶装置（ＨＤＤ）２００４はハードディスクドライブであり、システムソフトウェアや画像データ等を格納する。外部記憶装置２００４は、ディスクコントローラ２１４４を介して一方のＰＣＩバス２１４３に接続される。また、ＬＡＮコントローラ２０１０は、ＭＡＣ回路２１４５、ＰＨＹ／ＰＭＤ回路２１４６を介してＬＡＮ２０１１に接続し、情報の入出力を行う。さらに、モデム（Modem）２０５０は、公衆回線２０５１に接続し、情報の入出力を行う。
【００５６】
画像リングインタフェース２１４７及び画像リングインタフェース２１４８は、システムバスブリッジ２００７と画像データを高速で転送する画像リング２００８とを接続し、タイル化後に圧縮されたデータをＲＯＭ２００２とタイル画像処理部２１４９間で転送するＤＭＡコントローラである。
【００５７】
画像リング２００８は、一対の単方向接続経路の組み合わせにより構成される。画像リング２００８は、タイル画像処理部２１４９内で、画像リングインタフェース２１０１及びタイル画像インタフェース２１０２を介して、タイル伸長部２１０３、コマンド処理部２１０４、ステータス処理部２１０５、タイル圧縮部２１０６に接続される。本実施形態では、タイル伸長部２１０３を２組、タイル圧縮部を３組実装する例が示されている。
【００５８】
タイル伸長部２１０３は、画像リングインタフェース２１０１への接続に加え、タイルバス２１０７に接続され、画像リング２００８より入力された圧縮後の画像データを伸長し、タイルバス２１０７へ転送するバスブリッジである。タイル圧縮部２１０６は、画像リングインタフェース２１０２への接続に加え、タイルバス２１０７に接続され、タイルバスより入力された圧縮前の画像データを圧縮し、画像リング２００８へ転送するバスブリッジである。
【００５９】
コマンド処理部２１０４は、画像リングインタフェース２１０１及び２１０２への接続に加え、レジスタ設定バス２１０９に接続され、画像リング２００８を介して入力したＣＰＵ２００１より発行されたレジスタ設定要求を、レジスタ設定バス２１０９に接続される該当ブロックへ書き込む。また、ＣＰＵ２００１より発行されたレジスタ読み出し要求に基づき、レジスタ設定バス２１０９を介して該当レジスタより情報を読み出し、画像リングインタフェース２１０２に転送する。
【００６０】
ステータス処理部２１０５は各画像処理部の情報を監視し、ＣＰＵ２００１に対してインタラプトを発行するためのインタラプトバケットを生成し、画像リングインタフェース２１０２に出力する。また、タイルバス２１０７には上記ブロックに加え、以下の機能ブロックが接続される。即ち、レンダリング部インタフェース２１１０、画像入力インタフェース２１１２、画像出力インタフェース２１１３、多値化部２１１９、２値化部２１１８、色空間変換部２１１７、画像回転部２０３０及び解像度変換部２１１６である。
【００６１】
レンダリング部インタフェース２１１０は、後述するレンダリング部２０６０により生成されたビットマップイメージを入力するインタフェースである。レンダリング部２０６０とレンダリング部インタフェース２１１０は、一般的なビデオ信号２１１１によって接続される。レンダリング部インタフェース２１１０は、タイルバス２１０７に加え、メモリバス２１０８、レジスタ設定バス２１０９への接続を有し、入力されたラスタ画像をレジスタ設定バス２１０９を介して設定された、所定の方法によりタイル画像への構造変換をすると同時にクロックの同期化を行い、タイルバス２１０７に対し出力を行う。
【００６２】
画像入力インタフェースは２１１２は、後述するスキャナ用画像処理部２１１４により補正画像処理されたラスタイメージデータを入力とし、レジスタ設定バス２１０９を介して設定された、所定の方法によりタイル画像への構造変換とクロックの同期化を行い、タイルバス２１０７に対し出力を行う。
【００６３】
画像出力インタフェース２１１３は、タイルバスからのタイル画像データを入力とし、ラスタ画像への構造変換及び、クロックレートの変更を行い、ラスタ画像をプリンタ用画像処理部２１１５へ出力する。
【００６４】
そして、画像回転部２０３０は、画像データの回転を行う。また、解像度変換部２１１６は画像の解像度の変更を行う。さらに、色空間変換部２１１７は、カラー及びグレースケール画像の色空間の変換を行う。さらにまた、２値化部２１１８は、多値(カラー、グレースケール)画像を２値化する。さらにまた、多値化部２１１９は、２値画像を多値データへ変換する。
【００６５】
外部バスインタフェース部２１２０は、画像リングインタフェース２１０１、２１０２、２１４７及び２１４８、コマンド処理部２１０４、レジスタ設定バス２１０９を介して、ＣＰＵ２００１により発行された、書き込み、読み出し要求を外部バス２１２１に変換出力するバスブリッジである。外部バス２１２１は、本実施形態では、プリンタ用画像処理部２１１５及びスキャナ用画像処理部２１１４に接続されている。
【００６６】
メモリ制御部２１２２は、メモリバス２１０８に接続され、各画像処理部の要求に従い、あらかじめ設定されたアドレス分割により、画像メモリＡ及び画像メモリＢから成る画像メモリ２１２３に対して、画像データの書き込み、読み出し、必要に応じてリフレッシュ等の動作を行う。また、スキャナ用画像処理部２１１４では、画像入力デバイスであるスキャナ２０７０によりスキャンされた画像データを補正画像処理する。さらに、プリンタ用画像処理部２１１５では、プリンタ出力のための補正画像処理を行い、結果をプリンタ２０９５へ出力する。
【００６７】
レンダリング部２０６０は、ＰＤＬコード若しくは、中間ディスプレイリストをビットマップイメージに展開する。以上が本デジタルカラー複合複写機の構成に関する説明である。
【００６８】
上述したデジタルカラー複合複写機を画像処理システム１０２とした場合の本発明の方向判別処理の流れについて説明する。
【００６９】
図２は、図２９Ａ〜Ｃに示すデジタルカラー複合複写機を汎用の画像処理システム１０２に適用した場合の方向検知処理に必要なハードウェア構成を示すブロック図である。図２に示すように、符号２０１は方向を判別する対象であるカラー画像を示す。また、２０２は汎用の画像処理システムであり、図１と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有し、入力画像の微分処理、ヒストグラム演算、圧縮伸長処理、解像度変換、二値化処理等を行うためのハードウェア機能を持っている。尚、これらの機能はハードウェアによってではなくソフトウェア処理による機能であってもかまわない。
【００７０】
また、図１と同様に、方向検知モジュール２００内に存在する各部は画像処理システム１０２内に含まれる処理部として実現されるものであるが、ハードウェア機能としてではなく、ソフトウェア機能として実現し、不図示のＣＰＵ（上述したデジタルカラー複合複写機ではＣＰＵ２００１）を用いて処理されるものであってもよい。
【００７１】
以下、図２９Ａ〜Ｃと図２とを利用して、タイルヘッダ２０３、ヒストグラム情報（全面ヒストグラム）２０４、３００ｄｐｉ一部二値画像２０５のデータ作成方法について説明する。
【００７２】
まず、複数毎のカラー画像がスキャナ２０７０のＡＤＦに置かれる。図２において、カラー画像２０１は、スキャナ２０７０により１枚ずつ読み込まれたカラー画像を示す。尚、本実施形態では、カラー画像は６００ｄｐｉで読み込まれるものとする。
【００７３】
カラー画像２０１を入力したスキャナ用画像処理部２１１４は、１画素につき１ビットの情報である像域フラグ２１２を生成する。すなわち、像域フラグ２１２も６００ｄｐｉである。像域フラグ２１２の作成は基本的に微分処理であり、カラー画像２０１にウィンドウを設け、微分フィルタをかけ、微分結果がしきい値を超えた場合は１、超えない場合は０というようにして作成する。この処理は、ハードウェアにより行うので高速であり、網点で構成された自然画像上に現れた１を消すなどの後処理も行っている。この像域フラグ情報はカラー画像のαチャンネルの１ビットに格納される。この情報から画像処理部２１４９でのＪＰＥＧ圧縮の程度を調整したり、プリンタ用画像処理部２１１５での出力用色処理の係数を調整したりする。
【００７４】
像域フラグ生成ハードウェアは、処理信号をＲ、Ｇ、Ｂ、ａ×Ｒ＋ｂ×Ｇ＋ｃ×Ｂと内部レジスタに係数をセットすることで選択することができる。通常、デフォルトではＧ信号なので、本実施形態においてもＧ信号を処理して像域フラグを作成したと仮定する。
【００７５】
一方、スキャナ用画像処理部２１１４は、下地レベル判定用ヒストグラム演算処理を行い全面ヒストグラム２０４を作成する。すなわち、Ｒ、Ｇ、Ｂ、ＮＤ（＝Ａ１×Ｒ＋Ａ２×Ｇ＋Ａ３×Ｂ）の４レベルの２５６階調（８ビット）のヒストグラムを取る。これは、プリンタ用画像処理部２１１５で行われる「下地除去」のためのパラメータを算出するためのデータとなる。
【００７６】
画像入力インタフェース部２１１２はタイル画像への構造変換を行うが、タイル（３２×３２画素）中の像域フラグの分布から像域フラグ情報をタイルヘッダ２０３として生成する（従って、タイルヘッダ情報を画像としてみると６００／３２＝約１８ｄｐｉ）。
【００７７】
すなわち、本発明に係る画像処理方法では、タイル画像が、入力された画像を微分して生成された二値画像を微少領域毎に計数して作成した低解像度の二値画像であることを特徴とする。
【００７８】
この像域フラグ情報タイルヘッダの生成方法としては、「タイル中にしきい値Ｔ１以上の像域フラグが存在するとき１」のように作成する。画像入力インタフェース部２１１２の画像入力順次はラスタ順次であるので、上記の方法によれば画像横幅／３２分の１０ビットカウンタが必要になりハードウェアの規模的に大きくなってしまう。そこで、今回は、「タイル３２ライン中１ラインでもしきい値Ｔ１以上の像域フラグが存在する場合は１」というルールに基づいて、像域フラグ情報タイルヘッダを作成した。
【００７９】
すなわち、本発明に係る画像処理方法は、画像を微分して生成された微分情報から所定値以上の画素を１とし、それ以外の画素を０とする像域フラグによる二値画像を生成し、タイル内に含まれる１の像域フラグ数が所定しきい値以上のタイルを１とし、それ以外のタイルを０とするタイルヘッダによるタイル画像を生成することを特徴とする。
【００８０】
また、今回は、像域フラグ情報タイルヘッダを２ビット分作成した。すなわち、１ビットは「タイル３２ライン中１ラインでもしきい値Ｔ１以上像域フラグが存在する場合に１」、もう１ビットは「タイル３２ライン中１ラインでもしきい値Ｔ２以上像域フラグが存在する場合に１」（Ｔ１＞Ｔ２）というように作成する。
【００８１】
すなわち、本発明に係る画像処理方法は、異なる複数のしきい値を用いて複数のタイル画像を生成し、複数のタイル画像を比較して、入力された画像に含まれる文字領域を抽出することを特徴とする。また、本発明に係る画像処理方法は、異なる複数のしきい値を用いて複数の低解像度画像を生成することを特徴とする。さらに、本発明に係る画像処理方法は、複数の低解像度画像から抽出した連結画素群を複数の低解像度画像間で比較して、文字領域を抽出することを特徴とする。
【００８２】
ここで、像域フラグ２１２は微分情報であるので、微分フィルタをかける面のレベル差の大きいところに多数出現する。そのため、白地に黒文字の場合には多数出現するが、下地と文字部のレベル差の小さい文字には黒文字と比較して出現数が少なくなる。この特性を利用して、Ｔ１、Ｔ２のしきい値から２枚の像域フラグ分布情報（タイルヘッダ）２０３を作成し、第一次文字抽出部２０６においてより正確な文字領域座標検出を行う。
【００８３】
すなわち、本発明に係る画像処理方法は、タイル画像が、入力された画像の微分情報を微少領域毎に計数して作成した低解像度の微分画像であることを特徴とする。
【００８４】
カラー画像データ（ＲＧＢ）、像域フラグデータを含むαチャンネルデータ、タイルヘッダ情報は画像処理部２１４９内のタイル圧縮部２１０６（図２では非図示）において、ＲＧＢデータはＪＰＥＧ圧縮、αチャンネルは可逆圧縮が施される。タイルヘッダ自体は圧縮されないのでタイルヘッダ情報は高速に読み出すことが可能である。そしてＲＡＭ２００２にスプールされる。
【００８５】
次に、スプールされた画像から３００ｄｐｉ一部二値画像２０５を生成する手順について説明する。
【００８６】
ＲＡＭ２００２にスプールされた画像は、画像リングインタフェース２１４７、２１０１を通り画像処理部２１４９に渡される。タイル伸長部２１０３を通り伸長された画像データは、解像度変換部２１１６において６００ｄｐｉから３００ｄｐｉに変換される。その後、色空間変換部２１１７において指定しきい値で二値化（００，ｆｆ化）され、それを８ビット１ビット変換した結果が画像リングインタフェース２１０２、２１４８を通り、ふたたびシステム制御部２１５０に戻ってくる。そして、ＲＡＭ２００２に一部領域二値画像が書き込まれる。
【００８７】
以上のようにして、画像処理システム（カラーデジタル複合複写機）においてタイルヘッダ２０３、全面ヒストグラム２０４、３００ｄｐｉ一部二値画像２０５のデータが作成される。
【００８８】
図３は、図２に示す画像処理システム２０２の各動作のタイミングチャートを示す図である。以下、図３を用いて、画像処理システム２０２における処理の流れについて説明する。図３において、符号３０１はスキャナのタイミングであり、「０」、「１」、「２」、「３」、「４」の各数値はＡＤＦに載せたカラー画像（原稿）の順番を示す。また、スキャナ用画像処理部２１１４のタイミングは３０２で示されており、スキャナに同期して処理が行われる。尚、符号３０２で示される各６角形の横に位置する「三角」の符号で示されるタイミングで、タイルヘッダの作成及び下地除去用ヒストグラム演算が終了するので、タイルヘッダ２０３と全面ヒストグラム２０４ができていることになる。
【００８９】
また、３０３は方向判別処理のタイミングを示しており、方向判別処理はＣＰＵ２００１を利用したソフトウェア処理で実行される。ＣＰＵ２００１は、複数のタスクを処理しているので、図３における３０６に示したようにＣＰＵを占有できるわけではなく、他のタスクも実行しているが、本実施形態では便宜上他のタスクは図示していない。そして、３０２中の三角形の符号で示されたタイミングで方向判別処理が始まる。図３において、符号３０５、３０６は、あるカラー画像に対する方向判別処理の詳細を示している。尚、３０５はハードウェア処理であり、３０６はソフトウェア処理である。
【００９０】
まず、ソフトウェア処理３０６について詳細に説明する。まず、ヒストグラムデータ読み出しが行われる（ステップＳ３０７）。具体的には、ＣＰＵがスキャナ用画像処理部内のヒストグラムデータを参照する。ここで読み出すヒストグラムは、像域フラグを作成した信号にあわせてＧのヒストグラムとする。ＣＰＵは、二値化しきい値算出ソフトウェアを実行して二値化しきい値Ａを算出する（ステップＳ３０８）。次に、ＣＰＵは、ＲＡＭ内に存在するタイルヘッダの読み出しを実行する（ステップＳ３０９）。タイルヘッダの読み出し後、第一次文字抽出処理を行う（ステップＳ３１０）。
【００９１】
尚、第一次文字抽出処理とは、画像全体中で、文字が存在している部分を限定し、小さな矩形領域として選出する処理のことをいう。図２６は、第一次文字抽出処理をハードウェア処理する第一次文字抽出部の細部構成を示すブロック図である。尚、本実施形態では、本第一次文字抽出処理はソフトウェア処理として実行されている。
【００９２】
図２６において、タイルヘッダ入力部２６０１は、ＲＡＭ２００２にスプールされている２枚のタイルヘッダ画像２０３を入力する。また、文字矩形抽出部２６０２は、２枚のタイルヘッダ画像から、特に文字が集合している可能性が強い矩形領域を抽出する。さらに、ランダムアクセス矩形抽出部２６０３は、画像全体を機械的にほぼ均等な矩形領域に分割し、文字が少しでも含まれている可能性の高い矩形領域を抽出する。そして、文字領域出力部２６０４は、文字矩形抽出部２６０２とランダムアクセス矩形抽出部２６０３で抽出された矩形の集合を統合し、複数の文字領域として出力する。
【００９３】
図２７は、第一次文字抽出処理（ステップＳ３１０）を実行する文字矩形抽出部２６０２の細部処理手順について説明するためのフローチャートである。まず、タイルヘッダ１画像から連結する黒画素の固まりをすべて抽出し、それぞれの外接矩形の座標を取得する（ステップＳ２７０１）。この矩形情報集合を｛Ｔｃ１｝とする。
【００９４】
次に、矩形集合｛Ｔｃ１｝の中で、面積の著しく大きいもの、小さいもの及び偏平率が大きいものを除いて、全矩形の平均サイズを求める（ステップＳ２７０２）。さらに、矩形集合｛Ｔｃ１｝に対して、平均サイズと大きく異なる矩形を非テキスト矩形集合｛Ｔｃ１−ｎｔ｝、それ以外のものをテキスト矩形集合｛Ｔｃ１−ｔ｝とする（ステップＳ２７０３）。
【００９５】
さらにまた、タイルヘッダ２画像から、連結する黒画素の固まりをすべて抽出し、おのおのその外接矩形の座標を取得する（ステップＳ２７０４）。この矩形情報集合を｛Ｔｃ２｝とする。尚、本実施形態では、ステップＳ２７０１及びステップＳ２７０４において、連結した黒画素の固まりを抽出する処理は、公知のラベリング法を用いることにするが、それ以外に公知の輪郭追跡法を用いて行ってもよい。
【００９６】
すなわち、本発明に係る画像処理方法は、低解像度の画像から抽出した連結画素群に対応する前記画像中の領域を文字領域として抽出することを特徴とする。
【００９７】
さらにまた、矩形集合｛Ｔｃ２｝に対して、一定面積以下の矩形を、非テキスト矩形集合｛Ｔｃ２−ｎｔ｝、それ以外をテキスト矩形集合｛Ｔｃ２−ｔ｝とする（ステップＳ２７０５）。この面積のしきい値はあらかじめ適当に定めたものを用いる。そして、１８ｄｐｉ相当のタイルヘッダ座標から３００ｄｐｉの座標値へと、各矩形の座標を変換する（ステップＳ２７０６）。
【００９８】
さらに、矩形集合｛Ｔｃ２−ｔ｝内の各矩形に対し、矩形集合｛Ｔｃ１−ｔ｝内の矩形のうち、自分と座標上重複している面積の総和を自分自身の面積で割った値を求め、これを矩形のスコアとする（ステップＳ２７０７）。このスコアが高い矩形は、タイルヘッダ１、タイルヘッダ２双方でテキストとして観測された、より文字らしい領域であると考えられる。
【００９９】
そして、矩形集合｛Ｔｃ２−ｔ｝をスコア昇順でソートする（ステップＳ２７０８）。以上で得られた矩形集合｛Ｔｃ２−ｔ｝が、文字矩形抽出部２６０２の処理結果となる。
【０１００】
一方、図２８は、ランダムアクセス矩形抽出部２６０３の細部処理手順を説明するためのフローチャートである。まず、タイルヘッダ画像２を一定面積の小矩形でメッシュ状に分割する（ステップＳ２８０１）。尚、メッシュ面積は、後段で効率よく処理できる部分画像サイズを鑑みてあらかじめ決定しておくが、入力画像サイズに応じて動的に変更してもよい。また、画像周辺部に多く発生するノイズを避けるために、周辺一定幅を除くマージンを設けてメッシュの分割を行ってもよい。
【０１０１】
次に、各メッシュに毎に、そのメッシュ内に含まれる｛Ｔｃ２｝矩形の面積の総和となるＳｍを求める（ステップＳ２８０２）。そして、隣り合った４枚のメッシュを一つのランダムアクセス矩形Ｔｒと定義する（ステップＳ２８０３）。そして、４メッシュのＳｍを合計したものを、このＴｒ矩形のスコアとする。
【０１０２】
次いで、画像内すべてのＴｒの集合｛Ｔｒ｝をスコア昇順でソートする（ステップＳ２８０４）。このときにＴｒ同士が重ならないようにする。重なりあう２つのＴｒがある場合には、スコアの低いほうはその重複部分を切除して縮小し、新しいＴｒとして登録し直す。この際、再びスコア昇順となるようにソートする。以上により得られた｛Ｔｒ｝が、ランダムアクセス矩形抽出部２６０３の処理結果である。
【０１０３】
最後に、出力部２６０４は、まず矩形集合｛Ｔｃ２−ｔ｝から、あらかじめ定めたしきい値以上のスコアを持つ矩形を先頭から出力していく。スコアがしきい値を下回った時点で残りのＴｃ２−ｔ矩形は破棄し、それ以降は矩形集合｛Ｔｒ｝からスコア順に出力していく。そして、矩形がなくなるか、所定の個数の矩形を出力し終えたならば出力部２６０４での処理は終了する。
【０１０４】
すなわち、本発明に係る画像処理方法は、低解像度画像をメッシュ状に分割し、分割されたメッシュ状の領域内の画素の分布に基づいて、文字領域を抽出することを特徴とする。また、本発明に係る画像処理方法は、低解像度画像から抽出した連結画素群を用いて抽出された文字領域と、メッシュ状に分割された領域内の画素の分布に基づいて決定された文字領域とを選択的に出力することを特徴とする。
【０１０５】
上述した第一次文字抽出によって、複数の文字領域座標が得られる。その結果に従ってＲＡＭ上に画像読み出しテーブルを作成し、ＣＰＵがプログラムキックすると、画像リングインタフェース２１４７によるＤＭＡ処理によって３００ｄｐｉ一部二値画像２０５が順番に読み出される。１つめの領域の読み出し（ステップＳ３１１）が終わった時点で、領域１に領域分割処理（以下、「ＢＳ処理」と称す。）とＯＣＲタスクが実行され（ステップＳ３１９）（以下、「ＢＳＯＣＲ処理」と称す。）、その結果はＢＳＯＣＲタスク内部に蓄積される。
【０１０６】
領域１のＢＳＯＣＲ処理と並列して領域２の３００ｄｐｉ二値画像読み出しが行われる。画像読み出し（ハード）に対してＢＳＯＣＲ処理は十分時間がかかるので、ＢＳＯＣＲ処理に対して画像データは先行して用意されていることになる。２領域目からのＢＳＯＣＲ処理の結果は、ＢＳＯＣＲタスク内部に蓄積、加算されていく。処理時間終了の合図で、ＢＳＯＣＲタスクは蓄積された結果から最終方向結果を演算し出力する。
【０１０７】
次に、実際に画像２枚を例に示しながら、上述した方向判別処理の具体例について説明する。ここでは、図４に示したカラー画像を処理する。図４は、第１の実施形態に係る方向判別処理に用いられるカラー画像の例を示す図である。図５は、スキャナ用画像処理部２１１４において、Ｔ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。図５において、画像５０１がＴ１＝１５からの結果であり、画像５０２がＴ２＝１からの結果である。一方、スキャナ用画像処理部２１１４では、下地除去用ヒストグラムが演算されず図６のようなヒストグラムが得られる。図６は、図４に示すカラー画像の全面ヒストグラムを示す図である。そして、図６のヒストグラムから方向判別前処理として、６０１で示される最適二値化しきい値Ａ＝１２８が算出される。
【０１０８】
第一次文字抽出部では、画像５０１、５０２に対して、図２７に示すフローチャートの処理手順により、文字領域らしいスコア順に並んだ矩形領域が出力される。図７は、第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。ここで、実際にはこの画像からはもっと多くの領域が抽出されるが、説明の便宜上本実施形態では３つの領域が抽出されたとする。また、ランダムアクセス矩形抽出による矩形は下位にあるため無視する。
【０１０９】
図７において、領域７０１、７０２、７０３の画像読み出しテーブルをＲＡＭ上に生成し、画像リングインタフェースをキックすると各々の領域の解像度変換が行われ、二値化画像が順次読み出される。図８は、領域７０１の読み出し画像（一部二値画像）を示す図、図９は、領域７０２の読み出し画像（一部二値画像）を示す図、図１０は、領域７０３の読み出し画像（一部二値画像）を示す図である。
【０１１０】
領域７０１の読み出しが終わったタイミングで、方向判別はＢＳＯＣＲ処理ループに入る。領域７０１のＢＳＯＣＲ処理はＣＰＵによって行われる。ＢＳ（領域分割）処理には、画像の反転判断処理と反転処理とが実装されている。具体的には、入力二値画像の黒画素と白画素の数を数え、黒画素の割合が例えば７０％超えた場合は反転画像である、というように判断する等の方法がある。
【０１１１】
図１１は、図８に示す領域７０１の読み出し画像がＢＳ処理により反転画像であると判定された一部二値画像の領域分割結果を示す図である。また、図１２は、図８に示す領域７０１の画素反転処理が行われて反転画像に通常のＢＳＯＣＲ処理を施した結果を示す図である。図１２において赤矩形ＲＤ１で示される領域が文字領域であると認識されている。矩形表示は黒字に白文字の画像上に表示しているがＧＵＩアプリケーションの仕様である。実際の画像は反転されていて図１２の画像をＢＳ処理し図１２の黒矩形ＢＫ１で囲まれるＢＳ結果の領域をＯＣＲ処理している。
【０１１２】
尚、ＯＣＲ処理は複数の領域からトータルに方向結果を出力したほうが好ましい。例えば、１つの領域に２００文字存在し、２００文字の４方向ＯＣＲを処理しているうちに制限時間を過ぎてしまわないように、１領域に対する文字数制限を設ける。すなわち、１領域につき３０文字と限定するようにする。図１２の画像をＯＣＲ処理した結果、３０文字処理し０度の確度が大きくなる。また、処理時間がある場合は先行して読み込まれている領域７０２の画像のＢＳＯＣＲ処理を行う。ここで、領域７０２は図９の二値画像である。ＢＳ処理により、この領域は反転画像でないと判定され、文字領域は図１３の黒矩形ＲＤ２であらわされる領域が文字であると認識される。図１３は、図９の一部二値画像の領域分割結果を示す図である。この領域がＯＣＲ処理され、さらに３０文字の方向判別結果が得られる。
【０１１３】
領域７０１、７０２と処理した後まだ時間がある場合は、先行して読み込まれている領域７０３の画像のＢＳＯＣＲ処理を行う。領域７０３は図１０の二値画像であるが ＢＳ処理により反転画像と判断され、図１５に示すように画素反転処理を行い、図１５の二値画像の黒矩形で示す領域（＝図１４の赤矩形ＲＤ３）が文字領域であると判定されてＯＣＲ処理される。図１４は、図１０の一部二値画像の領域分割結果を示す図である。また、図１５は、図１０の一部二値画像の領域分割結果を反転した画像を示す図である。ここで、制限時間がきたとする。このとき、ＯＣＲは内部に蓄積した方向認識の結果を演算し、０度という結果を出力する。
【０１１４】
すなわち、本発明に係る画像処理方法は、入力された画像の二値画像に基づいて文字領域が反転画像であるか否かを判断し、文字領域が反転画像であると判断された場合、二値画像の白黒成分を反転することを特徴とする。
【０１１５】
図１６は、第１の実施形態における方向検知処理を実行する２枚目のカラー画像例を示す図である。この画像はＧプレーンのレベル差があまりなく、その結果として図４のカラー画像を処理したときと同じしきい値（Ｔ１＝１５、Ｔ２＝１）を用いてタイルヘッダを作成すると、図１７に示す結果が得られる。図１７は、図１６のカラー画像からＴ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。一方、図１８は、図１６のカラー画像に対する下地除去用ヒストグラムを示す図である。方向判別前処理として、図１８のヒストグラムから１８０１で示される最適二値化しきい値Ａ＝６６が算出される。
【０１１６】
第一次文字抽出については、画像１７０１、１７０２に対して 図２７に示すフローチャートの処理を行うが、適切な文字矩形を抽出することができない。しかし、図２８に示すフローチャートの処理により、文字か否かは判らないが、何らかの情報が存在していると判断した部分をランダムアクセス矩形として出力する。ここでは、図１９に示される３つの領域が出力されたとする。すなわち、図１９は、第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。尚、実際には、この画像からはもっと多くの領域が抽出されるが、説明の便宜上３つの領域とする。
【０１１７】
領域１９０１、１９０２、１９０３の画像読み出しテーブルをＲＡＭ上に生成し、画像リングインタフェースをキックすると各々の領域の解像度変換がされ、二値化画像が順次読み出される。図２０は、領域１９０１の読み出し画像（一部二値画像）を示し、図２１は、領域１９０２の読み出し画像（一部二値画像）を示し、図２２は、領域１９０３の読み出し画像（一部二値画像）を示す図である。
【０１１８】
領域１９０１の読み出しが終わったタイミングで、方向判別はＢＳＯＣＲ処理ループに入る。そして、領域１９０１のＢＳＯＣＲ処理がＣＰＵによって行われる。図２０に示す画像では、領域分割結果として文字がないと判断されＯＣＲ処理は行われない。図２１の二値画像については、ＢＳ処理により 図２３の赤矩形ＲＤ４で囲まれる領域が文字領域であると認識される。すなわち、図２３は、図２１に示す一部二値画像の領域分割結果を示す図である。この領域がＯＣＲ処理され、３０文字の方向判別結果が得られる。
【０１１９】
領域１９０１、領域１９０２と処理したが時間がある場合、先行して読み込まれている領域１９０３の画像のＢＳＯＣＲ処理を行う。図２２の二値画像については、ＢＳ処理により、図２４の赤矩形ＲＤ５で囲まれた領域が文字領域であると認識される。すなわち、図２４は、図２２の一部二値画像の領域分割結果を示す図である。この領域がＯＣＲ処理され、さらに３０文字の方向判別結果が得られる。ここで制限時間がきたとする。このとき、ＯＣＲは内部に蓄積した方向認識の結果を演算し０度という結果を出力する。
【０１２０】
上述したように、本発明は、コンピュータに入力された、文字領域を含む画像の方向を検知する画像処理方法であって、画像の二値画像を生成し、二値画像中の所定サイズの領域を１つのタイルとして、それぞれのタイルごとに所定値を付与してタイル画像を生成し、タイル画像中の連結する同値の画素群の外接矩形内の領域に対応する二値画像中の領域を文字領域として抽出し、文字領域に含まれる文字の方向を認識して画像の方向を検知することを特徴とする。
【０１２１】
また、本発明に係る画像処理方法は、文字領域に含まれるそれぞれの文字を抽出し、抽出された文字の方向を認識し、文字領域に含まれる文字の方向の認識結果に基づいて文字領域の方向を検知することを特徴とする。
【０１２２】
＜第２の実施形態＞
上記第１の実施形態において画像処理システムが提供する全面ヒストグラムから二値化しきい値Ａを算出したが、本発明の適用はそれ以外に、二値化しきい値は１２８などの固定しきい値で行ってもよい。固定しきい値の場合、画像処理システム側に全面ヒストグラム演算部がない場合でも対応することができる。
【０１２３】
また、上記第１の実施形態において３００ｄｐｉ一部画像に対し、領域分割処理を行ったがこれを省いてもよい。これによって、領域分割処理時間を削減することができ、より多くの領域のＯＣＲ処理を行うことができるという効果が得られる。しかし、第一次文字抽出処理で検出された画像がすべてそのまま文字きりできないような画像である場合に方向検知結果が悪くなってしまう。そこで、第一次文字抽出処理でその後の領域分割処理を実行する領域と実行しない領域とを指定した処理フローにしてもよい。その場合、方向検知精度を保ち、かつ処理速度が高速になることを期待することができる。
【０１２４】
また、上記第１の実施形態において、読み出す一部画像は３００ｄｐｉ二値画像としたが、本発明の適用はこれに限定されず、一部多値画像を読み出してもかまわない。その場合は、方向検知側で部分多値画像を二値化する機能が必要になる。これにより、部分領域に対して最適な二値化を行うことができるという効果がある。
【０１２５】
また、多値画像読み出しは、二値画像読み出しに対してデータサイズの大きさから時間がかかると推測される。そこで 第一次文字抽出処理が検出領域を二値画像で読み出すべきか多値画像で読み出すべきかを微分情報の分布から判断し、画像処理システムに指示することによって切り替える構成が効果的である。図２５は、第２の実施形態に係る多値画像読み出し機能を備える画像処理装置の構成例を示す図である。文字領域座標情報上に読み出し方法（二値、多値）の指定があり、画像処理システムは、その指定に従ってＤＭＡ動作により一部画像を読み出す。そこで、二値画像が読み出された場合は、第一の実施例と同様な処理が行われ、多値画像２５１２が読み出された場合は、一部領域最適二値化処理２５１３が行われる。この最適二値化処理に反転判断、反転機能が搭載される場合は その後の領域分割処理２５１４では反転判断は必要ない。
【０１２６】
＜その他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３０】
【発明の効果】
以上説明したように、本発明によれば、カラー画像の微分情報からなる複数の低解像度の画像を利用して文字領域を検出するので、微分情報の多い画像から少ない画像まで、効率よく画像の入力方向を検出することができる。また、本発明によれば、反転判断部を有するので、反転文字部分の文字認識が可能となり、反転文字の多いカラー画像であっても入力方向の検出をすることができる。さらに、本発明によれば、少ないワークメモリで高速なソフトウェア処理を可能とするので、方向検知処理のバージョンアップをする際にも部品にかかるコストが必要がない。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２９Ａ〜Ｃに示すデジタルカラー複合複写機を汎用の画像処理システム１０２に適用した場合の方向検知処理に必要なハードウェア構成を示すブロック図である。
【図３】図２に示す画像処理システム２０２の各動作のタイミングチャートを示す図である。
【図４】第１の実施形態に係る方向判別処理に用いられるカラー画像の例を示す図である。
【図５】スキャナ用画像処理部２１１４において、Ｔ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。
【図６】図４に示すカラー画像の全面ヒストグラムを示す図である。
【図７】第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。
【図８】領域７０１の読み出し画像を示す図である。
【図９】領域７０２の読み出し画像を示す図である。
【図１０】領域７０３の読み出し画像を示す図である。
【図１１】図８に示す領域７０１の読み出し画像がＢＳ処理により反転画像であると判定された一部二値画像の領域分割結果を示す図である。
【図１２】図８に示す領域７０１の画素反転処理が行われて反転画像に通常のＢＳＯＣＲ処理を施した結果を示す図である。
【図１３】図９の一部二値画像の領域分割結果を示す図である。
【図１４】図１０の一部二値画像の領域分割結果を示す図である。
【図１５】図１０の一部二値画像の領域分割結果を反転した画像を示す図である。
【図１６】第１の実施形態における方向検知処理を実行する２枚目のカラー画像例を示す図である。
【図１７】図１６のカラー画像からＴ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。
【図１８】図１６のカラー画像に対する下地除去用ヒストグラムを示す図である。
【図１９】第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。
【図２０】領域１９０１の読み出し画像（一部二値画像）を示す図である。
【図２１】領域１９０２の読み出し画像（一部二値画像）を示す図である。
【図２２】領域１９０３の読み出し画像（一部二値画像）を示す図である。
【図２３】図２１に示す一部二値画像の領域分割結果を示す図である。
【図２４】図２２の一部二値画像の領域分割結果を示す図である。
【図２５】第２の実施形態に係る多値画像読み出し機能を備える画像処理装置の構成例を示す図である。
【図２６】第一次文字抽出処理をハードウェア処理する第一次文字抽出部の細部構成を示すブロック図である。
【図２７】第一次文字抽出処理（ステップＳ３１０）を実行する文字矩形抽出部２６０２の細部処理手順について説明するためのフローチャートである。
【図２８】ランダムアクセス矩形抽出部２６０３の細部処理手順を説明するためのフローチャートである。
【図２９Ａ】本発明の一実施形態によるデジタルカラー複合複写機の構成を説明するための機能ブロック図である。
【図２９Ｂ】コントローラユニット２０００におけるシステム制御部２１５０を詳細に示す機能ブロック図である。
【図２９Ｃ】コントローラユニット２０００におけるタイル画像処理部２１４９を詳細に示す機能ブロック図である。
【図３０】従来の画像方向検知のソフトウェア処理の概要を説明するための概要図である。
【図３１】ＲＧＢ各８ビットで構成されたカラー画像１０１１の一例を示す図である。
【図３２】図３１に示すカラー画像を単純二値化したときの二値画像例を示す図である。
【図３３】図３１に示すカラー画像の輝度情報ヒストグラムと最適な二値化ポイントを示す図である。
【図３４】二値化ポイント１０４１を用いたカラー画像１０１１の二値画像を示す図である。
【図３５】図３４に示す二値画像を領域分割処理手順１０１４によって領域分割を行った場合の領域分割結果の一例を示す図である。
【図３６】白黒デジタル複写機のメインボードに接続される方向検知専用の方向検知ボードのハードウェア構成を示すブロック図である。
【図３７】図３６に示す方向検知ボードを用いた各動作のタイミングチャートを示す図である。
【符号の説明】
１００ 方向検知モジュール
１０１ カラー画像
１０２ 画像処理システム
１０３ 微分情報
１０４ 全面ヒストグラム
１０５ ３００ｄｐｉ一部二値画像
１０６ 第一次文字抽出部
１０７ 文字領域座標
１０８ 二値化しきい値算出部
１０９ 二値化しきい値
１１０ 領域分割部
１１１ ＯＣＲ部
【発明の属する技術分野】
本発明は、スキャナ等を用いて入力された原稿画像の上下左右の向きを検知する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
従来、スキャナ等を用いてコンピュータ内に入力された原稿画像の上下左右の向きを検知するためには次のような方法があった。
【０００３】
（１）ソフトウェアによる原稿画像方向検知
図３０は、従来の画像方向検知のソフトウェア処理の概要を説明するための概要図である。図３０に示すように従来は、まず、方向を検知する対象であるカラー画像１０１１が、二値化処理手順１０１２によって二値化され、二値画像１０１３が生成される。次に、二値画像１０１３は、領域分割処理手順１０１４によって領域分割され、文字領域の座標情報である文字座標情報１０１５が作成される。そして、ＯＣＲ処理手順１０１６によって文字座標情報１０１５内の二値画像１０１３を参照して文字認識処理が行われ、カラー画像１０１１の方向結果が出力される。
【０００４】
上記処理について、さらに詳細に説明する。図３１は、ＲＧＢ各８ビットで構成されたカラー画像１０１１の一例を示す図である。このカラー画像を輝度変換して固定しきい値を１２８として単純二値化する。図３２は、図３１に示すカラー画像を単純二値化したときの二値画像例を示す図である。図３２に示すような単純二値化によって得られた二値画像にはノイズが多く含まれているので、この二値画像を用いても良好な領域分割ができない。
【０００５】
そこで、二値化処理手順１０１２では、 図３３に示すようにカラー画像の輝度情報のヒストグラムを取り、最適な二値化ポイント１０４１を算出する。図３３は、図３１に示すカラー画像の輝度情報ヒストグラムと最適な二値化ポイントを示す図である。また、図３４は、二値化ポイント１０４１を用いたカラー画像１０１１の二値画像を示す図である。図３４に示すように、固定しきい値ではなく輝度情報のヒストグラムを用いたしきい値（二値化ポイント１０４１）を用いることによって、図３２に示す二値画像に比べてノイズがないので良好な領域分割を得ることができる。
【０００６】
図３５は、図３４に示す二値画像を領域分割処理手順１０１４によって領域分割を行った場合の領域分割結果の一例を示す図である。この領域分割処理においては、黒画素を連結するように解像度を減らして輪郭線追跡を行い、輪郭線の形状から文字であるか文字でないかを判断した。図３５において、符号１０６１〜１０６８で示される矩形領域が文字領域と判定された領域である。尚、領域１０６７、１０６８は誤判定された領域である。
【０００７】
上述したように、文字領域と判定された領域をＯＣＲ処理手順１０１６において読み取って文字きり処理を行い、１文字毎に方向判別処理が行われる。方向判別処理では、１文字の特徴ベクトルを算出し、特徴ベクトルを回転させて４方向の文字認識処理を行う。この４方向の文字認識処理の結果から、確度の一番高い角度を方向結果とする。
【０００８】
ソフトウェアによる画像方向検知では、原稿内に存在する文字（領域分割の結果文字となった領域に存在する文字）のすべてについてのＯＣＲ結果の加算値によって最終結果を出力する。
【０００９】
（２）ハードウェアによる原稿画像方向検知
次に、従来の画像方向検知処理を行うハードウェア構成の概要について説明する。図３６は、白黒デジタル複写機のメインボードに接続される方向検知専用の方向検知ボードのハードウェア構成を示すブロック図である。図３６において、符号１０７１は、文字抽出部であり、文字抽出処理及び二値化処理のための専用ＧＡを示す。また、符号１０７２はＲＡＭ、１０７３はＣＰＵ、１０７４はＲＯＭを示す。
【００１０】
図３７は、図３６に示す方向検知ボードを用いた各動作のタイミングチャートを示す図である。ここで、図３７のタイミングチャートを利用して、図３６の方向検知ボードの動作について説明する。
【００１１】
図３７中の「０」、「１」、「２」、「３」は、白黒デジタル複写機のＡＤＦ（Ａｕｔｏｍａｔｉｃ Ｄｉｒｅｃｔｉｏｎ Ｆｉｎｄｅｒ）に載せられた原稿のページ番号を示す。また、１０８１は複写機のスキャナが原稿読み込みを行うタイミングを示す。さらに、１０８２は文字抽出専用ＧＡが文字抽出処理及び二値化を行うタイミングを示す。さらにまた、１０８３はＣＰＵが方向判別ＯＣＲを行うタイミングを示す。そして、１０８４は方向判別結果が出るタイミングを示す。図３７に示すように、原稿の入力から２パイプライン後れでそれぞれページの結果が出力される。
【００１２】
まず、ＡＤＦに載せられた原稿をスキャナが順次読み取り、図３６中のＶＩＤＥＯが作成される。ここで、ＶＩＤＥＯとは、ＣＬＫ及びＣＬＫに同期した画像データ（８ビット）及び画像データのページの切れ目を示すページ信号、画像データの横幅の切れ目を示す主走査同期信号である。
【００１３】
文字抽出部１０７１は、画像データ（８ビット）を取り込み、画像データの連続する文字らしい領域（具体的には、近隣の複数画素を参照して、最大値と最小値の差がしきい値より大きい領域）を検出しその座標データを作成する。また、画像データ（８ビット）を二値化する。尚、二値化に用いるしきい値は、前ラインのヒストグラムから決定される。そして、座標データ及び二値画像がＲＡＭ１０７２に書き込まれる（尚、ＧＡ内部にＲＡＭを持って保持する形でもよい）。以上の動作は、図３７の符号１０８２に示すタイミングで行われる。
【００１４】
次いで、１ページ遅れて文字抽出処理と並列にＣＰＵ１０７３によって方向判別ＯＣＲ処理が行われる。ＣＰＵ１０７３はＲＯＭ１０７４に記録されたプログラムに従って、ＲＡＭ１０７２に存在する座標データを読み出し、座標データに相当するＲＡＭ１０７２上の二値画像を方向判別ＯＣＲ処理する。尚、速度アップのためＲＡＭサイズに余裕がある場合、ＲＯＭ１０７４上のプログラムをＲＡＭ１０７２にダウンロードされる。ここで、ＣＬＫに同期して処理する文字抽出は固定時間処理であるが、方向判別ＯＣＲは処理時間可変であるのでタイマーを利用して処理強制終了を行う。タイマーによる制限時間での方向判別結果（０、９０、１８０、２７０、ＵＮＫＮＯＷＮ）を結果１０８４において「三角」で示されるタイミングで出力する。
【００１５】
【発明が解決しようとする課題】
しかしながら、上述した従来方法では、以下のような問題点があった。
【００１６】
（１）ソフトウェアによる原稿画像方向検知の問題点
（１−１）処理時間がかかる。
以下、Ａ４サイズの画像を２６６ＭＨｚ、Ｐｅｎｔｉｕｍ（登録商標）ＩＩのパーソナルコンピュータを利用して処理し、測定した結果について示す。まず、ヒストグラムをとり最適な二値化ポイントを算出し、二値化処理を行うまでの処理に１．８秒を要する。次いで、領域分割処理は画像によりばらつく（黒画素のかたまりの数に依存する）が０．３〜１．０秒を要する。そして、ＯＣＲ処理は文字数によりばらつくが、文字中心の文書原稿では２、３秒を要する。従って、合計４、５秒を要する。
（１−２）多くのワークメモリを必要とする。
最適二値化画像を得るためにカラー画像全面を参照するので、Ａ４サイズの画像の場合、２４ＭＢｙｔｅｓのメモリを必要とする。
【００１７】
（２）ハードウェアによる原稿画像方向検知の問題点
（２−１）コストがかかる。
専用機版を利用し、ＣＰＵ、ＲＡＭ、ＲＯＭ、文字抽出ＧＡ、図示しない制御部ＧＡなどが方向判別処理のためだけに必要となり、コストがかかる。
（２−２）バージョンアップが困難
文字抽出部を専用ＧＡで構成しているため、文字抽出アルゴリズムのバージョンアップが困難である。
【００１８】
（３）両検知に共通の問題点
両者とも反転文字部のＯＣＲ処理が不可能である。近年 印刷原稿だけにとどまらずオフィス原稿もカラー化が進んでいるが、カラー画像には白黒原稿と比較して反転文字によってデザインされているものが多い。従って、両者とも反転文字の頻度が高いカラー画像の認識精度が悪い。
【００１９】
本発明は、このような事情を考慮してなされたものであり、微分情報の多い画像から少ない画像まで、効率よく画像の入力方向を検出することができる画像処理方法及び画像処理装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、本発明は、コンピュータに入力された、文字領域を含む多値画像の方向を検知する画像処理方法であって、前記多値画像を微分した結果において、第１しきい値以上の画素を１とし、前記第１しきい値より小さい画素を０とした像域フラグによる第１の二値画像を生成する二値画像生成工程と、前記生成された第１の二値画像において、複数の画素からなる矩形の領域ごとに、画素値が１の画素の数が第２しきい値以上であれば１を付与し、当該第２しきい値より小さければ０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成するタイル画像生成工程と、前記タイル画像において、ラベリング法もしくは輪郭追跡法を用いて画素値が１の画素の固まりを抽出し、当該抽出した固まりそれぞれの外接矩形の座標とサイズとに基づいて、当該外接矩形それぞれについてテキストであるか否かの判定を行うことにより、文字領域の座標を抽出する文字領域抽出工程と、前記抽出した文字領域の座標に対応する領域について前記多値画像の二値化処理を行うことにより、前記文字領域の二値画像を作成する一部二値画像作成工程と、前記作成された文字領域の二値画像に対してＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する方向検知工程とを有することを特徴とする。
【００２３】
また、本発明に係る画像処理方法は、前記方向検知工程は、前記文字領域の二値画像に基づいて前記文字領域が反転画像であるか否かを判断する判断工程と、前記文字領域が反転画像であると判断された場合、前記二値画像の白黒成分を反転する反転処理工程と、前記判断工程で反転画像であると判断されて前記反転処理工程で反転された後の文字領域の二値画像、あるいは前記判断工程で反転画像でないと判断されて反転処理されていない前記文字領域の二値画像に対して、前記ＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する検知工程とを含むことを特徴とする。
【００２４】
さらにまた、本発明に係る画像処理方法は、前記タイル画像生成工程では、前記第２しきい値として複数の異なるしきい値をそれぞれ用いることにより複数のタイル画像を生成し、前記文字領域抽出工程では、前記生成された複数のタイル画像それぞれから前記画素の固まりを抽出し、それぞれから抽出した画素の固まりの外接矩形が重複している面積に基づいて前記外接矩形のスコアを求め、所定しきい値以上のスコアとなった外接矩形に基づいて前記文字領域の座標を抽出することを特徴とする。
【００２５】
さらにまた、本発明に係る画像処理方法は、前記タイル画像生成工程では、前記生成された第１の二値画像において、前記複数の画素からなる矩形の領域ごとに、当該領域の少なくとも１ラインに１の像域フラグが第３しきい値以上存在すれば１を付与し、それ以外は０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成することを特徴とする。
【００３０】
さらにまた、本発明に係る画像処理方法は、前記文字領域抽出工程では、前記タイル画像をメッシュ状に分割し、分割されたメッシュ状の領域内に含まれる前記外接矩形に基づいて前記メッシュ状領域のスコアを求め、前記所定しきい値以上のスコアとなった外接矩形と前記メッシュ状領域のスコアとに基づいて、前記文字領域の座標を抽出することを特徴とする。
【００３２】
本発明によれば、カラー画像の微分情報からなる複数の低解像度の画像を利用して文字領域を検出するので、微分情報の多い画像から少ない画像まで、効率よく画像の入力方向を検出することが可能となる。
【００３３】
また、本発明によれば、反転判断部を有するので、反転文字部分の文字認識が可能となり、反転文字の多いカラー画像であっても入力方向の検出をすることが可能となる。
【００３４】
さらに、本発明によれば、少ないワークメモリで高速なソフトウェア処理を可能とするので、方向検知処理のバージョンアップをする際にも部品にかかるコストが必要がない。
【００３５】
【発明の実施の形態】
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の動作について詳細に説明する。
【００３６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１において、符号１０１は方向を判別する対象であるカラー画像を示す。また、１０２は汎用の画像処理システムであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有し、入力画像の微分処理、ヒストグラム演算、圧縮伸長処理、解像度変換、二値化処理等を行うためのハードウェア機能を持っている。尚、これらの機能はハードウェアによってではなくソフトウェア処理による機能であってもかまわない。
【００３７】
符号１０３は画像処理システム１０２によって作成された微分情報である。また、１０４は画像処理システム１０２により作成されたヒストグラム情報（全面ヒストグラム）である。１０５は画像処理システム１０２により作成されたカラー画像データの文字部分（１領域）の二値画像である。
【００３８】
方向検知モジュール１００内に存在する各部は画像処理システム１０２内に含まれる処理部で実現されるが、ハードウェア機能としてではなく、ソフトウェア機能として実現し、ＣＰＵを用いてソフトウェア処理されるものであってもよい。
【００３９】
図１において、方向検知モジュール１００内の１０６は微分情報１０３を入力して文字領域の推測を行うための第一次文字抽出部である。また、１０７は第一次文字抽出部１０６によって作成された文字領域座標である。一方、１０８はヒストグラム情報１０４を入力し最適二値化しきい値の算出を行うための二値化しきい値算出部である。そして、１０９は二値化しきい値算出部１０８において算出された二値化しきい値である。
【００４０】
さらに、１１０は文字部分に関する二値画像１０５を入力し、さらに詳細な文字領域の差表を作成する領域分割部である。領域分割部１１０は、反転判断及び反転処理機能を有しており、部分二値画像が反転領域であると判断された場合に二値画像の反転処理を行って領域分割処理を行う。そして、１１１は領域分割部１１０により検出された文字領域の方向判別ＯＣＲ処理を行うＯＣＲ部である。
【００４１】
次に、汎用の画像処理システム１０２を実現した例として、図２９Ａ〜Ｃを用いて、デジタルカラー複合複写機について説明する。
【００４２】
図２９Ａは、本発明の一実施形態によるデジタルカラー複合複写機の構成を説明するための機能ブロック図である。図１において、コントローラユニット（Controller Unit）２０００は、画像情報やデバイス情報の入出力、ＰＤＬデータのイメージ展開等を行うためのコントローラであって、画像入力デバイスであるスキャナ（Scanner）２０７０や画像出力デバイスであるプリンタ（Printer）２０９５、ＬＡＮ２０１１や公衆回線（ＷＡＮ）２０５１に接続する。
【００４３】
また、図２９Ｂは、コントローラユニット２０００におけるシステム制御部２１５０を詳細に示す機能ブロック図である。さらに、図２９Ｃは、コントローラユニット２０００におけるタイル画像処理部２１４９を詳細に示す機能ブロック図である。
【００４４】
図２９Ｂに示すＣＰＵ２００１は、本デジタルカラー複合複写機全体を制御するためのプロセッサである。尚、本実施形態では、２つのＣＰＵを用いた例が示されている。これらの２つのＣＰＵは、共通のＣＰＵバス２１２６に接続され、さらに、システムバスブリッジ２００７に接続されている。
【００４５】
システムバスブリッジ２００７はバススイッチであり、ＣＰＵバス２１２６、ＲＡＭコントローラ２１２４、ＲＯＭコントローラ２１２５、ＩＯバス２１２７、サブバススイッチ２１２８、ＩＯバス２１２９、画像リングインタフェース２１４７、画像リングインタフェース２１４８に接続される。
【００４６】
サブバススイッチ２１２８は第２のバススイッチであり、画像ＤＭＡ２１３０、画像ＤＭＡ２１３２、フォント伸長部２１３４、ソート回路２１３５、ビットマップトレース部２１３６が接続され、これらのＤＭＡから出力されるメモリアクセス要求を調停し、システムバスブリッジへの接続を行う。
【００４７】
ＲＡＭ２００２は、ＣＰＵ２００１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもあって、ＲＡＭコントローラ２１２４により制御される。ＲＯＭ２００３はブートＲＯＭであり、システムのブートプログラムが格納されており、ＲＯＭコントローラ２１２５により制御される。
【００４８】
画像ＤＭＡ２１３０は、画像圧縮部２１３１に接続し、レジスタアクセスリング２１３７を介して設定された情報に基づき、画像圧縮部２１３１を制御して、ＲＯＭ２００２上にある非圧縮データの読み出し、圧縮、圧縮後データの書き戻しを行う。
【００４９】
画像ＤＭＡ２１３２は、画像伸長部２１３３に接続し、レジスタアクセスリング２１３７を介して設定された情報に基づき、画像伸長部２１３３を制御して、ＲＡＭ２００２上にある圧縮データの読み出し、伸長、伸長後データの書き戻しを行う。
【００５０】
フォント伸長部２１３４は、ＬＡＮインタフェース２０１０等を介して外部より転送されるＰＤＬデータに含まれるフォントコードに基づき、ＲＯＭ２００３若しくは、ＲＡＭ２００２内に格納された圧縮フォントデータの伸長を行う。
【００５１】
ソート回路２１３５は、ＰＤＬデータを展開する段階で生成されるディスプレイリストのオブジェクトの順番を並び替える回路である。また、ビットマップトレース回路２１３６は、ビットマップデータより、エッジ情報を抽出する回路である。
【００５２】
ＩＯバス２１２７は、内部ＩＯバスの一種であり、標準バスであるＵＳＢバスのコントローラ、ＵＳＢインタフェース２１３８、汎用シリアルポート２１３９、インタラプトコントローラ２１４０、ＧＰＩＯインタフェース２１４１に接続される。ＩＯバス２１２７には、図示しないバスアービタが含まれる。
【００５３】
操作部インタフェース２００６は、操作部（ＵＩ）２０１２とのインタフェース部で、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部２０１２から本システム使用者が入力した情報を、ＣＰＵ２００１に伝える役割をする。
【００５４】
ＩＯバス２１２９は、内部ＩＯバスの一種であり、汎用バスインタフェース２１４２と、ＬＡＮコントローラ２０１０に接続される。ＩＯバス２１２９には図示しないバスアービタが含まれる。また、汎用バスインタフェース２１４２は、２つの同一のバスインタフェースから成り、標準ＩＯバスをサポートするバスブリッジである。尚、本実施形態では、ＰＣＩバス２１４３が採用された例が示されている。
【００５５】
外部記憶装置（ＨＤＤ）２００４はハードディスクドライブであり、システムソフトウェアや画像データ等を格納する。外部記憶装置２００４は、ディスクコントローラ２１４４を介して一方のＰＣＩバス２１４３に接続される。また、ＬＡＮコントローラ２０１０は、ＭＡＣ回路２１４５、ＰＨＹ／ＰＭＤ回路２１４６を介してＬＡＮ２０１１に接続し、情報の入出力を行う。さらに、モデム（Modem）２０５０は、公衆回線２０５１に接続し、情報の入出力を行う。
【００５６】
画像リングインタフェース２１４７及び画像リングインタフェース２１４８は、システムバスブリッジ２００７と画像データを高速で転送する画像リング２００８とを接続し、タイル化後に圧縮されたデータをＲＯＭ２００２とタイル画像処理部２１４９間で転送するＤＭＡコントローラである。
【００５７】
画像リング２００８は、一対の単方向接続経路の組み合わせにより構成される。画像リング２００８は、タイル画像処理部２１４９内で、画像リングインタフェース２１０１及びタイル画像インタフェース２１０２を介して、タイル伸長部２１０３、コマンド処理部２１０４、ステータス処理部２１０５、タイル圧縮部２１０６に接続される。本実施形態では、タイル伸長部２１０３を２組、タイル圧縮部を３組実装する例が示されている。
【００５８】
タイル伸長部２１０３は、画像リングインタフェース２１０１への接続に加え、タイルバス２１０７に接続され、画像リング２００８より入力された圧縮後の画像データを伸長し、タイルバス２１０７へ転送するバスブリッジである。タイル圧縮部２１０６は、画像リングインタフェース２１０２への接続に加え、タイルバス２１０７に接続され、タイルバスより入力された圧縮前の画像データを圧縮し、画像リング２００８へ転送するバスブリッジである。
【００５９】
コマンド処理部２１０４は、画像リングインタフェース２１０１及び２１０２への接続に加え、レジスタ設定バス２１０９に接続され、画像リング２００８を介して入力したＣＰＵ２００１より発行されたレジスタ設定要求を、レジスタ設定バス２１０９に接続される該当ブロックへ書き込む。また、ＣＰＵ２００１より発行されたレジスタ読み出し要求に基づき、レジスタ設定バス２１０９を介して該当レジスタより情報を読み出し、画像リングインタフェース２１０２に転送する。
【００６０】
ステータス処理部２１０５は各画像処理部の情報を監視し、ＣＰＵ２００１に対してインタラプトを発行するためのインタラプトバケットを生成し、画像リングインタフェース２１０２に出力する。また、タイルバス２１０７には上記ブロックに加え、以下の機能ブロックが接続される。即ち、レンダリング部インタフェース２１１０、画像入力インタフェース２１１２、画像出力インタフェース２１１３、多値化部２１１９、２値化部２１１８、色空間変換部２１１７、画像回転部２０３０及び解像度変換部２１１６である。
【００６１】
レンダリング部インタフェース２１１０は、後述するレンダリング部２０６０により生成されたビットマップイメージを入力するインタフェースである。レンダリング部２０６０とレンダリング部インタフェース２１１０は、一般的なビデオ信号２１１１によって接続される。レンダリング部インタフェース２１１０は、タイルバス２１０７に加え、メモリバス２１０８、レジスタ設定バス２１０９への接続を有し、入力されたラスタ画像をレジスタ設定バス２１０９を介して設定された、所定の方法によりタイル画像への構造変換をすると同時にクロックの同期化を行い、タイルバス２１０７に対し出力を行う。
【００６２】
画像入力インタフェースは２１１２は、後述するスキャナ用画像処理部２１１４により補正画像処理されたラスタイメージデータを入力とし、レジスタ設定バス２１０９を介して設定された、所定の方法によりタイル画像への構造変換とクロックの同期化を行い、タイルバス２１０７に対し出力を行う。
【００６３】
画像出力インタフェース２１１３は、タイルバスからのタイル画像データを入力とし、ラスタ画像への構造変換及び、クロックレートの変更を行い、ラスタ画像をプリンタ用画像処理部２１１５へ出力する。
【００６４】
そして、画像回転部２０３０は、画像データの回転を行う。また、解像度変換部２１１６は画像の解像度の変更を行う。さらに、色空間変換部２１１７は、カラー及びグレースケール画像の色空間の変換を行う。さらにまた、２値化部２１１８は、多値(カラー、グレースケール)画像を２値化する。さらにまた、多値化部２１１９は、２値画像を多値データへ変換する。
【００６５】
外部バスインタフェース部２１２０は、画像リングインタフェース２１０１、２１０２、２１４７及び２１４８、コマンド処理部２１０４、レジスタ設定バス２１０９を介して、ＣＰＵ２００１により発行された、書き込み、読み出し要求を外部バス２１２１に変換出力するバスブリッジである。外部バス２１２１は、本実施形態では、プリンタ用画像処理部２１１５及びスキャナ用画像処理部２１１４に接続されている。
【００６６】
メモリ制御部２１２２は、メモリバス２１０８に接続され、各画像処理部の要求に従い、あらかじめ設定されたアドレス分割により、画像メモリＡ及び画像メモリＢから成る画像メモリ２１２３に対して、画像データの書き込み、読み出し、必要に応じてリフレッシュ等の動作を行う。また、スキャナ用画像処理部２１１４では、画像入力デバイスであるスキャナ２０７０によりスキャンされた画像データを補正画像処理する。さらに、プリンタ用画像処理部２１１５では、プリンタ出力のための補正画像処理を行い、結果をプリンタ２０９５へ出力する。
【００６７】
レンダリング部２０６０は、ＰＤＬコード若しくは、中間ディスプレイリストをビットマップイメージに展開する。以上が本デジタルカラー複合複写機の構成に関する説明である。
【００６８】
上述したデジタルカラー複合複写機を画像処理システム１０２とした場合の本発明の方向判別処理の流れについて説明する。
【００６９】
図２は、図２９Ａ〜Ｃに示すデジタルカラー複合複写機を汎用の画像処理システム１０２に適用した場合の方向検知処理に必要なハードウェア構成を示すブロック図である。図２に示すように、符号２０１は方向を判別する対象であるカラー画像を示す。また、２０２は汎用の画像処理システムであり、図１と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有し、入力画像の微分処理、ヒストグラム演算、圧縮伸長処理、解像度変換、二値化処理等を行うためのハードウェア機能を持っている。尚、これらの機能はハードウェアによってではなくソフトウェア処理による機能であってもかまわない。
【００７０】
また、図１と同様に、方向検知モジュール２００内に存在する各部は画像処理システム１０２内に含まれる処理部として実現されるものであるが、ハードウェア機能としてではなく、ソフトウェア機能として実現し、不図示のＣＰＵ（上述したデジタルカラー複合複写機ではＣＰＵ２００１）を用いて処理されるものであってもよい。
【００７１】
以下、図２９Ａ〜Ｃと図２とを利用して、タイルヘッダ２０３、ヒストグラム情報（全面ヒストグラム）２０４、３００ｄｐｉ一部二値画像２０５のデータ作成方法について説明する。
【００７２】
まず、複数毎のカラー画像がスキャナ２０７０のＡＤＦに置かれる。図２において、カラー画像２０１は、スキャナ２０７０により１枚ずつ読み込まれたカラー画像を示す。尚、本実施形態では、カラー画像は６００ｄｐｉで読み込まれるものとする。
【００７３】
カラー画像２０１を入力したスキャナ用画像処理部２１１４は、１画素につき１ビットの情報である像域フラグ２１２を生成する。すなわち、像域フラグ２１２も６００ｄｐｉである。像域フラグ２１２の作成は基本的に微分処理であり、カラー画像２０１にウィンドウを設け、微分フィルタをかけ、微分結果がしきい値を超えた場合は１、超えない場合は０というようにして作成する。この処理は、ハードウェアにより行うので高速であり、網点で構成された自然画像上に現れた１を消すなどの後処理も行っている。この像域フラグ情報はカラー画像のαチャンネルの１ビットに格納される。この情報から画像処理部２１４９でのＪＰＥＧ圧縮の程度を調整したり、プリンタ用画像処理部２１１５での出力用色処理の係数を調整したりする。
【００７４】
像域フラグ生成ハードウェアは、処理信号をＲ、Ｇ、Ｂ、ａ×Ｒ＋ｂ×Ｇ＋ｃ×Ｂと内部レジスタに係数をセットすることで選択することができる。通常、デフォルトではＧ信号なので、本実施形態においてもＧ信号を処理して像域フラグを作成したと仮定する。
【００７５】
一方、スキャナ用画像処理部２１１４は、下地レベル判定用ヒストグラム演算処理を行い全面ヒストグラム２０４を作成する。すなわち、Ｒ、Ｇ、Ｂ、ＮＤ（＝Ａ１×Ｒ＋Ａ２×Ｇ＋Ａ３×Ｂ）の４レベルの２５６階調（８ビット）のヒストグラムを取る。これは、プリンタ用画像処理部２１１５で行われる「下地除去」のためのパラメータを算出するためのデータとなる。
【００７６】
画像入力インタフェース部２１１２はタイル画像への構造変換を行うが、タイル（３２×３２画素）中の像域フラグの分布から像域フラグ情報をタイルヘッダ２０３として生成する（従って、タイルヘッダ情報を画像としてみると６００／３２＝約１８ｄｐｉ）。
【００７７】
すなわち、本発明に係る画像処理方法では、タイル画像が、入力された画像を微分して生成された二値画像を微少領域毎に計数して作成した低解像度の二値画像であることを特徴とする。
【００７８】
この像域フラグ情報タイルヘッダの生成方法としては、「タイル中にしきい値Ｔ１以上の像域フラグが存在するとき１」のように作成する。画像入力インタフェース部２１１２の画像入力順次はラスタ順次であるので、上記の方法によれば画像横幅／３２分の１０ビットカウンタが必要になりハードウェアの規模的に大きくなってしまう。そこで、今回は、「タイル３２ライン中１ラインでもしきい値Ｔ１以上の像域フラグが存在する場合は１」というルールに基づいて、像域フラグ情報タイルヘッダを作成した。
【００７９】
すなわち、本発明に係る画像処理方法は、画像を微分して生成された微分情報から所定値以上の画素を１とし、それ以外の画素を０とする像域フラグによる二値画像を生成し、タイル内に含まれる１の像域フラグ数が所定しきい値以上のタイルを１とし、それ以外のタイルを０とするタイルヘッダによるタイル画像を生成することを特徴とする。
【００８０】
また、今回は、像域フラグ情報タイルヘッダを２ビット分作成した。すなわち、１ビットは「タイル３２ライン中１ラインでもしきい値Ｔ１以上像域フラグが存在する場合に１」、もう１ビットは「タイル３２ライン中１ラインでもしきい値Ｔ２以上像域フラグが存在する場合に１」（Ｔ１＞Ｔ２）というように作成する。
【００８１】
すなわち、本発明に係る画像処理方法は、異なる複数のしきい値を用いて複数のタイル画像を生成し、複数のタイル画像を比較して、入力された画像に含まれる文字領域を抽出することを特徴とする。また、本発明に係る画像処理方法は、異なる複数のしきい値を用いて複数の低解像度画像を生成することを特徴とする。さらに、本発明に係る画像処理方法は、複数の低解像度画像から抽出した連結画素群を複数の低解像度画像間で比較して、文字領域を抽出することを特徴とする。
【００８２】
ここで、像域フラグ２１２は微分情報であるので、微分フィルタをかける面のレベル差の大きいところに多数出現する。そのため、白地に黒文字の場合には多数出現するが、下地と文字部のレベル差の小さい文字には黒文字と比較して出現数が少なくなる。この特性を利用して、Ｔ１、Ｔ２のしきい値から２枚の像域フラグ分布情報（タイルヘッダ）２０３を作成し、第一次文字抽出部２０６においてより正確な文字領域座標検出を行う。
【００８３】
すなわち、本発明に係る画像処理方法は、タイル画像が、入力された画像の微分情報を微少領域毎に計数して作成した低解像度の微分画像であることを特徴とする。
【００８４】
カラー画像データ（ＲＧＢ）、像域フラグデータを含むαチャンネルデータ、タイルヘッダ情報は画像処理部２１４９内のタイル圧縮部２１０６（図２では非図示）において、ＲＧＢデータはＪＰＥＧ圧縮、αチャンネルは可逆圧縮が施される。タイルヘッダ自体は圧縮されないのでタイルヘッダ情報は高速に読み出すことが可能である。そしてＲＡＭ２００２にスプールされる。
【００８５】
次に、スプールされた画像から３００ｄｐｉ一部二値画像２０５を生成する手順について説明する。
【００８６】
ＲＡＭ２００２にスプールされた画像は、画像リングインタフェース２１４７、２１０１を通り画像処理部２１４９に渡される。タイル伸長部２１０３を通り伸長された画像データは、解像度変換部２１１６において６００ｄｐｉから３００ｄｐｉに変換される。その後、色空間変換部２１１７において指定しきい値で二値化（００，ｆｆ化）され、それを８ビット１ビット変換した結果が画像リングインタフェース２１０２、２１４８を通り、ふたたびシステム制御部２１５０に戻ってくる。そして、ＲＡＭ２００２に一部領域二値画像が書き込まれる。
【００８７】
以上のようにして、画像処理システム（カラーデジタル複合複写機）においてタイルヘッダ２０３、全面ヒストグラム２０４、３００ｄｐｉ一部二値画像２０５のデータが作成される。
【００８８】
図３は、図２に示す画像処理システム２０２の各動作のタイミングチャートを示す図である。以下、図３を用いて、画像処理システム２０２における処理の流れについて説明する。図３において、符号３０１はスキャナのタイミングであり、「０」、「１」、「２」、「３」、「４」の各数値はＡＤＦに載せたカラー画像（原稿）の順番を示す。また、スキャナ用画像処理部２１１４のタイミングは３０２で示されており、スキャナに同期して処理が行われる。尚、符号３０２で示される各６角形の横に位置する「三角」の符号で示されるタイミングで、タイルヘッダの作成及び下地除去用ヒストグラム演算が終了するので、タイルヘッダ２０３と全面ヒストグラム２０４ができていることになる。
【００８９】
また、３０３は方向判別処理のタイミングを示しており、方向判別処理はＣＰＵ２００１を利用したソフトウェア処理で実行される。ＣＰＵ２００１は、複数のタスクを処理しているので、図３における３０６に示したようにＣＰＵを占有できるわけではなく、他のタスクも実行しているが、本実施形態では便宜上他のタスクは図示していない。そして、３０２中の三角形の符号で示されたタイミングで方向判別処理が始まる。図３において、符号３０５、３０６は、あるカラー画像に対する方向判別処理の詳細を示している。尚、３０５はハードウェア処理であり、３０６はソフトウェア処理である。
【００９０】
まず、ソフトウェア処理３０６について詳細に説明する。まず、ヒストグラムデータ読み出しが行われる（ステップＳ３０７）。具体的には、ＣＰＵがスキャナ用画像処理部内のヒストグラムデータを参照する。ここで読み出すヒストグラムは、像域フラグを作成した信号にあわせてＧのヒストグラムとする。ＣＰＵは、二値化しきい値算出ソフトウェアを実行して二値化しきい値Ａを算出する（ステップＳ３０８）。次に、ＣＰＵは、ＲＡＭ内に存在するタイルヘッダの読み出しを実行する（ステップＳ３０９）。タイルヘッダの読み出し後、第一次文字抽出処理を行う（ステップＳ３１０）。
【００９１】
尚、第一次文字抽出処理とは、画像全体中で、文字が存在している部分を限定し、小さな矩形領域として選出する処理のことをいう。図２６は、第一次文字抽出処理をハードウェア処理する第一次文字抽出部の細部構成を示すブロック図である。尚、本実施形態では、本第一次文字抽出処理はソフトウェア処理として実行されている。
【００９２】
図２６において、タイルヘッダ入力部２６０１は、ＲＡＭ２００２にスプールされている２枚のタイルヘッダ画像２０３を入力する。また、文字矩形抽出部２６０２は、２枚のタイルヘッダ画像から、特に文字が集合している可能性が強い矩形領域を抽出する。さらに、ランダムアクセス矩形抽出部２６０３は、画像全体を機械的にほぼ均等な矩形領域に分割し、文字が少しでも含まれている可能性の高い矩形領域を抽出する。そして、文字領域出力部２６０４は、文字矩形抽出部２６０２とランダムアクセス矩形抽出部２６０３で抽出された矩形の集合を統合し、複数の文字領域として出力する。
【００９３】
図２７は、第一次文字抽出処理（ステップＳ３１０）を実行する文字矩形抽出部２６０２の細部処理手順について説明するためのフローチャートである。まず、タイルヘッダ１画像から連結する黒画素の固まりをすべて抽出し、それぞれの外接矩形の座標を取得する（ステップＳ２７０１）。この矩形情報集合を｛Ｔｃ１｝とする。
【００９４】
次に、矩形集合｛Ｔｃ１｝の中で、面積の著しく大きいもの、小さいもの及び偏平率が大きいものを除いて、全矩形の平均サイズを求める（ステップＳ２７０２）。さらに、矩形集合｛Ｔｃ１｝に対して、平均サイズと大きく異なる矩形を非テキスト矩形集合｛Ｔｃ１−ｎｔ｝、それ以外のものをテキスト矩形集合｛Ｔｃ１−ｔ｝とする（ステップＳ２７０３）。
【００９５】
さらにまた、タイルヘッダ２画像から、連結する黒画素の固まりをすべて抽出し、おのおのその外接矩形の座標を取得する（ステップＳ２７０４）。この矩形情報集合を｛Ｔｃ２｝とする。尚、本実施形態では、ステップＳ２７０１及びステップＳ２７０４において、連結した黒画素の固まりを抽出する処理は、公知のラベリング法を用いることにするが、それ以外に公知の輪郭追跡法を用いて行ってもよい。
【００９６】
すなわち、本発明に係る画像処理方法は、低解像度の画像から抽出した連結画素群に対応する前記画像中の領域を文字領域として抽出することを特徴とする。
【００９７】
さらにまた、矩形集合｛Ｔｃ２｝に対して、一定面積以下の矩形を、非テキスト矩形集合｛Ｔｃ２−ｎｔ｝、それ以外をテキスト矩形集合｛Ｔｃ２−ｔ｝とする（ステップＳ２７０５）。この面積のしきい値はあらかじめ適当に定めたものを用いる。そして、１８ｄｐｉ相当のタイルヘッダ座標から３００ｄｐｉの座標値へと、各矩形の座標を変換する（ステップＳ２７０６）。
【００９８】
さらに、矩形集合｛Ｔｃ２−ｔ｝内の各矩形に対し、矩形集合｛Ｔｃ１−ｔ｝内の矩形のうち、自分と座標上重複している面積の総和を自分自身の面積で割った値を求め、これを矩形のスコアとする（ステップＳ２７０７）。このスコアが高い矩形は、タイルヘッダ１、タイルヘッダ２双方でテキストとして観測された、より文字らしい領域であると考えられる。
【００９９】
そして、矩形集合｛Ｔｃ２−ｔ｝をスコア昇順でソートする（ステップＳ２７０８）。以上で得られた矩形集合｛Ｔｃ２−ｔ｝が、文字矩形抽出部２６０２の処理結果となる。
【０１００】
一方、図２８は、ランダムアクセス矩形抽出部２６０３の細部処理手順を説明するためのフローチャートである。まず、タイルヘッダ画像２を一定面積の小矩形でメッシュ状に分割する（ステップＳ２８０１）。尚、メッシュ面積は、後段で効率よく処理できる部分画像サイズを鑑みてあらかじめ決定しておくが、入力画像サイズに応じて動的に変更してもよい。また、画像周辺部に多く発生するノイズを避けるために、周辺一定幅を除くマージンを設けてメッシュの分割を行ってもよい。
【０１０１】
次に、各メッシュに毎に、そのメッシュ内に含まれる｛Ｔｃ２｝矩形の面積の総和となるＳｍを求める（ステップＳ２８０２）。そして、隣り合った４枚のメッシュを一つのランダムアクセス矩形Ｔｒと定義する（ステップＳ２８０３）。そして、４メッシュのＳｍを合計したものを、このＴｒ矩形のスコアとする。
【０１０２】
次いで、画像内すべてのＴｒの集合｛Ｔｒ｝をスコア昇順でソートする（ステップＳ２８０４）。このときにＴｒ同士が重ならないようにする。重なりあう２つのＴｒがある場合には、スコアの低いほうはその重複部分を切除して縮小し、新しいＴｒとして登録し直す。この際、再びスコア昇順となるようにソートする。以上により得られた｛Ｔｒ｝が、ランダムアクセス矩形抽出部２６０３の処理結果である。
【０１０３】
最後に、出力部２６０４は、まず矩形集合｛Ｔｃ２−ｔ｝から、あらかじめ定めたしきい値以上のスコアを持つ矩形を先頭から出力していく。スコアがしきい値を下回った時点で残りのＴｃ２−ｔ矩形は破棄し、それ以降は矩形集合｛Ｔｒ｝からスコア順に出力していく。そして、矩形がなくなるか、所定の個数の矩形を出力し終えたならば出力部２６０４での処理は終了する。
【０１０４】
すなわち、本発明に係る画像処理方法は、低解像度画像をメッシュ状に分割し、分割されたメッシュ状の領域内の画素の分布に基づいて、文字領域を抽出することを特徴とする。また、本発明に係る画像処理方法は、低解像度画像から抽出した連結画素群を用いて抽出された文字領域と、メッシュ状に分割された領域内の画素の分布に基づいて決定された文字領域とを選択的に出力することを特徴とする。
【０１０５】
上述した第一次文字抽出によって、複数の文字領域座標が得られる。その結果に従ってＲＡＭ上に画像読み出しテーブルを作成し、ＣＰＵがプログラムキックすると、画像リングインタフェース２１４７によるＤＭＡ処理によって３００ｄｐｉ一部二値画像２０５が順番に読み出される。１つめの領域の読み出し（ステップＳ３１１）が終わった時点で、領域１に領域分割処理（以下、「ＢＳ処理」と称す。）とＯＣＲタスクが実行され（ステップＳ３１９）（以下、「ＢＳＯＣＲ処理」と称す。）、その結果はＢＳＯＣＲタスク内部に蓄積される。
【０１０６】
領域１のＢＳＯＣＲ処理と並列して領域２の３００ｄｐｉ二値画像読み出しが行われる。画像読み出し（ハード）に対してＢＳＯＣＲ処理は十分時間がかかるので、ＢＳＯＣＲ処理に対して画像データは先行して用意されていることになる。２領域目からのＢＳＯＣＲ処理の結果は、ＢＳＯＣＲタスク内部に蓄積、加算されていく。処理時間終了の合図で、ＢＳＯＣＲタスクは蓄積された結果から最終方向結果を演算し出力する。
【０１０７】
次に、実際に画像２枚を例に示しながら、上述した方向判別処理の具体例について説明する。ここでは、図４に示したカラー画像を処理する。図４は、第１の実施形態に係る方向判別処理に用いられるカラー画像の例を示す図である。図５は、スキャナ用画像処理部２１１４において、Ｔ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。図５において、画像５０１がＴ１＝１５からの結果であり、画像５０２がＴ２＝１からの結果である。一方、スキャナ用画像処理部２１１４では、下地除去用ヒストグラムが演算されず図６のようなヒストグラムが得られる。図６は、図４に示すカラー画像の全面ヒストグラムを示す図である。そして、図６のヒストグラムから方向判別前処理として、６０１で示される最適二値化しきい値Ａ＝１２８が算出される。
【０１０８】
第一次文字抽出部では、画像５０１、５０２に対して、図２７に示すフローチャートの処理手順により、文字領域らしいスコア順に並んだ矩形領域が出力される。図７は、第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。ここで、実際にはこの画像からはもっと多くの領域が抽出されるが、説明の便宜上本実施形態では３つの領域が抽出されたとする。また、ランダムアクセス矩形抽出による矩形は下位にあるため無視する。
【０１０９】
図７において、領域７０１、７０２、７０３の画像読み出しテーブルをＲＡＭ上に生成し、画像リングインタフェースをキックすると各々の領域の解像度変換が行われ、二値化画像が順次読み出される。図８は、領域７０１の読み出し画像（一部二値画像）を示す図、図９は、領域７０２の読み出し画像（一部二値画像）を示す図、図１０は、領域７０３の読み出し画像（一部二値画像）を示す図である。
【０１１０】
領域７０１の読み出しが終わったタイミングで、方向判別はＢＳＯＣＲ処理ループに入る。領域７０１のＢＳＯＣＲ処理はＣＰＵによって行われる。ＢＳ（領域分割）処理には、画像の反転判断処理と反転処理とが実装されている。具体的には、入力二値画像の黒画素と白画素の数を数え、黒画素の割合が例えば７０％超えた場合は反転画像である、というように判断する等の方法がある。
【０１１１】
図１１は、図８に示す領域７０１の読み出し画像がＢＳ処理により反転画像であると判定された一部二値画像の領域分割結果を示す図である。また、図１２は、図８に示す領域７０１の画素反転処理が行われて反転画像に通常のＢＳＯＣＲ処理を施した結果を示す図である。図１２において赤矩形ＲＤ１で示される領域が文字領域であると認識されている。矩形表示は黒字に白文字の画像上に表示しているがＧＵＩアプリケーションの仕様である。実際の画像は反転されていて図１２の画像をＢＳ処理し図１２の黒矩形ＢＫ１で囲まれるＢＳ結果の領域をＯＣＲ処理している。
【０１１２】
尚、ＯＣＲ処理は複数の領域からトータルに方向結果を出力したほうが好ましい。例えば、１つの領域に２００文字存在し、２００文字の４方向ＯＣＲを処理しているうちに制限時間を過ぎてしまわないように、１領域に対する文字数制限を設ける。すなわち、１領域につき３０文字と限定するようにする。図１２の画像をＯＣＲ処理した結果、３０文字処理し０度の確度が大きくなる。また、処理時間がある場合は先行して読み込まれている領域７０２の画像のＢＳＯＣＲ処理を行う。ここで、領域７０２は図９の二値画像である。ＢＳ処理により、この領域は反転画像でないと判定され、文字領域は図１３の黒矩形ＲＤ２であらわされる領域が文字であると認識される。図１３は、図９の一部二値画像の領域分割結果を示す図である。この領域がＯＣＲ処理され、さらに３０文字の方向判別結果が得られる。
【０１１３】
領域７０１、７０２と処理した後まだ時間がある場合は、先行して読み込まれている領域７０３の画像のＢＳＯＣＲ処理を行う。領域７０３は図１０の二値画像であるが ＢＳ処理により反転画像と判断され、図１５に示すように画素反転処理を行い、図１５の二値画像の黒矩形で示す領域（＝図１４の赤矩形ＲＤ３）が文字領域であると判定されてＯＣＲ処理される。図１４は、図１０の一部二値画像の領域分割結果を示す図である。また、図１５は、図１０の一部二値画像の領域分割結果を反転した画像を示す図である。ここで、制限時間がきたとする。このとき、ＯＣＲは内部に蓄積した方向認識の結果を演算し、０度という結果を出力する。
【０１１４】
すなわち、本発明に係る画像処理方法は、入力された画像の二値画像に基づいて文字領域が反転画像であるか否かを判断し、文字領域が反転画像であると判断された場合、二値画像の白黒成分を反転することを特徴とする。
【０１１５】
図１６は、第１の実施形態における方向検知処理を実行する２枚目のカラー画像例を示す図である。この画像はＧプレーンのレベル差があまりなく、その結果として図４のカラー画像を処理したときと同じしきい値（Ｔ１＝１５、Ｔ２＝１）を用いてタイルヘッダを作成すると、図１７に示す結果が得られる。図１７は、図１６のカラー画像からＴ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。一方、図１８は、図１６のカラー画像に対する下地除去用ヒストグラムを示す図である。方向判別前処理として、図１８のヒストグラムから１８０１で示される最適二値化しきい値Ａ＝６６が算出される。
【０１１６】
第一次文字抽出については、画像１７０１、１７０２に対して 図２７に示すフローチャートの処理を行うが、適切な文字矩形を抽出することができない。しかし、図２８に示すフローチャートの処理により、文字か否かは判らないが、何らかの情報が存在していると判断した部分をランダムアクセス矩形として出力する。ここでは、図１９に示される３つの領域が出力されたとする。すなわち、図１９は、第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。尚、実際には、この画像からはもっと多くの領域が抽出されるが、説明の便宜上３つの領域とする。
【０１１７】
領域１９０１、１９０２、１９０３の画像読み出しテーブルをＲＡＭ上に生成し、画像リングインタフェースをキックすると各々の領域の解像度変換がされ、二値化画像が順次読み出される。図２０は、領域１９０１の読み出し画像（一部二値画像）を示し、図２１は、領域１９０２の読み出し画像（一部二値画像）を示し、図２２は、領域１９０３の読み出し画像（一部二値画像）を示す図である。
【０１１８】
領域１９０１の読み出しが終わったタイミングで、方向判別はＢＳＯＣＲ処理ループに入る。そして、領域１９０１のＢＳＯＣＲ処理がＣＰＵによって行われる。図２０に示す画像では、領域分割結果として文字がないと判断されＯＣＲ処理は行われない。図２１の二値画像については、ＢＳ処理により 図２３の赤矩形ＲＤ４で囲まれる領域が文字領域であると認識される。すなわち、図２３は、図２１に示す一部二値画像の領域分割結果を示す図である。この領域がＯＣＲ処理され、３０文字の方向判別結果が得られる。
【０１１９】
領域１９０１、領域１９０２と処理したが時間がある場合、先行して読み込まれている領域１９０３の画像のＢＳＯＣＲ処理を行う。図２２の二値画像については、ＢＳ処理により、図２４の赤矩形ＲＤ５で囲まれた領域が文字領域であると認識される。すなわち、図２４は、図２２の一部二値画像の領域分割結果を示す図である。この領域がＯＣＲ処理され、さらに３０文字の方向判別結果が得られる。ここで制限時間がきたとする。このとき、ＯＣＲは内部に蓄積した方向認識の結果を演算し０度という結果を出力する。
【０１２０】
上述したように、本発明は、コンピュータに入力された、文字領域を含む画像の方向を検知する画像処理方法であって、画像の二値画像を生成し、二値画像中の所定サイズの領域を１つのタイルとして、それぞれのタイルごとに所定値を付与してタイル画像を生成し、タイル画像中の連結する同値の画素群の外接矩形内の領域に対応する二値画像中の領域を文字領域として抽出し、文字領域に含まれる文字の方向を認識して画像の方向を検知することを特徴とする。
【０１２１】
また、本発明に係る画像処理方法は、文字領域に含まれるそれぞれの文字を抽出し、抽出された文字の方向を認識し、文字領域に含まれる文字の方向の認識結果に基づいて文字領域の方向を検知することを特徴とする。
【０１２２】
＜第２の実施形態＞
上記第１の実施形態において画像処理システムが提供する全面ヒストグラムから二値化しきい値Ａを算出したが、本発明の適用はそれ以外に、二値化しきい値は１２８などの固定しきい値で行ってもよい。固定しきい値の場合、画像処理システム側に全面ヒストグラム演算部がない場合でも対応することができる。
【０１２３】
また、上記第１の実施形態において３００ｄｐｉ一部画像に対し、領域分割処理を行ったがこれを省いてもよい。これによって、領域分割処理時間を削減することができ、より多くの領域のＯＣＲ処理を行うことができるという効果が得られる。しかし、第一次文字抽出処理で検出された画像がすべてそのまま文字きりできないような画像である場合に方向検知結果が悪くなってしまう。そこで、第一次文字抽出処理でその後の領域分割処理を実行する領域と実行しない領域とを指定した処理フローにしてもよい。その場合、方向検知精度を保ち、かつ処理速度が高速になることを期待することができる。
【０１２４】
また、上記第１の実施形態において、読み出す一部画像は３００ｄｐｉ二値画像としたが、本発明の適用はこれに限定されず、一部多値画像を読み出してもかまわない。その場合は、方向検知側で部分多値画像を二値化する機能が必要になる。これにより、部分領域に対して最適な二値化を行うことができるという効果がある。
【０１２５】
また、多値画像読み出しは、二値画像読み出しに対してデータサイズの大きさから時間がかかると推測される。そこで 第一次文字抽出処理が検出領域を二値画像で読み出すべきか多値画像で読み出すべきかを微分情報の分布から判断し、画像処理システムに指示することによって切り替える構成が効果的である。図２５は、第２の実施形態に係る多値画像読み出し機能を備える画像処理装置の構成例を示す図である。文字領域座標情報上に読み出し方法（二値、多値）の指定があり、画像処理システムは、その指定に従ってＤＭＡ動作により一部画像を読み出す。そこで、二値画像が読み出された場合は、第一の実施例と同様な処理が行われ、多値画像２５１２が読み出された場合は、一部領域最適二値化処理２５１３が行われる。この最適二値化処理に反転判断、反転機能が搭載される場合は その後の領域分割処理２５１４では反転判断は必要ない。
【０１２６】
＜その他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３０】
【発明の効果】
以上説明したように、本発明によれば、カラー画像の微分情報からなる複数の低解像度の画像を利用して文字領域を検出するので、微分情報の多い画像から少ない画像まで、効率よく画像の入力方向を検出することができる。また、本発明によれば、反転判断部を有するので、反転文字部分の文字認識が可能となり、反転文字の多いカラー画像であっても入力方向の検出をすることができる。さらに、本発明によれば、少ないワークメモリで高速なソフトウェア処理を可能とするので、方向検知処理のバージョンアップをする際にも部品にかかるコストが必要がない。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２９Ａ〜Ｃに示すデジタルカラー複合複写機を汎用の画像処理システム１０２に適用した場合の方向検知処理に必要なハードウェア構成を示すブロック図である。
【図３】図２に示す画像処理システム２０２の各動作のタイミングチャートを示す図である。
【図４】第１の実施形態に係る方向判別処理に用いられるカラー画像の例を示す図である。
【図５】スキャナ用画像処理部２１１４において、Ｔ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。
【図６】図４に示すカラー画像の全面ヒストグラムを示す図である。
【図７】第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。
【図８】領域７０１の読み出し画像を示す図である。
【図９】領域７０２の読み出し画像を示す図である。
【図１０】領域７０３の読み出し画像を示す図である。
【図１１】図８に示す領域７０１の読み出し画像がＢＳ処理により反転画像であると判定された一部二値画像の領域分割結果を示す図である。
【図１２】図８に示す領域７０１の画素反転処理が行われて反転画像に通常のＢＳＯＣＲ処理を施した結果を示す図である。
【図１３】図９の一部二値画像の領域分割結果を示す図である。
【図１４】図１０の一部二値画像の領域分割結果を示す図である。
【図１５】図１０の一部二値画像の領域分割結果を反転した画像を示す図である。
【図１６】第１の実施形態における方向検知処理を実行する２枚目のカラー画像例を示す図である。
【図１７】図１６のカラー画像からＴ１＝１５、Ｔ２＝１のしきい値でタイルヘッダを作成した結果の画像を示す図である。
【図１８】図１６のカラー画像に対する下地除去用ヒストグラムを示す図である。
【図１９】第一次文字抽出処理によって最終的に抽出された３つの矩形領域を示す図である。
【図２０】領域１９０１の読み出し画像（一部二値画像）を示す図である。
【図２１】領域１９０２の読み出し画像（一部二値画像）を示す図である。
【図２２】領域１９０３の読み出し画像（一部二値画像）を示す図である。
【図２３】図２１に示す一部二値画像の領域分割結果を示す図である。
【図２４】図２２の一部二値画像の領域分割結果を示す図である。
【図２５】第２の実施形態に係る多値画像読み出し機能を備える画像処理装置の構成例を示す図である。
【図２６】第一次文字抽出処理をハードウェア処理する第一次文字抽出部の細部構成を示すブロック図である。
【図２７】第一次文字抽出処理（ステップＳ３１０）を実行する文字矩形抽出部２６０２の細部処理手順について説明するためのフローチャートである。
【図２８】ランダムアクセス矩形抽出部２６０３の細部処理手順を説明するためのフローチャートである。
【図２９Ａ】本発明の一実施形態によるデジタルカラー複合複写機の構成を説明するための機能ブロック図である。
【図２９Ｂ】コントローラユニット２０００におけるシステム制御部２１５０を詳細に示す機能ブロック図である。
【図２９Ｃ】コントローラユニット２０００におけるタイル画像処理部２１４９を詳細に示す機能ブロック図である。
【図３０】従来の画像方向検知のソフトウェア処理の概要を説明するための概要図である。
【図３１】ＲＧＢ各８ビットで構成されたカラー画像１０１１の一例を示す図である。
【図３２】図３１に示すカラー画像を単純二値化したときの二値画像例を示す図である。
【図３３】図３１に示すカラー画像の輝度情報ヒストグラムと最適な二値化ポイントを示す図である。
【図３４】二値化ポイント１０４１を用いたカラー画像１０１１の二値画像を示す図である。
【図３５】図３４に示す二値画像を領域分割処理手順１０１４によって領域分割を行った場合の領域分割結果の一例を示す図である。
【図３６】白黒デジタル複写機のメインボードに接続される方向検知専用の方向検知ボードのハードウェア構成を示すブロック図である。
【図３７】図３６に示す方向検知ボードを用いた各動作のタイミングチャートを示す図である。
【符号の説明】
１００ 方向検知モジュール
１０１ カラー画像
１０２ 画像処理システム
１０３ 微分情報
１０４ 全面ヒストグラム
１０５ ３００ｄｐｉ一部二値画像
１０６ 第一次文字抽出部
１０７ 文字領域座標
１０８ 二値化しきい値算出部
１０９ 二値化しきい値
１１０ 領域分割部
１１１ ＯＣＲ部
Claims (16)
- コンピュータに入力された、文字領域を含む多値画像の方向を検知する画像処理方法であって、
前記多値画像を微分した結果において、第１しきい値以上の画素を１とし、前記第１しきい値より小さい画素を０とした像域フラグによる第１の二値画像を生成する二値画像生成工程と、
前記生成された第１の二値画像において、複数の画素からなる矩形の領域ごとに、画素値が１の画素の数が第２しきい値以上であれば１を付与し、当該第２しきい値より小さければ０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成するタイル画像生成工程と、
前記タイル画像において、ラベリング法もしくは輪郭追跡法を用いて画素値が１の画素の固まりを抽出し、当該抽出した固まりそれぞれの外接矩形の座標とサイズとに基づいて、当該外接矩形それぞれについてテキストであるか否かの判定を行うことにより、文字領域の座標を抽出する文字領域抽出工程と、
前記抽出した文字領域の座標に対応する領域について前記多値画像の二値化処理を行うことにより、前記文字領域の二値画像を作成する一部二値画像作成工程と、
前記作成された文字領域の二値画像に対してＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する方向検知工程と
を有することを特徴とする画像処理方法。 - 前記方向検知工程は、
前記文字領域の二値画像に基づいて前記文字領域が反転画像であるか否かを判断する判断工程と、
前記文字領域が反転画像であると判断された場合、前記二値画像の白黒成分を反転する反転処理工程と、
前記判断工程で反転画像であると判断されて前記反転処理工程で反転された後の文字領域の二値画像、あるいは前記判断工程で反転画像でないと判断されて反転処理されていない前記文字領域の二値画像に対して、前記ＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する検知工程と
を含むことを特徴とする請求項１に記載の画像処理方法。 - 前記タイル画像生成工程では、前記第２しきい値として複数の異なるしきい値をそれぞれ用いることにより複数のタイル画像を生成し、
前記文字領域抽出工程では、前記生成された複数のタイル画像それぞれから前記画素の固まりを抽出し、それぞれから抽出した画素の固まりの外接矩形が重複している面積に基づいて前記外接矩形のスコアを求め、所定しきい値以上のスコアとなった外接矩形に基づいて前記文字領域の座標を抽出する
ことを特徴とする請求項１記載の画像処理方法。 - 前記タイル画像生成工程では、前記生成された第１の二値画像において、前記複数の画素からなる矩形の領域ごとに、当該領域の少なくとも１ラインに１の像域フラグが第３しきい値以上存在すれば１を付与し、それ以外は０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成する
ことを特徴とする請求項１記載の画像処理方法。 - 前記文字領域抽出工程では、前記タイル画像をメッシュ状に分割し、分割されたメッシュ状の領域内に含まれる前記外接矩形に基づいて前記メッシュ状領域のスコアを求め、前記所定しきい値以上のスコアとなった外接矩形と前記メッシュ状領域のスコアとに基づいて、前記文字領域の座標を抽出することを特徴とする請求項３に記載の画像処理方法。
- 入力された文字領域を含む多値画像の方向を検知する画像処理装置であって、
文字領域を含む多値画像を入力する入力手段と、
前記多値画像を微分した結果において、第１しきい値以上の画素を１とし、前記第１しきい値より小さい画素を０とした像域フラグによる第１の二値画像を生成する二値画像生成手段と、
前記生成された第１の二値画像において、複数の画素からなる矩形の領域ごとに、画素値が１の画素の数が第２しきい値以上であれば１を付与し、当該第２しきい値より小さければ０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成するタイル画像生成手段と
前記タイル画像において、ラベリング法もしくは輪郭追跡法を用いて画素値が１の画素の固まりを抽出し、当該抽出した固まりそれぞれの外接矩形の座標とサイズとに基づいて、当該外接矩形それぞれについてテキストであるか否かの判定を行うことにより、文字領域の座標を抽出する文字領域抽出手段と、
前記抽出した文字領域の座標に対応する領域について前記多値画像の二値化処理を行うことにより、前記文字領域の二値画像を作成する一部二値画像作成手段と、
前記作成された文字領域の二値画像に対してＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する方向検知手段と
を備えることを特徴とする画像処理装置。 - 前記方向検知手段は、
前記文字領域の二値画像に基づいて前記文字領域が反転画像であるか否かを判断する判断手段と、
前記文字領域が反転画像であると判断された場合、前記二値画像の白黒成分を反転する反転処理手段と、
前記判断手段で反転画像であると判断されて前記反転処理手段で反転された後の文字領域の二値画像、あるいは前記判断手段で反転画像でないと判断されて反転処理されていない前記文字領域の二値画像に対して、前記ＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する検知手段と
をさらに備えることを特徴とする請求項６に記載の画像処理装置。 - 前記タイル画像生成手段は、前記第２しきい値として複数の異なるしきい値をそれぞれ用いることにより複数のタイル画像を生成し、
前記文字領域抽出手段は、前記生成された複数のタイル画像それぞれから前記画素の固まりを抽出し、それぞれから抽出した画素の固まりの外接矩形が重複している面積に基づいて前記外接矩形のスコアを求め、所定しきい値以上のスコアとなった外接矩形に基づいて前記文字領域の座標を抽出する
ことを特徴とする請求項６記載の画像処理装置。 - 前記タイル画像生成手段は、前記生成された第１の二値画像において、前記複数の画素からなる矩形の領域ごとに、当該領域の少なくとも１ラインに１の像域フラグが第３しきい値以上存在すれば１を付与し、それ以外は０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成する
ことを特徴とする請求項６記載の画像処理装置。 - 前記文字領域抽出手段は、前記タイル画像をメッシュ状に分割し、分割されたメッシュ状の領域内に含まれる前記外接矩形に基づいて前記メッシュ状領域のスコアを求め、前記所定しきい値以上のスコアとなった外接矩形と前記メッシュ状領域のスコアとに基づいて、前記文字領域の座標を抽出することを特徴とする請求項８に記載の画像処理装置。
- コンピュータに、
文字領域を含む多値画像を微分した結果において、第１しきい値以上の画素を１とし、前記第１しきい値より小さい画素を０とした像域フラグによる第１の二値画像を生成する二値画像生成手順と、
前記生成された第１の二値画像において、複数の画素からなる矩形の領域ごとに、画素値が１の画素の数が第２しきい値以上であれば１を付与し、当該第２しきい値より小さけ れば０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成するタイル画像生成手順と、
前記タイル画像において、ラベリング法もしくは輪郭追跡法を用いて画素値が１の画素の固まりを抽出し、当該抽出した固まりそれぞれの外接矩形の座標とサイズとに基づいて、当該外接矩形それぞれについてテキストであるか否かの判定を行うことにより、文字領域の座標を抽出する文字領域抽出手順と、
前記抽出した文字領域の座標に対応する領域について前記多値画像の二値化処理を行うことにより、前記文字領域の二値画像を作成する一部二値画像作成手順と、
前記作成された文字領域の二値画像に対してＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する方向検知手順と
を実行させるためのプログラム。 - 前記方向検知手順では、
前記文字領域の二値画像に基づいて前記文字領域が反転画像であるか否かを判断する判断手順と、
前記文字領域が反転画像であると判断された場合、前記二値画像の白黒成分を反転する反転処理手順と、
前記判断手順で反転画像であると判断されて前記反転処理手順で反転された後の文字領域の二値画像、あるいは前記判断手順で反転画像でないと判断されて反転処理されていない前記文字領域の二値画像に対して、前記ＯＣＲ処理を行った結果に基づいて、前記多値画像の方向を検知する検知手順と
をさらに実行させることを特徴とする請求項１１に記載のプログラム。 - 前記タイル画像生成手順では、前記第２しきい値として複数の異なるしきい値をそれぞれ用いることにより複数のタイル画像を生成し、
前記文字領域抽出手順では、前記生成された複数のタイル画像それぞれから前記画素の固まりを抽出し、それぞれから抽出した画素の固まりの外接矩形が重複している面積に基づいて前記外接矩形のスコアを求め、所定しきい値以上のスコアとなった外接矩形に基づいて前記文字領域の座標を抽出する
ことを特徴とする請求項１１記載のプログラム。 - 前記タイル画像生成手順では、前記生成された第１の二値画像において、前記複数の画素からなる矩形の領域ごとに、当該領域の少なくとも１ラインに１の像域フラグが第３しきい値以上存在すれば１を付与し、それ以外は０を付与することによって、当該矩形の領域それぞれを１画素とみなして１または０の画素値が付与されたタイル画像を生成する
ことを特徴とする請求項１１記載のプログラム。 - 前記文字領域抽出手順では、前記タイル画像をメッシュ状に分割し、分割されたメッシュ状の領域内に含まれる前記外接矩形に基づいて前記メッシュ状領域のスコアを求め、前記所定しきい値以上のスコアとなった外接矩形と前記メッシュ状領域のスコアとに基づいて、前記文字領域の座標を抽出することを特徴とする請求項１３に記載のプログラム。
- 請求項１１から１５までのいずれか１項に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002223576A JP4047090B2 (ja) | 2002-07-31 | 2002-07-31 | 画像処理方法及び画像処理装置 |
| US10/627,644 US7317835B2 (en) | 2002-07-31 | 2003-07-28 | Image processing method and apparatus |
| CNB031500692A CN1230778C (zh) | 2002-07-31 | 2003-07-31 | 图像处理方法和图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002223576A JP4047090B2 (ja) | 2002-07-31 | 2002-07-31 | 画像処理方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004064664A JP2004064664A (ja) | 2004-02-26 |
| JP4047090B2 true JP4047090B2 (ja) | 2008-02-13 |
Family
ID=31884304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002223576A Expired - Fee Related JP4047090B2 (ja) | 2002-07-31 | 2002-07-31 | 画像処理方法及び画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7317835B2 (ja) |
| JP (1) | JP4047090B2 (ja) |
| CN (1) | CN1230778C (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3987013B2 (ja) * | 2003-09-01 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4610182B2 (ja) * | 2003-12-05 | 2011-01-12 | 株式会社日立ハイテクノロジーズ | 走査型電子顕微鏡 |
| KR100648350B1 (ko) * | 2004-11-15 | 2006-11-23 | 엘지전자 주식회사 | 문서영상의 반전 처리 장치 및 반전 처리 방법 |
| JP2007141159A (ja) * | 2005-11-22 | 2007-06-07 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
| KR100791389B1 (ko) * | 2006-12-26 | 2008-01-07 | 삼성전자주식회사 | 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법 |
| US8189912B2 (en) * | 2007-11-24 | 2012-05-29 | International Business Machines Corporation | Efficient histogram storage |
| US8388851B2 (en) | 2008-01-08 | 2013-03-05 | Micron Technology, Inc. | Capacitor forming methods |
| US8518788B2 (en) | 2010-08-11 | 2013-08-27 | Micron Technology, Inc. | Methods of forming a plurality of capacitors |
| KR101205970B1 (ko) * | 2010-11-18 | 2012-11-28 | 주식회사 고영테크놀러지 | 브리지 연결불량 검출방법 |
| TWI431516B (zh) * | 2011-06-21 | 2014-03-21 | Quanta Comp Inc | 觸覺回饋方法及其電子裝置 |
| US9076680B2 (en) | 2011-10-18 | 2015-07-07 | Micron Technology, Inc. | Integrated circuitry, methods of forming capacitors, and methods of forming integrated circuitry comprising an array of capacitors and circuitry peripheral to the array |
| US8946043B2 (en) | 2011-12-21 | 2015-02-03 | Micron Technology, Inc. | Methods of forming capacitors |
| JP2013196454A (ja) * | 2012-03-21 | 2013-09-30 | Honda Elesys Co Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
| US8652926B1 (en) | 2012-07-26 | 2014-02-18 | Micron Technology, Inc. | Methods of forming capacitors |
| JP6286866B2 (ja) * | 2013-05-20 | 2018-03-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| CN104036510A (zh) * | 2014-06-20 | 2014-09-10 | 常州艾格勒信息技术有限公司 | 一种新型图像分割系统及方法 |
| WO2016186137A1 (ja) * | 2015-05-18 | 2016-11-24 | 株式会社スキャる | 会計支援システム |
| JP6599698B2 (ja) * | 2015-08-31 | 2019-10-30 | 株式会社ミツトヨ | 画像測定装置及びその制御プログラム |
| JP7301529B2 (ja) * | 2018-11-30 | 2023-07-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN110647851B (zh) * | 2019-09-27 | 2022-12-09 | 普联技术有限公司 | 生产线产能监控方法、装置及系统 |
| CN111353503B (zh) * | 2020-02-28 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 一种用户界面图像中功能区域的识别方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3716787A1 (de) * | 1986-05-19 | 1987-11-26 | Ricoh Kk | Zeichenerkennungsverfahren |
| JPH08153199A (ja) | 1994-11-29 | 1996-06-11 | Canon Inc | 画像処理装置 |
| AUPN310195A0 (en) * | 1995-05-22 | 1995-06-15 | Canon Kabushiki Kaisha | Template formation method |
| US6041205A (en) | 1996-06-25 | 2000-03-21 | Canon Kabushiki Kaisha | Image processing apparatus for laying out plurality of images in conformity with image orientation |
| JPH1013669A (ja) * | 1996-06-26 | 1998-01-16 | Minolta Co Ltd | 画像読取り装置におけるデータ処理方法 |
| JPH10164354A (ja) | 1996-12-04 | 1998-06-19 | Canon Inc | 画像形成方法とその装置 |
| JP3684036B2 (ja) | 1997-07-03 | 2005-08-17 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP3601658B2 (ja) * | 1997-12-19 | 2004-12-15 | 富士通株式会社 | 文字列抽出装置及びパターン抽出装置 |
| JP3881439B2 (ja) | 1998-01-23 | 2007-02-14 | シャープ株式会社 | 画像処理装置 |
| JP2001184511A (ja) | 1999-12-27 | 2001-07-06 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| JP2002142101A (ja) | 2000-11-06 | 2002-05-17 | Sharp Corp | 画像処理装置 |
| JP2003308480A (ja) * | 2002-04-16 | 2003-10-31 | Fujitsu Ltd | オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム |
-
2002
- 2002-07-31 JP JP2002223576A patent/JP4047090B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-28 US US10/627,644 patent/US7317835B2/en not_active Expired - Fee Related
- 2003-07-31 CN CNB031500692A patent/CN1230778C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004064664A (ja) | 2004-02-26 |
| CN1477589A (zh) | 2004-02-25 |
| CN1230778C (zh) | 2005-12-07 |
| US7317835B2 (en) | 2008-01-08 |
| US20040096121A1 (en) | 2004-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4047090B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP5875637B2 (ja) | 画像処理装置、画像処理方法 | |
| US5568571A (en) | Image enhancement system | |
| US7751648B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US7437002B2 (en) | Image recognition system utilizing an edge image and a binary image | |
| JP6743092B2 (ja) | 画像処理装置、画像処理の制御方法、及びプログラム | |
| JP2003152995A (ja) | 画像処理装置 | |
| JP2004165969A (ja) | 画像処理装置および画像処理プログラム | |
| US5467410A (en) | Identification of a blank page in an image processing system | |
| JP2003244447A (ja) | 画像処理装置及び画像処理方法 | |
| JP5335581B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4441300B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
| JP7301529B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20090016613A1 (en) | Image processing apparatus, image processing method, and computer program product | |
| JP5517028B2 (ja) | 画像処理装置 | |
| JP3378108B2 (ja) | 二値イメージ出力装置 | |
| KR100537827B1 (ko) | 경계선 분포를 이용한 스캔 영상의 상역 분리 방법 | |
| JP4027016B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| JP2003189090A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 | |
| JP3774502B2 (ja) | 画像処理装置およびその方法 | |
| JP2011070327A (ja) | 画像属性判定装置、画像属性判定方法および画像属性判定プログラム | |
| JP2006345456A (ja) | 画像処理装置、方法、プログラム及び記憶媒体 | |
| JP2001134773A (ja) | 画像処理装置およびその方法 | |
| JP2004287565A (ja) | 原稿方向判別用の辞書作成方法 | |
| JPH1021364A (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |