JPH11272793A

JPH11272793A - 画像処理装置及びその方法

Info

Publication number: JPH11272793A
Application number: JP10072512A
Authority: JP
Inventors: Akio Ito; 秋生伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-03-20
Filing date: 1998-03-20
Publication date: 1999-10-08

Abstract

(57)【要約】【課題】従来の文字認識処理は白黒原稿を対象とする
ことを前提としていたため、カラー原稿に対する文字認
識においては、原稿の方向判別の精度が白黒原稿の場合
よりも悪くなり、文字認識の誤判定が多かった。【解決手段】入力されたカラー画像に対して、黒文字
部であるか否かを判定するデータを判別データ生成部３
０２において生成する。文書方向判別部３０３では、該
黒文字判定データにより黒文字部であるとされた画像デ
ータに基づいて、文書方向判定処理を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法に関し、特に文字認識処理を行なう画像処理装置
及びその方法に関する。

【０００２】

【従来の技術】従来の画像処理装置においては、一般に
スキャナなどの光学的読み取り装置によって読み取られ
た原稿画像データに基づいて、該原稿画像の方向を正し
く認識し、該原稿画像に含まれている文字を認識する、
所謂文字認識処理を可能とすることが知られている。そ
して、近年の画像処理技術の発達に伴い、文字認識処理
における文字認識精度の更なる向上が要求されつつあ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の画像処理装置においては、主に文字を多く含む白黒
原稿を対象とした文字認識処理を行なうことを前提とし
ていた。従って、文字以外のイメージ画像等が多く含ま
れるカラー原稿に対して文字認識処理を行なった場合、
原稿の方向判別の精度が白黒原稿の場合よりも悪くな
り、文字認識の誤判定が多くなってしまっていた。

【０００４】本発明は上記問題を解決するために成され
たものであり、カラー原稿に対する文書方向判別の精度
を高めることにより、文字認識精度の向上が可能な画像
処理装置及びその方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明の画像処理装置は以下の構成を
備える。

【０００６】即ち、画像データを入力する画像入力手段
と、前記画像データから黒エッジ部を検出する黒エッジ
検出手段と、前記黒エッジ検出手段により黒エッジが検
出された前記画像データに基づいて画像の文書方向を判
別する文書方向判別手段と、を有することを特徴とす
る。

【０００７】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。

【０００８】＜第１実施形態＞ ●装置概要図１は、本実施形態における画像処理装置の側断面図で
ある。本実施形態の画像処理装置は、原稿画像のカラー
読取りを行ない、白黒画像として印刷出力するものであ
る。図１において、１０１は原稿台ガラスであり、原稿
自動送り装置１４２から給送された原稿が順次、所定位
置に載置される。１０２は例えばハロゲンランプにより
構成される原稿照明ランプで、原稿台ガラス１０１に載
置された原稿を露光する。１０３，１０４，１０５は走
査ミラーであり、図示しない光学走査ユニットに収容さ
れ、往復運動しながら、原稿からの反射光をＣＣＤユニ
ット１０６に導く。ＣＣＤユニット１０６はＣＣＤに原
稿からの反射光を結像させる結像レンズ１０７、Ｒ（レ
ッド），Ｇ（グリーン），Ｂ（ブルー）のＣＣＤ等によ
り構成される撮像素子１０８、撮像素子１０８を駆動す
るＣＣＤドライバ１０９等から構成されている。撮像素
子１０８からの画像信号出力は、例えばＲ，Ｇ，Ｂそれ
ぞれ８ビットのデジタルデータに変換された後、コント
ローラ部１３９に入力される。コントローラ部１３９に
おいては後述するように、入力されたカラー画像信号に
対して各種の画像処理を施し、白黒の画像データを作成
して出力する。

【０００９】また、１１０は感光ドラムであり、前露光
ランプ１１２によって画像形成に備えて除電された後、
１次帯電器１１３によって一様に帯電される。１１７は
露光手段であるレーザユニットであり、例えば半導体レ
ーザ等で構成され、画像処理や装置全体の制御を行うコ
ントローラ部１３９で処理された画像データに基づい
て、感光ドラム１１０を露光し、静電潜像を形成する。
１１８は現像器であり、黒色の現像剤（トナー）が収容
されている。１１９は転写前帯電器であり、感光ドラム
１１０上に現像されたトナー像を用紙に転写する前に高
圧をかける。１２０，１２２，１２４は給紙ユニットで
あり、各給紙ローラ１２１，１２３，１２５の駆動によ
り、転写用紙が装置内へ給送され、レジストローラ１２
６の配設位置で一旦停止し、感光ドラム１１０に形成さ
れた画像との書き出しタイミングがとられて再給送され
る。１２７は転写帯電器であり、感光ドラム１１０に現
像されたトナー像を給送される転写用紙に転写する。１
２８は分離帯電器であり、転写動作の終了した転写用紙
を感光ドラム１１０より分離する。転写されずに感光ド
ラム１１０上に残ったトナーは、クリーナ１１１によっ
て回収される。

【００１０】１２９は搬送ベルトであり、転写プロセス
の終了した転写用紙を定着器１３０に搬送し、転写用紙
上のトナー像は例えば熱により定着される。１３１はフ
ラッパであり、定着プロセスの終了した転写用紙の搬送
パスを、ステイプルソータ１３２または中間トレイ１３
７の配置方向のいずれかに制御する。ステイプルソータ
１３２に排紙された用紙は各ビンに仕分けされ、コント
ローラ部１３９からの指示により、ステイプル部１４１
がステイプル処理を行う。１３３〜１３６は給送ローラ
であり、一度定着プロセスの終了した転写用紙を中間ト
レイ１３７に反転（多重転写時）または非反転（両面転
写時）して給送する。１３８は再給送ローラであり、中
間トレイ１３７に載置された転写用紙を再度、レジスト
ローラ１２６の配設位置まで搬送する。

【００１１】コントローラ部１３９には、後述するマイ
クロコンピュータ、画像処理部等を備えており、操作パ
ネル１４０からの指示に従って、前述の画像形成動作を
制御する。また、操作パネル１４０上には図示しない両
面原稿キーがあり、このキーが操作者によって押下され
ることにより、読み取る原稿が両面原稿であるという情
報がコントローラ部１３９に伝わる。

【００１２】図２にコントローラ部１３９の詳細ブロッ
ク構成を示し、説明する。

【００１３】２０１は画像処理装置全体の制御を行うＣ
ＰＵであり、装置本体の制御手順（制御プログラム）を
記憶した読み取り専用メモリ（ＲＯＭ）２０３からプロ
グラムを順次読み取り、実行する。ＣＰＵ２０１のアド
レスバスおよびデータバスは、バスドライバ／アドレス
デコーダ回路２０２を経て後述する各負荷に接続されて
いる。また、２０４は入力データの記憶や作業用記憶領
域等として用いる主記憶装置であるところのランダムア
クセスメモリ（ＲＡＭ）である。２０５はＩ／Ｏインタ
フェースであり、操作者がキー入力を行い、装置の状態
等を液晶、ＬＥＤを用いて表示する操作パネル１４０
や、給紙系、搬送系、光学系の駆動を行うモータ類２０
７、クラッチ類２０８、ソレノイド類２０９、また、搬
送される用紙を検知するための紙検知センサ類２１０等
の各負荷に接続される。現像器１１８には、現像器内の
トナー量を検知するトナー残検センサ２１１が配置され
ており、その出力信号がＩ／Ｏインタフェース２０５に
入力される。２１５は高圧制御ユニットであり、ＣＰＵ
２０１の指示に従って、図１に示した１次帯電器１１
３、現像器１１８、転写前帯電器１１９、転写帯電器１
２７、分離帯電器１２８における高圧を制御する。

【００１４】２０６は画像処理部であり、ＣＣＤユニッ
ト１０６から出力された画像信号が入力され、後述する
画像処理を施した画像データに従って、レーザユニット
１１７の制御信号を出力する。レーザユニット１１７か
ら出力されるレーザ光は感光ドラム１１０を照射し露光
するとともに、非画像領域において、受光センサである
ところのビーム検知センサ２１３によって発光状態が検
知され、その出力信号がＩ／Ｏインタフェース２０５に
入力される。

【００１５】図３に、画像処理部２０６の詳細ブロック
構成を示し、説明する。以下、ＣＣＤユニット１０６で
読取った原稿が文字を含む文書画像であった場合につい
て説明する。

【００１６】撮像素子１０８により電気信号に変換され
たＲ，Ｇ，Ｂ各８ビットの画像信号は、まずシェーディ
ング補正部３０１によって各色毎に画素間のばらつきの
補正を行った後、判別データ生成部３０２と白黒画像生
成部３０４に入力される。白黒画像生成部３０４では、
入力されたＲ、Ｇ、Ｂのカラー画像データから８ビット
の白黒イメージの画像データを作成する。また判別デー
タ生成部３０２では、入力されたカラー画像から黒文字
部を抽出し、該黒文字部情報を白黒画像生成部３０４に
より作成された白黒画像とともに文書方向判別部３０３
に入力する。文書方向判別部３０３では、上述した黒文
字部情報及び白黒画像に基づいて、文書画像の方向判別
を行なう。

【００１７】また、白黒画像生成部３０４の出力は、縮
小・拡大部３０５にも入力され、画像の変倍処理が行わ
れる。例えば縮小コピー時にはデータの間引き処理を行
い、拡大コピー時にはデータの補間処理を行う。次に、
エッジ強調部３０６において、例えば５×５のウインド
ウによる２次微分を行い、画像のエッジを強調する。
尚、入力される画像データは輝度データであるため、印
刷出力を行なうための濃度データに変換するため輝度濃
度変換部３０７でテーブルサーチを行なうことによりデ
ータ変換を行う。濃度データに変換された画像データは
２値化処理部３０８へ入力される。ここでは、例えばＥ
Ｄ法（誤差拡散法）により多値データを２値データに変
換する。２値に変換された画像データは合成部３０９に
入力され、入力された画像データと例えばＤＲＡＭやハ
ードディスクにより構成される画像用メモリ３１１内の
画像データを選択的に出力する。この画像用メモリ３１
１に対するリードライト制御はメモリ制御部３１０で行
い、画像を回転させる場合はメモリ内の画像データの読
み出しアドレスを制御することで行う。画像合成部３０
９より出力された画像データは、レーザユニット１１７
へ出力される。レーザユニット１１７内において画像デ
ータはレーザの発光強度を示す信号に変換され、上述し
たプロセスにより画像形成処理がなされる。 ●黒文字抽出処理以下、図４〜図１２を参照して、本実施形態の特徴であ
る黒文字抽出処理について説明する。

【００１８】図４に、判別データ生成部３０２の詳細ブ
ロック構成を示す。まず、白黒画像生成部３０２におい
て生成された白黒画像信号は、遅延回路１０００におい
て黒文字判定結果と同期があうように遅延されて、文書
方向判別部３０３に入力される。一方、ＣＣＤユニット
１０６において読み込まれたカラー画像のＲ，Ｇ，Ｂ信
号は、黒除去回路１１１４、エッジ検出回路１１１５、
彩度判定回路１１１６、孤立点除去処理回路１１１７、
平滑化処理回路１１１８、下地判定回路１１１９、判定
回路１１２０，１１２１、セレクタ１１２２、ＡＮＤゲ
ート１１２３から構成される黒文字判定部１２００に入
力される。

【００１９】以下、黒文字判定部１２００における動作
について説明する。

【００２０】図５は、黒除去回路１１１４の詳細構成を
示すブロック図である。同図において、４１は最大値検
出部、４２は最小値検出部、４３は減算器、４４はＬＵ
Ｔ（ルック・アップ・テーブル）、４５はＡＮＤ回路を
それぞれ示している。黒除去回路１１１４においては、
同構成により、前述した様にシェーディング補正された
各色分解信号Ｒ，Ｇ，Ｂに対して下色除去（ＵＣＲ）を
施し、比較的ゆるめのしきい値により黒を検出して除去
する。

【００２１】次に、孤立点除去処理回路１１１７によっ
て、画像中のゴミ（孤立点）を取り除くために、ここで
は任意の画素ブロック中の中央値を取り、注目画素に該
中央値を置き換える処理を施す。その後、平滑化処理回
路１１１８でデータの平滑化を行うことにより、下地の
パターンの傾向を認識しやすくする。

【００２２】図６に、下地判定回路１１１９の詳細ブロ
ック構成を示す。同図において、６０１（６０１−１〜
６０１−Ｎ）はＦ／Ｆ（フリップ・フロップ）群であ
る。６０２，６０３は演算器、６０４はＬＵＴをそれぞ
れ示す。ここでは、ＲＧＢのうちの任意の１色分の信号
について説明する。尚、回路規模を小さくするために、
ＲＧＢ信号を周知のＮＤ信号に置き換えても構わない。
この場合、以下の変換式（１）に従う。

【００２３】ＮＤ＝（Ｒ＋２Ｇ＋Ｂ）／４・・・・（１）下地判定回路１１１９に入力された平滑化された信号
は、下地のパターンを見るために、まず演算器６０２に
おいてＦ／Ｆ群６０１による主走査方向のＮ画素の平均
値（以下「ＤＣ成分」と称す）を算出し、演算器６０３
においてＦ／Ｆ群６０１による主走査方向のＮ画素につ
いて｜ｆ（ＭＡＸ）−ｆ（ＭＩＮ）｜で表される、最大
値ＭＡＸと最小値ＭＩＮとの位置の差、即ち、周期（以
下「ＡＣ成分」と称す）を算出する。ここで、通常、網
点などの規則的なパターンの大きさが２ｍｍ以上である
ことは少ないので、例えば４００ｄｐｉにおいて３２画
素分、つまりＮ＝３２程度とすることが適当である。そ
の後ＬＵＴ６０４において、直流成分で示される平均輝
度とＡＣ成分で示される規則度により、当該画素が下地
領域に属する可能性を示す下地度を出力する。例えば、
ＤＣ成分が高く、かつＡＣ成分が小さければ下地度は低
くなり、即ち下地が均一な白地に近くなる。又、ＤＣ成
分が低く、かつＡＣ成分が高ければ下地度は高くなり、
即ち下地が不均一な画像であることになる。ここで、Ａ
Ｃ成分、ＤＣ成分及び下地度はそれぞれ多値で表現され
る。

【００２４】次に、画像中のエッジ成分を検出し、平網
や地図中の文字、細線を検出するエッジ検出回路１１１
５について説明する。図７に、エッジ検出回路１１１５
の詳細ブロック構成を示す。同図において、７０〜７３
はＦＩＦＯ（先入先出回路）、７４はラプラシアン、７
５は絶対値及びノイズ除去回路をそれぞれ示している。
エッジ検出回路１１１５には、ＲＧＢ信号より得られた
ＮＤ信号が入力される。入力されたＮＤ信号は、ＦＩＦ
Ｏ７０〜７３により５ライン分に拡張され、周知のラプ
ラシアンフィルタ７４にかけられる。そして、絶対値及
びノイズ除去回路７５においてエッジ量の絶対値がａ以
下である画素は除去され、ａ以上である画素のみが
“１”として出力される。以上の動作を示すタイミング
チャートを図８に示す。同図において、原画（ｉ）に対
するラプラシアン７４の出力が（ｉｉ）、絶対値及びノ
イズ除去回路７５の出力が（ｉｉｉ）である。これによ
り、原画像中のエッジが検出されていることが分かる。

【００２５】エッジ検出回路１１１５の出力は、判定回
路１２０，１２１に入力され、画像中または非画像（下
地）中でのエッジ処理が独立に行われる。図９，図１０
に、判定回路１２０，１２１の詳細ブロック構成をそれ
ぞれ示す。両図において、９１−１，９１−２はＦＩＦ
Ｏ、９２は遅延回路、９３，９５はＯＲゲート、９４−
１，９４−２，９７−１，９７−２はＦ／Ｆ、９６，９
８はＡＮＤゲートをそれぞれ示している。この回路構成
によれば、エッジ検出後の信号を３×３のスクリーンに
広げ、判定回路１１２０では該スクリーン内にエッジ画
素が１個でもあれば強調し、また、判定回路１１２１で
は連続したエッジ成分が１個もなければエッジを除去し
た出力を行なう。これら判定回路１１２０，１１２１の
出力はセレクタ１１２２に入力され、セレクタ１１２２
では上述した下地判定回路１１１９より出力された下地
度をセレクト信号として、いずれかを出力する。これに
より、画像中のエッジはノイズ除去し、非画像中のエッ
ジは強調するように制御することができる。

【００２６】次に図１１に、彩度判定回路１１１６の詳
細ブロック構成を示す。同図において、１４４は最大値
検出部、１４５は最小値検出部、１４６は減算器、１４
７はＬＵＴをそれぞれ示している。最大値検出部１４４
と最小値検出部１４５によって、ＭＡＸ（Ｒ，Ｇ，Ｂ）
で示されるＲＧＢの最大値信号５４８と、ＭＩＮ（Ｒ，
Ｇ，Ｂ）で示されるＲＧＢの最小値信号５４９がそれぞ
れ検出され、その差ΔＣが減算器１４６によって算出さ
れる。そして、ＬＵＴ４７において、図１２に示すよう
な特性に従ってデータ変換が行われ、彩度信号Ｃｒが出
力される。図１２は彩度信号Ｃｒの特性を示す図であ
る。図１２においては、ΔＣが“０”に近いほど彩度が
低く（無彩色に近く）、ΔＣが大きいほど、即ち有彩色
の度合が強いほど彩度信号Ｃｒは“０”に近づき、完全
な有彩色ではＣｒ＝０になる。ここで、ＣｒのΔＣに対
する変化の度合いは図に従う。

【００２７】以上説明したように、ＡＮＤゲート１１２
３にはセレクタ１１２２の出力と彩度判定回路１１１６
の出力とが入力されるため、画像中において“黒”かつ
“エッジが検出された”場合にのみ、ＡＮＤゲート１１
２３の出力は“１”になる。即ち、黒文字判定部１２０
０からは、画像中の黒文字部や細線部等において黒文字
判定データが“１”として出力される。

【００２８】尚、上述した構成例においては、画像中に
おいて小さいフォントの文字をターゲットとして黒文字
を抽出する例について説明したが、もう少し大きい文字
までを抽出する場合には、図９，図１０に示した判定回
路１１２０，１１２１の構成を変更すれば良い。例え
ば、３×３の回路によりエッジを検出しているところ
を、回路を構成するＦＩＦＯとＦ／Ｆを追加し、５×５
や７×７、又はそれ以上のスクリーンに対してエッジを
検出するようにすれば、検出のターゲットとするフォン
トを大きくすることができる。

【００２９】判別データ生成部３０２において上述した
ようにして検出された黒文字判定データは、遅延回路１
０００を介した白黒画像データとともに、文書方向判別
部３０３に入力される。

【００３０】本実施形態では以上説明したようにして、
入力されたカラー原稿の画像信号に基づいて、黒文字を
示す可能性の高い画素を検出して黒文字判定データを生
成、出力することにより、後述する文書方向判別処理を
より高精度に行なうことができる。 ●文書方向判別処理以下、図１３〜図１８を参照して本実施形態における文
書方向判別処理について説明する。

【００３１】図１３に、文書方向判別部３０３の詳細ブ
ロック構成を示す。文書方向判別部３０３に入力された
白黒画像データ及び黒文字判定データは、まずＣＰＵ／
メモリ部４０１に入力され、画像データを一時的に保存
すると共に、後述する各種制御を行う。尚、ＣＰＵ／メ
モリ部４０１は図２に示すコントローラ部１３９内のＣ
ＰＵ２０１とは不図示のデュアルポートＲＡＭによりバ
ス接続されており、データの送受信が可能である。もち
ろん、シリアル通信を行なうように構成しても良い。

【００３２】文字認識／方向判別部４０２においては、
予め記憶されている文字認識辞書４０７を参照すること
により、文字認識処理及び文書方向の判別処理を行な
う。具体的には、文書中の数種類の文字領域に対し、０
°，９０°，１８０°，２７０°の各方向からそれぞれ
文字認識処理を行い、各方向における文字認識の精度
（文字認識の自信度：文字の特徴分布に対する距離）の
中で、最高精度である方向を文書方向であるとして認識
する。

【００３３】領域分離部４０３は、文字認識／方向判別
部４０２による文字認識・方向判別処理を行うための前
処理として、文書画像データより、文字部、図形部、自
然画部、表部などを矩形の領域に分離して、各領域の属
性（文字部等）を付加する処理を行う。ここで、本実施
形態の特徴である黒文字判定データを参照することによ
り、黒文字からなる文字部領域の判定を更に高精度に行
なうことができる。

【００３４】記憶装置４０４は、例えばハードディスク
や光磁気ディスクなどにより構成され、各種処理結果
（画像データ、領域分離結果、文字認識結果など）を保
存する。またＩ／Ｆ部４０５は、ＳＣＳＩやＲＳ２３２
Ｃなどにより構成され、Ｉ／Ｆ部４０５を介して接続さ
れた外部コンピュータ２０３より情報を得たり、また、
光磁気ディスク等の着脱可能な記憶装置の装填によりデ
ータを得る。

【００３５】次に、本実施例における文書方向自動判別
・補正、および文字認識処理の概要を図１４のフローチ
ャートに従って説明する。

【００３６】本実施形態において文書方向を判別するた
めには、まず黒文字領域を正確に抽出する必要がある。
そこで、文書認識／方向判別部４０２に入力された多値
の画像データは、まず領域分離部４０３において、判別
データ生成部３０２から出力された黒文字判定データが
“１”である画像データのみが抽出される（ステップＳ
１，Ｓ２）。しかしながら、黒文字判定データが“１”
である画像データの全てが文字部に属するわけではな
く、例えば細線、表などの領域も含まれる。従って領域
分離部４０３においては、抽出された画像データを更
に、文字部、図形部、自然画部、表部などの属性別に、
矩形の領域（ブロック）に分離する（ステップＳ３）。
この領域分離処理においては、具体的には矩形で囲まれ
た領域情報を作成する。

【００３７】次に、上記各属性より文字部、即ち文字領
域の矩形情報を抽出する（ステップＳ４）。ここで文字
領域とは、文章部、タイトル部、表中の文字、図のキャ
プション部等である。例えば、図１５（ａ），（ｃ）に
示す様な文書の場合、それぞれ図１５（b），（ｄ）に
示したような文字領域の矩形情報が抽出される。そし
て、これらの中の数ブロックを用いて、後述するような
文書方向判別を行う（ステップＳ５）。その判別の結
果、文書方向が正方向であれば、引き続き画像中の文字
ブロックに対して文字認識処理を行う。（ステップＳ
８）。

【００３８】一方、文書方向が不正方向であれば、画像
データが正方向になるように回転させる（ステップＳ
６）。そして、回転画像に対して領域分離を行い、領域
分離情報の補正処理を行う（ステップＳ７）。これは、
回転画像に伴う領域分離情報の相違を補正するもので、
その方法としては、全回転画像データに対して再び領域
分離処理を行う方法がある。また、もう１つの方法とし
て、既に得られている領域分離結果に対してアドレス変
換をかける方法がある。一般に、領域分離処理は画像が
正方向であることを前提としているため、ステップＳ３
の段階で行った領域分離処理と、ステップＳ７において
回転画像データに対して行った領域分離処理とでは、そ
の結果が異なることが多い。それゆえ、ステップＳ７に
おいては前者の再分離方法がとられるのが望ましい。そ
して、次にステップＳ８に進んで、回転画像データ中の
文字ブロックは、周知の文字認識処理により、含まれる
文字が認識される。

【００３９】従って、上述したように回転なし／回転あ
りのいずれの場合においても、領域分離情報及び文字認
識情報が得られる（ステップＳ９）。

【００４０】この処理結果は、Ｉ／Ｆ部４０５を介して
コンピュータ４０６に伝送され、コンピュータ４０６上
のファイリングのアプリケーションソフトウェア等で利
用される。また、コントローラ部１３９内のＣＰＵ２０
１へ各画像毎に送信される。●領域分離、方向判定、文
字認識処理の詳細説明次に、上述したステップＳ３及び
Ｓ７における領域分離処理、ステップＳ５における文書
方向判別処理、ステップＳ８における文字認識処理のそ
れぞれについて、詳細に説明する。［領域分離処理］本実施形態における領域分離処理は、
まず、文書画像データの黒画素を検出してゆき、輪郭線
追跡、またはラベリング方式により、黒画素ブロックの
矩形枠を作成する。次に、その矩形の中の黒画素密度、
隣接矩形ブロックの有無、矩形の縦横比率などを判断基
準にして、文字領域（タイトル、本文、キャプション
等）、図形領域、自然画領域、表領域などを判別する。
この処理結果により、文書方向認識、及び文字認識のた
めに必要となる文字の矩形領域が判別される。［文字認識処理］文字認識処理の一つの方法として、特
徴ベクトル抽出、比較方式がある。例えば図１６（ａ）
に示すように、「本」という文字を含む文字領域が判別
されたとする。第一段階として、この文字領域について
文字切り出し処理を行う。この例を図１６（ｂ）に示
す。これは、一つの文字の矩形を切り出す処理で、黒画
素連続性の状態を検出していくことにより、求められ
る。そして第二段階として、一文字をｍ×ｎ（例えば６
４×６４）の画素ブロックに切り出す。この例を図１６
（ｃ）に示す。そして、その中から３×３画素のウイン
ドウをずらしてゆき、数十個の方向ベクトル情報を得
る。この一例を図１６（ｄ）に示す。このベクトル情報
が文字の特徴として認識され、この特徴ベクトルと文字
認識辞書４０７の内容とを比較して、特徴ベクトルに特
徴が一番近い文字から順番に文字を抽出する。そして、
抽出された文字は、特徴ベクトルに特徴が近い順に、第
１候補、第２候補・・・となる。この場合、特徴ベクト
ルに対する特徴の近さが、その文字に対する距離の近
さ、すなわち文字認識の自信度（精度）という数値で表
される。［文書方向判別処理］以上説明したようにして文字認識
の自信度が求められるが、その自信度に基づいた文書方
向判別処理を、図１７に示した「本発明の名称」という
文例を用いて説明する。

【００４１】図１７（ａ）は正方向の文、図１７（ｂ）
は図１７（ａ）を２７０°回転した文である。ここで、
「本」の文字に注目すると、文字方向を判別する場合
は、図１７（ｃ）に示すように、１つの文字「本」につ
いて０°，９０°，１８０°，２７０°の各回転による
４方向のそれぞれにおいて文字認識を行ってみる。尚、
上記各回転角度は，文字矩形の領域の読み出し方を変更
すればよく，特に原稿を回転する必要はない。

【００４２】各回転角度における文字認識結果は、図１
７（ｃ）に示すように、互いに異なっている。尚、図１
７（ｃ）に示した文字認識結果および自信度はあくまで
も一例に過ぎず、実際にこの通りに得られるとは限らな
い。

【００４３】図１７（ｃ）に示すように、正方向（０°
回転）から文字認識を行った場合は、「本」と正しく認
識され、その自信度も０．９０と高い値となる。また、
９０°回転した方向から文字認識を行った場合は、
「町」と誤認識され、自信度も０．４０と低下する。こ
のように誤認識が発生し、自信度も低下するのは、回転
した方向から見た場合の特徴ベクトルに基づいて文字認
識を行っているためである。同様に１８０°，２７０°
回転した方向から文字認識を行った場合も、誤認識が発
生し、自信度も低下する。尚、文字認識の方向別の自信
度は、複雑な文字であればあるほど、その差が顕著に現
れてくる。

【００４４】図１７（ｃ）に示した認識結果において
は、正方向（０°）における自信度が１番高いため、文
書方向は正方向である可能性が高いと判断される。本実
施形態では、更に文字方向判別の精度を向上させるた
め、同一ブロック内の複数の文字について、同様に４方
向から文字認識を行ってみる。また、１つのブロックの
みで文書方向を判別すると、特殊な文字列により文字方
向を誤って判別してしまう恐れがあるので、複数のブロ
ックについて同様の文字認識を行なう。そして、各ブロ
ックについて、認識対象文字の自信度の平均値を４方向
別に求め、更に、各ブロック毎の平均自信度の平均値を
４方向別に求める。そして、この平均値が最も高い方向
を文字方向（文書方向）として認定する。

【００４５】このように、１文字だけの自信度で文字方
向を認定することなく、同一ブロック内の複数文字、さ
らには複数ブロックの自信度で文字方向を認定すること
により、文字（文書）方向を高精度に判別することが可
能となる。

【００４６】尚、本実施形態において文字方向（文書方
向）の判別結果が正方向以外の方向である場合には、図
１４のステップＳ６に示したように、文字方向が正方向
になるように原画像を回転する。この回転は、図１３に
示すＣＰＵ／メモリ部４０１の制御によって、周知の方
法により簡単に行うことが可能できるため、その詳細な
説明は省略する。 ●領域分離、方向判定、文字認識処理結果以上のような処理により、図１８（ａ）に示す原画像デ
ータ、図１８（ｂ）に示す領域分離データ、図１８
（ｃ）に示す文字認識情報を得ることができる。これら
の情報は、前述したようにコントローラ部１３９のＣＰ
Ｕ２０１へ送られ、各種画像処理、各種制御に供され
る。

【００４７】領域分離データは、図１８（ｂ）に示す形
式で構成される。まず、領域分離データである旨を示す
「header」と、分離した矩形領域毎の識別子「rect1」
〜「rectn」を備える。この識別子で区別された各領域
（ブロック）の情報は、ブロック番号を示す「orde
r」、ブロックの属性（文字部、図形部等）を示す「at
t」、ブロックの左上の座標値「x1」および「y1」、ブ
ロックの幅「w」、ブロックの高さ「h」、縦書き、また
は横書きを示す「direction」、予備領域「reserve」に
より構成されている。

【００４８】また、文字認識情報は、図１８（ｃ）に示
す様に、文字認識情報である旨を示す「header」を有
し、また、例えば「本」等の単一の文字に関する文字認
識情報「ＯＣＲ１」と、当該文字が含まれているブロッ
クを示す上記「rect1」等に相当する「blk-header1」と
の組み合わせ情報を、「ＯＣＲｎ」及び「blk-header
n」まで備える。そして、「ＯＣＲ１」等の各文字認識
情報は、文字であるか或いは空白であるかを示す「typ
e」、前述の文字認識の自信度に従った第１〜第５候補
文字「文字１」〜「文字５」、当該文字の切り出し位置
「x1」および「y1」、当該文字の幅「w」、当該文字の
高さ「h」、予備領域「reserve」により構成されてい
る。

【００４９】尚、図１８に示したデータ構成は一例に過
ぎず、処理結果の使用目的に応じて、適宜変更が可能で
あることは言うまでもない。

【００５０】上記領域分離データや文字認識情報は、画
像処理装置本体を制御するコントローラ部１３９のＣＰ
Ｕ２０１に通知される。これにより、画像処理部２０６
において画像メモリ３１１に一時格納された画像データ
は、メモリ制御部３１０により画像の回転制御等が施さ
れた後、画像が用紙に印刷されて、排紙される。

【００５１】以上説明したように本実施形態によれば、
カラー原稿に対して、その文書方向判定に大きく寄与す
る黒文字を高精度に判定、抽出することにより、白黒原
稿のみでなく、カラー原稿についても文書方向の判別精
度が向上する。

【００５２】尚、本実施形態においては、複数文字、又
は複数ブロックにおける文字認識結果に基づいて文書方
向判別を行なう例について説明したが、黒文字判定の精
度を高めたことにより、特にカラー原稿に対しては例え
ば１文字のみ、又は同一ブロック内の複数文字の自信度
のみにより文字方向を判別したとしても、高精度な文書
方向判別が可能である。

【００５３】また、画像処理装置として黒単色による印
刷を行なう構成を例として説明を行なったが、もちろん
ＹＭＣＫのフルカラー印刷が可能な装置に対して本発明
を適用することも可能である。また、文書方向判定を確
実に行なうことが本発明の目的であるから、カラー画像
データを入力して文字認識処理を行なう装置等であれ
ば、例えばネットワークにより接続された他の機器から
転送されてきたカラー画像データに対して文字認識処理
を行なうコンピュータシステム対しても、本発明は適用
可能である。

【００５４】＜本実施形態の変形例＞以下、上述した第
１実施形態の変形例について説明する。

【００５５】上述した第１実施形態では、図１４のステ
ップＳ２において黒文字判定データに基づいて黒文字と
判定されたデータのみを抽出し、該黒文字データに対し
て画像の文書方向判定を行なう例について説明した。

【００５６】そこで、本変形例においては、第１実施形
態で説明した文書方向判定処理を行なった結果、即ち図
１４のステップＳ９で得られる処理結果における自信度
が所定値よりも低い場合には、原稿中に黒文字部分が少
ないとみなす。そして、その場合には再度原稿を読み取
るか、図１３に示すＣＰＵ／メモリ部４０１に蓄積され
た画像を再度読み出して、再度領域分離部４０３に入力
して、領域分離処理を行なう。この領域分離処理におい
ては、黒文字判定データを参照しない。即ち、図１４の
ステップＳ２の処理をスキップして、ステップＳ３から
やり直し、以下ステップＳ９までの、従来通りの処理を
行なう。

【００５７】そして、再度得られた処理結果の自信度
と、以前に判定された自信度とを比較し、その高い方を
選択する。

【００５８】このように、原稿画像の文書方向判別を行
なう際に、カラー原稿の方向判定に大きく寄与する黒文
字における方向判別結果を優先とし、方向判別の自信度
が小さければ更に従来通りの方向判別処理を行なうこと
により、カラー原稿に対する文書方向判別の精度をより
向上させることができる。

【００５９】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ，インタフェイス機
器，リーダ，プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機，ファクシミリ装置など）に適用してもよい。

【００６０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００６１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００６２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００６３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００６４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００６５】

【発明の効果】以上説明したように本発明によれば、原
稿画像の文書方向判別を行なう際に、カラー原稿の方向
判定に大きく寄与する黒文字の方向判別を優先とするこ
とにより、カラー原稿に対する文書方向判別の精度を向
上させることができる。従って、それに伴い文字認識の
精度を向上させることができる。

【００６６】

【図面の簡単な説明】

【図１】本発明に係る一実施形態における画像処理装置
の側断面図である。

【図２】コントローラ１３９の詳細構成を示すブロック
図である。

【図３】画像処理部２０６の詳細構成を示すブロック図
である。

【図４】判別データ生成部３０２の詳細構成を示すブロ
ック図である。

【図５】黒除去回路１１４の詳細構成を示すブロック図
である。

【図６】下地判定回路１１９の詳細構成を示すブロック
図である。

【図７】エッジ検出回路１１５の詳細構成を示すブロッ
ク図である。

【図８】エッジ検出回路１１５における動作を示すタイ
ミングチャートである。

【図９】判定回路１２０の詳細構成を示すブロック図で
ある。

【図１０】判定回路１２１の詳細構成を示すブロック図
である。

【図１１】彩度判定回路１１６の詳細構成を示すブロッ
ク図である。

【図１２】彩度信号Ｃｒの特性を示す図である。

【図１３】文書方向判別部３０３の詳細構成を示すブロ
ック図である。

【図１４】文書方向判別、文字認識処理を示すフローチ
ャートである。

【図１５】文書方向判別における領域分離状態を示す図
である。

【図１６】文字認識処理の処理過程を説明するための図
である。

【図１７】文書方向判別処理を説明するための図であ
る。

【図１８】領域分離および文字認識情報のデータ形式を
示す図である。

【符号の説明】

３０２判別データ生成部３０３文書方向判別部３０４白黒画像生成部４０１ＣＰＵ／メモリ部４０２文字認識／方向判別部４０３領域分部４０７文字認識辞書１０００遅延回路１１１４黒除去回路１１１５エッジ検出回路１１１６彩度判定回路１１１７孤立点除去処理回路１１１８平滑化処理回路１１１９下地判定回路１１２０，１１２１エッジ判定回路１１２２セレクタ１１２３ＡＮＤゲート

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 1/40 Ｆ

Claims

【特許請求の範囲】

【請求項１】画像データを入力する画像入力手段と、前記画像データから黒エッジ部を検出する黒エッジ検出
手段と、前記黒エッジ検出手段により黒エッジが検出された前記
画像データに基づいて画像の文書方向を判別する文書方
向判別手段と、を有することを特徴とする画像処理装
置。
【請求項２】前記画像入力手段はカラー画像データを
入力することを特徴とする請求項１記載の画像処理装
置。
【請求項３】更に、前記カラー画像データから白黒画
像データを生成する白黒画像生成手段を有し、前記文書方向判別手段は、前記黒エッジ検出手段による
検出結果及び前記白黒画像データに基づいて画像の文書
方向を判別することを特徴とする請求項２記載の画像処
理装置。
【請求項４】前記黒エッジ検出手段は、前記画像データに対して画像領域であるか否かを判定す
る画像領域判定手段と、前記画像データのエッジ部を検出するエッジ検出手段
と、前記画像データに対して彩度判定を行なう彩度判定手段
と、を有し、前記画像領域判定手段による判定結果及び前記エッジ検
出手段による検出結果に応じてノイズ除去及び強調され
たエッジ部を抽出し、該抽出されたエッジ部のうち前記
彩度判定手段において無彩色であると判定された画像デ
ータを、黒エッジとして検出することを特徴とする請求
項３記載の画像処理装置。
【請求項５】前記黒エッジ検出手段は、前記エッジ検
出手段により検出されたエッジ部のうち、前記画像領域
判定手段により画像領域であると判定されたものについ
てはノイズ除去を、非画像領域であると判定されたもの
についてはエッジ強調を行なうことを特徴とする請求項
４記載の画像処理装置。
【請求項６】前記非画像領域は下地領域であることを
特徴とする請求項５記載の画像処理装置。
【請求項７】更に、前記文書方向判別手段により判別
された文書方向が所定方向でない場合、所定方向になる
ように画像を回転する回転手段を有することを特徴とす
る請求項１記載の画像処理装置。
【請求項８】更に、前記画像入力手段により入力され
た画像データを一時保持するメモリを有し、前記回転手段は、前記画像データの前記メモリからの読
み出しアドレスを制御することにより、画像を回転する
ことを特徴とする請求項７記載の画像処理装置。
【請求項９】前記文書方向判別手段は、文字認識辞書を保持する辞書保持手段と、前記画像データから文字領域を抽出する抽出手段と、前記抽出された文字領域に対して前記文字認識辞書を参
照して文字認識を行なうことにより文字方向判定を行な
う文字方向判定手段と、を有し、前記文字方向判定手段において判定された文字方向によ
り、画像の文書方向を判別することを特徴とする請求項
１乃至８のいずれかに記載の画像処理装置。
【請求項１０】前記文書方向判別手段は、複数方向に
おける文字認識の精度に基づいて文書方向判別を行なう
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】前記文書方向判別手段は、前記文字認
識の精度が最高である方向を文書方向であると判別する
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】前記文書方向判別手段は、０°，９０
°，１８０°，２７０°の各方向のうち、文字認識の精
度が最高である方向を文書方向であると判別することを
特徴とする請求項１１記載の画像処理装置。
【請求項１３】画像データを入力する画像入力工程
と、前記画像データから黒エッジ部を検出する黒エッジ検出
工程と、前記黒エッジ検出工程において黒エッジが検出された前
記画像データに基づいて画像の文書方向を判別する文書
方向判別工程と、を有することを特徴とする画像処理方
法。
【請求項１４】前記文書方向判別工程は、前記画像データを属性毎の領域に分離する領域分離工程
と、前記分離された領域から文字領域を抽出する抽出工程
と、前記抽出された文字領域に対して文字方向判定を行なう
文字方向判定工程と、を有し、前記文字方向判定工程において判定された文字方向によ
り、画像の文書方向を判別することを特徴とする請求項
１３記載の画像処理方法。
【請求項１５】更に、前記文書方向判別工程において
判別された文書方向が所定方向でない場合、所定方向に
なるように画像を回転する回転工程を有することを特徴
とする請求項１４記載の画像処理方法。
【請求項１６】前記文書方向判別工程においては、前
記文字方向判定工程における文字方向判定の自信度が所
定値以下である場合に、前記画像データの全てに基づい
て画像の文書方向を判別することを特徴とする請求項１
４記載の画像処理方法。
【請求項１７】画像処理のプログラムコードが格納さ
れたコンピュータ可読メモリであって、画像データを入力する画像入力工程のコードと、前記画像データから黒エッジ部を検出する黒エッジ検出
工程のコードと、前記黒エッジ検出工程において黒エッジが検出された前
記画像データに基づいて画像の文書方向を判別する文書
方向判別工程のコードと、を有することを特徴とするコ
ンピュータ可読メモリ。