JP4420877B2 - 画像処理方法、画像処理装置、及び画像出力装置 - Google Patents

Description

本発明は、画像に含まれる文字又は図形が手書きにより作成されたものであるか否かを判定する画像処理方法、判定に応じた処理を画像に施す画像処理装置、処理された画像を出力する画像出力装置に関する。

原稿の画像を光学的に読取り、読取った画像に含まれる手書き文字と印刷文字とを区別して抽出する手法が知られている（例えば、特許文献１〜特許文献５）。例えば、特許文献１では、ストロークの太さ、直線性、角度を抽出することにより手書き文字であるか否かの判定を行っている。また、特許文献２及び特許文献３では、二値化したデータの形や大きさ、直線性を利用して手書き文字を判断している。また、特許文献４でも二値化したデータの直線性を利用して手書き文字を判断している。さらに、特許文献５では、画像データを二値化してそのパターンを利用する方法で手書き文字を判断している。
特開平１０−１６２１０２号公報 特開平１１−２６５４２４号公報 特開平５−１８９６０４号公報 特開平７−９３４６６号公報 特開平４−１９０４７３号公報

しかしながら、特許文献１に記載されている手法では、文字のストローク、直線性、角度を抽出する必要があるため、判定対象の文字はある程度の大きさが必要となる。すなわち、判定対象の文字が小さい場合には判定精度が低下する虞があるという問題点を有している。また、近年では印刷文字に使用するフォントが多様化しており、手書き風のフォントも存在する。このようなフォントを使用している場合、従来の手法では手書き文字であると判定される可能性が高く、判定精度の低下を招くという問題点を有している。

また、特許文献２〜特許文献５に記載された手法では、何れも二値化を行う必要があるため、処理時間が増大するという問題点を有している。また、二値化処理を行うためにハードウェアを追加する必要があり、製造コストが増大するという問題点を有している。

本発明は斯かる事情に鑑みてなされたものであり、判定対象となる文字又は図形のエッジの特徴に基づいて前記文字又は図形が手書きにより作成されたものか否かを判定する構成とすることにより、判定対象の文字種、大きさ等に依存することなく、高速に手書き判定を行うことが可能な画像処理方法、画像処理装置、及び画像出力装置を提供することを目的とする。

本発明に係る画像処理方法は、手書きにより作成された文字又は図形を一部に含む画像を取込み、取込んだ画像に含まれる文字又は図形について手書きにより作成されたものであるか否かを判定し、判定結果に応じた画像処理を前記文字又は図形に施す画像処理方法において、前記画像内に存在するエッジの特徴としてエッジに交叉する方向の濃度勾配の大きさを算出し、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムについて濃度勾配の大きさが大きい領域に存在する第１の分布と濃度勾配の大きさが小さい領域に存在する第２の分布とを分離するために、濃度勾配の大きさに関して互いに重なりを持たない２つの範囲を設定し、前記第１の分布に対応する範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きでない文字又は図形と判定し、前記第２の分布に対応した範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きにより作成された文字又は図形と判定し、手書きでないと判定された文字又は図形、及び手書きにより作成された文字又は図形のそれぞれに個別の画像処理を施すことを特徴とする。

本発明にあっては、判定対象の文字又は図形から抽出したエッジの特徴に基づいて手書きにより作成されたものであるか否かを判定するようにしている。エッジの特徴を抽出する場合、必ずしも従来のように二値化を行う必要はなく、処理時間の短縮化が図れる。

本発明にあっては、エッジに交叉する方向の濃度勾配の大きさをエッジの特徴として抽出するようにしている。したがって、隣り合う画素間の濃度差を順次的に求めてゆくことによりエッジ部分の濃度勾配の大きさが求まり、簡易な演算によってエッジの特徴が抽出される。

本発明にあっては、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムに基づいて判定対象の文字又は図形が手書きにより作成されたものであるか否かを判定するようにしているため、取込んだ画像の種類に応じた判定が可能となる。

本発明に係る画像処理装置は、手書きにより作成された文字又は図形を一部に含む画像を取込み、取込んだ画像に含まれる文字又は図形について手書きにより作成されたものであるか否かを判定し、判定結果に応じた画像処理を前記文字又は図形に施す画像処理装置において、前記画像内に存在するエッジの特徴としてエッジに交叉する方向の濃度勾配の大きさを算出する手段と、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムについて濃度勾配の大きさが大きい領域に存在する第１の分布と濃度勾配の大きさが小さい領域に存在する第２の分布とを分離するために、濃度勾配の大きさに関して互いに重なりを持たない２つの範囲を設定する手段と、前記第１の分布に対応する範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きでない文字又は図形と判定し、前記第２の分布に対応した範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きにより作成された文字又は図形と判定する手段と、手書きでないと判定された文字又は図形、及び手書きにより作成された文字又は図形のそれぞれに個別の画像処理を施す手段とを備えることを特徴とする。

本発明にあっては、判定対象の文字又は図形から抽出したエッジの特徴に基づいて手書きにより作成されたものであるか否かを判定するようにしている。エッジの特徴を抽出する場合、必ずしも従来のように二値化を行う必要はないため、ハードウェア構成の簡略化が可能となるとともに、処理時間の短縮化が図れる。

本発明にあっては、エッジに交叉する方向の濃度勾配の大きさをエッジの特徴として抽出するようにしている。したがって、隣り合う画素間の濃度差を順次的に求めてゆくことによりエッジ部分の濃度勾配の大きさが求まり、簡易な演算によってエッジの特徴が抽出される。

本発明にあっては、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムに基づいて判定対象の文字又は図形が手書きにより作成されたものであるか否かを判定するようにしているため、取込んだ画像の種類に応じた判定が可能となる。

本発明に係る画像処理装置は、手書きにより作成された文字又は図形でないと判定した文字又は図形に対してエッジ強調処理を施す手段を備えることを特徴とする。

本発明にあっては、手書きにより作成された文字又は図形でないと判定した場合、エッジ強調処理を施すようにしているため、活字のような印刷文字の部分が読みやすくなる。

本発明に係る画像処理装置は、手書きにより作成された文字又は図形であると判定した文字又は図形の画素値を変更する手段を備えることを特徴とする。

本発明にあっては、手書きにより作成された文字又は図形であると判定した場合、判定した文字又は図形の画素値を変更するようにしているため、例えば、画像の背景部分と同じ色の画素値に変更することで手書き部分を消去することができる。また、背景部分と全く異なる色の画素値に変更することで手書き部分を強調することができる。

本発明に係る画像処理装置は、判定対象が手書きにより作成されたものであると判定した場合、前記判定対象について文字認識を行う文字認識手段と、前記判定対象を前記文字認識手段により認識した文字により置き換える手段とを備えることを特徴とする。

本発明にあっては、判定対象が手書きにより作成されていると判定した場合、文字認識を行い、認識された文字により判定対象を置き換えるようにしているため、手書き文字等が活字により置き換えられる。

本発明に係る画像出力装置は、前述した発明の何れか１つに記載の画像処理装置と、該画像処理装置により処理された画像を出力する出力手段とを備えることを特徴とする。

本発明にあっては、処理された画像を出力する出力手段を備えているため、スキャナ装置、プリンタ装置、デジタル複合機等への適用が可能となる。

本発明による場合は、判定対象の文字又は図形から抽出したエッジの特徴に基づいて手書きにより作成されたものであるか否かを判定するようにしている。したがって、エッジの特徴を抽出する際、必ずしも従来のように二値化を行う必要はなく、処理時間の短縮化を図ることができる。また、ハードウェア構成の簡略化が可能となるため、装置の製造コストを低く抑えつつ手書き判定を行うことが可能となる。

本発明による場合は、エッジに交叉する方向の濃度勾配の大きさをエッジの特徴として抽出するようにしている。したがって、隣り合う画素間の濃度差を順次的に求めてゆくことによりエッジ部分の濃度勾配の大きさを求めることができ、簡易な演算によってエッジの特徴を抽出することができる。また、エッジの濃度勾配を用いる本発明では、印刷文字が手書き文字より薄い原稿の画像であっても判定を行うことができる。また、ストロークの太さ、直線性、角度などの文字の特徴量を抽出する従来の手法と異なって比較的小さな文字についても判定が可能であり、判定精度を高めることが可能となる。

本発明による場合は、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムに基づいて判定対象の文字又は図形が手書きにより作成されたものであるか否かを判定するようにしている。したがって、取込んだ画像の種類に応じた判定が可能となる。例えば、活字が主体の原稿に手書きによる落書きが施されている場合、活字部分のエッジを抽出する回数が多くなり、手書き部分のエッジを抽出する回数が少なくなる。このような情報を判定条件に取込むことによって判定精度を高めることができる。

本発明による場合は、手書きにより作成された文字又は図形でないと判定した場合、エッジ強調処理を施すようにしているため、活字のような印刷文字の部分が読み易くなる。

本発明による場合は、手書きにより作成された文字又は図形であると判定した場合、判定した文字又は図形の画素値を変更するようにしている。例えば、画像の背景部分と同じ色の画素値に変更することで手書き部分を消去することができる。また、背景部分と全く異なる色の画素値に変更することで手書き部分を強調することができる。

本発明による場合は、判定対象が手書きにより作成されていると判定した場合、文字認識を行い、認識された文字により判定対象を置き換えるようにしているため、手書き文字等を活字に置き換えることができる。

本発明による場合は、処理された画像を出力する出力手段を備えているため、スキャナ装置、プリンタ装置、デジタル複合機等への適用が可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本発明に係る画像出力装置の内部構成を説明するブロック図である。本発明に係る画像出力装置は、制御部１、画像入力部２、画像処理部３、画像出力部４、記憶部５、操作部６等のハードウェアを備えている。制御部１は、これらのハードウェアを制御するＣＰＵと、制御の際に必要なデータ等を一時的に保持するＲＡＭとにより構成されている。記憶部５は、例えば、不揮発性の半導体メモリであり、ハードウェア各部を制御するための制御プログラム、本発明に係る画像判定方法を実現するための判定プログラム等を予め記憶している。制御部１は必要に応じて記憶部５から制御プログラム、判定プログラム等をロードし、ロードした制御プログラム、判定プログラム等を実行することにより、装置全体を本発明に係る画像出力装置として動作させる。また、操作部６は、利用者からの操作指示を受付けるための各種操作ボタンを備えている。

画像入力部２は、原稿の画像を光学的に読取る読取手段であり、読取用の原稿に光を照射する光源、ＣＣＤ（Charge Coupled Device）のようなイメージセンサ等を備えている。画像入力部２では、所定の読取り位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログ電気信号を出力する。画像入力部２が出力したアナログ電気信号は画像処理部３に入力される。

画像処理部３は、画像入力部２を通じて入力されるアナログ電気信号を基にデジタル形式の画像データを生成し、画像の種類に応じた処理を施した後、出力用の画像データを生成する。生成した画像データは画像出力部４に出力される。本実施の形態において画像処理部３は、入力された画像に含まれる文字又は図形が手書きにより作成されたものであるか否かを判定し、判定結果に応じた画像処理を行う。

例えば、手書きにより作成された文字又は図形であると判定した場合、その文字又は図形を消去することによって落書き等を消去することができ、活字等が含まれる領域のみを残すことができる。また、手書きにより作成された文字又は図形であると判定した場合、その文字又は図形を構成する画素の画素値を変更することより、手書きによる部分を強調することもできる。更に、手書きにより作成されていると判定した場合、文字認識を行い、認識された文字で置換することにより、手書き文字を活字に置き換えることも可能である。一方、手書きにより作成された文字又は図形でないと判定した場合、その文字又は図形に対してエッジ強調処理を施し、出力画像を見やすくすることができる。

なお、手書きにより作成された文字又は図形を以下では総称して手書き画像といい、活字、ベクトル画像等の手書きでない文字又は図形を以下では総称して非手書き画像という。

画像出力部４は、画像処理部３から出力される画像データに基づいて用紙、ＯＨＰフィルム等のシート上に画像形成を行う。そのため、画像出力部４は、感光体ドラム、該感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等（不図示）を備えており、電子写真方式にて利用者が所望する画像をシート上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。

なお、本実施の形態では、画像入力部２を原稿の画像を光学的に読取る読取手段として構成し、画像出力部４をシート上に画像を形成する画像形成手段として構成したが、画像入力部２を外部から画像データを受信する受信手段、画像出力部４を画像処理部３にて処理した後の画像データを外部へ送信する送信手段として構成するようにしてもよい。

以下、画像処理部３における処理を具体的に説明する。
図２は画像処理部３が処理する画像の一例を示す模式図である。図２に示した画像には、手書き画像として「らくがき」と描かれた手書き文字が含まれており、非手書き画像として複数行に亘って形成された活字が含まれている。このように、活字を主体とした原稿に手書き文字が加わっている場合、画像全体に手書き画像が占める割合と非手書き画像が占める割合との間に大きな差が生じる。したがって、このような特徴は手書き画像と非手書き画像とを区別して抽出するための１つの判定基準となり得る。

更に、手書き画像と非手書き画像とを比較した場合、エッジの濃度勾配に大きな差が見られる。ここで、エッジの濃度勾配とは、エッジと交叉する方向にスキャンしたときの濃度変化の度合いを表す。図３は非手書き画像及び手書き画像に見られるエッジを説明する説明図である。図３（ａ）は非手書き画像についての説明図であり、非手書き画像の一例として活字の「２」が形成されている。この画像上を図に示した矢符の方向にスキャンして濃度変化を調べた場合、右側に示したような濃度変化を示すグラフが得られる。すなわち、横軸に画像上の距離をとり、縦軸に濃度をとった場合、スキャンの開始点では活字部分から外れているため濃度が低く、活字のエッジ部分に差し掛かると濃度が急激に高くなる。活字部分では濃度が高い状態に保たれるが、エッジの逆側の部分に差し掛かると濃度が急激に低くなる。このように、活字などの非手書き画像は濃度に関して急峻なエッジを持つことを特徴としている。

一方、図３（ｂ）は手書き画像についての説明図であり、手書き画像の一例として「ら」の文字が描かれている。この画像上を図に示した矢符の方向にスキャンして濃度変化を調べた場合、非手書き画像の場合と同様の濃度変化を示すグラフが得られる。手書き画像のエッジ部分にて濃度変化が見られることは非手書き画像の場合と同様であるが、非手書き画像の場合と比較して濃度変化が比較的緩やかになっていることが分かる。

本実施の形態では、このようなエッジ部分の濃度変化の度合いを定量的に扱うために以下で説明する濃度勾配を導入する。図４は濃度勾配の定義を説明する説明図である。エッジの開始点の座標（画素）をｘ_a 、エッジの終了点の座標（画素）をｘ_b とし、この２点間の濃度差をｆ_Dとした場合、濃度勾配Ｇはｆ_D ／｜ｘ_a −ｘ_b ｜により定義することができる。濃度勾配Ｇの算出手法は後に詳述することとするが、エッジの開始点及びその開始点での濃度、並びにエッジの終点及びその終点での濃度を検出することによって算出することができるため、非常に簡易な演算によりエッジの特徴を抽出することが可能となる。

また、濃度勾配として以下で説明するアキュータンスを導入してもよい。図５はアキュータンスの定義を説明する説明図である。アキュータンスは濃度平均の２乗平均をエッジの濃淡で正規化した値をいい、図５に表した数式により定義することができる。ここで、ｎはエッジを構成する座標（画素）の数であり、Δｘは隣接する座標間の距離、Δｆ_i は隣接する座標間の濃度差を示している。前述した濃度勾配Ｇの算出手法と比較すると若干手続きが複雑になるが、このようなアキュータンスに基づいて判定を行うことも可能である。

図６は画像処理部３の内部構成を示すブロック図である。画像処理部３は、入力バッファ３１、エッジ解析処理部３２、領域判定部３３、手書き画像処理部３４、非手書き画像処理部３５、画像合成部３６、出力バッファ３７を備えている。

入力バッファ３１は、画像入力部２から出力される画像データを一時的に保持する。入力バッファ３１に保持された画像データはエッジ解析処理部３２及び画像合成部３６へ送出される。エッジ解析処理部３２は入力された画像データのエッジ解析を行う。すなわち、エッジ解析処理部３２は、入力された画像データを基に画像全体をスキャンし、画像に含まれる文字、図形についてエッジの濃度勾配を順次抽出する。

領域判定部３３では、エッジ解析処理部３２での解析結果を基に抽出したエッジで囲まれる領域が手書き画像によるものか、又は非手書き画像によるものかの判定を行う。手書き画像に関しては手書き画像処理部３４にて適宜の処理が施され、画像合成部３６へ送出される。また、非手書き画像に関しては非手書き画像処理部３５にて適宜の処理が施され、画像合成部３６へ送出される。画像合成部３６は、手書き画像処理部３４及び非手書き画像処理部３５で処理された画像を元の画像にインポーズすることによって画像合成を行う。画像合成により得られた画像データは出力バッファ３７に送出され、出力バッファ３７に保持される。

以下、画像出力装置が実行する処理の手順について説明する。
図７は画像出力装置が実行する処理の手順を説明するフローチャートである。画像出力装置は、まず、画像入力部２により原稿の読取りを行う（ステップＳ１１）。原稿を読取ることにより取得した画像は画像処理部３へ出力され、画像処理部３の入力バッファ３１に記憶される（ステップＳ１２）。

次いで、画像処理部３は、入力バッファ３１に記憶した画像の全体をスキャンするために開始点を設定する（ステップＳ１３）。例えば、画像の左上隅の画素を開始点として設定することができる。そして、設定した開始点から隣接する画素を順次的にスキャンしてゆき、エッジ解析処理を実行する（ステップＳ１４）。

図８はエッジ解析処理の処理手順を説明するフローチャートである。エッジ解析処理を実行するにあたり、まず、画像処理部３は図に示していないカウンタの値をｉ＝１にセットし（ステップＳ２１）、隣り合う２つの画素の間の濃度差Δｆ_i ＝｜ｆ（ｘ_i+1 ）−ｆ（ｘ_i ）｜を算出する（ステップＳ２２）。ここで、ｘ_i ，ｘ_i+1 はそれぞれｉ番目、ｉ＋１番目の画素を表し、ｆ（ｘ_i ），ｆ（ｘ_i+1 ）はそれぞれ画素ｘ_i ，ｘ_i+1 の濃度を表している。

次いで、画像処理部３は算出した濃度差Δｆ_i がΔｆ_i ＞ε１の条件を満たすか否かを判断する（ステップＳ２３）。ここで、ε１は定数であり、エッジの立ち上がり（又は立ち下がり）の開始点を検出するために適切な値が設定されている。ε１を適切な値に設定することにより、画像のノイズ等の検出を防止することができる。算出した濃度差Δｆ_i の値がε１以下であると判断した場合（Ｓ２３：ＮＯ）、画像処理部３はカウンタの値ｉをインクリメントし（ステップＳ２４）、解析中の画素が終点であるか否かを判断する（ステップＳ２５）。終点であるか否かの判断は、例えば、解析中の画素が画像の右端の画素に相当するか否かを判断することによって行う。終点であると判断した場合（Ｓ２５：ＹＥＳ）、本フローチャートによる処理を終了して、図７に示すフローチャートへ処理を戻す。また、終点でないと判断した場合（Ｓ２５：ＮＯ）、画像処理部３は処理をステップＳ２２へ戻す。

ステップＳ２２で算出した濃度差Δｆ_i がε１より大きいと判断した場合（Ｓ２３：ＹＥＳ）、エッジの立ち上がり（又は立ち下がり）の開始点であると判断し、そのときの画素ｘ_i 、及び濃度ｆ（ｘ_i ）の値をそれぞれｘ_a ，ｆ_a に代入して保持する（ステップＳ２６）。

次いで、画像処理部３はカウンタの値ｉをインクリメントし（ステップＳ２７）、隣り合う２つの画素の間の濃度差Δｆ_i ＝｜ｆ（ｘ_i+1 ）−ｆ（ｘ_i ）｜を算出する（ステップＳ２８）。そして、画像処理部３はエッジの立ち上がり（又は立ち下がり）の終了点であるか否かを判断するために、算出した濃度差Δｆ_i がΔｆ_i ＜ε２の条件を満たすか否かを判断する（ステップＳ２９）。ここで、ε２は定数であり、エッジの立ち上がり（又は立ち下がり）の終了点を検出するために適切な値が設定されている。

算出した濃度差Δｆ_i の値がε２より小さいと判断した場合（Ｓ２９：ＹＥＳ）、エッジの立ち上がり（又は立ち下がり）の終了点であると判断し、そのときの画素ｘ_i ，及び濃度ｆ（ｘ_i ）の値をそれぞれｘ_b ，ｆ_b に代入して保持する（ステップＳ３５）。そして、画像処理部３は、ステップＳ２６で保持した値ｘ_a ，ｆ_a 及びステップＳ３５で保持した値ｘ_b ，ｆ_b を使用して濃度勾配Ｇ＝｜（ｆ_b −ｆ_a ）／（ｘ_b −ｘ_a ）｜を算出し（ステップＳ３６）、算出した濃度勾配Ｇの値を記憶する（ステップＳ３７）。

次いで、画像処理部３は解析中の画素が終点であるか否かを判断する（ステップＳ３８）。終点であるか否かの判断は、例えば、解析中の画素が画像の右端の画素に相当するか否かを判断することによって行う。終点であると判断した場合（Ｓ３８：ＹＥＳ）、本フローチャートによる処理を終了して、図７に示すフローチャートへ処理を戻す。また、終点でないと判断した場合（Ｓ３８：ＮＯ）、画像処理部３は、カウンタの値ｉをインクリメントした上で（ステップＳ３９）、処理をステップＳ２２へ戻す。

一方、ステップＳ２８で算出した濃度差Δｆ_i がε２以上であると判断した場合（Ｓ２９：ＮＯ）、カウンタの値ｉをインクリメントし（ステップＳ３０）、画像処理部３は解析中の画素が終点であるか否かを判断する（ステップＳ３１）。終点であるか否かの判断は、例えば、解析中の画素が画像の右端の画素に相当するか否かを判断することによって行う。終点でないと判断した場合（Ｓ３１：ＮＯ）、すなわち、解析中の画素がエッジの立ち上がり（又は立ち下がり）の中途に位置し、解析を続行すべしと判断した場合、画像処理部３は、処理をステップＳ２８へ戻す。また、終点であると判断した場合（Ｓ３１：ＹＥＳ）、すなわち、エッジの立ち上がり（又は立ち下がり）の中途にて終点となった場合、画像処理部３は、そのときの画素ｘ_i 、及び濃度ｆ（ｘ_i ）の値をそれぞれｘ_b ，ｆ_b に代入して保持する（ステップＳ３２）。そして、ステップＳ２６で保持した値ｘ_a，ｆ_a 及びステップＳ３２で保持した値ｘ_b ，ｆ_b を使用して濃度勾配Ｇ＝｜（ｆ_b −ｆ_a ）／（ｘ_b −ｘ_a ）｜を算出し（ステップＳ３３）、算出した濃度勾配Ｇの値を記憶する（ステップＳ３４）。濃度勾配Ｇの値を記憶した後、画像処理部３は、図７に示すフローチャートへ処理を戻す。

図９及び図１０は濃度勾配Ｇの算出例を説明する説明図である。画像上をスキャンしたときに、図９（ａ）に示したような濃度分布が得られ、各画素ｘ_i における濃度ｆ（ｘ_i ）が図９（ｂ）に示した値となった場合について説明する。ε１＝ε２＝５に設定した場合、この領域においてｘ_i ＝１０がエッジの開始点となり、ｘ_i ＝１４がエッジの終了点となることが分かる。開始点の画素ｘ_a の濃度が２０であり、終了点の画素ｘ_b の濃度が１１８であることから、濃度勾配Ｇの大きさは、（１１８−２０）／（１４−１０）≒２５となる。

同様に、画像上をスキャンしたときに図１０（ａ）に示したような濃度分布が得られ、各画素ｘ_i における濃度ｆ（ｘ_i ）が図１０（ｂ）に示した値となった場合について説明する。前述と同様にε１＝ε２＝５に設定した場合、この領域においてｘ_i ＝１１がエッジの開始点となり、ｘ_i ＝１５がエッジの終了点となることが分かる。したがって、開始点の画素ｘ_a の濃度が２４であり、終了点の画素ｘ_b の濃度が２０３であることから、濃度勾配Ｇの大きさは、（２０３−２４）／（１５−１１）≒４５となる。

図７に示すフローチャートのステップＳ１４でエッジ解析処理を行った後、画像処理部３は画像全体についてエッジの解析が終了したか否かを判断する（ステップＳ１５）。画像の左上隅を開始点として設定して解析を行った場合、画像の右下隅を解析の終了点とすることができ、解析中の画素が画像の右下隅に対応しているか否かを判断することによって画像全体の解析が終了したか否かを判断することができる。解析が終了していないと判断した場合（Ｓ１５：ＮＯ）、処理をステップＳ１３へ戻し、開始点を次の解析位置に設定してエッジ解析処理（Ｓ１４）を続行する。

画像全体について解析が終了したと判断した場合（Ｓ１５：ＹＥＳ）、画像処理部３は、エッジ解析処理で抽出した濃度勾配の大きさについてヒストグラムを作成する（ステップＳ１６）。図１１は作成するヒストグラムの一例を示す模式図である。横軸は濃度勾配の大きさを表し、縦軸は各濃度勾配の大きさに対する出現頻度を表している。部分的に落書きが施された原稿の画像を取り込んでエッジ解析処理を行い、ヒストグラムを作成した場合、図１１に示したように、濃度勾配の大きさが比較的小さな所に出現頻度のピークを持つ第１の分布と、濃度勾配の大きさが比較的大きな所に出現頻度のピークを持つ第２の分布とからなるヒストグラムが得られる。すなわち、落書き等の手書き部分と活字との間にはエッジの濃度勾配の大きさに違いが見られること、また、落書きが原稿の一部に存在する場合には落書きを構成するエッジの割合が小さくなることを考慮した場合、前述の第１の分布は手書き部分のエッジを検出を検出することによって得られる分布であると判断することができ、第２の分布は活字部分のエッジを検出することによって得られる分布であると判断することができる。

したがって、作成したヒストグラムに基づいて濃度勾配の範囲を設定し（ステップＳ１７）、設定した範囲内の濃度勾配を持つエッジを抽出することにより（ステップＳ１８）、手書き画像のエッジ及び非手書き画像のエッジを区別して抽出することが可能となる。図１１に示した例では、例えば、濃度勾配の大きさが３５から６０までの範囲にあるエッジを抽出することによって非手書き画像のエッジを抽出することができ、濃度勾配の大きさが１０から３２までの範囲にあるエッジを抽出することによって手書き画像のエッジを抽出することができる。図１２はエッジの抽出結果を模式的に示した説明図である。図１２（ａ）に示した図形のエッジを解析した結果、図１２（ｂ）に示したような濃度勾配の大きさを持つエッジを抽出した場合、このエッジは非手書き画像のエッジであると判断することができる。一方、図１２（ｃ）に示した図形のエッジを解析した結果、図１２（ｄ）に示したような濃度勾配の大きさを持つエッジを抽出した場合、このエッジは手書き画像のエッジであると判断することができる。

次いで、画像処理部３は抽出したエッジで囲まれる領域に対して所定の処理を実行する（ステップＳ１９）。例えば、手書き画像であると判定されている領域については、領域内の画素の画素値を背景の色に対応した画素値に変更することにより手書き画像を消去することができる。また、非手書き画像であると判定されている領域については、エッジ強調処理を施すことにより出力画像を見やすくすることができる。図１３は図２に示した画像からエッジを抽出した画像の模式図を示し、図１４は判定結果に基づいて画像処理を施した画像の模式図を示している。
なお、手書きであるか否かの判定処理を行った後に画像処理部３が実行する処理は、装置内で予め定めておく構成であってもよく、また、操作部６を通じてユーザに選択させる構成であってもよい。

制御部１は、画像処理部３にて処理された画像データを出力バッファ３７から取り出し、画像出力部４へ転送し、出力処理を実行する（ステップＳ２０）。

実施の形態２．
実施の形態１では画像全体を解析し、エッジの濃度勾配の大きさについてヒストグラムを作成することにより手書き画像と非手書き画像とを分離して抽出する構成としたが、濃度勾配の大きさに対して閾値を設定しておき、この閾値よりも小さな濃度勾配を持つエッジを手書き画像のエッジと判断し、閾値よりも大きな濃度勾配を持つエッジを非手書き画像のエッジと判断するようにしてもよい。なお、本実施の形態に係る画像出力装置のハードウェアの構成は実施の形態１に示した画像出力装置と同様である。

図１５は本実施の形態に係る画像出力装置が実行する処理の手順を説明するフローチャートである。画像出力装置は、まず、画像入力部２により原稿の読取りを行う（ステップＳ４１）。原稿を読取ることにより取得した画像は画像処理部３へ出力され、画像処理部３の入力バッファ３１に記憶される（ステップＳ４２）。

次いで、画像処理部３は判定領域を設定する（ステップＳ４３）。ここで判定領域とは、領域内に含まれる文字、図形、又はそれらの一部が手書きにより作成されたものであるか否かを判定する領域をいう。Ｍ×Ｎ画素（Ｍ，Ｎは１以上の整数、ただし、Ｍ＝Ｎ≠１）の領域を判定領域とすることがでる。ここで、Ｍ，Ｎの値は既定値を用いるようにしてもよく、読取った原稿に応じて適切な値を設定するようにしてもよい。

次いで、画像処理部３は設定した判定領域についてエッジ解析処理を行う（ステップＳ４４）。エッジ解析処理の処理手順は実施の形態１で説明したものと全く同様である。エッジ解析処理を行った後、画像処理部３は設定した判定領域が手書き領域であるか否かを判定する（ステップＳ４５）。判定は以下のようにして行う。エッジ解析処理では判定領域に含まれる文字、図形のエッジを抽出し、抽出したエッジの濃度勾配を算出する。手書きにより作成された文字、図形については濃度勾配が比較的緩やかであり、活字等については濃度勾配が比較的急峻であるという性質を持っているため、濃度勾配に対する閾値を設けておくことにより両者を区別することができる。すなわち、エッジ解析処理で解析を行った結果、閾値よりも大きな濃度勾配を持つエッジが判定領域に含まれていると判定できる場合、その判定領域を非手書き領域と判定することができる。また、エッジ解析処理でエッジを抽出した場合であって、しかも閾値より大きな濃度勾配を持つエッジを含んでいない場合、判定領域が手書き領域であると判定することができる。

手書き領域であると判定した場合（Ｓ４５：ＹＥＳ）、画像処理部３は手書き領域に含まれる文字、図形を消去する（ステップＳ４６）。例えば、手書き領域に含まれる文字、図形を構成する画素の画素値を背景に相当する画素値に変更することによってそれらを消去することができる。

手書き領域に含まれる文字、図形を消去した場合（Ｓ４６）、又はステップＳ４５で手書き領域でないと判定した場合（Ｓ４５：ＮＯ）、画像処理部３は画像全体について判定が終了したか否かを判断する（ステップＳ４７）。画像の左上隅から順次的に判定を行い、最終的に画像の右下隅まで判定を行うようにしている場合、ステップＳ４３で設定した判定領域に画像の右下隅の画素が含まれているか否かを判断することによって画像全体について判定が終了したか否かを判断することができる。画像全体について判定が終了していないと判断した場合（Ｓ４７：ＮＯ）、画像処理部３は処理をステップＳ４３へ戻す。また、画像全体について判定が終了したと判断した場合（Ｓ４７：ＹＥＳ）、画像処理部３は処理した画像データを画像出力部４へ出力する。画像出力部４は画像処理部３から出力される画像データに基づいて出力処理を実行する（ステップＳ４８）。

実施の形態３．
実施の形態２では、手書き領域に含まれる文字、図形を消去し、非手書き領域に含まれる文字、図形については処理を加えない構成としたが、領域毎に実行すべき処理をユーザに選択させる構成であってもよい。なお、本実施の形態に係る画像出力装置のハードウェアの構成は実施の形態１に示した画像出力装置と同様である。

図１６は本実施の形態に係る画像出力装置が実行する処理の手順を説明するフローチャートである。画像出力装置は、まず、操作部６を通じて処理内容の設定を受付ける（ステップＳ５１）。例えば、処理内容に対応させた操作ボタンを操作部６に設けておき、この操作ボタンが押下操作されたときに処理内容の設定を受付ける構成としてもよく、操作部６が備える操作ボタンが所定の順序で押下操作されたときに特定の処理内容が設定される構成であってもよい。また、操作部６にタッチパネルを備えた液晶ディスプレイを搭載し、処理内容の設定を受付ける際に設定可能な処理内容を表示させ、タッチパネルを通じて選択を受付けるようにしてもよい。

次いで、画像出力装置は、画像入力部２により原稿の読取りを行い（ステップＳ５２）、取得した画像を画像処理部３の入力バッファ３１に記憶させる（ステップＳ５３）。

次いで、画像処理部３は判定領域を設定し（ステップＳ５４）、設定した判定領域についてエッジ解析処理を行う（ステップＳ５５）。判定領域は、Ｍ×Ｎ画素（Ｍ，Ｎは１以上の整数、ただし、Ｍ＝Ｎ≠１）からなる領域であり、その領域内に含まれる文字、図形、又はそれらの一部が手書きにより作成されたものであるか否かを判定するための領域である。エッジ解析処理は実施の形態１で説明したものと全く同様である。エッジ解析処理を行った後、画像処理部３は設定した判定領域が手書き領域であるか否かを判定する（ステップＳ５６）。判定は実施の形態２と同様にして行うことができる。

手書き領域であると判定した場合（Ｓ５６：ＹＥＳ）、画像処理部３は手書き領域に含まれる文字、図形に対して設定された処理を実行する（ステップＳ５７）。例えば、ステップＳ５１で手書き文字、図形の消去が設定されている場合、手書き領域に含まれる文字、図形を構成する画素値を背景に相当する画素値に変更することによってそれらを消去する。

一方、手書き領域でないと判定した場合（Ｓ５６：ＮＯ）、画像処理部３は非手書き領域に含まれる文字、図形に対して設定された処理を実行する（ステップＳ５８）。例えば、ステップＳ５１で活字部分のエッジ強調処理が設定されている場合、この時点で判定領域内にエッジ強調処理を施す。

各領域に対して処理を施した後、画像処理部３は画像全体について判定が終了したか否かを判断する（ステップＳ５９）。画像の左隅から順次的に判定を行い、最終的に画像の右下隅まで判定を行うようにしている場合、ステップＳ５４で設定した判定領域に画像の右下隅の画像が含まれているか否かを判断することによって画像全体について判定が終了したか否かを判断することができる。画像全体について判定が終了していないと判断した場合（Ｓ５９：ＮＯ）、画像処理部３は処理をステップＳ５４へ戻す。また、画像全体について判定が終了したと判断した場合（Ｓ５９：ＹＥＳ）、画像処理部３は処理した画像データを画像出力部４へ出力する。画像出力部４は画像処理部３から出力される画像データに基づいて出力処理を実行する（ステップＳ６０）。

本発明に係る画像出力装置の内部構成を説明するブロック図である。 画像処理部が処理する画像の一例を示す模式図である。 非手書き画像及び手書き画像に見られるエッジを説明する説明図である。 濃度勾配の定義を説明する説明図である。 アキュータンスの定義を説明する説明図である。 画像処理部の内部構成を示すブロック図である。 画像出力装置が実行する処理の手順を説明するフローチャートである。 エッジ解析処理の処理手順を説明するフローチャートである。 濃度勾配Ｇの算出例を説明する説明図である。 濃度勾配Ｇの算出例を説明する説明図である。 作成するヒストグラムの一例を示す模式図である。 エッジの抽出結果を模式的に示した説明図である。 図２に示した画像からエッジを抽出した画像の模式図である。 判定結果に基づいて画像処理を施した画像の模式図である。 本実施の形態に係る画像出力装置が実行する処理の手順を説明するフローチャートである。 本実施の形態に係る画像出力装置が実行する処理の手順を説明するフローチャートである。

符号の説明

１ 制御部
２ 画像入力部
３ 画像処理部
４ 画像出力部
５ 記憶部
６ 操作部
３１ 入力バッファ
３２ エッジ解析処理部
３３ 領域判定部
３４ 手書き画像処理部
３５ 非手書き画像処理部
３６ 画像合成部
３７ 出力バッファ

Claims (6)

1. 手書きにより作成された文字又は図形を一部に含む画像を取込み、取込んだ画像に含まれる文字又は図形について手書きにより作成されたものであるか否かを判定し、判定結果に応じた画像処理を前記文字又は図形に施す画像処理方法において、
   前記画像内に存在するエッジの特徴としてエッジに交叉する方向の濃度勾配の大きさを算出し、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムについて濃度勾配の大きさが大きい領域に存在する第１の分布と濃度勾配の大きさが小さい領域に存在する第２の分布とを分離するために、濃度勾配の大きさに関して互いに重なりを持たない２つの範囲を設定し、前記第１の分布に対応する範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きでない文字又は図形と判定し、前記第２の分布に対応した範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きにより作成された文字又は図形と判定し、手書きでないと判定された文字又は図形、及び手書きにより作成された文字又は図形のそれぞれに個別の画像処理を施すことを特徴とする画像処理方法。
2. 手書きにより作成された文字又は図形を一部に含む画像を取込み、取込んだ画像に含まれる文字又は図形について手書きにより作成されたものであるか否かを判定し、判定結果に応じた画像処理を前記文字又は図形に施す画像処理装置において、
   前記画像内に存在するエッジの特徴としてエッジに交叉する方向の濃度勾配の大きさを算出する手段と、同一の特徴を有するエッジの出現回数についてヒストグラムを生成し、生成したヒストグラムについて濃度勾配の大きさが大きい領域に存在する第１の分布と濃度勾配の大きさが小さい領域に存在する第２の分布とを分離するために、濃度勾配の大きさに関して互いに重なりを持たない２つの範囲を設定する手段と、前記第１の分布に対応する範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きでない文字又は図形と判定し、前記第２の分布に対応した範囲の濃度勾配の大きさを持つエッジにより囲まれる領域を手書きにより作成された文字又は図形と判定する手段と、手書きでないと判定された文字又は図形、及び手書きにより作成された文字又は図形のそれぞれに個別の画像処理を施す手段とを備えることを特徴とする画像処理装置。
3. 手書きにより作成された文字又は図形でないと判定した文字又は図形に対してエッジ強調処理を施す手段を備えることを特徴とする請求項２に記載の画像処理装置。
4. 手書きにより作成された文字又は図形であると判定した文字又は図形の画素値を変更する手段を備えることを特徴とする請求項２に記載の画像処理装置。
5. 判定対象が手書きにより作成されたものであると判定した場合、前記判定対象について文字認識を行う文字認識手段と、前記判定対象を前記文字認識手段により認識した文字により置き換える手段とを備えることを特徴とする請求項２に記載の画像処理装置。
6. 請求項２から請求項５の何れか１つに記載の画像処理装置と、該画像処理装置により処理された画像を出力する出力手段とを備えることを特徴とする画像出力装置。

Images