JP4318874B2

JP4318874B2 - Blurred image correction apparatus, image reading apparatus, image forming apparatus, and program

Info

Publication number: JP4318874B2
Application number: JP2001262813A
Authority: JP
Inventors: 禎史荒木; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-08-31
Filing date: 2001-08-31
Publication date: 2009-08-26
Anticipated expiration: 2021-08-31
Also published as: JP2003078765A

Description

【０００１】
【発明の属する技術分野】
本発明は、ボケ画像補正装置及びプログラムに関する。
【０００２】
【従来の技術】
フラッドベットスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図２７に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【０００５】
また、特開平5-161002号公報には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【０００６】
さらに、特開平11-41455号公報には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法が提案されている。
【０００７】
【発明が解決しようとする課題】
ところで、ブック原稿のコンタクトガラスからの浮き上がりが高くなるほどボケの程度は増すので、ブック原稿の表面形状変化による文字ボケの補正処理の際に、スキャン画像全体に同一の文字ボケ補正処理を施した場合には、地肌領域のノイズが強調されたり、写真領域のコントラストが不自然になったり、浮き上がりの深い部分と浅い部分とで文字ボケ補正にむらが生じたりするという問題がある。
【０００８】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、歪み補正処理の際に幾何学的歪み補正と輝度補正とを行っているが、文字ボケ補正は行っていない。
【０００９】
また、特開平5-161002号公報に記載されている方法によれば、ラプラシアン処理により文字ボケ補正を行っているが、文字ボケ補正（エッジ強調処理）を行うときのノイズの影響を考慮していない。加えて、特開平5-161002号公報に記載されている方法によれば、書籍表面形状変化による文字ボケの状況変化を考慮していないし、写真領域と文字領域とを区別して処理してない。このように写真領域と文字領域とを区別して処理していない場合、写真領域をエッジ強調すると画像のコントラストが高くなりすぎる場合がある。
【００１０】
さらに、特開平11-41455号公報に記載されている方法でも、文字ボケ補正（エッジ強調処理）を行うときのノイズの影響を考慮していないし、写真領域と文字領域とを区別して処理してない。
【００１１】
本発明の目的は、ブック原稿の表面形状変化による文字ボケの補正処理の際に、地肌領域のノイズが強調されてしまうのを抑制するとともに、写真領域のコントラストが不自然になってしまうのを防止し、最適な文字ボケ補正を行うことができるボケ画像補正装置及びプログラムを提供することである。
【００１２】
本発明の目的は、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することができるボケ画像補正装置及びプログラムを提供することである。
【００１３】
本発明の目的は、ブック原稿のコンタクトガラスからの浮きの高さが０の場合には、ボケ補正処理の実施を回避することで、処理の高速化を図ることができるボケ画像補正装置及びプログラムを提供することである。
【００１４】
【課題を解決するための手段】
請求項１記載の発明のボケ画像補正装置は、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケを補正するボケ画像補正装置において、前記スキャン画像から各種領域を判別して抽出する領域判別抽出手段と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定手段と、前記領域判別抽出手段により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正手段と、を備え、前記ボケ画像補正手段が、前記各種領域のうち文字矩形領域に対して、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくし、その中で、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くする。
【００１５】
したがって、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理が施される。これにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することが可能になるとともに、写真領域のコントラストが不自然になってしまうのを防止することが可能になるので、最適な文字ボケ補正を行うことが可能になる。
また、ブック原稿の表面形状変化によりボケてしまった文字矩形領域が確実にエッジ強調されるので、スキャン画像の文字が読み易くなり、さらには、文字矩形サイズが小さいほどエッジ強調されるので、さらにスキャン画像の文字が読み易くなる。
【００１６】
請求項２記載の発明は、請求項１記載のボケ画像補正装置において、前記ボケ画像補正手段が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項２に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項２に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定する。
【００１７】
したがって、ブック原稿のコンタクトガラスからの浮きの高さが推定され、この浮きの高さに応じて各種領域に対するフィルタの強度が調節される。これにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことが可能になるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することが可能になる。
【００３２】
請求項３記載の発明のプログラムは、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケ補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像から各種領域を判別して抽出する領域判別抽出機能と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定機能と、前記領域判別抽出機能により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正機能と、を実行させ、前記ボケ画像補正機能が、前記各種領域のうち文字矩形領域に対して、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくし、その中で、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くする。
【００３３】
したがって、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理が施される。これにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することが可能になるとともに、写真領域のコントラストが不自然になってしまうのを防止することが可能になるので、最適な文字ボケ補正を行うことが可能になる。
また、ブック原稿の表面形状変化によりボケてしまった文字矩形領域が確実にエッジ強調されるので、スキャン画像の文字が読み易くなり、さらには、文字矩形サイズが小さいほどエッジ強調されるので、さらにスキャン画像の文字が読み易くなる。
【００３４】
請求項４記載の発明は、請求項３記載のプログラムにおいて、前記ボケ画像補正機能が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項４に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項４に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定する。
【００３５】
したがって、ブック原稿のコンタクトガラスからの浮きの高さが推定され、この浮きの高さに応じて各種領域に対するフィルタの強度が調節される。これにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことが可能になるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することが可能になる。
【００４６】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図２６に基づいて説明する。本実施の形態のボケ画像補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００４７】
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００４８】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００４９】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００５０】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００５１】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、スキャン画像のボケ画像補正機能を含む歪み補正機能を実現する画像歪み補正部２９から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００５２】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００５３】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００５４】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピーディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００５５】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像のボケ画像補正機能を実現するボケ画像補正装置である画像歪み補正部２９におけるスキャン画像のボケ補正処理についてのみ説明する。
【００５６】
図６は、スキャン画像のボケ補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。
【００５７】
まず、ステップＳ１において、３次元形状の復元を行い、この３次元形状に基づいてスキャン画像の歪み補正を行う。以下において、図８を参照しつつ形状補正処理について詳細に説明する。
【００５８】
図８に示すように、まずステップＳ１１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図９は入力した画像の一例を示したものである。そして、図１０に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１の近傍において歪みが生じている。
【００５９】
続いて、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ１２）、副走査方向の黒画素（スキャン画像の画素の中でその画素値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ１３）。図１１は、図９に示した画像の黒画素ヒストグラムである。図１１中の横軸は、副走査方向の黒画素（スキャン画像の画素の中でその画素値が予め定めた濃度値よりも濃い画素）の位置を示し、図１１中の縦軸は、その位置毎の黒画素数を示すものである。
【００６０】
次に、ステップＳ１４において、歪み補正処理を文字情報を利用して行うか罫線情報を利用して行うかの指定に待機する。
【００６１】
操作パネル２２等を介して歪み補正処理を文字情報を利用して行う旨の宣言がなされた場合には（ステップＳ１４のＮ）、ステップＳ１５に進み、文字が横書きであるか縦書きであるかを判別する。文字が横書きであるか縦書きであるかの判別は、ステップＳ１３で求めた横方向（副走査方向）の黒画素数のヒストグラムに基づいて行う。例えば、図９に示すような横書きの画像の場合には、ヒストグラムに山谷の繰り返しパターンが現れ、縦書きの場合はこのパターンはない。この特徴を用いることにより、文字が横書きであるか縦書きであるかを判別する。
【００６２】
なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００６３】
文字が横書きであると判別された場合には（ステップＳ１５のＹ）、黒画素が連続に繋がる文字単位の矩形抽出処理を行うとともに（ステップＳ１６）、文字行の抽出処理を行って最適な基準文字行を選択する（ステップＳ１７）。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、二値化されたスキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図１２に示す。文字外接矩形抽出処理および文字行抽出処理後には、数多くの行が得られるが、その中で一定の長さ以上の行を選び、さらにその中でもっとも湾曲量が大きい行を最適な基準文字行として選択する。なお、一定の長さ以上の行とは、例えば、最も長い行の８０％より長い行とする。また、ブック原稿４０のページ綴じ部４１の境界線より左側１行、右側１行をそれぞれ選択する。さらに、湾曲量は、文字行に含まれる各文字外接矩形の中心座標の主走査方向における位置によって測定し、中心座標の最大値と最小値との差が大きいほど湾曲量が大きいとみなす。
【００６４】
続いて、ステップＳ１７で抽出した基準文字行の直線部分を抽出する（ステップＳ１８）。基準文字行の直線部分の抽出は、各矩形中心座標値のHough変換により行う。
【００６５】
Hough変換の原理を以下に示す。図１３に示すように画像上の点Ｐ（ｘ，ｙ）を通過する直線は次の式（１）を満たす。
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ ・・・（１）
ここで、（ｘ，ｙ）は点Ｐの座標であり、ρは原点０と点Ｐとの距離である。θは直線ＰＯとｘ軸とがなす角度である。矩形中心座標（ｘ_ｉ，ｙ_ｉ）を離散化（メッシュ化）された（ρ，θ）パラメータ平面へと射影する。（ｘ，ｙ）平面の１点は、（ρ，θ）平面では１本の曲線に射影される。平面上の各メッシュについて曲線の通過数をカウントすると、通過数の多いメッシュは対応する直線があることを示す。１つの文字行には１本の直線しかないので曲線が最も多く通過するメッシュを見つければ、直線を抽出することができる。この方法は、ノイズに非常に強く、直線と曲線が混在する場合にも直線部分を抽出することができる。図１２の直線を抽出した結果を図１４に示す。
【００６６】
続いて、基準文字行の曲線部分を求める（ステップＳ１９）。ステップＳ１７で抽出した基準文字行を以下に示す多項式（２）で近似し、最小２乗法により多項式の係数を求める。つまり、ステップＳ１９は、行の曲線部分を多項式で近似するものである。
ｙ＝ａ_０＋ａ_１ｘ^１＋ａ_２ｘ^２＋・・・＋ａ_ｎｘ^ｎ・・・（２）
ここで、（ｘ，ｙ）文字矩形中心の座標であり、（ａ_０，ａ_１，ａ_２，・・・，ａ_ｎ）は多項式の係数である。抽出した曲線部分の結果を図１５に示す。
【００６７】
次に、ステップＳ１８で求めた基準文字行の直線部分とステップＳ１９で求めた基準文字行の曲線部分との間の距離を測定し（ステップＳ２０）、３次元形状復元を行う（ステップＳ２１）。図１６は、基準文字行の直線部分と基準文字行の曲線部分との距離を示したものである。
【００６８】
スキャンの主走査方向とブック原稿４０のページ綴じ部４１の境界線が平行な場合、レンズユニット１０等のスキャナレンズによるブック原稿４０を読み取るとき、結像系は次の特性を持つ。主走査方向は中心投影であり、副走査方向は平射投影である。ここで、これらの特性を利用して、３次元形状復元を行う。中心投影する場合、図１７と図１８に示すようにブック原稿４０の表面はコンタクトガラス２の表面から浮いて結像距離が遠くなり、画像の拡大倍率は小さくなるので、外形エッジの直線はだんだん内側に湾曲していく。図１８の縮む量ＡＢを測定すれば、図１７に浮いた本の表面の高さｄを計算できる。従って、直線の内側への歪み量を測定すれば、３次元形状（ブック原稿４０のコンタクトガラス２からの浮き上がりの量）を復元できる。
【００６９】
ここで、ブック原稿４０を水平にコンタクトガラス２上に置くことを仮定する。そうすると、３次元の形状は２次元になる。スキャナレンズの結像関係を図１９に示す。ＯＯ´はレンズの光軸であり、０はレンズの中心である。Ｆはレンズの中心０からスキャナ表面（コンタクトガラス２）までの距離で、これを、スキャナの焦点距離と言う。スキャナ表面上の点Ｂは結像面でＤに結像する。浮いた製本（ブック原稿４０）の表面上の点ＣはＥに結像する。それぞれの結像面の中心０との距離はｙ´とｙである（第一走行体５および第二走行体８が副走査方向に移動することによって、中心０も移動するが、その軌跡を結像中心線と呼ぶことにする）。三角形の相似関係により次の関係式（３），（４）が得られる。
ｄ／Ｆ＝ＡＢ／ＡＯ´ ・・・（３）
ＡＢ／ＡＯ´＝（ｙ´−ｙ）／ｙ・・・（４）
また、式（３），（４）により、ブック原稿４０の浮き上がりの量ｄが次式（５）により得られる。
ｄ＝Ｆ×（（ｙ´−ｙ）／ｙ）・・・（５）
この式（５）により２次元の歪み量から３次元形状が求められることがわかる。ここで、歪み量（ｙ´−ｙ）と距離yは画像から求められるが、本実施の形態では、これを文字行あるいは罫線の直線成分と曲線部分との距離から求めるものである。レンズの焦点距離Ｆはスキャナ部１によって定まる既知量であり、スキャナ部１の設定値かレンズの校正値を用いる。ここに、高さ推定手段の機能が実行される。
【００７０】
続いて、３次元形状に基づいてスキャン画像の歪み補正を行うとともに（ステップＳ２２）、画像の輝度補正を行う（ステップＳ２３）。ブック原稿４０のページ綴じ部４１に平行な方向では、図２０に示すように画像下部分の外形が直線となるようにスキャン画像の縦方向を１列ずつシフトする。そして、スキャン画像の上部の点線から内側へ縮む量により縮小倍率を計算し、変倍処理を行う。垂直方向では、ブック原稿４０の表面に沿って、スキャン画像を引き伸ばす。また、縦方向の各画素列のもっとも白い画像を基準にして、画像の輝度補正を行う。詳細については、特開平11-41455号公報に開示されているためその説明は省略する。
【００７１】
一方、文字が縦書きであると判別された場合には（ステップＳ１５のＮ）、ステップＳ２４に進み、矩形抽出と縦方向の行の抽出処理を行う。ステップＳ２４では、図２１に示すように行の一番上あるいは一番下の矩形を求め、これを基準文字行とし、縦行の外形を求める。
【００７２】
続くステップＳ１８〜Ｓ２３では、この基準文字行を構成する各矩形の中心座標を用いて、画像の歪み補正処理を行う。
【００７３】
また、歪み補正処理を罫線情報を利用して行う旨の宣言がなされた場合には（ステップＳ１４のＹ）、横方向（副走査方向）に描いた罫線を抽出する（ステップＳ２５）。ステップＳ２５では、ステップＳ１３で求めた横方向（副走査方向）の黒画素数のヒストグラムを用いる。図２２に示すように、横方向に描いた罫線が存在する場合には、ヒストグラムに細高いピークが現れるので、それを利用して罫線を抽出し、その中から一定の長さ以上の罫線を選ぶ。一定の長さを指定するとき、例えば、もっとも長い罫線の８０％より長い罫線とする。そして、選択した罫線の中で画像の上端もしくは下端に最も近い罫線を基準罫線として選択する。また、ブック原稿４０のページ綴じ部４１の境界線より左側１罫線、右側１罫線をそれぞれ選択する。
【００７４】
続くステップＳ１８〜Ｓ２３は、基本的に文字情報を利用した場合と同様であるため、説明は省略する。
【００７５】
ここで、図２３は歪みを補正した画像を示す平面図である。以上の処理によれば、図９に示したようなブック原稿４０のページ綴じ部４１の近傍において生じていたスキャン画像の歪みが、図２３に示すように補正されることになる。
【００７６】
ところで、このようにブック原稿４０のページ綴じ部４１がコンタクトガラス２から浮き上がってしまった場合には、スキャナレンズのピントはコンタクトガラス２の面に合わせてあるので、コンタクトガラス２からブック原稿４０が浮き上がってしまったページ綴じ部４１の近傍の文字部分のスキャン画像はボケてしまう。すなわち、図１９に示したＤにおいてはシャープに結像するが、Ｅにおいてはボケた画像になる。そこで、続くステップＳ２〜ステップＳ８においては、ボケた画像（特に文字ボケ）を補正するボケ補正処理を行う。
【００７７】
次に、ボケ補正処理について説明する。一般に、ボケ補正される前の原画像をｆ（ｘ，ｙ）とし、原画像ｆ（ｘ，ｙ）の高周波成分を強調したエッジ強調画像をｇ（ｘ，ｙ）とした場合、原画像ｆ（ｘ，ｙ）とエッジ強調画像ｇ（ｘ，ｙ）との重み付き和を求めるとアンシャープフィルタ画像ｓ（ｘ，ｙ）が得られ、このアンシャープフィルタ画像ｓ（ｘ，ｙ）は、下記の式（６）、
ｓ（ｘ，ｙ）＝ｆ（ｘ，ｙ）+ｋ・ｇ（ｘ，ｙ）・・・（６）
で表される。ここで、ｋは重み係数である。しかしながら、このようにして文字のエッジを強調した場合には地肌領域のノイズも一緒に強調されてしまう傾向がある。そこで、本実施の形態のボケ補正処理においては、文字ボケの補正の際に地肌領域のノイズも一緒に強調されてしまうのを防止するために、平滑化効果と高周波成分強調の効果を同時に持っているボケ補正フィルタを用いて文字ボケの補正を行うものである。
【００７８】
ここで、ボケ補正フィルタについて詳細に説明する。本実施の形態のボケ補正フィルタは、重み係数ｋとともにLaplacian of Gaussianフィルタ（以下、LoGフィルタという）を導入したものであって、このLoGフィルタは、下記の式（７）、
【００７９】
【数１】

で表される。ただし、σはフィルタの広がり幅を決めるパラメータである。
【００８０】
そして、アンシャープフィルタ画像ｓ（ｘ，ｙ）は、下記の式（８）、
【００８１】
【数２】

で表される。
【００８２】
また、エッジ強調画像ｇ（ｘ，ｙ）は、下記の式（９）、
【００８３】
【数３】

で表される。
【００８４】
ここで、図２４はボケ補正される前の原画像ｆ（ｘ，ｙ）を示し、図２５はボケ補正フィルタにより図２４の原画像ｆ（ｘ，ｙ）の高周波成分を強調したエッジ強調画像ｇ（ｘ，ｙ）を示し、図２６はボケ補正フィルタにより図２４の原画像ｆ（ｘ，ｙ）をアンシャープフィルタ処理したアンシャープフィルタ画像ｓ（ｘ，ｙ）を示すものである。
【００８５】
このようにボケ補正フィルタには、二つのパラメータσとｋがある。パラメータσは、その値が大きいければ大きいほどフィルタの幅が広くなるので平滑化の効果が大きくなり、その値が小さいければ小さいほどフィルタの幅が狭くなるのでエッジ強調の効果が大きくなる。ボケ補正フィルタのパラメータσを０に近づけるとラプラシアンフィルタに近似する。つまり、このパラメータσを調整することで、ノイズの抑制とエッジ強調のシャープさを調整することができる。一方、パラメータｋは、その値が大きければ大きいほどエッジ強調の効果が大きくなり、その値が小さいほどボケ復元の効果が小さくなる。そこで、本実施の形態においては、形状補正後のスキャン画像を写真領域、文字矩形領域、地肌領域にそれぞれ分け、各領域毎に異なるボケ補正フィルタのパラメータを設定し、各領域に対して最適なボケ補正を行うようにする。
【００８６】
すなわち、図６に示すように、形状補正後のスキャン画像の中に写真領域が存在する場合にはスキャン画像から写真領域を抽出し（ステップＳ２：領域判別抽出手段）、形状補正後のスキャン画像の中に文字矩形領域が存在する場合にはスキャン画像から文字矩形領域を抽出し（ステップＳ３：領域判別抽出手段）、形状補正後のスキャン画像の中の写真領域でも文字矩形領域でもない領域は地肌領域として抽出する（ステップＳ４：領域判別抽出手段）。また、ステップＳ３においては、抽出した文字矩形のサイズ（各文字矩形の一辺の長さの平均や各文字矩形の対角線の長さの平均等）も求める。なお、スキャン画像からの写真領域の抽出処理、スキャン画像からの文字矩形領域の抽出処理については周知の技術であるので、その説明は省略する。
【００８７】
続くステップＳ５で領域毎に最適なパラメータσをそれぞれ設定し、ステップＳ６で領域毎に最適なパラメータｋをそれぞれ設定する。以下において、領域毎のボケ補正フィルタのパラメータ設定について説明する。
【００８８】
写真領域においては、ボケ補正フィルタのパラメータｋを小さく設定してエッジ強調し過ぎないようにするとともに、ボケ補正フィルタのパラメータσを大きく設定してノイズを抑えるようにする。
【００８９】
文字矩形領域においては、エッジ強調効果を高めるため、ボケ補正フィルタのパラメータｋを大きく設定する。一方、ボケ補正フィルタのパラメータσは基本的に小さく設定するが、さらに平均矩形サイズも考慮し、矩形が小さいほどパラメータσをより小さく設定する。
【００９０】
地肌領域においては、ボケ補正フィルタのパラメータｋを小さく設定し、かつ、ボケ補正フィルタのパラメータσを写真領域よりも大きく設定してノイズを抑える。
【００９１】
次いで、ステップＳ７において、式（５）により求められたブック原稿４０の浮き上がりの高さｄに応じ、ボケ補正フィルタのパラメータｋの重み係数ｐを設定する。ここに、強度調節手段の機能が実行される。これは、下記の式（１０）、
【００９２】
【数４】

で表される。これにより、ブック原稿４０の浮き上がりの高さｄが０の場合にはフィルタ処理を施さないのと同等で、ブック原稿４０の浮き上がりの高さｄが高くなるにつれて、ボケ補正フィルタの強度を増してボケ補正効果を高めることが可能になる。
【００９３】
そして、このようにして各パラメータσ，ｋ，ｐが設定されたボケ補正フィルタによりスキャン画像の文字ボケ等を補正し（ステップＳ８）、画像を出力する（ステップＳ９）。以上のステップＳ５〜Ｓ８により、ボケ画像補正手段の機能が実行される。
【００９４】
なお、本実施の形態においては、ボケ補正フィルタにLoGフィルタを導入したが、これに限るものではなく、パラメータによりフィルタの幅が調節できるようなボケ補正フィルタであれば良い。
【００９５】
ここに、スキャン画像の各種領域に関して強度調節及び幅調節可能なボケ補正フィルタを用いて適応的にボケ補正処理が施される。これにより、ブック原稿４０の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することが可能になるとともに、写真領域のコントラストが不自然になってしまうのを防止することが可能になるので、最適な文字ボケ補正を行うことが可能になる。
【００９６】
また、ブック原稿４０のコンタクトガラス２からの浮きの高さｄが推定され、この浮きの高さｄに応じて各種領域に対するボケ補正フィルタの強度が調節される。これにより、ブック原稿４０のコンタクトガラス２からの浮きの高さｄが高くなるに従ってボケ補正フィルタの強度を増すことが可能になるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することが可能になる。
【００９７】
さらに、ブック原稿４０のコンタクトガラス２からの浮きの高さｄが０の場合には、画像読取手段のブック原稿４０に対するピントは合っていることからスキャン画像がボケることはないので、ボケ補正処理の実施を回避することにより、処理の高速化を図ることが可能になる。
【００９８】
なお、本実施の形態においては、ボケ画像補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像のボケ補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナを、図５に示したメイン制御部１９と同等なシステム構成を備えたパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールし、このプログラムに従ってパーソナルコンピュータのＣＰＵを動作させることによってボケ画像補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムを、図５に示したメイン制御部１９と同等なシステム構成を備えたパーソナルコンピュータのＨＤＤにインストールし、このプログラムに従ってパーソナルコンピュータのＣＰＵを動作させることによってボケ画像補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対してボケ補正処理を施すようにしても良い。
【００９９】
【発明の効果】
請求項１記載の発明のボケ画像補正装置によれば、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケを補正するボケ画像補正装置において、前記スキャン画像から各種領域を判別して抽出する領域判別抽出手段と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定手段と、前記領域判別抽出手段により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正手段と、を備え、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理を施すことにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することができるとともに、写真領域のコントラストが不自然になってしまうのを防止することができるので、最適な文字ボケ補正を行うことができる。また、前記領域判別抽出手段により抽出された前記各種領域のうち文字矩形領域については、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくすることにより、ブック原稿の表面形状変化によりボケてしまった文字矩形領域を確実にエッジ強調することができるので、スキャン画像の文字を読み易くすることができる。さらに、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くすることにより、文字矩形サイズが小さいほどエッジ強調することができるので、さらにスキャン画像の文字を読み易くすることができる。
【０１００】
請求項２記載の発明によれば、請求項１記載のボケ画像補正装置において、前記ボケ画像補正手段が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項２に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項２に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定することにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことができるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することができる。
【０１０８】
請求項３記載の発明のプログラムによれば、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケ補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像から各種領域を判別して抽出する領域判別抽出機能と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定機能と、前記領域判別抽出機能により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正機能と、を実行させ、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理を施すことにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することができるとともに、写真領域のコントラストが不自然になってしまうのを防止することができるので、最適な文字ボケ補正を行うことができる。また、前記領域判別抽出機能により抽出された前記各種領域のうち文字矩形領域については、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくすることにより、ブック原稿の表面形状変化によりボケてしまった文字矩形領域を確実にエッジ強調することができるので、スキャン画像の文字を読み易くすることができる。さらに、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くすることにより、文字矩形サイズが小さいほどエッジ強調することができるので、さらにスキャン画像の文字を読み易くすることができる。
【０１０９】
請求項４記載の発明によれば、請求項３記載のプログラムにおいて、前記ボケ画像補正機能が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項４に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項４に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定することにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことができるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像のボケ補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】形状補正処理の流れを概略的に示すフローチャートである。
【図９】入力した画像の一例を示す平面図である。
【図１０】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１１】図９に示した画像の黒画素ヒストグラムである。
【図１２】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図１３】 Hough変換の原理を示す説明図である。
【図１４】 Hough変換により図１２の直線を抽出した結果を示す説明図である。
【図１５】最小２乗法により図１２の曲線部分を抽出した結果を示す説明図である。
【図１６】基準文字行の直線部分と基準文字行の曲線部分との距離を示す説明図である。
【図１７】本の表面の浮いた高さを示す説明図である。
【図１８】画像が縮む量を示す説明図である。
【図１９】スキャナレンズの結像関係を示す説明図である。
【図２０】画像シフトを示す説明図である。
【図２１】文字が縦書きである場合の基準文字行を示す説明図である。
【図２２】横方向に描いた罫線を示す説明図である。
【図２３】形状補正した画像を示す平面図である。
【図２４】ボケ補正される前の原画像を示す説明図である。
【図２５】ボケ補正フィルタにより図２４の原画像の高周波成分を強調したエッジ強調画像を示す説明図である。
【図２６】ボケ補正フィルタにより図２４の原画像をアンシャープフィルタ処理したアンシャープフィルタ画像を示す説明図である。
【図２７】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
１画像読取装置
２コンタクトガラス
１６画像形成装置
２９ボケ画像補正装置
４０ブック原稿[0001]
BACKGROUND OF THE INVENTION
  The present invention provides a blurred image correction device.PlacementAnd programs.
[0002]
[Prior art]
Many originals scanned using a flood bed scanner are sheet-like originals, and an openable / closable pressure plate is provided on the contact glass. After placing the original on the contact glass, the pressure plate is closed and the original is scanned. Yes. However, the original is not limited to a sheet, and book originals (books, booklets, etc.) may be handled as originals. In such cases, the book original is placed on the contact glass and the original is scanned. Will do.
[0003]
However, when a book document is used as the document, the page binding portion 101 of the book document 100 is lifted from the contact glass 102 as shown in FIG. As described above, when the page binding portion 101 of the book document 100 is lifted from the contact glass 102, the page binding portion 101 is separated from the focal plane. , Image degradation such as blurred characters occurs. The page binding portion 101 of the deteriorated image is difficult to read, and the recognition rate when performing character recognition processing by OCR is remarkably reduced. In particular, in the case of thick bookbinding, the ratio is high, and when the page binding portion 101 of the book document 100 is pressed so as not to leave the focal plane, the book document 100 itself may be damaged.
[0004]
In order to solve such a problem, a method of correcting image distortion using a method of estimating the three-dimensional shape of an object from image density information has been proposed. As a method for estimating the three-dimensional shape of an object from the density information of such an image,
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24 (2), 125-135 (1997)
The method called Shape from Shading described in is a typical example.
[0005]
Japanese Patent Laid-Open No. 5161002 proposes a method of correcting the distortion by measuring the shape of a book by a triangulation method.
[0006]
Further, Japanese Patent Application Laid-Open No. 11-41455 proposes a method for estimating the three-dimensional shape of the book surface using the shape of the page outline of the scanned read image.
[0007]
[Problems to be solved by the invention]
By the way, since the degree of blur increases as the lift of the book document from the contact glass increases, the same character blur correction process is applied to the entire scanned image when correcting the character blur due to the surface shape change of the book document. However, there is a problem that the noise in the background area is emphasized, the contrast in the photographic area becomes unnatural, or the character blur correction is uneven in the deep and shallow areas.
[0008]
However, according to the method called Shape from Shading described above, geometric distortion correction and luminance correction are performed during the distortion correction processing, but character blur correction is not performed.
[0009]
Further, according to the method described in Japanese Patent Laid-Open No. 5161002, character blur correction is performed by Laplacian processing, but the influence of noise when character blur correction (edge enhancement processing) is performed is considered. Absent. In addition, according to the method described in Japanese Patent Application Laid-Open No. 5-110002, changes in the character blur due to changes in the book surface shape are not taken into account, and the photographic area and the character area are not processed separately. As described above, when the photographic region and the character region are not distinguished from each other and processed, the contrast of the image may become too high when the photographic region is edge-enhanced.
[0010]
Further, even the method described in Japanese Patent Laid-Open No. 11-41455 does not consider the influence of noise when performing character blur correction (edge enhancement processing), and performs processing by distinguishing between a photographic region and a character region. Absent.
[0011]
  It is an object of the present invention to suppress the enhancement of noise in the background area during the character blur correction process due to the surface shape change of the book document, and to make the contrast of the photographic area unnatural. Blur image correction device that can prevent and perform optimal character blur correctionPlacementAnd providing a program.
[0012]
  An object of the present invention is to provide a blurred image correction device capable of preventing the occurrence of unevenness in blur correction of characters or the like in a deeply floating portion and a shallow portion.PlacementAnd providing a program.
[0013]
  An object of the present invention is to provide a blurred image correction device capable of speeding up processing by avoiding execution of blur correction processing when the height of the floating of a book document from the contact glass is zero.PlacementAnd providing a program.
[0014]
[Means for Solving the Problems]
  The blurred image correcting apparatus according to claim 1 is a blurred image correcting apparatus that corrects a blurred image of a scanned image obtained by reading a book document placed on a contact glass by an image reading unit. Region discrimination extraction means for discriminating and extracting;A height estimating means for estimating a height of floating of the book document from the contact glass based on the scanned image;The various areas extracted by the area discrimination extraction meansThe width and strength of the blur correction filter are adjusted by setting the parameters based on the above, and the weight coefficient of the blur correction filter is set by setting the parameter weighting factor based on the height of the float estimated by the height estimation means. Adjust the intensity,Blur image correction means for performing blur correction processing suitable for the various areas of the scanned image,The blurred image correction means isCharacter rectangular area among various areasAgainstSaidBlur correctionWhile making the width of the filter relatively narrow compared to other regions,Blur correctionThe strength of the filter is relatively increased compared to other areas, and among them, the smaller the character rectangle size in the character rectangle area,Blur correctionReduce the width of the filter.
[0015]
  Accordingly, the blur correction process is adaptively performed using a filter capable of adjusting the intensity and the width of various regions of the scanned image. This makes it possible to suppress, for example, noise in the background area from being emphasized during character blur correction processing due to a change in the surface shape of the book document, and the contrast in the photographic area becomes unnatural. Therefore, the optimum character blur correction can be performed.
  In addition, since the character rectangle area that is blurred due to the surface shape change of the book document is surely edge-enhanced, the characters in the scanned image are easier to read. The characters on the scanned image are easy to read.
[0016]
  According to a second aspect of the present invention, in the blurred image correction apparatus according to the first aspect,The blurred image correction means isIn the character rectangular areaOn the other handRecordBlur correctionUsing a filter in which the value of the parameter that adjusts the width of the filter is set smaller than in other regions (the filter represented by the expression (1) of claim 2), the parameter that adjusts the strength of the filter According to a predetermined calculation formula (value (2) according to claim 2) whose value is set to be larger than that of other regions, an image subjected to the blur correction processing is output, and, PlaceA weighting factor of a parameter for adjusting the strength of the filter in a constant calculation formula is set according to the height of the float.
[0017]
Therefore, the height of the floating of the book document from the contact glass is estimated, and the strength of the filter for various regions is adjusted according to the height of the floating. This makes it possible to increase the strength of the filter as the height of the float of the book document from the contact glass increases, resulting in unevenness in blurring correction of characters, etc., in the deep and shallow areas. Can be prevented.
[0032]
  According to a third aspect of the present invention, there is provided a program for causing a computer to perform blur correction of a scan image obtained by reading a book document placed on a contact glass by an image reading unit, and causing the computer to execute a blur correction from the scan image. Area discrimination extraction function that discriminates and extracts various areas;A height estimation function for estimating the height of the book document from the contact glass based on the scanned image;The various areas extracted by the area discrimination extraction functionThe width and strength of the blur correction filter are adjusted by setting the parameters based on the above, and the weight coefficient of the blur correction filter is set by setting the parameter weighting factor based on the height of the float estimated by the height estimation means. Adjust the intensity,A blur image correction function for performing blur correction processing suitable for the various areas of the scanned image;The blurred image correction function isCharacter rectangular area among various areasAgainstRecordBlur correctionWhile making the width of the filter relatively narrow compared to other regions,Blur correctionThe strength of the filter is relatively increased compared to other areas, and among them, the smaller the character rectangle size in the character rectangle area,Blur correctionReduce the width of the filter.
[0033]
  Accordingly, the blur correction process is adaptively performed using a filter capable of adjusting the intensity and the width of various regions of the scanned image. This makes it possible to suppress, for example, noise in the background area from being emphasized during character blur correction processing due to a change in the surface shape of the book document, and the contrast in the photographic area becomes unnatural. Therefore, the optimum character blur correction can be performed.
  In addition, since the character rectangle area that is blurred due to the surface shape change of the book document is surely edge-enhanced, the characters in the scanned image are easier to read. The characters on the scanned image are easy to read.
[0034]
  The invention according to claim 4 is the program according to claim 3,The blurred image correction function isThe character rectangular areaAgainstRecordBlur correctionThe parameter for adjusting the strength of the filter is adjusted by using a filter (a filter represented by the expression (1) according to claim 4) in which the value of the parameter for adjusting the width of the filter is set smaller than that in other regions. An image subjected to the blur correction process is output according to a predetermined calculation formula (Equation (2) according to claim 4) in which a value is set to be larger than that of other regions, and, PlaceA weighting factor of a parameter for adjusting the strength of the filter in a constant calculation formula is set according to the height of the float.
[0035]
Therefore, the height of the floating of the book document from the contact glass is estimated, and the strength of the filter for various regions is adjusted according to the height of the floating. This makes it possible to increase the strength of the filter as the height of the float of the book document from the contact glass increases, resulting in unevenness in blurring correction of characters, etc., in the deep and shallow areas. Can be prevented.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to FIGS. The blurred image correction apparatus of the present embodiment is provided in a digital copying machine that is an image forming apparatus, and a scanner unit of the digital copying machine is applied as the image reading apparatus.
[0047]
Here, FIG. 1 is a longitudinal front view showing the configuration of the scanner unit 1. As shown in FIG. 1, the scanner unit 1 includes a contact glass 2 on which a document is placed, a first traveling body 5 including an exposure lamp 3 for exposing a document and a first reflection mirror 4, and a second reflection mirror 6. And a second traveling body 8 composed of the third reflecting mirror 7, a CCD (Charge Coupled Device) 9 as an imaging device for reading an image of the document, a lens unit 10 for forming an image on the CCD 9, and a document placed thereon. A document scale 11 that prevents the contact glass 2 from shifting and coming off, a white reference plate 12 for shading correction installed under the document scale 11, and a frame 14 are provided. The CCD 9 is formed on the sensor board 13.
[0048]
During scanning of a document, the first traveling body 5 and the second traveling body 8 are moved in the sub-scanning direction by a stepping motor 24 (see FIG. 3). That is, the first traveling body 5 and the second traveling body 8 travel under the contact glass 2, the exposure lamp 3 exposes and scans the document, and the reflected light is reflected on the first reflecting mirror 4, the second reflecting mirror 6, and the like. The light is reflected by the third reflecting mirror 7 and imaged on the CCD 9 through the lens unit 10. Here, an image reading means is realized.
[0049]
Such a scanner unit 1 is a printer unit (not shown) that is an image printing apparatus that forms an image on a sheet by, for example, electrophotography, in accordance with image data based on an image of a document read by the scanner unit 1. ). FIG. 2 is a perspective view showing an upper portion of the digital copying machine 16 on which the scanner unit 1 is mounted. As shown in FIG. 2, the scanner unit 1 is provided with a pressure plate 17 that can be opened and closed with respect to the contact glass 2, and an open / close sensor 18 that detects opening and closing of the pressure plate 17. As the printer provided in the digital copying machine 16, various printing methods such as an ink jet method, a sublimation type thermal transfer method, a silver salt photography method, a direct thermal recording method, and a melt type thermal transfer method are applied in addition to the electrophotographic method. be able to. Since the specific configuration is well known, detailed description is omitted.
[0050]
FIG. 3 is a block diagram showing the electrical connection of the control system of the scanner unit 1. As shown in FIG. 3, the control system includes an image processing unit 20 that is a circuit that performs various image processing on image data read by the CCD 9, and a first control unit 19 that controls the entire scanner unit 1. An image read by the CCD 9 and an operation panel 22 for accepting various operations to the digital copying machine 16 and receiving various operations on the digital copying machine 16, which is a circuit for controlling the traveling body 5 and the second traveling body 8. A memory 23 for storing data, predetermined data, and the like is connected. The operation panel 22 is provided with a copy start key for declaring the start of copying. Further, in the traveling body control unit 21, the exposure lamp 3, the stepping motor 24 that drives the first traveling body 5 and the second traveling body 8, and the first traveling body 5 and the second traveling body 8 are in the home position. A scanner home position sensor (HP sensor) 25 for detecting whether or not and an open / close sensor 18 are connected.
[0051]
Here, FIG. 4 is a block diagram showing a basic internal configuration of the image processing unit 20. As shown in FIG. 4, the image processing unit 20 includes an analog video processing unit 26 that performs analog image signal amplification processing and digital conversion processing when a document is read by the CCD 9, a shading correction processing unit 27 that performs shading correction processing, and shading. An image data processing unit 28 for generating a scanned image by performing various types of image data processing such as MTF correction, scaling processing, and γ correction on the digital image signal after correction processing, and a distortion correction function including a blurred image correction function for the scanned image The image distortion correction unit 29 is realized. The digital image signal after the image processing as described above is transmitted to the printer unit via the main control unit 19 and used for image formation.
[0052]
As shown in FIG. 5, the main control unit 19 includes a CPU (Central Processing Unit) 31 that centrally controls each unit. The CPU 31 includes a ROM (Read Only Memory) that stores BIOS and the like. Only memory (RAM) 32 and a RAM (Random Access Memory) 33 that stores various data in a rewritable manner and functions as a work area of the CPU 31 are connected by a bus 34 to constitute a microcomputer. Further, an HDD 35 in which a control program is stored, a CD-ROM drive 36 that reads a CD (Compact Disc) -ROM 37, and an interface (I / F) 38 that controls communication with a printer unit and the like are connected to the bus 34. ing.
[0053]
A CD-ROM 37 shown in FIG. 5 implements the storage medium of the present invention, and stores a predetermined control program. The CPU 31 reads the control program stored in the CD-ROM 37 with the CD-ROM drive 36 and installs it in the HDD 35. As a result, the main control unit 19 is in a state in which various processes as described later can be performed.
[0054]
As a storage medium, not only the CD-ROM 37 but also various types of media such as various optical disks such as DVD, various magnetic disks such as various magneto-optical disks and floppy disks, and semiconductor memories can be used. Alternatively, the program may be downloaded from a network such as the Internet and installed in the HDD 35. In this case, the storage device storing the program in the server on the transmission side is also a storage medium of the present invention. Note that the program may operate on a predetermined OS (Operating System), in which case the OS may execute a part of various processes described later, or a word processor. It may be included as part of a group of program files that constitute predetermined application software such as software or an OS.
[0055]
Next, the contents of various processes executed by the CPU 31 provided in the main control unit 19 based on the control program will be described. Here, of the processes executed by the CPU 31, scanning in the image distortion correction unit 29, which is a blurred image correction device that realizes a blurred image correction function of a scanned image, which is a characteristic function of the scanner unit 1 of the present embodiment. Only image blur correction processing will be described.
[0056]
FIG. 6 is a flowchart schematically showing the flow of a blur correction process for a scanned image. Here, as shown in FIG. 7, the book document 40 is placed on the contact glass 2 so that the page binding portion 41 and the main scanning direction of image reading of the scanner portion 1 are parallel to each other. The case will be described.
[0057]
First, in step S1, the three-dimensional shape is restored, and the distortion of the scanned image is corrected based on the three-dimensional shape. Hereinafter, the shape correction process will be described in detail with reference to FIG.
[0058]
As shown in FIG. 8, first, in step S11, a scanned image of the book document 40 placed on the contact glass 2 output from the image data processing unit 28 is input. Here, FIG. 9 shows an example of the input image. As shown in FIG. 10, the input scanned image of the book document 40 is distorted in the vicinity of the page binding portion 41.
[0059]
Subsequently, an optimal binarization process is performed on the scanned image (for example, a monochrome multi-valued image) of the book document 40 (step S12), and the black pixel in the sub-scanning direction (the pixel value among the pixels of the scanned image is set in advance). A histogram of the number of pixels darker than the determined density value is obtained (step S13). FIG. 11 is a black pixel histogram of the image shown in FIG. The horizontal axis in FIG. 11 indicates the position of a black pixel in the sub-scanning direction (a pixel value whose pixel value is darker than a predetermined density value among the pixels of the scanned image), and the vertical axis in FIG. This indicates the number of black pixels for each position.
[0060]
Next, in step S14, it waits for designation of whether the distortion correction processing is performed using character information or ruled line information.
[0061]
If a declaration that the distortion correction processing is performed using the character information is made via the operation panel 22 or the like (N in step S14), the process proceeds to step S15, and whether the character is horizontal writing or vertical writing. Is determined. Whether the character is written horizontally or vertically is determined based on the histogram of the number of black pixels in the horizontal direction (sub-scanning direction) obtained in step S13. For example, in the case of a horizontally written image as shown in FIG. 9, a repeated pattern of peaks and valleys appears in the histogram, and in the case of vertically written, there is no such pattern. By using this feature, it is determined whether the character is written horizontally or vertically.
[0062]
Note that the binarization process when the scanned image is a color multi-valued image focuses on, for example, any one of the RGB components (for example, the G component), and black pixels that are larger than the predetermined density threshold of the G component are black pixels. And a pixel smaller than a predetermined density threshold of the G component may be a white pixel. Alternatively, RGB may be color-converted to be divided into a luminance component and a color difference component, and threshold processing may be performed with the luminance component.
[0063]
When it is determined that the character is horizontal writing (Y in step S15), the character unit rectangle extraction process in which the black pixels are continuously connected is performed (step S16), and the character line extraction process is performed to obtain the optimum reference. A character line is selected (step S17). Since the character recognition process is a well-known technique, its description is omitted. Here, FIG. 12 shows an example of the result of the character circumscribed rectangle extraction process and the character line extraction process of the binarized scan image. After the character circumscribing rectangle extraction process and the character line extraction process, a large number of lines are obtained. Among them, select a line with a certain length or more, and select the line with the largest curvature among them as the optimal reference character line. Choose as. In addition, let the line more than fixed length be a line longer than 80% of the longest line, for example. Further, one row on the left side and one row on the right side are selected from the boundary line of the page binding portion 41 of the book document 40, respectively. Further, the amount of bending is measured by the position in the main scanning direction of the center coordinates of each character circumscribed rectangle included in the character line, and the amount of bending is considered to be larger as the difference between the maximum value and the minimum value of the center coordinates is larger.
[0064]
Subsequently, the straight line portion of the reference character line extracted in step S17 is extracted (step S18). Extraction of the straight line portion of the reference character line is performed by Hough transform of each rectangular center coordinate value.
[0065]
The principle of Hough transform is shown below. As shown in FIG. 13, the straight line passing through the point P (x, y) on the image satisfies the following expression (1).
ρ = x · cos θ + y · sin θ (1)
Here, (x, y) is the coordinates of the point P, and ρ is the distance between the origin 0 and the point P. θ is an angle formed by the straight line PO and the x-axis. Rectangular center coordinates (x_i, Y_i) To a discrete (mesh) (ρ, θ) parameter plane. One point on the (x, y) plane is projected onto a single curve on the (ρ, θ) plane. When the number of passes of the curve is counted for each mesh on the plane, a mesh having a large number of passes indicates that there is a corresponding straight line. Since there is only one straight line in one character line, a straight line can be extracted by finding a mesh through which the curve passes most. This method is very resistant to noise, and a straight line portion can be extracted even when a straight line and a curve are mixed. The result of extracting the straight line of FIG. 12 is shown in FIG.
[0066]
Subsequently, the curved portion of the reference character line is obtained (step S19). The reference character line extracted in step S17 is approximated by the following polynomial (2), and the coefficient of the polynomial is obtained by the least square method. That is, step S19 approximates the curve portion of the row with a polynomial.
y = a₀+ A₁x¹+ A₂x²+ ... + a_nxⁿ            ... (2)
Where (x, y) is the coordinates of the center of the character rectangle and (a₀, A₁, A₂, ..., a_n) Is a polynomial coefficient. The result of the extracted curve portion is shown in FIG.
[0067]
Next, the distance between the straight line portion of the reference character line obtained in step S18 and the curved portion of the reference character line obtained in step S19 is measured (step S20), and three-dimensional shape restoration is performed (step S21). FIG. 16 shows the distance between the straight line portion of the reference character line and the curved portion of the reference character line.
[0068]
When the main scanning direction of scanning and the boundary line of the page binding portion 41 of the book document 40 are parallel, the image forming system has the following characteristics when the book document 40 is read by a scanner lens such as the lens unit 10. The main scanning direction is center projection, and the sub-scanning direction is projection. Here, three-dimensional shape restoration is performed using these characteristics. In the case of central projection, as shown in FIGS. 17 and 18, the surface of the book document 40 floats from the surface of the contact glass 2 and the image formation distance becomes long, and the magnification of the image becomes small. Curves inward. If the shrinkage amount AB in FIG. 18 is measured, the height d of the surface of the book floating in FIG. 17 can be calculated. Accordingly, if the amount of distortion inward of the straight line is measured, the three-dimensional shape (the amount of lifting of the book document 40 from the contact glass 2) can be restored.
[0069]
Here, it is assumed that the book document 40 is placed horizontally on the contact glass 2. Then, the three-dimensional shape becomes two-dimensional. The imaging relationship of the scanner lens is shown in FIG. OO ′ is the optical axis of the lens, and 0 is the center of the lens. F is the distance from the center 0 of the lens to the scanner surface (contact glass 2), which is called the focal length of the scanner. The point B on the scanner surface forms an image on D on the image plane. The point C on the surface of the floating bookbinding (book original 40) forms an image on E. The distance from the center 0 of each imaging plane is y ′ and y (the center 0 also moves as the first traveling body 5 and the second traveling body 8 move in the sub-scanning direction. This will be called the imaging center line). The following relational expressions (3) and (4) are obtained by the triangular similarity.
d / F = AB / AO ′ (3)
AB / AO ′ = (y′−y) / y (4)
Further, the amount d of lifting of the book document 40 is obtained by the following equation (5) from the equations (3) and (4).
d = F × ((y′−y) / y) (5)
It can be seen from this equation (5) that a three-dimensional shape is obtained from a two-dimensional strain amount. Here, the distortion amount (y′−y) and the distance y are obtained from the image. In the present embodiment, this is obtained from the distance between the straight line component of the character line or ruled line and the curved portion. The focal length F of the lens is a known amount determined by the scanner unit 1, and a setting value of the scanner unit 1 or a calibration value of the lens is used. Here, the function of the height estimation means is executed.
[0070]
Subsequently, the distortion of the scanned image is corrected based on the three-dimensional shape (step S22), and the luminance of the image is corrected (step S23). In the direction parallel to the page binding portion 41 of the book document 40, the vertical direction of the scanned image is shifted by one column so that the outer shape of the lower portion of the image becomes a straight line as shown in FIG. Then, the reduction ratio is calculated based on the amount of shrinking inward from the dotted line at the top of the scanned image, and scaling processing is performed. In the vertical direction, the scanned image is stretched along the surface of the book document 40. Also, the luminance correction of the image is performed with reference to the whitest image of each pixel column in the vertical direction. Details are disclosed in Japanese Patent Application Laid-Open No. 11-41455, and a description thereof will be omitted.
[0071]
On the other hand, if it is determined that the character is vertically written (N in step S15), the process proceeds to step S24, where rectangular extraction and vertical line extraction processing are performed. In step S24, the top or bottom rectangle of the line is obtained as shown in FIG. 21, and this is used as a reference character line to obtain the vertical outline.
[0072]
In subsequent steps S18 to S23, image distortion correction processing is performed using the center coordinates of each rectangle constituting the reference character line.
[0073]
When a declaration that the distortion correction processing is performed using ruled line information is made (Y in step S14), ruled lines drawn in the horizontal direction (sub-scanning direction) are extracted (step S25). In step S25, the histogram of the number of black pixels in the horizontal direction (sub-scanning direction) obtained in step S13 is used. As shown in FIG. 22, when there is a ruled line drawn in the horizontal direction, a thin and high peak appears in the histogram. Choose. When a certain length is designated, for example, the ruled line is longer than 80% of the longest ruled line. Then, the ruled line closest to the upper end or the lower end of the image among the selected ruled lines is selected as the reference ruled line. Further, one ruled line on the left side and one ruled line on the right side are selected from the boundary line of the page binding portion 41 of the book document 40, respectively.
[0074]
Subsequent steps S18 to S23 are basically the same as when character information is used, and thus description thereof is omitted.
[0075]
Here, FIG. 23 is a plan view showing an image in which distortion is corrected. According to the above processing, the distortion of the scanned image that has occurred in the vicinity of the page binding portion 41 of the book document 40 as shown in FIG. 9 is corrected as shown in FIG.
[0076]
By the way, when the page binding portion 41 of the book document 40 is lifted from the contact glass 2 in this way, the focus of the scanner lens is aligned with the surface of the contact glass 2, so that the book document 40 is contacted from the contact glass 2. The scanned image of the character portion in the vicinity of the page binding portion 41 that has been lifted is blurred. That is, a sharp image is formed in D shown in FIG. 19, but a blurred image is formed in E. Therefore, in subsequent steps S2 to S8, blur correction processing for correcting a blurred image (particularly, character blur) is performed.
[0077]
Next, the blur correction process will be described. In general, when the original image before blur correction is f (x, y) and the edge-enhanced image in which high-frequency components of the original image f (x, y) are emphasized is g (x, y), the original image f When the weighted sum of (x, y) and the edge-enhanced image g (x, y) is obtained, an unsharp filtered image s (x, y) is obtained, and this unsharp filtered image s (x, y) is The following formula (6),
s (x, y) = f (x, y) + k · g (x, y) (6)
It is represented by Here, k is a weighting factor. However, when the edge of the character is emphasized in this way, the noise in the background area tends to be enhanced together. Therefore, the blur correction process according to the present embodiment has both a smoothing effect and a high-frequency component emphasis effect at the same time in order to prevent noise in the background area from being emphasized together when correcting character blur. The character blur correction is performed using the blur correction filter.
[0078]
Here, the blur correction filter will be described in detail. The blur correction filter of the present embodiment introduces a Laplacian of Gaussian filter (hereinafter referred to as a LoG filter) together with a weighting factor k, and this LoG filter is represented by the following equation (7),
[0079]
[Expression 1]

It is represented by Here, σ is a parameter that determines the spread width of the filter.
[0080]
The unsharp filtered image s (x, y) is expressed by the following equation (8):
[0081]
[Expression 2]

It is represented by
[0082]
Further, the edge-enhanced image g (x, y) is expressed by the following equation (9),
[0083]
[Equation 3]

It is represented by
[0084]
Here, FIG. 24 shows the original image f (x, y) before blur correction, and FIG. 25 shows an edge-enhanced image in which the high-frequency component of the original image f (x, y) in FIG. 24 is emphasized by the blur correction filter. FIG. 26 shows an unsharp filtered image s (x, y) obtained by subjecting the original image f (x, y) of FIG. 24 to unsharp filtering using a blur correction filter.
[0085]
Thus, the blur correction filter has two parameters σ and k. The greater the parameter σ, the greater the smoothing effect because the width of the filter becomes wider. The smaller the value, the narrower the filter width, and the greater the edge enhancement effect. When the parameter σ of the blur correction filter approaches 0, it approximates to a Laplacian filter. That is, by adjusting this parameter σ, noise suppression and edge enhancement sharpness can be adjusted. On the other hand, the larger the value of the parameter k, the greater the effect of edge enhancement, and the smaller the value, the smaller the effect of blur restoration. Therefore, in the present embodiment, the shape-corrected scanned image is divided into a photo area, a character rectangular area, and a background area, and a different blur correction filter parameter is set for each area, so that the optimum for each area is set. Perform blur correction.
[0086]
That is, as shown in FIG. 6, when a photographic region is present in the scanned image after shape correction, the photographic region is extracted from the scanned image (step S2: region discrimination extracting unit), and the scanned image after shape correction is performed. If there is a character rectangular area in the image, a character rectangular area is extracted from the scanned image (step S3: area discrimination extracting means), and an area that is neither a photographic area nor a character rectangular area in the scanned image after shape correction. Extracted as a background area (step S4: area discrimination extraction means). In step S3, the size of the extracted character rectangle (average length of one side of each character rectangle, average length of diagonal lines of each character rectangle, etc.) is also obtained. Note that the processing for extracting a photographic region from a scanned image and the processing for extracting a character rectangular region from a scanned image are well-known techniques, and thus description thereof is omitted.
[0087]
In the subsequent step S5, the optimum parameter σ is set for each region, and in step S6, the optimum parameter k is set for each region. Hereinafter, the parameter setting of the blur correction filter for each region will be described.
[0088]
In the photographic region, the blur correction filter parameter k is set to a small value so that the edge is not overemphasized, and the blur correction filter parameter σ is set to a large value to suppress noise.
[0089]
In the character rectangular area, the blur correction filter parameter k is set large in order to enhance the edge enhancement effect. On the other hand, the parameter σ of the blur correction filter is basically set to be small, but considering the average rectangle size, the parameter σ is set to be smaller as the rectangle is smaller.
[0090]
In the background area, the parameter k of the blur correction filter is set to be small, and the parameter σ of the blur correction filter is set to be larger than that of the photograph area to suppress noise.
[0091]
Next, in step S7, the weighting coefficient p of the parameter k of the blur correction filter is set in accordance with the floating height d of the book document 40 obtained by Expression (5). Here, the function of the intensity adjusting means is executed. This is the following formula (10),
[0092]
[Expression 4]

It is represented by As a result, when the lift height d of the book document 40 is 0, it is equivalent to not performing the filter process. As the lift height d of the book document 40 increases, the blur correction filter increases in strength. It is possible to increase the blur correction effect.
[0093]
Then, the character blur of the scanned image is corrected by the blur correction filter in which the parameters σ, k, and p are set in this way (step S8), and the image is output (step S9). Through the above steps S5 to S8, the function of the blurred image correcting unit is executed.
[0094]
In this embodiment, the LoG filter is introduced as the blur correction filter. However, the present invention is not limited to this, and any blur correction filter that can adjust the filter width by a parameter may be used.
[0095]
Here, the blur correction process is adaptively performed using a blur correction filter capable of adjusting the intensity and width of various regions of the scanned image. This makes it possible to suppress, for example, noise in the background area from being emphasized during character blur correction processing due to a change in the surface shape of the book document 40, and to make the contrast of the photographic area unnatural. Therefore, it is possible to perform optimum character blur correction.
[0096]
Further, the floating height d of the book document 40 from the contact glass 2 is estimated, and the strength of the blur correction filter for various regions is adjusted according to the floating height d. As a result, the strength of the blur correction filter can be increased as the floating height d of the book document 40 from the contact glass 2 increases, so that blur correction of characters or the like in deeply floating portions and shallow portions is possible. It is possible to prevent unevenness from occurring.
[0097]
Further, when the floating height d of the book document 40 from the contact glass 2 is 0, since the image reading means is in focus with respect to the book document 40, the scanned image will not be blurred. By avoiding the execution of the processing, it is possible to increase the processing speed.
[0098]
In the present embodiment, the blur image correction apparatus is provided in the digital copying machine 16 that is an image forming apparatus, and image blur correction processing is performed on the scanned image read by the scanner unit 1 of the digital copying machine 16. However, it is not limited to this. For example, an image scanner provided with image reading means for reading a document image is connected to a personal computer having a system configuration equivalent to the main control unit 19 shown in FIG. 5, and the HDD of this personal computer is a storage medium. Even if the blurred image correction apparatus is configured by installing the program stored in the CD-ROM 37 and operating the CPU of the personal computer in accordance with this program, the same effects as those described above can be obtained. Can do. Further, the program stored in the CD-ROM 37 as a storage medium is installed in the HDD of a personal computer having a system configuration equivalent to that of the main control unit 19 shown in FIG. 5, and the CPU of the personal computer is operated according to this program. By doing so, the blur image correction apparatus may be configured, and the blur correction process may be performed on the scanned image read in advance by the image reading unit.
[0099]
【The invention's effect】
  According to the blur image correcting apparatus of the first aspect of the present invention, in the blur image correcting apparatus that corrects the blur of the scanned image obtained by reading the book document placed on the contact glass by the image reading unit, various types of the blurred image are corrected from the scanned image. An area discriminating and extracting means for discriminating and extracting an area;A height estimating means for estimating a height of floating of the book document from the contact glass based on the scanned image;The various areas extracted by the area discrimination extraction meansThe width and strength of the blur correction filter are adjusted by setting the parameters based on the above, and the weight coefficient of the blur correction filter is set by setting the parameter weighting factor based on the height of the float estimated by the height estimation means. Adjust the intensity,A blur image correction unit that performs a blur correction process suitable for the various areas of the scan image, and adaptively performs the blur correction process on the various areas of the scan image using a filter capable of adjusting the intensity and the width. As a result, it is possible to suppress, for example, noise in the background area from being emphasized during character blur correction processing due to a change in the surface shape of the book document, and to make the contrast in the photographic area unnatural. Therefore, the optimum character blur correction can be performed. Of the various areas extracted by the area discrimination extraction means,Blur correctionWhile making the width of the filter relatively narrow compared to other regions,Blur correctionBy making the filter strength relatively large compared to other areas, it is possible to surely edge-enhance the character rectangle area blurred due to the surface shape change of the book document, making it easy to read the characters in the scanned image can do. Furthermore, the smaller the character rectangle size in the character rectangle area, the moreBlur correctionBy narrowing the width of the filter, the edge emphasis can be enhanced as the character rectangle size is smaller, so that the characters of the scanned image can be more easily read.
[0100]
  According to the invention described in claim 2, in the blurred image correction apparatus according to claim 1,The blurred image correction means isIn the character rectangular areaOn the other handRecordBlur correctionUsing a filter in which the value of the parameter that adjusts the width of the filter is set smaller than in other regions (the filter represented by the expression (1) of claim 2), the parameter that adjusts the strength of the filter According to a predetermined calculation formula (value (2) according to claim 2) whose value is set to be larger than that of other regions, an image subjected to the blur correction processing is output, and, PlaceBy setting a weighting factor of a parameter for adjusting the strength of the filter in a constant calculation formula according to the height of the float, the strength of the filter is increased as the height of the float of the book original from the contact glass increases. Since it can be increased, it is possible to prevent the occurrence of unevenness in the blur correction of characters or the like between the deeply floating portion and the shallow portion.
[0108]
  According to the program of the third aspect of the present invention, there is provided a program for causing a computer to perform blur correction of a scan image obtained by reading a book document placed on a contact glass by an image reading unit, and causing the computer to perform the scan correction. An area discrimination extraction function for discriminating and extracting various areas from an image;A height estimation function for estimating the height of the book document from the contact glass based on the scanned image;The various areas extracted by the area discrimination extraction functionThe width and strength of the blur correction filter are adjusted by setting the parameters based on the above, and the weight coefficient of the blur correction filter is set by setting the parameter weighting factor based on the height of the float estimated by the height estimation means. Adjust the intensity,A blur image correction function for performing blur correction processing suitable for the various areas of the scanned image, and adaptively performing blur correction processing on the various areas of the scanned image using a filter capable of adjusting the intensity and width. As a result, for example, noise in the background area can be prevented from being emphasized during the character blur correction process due to the surface shape change of the book document, and the contrast in the photographic area becomes unnatural. Therefore, the optimum character blur correction can be performed. Of the various areas extracted by the area discrimination extraction function,Blur correctionWhile making the width of the filter relatively narrow compared to other regions,Blur correctionBy making the filter strength relatively large compared to other areas, it is possible to surely edge-enhance the character rectangle area blurred due to the surface shape change of the book document, making it easy to read the characters in the scanned image can do. Furthermore, the smaller the character rectangle size in the character rectangle area, the moreBlur correctionBy narrowing the width of the filter, the edge emphasis can be enhanced as the character rectangle size is smaller, so that the characters of the scanned image can be more easily read.
[0109]
  According to invention of Claim 4, in the program of Claim 3,The blurred image correction function isThe character rectangular areaAgainstRecordBlur correctionThe parameter for adjusting the strength of the filter is adjusted by using a filter (a filter represented by the expression (1) according to claim 4) in which the value of the parameter for adjusting the width of the filter is set smaller than that in other regions. An image subjected to the blur correction process is output according to a predetermined calculation formula (Equation (2) according to claim 4) in which a value is set to be larger than that of other regions, and, PlaceBy setting a weighting factor of a parameter for adjusting the strength of the filter in a constant calculation formula according to the height of the float, the strength of the filter is increased as the height of the float of the book original from the contact glass increases. Since it can be increased, it is possible to prevent the occurrence of unevenness in the blur correction of characters or the like between the deeply floating portion and the shallow portion.
[Brief description of the drawings]
FIG. 1 is a longitudinal front view showing a configuration of a scanner unit according to an embodiment of the present invention.
FIG. 2 is a perspective view showing an upper part of a digital copying machine equipped with a scanner unit.
FIG. 3 is a block diagram showing an electrical connection of a control system of a scanner unit.
FIG. 4 is a block diagram illustrating a basic internal configuration of an image processing unit.
FIG. 5 is a block diagram showing electrical connection of a main control unit.
FIG. 6 is a flowchart schematically illustrating a flow of a blur correction process for a scanned image.
FIG. 7 is a perspective view showing a state in which a book document is placed on a contact glass of a scanner unit.
FIG. 8 is a flowchart schematically showing a flow of shape correction processing.
FIG. 9 is a plan view illustrating an example of an input image.
FIG. 10 is an explanatory diagram illustrating distortion in the vicinity of a page binding portion of a scanned image.
11 is a black pixel histogram of the image shown in FIG. 9;
FIG. 12 is an explanatory diagram illustrating an example of a result of character circumscribed rectangle extraction processing and character line extraction processing of a scanned image.
FIG. 13 is an explanatory diagram showing the principle of Hough transform.
FIG. 14 is an explanatory diagram showing a result of extracting the straight line of FIG. 12 by Hough transform.
FIG. 15 is an explanatory diagram showing a result of extracting the curve portion of FIG. 12 by the method of least squares.
FIG. 16 is an explanatory diagram showing a distance between a straight line portion of a reference character line and a curved portion of the reference character line.
FIG. 17 is an explanatory diagram showing the floating height of the surface of a book.
FIG. 18 is an explanatory diagram showing the amount by which an image shrinks.
FIG. 19 is an explanatory diagram showing an imaging relationship of a scanner lens.
FIG. 20 is an explanatory diagram showing image shift.
FIG. 21 is an explanatory diagram showing a reference character line when a character is vertically written.
FIG. 22 is an explanatory diagram showing ruled lines drawn in the horizontal direction.
FIG. 23 is a plan view showing a shape-corrected image.
FIG. 24 is an explanatory diagram showing an original image before blur correction.
25 is an explanatory diagram showing an edge enhanced image in which a high frequency component of the original image in FIG. 24 is enhanced by a blur correction filter.
FIG. 26 is an explanatory diagram showing an unsharp filtered image obtained by performing unsharp filtering on the original image of FIG. 24 using a blur correction filter.
FIG. 27 is a front view showing a state in which a book document is placed on the contact glass.
[Explanation of symbols]
1 Image reader
2 Contact glass
16 Image forming apparatus
29 Blurred image correction device
40 book manuscript

Claims

In a blurred image correction apparatus that corrects a blur of a scanned image obtained by reading a book document placed on a contact glass by an image reading unit,
Area discrimination extraction means for discriminating and extracting various areas from the scanned image;
A height estimating means for estimating a height of floating of the book document from the contact glass based on the scanned image;
Adjusting the width and strength of the blur correction filter by setting the parameter based on the various areas extracted by the area discriminating extracting means further parameter based on the height of the float, which is estimated by the height estimating section A blur image correction unit that adjusts the strength of the blur correction filter by setting a weighting factor of the blur image and performs blur correction processing suitable for the various regions of the scanned image,
The blurred image correction means includes
For the character rectangular area of the various regions,
The width of the blur correction filter is relatively narrow compared to other regions, and the strength of the blur correction filter is relatively large compared to other regions,
Among them, the blur image correction apparatus is characterized in that the smaller the character rectangle size in the character rectangle area, the narrower the blur correction filter.

The blurred image correction means includes
For the character rectangle area,
With a filter value of the parameter σ to adjust the width before Symbol blur correction filter is shown in small set following formula (1) as compared with other regions, the value of the parameter k to adjust the intensity of said filter The image s (x, y) subjected to the blur correction process is output according to the calculation formula shown in the following formula (2) that is set to be larger than that in other regions,
Further, the weighting factor p of the parameter k to adjust the intensity of the filter under SL (2), the blurred image correction apparatus according to claim 1, wherein the set according to the height of the float.

A program for causing a computer to perform blur correction of a scanned image obtained by reading a book document placed on a contact glass by an image reading unit,
An area discrimination extraction function for discriminating and extracting various areas from the scanned image;
A height estimation function for estimating the height of floating of the book document from the contact glass based on the scanned image;
Adjusting the width and strength of the blur correction filter by setting the parameter based on the various regions extracted by the region discrimination extracting function, further parameters based on the height of the float, which is estimated by the height estimating section A blur image correction function that adjusts the strength of the blur correction filter by setting a weighting coefficient of the image and performs a blur correction process suitable for the various regions of the scanned image ,
The blurred image correction function is
For the character rectangular area of the various regions,
With relatively narrow compared to the width of the front Symbol blur correction filter in other regions, relatively larger than the strength of the blur correction filter to another area,
Among them, a program for narrowing the width of the blur correction filter as the character rectangle size in the character rectangle area is smaller.

The blurred image correction function is
For the character rectangular area ,
With a filter value of the parameter σ to adjust the width before Symbol blur correction filter is shown in small set following formula (1) as compared with other regions, the value of the parameter for adjusting the intensity of said filter other The image s (x, y) subjected to the blur correction process is output by the calculation formula shown in the following formula (2), which is set larger than the area of
Further, according to claim 3, wherein the program, characterized in that the weighting coefficient p of the parameter k to adjust the intensity of the filter under SL (2), set according to the height of the float.