JP3697464B2 - Document image processing apparatus, imaging apparatus, and document image processing program - Google Patents

Document image processing apparatus, imaging apparatus, and document image processing program Download PDF

Info

Publication number
JP3697464B2
JP3697464B2 JP2002051397A JP2002051397A JP3697464B2 JP 3697464 B2 JP3697464 B2 JP 3697464B2 JP 2002051397 A JP2002051397 A JP 2002051397A JP 2002051397 A JP2002051397 A JP 2002051397A JP 3697464 B2 JP3697464 B2 JP 3697464B2
Authority
JP
Japan
Prior art keywords
background
correction data
data
background correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002051397A
Other languages
Japanese (ja)
Other versions
JP2003256773A (en
Inventor
大作 保理江
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2002051397A priority Critical patent/JP3697464B2/en
Publication of JP2003256773A publication Critical patent/JP2003256773A/en
Application granted granted Critical
Publication of JP3697464B2 publication Critical patent/JP3697464B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置で撮影された文書画像の画像データを補正する技術に関するものである。
【０００２】
【従来の技術】
被写体のディジタル画像データを生成するディジタル撮像装置は、被写体とディジタル撮像装置との距離、照明条件等の撮像条件が予め設定されている密着型と撮像条件が自由に変化するオープン型とに大別される。ディジタルカメラ等のオープン型のディジタル撮像装置は、画像処理により撮影された画像の画質を自在に制御できることから、撮影の目的や被写体の種類の応じて撮影画像の画質の処理を適正に行なうことによって、通常の銀塩フィルムに撮影するカメラと比較してより好適な画質の画像を取り込むことができるという利点がある。このため、通常の写真撮影のためだけでなく、例えば会議場でホワイトボードに書かれた文字、図形等の文書情報を写し取るための機器として利用されている。
【０００３】
一方、ディジタルカメラで文字や図形等が書かれたホワイトボードを撮影する場合には、ホワイトボード上の文書には照度ムラや文字または図形の掠れ等が発生するため、鮮明な画質の画像が得られにくい。そこで、このような撮影で得られた画像データに対して、白地部分（ホワイトボードの部分）を本来の白色に変更する（白く飛ばす）ことで文書情報部分（文字や図形の部分）の鮮明度を高める補正を行なうことが望ましい。
【０００４】
上記の画像データの補正方法として、特開２００１−４５２４４号公報に開示されているように、１ライン毎に当該ラインに含まれる画素の画像データのピーク値（最大輝度値）を使用して１ライン毎に補正を行なう方法が知られている。この方法では、１ラインという局所的な情報によって１ライン毎に補正が行なわれるため、補正の精度が不充分であった。例えば、ホワイトボードに予め印刷されている格子線に含まれるラインについては、ピーク値が格子線の輝度に影響され、充分な補正が行なわれない場合がある。
【０００５】
【発明が解決しようとする課題】
出願人は、全体画像を複数の小画像（ブロックという）に分割して小画像毎に各小画像の画像データに基づいて補正する方法を提案した（特開平１０−２１０３５４）。この方法は、各ブロックの画像データの内、輝度への寄与の大きい緑色成分についてレベル分布のヒストグラムを作成し、最大度数の階級を白色飽和レベルＷとして設定して、当該ブロックの画像データの緑色成分を図１５に示すように白色飽和レベルＷで出力レベルを飽和させる補正曲線を用いて補正するものである。
【０００６】
この方法によれば、１ライン毎に補正する場合と比較して補正に使用する情報の局所性が軽減されるため、補正の精度が向上する。しかし、この方法は、ブロック毎に異なる補正曲線を用いて画像データが補正されるため、ブロック内の画像全体が暗く且つ文字（又は図形）の密度が多い場合に補正が過度に行なわれる場合が有った。さらに、１ライン毎に補正する場合と比較して局所性は軽減されるが、軽減の程度が充分ではなく、画像データの補正の精度を更に向上する必要がある場合があった。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、撮像装置で撮影された文書画像の画像データを補正するための適正な補正データを求める文書画像処理装置、撮像装置及び文書画像処理プログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
請求項１に記載の文書画像処理装置は、撮像装置で撮影された文書画像の画像データを補正するための下地補正データを求める文書画像処理装置であって、文書画像全体を第１の方向について第１の所定数の第１エリアに分割する第１分割手段と、文書画像全体を前記第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割する第２分割手段と、前記第１エリアを前記第２の方向について前記第２分割手段による画像の分割位置と一致する位置で前記第２の所定数のブロックに分割する第３分割手段と、前記第１エリアに含まれる画素の画像データから前記第１エリア毎に下地の第１下地補正データを求める第１下地算出手段と、前記第２エリアに含まれる画素の画像データから前記第２エリア毎に下地の第２下地補正データを求める第２下地算出手段と、前記ブロックに含まれる画素の画像データから前記ブロック毎に下地の第３下地補正データを求める第３下地算出手段と、前記第１下地補正データ、第２下地補正データ及び第３下地補正データを用いて前記ブロック毎に第４下地補正データを求める第４下地算出手段とを備えることを特徴としている。
【０００９】
上記の構成によれば、第１分割手段によって、文書画像全体が第１の方向について第１の所定数の第１エリアに分割され、第１下地算出手段によって、この第１エリアに含まれる画素の画像データから第１エリア毎に下地の第１下地補正データが求められる。また、第２分割手段によって、文書画像全体が第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割され、第２下地算出手段によって、この第２エリアに含まれる画素の画像データから第２エリア毎に下地の第２下地補正データが求められる。さらに、第３分割手段によって、第１エリアが第２の方向について第２分割手段による画像の分割位置と一致する位置で第２の所定数のブロックに分割され、第３下地算出手段によって、このブロックに含まれる画素の画像データからブロック毎に下地の第３下地補正データが求められる。そして、第４下地算出手段によって、第１下地補正データ、第２下地補正データ及び第３下地補正データを用いてブロック毎に第４下地補正データが求められる。
【００１０】
このようにして、第４下地補正データは、第１エリアに含まれる画素の画像データから求められる第１下地補正データと、第２エリアに含まれる画素の画像データから求められる第２下地補正データと、ブロックに含まれる画素の画像データから求められる第３下地補正データとを用いて求められるため、当該ブロックに含まれる画像データの特徴（照度、文字や図形の密度等）が反映され、且つ、第１又は第２エリアに含まれる周囲の画像データの特徴も反映された適正な下地補正データ（第４下地補正データ）が得られる。
【００１１】
すなわち、ブロックに含まれる画像データの特徴に、当該ブロックを含む第１及び第２エリアの画像データの特徴が加味されて補正データが得られるため、局所性及び方向性が解消された適正な補正データが得られることになる。そして、この下地補正データを用いて画像データの補正を行なう場合には、適正な補正が行なわれ、下地部分に対してより鮮明な文書画像データが得られる。
【００１２】
請求項２に記載の撮像装置は、被写体の画像データを生成する画像データ生成手段と、画像全体を第１の方向について第１の所定数の第１エリアに分割する第１分割手段と、画像全体を前記第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割する第２分割手段と、前記第１エリアを前記第２の方向について前記第２分割手段による画像の分割位置と一致する位置で前記第２の所定数のブロックに分割する第３分割手段と、前記第１エリアに含まれる画素の画像データから前記第１エリア毎に下地の第１下地補正データを求める第１下地算出手段と、前記第２エリアに含まれる画素の画像データから前記第２エリア毎に下地の第２下地補正データを求める第２下地算出手段と、前記ブロックに含まれる画素の画像データから前記ブロック毎に下地の第３下地補正データを求める第３下地算出手段と、前記第１下地補正データ、第２下地補正データ及び第３下地補正データを用いて前記ブロック毎に第４下地補正データを求める第４下地算出手段とを備えることを特徴としている。
【００１３】
上記の構成によれば、画像データ生成手段によって、被写体の画像データが生成される。そして、第１分割手段によって、この画像全体が第１の方向について第１の所定数の第１エリアに分割され、第１下地算出手段によって、この第１エリアに含まれる画素の画像データから第１エリア毎に下地の第１下地補正データが求められる。また、第２分割手段によって、画像全体が第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割され、第２下地算出手段によって、この第２エリアに含まれる画素の画像データから第２エリア毎に下地の第２下地補正データが求められる。さらに、第３分割手段によって、第１エリアが第２の方向について第２分割手段による画像の分割位置と一致する位置で第２の所定数のブロックに分割され、第３下地算出手段によって、このブロックに含まれる画素の画像データからブロック毎に下地の第３下地補正データが求められる。そして、第４下地算出手段によって、第１下地補正データ、第２下地補正データ及び第３下地補正データを用いてブロック毎に第４下地補正データが求められる。
【００１４】
このようにして、第４下地補正データは、第１エリアに含まれる画素の画像データから求められる第１下地補正データと、第２エリアに含まれる画素の画像データから求められる第２下地補正データと、ブロックに含まれる画素の画像データから求められる第３下地補正データとを用いて求められるため、被写体が文書（文字や図形等）が書かれたホワイトボード等である場合に、当該ブロックに含まれる画像データの特徴（照度、文字や図形の密度等）が反映され、且つ、第１又は第２エリアに含まれる周囲の画像データの特徴も反映された適正な下地補正データ（第４下地補正データ）が得られる。
【００１５】
すなわち、ブロックに含まれる画像データの特徴に、当該ブロックを含む第１及び第２エリアの画像データの特徴が加味されて補正データが得られるため、局所性及び方向性が解消された適正な補正データが得られることになる。そして、この下地補正データを用いて画像データの補正を行なう場合には、適正な補正が行なわれ、下地部分に対してより鮮明な文書画像データが得られる。
【００１６】
請求項３に記載の撮像装置は、請求項２に記載の撮像装置であって、外部から文書画像データであるか否かの選択を受け付ける選択手段を更に備えることを特徴としている。
【００１７】
上記の構成によれば、選択手段によって、外部から文書画像データであるか否かの選択が受け付けられるため、文書画像であるか否かの判別が確実に行なわれ、文書画像データであるか否かの判別処理が不要となる。更に、文書画像である場合の他、他種の画像、例えば写真画像に対しても、適正な補正処理が適用可能となる。
【００１８】
請求項４に記載の文書画像処理プログラムは、撮像装置で撮影された文書画像の画像データを補正するための下地補正データを求める文書画像処理プログラムであって、コンピュータを、文書画像全体を第１の方向について第１の所定数の第１エリアに分割する第１分割手段と、文書画像全体を前記第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割する第２分割手段と、前記第１エリアを前記第２の方向について前記第２分割手段による画像の分割位置と一致する位置で前記第２の所定数のブロックに分割する第３分割手段と、前記第１エリアに含まれる画素の画像データから前記第１エリア毎に下地の第１下地補正データを求める第１下地算出手段と、前記第２エリアに含まれる画素の画像データから前記第２エリア毎に下地の第２下地補正データを求める第２下地算出手段と、前記ブロックに含まれる画素の画像データから前記ブロック毎に下地の第３下地補正データを求める第３下地算出手段と、前記第１下地補正データ、第２下地補正データ及び第３下地補正データを用いて前記ブロック毎に第４下地補正データを求める第４下地算出手段として機能させることを特徴としている。
【００１９】
上記のプログラムによれば、第１分割手段によって、文書画像全体が第１の方向について第１の所定数の第１エリアに分割され、第１下地算出手段によって、この第１エリアに含まれる画素の画像データから第１エリア毎に下地の第１下地補正データが求められる。また、第２分割手段によって、文書画像全体が第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割され、第２下地算出手段によって、この第２エリアに含まれる画素の画像データから第２エリア毎に下地の第２下地補正データが求められる。さらに、第３分割手段によって、第１エリアが第２の方向について第２分割手段による画像の分割位置と一致する位置で第２の所定数のブロックに分割され、第３下地算出手段によって、このブロックに含まれる画素の画像データからブロック毎に下地の第３下地補正データが求められる。そして、第４下地算出手段によって、第１下地補正データ、第２下地補正データ及び第３下地補正データを用いてブロック毎に第４下地補正データが求められる。
【００２０】
このようにして、第４下地補正データは、第１エリアに含まれる画素の画像データから求められる第１下地補正データと、第２エリアに含まれる画素の画像データから求められる第２下地補正データと、ブロックに含まれる画素の画像データから求められる第３下地補正データとを用いて求められるため、当該ブロックに含まれる画像データの特徴（照度、文字や図形の密度等）が反映され、且つ、第１又は第２エリアに含まれる周囲の画像データの特徴も反映された適正な下地補正データ（第４下地補正データ）が得られる。
【００２１】
すなわち、ブロックに含まれる画像データの特徴に、当該ブロックを含む第１及び第２エリアの画像データの特徴が加味されて補正データが得られるため、局所性及び方向性が解消された適正な補正データが得られることになる。そして、この下地補正データを用いて画像データの補正を行なう場合には、適正な補正が行なわれ、下地部分に対してより鮮明な文書画像データが得られる。
【００２２】
【発明の実施の形態】
図１は、本発明に係る一実施形態であるディジタルカメラの主要部の構成を示すブロック図である。
【００２３】
図１に示すディジタルカメラは、文書等の被写体画像の画像データを生成する画像データ生成部１（画像データ生成手段に相当する）と、外部から文書画像データであるか否かの選択を受け付けるスライドスイッチ等からなる選択部２（選択手段に相当する）と、文書画像データの補正を行なう文書画像データ補正部３と、メモリカード等の記録媒体に画像データを格納する画像データ記録部４とを備える。
【００２４】
図２は、画像データ生成部１の主要部の構成を示すブロック図である。画像データ生成部１は、被写体からの光を集光するレンズ１１と、複数の受光素子が配列され、被写体からの光をそれぞれの受光素子で光電変換し、変換された電荷を蓄積するＣＣＤ（電荷結合素子）１２と、ＣＣＤ２を駆動するＣＣＤ駆動部１３とを備える。
【００２５】
撮像レンズ１１は、例えば電動式のズームレンズである。レンズ駆動部１１１は、撮像レンズ１１の合焦動作及びズーミング動作を行なう。撮像レンズ１１の光軸Ｌ上の光束の結像位置には、露光制御用のメカニカルシャッタ１１２を介してＣＣＤ１２が設けられている。なお、図示していないが、必要に応じて絞り、光学式ローパスフィルタ、赤外線カットフィルタ、又は光量調節用のＮＤフィルタ等が設けられている。
【００２６】
ＣＣＤ１２の前面（被写体側）には、所定の（例えば、ベイヤー（Ｂａｙｅｒ）方式の）色配列を有する色フィルタ１１３（ここではＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色からなる原色フィルタ）が配設されている。
【００２７】
ＣＣＤ１２は、フォトダイオードからなる受光素子がマトリクス状に配列されたインタライン転送型ＣＣＤである。また、ＣＣＤ１２はタイミングジェネレータ１３１から出力される制御信号に応じて残留電荷の放出等の所定の動作を行ない、入射される光を光電変換し、更に露光時間に亘って得た蓄積電荷を画像信号として信号処理部１３２へ出力する。
【００２８】
信号処理部１３２は、ＣＣＤ１２から出力された信号を相関二重サンプリング処理やＡ／Ｄ変換処理等の信号処理を施し、ディジタル化された画像データとして文書画像データ補正部３に出力するものである。なお、この画像データは受光素子に対応する個数の集合として得られ、ここでは、Ｒ，Ｇ，Ｂ色それぞれについて１画像当たり３１４５７２８画素（＝１５３６画素（縦方向）×２０４８画素（横方向））分だけ出力される。
【００２９】
文書画像データ補正部３は、Ｒ，Ｇ，Ｂデータからなる画像データを後述するＹ，Ｃｒ，Ｃｂデータからなる画像データに変換する前処理部３０と、画像全体を第１の方向（ここでは横方向）に所定数（ここでは１６個）に分割して縦長エリアＡＲｋ（ｋ＝１〜１６）（図３参照）を形成する第１分割部３１（第１分割手段に相当する）と、画像全体を第１の方向と異なる第２の方向（ここでは縦方向）に所定数（ここでは１２個）に分割して横長エリアＢＲｈ（ｈ＝１〜１２）（図４参照）を形成する第２分割部３２（第２分割手段に相当する）と、第２分割部３２による画像の分割位置と一致する位置で縦長エリアＡＲｋを第２の方向（ここでは縦方向）に１２個のブロックＣＲｋ，ｈ（ｋ＝１〜１６、ｈ＝１〜１２）（図５参照）に分割する第３分割部３３（第３分割手段に相当する）とを備えると共に、縦長エリアＡＲｋに含まれる画素の画像データから縦長エリアＡＲｋ毎に下地の下地補正データＬＡｋ（ｋ＝１〜１６）を求める第１下地算出部３４（第１下地算出手段に相当する）と、横長エリアＢＲｈに含まれる画素の画像データから横長エリアＢＲｈ毎に下地の下地補正データＬＢｈ（ｈ＝１〜１２）を求める第２下地算出部３５（第２下地算出手段に相当する）と、ブロックＣＲｋ，ｈに含まれる画素の画像データからブロックＣＲｋ，ｈ毎に高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈ（ｋ＝１〜１６、ｈ＝１〜１２）（第３下地補正データに相当する）を求める第３下地算出部３６（第３下地算出手段に相当する）とを備え、更に、下地補正データＬＡｋ、下地補正データＬＢｈ、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを用いてブロックＣＲｋ，ｈ毎に下地補正データＬＤｋ，ｈ（ｋ＝１〜１６、ｈ＝１〜１２）を求める第４下地算出部３７（第４下地算出手段に相当する）と、下地補正データＬＤｋ，ｈに基づいて画像データを補正する補正部３８と、種々の後処理を行なう後処理部３９とを備える。
【００３０】
前処理部３０は、以下に示す色変換のための（１−１）〜（１−３）式に従って、Ｒ，Ｇ，Ｂデータからなる画像データをＹ，Ｃｒ，Ｃｂデータからなる画像データに変換するものである。なお、（１−１）〜（１−３）式の結果値のＬＵＴ（ルックアップテーブル）を備える形態でもよい。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ （１−１）
Ｃｒ＝Ｒ−Ｙ （１−２）
Ｃｂ＝Ｂ−Ｙ （１−３）
なお、（１−１）式で求められるＹデータは輝度データである。また、ここでは、Ｙデータは２５６階調のデータであるものとする。以降の画像処理においては、Ｙ，Ｃｒ，Ｃｂデータが用いられる。
【００３１】
第１分割部３１は、図３に示すように、縦方向１５３６画素、横方向２０４８画素からなる全体画像データを、横方向にそれぞれ縦方向１５３６画素、横方向１２８画素からなる１６個の縦長エリアＡＲｋ（ｋ＝１〜１６）に分割するものである。
【００３２】
第２分割部３２は、図４に示すように、縦方向１５３６画素、横方向２０４８画素からなる全体画像データを、縦方向にそれぞれ縦方向１２８画素、横方向２０４８画素からなる１２個の横長エリアＢＲｈ（ｈ＝１〜１２）に分割するものである。
【００３３】
第３分割部３３は、図５に示すように、縦方向１５３６画素、横方向１２８画素からなる１６個の縦長エリアＡＲｋ（ｋ＝１〜１６）を、第２分割部３２による画像の分割位置と一致する位置で縦方向にそれぞれ縦方向１２８画素、横方向１２８画素からなる１２個のブロックＣＲｋ，ｈ（ｋ＝１〜１６、ｈ＝１〜１２）に分割するものである。なお、ブロックＣＲｋ，ｈは、縦長エリアＡＲｋと横長エリアＢＲｈとの共通画素の集合である。すなわち、ブロックＣＲｋ，ｈに含まれる画素は、縦長エリアＡＲｋ及び横長エリアＢＲｈの両方に含まれる画素である。
【００３４】
第１下地算出部３４は、縦長エリアＡＲｋ（ｋ＝１〜１６）毎の下地補正データＬＡｋ（ｋ＝１〜１６）を求めるもので、以下の各処理を実行する。すなわち、第１下地算出部３４は、縦長エリアＡＲｋについて、縦方向及び横方向共に所定画素毎（ここでは、８画素毎）にＹデータを抽出し、その値を１／４倍して６４階調データとして求めると共に、図６に示すように各階調毎のクラスでヒストグラムを作成し、このヒストグラム中より最大度数のクラスの６４階調データを抽出し、且つ、４倍して（２５６階調データに戻して）下地補正データＬＡｋ（ｋ＝１〜１６）を得る。
【００３５】
また、第１下地算出部３４は、縦長エリアＡＲｋ（ｋ＝１〜１６）毎に、注目縦長エリアＡＲｋと隣接する第１エリアＡＲ（ｋ−１）、ＡＲ（ｋ＋１）との下地補正データＬＡｋ、ＬＡ（ｋ−１）、ＬＡ（ｋ＋１）の中央値を注目縦長エリアＡＲｋの下地補正データＬＡｋとして求める（この処理を、平均化処理という）。更に、１６個の下地補正データＬＡｋから、最大のデータと最小のデータとを除いた１４個のデータを抽出し、その平均値である縦長エリア平均値ＬＡＡＶを求める。なお、左右両端の縦長エリアＡＲ１、ＡＲ１６の下地補正データＬＡ１及びＬＡ１６と縦長エリア平均値ＬＡＡＶとの差がそれぞれ所定階調（ここでは５０階調）以上である場合には、下地補正データＬＡ２を下地補正データＬＡ１に代入し、下地補正データＬＡ１５を下地補正データＬＡ１６に代入する（この処理を端部処理という）。
【００３６】
ここで、８画素毎のＹデータを使用するのは、全画素を使用する場合と比較して、ヒストグラムの作成に使用するデータ数を削減することによって計算時間を削減するためである。また、Ｙデータを１／４倍した６４階調データを使用するのは、ヒストグラムを作成するための集計計算に要する時間を削減するためである。なお、ここでは、８画素毎のデータを使用しているが、必ずしもこれに限定されるものではなく、計算時間と計算精度との関係で、適宜何画素毎の（又は全画素の）データを使用するかを設定することが可能である。また、ここでは、Ｙデータを１／４倍した６４階調データを使用しているが、必ずしもこれに限定されるものではなく、計算時間と計算精度との関係で、適宜Ｙデータを何倍（１倍を含む）したデータを使用するかを設定することが可能である。
【００３７】
ここで、平均化処理を施しているのは、隣接する縦長エリアＡＲｋの下地補正データＬＡｋ間の差が過大になることを防止するためである。また、端部処理を施しているのは、全体画像データの端部には、文書画像以外の画像（例えば背景画像）等の画像データが含まれている場合があり、この画像データが文書画像データの補正に影響を与えることを防止するためである。
【００３８】
第２下地算出部３５は、横長エリアＢＲｈ（ｈ＝１〜１２）毎の下地補正データＬＢｈ（ｈ＝１〜１２）を求めるもので、以下の各処理を実行する。すなわち、第２下地算出部３５は、横長エリアＢＲｈについて、縦方向及び横方向共に所定画素毎（ここでは、８画素毎）にＹデータを抽出し、その値を１／４倍して６４階調データとして求めると共に、図６に示すように各階調毎のクラスでヒストグラムを作成し、このヒストグラム中より最大度数のクラスの６４階調データを抽出し、且つ、４倍して（２５６階調データに戻して）下地補正データＬＢｈ（ｈ＝１〜１２）を得る。
【００３９】
また、第２下地算出部３５は、横長エリアＢＲｈ（ｈ＝１〜１２）毎に、注目第２エリアＢＲｈと隣接する横長エリアＢＲ（ｈ−１）、ＢＲ（ｈ＋１）との下地補正データＬＢｈ、ＬＢ（ｈ−１）、ＬＢ（ｈ＋１）の中央値を注目横長エリアＢＲｈの下地補正データＬＢｈとして求める。更に、１２個の下地補正データＬＢｈから、最大のデータと最小のデータとを除いた１０個のデータを抽出し、その平均値である横長エリア平均値ＬＢＡＶを求める。なお、左右両端の横長エリアＢＲ１、ＢＲ１２の下地補正データＬＢ１及びＬＢ１２と横長エリア平均値ＬＢＡＶとの差がそれぞれ所定階調（ここでは５０階調）以上である場合には、下地補正データＬＢ２を下地補正データＬＢ１に代入し、下地補正データＬＢ１１を第２下地補正データＬＢ１２に代入する。
【００４０】
第３下地算出部３６は、ブロックＣＲｋ,ｈ（ｋ＝１〜１６、ｈ＝１〜１２）毎の高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈ（ｋ＝１〜１６、ｈ＝１〜１２）（第３下地補正データに相当する）を求める以下の処理を行なう。すなわち、第３下地算出部３６は、ブロックＣＲｋ,ｈについて、縦方向及び横方向共に所定画素毎（ここでは、８画素毎）にＹデータを抽出し、その値を１／４倍して６４階調データとして求めると共に、図７に示すように各階調毎のクラスでヒストグラムを作成する。
【００４１】
また、第３下地算出部３６は、このヒストグラムについて、高輝度側から次の▲１▼及び▲２▼の２条件を満たすクラスを検索し、該当するクラス（第１クラスという）の６４階調データを４倍して（２５６階調データに戻して）、高輝度側下地補正データＬＣＨｋ,ｈを得る。
▲１▼度数＞ＴＨ１
▲２▼度数が、そのクラスより低輝度側の３クラスの度数より大きい。
ここで、閾値ＴＨ１は、ここでは３２（＝１２８×１２８÷６４÷８）であって、ヒストグラムを作成する対象とした画素のＹデータが全クラスに均一に分布している場合の各クラスの度数である。
【００４２】
更に、第３下地算出部３６は、このヒストグラムについて、第１クラスから低輝度側に向けて次の▲３▼〜▲５▼の３条件を満たすクラスを検索し、該当するクラスの６４階調データを４倍して（２５６階調データに戻して）低輝度側下地補正データＬＣＬｋ,ｈを得る。
▲３▼度数＞ＴＨ２
▲４▼度数が、そのクラスより高輝度側のクラスの度数より大きい。
▲５▼度数が、そのクラスより低輝度側の３クラスの度数より全て大きい。
ここで、閾値ＴＨ２は、閾値ＴＨ１と同様に３２である。
【００４３】
第４下地算出部３７は、下地補正データＬＡｋ、下地補正データＬＢｈ、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを用いて、ブロックＣＲｋ,ｈ毎の下地補正データＬＤｋ，ｈを求めるもので、以下の各処理を実行する。
【００４４】
すなわち、第４下地算出部３７は、ブロックＣＲｋ,ｈについて、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを、そのブロックの画素を含む縦長エリアＡＲｋの下地補正データＬＡｋと比較し、下地補正データＬＡｋの値に近い方を縦方向下地補正データＬＤＡｋ,ｈとして設定する。
【００４５】
ただし、縦方向下地補正データＬＤＡｋ,ｈと下地補正データＬＡｋとの差が予め設定されている所定値（ここでは６０階調）以上である場合には、下地補正データＬＡｋが縦方向下地補正データＬＤＡｋ,ｈとされる。縦方向下地補正データＬＤＡｋ,ｈと下地補正データＬＡｋとの差が比較の結果、予め設定されている所定値の範囲（ここでは、４０〜５９階調）である場合には、下地補正データＬＡｋと縦方向下地補正データＬＤＡｋ,ｈとの平均値が縦方向下地補正データＬＤＡｋ,ｈとされる。
【００４６】
例えば、高輝度側下地補正データＬＣＨｋ,ｈが「１６０」、低輝度側下地補正データＬＣＬｋ,ｈが「１１０」、下地補正データＬＡｋが「２３０」である場合には、高輝度側下地補正データＬＣＨｋ,ｈの方が低輝度側下地補正データＬＣＬｋ,ｈより下地補正データＬＡｋの値に近いため、高輝度側下地補正データＬＣＨｋ,ｈが縦方向下地補正データＬＤＡｋ,ｈとされる。そして、縦方向下地補正データＬＤＡｋ,ｈ（＝１６０）と下地補正データＬＡｋとの差（＝８０）が６０階調以上であるため、下地補正データＬＡｋが縦方向下地補正データＬＤＡｋ,ｈとされる。その結果、縦方向下地補正データＬＤＡｋ,ｈは「２３０」となる。
【００４７】
また、例えば、高輝度側下地補正データＬＣＨｋ,ｈが「１８０」、低輝度側下地補正データＬＣＬｋ,ｈが「１１０」、下地補正データＬＡｋが「２３０」である場合には、高輝度側下地補正データＬＣＨｋ,ｈの方が低輝度側下地補正データＬＣＬｋ,ｈより下地補正データＬＡｋの値に近いため、高輝度側下地補正データＬＣＨｋ,ｈが縦方向下地補正データＬＤＡｋ,ｈとされる。そして、縦方向下地補正データＬＤＡｋ,ｈと下地補正データＬＡｋとの差（＝５０）が４０〜５９階調の範囲内であるため、下地補正データＬＡｋと縦方向下地補正データＬＤＡｋ,ｈとの平均値（＝（２３０＋１８０）／２）が縦方向下地補正データＬＤＡｋ,ｈとされる。その結果、縦方向下地補正データＬＤＡｋ,ｈは「２０５」となる。
【００４８】
さらに、第４下地算出部３７は、ブロックＣＲｋ,ｈ毎に注目ブロックＣＲｋ,ｈとその上下左右ブロックの計５ブロックの縦方向下地補正データを抽出し、最大のものと最小のものを除く３ブロックの縦方向下地補正データの平均値を注目ブロックＣＲｋ,ｈの縦方向下地補正データＬＤＡｋ,ｈとして求める。
【００４９】
例えば、注目ブロックＣＲｋ,ｈの縦方向下地補正データＬＤＡｋ,ｈが「２００」、注目ブロックＣＲｋ,ｈの左側のブロックＣＲｋ,（ｈ−１）の縦方向下地補正データＬＤＡｋ,（ｈ−１）が「２１０」、注目ブロックＣＲｋ,ｈの右側のブロックＣＲｋ,（ｈ＋１）の縦方向下地補正データＬＤＡｋ,（ｈ＋１）が「２２０」、注目ブロックＣＲｋ,ｈの上側のブロックＣＲ（ｋ−１）,ｈの縦方向下地補正データＬＤＡ（ｋ−１）,ｈが「１９０」、注目ブロックＣＲｋ,ｈの下側のブロックＣＲ（ｋ＋１）,ｈの縦方向下地補正データＬＤＡ（ｋ＋１）,ｈが「２１０」である場合、注目ブロックＣＲｋ,ｈの縦方向下地補正データＬＤＡｋ,ｈは「２０７」（＝（２００＋２１０＋２１０）／３）とされる。
【００５０】
ただし、４隅のブロックＣＲ１,１、ＣＲ１,１２、ＣＲ１６,１、ＣＲ１６,１２の縦方向下地補正データについては、上記平均化処理を行なわず、第１下地算出部３４によって算出された縦長エリア平均値ＬＡＡＶとの差が予め設定された所定値（ここでは５０階調）以上である場合には、それぞれブロックＣＲ２,２、ＣＲ２,１１、ＣＲ１５,２、ＣＲ１５,１１の縦方向下地補正データが代入される。
【００５１】
このようにして、第４下地算出部３７は、ブロックＣＲｋ,ｈ毎に、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを下地補正データＬＡｋを用いて補正することによって縦方向下地補正データＬＤＡｋ,ｈを求める。すなわち、縦方向下地補正データＬＤＡｋ,ｈは、ブロック毎の情報にそのブロックの画素が含まれる縦長エリア（及びその左右の縦長エリア）の情報が加味されて補正された結果得られることになる。
【００５２】
更に、第４下地算出部３７は、ブロックＣＲｋ,ｈについて、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを、そのブロックの画素を含む横長エリアＢＲｈの下地補正データＬＢｈと比較し、下地補正データＬＢｈの値に近い方を横方向下地補正データＬＤＢｋ,ｈとして設定する。
【００５３】
ただし、横方向下地補正データＬＤＢｋ,ｈと下地補正データＬＢｈとの差が予め設定されている所定値（ここでは６０階調）以上である場合には、下地補正データＬＢｈを横方向下地補正データＬＤＢｋ,ｈとされる。横方向下地補正データＬＤＢｋ,ｈと下地補正データＬＢｈとの差が予め設定されている所定値の範囲（ここでは、４０〜５９階調）である場合には、下地補正データＬＢｈと横方向下地補正データＬＤＢｋ,ｈとの平均値が横方向下地補正データＬＤＢｋ,ｈとされる。
【００５４】
また、第４下地算出部３７は、ブロックＣＲｋ,ｈ毎に注目ブロックＣＲｋ,ｈとその上下左右ブロックの計５ブロックの横方向下地補正データを抽出し、最大のものと最小のものを除く３ブロックの横方向下地補正データの平均値を注目ブロックＣＲｋ,ｈの横方向下地補正データＬＤＢｋ,ｈとして求める。
【００５５】
ただし、４隅のブロックＣＲ１,１、ＣＲ１,１２、ＣＲ１６,１、ＣＲ１６,１２の横方向下地補正データについては、上記平均化処理を行なわず、第２下地算出部３４によって算出された横長エリア平均値ＬＢＡＶとの差が予め設定された所定値（ここでは５０階調）以上である場合には、それぞれブロックＣＲ２,２、ＣＲ２,１１、ＣＲ１５,２、ＣＲ１５,１１の横方向下地補正データが代入される。
【００５６】
このようにして、第４下地算出部３７は、ブロックＣＲｋ,ｈ毎に、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを下地補正データＬＢｈを用いて補正することによって横方向下地補正データＬＤＢｋ,ｈを求める。すなわち、横方向下地補正データＬＤＢｋ,ｈは、ブロック毎の情報にそのブロックの画素が含まれる横長エリア（及びその上下の横長エリア）の情報が加味されて補正された結果得られることになる。
【００５７】
更に、第４下地算出部３７は、上記の処理で得られた縦方向下地補正データＬＤＡｋ,ｈと横方向下地補正データＬＤＢｋ,ｈとの内、いずれか（ここでは小さい方）を下地補正データＬＤｋ，ｈとして設定する。小さい方を選択する場合には、画像データの輝度を高く（白色化の程度を強く）補正することができる。なお、上記のようにして求められた下地補正データＬＤｋ，ｈは、ブロック毎の情報に、そのブロックの画素が含まれる縦長エリア（及びその左右の縦長エリア）の情報と、そのブロックの画素が含まれる横長エリア（及びその上下の横長エリア）の情報とが加味されて補正された結果得られるものであるため、局所性及び方向性に対する依存度が軽減され適正な下地補正を行ない得る下地補正データＬＤｋ，ｈが得られる。
【００５８】
補正部３８は、第４下地算出部３７によってブロックＣＲｋ，ｈ毎に得られる下地補正データＬＤｋ，ｈを用いてＹデータ（輝度データ）を画素毎に補正するもので、以下の各処理を実行する。
【００５９】
すなわち、補正部３８は、以下に述べるようにして画素毎にＹデータの補正データＬＵｉ，ｊ（ｉ＝１〜１５３６、ｊ＝１〜２０４８）（下地補正データという）を算出する。ここで、下地補正データＬＤｋ，ｈは、ブロックＣＲｋ，ｈの中心位置に仮想的にある画素に対する下地補正データとして使用される。そして、図８に示すように、各ブロックの中心位置に仮想的にある画素に対する下地補正データＬＤｋ，ｈに線形内挿法を適用し、これによって各画素に対する下地補正データＬＵｉ，ｊを求める。
【００６０】
具体的には、ブロックＣＲｋ，ｈの中心位置Ａと、ブロックＣＲｋ，（ｈ＋１）の中心位置Ｂと、ブロックＣＲ（ｋ＋１），（ｈ＋１）の中心位置Ｃと、ブロックＣＲ（ｋ＋１），ｈの中心位置Ｄとによって規定される正方形ＡＢＣＤの内部にある画素Ｐに対する下地補正データＷｐを、ここでは、計算量の削減のため正方形ＡＢＣＤの内部にある左上隅の画素を基準にして縦方向及び横方向共に所定画素（ここでは、４画素）毎に、次の（２）式によって求める（図８参照）。
Ｗｐ＝（１−ｍ）×[（１−ｎ）×Ｗａ＋ｎ×Ｗｃ]＋ｍ×[（１−ｎ）×Ｗｂ＋ｎ×Ｗｄ] （２）
ただし、Ｗａ＝ＬＤｋ,ｈ、Ｗｂ＝ＬＤｋ,（ｈ＋１）、Ｗｃ＝ＬＤ（ｋ＋１）,（ｈ＋１）、Ｗｄ＝ＬＤ（ｋ＋１）,ｈであって、画素Ｐは正方形ＡＢＣＤの辺ＡＢを、ｍ：（１−ｍ）の比に内分し、辺ＡＤを、ｎ：（１−ｎ）の比に内分する位置にある画素である。
【００６１】
また、補正部３８は、（２）式によって下地補正データＬＵｉ，ｊが計算されなかった画素に対する下地補正データＬＵｉ，ｊを以下の方法で求める。図９に示すように、（２）式によって下地補正データＬＵｉ，ｊが計算された画素を左上隅（図の斜線部）の画素とする縦方向及び横方向ともに４画素からなる正方形の領域内（小ブロックという）にある画素（１６画素）の下地補正データＬＵｉ，ｊの値を、小ブロックの左上隅の画素に対する下地補正データＬＵｉ，ｊの値と同一の値に設定する。すなわち、小ブロック内の１６画素に対しては同じ値の下地補正データＬＵｉ，ｊが設定される。
【００６２】
このようにして求められる画素毎の下地補正データＬＵｉ，ｊは、画像全体（１５３６画素（縦方向）×２０４８画素（横方向））の内、図１０（ａ）に示す斜線部の領域である。なぜなら、画素毎の下地補正データＬＵｉ，ｊを求めるために使用する下地補正データＬＤｋ，ｈは、それぞれ縦方向及び横方向ともに１２８画素からなるブロックＣＲｋ,ｈ毎に求められるものであって、画素毎の下地補正データは、図８に示すように各ブロックの中心位置に仮想的にある画素に対する下地補正データＬＤｋ，ｈに画素線形内挿法を適用することによって求められるからである。
【００６３】
そこで、補正部３８は、画像全体（１５３６画素（縦方向）×２０４８画素（横方向））の内、外縁部から６４番目までの画素については、以下の方法で、画素毎の下地補正データＬＵｉ，ｊを求める。すなわち、補正部３８は、図１０（ａ）に示すように画素毎の下地補正データＬＵｉ，ｊを求める領域を、４隅の領域Ｒ１（６４画素×６４画素×４箇所）と、上下端の領域Ｒ２（６４画素×１９２０（＝２０４８−１２８）画素×２箇所）と、左右端の領域Ｒ３（１４０８（＝１５３６−１２８）画素×６４画素×２箇所）とに分割する。なお、図１０（ｂ）は、画像全体の左上端近傍を拡大したものであって、最小の正方形が小ブロック（４画素×４画素）を表わしている。
【００６４】
そして、補正部３８は、領域Ｒ１内の画素に対する下地補正データＬＵｉ，ｊとして、図１０（ａ）に示す斜線部の４隅の小ブロックの下地補正データＬＵｉ，ｊと同一の値を設定する。例えば、図１０（ｂ）に示す左上隅の領域Ｒ１内の画素に対する下地補正データＬＵｉ，ｊは、斜線部の領域の左上隅の小ブロックＳＢ１に含まれる画素の下地補正データＬＵｉ，ｊと同一の値が設定される。
【００６５】
また、補正部３８は、領域Ｒ２内の画素に対する下地補正データＬＵｉ，ｊとして、当該画素が含まれる小ブロックと同一の列にあって、図１０（ａ）に示す斜線部の上端（又は下端）の小ブロックの下地補正データＬＵｉ，ｊと同一の値を設定する。例えば、図１０（ｂ）において、領域Ｒ２内の小ブロックＳＢ２に含まれる画素に対する下地補正データＬＵｉ，ｊは斜線部内の小ブロックＳＢ３に含まれる画素の下地補正データＬＵｉ，ｊと同一の値が設定され、領域Ｒ２内の小ブロックＳＢ４に含まれる画素に対する下地補正データＬＵｉ，ｊは、斜線部内の小ブロックＳＢ５に含まれる画素の下地補正データＬＵｉ，ｊと同一の値が設定される。
【００６６】
更に、補正部３８は、領域Ｒ３内の画素に対する下地補正データＬＵｉ，ｊとして、当該画素が含まれる小ブロックと同一の行にあって、図１０（ａ）に示す斜線部の左端（又は右端）の小ブロックの下地補正データＬＵｉ，ｊと同一の値を設定する。例えば、図１０（ｂ）において、領域Ｒ３内の小ブロックＳＢ６に含まれる画素に対する下地補正データＬＵｉ，ｊは斜線部内の小ブロックＳＢ７に含まれる画素の下地補正データＬＵｉ，ｊと同一の値が設定され、領域Ｒ３内の小ブロックＳＢ８に含まれる画素に対する下地補正データＬＵｉ，ｊは、斜線部内の小ブロックＳＢ９に含まれる画素の下地補正データＬＵｉ，ｊと同一の値が設定される。
【００６７】
このようにして、補正部３８は、画像全体（１５３６画素（縦方向）×２０４８画素（横方向））の画素に対する下地補正データＬＵｉ，ｊを求める。
【００６８】
また、補正部３８は、後述するＹデータの先鋭化処理と、下地補正データＬＵｉ，ｊを用いた画像データの補正（下地とばし処理）とを行なう。すなわち、補正部３８は、図１１に示すフィルタを用いて各画素のＹデータに先鋭化処理を施す。具体的には、注目画素ＰＥｉ，ｊのＹデータＹｉ，ｊについて、画素ＰＥ（ｉ−１），ｊのＹデータＹ（ｉ−１），ｊ、画素ＰＥ（ｉ＋１），ｊのＹデータＹ（ｉ＋１），ｊ、画素ＰＥｉ，（ｊ−１）のＹデータＹｉ，（ｊ−１）及び画素ＰＥｉ，（ｊ＋１）のＹデータＹｉ，（ｊ＋１）を用いて下記の（３）式によって補正する。
Ｙｉ，ｊ←２×Ｙｉ，j−（Ｙ（ｉ−１），ｊ＋Ｙ（ｉ＋１），ｊ＋Ｙｉ，（ｊ−１）＋Ｙｉ，（ｊ＋１））／４ （３）
ただし、使用するフィルタは図１１に示すフィルタに限定されず他の種々のフィルタが使用可能である。また、この処理は省略してもよい。
【００６９】
そして、補正部３８は、図１２に示す補正曲線を使用して、各画素のＹデータＹｉ，ｊを補正する。すなわち、ＹデータＹｉ，ｊが下地補正データＬＵｉ，ｊ以上か否か判断し、下地補正データＬＵｉ，ｊ以上の場合には、Ｙｉ，ｊを「２５５」（２５６階調の最大階調）とし、ＹデータＹｉ，ｊが下地補正データＬＵｉ，ｊ未満の場合には、ＹデータＹｉ，ｊに（２５５／ＬＵｉ，ｊ）を乗じて、新しいＹデータＹｉ，ｊを得る。
【００７０】
この処理によって、輝度Ｙデータが下地補正データの値以上の場合には、輝度が最大値とされるため、例えば照度不足によって下地が黒ずんでいる場合等において、下地を白色化する下地とばし処理が行なわれ、鮮明な文書画像データとすることができる。
【００７１】
後処理部３９は、以下に述べる黒レベル引き締め処理と、彩度強調処理と、ＲＧＢ変換処理とを行なうものである。
【００７２】
すなわち、後処理部３９は、補正部３８によって得られたＹデータＹｉ，ｊに対して黒レベル引き締め処理を施す。黒レベル引き締め処理では、図１３に示す補正曲線に基づいて画素毎の輝度データであるＹデータＹｉ，ｊを補正する。具体的には、ＹデータＹｉ，ｊが、所定階調（ここでは１４４階調）以下であるか否か判断し、１４４階調以下である場合には、ＹデータＹｉ，ｊを零とし、１４４階調以上である場合には、補正曲線に基づいてＹデータＹｉ，ｊを補正する。ＹデータＹｉ，ｊが、所定階調（ここでは１４４階調）以下である場合には、ＹデータＹｉ，ｊが零とされるため、例えば、照度過多で文字及び図形部分の輝度が高くなり、下地との境界が判別し難くなっている場合等においても、この処理を施すことによって、文字及び図形部分の輝度が零とされるため、鮮明な文書画像データとすることができる。
【００７３】
また、後処理部３９は、下記の（４−１）〜（４−６）式によって、彩度が低い（Ｃｒ，Ｃｂの値が小さい）画素程、彩度を強調する程度が大きくなるように彩度の補正を行なう彩度強調処理を施す。
Ｃｒ←Ｃｒ×ＥｍｐＬｖ／Ｍａｘ（Ｚ，Ｃ） （４−１）
Ｃｂ←Ｃｂ×ＥｍｐＬｖ／Ｍａｘ（Ｚ，Ｃ） （４−２）
ここで、
Ｚ＝（Ｃｒ＋Ｃｂ）／２ （４−３）
Ｃ＝７０ （４−４）
Ｇａｍｍａ（Ｚ）＝Ｃ＋Ｚ×（２５５−Ｃ）／２５５ （４−５）
ＥｍｐＬｖ＝Ｍａｘ（Ｇａｍｍａ（Ｚ）−Ｙ／４，Ｚ） （４−６）
だだし、Ｍａｘ（α，β）は、α及びβの内、大きい方の値を返す関数である。
【００７４】
更に、後処理部３９は、下記の（５−１）〜（５−３）式によって、Ｙ，Ｃｒ，Ｃｂデータからなる画像データをＲ，Ｇ，Ｂデータからなる画像データに変換するＲＧＢ変換処理を施す。なお、（５−１）〜（５−３）式の結果値のＬＵＴ（ルックアップテーブル）を備える形態でもよい。
Ｒ＝Ｙ＋Ｃｒ （５−１）
Ｇ＝Ｙ−０．５１Ｃｒ−０．１９Ｃｂ （５−２）
Ｂ＝Ｙ＋Ｃｂ （５−３）
つぎに、図１４に示すフローチャートを参照して、文書画像データ補正部３の動作について説明する。まず、前処理部３０によって、Ｒ，Ｇ，Ｂデータからなる画像データがＹ，Ｃｒ，Ｃｂデータからなる画像データに変換される（ステップ＃１）。ついで、第１分割部３１によって、画像全体が横方向に１６個の縦長エリアＡＲｋ（ｋ＝１〜１６）に分割される（ステップ＃３）。そして、第１下地算出部３４によって、縦長エリアＡＲｋに含まれる画素の画像データから縦長エリアＡＲｋ毎に下地の下地補正データＬＡｋ（ｋ＝１〜１６）が求められる（ステップ＃５）。
【００７５】
つぎに、第２分割部３２によって、画像全体が縦方向に１２個の横長エリアＢＲｈ（ｈ＝１〜１２）に分割される（ステップ＃７）。そして、第２下地算出部３５によって、横長エリアＢＲｈに含まれる画素の画像データから横長エリアＢＲｈ毎に下地の下地補正データＬＢｈ（ｈ＝１〜１２）が求められる（ステップ＃９）。
【００７６】
ついで、第３分割部３３によって、第１エリアＡＲ１ｋが縦方向に１２個のブロックＣＲｋ，ｈ（ｋ＝１〜１６、ｈ＝１〜１２）に分割される（ステップ＃１１）。そして、第３下地算出部３６によって、ブロックＣＲｋ，ｈに含まれる画素の画像データからブロックＣＲｋ，ｈ毎に高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈ（ｋ＝１〜１６、ｈ＝１〜１２）が求められる（ステップ＃１３）。
【００７７】
つぎに、第４下地算出部３７によって、下地補正データＬＡｋ、下地補正データＬＢｈ、高輝度側下地補正データＬＣＨｋ,ｈ及び低輝度側下地補正データＬＣＬｋ,ｈを用いてブロックＣＲｋｈ毎に下地補正データＬＤｋ，ｈ（ｋ＝１〜１６、ｈ＝１〜１２）が求められる（ステップ＃１５）。
【００７８】
ついで、補正部３８によって、Ｙデータの先鋭化処理と、下地補正データＬＵｉ，ｊを用いた画像データの補正（下地とばし処理）とが施される（ステップ＃１７）。さらに、後処理部３９によって、黒レベル引き締め処理と、彩度強調処理と、ＲＧＢ変換処理とが行なわれる（ステップ＃１９、２１、２３）。
【００７９】
このようにして、本実施形態では、ブロック毎の情報に、そのブロックの画素が含まれる縦長エリア（及びその左右の縦長エリア）の情報と、そのブロックの画素が含まれる横長エリア（及びその上下の横長エリア）の情報とが加味されて補正された結果得られる下地補正データＬＤｋ，ｈを用いて画像データの補正を行なうようにしたので、局所性及び方向性に対する依存度が軽減された適正な下地補正が行なわれる。
【００８０】
なお、文書画像データ補正部３の各機能部は、本発明の文書画像処理プログラムをＣＰＵ等で実行することによって実現される形態でもよい。
【００８１】
また、本発明は以下の形態をとることができる。
【００８２】
（Ａ）本実施形態においては、ディジタルカメラによって画像データが生成される場合について説明したが、その他の種類の撮像装置よって画像データが生成される形態でもよい。例えば、ディジタルビデオカメラによって画像データが生成される形態でもよい。この場合には、動画を構成する各コマの画像データに対して本発明の画像データの補正処理を施す必要がある。
【００８３】
また、ビデオテープ等の記録媒体にアナログデータとして画像信号を格納するビデオカメラによって撮像する形態でもよい。この場合には、ビデオカメラによって生成された画像信号（アナログ信号）を画像データ（ディジタル信号）に変換するキャプチャーボード等のＡ／Ｄ変換器が必要となると共に、動画を構成する各コマの画像データに対して本発明の画像データの補正処理を施す必要がある。
【００８４】
（Ｂ）本実施形態においては、画像データが画像データ記録部によって記録媒体に格納される場合について説明したが、画像データがインターネット等の通信手段によってパーソナルコンピュータ等の通信端末に伝送される形態でもよい。なお、この場合には、パーソナルコンピュータ等の通信端末において、本発明の画像データの補正処理を実行する形態でもよい。
【００８５】
（Ｃ）本実施形態においては、全体画像を縦方向及び横方向に分割する場合について説明したが、他の異なる２方向に分割する形態でもよいし、用途によっては２方向のなす角は直角には限定されない。これによれば、それぞれの目的に合った処理が可能となる。
【００８６】
（Ｄ）本実施形態においては、Ｙデータを用いて下地とばし処理を行なう場合について説明したが、他のデータ（例えばＧデータ）を用いて下地とばし処理を行なう形態でもよい。この場合には、Ｒ，Ｇ，ＢデータとＹ，Ｃｒ，Ｃｂデータと間の変換処理を省略することができる。
【００８７】
（Ｅ）本実施形態においては、第３下地補正データが高輝度側下地補正データ及び低輝度側下地補正データからなる場合について説明したが、第３下地補正データが高輝度側下地補正データである形態でもよい。この場合には、処理が簡単になる。また、高輝度側下地補正データに代えて、最大度数のクラスの６４階調データを４倍したものを用いる形態でもよい。
【００８８】
（Ｆ）本実施形態においては、彩度強調処理、先鋭化処理及び黒レベル引き締め処理を行なう場合について説明したが、これらの処理は本発明の付帯的処理であるため、これらの処理の内少なくとも１つを省略する形態でもよい。
【００８９】
【発明の効果】
請求項１、２、４に記載の発明によれば、ブロックに含まれる画像データの特徴に、当該ブロックを含む第１及び第２エリアの画像データの特徴が加味されて補正データが得られるため、局所性及び方向性が解消された適正な補正データを得ることができる。そして、この下地補正データを用いて画像データの補正を行なう場合には、適正な補正を行なうことができ、下地部分に対してより鮮明な画像データを得ることができる。
【００９０】
請求項３に記載の発明によれば、選択手段によって、外部から文書画像データであるか否かの選択が受け付けられるため、文書画像であるか否かの判別を確実に行なうことができ、文書画像データであるか否かの判別処理を不要とすることができる。更に、文書画像である場合の他、他種の画像、例えば写真画像に対しても、適正な補正処理を適用可能とすることができる。
【図面の簡単な説明】
【図１】 本発明に係る一実施形態であるディジタルカメラの主要部の構成を示すブロック図である。
【図２】 画像データ生成部の主要部の構成を示すブロック図である。
【図３】 第１分割部による画像の分割方法の説明図である。
【図４】 第２分割部による画像の分割方法の説明図である。
【図５】 第３分割部による画像の分割方法の説明図である。
【図６】 Ｙデータのヒストグラムの一例である。
【図７】 Ｙデータのヒストグラムの一例である。
【図８】 線形内挿法の説明図である。
【図９】 下地補正データの算出方法の説明図である。
【図１０】 下地補正データの算出方法の説明図である。
【図１１】 先鋭化処理に用いられるフィルタの一例である。
【図１２】 下地とばし処理に用いる補正曲線の一例である。
【図１３】 黒レベル引き締め処理に用いる補正曲線の一例である。
【図１４】 文書画像データ補正部の動作を説明するためのフローチャートの一例である。
【図１５】 従来の下地とばし処理に用いる補正曲線の一例である。
【符号の説明】
１ 画像データ生成部
２ 選択部
３ 文書画像データ補正部
３０ 前処理部
３１ 第１分割部（第１分割手段）
３２ 第２分割部（第２分割手段）
３３ 第３分割部（第３分割手段）
３４ 第１下地算出部（第１下地算出手段）
３５ 第２下地算出部（第２下地算出手段）
３６ 第３下地算出部（第３下地算出手段）
３７ 第４下地算出部（第４下地算出手段）
３８ 補正部
３９ 後処理部
４ 画像データ記録部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for correcting image data of a document image taken by an imaging device.
[0002]
[Prior art]
Digital imaging devices that generate digital image data of a subject are roughly classified into a contact type in which imaging conditions such as a distance between the subject and the digital imaging device and an imaging condition are set in advance, and an open type in which the imaging conditions are freely changed. Is done. An open-type digital imaging device such as a digital camera can freely control the image quality of an image captured by image processing. Therefore, by appropriately processing the image quality of a captured image according to the purpose of shooting and the type of subject. There is an advantage that an image having a more suitable image quality can be captured as compared with a camera for photographing an ordinary silver salt film. For this reason, it is used not only for normal photography, but also as a device for copying document information such as characters and figures written on a whiteboard in a conference hall, for example.
[0003]
On the other hand, when shooting a whiteboard with characters, figures, etc. written on it with a digital camera, the document on the whiteboard has uneven illuminance, blurring of characters, figures, etc. It's hard to be done. Therefore, by changing the white background portion (whiteboard portion) to the original white color (flight white) for the image data obtained by such shooting, the sharpness of the document information portion (character or graphic portion) is improved. It is desirable to perform correction to increase
[0004]
As a method of correcting the image data, as disclosed in Japanese Patent Application Laid-Open No. 2001-45244, the peak value (maximum luminance value) of the image data of the pixels included in the line is used for each line. A method of performing correction for each line is known. In this method, since correction is performed for each line based on local information of one line, the accuracy of the correction is insufficient. For example, for a line included in a grid line printed in advance on a whiteboard, the peak value may be affected by the brightness of the grid line and sufficient correction may not be performed.
[0005]
[Problems to be solved by the invention]
The applicant has proposed a method of dividing the entire image into a plurality of small images (referred to as blocks) and correcting each small image based on the image data of each small image (Japanese Patent Laid-Open No. 10-210354). In this method, a histogram of level distribution is created for the green component having a large contribution to the luminance in the image data of each block, the maximum frequency class is set as the white saturation level W, and the green color of the image data of the block is set. The component is corrected using a correction curve that saturates the output level at the white saturation level W as shown in FIG.
[0006]
According to this method, since the locality of information used for correction is reduced as compared with the case where correction is performed for each line, the accuracy of correction is improved. However, in this method, since the image data is corrected using a different correction curve for each block, the correction may be performed excessively when the entire image in the block is dark and the density of characters (or figures) is high. There was. Furthermore, the locality is reduced as compared with the case where correction is performed for each line, but the degree of reduction is not sufficient, and it may be necessary to further improve the accuracy of correction of image data.
[0007]
The present invention has been made in view of the above problems, and provides a document image processing apparatus, an imaging apparatus, and a document image processing program for obtaining appropriate correction data for correcting image data of a document image captured by an imaging apparatus. It is intended to provide.
[0008]
[Means for Solving the Problems]
The document image processing apparatus according to claim 1 is a document image processing apparatus that obtains background correction data for correcting image data of a document image photographed by an imaging apparatus, and the entire document image in the first direction. First dividing means for dividing the document image into a first predetermined number of first areas, and second dividing means for dividing the entire document image into a second predetermined number of second areas in a second direction different from the first direction. And a third dividing means for dividing the first area into the second predetermined number of blocks at a position coinciding with the image dividing position by the second dividing means in the second direction; A first background calculation means for obtaining first background correction data of the background for each of the first areas from the image data of the included pixels; and a first background calculation for each of the second areas from the image data of the pixels included in the second area. 2 Background correction data Second background calculation means for determining the third background calculation means for determining the third background correction data of the background for each block from the image data of the pixels included in the block, the first background correction data, and the second background correction And fourth background calculation means for obtaining fourth background correction data for each of the blocks using the data and the third background correction data.
[0009]
According to the above configuration, the entire document image is divided into the first predetermined number of first areas in the first direction by the first dividing unit, and the pixels included in the first area by the first background calculation unit. The first background correction data of the background is obtained for each first area from the image data. The entire document image is divided into a second predetermined number of second areas in a second direction different from the first direction by the second dividing means, and is included in the second area by the second background calculation means. Second background correction data of the background is obtained for each second area from the image data of the pixels. Further, the third dividing unit divides the first area into a second predetermined number of blocks at a position coinciding with the image dividing position by the second dividing unit in the second direction. The third background correction data of the background is obtained for each block from the image data of the pixels included in the block. Then, the fourth background correction data is obtained for each block using the first background correction data, the second background correction data, and the third background correction data by the fourth background calculation means.
[0010]
In this way, the fourth background correction data includes the first background correction data obtained from the image data of the pixels included in the first area and the second background correction data obtained from the image data of the pixels included in the second area. And the third background correction data obtained from the image data of the pixels included in the block, the characteristics of the image data included in the block (illuminance, density of characters and figures, etc.) are reflected, and Appropriate background correction data (fourth background correction data) reflecting the characteristics of surrounding image data included in the first or second area can be obtained.
[0011]
That is, since the correction data is obtained by adding the characteristics of the image data of the first and second areas including the block to the characteristics of the image data included in the block, appropriate correction in which locality and directionality are eliminated. Data will be obtained. When image data is corrected using the background correction data, appropriate correction is performed, and clearer document image data is obtained for the background portion.
[0012]
The image pickup apparatus according to claim 2, image data generating means for generating image data of a subject, first dividing means for dividing the entire image into a first predetermined number of first areas in the first direction, and an image A second dividing means for dividing the whole into a second predetermined number of second areas in a second direction different from the first direction; and an image by the second dividing means in the second direction for the first area. 3rd dividing means for dividing into the second predetermined number of blocks at a position that coincides with the division position of the first area, and first background correction data of the background for each first area from image data of pixels included in the first area First background calculation means for determining the background, second background calculation means for determining the second background correction data of the background for each of the second areas from the image data of the pixels included in the second area, and the pixels included in the block Is it image data? Third background calculation means for obtaining third background correction data for the background for each block, and fourth background correction data for each block using the first background correction data, the second background correction data, and the third background correction data. And a fourth background calculation means for obtaining the value.
[0013]
According to the above configuration, the image data generation unit generates the image data of the subject. Then, the entire image is divided into a first predetermined number of first areas in the first direction by the first dividing means, and the first background calculation means calculates the first image from the image data of the pixels included in the first area. First background correction data of the background is obtained for each area. Further, the entire image is divided into a second predetermined number of second areas in a second direction different from the first direction by the second dividing means, and pixels included in the second area by the second background calculating means. The second background correction data of the background is obtained for each second area from the image data. Further, the third dividing unit divides the first area into a second predetermined number of blocks at a position coinciding with the image dividing position by the second dividing unit in the second direction. The third background correction data of the background is obtained for each block from the image data of the pixels included in the block. Then, the fourth background correction data is obtained for each block using the first background correction data, the second background correction data, and the third background correction data by the fourth background calculation means.
[0014]
In this way, the fourth background correction data includes the first background correction data obtained from the image data of the pixels included in the first area and the second background correction data obtained from the image data of the pixels included in the second area. And the third background correction data obtained from the image data of the pixels included in the block. Therefore, when the subject is a whiteboard or the like on which a document (characters, graphics, etc.) is written, Appropriate background correction data (fourth background) that reflects the characteristics of the included image data (illuminance, density of characters and figures, etc.) and also reflects the characteristics of surrounding image data included in the first or second area Correction data) is obtained.
[0015]
That is, since the correction data is obtained by adding the characteristics of the image data of the first and second areas including the block to the characteristics of the image data included in the block, appropriate correction in which locality and directionality are eliminated. Data will be obtained. When image data is corrected using the background correction data, appropriate correction is performed, and clearer document image data is obtained for the background portion.
[0016]
An image pickup apparatus according to a third aspect is the image pickup apparatus according to the second aspect, further comprising selection means for receiving a selection as to whether the image data is document image data from the outside.
[0017]
According to the above configuration, since the selection unit accepts whether or not the document image data is received from the outside, the determination as to whether or not the document image data is made is made reliably. Such a determination process becomes unnecessary. Furthermore, in addition to a document image, an appropriate correction process can be applied to other types of images, for example, photographic images.
[0018]
A document image processing program according to claim 4 is a document image processing program for obtaining background correction data for correcting image data of a document image photographed by an imaging device, wherein the computer is used for the first document image. First dividing means for dividing the document image into a first predetermined number of first areas and a second predetermined number of second areas for dividing the entire document image into a second predetermined number of second areas in a second direction different from the first direction. A second dividing means; a third dividing means for dividing the first area into the second predetermined number of blocks at a position coinciding with the image dividing position by the second dividing means in the second direction; A first background calculation means for obtaining first background correction data of a background for each of the first areas from image data of pixels included in one area; and the second area from the image data of pixels included in the second area. Second background calculation means for obtaining second background correction data for the background for each block; third background calculation means for obtaining third background correction data for the background for each block from image data of pixels included in the block; The first background correction data, the second background correction data, and the third background correction data are used to function as fourth background calculation means for obtaining fourth background correction data for each block.
[0019]
According to the above program, the entire document image is divided into the first predetermined number of first areas in the first direction by the first dividing means, and the pixels included in the first area by the first background calculating means. The first background correction data of the background is obtained for each first area from the image data. The entire document image is divided into a second predetermined number of second areas in a second direction different from the first direction by the second dividing means, and is included in the second area by the second background calculation means. Second background correction data of the background is obtained for each second area from the image data of the pixels. Further, the third dividing unit divides the first area into a second predetermined number of blocks at a position coinciding with the image dividing position by the second dividing unit in the second direction. The third background correction data of the background is obtained for each block from the image data of the pixels included in the block. Then, the fourth background correction data is obtained for each block using the first background correction data, the second background correction data, and the third background correction data by the fourth background calculation means.
[0020]
In this way, the fourth background correction data includes the first background correction data obtained from the image data of the pixels included in the first area and the second background correction data obtained from the image data of the pixels included in the second area. And the third background correction data obtained from the image data of the pixels included in the block, the characteristics of the image data included in the block (illuminance, density of characters and figures, etc.) are reflected, and Appropriate background correction data (fourth background correction data) reflecting the characteristics of surrounding image data included in the first or second area can be obtained.
[0021]
That is, since the correction data is obtained by adding the characteristics of the image data of the first and second areas including the block to the characteristics of the image data included in the block, appropriate correction in which locality and directionality are eliminated. Data will be obtained. When image data is corrected using the background correction data, appropriate correction is performed, and clearer document image data is obtained for the background portion.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration of a main part of a digital camera which is an embodiment according to the present invention.
[0023]
The digital camera shown in FIG. 1 includes an image data generation unit 1 (corresponding to an image data generation unit) that generates image data of a subject image such as a document, and a slide that accepts selection as to whether the image is document image data from the outside. A selection unit 2 (corresponding to selection means) including a switch, a document image data correction unit 3 that corrects document image data, and an image data recording unit 4 that stores image data in a recording medium such as a memory card. Prepare.
[0024]
FIG. 2 is a block diagram illustrating a configuration of a main part of the image data generation unit 1. The image data generation unit 1 includes a lens 11 that collects light from a subject and a plurality of light receiving elements, and performs photoelectric conversion of the light from the subject with each light receiving element, and stores a converted charge (CCD). A charge coupled device) 12 and a CCD drive unit 13 for driving the CCD 2.
[0025]
The imaging lens 11 is, for example, an electric zoom lens. The lens driving unit 111 performs a focusing operation and a zooming operation of the imaging lens 11. A CCD 12 is provided at the imaging position of the light beam on the optical axis L of the imaging lens 11 via a mechanical shutter 112 for exposure control. Although not shown, a diaphragm, an optical low-pass filter, an infrared cut filter, an ND filter for adjusting the amount of light, or the like is provided as necessary.
[0026]
A color filter 113 (here, R (red), G (green), and B (blue)) having a predetermined (for example, Bayer type) color array is provided on the front surface (subject side) of the CCD 12. A primary color filter) is provided.
[0027]
The CCD 12 is an interline transfer type CCD in which light receiving elements made of photodiodes are arranged in a matrix. Further, the CCD 12 performs a predetermined operation such as discharge of residual charges in accordance with a control signal output from the timing generator 131, photoelectrically converts incident light, and further stores the accumulated charge obtained over the exposure time as an image signal. To the signal processing unit 132.
[0028]
The signal processing unit 132 performs signal processing such as correlated double sampling processing and A / D conversion processing on the signal output from the CCD 12 and outputs the signal to the document image data correction unit 3 as digitized image data. . This image data is obtained as a set of numbers corresponding to the light receiving elements. Here, 3145728 pixels per image (= 1536 pixels (vertical direction) × 2048 pixels (horizontal direction)) for each of the R, G, and B colors. Only minutes are output.
[0029]
The document image data correction unit 3 includes a preprocessing unit 30 that converts image data composed of R, G, and B data into image data composed of Y, Cr, and Cb data, which will be described later, and the entire image in a first direction (here, A first dividing unit 31 (corresponding to a first dividing unit) that forms a vertically long area ARk (k = 1 to 16) (see FIG. 3) by dividing it into a predetermined number (16 here) in the horizontal direction); The entire image is divided into a predetermined number (here, 12) in a second direction (here, the vertical direction) different from the first direction to form a horizontally long area BRh (h = 1 to 12) (see FIG. 4). 12 blocks in the second direction (here, the vertical direction) of the vertically long area ARk at a position that coincides with the image dividing position by the second dividing unit 32 (corresponding to the second dividing unit) and the second dividing unit 32 CRk, h (k = 1 to 16, h = 1 to 12) (see FIG. 5) A third division unit 33 (corresponding to a third division unit) that performs background correction data LAk (k = 1 to 16) of the background for each vertical area ARk from image data of pixels included in the vertical area ARk. The background correction data LBh (h = 1 to 12) of the background is obtained for each horizontal area BRh from the first background calculation unit 34 (corresponding to the first background calculation means) to be obtained and the image data of the pixels included in the horizontally long area BRh. A second background calculation unit 35 (corresponding to a second background calculation means), and high brightness side background correction data LCHk, h and low brightness side background for each block CRk, h from image data of pixels included in the blocks CRk, h. A third background calculation unit 36 (corresponding to third background calculation means) for obtaining correction data LCLk, h (k = 1 to 16, h = 1 to 12) (corresponding to third background correction data); Further, background correction data LDk, h (k = 1) for each block CRk, h using background correction data LAk, background correction data LBh, high luminance side background correction data LCHk, h and low luminance side background correction data LCLk, h. -16, h = 1 to 12), a fourth background calculation unit 37 (corresponding to a fourth background calculation unit), a correction unit 38 that corrects image data based on the background correction data LDk, h, And a post-processing unit 39 that performs post-processing.
[0030]
The preprocessing unit 30 converts image data composed of R, G, B data into image data composed of Y, Cr, Cb data in accordance with the following equations (1-1) to (1-3) for color conversion. To convert. In addition, the form provided with the LUT (lookup table) of the result value of (1-1)-(1-3) may be sufficient.
Y = 0.3R + 0.59G + 0.11B (1-1)
Cr = R−Y (1-2)
Cb = BY (1-3)
Note that the Y data obtained by equation (1-1) is luminance data. Here, it is assumed that the Y data is data of 256 gradations. In the subsequent image processing, Y, Cr, and Cb data are used.
[0031]
As shown in FIG. 3, the first dividing unit 31 converts the entire image data composed of 1536 pixels in the vertical direction and 2048 pixels in the horizontal direction into 16 vertically long areas each composed of 1536 pixels in the horizontal direction and 128 pixels in the horizontal direction. Dividing into ARk (k = 1 to 16).
[0032]
As shown in FIG. 4, the second dividing unit 32 converts the entire image data composed of 1536 pixels in the vertical direction and 2048 pixels in the horizontal direction into 12 horizontally long areas each composed of 128 pixels in the vertical direction and 2048 pixels in the horizontal direction. It is divided into BRh (h = 1 to 12).
[0033]
As shown in FIG. 5, the third dividing unit 33 divides the 16 vertically long areas ARk (k = 1 to 16) having 1536 pixels in the vertical direction and 128 pixels in the horizontal direction into image dividing positions by the second dividing unit 32. Are divided into 12 blocks CRk, h (k = 1 to 16, h = 1 to 12) each having 128 pixels in the vertical direction and 128 pixels in the horizontal direction. The blocks CRk, h are a set of common pixels for the vertically long area ARk and the horizontally long area BRh. That is, the pixels included in the blocks CRk, h are pixels included in both the vertically long area ARk and the horizontally long area BRh.
[0034]
The first background calculation unit 34 calculates background correction data LAk (k = 1 to 16) for each of the vertically long areas ARk (k = 1 to 16), and executes the following processes. That is, the first background calculation unit 34 extracts Y data for each predetermined pixel (here, every 8 pixels) in the vertical direction and the horizontal direction for the vertically long area ARk, and multiplies the value by 1/4 to obtain the 64th floor. As shown in FIG. 6, a histogram is created for each gradation class as shown in FIG. 6, and 64 gradation data of the maximum frequency class is extracted from the histogram and multiplied by 4 (256 gradations). Returning to the data, background correction data LAk (k = 1 to 16) is obtained.
[0035]
In addition, the first background calculation unit 34 provides background correction data LAk for the first areas AR (k−1) and AR (k + 1) adjacent to the target vertical area ARk for each of the vertical areas ARk (k = 1 to 16). , LA (k−1), LA (k + 1) is obtained as the ground correction data LAk of the vertical area ARk of interest (this process is called an averaging process). Further, 14 pieces of data excluding the maximum data and the minimum data are extracted from the 16 background correction data LAk, and the vertical area average value LAAV which is the average value is obtained. If the difference between the background correction data LA1 and LA16 of the vertically long areas AR1 and AR16 at the left and right ends and the vertical area average value LAAV is greater than or equal to a predetermined gradation (here, 50 gradations), the background correction data LA2 is Substituting the background correction data LA1 into the background correction data LA15 and substituting the background correction data LA15 into the background correction data LA16 (this process is referred to as edge processing).
[0036]
Here, the Y data for every 8 pixels is used in order to reduce the calculation time by reducing the number of data used for creating the histogram as compared with the case of using all the pixels. The reason why the 64-gradation data obtained by multiplying the Y data by a factor of 1/4 is used to reduce the time required for the calculation for creating the histogram. Here, the data for every 8 pixels is used, but the data is not necessarily limited to this, and the data for every pixel (or for all pixels) is appropriately selected depending on the relationship between the calculation time and the calculation accuracy. It is possible to set whether to use. In this example, 64 gradation data obtained by multiplying Y data by 1/4 is used. However, the present invention is not necessarily limited to this. Depending on the relationship between calculation time and calculation accuracy, Y data is appropriately multiplied by several times. It is possible to set whether to use the data (including 1 times).
[0037]
Here, the averaging process is performed in order to prevent the difference between the background correction data LAk in the adjacent vertically long areas ARk from becoming excessive. In addition, the edge processing is performed because image data such as an image (for example, a background image) other than the document image may be included in the edge of the entire image data. This is to prevent the data correction from being affected.
[0038]
The second background calculation unit 35 obtains background correction data LBh (h = 1 to 12) for each horizontally long area BRh (h = 1 to 12), and executes the following processes. That is, the second background calculation unit 35 extracts Y data for each predetermined pixel (here, every 8 pixels) in the vertical direction and the horizontal direction for the horizontally long area BRh, and multiplies the value by 1/4 to obtain the 64th floor. As shown in FIG. 6, a histogram is created for each gradation class as shown in FIG. 6, and 64 gradation data of the maximum frequency class is extracted from the histogram and multiplied by 4 (256 gradations). Returning to the data, background correction data LBh (h = 1 to 12) is obtained.
[0039]
In addition, the second background calculation unit 35 performs background correction data LBh for the horizontally long areas BR (h−1) and BR (h + 1) adjacent to the focused second area BRh for each horizontally long area BRh (h = 1 to 12). , LB (h−1) and LB (h + 1) are obtained as background correction data LBh for the horizontally long area of interest BRh. Further, 10 pieces of data excluding the maximum data and the minimum data are extracted from the 12 background correction data LBh, and the horizontal area average value LBAV which is the average value is obtained. If the difference between the background correction data LB1 and LB12 of the horizontally long areas BR1 and BR12 at the left and right ends and the horizontally long area average value LBAV is equal to or greater than a predetermined gradation (here, 50 gradations), the background correction data LB2 is used. The background correction data LB1 is substituted, and the background correction data LB11 is substituted for the second background correction data LB12.
[0040]
The third background calculation unit 36 performs high luminance side background correction data LCHk, h and low luminance side background correction data LCLk, h (k = 1) for each block CRk, h (k = 1 to 16, h = 1 to 12). ˜16, h = 1 to 12) (corresponding to the third background correction data) is performed as follows. That is, the third background calculation unit 36 extracts Y data for each predetermined pixel (here, every 8 pixels) in the vertical direction and the horizontal direction for the block CRk, h, and multiplies the value by 1/4 to obtain 64 While obtaining as gradation data, a histogram is created for each gradation class as shown in FIG.
[0041]
Further, the third background calculation unit 36 searches the histogram for a class satisfying the following two conditions (1) and (2) from the high luminance side, and obtains 64 gradations of the corresponding class (referred to as the first class). The data is multiplied by 4 (returned to 256 gradation data) to obtain high luminance side background correction data LCHk, h.
(1) Frequency> TH1
(2) The frequency is greater than the frequency of the three classes on the lower luminance side than that class.
Here, the threshold value TH1 is 32 (= 128 × 128 ÷ 64 ÷ 8) here, and the Y data of the pixels for which the histogram is to be created is uniformly distributed in all classes. It is a frequency.
[0042]
Further, the third background calculation unit 36 searches the histogram for a class satisfying the following three conditions (3) to (5) from the first class toward the low luminance side, and obtains 64 gradations of the corresponding class. The data is multiplied by 4 (returned to 256 gradation data) to obtain low luminance side background correction data LCLk, h.
(3) Frequency> TH2
(4) The frequency is greater than the frequency of the class on the higher luminance side than that class.
(5) The frequencies are all greater than the frequencies of the three classes on the lower luminance side than that class.
Here, the threshold value TH2 is 32 like the threshold value TH1.
[0043]
The fourth background calculation unit 37 uses the background correction data LAk, the background correction data LBh, the high luminance side background correction data LCHk, h, and the low luminance side background correction data LCLk, h to generate background correction data for each block CRk, h. LDk, h is obtained, and the following processes are executed.
[0044]
That is, for the block CRk, h, the fourth background calculation unit 37 uses the high-luminance side background correction data LCHk, h and the low-luminance side background correction data LCLk, h for the background correction data of the vertically long area ARk including the pixels of the block. Compared with LAk, the one closer to the value of the background correction data LAk is set as the vertical background correction data LDAk, h.
[0045]
However, if the difference between the vertical background correction data LDAk, h and the background correction data LAk is greater than or equal to a predetermined value (60 gradations in this case), the background correction data LAk is the vertical background correction data. LDAk, h. If the difference between the vertical background correction data LDAk, h and the background correction data LAk is within a predetermined value range (in this case, 40 to 59 gradations) as a result of comparison, the background correction data LAk And the vertical background correction data LDAk, h is the vertical direction background correction data LDAk, h.
[0046]
For example, when the high luminance side background correction data LCHk, h is “160”, the low luminance side background correction data LCLk, h is “110”, and the background correction data LAk is “230”, the high luminance side background correction data Since LCHk, h is closer to the value of the background correction data LAk than the low luminance side background correction data LCLk, h, the high luminance side background correction data LCHk, h is used as the vertical direction background correction data LDAk, h. Since the difference (= 80) between the vertical background correction data LDAk, h (= 160) and the background correction data LAk is 60 gradations or more, the background correction data LAk is set as the vertical background correction data LDAk, h. The As a result, the vertical background correction data LDAk, h is “230”.
[0047]
For example, when the high luminance side background correction data LCHk, h is “180”, the low luminance side background correction data LCLk, h is “110”, and the background correction data LAk is “230”, the high luminance side background correction data LCHk, h is “180”. Since the correction data LCHk, h is closer to the value of the background correction data LAk than the low brightness side background correction data LCLk, h, the high brightness side background correction data LCHk, h is used as the vertical background correction data LDAk, h. Since the difference (= 50) between the vertical direction background correction data LDAk, h and the background correction data LAk is in the range of 40 to 59 gradations, the background correction data LAk and the vertical direction background correction data LDAk, h The average value (= (230 + 180) / 2) is used as the vertical background correction data LDAk, h. As a result, the vertical background correction data LDAk, h is “205”.
[0048]
Further, the fourth background calculation unit 37 extracts the vertical background correction data of a total of 5 blocks of the block of interest CRk, h and its upper, lower, left, and right blocks for each block CRk, h, and removes the maximum and minimum 3 The average value of the vertical background correction data of the block is obtained as the vertical background correction data LDAk, h of the block of interest CRk, h.
[0049]
For example, the vertical background correction data LDAk, h of the target block CRk, h is “200”, and the vertical background correction data LDAk, (h−1) of the left block CRk, (h−1) of the target block CRk, h. Is “210”, the vertical background correction data LDAk, (h + 1) of the right block CRk, (h + 1) of the target block CRk, h is “220”, and the upper block CR (k−1) of the target block CRk, h. , h longitudinal background correction data LDA (k−1), h is “190”, the block CR (k + 1) below the target block CRk, h, and the vertical background correction data LDA (k + 1), h are In the case of “210”, the vertical background correction data LDAk, h of the block of interest CRk, h is “207” (= (200 + 210 + 210) / 3).
[0050]
However, the vertical background correction data of the four corner blocks CR1,1, CR1,12, CR16,1, CR16,12 is not subjected to the averaging process, and the vertical area calculated by the first background calculation unit 34. When the difference from the average value LAAV is equal to or greater than a predetermined value (50 gradations in this case), the vertical background correction data of the blocks CR2, 2, CR2, 11, CR15, 2, CR15, 11 respectively. Is substituted.
[0051]
In this way, the fourth background calculation unit 37 corrects the high luminance side background correction data LCHk, h and the low luminance side background correction data LCLk, h using the background correction data LAk for each block CRk, h. To obtain the vertical background correction data LDAk, h. That is, the vertical background correction data LDAk, h is obtained as a result of correction by adding information on a vertical area (and its left and right vertical areas) including the pixel of the block to the information for each block.
[0052]
Further, the fourth background calculation unit 37 uses the high luminance side background correction data LCHk, h and the low luminance side background correction data LCLk, h for the block CRk, h, and the background correction data of the horizontally long area BRh including the pixels of the block. Compared with LBh, the one closer to the value of background correction data LBh is set as horizontal background correction data LDBk, h.
[0053]
However, if the difference between the horizontal background correction data LDBk, h and the background correction data LBh is equal to or greater than a predetermined value (60 gradations in this case), the background correction data LBh is used as the horizontal background correction data. LDBk, h. If the difference between the background correction data LDBk, h in the horizontal direction and the background correction data LBh is within a predetermined range (in this case, 40 to 59 gradations), the background correction data LBh and the horizontal background The average value of the correction data LDBk, h is set as the horizontal background correction data LDBk, h.
[0054]
Further, the fourth background calculation unit 37 extracts the horizontal background correction data of a total of 5 blocks including the target block CRk, h and its upper, lower, left, and right blocks for each block CRk, h, and removes the largest and smallest 3 An average value of the horizontal background correction data of the block is obtained as the horizontal background correction data LDBk, h of the target block CRk, h.
[0055]
However, the horizontal background correction data calculated by the second background calculation unit 34 is not applied to the horizontal background correction data of the four corner blocks CR1,1, CR1,12, CR16,1, CR16,12. If the difference from the average value LBAV is equal to or greater than a predetermined value (50 gradations in this case), the lateral background correction data of the blocks CR2, 2, CR2, 11, CR15, 2, CR15, 11 respectively. Is substituted.
[0056]
In this way, the fourth background calculation unit 37 corrects the high luminance side background correction data LCHk, h and the low luminance side background correction data LCLk, h using the background correction data LBh for each block CRk, h. To obtain the lateral background correction data LDBk, h. That is, the horizontal background correction data LDBk, h is obtained by correcting the information for each block by adding information on the horizontal area (and the upper and lower horizontal areas) including the pixel of the block.
[0057]
Further, the fourth background calculation unit 37 uses one of the vertical direction background correction data LDAk, h and the horizontal direction background correction data LDBk, h obtained in the above processing (the smaller one here) as the background correction data. Set as LDk, h. When the smaller one is selected, the luminance of the image data can be corrected to be high (the degree of whitening is strong). Note that the background correction data LDk, h obtained as described above includes information on a vertically long area (and its left and right vertically long areas) including the pixel of the block in the information for each block, and information on the pixel of the block. Since it is obtained as a result of correction by taking into account the information of the included landscape area (and the top and bottom landscape areas), background correction that can reduce the dependence on locality and directionality and perform appropriate background correction Data LDk, h is obtained.
[0058]
The correction unit 38 corrects Y data (luminance data) for each pixel using the background correction data LDk, h obtained for each block CRk, h by the fourth background calculation unit 37, and executes the following processes. To do.
[0059]
That is, the correction unit 38 calculates Y data correction data LUi, j (i = 1 to 1536, j = 1 to 2048) (referred to as background correction data) for each pixel as described below. Here, the background correction data LDk, h is used as background correction data for a pixel virtually located at the center position of the blocks CRk, h. Then, as shown in FIG. 8, a linear interpolation method is applied to the background correction data LDk, h for a pixel virtually located at the center position of each block, thereby obtaining the background correction data LUi, j for each pixel.
[0060]
Specifically, the center position A of the blocks CRk, h, the center position B of the blocks CRk, (h + 1), the center position C of the blocks CR (k + 1), (h + 1), and the blocks CR (k + 1), h The background correction data Wp for the pixel P inside the square ABCD defined by the center position D, here, in order to reduce the amount of calculation, the vertical direction and the horizontal direction with reference to the upper left corner pixel inside the square ABCD. It calculates | requires by following (2) Formula for every predetermined pixel (here 4 pixels) in a direction (refer FIG. 8).
Wp = (1-m) * [(1-n) * Wa + n * Wc] + m * [(1-n) * Wb + n * Wd] (2)
However, Wa = LDk, h, Wb = LDk, (h + 1), Wc = LD (k + 1), (h + 1), Wd = LD (k + 1), h, and the pixel P represents the side AB of the square ABCD, m : A pixel at a position that divides internally into a ratio of (1-m) and divides the side AD into a ratio of n: (1-n).
[0061]
Further, the correction unit 38 obtains the background correction data LUi, j for the pixel for which the background correction data LUi, j has not been calculated by the equation (2) by the following method. As shown in FIG. 9, the pixel in which the background correction data LUi, j is calculated by the expression (2) is a square area consisting of four pixels in both the vertical direction and the horizontal direction with the pixel at the upper left corner (shaded portion in the figure). The value of the background correction data LUi, j of the pixel (16 pixels) in (small block) is set to the same value as the value of the background correction data LUi, j for the pixel at the upper left corner of the small block. That is, the background correction data LUi, j having the same value is set for 16 pixels in the small block.
[0062]
The background correction data LUi, j for each pixel obtained in this way is a hatched area shown in FIG. 10A in the entire image (1536 pixels (vertical direction) × 2048 pixels (horizontal direction)). . This is because the background correction data LDk, h used for determining the background correction data LUi, j for each pixel is obtained for each block CRk, h consisting of 128 pixels in both the vertical and horizontal directions. This is because the background correction data for each is obtained by applying a pixel linear interpolation method to the background correction data LDk, h for a pixel virtually located at the center position of each block as shown in FIG.
[0063]
Therefore, the correction unit 38 performs background correction data LUi for each pixel for the pixels from the outer edge to the 64th pixel in the entire image (1536 pixels (vertical direction) × 2048 pixels (horizontal direction)) by the following method. , J. That is, as shown in FIG. 10A, the correction unit 38 determines the area for obtaining the background correction data LUi, j for each pixel as the four corner areas R1 (64 pixels × 64 pixels × 4 locations) and the upper and lower ends. The region is divided into a region R2 (64 pixels × 1920 (= 2048−128) pixels × 2 places) and a region R3 (1408 (= 1536−128) pixels × 64 pixels × 2 places) at the left and right ends. FIG. 10B is an enlarged view of the vicinity of the upper left end of the entire image, and the smallest square represents a small block (4 pixels × 4 pixels).
[0064]
Then, the correction unit 38 sets the same value as the background correction data LUi, j of the small blocks at the four corners of the hatched portion shown in FIG. 10A as the background correction data LUi, j for the pixels in the region R1. . For example, the background correction data LUi, j for the pixels in the upper left corner region R1 shown in FIG. 10B is the same as the background correction data LUi, j of the pixels included in the small block SB1 in the upper left corner of the shaded area. The value of is set.
[0065]
Further, the correction unit 38 is the same as the small block including the pixel as the background correction data LUi, j for the pixel in the region R2, and the upper end (or the lower end) of the shaded portion shown in FIG. ) Of the small block background correction data LUi, j. For example, in FIG. 10B, the background correction data LUi, j for the pixels included in the small block SB2 in the region R2 has the same value as the background correction data LUi, j of the pixels included in the small block SB3 in the shaded area. The background correction data LUi, j for the pixels included in the small block SB4 within the region R2 is set to the same value as the background correction data LUi, j for the pixels included in the small block SB5 within the shaded area.
[0066]
Further, the correction unit 38 is in the same row as the small block including the pixel as background correction data LUi, j for the pixel in the region R3, and the left end (or right end) of the hatched portion shown in FIG. ) Of the small block background correction data LUi, j. For example, in FIG. 10B, the background correction data LUi, j for the pixels included in the small block SB6 in the region R3 has the same value as the background correction data LUi, j of the pixels included in the small block SB7 in the shaded area. The background correction data LUi, j for the pixels included in the small block SB8 within the region R3 is set to the same value as the background correction data LUi, j for the pixels included in the small block SB9 within the shaded area.
[0067]
In this way, the correction unit 38 obtains background correction data LUi, j for the pixels of the entire image (1536 pixels (vertical direction) × 2048 pixels (horizontal direction)).
[0068]
The correction unit 38 performs Y data sharpening processing, which will be described later, and image data correction (background removal processing) using the background correction data LUi, j. That is, the correction unit 38 performs sharpening processing on the Y data of each pixel using the filter shown in FIG. Specifically, for Y data Yi, j of the pixel of interest PEi, j, Y data Y (i-1), j of pixel PE (i-1), j, Y data Y of pixel PE (i + 1), j (I + 1), j, Y data Yi, (j-1) of pixel PEi, (j-1) and Y data Yi, (j + 1) of pixel PEi, (j + 1) are corrected by the following equation (3) To do.
Yi, j ← 2.times.Yi, j- (Y (i-1), j + Y (i + 1), j + Yi, (j-1) + Yi, (j + 1)) / 4 (3)
However, the filter to be used is not limited to the filter shown in FIG. 11, and other various filters can be used. Further, this process may be omitted.
[0069]
Then, the correction unit 38 corrects the Y data Yi, j of each pixel using the correction curve shown in FIG. That is, it is determined whether or not the Y data Yi, j is equal to or greater than the background correction data LUi, j. If the Y data Yi, j is equal to or greater than the background correction data LUi, j, Yi, j is set to “255” (256 gradations maximum gradation). , Y data Yi, j is less than background correction data LUi, j, Y data Yi, j is multiplied by (255 / LUi, j) to obtain new Y data Yi, j.
[0070]
With this process, when the brightness Y data is equal to or greater than the value of the background correction data, the brightness is maximized. For example, when the background is dark due to insufficient illuminance, the background removal process for whitening the background is performed. It is possible to obtain clear document image data.
[0071]
The post-processing unit 39 performs black level tightening processing, saturation enhancement processing, and RGB conversion processing described below.
[0072]
That is, the post-processing unit 39 performs black level tightening processing on the Y data Yi, j obtained by the correction unit 38. In the black level tightening process, Y data Yi, j, which is luminance data for each pixel, is corrected based on the correction curve shown in FIG. Specifically, it is determined whether or not the Y data Yi, j is equal to or less than a predetermined gradation (here, 144 gradations). If the Y data Yi, j is equal to or less than 144 gradations, the Y data Yi, j is set to zero, In the case of 144 gradations or more, the Y data Yi, j is corrected based on the correction curve. When the Y data Yi, j is equal to or lower than a predetermined gradation (144 gradations in this case), the Y data Yi, j is set to zero. For example, the luminance of characters and figures increases due to excessive illumination. Even when it is difficult to discriminate the boundary with the background, by performing this process, the brightness of the characters and graphic parts is made zero, so that clear document image data can be obtained.
[0073]
Further, the post-processing unit 39 increases the degree of enhancement of the saturation as the pixel has lower saturation (the values of Cr and Cb are smaller) according to the following equations (4-1) to (4-6). Is subjected to saturation enhancement processing for correcting saturation.
Cr ← Cr × EmpLv / Max (Z, C) (4-1)
Cb ← Cb × EmpLv / Max (Z, C) (4-2)
here,
Z = (Cr + Cb) / 2 (4-3)
C = 70 (4-4)
Gamma (Z) = C + Z × (255−C) / 255 (4-5)
EmpLv = Max (Gamma (Z) −Y / 4, Z) (4-6)
However, Max (α, β) is a function that returns the larger value of α and β.
[0074]
Further, the post-processing unit 39 converts RGB image data composed of Y, Cr, Cb data into image data composed of R, G, B data according to the following equations (5-1) to (5-3). Apply processing. In addition, the form provided with LUT (lookup table) of the result value of (5-1)-(5-3) Formula may be sufficient.
R = Y + Cr (5-1)
G = Y−0.51Cr−0.19Cb (5-2)
B = Y + Cb (5-3)
Next, the operation of the document image data correction unit 3 will be described with reference to the flowchart shown in FIG. First, the preprocessing unit 30 converts image data composed of R, G, B data into image data composed of Y, Cr, Cb data (step # 1). Subsequently, the first dividing unit 31 divides the entire image into 16 vertically long areas ARk (k = 1 to 16) in the horizontal direction (step # 3). Then, the first background calculation unit 34 obtains background correction data LAk (k = 1 to 16) for each of the vertically long areas ARk from the image data of the pixels included in the vertically long area ARk (step # 5).
[0075]
Next, the entire image is divided into 12 horizontally long areas BRh (h = 1 to 12) in the vertical direction by the second dividing unit 32 (step # 7). Then, the background correction data LBh (h = 1 to 12) of the background is obtained for each of the horizontally long areas BRh from the image data of the pixels included in the horizontally long area BRh (Step # 9).
[0076]
Next, the third area 33 divides the first area AR1k into 12 blocks CRk, h (k = 1 to 16, h = 1 to 12) in the vertical direction (step # 11). Then, the third background calculation unit 36 performs high luminance side background correction data LCHk, h and low luminance side background correction data LCLk, h (k = k = h) for each block CRk, h from the image data of the pixels included in the blocks CRk, h. 1-16, h = 1-12) are obtained (step # 13).
[0077]
Next, the fourth background calculation unit 37 uses the background correction data LAk, the background correction data LBh, the high luminance side background correction data LCHk, h, and the low luminance side background correction data LCLk, h for each block CRkh. LDk, h (k = 1 to 16, h = 1 to 12) is obtained (step # 15).
[0078]
Next, the correction unit 38 performs Y data sharpening processing and image data correction (background skip processing) using the background correction data LUi, j (step # 17). Further, the post-processing unit 39 performs black level tightening processing, saturation enhancement processing, and RGB conversion processing (steps # 19, 21, and 23).
[0079]
In this way, in the present embodiment, the information for each block includes information on the vertically long area (and its left and right vertically long areas) including the pixels of the block, and the horizontally long area (and its top and bottom) including the pixels of the block. The image data is corrected using the ground correction data LDk, h obtained as a result of correction in consideration of the information of the (landscape area) of the image, so that the dependence on locality and directionality is reduced. Background correction is performed.
[0080]
Each functional unit of the document image data correction unit 3 may be realized by executing the document image processing program of the present invention on a CPU or the like.
[0081]
The present invention can take the following forms.
[0082]
(A) In the present embodiment, the case where image data is generated by a digital camera has been described, but the image data may be generated by another type of imaging device. For example, the image data may be generated by a digital video camera. In this case, it is necessary to perform the image data correction processing of the present invention on the image data of each frame constituting the moving image.
[0083]
Alternatively, the image may be captured by a video camera that stores an image signal as analog data on a recording medium such as a video tape. In this case, an A / D converter such as a capture board that converts the image signal (analog signal) generated by the video camera into image data (digital signal) is required, and the image of each frame constituting the moving image. It is necessary to perform image data correction processing of the present invention on the data.
[0084]
(B) Although the case where image data is stored in a recording medium by the image data recording unit has been described in the present embodiment, the image data may be transmitted to a communication terminal such as a personal computer by communication means such as the Internet. Good. In this case, the image data correction processing of the present invention may be executed in a communication terminal such as a personal computer.
[0085]
(C) In the present embodiment, the case where the entire image is divided in the vertical direction and the horizontal direction has been described. However, the image may be divided in two different directions, and the angle formed by the two directions may be a right angle depending on the application. Is not limited. According to this, processing suitable for each purpose is possible.
[0086]
(D) In this embodiment, the case where the background removal process is performed using the Y data has been described, but the background removal process may be performed using other data (for example, G data). In this case, conversion processing between R, G, B data and Y, Cr, Cb data can be omitted.
[0087]
(E) In the present embodiment, the case has been described in which the third background correction data includes high-luminance side background correction data and low-luminance side background correction data. However, the third background correction data is high-luminance side background correction data. Form may be sufficient. In this case, the process becomes simple. Further, instead of the high-luminance side background correction data, a form obtained by quadruple the 64 grayscale data of the maximum frequency class may be used.
[0088]
(F) In the present embodiment, the case where the saturation enhancement process, the sharpening process, and the black level tightening process are performed has been described. However, these processes are incidental processes of the present invention. One may be omitted.
[0089]
【The invention's effect】
According to the first, second, and fourth aspects of the invention, correction data is obtained by adding the characteristics of the image data of the first and second areas including the block to the characteristics of the image data included in the block. Thus, it is possible to obtain appropriate correction data in which locality and directionality are eliminated. When image data is corrected using the background correction data, appropriate correction can be performed, and clearer image data can be obtained for the background portion.
[0090]
According to the third aspect of the present invention, since the selection unit accepts whether or not the document image data is received from the outside, it is possible to reliably determine whether or not the document image is a document image. A process for determining whether or not the image data is present can be made unnecessary. Furthermore, in addition to a document image, appropriate correction processing can be applied to other types of images, for example, photographic images.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a main part of a digital camera which is an embodiment according to the present invention.
FIG. 2 is a block diagram illustrating a configuration of a main part of an image data generation unit.
FIG. 3 is an explanatory diagram of an image dividing method by a first dividing unit.
FIG. 4 is an explanatory diagram of an image dividing method by a second dividing unit.
FIG. 5 is an explanatory diagram of an image dividing method by a third dividing unit.
FIG. 6 is an example of a histogram of Y data.
FIG. 7 is an example of a histogram of Y data.
FIG. 8 is an explanatory diagram of a linear interpolation method.
FIG. 9 is an explanatory diagram of a method for calculating background correction data.
FIG. 10 is an explanatory diagram of a method for calculating background correction data.
FIG. 11 is an example of a filter used for sharpening processing.
FIG. 12 is an example of a correction curve used for background removal processing.
FIG. 13 is an example of a correction curve used for black level tightening processing;
FIG. 14 is an example of a flowchart for explaining the operation of the document image data correction unit.
FIG. 15 is an example of a correction curve used for conventional background removal processing.
[Explanation of symbols]
1 Image data generator
2 selection part
3 Document image data correction unit
30 Pre-processing section
31 1st division part (1st division means)
32 2nd division part (2nd division means)
33 3rd division part (3rd division means)
34 First ground calculation unit (first ground calculation means)
35 Second background calculation unit (second background calculation means)
36 3rd background calculation part (3rd background calculation means)
37 Fourth background calculation unit (fourth background calculation means)
38 Correction part
39 Post-processing section
4 Image data recording unit

Claims (4)

撮像装置で撮影された文書画像の画像データを補正するための下地補正データを求める文書画像処理装置であって、文書画像全体を第１の方向について第１の所定数の第１エリアに分割する第１分割手段と、
文書画像全体を前記第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割する第２分割手段と、
前記第１エリアを前記第２の方向について前記第２分割手段による画像の分割位置と一致する位置で前記第２の所定数のブロックに分割する第３分割手段と、前記第１エリアに含まれる画素の画像データから前記第１エリア毎に下地の第１下地補正データを求める第１下地算出手段と、
前記第２エリアに含まれる画素の画像データから前記第２エリア毎に下地の第２下地補正データを求める第２下地算出手段と、
前記ブロックに含まれる画素の画像データから前記ブロック毎に下地の第３下地補正データを求める第３下地算出手段と、
前記第１下地補正データ、第２下地補正データ及び第３下地補正データを用いて前記ブロック毎に第４下地補正データを求める第４下地算出手段とを備えることを特徴とする文書画像処理装置。A document image processing apparatus that obtains background correction data for correcting image data of a document image captured by an imaging apparatus, and divides the entire document image into a first predetermined number of first areas in a first direction. First dividing means;
Second dividing means for dividing the entire document image into a second predetermined number of second areas in a second direction different from the first direction;
Third division means for dividing the first area into the second predetermined number of blocks at a position coinciding with the image division position by the second division means in the second direction, and included in the first area First background calculation means for obtaining first background correction data of a background for each of the first areas from image data of pixels;
Second background calculation means for obtaining second background correction data of the background for each second area from image data of pixels included in the second area;
Third background calculation means for obtaining third background correction data of the background for each block from image data of pixels included in the block;
A document image processing apparatus comprising: a fourth background calculation unit that obtains fourth background correction data for each of the blocks using the first background correction data, the second background correction data, and the third background correction data. 被写体の画像データを生成する画像データ生成手段と、
画像全体を第１の方向について第１の所定数の第１エリアに分割する第１分割手段と、
画像全体を前記第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割する第２分割手段と、
前記第１エリアを前記第２の方向について前記第２分割手段による画像の分割位置と一致する位置で前記第２の所定数のブロックに分割する第３分割手段と、
前記第１エリアに含まれる画素の画像データから前記第１エリア毎に下地の第１下地補正データを求める第１下地算出手段と、
前記第２エリアに含まれる画素の画像データから前記第２エリア毎に下地の第２下地補正データを求める第２下地算出手段と、
前記ブロックに含まれる画素の画像データから前記ブロック毎に下地の第３下地補正データを求める第３下地算出手段と、
前記第１下地補正データ、第２下地補正データ及び第３下地補正データを用いて前記ブロック毎に第４下地補正データを求める第４下地算出手段とを備えることを特徴とする撮像装置。Image data generating means for generating image data of a subject;
First dividing means for dividing the entire image into a first predetermined number of first areas in a first direction;
Second dividing means for dividing the entire image into a second predetermined number of second areas in a second direction different from the first direction;
Third dividing means for dividing the first area into the second predetermined number of blocks at a position coinciding with the image dividing position by the second dividing means in the second direction;
First background calculation means for obtaining first background correction data of the background for each of the first areas from image data of pixels included in the first area;
Second background calculation means for obtaining second background correction data of the background for each second area from image data of pixels included in the second area;
Third background calculation means for obtaining third background correction data of the background for each block from image data of pixels included in the block;
An imaging apparatus comprising: a fourth background calculation unit that obtains fourth background correction data for each of the blocks using the first background correction data, the second background correction data, and the third background correction data. 外部から文書画像データであるか否かの選択を受け付ける選択手段を更に備えることを特徴とする請求項２に記載の撮像装置。The imaging apparatus according to claim 2, further comprising selection means for receiving a selection as to whether or not the document image data is from outside. 撮像装置で撮影された文書画像の画像データを補正するための下地補正データを求める文書画像処理プログラムであって、コンピュータを、文書画像全体を第１の方向について第１の所定数の第１エリアに分割する第１分割手段と、
文書画像全体を前記第１の方向と異なる第２の方向について第２の所定数の第２エリアに分割する第２分割手段と、
前記第１エリアを前記第２の方向について前記第２分割手段による画像の分割位置と一致する位置で前記第２の所定数のブロックに分割する第３分割手段と、前記第１エリアに含まれる画素の画像データから前記第１エリア毎に下地の第１下地補正データを求める第１下地算出手段と、
前記第２エリアに含まれる画素の画像データから前記第２エリア毎に下地の第２下地補正データを求める第２下地算出手段と、
前記ブロックに含まれる画素の画像データから前記ブロック毎に下地の第３下地補正データを求める第３下地算出手段と、
前記第１下地補正データ、第２下地補正データ及び第３下地補正データを用いて前記ブロック毎に第４下地補正データを求める第４下地算出手段として機能させることを特徴とする文書画像処理プログラム。A document image processing program for obtaining background correction data for correcting image data of a document image photographed by an imaging apparatus, the computer comprising: a first predetermined number of first areas for the entire document image in a first direction; First dividing means to divide into
Second dividing means for dividing the entire document image into a second predetermined number of second areas in a second direction different from the first direction;
Third division means for dividing the first area into the second predetermined number of blocks at a position coinciding with the image division position by the second division means in the second direction, and included in the first area First background calculation means for obtaining first background correction data of a background for each of the first areas from image data of pixels;
Second background calculation means for obtaining second background correction data of the background for each second area from image data of pixels included in the second area;
Third background calculation means for obtaining third background correction data of the background for each block from image data of pixels included in the block;
A document image processing program that functions as fourth background calculation means for obtaining fourth background correction data for each block using the first background correction data, second background correction data, and third background correction data.
JP2002051397A 2002-02-27 2002-02-27 Document image processing apparatus, imaging apparatus, and document image processing program Expired - Fee Related JP3697464B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002051397A JP3697464B2 (en) 2002-02-27 2002-02-27 Document image processing apparatus, imaging apparatus, and document image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002051397A JP3697464B2 (en) 2002-02-27 2002-02-27 Document image processing apparatus, imaging apparatus, and document image processing program

Publications (2)

Publication Number Publication Date
JP2003256773A JP2003256773A (en) 2003-09-12
JP3697464B2 true JP3697464B2 (en) 2005-09-21

Family

ID=28663375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002051397A Expired - Fee Related JP3697464B2 (en) 2002-02-27 2002-02-27 Document image processing apparatus, imaging apparatus, and document image processing program

Country Status (1)

Country Link
JP (1) JP3697464B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4761217B2 (en) * 2007-01-17 2011-08-31 富士ゼロックス株式会社 Image processing apparatus, image forming apparatus, image forming system, and image processing program
JP7430554B2 (en) 2020-03-19 2024-02-13 株式会社キーエンス Optical information reading device, optical information reading method, optical information reading program, computer readable recording medium, and recording device

Also Published As

Publication number Publication date
JP2003256773A (en) 2003-09-12

Similar Documents

Publication Publication Date Title
JP4163353B2 (en) Image processing device
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
JP5018770B2 (en) Image signal processing apparatus and image signal processing method
JP4233257B2 (en) Method and apparatus for extending the effective dynamic range of an imaging device and use of residual images
US6825884B1 (en) Imaging processing apparatus for generating a wide dynamic range image
US7756330B2 (en) Producing an extended dynamic range digital image
JP4678218B2 (en) Imaging apparatus and image processing method
KR101388130B1 (en) Image processing apparatus　and image processing method
KR101099401B1 (en) Image processing apparatus and computer-readable medium
US7187409B2 (en) Level difference correcting method and image pick-up device using the method
JP4246428B2 (en) Tone scale function generation method
JP4290965B2 (en) How to improve the quality of digital images
JP2008085634A (en) Imaging apparatus and image processing method
JP3817635B2 (en) Color image processing apparatus and processing method
JP2006333113A (en) Imaging device
JP4335728B2 (en) Image processing apparatus and method
JP3697464B2 (en) Document image processing apparatus, imaging apparatus, and document image processing program
JP2008219230A (en) Imaging apparatus, and image processing method
JP2004304635A (en) Image processing method and image processing apparatus
Brown Color processing for digital cameras
JP2009022044A (en) Image processing apparatus and image processing program
JP2004304641A (en) Image processing method and image processing apparatus
JP2008131291A (en) Imaging apparatus
JP4478981B2 (en) Color noise reduction method and color imaging apparatus
Allen et al. Digital cameras and scanners

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050329

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050422

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090715

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100715

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100715

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110715

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120715

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130715

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees