JP5437414B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5437414B2
JP5437414B2 JP2012034514A JP2012034514A JP5437414B2 JP 5437414 B2 JP5437414 B2 JP 5437414B2 JP 2012034514 A JP2012034514 A JP 2012034514A JP 2012034514 A JP2012034514 A JP 2012034514A JP 5437414 B2 JP5437414 B2 JP 5437414B2
Authority
JP
Japan
Prior art keywords
image data
pixel
background
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012034514A
Other languages
English (en)
Other versions
JP2012181838A (ja
Inventor
シャオ−シェン チェン ローレンス
ジョン キャンベル リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2012181838A publication Critical patent/JP2012181838A/ja
Application granted granted Critical
Publication of JP5437414B2 publication Critical patent/JP5437414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/01—Solutions for problems related to non-uniform document background

Description

本発明は、デジタル画像におけるアーチファクトの除去に関するものであり、特に、撮像手段によって撮像された文書画像（原稿画像）において、照明の変化の除去や周辺光量低下（ビネット）の補正のための方法およびシステムに関する。
デジタルカメラおよびカメラを備えた携帯端末の普及により、文書の画像あるいは文書を含む表示物（例えば、標識、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物）を撮像する機会が増加している。このような文書が撮像された文書画像データは、従来の文書処理ワークフロー（例えば、印刷、文字認識処理（ＯＣＲ；optical character recognition）、圧縮、保存、あるいはその他の文書処理ワークフロープロセス）に供給される。
カメラ等の撮像手段により撮像された文書画像データには、様々な要因によって、アーチファクト（欠陥）が含まれる場合がある。当該要因としては、例えば、照明の不均一性、閃光（glare）、光学的歪み、遠近感の歪み、レンズ光量の低下（周辺光量低下ともいう）などが挙げられる。特に、カメラにより撮像された文書画像データは、照明の不均一性や周辺光量低下のために、不均一な明るさ（輝度）を示すことがある。カメラにより撮像された文書画像データにおける不均一な明るさは、文書領域の分離に影響を与え、テキストのコントラストを低下させ、文書の複製における知覚的な全体の画像品質を低下させる。撮像手段により撮像された文書画像データには文書画像以外のノイズ（Clutter）となる領域が含まれるため、これらのアーチファクトに対する補正を一層難しくしている。さらに、文書は、複雑なレイアウトを有する場合がある。例えば、多色の背景、カラーグラデーションなどを有する場合がある。このような複雑なレイアウトが文書に含まれる場合もあるため、文書画像データにおける不均一な明るさが、照明の不均一性や周辺光量低下によるものであるのか、文書の内容によるものであるのかを判断しにくくしている。それゆえ、これらの状況下でもしっかりとしたパフォーマンスを提供できる、撮像手段により撮像された原稿画像における明るさおよびビネットを補正するための方法およびシステムが望まれている。
そこで、特許文献１には、カメラで撮像した画像より、周辺部を除いた実対象部の画像を切り出し、輝度ヒストグラムと色差ヒストグラムを作成し、輝度ヒストグラムと色差ヒストグラムのピーク値より、撮影対象物の背景を白、黒、カラー（白または黒以外）に分類し、背景色により輝度変換処理の内容を切り替える技術が開示されている。また、カラー調整処理（例えば、背景の白色化処理）、輝度ムラ補正処理（周辺減光、撮影環境による影の影響低減）を行う点が開示されている。
特開２００５−１２２３１９号公報（２００５年５月１２日公開）
しかしながら、特許文献１に記載の技術では、輝度ムラ補正を行う際、背景が白色である場合のみを対象としているので、撮像した画像にカラーの背景に文字が書かれている場合等、輝度ムラ補正を行うことができない。また、輝度ムラ補正を行う際、輝度値に対して閾値処理を行っているので、閾値の設定によっては、輝度ムラが補正されない領域が生じるおそれがある。
本発明は、上記課題を解決するためになされたものであり、撮像手段により撮像された画像における輝度を背景の状況に応じて適切に補正することが可能な画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。
本発明の画像処理装置は、デジタル画像における輝度成分を示す輝度画像データを取得する輝度画像取得部と、前記輝度画像データを低解像度化した低解像画像データを生成する低解像処理部と、前記低解像画像データに基づいて、前記デジタル画像における背景のタイプを検知する背景タイプ検知部と、前記背景タイプ検知部により検知された背景のタイプに基づいて、前記低解像画像データに対して、前記デジタル画像における背景の領域を広げ、前景の領域を小さくするフィルタ処理を実行することにより生成されたフィルタ処理画像データを用いて、当該フィルタ処理画像データにおける画素座標と画素値との関係に近似する、画素座標を変数とする２次多項近似式を生成する近似式生成部と、前記２次多項近似式で示される２次多項モデル画像データに基づいて、前記輝度画像データを補正する補正部とを備えることを特徴とする。
本発明の画像処理方法は、デジタル画像における輝度成分を示す輝度画像データを取得する輝度画像取得ステップと、前記輝度画像データを低解像度化した低解像画像データを生成する低解像処理ステップと、前記低解像画像データに基づいて、前記デジタル画像における背景のタイプを検知する背景タイプ検知ステップと、前記背景タイプ検知ステップにて検知された背景のタイプに基づいて、前記低解像画像データに対して、前記デジタル画像における背景の領域を広げ、前景の領域を小さくするフィルタ処理を実行することにより生成されたフィルタ処理画像データを用いて、当該フィルタ処理画像データにおける画素座標と画素値との関係に近似する、画素座標を変数とする２次多項近似式を生成する近似式生成ステップと、前記２次多項近似式で示される２次多項モデル画像データに基づいて、前記輝度画像データを補正する補正ステップとを含むことを特徴とする。
本発明者らは、均一な濃度の背景を有する文書をカメラで撮像したときの撮像画像において、撮像時の照明の不均一性やレンズによる周辺光量低下が生じている場合、その背景における座標（ｘ、ｙ）と当該座標における輝度値との関係が、ｘ、ｙを変数とする２次多項式に従う確率が高いことを見出した。上記の構成によれば、２次多項モデル画像データに基づいて輝度画像データが補正されるため、撮像時の照明の不均一性やレンズによる周辺光量低下などの原因で撮像画像の背景に輝度ムラが生じたとしても、当該輝度ムラを低下させるように補正することができる。
また、本発明の画像処理装置において、前記背景タイプ検知部は、（１）前記低解像画像データに対して、相対的に輝度の高い領域を膨張させる膨張処理を行うことにより膨張画像データを生成するとともに、前記低解像画像データに対して相対的に輝度の高い領域を縮退させる縮退処理を行うことにより縮退画像データを生成し、（２）勾配フィルタを前記膨張画像データに適用することで膨張画像データにおける勾配強度を画素ごとに示す勾配フィルタ膨張画像データを生成するとともに、勾配フィルタを前記縮退画像データに適用することで縮退画像データにおける勾配強度を画素ごとに示す勾配フィルタ縮退画像データを生成し、（３）前記勾配フィルタ膨張画像データにおける勾配強度の和である第１の和を、前記勾配フィルタ縮退画像データにおける勾配強度の和である第２の和で割った値である比を求め、（４）前記比が比閾値以上である場合、前記背景のタイプが、相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプであると検知し、前記比が比閾値未満である場合、前記背景のタイプが、相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプであると検知するが好ましい。
相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプである場合、膨張処理を行うと、背景が広がり、前景が収縮する。そのため、膨張画像データにおける勾配強度の和は小さくなる傾向にある。一方、縮退処理を行うと、背景が収縮し、前景が広がるため、縮退画像データにおける勾配強度の和が大きくなる傾向となる。
また、相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプである場合、膨張処理を行うと、背景が収縮し、前景が広がるため、膨張画像データにおける勾配強度の和は大きくなる傾向にある。一方、縮退処理を行うと、背景が広がり、前景が収縮するため、縮退画像データにおける勾配強度の和が小さくなる傾向となる。
以上から、上記の比（＝第１の和／第２の和）と比閾値とを比較することにより、第１タイプと第２タイプとのいずれであるかを精度よく検知することができる。
また、本発明の画像処理装置において、前記近似式生成部は、前記背景タイプ検知部により背景のタイプが前記第１タイプであると検知された場合、前記フィルタ処理画像データとして前記膨張画像データを用い、前記背景タイプ検知部により背景のタイプが前記第２タイプであると検知された場合、前記フィルタ処理画像データとして前記縮退画像データを用いることが好ましい。
上記の構成によれば、低解像画像データに対して、背景の領域が広く、前景の領域が小さいフィルタ処理画像データを用いることができる。そのため、文書を撮像した画像データの場合、テキスト部分が小さい画像データを用いて２次多項モデル画像データを生成することとなる。上述したように、撮像時の照明の不均一性やレンズによる周辺光量低下などによる背景の輝度の変化は、画素座標に対する画素値の関係が２次多項式に従う。そのため、より背景の領域が大きいフィルタ処理画像データを用いて２次多項モデル画像データを生成することができる。つまり、テキスト部分のような２次多項式に従わない領域をなるべく小さくした状態で２次多項モデル画像データを生成するため、背景部分によりマッチした２次多項モデル画像データを生成することができる。
また、本発明の画像処理装置は、前記２次多項モデル画像データを検証する検証部を備え、前記検証部は、前記文書の領域において、前記２次多項モデル画像データと前記フィルタ処理画像データとの差分を画素ごとに求め、当該差分と受入閾値とを比較することで、前記２次多項モデル画像データを用いることの適否を検証し、前記補正部は、前記検証部により前記２次多項モデル画像データを用いることが適であると判定した場合に、前記輝度画像データを補正することが好ましい。
入力されたデジタル画像によっては、画像自体の内容によって輝度が変化している場合もあれば、撮像時の照明の不均一性やレンズによる周辺光量低下などによる輝度の変化の場合もある。画像自体の内容によって輝度が変化している場合に、周辺光量低下などを前提とした２次多項モデル画像データに基づいて補正すると、本来の画像との差をより大きくしてしますこととなる。しかしながら、上記の構成によれば、検証により２次多項モデル画像データを用いることが適であると判定された場合に、輝度画像データが補正される。これにより、画像自体の内容によって輝度が変化している場合に、２次多項モデル画像データに従って補正してしまうことを防止できる。
また、本発明の画像処理装置において、前記補正部は、前記２次多項モデル画像データに基づいて、前記デジタル画像における背景に対する目標輝度値と、前記輝度画像データと前記２次多項モデル画像データとの差分を正規化した値を画素値とする正規化差分画像データとを求め、前記目標輝度値および正規化差分画像データに基づいて、前記輝度画像データと前記２次多項モデル画像データとの差分が小さい画素ほど画素値を前記目標輝度値に近づけるように前記輝度画像データを補正することで第１補正画像データを生成することが好ましい。
具体的には、前記補正部は、背景のタイプが相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプであると前記背景タイプ検知部により検知された場合、前記２次多項モデル画像データにおける最大の画素値を前記目標輝度値として設定し、背景のタイプが相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプであると前記背景タイプ検知部により検知された場合、前記２次多項モデル画像データにおける最小の画素値を前記目標輝度値として設定することが好ましい。
また、前記補正部は、（１）各画素について前記輝度画像データと前記２次多項モデル画像データとの差分の絶対値を求め、当該絶対値を当該画素の画素値とする差分画像データを求めるとともに、当該差分画像データにおける最大の画素値を求め、（２）画素ごとに、前記差分画像データから求めた最大の画素値から、前記差分画像データにおける当該画素に対応する画素値を減算し、当該減算により求めた値を、前記差分画像データから求めた最大の画素値で除算した値である除算値を求め、（３）画素ごとに求めた前記除算値を画素値とする画像データを前記正規化差分画像データとして生成することが好ましい。
また、本発明の画像処理装置において、前記補正部は、（１）画素ごとに、前記目標輝度値から前記２次多項モデル画像データにおける当該画素に対応する画素値を減算し、当該減算により求めた値に、前記正規化差分画像データにおける当該画素に対応する画素値を乗算し、当該乗算により求めた値に、前記輝度画像データにおける当該画素に対応する画素値を加算した値である加算値を求め、（２）画素ごとに求めた前記加算値を画素値とする画像データを前記第１補正画像データとして生成することが好ましい。
また、前記補正部は、（１）前記輝度画像データにおける最大の画素値である第１最大画素値を特定するとともに、前記第１補正画像データにおける最大の画素値である第２最大画素値を特定し、（２）画素ごとに、前記第１最大画素値と、前記第２最大画素値の逆数と、前記第１補正画像データにおける当該画素に対応する画素値とを乗算した値である乗算値を求め、（３）画素ごとに求めた前記乗算値を画素値とする画像データである第２補正画像データを生成することが好ましい。
上記の構成によれば、背景を目標輝度値に近づけることができ、背景の輝度ムラを低減することができる。
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
本発明によれば、撮像手段により撮像された画像における輝度を背景の状況に応じて適切に補正することができるという効果を奏する。
図１は、ダウンサンプリング、背景タイプの検知、パラメータの推定、検証、補正を行う、本発明の一実施形態に係る画像処理装置の処理の一例を示すフローチャートである。 図２は、本発明の一実施形態における背景タイプの検知処理を示す図である。 図３は、本発明の一実施形態におけるパラメータの推定処理を示す図である。 図４は、本発明の一実施形態における検証処理を示す図である。 図５は、本発明の別の実施形態に係る画像処理装置の処理の一例を示すフローチャートである。 図６は、本発明のさらに別の実施形態に係る画像処理装置の処理の一例を示すフローチャートである。 図７は、本発明のさらに別の実施形態に係る画像処理装置の処理の一例を示すフローチャートである。 図８は、周辺光量低下のために不均一な背景を示す画像の一例を示す図である。 図９は、本発明の一実施形態によって生成された、図８の画像に対応する第２補正画像を示す図である。 本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 文書着目領域設定部の構成を示すブロック図である。
本発明の実施形態は、カメラにより撮像された文書画像を示すデジタル画像データからアーチファクトを除去する方法およびシステムに関するものである。
本発明の一実施形態によれば、輝度画像データは、ダウンサンプリングされ、ダウンサンプリングされた画像データから背景タイプが決定される。そして、ダウンサンプリングされた輝度画像に対して膨張処理または縮退処理がされた画像から、当該画像にフィットするモデルのパラメータが推定される。ここで、検知された背景タイプによって、膨張処理および縮退処理の何れかが選択される。その後、パラメータを用いても問題ないか否かが検証され、当該検証結果に応じて、第２補正画像データが生成される。つまり、パラメータを用いても問題ないと判定されると、第２補正画像データが生成される。パラメータを用いると問題があると判定されると、第２補正画像データが生成されない。第２補正画像データは、目標輝度値、正規化差分画像データおよび第１補正画像データに基づいて生成される。
本発明の前述および他の目的、特徴、効果は、図面とともに以下の説明を考慮することで容易に理解されるであろう。
本発明の一実施形態は、図面を参照することによってより理解されるであろう。図面では、類似する部材には、類似する番号が付けられている。上述した図面は、詳細な説明の一部として特別に援用される。
図面において図示され、説明されるように、本発明の実施形態は、異なる構成の幅広い変形例で変更または設定されてもよいことが十分に理解されるであろう。このように、本発明の方法およびシステムに係る実施形態の以下の詳細な説明は、本発明の目的を限定するものではなく、単に、本発明の好ましい一実施形態を代表するものにすぎない。
本発明の実施形態の構成は、ハードウェアによって実現されてもよいし、コンピュータシステムをプログラムするために使用され、各種の命令が格納されたコンピュータ読取可能な記録媒体を含む、ファームウェアおよび／またはコンピュータプログラムの製品によって実現されてもよい。ここで述べる実施形態は単にこれらの形態の一例にすぎず、当業者であれば、本発明の目的の範囲内で、様々な形態の構成を導き出してもよい。
カメラ等の撮像手段により撮像された文書画像データには、様々な要因によって、アーチファクト（欠陥）が含まれる場合がある。当該要因としては、例えば、照明の不均一性、閃光（glare）、光学的歪み、遠近感の歪み、レンズ光量の低下（周辺光量低下ともいう）などが挙げられる。特に、カメラにより撮像された文書画像データは、照明の不均一性や周辺光量低下（ビネット）のために、不均一な明るさ（輝度）を示すことがある。カメラにより撮像された文書画像データにおける不均一な明るさ（輝度ムラ）は、文書領域の分離に影響を与え、テキストのコントラストを低下させ、文書の複製における知覚的な全体の画像品質を低下させる。撮像手段により撮像された文書画像データには文書画像以外のノイズ（Clutter）となる領域が含まれるため、これらのアーチファクトに対する補正を一層難しくしている。さらに、文書は、複雑なレイアウトを有する場合がある。例えば、多色の背景、カラーグラデーションなどを有する場合がある。このような複雑なレイアウトが文書に含まれる場合もあるため、文書画像データにおける不均一な明るさが、照明の不均一性や周辺光量低下によるものであるのか、文書の内容によるものであるのかを判断しにくくしている。それゆえ、これらの状況下でもしっかりとしたパフォーマンスを提供できる、撮像手段により撮像された原稿画像における明るさおよびビネットを補正するための方法およびシステムが望まれている。
＜実施形態１＞
本発明の一実施形態について説明する。本実施形態に係る画像処理装置（システム）は輝度画像データを処理・修正する。輝度画像データは、カラー画像データにおける輝度チャンネルの画像データであり、例えば、ＹＣｂＣｒ画像データにおけるＹチャンネル、Ｌａ＊ｂ＊画像データにおけるＬチャンネル、および、他のカラー画像データにおける輝度チャンネルに応じたデータである。また、輝度画像データは、シングルチャンネルのグレースケールの画像データであってもよい。
図１０は、本実施形態に係る画像処理装置の構成を示すブロック図である。図１０に示されるように画像処理装置１は、輝度画像取得部１１、低解像処理部１２、背景タイプ検知部１３、文書着目領域設定部１４、パラメータ推定部１５、検証部１６、および、補正部１７とを備えている。
輝度画像取得部１１は、カメラなどの撮像装置２から、当該撮像装置２により撮像されたカラー画像データ（デジタル画像）の輝度成分からなる画像データを入力輝度画像データＬとして取得するものである。すなわち、入力輝度画像データＬは、各画素に対応する画素値として当該画素における輝度値を有する画像データである。
なお、本実施形態では、輝度画像取得部１１が取得する入力輝度画像データＬは、文書の画像あるいは文書を含む表示物（例えば、標識、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物）を撮像することにより得られた画像データであり、画像の中に撮像対象物である文書の領域を含む。
低解像処理部１２は、入力輝度画像データＬに対して低解像度処理を施し、低解像画像データＬｒを生成するものである。
背景タイプ検知部１３は、低解像画像データＬｒに基づいて、入力輝度画像データＬで示される画像の中の文書が、（１）明るい背景（例えば白地）に暗いテキスト（例えば黒文字）が形成された背景タイプ「ノーマル」、（２）暗い背景（例えば黒地）に明るいテキスト（例えば白文字）が形成された背景タイプ「反転」、のいずれであるのかを検知するものである。
具体的には、背景タイプ検知部１３は、低解像画像データＬｒに対して明るい画素を膨張させる膨張処理を行うことで膨張画像データＬlightbiasを生成するとともに、低解像画像データＬｒに対して明るい画素を収縮させる縮退（収縮）処理を行うことで縮退画像データＬdarkbiasを生成する。そして、背景タイプ検知部１３は、膨張画像データＬlightbiasおよび縮退画像データＬdarkbiasにおける輝度勾配に基づいて、背景タイプを検知する。
文書着目領域設定部１４は、入力輝度画像データＬで示される画像において、文書の領域であると見込まれる文書着目領域（ＲＯＩ；region-of-interest（文書の画像が含まれている領域として着目する領域）を設定するものである。文書着目領域設定部１４は、設定した文書着目領域に含まれる画素の座標の組を生成する。
パラメータ推定部１５は、文書領域の画像データについて、画素座標（ｘ、ｙ）に対する画素値（輝度値）の関係に近似する、ｘ、ｙを変数とする２次多項近似式（輝度値＝ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ）を求める。
ただし、パラメータ推定部１５は、背景タイプ検知部１３により「ノーマル」と検知された場合には、膨張画像データＬlightbiasを基に２次多項近似式を求め、背景タイプ検知部１３により「反転」と検知された場合には、縮退画像データＬdarkbiasを基に２次多項近似式を求める。上述したように、背景タイプ「ノーマル」では明るい背景に暗い前景（テキストなど）が存在しているため、明るい画素を膨張させる膨張処理が実行されると、暗い前景（テキストなど）の領域が小さくなる。そのため、膨張画像データＬlightbiasは、テキストの部分をなるべく小さくした画像となる。同様に、背景タイプ「反転」では暗い背景に明るい前景（テキストなど）が存在しているため、明るい画素を収縮させる縮退処理が実行されると、明るい前景（テキストなど）の領域が小さくなる。そのため、縮退画像データＬdarkbiasは、テキストの部分をなるべく小さくした画像となる。このように、パラメータ推定部１５により２次多項近似式を求める対象となるフィルタ処理画像データＬfilteredは、「ノーマル」の場合には膨張画像データＬlightbiasとなり、「反転」の場合には縮退画像データＬdarkbiasとなる。ここで、背景タイプ「ノーマル」の場合における膨張画像データＬlightbiasと、「反転」の場合における縮退画像データＬdarkbiasとは、低解像画像データＬｒに対して、背景の領域を広げ、前景の領域を小さくするフィルタ処理を実行することにより生成されたものである。そのため、パラメータ推定部１５は、低解像画像データに対して、デジタル画像における背景の領域を広げ、前景の領域を小さくするフィルタ処理を実行することにより生成されたフィルタ処理画像データＬfilteredを用いて、当該フィルタ処理画像データＬfilteredにおける画素座標と画素値との関係に近似する、画素座標を変数とする２次多項近似式を求めることとなる。
また、パラメータ推定部１５は、フィルタ処理画像データＬfilteredにおいて、文書着目領域設定部１４により設定された文書着目領域に含まれる画素の座標と当該座標に対する画素値とに基づいて、２次多項近似式を求める。
そのため、パラメータ推定部１５は、テキストをなるべく小さくしたフィルタ処理画像データＬfilteredの文書着目領域の画素座標および画素値に基づいて２次多項近似式を求める。つまり、大部分が文書領域の背景を示す領域に基づいて２次多項近似式が求められる。
このような２次多項近似式を求める理由は、均一な濃度の背景を有する文書をカメラで撮像したときの撮像画像において、撮像時の照明の不均一性やレンズによる周辺光量低下などが生じている場合、その背景における座標（ｘ、ｙ）と当該座標における輝度値との関係が、ｘ、ｙを変数とする２次多項式に従う確率が高いことを本発明者らが初めて見出したことに起因している。
検証部１６は、文書領域の背景の輝度勾配（輝度ムラ）が、照明の不均一性やレンズによる周辺光量低下によるものであるのか、文書自体の内容によるものかを検証するものである。
上述したように、均一な濃度の背景を有する文書をカメラで撮像したときに照明の不均一性や周辺光量低下などにより輝度が不均一となっていると場合、その背景における座標（ｘ、ｙ）と当該座標における輝度値との関係が、ｘ、ｙを変数とする２次多項式に従う。一方、文書自体の内容（例えば、多色の背景を有するなど）によって背景の輝度が変化する場合には、その背景における座標（ｘ、ｙ）と当該座標における輝度値との関係は、ｘ、ｙを変数とする２次多項式に従わない可能性が高い。
そこで、検証部１６は、パラメータ推定部１５により求められた２次多項近似式で示される２次多項モデル画像データＬfitとフィルタ処理画像データＬfilteredとの差分を求め、当該差分に基づいて、文書領域の背景の輝度勾配が周辺光量低下などによるものであるのか否かを検証する。なお、２次多項モデル画像データＬfitは、画素座標（ｘ、ｙ）の画素値として、上記の２次多項近似式で算出される値を有する画像データである。
補正部１７は、周辺光量低下などにより輝度勾配が生じていると検証部１６により検証された場合に、入力輝度画像データＬを補正するものである。
具体的には、背景タイプが「ノーマル」の場合、２次多項モデル画像データＬfitにおいて最も大きな輝度値を目標輝度値ｇvalueとし、各画素について、ｇvalueと２次多項モデル画像データＬfitとの差分（ｇvalue−Ｌfit）に重み係数Ｂを乗じた値を入力輝度画像データＬに加算する。一方、背景タイプが「反転」の場合、２次多項モデル画像データＬfitにおいて最も小さな輝度値を目標輝度値ｇvalueとし、各画素について、ｇvalueと２次多項モデル画像データＬfitとの差分（ｇvalue−Ｌfit）に重み係数Ｂを乗じた値を入力輝度画像データＬに加算する。
ここで、重み係数Ｂは、２次多項モデル画像データＬfitとの一致度が高い画素ほど大きくし、２次多項モデル画像データＬfitとの一致度が低い画素ほど小さくする。２次多項モデル画像データＬfitとの一致度が高いということは、照明の不均一性や周辺光量低下などにより輝度が不均一となっている背景の領域である可能性が高いことを示している。そのため、このような画素については、重み係数Ｂを大きくすることで、Ｂに（ｇvalue−Ｌfit）を乗じた値を入力輝度画像データＬに加算することにより、目標輝度値ｇvalueにより近くなるように補正されることとなる。これにより、照明の不均一性やレンズによる周辺光量低下などにより輝度が不均一となっている背景の領域をより均一な輝度値になるように補正されることとなる。
一方、２次多項モデル画像データＬfitとの一致度が低いということは、文書自体の内容によって輝度が変化している可能性が高いことを示している。そのため、このような画素については、補正する必要がないため、重み係数Ｂを小さくする。
このようにして、補正部１７は、照明の不均一性や周辺光量低下などにより輝度が不均一となっていると見込まれる背景の領域について、当該不均一な輝度が均一になるように入力輝度画像データＬを補正する。これにより、撮像画像における文書領域を、実際の文書により近い状態に補正することができる。
なお、図１では、画像処理装置１と撮像装置２とを別体のように示したが、撮像装置２の中に画像処理装置１が組み込まれていてもよい。この場合、撮像装置が画像処理装置であるといえる。
図１は、本実施形態の画像処理装置１における画像処理方法の一例を示すフローチャートである。まず、輝度画像取得部１１は、カメラによる撮像された画像データであり、文書の領域に含まれると見込まれる画素に対応する文書着目領域を含む入力輝度画像データＬを取得する。そして、低解像処理部１２は、入力輝度画像データＬに対するダウンサンプリング処理を実行し、入力輝度画像データＬよりも低解像度の低解像画像データＬｒを生成する（１００）。入力輝度画像データＬに対するダウンサンプリングとして、ニアレストネイバーサブサンプリングなどの方法が使用される。なお、他のダウンサンプリングの方法が使用されてもよい。
次に、背景タイプ検知部１３は、入力輝度画像データＬに基づいて、背景タイプの検出処理を実行する（１０２）。本実施形態では、背景領域が前景よりも明るい場合、例えば、明るい背景の上に暗いテキストが形成されたような場合、背景タイプとして「ノーマル」がラベル付けされる。また、背景領域が前景よりも暗い場合、例えば、暗い背景の上に明るいテキストが形成されたような場合、背景タイプとして「反転」がラベル付けされる。なお、背景タイプを示すためにこれら２つのカテゴリと対応づけた他のラベルが使用されてもよい。
図２は、背景タイプの検知処理（１０２）の詳細を示すフローチャートである。まず、背景タイプ検知部１３は、低解像画像データＬｒに対して、構造要素ｄを用いてグレースケールレベルでの膨張処理を実行し、膨張画像データＬlightbiasを生成する（２００）。膨張処理では、注目画素の画素値が、当該注目画素および注目画素の周辺画素の中の最も明るい画素の画素値に置き換えられる。ここで、注目画素の周辺画素とは、例えば、注目画素を中心とする３×３画素のウィンドウの中の注目画素以外の画素である。このウィンドウの大きさは、構造要素ｄによって決定される。そのため、明るい背景上の暗いテキストを含む画像に対して膨張処理を実行することにより、暗いテキストの画素は、より明るい近接する背景画素の画素値により塗り替えられる。このようにして、テキストの領域が小さくなり背景の領域が膨張し、さらに均一な画像領域が生成される。一方、暗い背景上に明るいテキストを含む画像に対して膨張処理を実行すると、テキストの輝度が背景領域にまで広がることとなる。
次に、背景タイプ検知部１３は、低解像画像データＬｒに対して、グレースケールレベルでの縮退処理（収縮処理）を実行し、縮退画像データＬdarkbiasを生成する（２０２）。縮退処理では、注目画素の画素値が、当該注目画素および注目画素の周辺画素の中の最も暗い画素の画素値に置き換えられる。そのため、暗い背景上に明るいテキストを含む画像に対して縮退処理を実行することにより、明るいテキストの画素は、より暗い近接する背景画素の画素値により塗り替えられる。このようにして、テキストの領域が小さくなり背景の領域が膨張し、さらに均一な画像領域が生成される。一方、明るい背景上の暗いテキストを含む画像に対して縮退処理を実行すると、テキストの輝度が背景領域にまで広がることとなる。
次に、背景タイプ検知部１３は、ラプラシアン勾配フィルタを膨張画像データＬlightbiasに適用し（２０４）、ラプラシアン勾配フィルタを縮退画像データＬdarkbiasに適用する（２０６）。ラプラシアン勾配フィルタを適用することにより、画像データにおける、隣接する画素との間での画素値（輝度値）の勾配強度を求めることができる。
さらに、背景タイプ検知部１３は、勾配フィルタ処理がされた膨張画像データＬlightbias（勾配フィルタ膨張画像データ）の勾配強度の和である第１の和を集計し（２０８）、勾配フィルタ処理がされた縮退画像データＬdarkbias（勾配フィルタ縮退画像データ）の勾配強度の和である第２の和を集計する（２１０）。そして、背景タイプ検知部１３は、以下の式に従って、第１の和を第２の和で除算した比Ｒを求める（２１２）。なお、以下の式において、ΔＬlightbiasおよびΔＬdarkbiasは、それぞれ勾配フィルタ処理がされた膨張画像データおよび縮退画像データを示す。そして、｜・｜は、勾配強度を示す。
次に、背景タイプ検知部１３は、比Ｒと比閾値ＴＲとを比較する処理を行う（２１４）。ここで、明るい背景に暗い前景（テキスト）がある画像である場合、膨張処理を行うことで背景領域が膨張し、テキスト領域が収縮する。一方、縮退処理を行うことでテキスト領域が膨張し、背景領域が収縮する。そのため、膨張画像は、縮退画像に比べて、背景領域が大きくなり、より均一化するため、勾配強度の和が小さくなる。つまり、比Ｒが小さくなる傾向にある。一方、暗い背景に明るい前景（テキスト）がある画像である場合、膨張処理を行うことで背景領域が収縮し、テキスト領域が膨張する。一方、縮退処理を行うことでテキスト領域が収縮し、背景領域が膨張る。そのため、縮退画像は、膨張画像に比べて、背景領域が大きくなり、より均一化するため、勾配強度の和が小さくなる。つまり、比Ｒが大きくなる傾向にある。
そのため、背景タイプ検知部１３は、比Ｒが比閾値ＴＲよりも小さいとき（２２０）、背景のタイプが、前景要素（例えば、文字（テキスト））よりも背景が明るいことを示す「ノーマル」とみなす（２２２）。一方、背景タイプ検知部１３は、比Ｒが比閾値ＴＲ以上であるとき（２１６）、背景のタイプが、前景要素よりも背景が暗いことを示す「反転」とみなす（２１８）。比閾値ＴＲは、例えば１．１の値に設定される。これにより、僅かな偏り（ずれ）がある場合、背景のタイプが「ノーマル」として分類される。なお、当業者であれば、上記の比Ｒの逆数と、対応する閾値基準とを用いて、同様の検知処理を行ってもよい。さらに、同様の分類を行うための別の閾値基準が設定されてもよい。
図１に戻って、続いて、パラメータ推定部１５は、パラメータを推定する（１０４）。図３は、パラメータの推定処理の詳細を示すフローチャートである。まず、パラメータ推定部１５は、背景タイプを確認する（３００）。背景タイプが「ノーマル」である場合（３０６）、パラメータ推定部１５は、フィルタパラメータが求められるフィルタ処理画像データＬfilteredとして、膨張画像データＬlightbiasを設定する（３０８）。一方、背景タイプが「反転」である場合（３０２）、フィルタパラメータが求められるフィルタ処理画像データＬfilteredとして、縮退画像データＬdarkbiasが設定される（３０４）。フィルタパラメータが求められるフィルタ処理画像データＬfilteredは、フィルタ処理がされる画像である。ここで、文書着目領域に含まれる画素座標の組を、
Ｚ＝｛（ｘ，ｙ）：ＲＯＩｍａｓｋ（ｘ、ｙ）＝１｝
とする。なお、ＲＯＩｍａｓｋは、文書着目領域のマスクを示し、（ｘ、ｙ）は画素位置を示す。そして、パラメータ推定部１５は、パラメータの推定処理を実行する（３１０）。ここでは、フィルタパラメータが求められるフィルタ処理画像データＬfilteredを、２次多項式モデルにフィッティングする。つまり、パラメータ推定部１５は、画素座標（ｘ、ｙ）における輝度値（画素値）を示すフィルタ処理画像データＬfilteredについて、以下のような２次多項近似式を求め、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆをフィルタパラメータとして生成する。
輝度値＝ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ
ここで、Ｌfilteredにおける画素座標（ｘ、ｙ）は、Ｚによって示される画素座標の組に含まれる座標に対応している。つまり、パラメータ推定部１５は、フィルタ処理画像データＬfilteredにおいて、文書着目領域設定部１４により設定された文書着目領域に含まれる画素の座標と当該座標に対する画素値とに基づいて、２次多項近似式を求める。
図１に戻って、パラメータが推定された後、検証部１６は、当該パラメータの検証を行う（１０６）。検証部１６は、フィルタ処理画像データＬfiltered（ｘ、ｙ）と、パラメータ推定部１５により求められた２次多項近似式 ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ によって算出された輝度値との差を算出する処理を含む。そして、その差の平均値ｍdiffが以下の式にしたがって算出される。
ここで、｜Ｚ｜は、Ｚにおける画素数を示す。また、フィルタ処理画像データＬfiltered（ｘ、ｙ）と、２次多項近似式 ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ によって算出された輝度値との差は、例えば、最小二乗法による最小二乗距離などの他の方法によって決定されてもよい。
次に、検証部１６は、フィルタ処理画像データＬfiltered（ｘ、ｙ）と、２次多項近似式 ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ によって算出された輝度値との差に基づいて、パラメータを用いても問題ないか否かの判定処理を行う。つまり、検証部１６は、文書領域の背景の輝度勾配が、照明の不均一性や周辺光量低下などによるものであるのか、文書自体の内容によるのかを判定する。パラメータを用いないと判定された場合（１１０）、検証部１６は、出力画像データＬｏｕｔとして、入力輝度画像データＬを設定する（１１２）。一方、パラメータを用いると判定された場合（１１４）、補正部１７は、第２補正画像データＬrectifiedの生成処理を実行する（１１６）。そして、補正部１７は、生成された第２補正画像データＬrectifiedを出力画像データＬｏｕｔとして設定する（１１８）。本実施形態では、以下の式のように、ｍdiff＜θ （θは受入閾値であり、例えば１０．０である）である場合に、パラメータを用いると判定され、そうでない場合にパラメータを用いないと判定される。
なお、受入閾値θは、蓄えた経験的な知識によって、いくつかの選択肢の中から最適なものが選択され、多くのテスト用の実際の画像でテストされることで予め設定されている。
図４は、第２補正画像データＬrectifiedの生成処理の詳細を示すフローチャートである。まず、補正部１７は、２次多項近似式で示される２次多項モデル画像データＬfitを決定する（４００）。２次多項モデル画像データＬfitは、パラメータ推定部１５により求められたパラメータ（ａ〜ｆ）を用いることにより生成される画像データである。つまり、
Ｌfit（ｘ、ｙ）＝ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ
である。２次多項モデル画像データＬfitは、パラメータ推定部１５により求められ格納されており、補正部１７が読み出してもよい。もしくは、当該決定処理（４００）において、補正部１７がパラメータ推定部１５と同様の処理により２次多項モデル画像データＬfitを算出してもよい。
次に、補正部１７は、目標輝度値ｇvalueを以下に従って算出する（４０２）。なお、btypeは、背景タイプを示す。
上記の式で示されるように、背景タイプが「ノーマル」の場合には、目標輝度値ｇvalueとして、２次多項モデル画像データＬfitにおける各画素値のうちの最大値が設定される。背景タイプが「ノーマル」である場合、明るい背景に暗い前景（テキスト）が存在する画像である。そのため、最大値は、明るい背景の中の最も明るい画素の画素値となる。照明の不均一性や周辺光量低下などが生じる場合、文書の背景は本来であれば均一な明るい背景になるはずであるのに、一部光量が低いために輝度が低下することとなる。このような輝度が低下した部分は、本来であれば、明るい背景と同じ輝度値を有するべきである。そこで、２次多項モデル画像データＬfitにおける各画素値のうちの最大値が、背景として本来有するべき輝度値を示す目標輝度値として設定される。
一方、背景タイプが「反転」の場合には、目標輝度値ｇvalueとして、２次多項モデル画像データＬfitにおける各画素値のうちの最小値が設定される。背景タイプが「反転」である場合、暗い背景に明るい前景（テキスト）が存在する画像である。そのため、最小値は、暗い背景の中の最も暗い画素の画素値となる。文書の背景は本来であれば均一な暗い背景になるはずであるのに、光の反射の具合により、本来よりも輝度が上がる場合がある。このような輝度が上がった部分は、本来であれば、暗い背景と同じ輝度値を有するべきである。そこで、２次多項モデル画像データＬfitにおける各画素値のうちの最小値が、背景として本来有するべき輝度値を示す目標輝度値として設定される。
次に、補正部１７は、正規化差分画像データＢを以下の式に従って算出する（４０４）。正規化差分画像データＢは、０から１の値を画素値として有する画像データである。
ここで、ＤＬ＝｜Ｌ−Ｌfit｜ である。このように、正規化差分画像データＢの画素値は、入力輝度画像データの画素値が２次多項モデル画像データＬfitの画素値に近いほど大きくなり、入力輝度画像データの画素値が２次多項モデル画像データＬfitの画素値に遠いほど小さくなる。正規化差分画像データＢは、入力輝度画像データの画素値が対応する２次多項モデル画像データＬfitの画素値とどの程度一致するかを示しており、画像全体の輝度補正のために使用される。
次に、補正部１７は、第１補正画像データＬboostを下記の式に従って算出する。
Ｌboost＝Ｌ＋Ｂ．＊（ｇvalue−Ｌfit）
ここで、「．＊」は、画素ごとの画素値の積を示し、（ｇvalue−Ｌfit）は、ｇvalueからＬfitの画素値を画素ごとに減算することを示している。
（ｇvalue−Ｌfit）は、２次多項モデル画像データＬfitにおける、文書領域の背景に対して設定された目標輝度値からのずれを示す。上述したように、撮像時の照明の不均一性やレンズによる周辺光量低下などが生じている場合、その背景における座標（ｘ、ｙ）と当該座標における輝度値との関係が、ｘ、ｙを変数とする２次多項式に従う確率が高い。そのため、（ｇvalue−Ｌfit）は、撮像時の照明の不均一性や周辺光量低下などによって生じる、本来有すべき目標輝度値からのずれを示すこととなる。ただし、文書領域の輝度の変化には、撮像時の照明の不均一性やレンズによる周辺光量低下に起因するものもあれば、文書自体の内容に起因するものもある。文書自体の内容に起因した輝度値を示す画素に対して、背景として有すべき目標輝度値となるように補正すると、誤って文書自体の内容を変更してしまう可能性がある。そこで、上記の式で示されるように、各画素について、正規化差分画像データＢの当該画素に対応する画素値を重み係数として、（ｇvalue−Ｌfit）の当該画素の画素値に乗じ、その積を入力輝度画像データＬの当該画素の画素値に加算することにしている。上述したように、正規化差分画像データＢの画素値は、入力輝度画像データの画素値が２次多項モデル画像データＬfitの画素値に近いほど大きくなる。つまり、２次多項モデル画像データＬfitとのマッチング度合い（一致度）が高いほど、正規化差分画像データＢの画素値が１に近づく。２次多項モデル画像データＬfitとのマッチング度合いが高いということは、撮像時の照明の不均一性や周辺光量低下などによって輝度が変化している可能性が高いことを意味している。そのため、２次多項モデル画像データＬfitとのマッチング度合いが高い画素については、重み係数を１に近づけ、入力輝度画像データＬにおける当該画素の画素値を目標輝度値ｇvalueに近づけるように補正する。一方、２次多項モデル画像データＬfitとのマッチング度合いが低いということは、文書自体の内容によって輝度が変化している可能性が高いことを意味している。そのため、２次多項モデル画像データＬfitとのマッチング度合いが低い画素については、重み係数を０に近づけ、入力輝度画像データＬにおける当該画素の画素値を補正されないようにする。
このようにして、補正部１７は、照明の不均一性や周辺光量低下などにより輝度が不均一になっていると見込まれる背景の領域について、当該不均一な輝度が均一になるように入力輝度画像データＬを補正する。これにより、撮像画像における文書領域を、実際の文書により近い状態に補正することができる。
最後に、補正部１７は、第２補正画像データＬrectifiedを以下の式に従って算出する。
第１補正画像データＬboostは、２次多項モデル画像データＬfitを基に補正されているため、入力輝度画像データＬと比較して、全体的な輝度がシフトしている可能性がある。そこで、補正部１７は、上記のようにして第２補正画像データＬrectifiedを求めることにより、入力輝度画像データＬと第２補正画像データＬrectifiedとの全体的な輝度を合わせることができる。
＜実施形態２＞
本発明の別の実施形態について図５を参照しながら説明する。実施形態１では、輝度画像取得部１１は、撮像装置２から入力輝度画像データＬを取得するものとした。しかしながら、輝度画像取得部１１は、撮像装置２から、マルチチャンネルの画像データを取得し、当該画像データの中の輝度成分のみを抽出することで入力輝度画像データＬを決定してもよい。すなわち、輝度画像取得部１１は、図１で述べた処理の前に、マルチチャンネルの画像データから入力輝度画像データＬを決定する処理を行う（５００）。
＜実施形態３＞
本発明のさらに別の実施形態について図６を参照しながら説明する。本実施形態では、文書着目領域設定部１４は、図１で述べた処理の前に、入力輝度画像データＬから文書着目領域の設定処理を行う（６００）。着目文書原稿領域は、文書着目領域のマスクにより指定される。
＜実施形態４＞
本発明の別の実施形態について図７を参照しながら説明する。本実施形態は、実施形態２および実施形態３の組合せである。すなわち、図１で述べた処理の前に、輝度画像取得部１１は、マルチチャンネルの画像データから入力輝度画像データＬを決定する処理を行い（７００）、文書着目領域設定部１４は、入力輝度画像データＬから文書着目領域の設定処理を行う（７０２）。
＜文書着目領域の設定方法＞
文書着目領域設定部１４による文書着目領域の設定は、ＵＳ特許出願番号１３／０３４，５９４（発明の名称「画像における注目の原稿領域を決定するための方法およびシステム」、２０１１年２月２４日出願、発明者：Ahmet Mufit Ferman, Lawrence Shao-hsien Chen)に記載されたような方法、システムまたは装置により実現される。ＵＳ特許出願番号１３／０３４，５９４は、その全体を参照することによって援用される。具体的に説明すれば以下のとおりである。
図１１は、文書着目領域設定部１４の概要を示す説明図である。文書着目領域設定部１４は、入力輝度画像データＬを受け取る。
入力輝度画像データＬは、前景除去部１１０４、エッジ検出部１１０６、およびテキスト特徴算出部１１０８に入力される。前景除去部１１０４では、入力輝度画像データＬに対して前景除去処理が施される。エッジ検出部１１０６では、入力輝度画像データＬに対してエッジ検出処理が施される。テキスト特徴算出部１１０８では、入力輝度画像データＬに基づいてテキスト（文字）の特徴点が算出される。
前景除去部１１０４は、文書画像に対応する入力輝度画像データＬから前景成分を除去し、エッジデータをほとんど含まない均一に近い背景領域を得る。
前景除去部１１０４は、入力輝度画像データＬをダウンサンプリングして、低解像画像データＬｒにダウンサンプリングする。そして、低解像画像データＬｒに対して流し込み法（flood-filling operation）を適用することにより、前景除去画像データ１１１０（画像データＩＳＦ）を生成する。流し込み法では、テキスト画素の低グレースケールレベルの値を周囲の明るい色の背景画素のグレースケールレベルに置換する（テキスト画素を周囲の明るい色の背景画素のグレースケールレベルで塗り潰す）。これにより、不要成分（高周波成分）を除去した略均一なグレースケールレベルを有する文書領域が生成される。なお、前景除去処理の方法はこれに限るものではなく、例えば、前景除去部１１０４が、拡大、中央値フィルタ処理、あるいはその他の画像処理技術を用いて前景除去処理を行うようにしてもよい。
図１１に示したように、前景除去部１１０４からの出力画像データＩＳＦ（前景除去画像データ１１１０）は、不均一性低減部１１１２に入力される。
不均一性低減部１１１２は、前景除去画像データ１１１０における不均一性（輝度ムラ）を低減し、前景除去画像データ１１１０におけるグレア効果を除去する。例えば、不均一性低減部１１１２は、前景除去画像データ１１１０の中央領域（前景除去画像の中心を含む領域）におけるピークを拡大あるいは伸長するために、前景除去画像データ１１１０に対してモフォロジー処理（拡大縮小処理）による再構成処理を行う。典型的な実施例では、前景除去画像データ１１１０（画像データＩＳＦ）からマーカー画像（種画像）ＩＭを抽出し、抽出したマーカー画像ＩＭを用いてモフォロジー処理による再構成処理を行う。モフォロジー処理による再構成処理において、マーカー画像ＩＭをマスク画像の特性に基づいて処理するようにしてもよい。上記マスク画像として、例えば、上記の前景除去画像データ１１１０（画像データＩＳＦ）を用いてもよい。上記マーカー画像の選択方法は特に限定されるものではなく、例えば、マーカー画像ＩＭの中心付近における所定サイズの領域である第１領域に属する各画素の画素値を当該画素に対応する前景除去画像データ１１１０（画像データＩＳＦ）の画素の画素値に応じた値に設定し、マーカー画像ＩＭにおける第１領域を除く領域である第２領域に属する各画素の画素値をゼロに設定してもよい。これにより、マーカー画像ＩＭにおける全画素の画素値は、マスク画像における対応する画素の画素値以下になる。モフォロジー処理による再構成処理は、概念的には、マーカー画像におけるマスク画像にマスクされる位置を連続的に拡大する処理として理解できる。この拡大処理は、前回の拡大によって再構成された画像と今回の拡大によって再構成された画像との間に変化が生じなかった場合に終了する。モフォロジー処理による再構成処理を実行する方法として多様な方法を採用可能であることは当業者にとって自明であろう。不均一性低減部１１１２は、モフォロジー処理による再構成処理が施された最終的な再構成画像データ１１１４（画像データＩＲ）を２値化処理部１１１６に出力する。
不均一性低減部１１１２が、背景色と文字色および前景色との関係を検出するようにしてもよい。この場合、マーカー画像におけるゼロ以外の画素値を有する画素の平均グレー値μＩＭを算出し、前景除去画像データ１１１０（画像データＩＳＦ）における残りの画素の平均グレー値μＩＣＭと比較する。そして、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧであれば、上記画像における文書部分は前景画像に暗い色のテキストを含む明るい色の背景になり、処理が継続される。なお、上記ＴＢＧは、背景の輝度値と白に対応する輝度値との差に応じた閾値である。μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、文書着目領域の決定処理を終了するようにしてもよい。あるいは、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、２値化処理部１１１６によって決定される第１文書着目領域候補マスクを反転させて文書着目領域の決定処理を継続するようにしてもよい。上記ＴＢＧの典型的な値は１００である。
再構成画像データ１１１４は、第１文書着目領域候補マスク（第１文書ＲＯＩ候補マスク）１１１８を生成する２値化処理部（閾値処理部）１１１６に出力される。２値化処理部１１１６は、文書着目領域と非文書着目領域とを分離するための閾値を選択して２値化処理（閾値処理）を行う。閾値の選択方法は特に限定されず、多様な方法を用いることができる。例えば、「Nobuyuki Otsu著、“A threshold selection method from gray-level histograms”、IEEE Transactions on Systems、Man and Cybernetics、volume 9、62-66頁、1979年」に開示されている方法を用いてもよい。
図１１に示したように、エッジ検出部１１０６は、上記の輝度のみからなる入力輝度画像データＬからエッジマスク１１２２を抽出し、第１文書着目領域候補マスク１１１８から不要成分を除去するために用いる。エッジ検出部１１０６が、低解像画像データＬｒに基づいてエッジマスク１１２２を抽出するようにしてもよく、フル解像度の画像データに基づいてエッジマスク１１２２を抽出するようにしてもよい。エッジ検出部１１０６におけるエッジ検出方法は特に限定されるものではなく、従来からの公知の種々の方法を用いることができる。例えば、勾配に基づく方法、ゼロ公差法、あるいはその他の方法を用いることができる。エッジ検出部１１０６によって抽出されたエッジマスク１１２２は、結合部１１２４において下記式（１）に基づいて第１文書着目領域候補マスク１１１８と結合される。
なお、第２文書着目領域候補マスクにおける各要素内の孔（holes）を除去するために、第２文書着目領域候補マスクに対して塗り潰しアルゴリズム（image filling algorithm）による処理を適用してもよい。あるいは、塗り潰し処理を行わなくてもよい。
着目領域補正部（ＲＯＩ補正部）１１２８は、上記の第２文書着目領域候補マスク１１２６を補正（精製）する。具体的には、着目領域補正部１１２８は、第２文書着目領域候補マスク１１２６における連結要素（隣接する画素同士の画素値が同じである画素からなる集合）を識別し、それら各連結要素が文書着目領域の一部であるか否かを分析する。
着目領域補正部１１２８は、第２文書着目領域候補マスク１１２６における連結要素ｃｉによってカバーされたテキスト状の内容の量を決定する。具体的には、着目領域補正部１１２８は、入力輝度画像データＬから検出されたコーナーの特徴点（複数のエッジの交点。テキストの特徴点。）１１３２をテキスト特徴算出部１１０８から受け取る。テキスト特徴算出部１１０８は、例えば「C.Harris、M.Stephens著、“A combined corner and edge detector”、Proceedings of the 4th Alvey Vision Conference、147-151頁、1988年」に開示されているハリス法を用いて入力輝度画像データＬからコーナーの特徴点１１３２を検出する。
着目領域補正部１１２８は、第２文書着目領域候補マスク１１２６における連結要素ｃｉによって規定されるテキスト範囲として、コーナーの特徴点の総数に対する上記連結要素ｃｉに含まれるコーナーの特徴点の数の割合ｒｉを算出する。上記割合ｒｉの値が所定の閾値Ｔを超えている場合には最終文書着目領域マスク１１３４（ＭＲＯＩ）に連結要素ｃｉを加え、そうでない場合には連結要素ｃｉを廃棄する。これにより、テキストの特徴点が密集している領域が最終文書着目領域マスク１１３４に含まれ、その他の領域は最終文書着目領域マスク１１３４から除外される。本実施形態では閾値Ｔを２．５％に設定している。ただし、閾値Ｔの値はこれに限るものではない。そして、着目領域補正部１１２８により生成された最終文書着目領域マスク１１３４で示される領域を文書着目領域として設定される。
＜実施例＞
図８は、周辺光量低下のために不均一な背景明るさを示す撮像画像の一例を示す図である。図９は、図８の撮像画像に対応するものである、本実施形態１により補正された画像を示す図である。
また、上述した各処理の実行順序は、図面中に示した順序に限定されるものではなく、適宜変更してもよい。また、図面中に連続して実行されるように示されている各処理の一部を、並行処理するようにしてもよく、処理期間の一部が重複するようにしてもよい。
また、上記実施形態において、画像処理装置１に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、画像処理装置１を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークの構成は特に限定されるものではなく、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体についても特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、画像処理装置１の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよい。また、画像処理装置１の各ブロックは、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
なお、本発明は、以下のようにも表現できる。
すなわち、本発明は、デジタル画像からアーチファクトを除去する方法であって、デジタル画像に対応する輝度画像をダウンサンプリングするステップと、ダウンサンプリングされた輝度画像に対応する背景のタイプを検知するステップと、ダウンサンプリングされた輝度画像に対して形態的なフィルタ処理がされた画像に対応するパラメータを推定するステップと、推定されたパラメータを検証するステップと、前記検証により、前記推定されたパラメータを受け入れ可能であると示された場合に、前記輝度画像に対応する補正画像を生成するステップとを含む。
また、上記背景のタイプを検知するステップは、前記ダウンサンプリングされた輝度画像に対して膨張処理を行うことにより膨張画像を生成するステップと、前記ダウンサンプリングされた輝度画像に対して縮退処理を行うことにより縮退画像を生成するステップと、勾配フィルタを用いて前記膨張画像にフィルタリングを行うことにより勾配フィルタ膨張画像を生成するステップと、勾配フィルタを用いて前記縮退画像にフィルタリングを行うことにより勾配フィルタ縮退画像を生成するステップと、前記勾配フィルタ膨張画像における勾配強度の和である第１の和を求めるステップと、前記勾配フィルタ縮退画像における勾配強度の和である第２の和を求めるステップと、前記第１の和と前記第２の和との比を求めるステップと、前記比が比閾値との関係において第１基準を満たすときに、背景のタイプが第１カテゴリであると示すステップとを含むことが好ましい。
前記勾配フィルタは、ラプラシアン勾配フィルタであることが好ましい。
また、前記比は、前記第１の和を前記第２の和で割った値であり、前記第１基準は、前記比が前記比閾値未満であることを示し、前記第１カテゴリは、相対的に明るい背景に相対的に暗い前景要素を有する画像を示すカテゴリであることが好ましい。
また、前記比は、前記第１の和を前記第２の和で割った値であり、前記第１基準は、前記比が前記比閾値以上であることを示し、前記第１カテゴリは、相対的に暗い背景に相対的に明るい前景要素を有する画像を示すカテゴリであることが好ましい。
また、前記比閾値は、相対的に明るい背景に相対的に暗い前景要素を有する画像の側に偏った値であることが好ましい。
前記パラメータを推定するステップは、前記検知された背景のタイプが相対的に明るい背景に相対的に暗い前景要素を有する画像を示している場合に、前記フィルタ処理がされた画像を前記膨張画像に設定するステップと、前記検知された背景のタイプが相対的に暗い背景に相対的に明るい前景要素を有する画像を示している場合に、前記フィルタ処理がされた画像を前記縮退画像に設定するステップと、前記フィルタ処理がされた画像に対する２次多項近似式に対応する複数のパラメータを推定するステップとを含むことが好ましい。
また、前記複数のパラメータを推定する際に、最小二乗フィッティングを行うことが好ましい。
また、前記検証するステップは、前記推定されたパラメータおよび文書着目領域を用いて生成された画像と前記フィルタ処理がされた画像との差分を求めるステップと、前記差分と受入閾値とを比較するステップと、前記差分が前記受入閾値に関する第２基準を満たす場合に、前記推定されたパラメータを用いることが可能であると決定するステップとを含むことが好ましい。
また、前記差分が前記第２基準を満たさない場合、前記輝度画像を出力画像とするステップを含むことが好ましい。
また、前記補正画像を生成するステップは、前記推定されたパラメータを用いた２次多項モデル画像を決定するステップと、目標輝度値を求めるステップと、正規化差分画像を求めるステップと、前記正規化差分画像と前記目標輝度値とを用いて第１補正画像を求めるステップと、前記第１補正画像を用いて第２補正画像を求めるステップとを含むことが好ましい。
また、前記目標輝度値を求めるステップは、前記検知された背景のタイプが相対的に明るい背景に相対的に暗い前景要素を有する画像を示している場合に、前記２次多項モデル画像から最大の画素値を特定するステップと、前記最大の画素値を前記目標輝度値に設定するステップとを備え、前記検知された背景のタイプが相対的に暗い背景に相対的に明るい前景要素を有する画像を示している場合に、前記２次多項モデル画像から最小の画素値を特定するステップと、前記最小の画素値を前記目標輝度値に設定するステップとを含むことが好ましい。
また、前記正規化差分画像を求めるステップは、各画素について前記輝度画像と前記２次多項モデル画像との差分の絶対値を求め、当該絶対値を当該画素の画素値とする差分画像を求めるステップと、前記差分画像から最大の画素値を求めるステップと、前記差分画像から求めた最大の画素値から、前記差分画像における第１画素位置に対応する画素値である第１画素値を減算するステップと、前記減算により求めた値を、前記差分画像から求めた最大の画素値で除算するステップと、前記第１画素位置に対応する画素値として、前記除算により求めた値を割り当てることにより前記正規化差分画像を生成するステップとを含むことが好ましい。
また、前記第１補正画像を求めるステップは、前記目標輝度値から、前記２次多項モデル画像の第１画素位置に対応する第１画素値を減算するステップと、前記減算により求めた値に、前記正規化差分画像における前記第１画素位置の画素値を乗算するステップと、前記乗算により求めた値に、前記輝度画像における前記第１画素値に対応する画素値を加算するステップと、前記第１画素位置に対応する画素値として、前記加算により求めた値を割り当てることにより第１補正画像を生成するステップとを含むことが好ましい。
また、前記第２補正画像を求めるステップは、前記輝度画像における最大の画素値である第１最大画素値を特定するステップと、前記第１補正画像における最大の画素値である第２最大画素値を特定するステップと、前記第１最大画素値と、前記第２最大画素値の逆数と、前記第１補正画像における第１画素位置の画素値とを乗算することにより求まる値を、前記第１画素位置における画素値に割り当てることにより第２補正画像を生成するステップとを含むことが好ましい。
また、前記デジタル画像から前記輝度画像を抽出するステップをさらに含むことが好ましい。
また、前記輝度画像から文書着目領域を決定するステップをさらに含むことが好ましい。
また、前記文書着目領域を決定するステップは、文書着目領域マスクを決定するステップを含むことが好ましい。
また、本発明は、デジタル画像からアーチファクトを除去するシステムであって、デジタル画像に対応する輝度画像をダウンサンプリングするダウンサンプリング部（低解像処理部）と、ダウンサンプリングされた輝度画像に対応する背景のタイプを検知する背景タイプ検知部と、ダウンサンプリングされた輝度画像に対して形態的なフィルタ処理がされた画像に対応するパラメータを推定するパラメータ推定部と、推定されたパラメータを検証する検証部と、前記検証により、前記推定されたパラメータを受け入れ可能であると示された場合に、前記輝度画像に対応する補正画像を生成する画像生成部とを備える。
また、本発明のシステムは、前記デジタル画像から前記輝度画像を抽出する輝度画像取得部１１をさらに備えることが好ましい。
また、本発明のシステムは、前記輝度画像から文書着目領域を決定する文書着目領域設定部をさらに含むことが好ましい。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１ 画像処理装置
１１ 輝度画像取得部
１２ 低解像処理部
１３ 背景タイプ検知部
１４ 文書着目領域設定部
１５ パラメータ推定部（近似式生成部）
１６ 検証部
１７ 補正部

Claims (11)

  1. デジタル画像における輝度成分を示す輝度画像データを取得する輝度画像取得部と、
    前記輝度画像データを低解像度化した低解像画像データを生成する低解像処理部と、
    前記低解像画像データに基づいて、前記デジタル画像における背景のタイプを検知する背景タイプ検知部と、
    前記背景タイプ検知部により検知された背景のタイプに基づいて、前記低解像画像データに対して、前記デジタル画像における背景の領域を広げ、前景の領域を小さくするフィルタ処理を実行することにより生成されたフィルタ処理画像データを用いて、当該フィルタ処理画像データにおける画素座標と画素値との関係に近似する、画素座標を変数とする２次多項近似式を生成する近似式生成部と、
    前記２次多項近似式で示される２次多項モデル画像データに基づいて、前記輝度画像データを補正する補正部とを備え、
    前記背景タイプ検知部は、前記背景のタイプとして、相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプか、相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプかの何れかのタイプであると検知し、
    前記近似式生成部は、前記背景タイプ検知部により検知された背景のタイプが第１タイプである場合、相対的に輝度の高い領域を膨張させる膨張処理が前記フィルタ処理として実行されることにより生成された画像データを前記フィルタ処理画像データとし、前記背景タイプ検知部により検知された背景のタイプが第２タイプである場合、相対的に輝度の高い領域を縮退させる縮退処理が前記フィルタ処理として実行されることにより生成された画像データを前記フィルタ処理画像データとすることを特徴とする画像処理装置。
  2. 前記背景タイプ検知部は、（１）前記低解像画像データに対して、相対的に輝度の高い領域を膨張させる膨張処理を行うことにより膨張画像データを生成するとともに、前記低解像画像データに対して相対的に輝度の高い領域を縮退させる縮退処理を行うことにより縮退画像データを生成し、（２）勾配フィルタを前記膨張画像データに適用することで膨張画像データにおける勾配強度を画素ごとに示す勾配フィルタ膨張画像データを生成するとともに、勾配フィルタを前記縮退画像データに適用することで縮退画像データにおける勾配強度を画素ごとに示す勾配フィルタ縮退画像データを生成し、（３）前記勾配フィルタ膨張画像データにおける勾配強度の和である第１の和を、前記勾配フィルタ縮退画像データにおける勾配強度の和である第２の和で割った値である比を求め、（４）前記比が比閾値以上である場合、前記背景のタイプが、相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプであると検知し、前記比が比閾値未満である場合、前記背景のタイプが、相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプであると検知することを特徴とする請求項１に記載の画像処理装置。
  3. 前記２次多項モデル画像データを検証する検証部を備え、
    前記検証部は、前記デジタル画像における文書の領域において、前記２次多項モデル画像データと前記フィルタ処理画像データとの差分を画素ごとに求め、当該差分と受入閾値とを比較することで、前記２次多項モデル画像データを用いることの適否を検証し、
    前記補正部は、前記検証部により前記２次多項モデル画像データを用いることが適であると判定した場合に、前記輝度画像データを補正することを特徴とする請求項１または２に記載の画像処理装置。
  4. 前記補正部は、前記２次多項モデル画像データに基づいて、前記デジタル画像における背景に対する目標輝度値と、前記輝度画像データと前記２次多項モデル画像データとの差分を正規化した値を画素値とする正規化差分画像データとを求め、前記目標輝度値および正規化差分画像データに基づいて、前記輝度画像データと前記２次多項モデル画像データとの差分が小さい画素ほど画素値を前記目標輝度値に近づけるように前記輝度画像データを補正することで第１補正画像データを生成することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
  5. 前記補正部は、背景のタイプが相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプであると前記背景タイプ検知部により検知された場合、前記２次多項モデル画像データにおける最大の画素値を前記目標輝度値として設定し、背景のタイプが相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプであると前記背景タイプ検知部により検知された場合、前記２次多項モデル画像データにおける最小の画素値を前記目標輝度値として設定することを特徴とする請求項４に記載の画像処理装置。
  6. 前記補正部は、（１）各画素について前記輝度画像データと前記２次多項モデル画像データとの差分の絶対値を求め、当該絶対値を当該画素の画素値とする差分画像データを求めるとともに、当該差分画像データにおける最大の画素値を求め、（２）画素ごとに、前記差分画像データから求めた最大の画素値から、前記差分画像データにおける当該画素に対応する画素値を減算し、当該減算により求めた値を、前記差分画像データから求めた最大の画素値で除算した値である除算値を求め、（３）画素ごとに求めた前記除算値を画素値とする画像データを前記正規化差分画像データとして生成することを特徴とする請求項４または５に記載の画像処理装置。
  7. 前記補正部は、（１）画素ごとに、前記目標輝度値から前記２次多項モデル画像データにおける当該画素に対応する画素値を減算し、当該減算により求めた値に、前記正規化差分画像データにおける当該画素に対応する画素値を乗算し、当該乗算により求めた値に、前記輝度画像データにおける当該画素に対応する画素値を加算した値である加算値を求め、（２）画素ごとに求めた前記加算値を画素値とする画像データを前記第１補正画像データとして生成することを特徴とする請求項４から６の何れか１項に記載の画像処理装置。
  8. 前記補正部は、（１）前記輝度画像データにおける最大の画素値である第１最大画素値を特定するとともに、前記第１補正画像データにおける最大の画素値である第２最大画素値を特定し、（２）画素ごとに、前記第１最大画素値と、前記第２最大画素値の逆数と、前記第１補正画像データにおける当該画素に対応する画素値とを乗算した値である乗算値を求め、（３）画素ごとに求めた前記乗算値を画素値とする画像データである第２補正画像データを生成することを特徴とする請求項４から７の何れか１項に記載の画像処理装置。
  9. デジタル画像における輝度成分を示す輝度画像データを取得する輝度画像取得ステップと、
    前記輝度画像データを低解像度化した低解像画像データを生成する低解像処理ステップと、
    前記低解像画像データに基づいて、前記デジタル画像における背景のタイプを検知する背景タイプ検知ステップと、
    前記背景タイプ検知ステップにて検知された背景のタイプに基づいて、前記低解像画像データに対して、前記デジタル画像における背景の領域を広げ、前景の領域を小さくするフィルタ処理を実行することにより生成されたフィルタ処理画像データを用いて、当該フィルタ処理画像データにおける画素座標と画素値との関係に近似する、画素座標を変数とする２次多項近似式を生成する近似式生成ステップと、
    前記２次多項近似式で示される２次多項モデル画像データに基づいて、前記輝度画像データを補正する補正ステップとを含み、
    前記背景タイプ検知ステップでは、前記背景のタイプとして、相対的に明るい背景に相対的に暗い前景要素を有する画像を示す第１タイプか、相対的に暗い背景に相対的に明るい前景要素を有する画像を示す第２タイプかの何れかのタイプであると検知し、
    前記近似式生成ステップでは、前記背景タイプ検知ステップで検知された背景のタイプが第１タイプである場合、相対的に輝度の高い領域を膨張させる膨張処理が前記フィルタ処理として実行されることにより生成された画像データを前記フィルタ処理画像データとし、前記背景タイプ検知ステップで検知された背景のタイプが第２タイプである場合、相対的に輝度の高い領域を縮退させる縮退処理が前記フィルタ処理として実行されることにより生成された画像データを前記フィルタ処理画像データとすることを特徴とする画像処理方法。
  10. 請求項１から８の何れか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
  11. 請求項１０に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2012034514A 2011-03-01 2012-02-20 画像処理装置、画像処理方法、プログラムおよび記録媒体 Active JP5437414B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/037,867 2011-03-01
US13/037,867 US8571343B2 (en) 2011-03-01 2011-03-01 Methods and systems for document-image correction

Publications (2)

Publication Number Publication Date
JP2012181838A JP2012181838A (ja) 2012-09-20
JP5437414B2 true JP5437414B2 (ja) 2014-03-12

Family

ID=46753338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012034514A Active JP5437414B2 (ja) 2011-03-01 2012-02-20 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US8571343B2 (ja)
JP (1) JP5437414B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058683B2 (en) * 2013-02-21 2015-06-16 Qualcomm Incorporated Automatic image rectification for visual search
WO2014186213A2 (en) 2013-05-14 2014-11-20 Google Inc. Providing visual effects for images
CN104574268B (zh) * 2014-12-30 2017-06-16 长春大学 基于非下采样轮廓波变换与非负矩阵分解去云雾方法
JP6215894B2 (ja) * 2015-10-22 2017-10-18 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法およびシェーディング基準データ作成方法
WO2018119211A1 (en) * 2016-12-23 2018-06-28 Bio-Rad Laboratories, Inc. Reduction of background signal in blot images
KR102014217B1 (ko) * 2018-01-19 2019-08-26 주식회사 한글과컴퓨터 음영의 왜곡 보정방법 및 이를 이용하는 장치
CN112697403B (zh) * 2020-12-16 2023-03-31 中国科学院光电技术研究所 一种超高精度空间望远镜光学畸变在轨标定方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6180474A (ja) 1984-09-28 1986-04-24 Fujitsu Ltd 認識装置
JPH04281671A (ja) 1991-03-11 1992-10-07 Ricoh Co Ltd 画像処理装置
JP3464006B2 (ja) 1992-10-19 2003-11-05 株式会社リコー ディジタルカラー画像再生装置
JPH0918711A (ja) 1995-06-27 1997-01-17 Advantest Corp 画像のシェーディング除去方法とその装置
US5742354A (en) 1996-06-07 1998-04-21 Ultimatte Corporation Method for generating non-visible window edges in image compositing systems
US6670988B1 (en) 1999-04-16 2003-12-30 Eastman Kodak Company Method for compensating digital images for light falloff and an apparatus therefor
US6833862B1 (en) 1999-06-30 2004-12-21 Logitech, Inc. Image sensor based vignetting correction
JP4046465B2 (ja) 1999-09-17 2008-02-13 株式会社リコー 画像処理装置、画像処理方法、及び画像処理システム
JP2001136438A (ja) 1999-11-10 2001-05-18 Minolta Co Ltd 画像処理装置および画像処理方法ならびに画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US6711306B1 (en) * 2000-06-02 2004-03-23 Eastman Kodak Company Automatic bright window detection
US6941027B1 (en) 2000-07-27 2005-09-06 Eastman Kodak Company Method of and system for automatically determining a level of light falloff in an image
US6771838B1 (en) * 2000-10-06 2004-08-03 Hewlett-Packard Development Company, L.P. System and method for enhancing document images
US6806980B2 (en) 2000-12-28 2004-10-19 Xerox Corporation Adaptive illumination correction of scanned images
GB2372392A (en) 2001-02-16 2002-08-21 Hewlett Packard Co Improvements to image capture
US7050650B2 (en) * 2002-02-28 2006-05-23 Hewlett-Packard Development Company, L.P. User selected background noise removal for scanned document images
US6927804B2 (en) * 2002-09-09 2005-08-09 Eastman Kodak Company Reducing color aliasing artifacts from color digital images
US7084906B2 (en) * 2002-10-15 2006-08-01 Eastman Kodak Company Reducing computation time in removing color aliasing artifacts from color digital images
EP1447977A1 (en) 2003-02-12 2004-08-18 Dialog Semiconductor GmbH Vignetting compensation
US7379594B2 (en) * 2004-01-28 2008-05-27 Sharp Laboratories Of America, Inc. Methods and systems for automatic detection of continuous-tone regions in document images
EP1564681A1 (en) * 2004-02-13 2005-08-17 Dialog Semiconductor GmbH Vignetting compensation algorithm
JP2006014094A (ja) 2004-06-28 2006-01-12 Ricoh Co Ltd 画像処理装置、画像読取装置、画像形成装置、カラー複写装置、画像処理プログラム及び記録媒体
US7948665B2 (en) 2004-10-06 2011-05-24 CSSN, Inc Uniform illumination for camera based scanning devices
US7634152B2 (en) 2005-03-07 2009-12-15 Hewlett-Packard Development Company, L.P. System and method for correcting image vignetting
US7609883B1 (en) 2005-10-11 2009-10-27 Adobe Systems, Incorporated Method and apparatus for compensating for uneven lighting in an image
US7548661B2 (en) 2005-12-23 2009-06-16 Microsoft Corporation Single-image vignetting correction
US20070211154A1 (en) 2006-03-13 2007-09-13 Hesham Mahmoud Lens vignetting correction algorithm in digital cameras
US20070236594A1 (en) 2006-03-31 2007-10-11 Zafar Hasan Techniques for radial fall-off correction
US8259179B2 (en) 2006-05-15 2012-09-04 Csr Technology Inc. Compensating for non-uniform illumination of object fields captured by a camera
US7876959B2 (en) * 2006-09-06 2011-01-25 Sharp Laboratories Of America, Inc. Methods and systems for identifying text in digital images
US7920171B2 (en) 2007-05-18 2011-04-05 Aptina Imaging Corporation Methods and apparatuses for vignetting correction in image signals
US8014596B2 (en) * 2007-10-30 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for background color extrapolation
US7903143B2 (en) 2008-03-13 2011-03-08 Dell Products L.P. Systems and methods for document scanning using a variable intensity display of an information handling system

Also Published As

Publication number Publication date
JP2012181838A (ja) 2012-09-20
US20120224783A1 (en) 2012-09-06
US8571343B2 (en) 2013-10-29

Similar Documents

Publication Publication Date Title
JP5437414B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5542889B2 (ja) 画像処理装置
US8989436B2 (en) Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
JP5389903B2 (ja) 最適映像選択
US8170350B2 (en) Foreground/background segmentation in digital images
JP2011045078A (ja) カメラベースの文書画像処理のための適応的ボケ除去
US8340417B2 (en) Image processing method and apparatus for correcting skin color
US20080285853A1 (en) Contrast enhancement methods and apparatuses
US11156564B2 (en) Dirt detection on screen
US20110280475A1 (en) Apparatus and method for generating bokeh effect in out-focusing photography
JP5768590B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020160616A (ja) 生成装置、コンピュータプログラム、生成方法
KR20110138114A (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
JP5301694B2 (ja) 画像処理装置、画像処理方法、プログラムおよびその記録媒体
US20130148899A1 (en) Method and apparatus for recognizing a character based on a photographed image
JP2012048484A (ja) 画像処理装置、画像処理方法及びプログラム
JP2004166007A (ja) 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体
US9094617B2 (en) Methods and systems for real-time image-capture feedback
Ko et al. Low cost blur image detection and estimation for mobile devices
JP3906221B2 (ja) 画像処理方法及び画像処理装置
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム
JP4883030B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JPH08265572A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131211

R150 Certificate of patent or registration of utility model

Ref document number: 5437414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150