JP4966384B2

JP4966384B2 - シェーディング補正を行なう装置及び方法

Info

Publication number: JP4966384B2
Application number: JP2010010371A
Authority: JP
Inventors: ウェンドンチャオ; シュリーフェン
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-01-22
Filing date: 2010-01-20
Publication date: 2012-07-04
Anticipated expiration: 2030-01-20
Also published as: CN101789121B; JP2010191952A; CN101789121A

Description

本発明は、画像全体又は一部にシェーディングのある画像に対してシェーディング補正を行なう装置及び方法に関する。

シェーディング・アーティファクト（以降、シェーディングとも呼ぶ）は、印刷物等のカメラ又はスキャナを用いた結像に対する非常に一般的な問題である。シェーディング・アーティファクトは、印刷物の不均一な照明及び非平面形状により含まれる可能性がある。

関連技術において、カメラ又はスキャナにより取り込まれた文書画像におけるシェーディング・アーティファクトの問題に対処する多くの文献及び特許が存在する。

米国特許第５，９１２，９９２号公報には、シェーディングを含む画像から事前にシェーディングを除去することによりシェーディングの影響のない文字及び行等の物体を抽出する方法を開示する。しかし、この発明は、主にライセンスプレート画像を処理することを目的とし、一般的な文書（例えば、紙の文書又は書籍）画像の処理に関する教示を与ない。

米国特許第６，７８８，８２２号公報は、ＭＳＲ（multi-scale retinex）を使用してシェーディング補正を行なう方法を開示し、最適なダイナミックレンジをＤＣ画像に提供する。しかし、retinexを計算するのは、非常に時間のかかる処理である。更に、retinexは画像中のシェーディングを完全に除去できない。

米国特許第６，５７７，７６２号公報は、文書画像の背景画像を生成するための閾値処理技術を開示し、背景画像を使用して画像の背景を正規化する。しかし、米国特許第６，５７７，７６２号公報の開示は、文書画像に大きな空白領域（例えば、ページの四辺の余白、行間）が存在すると仮定し、空白領域に従って背景画像を推定する。しかし、文書によっては、行間が非常に小さく、背景を推定するためにこの技術により使用できない。この場合、ページの四辺の余白にのみ依存することにより、例えば撮影環境に２つ以上の光源が存在する場合は推定される背景は不正確になる。

本発明は、従来技術における不足する点又は欠点の少なくとも一部に対処することに関する。

米国特許第５，９１２，９９２号公報米国特許第６，７８８，８２２号公報米国特許第６，５７７，７６２号公報

本発明によると、画像における光強度分布を自動的に推定でき且つ推定された光強度分布に従ってシェーディング・アーティファクトを除去できる方法が提供される。

本発明に係る方法は、全体又は一部にシェーディングのある画像（Ｉ）に対してシェーディング補正を行なう方法であって、前記画像（Ｉ）から背景画素を抽出する工程と、前記抽出した背景画素に従って光強度画像を生成する工程と、前記光強度画像を用いて、前記画像（Ｉ）からシェーディングを除去する工程とを備え、前記画像（Ｉ）から背景画素を抽出する工程は、前記画像（Ｉ）を複数の画像ブロックに分割する工程と、当該分割された各画像ブロックに２値化を適用し、前記各画像ブロックに対応する２値画像ブロックを生成する工程と、前記各２値画像ブロックを参照することにより、前記各画像ブロックから背景画素の第１の集合を検出する工程と、前記各画像ブロックから検出された前記背景画素の第１の集合に対して、前景画素及びノイズ画素の除去用の閾値Ｔ１およびＴ２を求めるための関数を適用することにより、前記各画像ブロックについて光強度範囲［Ｔ１，Ｔ２］を決定する工程と、前記各画像ブロックから検出された前記背景画素の第１の集合から、光強度が前記光強度範囲［Ｔ１，Ｔ２］内にある背景画素の第２の集合を背景画素として抽出する工程と、を備えることを特徴とする。

本発明を使用して、画像におけるシェーディングは効果的且つより正確に除去され、画像に対するＯＣＲ精度は向上される。

本発明の一実施形態によると、詳細には背景画素を検出し且つ／又は光強度画像を生成する時に画像ブロックに基づいて前記検出及び前記生成を実行するように画像を画像ブロックに分割することにより、更に詳細には先に抽出された背景画素の第１の集合から光強度範囲に基づいて背景画素の第２の集合を更に抽出することにより、背景画素はより正確に判定され、光強度画像は背景画素に従ってより適切に生成される。

本発明の一実施形態に係るシェーディング補正方法を示すフローチャートである。本発明の異なる実施形態に従って背景画素を検出するステップを示す例示的なフローチャートである。本発明の異なる実施形態に従って背景画素を検出するステップを示す例示的なフローチャートである。本発明の一実施形態に従って、画像Ｉから背景画素の第１の集合を抽出し、背景画素の第１の集合の光強度範囲［Ｔ１，Ｔ２］を判定する処理を示すフローチャートである。本発明の一実施形態に従って光強度画像を生成する処理を示すフローチャートである。本発明の一実施形態に係るシェーディング補正を行なう装置を示すブロック図である。撮影又は走査等が行なわれる紙の文書に対するシェーディングを含む原画像を示す図である。本発明の一実現例に従って図７の原画像から生成された２値画像を示す図である。本発明の一実現例に従って推定された図７の原画像の光強度分散を示す光強度画像を示す図である。図７の原画像のシェーディングを除去した画像を示す図である。本発明が適用されるＯＣＲシステムの処理を示すフローチャートである。

本発明の上述の特徴及び利点は単なる例示であり、本発明の他の特徴及び利点は、以下の詳細な説明を熟慮又は調査することにより当業者により容易に理解されるか、あるいは本発明の実施により認識される。

本明細書に取り入れられ且つ本明細書の一部を構成する添付の図面は、本発明の原理を更に理解するために提供され、本発明の範囲を限定するものではない。本発明の例示的な実施形態を図示する。

第１及び第２等の関係を示す用語は、エンティティ、項目又は動作間の任意の実際の関係又は順序を必ずしも要求せず又は示さず、１つのエンティティ、項目又は動作を別のエンティティ、項目又は動作と区別するために使用されることが理解される。

本発明の多くの機能性及び本発明の多くの原理は、実現される際、コンピュータプログラム、中央処理装置（ＣＰＵ）により実行可能なソフトウェア命令及び／又は特定用途向け集積回路等のソフトウェア、ファームウェア、ハードウェア及び／又はそれらの任意の組合せで最適に実施されることが更に理解される。例えば利用可能な時間、現在の技術及び経済上の考慮が動機となって多くの設計選択及び多くの労力が必要となる可能性にもかかわらず、本明細書において開示される概念及び原理に従えば、当業者は最小限の実験によりそのようなプログラム、命令及び／又はＩＣを容易に生成できることが予想される。

以下において、添付の図面を参照して本発明を詳細に説明する。

図１は、本発明の一実施形態に係るシェーディング補正方法を示すフローチャートである。方法は、図１に示すように、画像Ｉから背景画素を検出するステップ（ステップ１００)と、前記検出した背景画素から光強度画像を生成するステップ（ステップ２００）と、前記光強度画像を使用してシェーディングを除去するステップ（ステップ３００）とを含む。このように、シェーディングを除去した画像Ｏは本発明の方法に従って取得される。

以下において、図２〜図５を参照して図１に示すそれらのステップを更に詳細に説明する。

図２及び図３は、それぞれ本発明の異なる実施形態に従って背景画素を検出するステップを示す例示的なフローチャートである。

ステップ１００において、背景画素は原画像Ｉから検出される。図２に示すように、本発明の特定の一実施形態において、ステップ１００の処理は以下のように実行されてもよい。

最初に、２値画像Ａは画像Ｉから生成される（ステップ１１０）。２値画像は、画素が２種類の値のみを含む画像を示す。２種類の値のうち一方は前景画素を表し、他方は背景画素を表す。

次に、背景画素の第１の集合（ｓｅｔ１で示される）は、検出された背景画素として、２値画像Ａを参照することにより画像Ｉの全体又は一部から抽出される（ステップ１２０）。

本発明の更なる実施形態において、ステップ１００は、図３に示すように、ｓｅｔ１に従って光強度範囲［Ｔ１，Ｔ２］を判定するステップ（ステップ１３０）と、光強度が光強度範囲［Ｔ１，Ｔ２］内にある画素を抽出することによりｓｅｔ１から背景画素の第２の集合（ｓｅｔ２で示される）を抽出するステップ（ステップ１４０）とを更に含む。そのような場合、背景画素の第１の集合の代わりに背景画素の第２の集合が、検出された背景画素として処理される。

いくつかの実施形態において、当業者が以下の詳細な説明から理解するように、本発明に係る方法は、画像を画像ブロックに分割することにより実行される。

次に、図２及び図３を参照してステップ１１０〜１４０の詳細を更に説明する。

ステップ１１０において、２値画像Ａが原画像Ｉから生成される。本発明の好適な実施形態において、画像は画像ブロックに分割され、２値画像Ａを共に形成する２値画像ブロックを生成するために２値化が各画像ブロックに適用される。本明細書において、周知のＮｉｂｌａｃｋ法等の多くの局所２値化法が適用可能である。

文書（紙の文書等）の画像に対しては、画像ブロックのサイズが原画像の平均文字サイズに設定されるのが更に適切である。殆どの場合、画像の平均文字サイズを推定する必要はない。本発明者の実験によると、１５〜５０画素のブロックサイズが殆どの画像に適用可能である。本発明の一実現例において、ブロックサイズは２０画素に設定される。その結果、背景画素をより正確に検出することを容易にするためにテキストの範囲を非常に高い精度で検出できる。

ステップ１２０において、背景画素の第１の集合（ｓｅｔ１で示される）が、２値画像Ａを参照して画像Ｉの全体又は一部から抽出される。

しかし、本発明者は、文字又はストロークを含む殆どの前景画素がステップ１１０で識別されたが、前景に属するいくつかの保持される薄いストロークが依然として背景から分離されないことを発見した。すなわち、背景画素から分離されずに保持される前景画素が存在する可能性がある。これらの保持される前景画素が光強度画像を生成するための検出された背景画素に含まれる場合、より不利益になるだろう。

更に、光強度が強い画素であり且つ抽出されたｓｅｔ１における「ごま塩」（salt and pepper）ノイズ等である特定のノイズ画素が依然として存在する可能性がある。これらのノイズ画素が光強度画像を生成するために検出された背景画素に含まれる場合も、より不利益になるだろう。

背景画素をより正確に抽出するために、２値画像Ａを参照して抽出され且つステップ１１０で識別されなかった保持される前景画素及び／又はノイズ画素を含む可能性のあるそれらの背景画素に対して更に高精度な処理が必要である。

この問題に対処するために、本発明の更に好適な一実施形態において、光強度範囲［Ｔ１，Ｔ２］は、背景画素の第１の集合（ｓｅｔ１）に従って更に判定され（ステップ１３０）、その後、背景画素の第２の集合（ｓｅｔ２）は、背景画素の第１の集合（ｓｅｔ１）から光強度範囲［Ｔ１，Ｔ２］に基づいて抽出される（ステップ１４０）。これについては、以下に詳細に更に説明する。

本明細書において、光強度範囲［Ｔ１，Ｔ２］は、薄いストローク等により形成される保持される前景画素を検出及び除去するために規定される。すなわち、光強度範囲は、ｓｅｔ１中で保持される前景画素を除去するために使用される。他の予備情報がないため、光強度範囲を判定するために平均及び分散は適切な基準である。

ｓｅｔ１はｎ画素を有し且つ記号Ｖｉはｓｅｔ１に属する画素の濃度値を表す（濃度値は画素の光強度に対応しても良い）と仮定する。一般に、Ｍはｓｅｔ１の背景画素の濃度値の光強度平均を表すために使用され、σはｓｅｔ１の背景画素の濃度値の光強度分散を表すために使用され、以下の式が成り立つ。
・・・（１）
・・・（２）
下限Ｔ_１及び上限Ｔ_２は、以下の式に示すように平均及び分散を含む関数により記述される。
・・・（３）
殆どの応用例に対して一次関数で十分であることを考慮して、以下の式が取得される。
・・・（４）
式中、因子αは信頼区間により判定される定数値であり、信頼区間は、画素が背景画素として考えられると保証される区間を意味する。従って、以下の式が成り立つ。
・・・（５）
・・・（６）
式中、Ｔ_１＜Ｔ_２、α_１∈［−１，０］且つα_２∈［０，１］である。本発明の一実現例において、α_１＝０、α_２＝０．５である。本発明の他の実施形態において、下限Ｔ_１及び上限Ｔ_２を判定するために、他の適切な関数が採用されてもよい。

その後、図３に示すようにステップ１４０に進む。

ステップ１４０において、保持される前景画素及びノイズ画素が実質的に除去されるように、光強度が光強度範囲［Ｔ１，Ｔ２］内にある背景画素の第２の集合（ｓｅｔ２で示される）はｓｅｔ１から抽出される。

ｓｅｔ１はｎ画素を有し、記号ｉはｓｅｔ１に属する画素を表すために使用され、記号Ｖｉは画素の光強度に対応してもよい画素ｉの濃度値を表すことが仮定される。２つの閾値Ｔ_１及びＴ_２は、ステップ１３０で規定される。Ｖｉ＜Ｔ_１である場合、画素ｉは前景画素であると考えられる。Ｖｉ＞Ｔ_２である場合、画素ｉはノイズ画素であると考えられる。Ｖｉが光強度範囲［Ｔ１，Ｔ２］内にある場合、画素ｉは適切な背景画素として受け入れられる。そのような演算をｓｅｔ１に適用すると、実質的に背景画素のみを含む背景画素の第２の集合（ｓｅｔ２）が取得される。

以下において、図４を参照して、本発明に従ってｓｅｔ１を抽出し且つ光強度範囲［Ｔ１，Ｔ２］を判定する別の例示的な処理を更に説明する。

図４は、本発明の一実施形態に従って、画像Ｉから背景画素の第１の集合を抽出し且つ背景画素の第１の集合の光強度範囲［Ｔ１，Ｔ２］を判定する処理を示すフローチャートである。

本発明の好適な一実施形態によると、ステップ１２１において、画像Ｉから背景画素を抽出する場合、画像Ｉは少なくとも１つの画像ブロックに分割される。一実施形態において、画像はＰ＊Ｑの画像ブロックに分割される（ステップ１２１）。そのような場合、Ｐ＝１且つＱ＝１である時に画像全体が１つのブロックとして考えられることは容易に理解されるだろう。更に好適な実施形態において、画像は同一サイズの画像ブロックに分割される。

文書（紙の文書等）の画像に対しては、画像ブロックのサイズが原画像Ｉの平均文字サイズに設定されるのが更に適切である。一般に、連結成分解析（ＣＣＡ）等の文字のサイズを計算する方法がいくつか存在する。しかし、殆どの場合、画像中の平均文字サイズを推定する必要はない。本発明者の実験によると、１５〜５０画素のブロックサイズが殆どの画像に適用可能である。本発明の一実現例において、ブロックサイズは２０画素として設定される。尚、上記教示は、説明中必要に応じて画像を画像ブロックに分割する際に適用されてもよい。

その後、ステップ１２２に進む。

ステップ１２２において、背景画素の集合は、画像ブロック毎に２値画像Ａを参照することにより抽出される。画像ブロック中の指定された各画素は、２値画像Ａの画素に対応している。２値画像Ａを参照することにより、指定されたブロック中の背景画素及び前景画素に容易にラベル付けできる。抽出された背景画素の集合は、個々に又は共に背景画素の第１の集合（ｓｅｔ１）を形成する。その後、ステップ１３０’に進む。

ステップ１３０と同様に、ステップ１３０’において、光強度範囲［Ｔ１，Ｔ２］は抽出された背景画素の集合に従って画像ブロック毎に判定される。

その後、ステップ１４０’において、背景画素の部分集合は、最終的に抽出される背景画素として、抽出された背景画素の集合から光強度範囲［Ｔ１，Ｔ２］に従って画像ブロック毎に抽出される。画像ブロックから抽出された前記背景画素の部分集合は、前記背景画素の第２の集合（ｓｅｔ２）を共に形成してもよい。そのような場合、背景画素に保持される上述の薄い文字又はストロークは実質的に除去される。

また、本発明の好適な一実施形態において、ステップ１２１の前記分割は、ステップ１１０に関して上述した分割と同一であり、更に詳細には、この場合、ステップ１２１の分割は、１２２、１３０’及び１４０’等の後続ステップがステップ１１０に関して上述した画像ブロックに従って実行できるように無視される。

以下において、本発明に従って前記検出された背景画素から光強度画像を生成する例示的な処理を説明する。

背景画素が適切に検出された後、ステップ２００において、光強度画像は背景画素から計算される。

本発明の好適な一実施形態において、画像は少なくとも１つの画像ブロックに分割され、それに対応して検出された背景画素が分割される。一実施形態において、画像は例えばＰ１＊Ｑ１の画像ブロックに分割される。Ｐ１＝１且つＱ１＝１である場合、画像全体は１つのブロックとして考えられる。更に好適な一実施形態において、画像は同一サイズの画像ブロックに分割される。

各画像ブロックに含まれる検出された背景画素（ｓｅｔ１又はｓｅｔ２）の光強度の平均値は、画像ブロックの平均背景光強度として計算される。画像ブロックはｋ個の検出された背景画素を有し、記号Ｖｉは画像ブロック中の検出された背景画素ｉの濃度値を表し、記号Ｖａｖｅｒａｇｅは画像ブロックの平均背景光強度を表し、記号Ｍは画像ブロックの検出された背景画素の光強度の平均を表すために使用されると仮定され、以下が成り立つ。
・・・（７）
このように、画像ブロックの平均背景光強度は取得される。その後、光強度画像は画像ブロックの平均背景光強度から生成される。

生成された光強度画像の解像度が原画像Ｉの解像度と一致しない場合もあることを考慮すると、更に好適な一実施形態において、生成された光強度画像は原画像Ｉの解像度に一致するように双線形アップ・サンプリングされる等、更にアップ・サンプリングされる。すなわち、平均背景光強度はアップ・サンプリング（例えば、双線形・アップサンプリング）され、原画像Ｉと同一サイズの光強度画像を生成する。解像度を一致させる目的で、本発明の教示に鑑みて他の適切な手段が利用可能であることは当業者には理解されるだろう。この場合、アップ・サンプリングされた背景画像は、原画像Ｉに対する前記光強度画像として考慮されてもよい。更なる実施形態において、光強度画像は、ガウス平滑化法等のある種の平滑化法を使用してノイズ又は異常データを消去するために更に平滑化される。

ステップ２００の前記分割は必須ではなく又は必要ではないことが理解されるべきである。本発明の他の実施形態において、ステップ２００は、ステップ２００において画像を分割する代わりに先行ステップ１１０又は１２１で分割された画像ブロックを参照して実行される。以下において、そのような場合の例示的な処理について、図５を参照して詳細に説明する。

図５は、本発明の一実施形態に従って画像Ｉに対する光強度画像を生成する例示的な処理を示すフローチャートである。図４に示すようなステップ１２１、１２２、１３０’及び１４０’と同様に、画像Ｉは画像ブロックに分割され（ステップ１２１’）、背景画素の集合は２値画像Ａを参照することにより画像ブロック毎に抽出され（ステップ１２２’）、光強度範囲［Ｔ１，Ｔ２］は抽出された背景画素の集合から画像ブロック毎に判定される（ステップ１３０”）。その後、光強度が画像ブロックの光強度範囲［Ｔ１，Ｔ２］内にある画素を抽出することにより、背景画素の部分集合は画像ブロック毎にステップ１２２’で抽出された背景画素の集合から画像ブロック毎に抽出される（ステップ１４０”）。その後、画像ブロックの平均背景光強度は、画像ブロック毎に上述したように計算される（ステップ２１０）。その後、光強度画像は画像ブロックの平均背景光強度から生成される（ステップ２２０）。

以下において、本発明の一実施形態に従って光強度画像を使用してシェーディングを除去する処理（図１に示すステップ３００）について更に説明する。

ステップ３００において、画像の全体又は一部におけるシェーディングは、前記光強度画像を使用して除去される。

本発明の特定の一実施形態において、原画像データがＩ（ｘ，ｙ）であり、光強度画像データがＭ（ｘ，ｙ）であると仮定すると、出力画像であるシェーディングを除去した画像データＯ（ｘ，ｙ）は以下の式により計算される。
・・・（８）
式中、ｃは、Ｏ（ｘ，ｙ）が有効な光強度範囲内にある（例えば、８ビット濃淡画像の場合、Ｏ（ｘ，ｙ）は０〜２５５内である必要がある）ことを保証する定数値である。ｃが大きい程、出力画像は輝度が高い。本発明の一実現例において、ｃは原画像の最大光強度として設定される。シェーディングを除去した画像データＯ（ｘ，ｙ）は、画像Ｉ内の画素毎に上述の計算を実行することにより取得される。

本発明の開示に鑑みて、シェーディング除去を実行するためにステップ３００において他の適切な方法又は技術が適用可能であることは、当業者には理解されるだろう。

尚、前記光強度画像を生成することは、背景画素から光強度データを生成することを示してもよく、必ずしも光強度画像として実体のあるファイルを実際に生成することを意味するとは限らない。あるいは、場合によっては、必要に応じて光強度画像に対して実体のあるファイルを生成できる。

本発明の１つの態様として、画像の全体又は一部にシェーディングのある画像Ｉに対してシェーディング補正を行なう装置が更に提供される。図６は、本発明の一実施形態に係るシェーディング補正を行なう装置を示すブロック図である。図６に示すように、装置は、画像Ｉから背景画素を検出する検出モジュール６００と、検出した背景画素に従って光強度画像を生成する生成モジュール７００と、光強度画像を使用して画像Ｉからシェーディングを除去するシェーディング除去モジュール８００とを含む。

本発明のいくつかの特定の実施形態に係る装置において、画像Ｉから背景画素を検出し且つ／又は光強度画像を生成する時、画像ブロックに基づいて前記検出及び／又は前記生成を実行するように、画像Ｉは画像ブロックに分割される。

本発明の好適な一実施形態において、検出モジュール６００は、画像Ｉから２値画像Ａを生成でき、２値画像Ａを参照することにより、検出された背景画素として画像Ｉの全体又は一部から背景画素の第１の集合を抽出できる。

本発明の更に好適な実施形態において、画像Ｉから背景画素を検出する検出モジュール６００は、背景画素の第１の集合に従って光強度範囲［Ｔ１，Ｔ２］を判定でき、背景画素の第１の集合の代わりに検出された背景画素として、光強度が光強度範囲［Ｔ１，Ｔ２］内にある背景画素を抽出することにより背景画素の第１の集合から背景画素の第２の集合を抽出できる。

本発明の更に好適な実施形態において、検出モジュール６００は、背景画素の第１の集合における光強度平均Ｍ及び光強度分散σを計算でき、以下のようにＴ_１及びＴ_２を計算できる。

Ｔ_１＝Ｍ＋α_１＊σ
Ｔ_２＝Ｍ＋α_２＊σ
式中、α_１∈［−１，０］且つα_２∈［０，１］である。

本発明の更に好適な一実施形態において、検出モジュール６００は、画像Ｉを画像ブロックに分割でき、各２値画像ブロックを生成するために各画像ブロックに２値化を適用できる。結果として得られる２値画像ブロックは、２値画像Ａを共に形成する。その後、検出モジュール６００は、２値画像Ａの対応する２値画像ブロックを参照することにより、検出された背景画素として各画像ブロックから背景画素の集合を抽出できる。

本発明の更に好適な一実施形態において、検出モジュール６００は画像Ｉを画像ブロックに分割でき、２値画像Ａを参照することにより、検出された背景画素として各画像ブロックから背景画素の集合を抽出できる。

また、本発明の好適な一実施形態において、上述した検出モジュール６００による２つの分割は同一であり、その場合、後続処理が前者の分割のように分割された画像ブロックに基づいて実行されるように、後者の分割は無視される。

本発明の更に好適な一実施形態において、画像Ｉから背景画素を検出する検出モジュール６００は、画像ブロックから抽出された背景画素の各集合に従って画像ブロック毎に光強度範囲［Ｔ１，Ｔ２］を判定でき、画像ブロック毎に抽出された背景画素の各集合から、光強度が画像ブロックの光強度範囲［Ｔ１，Ｔ２］内にある背景画素の部分集合を背景画素の第１の集合の代わりに検出された背景画素として抽出できる。

本発明の更に好適な一実施形態において、検出モジュール６００は、画像ブロック毎に抽出された背景画素の各部分集合における光強度平均Ｍ及び光強度分散σを計算でき、上述のように画像ブロック毎にＴ_１及びＴ_２を計算できる。

本発明の更に好適な実施形態において、前記背景画素から光強度画像を生成する生成モジュール７００は、画像を画像ブロックに分割でき、各画像ブロックの平均背景光強度を画像ブロックの検出された背景画素の光強度の平均値として設定でき、且つ画像ブロックの平均背景光強度から光強度画像を生成できる。

また、本発明の好適な一実施形態において、生成モジュール７００による上述の分割は、検出モジュール６００による分割と同一であってもよく、その場合、後続処理が前者の分割のように分割された画像ブロックに基づいて実行されるように、生成モジュール７００による分割は無視される。画像が上述したように検出モジュールにおいて画像ブロックに分割された場合、前記背景画素から光強度画像を生成する生成モジュール７００は、画像ブロック中の検出された背景画素の光強度の平均値として各画像ブロックの平均背景光強度を設定し、画像ブロックの平均背景光強度から光強度画像を生成してもよい。

本発明の更に好適な一実施形態において、画像ブロックは同一サイズである。

本発明の更に好適な一実施形態において、生成モジュール７００は、画像ブロックの平均背景光強度をアップ・サンプリングすることにより又はアップ・サンプリング及び平滑化することにより前記原画像Ｉの同一サイズの光強度画像を生成できる。

本発明の更に好適な実施形態において、前記光強度画像を使用して画像Ｉのシェーディングを除去するシェーディング除去モジュール８００は、以下の式によりシェーディングを除去した画像データＯ（ｘ，ｙ）を計算できる。

Ｏ（ｘ，ｙ）＝ｃ＊（Ｉ（ｘ，ｙ）／Ｍ（ｘ，ｙ））
式中、Ｉ（ｘ，ｙ）は原画像データを表し、Ｍ（ｘ，ｙ）は光強度画像データを表す。

本発明に係る方法及び装置、並びにそれらのステップ及びモジュールがソフトウェア、ファームウェア、ハードウェア及び／又はそれらの任意の組合せで実施できることは、本開示から理解されるだろう。

図７〜図１０は、本発明が本発明の実験に従って達成されることを示す図である。図７は、撮影又は走査等が行なわれる紙の文書に対するシェーディングを含む原画像である。図８は、本発明の一実現例に従って図７の原画像から生成された２値画像である。図９は、本発明の一実現例に従って推定された図７の原画像の光強度分散を示す光強度画像である。図１０は、図７の原画像のシェーディングを除去した画像であり、図中、画像のシェーディングは本発明の実現例に従って除去されている。図７〜図１０から分かるように、画像のシェーディングは実質的に正確に除去されるため、結果として得られるシェーディングを除去した画像上のテキストは、例えばＯＣＲシステムにより更に正確に認識されるだろう。

更に、本発明の種々の実施形態に係る装置及び方法は、少なくともデジタルカメラＯＣＲシステム等のＯＣＲシステムに適用可能であると考えられる。

図１１は、本発明が適用されるＯＣＲシステムに対する処理を示す。図１１に示すように、最初に、紙の文書、書籍等の文書資料は、デジタルカメラにより撮影されるか又はスキャナにより走査され、画像等の文書資料の電子バージョンを形成する。その後、画像は、画像のシェーディングをより正確に除去する本発明に係る方法又は装置によりシェーディング補正され、シェーディングを除去した画像は取得される。テキストコンテンツが画像から正確に認識されるように、必要に応じて追加の２値化処理を含む従来のＯＣＲ処理は、シェーディングを除去した画像に適用される。

本発明の実施形態について添付の図面を参照して上述のように詳細に説明したが、図面及びそれに対する詳細な説明は、本発明を開示される特定の形態に限定することを意図せず、本発明の範囲は添付の特許請求の範囲及びそれらの等価物によってのみ規定されることが理解されるべきである。添付の特許請求の範囲により規定されるような本発明の趣旨の範囲内の全ての変形例、等価物及び代替物は、本発明に含まれることが意図される。

Claims

全体又は一部にシェーディングのある画像（Ｉ）に対してシェーディング補正を行なう方法であって、
前記画像（Ｉ）から背景画素を抽出する工程と、
前記抽出した背景画素に従って光強度画像を生成する工程と、
前記光強度画像を用いて、前記画像（Ｉ）からシェーディングを除去する工程とを備え、
前記画像（Ｉ）から背景画素を抽出する工程は、
前記画像（Ｉ）を複数の画像ブロックに分割する工程と、
当該分割された各画像ブロックに２値化を適用し、前記各画像ブロックに対応する２値画像ブロックを生成する工程と、
前記各２値画像ブロックを参照することにより、前記各画像ブロックから背景画素の第１の集合を検出する工程と、
前記各画像ブロックから検出された前記背景画素の第１の集合に対して、前景画素及びノイズ画素の除去用の閾値Ｔ１およびＴ２を求めるための関数を適用することにより、前記各画像ブロックについて光強度範囲［Ｔ１，Ｔ２］を決定する工程と、
前記各画像ブロックから検出された前記背景画素の第１の集合から、光強度が前記光強度範囲［Ｔ１，Ｔ２］内にある背景画素の第２の集合を背景画素として抽出する工程と、
を備えることを特徴とする方法。
全体又は一部にシェーディングのある画像（Ｉ）に対してシェーディング補正を行なう方法であって、
前記画像（Ｉ）から背景画素を抽出する工程と、
前記抽出した背景画素に従って光強度画像を生成する工程と、
前記光強度画像を用いて、前記画像（Ｉ）からシェーディングを除去する工程とを備え、
前記画像（Ｉ）から背景画素を抽出する工程は、
前記画像（Ｉ）に２値化を適用し、２値画像（Ａ）を生成する工程と、
前記画像（Ｉ）を複数の画像ブロックに分割する工程と、
前記２値画像（Ａ）を参照することにより、当該分割された前記各画像ブロックから背景画素の第１の集合を検出する工程と、
前記各画像ブロックから検出された前記背景画素の第１の集合に対して、前景画素及びノイズ画素の除去用の閾値Ｔ１およびＴ２を求めるための関数を適用することにより、前記各画像ブロックについて光強度範囲［Ｔ１，Ｔ２］を決定する工程と、
前記各画像ブロックから抽出された前記背景画素の第１の集合から、光強度が前記光強度範囲［Ｔ１，Ｔ２］内にある背景画素の第２の集合を背景画素として抽出する工程と、
を備えることを特徴とする方法。
前記光強度範囲［Ｔ１，Ｔ２］を決定する工程は、
画像ブロック毎に検出された前記背景画素の第１の集合における光強度平均Ｍ及び光強度分散σを計算する工程と、
α_１∈［−１，０］且つα_２∈［０，１］である場合に、
Ｔ_１＝Ｍ＋α_１＊σ
Ｔ_２＝Ｍ＋α_２＊σ
のように前記画像ブロック毎にＴ_１及びＴ_２を計算する工程と、
を更に備えることを特徴とする請求項１又は２に記載の方法。
前記光強度画像を生成する工程は、
前記各画像ブロックに基づいて、前記光強度画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の方法。
前記光強度画像を生成する工程は、
前記各画像ブロックについて抽出した背景画素の光強度の平均値として前記各画像ブロックの平均背景光強度を設定する工程と、
前記各画像ブロックの前記平均背景光強度から光強度画像を生成する工程とを更に備えることを特徴とする請求項４に記載の方法。
前記各画像ブロックの前記平均背景光強度から光強度画像を生成する工程は、
前記各画像ブロックの前記平均背景光強度をアップ・サンプリングすることにより又はアップ・サンプリング及び平滑化することにより、前記画像（Ｉ）の同一サイズの光強度画像を生成する工程を更に含むことを特徴とする請求項５に記載の方法。
前記適用される２値化は、局所２値化法による２値化であることを特徴とする請求項１乃至６の何れか１項に記載の方法。
前記画像（Ｉ）は、テキストを含む紙文書を光学的に読み取ることで得られる画像であり、
前記画像（Ｉ）から前記シェーディングが除去された画像は、ＯＣＲ処理されることを特徴とする請求項１乃至７の何れか１項に記載の方法。
全体又は一部にシェーディングのある画像（Ｉ）に対してシェーディング補正を行なう装置であって、
前記画像（Ｉ）から背景画素を抽出する抽出モジュールと、
前記抽出した背景画素に従って光強度画像を生成する生成モジュールと、
前記光強度画像を用いて、前記画像（Ｉ）からシェーディングを除去するシェーディング除去モジュールとを備え、
前記画像（Ｉ）から背景画素を抽出する抽出モジュールは、
前記画像（Ｉ）を複数の画像ブロックに分割し、
当該分割された各画像ブロックに２値化を適用し、前記各画像ブロックに対応する２値画像ブロックを生成し、
前記各２値画像ブロックを参照することにより、前記各画像ブロックから背景画素の第１の集合を検出し、
前記各画像ブロックから検出された前記背景画素の第１の集合に対して、前景画素及びノイズ画素の除去用の閾値Ｔ１およびＴ２を求めるための関数を適用することにより、前記各画像ブロックについて光強度範囲［Ｔ１，Ｔ２］を決定し、
前記各画像ブロックから検出された前記背景画素の第１の集合から、光強度が前記光強度範囲［Ｔ１，Ｔ２］内にある背景画素の第２の集合を背景画素として抽出する、
ことを特徴とする装置。
全体又は一部にシェーディングのある画像（Ｉ）に対してシェーディング補正を行なう装置であって、
前記画像（Ｉ）から背景画素を抽出する抽出モジュールと、
前記抽出した背景画素に従って光強度画像を生成する生成モジュールと、
前記光強度画像を用いて、前記画像（Ｉ）からシェーディングを除去するシェーディング除去モジュールとを備え、
前記画像（Ｉ）から背景画素を抽出する抽出モジュールは、
前記画像（Ｉ）に２値化を適用し、２値画像（Ａ）を生成し、
前記画像（Ｉ）を複数の画像ブロックに分割し、
前記２値画像（Ａ）を参照することにより、当該分割された前記各画像ブロックから背景画素の第１の集合を検出し、
前記各画像ブロックから検出された前記背景画素の第１の集合に対して、前景画素及びノイズ画素の除去用の閾値Ｔ１およびＴ２を求めるための関数を適用することにより、前記各画像ブロックについて光強度範囲［Ｔ１，Ｔ２］を決定し、
前記各画像ブロックから抽出された前記背景画素の第１の集合から、光強度が前記光強度範囲［Ｔ１，Ｔ２］内にある背景画素の第２の集合を背景画素として抽出する、
ことを特徴とする装置。
前記光強度範囲［Ｔ１，Ｔ２］は、
画像ブロック毎に検出された前記背景画素の第１の集合における光強度平均Ｍ及び光強度分散σを計算し、
α_１∈［−１，０］且つα_２∈［０，１］である場合に、
Ｔ_１＝Ｍ＋α_１＊σ
Ｔ_２＝Ｍ＋α_２＊σ
のように前記画像ブロック毎にＴ_１及びＴ_２を計算する、ことによって決定されることを特徴とする請求項９又は１０に記載の装置。
前記生成モジュールは、
前記各画像ブロックに基づいて、前記光強度画像を生成することを特徴とする請求項９乃至１１の何れか１項に記載の装置。
前記生成モジュールは、
前記各画像ブロックについて抽出した背景画素の光強度の平均値として前記各画像ブロックの平均背景光強度を設定し、
前記各画像ブロックの前記平均背景光強度から光強度画像を生成する、ことを特徴とする請求項１２に記載の装置。
前記光強度画像は、前記各画像ブロックの前記平均背景光強度をアップ・サンプリングすることにより又はアップ・サンプリング及び平滑化することにより、前記画像（Ｉ）の同一サイズの光強度画像を生成する、ことを特徴とする請求項１３に記載の装置。
前記適用される２値化は、局所２値化法による２値化であることを特徴とする請求項９乃至１４の何れか１項に記載の装置。
前記画像（Ｉ）は、テキストを含む紙文書を光学的に読み取ることで得られる画像であり、
前記画像（Ｉ）から前記シェーディングが除去された画像は、ＯＣＲ処理されることを特徴とする請求項９乃至１５の何れか１項に記載の装置。
請求項１乃至８の何れか１項に記載の方法の各工程をコンピュータに実行させるプログラム。