JP6592992B2

JP6592992B2 - 画像の背景輝度画像の抽出装置及び方法、並びに影除去装置及び方法

Info

Publication number: JP6592992B2
Application number: JP2015135640A
Authority: JP
Inventors: ジォン・ユヌ; ファヌ・ウエイ; 俊孫
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-07-07
Filing date: 2015-07-06
Publication date: 2019-10-23
Anticipated expiration: 2035-07-06
Also published as: CN105335953B; JP2016019287A; CN105335953A; US9204011B1

Description

本公開は、画像処理分野に関し、具体的にはコンピュータビジョンに関し、より具体的には、画像の背景輝度画像を抽出する装置及び方法、画像における影を自動的に除去する影除去装置及び方法、並びに該影除去装置を含むスキャナ又はデジタルカメラに関する。

従来では、スキャナ又はデジタルカメラなどの機器により、スキャンされる対象、例えば紙の書籍又は雑誌の画像を取得し、デジタル化することができる。しかし、図１に示すように、光線、及びスキャンされる対象、例えば書籍の表面そのものの撓みにより、通常、取得された画像には影が存在している。よって、画像形成の効果を改善するため、これらの影を自動的に除去することは望まれている。

以下は、本公開のある態様を理解させるため、本公開を簡単に説明する。なお、この説明は、本公開を限定するものではない。この説明は、本公開の肝心な部分又は重要な部分を決定するものではないし、本公開の範囲を限定するものではない。その目的は、単なる本公開に関するある概念を簡単に説明し、より詳細な説明は後述する。

本発明の一の態様では、画像の背景輝度画像を抽出する装置であって、前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得する分離手段と、前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び／又は底部輝度の一部が欠けている場合、前記頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置を提供する。

本発明の他の態様では、画像における影を除去する影除去装置であって、上記の画像の背景輝度画像を抽出する装置を含み、前記輝度画像から前記背景輝度画像の影響を除去する除去手段、をさらに含む、影除去装置を提供する。

本発明の他の態様では、画像の背景輝度画像を抽出する方法であって、前記画像における輝度値を抽出し、輝度画像を取得するステップと、前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得するステップと、前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び／又は底部輝度の一部が欠けている場合、前記頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得するステップと、取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得するステップと、を含む、方法を提供する。

本発明の他の態様では、画像における影を除去する影除去方法であって、上記の画像の背景輝度画像を抽出する方法を含み、前記輝度画像から前記背景輝度画像の影響を除去するステップをさらに含む、影除去方法を提供する。

本発明の他の態様では、上記の影除去装置を含むスキャナ及びデジタルカメラを提供する。

本発明の他の態様では、対応するコンピュータプログラムコード、コンピュータが読み取り可能な記憶媒体、及びコンピュータプログラムプロダクトをさらに提供する。

以下は、本発明のこれらの利点及び他の利点は、図面を参照しながら本発明の好適な実施例を詳細に説明することによって、より明確になる。

以下は、本発明の上記及びその他の利点及び特徴を説明するため、図面を参照しながら本発明の具体的な実施形態を詳細に説明する。図面及び以下の詳細な説明は、本明細書に含まれ、且つ明細書の一部を構成する。同一の機能及び構成を有する部材は、同一の符号で示されている。なお、これらの図面は、単なる本発明の典型的な例を説明するものであり、本発明の範囲を限定するものではない。
影を有する画像の例を示す図である。本願の１つの実施例に係る画像の背景輝度画像の抽出装置の構成を示すブロック図である。本願の１つの実施例に係る分離部の構成を示すブロック図である。本願の１つの実施例に係る背景部分抽出モジュールの構成を示すブロック図である。図１における画像に対応する勾配画像の例を示す図である。図５を二値化して得られた画像の例を示す図である。図６をマーキングして得られた画像の例を示す図である。図７を充填して得られた初期背景輝度画像の例を示す図である。欠けている部分を補填する時に用いられるモデルを示す図である。最後に取得された背景輝度画像の例を示す図である。本願のもう１つの実施例に係る画像の背景輝度画像の抽出装置の構成を示すブロック図である。本願の１つの実施例に係る画像における影を除去する影除去装置の構成を示すブロック図である。図１の影が除去された画像の例を示す図である。本願の実施例に係る画像の背景輝度画像の抽出方法及び画像における影を除去する影除去方法のフローチャートである。図１４におけるステップＳ１２のサブステップのフローチャートである。図１５におけるステップＳ２０１のサブステップのフローチャートである。本発明の実施例の方法及び／又は装置を実現するための汎用コンピュータの構成を示すブロック図である。

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。

なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件又は処理のステップのみが示され、本発明と関係のない細部が省略される。

上述したように、スキャンされる対象、例えば書籍に対して画像形成を行って得られた画像における影を自動的に除去する装置及び方法は望まれている。この問題点を解決するため、特にレイアウトが複雑である場合には、画像の背景輝度画像を正確に取得するのは重要である。

以下は、図２を参照しながら、本願の１つの実施例に係る画像の背景輝度画像の抽出装置１００の構成を説明する。図２に示すように、装置１００は、画像における輝度値を抽出し、輝度画像を取得する輝度抽出部１０１と、輝度画像に基づいて画像を背景と前景とに分離し、初期背景輝度画像を取得する分離部１０２と、初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、頂部輝度及び／又は底部輝度の一部が欠けている場合、頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得部１０３と、頂部底部輝度取得部により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、画像の背景輝度画像を取得する補間部１０４と、を含む。

画像の背景輝度画像を取得するため、装置１００は、画像から背景を分離し、頂部輝度及び底部輝度における既存データを用いて欠けている部分を補填し、取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間する。

ここで、画像はカラー画像であってもよいし、グレースケール画像であってもよい。画像の例は図１に示している。

輝度抽出部１０１は、各画素の輝度値を抽出して輝度画像を取得してもよい。一例として、画像がカラー画像である場合、輝度抽出部１０１は、カラー画像をＹＵＶ色空間に変換して、そのＹ画像を輝度画像としてもよい。画像がグレースケール画像である場合、グレースケール値を輝度値として用いてもよい。

そして、分離部１０２は、輝度画像に基づいて、画像の背景及び前景の輝度についての特徴に応じて分離し、即ち画像の内容情報を用いる。以下は、図３を参照しながら分離部１０２の一例を説明する。図３に示すように、分離部１０２は、輝度画像における背景の部分を抽出する背景部分抽出モジュール２０１と、前景周辺の背景部分の画素の値を用いて前景をある程度まで充填し、充填して得られた輝度画像を初期背景輝度画像とする充填モジュール２０２と、を含む。

ここで、充填モジュール２０２を設定するのは、前景における面積の小さい領域を除去し、ノイズを低減するためである。ここで、充填は、前景における少なくとも一部の画像の値を背景部分の画素値に代えることであってもよく、充填の程度、即ち毎回充填される画素の数は予め設定されてもよい。

図４は、本願の１つの実施例に係る背景部分抽出モジュール２０１の構成を示すブロック図である。背景部分抽出モジュール２０１は、輝度画像を勾配画像に変換して二値化する変換部２０１１と、最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするマーキング部２０１２と、を含む。

背景部分抽出モジュール２０１は、背景が緩やかに変化し、且つ前景が急速に変化するという特徴により、背景部分を抽出する。図１の画像の例では、輝度画像を変換部２０１１により処理して得られた勾配画像は図５に示され、二値化された画像は図６に示され、画像において、前景部分を黒色で示し、背景部分を白色で示している。説明の便宜上、図５において、水平方向をｘ方向と定義し、垂直方向をｙ方向と定義する。

ここで、勾配画像は畳み込みマスクを用いて畳み込むことによって取得されてもよく、畳み込みマスクは、水平方向、即ちｘ方向が［−１，０，１］であり、垂直方向、即ちｙ方向が［−１，０，１］^Ｔである。畳み込んだ後で、勾配画像を例えば［０，２５５］の区間に正規化してもよい。また、二値化の閾値は、勾配画像のヒストグラムの９０％分位点を計算して得られてもよい。なお、これは単なる一例であり、他の百分比を用いてもよい。

そして、マーキング部２０１２は、図６における面積の最も大きい白色の連結成分を背景部分として取得し、その平均輝度に近い他の白色の連結成分を背景部分としてマーキングしてもよい。ここで、平均輝度に近いことは、両者の平均輝度の差が所定の範囲（例えば６０）内にあることであってもよい。また、平均輝度値の比較に加えて、平均色、即ち平均のＵ値及びＶ値を比較してもよい。言い換えれば、平均輝度及び平均色が近い白色の連結成分を背景部分としてマーキングしてもよい。図６をマーキングして得られた画像は図７に示され、白色部分は背景部分である。

１つの実施例では、頂部底部輝度取得部１０３は、背景部分抽出モジュール２０１により抽出された背景部分の平均輝度が所定の閾値（例えば１２０）よりも低い場合、頂部輝度及び底部輝度を全て輝度画像における対応列の最大輝度値に設定する。この場合は、背景が暗いため、列方向における背景輝度の変化を考慮しなくてもよい。ここで、列方向は例えば図５及び図６における垂直方向、即ちｙ方向である。

また、図８は、充填モジュール２０２を用いて図７を充填して得られた初期背景輝度画像を示す図である。

図に示すように、頂部部分の右側は背景ではなく、前景であるため、頂部底部輝度取得部１０３により初期背景輝度画像における最上行の値を頂部輝度として抽出する場合、この部分に対応する背景輝度が欠けている。この現象は、複雑なレイアウト配置に起因する。この場合は、頂部底部輝度取得部１０３は、既存のデータを用いて該欠けている部分を補填し、完全な頂部輝度を取得する。

同様に、底部輝度の一部が欠けている場合、頂部底部輝度取得部１０３は、同様の処理を行い、完全な底部輝度を取得する。

ここで、頂部底部輝度取得部１０３は、既存データに基づく多項式フィッティングを用いて頂部輝度及び／又は底部輝度における欠けている部分を補填してもよい。

例えば、下記の式（１）に従って、ｎ次の多項式f(x)を構築して既存データをフィッティングし、フィッティングして得られたf(x)を用いて欠けている部分の輝度値を計算してもよい。

ここで、xは左境界までの距離であり、Cは頂部輝度におけるデータのある部分、例えば図８における頂部の左からの白色の部分であり、f(x)は多項式で表れたxにおける推定背景輝度であり、Y_xは既存データから取得された、対応位置における実際の背景輝度値である。図９は例示的な光線照射のモデルを示し、z方向はxy平面（即ちデスクトップ）に垂直な方向であり、アークは机に開いて置いた本のデスクトップに垂直な方向に沿う断面図を表し、光線が上方から照射され、式（１）において、背景輝度値がx軸方向の位置に関連すると考えられる。

式（１）を最小化することで多項式f(x)を決定でき、f(x)を右側のデータが欠けている部分、即ち図８の右上の黒色の部分に適用し、完全な頂部輝度を取得できる。同様に、底部輝度に欠けている部分が存在する場合、式（１）を用いて同様な処理を行ってもよい。

１つの実施例では、頂部底部輝度取得部１０３は、最小二乗法を用いて多項式のフィッティングを行ってもよい。なお、これに限定されず、他の従来の多項式のフィッティング方法を用いてもよい。

もう１つの実施例では、頂部底部輝度取得部１０３は、Lambertian反射モデルに基づいて頂部輝度及び／又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、頂部輝度及び／又は底部輝度における欠けている部分を補填する。

具体的には、頂部底部輝度取得部１０３は、下記の式（２）を用いて多項式f(x)のフィッティングを行ってもよい。

ここで、式（２）における１番目の総和は式（１）と同様な意味を有し、２番目の総和におけるL(x)はLambertian反射モデルに基づいて推定された、欠けている部分の背景輝度値を表し、Mは頂部輝度又は底部輝度におけるデータが欠けている部分、例えば図８における頂部の右側の黒色の部分を表す。λは重み係数を表し、両部分の占めている割合を調整するためのものである。

Lambertian反射モデルは、以下のように示され、ここで、I₀は光源の光照射輝度を表し、図９に示すように、I₀は高度Hにおける光照射輝度であり、Hは本を置いているデスクトップからの高さであり、dは本のページのデスクトップからの高さであり、θは、x方向の位置の変化に伴い、ページの法線方向とz軸方向との角度である。

この反射モデルは、背景輝度を大ざっぱに推定できるが、光線が厳密に垂直することではなく、高さdが必ずしも正確ではないため、それを直接に用いて計算された背景輝度の結果は正確ではない。この実施例では、その計算結果を既存データの一部として用いて多項式f(x)をフィッティングし、画像に対応する本の三次元の形状情報を用いることで、式（１）だけを用いてフィッティングして得られた結果よりも正確な結果を取得できる。

また、下記の式（４）に従って、推定輝度の頂部及び底部の辺に平行な方向に沿う導関数を既存データの一部として、多項式をフィッティングしてもよい。

この式は、式（３）に比べて、L(x)の導関数を用いて計算することで、dの不正確な影響を低減でき、より正確な結果を取得できる。

他の実施例では、頂部底部輝度取得部１０３は、既存データに基づく線形補間を用いて頂部輝度及び／又は底部輝度における欠けている部分を補填してもよい。例えば、既存データの欠けている部分に最も近いデータとを用いて線形補間を行ってもよい。なお、少なくとも一部の既存データと完全に同一のデータを用いて欠けている部分を補填してもよい。

このように、頂部底部輝度取得部１０３を用いることで、複雑なレイアウトにより頂部輝度及び／又は底部輝度が不完全である場合であっても、欠けている部分を補填でき、完全な頂部輝度及び底部輝度のデータを取得でき、後で行われる補間の正確性を向上できる。

補間部１０４は、頂部輝度及び底部輝度を用いて画像全体に対して線形補間を行い、例えば、画像の左上隅を座標の原点として、図５に示される座標軸の設定を用いる場合、下記の式（５）を用いて各位置の背景輝度値BIを取得できる。

ここで、Sは本のページのy方向における長さであり、I_top,xは頂部輝度であり、I_bottom,xは底部輝度である。最終に取得された背景輝度画像は例えば図１０に示されている。

また、画像解像度が高い場合、計算量を低減するため、図１１に示す本願の１つの実施例に係る画像の背景輝度画像の抽出装置２００を用いてもよい。装置２００は、装置１００に含まれる各部に加えて、輝度抽出部１０１により取得された輝度画像をダウンサンプリングするダウンサンプリング部１０５と、補間部１０４により取得された背景輝度画像をアップサンプリングするアップサンプリング部１０６と、をさらに含む。

具体的には、計算量を低減し、処理速度を向上するように、ダウンサンプリング部１０５は、輝度画像を、所定の画像範囲、例えば輝度画像の長手の辺が１０００画素よりも小さい範囲に、ダウンサンプリングしてもよい。補間部１０４により背景輝度画像が取得された後、アップサンプリング部１０６は該背景輝度画像に対してアップサンプリングする。なお、アップサンプリング部１０６は、画像をオリジナルサイズにアップサンプリングしてもよし、他のサイズにアップサンプリングしてもよいが、これは背景輝度画像の適用シーンにより決められる。

以上のことから、上記の装置１００又は２００を用いることで、複雑レイアウトの文書画像を含む各種の文書画像の背景輝度画像を正確に抽出できる。

図１２は、画像における影を除去する影除去装置３００を示す図である。装置３００は、上記の画像の背景輝度画像の抽出装置１００又は２００を含み、輝度画像から背景輝度画像の影響を除去する除去部３０１、をさらに含む。

１つの実施例では、除去部３０１は、輝度画像の値を背景輝度画像の値で割って、それに所定の係数を掛けて、輝度全体を調整する。具体的には、下記の式（６）に従って影除去処理を行う。

ここで、Y_out(x,y)は最終に取得された輝度画像の値であり、Y(x,y)は輝度抽出部１０１により抽出された輝度画像の値であり、BI(x,y)は装置１００又は２００の処理により取得された背景輝度画像の値であり、ωは輝度全体を調整するためのものであり、通常、ωが大きいほど画像全体は明るく、逆の場合に画像は暗い。

図１の例では、装置３００により影除去処理を実行して得られた画像は図１３に示されている。図から分かるように、影は殆ど除去され、ユーザの読み体験が改善された。

また、処理される画像がカラー画像である場合、Y_out、U、VをオリジナルのRGB空間に変換してもよい。

装置１００又は２００画像の背景輝度画像を正確に抽出できるため、上記装置３００は画像に存在する影を効率的、且つ迅速に除去できる。装置３００は、取得された画像に対して影除去処理を行うため、例えばスキャナ又はデジタルカメラに含まれ、或いは接続されてもよい。なお、装置３００を含むスキャナ又はデジタルカメラも本願の公開範囲内にあるものである。

以上、図面を参照しながら本発明に係る画像の背景輝度画像の抽出装置及び画像における影を除去する影除去装置の実施形態を説明しているが、実際には画像の背景輝度画像の抽出方法及び画像における影の除去方法も説明している。以下は、図面１４〜１６を参照しながら方法を簡単に説明し、その細部は上述した装置の説明を参照してもよい。

図１４に示すように、画像の背景輝度画像の抽出方法は、画像における輝度値を抽出し、輝度画像を取得するステップ（Ｓ１１）と、輝度画像に基づいて画像を背景と前景とに分離し、初期背景輝度画像を取得するステップ（Ｓ１２）と、初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、頂部輝度及び／又は底部輝度の一部が欠けている場合、頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得するステップ（Ｓ１３）と、取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、画像の背景輝度画像を取得するステップ（Ｓ１４）と、を含む。

また、図１４における破線ブロックのＳ１５及びＳ１６に示すように、計算量を低減し、速度を向上するため、上記方法は、ステップＳ１１の後、ステップＳ１２の前にステップＳ１５をさらに含んでもよく、Ｓ１５において、ステップＳ１１において取得された輝度画像をダウンサンプリングする。また、ステップＳ１４の後でステップＳ１６を実行し、ステップＳ１６において、ステップＳ１４において取得された背景輝度画像をアップサンプリングする。

ここで、処理される画像はカラー画像であってもよく、この場合は、ステップＳ１１においてカラー画像をYUV色空間に変換して、Y画像を輝度画像とする。グレースケール画像であってもよく、この場合は、輝度値はグレースケール値である。

１つの実施例では、図１５に示すように、ステップＳ１２は、下記のサブステップ、即ち輝度画像における背景の部分を抽出するステップ（Ｓ２０１）と、前景周辺の背景部分の画素の値を用いて前景をある程度まで充填し、充填して得られた輝度画像を初期背景輝度画像とするステップ（Ｓ２０２）と、を含んでもよい。

一例として、図１６に示すように、ステップＳ２０１は、輝度画像を勾配画像に変換するステップ（Ｓ２０１１）と、二値化するステップ（Ｓ２０１２）と、最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするステップ（Ｓ２０１３）と、を含んでもよい。

また、ステップＳ１３において、既存データに基づく多項式フィッティングを用いて頂部輝度及び／又は底部輝度における欠けている部分を補填してもよい。

１つの実施例では、ステップＳ１３において、Lambertian反射モデルに基づいて頂部輝度及び／又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、頂部輝度及び／又は底部輝度における欠けている部分を補填する。一例として、推定輝度に関連する値は、推定輝度の頂部及び底部の辺に平行な方向に沿う導関数であってもよい。

また、ステップＳ１３において、既存データに基づく線形補間を用いて頂部輝度及び／又は底部輝度における欠けている部分を補填してもよい。

一方、ステップＳ２０１において抽出された背景部分の平均輝度が所定の閾値よりも低い場合、ステップＳ１３において、頂部輝度及び底部輝度を全て輝度画像における対応列の最大輝度値に設定する。この場合は、画像の各列は同一の背景輝度値を有し、補間を行う必要がない。

図１４に戻り、画像における影を除去する影除去方法をさらに示し、該影除去方法は、上記の図１４に説明された各ステップに加え、輝度画像から背景輝度画像の影響を除去するステップ（Ｓ２１）、をさらに含む。

１つの実施例では、ステップ２１は、輝度画像の値を背景輝度画像の値で割って、所定の係数を掛けて、輝度全体を調整するステップを含む。

該影除去方法を用いることで、画像の背景輝度画像を正確に抽出できるため、画像における影を迅速、且つ効率的に除去できる。

上記の処理及び装置は、ソフトウェア及び／又はファームウェアで実施されてもよい。ソフトウェア及び／又はファームウェアで実施されている場合、記憶媒体又はネットワークから専有のハードウェア構造を有するコンピュータ（例えば図１７に示される汎用コンピュータ１７００に該ソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータに各種のプログラムがインストールされており、各種の機能を実行することができる。

図１７において、中央処理部（即ちＣＰＵ）１７０１は、読み出し専用メモリ（ＲＯＭ）１７０２に記憶されているプログラム、又は記憶部１７０８からランダムアクセスメモリ（ＲＡＭ）１７０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１７０３には、必要に応じて、ＣＰＵ１７０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１７０１、ＲＯＭ１７０２、及びＲＡＭ１７０３は、バス１７０４を介して互いに接続されている。入力／出力インターフェース１７０５もバス１７０４に接続されている。

入力部１７０６（キーボード、マウスなどを含む）、出力部１７０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１７０８（例えばハードディスクなどを含む）、通信部１７０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１７０５に接続されている。通信部１７０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部１７１０は、入力／出力インターフェース１７０５に接続されてもよい。取り外し可能な媒体１７１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部１７１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１７０８にインストールされている。

ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体１７１１を介してソフトウェアを構成するプログラムをインストールする。

なお、これらの記憶媒体は、図１７に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体１７１１に限定されない。取り外し可能な媒体１７１１は、例えば磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ１７０２、記憶部１７０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。

また、本発明は機器が読み取り可能な指令コードを記録するプログラムプロダクトをさらに提供する。該指令コードは、機器により読み取られ、実行され、上記本発明の実施例に係る方法を実行できる。

また、上記の機器が実行可能な指令を記憶するプログラムプロダクトを記録する記憶媒体も本発明の公開に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、及びメモリスティックなどを含むが、これらに限定されない。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

以上、図面を参照しながら本発明の実施例を説明しているが、これは単なる一例であり、本発明を限定するものではない。当業者は実際の要求に応じて上記実施例に記載された機能的モジュールを組み合わせてもよいし、省略してもよいし、１つ又は複数の機能的モジュールを追加してもよく、これらの変形例は本公開の範囲に属する。本発明の範囲は添付されたクレーム及びその均等的内容に限定される。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
画像の背景輝度画像を抽出する装置であって、
前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、
前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得する分離手段と、
前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び／又は底部輝度の一部が欠けている場合、前記頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、
前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置。
（付記２）
前記輝度抽出手段により取得された輝度画像をダウンサンプリングするダウンサンプリング手段と、
前記補間手段により取得された前記背景輝度画像をアップサンプリングするアップサンプリング手段と、をさらに含む、付記１に記載の装置。
（付記３）
前記分離手段は、
前記輝度画像における背景の部分を抽出する背景部分抽出モジュールと、
前景周辺の背景部分の画素の値を用いて前記前景をある程度まで充填し、充填して得られた輝度画像を前記初期背景輝度画像とする充填モジュールと、を含む、付記１又は２に記載の装置。
（付記４）
前記背景部分抽出モジュールは、
前記輝度画像を勾配画像に変換して二値化する変換手段と、
最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするマーキング手段と、を含む、付記３に記載の装置。
（付記５）
前記頂部底部輝度取得手段は、既存データに基づく多項式フィッティングを用いて前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、付記１又は２に記載の装置。
（付記６）
前記頂部底部輝度取得手段は、Lambertian反射モデルに基づいて前記頂部輝度及び／又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、付記５に記載の装置。
（付記７）
前記推定輝度に関連する値は、前記推定輝度の頂部及び底部の辺に平行な方向に沿う導関数である、付記６に記載の装置。
（付記８）
前記頂部底部輝度取得手段は、最小二乗法を用いて多項式フィッティングを行う、付記５に記載の装置。
（付記９）
前記頂部底部輝度取得手段は、既存データに基づく線形補間を用いて前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、付記１又は２に記載の装置。
（付記１０）
前記頂部底部輝度取得手段は、前記背景部分抽出モジュールにより抽出された背景部分の平均輝度が所定の閾値よりも低い場合、前記頂部輝度及び底部輝度を全て前記輝度画像における対応列の最大輝度値に設定する、付記３に記載の装置。
（付記１１）
前記画像はカラー画像であり、前記輝度抽出手段は、前記カラー画像をYUV色空間に変換し、前記Y画像を前記輝度画像とする、付記１又は２に記載の装置。
（付記１２）
前記画像はグレースケール画像であり、前記輝度値はグレースケール値である、付記１又は２に記載の装置。
（付記１３）
画像における影を除去する影除去装置であって、
付記１乃至１２の何れかに記載の装置を含み、
前記輝度画像から前記背景輝度画像の影響を除去する除去手段、をさらに含む、影除去装置。
（付記１４）
前記除去手段は、前記輝度画像の値を前記背景輝度画像の値で割って、所定の係数を掛けて、輝度全体を調整する、付記１３に記載の装置。
（付記１５）
請求項１３又は１４に記載の影除去装置を含むスキャナ又はデジタルカメラ。
（付記１６）
画像の背景輝度画像を抽出する方法であって、
前記画像における輝度値を抽出し、輝度画像を取得するステップと、
前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得するステップと、
前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び／又は底部輝度の一部が欠けている場合、前記頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得するステップと、
取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得するステップと、を含む、方法。
（付記１７）
既存データに基づく多項式フィッティングを用いて前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、付記１６に記載の方法。
（付記１８）
Lambertian反射モデルに基づいて前記頂部輝度及び／又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、付記１７に記載の方法。
（付記１９）
前記推定輝度に関連する値は、前記推定輝度の頂部及び底部の辺に平行な方向に沿う導関数である、付記１８に記載の方法。
（付記２０）
画像における影を除去する影除去方法であって、
付記１６乃至１９の何れかに記載の方法を含み、
前記輝度画像から前記背景輝度画像の影響を除去するステップ、をさらに含む、影除去方法。

Claims

画像の背景輝度画像を抽出する装置であって、
前記画像における輝度値を抽出し、輝度画像を取得する輝度抽出手段と、
前記輝度画像に基づいて前記画像を背景と前景とに分離し、初期背景輝度画像を取得する分離手段と、
前記初期背景輝度画像における最上行及び最下行の値を頂部輝度及び底部輝度として抽出し、前記頂部輝度及び／又は底部輝度の一部が欠けている場合、前記頂部輝度及び／又は底部輝度における既存データを用いて欠けている部分を補填し、完全な頂部輝度及び底部輝度を取得する頂部底部輝度取得手段と、
前記頂部底部輝度取得手段により取得された完全な頂部輝度及び底部輝度に基づいて画像全体を補間し、前記画像の背景輝度画像を取得する補間手段と、を含む、装置。
前記輝度抽出手段により取得された輝度画像をダウンサンプリングするダウンサンプリング手段と、
前記補間手段により取得された前記背景輝度画像をアップサンプリングするアップサンプリング手段と、をさらに含む、請求項１に記載の装置。
前記分離手段は、
前記輝度画像における背景の部分を抽出する背景部分抽出モジュールと、
前景周辺の背景部分の画素の値を用いて前記前景の少なくとも一部を充填し、充填して得られた輝度画像を前記初期背景輝度画像とする充填モジュールと、を含む、請求項１又は２に記載の装置。
前記背景部分抽出モジュールは、
前記輝度画像を勾配画像に変換して二値化する変換手段と、
最大サイズを有する白色の連結成分、及びその平均輝度との差が一定の範囲内にある他の白色の連結成分を背景部分としてマーキングするマーキング手段と、を含む、請求項３に記載の装置。
前記頂部底部輝度取得手段は、既存データに基づく多項式フィッティングを用いて前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、請求項１又は２に記載の装置。
前記頂部底部輝度取得手段は、Lambertian反射モデルに基づいて前記頂部輝度及び／又は底部輝度における欠けている部分の推定輝度を計算し、該推定輝度に関連する値を既存データの一部として、前記頂部輝度及び／又は底部輝度における欠けている部分を補填する、請求項５に記載の装置。
前記推定輝度に関連する値は、前記推定輝度の頂部及び底部の辺に平行な方向に沿う導関数である、請求項６に記載の装置。
前記頂部底部輝度取得手段は、前記背景部分抽出モジュールにより抽出された背景部分の平均輝度が所定の閾値よりも低い場合、前記頂部輝度及び底部輝度を全て前記輝度画像における対応列の最大輝度値に設定する、請求項３に記載の装置。
画像における影を除去する影除去装置であって、
請求項１乃至８の何れかに記載の装置を含み、
前記輝度画像から前記背景輝度画像の影響を除去する除去手段、をさらに含む、影除去装置。
請求項９に記載の影除去装置を含むスキャナ又はデジタルカメラ。