JP6156447B2 - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

本をめくりながら複数のページを順次デジタルカメラ等で撮像し、それによって得られた複数の画像を含むデータが利用されることがある。このような場合に、本のページに照射される光の偏り、本を開いた状態でのページの湾曲等のために、本のページを撮像した画像において輝度が不均一になる、いわゆる輝度ムラが生じることがある。輝度ムラがある画像は、部分的に濃淡が生じること、明るい部分の文字がかすれることなどがあるため、見づらくなることがある。

例えば特許文献１には、原稿を撮像することによって得られた原稿画像の輝度ムラを補正するための技術が開示されている。一般的に、輝度ムラをなくし画像の輝度を均一化する補正は、シェーディング補正などとも言われる。

特許文献１に記載の画像処理装置は、原稿画像を分割した各ブロック内の各画素の輝度値を調べ、ブロック毎に原稿の用紙に対応する輝度値を取得し、その輝度値に基づいて各ブロックのシェーディング補正値を求める。そして、求めたシェーディング補正値に基づいて各ブロックの画素に対するシェーディング補正が行われる。特許文献１に記載の技術を、本の複数のページのそれぞれを撮像することによって得られた複数の画像に適用することによって、複数の画像の輝度ムラを補正することが考えられる。

特開２００５−２６９４５１号公報

しかしながら、特許文献１に記載の画像処理装置を用いて、本の複数のページのそれぞれに対応する複数の画像の輝度ムラを補正するには、画像ごとに上述のような一連の処理をする必要があると考えられる。これでは、画像処理装置の処理負荷が増大するおそれがある。

このような複数の画像の輝度ムラを補正するための処理負荷が大きくなるという問題は、本を開いて複数のページを撮像した場合に限られず、書類等が綴じられたファイルなどを開いて複数のページを撮像した場合にも生じる可能性がある。

本発明は、上述の事情に鑑みてなされたもので、複数のシートが綴じ合わされた物を開いて撮像することによって得られた複数の画像の輝度ムラを補正するための処理負荷を軽減することを目的とする。

本発明の目的を達成するため、本発明に係る画像処理装置は、
複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの第１輝度補正量を取得する第１補正量取得手段と、
前記各ブロックの第１輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する第１補正手段とを備えることを特徴とする。

本発明によれば、複数のシートが綴じ合わされた物を開いて撮像することによって得られた複数の画像の輝度ムラを補正するための処理負荷を軽減することが可能になる。

本発明の実施の形態１に係る画像処理システムの構成を示す図である。 実施の形態１に係る画像処理システムの機能的な構成を示すブロック図である。 実施の形態１に係る端末装置が、画像処理装置として備える機能的な構成を示すブロック図である。 実施の形態１に係るシェーディング補正部の機能的な構成を示すブロック図である。 処理対象画像を分割した複数のブロックの一例を示す図である。 実施の形態１に係る撮像処理の流れを示すフローチャートである。 実施の形態１に係る画像処理の流れを示すフローチャートである。 実施の形態１に係るシェーディング補正処理の流れを示すフローチャートである。 第１補正テーブルの一例を示す図である。 （ａ）は、本の１ページ目を撮影するときの光の偏りを示す図であり、（ｂ）は、本の１ページ目を撮影するときのページＰの湾曲の例を示す図である。 （ａ）は、本の２Ｎ−１ページ目を撮影するときの光の偏りを示す図であり、（ｂ）は、本の２Ｎ−１ページ目を撮影するときのページＰの湾曲の例を示す図である。 本発明の実施の形態２に係るシェーディング補正部の機能的な構成を示すブロック図である。 実施の形態２に係るシェーディング補正処理の流れを示すフローチャートであって、実施の形態１に係るシェーディング補正処理と異なる部分を示すものである。 本発明の実施の形態３に係る第２補正部の機能的な構成を示すブロック図である。 実施の形態３に係るシェーディング補正処理の流れを示すフローチャートであって、実施の形態２に係るシェーディング補正処理と異なる部分を示すものである。 各ブロックの輝度補正量Ｙａｂを補間することによって、処理対象画像内の画素の輝度補正量Ｐｘｙを取得する方法を説明するための図である。 本発明の実施の形態４に係るシェーディング補正部の機能的な構成を示すブロック図である。 実施の形態４に係る画像処理の流れを示すフローチャートであって、実施の形態２に係る画像補正処理と異なる部分を示すものである。 実施の形態４に係るシェーディング補正処理の流れを示すフローチャートである。 実施の形態４に係るシェーディング補正処理の流れを示すフローチャートである。 実施の形態４に係る第１画像選択処理の流れを示すフローチャートである。 実施の形態４に係る第２画像選択処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一又は相当する部分は同一符号を付す。

（実施の形態１）
本発明の実施の形態１に係る画像処理システム１００は、複数のシートが綴じ合わされた対象物を電子化するためのシステムである。複数のシートが綴じ合わされた対象物は、紙が綴じ合わされた本、雑誌の他に、書類をステープラで綴じた物、書類等が綴じられたファイルなどを含む。本実施の形態では、本を例に説明する。

画像処理システム１００は、図１に示すように、本ＢのページＰを順にめくるページめくり装置１０１と、ページめくり装置１０１によって撮像の対象となるページＰが開かれるとそのページＰを撮像し、撮像された画像を処理対象画像として画像処理を施す端末装置１０２とを備える。端末装置１０２は、例えば、スマートホンである。ページめくり装置１０１と端末装置１０２とは、図示しない、無線又は有線の回線を通じて相互に通信できるように構成される。なお、端末装置１０２には、パーソナルコンピュータ、タブレット端末などが採用されてもよい。

本Ｂは、本実施の形態では、表紙と、第１ページから第２Ｎ（Ｎは、１以上の整数）ページと、裏表紙とを順に有するものとする。

ページめくり装置１０１は、図１に示すように、開かれた本Ｂを保持する保持台１０３と、本Ｂに対して端末装置１０２の位置及び姿勢を固定するためのスタンド１０４と、概ね直方体形状の収納ケース１０５と、駆動軸１０６を有する第１駆動部１０７と、駆動軸１０６を中心に揺動するアーム部１０８と、アーム部１０８の先端に第２駆動部１０９を介して取り付けられ、本ＢのページＰに吸着（もしくは付着）する吸着部１１０と、第１駆動部１０７、アーム部１０８及び吸着部１１０を支持する台座部１１１と、めくられる前のページＰの上方に風を通過させることで、めくられた後のページＰに対して風をあてる送風部１１２とを備える。第１駆動部１０７及び第２駆動部１０９の各々は、例えばモータである。

また、ページめくり装置１０１は、図２に示すように、収納ケース１０５の内部に、端末装置１０２と通信するためのインタフェースである第１通信部１１３と、第１駆動部１０７、第２駆動部１０９、送風部１１２のそれぞれを駆動するためのモータドライバ１１４，１１５，１１６と、各種プログラムが格納されたＲＯＭ（Read Only Memory）１１７と、ＲＯＭ１１７に格納されたプログラムを実行することによってページめくり制御部１１８としての機能を発揮するＣＰＵ（Central Processing Unit）１１９と、ＲＯＭに格納されたプログラムの実行時にＣＰＵ１１９の作業領域として機能するＲＡＭ（Random Access Memory）１２０とを備える。

保持台１０３は、めくられた後のページＰが、めくられる前の概ね水平なページＰに対して、傾斜するように本Ｂを保持する。この傾斜角度θは、例えば、３０〜４５度である。

スタンド１０４は、保持台１０３に保持された本ＢのページＰを撮像できるように端末装置１０２のカメラ１２１（図２参照）の向きがユーザなどにより調整されると、その位置及び姿勢で端末装置１０２を保持する。本実施の形態では、端末装置１０２は、本Ｂの見開き２ページのうちの左ページのみがカメラ１２１によって撮影されるようにスタンド１０４に固定される。ここで、左右は、それぞれ、ページめくり制御部１１８を正面（本Ｂが保持されている側）から見た場合の左右に対応する。

ＣＰＵ１１９は、図示しない電源から電力が供給されると、ＲＯＭ１１７に格納されたプログラムを実行してページめくり制御部１１８としての機能を発揮する。ページめくり制御部１１８は、第１通信部１１３を介して取得するユーザの指示に基づいて、本ＢのページＰをめくるようにモータドライバ１１４，１１５を制御する。

詳細には、ページめくり制御部１１８は、ページめくり指示を第１通信部１１３を介して取得すると、モータドライバ１１６に送風部１１２を駆動させた状態で、以下の動作によりページＰをめくる。

まず、ページめくり制御部１１８は、アーム部１０８が右から左へ移動するように第１駆動部１０７を制御する。これにより、吸着部１１０が、めくられる前のページＰ（左側のページＰ）に吸着する。

次に、ページめくり制御部１１８は、アーム部１０８が左から右へ移動するように第１駆動部１０７を制御する。これにより、吸着部１１０に吸着したページＰがめくられ始める。

続けて、ページめくり制御部１１８は、第１駆動部１０７を駆動させたままの状態で第２駆動部１０９を制御して吸着部１１０を回転させる。この回転によって、吸着部１１０をページＰから分離させる際に吸着強度が変化するので、吸着部１１０をページＰから確実に分離させることができる。

第１駆動部１０７及び第２駆動部１０９の両者を予め定められた時間だけ駆動させると、ページめくり制御部１１８は、第１駆動部１０７及び第２駆動部１０９を停止する。このとき、送風部１１２からの風によって、めくられた後のページＰが元の位置に戻ることを防ぐことができるので、ページＰがめくられた状態で、吸着部１１０がページＰから分離する。これにより、ページＰがめくられ、ページめくり制御部１１８は、ページＰをめくる動作を終了する。

ここで説明したページめくり装置１０１は、概ね、特開２０１５−３４４６号公報に開示された装置を端末装置１０２と通信するように構成されたものに相当する。なお、ページめくり装置１０１は、本ＢのページＰをめくる装置であればよく、ここで説明した構成を備える装置に限られない。

端末装置１０２は、ページめくり装置１０１によって撮像の対象となるページＰが開かれるとそのページＰを撮像する撮像装置の機能と、撮像された画像を処理対象画像として画像処理を施す画像処理装置の機能とを一体的に備える。

端末装置１０２は、図２に示すように、ページめくり装置１０１と通信するためのインタフェースである第２通信部１２２と、本ＢのページＰを撮像するカメラ１２１と、各種プログラムが格納されたＲＯＭ１２３と、各種プログラム、カメラ１２１で撮像することによって得られた画像を示すデータなどが格納される記憶部１２４と、ＲＯＭ１２３又は記憶部１２４に格納されたプログラムを適宜実行することによって撮像制御部１２５としての機能と画像処理部１２６としての機能とを発揮するＣＰＵ１２７と、ＲＯＭ１２３に格納されたプログラムの実行時にＣＰＵ１２７の作業領域として機能するＲＡＭ１２８と、撮像された画像、画像処理が施された画像などを表示する液晶デバイスなどの表示部１２９と、ユーザの操作に基づいて入力される指示を受け付ける指示受付部１３０とを備える。

本実施の形態では、表示部１２９と指示受付部１３０とによりタッチパネルを構成する。すなわち、表示部１２９は、ユーザが操作するためのボタンなどを含む画面を表示し、指示受付部１３０は、表示部１２９の画面に応じたユーザの操作を受け付ける。なお、指示受付部１３０は、キーボード、ボタン、ポインティングデバイス等であってもよい。

撮像装置の機能は、例えば、第２通信部１２２と、カメラ１２１と、撮像制御部１２５としての機能を発揮するＣＰＵ１２７と、撮像制御部１２５としての機能を発揮するＣＰＵ１２７により読み出され又は書き込まれるＲＯＭ１２３、記憶部１２４及びＲＡＭ１２８と、撮像された画像などを表示する表示部１２９と、撮像の指示などを受け付ける指示受付部１３０とにより実現される。

画像処理装置の機能は、例えば、画像処理部１２６としての機能を発揮するＣＰＵ１２７と、画像処理部１２６としての機能を発揮するＣＰＵ１２７により読み出され又は書き込まれるＲＯＭ１２３、記憶部１２４及びＲＡＭ１２８と、画像処理が施された画像などを表示する表示部１２９と、画像処理を施すための指示などを受け付ける指示受付部１３０とにより実現される。

詳細には、カメラ１２１は、例えば、レンズ、固体撮像素子などから構成される。固体撮像素子の例としては、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを挙げることができる。

記憶部１２４は、フラッシュメモリなどから構成される。記憶部１２４には例えば、図３に示すように、複数の処理対象画像データ１３１＿１〜２Ｎが格納される。処理対象画像データ１３１＿１〜２Ｎの各々は、本Ｂを開いて各ページＰを撮像することによって得られた処理対象画像ｉ（ｉは、１〜２Ｎの整数）を示す。処理対象画像データ１３１＿ｉは、撮影直後には本Ｂの第ｉページがカメラ１２１によって撮影された画像を示し、その後、その画像を対象に画像処理が施された画像を示す。すなわち、撮像することによって得られた処理対象画像ｉは、撮影された画像自体だけではなく、それに対して画像処理が施されたものをも含む。

撮像制御部１２５は、図２に示すように、第２通信部１２２を介して通信することによって、ページめくり装置１０１がページＰをめくる動作と同期してカメラ１２１を動作させる。これにより、ページめくり装置１０１にめくられた各ページＰが順に撮像される。撮像制御部１２５は、カメラ１２１によって撮像された画像を示すデータを記憶部１２４に格納する。

画像処理部１２６は、ユーザの指示を指示受付部１３０を介して受け付けると、処理対象画像データ１３１＿１，３，・・・，２Ｎ−３，２Ｎ−１が示す奇数ページの処理対象画像又は処理対象画像データ１３１＿２，４，・・・２Ｎ−２，２Ｎが示す偶数ページの処理対象画像に画像処理を施す。

より詳細には、画像処理部１２６は、図３に示すように、処理対象画像に歪み補正を施す歪み補正部１３２と、歪み補正が施された処理対象画像から予め定められた範囲を切り出す切り出し部１３３と、切り出された処理対象画像にシェーディング補正を施すシェーディング補正部１３４と、シェーディング補正が施された処理対象画像に予め定められた画像効果補正を施す画像効果補正部１３５と、複数の処理対象画像を結合する結合部１３６とを有する。

歪み補正部１３２は、ユーザの操作に基づく画像処理の開始指示を指示受付部１３０を介して受け付けると、処理対象画像の歪みを補正する。

切り出し部１３３は、歪み補正部１３２により歪みが補正された処理対象画像から、予め定められた範囲を切り出す。これにより、例えば、撮影時に写り込んだ本ＢのページＰ上の影などを除去する。

シェーディング補正部１３４は、切り出し部１３３により切り出された処理対象画像にシェーディング補正を施す。シェーディング補正とは、処理対象画像の全体の輝度が均一になるように、輝度ムラを補正することである。

より詳細には、シェーディング補正部１３４は、図４に示すように、切り出し部１３３により切り出された複数の処理対象画像の各々を取得する画像取得部１３７と、画像取得部１３７により取得された処理対象画像の各々を予め定められたブロックに分割する分割部１３８と、複数の処理対象画像のうちの１つの処理対象画像を第１画像とし、この第１画像について分割された各ブロックの第１輝度補正量Ｙａｂ＿１を取得する第１補正量取得部１３９と、各ブロックの第１輝度補正量Ｙａｂ＿１に基づいて、複数の処理対象画像内の各画素の輝度を補正する第１補正部１４０とを有する。

画像取得部１３７は、切り出し部１３３から指示を受けると、複数の処理対象画像の各々を示す処理対象画像データ１３１＿１〜２Ｎ−１（又は、処理対象画像データ１３１＿２〜２Ｎ）を記憶部１２４から取得する。ここで取得される処理対象画像データ１３１は、切り出し部１３３によって記憶部１２４に格納されたデータであり、切り出された処理対象画像を示す。これにより、画像取得部１３７は、複数の処理対象画像を取得する。なお、画像取得部１３７は、切り出し部１３３から処理対象画像データ１３１を取得してもよい。

分割部１３８は、画像取得部１３７によって取得された複数の処理対象画像の各々を共通の方法で複数のブロックに分割する。

ここで、例えば、図５に示すように、第ｉページ目に対応する処理対象画像の縦横それぞれの画素数がｐ×ｑである場合、分割部１３８は、予め定められた大きさのブロックに分割する。予め定められた大きさのブロックとは、図５に例示するように、縦横それぞれの画素数が５×５のブロックである。このように分割することによって、複数の処理対象画像の各々において同じ領域を占めるブロックが、複数の処理対象画像の間で対応するブロックとして生成される。図５では、処理対象画像が縦横いずれにも５ブロックずつに分割される例を示す。

第１補正量取得部１３９は、複数の処理対象画像うち、ユーザにより指定された１つの処理対象画像を第１画像とする。そして、第１補正量取得部１３９は、第１画像全体の輝度が均一になるように、第１画像について分割された各ブロックの第１輝度補正量Ｙａｂ＿１を取得する。

本実施の形態において、複数の処理対象画像うちのいずれを第１画像とするかは、ユーザの操作に基づいて指示受付部１３０が受け付ける指示に含まれる。例えば、複数の処理対象画像の中から第１画像を特定するための指示は、歪み補正部１３２によって取得される画像処理の開始指示に含まれる。すなわち、第１画像を特定するための指示を受け付ける指示受付部１３０は、複数の処理対象画像のうちから第１画像として１つの処理対象画像を選択する指示を受け付ける第１指示受付手段に相当する。

なお、第１画像には、カラー写真、カラーの図などを含まないページＰの画像が望ましく、例えば、背景が紙に対応する白色であり、かつ、黒色の文字のみを含むページＰの画像が選択されることが望ましい。

第１補正部１４０は、第１補正量取得部１３９により取得された各ブロックの第１輝度補正量Ｙａｂ＿１に基づいて、複数の処理対象画像内の各画素の輝度を補正する。

本実施の形態では、第１補正部１４０は、すべての処理対象画像の間で対応するブロックに共通の第１輝度補正量Ｙａｂ＿１を適用することによって、複数の処理対象画像内の各画素の輝度を補正する。

画像効果補正部１３５は、図３に示すように、シェーディング補正部１３４によりシェーディング補正が施された処理対象画像に画像効果補正を施す。画像効果補正とは、例えば、処理対象画像の輝度、色などを補正することである。輝度を補正することによって、コントラスト、全体の明るさが補正される。色を補正することによって、ホワイトバランスが補正される。ホワイトバランスの補正とは、本来、白であるべき領域を処理対象画像において白に近づけることであり、例えばページＰでは白である領域が処理対象画像において黄色みがかった画像となっている場合に、その領域を白に補正することである。

結合部１３６は、処理対象画像データ１３１＿１〜２Ｎによって示される複数の処理対象画像を含む１つのデータを作成することによって、複数の処理対象画像を結合する。結合部１３６は、例えば、本Ｂの各ページＰに対応する処理対象画像をページ順に並べたデータを作成する。このデータは、本Ｂが電子化されたものである。

これまで、本発明の実施の形態１に係る画像処理システム１００の構成について、説明した。ここから、本実施の形態に係る画像処理システム１００の動作について説明する。

＜撮像処理＞
画像処理システム１００は、図６に示す撮像処理を実行する。撮像処理は、本Ｂの各ページＰを撮像するための処理である。

例えば、ユーザが指示受付部１３０を操作することによって、指示受付部１３０が、撮像開始の指示を受け付けると、端末装置１０２は撮像処理を開始する。また、ページめくり装置１０１は、第１通信部１１３及び第２通信部１２２を介して、端末装置１０２が受け付けた撮像開始の指示を取得する。これにより、ページめくり装置１０１は、撮像処理を開始する。

本実施の形態では、上述のように、本Ｂの見開き２ページのうちの左ページのみがカメラ１２１によって撮影される。ここでは、まず、ユーザが、奇数ページが撮像されるように本Ｂを保持台１０３に設定した後に、撮像開始を指示するための操作を行うものとする。

また、本ＢのいずれのページＰを撮像するかは、ユーザにより指定されてもよいが、本実施の形態では、本Ｂのすべてのページが撮像されるものとする。従って、まず、１ページ目、３ページ目、５ページ目、・・・、２Ｎ−３ページ目、２Ｎ−１ページ目が撮像されるものとする。

ページめくり制御部１１８は、撮像開始の指示に応じて、モータドライバ１１６に送風部１１２を駆動させる（ステップＳ１０１）。これにより、めくられた後のページＰに対して風があてられる。

カメラ１２１は、撮像制御部１２５の制御の下で、１ページ目のページＰを撮像する（ステップＳ１０２）。

撮像制御部１２５は、ステップＳ１０２にて撮像された画像を示す処理対象画像データ１３１＿１をカメラ１２１から取得し、処理対象画像データ１３１＿１を記憶部１２４に格納する（ステップＳ１０３）。

撮像制御部１２５は、第２通信部１２２を介して、ページめくり指示をページめくり装置１０１へ送信する（ステップＳ１０４）。ページめくり指示は、ページめくり装置１０１にページＰをめくらせるための指示である。

ページめくり制御部１１８は、第１通信部１１３を介してページめくり指示を取得すると、上述のような一連の制御を行うことによって、本ＢのページＰをめくる（ステップＳ１０５）。これにより、本ＢのページＰがめくられるので、３ページ目が、カメラ１２１による撮像の対象として開かれた状態になる。

ページめくり制御部１１８は、第１通信部１１３を介してページめくり完了信号を送信する（ステップＳ１０６）。ページめくり完了信号は、ページＰをめくるための一連の制御が完了したことを示す信号である。

撮像制御部１２５は、指示受付部１３０からの信号に基づいて、ユーザの操作に基づく撮像終了の指示を受け付けたか否かを判断する（ステップＳ１０７）。

撮像終了の指示を受け付けていないと判断した場合（ステップＳ１０７；Ｎｏ）、撮像制御部１２５とページめくり制御部１１８とは、ステップＳ１０２〜Ｓ１０６の処理を繰り返す。これにより、３ページ目、５ページ目・・・と、奇数ページＰが順に撮像され、３ページ目、５ページ目・・・のそれぞれに対応する処理対象画像データ１３１＿３，５・・・が記憶部１２４に格納される。

２Ｎ−１ページ目が開かれた後さらに、ページＰをめくる動作が開始されると、ユーザが撮像終了を指示するための操作を指示受付部１３０に行う。これにより、撮像制御部１２５は、撮像終了の指示を受け付けるので、撮像終了の指示を受け付けたと判断して（ステップＳ１０７；Ｙｅｓ）、第２通信部１２２を介してページめくり装置１０１へ撮像終了の指示を通知し、撮像処理を終了する。ページめくり制御部１１８は、第１通信部１１３を介して撮像終了の指示に応じて、撮像処理を終了する。これにより、本Ｂの奇数ページＰのすべてに対応する処理対象画像データ１３１＿１，３，５・・・，２Ｎ−３，２Ｎ−１が記憶部１２４に格納される。

その後、ユーザは、偶数ページＰが撮像されるように本Ｂを保持台１０３に設定する。そして、ユーザは、撮像開始を指示するための操作を指示受付部１３０に行う。２Ｎページ目が開かれた後さらに、ページＰをめくる動作が開始されると、ユーザは、撮像終了を指示するための操作を指示受付部１３０に行う。これにより、本Ｂの偶数ページＰに対応する処理対象画像データ１３１＿２，４，６・・・，２Ｎ−２，２Ｎが記憶部１２４に格納される。そのため、先の撮像処理の結果と合わせて、図３に示すように、本ＢのすべてのページＰに対応する処理対象画像データ１３１＿１〜２Ｎが記憶部１２４に格納される。

＜画像処理＞
端末装置１０２は画像処理装置として、図７に示すように、処理対象画像に対する画像処理を実行する。処理対象画像は、記憶部１２４に格納された処理対象画像データが示す画像である。

本実施の形態では、カメラ１２１が、上述のように、見開き２ページのうちの片方のみを撮像するように設定される。そのため、奇数ページＰと偶数ページＰとの両者を撮像する場合、例えば、奇数ページの撮像が終了すると、その後に偶数ページを撮像するために、本Ｂの向きを変えてページめくり装置１０１に設定する必要がある。これにより、奇数ページに対応する処理対象画像と、偶数ページに対応する処理対象画像とでは、光のあたり方など撮影条件が変化する可能性がある。

そのため、本実施の形態では、奇数ページに対応する処理対象画像と、偶数ページに対応する処理対象画像とで分けて画像処理が施されるものとする。ここでは、まず、奇数ページに対応する処理対象画像、第１画像などを特定するための情報を含む画像処理の開始指示に応じて、奇数ページに対応する処理対象画像に画像処理が施されることとする。

歪み補正部１３２は、画像処理の開始指示を指示受付部１３０を介して受け付けると、処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４から取得する。そして、歪み補正部１３２は、取得した処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１が示す処理対象画像の各々、すなわち、奇数ページに対応する処理対象画像の各々に歪み補正を施す（ステップＳ１１１）。

詳細には、本ＢのページＰが斜めから撮影された場合などでは、処理対象画像においてページＰの外縁に対応する部分の形状が、矩形ではなく、台形などの歪んだ四角形になることがある。

歪み補正部１３２は、カメラ１２１の画角、撮影方向などに応じて予め定められる四角形の領域を処理対象画像から切り出す。そして、歪み補正部１３２は、切り出した四角形に射影変換を施すことによって、あたかもページＰを正面から撮影したような処理対象画像を生成する。歪み補正部１３２は、生成した処理対象画像を示す処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４に格納する。

切り出し部１３３は、処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４から取得する。そして、切り出し部１３３は、取得した処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１が示す処理対象画像の各々、すなわち、歪み補正部１３２によって補正された奇数ページに対応する処理対象画像の各々から、予め定められた範囲を切り出す（ステップＳ１１２）。切り出し部１３３は、切り出した処理対象画像を示す処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４に格納する。

シェーディング補正部１３４は、処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４から取得する。そして、シェーディング補正部１３４は、取得した処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１が示す処理対象画像の各々、すなわち、切り出し部１３３によって切り出された奇数ページに対応する処理対象画像の各々にシェーディング補正を施す（ステップＳ１１３）。

ここで、シェーディング補正処理（ステップＳ１１３）の詳細を図８に示す。

画像取得部１３７は、第１画像を特定するための情報を含む指示を切り出し部１３３から受けると、処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４から取得する。これにより、画像取得部１３７は、切り出し部１３３によって切り出された奇数ページに対応する処理対象画像を取得する（ステップＳ１２１）。

分割部１３８は、画像取得部１３７によって取得された複数の処理対象画像の各々を共通の複数のブロックに分割する（ステップＳ１２２）。

第１補正量取得部１３９は、ステップＳ１２１にて取得した画像処理の開始指示に含まれる情報に基づいて、第１画像となる処理対象画像を特定する。第１補正量取得部１３９は、ステップＳ１２２にて第１画像が分割された各ブロック内の各画素の輝度Ｙを取得する（ステップＳ１２３）。

ここで、画素の輝度Ｙは、例えば、0.29891×Ｒ＋0.58661×Ｇ＋0.11448×Ｂにより算出される。Ｒ，Ｇ，Ｂのそれぞれは、画素に含まれる赤成分の画素値、緑成分の画素値、青成分の画素値であり、０から２５５までの値である。

第１補正量取得部１３９は、ステップＳ１２３にて取得された輝度Ｙに基づいて、第１画像が分割された各ブロックの第１輝度補正量Ｙａｂ＿１を取得する（ステップＳ１２４）。

詳細には、第１補正量取得部１３９は、第１画像を分割した各ブロックについて、各画素の輝度Ｙの発生頻度を求め、発生頻度が最も高い輝度Ｐａｂを特定する。発生頻度が最も高い輝度Ｐａｂに対応する画素の色が、グレー系であれば、背景となる紙（例えば、白色）に対応する画素であると考えられる。そのため、第１補正量取得部１３９は、第１画像を分割した各ブロックについて、２５５からＰａｂを減じた値を第１輝度補正量Ｙａｂ＿１とする。これにより、第１画像を分割した各ブロックについて、発生頻度が最も高い輝度Ｐａｂに対応する画素を白にするための第１輝度補正量Ｙａｂ＿１を取得することができる。

ここで、Ｐａｂは、図５に示す左上のブロックを原点（縦横のいずれもが、０で表されるブロック）とした場合に、横方向にａ番のブロック、かつ、縦方向にｂ番のブロックにおいて発生頻度が最も高い輝度を表す。Ｙａｂ＿１は、横方向にａ番、かつ、縦方向にｂ番のブロックについての第１輝度補正量を表す。本実施の形態では、図５に示すように、処理対象画像の各々は分割されるので、ａ，ｂの各々は、０から４までの整数である。

ここで、第１補正量取得部１３９によって取得された各ブロックの第１輝度補正量Ｙａｂ＿１は、図９に示すような第１補正テーブル１４１として作成されて、適宜、記憶部１２４などに格納されてもよい。

第１補正部１４０は、ステップＳ１２４にて取得された各ブロックの第１輝度補正量Ｙａｂ＿１に基づいて、複数の処理対象画像内の各画素の輝度を補正する（ステップＳ１２５）。

詳細には、第１補正部１４０は、第１画像である処理対象画像について、各ブロック内の各画素の輝度に第１輝度補正量Ｙａｂ＿１を加算する。すなわち、横方向にａ番、かつ、縦方向にｂ番のブロック内の複数の画素の各々について、第１輝度補正量Ｙａｂ＿１が輝度に加算される。これにより、第１画像である処理対象画像の輝度ムラが補正される。

また、第１補正部１４０は、第１画像以外の処理対象画像の各々について、各ブロック内の各画素の輝度に第１輝度補正量Ｙａｂ＿１を加算する。すなわち、横方向にａ番、かつ、縦方向にｂ番のブロック内の複数の画素の各々について、Ｙａｂ＿１が輝度に加算される。これにより、第１画像以外の処理対象画像の各々の輝度ムラが補正される。このように、本実施の形態では、すべての処理対象画像の間で対応するブロックに、共通の第１輝度補正量Ｙａｂ＿１を適用することによって、複数の処理対象画像の輝度ムラが補正される。

第１補正部１４０は、輝度ムラが補正された処理対象画像の各々を示す処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４に格納する（ステップＳ１２６）。これにより、シェーディング補正部１３４は、シェーディング補正処理を終了し、図７に示す画像処理に戻る。

図７を再び参照する。
画像効果補正部１３５は、処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４から取得する。そして、画像効果補正部１３５は、取得した処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１が示す処理対象画像の各々、すなわち、シェーディング補正部１３４によって補正された奇数ページに対応する処理対象画像の各々に、画像効果補正を施す（ステップＳ１１４）。画像効果補正部１３５は、画像効果補正を施した処理対象画像を示す処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４に格納する。このとき、処理対象画像に適宜圧縮処理が施されてもよい。

結合部１３６は、画像処理の開始指示に結合指示が含まれていたか否かに基づいて、指示受付部１３０が結合指示を受け付けたか否かを判断する（ステップＳ１１５）。

結合部１３６は、画像処理の開始指示に結合指示が含まれてない場合、指示受付部１３０が結合指示を受け付けていないと判断する（ステップＳ１１５；Ｎｏ）。この場合、表示部１２９は、処理対象画像データ１，３，・・・２Ｎ−３，２Ｎ−１を記憶部１２４から取得して、ステップＳ１１４にて画像効果補正が施された処理対象画像を表示する（ステップＳ１１７）。これにより、画像処理が終了する。

画像処理の開始指示に結合指示が含まれている場合、結合部１３６は、指示受付部１３０が結合指示を受け付けたと判断する（ステップＳ１１５；Ｙｅｓ）。この場合、結合部１３６は、結合処理を実行する（ステップＳ１１６）。

詳細には、結合部１３６は、各ページＰに対応する処理対象画像をページ順に並べたデータを作成し、そのデータを記憶部１２４に格納する。

表示部１２９は、ステップＳ１１６にて作成されたデータを記憶部１２４から取得して、ページ順に並べられた処理対象画像を表示する（ステップＳ１１７）。これにより、画像処理が終了する。

これにより、奇数ページに対応する処理対象画像に対する画像処理は、終了する。

次に、偶数ページに対応する処理対象画像に対する画像処理が、実行されるとよい。この場合の画像処理の開始指示には、結合指示が含まれるとよい。

偶数ページに対応する処理対象画像についても、画像処理の開始指示が与えられると、ステップＳ１１１〜Ｓ１１５の処理が実行される。そして、画像処理の開始指示に結合指示が含まれている場合、結合処理（ステップＳ１１６）が実行される。先に実行された奇数ページに対応する処理対象画像と偶数ページに対応する処理対象画像とが結合されることで、本Ｂが電子化されたデータが作成される。

以上、本発明の実施の形態１について説明した。

本実施の形態によれば、シェーディング補正において、複数の処理対象画像のうちの第１画像を分割した各ブロックの第１輝度補正量Ｙａｂ＿１に基づいて、複数の処理対象画像内の各画素の輝度を補正する。そのため、輝度ムラを補正するために、第１画像以外の複数の処理対象画像に対する画像処理を軽減することができる。従って、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減することが可能になる。

また、従来、シェーディング補正は、背景となる紙に対応する白を基準に行われることが多く、そのため、カラー写真、カラーの図などを含むページＰに対応する処理対象画像のシェーディング補正の自動化は、困難であった。本実施の形態によれば、カラー写真、カラーの図などを含まない処理対象画像を第１画像に選択することによって、カラー写真、カラーの図などを含むページＰに対応する処理対象画像の輝度ムラを適切に補正することが可能になる。

さらに、本実施の形態では、ユーザは第１画像を選択するという比較的簡単な操作で、複数の処理対象画像の輝度ムラを適切に補正することができる。

さらに、本実施の形態では、輝度補正量Ｙａｂを取得するために輝度の解析（ステップＳ１２３〜Ｓ１２４の処理）が行われる処理対象画像は、第１画像だけである。その他の処理対象画像では、輝度の解析が行われないので、輝度補正量Ｙａｂを誤って検知する可能性を低減することができる。従って、複数の処理対象画像の輝度ムラを適切に補正することが可能になる。

本実施の形態は、以下のように変形されてもよい。

例えば、第１画像を分割した各ブロックの第１輝度補正量Ｙａｂ＿１を、第１画像以外の処理対象画像の各々の各ブロックにそのまま適用する例により説明した。しかし、第１画像を分割した各ブロックの第１輝度補正量Ｙａｂ＿１を、記憶部１２４に予め格納されたテーブル、関係式などに適用することによって、第１画像以外の処理対象画像ごとに各ブロックの輝度補正量Ｙａｂが取得されてもよい。

一般的に、本Ｂの複数のページＰを撮像する場合、図１０及び図１１に示すように、ページＰを照らすために適宜設けられる照明Ｌから照射される光の偏り、ページＰの湾曲等が、ページＰをめくる度に次第に変化することが多い。

図１０では、１ページ目を撮影するときの光の偏り及びページＰの湾曲の例を示す。図１１では、２Ｎ−１ページ目を撮影するときの光の偏り及びページＰの湾曲の例を示す。両図の（ｂ）から分かるように、１ページ目は、２Ｎ−１ページ目よりも湾曲が少ない。また、両図の（ａ）から分かるように、１ページ目は、２Ｎ−１ページ目よりも均一に光があたっている。

上述のように、処理対象画像ごとに各ブロックの輝度補正量Ｙａｂを取得することで、処理対象画像の各々について、各ブロックのより適切な輝度補正量Ｙａｂを取得することができる。従って、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減するとともに、より適切に輝度ムラを補正することが可能になる。

例えば、ページＰを照らす照明Ｌには、ページＰを照らすために適宜設けられる照明に限らず、例えば、電灯、端末装置１０２が撮像用に備える照明などが適用されてもよい。

例えば、本実施の形態では、第１画像が、複数の処理対象画像のうちの１つである例により説明した。しかし、第１画像には、複数の処理対象画像のうちの２つ以上が選択されてもよい。この場合、第１画像として選択された処理対象画像の間で対応する各ブロックの輝度補正量Ｙａｂに基づいて、第１画像を分割した各ブロックの第１輝度補正量Ｙａｂ＿１が取得されるとよい。例えば、第１画像として選択された処理対象画像の間で対応する各ブロックの輝度補正量Ｙａｂの平均値が、各ブロックの第１輝度補正量Ｙａｂ＿１として取得されるとよい。このように、２つ以上の処理対象画像を第１画像として選択することによって、より適切な第１輝度補正量Ｙａｂ＿１を取得することができる。従って、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減するとともに、より適切に輝度ムラを補正することが可能になる。

例えば、ページめくり装置１０１は、ユーザが操作する操作部を有し、その操作に応じて、ページめくり装置１０１と端末装置１０２とが撮像処理の実行を開始してもよい。

例えば、ページめくり装置１０１と端末装置１０２とが通信可能に接続されていなくてもよい。この場合、ユーザが各装置１０１，１０２にほぼ同時に指示を与え、ページめくり装置１０１が各ページＰをめくるために要する時間はほぼ一定と考えられるので、それに応じた時間間隔で端末装置１０２が連続的に撮像すればよい。これによっても、本Ｂの複数のページＰを撮像することができる。また、ページめくり装置１０１を採用せずに、ユーザがページを手でめくってもよいが、ページめくり装置１０１を採用することで、ユーザの負担を軽減することが可能になる。

例えば、表示部１２９は、各処理の結果を適宜表示してもよい。これによって、ユーザは処理の結果を確認することができる。この場合、指示受付部１３０は、ユーザが必要に応じて操作されることによって、画像処理に適用されるパラメータを適宜修正することができるように構成されるとよい。これにより、より適切な補正を行うことができるようになる。従って、処理対象画像をより高品質な画像にすることが可能になる。

（実施の形態２）
実施の形態１に係るシェーディング補正では、第１画像を分割した各ブロックの第１輝度補正量Ｙａｂ＿１に基づいて、複数の処理対象画像内の各画素の輝度を補正する例を説明した。

しかし、実施の形態１の変形例で説明したように、本Ｂの複数のページＰを撮像する場合、ページＰに照射される光の偏り、ページＰの湾曲等が、ページをめくる度に次第に変化することが多い。

本実施の形態では、このような各ページＰの撮影条件の変化に応じた適切な輝度補正量Ｙａｂを取得するため、第１画像及び第２画像それぞれを分割した各ブロックの第１輝度補正量Ｙａｂ＿１及び第２輝度補正量Ｙａｂ＿２に基づいて、複数の処理対象画像内の各画素の輝度を補正する例を説明する。

本実施の形態に係る画像処理装置として機能する端末装置は、実施の形態１に係る画像処理装置として機能する端末装置１０２が備えるシェーディング補正部１３４に代えて、図１２に機能的な構成を示すシェーディング補正部２３４を備える。この点を除いて、本実施の形態に係る画像処理システムは、実施の形態１に係る画像処理システム１００と概ね同様に構成される。

本実施の形態に係るシェーディング補正部２３４は、実施の形態１に係るシェーディング補正部１３４と同様に、切り出し部１３３により切り出された処理対象画像にシェーディング補正を施す。

本実施の形態に係るシェーディング補正部２３４は、図１２に示すように、実施の形態１に係るシェーディング補正部１３４が備える第１補正部１４０に代えて、第１補正部２４０を備える。また、シェーディング補正部２３４は、実施の形態１に係るシェーディング補正部１３４が備える構成に加えて、第２補正量取得部２４２を備える。これらを除いて、シェーディング補正部２３４は、実施の形態１に係るシェーディング補正部１３４と概ね同様に構成される。

第２補正量取得部２４２は、複数の処理対象画像うちの１つの処理対象画像を第２画像とし、この第２画像について分割された各ブロックの第２輝度補正量Ｙａｂ＿２を取得する。このような第２補正量取得部２４２の機能は、上述の第１補正量取得部１３９の機能の説明における第１画像及び第１輝度補正量Ｙａｂ＿１のそれぞれを、第２画像及び第２輝度補正量Ｙａｂ＿２に置き換えたものと同様である。ここで、第２画像は、第１画像とは異なる処理対象画像である。

すなわち、第２補正量取得部２４２は、複数の処理対象画像うち、ユーザにより指定された１つの処理対象画像を第２画像とする。そして、第２補正量取得部２４２は、第２画像全体の輝度が均一になるように、第２画像について分割された各ブロックの第２輝度補正量Ｙａｂ＿２を取得する。

本実施の形態において、複数の処理対象画像うちのいずれを第２画像とするかは、ユーザの操作に基づいて指示受付部１３０が受け付ける指示に含まれる。例えば、複数の処理対象画像の中から第２画像を特定するための指示は、歪み補正部１３２によって取得される画像処理の開始指示に含まれる。すなわち、第２画像を特定するための指示を受け付ける指示受付部１３０は、複数の処理対象画像のうちから第２画像として１つの処理対象画像を選択する指示を受け付ける第２指示受付手段に相当する。

なお、第２画像には、第１画像と同様に、カラー写真、カラーの図などを含まないページＰの画像が望ましく、例えば、背景が紙に対応する白色であり、かつ、黒色の文字のみを含むページＰの画像が選択されることが望ましい。

第１補正部２４０は、各ブロックの第１輝度補正量Ｙａｂ＿１と各ブロックの第２輝度補正量Ｙａｂ＿２とに基づいて、複数の処理対象画像内の各画素の輝度を補正する。

第１補正部２４０は、図１２に示すように、ブロック補正量取得部２４３と、第２補正部２４４とを有する。

ブロック補正量取得部２４３は、各ブロックの第１輝度補正量Ｙａｂ＿１と各ブロックの第２輝度補正量Ｙａｂ＿２とに基づいて、複数の処理対象画像の各々を分割した各ブロックの輝度補正量Ｙａｂを取得する。

詳細には、ブロック補正量取得部２４３は、複数の処理対象画像の間で対応する各ブロックについて、複数の処理対象画像の各々を得るために本Ｂの何ページ目が開かれていたかに応じて第１輝度補正量Ｙａｂ＿１と第２輝度補正量Ｙａｂ＿２とを補間する。これにより、ブロック補正量取得部２４３は、複数の処理対象画像の各々を分割した各ブロックの輝度補正量Ｙａｂを取得する。本実施の形態では、各ブロックの輝度補正量Ｙａｂを取得するための補間の方法として、線形補間を採用する。線形補間を採用することで、処理を簡易にすることができるが、補間の方法は、線形補間に限られず、非線形の各種の補間方法が採用されてもよい。

第２補正部２４４は、複数の処理対象画像の各々を分割した各ブロックの輝度補正量Ｙａｂに基づいて、複数の処理対象画像内の各画素の輝度を補正する。

詳細には、第２補正部２４４は、ブロック補正量取得部２４３によって取得された輝度補正量Ｙａｂの各々を、対応する処理対象画像のブロックに適用する。これを複数の処理対象画像のすべてのブロックに施すことによって、複数の処理対象画像内の各画素の輝度を補正する。

これまで、本発明の実施の形態２に係る画像処理システムの構成について、説明した。ここから、本実施の形態に係る画像処理システムの動作について説明する。

本実施の形態においても、実施の形態１と同様の撮像処理が実行される。本実施の形態では、画像処理装置としての端末装置により実行される画像処理が、実施の形態１に係る画像処理と異なる。

詳細には、本実施の形態に係る画像処理では、図１３に示すように、実施の形態１に係る画像処理に含まれる各処理（ステップＳ１２１〜Ｓ１２６）のうちのステップＳ１２５の処理に代えて、ステップＳ２２５の処理が実行される。また、本実施の形態に係る画像処理では、実施の形態１に係る画像処理に含まれる各処理に加えて、ステップＳ２２７〜Ｓ２２９の処理が、ステップＳ１２４の処理とステップＳ２２５の処理との間に実行される。

本実施の形態では、奇数ページに対応する処理対象画像に対して、画像処理が実行される例により説明する。なお、偶数ページに対応する処理対象画像に対しても、奇数ページに対応する処理対象画像と同様に画像処理が実行されるとよい。

ステップＳ１２４の処理が実行されると、第２補正量取得部２４２は、画像処理の開始指示に含まれる情報に基づいて、第２画像となる処理対象画像を特定する。第２補正量取得部２４２は、ステップＳ１２２にて第２画像が分割された各ブロック内の各画素の輝度Ｙを取得する（ステップＳ２２７）。

第２補正量取得部２４２は、ステップＳ２２７にて取得された輝度Ｙに基づいて、第２画像が分割された各ブロックの第２輝度補正量Ｙａｂ＿２を取得する（ステップＳ２２８）。

詳細には、第２補正量取得部２４２は、第１補正量取得部１３９と同様の方法で、各ブロックの第２輝度補正量Ｙａｂ＿２を取得する。すなわち、第２補正量取得部２４２は、第２画像を分割した各ブロックについて、各画素の輝度Ｙの発生頻度を求め、発生頻度が最も高い輝度Ｐａｂを特定する。第２補正量取得部２４２は、第２画像を分割した各ブロックについて、２５５からＰａｂを減じた値を第２輝度補正量Ｙａｂ＿２とする。これにより、第２画像を分割した各ブロックについて、発生頻度が最も高い輝度Ｐａｂに対応する画素を白にするための第２輝度補正量Ｙａｂ＿２を取得することができる。ここで、Ｙａｂ＿２は、横方向にａ番、かつ、縦方向にｂ番のブロックについての第２輝度補正量を表す。

ここで、第２補正量取得部２４２によって取得された各ブロックの第２輝度補正量Ｙａｂ＿２は、図９に例示する第１輝度補正量Ｙａｂ＿１と同様の第２補正テーブルとして作成されて、適宜、記憶部１２４などに格納されてもよい。

ブロック補正量取得部２４３は、第１輝度補正量Ｙａｂ＿１と第２輝度補正量Ｙａｂ＿２とを線形補間することによって、すべての処理対象画像の各ブロックに対する輝度補正量Ｙａｂを取得する（ステップＳ２２９）。

詳細には例えば、第１画像がｅページ目に対応する処理対象画像であり、第２画像がｆページ目に対応する処理対象画像であるとする。ｅ，ｆは、１以上の奇数であり、ｅ＜ｆであるとする。この場合、ｋページ目の処理対象画像において横方向にａ番のブロック、かつ、縦方向にｂ番のブロックの輝度補正量Ｙａｂは、（（ｆ−ｋ）×Ｙａｂ＿１＋（ｋ−ｅ）×Ｙａｂ＿２）／（ｆ−ｅ）の演算により取得される。ここで、ｋは、１〜２Ｎの奇数である。

ここで、処理対象画像に対応するページに従って次第に変化する輝度補正量Ｙａｂ＿ｋを補間によって取得するには、第１画像には表紙に近いページＰに対応する処理対象画像が指定され、第２画像には裏表紙に近いページＰに対応する処理対象画像が指定されることが望ましい。そのため、ｅが１、ｆが２Ｎ−１であること、すなわち、第１画像には１ページ目に対応する処理対象画像が指定され、第２画像には２Ｎ−１ページ目に対応する処理対象画像が指定されることが望ましい。

しかし、これらのページがカラー写真、カラーの図などを含む場合には、ｅが１以外となり、ｆが２Ｎ−１以外となることもあり得る。

例えば、ｅが１以外である場合、すなわち、第１画像が１ページ目以外に対応する処理対象画像である場合、１ページ目からｅ−２ページ目の各々に対応する処理対象画像の各ブロックには、対応する各ブロックの輝度補正量Ｙａｂ＿１が適用されるとよい。また例えば、ｆが２Ｎ−１以外である場合、すなわち、第２画像が２Ｎ−１ページ目以外に対応する処理対象画像である場合、ｆ＋２ページ目から２Ｎ−１ページ目の各々に対応する処理対象画像の各ブロックには、対応する各ブロックの輝度補正量Ｙａｂ＿１が適用されるとよい。なお、このような場合にも、補間（外挿補間）によって輝度補正量Ｙａｂが取得されてもよい。

第２補正部２４４は、ステップＳ１２４、ステップＳ２２８及びステップＳ２２９にて取得された各ブロックの輝度補正量Ｙａｂ＿１，Ｙａｂ＿２，Ｙａｂに基づいて、複数の処理対象画像内の各画素の輝度を補正する（ステップＳ２２５）。

詳細には、第２補正部２４４は、第１画像である処理対象画像について、各ブロック内の各画素の輝度に第１輝度補正量Ｙａｂ＿１を加算する。すなわち、横方向にａ番、かつ、縦方向にｂ番のブロック内の複数の画素の各々について、第１輝度補正量Ｙａｂ＿１が輝度に加算される。これにより、第１画像である処理対象画像の輝度ムラが補正される。

また、第２補正部２４４は、第２画像についても、第１画像と同様の方法で、輝度ムラを補正する。詳細には、第２補正部２４４は、第２画像である処理対象画像について、各ブロック内の各画素の輝度に第２輝度補正量Ｙａｂ＿２を加算する。すなわち、横方向にａ番、かつ、縦方向にｂ番のブロック内の複数の画素の各々について、第２輝度補正量Ｙａｂ＿２が輝度に加算される。これにより、第２画像である処理対象画像の輝度ムラが補正される。

さらに、第２補正部２４４は、第１画像及び第２画像以外の処理対象画像の各々について、各ブロック内の各画素の輝度に、対応する各ブロックの輝度補正量Ｙａｂを加算する。この輝度補正量Ｙａｂは、ステップＳ２２９で取得されたものである。すなわち、横方向にａ番、かつ、縦方向にｂ番のブロック内の複数の画素の各々について、対応する各ブロックの輝度補正量Ｙａｂが輝度に加算される。これにより、第１画像及び第２画像以外の処理対象画像の各々の輝度ムラが補正される。このように、本実施の形態では、第１輝度補正量Ｙａｂ＿１と第２輝度補正量Ｙａｂ＿２とに基づいて、すべての処理対象画像の各ブロックに対する輝度補正量Ｙａｂが取得される。そして、輝度補正量Ｙａｂの各々を対応するブロックの内の複数の画素の輝度に適用することによって、複数の処理対象画像の輝度ムラが補正される。

以上、本発明の実施の形態２について説明した。

本実施の形態によれば、シェーディング補正において、複数の処理対象画像のうちの第１画像及び第２画像のそれぞれを分割した各ブロックの第１輝度補正量Ｙａｂ＿１及び第２輝度補正量Ｙａｂ＿２に基づいて、複数の処理対象画像内の各画素の輝度を補正する。そのため、輝度ムラを補正するために、第１画像及び第２画像以外の複数の処理対象画像に対する画像処理を軽減することができる。従って、実施の形態１と同様に、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減することが可能になる。

また、本実施の形態によれば、カラー写真、カラーの図などを含まない処理対象画像を第１画像及び第２画像に選択することによって、実施の形態１と同様に、カラー写真、カラーの図などを含むページＰに対応する処理対象画像の輝度ムラを適切に補正することが可能になる。

さらに、本実施の形態では、ユーザは第１画像及び第２画像を選択するという比較的簡単な操作で、複数の処理対象画像の輝度ムラを適切に補正することができる。

さらに、本実施の形態では、輝度補正量Ｙａｂを取得するために輝度の解析（ステップＳ１２３〜Ｓ１２４の処理及びステップＳ２２７〜Ｓ２２８の処理）が行われる処理対象画像は、第１画像及び第２画像だけである。その他の処理対象画像では、輝度の解析が行われないので、輝度補正量Ｙａｂを誤って検知する可能性を低減することができる。従って、実施の形態１と同様に、複数の処理対象画像の輝度ムラを適切に補正することが可能になる。

本実施の形態は、以下のように変形されてもよい。

例えば、本実施の形態では、第１輝度補正量Ｙａｂ＿１及び第２輝度補正量Ｙａｂ＿２を補間することにより輝度補正量Ｙａｂを取得する例を説明した。しかし、第１輝度補正量Ｙａｂ＿１及び第２輝度補正量Ｙａｂ＿２を、記憶部１２４に予め格納されたテーブル、関係式などに適用することによって、第１画像及び第２画像以外の処理対象画像ごとに各ブロックの輝度補正量Ｙａｂが取得されてもよい。これによっても、実施の形態２と同様の効果を奏する。

例えば、本実施の形態では、第２画像が、複数の処理対象画像のうちの１つである例により説明した。しかし、第２画像には、複数の処理対象画像のうちの２つ以上が選択されてもよい。この場合、第２画像として選択された処理対象画像の間で対応する各ブロックの輝度補正量Ｙａｂに基づいて、第２画像を分割した各ブロックの第２輝度補正量Ｙａｂ＿２が取得されるとよい。例えば、第２画像として選択された処理対象画像の間で対応する各ブロックの輝度補正量Ｙａｂの平均値が、各ブロックの第２輝度補正量Ｙａｂ＿２として取得されるとよい。このように、２つ以上の処理対象画像を第２画像として選択することによって、より適切な第２輝度補正量Ｙａｂ＿２を取得することができる。従って、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減するとともに、より適切に輝度ムラを補正することが可能になる。

（実施の形態３）
実施の形態２では、１つのブロック内の各画素には、共通の輝度補正量Ｙａｂ（又は、Ｙａｂ＿１，Ｙａｂ＿２）を適用する例により説明した。しかし、この方法に寄れば、隣接するブロックの境界で、例えば背景に対応する領域の輝度が変化する結果、見難い画像となることがある。本実施の形態では、隣接するブロックの境界を目立たなくするために、各ブロックの輝度補正量Ｙａｂを補間する。

本実施の形態に係る画像処理装置は、実施の形態２に係る画像処理装置が備える第２補正部２４４に代えて、図１４に機能的な構成を示す第２補正部３４４を備える。この点を除いて、本実施の形態に係る画像処理システムは、実施の形態２に係る画像処理システムと概ね同様に構成される。

第２補正部３４４は、実施の形態２に係る第２補正部２４４と同様に、複数の処理対象画像の各々を分割した各ブロックの輝度補正量Ｙａｂに基づいて、複数の処理対象画像内の各画素の輝度を補正する。第２補正部３４４は、各ブロックの輝度補正量Ｙａｂに基づいて、複数の処理対象画像内の各画素の輝度補正量Ｐｘｙを取得する点で、実施の形態２に係る第２補正部２４４と異なる。

詳細には、第２補正部３４４は、図１４に示すように、画素補正量取得部３４５と、画素補正部３４６とを有する。

画素補正量取得部３４５は、複数の処理対象画像の各々を分割した各ブロックの輝度補正量Ｙａｂに基づいて、複数の処理対象画像内の各画素の輝度補正量Ｐｘｙを取得する。

詳細には、画素補正量取得部３４５は、複数の処理対象画像の各々について、各ブロック内に予め定められた代表画素Ｒの位置関係に応じて各ブロックの輝度補正量Ｙａｂを補間することによって、複数の処理対象画像内の各画素の輝度補正量Ｐｘｙを取得する。

本実施の形態では、代表画素Ｒは、各ブロックの中心に位置する画素であるとする。画素補正量取得部３４５は、輝度補正量Ｐｘｙを取得しようとする画素の周囲に位置する複数の代表画素を特定する。画素補正量取得部３４５は、特定した複数の代表画素が属する各ブロックの輝度補正量Ｙａｂを補間することによって、その画素の輝度補正量Ｐｘｙを取得する。

また、本実施の形態では、各画素の輝度補正量Ｐｘｙを取得するための補間の方法として、線形補間を採用する。線形補間を採用することで、処理を簡易にすることができるが、補間の方法は、線形補間に限られず、非線形の各種の補間方法が採用されてもよい。

画素補正部３４６は、複数の処理対象画像内の各画素の輝度補正量Ｐｘｙに基づいて、複数の処理対象画像内の各画素の輝度を補正する。複数の処理対象画像内の各画素の輝度補正量Ｐｘｙは、画素補正量取得部３４５によって取得された各画素の輝度補正量Ｐｘｙである。

これまで、本発明の実施の形態３に係る画像処理システムの構成について、説明した。ここから、本実施の形態に係る画像処理システムの動作について説明する。

本実施の形態においても、実施の形態２と同様の撮像処理が実行される。本実施の形態に係る画像処理は、実施の形態２と同様に、画像処理装置としての端末装置により実行される。しかし、本実施の形態に係る画像処理に含まれる処理の構成が、実施の形態２に係る画像処理と異なる。

詳細には、本実施の形態に係る画像処理では、図１５に示すように、実施の形態２に係る画像処理に含まれる各処理（ステップＳ１２１〜Ｓ１２４，ステップＳ２２７〜Ｓ２２９，ステップＳ２２５及びステップＳ１２６）のうちのステップＳ２２５の処理に代えて、ステップＳ３３０〜Ｓ３３１の処理が実行される。

本実施の形態では、奇数ページに対応する処理対象画像に対して、画像処理が実行される例により説明する。なお、偶数ページに対応する処理対象画像に対しても、奇数ページに対応する処理対象画像と同様に画像処理が実行されるとよい。

画素補正量取得部３４５は、複数の処理対象画像の各々について、隣接する４つのブロックの各々の代表画素Ｒが属する各ブロックの輝度補正量Ｙａｂを補間することによって、代表画素Ｒを頂点とする四角形内の各画素の輝度補正量Ｐｘｙを取得する。画素補正量取得部３４５は、このような処理を、すべての処理対象画像内で隣接する４つのブロックのすべての組合せについて繰り返すことによって、すべての処理対象画像内の各画素の輝度補正量Ｐｘｙを取得する（ステップＳ３３０）。

ここで、図１６に示すように、横方向に１番、かつ、縦方向に１番のブロック内の左上の領域に属する画素ＰＰの輝度補正量Ｐｘｙを取得する例を説明する。画素ＰＰの周囲に位置する代表画素Ｒ＿００，Ｒ＿０１，Ｒ＿１０，Ｒ＿１１のそれぞれが属する各ブロックの輝度補正量が、Ｙ００，Ｙ０１，Ｙ１０，Ｙ１１であるとする。

また、Ｒ＿００とＲ＿１０との横方向の長さと、Ｒ＿０１とＲ＿１１との横方向の長さとは、いずれも、Ｇｘ画素分であるとする。Ｒ＿００とＲ＿０１との縦方向の長さと、Ｒ＿１０とＲ＿１１との縦方向の長さとは、いずれも、Ｇｙ画素分であるとする。

さらに、Ｒ＿００とＲ＿０１とを接続する直線から画素ＰＰまでの横方向の距離が、ｄｘ画素分であるとする。Ｒ＿００とＲ＿１０とを接続する直線から画素ＰＰまでの縦方向の距離が、ｄｙ画素分であるとする。

この場合、画素ＰＰの輝度補正量Ｐｘｙは、Ｃ＿ｙ０×（１−ｄｙ／Ｇｙ）＋Ｃ＿ｙ１×（ｄｙ／Ｇｙ）の演算により取得される。ここで、Ｃ＿ｙ０＝Ｙ００×（１−ｄｘ／Ｇｘ）＋Ｙ１０×（ｄｘ／Ｇｘ）、Ｃ＿ｙ１＝Ｙ０１×（１−ｄｘ／Ｇｘ）＋Ｙ１１×（ｄｘ／Ｇｘ）とする。

画素補正部３４６は、ステップＳ３３０にて取得された各画素の輝度補正量Ｐｘｙを、対応する画素の輝度に適用することによって、処理対象画像内の各画素の輝度を補正する（ステップＳ３３１）。詳細には、画素補正部３４６は、ステップＳ３３０にて取得された各画素の輝度補正量Ｐｘｙを、対応する画素の輝度に加算する。これによって、すべての処理対象画像内の各画素の輝度を補正する。

以上、本発明の実施の形態３について説明した。

本実施の形態によれば、実施の形態２と同様の効果を奏する。

また、本実施の形態によれば、各ブロックの輝度補正量Ｙａｂに基づいて、各画素の輝度補正量Ｐｘｙを取得する。そのため、隣接するブロックの境界を目立たないように、滑らかに補間することができる。従って、高品質な画像を得ることが可能になる。

本実施の形態は、以下のように変形されてもよい。

本実施の形態では、各ブロックの輝度補正量Ｙａｂに基づいて、各画素の輝度補正量Ｐｘｙを取得することを実施の形態２に適用する例を説明した。各ブロックの輝度補正量Ｙａｂに基づいて、各画素の輝度補正量Ｐｘｙを取得することは、実施の形態１に適用されてもよい。

この場合、例えば、第１画像の各ブロックの輝度補正量Ｙａｂ＿１に基づいて、実施の形態３と同様の補間によって、各画素の輝度補正量Ｐｘｙが取得されるとよい。そして、各画素の輝度補正量Ｐｘｙが、処理対象画像の各々の対応する各画素に適用されるとよい。すなわち、処理対象画像の各々の画素の輝度に、対応する輝度補正量Ｐｘｙが加算されるとよい。これによっても、隣接するブロックの境界を目立たないように、滑らかに補間することができるので、高品質な画像を得ることが可能になる。

（実施の形態４）
実施の形態２では、第１画像及び第２画像がユーザの指示に従って選択される例により説明した。本実施の形態では、第１画像及び第２画像が、端末装置により選択される例を説明する。なお、本実施の形態において、第１画像を選択することは、実施の形態１に適用されてもよい。

本実施の形態に係る画像処理装置は、図１７に機能的な構成を示すように、実施の形態２に係る画像処理装置が備えるシェーディング補正部２３４に代えて、シェーディング補正部４３４を備える。この点を除いて、本実施の形態に係る画像処理システムは、実施の形態２に係る画像処理システムと概ね同様に構成される。

シェーディング補正部４３４は、実施の形態２に係るシェーディング補正部２３４の構成に加えて、複数の処理対象画像から第１画像を選択する第１画像選択部４４７と、複数の処理対象画像から第２画像を選択する第２画像選択部４４８とを有する。この点を除いて、本実施の形態に係るシェーディング補正部４３４は、実施の形態２に係るシェーディング補正部２３４と概ね同様に構成される。

第１画像選択部４４７は、処理対象画像ごとの予め定められた色を示す画素の数に基づいて、予め定められた数の処理対象画像を第１画像として選択する。詳細には、第１画像選択部４４７は、処理対象画像ごとの予め定められた色を示す画素の数に基づいて、撮像する時に開かれていたページＰが本Ｂの表紙に近いものから順に予め定められた数の処理対象画像を第１画像として選択する。

第２画像選択部４４８は、処理対象画像ごとの予め定められた色を示す画素の数に基づいて、予め定められた数の処理対象画像を第２画像として選択する。詳細には、第２画像選択部４４８は、処理対象画像ごとの予め定められた色を示す画素の数に基づいて、撮像する時に開かれていたページＰが本Ｂの裏表紙に近いものから順に予め定められた数の処理対象画像を第２画像として選択する。

本実施の形態では、背景となる紙に対応する色としての白色と文字の色としての黒色とが、予め定められた色に採用される。そして、予め定められた数には、１が採用される。これにより、白色の紙に文字のみが表された１つのページを第１画像と第２画像との各々に自動で選択することができる。

これまで、本発明の実施の形態４に係る画像処理システムの構成について、説明した。ここから、本実施の形態に係る画像処理システムの動作について説明する。

本実施の形態においても、実施の形態２と同様の撮像処理が実行される。本実施の形態に係る画像処理は、実施の形態２と同様に、画像処理装置としての端末装置により実行される。しかし、本実施の形態に係る画像処理に含まれる処理の構成が、実施の形態２に係る画像処理と異なる。

詳細には、本実施の形態に係る画像処理は、図１８に示すように、実施の形態２に係る画像処理に含まれるシェーディング補正処理（ステップＳ１１３）に代えて、シェーディング補正処理（ステップＳ４１３）を含む。これを除いて、本実施の形態に係る画像処理は、実施の形態２に係る画像処理と概ね同様である。

本実施の形態では、奇数ページに対応する処理対象画像に対して、画像処理が実行される例により説明する。なお、偶数ページに対応する処理対象画像に対しても、奇数ページに対応する処理対象画像と同様に画像処理が実行されるとよい。

本実施の形態に係るシェーディング補正処理（ステップＳ４１３）では、図１９Ａに示すように、ステップＳ１２１〜Ｓ１２２の処理が実行される。

続けて、第１画像選択部４４７は、第１画像を選択する（ステップＳ４３２）。

詳細には、図２０に示すように、第１画像選択部４４７は、変数ｕに１を設定する（ステップＳ４４１）。ここで、ｕは、１〜Ｎの整数である。

第１画像選択部４４７は、２ｕ−１ページ目に対応する処理対象画像を示す処理対象画像データ１３１＿２ｕ−１を取得する。これにより、第１画像選択部４４７は、２ｕ−１ページ目に対応する処理対象画像を取得する（ステップＳ４４２）。

第１画像選択部４４７は、２ｕ−１ページ目に対応する処理対象画像について、白色又は黒色を示す画素を計数する（ステップＳ４４３）。

ここで、白色であるか否かは、例えば、ＲＧＢの各成分の画素値とその平均値との差が予め定められた範囲内にあり、かつ、輝度が予め定められた値よりも大きいか否かによって判断されるとよい。黒色であるか否かは、例えば、ＲＧＢの各成分の画素値とその平均値との差が予め定められた範囲内にあり、かつ、輝度が予め定められた値よりも小さいか否かによって判断されるとよい。

第１画像選択部４４７は、ステップＳ４４３にて計数した画素数が、予め定められた閾値以上であるか否かを判断する（ステップＳ４４４）。

計数した画素数が閾値以上であると判断した場合（ステップＳ４４４；Ｙｅｓ）、第１画像選択部４４７は、２ｕ−１ページ目に対応する処理対象画像を第１画像として選択する（ステップＳ４４５）。これにより、第１画像選択部４４７は、第１選択処理（ステップＳ４３２）を終了して、画像処理に戻る。

計数した画素数が閾値以上でないと判断した場合（ステップＳ４４４；Ｎｏ）、第１画像選択部４４７は、変数ｕに１を加算する（ステップＳ４４６）。

第１画像選択部４４７は、ステップＳ４４６にて１が加算された変数ｕがＮより大きいか否かを判断する（ステップＳ４４７）。

変数ｕがＮより大きくないと判断した場合（ステップＳ４４７；Ｎｏ）、第１画像選択部４４７は、ステップＳ４４２の処理に戻る。

変数ｕがＮより大きいと判断した場合（ステップＳ４４７；Ｙｅｓ）、処理対象画像に対応するページＰが裏表紙に到っているので、第１画像選択部４４７は、選択不可処理（ステップＳ４４８）を実行する。選択不可処理（ステップＳ４４８）では、例えば、第１画像に適した処理対象画像が選択できなかったことを示す第１選択不可フラグを設定する。そして、第１画像選択部４４７は、第１画像処理（ステップＳ４３２）を終了して、画像処理に戻る。

このような第１画像処理（ステップＳ４３２）を実行することによって、背景となる紙に文字のみが表されたページＰであって、本Ｂの表紙に最も近いものを自動的に選択することができる。

第１画像選択部４４７は、図１９Ａに示すように、第１選択不可フラグが設定されているか否かに基づいて、第１画像が選択できたか否かを判断する（ステップＳ４３３）。

第１選択不可フラグが設定されている場合、第１画像選択部４４７は、第１画像が選択できなかったと判断して（ステップＳ４３３；Ｎｏ）、シェーディング補正処理（ステップＳ４１３）を終了して、画像処理に戻る。

第１選択不可フラグが設定されていない場合、第１画像選択部４４７は、第１画像が選択できたと判断する（ステップＳ４３３；Ｙｅｓ）。この場合、第１補正量取得部１３９は、ステップＳ４３２にて選択された第１画像が分割された各ブロック内の画素の輝度を取得する（ステップＳ４２３）。ステップＳ４２３で実行される処理の詳細は、ステップＳ１２３と概ね同様である。

ステップＳ１２４の処理が実行されると、図１９Ｂに示すように、第２画像選択部４４８は、第２画像を選択する（ステップＳ４３４）。

詳細には、図２１に示すように、第２画像選択部４４８は、変数ｖにＮを設定する（ステップＳ４５１）。ここで、ｖは、１〜Ｎの整数である。

第２画像選択部４４８は、２ｖ−１ページ目に対応する処理対象画像を示す処理対象画像データ１３１＿２ｖ−１を取得する。これにより、第２画像選択部４４８は、２ｖ−１ページ目に対応する処理対象画像を取得する（ステップＳ４５２）。

第２画像選択部４４８は、２ｖ−１ページ目に対応する処理対象画像について、白色又は黒色を示す画素を計数する（ステップＳ４５３）。

ここで、白色であるか否かと色であるか否かとは、ステップＳ４４３と同様に判断されるとよい。

第２画像選択部４４８は、ステップＳ４５３にて計数した画素数が、予め定められた閾値以上であるか否かを判断する（ステップＳ４５４）。

計数した画素数が閾値以上であると判断した場合（ステップＳ４５４；Ｙｅｓ）、第２画像選択部４４８は、２ｖ−１ページ目に対応する処理対象画像を第２画像として選択する（ステップＳ４５５）。これにより、第２画像選択部４４８は、第２選択処理（ステップＳ４３４）を終了して、画像処理に戻る。

計数した画素数が閾値以上でないと判断した場合（ステップＳ４５４；Ｎｏ）、第２画像選択部４４８は、変数ｖから１を減算する（ステップＳ４５６）。

第２画像選択部４４８は、ステップＳ４５６にて１が減算された変数ｖが、ステップＳ４３２にて第１画像として選択された処理対象画像に対応するページＰが何ページ目であるかを表す変数ｕより大きいか否かを判断する。

変数ｖが変数ｕより大きいと判断した場合（ステップＳ４５７；Ｙｅｓ）、第２画像選択部４４８は、ステップＳ４５２の処理に戻る。

変数ｖが変数ｕより大きくないと判断した場合（ステップＳ４５７；Ｎｏ）、処理対象画像に対応するページＰが、第１画像よりも表紙に近くなるので、第２画像選択部４４８は、選択不可処理（ステップＳ４５８）を実行する。選択不可処理（ステップＳ４５８）では、例えば、第２画像に適した処理対象画像が選択できなかったことを示す第２選択不可フラグを設定する。そして、第２画像選択部４４８は、第２選択処理（ステップＳ４３４）を終了して、画像処理に戻る。

このような第２画像処理（ステップＳ４３４）を実行することによって、背景となる紙に文字のみが表されたページＰであって、本Ｂの表紙に最も近いものを自動的に選択することができる。

第２画像選択部４４８は、第２選択不可フラグが設定されているか否かに基づいて、第２画像が選択できたか否かを判断する（ステップＳ４３５）。

第２選択不可フラグが設定されている場合、第２画像選択部４４８は、第２画像が選択できなかったと判断して（ステップＳ４３５；Ｎｏ）、シェーディング補正処理（ステップＳ４１３）を終了して、画像処理に戻る。

第２選択不可フラグが設定されていない場合、第２画像選択部４４８は、第２画像が選択できたと判断する（ステップＳ４３５；Ｙｅｓ）。この場合、第２補正量取得部２４２は、ステップＳ４３４にて選択された第２画像が分割された各ブロック内の画素の輝度を取得する（ステップＳ４２７）。ステップＳ４２７で実行される処理の詳細は、ステップＳ２２７と概ね同様である。

続けて、ステップＳ２２８〜Ｓ２２９，Ｓ２２５及びＳ１２６の処理が、順に実行される。これにより、シェーディング補正処理（ステップＳ４１３）が終了し、画像処理が実行される。

以上、本発明の実施の形態４について説明した。

本実施の形態によれば、実施の形態２と同様に、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減することが可能になる。

また、本実施の形態によれば、実施の形態２と同様に、カラー写真、カラーの図などを含むページＰに対応する処理対象画像の輝度ムラを適切に補正することが可能になる。

さらに、本実施の形態では、第１画像及び第２画像が自動的に選択されるので、第１画像及び第２画像を指定するためのユーザの作業の手間を省きつつ、複数の処理対象画像の輝度ムラを適切に補正することができる。

本実施の形態は、以下のように変形されてもよい。

例えば、本実施の形態において、予め定められた数に、２以上が採用されてもよい。例えば、２以上の予め定められた数の処理対象画像が選択されるまで、第１画像選択処理（ステップＳ４３２）を繰り返すことで、複数の処理対象画像を第１画像として選択することができる。また例えば、２以上の予め定められた数の処理対象画像が選択されるまで、第２画像選択処理（ステップＳ４３４）を繰り返すことで、複数の処理対象画像を第２画像として選択することができる。

この場合、実施の形態１，２それぞれの変形例において第１画像と第２画像に、複数の処理対象画像のうちの２つ以上が選択される場合と同様に処理されるとよい。これにより、各変形例で説明したように、本Ｂを開いて撮像することによって得られた複数の処理対象画像の輝度ムラを補正するための処理負荷を軽減するとともに、より適切に輝度ムラを補正することが可能になる。

例えば、第１画像選択部４４７が、撮像する時に開かれていたページＰが本Ｂの裏表紙に近いものから順に予め定められた数の処理対象画像を第１画像として選択してもよい。また、第２画像選択部４４８が、撮像する時に開かれていたページＰが本Ｂの表紙に近いものから順に予め定められた数の処理対象画像を第２画像として選択してもよい。これにより、表紙及び裏表紙の一方に近いページに対応する処理対象画像を第１画像とし、表紙及び裏表紙の他方に近いページに対応する処理対象画像を第２画像とすることができる。その結果、処理対象画像に対応するページに従って次第に変化する輝度補正量Ｙａｂを取得することができる。従って、複数の処理対象画像の輝度ムラを適切に補正することが可能になる。

例えば、本実施の形態に係る第１画像選択部４４７は、実施の形態１に係る端末装置に組み込まれてもよい。また、本実施の形態に係る第１画像選択部４４７及び第２画像選択部４４８は、実施の形態３に係る端末装置に組み込まれてもよい。これらによっても、第１画像、又は、第１画像及び第２画像が自動的に選択されるので、第１画像及び第２画像を指定するためのユーザの作業の手間を省きつつ、複数の処理対象画像の輝度ムラを適切に補正することができる。

以上、本発明の実施の形態及び変形例について説明したが、本発明は、これらの実施の形態及び変形例に限られるものではない。各実施の形態及び各変形例が適宜組み合わされてもよい。さらに、以下のように変形されてもよい。

例えば、複数の処理対象画像の各々は、本Ｂ対象物の見開き２ページを撮像することによって得られた画像であってもよい。このように各実施の形態を変形しても、各実施の形態と同様の効果を奏する。

例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成される撮像装置及び画像処理装置のそれぞれが実行する撮像処理及び画像処理を行う中心となる部分は、専用のシステムであってもよいが、スマートホン、タブレット端末、パーソナルコンピュータなどを用いて実行可能である。例えば、撮像処理及び画像処理の一方又は両方をスマートホン、タブレット端末、パーソナルコンピュータなどに実行させるためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等）に格納して配布し、このコンピュータプログラムをインストールすることにより、撮像処理及び画像処理の一方又は両方を実行するスマートホン、タブレット端末、パーソナルコンピュータなどを構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置にコンピュータプログラムを格納しておき、このコンピュータプログラムをダウンロード等することで撮像処理及び画像処理の一方又は両方を実行するスマートホン、タブレット端末、パーソナルコンピュータなどを構成してもよい。

例えば、画像処理装置の機能を、ＯＳ（Operating System）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

例えば、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの第１輝度補正量を取得する第１補正量取得手段と、
前記各ブロックの第１輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する第１補正手段とを備える、
ことを特徴とする画像処理装置。
（付記２）
前記複数の処理対象画像のうちの第２画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの第２輝度補正量を取得する第２補正量取得手段をさらに備え、
前記第１補正手段は、
前記第１輝度補正量と前記第２輝度補正量とに基づいて、前記複数の処理対象画像の各々を分割した各ブロックの輝度補正量を取得するブロック補正量取得手段と、
前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する第２補正手段とを有する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記ブロック補正量取得手段は、前記複数の処理対象画像の間で対応する各ブロックについて、前記複数の処理対象画像の各々を得るために前記対象物の開かれていた箇所に応じて前記第１輝度補正量と前記第２輝度補正量とを補間することによって、前記各ブロックの輝度補正量を取得する、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記ブロック補正量取得手段は、前記第１輝度補正量と前記第２輝度補正量とを線形補間することによって、前記各ブロックの輝度補正量を取得する、
ことを特徴とする付記３に記載の画像処理装置。
（付記５）
前記第２補正手段は、
前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度補正量を取得する画素補正量取得手段と、
前記各画素の輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する画素補正手段とを有する、
ことを特徴とする付記２から４のいずれか１つに記載の画像処理装置。
（付記６）
前記画素補正量取得手段は、前記複数の処理対象画像の各々について、前記各ブロック内に予め定められた代表画素との位置関係に応じて各ブロックの輝度補正量を補間することによって、前記複数の処理対象画像内の各画素の輝度補正量を取得する、
ことを特徴とする付記５に記載の画像処理装置。
（付記７）
前記画素補正量取得手段は、各ブロックの輝度補正量を線形補間することによって、前記複数の処理対象画像内の各画素の輝度補正量を取得する、
ことを特徴とする付記６に記載の画像処理装置。
（付記８）
前記処理対象画像ごとの予め定められた色を示す画素の数に基づいて、予め定められた数の処理対象画像を前記第２画像として選択する第２画像選択手段をさらに備える、
ことを特徴とする付記２から７のいずれか１つに記載の画像処理装置。
（付記９）
前記第２画像選択手段は、前記処理対象画像ごとの前記予め定められた色を示す画素の数に基づいて、撮像する時に前記対象物の開かれていた箇所が当該対象物の表紙と背表紙とのいずれかに近いものから順に前記予め定められた数の処理対象画像を前記第２画像として選択する、
ことを特徴とする付記８に記載の画像処理装置。
（付記１０）
前記複数の処理対象画像のうちから前記第２画像として１つ又は複数の処理対象画像を選択する指示を受け付ける第２指示受付手段をさらに備える、
ことを特徴とする付記２から７のいずれか１つに記載の画像処理装置。
（付記１１）
前記処理対象画像ごとの予め定められた色を示す画素の数に基づいて、予め定められた数の処理対象画像を前記第１画像として選択する第１画像選択手段をさらに備える、
ことを特徴とする付記１から１０のいずれか１つに記載の画像処理装置。
（付記１２）
前記第１画像選択手段は、前記処理対象画像ごとの前記予め定められた色を示す画素の数に基づいて、撮像する時に前記対象物の開かれていた箇所が当該対象物の表紙と背表紙とのいずれかに近いものから順に前記予め定められた数の処理対象画像を前記第１画像として選択する、
ことを特徴とする付記１１に記載の画像処理装置。
（付記１３）
前記複数の処理対象画像のうちから前記第１画像として１つ又は複数の処理対象画像を選択する指示を受け付ける第１指示受付手段をさらに備える、
ことを特徴とする付記１から１０のいずれか１つに記載の画像処理装置。
（付記１４）
前記複数の処理対象画像の各々は、前記対象物の見開き２ページのうちのいずれか一方を順次撮像することによって得られた画像である、
ことを特徴とする付記１から１３のいずれか１つに記載の画像処理装置。
（付記１５）
前記複数の処理対象画像の各々は、前記対象物の見開き２ページを撮像することによって得られた画像である、
ことを特徴とする付記１から１３のいずれか１つに記載の画像処理装置。
（付記１６）
付記１から１５のいずれか１つに記載の画像処理装置と、
前記複数の処理対象画像の各々を撮像する撮像装置とを備える、
ことを特徴とする画像処理システム。
（付記１７）
前記対象物のページをめくるページめくり装置をさらに備え、
前記撮像装置は、前記ページめくり装置によって撮像の対象となるページが開かれると撮像する、
ことを特徴とする付記１６に記載の画像処理システム。
（付記１８）
複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの輝度補正量を取得するステップと、
前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正するステップとを含む、
ことを特徴とする画像処理方法。
（付記１９）
コンピュータを、
複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの輝度補正量を取得する取得手段、
前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する補正手段、
として機能させるためのプログラム。

１００…画像処理システム、１０１…ページめくり装置、１０２…端末装置、１０３…保持台、１０４…スタンド、１０５…収納ケース、Ｂ…本、Ｐ…ページ、Ｌ…照明、１０６…駆動軸、１０７…第１駆動部、１０８…アーム部、１０９…第２駆動部、１１０…吸着部、１１１…台座部、１１２…送風部、１１３…第１通信部、１１４〜１１６…モータドライバ、１１７…ＲＯＭ、１１８…ページめくり制御部、１１９…ＣＰＵ、１２０…ＲＡＭ、１２１…カメラ、１２２…第２通信部、１２３…ＲＯＭ、１２４…記憶部、１２５…撮像制御部、１２６…画像処理部、１２７…ＣＰＵ、１２８…ＲＡＭ、１２９…表示部、１３０…指示受付部、１３１…処理対象画像データ、１３２…歪み補正部、１３３…切り出し部、１３４，２３４，４３４…シェーディング補正部、１３５…画像効果補正部、１３６…結合部、１３７…画像取得部、１３８…分割部、１３９…第１補正量取得部、１４０，２４０…第１補正部、１４１…第１補正テーブル、２４２…第２補正量取得部、２４３…ブロック補正量取得部、２４４，３４４…第２補正部、３４５…画素補正量取得部、３４６…画素補正部、４４７…第１画像選択部、４４８…第２画像選択部

Claims (19)

1. 複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの第１輝度補正量を取得する第１補正量取得手段と、
   前記各ブロックの第１輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する第１補正手段とを備える
   ことを特徴とする画像処理装置。
2. 前記複数の処理対象画像のうちの第２画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの第２輝度補正量を取得する第２補正量取得手段をさらに備え、
   前記第１補正手段は、
   前記第１輝度補正量と前記第２輝度補正量とに基づいて、前記複数の処理対象画像の各々を分割した各ブロックの輝度補正量を取得するブロック補正量取得手段と、
   前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する第２補正手段とを有する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ブロック補正量取得手段は、前記複数の処理対象画像の間で対応する各ブロックについて、前記複数の処理対象画像の各々を得るために前記対象物の開かれていた箇所に応じて前記第１輝度補正量と前記第２輝度補正量とを補間することによって、前記各ブロックの輝度補正量を取得する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記ブロック補正量取得手段は、前記第１輝度補正量と前記第２輝度補正量とを線形補間することによって、前記各ブロックの輝度補正量を取得する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２補正手段は、
   前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度補正量を取得する画素補正量取得手段と、
   前記各画素の輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する画素補正手段とを有する
   ことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記画素補正量取得手段は、前記複数の処理対象画像の各々について、前記各ブロック内に予め定められた代表画素との位置関係に応じて各ブロックの輝度補正量を補間することによって、前記複数の処理対象画像内の各画素の輝度補正量を取得する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記画素補正量取得手段は、各ブロックの輝度補正量を線形補間することによって、前記複数の処理対象画像内の各画素の輝度補正量を取得する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記処理対象画像ごとの予め定められた色を示す画素の数に基づいて、予め定められた数の処理対象画像を前記第２画像として選択する第２画像選択手段をさらに備える
   ことを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
9. 前記第２画像選択手段は、前記処理対象画像ごとの前記予め定められた色を示す画素の数に基づいて、撮像する時に前記対象物の開かれていた箇所が当該対象物の表紙と裏表紙とのいずれかに近いものから順に前記予め定められた数の処理対象画像を前記第２画像として選択する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記複数の処理対象画像のうちから前記第２画像として１つ又は複数の処理対象画像を選択する指示を受け付ける第２指示受付手段をさらに備える
    ことを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
11. 前記処理対象画像ごとの予め定められた色を示す画素の数に基づいて、予め定められた数の処理対象画像を前記第１画像として選択する第１画像選択手段をさらに備える
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記第１画像選択手段は、前記処理対象画像ごとの前記予め定められた色を示す画素の数に基づいて、撮像する時に前記対象物の開かれていた箇所が当該対象物の表紙と裏表紙とのいずれかに近いものから順に前記予め定められた数の処理対象画像を前記第１画像として選択する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記複数の処理対象画像のうちから前記第１画像として１つ又は複数の処理対象画像を選択する指示を受け付ける第１指示受付手段をさらに備える
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
14. 前記複数の処理対象画像の各々は、前記対象物の見開き２ページのうちのいずれか一方を順次撮像することによって得られた画像である
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記複数の処理対象画像の各々は、前記対象物の見開き２ページを撮像することによって得られた画像である
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
16. 請求項１から１５のいずれか１項に記載の画像処理装置と、
    前記複数の処理対象画像の各々を撮像する撮像装置とを備える
    ことを特徴とする画像処理システム。
17. 前記対象物のページをめくるページめくり装置をさらに備え、
    前記撮像装置は、前記ページめくり装置によって撮像の対象となるページが開かれると撮像する
    ことを特徴とする請求項１６に記載の画像処理システム。
18. 複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの輝度補正量を取得するステップと、
    前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正するステップとを含む
    ことを特徴とする画像処理方法。
19. コンピュータを、
    複数のシートが綴じ合わされた対象物を開いて撮像することによって得られた複数の処理対象画像のうちの第１画像を分割した各ブロック内の各画素の輝度に基づいて、当該各ブロックの輝度補正量を取得する取得手段、
    前記各ブロックの輝度補正量に基づいて、前記複数の処理対象画像内の各画素の輝度を補正する補正手段、
    として機能させるためのプログラム。

Images