JP6230001B2 - 画像補正装置、画像補正方法、及びプログラム - Google Patents

Description

本発明は、画像補正装置、画像補正方法、及びプログラムに関する。

従来より、本を裁断することなく、そのままの状態で頁を捲りながらカメラで撮影して電子化する技術が提案されている。本を自然な状態で開いて上部から撮影すると、本の頁の撓（たわ）みにより、画像中の文字列や図表が歪み、画像中の文字列や図表を読解することが難しい。

そこで、例えば、特許文献１では、本の上下の輪郭線に基づいて本の頁の曲面（歪み）を補正する画像処理技術が提案されている。また、特許文献２では、歪曲成分、基点、メッシュ、射影変換などを用いて本の頁の曲面（歪み）を補正する技術が提案されている。

特開２０１３−００４０８８号公報 特開２０１２−１７００４９号公報

近年、スマートフォンやタブレットなどのカメラ機能を持つ携帯情報端末が普及しており、本の頁を撮影した画像の湾曲を補正し、画像中の文字列や図表に歪みがない画像を生成する技術が望まれる。しかしながら、従来技術によるアルゴリズムでは、処理能力が低い携帯情報端末上で処理すると時間がかかってしまうという問題がある。

そこで本発明は、湾曲した紙面を撮像した画像をより短時間で湾曲補正することを目的とする。

この発明に係る画像補正装置は、画像内から頁の輪郭を抽出する抽出手段と、前記抽出手段により抽出された前記輪郭の四隅に基づいて前記画像の歪みを補正する輪郭補正手段と、前記輪郭補正手段により補正された前記画像を、補正必要領域と補正不要領域とに分割する領域分割手段と、前記領域分割手段により分割された前記補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割する分割手段と、前記分割手段によって分割された前記分割領域毎に、前記綴じ目方向の長さを補正する第１補正手段と、前記第１補正手段によって補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定する推定手段と、前記推定手段によって推定された前記撓み量に基づいて前記分割領域毎の前記横方向の長さを補正する第２補正手段と、前記第１補正手段及び前記第２補正手段によって補正されたｎ個の前記分割領域を合成するとともに、当該合成された領域と前記領域分割手段によって分割された前記補正不要領域とを合成して合成画像を取得する取得手段と、を備えることを特徴とする。

この発明に係る画像補正方法は、画像内から頁の輪郭を抽出するステップと、前記抽出された輪郭の四隅に基づいて前記画像の歪みを補正するステップと、前記歪みが補正された画像を、補正必要領域と補正不要領域とに分割するステップと、前記分割された補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割するステップと、前記ｎ個に分割された前記分割領域毎に、前記綴じ目方向の長さを補正するステップと、前記綴じ目方向の長さが補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定するステップと、前記推定された撓み量に基づいて前記分割領域毎の前記横方向の長さを補正するステップと、前記補正されたｎ個の分割領域を合成するとともに、当該合成された領域と前記分割された補正不要領域とを合成して合成画像を取得するステップと、を含むことを特徴とする。

この発明に係るプログラムは、画像補正装置を制御するコンピュータに、画像内から頁の輪郭を抽出する抽出機能、前記抽出機能により抽出された前記輪郭の四隅に基づいて前記画像の歪みを補正する輪郭補正機能、前記輪郭補正機能により補正された前記画像を、補正必要領域と補正不要領域とに分割する領域分割機能、前記領域分割機能により分割された前記補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割する分割機能、前記分割機能によって分割された前記分割領域毎に、前記綴じ目方向の長さを補正する第１補正機能、前記第１補正機能によって補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定する推定機能、前記推定機能によって推定された前記撓み量に基づいて前記分割領域毎の前記横方向の長さを補正する第２補正機能、前記第１補正機能及び前記第２補正機能によって補正されたｎ個の前記分割領域を合成するとともに、当該合成された領域と前記領域分割機能によって分割された前記補正不要領域とを合成して合成画像を取得する取得機能、を実現させることを特徴とする。

この発明によれば、湾曲した紙面を撮像した画像をより短時間で湾曲補正することができる。

本発明の実施形態による画像補正装置としての携帯情報端末１の構成を示すブロック図である。 本実施形態の携帯情報端末１による全体動作を説明するためのフローチャートである。 本実施形態による画像処理の動作を説明するためのフローチャートである。 本の頁を真上から撮影した場合の画像の例を示す模式図である。 本の頁を下側から斜め方向に撮影した場合の画像の例を示す模式図である。 本実施形態の湾曲補正を行う前の画像Ｇを示す概念図である。 本実施形態による台形補正後の画像Ｇ１を示す概念図である。 本実施形態による湾曲補正に先だって行う縦方向の分割処理について説明するための概念図である。 本実施形態による湾曲補正処理に先だって行う横方向の分割処理について説明するための概念図である。 台形補正後の輪郭Ｒ１及び画像Ｇ１と、台形補正後の四隅ｒ１、ｒ２、ｒ３、ｒ４からなる矩形輪郭Ｒ２とを示す説明図である。 本実施形態による縦方向補正処理で用いられる変換式を説明するための概念図である。 本実施形態による縦方向補正後の補正必要領域３０ａ、３０ｂと補正不要領域３１とに生じる不連続性を説明するための概念図である。 本実施形態による縦方向補正処理の動作を説明するためのフローチャートである。 台形補正後の輪郭Ｒ１及び画像Ｇ１と、台形補正後の四隅の目標点ｒ１’、ｒ２’、ｒ３’、ｒ４’からなる矩形輪郭Ｒ２とを示す説明図である。 本実施形態による横方向補正処理の動作を説明するためのフローチャートである。 本実施形態に係る分割領域における撓み量ｄ（ｚ）を示す説明図である。 本実施形態に係るｄｓ（ｉ）、ｄｚ（ｉ）及びｄｘ’（ｉ）の関係を示す概念図である。 本実施形態による横方向補正処理の動作を説明するための概念図である。 本実施形態において、頁の湾曲度合いによって変化する補正後の画像の例を示す概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態による画像補正装置としての携帯情報端末１の構成を示すブロック図である。図において、携帯情報端末１は、例えば、スマートフォンや、タブレット端末などからなる。携帯情報端末１は、通信部１０、撮像部１１、ＲＯＭ１２、ＲＡＭ１３、表示部１４、操作部（タッチパネル）１５、記録媒体１６、及びＣＰＵ１７を備えている。

通信部１０は、例えば、移動体通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は／及び無線ＬＡＮ（ＷｉＦｉ）を用いてインターネットなどのネットワークに接続する。撮像部１１は、光学レンズ群からなるレンズブロックと、ＣＣＤや、ＣＭＯＳなどの撮像素子からなり、レンズブロックから入った画像を撮像素子により撮像する。特に、本実施形態では、撮像部１１は、本の頁を撮像する。

ＲＯＭ１２は、後述するＣＰＵ１７により実行されるプログラムや動作等に必要とされる各種パラメータなどを記憶している。ＲＡＭ１３は、後述するＣＰＵ１７がプログラムを実行した際の一時的なデータや、各種アプリケーションプログラム、アプリケーションの実行に必要な各種パラメータなどのデータを記憶する。特に、本実施形態では、ＲＡＭ１３には、撮像した画像並びに補正した補正画像等が記憶される。

表示部１４は、液晶表示器や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示器などからなり、特定の機能やアプリケーションなどに紐付けられているアイコンや、アプリケーション画面、各種のメニュー画面などを表示する。操作部（タッチパネル）１５は、指やスタイラス（ペン）などの直接接触、あるいは、近接を検出する。なお、操作部（タッチパネル）１５には、電源ボタンや音量ボタンなどの機械的なスイッチ類が含まれてもよい。また、本実施形態では、操作部（タッチパネル）１５から、撮像した画像の曲面（歪み）を補正する際のパラメータが入力される。

記録媒体１６は、撮像された画像データなどの各種データを保存する。ＣＰＵ１７は、上述したＲＯＭ１２に記憶されているプログラムを実行することで各部の動作を制御する。特に、本実施形態では、ＣＰＵ１７は、画像処理プログラムを実行することにより、撮像した画像に対して湾曲補正を実行する。

本実施形態は、撮像部１１、あるいは他の撮像機能を有する機器で撮像された本又は冊子（今後は本と省略する）の画像の曲面（歪み）を部分的に湾曲補正する画像処理技術である。本実施形態では、撮影された１つの本の画像の中心部や、綴じ部から離れた部分には歪みが少ないという特徴を生かし、同一画像（１つの本の画像）内で湾曲補正が必要な領域（補正必要領域）と不必要な領域（補正不要領域）に分割し、補正必要領域に対して湾曲補正を加えた後に、再び、補正必要領域と補正不要領域とをつなぎ合わせる。これにより湾曲補正すべき対象となる画素数が減り、画像処理速度を上げることができる。

また、本実施形態では、補正必要領域と補正不要領域とを違和感なくつなげるために、すなわち、湾曲補正後に、補正必要領域と補正不要領域とをつなぎ合わせたとき、画像のズレが生じないよう、補正必要領域と補正不要領域との境界近傍に対する湾曲補正の効果を抑えるべく、湾曲補正処理において、重み係数を乗算することで、境界近傍では補正の度合いが比較的小さくなるようにしている。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図２は、本実施形態の携帯情報端末１による全体動作を説明するためのフローチャートである。携帯情報端末１において、ＣＰＵ１７は、まず、本の画像を記録媒体１６からＲＡＭ１３に格納し、操作部（タッチパネル）１５から湾曲補正のためのパラメータを入力するか、又は別アルゴリズムによって湾曲補正のためのパラメータを自動的に導出する（ステップＳ１０）。次に、ＣＰＵ１７は、上記パラメータに基づいて、湾曲補正のための画像処理を行う（ステップＳ１２）。なお、湾曲補正のための画像処理の詳細については後述する。

画像処理が終了すると、ＣＰＵ１７は、画像処理した画像、すなわちパラメータに基づいて湾曲補正を施した本の画像を表示部１４に出力する（ステップＳ１４）。ＣＰＵ１７は、処理画像が所定の条件を満たしているか否かを判断する（ステップＳ１６）。

本実施形態では、ユーザが表示部１４に表示された湾曲補正を施した画像を確認して、十分な湾曲補正が行われたか、あるいは湾曲補正の程度が強すぎたか、弱すぎたかを判断し、操作部（タッチパネル）１５から指示する。しかしながら、これに限らず、ＣＰＵ１７が、湾曲補正後の画像の歪みが許容範囲内であるかを判断するようにしてもよい。

処理画像が所定の条件を満たしていない場合には（ステップＳ１６のＮＯ）、ユーザによって、操作部（タッチパネル）１５から湾曲補正の程度を強くしたり、弱くしたりするための湾曲補正のパラメータを入力させる（ステップＳ１８）。ＣＰＵ１７が所定の条件を満たしているか否かを判断する場合には、ＣＰＵ１７が再度、異なる条件で湾曲補正を実行するためのパラメータを設定する。

いずれの場合も、湾曲補正のパラメータが再設定されると、ＣＰＵ１７は、ステップＳ１２に戻り、上述した湾曲補正のための画像処理を行った後、湾曲補正を施した本の画像を表示部１４に出力することを繰り返す。この処理は、湾曲補正後の画像の歪みが許容範囲内なるまで、すなわち、十分な湾曲補正が行われたと判断されるまで繰り返し実行される。

一方、処理画像が所定の条件を満たした場合には（ステップＳ１６のＹＥＳ）、ＣＰＵ１７は、湾曲補正後の画像を記録媒体１６に出力する（ステップＳ２０）。次に、ＣＰＵ１７は、処理すべき他の画像があるか否かを判断する（ステップＳ２２）。

そして、処理すべき他の画像がある場合には（ステップＳ２２のＹＥＳ）、ステップＳ１０に戻り、次の画像に対して上述した処理を繰り返す。一方、処理すべき他の画像がない場合には（ステップＳ２２のＮＯ）、当該処理を終了する。

なお、上述した処理において、連続処理や速度向上のため、ステップＳ１６の判断処理をスキップするようにしてもよい。

図３は、本実施形態による画像処理の動作を説明するためのフローチャートである。また、図４は、本の頁を真上から撮影した場合の画像の例を示す模式図である。また、図５は、本の頁を下側から斜め方向に撮影した場合の画像の例を示す模式図である。

ＣＰＵ１７は、まず、処理対象となる画像を記録媒体１６から読み込む（ステップＳ３０）。画像は、どのようなものでも良いが、紙面の真上の位置から垂直に撮影されたものが良い。図４に示すように、紙面の真上の位置から垂直に撮影された画像２０では、頁の中心付近の領域２１は、湾曲補正前と湾曲補正後に変化が少ないので、補正の不必要な領域となり得る。つまり、領域２１の部分は、縦方向の歪みも小さく、横方向も急激な変化がないので無視できる領域と言える。これに対して、図５に示すように、紙面に垂直にせず斜め下側から撮影された画像２２では、中心付近でも湾曲してしまい、湾曲補正が不必要な部分が少なくなってしまう。つまり、画像２２では、全ての領域において歪みがあり、全ての領域で湾曲補正が必要になってしまう。

また、キャリブレーションを行わない場合も、レンズから生じる歪みが広範囲にわたって発生しているので、湾曲補正の不必要な領域は小さくなる。よって、本実施形態の湾曲補正による効果を享受するためには、キャリブレーション済みの撮像手段（例えば、撮像部１１）で、図４に示すように、できるだけ紙面の中心真上から垂直に撮影することが望ましい。

次に、ＣＰＵ１７は、画像内の輪郭を周知の画像処理を用いて抽出する（ステップＳ３２）。図６は、本実施形態の湾曲補正を行う前の画像Ｇを示す概念図である。図６に示すように、画像Ｇの上側基準線ＳＢＵＬの両端の点ｒ１、ｒ４と下側基準線ＳＢＤＬの両端の点ｒ２、ｒ３を真直ぐな直線で結んだときの形状は台形状をしている。また、開いた本の紙面の歪み方は、綴じ部（線分ｒ１−ｒ２）を中心に一定の方向に歪んでおり、綴じ部（線分ｒ１−ｒ２）から等距離にある紙面はすべて同じ高さ方向に歪んでいる。

次に、ＣＰＵ１７は、画像Ｇの輪郭から四隅ｒ１、ｒ２、ｒ３、ｒ４の座標値を取得する（ステップＳ３４）。次に、ＣＰＵ１７は、取得した四隅ｒ１、ｒ２、ｒ３、ｒ４の座標値を基に、射影行列ＳＡを用いて、画像Ｇの輪郭に対して周知の台形補正（透視変換）を施す（ステップＳ３６）。なお、この台形補正おいては、画像Ｇの輪郭のみが台形補正されるのではなく、台形補正による輪郭の変形に追従して画像Ｇの画像全体（全ての画素）が補正される。

図７は、本実施形態による台形補正後の画像Ｇ１を示す概念図である。なお、図７では、図が見やすいように、４つの目標点ｒ１’、ｒ２’、ｒ３’、及びｒ４’を真直ぐな直線で結んで形成される四角形を正面向きに図示している。

射影行列ＳＡは、４つの基準点を４つの目標点に射影する行列であり、４つの基準点は、それぞれ画像Ｇの上側基準線ＳＢＵＬと下側基準線ＳＢＤＬの両端の点であったので、この射影行列ＳＡで射影された画像Ｇ１の補正後上側基準線ＳＢＵＬ’及び補正後下側基準線ＳＢＤＬ’の両端の点は、図７に示すように、４つの目標点ｒ１’、ｒ２’、ｒ３’、及びｒ４’に一致するようになっている。

また、４つの目標点は、本来あるべききれいな四角形の四隅の点として与えられているので、図７に示されるように、４つの目標点ｒ１’、ｒ２’、ｒ３’、及びｒ４’を真直ぐな直線で結んだ形状は、図６に示す台形状から、きれいな四角形（矩形状）に変換されているが、完全に歪みが除去されているわけではない。本実施形態における湾曲補正処理では、透視変換後（台形補正後）の画像に対して、縦方向の湾曲補正と横方向の湾曲補正の２つの処理を行うことで補正を行う。

次に、ＣＰＵ１７は、縦方向補正に対して、台形補正後の画像を補正必要領域３０ａ、３０ｂと補正不要領域３１とに分割する（ステップＳ３８）。

図８は、本実施形態による湾曲補正処理に先だって行う縦方向の分割処理について説明するための概念図である。図８に示すように、縦方向で歪みが多い領域は、一般的に画像の周縁部である。すなわち、上端と下端の領域が補正処理する領域であり、この領域を補正必要領域３０ａ、３０ｂとして抽出する。補正必要領域３０ａ、３０ｂ以外は、補正不要領域３１とする。したがって、画像は、２つの補正必要領域３０ａ、３０ｂの画像（上側と下側）と１つの補正不要領域３１の画像との計３つの画像に分割されることになる。

補正必要領域３０ａ、３０ｂの範囲の決定方法（分割する境界線ＢＬ１、ＢＬ２をどこにするか）は、ユーザが操作部（タッチパネル）１５から手動で指定するか、あるいは、予め決められた固定位置の境界線を用いるか、あるいは、基準の頁から任意の頁の境界線を導出して設定するなどの方法が考えられる。

次に、ＣＰＵ１７は、分割した補正必要領域３０ａ、３０ｂに対して縦方向の湾曲補正を行う（ステップＳ４０）。特に、本発明では、縦方向の湾曲補正に用いる演算式に境界線ＢＬ１、ＢＬ２からの距離に反比例する重み係数の項を乗算する。これにより、補正必要領域３０ａ、３０ｂと補正不要領域３１とを違和感なくつなぎ合わせることができる。なお、縦方向の湾曲補正処理の詳細については後述する。

次に、ＣＰＵ１７は、横方向補正に対して、台形補正後の画像を補正必要領域３２と補正不要領域３３とに分割する（ステップＳ４２）。

図９は、本実施形態による湾曲補正処理に先だって行う横方向の分割処理について説明するための概念図である。図９に示すように、横方向で歪みが多い部分は、一般的に本の中央の綴じ部近傍（図示の右端）である。それ以外の部分も横方向の補正は必要であるが、間隔の変化は緩やかなので、あまり目立たない。したがって、綴じ部近傍の補正必要領域３２とそれ以外の補正不要領域３３の２つの画像に分割する。

縦方向の分割と同様、分割領域の範囲の決定方法（分割する境界線ＢＬ３をどこにするか）については、ユーザが操作部（タッチパネル）１５から手動で決定するか、予め決められた固定位置のラインを用いるか、あるいは、基準頁から任意の頁の境界線ＢＬ３を導出するなどの方法が考えられるが特に限定はしない。

次に、ＣＰＵ１７は、分割した補正必要領域３２に対して横方向の湾曲補正を行う（ステップＳ４４）。特に、本発明では、縦方向の湾曲補正と同様に、横方向の湾曲補正に用いる演算式に境界線ＢＬ３からの距離に反比例する重み係数の項を乗算する。これにより、補正必要領域３２と補正不要領域３３とを違和感なくつなぎ合わせることができる。なお、横方向の湾曲補正処理の詳細については後述する。

次に、ＣＰＵ１７は、縦方向補正処理及び横方向補正処理が施されたｎ個の分割領域Ｕ１を合成し、全体の画像を作成する（ステップＳ４６）。具体的には、横方向補正処理によって補正された横方向の長さを累積加算することにより、高さ方向補正処理後のｎ個の分割領域Ｕ１を合成し、記録媒体１６に保存する。この合成処理によって、画素数に変化が起きる場合がある。その場合、縦横の幅を元の画像の幅と同様になるようリサイズして画素数を等しくする。また、生成後の画像のアスペクト比は、実物の紙面と等しいとは限らない。したがって、適宜、正しく、もしくは不自然な画像にはならないようにアスペクト比を調整する。その後、ＣＰＵ１７は、図２に示すステップＳ１４に戻る。

なお、本実施形態では、説明を簡単にするために補正完了時に分割した画像を結合するが、分割されたまま次の横方向の分割処理、湾曲補正処理をそれぞれの画像に施し、最後に全ての画像を結合する方法も考えられる。

図１０は、台形補正後の補正必要領域３０ａ（３０ｂ）の輪郭Ｒ１及び画像Ｇ１と、台形補正後の補正必要領域３０ａ（３０ｂ）の四隅の目標点ｒ１’、ｒ２’、ｒ３’、ｒ４’からなる矩形輪郭Ｒ２とを示す説明図である。図において、ｈ１は、矩形輪郭Ｒ２の高さであり、Ｈ１は、補正必要領域３０ａ（３０ｂ）の輪郭Ｒ１の高さである。台形補正後の補正必要領域３０ａ（３０ｂ）の輪郭Ｒ１及び画像Ｇ１においては、綴じ目方向（Ｙ方向）における湾曲は残ったままである。頁が湾曲していると頁の中央部分が撮像手段（カメラ）に近くなるため、頁の左右端部と比べて大きく撮影される。

例えば、画像Ｇ１の横方向の略中央付近で当該画像Ｇ１の上端から下端まで綴じ目方向に沿って延在する領域Ｕは、矩形輪郭Ｒ２よりも綴じ目方向に大きい（長い）。つまり、頁の綴じ目方向の長さは頁の横方向でばらつくことになる。これを均一化し矩形輪郭Ｒ２内に収めるべく、分割した縦方向の補正必要領域３０ａ（３０ｂ）に対して縦方向補正処理を実行する。

（縦方向の湾曲補正処理）
図１１は、本実施形態による縦方向補正処理で用いられる変換式を説明するための概念図である。図中Ｆは便宜上置かれた焦点である。Ａ’は台形補正後の補正必要領域３０ａ（３０ｂ）の輪郭Ｒ１における任意の領域Ｕの上点、Ｂ’は領域Ｕにおける任意の領域Ｕの下点、Ｐ’はＡ’−Ｂ’線上における任意の点、Ａは矩形輪郭Ｒ２内で領域Ｕに対応する部分の上点、Ｂは矩形輪郭Ｒ２内で領域Ｕに対応する部分の下点、ＰはＡ−Ｂ線上における点Ｐに対応する点を示している。また、括弧内には座標を示している。

この図１１から以下の関係が分かる。
ΔＡ’ＦＢ’∝ΔＡＦＢ
∴ＦＰ：ＦＰ’＝ｈ１：Ｈ１
ΔＡＦＰ∝ΔＡ’ＦＰ’
∴ＡＰ：Ａ’Ｐ’＝ｈ１：Ｈ１
∴ＡＰ＝（ｈ１／Ｈ１）・Ａ’Ｐ’
ここで、Ａ点のＹ座標値をｙａとし、Ｐ点のＹ座標値をｙｐとし、Ａ’点のＹ座標値をｙａ’とし、Ｐ’点のＹ座標値をｙｐ’とすると、
Ａ’Ｐ’＝ｙａ’−ｙｐ’
ＡＰ＝ｙａ−ｙｐ
となる。
∴ｙｐ＝ｈ１／Ｈ１＊（ｙｐ’−ｙａ’）＋ｙａ ・・・（１）

但し、この式（１）をそのまま補正必要領域３０ａ（３０ｂ）に適用することはできない。
図１２は、本実施形態による縦方向補正後の補正必要領域３０ａ（３０ｂ）と補正不要領域３１とに生じる不連続性を説明するための概念図である。分割した補正不要領域３１にも実際には湾曲が生じており、縦方向補正後、式（１）を適用した補正必要領域３０ａ（３０ｂ）と補正不要領域３１とを合成すると、図１２に示すように境界線ＢＬ１の付近で不連続になってしまう。

そこで、境界線ＢＬ１の付近では、変換率に抑制がかかり、境界線ＢＬ１から離れるに従って、式（１）と同様の変換率を持つような変換式にする。一例として、以下のような重みを含んだ変換式を挙げる。

ｙｐ＝（１−ｍ）＊｛ｈ１／Ｈ１＊（ｙｐ’−ｙａ’）＋ｙａ｝＋ｍ＊ｙｐ’ ・・・（２）
ｍ＝（１＋ｋ＊｜ｙｐ’−ｙｂｏｕｎｄ｜）＾−１ ・・・（３）

ここで、ｙｂｏｕｎｄは境界線ＢＬ１、ＢＬ２のｙ座標であり、ｋは０＜ｋである係数である。係数ｋは、頁の端で式（１）とほぼ同じ変換率になるように設定しなければならない。例えば、係数ｋが０に近い値だと、全域にわたって変換が抑制され、変換の効果がなくなってしまう。

変換領域の結合部とは反対側の境界をｙｃ、その平面に変換したときの座標をｙｃ’とすると、ｙｃは、数（１）、（２）どちらの式でも変わらない結果になればよい。
数（１）−数（２）より、
ｙｃ１−ｙｃ２＝ｈ１／Ｈ１＊（ｙｃ’−ｙａ’）＋ｙａ−（１−ｍ）＊｛ｈ１／Ｈ１＊（ｙｃ’−ｙａ’）＋ｙａ｝−ｍ＊ｙｃ’＝０ ・・・（４）

しかしながら、この式（４）では、係数ｋは不定になってしまう。そこで、右辺は０ではなく、１ピクセルよりも小さいという意味で、

ｈ１／Ｈ１＊（ｙｃ’−ｙａ’）＋ｙａ−（１−ｍ）＊｛ｈ１／Ｈ１＊（ｙｃ’−ｙａ’）＋ｙａ｝＋ｍ＊ｙｃ’＜１ ・・・（５）
とすると、係数ｋは、式（６）で示される。

ｋ＞｛Ｈ１／ｈ１＊（ｙｃ’−ｙａ’）−ｙｃ’＋ｙａ−１｝／｜ｙｃ’−ｙｂｏｕｎｄ｜ ・・・（６）

よって、式（６）の条件になる係数ｋを用いる。係数ｋの決め方は、係数ｋの下限値の２倍の量を用いたり、Ｈ１／ｈ１の導出の簡略化のために、Ｈ１／ｈ１を１．２（経験的な１画像の最大量）などの固定量としたりしてもよい。この係数ｋを用いて式（２）の変換式から変換行列を作り、縦方向の湾曲補正を実行する。

ここで導出した変換式は、あくまで一例であり、境界線ＢＬ１、ＢＬ２の近傍で補正が抑制され、離れるにつれ抑制項が減衰するような振る舞いを示すのなら、係数ｋをどのような値とするかは限定しない。

上述した式（２）によって任意の点Ｐの変換後のＰのＹ座標値を求めることができる。
実際には、矩形輪郭Ｒ２内のメッシュ内の各点の階調に、対応する輪郭Ｒ１の点における階調を当てはめていく補正を行う。

図１３は、本実施形態による縦方向補正処理の動作を説明するためのフローチャートである。ＣＰＵ１７は、矩形輪郭Ｒ２の綴じ目方向の長さｈ１を取得する（ステップＳ６０）。具体的には、台形補正後の補正必要領域３０ａ（３０ｂ）における輪郭Ｒ１の右側若しくは左側の上下の角部の間隔を長さｈ１とする。次に、ＣＰＵ１７は、台形補正後の補正必要領域３０ａ（３０ｂ）における輪郭Ｒ１を横方向にｎ分割し、各分割領域Ｕ１の横座標ｘ（ｉ）を設定する（ステップＳ６２）。

次に、ＣＰＵ１７は、ｉを１に設定し（ステップＳ６４）、補正必要領域３０ａ（３０ｂ）における輪郭Ｒ１を基にｘ（ｉ）での縦方向の長さＨ１を取得する（ステップＳ６６）。次に、ＣＰＵ１７は、分割領域Ｕ１間の境目のＰ’点に対応するＹ座標値（ｙｐ’）を、式（２）を用いて導出し、当該Ｐ’点の画像を変換する（ステップＳ６８）。

ＣＰＵ１７は、ｘ（ｉ）での綴じ目方向全ての点で変換処理が終わったか否かを判断する（ステップＳ７０）。そして、終わっていない場合には（ステップＳ７０のＮＯ）、ステップＳ６８に戻り、式（２）を用いた画像変換を繰り返す。

一方、終わっている場合には（ステップＳ７０のＹＥＳ）、ＣＰＵ１７は、ｉがｎ−１になったか否かを判断する（ステップＳ７２）。そして、ｉがｎ−１になっていない場合には（ステップＳ７２のＮＯ）、ＣＰＵ１７は、ｉ＝ｉ＋１とし（ステップＳ７４）、ステップＳ６６に戻り、上述した処理を繰り返す。これによって、補正必要領域３０ａ（３０ｂ）における、ｎ−１個ある分割領域Ｕ１間の境目の全てに対して縦方向補正が実行される。一方、ｉがｎ−１になった場合には（ステップＳ７２のＹＥＳ）、補正後の補正必要領域３０ａ、３０ｂと補正不要領域３１とを合成し（ステップＳ７６）、縦方向補正処理を終了する。その後、ＣＰＵ１７は、図３に示すステップＳ４２に戻る。

（横方向の湾曲補正処理）
図１４は、台形補正後の輪郭Ｒ１及び画像Ｇ１と、台形補正後の四隅の目標点ｒ１’、ｒ２’、ｒ３’、ｒ４’からなる矩形輪郭Ｒ２とを示す説明図である。台形補正後の輪郭Ｒ１及び画像Ｇ１においては、綴じ目方向の湾曲が残ったままであるので、図１４に示すように、湾曲Ｗ１を直線Ｌ１に戻す処理を行う必要がある。この際、横方向の場所によって補正量が変動するため、横方向補正を実行する。また、縦方向の湾曲補正と同様に、横方向の湾曲補正を行う場合にも、境界線ＢＬ３の付近で不連続面が発生するので、横方向の湾曲補正で用いる変換式にも重みを加える。

図１５は、本実施形態による横方向補正処理の動作を説明するためのフローチャートである。ＣＰＵ１７は、矩形輪郭Ｒ２の綴じ目方向の長さｈを取得する（ステップＳ８０）。次に、ＣＰＵ１７は、台形補正後の輪郭Ｒ１を横方向にｎ分割し、各分割領域Ｕ１の横座標ｘ（ｉ）を設定する（ステップＳ８２）。次に、ＣＰＵ１７は、ｉを１に設定し（ステップＳ８４）、ｘ（ｉ）での撓み量ｄｚ（ｉ）を推定する（ステップＳ８６）。

図１６は、分割領域Ｕ１における撓み量ｄ（ｚ）を示す説明図であり、図１６（ａ）は実際の頁の断面図、図１６（ｂ）は輪郭補正後の画像を示す正面図である。図１６（ａ）に示すように、実際の頁の法線方向（Ｚ方向）の撓み量ｄｚ（ｉ）は、厳密に言うとｉ番目の分割領域Ｕ１と、ｉ−１番目の分割領域Ｕ１とのＺ方向の差分によって求まる。

しかしながら、この導出には、撮像手段（カメラ）から紙面までの距離や、角度が必要であり、それらの測定が手間となる。ここで、分割領域Ｕ１の幅が微小であれば、ｉ番目の分割領域Ｕ１の綴じ目方向の長さＨ（ｉ）と、ｉ−１番目の分割領域Ｕ１の長さＨ（ｉ−１）との差分が撓み量ｄｚ（ｉ）と近似的に等しくなる。この関係性を用いて、分割領域Ｕ１の撓み量ｄｚ（ｉ）を推定する。
具体的には、式（７）により撓み量ｄｚ（ｉ）を推定する。
ｄｚ（ｉ）＝ｇ・｛Ｈ（ｉ）−Ｈ（ｉ−１）｝ ・・・（７）

なお、ここで、ｇは任意の係数である。この係数ｇを用いることで、横方向補正処理後の画像を横方向で調整することができる。ここで暫定的にｇ＝１で導出していく。

次に、ＣＰＵ１７は、実際の幅ｄｘ’（ｉ）を求める（ステップＳ８８）。
ｄｘ（ｉ）は、台形補正後のｉ番目の分割領域Ｕ１の幅である。
ｄｘ（ｉ）＝ｘ（ｉ）−ｘ（ｉ−１）＝｛ｘ（ｎ）−ｘ（０）｝／ｎ ・・・（８）

実際の幅ｄｘ’（ｉ）は、ｘ（ｉ）の高さｚ（ｉ）によって修正を受けている。ｚ（ｉ）が高い場合、Ｈが大きくなると同様に幅も大きくなっている。つまり、実際の幅ｄｘ’（ｉ）は小さい。この関係は以下の式（９）にまとめられる。
ｄｘ’（ｉ）＝ｈ／Ｈ（ｉ）・ｄｘ（ｉ） ・・・（９）

次に、ＣＰＵ１７は、ｄｓ（ｉ）を求める（ステップＳ９０）。
ｄｓ（ｉ）は、ｉ番目の分割領域Ｕ１における実際の頁の微小長さである。

図１７は、ｄｓ（ｉ）、ｄｚ（ｉ）及びｄｘ’（ｉ）の関係を示す概念図である。
図１７に示すように、ｄｓ（ｉ）は、ステップＳ８６で求めたＺ方向の長さｄｚ（ｉ）とステップＳ８８で求めたＸ方向の長さｄｘ’（ｉ）とを基にした三平方の定理によって導出される。
ｄｓ（ｉ）＝｛ｄｚ（ｉ）＾２＋ｄｘ’（ｉ）＾２｝＾１／２ ・・・（１０）

次に、ＣＰＵ１７は、ｉが境界線ＢＬ３の位置に達したか否かを判断する（ステップＳ９２）。そして、ｉが境界線ＢＬ３の位置に達していない場合には（ステップＳ９２のＮＯ）、ＣＰＵ１７は、ｉ＝ｉ＋１とし（ステップＳ９４）、ステップＳ８６に戻る。これによって、ｎ個ある分割領域Ｕ１の全てに対してｄｚ（ｉ）、ｄｘ’（ｉ）、及びｄｓ（ｉ）が求められる。

一方、ｉが境界線ＢＬ３の位置に達した場合には（ステップＳ９２のＹＥＳ）、ＣＰＵ１７は、実際の頁の横方向の長さＳを求める（ステップＳ９６）。具体的には、ｎ個ある分割領域Ｕ１の全てのｄｓ（ｉ）の総和を求めることで、実際の頁の横方向の長さＳが導出される。次に、ＣＰＵ１７は、ｉを再び１に設定する（ステップＳ９８）。

次に、ＣＰＵ１７は、１からｉ番目まで分割領域Ｕ１のｄｓ（ｉ）を求め、その累積値Ｓ（ｉ）を導出し（ステップＳ１００）、ｘ（ｉ）をｘ’（ｉ）に対応させて画像を変換する（ステップＳ１０２）。

ｉ番目の微小スリットの変換後の点をｘ’（ｉ）＝ｉ、変換前の点をｘ（ｉ）とし、基準曲線の長さをＳ、ｉ番目までの基準曲線の長さをＳ（ｉ）、矩形領域の横の長さをＤとして、変換式を予め導出しておいたＳとＳ（ｉ）から、
ｘ（ｉ）＝Ｄ＊Ｓ（ｉ）／Ｓ ・・・（１１）
とする。

図１８は、本実施形態による横方向補正処理の動作を説明するための概念図である。横方向の湾曲補正の場合には、図１８に示すように、縦方向の湾曲補正と同様の重みを与えることに加え、ｉのインクリメントを補正必要領域側からカウントしていく。すなわち、綴じ目が右側ならば、一般とは逆に右側から画像を走査する。これにより、境界線ＢＬ３において、ｉのカウントを終了することができ、処理時間を短縮することが可能になる。

以下が横方向の湾曲補正における変換式の一例である。
ｘ（ｉ）＝（１−ｍ）＊Ｄ＊Ｓ（ｉ）／Ｓ＋ｍ＊ｘ’（ｉ）・・・（１２）
ｍ＝（１−ｋ＊｜ｘ’（ｉ）−ｘｂｏｕｎｄ｜）＾−１ ・・・（１３）

ここで、ｘｂｏｕｎｄは境界線ＢＬ３のｘ座標であり、ｋは０＜ｋである定数である。ｋの値については、前述した式（６）の条件を満たすものとする。このｋを用いて式（１２）の変換式から変換行列を作り、横方向の湾曲補正を実行する。これにより、合成処理において、補正必要領域３２と補正不要領域３３とを違和感なくつなぎ合わせることができる。

次に、ＣＰＵ１７は、ｘ（ｉ）での綴じ目方向全ての点で変換処理が終わったか否かを判断し（ステップＳ１０４）、終わっていない場合には（ステップＳ１０４のＮＯ）、ステップＳ１０２に戻り、上述した式（１２）、（１３）に従って、ｘ（ｉ）をｘ’（ｉ）に対応させた画像変換を繰り返す。

一方、変換処理が終わった場合には（ステップＳ１０４のＹＥＳ）、ＣＰＵ１７は、ｉが境界線ＢＬ３の位置に達したか否かを判断する（ステップＳ１０６）。そして、ｉが境界線ＢＬ３の位置に達していない場合には（ステップＳ１０６のＮＯ）、ｉ＝ｉ＋１とし（ステップＳ１０８）、ステップＳ１００に戻り、上述した処理を繰り返す。これによって、補正必要領域３２における、ｎ個ある分割領域Ｕ１の全てに対して横方向補正が実行される。一方、ｉが境界線ＢＬ３の位置に達した場合には（ステップＳ１０６のＹＥＳ）、補正後の補正必要領域３２と補正不要領域３３とを合成し（ステップＳ１１０）、当該横方向補正処理を終了する。その後、ＣＰＵ１７は、図３に示すステップＳ４６に戻る。

また、本実施形態では、横方向補正処理におけるｄｚ（ｉ）を求める際に、式（６）に対して係数ｇ（暫定的にｇ＝１）を用いている。上記処理により、各分割領域Ｕ１の横方向の均一化が図られるものの、幅全体の長さの正確性に問題が生じる。例えば、図１９（ａ）では、湾曲度が小さい頁Ｐ１に対して補正を施した場合を示し、図１９（ｂ）では、図１９（ａ）の場合と同じ頁Ｐ１をより大きく湾曲させて補正を施した場合を示している。

図１９（ａ）、（ｂ）でも明らかなように、補正後の画像Ｑ１、Ｑ２は横方向の長さが異なることになる。これは実際の頁の幅が同じであっても、その湾曲度によってＨ（ｉ）とＨ（ｉ−１）との差分が大きく異なってしまうことに起因する。このばらつきを抑制するべく、係数ｇを考慮し、処理を行うことができる。

すなわち、実際は、頁のアスペクト比（例えば、規定の紙サイズ）が分かっているので、図３のステップＳ４６で合成された画像の横幅と頁のアスペクト比から求められる横幅との比が係数ｇに相当する。したがって、ステップＳ４６で合成された画像を、この比に対応して横方向に拡縮することにより、所望のアスペクト比で歪みのない画像を求めることができる。具体的には、補正後の画像が所定のサイズ（例えば規定の紙サイズ）になるように横方向に拡縮することが好ましい。
なお、本発明は上記実施形態に限らず適宜変更可能である。

上述した本実施形態によれば、本の画像の中で湾曲補正が必要な補正必要領域３０ａ、３０ｂ、３２と補正不必要な補正不要領域３１、３３とに分割し、補正必要領域３０ａ、３０ｂ、３２に対して縦方向補正及び横方向補正を行うようにしたので、湾曲した紙面を撮像した画像をより短時間で湾曲補正することができる。

また、上述した本実施形態によれば、補正必要領域３０ａ、３０ｂ、３２に対して縦方向補正及び横方向補正を行う際に、補正不要領域３１、３３との境界近傍では補正の度合いを比較的小さくなるようにしたので、補正後の補正必要領域３０ａ、３０ｂ、３２と補正不要領域３１、３３とを違和感なく合成することができる。

また、上述した本実施形態によれば、補正必要領域３０ａ、３０ｂ、３２と補正不要領域３１、３３とに分割するための境界をユーザの指示操作に従って設定するようにしたので、画像毎に湾曲程度に応じた湾曲補正を実行することができる。

また、上述した本実施形態によれば、補正必要領域３０ａ、３０ｂ、３２と補正不要領域３１、３３とを、予め決められた分割範囲に基づいて設定するようにしたので、より容易に補正必要領域３０ａ、３０ｂ、３２と補正不要領域３１、３３とを分割することができる。

７
また、上述した本実施形態によれば、補正必要領域３０ａ、３０ｂ、３２と補正不要領域３１、３３とを、基準の画像の分割範囲に基づいて導出するようにしたので、より容易に補正必要領域３０ａ、３０ｂ、３２と補正不要領域３１、３３とを分割することができる。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、画像内から頁の輪郭を抽出する抽出手段と、前記抽出手段により抽出された前記輪郭の四隅に基づいて前記画像の歪みを補正する輪郭補正手段と、前記輪郭補正手段により補正された前記画像を、補正必要領域と補正不要領域とに分割する領域分割手段と、前記領域分割手段により分割された前記補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割する分割手段と、前記分割手段によって分割された前記分割領域毎に、前記綴じ目方向の長さを補正する第１補正手段と、前記第１補正手段によって補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定する推定手段と、前記推定手段によって推定された前記撓み量に基づいて前記分割領域毎の前記横方向の長さを補正する第２補正手段と、前記第１補正手段及び前記第２補正手段によって補正されたｎ個の前記分割領域を合成するとともに、当該合成された領域と前記領域分割手段によって分割された前記補正不要領域とを合成して合成画像を取得する取得手段と、を備えることを特徴とする画像補正装置である。

（付記２）
付記２に記載の発明は、前記第１補正手段及び前記第２補正手段は、前記補正必要領域と前記補正不要領域との境界近傍において補正の度合いを調整する、ことを特徴とする付記１に記載の画像補正装置である。

（付記３）
付記３に記載の発明は、前記領域分割手段は、前記画像を、縦方向に上端部と中央部と下端部との３つの領域に分割し、前記上端部と前記下端部との領域を前記補正必要領域とし、前記中央部を前記補正不要領域とする、ことを特徴とする付記１又は２に記載の画像補正装置である。

（付記４）
付記４に記載の発明は、前記領域分割手段は、前記画像を、横方向に頁の綴じ部近傍とそれ以外の２つの領域に分割し、前記綴じ部近傍の領域を前記補正必要領域とし、前記それ以外の領域を前記補正不要領域とする、ことを特徴とする付記１乃至３のいずれか一つに記載の画像補正装置である。

（付記５）
付記５に記載の発明は、前記領域分割手段によって分割される前記補正必要領域と前記補正不要領域とを指定する指定手段を更に備える、ことを特徴とする付記１乃至４のいずれか一つに記載の画像補正装置である。

（付記６）
付記６に記載の発明は、前記領域分割手段によって分割される前記補正必要領域と前記補正不要領域とを、予め決められた分割範囲に基づいて設定する設定手段を更に備える、ことを特徴とする付記１乃至４のいずれか一つに記載の画像補正装置である。

（付記７）
付記７に記載の発明は、前記領域分割手段によって分割される前記補正必要領域と前記補正不要領域とを、基準の画像の分割範囲に基づいて導出する、ことを特徴とする付記１乃至４のいずれか一つに記載の画像補正装置である。

（付記８）
付記８に記載の発明は、画像内から頁の輪郭を抽出するステップと、前記抽出された輪郭の四隅に基づいて前記画像の歪みを補正するステップと、前記歪みが補正された画像を、補正必要領域と補正不要領域とに分割するステップと、前記分割された補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割するステップと、前記ｎ個に分割された前記分割領域毎に、前記綴じ目方向の長さを補正するステップと、前記綴じ目方向の長さが補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定するステップと、前記推定された撓み量に基づいて前記分割領域毎の前記横方向の長さを補正するステップと、前記補正されたｎ個の分割領域を合成するとともに、当該合成された領域と前記分割された補正不要領域とを合成して合成画像を取得するステップと、を含むことを特徴とする画像補正方法である。

（付記９）
付記９に記載の発明は、画像補正装置を制御するコンピュータに、画像内から頁の輪郭を抽出する抽出機能、前記抽出機能により抽出された前記輪郭の四隅に基づいて前記画像の歪みを補正する輪郭補正機能、前記輪郭補正機能により補正された前記画像を、補正必要領域と補正不要領域とに分割する領域分割機能、前記領域分割機能により分割された前記補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割する分割機能、前記分割機能によって分割された前記分割領域毎に、前記綴じ目方向の長さを補正する第１補正機能、前記第１補正機能によって補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定する推定機能、前記推定機能によって推定された前記撓み量に基づいて前記分割領域毎の前記横方向の長さを補正する第２補正機能、前記第１補正機能及び前記第２補正機能によって補正されたｎ個の前記分割領域を合成するとともに、当該合成された領域と前記領域分割機能によって分割された前記補正不要領域とを合成して合成画像を取得する取得機能、を実現させることを特徴とするプログラムである。

１…携帯情報端末、１０…通信部、１１…撮像部、１２…ＲＯＭ、１３…ＲＡＭ、１４…表示部、１５…操作部（タッチパネル）、１６…記録媒体、１７…ＣＰＵ、３０ａ、３０ｂ、３２…補正必要領域、３１、３３…補正不要領域

Claims (9)

1. 画像内から頁の輪郭を抽出する抽出手段と、
   前記抽出手段により抽出された前記輪郭の四隅に基づいて前記画像の歪みを補正する輪郭補正手段と、
   前記輪郭補正手段により補正された前記画像を、補正必要領域と補正不要領域とに分割する領域分割手段と、
   前記領域分割手段により分割された前記補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割する分割手段と、
   前記分割手段によって分割された前記分割領域毎に、前記綴じ目方向の長さを補正する第１補正手段と、
   前記第１補正手段によって補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定する推定手段と、
   前記推定手段によって推定された前記撓み量に基づいて前記分割領域毎の前記横方向の長さを補正する第２補正手段と、
   前記第１補正手段及び前記第２補正手段によって補正されたｎ個の前記分割領域を合成するとともに、当該合成された領域と前記領域分割手段によって分割された前記補正不要領域とを合成して合成画像を取得する取得手段と、
   を備えることを特徴とする画像補正装置。
2. 前記第１補正手段及び前記第２補正手段は、
   前記補正必要領域と前記補正不要領域との境界近傍において補正の度合いを調整する、
   ことを特徴とする請求項１に記載の画像補正装置。
3. 前記領域分割手段は、
   前記画像を、縦方向に上端部と中央部と下端部との３つの領域に分割し、前記上端部と前記下端部との領域を前記補正必要領域とし、前記中央部を前記補正不要領域とする、
   ことを特徴とする請求項１又は２に記載の画像補正装置。
4. 前記領域分割手段は、
   前記画像を、横方向に頁の綴じ部近傍とそれ以外の２つの領域に分割し、前記綴じ部近傍の領域を前記補正必要領域とし、前記それ以外の領域を前記補正不要領域とする、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の画像補正装置。
5. 前記領域分割手段によって分割される前記補正必要領域と前記補正不要領域とを指定する指定手段を更に備える、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像補正装置。
6. 前記領域分割手段によって分割される前記補正必要領域と前記補正不要領域とを、予め決められた分割範囲に基づいて設定する設定手段を更に備える、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像補正装置。
7. 前記領域分割手段によって分割される前記補正必要領域と前記補正不要領域とを、基準の画像の分割範囲に基づいて導出する、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像補正装置。
8. 画像内から頁の輪郭を抽出するステップと、
   前記抽出された輪郭の四隅に基づいて前記画像の歪みを補正するステップと、
   前記歪みが補正された画像を、補正必要領域と補正不要領域とに分割するステップと、
   前記分割された補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割するステップと、
   前記ｎ個に分割された前記分割領域毎に、前記綴じ目方向の長さを補正するステップと、
   前記綴じ目方向の長さが補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定するステップと、
   前記推定された撓み量に基づいて前記分割領域毎の前記横方向の長さを補正するステップと、
   前記補正されたｎ個の分割領域を合成するとともに、当該合成された領域と前記分割された補正不要領域とを合成して合成画像を取得するステップと、
   を含むことを特徴とする画像補正方法。
9. 画像補正装置を制御するコンピュータに、
   画像内から頁の輪郭を抽出する抽出機能、
   前記抽出機能により抽出された前記輪郭の四隅に基づいて前記画像の歪みを補正する輪郭補正機能、
   前記輪郭補正機能により補正された前記画像を、補正必要領域と補正不要領域とに分割する領域分割機能、
   前記領域分割機能により分割された前記補正必要領域を、前記画像の上端から下端まで綴じ目方向に沿って延在する分割領域が前記綴じ目方向に直交する横方向にｎ個配列されるように分割する分割機能、
   前記分割機能によって分割された前記分割領域毎に、前記綴じ目方向の長さを補正する第１補正機能、
   前記第１補正機能によって補正された前記分割領域毎に、実際の頁における前記分割領域の法線方向の撓み量を推定する推定機能、
   前記推定機能によって推定された前記撓み量に基づいて前記分割領域毎の前記横方向の長さを補正する第２補正機能、
   前記第１補正機能及び前記第２補正機能によって補正されたｎ個の前記分割領域を合成するとともに、当該合成された領域と前記領域分割機能によって分割された前記補正不要領域とを合成して合成画像を取得する取得機能、
   を実現させることを特徴とするプログラム。
   
   

Images