JP6521481B2 - 画像補正装置、及び画像補正方法、プログラム - Google Patents

Description

本発明は、複数枚の紙が重なった状態の対象物を撮影した画像の歪みを補正する技術に関するものである。

従来、例えば下記特許文献１に記載されているように、書籍を見開き状態で上から撮像して得られた画像の歪を補正する場合に、左右のページ表面の輪郭を抽出し、この抽出した輪郭を手がかりに左右のページ表面の３次元曲面モデルを推定し、この推定した３次元曲面モデルに基づいて、画像の歪を補正する技術が知られている。

特開２００２−１５０２８０号公報

しかしながら、上記の技術においては、見開き状態の書籍を真上から撮影することが不可欠であり、それを斜め上方より撮影した場合には適切な補正を行うことはできなかった。これは、見開き状態の書籍を例えば下部（書籍で「地」の部分）側から斜めに撮影すると、撮影した画面には書籍の下部側の端面が左右のページ表面と連続して存在するためであり、特にページ数の多い（厚い）書籍の場合にあっては、それが顕著であった。

本発明は、かかる従来の課題に鑑みてなされたものであり、複数枚の紙が重なった状態の対象物を斜め上方より撮影した画像から、紙面の３次元空間における湾曲状態に起因する歪みが補正された良好な補正画像を得ることができる画像補正装置、及び画像補正方法、プログラムを提供することを目的とする。

前記課題を解決するため本発明の画像補正装置にあっては、複数枚の紙が重なった状態の対象物を前記対象物の所定の表面に対して傾斜した上方より撮影して得られた元画像から、前記対象物の撮影位置側の端面部分に相当する端面領域を除去する除去手段と、前記元画像から前記除去手段により前記端面領域を除去することにより得られた端面除去画像に基づいて、前記元画像から、前記所定の表面をなす紙面の撮影位置側の端縁形状を特定する特定手段と、前記特定手段により特定された端縁形状に基づいて前記元画像の歪みを補正する補正手段と、を備えたことを特徴とする。

本発明によれば、複数枚の紙が重なった状態の対象物を斜め上方より撮影した画像から、紙面の３次元空間における湾曲状態に起因する歪みが補正された良好な補正画像を得ることが可能となる。

本発明の実施形態として例示する画像補正装置の使用状態での側面図である。 装置本体の電気的構成の要部を示すブロック図である。 画像補正処理を示すフローチャートである。 画像補正処理において生成される画像の例を示す図である。 画像補正処理において生成される画像の例を示す図である。 切り出し画像のヒストグラムを示す図である。 （ａ）はカメラ座標系と画像座標系とワールド座標系との関係を示す図、（ｂ）はページ曲面を示す図である。

以下、本発明の実施形態について説明する。図１は、撮影画像の歪みを補正する画像補正機能を備えた本発明に係る画像補正装置１の外観図である。

画像補正装置１は、主としてヒンジ部（連結部）２ａを介して開閉可能な第１の筐体２ｂと第２の筐体２ｃとからなる筐体２と、第１の筐体２ｂに設けられた撮影機能を有する装置本体３とから構成される。

筐体２は、第１の筐体２ｂと第２の筐体２ｃとが図１に示した所定の角度で開いた使用状態に固定可能であり、係る使用状態においては第２の筐体２ｃが撮影対象となる任意の原稿を載置する原稿台として使用される。原稿としては、例えば図１に示したように見開き状態にある書籍Ｗや種々の書類、ノート等である。

装置本体３は、第２の筐体２ｃに載置された原稿を撮影するためのカメラ３ａを含む情報処理装置であり、例えば第１の筐体２ｂに着脱自在なタブレット型のコンピュータ等により構成される。

カメラ３ａは、筐体２が図１に示した使用状態にあるとき、第２の筐体２ｃ(原稿台)の表面に対して光軸Ｌが規定の角度となるよう装置本体３に設けられており、任意の原稿が撮影可能である。すなわち原稿の撮影時におけるカメラ３ａと原稿との間の撮影距離と撮影角度θは固定である。また、カメラ３ａは、第２の筐体２ｃの表面全域が撮影できる程度の画角を有している。

図２は、装置本体３の電気的構成の概略を示したブロック図である。カメラ３ａは、主として図示しない撮影光学系を介して被写体を撮像するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子と、撮像素子より得られた撮像信号を処理する画像処理エンジンから構成され、原稿を撮影した撮影画像データを制御部１１へ供給する。

制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに従い装置本体３の全体動作を制御する。制御部１１は、ＣＰＵ（Central Processing Unit）及びその周辺回路、メモリ等から構成されている。

記憶部１３は、例えばフラッシュメモリにより構成され、上記の各種のプログラムを記憶するプログラムメモリ１３ａ、前記撮影画像データを含む各種の情報を記憶するワークメモリ１３ｂを有している。なお、記憶部１３は、装置本体３に着脱自在な記録媒体でも構わない。

操作部１４は、図示しない電源キーを含む複数の操作スイッチから構成される。表示パネル１５ａは液晶ディスプレイであり、種々の画像情報や文字情報を表示する。

タッチパネル１５ｂは、ユーザーの指等でタッチ操作された位置を検知してその座標データを検出し、検出データを制御部１１へ供給する静電容量方式や抵抗膜方式等の入力ディバイスである。

通信部１６は、高速大容量の通信が可能な無線通信モジュールであり、最寄りの無線ＬＡＮ（Local Area Network）ルータ等を介してインターネットに接続したり、通信機能を備えたパーソナルコンピューター等の他の機器と間のデータ通信を行ったりする。

そして、以上の構成からなる画像補正装置１においては、ユーザーによりタッチパネル１５ｂの操作等によって、前記カメラ３ａにより撮影され前記記憶部１３に記憶されている撮影画像であって、前述した原稿の撮影画像が補正対象として選択されると、選択された撮影画像における歪み、すなわち画像内における原稿の表面の歪みを補正し、補正後の画像（以下、補正画像という）を前記記憶部１３に新たに記憶する。その際、画像補正装置１は、ユーザーにより原稿の種類を指定させ、指定された原稿の種類に応じた補正処理を行う。

図３は、ユーザーにより指定された原稿の種類が「見開き状態の書籍」である場合に、プログラムメモリ１３ａに格納されている所定のプログラムに基づき制御部１１が実行する本発明に係る画像補正処理を示したフローチャートである。

以下、制御部１１による画像補正処理を図３に示したフローチャートに従い、図４〜図７を参照して説明する。なお、以下の説明においては、処理対象となる撮影画像が、見開き状態の書籍Ｗが図１に示したように原稿台（第２の筐体２ｃ）の決められた箇所に上記書籍の天側、又は地側の端面をカメラ３ａ側に向けて載置された状態で撮影されたものであることを前提とする。

画像補正処理に際して制御部１１は、カメラ３ａによって撮影された撮影画像（元画像）のデータをワークメモリ１３ｂに読み込み（ステップＳ１）、その撮影画像を図４（ａ）に示したグレースケール画像Ｇ１に変換する（ステップＳ２）。

次に、制御部１１は、グレースケール画像Ｇ１にモルフォロジークローズ処理を行い、図４（ｂ）に示した画像内の文字部分が消えた状態、より具体的には文字部分が白抜き状態となったクローズ処理画像Ｇ２を取得する（ステップＳ３）。ここで、上記モルフォロジークローズ処理は、所定の構造化要素を入力画像に適用し、同じサイズの出力画像を作成する公知のモルフォロジー演算における膨張と収縮とを同じ回数分だけ順に行う処理であって、入力画像において小さい部分や細かい部分を取り除く処理である。

引き続き、制御部１１は、前記クローズ処理画像Ｇ２を判別分析法（いわゆる大津の二値化）によって２値化し、図４（ｃ）に示した第１の２値化画像Ｇ３を取得する（ステップＳ４）。

次に、制御部１１は、第１の２値化画像Ｇ３において面積が最大の領域、すなわち図４（ｃ）に示した背景部分を除く見開き状態の書籍に相当する書籍領域Ｇａを検出する（ステップＳ５）。

次に、制御部１１は、第１の２値化画像Ｇ３にモルフォロジー収縮処理を施すことによって、図４（ｄ）に示した端面除去領域Ｇｂを示す収縮処理画像Ｇ４を取得する（ステップＳ６）。上記端面除去領域Ｇｂは、左右のページ表面（紙面）、及びその両側部に連続する下側のページ側部の表面に相当する領域であって、複数ページの端縁が重なった書籍の地側の端面部分が除かれた特定領域である。

ここで、上記モルフォロジー収縮処理は、前述したモルフォロジー演算における収縮を行う処理であって、狭い地峡部分を分離し、細い部分を削り、内部の穴を拡大する処理である。また、上記モルフォロジー収縮処理で使用される所定の構造化要素は、上記端面除去領域Ｇｂを得ることを目的として予め決められたものである。

引き続き、制御部１１は、ステップＳ３で取得していた図４（ｂ）に示したクローズ処理画像Ｇ２において、上記端面除去領域Ｇｂに対応する領域を切り出し、図５（ａ）に示した切り出し画像Ｇ５を取得する（ステップＳ７）。

次に、制御部１１は、上記切り出し画像Ｇ５について、図６に示したような輝度のヒストグラムを取得し（ステップＳ８）、後述する２値化処理で使用する閾値を決定する（ステップＳ９）。

上記閾値の決定に際して制御部１１は、輝度値「０」から順にヒストグラムを積分していき、それがヒストグラム全体の面積（度数）と比較して所定の面積（度数）となる輝度値（図６で白抜き矢印で示した輝度値）を求め、その輝度値を閾値として決定する。なお、上記所定の面積（度数）は予め経験則に基づき決められたものであり、例えばヒストグラム全体の１％となる面積（度数）である。

次に、制御部１１は、ステップＳ９の処理で取得した閾値を用いて、ステップＳ１の処理で取得したグレースケール画像Ｇ１を２値化し、図５（ｂ）に示したような第２の２値化画像Ｇ６を取得する（ステップＳ１０）。

次に、制御部１１は、第２の２値化画像Ｇ６において輪郭抽出により領域境界を検出する（ステップＳ１１）。

さらに、制御部１１は、検出した境界で区画される複数領域から、面積が所定の面積よりも小さい領域（文字の領域等）を除外することにより、見開き状態の書籍における左右のページ表面に相当する紙面領域Ｇｃを示す図５（ｃ）に示したページ輪郭画像Ｇ７を取得する（ステップＳ１２）。つまり上記紙面領域を検出する。

引き続き、制御部１１は、以上の処理で取得したページ輪郭画像Ｇ７における左右のページの輪郭に基づき後述する処理によって撮影画像（元画像）を補正する。

以下の処理においては、図７（ａ）に示したように、座標系としてカメラ座標系［ｋ，ｌ，ｍ］、ワールド座標系［ｘ，ｙ，ｚ］、画像座標系［ｕ，ｖ］を定義する。ここで、ワールド座標の原点Ｏとｘ軸、ｙ軸は書籍が置かれている原稿台の表面（平面）Ｄ上にあるとし、原稿台の表面Ｄの法線方向をｚ軸、ページ表面の縦横の方向をｘ軸、ｙ軸方向とする。また、カメラ座標のｌ軸はカメラの上方向、ｍ軸はカメラの光軸方向とし、画像座標のｕ軸はｋ軸に平行、ｖ軸はｌ軸に平行である。

制御部１１は、まず、ページ表面の下端の輪郭として、ページ輪郭画像Ｇ７における左右のページの輪郭の一番下のライン、すなわち前述した紙面領域Ｇｃの撮影位置側の端辺である下端輪郭線Ｌ１を特定する（ステップＳ１３）。なお、図７（ａ）は、下端輪郭線Ｌ１を便宜的に示した図であって、左右のページの輪郭の一番下のラインの右側のページ部分に対応する、上記下端輪郭線Ｌ１の一部を示した図である。

次に、制御部１１は、下端輪郭線Ｌ１上に所定間隔でＮ個の基準点を設定し、各基準点の座標を［ｕ１，ｖ１］，・・・，［ｕＮ，ｖＮ］とし、それらを３次元のワールド座標［ｘ１，ｃ，ｚ１］，［ｘ２，ｃ，ｚ２］，・・・，［ｘＮ，ｃ，ｚＮ］に変換する（ステップＳ１４）。

ここで、ワールド座標［ｘ，ｙ，ｚ］とカメラ座標［ｋ，ｌ，ｍ］との関係は、回転行列Ｒと並進行列Ｔを用いて下記式（１）で表される。

上記回転行列Ｒは、ワールド座標系に対するカメラ３ａの姿勢、つまり書籍の撮影角度θに対応するカメラ３ａのｋ軸回りの回転状態を示すパラメータである。また、上記並進行列Ｔは、ワールド座標系に対するカメラ３ａの位置、つまり撮影距離を示すパラメータである。

また、カメラ座標系［ｋ，ｌ，ｍ］と、画像座標系［ｕ，ｖ］との関係は、下記式（２）で表される。

係ることから、ステップＳ１４の処理において制御部１１は、式（１）と式（２）とを用いて下端輪郭線Ｌ１上に複数（Ｎ個）の基準点を設定し、各基準点の座標［ｕ１，ｖ１］，・・・，［ｕＮ，ｖＮ］を、ワールド座標［ｘ１，ｃ，ｚ１］，［ｘ２，ｃ，ｚ２］，・・・，［ｘＮ，ｃ，ｚＮ］に変換する。ここで「ｃ」は、ページ下端のｙ座標であり、本実施形態において書籍は決められた位置に置かれることを前提とするため既知の値である。

次に、制御部１１は、変換した各基準点の座標［ｘ１，ｃ，ｚ１］，［ｘ２，ｃ，ｚ２］，・・・，［ｘＮ，ｃ，ｚＮ］のｘ座標、ｙ座標を、最小２乗法で下記のＭ次多項式（３）

にフィッティングする（ステップＳ１５）。

これにより画像座標系での下端輪郭線Ｌ１に対応するワールド座標系の曲線Ｌ２として、下端輪郭線Ｌ１の形状を正規化した滑らかな曲線が得られる。

一方、図７（ｂ）に示したように、左右のページの各々の湾曲した表面（以下、ページ曲面という）Ｓは、ワールド座標系で前記曲線Ｌ２をｙ軸方向に動かして得られる柱面であると考えることができ、それを前提とすればｙ軸方向の任意の位置についてｘ座標とｚ座標は同じ値を取ることとなる。なお、図７（ｂ）は、図７（ａ）と同様、上記ページ曲面Ｓを便宜的に示した図であって、右側のページ部分についてのページ曲面Ｓを示した図である。

したがって、制御部１１は、上記のＭ次多項式（３）から得られたワールド座標［Ｓｘ，Ｓｙ，ｇ（Ｓｘ）］をページ曲面Ｓの３次元形状を示す情報として取得する（ステップＳ１６）。つまり見開き状態の書籍Ｗの天地における左右のページ表面の端縁形状が同一であるとしてページ曲面Ｓの３次元形状を推定する。

次に、制御部１１は、上述したように推定したページ曲面Ｓ［Ｓｘ，Ｓｙ，ｇ（Ｓｘ）］をｚ軸に垂直な平面（原稿台の表面Ｄに平行な平面）に変形する（ステップＳ１７）。

具体的に説明すると、ｘが０からｘまでの曲線ｇ（ｘ）の長さｈ（ｘ）は、下記式（４）で得られる。

したがって、制御部１１は、ページ曲面Ｓ上の点［Ｓｘ，Ｓｙ，ｇ（Ｓｘ）］を、ｚ軸に垂直な平面上の点［ｈ（Ｓｘ），Ｓｙ，０］に移動することにより、ページ曲面Ｓを平面に変形する。

しかる後、制御部１１は、ページ曲面Ｓ上の各点に対応する撮影画像上の各点の画素値から、ページ曲面Ｓの各点の画素値を演算する平面への変換処理を行い、左右のページ表面の３次元空間における湾曲状態に起因する撮影画像の歪が補正された補正画像を生成する（ステップＳ１８）。

そして、制御部１１は、生成した補正画像、つまり左右のページの歪みが補正された補正画像をワークメモリ１３ｂに記憶し、補正処理を完了する。

なお、ワークメモリ１３ｂに記憶した補正画像のデータは、表示パネル１５ａに表示されたり、通信部１６を介してパーソナルコンピューター等の他の機器へ送信され、他の機器に保存されたりする。

以上説明した画像補正処理においては、撮影画像をグレースケール化したグレースケール画像Ｇ１から、複数ページの端縁が重なった書籍の地側の端面部分を除く特定領域（端面除去領域Ｇｂにより示される領域）を特定し、特定領域の輝度成分情報に基づいて左右のページ表面に相当する紙面領域Ｇｃを検出し、その撮影位置側の辺形状つまり下端輪郭線Ｌ１の形状を特定する。

そして、下端輪郭線Ｌ１をワールド座標系（３次元空間）の曲線Ｌ２に変換し、その形状に基づいて前記元画像の歪みを補正する。つまり、撮影画像から、左右のページ表面の撮影位置側の端縁形状を特定し、その形状に基づいて前記元画像の歪みを補正する。

そのため、撮影画像が見開き状態の書籍を斜めから撮影したものであって、撮影画像において書籍の下部側の端面が左右のページ表面と連続して存在していたとしても、前述したように左右のページ表面の３次元曲面モデル（ページ曲面Ｓ）を推定することができる。よって、見開き状態の書籍における左右のページ表面の３次元空間における湾曲状態に起因する歪みが補正された良好な補正画像を得ることができる。

しかも、前記ワールド座標系の曲線Ｌ２の形状を、撮影画像における画像座標系（２次元空間）における下端輪郭線Ｌ１の形状を正規化した滑らかな曲線とすることから、左右のページ表面の３次元曲面モデルとしてより正確な３次元曲面モデルを推定することができる。よって、撮影画像をより高い精度で補正することができる。

また、本実施形態においては、複数ページの端縁が重なった書籍の地側の端面部分を除く特定領域（端面除去領域Ｇｂ）の特定を、グレースケール画像Ｇ１にモルフォロジークローズ処理と２値化処理とモルフォロジー収縮処理とを順に施し収縮処理画像Ｇ４を生成することにより行う。これにより、複数ページの端縁が重なった書籍の地側の端面部分を除く特定領域として適切な領域を確実に特定することができる。

なお、書籍の地側の端面部分を除く特定領域の特定方法は任意であり、特定領域は上記とは異なる方法により特定することもできる。すなわちグレースケール画像Ｇ１に、モルフォロジークローズ処理を除いて、２値化処理とモルフォロジー収縮処理とを順に施すだけでも、処理後の画像として上記特定領域を示す画像が取得できる。したがって、係る画像から上記特定領域を特定するようにしてもよい。

また、書籍の地側の端面部分を除く特定領域の形状には書籍の大きさや厚みが異なっても一定の特徴が存在する。したがって、上記特定領域は、上記の特徴に基づいた公知の画像認識技術によって検出するようにしてもよい。

また、本実施形態においては、ページ輪郭画像Ｇ７で示される紙面領域Ｇｃの検出を、前述した端面除去領域Ｇｂ、すなわち文字部分が消失した状態にある特定領域の輝度のヒストグラムを生成し、当該ヒストグラムにおける低輝度側の累積度数の割合が所定割合に達する輝度を閾値として前記元画像を２値化することにより行う。

つまり元画像における左右のページ表面の検出を、左右のページ表面と書籍の地側の端面部分との輝度の違いに基づき２値化処理によって行うとともに、その際の閾値として、左右のページ表面の文字部分を除く地の部分における最も低い輝度に応じた輝度を使用する。

これにより、左右のページ表面に相当する紙面領域Ｇｃとしてより適切な領域を検出することができる。その結果、前述した左右のページ表面の３次元曲面モデル（ページ曲面Ｓ）をより正確に推定することができ、見開き状態の書籍における左右のページ表面の３次元空間における湾曲状態に起因する歪みがより正確に補正された良好な補正画像を得ることができる。

なお、左右のページ表面に相当する紙面領域Ｇｃの検出は、前述した端面除去領域Ｇｂ、すなわち文字部分が消失した状態にある特定領域ではなく、文字部分が消失していない状態にある特定領域の輝度成分情報に基づいて検出してもよい。その場合には、例えば上記特定領域のヒストグラムを作成し、文字部分の輝度値と判断できる所定の輝度値以上の輝度から順にヒストグラムを積分していき、それがヒストグラム全体の面積（度数）と比較して所定の面積（度数）となる輝度値を閾値として、元画像を２値化すれば、上記紙面領域Ｇｃを検出することができる。

さらに、元画像の２値化に使用する閾値は、前述した書籍の地側の端面部分を除く特定領域（文字部分が消失した状態、又は文字部分が消失していない状態）とは異なる領域の輝度成分情報に基づいて決定してもよい。すなわち上記閾値は、例えば図４（ｃ）に示した第１の２値化画像Ｇ３に示される書籍領域Ｇａのうちで、書籍の地側の端面部分が確実に除外できる規定の部分領域の輝度成分情報に基づいて決定してもよい。なお、その場合における規定の部分領域は、例えば書籍領域Ｇａを一定量縮退させた領域において書籍の天側の３分の２の面積を占める領域である。

また、以上の説明においては、主として元画像を所定の閾値を用いて２値化することによって左右のページ表面に相当する紙面領域Ｇｃを検出する場合について説明した。しかし、紙面領域Ｇｃを検出する方法は任意である。すなわち先に説明した書籍の地側の端面部分を除く特定領域と同様、紙面領域Ｇｃの形状には書籍の大きさや厚みが異なっても一定の特徴が存在する。したがって、上記紙面領域Ｇｃも、上記の特徴に基づいた公知の画像認識技術によって検出するようにしてもよい。

また、本実施形態においては、撮影対象が見開き状態の書籍である場合について説明したが、本発明における撮影対象は複数の紙が重なった状態のものであれば、書籍に限らずページ数が多いノート等であっても構わない。

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
複数枚の紙が重なった状態の対象物を斜め上方より撮影して得られた元画像から、前記対象物の上面をなす紙面の撮影位置側の端縁形状を特定する特定手段と、
前記特定手段により特定された端縁形状に基づいて前記元画像の歪みを補正する補正手段と、
を備えたことを特徴とする画像補正装置。
［請求項２］
前記補正手段は、前記対象物の撮影角度と前記元画像における２次元空間での前記端縁形状とに基づいて前記紙面の３次元空間における湾曲状態を特定し、特定した湾曲状態に基づいて前記紙面の３次元的な湾曲に起因する前記元画像の歪を補正することを特徴とする請求項１記載の画像補正装置。
［請求項３］
前記元画像から前記紙面に相当する紙面領域を検出する検出手段を更に備え、
前記特定手段は、前記検出手段により検出された紙面領域の撮影位置側の辺形状に基づき前記端縁形状を特定する
ことを特徴とする請求項１又は２記載の画像補正装置。
［請求項４］
前記特定手段は、前記紙面領域の撮影位置側の辺形状を正規化し、正規化後の形状を前記端縁形状として特定することを特徴とする請求項３記載の画像補正装置。
［請求項５］
前記元画像における前記対象物の撮影位置側の端面部分に相当する領域が除かれた特定領域を特定する領域特定手段を更に備え、
前記検出手段は、前記領域特定手段により特定された特定領域の輝度成分情報に基づいて前記元画像における前記紙面領域を検出する
ことを特徴とする請求項３又は４記載の画像補正装置。
［請求項６］
前記元画像を２値化した画像にモルフォロジー収縮処理を施す第１の画像処理手段を更に備え、
前記領域特定手段は、前記第１の画像処理手段によるモルフォロジー収縮処理によって生成された収縮処理画像から前記特定領域を特定する
ことを特徴とする請求項５記載の画像補正装置。
［請求項７］
前記元画像をグレースケール化した画像にモルフォロジークローズ処理を施す第２の画像処理手段を更に備え、
前記検出手段は、前記第２の画像処理手段によるモルフォロジークローズ処理によって生成されたクローズ処理画像における前記特定領域の輝度のヒストグラムを生成し、当該ヒストグラムにおける低輝度側の累積度数の割合が所定割合に達する輝度を閾値として前記元画像を２値化することにより、前記元画像から前記紙面領域を検出する
ことを特徴とする請求項６記載の画像補正装置。
［請求項８］
前記元画像は、見開き状態の書籍を対象物とし当該書籍を天地方向の斜め上方より撮影して得られた撮影画像であり、
前記特定手段は、前記撮影画像から、前記見開き状態の書籍における左右のページの撮影位置側の端縁形状を特定し、
前記補正手段は、前記特定手段により特定された左右のページの前記端縁形状に基づいて、前記元画像の歪みを補正する
ことを特徴とする請求項１乃至７いずれか１項に記載の画像補正装置。
［請求項９］
前記補正手段は、前記書籍の天地の他方側における前記紙面の端縁形状が、前記特定手段により特定された前記書籍の天地の一方側における前記紙面の端縁形状と同一であることを前提として前記紙面の３次元的な湾曲に起因する前記元画像の歪を補正する
ことを特徴とする請求項８記載の画像補正装置。
［請求項１０］
複数枚の紙が重なった状態の対象物を斜め上方より撮影して得られた元画像から、前記対象物の上面をなす紙面の撮影位置側の端縁形状を特定する特定処理と、
前記特定処理により特定された前記端縁形状に基づいて、前記元画像の歪みを補正する補正処理と、
を含むことを特徴とする画像補正方法。
［請求項１１］
コンピュータに、
記憶手段に記憶された画像であって複数枚の紙が重なった状態の対象物を斜め上方より撮影して得られた元画像から、前記対象物の上面をなす紙面の撮影位置側の端縁形状を特定する特定機能と、
前記特定機能により特定された前記端縁形状に基づいて、前記元画像の歪みを補正する補正機能と、
を実現させることを特徴とするプログラム。

１ 画像補正装置
３ 装置本体
３ａ カメラ
１１ 制御部
１３ 記憶部
１３ａ プログラムメモリ
１３ｂ ワークメモリ
θ 撮影角度
Ｄ 原稿台の表面
Ｇａ 書籍領域
Ｇｂ 端面除去領域
Ｇｃ 紙面領域
Ｇ１ グレースケール画像
Ｇ２ クローズ処理画像
Ｇ３ 第１の２値化画像
Ｇ４ 収縮処理画像
Ｇ５ 切り出し画像
Ｇ６ 第２の２値化画像
Ｇ７ ページ輪郭画像
Ｌ１ 下端輪郭線
Ｌ２ ワールド座標系の曲線
Ｌ 光軸
Ｏ ワールド座標系の原点
Ｗ 書籍

Claims (12)

1. 複数枚の紙が重なった状態の対象物を前記対象物の所定の表面に対して傾斜した上方より撮影して得られた元画像から、前記対象物の撮影位置側の端面部分に相当する端面領域を除去する除去手段と、
   前記元画像から前記除去手段により前記端面領域を除去することにより得られた端面除去画像に基づいて、前記元画像から、前記所定の表面をなす紙面の撮影位置側の端縁形状を特定する特定手段と、
   前記特定手段により特定された端縁形状に基づいて、前記元画像の歪みを補正する補正手段と、
   を備えたことを特徴とする画像補正装置。
2. 前記補正手段は、前記対象物の撮影角度と前記元画像における２次元空間での前記端縁形状とに基づいて前記紙面の３次元空間における湾曲状態を特定し、特定した湾曲状態に基づいて前記紙面の３次元的な湾曲に起因する前記元画像の歪を補正する
   ことを特徴とする請求項１記載の画像補正装置。
3. 前記元画像から前記紙面に相当する紙面領域を検出する検出手段を更に備え、
   前記特定手段は、前記検出手段により検出された紙面領域の撮影位置側の辺形状に基づき前記端縁形状を特定する
   ことを特徴とする請求項１又は２記載の画像補正装置。
4. 前記特定手段は、前記紙面領域の撮影位置側の辺形状を正規化し、正規化後の形状を前記端縁形状として特定する
   ことを特徴とする請求項３記載の画像補正装置。
5. 前記端面領域が除かれた特定領域を特定する領域特定手段を更に備え、
   前記検出手段は、前記領域特定手段により特定された特定領域の輝度成分情報に基づいて前記元画像における前記紙面領域を検出する
   ことを特徴とする請求項３又は４記載の画像補正装置。
6. 前記元画像を２値化した画像にモルフォロジー収縮処理を施す第１の画像処理手段を更に備え、
   前記領域特定手段は、前記第１の画像処理手段によるモルフォロジー収縮処理によって生成された収縮処理画像から前記特定領域を特定する
   ことを特徴とする請求項５記載の画像補正装置。
7. 前記元画像をグレースケール化した画像にモルフォロジークローズ処理を施す第２の画像処理手段を更に備え、
   前記検出手段は、前記第２の画像処理手段によるモルフォロジークローズ処理によって生成されたクローズ処理画像における前記特定領域の輝度のヒストグラムを生成し、当該ヒストグラムにおける低輝度側の累積度数の割合が所定割合に達する輝度を閾値として前記元画像を２値化することにより、前記元画像から前記紙面領域を検出する
   ことを特徴とする請求項６記載の画像補正装置。
8. 前記元画像は、見開き状態の書籍を対象物とし当該書籍を天地方向に対して傾斜した上方より撮影して得られた撮影画像であり、
   前記特定手段は、前記撮影画像から、前記見開き状態の書籍における左右のページの撮影位置側の端縁形状を特定し、
   前記補正手段は、前記特定手段により特定された左右のページの前記端縁形状に基づいて、前記元画像の歪みを補正する
   ことを特徴とする請求項１乃至７いずれか１項に記載の画像補正装置。
9. 前記補正手段は、前記書籍の天地の他方側における前記紙面の端縁形状が、前記特定手段により特定された前記書籍の天地の一方側における前記紙面の端縁形状と同一であることを前提として前記紙面の３次元的な湾曲に起因する前記元画像の歪を補正する
   ことを特徴とする請求項８記載の画像補正装置。
10. 複数枚の紙が重なった状態の対象物を前記対象物の所定の表面に対して傾斜した上方より撮影して得られた元画像から、前記対象物の撮影位置側の端面部分に相当する端面領域を除去する除去処理と、
    前記元画像から前記除去処理により前記端面領域を除去することにより得られた端面除去画像に基づいて、前記元画像から、前記所定の表面をなす紙面の撮影位置側の端縁形状を特定する特定処理と、
    前記特定処理により特定された前記端縁形状に基づいて、前記元画像の歪みを補正する補正処理と、
    を含むことを特徴とする画像補正方法。
11. コンピュータに、
    記憶手段に記憶された画像であって、複数枚の紙が重なった状態の対象物を前記対象物の所定の表面に対して傾斜した上方より撮影して得られた元画像から、前記対象物の撮影位置側の端面部分に相当する端面領域を除去する除去機能と、
    前記元画像から前記除去機能により前記端面領域を除去することにより得られた端面除去画像に基づいて、前記元画像から、前記所定の表面をなす紙面の撮影位置側の端縁形状を特定する特定機能と、
    前記特定機能により特定された前記端縁形状に基づいて、前記元画像の歪みを補正する補正機能と、
    を実現させることを特徴とするプログラム。
12. 前記元画像は、前記対象物が載置される原稿台の載置面に直交する方向に対して傾斜した上方より前記対象物を撮影して得られた画像である
    ことを特徴とする請求項１乃至９いずれか１項に記載の画像補正装置。

Images