JP4456304B2 - 歪み補正方式 - Google Patents
歪み補正方式 Download PDFInfo
- Publication number
- JP4456304B2 JP4456304B2 JP2001262207A JP2001262207A JP4456304B2 JP 4456304 B2 JP4456304 B2 JP 4456304B2 JP 2001262207 A JP2001262207 A JP 2001262207A JP 2001262207 A JP2001262207 A JP 2001262207A JP 4456304 B2 JP4456304 B2 JP 4456304B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- dimensional
- curved surface
- distortion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 66
- 238000000034 method Methods 0.000 title description 64
- 238000007667 floating Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 238000000605 extraction Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 11
- 230000010365 information processing Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像に存在する歪みの補正方式に関する。
【０００２】
【従来の技術】
近年、非接触型画像入力装置（ＯＨＲ：Ｏｖｅｒ Ｈｅａｄ Ｒｅａｄｅｒ）を用いた帳票認識技術の向上が金融ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）商談において重要になってきた。
【０００３】
非接触型画像入力装置（ＯＨＲ）とは、ラインあるいはエリアＣＣＤを撮像素子として備える図１８に示すようなスタンド型の画像入力装置である。従来のイメージスキャナなどの接触型画像入力装置と比較して、ＯＨＲを用いることによって、ユーザが画像入力を行いながら帳票への記入が行える、帳票の表を見たまま画像入力が行える、といった作業の快適さを享受できる。
【０００４】
しかし、ＯＨＲにて取得した帳票の画像（以降ＯＨＲ画像と呼ぶ）には、スキャナにて取得した画像（以降スキャナ画像と呼ぶ）と比較して、濃淡むら、影、画像の歪みなどの画像の劣化が見られる。ＯＨＲ画像の歪みの主なものとしては３次元歪みがある。
【０００５】
ＯＨＲ画像において発生する３次元歪みを分類すると、主に次の３種類に分類される。
イ）中折り歪み：中央部に折り目のある帳票に発生する歪み。折り目が沈んでいるか、浮いているかにより、中折り沈み歪み、中折り浮き歪みの２種類がある。図１９に中折り沈み歪みＯＨＲ画像の例を、図２０に中折り浮き歪みＯＨＲ画像の例を示す。
【０００６】
ロ）周辺歪み：帳票周辺に発生する歪み。周辺が沈んでいるか、浮いているかにより、周辺沈み歪み、周辺浮き歪みの２種類がある。図２１に周辺沈み歪みのＯＨＲ画像の例を、図２２に周辺浮き歪みＯＨＲ画像の例を示す。
【０００７】
ハ）冊子歪み：数枚綴りの冊子に発生する歪み。図２３に冊子歪みの例を示す。
ＯＨＲを金融ＯＣＲ商談で用いるためには、これらの画像の３次元歪みを克服する歪み補正方式の開発が重要な課題となってきた。
【０００８】
一方、３次元歪みの存在するＯＨＲ画像に対して、高精度な文書認識を実現するための歪み補正方式が特開平１０−１５０５３２にて提案されている。ここに記載の方式は、数枚の紙を一点で止めた文書に発生する一点止め歪みの補正方式を対象としている。また、３次元歪みを計測するために（３次元の形状を求める）上及び横からの複数の視点から撮像した複数枚の画像を用いている。
【０００９】
【発明が解決しようとする課題】
しかしながら、３次元歪みを補正する従来方式は、３次元形状を推定するために複数のカメラを用いているため、実現コストが高くなり、広い設置スペースが必要となる。
【００１０】
本発明の課題は、上からの視点のみから撮像した画像一枚を用いることにより、実現コスト及び設置スペースを削減させることである。
【００１１】
【課題を解決するための手段】
上述した課題を解決するために、本発明では、上から撮像した一枚の画像から取得できる２次元輪郭を手がかりにし、さらに紙が矩形状であるという制約を利用して３次元曲面モデルを推定し、得られた３次元曲面モデルから画像の３次元歪みを補正するようにした。
【００１２】
本発明の一態様によれば、輪郭抽出手段と曲面推定手段と歪み補正手段を備えるように構成する。矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段が入力画像から紙の輪郭を抽出し、曲面推定手段が２次元輪郭を手がかりに紙の３次元曲面モデルを推定し、歪み補正手段が推定された３次元曲面モデルに基づいて、歪みを補正した画像を出力する。
【００１３】
このような構成をとることにより、一枚の画像から得られる２次元輪郭の歪みを手がかりに入力画像を補正するので、従来技術と比較してカメラが一台で済み、実現コスト及び設置スペースを削減することができるようになる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の原理構成を示す図である。輪郭抽出手段１０１、曲面推定手段１０２、歪み補正手段１０３を備える。矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段１０１が紙の輪郭を抽出し、曲面推定手段１０２が輪郭の歪みを手がかりに紙の３次元モデルを推定し、歪み補正手段１０３が紙の３次元曲面モデルに基づいて歪みを補正した画像を出力する。
【００１５】
帳票のＯＨＲ画像には折り目などによる影が発生するが、動的な影・濃淡むらのため安定した影の情報の取得は期待できない。従って、影の変化を歪み補正の手がかりに用いることは得策ではない。そこで、図１に示す本発明では比較的安定して取得できる帳票の輪郭を手がかりとして歪みを補正することにした。本方式は、帳票が長方形であることに着目して、帳票の輪郭の変形を手がかりに水平・垂直方向の画像伸縮を行う手法で、ｓｈａｐｅ ｆｒｏｍ ｃｏｎｔｏｕｒの一種とも言える。本方式の特徴は、曲面推定手段１０２が一枚の歪み画像から２次元輪郭の歪みを手がかりに３次元曲面モデルを推定している点である。カメラが一台で済むことにより、実現コストを大きく削減させ、手がかりとして影の変化と比較して安定して抽出できる帳票輪郭の歪みを用いているため、精度の良い歪み補正を実現できる効果がある。
【００１６】
図２に、本発明第１の実施例の構成を示す。図２に示す歪み補正方式は、中央部に折り目のある帳票に発生する歪みのうち、中折り沈み歪みを補正する補正方式である。中折り沈み歪みＯＨＲ画像は図１９に示したように、帳票の上輪郭、下輪郭、中折り輪郭は台などの基準面に接した線分として認識できる。尚、帳票の置き方によっては左輪郭、右輪郭、中折り輪郭が線分と認識される場合があるが、これは画像を９０度回転すれば上述したものと同様になる。従って、以下、上輪郭、中折り輪郭、下輪郭が線分として認識できる場合を例に中折り沈み歪みを補正する第１の実施例についてより詳細に説明する。
【００１７】
図２において、矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段２０１が紙の輪郭を抽出し、中折り沈み曲面推定手段２０２が中折り沈み帳票の輪郭の歪みを手がかりに３次元曲面モデルを推定し、歪み補正手段２０３が紙の３次元曲面モデルに基づいて歪みを補正した画像を出力する。
【００１８】
輪郭抽出手段２０１は、まず、ソーベルのエッジ抽出などの何らかのエッジ抽出により得た輪郭を輪郭候補画素とし、各輪郭候補画素が輪郭を構成するか否かを判断する。尚、輪郭抽出手段２０１は、エッジ抽出で抽出される紙の輪郭だけでなく、紙に付与された直線（水平、垂直）、文字列（水平、垂直）をも抽出し、これらの情報を用いるように構成してもよい。
【００１９】
抽出された輪郭候補画素の集合のうち対象画素が、例えば、左輪郭を構成するか否かを判断する場合について説明する（図３参照）。ある画素が左輪郭を構成する場合、その画素の左側は背景色などの低い画素値を持つ画素列で、右側は帳票なので白色などの高い画素値を持つ画素列となる。従って、例えば（−１，−１，−１，０，１，１，１）という線形フィルタ３０２と輪郭候補画素３０１との積和を求めると、積和値は大きくなる。よって、ある一定の閾値を定めておき、閾値より大きな積和値を持つ輪郭候補画素を輪郭画素として決定すればよい。このように、各輪郭候補画素に対して積和演算を行い、求めた積和値と閾値を比較して左輪郭を決定する。
【００２０】
同様に右輪郭の場合は、左輪郭の逆の構成を持つ線形フィルタ（１，１，１，０，−１，−１，−１）を用いればよく、上・下輪郭も同様に決定することができる。
【００２１】
尚、線形フィルタは０を中心に左右または上下対象となる任意の固有ベクトルでよい。すなわち、任意の定数ｋ、−ｋが０を中心にＮ個ずつ並ぶ（ｋ，ｋ，…，ｋ，０，−ｋ，…，−ｋ，−ｋ）のような固有ベクトルでよい。
【００２２】
上述のようにして輪郭抽出手段２０１は輪郭二値画像を出力する。さらに、輪郭抽出手段２０１は、後の処理で必要となる輪郭頂点、サンプル輪郭点を抽出する。尚、輪郭抽出手段２０１で得るものは２次元の画像中の輪郭に関するものなので、３次元中の帳票輪郭と区別するために、以降では頭に「２次元」とつけ、それぞれ２次元輪郭線、２次元輪郭頂点、２次元サンプル輪郭点と呼ぶことにする。図４は、輪郭抽出手段２０１で得られる２次元輪郭線、２次元輪郭頂点、２次元サンプル輪郭点の２次元座標に基づく表現を示している。
【００２３】
２次元輪郭頂点は、図４に示す上輪郭ＡＢまたは下輪郭ＥＦの中央部付近の輪郭点から左右方向に輪郭線をたどり、急激に傾きの変化する輪郭点（左上輪郭頂点Ａ、右上輪郭頂点Ｂ、左下輪郭頂点Ｅ、右下輪郭頂点Ｆ）を探索して求める。また、輪郭頂点Ａ、Ｂ、Ｅ、Ｆを線分で結んで得られた矩形ＡＢＦＥとの位置関係により、中折り輪郭（帳票中央部）の左右の頂点を抽出する。中折り沈み帳票の場合は、矩形に最も入りこんだ左右の輪郭点を中折り沈み輪郭頂点とする（折線左頂点Ｃ及び折線右頂点Ｄ）。
【００２４】
さらに、抽出した左右の輪郭線を区分線形近似するために用いられる２次元サンプル輪郭点は、図４に示すＹ軸方向に予め定めた等間隔ごとに選択することで求められる。
【００２５】
以下、２次元座標に基づく各点、線分、輪郭線などの表現等は図４に従うとする。
次に、中折り沈み曲面推定手段２０２について説明する。中折り沈み曲面推定手段２０２は、中折り沈み帳票に対して、得られた２次元サンプル輪郭点と入力画像の視点であるカメラ中心（スタンド型のＯＨＲを利用するので、カメラ中心は予め決まっている。）とを結ぶ線分と２つの２次元輪郭頂点を結ぶ線分を通り基準面に垂直な平面の交点であると仮定して、３次元サンプル輪郭点の座標を求める。そして求めた３次元サンプル輪郭点を線分でつないだ折線を輪郭線とし、輪郭線の線形補間近似により得た曲面を、歪んだ帳票曲面の３次元曲面モデルとして推定する。
【００２６】
中折り沈み曲面は、中折り輪郭（帳票中央部の基準面に接している線分）を境に上下２つの曲面に分割できる。以下、上部の曲面に限定して、中折り沈み曲面推定手段２０２における処理を詳細に説明する。下部の曲面に対しても上下対象に同様の議論を展開できる。
【００２７】
図５に、カメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す。図５に示した各記号の意味は外１の通り。透視変換により２次元サンプル輪郭点と関係づけられた３次元輪郭線上の点を３次元サンプル輪郭点と呼ぶ。カメラ中心及び３次元サンプル輪郭点の座標を図５のように表現することにする。
【００２８】
【外１】
【００２９】
左輪郭線上の３次元サンプル輪郭点の座標を求める場合、次のように求められる。
２次元左輪郭線上の２次元サンプル輪郭点に対応する３次元左輪郭線上の３次元サンプル輪郭点は、カメラ中心と２次元サンプル輪郭点を結ぶ線分と左輪郭頂点Ａ、Ｃを結ぶ線分ＡＣを通りｘｙ平面に垂直な平面の交点として求められる。
【００３０】
線分ＡＣを含むｘｙ平面に垂直な平面の方程式は（１）式のように表せる。
【００３１】
【数１】
【００３２】
また、３次元サンプル輪郭点がカメラ中心と２次元サンプル輪郭点を結ぶ線分を（１−ｔ）：ｔに内分する点であるとした場合、（２）式が成立する。
【００３３】
【数２】
【００３４】
（１）式、（２）式をｔについて解くと、（３）式になる。
【００３５】
【数３】
【００３６】
（３）式で求められるｔを代入することにより、各３次元サンプル輪郭点の座標を求めることができる。
右輪郭線上の３次元サンプル輪郭点の座標も同様にして求めることができる。
【００３７】
以上のように求めた３次元サンプル輪郭点を線分でつないだ折線を左輪郭線および右輪郭線とし、これらの輪郭線の線形補間近似により得た曲面を歪んだ帳票曲面の３次元曲面モデルとする。
【００３８】
線形補間近似として、例えば線形Ｃｏｏｎｓ補間などの補間手法を使うことができる。線形Ｃｏｏｎｓ補間とは、４つの３次元輪郭がある場合に、その間を線分で補間することである。線形Ｃｏｏｎｓ補間を行うための線形Ｃｏｏｎｓ曲面とは、曲線座標系（ｕ，ｗ）により定義されるパラメトリックな空間曲面の一種である。曲面が４つの曲面Ｐ（ｕ，０）、Ｐ（ｕ，１）、Ｐ（０，ｗ）、Ｐ（１，ｗ）により囲まれているとし、曲面上の点の座標をＱ（ｕ，ｗ）とすると、輪郭曲線の式を用いて（４）式のように表現できる（図６）。これにより得られる曲面を３次元曲面モデルとする。
【００３９】
【数４】
【００４０】
また、中折り沈み曲面推定手段２０２における３次元輪郭モデルを求める手法として、３次元輪郭線の点を離散的に３次元サンプル輪郭点としてとり、３次元サンプル点の高さあるいはそれに対応する量をモデルパラメータとする手法を説明したが、３次元輪郭モデルを求める手法は、この手法に限られるものではない。すなわち、例えば３次元輪郭モデルとして、スプライン曲線、ベジエ曲線などのパラメータ付曲線モデルを用いてもよい。
【００４１】
スプライン曲線、ベジエ曲線はパラメトリックな空間曲線である。一般に、パラメトリックな空間曲線は（５）式で表される。
【００４２】
【数５】
【００４３】
（５）式より、スプライン曲線は（６) 式で表される。
【００４４】
【数６】
【００４５】
同様に（５）式より、ベジエ曲線は（７）式で表される。
【００４６】
【数７】
【００４７】
このようにスプライン曲線、ベジエ曲線はパラメータｔによって表現できるため、このパラメータｔをモデルパラメータとして３次元輪郭モデルを求めればよい。
【００４８】
また更に、中折り曲面推定部（あるいは曲面推定部）は輪郭線を用いるだけでなく、紙に付与された直線（垂直、水平）、文字列（垂直、水平）などの情報を用いて、同様の方法で３次元曲面を推定するように構成することもできる。
【００４９】
次に、歪み補正手段２０３について説明する。歪み補正手段２０３は、補正後画像の各画素に対応した入力画像中の位置を、輪郭線を座標軸とする曲線座標系を用いて求め、入力画像中の対応画素の値（二値、階調、カラー）を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正後画像を得る。
【００５０】
中折り帳票の場合、上輪郭線及び下輪郭線は輪郭頂点を結ぶ線分として得られる。左輪郭線及び右輪郭線は中折り沈み曲面推定手段２０２により得られた３次元サンプル輪郭点を結ぶ折線として得られる。また、中折り輪郭は中折り沈み曲面推定手段２０２により得られた中折り部の３次元サンプル輪郭点を結ぶ線分として得られる。
【００５１】
中折り帳票を中折り輪郭を境に上部と下部に分割し、それぞれに対する３次元曲面上に曲線座標系を設定して歪み補正を行う。以下、上部の３次元曲面についての歪み補正方法を説明する。下部に対しても同様の処理を実行すればよい。
【００５２】
原点を左上輪郭頂点（図４に示す点Ａ）とし、Ｘ軸を上輪郭線とし、Ｙ軸を左輪郭線とする。補正後画像の幅Ｗ（ｗｉｄｔｈ）は、上輪郭線及び中折り輪郭線の長さの平均値を用い、補正後画像の高さＨ（ｈｉｇｈｔ）は左輪郭線及び右輪郭線の長さの平均を用いる。すなわち（８）、（９）式のようになる。
【００５３】
【数８】
【００５４】
左輪郭線上のＹ座標のメモリ付けをするために、０以上高さＨ以下の整数値をとるＹに対して左輪郭線上の点Ｌ（Ｙ）を対応づけ、３次元座標を求める。Ｌ（Ｙ）の３次元座標を求めるには、左輪郭線を表す３次元サンプル輪郭点をつないだ折れ線上を左上輪郭頂点からたどり、長さ（Ｈ／Ａｃ）ずつ進めることによって行う。
【００５５】
同様にして０以上高さＨ以下の整数値をとるＹに対して右輪郭線上の点Ｒ（Ｙ）を対応づけ、３次元座標を求める。Ｒ（Ｙ）の３次元座標を求めるには、右輪郭線を表す３次元輪郭点をつないだ折線上を右上輪郭頂点からたどり、長さ（Ｈ／Ｂｄ）ずつ進めることによって行う。Ｌ（Ｙ）とＲ（Ｙ）により曲線座標系を表現していると考えることができる（図７）。
【００５６】
このように曲線座標系を定義し、次に歪み補正後の画像の２次元座標（Ｘ，Ｙ）に対応した画素の濃度Ｇ（Ｘ，Ｙ）（０≦Ｘ≦Ｗ，０≦Ｙ≦Ｈ）を求める。
補正後２次元座標（Ｘ，Ｙ）に対応する点は、３次元曲面上の曲線座標による２次元座標（Ｘ，Ｙ）を持つ点Ｐである。点Ｐの３次元座標を（１０）式とする。
【００５７】
【数９】
【００５８】
点Ｐは、左輪郭線上の点Ｌ（Ｙ）と右輪郭線上の点Ｒ（Ｙ）を線形補間した点として、線分Ｌ（Ｙ）Ｒ（Ｙ）をＸ／Ｗ：（１−Ｘ／Ｗ）に内分する点として表現することができる。従って（１１）式より点Ｐの３次元座標を求めることができる。
【００５９】
【数１０】
【００６０】
次に、カメラ中心から点Ｐを通る直線とｘｙ基準面との交点の２次元座標を求める。透視変換の条件により、（１２）式のようになる。
【００６１】
【数１１】
【００６２】
従って、補正後画像の濃度Ｇ（Ｘ，Ｙ）は（１３）式で求めることができる。
【００６３】
【数１２】
【００６４】
但し、（１３）式において、カメラ中心から点Ｐを通る直線とｘｙ基準面との交点の２次元座標は、実数なので少数部分を丸めるために四捨五入をしている。以上に説明した本発明第１の実施例に従って処理した中折り沈み歪みＯＨＲ画像の補正結果を図８に示す。図８は、図１９を補正したものである。このように、本発明第１の実施例によれば、中折り沈み歪みＯＨＲ画像を良好に補正することができる。
【００６５】
図９は本発明第２の実施例を示す図である。図９に示す歪み補正方式は、中央部に折り目のある帳票に発生する歪みのうち、中折り浮き歪みを補正する補正方式である。中折り浮き歪みＯＨＲ画像は図２０に示したように、帳票の上輪郭及び下輪郭は台などの基準面に接しているが、第１の実施例で対象とした中折り沈み歪みとは異なり、中央部の中折り輪郭は基準面から浮いている。尚、帳票の置き方によっては、左輪郭、右輪郭、中折り輪郭が線分として認識される場合があるが、これは画像を９０度回転すれば上述したものと同様になる。従って、以下、上輪郭、中折り輪郭、下輪郭が線分として認識できる場合を例に中折り浮き歪みを補正する第２の実施例についてより詳細に説明する。
【００６６】
図９において、矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段９０１が紙の輪郭を抽出し、中折り浮き曲面推定手段９０２が中折り浮き帳票の輪郭の歪みを手がかりに３次元曲面モデルを推定し、歪み補正手段９０３が紙の３次元曲面モデルに基づいて歪みを補正した画像を出力する。
【００６７】
輪郭抽出手段９０１は、第１の実施例で説明した輪郭抽出手段２０１とほぼ同様に、エッジ抽出のあと、エッジ抽出された輪郭候補画素に対して線形フィルタとの積和を求めて、求めた積和値から輪郭画素を決定する。また、２次元輪郭線、２次元輪郭頂点、２次元サンプル輪郭点を抽出する。
【００６８】
この際、中折り輪郭（帳票中央部）の左右の頂点を抽出するには中折り沈み帳票の場合とは異なり、矩形から最も離れた左右の輪郭点を中折り浮き輪郭頂点として抽出する。
【００６９】
輪郭抽出手段９０１は、図１０に示すような２次元座標に基づく２次元輪郭線、２次元サンプル輪郭点、２次元輪郭頂点を抽出する。以下、２次元座標に基づく各点、線分、輪郭線などの表現等は図１０に従うとする。
【００７０】
次に、中折り浮き曲面推定手段９０２について説明する。中折り浮き曲面推定手段９０２では、上輪郭／下輪郭が基準面からの高さ０、中央部の中折り輪郭の高さが未知である中折り浮き帳票に対して、中央部の中折り輪郭の頂点の高さに相当する量を２次元のモデルパラメータとする。そして、モデルパラメータを用いて３次元輪郭長が上下／左右それぞれ等しいという制約を付したエネルギー関数を表現する。このエネルギー関数を最小化する最適化問題として、最適なモデルパラメータを反復法などの方法により求める。求めたモデルパラメータから、各３次元サンプル輪郭点の座標を求め、３次元曲面モデルを推定する。以下、モデルパラメータを求める手法について述べる。
【００７１】
尚、中折り浮き曲面は、中折り輪郭（帳票中央部）を境に上下２つの曲面に分割できるので、上部の曲面に限定して中折り浮き曲面推定手段９０２における処理を詳細に説明する。
【００７２】
図１１に、カメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す。図１１における各記号の意味は外１と同じである。透視変換により２次元サンプル輪郭点と関係付けられた３次元輪郭線上の点を３次元サンプル輪郭点と呼ぶ。カメラ中心及び３次元サンプル輪郭点の座標を図１１のように表現することにする。
【００７３】
左輪郭線について、３次元サンプル輪郭点がカメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分を内分する点であるとした場合、（１４）式が成り立つ。
【００７４】
【数１３】
【００７５】
また、右輪郭線について３次元サンプル輪郭点がカメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分を内分する点であるとした場合、（１５）式が成り立つ。
【００７６】
【数１４】
【００７７】
中折り浮き輪郭の３次元左頂点ｃの座標は（１６）式、３次元右頂点ｄの座標は（１７）式で表せる。この二つの点の内分比がそれぞれ決まると、各３次元サンプル輪郭点は、カメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分上にあり、かつ線分Ａｃあるいは線分Ｂｄを含みｘｙ平面に垂直な平面上にある、という条件から、各３次元サンプル輪郭点の座標が求まることになる。
【００７８】
【数１５】
【００７９】
従って、３次元左頂点ｃ、３次元右頂点ｄの内分比が帳票曲面の３次元モデルの２次元モデルパラメータであると考えることができる。
左輪郭線について、上記の３次元サンプル輪郭点の満たすべき条件から、対応する内分比をモデルパラメータを用いて（１８）式のように求めることができる。
【００８０】
【数１６】
【００８１】
同様に、右輪郭線についても３次元サンプル輪郭点の満たすべき条件から対応する内分比をモデルパラメータを用いて（１９）式のように求めることができる。
【００８２】
【数１７】
【００８３】
３次元輪郭線が上下／左右それぞれで等しいという制約を表現したエネルギー関数Ｅを最小化する最適化問題として定式化し、以下に述べるように最適なモデルパラメータを例えば反復法により求める。
【００８４】
エネルギー関数Ｅは、上輪郭線ＡＢと中折り浮き輪郭線ｃｄの長さの差の自乗と左輪郭線Ａｃと右輪郭線Ｂｄの長さの差の自乗の線形和で定義する。帳票曲面のモデルパラメータである内分比により、エネルギー関数Ｅの値は一意に決まる。従って、エネルギー関数Ｅは（２０）式のようになる。
【００８５】
【数１８】
【００８６】
上輪郭線（線分ＡＢ）及び中折り浮き輪郭線（線分ｃｄ）は線分であるから、（２１）式、（２２）式のように３次元頂点座標から長さを求めることができる。
【００８７】
【数１９】
【００８８】
一方、左輪郭線Ａｃ及び右輪郭線Ｂｄの長さは３次元サンプル輪郭点を結ぶ線分の長さの和で近似することとする。すなわち、（２３）式、（２４) 式のようになる。
【００８９】
【数２０】
【００９０】
エネルギー関数Ｅを最小にするモデルパラメータを、最急降下法により求める。すなわち、初期値を適当に設定し、（２５）式によりモデルパラメータを繰り返し変化させる。εは微小な正の数である。
【００９１】
【数２１】
【００９２】
（２０）式のエネルギー関数の定義を用いて展開すると、（２６）式、（２７）式のようになる。
【００９３】
【数２２】
【００９４】
以上により、モデルパラメータが求められ、各３次元サンプル輪郭点の座標を求めることができる。そして、中折り浮き曲面推定手段９０２は、求めた各３次元サンプル輪郭点を線分でつないだ折線を輪郭線とし、輪郭線の線形補間近似により得た曲面を歪んだ帳票曲面の３次元曲面モデルとして推定する。線形補間近似としては、中折り沈み曲面推定手段２０２と同様に線形Ｃｏｏｎｓ補間などの補間手法を用いる。
【００９５】
尚、エネルギー関数Ｅについて、中折り浮き曲面上部についてのエネルギー関数Ｅを定式化したが、曲面上部・下部の全体でエネルギー関数Ｅを定式化することもできる。曲面全体に対して定式化したエネルギー関数Ｅは、中折り浮き曲面モデルが図１２に示すように表せるとして、（２８）式のように表現される。
【００９６】
【数２３】
【００９７】
この場合、曲面全体に対して最適化問題を解くことになるので、曲面上部と下部に分けてモデルパラメータを求めた場合よりも精度が上がることになる。
次に、歪み補正手段９０３についてであるが、歪み補正手段９０３は、第１の実施例における歪み補正手段２０３と同じである。すなわち、歪み補正手段９０３は、補正後画像の各画素に対応した入力画像中の位置を、輪郭線を座標軸とする曲線座標系を用いて求め、入力画像中の対応画素の値（二値、階調、カラー）を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正後画像を得る。詳細については、第１の実施例の説明を参照とする。
【００９８】
本発明第２の実施例に従って処理した中折り浮き歪みＯＨＲ画像の補正結果を図１３に示す。図１３は、図２０を補正したものである。このように、本発明第２の実施例によれば、中折り浮き歪みＯＨＲ画像を良好に補正することができる。
【００９９】
以上のように、帳票のＯＨＲ画像における中折り沈み／浮き歪みの補正方式について詳細に説明したが、この方式はこれらの場合に限定されるものではない。すなわち、帳票のＯＨＲ画像における線織面歪みについても同様の方式を適用できる。尚、線織面とは紙を歪めた場合にできる曲面の一般的な呼び方である。
【０１００】
例えば、線織面歪みの一例として、帳票のＯＨＲ画像に周辺浮き歪み（図２１）が生じている場合、３次元輪郭が全て曲線となる。従って、中折り浮き歪みの場合に２つのモデルパラメータを求めたが（本発明第２の実施例）、より多くのモデルパラメータ（例えば１０〜２０個）を設定し、上下／左右の輪郭の長さが等しいというエネルギー関数を定式化し、最適化問題を解くようにすればよい。そして、求めたモデルパラメータから３次元曲面モデルを推定し、推定した曲面モデルに基づいて入力画像における歪みを補正して出力する。同様に、周辺沈み歪み（図２２）、冊子歪み（図２３）についても、より多くのモデルパラメータを設定することで３次元曲面モデルを推定し、歪み補正を行うことができる。
【０１０１】
また、上記各実施例の説明では、図１に示した本発明の原理構成に従って、輪郭抽出手段１０１で輪郭を抽出し、曲面推定手段１０２で輪郭の歪みを手がかりに３次元モデルを推定し、歪み補正手段１０３が推定した３次元曲面モデルに基づいて歪みを補正した画像を出力する方式について述べた。しかしながら、図１４に示すように、曲面を推定せずに、輪郭抽出手段１４０１で抽出された輪郭の歪みを手がかりに歪み補正手段１４０２が歪みを補正した画像を出力するように構成することもできる。
【０１０２】
輪郭抽出手段１４０１は、輪郭抽出手段１０１と同様な処理を行うが、この場合の歪み補正手段１４０２について、図１５のような輪郭１５０１が得られた場合を例として説明する。まず、歪み補正手段１４０２では、抽出された輪郭１５０１の上輪郭１５０２、中折り輪郭１５０３、下輪郭１５０４の線分の長さに合わせて、輪郭を横方向に伸縮させる（▲１▼）。そして次に、図１５に示す点線で囲んだ各部分の曲線部（１５０５−１〜１５０５−８）を直線で近似して、その直線の傾きを求め、その傾きから縦方向の縮み具合を求める。求められた縮み具合に基づいて、前記横方向に伸縮させた輪郭を更に縦方向に伸縮する（▲２▼）。このように、３次元曲面モデルを推定せずに、２次元のデータ処理だけで歪みを補正するように構成することも可能である。
【０１０３】
ところで、本発明の歪み補正方式は、図１６に示すような情報処理装置（コンピュータ）を用いて実行することができる。図１６の情報処理装置は、ＣＰＵ（中央処理装置）１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、外部記憶装置１６０５、媒体駆動装置１６０６、及びネットワーク接続装置１６０７を備え、それらはバス１６０８により互いに接続されている。
【０１０４】
メモリ１６０２は、例えばＲＯＭ(read only memory)、ＲＡＭ(random access memory)等を含み、処理に用いられるプログラムとデータを格納する。ＣＰＵ１６０１は、メモリ１６０２を利用してプログラムを実行することにより、必要な処理を行う。つまり、本発明の輪郭抽出手段１０１、曲面推定手段１０２、歪み補正手段１０３はメモリ１６０２に格納されたプログラムで実現される。
【０１０５】
帳票等の画像データは、ＯＨＲ等の入力装置１６０３を介して情報処理装置に取り込まれる。また、出力装置１６０４は例えばディスプレイ、プリンタ等であり、処理結果の出力等に用いられる。
【０１０６】
外部記憶装置１６０５は、例えば磁気ディスク装置、光ディスク装置、光磁気ディスク装置などである。情報処理装置はこの外部記憶装置１６０５に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ１６０２にロードして使用することができる。
【０１０７】
媒体駆動装置１６０６は、可搬型記録媒体１６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１６０９としては、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ(compact disk read only memory) 、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。この可搬記録媒体１６０９に上述のプログラムとデータを格納しておき、必要に応じてそれらをメモリ１６０２にロードして使用することができる。
【０１０８】
ネットワーク接続装置１６０７は、ＬＡＮ(local area network)等の任意のネットワーク( 回線) を介して外部の装置と通信し、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、ネットワーク接続装置１６０７を介して上述のプログラムとデータを外部の装置から受け取り、それらをメモリ１６０２にロードして使用することができる。なお、図１６は情報処理装置単体で示してあるが、複数のコンピュータからなる処理装置やネットワークを介した複数の処理装置でも実現が可能である。
【０１０９】
また、図１７は、本発明に係わる情報処理装置で実行されるソフトウェアプログラム等の提供方法を説明する図である。プログラム等は例えば以下の（ａ）〜（ｃ）の３つの方法の中の任意の方法により提供される。
【０１１０】
( ａ) コンピュータ等の情報処理装置１７０１にインストールされて提供される。この場合、プログラム等は例えば出荷前にプレインストールされる。
( ｂ) 可搬型記録媒体１６０９に格納されて提供される。この場合、可搬型記憶媒体１６０９に格納されているプログラム等は、コンピュータ等の情報処理装置１７０１の外部記憶装置１６０５にインストールされる。
【０１１１】
( ｃ) ネットワーク１７０２上のサーバから提供される。この場合、基本的には、コンピュータなどの情報処理装置１７０１がサーバ１７０３に格納されているプログラム等をダウンロードすることによって、そのプログラム等を取得する。
【０１１２】
（付記１）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙に付与された規則正しい図形を抽出する輪郭抽出手段と、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１３】
（付記２）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出する輪郭抽出手段と、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１４】
（付記３）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙の輪郭を抽出する輪郭抽出手段と、
前記輪郭の歪みを手がかりに歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１５】
（付記４）矩形状の紙の輪郭情報を取得し、前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１６】
（付記５）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙の輪郭を抽出する輪郭抽出手段と、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１７】
（付記６）前記入力画像及び出力画像が白黒二値画像または階調画像またはカラー画像であることを特徴とする、付記５記載の歪み補正装置。
（付記７）前記輪郭抽出手段は、前記入力画像に対してエッジ抽出を行って得た輪郭画素候補のうち、水平あるいは垂直方向に対象画素を挟んで前記紙の外部領域の階調あるいはカラーを持つ画素の列の並びと前記紙の内部領域の階調あるいはカラーを持つ画素の列の並びが存在する度合いを表す輪郭らしさを評価し、前記輪郭らしさが強い輪郭画素候補を輪郭画素とすることを特徴とする、付記５記載の歪み補正装置。
【０１１８】
（付記８）前記輪郭抽出手段は、前記輪郭らしさとして、前記輪郭画素候補を挟んで水平あるいは垂直方向に、前記輪郭画素候補の近傍から任意に抽出された画素の値と適切に設定した固定値ベクトルとの積和演算を行って得た量を用いることを特徴とする、付記７記載の歪み補正装置。
【０１１９】
（付記９）前記輪郭抽出手段は、前記輪郭らしさとして、前記輪郭画素候補を挟んで水平あるいは垂直方向に、ｋを正または負の定数として、水平方向の場合は値０を中心とする左右対称のマスク、ｋ，ｋ，ｋ，・・・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，−ｋ、垂直方向の場合は値０を中心とする上下対称のマスク、ｋ，ｋ，ｋ，・・・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，−ｋにより、積和演算を行って得た量を用いることを特徴とする、付記８記載の歪み補正装置。
【０１２０】
（付記１０）前記曲面推定手段は、前記３次元曲面モデルとして、中折り沈み歪みをモデル化した中折り沈み歪み３次元曲面モデルを用いることを特徴とする、付記５記載の歪み補正装置。
【０１２１】
（付記１１）前記曲面推定手段は、前記３次元曲面モデルとして、中折り浮き歪みをモデル化した中折り浮き歪み３次元曲面モデルを用いることを特徴とする、付記５記載の歪み補正装置。
【０１２２】
（付記１２）前記曲面推定手段は、前記３次元曲面モデルとして、周辺浮き歪みをモデル化した周辺浮き歪み３次元曲面モデルを用いることを特徴とする、付記５記載の歪み補正装置。
【０１２３】
（付記１３）前記曲面推定手段は、前記３次元曲面モデルとして、前記紙の３次元輪郭をモデル化して得られる３次元輪郭モデルに線形Coons 補間などの補間手法を施して得られる曲面を用いることを特徴とする、付記５記載の歪み補正装置。
【０１２４】
（付記１４）前記曲面推定手段は、前記３次元輪郭モデルとして、３次元輪郭上の点を離散的に３次元サンプル点として取り、３次元サンプル点の高さあるいはそれに対応した量をモデルパラメータとすることを特徴とする、付記１３記載の歪み補正装置。
【０１２５】
（付記１５）前記曲面推定手段は、前記３次元輪郭モデルとして、スプライン曲線またはベジエ曲線などのパラメータ付き曲線モデルを用いることを特徴とする、付記１３記載の歪み補正装置。
【０１２６】
（付記１６）前記曲面推定手段は、前記３次元輪郭モデルとして、３次元輪郭の端点２点の高さ、あるいはそれに対応した量をモデルパラメータとして、３次元輪郭上の点は端点２点を結んだ３次元線分を含む垂直平面上に存在するとして位置を制約することを特徴とする、付記１３記載の歪み補正装置。
【０１２７】
（付記１７）前記曲面推定手段は、前記３次元輪郭モデルとして、３次元線分を用いることがあることを特徴とする付記１３記載の歪み補正装置。
（付記１８）前記曲面推定手段は、抽出された輪郭を手がかりに、透視変換を用いて３次元輪郭を推定することにより、３次元曲面を推定することを特徴とする、付記５記載の歪み補正装置。
【０１２８】
（付記１９）前記曲面推定手段は、左右あるいは上下で対となっている３次元輪郭の長さが等しいという制約をエネルギー関数を用いて表現し、エネルギー最小となる前記３次元曲面モデルのパラメータを求める最適化問題を解いて３次元曲面モデルを推定することを特徴とする、付記１１記載の歪み補正装置。
【０１２９】
（付記２０）前記曲面推定手段は、輪郭を座標軸とする曲線座標系において、同一のＸ座標あるいはＹ座標を持つ曲線がすべて同じ長さを持つという制約をエネルギー関数を用いて表現し、エネルギー最小となる３次元曲面モデルのパラメータを求める最適化問題を解いて３次元曲面モデルを推定することを特徴とする、付記１５記載の歪み補正装置。
【０１３０】
（付記２１）前記歪み補正手段は、前記輪郭を座標軸とする曲線座標系を用いて補正後画像の各画素に対応した前記入力画像中の位置を求め、前記入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正後画像を得ることを特徴とする付記５記載の歪み補正装置。
【０１３１】
（付記２２）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙に付与された規則正しい図形を抽出し、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定し、前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３２】
（付記２３）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出し、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３３】
（付記２４）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３４】
（付記２５）矩形状の紙の輪郭情報を取得し、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３５】
（付記２６）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３６】
（付記２７）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力された画像から前記紙に付与された規則正しい図形を抽出し、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１３７】
（付記２８）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力された画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出し、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１３８】
（付記２９）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪を補正した画像を出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１３９】
（付記３０）入力された矩形状の紙の輪郭情報に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１４０】
（付記３１）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力された画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１４１】
（付記３２）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力された画像から前記紙に付与された規則正しい図形を抽出し、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４２】
（付記３３）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力された画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出し、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４３】
（付記３４）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪を補正した画像を出力する、
という処理を含むプログラム。
【０１４４】
（付記３５）入力された矩形状の紙の輪郭情報に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４５】
（付記３６）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力された画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４６】
【発明の効果】
以上詳細に説明したように本発明によれば、３次元歪みの存在する帳票について、上から撮像した一枚の画像（ＯＨＲ画像）から取得できる２次元輪郭を手がかりにし、さらに紙が矩形状であるという制約を利用して３次元モデルを推定し、得られた３次元曲面モデルから画像の３次元歪みを補正することができる。これにより、一枚の画像から得られる２次元輪郭の歪みを手がかりに入力画像を補正するので、従来技術と比較してカメラが一台で済み、実現コスト及び設置スペースを削減することができる。
【図面の簡単な説明】
【図１】本発明の原理構成を示す図である。
【図２】本発明第１の実施例の構成を示す図である。
【図３】輪郭抽出手段における輪郭らしさの評価方法を説明する図である。
【図４】輪郭線、輪郭頂点及びサンプル輪郭点を示す図である。
【図５】中折り沈み曲面モデル（上部）におけるカメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す図である。
【図６】線形Ｃｏｏｎｓ曲面を示す図である。
【図７】３次元曲面に対する曲線座標系を示す図である。
【図８】中折り沈み歪み補正結果を示す図である。
【図９】本発明第２の実施例の構成を示す図である。
【図１０】輪郭線、輪郭頂点及びサンプル輪郭点を示す図である。
【図１１】中折り浮き曲面モデル（上部）におけるカメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す図である。
【図１２】中折り浮き曲面モデル（全体）を示す図である。
【図１３】中折り浮き歪み補正結果を示す図である。
【図１４】曲面を推定せずに歪みを補正する場合の構成を示す図である。
【図１５】図１４に示す方式を説明する図である。
【図１６】情報処理装置を示す図である。
【図１７】ソフトウェアプログラム等の提供方法を説明する図である。
【図１８】非接触型画像入力装置（ＯＨＲ）を示す図である。
【図１９】中折り沈みＯＨＲ画像の例を示す図である。
【図２０】中折り浮きＯＨＲ画像の例を示す図である。
【図２１】周辺歪み（浮き）ＯＨＲ画像の例を示す図である。
【図２２】周辺歪み（沈み）ＯＨＲ画像の例を示す図である。
【図２３】冊子歪みＯＨＲ画像の例を示す図である。
【符号の説明】
１０１ 輪郭抽出手段
１０２ 曲面推定手段
１０３ 歪み補正手段
２０１ 輪郭抽出手段
２０２ 中折り沈み曲面推定手段
２０３ 歪み補正手段
３０１ 輪郭候補画素
３０２ 線形フィルタ
９０１ 輪郭抽出手段
９０２ 中折り浮き曲面推定手段
９０３ 歪み補正手段
１４０１ 輪郭抽出手段
１４０２ 歪み補正手段
１５０１ 輪郭
１５０２ 上輪郭
１５０３ 中折り輪郭
１５０４ 下輪郭
１５０５ 輪郭の曲線部
１６０１ ＣＰＵ
１６０２ メモリ
１６０３ 入力装置
１６０４ 出力装置
１６０５ 外部記憶装置
１６０６ 媒体駆動装置
１６０７ ネットワーク接続装置
１６０８ バス
１６０９ 可搬記録媒体
１７０１ 情報処理装置
１７０２ ネットワーク
１７０３ サーバ
【発明の属する技術分野】
本発明は、入力画像に存在する歪みの補正方式に関する。
【０００２】
【従来の技術】
近年、非接触型画像入力装置（ＯＨＲ：Ｏｖｅｒ Ｈｅａｄ Ｒｅａｄｅｒ）を用いた帳票認識技術の向上が金融ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）商談において重要になってきた。
【０００３】
非接触型画像入力装置（ＯＨＲ）とは、ラインあるいはエリアＣＣＤを撮像素子として備える図１８に示すようなスタンド型の画像入力装置である。従来のイメージスキャナなどの接触型画像入力装置と比較して、ＯＨＲを用いることによって、ユーザが画像入力を行いながら帳票への記入が行える、帳票の表を見たまま画像入力が行える、といった作業の快適さを享受できる。
【０００４】
しかし、ＯＨＲにて取得した帳票の画像（以降ＯＨＲ画像と呼ぶ）には、スキャナにて取得した画像（以降スキャナ画像と呼ぶ）と比較して、濃淡むら、影、画像の歪みなどの画像の劣化が見られる。ＯＨＲ画像の歪みの主なものとしては３次元歪みがある。
【０００５】
ＯＨＲ画像において発生する３次元歪みを分類すると、主に次の３種類に分類される。
イ）中折り歪み：中央部に折り目のある帳票に発生する歪み。折り目が沈んでいるか、浮いているかにより、中折り沈み歪み、中折り浮き歪みの２種類がある。図１９に中折り沈み歪みＯＨＲ画像の例を、図２０に中折り浮き歪みＯＨＲ画像の例を示す。
【０００６】
ロ）周辺歪み：帳票周辺に発生する歪み。周辺が沈んでいるか、浮いているかにより、周辺沈み歪み、周辺浮き歪みの２種類がある。図２１に周辺沈み歪みのＯＨＲ画像の例を、図２２に周辺浮き歪みＯＨＲ画像の例を示す。
【０００７】
ハ）冊子歪み：数枚綴りの冊子に発生する歪み。図２３に冊子歪みの例を示す。
ＯＨＲを金融ＯＣＲ商談で用いるためには、これらの画像の３次元歪みを克服する歪み補正方式の開発が重要な課題となってきた。
【０００８】
一方、３次元歪みの存在するＯＨＲ画像に対して、高精度な文書認識を実現するための歪み補正方式が特開平１０−１５０５３２にて提案されている。ここに記載の方式は、数枚の紙を一点で止めた文書に発生する一点止め歪みの補正方式を対象としている。また、３次元歪みを計測するために（３次元の形状を求める）上及び横からの複数の視点から撮像した複数枚の画像を用いている。
【０００９】
【発明が解決しようとする課題】
しかしながら、３次元歪みを補正する従来方式は、３次元形状を推定するために複数のカメラを用いているため、実現コストが高くなり、広い設置スペースが必要となる。
【００１０】
本発明の課題は、上からの視点のみから撮像した画像一枚を用いることにより、実現コスト及び設置スペースを削減させることである。
【００１１】
【課題を解決するための手段】
上述した課題を解決するために、本発明では、上から撮像した一枚の画像から取得できる２次元輪郭を手がかりにし、さらに紙が矩形状であるという制約を利用して３次元曲面モデルを推定し、得られた３次元曲面モデルから画像の３次元歪みを補正するようにした。
【００１２】
本発明の一態様によれば、輪郭抽出手段と曲面推定手段と歪み補正手段を備えるように構成する。矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段が入力画像から紙の輪郭を抽出し、曲面推定手段が２次元輪郭を手がかりに紙の３次元曲面モデルを推定し、歪み補正手段が推定された３次元曲面モデルに基づいて、歪みを補正した画像を出力する。
【００１３】
このような構成をとることにより、一枚の画像から得られる２次元輪郭の歪みを手がかりに入力画像を補正するので、従来技術と比較してカメラが一台で済み、実現コスト及び設置スペースを削減することができるようになる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の原理構成を示す図である。輪郭抽出手段１０１、曲面推定手段１０２、歪み補正手段１０３を備える。矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段１０１が紙の輪郭を抽出し、曲面推定手段１０２が輪郭の歪みを手がかりに紙の３次元モデルを推定し、歪み補正手段１０３が紙の３次元曲面モデルに基づいて歪みを補正した画像を出力する。
【００１５】
帳票のＯＨＲ画像には折り目などによる影が発生するが、動的な影・濃淡むらのため安定した影の情報の取得は期待できない。従って、影の変化を歪み補正の手がかりに用いることは得策ではない。そこで、図１に示す本発明では比較的安定して取得できる帳票の輪郭を手がかりとして歪みを補正することにした。本方式は、帳票が長方形であることに着目して、帳票の輪郭の変形を手がかりに水平・垂直方向の画像伸縮を行う手法で、ｓｈａｐｅ ｆｒｏｍ ｃｏｎｔｏｕｒの一種とも言える。本方式の特徴は、曲面推定手段１０２が一枚の歪み画像から２次元輪郭の歪みを手がかりに３次元曲面モデルを推定している点である。カメラが一台で済むことにより、実現コストを大きく削減させ、手がかりとして影の変化と比較して安定して抽出できる帳票輪郭の歪みを用いているため、精度の良い歪み補正を実現できる効果がある。
【００１６】
図２に、本発明第１の実施例の構成を示す。図２に示す歪み補正方式は、中央部に折り目のある帳票に発生する歪みのうち、中折り沈み歪みを補正する補正方式である。中折り沈み歪みＯＨＲ画像は図１９に示したように、帳票の上輪郭、下輪郭、中折り輪郭は台などの基準面に接した線分として認識できる。尚、帳票の置き方によっては左輪郭、右輪郭、中折り輪郭が線分と認識される場合があるが、これは画像を９０度回転すれば上述したものと同様になる。従って、以下、上輪郭、中折り輪郭、下輪郭が線分として認識できる場合を例に中折り沈み歪みを補正する第１の実施例についてより詳細に説明する。
【００１７】
図２において、矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段２０１が紙の輪郭を抽出し、中折り沈み曲面推定手段２０２が中折り沈み帳票の輪郭の歪みを手がかりに３次元曲面モデルを推定し、歪み補正手段２０３が紙の３次元曲面モデルに基づいて歪みを補正した画像を出力する。
【００１８】
輪郭抽出手段２０１は、まず、ソーベルのエッジ抽出などの何らかのエッジ抽出により得た輪郭を輪郭候補画素とし、各輪郭候補画素が輪郭を構成するか否かを判断する。尚、輪郭抽出手段２０１は、エッジ抽出で抽出される紙の輪郭だけでなく、紙に付与された直線（水平、垂直）、文字列（水平、垂直）をも抽出し、これらの情報を用いるように構成してもよい。
【００１９】
抽出された輪郭候補画素の集合のうち対象画素が、例えば、左輪郭を構成するか否かを判断する場合について説明する（図３参照）。ある画素が左輪郭を構成する場合、その画素の左側は背景色などの低い画素値を持つ画素列で、右側は帳票なので白色などの高い画素値を持つ画素列となる。従って、例えば（−１，−１，−１，０，１，１，１）という線形フィルタ３０２と輪郭候補画素３０１との積和を求めると、積和値は大きくなる。よって、ある一定の閾値を定めておき、閾値より大きな積和値を持つ輪郭候補画素を輪郭画素として決定すればよい。このように、各輪郭候補画素に対して積和演算を行い、求めた積和値と閾値を比較して左輪郭を決定する。
【００２０】
同様に右輪郭の場合は、左輪郭の逆の構成を持つ線形フィルタ（１，１，１，０，−１，−１，−１）を用いればよく、上・下輪郭も同様に決定することができる。
【００２１】
尚、線形フィルタは０を中心に左右または上下対象となる任意の固有ベクトルでよい。すなわち、任意の定数ｋ、−ｋが０を中心にＮ個ずつ並ぶ（ｋ，ｋ，…，ｋ，０，−ｋ，…，−ｋ，−ｋ）のような固有ベクトルでよい。
【００２２】
上述のようにして輪郭抽出手段２０１は輪郭二値画像を出力する。さらに、輪郭抽出手段２０１は、後の処理で必要となる輪郭頂点、サンプル輪郭点を抽出する。尚、輪郭抽出手段２０１で得るものは２次元の画像中の輪郭に関するものなので、３次元中の帳票輪郭と区別するために、以降では頭に「２次元」とつけ、それぞれ２次元輪郭線、２次元輪郭頂点、２次元サンプル輪郭点と呼ぶことにする。図４は、輪郭抽出手段２０１で得られる２次元輪郭線、２次元輪郭頂点、２次元サンプル輪郭点の２次元座標に基づく表現を示している。
【００２３】
２次元輪郭頂点は、図４に示す上輪郭ＡＢまたは下輪郭ＥＦの中央部付近の輪郭点から左右方向に輪郭線をたどり、急激に傾きの変化する輪郭点（左上輪郭頂点Ａ、右上輪郭頂点Ｂ、左下輪郭頂点Ｅ、右下輪郭頂点Ｆ）を探索して求める。また、輪郭頂点Ａ、Ｂ、Ｅ、Ｆを線分で結んで得られた矩形ＡＢＦＥとの位置関係により、中折り輪郭（帳票中央部）の左右の頂点を抽出する。中折り沈み帳票の場合は、矩形に最も入りこんだ左右の輪郭点を中折り沈み輪郭頂点とする（折線左頂点Ｃ及び折線右頂点Ｄ）。
【００２４】
さらに、抽出した左右の輪郭線を区分線形近似するために用いられる２次元サンプル輪郭点は、図４に示すＹ軸方向に予め定めた等間隔ごとに選択することで求められる。
【００２５】
以下、２次元座標に基づく各点、線分、輪郭線などの表現等は図４に従うとする。
次に、中折り沈み曲面推定手段２０２について説明する。中折り沈み曲面推定手段２０２は、中折り沈み帳票に対して、得られた２次元サンプル輪郭点と入力画像の視点であるカメラ中心（スタンド型のＯＨＲを利用するので、カメラ中心は予め決まっている。）とを結ぶ線分と２つの２次元輪郭頂点を結ぶ線分を通り基準面に垂直な平面の交点であると仮定して、３次元サンプル輪郭点の座標を求める。そして求めた３次元サンプル輪郭点を線分でつないだ折線を輪郭線とし、輪郭線の線形補間近似により得た曲面を、歪んだ帳票曲面の３次元曲面モデルとして推定する。
【００２６】
中折り沈み曲面は、中折り輪郭（帳票中央部の基準面に接している線分）を境に上下２つの曲面に分割できる。以下、上部の曲面に限定して、中折り沈み曲面推定手段２０２における処理を詳細に説明する。下部の曲面に対しても上下対象に同様の議論を展開できる。
【００２７】
図５に、カメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す。図５に示した各記号の意味は外１の通り。透視変換により２次元サンプル輪郭点と関係づけられた３次元輪郭線上の点を３次元サンプル輪郭点と呼ぶ。カメラ中心及び３次元サンプル輪郭点の座標を図５のように表現することにする。
【００２８】
【外１】
左輪郭線上の３次元サンプル輪郭点の座標を求める場合、次のように求められる。
２次元左輪郭線上の２次元サンプル輪郭点に対応する３次元左輪郭線上の３次元サンプル輪郭点は、カメラ中心と２次元サンプル輪郭点を結ぶ線分と左輪郭頂点Ａ、Ｃを結ぶ線分ＡＣを通りｘｙ平面に垂直な平面の交点として求められる。
【００３０】
線分ＡＣを含むｘｙ平面に垂直な平面の方程式は（１）式のように表せる。
【００３１】
【数１】
また、３次元サンプル輪郭点がカメラ中心と２次元サンプル輪郭点を結ぶ線分を（１−ｔ）：ｔに内分する点であるとした場合、（２）式が成立する。
【００３３】
【数２】
（１）式、（２）式をｔについて解くと、（３）式になる。
【００３５】
【数３】
（３）式で求められるｔを代入することにより、各３次元サンプル輪郭点の座標を求めることができる。
右輪郭線上の３次元サンプル輪郭点の座標も同様にして求めることができる。
【００３７】
以上のように求めた３次元サンプル輪郭点を線分でつないだ折線を左輪郭線および右輪郭線とし、これらの輪郭線の線形補間近似により得た曲面を歪んだ帳票曲面の３次元曲面モデルとする。
【００３８】
線形補間近似として、例えば線形Ｃｏｏｎｓ補間などの補間手法を使うことができる。線形Ｃｏｏｎｓ補間とは、４つの３次元輪郭がある場合に、その間を線分で補間することである。線形Ｃｏｏｎｓ補間を行うための線形Ｃｏｏｎｓ曲面とは、曲線座標系（ｕ，ｗ）により定義されるパラメトリックな空間曲面の一種である。曲面が４つの曲面Ｐ（ｕ，０）、Ｐ（ｕ，１）、Ｐ（０，ｗ）、Ｐ（１，ｗ）により囲まれているとし、曲面上の点の座標をＱ（ｕ，ｗ）とすると、輪郭曲線の式を用いて（４）式のように表現できる（図６）。これにより得られる曲面を３次元曲面モデルとする。
【００３９】
【数４】
また、中折り沈み曲面推定手段２０２における３次元輪郭モデルを求める手法として、３次元輪郭線の点を離散的に３次元サンプル輪郭点としてとり、３次元サンプル点の高さあるいはそれに対応する量をモデルパラメータとする手法を説明したが、３次元輪郭モデルを求める手法は、この手法に限られるものではない。すなわち、例えば３次元輪郭モデルとして、スプライン曲線、ベジエ曲線などのパラメータ付曲線モデルを用いてもよい。
【００４１】
スプライン曲線、ベジエ曲線はパラメトリックな空間曲線である。一般に、パラメトリックな空間曲線は（５）式で表される。
【００４２】
【数５】
（５）式より、スプライン曲線は（６) 式で表される。
【００４４】
【数６】
同様に（５）式より、ベジエ曲線は（７）式で表される。
【００４６】
【数７】
このようにスプライン曲線、ベジエ曲線はパラメータｔによって表現できるため、このパラメータｔをモデルパラメータとして３次元輪郭モデルを求めればよい。
【００４８】
また更に、中折り曲面推定部（あるいは曲面推定部）は輪郭線を用いるだけでなく、紙に付与された直線（垂直、水平）、文字列（垂直、水平）などの情報を用いて、同様の方法で３次元曲面を推定するように構成することもできる。
【００４９】
次に、歪み補正手段２０３について説明する。歪み補正手段２０３は、補正後画像の各画素に対応した入力画像中の位置を、輪郭線を座標軸とする曲線座標系を用いて求め、入力画像中の対応画素の値（二値、階調、カラー）を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正後画像を得る。
【００５０】
中折り帳票の場合、上輪郭線及び下輪郭線は輪郭頂点を結ぶ線分として得られる。左輪郭線及び右輪郭線は中折り沈み曲面推定手段２０２により得られた３次元サンプル輪郭点を結ぶ折線として得られる。また、中折り輪郭は中折り沈み曲面推定手段２０２により得られた中折り部の３次元サンプル輪郭点を結ぶ線分として得られる。
【００５１】
中折り帳票を中折り輪郭を境に上部と下部に分割し、それぞれに対する３次元曲面上に曲線座標系を設定して歪み補正を行う。以下、上部の３次元曲面についての歪み補正方法を説明する。下部に対しても同様の処理を実行すればよい。
【００５２】
原点を左上輪郭頂点（図４に示す点Ａ）とし、Ｘ軸を上輪郭線とし、Ｙ軸を左輪郭線とする。補正後画像の幅Ｗ（ｗｉｄｔｈ）は、上輪郭線及び中折り輪郭線の長さの平均値を用い、補正後画像の高さＨ（ｈｉｇｈｔ）は左輪郭線及び右輪郭線の長さの平均を用いる。すなわち（８）、（９）式のようになる。
【００５３】
【数８】
左輪郭線上のＹ座標のメモリ付けをするために、０以上高さＨ以下の整数値をとるＹに対して左輪郭線上の点Ｌ（Ｙ）を対応づけ、３次元座標を求める。Ｌ（Ｙ）の３次元座標を求めるには、左輪郭線を表す３次元サンプル輪郭点をつないだ折れ線上を左上輪郭頂点からたどり、長さ（Ｈ／Ａｃ）ずつ進めることによって行う。
【００５５】
同様にして０以上高さＨ以下の整数値をとるＹに対して右輪郭線上の点Ｒ（Ｙ）を対応づけ、３次元座標を求める。Ｒ（Ｙ）の３次元座標を求めるには、右輪郭線を表す３次元輪郭点をつないだ折線上を右上輪郭頂点からたどり、長さ（Ｈ／Ｂｄ）ずつ進めることによって行う。Ｌ（Ｙ）とＲ（Ｙ）により曲線座標系を表現していると考えることができる（図７）。
【００５６】
このように曲線座標系を定義し、次に歪み補正後の画像の２次元座標（Ｘ，Ｙ）に対応した画素の濃度Ｇ（Ｘ，Ｙ）（０≦Ｘ≦Ｗ，０≦Ｙ≦Ｈ）を求める。
補正後２次元座標（Ｘ，Ｙ）に対応する点は、３次元曲面上の曲線座標による２次元座標（Ｘ，Ｙ）を持つ点Ｐである。点Ｐの３次元座標を（１０）式とする。
【００５７】
【数９】
点Ｐは、左輪郭線上の点Ｌ（Ｙ）と右輪郭線上の点Ｒ（Ｙ）を線形補間した点として、線分Ｌ（Ｙ）Ｒ（Ｙ）をＸ／Ｗ：（１−Ｘ／Ｗ）に内分する点として表現することができる。従って（１１）式より点Ｐの３次元座標を求めることができる。
【００５９】
【数１０】
次に、カメラ中心から点Ｐを通る直線とｘｙ基準面との交点の２次元座標を求める。透視変換の条件により、（１２）式のようになる。
【００６１】
【数１１】
従って、補正後画像の濃度Ｇ（Ｘ，Ｙ）は（１３）式で求めることができる。
【００６３】
【数１２】
但し、（１３）式において、カメラ中心から点Ｐを通る直線とｘｙ基準面との交点の２次元座標は、実数なので少数部分を丸めるために四捨五入をしている。以上に説明した本発明第１の実施例に従って処理した中折り沈み歪みＯＨＲ画像の補正結果を図８に示す。図８は、図１９を補正したものである。このように、本発明第１の実施例によれば、中折り沈み歪みＯＨＲ画像を良好に補正することができる。
【００６５】
図９は本発明第２の実施例を示す図である。図９に示す歪み補正方式は、中央部に折り目のある帳票に発生する歪みのうち、中折り浮き歪みを補正する補正方式である。中折り浮き歪みＯＨＲ画像は図２０に示したように、帳票の上輪郭及び下輪郭は台などの基準面に接しているが、第１の実施例で対象とした中折り沈み歪みとは異なり、中央部の中折り輪郭は基準面から浮いている。尚、帳票の置き方によっては、左輪郭、右輪郭、中折り輪郭が線分として認識される場合があるが、これは画像を９０度回転すれば上述したものと同様になる。従って、以下、上輪郭、中折り輪郭、下輪郭が線分として認識できる場合を例に中折り浮き歪みを補正する第２の実施例についてより詳細に説明する。
【００６６】
図９において、矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手段９０１が紙の輪郭を抽出し、中折り浮き曲面推定手段９０２が中折り浮き帳票の輪郭の歪みを手がかりに３次元曲面モデルを推定し、歪み補正手段９０３が紙の３次元曲面モデルに基づいて歪みを補正した画像を出力する。
【００６７】
輪郭抽出手段９０１は、第１の実施例で説明した輪郭抽出手段２０１とほぼ同様に、エッジ抽出のあと、エッジ抽出された輪郭候補画素に対して線形フィルタとの積和を求めて、求めた積和値から輪郭画素を決定する。また、２次元輪郭線、２次元輪郭頂点、２次元サンプル輪郭点を抽出する。
【００６８】
この際、中折り輪郭（帳票中央部）の左右の頂点を抽出するには中折り沈み帳票の場合とは異なり、矩形から最も離れた左右の輪郭点を中折り浮き輪郭頂点として抽出する。
【００６９】
輪郭抽出手段９０１は、図１０に示すような２次元座標に基づく２次元輪郭線、２次元サンプル輪郭点、２次元輪郭頂点を抽出する。以下、２次元座標に基づく各点、線分、輪郭線などの表現等は図１０に従うとする。
【００７０】
次に、中折り浮き曲面推定手段９０２について説明する。中折り浮き曲面推定手段９０２では、上輪郭／下輪郭が基準面からの高さ０、中央部の中折り輪郭の高さが未知である中折り浮き帳票に対して、中央部の中折り輪郭の頂点の高さに相当する量を２次元のモデルパラメータとする。そして、モデルパラメータを用いて３次元輪郭長が上下／左右それぞれ等しいという制約を付したエネルギー関数を表現する。このエネルギー関数を最小化する最適化問題として、最適なモデルパラメータを反復法などの方法により求める。求めたモデルパラメータから、各３次元サンプル輪郭点の座標を求め、３次元曲面モデルを推定する。以下、モデルパラメータを求める手法について述べる。
【００７１】
尚、中折り浮き曲面は、中折り輪郭（帳票中央部）を境に上下２つの曲面に分割できるので、上部の曲面に限定して中折り浮き曲面推定手段９０２における処理を詳細に説明する。
【００７２】
図１１に、カメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す。図１１における各記号の意味は外１と同じである。透視変換により２次元サンプル輪郭点と関係付けられた３次元輪郭線上の点を３次元サンプル輪郭点と呼ぶ。カメラ中心及び３次元サンプル輪郭点の座標を図１１のように表現することにする。
【００７３】
左輪郭線について、３次元サンプル輪郭点がカメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分を内分する点であるとした場合、（１４）式が成り立つ。
【００７４】
【数１３】
また、右輪郭線について３次元サンプル輪郭点がカメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分を内分する点であるとした場合、（１５）式が成り立つ。
【００７６】
【数１４】
中折り浮き輪郭の３次元左頂点ｃの座標は（１６）式、３次元右頂点ｄの座標は（１７）式で表せる。この二つの点の内分比がそれぞれ決まると、各３次元サンプル輪郭点は、カメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分上にあり、かつ線分Ａｃあるいは線分Ｂｄを含みｘｙ平面に垂直な平面上にある、という条件から、各３次元サンプル輪郭点の座標が求まることになる。
【００７８】
【数１５】
従って、３次元左頂点ｃ、３次元右頂点ｄの内分比が帳票曲面の３次元モデルの２次元モデルパラメータであると考えることができる。
左輪郭線について、上記の３次元サンプル輪郭点の満たすべき条件から、対応する内分比をモデルパラメータを用いて（１８）式のように求めることができる。
【００８０】
【数１６】
同様に、右輪郭線についても３次元サンプル輪郭点の満たすべき条件から対応する内分比をモデルパラメータを用いて（１９）式のように求めることができる。
【００８２】
【数１７】
３次元輪郭線が上下／左右それぞれで等しいという制約を表現したエネルギー関数Ｅを最小化する最適化問題として定式化し、以下に述べるように最適なモデルパラメータを例えば反復法により求める。
【００８４】
エネルギー関数Ｅは、上輪郭線ＡＢと中折り浮き輪郭線ｃｄの長さの差の自乗と左輪郭線Ａｃと右輪郭線Ｂｄの長さの差の自乗の線形和で定義する。帳票曲面のモデルパラメータである内分比により、エネルギー関数Ｅの値は一意に決まる。従って、エネルギー関数Ｅは（２０）式のようになる。
【００８５】
【数１８】
上輪郭線（線分ＡＢ）及び中折り浮き輪郭線（線分ｃｄ）は線分であるから、（２１）式、（２２）式のように３次元頂点座標から長さを求めることができる。
【００８７】
【数１９】
一方、左輪郭線Ａｃ及び右輪郭線Ｂｄの長さは３次元サンプル輪郭点を結ぶ線分の長さの和で近似することとする。すなわち、（２３）式、（２４) 式のようになる。
【００８９】
【数２０】
エネルギー関数Ｅを最小にするモデルパラメータを、最急降下法により求める。すなわち、初期値を適当に設定し、（２５）式によりモデルパラメータを繰り返し変化させる。εは微小な正の数である。
【００９１】
【数２１】
（２０）式のエネルギー関数の定義を用いて展開すると、（２６）式、（２７）式のようになる。
【００９３】
【数２２】
以上により、モデルパラメータが求められ、各３次元サンプル輪郭点の座標を求めることができる。そして、中折り浮き曲面推定手段９０２は、求めた各３次元サンプル輪郭点を線分でつないだ折線を輪郭線とし、輪郭線の線形補間近似により得た曲面を歪んだ帳票曲面の３次元曲面モデルとして推定する。線形補間近似としては、中折り沈み曲面推定手段２０２と同様に線形Ｃｏｏｎｓ補間などの補間手法を用いる。
【００９５】
尚、エネルギー関数Ｅについて、中折り浮き曲面上部についてのエネルギー関数Ｅを定式化したが、曲面上部・下部の全体でエネルギー関数Ｅを定式化することもできる。曲面全体に対して定式化したエネルギー関数Ｅは、中折り浮き曲面モデルが図１２に示すように表せるとして、（２８）式のように表現される。
【００９６】
【数２３】
この場合、曲面全体に対して最適化問題を解くことになるので、曲面上部と下部に分けてモデルパラメータを求めた場合よりも精度が上がることになる。
次に、歪み補正手段９０３についてであるが、歪み補正手段９０３は、第１の実施例における歪み補正手段２０３と同じである。すなわち、歪み補正手段９０３は、補正後画像の各画素に対応した入力画像中の位置を、輪郭線を座標軸とする曲線座標系を用いて求め、入力画像中の対応画素の値（二値、階調、カラー）を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正後画像を得る。詳細については、第１の実施例の説明を参照とする。
【００９８】
本発明第２の実施例に従って処理した中折り浮き歪みＯＨＲ画像の補正結果を図１３に示す。図１３は、図２０を補正したものである。このように、本発明第２の実施例によれば、中折り浮き歪みＯＨＲ画像を良好に補正することができる。
【００９９】
以上のように、帳票のＯＨＲ画像における中折り沈み／浮き歪みの補正方式について詳細に説明したが、この方式はこれらの場合に限定されるものではない。すなわち、帳票のＯＨＲ画像における線織面歪みについても同様の方式を適用できる。尚、線織面とは紙を歪めた場合にできる曲面の一般的な呼び方である。
【０１００】
例えば、線織面歪みの一例として、帳票のＯＨＲ画像に周辺浮き歪み（図２１）が生じている場合、３次元輪郭が全て曲線となる。従って、中折り浮き歪みの場合に２つのモデルパラメータを求めたが（本発明第２の実施例）、より多くのモデルパラメータ（例えば１０〜２０個）を設定し、上下／左右の輪郭の長さが等しいというエネルギー関数を定式化し、最適化問題を解くようにすればよい。そして、求めたモデルパラメータから３次元曲面モデルを推定し、推定した曲面モデルに基づいて入力画像における歪みを補正して出力する。同様に、周辺沈み歪み（図２２）、冊子歪み（図２３）についても、より多くのモデルパラメータを設定することで３次元曲面モデルを推定し、歪み補正を行うことができる。
【０１０１】
また、上記各実施例の説明では、図１に示した本発明の原理構成に従って、輪郭抽出手段１０１で輪郭を抽出し、曲面推定手段１０２で輪郭の歪みを手がかりに３次元モデルを推定し、歪み補正手段１０３が推定した３次元曲面モデルに基づいて歪みを補正した画像を出力する方式について述べた。しかしながら、図１４に示すように、曲面を推定せずに、輪郭抽出手段１４０１で抽出された輪郭の歪みを手がかりに歪み補正手段１４０２が歪みを補正した画像を出力するように構成することもできる。
【０１０２】
輪郭抽出手段１４０１は、輪郭抽出手段１０１と同様な処理を行うが、この場合の歪み補正手段１４０２について、図１５のような輪郭１５０１が得られた場合を例として説明する。まず、歪み補正手段１４０２では、抽出された輪郭１５０１の上輪郭１５０２、中折り輪郭１５０３、下輪郭１５０４の線分の長さに合わせて、輪郭を横方向に伸縮させる（▲１▼）。そして次に、図１５に示す点線で囲んだ各部分の曲線部（１５０５−１〜１５０５−８）を直線で近似して、その直線の傾きを求め、その傾きから縦方向の縮み具合を求める。求められた縮み具合に基づいて、前記横方向に伸縮させた輪郭を更に縦方向に伸縮する（▲２▼）。このように、３次元曲面モデルを推定せずに、２次元のデータ処理だけで歪みを補正するように構成することも可能である。
【０１０３】
ところで、本発明の歪み補正方式は、図１６に示すような情報処理装置（コンピュータ）を用いて実行することができる。図１６の情報処理装置は、ＣＰＵ（中央処理装置）１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、外部記憶装置１６０５、媒体駆動装置１６０６、及びネットワーク接続装置１６０７を備え、それらはバス１６０８により互いに接続されている。
【０１０４】
メモリ１６０２は、例えばＲＯＭ(read only memory)、ＲＡＭ(random access memory)等を含み、処理に用いられるプログラムとデータを格納する。ＣＰＵ１６０１は、メモリ１６０２を利用してプログラムを実行することにより、必要な処理を行う。つまり、本発明の輪郭抽出手段１０１、曲面推定手段１０２、歪み補正手段１０３はメモリ１６０２に格納されたプログラムで実現される。
【０１０５】
帳票等の画像データは、ＯＨＲ等の入力装置１６０３を介して情報処理装置に取り込まれる。また、出力装置１６０４は例えばディスプレイ、プリンタ等であり、処理結果の出力等に用いられる。
【０１０６】
外部記憶装置１６０５は、例えば磁気ディスク装置、光ディスク装置、光磁気ディスク装置などである。情報処理装置はこの外部記憶装置１６０５に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ１６０２にロードして使用することができる。
【０１０７】
媒体駆動装置１６０６は、可搬型記録媒体１６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１６０９としては、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ(compact disk read only memory) 、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。この可搬記録媒体１６０９に上述のプログラムとデータを格納しておき、必要に応じてそれらをメモリ１６０２にロードして使用することができる。
【０１０８】
ネットワーク接続装置１６０７は、ＬＡＮ(local area network)等の任意のネットワーク( 回線) を介して外部の装置と通信し、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、ネットワーク接続装置１６０７を介して上述のプログラムとデータを外部の装置から受け取り、それらをメモリ１６０２にロードして使用することができる。なお、図１６は情報処理装置単体で示してあるが、複数のコンピュータからなる処理装置やネットワークを介した複数の処理装置でも実現が可能である。
【０１０９】
また、図１７は、本発明に係わる情報処理装置で実行されるソフトウェアプログラム等の提供方法を説明する図である。プログラム等は例えば以下の（ａ）〜（ｃ）の３つの方法の中の任意の方法により提供される。
【０１１０】
( ａ) コンピュータ等の情報処理装置１７０１にインストールされて提供される。この場合、プログラム等は例えば出荷前にプレインストールされる。
( ｂ) 可搬型記録媒体１６０９に格納されて提供される。この場合、可搬型記憶媒体１６０９に格納されているプログラム等は、コンピュータ等の情報処理装置１７０１の外部記憶装置１６０５にインストールされる。
【０１１１】
( ｃ) ネットワーク１７０２上のサーバから提供される。この場合、基本的には、コンピュータなどの情報処理装置１７０１がサーバ１７０３に格納されているプログラム等をダウンロードすることによって、そのプログラム等を取得する。
【０１１２】
（付記１）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙に付与された規則正しい図形を抽出する輪郭抽出手段と、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１３】
（付記２）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出する輪郭抽出手段と、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１４】
（付記３）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙の輪郭を抽出する輪郭抽出手段と、
前記輪郭の歪みを手がかりに歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１５】
（付記４）矩形状の紙の輪郭情報を取得し、前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１６】
（付記５）矩形状の紙を撮像した画像を入力画像とし、前記入力画像から前記紙の輪郭を抽出する輪郭抽出手段と、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。
【０１１７】
（付記６）前記入力画像及び出力画像が白黒二値画像または階調画像またはカラー画像であることを特徴とする、付記５記載の歪み補正装置。
（付記７）前記輪郭抽出手段は、前記入力画像に対してエッジ抽出を行って得た輪郭画素候補のうち、水平あるいは垂直方向に対象画素を挟んで前記紙の外部領域の階調あるいはカラーを持つ画素の列の並びと前記紙の内部領域の階調あるいはカラーを持つ画素の列の並びが存在する度合いを表す輪郭らしさを評価し、前記輪郭らしさが強い輪郭画素候補を輪郭画素とすることを特徴とする、付記５記載の歪み補正装置。
【０１１８】
（付記８）前記輪郭抽出手段は、前記輪郭らしさとして、前記輪郭画素候補を挟んで水平あるいは垂直方向に、前記輪郭画素候補の近傍から任意に抽出された画素の値と適切に設定した固定値ベクトルとの積和演算を行って得た量を用いることを特徴とする、付記７記載の歪み補正装置。
【０１１９】
（付記９）前記輪郭抽出手段は、前記輪郭らしさとして、前記輪郭画素候補を挟んで水平あるいは垂直方向に、ｋを正または負の定数として、水平方向の場合は値０を中心とする左右対称のマスク、ｋ，ｋ，ｋ，・・・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，−ｋ、垂直方向の場合は値０を中心とする上下対称のマスク、ｋ，ｋ，ｋ，・・・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，−ｋにより、積和演算を行って得た量を用いることを特徴とする、付記８記載の歪み補正装置。
【０１２０】
（付記１０）前記曲面推定手段は、前記３次元曲面モデルとして、中折り沈み歪みをモデル化した中折り沈み歪み３次元曲面モデルを用いることを特徴とする、付記５記載の歪み補正装置。
【０１２１】
（付記１１）前記曲面推定手段は、前記３次元曲面モデルとして、中折り浮き歪みをモデル化した中折り浮き歪み３次元曲面モデルを用いることを特徴とする、付記５記載の歪み補正装置。
【０１２２】
（付記１２）前記曲面推定手段は、前記３次元曲面モデルとして、周辺浮き歪みをモデル化した周辺浮き歪み３次元曲面モデルを用いることを特徴とする、付記５記載の歪み補正装置。
【０１２３】
（付記１３）前記曲面推定手段は、前記３次元曲面モデルとして、前記紙の３次元輪郭をモデル化して得られる３次元輪郭モデルに線形Coons 補間などの補間手法を施して得られる曲面を用いることを特徴とする、付記５記載の歪み補正装置。
【０１２４】
（付記１４）前記曲面推定手段は、前記３次元輪郭モデルとして、３次元輪郭上の点を離散的に３次元サンプル点として取り、３次元サンプル点の高さあるいはそれに対応した量をモデルパラメータとすることを特徴とする、付記１３記載の歪み補正装置。
【０１２５】
（付記１５）前記曲面推定手段は、前記３次元輪郭モデルとして、スプライン曲線またはベジエ曲線などのパラメータ付き曲線モデルを用いることを特徴とする、付記１３記載の歪み補正装置。
【０１２６】
（付記１６）前記曲面推定手段は、前記３次元輪郭モデルとして、３次元輪郭の端点２点の高さ、あるいはそれに対応した量をモデルパラメータとして、３次元輪郭上の点は端点２点を結んだ３次元線分を含む垂直平面上に存在するとして位置を制約することを特徴とする、付記１３記載の歪み補正装置。
【０１２７】
（付記１７）前記曲面推定手段は、前記３次元輪郭モデルとして、３次元線分を用いることがあることを特徴とする付記１３記載の歪み補正装置。
（付記１８）前記曲面推定手段は、抽出された輪郭を手がかりに、透視変換を用いて３次元輪郭を推定することにより、３次元曲面を推定することを特徴とする、付記５記載の歪み補正装置。
【０１２８】
（付記１９）前記曲面推定手段は、左右あるいは上下で対となっている３次元輪郭の長さが等しいという制約をエネルギー関数を用いて表現し、エネルギー最小となる前記３次元曲面モデルのパラメータを求める最適化問題を解いて３次元曲面モデルを推定することを特徴とする、付記１１記載の歪み補正装置。
【０１２９】
（付記２０）前記曲面推定手段は、輪郭を座標軸とする曲線座標系において、同一のＸ座標あるいはＹ座標を持つ曲線がすべて同じ長さを持つという制約をエネルギー関数を用いて表現し、エネルギー最小となる３次元曲面モデルのパラメータを求める最適化問題を解いて３次元曲面モデルを推定することを特徴とする、付記１５記載の歪み補正装置。
【０１３０】
（付記２１）前記歪み補正手段は、前記輪郭を座標軸とする曲線座標系を用いて補正後画像の各画素に対応した前記入力画像中の位置を求め、前記入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正後画像を得ることを特徴とする付記５記載の歪み補正装置。
【０１３１】
（付記２２）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙に付与された規則正しい図形を抽出し、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定し、前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３２】
（付記２３）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出し、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３３】
（付記２４）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３４】
（付記２５）矩形状の紙の輪郭情報を取得し、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３５】
（付記２６）矩形状の紙を撮像した画像を入力画像とし、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
ことを特徴とする歪み補正方法。
【０１３６】
（付記２７）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力された画像から前記紙に付与された規則正しい図形を抽出し、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１３７】
（付記２８）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力された画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出し、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１３８】
（付記２９）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪を補正した画像を出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１３９】
（付記３０）入力された矩形状の紙の輪郭情報に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１４０】
（付記３１）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
前記入力された画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１４１】
（付記３２）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力された画像から前記紙に付与された規則正しい図形を抽出し、
前記規則正しい図形の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４２】
（付記３３）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力された画像から前記紙の輪郭、あるいは紙に書かれている水平線及び垂直線、あるいは紙に書かれている水平文字列及び垂直文字列を抽出し、
前記輪郭の歪み、あるいは前記紙書かれている水平線及び垂直線の交差の歪み、あるいは前記紙に書かれている水平文字列及び垂直文字列の交差の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４３】
（付記３４）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力画像から前記紙の輪郭を抽出し、
前記輪郭の歪を補正した画像を出力する、
という処理を含むプログラム。
【０１４４】
（付記３５）入力された矩形状の紙の輪郭情報に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４５】
（付記３６）入力された矩形状の紙を撮像した画像に含まれる紙の輪郭の歪みを補正するという処理をコンピュータに実行させるためのプログラムであって、
前記入力された画像から前記紙の輪郭を抽出し、
前記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを推定し、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。
【０１４６】
【発明の効果】
以上詳細に説明したように本発明によれば、３次元歪みの存在する帳票について、上から撮像した一枚の画像（ＯＨＲ画像）から取得できる２次元輪郭を手がかりにし、さらに紙が矩形状であるという制約を利用して３次元モデルを推定し、得られた３次元曲面モデルから画像の３次元歪みを補正することができる。これにより、一枚の画像から得られる２次元輪郭の歪みを手がかりに入力画像を補正するので、従来技術と比較してカメラが一台で済み、実現コスト及び設置スペースを削減することができる。
【図面の簡単な説明】
【図１】本発明の原理構成を示す図である。
【図２】本発明第１の実施例の構成を示す図である。
【図３】輪郭抽出手段における輪郭らしさの評価方法を説明する図である。
【図４】輪郭線、輪郭頂点及びサンプル輪郭点を示す図である。
【図５】中折り沈み曲面モデル（上部）におけるカメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す図である。
【図６】線形Ｃｏｏｎｓ曲面を示す図である。
【図７】３次元曲面に対する曲線座標系を示す図である。
【図８】中折り沈み歪み補正結果を示す図である。
【図９】本発明第２の実施例の構成を示す図である。
【図１０】輪郭線、輪郭頂点及びサンプル輪郭点を示す図である。
【図１１】中折り浮き曲面モデル（上部）におけるカメラ中心と２次元輪郭及び３次元輪郭の位置関係を示す図である。
【図１２】中折り浮き曲面モデル（全体）を示す図である。
【図１３】中折り浮き歪み補正結果を示す図である。
【図１４】曲面を推定せずに歪みを補正する場合の構成を示す図である。
【図１５】図１４に示す方式を説明する図である。
【図１６】情報処理装置を示す図である。
【図１７】ソフトウェアプログラム等の提供方法を説明する図である。
【図１８】非接触型画像入力装置（ＯＨＲ）を示す図である。
【図１９】中折り沈みＯＨＲ画像の例を示す図である。
【図２０】中折り浮きＯＨＲ画像の例を示す図である。
【図２１】周辺歪み（浮き）ＯＨＲ画像の例を示す図である。
【図２２】周辺歪み（沈み）ＯＨＲ画像の例を示す図である。
【図２３】冊子歪みＯＨＲ画像の例を示す図である。
【符号の説明】
１０１ 輪郭抽出手段
１０２ 曲面推定手段
１０３ 歪み補正手段
２０１ 輪郭抽出手段
２０２ 中折り沈み曲面推定手段
２０３ 歪み補正手段
３０１ 輪郭候補画素
３０２ 線形フィルタ
９０１ 輪郭抽出手段
９０２ 中折り浮き曲面推定手段
９０３ 歪み補正手段
１４０１ 輪郭抽出手段
１４０２ 歪み補正手段
１５０１ 輪郭
１５０２ 上輪郭
１５０３ 中折り輪郭
１５０４ 下輪郭
１５０５ 輪郭の曲線部
１６０１ ＣＰＵ
１６０２ メモリ
１６０３ 入力装置
１６０４ 出力装置
１６０５ 外部記憶装置
１６０６ 媒体駆動装置
１６０７ ネットワーク接続装置
１６０８ バス
１６０９ 可搬記録媒体
１７０１ 情報処理装置
１７０２ ネットワーク
１７０３ サーバ
Claims (3)
- 矩形状の紙を上から撮像した１枚の画像を入力画像とし、前記入力画像から前記紙の輪郭である２次元輪郭を抽出する輪郭抽出手段と、
３次元サンプル輪郭点を、カメラ中心と前記２次元輪郭上のサンプル点である２次元サンプル輪郭点を結ぶ線分と、該２次元輪郭頂点を結ぶ線分を通り基準面に垂直な平面の交点として求め、求めた該３次元サンプル輪郭点を線分でつないだ折れ線を輪郭線とし、該輪郭線の線形補間近似により得た曲面を歪んだ紙の３次元曲面モデルとして曲面を推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備え、
前記曲面推定手段は、前記３次元曲面モデルとして、前記紙の３次元輪郭をモデル化して得られる３次元輪郭モデルに線形Ｃｏｏｎｓ補間を施して得られる曲面を用い、
更に、前記曲面推定手段は、前記３次元輪郭モデルとして、３次元輪郭の端点２点の高さ、あるいはそれに対応した量をモデルパラメータとして、３次元輪郭上の点は端点２点を結んだ３次元線分を含む垂直平面上に存在するとして位置を制約することを特徴とする歪み補正装置。 - 矩形状の紙を上から撮像した１枚の画像を入力画像とし、前記入力画像から前記紙の輪郭である２次元輪郭を抽出する輪郭抽出手段と、
３次元サンプル輪郭点を、カメラ中心と前記２次元輪郭上のサンプル点である２次元サンプル輪郭点を結ぶ線分と、該２次元輪郭頂点を結ぶ線分を通り基準面に垂直な平面の交点として求め、求めた該３次元サンプル輪郭点を線分でつないだ折れ線を輪郭線とし、該輪郭線の線形補間近似により得た曲面を歪んだ紙の３次元曲面モデルとして曲面を推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備え、
前記曲面推定手段は、前記３次元曲面モデルとして、中折り浮き歪みをモデル化した中折り浮き歪み３次元曲面モデルを用い、
更に、前記曲面推定手段は、左右あるいは上下で対となっている３次元輪郭の長さが等しいという制約をエネルギー関数を用いて表現し、エネルギー最小となる前記３次元曲面モデルのパラメータを求める最適化問題を解いて３次元曲面モデルを推定することを特徴とする歪み補正装置。 - 矩形状の紙を上から撮像した１枚の画像を入力画像とし、前記入力画像から前記紙の輪郭である２次元輪郭を抽出する輪郭抽出手段と、
３次元サンプル輪郭点を、カメラ中心と前記２次元輪郭上のサンプル点である２次元サンプル輪郭点を結ぶ線分と、該２次元輪郭頂点を結ぶ線分を通り基準面に垂直な平面の交点として求め、求めた該３次元サンプル輪郭点を線分でつないだ折れ線を輪郭線とし、該輪郭線の線形補間近似により得た曲面を歪んだ紙の３次元曲面モデルとして曲面を推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画像を出力画像として出力する歪み補正手段と、
を備え、
前記曲面推定手段は、前記３次元曲面モデルとして、前記紙の３次元輪郭をモデル化して得られる３次元輪郭モデルに線形Ｃｏｏｎｓ補間を施して得られる曲面を用い、
更に、前記曲面推定手段は、前記３次元輪郭モデルとして、パラメータ付き曲線モデルを用い、
更に、前記曲面推定手段は、輪郭を座標軸とする曲線座標系において、同一のＸ座標あるいはＹ座標を持つ曲線がすべて同じ長さを持つという制約をエネルギー関数を用いて表現し、エネルギー最小となる３次元曲面モデルのパラメータを求める最適化問題を解いて３次元曲面モデルを推定することを特徴とする歪み補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001262207A JP4456304B2 (ja) | 2000-09-04 | 2001-08-30 | 歪み補正方式 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000267511 | 2000-09-04 | ||
| JP2000-267511 | 2000-09-04 | ||
| JP2001262207A JP4456304B2 (ja) | 2000-09-04 | 2001-08-30 | 歪み補正方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002150280A JP2002150280A (ja) | 2002-05-24 |
| JP4456304B2 true JP4456304B2 (ja) | 2010-04-28 |
Family
ID=26599198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001262207A Expired - Fee Related JP4456304B2 (ja) | 2000-09-04 | 2001-08-30 | 歪み補正方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4456304B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004040395A (ja) | 2002-07-02 | 2004-02-05 | Fujitsu Ltd | 画像歪み補正装置、方法及びプログラム |
| JP4946376B2 (ja) | 2006-11-15 | 2012-06-06 | 富士通株式会社 | 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法 |
| CN102439628A (zh) * | 2009-04-27 | 2012-05-02 | 意法爱立信(法国)有限公司 | 变换二维图像的几何方法 |
| JP6010870B2 (ja) * | 2013-12-24 | 2016-10-19 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
| WO2016024375A1 (ja) * | 2014-08-12 | 2016-02-18 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| CN105678684B (zh) | 2014-11-18 | 2020-11-03 | 中兴通讯股份有限公司 | 一种截取图像的方法及装置 |
| CN109791687B (zh) * | 2018-04-04 | 2023-01-20 | 香港应用科技研究院有限公司 | 在任意曲面上的图像修复 |
| CN112215192B (zh) * | 2020-10-22 | 2024-01-23 | 常州大学 | 一种基于机器视觉技术的快速录入试卷成绩的方法 |
| CN112565549A (zh) * | 2020-12-25 | 2021-03-26 | 深圳太极云软技术有限公司 | 一种书册图像扫描方法 |
| CN113052777A (zh) * | 2021-04-15 | 2021-06-29 | 环旭电子股份有限公司 | 物料盘的校正方法和校正系统 |
| CN113877827B (zh) * | 2021-09-14 | 2023-06-16 | 深圳玩智商科技有限公司 | 物流件抓取方法、抓取设备及存储介质 |
-
2001
- 2001-08-30 JP JP2001262207A patent/JP4456304B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002150280A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100761641B1 (ko) | 왜곡 보정 장치 및 방법 | |
| KR101627194B1 (ko) | 화상형성장치 및 이미지 모자이크 생성 방법 | |
| KR101737338B1 (ko) | 주석이 달린 문서 이미지들로부터 클린 문서를 복원하기 위한 시스템 및 방법 | |
| JP4047352B2 (ja) | 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法 | |
| JP4847592B2 (ja) | 歪み文書画像を補正する方法及びシステム | |
| US7418126B2 (en) | Image distortion correcting method and apparatus, and storage medium | |
| KR101361897B1 (ko) | 영상 처리 방법, 영상 처리 장치 및 스캐너 | |
| KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| US8803950B2 (en) | Three-dimensional face capturing apparatus and method and computer-readable medium thereof | |
| US7330604B2 (en) | Model-based dewarping method and apparatus | |
| JP3883696B2 (ja) | 多数の写真をスキャンしかつ検出するとともに人工エッジを除去するための方法 | |
| US8311336B2 (en) | Compositional analysis method, image apparatus having compositional analysis function, compositional analysis program, and computer-readable recording medium | |
| JP4535584B2 (ja) | ディジタル画像処理方法 | |
| JP4630777B2 (ja) | デジタル文書を変更する方法、装置、コンピュータプログラム及び記憶媒体 | |
| JP2012243307A (ja) | 入力画像における歪を検出する方法、入力画像における歪を検出する装置およびコンピューター読み取り可能な媒体 | |
| JP2001109895A (ja) | 複数のディジタル画像の処理方法 | |
| JP4456304B2 (ja) | 歪み補正方式 | |
| JP5541679B2 (ja) | 画像処理装置及び方法、並びに、プログラム | |
| US20200274990A1 (en) | Extracting a document page image from a electronically scanned image having a non-uniform background content | |
| JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
| JP2022189368A (ja) | 物品記録装置及び物品記録方法 | |
| Gündüz et al. | Feature Extraction from Aerial Photos | |
| JPH04167076A (ja) | 二次元画像変形処理装置 | |
| JP2010182166A (ja) | 画像処理装置および画像処理方法 | |
| JP2003303341A (ja) | 画像変換装置および方法、記録媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060612 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |