JP3983721B2 - 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム - Google Patents
画像歪み補正装置、画像読取装置、画像形成装置及びプログラム Download PDFInfo
- Publication number
- JP3983721B2 JP3983721B2 JP2003204286A JP2003204286A JP3983721B2 JP 3983721 B2 JP3983721 B2 JP 3983721B2 JP 2003204286 A JP2003204286 A JP 2003204286A JP 2003204286 A JP2003204286 A JP 2003204286A JP 3983721 B2 JP3983721 B2 JP 3983721B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning direction
- character
- line
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 135
- 238000001514 detection method Methods 0.000 claims description 67
- 238000000605 extraction Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 100
- 238000012545 processing Methods 0.000 description 90
- 238000010586 diagram Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 17
- 239000011521 glass Substances 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000003705 background correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。
【0002】
【従来の技術】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿(本、冊子など)も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【0003】
ところが、原稿としてブック原稿を用いた場合には、図71に示すように、ブック原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまう。このようにブック原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまった場合には、ページ綴じ部101が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部101は読みにくく、OCRにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿100のページ綴じ部101を焦点面から離れないように加圧作業した場合には、ブック原稿100自体を破損してしまうこともある。
【0004】
このような問題を解決すべく、画像の濃度情報から物体の3次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の3次元形状を推定する方法としては、非特許文献1に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【0005】
また、特許文献1には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【0006】
さらに、特許文献2には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の3次元形状を推定する方法が提案されている。
【0007】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【0008】
また、特許文献1に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【0009】
さらに、特許文献2に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【0010】
そこで、本出願人は、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置を特願2002-247643にて提案している。特願2002-247643によれば、ページ外形だけではなく文字行情報および罫線情報を用いて画像の歪みを補正し、しかも、スキャナ(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))を利用していないので、任意のスキャナの出力画像を補正できる。
【0011】
【非特許文献1】
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
【特許文献1】
特開平5-161002号公報
【特許文献2】
特開平11-41455号公報
【0012】
【発明が解決しようとする課題】
ところで、歪み補正処理においては、綴じ部位置を中心としてスキュー補正の画像回転処理を行った後に、綴じ部位置を境とした左右のページに分割して処理を行っている。このような綴じ部位置の検出に際しては、綴じ部付近のページ外形の頂点座標や、最小画素値が存在する位置が有効である。
【0013】
ところが、ブック原稿(本、冊子など)の置き方によってはスキャン画像に綴じ部付近のページ外形が写り込むとは限らず、また、ブック原稿(本、冊子など)の紙質や綴じ部の強度によっては綴じ部付近の画素値が必ずしも最小画素値になるとは限らない。以上のような不具合により綴じ部位置を誤認識してしまった場合には、歪み補正処理の補正精度に悪影響を及ぼす可能性がある。
【0014】
本発明の目的は、歪み補正処理の補正精度の向上を図ることができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【0015】
【課題を解決するための手段】
請求項1記載の発明の画像歪み補正装置は、スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いて補正する画像歪み補正装置において、前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出手段と、文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出手段と、最小輝度の代表位置を検出する最小輝度検出手段と、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出手段と、を備え、前記ページ外形検出手段により検出されたページ外形の有無、前記文字無し領域検出手段により検出された文字無し領域、前記最小輝度検出手段により検出された最小輝度の代表位置、前記直線抽出手段により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する。
【0016】
請求項2記載の発明は、請求項1記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺の綴じ部付近に前記ページ外形が検出された場合は、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とみなす。
【0017】
請求項3記載の発明は、請求項1記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合は、前記最小輝度検出手段にて検出された最小輝度位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【0018】
請求項4記載の発明は、請求項3記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす。
【0019】
請求項5記載の発明は、請求項3記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線の位置を綴じ部位置とみなす。
【0020】
請求項6記載の発明は、請求項1記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合は、前記最小輝度検出手段にて検出された最小輝度の代表位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【0021】
請求項7記載の発明は、請求項6記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす。
【0022】
請求項8記載の発明は、請求項6記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【0023】
請求項9記載の発明は、請求項1記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、前記文字無し領域検出手段により適切でない文字無し領域が検出された場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【0024】
請求項10記載の発明は、請求項1ないし9のいずれか一記載の画像歪み補正装置において、前記ページ外形検出手段は、前記スキャン画像の主走査方向上辺から下方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ逆三角形状に分布している場合は前記スキャン画像の主走査方向上辺にページ外形が存在するとみなし、前記スキャン画像の主走査方向下辺から上方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ三角形状に分布している場合は前記スキャン画像の主走査方向下辺にページ外形が存在するとみなす。
【0025】
請求項11記載の発明は、請求項1ないし9のいずれか一記載の画像歪み補正装置において、前記文字無し領域検出手段は、主走査方向での白黒画素の反転数、もしくは、予め定めた閾値以上と以下の画素が交代する回数、に関するヒストグラムの分布を利用して、前記文字無し領域を検出する。
【0026】
請求項12記載の発明は、請求項11記載の画像歪み補正装置において、ヒストグラムの値が予め定めた閾値以下である副走査方向の連続領域の中で最大の領域を中心とし、他の閾値以下の連続領域が副走査方向でほぼ対称に存在する場合は、前記最大領域を文字や図が存在しない可能性が高い文字無し領域(適切な文字無し領域)とみなし、他の閾値以下の連続領域が副走査方向で対称に存在しない場合は、これら閾値以下の連続領域の全ての左端から右端までを文字や図が存在しない可能性が低い文字無し領域(適切でない文字無し領域)とみなす。
【0027】
請求項13記載の発明は、請求項12記載の画像歪み補正装置において、ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす。
【0028】
請求項14記載の発明は、請求項1ないし9のいずれか一記載の画像歪み補正装置において、前記最小輝度検出手段は、前記スキャン画像の主走査方向の各ライン上での最大輝度値の中で副走査方向において最小値を与える位置を、最小輝度の代表位置とみなす。
【0029】
請求項15記載の発明は、請求項14記載の画像歪み補正装置において、最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくは前記画像読取手段の光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく。
【0030】
請求項16記載の発明は、請求項1ないし9のいずれか一記載の画像歪み補正装置において、前記直線抽出手段は、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素の輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する。
【0031】
請求項17記載の発明は、請求項1ないし16のいずれか一記載の画像歪み補正装置において、決定した綴じ部位置と画像読み取りの主走査方向との成す角度を前記スキャン画像のスキュー角度として検出する。
【0032】
請求項18記載の発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし17の何れか一記載の画像歪み補正装置と、を備える。
【0033】
請求項19記載の発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし17の何れか一記載の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【0034】
請求項20記載の発明のプログラムは、スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪み補正を当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いてコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出機能と、文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出機能と、最小輝度の代表位置を検出する最小輝度検出機能と、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出機能と、を実行させ、前記ページ外形検出機能により検出されたページ外形の有無、前記文字無し領域検出機能により検出された文字無し領域、前記最小輝度検出機能により検出された最小輝度の代表位置、前記直線抽出機能により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する。
【0035】
【発明の実施の形態】
本発明の実施の一形態を図1ないし図69に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【0036】
ここで、図1はスキャナ部1の構成を示す縦断正面図である。図1に示すように、スキャナ部1は、原稿を載置するコンタクトガラス2と、原稿の露光用の露光ランプ3および第一反射ミラー4からなる第一走行体5と、第二反射ミラー6および第三反射ミラー7からなる第二走行体8と、原稿の画像を読み取る撮像素子としてのCCD(Charge Coupled Device)9と、このCCD9に結像させるためのレンズユニット10と、原稿を載置する基準になるとともにコンタクトガラス2のズレや外れを防止する原稿スケール11と、この原稿スケール11の下側に設置されたシェーディング補正用の白基準板12と、フレーム14とを備えている。CCD9はセンサボード13上に形成されている。
【0037】
原稿の走査時には、第一走行体5および第二走行体8はステッピングモータ24(図3参照)によって副走査方向に移動する。すなわち、第一走行体5および第二走行体8がコンタクトガラス2の下を走行して、露光ランプ3で原稿を露光走査し、その反射光を第一反射ミラー4、第二反射ミラー6および第三反射ミラー7で反射して、レンズユニット10を通してCCD9に結像させる。ここに、画像読取手段が実現されている。
【0038】
このようなスキャナ部1は、このスキャナ部1で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部(図示せず)を備えるデジタル複写機16に搭載されている。図2は、スキャナ部1を搭載したデジタル複写機16の上部部分を示す斜視図である。図2に示すように、スキャナ部1には、コンタクトガラス2に対して開閉自在な圧板17と、この圧板17の開閉を検出する開閉センサ18とが設けられている。なお、デジタル複写機16に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【0039】
図3は、スキャナ部1の制御系の電気的な接続を示すブロック図である。図3に示すように、この制御系は、スキャナ部1の全体を制御するメイン制御部19に、CCD9で読み取った画像データに各種の画像処理を施す回路である画像処理部20と、第一走行体5および第二走行体8を制御する回路である走行体制御部21と、デジタル複写機16への各種操作を受け付け、また、各種メッセージを表示する操作パネル22と、CCD9で読み取った画像データや所定のデータ等を記憶するメモリ23とが接続されている。なお、操作パネル22には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部21には、露光ランプ3と、第一走行体5および第二走行体8を駆動するステッピングモータ24と、第一走行体5および第二走行体8がホームポジションにあるか否かを検出するスキャナホームポジションセンサ(HPセンサ)25と、開閉センサ18とが接続されている。
【0040】
ここで、図4は画像処理部20の基本的な内部構成を示すブロック図である。図4に示すように、画像処理部20は、原稿をCCD9により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部26、シェーディング補正処理を行うシェーディング補正処理部27、シェーディング補正処理後のデジタル画像信号に、MTF補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部28から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部19を介してプリンタ部に送信されて、画像形成に供される。
【0041】
メイン制御部19は、図5に示すように、各部を集中的に制御するCPU(Central Processing Unit)31を備えており、このCPU31には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)32と、各種データを書換え可能に記憶してCPU31の作業エリアとして機能するRAM(Random Access Memory)33とがバス34で接続されており、マイクロコンピュータを構成している。さらにバス34には、制御プログラムが記憶されたHDD35と、CD(Compact Disc)−ROM37を読み取るCD−ROMドライブ36と、プリンタ部等との通信を司るインタフェース(I/F)38とが接続されている。
【0042】
図5に示すCD−ROM37は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。CPU31は、CD−ROM37に記憶されている制御プログラムをCD−ROMドライブ36で読み取り、HDD35にインストールする。これにより、メイン制御部19は、後述するような各種の処理を行うことが可能な状態となる。
【0043】
なお、記憶媒体としては、CD−ROM37のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、HDD35にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0044】
次に、メイン制御部19に設けられたCPU31が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、CPU31が実行する処理のうち、本実施の形態のスキャナ部1が備える特長的な機能であるスキャン画像の歪み補正機能を実現するスキャン画像の歪み補正処理についてのみ説明する。すなわち、メイン制御部19は画像歪み補正装置として機能するものである。
【0045】
図6は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図7に示すように、ブック原稿40がそのページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス2に載置されている場合について説明する。
【0046】
まず、ステップS1において、画像データ処理部28から出力されたコンタクトガラス2に載置されているブック原稿40のスキャン画像を入力する。ここで、図8は入力した画像の一例を示したものである。そして、図9に示すように、入力されたブック原稿40のスキャン画像には、ページ綴じ部41のスキャン画像41´の近傍において歪みが生じている。
【0047】
[綴じ部位置の検出]
続くステップS2においては、スキャン画像の綴じ部位置を検出する綴じ部位置検出処理を行う。図10は、綴じ部位置検出処理の流れを概略的に示すフローチャートである。図10に示すように、まず、ブック原稿40のスキャン画像の最適2値化処理を実行した後(ステップS21)、綴じ部付近におけるページ外形有無の判定を行う(ステップS22)。
【0048】
ここで、ステップS22におけるスキャン画像の綴じ部付近のページ外形の有無の判定について説明する。
【0049】
まず、スキャン画像の上辺の綴じ部付近にページ外形が存在するか否かを判定する手法を説明する。図11に示すように、スキャン画像の上辺から、主走査方向の距離が予め定められた一定画素数で分割される短冊領域を作成する。上辺の短冊領域(図11の短冊領域▲1▼)の左端と右端から綴じ部位置に向かって、主走査方向に上記の予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置を、左右ページ内でそれぞれ決定し、その位置を基準点(図11のLU1,RU1)とする。左右両ページで上記の副走査方向の位置が決定した場合は、探索中の短冊領域内の上記左右ページの基準点で囲まれた範囲内(図11のLU1〜RU1)に存在する黒画素の比率を求める。存在する黒画素の比率が予め定められた閾値以上であれば、次の短冊領域内(図11の短冊領域▲2▼)にて左右ページで決定した基準点をそれぞれ探索開始点とし、同様の処理を行う。以上のように、短冊領域と探索開始点を更新していき、一連の処理が予め定められた一定値以上の回数行われた場合(例えば、スキャン画像の主走査方向上辺から下方へ向かって黒画素がほぼ逆三角形状に分布している場合)は、綴じ部付近の上辺にページ外形が存在すると判定する。
【0050】
左右両ページで、主走査方向に予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置が決定しない場合や、主走査方向に予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置は決定したが範囲内の黒画素の比率が予め定められた閾値未満である場合や、上記一連の処理の回数が予め定められた一定値未満であれば、綴じ部付近にページ外形が存在しないと判定する。
【0051】
なお、スキャン画像の下辺の綴じ部付近にページ外形が存在するか否かの判定も、上記の処理と同様の手法により実現できる。すなわち、スキャン画像の主走査方向下辺から上方へ向かって黒画素がほぼ三角形状に分布している場合はスキャン画像の主走査方向下辺にページ外形が存在すると判定する。
【0052】
また、スキャン画像がカラー多値画像の場合には、例えばRGB成分の何れか一つの成分に着目し(例えばG成分)、G成分の所定の濃度閾値よりも大きいものを黒画素とし、G成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【0053】
続くステップS23においては、文字無し領域の検出処理を実行する。ここに、文字無し領域検出手段の機能が実行される。このように文字無し領域を検出するのは、綴じ部位置探索範囲を絞るためである。仮に綴じ部位置が正確に検出できなかったとしても、綴じ部付近の文字無し領域内での誤認識であれば歪み補正処理にはさほど支障はきたさないからである。文字無し領域は、綴じ部を含む領域ではあるが、全く文字のない範囲を示すとは限らないため、綴じ部を含み、かつ、全く文字のない可能性が高い範囲を「適切な文字無し領域」と定義する。文字無し領域を検出した際には、検出した文字無し領域が適切な文字無し領域であるか否かの判定も行う。
【0054】
文字無し領域の検出は、主走査方向に1ラインずつ、白黒の反転数(注目画素と真下(右隣)との画素が白黒で反転している回数)、または、予め定められた閾値以上と以下の画素が交代する回数、を数えてヒストグラムを生成する。ここで、図12は生成されたヒストグラムの一例を示すものである。
【0055】
続いて、このようにして生成されたヒストグラムを副走査方向に解析する。ヒストグラムの副走査方向の解析は、図13に示すように、ヒストグラムの値が予め定められた閾値以下となる座標が連続している箇所(図13内の▲1▼〜▲5▼)があれば、その箇所の終始点の座標とその距離をリスト化する。リスト化の過程において、注目リストの終点座標と次のデータの始点座標との位置の差が予め定められた一定値以内であれば、それらを統合し1つのリストデータとして扱う(図13の▲4▼)。すなわち、ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす。次に、全リスト中のそれぞれのリストが有する終始点の座標の中から、文字無し領域の始点座標・終点座標を選択する。横書き画像の行間は副走査方向に垂直であるが、縦書き画像の行間は副走査方向と平行であるため、両者はヒストグラムの傾向が異なる。横書き画像(図13に示すスキャン画像の左ページ)で副走査方向のヒストグラムの値が予め定められた閾値以下の連続領域は、綴じ部付近のみである場合が多いが、縦書き画像(図13に示すスキャン画像の右ページ)では、副走査方向のヒストグラムの値が予め定められた閾値以下の連続領域は、一般に複数存在する。そこで、リスト数によって、文字無し領域を推定する。以下、リスト数に応じた文字無し領域の判定について場合を分けて説明する。
【0056】
図14に示すように、リスト数が単数の場合には、副走査方向文字無し領域探索範囲内にて着目したリストの始点座標から終点座標までを文字無し領域とし、適切な文字無し領域と判定する。
【0057】
図15に示すように、リスト数が複数の場合には、副走査方向文字無し領域探索範囲内の全リスト中で最大の距離を持つリストに着目し、着目リストから前後同距離にあるリスト同士を比べる。全てのリストの組がそれぞれ有している終始座標間の長さの差が一定値以内であれば、副走査方向に平行な行間であるとみなす。左右のページで行間が均一に位置している場合は、最大の距離を持ち、かつ、全リスト中の中央付近に位置するリストの始点座標から終点座標までを文字無し領域とし、適切な文字無し領域と判定する。
【0058】
一方、図16に示すように、リスト数が複数あり、かつ、最大の距離を持つリストを中心として、前後のリストの終始座標間距離が対称の並びになっていない場合には、どのリストに綴じ部が含まれているかを断定する材料を欠くため、綴じ部を含まない文字無し領域を検出する恐れがある。このような場合は、副走査方向文字無し領域探索範囲内の先頭リストの開始座標から、最終リストの終点座標までを文字無し領域とする。この場合、検出した文字無し領域内には明らかに文字や図が存在するため、適切な文字無し領域でないと判定する。
【0059】
また、図17に示すように、リスト数が0の場合には、副走査方向全体を文字無し領域とする。この場合も、検出した文字無し領域内には明らかに文字や図が存在するため、適切な文字無し領域でないと判定する。
【0060】
以上のようにして文字無し領域を検出すると、ステップS22におけるスキャン画像の綴じ部付近のページ外形の有無の判定に応じた処理を実行する。
【0061】
スキャン画像の綴じ部付近にページ外形が存在すると判定し(ステップS24のY)、さらにページ外形が上下辺のどちらか一方にのみ存在する場合には(ステップS25のN)、ステップS26に進み、ページ外形の頂点を検出するページ外形頂点検出処理を実行する。ページ外形頂点検出処理は、ページ外形の主走査方向の座標値が最も内部に食い込んでいる座標をページ外形頂点とするものである。より具体的には、図18に示すように、上辺のページ外形の頂点についてはその主走査方向(図18中、y方向)の座標値が最小の点をページ外形頂点とし、下辺のページ外形の頂点についてはその主走査方向の座標値が最大の点をページ外形頂点とする。なお、ページ外形の検出処理については、各種の処理方法を用いることが可能である。例えば、特許文献2に記載されているような手法を用いることが可能である。ここに、ページ外形検出手段の機能が実行される。
【0062】
次に、ステップS27に進み、最小輝度の代表位置を検出する。ここで、最小輝度の代表位置検出について説明する。ここでは、主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置を最小輝度の代表位置とみなす。より具体的には、最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくはスキャナ部1のスキャナレンズの光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく。図19は主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置のヒストグラムであり、この場合、図19中のPの位置が最小輝度の代表位置となる。ここに、最小輝度検出手段の機能が実行される。
【0063】
このようにして最小輝度の代表位置が検出されると、ステップS28に進み、ページ外形頂点と最小輝度の代表位置とを比較する。
【0064】
ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値以内の場合は、綴じ部付近の画素値が最小となるような輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定し(ステップS29のY)、後述するステップS31に進む。
【0065】
一方、ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値未満の場合は、綴じ部付近の画素値が最小とならない輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定せずに(ステップS29のN)、ステップS30に進み、文字無し領域内にて直線抽出を行う。ここに、直線抽出手段の機能が実行される。
【0066】
ここで、ステップS30における直線抽出処理について詳述する。綴じ部付近では、ある着目画素と副走査方向に一定距離離れた画素との間には、輝度の差が生じている。上記の輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合(図20参照)を基にハフ変換を行うと、直線と直線の角度が抽出される。ステップS30においては、このようにして抽出された直線を、綴じ部位置と決定する。例えば、図21に示すように、x−y平面上の点P(x,y)を通過する直線は下記の式
ρ=xcosθ+ysinθ
を満たす。ρは点Pと原点Oの距離である。θはPOとx軸のなす角度である。また、図22に示すように、x−y平面上の点Pは、ρ−θ平面では1本の曲線に射影される。すなわち、x−y平面にて同一直線上に存在する点に対応する曲線は、ρ−θ平面では全て点(ρ,θ)を通過する。x−y平面での点が正確に同一直線上に存在せずに多少の誤差を含んでいても、ρ−θ平面上での対応する曲線は点(ρ,θ)の近傍を通過する。よって、ρ−θ平面を予め定められた一定値の長さのメッシュ領域に区切り、各メッシュを通過する曲線の数をカウントすれば、通過曲線数の多いメッシュ領域に対応してx−y平面上の直線が存在するといえる。以上の処理を輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合に対して行う。すると、ρは綴じ部直線に対する垂線、θが綴じ部直線の角度が求められる。また、通過曲線数の多いメッシュを上位から予め定められた数だけ抽出し、綴じ部直線情報の候補を複数保持しておく。直線抽出の優先順位は、上記通過曲線数の順位に準ずるものとする。
【0067】
次いで、このようにして抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線を綴じ部位置に決定する(ステップS31)。具体的には、図23に示すように、最小輝度の代表位置と画像を副走査方向に貫く中心線もしくはスキャナの光軸の軌跡との交点を基点とし、画像の上方と下方の各方向に向かって各主走査方向における最小輝度位置を決定し、その軌跡を綴じ部位置と決定する。綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度(図23に示すθ)を綴じ部位置のスキュー角度とする。
【0068】
図24に上ページにのみページ外形が存在する場合を示す。図24に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度(図24に示すθ)を綴じ部位置のスキュー角度とする。なお、下ページにのみページ外形が存在する場合も、同様の処理を行う。
【0069】
また、最小輝度の代表位置を決定した場合も(ステップS29のY)、ステップS31に進み、最小輝度の代表位置と画像を副走査方向に貫く中心線もしくはスキャナの光軸の軌跡との交点を基点とし、画像の上方と下方の各方向に向かって各主走査方向における最小輝度位置を決定し、その軌跡を綴じ部位置と決定する。
【0070】
一方、スキャン画像の綴じ部付近にページ外形が存在すると判定し(ステップS24のY)、さらにページ外形が上下辺のどちらにも存在する場合には(ステップS25のY)、両ページ外形頂点座標を検出し(ステップS32)、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とする(ステップS31)。このようにするのは、上下辺のどちらにもページ外形が存在する場合は、最も有効な手がかりである両ページ外形頂点を利用するからである。ここで、図25は上下ページの両側にページ外形が存在する例である。図25に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度(図25に示すθ)を綴じ部位置のスキュー角度とする。
【0071】
また、スキャン画像の綴じ部付近にページ外形が存在しないと判定した場合には(ステップS24のN)、ステップS33に進み、適切な文字無し領域が検出できたか否かを判定する。
【0072】
適切な文字無し領域が検出された場合には(ステップS33のY)、文字無し領域内の最小輝度の代表位置を検出し(ステップS34)、最小輝度代表位置と文字無し領域内の規定範囲を比較し(ステップS35)、ステップS29に進む。
【0073】
ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値以内の場合は、綴じ部付近の画素値が最小となるような輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定し(ステップS29のY)、ステップS31に進み、綴じ部位置を決定する。
【0074】
一方、ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値未満の場合は、綴じ部付近の画素値が最小とならない輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定せずに(ステップS29のN)、文字無し領域内にて直線抽出を行った後(ステップS30)、綴じ部位置を決定する(ステップS31)。
【0075】
一方、適切な文字無し領域が検出されない場合には(ステップS33のN)、最小輝度の代表位置が文字や図である可能性を考慮し、文字無し領域内にて直線抽出を行った後(ステップS30)、綴じ部位置を決定する(ステップS31)。
【0076】
ここで、図26はスキャン画像の綴じ部付近にページ外形が存在しない例である。図26に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度(図26に示すθ)を綴じ部位置のスキュー角度とする。
【0077】
以上により、ステップS2における綴じ部位置検出処理が終了する。
【0078】
このような本実施の形態の綴じ部位置検出処理によれば、書籍の紙質や置き方に依存せずに綴じ部位置を検出することができるので、歪み補正処理の補正精度の向上を図ることができる。
【0079】
なお、図24、25、26に示すように、綴じ部位置のスキュー角度が検出された場合には、例えば、スキャナレンズの光軸の軌跡と綴じ部位置との交点を中心としてスキュー角度だけスキャン画像全体を回転させ、スキャン画像のスキューを補正するようにすれば良い。
【0080】
次いで、ブック原稿40のスキャン画像(例えば、モノクロ多値画像)の最適2値化処理を実行し(ステップS3)、副走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)数のヒストグラムを求める(ステップS4)。図27は、図8に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図27中の横軸は、主走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の位置を示し、図27中の縦軸は、その位置毎の黒画素数を示すものである。
【0081】
なお、スキャン画像がカラー多値画像の場合における2値化処理は、例えばRGB成分の何れか一つの成分に着目し(例えばG成分)、G成分の所定の濃度閾値よりも大きいものを黒画素とし、G成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【0082】
続くステップS5においては、ページ外形/罫線/文字行の抽出処理を実行する。ここで、図28は、ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【0083】
[スキャン画像からのページ外形の抽出]
まず、ステップS41におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図29は上端にページ外形が存在するスキャン画像の一例を示す説明図、図30は図29に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図30に示すヒストグラムのx軸はスキャン画像の主走査方向(図29の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図29に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図30に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【0084】
より具体的には、図30に示すように、綴じ部境界線からスキャン画像の左端(図29の左端)までの距離AO、ヒストグラム縦棒の高さBOとし、その比率を下記に示す式(1)により算出し、
【0085】
【数1】
【0086】
算出された比率kが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【0087】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【0088】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、RAM33に一時的に記憶する。
【0089】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【0090】
[スキャン画像からの罫線の抽出]
続くステップS42においては、スキャン画像からの罫線の抽出処理を実行する。ステップS42におけるスキャン画像からの罫線の抽出処理について説明する。
【0091】
[罫線候補の検出]
ここで、図31は長い罫線が存在するスキャン画像の一例を示す説明図、図32は図31に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図32に示すヒストグラムのx軸はスキャン画像の主走査方向(図31の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図31に示すようにスキャン画像に罫線が存在する場合には、図32に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。
【0092】
より具体的には、まず、図32に示すヒストグラムに現れた幅の狭いピークの高さHを求めるとともに、求められた各ピークの中央位置(高さが半分の位置)における幅Wを求める。そして、ピークの高さHが予め定められた閾値thHよりも高く、かつ、ピークの中央位置の幅Wが予め定められた閾値thWより小さなピークが存在する場合、そのピークを罫線の候補とする。
【0093】
続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図33に示すように、候補罫線上の適当な位置(例えば、ページの中心線の位置)を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点(罫線がかすれて途切れている部分)の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。
【0094】
[罫線の座標検出]
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図34に示すように、罫線の主走査方向(図34のy軸方向)の座標値を罫線部の黒画素ランの中点座標とした場合、図34に示す罫線の左端のx1における主走査方向座標値はy1となる。
【0095】
[最適罫線の選択]
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図35に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図35の網掛け領域)に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図35においては、左右ページから各1本ずつの罫線を選択する場合を示している。ここでは、罫線▲1▼と罫線▲2▼とが選択されている。
【0096】
また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図36の網掛け領域)に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図36においては、左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲1▼、右下のブロックでは罫線▲2▼、左下のブロックでは罫線▲3▼が選択されている。なお、図36中の右上のブロックには上記2条件(罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている)を満足する罫線が存在しないので、選択された罫線はない。
【0097】
なお、上記2条件(罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている)については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。
【0098】
[最適罫線の座標値の決定]
最適な罫線が選択された場合には、罫線の(主走査方向の)座標値を決定する。罫線の(主走査方向の)座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図37において、罫線が存在しているBC部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の(主走査方向の)座標値を決定することになる。より詳細には、図37に示すAB部は直線近似で(主走査方向の)座標値を推定し、CD部は多項式近似曲線で(主走査方向の)座標値を推定する。
【0099】
[不適切な罫線の排除]
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図38に示すように、曲線が書籍の外側へ向かうような曲線▲1▼や、中心線を超えて大きく内側へ食い込むような曲線▲2▼である。
【0100】
なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。
【0101】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、RAM33に一時的に記憶する。
【0102】
[スキャン画像からの文字行の抽出]
続くステップS43においては、スキャン画像からの文字行の抽出処理を実行する。ステップS43におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【0103】
[文字行の判別]
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図39は図8に示した画像の副走査方向の黒白反転数ヒストグラムである。図39中の横軸は、副走査方向(左右方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の主走査方向上での位置を示し、図39中の縦軸は、その位置毎の黒画素数を示すものである。また、図40は図8に示した画像の主走査方向の黒白反転数ヒストグラムである。図40中の横軸は、主走査方向(上下方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の副走査方向上での位置を示し、図40中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図8に示したようなスキャン画像の場合、図39に示すような副走査方向のヒストグラムは激しく変化するが、図40に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【0104】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式(2)により、
【0105】
【数2】
【0106】
主走査方向yの位置でのヒストグラム値Pnt(y)の平均値meanHが算出される。ここで、heightは画像の高さである。
そして、下記に示す式(3)により、
【0107】
【数3】
【0108】
副走査方向のヒストグラムの主走査方向に関する分散σHが得られる。
同様に、下記に示す式(4)により、
【0109】
【数4】
【0110】
副走査方向xの位置でのヒストグラム値Pnt(x)の平均値meanVが算出される。ここで、widthは画像の幅である。
そして、下記に示す式(5)により、
【0111】
【数5】
【0112】
主走査方向のヒストグラムの副走査方向に関する分散σvが得られる。
【0113】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σHが、主走査方向のヒストグラムの副走査方向に関する分散σvより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σvが、副走査方向のヒストグラムの主走査方向に関する分散σHより大きい。つまり、分散σHと分散σvとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【0114】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【0115】
[横書き文字行の座標検出]
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図41に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
【0116】
[最適横書き文字行の選択]
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図42に示すように横書き文字行の長さBCが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図42の網掛け領域)に横書き文字行の一部Cがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Bは文字行の一番左の矩形の中心であり、Cは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
【0117】
なお、上記2条件(横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている)については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【0118】
[最適横書き文字行の座標値の決定]
最適な横書き文字行が選択された場合には、横書き文字行の(主走査方向の)座標値を決定する。横書き文字行の(主走査方向の)座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の(主走査方向の)座標値を決定することになる。より詳細には、図42に示すDは綴じ部境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
【0119】
[不適切な横書き文字行の排除]
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【0120】
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
【0121】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、RAM33に一時的に記憶する。
【0122】
[縦書き文字行に基づく横書き文字行の抽出]
次に、各縦書き文字行から横書き文字行を抽出する。
【0123】
図43は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図43に示すように、まず、縦書き文字行の行切り出し矩形を抽出する(ステップS201)。なお、縦書き文字行の行切り出し矩形の抽出処理は、OCR等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図44は、抽出した行切り出し矩形を例示的に示す説明図である。
【0124】
次いで、縦書き文字行の先頭(もしくは末尾)のy座標が最大(もしくは最小)の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭(もしくは末尾)が存在する縦書き文字行を抽出する(ステップS202)。より具体的には、図44に示した例においては、図45に示すように、縦書き文字行の先頭文字のy座標が最大の縦書き文字行はAで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲h内に存在する行先頭文字は、図45中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行B,Cは除外する。なお、hはスキャン画像の解像度によって定められる定数である。
【0125】
次に、抽出した縦書き文字行の先頭(もしくは末尾)のy座標に関してヒストグラムを構成する(ステップS203)。図46では、ページの左端に近い縦書き文字行Dを基準行とし、その先頭のy座標(yD)を基準座標としている。以後、yDに対して一定幅d(例えば抽出した縦書き文字行の平均幅の1/2)の範囲内に先頭が存在する縦書き文字行の数を、yDに関するヒストグラムの値とする。図46では、yDを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Dの右隣の縦書き文字行Eは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標(ここでは、yE)とする。また、縦書き文字行Eの右隣の縦書き文字行Fの行先頭座標はyDの対象範囲に含まれるので、新たな基準座標を設けることなく、yDに関するヒストグラムの値を1だけカウントアップする。
【0126】
以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図46に示す例では、yDの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた7つで、yEの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた4つとなる(これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図46では省略している)。なお、yDの対象範囲には本来無関係であるべき縦書き文字行Gも含まれているが、次のステップS204にてこれは除外される。
【0127】
続いて、ステップS203にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端(もしくは右端)にある縦書き文字行(基準行)を開始行として、綴じ部境界線へ向かって、先頭(もしくは末尾)のy座標が近接した縦書き文字行を抽出する(ステップS204)。図46では、基準座標yDの対象範囲に含まれる文字行が7つと最大であったので、その中の左端の縦書き文字行Dを開始行とし、開始行(縦書き文字行D)から綴じ部境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出していく。
【0128】
ところで、開始行(縦書き文字行D)から綴じ部境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
【0129】
まず、画像の歪みを生じていない部分における処理について図47を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Hを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の正方向(図47中、上方へ向かう方向)に関して、着目行Hの先頭位置から一定範囲内b1(例えば平均文字行幅の1/2)に抽出する縦書き文字行の先頭が存在すること
2.y座標の負方向(図47中、下方へ向かう方向)に関して、着目行Hの先頭位置から見てx座標の正方向(綴じ部境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b2/a1)で表している)の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Hの次の縦書き文字行Iの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Jの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Jを新たな着目行として同様の処理を続ける。
【0130】
次に、画像の歪みを生じている部分における処理について図48を参照しつつ説明する。画像の歪みを生じている部分では、着目行Lを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の負方向(図48中、下方へ向かう方向)に関して、着目行Lの先頭位置から見てx座標の正方向(綴じ部境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b3/a2)で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、b2/a1<b3/a2とする)の範囲内に抽出する縦書き文字行の先頭が存在すること
2.着目行Lの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き(b4/a2)が、着目行Lの先頭位置と直前の抽出行Kの先頭位置を結ぶ直線の傾き(b5/a3)から一定値αを引いた値よりも大きい。すなわち、“b4/a2>b5/a3−α”を満足すること(基本的には、“b4/a2>b5/a3”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である)
すなわち、着目行Lの次の縦書き文字行Mの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Nの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Nを新たな着目行として同様の処理を続ける。
【0131】
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のy座標をそれぞれyC,yNとすると、“yN−yC”が一定値(例えば、平均文字行幅の1/4)以上となれば、それ以降を歪みを生じている部分とする。
【0132】
以上の方法により図46から抽出した縦書き文字行を、図49において斜線を施した矩形で囲んで示す。
【0133】
最後に、抽出した縦書き文字行の先頭(もしくは末尾)の位置座標に関する近似曲線多項式を算出する(ステップS205)。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図50に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図50に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
【0134】
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【0135】
[不適切な縦書き文字行の外形の排除]
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【0136】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【0137】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、RAM33に一時的に記憶する。
【0138】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字列として扱うものとする。
【0139】
以上、ステップS41〜S43の処理により、ページ外形/罫線/文字行の抽出処理(ステップS5)が終了する。
【0140】
[画像歪み補正処理]
続くステップS6(図6参照)においては、画像歪み補正処理を実行する。画像歪み補正処理は、図51に示すように、概略的には、歪み補正(伸張)に際しての基準となる線(参照線1)としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行のいずれかを選択する処理(ステップS51:参照線1選択処理)、参照線1に対応するものであって補正率(伸張率)の算出用の参照線2としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行のいずれかを選択する処理(ステップS52:参照線2選択処理)、参照線1と参照線2に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理と、参照線1もしくは参照線2から算出されたページ面のスキャン面からの距離、もしくは、補正画像の文字外接矩形、に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理(ステップS53:主走査方向歪み補正処理と副走査方向歪み補正処理)により構成されている。
【0141】
ここで、参照線1選択処理(ステップS51)及び参照線2選択処理(ステップS52)においては、参照線1または参照線2として、スキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行のいずれかを、左右各ページについて選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形>罫線>文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。
【0142】
次に、主走査方向歪み補正処理と副走査方向歪み補正処理(ステップS53)について説明する。これはスキャナパラメータが既知の場合と未知の場合で処理が異なる。即ち、スキャナの機種が既知の場合は当該スキャナのスキャナレンズの光軸の主走査方向の位置(図52のAk)と、スキャナレンズの中心とスキャン面間の距離(図52の焦点面距離)をスキャナパラメータとして、予め記憶しておく。
【0143】
まず、スキャナパラメータが既知の場合を説明する。この場合、基本的に、主走査方向の1ラインを補正したら、次にそのラインに関して副走査方向の補正を行う、ということを主走査方向の全ライン、もしくは、参照線1または参照線2が曲線である部分の主走査方向ライン、について行う。
【0144】
主走査方向の補正は次のようにする。図53に、補正前の参照線1、参照線2をそれぞれ実線で、補正後をそれぞれ点線で表している。補正後の点線は、補正前の参照線1、参照線2の直線部分(平坦部)をそのまま延長したものである。ここで、副走査方向の位置xにおいて、参照線1上の点PがP´に、参照線2上の点QがQ´に、それぞれ補正される。さて、位置xにおける主走査方向上の任意の点YがY´に補正されるとして、次の関係式
YP/YQ=Y´P´/Y´Q´
が成り立つ。よって、各点の主走査方向の位置を、点PならP(y)というように表すと、
(Y(y)−P(y))/(Y(y)−Q(y))
=(Y´(y)−P´(y))/(Y´(y)−Q´(y))
となるので、これを変形して、
Y(y)=((P(y)−Q(y))/(P´(y)−Q´(y)))Y´(y)
+(P´(y) Q(y)−P(y)Q´(y))/(P´(y)−Q´(y))
となる。
【0145】
上式を利用して、補正後にY´(y)の位置に来るべき点の補正前の位置Y(y)を求めることができる。つまり、補正前のY(y)の画素値を補正後のY´(y)に移せばよいわけである。ただし、Y(y)の算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図54において、Y(y)の前後の整数をそれぞれN,N+1、これに対応する画素値をD(N),D(N+1)とすると、Y(y)における画素値D(Y(y))は図に示したような線形関係を満足するように算出する。
【0146】
以上は、全ての参照線1と参照線2がページ外形/罫線/文字行のいずれかである場合であるが、適切なページ外形や罫線、文字行が抽出されなかった場合は次のようにする。図55は、右ページ上方にページ外形/罫線/文字行が存在しない場合の例である。この場合は、レンズ光軸の軌跡(図55のL)を参照線2とみなして、上記と同様の処理を行う。ただしこの場合は図53におけるQとQ´は一致する。なお、ページ下方にページ外形/罫線/文字行が存在しない場合は、Lを参照線1とみなして同様に行う(PとP´が一致)。ページの上方/下方ともにページ外形/罫線/文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
【0147】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける参照線1および参照線2についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、参照線1、参照線2の抽出は5セットに1回のみ行うものとし、あるセットで参照線1、参照線2を抽出したら、その後に続く4セットではこれらの情報をそのまま流用するということを行っても良い。これにより、参照線1、参照線2を抽出するための時間が節約できるので、全体の処理速度が向上する。
【0148】
副走査方向の補正は次のようにする。即ち、ページ面のスキャン面からの距離の変化量を利用して、書籍原稿の断面曲線が直線となるように展開して画像を伸長する。具体的には、図56に示すように、ブック原稿ページ面の形状を読み取ってライン毎の微少な三角形とし、ページの読み取り1ラインにおける画像長さLnを次の式
Ln=√{1+(Tn−Tn-1)2}
により算出し、画像長さLnの累積をページの伸長長さとする。その結果、近似した三角形の斜辺は湾曲したページの形状とほぼ等しくなるので(折れ線近似)、その累積をページの画像長さとすることにより、正確なページ長さを得る。特に、1ライン毎の最小ピッチによる形状近似により、その長さの補正精度は高い。
【0149】
隣接する主走査方向のライン上の注目画素の画素間隔を基準“1”として演算することにより、読み取りライン間隔が変化、すなわち、平面状としたときの原稿に対してサンプリング画素間隔が逐次替わっていくのに対し、画像伸長処理を適応する。また、幾何学的に主走査方向の画像投影倍長さとページ面のスキャン面からの距離は比例関係にあり、図52に示すように、参照線1もしくは参照線2の主走査方向のアドレスA3と、参照線1もしくは参照線2の直線部分(平坦部)のアドレスKaよりページ面のスキャン面からの距離Tを以下の式
T=焦点面距離*(A3−Ak)/{(Ak−Ka)−(A3−Ak)}
により、求めることができる。このようにして算出される隣接する主走査ラインの深さの差により、1画素毎の微少ピッチの直線で近似してページの補正位置を算出することができる。なお、参照線1/参照線2の求め方や、適切な参照線1/参照線2が存在しない場合の対応は主走査方向の補正の場合と基本的に同様である。
【0150】
このようにして算出されたページ面のスキャン面からの距離Tは、図56に示すように、1ライン毎の復元すべき副走査方向の画像長さLnの算出に用いられることになる。すなわち、前述した次の式
Ln=√{1+(Tn−Tn-1)2}
により、1ライン毎の補正すべき副走査方向の画像長さLnが算出される。したがって、画像長さLnの累積が副走査方向のページ長さになる。
【0151】
通常、ページ面のスキャン面からの距離が高くなるに連れてその高さの変化量が増す。そこで、本実施の形態においては、その位置のページ面のスキャン面からの距離に応じて画像伸長に制限をかける。例えば、隣合う境界アドレスの差をその位置の(高さ[mm]/5)[画素]に制限して境界の誤検出による副走査方向補正のエラーを抑制する。
【0152】
副走査方向の補正では画像長さLnは位置によって異なり、図57に示すように元画像と補正画像の対応する点の位置は一般に異なる。Nに存在した点がN´に、N+1の点がN+1´にそれぞれ補正される場合、求めるべきは整数X´の位置(これも一般にはN+1´と一致するとは限らない)の画素値である。N´とX´間の距離をa、X´とN+1´間の距離をbとそれぞれおくと、元画像におけるX´の対応点Xは、
(X−N)/(N+1−X)=a/b
の関係にある。
【0153】
上式によりXの位置が分かったら、補正前のXの画素値を補正後のX´に移せばよいわけである。ただし、Xの算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図58において、Xの前後のN,N+1に対応する画素値をD(N),D(N+1)とすると、Xにおける画素値D(X)は図に示したような線形関係を満足するように算出する。以上の処理を、副走査方向の全ての位置、もしくは、参照線1または参照線2が曲線である部分の副走査方向の位置に対して行う。
【0154】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける書籍原稿のスキャン面からの距離と、参照線1または参照線2についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、書籍原稿のスキャン面からの距離の算出や参照線1、参照線2の抽出は5セットに1回のみ行うものとし、あるセットで距離の算出や参照線1、参照線2の抽出を行ったら、その後に続く4セットではこれらの情報をそのまま流用するということを行っても良い。これにより、書籍原稿のスキャン面からの距離の算出や参照線1、参照線2を抽出するための時間が節約できるので、全体の処理速度が向上する。
【0155】
ここまでが、スキャナパラメータが既知の場合の、主走査方向歪み補正処理と副走査方向歪み補正処理(ステップS53)の説明である。
【0156】
次に、スキャナパラメータが未知の場合を説明する。主走査方向の補正はスキャナパラメータが既知の場合と基本的に同様であるが、適切なページ外形や罫線、文字行が抽出されなかった場合の処理が若干異なる。図55において、スキャナパラメータが既知の場合はレンズ光軸の軌跡(図55のL)を参照線2とみなしたが、未知の場合(図59参照)は副走査方向に平行な中心線(図59のC)を参照線2とみなす。この場合も図53におけるQとQ´は一致する。ページ下方にページ外形/罫線/文字行が存在しない場合は、Cを参照線1とみなして同様に行う(PとP´が一致)。ページの上方/下方ともにページ外形/罫線/文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
【0157】
次に、副走査方向歪み補正処理について説明する。ここで、図60は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図60に示すように、ステップS101においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形A(図61参照)を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Aを抽出するのは、この文字の外接矩形Aの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図61に示すように、文字外接矩形Aの横辺の長さw、縦辺の長さh、および、文字の中心Bを定義する。ここで、文字の中心Bは、外接矩形Aの対角線の交点である。
【0158】
続いて、図62に示すように、スキャン画像をブック原稿40のページ綴じ部41に平行な方向の複数の短冊状の領域Cに分割した後(ステップS102)、各短冊領域Cについて、そこに含まれる文字外接矩形Aに関する特徴量を求める(ステップS103)。ここで、ある短冊領域Cに含まれる文字外接矩形Aとは、その中心が当該短冊領域Cに含まれるような外接矩形Aのことである。例えば、図62の短冊領域C1に含まれる外接矩形Aは、図中の網掛けを施した矩形である。
【0159】
さて、上記の文字外接矩形Aに関する特徴量は、
(文字の横辺の長さ)/(文字の縦辺の長さ)=w/h
を基に求められる。すなわち、各短冊領域Cについて、そこに含まれる全ての文字外接矩形Aのw/hの値の平均値をその短冊領域Cの特徴量とするのである。
【0160】
しかしながら、単に、w/hの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、w/hの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、wが極端に大きい文字外接矩形Aが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にwが大きいものを予め排除しておく必要がある。そこで、続くステップS104においては、予め閾値を定めておいて、hの値がその閾値より小さな文字外接矩形Aを予め排除するとともに、w/hの比率に関する閾値を予め定めておき、w/hの値が其の閾値よりも大きい文字外接矩形Aも予め排除する。例えば、図63中に示した網掛けを施した文字外接矩形Aが予め排除されることになる。
【0161】
続くステップS105においては、前述したように極端な文字外接矩形Aを排除した後に、各短冊領域C内の文字外接矩形Aのw/hの平均値を求める。図64に各短冊領域C内の外接矩形Aのw/hの平均値の一例を示す。なお、図64中の短冊領域C2は、ページ綴じ部を含む短冊領域である。
【0162】
続いて、ページ綴じ部を含む短冊領域C2に文字外接矩形Aが存在するか否かを判断する(ステップS106)。これは、図63に示すように、一般にはページ綴じ部付近には文字外接矩形Aが存在しない場合が多いからである。ページ綴じ部を含む短冊領域C2に文字外接矩形Aが存在する場合は(ステップS106のY)、その文字外接矩形Aを利用して特徴量は算出されているのでそのままステップS108に進む。
【0163】
一方、ページ綴じ部を含む短冊領域C2に文字外接矩形Aが存在しない場合は(ステップS106のN)、ステップS107に進み、ページ綴じ部を含む短冊領域C2の特徴量を求める。なお、ページ綴じ部を含む短冊領域C2の識別は、例えば、スキャン画像(例えば、モノクロ多値画像)の地肌濃度変化を各短冊領域Cごとに求め、短冊領域C内の最も濃度の薄い濃度値を求めることにより実現される。図65は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ページ綴じ部を含む短冊領域C2であるとみなされる。
【0164】
なお、スキャン画像がカラー多値画像の場合におけるページ綴じ部を含む短冊領域C2の識別は、例えばRGB成分の何れか一つの成分(例えばG成分)に着目し、そのG成分の地肌濃度を使用して識別するようにすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分を使用してページ綴じ部を含む短冊領域C2を識別するようにしても良い。
【0165】
ページ綴じ部を含む短冊領域C2の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Aが存在し、かつ、ページ綴じ部を含む短冊領域C2の最近傍である短冊領域Cの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ページ綴じ部を含む短冊領域C2における特徴量とみなされるものである。つまり、図64に示した例では、ページ綴じ部を含む短冊領域C2の左右何れの短冊領域C3,C4にも文字外接矩形Aが存在するので、どちらか適当な方の特徴量を選択し(ここでは右側の○印の方)、それに予め定めた定数値(ここでは0.5)を乗じて、これをページ綴じ部を含む短冊領域C2の特徴量としている。
【0166】
続くステップS108においては、各短冊領域Cの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Cの位置の変化方向(即ち副走査方向)に関する移動平均を求める処理を施すなどして、短冊領域Cの位置の変化に対する(副走査方向の)特徴量の変化がなだらかになるようにする。ただし、ここでもページ綴じ部付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ページ綴じ部付近の特徴量の変化の鋭さが失われてしまうからである。
【0167】
ここで、長さが全て5であるウィンドウを用いて図64に示した各短冊領域Cの特徴量に対してフィルタリング処理を施した結果を図66に示す。図66に示すように、長さが全て5であるウィンドウを用いてフィルタリング処理を施した場合には、ページ綴じ部付近の特徴量(w/h)の変化がなだらかになり過ぎてしまう。このような場合には、ページ綴じ部付近での適切な画像補正が不可能になってしまう。
【0168】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがページ綴じ部を含む短冊領域C2の両側の短冊領域C3,C4に跨がらないように、ページ綴じ部付近でウィンドウ長を調整する。ここで、図67はページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図67に示すように、ページ綴じ部付近でウィンドウ長を調整した場合には、ページ綴じ部付近の特徴量(w/h)の変化を適切に表現できるので、良好な画像補正が実現できる。
【0169】
続くステップS109においては、各短冊領域Cの推定歪み量を算出する。各短冊領域Cの推定歪み量の算出手法は、以下に示す通りである。
【0170】
まず、短冊領域の歪み量を算出するための基準となる短冊領域(基準短冊領域)を定める。ここでは、歪みが最も小さいと考えられる短冊領域C、例えば、特徴量(w/h)が最大である短冊領域Cを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図67においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Cが基準短冊領域であり、左側の基準特徴量を“Lw0/Lh0”、右側の基準特徴量を“Rw0/Rh0”、でそれぞれ示している。
【0171】
次に、基準短冊領域の特徴量w0/h0をスキャン画像全体の基準特徴量とし、
(各短冊領域の特徴量)/(基準特徴量)=(w/h)/(w0/h0)
の値を、各短冊領域の推定歪み量として算出する。
【0172】
なお、ページ綴じ部から外れたページ外側付近の短冊領域Cを基準短冊領域とすると、ページ綴じ部付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めページ綴じ部付近に限定しておくのが有効である。これを実現するためには、参照線1または参照線2が曲線である部分の副走査方向の位置に対してのみ行うようにすれば良い。
【0173】
最後に、スキャン画像に対して、短冊領域Cの短辺方向(副走査方向)の拡大処理を行い、ページ綴じ部付近の歪みを補正する(ステップS110)。その場合の拡大率(副走査方向の歪み補正率(伸張率))は、ステップS109において算出した推定歪み量の逆数、すなわち、
(基準特徴量)/(各短冊領域の特徴量)=(w0/h0)/(w/h)
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図68は、図67に示した特徴量に基づいて算出した補正拡大率を示したものである。
【0174】
なお、ここでも、ページ綴じ部付近から離れた短冊領域Cはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、参照線1または参照線2が曲線である部分の副走査方向の位置に対してのみ拡大すれば良い。即ち、参照線1または参照線2が直線の部分では、推定歪み量を“1”とする。
【0175】
また、短冊領域C内において共通の補正拡大率を適用した場合、隣接する短冊領域Cの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Cの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図68に示す短冊領域Cの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【0176】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける補正拡大率についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、補正拡大率の算出は5セットに1回のみ行うものとし、あるセットで補正拡大率を算出したら、その後に続く4セットではその情報をそのまま流用するということを行っても良い。これにより、補正拡大率を算出するための時間が節約できるので、全体の処理速度が向上する。
【0177】
以上、ステップS101〜S110の処理により副走査方向歪み補正処理が終了し、図6に示すスキャン画像の歪み補正処理が終了する。ここで、図69は歪みを補正した画像を示す平面図である。以上の処理によれば、図8に示したようなページ綴じ部の近傍において生じていたスキャン画像の歪みが、図69に示すように補正されることになる。
【0178】
以上のように、スキャナパラメータが未知の場合は、まず主走査方向の補正が全ライン分終了した後に、文字外接矩形を用いて副走査方向の補正を行うのが基本である。
【0179】
なお、本実施の形態においては、画像読取装置としてデジタル複写機のスキャナ部1を適用したが、これに限るものではなく、例えば自動ページ捲り機能を搭載したスキャナ等に適用するようにしても良い。
【0180】
また、本実施の形態においては、ブック原稿40のページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させてブック原稿40をコンタクトガラス2上に下向きに載置した場合について説明したが、これに限るものではない。例えば、図70に示すように、上向きのブック原稿40をコンタクトガラス2の下方からコンタクトガラス2に対して押し付けるように接触させるものであっても良い。
【0181】
さらに、本実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機16に備え、デジタル複写機16のスキャナ部1で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのHDDに記憶媒体であるCD−ROM37に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるCD−ROM37に格納されたプログラムをパーソナルコンピュータのHDDにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【0182】
【発明の効果】
本発明によれば、書籍の紙質や置き方に依存せずに綴じ部位置を検出することができるので、歪み補正処理の補正精度の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図2】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図3】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図4】画像処理部の基本的な内部構成を示すブロック図である。
【図5】メイン制御部の電気的な接続を示すブロック図である。
【図6】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図7】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図8】入力した画像の一例を示す平面図である。
【図9】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図10】綴じ部位置検出処理の流れを概略的に示すフローチャートである。
【図11】スキャン画像の上辺の綴じ部付近にページ外形が存在するか否かを判定する手法を説明する説明図である。
【図12】生成されたヒストグラムの一例を示す説明図である。
【図13】生成されたヒストグラムの解析手法を説明する説明図である。
【図14】リスト数が単数の場合の文字無し領域の判定手法を説明する説明図である。
【図15】リスト数が複数の場合の文字無し領域の判定手法を説明する説明図である。
【図16】リスト数が複数あり、かつ、最大の距離を持つリストを中心として、前後のリストの終始座標間距離が対称の並びになっていない場合の文字無し領域の判定手法を説明する説明図である。
【図17】リスト数が0の場合の文字無し領域の判定手法を説明する説明図である。
【図18】ページ外形の頂点の検出手法を説明する説明図である。
【図19】主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置のヒストグラムである。
【図20】輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合を示す説明図である。
【図21】x−y平面上の点P(x,y)を通過する直線を示す説明図である。
【図22】距離ρと角度θとの関係を示す説明図である。
【図23】綴じ部位置の決定手法を説明するための説明図である。
【図24】上ページにのみページ外形が存在する場合の綴じ部位置の決定手法を示す説明図である。
【図25】ページ外形が上下辺のどちらにも存在する場合の綴じ部位置の決定手法を示す説明図である。
【図26】スキャン画像の綴じ部付近にページ外形が存在しない場合の綴じ部位置の決定手法を示す説明図である。
【図27】図8に示した画像の黒画素ヒストグラムである。
【図28】ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【図29】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図30】図29に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図31】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図32】図31に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図33】罫線の連続性の判別を示す説明図である。
【図34】罫線の座標検出を示す説明図である。
【図35】左右ページから各1本ずつの罫線を選択する場合を示す説明図である。
【図36】左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつの罫線を選択する場合を示す説明図である。
【図37】罫線の座標抽出を示す説明図である。
【図38】排除される不適切な罫線の例を示す説明図である。
【図39】図8に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図40】図8に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図41】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図42】最適な横書き文字行の選択を示す説明図である。
【図43】各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。
【図44】抽出した行切り出し矩形を例示的に示す説明図である。
【図45】予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。
【図46】抽出した縦書き文字行の先頭のy座標に関してヒストグラムを構成する状態を示す説明図である。
【図47】画像の歪みを生じていない部分における処理を示す説明図である。
【図48】画像の歪みを生じている部分における処理を示す説明図である。
【図49】抽出した縦書き文字行を示す説明図である。
【図50】縦書き文字行の行切り出し矩形を示す説明図である。
【図51】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図52】スキャナのスキャナレンズの光軸の主走査方向の位置と、スキャナレンズの中心とスキャン面間の距離を示す説明図である。
【図53】主走査方向歪み補正処理を示す説明図である。
【図54】画素値の線形補間処理による求め方を示す説明図である。
【図55】右ページ上方にページ外形/罫線/文字行が存在しない場合の主走査方向歪み補正処理を示す説明図である。
【図56】画像長さの算出を示す説明図である。
【図57】元画像と補正画像の対応を示す説明図である。
【図58】画素値の線形補間処理による求め方を示す説明図である。
【図59】スキャナパラメータが未知であって適切なページ外形や罫線、文字行が抽出されなかった場合の主走査方向歪み補正処理を示す説明図である。
【図60】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図61】抽出された文字外接矩形を示す説明図である。
【図62】二値化画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図63】予め排除される文字外接矩形を示す説明図である。
【図64】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図65】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図66】図64に示した各短冊領域の特徴量に対して長さが全て5であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図67】図64に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図68】図67に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図69】歪みを補正した画像を示す平面図である。
【図70】コンタクトガラスにブック原稿を接触させた状態を示す正面図である。
【図71】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
1 画像読取装置
16 画像形成装置
19 画像歪み補正装置
40 ブック原稿
41 ページ綴じ部
Claims (20)
- スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いて補正する画像歪み補正装置において、
前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出手段と、
文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出手段と、
最小輝度の代表位置を検出する最小輝度検出手段と、
前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出手段と、
を備え、
前記ページ外形検出手段により検出されたページ外形の有無、前記文字無し領域検出手段により検出された文字無し領域、前記最小輝度検出手段により検出された最小輝度の代表位置、前記直線抽出手段により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する、
ことを特徴とする画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺の綴じ部付近に前記ページ外形が検出された場合は、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とみなす、
ことを特徴とする請求項1記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合は、前記最小輝度検出手段にて検出された最小輝度位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項1記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす、
ことを特徴とする請求項3記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項3記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合は、前記最小輝度検出手段にて検出された最小輝度の代表位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項1記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす、
ことを特徴とする請求項6記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項6記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、前記文字無し領域検出手段により適切でない文字無し領域が検出された場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、ことを特徴とする請求項1記載の画像歪み補正装置。
- 前記ページ外形検出手段は、前記スキャン画像の主走査方向上辺から下方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ逆三角形状に分布している場合は前記スキャン画像の主走査方向上辺にページ外形が存在するとみなし、前記スキャン画像の主走査方向下辺から上方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ三角形状に分布している場合は前記スキャン画像の主走査方向下辺にページ外形が存在するとみなす、
ことを特徴とする請求項1ないし9のいずれか一記載の画像歪み補正装置。 - 前記文字無し領域検出手段は、主走査方向での白黒画素の反転数、もしくは、予め定めた閾値以上と以下の画素が交代する回数、に関するヒストグラムの分布を利用して、前記文字無し領域を検出する、
ことを特徴とする請求項1ないし9のいずれか一記載の画像歪み補正装置。 - ヒストグラムの値が予め定めた閾値以下である副走査方向の連続領域の中で最大の領域を中心とし、他の閾値以下の連続領域が副走査方向でほぼ対称に存在する場合は、前記最大領域を文字や図が存在しない可能性が高い文字無し領域(適切な文字無し領域)とみなし、他の閾値以下の連続領域が副走査方向で対称に存在しない場合は、これら閾値以下の連続領域の全ての左端から右端までを文字や図が存在しない可能性が低い文字無し領域(適切でない文字無し領域)とみなす、
ことを特徴とする請求項11記載の画像歪み補正装置。 - ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす、
ことを特徴とする請求項12記載の画像歪み補正装置。 - 前記最小輝度検出手段は、前記スキャン画像の主走査方向の各ライン上での最大輝度値の中で副走査方向において最小値を与える位置を、最小輝度の代表位置とみなす、
ことを特徴とする請求項1ないし9のいずれか一記載の画像歪み補正装置。 - 最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくは前記画像読取手段の光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく、
ことを特徴とする請求項14記載の画像歪み補正装置。 - 前記直線抽出手段は、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素の輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する、
ことを特徴とする請求項1ないし9のいずれか一記載の画像歪み補正装置。 - 決定した綴じ部位置と画像読み取りの主走査方向との成す角度を前記スキャン画像のスキュー角度として検出する、
ことを特徴とする請求項1ないし16のいずれか一記載の画像歪み補正装置。 - 原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし17の何れか一記載の画像歪み補正装置と、
を備えることを特徴とする画像読取装置。 - 原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項1ないし17の何れか一記載の画像歪み補正装置と、
この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、
を備えることを特徴とする画像形成装置。 - スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪み補正を当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いてコンピュータに実行させるプログラムであって、前記コンピュータに、
前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出機能と、
文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出機能と、
最小輝度の代表位置を検出する最小輝度検出機能と、
前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出機能と、
を実行させ、
前記ページ外形検出機能により検出されたページ外形の有無、前記文字無し領域検出機能により検出された文字無し領域、前記最小輝度検出機能により検出された最小輝度の代表位置、前記直線抽出機能により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する、
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003204286A JP3983721B2 (ja) | 2003-07-31 | 2003-07-31 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003204286A JP3983721B2 (ja) | 2003-07-31 | 2003-07-31 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005051383A JP2005051383A (ja) | 2005-02-24 |
JP3983721B2 true JP3983721B2 (ja) | 2007-09-26 |
Family
ID=34263334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003204286A Expired - Fee Related JP3983721B2 (ja) | 2003-07-31 | 2003-07-31 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3983721B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293522A (ja) * | 2005-04-07 | 2006-10-26 | Fuji Photo Film Co Ltd | 直線検出装置、直線検出方法およびそのプログラム |
JP4695520B2 (ja) * | 2006-02-09 | 2011-06-08 | 株式会社リコー | 画像処理装置、画像処理方法、及び、画像処理プログラム |
JP4883574B2 (ja) * | 2007-01-04 | 2012-02-22 | 株式会社沖データ | 画像処理装置 |
JP5777601B2 (ja) | 2012-12-25 | 2015-09-09 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像読取装置 |
JP6692212B2 (ja) * | 2016-05-23 | 2020-05-13 | シャープ株式会社 | 画像処理装置並びにそれを備えた画像形成装置、画像処理方法、画像プログラム、及び記録媒体 |
JP6798388B2 (ja) * | 2017-03-29 | 2020-12-09 | 株式会社デンソー | 部材の溶接位置検出装置、及び、部材の溶接位置検出方法 |
JP7180408B2 (ja) | 2019-01-25 | 2022-11-30 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置および画像処理プログラム |
CN111739014B (zh) * | 2020-06-30 | 2023-03-07 | 北京酷豹科技有限公司 | 基于图像处理的图像质量检测方法及相关装置 |
-
2003
- 2003-07-31 JP JP2003204286A patent/JP3983721B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005051383A (ja) | 2005-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7430065B2 (en) | Method and system for correcting distortions in image data scanned from bound originals | |
JP4141235B2 (ja) | 画像補正装置及びプログラム | |
US20020084978A1 (en) | Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus | |
JP4271085B2 (ja) | 画像補正装置、画像読取装置、プログラム及び記憶媒体 | |
JP4162633B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3983721B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4507124B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4585015B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4180260B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3979639B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3926294B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 | |
JP4006242B2 (ja) | 画像補正装置、プログラム、記憶媒体及び画像補正方法 | |
JP4194076B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4136860B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4061256B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4093970B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP4480291B2 (ja) | 画像歪み補正装置、記憶媒体、プログラム、画像歪み補正方法、画像読取装置および画像形成装置 | |
JP4198613B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP4789221B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3986059B2 (ja) | 画像補正装置、プログラム、記憶媒体及びページ外形の直線部分と曲線部分の境界点の検出方法 | |
JP4577845B2 (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 | |
JP4145256B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP3917421B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3877142B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP2003143407A (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051118 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070704 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |