JP3926294B2 - 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 - Google Patents
画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP3926294B2 JP3926294B2 JP2003167089A JP2003167089A JP3926294B2 JP 3926294 B2 JP3926294 B2 JP 3926294B2 JP 2003167089 A JP2003167089 A JP 2003167089A JP 2003167089 A JP2003167089 A JP 2003167089A JP 3926294 B2 JP3926294 B2 JP 3926294B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning direction
- image
- line
- main scanning
- reference line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 163
- 238000000034 method Methods 0.000 title claims description 94
- 238000000605 extraction Methods 0.000 claims description 28
- 230000001502 supplementing effect Effects 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 7
- 239000013589 supplement Substances 0.000 claims description 4
- 230000009469 supplementation Effects 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 50
- 239000011521 glass Substances 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000003705 background correction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。
【0002】
【従来の技術】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿(本、冊子など)も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
ところが、原稿としてブック原稿を用いた場合には、図61に示すように、ブック原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまう。このようにブック原稿100のページ綴じ部101がコンタクトガラス102から浮き上がってしまった場合には、ページ綴じ部101が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化したページ綴じ部101の画像は読みにくく、OCRにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿100のページ綴じ部101を焦点面から離れないように加圧作業した場合には、ブック原稿100自体を破損してしまうこともある。
【0003】
このような問題を解決すべく、画像の濃度情報から物体の3次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の3次元形状を推定する方法としては、非特許文献1に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
また、特許文献1には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
さらに、特許文献2には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の3次元形状を推定する方法が提案されている。
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
また、特許文献1に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、装置を小型化する上で適切ではない。
さらに、特許文献2に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
そこで、本出願人はページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置を特願2002−247643(特許文献3)にて提案した。そこでは、ページ外形だけではなく文字行情報あるいは罫線情報を用いて画像の歪みを補正し、しかも、スキャナ(画像読取手段)の固有パラメータ(レンズの焦点面距離、スキャン光軸の位置(アドレス))を利用していないので、任意のスキャナの出力画像を補正できる。
【特許文献1】
特開平5−161002号公報
【特許文献2】
特開平11−41455号公報
【特許文献3】
特願2002−247643
【非特許文献1】
T. Wada, H. Uchida and T. Matsuyama, "Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book", International Journal Computer Vision 24(2), 125-135(1997)
【0004】
【発明が解決しようとする課題】
しかしながら、スキャナの固有パラメータが既知である場合もあり、そのときはパラメータを利用した方が一般に補正精度は向上する。また、適切なページ外形や文字行情報あるいは罫線情報を抽出できない場合は補正ができないこともある。
本発明は、上述した実情を考慮してなされたものであって、スキャナパラメータが既知の場合と未知の場合とにおいて、それぞれ適切な補正方法を与え、更に適切なページ外形や文字行情報あるいは罫線情報を抽出できない場合でも補正精度の向上が図れる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することを目的とする。
【0005】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項1は、主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取って得られたページ綴じ部と左右2ページ分の画像を含むスキャン画像を主走査方向および副走査方向に伸張して歪み補正を行う画像歪み補正装置において、前記スキャン画像から原稿に含まれる副走査方向に延びる曲線を形成する部分を参照線として抽出する参照線抽出手段と、片方のページで抽出できなかった参照線を他のページの参照線を基に生成する参照線補充手段と、前記抽出または生成した参照線の形状に基づいて前記スキャン画像の主走査方向の歪みを補正する主走査方向歪み補正手段とを備えたことを特徴とする。
また、本発明の請求項2は、請求項1記載の画像歪み補正装置において、前記参照線抽出手段は、前記スキャン画像中の主走査方向での上辺および下辺の近傍に位置するページ外形、罫線、主走査方向に垂直な文字行(通常は横書きの行)の各文字の位置を連結した線または主走査方向に平行な文字行(通常は縦書きの行)の先頭もしくは末尾の文字の位置を連結した線を参照線として1対(2本)抽出し、前記主走査方向歪み補正手段は、前記参照線の曲線部分が直線部分の延長線に一致するような直線を仮定し、該仮定した直線に基づいて補正前後の画像の対応点を求めて主走査方向の歪みを補正することを特徴とする。
また、本発明の請求項3は、請求項1または2記載の画像歪み補正装置において、前記参照線補充手段は、前記スキャン画像の地肌濃度からページ綴じ部と左右ページの歪み領域を決定し、前記ページ綴じ部を中心に参照線を対称移動して、前記左右ページの歪み領域の幅に対応させて前記対称移動した参照線を副走査方向に伸縮することを特徴とする。
また、本発明の請求項4は、請求項3記載の画像歪み補正装置において、前記参照線補充手段は、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部とみなし、ページ綴じ部近傍で地肌濃度が所定の明るさ以下の領域を歪み領域として決定することを特徴とする。
【0006】
また、本発明の請求項5は、請求項3記載の画像歪み補正装置において、前記参照線補充手段は、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部の位置とし、副走査方向上の2つの所定位置における地肌濃度の濃い方の濃度値の位置と、この濃度値と等しいもう一方のページでの地肌濃度の副走査方向での位置をそれぞれ検出して歪み領域として決定することを特徴とする。
また、本発明の請求項6は、請求項1〜5のいずれか1項に記載の画像歪み補正装置において、前記主走査方向歪み補正手段は、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が既知の場合は、該位置を通る副走査方向に平行な直線を主走査方向の上辺もしくは下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする。
また、本発明の請求項7は、請求項1〜5のいずれか1項に記載の画像歪み補正装置において、前記主走査方向歪み補正手段は、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が未知の場合は、スキャン画像の主走査方向の中心位置を通る副走査方向に平行な直線を主走査方向の上辺もしくは下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする。
また、本発明の請求項8は、請求項1〜7のいずれか1項に記載の画像歪み補正装置において、前記主走査方向歪み補正手段は、前記参照線抽出手段が抽出あるいは前記参照線補充手段が生成した参照線についての情報を保持し、後続して補正する他のスキャン画像の補正に前記参照線についての情報を用いて主走査方向の歪み補正を行うことを特徴とする。
また、本発明の請求項9は、請求項1〜8のいずれか1項に記載の画像歪み補正装置において、前記主走査方向歪み補正手段は、参照線の曲線部分に対応する副走査方向の位置でのみ主走査方向の歪み補正を行うことを特徴とする。
【0007】
また、本発明の請求項10の画像読取装置は、主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取る画像読取手段と、該画像読取手段が読み取ったページ綴じ部と左右2ページ分の画像を含むスキャン画像の補正を行う請求項1〜9のいずれか1項に記載の画像歪み補正装置とを備えたことを特徴とする。
また、本発明の請求項11の画像形成装置は、主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取る画像読取手段と、該画像読取手段が読み取ったページ綴じ部と左右2ページ分の画像を含むスキャン画像の補正を行う請求項1〜9のいずれか1項に記載の画像歪み補正装置と、該画像歪み補正装置が補正した画像データに基づいた画像を用紙上に印刷する画像印刷装置とを備えたことを特徴とする。
また、本発明の請求項12は、主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取って得られたページ綴じ部と左右2ページ分の画像を含むスキャン画像を主走査方向に伸張して歪み補正を行う画像歪み補正方法において、前記スキャン画像から原稿に含まれる副走査方向に延びる曲線を形成する部分を参照線として抽出する参照線抽出ステップと、片方のページで抽出できなかった参照線を他のページの参照線を基に生成する参照線補充ステップと、前記抽出または生成した参照線の形状に基づいて前記スキャン画像の主走査方向の歪みを補正する主走査方向歪み補正ステップとを備えたことを特徴とする。
また、本発明の請求項13は、前記参照線抽出ステップは、前記スキャン画像中の主走査方向での上辺および下辺の近傍に位置するページ外形、罫線、主走査方向に垂直な文字行の各文字の位置を連結した線または主走査方向に平行な文字行の先頭もしくは末尾の文字の位置を連結した線を参照線として1対抽出し、前記主走査方向歪み補正ステップは、前記参照線の曲線部分が直線部分の延長線に一致するような直線を仮定し、該仮定した直線に基づいて補正前後の画像の対応点を求めて主走査方向の歪みを補正することを特徴とする。
【0008】
また、本発明の請求項14は、前記参照線補充ステップは、前記スキャン画像の地肌濃度からページ綴じ部と左右ページの歪み領域を決定し、前記ページ綴じ部を中心に参照線を対称移動して、前記左右ページの歪み領域の幅に対応させて前記対称移動した参照線を副走査方向に伸縮することを特徴とする。
また、本発明の請求項15は、前記参照線補充ステップは、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部とみなし、ページ綴じ部近傍で地肌濃度が所定の明るさ以下の領域を歪み領域として決定することを特徴とする。
また、本発明の請求項16は、前記参照線補充ステップは、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部の位置とし、副走査方向上の2つの所定位置における地肌濃度の濃い方の濃度値の位置と、この濃度値と等しいもう一方のページでの地肌濃度の副走査方向での位置をそれぞれ検出して歪み領域として決定することを特徴とする。
また、本発明の請求項17は、前記主走査方向歪み補正ステップは、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が既知の場合は、この位置を通る副走査方向に平行な直線を主走査方向の下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする。
また、本発明の請求項18は、前記主走査方向歪み補正ステップは、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が未知の場合は、スキャン画像の主走査方向の中心位置を通る副走査方向に平行な直線を主走査方向の上辺もしくは下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする。
また、本発明の請求項19は、前記主走査方向歪み補正ステップは、前記参照線抽出ステップが抽出あるいは前記参照線補充ステップが生成した参照線についての情報を保持し、後続して補正する他のスキャン画像の補正に前記参照線についての情報を用いて主走査方向の歪み補正を行うことを特徴とする。
また、本発明の請求項20は、前記主走査方向歪み補正ステップは、参照線の曲線部分に対応する副走査方向の位置でのみ主走査方向の歪み補正を行うことを特徴とする。
また、本発明の請求項21は、請求項12乃至20の何れか一項に記載の画像歪み補正方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
また、本発明の請求項22は、請求項21に記載の画像歪み補正プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
【0009】
【発明の実施の形態】
本発明の実施の一形態を図1ないし図61に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
ここで、図1はスキャナ部1の構成を示す縦断正面図である。図1に示すように、スキャナ部1は、原稿を載置するコンタクトガラス2と、原稿の露光用の露光ランプ3および第一反射ミラー4からなる第一走行体5と、第二反射ミラー6および第三反射ミラー7からなる第二走行体8と、原稿の画像を読み取る撮像素子としてのCCD(Charge Coupled Device)9と、このCCD9に結像させるためのレンズユニット10と、原稿を載置する基準になるとともにコンタクトガラス2のズレや外れを防止する原稿スケール11と、この原稿スケール11の下側に設置されたシェーディング補正用の白基準板12と、フレーム14とを備えている。CCD9はセンサボード13上に形成されている。
原稿の走査時には、第一走行体5および第二走行体8はステッピングモータ24(図3参照)によって副走査方向に移動する。すなわち、第一走行体5および第二走行体8がコンタクトガラス2の下を走行して、露光ランプ3で原稿を露光走査し、その反射光を第一反射ミラー4、第二反射ミラー6および第三反射ミラー7で反射して、レンズユニット10を通してCCD9に結像させる。ここに、画像読取手段が実現されている。
このようなスキャナ部1は、このスキャナ部1で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部(図示せず)を備えるデジタル複写機16に搭載されている。
図2は、スキャナ部1を搭載したデジタル複写機16の上部部分を示す斜視図である。図2に示すように、スキャナ部1には、コンタクトガラス2に対して開閉自在な圧板17と、この圧板17の開閉を検出する開閉センサ18とが設けられている。
なお、デジタル複写機16に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【0010】
図3は、スキャナ部1の制御系の電気的な接続を示すブロック図である。図3に示すように、この制御系は、スキャナ部1の全体を制御するメイン制御部19に、CCD9で読み取った画像データに各種の画像処理を施す回路である画像処理部20と、第一走行体5および第二走行体8を制御する回路である走行体制御部21と、デジタル複写機16への各種操作を受け付け、また、各種メッセージを表示する操作パネル22と、CCD9で読み取った画像データや所定のデータ等を記憶するメモリ23とが接続されている。なお、操作パネル22には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部21には、露光ランプ3と、第一走行体5および第二走行体8を駆動するステッピングモータ24と、第一走行体5および第二走行体8がホームポジションにあるか否かを検出するスキャナホームポジションセンサ(HPセンサ)25と、開閉センサ18とが接続されている。
ここで、図4は画像処理部20の基本的な内部構成を示すブロック図である。図4に示すように、画像処理部20は、原稿をCCD9により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部26、シェーディング補正処理を行うシェーディング補正処理部27、シェーディング補正処理後のデジタル画像信号に、MTF補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部28、本実施の形態の特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正部29から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部19を介してプリンタ部に送信されて、画像形成に供される。
メイン制御部19は、図5に示すように、各部を集中的に制御するCPU(Central Processing Unit)31を備えており、このCPU31には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)32と、各種データを書換え可能に記憶してCPU31の作業エリアとして機能するRAM(Random Access Memory)33とがバス34で接続されており、マイクロコンピュータを構成している。さらにバス34には、制御プログラムが記憶されたHDD35と、CD(Compact Disc)−ROM37を読み取るCD−ROMドライブ36と、プリンタ部等との通信を司るインタフェース(I/F)38とが接続されている。
【0011】
図5に示すCD−ROM37は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。CPU31は、CD−ROM37に記憶されている制御プログラムをCD−ROMドライブ36で読み取り、HDD35にインストールする。これにより、メイン制御部19は、後述するような各種の処理を行うことが可能な状態となる。
なお、記憶媒体としては、CD−ROM37のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、HDD35にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
次に、メイン制御部19に設けられたCPU31が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、CPU31が実行する処理のうち、本実施の形態のスキャナ部1が備える特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正装置である画像歪み補正部29におけるスキャン画像の歪み補正処理についてのみ説明する。
【0012】
図6は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図7に示すように、ブック原稿40がそのページ綴じ部41とスキャナ部1の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス2に載置されている場合について説明する。
まず、ステップS1において、画像データ処理部28から出力されたコンタクトガラス2に載置されているブック原稿40のスキャン画像を入力する。ここで、図8は入力した画像の一例を示したものである。そして、図9に示すように、入力されたブック原稿40のスキャン画像には、ページ綴じ部41の近傍において歪みが生じている。
次いで、ブック原稿40のスキャン画像(例えば、モノクロ多値画像)の最適2値化処理を実行し(ステップS2)、副走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)数のヒストグラムを求める(ステップS3)。図10は、図8に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図10中の横軸は、主走査方向の黒画素(スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の位置を示し、図10中の縦軸は、その位置毎の黒画素数を示すものである。なお、綴じ部境界線としては、スキャン画像中の画素の中でその濃度値が最も濃い画素が位置する副走査方向の位置が選択される。
なお、スキャン画像がカラー多値画像の場合における2値化処理は、例えばRGB成分の何れか一つの成分に着目し(例えばG成分)、G成分の所定の濃度閾値よりも大きいものを黒画素とし、G成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
続くステップS4においては、ページ外形/罫線/文字行等の原稿における副走査方向の直線とみなせる対象の抽出処理を実行する。ここで、図11はページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【0013】
[スキャン画像からのページ外形の抽出]
まず、ステップS41におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図12は上端にページ外形が存在するスキャン画像の一例を示す説明図、図13は図12に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図13に示すヒストグラムのx軸はスキャン画像の主走査方向(図12の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図12に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図13に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
より具体的には、図13に示すように、綴じ部境界線からスキャン画像の左端(図12の左端)までの距離AO、ヒストグラム縦棒の高さBOとし、その比率を下記に示す式(1)により算出し、
【数1】
算出された比率kが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
ここに、ページ外形判別手段の機能が実行される。
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、RAM33に一時的に記憶する。
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
[スキャン画像からの罫線の抽出]
続くステップS42においては、スキャン画像からの罫線の抽出処理を実行する。
【0014】
[罫線候補の検出]
ここで、図14は長い罫線が存在するスキャン画像の一例を示す説明図、図15は図14に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図15に示すヒストグラムのx軸はスキャン画像の主走査方向(図14の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図14に示すようにスキャン画像に罫線が存在する場合には、図15に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。
より具体的には、まず、図15に示すヒストグラムに現れた幅の狭いピークの高さHを求めるとともに、求められた各ピークの中央位置(高さが半分の位置)における幅Wを求める。そして、ピークの高さHが予め定められた閾値thHよりも高く、かつ、ピークの中央位置の幅Wが予め定められた閾値thWより小さなピークが存在する場合、そのピークを罫線の候補とする。
ここに、罫線候補抽出手段の機能が実行される。
続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図16に示すように、候補罫線上の適当な位置(例えば、ページの中心線の位置)を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点(罫線がかすれて途切れている部分)の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。
ここに、罫線判別手段の機能が実行される。
[罫線の座標検出]
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図17に示すように、罫線の主走査方向(図17のy軸方向)の座標値を罫線部の黒画素ランの中点座標とした場合、図17に示す罫線の左端のx1における主走査方向座標値はy1となる。
【0015】
[最適罫線の選択]
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図18に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図18の網掛け領域)に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図18においては、左右ページから各1本ずつの罫線を選択する場合を示している。ここでは、罫線▲1▼と罫線▲2▼とが選択されている。
また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図19の網掛け領域)に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図19においては、左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲1▼、右下のブロックでは罫線▲2▼、左下のブロックでは罫線▲3▼が選択されている。なお、図19中の右上のブロックには上記2条件(罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている)を満足する罫線が存在しないので、選択された罫線はない。
なお、上記2条件(罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている)については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。
【0016】
[最適罫線の座標値の決定]
最適な罫線が選択された場合には、罫線の(主走査方向の)座標値を決定する。罫線の(主走査方向の)座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図20において、罫線が存在しているBC部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の(主走査方向の)座標値を決定することになる。より詳細には、図20に示すAB部は直線近似で(主走査方向の)座標値を推定し、CD部は多項式近似曲線で(主走査方向の)座標値を推定する。
[不適切な罫線の排除]
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図21に示すように、曲線が書籍の外側へ向かうような曲線▲1▼や、中心線を超えて大きく内側へ食い込むような曲線▲2▼である。
なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、RAM33に一時的に記憶する。
[スキャン画像からの文字行の抽出]
続くステップS43においては、スキャン画像からの文字行の抽出処理を実行する。ステップS43におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【0017】
[文字行の判別]
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図22は図8に示した画像の副走査方向の黒白反転数ヒストグラムである。図22中の横軸は、副走査方向(左右方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の主走査方向上での位置を示し、図22中の縦軸は、その位置毎の黒画素数を示すものである。また、図23は図8に示した画像の主走査方向の黒白反転数ヒストグラムである。図23中の横軸は、主走査方向(上下方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の副走査方向上での位置を示し、図23中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図8に示したようなスキャン画像の場合、図22に示すような副走査方向のヒストグラムは激しく変化するが、図23に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【0018】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式(2)により、
【数2】
主走査方向yの位置でのヒストグラム値Pnt(y)の平均値meanHが算出される。ここで、heightは画像の高さである。そして、下記に示す式(3)により、
【数3】
副走査方向のヒストグラムの主走査方向に関する分散σHが得られる。
同様に、下記に示す式(4)により、
【数4】
副走査方向xの位置でのヒストグラム値Pnt(x)の平均値meanVが算出される。ここで、widthは画像の幅である。そして、下記に示す式(5)により、
【数5】
主走査方向のヒストグラムの副走査方向に関する分散σVが得られる。
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σHが、主走査方向のヒストグラムの副走査方向に関する分散σVより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σVが、副走査方向のヒストグラムの主走査方向に関する分散σHより大きい。つまり、分散σHと分散σVとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
ここに、文書判別手段の機能が実行される。
【0019】
[横書き文字行の座標検出]
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字認識処理に用いられる文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図24に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
[最適横書き文字行の選択]
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。
複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図25に示すように横書き文字行の長さBCが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図25の網掛け領域)に横書き文字行の一部Cがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Bは文字行の一番左の矩形の中心であり、Cは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
なお、上記2条件(横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている)については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【0020】
[最適横書き文字行の座標値の決定]
最適な横書き文字行が選択された場合には、横書き文字行の(主走査方向の)座標値を決定する。横書き文字行の(主走査方向の)座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の(主走査方向の)座標値を決定することになる。より詳細には、図25に示すDは綴じ部境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
[不適切な横書き文字行の排除]
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、RAM33に一時的に記憶する。
[縦書き文字行の各文字の座標検出]
続いて、各縦書き文字行の座標を検出する。縦書き文字行の座標の検出にあたっては、文字認識処理に用いられる文字単位の外接矩形抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなす。
【0021】
[横書き文字行の抽出]
次に、各縦書き文字行から横書き文字行を抽出する。横書き文字行の抽出は、各縦書き文字行の一番上の文字を連結した外形、または、各縦書き文字行の一番下の文字を連結した外形を横書き文字行とみなすものである。より詳細には、左右ページから各1本ずつの文字行を選択する場合は、各縦書き文字行の一番上もしくは一番下の各一文字を連結した外形を一つの行とみなして抽出する。また、左右ページをさらに上下部分に分け、その4ブロックにおいて1本ずつの文字行を選択する場合は、左上部、右上部においては各縦書き文字行の一番上の各一文字を連結した外形を一つの行とみなし、左下部、右下部においては各縦書き文字行の一番下の各一文字を連結した外形を一つの行とみなして抽出する。
その際、図26に示すように抽出された外形の長さBCが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内(図26の網掛け領域)に抽出された外形の一部Cがかかっていることを条件とし、外形を抽出する。なお、上記2条件(抽出された外形の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に抽出された外形の一部がかかっている)については、その両方ではなくいずれか一方のみを満足するものであっても良い。したがって、上記条件を満足しない場合は、歪み補正用の縦書き文字行の外形は無いということになる。
[抽出された外形の座標値の決定]
縦書き文字行に応じて外形が抽出された場合には、なお、縦書き文字行の外形の(主走査方向の)座標値を決定する。縦書き文字行の外形の座標値は、図27に示すように、各縦書き文字行の一番上の各一文字を連結した外形である場合には、連結する各文字の外接矩形の上辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の(主走査方向の)座標値を決定することになる。また、図27に示すように、各縦書き文字行の一番下の各一文字を連結した外形である場合には、連結する各文字の外接矩形の下辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の(主走査方向の)座標値を決定することになる。より詳細には、図26に示すDは綴じ部境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
【0022】
[不適切な縦書き文字行の外形の排除]
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、RAM33に一時的に記憶する。以上、ステップS41〜S43の処理により、ページ外形/罫線/文字行の抽出処理(ステップS4)が終了する。
しかしながら、このページ外形/罫線/文字行の抽出処理において、適切な対象が見つからない場合もある。図6のステップS5、画像歪み補正処理の説明の前に、これらの補充処理の方法を説明する。
【0023】
図28は参照線の検出および補充の処理を示すフローチャートである。なお、この補充処理の説明の中にはページ外形/罫線/文字行の抽出処理が参照線の検出という表現で含まれているが同一の処理であり、図28を一連の処理として実現しても、あるいは参照線の検出という部分を前に説明したページ外形/罫線/文字行の抽出処理として先に別途実行しても良い。また、以降このページ外形/罫線/文字行を、補正のための位置を参照する線という意味で参照線と呼ぶこととする。
まず、入力スキャン画像の地肌濃度を検出する(ステップS45)。基本的に、各主走査方向ラインにおいて、最大画素値(最も明るい画素値)をそのラインの地肌濃度とみなす。図29は綴じ部を含む左右見開きページのスキャン画像で、綴じ部付近に地肌濃度の濃い部分があり、一般的には原稿の置き方にむらができ、左右対称にはならない。このスキャン画像の各主走査方向ラインの地肌濃度を副走査方向にプロットしたものが図30に示す画素値の変化グラフである。ここで、地肌濃度が最も濃い位置をスキャン画像の綴じ部位置とみなす。
次に、左右各ページの歪み領域比率を算出する(図28のステップS46)。綴じ部から、左右各ページで地肌濃度が等しい位置までの距離の比を、歪み領域の比率とみなす。図30の例では、地肌濃度Iを予め与えておくと、左ページにおいて綴じ部から地肌濃度がIとなる位置までの距離はd1、右ページではd2なので、距離比はd1:d2となる。これは、図29の網がけで表した部分に対応する。あるいは、図31に示すように、地肌濃度Iを予め与える代わりに、左右ページに定点x1、x2を予め定めておき、x1における地肌濃度とx2における地肌濃度のより濃い(画素値が小さい=暗い)方をIとみなしても良い。
次に、参照線の検出を行う(図28のステップS47)。この処理はページ外形/罫線/文字行の抽出処理と全く同じ処理である。図32は図29のスキャン画像から参照線を検出した状態を示す図である。この例では、左ページからは1対(2本)の参照線を検出できたが、右ページからは1本の参照線しか検出できていない。便宜的に、主走査方向の下方にある参照線を参照線1、上方にあるものを参照線2としておく。
参照線の補充処理(図28のステップS48)は、片方のページから1本しか参照線が検出できなかった場合は、もう一方のページの参照線を利用して、欠落した参照線を補充するものである。基本的には、もう一方のページの参照線を綴じ部を中心に対称移動させ、ステップS46にて算出した左右ページの歪み領域比率に応じてこれを伸縮し、当該ページの欠落した参照線とみなす処理である。
【0024】
図32の例では右ページ上方からの参照線が検出できていない。そこで、左ページの参照線2を右ページに対称移動して伸縮する。図33は図32で検出した参照線を補充する処理を示す説明図である。左右ページの歪み領域比率はd1:d2かつd1>d2なので、左ページの参照線2上の任意の点Pと綴じ部との距離l1(エル1)と、右ページでの対応点P’と綴じ部との距離l2(エル2)の関係が、l1:l2=d1:d2となるように、参照線2を対称移動して短縮すれば良い。右ページの点Q’は左ページの左端の点Qの対応点である。点Q’よりさらに右方の部分は、点Q’と主走査方向(y方向)の座標が等しい位置に直線を延長する。
図34および図35は図32および図33と類似の例であるが、ここでは、左右ページの歪み領域比率がd3:d4で、かつd3<d4であり、右ページのほうが広くなっている点が異なっている。この場合は、左ページの参照線2を右ページに対称移動して伸張することになる。左ページの点Rと綴じ部の距離l3(エル3)および右ページの対応点R’と綴じ部の距離l4(エル4)の関係はl3:l4=d3:d4である。右ページの右端の点S’の対応元の点は左ページの点Sであり、これより左方の部分は、右ページの参照線上には対応点を持たないことになる。
図36は、左ページに参照線1が、そして右ページに参照線2が、それぞれ検出できなかった例である。左右ページの歪み領域比率はd5:d6(d5>d6)である。この例では、左ページの参照線2を右ページに対称移動して短縮し、かつ、右ページの参照線1を左ページに対象移動して伸張することにより、参照線をそれぞれ補充する(図37)。
【0025】
図38は、左ページは上辺の参照線のみが検出できて、右ページ上下辺とも参照線が検出できなかった例である(歪み領域比率はd7:d8(d7 > d8))。本方式では左ページの上辺の参照線を右ページに対象移動して短縮する。これにより右ページにも上辺の参照線が補充される(図39)。下辺の参照線のほうは両ページとも検出できていないので、スキャナレンズの光軸の主走査方向の位置が既知の場合はこの位置を通る副走査方向に平行な直線を、未知の場合はスキャン画像の主走査方向の中心位置を通る副走査方向に平行な直線を、下辺の参照線とみなす(図の中央を横切る一点鎖線)。これにより、右ページの補正も可能となる。なお、図38の例とは逆に上辺の参照線が左右両ページとも検出できなかった場合も、スキャナレンズの光軸の主走査方向の位置が既知の場合はこの位置を通る副走査方向に平行な直線を、未知の場合はスキャン画像の主走査方向の中心位置を通る副走査方向に平行な直線を、参照線とみなす(図40, 41)。
以上が参照線の補充処理であり、続くステップS5(図6参照)においては、画像歪み補正処理を実行する。なお、上で補充した参照線の位置や形状を示す情報はRAM33に記憶し、次のステップの画像歪み補正処理に使用されることになる。
画像歪み補正処理は、図42に示すように、概略的には、歪み補正(伸張)に際しての基準となる線(参照線1)としてスキャン画像の下辺の近傍に位置するページ外形/罫線/文字行のいずれかを選択する処理(ステップS51:参照線1選択処理)、上記参照線1に対応するものであって補正率(伸張率)の算出用の参照線2としてスキャン画像の上辺の近傍に位置するページ外形/罫線/文字行のいずれかを選択する処理(ステップS52:参照線2選択処理)、参照線1と参照線2に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理と、参照線1もしくは参照線2から算出されたページ面のスキャン面からの距離(浮きの高さ)もしくは補正画像の文字外接矩形に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理(ステップS53:主走査方向歪み補正処理と副走査方向歪み補正処理)とにより構成されている。
【0026】
ここで、参照線1選択処理(ステップS51)及び参照線2選択処理(ステップS52)においては、これまで説明してきた参照線の抽出および補充によって生成された参照線情報から、参照線1または参照線2として、スキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行のいずれかを、左右各ページについて選択することになる。本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形>罫線>文字行
としている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。
次に、主走査方向歪み補正処理と副走査方向歪み補正処理(ステップS53)について説明する。この処理はスキャナパラメータが既知の場合と未知の場合とで処理が異なる。即ち、スキャナの機種が既知の場合は当該スキャナのスキャナレンズの光軸の主走査方向の位置(図43のAk)と、スキャナレンズの中心とスキャン面間の距離(図43の焦点面距離)をスキャナパラメータとして、予め記憶しておく。
まず、スキャナパラメータが既知の場合を説明する。この場合、基本的に、主走査方向の1ラインを補正したら、次にそのラインに関して副走査方向の補正を行う、という処理を主走査方向の全ライン、もしくは、参照線1または参照線2が曲線である部分の主走査方向ラインについて行う。
主走査方向の補正は次のように行う。図44には、補正前の参照線1、参照線2をそれぞれ実線で、補正後をそれぞれ点線で表している。補正後の点線は、補正前の参照線1、参照線2の直線部分(平坦部)をそのまま延長したものである。ここで、副走査方向の位置Xにおいて、参照線上の点PがP’に、参照線上の点QがQ’に、それぞれ補正される。さて、位置Xにおける主走査方向上の任意の点YがY’に補正されるとして、次の関係式が成り立つ、
YP/YQ=Y’P’/Y’Q’
よって、各点の主走査方向の位置を、点PならP(y)というように表すと、
(Y(y)−P(y))/(Y(y)−Q(y))=
(Y’(y)−P’(y))/(Y’(y)−Q’(y))
となるので、これを変形して、
Y(y)=
((P(y)−Q(y))/(P’(y)−Q’(y)))Y’(y)+
(P’(y)Q(y)−P(y)Q’(y))/(P’(y)−Q’(y))
となる。
上式を利用して、補正後にY’(y)の位置に来るべき点の補正前の位置Y(y)を求めることができる。つまり、補正前のY(y)の画素値を補正後のY’(y)に移せばよいわけである。ただし、Y(y)の算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図45において、Y(y)の前後の整数をそれぞれN、N+1、これに対応する画素値をD(N)、D(N+1)とすると、Y(y)における画素値D(Y(y))は図に示したような線形関係を満足するように算出する。
【0027】
以上は、全ての参照線1と参照線2がページ外形/罫線/文字行のいずれかである場合であるが、適切なページ外形や罫線、文字行が抽出されなかった場合は次のようにする。図46は、右ページ上方にページ外形/罫線/文字行が存在しない場合の例である。この場合は、レンズ光軸の軌跡(図46のL)を参照線2とみなして、上記と同様の処理を行う。ただしこの場合は図44におけるQとQ’は一致する。なお、ページ下方にページ外形/罫線/文字行が存在しない場合は、Lを参照線1とみなして同様に行う(PとP’が一致)。ページの上方/下方ともにページ外形/罫線/文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける参照線1および参照線2についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、参照線1、参照線2の抽出は5セットに1回のみ行うものとし、あるセットで参照線1、参照線2を抽出したら、その後に続く4セットではこれらの情報をそのまま流用するということを行っても良い。これにより、参照線1、参照線2を抽出するための時間が節約できるので、全体の処理速度が向上する。
【0028】
副走査方向の補正は次のようにする。即ち、ページ面のスキャン面からの距離の変化量を利用して、書籍原稿の断面曲線が直線となるように展開して画像を伸長する。具体的には、ページ面のスキャン面からの浮きの高さの変化量により画像の伸長を行う。図47に示すように、ブック原稿ページ面の形状を読み取ってライン毎の微少な三角形とし、ページの読み取り1ラインにおける画像長さLnを次の式
Ln=平方根{1+(Tn−Tn−1)**2}
により算出し、画像長さLnの累積をページの伸長長さとする。その結果、近似した三角形の斜辺は湾曲したページの形状とほぼ等しくなるので(折れ線近似)、その累積をページの画像長さとすることにより、正確なページ長さを得る。特に、1ライン毎の最小ピッチによる形状近似により、その長さの補正精度は高い。
隣接する主走査方向のライン上の注目画素の画素間隔を基準“1”として演算することにより、読み取りライン間隔が変化、すなわち、平面状としたときの原稿に対してサンプリング画素間隔が逐次替わっていくのに対し、画像伸長処理を適応する。また、幾何学的に主走査方向の画像投影倍長さとページ面のスキャン面からの距離は比例関係にあり、図43に示すように、参照線1もしくは参照線2の主走査方向のアドレスA3と、参照線1もしくは参照線2の直線部分(平坦部)のアドレスKaよりページ面のスキャン面からの距離Tを以下の式
T=焦点面距離*(A3−Ak)/{(Ak−Ka)−(A3−Ak)}
により、求めることができる。このようにして算出される隣接する主走査ラインの深さの差により、1画素毎の微少ピッチの直線で近似してページの補正位置を算出することができる。なお、参照線1/参照線2の求め方や、適切な参照線1/参照線2が存在しない場合の対応は主走査方向の補正の場合と基本的に同様である。
このようにして算出されたページ面のスキャン面からの距離Tは、図47に示すように、1ライン毎の復元すべき副走査方向の画像長さLnの算出に用いられることになる。すなわち、前述した次の式
Ln=平方根{1+(Tn−Tn−1)**2}
により、1ライン毎の補正すべき副走査方向の画像長さLnが算出される。したがって、画像長さLnの累積が副走査方向のページ長さになる。
通常、ページ面のスキャン面からの距離が高くなるに連れてその高さの変化量が増す。そこで、本実施の形態においては、その位置のページ面のスキャン面からの距離に応じて画像伸長に制限をかける。例えば、隣り合う境界アドレスの差をその位置の(高さ[mm]/5)[画素]に制限して境界の誤検出による副走査方向補正のエラーを抑制する。
【0029】
副走査方向の補正では画像長さLnは位置によって異なり、図48に示すように元画像と補正画像の対応する点の位置は一般に異なる。Nに存在した点がN’に、N+1の点がN+1’にそれぞれ補正される場合、求めるべきは整数X’の位置(これも一般にはN+1’と一致するとは限らない)の画素値である。N’とX’間の距離をa、X’とN+1’間の距離をbとそれぞれおくと、元画像におけるX’の対応点Xは、
(X−N)/(N+1−X)=a/b
の関係にある。
上式によりXの位置が分かったら、補正前のXの画素値を補正後のX’に移せばよいわけである。ただし、Xの算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図49において、Xの前後のN、N+1に対応する画素値をD(N)、D(N+1)とすると、Xにおける画素値D(X)は図に示したような線形関係を満足するように算出する。以上の処理を、副走査方向の全ての位置、もしくは、参照線1または参照線2が曲線である部分の副走査方向の位置に対して行う。
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける書籍原稿のスキャン面からの距離と、参照線1または参照線2についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、書籍原稿のスキャン面からの距離の算出や参照線1、参照線2の抽出は5セットに1回のみ行うものとし、あるセットで距離の算出や参照線1、参照線2の抽出を行ったら、その後に続く4セットではこれらの情報をそのまま流用するということを行っても良い。これにより、書籍原稿のスキャン面からの距離の算出や参照線1、参照線2を抽出するための時間が節約できるので、全体の処理速度が向上する。
ここまでが、スキャナパラメータが既知の場合の、主走査方向歪み補正処理と副走査方向歪み補正処理(ステップS53)の説明である。
【0030】
次に、スキャナパラメータが未知の場合を説明する。
主走査方向の補正はスキャナパラメータが既知の場合と基本的に同様であるが、適切なページ外形や罫線、文字行が抽出されなかった場合の処理が若干異なる。図46において、スキャナパラメータが既知の場合はレンズ光軸の軌跡(図46のL)を参照線2とみなしたが、未知の場合(図50)は副走査方向に平行な中心線(図50のC)を参照線2とみなす。この場合も図44におけるQとQ’は一致する。ページ下方にページ外形/罫線/文字行が存在しない場合は、Cを参照線1とみなして同様に行う(PとP’が一致)。ページの上方/下方ともにページ外形/罫線/文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
次に、副走査方向歪み補正処理について説明する。ここで、図51は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図51に示すように、ステップS101においては、主走査方向歪み補正されたスキャン画像に基づいて文字認識処理に用いられる方法で文字の外接矩形A(図52参照)を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Aを抽出するのは、この文字の外接矩形Aの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図52に示すように、文字外接矩形Aの横辺の長さw、縦辺の長さh、および、文字の中心Bを定義する。ここで、文字の中心Bは、外接矩形Aの対角線の交点である。続いて、図53に示すように、スキャン画像をブック原稿40のページ綴じ部41に平行な方向の複数の短冊状の領域Cに分割した後(ステップS102)、各短冊領域Cについて、そこに含まれる文字外接矩形Aに関する特徴量を求める(ステップS103)。ここで、ある短冊領域Cに含まれる文字外接矩形Aとは、その中心が当該短冊領域Cに含まれるような外接矩形Aのことである。例えば、図53の短冊領域C1に含まれる外接矩形Aは、図中の網掛けを施した矩形である。
【0031】
さて、上記の文字外接矩形Aに関する特徴量は、
(文字の横辺の長さ)/(文字の縦辺の長さ)=w/h
を基に求められる。すなわち、各短冊領域Cについて、そこに含まれる全ての文字外接矩形Aのw/hの値の平均値をその短冊領域Cの特徴量とするのである。しかしながら、単に、w/hの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、w/hの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、wが極端に大きい文字外接矩形Aが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にwが大きいものを予め排除しておく必要がある。そこで、続くステップS104においては、予め閾値を定めておいて、hの値がその閾値より小さな文字外接矩形Aを予め排除するとともに、w/hの比率に関する閾値を予め定めておき、w/hの値が其の閾値よりも大きい文字外接矩形Aも予め排除する。例えば、図54中に示した網掛けを施した文字外接矩形Aが予め排除されることになる。
続くステップS105においては、前述したように極端な文字外接矩形Aを排除した後に、各短冊領域C内の文字外接矩形Aのw/hの平均値を求める。図55に各短冊領域C内の外接矩形Aのw/hの平均値の一例を示す。なお、図55中の短冊領域C2は、ページ綴じ部を含む短冊領域である。
続いて、ページ綴じ部を含む短冊領域C2に文字外接矩形Aが存在するか否かを判断する(ステップS106)。これは、図54に示すように、一般にはページ綴じ部付近には文字外接矩形Aが存在しない場合が多いからである。ページ綴じ部を含む短冊領域C2に文字外接矩形Aが存在する場合は(ステップS106のY)、その文字外接矩形Aを利用して特徴量は算出されているのでそのままステップS108に進む。
一方、ページ綴じ部を含む短冊領域C2に文字外接矩形Aが存在しない場合は(ステップS106のN)、ステップS107に進み、ページ綴じ部を含む短冊領域C2の特徴量を求める。なお、ページ綴じ部を含む短冊領域C2の識別は、例えば、スキャン画像(例えば、モノクロ多値画像)の地肌濃度変化を各短冊領域Cごとに求め、短冊領域C内の最も濃度の薄い濃度値を求めることにより実現される。
【0032】
図56は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ページ綴じ部を含む短冊領域C2であるとみなされる。
なお、スキャン画像がカラー多値画像の場合におけるページ綴じ部を含む短冊領域C2の識別は、例えばRGB成分の何れか一つの成分(例えばG成分)に着目し、そのG成分の地肌濃度を使用して識別するようにすれば良い。また、RGBを色変換して輝度成分と色差成分とに分け、輝度成分を使用してページ綴じ部を含む短冊領域C2を識別するようにしても良い。
ページ綴じ部を含む短冊領域C2の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Aが存在し、かつ、ページ綴じ部を含む短冊領域C2の最近傍である短冊領域Cの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ページ綴じ部を含む短冊領域C2における特徴量とみなされるものである。つまり、図55に示した例では、ページ綴じ部を含む短冊領域C2の左右何れの短冊領域C3、C4にも文字外接矩形Aが存在するので、どちらか適当な方の特徴量を選択し(ここでは右側の○印の方)、それに予め定めた定数値(ここでは0.5)を乗じて、これをページ綴じ部を含む短冊領域C2の特徴量としている。
続くステップS108においては、各短冊領域Cの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Cの位置の変化方向(即ち副走査方向)に関する移動平均を求める処理を施すなどして、短冊領域Cの位置の変化に対する(副走査方向の)特徴量の変化がなだらかになるようにする。ただし、ここでもページ綴じ部付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ページ綴じ部付近の特徴量の変化の鋭さが失われてしまうからである。
【0033】
ここで、長さが全て5であるウィンドウを用いて図55に示した各短冊領域Cの特徴量に対してフィルタリング処理を施した結果を図57に示す。図57に示すように、長さが全て5であるウィンドウを用いてフィルタリング処理を施した場合には、ページ綴じ部付近の特徴量(w/h)の変化がなだらかになり過ぎてしまう。このような場合には、ページ綴じ部付近での適切な画像補正が不可能になってしまう。
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがページ綴じ部を含む短冊領域C2の両側の短冊領域C3、C4に跨がらないように、ページ綴じ部付近でウィンドウ長を調整する。ここで、図58はページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図58に示すように、ページ綴じ部付近でウィンドウ長を調整した場合には、ページ綴じ部付近の特徴量(w/h)の変化を適切に表現できるので、良好な画像補正が実現できる。
続くステップS109においては、各短冊領域Cの推定歪み量を算出する。各短冊領域Cの推定歪み量の算出手法は、以下に示す通りである。
まず、短冊領域の歪み量を算出するための基準となる短冊領域(基準短冊領域)を定める。ここでは、歪みが最も小さいと考えられる短冊領域C、例えば、特徴量(w/h)が最大である短冊領域Cを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図58においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Cが基準短冊領域であり、左側の基準特徴量を“Lw0/Lh0”、右側の基準特徴量を“Rw0/Rh0”、でそれぞれ示している。
次に、基準短冊領域の特徴量w0/h0をスキャン画像全体の基準特徴量とし、
(各短冊領域の特徴量)/(基準特徴量)=(w/h)/(w0/h0)
の値を、各短冊領域の推定歪み量として算出する。
なお、ページ綴じ部から外れたページ外側付近の短冊領域Cを基準短冊領域とすると、ページ綴じ部付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めページ綴じ部付近に限定しておくのが有効である。これを実現するためには、参照線1または参照線2が曲線である部分の副走査方向の位置に対してのみ行うようにすれば良い。
【0034】
最後に、スキャン画像に対して、短冊領域Cの短辺方向(副走査方向)の拡大処理を行い、ページ綴じ部付近の歪みを補正する(ステップS110)。その場合の拡大率(副走査方向の歪み補正率(伸張率))は、ステップS109において算出した推定歪み量の逆数、すなわち、
(基準特徴量)/(各短冊領域の特徴量)=(w0/h0)/(w/h)
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図59は、図58に示した特徴量に基づいて算出した補正拡大率を示したものである。
ここに、副走査方向歪み補正率算出手段の機能および副走査方向歪み補正手段の機能が実行される。
なお、ここでも、ページ綴じ部付近から離れた短冊領域Cはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、参照線1または参照線2が曲線である部分の副走査方向の位置に対してのみ拡大すれば良い。即ち、参照線1または参照線2が直線の部部では、推定歪み量を“1”とする。
また、短冊領域C内において共通の補正拡大率を適用した場合、隣接する短冊領域Cの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Cの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図59に示す短冊領域Cの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける補正拡大率についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、補正拡大率の算出は5セットに1回のみ行うものとし、あるセットで補正拡大率を算出したら、その後に続く4セットではその情報をそのまま流用するということを行っても良い。これにより、補正拡大率を算出するための時間が節約できるので、全体の処理速度が向上する。
以上、ステップS101〜S110の処理により副走査方向歪み補正処理(ステップS55)が終了し、図6に示すスキャン画像の歪み補正処理が終了する。ここで、図60は歪みを補正した画像を示す平面図である。以上の処理によれば、図8に示したようなページ綴じ部の近傍において生じていたスキャン画像の歪みが、図60に示すように補正されることになる。
【0035】
【発明の効果】
以上説明したように本発明によれば、スキャナパラメータが既知の場合と未知の場合において、それぞれ適切な補正方法を選択して補正でき、また、片方のページにて参照線が検出できなかった場合でも、もう一方のページで検出できた場合は、これを綴じ部に関して対象移動し、左右ページの歪み領域比率に応じて伸縮して補充するので、補正精度が従来方式より向上する。特に、片ページにて参照線が1本も検出できなかった場合であっても、もう一方のページで参照線が検出できれば両ページとも補正が可能となる。
【図面の簡単な説明】
【図1】本発明のスキャナ部の構成を示す縦断正面図である。
【図2】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図3】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図4】本発明の画像処理部の基本的な内部構成を示すブロック図である。
【図5】メイン制御部の電気的な接続を示すブロック図である。
【図6】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図7】ブック原稿を読み取る際の状態を示す斜視図である。
【図8】入力した画像の一例を示す平面図である。
【図9】スキャン画像で歪みが生じる部分を説明する図である。
【図10】図8に示した画像の綴じ部境界線左側の黒画素ヒストグラムを示す図である。
【図11】ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。
【図12】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図13】図12に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムを示す図である。
【図14】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図15】図14に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムを示す図である。
【図16】罫線連続性に基づく罫線か否かの判断を説明する図である。
【図17】罫線の座標検出を説明する図である。
【図18】左右ページから各1本ずつの罫線を選択する場合を示す説明図である。
【図19】左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつの罫線を選択する場合を示す説明図である。
【図20】延長した最適罫線の座標値の決定を示す説明図である。
【図21】不適切な近似罫線の例を示す説明図である。
【図22】図8に示した画像の副走査方向の黒白反転数ヒストグラムを示す図である。
【図23】図8に示した画像の主走査方向の黒白反転数ヒストグラムを示す図である。
【図24】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す図である。
【図25】最適横書き文字行の選択を示す説明図である。
【図26】縦書き文字行からの横書き文字行の抽出を示す説明図である。
【図27】縦書き文字行の外形の座標値の決定を示す説明図である。
【図28】参照線の検出および補充の処理を示すフローチャートである。
【図29】綴じ部を含む左右見開きページのスキャン画像の例を示す図である。
【図30】歪み領域比率の求め方を示す説明図である。
【図31】歪み領域比率の求め方を示す説明図である。
【図32】図29のスキャン画像から参照線を検出した状態を示す図である。
【図33】図32で検出した参照線を補充する処理を示す説明図である。
【図34】他の例を示すスキャン画像から参照線を検出した状態の図である。
【図35】図34で検出した参照線を補充する処理を示す説明図である。
【図36】他の例を示すスキャン画像から参照線を検出した状態の図である。
【図37】図36で検出した参照線を補充する処理を示す説明図である。
【図38】左ページは上辺の参照線のみが検出できて、右ページ上下辺とも参照線が検出できなかった状態の図である。
【図39】図38で検出した参照線を補充する処理を示す説明図である。
【図40】上辺の参照線が左右両ページとも検出できなかった状態の図である。
【図41】図40で検出した参照線を補充する処理を示す説明図である。
【図42】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図43】スキャナパラメータを説明する図である。
【図44】主走査方向の補正前後の参照線を示す説明図である。
【図45】整数位置に対応する画素値の線形補間を示す説明図である。
【図46】右ページ上方にページ外形/罫線/文字行が存在しない場合を示す説明図である。
【図47】湾曲したページの形状の近似を示す説明図である。
【図48】元画像と補正画像の対応する点の位置を示す図である。
【図49】整数位置に対応する画素値の線形補間を示す説明図である。
【図50】スキャナパラメータが既知の場合での主走査方向の補正前後の参照線を示す説明図である。
【図51】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図52】スキャン画像に基づく文字の外接矩形を示す説明図である。
【図53】スキャン画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す図である。
【図54】排除する文字外接矩形を示す説明図である。
【図55】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフ図である。
【図56】各短冊領域ごとの地肌濃度変化の一例を示すグラフ図である。
【図57】図55に示した各短冊領域の特徴量に対してフィルタリング処理を施した結果を示すグラフ図である。
【図58】ページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフ図である。
【図59】図58に示した特徴量に基づいて算出した補正拡大率を示すグラフ図である。
【図60】歪みを補正した画像を示す平面図である。
【図61】ブック原稿のページ綴じ部がコンタクトガラスから浮き上がった状態を示す正面図である。
【符号の説明】
1 スキャナ部、2 コンタクトガラス、16 画像形成装置、20 画像処理部、29 画像歪み補正部、31 CPU、33 RAM、40 ブック原稿、41 ページ綴じ部
Claims (22)
- 主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取って得られたページ綴じ部と左右2ページ分の画像を含むスキャン画像を主走査方向および副走査方向に伸張して歪み補正を行う画像歪み補正装置において、前記スキャン画像から原稿に含まれる副走査方向に延びる曲線を形成する部分を参照線として抽出する参照線抽出手段と、片方のページで抽出できなかった参照線を他のページの参照線を基に生成する参照線補充手段と、前記抽出または生成した参照線の形状に基づいて前記スキャン画像の主走査方向の歪みを補正する主走査方向歪み補正手段とを備えたことを特徴とする画像歪み補正装置。
- 前記参照線抽出手段は、前記スキャン画像中の主走査方向での上辺および下辺の近傍に位置するページ外形、罫線、主走査方向に垂直な文字行の各文字の位置を連結した線または主走査方向に平行な文字行の先頭もしくは末尾の文字の位置を連結した線を参照線として1対抽出し、前記主走査方向歪み補正手段は、前記参照線の曲線部分が直線部分の延長線に一致するような直線を仮定し、該仮定した直線に基づいて補正前後の画像の対応点を求めて主走査方向の歪みを補正することを特徴とする請求項1記載の画像歪み補正装置。
- 前記参照線補充手段は、前記スキャン画像の地肌濃度からページ綴じ部と左右ページの歪み領域を決定し、前記ページ綴じ部を中心に参照線を対称移動して、前記左右ページの歪み領域の幅に対応させて前記対称移動した参照線を副走査方向に伸縮することを特徴とする請求項1または2記載の画像歪み補正装置。
- 前記参照線補充手段は、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部とみなし、該ページ綴じ部近傍で地肌濃度が所定の明るさ以下の領域を歪み領域として決定することを特徴とする請求項3記載の画像歪み補正装置。
- 前記参照線補充手段は、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部の位置とし、副走査方向上の2つの所定位置における地肌濃度の濃い方の濃度値の位置と、該濃度値と等しいもう一方のページでの地肌濃度の副走査方向での位置をそれぞれ検出して歪み領域として決定することを特徴とする請求項3記載の画像歪み補正装置。
- 前記主走査方向歪み補正手段は、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が既知の場合は、該位置を通る副走査方向に平行な直線を主走査方向の上辺もしくは下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする請求項1乃至5のいずれか1項に記載の画像歪み補正装置。
- 前記主走査方向歪み補正手段は、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が未知の場合は、スキャン画像の主走査方向の中心位置を通る副走査方向に平行な直線を主走査方向の上辺もしくは下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする請求項1乃至5のいずれか1項に記載の画像歪み補正装置。
- 前記主走査方向歪み補正手段は、前記参照線抽出手段が抽出あるいは前記参照線補充手段が生成した参照線についての情報を保持し、後続して補正する他のスキャン画像の補正に前記参照線についての情報を用いて主走査方向の歪み補正を行うことを特徴とする請求項1乃至7のいずれか1項に記載の画像歪み補正装置。
- 前記主走査方向歪み補正手段は、参照線の曲線部分に対応する副走査方向の位置でのみ主走査方向の歪み補正を行うことを特徴とする請求項1乃至8のいずれか1項に記載の画像歪み補正装置。
- 主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取る画像読取手段と、該画像読取手段が読み取ったページ綴じ部と左右2ページ分の画像を含むスキャン画像の補正を行う請求項1乃至9のいずれか1項に記載の画像歪み補正装置とを備えたことを特徴とする画像読取装置。
- 主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取る画像読取手段と、該画像読取手段が読み取ったページ綴じ部と左右2ページ分の画像を含むスキャン画像の補正を行う請求項1乃至9のいずれか1項に記載の画像歪み補正装置と、該画像歪み補正装置が補正した画像データに基づいた画像を用紙上に印刷する画像印刷装置とを備えたことを特徴とする画像形成装置。
- 主走査方向に対してページ綴じ部がほぼ平行となるように、スキャン面に載置した書籍原稿画像を読み取って得られたページ綴じ部と左右2ページ分の画像を含むスキャン画像を主走査方向に伸張して歪み補正を行う画像歪み補正方法において、前記スキャン画像から原稿に含まれる副走査方向に延びる曲線を形成する部分を参照線として抽出する参照線抽出ステップと、片方のページで抽出できなかった参照線を他のページの参照線を基に生成する参照線補充ステップと、前記抽出または生成した参照線の形状に基づいて前記スキャン画像の主走査方向の歪みを補正する主走査方向歪み補正ステップとを備えたことを特徴とする画像歪み補正方法。
- 前記参照線抽出ステップは、前記スキャン画像中の主走査方向での上辺および下辺の近傍に位置するページ外形、罫線、主走査方向に垂直な文字行の各文字の位置を連結した線または主走査方向に平行な文字行の先頭もしくは末尾の文字の位置を連結した線を参照線として1対抽出し、前記主走査方向歪み補正ステップは、前記参照線の曲線部分が直線部分の延長線に一致するような直線を仮定し、該仮定した直線に基づいて補正前後の画像の対応点を求めて主走査方向の歪みを補正することを特徴とする請求項12記載の画像歪み補正方法。
- 前記参照線補充ステップは、前記スキャン画像の地肌濃度からページ綴じ部と左右ページの歪み領域を決定し、前記ページ綴じ部を中心に参照線を対称移動して、前記左右ページの歪み領域の幅に対応させて前記対称移動した参照線を副走査方向に伸縮することを特徴とする請求項12または13記載の画像歪み補正方法。
- 前記参照線補充ステップは、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部とみなし、ページ綴じ部近傍で地肌濃度が所定の明るさ以下の領域を歪み領域として決定することを特徴とする請求項14記載の画像歪み補正方法。
- 前記参照線補充ステップは、主走査方向の各ライン上で最も明るい画素値をそのラインの地肌濃度とし、地肌濃度が最も濃いラインの副走査方向での位置をページ綴じ部の位置とし、副走査方向上の2つの所定位置における地肌濃度の濃い方の濃度値の位置と、この濃度値と等しいもう一方のページでの地肌濃度の副走査方向での位置をそれぞれ検出して歪み領域として決定することを特徴とする請求項14記載の画像歪み補正方法。
- 前記主走査方向歪み補正ステップは、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が既知の場合は、この位置を通る副走査方向に平行な直線を主走査方向の下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする請求項12乃至16のいずれか1項に記載の画像歪み補正方法。
- 前記主走査方向歪み補正ステップは、主走査方向の上辺もしくは下辺における参照線が左右ページとも存在せず、スキャナレンズの光軸の主走査方向の位置が未知の場合は、スキャン画像の主走査方向の中心位置を通る副走査方向に平行な直線を主走査方向の上辺もしくは下辺における参照線とみなして主走査方向の歪みを補正することを特徴とする請求項12乃至16のいずれか1項に記載の画像歪み補正方法。
- 前記主走査方向歪み補正ステップは、前記参照線抽出ステップが抽出あるいは前記参照線補充ステップが生成した参照線についての情報を保持し、後続して補正する他のスキャン画像の補正に前記参照線についての情報を用いて主走査方向の歪み補正を行うことを特徴とする請求項12乃至18のいずれか1項に記載の画像歪み補正方法。
- 前記主走査方向歪み補正ステップは、参照線の曲線部分に対応する副走査方向の位置でのみ主走査方向の歪み補正を行うことを特徴とする請求項12乃至19のいずれか1項に記載の画像歪み補正方法。
- 請求項12乃至20の何れか一項に記載の画像歪み補正方法をコンピュータが制御可能にプログラミングしたことを特徴とする画像歪み補正プログラム。
- 請求項21に記載の画像歪み補正プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003167089A JP3926294B2 (ja) | 2003-03-05 | 2003-06-11 | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003059228 | 2003-03-05 | ||
JP2003167089A JP3926294B2 (ja) | 2003-03-05 | 2003-06-11 | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004328705A JP2004328705A (ja) | 2004-11-18 |
JP3926294B2 true JP3926294B2 (ja) | 2007-06-06 |
Family
ID=33512857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003167089A Expired - Fee Related JP3926294B2 (ja) | 2003-03-05 | 2003-06-11 | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3926294B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100363940C (zh) * | 2005-12-29 | 2008-01-23 | 北大方正集团有限公司 | 一种文稿图像几何畸变的校正方法 |
JP5006250B2 (ja) * | 2008-04-30 | 2012-08-22 | 株式会社リコー | 画像補正装置、画像補正方法、画像補正プログラム及び記録媒体 |
JP7380270B2 (ja) * | 2020-01-31 | 2023-11-15 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
-
2003
- 2003-06-11 JP JP2003167089A patent/JP3926294B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004328705A (ja) | 2004-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7016081B2 (en) | Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus | |
JP4271085B2 (ja) | 画像補正装置、画像読取装置、プログラム及び記憶媒体 | |
JP4162633B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3983721B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3926294B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 | |
JP4111697B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4585015B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4180260B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4507124B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3979639B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4006242B2 (ja) | 画像補正装置、プログラム、記憶媒体及び画像補正方法 | |
JP4061256B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4136860B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4480291B2 (ja) | 画像歪み補正装置、記憶媒体、プログラム、画像歪み補正方法、画像読取装置および画像形成装置 | |
JP4194076B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3865215B2 (ja) | 画像歪み補正装置、プログラム、記憶媒体及び画像歪み補正方法 | |
JP4093970B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP3877142B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4840830B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3917421B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4198613B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP2003143407A (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4145256B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP2003204428A (ja) | 画像補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3865199B2 (ja) | 画像読取装置、画像歪み補正方法、記憶媒体および画像形成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070227 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |