JP4141235B2

JP4141235B2 - 画像補正装置及びプログラム

Info

Publication number: JP4141235B2
Application number: JP2002330362A
Authority: JP
Inventors: 海克関; 禎史荒木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-02-08
Filing date: 2002-11-14
Publication date: 2008-08-27
Anticipated expiration: 2022-11-14
Also published as: JP2003304390A; CN1437156A; US20030198398A1; US7477426B2; CN1249617C

Description

【０００１】
【発明の属する技術分野】
本発明は、画像補正装置及びプログラムに関する。
【０００２】
【従来の技術】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図３９に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ボケなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、Shape from Shadingと呼ばれる方法が代表的な例である（例えば、非特許文献１参照）。
【０００５】
しかしながら、非特許文献１のShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【０００６】
また、三角測量方式により書籍の形状を測定するものもある（例えば、特許文献１参照）。しかしながら、特許文献１に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【０００７】
そこで、近年においては、少ない計算量で有効に歪みを補正すべく、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する画像補正装置が提案されている（例えば、特許文献２参照）。
【０００８】
【非特許文献１】
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24（2）,125-135（1997）
【特許文献１】
特開平5-161002号公報
【特許文献２】
特開平11-41455号公報
【０００９】
【発明が解決しようとする課題】
ところで、コンタクトガラス上にブック原稿をセットする場合、ブック原稿の画像を下向きにしてセットする必要があり、操作者からは原稿の裏面しか見ることができないようになっている。そのため、スキャン画像には、図４０に示すように、ブック原稿のページ綴じ部の浮き上がり方（コンタクトガラスからの距離）がページの上下で異なるためにカタカナの「ハの字」のような歪み形状（以下、“「ハの字」歪み”という。）になるスキャン画像ａが発生する場合がある。
【００１０】
しかしながら、従来の画像補正方式においては、これらの状況を考慮していないので、このようなスキャン画像の歪みを補正すると十分な補正ができないばかりか、むしろ画質が劣化してしまうという問題がある。
【００１１】
本発明の目的は、カタカナの「ハの字」のような歪み形状のスキャン画像に対して３次元形状歪み補正を実行しても、歪み補正に伴う画質の劣化の発生を防止することができる画像補正装置及びプログラムを提供することである。
【００１２】
【課題を解決するための手段】
請求項１の発明は、ページ綴じ部をスキャナ部の画像読取の主走査方向に対してほぼ平行になるように位置させてコンタクトガラスの上もしくは下に接触したブック原稿を、画像読取手段により読み取ったスキャン画像を補正する画像補正装置において、前記ブック原稿の前記スキャン画像に含まれる線形状部分を用い、前記スキャン画像の「ハの字」歪み角度を検出する「ハの字」歪み角度検出手段と、この「ハの字」歪み角度検出手段により検出された前記「ハの字」歪み角度に基づいて前記スキャン画像の「ハの字」歪みを補正した後に前記スキャン画像の副走査方向の形状歪みを補正する「ハの字」歪み補正手段と、を備え、前記「ハの字」歪み補正手段は、前記ブック原稿の３次元形状を検出する３次元形状検出手段と、この３次元形状検出手段により検出された前記ブック原稿の３次元形状に基づき前記スキャン画像の主走査方向の伸長処理を行う主走査方向歪み補正手段と、この主走査方向歪み補正手段により主走査方向の伸長処理を施された前記スキャン画像の左右ページを分割し、所定位置を中心として前記「ハの字」歪み角度検出手段により検出された前記各「ハの字」歪み角度だけそれぞれ回転させる画像回転手段と、この画像回転手段により回転された画像の３次元形状に基づき、副走査方向に画像を伸長する副走査方向歪み補正手段と、を備えることを特徴とする。
請求項２の発明は、請求項１記載の画像補正装置において、前記「ハの字」歪み角度検出手段は、前記線形状部分の直線部を前記スキャン画像の左右ページからそれぞれ検出し、前記直線部と湾曲部との境目を検出して歪み領域を推定する歪み領域推定手段と、前記スキャン画像の左右各ページの前記直線部と画像読み取りの副走査方向との成す角度をそれぞれ算出する「ハの字」歪み角度算出手段と、を備えることを特徴とする。
請求項３の発明は、請求項１又は２記載の画像補正装置において、前記３次元形状検出手段は、前記スキャン画像の左右各ページの前記直線部を綴じ部境界線まで延長した直線から前記線形状部分の前記湾曲部に至る距離に基づき、前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を検出する浮き上がり形状検出手段と、この浮き上がり形状検出手段により検出された前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を前記綴じ部境界線に平行な直線上の各列毎に２点選択し、これらの２点の浮き上がり形状値を基に前記直線上の各列毎に線形補間処理を行う線形補間手段と、を備えることを特徴とする。
請求項４の発明は、請求項３記載の画像補正装置において、前記浮き上がり形状検出手段は、前記ブック原稿の浮き上がった前記歪み領域と前記歪み領域でない領域の境目を推定して、境目での浮き上がり形状値を０とすることを特徴とする。
請求項５の発明は、請求項１又は２記載の画像補正装置において、前記主走査方向歪み補正手段は、前記画像読取手段の光軸を基準として検出された各画素の伸長率に基づいて主走査方向に画像を伸長することを特徴とする。
請求項６の発明は、ページ綴じ部をスキャナ部の画像読取の主走査方向に対してほぼ平行になるように位置させてコンタクトガラスの上もしくは下に接触したブック原稿を、画像読取手段により読み取ったスキャン画像を補正するプログラムであって、コンピュータを、前記ブック原稿の前記スキャン画像に含まれる線形状部分を用い、前記スキャン画像の「ハの字」歪み角度を検出する「ハの字」歪み角度検出手段と、この「ハの字」歪み角度検出手段により検出された前記「ハの字」歪み角度に基づいて前記スキャン画像の「ハの字」歪みを補正した後に前記スキャン画像の副走査方向の形状歪みを補正する「ハの字」歪み補正手段として機能させ、その際、コンピュータを、前記「ハの字」歪み補正手段が備える前記ブック原稿の３次元形状を検出する３次元形状検出手段と、この３次元形状検出手段により検出された前記ブック原稿の３次元形状に基づき前記スキャン画像の主走査方向の伸長処理を行う主走査方向歪み補正手段と、この主走査方向歪み補正手段により主走査方向の伸長処理を施された前記スキャン画像の左右ページを分割し、所定位置を中心として前記「ハの字」歪み角度検出手段により検出された前記各「ハの字」歪み角度だけそれぞれ回転させる画像回転手段と、この画像回転手段により回転された画像の３次元形状に基づき、副走査方向に画像を伸長する副走査方向歪み補正手段と、として機能させることを特徴とする。
請求項７の発明は、請求項６記載のプログラムであって、コンピュータを、前記線形状部分の直線部を前記スキャン画像の左右ページからそれぞれ検出し、前記直線部と湾曲部との境目を検出して歪み領域を推定する歪み領域推定手段と、前記スキャン画像の左右各ページの前記直線部と画像読み取りの副走査方向との成す角度をそれぞれ算出する「ハの字」歪み角度算出手段を備える前記「ハの字」歪み角度検出手段として機能させることを特徴とする。
請求項８の発明は、請求項６又は７記載のプログラムであって、コンピュータを、前記スキャン画像の左右各ページの前記直線部を綴じ部境界線まで延長した直線から前記線形状部分の前記湾曲部に至る距離に基づき、前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を検出する浮き上がり形状検出手段と、この浮き上がり形状検出手段により検出された前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を前記綴じ部境界線に平行な直線上の各列毎に２点選択し、これらの２点の浮き上がり形状値を基に前記直線上の各列毎に線形補間処理を行う線形補間手段、を備える前記３次元形状検出手段として機能させることを特徴とする。
請求項９の発明は、請求項８記載のプログラムであって、コンピュータを、前記ブック原稿の浮き上がった前記歪み領域と前記歪み領域でない領域の境目を推定して、境目での浮き上がり形状値を０とする前記浮き上がり形状検出手段として機能させることを特徴とする。
請求項１０の発明は、請求項６又は７記載のプログラムであって、コンピュータを、前記画像読取手段の光軸を基準として検出された各画素の伸長率に基づいて主走査方向に画像を伸長する前記主走査方向歪み補正手段として機能させることを特徴とする。
【００１３】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図２６に基づいて説明する。本実施の形態の画像補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３及び第一反射ミラー４からなる第一走行体５と、第二反射ミラー６及び第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００１４】
原稿の走査時には、第一走行体５及び第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５及び第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６及び第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００１５】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００１６】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５及び第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５及び第二走行体８を駆動するステッピングモータ２４と、第一走行体５及び第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００１７】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、本実施の形態の特長的な機能であるスキャン画像の画像補正機能を実現する画像補正部２９から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００１８】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（CentralProcessing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００１９】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００２０】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００２１】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の画像補正機能を実現する画像補正装置である画像補正部２９におけるスキャン画像の画像補正処理についてのみ説明する。
【００２２】
図６は、スキャン画像の画像補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０のページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とがほぼ平行になるように位置させてブック原稿４０をコンタクトガラス２上に下向きに載置したことを意図した場合について説明する。
【００２３】
まず、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する（ステップＳ１）。ここで、図８は入力した画像の一例を示したものである。そして、図９に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１のスキャン画像４１´の近傍において歪みが生じている。
【００２４】
次いで、ステップＳ２に進み、画像補正処理を実行する。
画像補正処理においては、まず、スキャン画像から線形状部分であるページ外形を抽出する（ステップＳ２−１）。ここで、図１０は上端にページ外形が存在するスキャン画像の一例を示す説明図、図１１は図１０に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図１１に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１０の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図１０に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図１１に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【００２５】
より具体的には、図１１に示すように、ページ綴じ部４１のスキャン画像４１´からスキャン画像の左端（図１０の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率ｋを下記に示す式により算出し、
ｋ＝ＢＯ／ＡＯ
算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【００２６】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【００２７】
なお、スキャン画像からのページ外形の抽出方法としては、これに限るものではなく、特開平11-41455号公報に記載されている方法等を用いるようにしても良い。
また、スキャン画像にページ外形が存在することが予め解かっている場合には、ページ外形が存在するか否かの判断を省略し、ページ外形の抽出のみを行うようにしても良い。
【００２８】
スキャン画像からページ外形が抽出されると、ステップＳ２−２に進み、スキャン画像の「ハの字」歪み角度を検出する（「ハの字」歪み角度検出手段）。より具体的には、図１２に示すように、スキャン画像の上辺のページ外形に基づいて「ハの字」歪み角度α，βを検出する。なお、図１２中、Ｓはスキャン画像の画像境界線である。
【００２９】
ここで、スキャン画像の「ハの字」歪み角度検出処理の流れについて図１３を参照しつつ説明する。スキャン画像の「ハの字」歪み角度検出処理としては、まず、ステップＳ２−１で抽出したページ外形の直線部を推定する（ステップＳ１１）。
次いで、ステップＳ１１で推定したページ外形の直線部とページ外形の湾曲部との境目を検出し、スキャン画像の歪み領域を推定する（ステップＳ１２）。つまり、ステップＳ１１〜Ｓ１２により歪み領域推定手段の機能が実行される。図１２中、Ａ，Ｂ，Ｃ，Ｄがページ外形の直線部とページ外形の湾曲部との境目である。これらのＡ，Ｂ，Ｃ，Ｄに囲まれた領域が歪み領域である。なお、ページ外形の直線部とページ外形の湾曲部との境目の判定処理については、各種の処理方法を用いることが可能である。例えば、特許文献２に記載されているような手法を用いることが可能である。概略的には、抽出したページ外形に基づいて近似直線を求め、この直線から離れて曲線となる部分をページ外形の直線部とページ外形の湾曲部との境目として判定するものである。
【００３０】
続くステップＳ１３においては、スキャン画像の左右ページのページ外形の直線部（図１２においては、線分ＢＫ及び線分ＤＮ）と画像水平方向（副走査方向）の水平線とのなす角度（「ハの字」歪み角度）α，βを算出する。線分の傾きの算出については、既知の手法がいろいろあるが、例えば、点Ｋ及び点Ｂの主走査方向と副走査方向の各座標値の差から「ハの字」歪み角度αを算出し、点Ｎ及び点Ｄの主走査方向と副走査方向の各座標値の差から「ハの字」歪み角度βを算出する手法がある。ここに、「ハの字」歪み角度算出手段の機能が実行される。
以上により、「ハの字」歪み角度検出手段の機能が実行され、ステップＳ２−２のスキャン画像の「ハの字」歪み角度検出処理が終了する。
【００３１】
ステップＳ２−２のスキャン画像の「ハの字」歪み角度検出処理が終了すると、ステップＳ２−３に進み、スキャン画像の画像歪み補正処理を実行する。スキャン画像の画像歪み補正処理の流れを図１４に示す。図１４に示すように、スキャン画像の画像歪み補正処理としては、まず、スキャン画像の左右ページのページ外形の直線部（図１２中、線分ＢＫ、線分ＤＮ、線分ＡＪ、線分ＣＭ）を綴じ部境界線（図１２中、Ｏ−Ｏ'で示す線分）まで延長する（ステップＳ２１）。図１５に、スキャン画像の左右ページのページ外形の直線部（線分ＢＫ、線分ＤＮ、線分ＡＪ、線分ＣＭ）を綴じ部境界線（Ｏ−Ｏ'で示す線分）まで延長した様子を示す。
【００３２】
次いで、延長後の各直線部（線分ＫＯ'、線分Ｏ'Ｎ、線分ＪＯ、線分ＯＭ）上の所定の位置において、綴じ部境界線に平行な状態でこの所定位置からスキャン画像のページ外形の湾曲部に至る距離を求める（ステップＳ２２）。図１５に示すように、例えば、線分ＪＯの所定位置Ｇより綴じ部境界線に平行な直線ＧＨを求め、直線ＧＨからページ外形の湾曲部に至る距離ＧＧ'を求める。
【００３３】
その後、ステップＳ２３に進み、各直線部（線分ＫＯ'、線分Ｏ'Ｎ、線分ＪＯ、線分ＯＭ）上の所定の位置からページ外形の湾曲部に至る距離に基づき、各直線上のｚ方向（図１５では紙面と垂直方向）の書籍表面形状を求める。つまり、ステップＳ２１〜Ｓ２３により浮き上がり形状検出手段の機能が実行される。なお、書籍表面形状を求める方法としては、特許文献２に記載されている方法等が用いられるが、公知であるためその説明は省略する。図１６に線分ＪＯ，ＯＭ上の書籍表面形状を示し、図１７に線分ＫＯ'，Ｏ'Ｎ上の書籍表面形状を示す。
【００３４】
次に、線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の書籍表面３次元形状を求める（ステップＳ２４：線形補間手段）。
線分ＡＢと線分ＣＤは、書籍表面の浮き上がった部分とそうでない部分の境目であり、線分ＡＢと線分ＣＤの３次元形状の高さは０である。すなわち、線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の書籍表面形状と、線分ＡＢ，ＣＤ上の書籍表面形状とが解かることにより、これらの形状データを用いて線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の書籍表面３次元形状を求めることが可能になる。
【００３６】
ここで、ステップＳ２４における線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の書籍表面３次元形状の求め方について詳細に説明する。図１８は綴じ部境界線（Ｏ−Ｏ'で示す線分）と平行な線分ＥＥ'における形状断面を示すものであって、線分ＥＥ'と線分ＡＢとの交点をＦ（図１５参照）とする。前述したように、点Ｅと点Ｆでの形状は既知であるので、点Ｅと点Ｆとの間に位置する３次元形状は、点Ｅと点Ｆとでの形状値の線形補間により求めることができる。すなわち、下記に示す式（１）により、ＥＦ間に位置する点Ｘの３次元形状を算出することができる。
【数１】

【００３７】
同様に、図１９は綴じ部境界線（Ｏ−Ｏ'で示す線分）と平行な線分ＧＨにおける形状断面を示すものであって、線分ＧＨと線分ＫＯ'との交点をＨ（図１５参照）とする。前述したように、点Ｇと点Ｈでの形状は既知であるので、点Ｇと点Ｈとの間に位置する３次元形状は、点Ｇと点Ｈとでの形状値の線形補間により求めることができる。すなわち、下記に示す式（２）により、ＧＨ間に位置する点Ｘの３次元形状を算出することができる。
【数２】

【００３８】
以上のように、綴じ部境界線と平行な直線上の形状を１列毎に求めることで、線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の書籍表面３次元形状を求めることができる。ここに、３次元形状検出手段の機能が実行される。
次に、ステップＳ２５に進み、主走査方向における変倍処理を行う。主走査方向における変倍処理は、図２０に示すように、光軸を基準にしてページ外形の各直線部（線分ＫＯ'、線分Ｏ'Ｎ、線分ＪＯ、線分ＯＭ）上に画像が揃うように主走査方向に変倍処理を行う。ここに、主走査方向歪み補正手段の機能が実行される。
【００３９】
主走査方向における変倍処理について具体的に説明する。スキャナレンズの結像関係を図２１に示す。ＯＯ'はレンズの光軸であり、０はレンズの中心である。Ｆはレンズの中心０からスキャナ表面（コンタクトガラス２）までの距離で、これを、スキャナの焦点距離と言う。スキャナ表面上の点Ｂは結像面でＤに結像する。浮いた製本（ブック原稿４０）の表面上の点ＣはＥ２に結像する。それぞれの結像面の中心０との距離はＥ０とＥ２である（第一走行体５及び第二走行体８が副走査方向に移動することによって、中心０も移動するが、その軌跡を結像中心線と呼ぶことにする）。三角形の相似関係により次の関係式（３），（４）が得られる。なお、レンズの焦点距離Ｆはスキャナ部１によって定まる既知量であり、スキャナ部１の設定値かレンズの校正値を用いる。
ｄ／Ｆ＝ＡＢ／ＡＯ'・・・（３）
ＡＢ／ＡＯ'＝（Ｅ０−Ｅ２）／Ｅ２・・・（４）
そして、ステップＳ２４で求めた線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の書籍表面３次元形状であるブック原稿４０の浮き上がりの量をｄとすると、式（３），（４）により、変倍率ｍは、次式（５）により得られる。
ｍ＝Ｅ０／Ｅ２＝（ｄ／Ｆ）＋１・・・（５）
すなわち、線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の各画素位置Ｅ０での変倍率ｍに基づきＥ２の位置を次式（６）により算出する。
Ｅ２＝Ｅ０／ｍ＝Ｅ０／（（ｄ／Ｆ）＋１）・・・（６）
そして、Ｅ０にＥ２での画素値を持ってくることにより、主走査方向に画像が伸ばされる。なお、この際、Ｅ２の位置は小数になる場合があるので、画素の線形補間処理も行う。
【００４０】
主走査方向における変倍処理が終了すると、ステップＳ２６に進み、ステップＳ１３で算出した「ハの字」歪み角度α，βに基づいて、スキャン画像の「ハの字」歪み補正を行う（ステップＳ２６：「ハの字」歪み補正手段）。スキャン画像の「ハの字」歪み補正は、概略的には、スキャン画像の左右ページを綴じ部境界線（図２０中、Ｏ−Ｏ'で示す線分）で分割し、所定位置（例えば、スキャン画像の綴じ部境界線の下端Ｏ'）を中心にして、スキャン画像の左右ページをそれぞれ「ハの字」歪み角度α，βだけ回転させることにより行われる。なお、スキャン画像の「ハの字」歪み補正は、ステップＳ２４で求めた線分ＡＯ，ＯＣ，ＢＯ'，Ｏ'Ｄ上の歪み領域内の書籍表面３次元形状についても綴じ部境界線（図２０中、Ｏ−Ｏ'で示す線分）で分割し、それぞれ「ハの字」歪み角度α，βだけ回転させる。ここに、画像回転手段の機能が実行される。
【００４１】
ただし、スキャン画像の左右ページを回転させて「ハの字」歪み補正する際に、そのままスキャン画像の左右ページを回転させただけでは、補正した画像の画素の座標が小数になる場合があり、「ハの字」歪み補正画像の画質を落としてしまう場合がある。そこで、本実施の形態においてはこれを解消するため、画素の線形補間処理を行う。ここに、画素線形補間手段の機能が実行される。
【００４２】
図２２は、画素値の線形補間処理による求め方を示す説明図である。図２２に示す座標（ｘ，ｙ）での画素値ｆ（ｘ，ｙ）は、その周辺ブロック［ｉ，ｊ］、［ｉ＋１，ｊ］、［ｉ，ｊ＋１］、［ｉ＋１，ｊ＋１］の平滑化処理後の画素値ｆ（ｉ，ｊ）、ｆ（ｉ＋１，ｊ）、ｆ（ｉ，ｊ＋１）、ｆ（ｉ＋１，ｊ＋１）の線形補間値として計算される。より具体的には、座標（ｘ，ｙ）での線形補間処理後の画素値ｆ（ｘ，ｙ）は、
【数３】

により、算出される。
【００４３】
以上の処理により、ステップＳ１３で算出した「ハの字」歪み角度α，βに基づくスキャン画像の「ハの字」歪み補正が終了する。図２０の画像に対して左右ページをそれぞれ「ハの字」歪み補正した後のスキャン画像を図２３に示す。
スキャン画像の「ハの字」歪み補正が終了すると、ステップＳ２７に進み、副走査方向における伸張処理を行う。ここに、副走査方向歪み補正手段の機能が実行される。
副走査方向における伸張処理について具体的に説明する。副走査方向における伸張処理は、回転後の画像を副走査方向に１行毎に伸張するものであって、各種の処理方法を用いることが可能である。例えば、特許文献２に記載されている副走査方向復元の処理方法を用いることができる。図２４（ａ）に示す断面ＴＵでの伸長処理を図２４（ｂ）に示す。図２４（ｂ）に示すように、書籍の表面Ｖ−Ｖ１−Ｖ２は、Ｖ−Ｖ１'−Ｖ２'に伸長処理され、書籍の表面Ｗ−Ｗ１−Ｗ２は、Ｗ−Ｗ１'−Ｗ２'に伸長処理される。同様に、図２４（ａ）に示す断面ＰＱでの伸長処理を図２４（ｃ）に示す。図２４（ｃ）に示すように、書籍の表面Ｒ−Ｒ１−Ｒ２は、Ｒ−Ｒ１'−Ｒ２'に伸長処理され、書籍の表面Ｓ−Ｓ１−Ｓ２は、Ｓ−Ｓ１'−Ｓ２'に伸長処理される。以上により、「ハの字」歪み補正手段の機能が実行される。
【００４４】
続くステップＳ２８では、輝度補正処理を実行する。ここに、輝度補正手段の機能が実行される。輝度補正処理については、各種の処理方法を用いることが可能である。例えば、特開平11-155070号公報に記載されている濃度復元の処理方法を用いるようにしても良い。
【００４５】
ステップＳ２９では、文字ボケ補正処理を実行する。ここに、ボケ補正手段の機能が実行される。文字ボケ補正処理については、各種の処理方法を用いることが可能である。例えば、特許文献２に記載されている文字ボケ補正の処理方法を用いるようにしても良い。
【００４６】
以上により、ステップＳ２の画像補正処理が終了する。ここで、図２５は歪みを補正した画像を示す平面図である。以上の処理によれば、図８に示したようなブック原稿４０のページ綴じ部４１のスキャン画像４１'近傍において生じていた画像歪み及びスキャン画像の「ハの字」歪みが、図２５に示すように補正されることになる。
【００４７】
ここに、スキャン画像の主走査方向上辺及び下辺の近傍に位置するブック原稿４０のページ外形を用いてスキャン画像の「ハの字」歪み角度α，βが検出され、この「ハの字」歪み角度α，βに基づいてスキャン画像の「ハの字」歪みを補正した後にスキャン画像の副走査方向の形状歪みが補正される。これにより、カタカナの「ハの字」のような歪み形状のスキャン画像に対して３次元形状歪み補正を実行しても、歪み補正に伴う画質の劣化の発生を防止することが可能になる。
【００４８】
なお、本実施の形態においては、ブック原稿４０のページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてブック原稿４０をコンタクトガラス２上に下向きに載置した場合について説明したが、これに限るものではない。例えば、図２６に示すように、上向きのブック原稿４０をコンタクトガラス２の下方からコンタクトガラス２に対して押し付けるように接触させるものであっても良い。
【００４９】
また、本実施の形態においては、画像読取装置としてデジタル複写機のスキャナ部１を適用したが、これに限るものではなく、例えば自動ページ捲り機能を搭載したスキャナ等に適用するようにしても良い。
さらに、本実施の形態においては、画像補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナを、図５に示したメイン制御部１９と同等なシステム構成を備えたパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールし、このプログラムに従ってパーソナルコンピュータのＣＰＵを動作させることによって画像補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムを、図５に示したメイン制御部１９と同等なシステム構成を備えたパーソナルコンピュータのＨＤＤにインストールし、このプログラムに従ってパーソナルコンピュータのＣＰＵを動作させることによって画像補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して画像補正処理を施すようにしても良い。
【００５０】
次に、本発明の第二の実施の形態を図２７ないし図３８に基づいて説明する。なお、前述した第一の実施の形態と同じ部分は同じ符号で示し説明も省略する。本実施の形態は、第一の実施の形態とは、スキャン画像の画像補正処理が異なるものである。概略的には、第一の実施の形態においては線形状部分としてページ外形を用いてスキャン画像の「ハの字」歪みを補正するようにしたが、本実施の形態においては「ハの字」歪みの補正にあたって線形状部分として文字行または罫線を用いたものである。
【００５１】
図２７は、スキャン画像の画像補正処理の流れを概略的に示すフローチャートである。
まず、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力した後（ステップＳ５１）、ブック原稿４０のスキャン画像の最適２値化処理を実行し（ステップＳ５２）、副走査方向の黒画素数のヒストグラムを求める（ステップＳ５３）。図２８は、画像の黒画素ヒストグラムの一例を示すものである。
【００５２】
次に、ステップＳ５４において、画像補正処理を文字情報を利用して行うか罫線情報を利用して行うかの指定に待機する。
操作パネル２２等を介して画像補正処理を文字情報を利用して行う旨の宣言がなされた場合には（ステップＳ５４のＮ）、ステップＳ５５に進み、文字が横書きであるか縦書きであるかを判別する。文字が横書きであるか縦書きであるかの判別は、ステップＳ５３で求めた横方向（副走査方向）の黒画素数のヒストグラムに基づいて行う。例えば、横書きの画像の場合には、ヒストグラムに山谷の繰り返しパターンが現れ、縦書きの場合はこのパターンはない。この特徴を用いることにより、文字が横書きであるか縦書きであるかを判別する。ここに、文書判別手段の機能が実行される。
【００５３】
文字が横書きであると判別された場合には（ステップＳ５５のＹ）、黒画素が連続に繋がる文字単位の矩形抽出処理を行うとともに（ステップＳ５６：文字外接矩形抽出手段）、文字行の抽出処理を行って最適な基準文字行を選択する（ステップＳ５７：文字行抽出手段）。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、二値化されたスキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図２９に示す。文字外接矩形抽出処理および文字行抽出処理後には、数多くの行が得られるが、その中で一定の長さ以上の行を選び、さらにその中でもっとも湾曲量が大きい行を最適な基準文字行として選択する。なお、一定の長さ以上の行とは、例えば、最も長い行の８０％より長い行とする。また、ブック原稿４０のページ綴じ部４１の境界線より左側１行、右側１行をそれぞれ選択する。さらに、湾曲量は、文字行に含まれる各文字外接矩形の中心座標の主走査方向における位置によって測定し、中心座標の最大値と最小値との差が大きいほど湾曲量が大きいとみなす。
【００５４】
続いて、ステップＳ５７で抽出した基準文字行の直線部分を抽出する（ステップＳ５８）。基準文字行の直線部分の抽出は、各矩形中心座標値のHough変換により行う。
Hough変換の原理を以下に示す。図３０に示すように画像上の点Ｐ（ｘ，ｙ）を通過する直線は次の式（８）を満たす。
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ・・・（８）
ここで、（ｘ，ｙ）は点Ｐの座標であり、ρは原点０と点Ｐとの距離である。θは直線ＰＯとｘ軸とがなす角度である。矩形中心座標（ｘ_ｉ，ｙ_ｉ）を離散化（メッシュ化）された（ρ，θ）パラメータ平面へと射影する。（ｘ，ｙ）平面の１点は、（ρ，θ）平面では１本の曲線に射影される。平面上の各メッシュについて曲線の通過数をカウントすると、通過数の多いメッシュは対応する直線があることを示す。１つの文字行には１本の直線しかないので曲線が最も多く通過するメッシュを見つければ、直線を抽出することができる。この方法は、ノイズに非常に強く、直線と曲線が混在する場合にも直線部分を抽出することができる。図２９の直線を抽出した結果を図３１に示す。
【００５５】
続いて、基準文字行の曲線部分を求める（ステップＳ５９）。ステップＳ５７で抽出した基準文字行を以下に示す多項式（９）で近似し、最小２乗法により多項式の係数を求める。つまり、ステップＳ５９は、行の曲線部分を多項式で近似するものである。
ｙ＝ａ_０＋ａ_１ｘ^１＋ａ_２ｘ^２＋・・・＋ａ_ｎｘ^ｎ・・・（９）
ここで、（ｘ，ｙ）文字矩形中心の座標であり、（ａ_０，ａ_１，ａ_２，・・・，ａ_ｎ）は多項式の係数である。抽出した曲線部分の結果を図３２に示す。
【００５６】
次いで、基準文字行の直線部分と基準文字行の曲線部分との境目を検出し、スキャン画像の歪み領域を推定する（ステップＳ６０）。つまり、ステップＳ５８〜Ｓ６０により歪み領域推定手段の機能が実行される。なお、基準文字行の直線部分と基準文字行の曲線部分との境目の判定処理については、各種の処理方法を用いることが可能である。例えば、特許文献２に記載されているような手法を用いることが可能である。概略的には、抽出した基準文字行に基づいて近似直線を求め、この直線から離れて曲線となる部分を基準文字行の直線部分と基準文字行の曲線部分との境目として判定するものである。
【００５７】
続くステップＳ６１においては、スキャン画像の左右ページの基準文字行の直線部分と画像水平方向（副走査方向）の水平線とのなす角度（「ハの字」歪み角度）を算出する。線分の傾きの算出については、第一の実施の形態を参照。
次に、ステップＳ５８で求めた基準文字行の直線部分とステップＳ５９で求めた基準文字行の曲線部分との間の距離を測定し（ステップＳ６２）、３次元形状復元を行う（ステップＳ６３）。図３３は、基準文字行の直線部分と基準文字行の曲線部分との距離を示したものである。
【００５８】
スキャンの主走査方向とブック原稿４０のページ綴じ部４１の境界線が平行な場合、レンズユニット１０等のスキャナレンズによるブック原稿４０を読み取るとき、結像系は次の特性を持つ。主走査方向は中心投影であり、副走査方向は平射投影である。ここで、これらの特性を利用して、３次元形状復元を行う。中心投影する場合、図３４と図３５に示すようにブック原稿４０の表面はコンタクトガラス２の表面から浮いて結像距離が遠くなり、画像の拡大倍率は小さくなるので、外形エッジの直線はだんだん内側に湾曲していく。図３５の縮む量ＡＢを測定すれば、図３４に示すような浮いた本の表面の高さｄを計算できる。従って、直線の内側への歪み量を測定すれば、３次元形状（ブック原稿４０のコンタクトガラス２からの浮き上がりの量）を復元できる。
【００５９】
ここで、ブック原稿４０を水平にコンタクトガラス２上に置くことを仮定する。そうすると、３次元の形状は２次元になる。スキャナレンズの結像関係を図３６に示す。ＯＯ´はレンズの光軸であり、０はレンズの中心である。Ｆはレンズの中心０からスキャナ表面（コンタクトガラス２）までの距離で、これを、スキャナの焦点距離と言う。スキャナ表面上の点Ｂは結像面でＤに結像する。浮いた製本（ブック原稿４０）の表面上の点ＣはＥに結像する。それぞれの結像面の中心０との距離はｙ´とｙである（第一走行体５および第二走行体８が副走査方向に移動することによって、中心０も移動するが、その軌跡を結像中心線と呼ぶことにする）。三角形の相似関係により次の関係式（１０），（１１）が得られる。
ｄ／Ｆ＝ＡＢ／ＡＯ´・・・（１０）
ＡＢ／ＡＯ´＝（ｙ´−ｙ）／ｙ・・・（１１）
また、式（１０），（１１）により、ブック原稿４０の浮き上がりの量ｄが次式（１２）により得られる。
ｄ＝Ｆ×（（ｙ´−ｙ）／ｙ）・・・（１２）
この式（１２）により２次元の歪み量から３次元形状が求められることがわかる。ここで、歪み量（ｙ´−ｙ）と距離ｙは画像から求められるが、本実施の形態では、これを文字行あるいは罫線の直線成分と曲線部分との距離から求めるものである。レンズの焦点距離Ｆはスキャナ部１によって定まる既知量であり、スキャナ部１の設定値かレンズの校正値を用いる。以上のステップＳ５８、Ｓ５９、Ｓ６２、Ｓ６３により、浮き上がり量推定手段の機能が実行される。
【００６０】
続いて、３次元形状に基づいて画像の歪み補正処理を行うとともに（ステップＳ６４）、画像の輝度補正処理（ステップＳ６５）、画像の文字ボケ補正処理を行う（ステップＳ６６）。
【００６１】
ステップＳ６４の画像の歪み補正処理は、第一の実施の形態で説明したステップＳ２５〜Ｓ２７と何ら変わるものではないため、その説明は省略する。
また、画像の輝度補正処理（ステップＳ６５）及び画像の文字ボケ補正処理（ステップＳ６６）についても、第一の実施の形態で説明したステップＳ２８及びステップＳ２９と何ら変わるものではないため、その説明は省略する。
【００６２】
一方、文字が縦書きであると判別された場合には（ステップＳ５５のＮ）、ステップＳ６７に進み、矩形抽出と縦方向の行の抽出処理を行う。ステップＳ６７では、図３７に示すように行の一番上あるいは一番下の矩形を求め、これを基準文字行とし、縦行の外形を求める。
【００６３】
続くステップＳ５８〜Ｓ６６では、この基準文字行を構成する各矩形の中心座標を用いて、画像の歪み補正処理を行う。
また、歪み補正処理を罫線情報を利用して行う旨の宣言がなされた場合には（ステップＳ５４のＹ）、横方向（副走査方向）に描いた罫線を抽出する（ステップＳ６８：罫線抽出手段）。ステップＳ６８では、ステップＳ５３で求めた横方向（副走査方向）の黒画素数のヒストグラムを用いる。図３８に示すように、横方向に描いた罫線が存在する場合には、ヒストグラムに細高いピークが現れるので、それを利用して罫線を抽出し、その中から一定の長さ以上の罫線を選ぶ。一定の長さを指定するとき、例えば、もっとも長い罫線の８０％より長い罫線とする。そして、選択した罫線の中で画像の上端もしくは下端に最も近い罫線を基準罫線として選択する。また、ブック原稿４０のページ綴じ部４１の境界線より左側１罫線、右側１罫線をそれぞれ選択する。
続くステップＳ５８〜Ｓ６６は、基本的に文字情報を利用した場合と同様であるため、説明は省略する。
【００６４】
【発明の効果】
請求項１、２、６、７記載の発明によれば、「ハの字」歪み補正手段は、ブック原稿の３次元形状を検出する３次元形状検出手段と、この３次元形状検出手段により検出された前記ブック原稿の３次元形状に基づきスキャン画像の主走査方向の伸長処理を行う主走査方向歪み補正手段と、この主走査方向歪み補正手段により主走査方向の伸長処理を施された前記スキャン画像の左右ページを分割し、所定位置を中心として前記「ハの字」歪み角度検出手段により検出された前記各「ハの字」歪み角度だけそれぞれ回転させる画像回転手段と、この画像回転手段により回転された画像の３次元形状に基づき、副走査方向に画像を伸長する副走査方向歪み補正手段と、を備えることにより、スキャン画像の「ハの字」歪みを補正した後にスキャン画像の副走査方向の形状歪み補正を確実に行うことができる。
請求項３、８記載の発明によれば、前記３次元形状検出手段は、前記スキャン画像の左右各ページの前記直線部を綴じ部境界線まで延長した直線から前記ページ外形の前記湾曲部に至る距離に基づき、前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を検出する浮き上がり形状検出手段と、この浮き上がり形状検出手段により検出された前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を前記綴じ部境界線に平行な直線上の各列毎に２点選択し、これらの２点の浮き上がり形状値を基に前記直線上の各列毎に線形補間処理を行う線形補間手段と、を備えることにより、ブック原稿の３次元形状の検出を確実に行うことができる。
請求項４、９記載の発明によれば、前記浮き上がり形状検出手段は、前記ブック原稿の浮き上がった前記歪み領域と前記歪み領域でない領域の境目を推定して、境目での浮き上がり形状値を０とすることにより、スキャン画像のコンタクトガラスからの浮き上がり形状値を容易に検出することができる。
請求項５、１０記載の発明によれば、前記主走査方向歪み補正手段は、前記画像読取手段の光軸を基準として検出された各画素の伸長率に基づいて主走査方向に画像を伸長することにより、コンタクトガラスから浮き上がったブック原稿のスキャン画像の主走査方向の画像歪みを確実に補正することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像の補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】入力した画像の一例を示す平面図である。
【図９】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１０】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図１１】図１０に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図１２】スキャン画像の「ハの字」歪み角度の検出手法を示す説明図である。
【図１３】スキャン画像の「ハの字」歪み角度検出処理の流れを示すフローチャートである。
【図１４】スキャン画像の画像歪み補正処理の流れを示すフローチャートである。
【図１５】スキャン画像の左右ページのページ外形の直線部を綴じ部境界線まで延長した様子を示す説明図である。
【図１６】線分ＪＯ，ＯＭ上の書籍表面形状を示す説明図である。
【図１７】線分ＫＯ'，Ｏ'Ｎ上の書籍表面形状を示す説明図である。
【図１８】綴じ部境界線と平行な線分ＥＥ'における形状断面を示す説明図である。
【図１９】綴じ部境界線と平行な線分ＧＨにおける形状断面を示す説明図である。
【図２０】主走査方向における変倍処理の手法を示す説明図である。
【図２１】スキャナレンズの結像関係を示す説明図である。
【図２２】画素値の線形補間処理による求め方を示す説明図である。
【図２３】図２０の画像に対して左右ページをそれぞれ「ハの字」歪み補正した後のスキャン画像を示す説明図である。
【図２４】副走査方向における伸張処理の手法を示す説明図である。
【図２５】歪みを補正した画像を示す平面図である。
【図２６】コンタクトガラスにブック原稿を接触させた状態を示す正面図である。
【図２７】本発明の第二の実施の形態のスキャン画像の画像補正処理の流れを概略的に示すフローチャートである。
【図２８】画像の黒画素ヒストグラムの一例を示すヒストグラムである。
【図２９】二値化されたスキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図３０】Hough変換の原理を示す説明図である。
【図３１】Hough変換により図２９の直線を抽出した結果を示す説明図である。
【図３２】最小２乗法により図２９の曲線部分を抽出した結果を示す説明図である。
【図３３】基準文字行の直線部分と基準文字行の曲線部分との距離を示す説明図である。
【図３４】本の表面の浮いた高さを示す説明図である。
【図３５】画像が縮む量を示す説明図である。
【図３６】スキャナレンズの結像関係を示す説明図である。
【図３７】文字が縦書きである場合の基準文字行を示す説明図である。
【図３８】横方向に描いた罫線を示す説明図である。
【図３９】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【図４０】「ハの字」歪みが生じたスキャン画像を示す説明図である。
【符号の説明】
１・・・画像読取装置、２・・・コンタクトガラス、１６・・・画像形成装置、２９・・
・画像補正装置、３７・・・記憶媒体、４０・・・ブック原稿。

Claims

ページ綴じ部をスキャナ部の画像読取の主走査方向に対してほぼ平行になるように位置させてコンタクトガラスの上もしくは下に接触したブック原稿を、画像読取手段により読み取ったスキャン画像を補正する画像補正装置において、
前記ブック原稿の前記スキャン画像に含まれる線形状部分を用い、前記スキャン画像の「ハの字」歪み角度を検出する「ハの字」歪み角度検出手段と、この「ハの字」歪み角度検出手段により検出された前記「ハの字」歪み角度に基づいて前記スキャン画像の「ハの字」歪みを補正した後に前記スキャン画像の副走査方向の形状歪みを補正する「ハの字」歪み補正手段と、を備え、
前記「ハの字」歪み補正手段は、前記ブック原稿の３次元形状を検出する３次元形状検出手段と、この３次元形状検出手段により検出された前記ブック原稿の３次元形状に基づき前記スキャン画像の主走査方向の伸長処理を行う主走査方向歪み補正手段と、この主走査方向歪み補正手段により主走査方向の伸長処理を施された前記スキャン画像の左右ページを分割し、所定位置を中心として前記「ハの字」歪み角度検出手段により検出された前記各「ハの字」歪み角度だけそれぞれ回転させる画像回転手段と、この画像回転手段により回転された画像の３次元形状に基づき、副走査方向に画像を伸長する副走査方向歪み補正手段と、を備えることを特徴とする画像補正装置。
前記「ハの字」歪み角度検出手段は、前記線形状部分の直線部を前記スキャン画像の左右ページからそれぞれ検出し、前記直線部と湾曲部との境目を検出して歪み領域を推定する歪み領域推定手段と、前記スキャン画像の左右各ページの前記直線部と画像読み取りの副走査方向との成す角度をそれぞれ算出する「ハの字」歪み角度算出手段と、
を備えることを特徴とする請求項１記載の画像補正装置。
前記３次元形状検出手段は、前記スキャン画像の左右各ページの前記直線部を綴じ部境界線まで延長した直線から前記線形状部分の前記湾曲部に至る距離に基づき、前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を検出する浮き上がり形状検出手段と、この浮き上がり形状検出手段により検出された前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を前記綴じ部境界線に平行な直線上の各列毎に２点選択し、これらの２点の浮き上がり形状値を基に前記直線上の各列毎に線形補間処理を行う線形補間手段と、を備えることを特徴とする請求項１又は２記載の画像補正装置。
前記浮き上がり形状検出手段は、前記ブック原稿の浮き上がった前記歪み領域と前記歪み領域でない領域の境目を推定して、境目での浮き上がり形状値を０とすることを特徴とする請求項３記載の画像補正装置。
前記主走査方向歪み補正手段は、前記画像読取手段の光軸を基準として検出された各画素の伸長率に基づいて主走査方向に画像を伸長することを特徴とする請求項１又は２記載の画像補正装置。
ページ綴じ部をスキャナ部の画像読取の主走査方向に対してほぼ平行になるように位置させてコンタクトガラスの上もしくは下に接触したブック原稿を、画像読取手段により読み取ったスキャン画像を補正するプログラムであって、コンピュータを、前記ブック原稿の前記スキャン画像に含まれる線形状部分を用い、前記スキャン画像の「ハの字」歪み角度を検出する「ハの字」歪み角度検出手段と、この「ハの字」歪み角度検出手段により検出された前記「ハの字」歪み角度に基づいて前記スキャン画像の「ハの字」歪みを補正した後に前記スキャン画像の副走査方向の形状歪みを補正する「ハの字」歪み補正手段として機能させ、
その際、コンピュータを、前記「ハの字」歪み補正手段が備える前記ブック原稿の３次元形状を検出する３次元形状検出手段と、この３次元形状検出手段により検出された前記ブック原稿の３次元形状に基づき前記スキャン画像の主走査方向の伸長処理を行う主走査方向歪み補正手段と、この主走査方向歪み補正手段により主走査方向の伸長処理を施された前記スキャン画像の左右ページを分割し、所定位置を中心として前記「ハの字」歪み角度検出手段により検出された前記各「ハの字」歪み角度だけそれぞれ回転させる画像回転手段と、この画像回転手段により回転された画像の３次元形状に基づき、副走査方向に画像を伸長する副走査方向歪み補正手段と、として機能させることを特徴とするプログラム。
コンピュータを、前記線形状部分の直線部を前記スキャン画像の左右ページからそれぞれ検出し、前記直線部と湾曲部との境目を検出して歪み領域を推定する歪み領域推定手段と、前記スキャン画像の左右各ページの前記直線部と画像読み取りの副走査方向との成す角度をそれぞれ算出する「ハの字」歪み角度算出手段を備える前記「ハの字」歪み角度検出手段として機能させることを特徴とする請求項６記載のプログラム。
コンピュータを、前記スキャン画像の左右各ページの前記直線部を綴じ部境界線まで延長した直線から前記線形状部分の前記湾曲部に至る距離に基づき、前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を検出する浮き上がり形状検出手段と、この浮き上がり形状検出手段により検出された前記スキャン画像の前記コンタクトガラスからの浮き上がり形状値を前記綴じ部境界線に平行な直線上の各列毎に２点選択し、これらの２点の浮き上がり形状値を基に前記直線上の各列毎に線形補間処理を行う線形補間手段、を備える前記３次元形状検出手段として機能させることを特徴とする請求項６又は７記載のプログラム。
コンピュータを、前記ブック原稿の浮き上がった前記歪み領域と前記歪み領域でない領域の境目を推定して、境目での浮き上がり形状値を０とする前記浮き上がり形状検出手段として機能させることを特徴とする請求項８記載のプログラム。
コンピュータを、前記画像読取手段の光軸を基準として検出された各画素の伸長率に基づいて主走査方向に画像を伸長する前記主走査方向歪み補正手段として機能させることを特徴とする請求項６又は７記載のプログラム。