JP4168957B2

JP4168957B2 - 画像処理プログラムおよび装置

Info

Publication number: JP4168957B2
Application number: JP2004076898A
Authority: JP
Inventors: 英樹桐山; 淳中村; 俊秀吉村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-03-17
Filing date: 2004-03-17
Publication date: 2008-10-22
Anticipated expiration: 2024-03-17
Also published as: JP2005269095A

Description

本発明は、画像処理プログラムおよび装置に関し、特に、見開き状態の原稿を画像読取装置で読み取って得た画像を補正する画像処理プログラムおよび装置に関する。

本などの綴じられた原稿を、見開いた状態でコピー若しくはスキャンしようとする場合、平面の原稿と比較して、その品質が劣化する可能性が高い。

本を見開いた状態でコピーあるいはスキャンする装置については、幾つかの工夫が成されており、ブックスキャナという装置が提供されている。

このような装置には、上向きの見開き原稿を上方から読み取る構造の画像読取り装置において、見開き面における左ページＳＬと右ページＳＲとの境界位置ＰＣを検出する手段と、少なくとも先に読み取られたページの読取り画像を記憶するための画像メモリと、左ページＳＬ及び右ページＳＲの読取り画像を、検出された境界位置を基準に位置合わせをして合成する手段とを設け、湾曲した原稿の焦点調整機能などブックスキャナの操作性の向上を図っているものがある（例えば、特許文献１参照）。

また、本やノート等の見開き原稿に対して画像形成処理を実行するとき，ブックコピーモードを自動的に選択し、且つ、原稿に対応したサイズの記録紙を自動的に選択するように制御して操作性を向上させるものや（例えば、特許文献２参照）、位置検出装置とそれを有した画像処理装置において、原稿下地模様の輝度値に関わらず、原稿綴じ部や原稿エッジを正確に検出し、しかも、原稿外形が判定しにくい薄手のブック原稿や、傾いたブック原稿の画像であっても、原稿綴じ部、原稿エッジ及び原稿傾斜角を確実に検出するものがある（例えば、特許文献３参照）。

この他にも、スキャン画像の主走査方向上辺もしくは下辺の近傍に位置するブック原稿のページ外形を用いてスキャン画像のスキュー角度αを検出し、このスキュー角度αに応じてスキャン画像に対する歪み補正を実行するか否かを判断することにより、スキャン画像に生じているスキュー角度αに応じたスキャン画像に対する歪み補正を行うもの等がある（例えば、特許文献４参照）。
特開平１０−１７８５２０号公報特開平６−１１９２６号公報特開２００１−１０３２４０号公報特開２００３−１８９０８２号公報

ところで、見開きの原稿を読み取って得た画像は、左側のページと右側のページとで、異なる特性、例えば、異なる傾きを有していることが多々ある。しかしながら、上述の従来の技術においては、左右のページを別々に補正する等の処理は行われていない。

また、見開き原稿の読み取りは、ブックスキャナ等の高級な機能が提供された装置ではなく、通常のスキャナ等で行われることも多く、これらで読み取られた見開き原稿に対する画像に対しても、適切な補正が望まれることが多い。

そこで、本発明は、通常のスキャナ等で読み取られた画像に対しても適用可能で、かつ、見開き原稿を読み取って得た画像に適切な補正を行うことのできる画像処理プログラムおよび装置を提供することを目的とする。

上述した目的を達成するため、請求項１の発明は、見開き状態の原稿を画像読取装置で読み取って得た画像データを補正する画像処理プログラムにおいて、前記画像データ中の原稿の綴じ位置に対応する部分を特定する綴じ位置特定処理と、前記綴じ位置特定処理で特定した綴じ位置に対応する部分に基づき前記画像データを分離する画像分離処理と、前記画像分離処理で分離した左ページの画像データに対して、左ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行い、前記画像分離処理で分離した右ページの画像データに対して、右ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行う画像補正処理とをコンピュータに実行させることを特徴とする。

また、請求項２の発明は、見開き状態の原稿を画像読取装置で読み取って得た画像データを補正する画像処理装置において、画像データ中の原稿の綴じ位置に対応する部分を特定する綴じ位置特定手段と、前記綴じ位置特定手段が特定した綴じ位置に対応する部分に基づき前記画像データを分離する画像分離手段と、前記画像分離手段が分離した左ページの画像データに対して、左ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行い、前記画像分離手段が分離した右ページの画像データに対して、右ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行う画像補正手段とを具備することを特徴とする。

本発明によれば、画像中の原稿の綴じ位置を特定し、特定した綴じ位置で画像を分離し、分離した画像に対して、それぞれ独立した補正を施すように構成したので、見開きで読み取った画像のように左右で異なった角度のスキューがあるよう画像の補正の精度が高くなる。

以下、本発明に係る画像処理プログラムおよび装置の一実施の形態について、添付図面を参照して詳細に説明する。

図１は、本発明を適用した画像処理装置の機能的な構成を示すブロック図である。同図に示すように、画像処理装置１は、画像データ取得部１１と、画像データ保存部１２、画像補正部１３、綴じ位置検出部１４、綴じ位置指定部１５を具備して構成される。

画像データ取得部１１は、スキャナ２が原稿を読み取って生成した画像データを取得し、取得した画像データを画像データ保存部１２若しくは画像補正部１３に渡す。画像データ保存部１２は、画像データを保存する。

画像補正部１３は、画像データ取得部１１が取得した画像データ若しくは画像データ保存部１３に保存されている画像データに対して補正処理を施し、その結果を画像データ保存部１３に保存する。

綴じ位置検出部１４は、画像補正部１３が画像データの補正をする際に、見開き原稿に基づく画像データの綴じ位置を検出する。なお、スキャナ２が見開き原稿の綴じ位置を検出する機能を有し、画像補正部１３がスキャナ２で生成された画像データを直ちに補正する場合には、綴じ位置検出部１４は、スキャナ２から綴じ位置を取得する。

綴じ位置指定部１５は、図示しない表示装置に画像データに基づく画像を含むユーザインタフェイスを表示し、利用者からの綴じ位置の指定を受け付け、受け付けた綴じ位置を綴じ位置検出部１４に通知する。

なお、画像処理装置１は、上述した各機能部を実現するプログラムをコンピュータで動作させることにより構成することができる。

次に、画像処理装置１における補正処理の流れを説明する。図２は、画像処理装置１の補正処理の流れを示すフローチャートであり、図３は、画像処理装置１における補正処理の過程での画像データの例を示した図である。

画像処理装置１は、補正処理を開始すると、まず、画像補正部１３が利用者の指示に応じて、、スキャナ２で生成された画像データを画像データ取得部１１を介して取得するか、予めスキャナ２で生成されて画像データ保存部１２で保存されている画像データを取得する（ステップ１０１）。取得した画像データは、例えば、図３（ａ）に示すような画像を表すものである。

画像データを取得すると、画像補正部１３は、取得した画像データ全体に対して、スキュー補正を行う（ステップ１０２）。図３（ａ）に示す画像をスキュー補正すると、その結果は、図３（ｂ）に示すような画像となる。

次に、綴じ位置検出部１４が、処理対象の画像、例えば、図３（ｂ）に示す画像から、その綴じ位置を特定する（ステップ１０３）。綴じ位置の特定は、スキャナ２から取得できる場合には、スキャナ２から取得した綴じ位置を利用し、利用者が綴じ位置指定部１５を介して綴じ位置を指定した場合には、指定された綴じ位置を利用する。スキャナ２からの綴じ位置を取得できない場合や、綴じ位置指定部１５からの綴じ位置の指定がない場合には、綴じ位置検出部１４は、処理対象の画像から綴じ位置を検出する。なお、綴じ位置の検出方法については後述する。

綴じ位置検出部１４が綴じ位置を特定すると、画像補正部１３は、処理対象の画像、例えば、図３（ｂ）に示す画像を、図３（ｃ）に示すような特定された綴じ位置で分割する（ステップ１０４）。その結果、図３（ｂ）に示す画像は、図３（ｄ）に示すように分割される。

続いて、画像補正部１３は、分割した画像のそれぞれに対して、補正処理を施す（ステップ１０５）。施す補正処理としては、スキュー補正や、明度補正、アフィン変換や地肌除去等である。これらの補正に対しては、分割した画像のそれぞれで独立して決定したパラメータを用いて行う。もちろん、結果として、分割した両画像で同パラメータによる補正が行われる可能性もある。これらの補正の結果、図３（ｄ）に示す画像は、図３（ｅ）に示すようになる。

次に、画像補正部１３は、各画像の位置を調整する（ステップ１０６）。この処理は、本などのページは、画像の定形サイズであるＡ４やＡ５と多少異なるサイズであることが多いことから、ページの中央が画像の中央に位置するようにするための処理である。この処理により、図３（ｅ）に示す画像は、図３（ｆ）に示すような画像となる。

画像の位置調整を終えると、画像補正部１３は、当該画像データを画像データ保存部１２に保存し（ステップ１０７）、補正処理を終了する。

次に、綴じ位置検出部１４による綴じ位置の検出方法について説明する。

見開き原稿を読み取ることで生成された画像は、一般に、図４に示す画像１５０のように、その綴じ位置付近が暗いものとなる。そのため、綴じ位置の検出は、輝度変化に着目して、画像の中央２０％の範囲で、左から輝度を確認して一番暗い場所を決めて、縦（画像の短辺に平行な方向）あるいは少し斜め線１５１を綴じ位置として決める。

また、同様の処理を右側から行い、結果がほぼ一致した場合に、線１５１を綴じ位置に決定しても良く、左右それぞれのページデータに対して、スキューの角度を上から下に向けて何点か測定し、問題ないバラツキであれば、綴じ位置として決定するようにしてもよい。

このように、画像の右半分と左半分で独立してスキュー補正を行うことにより、見開きで読み取った画像のように左右で異なった角度のスキューがあるよう画像の補正の精度が高くなる。

また、見開きでスキャンされた画像の原稿の綴じ位置を指定あるいはスキャナの機能で提供されることにより、２ページに分割する際の精度が高くなる。

さらに、綴じ位置付近では輝度変化のため影が出やすいが、明度の補正を行うことで、原稿が一様な地色に近くなる。

この他にも、綴じ位置から原稿の文字や絵までの白紙スペース（綴じ代のようなもの）を一定にすることで、本の厚みによるスキャンデータの位置ずれを補正することができ、当該画像を印刷した場合に、用紙に対する印字面の位置を一定にすることができる。

実施例２で説明する構成は、実施例１の構成と同様であり、その処理の流れが異なるものである。そのため、図１および図３を流用して、説明を行う。

図５および図６は、実施例２における画像処理装置１の補正処理の流れを示すフローチャートである。

画像処理装置１は、補正処理を開始すると、まず、画像補正部１３が利用者の指示に応じて、、スキャナ２で生成された画像データを画像データ取得部１１を介して取得するか、予めスキャナ２で生成されて画像データ保存部１２で保存されている画像データを取得する（ステップ２０１）。取得した画像データは、例えば、図３（ａ）に示すような画像を表すものである。

画像データを取得すると、画像補正部１３は、取得した画像データ全体に対して、スキュー補正を行う（ステップ２０２）。図３（ａ）に示す画像をスキュー補正すると、その結果は、図３（ｂ）に示すような画像となる。

次に、綴じ位置検出部１４が、処理対象の画像、例えば、図３（ｂ）に示す画像から、その綴じ位置を特定する（ステップ２０３）。綴じ位置の特定は、スキャナ２から取得できる場合には、スキャナ２から取得した綴じ位置を利用し、利用者が綴じ位置指定部１５を介して綴じ位置を指定した場合には、指定された綴じ位置を利用する。スキャナ２からの綴じ位置を取得できない場合や、綴じ位置指定部１５からの綴じ位置の指定がない場合には、綴じ位置検出部１４は、処理対象の画像から綴じ位置を検出する。なお、綴じ位置の検出方法については後述する。

綴じ位置検出部１４が綴じ位置を特定すると、画像補正部１３は、処理対象の画像、例えば、図３（ｂ）に示す画像を、図３（ｃ）に示すような特定された綴じ位置で分割する（ステップ２０４）。その結果、図３（ｂ）に示す画像は、図３（ｄ）に示すように分割される。

画像を分割すると、画像補正部１３は、分割した画像を画像データ保存部１２に保存し（ステップ２０５）、最初の画像補正処理を終了する。

このステップ２０５までの処理を複数の画像に対して繰り返すと、画像データ保存部１２には、図７に示すように、奇数ページの画像と偶数ページの画像がそれぞれ複数保存されている状態となる。画像補正部１３は、この状態から、次の補正処理を開始する。

さて、画像処理装置１が補正処理を再開すると、まず、画像補正部１３が、画像データに保存されている画像データを読み出し（ステップ２１１）、読み出した画像が左側のページであれば、それに応じたパラメータで、スキュー補正や、明度補正、アフィン変換や地肌除去等の補正処理を行い、読み出した画像が右側のページであれば、それに応じたパラメータで、スキュー補正や、明度補正、アフィン変換や地肌除去等の補正処理を行う（ステップ２１２）。これらの補正の結果、図３（ｄ）に示す画像は、図３（ｅ）に示すようになる。

次に、画像補正部１３は、各画像の位置を調整する（ステップ２１３）。この処理も、画像データが左ページのものであれば、それに応じたパラメータで行い、画像データが右ページのものであれば、それに応じたパラメータで行う。

ステップ２１２とステップ２１３の処理を具体的に説明すると、例えば、図７に示す「左ページ−１」の補正処理を行った際のパラメータを左ページのデフォルトとして決定し、「左ページ−２」、「左ページ−３」等の処理にも同様のパラメータを用いて補正を行う処理となる。同様に、図７に示す「右ページ−１」の補正処理を行った際のパラメータを右ページのデフォルトとして決定し、「右ページ−２」、「右ページ−３」等の処理にも同様のパラメータを用いて補正を行うこととなる。

このように左右ページに区別して処理を行なうことにより、補正の精度向上および処理速度の向上を両立させることができる。例えば、非常に厚みのある書籍をコピーした場合、綴じ位置付近は影となり黒くなってしまう場合が多い。この場合は通常の地肌除去などでは補正しきれず、綴じ位置付近の領域を指定して枠消しを後から実施する必要がある場合もデフォルトの枠消し領域として表示することで処理が容易になる。場合によっては、全て同じ領域に対して枠消し処理を行なうことも可能である。

そして、画像の位置調整を終えると、画像補正部１３は、当該画像データを画像データ保存部１２に保存し（ステップ２１４）、補正処理を終了する。

本発明を適用した画像処理装置の機能的な構成を示すブロック図である。画像処理装置１の補正処理の流れを示すフローチャートである。画像処理装置１における補正処理の過程での画像データの例を示した図である。綴じ位置の検出方法を説明するための図である。実施例２における画像処理装置１の補正処理の流れを示すフローチャート（１）である。実施例２における画像処理装置１の補正処理の流れを示すフローチャート（２）である。ステップ２０５終了時に、画像データ保存部１２に保存されている画像データの例を示した図である。

符号の説明

１画像処理装置
１１画像データ取得部
１２画像データ保存部
１３画像補正部
１４綴じ位置検出部
１５綴じ位置指定部
１５０画像
１５１線

Claims

見開き状態の原稿を画像読取装置で読み取って得た画像データを補正する画像処理プログラムにおいて、
前記画像データ中の原稿の綴じ位置に対応する部分を特定する綴じ位置特定処理と、
前記綴じ位置特定処理で特定した綴じ位置に対応する部分に基づき前記画像データを分離する画像分離処理と、
前記画像分離処理で分離した左ページの画像データに対して、左ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行い、前記画像分離処理で分離した右ページの画像データに対して、右ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行う画像補正処理と
をコンピュータに実行させることを特徴とする画像処理プログラム。
見開き状態の原稿を画像読取装置で読み取って得た画像データを補正する画像処理装置において、
画像データ中の原稿の綴じ位置に対応する部分を特定する綴じ位置特定手段と、
前記綴じ位置特定手段が特定した綴じ位置に対応する部分に基づき前記画像データを分離する画像分離手段と、
前記画像分離手段が分離した左ページの画像データに対して、左ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行い、前記画像分離手段が分離した右ページの画像データに対して、右ページ用のパラメータでスキュー補正、明度補正、アフィン変換、地肌除去、位置調整を行う画像補正手段と
を具備することを特徴とする画像処理装置。