JP6566807B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

従来より、スキャナで読み取った原稿画像の正規の方向に対する向きを検出する処理として、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）を利用した処理が行われている。
特許文献１には、スキャナ等のセンサデバイスで原稿画像を読み取った場合に、原稿画像が正規の方向に対してどの程度傾いているか（斜行しているか）を判定する装置が開示されている。特許文献１の装置は、原稿画像の特徴点の座標と、原稿画像に類似する登録画像の特徴点の座標とに基づいて、当該登録画像に対する原稿画像（読取画像）の斜行角度を判定している。
特許文献２には、原稿を読み取る複数の読取センサ（センサデバイス）がそれぞれに傾きを持って配置されている場合に、読取画像に生ずる原稿送り方向（副走査方向）の位置ずれを補正・解消する装置が開示されている。

特開２０１０−１３０６３４号公報 特開平８−９７９８０号公報

特許文献１の装置は、センサデバイスに対する原稿の斜行（原稿の斜め置きなどによる原稿の斜行角度）を検知することができる。しかし、その前提として、センサデバイスが読取原稿台ないしは原稿の通紙パスに対して正しく（垂直に）設置されていることが必要である。つまり、特許文献１の装置では、センサデバイスが原稿の通紙パスに対して垂直に設置されていない場合、センサデバイスに対する原稿の斜行を正確に検知することはできない。特許文献１に開示されている技術は、センサデバイスの組付け角度が所望の角度に維持されているという前提の下に成立する技術である。

特許文献２の装置は、副走査方向の位置ずれを補正できるが、センサデバイスの組付け角度の補正についての教示はない。つまり、特許文献２の装置では、主走査方向の読取解像度を完全に補正することができない。センサデバイスの組付け角度は、回転座標変換によって補正されるものであるが、特許文献２には回転座標変換に関する開示は無い。特許文献２の装置では、主走査方向の読取解像度を補正することができないので、正しい読取画像を得ることができない。

また、Ａ３用紙サイズを超える用紙を読み取ることができる大判スキャナなどにおいては、複数のセンサデバイスを貼り合わせて使用することがある。大判スキャナにおいては、個々のセンサデバイスの直線性は保証できても、複数のセンサデバイスが完全に並行かつ原稿の通紙パスに対して垂直に組付けられていることを保証できない場合がある。特に大判スキャナにおいては、そのサイズが大きいことから経年変化、環境温度変化、日照その他の設置条件や使用条件によってセンサデバイスの組付け角度が変わってしまうこともある。従って、たとえ工場出荷時において複数のセンサデバイスを正しく角度（垂直）に組付けたとしても、その後の使用において組付け角度が変わってしまうことがある。このような場合、単に原稿の斜行角度を検知するだけでは正確な読取画像を得ることはできない。正確な読取画像を得るためには、原稿の斜行角度を検出すると共に、複数のセンサデバイスの個々の組付け角度を検出する必要がある。
本発明は上記した事情を考慮してなされたものであり、本発明の課題は、原稿画像の斜行角度とセンサデバイスの組付け角度とを効率的に且つ正確に取得することができる装置を提供することである。

本発明の一態様による画像処理装置は、原稿画像の画像データを取得する画像取得手段と、取得した原稿画像の画像データから、前記原稿画像の複数の特徴点を抽出する抽出手段と、予め登録された登録原稿画像の複数の特徴点の座標と、抽出した前記原稿画像の複数の特徴点の座標とを対応付ける対応付け手段と、対応付けされた前記登録原稿画像の複数の特徴点の座標と前記原稿画像の複数の特徴点の座標との間の座標対応関係を取得する対応関係取得手段と、取得した前記座標対応関係を用いて、所定方向に対する前記原稿画像の斜行角度を取得すると共に、所定の組付け方向に対する前記画像取得手段の組付け角度を取得する角度取得手段と、を備え、前記座標対応関係は座標変換係数であり、前記対応関係取得手段は、前記原稿画像の斜行角度についての座標変換係数と、前記画像取得手段の組付け角度についての座標変換係数とを分離して取得する。

本発明によれば、原稿画像の斜行角度とセンサデバイスの組付け角度とを効率的に且つ正確に取得することができる。

本発明の実施形態による画像処理装置の概略構成を示す図。 センサデバイス組付け角度のずれによる読取画像の歪みを説明する図。 センサデバイス毎に組付け角度が異なる場合の読取画像の例を示す図。 補正係数計算処理の手順を示す図。 キャリブレーション用画像の例を示す図。 画像データの水平・垂直方向の位置合わせ技術を説明する図。 従来の画像データの水平・垂直方向の位置合わせ技術を説明する図。 実施形態２の補正係数計算処理の手順を示す図。

以下、添付図面を参照して、本発明を実施するための実施形態を詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

実施形態１
（画像処理装置の構成）
図１は、本発明の実施形態１による画像処理装置１００の概略構成を示す。
画像処理装置１００は、ＣＰＵ１０１と、センサデバイス群１０２と、画像処理ハードウェアモジュール１０３と、第１の記憶手段１０４と、第２の記憶手段１０５と、機構部制御モジュール１０６と、デバイス機構部１０７とを有する。画像処理装置１００の各部は、バス１０８により相互接続されている。画像処理装置１００は、センサデバイス群１０２によって、例えば、Ａ３用紙サイズを超える用紙（原稿）を読み取ることができる、いわゆる大判スキャナである。
ＣＰＵ１０１は、画像処理装置１００の動作を統括的に制御し、本実施形態における画像処理、演算処理、判定処理等を行う。ＣＰＵ１０１は、他の画像処理等を行ってもよい。また、別の装置またはシステムに設けられているＣＰＵを、図１のＣＰＵ１０１として用いてもよい。

センサデバイス群１０２は、第１のセンサデバイス１０２Ａ、第２のセンサデバイス１０２Ｂ、第３のセンサデバイス１０２Ｃおよび第４のセンサデバイス１０２Ｄを含む。図１の第１のセンサデバイス１０２Ａに付けられている＃０は、第１のセンサデバイス１０２Ａのセンサデバイス番号が０であることを示している。＃１、＃２および＃３も、センサデバイス番号が１、２および３であることを示している。センサデバイス１０２Ａ〜１０２Ｄは原稿を走査して読み取るので、スキャナデバイスと称することもできる。センサデバイス１０２Ａ〜１０２Ｄは、原稿画像の画像データを取得する。

画像処理ハードウェアモジュール１０３は、複数のセンサデバイス１０２Ａ〜１０２Ｄが読み取る画像信号（画像データ）を受け取る。本実施形態の画像処理ハードウェアモジュール１０３は、例えばＡＦＥ(アナログフロントエンド)等のセンサデバイスドライバモジュールや、画像補正ハードウェアモジュールなどを含む。画像処理ハードウェアモジュール１０３は、スキャナ画像処理モジュールと称することもできる。ＡＦＥはＡｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄの略である。

第１の記憶手段１０４は、本実施形態において読取画像データを保持（保存）するＲＡＭ等の読書き可能な記憶手段である。第１の記憶手段１０４は読取画像データを保存するので、画像メモリを含んでいると言える。読取画像データは、以下の記載において単に「読取画像」と称されることもある。
第１の記憶手段１０４は、本実施形態で示す処理手順をプログラムとして格納してもよい。第１の記憶手段１０４には、読取画像と比較するための登録原稿画像を予め記憶（登録）しておく。特に、本実施形態では、登録原稿画像の複数の特徴点の座標が、第１の記憶手段１０４に登録されている。第１の記憶手段１０４に予め登録された特徴点の座標は、登録座標と称されることもある。

第２の記憶手段１０５は、本実施形態で示す処理手順のプログラム、判定用の基準画像データまたは基準座標データなどを保持（保存）するＲＯＭまたはハードディスク等である。
機構部制御モジュール１０６は、センサデバイス１０２Ａ〜１０２Ｄおよび給紙機構（図示せず）等を駆動するモータ（またはモータドライバ）等を制御する。また、機構部制御モジュール１０６は、画像処理装置１００に付随して設けられる光源等（図示せず）も制御する。機構部制御モジュール１０６は、ＣＰＵ１０１などからの指示を受けてセンサデバイス１０２Ａ〜１０２Ｄ、給紙機構駆動モータ、光源等を動作させる。
デバイス機構部１０７は、機構部制御モジュール１０６によって制御されるセンサデバイス１０２Ａ〜１０２Ｄ、給紙機構駆動モータおよび光源等の機構部（被制御部分）である。
バス１０８は、上記した画像処理装置１００の構成要素（コンポーネント）間を繋いでデータのやり取りを可能にしている。

（読取画像の歪み）
図２は、用紙（原稿）を斜行させて読み取った場合に、センサデバイスの組付け角度（以下、「デバイス組付け角度」と称することもある。）がずれていると、どのように読取画像が歪むかを示している。
図２（Ａ）は、センサデバイス１０２Ａが本来の原稿給紙方向（図中、矢印で示す）Ｆに対して正しく（垂直に）組付けられている場合の原稿２０３と読取画像２０４とを示している。本明細書では、図２（Ａ）のように、センサデバイス１０２Ａが原稿給紙方向Ｆに対して垂直に組付けられている（取付けられている）場合、センサデバイス１０２Ａの組付け角度は、ずれていないと表現する。図２（Ａ）の網掛け部２０５と２０６は、原稿２０３が斜行状態で読み取られたために、読取不能になった箇所（読取不可領域）を示す。原稿２０３には縦の罫線２０３ａと横の罫線２０３ｂとが描かれている。本明細書では、原稿給紙方向Ｆに対する原稿２０３の角度を斜行角度と称する。斜行角度は、所定方向に対する原稿画像の角度であると言える。

図２（Ｂ）は、センサデバイス１０２Ａが本来の原稿給紙方向Ｆに対して斜めに組付けられていた場合の原稿２０３と読取画像２０７とを示している。本明細書では、図２（Ｂ）のように、センサデバイス１０２Ａが原稿給紙方向Ｆに対して斜めに組付けられている場合、センサデバイス１０２Ａの取付け角度は、ずれていると表現するか、センサデバイスが傾いて組付けられていると表現する。線２０９は、センサデバイス１０２Ａが本来あるべき位置を示している（図２（Ａ）のセンサデバイス１０２Ａの位置を示している）。つまり、線２０９は、センサデバイス１０２Ａについての、所定の組付け方向を示す線である。センサデバイス１０２Ａの組付け角度は、線２０９を基準とする角度である。原稿給紙方向Ｆは、用紙がセンサデバイス１０２Ａを通る方向であるので、通紙方向ということもある。

図２（Ｃ）は図２（Ａ）と同じ読取画像２０４を示す図であり、センサデバイス１０２Ａと読取画像２０４のみを図２（Ａ）から取り出して示している。読取画像２０４は、歪みの無い画像である。
図２（Ｄ）は図２（Ｂ）と同じ読取画像２０７を示す図であり、センサデバイス１０２Ａと読取画像２０７のみを図２（Ｂ）から取り出して示している。読取画像２０７は、歪みを有する画像である。この歪みは、センサデバイス１０２Ａの組付け角度のずれにより生じている。つまり、センサデバイス１０２Ａが傾いて組付けられている場合、原稿２０３（読取画像２０７）は、斜行角度に加えて、センサデバイス１０２Ａの組付け角度に応じた歪みを伴って読み取られる。

図２（Ｂ）に示す円２０８は、原稿２０３上の頂点がセンサデバイス１０２Ａ上に現れた際に、センサデバイス１０２Ａが傾いていなかったとしたら読み取られた場所にマッピングするための補助線である。図２（Ｂ）の左上の円２０８は、原稿２０３の左上の角が、傾いて組付けられたセンサデバイス１０２Ａ上に現れた時を示している。
画像処理ハードウェアモジュール１０３は、センサデバイス１０２Ａの傾きがないものとして画像処理をする。そのため、図２（Ｂ）の場合、センサデバイス１０２Ａは、原稿給紙方向Ｆに垂直な本来の組付け状態を示す線２０９上にあるかのように原稿２０３を読取ることになる。

その結果、原稿２０３の左上角は、本来の場所ではなく、センサデバイス１０２Ａの左端（厳密にはセンサデバイスのスキャン方向が左から右へ向いている場合の読取画像原点）からみて、線２０９上の等距離の位置にあるように読み取られる。この読取画像は、第１の記憶手段（画像メモリ）１０４に蓄積される。
同様のことが原稿２０３の全ての点において起きる。つまり、斜めに組付けられたセンサデバイス１０２Ａに対して、斜行して通紙される原稿２０３の長方形の形状並びに原稿２０３上の罫線２０３ａ、２０３ｂは、図２（Ｄ）の太線２０７、２０７ａ、２０７ｂに示すように歪んで読み取られることになる。

図３は上記したようにデバイス組付け角度がずれているセンサデバイス１０２Ａ〜１０２Ｄ（センサデバイス群１０２）により、１つの格子状の原稿３０２を読み取った場合に得られる読取画像（歪みを有する画像）の例を示す。図３では、センサデバイス１０２Ａ〜１０２Ｄ毎に組付け角度が異なっている。４つのセンサデバイス１０２Ａ〜１０２Ｄによりそれぞれ得られる読取画像３０３Ａ〜３０３Ｄは、各センサデバイスの傾きに応じて個別の歪みを持つので、図３に示すように別々の角度・歪みで読み取られた読取画像３０３Ａ〜３０３Ｄとなる。つまり、原稿３０２は本来１つの画像であるが、読み取りを行うことにより４つの不連続な（うまく繋がらない）読取画像ができてしまう。

本実施形態では、１つの原稿を４つのセンサデバイスで読み取ったとしても、１つの読取画像（４つの連続する読取画像）ができるようにする。例えばこの格子状のグリッドの各交点の位置を、原稿の読取画像から抽出する。原稿は、例えば、キャリブレーションシートである。そして、抽出した交点位置（座標）と予め記憶されている登録原稿画像（本来のキャリブレーションシートの画像）上にある格子状の交点位置との比較を行う。交点として、多くの抽出点（例えば、１００以上の抽出点）を使用する。多くの抽出点について比較を行って統計処理を実行する。この統計処理により座標変換係数を求め、座標変換係数を用いて、原稿の斜行角度とセンサデバイスの組付け角度とを同時に求める（１つの処理プロセスで求める）。
なお上記の記載では格子の例を説明したが、法則性が一定であれば格子に限らず、周囲の点との位置関係に特定の法則がある他のパターンでもよい。
（座標変換係数）
式１および式２は、本実施形態における歪み計算で用いる変換式を示す。式１および式２に基づいて、原稿斜行およびセンサデバイス組付け角度の座標変換式における補正係数の分離も説明する。

本実施形態では、各センサデバイス１０２Ａ〜１０２Ｄを直線と仮定し、原稿斜行に関しても時間的に角度の変わらない一定角度の斜行で読取りが行われると仮定する。そのため、本実施形態で検知対象となる歪みは、１次の（線形の）座標回転変換の組合せ（合成）となる。
実際に、大判のスキャナにおいてセンサデバイスユニット（センサデバイス群）を複数のセンサデバイスに分割することで、センサデバイス個々の曲がりは無視できるほどに小さくなると仮定することができる。この仮定は、従来の単一センサデバイスを備えるスキャナ（大判でないスキャナ）によりＡ３以下の原稿をスキャンする場合も、実用的に採用できる仮定である。

また、原稿斜行に関しても、用紙（原稿）ピックアップや用紙端をセットする際のユーザによって原稿が斜めに挿入される量に比べ、原稿を印刷部に通紙する紙送りでの原稿斜行の量は圧倒的に小さいことが知られている。従って、原稿斜行の角度が時系列的に変化する非線形な座標変換項は、実用的なレベルにおいて無視可能である。
このような１次の座標回転変換の合成は、式１に示した１次座標変換式によって表すことができる。なお、本実施形態においては、センサデバイスの組付け角度と原稿斜行角度の取得を主に説明するため、１次変換マトリクスに対してオフセットベクトルを加算する定数項は省略している。式１の左辺は、センサデバイスが傾いていない場合のＸＹ座標であり、右辺のｘｙは傾いているセンサデバイスにより読み取られた画像のｘｙ座標である。α、β、γおよびδは係数部分（座標変換係数）である。

式１の係数部分は、原稿斜行による座標回転の変換マトリクスと、デバイス組付け角度による座標回転の変換マトリクスの乗算によって構成されている。従って、式１の係数部分は、式２に示すような二つの変換マトリクスを直列に配置した式に置換することが可能である。
この際、斜行についての補正項（斜行補正項）は、原稿全体が回転することから通常の独立な４項を持つマトリクスとなる。そして、センサデバイスの組付け角度についての補正項（デバイス組付け角度補正項）は、原稿の通紙方向すなわち副走査方向に関しては回転せずに直線運動となるため入力座標のｙにかかる項は０と１になる。つまりｙにかかる項は簡素化できる。式２のｃ、０、ｄ、１のマトリクスは、センサデバイスの組付け補正係数のマトリクスである。
さらに、公知の座標回転の公式より、斜行についての補正の係数（斜行補正係数）は、cosθ、-sinθ、sinθ、cosθであることから、絶対値としては２つの値（ａとｂ）しか取らない。よって、斜行補正係数は、式２に示すように、ａ、−ｂ、ｂ、ａという形で表現できる。式２から分るように、斜行補正係数（ａ、−ｂ、ｂ、ａ）と組付け補正係数（ｃ、０、ｄ、１）とは分離されている。

式１の係数α、β、γおよびδは次のようにして求める。本実施形態ではまず、後述する補正係数算出処理（図４）に従い、特定パターンを印刷したキャリブレーションシート（図５）を任意の斜行角度で投入し、任意の角度で傾いているセンサデバイス１０２Ａ〜１０２Ｄで読み取る。そして、各センサデバイス１０２Ａ〜１０２Ｄにより読み取られた読取画像上から、複数の特徴点の座標群を抽出する。各センサデバイスについて、この座標群の座標のそれぞれに対して式１の変換を施した結果と、対応する予め記録された正しい座標位置との誤差が最小になるように統計処理を行う。この統計処理では、例えば自乗誤差最小法を使用する。そして、式１により係数α、β、γおよびδを推定（算出）する。正しい座標（位置）は、例えば、第１の記憶手段１０４に記憶されている。正しい座標（位置）は、登録原稿画像の特徴点の座標（位置）である。

本実施形態では、原稿（キャリブレーションシート）に歪み・たわみ等がないと仮定して、センサデバイス１０２Ａの斜行補正係数ａ、ｂを全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数として使用する。
式２における斜行補正係数ａ、−ｂ、ｂ、ａとデバイス組付け補正係数ｃ、０、ｄ、１とから、α、β、γおよびδは下記の式３のようになる。
α＝ａｃ−ｂｄ
β＝−ｂ
γ＝ｂｃ＋ａｄ
δ=ａ （式３）
このように求められたγ、δより、ｂ、ａを求めることができる。そして、ｃ、ｄはα、β、ａ、ｂから求めることができる。
上記のような簡単で自明な式３を用いると、抽出された複数の特徴点と、当該特徴点の各々に対応する予め記憶された目標座標（登録座標）との統計処理の後、上記の計算を行うことによって、原稿の斜行角度とセンサデバイスの組付け角度が一意に求められる。このように、本実施形態では、原稿画像の斜行角度と各センサデバイスの組付け角度が同時に取得される。

（補正係数の算出処理）
図４は、本実施形態における補正係数算出処理の手順を示すフローチャートである。図４のフローチャートの各処理は、ＣＰＵ１０１が第２の記憶手段１０５から所定のプログラムを読み出して実行することにより行うことができる。以下の記載においては、ＣＰＵ１０１の制御の下、図１に示した、センサデバイス群１０２、画像処理ハードウェアモジュール１０３および第１の記憶手段１０４が各処理を行う場合を説明する。

Ｓ４１において、画像処理ハードウェアモジュール１０３は、補正係数算出処理を開始する。Ｓ４２において、センサデバイス群１０２は原稿の読み取りを行う。
Ｓ４３において、画像処理ハードウェアモジュール１０３は、読み取られた画像上から複数の特徴点の抽出を行う。
Ｓ４４において、画像処理ハードウェアモジュール１０３は、予め第１の記憶手段１０４に記録（登録）されている登録原稿画像の特徴点の位置座標と、読取画像から抽出した特徴点の位置座標との対応を取る。第１の記憶手段１０４に登録されている特徴点の位置座標と、抽出した特徴点の位置座標との対応を取ることにより、予め登録された登録原稿画像の複数の特徴点の座標と、抽出した原稿画像の複数の特徴点の座標との座標対応関係を取得することができる。

Ｓ４５において、画像処理ハードウェアモジュール１０３は、予め登録されている特徴点と抽出した全ての特徴点との対に対して統計処理を行い、座標変換係数α、β、γ、δを推定することにより、座標変換係数α、β、γ、δを求める。換言すると、画像処理ハードウェアモジュール１０３は、登録されている複数の特徴点と抽出した複数の特徴点との差異に基づいて、座標変換係数α、β、γ、δを推定し、座標変換係数α、β、γ、δを求める。
Ｓ４６において、画像処理ハードウェアモジュール１０３は、式１および式２で説明した方法により、斜行補正係数ａ、ｂ並びにデバイス組付け角度補正係数ｃ、ｄを求める。
Ｓ４７において、第１の記憶手段１０４は、各補正係数を記録（記憶）する。
Ｓ４８において、ＣＰＵ１０１は、補正係数算出処理を終了する。

（キャリブレーションシート）
図５は、キャリブレーションシートの原稿画像（キャリブレーション画像）５００の例を示す。
図５（Ａ）は、キャリブレーション画像５００中に、格子状に配置された点５０１の上面図である。キャリブレーション画像５００の上に、複数の点（ドット）５０１を、予め定めた特定の間隔に規則正しく配置している。このように点５０１を配置することにより、目標となる座標値の保持が簡便となる。図５（Ａ）に示すように、キャリブレーション画像５００の水平方向および垂直方向に点５０１が整然と並べられた場合、目標となる座標位置は、水平方向の点５０１の間隔と垂直方向の点５０１の間隔の係数により計算で求められる。従って、予め記録しておく座標点のデータ量は、非常に少ないデータ量となる。
原稿画像の斜行角度やセンサデバイスの組付け角度を求める際には、点５０１同士の相対的な位置関係のみが必要である。したがって、特に最初の点（例えば左上の点）５０１がキャリブレーションシートの紙面上の絶対位置でどこにあるかを記録しておく必要は必ずしもない。

（特徴点の抽出）
図５（Ｂ）は、抽出された特徴点５０２の拡大図である。特徴点５０２は中心点５０３を有する。
中心点５０３を推定するのに用いられる手法を説明する。最初に、特徴点として使用する所定エリアを、読取解像度に対して優位に大きい特徴点５０２とする。大きな特徴点５０２を使用することによって、濃度重心を取るなどの比較的簡便な方法によって読み取り時のボケや位相差などを補正し、特徴点５０２の中心点５０３を推定することができる。中心点５０３が特徴点５０２の座標となる。

ただし、この手法は、特徴点５０２の形状やセンサデバイスの光学的な歪みの影響を推定によって除去しようとするものであり、中心点５０３の位置（座標）が高精度に求められることを保証できるものではない。一般的には、この手法で求めた中心点５０３の位置は、誤差を含むことを前提としている。
特にセンサデバイスの組付け角度が設定角度からずれている場合、特徴点５０２の形状および特徴点５０２の読取位置は、ある一定の水平・垂直座標上に整然と並ばないため、読取解像度の整数位置に乗らず、小数点以下の位置ずれが発生する。さらに原稿の斜行が加わることによって、さまざまな位置ずれが生じる。このため、読取位置のずれも、上記読取におけるボケや位相差に加わり、その結果、各特徴点５０２の中心点５０３の測定（推定）に誤差が含まれてしまう（加算される）ことが前提となる。

本実施形態では、こうしたドット中心点の推定誤差がランダムに発生することを前提とし、図４のＳ４３において、複数の特徴点を抽出している。例えば、Ｓ４３において、１００以上の特徴点を抽出する。複数の（所定数の）特徴点を抽出することは本実施形態の特徴の１つであるので、特許文献１と比較して説明する。特許文献１は、特徴点として抽出した各点の位置関係を用いているが、個々の特徴点の観測における位置抽出誤差に関して補正する技術を開示していない。これに対して、本実施形態では、例えば１００以上の特徴点を抽出し、各特徴点の位置抽出に含まれるランダムな誤差を、複数の目標点との比較における自乗誤差の総和の最小を求めるという統計手法によって相殺するという構成を取っている。特徴点を多く配置するほど（特徴点を多く抽出するほど）、特徴点（またはその中心点）の位置の計測誤差を含めた誤差の影響を小さくし、精度を高くすることが可能となる。
なお、図５の斜線５０４はセンサデバイスの組付け角度以外の位置ずれを検出する際に用いるキャリブレーション画像である。このキャリブレーション画像（斜線５０４）については図６に基づいて後述する。

（位置ずれの検出と補正）
本実施形態の画像処理装置１００は、原稿の斜行角度やセンサデバイスの組付け角度を検出（取得）することができると共に、位置ずれを検出することもできる。位置ずれとは、読取画像の水平方向（主走査方向）および垂直方向（副走査方向）のずれ（正しい位置からの乖離）である。
図６は、原稿の斜行角度やセンサデバイスの組付け角度以外の位置ずれを検出する検出方法の一例を示す。検出した位置ずれに基づいて、位置ずれの補正を行うことができる。図６の状態になる前に、原稿画像の回転方向の補正（原稿斜行角度とセンサデバイス組付け角度を用いた補正）は終わっているとする。

センサデバイス自体の主走査方向の位置ずれと副走査方向の位置ずれの検出・補正については、同じ領域を重ねて読むようにセンサデバイスの配置を互いにオーバーラップさせ配置しておく等の手法を用いる。同じ領域を重ねて読むようにセンサデバイスを互いにオーバーラップ配置し、同じ画像を読み取った部分を比較することによって、センサデバイスの互いの位置関係を求めることができる。本実施形態においては、特に大判スキャナにおいて問題となるセンサデバイスの組付け角度を補正した後に、位置ずれを補正する。

図６（Ａ）には、本実施形態の画像処理装置１００の４つのセンサデバイス１０２Ａ、１０２Ｂ、１０２Ｃおよび１０２Ｄが示されている。この画像処理装置１００は、大判スキャナを構成する。４つのセンサデバイス１０２Ａ〜１０２Ｄはそれぞれ異なる組付け角度で配置されている。また、４つのセンサデバイス１０２Ａ〜１０２Ｄは、主走査方向にそれぞれ隣接するセンサデバイスに重ねられて配置されている。図６（Ａ）では、一番左のセンサデバイス１０２Ａが隣のセンサデバイス１０２Ｂに主走査方向において重ねられており、その結果、センサデバイス１０２Ａとセンサデバイス１０２Ｂとの間にオーバーラップ領域６０２が形成されている。なお、図６（Ａ）においては、センサデバイス１０２Ｂと１０２Ｃのオーバーラップ領域と、センサデバイス１０２Ｃと１０２Ｄのオーバーラップ領域の図示は省略した。このように配置されたセンサデバイス１０２Ａ〜１０２Ｄにより、原稿６０１を読み取る。

図６（Ｂ）は、オーバーラップさせたセンサデバイス１０２Ａと１０２Ｂで読み取った画像を読取画像６０３ａと読取画像６０３ｂとして示している。図６（Ｂ）より明らかなように、読取画像６０３ａの右端にはセンサデバイス１０２Ａで読み取ったオーバーラップ領域６０２の画像が現れ、読取画像６０３ｂの左端には、センサデバイス１０２Ｂで読み取ったオーバーラップ領域６０２の画像が現れる。図６（Ｂ）の矢印６０４ａは、読取画像６０３ａが本来位置すべき水平方向（左右方向）の位置を示している。また、符号６０５は読取画像６０３ｂに対する読取画像６０３ａの垂直方向（上下方向）のずれを示している。

本実施形態では、読取画像６０３ａが読取画像６０３ｂに対して、少し右方向にずれており且つ下方向にもずれているとする。このずれを補正するために、読取画像６０３ｂに対して読取画像６０３ａを左方向且つ上方向に移動させながら、読取画像６０３ａのオーバーラップ領域６０２の画像と読取画像６０３ｂのオーバーラップ領域６０２の画像との相関が最も高くなるようにする。

図６（Ｃ）は、読取画像６０３ａのオーバーラップ領域６０２の画像と読取画像６０３ｂのオーバーラップ領域６０２の画像との相関が最も高くなったときの読取画像６０３ａの水平方向移動量６０４と垂直方向移動量６０５とを示す。相関が最も高くなる読取画像６０３ａの位置は、破線６０３ａ１で示されている。水平方向移動量６０４と垂直方向移動量６０５とが、センサデバイス１０２Ａと１０２Ｂとの相対位置となる。なお、図６（Ｃ）では図示の都合上、読取画像の外枠のみを示している。
この技術は、任意の画像において適用可能であるが、オーバーラップ領域６０２内に主走査方向（水平方向）と副走査方向（垂直方向）の一方または両方に対して短い周期で繰り返すパターンがある場合は、誤った位置で相関が最大になってしまう。そのため、多くの場合、キャリブレーション画像などを読み取らせることで、正確な位置を算出する必要がある。

その際のキャリブレーション画像は、例えば図５（Ａ）に示すような１本の斜線５０４を用いる。斜線５０４を、図５（Ａ）に示すように回転角度を求めるための点５０１と共に、キャリブレーションシートに配置することにより、各センサデバイス１０２Ａ〜１０２Ｄの水平方向および垂直方向のずれを各センサデバイスについて求めることができる。
上記した方法によって、各センサデバイスの水平方向および垂直方向の相対位置関係を確認すれば、最も左端に配置されたセンサデバイス１０２Ａの原点のみを管理することで、全センサデバイス１０２Ａ〜１０２Ｄの絶対位置を把握することが可能となる。
従来、センサデバイス同士のオーバーラップ領域の判定を行う際には、センサデバイス毎に互いに異なる組付け角度が考慮されていなかった。そのため、図７に示すように回転かつ歪んで読み取られた読取画像７０１ａと７０１ｂを水平方向および垂直方向に移動させることによって相関を取ろうとしても、オーバーラップ領域の画像を完全に一致させることができない場合があった。従って、水平方向および垂直方向の位置検出の精度も低かった。

これに対して本実施形態ではセンサデバイス毎に互いに異なる組付け角度が考慮された補正を行う。すなわち、図７のように、センサデバイスの組付け角度歪みを含んだ読取画像７０１ａと７０１ｂに対して、まず、回転方向の補正(原稿の斜行角度とセンサデバイスの組付け角度を用いた補正)を行う。原稿の斜行角度とセンサデバイスの組付け角度の補正を行うことにより、読取画像７０１ａと７０１ｂは、図６（Ｂ）の読取画像６０３ａと６０３ｂのように正対するようになる。このような回転方向の補正を行った上で、読取画像６０３ａ（７０１ａ）と６０３ｂ（７０１ｂ）の水平方向および垂直方向のずれを検出することになる。そのため、センサデバイスの配置に関する検出精度も結果的に向上する。このように、本実施形態では、原稿画像データの回転方向の補正を行った後、原稿画像データの水平方向および垂直方向の補正を行う。この補正は、画像処理ハードウェアモジュール１０３が行う。

実施形態１によれば、複数のセンサデバイス１０２Ａ〜１０２Ｄを組付けて構成される画像処理装置１００において、センサデバイス１０２Ａ〜１０２Ｄの組付け精度が低くても、正しい画像読取を可能とする補正係数（式（２））を簡便に求めることができる。よって、画像処理装置（または画像処理装置を含んだ機器）の工場出荷チェックと、出荷先での実際の使用における画像処理装置の精度維持とを簡便に行うことができる。
所定パターンが印刷されたキャリブレーションシート５００をある程度の斜行を許容しつつ一度通紙するだけで、キャリブレーションシートの斜行角度を求めることができると共に、センサデバイス１０２Ａ〜１０２Ｄの個別の組付け角度を求めることができる。従って、画像処理装置１００を設置した後の運用時（実用段階）における画像処理装置の補正のための検知作業を簡素化することができる。また、工場出荷時のキャリブレーション作業時間を著しく短縮することが可能となる。

さらに、大判スキャナとして構成されていない個別のハンディスキャナ等を複数持ち寄って、一つの大判画像を読み取る場合や、大判スキャナとしての読取幅を拡張可能に構成したような画像処理装置においても、本実施形態を適用することができる。すなわち、読取画像内に基準となる特徴点を複数配置しておき、その本来の座標位置を予め記憶することが可能であれば、個別のスキャナそれぞれの組付け角度と原稿自体の斜行角度を一意に検出して補正することが可能となる。
なお、特徴点を印刷したものを読取原稿の先頭に付加しておくことで、原稿読み取りに際して一度の通紙で組付け角度補正と画像斜行補正の取得を実行することも可能となる。従って、センサデバイスの歪み等による読取画像の劣化を常に補正することが可能となる。

本実施形態の画像処理装置は大判スキャナとして説明したが、読み取る原稿のサイズは例えばＡ３を超える原稿に限定されない。複数のセンサデバイスを含む画像処理装置であれば、原稿のサイズは限定されない。また、特徴点の抽出数は１００以上に限定されない。
実施形態１の画像処理装置１００の構成は上記した構成に限定されない。例えば、センサデバイス１０２の数は４に限定されない。例えば、センサデバイス１０２の数は１でもよい。

（実施形態２）
本発明は上記した実施形態に限定されない。例えば、補正係数算出の手順は図４に示したものに限定されず、図８に示した補正係数算出処理を採用してもよい。以下、図８の補正係数算出処理を採用した場合を実施形態２として説明する。実施形態２で使用する画像処理装置は実施形態１の画像処理装置１００と同じであるとする。画像処理装置１００は４つのセンサデバイス１０２Ａ〜１０２Ｄを有するので、センサデバイス数は４である。
実施形態１では用紙に歪み・たわみ等がないという前提で、センサデバイス１０２Ａの斜行補正係数ａ、ｂを全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数として使用した。つまり、用紙の歪み・たわみ等がなければ、全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数は同一であるので、センサデバイス１０２Ａの斜行補正係数だけが取得できれば十分であるという前提に立っている。実施形態２では、用紙の歪み・たわみ等があることを想定している。用紙の歪み・たわみ等があると、全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数は同一にならない可能性がある。実施形態２では、このような用紙の歪み・たわみ等を考慮して、センサデバイスの斜行補正係数ａ、ｂを算出・決定している。

図８に基づいて実施形態２の補正係数の算出の仕方を説明する。
Ｓ８１において、画像処理ハードウェアモジュール１０３は、処理を開始する。Ｓ８２において、画像処理ハードウェアモジュール１０３は、センサデバイス番号を０に初期化する。
Ｓ８３において、センサデバイス１０２Ａ〜１０２Ｄは原稿の読み取りを行う。Ｓ８４において、画像処理ハードウェアモジュール１０３は、第１のセンサデバイス１０２Ａの読取画像から複数の特徴点を抽出する。第１のセンサデバイス１０２Ａのセンサデバイス番号は０である。
Ｓ８５において、画像処理ハードウェアモジュール１０３は、予め記録されている特徴点の位置座標と抽出された特徴点との対応を取る。
Ｓ８６において、画像処理ハードウェアモジュール１０３は、抽出された全ての特徴点と記録された特徴点との対に対して統計処理を行い、座標変換係数α、β、γおよびδを求める。

Ｓ８７において、画像処理ハードウェアモジュール１０３は、式１および式２を用いて、斜行補正係数ａ、ｂおよびデバイス組付け角度補正係数ｃ、ｄを求める。Ｓ８４からＳ８７の処理により、第１のセンサデバイス１０２Ａに関する補正係数を取得することができる。
Ｓ８８において、画像処理ハードウェアモジュール１０３は、センサデバイス番号をインクリメントする。現時点のセンサデバイス番号は０であるので、インクリメントされると、センサデバイス番号は１になる。
Ｓ８９において、画像処理ハードウェアモジュール１０３は、センサデバイス番号がセンサデバイス数未満であるかの判定をする。センサデバイス番号は１であり、センサデバイス数は４である。センサデバイス番号がセンサデバイス数未満であるので（Ｓ８９：Ｙｅｓ）、Ｓ８４に戻る。
Ｓ８４に戻ると、Ｓ８４からＳ８７までの処理を、第２のセンサデバイス１０２Ｂの読取画像に対して行う。これにより、センサデバイス１０２Ｂに関する補正係数を取得することができる。

Ｓ８８において、センサデバイス番号が１から２にインクリメントされる。Ｓ８９の判定はＹＥＳであるので、Ｓ８４に戻る。そして、Ｓ８４からＳ８７までの処理を、第３のセンサデバイス１０２Ｃの読取画像に対して行う。これにより、センサデバイス１０２Ｃに関する補正係数を取得することができる。
Ｓ８８において、センサデバイス番号が２から３にインクリメントされる。Ｓ８９の判定はＹＥＳであるので、Ｓ８４に戻る。その後、Ｓ８４からＳ８７までの処理を、第４のセンサデバイス１０２Ｄの読取画像に対して行う。これにより、センサデバイス１０２Ｄに関する補正係数を取得することができる。

センサデバイス１０２Ｄに関する補正係数を取得すると、Ｓ８８においてデバイス番号が４となる。従って、Ｓ８９の判定がＮＯになる。Ｓ８９の判定がＮＯになったならば、Ｓ９０に進む。
Ｓ９０において、画像処理ハードウェアモジュール１０３は、全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数ａ、ｂを比較する。用紙の歪み・たわみ等がない場合、原稿の斜行角度は全てのセンサデバイス１０２Ａ〜１０２Ｄにおいて同一である。従って、用紙の歪み・たわみ等がない場合、全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数ａ、ｂは同一になる。用紙の歪み・たわみ等があれば、全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数は同一でなくなる。

全センサデバイス１０２Ａ〜１０２Ｄの斜行補正係数ａ、ｂが同一でない場合には、Ｓ９１において、画像処理ハードウェアモジュール１０３は、斜行補正係数を修正する。斜行補正係数の修正は、例えば次の３つの方法（１）〜（３）のいずれかで行う。（１）全てのセンサデバイス１０２Ａ〜１０２Ｄにおいて算出された斜行補正係数の平均値で置き換える方法。（２）全てのセンサデバイス１０２Ａ〜１０２Ｄにおいて算出された斜行補正係数の中央値で置き換える方法。（３）最もバラツキの多いものを除外した上で、算出された斜行補正係数の平均値で置き換える方法。（１）〜（３）の方法で求めた平均値および中央値は、代表値と称することができる。つまり、斜行補正係数の修正は、上記したような代表値の決定方法（抽出方法）により行うことができる。

Ｓ９２において、画像処理ハードウェアモジュール１０３は、Ｓ９１で代表値を決める際に、極度に不正な斜行補正係数が発見されたか判定する。極度に不正な斜行補正係数が発見された場合、Ｓ８２へ戻って再度、補正係数の取得を行う。極度に不正な斜行補正係数が発見されなかった場合、Ｓ９３に進む。
Ｓ９３において、比較・修正ステップを経た（Ｓ９０およびＳ９１を経た）斜行補正係数を元に、デバイス組付け補正係数ｃ、ｄを再計算する。この際、式１および式２のβとδの値をＳ９１で算出した代表値に置き換えて再計算し、デバイス組付け補正係数ｃ、ｄを再算出する。つまり、修正された原稿画像の斜行角度を用いて、複数のセンサデバイスの組付け角度を修正している。
Ｓ９４において、画像処理ハードウェアモジュール１０３は、算出された補正係数を第１の記憶手段１０４に記録（保存）する。
Ｓ９５において、ＣＰＵ１０１は、補正係数算出処理を終了する。

以上説明したように、実施形態２によれば、用紙の歪み・たわみ等を考慮して、センサデバイスの斜行補正係数ａ、ｂを算出しているので、より精度の高い斜行補正係数ａ、ｂを算出することができる。実施形態２においても、複数のセンサデバイス１０２Ａ〜１０２Ｄを組付けて構成される画像処理装置１００において、センサデバイス１０２Ａ〜１０２Ｄの組付け精度が低くても、正しい画像読取を可能とする補正係数を簡便に求めることができる。
なお、実施形態２における斜行補正係数ａ、ｂの算出手順は図８に示されたステップの順序に限定されない。例えば、図８のＳ８２とＳ８３の順序は入れ替えてもよい。

（他の実施形態）
本発明は、上述した実施形態の機能（例えば、上記のフローチャートにより示されるステップ）を実現するソフトウェアのプログラムコードを記録した記録媒体を、画像処理装置に接続されたシステム或いは画像処理装置に供給することによっても実現できる。この場合、そのシステム或いは画像処理装置のコンピュータ（ＣＰＵやＭＰＵなど）が、コンピュータが読み取り可能に記録媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施形態の機能を実現する。また、プログラムは、１つのコンピュータで実行させてもよいし、複数のコンピュータを連動させて実行させてもよい。

１０１…ＣＰＵ、１０２ａ〜１０２ｄ…センサデバイス、１０３…画像処理ハードウェアモジュール、１０４…第１の記憶手段

Claims (9)

1. 原稿画像の画像データを取得する画像取得手段と、
   取得した原稿画像の画像データから、前記原稿画像の複数の特徴点を抽出する抽出手段と、
   予め登録された登録原稿画像の複数の特徴点の座標と、抽出した前記原稿画像の複数の特徴点の座標とを対応付ける対応付け手段と、
   対応付けされた前記登録原稿画像の複数の特徴点の座標と前記原稿画像の複数の特徴点の座標との間の座標対応関係を取得する対応関係取得手段と、
   取得した前記座標対応関係を用いて、所定方向に対する前記原稿画像の斜行角度を取得すると共に、所定の組付け方向に対する前記画像取得手段の組付け角度を取得する角度取得手段と、
   を備え、
   前記座標対応関係は座標変換係数であり、前記対応関係取得手段は、前記原稿画像の斜行角度についての座標変換係数と、前記画像取得手段の組付け角度についての座標変換係数とを分離して取得することを特徴とする画像処理装置。
2. 前記対応関係取得手段は、前記登録原稿画像の複数の特徴点と前記原稿画像の複数の特徴点の座標とに統計処理を行い、当該統計処理の結果に基づいて、前記座標対応関係を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得手段は複数の画像取得デバイスを含み、
   前記角度取得手段は、前記複数の画像取得デバイスの各々について、前記座標変換係数を用いて、前記原稿画像の斜行角度を取得するための補正係数を取得し、当該補正係数同士を比較し、当該比較の結果に基づいて、各補正係数を修正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記角度取得手段は、修正された前記補正係数を用いて、前記複数の画像取得デバイスの各々の組付け角度を修正することを特徴とする請求項３に記載の画像処理装置。
5. 前記原稿画像の斜行角度および前記画像取得手段の組付け角度に基づいて、前記画像データの回転方向の補正を行う手段と、
   前記回転方向の補正を行った後、前記画像データの水平方向および垂直方向の位置補正を行う手段と、
   をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記角度取得手段は、前記原稿画像の斜行角度と、前記画像取得手段の組付け角度とを同時に取得することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記画像取得手段は、格子状に配置されたドットパターンと斜線とを有するキャリブレーションシートから前記画像データを取得することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 画像取得手段、抽出手段、対応付け手段、対応関係取得手段および角度取得手段を備える装置を用いる画像処理方法であって、
   前記画像取得手段により、原稿画像の画像データを取得するステップと、
   前記抽出手段により、取得した原稿画像の画像データから、前記原稿画像の複数の特徴点を抽出するステップと、
   前記対応付け手段により、予め登録された登録原稿画像の複数の特徴点の座標と、抽出した前記原稿画像の複数の特徴点の座標とを対応付けるステップと、
   前記対応関係取得手段により、対応付けされた前記登録原稿画像の複数の特徴点の座標と前記原稿画像の複数の特徴点の座標との間の座標対応関係を取得するステップと、
   前記角度取得手段により、取得した前記座標対応関係を用いて、所定方向に対する前記原稿画像の斜行角度を取得すると共に、所定の組付け方向に対する前記画像取得手段の組付け角度を取得するステップと、を有し、
   前記座標対応関係は座標変換係数であり、前記座標対応関係を取得するステップでは、前記原稿画像の斜行角度についての座標変換係数と、前記画像取得手段の組付け角度についての座標変換係数とを分離して取得することを特徴とする画像処理方法。
9. コンピュータが読み取り実行することで、前記コンピュータを、請求項１〜７のいずれか１項に記載された画像処理装置の手段として機能させるためのプログラム。

Images