JP5495710B2 - 画像結合装置及び画像結合位置算出方法 - Google Patents

Description

本発明は、主走査方向において取得された複数の画像を結合する技術に関する。

一般に、ディジタル複写機、イメージスキャナ、及び、ファクシミリ装置等に適用される画像入出力システムでは、その入力手段、例えば、一次元撮像素子（ラインセンサ）を原稿の読み取り方向に移動させるか、又は、読み取られる原稿をラインセンサに対して移動させて、１ラインごとに画像を読み取ることが良く知られている。また、ラインセンサに平行な方向を主走査方向、ラインセンサに対して垂直な方向（原稿又はラインセンサの移動方向）を副走査方向と呼ぶ。

このような画像入出力システムでラインセンサとして用いられるＣＣＤセンサ又はＣＭＯＳセンサは、半導体集積技術における製造上の問題から通常６インチ又は８インチウェハで生産されるため、Ａ３サイズ以上の原稿を読み取ることができる長尺のラインセンサを製造することは困難である。

そのため、従来は、必要とする長さより短い短尺のラインセンサを複数、ライン上に配置したものを、一つの長尺ラインセンサとして用い、原稿の１ライン分をそれぞれ短尺のラインセンサで分割して読み取るとともに、複数のラインセンサで読み取られた画像間において欠落する箇所には画素補間処理を行うことで、欠落する箇所の画像を補っていた。

しかしながら、このような画素補間処理では欠落した箇所の画像として十分な精度の画像を得ることができない。そのため、特許文献１では、読み取り時に原稿内の画像データが欠落しないように、複数の短尺のラインセンサを千鳥状に配置し、原稿の１ラインの領域の画像情報を異なった時間で各々の分割領域として読み取るとともに、各分割領域の境界付近の画像データを数画素分重複して読み取り、隣接する２つの短尺のラインセンサで読み取る画像の端部が主走査方向に数画素分重なるように構成した入力手段に関する技術が開示されている。そして、特許文献１に記載の技術では、千鳥状に配置された短尺のラインセンサに副走査方向のギャップがあるため、このようなギャップにより短尺のラインセンサで読み取られる画像には空間的なズレが生ずる。このため、特許文献１に記載の技術では、各々の短尺のラインセンサで読み取られた画像を結合する際に、固定のズレ量（ギャップ）Δｘを予め定めておき、メモリを用いた遅延によりそのズレ量Δｘを補正して結合を行う。

特許文献２には、複数の画像を合成して１枚の画像を生成する技術が開示されている。例えば、特許文献２に記載された技術では、第１段階で合成する２つの画像の縮小画像を用いて、２つの画像の接合位置関係（回転角度、及び、鏡像反転の有無、の少なくともいずれか一方）を特定し、大まかな重なり領域を検出する。第２段階では、特定された重なり領域を複数の矩形領域に分割し、精度を上げて正確な重なり位置、傾き等を検出する。第３段階で、第１段階、第２段階の処理結果を用いて、２つの画像を結合する。

特許第２９８２０３２号公報（図８、図１２、段落００３８） 特開２００２−３０５６４７号公報（図１、要約）

特許文献１に記載の技術では、装置の構造上の問題等により、原稿の読み取り中にズレ量が増減したり、短尺のラインセンサで読み取られる画像のズレ量が最初に定めたズレ量Δｘと異なる値に変化したりすると、そのズレ量の変化分だけ画像結合後の画質に影響を与える。

特許文献２に記載の技術では、画像のズレが原稿の読み取り位置により異なる場合でも画像を補正し適切に結合できるが、第１段階で用いる領域すべてを走査して読み取りを完了してから画像処理を開始するため、結合位置検出に用いる領域すべての読み取りを完了しないと画像接合処理に移れない。また、Ａ４サイズやＡ３サイズの原稿の幅に相当する数のラインセンサを一列に並べて同時に走査する装置においては、膨大な処理時間が必要になる。

そこで、本発明は、画像信号処理によって複数の画像の結合を高速かつ高精度に行うことを目的とする。

以上の課題を解決するため、本発明は、第１の画像を取得する第１の撮像手段と、主走査方向において、前記第１の画像の次に隣接する第２の画像を取得する第２の撮像手段と、副走査方向に並ぶ複数の走査ラインにおいて、前記第１の撮像手段で撮像された前記第１の画像を複数有する第１の画像群、及び、前記第２の撮像手段で撮像された前記第２の画像を複数有する第２の画像群、を記憶する記憶手段と、前記第１の画像群に含まれる前記第１の画像と、前記第２の画像群に含まれる前記第２の画像と、を結合する結合位置を算出し、結合する制御手段と、を有し、前記制御手段は、前記第１の画像群において、前記結合位置が算出されていない、走査ラインにおける先頭位置の前記第１の画像から連続する複数の走査ラインで取得された複数の前記第１の画像からなるマッチング領域を設定する相関検出用領域設定手段と、前記第２の画像群において、前記結合位置が算出されていない、走査ラインにおける先頭ラインから、前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、互いにサイズの異なる複数の被マッチング領域を設定する被相関検出用領域設定手段と、前記マッチング領域と、複数の前記被マッチング領域の各々と、の組み合わせ毎に、前記被マッチング領域に含まれる画像の大きさが前記マッチング領域に含まれる画像の大きさと同じ場合には、前記マッチング領域に含まれる画像と、対応する被マッチング領域の画像とを画素毎に比較することで、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出し、前記被マッチング領域に含まれる画像の大きさが前記マッチング領域に含まれる画像の大きさとが異なる場合には、前記被マッチング領域に含まれる画像の大きさを、前記マッチング領域に含まれる画像の大きさと同じ大きさに変換してから、前記マッチング領域に含まれる画像と、対応する被マッチング領域の画像とを画素毎に比較することで、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する相関算出手段と、前記相関度を特定する値により、前記マッチング領域と最も相関度の高い前記被マッチング領域を選択し、前記マッチング領域に含まれる前記第１の画像を結合する、前記被マッチング領域に含まれる画像の副走査方向における位置を、前記結合位置として特定する結合位置特定手段と、を備えることを特徴とする。

以上のように、本発明によれば、複数の画像の結合を高速かつ高精度に行う画像合成装置を提供することができる。

実施の形態１に係る画像読取装置の概略図。 実施の形態１において、複数に分割された画像を一枚の画像に結合する例を示す概略図。 実施の形態１において、結合する画像位置が副走査方向にずれた画像が得られた際に、複数に分割された画像を一枚の画像に結合する例を示す概略図。 実施の形態１において、副走査方向に画像のズレが生じる原理を説明する概略図。 実施の形態１の画像結合装置の機能構成を示す機能ブロック図。 実施の形態１の結合位置情報テーブルの概略図。 実施の形態１において、Ｎ画像群に対して設定するマッチング領域の一例を示す概略図。 実施の形態１において、画像群に対して設定する被マッチング領域の一例を示す概略図。 （ａ）及び（ｂ）は、実施の形態１において、マッチング領域と同じ大きさの被マッチング領域に、注目ラインを結合する画像位置を特定する際の処理を説明する概略図。 （ａ）〜（ｃ）は、実施の形態１において、マッチング領域よりも大きさの小さい被マッチング領域に、注目ラインを結合する画像位置を特定する際の処理を説明する概略図。 （ａ）〜（ｃ）は、実施の形態１において、マッチング領域よりも大きさの大きい被マッチング領域に、注目ラインを結合する画像位置を特定する際の処理を説明する概略図。 （ａ）及び（ｂ）は、実施の形態１において、保留ラインを有するマッチング領域と同じ大きさの被マッチング領域に、保留ライン及び注目ラインを結合する画像位置を特定する際の処理を説明する概略図。 （ａ）〜（ｃ）は、実施の形態１において、保留ラインを含むマッチング領域よりも大きさの小さい被マッチング領域に、保留ライン及び注目ラインを結合する画像位置を特定する際の処理を説明する概略図。 （ａ）〜（ｃ）は、実施の形態１において、保留ラインＳｌを含むマッチング領域Ｅｒよりも大きさの大きい被マッチング領域に、各々の保留ライン及び注目ラインを結合する画像位置を特定する際の処理を説明する概略図。 実施の形態１における画像処理を示すフローチャート（その１）。 実施の形態１における画像処理を示すフローチャート（その２）。 実施の形態１の変形例における結像光学系要素と主要光路を示した概略斜視図。 実施の形態１の変形例に並ぶ２つのセルの結像光学系要素と主要光路を示した概略断面図。

実施の形態１．
図１は本発明の実施の形態１に係る画像読取装置１００の概略図である。図示するように、画像読取装置１００は、結像光学系１０１と、照明光源１０２と、天板１０３と、基板１０４上に配置された複数の撮像素子部１４１，１４２，１４３，１４４，１４５，１４６，１４７，１４８と、ラインメモリ１０５と、画像結合装置１０６と、を有する。

なお、図１は本実施の形態の画像結合装置１０６をディジタル複写機に適用した場合の例であり、複数の画像を結合することが必要な装置、例えば、ハンドスキャナ、ファクシミリ、パノラマ画像合成装置などにも適用できる。

以下においては、ＸＹＺ直交座標系を用いて説明を行う。画像の読み取りにおける主走査方向ＤｘをＸ軸とし、主走査方向Ｄｘに直交する副走査方向ＤｙをＹ軸とし、主走査方向Ｄｘ及び副走査方向Ｄｙの両方に直交する深度方向ＤｚをＺ軸とする。したがって、主走査方向Ｄｘは「Ｘ軸方向」とも言い、副走査方向Ｄｙは「Ｙ軸方向」とも言い、深度方向Ｄｚは「Ｚ軸方向」とも言う。また、以下の説明において、Ｚ軸方向は、画像読取装置１００の厚み方向である。

結像光学系１０１は、後述するように基板１０４上に千鳥状に配列された複数の短尺のラインセンサ１４１，１４２，・・・，１４８に対応する複数の結像光学部１１１，１１２，・・・，１１８を含む。

結像光学部１１１，１１２，・・・，１１８のそれぞれは、機能的に独立した光学手段である。複数の結像光学部１１１，１１２，・・・，１１８は、ＸＹ面に平行な面上で千鳥状（隣接する結像光学部が、Ｘ軸方向に所定の間隔離れた第１の位置と、Ｘ軸方向及びＹ軸方向に所定の間隔離れた第２の位置と、に並べられた状態）に配置されている円柱状の光学セルによって構成される（通常セルフォックレンズアレイと称されるものである）。

ここで、実施の形態１においては、複数の結像光学部１１１，１１２，・・・，１１８のうちの、主走査方向Ｄｘに並ぶ１列の結像光学部１１１，１１３，１１５，１１７を、第１の結像光学部群といい、主走査方向Ｄｘに並ぶ１列の結像光学部１１２，１１４，１１６，１１８を、第２の結像光学部群という。このように、複数のセルによって結像光学系を構成しているので装置を小型化することができる。

第１の結像光学部群１１１，１１３，１１５，１１７は、原稿の被撮像領域３１，３３，３５，３７から第１の結像光学部群１１１，１１３，１１５，１１７に向かう第１の光の主光線が互いに平行になるように構成されている。すなわち、第１の結像光学部群１１１，１１３，１１５，１１７は、結像光学部の光軸が互いに平行になるように構成されている。また、第２の結像光学部群１１２，１１４，１１６，１１８は、原稿の被撮像領域３２，３４，３６，３８から第２の結像光学部群１１２，１１４，１１６，１１８に向かう第２の光の主光線が互いに平行になるように構成されている。すなわち、第２の結像光学部群１１２，１１４，１１６，１１８は、結像光学部の光軸が互いに平行になるように構成されている。

なお、図１には、結像光学系１０１が、第１の結像光学部群１１１，１１３，１１５，１１７と第２の結像光学部群１１２，１１４，１１６，１１８からなる場合を説明したが、本発明はこのような態様に限定されず、副走査方向Ｄｙに結合光学部群が３列以上配置されるようにすることもできる。

基板１０４には、短尺のラインセンサ１４１，１４２，・・・，１４８が、結像光学部１１１，１１２，・・・，１１８に対応するように千鳥状に形成される。主走査方向Ｄｘに並ぶ１列の短尺のラインセンサ１４１，１４３，１４５，１４７は、第１の結像光学部群１１１，１１３，１１５，１１７に対応するように配置され、これらの１列の短尺のラインセンサ１４１，１４３，１４５，１４７を第１の撮像素子部群という。また、主走査方向Ｄｘに並ぶ１列の短尺のラインセンサ１４２，１４４，１４６，１４８は、第２の結像光学部群１１２，１１４，１１６，１１８に対応するように配置され、これらの１列の短尺のラインセンサ１４２，１４４，１４６，１４８を第２の撮像素子部群という。

なお、図１には、基板１０４に、第１の撮像素子部群１４１，１４３，１４５，１４７と、第２の撮像素子部群１４２，１４４，１４６，１４８と、が形成される場合を説明したが、このような態様に限定されず、基板１０４の副走査方向Ｄｙに、撮像素子部群が３列以上配置されるようにすることもできる。

照明光源１０２は、例えば、蛍光灯又はＬＥＤなどから構成される。照明光源１０２は、例えば、天板１０３の下方であって原稿の被撮像領域３１，３２，３３，３４，３５，３６，３７，３８の読み取りに支障が生じない位置に配置される。照明光源１０２は、原稿の被撮像領域３１，３２，・・・，３８に光を照射する。なお、照明光源１０２の形状は、図１に示されるような長尺形状に限定されず、他の形状であってもよい。また、図１には、照明光源１０２が、結像光学系１０１の副走査方向Ｄｙの一方の側にのみ配置されている場合を示したが、照明光源を結像光学系１０１の副走査方向Ｄｙの両側に配置してもよい。

天板１０３は、被撮像物（被写体）の一例である原稿（図１には図示せず）が載置される原稿載置部材であり、例えば、透明なガラス板で構成することができる。また、天板１０３は、原稿の深度方向Ｄｚの位置（すなわち、結像光学系１０１から原稿の被撮像領域までの距離）を決めることができる位置決め部として機能する。天板１０３には、原稿が、天板１０３の上面１０３ａの位置又はこの上面１０３ａから深度方向Ｄｚにずれた位置に載置される。実施の形態１においては、天板１０３の上面１０３ａを合焦位置としており、原稿の読み取り位置に存在する被撮像領域３１，３２，・・・，３８が合焦位置にあるときには、原稿の被撮像領域３１，３２，・・・，３８から結像光学系１０１を通してラインセンサ１４１，１４２，・・・，１４８に画像を結像する。

なお、天板１０３は、被撮像物の位置決め部として機能し、原稿の被撮像領域３１，３２，・・・，３８を撮像可能にできる構成であれば、ガラス板に限定されず、原稿を位置決めできる他の手段であってもよい。また、被撮像物には、文章、書画、写真などを表示した原稿の他に、紙幣、人間の指などのように、画像を読み取る対象となり得るすべてのものが含まれる。

図１において、被撮像領域３１，３２，・・・，３８は、原稿の天板１０３側の面であって、ラインセンサ１４１，１４２，・・・，１４８によって読み取られる領域（視野範囲）であり、主走査方向Ｄｘに並ぶ複数の領域である。ここで、被撮像領域３１，３２，・・・，３８は、主走査方向Ｄｘにおいて各々の領域の一部が重なり合うようにされている。

そして、画像読取装置１００は、主走査方向Ｄｘに沿って天板１０３上の原稿の被撮像領域３１，３２，・・・，３８の画像を読み取り、主走査方向Ｄｘの読み取りが完了する毎に、副走査方向Ｄｙに読み取り位置を相対的に移動させる。この副走査方向Ｄｙの読み取り位置の移動は、原稿の移動又は結像光学系１０１を含む画像読取装置２００の移動のいずれかによって行うことができる。

ラインメモリ１０５は、第１の撮像素子部群１４１，１４３，１４５，１４７及び第２の撮像素子部群１４２，１４４，１４６，１４８によって取得された画像情報を一時的に記憶する記憶部であり、主走査方向に読み取っていった披撮像領域３１，３２，・・・，３８を１ラインとして複数のラインを記憶保持する。

画像結合装置１０６は、ラインメモリ１０５に記憶された画像情報を結合することによって結合画像を生成する。図１には、ラインメモリ１０５と画像結合装置１０６とを別個の構成として示しているが、これらは、例えば、同じ回路基板上の一体的な構成であってもよい。

ここで、本実施の形態のように、短尺のラインセンサ１４１，１４２，・・・，１４８は、被撮影領域３１，３２，・・・，３８を分割して読み取っていくため、ラインセンサ１４１，１４２，…，１４８からは読み取り原稿が分割された複数の画像が出力される。例えば、図２に示すように、原稿が分割された画像が出力され、原稿の複写を行うにはこれら複数に画像を一枚の画像に結合しなければならない。

ここで、本実施の形態のように、第１の撮像素子部群１４１，１４３，１４５，１４７と、第２の撮像素子部群１４２，１４４，１４６，１４８と、を副走査方向Ｄｙにおいて、所定の間隔を離して配置し、第１の撮像素子部群１４１，１４３，１４５，１４７の光軸及び第２の撮像素子部群１４２，１４４，１４６，１４８の光軸が、ＹＺ平面に投影された場合に、合焦位置（本実施の形態においては、天板１０３の上面１０３ａ）において交差するようにした場合には、隣り合う画像の主走査方向Ｄｘの結合位置は一定だが、副走査方向Ｄｙの結合位置は原稿の位置（原稿と天板１０３の間の距離）に応じて変化する。

そのため、図３に示すように結合する画像位置が副走査方向Ｄｙにずれた画像が得られるため、隣接する２つの画像を結合するときには重ね合わせの位置を調整したうえで結合する必要がある。なお、一方において、このように画像が副走査方向Ｄｙにずれることにより得られる効果がある。副走査方向Ｄｙにずれている量が分かると、原稿と天板１０３の間の距離Δｚを求めることができる。天板１０３から原稿面までの距離Δｚを画像のぼやけ補正処理のパラメータとして使用することにより、ぼやけ具合に応じた適切な補正が行えるため、画質の改善が期待できる。

図４を用いて、副走査方向Ｄｙに画像のズレが生じる原理について更に詳しく説明する。図４では、画像読取装置１００が左から右に移動しながら、一部において天板１０３からΔｚ浮いている原稿７０を読み取る場合を例とする。

画像読取装置１００がＰ１及びＰ３の位置にあるときには、天板１０３の上面１０３ａと原稿７０とが接しているため、第１の撮像素子部群１４１，１４３，１４５，１４７と、第２の撮像素子部群１４２，１４４，１４６，１４８と、が読み取る画像にずれはない。一方、画像読取装置１００がＰ２の位置にあるときには、天板１０３の上面１０３ａと原稿７０とがΔｚの距離離れているため、第１の撮像素子部群１４１，１４３，１４５，１４７と、第２の撮像素子部群１４２，１４４，１４６，１４８と、が読み取る画像にはΔｙのズレがある。

図４のように合焦位置（合焦面）に対して間隔の開いている原稿７０を読み取ると、隣り合う画像のズレ量が原稿７０と合焦位置との間の距離Δｚに応じて変化する。特許文献１に記載の技術のように、予め固定のズレ量を定め、メモリを用いた遅延によりそのズレを補正しながら画像の結合を行うと、ズレ量（ここでは、原稿７０と合焦位置との間の距離）が変化すると画像が滑らかに繋がらない。よって、高精度な画像の結合を行うためには、隣接する２枚の画像が繋がる位置の検出と画像の拡大又は縮小が必要となる。

図５は、画像結合装置１０６の機能構成を示す機能ブロック図である。図示するように、画像結合装置１０６は、記憶部１６１と、制御部１６３と、を有する。

記憶部１６１は、結合位置情報記憶部１６２を有する。結合位置情報記憶部１６２には、各ラインセンサで撮像された各ラインにおける画像を、隣接するラインセンサで撮像された各ラインにおける画像と結合させる位置を特定する結合位置情報が記憶される。例えば、本実施の形態においては、図６に示すような結合位置情報テーブル１６２ａが記憶される。

図示するように、結合位置情報テーブル１６２ａは、画像群列１６２ｂと、ライン位置行１６２ｃと、結合位置格納領域１６２ｄと、を有する。

画像群列１６２ｂは、各ラインセンサ１４１，１４２，・・・，１４８で読み取られた画像を特定する。例えば、１画像群は、ラインセンサ１４１で撮像された画像を、２画像群は、ラインセンサ１４２で撮像された画像を、３画像群は、ラインセンサ１４３で撮像された画像を、４画像群は、ラインセンサ１４４で撮像された画像を、５画像群は、ラインセンサ１４５で撮像された画像を、６画像群は、ラインセンサ１４６で撮像された画像を、７画像群は、ラインセンサ１４７で撮像された画像を、示す。

ライン位置行１６２ｃは、画像を読み取る副走査方向Ｄｙにおける走査ラインの位置を特定する。例えば、１ライン目は、副走査方向Ｄｙにおける最初（先頭）の走査ラインを、２ライン目は、副走査方向Ｄｙにおける１ライン目の次の走査ラインを、３ライン目は、副走査方向Ｄｙにおける２ライン目の次の走査ラインを、４ライン目は、副走査方向Ｄｙにおける３ライン目の次の走査ラインを、示す。なお、ライン位置行１６２ｃには、画像を読み取る原稿等の対象に応じて定まる走査ラインの数の行が設けられる。また、必要最小限のライン数（本実施の形態の場合、ｈＭＡＸ（後述）＋１ライン）の行を設けて使いまわしてもよい。

結合位置格納領域１６２ｄには、ライン列行１６２ｃで特定される走査ラインにおいて、画像群列１６２ｂで特定される、ラインセンサ１４１，１４２，・・・，１４８で読み取られた画像群に含まれる画像を、当該画像と同じ走査ラインの主走査方向Ｄｘにおける次の画像群に含まれる画像に結合させる位置を特定する情報が格納される。なお、結合位置格納領域１６２ｄに格納される値は、後述する結合位置特定部１６８が算出するが、結合位置を特定できない場合には、保留ラインフラグとして空欄にされる。

例えば、本実施の形態においては、結合位置格納領域１６２ｄには、ライン列行１６２ｃで特定される走査ラインにおいて、画像群列１６２ｂで特定される、ラインセンサ１４１，１４２，・・・，１４８で読み取られた画像群に属する画像を、当該画像と同じ走査ラインの主走査方向Ｄｘにおける次の画像群に含まれる画像に結合させた際に、当該画像の、当該次の画像群に含まれる画像における副走査方向Ｄｙの結合到達位置を特定する情報が、結合させる位置を特定する情報として格納される。図６の例では、１画像群列の２ライン目行の欄に格納されている「１．９」の数値は、１画像群に含まれる２ライン目の画像と２画像群に含まれる画像とを結合させた際に、１画像群の画像は、２画像群の画像の２ライン目の画像の副走査方向Ｄｙにおける先頭から副走査方向Ｄｙにおける終端に向かって、０．９の割合の位置（画像２の２ライン目の画像を１０等分して、副走査方向Ｄｙの先頭から９つ目までの位置）にまで達することを示している。すなわち、結合位置格納領域１６２ｄに格納された数値のうち、整数部分は、走査ラインを示しており、少数部分は、整数部分で示される走査ラインの次の走査ラインで撮像された画像の副走査方向Ｄｙにおける先頭位置から結合する終端までの割合を示している。

図５に戻り、制御部１６３は、結合位置検出部１６４と、画像結合部１６９と、を有する。

結合位置検出部１６４は、ラインセンサ１４１，１４２，・・・，１４８で読み取られた各々の画像を、当該画像と同じ走査ラインの主走査方向Ｄｘにおける次の画像に結合させる位置を検出する。ここで、結合位置検出部１６４は、相関検出用領域設定部１６５と、被相関検出用領域設定部１６６と、相関算出部１６７と、結合位置特定部１６８と、を有する。

相関検出用領域設定部１６５は、各々のラインセンサ１４１，１４２，・・・，１４８により、一つ以上の走査ラインで読み取られた画像を含む画像の集合に対して、マッチング領域を設定する。

ここで、特定のラインセンサにおいて、一つ以上の走査ラインで読み取られた画像の集合をＮ画像群（Ｎは、各々の画像群を識別するために各々の画像群に割り振られたインデックスであって、本実施の形態においては、各々の画像群に対して、１から順に自然数が割り振られている）という。例えば、１画像群は、ラインセンサ１４１において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、２画像群は、ラインセンサ１４２において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、３画像群は、ラインセンサ１４３において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、４画像群は、ラインセンサ１４４において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、５画像群は、ラインセンサ１４５において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、６画像群は、ラインセンサ１４６において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、７画像群は、ラインセンサ１４７において、一つ以上の走査ラインで読み取られた画像を含む画像の集合であり、８画像群は、ラインセンサ１４８において、一つ以上の走査ラインで読み取られた画像を含む画像の集合である。

図７は、相関検出用領域設定部１６５がＮ画像群に対して設定するマッチング領域の一例を示す概略図である。ここで、図７において、上方から下方に向かって複数並べられている同一形状の矩形状のセルはＮ画像群に含まれる画像を示し、Ｎ画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。

そして、図７に示すように、相関検出用領域設定部１６５は、Ｎ画像群において、後述するような確定ライン又は保留ラインとはされていないラインのうち、先頭ラインを注目ラインＡｌとし、注目ラインＡｌと、注目ラインＡｌに続く予め設定された数ｎのラインからなる対象ラインＯｌと、保留ライン（図７では図示せず）と、をマッチング領域Ｍｒとする。ここで、保留ラインとは、そのラインが注目ラインとされたときに隣接する画像との結合位置が検出できず、結合位置の特定が保留されたラインのことを示す。また、確定ラインは、隣接する画像との結合位置が確定されたラインのことを示す。

また、相関検出用領域設定部１６５は、注目ラインＡｌと、注目ラインＡｌの一つ下のラインと、からなる２ラインをエッジ検出領域Ｅｒとする。また、Ｅｐは、エッジ検出位置を示す。

図７に示す例では、対象ラインＯｌを５ラインとしているが、対象ラインＯｌの数はこれに限定されるものではない。また、エッジ検出領域Ｅｒのラインの数も２ラインに限るものではない。

図５に戻り、被相関検出用領域設定部１６６は、相関検出用領域設定部１６５がマッチング領域を設定した画像群に含まれる画像に対して、主走査方向Ｄｘにおいて次に撮像される画像を含む画像群に対して複数の被マッチング領域を設定する。

例えば、被相関検出用領域設定部１６６は、後述するような被結合ラインとはされていない画像領域のうち、先頭ラインに含まれる画像領域から、マッチング領域と同じ大きさ（同じライン数）の領域を基準とし、さらに、領域の開始位置を固定した状態で領域の終了位置を−ｍラインから＋ｍラインのサイズまで変化させた、大きさの異なる複数の領域を被マッチング領域として設定する。なお、ｍは被マッチング領域生成係数であって、予め任意の自然数が設定されているものとする。また、領域の終了位置を−ｍラインから＋ｍラインのサイズまで変化させるさいの差分値についても予め設定されているものとする。ここで、被結合ラインとは、マッチング領域に含まれる注目ラインＡｌ（確定ライン）と結合することが確定した被マッチング領域の画像領域をいう。

図８は、被相関検出用領域設定部１６６が画像群に対して設定する被マッチング領域の一例を示す概略図である。ここで、図８において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。

そして、被相関検出用領域設定部１６６は、相関検出用領域設定部１６５が設定したマッチング領域が６ラインであり、被マッチング領域生成係数ｍが３に設定されているとすると、マッチング領域と同じ大きさの被マッチング領域Ｔｒ_０と、マッチング領域よりも１ライン大きな被マッチング領域Ｔｒ_１と、マッチング領域よりも２ライン大きな被マッチング領域Ｔｒ_２と、マッチング領域よりも３ライン大きな被マッチング領域Ｔｒ_３と、マッチング領域よりも１ライン小さな被マッチング領域Ｔｒ_−１と、マッチング領域よりも２ライン小さな被マッチング領域Ｔｒ_−２と、マッチング領域よりも３ライン小さな被マッチング領域Ｔｒ_−３と、を設定する。なお、ここでは、１ライン単位で大きさが変化する複数の被マッチング領域を設けたが、変化の単位はこれに限定されるものではなく、２ライン以上でも１ライン未満でもよい。

図５に戻り、相関算出部１６７は、相関検出用領域設定部１６５が設定したマッチング領域と、被相関検出用領域設定部１６６が設定した複数の被マッチング領域の各々と、の組み合わせ毎に、これらの間の相関度を特定する値を算出する。

例えば、相関算出部１６７は、相関検出用領域設定部１６５が設定したマッチング領域と、被相関検出用領域設定部１６６が設定した被マッチング領域と、の大きさが同じ場合には、マッチング領域に含まれるラインの画像と、マッチング領域に含まれるラインの位置に対応する被マッチング領域に含まれるラインの画像と、の差分値を算出して、すべてのラインの差分値を合計する。

また、相関算出部１６７は、相関検出用領域設定部１６５が設定したマッチング領域と、被相関検出用領域設定部１６６が設定した被マッチング領域と、の大きさが異なる場合には、検出用領域設定部１６６が設定した被マッチング領域の大きさを、相関検出用領域設定部１６５が設定したマッチング領域の大きさに合わせてから、相関検出用領域設定部１６５が設定したマッチング領域に含まれるラインの画像と、マッチング領域に含まれるラインの位置に対応する被マッチング領域に含まれる画像と、の差分値を算出して、すべてのラインの差分値を合計する。

なお、相関算出部１６７が算出する相関度を特定する値は、このような差分値に限定されず、例えば、上述のように同じ大きさである又は同じ大きさにされたマッチング領域のラインに含まれる画像の画素値と、マッチング領域のラインに対応する被マッチング領域の画像の画素値と、から相関係数を算出し、すべてのラインについて算出した相関係数を合計するようにしてもよい。

また、領域サイズの変換には色々な手法があるが、例えば、一次変換でサイズ変換を行えばよい。さらに、ラインに含まれる画像のデータ（画素値等）同士ではなく、１ライン未満のデータを補間により作成して相関度を特定する値を算出しても良く、マッチング領域全体と被マッチング領域全体とを比較して相関度を特定する値を算出してもよい。

結合位置特定部１６８は、相関算出部１６７が算出した相関度を特定する値より、マッチング領域と、特定の被マッチング領域と、の間の相関度が高いと判断した場合には、最も相関度の高い被マッチング領域を選択して、マッチング領域に含まれる注目ラインＡｌに結合する、被マッチング領域の画像位置を特定する。

図９から図１４を用いて、結合位置特定部１６８が、マッチング領域に含まれる注目ラインＡｌに結合する、被マッチング領域の画像位置を特定する処理を説明する。

図９（ａ）及び（ｂ）は、マッチング領域Ｅｒと同じ大きさの被マッチング領域Ｔｒ_０に、注目ラインＡｌを結合する画像位置を特定する際の処理を説明する概略図である。ここで、図９（ａ）及び（ｂ）において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。

結合位置特定部１６８は、図９（ａ）に示すように、マッチング領域Ｅｒと、被マッチング領域Ｔｒ_０の大きさが同じ場合には、図９（ｂ）に示すように、被マッチング領域Ｔｒ_０の先頭位置から注目ラインＡｌと同じ大きさの画像領域Ｉａを注目ラインＡｌと結合する領域として特定し、画像領域Ｉａの終端位置Ｅｐを特定する情報を結合位置とする。なお、結合位置は、被マッチング領域Ｔｒ_０を設定した画像群の先頭位置から画像領域Ｉａの終端位置Ｅｐまでに含まれる画像（一つの走査ラインで取得される画像）の数と、終端位置Ｅｐが含まれる画像の先頭位置から終端位置Ｅｐまでの割合と、を加算した値で特定する。

なお、注目ラインＡｌの下のラインを次の注目ラインとした場合には、終端位置Ｅｐの下のラインから次の被マッチング領域が割り当てられる。

図１０（ａ）〜（ｃ）は、マッチング領域Ｅｒよりも大きさの小さい被マッチング領域Ｔｒ_−２に、注目ラインＡｌを結合する画像位置を特定する際の処理を説明する概略図である。ここで、図１０（ａ）〜（ｃ）において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。

結合位置特定部１６８は、図１０（ａ）に示すように、マッチング領域Ｅｒよりも被マッチング領域Ｔｒ_−２の大きさが小さい場合には、図１０（ｂ）に示すように、被マッチング領域Ｔｒ_−２に含まれる画像をマッチング領域Ｅｒと同じ大きさに拡大し（図１０（ａ）〜（ｃ）の例では、６／４倍）、拡大された被マッチング領域ＥＴｒ_−２の先頭位置から注目ラインＡｌと同じ大きさの画像領域Ｉａ_０を注目ラインＡｌと結合する領域とし、図１０（ｃ）に示すように、拡大された被マッチング領域ＥＴｒ_−２に含まれる画像を縮小することで（ここでは、４／６倍）元の大きさに戻した際に、同じ割合で縮小された画像領域Ｉａ_１の終端位置Ｅｐ_１を特定する情報を結合位置とする。

なお、注目ラインＡｌの下のラインを次の注目ラインとした場合には、終端位置Ｅｐ_１の下のラインから次の被マッチング領域が割り当てられる。

図１１（ａ）〜（ｃ）は、マッチング領域Ｅｒよりも大きさの大きい被マッチング領域Ｔｒ_２に、注目ラインＡｌを結合する画像位置を特定する際の処理を説明する概略図である。ここで、図１１において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。

結合位置特定部１６８は、図１１（ａ）に示すように、マッチング領域Ｅｒよりも被マッチング領域Ｔｒ_２の大きさが大きい場合には、図１１（ｂ）に示すように、被マッチング領域Ｔｒ_２に含まれる画像をマッチング領域Ｅｒと同じ大きさに縮小し（図１１（ａ）〜（ｃ）の例では、６／８倍）、縮小された被マッチング領域ＲＴｒ_２の先頭位置から注目ラインＡｌと同じ大きさの画像領域Ｉａ_０を注目ラインＡｌと結合する領域とし、図１１（ｃ）に示すように、縮小された被マッチング領域ＲＴｒ_−２に含まれる画像を拡大することで（ここでは、８／６倍）元の大きさに戻した際に、同じ割合で拡大された画像領域Ｉａ_１の終端位置Ｅｐ_１を特定する情報を結合位置とする。

なお、注目ラインＡｌの下のラインを次の注目ラインとした場合には、終端位置Ｅｐ_１の下のラインから次の被マッチング領域が割り当てられる。

図１２（ａ）及び（ｂ）は、保留ラインＳｌを有するマッチング領域Ｅｒと同じ大きさの被マッチング領域Ｔｒ_０に、保留ラインＳｌ及び注目ラインＡｌを結合する画像位置を特定する際の処理を説明する概略図である。ここで、図１２において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。また、図１２（ａ）及び（ｂ）においては、保留ラインＳｌが３ライン分含まれている場合を示す。

結合位置特定部１６８は、図１２（ａ）に示すように、マッチング領域Ｅｒと、被マッチング領域Ｔｒ_０の大きさが同じ場合には、図１２（ｂ）に示すように、被マッチング領域Ｔｒ_０の先頭位置から各々の保留ラインＳｌ及び注目ラインＡｌと同じ大きさの各々の画像領域Ｉａを、保留ラインＳｌ及び注目ラインＡｌと結合する領域として特定し、各々の画像領域Ｉａの終端位置Ｅｐを特定する情報を結合位置とする。

なお、注目ラインＡｌの下のラインを次の注目ラインとした場合には、終端位置Ｅｐの下のラインから次の被マッチング領域が割り当てられる。

図１３（ａ）〜（ｃ）は、保留ラインＳｌを含むマッチング領域Ｅｒよりも大きさの小さい被マッチング領域Ｔｒ_−２に、保留ラインＳｌ及び注目ラインＡｌを結合する画像位置を特定する際の処理を説明する概略図である。ここで、図１３（ａ）〜（ｃ）において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。また、図１３（ａ）〜（ｃ）においては、保留ラインＳｌが３ライン分含まれている場合を示す。

結合位置特定部１６８は、図１３（ａ）に示すように、マッチング領域Ｅｒよりも被マッチング領域Ｔｒ_−２の大きさが小さい場合には、図１３（ｂ）に示すように、被マッチング領域Ｔｒ_−２の大きさをマッチング領域Ｅｒと同じ大きさに拡大し（図１３（ａ）〜（ｃ）の例では、９／７倍）、拡大された被マッチング領域ＥＴｒ_−２の先頭位置から、各々の保留ラインＳｌ及び注目ラインＡｌと同じ大きさの画像領域Ｉａ_０を、各々の保留ラインＳｌ及び注目ラインＡｌと結合する領域とし、図１３（ｃ）に示すように、拡大された被マッチング領域ＥＴｒ_−２を縮小することで（ここでは、７／９倍）元の大きさに戻した際に、同じ割合で縮小された画像領域Ｉａ_１の終端位置Ｅｐ_１を特定する情報を結合位置とする。

なお、注目ラインＡｌの下のラインを次の注目ラインとした場合には、終端位置Ｅｐ_１の下のラインから次の被マッチング領域が割り当てられる。

図１４（ａ）〜（ｃ）は、保留ラインＳｌを含むマッチング領域Ｅｒよりも大きさの大きい被マッチング領域Ｔｒ_２に、各々の保留ラインＳｌ及び注目ラインＡｌを結合する画像位置を特定する際の処理を説明する概略図である。ここで、図１４（ａ）〜（ｃ）において、上方から下方に向かって複数並べられている同一形状の矩形状のセルは画像群に含まれる画像を示し、画像群に含まれる画像の上方から下方に向かう順番が、ラインセンサで読み込まれた順番（走査ラインの若い順）を示すものとする。また、図１４（ａ）〜（ｃ）においては、保留ラインＳｌが３ライン分含まれている場合を示す。

結合位置特定部１６８は、図１４（ａ）に示すように、マッチング領域Ｅｒよりも被マッチング領域Ｔｒ_２の大きさが大きい場合には、図１４（ｂ）に示すように、被マッチング領域Ｔｒ_２の大きさをマッチング領域Ｅｒと同じ大きさに縮小し（図１４（ａ）〜（ｃ）の例では、９／１１倍）、縮小された被マッチング領域ＲＴｒ_２の先頭位置から、各々の保留ラインＳｌ及び注目ラインＡｌと同じ大きさの画像領域Ｉａ_０を、各々の保留ラインＳｌ及び注目ラインＡｌと結合する領域とし、図１４（ｃ）に示すように、縮小された被マッチング領域ＲＴｒ_−２を拡大することで（ここでは、１１／９倍）元の大きさに戻した際に、同じ割合で拡大された画像領域Ｉａ_１の終端位置Ｅｐ_１を特定する情報を結合位置とする。

なお、注目ラインＡｌの下のラインを次の注目ラインとした場合には、終端位置Ｅｐ_１の下のラインから次の被マッチング領域が割り当てられる。

図５に戻り、結合位置特定部１６８は、以上のようにして算出した結合位置を結合位置情報記憶部１６２に記憶する処理を制御する。

画像結合部１６９は、結合位置情報記憶部１６２に記憶されている結合位置情報に基づいて、各々の画像を結合する。なお、画像結合部１６９での処理は、下記に詳細に説明する。

以上に記載した画像結合装置１０６は、例えば、ＣＰＵ（Central Processing Unit）と、メモリと、を備えたコンピュータで実現できる。例えば、記憶部１６１は、ＣＰＵがメモリを利用することにより実現でき、制御部１６３は、所定のプログラムをＣＰＵで実行することで実現できる。ただし、本実施の形態の画像結合装置１０６は、コンピュータシステム上にソフトウェア的に実現されるものに限定されない。例えば、ＡＳＩＣ（Application Specific Integrated Circuits）、ＦＰＧＡ（Field Programmable Gate Array）等の集積ロジックＩＣによりハード的に実現されるものでもよいし、あるいは、ＤＳＰ（Digital Signal Processor）等によりソフトウェア的に実現されるものでもよい。

図１５及び１６は、画像結合装置１０６での画像処理を示すフローチャートである。

まず、結合位置特定部１６８は、画像群を示すインデックスＮに１を設定し、処理するラインを示すインデックスｉに１を設定する（Ｓ１０）。

次に、結合位置特定部１６８は、処理ライン数を示すインデックスｈを０に初期化する（Ｓ１１）。

次に、相関検出用領域設定部１６５は、Ｎ画像群内に、マッチング領域Ｍｒを設定する（Ｓ１２）。例えば、相関検出用領域設定部１６５は、Ｎ画像群内において、インデックスｉで示されるラインの上のラインが保留ラインではない場合には、インデックスｉで示されるラインと、インデックスｉで示されるラインの次の走査ラインから予め設定された数の対象ラインＯｌと、をマッチング領域Ｍｒに設定する。また、相関検出用領域設定部１６５は、Ｎ画像群内において、インデックスｉで示されるラインの上のラインが保留ラインである場合には、インデックスｉで示されるラインよりも一つ前の走査ラインから連続して続く保留ラインと、インデックスｉで示されるラインと、インデックスｉで示されるラインの次の走査ラインから予め設定された数の対象ラインＯｌと、をマッチング領域Ｍｒに設定する。

なお、相関検出用領域設定部１６５は、結合位置情報テーブル１６２ａにおいて、インデックスＮで特定される画像群列１６２ｂで特定される結合位置格納領域１６２ｄの欄において、インデックスｉで特定される注目ラインに対応するライン位置行１６２ｃで特定される結合位置格納領域１６２ｄの欄よりも上方の位置に、保留ラインフラグがあるか否かで、マッチング領域に保留ラインを含めるか否かを判断することができる。

また、相関検出用領域設定部１６５は、ステップＳ１２で設定されたマッチング領域Ｍｒに、インデックスｉで特定される走査ラインを注目ラインＡｌとして設定し、注目ラインＡｌと、注目ラインＡｌの次の走査ラインと、をエッジ検出領域Ｅｒとして設定する（Ｓ１３）。

次に、被相関検出用領域設定部１６６は、Ｎ画像群に含まれる画像の主走査方向における次の画像が含まれるＮ＋１画像群に、予め定められた数の被マッチング領域を設定する（Ｓ１３）。例えば、被相関検出用領域設定部１６６は、ステップＳ１２で設定されたマッチング領域と同じサイズの被マッチング領域と、ステップＳ１２で設定されたマッチング領域のサイズから予め定められた被マッチング領域生成係数で特定されるサイズに至るまで、予め定められた差分値を増減した大きさのサイズの被マッチング領域と、を設定する。

次に、結合位置特定部１６８は、ステップＳ１３で設定されたエッジ検出領域Ｅｒに、画像における特徴的な部分が含まれているか否かを判断する（Ｓ１５）。そして、特徴的な部分が含まれている場合には（ステップＳ１５でＹｅｓ）ステップＳ１６に進み、特徴的な部分が含まれていない場合には（ステップＳ１５でＮｏ）ステップＳ２０に進む。ここでいう特徴的な部分とは、画像の結合に必要な重ね合わせ位置を検出する際に、目印としてわかりやすい画像のエッジや文字、文様などを示す。すなわち、画像の信号レベルの変化が大きな部分をいう。

本実施の形態では、エッジ検出領域Ｅｒでの画像内の特徴的な部分の検出の手法は特に限定しないが、隣り合う画像の重ね合わせの位置は副走査方向にのみ移動するため、副走査方向に対して垂直なエッジが存在する位置で重ね合わせの位置を検出すると、確度の高い結果が得られる。そこで、例えば、上下のラインにおける信号成分の差の合計が予め定められていた値より大きいとき信号の変化が大きい、すなわち画像のエッジが存在すると判断する。

ステップＳ１６では、相関算出部１６７は、ステップＳ１２で設定されたマッチング領域Ｅｒと、ステップＳ１４で設定された複数の被マッチング領域の各々と、の相関度を特定する値を算出する（Ｓ１６）。

なお、マッチング領域、非マッチング領域ともに、各ラインには結合精度を上げるため１ラインより細かいサブラインが設けられており、それぞれのサブラインは領域サイズを拡大又は縮小する際にデータ補間して生成する。データの補間は線形補間、バイキュービックなど手法は問わない。

そして、結合位置特定部１６８は、ステップＳ１６で算出された相関度を特定する値のうち、予め定められた閾値よりも強い相関を示す値が算出された被マッチング領域があるか否かを判断する（Ｓ１７）。このようなマッチング領域がある場合には（ステップＳ１７でＹｅｓ）ステップＳ１８に進み、このようなマッチング領域がない場合には（ステップＳ１７でＮｏ）ステップＳ２０に進む。

ステップＳ１８では、結合位置特定部１６８は、ステップＳ１６で算出された相関度を特定する値のうち、最も強い相関を示す値が算出された被マッチング領域を選択する。

そして、結合位置特定部１６８は、ステップＳ１２で設定されたマッチング領域の先頭位置からエッジ検出位置までのラインの結合位置を特定する（Ｓ１９）。ここで、本実施の形態においては、エッジ検出領域Ｅｒを２ラインとし、上下ラインの差からエッジを検出したため、エッジ検出領域Ｅｒの１ライン目、すなわち、注目ラインＡｌまでの結合位置を特定する。なお、このようにして特定した結合位置については、結合位置特定部１６８が、結合位置情報テーブル１６２ａにおいて、インデックスＮで特定される画像群列１６２ｂと、結合位置が算出されたラインに対応するライン位置行１６２ｃと、で特定される結合位置格納領域１６２ｄの欄に、算出された結合位置を特定する情報を格納する。

一方、ステップＳ２０では、結合位置特定部１６８は、ステップＳ１３で特定された注目ラインＡｌを保留ラインとする。例えば、結合位置特定部１６８は、結合位置情報テーブル１６２ａにおいて、インデックスＮで特定される画像群列１６２ｂと、インデックスｉで特定される注目ラインに対応するライン位置行１６２ｃと、で特定される結合位置格納領域１６２ｄの欄に、保留ラインフラグを格納する。

次に、結合位置特定部１６８は、インデックスＮで特定される画像群が、Ｎの最大値（ＮＭＡＸ）であるか否かを確認し（Ｓ２１）、Ｎの最大値ではない場合には（ステップＳ２１でＮｏ）ステップＳ２２に進み、Ｎの最大値である場合には（ステップＳ２１でＹｅｓ）ステップＳ２３に進む。なお、Ｎの最大値は、ラインセンサ１４１，１４２，・・・，１４８の数から１を減算した数である。

ステップＳ２２では、結合位置特定部１６８は、インデックスＮに１を加算して、ステップＳ１２に戻り処理を繰り返す。また、ステップＳ２３では、結合位置特定部１６８は、インデックスｈに１を加算して、ステップＳ２４に進む。

ステップＳ２４では、結合位置特定部１６８は、インデックスｈが、ｈの最大値（ｈＭＡＸ）であるか否かを確認し、ｈの最大値（ｈＭＡＸ）ではない場合には（ステップＳ２４でＮｏ）ステップＳ２５に進み、ｈの最大値（ｈＭＡＸ）である場合には（ステップＳ２４でＹｅｓ）図１６のステップＳ２６に進む。ここで、ｈＭＡＸの値は、結合位置を算出するラインと、画像を結合するラインと、の差分値である。そして、ｈＭＡＸの値は、画像のサイズ（走査ライン数）を超えない範囲で任意の値（本実施の形態では１９）を設定できるが、ｈＭＡＸの値が大きくなるほど、注目ラインと、画像の結合結果を出力するラインと、の位置の差が大きくなり、その結果、画像データを一時的に保存しておくメモリの容量が大きくなるため、あまり大きな値にしない方が望ましい。

ステップＳ２５では、結合位置特定部１６８は、インデックスＮを１に初期化し、インデックスｉに１を加算する。そして、結合位置特定部１６８は、ステップＳ１１に戻り、処理を繰り返す。

ステップＳ２６では、結合位置特定部１６８は、インデックスｉの値から、ｈＭＡＸの値を減算した値で示されるラインに保留ラインの設定があるか否かを確認し、保留ラインの設定がある場合には（ステップＳ２６でＹｅｓ）ステップＳ２７に進み、保留ラインの設定がない場合には（ステップＳ２６でＮｏ）ステップＳ２８に進む。ここで、インデックスｉの値から、ｈＭＡＸの値を減算した値で示されるラインに保留ラインの設定があるか否かは、結合位置情報テーブル１６２ａにおいて、インデックスｉの値から、ｈＭＡＸの値を減算した値に対応するライン位置行１６２ｃの結合位置格納領域１６２ｄの欄に、保留ラインフラグがあるか否かで判断することができる。

ステップＳ２７では、結合位置特定部１６８は、インデックスｉの値から、ｈＭＡＸの値を減算した値で示されるラインに設定されている保留ラインの結合位置を確定し、確定ラインとする。

ここで、結合位置特定部１６８は、ステップＳ２７では、拡大も縮小も行わずに、等倍のままで結合位置を確定する。例えば、結合位置情報テーブル１６２ａにおいて、結合位置格納領域１６２ｄに保留ラインフラグが設定されている欄の一つ上の欄の値に１を加算した値を結合位置として、この保留ラインフラグが設定されている欄に格納する。

ステップＳ２８では、画像結合部１６９は、インデックスｉの値から、ｈＭＡＸの値に１を加算した値を減算した値で示されるラインに含まれる画像を、結合位置情報テーブル１６２ａに示される値に従って結合する。ステップＳ２８での結合処理については、下記において詳細に説明する。

次に、結合位置特定部１６８は、インデックスｉで特定されるラインが、ｉの最大値（ｉＭＡＸ）であるか否かを確認し（Ｓ２９）、ｉの最大値ではない場合には（ステップＳ２９でＮｏ）ステップＳ３０に進み、ｉの最大値である場合には（ステップＳ２９でＹｅｓ）ステップＳ３１に進む。ここで、ｉの最大値は、副走査方向における走査ラインの総ライン数である。

ステップＳ３０では、結合位置特定部１６８は、インデックスＮを１に初期化し、インデックスｉに１を加算し、インデックスｈから１を減算する。そして、結合位置特定部１６８は、図１５のステップＳ１１に戻り処理を繰り返す。

ステップＳ３１では、画像結合部１６９は、未だ結合していない画像を、結合位置情報テーブル１６２ａに示される値に従って結合する。なお、結合位置情報テーブル１６２ａの結合位置格納領域１６２ｄに保留ラインフラグが設定されているときは、等倍で結合する。

次に、画像結合部１６９での結合処理について説明する。結合位置情報テーブル１６２ａには、各画像のｉライン目（１ラインの画像データ）が右隣の画像の何ライン目と一致するか（副走査方向における位置）を表すため、結合位置情報テーブル１６２ａのデータが示すラインの画像を順番につなげるだけでは１ライン分の結合画像は生成できない。そこで、図６に示す結合位置情報テーブル１６２ａの２ライン目に対応する結合位置格納領域１６２ｄの値を使って具体的に説明する。

画像結合部１６９は、１画像の２ライン目の値より、１画像群の２ライン目は右隣の２画像群の１．９ライン目と一致することがわかっているので、Ｎ画像の２ライン目の画像に、２画像群の１ライン目の終端位置及び１．９ライン目の終端位置の間で特定される画像を拡大して繋ぎ合わせる。

次に、画像結合部１６９は、２画像群に含まれる画像と３画像群に含まれる画像とを繋ぎ合わせるが、このとき図６の２画像群の２ライン目の結合位置格納領域１６２ｄに格納されている値に従って３画像群の画像の２．１ライン目と繋ぎ合わせると、画像は繋がらない。これは、既に、１画像群の２ライン目と２画像群の１．９ライン目を繋ぎ合わせているため、これらと繋がるようにするには、２画像群の１．９ライン目と一致する３画像群のライン数を求める必要がある。

ここでは、実際に画像を繋ぎ合わせるラインを座標データと呼び、簡易的に、以下の（１）式〜（３）式により結合位置格納領域１６２ｄに格納されている値から座標データを算出する。Ｃは結合位置の値、Ｐは座標データ、Ｎは画像群を区別する自然数、ｉはライン数である。なお、Ｃ（Ｎ，ｉ）は、結合位置情報テーブル１６２ａにおいて、Ｎ画像群及びｉライン目に対応する結合位置格納領域１６２ｄの値、Ｐ（Ｎ，ｉ）は、Ｎ画像群及びｉライン目の画像データをＮ＋１画像群に含まれる画像に結合させるための座標データの値、である。

Ｎ＝１として図９の２ライン目の座標データを求めると、Ｐ（１，２）＝２、Ｐ（２，２）＝１．９、Ｐ（３，２）＝２、Ｐ（４，２）＝１．９、Ｐ（５，２）＝２となる。つまり、２ライン目の結合画像を生成する際には、１画像群の２ライン目と２画像群の１．９ライン目と３画像群の２ライン目と４画像群の１．９ライン目と５画像群の２ライン目とを、それぞれ拡大又は縮小して繋ぎ合わせればよい。

以上のように、本実施の形態によれば、各々のラインにおいて、各々の撮像素子部１４１，１４２，・・・，１４８によって取得された画像を、その特徴部が一致するように縮小又は拡大させてつなぎ合わせるため、滑らかにつながった画像が取得される。

また、エッジ検出領域内に特徴的な部分が無い原稿の読み取り中に原稿面距離が変化すると、特徴的な部分が現れたところで急激な画像の拡大縮小が必要となる場合がある。そこで、本実施の形態では、画像に特徴的な部分が無いために、エッジが検出できない、若しくはマッチング領域と被マッチング領域の相関が取れないという状態になった場合には、結合位置を確定せずに保留してマッチング領域を広げることにより、結合位置が急激に変化しても１ラインあたりの拡大縮小量が減るため、拡大縮小処理による画像の歪みを小さくすることができるようにしている。

ただし、原稿に特徴的な部分がある場合にマッチング領域を広く設定すると、原稿面距離の細かい変化に追従できなくなる。よって、本実施の形態では、原稿に特徴的な部分があり、マッチング領域と被マッチング領域の相関が取れる場合には、最小限のマッチング領域で結合位置を検出し、特徴的な部分が無い場合にはマッチング領域を広げることにより、画像を拡大縮小したときの歪みが目立たない上に、原稿面距離の変化に追従して結合位置を検出することにより精度の良い画像結合ができるようにしている。また、本実施の形態では、結合位置が確定したラインの次のラインにマッチング領域や被マッチング領域を設定することにより画像の連続性が保たれるため、結合位置検出処理のエラーなどによる画像の欠損、同一画像の繰り返し、前後関係の入れ替わりなどの著しい画質の劣化は生じない。

さらに、本実施の形態では、マッチング領域を小さく設け、読取装置から１ライン入力される毎に一定ライン分遅延した１ライン分の結合画像を出力する逐次処理を行うため、全画像データを保存するためのフレームメモリが不要となり、コストが抑えられる。また、１フレーム分の画像の読み取りが終了するまで待つ結合処理を必要がないため、処理スピードの高速化が図れる。

また、結合すべき画像の領域（被マッチング領域）が検出されたときの結合位置の確定をエッジ検出範囲までとするのは、画像の特徴のあるエッジ部分単位ごとに結合処理をしたほうが、誤差が少なくなるためである。言い換えると、相関度は、隣接画像が最もよく一致する被マッチング領域の大きさにおいて最も高くなる。しかし、エッジ検出領域より下側には画像に特徴があるかどうか現時点では不明である。特徴的な画像が含まれている場合には結合位置の検出に役立つが、含まれて居ない場合にはエッジ検出領域の下側で急激な画像のズレが生じても検知できない。よって、確実に特徴的な画像が含まれるエッジ検出位置まで結合位置を確定することで、結合位置の誤検出を回避できる。

実施の形態１の変形例．
本発明の実施の形態１では、結像光学系１０１は円柱状の光学セルで構成したが、このような態様に限定されるものではなく、例えば、複数の光学部品から構成される反射光学系、又は結像光学系でも同等の効果は得られる。図１７に反射光学系を用いた場合の例を示す。

まず、各セルについての光学系要素の配置と光路を説明する。図１７は主走査方向（Ｘ方向）のセル４１１の結像光学系要素と主要光路を示した図である。図１８は、副走査方向（Ｙ方向）に並ぶ２つのセル４１１，４１２の結像光学系要素と主要光路を示した断面図である。各セルの光学系は原稿側にテレセントリックな光学系である。

系列１に属するセル４１１は第１レンズ４５２ａとアパーチャ４５３ａ、第２レンズ４５４ａとそれらを保持する保持具から構成されている。系列２に属するセル４１２は第１レンズ４５２ｂとアパーチャ４５３ｂ、第２レンズ４５４ｂとそれらを保持する保持具から構成されている。第１レンズ４５２ａ，４５２ｂは、反射光学系としての凹面鏡であるが、レンズと同様の機能を持つので、第１レンズと呼ぶ。また、第２レンズ４５４ａ，４５４ｂは、反射光学系としての凹面鏡であるが、レンズと同様の機能を持つので、第２レンズと呼ぶ。セル４１１には、原稿面からセルへの光路の途中に水平方向への第１の折り返しミラー４５１ａが挿入されている。第１の折り返しミラー４５１ａによる折り返し方向は系列１では図１７及び図１８における右側である。第２の折り返しミラー４５１ｂによる折り返し方向は系列２では図１８における左側である。また、第２レンズ４５４ａから撮像素子１４１への光路の途中に、第２の折り返しミラー４５５ａが挿入されている。第２の折り返しミラー４５５ａによる折り返し方向は、系列１では図１７及び図１８における下向き（基板４０４上の撮像素子１４１に向かう方向）である。第２の折り返しミラー４５５ｂによる折り返し方向は、系列２では図１８における下向き（撮像素子１４２に向かう方向）である。天板１０３に対して各セルの光軸は副走査方向に関して斜め入射である。ほかのセルも同様な構成である。

第１レンズ４５２ａ，４５２ｂの後ろ側焦点位置にアパーチャ４５３ａ，４５３ｂを配置すれば、原稿側にテレセントリックな光学系を実現できる。転写倍率は、１より大きい拡大でも、１より小さい縮小でも構わないが、等倍にしておくと、一般に流通している解像度のセンサを流用できるというメリットがある。また、折り返しミラーの効果により、Ｚ方向の厚みを抑えることができ、小型の画像読取装置を得ることができる。

図１７及び図１８の例では各セルの原稿画像はそれぞれに対応する撮像素子１４１，１４２上に反転像が作られる。そのため、結合処理に先立ち、画像を反転する処理が必要である。反転処理は、結合処理の前処理として専用の回路を組んで行っても良いし、ラインメモリ１０５へ画像データを格納するときの順番とラインメモリ１０５から画像データを読み出すときの順番を逆転することにより行っても良い。

ここで、各セル４１１，４１２は原稿側にテレセントリックな光学系なので、図１８に示すように、原稿の位置が７３，７４，７５と変化しても、撮像素子１４１，１４２に対する画像の転写倍率が変化することがないという特徴がある。さらに、主走査方向に関して各セル４１１，４１２の光軸と天板１０３とが垂直なので、同様に、原稿位置の変動によっても各セル４１１，４１２の画像は主走査方向にはまったく動かない。しかし、副走査方向に関しては、各セル４１１，４１２の光軸と天板１０３とが垂直ではないため、原稿７０の位置が７３，７４，７５と変化すると、光学系が原稿を読み取る位置がずれる。その結果、原稿の位置に応じて得られる画像は副走査方向に移動する。

このとき、系列１のセル４１１と系列２のセル４１２の光軸は副走査方向に関して逆向きに傾いている。そのため、原稿の位置が変化した時に画像が移動する方向も逆向きになる。

図１７及び図１８に示す構成を持つ画像結合装置によれば、既に説明した実施の形態１に係る画像結合装置と同様の機能を実現でき、同様の効果を得ることができる。さらに、画像結像装置の薄型化を実現できる。

１００：画像読取装置、１０１：結像光学系、１０２：照明光源、１０３：天板、１０４：基板、１４１，１４２，１４３，１４４，１４５，１４６，１４７，１４８：撮像素子部、１０５：ラインメモリ、１０６：画像結合装置、１６１：記憶部、１６２：結合位置情報記憶部、１６３：制御部、１６４：結合位置検出部、１６５：相関検出用領域設定部、１６６：被相関検出用領域設定部、１６７：相関算出部、１６８：結合位置特定部、１６９：画像結合部。

Claims (12)

1. 第１の画像を取得する第１の撮像手段と、
   主走査方向において、前記第１の画像の次に隣接する第２の画像を取得する第２の撮像手段と、
   副走査方向に並ぶ複数の走査ラインにおいて、前記第１の撮像手段で撮像された前記第１の画像を複数有する第１の画像群、及び、前記第２の撮像手段で撮像された前記第２の画像を複数有する第２の画像群、を記憶する記憶手段と、
   前記第１の画像群に含まれる前記第１の画像と、前記第２の画像群に含まれる前記第２の画像と、を結合する結合位置を算出し、結合する制御手段と、を有し、
   前記制御手段は、
   前記第１の画像群において、前記結合位置が算出されていない、走査ラインにおける先頭位置の前記第１の画像から連続する複数の走査ラインで取得された複数の前記第１の画像からなるマッチング領域を設定する相関検出用領域設定手段と、
   前記第２の画像群において、前記結合位置が算出されていない、走査ラインにおける先頭ラインから、前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、互いにサイズの異なる複数の被マッチング領域を設定する被相関検出用領域設定手段と、
   前記マッチング領域と、複数の前記被マッチング領域の各々と、の組み合わせ毎に、前記被マッチング領域に含まれる画像の大きさが前記マッチング領域に含まれる画像の大きさと同じ場合には、前記マッチング領域に含まれる画像と、対応する被マッチング領域の画像とを画素毎に比較することで、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出し、前記被マッチング領域に含まれる画像の大きさが前記マッチング領域に含まれる画像の大きさと異なる場合には、前記被マッチング領域に含まれる画像の大きさを、前記マッチング領域に含まれる画像の大きさと同じ大きさに変換してから、前記マッチング領域に含まれる画像と、対応する被マッチング領域の画像とを画素毎に比較することで、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する相関算出手段と、
   前記相関度を特定する値により、前記マッチング領域と最も相関度の高い前記被マッチング領域を選択し、前記マッチング領域に含まれる前記第１の画像を結合する、前記被マッチング領域に含まれる画像の副走査方向における位置を、前記結合位置として特定する結合位置特定手段と、を備える
   ことを特徴とする画像結合装置。
2. 前記相関検出用領域設定手段は、前記マッチング領域に含まれる前記第１の画像のうち、走査ラインにおける先頭位置の前記第１の画像を注目ラインとし、
   前記結合位置特定手段は、前記注目ラインに対応する前記第１の画像の前記結合位置を算出する
   ことを特徴とする請求項１に記載の画像結合装置。
3. 前記結合位置特定手段は、前記相関度を特定する値で特定される相関度が、予め定められた閾値に満たない場合には、前記結合位置の算出を保留し、
   前記相関検出用領域設定手段は、前記結合位置特定手段が前記結合位置の算出を保留した場合には、前記マッチング領域に含まれる前記第１の画像を増やし、前記結合位置の算出を保留された前記第１の画像の走査ラインにおける一つ下のラインの前記第１の画像を前記注目ラインとし、
   前記被相関検出用領域設定手段は、前記相関検出用領域設定手段が前記第１の画像を増やした前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、サイズの異なる複数の被マッチング領域を設定し、
   前記相関算出手段は、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する、
   処理を、前記結合位置特定手段が、前記結合位置を算出するまで繰り返す
   ことを特徴とする請求項２に記載の画像結合装置。
4. 前記結合位置特定手段は、前記注目ラインを含む特定の画像領域に、画像のエッジとなり得るエッジ部分がない場合には、前記結合位置の算出を保留し、
   前記相関検出用領域設定手段は、前記結合位置特定手段が前記結合位置の算出を保留した場合には、前記マッチング領域に含まれる前記第１の画像を増やし、前記結合位置の算出を保留された前記第１の画像の走査ラインにおける一つ下のラインの前記第１の画像を前記注目ラインとし、
   前記被相関検出用領域設定手段は、前記相関検出用領域設定手段が前記第１の画像を増やした前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、サイズの異なる複数の被マッチング領域を設定し、
   前記相関算出手段は、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する、
   処理を、前記結合位置特定手段が、前記結合位置を算出するまで繰り返す
   ことを特徴とする請求項２又は３に記載の画像結合装置。
5. 前記結合位置特定手段は、前記マッチング領域と、前記被マッチング領域と、のサイズが異なる場合には、前記被マッチング領域のサイズを変更して前記マッチング領域と同じサイズとし、変更された前記被マッチング領域における前記注目ラインに対応する位置及びサイズの画像を前記注目ラインに結合する結合画像とし、変更された被マッチング領域を元のサイズに戻した際の結合画像の位置及びサイズにより前記結合位置を特定する
   ことを特徴とする請求項２から４の何れか一項に記載の画像結合装置。
6. 前記結合位置特定手段は、前記結合位置の算出を保留した前記第１の画像が予め定めた数に達した場合には、最初に保留した前記第１の画像に対応する位置及びサイズの画像を前記被マッチング領域の先頭ラインから特定して結合画像とし、当該結合画像の位置及びサイズにより前記結合位置を特定する
   ことを特徴とする請求項２から５の何れか一項に記載の画像結合装置。
7. 第１の画像を取得する第１の撮像手段と、
   主走査方向において、前記第１の画像の次に隣接する第２の画像を取得する第２の撮像手段と、
   副走査方向に並ぶ複数の走査ラインにおいて、前記第１の撮像手段で撮像された前記第１の画像を複数有する第１の画像群、及び、前記第２の撮像手段で撮像された前記第２の画像を複数有する第２の画像群、を記憶する記憶手段と、
   前記第１の画像群に含まれる前記第１の画像と、前記第２の画像群に含まれる前記第２の画像と、を結合する結合位置を算出し、結合する制御手段と、を有する画像結合装置が行う画像結合位置算出方法であって、
   前記制御手段が、前記第１の画像群において、前記結合位置が算出されていない、走査ラインにおける先頭位置の前記第１の画像から連続する複数の走査ラインで取得された複数の前記第１の画像からなるマッチング領域を設定する相関検出用領域設定処理ステップと、
   前記制御手段が、前記第２の画像群において、前記結合位置が算出されていない、走査ラインにおける先頭ラインから、前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、サイズの異なる複数の被マッチング領域を設定する被相関検出用領域設定処理ステップと、
   前記制御手段が、前記マッチング領域と、複数の前記被マッチング領域の各々と、の組み合わせ毎に、前記被マッチング領域に含まれる画像の大きさが前記マッチング領域に含まれる画像の大きさと同じ場合には、前記マッチング領域に含まれる画像と、対応する被マッチング領域の画像とを画素毎に比較することで、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出し、前記被マッチング領域に含まれる画像の大きさが前記マッチング領域に含まれる画像の大きさと異なる場合には、前記被マッチング領域に含まれる画像の大きさを、前記マッチング領域に含まれる画像の大きさと同じ大きさに変換してから、前記マッチング領域に含まれる画像と、対応する被マッチング領域の画像とを画素毎に比較することで、前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する相関算出処理ステップと、
   前記制御手段が、前記相関度を特定する値により、前記マッチング領域と最も相関度の高い前記被マッチング領域を選択し、前記マッチング領域に含まれる前記第１の画像を結合する、前記被マッチング領域に含まれる画像の副走査方向における位置を、前記結合位置として特定する結合位置特定処理ステップと、を備える
   ことを特徴とする画像結合位置算出方法。
8. 前記制御手段は、前記相関検出用領域設定処理ステップにおいて、前記マッチング領域に含まれる前記第１の画像のうち、走査ラインにおける先頭位置の前記第１の画像を注目ラインとし、
   前記制御手段は、前記結合位置特定処理ステップにおいて、前記注目ラインに対応する前記第１の画像の前記結合位置を算出する
   ことを特徴とする請求項７に記載の画像結合位置算出方法。
9. 前記制御手段は、前記結合位置特定処理ステップにおいて、前記相関度を特定する値で特定される相関度が、予め定められた閾値に満たない場合には、前記結合位置の算出を保留し、
   前記制御手段は、前記結合位置特定処理ステップにおいて前記結合位置の算出を保留した場合には、
   前記マッチング領域に含まれる前記第１の画像を増やし、前記結合位置の算出を保留された前記第１の画像の走査ラインにおける一つ下のラインの前記第１の画像を前記注目ラインとする相関検出用領域設定処理ステップと、
   前記相関検出用領域設定部が前記第１の画像を増やした前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、サイズの異なる複数の被マッチング領域を設定する被相関検出用領域設定処理ステップと、
   前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する相関算出処理ステップと、
   を、前記結合位置特定処理ステップにおいて、前記結合位置が算出されるまで繰り返す
   ことを特徴とする請求項８に記載の画像結合位置算出方法。
10. 前記制御手段は、前記結合位置特定処理ステップにおいて、前記注目ラインを含む特定の画像領域に、画像のエッジとなり得るエッジ部分がない場合には、前記結合位置の算出を保留し、
    前記制御手段は、前記結合位置特定処理ステップにおいて前記結合位置の算出を保留した場合には、
    前記マッチング領域に含まれる前記第１の画像を増やし、前記結合位置の算出を保留された前記第１の画像の走査ラインにおける一つ下のラインの前記第１の画像を前記注目ラインとする相関検出用領域設定処理ステップと、
    前記相関検出用領域設定部が前記第１の画像を増やした前記マッチング領域のサイズと同じサイズの画像となるような被マッチング領域を含む、サイズの異なる複数の被マッチング領域を設定する被相関検出用領域設定処理ステップと、
    前記マッチング領域と、複数の前記被マッチング領域の各々と、の相関度を特定する値を算出する相関算出処理ステップと、
    を、前記結合位置特定部が、前記結合位置を算出するまで繰り返す
    ことを特徴とする請求項８又は９に記載の画像結合位置算出方法。
11. 前記制御手段は、前記結合位置特定処理ステップとして、前記マッチング領域と、前記被マッチング領域と、のサイズが異なる場合には、前記被マッチング領域のサイズを変更して前記マッチング領域と同じサイズとし、変更された前記被マッチング領域における前記注目ラインに対応する位置及びサイズの画像を前記注目ラインに結合する結合画像とし、変更された被マッチング領域を元のサイズに戻した際の結合画像の位置及びサイズにより前記結合位置を特定する
    ことを特徴とする請求項８から１０の何れか一項に記載の画像結合位置算出方法。
12. 前記制御手段は、前記結合位置特定処理ステップとして、前記結合位置の算出を保留した前記第１の画像が予め定めた数に達した場合には、最初に保留した前記第１の画像に対応する位置及びサイズの画像を前記被マッチング領域の先頭ラインから特定して結合画像とし、当該結合画像の位置及びサイズにより前記結合位置を特定する
    ことを特徴とする請求項８から１１の何れか一項に記載の画像結合位置算出方法。

Images