JP4301137B2

JP4301137B2 - 画像合成装置、画像合成方法、画像合成プログラムおよび記録媒体

Info

Publication number: JP4301137B2
Application number: JP2004306038A
Authority: JP
Inventors: 照花斎藤
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-10-20
Filing date: 2004-10-20
Publication date: 2009-07-22
Anticipated expiration: 2024-10-20
Also published as: JP2006121329A

Description

本発明は、重複した画像部分を有する複数の画像を合成する技術に関する。

複数の画像を合成する技術は、例えば、電子カメラにより一部がオーバーラップして撮像された複数の画像をつなぎ合わせて、１枚のパノラマ画像を得る場合や、読取範囲を越えた大きさの原稿をスキャナで複数回にわたって読み取り、読み込んだ複数の画像を合成して合成画像を得る場合等、種々の利用用途がある。

しかし、撮影時のズレや、原稿をスキャナに載置する際のズレ等の影響により、隣り合う画像間には、傾きや位置ズレ等の相対ズレが生じる。したがって、合成画像を得るには、相対ズレを補正する必要がある。
例えば、図２０（Ａ）に示すように、元の画像をスキャナで４つの画像１０１〜１０４に分けて読み込んだ場合、読み込む枠と画像とが傾斜する場合がある。このため、読み込み枠を基準に合わせただけでは、そこに写される画像は、元の画像とは異なったものになり（図２０（Ａ）の実線参照）、特に文章の場合には、繋ぎ目の位置ズレや傾斜が顕著に感じられる。図２０（Ｂ）に示す実線のように合成が行われれば良いが、このためには、傾きや位置ズレを補正する必要がある。
このような補正を行う技術が、特許文献１に記載されている。

特許文献１に記載された技術においては、隣接する２つの画像を合成する際に基準となる一方の画像を参照画像、他方の画像を探索画像とし、参照画像内に所定の直線を設定するとともに、この直線上に複数個の参照パターンを設定する。そして、相関演算により検索画像側に参照パターンに対応した対応点を見つけ、見つけられた対応点群から直線を求め、参照パターン群の直線と対応点群の直線とを比較することにより、相対的な傾きを得ている。
特開平１１−１５９５１号公報

しかしながら、前述した技術では、相関演算を全て完了しなければ、正確な傾きが算出できず、処理の工数とこの処理に費やされる時間が嵩み、容易に正確な相対ズレを検出することは困難であった。

本発明は、上記の問題点に鑑みてなされたものであり、比較的少ない工数で正確に画像間の相対ズレを算出することのできる画像合成装置、画像合成方法、画像合成プログラムおよび記録媒体を提供することを目的とする。

上記目的を達成するために、本発明に係る画像合成装置は、互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成装置において、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
前記第１画像のうち、重複した画像領域内に第１基準線を設定する第１基準線設定手段と、前記第１基準線上に少なくとも２個の参照枠を設定する参照枠設定手段と、前記第２画像に対し、前記重複した領域内において、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定する対応枠領域設定手段と、前記各参照枠と、この参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定する関係度測定手段と、測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定する対応枠候補群設定手段と、前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定する第２基準線候補設定手段と、前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定する第２基準線設定手段と、前記各基準線を基準に、各画像を合成する合成手段と、を備えたことにある。

また、本発明に係る画像合成装置の他の構成は、互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成装置において、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
前記第１画像のうち、前記第２画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した画像領域内に第１基準線候補をそれぞれ設定する第１基準線設定手段と、前記各第１基準線候補上に少なくとも２個の参照枠を設定する参照枠設定手段と、前記第２画像に対し、前記第１画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した領域内に、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定する対応枠領域設定手段と、前記第１画像の４つの辺と前記第２画像の４つの辺との取り得る全組み合わせについて、前記各参照枠とこの参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定する関係度測定手段と、測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定する対応枠候補群設定手段と、前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定する第２基準線候補設定手段と、前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定する第２基準線設定手段と、取り得る全組み合わせ毎に求めた各第２基準線の確からしさに基づき、前記第１画像と前記第２画像の相対的な配置・方向関係を決定する配置方向判定手段と、前記配置方向判定の結果と前記各基準線を基準に、各画像を合成する合成手段と、を備えたことにある。

上記構成において、前記合成手段により各画像を合成する前に、前記第１基準線と前記第２基準線が平行になるように、前記第１画像或いは前記第２画像のうち、少なくとも一方の画像の傾きを補正する補正手段と、前記対応枠領域設定手段、前記対応枠候補群設定手段、前記第２基準線候補設定手段および前記第２基準線設定手段を順次繰り返すことが望ましい。

上記構成において、前記第１基準線設定手段は、第１画像の辺に対してほぼ平行に延びるように第１基準線を設定することが望ましい。
上記構成において、前記第１基準線設定手段は、最も多くの画像が横切る位置に第１基準線を設定することが望ましい。
上記構成において、前記参照枠設定手段は、第１基準線上に等間隔に参照枠を設定することが望ましい。
上記構成において、前記参照枠設定手段は、第１基準線上で画像の存在する位置に参照枠を設定することが望ましい。
上記構成において、前記参照枠設定手段は、第１基準線上で周囲の形状に特徴のある点を特徴点として抽出し、この特徴点を含む位置に参照枠を設定することが望ましい。

上記構成において、前記対応枠領域設定手段における対応枠の取り得る領域は、重複した画像領域の幅および／または画像のズレ幅および／または画像の回転によるズレ幅を越えた範囲であることが望ましい。

上記構成において、前記対応枠候補群設定手段は、参照枠に存在する画像と、各対応枠に存在する画像とを比較し、参照枠の画像に近い対応枠を抽出することが望ましい。

上記構成において、前記第２基準線設定手段は、各第２基準線候補のうち各参照枠に対応した対応枠との距離の合計が最も小さい第２基準線を抽出することが望ましい。
上記構成において、各対応枠と各第２基準線候補の距離を求める際、その対応枠と組である参照枠の複雑度および／または前記関係度とを重み付けとして用いることが望ましい。
上記構成において、前記合成手段は、参照枠と、この参照枠に対応する対応枠とを重ね合わせるように合成することが望ましい。
上記構成において、前記配置方向判定手段は、各参照枠の複雑度および／またはその対応枠との関係度とを重み付けとして用いることが望ましい。

本発明によれば、第１画像内の参照枠に対応する対応枠が取り得る領域を第２画像に予め設定しておいて、参照枠と領域内の対応枠とでマッチング処理を行って対応枠群を設定する。対応枠同士を互いにつないで複数の基準線を作り、その中から最適な基準線を求め、第１画像に対する第２画像の傾きを算出することにより、従来技術に比べ、演算処理量を大幅に削減した上で、検出精度を高めて算出することができる。

＜第１実施形態＞
以下、本発明に係る第１実施形態について図面を参照して説明する。本実施形態においては、具体例としてコンピュータシステムにおいてスキャナを用いて読み込んだ画像を合成する場合について説明する。
図１および図２は、本発明の第１の実施形態に係るシステムを示す図である。
パソコン本体１には、画像を読み込んでデータ化するスキャナ２が接続されている。
また、パソコン本体１は、図２に示すように構成され、ＣＰＵ（Central Processing Unit）３、ＲＯＭ（Read Only Memory）４、ＲＡＭ（Random Access Memory）５および入出力ポート６を具備し、この入出力ポート６には表示部７、操作部８（キーボード、マウス等）およびスキャナ２が接続されている。

ここで、ＲＯＭ４には、スキャナ２からの画像を画像データとして読み込んでＲＡＭ５に記憶するプログラムを初め、後述する画像合成を実行させるための画像合成プログラム等が格納されている。ＣＰＵ３は、これらのプログラムをＲＯＭ４から読み出して実行することにより各機構の動作を制御する。ＲＡＭ５は、ＣＰＵ３によるプログラムの実行の際にワークエリアとして使用される。

次に、図３の機能ブロック図に基づき、第１実施形態による画像合成の概略を説明する。
画像合成プログラムは、スキャナ２から読み込んだ少なくとも２以上の画像データに対して処理を行うもので、パターン設定部１１、パターンマッチング部１２、第２基準線設定部１３、傾き補正部１４および画像合成部１５を具備している。

各部の動作を簡単に説明すると、パターン設定部１１では、第１基準線設定、参照枠設定および対応枠領域設定等の各処理を行う。パターンマッチング部１２では、各参照枠の画像に対する各対応枠の画像をパターンマッチングにより抽出する処理を行う。第２基準線設定部１３では、各第２基準線候補のうち、対応枠を通る割合の高い第２基準線を抽出する処理を行う。傾き補正部１４では、第１画像を回動させて第１基準線と第２基準線とを平行状態にする処理を行う。画像合成部１５では、参照枠と、抽出された第２基準線上の対応枠とを重ね合わせるようにして各画像を合成する処理を行う。

次に、図４の流れ図および図５〜図１２に基づいて、本実施形態による画像合成の動作について説明する。
まず、ＲＡＭ５には、予めスキャナ２によって読み込まれた複数個の画像データが記憶されているものとする。具体的には、スキャナ２の読み取り範囲が図５中の太い点線で示した範囲である場合、元の画像Ｏの読み取りを９回に分けて行うことになり、９個の画像データがＲＡＭ５に記憶される。画像を読み取る際には、隣接する画像の隣接する部分が互いに重複するように読み込む。便宜上、図６に示すように、重複した画像領域の左右方向の重なり量をｄ１とし、画像Ａに対する上下方向への画像Ｂの位置のズレ量をｄ２とする。
ここでは、中央部の画像を第１画像Ａ、この画像の右側に位置した画像を第２画像Ｂとして説明する。なお、中央部の画像の周囲に位置した他の画像についても同様の処理を行うので、その説明は省略するものとする。また、画像と画像データとは、図面上では同じものを示しているので、便宜上、画像データを画像として呼ぶ。

まず、ＣＰＵ３は、ＲＡＭ５から第１画像Ａおよび第２画像ＢをＲＯＭ４に読み出す（図４に示すステップＳ１、参照）。
次に、ＣＰＵ３は、第１画像Ａ上の重複した画像領域の内に第１基準線Ｌ１を設定する（ステップＳ２）。この場合、図６に示すように、第１画像の右側の辺に対してほぼ平行に延びるように第１基準線Ｌ１を設定する。なお、第１基準線の設定は、これに限らず、最も多くの画像が横切る位置に設定してもよい。

さらに、ＣＰＵ３は、第１基準線Ｌ１上に、例えば図６に示すように、４個の参照枠Ｒ１〜Ｒ４を等間隔に設定する（ステップＳ３）。この場合、参照枠Ｒ１〜Ｒ４は、等間隔に設定するだけでなく、第１基準線Ｌ１上で画像の存在する位置に参照枠を設定したり、第１基準線Ｌ１上で周囲の形状に特徴のある点を特徴点として抽出し、この特徴点を含む位置に参照枠を設定したりしてもよい。

ＣＰＵ３は、第２画像Ｂに対し、参照枠Ｒ１〜Ｒ４と同じ大きさの対応した対応枠Ｃを設定するが、まず対応枠Ｃの取り得る領域Ｔを設定する（ステップＳ４）。ここで、領域Ｔは、図７に示すように、参照枠Ｒ１に対する領域Ｔ１、参照枠Ｒ２に対する領域Ｔ２、参照枠Ｒ３に対する領域Ｔ３、参照枠Ｒ４に対する領域Ｔ４となり、これらの領域Ｔ１〜Ｔ４は、画像Ｂ内の画像Ａと重複した画像領域内に設定される。

次に、ＣＰＵ３は、領域Ｔ１〜Ｔ４内にそれぞれ複数（例えば、６個）の対応枠Ｃを設定する（ステップＳ５）。ここで、領域Ｔと対応枠Ｃとの関係は、図７および図８に示すように、領域Ｔ１には対応枠Ｃ１１〜Ｃ１６、領域Ｔ２には対応枠Ｃ２１〜Ｃ２６、領域Ｔ３には対応枠Ｃ３１〜Ｃ３６が、領域Ｔ４には対応枠Ｃ４１〜Ｃ４６というようになる。
例えば、枠は、ｍ×ｎの画素を具備しており、各画素の階調度（濃度）が２５６ビットで表示される。本実施形態では、この階調度を画素の濃度とし、枠で考えると各画素の平均値を画像濃度とする。

領域Ｔ内の対応枠Ｃの設定は、所定画素毎ずらして対応枠Ｃを設定しても、隙間を開けて設定してもよい。例えば、領域Ｔの画素が７５×５０、枠が２５×２５とした場合、５画素毎にずらして、この領域Ｔ内に６６個の対応枠Ｃを設定してもよい。このように、領域Ｔ内に対応枠Ｃを所定画素毎ずらすことにより、対応枠Ｃには順次ずらした画像が対応し、この対応枠Ｃの画像を参照枠Ｒの画像に近づけることがより容易になる。
以上が、図３に示したパターン設定部１１の処理である。

次に、ＣＰＵ３は、参照枠Ｒ１に対応するであろう対応枠Ｃ１１〜Ｃ１６、参照枠Ｒ２に対応するであろう対応枠Ｃ２１〜Ｃ２６、参照枠Ｒ３に対応するであろう対応枠Ｃ３１〜Ｃ３６、参照枠Ｒ４に対応するであろう対応枠Ｃ４１〜Ｃ４６のマッチング処理をそれぞれ行う（ステップＳ６）。

具体的には、参照枠Ｒ１に対応するであろう対応枠Ｃ１１，Ｃ１２，Ｃ１３，Ｃ１４，Ｃ１５，Ｃ１６を各々重ね合わせ、一対の画像間の相関をそれぞれ算出する。参照枠Ｒ２，Ｒ３，Ｒ４に対応するであろうＣ２１〜Ｃ２６，Ｃ３１〜Ｃ３６，Ｃ４１〜Ｃ４６についても順次算出し、この結果をＲＡＭ５に記憶する。
なお、マッチング処理は、相関による算出方法に限らず、各枠の画像濃度を算出して、ＲＡＭ５に記憶するようにしてもよい。
また、マッチング処理は、図９に示すように、参照枠Ｒ１に対応するであろう対応枠Ｃ´を領域Ｔ１内でドット毎に矢印方向に移動させ、その都度、参照枠Ｒ１と移動する対応枠Ｃ´との相関をＲＡＭ５に記憶してもよい。
以上が、図３に示したパターンマッチング部１２の処理である。

ＣＰＵ３は、図１０に示すように、マッチング処理の結果から、対応枠領域Ｔ１〜Ｔ４内の各対応枠Ｃのうち、参照枠Ｒ１〜Ｒ４に関係の深い対応枠を３個づつ抽出して対応枠候補群Ｇ１〜Ｇ４を設定する（ステップＳ７）。図９の場合、対応枠候補群と抽出された対応枠の関係は、対応枠候補群Ｇ１が対応枠Ｃ１２，Ｃ１４，Ｃ１６、対応枠候補群Ｇ２が対応枠Ｃ２１，Ｃ２２，Ｃ２５、対応枠候補群Ｇ３が対応枠Ｃ３２，Ｃ３３，Ｃ３５、対応枠候補群Ｇ４が対応枠Ｃ４２，Ｃ４４，Ｃ４６となる。
なお、マッチング処理の結果から、参照枠Ｒ１〜Ｒ４に関係の深い対応枠が抽出されない場合には、第１基準線Ｌ１上に画像がない等が考えられるため、ステップＳ２以降の処理を再度行うようにしてもよい。

次に、ＣＰＵ３は、図１１に示すように、抽出された対応枠候補群Ｇ１〜Ｇ４から２個の対応枠を選んで第２基準線候補Ｌ２′を設定する（ステップＳ８）。本実施形態の場合には、第２基準線候補Ｌ２′は、対応枠候補群Ｇ１〜Ｇ４内に対応枠Ｃが３個ずつあるため、第２基準線候補Ｌ２′は５４本が設定される。
ＣＰＵ３は、設定された第２基準線候補Ｌ２′のうち、最適な第２基準線候補Ｌ２′を第２基準線Ｌ２として設定する（ステップＳ９）。この場合、第２基準線候補Ｌ２′のうち、対応枠候補群Ｇ１〜Ｇ４の対応枠との距離の合計が最も小さい第２基準線候補Ｌ２′を第２基準線Ｌ２として設定する。
次に、ＣＰＵ３は、第１基準線Ｌ１と第２基準線Ｌ２とを比較し、平行であるか否かを判定する（ステップＳ１０）。
以上が、図３に示した第２基準線設定部１３の処理である。

ＣＰＵ３は、図１２に示すように、前記判定において平行でないと判定した場合には（ステップＳ１０；ＮＯ）、傾き補正を行う（ステップＳ１１）。この場合、第１基準線Ｌ１に対して第２基準線Ｌ２が傾いている角度分だけ、第２画像Ｂ全体を矢印の方向に回動させる（図１３、参照）。この際、画像の補正は、アフィン変換等の変換方式で行われる。
その後、ＣＰＵ３は、ステップＳ４以降の処理を繰り返し、参照枠Ｒ１〜Ｒ４に対応した領域Ｔ１〜Ｔ４を設定し、この領域Ｔ１〜Ｔ４内の対応枠Ｃから対応枠候補群Ｇ１〜Ｇ４を設定する。その後、複数本の第２基準線候補Ｌ２´を設定した上で第２基準線Ｌ２を設定する。
なお、既に対応枠領域Ｔ１〜Ｔ４は設定されているため、この領域を基準に設定すれば、処理時間を短縮することが可能となる。
以上が、図３に示した傾き補正部１４の処理である。

一方、ＣＰＵ３は、前記判定において平行であると判定した場合には（ステップＳ１０；ＹＥＳ）、画像合成を行う。この画像合成は、第１基準線Ｌ１と第２基準線Ｌ２を重ね合わせ、即ち参照枠Ｒ１〜Ｒ４と、第２基準線Ｌ２上の対応枠とを重ね合わせて第１画像Ａと第２画像Ｂとを合成する（ステップＳ１２）。

このように、本実施形態に係る画像合成においては、参照枠に対応した複数個の対応枠からなる対応枠候補群から、第２基準線を求めるようにしているから、精度良く第２画像上の第２基準線を算出することができる。
しかも、参照枠Ｒに対して１個の対応枠Ｃを抽出する処理を行うのではなく、参照枠に対応した対応枠の取り得る領域内の対応枠に対してマッチング処理を行うようにしているため、処理工数（つまり、演算処理量）を大幅に削減でき、高速処理を実現することができる。

また、参照枠Ｒ１〜Ｒ４に対応した領域Ｔ１〜Ｔ４を設定し、この領域Ｔ１〜Ｔ４内の対応枠Ｃから対応枠候補群Ｇ１〜Ｇ４を設定し、その後複数本の第２基準線候補Ｌ２´を設定した上で第２基準線Ｌ２を設定する処理（ステップＳ４〜ステップＳ１１）を繰り返して行うことにより、１回目の処理で抽出された第２基準線Ｌ２が誤差を含んでいても、２回目、３回目と処理を実行することにより、この誤差を小さくでき、より正確な第２基準線Ｌ２を抽出することができる。
さらに、前回の処理を基準にして繰り返し処理を行うことにより、処理時間の短縮が図られ、ひいては高速化した画像合成を実現できる。

＜第２実施形態＞
本発明による第２実施形態について、図１４ないし図１９に基づいて説明する。
本実施形態の特徴は、第１実施形態で述べた画像合成を行う前に、第１画像に対する第２画像の配置関係を算出して補正を行う点にある。なお、前述した第１実施形態と同様の処理ステップにおいては、同一の符号を付し、その説明を省略するものとする。

まず、本実施形態によって実施される合成画像処理の動作を、図１４に基づいて説明する。
スキャナ２で大きな元の画像Ｏを分割して読み込む場合、元の画像Ｏのスキャナ２への載置方向によって、元の画像Ｏの上側と読み込んだ画像の上側とが必ずしも一致するとは限らない。
図１４は、大きな元の画像Ｏをスキャナで４つの読み込み画像２０１〜２０４に分割して読み込んだ図である。画像２０１〜２０４中の白抜き矢印は、元の画像Ｏの天地（上側）を示したものである。即ち、左上の読み込み画像２０１は、その上側が元の画像Ｏの上側と一致し、右上の読み込み画像２０２は、その右側が元の画像Ｏの上側と一致し、左下の読み込み画像２０３は、その下側が元の画像Ｏの上側と一致し、右下の読み込み画像２０４は、その左側が元の画像Ｏの上側と一致することになる。
そこで、図１４（Ｂ）に示すように、読み込み画像２０１〜２０４の向きを揃えた上で、図１４（Ｃ）に示すように、相対ズレを補正する必要がある。
このように、第２実施形態では、隣り合う画像間での画像の向きを揃える処理を行うことにある。

ここで、図１５の機能ブロック図に基づき、第２実施形態による画像合成の概略を説明する。
画像合成プログラムは、スキャナ２から読み込んだ少なくとも２以上の画像データに対し、パターン設定部２１、パターンマッチング部２２、第１基準線設定部２３、対応位置記憶部２４と、第１実施形態で述べたパターンマッチング部１２、第２基準線設定部１３、傾き補正部１４および画像合成部１５を備えている。

各部の動作を簡単に説明すると、パターン設定部２１では、各第１基準線候補設定、参照枠設定、対応枠領域設定および対応枠設定等の各処理を行う。パターンマッチング部２２では、各参照枠の画像に対する各対応枠の画像をパターンマッチングにより測定する処理を行う。第１基準線設定部２３では、各第１基準線候補のうち、各対応枠に関係の深い参照枠を備えた線を第１基準線として設定する処理を行う。対応位置記憶部２４では、前記第１基準線設定部２３で設定された第１基準線をＲＡＭ１５に記憶する。パターンマッチング部１２、第２基準線設定部１３、傾き補正部１４および画像合成部１５は、第１実施形態で述べた処理を行う。

また、図１６に基づき、第１画像Ｅと第２画像Ｆとの間で、対向し得る辺（重複部）の組み合わせについて説明する。なお、各画像は正方形で読み込まれたものとする。白抜き矢印は、画像の読込方向を指している。
この場合、第１画像Ｅの４辺（重複部）に対して第２画像Ｆの４辺（重複部）がそれぞれ対応する可能性があるため、４×４（１６）個の組み合わせが存在する。読み込まれた画像の形状が長方形の場合には、組み合わせは４×２（８）個の組み合わせとなる。

次に、図１７の流れ図および図１８，図１９に基づいて、本実施形態による画像合成の動作について説明する。
まず、ＲＡＭ５には、予めスキャナ２によって読み込まれ、互いに重複する画像領域を有する略正方形状の第１画像Ｅと第２画像Ｆの画像データが記憶されている。第１画像Ｅに対して第２画像Ｆの位置関係、即ち第１画像Ｅに対して第２画像Ｆが上下左右のどの位置にあり、各画像の上下左右方向が揃っているか否かは分かっていないものとする。

まず、ＣＰＵ３は、ＲＡＭ５から第１画像Ｅおよび第２画像ＦをＲＯＭ４に読み出す（ステップＳ２１）。
次に、ＣＰＵ３は、第１画像Ｂの４辺の重複するであろう画像領域内に第１基準線Ｌ１をそれぞれ１本ずつ、合計４本設定する（ステップＳ２２）。さらに、ＣＰＵ３は、図１８に示すように、各第１基準線Ｌ１上に例えば４個の参照枠Ｒ１〜Ｒ４を等間隔に設定する（ステップＳ２３）。

ＣＰＵ３は、第２画像Ｆに対し、各第１基準線Ｌ１の参照枠Ｒ１〜Ｒ４に対応した対応枠Ｃの取り得る領域Ｔを設定する（ステップＳ２４）（図１９、参照）。この場合、図１６に示すように、一本の第１基準線Ｌ１に対向し得る第２画像Ｆの辺は４辺あるため、四本の第１基準線Ｌ１に対しては第２画像Ｆの辺との組み合わせは１６通りある。
次に、ＣＰＵ３は、領域Ｔ１〜Ｔ４内をそれぞれ複数（例えば、６個）の対応枠Ｃに分けて設定する（ステップＳ２５）。
なお、図１９では、便宜上、第１画像Ｅの右側に第２画像Ｆが位置するように記載しているが、この段階では、第１画像Ｅの上下左右のどの位置に第２画像Ｆが対応しているかは分かっていないため、図１６のような種類の組み合わせがある。
以上が、図１５に示したパターン設定部２１の処理である。

次に、ＣＰＵ３は、第１基準線Ｌ１毎の参照枠Ｒ１〜Ｒ４に対応するであろう各対応枠のマッチング処理をそれぞれ行う（ステップＳ２６）。
具体的には、第１基準線Ｌ１毎に、参照枠Ｒ１と、この参照枠Ｒ１に対応するであろう対応枠Ｃ１１〜Ｃ１６を各々重ね合わせ、一対の画像間の相関をそれぞれ算出する。参照枠Ｒ２，Ｒ３，Ｒ４に対応するであろうＣ２１〜Ｃ２６，Ｃ３１〜Ｃ３６，Ｃ４１〜Ｃ４６についても順次算出し、この結果をＲＡＭ５に記憶する。
以上が、図１５に示したパターンマッチング部２２、第１基準線設定部２３および対応位置記憶部２４における処理である。

ＣＰＵ３は、マッチング処理の結果から、対応枠領域Ｔ１〜Ｔ４内の各対応枠Ｃのうち、第１基準線Ｌ１毎に、参照枠Ｒ１〜Ｒ４に関係の深い対応枠を３個づつ抽出して対応枠候補群Ｇ１〜Ｇ４を設定する（ステップＳ２７）（図１０、参照）。
次に、ＣＰＵ３は、抽出された対応枠候補群Ｇ１〜Ｇ４から２個の対応枠を選んで第２基準線候補Ｌ２′を設定する（ステップＳ２８）（図１１、参照）。さらに、ＣＰＵ３は、設定された第２基準線候補Ｌ２′のうち、最適な第２基準線候補Ｌ２′を第２基準線Ｌ２として設定する（ステップＳ２９）（図１２、参照）。
その後、ＣＰＵ３は、ＲＡＭ５に記憶された各第２基準線の選出基準に基づき、前記第１画像と前記第２画像の相対的な配置・方向関係を決定する（ステップＳ３０）。具体的には、これまでの処理において各第１基準線Ｌ１の参照枠Ｒ１〜Ｒ４に対して関係の深い対応枠Ｃを有する第２基準線Ｌ２が設定されているから、それぞれの第２基準線を比較することで、第１画像Ｅに対して第２画像Ｆはどの位置（配置）、どの方向に向いているかが判定できる。ＣＰＵ３は、この結果から、第１基準線Ｌ１および第２基準線Ｌ２とが互いに対向するように、少なくとも一方の画像を回転させる。

その後、ＣＰＵ３は、第１実施形態で説明したステップＳ１０〜Ｓ１２、およびステップＳ４〜Ｓ９までの処理を実行する。

このように、第２実施形態においては、画像間の配置および方向を合わせることができる。しかも、後半のステップＳ６におけるマッチング処理は既にステップＳ２６で実行していため、省略することができ、画像合成の処理速度の高速化を図ることができる。

＜変形例＞
前記各実施形態では、スキャナによって読み込んだ画像に対しての合成について述べたが、本発明はこれに限ることなく、デジタルカメラ等の入力装置によって撮像された画像を合成するのに用いてもよいことは勿論である。

また、画像合成プログラムは、コンピュータシステムのパソコン本体に内蔵するだけでなく、コピー機能，ファックス機能，プリンタ機能或いはスキャナ機能を備えた複合機、スキャナ、コピー機等の読み取り装置に内蔵してもよい。さらに、画像合成プログラムは、ＣＤ−ＲＯＭ等に記録媒体に書き込んでおき、その記録媒体を使用時にパソコン本体にインストールしてもよい。

前記各実施形態では、ステップＳ６〜Ｓ１１の繰り返し処理を、各基準線が平行でない場合に行うようにしたが、予め決められた所定回数だけ繰り返して処理を行うようにしてもよい。

前記各実施形態では、ステップＳ１１の処理においては、第２画像を回動させて傾きを補正するようにしたが、第１画像を回動させて傾きを補正しても、第１画像および第２画像を共に回動させて傾きを補正するようにしてもよい。

前記実施形態では、第１基準線Ｌ１上に参照枠Ｒを４個設定するものとして述べたが、参照枠は２個、３個或いは５個以上設定されるようにしてもよい。また、対応枠候補群Ｇの対応枠Ｃを３個設定するものとして述べたが、対応枠Ｃは２個或いは４個以上設定されるようにしてもよい。

本発明に係る画像合成プログラムが実装されたコンピュータシステムを示す全体図である。コンピュータシステムを示すブロック図である。第１実施形態による画像合成プログラムの機能ブロック図である。第１実施形態による画像合成を示す流れ図である。第１実施形態の画像合成による元の画像に対して分割して読み取った画像を示した図である。第１実施形態の画像合成による第１基準線および参照枠の設定を示した図である。第１実施形態の画像合成による第２画像への領域の設定を示した図である。図７の要部を拡大して示す図である。図８の変形例を示す図である。第１実施形態の画像合成による対応枠候補群の設定を示した図である。第１実施形態の画像合成による第２基準線候補の設定を示した図である。第１実施形態の画像合成による第２基準線の設定を示した図である。第１実施形態の画像合成による画像全体の傾き補正を示した図である。第２実施形態による画像合成を例示した図である。第２実施形態による画像合成プログラムの機能ブロック図である。第１画像の各重複部に対して、第２画像の各重複部との組合せを例示した図である。第２実施形態による画像合成を示す流れ図である。第２実施形態の画像合成による第１基準線候補および参照枠の設定を示した図である。第２実施形態の画像合成による領域の設定を示した図である。画像合成を説明した図である。

符号の説明

１１，２１…パターン設定部、１２，２２…パターンマッチング部、１３…第２基準線設定部、１４…傾き補正部、１５…画像合成部、２３…第１基準線設定部、２４…対応位置記憶部、Ａ，Ｅ…第１画像、Ｃ…対応枠、Ｂ，Ｆ…第２画像、Ｇ１〜Ｇ４…対応枠候補群、Ｌ１…第１基準線、Ｌ１′…第１基準線候補、Ｌ２…第２基準線、Ｌ２′…第２基準線候補、Ｔ…対応枠領域、Ｒ１〜Ｒ４…参照枠。

Claims

互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成装置において、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
前記第１画像のうち、重複した画像領域内に第１基準線を設定する第１基準線設定手段と、
前記第１基準線上に少なくとも２個の参照枠を設定する参照枠設定手段と、
前記第２画像に対し、前記重複した領域内において、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定する対応枠領域設定手段と、
前記各参照枠と、この参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定する関係度測定手段と、
測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定する対応枠候補群設定手段と、
前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定する第２基準線候補設定手段と、
前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定する第２基準線設定手段と、
前記各基準線を基準に、各画像を合成する合成手段と、
を備えたことを特徴とする画像合成装置。
互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成装置において、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
前記第１画像のうち、前記第２画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した画像領域内に第１基準線候補をそれぞれ設定する第１基準線設定手段と、
前記各第１基準線候補上に少なくとも２個の参照枠を設定する参照枠設定手段と、
前記第２画像に対し、前記第１画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した領域内に、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定する対応枠領域設定手段と、
前記第１画像の４つの辺と前記第２画像の４つの辺との取り得る全組み合わせについて、前記各参照枠とこの参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定する関係度測定手段と、
測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定する対応枠候補群設定手段と、
前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定する第２基準線候補設定手段と、
前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定する第２基準線設定手段と、
取り得る全組み合わせ毎に求めた各第２基準線の確からしさに基づき、前記第１画像と前記第２画像の相対的な配置・方向関係を決定する配置方向判定手段と、
前記配置方向判定の結果と前記各基準線を基準に、各画像を合成する合成手段と、
を備えたことを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記合成手段により各画像を合成する前に、前記第１基準線と前記第２基準線が平行になるように、前記第１画像或いは前記第２画像のうち、少なくとも一方の画像の傾きを補正する補正手段と、前記関係度測定手段、前記対応枠候補群設定手段、前記第２基準線候補設定手段および前記第２基準線設定手段を順次繰り返すことを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記第１基準線設定手段は、第１画像の辺に対してほぼ平行に延びるように第１基準線を設定することを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記第１基準線設定手段は、最も多くの画像が横切る位置に第１基準線を設定することを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記参照枠設定手段は、第１基準線上に等間隔に参照枠を設定することを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記参照枠設定手段は、第１基準線上で画像の存在する位置に参照枠を設定することを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記参照枠設定手段は、第１基準線上で周囲の形状に特徴のある点を抽出し、この特徴点を含む位置に参照枠を設定することを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記対応枠領域設定手段における対応枠の取り得る領域は、重複した画像領域の幅および／または画像のズレ幅および／または画像の回転によるズレ幅を越えた範囲であることを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記対応枠候補群設定手段は、参照枠に存在する画像と、各対応枠に存在する画像とを比較し、参照枠の画像に近い対応枠を抽出することを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記第２基準線設定手段は、各第２基準線候補のうち各参照枠に対応した対応枠との距離の合計が最も小さい第２基準線を抽出することを特徴とする画像合成装置。
請求項１１記載の画像合成装置において、
各対応枠と各第２基準線候補の距離を求める際、その対応枠と組である参照枠の複雑度および／または前記関係度とを重み付けとして用いることを特徴とする画像合成装置。
請求項１または２記載の画像合成装置において、
前記合成手段は、参照枠と、この参照枠に対応する対応枠とを重ね合わせるように合成することを特徴とする画像合成装置。
請求項２記載の画像合成装置において、
前記配置方向判定手段は、各参照枠の複雑度および／またはその対応枠との関係度とを重み付けとして用いることを特徴とする画像合成装置。
互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成方法において、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
前記第１画像のうち、重複した画像領域内に第１基準線を設定する第１基準線設定工程と、
前記第１基準線上に少なくとも２個の参照枠を設定する参照枠設定工程と、
前記第２画像に対し、前記重複した領域内において、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定する対応枠領域設定工程と、
前記各参照枠と、この参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定する関係度測定工程と、
測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定する対応枠候補群設定工程と、
前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定する第２基準線候補設定工程と、
前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定する第２基準線設定工程と、
前記各基準線を基準に、各画像を合成する合成工程と、
を備えたことを特徴とする画像合成方法。
互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成方法において、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
前記第１画像のうち、前記第２画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した画像領域内に第１基準線候補をそれぞれ設定する第１基準線設定工程と、
前記各第１基準線候補上に少なくとも２個の参照枠を設定する参照枠設定工程と、
前記第２画像に対し、前記第１画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した領域内に、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定する対応枠領域設定工程と、
前記第１画像の４つの辺と前記第２画像の４つの辺との取り得る全組み合わせについて、前記各参照枠とこの参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定する関係度測定工程と、
測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定する対応枠候補群設定工程と、
前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定する第２基準線候補設定工程と、
前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定する第２基準線設定工程と、
取り得る全組み合わせ毎に求めた各第２基準線の確からしさに基づき、前記第１画像と前記第２画像の相対的な配置・方向関係を決定する配置方向判定工程と、
前記配置方向判定の結果と前記各基準線を基準に、各画像を合成する合成工程と、
を備えたことを特徴とする画像合成方法。
互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成プログラムにおいて、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
コンピュータに、
前記第１画像のうち、重複した画像領域内に第１基準線を設定するステップと、
前記第１基準線上に少なくとも２個の参照枠を設定するステップと、
前記第２画像に対し、前記重複した領域内において、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定するステップと、
前記各参照枠と、この参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定するステップと、
測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定するステップと、
前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定するステップと、
前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定するステップと、
前記各基準線を基準に、各画像を合成するステップと、
を実行させることを特徴とする画像合成プログラム。
互いに重複した画像の領域を有する少なくとも２つの画像を合成し、一つの合成画像を得る画像合成プログラムにおいて、
隣接する２つの画像を合成する際に基準とする一方の画像を第１画像、他方の画像を第２画像とし、
コンピュータに、
前記第１画像のうち、前記第２画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した画像領域内に第１基準線候補をそれぞれ設定するステップと、
前記各第１基準線候補上に少なくとも２個の参照枠を設定するステップと、
前記第２画像に対し、前記第１画像と隣接する可能性のある４つの辺近傍に位置し、４つの重複した領域内に、前記各参照枠と同じ大きさでこれと対応した対応枠の取り得る領域を、予め決められたルールに基づいて設定するステップと、
前記第１画像の４つの辺と前記第２画像の４つの辺との取り得る全組み合わせについて、前記各参照枠とこの参照枠に対応した前記対応枠領域内に取り得る各対応枠との関係度を測定するステップと、
測定された関係度に基づき、参照枠毎に関係の深い対応枠を対応枠領域内からそれぞれ少なくとも２個抽出して対応枠候補群を設定するステップと、
前記対応枠候補群毎の各対応枠同士を互いに繋いで複数本の第２基準線候補を設定するステップと、
前記各第２基準線候補から最適な第２基準線候補を第２基準線として設定するステップと、
取り得る全組み合わせ毎に求めた各第２基準線の確からしさに基づき、前記第１画像と前記第２画像の相対的な配置・方向関係を決定するステップと、
前記配置方向判定の結果と前記各基準線を基準に、各画像を合成するステップと、
を実行させることを特徴とする画像合成プログラム。
請求項１７または１８に記載の画像合成プログラムを記録した
ことを特徴とする記録媒体。