JP4007524B2 - 画像合成方法及び装置並びに情報記録媒体 - Google Patents
画像合成方法及び装置並びに情報記録媒体 Download PDFInfo
- Publication number
- JP4007524B2 JP4007524B2 JP09112598A JP9112598A JP4007524B2 JP 4007524 B2 JP4007524 B2 JP 4007524B2 JP 09112598 A JP09112598 A JP 09112598A JP 9112598 A JP9112598 A JP 9112598A JP 4007524 B2 JP4007524 B2 JP 4007524B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- element images
- images
- coordinate system
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどによって撮影された複数の画像を１枚の画像に合成する技術に関する。
【０００２】
【従来の技術】
対象物を複数の画像に分けて撮影し、それら画像（要素画像と呼ぶ）を貼り合わせて１枚の高解像度画像又は広角画像を合成する方法については、多くの提案がなされている。このような画像合成においては、隣り合う要素画像のオーバーラップ領域を利用して要素画像の相対的な位置を測定するのが一般的であり、例えば、特開平７−８５２４６公報や、Ｐankaj Ｄani and Ｓubhasis Ｃhaudhuri，“Ａutomated Ａssembling of Ｉmages：Ｉmage Ｍotage Ｐrreparation”，Ｐattern Ｒecognition，Ｖol.２８，Ｎo.３，pp．４３１−４４５，１９９５などに、そのような画像合成手法の例が見られる。また、Ｓhenchang Ｅric Ｃhen，“ＱuickＴime ＶＲ-Ａn Ｉmage−based Ａpproach to Ｖirtual Ｅnvironment Ｎavigation”，Ｐroc.ＳＩＧＧＲＡＰＨ’９５，Ｌos Ａngeles，Ｃalifornia，Ａugust ６−１１，１９９５，pp．２９−３８に、カメラを三脚に載せて水平方向にほぼ等角度ずつ回転させ、３６０゜のシーンを部分的にオーバーラップさせた複数の要素画像として撮影し、それら要素画像から、水平方向３６０゜のパノラマ画像を合成する方法が述べられている。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来技術は、要素画像の個数が少ない場合や、要素画像が多くても、それらが一定の配置関係にあることが予め分かっている場合を想定しており、要素画像の個数が多く、その配置関係が事前に分かっていない場合や、要素画像が３次元的に多数並ぶ場合などを想定したものではない。
【０００４】
よって、本発明の目的は、要素画像の個数が多く、その配置関係が事前に分かっていない場合や、要素画像が３次元的に多数並ぶ場合などにも、要素画像を効率的な処理によって高精度に合成する方法及び装置を提供することにある。
【０００５】
本発明のもう一つの目的は、同じ要素画像から、様々な視点から撮影もしくは観測した如き画像を合成する方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成方法であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行うステップと、前記位置合わせされた隣り合う複数の要素画像からオーバーラップ領域を推定するステップと、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出するステップと、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための座標変換行列を決定するステップと、前記決定された座標変換行列に基づいて、前記隣り合う複数の要素画像を共通の座標系に変換して貼り合わせるステップとを含むことを特徴とする。
【０００７】
請求項２記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成方法であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行うステップと、前記位置合わせされた隣り合う複数の要素画像から、それぞれ隣り合う要素画像のオーバーラップ領域を推定するステップと、前記位置合わせされた複数の要素画像から任意の要素画像中の任意の位置を視点とする指定を受け付けるステップと、前記位置合わせされた複数の要素画像のそれぞれ隣り合う要素画像について、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出するステップと、前記複数の要素画像のそれぞれ隣り合う要素画像について、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための第１の座標変換行列を決定するステップと、前記指定された視点に対応する要素画像を基準画像とし、各要素画像から前記基準画像の座標系への第２の座標変換行列を、それぞれ前記隣り合う要素画像間の前記第１の座標変換行列を用いて計算するステップと、前記指定された視点に対応する投影平面を設定するステップと、前記複数の要素画像を参照球面へ投影し、前記計算された第２の座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して前記投影平面へ投影して貼り合わせるステップとを含むことを特徴とする。
【０００８】
請求項３記載の発明は、請求項２に記載の画像合成方法において、前記指定された視点に対応する投影平面を設定するステップは、前記指定された視点の方向に対して、垂直な平面を投影平面として設定することを特徴とする。
【０００９】
請求項４記載の発明は、請求項１乃至３のいずれか１に記載の画像合成方法において、前記推定された隣り合う複数の要素画像のオーバーラップ領域の平均輝度の比を測定し、前記測定された比に基づいて、前記隣り合う複数の要素画像の輝度を補正するステップをさらに含み、前記推定されたオーバーラップ領域から対応点のペアを抽出するステップは、前記輝度が補正された隣り合う複数の要素画像のオーバーラップ領域から対応点のペアを複数抽出することを特徴とする。
【００１０】
請求項５記載の発明は、請求項１乃至４のいずれか１に記載の画像合成方法において、前記参照球面の所定の半径は、前記要素画像を撮像した撮像手段の焦点距離又はその整数倍であることを特徴とする。
【００１１】
請求項６記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成装置であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行う手段と、前記位置合わせされた隣り合う複数の要素画像からオーバーラップ領域を推定する手段と、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出する手段と、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための座標変換行列を決定する手段と、前記決定された座標変換行列に基づいて、前記隣り合う複数の要素画像を共通の座標系に変換して貼り合わせる手段とを有することを特徴とする。
【００１２】
請求項７記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成装置であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行う手段と、前記位置合わせされた隣り合う複数の要素画像から、それぞれ隣り合う要素画像のオーバーラップ領域を推定する手段と、前記位置合わせされた複数 の要素画像から任意の要素画像中の任意の位置を視点とする指定を受け付ける手段と、前記位置合わせされた複数の要素画像のそれぞれ隣り合う要素画像について、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出する手段と、前記複数の要素画像のそれぞれ隣り合う要素画像について、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための第１の座標変換行列を決定する手段と、前記指定された視点に対応する要素画像を基準画像とし、各要素画像から前記基準画像の座標系への第２の座標変換行列を、それぞれ前記隣り合う要素画像間の前記第１の座標変換行列を用いて計算する手段と、前記指定された視点に対応する投影平面を設定する手段と、前記複数の要素画像を参照球面へ投影し、前記計算された第２の座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して前記投影平面へ投影して貼り合わせる手段とを有することを特徴とする。
【００１３】
請求項８記載の発明は、請求項７に記載の画像合成装置において、前記指定された視点に対応する投影平面を設定する手段は、前記指定された視点の方向に対して、垂直な平面を投影平面として設定することを特徴とする。
【００１４】
請求項９記載の発明は、請求項６乃至８のいずれか１に記載の画像合成装置において、前記推定された隣り合う複数の要素画像のオーバーラップ領域の平均輝度の比を測定し、前記測定された比に基づいて、前記隣り合う複数の要素画像の輝度を補正する手段をさらに含み、前記推定されたオーバーラップ領域から対応点のペアを抽出する手段は、前記輝度が補正された隣り合う複数の要素画像のオーバーラップ領域から対応点のペアを複数抽出することを特徴とする。
【００１５】
請求項１０記載の発明は、コンピュータを請求項６乃至９のいずれか１に記載の画像合成装置の各手段として機能させるためのプログラムが記録されたことを特徴とする機械読み取り可能な情報記録媒体である。
【００１６】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて説明する。
図１に、本発明の一実施例による画像合成処理のフローチャートを示す。このような処理は専用の処理装置によって実施することもできるが、ここでは例えば図２に簡略化して示すような一般的なコンピュータ上でプログラムにより実施されるものとして説明する。
【００１７】
図２に示すコンピュータは、ＣＰＵ２００、データやプログラム等を格納するためのメモリ２０５、ハードディスク装置等の補助記憶装置２１０、マンマシンインターフェイスのための入出力装置としてのディスプレイ装置２１５、キーボード２２０及びマウス２２５、フロッピーディスクやＣＤ−ＲＯＭ等の情報記録媒体２３０の読み書きのためのドライブ２３５、デジタルカメラ等の画像撮影装置により撮影された要素画像のデータが記録されたＰＣカード２４０の読み書きのためのＰＣカードリーダ２４５などをシステムバス２５０で接続した一般的な構成である。
【００１８】
図１に示す各処理ステップのための手段としてコンピュータを機能させるための（又は各処理ステップの手順をコンピュータのハードウエアを利用して実現するための）画像合成処理プログラムは、例えばＣＤ−ＲＯＭなどの情報記録媒体２３０からドライブ２３５を介して読み込まれて例えば補助記憶装置２１０に保存され、そして必要な時にメモリ２０５にロードされてＣＰＵ２００により実行される。補助記憶装置２１０にはオペレーティングシステム等の他のプログラムも格納されており、これらはコンピュータの立ち上げ時に必要な部分がメモリ２０５にロードされる。
【００１９】
本実施例では、要素画像の大体の位置合わせのために、ディスプレイ画面上で複数の半透明ウインドウのオーバーラッピングが可能なウインドウ環境を利用する。このようなウインドウ環境は、例えばＭＳ−Ｗindowsのようなオペレーティングシステムによって提供されてもよいし、例えばオペレーティングシステムＵＮＩＸ上で動作するＸ Ｗindow Ｓystemのようなウインドウシステムによって提供されてもよい。
【００２０】
要素画像の撮影方法は、撮影に用いるデジタルカメラなどの位置が不動であることと、隣り合う要素画像が部分的にオーバーラップするならば、特に限定されないが、次のような方法が効率的で間違いも生じにくく便利であろう。デジタルカメラを三脚に取り付ける。まず、デジタルカメラの撮影方位をある方位に設定し、例えば図３に示す要素画像Ｉmage１を撮影する。次に撮影方位を上方へある角度だけ振って要素画像Ｉmage４を撮影し、さらに上方へある角度だけ振って要素画像Ｉmage７を撮影する。垂直方向の撮影方位の振り角度は、上下に隣り合う要素画像が部分的にオーバーラップするように調整する。次に要素画像Ｉmage１の撮影方位に戻し、撮影方位を右へある角度だけ振って要素画像Ｉmage２を撮影する。要素画像Ｉmage２は少なくとも要素画像Ｉmage１，Ｉmage４と部分的にオーバーラップさせる。次に撮影方位を上方へある角度だけ振って要素画像Ｉmage５を撮影する。この要素画像Ｉmage５は、少なくとも要素画像Ｉmage２，Ｉmage１，Ｉmage４と部分的にオーバーラップさせる。次に要素画像Ｉmage８を撮影する。撮影方位を要素画像Ｉmage２の方位に戻してから右にある角度振って、要素画像Ｉmage３，Ｉmage６，Ｉmage９をこの順に撮影する。このようにして、一定の視野範囲を漏れなくカバーし、かつ、隣接したもの同士が部分的にオーバーラップした３×３の要素画像を容易かつ確実に撮影することができる。一般的には、このような方法でＭ×Ｎの要素画像を撮影することができる。
【００２１】
このようにして撮影された要素画像のデータは例えばデジタルカメラにセットされたＰＣカードに記録され、このＰＣカードがＰＣカードリーダ２４５にセットされて読み込まれ、補助記憶装置２１０に格納される。
【００２２】
図１を参照して説明する。まず、ステップ１００において、補助記憶装置２１０から合成処理の対象となる要素画像をメモリ２６０の要素画像メモリ領域に読み込む。図８はこの様子を模式的に示しており、８１０は要素画像メモリ領域である。例えば図３に示した３×３の要素画像を合成しようとする場合、９個の要素画像メモリ領域８１０が確保され、それぞれに要素画像が読み込まれる。
【００２３】
次のステップ１１０では、ディスプレイ装置２１５の画面上において、人手操作により要素画像の大体の位置合わせを行う。すなわち、ＭＳ−ＷindowsやＸ Ｗindow Ｓystemなどによって提供されるウインドウ環境を利用し、ディスプレイ画面上に各要素画像がそれぞれ半透明ウインドウとして重ねて表示され、操作者はマウス２２５又はキーボード２２０の操作を通じて各ウインドウの位置を調節し、複数の要素画像の大体の位置合わせをする。
【００２４】
図４に、大体の位置合わせが行われた時のディスプレイ画面の表示例を模式的に示す。図４において、４０１，４０２，４０３，４０４はそれぞれ半透明ウインドウとして表示された要素画像である。隣り合った要素画像のオーバーラップ領域の共通の像部（この例では網掛けされた部分）が重なり合うように、各要素画像のウインドウが位置合わせされる。この位置合わせは精密なものではないが、その後の処理の効率化と誤りの防止に寄与する。
【００２５】
このような人手操作による要素画像の位置合わせが終わり、その終了が指示されると、ステップ１２０に進み、ディスプレイ画面上の各要素画像の左上コーナーの座標が読み取られ、また、各要素画像の配置関係もしくは並び順が認識される。認識された各要素画像の左上コーナーの座標から、各要素画像の大体の相対的位置を推定できる。そしてステップ１３０に進む。このステップと次のステップ１４０は省略することも可能であるが、より自然で高精度の合成画像を生成するためには、これらステップの実行が望ましい。
【００２６】
デジタルカメラなどで要素画像を撮影する際に自動露出機能を利用した場合、同じ被写体またはシーンを撮影しても、要素画像毎に露出が変化することが多い。このような露出の異なる要素画像を正しく位置合わせし合成しても、要素画像の境界で輝度（もしくは濃度）が不自然に変化し、見苦しい画像となる恐れがある。このような輝度（もしくは濃度）の不自然な変化を抑制するため、ステップ１３０では各要素画像の輝度（もしくは濃度）を補正する。
【００２７】
具体的な処理の例を述べれば、既に要素画像の配置関係と大体の相対的位置が分かっているので、その情報に基づいて、隣り合う要素画像の組を決定でき、また、そのオーバーラップ領域を推定することができる。そこで、例えば横方向に隣り合う要素画像の間でオーバーラップ領域の平均輝度（濃度）の比を測定し、その比に従って、横方向に隣り合う要素画像のオーバーラップ領域の平均輝度
（濃度）を等しくするように、横方向に並ぶ要素画像の各画素の輝度（濃度）を補正する。
【００２８】
デジタルカメラなどで撮影された画像には、多かれ少なかれ光学系の歪曲収差による歪みが含まれる。ステップ１４０では、各要素画像に歪曲収差歪みの補正を施す。この補正処理においては、要素画像の撮影に使用したデジタルカメラなどの歪曲収差係数が既知の場合には、その歪曲収差係数を用いて補正を行えばよい。
【００２９】
また、歪曲収差係数が分かっていない場合には、例えば、要素画像の中から、隣り合う２つの要素画像を選び、その対応点のペアをいくつか抽出し、抽出した対応点のペアの座標を利用して歪曲収差係数を推定し、これを歪曲収差歪み補正に利用してもよい（このような歪曲収差係数を推定する具体的なアルゴリズムの一例が本出願人の特願平９−３０３８９３の明細書に述べられている）。
【００３０】
なお、上に述べた対応点抽出は、例えば、２つの要素画像を例えば１６×１６画素のブロックに分割し、２つの要素画像間でブロック単位のパターンマッチングを行い、一致したブロックの例えば中心座標を対応点とする方法によって行うことができる。このパターンマッチングで一致がとれるのは要素画像のオーバーラップ領域の範囲内であるが、本発明によれば要素画像の大体の相対的位置が判明しているため、オーバーラップ領域の範囲を予め推定し、ブロックマッチングの対象範囲をオーバーラップ領域の内部だけに限定することができる。また、要素画像の大体の相対的位置が判明しているため、オーバーラップ領域内の一方の要素画像の各ブロックと他方の要素画像の各ブロックとの大体の対応付けが可能であるため、一致するブロックのサーチ範囲を、対応すると推定されるブロックの近傍の狭い範囲に限定することができる。
【００３１】
このように対応点抽出の範囲をオーバーラップ領域に限定し、かつ一致するブロックのサーチ範囲を限定することにより、パターンマッチングの処理量を減らすことができる。また、一致するブロックのサーチ範囲が広いと似たようなパターンの部分で誤ってブロックの一致がとれる危険が大きくなるが、サーチ範囲をごく狭い範囲に限定することによって、そのような誤りを防止できる。このように本発明によれば、対応点抽出の処理を効率化し、かつ抽出誤りを減らすことができる。
【００３２】
このような輝度補正、歪み補正が施された要素画像を位置合わせして貼り合わせ、合成画像を生成することになるが、基準画像の選び方が合成精度に影響するので、まずステップ１５０で一つの要素画像を基準画像に指定する。一般に、観測したい視野の中心に近い要素画像を基準画像とするのが好ましい。例えば図３で説明したような３×３の要素画像を合成する場合、図５に示すように中心の要素画像Ｉmage５を基準画像に指定するのが一般に好ましい。本発明では、予め要素画像の配置関係が分かっているので、視野の中心に近い要素画像を基準画像に自動的に設定することも可能である。以下、図５に示す３×３の要素画像について、その中心の要素画像Ｉmage５を基準画像として合成するものとして説明する。
【００３３】
ステップ１６０において、まず基準画像Ｉmage５と、それに隣接する要素画像Ｉmage４，Ｉmage６，Ｉmage２，Ｉmage８それぞれとの間で対応点のペアを複数抽出する。また、要素画像Ｉmage４と、それに隣接する要素画像Ｉmage１，Ｉmage７それぞれとの間の対応点ペアも抽出され、同様に要素画像Ｉmage６と、それに隣接する各要素画像Ｉmage３，Ｉmage９それぞれとの間の対応点のペアも抽出される。このような対応点抽出はステップ１４０に関連して述べたようなブロック単位のパターンマッチングによればよいが、この場合にも、大体の要素画像の相対的位置と配置関係が分かっているため、対応点を抽出すべき隣り合う要素画像の組を自動的に決定できるとともに、対応点抽出のためのパターンマッチング処理の範囲をオーバーラップ領域に限定し、かつ一致するブロックのサーチ範囲を狭い範囲に限定できるので、効率的な処理が可能であり、また対応点の誤抽出を防止できる。
【００３４】
次にステップ１６５において、要素画像を撮影したデジタルカメラなどの焦点距離（又はその整数倍）を半径とする参照球面に基準画像Ｉmage５と要素画像Ｉmage４の対応点を投影し、それら対応点の位置関係に基づいて、要素画像Ｉmage４の座標を基準画像Ｉmage５の座標系（基準座標系）の座標へ変換するための座標変換行列を決定する。要素画像Ｉmage６，Ｉmage２，Ｉmage８についても、同様に対応点を参照球面へ投影し、基準座標系への座標変換行列を決定する。また、要素画像Ｉmage４と要素画像Ｉmage１，Ｉmage７については、その対応点を参照球面に投影し、それらの位置関係に基づいて各要素画像Ｉmage１，Ｉmage７の座標を要素画像Ｉmage４の座標系へそれぞれ変換するための座標変換行列を決定する。同様に、要素画像Ｉmage６と要素画像Ｉmage３，Ｉmage９の対応点を参照球面に投影し、それらの位置関係に基づいて各要素画像Ｉmage３，Ｉmage９の座標を要素画像Ｉmage６の座標系へそれぞれ変換するための座標変換行列を決定する。
【００３５】
このような隣り合った要素画像間の座標変換行列の求め方を図９を参照して説明する。図９において、ｐ１，ｐ２は、隣り合う要素画像（１），（２）の対応点を参照球面に投影した点である。この対応点Ｐ１，Ｐ２は本来は同一座標点として表現されるべきものであり、その位置関係は座標変換行列をＡとすれば次式で表すことができる。
【００３６】
【数１】
【００３７】
ここで、(ｘ1，ｙ1，ｚ1）と（ｘ2，ｙ2，ｚ2）は参照球面上の対応点ｐ１，ｐ２の座標である。この２つの要素画像の複数の対応点対ｋに関して、次式に示すように２乗誤差を最小にするようなＡの各要素ｍ（i，j）を計算する。
【００３８】
【数２】
【００３９】
【数３】
つまり、次式の方程式を解くことにより、座標変換行列Ａの各要素ｍ（i，j）を求めることができる。
【００４０】
【数４】
【００４１】
このような座標変換行列の求め方については、前記特願平９−３０３８９３の明細書にさらに詳しく述べられている。
【００４２】
ステップ１６５では、前述のようにして求めた隣接要素画像間の座標変換行列を用いて、各要素画像から基準画像の座標系（基準座標系）への座標変化行列を計算する。例えば要素画像Ｉmage９の基準画像Ｉmage５の基準座標系への座標変換は、要素画像Ｉmage９から要素画像Ｉmage６の座標系への座標変換行列と、要素画像Ｉmage６から基準座標系への座標変換行列とを乗算する形になる。
【００４３】
ところで、このような乗算の回数が多くなるほど、基準座標系への座標変換の精度したがって要素画像の位置合わせの精度が悪くなる。例えば、図６に示すように左下の要素画像Ｉmage１を基準画像に設定した場合、要素画像Ｉmage９の基準座標系への座標変換は、例えば、要素画像Ｉmage９から要素画像Ｉmage６への座標変換行列と、要素画像Ｉmage６から要素画像Ｉmage３の座標系への座標変換行列と、要素画像Ｉmage３から要素画像Ｉmage２の座標系への座標変換行列と、要素画像Ｉmage２から基準画像Ｉmage１の座標系への座標変換行列とを乗算する形になる。これから理解されるように、できるだけ観測視野の中心に近い要素画像を基準画像とした方が座標変換の精度、従って位置合わせの精度を高めることができる。
【００４４】
次に、ステップ１７０において、輝度（濃度）補正と歪み補正を施された各要素画像を参照球面に投影し、前ステップで決定された座標変換行列を使って基準座標系へ座標変換しながら参照球面から出力平面（投影平面）へ投影して貼り合わせることにより、合成画像を生成する。ここでは、図１３に示すように、参照球面の中心Ｏと基準画像つまり要素画像Ｉmage５の中心Ｏ’を結ぶ直線に対し垂直な平面が出力平面（投影平面）である。この貼り合わせ合成は全要素画像を一括して行ってもよいが、本実施例では、例えば図７に示すように、縦１列の３つの要素画像Ｉmage１，Ｉmage４，Ｉmage７を貼り合わせた部分画像を作り、この部分画像に、次の縦１列の３つの要素画像Ｉmage２，Ｉmage５，Ｉmage８を貼り合わせて作った部分画像を貼り合わせ、この部分画像にさらに、次の縦１列の３つの要素画像Ｉmage３，Ｉmage６，Ｉmage９を貼り合わせた部分画像を貼り合わせる方法をとる。
【００４５】
コンピュータ上では例えば図８に示すように、メモリ２０５上に確保されたバッファメモリ領域８２０上で左側の縦１列の３つの要素画像が貼り合わされ、この部分画像がメモリ２０５上に確保された出力画像メモリ領域８３０に貼り付けられる。次に中央の縦１列の３つの要素画像がバッファメモリ領域８２０上で貼り合わされ、この部分画像が出力画像メモリ領域８３０に貼り付けられ、最後に右側の縦１列の３つの要素画像がバッファメモリ領域８２０上で貼り合わされ、その部分画像が出力画像メモリ領域８３０に貼り付けられることにより、合成画像全体が出力画像メモリ領域８３０に生成される。
【００４６】
なお、要素画像Ｉmage１の出力平面投影画像をバッファメモリ領域８２０に生成し、これを出力画像メモリ領域８３０に貼り付け、次に要素画像Ｉmage４の出力平面投影画像をバッファメモリ領域８２０に生成し、これを出力画像メモリ領域８３０に貼り付ける、というように要素画像を１つずつ順次に出力平面に投影し貼り合わせるようにしてもよい。こうすると、バッファメモリ領域８２０のサイズを要素画像１枚相当まで縮小できる。なお、要素画像のつなぎ目をなくすためのブレンド処理を、つなぎ目部分に施すのが好ましい。
【００４７】
このようにして、上下左右に３次元的に並ぶ多数の要素画像を精密に位置合わせし貼り合わせた合成画像が生成されるが、要素画像に対し予め輝度（濃度）補正と歪み補正が施されているため、要素画像の境界での輝度（濃度）の不自然な変化や像の歪みが目立たない高品質の合成画像を得ることができる。この合成画像は、ステップ１８０で出力される。例えば、ディスプレイ装置２１５の画面に表示され、あるいは補助記憶装置２１０に格納される。
【００４８】
要素画像の数が多い場合、殊に多数の要素画像が３次元的に配置されている場合には、これまでは高精度の画像合成を効率的に行うことは難しかったが、本実施例によれば、そのような場合でも効率よく高精度な画像合成が可能である。
【００４９】
図１０は、本発明の他の実施例による画像合成処理のフローチャートを示す。この処理は専用の処理によって実施することもできるが、ここでは前記実施例と同様に図２に示すようなコンピュータ上でプログラムによって実施されるものとして説明する。図１０中の各処理ステップのための手段としてコンピュータのハードウエアを機能させる（又は各処理ステップの手順をコンピュータに実行させる）プログラムは、それが記録されたフロッピーディスクやＣＤ−ＲＯＭなどの情報記録媒体からドライブ２３５を介して読み込まれ、例えば補助記憶装置２１０に一旦保存され、処理実行時にメモリ２０５にロードされる。
【００５０】
図１０を参照して、処理内容を説明する。まず、ステップ１０００において、前記実施例と同様な方法で撮影された、合成すべき複数の要素画像を、例えば補助記憶装置２１０からメモリ２０５の要素画像メモリ領域（図８の８１０）に読み込む。読み込まれた要素画像はディスプレイ装置２１５の画面に表示される。ここでは便宜上、前記実施例と同様な図３に示すような位置関係の要素画像Ｉmage１〜Ｉmage９が読み込まれるものとして説明する。また、表示解像度（又はサイズ）を可変設定できる。
【００５１】
次のステップ１０１０において、マウス２２５の操作によりディスプレイ画面上で隣り合う要素画像の対応点を指定し、その座標を入力する。具体的には、画面上のマウスカーソルを対応点に合わせてクリックする。図１１は対応点指定の様子を模式的に表しており、ハッチングが施された円、三角形、四角形のマークはそれぞれ指定された対応点を示し、その近傍の（ ）内は対応点の座標を示す。図１１から理解されるように、隣り合う要素画像の１組につき１組の対応点を指定すればよい。
【００５２】
このようにして入力された対応点の座標を用い、次のステップ１０２０で隣り合う要素画像の左上コーナーの共通座標系での座標を次式により計算する。
【００５３】
【数５】
ここで、ｉとi-1は隣り合う画像のインデックスであり、（Ｘ，Ｙ）は要素画像の左上コーナーの共通座標系での座標、（ｘ，ｙ）はマウス操作で入力された対応点座標である。
【００５４】
このようにして、要素画像の大体の相対的位置ならびに配置関係が把握された。つまり、ステップ１０１０とステップ１０２０は、前記実施例におけるステップ１１０とステップ１２０と同じ目的を異なった方法で達成しようとするものである。
【００５５】
次のステップ１０３０において、前記実施例のステップ１３０，１４０と同様に、要素画像に対し輝度補正と歪曲収差歪み補正を施す。このステップを省略することも可能であるが、合成される画像の品質は低下する。
【００５６】
次のステップ１０４０において、前記実施例のステップ１６０と同様に、隣り合う画像の対応点を抽出し、抽出した対応点の座標を用いて前記実施例１６５と同様にして隣り合う要素画像間の座標変換行列を計算する。対応点の抽出はブロックマッチングで行うことができるが、ステップ１０２０によって隣り合う要素画像の大体の相対的位置が把握されているため、ブロックマッチングの範囲を要素画像間のオーバーラップ領域内に限定することができ、また一致するブロックのサーチ範囲も狭い範囲に限定することができる。
【００５７】
このサーチ範囲の設定について述べる。例えば、ステップ１０１０において、７６８×５７６画素の要素画像が１０分の１の解像度でディスプレイ画面に表示された状態で対応点指定を行った場合、画面上でのマウス指定精度を３画素とすると、指定された座標の誤差は要素画像上では３０画素程度であから、３０画素幅を若干超える程度のサーチ範囲を設定すればよい。また、要素画像を解像度を下げずに表示した状態で対応点指定を行った場合ならば、画面上のマウス指定精度が３画素ならば、５画素程度の幅のサーチ範囲を設定すればよい。すなわち、要素画像の表示解像度（表示サイズ）に応じてサーチ範囲を可変設定することができる。
【００５８】
本実施例では、同じ複数の要素画像に基づき、様々な視点位置から撮影もしくは観察した如き合成画像を生成できるようにするため、次のステップ１０５０において、要素画像が表示されたディスプレイ画面上でマウス操作により視点を指定し、その視点に対応した投影平面を設定する。
【００５９】
例えば、図１２（ａ）に示すような上下に隣接する２つの要素画像が表示されている場合に、上の要素画像中の、例えばハッチングを施した四角形マークの位置を視点として指定したいときには、その位置にマウスカーソルを合わせてクリックする。下の要素画像中のある位置、例えばハッチングを施した円マークの位置を視点として指定したときには、その位置にマウスカーソルを移動させクリックする。
【００６０】
そして、ステップ１０５０では、指定された視点の方向（視線方向）に対し垂直な平面を投影平面に設定する。つまり、図１３に示すＯ’が視点として指定されたとすれば、参照球面の中心ＯとＯ’を結ぶ直線に対し垂直な投影平面を設定する。
【００６１】
次のステップ１０６０において、指定された視点に対応する要素画像を基準画像とし、ステップ１０４０で求められた隣り合う要素画像間の座標変換行列の乗算により、各要素画像から基準画像の座標系（基準座標系）への座標変換行列を計算する。次のステップ１０７０において、前記実施例のステップ１７０と同様に、各要素画像を参照球面へ投影して前ステップで計算された座標変換行列を用いて基準座標系へ座標変換してから、参照球面より投影平面へ投影して、貼り合わせ合成する。合成された画像は、ステップ１８０で、例えばディスプレイ装置２１５や補助記憶装置２１０へ出力される。
【００６２】
視点位置による合成画像の違いを図１２により説明する。図１２（ａ）に示す２つの要素画像は同じ建物を上下に分割撮影したものである。下側の要素画像中の円マークの位置を視点として指定した場合、（ｂ）に示すように、建物をほぼ正面から撮影したような合成画像が生成される。他方、（ａ）の上側の要素画像中の四角形マークの位置を視点として指定した場合、（ｃ）に示すように、建物を下から見上げた如き画像が合成される。
【００６３】
このように、本実施例によれば、前記実施例と同様に多数の要素画像が３次元的に配置されている場合でも効率よく高精度な画像合成が可能であることのほかに、様々な位置に視点を置いて撮影もしくは観測した如き画像の合成が可能である。
【００６４】
なお、前記実施例においても、視点の指定と、それによる投影平面の設定を行い、同様に視点の異なる画像を合成するように変形できることは明かである。また逆に、本実施例も、前記実施例と同様に画面上で要素画像の大体の位置合わせを行わせるように変形することも可能である。また、本実施例において、前記実施例と同様に視点を固定し、従って基準画像を固定するように変形することも可能である。
【００６５】
【発明の効果】
以上に詳細に述べたように、本発明によれば、要素画像の個数が多く、それが複雑な３次元配置されていたり、要素画像の配置関係が予め分からない場合などにも、高精度な画像合成を効率的に行うことができ、同一地点でデジタルカメラなどで任意の異なった方位を撮影した多数の要素画像の合成が容易となる。また、人手操作により視点を指定し、それに応じた投影平面を設定することにより、同じ要素画像を用いて、様々な視点より撮影又は観察した如き画像を合成できるようになる。また、要素画像に撮影方位や位置関係もしくは撮影順序などを示す情報を付加する必要性がなくなり、要素画像データの構造や管理が簡易になる。簡単な人手操作による大体の位置合わせ又は対応点の指定を行うことにより、位置合わせのためのパターンマッチング等の処理量を減らし、処理を効率化できるとともに、処理の間違いを防止することができる。さらに、そのような効率的かつ高精度な画像合成を、一般的なコンピュータを利用して容易に実施可能になる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 画像合成処理の一例を示すフローチャートである。
【図２】 画像合成に利用されるコンピュータの一例を示すブロック図である。
【図３】 要素画像の撮影方法を説明するための図である。
【図４】 ディスプレイ画面上での要素画像の位置合わせを説明するための図である。
【図５】 中心の要素画像を基準画像に指定した場合の説明図である。
【図６】 左下の要素画像を基準画像に指定した場合の説明図である。
【図７】 要素画像の分割貼り合わせの説明図である。
【図８】 画像合成に関係するメモリ構成の説明図である。
【図９】 参照球面上の隣り合う要素画像の対応点の位置関係を示す図である。
【図１０】 画像合成処理の他の一例を示すフローチャートである。
【図１１】 隣り合う要素画像の対応点の指定を説明するための模式図である。
【図１２】 視点の指定と、視点の違いによる合成画像の違いを説明するための模式図である。
【図１３】 参照球面と投影平面（出力平面）を関連付けて示す図である。
【符号の説明】
２００ ＣＰＵ
２０５ メモリ
２１０ 補助記憶装置
２１５ ディスプレイ装置
２２０ キーボード
２２５ マウス
４０１〜４０４ 要素画像のウインドウ
８１０ 要素画像メモリ領域
８２０ バッファメモリ領域
８３０ 出力画像メモリ領域
Ｉmage１〜Ｉmage９ 要素画像
【発明の属する技術分野】
本発明は、デジタルカメラなどによって撮影された複数の画像を１枚の画像に合成する技術に関する。
【０００２】
【従来の技術】
対象物を複数の画像に分けて撮影し、それら画像（要素画像と呼ぶ）を貼り合わせて１枚の高解像度画像又は広角画像を合成する方法については、多くの提案がなされている。このような画像合成においては、隣り合う要素画像のオーバーラップ領域を利用して要素画像の相対的な位置を測定するのが一般的であり、例えば、特開平７−８５２４６公報や、Ｐankaj Ｄani and Ｓubhasis Ｃhaudhuri，“Ａutomated Ａssembling of Ｉmages：Ｉmage Ｍotage Ｐrreparation”，Ｐattern Ｒecognition，Ｖol.２８，Ｎo.３，pp．４３１−４４５，１９９５などに、そのような画像合成手法の例が見られる。また、Ｓhenchang Ｅric Ｃhen，“ＱuickＴime ＶＲ-Ａn Ｉmage−based Ａpproach to Ｖirtual Ｅnvironment Ｎavigation”，Ｐroc.ＳＩＧＧＲＡＰＨ’９５，Ｌos Ａngeles，Ｃalifornia，Ａugust ６−１１，１９９５，pp．２９−３８に、カメラを三脚に載せて水平方向にほぼ等角度ずつ回転させ、３６０゜のシーンを部分的にオーバーラップさせた複数の要素画像として撮影し、それら要素画像から、水平方向３６０゜のパノラマ画像を合成する方法が述べられている。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来技術は、要素画像の個数が少ない場合や、要素画像が多くても、それらが一定の配置関係にあることが予め分かっている場合を想定しており、要素画像の個数が多く、その配置関係が事前に分かっていない場合や、要素画像が３次元的に多数並ぶ場合などを想定したものではない。
【０００４】
よって、本発明の目的は、要素画像の個数が多く、その配置関係が事前に分かっていない場合や、要素画像が３次元的に多数並ぶ場合などにも、要素画像を効率的な処理によって高精度に合成する方法及び装置を提供することにある。
【０００５】
本発明のもう一つの目的は、同じ要素画像から、様々な視点から撮影もしくは観測した如き画像を合成する方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成方法であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行うステップと、前記位置合わせされた隣り合う複数の要素画像からオーバーラップ領域を推定するステップと、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出するステップと、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための座標変換行列を決定するステップと、前記決定された座標変換行列に基づいて、前記隣り合う複数の要素画像を共通の座標系に変換して貼り合わせるステップとを含むことを特徴とする。
【０００７】
請求項２記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成方法であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行うステップと、前記位置合わせされた隣り合う複数の要素画像から、それぞれ隣り合う要素画像のオーバーラップ領域を推定するステップと、前記位置合わせされた複数の要素画像から任意の要素画像中の任意の位置を視点とする指定を受け付けるステップと、前記位置合わせされた複数の要素画像のそれぞれ隣り合う要素画像について、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出するステップと、前記複数の要素画像のそれぞれ隣り合う要素画像について、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための第１の座標変換行列を決定するステップと、前記指定された視点に対応する要素画像を基準画像とし、各要素画像から前記基準画像の座標系への第２の座標変換行列を、それぞれ前記隣り合う要素画像間の前記第１の座標変換行列を用いて計算するステップと、前記指定された視点に対応する投影平面を設定するステップと、前記複数の要素画像を参照球面へ投影し、前記計算された第２の座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して前記投影平面へ投影して貼り合わせるステップとを含むことを特徴とする。
【０００８】
請求項３記載の発明は、請求項２に記載の画像合成方法において、前記指定された視点に対応する投影平面を設定するステップは、前記指定された視点の方向に対して、垂直な平面を投影平面として設定することを特徴とする。
【０００９】
請求項４記載の発明は、請求項１乃至３のいずれか１に記載の画像合成方法において、前記推定された隣り合う複数の要素画像のオーバーラップ領域の平均輝度の比を測定し、前記測定された比に基づいて、前記隣り合う複数の要素画像の輝度を補正するステップをさらに含み、前記推定されたオーバーラップ領域から対応点のペアを抽出するステップは、前記輝度が補正された隣り合う複数の要素画像のオーバーラップ領域から対応点のペアを複数抽出することを特徴とする。
【００１０】
請求項５記載の発明は、請求項１乃至４のいずれか１に記載の画像合成方法において、前記参照球面の所定の半径は、前記要素画像を撮像した撮像手段の焦点距離又はその整数倍であることを特徴とする。
【００１１】
請求項６記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成装置であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行う手段と、前記位置合わせされた隣り合う複数の要素画像からオーバーラップ領域を推定する手段と、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出する手段と、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための座標変換行列を決定する手段と、前記決定された座標変換行列に基づいて、前記隣り合う複数の要素画像を共通の座標系に変換して貼り合わせる手段とを有することを特徴とする。
【００１２】
請求項７記載の発明は、同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成装置であって、ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行う手段と、前記位置合わせされた隣り合う複数の要素画像から、それぞれ隣り合う要素画像のオーバーラップ領域を推定する手段と、前記位置合わせされた複数 の要素画像から任意の要素画像中の任意の位置を視点とする指定を受け付ける手段と、前記位置合わせされた複数の要素画像のそれぞれ隣り合う要素画像について、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出する手段と、前記複数の要素画像のそれぞれ隣り合う要素画像について、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための第１の座標変換行列を決定する手段と、前記指定された視点に対応する要素画像を基準画像とし、各要素画像から前記基準画像の座標系への第２の座標変換行列を、それぞれ前記隣り合う要素画像間の前記第１の座標変換行列を用いて計算する手段と、前記指定された視点に対応する投影平面を設定する手段と、前記複数の要素画像を参照球面へ投影し、前記計算された第２の座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して前記投影平面へ投影して貼り合わせる手段とを有することを特徴とする。
【００１３】
請求項８記載の発明は、請求項７に記載の画像合成装置において、前記指定された視点に対応する投影平面を設定する手段は、前記指定された視点の方向に対して、垂直な平面を投影平面として設定することを特徴とする。
【００１４】
請求項９記載の発明は、請求項６乃至８のいずれか１に記載の画像合成装置において、前記推定された隣り合う複数の要素画像のオーバーラップ領域の平均輝度の比を測定し、前記測定された比に基づいて、前記隣り合う複数の要素画像の輝度を補正する手段をさらに含み、前記推定されたオーバーラップ領域から対応点のペアを抽出する手段は、前記輝度が補正された隣り合う複数の要素画像のオーバーラップ領域から対応点のペアを複数抽出することを特徴とする。
【００１５】
請求項１０記載の発明は、コンピュータを請求項６乃至９のいずれか１に記載の画像合成装置の各手段として機能させるためのプログラムが記録されたことを特徴とする機械読み取り可能な情報記録媒体である。
【００１６】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて説明する。
図１に、本発明の一実施例による画像合成処理のフローチャートを示す。このような処理は専用の処理装置によって実施することもできるが、ここでは例えば図２に簡略化して示すような一般的なコンピュータ上でプログラムにより実施されるものとして説明する。
【００１７】
図２に示すコンピュータは、ＣＰＵ２００、データやプログラム等を格納するためのメモリ２０５、ハードディスク装置等の補助記憶装置２１０、マンマシンインターフェイスのための入出力装置としてのディスプレイ装置２１５、キーボード２２０及びマウス２２５、フロッピーディスクやＣＤ−ＲＯＭ等の情報記録媒体２３０の読み書きのためのドライブ２３５、デジタルカメラ等の画像撮影装置により撮影された要素画像のデータが記録されたＰＣカード２４０の読み書きのためのＰＣカードリーダ２４５などをシステムバス２５０で接続した一般的な構成である。
【００１８】
図１に示す各処理ステップのための手段としてコンピュータを機能させるための（又は各処理ステップの手順をコンピュータのハードウエアを利用して実現するための）画像合成処理プログラムは、例えばＣＤ−ＲＯＭなどの情報記録媒体２３０からドライブ２３５を介して読み込まれて例えば補助記憶装置２１０に保存され、そして必要な時にメモリ２０５にロードされてＣＰＵ２００により実行される。補助記憶装置２１０にはオペレーティングシステム等の他のプログラムも格納されており、これらはコンピュータの立ち上げ時に必要な部分がメモリ２０５にロードされる。
【００１９】
本実施例では、要素画像の大体の位置合わせのために、ディスプレイ画面上で複数の半透明ウインドウのオーバーラッピングが可能なウインドウ環境を利用する。このようなウインドウ環境は、例えばＭＳ−Ｗindowsのようなオペレーティングシステムによって提供されてもよいし、例えばオペレーティングシステムＵＮＩＸ上で動作するＸ Ｗindow Ｓystemのようなウインドウシステムによって提供されてもよい。
【００２０】
要素画像の撮影方法は、撮影に用いるデジタルカメラなどの位置が不動であることと、隣り合う要素画像が部分的にオーバーラップするならば、特に限定されないが、次のような方法が効率的で間違いも生じにくく便利であろう。デジタルカメラを三脚に取り付ける。まず、デジタルカメラの撮影方位をある方位に設定し、例えば図３に示す要素画像Ｉmage１を撮影する。次に撮影方位を上方へある角度だけ振って要素画像Ｉmage４を撮影し、さらに上方へある角度だけ振って要素画像Ｉmage７を撮影する。垂直方向の撮影方位の振り角度は、上下に隣り合う要素画像が部分的にオーバーラップするように調整する。次に要素画像Ｉmage１の撮影方位に戻し、撮影方位を右へある角度だけ振って要素画像Ｉmage２を撮影する。要素画像Ｉmage２は少なくとも要素画像Ｉmage１，Ｉmage４と部分的にオーバーラップさせる。次に撮影方位を上方へある角度だけ振って要素画像Ｉmage５を撮影する。この要素画像Ｉmage５は、少なくとも要素画像Ｉmage２，Ｉmage１，Ｉmage４と部分的にオーバーラップさせる。次に要素画像Ｉmage８を撮影する。撮影方位を要素画像Ｉmage２の方位に戻してから右にある角度振って、要素画像Ｉmage３，Ｉmage６，Ｉmage９をこの順に撮影する。このようにして、一定の視野範囲を漏れなくカバーし、かつ、隣接したもの同士が部分的にオーバーラップした３×３の要素画像を容易かつ確実に撮影することができる。一般的には、このような方法でＭ×Ｎの要素画像を撮影することができる。
【００２１】
このようにして撮影された要素画像のデータは例えばデジタルカメラにセットされたＰＣカードに記録され、このＰＣカードがＰＣカードリーダ２４５にセットされて読み込まれ、補助記憶装置２１０に格納される。
【００２２】
図１を参照して説明する。まず、ステップ１００において、補助記憶装置２１０から合成処理の対象となる要素画像をメモリ２６０の要素画像メモリ領域に読み込む。図８はこの様子を模式的に示しており、８１０は要素画像メモリ領域である。例えば図３に示した３×３の要素画像を合成しようとする場合、９個の要素画像メモリ領域８１０が確保され、それぞれに要素画像が読み込まれる。
【００２３】
次のステップ１１０では、ディスプレイ装置２１５の画面上において、人手操作により要素画像の大体の位置合わせを行う。すなわち、ＭＳ−ＷindowsやＸ Ｗindow Ｓystemなどによって提供されるウインドウ環境を利用し、ディスプレイ画面上に各要素画像がそれぞれ半透明ウインドウとして重ねて表示され、操作者はマウス２２５又はキーボード２２０の操作を通じて各ウインドウの位置を調節し、複数の要素画像の大体の位置合わせをする。
【００２４】
図４に、大体の位置合わせが行われた時のディスプレイ画面の表示例を模式的に示す。図４において、４０１，４０２，４０３，４０４はそれぞれ半透明ウインドウとして表示された要素画像である。隣り合った要素画像のオーバーラップ領域の共通の像部（この例では網掛けされた部分）が重なり合うように、各要素画像のウインドウが位置合わせされる。この位置合わせは精密なものではないが、その後の処理の効率化と誤りの防止に寄与する。
【００２５】
このような人手操作による要素画像の位置合わせが終わり、その終了が指示されると、ステップ１２０に進み、ディスプレイ画面上の各要素画像の左上コーナーの座標が読み取られ、また、各要素画像の配置関係もしくは並び順が認識される。認識された各要素画像の左上コーナーの座標から、各要素画像の大体の相対的位置を推定できる。そしてステップ１３０に進む。このステップと次のステップ１４０は省略することも可能であるが、より自然で高精度の合成画像を生成するためには、これらステップの実行が望ましい。
【００２６】
デジタルカメラなどで要素画像を撮影する際に自動露出機能を利用した場合、同じ被写体またはシーンを撮影しても、要素画像毎に露出が変化することが多い。このような露出の異なる要素画像を正しく位置合わせし合成しても、要素画像の境界で輝度（もしくは濃度）が不自然に変化し、見苦しい画像となる恐れがある。このような輝度（もしくは濃度）の不自然な変化を抑制するため、ステップ１３０では各要素画像の輝度（もしくは濃度）を補正する。
【００２７】
具体的な処理の例を述べれば、既に要素画像の配置関係と大体の相対的位置が分かっているので、その情報に基づいて、隣り合う要素画像の組を決定でき、また、そのオーバーラップ領域を推定することができる。そこで、例えば横方向に隣り合う要素画像の間でオーバーラップ領域の平均輝度（濃度）の比を測定し、その比に従って、横方向に隣り合う要素画像のオーバーラップ領域の平均輝度
（濃度）を等しくするように、横方向に並ぶ要素画像の各画素の輝度（濃度）を補正する。
【００２８】
デジタルカメラなどで撮影された画像には、多かれ少なかれ光学系の歪曲収差による歪みが含まれる。ステップ１４０では、各要素画像に歪曲収差歪みの補正を施す。この補正処理においては、要素画像の撮影に使用したデジタルカメラなどの歪曲収差係数が既知の場合には、その歪曲収差係数を用いて補正を行えばよい。
【００２９】
また、歪曲収差係数が分かっていない場合には、例えば、要素画像の中から、隣り合う２つの要素画像を選び、その対応点のペアをいくつか抽出し、抽出した対応点のペアの座標を利用して歪曲収差係数を推定し、これを歪曲収差歪み補正に利用してもよい（このような歪曲収差係数を推定する具体的なアルゴリズムの一例が本出願人の特願平９−３０３８９３の明細書に述べられている）。
【００３０】
なお、上に述べた対応点抽出は、例えば、２つの要素画像を例えば１６×１６画素のブロックに分割し、２つの要素画像間でブロック単位のパターンマッチングを行い、一致したブロックの例えば中心座標を対応点とする方法によって行うことができる。このパターンマッチングで一致がとれるのは要素画像のオーバーラップ領域の範囲内であるが、本発明によれば要素画像の大体の相対的位置が判明しているため、オーバーラップ領域の範囲を予め推定し、ブロックマッチングの対象範囲をオーバーラップ領域の内部だけに限定することができる。また、要素画像の大体の相対的位置が判明しているため、オーバーラップ領域内の一方の要素画像の各ブロックと他方の要素画像の各ブロックとの大体の対応付けが可能であるため、一致するブロックのサーチ範囲を、対応すると推定されるブロックの近傍の狭い範囲に限定することができる。
【００３１】
このように対応点抽出の範囲をオーバーラップ領域に限定し、かつ一致するブロックのサーチ範囲を限定することにより、パターンマッチングの処理量を減らすことができる。また、一致するブロックのサーチ範囲が広いと似たようなパターンの部分で誤ってブロックの一致がとれる危険が大きくなるが、サーチ範囲をごく狭い範囲に限定することによって、そのような誤りを防止できる。このように本発明によれば、対応点抽出の処理を効率化し、かつ抽出誤りを減らすことができる。
【００３２】
このような輝度補正、歪み補正が施された要素画像を位置合わせして貼り合わせ、合成画像を生成することになるが、基準画像の選び方が合成精度に影響するので、まずステップ１５０で一つの要素画像を基準画像に指定する。一般に、観測したい視野の中心に近い要素画像を基準画像とするのが好ましい。例えば図３で説明したような３×３の要素画像を合成する場合、図５に示すように中心の要素画像Ｉmage５を基準画像に指定するのが一般に好ましい。本発明では、予め要素画像の配置関係が分かっているので、視野の中心に近い要素画像を基準画像に自動的に設定することも可能である。以下、図５に示す３×３の要素画像について、その中心の要素画像Ｉmage５を基準画像として合成するものとして説明する。
【００３３】
ステップ１６０において、まず基準画像Ｉmage５と、それに隣接する要素画像Ｉmage４，Ｉmage６，Ｉmage２，Ｉmage８それぞれとの間で対応点のペアを複数抽出する。また、要素画像Ｉmage４と、それに隣接する要素画像Ｉmage１，Ｉmage７それぞれとの間の対応点ペアも抽出され、同様に要素画像Ｉmage６と、それに隣接する各要素画像Ｉmage３，Ｉmage９それぞれとの間の対応点のペアも抽出される。このような対応点抽出はステップ１４０に関連して述べたようなブロック単位のパターンマッチングによればよいが、この場合にも、大体の要素画像の相対的位置と配置関係が分かっているため、対応点を抽出すべき隣り合う要素画像の組を自動的に決定できるとともに、対応点抽出のためのパターンマッチング処理の範囲をオーバーラップ領域に限定し、かつ一致するブロックのサーチ範囲を狭い範囲に限定できるので、効率的な処理が可能であり、また対応点の誤抽出を防止できる。
【００３４】
次にステップ１６５において、要素画像を撮影したデジタルカメラなどの焦点距離（又はその整数倍）を半径とする参照球面に基準画像Ｉmage５と要素画像Ｉmage４の対応点を投影し、それら対応点の位置関係に基づいて、要素画像Ｉmage４の座標を基準画像Ｉmage５の座標系（基準座標系）の座標へ変換するための座標変換行列を決定する。要素画像Ｉmage６，Ｉmage２，Ｉmage８についても、同様に対応点を参照球面へ投影し、基準座標系への座標変換行列を決定する。また、要素画像Ｉmage４と要素画像Ｉmage１，Ｉmage７については、その対応点を参照球面に投影し、それらの位置関係に基づいて各要素画像Ｉmage１，Ｉmage７の座標を要素画像Ｉmage４の座標系へそれぞれ変換するための座標変換行列を決定する。同様に、要素画像Ｉmage６と要素画像Ｉmage３，Ｉmage９の対応点を参照球面に投影し、それらの位置関係に基づいて各要素画像Ｉmage３，Ｉmage９の座標を要素画像Ｉmage６の座標系へそれぞれ変換するための座標変換行列を決定する。
【００３５】
このような隣り合った要素画像間の座標変換行列の求め方を図９を参照して説明する。図９において、ｐ１，ｐ２は、隣り合う要素画像（１），（２）の対応点を参照球面に投影した点である。この対応点Ｐ１，Ｐ２は本来は同一座標点として表現されるべきものであり、その位置関係は座標変換行列をＡとすれば次式で表すことができる。
【００３６】
【数１】
ここで、(ｘ1，ｙ1，ｚ1）と（ｘ2，ｙ2，ｚ2）は参照球面上の対応点ｐ１，ｐ２の座標である。この２つの要素画像の複数の対応点対ｋに関して、次式に示すように２乗誤差を最小にするようなＡの各要素ｍ（i，j）を計算する。
【００３８】
【数２】
【数３】
【００４０】
【数４】
このような座標変換行列の求め方については、前記特願平９−３０３８９３の明細書にさらに詳しく述べられている。
【００４２】
ステップ１６５では、前述のようにして求めた隣接要素画像間の座標変換行列を用いて、各要素画像から基準画像の座標系（基準座標系）への座標変化行列を計算する。例えば要素画像Ｉmage９の基準画像Ｉmage５の基準座標系への座標変換は、要素画像Ｉmage９から要素画像Ｉmage６の座標系への座標変換行列と、要素画像Ｉmage６から基準座標系への座標変換行列とを乗算する形になる。
【００４３】
ところで、このような乗算の回数が多くなるほど、基準座標系への座標変換の精度したがって要素画像の位置合わせの精度が悪くなる。例えば、図６に示すように左下の要素画像Ｉmage１を基準画像に設定した場合、要素画像Ｉmage９の基準座標系への座標変換は、例えば、要素画像Ｉmage９から要素画像Ｉmage６への座標変換行列と、要素画像Ｉmage６から要素画像Ｉmage３の座標系への座標変換行列と、要素画像Ｉmage３から要素画像Ｉmage２の座標系への座標変換行列と、要素画像Ｉmage２から基準画像Ｉmage１の座標系への座標変換行列とを乗算する形になる。これから理解されるように、できるだけ観測視野の中心に近い要素画像を基準画像とした方が座標変換の精度、従って位置合わせの精度を高めることができる。
【００４４】
次に、ステップ１７０において、輝度（濃度）補正と歪み補正を施された各要素画像を参照球面に投影し、前ステップで決定された座標変換行列を使って基準座標系へ座標変換しながら参照球面から出力平面（投影平面）へ投影して貼り合わせることにより、合成画像を生成する。ここでは、図１３に示すように、参照球面の中心Ｏと基準画像つまり要素画像Ｉmage５の中心Ｏ’を結ぶ直線に対し垂直な平面が出力平面（投影平面）である。この貼り合わせ合成は全要素画像を一括して行ってもよいが、本実施例では、例えば図７に示すように、縦１列の３つの要素画像Ｉmage１，Ｉmage４，Ｉmage７を貼り合わせた部分画像を作り、この部分画像に、次の縦１列の３つの要素画像Ｉmage２，Ｉmage５，Ｉmage８を貼り合わせて作った部分画像を貼り合わせ、この部分画像にさらに、次の縦１列の３つの要素画像Ｉmage３，Ｉmage６，Ｉmage９を貼り合わせた部分画像を貼り合わせる方法をとる。
【００４５】
コンピュータ上では例えば図８に示すように、メモリ２０５上に確保されたバッファメモリ領域８２０上で左側の縦１列の３つの要素画像が貼り合わされ、この部分画像がメモリ２０５上に確保された出力画像メモリ領域８３０に貼り付けられる。次に中央の縦１列の３つの要素画像がバッファメモリ領域８２０上で貼り合わされ、この部分画像が出力画像メモリ領域８３０に貼り付けられ、最後に右側の縦１列の３つの要素画像がバッファメモリ領域８２０上で貼り合わされ、その部分画像が出力画像メモリ領域８３０に貼り付けられることにより、合成画像全体が出力画像メモリ領域８３０に生成される。
【００４６】
なお、要素画像Ｉmage１の出力平面投影画像をバッファメモリ領域８２０に生成し、これを出力画像メモリ領域８３０に貼り付け、次に要素画像Ｉmage４の出力平面投影画像をバッファメモリ領域８２０に生成し、これを出力画像メモリ領域８３０に貼り付ける、というように要素画像を１つずつ順次に出力平面に投影し貼り合わせるようにしてもよい。こうすると、バッファメモリ領域８２０のサイズを要素画像１枚相当まで縮小できる。なお、要素画像のつなぎ目をなくすためのブレンド処理を、つなぎ目部分に施すのが好ましい。
【００４７】
このようにして、上下左右に３次元的に並ぶ多数の要素画像を精密に位置合わせし貼り合わせた合成画像が生成されるが、要素画像に対し予め輝度（濃度）補正と歪み補正が施されているため、要素画像の境界での輝度（濃度）の不自然な変化や像の歪みが目立たない高品質の合成画像を得ることができる。この合成画像は、ステップ１８０で出力される。例えば、ディスプレイ装置２１５の画面に表示され、あるいは補助記憶装置２１０に格納される。
【００４８】
要素画像の数が多い場合、殊に多数の要素画像が３次元的に配置されている場合には、これまでは高精度の画像合成を効率的に行うことは難しかったが、本実施例によれば、そのような場合でも効率よく高精度な画像合成が可能である。
【００４９】
図１０は、本発明の他の実施例による画像合成処理のフローチャートを示す。この処理は専用の処理によって実施することもできるが、ここでは前記実施例と同様に図２に示すようなコンピュータ上でプログラムによって実施されるものとして説明する。図１０中の各処理ステップのための手段としてコンピュータのハードウエアを機能させる（又は各処理ステップの手順をコンピュータに実行させる）プログラムは、それが記録されたフロッピーディスクやＣＤ−ＲＯＭなどの情報記録媒体からドライブ２３５を介して読み込まれ、例えば補助記憶装置２１０に一旦保存され、処理実行時にメモリ２０５にロードされる。
【００５０】
図１０を参照して、処理内容を説明する。まず、ステップ１０００において、前記実施例と同様な方法で撮影された、合成すべき複数の要素画像を、例えば補助記憶装置２１０からメモリ２０５の要素画像メモリ領域（図８の８１０）に読み込む。読み込まれた要素画像はディスプレイ装置２１５の画面に表示される。ここでは便宜上、前記実施例と同様な図３に示すような位置関係の要素画像Ｉmage１〜Ｉmage９が読み込まれるものとして説明する。また、表示解像度（又はサイズ）を可変設定できる。
【００５１】
次のステップ１０１０において、マウス２２５の操作によりディスプレイ画面上で隣り合う要素画像の対応点を指定し、その座標を入力する。具体的には、画面上のマウスカーソルを対応点に合わせてクリックする。図１１は対応点指定の様子を模式的に表しており、ハッチングが施された円、三角形、四角形のマークはそれぞれ指定された対応点を示し、その近傍の（ ）内は対応点の座標を示す。図１１から理解されるように、隣り合う要素画像の１組につき１組の対応点を指定すればよい。
【００５２】
このようにして入力された対応点の座標を用い、次のステップ１０２０で隣り合う要素画像の左上コーナーの共通座標系での座標を次式により計算する。
【００５３】
【数５】
【００５４】
このようにして、要素画像の大体の相対的位置ならびに配置関係が把握された。つまり、ステップ１０１０とステップ１０２０は、前記実施例におけるステップ１１０とステップ１２０と同じ目的を異なった方法で達成しようとするものである。
【００５５】
次のステップ１０３０において、前記実施例のステップ１３０，１４０と同様に、要素画像に対し輝度補正と歪曲収差歪み補正を施す。このステップを省略することも可能であるが、合成される画像の品質は低下する。
【００５６】
次のステップ１０４０において、前記実施例のステップ１６０と同様に、隣り合う画像の対応点を抽出し、抽出した対応点の座標を用いて前記実施例１６５と同様にして隣り合う要素画像間の座標変換行列を計算する。対応点の抽出はブロックマッチングで行うことができるが、ステップ１０２０によって隣り合う要素画像の大体の相対的位置が把握されているため、ブロックマッチングの範囲を要素画像間のオーバーラップ領域内に限定することができ、また一致するブロックのサーチ範囲も狭い範囲に限定することができる。
【００５７】
このサーチ範囲の設定について述べる。例えば、ステップ１０１０において、７６８×５７６画素の要素画像が１０分の１の解像度でディスプレイ画面に表示された状態で対応点指定を行った場合、画面上でのマウス指定精度を３画素とすると、指定された座標の誤差は要素画像上では３０画素程度であから、３０画素幅を若干超える程度のサーチ範囲を設定すればよい。また、要素画像を解像度を下げずに表示した状態で対応点指定を行った場合ならば、画面上のマウス指定精度が３画素ならば、５画素程度の幅のサーチ範囲を設定すればよい。すなわち、要素画像の表示解像度（表示サイズ）に応じてサーチ範囲を可変設定することができる。
【００５８】
本実施例では、同じ複数の要素画像に基づき、様々な視点位置から撮影もしくは観察した如き合成画像を生成できるようにするため、次のステップ１０５０において、要素画像が表示されたディスプレイ画面上でマウス操作により視点を指定し、その視点に対応した投影平面を設定する。
【００５９】
例えば、図１２（ａ）に示すような上下に隣接する２つの要素画像が表示されている場合に、上の要素画像中の、例えばハッチングを施した四角形マークの位置を視点として指定したいときには、その位置にマウスカーソルを合わせてクリックする。下の要素画像中のある位置、例えばハッチングを施した円マークの位置を視点として指定したときには、その位置にマウスカーソルを移動させクリックする。
【００６０】
そして、ステップ１０５０では、指定された視点の方向（視線方向）に対し垂直な平面を投影平面に設定する。つまり、図１３に示すＯ’が視点として指定されたとすれば、参照球面の中心ＯとＯ’を結ぶ直線に対し垂直な投影平面を設定する。
【００６１】
次のステップ１０６０において、指定された視点に対応する要素画像を基準画像とし、ステップ１０４０で求められた隣り合う要素画像間の座標変換行列の乗算により、各要素画像から基準画像の座標系（基準座標系）への座標変換行列を計算する。次のステップ１０７０において、前記実施例のステップ１７０と同様に、各要素画像を参照球面へ投影して前ステップで計算された座標変換行列を用いて基準座標系へ座標変換してから、参照球面より投影平面へ投影して、貼り合わせ合成する。合成された画像は、ステップ１８０で、例えばディスプレイ装置２１５や補助記憶装置２１０へ出力される。
【００６２】
視点位置による合成画像の違いを図１２により説明する。図１２（ａ）に示す２つの要素画像は同じ建物を上下に分割撮影したものである。下側の要素画像中の円マークの位置を視点として指定した場合、（ｂ）に示すように、建物をほぼ正面から撮影したような合成画像が生成される。他方、（ａ）の上側の要素画像中の四角形マークの位置を視点として指定した場合、（ｃ）に示すように、建物を下から見上げた如き画像が合成される。
【００６３】
このように、本実施例によれば、前記実施例と同様に多数の要素画像が３次元的に配置されている場合でも効率よく高精度な画像合成が可能であることのほかに、様々な位置に視点を置いて撮影もしくは観測した如き画像の合成が可能である。
【００６４】
なお、前記実施例においても、視点の指定と、それによる投影平面の設定を行い、同様に視点の異なる画像を合成するように変形できることは明かである。また逆に、本実施例も、前記実施例と同様に画面上で要素画像の大体の位置合わせを行わせるように変形することも可能である。また、本実施例において、前記実施例と同様に視点を固定し、従って基準画像を固定するように変形することも可能である。
【００６５】
【発明の効果】
以上に詳細に述べたように、本発明によれば、要素画像の個数が多く、それが複雑な３次元配置されていたり、要素画像の配置関係が予め分からない場合などにも、高精度な画像合成を効率的に行うことができ、同一地点でデジタルカメラなどで任意の異なった方位を撮影した多数の要素画像の合成が容易となる。また、人手操作により視点を指定し、それに応じた投影平面を設定することにより、同じ要素画像を用いて、様々な視点より撮影又は観察した如き画像を合成できるようになる。また、要素画像に撮影方位や位置関係もしくは撮影順序などを示す情報を付加する必要性がなくなり、要素画像データの構造や管理が簡易になる。簡単な人手操作による大体の位置合わせ又は対応点の指定を行うことにより、位置合わせのためのパターンマッチング等の処理量を減らし、処理を効率化できるとともに、処理の間違いを防止することができる。さらに、そのような効率的かつ高精度な画像合成を、一般的なコンピュータを利用して容易に実施可能になる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 画像合成処理の一例を示すフローチャートである。
【図２】 画像合成に利用されるコンピュータの一例を示すブロック図である。
【図３】 要素画像の撮影方法を説明するための図である。
【図４】 ディスプレイ画面上での要素画像の位置合わせを説明するための図である。
【図５】 中心の要素画像を基準画像に指定した場合の説明図である。
【図６】 左下の要素画像を基準画像に指定した場合の説明図である。
【図７】 要素画像の分割貼り合わせの説明図である。
【図８】 画像合成に関係するメモリ構成の説明図である。
【図９】 参照球面上の隣り合う要素画像の対応点の位置関係を示す図である。
【図１０】 画像合成処理の他の一例を示すフローチャートである。
【図１１】 隣り合う要素画像の対応点の指定を説明するための模式図である。
【図１２】 視点の指定と、視点の違いによる合成画像の違いを説明するための模式図である。
【図１３】 参照球面と投影平面（出力平面）を関連付けて示す図である。
【符号の説明】
２００ ＣＰＵ
２０５ メモリ
２１０ 補助記憶装置
２１５ ディスプレイ装置
２２０ キーボード
２２５ マウス
４０１〜４０４ 要素画像のウインドウ
８１０ 要素画像メモリ領域
８２０ バッファメモリ領域
８３０ 出力画像メモリ領域
Ｉmage１〜Ｉmage９ 要素画像
Claims (10)
- 同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成方法であって、
ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行うステップと、
前記位置合わせされた隣り合う複数の要素画像からオーバーラップ領域を推定するステップと、
前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出するステップと、
前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための座標変換行列を決定するステップと、
前記決定された座標変換行列に基づいて、前記隣り合う複数の要素画像を共通の座標系に変換して貼り合わせるステップと、
を含むことを特徴とする画像合成方法。 - 同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成方法であって、
ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行うステップと、
前記位置合わせされた隣り合う複数の要素画像から、それぞれ隣り合う要素画像のオーバーラップ領域を推定するステップと、
前記位置合わせされた複数の要素画像から任意の要素画像中の任意の位置を視点とする指定を受け付けるステップと、
前記位置合わせされた複数の要素画像のそれぞれ隣り合う要素画像について、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出するステップと、
前記複数の要素画像のそれぞれ隣り合う要素画像について、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための第１の座標変換行列を決定するステップと、
前記指定された視点に対応する要素画像を基準画像とし、各要素画像から前記基準画像の座標系への第２の座標変換行列を、それぞれ前記隣り合う要素画像間の前記第１の座標変換行列を用いて計算するステップと、
前記指定された視点に対応する投影平面を設定するステップと、
前記複数の要素画像を参照球面へ投影し、前記計算された第２の座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して前記投影平面へ投影して貼り合わせるステップと、
を含むことを特徴とする画像合成方法。 - 前記指定された視点に対応する投影平面を設定するステップは、前記指定された視点の方向に対して、垂直な平面を投影平面として設定することを特徴とする請求項２に記載の画像合成方法。
- 前記推定された隣り合う複数の要素画像のオーバーラップ領域の平均輝度の比を測定し、前記測定された比に基づいて、前記隣り合う複数の要素画像の輝度を補正するステップをさらに含み、
前記推定されたオーバーラップ領域から対応点のペアを抽出するステップは、前記輝度が補正された隣り合う複数の要素画像のオーバーラップ領域から対応点のペアを複数抽出することを特徴とする請求項１乃至３のいずれか１に記載の画像合成方法。 - 前記参照球面の所定の半径は、前記要素画像を撮像した撮像手段の焦点距離又はその整数倍であることを特徴とする請求項１乃至４のいずれか１に記載の画像合成方法。
- 同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成装置であって、
ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行う手段と、
前記位置合わせされた隣り合う複数の要素画像からオーバーラップ領域を推定する手段と、
前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出する手段と、
前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための座標変換行列を決定する手段と、
前記決定された座標変換行列に基づいて、前記隣り合う複数の要素画像を共通の座標系に変換して貼り合わせる手段と、
を有することを特徴とする画像合成装置。 - 同一地点から方位を変えて撮像された複数の要素画像を合成する画像合成装置であって、
ディスプレイ装置の画面上で人手操作によって複数の要素画像の位置合わせを行う手段と、
前記位置合わせされた隣り合う複数の要素画像から、それぞれ隣り合う要素画像のオーバーラップ領域を推定する手段と、
前記位置合わせされた複数の要素画像から任意の要素画像中の任意の位置を視点とする指定を受け付ける手段と、
前記位置合わせされた複数の要素画像のそれぞれ隣り合う要素画像について、前記推定されたオーバーラップ領域からマッチング処理により対応点のペアを複数抽出する手段と、
前記複数の要素画像のそれぞれ隣り合う要素画像について、前記抽出された各対応点の座標を、それぞれの要素画像に固有の座標系で表わされる所定の半径の参照球面に投影し、前記投影された対応点の位置関係に基づいて、前記隣り合う一方の要素画像の固有の座標系での座標を他方の要素画像の固有の座標系での座標へ変換するための第１の座標変換行列を決定する手段と、
前記指定された視点に対応する要素画像を基準画像とし、各要素画像から前記基準画像の座標系への第２の座標変換行列を、それぞれ前記隣り合う要素画像間の前記第１の座標変換行列を用いて計算する手段と、
前記指定された視点に対応する投影平面を設定する手段と、
前記複数の要素画像を参照球面へ投影し、前記計算された第２の座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して前記投影平面へ投影して貼り合わせる手段と、
を有することを特徴とする画像合成装置。 - 前記指定された視点に対応する投影平面を設定する手段は、前記指定された視点の方向に対して、垂直な平面を投影平面として設定することを特徴とする請求項７に記載の画像合成装置。
- 前記推定された隣り合う複数の要素画像のオーバーラップ領域の平均輝度の比を測定し、前記測定された比に基づいて、前記隣り合う複数の要素画像の輝度を補正する手段をさらに含み、
前記推定されたオーバーラップ領域から対応点のペアを抽出する手段は、前記輝度が補 正された隣り合う複数の要素画像のオーバーラップ領域から対応点のペアを複数抽出することを特徴とする請求項６乃至８のいずれか１に記載の画像合成装置。 - コンピュータを請求項６乃至９のいずれか１に記載の画像合成装置の各手段として機能させるためのプログラムが記録されたことを特徴とする機械読み取り可能な情報記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09112598A JP4007524B2 (ja) | 1997-11-18 | 1998-04-03 | 画像合成方法及び装置並びに情報記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-316679 | 1997-11-18 | ||
| JP31667997 | 1997-11-18 | ||
| JP09112598A JP4007524B2 (ja) | 1997-11-18 | 1998-04-03 | 画像合成方法及び装置並びに情報記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11213141A JPH11213141A (ja) | 1999-08-06 |
| JP4007524B2 true JP4007524B2 (ja) | 2007-11-14 |
Family
ID=26432595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09112598A Expired - Fee Related JP4007524B2 (ja) | 1997-11-18 | 1998-04-03 | 画像合成方法及び装置並びに情報記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4007524B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7098914B1 (en) | 1999-07-30 | 2006-08-29 | Canon Kabushiki Kaisha | Image synthesis method, image synthesis apparatus, and storage medium |
| JP4401484B2 (ja) * | 1999-07-30 | 2010-01-20 | キヤノン株式会社 | 画像合成装置とその制御方法及び記憶媒体 |
| JP3603118B2 (ja) | 2001-06-08 | 2004-12-22 | 東京大学長 | 擬似３次元空間表現システム、擬似３次元空間構築システム、ゲームシステム、及び電子地図提供システム |
| US7256799B2 (en) * | 2001-09-12 | 2007-08-14 | Sanyo Electric Co., Ltd. | Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon |
| JP2007122118A (ja) * | 2005-10-25 | 2007-05-17 | Matsushita Electric Ind Co Ltd | 画像連結方法 |
| JP5486298B2 (ja) * | 2009-12-28 | 2014-05-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2015106262A (ja) * | 2013-11-29 | 2015-06-08 | 株式会社東芝 | 画像処理装置、治療システム及び画像処理方法 |
| JP6478639B2 (ja) * | 2015-01-06 | 2019-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN114526722B (zh) * | 2021-12-31 | 2024-05-24 | 易图通科技（北京）有限公司 | 地图对齐处理方法、装置及可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR940017747A (ko) * | 1992-12-29 | 1994-07-27 | 에프. 제이. 스미트 | 영상 처리 디바이스 |
| FR2714502A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
| FR2714503A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
| JPH0962861A (ja) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | パノラマ映像装置 |
| JP3696952B2 (ja) * | 1995-09-29 | 2005-09-21 | キヤノン株式会社 | 画像合成装置および方法 |
| JP3520485B2 (ja) * | 1995-10-02 | 2004-04-19 | 日本電信電話株式会社 | 画像処理システム |
-
1998
- 1998-04-03 JP JP09112598A patent/JP4007524B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11213141A (ja) | 1999-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10916033B2 (en) | System and method for determining a camera pose | |
| US6044181A (en) | Focal length estimation method and apparatus for construction of panoramic mosaic images | |
| US6018349A (en) | Patch-based alignment method and apparatus for construction of image mosaics | |
| US5987164A (en) | Block adjustment method and apparatus for construction of image mosaics | |
| US5986668A (en) | Deghosting method and apparatus for construction of image mosaics | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| US6009190A (en) | Texture map construction method and apparatus for displaying panoramic image mosaics | |
| US6157747A (en) | 3-dimensional image rotation method and apparatus for producing image mosaics | |
| US6097854A (en) | Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping | |
| EP2328125B1 (en) | Image splicing method and device | |
| Capel | Image mosaicing | |
| US7317558B2 (en) | System and method for image processing of multiple images | |
| JPH07225855A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
| US20070159527A1 (en) | Method and apparatus for providing panoramic view with geometric correction | |
| US20020181802A1 (en) | Projecting images onto a surface | |
| JPH07220057A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
| US20050099501A1 (en) | Self-calibration for a catadioptric camera | |
| JPH11509946A (ja) | 視差依存技法を用いた画像結合のための方法とシステム | |
| JP4007524B2 (ja) | 画像合成方法及び装置並びに情報記録媒体 | |
| CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
| CN101448088B (zh) | 虚拟演播室中初始定位系统 | |
| JP3282332B2 (ja) | 画像入力システム | |
| JP4169464B2 (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP2003006618A (ja) | ３次元モデルの生成方法および装置並びにコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060828 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070824 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |