JPH11213141A

JPH11213141A - 画像合成方法及び装置並びに情報記録媒体

Info

Publication number: JPH11213141A
Application number: JP10091125A
Authority: JP
Inventors: Shin Aoki; 青木　　伸; Kaikoku Seki; 海克関; Hiroyuki Sakamoto; 拓之坂本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-11-18
Filing date: 1998-04-03
Publication date: 1999-08-06
Anticipated expiration: 2018-04-03
Also published as: JP4007524B2

Abstract

(57)【要約】【課題】３次元配置の多数の要素画像なども効率的に
精密合成できるようにする。【解決手段】ディスプレイ画面上で複数の要素画像を
人手操作により位置合わせし（１１０）、位置合わせ後
の要素画像の位置と配置関係を認識し（１２０）、認識
した情報を要素画像の合成のため処理（１３０〜１７
０）に利用することにより、要素画像が多い場合や３次
元配置の場合でも、効率的な処理により高精度な画像合
成が可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラな
どによって撮影された複数の画像を１枚の画像に合成す
る技術に関する。

【０００２】

【従来の技術】対象物を複数の画像に分けて撮影し、そ
れら画像（要素画像と呼ぶ）を貼り合わせて１枚の高解
像度画像又は広角画像を合成する方法については、多く
の提案がなされている。このような画像合成において
は、隣り合う要素画像のオーバーラップ領域を利用して
要素画像の相対的な位置を測定するのが一般的であり、
例えば、特開平７−８５２４６公報や、Ｐankaj Ｄani
and Ｓubhasis Ｃhaudhuri，”Ａutomated Ａssembling
of Ｉmages：Ｉmage Ｍotage Ｐrreparation”，Ｐatt
ern Ｒecognition，Ｖol.２８，Ｎo.３，pp．４３１−
４４５，１９９５などに、そのような画像合成手法の例
が見られる。また、Ｓhenchang Ｅric Ｃhen，"Ｑuick
Ｔime ＶＲ-Ａn Ｉmage−based Ａpproach to Ｖirtual
ＥnvironmentＮavigation”，Ｐroc.ＳＩＧＧＲＡＰ
Ｈ’９５，Ｌos Ａngeles，Ｃalifornia，Ａugust ６−
１１，１９９５，pp．２９−３８に、カメラを三脚に載
せて水平方向にほぼ等角度ずつ回転させ、３６０゜のシ
ーンを部分的にオーバーラップさせた複数の要素画像と
して撮影し、それら要素画像から、水平方向３６０゜の
パノラマ画像を合成する方法が述べられている。

【０００３】

【発明が解決しようとする課題】しかし、このような従
来技術は、要素画像の個数が少ない場合や、要素画像が
多くても、それらが一定の配置関係にあることが予め分
かっている場合を想定しており、要素画像の個数が多
く、その配置関係が事前に分かっていない場合や、要素
画像が３次元的に多数並ぶ場合などを想定したものでは
ない。

【０００４】よって、本発明の目的は、要素画像の個数
が多く、その配置関係が事前に分かっていない場合や、
要素画像が３次元的に多数並ぶ場合などにも、要素画像
を効率的な処理によって高精度に合成する方法及び装置
を提供することにある。

【０００５】本発明のもう一つの目的は、同じ要素画像
から、様々な視点から撮影もしくは観測した如き画像を
合成する方法及び装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明によれば、自動的
な合成処理の前に、ディスプレイ装置の画面上で人手操
作によって複数の要素画像の位置合わせが行われ、ある
いは、ディスプレイ装置の画面上で人手操作によって隣
り合う要素画像の対応点を指定してその座標が入力さ
れ、人手操作により位置合わせ後の画面上の複数の要素
画像の相対的位置及び配置関係の情報が、あるいは、入
力された座標から認識される複数の要素画像の相対的位
置及び配置関係の情報が、自動的な合成処理に利用され
る。

【０００７】より詳しくは、本発明の画像合成方法又は
装置は、ディスプレイ装置の画面上で人手操作によって
複数の要素画像の位置合わせを行う、あるいは、ディス
プレイ装置の画面上で人手操作によって隣り合う要素画
像の対応点を指定してその座標を入力するための第１の
ステップ又は手段と、該人手操作による位置合わせ後の
画面上の複数の要素画像の位置及び配置関係を認識す
る、あるいは入力された座標から複数の要素画像の相対
的位置及び配置関係を認識する第２のステップ又は手段
と、該第２のステップ又は手段により認識された情報に
基づき、隣り合う要素画像のオーバーラップ領域を推定
し、推定したオーバーラップ領域内の対応点を抽出する
第３のステップ又は手段と、該第３のステップ又は手段
により抽出された隣り合う要素画像の対応点の位置関係
に基づいて複数の要素画像を位置合わせし貼り合わせる
ことにより合成画像を生成する第４のステップ又は手段
とを含む。

【０００８】本発明の画像合成方法又は装置の一態様に
よれば、前記第４のステップ又は手段では、要素画像を
撮影したデジタルカメラ等の焦点距離又はその整数倍を
半径とする参照球面に前記第３のステップで抽出された
隣り合う要素画像の対応点を投影し、その位置関係に基
づいて隣り合う一方の要素画像から他方の要素画像の座
標系への座標変換行列を決定し、複数の要素画像を参照
球面へ投影し、座標変換行列を用いて複数の要素画像を
共通の座標系へ座標変換して出力画像平面へ投影し貼り
合わせることにより、合成画像を生成する。

【０００９】本発明の画像合成方法又は装置の別の一態
様によれば、ディスプレイ装置の画面上で人手操作によ
り任意の要素画像中の任意の位置を視点として指定し、
指定された視点に対応する投影平面を設定するためのス
テップ又は手段をさらに有する。そして、前記第４のス
テップ又は手段では、要素画像を撮影したデジタルカメ
ラ等の焦点距離又はその整数倍を半径とする参照球面
に、前記第３のステップ又は手段で抽出された隣り合う
要素画像の対応点を投影し、その位置関係に基づいて隣
り合う一方の要素画像から他方の要素画像の座標系への
座標変換行列を決定し、指定された視点に対応する要素
画像を基準画像とし、各要素画像から該基準画像の座標
系への座標変換行列を前記の隣り合う要素画像間の座標
変換行列から計算し、複数の要素画像を参照球面へ投影
し、基準画像への座標変換行列を用いて複数の要素画像
を基準画像の座標系へ座標変換して、前記の投影平面へ
投影し貼り合わせることにより、指定された視点から撮
影もしくは観測した如き合成画像を生成する。

【００１０】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて説明する。図１に、本発明の一実施例による画像
合成処理のフローチャートを示す。このような処理は専
用の処理装置によって実施することもできるが、ここで
は例えば図２に簡略化して示すような一般的なコンピュ
ータ上でプログラムにより実施されるものとして説明す
る。

【００１１】図２に示すコンピュータは、ＣＰＵ２０
０、データやプログラム等を格納するためのメモリ２０
５、ハードディスク装置等の補助記憶装置２１０、マン
マシンインターフェイスのための入出力装置としてのデ
ィスプレイ装置２１５、キーボード２２０及びマウス２
２５、フロッピーディスクやＣＤ−ＲＯＭ等の情報記録
媒体２３０の読み書きのためのドライブ２３５、デジタ
ルカメラ等の画像撮影装置により撮影された要素画像の
データが記録されたＰＣカード２４０の読み書きのため
のＰＣカードリーダ２４５などをシステムバス２５０で
接続した一般的な構成である。

【００１２】図１に示す各処理ステップのための手段と
してコンピュータを機能させるための（又は各処理ステ
ップの手順をコンピュータのハードウエアを利用して実
現するための）画像合成処理プログラムは、例えばＣＤ
−ＲＯＭなどの情報記録媒体２３０からドライブ２３５
を介して読み込まれて例えば補助記憶装置２１０に保存
され、そして必要な時にメモリ２０５にロードされてＣ
ＰＵ２００により実行される。補助記憶装置２１０には
オペレーティングシステム等の他のプログラムも格納さ
れており、これらはコンピュータの立ち上げ時に必要な
部分がメモり２０５にロードされる。

【００１３】本実施例では、要素画像の大体の位置合わ
せのために、ディスプレイ画面上で複数の半透明ウイン
ドウのオーバーラッピングが可能なウインドウ環境を利
用する。このようなウインドウ環境は、例えばＭＳ−Ｗ
indowsのようなオペレーティングシステムによって提供
されてもよいし、例えばオペレーティングシステムＵＮ
ＩＸ上で動作するＸＷindow Ｓystemのようなウインド
ウシステムによって提供されてもよい。

【００１４】要素画像の撮影方法は、撮影に用いるデジ
タルカメラなどの位置が不動であることと、隣り合う要
素画像が部分的にオーバーラップするならば、特に限定
されないが、次のような方法が効率的で間違いも生じに
くく便利であろう。デジタルカメラを三脚に取り付け
る。まず、デジタルカメラの撮影方位をある方位に設定
し、例えば図３に示す要素画像Ｉmage１を撮影する。次
に撮影方位を上方へある角度だけ振って要素画像Ｉmage
４を撮影し、さらに上方へある角度だけ振って要素画像
Ｉmage７を撮影する。垂直方向の撮影方位の振り角度
は、上下に隣り合う要素画像が部分的にオーバーラップ
するように調整する。次に要素画像Ｉmage１の撮影方位
に戻し、撮影方位を右へある角度だけ振って要素画像Ｉ
mage２を撮影する。要素画像Ｉmage２は少なくとも要素
画像Ｉmage１，Ｉmage４と部分的にオーバーラップさせ
る。次に撮影方位を上方へある角度だけ振って要素画像
Ｉmage５を撮影する。この要素画像Ｉmage５は、少なく
とも要素画像Ｉmage２，Ｉmage１，Ｉmage４と部分的に
オーバーラップさせる。次に要素画像Ｉmage８を撮影す
る。撮影方位を要素画像Ｉmage２の方位に戻してから右
にある角度振って、要素画像Ｉmage３，Ｉmage６，Ｉma
ge９をこの順に撮影する。このようにして、一定の視野
範囲を漏れなくカバーし、かつ、隣接したもの同士が部
分的にオーバーラップした３×３の要素画像を容易かつ
確実に撮影することができる。一般的には、このような
方法でＭ×Ｎの要素画像を撮影することができる。

【００１５】このようにして撮影された要素画像のデー
タは例えばデジタルカメラにセットされたＰＣカードに
記録され、このＰＣカードがＰＣカードリーダ２４５に
セットされて読み込まれ、補助記憶装置２１０に格納さ
れる。

【００１６】図１を参照して説明する。まず、ステップ
１００において、補助記憶装置２１０から合成処理の対
象となる要素画像をメモリ２６０の要素画像メモリ領域
に読み込む。図８はこの様子を模式的に示しており、８
１０は要素画像メモリ領域である。例えば図３に示した
３×３の要素画像を合成しようとする場合、９個の要素
画像メモリ領域８１０が確保され、それぞれに要素画像
が読み込まれる。

【００１７】次のステップ１１０では、ディスプレイ装
置２１５の画面上において、人手操作により要素画像の
大体の位置合わせを行う。すなわち、ＭＳ−Ｗindowsや
ＸＷindow Ｓystemなどによって提供されるウインドウ
環境を利用し、ディスプレイ画面上に各要素画像がそれ
ぞれ半透明ウインドウとして重ねて表示され、操作者は
マウス２２５又はキーボード２２０の操作を通じて各ウ
インドウの位置を調節し、複数の要素画像の大体の位置
合わせをする。

【００１８】図４に、大体の位置合わせが行われた時の
ディスプレイ画面の表示例を模式的に示す。図４におい
て、４０１，４０２，４０３，４０４はそれぞれ半透明
ウインドウとして表示された要素画像である。隣り合っ
た要素画像のオーバーラップ領域の共通の像部（この例
では網掛けされた部分）が重なり合うように、各要素画
像のウインドウが位置合わせされる。この位置合わせは
精密なものではないが、その後の処理の効率化と誤りの
防止に寄与する。

【００１９】このような人手操作による要素画像の位置
合わせが終わり、その終了が指示されると、ステップ１
２０に進み、ディスプレイ画面上の各要素画像の左上コ
ーナーの座標が読み取られ、また、各要素画像の配置関
係もしくは並び順が認識される。認識された各要素画像
の左上コーナーの座標から、各要素画像の大体の相対的
位置を推定できる。そしてステップ１３０に進む。この
ステップと次のステップ１４０は省略することも可能で
あるが、より自然で高精度の合成画像を生成するために
は、これらステップの実行が望ましい。

【００２０】デジタルカメラなどで要素画像を撮影する
際に自動露出機能を利用した場合、同じ被写体またはシ
ーンを撮影しても、要素画像毎に露出が変化することが
多い。このような露出の異なる要素画像を正しく位置合
わせし合成しても、要素画像の境界で輝度（もしくは濃
度）が不自然に変化し、見苦しい画像となる恐れがあ
る。このような輝度（もしくは濃度）の不自然な変化を
抑制するため、ステップ１３０では各要素画像の輝度
（もしくは濃度）を補正する。

【００２１】具体的な処理の例を述べれば、既に要素画
像の配置関係と大体の相対的位置が分かっているので、
その情報に基づいて、隣り合う要素画像の組を決定で
き、また、そのオーバーラップ領域を推定することがで
きる。そこで、例えば横方向に隣り合う要素画像の間で
オーバーラップ領域の平均輝度（濃度）の比を測定し、
その比に従って、横方向に隣り合う要素画像のオーバー
ラップ領域の平均輝度（濃度）を等しくするように、横
方向に並ぶ要素画像の各画素の輝度（濃度）を補正す
る。

【００２２】デジタルカメラなどで撮影された画像に
は、多かれ少なかれ光学系の歪曲収差による歪みが含ま
れる。ステップ１３０では、各要素画像に歪曲収差歪み
の補正を施す。この補正処理においては、要素画像の撮
影に使用したデジタルカメラなどの歪曲収差係数が既知
の場合には、その歪曲収差係数を用いて補正を行えばよ
い。

【００２３】また、歪曲収差係数が分かっていない場合
には、例えば、要素画像の中から、隣り合う２つの要素
画像を選び、その対応点のペアをいくつか抽出し、抽出
した対応点のペアの座標を利用して歪曲収差係数を推定
し、これを歪曲収差歪み補正に利用してもよい（このよ
うな歪曲収差係数を推定する具体的なアルゴリズムの一
例が本出願人の特願平９−３０３８９３の明細書に述べ
られている）。

【００２４】なお、上に述べた対応点抽出は、例えば、
２つの要素画像を例えば１６×１６画素のブロックに分
割し、２つの要素画像間でブロック単位のパターンマッ
チングを行い、一致したブロックの例えば中心座標を対
応点とする方法によって行うことができる。このパター
ンマッチングで一致がとれるのは要素画像のオーバーラ
ップ領域の範囲内であるが、本発明によれば要素画像の
大体の相対的位置が判明しているため、オーバーラップ
領域の範囲を予め推定し、ブロックマッチングの対象範
囲をオーバーラップ領域の内部だけに限定することがで
きる。また、要素画像の大体の相対的位置が判明してい
るため、オーバーラップ領域内の一方の要素画像の各ブ
ロックと他方の要素画像の各ブロックとの大体の対応付
けが可能であるため、一致するブロックのサーチ範囲
を、対応すると推定されるブロックの近傍の狭い範囲に
限定することができる。

【００２５】このように対応点抽出の範囲をオーバーラ
ップ領域に限定し、かつ一致するブロックのサーチ範囲
を限定することにより、パターンマッチングの処理量を
減らすことができる。また、一致するブロックのサーチ
範囲が広いと似たようなパターンの部分で誤ってブロッ
クの一致がとれる危険が大きくなるが、サーチ範囲をご
く狭い範囲に限定することによって、そのような誤りを
防止できる。このように本発明によれば、対応点抽出の
処理を効率化し、かつ抽出誤りを減らすことができる。

【００２６】このような輝度補正、歪み補正が施された
要素画像を位置合わせして貼り合わせ、合成画像を生成
することになるが、基準画像の選び方が合成精度に影響
するので、まずステップ１５０で一つの要素画像を基準
画像に指定する。一般に、観測したい視野の中心に近い
要素画像を基準画像とするのが好ましい。例えば図３で
説明したような３×３の要素画像を合成する場合、図５
に示すように中心の要素画像Ｉmage５を基準画像に指定
するのが一般に好ましい。本発明では、予め要素画像の
配置関係が分かっているので、視野の中心に近い要素画
像を基準画像に自動的に設定することも可能である。以
下、図５に示す３×３の要素画像について、その中心の
要素画像Ｉmage５を基準画像として合成するものとして
説明する。

【００２７】ステップ１６０において、まず基準画像Ｉ
mage５と、それに隣接する要素画像Ｉmage４，Ｉmage
６，Ｉmage２，Ｉmage８それぞれとの間で対応点のペア
を複数抽出する。また、要素画像Ｉmage４と、それに隣
接する要素画像Ｉmage１，Ｉmage７それぞれとの間の対
応点ペアも抽出され、同様に要素画像Ｉmage６と、それ
に隣接する各要素画像Ｉmage３，Ｉmage９それぞれとの
間の対応点のペアも抽出される。このような対応点抽出
はステップ１４０に関連して述べたようなブロック単位
のパターンマッチングによればよいが、この場合にも、
大体の要素画像の相対的位置と配置関係が分かっている
ため、対応点を抽出すべき隣り合う要素画像の組を自動
的に決定できるとともに、対応点抽出のためのパターン
マッチング処理の範囲をオーバーラップ領域に限定し、
かつ一致するブロックのサーチ範囲を狭い範囲に限定で
きるので、効率的な処理が可能であり、また対応点の誤
抽出を防止できる。

【００２８】次にステップ１６５において、要素画像を
撮影したデジタルカメラなどの焦点距離（又はその整数
倍）を半径とする参照球面に基準画像Ｉmage５と要素画
像Ｉmage４の対応点を投影し、それら対応点の位置関係
に基づいて、要素画像Ｉmage４の座標を基準画像Ｉmage
５の座標系（基準座標系）の座標へ変換するための座標
変換行列を決定する。要素画像Ｉmage６，Ｉmage２，Ｉ
mage８についても、同様に対応点を参照球面へ投影し、
基準座標系への座標変換行列を決定する。また、要素画
像Ｉmage４と要素画像Ｉmage１，Ｉmage７については、
その対応点を参照球面に投影し、それらの位置関係に基
づいて各要素画像Ｉmage１，Ｉmage７の座標を要素画像
Ｉmage４の座標系へそれぞれ変換するための座標変換行
列を決定する。同様に、要素画像Ｉmage６と要素画像Ｉ
mage３，Ｉmage９の対応点を参照球面に投影し、それら
の位置関係に基づいて各要素画像Ｉmage３，Ｉmage９の
座標を要素画像Ｉmage６の座標系へそれぞれ変換するた
めの座標変換行列を決定する。

【００２９】このような隣り合った要素画像間の座標変
換行列の求め方を図９を参照して説明する。図９におい
て、ｐ１，ｐ２は、隣り合う要素画像（１），（２）の
対応点を参照球面に投影した点である。この対応点Ｐ
１，Ｐ２は本来は同一座標点として表現されるべきもの
であり、その位置関係は座標変換行列をＡとすれば次式
で表すことができる。

【００３０】

【数１】

【００３１】ここで、(ｘ1，ｙ1，ｚ1）と（ｘ2，ｙ2，
ｚ2）は参照球面上の対応点ｐ１，ｐ２の座標である。
この２つの要素画像の複数の対応点対ｋに関して、次式
に示すように２乗誤差を最小にするようなＡの各要素ｍ
（i，j）を計算する。

【００３２】

【数２】

【００３３】

【数３】

【００３４】つまり、次式の方程式を解くことにより、
座標変換行列Ａの各要素ｍ（i，j）を求めることができ
る。

【００３５】

【数４】

【００３６】このような座標変換行列の求め方について
は、前記特願平９−３０３８９３の明細書にさらに詳し
く述べられている。

【００３７】ステップ１６５では、前述のようにして求
めた隣接要素画像間の座標変換行列を用いて、各要素画
像から基準画像の座標系（基準座標系）への座標変化行
列を計算する。例えば要素画像Ｉmage９の基準画像Ｉma
ge５の基準座標系への座標変換は、要素画像Ｉmage９か
ら要素画像Ｉmage６の座標系への座標変換行列と、要素
画像Ｉmage６から基準座標系への座標変換行列とを乗算
する形になる。

【００３８】ところで、このような乗算の回数が多くな
るほど、基準座標系への座標変換の精度したがって要素
画像の位置合わせの精度が悪くなる。例えば、図６に示
すように左下の要素画像Ｉmage１を基準画像に設定した
場合、要素画像Ｉmage９の基準座標系への座標変換は、
例えば、要素画像Ｉmage９から要素画像Ｉmage６への座
標変換行列と、要素画像Ｉmage６から要素画像Ｉmage３
の座標系への座標変換行列と、要素画像Ｉmage３から要
素画像Ｉmage２の座標系への座標変換行列と、要素画像
Ｉmage２から基準画像Ｉmage１の座標系への座標変換行
列とを乗算する形になる。これから理解されるように、
できるだけ観測視野の中心に近い要素画像を基準画像と
した方が座標変換の精度、従って位置合わせの精度を高
めることができる。

【００３９】次に、ステップ１７０において、輝度（濃
度）補正と歪み補正を施された各要素画像を参照球面に
投影し、前ステップで決定された座標変換行列を使って
基準座標系へ座標変換しながら参照球面から出力平面
（投影平面）へ投影して貼り合わせることにより、合成
画像を生成する。ここでは、図１３に示すように、参照
球面の中心Ｏと基準画像つまり要素画像Ｉmage５の中心
Ｏ’を結ぶ直線に対し垂直な平面が出力平面（投影平
面）である。この貼り合わせ合成は全要素画像を一括し
て行ってもよいが、本実施例では、例えば図７に示すよ
うに、縦１列の３つの要素画像Ｉmage１，Ｉmage４，Ｉ
mage７を貼り合わせた部分画像を作り、この部分画像
に、次の縦１列の３つの要素画像Ｉmage２，Ｉmage５，
Ｉmage８を貼り合わせて作った部分画像を貼り合わせ、
この部分画像にさらに、次の縦１列の３つの要素画像Ｉ
mage３，Ｉmage６，Ｉmage９を貼り合わせた部分画像を
貼り合わせる方法をとる。

【００４０】コンピュータ上では例えば図８に示すよう
に、メモリ２０５上に確保されたバッファメモリ領域８
２０上で左側の縦１列の３つの要素画像が貼り合わさ
れ、この部分画像がメモリ２０５上に確保された出力画
像メモリ領域８３０に貼り付けられる。次に中央の縦１
列の３つの要素画像がバッファメモリ領域８２０上で貼
り合わされ、この部分画像が出力画像メモリ領域８３０
に貼り付けられ、最後に右側の縦１列の３つの要素画像
がバッファメモリ領域８２０上で貼り合わされ、その部
分画像が出力画像メモリ領域８３０に貼り付けられるこ
とにより、合成画像全体が出力画像メモリ領域８３０に
生成される。

【００４１】なお、要素画像Ｉmage１の出力平面投影画
像をバッファメモリ領域８２０に生成し、これを出力画
像メモリ領域８３０に貼り付け、次に要素画像Ｉmage４
の出力平面投影画像をバッファメモリ領域８２０に生成
し、これを出力画像メモリ領域８３０に貼り付ける、と
いうように要素画像を１つずつ順次に出力平面に投影し
貼り合わせるようにしてもよい。こうすると、バッファ
メモリ領域８２０のサイズを要素画像１枚相当まで縮小
できる。なお、要素画像のつなぎ目をなくすためのブレ
ンド処理を、つなぎ目部分に施すのが好ましい。

【００４２】このようにして、上下左右に３次元的に並
ぶ多数の要素画像を精密に位置合わせし貼り合わせた合
成画像が生成されるが、要素画像に対し予め輝度（濃
度）補正と歪み補正が施されているため、要素画像の境
界での輝度（濃度）の不自然な変化や像の歪みが目立た
ない高品質の合成画像を得ることができる。この合成画
像は、ステップ１８０で出力される。例えば、ディスプ
レイ装置２１５の画面に表示され、あるいは補助記憶装
置２１０に格納される。

【００４３】要素画像の数が多い場合、殊に多数の要素
画像が３次元的に配置されている場合には、これまでは
高精度の画像合成を効率的に行うことは難しかったが、
本実施例によれば、そのような場合でも効率よく高精度
な画像合成が可能である。

【００４４】図１０は、本発明の他の実施例による画像
合成処理のフローチャートを示す。この処理は専用の処
理によって実施することもできるが、ここでは前記実施
例と同様に図２に示すようなコンピュータ上でプログラ
ムによって実施されるものとして説明する。図１０中の
各処理ステップのための手段としてコンピュータのハー
ドウェアを機能させる（又は各処理ステップの手順をコ
ンピュータに実行させる）プログラムは、それが記録さ
れたフロッピーディスクやＣＤ−ＲＯＭなどの情報記録
媒体からドライブ２３５を介して読み込まれ、例えば補
助記憶装置２１０に一旦保存され、処理実行時にメモリ
２０５にロードされる。

【００４５】図１０を参照して、処理内容を説明する。
まず、ステップ１０００において、前記実施例と同様な
方法で撮影された、合成すべき複数の要素画像を、例え
ば補助記憶装置２１０からメモリ２０５の要素画像メモ
リ領域（図８の８１０）に読み込む。読み込まれた要素
画像はディスプレイ装置２１５の画面に表示される。こ
こでは便宜上、前記実施例と同様な図３に示すような位
置関係の要素画像Ｉmage１〜Ｉmage９が読み込まれるも
のとして説明する。また、表示解像度（又はサイズ）を
可変設定できる。

【００４６】次のステップ１０１０において、マウス２
２５の操作によりディスプレイ画面上で隣り合う要素画
像の対応点を指定し、その座標を入力する。具体的に
は、画面上のマウスカーソルを対応点に合わせてクリッ
クする。図１１は対応点指定の様子を模式的に表してお
り、ハッチングが施された円、三角形、四角形のマーク
はそれぞれ指定された対応点を示し、その近傍の（）
内は対応点の座標を示す。図１１から理解されるよう
に、隣り合う要素画像の１組につき１組の対応点を指定
すればよい。

【００４７】このようにして入力された対応点の座標を
用い、次のステップ１０２０で隣り合う要素画像の左上
コーナーの共通座標系での座標を次式により計算する。

【００４８】

【数５】

【００４９】ここで、ｉとi-1は隣り合う画像のインデ
ックスであり、（Ｘ，Ｙ）は要素画像の左上コーナーの
共通座標系での座標、（ｘ，ｙ）はマウス操作で入力さ
れた対応点座標である。

【００５０】このようにして、要素画像の大体の相対的
位置ならびに配置関係が把握された。つまり、ステップ
１０１０とステップ１０２０は、前記実施例におけるス
テップ１１０とステップ１２０と同じ目的を異なった方
法で達成しようとするものである。

【００５１】次のステップ１０３０において、前記実施
例のステップ１３０，１４０と同様に、要素画像に対し
輝度補正と歪曲収差歪み補正を施す。このステップを省
略することも可能であるが、合成される画像の品質は低
下する。

【００５２】次のステップ１０４０において、前記実施
例のステップ１６０と同様に、隣り合う画像の対応点を
抽出し、抽出した対応点の座標を用いて前記実施例１６
５と同様にして隣り合う要素画像間の座標変換行列を計
算する。対応点の抽出はブロックマッチングで行うこと
ができるが、ステップ１０２０によって隣り合う要素画
像の大体の相対的位置が把握されているため、ブロック
マッチングの範囲を要素画像間のオーバーラップ領域内
に限定することができ、また一致するブロックのサーチ
範囲も狭い範囲に限定することができる。

【００５３】このサーチ範囲の設定について述べる。例
えば、ステップ１０１０において、７６８×５７６画素
の要素画像が１０分の１の解像度でディスプレイ画面に
表示された状態で対応点指定を行った場合、画面上での
マウス指定精度を３画素とすると、指定された座標の誤
差は要素画像上では３０画素程度であから、３０画素幅
を若干超える程度のサーチ範囲を設定すればよい。ま
た、要素画像を解像度を下げずに表示した状態で対応点
指定を行った場合ならば、画面上のマウス指定精度が３
画素ならば、５画素程度の幅のサーチ範囲を設定すれば
よい。すなわち、要素画像の表示解像度（表示サイズ）
に応じてサーチ範囲を可変設定することができる。

【００５４】本実施例では、同じ複数の要素画像に基づ
き、様々な視点位置から撮影もしくは観察した如き合成
画像を生成できるようにするため、次のステップ１０５
０において、要素画像が表示されたディスプレイ画面上
でマウス操作により視点を指定し、その視点に対応した
投影平面を設定する。

【００５５】例えば、図１２（ａ）に示すような上下に
隣接する２つの要素画像が表示されている場合に、上の
要素画像中の、例えばハッチングを施した四角形マーク
の位置を視点として指定したいときには、その位置にマ
ウスカーソルを合わせてクリックする。下の要素画像中
のある位置、例えばハッチングを施した円マークの位置
を視点として指定したときには、その位置にマウスカー
ソルを移動させクリックする。

【００５６】そして、ステップ１０５０では、指定され
た視点の方向（視線方向）に対し垂直な平面を投影平面
に設定する。つまり、図１３に示すＯ’が視点として指
定されたとすれば、参照球面の中心ＯとＯ’を結ぶ直線
に対し垂直な投影平面を設定する。

【００５７】次のステップ１０６０において、指定され
た視点に対応する要素画像を基準画像とし、ステップ１
０４０で求められた隣り合う要素画像間の座標変換行列
の乗算により、各要素画像から基準画像の座標系（基準
座標系）への座標変換行列を計算する。次のステップ１
０７０において、前記実施例のステップ１７０と同様
に、各要素画像を参照球面へ投影して前ステップで計算
された座標変換行列を用いて基準座標系へ座標変換して
から、参照球面より投影平面へ投影して、貼り合わせ合
成する。合成された画像は、ステップ１８０で、例えば
ディスプレイ装置２１５や補助記憶装置２１０へ出力さ
れる。

【００５８】視点位置による合成画像の違いを図１２に
より説明する。図１２（ａ）に示す２つの要素画像は同
じ建物を上下に分割撮影したものである。下側の要素画
像中の円マークの位置を視点として指定した場合、
（ｂ）に示すように、建物をほぼ正面から撮影したよう
な合成画像が生成される。他方、（ａ）の上側の要素画
像中の四角形マークの位置を視点として指定した場合、
（ｃ）に示すように、建物を下から見上げた如き画像が
合成される。

【００５９】このように、本実施例によれば、前記実施
例と同様に多数の要素画像が３次元的に配置されている
場合でも効率よく高精度な画像合成が可能であることの
ほかに、様々な位置に視点を置いて撮影もしくは観測し
た如き画像の合成が可能である。

【００６０】なお、前記実施例においても、視点の指定
と、それによる投影平面の設定を行い、同様に視点の異
なる画像を合成するように変形できることは明かであ
る。また逆に、本実施例も、前記実施例と同様に画面上
で要素画像の大体の位置合わせを行わせるように変形す
ることも可能である。また、本実施例において、前記実
施例と同様に視点を固定し、従って基準画像を固定する
ように変形することも可能である。

【００６１】

【発明の効果】以上に詳細に述べたように、本発明によ
れば、要素画像の個数が多く、それが複雑な３次元配置
されていたり、要素画像の配置関係が予め分からない場
合などにも、高精度な画像合成を行うことができ、例え
ば同一地点でデジタルカメラなどで任意の異なった方位
を撮影した多数の要素画像の合成も容易である。人手操
作により視点を指定し、それに応じた投影平面を設定す
ることにより、同じ要素画像を用いて、様々な視点より
撮影又は観察した如き画像を合成できるようになる。ま
た、要素画像に撮影方位や位置関係もしくは撮影順序な
どを示す情報を付加する必要性がなくなり、要素画像デ
ータの構造や管理が簡易になる。簡単な人手操作による
大体の位置合わせ又は対応点の指定を行うことにより、
位置合わせのためのパターンマッチング等の処理量を減
らし、処理を効率化できるとともに、処理の間違いを防
止することができる。さらに、そのような効率的かつ高
精度な画像合成を、一般的なコンピュータを利用して容
易に実施可能になる、等々の効果を得られる。

【図面の簡単な説明】

【図１】画像合成処理の一例を示すフローチャートであ
る。

【図２】画像合成に利用されるコンピュータの一例を示
すブロック図である。

【図３】要素画像の撮影方法を説明するための図であ
る。

【図４】ディスプレイ画面上での要素画像の位置合わせ
を説明するための図である。

【図５】中心の要素画像を基準画像に指定した場合の説
明図である。

【図６】左下の要素画像を基準画像に指定した場合の説
明図である。

【図７】要素画像の分割貼り合わせの説明図である。

【図８】画像合成に関係するメモリ構成の説明図であ
る。

【図９】参照球面上の隣り合う要素画像の対応点の位置
関係を示す図である。

【図１０】画像合成処理の他の一例を示すフローチャー
トである。

【図１１】隣り合う要素画像の対応点の指定を説明する
ための模式図である。

【図１２】視点の指定と、視点の違いによる合成画像の
違いを説明するための模式図である。

【図１３】参照球面と投影平面（出力平面）を関連付け
て示す図である。

【符号の説明】

２００ＣＰＵ２０５メモリ２１０補助記憶装置２１５ディスプレイ装置２２０キーボード２２５マウス４０１〜４０４要素画像のウインドウ８１０要素画像メモリ領域８２０バッファメモリ領域８３０出力画像メモリ領域Ｉmage１〜Ｉmage９要素画像

Claims

【特許請求の範囲】

【請求項１】複数の要素画像を１つの画像に合成する
画像合成方法において、ディスプレイ装置の画面上で人
手操作によって複数の要素画像の位置合わせを行い、こ
の位置合わせ後の画面上の複数の要素画像の相対的位置
及び配置関係の情報を、複数の要素画像の合成のための
処理に利用することを特徴とする画像合成方法。
【請求項２】複数の要素画像を１つの画像に合成する
画像合成方法において、ディスプレイ装置の画面上で人
手操作によって隣り合う要素画像の対応点を指定してそ
の座標を入力し、入力された座標から認識される複数の
要素画像の相対的位置及び配置関係の情報を、複数の要
素画像の合成のための処理に利用することを特徴とする
画像合成方法。
【請求項３】ディスプレイ装置の画面上で人手操作に
よって複数の要素画像の位置合わせを行う第１のステッ
プと、該第１のステップによる位置合わせ後の画面上の
複数の要素画像の相対的位置及び配置関係を認識する第
２のステップと、該第２のステップにより認識された情
報に基づき、隣り合う要素画像のオーバーラップ領域を
推定し、推定したオーバーラップ領域内の対応点を抽出
する第３のステップと、該第３のステップにより抽出さ
れた隣り合う要素画像の対応点の位置関係に基づいて、
複数の要素画像を位置合わせし貼り合わせることにより
合成画像を生成する第４のステップとを含むことを特徴
とする画像合成方法。
【請求項４】ディスプレイ装置の画面上で人手操作に
よって複数の要素画像中の隣り合う要素画像の対応点を
指定してその座標を入力する第１のステップと、該第１
のステップにより入力された座標から複数の要素画像の
相対的位置及び配置関係を認識する第２のステップと、
該第２のステップにより認識された情報に基づき、隣り
合う要素画像のオーバーラップ領域を推定し、推定した
オーバーラップ領域内の対応点を抽出する第３のステッ
プと、該第３のステップにより抽出された隣り合う要素
画像の対応点の位置関係に基づいて、複数の要素画像を
位置合わせし貼り合わせることにより合成画像を生成す
る第４のステップとを含むことを特徴とする画像合成方
法。
【請求項５】請求項３又は４記載の画像合成方法にお
いて、該第４のステップは、要素画像を撮影したデジタ
ルカメラ等の焦点距離又はその整数倍を半径とする参照
球面に、該第３のステップで抽出された隣り合う要素画
像の対応点を投影し、その位置関係に基づいて隣り合う
一方の要素画像から他方の要素画像の座標系への座標変
換行列を決定する第５のステップと、複数の要素画像を
参照球面へ投影し、該第５のステップで決定された座標
変換行列を用いて複数の要素画像を共通の座標系へ座標
変換して出力画像平面へ投影し貼り合わせる第６のステ
ップとを含むことを特徴とする画像合成方法。
【請求項６】ディスプレイ装置の画面上で人手操作に
より任意の要素画像中の任意の位置を視点として指定
し、指定された視点に対応する投影平面を設定する第５
のステップをさらに有し、該第４のステップは、要素画
像を撮影したデジタルカメラ等の焦点距離又はその整数
倍を半径とする参照球面に、該第３のステップで抽出さ
れた隣り合う要素画像の対応点を投影し、その位置関係
に基づいて隣り合う一方の要素画像から他方の要素画像
の座標系への座標変換行列を決定する第６のステップ
と、該第５のステップで指定された視点に対応する要素
画像を基準画像とし、各要素画像から該基準画像の座標
系への座標変換行列を該第６のステップで決定された隣
り合う要素画像間の座標変換行列から計算する第７のス
テップと、複数の要素画像を参照球面へ投影し、該第７
のステップで計算された座標変換行列を用いて複数の要
素画像を基準画像の座標系へ座標変換して該第５のステ
ップで設定された投影平面へ投影し貼り合わせる第８の
ステップとを含むことを特徴とする請求項３又は４記載
の画像合成方法。
【請求項７】ディスプレイ装置の画面上で人手操作に
よって複数の要素画像の位置合わせを行うための第１の
手段と、該人手操作による位置合わせ後の画面上の複数
の要素画像の相対的位置及び配置関係を認識する第２の
手段と、該第２の手段により認識された情報に基づき、
隣り合う要素画像のオーバーラップ領域を推定し、推定
したオーバーラップ領域内の対応点を抽出する第３の手
段と、該第３の手段により抽出された隣り合う要素画像
の対応点の位置関係に基づいて、複数の要素画像を位置
合わせし貼り合わせることにより合成画像を生成する第
４の手段とを具備する画像合成装置。
【請求項８】ディスプレイ装置の画面上で人手操作に
よって複数の要素画像中の隣り合う要素画像の対応点を
指定してその座標を入力するための第１の手段と、該人
手操作により入力された座標から複数の要素画像の相対
的位置及び配置関係を認識する第２の手段と、該第２の
手段により認識された情報に基づき、隣り合う要素画像
のオーバーラップ領域を推定し、推定したオーバーラッ
プ領域内の対応点を抽出する第３の手段と、該第３の手
段により抽出された隣り合う要素画像の対応点の位置関
係に基づいて、複数の要素画像を位置合わせし貼り合わ
せることにより合成画像を生成する第４手段とを具備す
る画像合成装置。
【請求項９】請求項７又は８記載の画像合成装置にお
いて、該第４の手段は、要素画像を撮影したデジタルカ
メラ等の焦点距離又はその整数倍を半径とする参照球面
に該第３の手段により抽出された隣り合う要素画像の対
応点を投影し、その位置関係に基づいて隣り合う一方の
要素画像から他方の要素画像の座標系への座標変換行列
を決定する第５の手段と、複数の要素画像を参照球面へ
投影し、該第５の手段で決定された座標変換行列を用い
て複数の要素画像を共通の座標系へ座標変換して出力画
像平面へ投影し貼り合わせる第６の手段とを含むことを
特徴とする画像合成装置。
【請求項１０】ディスプレイ装置の画面上で人手操作
により任意の要素画像中の任意の位置を視点として指定
するための第５の手段と、該人手操作により指定された
視点に対応する投影平面を設定する第６の手段とをさら
に有し、該第４の手段は、要素画像を撮影したデジタル
カメラ等の焦点距離又はその整数倍を半径とする参照球
面に、該第３の手段で抽出された隣り合う要素画像の対
応点を投影し、その位置関係に基づいて隣り合う一方の
要素画像から他方の要素画像の座標系への座標変換行列
を決定する第７の手段と、該人手操作により指定された
視点に対応する要素画像を基準画像とし、各要素画像か
ら該基準画像の座標系への座標変換行列を該第７の手段
により決定された隣り合う要素画像間の座標変換行列か
ら計算する第８の手段と、複数の要素画像を参照球面へ
投影し、該第８の手段により計算された座標変換行列を
用いて複数の要素画像を基準画像の座標系へ座標変換し
て該第６の手段により設定された投影平面へ投影し貼り
合わせる第９の手段とを含むことを特徴とする請求項８
記載の画像合成装置。
【請求項１１】コンピュータを請求項７，８，９又は
１０記載の画像合成装置の各手段として機能させるため
のプログラムが記録されたことを特徴とする機械読み取
り可能な情報記録媒体。