JPH1173492A

JPH1173492A - 座標変換方法、画像合成方法及び情報記録媒体

Info

Publication number: JPH1173492A
Application number: JP9303893A
Authority: JP
Inventors: Koichi Ejiri; 公一江尻; Shin Aoki; 青木　　伸; Umikatsu Seki; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-11-08
Filing date: 1997-11-06
Publication date: 1999-03-16
Anticipated expiration: 2017-11-06
Also published as: JP3993672B2

Abstract

(57)【要約】【課題】同一地点から異なった方位を撮影した複数の
画像を高精度に合成する。【解決手段】二つの画像の共通パターンを抽出する
（Ｓ２）。共通パターンをキーとして画像の歪曲収差係
数を推定し、歪曲収差補正された各画素の方位角度座標
（経度，緯度）を求める（Ｓ３−Ｓ６）。共通パターン
の代表点の方位角度座標に基づいて座標変換行列を求
め、統一座標系への方位角度座標の変換を行う（Ｓ７，
Ｓ８）。変換後の方位角度座標を表示面に投影し（Ｓ
９）、さらに線形補間により等画素ピッチの画像を得る
（Ｓ１０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子的に表現され
た画像の合成技術に係り、特に、デジタルカメラ等を用
いて同一地点より異なった任意の方位を撮影した複数枚
の画像の繋ぎ合わせ合成及びそのための座標変換の技術
に関する。

【０００２】

【従来の技術】画像を電子的に撮影するデジタルカメラ
等の機器の普及により、撮影画像の使われ方も大きく変
わってきている。その例が、パノラマ写真に代表される
ような、異なった方位を撮影した複数枚の画像の繋ぎ合
わせ合成である。この場合、各画像を撮影する際のデジ
タルカメラ等のレンズ中心は不動であることが前提であ
る。しかし、複数枚の画像を単純に繋ぎ合わせたので
は、不自然な合成画像しか得られない。その理由につい
て図１を参照して説明する。

【０００３】図１において、１は撮影に用いられるカメ
ラのレンズ、２は撮像用のＣＣＤ、３は被写体である。
ａｏが光軸となる方位で被写体３を撮影した時に、被写
体３の点ｂ，ｃはＣＣＤ２上の点ｐ１，ｐ２に結像さ
れ、ｃｑが光軸となる方位で被写体３を撮影した時に
（１’と２’はそれぞれ、この時のレンズ１とＣＣＤ２
の位置を表す）、同じ被写体３の点ｂ，ｃはＣＣＤ２上
の点ｒ，ｑに結像されるとする。このように、同じ被写
体３上の区間「ｂｃ」は、異なった方位で撮影した画像
上では長さの異なる区間「ｐ１ｐ２」と区間「ｑｒ」と
して表現される。この例から明らかなように、レンズの
歪みがなくとも、撮影方位によって画像上の被写体像の
大きさが変わってしまう。したがって、方位の異なる画
像の単純な繋ぎ合わせでは良質な合成画像を得られな
い。

【０００４】良質な合成画像を得るためには、合成しよ
うとする個々の画像の修正が必要であるだけでなく、そ
の繋ぎ合わせ位置の調整が必要となる。しかし、このよ
うな修正と繋ぎ合わせ合成、上下左右、任意の方位に任
意角度だけずらして撮影された複数の画像について高精
度に行うための実用的な手法は、これまで知られていな
い。

【０００５】例えば、２つの撮像装置で２方向を撮影し
た２つの画像、あるいは１つの撮像装置である方向を撮
影した画像と、その撮像装置を水平にある角度だけ回転
させて撮影した画像とを合成し、単一始点から見た場合
と同様の超広角度画像を得ようとする画像合成装置が特
開平７−１３５６０５公報に述べられている。しかし、
これは予め撮影方向、レンズ特性などから座標変換のた
めのパラメータを求めて記録しておく必要があるため、
異なった任意の方位を撮影した複数の画像を合成する目
的には適用できない。

【０００６】また、Ｓhenchang Ｅric Ｃhen，”Ｑuick
Ｔime ＶＲ−Ａn Ｉmage−ＢasedＡpproach to Ｖirtua
ul Ｅnvironment Ｎavigation，”Ｃomputer Ｇraphics
Ｐroceedings，Ａnnual Ｃonference Ｓeries，１９９
５ pp．２９−３８は、カメラをその垂直軸周りに一方
向にほぼ等角度だけ振って撮影した、部分的にオーバー
ラップした複数の画像を合成するプロセスに言及してい
る。このプロセスは、その詳細は述べられていないが、
記述内容から判断する限りでは、同一地点からカメラを
上下左右、任意の方向に任意の角度ずらせて撮影した複
数の画像を合成する目的に適用できない。

【０００７】なお、天体写真に関連してであるが、全天
を１枚の画像に納めることはできないので、全天のパノ
ラマが必要なときには、個々の天体を撮影した多数の画
像を用意する必要がある。各画像の撮影方位は知れてい
るため、その撮影方位から個々の天体の方位角度座標を
測定できるので、この方位角度座標をベースにすれば、
有限個の天体を方位的に正確に表したパノラマ表現は不
可能ではない。しかし、このような手法は、被写体を予
め特定できず撮影方位も解らない一般的な画像の合成の
目的に、そのまま適用できる方法ではない。

【０００８】

【発明の解決しようとする課題】本発明の目的は、同じ
地点から異なった任意の方位を撮影した、部分的にオー
バーラップした複数の画像を高精度に合成する方法及び
そのための座標変換方法を提供することにある。

【０００９】

【課題を解決するための手段】本発明によれば、同一地
点から異なった任意の方位を撮影した複数の画像を合成
するための座標変換方法が提供されるが、その特徴は、
注目した二つの画像に共通のパターンを複数組抽出し、
注目した各画像の抽出されたパターンの代表点を、その
画像に固有の座標系の方位角度座標で表現し、注目した
二つの画像の抽出されたパターンの代表点の方位角度座
標に基づいて注目した二つの画像の座標系間の関係を求
め、求められた座標系間関係に従って注目した二つの画
像の画素の方位角度座標を注目した二つの画像に共通の
座標系の方位角度座標に変換することにある。この方法
の好ましい態様によれば、注目した各画像に固有の座標
系の方位角度座標は、予め歪曲収差補正が施される。

【００１０】本発明によれば、同一地点から異なった任
意の方位を撮影した複数の要素画像の合成画像を生成す
る画像合成方法が提供されるが、その特徴は、基準とな
る要素画像と他の要素画像との共通パターンを複数組抽
出する第１のステップ、該第１のステップで抽出された
共通パターンの代表点の方位角度座標に基づいて該他の
要素画像の方位角度座標を該基準となる要素画像の方位
角度座標に変換するための座標変換行列を求める第２の
ステップ、及び、合成画像上の各画素の値を求めるため
の処理ステップからなり、該処理ステップは、合成画像
面上の一つの画素を注目画素として選択する第３のステ
ップ、一つの要素画像を注目要素画素として選択する第
４のステップ、該注目画素の位置を、該注目要素画像に
対して該第２のステップで求められた座標変換行列を用
いて該注目要素画像上の位置に変換する第５のステッ
プ、該第５のステップで変換された位置が当注目要素画
像の範囲内にあるか判定する第６のステップ、及び、該
第６のステップによって、該変換された位置が該注目要
素画像の範囲内にあると判定されたときに該注目要素画
像上の該変換された位置の周りの画素の値に基づいて該
注目画素の値を計算する第７のステップを含み、該第７
のステップの後に該第３のステップに戻り、該第６のス
テップによって該変換された位置が該注目要素画像の範
囲内にないと判定されたときに該第４のステップに戻る
ことにある。この方法の好ましい態様によれば、共通パ
ターンの代表点の方位角度座標に基づいて歪曲収差係数
が推定され、この歪曲収差係数を用いて共通パターンの
代表点の方位角度座標が補正され、この補正後の方位角
度座標に基づいて座標変換行列が決定され、また、合成
画像上の画素の位置を要素画像上の位置に変換する際に
も歪曲補正係数を用いた補正が施される。

【００１１】

【発明の実施の形態】以下、本発明の実施例を説明す
る。図２は本発明の一実施例による画像合成のための座
標変換処理全体の流れを示している。図２において、左
側の列は角度座標系での処理を表し、右側の列は直交座
標系での処理を表している。

【００１２】座標変換処理では、共通（同一）のパター
ンを含む、つまり部分的にオーバーラップさせるように
撮影された異なった方位の二つの画像に注目する。ここ
では、注目した各画像は図１に示したような撮像系によ
って同一地点より撮影され、その撮像素子はＣＣＤであ
るとする。ＣＣＤの光センサーは通常、直交した方向に
一定のピッチｘ0，ｙ0で配列されている。そして、各画
像上の画素の位置は、光軸と画像面との交点（普通、画
像の中心）を原点とした整数座標（ｉ，ｊ）で表され
る。高精度の変換処理を実行するには、整数座標は演算
精度の面で適当でない。そこで、本実施例では、ステッ
プＳ１において、整数座標（ｉ，ｊ）が実数座標（ｉ
x，ｊy）に変換される（ｉx ＝ｉ×ｘ0 ，ｊy＝ｊ×ｙ
0）。

【００１３】次のステップＳ２において、二つの画像に
共通するパターンが複数組抽出される。このパターンの
抽出は、一方の画像上の適当なサイズのブロックと同じ
ものを、他方の画像上でサーチする方法によって容易に
実現できる。この時、両画像より抽出された共通パター
ンの代表点（中心画素又は重心画素など）の座標が対応
付けられて保存される。

【００１４】レンズに角度θで入射した光は、光軸に対
しθ' の角度でレンズから出る。次のステップＳ３にお
いて、各画像上の各画素の光軸からの実測方位角度、す
なわちθ' を次式により算出し保存する。ただし、Ｒは
レンズの中心と撮像面（ＣＣＤ）の距離である。

【００１５】

【数１】

【００１６】レンズに入射する光は光軸からの角度に依
存して歪曲し（歪曲収差）、次の２式の関係が成立す
る。

【００１７】

【数２】

【００１８】

【数３】

【００１９】（３）式を（２）式に代入すると次式が得
られる。

【００２０】

【数４】

【００２１】（３）式は歪曲収差関数である。その２
次，４次の歪曲係数Ａ，Ｂが決まれば、(２）式によっ
てθ'からθを計算することができる。ステップＳ４に
おいては、２つの画像の共通パターンのペアをキーとし
て、Ａ，Ｂを推定する。この推定は特願平８−２７３２
９４号特許出願に添付の明細書に詳述されているような
手順によればよいので、その詳細な説明は割愛するが、
手順の概略は次のとおりである。

【００２２】まず、ペアをなす共通パターンの代表点
（中心画素、重心画素など）の方位角度をθi'，θj'、
もう一つのペアをなす共通パターンの代表点の方位角度
をθi"，θj"とする。Ｂ＝０とし、Ａを初期値Ａ0 から
小さな値ΔＡずつ増加させながら、θi'，θj'，θi"，
θj"をそれぞれ（４）式のθ' に代入し解θを求める。
その解をθio'，θjo'，θio"，θjo"とし、次式の誤差
評価値が収束するＡの値を求める。

【００２３】

【数５】

【００２４】次に、Ｂを初期値Ｂ0 から小さな値ΔＢず
つ増加させながら、上のＡ推定に用いたペア又は別のペ
アをなす共通パターンの代表点の方位角度を（４）式の
θ'に代入し、その解を用いて（５）式により計算され
る誤差評価値の収束を調べ、収束した時のＢの値を求め
る。

【００２５】次のステップＳ５において、前ステップＳ
４で推定された歪曲係数Ａ，Ｂの値を用い（２）式を解
くことにより、各画像上の各画素の実測方位角度θ' に
対する真の角度θを求める。次のステップＳ６におい
て、前ステップで求められたθを次の２式によって方位
角度座標（経度、緯度）に変換する。

【００２６】

【数６】

【００２７】

【数７】

【００２８】（６）式、（７）式の方位角度座標は、二
つの画像それぞれに固有の座標系の方位角度座標であ
る。ここで得られた画素（共通パターンの代表点も含
む）の方位角度座標はレンズの歪曲収差を補正されたも
のである。

【００２９】次に、両画像の方位角度座標を統一した座
標系の方位角度座標に変換するための変換行列を求め
る。本実施例では、一方の画像の座標系を基準とし、そ
の座標系の方位角度座標に他方の画像の方位角度座標を
変換する方法をとる。これについて図３及び図４を参照
して説明する。

【００３０】図３は異なる方位を撮影した二つの画像３
１，３２の関係を示している。被写体は無限遠に存在
し、カメラのレンズ中心Ｏは不動であるとする。θ0 は
カメラより画像３１，３２の中心（光軸方向）Ｐ１，Ｐ
２を見込む角度であり、γは画像３１，３２の傾き角度
である。各画像に写された被写体は、その画像に固有の
座標系に基づく方位角度座標（経度、緯度）で表現され
ているとする。画像３１と画像３２の重なる斜線領域
（オーバーラップ領域）３３内には同じ被写体が重複し
て写されているが、同一の被写体であっても、画像３１
においては画像３１固有の座標系での方位角度座標を持
ち、画像３２においては画像３２固有の座標系での方位
角度座標を持っている。つまり、画像３１，３２に共通
した被写体、言い換えれば二つの画像上の共通パターン
は、二通りの方位角度座標を持っている。この共通パタ
ーンは本来は同一方位にある同一の被写体を写したもの
であるから、各座標系上の共通パターンの方位角度座標
をキーとして、二つの画像３１，３２を統一した座標系
に変換するための変換式を導くことができる。

【００３１】図４は、座標変換を説明するために図３を
描き直した図である。なお、画像３１，３２は部分的に
重なっているが、図４においては図の煩雑さを避けるた
め画像３１と画像３２は分離した状態で表されている。

【００３２】図４において、画像３１の座標系は（ｘ1,
ｙ1,ｚ1）で表され、画像３２の座標系は（ｘ2,ｙ2,ｚ
2）で表され、また両座標系の（ｘ，ｙ）平面の共通軸
はξで表されている。αはｘ1 軸と共通軸ξの角度、β
はｘ2 軸と共通軸ξの角度、γはｚ1 軸とｚ2 軸の角度
（画像の傾き）である。座標系（ｘ1,ｙ1,ｚ1）を基準
とした座標変換処理式を次に示す。

【００３３】

【数８】

【００３４】座標系（ｘ2,ｙ2,ｚ2）の方向余弦を
（ｌ，ｍ，ｎ）、座標系（ｘ1,ｙ1,ｚ1）の方向余弦を
（Ｌ，Ｍ，Ｎ）と置き、（８）式の変換行列をＡで表す
と次式のように表すことができる。

【００３５】

【数９】

【００３６】ここで、ｌ＝cos(φy）cos（φx），ｍ＝cos（φy）sin（φ
x），ｎ＝sin（φy）Ｌ＝cos(ψy）cos（ψx），ｍ＝cos（ψy）sin（ψ
x），ｎ＝sin（ψy）である。ただし、（φx，φy）と（ψx，ψy）はそれぞ
れ画像３２と画像３１についてステップＳ６で得られた
方位角度座標（経度，緯度）である。よって(９)式は次
のよう表すことができる。

【００３７】

【数１０】

【００３８】二つの画像３１，３２の共通パターンは、
それぞれの座標系での二通りの方位角度座標を持つが、
本来は一つの方位角度座標で表されるべきものである。
したがって、共通パターンの代表点のすべての組（ｊ）
について次式を解くことによりα，β，γが定まり、よ
って変換行列Ａが定まる。ステップＳ７では、このよう
にして変換行列Ａを定め、次のステップＳ８で、この変
換行列Ａを用いて一方の画像の座標系で表された方位角
度座標を、基準となる他方の画像の座標系での方位角度
座標へ変換する処理を行う。

【００３９】

【数１１】

【００４０】これで、共通パターンを含む二つの画像上
の各画素は共通の座標系の方位角度座標で表現された。
つまり、座標変換後の二つの画像上の画素の座標を同じ
メモリ空間にプロットすれば、二つの画像を忠実に合成
できるわけある。ただし、この段階では各画素の座標だ
けを扱っており、画素値は割り当てられていないので、
合成画像を表示できる形にはなっていない。

【００４１】二枚の画像の合成画像を表示するために
は、画素値を割り当てた画素を表示面へ投影しなければ
ならない。ステップＳ９はその処理を行う。一般的な表
示装置の表示面は平面である。平面に投影する場合、そ
の平面の直交座標を（ｕ，ｖ）、方位度角度座標を（ψ
ｘ，ψｙ）とすれば、ｕ＝tan（ψx／Ｒ），ｖ＝tan（ψy／Ｒ）で（ｕ，ｖ）を求めることができる。

【００４２】一般的な表示装置は画素のピッチが一定で
あるが、ステップＳ９で得られる画像の画素は通常、等
間隔にならない。そこで、次のステップＳ１０におい
て、ステップＳ９で得られた画像を、表示装置に合致し
た一定のサンプリングピッチの画像（等画素ピッチの画
像）に変換する。この変換は線形補間法によればよい。
平面の表示面の場合、画素ピッチをｐx，ｐyとすると、
座標（ｕ，ｖ）の画素値を座標（ｕ／ｐx，ｖ／ｐy）の
画素値とし、それら画素の間の画素値は周囲の画素値を
もとに線形補間する。

【００４３】ここまでは、二つの画像の座標変換と合成
について述べたが、座標変換した二つの画像に、その隣
の画像を同様に座標変換する操作を繰り返すことによ
り、多数の画像を統一した座標系で表現し精密に合成す
ることが可能であることは、以上の説明から明らかであ
ろう。

【００４４】以上に述べた本発明による座標変換及び画
像合成は、専用ハードウェアによって実施することも一
般的なコンピュータを利用して実施することも可能であ
る。

【００４５】本発明による座標変換及び画像合成をプロ
グラムによって実施するためのコンピュータシステムの
一例を図５に示す。また、そのためのプログラムの一例
の概略フローチャートを図６及び図７に示す。

【００４６】図５に示すコンピュータシステムは、プロ
グラムに従ってデータ処理や各部の制御を実行するＣＰ
Ｕ５０、ＣＰＵ５０に実行されるプログラムを格納する
プログラムメモリ５２、各種データを格納するためのデ
ータメモリ５４、ハードディスク装置等の補助記憶装置
５６、画像表示のためのディスプレイ装置５８、デジタ
ルカメラ６４のような画像入力装置からの情報入力のた
めの外部インターフェース部６０やＩＣカードリーダー
６２、さらに図示しないが、プログラムやデータが記録
されたＣＤ−ＲＯＭやフロッピーディスク等の情報記録
媒体の記録再生のためのドライブや等をシステムバス６
８で接続したものである。

【００４７】本発明による座標変換及び画像合成の処理
の対象となる画像のデータは、例えばデジタルカメラ６
４によって取得され、外部インターフェース部６０を介
して取り込まれ、補助記憶装置５６に保存される。ある
いは、デジタルカメラ６４から取り外されたＩＣメモリ
カードをＩＣカードリーダー６２に挿入し、ＩＣメモリ
カードより画像データが読み込まれ補助記憶装置５６に
保存される。本発明による座標変換及び画像合成のため
のプログラムは、例えばＣＤ−ＲＯＭ等の情報記録媒体
から読み取られて予め補助記憶装置５６に格納される。
本発明による処理の実行時に、補助記憶装置５６内のプ
ログラムや処理の対象となる画像等のデータがそれぞれ
プログラムメモリ５２又はデータメモリ５４に読み込ま
れる。

【００４８】以下、このコンピュータシステムの構成を
適宜参照しながら、図６及び図７に示したプログラムに
よる処理内容を説明する。なお、図６はこのプログラム
７２の座標変換行列を決定するまでの部分の処理フロー
を示しており、図７は決定された座標変換行列を用いて
画像合成を行って出力する部分の処理フローを示してい
る。

【００４９】図５に示すように、本発明の処理を実行す
るためのプログラム７２は予めプログラムメモリ５２に
ロードされており、また、デジタルカメラ６４によって
同一地点から撮影方位を例えば左右上下にずらしながら
連続的に撮影された複数枚の画像（要素画像）のデータ
群７０が前述のようにして予め補助記憶装置５６に格納
されている。これらの要素画像のデータには画素値のほ
かに、その撮影時におけるデジタルカメラ６４のレンズ
の中心と撮像面との距離Ｒ、及び１枚１枚の画像の連続
性を表す情報も含まれている。

【００５０】プログラム７２が起動されると、図６の最
初のステップＳ１において、補助記憶装置５６内の要素
画像データ群７０中の隣り合う２枚の要素画像７０ａ，
７０ｂのデータがデータメモリ５４に読み込まれる。こ
こでは、一方の要素画像７０ａを基準側の要素画像とす
る。

【００５１】次のステップＳ２２において、２つの要素
画像７０ａ，７０ｂを縦横に複数のブロックに分割す
る。１つのブロックは例えば１６×１６画素の大きさに
選ばれる。次のステップＳ２３において、基準側要素画
像７０ａ上のブロックと、それとある一定距離範囲内に
ある要素画像７０ｂ上のブロックとのパターンマッチン
グが行われ、一定以上の類似度が認められたブロックの
ペアが両要素画像の共通パターンとして認識される。次
のステップＳ２４において、前ステップで共通パターン
と認識されたブロックのペアに関して、それぞれのブロ
ックの代表点（中心画素又は重心画素など）の座標が前
記（１）式に従って方位角度に変換され、対応付けられ
てデータメモリ５４上に一時的に保存される。ステップ
２３及びステップ２４の処理は、全てのブロックについ
て処理されたとステップＳ２５で判定されるまで繰り返
される。

【００５２】共通パターンの抽出とその代表点座標の方
位角度への変換が終わると、次のステップＳ２６におい
て、保存されている代表点の方位角度を用い、前述した
手順に従い歪曲収差係数Ａ，Ｂが推定される。

【００５３】次のステップＳ２７において、保存されて
いるブロックの代表点の方位角度が前記（２）式に従っ
て歪曲収差のない方位角度に変換された後、さらに前記
(６）式及び前記（７）式に従って方位角度座標に変換
されてデータメモリ２４に一時的に保存される。この処
理は共通パターンとして抽出された全てのブロックに関
して行われる。この変換処理の終了がステップＳ２８で
判定されると、次のステップＳ２９において、ステップ
Ｓ２７で得られた方位角度座標を用いて前述した手順に
従い要素画像７０ａ，７０ｂ間の座標変換行列が決定さ
れる。

【００５４】ここまでの処理は、前述した図２のステッ
プＳ２〜Ｓ７に対応する処理である。次に図２のステッ
プＳ８〜Ｓ１０に対応する処理を図７を参照して説明す
る。なお、ここでは、基準となる要素画像を含む任意の
Ｎ個（Ｎ≧２）の要素画像の合成画像を生成するものと
する。それぞれの要素画像に対する座標変換行列は前述
の方法によって既に求められており、また各要素画像の
データはデータメモリ５４に読み込まれているものとす
る。

【００５５】まずステップ５０において、合成画像の大
きさが決定される。例えば、各要素画像の四隅の座標位
置を合成画像面に投影して投影後の各要素画像の位置を
求め、投影された要素画像が全て含まれれるように合成
画像の位置と大きさを決定する。そして、ステップ５１
において、前ステップで決定された大きさに従い合成画
像の画素値を保持するための合成画像メモリ７４がデー
タメモリ５４上に確保され、その全ての画素位置が初期
値、例えば黒に初期化される。しかる後、ステップＳ５
２〜Ｓ６０によって、合成画像の各画素値を１画素ずつ
順に求めて合成画像メモリ７４に書き込まれる。

【００５６】まずステップ５２において合成画像上の１
つの画素が注目画素として選択され、ステップ５３で１
つの要素画像が選択される。ステップ５４において、ス
テップＳ５２で選択された画素（注目画素）の合成画像
上の位置が、ステップ５３で選択された要素画像の座標
変換行列及び歪曲収差係数Ａ，Ｂを使い、当該要素画像
上の座標値（浮動小数点数）に変換される。ただし、選
択された要素画像が基準要素画像であるときは、歪曲収
差係数Ａ，Ｂによる座標補正だけが行われる。ステップ
Ｓ５５において、ステップＳ５４で変換された座標値
と、選択された要素画像のサイズ（幅、高さ）とが比較
され、当該変換座標値が当該要素画像の範囲内にあるか
判定される。当該変換座標値が当該要素画像の範囲内に
あると判定された場合、当該変換座標値の位置は一般に
画像の格子点からずれているので、ステップＳ５９にお
いて、当該要素画像上の当該変換座標値の位置の周囲の
数画素の画素値から、線形補間により当該注目画素の画
素値が計算され、この画素値が合成画像上の注目画素の
画素値として合成画像メモリに書き込まれる。そして、
ステップＳ５８で合成画像上の別の１つの画素が注目画
素として選択され、ステップＳ５３以下の処理の対象と
なる。

【００５７】ステップＳ５２又はＳ５８で選択された注
目画素のステップＳ５４で変換された座標値が、ステッ
プＳ５３で選択された要素画像の範囲内にないとステッ
プＳ５４において判定された場合、ステップＳ５７で別
の要素画像が選択される。そして、当該要素画像の座標
変換行列及び歪曲収差係数を使って、ステップＳ５２又
はＳ５８で選択された注目画素の位置が当該要素画像の
座標値に変換され、ステップＳ５５で、この変換座標値
が当該要素画像の範囲内にあるか否か判定される。当該
要素画像の範囲内にないと判定された場合には、ステッ
プＳ５７で別の要素画像が選択され、この要素画像に関
してステップＳ５４の座標変換とステップＳ５５の判定
が行われる。もし、同じ注目画素に関し、Ｎ個の要素画
像の全てを選択してもステップＳ５５で要素画像の範囲
内にないと判定された場合、つまりステップＳ５７で全
ての要素画像が選択されたと判定された場合、当該注目
画素は撮影されてないということであるので、その画素
値計算も合成画像メモリ上の画素値の書き換えも行われ
ず（初期値のままにされる）、ステップＳ５８で合成画
像上の別の１つの画素が注目画素として選択され、この
注目画素について同様の処理が行われる。

【００５８】以上の処理は、合成画像上の全ての画素位
置について終了したとステップＳ６０で判定されるまで
繰り返される。全画素について処理を終了すると、合成
画像が合成画像メモリ７４に生成されたので、ステップ
６１で、この合成画像のデータはディスプレイ装置５８
に画像出力され、あるいは補助記憶装置５６に格納され
る。

【００５９】

【発明の効果】以上の詳細な説明から明らかなように、
本発明によれば、同一地点から異なった方位を撮影し
た、部分的にオーバーラップした複数の画像上の画素を
統一した座標系の方位角度座標で表現することができる
ため、撮影方位の違う複数の画像を高精度に合成するこ
とができ、統一座標系の方位角度座標で表現された画素
を表示装置の表示面に投影することにより、高精度な合
成画像を表示させることができる。しかも、隣り合う画
像を適当量オーバーラップさせて撮影する限り、カメラ
を上下左右に任意の方向に任意の角度だけ振って撮影し
た画像の高精度合成が可能であり、例えばカメラを水平
方向に予め決めた角度だけ振って画像を撮影しなければ
ならないというような、画像の撮影方位や隣り合う画像
の撮影方位のずれ角度等の撮影条件を予め指定して厳し
く制限する必要がない。また、予め、撮影方位やレンズ
特性等から座標変換パラメータを求めて設定しておく必
要もない。また、デジタルカメラ等のレンズの歪曲収差
は比較的大きく、最近の多機能なデジタルカメラでは歪
曲収差が７％にもなることがあるが、本発明によれば、
そのような歪曲収差の大きなデジタルカメラ等によって
撮影された画像についても、画像の情報から歪曲収差係
数を求めて歪曲収差補正を行うことにより、歪みの少な
い高精度な合成画像を得ることができ、また、一般的な
コンピュータを利用してそのような高精度画像合成を実
施でする等の効果を得られる。

【図面の簡単な説明】

【図１】同一地点からカメラの方位を変えて同一被写体
を撮影した場合の像間の位置関係を説明するための図で
ある。

【図２】本発明の一実施例による処理の流れを示す図で
ある。

【図３】異なる方位を撮影した二つの画像の関係を説明
するための図である。

【図４】座標変換の説明のために図３を描き直した図で
ある。

【図５】本発明の一実施例に利用されるコンピュータシ
ステムの一例を簡略化して示すブロック図である。

【図６】本発明の一実施例によるプログラムの座標変換
行列の決定に関する部分の処理内容を示す概略フローチ
ャートである。

【図７】本発明の一実施例によるプログラムの座標変換
と画像合成に関する部分の処理内容を示す概略フローチ
ャートである。

【符号の説明】

１（１’）レンズ２（２’）ＣＣＤ３被写体３１，３２撮影方位の異なる画像５０ＣＰＵ５２プログラムメモリ５４データメモリ５６補助記憶装置５８ディスプレイ装置６０外部インターフェイス部６２ＩＣカードリーダー６４デジタルカメラ７０ａ，７０ｂ撮影方位の異なる要素画像７２座標変換及び画像合成のためのプログラム

Claims

【特許請求の範囲】

【請求項１】同一地点から異なった任意の方位を撮影
した複数の画像を合成するための座標変換方法であっ
て、注目した二つの画像に共通のパターンを複数組抽出
し、注目した各画像の抽出されたパターンの代表点を、
その画像に固有の座標系の方位角度座標で表現し、注目
した二つの画像の抽出されたパターンの代表点の方位角
度座標に基づいて注目した二つの画像の座標系間の関係
を求め、求められた座標系間関係に従って注目した二つ
の画像の画素の方位角度座標を注目した二つの画像に共
通の座標系の方位角度座標に変換することを特徴とする
座標変換方法。
【請求項２】請求項１記載の座標変換方法において、
注目した各画像に固有の座標系の方位角度座標は予め歪
曲収差補正が施されることを特徴とする座標変換方法。
【請求項３】同一地点から異なった任意の方位を撮影
した複数の要素画像の合成画像を生成する画像合成方法
であって、基準となる要素画像と他の要素画像との共通パターンを
複数組抽出する第１のステップ、該第１のステップで抽
出された共通パターンの代表点の方位角度座標に基づい
て該他の要素画像の方位角度座標を該基準となる要素画
像の方位角度座標に変換するための座標変換行列を求め
る第２のステップ、及び、合成画像上の各画素の値を決
定するための処理ステップからなり、該処理ステップは、合成画像上の一つの画素を注目画素
として選択する第３のステップ、一つの要素画像を注目
要素画素として選択する第４のステップ、該注目画素の
位置を、該注目要素画像に対して該第２のステップで求
められた座標変換行列を用いて該注目要素画像上の位置
に変換する第５のステップ、該第５のステップで変換さ
れた位置が当注目要素画像の範囲内にあるか判定する第
６のステップ、及び、該第６のステップによって、該変
換された位置が該注目要素画像の範囲内にあると判定さ
れたときに該注目要素画像上の該変換された位置の周り
の画素の値に基づいて該注目画素の値を計算する第７の
ステップを含み、該第７のステップの後に該第３のステ
ップに戻り、該第６のステップによって該変換された位
置が該注目要素画像の範囲内にないと判定されたときに
該第４のステップに戻ることを特徴とする画像合成方
法。
【請求項４】同一地点から異なった任意の方位を撮影
した複数の要素画像の合成画像を生成する画像合成方法
であって、基準となる要素画像と他の要素画像との共通パターンを
複数組抽出する第１のステップ、該第１のステップで抽
出された共通パターンの代表点の方位角度座標に基づい
て歪曲収差係数を求める第２のステップ、該第２のステ
ップで求められた歪曲収差係数を用いて該共通パターン
の代表点の方位角度座標を補正する第３のステップ、該
第３のステップで補正された後の該共通パターンの代表
点の方位角度座標に基づいて、該他の要素画像の方位角
度座標を該基準となる要素画像の方位角度座標に変換す
るための座標変換行列を求める第４のステップ、及び、
合成画像上の各画素の値を決定するための処理ステップ
からなり、該処理ステップは、合成画像上の一つの画素を注目画素
として選択する第５のステップ、一つの要素画像を注目
要素画素として選択する第６のステップ、該注目画素の
位置を、該注目要素画像に対して該第４のステップで求
められた座標変換行列を用いて該注目要素画像上の位置
に変換する第７のステップ、該第７のステップで変換さ
れた位置が該注目要素画像の範囲内にあるか判定する第
８のステップ、及び、該第８のステップによって該変換
された位置が該注目要素画像の範囲内にあると判定され
たときに該注目要素画像上の該変換された位置の周りの
画素の値に基づいて該注目画素の値を計算する第９のス
テップを含み、該第９のステップの後に該第５のステッ
プに戻り、該第８のステップによって該変換された位置
が該注目要素画像の範囲内にないと判定されたときに該
第６のステップに戻ることを特徴とする画像合成方法。
【請求項５】同一地点から異なった任意の方位を撮影
した複数の要素画像を入力するステップ、該ステップに
より入力された複数の要素画像に関して、請求項３又は
４記載の各ステップをコンピュータに実行させるための
プログラムを記録した機械読み取り可能な情報記録媒
体。