JP3696952B2 - 画像合成装置および方法 - Google Patents
画像合成装置および方法 Download PDFInfo
- Publication number
- JP3696952B2 JP3696952B2 JP27509195A JP27509195A JP3696952B2 JP 3696952 B2 JP3696952 B2 JP 3696952B2 JP 27509195 A JP27509195 A JP 27509195A JP 27509195 A JP27509195 A JP 27509195A JP 3696952 B2 JP3696952 B2 JP 3696952B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- positional relationship
- list
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置および方法に関し、特に３枚以上の画像を重ねて画角の広い画像を合成する画像合成装置および方法に関する。
【０００２】
【従来の技術】
従来、複数の画像を繋ぎ合わせて画角の広い画像を合成する方法として、２つの画像が重複する領域内の対応点を指定し、それらが一致するように画像の位置合わせを行い、２つの画像を繋ぎ合わせる方法が知られている。この方法は、２つの画像の対応点をマウスなどで指定する必要があり、操作が面倒であった。
【０００３】
また、この対応点の抽出をテンプレートマッチングなどの方法により自動的に行って２つの画像の位置関係を検出し、画像を繋ぎ合わせることも可能である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例では、例えば通常の撮影レンズで３６０度全周のパノラマ画像を合成する場合や高解像度の大きい画像を合成する場合には、２つの画像を合成するだけでは足らず、２つの画像の合成を繰り返し行う必要があり、以下に掲げる問題があった。
【０００５】
例えば、連続した４枚の画像を合成するときには、まず第１の画像と第２の画像とから合成画像を作成し、同様に第３の画像と第４の画像とから合成画像を作成する。そして、合成された画像同士から４枚の画像を合成した画像を作成する。
【０００６】
この場合、第１の画像と第２の画像、第３の画像と第４の画像、および合成された画像同士の位置関係を検出して画像データの合成を行う必要があった。
【０００７】
予め、全ての画像の位置関係が分かっていれば４枚の画像を合成することは可能であるが、繰り返し２枚の画像の合成を行って合成画像を作成する方法では、画像データの合成を複数回行わなければならず、処理効率が悪かった。
【０００８】
また、テンプレートマッチングなどの方法により自動的に対応点を抽出して２つの画像の位置関係を検出する場合、繰り返し２枚の画像の合成を行って合成画像を作成する方法では画像を合成する処理毎に対象画像を指示しておく必要があり、対応点の指定を行わなくても操作が面倒であった。
【０００９】
そこで、本発明は、３枚以上の画像を重ねて画角の広い画像を合成する場合でも簡単な操作で合成画像を得ることができる画像合成装置および方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る画像合成装置は、複数の画像を合成して画角の広い画像を生成する画像合成装置において、前記複数の画像を表示領域内に配置する配置手段と、該配置された複数の画像のうち一部が重複する２つの画像の重複部分の対応点を抽出し、該抽出した前記２つの画像の位置関係を求める位置関係検出手段と、前記表示領域内の前記複数の画像の配置関係に基づき、前記複数の画像の配置関係を示すリストを作成し、前記位置関係を求める順序を決定するリスト作成手段と、該作成されたリストと決定された順序に基づき、順次求められる２つの画像の位置関係から全ての画像間の位置関係を求める全画像間位置関係検出手段と、該求められた全ての画像間の位置関係に基づき、前記複数の画像の画像データから合成画像領域における画像データを求めて合成画像を作成する合成画像作成手段とを備えたことを特徴とする。
【００１６】
請求項２に係る画像合成方法は、複数の画像を合成して画角の広い画像を生成する画像合成方法において、前記複数の画像を表示領域内に配置し、該配置された複数の画像のうち一部が重複する２つの画像の重複部分の対応点を抽出し、該抽出した前記２つの画像の位置関係を求め、前記表示領域内の前記複数の画像の配置に基づき、前記複数の画像の配置関係を示すリストを作成して前記位置関係を求める順序を決定し、該作成されたリストと決定された順序に基づき、順次求められる２つの画像の位置関係から全ての画像間の位置関係を求め、該求められた全ての画像間の位置関係に基づき、前記複数の画像の画像データから合成画像領域における画像データを求めて合成画像を作成することを特徴とする。
【００１７】
【発明の実施の形態】
本発明の画像合成装置の実施の形態について説明する。
【００１８】
［第１の実施の形態］
図１は第１の実施の形態における画像合成装置の構成を示すブロック図である。画像合成装置はインタフェース部１、処理部２およびデータ記憶部３の３つの部分から構成される。各部はコンピュータによって実行される制御プログラムにより制御される。
【００１９】
インターフェース部１は、画像表示部１０および画像配置部１１からなる。画像表示部１０はコンピュータのディスプレイに表示される画像合成のワークウィンドウにユーザが指定した画像および合成後の画像を表示する。画像配置部１１はディスプレイに表示された画像をカーソルのドラッグ操作により移動し、所望の位置に画像を配置する。
【００２０】
処理部２は、リスト作成部２０、位置関係検出部２１および画像変換合成部２２からなる。リスト作成部２０は処理を行うための処理順と対象画像のリスト（以下、処理リストという）を作成する。位置関係検出部２１は対応点抽出部２１１、変換パラメータ算出部２１２からなり、２つの画像の相対位置関係を求め、変換パラメータを出力する。画像変換合成部２２は複数の画像データから１つの画像データを合成する。
【００２１】
データ記憶部３は、画像データ記憶部３０、リスト記憶部３１、変換パラメータ記憶部３２からなり、それぞれ画像データ、処理リスト、変換パラメータを記憶する。
【００２２】
つぎに、Ｎ枚の画像データから画像を合成する場合の画像合成装置の動作について説明する。画像合成のメインプログラムが起動すると、コンピュータのディスプレイにワークウィンドウが表示される。同時に画像データ記憶部３０に記憶されている画像データのファイル一覧がファイル管理ウィンドウに表示される。
【００２３】
ユーザは合成する画像データをファイル管理ウィンドウから選択する。このとき選択される画像データを画像＃１とする。そして、選択された画像データを画像データ記憶部３０から読み込み、画像表示部１０によって画像＃１をワークウィンドウ内に表示する。この操作をＮ回繰り返した後、画像＃１〜画像＃ＮのＮ枚の画像がワークウィンドウ内に表示される。
【００２４】
つづいて、ユーザは表示されたＮ枚の画像のそれぞれにカーソルを合わせ、Ｎ枚の画像について大体の再配置を行う。画像配置部１１は、このとき、ユーザのカーソル指示にしたがって表示されている画像の移動を画像表示部１０に指示する。画像表示部１０はその指示にしたがって画像の再表示を行う。同時に画像配置部１１は、ユーザによって配置されたそれぞれの画像のワークウィンドウ内での配置情報を記憶しておく。そして、ユーザがキーボードからのコマンド入力により合成の指示を行うと、処理部２はつぎの処理にしたがって画像を合成する。
【００２５】
リスト作成部２０は、画像＃１を基準画像とし、画像データの配置情報を基に基準画像との繋がりを調べる。図２は合成する９枚の画像が配置されたワークウィンドウを示す説明図である。この９枚の画像の合成を例にして、リスト作成部２０が行う処理リストの作成について説明する。
【００２６】
まず、リスト作成部２０は基準画像を中心に左、右、上、下の順にワークウィンドウ内の残りの全ての画像との配置関係を探索する。基準画像と相手画像の配置情報とを比較することによって探索は行われる。各画像＃１〜＃９のそれぞれの配置情報をｐｏｓ１〜ｐｏｓ９とし、配置情報には水平、垂直方向の位置データ（ｐｏｓ１ｘ，ｐｏｓ１ｙ）〜（ｐｏｓ９ｘ，ｐｏｓ９ｙ）が記憶されている。但し、（ｐｏｓ１ｘ，ｐｏｓ１ｙ）＝（０，０）である。
【００２７】
リスト作成部２０は、基準画像と相手画像の配置情報を比較し、水平方向の配置が左側であり、かつ任意の閾値ｔｈ１以上のもの（つまり、右側、下側の配置をそれぞれ正とし、条件式（ｐｏｓ１ｘ，ｐｏｓｉｘ）＞ｔｈ１ （ｉ＝２〜９）、ｔｈ１＞０を満たすもの）で、かつ画像領域が重複し（つまり、画像の水平方向の幅をｗとすると、条件式（ｐｏｓ１ｘ，ｐｏｓｉｘ）＜ｗ（ｉ＝２〜９）、ｔｈ１＜ｗを満たし）、そのうち垂直方向の配置ずれが任意の閾値ｔｈ２以下（つまり、｜（ｐｏｓ１ｙ，ｐｏｓｉｙ）｜＜ｔｈ２、（ｉ＝２〜９））で最小のものを左画像として探索する。ここで、ｔｈ１が画像の水平方向の幅ｗの１／４程度、ｔｈ２が同様に画像垂直方向の幅ｈの１／４程度であるとすると、図２の場合、画像＃１の左画像を探索できない。
【００２８】
左画像の探索と同様に、右画像、上画像、下画像の探索を行う。右画像の探索では、基準画像と相手画像の配置情報を比較し、水平方向の配置が右側であり、かつ任意の閾値ｔｈ１以上のもの、かつ画像領域が重複し、そのうち垂直方向の配置ずれが任意の閾値ｔｈ２以下で最小のものを右画像として探索する。
【００２９】
また、上画像の探索では、基準画像と相手画像の配置情報を比較し、垂直方向の配置が上側であり、かつ任意の閾値ｔｈ２以上のもの、かつ画像領域が重複し、そのうち水平方向の配置ずれが任意の閾値ｔｈ１以下で最小のものを上画像として探索する。
【００３０】
さらに、下画像の探索では、基準画像と相手画像の配置情報を比較し、垂直方向の配置が下側であり、かつ任意の閾値ｔｈ２以上のもの、かつ画像領域が重複し、そのうち水平方向の配置ずれが任意の閾値ｔｈ１以下で最小のものを下画像として探索する。
【００３１】
この結果、画像＃１に対する右画像として画像＃２、上画像として画像＃４、下画像として画像＃７が選ばれ、この結果がリスト記憶部３１に登録される。図３はリスト記憶部３１に登録された処理リストを示す説明図である。リスト作成部２０はこの段階で全ての画像が処理リストに登録されているか否かを判定し、全ての画像が処理リストに登録されている場合、処理を終了する。その他の場合、処理リストに登録された画像を基に基準画像で行った処理と同様の処理をリスト未登録の画像に対して行い、順次、処理リストを作成していく。本実施の形態では、残りの画像が存在するので、処理を続行する。
【００３２】
そして、画像＃２に対する右画像として画像＃３、上画像として画像＃５、下画像として＃８が選ばれ、この結果がリスト記憶部３１に登録される。画像＃４、画像＃７に対する左右上下の画像は探索できない。最後に、画像＃３に対する上画像として画像＃６、画像＃８に対する右画像として画像＃９が選ばれ、この結果がリスト記憶部３１に登録され、全ての画像が処理リストに登録されたことを確認して、リスト作成部２０は処理を終了する。図４は最終的に作成された処理リストを示す説明図である。
【００３３】
処理リストが作成されると、位置関係検出部２１は作成された処理リストを基に順次２つの画像の相対位置関係を求める。すなわち、図４に示した処理リストを参照し、処理リストに登録された順、つまり、画像＃１と画像＃２、画像＃１と画像＃４、画像＃１と画像＃７、画像＃２と画像＃３、画像＃２と画像＃５、画像＃２と画像＃８、画像＃３と画像＃６、画像＃８と画像＃９の順に相対位置関係を求める。
【００３４】
つづいて、画像＃１と画像＃２の相対位置関係を求める場合、位置関係検出部２１内の対応点抽出部２１１と変換パラメータ算出部２１２の動作について説明する。図５は対応点抽出部２１１によって実行される対応点抽出の処理手順を示すフローチャートである。まず、画像＃１からテンプレート切り出し領域の設定を行う（ステップＳ１１）。画像＃１と画像＃２の配置情報から画像＃１の右端部をおおよそのテンプレート切り出し領域とし、ブロック単位で画像サイズの１割程度の大きさの小領域を切り出す。
【００３５】
そして、切り出した全テンプレートについて以下のステップＳ１３〜Ｓ１５の処理を行う（ステップＳ１２）。すなわち、切り出したテンプレートに対応する点を探索する領域を画像＃２から設定する（ステップＳ１３）。このとき、あらかじめ重複領域が分からないので、画像＃１と画像＃２の配置情報を利用して画像＃２の水平方向では左半分、垂直方向ではテンプレートの画像＃１の位置から±１割の位置を探索領域とする。この探索領域内でテンプレートを平行にずらしていき、画像＃１と画像＃２の差分が計算される。そして、差の絶対値の総和が最小となる位置を対応点位置とする（ステップＳ１４）。
【００３６】
ステップＳ１４の結果に対する信頼性の判定を行う（ステップＳ１５）。切り出した全てのテンプレートについてステップＳ１３〜ステップＳ１５の処理を終えたか否かを判別し（ステップＳ１６）、終えていない場合、ステップＳ１３に戻り、終えている場合、処理を終了する。
【００３７】
ステップＳ１５における信頼性の判定は、最小値となった差の絶対値の総和および２番目に小さい差の絶対値の総和を用いて行う。本実施の形態では、差の絶対値の総和の最小値が第１の所定の閾値ｔｈ３以下、差の絶対値の総和の２番目に小さい値と最小値の差が第２の所定の閾値ｔｈ４以上であった場合、対応点に信頼性があると判定し、対応点の画像＃１、＃２中の座標を対応点抽出部２１１内のメモリに格納しておく。本実施の形態では、差の絶対値の総和が最小となる位置を対応点位置としたが、例えば相関演算を行って相関値が最大となる位置を対応点位置としてもよい。
【００３８】
対応点抽出部２１１では、画像＃１とその右側にある画像＃２の対応点を抽出する場合を示した。この他、例えば画像＃１とその上側にある画像＃４の対応点を抽出する場合、まず、処理リストにより画像＃４が画像＃１の上側に配置されていることを確認し、ステップＳ１１で設定するテンプレート切り出し領域を画像＃１の上端部に設定し、ステップＳ１３で設定する探索領域は画像＃４の垂直方向では下半分、水平方向ではテンプレートの画像＃１中の１から±１割の位置に設定するのがよい。
【００３９】
対応点を抽出する画像が左側、下側の場合も同様に処理リストの配置情報にしたがって、テンプレート切り出し領域、探索領域の設定を行う。
【００４０】
つづいて、変換パラメータ算出部２１２では、抽出された対応点位置から画像合成のための座標変換のパラメータを推定する。このとき、アフィン変換が座標変換として行われる。画像＃１に対して画像＃２がθ回転、（ｄｘ、ｄｙ）平行移動、ｍ倍の拡大変換した関係にあるとすると、画像＃１中の点（ｘ１、ｙ１）は数式１に示す画像＃２中の点（ｘ２、ｙ２）に対応する。
【００４１】
【数１】
このときのパラメータＡ、Ｂ、Ｃ、Ｄを最小自乗法により変換パラメータ算出部２１２で推定する。求めた変換パラメータＡ、Ｂ、Ｃ、Ｄは変換パラメータ記憶部３２に記憶される。
【００４２】
同様の処理が処理リストを参照して、他の画像対についても順次行われ、相対位置関係が求まる。処理リストに登録された画像の相対位置関係が全て求まると、求めた変換パラメータに基づいて、画像変換合成部２２で画像合成処理が行われる。
【００４３】
画像変換合成部２２は、処理リストのそれぞれの画像に対応した変換パラメータ記憶部３２に記憶された変換パラメータを基に基準画像＃１に対する合成画像の領域を設定する。合成画像領域は合成後の左右上下端の位置で表される。図２に示した例では左端は画像＃１、画像＃４、画像＃７のそれぞれの左上端の画素および左下端の画素の６つの画素のうち基準画素＃１に対する位置が最も左の位置として求められる。例えば、画像＃７の画像領域の左上端の基準画像＃１に対する位置は、画像＃１と画像＃７の合成パラメータＡ１７、Ｂ１７、Ｃ１７、Ｄ１７を用いて、アフィン変換の逆変換として数式２に示すように求められる。但し、点（ｘＬ１、ｙＬ１）は画像＃７中の左上端の点（ｘＬ７、ｙＬ７）の基準画像＃１での座標である。
【００４４】
【数２】
同様に、右端は画像＃６、画像＃３、画像＃９のそれぞれの右上端の画素および右下端の画素の６つの画素のうち基準画像＃１に対する位置が最も右の位置として求められる。上端は画像＃４、画像＃５、画像＃６のそれぞれの左上端の画素および右上端の画素の６つの画素のうち基準画像＃１に対する位置が最も上の位置として求められる。下端は画像＃７、画像＃８、画像＃９のそれぞれの左下端の画素および右下端の画素の６つの画素のうち基準画像＃１に対する位置が最も下の位置として求められる。但し、例えば画像＃９の右下端の画素の基準画像＃１に対する位置を求める場合、変換パラメータ記憶部３２に直接変換パラメータが記憶されていないので、数式２と同様の変換を２回行って求める。
【００４５】
上記処理により合成画像の矩形領域が求まると、その各画素について画像変換合成部２２は画像＃１〜画像＃９の画像データを用いて画素値を求める。即ち、各画素についてつぎの処理を行う。
【００４６】
まず、合成画像の画素の画素位置（基準画像＃１に対する位置）を変換パラメータ記憶部３２に記憶された変換パラメータを用いて、それぞれの画像＃２〜画像＃９の画素位置に変換する。例えば、画像＃２の画素位置は数式１に示した変換を行うことにより求まる。また、画像＃３の画素位置は画像＃２と画像＃３、画像＃１と画像＃２の変換パラメータを用いて同様の変換を２回行って求める。
【００４７】
そして、求まった画素位置の画素値を平均して合成画像の画素値とする。このとき、変換後の画素位置が元の画像領域外のものは平均しない。また、画像＃１〜画像＃９のどの画像領域にも入らない画素はダミー画素（例えば、白画素等）を割り当てる。
【００４８】
上記処理により合成された画像データは画像データ記憶部３０に書き込まれ、画像表示部１０によりディスプレイに表示される。このように、図２に示したような９枚の画像を合成する場合に限らず、一般にＮ枚の画像の合成を行う場合も同様に簡単な操作で合成処理が行えることはいうまでもない。
【００４９】
［第２の実施の形態］
図６は第２の実施の形態における画像合成装置の構成を示すブロック図である。前記第１の実施の形態と同一の構成要素は同一の番号を付して示す。本実施の形態における画像合成装置は、前記第１の実施の形態と較べて処理部２に基準画像設定部２３および位置関係統合部２４を設けている。
【００５０】
基準画像設定部２３は、画像のワークウインドウ内での配置情報を基にほぼ中央に位置する画像を探し、基準画像として設定する。位置関係統合部２４は変換パラメータ記憶部３２に記憶されている画像間の相対位置関係から基準画像に対する各画像の位置関係を求め、位置関係の統合を行う。図２に示した９枚の画像の合成を行う場合について説明する。
【００５１】
ユーザが９枚の画像を図２のように配置し合成の指示を行うと、合成基準画像設定部２３は、まずワークウインドウ内での各画像の配置情報から水平、垂直方向の位置データの最小値、最大値を求め、最小値と最大値とを平均して水平、垂直方向の位置データの中央値を求める。そして、求めた中央値からの距離が最も近い配置情報を持つ画像を基準画像として設定する。ここで、基準画像として設定された画像は、ワークウインドウ内でほぼ中央に位置する画像であり、画像＃２が基準画像として設定される。
【００５２】
リスト作成部２０は、前記第１の実施の形態と同様の処理を行い、処理リストを作成する。図７は第２の実施の形態において作成された処理リストを示す説明図である。処理リストが作成されると、位置関係検出部２１は作成された処理リストを基に順次２枚の画像の相対位置関係を求める。
【００５３】
位置関係統合部２４はリスト記憶部３１に記憶されている処理リストにしたがって順次、変換パラメータ記憶部３２に記憶されている画像間の相対位置関係から基準画像に対する各画像の位置関係を求め、位置関係の統合を行う。
【００５４】
図７に示した処理リストから画像＃１、画像＃３、画像＃５、画像＃８の基準画像＃２に対する位置関係は位置関係検出部２１で検出され、変換パラメータ記憶部３２に既に記憶されていることが分かる。一方、画像＃４、画像＃７、画像＃６、画像＃９の位置関係検出部２１で検出された位置関係はそれぞれ画像＃１、画像＃１、画像＃３、画像＃８に対するものであり、基準画像＃２に対する位置関係を求めるには変換パラメータの統合が必要である。
【００５５】
画像＃４の基準画像＃２に対する位置関係を求めるときには、位置関係統合部２４は、まず、画像＃２と画像＃１との位置関係を示す変換パラメータＡ２１、Ｂ２１、Ｃ２１、Ｄ２１および画像＃１と画像＃４との位置関係を示す変換パラメータＡ１４、Ｂ１４、Ｃ１４、Ｄ１４を変換パラメータ記憶部３２から読み込む。そして、数式３により画像＃２と画像＃４との位置関係を示す変換パラメータＡ２４、Ｂ２４、Ｃ２４、Ｄ２４を求める。
【００５６】
【数３】
そして、求められた変換パラメータＡ２４、Ｂ２４、Ｃ２４、Ｄ２４を変換パラメータ記憶部３２の変換パラメータＡ１４、Ｂ１４、Ｃ１４、Ｄ１４の記憶領域に書き換えておく。同様に画像＃７、画像＃６、画像＃９の基準画像＃２に対する位置関係を計算し、変換パラメータ記憶部３２に書き換えておく。
【００５７】
処理リストに登録された画像の基準画像＃２に対する位置関係の統合が行われた後、統合された変換パラメータに基づいて画像変換合成部２２で画像合成処理が行われる。まず、画像変換合成部２２は処理リストのそれぞれの画像に対応した変換パラメータ記憶部３２に記憶された変換パラメータを基に基準画像＃２に対する合成画像の領域を設定する。そして、合成画像の矩形領域が求まると、その各画素について画像変換合成部２２は画像＃１〜画像＃９の画像データを用いて画素値を求める。このときの各画素の画素位置から基準画像の画素位置への変換は、位置関係統合部２４で各画像の位置関係が統合された後なので、１回の変換のみで行われる。
【００５８】
本実施の形態における画像合成装置では、画像変換合成部２２での基準画像の画素位置を求める際、画像領域が画像＃４のような基準画像から直接に左右上下関係のない画像でも１回の変換のみで画素位置を求めることができるので、画像変換合成部２２における画素位置の変換の処理効率がよい。
【００５９】
本実施の形態における画像合成装置で作成された合成画像と前記第１の実施の形態における画像合成装置で作成された合成画像とを比較してみると、前記第１の実施の形態における画像合成装置で作成された合成画像では画像＃１を基準画像としているので、元の画像＃１の領域が実質的に画像変換を行わない領域であるため最も画質が良い領域であるが、本実施の形態における画像合成装置で作成された合成画像の場合には画像＃２を基準画像としているので、合成画像の中央部分である元の画像＃２の領域が実質的に画像変換を行わない領域であるため最も画質が良い領域である。
【００６０】
また、本実施の形態では、基準画像を設定する際、ユーザが画像を配置した配置情報を基にしていたが、位置関係検出部２１で求めた画像間の位置関係を基にして設定してもよい。また、本実施の形態では合成画像のほぼ中央部分の画質が最も良くなるように基準画像を設定していたが、例えばカーソルなどで画質を良くしたい部分を指定し、その部分を画像領域に含む画像を基準画像に設定してもよい。
【００６１】
尚、本発明は複数の機器から構成されるシステムに適用してもよいし、１つの機器からなる装置に適用してもよい。また、本発明はシステムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体をシステムあるいは装置に読み出すことによってそのシステムあるいは装置が本発明の効果を享受することが可能となる。
【００６３】
【発明の効果】
本発明によれば、３枚以上の多くの画像を重ねて画角の広い画像を合成する場合でも簡単な操作で合成画像を得ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態における画像合成装置の構成を示すブロック図である。
【図２】合成する９枚の画像が配置されたワークウィンドウを示す説明図である。
【図３】リスト記憶部３１に登録された処理リストを示す説明図である。
【図４】最終的に作成された処理リストを示す説明図である。
【図５】対応点抽出部２１１によって実行される対応点抽出の処理手順を示すフローチャートである。
【図６】第２の実施の形態における画像合成装置の構成を示すブロック図である。
【図７】第２の実施の形態において作成された処理リストを示す説明図である。
【符号の説明】
１ インターフェース部
２ 処理部
３ データ記憶部
１０ 画像表示部
１１ 画像配置部
２０ リスト作成部
２１ 位置関係検出部
２２ 画像変換合成部
２１１ 対応点抽出部
２１２ 変換パラメータ算出部
【発明の属する技術分野】
本発明は、画像合成装置および方法に関し、特に３枚以上の画像を重ねて画角の広い画像を合成する画像合成装置および方法に関する。
【０００２】
【従来の技術】
従来、複数の画像を繋ぎ合わせて画角の広い画像を合成する方法として、２つの画像が重複する領域内の対応点を指定し、それらが一致するように画像の位置合わせを行い、２つの画像を繋ぎ合わせる方法が知られている。この方法は、２つの画像の対応点をマウスなどで指定する必要があり、操作が面倒であった。
【０００３】
また、この対応点の抽出をテンプレートマッチングなどの方法により自動的に行って２つの画像の位置関係を検出し、画像を繋ぎ合わせることも可能である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例では、例えば通常の撮影レンズで３６０度全周のパノラマ画像を合成する場合や高解像度の大きい画像を合成する場合には、２つの画像を合成するだけでは足らず、２つの画像の合成を繰り返し行う必要があり、以下に掲げる問題があった。
【０００５】
例えば、連続した４枚の画像を合成するときには、まず第１の画像と第２の画像とから合成画像を作成し、同様に第３の画像と第４の画像とから合成画像を作成する。そして、合成された画像同士から４枚の画像を合成した画像を作成する。
【０００６】
この場合、第１の画像と第２の画像、第３の画像と第４の画像、および合成された画像同士の位置関係を検出して画像データの合成を行う必要があった。
【０００７】
予め、全ての画像の位置関係が分かっていれば４枚の画像を合成することは可能であるが、繰り返し２枚の画像の合成を行って合成画像を作成する方法では、画像データの合成を複数回行わなければならず、処理効率が悪かった。
【０００８】
また、テンプレートマッチングなどの方法により自動的に対応点を抽出して２つの画像の位置関係を検出する場合、繰り返し２枚の画像の合成を行って合成画像を作成する方法では画像を合成する処理毎に対象画像を指示しておく必要があり、対応点の指定を行わなくても操作が面倒であった。
【０００９】
そこで、本発明は、３枚以上の画像を重ねて画角の広い画像を合成する場合でも簡単な操作で合成画像を得ることができる画像合成装置および方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る画像合成装置は、複数の画像を合成して画角の広い画像を生成する画像合成装置において、前記複数の画像を表示領域内に配置する配置手段と、該配置された複数の画像のうち一部が重複する２つの画像の重複部分の対応点を抽出し、該抽出した前記２つの画像の位置関係を求める位置関係検出手段と、前記表示領域内の前記複数の画像の配置関係に基づき、前記複数の画像の配置関係を示すリストを作成し、前記位置関係を求める順序を決定するリスト作成手段と、該作成されたリストと決定された順序に基づき、順次求められる２つの画像の位置関係から全ての画像間の位置関係を求める全画像間位置関係検出手段と、該求められた全ての画像間の位置関係に基づき、前記複数の画像の画像データから合成画像領域における画像データを求めて合成画像を作成する合成画像作成手段とを備えたことを特徴とする。
【００１６】
請求項２に係る画像合成方法は、複数の画像を合成して画角の広い画像を生成する画像合成方法において、前記複数の画像を表示領域内に配置し、該配置された複数の画像のうち一部が重複する２つの画像の重複部分の対応点を抽出し、該抽出した前記２つの画像の位置関係を求め、前記表示領域内の前記複数の画像の配置に基づき、前記複数の画像の配置関係を示すリストを作成して前記位置関係を求める順序を決定し、該作成されたリストと決定された順序に基づき、順次求められる２つの画像の位置関係から全ての画像間の位置関係を求め、該求められた全ての画像間の位置関係に基づき、前記複数の画像の画像データから合成画像領域における画像データを求めて合成画像を作成することを特徴とする。
【００１７】
【発明の実施の形態】
本発明の画像合成装置の実施の形態について説明する。
【００１８】
［第１の実施の形態］
図１は第１の実施の形態における画像合成装置の構成を示すブロック図である。画像合成装置はインタフェース部１、処理部２およびデータ記憶部３の３つの部分から構成される。各部はコンピュータによって実行される制御プログラムにより制御される。
【００１９】
インターフェース部１は、画像表示部１０および画像配置部１１からなる。画像表示部１０はコンピュータのディスプレイに表示される画像合成のワークウィンドウにユーザが指定した画像および合成後の画像を表示する。画像配置部１１はディスプレイに表示された画像をカーソルのドラッグ操作により移動し、所望の位置に画像を配置する。
【００２０】
処理部２は、リスト作成部２０、位置関係検出部２１および画像変換合成部２２からなる。リスト作成部２０は処理を行うための処理順と対象画像のリスト（以下、処理リストという）を作成する。位置関係検出部２１は対応点抽出部２１１、変換パラメータ算出部２１２からなり、２つの画像の相対位置関係を求め、変換パラメータを出力する。画像変換合成部２２は複数の画像データから１つの画像データを合成する。
【００２１】
データ記憶部３は、画像データ記憶部３０、リスト記憶部３１、変換パラメータ記憶部３２からなり、それぞれ画像データ、処理リスト、変換パラメータを記憶する。
【００２２】
つぎに、Ｎ枚の画像データから画像を合成する場合の画像合成装置の動作について説明する。画像合成のメインプログラムが起動すると、コンピュータのディスプレイにワークウィンドウが表示される。同時に画像データ記憶部３０に記憶されている画像データのファイル一覧がファイル管理ウィンドウに表示される。
【００２３】
ユーザは合成する画像データをファイル管理ウィンドウから選択する。このとき選択される画像データを画像＃１とする。そして、選択された画像データを画像データ記憶部３０から読み込み、画像表示部１０によって画像＃１をワークウィンドウ内に表示する。この操作をＮ回繰り返した後、画像＃１〜画像＃ＮのＮ枚の画像がワークウィンドウ内に表示される。
【００２４】
つづいて、ユーザは表示されたＮ枚の画像のそれぞれにカーソルを合わせ、Ｎ枚の画像について大体の再配置を行う。画像配置部１１は、このとき、ユーザのカーソル指示にしたがって表示されている画像の移動を画像表示部１０に指示する。画像表示部１０はその指示にしたがって画像の再表示を行う。同時に画像配置部１１は、ユーザによって配置されたそれぞれの画像のワークウィンドウ内での配置情報を記憶しておく。そして、ユーザがキーボードからのコマンド入力により合成の指示を行うと、処理部２はつぎの処理にしたがって画像を合成する。
【００２５】
リスト作成部２０は、画像＃１を基準画像とし、画像データの配置情報を基に基準画像との繋がりを調べる。図２は合成する９枚の画像が配置されたワークウィンドウを示す説明図である。この９枚の画像の合成を例にして、リスト作成部２０が行う処理リストの作成について説明する。
【００２６】
まず、リスト作成部２０は基準画像を中心に左、右、上、下の順にワークウィンドウ内の残りの全ての画像との配置関係を探索する。基準画像と相手画像の配置情報とを比較することによって探索は行われる。各画像＃１〜＃９のそれぞれの配置情報をｐｏｓ１〜ｐｏｓ９とし、配置情報には水平、垂直方向の位置データ（ｐｏｓ１ｘ，ｐｏｓ１ｙ）〜（ｐｏｓ９ｘ，ｐｏｓ９ｙ）が記憶されている。但し、（ｐｏｓ１ｘ，ｐｏｓ１ｙ）＝（０，０）である。
【００２７】
リスト作成部２０は、基準画像と相手画像の配置情報を比較し、水平方向の配置が左側であり、かつ任意の閾値ｔｈ１以上のもの（つまり、右側、下側の配置をそれぞれ正とし、条件式（ｐｏｓ１ｘ，ｐｏｓｉｘ）＞ｔｈ１ （ｉ＝２〜９）、ｔｈ１＞０を満たすもの）で、かつ画像領域が重複し（つまり、画像の水平方向の幅をｗとすると、条件式（ｐｏｓ１ｘ，ｐｏｓｉｘ）＜ｗ（ｉ＝２〜９）、ｔｈ１＜ｗを満たし）、そのうち垂直方向の配置ずれが任意の閾値ｔｈ２以下（つまり、｜（ｐｏｓ１ｙ，ｐｏｓｉｙ）｜＜ｔｈ２、（ｉ＝２〜９））で最小のものを左画像として探索する。ここで、ｔｈ１が画像の水平方向の幅ｗの１／４程度、ｔｈ２が同様に画像垂直方向の幅ｈの１／４程度であるとすると、図２の場合、画像＃１の左画像を探索できない。
【００２８】
左画像の探索と同様に、右画像、上画像、下画像の探索を行う。右画像の探索では、基準画像と相手画像の配置情報を比較し、水平方向の配置が右側であり、かつ任意の閾値ｔｈ１以上のもの、かつ画像領域が重複し、そのうち垂直方向の配置ずれが任意の閾値ｔｈ２以下で最小のものを右画像として探索する。
【００２９】
また、上画像の探索では、基準画像と相手画像の配置情報を比較し、垂直方向の配置が上側であり、かつ任意の閾値ｔｈ２以上のもの、かつ画像領域が重複し、そのうち水平方向の配置ずれが任意の閾値ｔｈ１以下で最小のものを上画像として探索する。
【００３０】
さらに、下画像の探索では、基準画像と相手画像の配置情報を比較し、垂直方向の配置が下側であり、かつ任意の閾値ｔｈ２以上のもの、かつ画像領域が重複し、そのうち水平方向の配置ずれが任意の閾値ｔｈ１以下で最小のものを下画像として探索する。
【００３１】
この結果、画像＃１に対する右画像として画像＃２、上画像として画像＃４、下画像として画像＃７が選ばれ、この結果がリスト記憶部３１に登録される。図３はリスト記憶部３１に登録された処理リストを示す説明図である。リスト作成部２０はこの段階で全ての画像が処理リストに登録されているか否かを判定し、全ての画像が処理リストに登録されている場合、処理を終了する。その他の場合、処理リストに登録された画像を基に基準画像で行った処理と同様の処理をリスト未登録の画像に対して行い、順次、処理リストを作成していく。本実施の形態では、残りの画像が存在するので、処理を続行する。
【００３２】
そして、画像＃２に対する右画像として画像＃３、上画像として画像＃５、下画像として＃８が選ばれ、この結果がリスト記憶部３１に登録される。画像＃４、画像＃７に対する左右上下の画像は探索できない。最後に、画像＃３に対する上画像として画像＃６、画像＃８に対する右画像として画像＃９が選ばれ、この結果がリスト記憶部３１に登録され、全ての画像が処理リストに登録されたことを確認して、リスト作成部２０は処理を終了する。図４は最終的に作成された処理リストを示す説明図である。
【００３３】
処理リストが作成されると、位置関係検出部２１は作成された処理リストを基に順次２つの画像の相対位置関係を求める。すなわち、図４に示した処理リストを参照し、処理リストに登録された順、つまり、画像＃１と画像＃２、画像＃１と画像＃４、画像＃１と画像＃７、画像＃２と画像＃３、画像＃２と画像＃５、画像＃２と画像＃８、画像＃３と画像＃６、画像＃８と画像＃９の順に相対位置関係を求める。
【００３４】
つづいて、画像＃１と画像＃２の相対位置関係を求める場合、位置関係検出部２１内の対応点抽出部２１１と変換パラメータ算出部２１２の動作について説明する。図５は対応点抽出部２１１によって実行される対応点抽出の処理手順を示すフローチャートである。まず、画像＃１からテンプレート切り出し領域の設定を行う（ステップＳ１１）。画像＃１と画像＃２の配置情報から画像＃１の右端部をおおよそのテンプレート切り出し領域とし、ブロック単位で画像サイズの１割程度の大きさの小領域を切り出す。
【００３５】
そして、切り出した全テンプレートについて以下のステップＳ１３〜Ｓ１５の処理を行う（ステップＳ１２）。すなわち、切り出したテンプレートに対応する点を探索する領域を画像＃２から設定する（ステップＳ１３）。このとき、あらかじめ重複領域が分からないので、画像＃１と画像＃２の配置情報を利用して画像＃２の水平方向では左半分、垂直方向ではテンプレートの画像＃１の位置から±１割の位置を探索領域とする。この探索領域内でテンプレートを平行にずらしていき、画像＃１と画像＃２の差分が計算される。そして、差の絶対値の総和が最小となる位置を対応点位置とする（ステップＳ１４）。
【００３６】
ステップＳ１４の結果に対する信頼性の判定を行う（ステップＳ１５）。切り出した全てのテンプレートについてステップＳ１３〜ステップＳ１５の処理を終えたか否かを判別し（ステップＳ１６）、終えていない場合、ステップＳ１３に戻り、終えている場合、処理を終了する。
【００３７】
ステップＳ１５における信頼性の判定は、最小値となった差の絶対値の総和および２番目に小さい差の絶対値の総和を用いて行う。本実施の形態では、差の絶対値の総和の最小値が第１の所定の閾値ｔｈ３以下、差の絶対値の総和の２番目に小さい値と最小値の差が第２の所定の閾値ｔｈ４以上であった場合、対応点に信頼性があると判定し、対応点の画像＃１、＃２中の座標を対応点抽出部２１１内のメモリに格納しておく。本実施の形態では、差の絶対値の総和が最小となる位置を対応点位置としたが、例えば相関演算を行って相関値が最大となる位置を対応点位置としてもよい。
【００３８】
対応点抽出部２１１では、画像＃１とその右側にある画像＃２の対応点を抽出する場合を示した。この他、例えば画像＃１とその上側にある画像＃４の対応点を抽出する場合、まず、処理リストにより画像＃４が画像＃１の上側に配置されていることを確認し、ステップＳ１１で設定するテンプレート切り出し領域を画像＃１の上端部に設定し、ステップＳ１３で設定する探索領域は画像＃４の垂直方向では下半分、水平方向ではテンプレートの画像＃１中の１から±１割の位置に設定するのがよい。
【００３９】
対応点を抽出する画像が左側、下側の場合も同様に処理リストの配置情報にしたがって、テンプレート切り出し領域、探索領域の設定を行う。
【００４０】
つづいて、変換パラメータ算出部２１２では、抽出された対応点位置から画像合成のための座標変換のパラメータを推定する。このとき、アフィン変換が座標変換として行われる。画像＃１に対して画像＃２がθ回転、（ｄｘ、ｄｙ）平行移動、ｍ倍の拡大変換した関係にあるとすると、画像＃１中の点（ｘ１、ｙ１）は数式１に示す画像＃２中の点（ｘ２、ｙ２）に対応する。
【００４１】
【数１】
【００４２】
同様の処理が処理リストを参照して、他の画像対についても順次行われ、相対位置関係が求まる。処理リストに登録された画像の相対位置関係が全て求まると、求めた変換パラメータに基づいて、画像変換合成部２２で画像合成処理が行われる。
【００４３】
画像変換合成部２２は、処理リストのそれぞれの画像に対応した変換パラメータ記憶部３２に記憶された変換パラメータを基に基準画像＃１に対する合成画像の領域を設定する。合成画像領域は合成後の左右上下端の位置で表される。図２に示した例では左端は画像＃１、画像＃４、画像＃７のそれぞれの左上端の画素および左下端の画素の６つの画素のうち基準画素＃１に対する位置が最も左の位置として求められる。例えば、画像＃７の画像領域の左上端の基準画像＃１に対する位置は、画像＃１と画像＃７の合成パラメータＡ１７、Ｂ１７、Ｃ１７、Ｄ１７を用いて、アフィン変換の逆変換として数式２に示すように求められる。但し、点（ｘＬ１、ｙＬ１）は画像＃７中の左上端の点（ｘＬ７、ｙＬ７）の基準画像＃１での座標である。
【００４４】
【数２】
【００４５】
上記処理により合成画像の矩形領域が求まると、その各画素について画像変換合成部２２は画像＃１〜画像＃９の画像データを用いて画素値を求める。即ち、各画素についてつぎの処理を行う。
【００４６】
まず、合成画像の画素の画素位置（基準画像＃１に対する位置）を変換パラメータ記憶部３２に記憶された変換パラメータを用いて、それぞれの画像＃２〜画像＃９の画素位置に変換する。例えば、画像＃２の画素位置は数式１に示した変換を行うことにより求まる。また、画像＃３の画素位置は画像＃２と画像＃３、画像＃１と画像＃２の変換パラメータを用いて同様の変換を２回行って求める。
【００４７】
そして、求まった画素位置の画素値を平均して合成画像の画素値とする。このとき、変換後の画素位置が元の画像領域外のものは平均しない。また、画像＃１〜画像＃９のどの画像領域にも入らない画素はダミー画素（例えば、白画素等）を割り当てる。
【００４８】
上記処理により合成された画像データは画像データ記憶部３０に書き込まれ、画像表示部１０によりディスプレイに表示される。このように、図２に示したような９枚の画像を合成する場合に限らず、一般にＮ枚の画像の合成を行う場合も同様に簡単な操作で合成処理が行えることはいうまでもない。
【００４９】
［第２の実施の形態］
図６は第２の実施の形態における画像合成装置の構成を示すブロック図である。前記第１の実施の形態と同一の構成要素は同一の番号を付して示す。本実施の形態における画像合成装置は、前記第１の実施の形態と較べて処理部２に基準画像設定部２３および位置関係統合部２４を設けている。
【００５０】
基準画像設定部２３は、画像のワークウインドウ内での配置情報を基にほぼ中央に位置する画像を探し、基準画像として設定する。位置関係統合部２４は変換パラメータ記憶部３２に記憶されている画像間の相対位置関係から基準画像に対する各画像の位置関係を求め、位置関係の統合を行う。図２に示した９枚の画像の合成を行う場合について説明する。
【００５１】
ユーザが９枚の画像を図２のように配置し合成の指示を行うと、合成基準画像設定部２３は、まずワークウインドウ内での各画像の配置情報から水平、垂直方向の位置データの最小値、最大値を求め、最小値と最大値とを平均して水平、垂直方向の位置データの中央値を求める。そして、求めた中央値からの距離が最も近い配置情報を持つ画像を基準画像として設定する。ここで、基準画像として設定された画像は、ワークウインドウ内でほぼ中央に位置する画像であり、画像＃２が基準画像として設定される。
【００５２】
リスト作成部２０は、前記第１の実施の形態と同様の処理を行い、処理リストを作成する。図７は第２の実施の形態において作成された処理リストを示す説明図である。処理リストが作成されると、位置関係検出部２１は作成された処理リストを基に順次２枚の画像の相対位置関係を求める。
【００５３】
位置関係統合部２４はリスト記憶部３１に記憶されている処理リストにしたがって順次、変換パラメータ記憶部３２に記憶されている画像間の相対位置関係から基準画像に対する各画像の位置関係を求め、位置関係の統合を行う。
【００５４】
図７に示した処理リストから画像＃１、画像＃３、画像＃５、画像＃８の基準画像＃２に対する位置関係は位置関係検出部２１で検出され、変換パラメータ記憶部３２に既に記憶されていることが分かる。一方、画像＃４、画像＃７、画像＃６、画像＃９の位置関係検出部２１で検出された位置関係はそれぞれ画像＃１、画像＃１、画像＃３、画像＃８に対するものであり、基準画像＃２に対する位置関係を求めるには変換パラメータの統合が必要である。
【００５５】
画像＃４の基準画像＃２に対する位置関係を求めるときには、位置関係統合部２４は、まず、画像＃２と画像＃１との位置関係を示す変換パラメータＡ２１、Ｂ２１、Ｃ２１、Ｄ２１および画像＃１と画像＃４との位置関係を示す変換パラメータＡ１４、Ｂ１４、Ｃ１４、Ｄ１４を変換パラメータ記憶部３２から読み込む。そして、数式３により画像＃２と画像＃４との位置関係を示す変換パラメータＡ２４、Ｂ２４、Ｃ２４、Ｄ２４を求める。
【００５６】
【数３】
【００５７】
処理リストに登録された画像の基準画像＃２に対する位置関係の統合が行われた後、統合された変換パラメータに基づいて画像変換合成部２２で画像合成処理が行われる。まず、画像変換合成部２２は処理リストのそれぞれの画像に対応した変換パラメータ記憶部３２に記憶された変換パラメータを基に基準画像＃２に対する合成画像の領域を設定する。そして、合成画像の矩形領域が求まると、その各画素について画像変換合成部２２は画像＃１〜画像＃９の画像データを用いて画素値を求める。このときの各画素の画素位置から基準画像の画素位置への変換は、位置関係統合部２４で各画像の位置関係が統合された後なので、１回の変換のみで行われる。
【００５８】
本実施の形態における画像合成装置では、画像変換合成部２２での基準画像の画素位置を求める際、画像領域が画像＃４のような基準画像から直接に左右上下関係のない画像でも１回の変換のみで画素位置を求めることができるので、画像変換合成部２２における画素位置の変換の処理効率がよい。
【００５９】
本実施の形態における画像合成装置で作成された合成画像と前記第１の実施の形態における画像合成装置で作成された合成画像とを比較してみると、前記第１の実施の形態における画像合成装置で作成された合成画像では画像＃１を基準画像としているので、元の画像＃１の領域が実質的に画像変換を行わない領域であるため最も画質が良い領域であるが、本実施の形態における画像合成装置で作成された合成画像の場合には画像＃２を基準画像としているので、合成画像の中央部分である元の画像＃２の領域が実質的に画像変換を行わない領域であるため最も画質が良い領域である。
【００６０】
また、本実施の形態では、基準画像を設定する際、ユーザが画像を配置した配置情報を基にしていたが、位置関係検出部２１で求めた画像間の位置関係を基にして設定してもよい。また、本実施の形態では合成画像のほぼ中央部分の画質が最も良くなるように基準画像を設定していたが、例えばカーソルなどで画質を良くしたい部分を指定し、その部分を画像領域に含む画像を基準画像に設定してもよい。
【００６１】
尚、本発明は複数の機器から構成されるシステムに適用してもよいし、１つの機器からなる装置に適用してもよい。また、本発明はシステムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体をシステムあるいは装置に読み出すことによってそのシステムあるいは装置が本発明の効果を享受することが可能となる。
【００６３】
【発明の効果】
本発明によれば、３枚以上の多くの画像を重ねて画角の広い画像を合成する場合でも簡単な操作で合成画像を得ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態における画像合成装置の構成を示すブロック図である。
【図２】合成する９枚の画像が配置されたワークウィンドウを示す説明図である。
【図３】リスト記憶部３１に登録された処理リストを示す説明図である。
【図４】最終的に作成された処理リストを示す説明図である。
【図５】対応点抽出部２１１によって実行される対応点抽出の処理手順を示すフローチャートである。
【図６】第２の実施の形態における画像合成装置の構成を示すブロック図である。
【図７】第２の実施の形態において作成された処理リストを示す説明図である。
【符号の説明】
１ インターフェース部
２ 処理部
３ データ記憶部
１０ 画像表示部
１１ 画像配置部
２０ リスト作成部
２１ 位置関係検出部
２２ 画像変換合成部
２１１ 対応点抽出部
２１２ 変換パラメータ算出部
Claims (2)
- 複数の画像を合成して画角の広い画像を生成する画像合成装置において、
前記複数の画像を表示領域内に配置する配置手段と、
該配置された複数の画像のうち一部が重複する２つの画像の重複部分の対応点を抽出し、該抽出した前記２つの画像の位置関係を求める位置関係検出手段と、
前記表示領域内の前記複数の画像の配置関係に基づき、前記複数の画像の配置関係を示すリストを作成し、前記位置関係を求める順序を決定するリスト作成手段と、
該作成されたリストと決定された順序に基づき、順次求められる２つの画像の位置関係から全ての画像間の位置関係を求める全画像間位置関係検出手段と、
該求められた全ての画像間の位置関係に基づき、前記複数の画像の画像データから合成画像領域における画像データを求めて合成画像を作成する合成画像作成手段とを備えたことを特徴とする画像合成装置。 - 複数の画像を合成して画角の広い画像を生成する画像合成方法において、
前記複数の画像を表示領域内に配置し、
該配置された複数の画像のうち一部が重複する２つの画像の重複部分の対応点を抽出し、
該抽出した前記２つの画像の位置関係を求め、
前記表示領域内の前記複数の画像の配置に基づき、前記複数の画像の配置関係を示すリストを作成して前記位置関係を求める順序を決定し、
該作成されたリストと決定された順序に基づき、順次求められる２つの画像の位置関係から全ての画像間の位置関係を求め、
該求められた全ての画像間の位置関係に基づき、前記複数の画像の画像データから合成画像領域における画像データを求めて合成画像を作成することを特徴とする画像合成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27509195A JP3696952B2 (ja) | 1995-09-29 | 1995-09-29 | 画像合成装置および方法 |
| US08/723,825 US6714689B1 (en) | 1995-09-29 | 1996-09-30 | Image synthesizing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27509195A JP3696952B2 (ja) | 1995-09-29 | 1995-09-29 | 画像合成装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0997326A JPH0997326A (ja) | 1997-04-08 |
| JP3696952B2 true JP3696952B2 (ja) | 2005-09-21 |
Family
ID=17550674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27509195A Expired - Lifetime JP3696952B2 (ja) | 1995-09-29 | 1995-09-29 | 画像合成装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3696952B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4006056B2 (ja) * | 1997-05-19 | 2007-11-14 | キヤノン株式会社 | 画像合成装置、画像合成方法および記憶媒体 |
| JP3781324B2 (ja) * | 1997-06-09 | 2006-05-31 | 株式会社リコー | 画像位置合わせ方法、ファックス文字認識方法および記録媒体 |
| JP2001512252A (ja) * | 1997-08-01 | 2001-08-21 | サーノフ コーポレイション | モザイク画像を構成するためのローカル／グローバルマルチフレームアライメントを実行する方法および装置 |
| JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
| JPH11259637A (ja) * | 1998-03-06 | 1999-09-24 | Canon Inc | 画像合成装置、画像合成方法および記憶媒体 |
| JP4007524B2 (ja) * | 1997-11-18 | 2007-11-14 | 株式会社リコー | 画像合成方法及び装置並びに情報記録媒体 |
| JP3947290B2 (ja) * | 1998-01-19 | 2007-07-18 | オリンパス株式会社 | 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 |
| JP4401484B2 (ja) * | 1999-07-30 | 2010-01-20 | キヤノン株式会社 | 画像合成装置とその制御方法及び記憶媒体 |
| US7098914B1 (en) | 1999-07-30 | 2006-08-29 | Canon Kabushiki Kaisha | Image synthesis method, image synthesis apparatus, and storage medium |
| JP4325108B2 (ja) * | 2000-12-22 | 2009-09-02 | ソニー株式会社 | 撮像画像合成装置および方法 |
| JP3979811B2 (ja) * | 2001-09-12 | 2007-09-19 | 三洋電機株式会社 | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3717881B2 (ja) * | 2001-10-17 | 2005-11-16 | 三洋電機株式会社 | 画像合成方法 |
| US20070031063A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a composite image from a set of images |
| JP2007122118A (ja) * | 2005-10-25 | 2007-05-17 | Matsushita Electric Ind Co Ltd | 画像連結方法 |
| US8331725B2 (en) | 2007-01-12 | 2012-12-11 | Qualcomm Incorporated | Panoramic imaging techniques |
| JP4377932B2 (ja) * | 2007-07-26 | 2009-12-02 | 株式会社モルフォ | パノラマ画像生成装置およびプログラム |
| KR101411317B1 (ko) * | 2008-04-30 | 2014-06-25 | 삼성전자주식회사 | 디지털 영상 처리기에서 촬영 범위 확대 장치 및 방법 |
| JP6823719B2 (ja) * | 2017-06-28 | 2021-02-03 | 富士フイルム株式会社 | 画像合成方法、画像合成装置、及び記録媒体 |
-
1995
- 1995-09-29 JP JP27509195A patent/JP3696952B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0997326A (ja) | 1997-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3696952B2 (ja) | 画像合成装置および方法 | |
| US6714689B1 (en) | Image synthesizing method | |
| JP4845715B2 (ja) | 画像処理方法、画像処理装置、プログラム、及び記憶媒体 | |
| US6633303B2 (en) | Method, system and record medium for generating wide-area high-resolution image | |
| JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
| JP2002305647A (ja) | 画像結合装置 | |
| WO2021014775A1 (ja) | 画像表示装置、方法及びプログラム | |
| JP2003087549A (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP7459927B2 (ja) | 画像処理方法 | |
| JP4346742B2 (ja) | 画像合成方法、画像合成装置及び記憶媒体 | |
| JP2002342758A (ja) | 視覚認識システム | |
| JP3241243B2 (ja) | パノラマ画像合成システム及びパノラマ画像合成方法 | |
| JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
| JP4321251B2 (ja) | 合成画像を生成・表示する装置及び方法 | |
| JPH1083442A (ja) | 画像合成方法 | |
| JP3979811B2 (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000105813A (ja) | 画像連接システム、および画像連接プログラムを記録した記録媒体 | |
| JP2004072677A (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP2005252739A (ja) | 静止画像生成装置およびその方法 | |
| JP3542898B2 (ja) | 画像合成装置 | |
| JP4006056B2 (ja) | 画像合成装置、画像合成方法および記憶媒体 | |
| JP2005217721A (ja) | 静止画像生成装置および生成方法 | |
| JP3080080B2 (ja) | 画像連接システム、および画像連接プログラムを記録した記録媒体 | |
| JP3216037B2 (ja) | パノラマ画像合成システム | |
| JP4154023B2 (ja) | 画像合成方法、画像合成装置、画像合成システム、及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050701 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |