JP3545297B2 - 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3545297B2 JP3545297B2 JP36614199A JP36614199A JP3545297B2 JP 3545297 B2 JP3545297 B2 JP 3545297B2 JP 36614199 A JP36614199 A JP 36614199A JP 36614199 A JP36614199 A JP 36614199A JP 3545297 B2 JP3545297 B2 JP 3545297B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projected
- projection
- synthesizing
- shift amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、デジタルスチルカメラやデジタルビデオカメラなどにより撮像された複数の画像を合成して円筒面に投影した３６０度分の合成画像を生成する画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来から３６０度の合成画像を生成するための手法としては、撮像時における撮像条件に制約を加えることにより合成画像を得る方法が用いられている。すなわち、三脚に撮像装置を取り付けて、撮像装置の動きを水平面に平行な平面上における回転方向に制約し、この制約のもとに撮像された撮像画像を水平方向にそって合成していくものである。
【０００３】
一方、近年におけるデジタルスチルカメラの普及に伴い、三脚を用いることなく撮像した撮像画像を合成して、同様に３６０度の合成画像を生成する要望が高まっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、三脚を用いることなく撮像された撮像画像は、通常、水平面に対して傾斜しているため、互いに隣接する複数の画像を合成して得られる３６０度分の合成画像が水平面に対して傾斜し、これにより合成画像における始端（０度）及び終端（３６０度）の繋ぎ目がずれて、適切な合成画像を得ることができないという問題がある。
【０００５】
そこで、本発明はこのような課題に鑑みてなされたものであり、三脚を用いることなく手動で撮像された画像であっても、合成画像における始端及び終端の繋ぎ目がずれることなく、適切に円筒面に投影した３６０度分の合成画像を得ることができる画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、複数の画像を合成して円筒面に投影した３６０度分の合成画像を生成する画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、画像を円筒面に投影する円筒面投影処理ステップと、その円筒面投影処理ステップにて得られた投影画像について、所定の投影画像を始端に隣接する画像間で対応する領域を抽出する対応領域抽出ステップと、その対応領域抽出ステップにて得られた対応領域に基づいて３６０度分に相当する投影画像を合成した場合の始端及び終端の投影画像間におけるずれ量を算出するずれ量算出ステップと、対応領域抽出ステップにて得られた対応領域とずれ量算出ステップにて得られたずれ量とに基づいて３６０度分に相当する投影画像を合成する画像合成ステップとを備えていることを特徴とする。
【０００７】
また、３６０度分に相当する投影画像を合成した場合の合成画像における画像サイズを算出する画像サイズ算出ステップと、投影画像または合成画像のうち、画像サイズ算出ステップにて得られた画像サイズ外側の画像を画像サイズ内側の画像に合成する第２の画像合成ステップとを備えていることを特徴とする。
【０００８】
また、対応領域抽出ステップは、始端の投影画像から順次隣接する投影画像との対応領域を抽出する毎に、その投影画像と始端の投影画像との重なり具合を抽出するステップと、その重なり具合に基づいて終端の投影画像を決定するステップとを含むことを特徴とする。
【０００９】
具体的には、ずれ量算出ステップにて算出されるずれ量が、始端の投影画像における基準画像の座標値と、終端の投影画像に始端の投影画像を合成させた場合の基準画像の座標値との差であり、画像合成ステップにて、両基準画像の座標値が円筒面に対して同一の垂直断面上に位置すべく３６０度分に相当する投影画像が合成されることを特徴とする。
【００１０】
具体的には、ずれ量算出ステップにて算出されるずれ量が、始端の投影画像における基準画像の座標値と、終端の投影画像に始端の投影画像を合成させた場合の基準画像の座標値との差であり、画像合成ステップは、対応領域抽出ステップにて得られた対応領域に基づいて３６０度分に相当する投影画像を合成するステップと、そのステップにて得られた合成画像を、両基準画像の座標値が円筒面に対して同一の垂直断面上に位置すべく回転させるステップと含むことを特徴とする。
【００１１】
【発明の実施の形態】
以下、この発明を画像合成装置に適用した場合の実施の形態について説明する。
〔画像合成装置の説明〕
まず、複数の画像から継目のない合成画像を得るための画像合成装置について説明する。
【００１２】
図１は、本実施の形態における画像合成装置の概略構成を示している。
【００１３】
パーソナルコンピュータ１には、ディスプレイ２、マウス３及びキーボード４が接続されている。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００１４】
ハードディスク１３には、ＯＳ（オペレーションシステム）等の他、画像合成プログラムが格納されている。画像合成プログラムは、そが格納されたＣＤ−ＲＯＭ５を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、デジタルスチルカメラによって撮像された複数の画像が予め格納されているものとする。なお、これらの画像は、三脚を用いることなく使用者が回転しながら手動で３６０度全方向を撮像した画像である。
【００１５】
図２は、画像合成ソフトが起動せしめられた場合にＣＰＵ１１によって実行される画像合成処理手順を示している。
【００１６】
まず、ユーザによって指定された複数の画像がハードディスク１３からメモリ１２に読み込まれる（ステップＳ０１）。
【００１７】
次に、メモリ１２に読み込まれた複数の画像それぞれについて、円筒面に投影する円筒面投影処理が行われる（ステップＳ０２）。この円筒面投影処理については、種々提案されているが、以下にその一例を示す。
【００１８】
図９に示すように、ワールド座標系において焦点距離がｆの平面（Ｚ＝ｆ）上の任意の点をＰ（ｘ，ｙ，ｆ）とすると、この点Ｐは次式１を用いてＸ−Ｚ平面に垂直な円筒面上の点u＝（θ，ν），θ∈（−π，π〕に投影される。
【００１９】
【数１】
【００２０】
次に、メモリ１２に読み込まれた複数の画像のうち、ユーザによって指定された始端画像とそれに隣接する画像とが重なり合う対応領域の抽出処理が行われる（ステップＳ０３）。この対応領域抽出処理は、例えば、ＳＳＤ法(Sum of Squared Difference)、正規化相互相関法に基づいて行われる。なお、ここでは画像Ｉ1をユーザによって指定された始端画像とし、図３に示すように、この始端画像Ｉ1の左上を原点、一方の辺に沿ってｘ軸、他方の辺に沿ってｙ軸となる座標軸が設定される。
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、２枚の画像Ｉ1、Ｉ2の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式２に示すように、画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最小となる移動量（ｄ）から、対応領域が抽出される。なお、このＥが最小になるときの移動量（ｄ）は、隣接する２画像間における左上の頂点の移動量を意味する。また、この対応領域の抽出は、処理を高速化するならば低解像度の画像を用いればよい。
【００２１】
【数２】
【００２２】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、２枚の画像Ｉ1、Ｉ2の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式３に示すように、正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最大となる移動量（ｄ）から、重なり部が抽出される。また、この重なり部の抽出は、処理を高速化するならば低解像度の画像を用いればよい。
【００２３】
【数３】
【００２４】
式３において、Ｉ1￣、Ｉ2￣は、一方の画像Ｉ1を固定させ、他方の画像Ｉ2をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ1、σ2は、他方の画像Ｉ2を固定させ、一方の画像Ｉ1をｄだけ移動させたとき両画像の重なり部における各画像それぞれの濃淡値の分散である。
【００２５】
次に、求められた重なり部が一致するように両画像Ｉ1、Ｉ2が合成されて、図４に示すような合成画像Ｉ12が生成される（ステップＳ０４）。
【００２６】
次に、始端画像Ｉ1の左上頂点（ｘ1，ｙ1）＝（０,０）の座標に対する、合成された画像Ｉ2の左上頂点の座標（ｘ2，ｙ2）の移動量ｄ12（ｄｘ12，ｄｙ12）が算出される（ステップＳ０５）。なお、ここではｄｘ12＝ｘ2−ｘ1、ｄｙ12＝ｙ2−ｙ1とする。
【００２７】
そして、順次隣接する画像Ｉ3、Ｉ4…ＩNについてステップＳ０３〜Ｓ０４の処理を繰り返すことにより、図５に示すような合成画像Ｉ1Nが生成されるとともに、各隣接画像間における左上の点の移動量ｄ12（ｄｘ12，ｄｙ12）, ｄ23(ｄｘ23，ｄｙ23),…ｄN-1N（ｄｘN-1N，ｄｙN-1N）が算出される。なお、ステップＳ０３〜Ｓ０４の処理の繰り返しは、ユーザ指定した終端画像ＩNに対してステップＳ０３〜Ｓ０４の処理が完了することによって終了する（ステップＳ０６）。
【００２８】
次に、合成画像Ｉ1Nのずれ量を算出する（ステップＳ０７）。まず、終端画像ＩNと始端画像Ｉ1についてステップＳ０３、Ｓ０５と同様の処理を行うことにより、終端画像ＩNに対して始端画像Ｉ1を合成させた場合の終端画像ＩNに対する始端画像Ｉ1の移動量を演算する。すなわち、始端画像Ｉ1を終端画像ＩNに合成するために移動させた画像を図５中破線で示す画像Ｉ1´とし、終端画像ＩNに対する始端画像Ｉ1の移動量に代えて、終端画像ＩNに対する画像Ｉ1´の移動量ｄN1´（ｄｘN1´，ｄｙN1´）を算出する。そして、得られた互いに隣接する２画像間の移動量から、次式４を用いて画像Ｉ1と画像Ｉ1´間の移動量ｄ11´（ｄｘ11´，ｄｙ11´）が合成画像Ｉ1Nノのずれ量として算出される。
【００２９】
【数４】
【００３０】
次に、ステップＳ０７において得られたずれ量ｄ11´（ｄｘ11´，ｄｙ11´）から、次式５を用いて合成画像Ｉ1N全体の傾きθが算出される（ステップＳ０８）。
【００３１】
【数５】
【００３２】
そして、原点を中心に合成画像Ｉ1N全体を、ステップＳ０８にて得られた角度θだけ回転させて、図６に示すような合成画像を生成する（ステップＳ０９）。
【００３３】
更に、ステップＳ０９にて得られた合成画像Ｉ1N全体を、始端画像Ｉ1の左端のｘ座標が０となる位置までｘ軸と平行に移動させるとともに、合成画像Ｉ1Nの上端の座標が０となる位置までｙ軸と平行に移動させて、図７に示すような合成画像Ｉ1Nを生成する（ステップＳ１０）。
【００３４】
次に、円筒面に投影したＮ枚の入力画像から1枚の合成画像Ｉ1Nを生成した場合における合成画像Ｉ1Nの３６０度分のサイズを求める（ステップＳ１１）。ここで、合成画像Ｉ1Nの幅（ｘ軸方向の長さ）をＷとするすると、次式６により幅Ｗが算出される。
【００３５】
【数６】
【００３６】
また、合成画像Ｉ1Nの高さ（ｙ軸方向の長さ）をＨとすると、高さＨは合成画像Ｉ1Nにおけるｙ座標の最大値と最小値との差により算出される。
【００３７】
次に、ステップＳ１１にて得られた合成画像Ｉ1Nの３６０度分のサイズに基づく矩形領域を設定し、この矩形領域から外側に位置する領域の画像Ｐを切り取るとともに、切り取った画像Ｐを始端画像Ｉ1の対応する位置に合成して、図８に示すような合成画像Ｉ1Nを生成する（ステップＳ１２）。すなわち、切り取った画像Ｐの左端のｘ座標値が０となる位置まで、ｘ軸と平行に切り取った画像Ｐを平行移動する。このとき、すでに別の入力画像が描画されているときは、互いに重なり合う画像の重心からの距離に応じた比で各画素の値が荷重平均される（ブレンディング処理）。
【００３８】
上述した一連の処理により、円筒面に投影した３６０度の合成画像をメモリ１２上に生成することができる。
【００３９】
このように、本実施の形態によれば、円筒面に投影した合成画像Ｉ1Nにおける始端と終端とのずれを補正することにより、基準面に対して略平行な合成画像を生成することができるため、合成画像Ｉ1Nにおける始端及び終端の繋ぎ目がずれることがなく、適切な合成画像を得ることが可能となる。
【００４０】
また、終端画像ＩNのうち、円筒面に投影した３６０度分の画像サイズに相当する矩形領域の外側に位置する画像Ｐを始端画像Ｉ1に重ねあわせているため、矩形領域内における合成画像Ｉ1Nの領域を拡大することが可能となる。
【００４１】
なお、上述の形態においては、始端画像Ｉ1と終端画像ＩNとをユーザが指定する場合について説明したが、自動で設定することも可能である。例えば、始端画像は、３６０度の画像を合成する目的ではどの画像を始端画像に設定しても略同様の結果を得ることができるため、自動設定可能である。また、終端画像は、始端画像と順次合成されていく各画像との重なり具合を検出することにより自動設定可能である。すなわち、始端画像に対して重なり部を有さない画像と重なり部を有し、且つ、始端画像と重なり部を有する画像を終端画像とすれよい。
【００４２】
また、本実施の形態においては、隣接する２画像間の合成手法として、単に抽出した重なり部どうしを重ねあわる手法を用いたが、それに限定されることなく種々の合成手法を用いてもよい。
【００４３】
また、本実施の形態においては、説明をわかりやすくするため、一旦、合成画像Ｉ1Nを生成した後、合成画像Ｉ1Nの傾きθを算出して合成画像Ｉ1Nの傾きを補正する場合について説明したが、合成画像Ｉ1Nを生成することなく、各合成画像の座標演算に基づいて合成画像Ｉ1Nの傾き及び画像サイズを算出した後、画像合成を行って合成画像を生成してもよい。
【００４４】
【発明の効果】
本発明によれば、円筒面に投影した合成画像における始端と終端とのずれを補正することにより、基準面に対して略平行な合成画像を得ることができるため、三脚を用いることなく手動で撮像された画像であっても、合成画像における始端及び終端の繋ぎ目がずれることがなく、適切な合成画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像合成装置の概略構成を示すブロック図である。
【図２】図１の画像合成装置における画像合成処理手順を示すフローチャートである。
【図３】合成画像が投影される円筒面上に設定した座標系を説明する説明図である。
【図４】図２のフローチャートのステップＳ０４における合成画像を説明する説明図である。
【図５】図２のフローチャートのステップＳ０６における合成画像を説明する説明図である。
【図６】図２のフローチャートのステップＳ１０における合成画像を説明する説明図である。
【図７】図２のフローチャートのステップＳ１１における合成画像を説明する説明図である。
【図８】図２のフローチャートのステップＳ１３における処理を合成画像を説明する説明図である。
【図９】平面を円筒面に投影する円筒面投影処理の一例を説明する説明図である。
【符号の説明】
１ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ ディスクドライブ
【産業上の利用分野】
本発明は、デジタルスチルカメラやデジタルビデオカメラなどにより撮像された複数の画像を合成して円筒面に投影した３６０度分の合成画像を生成する画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来から３６０度の合成画像を生成するための手法としては、撮像時における撮像条件に制約を加えることにより合成画像を得る方法が用いられている。すなわち、三脚に撮像装置を取り付けて、撮像装置の動きを水平面に平行な平面上における回転方向に制約し、この制約のもとに撮像された撮像画像を水平方向にそって合成していくものである。
【０００３】
一方、近年におけるデジタルスチルカメラの普及に伴い、三脚を用いることなく撮像した撮像画像を合成して、同様に３６０度の合成画像を生成する要望が高まっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、三脚を用いることなく撮像された撮像画像は、通常、水平面に対して傾斜しているため、互いに隣接する複数の画像を合成して得られる３６０度分の合成画像が水平面に対して傾斜し、これにより合成画像における始端（０度）及び終端（３６０度）の繋ぎ目がずれて、適切な合成画像を得ることができないという問題がある。
【０００５】
そこで、本発明はこのような課題に鑑みてなされたものであり、三脚を用いることなく手動で撮像された画像であっても、合成画像における始端及び終端の繋ぎ目がずれることなく、適切に円筒面に投影した３６０度分の合成画像を得ることができる画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、複数の画像を合成して円筒面に投影した３６０度分の合成画像を生成する画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、画像を円筒面に投影する円筒面投影処理ステップと、その円筒面投影処理ステップにて得られた投影画像について、所定の投影画像を始端に隣接する画像間で対応する領域を抽出する対応領域抽出ステップと、その対応領域抽出ステップにて得られた対応領域に基づいて３６０度分に相当する投影画像を合成した場合の始端及び終端の投影画像間におけるずれ量を算出するずれ量算出ステップと、対応領域抽出ステップにて得られた対応領域とずれ量算出ステップにて得られたずれ量とに基づいて３６０度分に相当する投影画像を合成する画像合成ステップとを備えていることを特徴とする。
【０００７】
また、３６０度分に相当する投影画像を合成した場合の合成画像における画像サイズを算出する画像サイズ算出ステップと、投影画像または合成画像のうち、画像サイズ算出ステップにて得られた画像サイズ外側の画像を画像サイズ内側の画像に合成する第２の画像合成ステップとを備えていることを特徴とする。
【０００８】
また、対応領域抽出ステップは、始端の投影画像から順次隣接する投影画像との対応領域を抽出する毎に、その投影画像と始端の投影画像との重なり具合を抽出するステップと、その重なり具合に基づいて終端の投影画像を決定するステップとを含むことを特徴とする。
【０００９】
具体的には、ずれ量算出ステップにて算出されるずれ量が、始端の投影画像における基準画像の座標値と、終端の投影画像に始端の投影画像を合成させた場合の基準画像の座標値との差であり、画像合成ステップにて、両基準画像の座標値が円筒面に対して同一の垂直断面上に位置すべく３６０度分に相当する投影画像が合成されることを特徴とする。
【００１０】
具体的には、ずれ量算出ステップにて算出されるずれ量が、始端の投影画像における基準画像の座標値と、終端の投影画像に始端の投影画像を合成させた場合の基準画像の座標値との差であり、画像合成ステップは、対応領域抽出ステップにて得られた対応領域に基づいて３６０度分に相当する投影画像を合成するステップと、そのステップにて得られた合成画像を、両基準画像の座標値が円筒面に対して同一の垂直断面上に位置すべく回転させるステップと含むことを特徴とする。
【００１１】
【発明の実施の形態】
以下、この発明を画像合成装置に適用した場合の実施の形態について説明する。
〔画像合成装置の説明〕
まず、複数の画像から継目のない合成画像を得るための画像合成装置について説明する。
【００１２】
図１は、本実施の形態における画像合成装置の概略構成を示している。
【００１３】
パーソナルコンピュータ１には、ディスプレイ２、マウス３及びキーボード４が接続されている。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００１４】
ハードディスク１３には、ＯＳ（オペレーションシステム）等の他、画像合成プログラムが格納されている。画像合成プログラムは、そが格納されたＣＤ−ＲＯＭ５を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、デジタルスチルカメラによって撮像された複数の画像が予め格納されているものとする。なお、これらの画像は、三脚を用いることなく使用者が回転しながら手動で３６０度全方向を撮像した画像である。
【００１５】
図２は、画像合成ソフトが起動せしめられた場合にＣＰＵ１１によって実行される画像合成処理手順を示している。
【００１６】
まず、ユーザによって指定された複数の画像がハードディスク１３からメモリ１２に読み込まれる（ステップＳ０１）。
【００１７】
次に、メモリ１２に読み込まれた複数の画像それぞれについて、円筒面に投影する円筒面投影処理が行われる（ステップＳ０２）。この円筒面投影処理については、種々提案されているが、以下にその一例を示す。
【００１８】
図９に示すように、ワールド座標系において焦点距離がｆの平面（Ｚ＝ｆ）上の任意の点をＰ（ｘ，ｙ，ｆ）とすると、この点Ｐは次式１を用いてＸ−Ｚ平面に垂直な円筒面上の点u＝（θ，ν），θ∈（−π，π〕に投影される。
【００１９】
【数１】
次に、メモリ１２に読み込まれた複数の画像のうち、ユーザによって指定された始端画像とそれに隣接する画像とが重なり合う対応領域の抽出処理が行われる（ステップＳ０３）。この対応領域抽出処理は、例えば、ＳＳＤ法(Sum of Squared Difference)、正規化相互相関法に基づいて行われる。なお、ここでは画像Ｉ1をユーザによって指定された始端画像とし、図３に示すように、この始端画像Ｉ1の左上を原点、一方の辺に沿ってｘ軸、他方の辺に沿ってｙ軸となる座標軸が設定される。
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、２枚の画像Ｉ1、Ｉ2の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式２に示すように、画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最小となる移動量（ｄ）から、対応領域が抽出される。なお、このＥが最小になるときの移動量（ｄ）は、隣接する２画像間における左上の頂点の移動量を意味する。また、この対応領域の抽出は、処理を高速化するならば低解像度の画像を用いればよい。
【００２１】
【数２】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、２枚の画像Ｉ1、Ｉ2の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式３に示すように、正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最大となる移動量（ｄ）から、重なり部が抽出される。また、この重なり部の抽出は、処理を高速化するならば低解像度の画像を用いればよい。
【００２３】
【数３】
式３において、Ｉ1￣、Ｉ2￣は、一方の画像Ｉ1を固定させ、他方の画像Ｉ2をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ1、σ2は、他方の画像Ｉ2を固定させ、一方の画像Ｉ1をｄだけ移動させたとき両画像の重なり部における各画像それぞれの濃淡値の分散である。
【００２５】
次に、求められた重なり部が一致するように両画像Ｉ1、Ｉ2が合成されて、図４に示すような合成画像Ｉ12が生成される（ステップＳ０４）。
【００２６】
次に、始端画像Ｉ1の左上頂点（ｘ1，ｙ1）＝（０,０）の座標に対する、合成された画像Ｉ2の左上頂点の座標（ｘ2，ｙ2）の移動量ｄ12（ｄｘ12，ｄｙ12）が算出される（ステップＳ０５）。なお、ここではｄｘ12＝ｘ2−ｘ1、ｄｙ12＝ｙ2−ｙ1とする。
【００２７】
そして、順次隣接する画像Ｉ3、Ｉ4…ＩNについてステップＳ０３〜Ｓ０４の処理を繰り返すことにより、図５に示すような合成画像Ｉ1Nが生成されるとともに、各隣接画像間における左上の点の移動量ｄ12（ｄｘ12，ｄｙ12）, ｄ23(ｄｘ23，ｄｙ23),…ｄN-1N（ｄｘN-1N，ｄｙN-1N）が算出される。なお、ステップＳ０３〜Ｓ０４の処理の繰り返しは、ユーザ指定した終端画像ＩNに対してステップＳ０３〜Ｓ０４の処理が完了することによって終了する（ステップＳ０６）。
【００２８】
次に、合成画像Ｉ1Nのずれ量を算出する（ステップＳ０７）。まず、終端画像ＩNと始端画像Ｉ1についてステップＳ０３、Ｓ０５と同様の処理を行うことにより、終端画像ＩNに対して始端画像Ｉ1を合成させた場合の終端画像ＩNに対する始端画像Ｉ1の移動量を演算する。すなわち、始端画像Ｉ1を終端画像ＩNに合成するために移動させた画像を図５中破線で示す画像Ｉ1´とし、終端画像ＩNに対する始端画像Ｉ1の移動量に代えて、終端画像ＩNに対する画像Ｉ1´の移動量ｄN1´（ｄｘN1´，ｄｙN1´）を算出する。そして、得られた互いに隣接する２画像間の移動量から、次式４を用いて画像Ｉ1と画像Ｉ1´間の移動量ｄ11´（ｄｘ11´，ｄｙ11´）が合成画像Ｉ1Nノのずれ量として算出される。
【００２９】
【数４】
次に、ステップＳ０７において得られたずれ量ｄ11´（ｄｘ11´，ｄｙ11´）から、次式５を用いて合成画像Ｉ1N全体の傾きθが算出される（ステップＳ０８）。
【００３１】
【数５】
そして、原点を中心に合成画像Ｉ1N全体を、ステップＳ０８にて得られた角度θだけ回転させて、図６に示すような合成画像を生成する（ステップＳ０９）。
【００３３】
更に、ステップＳ０９にて得られた合成画像Ｉ1N全体を、始端画像Ｉ1の左端のｘ座標が０となる位置までｘ軸と平行に移動させるとともに、合成画像Ｉ1Nの上端の座標が０となる位置までｙ軸と平行に移動させて、図７に示すような合成画像Ｉ1Nを生成する（ステップＳ１０）。
【００３４】
次に、円筒面に投影したＮ枚の入力画像から1枚の合成画像Ｉ1Nを生成した場合における合成画像Ｉ1Nの３６０度分のサイズを求める（ステップＳ１１）。ここで、合成画像Ｉ1Nの幅（ｘ軸方向の長さ）をＷとするすると、次式６により幅Ｗが算出される。
【００３５】
【数６】
また、合成画像Ｉ1Nの高さ（ｙ軸方向の長さ）をＨとすると、高さＨは合成画像Ｉ1Nにおけるｙ座標の最大値と最小値との差により算出される。
【００３７】
次に、ステップＳ１１にて得られた合成画像Ｉ1Nの３６０度分のサイズに基づく矩形領域を設定し、この矩形領域から外側に位置する領域の画像Ｐを切り取るとともに、切り取った画像Ｐを始端画像Ｉ1の対応する位置に合成して、図８に示すような合成画像Ｉ1Nを生成する（ステップＳ１２）。すなわち、切り取った画像Ｐの左端のｘ座標値が０となる位置まで、ｘ軸と平行に切り取った画像Ｐを平行移動する。このとき、すでに別の入力画像が描画されているときは、互いに重なり合う画像の重心からの距離に応じた比で各画素の値が荷重平均される（ブレンディング処理）。
【００３８】
上述した一連の処理により、円筒面に投影した３６０度の合成画像をメモリ１２上に生成することができる。
【００３９】
このように、本実施の形態によれば、円筒面に投影した合成画像Ｉ1Nにおける始端と終端とのずれを補正することにより、基準面に対して略平行な合成画像を生成することができるため、合成画像Ｉ1Nにおける始端及び終端の繋ぎ目がずれることがなく、適切な合成画像を得ることが可能となる。
【００４０】
また、終端画像ＩNのうち、円筒面に投影した３６０度分の画像サイズに相当する矩形領域の外側に位置する画像Ｐを始端画像Ｉ1に重ねあわせているため、矩形領域内における合成画像Ｉ1Nの領域を拡大することが可能となる。
【００４１】
なお、上述の形態においては、始端画像Ｉ1と終端画像ＩNとをユーザが指定する場合について説明したが、自動で設定することも可能である。例えば、始端画像は、３６０度の画像を合成する目的ではどの画像を始端画像に設定しても略同様の結果を得ることができるため、自動設定可能である。また、終端画像は、始端画像と順次合成されていく各画像との重なり具合を検出することにより自動設定可能である。すなわち、始端画像に対して重なり部を有さない画像と重なり部を有し、且つ、始端画像と重なり部を有する画像を終端画像とすれよい。
【００４２】
また、本実施の形態においては、隣接する２画像間の合成手法として、単に抽出した重なり部どうしを重ねあわる手法を用いたが、それに限定されることなく種々の合成手法を用いてもよい。
【００４３】
また、本実施の形態においては、説明をわかりやすくするため、一旦、合成画像Ｉ1Nを生成した後、合成画像Ｉ1Nの傾きθを算出して合成画像Ｉ1Nの傾きを補正する場合について説明したが、合成画像Ｉ1Nを生成することなく、各合成画像の座標演算に基づいて合成画像Ｉ1Nの傾き及び画像サイズを算出した後、画像合成を行って合成画像を生成してもよい。
【００４４】
【発明の効果】
本発明によれば、円筒面に投影した合成画像における始端と終端とのずれを補正することにより、基準面に対して略平行な合成画像を得ることができるため、三脚を用いることなく手動で撮像された画像であっても、合成画像における始端及び終端の繋ぎ目がずれることがなく、適切な合成画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像合成装置の概略構成を示すブロック図である。
【図２】図１の画像合成装置における画像合成処理手順を示すフローチャートである。
【図３】合成画像が投影される円筒面上に設定した座標系を説明する説明図である。
【図４】図２のフローチャートのステップＳ０４における合成画像を説明する説明図である。
【図５】図２のフローチャートのステップＳ０６における合成画像を説明する説明図である。
【図６】図２のフローチャートのステップＳ１０における合成画像を説明する説明図である。
【図７】図２のフローチャートのステップＳ１１における合成画像を説明する説明図である。
【図８】図２のフローチャートのステップＳ１３における処理を合成画像を説明する説明図である。
【図９】平面を円筒面に投影する円筒面投影処理の一例を説明する説明図である。
【符号の説明】
１ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ ディスクドライブ
Claims (8)
- 複数の画像を合成して円筒面に投影した３６０度分の合成画像を生成する画像合成方法において、
前記画像を円筒面に投影する円筒面投影処理ステップと、該円筒面投影処理ステップにて得られた投影画像について、所定の投影画像を始端に隣接する画像間で対応する領域を抽出する対応領域抽出ステップと、該対応領域抽出ステップにて得られた対応領域に基づいて３６０度分に相当する投影画像を合成した場合の始端及び終端の投影画像間におけるずれ量を算出するずれ量算出ステップと、前記対応領域抽出ステップにて得られた対応領域と前記ずれ量算出ステップにて得られたずれ量とに基づいて前記３６０度分に相当する投影画像を合成する画像合成ステップとを備え、前記対応領域抽出ステップは、前記始端の投影画像から順次隣接する投影画像との対応領域を抽出する毎に、該投影画像と前記始端の投影画像との重なり具合を抽出するステップと、該重なり具合に基づいて前記終端の投影画像を決定するステップとを含むことを特徴とする画像合成方法。 - ３６０度分に相当する投影画像を合成した場合の合成画像における画像サイズを算出する画像サイズ算出ステップと、前記投影画像または前記合成画像のうち、前記画像サイズ算出ステップにて得られた画像サイズ外側の画像を画像サイズ内側の画像に合成する第２の画像合成ステップとを備えていることを特徴とする請求項１記載の画像合成方法。
- 前記ずれ量算出ステップにて算出されるずれ量が、前記始端の投影画像における基準画像の座標値と、前記終端の投影画像に前記始端の投影画像を合成させた場合の基準画像の座標値との差であり、
前記画像合成ステップにて、前記両基準画像の座標値が前記円筒面に対して同一の垂直断面上に位置すべく３６０度分に相当する投影画像が合成されることを特徴とする請求項１または２に記載の画像合成方法。 - 前記ずれ量算出ステップにて算出されるずれ量が、前記始端の投影画像における基準画像の座標値と、前記終端の投影画像に前記始端の投影画像を合成させた場合の基準画像の座標値との差であり、
前記画像合成ステップは、前記対応領域抽出ステップにて得られた対応領域に基づいて前記３６０度分に相当する投影画像を合成するステップと、該ステップにて得られた合成画像を、前記両基準画像の座標値が前記円筒面に対して同一の垂直断面上に位置すべく回転させるステップとを含むことを特徴とする請求項１ないし３のいずれかに記載の画像合成方法。 - 複数の画像を合成して円筒面に投影した３６０度分の合成画像を生成する画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記画像を円筒面に投影する円筒面投影処理ステップと、該円筒面投影処理ステップにて得られた投影画像について、所定の投影画像を始端に隣接する画像間で対応する領域を抽出する対応領域抽出ステップと、該対応領域抽出ステップにて得られた対応領域に基づいて３６０度分に相当する投影画像を合成した場合の始端及び終端の投影画像間におけるずれ量を算出するずれ量算出ステップと、前記対応領域抽出ステップにて得られた対応領域と前記ずれ量算出ステップにて得られたずれ量とに基づいて前記３６０度分に相当する投影画像を合成する画像合成ステップとを備え、前記対応領域抽出ステップは、前記始端の投影画像から順次隣接する投影画像との対応領域を抽出する毎に、該投影画像と前記始端の投影画像との重なり具合を抽出するステップと、該重なり具合に基づいて前記終端の投影画像を決定するステップとを含む画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。 - ３６０度分に相当する投影画像を合成した場合の合成画像における画像サイズを算出する画像サイズ算出ステップと、前記投影画像または前記合成画像のうち、前記画像サイズ算出ステップにて得られた画像サイズ外側の画像を画像サイズ内側の画像に合成する第２の画像合成ステップとを備えた請求項５記載の画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記ずれ量算出ステップにて算出されるずれ量が、前記始端の投影画像における基準画像の座標値と、前記終端の投影画像に前記始端の投影画像を合成させた場合の基準画像の座標値との差であり、
前記画像合成ステップにて、前記両基準画像の座標値が前記円筒面に対して同一の垂直断面上に位置すべく３６０度分に相当する投影画像が合成される請求項５または６に記載の画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記ずれ量算出ステップにて算出されるずれ量が、前記始端の投影画像における基準画像の座標値と、前記終端の投影画像に前記始端の投影画像を合成させた場合の基準画像の座標値との差であり、
前記画像合成ステップは、前記対応領域抽出ステップにて得られた対応領域に基づいて前記３６０度分に相当する投影画像を合成するステップと、該ステップにて得られた合成画像を、前記両基準画像の座標値が前記円筒面に対して同一の垂直断面上に位置すべく回転させるステップと含む請求項５ないし７のいずれかに記載の画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36614199A JP3545297B2 (ja) | 1999-12-24 | 1999-12-24 | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36614199A JP3545297B2 (ja) | 1999-12-24 | 1999-12-24 | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001184484A JP2001184484A (ja) | 2001-07-06 |
| JP3545297B2 true JP3545297B2 (ja) | 2004-07-21 |
Family
ID=18486025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36614199A Expired - Fee Related JP3545297B2 (ja) | 1999-12-24 | 1999-12-24 | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3545297B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008077628A (ja) | 2006-08-21 | 2008-04-03 | Sanyo Electric Co Ltd | 画像処理装置並びに車両周辺視界支援装置及び方法 |
| BR112014001565A2 (pt) | 2011-07-22 | 2017-06-13 | Fujifilm Corp | método de geração de imagem panorâmica e dispositivo de captura de imagem |
| JP7106399B2 (ja) * | 2018-09-05 | 2022-07-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
1999
- 1999-12-24 JP JP36614199A patent/JP3545297B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001184484A (ja) | 2001-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3889650B2 (ja) | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 | |
| JP4512584B2 (ja) | イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置 | |
| JP4493113B2 (ja) | プロジェクタおよび投影画像補正装置 | |
| JP4327856B2 (ja) | 小型システム用のパノラマメーカーエンジン | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
| JP2007164258A (ja) | 画像合成処理装置及び方法 | |
| JP2000221586A5 (ja) | ||
| JP6467612B2 (ja) | 正置画像処理システムおよび構造物維持管理業務システム | |
| JP2021157600A (ja) | 画像処理装置、画像処理方法 | |
| JP3545297B2 (ja) | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5321417B2 (ja) | 透視変換パラメータ生成装置、画像補正装置、透視変換パラメータ生成方法、画像補正方法、及びプログラム | |
| JP4776983B2 (ja) | 画像合成装置及び画像合成方法 | |
| JP4594848B2 (ja) | 内接矩形検出装置および内接矩形検出プログラム | |
| JP4346742B2 (ja) | 画像合成方法、画像合成装置及び記憶媒体 | |
| JP7192526B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPH1115951A (ja) | ずれ検出装置および画像合成装置 | |
| JP3241243B2 (ja) | パノラマ画像合成システム及びパノラマ画像合成方法 | |
| JP2005063141A5 (ja) | ||
| JP2005063141A (ja) | 画像変換システム及び画像変換方法 | |
| JPH1118007A (ja) | 全方向性画像表示システム | |
| JP4796295B2 (ja) | カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法 | |
| JP2005217721A (ja) | 静止画像生成装置および生成方法 | |
| JP3126157B2 (ja) | 画像情報処理装置 | |
| JP4353358B2 (ja) | データ生成装置、データ生成方法、および、コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |