JP3817302B2 - 画像生成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、パノラマ撮影モードを有する電子カメラシステム等に用いて好適な画像生成装置に関し、特に、画像の一部が重複する複数の画像を接合させてパノラマ画像を生成する画像生成装置に関するものである。
【０００２】
【従来の技術】
従来より、画界の一部が重複するように撮影して得られた複数の画像を合成してパノラマ画像（以下、合成画像とも言う）を生成する画像生成装置として、例えば、特開平５−１２２６０６に開示されている画像合成処理装置がある。
この画像合成処理装置は、接合すべき複数の画像を互いに一部重複するように撮影し、接合される画像の端部の領域の輝度差又は色度差を求め、輝度差又は色度差が「０」もしくは最小値を取る領域を重複するように連結することにより画像を合成する装置である。これにより、上記画像合成処理装置は、複数の画像を接合するための撮像装置や撮像対象を精密に移動させて位置決めする必要がないため簡便で、しかも画像間に輝度差又は色度差を用いて連結位置を求めるため、正確に連結性を失うことなく画像を合成することができる。
【０００３】
また、上述のような画像生成装置において、画界の一部が重複するように撮影して得られた複数の画像から画角の広いパノラマ画像を生成する場合、２つの画像の重複する領域内の同一な点が一致するようにアフィン変換等の幾何学変換を行って２つの画像を平面上で連結する、という処理が行われる。
具体的に説明すると、まず、カメラを水平方向にパンニングして２つの画像を撮影する場合、図３５に示すように、カメラレンズの被写体側の主点Ｏをパンニング動作の際に略一致させるようにして撮影する。
ここで、上記図３５において、Ｉ１，Ｉ２は、各々パンニング動作前後の撮像面であり、ｈ１はパンニング動作前に撮影した画像の水平方向の視野、ｈ２はパンニング動作後に撮影した画像の水平方向の視野である。
そこで、カメラレンズの水平視野の角度を「θ」とすると、撮像面Ｉ１，Ｉ２から各々左右に「θ」の広さの視野の画像が得られる。したがって、２つの画像の重複する角度を「α」とすると、２つの画像から得られる画像の水平方向の視野は、（２θ−α）となる。
このとき、２つの撮像面Ｉ１，Ｉ２に対して略均等な角度でカメラの前に長方形の枠がある平面が存在する場合、２つの撮像面Ｉ１，Ｉ２の画像は、図３６に示すような画像ａ，ｂとなる。この２つの画像ａ，ｂにマフィン変換処理を行い、例えば、拡大及び画像平面内での回転を含まない平行移動のみで２つの画像ａ，ｂを合成すると、図３７に示すような合成画像ａｂが得られる。
【０００４】
しかし、上述のようにして得られた合成画像ａｂは、上記図３７に示すように、重複部分Ｐ_abにおいて枠線が二重に生じてしまい、不自然な画像になってしまっていた。これは、撮影時での２つの撮像面Ｉ１，Ｉ２が空間的に１つの平面内に存在しないため、画像平面内での平行移動、拡大及び画像平面内での回転では、正確に画像を合成できないためである。
【０００５】
そこで、上述のような重複部分Ｐ_abでの画像の不自然さを解消するために、特開平５−１４７５１には、画像の一部が重複するように撮影して得られた複数の画像を円柱面上に投影して幾何学変換することにより画像を合成するパノラマ画像取り込み装置が開示されている。
このパノラマ画像取り込み装置によれば、２つの撮像面Ｉ１，Ｉ２の各画像ａ，ｂを一旦共通の円柱面上に投影変換することにより、重複部分Ｐａｂで枠線が２重に生じる様なことなく、不自然さのない合成画像を得ることができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、各画像の重複部の輝度差又は色度差が「０」もしくは最小値を取る領域を接合して各画像を合成するような従来の画像生成装置は、輝度差又は色度差が「０」もしくは最小値を取る領域を単純に接合していたため、接合する画像に対して接合される画像が回転している画像であったり、接合する画像と接合される画像の間に倍率比が生じている場合には、合成画像の画質が著しく低下してしまっていた。
【０００７】
また、各画像を円柱面に投影し幾何学変換して各画像を合成するような従来の画像生成装置は、例えば、水平方向及び垂直方向の両方向にパンニンングして撮影して得られた複数の画像を合成した場合、平行移動のみを行って得られた上記図３７の合成画像ａｂと同様に、合成画像の重複部分において枠線が二重に生じるような不自然な画像となってしまっていた。
例えば、長方形の枠を４回のフレーミングで撮影した場合、図３８に示すような４つの画像ｃ１〜ｃ４が得られる。そこで、円柱面上への画像の投影は行わずに平行移動のみで画像ｃ１〜ｃ４を合成すると、図３９に示すように、重複部分Ｐｃにおいて枠線が二重に生じるような不自然な合成画像ｃとなり、一旦円柱面上への画像の投影を行って平行移動して画像ｃ１〜ｃ４を合成した場合も、図４０に示すように、重複部分Ｐｃ’において枠線が二重に生じるような不自然な合成画像ｃ’となってしまっていた。
また、このことは、パンして撮影して得られた２つの画像を水平方向に合成する場合においても、撮影時に多少のカメラのチルトが生じた場合には合成画像の重複部分において枠線が二重に生じるような不自然な画像になってしまうことを意味している。
【０００８】
そこで、本発明は、上記の欠点を除去するために成されたもので、常に高画質のパノラマ画像を簡便に得る画像生成装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る画像生成装置は、撮影手段により画面の一部が重複するように被写体像を複数画面に分割して撮影し、上記撮影手段で得られた一連の複数の画像を合成して合成画像を生成する画像生成装置であって、撮影時の撮影条件を検出する検出手段と、上記撮影手段で得られた複数の画像と共に各画像に対応して上記検出手段により検出された撮影条件を記憶する記憶手段と、上記記憶手段に記憶された一連の複数の画像を合成して合成画像を生成する画像合成手段と、上記画像合成手段を制御する制御手段とを備え、上記画像合成手段は、上記撮影条件に対応した複数の合成手段からなり、上記制御手段は、各画像に対応する撮影条件に基づいて上記複数の合成手段を選択的に切り替え、上記制御手段により選択的に切り替えられた合成手段は、一連の複数の画像を合成することを特徴とする。
また、本発明に係る画像生成装置は、上記画像合成手段に、各画像の重複部分における対応点を検出する対応点検出手段と、各画像に座標変換処理を施して合成画像を生成する座標変換手段と、上記対応点検出手段で検出された対応点に基いて撮影パラメータを生成するパラメータ生成手段とを設け、上記座標変換手段は、上記パラメータ生成手段で生成された撮影パラメータを用いて上記座標変換処理を行うことを特徴とする。
また、本発明に係る画像生成装置は、上記検出手段により、撮影条件として撮影時の焦点位置情報を検出し、上記画像合成手段は、近距離撮影により得られた一連の複数の画像を合成する近距離合成手段と、遠距離撮影により得られた一連の複数の画像を合成する遠距離合成手段とを備え、上記制御手段は、各画像に対応する焦点位置情報により合成する一連の複数の画像が近距離撮影により得られたものであるか遠距離撮影により得られたものであるかを判別し、その判別結果に基づいて上記近距離合成手段と上記遠距離合成手段を選択的に切り替えることを特徴とする。
また、本発明に係る画像生成装置は、上記画像合成手段に、各画像に対応する撮影条件に基づいて各画像の重複部分の画素値を変換する変換手段を設けることを特徴とする。
また、本発明に係る画像生成装置は、上記検出手段により、撮影条件として撮影時の露出情報を検出し、上記変換手段は、各画像に対応する露出情報に基づいて各画像の重複部分の濃度レベルを補正することを特徴とする。
また、本発明に係る画像生成装置は、上記画像合成手段に、各画像に対応する撮影条件に基づいて各画像を球面上に投影変換して球面投影画像を生成する球面投影変換手段を設け、上記球面投影変換手段で得られた複数の球面投影画像を合成することを特徴とする。
また、本発明に係る画像生成装置は、上記球面投影変換手段により、撮影時の焦点距離に基づいた半径を有する球面に投影変換することを特徴とする。
また、本発明に係る画像生成装置は、上記画像合成手段に、上記球面投影変換手段で得られた複数の球面投影画像を合成した合成画像を平面上に投影変換して平面投影合成画像を生成する平面投影変換手段を設けることを特徴とする。
また、本発明に係る画像生成装置は、上記画像合成手段に、処理対象となる画像が上記球面投影画像であるか上記平面投影合成画像であるかを示す投影面タイプ情報を上記画像に付加する付加手段を設けることを特徴とする。
また、本発明に係る画像生成装置は、上記画像合成手段に、上記球面投影変換手段で得られた複数の球面投影画像を合成した合成画像の視野に応じて、上記合成画像と上記平面投影合成画像を選択的に切り換えて出力する出力手段を設けることを特徴とする。
また、本発明に係る画像生成装置は、上記撮影手段に、複数の撮像手段を設け、上記検出手段により検出された撮影条件に基づいて上記複数の撮像手段の各光軸の向きを制御する光軸制御手段とを備えることを特徴とする。
【００１０】
【作用】
本発明によれば、撮影手段で被写体像を撮影する際の撮影条件を検出手段により検出する。記憶手段は、上記撮影手段により得られた一連の複数の画像を記憶すると共に、上記検出手段により得られた撮影条件を各画像に対応させて記憶する。そして、制御手段は、各画像に対応する撮影条件に基づいて、複数の合成手段を適応的に切り換える。これにより、合成する一連の複数の画像に対して、適切な合成手段が選択され、適切な合成処理が行われる。
また、本発明によれば、対応点検出手段は、合成する一連の複数の画像の重複部分における対応点を検出する。パラメータ生成手段は、座標変換手段で合成処理を行う際に用いる撮影パラメータを、上記対応点検出手段で検出された対応点に基づいて生成する。そして、上記座標変換手段は、上記パラメータ生成手段で得られた撮影パラメータを用いて合成処理を行う。
また、本発明によれば、上記検出手段は、撮影条件として撮影時の焦点位置情報を検出する。したがって、上記記憶手段には、各画像に対応して焦点位置情報が記憶される。上記制御手段は、合成する一連の複数の画像に対応した焦点位置情報により、それらの画像が近距離撮影により得られたものであるか、又は遠距離撮影により得られたものであるかを判定する。そして、制御手段は、その判定結果により、近距離撮影であった場合には近距離合成手段を選択し、遠距離撮影であった場合には遠距離合成手段を選択する。これにより、近距離撮影で得られた一連の複数の画像は、上記近距離合成手段で適切な合成処理により合成され、遠距離撮影で得られた一連の複数の画像は、上記遠距離合成手段で適切な合成処理により合成される。
また、本発明によれば、変換手段は、合成する一連の複数の画像に対応する撮影条件に基づいて、各画像の重複部分の画素値を変換する。これにより、隣り合う各画像の連結部付近の画像が変換される。
また、本発明によれば、上記検出手段は、撮影条件として撮影時の露出情報を検出する。したがって、上記記憶手段には、各画像に対応して焦点位置情報が記憶される。上記変換手段は、合成する一連の複数の画像に対応する露出情報に基づいて、各画像の重複部分の濃度レベルを補正する。
また、本発明によれば、上記画像合成手段は、合成する一連の複数の画像に対応する撮影条件に基づいて、球面投影変換手段により得られた複数の球面投影画像を合成する。
また、本発明によれば、上記球面投影変換手段は、撮影時の焦点距離に基づいた半径を有する球面に投影変換して、合成する複数の球面投影画像を生成する。
また、本発明によれば、上記画像合成手段は、上記球面投影変換手段で得られた複数の球面投影画像を合成し、平面投影変換手段により、その合成画像を再度平面上に投影変換して平面投影合成画像を生成する。
また、本発明によれば、付加手段は、上記球面投影変換手段で得られた画像には、球面投影画像であることを示す投影面タイプ情報を付加し、上記平面投影変換手段で得られた画像には、平面投影合成画像であることを示す投影面タイプ情報を付加する。
また、本発明によれば、上記画像合成手段は、上記球面投影変換手段で得られた複数の球面投影画像を合成し、その合成画像の視野に応じて、出力手段により上記合成画像と上記平面投影合成画像を選択的に切り換えて出力する。
また、本発明によれば、光軸制御手段は、上記検出手段により検出された撮影条件に基づいて複数の撮像手段の各光軸の向きを制御する。したがって、上記複数の撮像手段により、画像の一部が重複するように分割して撮影される。
【００１１】
【発明の実施の形態】
まず、本発明の第１の実施の形態について図面を用いて説明する。
【００１２】
本発明に係る画像生成装置は、例えば、図１に示すような電子カメラシステム１００に適用される。
この電子カメラシステム１００は、例えば、撮影した被写体のＲＧＢ成分の輝度情報としての各画素データが二次元配列のディジタル画素データとして得られる電子スチルカメラからなる。
また、電子カメラシステム１００において、画像合成処理部１７２は、計算機からなり、この画像合成処理部１７２は、予め設定されたプログラムに従って動作するようになされている。
さらに、画像合成処理部１７２は、外部記憶装置である画像メモリ１３０を有しており、画像メモリ１３０は、上記ディジタル画素データを記憶するようになされている。
【００１３】
すなわち、電子カメラ１００は、上記図１に示すように、撮像部１１０と、撮像部１１０の出力が供給される映像信号処理部１０７と、映像信号処理部１０７の出力が各々供給される画像メモリ１３０、合焦検出部１４２及び露出検出部１４３と、映像信号処理部１０７と接続されたホワイトバランス検出部１４１及び信号処理ユニット１９０と、信号処理ユニット１９０の出力が供給されるコントローラ１２０と、コントローラ１２０の出力が各々供給されるズーム制御部１２１、フォーカス制御部１２２、絞り制御部１２３、シャッタ制御部１２４及びフラッシュ制御部１２５と、信号処理ユニット１９０に接続された撮影モード設定部１６０及び入出力インターフェース（Ｉ／Ｆ）部１７０と、Ｉ／Ｆ部１７０の出力が供給される画像合成処理部１７２と、画像合成処理部１７２の出力が供給される表示部１７３とを備えており、信号処理ユニット１９０の出力は撮像部１１０及び画像メモリ１３０にも供給され、合焦検出部１４２及び露出検出部１４３の各出力は信号処理ユニット１９０に供給され、画像メモリ１３０の出力はＩ／Ｆ部１７０に供給されるようになされている。
また、電子カメラシステム１００は、フラッシュ制御部１２５により制御されるフラッシュ１０９と、レリーズボタン検出部１５０とを備えており、レリーズボタン検出部１５０の出力は信号処理ユニット１９０に供給されるようになされている。
そして、撮像部１１０は、被写体側から順次設けられた撮像レンズ１０１、絞り１０２、シャッタ１０８及び撮像素子１０３と、撮像素子１０３の出力が供給される増幅器１０４と、増幅器１０４の出力が供給される自動利得制御（ＡＧＣ）回路１０５と、ＡＧＣ回路１０５の出力が供給されるアナログ／ディジタル（Ａ／Ｄ）変換器１０６とを備えており、ＡＧＣ回路１０５に信号処理ユニット１９０の出力が供給され、Ａ／Ｄ変換器１０６の出力は映像信号処理部１０７に供給されるようになされている。
【００１４】
上述のような電子カメラシステム（以下、単に電子カメラと言う）１００は、撮影モード設定部１６０を操作することにより、通常撮影モード及びパノラマ撮影モードを設定することができるようになされている。
【００１５】
そこで、まず、電子カメラ１００がパノラマ撮影モードに設定され、近距離の対象物、又は遠距離の対象物をパノラマ撮影する場合についての概略を説明する。
【００１６】
例えば、電子カメラ１００で図２に示すような近距離の原稿１０を撮影する場合、図３に示すように、先ず、電子カメラ１００を位置Ｐ１１に設置して原稿１０の領域Ｒ１１を撮影し、次に、電子カメラ１００を位置Ｐ１２に設置して原稿１０の領域Ｒ１２を撮影する。このとき、領域Ｒ１１と領域Ｒ１２を互いに一部が重複するように撮影する。
したがって、位置Ｐ１１での撮影では、図４に示すような画像Ｉ１１が得られ、位置Ｐ１２での撮影では、同図に示すような画像Ｉ１２が得られる。
ここで、電子カメラ１００では、近距離の対象物をパノラマ撮影する（以下、近距離パノラマ撮影と言う）場合、電子カメラ１００を移動する際のパラメータとして、上記図３に示すように、上下左右の並進Δｘ及びΔｙと、光軸回りの回転角θと、光軸に沿った並進による倍率の変化ｆとを用い、画像Ｉ１１と画像Ｉ１２を合成する際、上記パラメータに基づいて座標変換処理を行うことにより、図５に示すような合成画像Ｉ１３を得ることができるようになされている。
【００１７】
一方、電子カメラ１００で図６に示すような遠距離の風景２０をパノラマ撮影する場合、近距離パノラマ撮影時とは異なり、電子カメラ１００を上下左右に並進させても撮影領域は殆どかわらない。
このため、上記図６に示すように、先ず、電子カメラ１００を位置Ｐ２１に設置した状態において、座標系ＸＹＺ、各座標軸まわりの回転角を「Ψ」、「Φ」及び「θ」とし、Ｙ軸まわりの回転（パン）あるいはＸ軸まわりの回転（チルト）の動作を行うことにより、風景２０の領域Ｒ２１を撮影する。また、位置Ｐ２２及びＰ２３においても、位置Ｐ２１の場合と同様にして、パンあるいはチルト動作を行うことにより、風景２０の領域Ｒ２２及びＲ２３を撮影する。このとき、領域Ｒ２１と領域Ｒ２２を互いに一部が重複するように、また、領域Ｒ２２と領域Ｒ２３を互いに一部が重複するように撮影する。
したがって、位置Ｐ２１での撮影では、図７に示すような画像Ｉ２１が得られ、位置Ｐ２２での撮影では、同図に示すような画像Ｉ２２が得られ、位置Ｐ２３での撮影では、同図に示すような画像Ｉ２３が得られる。
ところで、遠距離の対象物をパノラマ撮影する（以下、遠距離パノラマ撮影と言う）場合、電子カメラ１００をパンしながら撮影するため、上記図７に示すように、風景２０の中央の領域Ｒ２２に対応した画像Ｉ２２を基準とした場合、風景２０の両端の領域Ｒ２１、Ｒ２３に対応した画像Ｉ２１及びＩ２３の被写体像に点線Ｌ２１及びＬ２３で示す台形状の歪みが発生する。
このような台形状の歪みは、近距離パノラマ撮影時の画像合成処理では一般には考慮されていないため、近距離パノラマ撮影時の画像合成処理と同様にして３つの画像Ｉ２１〜Ｉ２３を合成すると、画質劣化が生じた合成画像が得られることとなる。
そこで、この電子カメラ１００では、遠距離パノラマ撮影時には、電子カメラ１００を移動する際のパラメータとして、各座標軸まわりの回転角Ψ、Φ及びθを用い、３つの画像Ｉ２１〜Ｉ２３を合成する際、上記パラメータに基づいて座標変換処理を行うことにより、図８に示すような台形状の歪みのない合成画像Ｉ２４を得ることができるようになされている。
【００１８】
すなわち、電子カメラ１００は、パノラマ撮影モード設定時において、撮影状態が近距離パノラマ撮影又は遠距離パノラマ撮影であるかを判別し、その判別結果に応じた画像合成処理を行うようになされている。
【００１９】
以下、上記図１を用いて、電子カメラ１００について具体的に説明する。
【００２０】
先ず、被写体像は、撮像レンズ１０１により、絞り１０２を介して撮像素子１０３の受光面に投影される。
このとき、撮像レンズ１０１のズーム位置及びフォーカス位置は、ズーム制御部１２１及びフォーカス制御部１２２により制御され、絞り１０２の絞り量は、絞り制御部１２３により制御される。
【００２１】
撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等からなり、受光した被写体像を電気信号に変換して増幅器１０４に供給する。
増幅器１０４は、撮像素子１０３からの電気信号（以下、映像信号と言う）を増幅してＡＧＣ回路１０５に供給する。
ＡＧＣ回路１０５は、信号処理ユニット１９０からの制御信号に基づいて、増幅器１０４からの映像信号を増幅又は減衰してＡ／Ｄ変換器１０６に供給する。Ａ／Ｄ変換器１０６は、ＡＧＣ回路１０５からの映像信号をディジタル化して画像データとして映像信号処理部１０７に供給する。
このとき、信号処理ユニット１９０は、映像信号処理部１０７に供給された画像データの信号レベルを検出し、検出した信号レベルが所定のレベルより低い場合には、ＡＧＣ回路１０５で映像信号に与える利得が上がるような制御信号を生成してＡＧＣ回路１０５に供給し、検出した信号レベルが所定のレベルより高い場合には、ＡＧＣ回路１０５で映像信号に与える利得が下がるような制御信号を生成してＡＧＣ回路１０５に供給する。
これにより、ＡＧＣ回路１０５から出力される映像信号は、映像信号処理部１０７で行われる信号処理に適した所定のレベル幅の信号となる。
【００２２】
映像信号処理部１０７は、Ａ／Ｄ変換器１０６からの画像データに所定の信号処理を施して画像メモリ１３０に記憶すると共に、ホワイトバランス検出部１４１、合焦検出部１４２及び露出検出部１４３に各々供給する。
ホワイトバランス検出部１４１は、映像信号処理部１０７からの画像データのホワイトバランスの状態を検出し、その検出結果を映像信号処理部１０７に供給する。
合焦検出部１４２は、映像信号処理部１０７からの画像データから撮像レンズ１０１の焦点を検出し、その検出結果を信号処理ユニット１９０に供給する。
露出検出部１４３は、映像信号処理部１０７からの画像データから撮像素子１０３における露光量を検出し、その検出結果を信号処理ユニット１９０に供給する。
【００２３】
映像信号処理部１０７は、ホワイトバランス検出部１４１からの検出結果に基づいて、Ａ／Ｄ変換器１０６からの画像データに対してカラーバランスの調整を行う。したがって、画像メモリ１３０には、カラーバランスの調整が行われた画像データが記憶されることとなる。
信号処理ユニット１９０は、合焦検出部１４２及び露出検出部１４３からの各検出結果に基づいて、撮影条件設定のための制御信号を生成してコントローラ１２０に供給する。また、信号処理ユニット１９０は、後述する撮影条件に関する情報を画像メモリ１３０に記憶する。
コントローラ１２０は、信号処理ユニット１９０からの制御信号に基づいて、ズーム制御部１２１、フォーカス制御部１２２、絞り制御部１２３、シャッタ制御部１２４及びフラッシュ制御部１２５に各々制御信号を供給する。
【００２４】
したがって、ズーム制御部１２１、フォーカス制御部１２２及び絞り制御部１２３は、各々、コントローラ１２０からの制御信号に基づいて、撮像レンズ１０１のズーム位置、撮像レンズ１０１のフォーカス位置、及び絞り１０２の絞り量が適切な状態となるように制御することとなる。
【００２５】
上述のようにして、電子カメラ１００における撮影条件が適切に設定される。
【００２６】
次に、撮影者は、撮影モード設定部１６０を操作することにより、撮影モードを通常撮影モード又はパノラマ撮影モードに設定して撮影を開始する。
また、撮影者は、レリーズボタン検出部１５０の図示していない第１及び第２ストロークを操作することにより、撮影条件のロック又は撮影の実行を指示する。
【００２７】
撮影モード設定部１６０は、撮影者の操作により、どの撮影モードが設定されたかを検出し、その検出結果を信号処理ユニット１９０に供給する。
レリーズボタン検出部１５０は、撮影者の上記第１及び第２ストロークの操作により、各ストロークが押し下げられたかを検出し、各ストロークに対応した２つの第１及び第２検出信号を信号処理ユニット１９０に供給する。
【００２８】
信号処理ユニット１９０は、撮影モード設定部１６０からの検出結果により、設定された撮影モード応じた制御信号を生成してコントローラ１２０に供給する。
また、信号処理ユニット１９０は、レリーズボタン検出部１５０からの第１検出信号により、第１ストロークが押し下げられたと判断した場合には、撮影条件がロックされるような制御信号を生成し、レリーズボタン検出部１５０からの第２検出信号により、第２ストロークが押し下げられたと判断した場合には、シャッタ動作が行われるような制御信号を生成してコントローラ１２０に供給する。コントローラ１２０は、信号処理ユニット１９０からの制御信号に基づいて、ズーム制御部１２１、フォーカス制御部１２２、絞り制御部１２３、シャッタ制御部１２４及びフラッシュ制御部１２５に各々制御信号を供給すると共に、シャッタ制御部１２４及びフラッシュ制御部１２５にも供給する。
【００２９】
したがって、撮像レンズ１０１のズーム位置、撮像レンズ１０１のフォーカス位置、及び絞り１０２の絞り量は、撮影者の操作に応じた状態となる。また、シャッタ制御部１２４がコントローラ１２０からの制御信号に基づいてシャッタ１０８を制御することにより、シャッタ１０８が撮影者の操作に応じたシャッタ速度に制御され、フラッシュ制御部１２５がコントローラ１２０からの制御信号に基づいてフラッシュ１０９を制御することにより、撮影者の操作に応じてフラッシュ１０９のＯＮ／ＯＦＦ動作が制御される。
【００３０】
上述のようにして撮影が開始されると、映像信号処理部１０７から出力される画像データは、信号処理ユニット１９０により予め記憶されている撮影条件と共に、画像メモリ１３０に記憶される。
【００３１】
すなわち、画像メモリ１３０には、図９に示すように、ヘッダ部Ｈとデータ部Ｄからなる画像データが記憶される。
ヘッダ部Ｈには、画像データの番号Ｎｏと、撮影モードに応じた識別情報Ｐｘが書き込まれ、撮影条件に関する情報ｆｃ，ｆｌ，ｓ，ｖが信号処理ユニット１９０により予め書き込まれる。
ここで、ヘッダ部Ｈに書き込む撮影条件に関する情報ｆｃ，ｆｌ，ｓ，ｖは、例えば、フォーカス情報ｆｃ、焦点距離ｆｌ、絞りｓ、シャッタ速度ｖとする。一方、データ部Ｄには、例えば、パノラマ撮影モード設定時に得られた上記図７に示したような一連の画像Ｉ２１、Ｉ２２、Ｉ２３の各データが、画像データ番号Ｎｏ２、３、４に対応して書き込まれる。
この場合、ヘッダ部Ｈに書き込まれる識別情報Ｐｘは、画像Ｉ２１、Ｉ２２、Ｉ２３が一連のパノラマ画像であることを示す識別情報Ｐ１として書き込まれる。
【００３２】
したがって、画像メモリ１３０に記憶された複数の画像データにおいて、識別情報Ｐｘが同一である画像が一組のパノラマ画像となる。
これにより、この電子カメラ１００では、画像メモリ１３０に記憶された複数の画像データを合成してパノラマ画像を生成する場合、各画像データに付加されている識別情報Ｐｘを判別することにより、自動的に画像合成処理を行うことができるようになされている。このような画像合成処理は、画像合成処理部１７２で行うようになされており、例えば、使用者が図示していない画像出力操作部を操作することにより行われる。
【００３３】
すなわち、使用者により上記画像出力操作部が操作されると、上記画像出力操作部は、その操作に応じた信号を信号処理ユニット１９０に供給する。
信号処理ユニット１９０は、上記画像出力操作部からの信号に基づいて、例えば、パノラマ画像の出力動作を示す制御信号を画像メモリ１３０及びＩ／Ｆ回路１７０に各々供給する。
これにより、画像メモリ１３０に記憶されている複数の画像データは、Ｉ／Ｆ回路１７０を介して画像合成処理部１７２に供給される。
【００３４】
画像合成処理部１７２は、例えば、図１０に示すように、上記図１のＩ／Ｆ回路１７０からの画像データが入出力（Ｉ／Ｏ）回路１７２ａを介して供給される画像情報分離部１７２ｆと、画像情報分離部１７２ｆの出力が供給されるコントローラ１７２ｅ及び画像メモリ１７２ｇと、画像メモリ１７２ｇの出力が供給される対応点検出部１７２ｂ、近距離撮影座標変換処理部１７２ｉ及び遠距離撮影座標変換処理部１７２ｊと、近距離撮影座標変換処理部１７２ｉ及び遠距離撮影座標変換処理部１７２ｊの各出力が供給される合成画像メモリ１７２ｈと、対応点検出部１７２ｂの出力が供給されるセレクタ１７２ｋと、セレクタ１７２ｋの出力が供給される近距離撮影パラメータ抽出部１７２ｃ及び遠距離撮影パラメータ抽出部１７２ｄとを備えており、近距離撮影座標変換処理部１７２ｉには近距離撮影パラメータ抽出部１７２ｃの出力も供給され、遠距離撮影座標変換処理部１７２ｊには遠距離撮影パラメータ抽出部１７２ｄの出力も供給されるようになされている。
また、コントローラ１７２ｅは、画像メモリ１７２ｇと対応点検出部１７２ｂに接続されている。
そして、合成画像メモリ１７２ｈの出力は、Ｉ／Ｏ回路１７２ａを介して上記図１の表示部１７３等に供給されるようになされている。
【００３５】
この画像合成処理部１７２において、先ず、画像情報分離部１７２ｆは、Ｉ／Ｏ回路１７２ａからの画像データ、すなわち上記図９に示したような画像データをヘッダ部とデータ部に分離し、データ部の情報（以下、画像情報と言う）を画像メモリ１７２ｇに記憶すると共に、ヘッダ部の情報（以下、ヘッダ情報と言う）をコントローラ１７２ｅに供給する。
コントローラ１７２ｅは、画像情報分離部１７２ｆからのヘッダ情報に基づいて画像合成処理部１７２の各部を制御する。
【００３６】
例えば、コントローラ１７２ｅは、画像情報分離部１７２ｆからのヘッダ情報を基に、パノラマ撮影で得られた一連の複数の画像情報を画像メモリ１７２ｇから読み出して対応点検出部１７２ｂに供給する。
対応点検出部１７２ｂは、コントローラ１７２ｅからの複数の画像情報において、各画像の重複部分の対応点を検出する。この対応点の検出は、相関法やテンプレートマッチング法等が用いられる。そして、対応点検出部１７２ｂは、検出した対応点をセレクタ１７２ｋに供給する。
【００３７】
ここで、上述したように、近距離パノラマ撮影及び遠距離パノラマ撮影に応じた最適な画像合成処理を行うために、コントローラ１７２ｅは、処理対象となる一連の複数の画像が近距離パノラマ撮影で得られたものであるか、又は遠距離パノラマ撮影で得られたものであるかを、画像情報分離部１７２ｆからのヘッダ情報により判別する。
【００３８】
すなわち、コントローラ１７２ｅは、例えば、画像情報分離部１７２ｆからのヘッダ情報に含まれるフォーカス情報ｆｃを用いて、フォーカス情報ｆｃと所定のしきい値の大小関係を検出し、フォーカス情報ｆｃが所定のしきい値以上であった場合には遠距離パノラマ撮影、フォーカス情報ｆｃが所定のしきい値より小さい場合には近距離パノラマ撮影であると判別する。そして、コントローラ１７２ｅは、その判別結果をセレクタ１７２ｋに供給する。
また、コントローラ１７２ｅは、上記判別結果に基づいて、上述のようにして画像メモリ１７２ｇから読み出した一連の複数の画像情報を近距離撮影座標変換処理部１７２ｉ又は遠距離撮影座標変換処理部１７２ｊに供給する。
セレクタ１７２ｋは、コントローラ１７２ｅからの判別結果に応じて、対応点検出部１７２ｂからの対応点を近距離撮影パラメータ抽出部１７２ｃ又は遠距離撮影パラメータ抽出部１７２ｄに供給する。
【００３９】
したがって、コントローラ１７２ｅの判別結果により、処理対象となる一連の複数の画像が近距離パノラマ撮影で得られたものであった場合、近距離撮影パラメータ抽出部１７２ｃに対応点検出部１７２ｂで得られた対応点が供給され、近距離撮影座標変換処理部１７２ｉに合成する一連の複数の画像情報が供給される。
この場合、近距離撮影パラメータ抽出部１７２ｃは、対応点検出部１７２ｂからの対応点から、上記図３に示したような上下左右の並進Δｘ及びΔｙと、光軸回りの回転角θと、光軸に沿った並進による倍率の変化ｆとをパラメータとして抽出し、そのパラメータを近距離撮影座標変換処理部１７２ｉに供給する。
近距離撮影座標変換処理部１７２ｉは、近距離撮影パラメータ抽出部１７２ｃからのパラメータに基づいて、コントローラ１７２ｅにより供給された一連の複数の画像情報に座標変換処理を施して合成画像を生成し、その合成画像を合成画像用メモリ１７２ｈに書き込む。
【００４０】
一方、コントローラ１７２ｅの判別結果により、処理対象となる一連の複数の画像が遠距離パノラマ撮影で得られたものであった場合、遠距離撮影パラメータ抽出部１７２ｄに対応点検出部１７２ｂで得られた対応点が供給され、遠距離撮影座標変換処理部１７２ｊに合成する一連の複数の画像情報が供給される。
この場合、遠距離撮影パラメータ抽出部１７２ｄは、対応点検出部１７２ｂからの対応点から、上記図６に示したような各座標軸まわりの回転角Ψ、Φ及びθをパラメータとして抽出し、そのパラメータを遠距離撮影座標変換処理部１７２ｊに供給する。
遠距離撮影座標変換処理部１７２ｊは、遠距離撮影パラメータ抽出部１７２ｄからのパラメータに基づいて、コントローラ１７２ｅにより供給された一連の複数の画像情報に座標変換処理を施して合成画像を生成し、その合成画像を合成画像用メモリ１７２ｈに書き込む。
【００４１】
したがって、合成画像用メモリ１７２ｈには、撮影状況に応じた適切な画像合成処理により得られた合成画像が書き込まれ、この合成画像は、Ｉ／Ｏ部１７２ａを介して上記図１の表示部１７３に供給され、表示部１７３により画面表示される。
【００４２】
上述のように、電子カメラ１００では、撮影して得られた画像データを画像メモリ１３０に記憶する際、撮影モードに応じた識別情報Ｐｘを各画像データに対応させて記憶すると共に、撮影時の撮影条件に関する情報として、フォーカス情報ｆｃ、焦点距離ｆｌ、絞りｓ、シャッタ速度ｖ等も各画像データに対応させて記憶するようになされているため、処理対象となる画像データがどの撮影モードで撮影されたものであるか、また、パノラマ撮影モードに関しては、撮影状況が近距離パノラマ撮影であるか遠距離パノラマ撮影であるかを容易に判別することができる。また、識別情報Ｐｘが同一であるか否かを判別することにより、画像メモリ１３０に記憶された複数の画像データから一連のパノラマ画像を容易に判別することができるため、画像合成処理を自動的に行うことができる。
また、電子カメラ１００では、画像合成処理を行う際に、撮影状況に応じて適切な画像合成処理を自動的に選択するようになされているため、近距離パノラマ撮影で得られた複数の画像データに対して最適な画像合成処理を行うことができ、遠距離パノラマ撮影で得られた複数の画像データに対して最適な画像合成処理を行うことができる。
また、電子カメラ１００では、合成する複数の画像において、各画像の重複部分の対応点から撮影パラメータを抽出し、抽出した撮影パラメータを用いて画像処理を行うようになされているため、使用者は、画像を合成するための特別な操作を行う必要はない。
したがって、電子カメラ１００は、画像合成する複数の画像が近距離パノラマ撮影された画像であっても遠距離パノラマ撮影された画像であっても、画質が劣化することなく、簡便にしかも常に高画質のパノラマ画像を得ることができる。
【００４３】
尚、上記図１０の画像合成処理部１７２では、合成する画像用の画像メモリ１７２ｇと、合成画像用の合成画像用メモリ１７２ｈとを各々設けることとしたが、１つの画像メモリを合成する画像用と合成画像用で共用するようにしてもよい。
また、Ｉ／Ｏ部１７２ａから出力される合成画像は、ハードディスク等の記録部に保存されるようにしてもよい。
【００４４】
つぎに、本発明の第２の実施の形態について図面を用いて説明する。
【００４５】
本発明に係る画像生成装置は、例えば、図１１に示すような画像合成処理部１８２を備える電子カメラシステムに適用される。
この電子カメラシステム（以下、単に電子カメラと言う）は、上述した電子カメラ１００に設けられた上記図１０の画像合成処理部１７２の代わりに上記図１１の画像合成処理部１８２を設けたものである。
【００４６】
尚、この電子カメラにおいて、画像合成処理部１８２の構成及び動作以外は、上述した電子カメラ１００と同様であるため、画像合成処理部１８２以外の各部についての詳細な説明は省略する。
また、上記図１１の画像合成処理部１８２において、上記図１０の画像合成処理部１７２と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００４７】
すなわち、画像合成処理部１８２は、上記図１１に示すように、球面写像変換処理部１８２ａを備えており、球面写像変換処理部１８２ａには、セレクタ１７２ｋの出力が供給されるようになされている。
また、対応点検出部１７２ｂは、セレクタ１７２ｋの後段に設けられており、コントローラ１７２ｅ及び画像メモリ１７２ｇの各出力がセレクタ１７２ｋに供給され、セレクタ１７２ｋの出力が対応点検出部１７２ｂに直接供給されると共に球面写像変換処理部１８２ａを介して対応点検出部１７２ｂに供給されるようになされている。
さらに、画像合成処理部１８２では、撮影パラメータ抽出部及び座標変換処理部としては、近距離撮影パラメータ抽出部１７２ｃ及び近距離撮影座標変換処理部１７２ｉのみが設けられており、対応点検出部１７２ｂの出力が近距離撮影パラメータ抽出部１７２ｃに供給され、近距離撮影パラメータ抽出部１７２ｃの出力が近距離撮影座標変換処理部１７２ｉに供給されるようになされている。
したがって、画像メモリ１７２ｇの出力は、近距離撮影座標変換処理部１７２ｉに供給され、近距離撮影座標変換処理部１７２ｉの出力が合成画像用メモリ１７２ｈに供給されるようになされている。
【００４８】
以下、画像合成処理部１８２の動作について説明する。
【００４９】
先ず、上記図１０の画像合成処理部１７２と同様にして、画像情報分離部１７２ｆは、Ｉ／Ｏ回路１７２ａからの画像データをヘッダ部とデータ部に分離し、画像情報を画像メモリ１７２ｇに記憶すると共に、ヘッダ情報をコントローラ１７２ｅに供給する。
コントローラ１７２ｅは、画像情報分離部１７２ｆからのヘッダ情報に含まれるフォーカス情報ｆｃを用いて、処理対象となる一連の複数の画像が近距離パノラマ撮影で得られたものであるか、又は遠距離パノラマ撮影で得られたものであるかを判別し、その判別結果をセレクタ１７２ｋに供給する。
また、コントローラ１７２ｅは、画像情報分離部１７２ｆからのヘッダ情報に含まれる焦点距離ｆ１もセレクタ１７２ｋに供給する。
【００５０】
セレクタ１７２ｋは、コントローラ１７２ｅからの判別結果により、処理対象となる一連の複数の画像が近距離パノラマ撮影で得られたものであった場合には、その一連の複数の画像情報を画像メモリ１７２ｇから読み出して直接対応点検出部１７２ｂに供給する。
一方、処理対象となる一連の複数の画像が遠距離パノラマ撮影で得られたものであった場合、セレクタ１７２ｋは、その一連の複数の画像情報を画像メモリ１７２ｇから読み出して球面写像変換処理部１８２ａに供給すると共に、コントローラ１７２ｅからの焦点距離ｆ１を球面写像変換処理部１８２ａに供給する。
【００５１】
したがって、球面写像変換処理部１８２ａには、遠距離パノラマ撮影により得られた複数の画像を合成する場合に、その複数の画像情報及び焦点距離ｆ１が供給されることとなる。
【００５２】
球面写像変換処理部１８２ａは、セレクタ１７２ｋからの複数の画像情報に対して、球面写像変換処理を施す。
【００５３】
この球面写像変換処理とは、図１２に示すように、任意の画像Ｉ３１に接する球面３０を仮定し、上記図１の撮影レンズ１０１の主点Ｏについて画像Ｉ３１を球面３０に投影することにより、球面画像Ｉ３２を生成する処理のことである。
【００５４】
そこで、球面写像変換処理部１８２ａに供給される複数の画像情報を、例えば、任意の位置で遠距離パノラマ撮影して得られた画像Ｉ３１と、任意の角度パンニングして得られた画像Ｉ３３とした場合、球面写像変換処理部１８２ａは、図１３に示すように、セレクタ１７２ｋからの焦点距離ｆ１を用いて、焦点距離ｆ１として画像Ｉ３１を球面３０に投影することにより球面画像Ｉ３２を生成し、また、焦点距離ｆ１として画像Ｉ３３を球面３０に投影することにより球面画像Ｉ３４を生成する。
【００５５】
したがって、焦点距離ｆ１が同一で、かつ光軸まわりの回転がない場合、球面写像変換処理部１８２ａで得られた球面画像Ｉ３２と球面画像Ｉ３４は、球面３０上で連続しているため、上記図３に示したような上下左右の並進Δｘ及びΔｙのみを座標変換処理で用いるパラメータとすることにより、球面画像Ｉ３２と球面画像Ｉ３４を合成することができる。
しかし、実際には、焦点距離ｆ１及び光軸まわりの回転θの誤差等があるため、ここでは、座標変換処理を行う際に、上下左右の並進Δｘ及びΔｙと、焦点距離ｆ１と、光軸まわりの回転θとを上記パラメータとして用いる。
すなわち、この電子カメラでは、遠距離パノラマ撮影により得られた複数の画像を合成する場合にも、上述した近距離パノラマ撮影により得られた複数の画像を座標変換する際に用いたパラメータと同一のパラメータを用いて座標変換処理を行うことにより、合成画像を得るようになされている。
【００５６】
したがって、対応点検出部１７２ｂには、撮影状況に応じて、セレクタ１７２ｋからの複数の画像情報、又は球面写像変換処理部１８２ａからの複数の球面画像の情報が供給される。
対応点検出部１７２ｂは、供給された複数の画像情報において、各画像の重複部分の対応点を検出し、検出した対応点、及びセレクタ１７２ｋ又は球面写像変換処理部１８２ａからの複数の画像情報を近距離撮影パラメータ抽出部１７２ｃに供給する。
近距離撮影パラメータ抽出部１７２ｃは、対応点検出部１７２ｂからの対応点から、上記図３に示したような上下左右の並進Δｘ及びΔｙと、光軸回りの回転角θと、光軸に沿った並進による倍率の変化ｆとをパラメータとして抽出し、抽出したパラメータ及び対応点検出部１７２ｂからの複数の画像情報を近距離撮影座標変換処理部１７２ｉに供給する。
近距離撮影座標変換処理部１７２ｉは、近距離撮影パラメータ抽出部１７２ｃからのパラメータに基づいて、近距離撮影パラメータ抽出部１７２ｃからの複数の画像情報に座標変換処理を施して合成画像を生成し、その合成画像を合成画像用メモリ１７２ｈに書き込む。
【００５７】
上述のように、この電子カメラでは、処理対象となる一連の複数の画像が遠距離パノラマ撮影で得られたものであった場合、球面写像変換処理部１８２ａで球面写像変換処理を行うようになされているため、上記図７に示したような台形状の歪みの成分が除去された画像を得ることができる。このため、遠距離パノラマ撮影で得られた一連の複数の画像を合成する場合も、近距離パノラマ撮影で得られた複数の画像を合成する場合の撮影パラメータ抽出処理及び座標変換処理と同一の処理で高画質の合成画像を得ることができる。
したがって、上記電子カメラは、撮影状況に係わらず常に高画質のパノラマ画像を得ることができる。
また、上記電子カメラは、遠距離パノラマ撮影用及び近距離パノラマ撮影用として各々撮影パラメータ抽出処理部及び座標変換処理部を設ける必要がないため、装置の構成を簡略化することができる。これは、装置のコストダウンにもつながる。
【００５８】
つぎに、本発明の第３の実施の形態について図面を用いて説明する。
【００５９】
本発明に係る画像生成装置は、例えば、図１４に示すような画像合成処理部１９２を備える電子カメラシステムに適用される。
この電子カメラシステム（以下、単に電子カメラと言う）は、上述した電子カメラ１００に設けられた上記図１０の画像合成処理部１７２の代わりに上記図１４の画像合成処理部１９２を設けたものである。
また、この電子カメラでは、上記図９に示した画像メモリ１３０において、ヘッダ部Ｈに書き込む撮影条件に関する情報は、フォーカス情報ｆｃ、焦点距離ｆｌ、絞りｓ、シャッタ速度ｖに、露出レベルｅと、上記図１のＡＧＣ回路１０５の利得レベル（ゲインレベル）ｇとを加えたものとする。
【００６０】
尚、この電子カメラにおいて、画像合成処理部１９２の構成及び動作以外は、上述した電子カメラ１００と同様であるため、画像合成処理部１９２以外の各部についての詳細な説明は省略する。
また、上記図１４の画像合成処理部１９２において、上記図１０の画像合成処理部１７２と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００６１】
すなわち、画像合成処理部１９２は、上記図１４に示すように、上記図１０の画像合成処理部１７２の構成要件に加えて、近距離撮影パラメータ抽出部１７２ｃ及び遠距離撮影パラメータ抽出部１７２ｄと近距離撮影座標変換処理部１７２ｉ及び遠距離撮影座標変換処理部１７２ｊの間に設けられた濃度レベル補正処理部１９２ａと、遠距離撮影座標変換処理部１７２ｊの後段に設けられたシームレス処理部１９２ｂとを備えている。
そして、濃度レベル補正処理部１９２ａは、コントローラ１７２ｅと接続されており、画像メモリ１７２ｇの出力が供給されるようになされている。
また、合成画像メモリ１７２ｈには、近距離撮影座標変換処理部１７２ｉ及びシームレス処理部１９２ｂの各出力が供給されるようになされている。
【００６２】
以下、画像合成処理部１９２の動作について説明する。
【００６３】
まず、画像合成処理部１９２で合成される複数の画像は、例えば、図１５に示すような画像Ｉ４０Ｌ及びＩ４０Ｒとする。
これらの画像Ｉ４０Ｌ及びＩ４０Ｒは、上記図６に示したようにして遠距離パノラマ撮影により得られたものである。
ここで、上記図６の３つの領域Ｒ２１〜Ｒ２３において、左側の領域Ｒ２１を撮影して得られた画像を、上記図１５に示すように画像Ｉ４０Ｌとし、中央の領域Ｒ２２を撮影して得られた画像を、上記図１５に示すように画像Ｉ４０Ｒとする。
また、画像Ｉ４０Ｌと、画像Ｉ４０Ｌに隣り合う画像Ｉ４０Ｒとの重複する領域を領域Ｒ４１とし、画像Ｉ４０Ｒと、画像Ｉ４０Ｒに隣り合う画像との重複する領域を領域Ｒ４２とする。
【００６４】
そこで、画像情報分離部１７２ｆは、Ｉ／Ｏ回路１７２ａからの画像データ、すなわち画像Ｉ４０Ｌ及びＩ４０Ｒのデータをヘッダ部とデータ部に分離し、データ部の情報（画像情報）を画像メモリ１７２ｇに記憶すると共に、ヘッダ部の情報（ヘッダ情報）をコントローラ１７２ｅに供給する。
【００６５】
コントローラ１７２ｅは、画像情報分離部１７２ｆからのヘッダ情報に含まれる画像Ｉ４０Ｌの露出レベルｅＬと画像Ｉ４０Ｒの露出レベルｅＲを読み出し、各露出レベルｅＬ、ｅＲのレベル差と所定値の比較処理を行う。そして、コントローラ１７２ｅは、その比較結果により、各露出レベルｅＬ、ｅＲのレベル差が所定値よりも大きい場合に、濃度レベル補正処理部１９２ａに動作命令を発行し、これと同時に画像情報分離部１７２ｆからのヘッダ情報も濃度レベル補正処理部１９２ａに供給する。
一方、各露出レベルｅＬ、ｅＲのレベル差が所定値以下の場合、コントローラ１７２ｅは、非動作命令を濃度レベル補正処理部１９２ａに発行する。
【００６６】
このとき、濃度レベル補正処理部１９２ａには、遠距離撮影パラメータ抽出部１７２ｄで得られたパラメータが供給されると共に、コントローラ１７２ｅにより画像メモリ１７２ｇから読み出された画像Ｉ４０Ｌ及びＩ４０Ｒの画像情報が供給される。
【００６７】
濃度レベル補正処理部１９２ａは、コントローラ１７２ｅから動作命令が与えられると、コントローラ１７２ｅにより供給された画像Ｉ４０Ｌ及びＩ４０Ｒの画像情報において、図１６に示すように、画像Ｉ４０Ｌ及びＩ４０Ｒの重複領域Ｒ４１における各平均濃度レベルの差Δｍを求める。
そして、濃度レベル補正処理部１９２ａは、上記動作命令と同時に供給されたコントローラ１７２ｅからのヘッダ情報に含まれる絞りｓ、シャッタ速度ｖ及びＡＧＣ回路１０５のゲインレベルｇ等に基づいて、重複領域Ｒ４１における各画像Ｉ４０Ｌ及びＩ４０Ｒの各濃度レベルが同一レベルとなるように、差Δｍを用いて、画像Ｉ４０Ｒの濃度レベルを補正する。
これにより、画像Ｉ４０Ｒから、画像Ｉ４０Ｌの重複領域Ｒ４１における平均濃度レベルに合わせられた画像Ｉ４０Ｒ’が生成される。
そして、濃度レベル補正処理部１９２ａは、画像Ｉ４０Ｌと、濃度レベルが補正された画像Ｉ４０Ｒ’と、遠距離撮影パラメータ抽出部１７２ｄからのパラメータとを遠距離撮影座標変換処理部１７２ｊに供給する。
【００６８】
遠距離撮影座標変換処理部１７２ｊは、濃度レベル補正処理部１９２ａからのパラメータに基づいて、濃度レベル補正処理部１９２ａからの画像Ｉ４０Ｌ及びＩ４０Ｒ’に座標変換処理を施して、画像Ｉ４０Ｌと画像Ｉ４０Ｒ’の合成画像を生成し、その合成画像をシームレス処理部１９２ｂに供給する。
【００６９】
シームレス処理部１９２ｂは、上記図１５に示すように、重複領域Ｒ４１における合成画像のＸＹ座標（ｉ，ｊ）に対応する画像Ｉ４０Ｌ及び画像Ｉ４０Ｒ’の画素値を各々「ＳＬ」及び「ＳＲ」とし、重複領域Ｒ４１の幅を「Ｗ」として、上記合成画像の画素値Ｓ（ｉ，ｊ）を、
Ｓ（ｉ，ｊ）＝ＳＬ（１．０−Ｘ／Ｗ）＋ＳＲＸ／Ｗ
なる重み付け加算の演算式により求める。
そして、シームレス処理部１９２ｂは、上記演算式により得られた画素値Ｓ（ｉ，ｊ）で重複領域Ｒ４１の各画素を置換し、その結果得られた合成画像を合成画像用メモリ１７２ｈに書き込む。
【００７０】
また、画像合成処理部１９２で合成される複数の画像が近距離パノラマ撮影により得られたものであっても、上述した遠距離パノラマ撮影の場合と同様にして、濃度レベル補正処理部１９２ａで濃度レベル補正処理が行われた後、近距離撮影パラメータ抽出部１７２ｃにより得られたパラメータに基づいて近距離撮影座標変換処理部１７２ｉで座標変換処理が行われることにより合成画像が生成され、合成画像用メモリ１７２ｈに書き込まれる。
【００７１】
そして、合成画像用メモリ１７２ｈに書き込まれた合成画像は、Ｉ／Ｏ部１７２ａを介して上記図１の表示部１７３に供給され、表示部１７３により、画面表示される。
【００７２】
上述のように、この電子カメラは、接合する各画像の重複領域の濃度レベルが略同一となるような構成としているため、その接合部分を目立たなくすることができる。したがって、この電子カメラは、さらに高画質のパノラマ画像を得ることができる。
【００７３】
尚、上述した電子カメラでは、濃度レベル補正処理部１９２ａで用いる撮影条件を、露出レベルｅと、上記図１のＡＧＣ回路１０５のゲインレベルｇとしたが、この限りではない。
また、上述した電子カメラでは、遠距離パノラマ撮影により得られた複数の画像を合成する場合のみ、シームレス処理を行うこととしたが、近距離パノラマ撮影により得られた複数の画像を合成する場合にもシームレス処理を行うようにしてもよい。
但し、合成する画像が近距離パノラマ撮影で得られた原稿等の文字画像であった場合、撮影パラメータの微小な誤差により文字エッジが一致しないため、合成した結果、二重像となる可能性がある。
そこで、この場合には、近距離撮影座標変換処理部１７２ｉの後段にシームレス処理部１９２ｂに相当するシームレス処理部を設けると共に、近距離パノラマ撮影と判断された場合に合成する画像が原稿画像であるか否かを判別する手段（原稿画像判別部）を設けるようにする。そして、上記原稿画像判別部の判別結果により原稿画像であると判別された場合のみ、上記シームレス処理部が非動作状態となるようにする。
【００７４】
つぎに、本発明の第４の実施の形態について図面を用いて説明する。
【００７５】
本発明に係る画像生成装置は、例えば、図１７に示すような電子カメラシステム２００に適用される。
この電子カメラシステム（以下、電子カメラと言う）２００は、上記図１７に示すように、上記図１の電子カメラ１００の構成要件に加えて、撮像部２１０を備えており、撮像部１１０と撮像部２１０の２つの撮像部からなる複眼撮像系により構成されるものである。
撮像部２１０は、撮像部１１０と同様の構成をしており、被写体側から順次設けられた撮像レンズ２０１、絞り２０２、シャッタ２０８及び撮像素子２０３と、撮像素子２０３の出力が供給される増幅器２０４と、増幅器２０４の出力が供給されるＡＧＣ回路２０５と、ＡＧＣ回路２０５の出力が供給されるＡ／Ｄ変換器２０６とを備えており、Ａ／Ｄ変換器２０６の出力は映像信号処理部２０７に供給されるようになされている。
そして、撮像部２１０において、ズーム、フォーカス、絞り及びシャッタの各制御は、撮像部１１０と同様に、ズーム制御部１２１、フォーカス制御部１２２、絞り制御部１２３及びシャッタ制御部１２４により行われるようになされている。
また、電子カメラ２００は、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒの向きを制御する輻輳角制御部２２０を備えており、輻輳角制御部２２０は、コントローラ１２０により制御されるようになされている。
さらに、電子カメラ２００では、コントローラ１２０及び信号処理ユニット１９０は、複眼撮像系に対応した処理を行うようになされている。
【００７６】
尚、上記図１７の電子カメラ２００において、上記図１の電子カメラ１００と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する
【００７７】
以下、電子カメラ２００の動作について説明する。
【００７８】
先ず、合焦検出部１４２により合焦が検出されると、信号処理ユニット１９０は、合焦検出部１４２の検出結果により、フォーカス制御のための制御信号をコントローラ１２０に供給すると共に、撮影されている被写体が近距離被写体であるか遠距離被写体であるかを判別する。
そして、信号処理ユニット１９０は、近距離被写体であると判別した場合、図１８（ａ）に示すように、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒが平行となるような制御信号をコントローラ１２０を介して輻輳角制御部２２０に供給する。
また、信号処理ユニット１９０は、遠距離被写体であると判別した場合、同図（ｂ）に示すように、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒが外向きとなるような制御信号をコントローラ１２０を介して輻輳角制御部２２０に供給する。
【００７９】
したがって、輻輳角制御部２２０は、コントローラ１２０からの制御信号により、近距離パノラマ撮影時には、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒが平行となるように、また、遠距離パノラマ撮影時には、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒが外向きとなるように、撮像部１１０と撮像部２１０を各々制御する。
【００８０】
ここで、上記図１８（ａ）、（ｂ）に示したように、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒの向きが制御されて撮影が行われる状況は、上記図３の撮影状況及び上記図６の撮影状況と同じである。
このため、上記図１８（ａ）に示したようにして撮影して得られた複数の画像からは、上述した近距離パノラマ撮影時の合成処理により合成画像を得ることができ、同図（ｂ）に示したようにして撮影して得られた複数の画像からは、上述した遠距離パノラマ撮影時の合成処理により合成画像を得ることができる。
【００８１】
したがって、上記図１の電子カメラ１００と同様に、画像合成処理部１７２において、合成する複数の画像が近距離パノラマ撮影により得られたものであるか、遠距離パノラマ撮影により得られたものであるかを判別し、その判別結果に応じて適切な合成処理を選択することにより、高画質の合成ラマ画像を得ることができる。
【００８２】
上述のように、この電子カメラ２００では、被写体距離に応じて自動的に撮像部１１０の光軸と撮像部２１０の光軸の向きが制御されるようになされているため、使用者は、パノラマ撮影する際に画像の一部が重複するように撮影するための操作を行う必要がない。
したがって、電子カメラ２００は、操作性を向上させることができると共に、簡便に高画質の合成画像を得ることができる。
【００８３】
尚、上記図１７において、画像合成処理部１７２を上記図１１の画像合成処理部１８２、又は上記図１４の画像合成処理部１９２としてもよい。
【００８４】
つぎに、本発明の第５の実施の形態について図面を用いて説明する。
【００８５】
本発明に係る画像生成装置は、例えば、図１９のフローチャートに従って画像合成処理を行う電子カメラシステムに適用される。
この電子カメラシステム（以下、電子カメラと言う）は、上記図１の電子カメラ１００と同様の構成をしており、特に、電子カメラを上記図３３に示したようにして水平にパンニングして撮影された２つの画像から水平方向に画角の広い合成画像を生成するものである。
また、この電子カメラでは、画像合成処理部１７２に相当する画像合成処理部に、上記図１９のフローチャートに対応するプログラムが予め設定されており、上記画像合成処理部は、上記プログラムに従った処理を行うようになされている。
【００８６】
尚、この電子カメラにおいて、上記画像合成処理部が行う画像合成処理以外については、上記図１の電子カメラ１００と同様であるため、上記画像合成処理以外についての詳細な説明は省略する。
また、この電子カメラを電子カメラ１００として、上記図１及び上記１９を用いて以下の説明を行う。
【００８７】
まず、電子カメラ１００では、例えば、撮像部１１０により得られた６４０×４８０画素の画素データが画像メモリ１３０に記憶される。
また、画像メモリ１３０には、パノラマ撮影により得られた一連の複数の画像データが１つのファイルデータとして記憶される。
【００８８】
そこで、画像合成処理部１７２において、先ず、画像メモリ１３０に記憶されたファイルデータのうち、一連の２つの画像データからなる任意のファイルデータを図示していないメモリ上に読み出す（ステップＳ１１）。
【００８９】
次に、上記メモリに読み出した各画像データに対して、撮影レンズ１０１により生じた歪みを補正する（ステップＳ１２）。
【００９０】
具体的に説明すると、撮影レンズ１０１の歪みが画像中心に対して回転対称であるとした場合、画像中心を原点とした画素の撮影レンズ１０１の歪みのない時の理想位置を（ｘ，ｙ）とし、歪みのある時の位置を（ｘｄ，ｘｙ）とすると、
ｘｄ＝ｘ・（１＋ｋ１・ｒ² ＋ｋ２・ｒ⁴ ）
ｙｄ＝ｙ・（１＋ｋ１・ｒ² ＋ｋ２・ｒ⁴ ） ・・・ （１）
なる関係式（１）が成り立つ。
ここで、この関係式（１）において、「ｋ１」及び「ｋ２」は、歪曲補正係数であり、
ｒ² ＝ｘ² ＋ｙ²
の関係式が成り立つものとする。
【００９１】
そこで、このステップＳ１２では、関係式（１）を用いて画像データの歪みを補正する処理を行う。
【００９２】
このステップＳ１２においては、図２０に示すように、先ず、歪みを補正した補正画像データを格納する領域を入力画像データと同じ二次元配列のサイズ分だけ上記メモリ上に確保する（ステップＳ１２１）。
そして、画像データの各画素に対して、後述するステップＳ１２１〜Ｓ１２５の処理を行うことにより、撮影レンズ１０１の歪みを補正した補正画像データを得る。
【００９３】
すなわち、画像データの各画素に対しては、先ず、入力画像データ取得時の水平及び垂直方向の撮像面の大きさ及び画素ピッチを用いて、補正画像データの画素アドレスを画像中心を原点とした座標系に変換する（ステップＳ１２２）。
このステップＳ１２２で得られた座標は、歪みのない時の理想位置（ｘ，ｙ）となる。
【００９４】
次に、ステップＳ１２２で得られた理想位置（ｘ，ｙ）を関係式（１）に代入することにより、歪みのある時の位置（ｘｄ，ｘｙ）を求める（ステップＳ１２３）。
ここで、関係式（１）において、歪曲補正係数ｋ１及びｋ２は、撮像レンズ１０１の３次及び５次の歪曲収差係数に比例する値であり、撮像レンズ１０１の材料の屈折率、面形状及びレンズ配置を含む構成情報により決定できる。
したがって、ここでは、上記構成情報により決定された所定値が歪曲補正係数ｋ１及びｋ２として予め与えられているものとし、この歪曲補正係数ｋ１及びｋ２を用いて、関係式（１）により歪みのある時の位置（ｘｄ，ｘｙ）を求める。
【００９５】
次に、入力画像データ取得時の水平及び垂直方向の撮像面の大きさ及び画素ピッチを用いて、ステップＳ１２２で行った変換処理の逆変換処理を行い、歪みを補正する前の画像データでの、ステップＳ１２３で得られた歪みのある時の位置（ｘｄ，ｘｙ）に対応する画素アドレスを求める（ステップＳ１２４）。
【００９６】
そして、ステップＳ１２４で得られた画素アドレスの画素値であるＲＧＢデータを補正画像データの画素アドレスの画素値としてコピーする（ステップＳ１２５）。
この時、ステップＳ１２４で得られた画素アドレスが画像領域外である場合は、ダミー画素値として、例えば、白画素値を割り当てるようにする。
【００９７】
上述のようなステップＳ１２の処理により、２つの入力画像データから、撮像レンズ１０１の歪みを補正した２つの補正画像データが得られ、その後、ステップＳ１２１で補正画像データを格納するために確保したメモリ領域を解放する。
【００９８】
尚、２つの入力画像データが、撮像レンズ１０１の歪みを殆ど無視できる程度の画像であった場合には、ステップＳ１２の処理は行わなくてもよい。
【００９９】
次に、ステップＳ１２で歪みが補正された２つの補正画像データに対して、球面に投影変換した球面画像データを生成する（ステップＳ１３）。
【０１００】
具体的に説明すると、このステップＳ１３では、図２１に示すように、先ず、球面投影変換後の画像データを格納する領域を入力画像データ（補正画像データ）と同じ二次元配列のサイズ分だけ上記メモリ上に確保する（ステップＳ１３１）。
【０１０１】
次に、球面投影変換を行う際の画素の角度ピッチを求める（ステップＳ１３２）。
このとき、水平及び垂直方向の画素の角度ピッチは、球面投影変換後の画像データの水平及び垂直方向の画角が、元の入力画像データの水平及び垂直方向の画角と等価となるような等しいピッチに設定する。
すなわち、入力画像データ取得時の水平及び垂直方向の画像面のサイズを「ｈ×ｖ」画素、撮像レンズ１０１の焦点距離を「ｆ」とすると、水平及び垂直方向の画角は、
（２・Ｔａｎ^-1（ｈ／（２・ｆ）））
（２・Ｔａｎ^-1（ｖ／（２・ｆ）））
となる。
尚、焦点距離ｆは、撮像レンズ１０１の被写体像側主点と撮像素子１０３の受光面の距離を示す。
したがって、補正画像データのサイズを「Ｈ×Ｖ」画素とすると、球面投影を行う際の画素の水平及び垂直方向の角度ピッチｄθ及びｄφは、
ｄθ＝（２・Ｔａｎ^-1（ｈ／（２・ｆ）））／Ｈ
ｄφ＝（２・Ｔａｎ^-1（ｖ／（２・ｆ）））／Ｖ ・・・（２）
なる式（２）により求められる。
尚、式（２）において、「Ｔａｎ^-1」は、「Ｔａｎ」の逆変換を示す。
【０１０２】
そして、画像データの各画素に対して、後述するステップＳ１３３〜Ｓ１３７の処理を行うことにより、球面投影画像データを得る。
【０１０３】
すなわち、画像データの各画素に対しては、先ず、ステップＳ１３２で得られた水平及び垂直方向の角度ピッチｄθ及びｄφと、補正画像データのサイズとを用いて、球面投影画像データの画素アドレスを画像中心を原点とした角度座標系（θ，φ）に変換する（ステップＳ１３３）。
【０１０４】
次に、ステップＳ１３３で得られた角度座標系（θ，φ）を直交座標系（Ｘ，Ｙ，Ｚ）に、
Ｘ＝ｃｏｓφ・ｓｉｎθ
Ｙ＝ｓｉｎφ
Ｚ＝ｃｏｓφ・ｓｉｎθ ・・・（３）
なる式（３）により変換する（ステップＳ１３４）。
尚、式（３）に示すように、Ｙ軸を回転軸とした極座標から直交座標変換への変換を行うものとし、半径方向の座標値は、このステップＳ１３４以後の処理で影響しないため「１」とする。
【０１０５】
次に、撮影レンズ１０１の焦点位置（以下、視点と言う）を中心とした透視変換処理により、ステップＳ１３４で得られた直交座標系（Ｘ，Ｙ，Ｚ）から焦点距離ｆの位置にある撮像面上での位置（ｘ，ｙ）を、
ｘ＝Ｘ・ｆ／Ｚ
ｙ＝Ｙ・ｆ／Ｚ ・・・（４）
なる式（４）により求める（ステップＳ１３５）。
【０１０６】
次に、入力画像データ取得時の水平及び垂直方向の撮像面の大きさ及び画素ピッチを用いて、上述したステップＳ１２４の処理と同様にして、ステップＳ１３４で行った変換処理の逆変換処理を行い、球面投影変換前の補正画像データでの、ステップＳ１３５で得られた位置（ｘ，ｙ）に対応する画素アドレスを求める（ステップＳ１３６）。
【０１０７】
そして、上述したステップＳ１２５の処理と同様にして、ステップＳ１３６で得られた画素アドレスの画素値であるＲＧＢデータを球面投影画像データの画素アドレスの画素値としてコピーする（ステップＳ１３７）。
【０１０８】
上述のようなステップＳ１３の処理により、ステップＳ１２で得られた２つの補正画像データから、例えば、図２２に示すような球面に投影した２つの球面画像Ｉ６１，Ｉ６２のデータが得られる。そして、２つの球面画像データが得られた後、ステップＳ１３１で球面画像データを格納するために確保したメモリ領域を解放する。
【０１０９】
次に、ステップＳ１３で得られた２つの球面画像データ間の対応点を抽出する（ステップＳ１４）。
【０１１０】
ここで、この電子カメラ１００では、使用者が２つの球面画像データ間の対応点の組を数点カーソル等で指定することができるようになされている。
そこで、ステップＳ１４では、その指定された対応点の正確な位置をテンプレートマッチング処理により求める。
【０１１１】
具体的に説明すると、ステップＳ１４では、図２３に示すように、先ず、２つの球面画像データを表示部１７３により画面表示する（ステップＳ１４１）。
ここで、２つの球面画像データを、以下、左画像、右画像とも言う。
【０１１２】
次に、使用者が図示していない操作部を操作することにより、対応点の組が数点指定され、この指定された数組の対応点の座標を読み取る（ステップＳ１４２）。
【０１１３】
そして、指定された数組の対応点各々に対して、後述するステップＳ１４３〜Ｓ１４６に示すテンプレートマッチング処理を行う。
【０１１４】
すなわち、各対応点の組に対しては、先ず、２つの球面画像データのうち、左画像から画像データをテンプレートとして切り出す（ステップＳ１４３）。この切り出されるテンプレートは、左画像の指示された点を中心とした所定の大きさの矩形領域の画像データである。
【０１１５】
次に、ステップＳ１４３で切り出されたテンプレートに対応する点を検索する領域を右画像から設定する（ステップＳ１４４）。この検索領域は、右画像の指示された点を中心とした所定の大きさの矩形領域とする。
【０１１６】
次に、ステップＳ１４４で設定された検索領域内において、ステップＳ１４３で切り出されたテンプレートを平行にずらしていき、左画像と右画像の差分を求める。この差分は、画像データのＲＧＢ成分のうち、Ｇ成分のみで求める。そして、求めた差分の絶対値の総和が最小となる位置を対応点位置とする（ステップＳ１４５）。
【０１１７】
そして、ステップＳ１４５で得られた対応点位置に対する信頼性の判定を行う（ステップＳ１４６）。この信頼性の判定処理は、最小値となった差分の絶対値の総和、及び２番目に小さい値となった差分の絶対値の総和を用いて行う。
例えば、差分の絶対値の総和の最小値が第２の所定のしきい値以下であり、差分の絶対値の総和の２番目に小さい値が第１の所定のしきい値以上であった場合に、ステップＳ１４５で得られた対応点位置に信頼性があると判定する。
このようにして、信頼性ありと判定された対応点位置の左右画像の座標を、抽出した対応点データとして上記メモリに格納する。
【０１１８】
上述のようなステップＳ１４の処理により、ステップＳ１３で得られた２つの球面画像データ間の対応点の位置座標が得られる。
【０１１９】
次に、ステップＳ１４で得られた対応点の位置座標から、２つの球面画像データを合成するためのパラメータを算出する（ステップＳ１５）。
ここでは、パンニング前後の撮影レンズ１０１の焦点距離は変化していないものとし、上記パラメータとして、水平及垂直方向の平行移動と回転の３つのパラメータを算出するものとする。また、これら３つのパラメータの算出は、２組以上の対応点の位置座標から最小自乗法により行う。
したがって、このステップＳ１５により、右画像の左画像に対しての水平及び垂直方向の平行移動と回転のパラメータが得られる。
【０１２０】
尚、ステップＳ１５において、パンニング前後の撮影レンズ１０１の焦点距離が変化している場合には、拡大／縮小のパラメータも算出する必要がある。
また、水平及垂直方向の平行移動と回転の３つのパラメータのうち、垂直方向の平行移動と回転のパラメータは殆ど「０」に近い値であるため、これら２つのパラメータに対して拘束条件を設定して最適化を行い、パラメータを算出するようにしてもよい。
【０１２１】
次に、ステップＳ１５で得られたパラメータに従って、右画像を水平及び垂直方向の平行移動させ回転させることにより、左右画像を合成する（ステップＳ１６）。
ここで、ステップＳ１６で合成される２つの画像は、予めステップＳ１３で球面投影された画像であるため、画像の水平及び垂直方向の平行移動は球面投影前の画像の水平及び垂直方向のパンニングの相当する。
【０１２２】
具体的に説明すると、ステップＳ１６において、図２４に示すように、先ず、合成後の画像データの二次元配列のサイズを求め、求めたサイズ分の領域を合成画像データを格納する領域として上記メモリに確保する（ステップＳ１６１）。
ここで、垂直方向の平行移動と回転のパラメータは殆ど「０」に近い値であるため、ステップＳ１６１において、垂直方向のサイズは合成前の画像データの垂直方向のサイズと同じ値とし、水平方向のサイズは合成前の画像データの水平方向のサイズにステップＳ１５で得られた水平方向の平行移動のパラメータの画素数に相当するサイズ分加えた値とする。
【０１２３】
そして、合成画像データの各画素に対して、後述するステップＳ１６２〜Ｓ１６５の処理を行う。
【０１２４】
すなわち、合成画像データの各画素に対しては、先ず、ステップＳ１３で得られた球面投影時の角度ピッチを用いて、合成画像データの画素アドレスを角座標系に変換する（ステップＳ１６２）。
このとき、角座標系の原点は、左画像の中心点と一致させることにより、左画像に関しては、座標変換なしでそのまま画素データをコピーできるようにする。
【０１２５】
次に、ステップＳ１５で得られたパラメータに従って、合成画像データを水平及び垂直方向に平行移動させ回転させることにより、ステップＳ１６２で得られた合成画像データの角座標系を右画像の角座標系に変換する（ステップＳ１６３）。
【０１２６】
次に、右画像のサイズと、ステップＳ１３で得られた球面投影時の角度ピッチとを用いて、右画像の角座標系を右画像の画素アドレスに変換する（ステップＳ１６４）。
【０１２７】
そして、合成画像データの画素アドレスに対して画素値を割り当てる（ステップＳ１６５）。
このとき、画素アドレスが左画像の画像領域内で、かつステップＳ１６４で得られた画素アドレスが右画像の画像領域内である画素に対しては、ＲＧＢ成分各々に対して左右画像の画素値の平均値を割り当てる。また、左画像のみの画像領域内の画素に対しては、右画像の画素値を割り当て、左画像と右画像の両方の画像の画像領域外の画素に対しては、ダミー画素値として、例えば、白画素値を割り当てる。
【０１２８】
上述のようなステップＳ１６の処理により、ステップＳ１３で得られた２つの球面画像データが合成された、例えば、図２５に示すような合成画像Ｉ６３が得られ、その後、ステップＳ１６１で合成画像データを格納するために確保したメモリ領域を解放する。
【０１２９】
次に、ステップＳ１６で得られた合成画像データに対して、平面上に再投影変換した画像データを得る（ステップＳ１７）。
【０１３０】
具体的に説明すると、ステップＳ１７において、図２６に示すように、先ず、平面投影変換後の画像データを格納する領域を合成画像データと同じ二次元配列のサイズ分だけ上記メモリ上に確保する（ステップＳ１７１）。
【０１３１】
次に、平面投影を行う際の画素ピッチを求める（ステップＳ１７２）。
このときの水平及び垂直方向の画素ピッチは、焦点距離ｆの撮像面において、平面投影変換後の画像データ（平面合成画像データ）の水平及び垂直方向の画角と等価となるようなピッチに設定する。
すなわち、水平及び垂直方向の半画角は、合成画像データのサイズを「Ｈ×Ｖ」画素とし、ステップＳ１３で得られた球面投影画像データの角度ピッチｄθ及びｄφを用いて、
（ｔａｎ（ｄθ・（Ｈ／２）））
（ｔａｎ（ｄφ・（Ｖ／２）））
で表される。
したがって、平面投影変換した画像の画素ピッチは、
ｄｘ＝ｆｔａｎ（ｄθ・（Ｈ／２））／（Ｈ／２）
ｄｙ＝ｆｔａｎ（ｄφ・（Ｖ／２））／（Ｖ／２） ・・・（５）
なる式（５）により求められる。
この式（５）で得られる画素ピッチは、撮影時と同じ焦点距離の撮像面に投影した画像を生成する場合、撮影時に得られた画像の画素ピッチと等しくなる。
【０１３２】
そして、画像データの各画素に対して、後述するステップＳ１７３〜Ｓ１７７の処理を行うことにより、平面合成画像データを得る。
【０１３３】
すなわち、画像データの各画素に対しては、先ず、ステップＳ１７２で得られた水平及び垂直方向の画素ピッチと画像データのサイズを用いて、上述したステップＳ１２２の処理と同様にして、合成画像データの画素アドレスを画像中心を原点とした座標系（ｘ，ｙ）に変換する（ステップＳ１７３）。
【０１３４】
次に、視点から撮像面上の点（ｘ，ｙ，ｆ）に引いた直線と、視点を中心とした球面との交点（Ｘ，Ｙ，Ｚ）を求める（ステップＳ１７４）。このとき、球面の半径は、このステップＳ１７４以降の処理に影響しないため「１」とする。
次に、ステップＳ１７４で得られた交点、すなわち直交座標系（Ｘ，Ｙ，Ｚ）を、
θ＝ｓｉｎ^-1（Ｘ／ｓｑｒｔ（Ｘ² ＋Ｚ² ））
φ＝ｓｉｎ^-1（Ｙ／Ｚ） ・・・（６）
なる式（６）により、球面座標系に変換する（ステップＳ１７５）。
ここで、式（６）において、「ｓｉｎ^-1」は「ｓｉｎ」の逆変換を表し、「ｓｑｒｔ」は平方根を表す。
【０１３５】
次に、合成画像データの水平及び垂直方向の撮像面の大きさと角度ピッチを用いて、平面投影変換前の画像データでの、ステップＳ１７５で得られた球面座標に対応する画素アドレスを求める（ステップＳ１７６）。
【０１３６】
そして、上述したステップＳ１２５の処理と同様にして、ステップＳ１７６で得られた画素アドレスの画素値であるＲＧＢデータを平面投影変換後の画像データの画素アドレスの画素値としてコピーする（ステップＳ１７７）。
【０１３７】
上述のようなステップＳ１７の処理により、ステップＳ１６で得られた合成画像データから、例えば、図２７に示すような平面上に投影した平面合成画像Ｉ６４が得られ、その後、ステップＳ１７１で平面合成画像データを格納するために確保したメモリ領域を解放する。
【０１３８】
そして最後に、ステップＳ１７で得られた平面合成画像データを表示部１７３により画面表示し、必要に応じて、画像メモリ１３０に記憶する（ステップＳ１８）。
【０１３９】
上述のように、この電子カメラ１００では、画像合成処理時の画像の平行移動が、撮影時の画像の水平及び垂直方向のパンニングに相当するような構成とすることにより、撮影レンズ１０１の焦点位置を中心にパンして撮影して得られた２つの画像を合成する場合、撮影時に多少のカメラのチルトが生じた場合でも合成画像の重複部分において枠線が二重に生じるようなことがない。
したがって、この電子カメラ１００は、実際に撮影したカメラレンズよりも広角のカメラレンズで撮影したような、自然な合成画像を得ることができる。
【０１４０】
尚、上述した電子カメラでは、上記図１の電子カメラ１００と同様な構成であるとしたが、例えば、上記図２の電子カメラ２００と同様な構成であるものとしてもよい。
【０１４１】
つぎに、本発明の第６の実施の形態について図面を用いて説明する。
【０１４２】
本発明に係る画像生成装置は、例えば、図２８に示すような画像合成処理部３００を備える電子カメラシステムに適用される。
この電子カメラシステム（以下、電子カメラと言う）は、上記図１の電子カメラ１００と同様の構成をしており、画像合成処理部１７２の代わりに上記図２８の画像合成処理部３００が設けられたものである。
また、画像合成処理部３００には、所定のプログラムが予め設定されており、画像合成処理部３００は、上記プログラムに従った処理を行うようになされている。
【０１４３】
尚、この電子カメラにおいて、画像合成処理部３００以外の各部は、上記図１の電子カメラ１００と同様であるため、画像合成処理部３００以外の各部についての詳細な説明は省略する。
【０１４４】
まず、画像合成処理部３００は、上記図２８に示すように、制御部３０１と、制御部３０１に各々接続された画像入力部３０２、画像変換部３０３及び画像合成部３０４とを備えている。
【０１４５】
制御部３０１は、上記プログラムに従った処理を行うように装置全体の動作制御を行うものであり、例えば、使用者の図示していない操作部の操作に従って、画像入力部３０２、画像変換部３０３及び画像合成部３０４に各々制御信号を供給する。これにより、画像合成処理部３００により得られた合成画像等が上記図１の表示部１７３により画面表示される。
画像入力部３０２には、上記図１９に示したステップＳ１１と同様の処理を行うプログラムが予め設定されている。これにより、画像入力部３０２は、制御部３０１からの制御信号に基づいて、使用者により指定された一連の複数の画像データを図示していないメモリに読み出す。
画像変換部３０３には、上記図１９に示したステップＳ１２、Ｓ１３及びＳ１７と同様の処理を行うプログラムが予め設定されている。これにより、この画像変換部３０３は、制御部３０１からの制御信号に基づいて、画像入力部３０２で読み出された複数の画像データに対して、歪み補正処理、球面投影変換処理及び平面投影変換処理を行う。
画像合成部３０４には、上記図１９に示したステップＳ１４〜Ｓ１６と同様の処理を行うプログラムが予め設定されている。これにより、この画像合成部３０４は、制御部３０１からの制御信号に基づいて、画像入力部３０２で読み出された複数の画像データに対して、対応点抽出処理、上記対応点抽出処理で得られた対応点の座標から複数の画像データを合成するためのパラメータ算出処理、及び上記パラメータ算出処理で得られたパラメータに従って平行移動及び回転を行うって合成画像を生成する合成処理を行う。
【０１４６】
以下、上述のような画像合成処理部３００において、例えば、上記図３６に示したように、水平及び垂直方向の両方向にパンして４回のフレーミングで撮影して得られた画像ｃ１〜ｃ４を合成する場合について説明する。
【０１４７】
ここで、使用者は、図示していない操作部を操作することにより、画像ｃ１とｃ２、画像ｃ３とｃ４を合成し、各合成結果の画像を合成するように装置に指示（コマンド）を与えるものとする。
また、画像ｃ１〜ｃ４は、画像メモリ１３０に記憶されており、画像変換処理時に必要な画像サイズ、画素ピッチ及び焦点距離等のパラメータは、予め与えられているものとする。
【０１４８】
そこで、図２９は、上述のような場合における画像合成処理部３００の処理を示すフローチャートである。
以下、上記図２９を用いて、画像合成処理部３００の各部の動作及び画像合成処理について説明する。
【０１４９】
先ず、画像入力部３０２は、制御部３０１からの制御信号に基づいて、画像メモリ１３０に記憶された画像ｃ１のデータを図示していないメモリ上に読み出す（ステップＳ２０１）。この読み出された画像ｃ１は、制御部３０１の制御により、表示部１７３で画面表示される。
【０１５０】
次に、使用者は、表示部１７３で画面表示された画像ｃ１を確認し、図示していない操作部を操作することにより、画像変換部３０３で画像ｃ１に対する歪み補正処理、球面投影変換処理が行われるようなコマンドを装置に与える。
このコマンドに基づいて制御部３０１が画像変換部３０３に制御信号を供給することにより、画像変換部３０３は、画像ｃ１に対して、歪み補正処理及び球面投影変換処理を行う（ステップＳ２０２）。
そして、制御部３０１は、画像変換部３０３で歪み補正処理及び球面投影変換処理が行われた画像ｃ１を表示部１７３により画面表示する。
【０１５１】
次に、ステップＳ２０１、Ｓ２０２の各処理と同様にして、画像ｃ２も上記メモリ上に読み出され、歪み補正処理及び球面投影変換処理が行われて表示部１７３で画面表示される（ステップＳ２０３、Ｓ２０４）。
【０１５２】
次に、使用者は、図示していない操作部を操作することにより、表示部１７３に表示された２つの画像ｃ１、ｃ２の対応する点を数組指定する。
この指定に基づいて制御部３０１が画像合成部３０４に制御信号を供給することにより、画像合成部３０４は、指定された数組の対応点の座標を求め、正確な対応点の位置を検出するために、各対応点に対してテンプレートマッチング処理を行う。そして、画像合成部３０４は、上記テンプレートマッチング処理により検出された対応点の位置から、２つの画像ｃ１、ｃ２間の平行移動及び回転のパラメータを最小自乗法により求め、求めたパラメータに基づいて２つの画像ｃ１、ｃ２を合成する（ステップＳ２０５）。
【０１５３】
そして、制御部３０１は、画像合成部３０４で得られた図３０に示すような合成画像ｃ１２を表示部１７３により画面表示する。
また、制御部３０１は、合成画像ｃ１２を一旦画像メモリ１３０に記憶する（ステップＳ２０６）。
【０１５４】
次に、ステップＳ２０１〜Ｓ２０６と同様にして、２つの画像ｃ３、ｃ４を合成し、上記図３０に示すような合成画像ｃ３４を生成して一旦メモリ１３０に記憶する（ステップＳ２０７〜Ｓ２１２）。
【０１５５】
次に、画像入力部３０２は、制御部３０１からの制御信号に基づいて、画像メモリ１３０に記憶された２つの合成画像ｃ１２、ｃ３４を図示していないメモリ上に読み出す（ステップＳ２１３、Ｓ２１４）。
【０１５６】
次に、画像合成部３０４は、ステップＳ２０５及びＳ２１１の処理と同様にして、２つの合成画像ｃ１２、ｃ３４を合成する（ステップＳ２１５）。
ここで、合成画像ｃ１２、ｃ３４は、画像変換部３０３で歪み補正処理及び球面投影変換処理が行われた画像であるため、画像変換部３０３で歪み補正処理及び球面投影変換処理は行う必要はない。
このステップＳ２１５により、図３１に示すような、４つの画像ｃ１〜ｃ４を合成した合成画像Ｉ７１が得られる。
尚、合成画像Ｉ７１は球面投影変換された２つの画像を合成したものであるため、以下、球面合成画像Ｉ７１と言う。
【０１５７】
次に、画像変換部３０３は、画像合成部３０４で得られた球面合成画像Ｉ７１から、平面上に投影変換した図３２に示すような平面合成画像Ｉ７２を得る（ステップＳ２１６）。
【０１５８】
そして、制御部３０１は、画像変換部３０３で得られた平面合成画像Ｉ７２を画像メモリ１３０に記憶する（ステップＳ２１７）。
【０１５９】
上述のように、この電子カメラは、使用者が図示していない操作部を操作することにより与えられた所定のコマンドに従って画像合成処理を行うような構成としているため、使用者は、所望の合成画像を得ることができる。
また、この電子カメラは、カメラレンズの焦点位置を中心に水平及び垂直方向の両方にパンして撮影して得られた複数の画像に対して、２つの画像を合成する処理を順次繰り返して合成画像を生成し、その合成画像を平面上に再度投影変換するようになされているため、実際に撮影したカメラレンズより広角なカメラレンズで撮影したような、画角の広い自然な合成画像を得ることができる。
【０１６０】
尚、上記図２８の画像合成処理部３００において、合成する画像が常に球面投影変換された画像である場合には、画像変換部３０３の処理を自動化するようにしてもよい。
具体的に説明すると、画像合成処理部３００で合成する画像データに対して、歪み補正処理済のデータであるか否かを示すフラグ（歪み補正フラグ）、及び球面投影変換処理済のデータ又は平面投影変換処理済のデータであるかを示すフラグ（投影面フラグ）が付加情報として付加するものとする。
そこで、画像変換部３０３は、歪み補正処理を行った場合には、歪み補正フラグを処理済に設定し、球面投影変換処理を行った場合には、投影面フラグを球面投影変換処理済に設定し、平面投影変換処理を行った場合には、投影面フラグを平面投影変換処理済に設定するようにする。
また、画像合成処理を行う際には、画像変換部３０３は、合成する画像データの付加情報に基づいて、常に歪み補正処理を行い、画像合成部３０４は、球面投影変換された画像を合成するようにする。
さらに、合成画像を出力する際には、画像合成部３０４は、合成する画像データの付加情報に基づいて、常に平面投影変換した合成画像を出力するようにする。
上述のような構成とすることにより、効率よく高画質の合成画像を得ることができる。
【０１６１】
また、上述した電子カメラは、平面投影変換処理を行うことにより、実際に撮影したカメラレンズより広角なカメラレンズで撮影したような自然な合成画像を得るようになされているが、必ずしも平面投影変換処理が行われた合成画像を出力する必要はない。
具体的に説明すると、上記電子カメラは、２つの画像を合成する処理を順次繰り返して合成画像を生成する構成としているため、例えば、５つ以上の画像をも合成することができる。しかし、合成画像の視野が１８０°に達すると、平面投影変換処理を行うことはできないため、このような場合、球面投影変換処理を行った合成画像を出力することが望ましい。
したがって、合成画像の視野に応じて、平面投影変換処理で得られた画像と球面投影変換処理で得られた画像を選択的に出力するようにしてもよい。
【０１６２】
また、上述した電子カメラでは、画像変換処理時に必要な画像サイズ、画素ピッチ及び焦点距離等のパラメータが予め与えられているものとしたが、これらのパラメータを、画像合成処理部３００で合成する画像データに付加情報として付加するようにしてもよい。
この場合、画像変換部３０３及び画像合成部３０４は、合成する画像データに付加された付加情報からパラメータを読み出し、そのパラメータに基づいて処理を行うようにする。 このとき、平面投影変換処理が行われた画像に対しては、画素ピッチのパラメータとして、撮像面上でのピッチを用い、球面投影変換処理が行われた画像に対しては、画素ピッチのパラメータとして、角度ピッチを用いるのが望ましい。
【０１６３】
また、上述した電子カメラでは、所定のプログラムに従って上述したような各処理を行うこととしたが、上記プログラムをそのままハードウェア化して、画像合成処理装置として用いることもできる。
【０１６４】
また、上述した電子カメラでは、上記図１の電子カメラ１００と同様な構成であるとしたが、例えば、上記図２の電子カメラ２００と同様の構成であるとしてもよい。
【０１６５】
つぎに、本発明の第７の実施の形態について図面を用いて説明する。
【０１６６】
本発明に係る画像生成装置は、例えば、図３３に示すような電子カメラシステム４００に適用される。
【０１６７】
この電子カメラシステム（以下、単に電子カメラと言う）４００は、上記図３３に示すように、上記図１の電子カメラ１００の構成要件に加えて、信号処理ユニット１９０に接続された角度検出部４０１を備えている。
この角度検出部４０１は、ジャイロ等を使用しており、撮影時に電子カメラ４００が移動されたことにより発生するパンニング角度を検出するものである。
そして、電子カメラ４００は、角度検出部４０１により検出されたパンニング角度の情報に基づいた画像合成処理を行うようになされている。
【０１６８】
尚、上記図３３の電子カメラ４００において、上記１の電子カメラ１００と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
また、後述する画像合成処理部１７２の動作については、上述した第１の実施の形態での動作と異なる箇所を具体的に説明し、その他の箇所については上記第１の実施の形態と同様であるため、その詳細な説明は省略する。
【０１６９】
すなわち、角度検出部４０１は、図３４に示すように、角速度センサ４０１ａと、角速度センサ４０１ａの出力が供給されるＡ／Ｄ変換器４０１ｂと、Ａ／Ｄ変換器４０１ｂの出力が供給される角度演算器４０１ｃからなり、角度演算器４０１ｃの出力が信号処理ユニット１９０に供給されるようになされている。
【０１７０】
先ず、角度センサ４０１ａは、装置の移動により発生する角度変化に従った出力信号ＶをＡ／Ｄ変換器４０１ｂに供給する。この出力信号Ｖのレベルは、角速度に比例したものである。
Ａ／Ｄ変換器４０１ｂは、角度センサ４０１ａからの出力信号Ｖをディジタル化してディジタルデータＤとして角度演算器４０１ｃに供給する。
角度演算器４０１ｃは、Ａ／Ｄ変換器４０１ｂからのディジタルデータＤを、例えば、１ｓ分積分することにより平均レベルＤａｖｇを求め、この平均レベルＤａｖｇを角度成分に変換して角度信号を得る。
そして、角度演算器４０１ｃで得られた角度信号は、信号処理ユニット１９０に供給される。
【０１７１】
そして、信号処理ユニット１９０は、角度検出部４０１により得られた角度信号の情報を、画像メモリ１３０に書き込まれる画像データに対応ずけて画像メモリ１３０のヘッダ部に書き込む。
【０１７２】
次に、画像合成処理部１７２においては、上記図１０に示すように、画像情報分離部１７２ｆにより画像メモリ１３０から読み出された画像データがヘッダ部とデータ部に分離され、コントローラ１７２ｅには、ヘッダ部の情報（ヘッダ情報）が供給され、画像メモリ１７２ｇには、データ部の情報（画像情報）が書き込まれる。
【０１７３】
コントローラ１７２ｅは、画像情報分離部１７２ｆから供給されたヘッダ情報に含まれる撮影時の角度成分の情報と、予め設定されているしきい値とを比較し、上記角度成分がしきい値以上であった場合には遠距離パノラマ撮影と判別し、上記角度成分がしきい値以下であった場合には近距離パノラマ撮影と判別して、その判別結果をセレクタ１７２ｋに供給する。
【０１７４】
セレクタ１７２ｋは、コントローラ１７２ｅからの判別結果に応じて、近距離パラメータ抽出部１７２ｃ又は遠距離パラメータ抽出部１７２ｄの何れかを選択して、対応点検出部１７２ｂで得られた対応点の情報を供給する。
【０１７５】
以降、上述した第１の実施の形態と同様の処理を行うことにより、合成画像を生成する。
【０１７６】
上述のように、電子カメラ４００では、撮影時の装置の移動により発生する角度成分に基づいて、画像合成処理を自動的に選択するようになされているため、パンイング等の装置の移動に対して適切な画像合成処理を行うことができる。
したがって、電子カメラ４００は、高画質のパノラマ画像を効率良く得ることができる。
【０１７７】
尚、上述した電子カメラ４００では、角速度センサ４０１ａを設けることにより、電子カメラ４００の移動により発生する角度成分を検出することとしたが、加速度センサ等を設けることにより、電子カメラ４００の移動により発生する並進成分（並進移動量）を検出するようにしてもよい。
この場合、画像合成処理部１７２において、コントローラ１７２ｅは、検出された撮影時の並進移動量が予め設定されているしきい値より大きい場合には近距離パノラマ撮影と判別し、上記並進移動量がしきい値より小さい場合には遠距離パノラマ撮影と判別する。
この場合も、角度成分を検出する場合と同様に、高画質のパノラマ画像を効率良く得ることができる。
【０１７８】
【発明の効果】
以上説明したように本発明によれば、撮影条件に応じて選択された適切な画像合成処理で合成画像を生成するように構成したことにより、常に高画質の合成画像を得ることができる。
また、本発明によれば、使用者が画像を合成するための操作を行うことなく、自動的に合成画像を生成するように構成したことにより、使用者の負荷を低減することができ、簡便に合成画像を得ることができる。
また、本発明によれば、焦点位置情報により、合成する画像が近距離撮影で得られたものであるか、遠距離撮影で得られたものであるかを自動的に判別し、その判別結果により選択した適切な画像合成処理で合成画像を生成するように構成したことにより、被写体距離に依存せずに簡便に高画質の合成画像を得ることができる。
また、本発明によれば、複数の画像を合成する際に、撮影条件に基づいて複数の画像において隣り合う画像との連結部付近の画像を変換して、上記連結部付近目立たなくするように構成したことにより、違和感のない高画質の合成画像を得ることができる。
また、本発明によれば、撮影条件に基づいて複数の画像において隣り合う画像との連結部付近の画像の濃度レベルを補正して、上記連結部付近目立たなくするように構成したことにより、違和感のない高画質の合成画像を得ることができる。
また、本発明によれば、撮影条件に基づいて合成する複数の画像に球面変換処理を行うように構成したことにより、歪みの除去された自然な高画質の合成画像を得ることができる。
また、本発明によれば、撮影時の焦点位置を中心に水平及び垂直の両方向にパンして得られた複数の画像を合成する場合でも、複数の画像において隣り合う画像との連結部付近の画像が重複することがないように構成したことにより、自然な高画質の合成画像を得ることができる。
また、本発明によれば、合成画像を平面上に再投影変換するように構成したことにより、実際に撮影したカメラレンズよりも広角のカメラレンズで撮影したような高画質の合成画像を得ることができる。例えば、２つの画像の合成処理を順次繰り返すことにより、自由なフレーミングで撮影した多数の画像から、さらに画角の広い合成画像を得ることができる。
また、本発明によれば、球面投影変換処理及び平面投影変換処理を指示することなく自動的に行うように構成したことにより、簡便に高画質の合成画像を得ることができる。
また、本発明によれば、合成画像の視野に応じた適切な画像合成処理で合成画像を生成するように構成したことにより、撮影する画像の視野に依存することなく、常に高画質の合成画像を得ることができる。
また、本発明によれば、使用者が近距離撮影及び遠距離撮影のための操作を行うことなく、被写体距離に応じて自動的に近距離撮影及び遠距離撮影を行うように構成したことにより、簡便に合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態において、本発明に係る画像生成装置を適用した電子カメラシステムの構成を示すブロック図である。
【図２】近距離パノラマ撮影をする被写体を示す平面図である。
【図３】上記近距離パノラマ撮影の撮影状況を説明するための図である。
【図４】上記近距離パノラマ撮影で得られた２つの画像を示す平面図である。
【図５】上記２つの画像を合成して得られた合成画像を示す平面図である。
【図６】遠距離パノラマ撮影の撮影状況を説明するための図である。
【図７】上記遠距離パノラマ撮影で得られた３つの画像を示す平面図である。
【図８】上記３つの画像を合成して得られた合成画像を示す平面図である。
【図９】上記電子カメラシステムの画像メモリに記憶される画像データを説明するための図である。
【図１０】上記電子カメラシステムの画像合成処理部の構成を示すブロック図である。
【図１１】本発明の第２の実施の形態において、本発明に係る撮像装置を適用した電子カメラシステムの画像合成処理部の構成を示すブロック図である。
【図１２】上記画像合成処理部の球面投影処理を説明するための図である。
【図１３】上記球面投影処理により得られる球面投影画像を説明するための図である。
【図１４】本発明の第３の実施の形態において、本発明に係る撮像装置を適用した電子カメラシステムの画像合成処理部の構成を示すブロック図である。
【図１５】上記画像合成処理部で処理対象となる画像を示す平面図である。
【図１６】上記画像合成処理部の濃度レベル補正処理を説明するための図である。
【図１７】本発明の第４の実施の形態において、本発明に係る撮像装置を適用した電子カメラシステムの構成を示すブロック図である。
【図１８】２つの撮像部の各光軸を制御する処理を説明するための図である。
【図１９】本発明の第５の実施の形態において、本発明に係る撮像装置を適用した電子カメラシステムの画像合成処理部の処理を示すフローチャートである。
【図２０】上記画像合成処理部の処理において、画像入力処理を具体的に示すフローチャートである。
【図２１】上記画像合成処理部の処理において、球面投影変換処理を具体的に示すフローチャートである。
【図２２】上記球面投影変換処理により得られる２つの球面投影画像を示す平面図である。
【図２３】上記画像合成処理部の処理において、対応点抽出処理を具体的に示すフローチャートである。
【図２４】上記画像合成処理部の処理において、画像合成処理を具体的に示すフローチャートである。
【図２５】上記画像合成処理により得られる球面投影合成画像を示す平面図である。
【図２６】上記画像合成処理部の処理において、平面投影変換処理を具体的に示すフローチャートである。
【図２７】上記平面投影変換処理により得られる平面投影合成画像を示す平面図である。
【図２８】本発明の第６の実施の形態において、本発明に係る撮像装置を適用した電子カメラシステムの画像合成処理部の構成を示すブロック図である。
【図２９】上記画像合成処理部の処理を示すフローチャートである。
【図３０】上記画像合成処理部において、各々２つの球面投影画像を合成して得られる２つの合成画像を示す平面図である。
【図３１】上記２つの合成画像を合成して得られる合成画像を示す平面図である。
【図３２】上記合成画像に平面投影変換処理を行うことにより得られる画像を示す平面図である。
【図３３】本発明の第７の実施の形態において、本発明に係る画像生成装置を適用した電子カメラシステムの構成を示すブロック図である。
【図３４】上記電子カメラシステムの角度検出部の構成を示すブロック図である。
【図３５】従来の電子カメラシステムを水平方向にパンニングして２つの画像を撮影する場合を説明するための図である。
【図３６】上記電子カメラシステムにより得られた２つの画像を示す平面図である。
【図３７】上記２つの画像を合成して得られる合成画像を示す平面図である。
【図３８】上記電子カメラシステムにより、長方形の枠を４回のフレーミングで撮影した場合に得られる４つの画像を示す平面図である。
【図３９】円柱面上への画像の投影は行わずに平行移動のみで上記４つの画像を合成して得られる合成画像を示す平面図である。
【図４０】一旦円柱面上への画像の投影を行って平行移動して上記４つの画像を合成して得られる合成画像を示す平面図である。
【符号の説明】
１７２ 画像合成処理部
１７２ａ 入出力部
１７２ｂ 対応点検出部
１７２ｃ 近距離撮影パラメータ抽出部
１７２ｄ 遠距離撮影パラメータ抽出部
１７２ｅ コントローラ
１７２ｆ 画像情報分離部
１７２ｇ 画像メモリ
１７２ｈ 合成画像用メモリ
１７２ｉ 近距離撮影座標変換処理部
１７２ｊ 遠距離撮影座標変換処理部
１７２ｋ セレクタ

Claims (11)

1. 撮影手段により画面の一部が重複するように被写体像を複数画面に分割して撮影し、上記撮影手段で得られた一連の複数の画像を合成して合成画像を生成する画像生成装置であって、
   撮影時の撮影条件を検出する検出手段と、
   上記撮影手段で得られた複数の画像と共に各画像に対応して上記検出手段により検出された撮影条件を記憶する記憶手段と、
   上記記憶手段に記憶された一連の複数の画像を合成して合成画像を生成する画像合成手段と、
   上記画像合成手段を制御する制御手段とを備え、
   上記画像合成手段は、上記撮影条件に対応した複数の合成手段からなり、
   上記制御手段は、各画像に対応する撮影条件に基づいて上記複数の合成手段を選択的に切り替え、
   上記制御手段により選択的に切り替えられた合成手段は、一連の複数の画像を合成することを特徴とする画像生成装置。
2. 上記画像合成手段は、各画像の重複部分における対応点を検出する対応点検出手段と、各画像に座標変換処理を施して合成画像を生成する座標変換手段と、上記対応点検出手段で検出された対応点に基いて撮影パラメータを生成するパラメータ生成手段とを備え、
   上記座標変換手段は、上記パラメータ生成手段で生成された撮影パラメータを用いて上記座標変換処理を行うことを特徴とする請求項１記載の画像生成装置。
3. 上記検出手段は、撮影条件として撮影時の焦点位置情報を検出し、
   上記画像合成手段は、近距離撮影により得られた一連の複数の画像を合成する近距離合成手段と、遠距離撮影により得られた一連の複数の画像を合成する遠距離合成手段とを備え、
   上記制御手段は、各画像に対応する焦点位置情報により合成する一連の複数の画像が近距離撮影により得られたものであるか遠距離撮影により得られたものであるかを判別し、その判別結果に基づいて上記近距離合成手段と上記遠距離合成手段を選択的に切り替えることを特徴とする請求項１記載の画像生成装置。
4. 上記画像合成手段は、各画像に対応する撮影条件に基づいて各画像の重複部分の画素値を変換する変換手段を備えることを特徴とする請求項１記載の画像生成装置。
5. 上記検出手段は、撮影条件として撮影時の露出情報を検出し、
   上記変換手段は、各画像に対応する露出情報に基づいて各画像の重複部分の濃度レベルを補正することを特徴とする請求項４記載の画像生成装置。
6. 上記画像合成手段は、各画像に対応する撮影条件に基づいて各画像を球面上に投影変換して球面投影画像を生成する球面投影変換手段を有し、上記球面投影変換手段で得られた複数の球面投影画像を合成することを特徴とする請求項１記載の画像生成装置。
7. 上記球面投影変換手段は、撮影時の焦点距離に基づいた半径を有する球面に投影変換することを特徴とする請求項６記載の画像生成装置。
8. 上記画像合成手段は、上記球面投影変換手段で得られた複数の球面投影画像を合成した合成画像を平面上に投影変換して平面投影合成画像を生成する平面投影変換手段を備えることを特徴とする請求項６記載の画像生成装置。
9. 上記画像合成手段は、処理対象となる画像が上記球面投影画像であるか上記平面投影合成画像であるかを示す投影面タイプ情報を上記画像に付加する付加手段を備えることを特徴とする請求項８記載の画像生成装置。
10. 上記画像合成手段は、上記球面投影変換手段で得られた複数の球面投影画像を合成した合成画像の視野に応じて、上記合成画像と上記平面投影合成画像を選択的に切り換えて出力する出力手段を備えることを特徴とする請求項８記載の画像生成装置。
11. 上記撮影手段は、複数の撮像手段からなり、
    上記検出手段により検出された撮影条件に基づいて上記複数の撮像手段の各光軸の向きを制御する光軸制御手段とを備えることを特徴とする請求項１記載の画像生成装置。

Images