JP4325108B2

JP4325108B2 - 撮像画像合成装置および方法

Info

Publication number: JP4325108B2
Application number: JP2000390482A
Authority: JP
Inventors: 紀之山下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-12-22
Filing date: 2000-12-22
Publication date: 2009-09-02
Anticipated expiration: 2020-12-22
Also published as: JP2002190942A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影した複数枚の画像を合成し、表示するときに、画質の劣化を抑えることができる撮像画像合成装置および方法に関する。
【０００２】
【従来の技術】
従来、撮影した複数枚の画像が合成され、表示される工程の一例は、次に示す通りである。1)撮影、2)圧縮、3)記録、4)再生、伸張、5)正方画素変換とレンズ歪補正と円筒変換、6)貼り合わせ、7)圧縮、8)記録媒体に記録、9)記録媒体から再生、伸張、10)再生された画像の平面化変換、そして11)表示へと工程が移る。この工程の一例では、5)正方画素変換とレンズ歪補正と円筒変換を行うとき、10)再生された画像の平面化変換を行うとき、の２回の補間処理が行われる。
【０００３】
さらに、撮影した複数枚の画像が合成され、表示される工程の他の例は、次に示す通りである。21)撮影、22)圧縮、23)テープに記録、24)テープから再生してパソコンのハードディスクに記録（このとき正方画素変換フィルタの処理が行われる）、25)レンズ歪補正と光軸方向の変換、26)貼り合わせ、27)ハードディスクに記録、28)パソコンに表示、29)プリンタに出力へと工程が移る。この工程の他の例では、24)テープから再生してパソコンのハードディスクに記録を行うとき、25)レンズ歪補正と光軸方向の変換を行うとき、の２回の補間処理が行われる。
【０００４】
図１５は、上述したように撮影した複数枚の画像が合成され、表示される工程の一例および他の例を実現する構成の概略を示す。図１５Ａに示すように、撮影部３１によって、撮影された撮像画像（動画または静止画）は圧縮され、圧縮画像として記録媒体３２へ記録される。記録媒体３２に記録された複数の圧縮画像は、再生され伸張された後、貼り合わせ部３３へ供給され、全ての圧縮画像が貼り合わされる。貼り合わされた１つの合成画像は、記録媒体３２へ記録される。そして、図１５Ｂに示すように、表示するときに、記録媒体３２に記録された合成画像は、再生され、表示部３４に表示される。
【０００５】
【発明が解決しようとする課題】
しかしながら、複数枚の画像を合成するためのこれらの工程の一例および他の例では、２回の補間処理が行われるため、画質が劣化する問題があった。
【０００６】
また、貼り合わせの際に重複した画像が存在するにもかかわらず、その情報を使用していなかった問題があった。
【０００７】
従って、この発明の目的は、複数の画像を貼り合わせるときに、補間処理の回数を１回にすることができ、重複した画像の情報を使用することができる撮像画像合成装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、複数枚の画像を１枚に合成する撮像画像合成装置において、光軸の方向を変えることが可能な光軸可変素子を備えた第１の撮像部と、固定された複数の撮像部を備えた第２の撮像部との何れか一方を備え、備えられた第１および第２の撮像部の何れか一方から撮影された複数枚の画像を獲得する撮影手段と、撮影された複数枚の画像の貼り合わせ情報を生成するために、撮影された複数枚の画像に対して、正方画素変換、レンズ歪み補正、および円筒変換を施して複数枚の画像を同一平面に変換し、同一平面に変換された複数枚の画像を貼り合わせる貼り合わせ手段と、撮影された複数枚の画像と、複数枚の画像を貼り合わせることによって、生成される貼り合わせ情報とを記録媒体に記録する記録手段と、貼り合わせられた画像を表示する表示部とを有し、再生時に、記録媒体から読み出された複数枚の画像に対して、記録媒体から読み出された貼り合わせ情報に基づいて、正方画素変換、レンズ歪み補正、光軸方向の変換、円筒変換、および平面化変換の内３個以上の変換を一度に施して複数枚の画像を同一平面に変換し、同一平面に変換された複数枚の画像を貼り合わせて、表示部に表示する撮像画像合成装置である。
【０００９】
請求項２に記載の発明は、複数枚の画像を１枚に合成する撮像画像合成方法において、光軸の方向を変えることが可能な光軸可変素子を備えた第１の撮像部と、固定された複数の撮像部を備えた第２の撮像部との何れか一方から撮影された複数枚の画像を獲得する撮影手段と、撮影された複数枚の画像の貼り合わせ情報を生成するために、撮影された複数枚の画像に対して、正方画素変換、レンズ歪み補正、および円筒変換を施して複数枚の画像を同一平面に変換し、同一平面に変換された複数枚の画像を貼り合わせ、撮影された複数枚の画像と、複数枚の画像を貼り合わせることによって、生成される貼り合わせ情報とを記録媒体に記録し、貼り合わせられた画像を表示部に表示し、再生時に、記録媒体から読み出された複数枚の画像に対して、記録媒体から読み出された貼り合わせ情報に基づいて、正方画素変換、レンズ歪み補正、光軸方向の変換、円筒変換、および平面化変換の内３個以上の変換を一度に施して複数枚の画像を同一平面に変換し、同一平面に変換された複数枚の画像を貼り合わせて、表示部に表示する撮像画像合成方法である。
【００１４】
複数枚の画像が光軸の方向を変えながら撮影されたときに、複数枚の画像の貼り合わせが行われ、その貼り合わせ情報（以下、ステッチ情報と称する）が生成される。撮影された複数枚の画像と、ステッチ情報とは、記録媒体に記録される。記録媒体から再生するときに、ステッチ情報に基づいて、複数枚の画像が貼り合わせられ、表示部に表示される。また、撮影された複数枚の画像から必要な部分だけを貼り合わせ、貼り合わせられた画像が表示部に表示される。
【００１５】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。なお、各図に亘り同じ機能を有するものには、同一の参照符号を付し、説明の重複を避ける。図１は、この発明が適用されたデジタルカメラの一実施形態の全体的構成を示す。被写体の像がミラーブロック１を介してカメラブロック２へ供給される。カメラブロック２では、フォーカス、ズーム、シャッタ速度、アイリスなどの制御が行われ、撮影された撮像画像を記録する記録媒体が備えられている。この一例では、１０倍ズームレンズ付きのカメラブロック２が使用される。なお、カメラブロック２は、ＰＣ（パーソナルコンピュータ）３と接続される。
【００１６】
ＰＣ３には、カメラブロック２によって撮影された画像信号を受信するための拡張ボード４と、受信した画像信号を記録するためのＨＤＤ５とが少なくとも設けられている。ＨＤＤ５には、撮影の様々な設定などを制御するためのアプリケーションソフトウェア（ＡＰ）６がインストールされている。拡張ボード４は、画像信号を伝送することができれば良く、例えばＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４またはＵＳＢ（Universal Serial Bus）を使用しても良い。この実施形態では、ＩＥＥＥ１３９４に準拠した拡張ボード４を使用し、カメラブロック２と、ＰＣ３との間を、ＩＥＥＥ１３９４用のケーブルで接続し、例えば２００Ｍｂｐｓで画像信号が伝送される。なお、ＰＣ３には、出力機器としてモニタ７が接続され、入力機器としてキーボード（Ｋ／Ｂ）８、マウス９が接続される。
【００１７】
ミラーブロック１は、ミラーサーボ回路１１および制御回路１２によって、制御される。このとき用いられるミラーブロック１は、縦方向に±１５度振れるアクティブミラーを横方向に±１２０度回転させる構造のアクティブミラー装置である。このミラーブロック１では、縦方向に±１５度ミラーを振ると、光軸を±３０度振ることができる。ミラーサーボ回路１１では、ＰＣ３からカメラブロック２を介して伝送された信号と、制御回路１２からの信号とに応じてミラーブロック１が制御される。また、ミラーブロック１の制御に合わせて、撮影のタイミング用のトリガ信号がミラーサーボ回路１１からカメラブロック２へ供給される。また、ミラーサーボ回路１１および制御回路１２を動作させるための電源は、電源部１３から供給される。
【００１８】
このデジタルカメラを用いて撮影から表示までの工程の第１の例を図２のフローチャートを参照して説明する。ステップＳ１では、動画または静止画が撮影される。ステップＳ２では、撮影された撮像画像に対してＭＰＥＧ（Moving Pictures Expert Group）またはＪＰＥＧ（Joint Photographic Expert Group）の圧縮が施される。ステップＳ３では、圧縮が施された撮像画像（以下、圧縮画像と称する）が記録媒体に記録される。ステップＳ４では、記録媒体に記録された複数の圧縮画像が再生され、伸張される。
【００１９】
ステップＳ５では、伸張された撮像画像に対して、合成するための正方画素変換、レンズ歪補正および円筒変換が行われる。ステップＳ６では、変換処理が施された複数の画像が貼り合わされる。ステップＳ７では、複数の画像が貼り合わされるときのステッチ情報が記録媒体に記録される。
【００２０】
ステップＳ８では、記録媒体に記録された複数の圧縮画像および複数のステッチ情報が再生される。このとき、複数の圧縮画像は、再生された後、伸張される。ステップＳ９では、伸張された複数の画像に対して、正方画素変換、レンズ歪補正、円筒変換および平面化変換が一度に行われる。ステップＳ１０では、合成された画像が表示される。
【００２１】
また、このデジタルカメラを用いて撮影から表示までの工程の第２の例として、ステップＳ９において、伸張された複数の画像に対して、正方画素変換、レンズ歪補正および光軸方向の変換を一度に行うようにしても良い。
【００２２】
この表示までの工程の第１および第２の例では、表示される合成画像に施される補間処理が１回とされる。そのため、解像度の劣化を最小限に抑えることができる。
【００２３】
このように、表示までの工程の第１および第２の例では、まず図３Ａに示すように、撮影部２１で撮影された撮像画像は圧縮され、圧縮画像として記録媒体２２へ記録される。記録媒体２２に記録された複数の圧縮画像は、再生され伸張された後、貼り合わせ部２３へ供給され、全ての圧縮画像が貼り合わされる。そのとき、生成されるステッチ情報は、記録媒体２２へ記録される。そして、図３Ｂに示すように、表示するときに、記録媒体２２に記録された複数の圧縮画像と、ステッチ情報とが貼り合わせ部２３へ供給される。貼り合わせ部２３では、表示部２４に表示する部分の画像のみ貼り合わせが行われる。貼り合わされた画像は、表示部２４に表示される。
【００２４】
すなわち、表示するときに、表示する部分のみステッチ情報に基づいて、記録されている複数の圧縮画像が貼り合わされ、合成画像を表示することができる。また、記録されている複数の圧縮画像と、ステッチ情報とが送信側から受信側へ送信され、受信側において、複数の画像を貼り合わせ、表示することもできる。
【００２５】
ここで、このデジタルカメラを用いて撮影から表示までの工程の第３の例を図４のフローチャートを参照して説明する。ステップＳ２１では、動画または静止画が撮影される。ステップＳ２２では、撮影された撮像画像に対してＭＰＥＧまたはＪＰＥＧの圧縮が施される。ステップＳ２３では、圧縮が施された、圧縮画像が記録媒体に記録される。ステップＳ２４では、記録媒体に記録された複数の圧縮画像が再生され、伸張される。この再生時に画角と光軸の中心の方向とが決まっている場合、ステップＳ２５において、正方画素変換、レンズ歪補正および光軸の方向の変換が行われる。ステップＳ２６では、複数の画像が貼り合わされる。ステップＳ２７では、貼り合わされた画像が表示される。
【００２６】
このように、表示までの工程の第３の例では、図５に示すように、撮影部２１で撮影された撮像画像は圧縮され、圧縮画像として記録媒体２２へ記録される。記録媒体２２に記録された複数の圧縮画像は、表示部２４に表示される圧縮画像のみ再生され伸張された後、貼り合わせ部２３へ供給され、貼り合わされる。貼り合わされた画像は、表示部２４で表示される。
【００２７】
すなわち、この表示までの工程の第３の例では、記録媒体２２に記録されている画像を表示するときに、表示する部分のみ再生し、伸張し、貼り合わせ、表示することができる。この表示までの工程の第３の例では、記録媒体２２を用いているが、この記録媒体２２を用いなくても良い。例えば、撮影された画像をそのまま送信し、貼り合わせ部２３へ供給するようにしても良い。具体的には、ＴＶ放送の生放送に用いることができる。
【００２８】
ここで、この表示までの工程の第３の例の一回の補間処理で貼り合わせについて、説明する。まず、表示部２４に表示すべき方向と画角と傾斜とが決められる。表示サイズをｈｍ×ｖｍ画素としてｖ＝１〜ｖｍ、ｈ＝１〜ｈｍの全ての画素に対してその位置が原画像のどこに相当するかが計算される。
【００２９】
その計算の一例を説明する。カメラの視点を原点Ｏにとり、ｘ、ｙ、ｚの座標系を図６に示すようにする。焦点距離ｆ［ｍ］の位置に画像平面Ｇがある。画像上の点Ｐは、被写体平面Ｈ上の点Ｑが投影されている。被写体平面Ｈ上の点Ｃは、被写体の中心であり、この一例では、ｚ軸上とした。
【００３０】
投影された画像について、
ｄｘ：ｘ方向の画素サイズ[ｍ／pixel]
ｄｙ：ｙ方向の画素サイズ[ｍ／pixel]
ξ：ｘ方向の位置[pixel]
η：ｙ方向の位置[pixel]
で表される。
【００３１】
また、変換された画像について、
ｅｘ：ｘ方向の画素サイズ[ｍ／pixel]
ｅｙ：ｙ方向の画素サイズ[ｍ／pixel]
ξ'：ｘ方向の位置[pixel]
η'：ｙ方向の位置[pixel]
で表される。
【００３２】
画像上の点Ｐは、次のように表すことができる。
【数１】

【００３３】
点Ｐに対応する被写体上の点Ｑを
【数２】

【００３４】
とすると、点Ｐおよび点Ｑは一直線上にあるので、
【数３】

【００３５】
ｚ座標から
ｋ＝−ｆ／ｚｑ
となる。
【００３６】
撮影された画像のｘ方向の位置ξ[pixel] 、ｙ方向の位置η[pixel] について解くと、
【数４】

【００３７】
変換後の画像上の位置ξ'および位置η'から点Ｑを求めるためには、
【数５】

【００３８】
カメラの姿勢を表す行列Ｒは、
【数６】

ただし、θはパン角、φはチルト角、ρはロール角である。
【００３９】
逆行列を求めると、
【数７】

となる。
【００４０】
ここで、画像の位置が（ｘ，ｙ）であると計算された場合、もしレンズ歪みがなければ点（ｘ，ｙ）に最も近い点の画素値をその値として出力する（以下、出力画素値と称する）（Nearest Neighbor法）ことができる。点（ｘ，ｙ）を囲む４点の画素値から比例配分などの方法（直線補完法）で出力画素値を決めれば良い。さらに、一般的には、点（ｘ，ｙ）を囲む複数の画素値に重みを付けてフィルタ操作をして出力画素値を決める（キュービックコンボルーション）。
【００４１】
レンズに歪みがある場合、その歪みが画面の中央からの距離に対してある関数で補正可能である場合は、次のようにする。図７において、点（ｘｄ，ｙｄ）がその補正によって点（ｘ，ｙ）に移動するとした場合、逆補正を行う。すなわち、点（ｘ，ｙ）が点（ｘｄ，ｙｄ）に変換される関数を使う。すると、点（ｘ，ｙ）の画素は、実は点（ｘｄ，ｙｄ）に移動して映っているのでこの近くの画素を出力画素値とすれば良い。レンズ歪みが単純な関数でない場合でも変換テーブルなどを用いて１対１の対応がとれていれば、この変換テーブルを逆算して用いることができる。
【００４２】
この第３の例が原画像のみから再生時に一気に貼り合わせているのに対し、第１および第２の例は、一度貼り合わせ処理を行い、その処理内容をステッチ情報として記録するものである。そして、再生時に原画像とステッチ情報とを読み出して必要部分だけを貼り合わせる。一般に貼り合わせ処理では、試行錯誤による繰り返し演算が発生し、処理に時間がかかるものである。この処理を撮影した画像を記録した直後に一回行って、最終結果に至る道筋だけをステッチ情報として記録しておき、再生時に使う方法が第１および第２の例である。
【００４３】
上述した比例配分（直線補完法）によって点（ｈ，ｖ）を算出する一例を図８を参照して説明する。表示画像のある点（ｈ，ｖ）が画像Ａの点（ｘ０，ｙ０）の位置であると計算されたとする。このとき、ｈ、ｖは整数とし、ｘ０、ｙ０は実数とする。また、表示画像のある点（ｈ，ｖ）は、画像Ａの点（ｘ０，ｙ０）の位置であると共に、画像Ｂの点（ｘ２，ｙ２）の位置でもあると計算されたとしよう。この場合は、両方の画像の画素を使用して補間処理を行う方が良い結果を得ることができる。
【００４４】
点（ｘ０，ｙ０）を囲む４点を点（ｘ１，ｙ１）、点（ｘ１，ｙ１＋１）、点（ｘ１＋１，ｙ１）、点（ｘ１＋１，ｙ１＋１）とする。点（ｘ０，ｙ０）の相対位置を示すパラメータａ、ｂを
ａ＝ｘ１＋１−ｘ０
ｂ＝ｙ１＋１−ｙ０
とする。
【００４５】
これで、点（ｘ０，ｙ０）の画素値Ｙ（ｘ０，ｙ０）は、次のように計算される。
Ｙ（ｘ１，ｙ０）＝ｂ・Ｙ（ｘ１，ｙ１）＋（１−ｂ）・Ｙ（ｘ１，ｙ１＋１）
Ｙ（ｘ１＋１，ｙ０）＝ｂ・Ｙ（ｘ１＋１，ｙ１）＋（１−ｂ）・Ｙ（ｘ１＋１，ｙ１＋１）
Ｙ（ｘ０，ｙ０）＝ａ・Ｙ（ｘ１，ｙ０）＋（１−ａ）・Ｙ（ｘ１＋１，ｙ０）
【００４６】
同様の方法で画像Ｂから点（ｈ，ｖ）直線補間を算出する。点（ｘ２，ｙ２）を囲む４点を点（ｘ３，ｙ３）、点（ｘ３，ｙ３＋１）、点（ｘ３＋１，ｙ３）、点（ｘ３＋１，ｙ３＋１）とする。点（ｘ２，ｙ２）の相対位置を示すパラメータｃ、ｄを
ｃ＝ｘ３＋１−ｘ２
ｄ＝ｙ３＋１−ｙ２
とする。
【００４７】
これで点（ｘ２，ｙ２）の画素値Ｙ（ｘ２，ｙ２）は、次のように計算される。
Ｙ（ｘ３，ｙ２）＝ｄ・Ｙ（ｘ３，ｙ３）＋（１−ｄ）・Ｙ（ｘ３，ｙ３＋１）
Ｙ（ｘ３＋１，ｙ２）＝ｄ・Ｙ（ｘ３＋１，ｙ３）＋（１−ｄ）・Ｙ（ｘ３＋１，ｙ３＋１）
Ｙ（ｘ２，ｙ２）＝ｃ・Ｙ（ｘ３，ｙ２）＋（１−ｃ）・Ｙ（ｘ３＋１，ｙ２）
【００４８】
ここで、ａおよび（１−ａ）を比較し、小さい方をａ２とし、ｂおよび（１−ｂ）を比較し、小さい方をｂ２としたとき、
ｒａ＝ｓｑｒ（ａ２＾２＋ｂ２＾２）
は、画像Ａ内で最も近い画素までの距離を示す。
【００４９】
同様に、ｃおよび（１−ｃ）を比較し、小さい方をｃ２とし、ｄおよび（１−ｄ）を比較し、小さい方をｄ２としたとき、
ｒｃ＝ｓｑｒ（ｃ２＾２＋ｄ２＾２）
は、画像Ｂ内で最も近い画素までの距離を示す。
【００５０】
画像Ａから補間した画素値と、画像Ｂから補間した画素値とを加重平均する場合、より近い画素の重みを重くすれば良い。
ｅ＝ｒａ／（ｒａ＋ｒｃ）
Ｙ＝ｅ・Ｙ（ｘ０，ｙ０）＋（１−ｅ）・Ｙ（ｘ２，ｙ２）
このＹが出力画素値の最終結果となる。
【００５１】
ここで、格子模様の壁面を持つ直方体の部屋の内部を、一カ所から色々な方向を向いて撮影した一例を用いて説明する。図９は、正面を撮影したものであり、水平画角は５２[deg pp]である。図１０Ａは、光軸を左に２０度傾けて撮影したものであり、図１０Ｂは、図９に示す壁面と、図１０Ａの同一となる壁面とを同一平面に変換したものである。図１１Ａは、光軸を上に２０度傾けて撮影したものであり、図１１Ｂは、図９に示す壁面と、図１１Ａの同一となる壁面とを同一平面に変換したものである。図１２Ａは、光軸を時計回りに２０度傾けて撮影したものであり、図１２Ｂは、図９に示す壁面と、図１２Ａの同一となる壁面とを同一平面に変換したものである。図１３Ａは、光軸を左に２０度且つ上に２０度傾けて撮影したものであり、図１３Ｂは、図９に示す壁面と、図１３Ａの同一となる壁面とを同一平面に変換したものである。図１４Ａは、光軸を左に２０度、上に２０度且つ時計回りに２０度傾けて撮影したものであり、図１４Ｂは、図９に示す壁面と、図１４Ａの同一となる壁面とを同一平面に変換したものである。
【００５２】
このように、全ての画像を、正面を向いて撮影したように変換することができる。図１０Ｂ、図１１Ｂ、図１２Ｂ、図１３Ｂおよび図１４Ｂが４角形になっていないのは、出力画像のサイズを１２０％に制限しているためであり、その制限を外せば、四角形として表示させることができる。
【００５３】
この実施形態では、撮影される画像は、１つの撮影部から得られる信号として説明されているが、複数の撮影部から得られる複数の信号を同時に記録／再生することも可能である。具体的には、固定された複数の撮像部から構成される撮影手段で重複する複数枚の画像が撮影される。撮影された複数枚の画像は、上述したように記録／再生することができ、さらに張り合わせることができる。
【００５４】
【発明の効果】
この発明に依れば、撮影から表示されるまで間に補間処理が１回で済むため、解像度の劣化を最小限に抑えることができる。
【００５５】
この発明に依れば、重複領域では、画素ずらしの効果で解像度とＳ／Ｎ比が上がり、より正しい補間が可能になった。
【図面の簡単な説明】
【図１】この発明を適用することができる撮影システムのブロック図である。
【図２】この発明の第１の処理を説明するためのフローチャートである。
【図３】この発明の第１および第２の処理を説明するためのブロック図である。
【図４】この発明の第３の処理を説明するためのフローチャートである。
【図５】この発明の第３の処理を説明するためのブロック図である。
【図６】この発明を説明するための略線図である。
【図７】この発明を説明するための略線図である。
【図８】この発明を説明するための略線図である。
【図９】この発明を説明するための略線図である。
【図１０】この発明を説明するための略線図である。
【図１１】この発明を説明するための略線図である。
【図１２】この発明を説明するための略線図である。
【図１３】この発明を説明するための略線図である。
【図１４】この発明を説明するための略線図である。
【図１５】従来の処理を説明するためのブロック図である。
【符号の説明】
１・・・ミラーブロック、２・・・カメラブロック、３・・・ＰＣ、４・・・拡張ボード、５・・・ＨＤＤ、６・・・アプリケーションソフトウェア、７・・・モニタ、８・・・キーボード、９・・・マウス、１１・・・ミラーサーボ回路、１２・・・制御回路、１３・・・電源部

Claims

複数枚の画像を１枚に合成する撮像画像合成装置において、
光軸の方向を変えることが可能な光軸可変素子を備えた第１の撮像部と、固定された複数の撮像部を備えた第２の撮像部との何れか一方を備え、備えられた上記第１および第２の撮像部の何れか一方から撮影された複数枚の画像を獲得する撮影手段と、
撮影された上記複数枚の画像の貼り合わせ情報を生成するために、上記撮影された上記複数枚の画像に対して、正方画素変換、レンズ歪み補正、および円筒変換を施して上記複数枚の画像を同一平面に変換し、同一平面に変換された上記複数枚の画像を貼り合わせる貼り合わせ手段と、
撮影された上記複数枚の画像と、上記複数枚の画像を貼り合わせることによって、生成される上記貼り合わせ情報とを記録媒体に記録する記録手段と、
貼り合わせられた画像を表示する表示部とを有し、
再生時に、上記記録媒体から読み出された上記複数枚の画像に対して、上記記録媒体から読み出された上記貼り合わせ情報に基づいて、正方画素変換、レンズ歪み補正、光軸方向の変換、円筒変換、および平面化変換の内３個以上の変換を一度に施して上記複数枚の画像を同一平面に変換し、同一平面に変換された上記複数枚の画像を貼り合わせて、上記表示部に表示する撮像画像合成装置。
複数枚の画像を１枚に合成する撮像画像合成方法において、
光軸の方向を変えることが可能な光軸可変素子を備えた第１の撮像部と、固定された複数の撮像部を備えた第２の撮像部との何れか一方から撮影された複数枚の画像を獲得する撮影手段と、
撮影された上記複数枚の画像の貼り合わせ情報を生成するために、上記撮影された上記複数枚の画像に対して、正方画素変換、レンズ歪み補正、および円筒変換を施して上記複数枚の画像を同一平面に変換し、同一平面に変換された上記複数枚の画像を貼り合わせ、
撮影された上記複数枚の画像と、上記複数枚の画像を貼り合わせることによって、生成される上記貼り合わせ情報とを記録媒体に記録し、
貼り合わせられた画像を表示部に表示し、
再生時に、上記記録媒体から読み出された上記複数枚の画像に対して、上記記録媒体から読み出された上記貼り合わせ情報に基づいて、正方画素変換、レンズ歪み補正、光軸方向の変換、円筒変換、および平面化変換の内３個以上の変換を一度に施して上記複数枚の画像を同一平面に変換し、同一平面に変換された上記複数枚の画像を貼り合わせて、上記表示部に表示する撮像画像合成方法。