JP5578442B2 - 撮像装置、画像合成方法、及びプログラム - Google Patents

Description

本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、画像合成方法、及びプログラムに関する。

従来より、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出し、これらの特徴点が一致するように隣接する画像を結合合成してパノラマ画像を得ることが行われている（特許文献１参照）。

特開平１１−２８２１００号公報

しかしながら、上記従来技術では、パノラマ撮像を行う際に、水平方向のサイズに規定がなく、３６０度の範囲であれば、ユーザが撮影したい画角範囲で撮影可能であった。このため、最終的に得られるパノラマ画像のアスペクト比は、規格外となり（いわゆる４：３や、１６：９とはならず）、一般的な表示装置で鑑賞するにはよいが、それ以外の使い道がなく、例えば印刷する場合にも不便であった。言い換えると、従来技術では、ユーザが所望するアスペクト比の広角画像を得ることが難しいという問題があった。

そこで本発明は、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる撮像装置、画像合成方法、及びプログラムを提供することを目的とする。

この発明は、任意のアスペクト比を設定する設定手段と、撮像された複数の画像を合成することで生成された合成画像を取得する合成画像取得手段と、前記合成画像のアスペクト比と前記任意のアスペクト比とが異なるか否かを判断するアスペクト比判断手段と、前記アスペクト比判断手段により前記合成画像のアスペクト比と前記任意のアスペクト比とが異なると判断された場合、前記設定手段によって設定された任意のアスペクト比の画像となるように、前記合成画像取得手段によって取得された合成画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。

この発明によれば、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 通常の撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラ１の動作を説明するための概念図である。 本第１実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。 本第１実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。 本第２実施形態によるデジタルカメラ１での動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラ１の動作を説明するための概念図である。 本第２実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing Generator）６、ユニット回路７、画像処理部８、ＣＰＵ１１、ＤＲＡＭ１２、メモリ１３、フラッシュメモリ１４、画像表示部１５、キー入力部１６、カードＩ／Ｆ１７、及びメモリ・カード１８を備えている。

撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１１からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１から送られてくる制御信号に従って絞り４を動作させる。該絞り４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。なお、ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理、ユーザが指定したアスペクト比の広角画像となるように合成画像に対してトリミングや、リサイズなどの画像処理などを行う。なお、画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ＣＰＵ１１は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ユーザがデジタルカメラ１を動かしている間に、ＣＰＵ１１は、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように（例えば、αブレンドを用いて）合成していき、広角で撮像したような１枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。

ＤＲＡＭ１２は、ＣＣＤ５によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１のワーキングメモリとして使用される。メモリ１３は、ＣＰＵ１１によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１１は、このプログラムに従って処理を行う。フラッシュメモリ１４や、メモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。

画像表示部１５は、アスペクト比が４：３のカラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４や、メモリ・カード２３から読み出され、伸張された記録画像を表示させる。キー入力部１６は、シャッタＳＷ、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。カードＩ／Ｆ１７には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード１８が着脱自在に装着されている。

図２は、通常の撮像モードを説明するための概念図である。デジタルカメラ１で、通常の撮像モードで撮影する場合には、図２に示すように、当該デジタルカメラ１の撮像系の画角の画像３０でしか撮影できない。

図３は、本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。ユーザは、所望する景色に対して、画角の長手方向を縦方向になるように、デジタルカメラ１を縦方向に構え、シャッタＳＷを押下（半押し→全押し）し、図３に示す矢印のように、水平方向（左端から右方向）に動かす。デジタルカメラ１では、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次画像を撮像しつつ、所定のタイミングで合成用画像を取り込み、前後の合成用画像同士を合成することで、所望する広角画像４０、４１を生成する。広角画像４０は、アスペクト比が４：３の広角画像であり、広角画像４１は、アスペクト比が１６：９の広角画像である。

本第１実施形態では、予めユーザが所望するアスペクト比を指定すれば、水平方向へどのくらい移動させればよいか（移動距離、撮影範囲）を、ユーザに容易に分かるように提示することで、所望するアスペクト比の広角画像を容易に撮像することができるようにする。なお、本第１実施形態で得られる広角画像は、アスペクト比が４：３の広角画像４０、または、アスペクト比が１６：９の広角画像であるが、いずれも縦方向の画素数を共通としている（例えば、４０００画素）。このため、縦方向を共通の画素数とすることで、画像表示部１５に全画面表示する際でも同じ比率で縮小処理すればよい。

また、本第１実施形態では、画角の長手方向が縦方向になるように、デジタルカメラ１を縦方向に構えた状態で、水平方向に移動させて広角画像を撮影している。これは、縦方向の画素数を大きくとることで、所望するアスペクト比の広角画像を得るための移動量を可能な限り少なくし、ユーザの負担を軽減するためである。

また、本第１実施形態では、最終的に、所望するアスペクト比の広角画像を生成する際に行わなければならない、リサイズや、クリッピングなどの画像処理を最小限とすることで、ハードウェアに対する負荷の低減化や、低消費電力化などを図っている。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図４は、本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。図５は、本第１実施形態によるデジタルカメラ１の動作を説明するための概念図である。まず、ユーザにより最終的に得られる広角画像のアスペクト比を入力または選択させ、そのアスペクト比を設定する（ステップＳ１０）。ＣＰＵ１１は、シャッタＳＷが半押しされると（ステップＳ１２）、ＡＦ（オートフォーカス）処理を実行する（ステップＳ１４）。

ユーザは、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ１を縦方向に構え、左上でシャッタＳＷを押下（半押し→全押し）し、シャッタＳＷを全押した後、デジタルカメラ１を水平方向に回転させるように移動させる（図３を参照）。デジタルカメラ１を縦方向に構えることで、図５に示すように、一度に撮影される画像は、３０００×４０００ドットのサイズとなる。この場合、縦が４０００ドットとなるので、４：３のアスペクト比のパノラマ画像を生成するためには、横サイズが５３３２ドットとなる。すなわち、撮像サイズ５０は、５３３２×４０００ドットとなる。

ＣＰＵ１１は、シャッタＳＷが全押しされると（ステップＳ１６）、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、所定の位置に到達する度に撮像した画像を合成用画像として取り込むとともに、取り込んだ合成用画像を順次合成することで、図５に示すように、１つの合成画像５１を生成する（ステップＳ１８）。該合成画像５１は、５３３２×４０００ドットのサイズとなる。なお、連写処理＆合成処理の詳細については後述する。

次に、ＣＰＵ１１は、連写終了であるか否かを判断する（ステップＳ２０）。連写終了は、予め設定された撮像サイズの終端に到達したことを契機とする。そして、連写が終了していない場合には（ステップＳ２０のＮＯ）、ステップＳ１８に戻り、連写処理＆合成処理を継続する。一方、連写が終了した場合には（ステップＳ２０のＹＥＳ）、設定されたアスペクト比が４：３であるか否かを判断する（ステップＳ２２）。

そして、アスペクト比が４：３に設定（指定）されている場合には（ステップＳ２２のＹＥＳ）、５３３２×４０００ドットの合成画像５１を、アスペクト比４：３、４０００×３０００ドットの広角画像５２にリサイズ（アスペクト比固定で縮小）して保存する（ステップＳ２４）。

一方、アスペクト比が１６：９に設定（指定）されている場合には（ステップＳ２２のＮＯ）、５３３２×４０００ドットの合成画像５１を、アスペクト比４：３、４０００×３０００ドットにリサイズした後、アスペクト比１６：９、４０００×２２４０の広角画像５３にトリミング（切り抜き）して保存する（ステップＳ２６）。したがって、この場合、アスペクト比４：３の広角画像５２と、アスペクト比１６：９の広角画像５３とは、撮影角度（横方向の撮影範囲）が同じである。

図６は、本第１実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。なお、該連写処理＆合成処理の実行中、ＣＰＵ１１は、ＣＣＤ５などを制御し、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像している。該撮像画像は、全て合成用画像として取り込まれるわけでなく、所定の取り込み位置で撮像された画像が合成用画像として取り込まれ、それ以外の撮像画像は廃棄される。

まず、ＣＰＵ１１は、デジタルカメラ１が一定距離動いたか否かを判断する（ステップＳ３０）。ＣＰＵ１１は、所定の時間間隔で順次撮像している画像の重複領域を判定することにより、所定の取り込み位置で撮像された画像であるか否かを判断している。所定の取り込み位置とは、１つ前に取り込んだ合成用画像と所定の領域（例えば、１／３など）だけ重複した画像のことである。言い換えると、合成に必要とされる重複領域が含まれる画像のことである。

つまり、合成用画像として取り込むべき画像であれば、所定の位置に到達したことになり、デジタルカメラ１が一定距離動いたことになる。これに対して、重複している領域が大きければ、まだ、所定の位置に到達しておらず、重複している領域が小さければ、所定の位置を通りすぎたことになる。

そして、デジタルカメラ１が一定距離動いていない場合には（ステップＳ３０のＮＯ）、まだ、所定の位置に到達していないので、ステップＳ３０を繰り返し実行する。一方、デジタルカメラ１が一定距離動いた場合には（ステップＳ３０のＹＥＳ）、そのときの撮像画像を取り込んで保存する（ステップＳ３２）。

次に、ＣＰＵ１１は、１つ前の合成用画像と今回取り込んだ合成用画像と一部が重複するように（例えば、αブレンドを用いて）合成して保存する（ステップＳ３４）。その後、図４に示すメインルーチンに戻る。

そして、予め設定された撮像サイズの終端に到達するまで、順次取り込まれる複数の合成用画像を順次合成することにより、１つの繋がった合成画像（パノラマ画像）が得られる。

図７は、本第１実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。図７に示すように、パノラマ撮影時、画像表示部１５には、予め設定された撮像範囲６０が表示され、該撮像範囲６０には、上記連写＆合成処理のステップＳ３４で逐次合成される合成画像（の縮小）が逐次表示される。これにより、ユーザは、撮影中に、どのくらい撮像したのか、どのくらい撮像しなければならないのかを知ることができる。

上述した第１実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる。

なお、上述した第１実施形態において、アスペクト比の指示、設定は、撮影に先立って行われたが、これに限らず、撮影終了後に指示するようにしてもよい（例えば、図４のステップＳ２０とＳ２２の間）。

また、上述した第１実施形態において、図５に示すように、５３３２×４０００ドットの合成画像５１から、アスペクト比１６：９、４０００×２２４０の広角画像５３をトリミング（切り抜き）する際に、合成画像５１のどの部分をトリミングするかを、ユーザ操作により指定可能としてもよい。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、撮影に先立ってアスペクト比の指示が行われると、該アスペクト比に対応した合成画像を撮影、作成後に、リサイズを行って所望するアスペクト比の広角画像を作成することを特徴としている。なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。

図８は、本第２実施形態によるデジタルカメラ１での動作を説明するためのフローチャートである。図９は、本第２実施形態によるデジタルカメラ１の動作を説明するための概念図である。まず、ユーザにより最終的に得られる広角画像のアスペクト比を入力または選択させ、そのアスペクト比を設定する（ステップＳ４０）。ＣＰＵ１１は、アスペクト比に応じた撮像サイズを設定する（ステップＳ４２）。

アスペクト比が４：３の場合には、図９（ａ）に示すように、５３３２×４０００ドットの撮像サイズ７０とする。一度に撮影される画像は、デジタルカメラ１を縦方向に構えることで、３０００×４０００ドットのサイズとなる。また、アスペクト比が１６：９の場合には、図９（ｂ）に示すように、７１１１×４０００ドットの撮像サイズ８０とする。一度に撮影される画像は、アスペクト比が４：３の場合と同様に、デジタルカメラ１を縦方向に構えることで、３０００×４０００ドットのサイズとなる。

次に、ＣＰＵ１１は、シャッタＳＷが半押しされると（ステップＳ４４）、ＡＦ（オートフォーカス）処理を実行する（ステップＳ４６）。

ユーザは、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ１を縦方向に構え、シャッタＳＷを押下（半押し→全押し）し、シャッタＳＷを全押した後、デジタルカメラ１を水平方向に移動させる（図３を参照）。

ＣＰＵ１１は、シャッタＳＷが全押しされると（ステップＳ４８）、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、所定の位置に到達する度に撮像した画像を合成用画像として取り込むとともに、取り込んだ合成用画像を順次合成することで、１つの広角画像を生成する（ステップＳ５０）。

アスペクト比が４：３の場合には、図９（ａ）に示すように、５３３２×４０００ドットの合成画像７１となる。また、アスペクト比が１６：９の場合には、図９（ｂ）に示すように、７１１１×４０００ドットの合成画像８１となる。なお、連写処理＆合成処理の詳細については、前述した第１実施形態と同様であるので省略する（図６を参照）。

次に、ＣＰＵ１１は、連写終了であるか否かを判断する（ステップＳ５２）。連写終了は、予め設定された撮像サイズの終端に到達したことを契機とする。つまり、アスペクト比が４：３の場合には、５３３２×４０００ドットの合成画像７１が作成されると連写終了となり、アスペクト比が１６：９の場合には、７１１１×４０００ドットの合成画像８１が作成されると連写終了となる。そして、連写が終了していない場合には（ステップＳ５２のＮＯ）、ステップＳ５０に戻り、連写処理＆合成処理を継続する。一方、連写が終了した場合には（ステップＳ５２のＹＥＳ）、設定されたアスペクト比が４：３であるか否かを判断する（ステップＳ５４）。

そして、アスペクト比が４：３に設定（指定）されている場合には（ステップＳ５４のＹＥＳ）、図９（ａ）に示すように、５３３２×４０００ドットの合成画像７１を、アスペクト比４：３、４０００×３０００ドットの広角画像７２にリサイズ（アスペクト比固定で縮小）して保存する（ステップＳ５６）。一方、アスペクト比が１６：９に設定（指定）されている場合には（ステップＳ２２のＮＯ）、図９（ｂ）に示すように、５３３２×４０００ドットの合成画像８１を、アスペクト比１６：９、４０００×２２４０の広角画像８２にリサイズ（アスペクト比固定で縮小）して保存する（ステップＳ５８）。したがって、この場合、アスペクト比１６：９の広角画像５３の方が、アスペクト比４：３の広角画像５２に比べ、撮影角度（水平方向の撮影範囲）が広くなっている。

図１０（ａ）、（ｂ）は、本第２実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。アスペクト比を４：３とした場合には、図１０（ａ）に示すように、パノラマ撮影時、画像表示部１５には、予め設定されたアスペクト比が４：３の撮像範囲９０が表示される。該撮像範囲９０には、上記連写＆合成処理のステップＳ５０で逐次合成される合成画像（の縮小）が逐次表示される。

一方、アスペクト比を１６：９とした場合には、図１０（ｂ）に示すように、パノラマ撮影時、画像表示部１５には、予め設定されたアスペクト比が１６：９の撮像サイズ９１が表示される。該撮像サイズ９１には、上記連写＆合成処理のステップＳ５０で逐次合成される合成画像（の縮小）が逐次表示される。これにより、ユーザは、撮影中に、どのくらい撮像したのか、どのくらい撮像しなければならないのかを知ることができる。

上述した第２実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる。

また、上述した第１、第２実施形態においては、所定の位置に到達したか否かを撮像される画像に基づいて判断するようにしたが、これに限らず、方位センサや加速度センサなどの情報を用いるようにしてもよい。

なお、上述した第１、第２実施形態においては、所望するアスペクト比を入力・設定するようにしたが、さらに、最終的に得られる広角画像の画像サイズを指定するようにしてもよい。この場合、最終的な広角画像を作成する際に、指定されたアスペクト比、指定された画像サイズに合うように、リサイズ、トリミングを適宜行うようにする。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、前記撮像手段により順次撮像する撮像制御手段と、第１のアスペクト比を設定する設定手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、前記所定のアスペクト比が前記第１のアスペクト比と異なる場合は、前記設定手段によって設定された第１のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。

（付記２）
付記２に記載の発明は、前記設定手段は、前記第１のアスペクト比に加え、最終的に得られる広角画像のサイズを設定し、前記画像処理手段は更に、前記設定手段によって設定されたサイズに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像をリサイズすることを特徴とする付記１に記載の撮像装置である。

（付記３）
付記３に記載の発明は、前記撮像制御手段は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像することを特徴とする付記１または２に記載の撮像装置である。

（付記４）
付記４に記載の発明は、表示手段と、前記所定のアスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段とを更に備えることを特徴とする付記１乃至３のいずれかに記載の撮像装置である。

（付記５）
付記５に記載の発明は、撮像手段と、生成すべき広角画像のアスペクト比を設定する設定手段と、前記撮像手段により順次撮像する撮像制御手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。

（付記６）
付記６に記載の発明は、前記設定手段は、前記アスペクト比に加え、合成すべき広角画像のサイズを設定し、前記画像処理手段は更に、前記設定手段によって設定されたサイズとに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対して更にリサイズを行うことを特徴とする付記５に記載の撮像装置である。

（付記７）
付記７に記載の発明は、前記撮像制御手段は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像することを特徴とする付記５または６に記載の撮像装置である。

（付記８）
付記８に記載の発明は、表示手段と、前記アスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段とを更に備えることを特徴とする付記５乃至７のいずれかに記載の撮像装置である。

（付記９）
付記９に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、前記撮像手段により順次撮像させる撮像制御ステップと、第１のアスペクト比を設定する設定ステップと、前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成ステップと、前記所定のアスペクト比が前記第１のアスペクト比と異なる場合は、前記第１のアスペクト比の広角画像となるように、前記パノラマ画像に対してトリミングを行う画像処理ステップとを含むことを特徴とする画像合成方法である。

（付記１０）
付記１０に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、生成すべき広角画像のアスペクト比を設定する設定ステップと、前記撮像手段により順次撮像させる撮像制御ステップと、前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、前記アスペクト比に基づいて、前記パノラマ生成ステップで生成されたパノラマ画像に対してトリミングを行う画像処理ステップとを含むことを特徴とする画像合成方法である。

（付記１１）
付記１１に記載の発明は、撮像手段を備える撮像装置のコンピュータを、前記撮像手段により順次撮像する撮像制御手段、第１のアスペクト比を設定する設定手段、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段、前記所定のアスペクト比が前記第１のアスペクト比と異なる場合は、前記設定手段によって設定された第１のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段として機能させることを特徴とするプログラムである。

（付記１２）
付記１２に記載の発明は、撮像手段を備える撮像装置のコンピュータを、生成すべき広角画像のアスペクト比を設定する設定手段、前記撮像手段により順次撮像する撮像制御手段、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段、前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段として機能させることを特徴とするプログラムである。

１ デジタルカメラ
２ 撮像レンズ
３ レンズ駆動部
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ 画像処理部
１１ ＣＰＵ
１２ ＤＲＡＭ
１３ メモリ
１４ フラッシュメモリ
１５ 画像表示部
１６ キー入力部
１７ カードＩ／Ｆ
１８ メモリ・カード

Claims (16)

1. 任意のアスペクト比を設定する設定手段と、
   撮像された複数の画像を合成することで生成された合成画像を取得する合成画像取得手段と、
   前記合成画像のアスペクト比と前記任意のアスペクト比とが異なるか否かを判断するアスペクト比判断手段と、
   前記アスペクト比判断手段により前記合成画像のアスペクト比と前記任意のアスペクト比とが異なると判断された場合、前記設定手段によって設定された任意のアスペクト比の画像となるように、前記合成画像取得手段によって取得された合成画像に対してトリミングを行う画像処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記画像処理手段は、更に、前記判断手段により前記合成画像のアスペクト比と前記任意のアスペクト比とが異ならないと判断された場合、前記合成画像をリサイズすることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記任意のアスペクト比に加え、最終的に得られる合成画像のサイズを設定し、
   前記画像処理手段は更に、前記設定手段によって設定されたサイズに基づいて、前記合成画像取得手段によって取得された合成画像をリサイズする
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像手段と、
   前記撮像手段により撮像された複数の画像を合成することで、前記合成画像を生成する合成画像生成手段と、を更に備え、
   前記合成画像取得手段は、前記合成画像生成手段により生成された合成画像を取得することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記撮像された複数の画像は、撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該画像処理装置が水平方向に移動させられている過程で順次撮像した画像である
   ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 表示手段と、
   前記合成画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示させる表示制御手段と
   を更に備えることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 撮像手段と、
   生成すべき合成画像のアスペクト比を設定する設定手段と、
   本撮像装置が略一定の方向に移動されながら前記撮像手段により連続して撮像された複数の画像から、前記設定手段により設定されたアスペクト比の前記合成画像をトリミングをせずに生成する合成画像生成手段と、
   を備えることを特徴とする撮像装置。
8. 本撮像装置が略一定の方向に移動されながら前記撮像手段により連続して撮像された複数の画像の合成画像が、前記トリミングをせずに前記設定手段により設定されたアスペクト比となる時点を特定する特定手段を更に備え、
   前記合成画像生成手段は、前記特定手段により前記設定されたアスペクト比となる時点が特定されると、当該特定された時点までに前記撮像手段により連続して撮像された画像から、前記設定手段により設定されたアスペクト比の前記合成画像を生成することを特徴とする請求項７に記載の撮像装置。
9. 前記合成画像生成手段によって生成された合成画像に対してリサイズを行う画像処理手段を更に備えたことを特徴とする請求項７又は８に記載の撮像装置。
10. 前記設定手段は、前記アスペクト比に加え、前記合成画像のサイズを設定し、
    前記画像処理手段は、更に前記設定手段によって設定されたサイズとに基づいて、前記合成画像生成手段によって生成された合成画像に対してリサイズを行う
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像手段により撮像された複数の画像は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像した画像である
    ことを特徴とする請求項７から１０の何れか１項に記載の撮像装置。
12. 表示手段と、
    前記アスペクト比の合成画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段と
    を更に備えることを特徴とする請求項７から１１の何れか１項に記載の撮像装置。
13. 任意のアスペクト比を設定する設定ステップと、
    撮像された複数の画像を合成することで生成された所定のアスペクト比の合成画像を取得する合成画像取得生成ステップと、
    前記合成画像のアスペクト比と前記任意のアスペクト比とが異なるか否かを判断するアスペクト比判断ステップと、
    前記アスペクト比判断ステップにより前記合成画像のアスペクト比と前記任意のアスペクト比とが異なると判断された場合、前記任意のアスペクト比の画像となるように、前記合成画像に対してトリミングを行う画像処理ステップと
    を含むことを特徴とする画像合成方法。
14. 略一定の方向に移動されながら画像を連続して撮像する撮像手段を備える撮像装置での画像合成方法において、
    生成すべき合成画像のアスペクト比を設定する設定ステップと、
    撮像された複数の画像から、前記アスペクト比の合成画像をトリミング処理をせずに生成する合成画像生成ステップと、
    を含むことを特徴とする画像合成方法。
15. コンピュータを、
    任意のアスペクト比を設定する設定手段、
    撮像された複数の画像を合成することで生成された合成画像を取得する合成画像取得手段、
    前記合成画像のアスペクト比と前記任意のアスペクト比とが異なるか否かを判断するアスペクト比判断手段、
    前記アスペクト比判断手段により前記合成画像のアスペクト比と前記任意のアスペクト比とが異なると判断された場合、前記設定手段によって設定された任意のアスペクト比の画像となるように、前記合成画像取得手段によって取得された合成画像に対してトリミングを行う画像処理手段
    として機能させることを特徴とするプログラム。
16. コンピュータを、
    生成すべき合成画像のアスペクト比を設定する設定手段、
    略一定の方向に移動されながら撮像手段により連続して撮像された複数の画像から、前記設定手段により設定されたアスペクト比の合成画像をトリミング処理をせずに生成する合成画像生成手段、
    として機能させることを特徴とするプログラム。

Images