JP4985808B2 - 撮像装置、及びプログラム - Google Patents

Description

本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、及びプログラムに関する。

デジタルカメラや、撮像機能を有する携帯電話などにおいては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。

そして、このような撮像画角の限界の問題に対しては、撮像装置の中には、広角撮像用のコンバージョンレンズなどを、既存のレンズ前に装着したり（例えば、特許文献１、２、３参照）、複数のレンズを予め備え、撮像目的に応じてレンズを切り替えることで対処していた（例えば、特許文献４参照）。

特開２００４−１９１８９７号公報 特開２００５−０２７１４２号公報 特開２００５−０５７５４８号公報 特開２００７−０８１４７３号公報

しかしながら、上述した従来技術では、広角撮像を行うために、いちいち広角撮像用のコンバージョンレンズを装着したり、撮像目的に応じてレンズを切り替えたりしなくてはならず、操作性や、コストの面で問題があった。また、これら広角撮像用のコンバージョンレンズや、切り替え可能なレンズを用いたとしても、撮影者が希望する広角画像を得ることは難しいという問題があった。

そこで本発明は、容易に広画角の画像を得ることができる撮像装置、及びプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明は、表示手段と、第１の画角で撮像する撮像手段と、前記撮像手段により撮像を順次行う撮像制御手段と、前記撮像制御手段により順次撮像される画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段と、前記生成手段により合成画像が順次生成される度に、当該合成画像において最後に合成された画像を中心とする所定領域をトリミングするトリミング手段と、前記トリミング手段によりトリミングされた所定領域の画像を、前記表示手段に表示する表示制御手段とを備えることを特徴とする撮像装置である。

また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の撮像装置において、前記撮像制御手段による撮像動作間で、撮像された画像の撮像方向が大きく変化したか否かを判断する第１の判断手段と、前記第１の判断手段により前記撮像方向が大きく変化したと判断された場合に、その旨を報知する第１の報知手段とを更に備えることを特徴とする。

また、好ましい態様として、例えば請求項３記載のように、請求項２に記載の撮像装置において、前記第１の報知手段は、前記第１の判断手段により前記撮像方向が大きく変化したと判断された場合に、前記表示手段にその旨を表示することを特徴とする。

また、好ましい態様として、例えば請求項４記載のように、請求項２または３に記載の
撮像装置において、前記第１の判断手段は、前記撮像制御手段により順次撮像される画像の中心座標の変化に基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする。

また、好ましい態様として、例えば請求項５記載のように、請求項２または３に記載の撮像装置において、前記第１の判断手段は、前記撮像制御手段により順次撮像される画像間で、前記最後に撮像された画像と同一の領域が所定の面積以下か否かに基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とすることを特徴とする。

また、好ましい態様として、例えば請求項６記載のように、請求項１乃至５のいずれかに記載の撮像装置において、前記撮像制御手段による撮像動作間で、撮像された画像の撮像方向が前記生成手段による画像合成の処理領域外であるか否かを判断する第２の判断手段と、前記第２の判断手段により処理領域外であると判断された場合に、その旨を報知する第２の報知手段とを更に備えることを特徴とする。

また、好ましい態様として、例えば請求項７記載のように、請求項６に記載の撮像装置
において、前記第２の報知手段は、前記第２の判断手段により処理領域外であると判断された場合に、前記表示手段にその旨を表示することを特徴とする。

また、好ましい態様として、例えば請求項８記載のように、請求項６または７に記載の撮像装置において、前記第２の判断手段は、前記撮像制御手段により順次撮像される画像間で、前記最後に撮像された画像と同一の領域があるか否かに基づいて、前記処理領域外であるか否かを判断することを特徴とする。

また、好ましい態様として、例えば請求項９記載のように、請求項１乃至８のいずれかに記載の撮像装置において、前記生成手段は、前記撮像制御手段により順次撮像された複数の画像を順次合成して前記第１の画角よりも広い第２の画角の合成画像を生成し、前記表示制御手段は、前記生成手段により順次合成される、前記第２の画角の合成画像を前記表示手段に表示することを特徴とする。

また、好ましい態様として、例えば請求項１０記載のように、請求項１乃至９のいずれかに記載の撮像装置において、前記表示制御手段は、更に、前記撮像手段により撮像すべき方向を示す方向情報を、前記表示手段に表示することを特徴とする。

また、好ましい態様として、例えば請求項１１記載のように、請求項１０に記載の撮像
装置において、前記表示制御手段は、前記生成手段により第２の画角の合成画像を生成する上で、既に撮像された画像の位置と、まだ撮像されていない画像の位置とを示す位置情報を、前記表示手段に表示することを特徴とする。

また、好ましい態様として、例えば請求項１２記載のように、請求項１乃至１１のいず
れかに記載の撮像装置において、前記撮像制御手段は、所定の周期で連続して複数回の撮像を行うように前記撮像手段を制御することを特徴とする。

また、上記目的達成のため、請求項１３記載の発明は、第１の画角で撮像する撮像手段と表示手段とを備える撮像装置のコンピュータに、前記撮像手段による撮像を順次行う撮像制御機能、前記撮像制御機能により順次撮像された画像を合成して前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成機能、前記生成機能により合成画像が順次生成される度に、当該合成画像において最後に合成された画像を中心とする所定領域をトリミングするトリミング機能、前記トリミング機能によりトリミングされた所定領域の画像を表示させる表示制御機能を実行させることを特徴とするプログラムである。

この発明によれば、容易に広画角の画像を得ることができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 本第１実施形態によるデジタルカメラ１の広角撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１における、レンズの画角と広角撮像モードで得られる合成画像との関係を示す概念図である。 本第１実施形態によるデジタルカメラ１の広角撮像モードにおけるユーザ操作を説明するための模式図である。 本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。 本第２実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラの画像表示部の表示例を示す模式図である。 本第２実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。 本第３実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第３実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。 本第４実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第４実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。 本第４実施形態の変形例を示す模式図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing
Generator）６、ユニット回路７、画像処理部８、ＣＰＵ１１、ＤＲＡＭ１２、メモリ１３、フラッシュメモリ１４、画像表示部１５、キー入力部１６、カードＩ／Ｆ１７、及びメモリ・カード１８を備えている。

撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１１からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１から送られてくる制御信号に従って絞り４を動作させる。該絞り４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。なお、ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ＣＰＵ１１は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ＣＰＵ１１は、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように（例えば、αブレンドを用いて）合成していき、広角で撮像したような１枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。

ＤＲＡＭ１２は、ＣＣＤ５によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１のワーキングメモリとして使用される。メモリ１３は、ＣＰＵ１１によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１１は、このプログラムに従って処理を行う。フラッシュメモリ１４や、メモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ１４や、メモリ・カード２３から読み出され、伸張された記録画像を表示させる。また、本第１実施形態では、広角撮像モードにおいて連写される複数の画像を順次合成した合成画像を表示する。キー入力部１６は、シャッタＳＷ、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。カードＩ／Ｆ１７には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード１８が着脱自在に装着されている。

図２は、本第１実施形態によるデジタルカメラ１の広角撮像モードを説明するための概念図である。例えば、デジタルカメラ１で、図２に示すような景色を撮像する場合を想定する。撮像しようとする景色は、当該デジタルカメラ１の撮像系の画角Ｓに比べ、より広い画角を有する。したがって、一度の撮像では、所望する景色を全て撮像することができない。

そこで、本第１実施形態では、ユーザがデジタルカメラ１の撮像方向を所望する景色を網羅するように動かしている間に、所定の時間、あるいは所定の撮像枚数分の間、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように合成することで、容易に広画角の画像を得ることができる広角撮像モードを提供する。

なお、以下の説明では、撮像範囲や、撮像画角などを明確にするために、図２の景色を図３に示すように図式化して説明する。図３において、画角Ｓ１が最終的に生成する画像のサイズ（画角）であり、その外側は、撮像されたとしても最終的な画像としては残さない領域外とする。

本第１実施形態では、メモリ（ＤＲＡＭ１２）上に画像書き込み用の配列を確保する。これを便宜上、本第１実施形態では、キャンバスと呼ぶ。本第１実施形態では、広角撮像モードにおいて連写した最初の撮像画像を基準画像（図３の画角Ｓの画像に相当）とし、該基準画像の縦横を、例えば、それぞれ２倍の大きさとし（図３の撮像領域Ｓ１）、キャンバスの中心に基準画像を貼り付ける。なお、キャンバスの大きさは、縦横２倍以外でもよい。そして、撮像した複数の画像を、基準画像と一部が重複するように位置合わせして合成し、キャンバスに上書きしていく。位置合わせの方法としては、例えば、ブロックマッチングなどの手法が考えられる。また、上書きをする場合には、投射変換などを行い、αブレンドなどの手法を用いて重ね合わせを行う方法が考えられる。

図４は、本第１実施形態によるデジタルカメラ１の広角撮像モードにおけるユーザ操作を説明するための模式図である。ユーザは、所望する景色に対して、例えば、中央部でシャッタＳＷを押下（半押し→全押し）した状態で、矢印で示すように円を描くようにデジタルカメラ１を動かす。しかしながら、ユーザにとっては、どのようにデジタルカメラ１を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。

そこで、本第１実施形態では、ユーザによりシャッタＳＷが押下（半押し→全押し）されると、上述したように、所定の時間、あるいは所定の撮像枚数分の間、所定の周期（時間間隔）で複数枚の画像を連写しながら、撮像する毎に、リアルタイムで縮小画像（低解像度）を生成し、基準画像（または合成画像）と一部が重複するように合成し、該合成画像を画像表示部１５に表示する。このとき、合成に用いた縮小画像の元画像（高画質画像）を保存しておく。

そして、所定の時間、あるいは所定の撮像枚数分の撮像が終了すると、縮小画像を用いて行った合成と同様に、上記保存しておいた元画像（高画質画像）を用いて、一部が重複するように合成し、最終的に、一度の撮像では得られない広画角の画像を生成する。連写中、画像合成した縮小画像を画像表示部１５に表示するようにしたので、ユーザは、どの方向にデジタルカメラを向けたらよいかを容易に確認することが可能となっている。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図５は、本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図６（ａ）、（ｂ）は、本第１実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。

まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ１０）、シャッタＳＷが半押しされない場合には、ステップＳ１０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ１２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ１４）。シャッタＳＷが全押しされない場合には、ステップＳ１０、Ｓ１２を繰り返し実行する。

一方、シャッタＳＷが全押しされると、撮像画像を取り込み、縮小（間引き）処理を実行し、縮小画像を生成する（ステップＳ１６）。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する（ステップＳ１８）。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置（座標）を算出するとともに、既に基準画像（または合成画像）がある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、該縮小画像の中心位置が処理領域（キャンバス内）にあるか否かを判断する（ステップＳ２０）。

そして、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像（高解像度）を有効画像として保存し（ステップＳ２２）、縮小画像を未取得部分であるブランク部分に上書きする（ステップＳ２４）。つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように合成し、キャンバス４０に上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバス４０の中央部に上書きする）。図６（ａ）に示す例では、現フレームの縮小画像３１の中心位置が処理領域４０内にあるので、現フレームの縮小画像３１と基準画像３０との一部が重複するように合成し、キャンバス４０に上書きする。そして、該合成画像３２を画像表示部１５に表示する（ステップＳ２６）。

次に、必要画像全てを取得したか否か（例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か）を判断する（ステップＳ２８）。そして、必要画像全てを取得していない場合には、ステップＳ１６に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像（または合成画像）に順次合成していき、その都度、合成画像を画像表示部１５に表示することになる。

一方、現フレームの縮小画像の中心位置が処理領域内にない場合には、ステップＳ１６に戻り、次の撮像画像に対して同様の処理を繰り返す。例えば、図６（ｂ）に示すように、現フレームの縮小画像３１の中心位置が処理領域４０内にない場合には、画像合成は行われない。

そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ３０）。

上述した第１実施形態によれば、連写中に、撮像する度に、リアルタイムで、画像合成した縮小画像を画像表示部１５に表示するようにしたので、ユーザは、まだ撮像されていない方向、あるいは既に撮像された方向を容易に認識することができる。この結果、ユーザは、次にどこにデジタルカメラを向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、処理領域外（キャンバス外）を撮像している場合や、デジタルカメラの移動（撮像方向の変化）が速すぎる場合などに、ユーザに対して、その旨を報知することで、デジタルカメラを、どの程度の速度で移動さればよいか、どの方向に向けたらよいかを知らせることを特徴としている。なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。

図７は、本第２実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。また、図８、及び図９は、本第２実施形態によるデジタルカメラ１の画像表示部１５の表示例を示す模式図である。まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ３０）、シャッタＳＷが半押しされない場合には、ステップＳ３０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ３２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ３４）。シャッタＳＷが全押しされない場合には、ステップＳ３０、Ｓ３２を繰り返し実行する。

一方、シャッタＳＷが全押しされると、撮像画像を取り込み、縮小（間引き）処理を実行し、縮小画像を生成する（ステップＳ３６）。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する（ステップＳ３８）。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置（座標）を算出するとともに、既に基準画像（または合成画像）がある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置、直前に撮像した画像（縮小画像）の中心位置（座標）との距離などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域（キャンバス内）にあるか否かを判断する（ステップＳ４０）。

そして、縮小画像の中心位置が処理領域内にない場合には、画像表示部１５に領域超過マークを表示する（ステップＳ４２）。例えば、図８（ａ）に示すように、現フレームの縮小画像３１の中心が、処理領域であるキャンバス４０の外に出てしまった場合には、図８（ｂ）に示すように、処理領域内に戻すように、領域超過マークとして、移動した方向とは逆方向を示す矢印５０を画像表示部１５に表示する。これにより、ユーザは、デジタルカメラ１の撮像方向が上に行き過ぎたことが分かるので、矢印５０の方向にデジタルカメラ１を移動させることで、撮像される画角を処理領域内に戻すことが可能となる。その後、ステップＳ３６に戻り、次フレームの撮像画像に対して上述した処理を行う。つまり、この場合、画像合成は行われない。

一方、縮小画像の中心位置が処理領域内にある場合には、前フレームの縮小画像の中心位置と現フレームの縮小画像の中心位置との距離が所定の閾値より小さいか否かを判断する（ステップＳ４４）。そして、上記距離が所定の閾値以上である場合には、画像表示部１５にスピード超過マークを表示する（ステップＳ４６）。その後、ステップＳ３６に戻り、次フレームの撮像画像に対して上述した処理を行う。つまり、この場合、画像合成は行われない。

本発明では、位置合わせをブロックマッチングなどの方法により実現しているが、デジタルカメラ１の移動速度が大きいと、位置合わせ用の２つの画像（前フレームの縮小画像と現フレームの縮小画像）の中で同一のものが写っている領域の面積が小さくなり、位置合わせが不正確になってしまう。そのため、デジタルカメラ１の移動速度を、ある一定速度以下に抑える必要がある。そこで、ユーザに明示的にデジタルカメラ１の移動速度（撮像方向の変化速度）を知らせるようにしている。

例えば、図９（ａ）に示すように、前フレームの縮小画像３１ａの中心位置と現フレームの縮小画像３１ｂの中心位置との距離が所定の閾値以上である場合には、双方の縮小画像との重なる面積が小さくなってしまい、位置合わせが不正確になる可能性が高いので、図９（ｂ）に示すように、画像表示部１５にスピード超過マーク６０を表示する。

スピード超過マーク６０としては、図９（ｃ）に示すように、画像の単位時間当たりの移動距離の大きさに応じて、メータの針の位置、及びメータの色を変化させるタコメータ状のマーク６１や、画像の単位時間当たりの移動距離の大きさに応じて、円弧状の面積、及び円弧の色を変化させるようなマーク６２などが考えられる。あるいは、画像の単位時間当たりの移動距離の大きさに応じて、長さや色を変化させるような棒グラフであってもよい（図示略）。

一方、現フレームの縮小画像が処理領域内で、かつ、移動距離も所定の閾値より小さい場合には、画像を合成する上で十分に正確な位置合わせを行うことができるので、取り込んだ撮像画像（高解像度）を有効画像として保存し（ステップＳ４８）、縮小画像を未取得部分であるブランク部分に上書きする（ステップＳ５０）。つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように合成し、キャンバス４０に上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバス４０の中央部に上書きする）。そして、該合成画像を画像表示部１５に表示する（ステップＳ５２）。

次に、必要画像全てを取得したか否か（例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か）を判断する（ステップＳ５４）。そして、必要画像全てを取得していない場合には、ステップＳ３６に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像（または合成画像）に順次合成していき、その都度、合成画像を画像表示部１５に表示することになる。

そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ５６）。

上述した第２実施形態によれば、撮像する度に、リアルタイムで、ユーザに対して、処理領域外を撮像している場合や、デジタルカメラ１の移動（撮像方向の変化）が速すぎる場合などに、その旨を報知するようにしたので、ユーザは、デジタルカメラ１を、どの程度の速度で移動さればよいか、どの方向に向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、連写される撮像画像（の縮小画像）を単に合成して表示するのではなく、現フレームの縮小画像が画像表示部１５の中心に位置するように、合成画像から所定の範囲をトリミングして画像表示部１５に表示することを特徴としている。なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。

図１０は、本第３実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ６０）、シャッタＳＷが半押しされない場合には、ステップＳ６０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ６２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ６４）。シャッタＳＷが全押しされない場合には、ステップＳ６０、Ｓ６２を繰り返し実行する。

一方、シャッタＳＷが全押しされると、撮像画像を取り込み、縮小（間引き）処理を実行し、縮小画像を生成する（ステップＳ６６）。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する（ステップＳ６８）。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置（座標）を算出するとともに、既に基準画像（または合成画像）がある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域（キャンバス内）にあるか否かを判断し（ステップＳ７０）、縮小画像の中心位置が処理領域にない場合には、ステップＳ６６に戻り、次フレームの撮像画像に対して上述した処理を行う。この場合、画像合成は行われない。

一方、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像（高解像度）を有効画像として保存し（ステップＳ７２）、縮小画像を未取得部分であるブランク部分に上書きする（ステップＳ７４）。つまり、縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして合成し、キャンバスに上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバスの中央部に上書きする）。

次に、現フレームの縮小画像を中心として画像表示部１５の表示サイズで合成画像をトリミングし（ステップＳ７６）、該トリミングした合成画像を画像表示部１５に表示する（ステップＳ７８）。次に、必要画像全てを取得したか否か（例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か）を判断する（ステップＳ８０）。

そして、必要画像全てを取得していない場合には、ステップＳ６６に戻り、次の撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像（または合成画像）に順次合成していき、その都度、現フレームの縮小画像を中心として画像表示部１５の表示サイズで合成画像をトリミングし、該トリミングした合成画像を画像表示部１５に表示することになる。

そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ８２）。

図１１は、本第３実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。まず、１枚目の撮像画像である基準画像３０が取得された後、２枚目の撮像画像（縮小画像）３１が取得される。２枚目の縮小画像３１の中心位置が画像取得位置にあったとすると、該２枚目の縮小画像３１は、１枚目の基準画像３０と一部を重ね合わせて合成される。次いで、現フレームの縮小画像３１を中心として画像表示部１５の表示サイズで合成画像３２がトリミングされ、該トリミングした合成画像３２ａが画像表示部１５に表示される。

上述した第３実施形態によれば、撮像画像が順次合成される度に、画像表示部１５には、現フレームの縮小画像が画像表示部１５の中央に位置するように表示される。すなわち、画像表示部１５を見ながら撮像を行っているユーザは、リアルタイムでデジタルカメラが向いている方向を中心とした画像を見ることができ、まだ撮像されていないブランク部分を埋めるためには、次にどの方向にデジタルカメラを向ければよいかを直感的に、かつ容易に認識することができる。この結果、容易に、かつ効率的に広画角の画像を得ることができる。

なお、上記一連の処理においては、基準画像が画像表示部１５の画面上を移動してしまうので、ユーザに合成画像のどの部分が基準画像であるかを分からせるために、所定の色の枠で囲むようにしてもよい。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
本第４実施形態では、連写中に、ユーザに対して、まだ撮像されていない方向、あるいは既に撮像された方向を明示しつつ、どのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを誘導するためのガイドを提示することを特徴としている。なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。

図１２は、本第４実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図１３（ａ）〜（ｅ）は、本第４実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。

まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ９０）、シャッタＳＷが半押しされない場合には、ステップＳ９０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ９２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ９４）。シャッタＳＷが全押しされない場合には、ステップＳ９０、Ｓ９２を繰り返し実行する。

一方、シャッタＳＷが全押しされると、例えば、図１３（ａ）に示すように、画像表示部１５の右下に渦巻き状のガイド７０を表示する（ステップＳ９６）。次に、撮像画像を取り込み、縮小（間引き）処理を実行し、縮小画像を生成する（ステップＳ９８）。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する（ステップＳ１００）。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置（座標）を算出するとともに、既に基準画像（または合成画像）がある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。

次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域（キャンバス内）にあるか否かを判断し（ステップＳ１０２）、縮小画像の中心位置が処理領域にない場合には、ステップＳ９６に戻り、次フレームの撮像画像に対して上述した処理を行う。この場合、画像合成は行われない。

一方、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像（高解像度）を有効画像として保存し（ステップＳ１０４）、縮小画像を未取得部分であるブランク部分に上書きする（ステップＳ１０６）。つまり、縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして合成し、キャンバス４０に上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバス４０の中央部に上書きする）。次に、合成画像を画像表示部１５に表示する（ステップＳ１０８）。

次に、現フレームの縮小画像が合成された部分が取得済みであることを示すべく、該合成された部分に対応するガイド７０の一部の色（図示の例では線種の違いで示した）を変更し、画像表示部１５に表示されているガイド７０を更新する（ステップＳ１１０）。例えば、図１３（ｂ）には、１枚目の基準画像３０の撮像後における、画像表示部１５の表示例を示している。このとき、ガイド７０において、渦巻き状の中心から１枚目の基準画像の位置に相当する箇所の色が変化している（図示の例では、ガイド７０の線種が変化）。ユーザは、該ガイド７０を見て、渦巻きに沿ってデジタルカメラ１を動かせばよい。

そして、２枚目の縮小画像の合成後には、図１３（ｃ）に示すように、ガイド７０において、渦巻き状の中心から２枚目の撮像画像の位置に相当する箇所までの色（図示の例では、ガイド７０の線種）が変化している。ユーザは、該ガイド７０を見て、さらに、渦巻きに沿ってデジタルカメラ１を動かせばよい。

次に、必要画像全てを取得したか否か（例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か）を判断する（ステップＳ１１２）。そして、必要画像全てを取得していない場合には、ステップＳ９６に戻り、次の撮像画像に対して同様の処理を繰り返す。この結果、縮小画像が順次合成される度に、該合成される縮小画像の位置に対応するガイド７０の一部の色が変化することになる。つまり、縮小画像が順次合成される度に、図１３（ｄ）の状態となり、最終的には、図１３（ｅ）に示すように、ガイド７０の全体が変化し、画面全体の合成画像を取得したことが示されることになる。

そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ１１４）。

図１４（ａ）〜（ｃ）は、本第４実施形態の変形例を示す模式図である。上述した本第４実施形態では、ガイド７０を渦巻き状とし、画像表示部１５の右隅に表示するようにしたが、これに限らず、例えば、図１４（ａ）に示すように、ガイド７１を画像表示部１５の画面全体に合成画像と重ねて表示したり、図１４（ｂ）に示すように、ガイド７２を画面の左上から蛇行させたＺ字形状にしてもよい。図１４（ｂ）の場合、１枚目の基準画像は、ガイド７２の始点である左上隅となる。また、図１４（ｃ）に示すように、撮像すべき位置に円形状のガイド７３を配置し、撮像されると、色を変更することで、撮像済みであるか未撮像であるかを分かるようにしてもよい。すなわち、ガイド７０は、基準画像に対して何倍の画角（面積）の合成画像を生成するかに応じた形状を有するものであれば如何なるものでもよい。

上述した第４実施形態によれば、連写中に、ユーザに対して、まだ撮像されていない方向、あるいは既に撮像された方向を明示しつつ、どのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを誘導するためのガイドを表示するようにしたので、画像表示部１５を見ながら撮像を行っているユーザは、次にどのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを、直感的に、かつ容易に認識することができる。この結果、容易に、かつ効率的に広画角の画像を得ることができる。

また、上述した第１実施形態から第４実施形態は、それぞれ組合わせ可能であり、例えば、第２実施形態による領域超過マークや、スピード超過マークの表示処理に、第３実施形態によるトリミング処理、または／及び第４実施形態によるガイド表示を加えるようにしてもよい。また、例えば、上述した第１実施形態から第４実施形態にあっては、デジタルカメラの移動を検出する加速度センサを更に備え、連写によって順次得られる撮像画像の重ね合わせの際には、この加速度センサによって検出された移動を考慮して重ね合わせ用の画像位置を計算するようにしてもよい。

なお、上述した第１実施形態から第４実施形態では、撮像装置としてデジタルカメラについて説明したが、これに限らず、撮像機能を有する電子機器であれば、例えば、携帯電話などにも適用可能である。

１ デジタルカメラ
２ 撮像レンズ
３ レンズ駆動部
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ 画像処理部
１１ ＣＰＵ
１２ ＤＲＡＭ
１３ メモリ
１４ フラッシュメモリ
１５ 画像表示部
１６ キー入力部
１７ カードＩ／Ｆ
１８ メモリ・カード

Claims (13)

1. 表示手段と、
   第１の画角で撮像する撮像手段と、
   前記撮像手段により撮像を順次行う撮像制御手段と、
   前記撮像制御手段により順次撮像される画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段と、
   前記生成手段により合成画像が順次生成される度に、当該合成画像において最後に合成された画像を中心とする所定領域をトリミングするトリミング手段と、
   前記トリミング手段によりトリミングされた所定領域の画像を、前記表示手段に表示する表示制御手段と
   を備えることを特徴とする撮像装置。
2. 前記撮像制御手段による撮像動作間で、撮像された画像の撮像方向が大きく変化したか否かを判断する第１の判断手段と、
   前記第１の判断手段により前記撮像方向が大きく変化したと判断された場合に、その旨を報知する第１の報知手段と
   を更に備えることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の報知手段は、
   前記第１の判断手段により前記撮像方向が大きく変化したと判断された場合に、前記表示手段にその旨を表示することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の判断手段は、
   前記撮像制御手段により順次撮像される画像の中心座標の変化に基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１の判断手段は、
   前記撮像制御手段により順次撮像される画像間で、前記最後に撮像された画像と同一の領域が所定の面積以下か否かに基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする請求項２または３に記載の撮像装置。
6. 前記撮像制御手段による撮像動作間で、撮像された画像の撮像方向が前記生成手段による画像合成の処理領域外であるか否かを判断する第２の判断手段と、
   前記第２の判断手段により処理領域外であると判断された場合に、その旨を報知する第２の報知手段と
   を更に備えることを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記第２の報知手段は、
   前記第２の判断手段により処理領域外であると判断された場合に、前記表示手段にその旨を表示することを特徴とする請求項６に記載の撮像装置。
8. 前記第２の判断手段は、
   前記撮像制御手段により順次撮像される画像間で、前記最後に撮像された画像と同一の領域があるか否かに基づいて、前記処理領域外であるか否かを判断することを特徴とする請求項６または７に記載の撮像装置。
9. 前記生成手段は、前記撮像制御手段により順次撮像された複数の画像を順次合成して前記第１の画角よりも広い第２の画角の合成画像を生成し、
   前記表示制御手段は、
   前記生成手段により順次合成される、前記第２の画角の合成画像を前記表示手段に表
   示することを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
10. 前記表示制御手段は、
    更に、前記撮像手段により撮像すべき方向を示す方向情報を、前記表示手段に表示することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
11. 前記表示制御手段は、
    前記生成手段により第２の画角の合成画像を生成する上で、既に撮像された画像の位置と、まだ撮像されていない画像の位置とを示す位置情報を、前記表示手段に表示することを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像制御手段は、
    所定の周期で連続して複数回の撮像を行うように前記撮像手段を制御することを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
13. 第１の画角で撮像する撮像手段と表示手段とを備える撮像装置のコンピュータに、
    前記撮像手段による撮像を順次行う撮像制御機能、
    前記撮像制御機能により順次撮像された画像を合成して前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成機能、
    前記生成機能により合成画像が順次生成される度に、当該合成画像において最後に合成された画像を中心とする所定領域をトリミングするトリミング機能、
    前記トリミング機能によりトリミングされた所定領域の画像を表示させる表示制御機能
    を実行させることを特徴とするプログラム。

Images