JP5896102B2 - 撮像装置、撮像制御方法、及びプログラム - Google Patents

Description

本発明は、パノラマ画像を撮影するのに好適な撮像装置、撮像制御方法、及びプログラムに関する。

従来の技術として、ユーザがシャッタスイッチを押し下げ操作した状態を維持しながら、ユーザ自身の体を軸にしてデジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させている間に、複数回の撮像処理を実行し、これら撮像した画像を合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。

特開平６−３０３５６２号公報

上記特許文献１の技術は、ユーザが一定速度でデジタルカメラを回転することが前提となっている。しかしながら、現実にはそのような理想的な撮影を行うことは稀であり、例えば、カメラに設定されたシャッタスピードに対し、ユーザがカメラを水平方向に移動させるスピードが速すぎると、生成されたパノラマ画像に被写体ぶれ等が発生してしまうという虞がある。

そこで本発明は、生成されたパノラマ画像における被写体ぶれ等の発生を低減させることができる撮像装置、撮像制御方法、及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明は、被写体を連続的に撮像して、画像を順次出力する撮像手段と、前記撮像手段による被写体の連続的な撮像の開始の指示を検出する指示検出手段と、前記指示検出手段により前記撮像手段による連続的な撮像の開始の指示が検出されたことに伴い、前記撮像手段に連続的な撮像を開始させるよう制御する撮像制御手段と、前記撮像制御手段の制御により前記撮像手段に連続的に撮像された複数の画像からパノラマ画像を生成する生成手段と、前記指示検出手段により前記撮像の開始の指示が検出された時点より過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報を取得する移動速度取得手段と、前記移動速度取得手段に取得された前記過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報に基づいて、前記撮像制御手段により制御される前記撮像手段のシャッタ速度を設定する設定手段とを備えたことを特徴とする。

本発明によれば、撮像装置の移動速度の傾向に応じて撮像された複数の画像からパノラマ画像を生成するため、当該生成されたパノラマ画像における被写体ぶれ等の発生を低減させることができる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 通常の撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラ１での連写処理＆合成処理の動作を説明するためのフローチャートである。 本第１実施形態において、カメラ移動速度の計算方法を説明するための概念図である。 本第２実施形態の動作を説明するためのフローチャートである。 本第２実施形態による、練習モード処理の動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラ１での連写処理＆合成処理の動作を説明するためのフローチャートである。 本第３実施形態の動作を説明するためのフローチャートである。 本第３実施形態によるデジタルカメラ１での連写処理＆合成処理の動作を説明するためのフローチャートである。 本第３実施形態において、カメラ移動速度の計算方法を説明するための概念図である。 ユーザのカメラ移動速度とそのときの明るさ（露出）とに応じて、シャッタスピードを決定するための条件を示す図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像部２、撮像制御部３、画像処理部４、移動距離計測部５、移動速度算出部６、ＣＰＵ７、ＲＡＭ８、ＲＯＭ９、記録部１０、表示部１１、及びキー入力部１２を備えている。

撮像部２は、フォーカスレンズ、ズームレンズなどのレンズ群、撮像素子（ＣＣＤなど）を含み、撮像制御部３からの制御信号に従って、オートフォーカシング、絞り、ズーミングなどを調整し、撮像素子によりレンズ群を介して投影された被写体の光を電気信号に変換し、撮像信号として出力する。撮像制御部３は、ＣＰＵ７の制御の下、撮像部２の撮像動作を制御する。

画像処理部４は、撮像部２により撮像された画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭｏｔｉｏｎ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理などを行う。

特に、本発明の第１実施形態では、画像処理部４は、パノラマ撮影時に用いられる、重複領域判定部２０と、画像位置調整部２１と、画像合成部２２とを備えている。重複領域判定部２０は、パノラマ撮影時に所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像された画像（全てが合成用画像として取り込まれるわけではない）の重複領域の大きさを判定する他、水平移動中に所定の位置（合成用画像の取り込み位置）で撮像された合成用画像同士の重複領域を判定する。

画像位置調整部２１は、上記重複領域の特徴点に基づいて、隣り合う画像同士の位置を調整する。画像合成部２２は、位置が調整された隣り合う画像同士を合成する。上記重複領域判定部２０と、画像位置調整部２１と、画像合成部２２とにより、パノラマ撮影時に順次撮像される複数の撮像画像のそれぞれに対して上記処理を行うことにより、１つの繋がった合成画像（パノラマ画像）が得られることになる。

移動距離計測部５は、パノラマ撮影時にデジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させる際のデジタルカメラの移動距離を計測する。移動速度算出部６は、パノラマ撮影時のデジタルカメラのカメラ移動速度を算出する。

カメラ移動速度の算出方法は、上記移動距離計測部５で計測された移動距離を、その距離を移動するのに要した時間で除算することで算出する。パノラマ撮影時に、デジタルカメラ１は、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、所定の位置（合成画像取得位置）に到達する度に撮像した画像を合成用画像として取り込むように動作している。そこで、デジタルカメラ１が合成用画像取得位置まで移動するのに要したフレーム数を取得すれば、その距離を移動するのに要した時間が得られる。

ＣＰＵ７は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ＣＰＵ７は、パノラマ撮影時においてユーザがデジタルカメラ１を動かしている間に、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、終端に到達するか、パノラマ撮影が終了するまで、所定の位置（合成画像取得位置）に到達する度に撮像画像を合成用画像として取り込むべく、撮像制御部３、画像処理部４、移動距離計測部５、移動速度算出部６などを制御する。また、ＣＰＵ７は、該取り込んだ複数の撮像画像を、一部が重複するように（例えば、αブレンドを用いて）合成し、広角で撮像したような１枚の合成画像（パノラマ画像）を生成すべく各部を制御する。なお、画像合成の詳細については後述する。

また、ＣＰＵ７は、パノラマ撮影時におけるシャッタスピードを、過去直近５回のパノラマ撮影時に得られたカメラ移動速度の平均値に基づいて設定するようになっている。つまり、パノラマ撮影時に、ユーザがデジタルカメラ１を水平方向に回転させるように移動させる際のカメラ移動速度の傾向（遅いのか、速いのか）に応じて、これから撮影しようとする撮像画像に対するシャッタースピードを決定する。これにより、被写体ぶれ等を発生することなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができるようになる。

ＲＡＭ８は、撮像部２によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ７のワーキングメモリとして使用される。ＲＯＭ９は、ＣＰＵ７によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されている。ＣＰＵ７は、このプログラムに従って処理を行う。

記録部１０は、複数の撮像から合成された合成画像（パノラマ画像）や合成用画像を記録する。また、該記録部１０には、移動速度格納部２４を有しており、移動速度算出部６で算出した、パノラマ撮影時のカメラ移動速度（スイングスピード）を記録する。本発明の第１実施形態では、過去直近５回のパノラマ撮影時に得られたカメラ移動速度の平均値を記録する。上述したように、ＣＰＵ７は、パノラマ撮影時におけるシャッタスピードを、過去直近５回のパノラマ撮影時に得られたカメラ移動速度の平均値に基づいて設定する。

表示部１１は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、撮像部２によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、記録部１０から読み出され、伸張された記録画像を表示させる。キー入力部１２は、シャッタＳＷ（スイッチ）、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ７に出力する。

図２は、通常の撮像モードを説明するための概念図である。デジタルカメラ１は、通常の撮像モードで撮影する場合には、図２に示すように、当該デジタルカメラ１の撮像系が有する画角の範囲内である画像３０しか撮影できない。

図３は、本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。ユーザは、所望する景色に対して、デジタルカメラ１を構え、例えば、左端でシャッタＳＷを押下（半押し→全押し）し、図３に示す矢印のように、シャッタＳＷを押下した左端から右方向に動かしていく。デジタルカメラ１では、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、終端に到達するか、パノラマ撮影が終了するまで、所定の位置に到達する度に撮像した画像（合成用画像）を取り込み、取り込んだ合成用画像を順次合成することで、１つの合成画像（パノラマ画像）３１を生成する。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図４は、本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。まず、ＣＰＵ７は、シャッタＳＷが半押しされると（ステップＳ１０）、ＡＦ（オートフォーカス）処理を実行する（ステップＳ１２）。ユーザは、シャッタＳＷを全押した後、デジタルカメラ１を水平方向に回転させるように移動させる（図３を参照）。

ＣＰＵ７は、シャッタＳＷが全押しされると（ステップＳ１４）、記録部１０の移動速度格納部２４から過去直近５回のパノラマ撮影時に得られたカメラ移動速度の平均値を読み出し、該カメラ移動速度の平均値に基づいて、パノラマ撮影時におけるシャッタスピードを決定する（ステップＳ１６）。例えば、カメラ移動速度の平均値からカメラ移動速度が「遅い」場合には、シャッタスピードを「１／２５０（ｓ）」とし、カメラ移動速度が「速い」場合には、シャッタスピードを「１／５００（ｓ）」とする。なお、カメラ移動速度が「遅い」、「速い」をどうように決定するかは後述する。

次に、ＣＰＵ７は、撮像制御部３を制御し、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、所定の位置に到達する度に撮像した画像を取り込むとともに、カメラ移動速度を計算し、取り込んだ画像を順次合成することで、１つの合成画像（パノラマ画像）３１を生成する（ステップＳ１８）。なお、連写処理＆合成処理の詳細については後述する。

次に、ＣＰＵ７は、連写終了であるか否かを判断する（ステップＳ２０）。連写終了は、例えば、ユーザ（ユーザ操作）により終了信号が発生した場合や、カメラ移動が大きく外れるなどして画像取得にエラーが発生した場合、パノラマ画像の最大サイズを超えるなど、画像取得方向への移動距離が閾値を超えた場合などを契機とする。そして、連写が終了していない場合には（ステップＳ２０のＮＯ）、ステップＳ１８に戻り、連写処理＆合成処理を継続する。

一方、連写が終了した場合には（ステップＳ２０のＹＥＳ）、連写処理＆合成処理中に取得したフレーム間のカメラ移動速度から、総合的なカメラ移動速度（例えば、平均値、メディアン値、速度の変化値など）を算出し（ステップＳ２２）、該総合的なカメラ移動速度を、記録部１０の移動速度格納部２４に保存し（ステップＳ２４）、当該処理を終了する。上記処理により、次回以降のパノラマ画像を生成するためのシャッタスピードの設定の際に、過去直近５回のパノラマ撮影時に得られたカメラ移動速度の平均値の要素として、当該移動速度格納部２４に保存された総合的なカメラ速度を含めることができる。これにより、ユーザによるデジタルカメラ１の移動速度の傾向に応じたシャッタスピードを更新できる。

図５は、本第１実施形態によるデジタルカメラ１での連写処理＆合成処理の動作を説明するためのフローチャートである。なお、該連写処理＆合成処理の実行中、ＣＰＵ７は、撮像制御部３を制御し、撮像部２により、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像している。該撮像画像は、全て合成用画像として取り込まれるわけでなく、取り込み位置で撮像された画像でなければ廃棄される。

まず、ＣＰＵ７は、デジタルカメラ１が一定距離動いたか否かを判断する（ステップＳ３０）。また、画像処理部４の重複領域判定部２０は、所定の時間間隔で順次撮像されている画像の重複領域の大きさを判定することにより、合成用画像として記録部１０に取り込むべき画像であるか否かを判断する。合成用画像として取り込むべき画像とは、１つ前に取り込んだ合成用画像と所定の大きさ（例えば、１／３など）だけ重複した画像のことである。つまり、合成用画像として取り込むべき画像であれば、所定の位置に到達したことになり、デジタルカメラ１が一定距離動いたことになる。言い換えると、重複している領域が大きければ、まだ、所定の位置に到達しておらず、重複している領域が小さければ、所定の位置を通りすぎたことになる。

そして、デジタルカメラ１が一定距離動いていない場合には（ステップＳ３０のＮＯ）、まだ、所定の位置に到達していないので、ＣＰＵ７は、ステップＳ３０を繰り返し実行する。一方、デジタルカメラ１が一定距離動いた場合には（ステップＳ３０のＹＥＳ）、そのときの撮像画像を記録部１０に取り込んで保存する（ステップＳ３２）。次に、移動距離計測部５は、画像取得時の各フレームでのカメラ移動速度を計算する（ステップＳ３４）。ここで、カメラ移動速度の計算について説明する。

図６（ａ）、（ｂ）は、本第１実施形態において、カメラ移動速度の計算方法を説明するための概念図である。図６（ａ）、（ｂ）において、４０−１〜４０−３、及び４１−１〜４１−３は、それぞれ合成用画像として取り込んだ合成用画像である。合成用画像４０−１〜４０−３、及び４１−１〜４１−３の下側に示す目盛りは、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなどの固定値）で順次撮像するタイミングを示しており、横軸は移動距離となる。

図６（ａ）に示すように、デジタルカメラ１の移動速度が（相対的に）遅い場合、まず、所定の時間間隔で順次撮像している画像の１枚目で、まず、合成用画像４０−１として取り込まれる。次いで、所定の時間間隔で順次撮像している画像の７枚目で、所定の位置に到達したので（一定距離動いたので）、該７枚目の撮像画像が合成用画像４０−２として取り込まれる。さらに、次の７枚目で、所定の位置に到達したので（一定距離動いたので）、該７枚目の撮像画像が合成用画像４０−３として取り込まれる。所定の時間間隔が１０ｆｐｓであれば、７／１０ｆｐｓ＝０．７秒で所定の距離を移動したことになる。

図６（ｂ）に示すように、デジタルカメラ１の移動速度が（相対的に）速い場合、まず、所定の時間間隔で順次撮像している画像の１枚目で、まず、合成用画像４１−１として取り込まれる。次いで、所定の時間間隔で順次撮像している画像の４枚目で、所定の位置に到達したので（一定距離動いたので）、該４枚目の撮像画像が合成用画像４１−２として取り込まれる。さらに、次の４枚目で、所定の位置に到達したので（一定距離動いたので）、該４枚目の撮像画像が合成用画像４１−３として取り込まれる。所定の時間間隔が１０ｆｐｓであれば、４／１０ｆｐｓ＝０．４秒で所定の距離を移動したことになる。

このように、本発明の第１実施形態では、所定の位置が固定（一定）であるので、移動距離を「１」とすれば、上記合成用画像の取り込みに要する時間を、カメラ移動速度に相応する値として用いることができる。例えば、所定の時間間隔が１０ｆｐｓである場合には、上記時間が０．５秒より小で「速い」、０．５秒以上で「遅い」とすればよい。

次に、図５に説明を戻すと、カメラ移動速度の計算後、画像処理部４は、１つ前の合成用画像と今回取り込んだ合成用画像とを合成する（ステップＳ３６）。より具体的には、重複領域判定部２０は、１つ前の合成用画像（あるいはこれまで合成した合成画像）と今回取り込んだ合成用画像との重複領域を判定する。画像位置調整部２１は、上記重複領域に基づいて、隣り合う画像同士の位置を調整し、画像合成部２２は、位置が調整された隣り合う画像同士を合成する。その後、図４に示すメインルーチンに戻る。

そして、パノラマ撮影による連写が終了するまで、順次取り込まれる複数の合成用画像のそれぞれに対して上記処理を行うことにより、１つの繋がった合成画像（パノラマ画像）が得られることになる。

上述した第１実施形態によれば、ユーザが過去に行ったパノラマ撮影時に取得した、デジタルカメラ１の移動速度に応じて、撮像時のシャッタスピードを決定するようにしたので、被写体ぶれ等を発生させることなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、実際のパノラマ撮影に先立って、ユーザに練習モードと称してデジタルカメラ１をパノラマ撮影時と同様に横方向に移動させ、そのときのカメラ移動速度を計測し、その後、実際のパノラマ撮影では、練習モードで計測したカメラ移動速度に応じてシャッタスピードを決定することを特徴とする。

図７は、本第２実施形態の動作を説明するためのフローチャートである。まず、ＣＰＵ７は、練習モードである旨の表示を行い（ステップＳ４０）、ユーザからキー入力部１２によりＯＫなどの指示を受けると、練習モード連写処理へ移行する（ステップＳ４２）。練習モード連写処理では、実際に合成画像（パノラマ画像）を作成しないものの、ユーザに実際にデジタルカメラ１を横方向に移動させることにより、合成用画像間のフレーム数からカメラ移動速度を求める処理である。なお、練習モード連写処理については後述する。

ＣＰＵ７は、シャッタＳＷが半押しされると（ステップＳ４４）、ＡＦ（オートフォーカス）処理を実行する（ステップＳ４６）。ユーザは、シャッタＳＷを全押した後、デジタルカメラ１を水平方向に回転させるように移動させる（図３を参照）。

ＣＰＵ７は、シャッタＳＷが全押しされると（ステップＳ４８）、記録部１０の移動速度格納部２４から練習モード連写処理時に算出したカメラ移動速度の平均値を読み出し、該カメラ移動速度の平均値に基づいて、パノラマ撮影時におけるシャッタスピードを決定する（ステップＳ５０）。次に、ＣＰＵ７は、撮像制御部３を制御し、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、所定の位置に到達する度に撮像した画像を取り込み、取り込んだ画像を順次合成することで、１つの合成画像（パノラマ画像）３１を生成する（ステップＳ５２）。なお、連写処理＆合成処理の詳細については後述する。

次に、ＣＰＵ７は、連写終了であるか否かを判断する（ステップＳ５４）。連写終了は、例えば、ユーザ（ユーザ操作）により終了信号が発生した場合や、カメラ移動が大きく外れるなどして画像取得にエラーが発生した場合、パノラマ画像の最大サイズを超えるなど、画像取得方向への移動距離が閾値を超えた場合などを契機とする。そして、連写が終了していない場合には（ステップＳ５４のＮＯ）、ステップＳ５２に戻り、連写処理＆合成処理を継続する。一方、連写が終了した場合には（ステップＳ５４のＹＥＳ）、当該処理を終了する。

図８は、本第２実施形態による、練習モード処理の動作を説明するためのフローチャートである。なお、該練習モード処理の実行中は、ＣＰＵ７は、撮像制御部３を制御し、撮像部２により、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像している。該撮像画像は、全て合成用画像として取り込まれるわけでなく、取り込み位置での撮像画像でなければ廃棄される。

まず、ＣＰＵ７は、シャッタＳＷが半押しされると（ステップＳ６０）、ＡＦ（オートフォーカス）処理を実行する（ステップＳ６２）。ユーザは、シャッタＳＷを全押した後、デジタルカメラ１を水平方向に回転させるように移動させる（図３を参照）。

ＣＰＵ７は、シャッタＳＷが全押しされると（ステップＳ６４）、画像処理部４は、デジタルカメラ１が一定距離動いたか否かを判断する（ステップＳ６６）。ここでは、画像処理部４の重複領域判定部２０が、所定の時間間隔で順次撮像されている画像の重複領域の大きさを判定することにより、合成用画像として取り込むべき画像であるか否かを判断している。そして、デジタルカメラ１が一定距離動いたと判定されない場合には（ステップＳ６６のＮＯ）、まだ、所定の位置に到達していないので、ステップＳ６６を繰り返し実行する。

一方、デジタルカメラ１が一定距離動いたと判断された場合には（ステップＳ６６のＹＥＳ）、そのときの撮像画像を記録部１０に取り込んで保存する（ステップＳ６８）。次に、移動速度算出部６は、画像取得時の各フレームでのカメラ移動速度を計算する（ステップＳ７０）。カメラ移動速度の計算については、前述した第１実施形態と同様であるので説明を省略する。

カメラ移動速度の計算後、ＣＰＵ７は、連写終了であるか否かを判断する（ステップＳ７２）。連写終了は、例えば、ユーザ（ユーザ操作）により終了信号が発生した場合や、カメラ移動が大きく外れるなどして画像取得にエラーが発生した場合、パノラマ画像の最大サイズを超えるなど、画像取得方向への移動距離が閾値を超えた場合などを契機とする。そして、連写が終了していない場合には（ステップＳ７２のＮＯ）、ステップＳ６６に戻り、練習モード処理を継続する。

一方、連写が終了した場合には（ステップＳ７２のＹＥＳ）、連写処理＆合成処理中に取得したフレーム間のカメラ移動速度から、総合的なカメラ移動速度（例えば、平均値、メディアン値、速度の変化値など）を算出し（ステップＳ７４）、該総合的なカメラ移動速度を、記録部１０の移動速度格納部２４に保存し（ステップＳ７６）、当該処理を終了する。

図９は、本第２実施形態によるデジタルカメラ１での連写処理＆合成処理の動作を説明するためのフローチャートである。なお、該連写処理＆合成処理の実行中、ＣＰＵ７は、撮像制御部３を制御することにより、撮像部２に、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像させる。該撮像画像は、全て合成用画像として取り込まれるわけでなく、取り込み位置での撮像画像でなければ廃棄される。

まず、ＣＰＵ１１は、デジタルカメラ１が一定距離動いたか否かを判断する（ステップＳ８０）。画像処理部４の重複領域判定部２０は、所定の時間間隔で順次撮像されている画像の重複領域の大きさを判定することにより、合成用画像として取り込むべき画像であるか否かを判断する。合成用画像として取り込むべき画像とは、１つ前に取り込んだ合成用画像と所定の大きさ（例えば、１／３など）だけ重複した画像のことである。つまり、合成用画像として取り込むべき画像であれば、所定の位置に到達したことになり、デジタルカメラ１が一定距離動いたことになる。

そして、デジタルカメラ１が一定距離動いていない場合には（ステップＳ８０のＮＯ）、まだ、所定の位置に到達していないので、ステップＳ８０を繰り返し実行する。一方、デジタルカメラ１が一定距離動いた場合には（ステップＳ８０のＹＥＳ）、そのときの撮像画像を取り込んで保存する（ステップＳ８２）。次に、カメラ移動速度の計算後、画像処理部４は、１つ前の合成用画像と今回取り込んだ合成用画像とを合成する（ステップＳ８６）。

より具体的には、重複領域判定部２０は、１つ前の合成用画像（あるいはこれまで合成した合成画像）と今回取り込んだ合成用画像との重複領域を判定する。また、画像位置調整部２１は、上記重複領域の特徴点に基づいて、隣り合う画像同士の位置を調整し、画像合成部２２は、位置が調整された隣り合う画像同士を合成する。その後、図４に示すメインルーチンに戻る。

そして、パノラマ撮影による連写が終了するまで、順次取り込まれる複数の合成用画像のそれぞれに対して上記処理を行うことにより、１つの繋がった合成画像（パノラマ画像）が得られることになる。

上述した第２実施形態によれば、実際のパノラマ撮影に先立って、ユーザに練習モードと称してデジタルカメラ１をパノラマ撮影時と同様に横方向に移動させ、そのときのカメラ移動速度を計測し、その後、実際のパノラマ撮影では、練習モードで計測したカメラ移動速度に応じてシャッタスピードを決定するようにしたので、被写体ぶれ等を発生させることなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
ところで、パノラマ撮影時、例えば、あるユーザは、最初は速く、終わりで遅くなるとか、あるユーザは、撮影途中で最速になるとか、ユーザが一定速度でカメラを移動するとは限らず、また、ユーザ毎にカメラ移動速度の変化も異なる。そこで、本第３実施形態では、実際のパノラマ撮影時に、カメラ移動速度を計測し、該計測したカメラ移動速度に応じてリアルタイムでシャッタスピードを時々刻々と変更することを特徴とする。

図１０は、本第３実施形態の動作を説明するためのフローチャートである。まず、ＣＰＵ７は、シャッタＳＷが半押しされると（ステップＳ９０）、ＡＦ（オートフォーカス）処理を実行する（ステップＳ９２）。ユーザは、シャッタＳＷを全押した後、デジタルカメラ１を水平方向に回転させるように移動させる（図３を参照）。

ＣＰＵ７は、シャッタＳＷが全押しされると（ステップＳ９４）、記録部１０の移動速度格納部２４から過去直近５回のパノラマ撮影時に得られたカメラ移動速度の平均値を読み出し、該カメラ移動速度の平均値に基づいて、パノラマ撮影時におけるシャッタスピードを決定する（ステップＳ９６）。なお、このシャッタスピードは、あくまで初期値としてのシャッタスピードであり、後述する連写中は、カメラ移動速度の変化に応じて、リアルタイムで変更することになる。

次に、ＣＰＵ７は、撮像制御部３を制御し、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像し、所定の位置に到達する度に撮像した画像を取り込むとともに、カメラ移動速度を計算し、取り込んだ画像を順次合成することで、１つの合成画像（パノラマ画像）３１を生成する（ステップＳ９８）。なお、連写処理＆合成処理の詳細については後述する。

次に、ＣＰＵ７は、連写終了であるか否かを判断する（ステップＳ１００）。連写終了は、例えば、ユーザ（ユーザ操作）により終了信号が発生した場合や、カメラ移動が大きく外れるなどして画像取得にエラーが発生した場合、パノラマ画像の最大サイズを超えるなど、画像取得方向への移動距離が閾値を超えた場合などを契機とする。そして、連写が終了していない場合には（ステップＳ１００のＮＯ）、ステップＳ９８に戻り、連写処理＆合成処理を継続する。

一方、連写が終了した場合には（ステップＳ１００のＹＥＳ）、連写処理＆合成処理中に取得したフレーム間のカメラ移動速度から、総合的なカメラ移動速度（例えば、平均値、メディアン値、速度の変化値など）を算出し（ステップＳ１０２）、該総合的なカメラ移動速度を、記録部１０の移動速度格納部２４に保存し（ステップＳ１０４）、当該処理を終了する。

図１１は、本第３実施形態によるデジタルカメラ１での連写処理＆合成処理の動作を説明するためのフローチャートである。なお、該連写処理＆合成処理の実行中、ＣＰＵ７は、撮像制御部３を制御し、撮像部２により、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなど）で順次撮像している。該撮像画像は、全て合成用画像として取り込まれるわけでなく、取り込み位置で撮像された画像でなければ廃棄される。

まず、ＣＰＵ７は、デジタルカメラ１が一定距離動いたか否かを判断する（ステップＳ１１０）。画像処理部４の重複領域判定部２０が、所定の時間間隔で順次撮像されている画像の重複領域の大きさを判定することにより、合成用画像として取り込むべき画像であるか否かを判断している。そして、デジタルカメラ１が一定距離動いていない場合には（ステップＳ１１０のＮＯ）、まだ、所定の位置に到達していないので、ステップＳ１１０を繰り返し実行する。

一方、デジタルカメラ１が一定距離動いた場合には（ステップＳ１１０のＹＥＳ）、そのときの撮像画像を取り込んで保存する（ステップＳ１１２）。次に、画像取得時の各フレームでのカメラ移動速度を計算する（ステップＳ１１４）。カメラ移動速度の計算については、前述した第１、第２実施形態と同様であるので説明を省略する。

カメラ移動速度の計算後、ＣＰＵ７は、カメラ移動速度に応じてシャッタスピードを決定する（ステップＳ１１６）。例えば、カメラ移動速度が速ければ速くなるほど、シャッタスピードを速くする。次に、画像処理部４は、１つ前の合成用画像と今回取り込んだ合成用画像とを合成する（ステップＳ１１８）。より具体的には、重複領域判定部２０は、１つ前の合成用画像（あるいはこれまで合成した合成画像）と今回取り込んだ合成用画像との重複領域を判定する。画像位置調整部２１は、上記重複領域に基づいて、隣り合う画像同士の位置を調整し、画像合成部２２は、位置が調整された隣り合う画像同士を合成する。その後、図１０に示すメインルーチンに戻る。

そして、パノラマ撮影による連写が終了するまで、ユーザによるカメラ移動速度の変化に応じてリアルタイムでシャッタスピードを変更しながら、順次取り込まれる複数の合成用画像のそれぞれに対して上記処理を行うことにより、１つの繋がった合成画像（パノラマ画像）が得られることになる。

図１２は、本第３実施形態において、カメラ移動速度の計算方法を説明するための概念図である。図１２において、４０−１〜４０−３、及び４１−１〜４１−３は、それぞれ合成用画像として取り込んだ合成用画像である。合成用画像４０−１〜４０−３、及び４１−１〜４１−３の下側に示す目盛りは、所定の時間間隔（例えば、７ｆｐｓとか、１０ｆｐｓなどの固定値）で順次撮像するタイミングを示しており、横軸は移動距離となる。

図１２に示すように、デジタルカメラ１の移動速度が変化する場合、まず、所定の時間間隔で順次撮像している画像の１枚目で、まず、合成用画像４２−１として取り込まれる。次いで、所定の時間間隔で順次撮像している画像の４枚目で、所定の位置に到達したので（一定距離動いたので）、該５枚目の撮像画像が合成用画像４２−２として取り込まれる。この場合、合成用画像４２−１から合成用画像４２−２の間では、所定の時間間隔が１０ｆｐｓであれば、４／１０ｆｐｓ＝０．４秒（速い）で所定の距離を移動したことになる。

次いで、所定の時間間隔で順次撮像している画像の７枚目で、所定の位置に到達したので（一定距離動いたので）、該７枚目の撮像画像が合成用画像４２−３として取り込まれる。この場合、合成用画像４２−２から合成用画像４２−３の間では、所定の時間間隔が１０ｆｐｓであれば、７／１０ｆｐｓ＝０．７秒（遅い）で所定の距離を移動したことになる。

このように、本第３実施形態では、所定の位置が固定（一定）であるので、移動距離を「１」とすれば、上記合成用画像の取り込みに要する時間を、カメラ移動速度に相応する値として用いることができる。例えば、所定の時間間隔が１０ｆｐｓである場合には、上記時間が０．５秒より小で「速い」、０．５秒以上で「遅い」とすればよい。

したがって、実際のパノラマ撮影時に、ユーザによるカメラ移動速度が変化するような場合でも、カメラ移動速度の変化に応じてリアルタイムでシャッタスピードを時々刻々と変更することで、被写体ぶれ等を発生させることなく、パノラマ画像用の合成用画像を撮像することができる。

上述した第３実施形態によれば、実際のパノラマ撮影時に、カメラ移動速度を計測し、該計測したカメラ移動速度の変化に応じてリアルタイムでシャッタスピードを時々刻々と変更するようにしたので、連写中にカメラ移動速度が変化しても、あるいは異なるユーザがパノラマ撮影する場合であっても、被写体ぶれ等を発生させることなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができる。

なお、上述した第１実施形態において、複数のユーザが当該デジタルカメラ１を用いるような場合には、ユーザ毎に直近の過去５回のカメラ移動速度の平均値を保持し、メニュー画面等から使用するユーザを選択可能とするようにしてもよい。また、ユーザの選択は、タッチパネル上でのジェスチャ、パスワード入力、指紋等を用いた判定など、どのような方法を用いてもよい。

また、上述した第３実施形態では、実際のパノラマ撮影での連写中に、カメラ移動速度を計測し、該計測したカメラ移動速度に応じてリアルタイムでシャッタスピードを時々刻々と変更するようにしたが、実際のパノラマ撮影での連写中における、カメラ移動速度の変化が所定の閾値以上になった場合に（急激に速くなった場合に）、シャッタスピードを上げるようにしてもよい。このように、実際のパノラマ撮影での連写中における、カメラ移動速度の変化が所定の閾値以上になった場合に（急激に速くなった場合に）、シャッタスピードを上げるようにしても、被写体ぶれの発生を効果的に防止することができる。

また、上述した第１から第３実施形態では、移動速度算出部６が、デジタルカメラ１が合成用画像取得位置まで移動するのに要したフレーム数を取得することで、カメラ移動速度を計測したが、これに限らず、カメラ移動速度をジャイロセンサなどによる単位時間当たりの角速度として計測してもよい。この場合、例えば、カメラ移動速度が平均４０［ｄｅｇ／ｓ］より小（速い）であれば、シャッタスピードを１／２５０［ｓ］とし、平均４０［ｄｅｇ／ｓ］以上（遅い）であれば、シャッタスピードを１／５００［ｓ］とすればよい。このように、カメラ移動速度をジャイロセンサなどによる単位時間当たりの角速度として計測することができ、被写体ぶれ等を発生させることなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができる。

また、上述した第１から第３実施形態において、ＣＰＵ７や、タイマなどによる計時手段を備え、所定の時間間隔（例えば、７ｆｐｓ、１０ｆｐｓ）で順次撮像される撮像画像の画角の変化からデジタルカメラ１の移動距離を計測し、その移動距離の移動に要する時間をタイマで計測し、上記移動距離と時間とから、カメラ移動速度を算出するようにしてもよい。このように、順次撮像される撮像画像の画角の変化から移動距離と、その移動距離の移動に要する時間とからでも、カメラ移動速度を算出することができ、被写体ぶれ等を発生させることなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができる。

また、上述した第１から第３実施形態では、ユーザのカメラ移動速度が「遅い」、「速い」に応じて、シャッタスピードを決定するとしたが、さらに、撮影環境としての明るさ（露出）を決定条件の１つに加えてもよい。撮影環境の明るさは、既存の露出計などを用いればよい。

図１３は、ユーザのカメラ移動速度とそのときの明るさ（露出）とに応じて、シャッタスピードを決定するための条件を示す図である。図示するように、ユーザのカメラ移動速度が「遅い」場合、シャッタースピードを、撮影が屋外（昼間）であれば、１／５００（ｓ）、屋内であれば、１／２５０（ｓ）、屋外（夜間）であれば、１／１００（ｓ）とし、ユーザのカメラ移動速度が「速い」場合、シャッタースピードを、撮影が屋外（昼間）であれば、１／１０００（ｓ）、屋内であれば、１／５００（ｓ）、屋外（夜間）であれば、１／１００（ｓ）とすればよい。このように、カメラ移動速度に加えて、撮影環境としての明るさに応じて、シャッタスピードを決定することにより、より適切なシャッタスピードを選択することができ、被写体ぶれ等を発生させることなく、ユーザによるデジタルカメラ１の移動速度の傾向に応じた撮像速度で画像を撮像することができる。

なお、カメラ移動速度が「遅い」、「速い」を判定する閾値は、カメラ移動速度に合成用画像を取り込む時間間隔を用いた場合には、例えば、閾値を０．５秒とし、取り込む時間間隔が０．５秒より小で「速い」、０．５秒以上で「遅い」としたり、カメラ移動速度に角速度を用いた場合には、例えば、閾値を４０［ｄｅｇ／ｓ］とし、４０［ｄｅｇ／ｓ］より小で「速い」、４０［ｄｅｇ／ｓ］以上で「遅い」とすればよい。

また、上述したように、ユーザのカメラ移動速度と撮影環境（屋内、屋外（昼、夜））とに応じてシャッタスピードを変化させることに限らず、該シャッタスピードに代えて、当該撮影環境（屋内、屋外（昼、夜））に応じてＩＳＯ値を変化させるようにしてもよい。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、前記撮像手段により撮像された複数の画像を順次取得し、当該取得された複数の画像からパノラマ画像を生成する生成手段と、を備えた撮像装置において、当該撮像装置が移動させられる間に前記撮像手段に複数の画像を順次撮像させる撮像制御手段と、当該撮像装置が移動させられる間の移動速度に基づいて、前記撮像手段の撮像時におけるシャッタ速度を変更する変更手段とを備えたことを特徴とする撮像装置である。

（付記２）
付記２に記載の発明は、当該撮像装置の過去の移動速度を記憶する移動速度記憶手段とを更に備え、前記変更手段は、前記移動速度記憶手段に記憶されている前記過去の移動速度に基づいて、前記撮像手段の撮像時におけるシャッタ速度を変更することを特徴とする付記１に記載の撮像装置である。

（付記３）
付記３に記載の発明は、前記撮像手段による撮像の間、前記移動速度を測定する移動速度測定手段と、前記移動速度測定手段により測定された当該撮像装置の移動速度で、前記移動速度記憶手段に記憶されている前記過去の移動速度を更新する移動速度更新手段とを更に備えることを特徴とする付記２に記載の撮像装置である。

（付記４）
付記４に記載の発明は、前記移動速度測定手段は、本撮影に先立つ仮撮影で、当該撮像装置の移動速度を測定し、前記変更手段は、前記移動速度測定手段により測定された移動速度に基づいて、前記撮像手段の撮像時におけるシャッタ速度を変更することを特徴とする付記１に記載の撮像装置である。

（付記５）
付記５に記載の発明は、前記移動速度測定手段は、前記撮像手段による撮像の間、当該撮像装置の移動速度を逐次測定し、前記変更手段は、前記撮像手段による撮像の間、前記移動速度測定手段によって逐次測定された移動速度に基づいて、前記撮像手段の撮像時におけるシャッタ速度を逐次変更することを特徴とする付記１に記載の撮像装置である。

（付記６）
付記６に記載の発明は、前記撮像手段による撮像の間、前記移動速度の変化量を逐次算出する移動速度変化量算出手段と、前記移動速度変化量算出手段により算出された移動速度の変化量が所定の閾値以上であるか否かを判別する判別手段とを更に備え、前記変更手段は、前記判別手段により前記移動速度の変化量が所定の閾値以上であると判別されると、前記撮像手段の撮像時におけるシャッタ速度を変更することを特徴とする付記５に記載の撮像装置である。

（付記７）
付記７に記載の発明は、当該撮像装置が所定の位置に到達するまでに要した時間を計時する計時手段と、前記所定の位置に到達するまでの距離を測定する距離測定手段とを更に備え、前記移動速度測定手段は、前記計時手段により計時された時間と前記距離測定手段により測定された距離とに基づいて、当該撮像装置の移動速度を算出する付記２から６のいずれかに記載の撮像装置である。

（付記８）
付記８に記載の発明は、前記移動速度測定手段は、当該撮像装置の角速度を検出するジャイロセンサであり、前記変更手段は、前記ジャイロセンサにより検出された当該装置装置の角速度に基づいて、前記撮像手段の撮像時におけるシャッタ速度を変更することを特徴とする付記２から６のいずれかに記載の撮像装置である。

（付記９）
付記９に記載の発明は、周囲の明るさを検出する検出手段を更に備え、前記変更手段は、当該撮像装置を移動させている間の移動速度と、前記検出手段により検出された周囲の明るさとに基づいて、前記撮像手段の撮像時におけるシャッタ速度を変更することを特徴とす付記１から８のいずれかに記載の撮像装置である。

（付記１０）
付記１０に記載の発明は、前記撮像制御手段は、前記撮像手段により所定の時間間隔で順次撮像させ、移動過程で当該撮像装置が所定の位置に到達する度に、その位置で撮像された撮像画像を取り込み、前記生成手段は、前記所定の位置に到達する度に撮像され、取り込まれた複数の撮像画像を合成することで、パノラマ画像を生成することを特徴とする付記１から９のいずれかに記載の撮像装置である。

（付記１１）
付記１１に記載の発明は、撮像手段と、前記撮像手段により撮像された複数の画像を順次取得し、当該取得された複数の画像からパノラマ画像を生成する生成手段と、を備えた撮像装置での撮像制御方法において、前記撮像装置を移動させている間に前記撮像手段により複数の画像を順次撮像させる撮像制御ステップと、前記撮像装置を移動させている間の移動速度に基づいて、前記撮像手段の撮像時における撮像速度を変更する変更ステップとを含むことを特徴とする撮像制御方法である。

（付記１２）
付記１２に記載の発明は、撮像する撮像手段と、前記撮像手段により撮像された複数の画像を順次取得し、当該取得された複数の画像からパノラマ画像を生成する生成手段と、を備えた撮像装置のコンピュータを、前記撮像装置を移動させている間に前記撮像手段により複数の画像を順次撮像させる撮像制御手段、前記撮像装置を移動させている間の移動速度に基づいて、前記撮像手段の撮像時における撮像速度を変更する変更手段として機能させることを特徴とするプログラムである。

１ デジタルカメラ
２ 撮像部
３ 撮像制御部
４ 画像処理部
５ 移動距離計測部
６ 移動速度算出部
７ ＣＰＵ
８ ＲＡＭ
９ ＲＯＭ
１０ 記録部
１１ 表示部
１２ キー入力部
２０ 重複領域判定部
２１ 画像位置調整部
２２ 画像合成部
２４ 移動速度格納部

Claims (9)

1. 被写体を連続的に撮像して、画像を順次出力する撮像手段と、
   前記撮像手段による被写体の連続的な撮像の開始の指示を検出する指示検出手段と、
   前記指示検出手段により前記撮像手段による連続的な撮像の開始の指示が検出されたことに伴い、前記撮像手段に連続的な撮像を開始させるよう制御する撮像制御手段と、
   前記撮像制御手段の制御により前記撮像手段に連続的に撮像された複数の画像からパノラマ画像を生成する生成手段と、
   前記指示検出手段により前記撮像の開始の指示が検出された時点より過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報を取得する移動速度取得手段と、
   前記移動速度取得手段に取得された前記過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報に基づいて、前記撮像制御手段により制御される前記撮像手段のシャッタ速度を設定する設定手段と
   を備えたことを特徴とする撮像装置。
2. 本撮像装置の移動速度の情報を記憶する移動速度記憶手段を更に備え、
   前記移動速度取得手段は、前記移動速度記憶手段に記憶された移動速度の情報を前記指示検出手段により前記撮像の開始の指示が検出された時点より過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報として取得する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段による撮像の間、前記移動速度を測定する移動速度測定手段と、
   前記移動速度測定手段により測定された本撮像装置の移動速度の情報で、前記移動速度記憶手段に記憶されている前記過去のパノラマ撮影時に得られた移動速度の情報を更新する移動速度更新手段と
   を更に備えることを特徴とする請求項２に記載の撮像装置。
4. 前記移動速度測定手段は、当該撮像装置の角速度を検出するジャイロセンサであり、
   前記移動速度取得手段は、前記ジャイロセンサにより検出された当該撮像装置の角速度に基づいて、前記撮像の開始の指示が検出された時点より過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報を取得する
   ことを特徴とする請求項３に記載の撮像装置。
5. 周囲の明るさを検出する検出手段を更に備え、
   前記設定手段は、前記移動速度取得手段に取得された前記過去のパノラマ撮影時に得られた移動速度と、前記検出手段により検出された周囲の明るさとに基づいて、前記撮像手段の撮像時におけるシャッタ速度を設定する
   ことを特徴とする請求項１から４の何れか１項に記載の撮像装置。
6. 前記撮像手段のシャッタ速度を所定のシャッタ速度から前記設定手段により設定されたシャッタ速度に変更する変更手段を更に備えたことを特徴とする請求項１から５の何れか１項に記載の撮像装置。
7. 前記撮像制御手段は、前記撮像手段により所定の時間間隔で順次撮像させ、移動過程で当該撮像装置が所定の位置に到達する度に、その位置で撮像された撮像画像を取り込み、
   前記生成手段は、前記所定の位置に到達する度に撮像され、取り込まれた複数の撮像画像を合成することで、パノラマ画像を生成する
   ことを特徴とする請求項１から６の何れか１項に記載の撮像装置。
8. 撮像装置による撮像制御方法において、
   撮像手段により連続的に撮像された複数の画像を順次出力する撮像制御ステップと、
   前記撮像手段による被写体の連続的な撮像の開始の指示を検出する検出ステップと、
   前記検出ステップにより前記撮像手段による連続的な撮像の開始の指示が検出されたことに伴い、前記撮像手段に連続的な撮像を開始させるよう制御する撮像制御ステップと、
   前記撮像制御ステップでの制御により前記撮像手段に連続的に撮像された複数の画像からパノラマ画像を生成する生成ステップと、
   前記検出ステップにより前記撮像の開始の指示が検出された時点より過去のパノラマ撮影時に得られた本撮像装置の移動速度の情報を取得する移動速度取得ステップと、
   前記移動速度取得ステップに取得された前記過去のパノラマ撮影時に得られた本撮像装置の移動速度に基づいて、前記撮像制御ステップにより制御される前記撮像手段のシャッタ速度を設定する設定ステップと
   を含むことを特徴とする撮像制御方法。
9. コンピュータを、
   撮像装置の撮像手段により連続的に撮像された被写体の複数の画像を順次撮像させる撮像制御手段、
   前記撮像手段による被写体の連続的な撮像の開始の指示を検出する指示検出手段、
   前記指示検出手段により前記撮像手段による連続的な撮像の開始の指示が検出されたことに伴い、前記撮像手段に連続的な撮像を開始させるよう制御する撮像制御手段、
   前記撮像制御手段の制御により前記撮像手段に連続的に撮像された複数の画像からパノラマ画像を生成する生成手段、
   前記指示検出手段により前記撮像の開始の指示が検出された時点より過去のパノラマ撮影時に得られた前記撮像装置の移動速度の情報を取得する移動速度取得手段、
   前記移動速度取得手段に取得された前記過去のパノラマ撮影時に得られた前記撮像装置の移動速度に基づいて、前記撮像制御手段により制御される前記撮像手段のシャッタ速度を設定する設定手段
   として機能させることを特徴とするプログラム。
   
   

Images