JPWO2010098228A1 - 撮像装置と撮像方法 - Google Patents

Abstract

パノラマ画像の生成を容易に行えるようにする。ドライバ１２は、光軸に対してレンズ部１１ａと撮像素子２１の少なくとも一方を変位させる。制御部５０は、撮像装置１０の動きに応じて、レンズ部１１ａと撮像素子２１の少なくとも一方をドライバ１２によって変位させる。複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、制御部５０は、レンズ部１１ａおよび／または撮像素子２１における各撮像画像の露光開始時の位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像装置の動きによって生じる振れの補正を行う。

Description

この発明は、撮像装置と撮像方法に関する。詳しくは、パノラマ画像を生成するための複数枚の撮像画像を容易に得られるようにする。

従来、例えば撮像装置を用いてパノラマ画像を得るためには、特許文献１のように、撮像領域を少しずつ移動させて撮像を行い、撮像開始点から連続的にフレーム（あるいはフィールド）画像を記録する。そして、記録された撮像画像に対して、位置的に隣接する撮像画像の重複部分を抽出し、この重複部分に対して所定の演算を行うことによって、それぞれの撮像画像がシームレスに合成されてパノラマ画像が生成される。

例えば、ユーザは、撮像方向を水平方向に移動させながら撮像を行い、複数枚の撮像画像を記録する。この撮像画像に対して重複部分に適当な処理を加えながら撮像画像をシームレスに繋ぐことで、横長のパノラマ画像を得ることができる。

また、撮像時に撮像方向の移動方向と逆方向に光軸可変素子を変化させて、光軸がリニアに移動している間にシャッターを開放して、シャッターが閉じている間に速やかに光軸を元に戻す動作を繰り返して複数枚の撮像画像を記録する。このようにすれば、撮像装置を素早く動かしても解像度が悪くならず、シャッター速度を速くしなくても、良好なパノラマ画像を生成できる。

特開平１１−８８７５４号公報

ところで、撮像装置では、手振れに応じて光軸を変化させて、手振れによる画像のぼけを防止する手振れ補正機能が設けられている。しかし、手振れ補正機能は、手振れによる画像のぼけを防止する機能であり、パノラマ画像に用いられる撮像画像を生成するための機能ではない。

そこで、パノラマ画像を生成するための複数枚の撮像画像を容易に得られる撮像装置と撮像方法を提供することを目的とする。

この発明の第１の側面は、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させる撮像装置にある。

この発明においては、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の生成を行うとき、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から光軸に対して垂直な面内で撮像方向の移動する方向に応じた方向に変位されて、変位された位置を振れ補正の補正動作開始位置とすることで振れ補正範囲が広くなる。また、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から変位され対置が露光開始位置とされる。また、露光期間中は、変位されているレンズ部および／または撮像素子が撮像装置の動きに応じて移動されて、撮像素子の撮像面上に結像される光学像に対して撮像装置の動きに応じた振れの補正が行われる。また、パノラマ画像を生成するために複数枚の撮像画像を生成する撮像モードと異なる撮像モードであるとき、レンズ部と撮像素子の位置を、光軸を中心とした位置として露光が開始される。

この発明の第２の側面は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させるステップを備える撮像方法にある。

この発明によれば、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時におけるレンズ部および／または撮像素子の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。さらに、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。

第１の実施の形態の構成を示す図である。 撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。 撮像装置の外観を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 メニュー表示が行われた状態を示す図である。 右方向スイープモードが選択された場合を説明するための図である。 左方向スイープモードが選択された場合を説明するための図である。 上方向スイープモードが選択された場合を説明するための図である。 下方向スイープモードが選択された場合を説明するための図である。 通常撮像モードが選択された場合を説明するための図である。 右方向スイープモードでパノラマ画像を生成する場合を示す図である。 右方向スイープモードに設定されているときの動作を説明するための図である。 撮像画像生成処理を説明するための図である。 右方向スイープモードで生成される撮像画像を説明するための図である。 第２の実施の形態の構成を示す図である。 雲台の構成を示す図である。 第２の実施の形態の動作を示すフローチャートである。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．撮像装置の構成
１−２．撮像装置の外観
１−３．撮像装置の動作
１−４．パノラマ画像の生成動作例（右方向スイープモードの場合）
２．第２の実施の形態
２−１．撮像装置の構成
２−２．雲台の構成
２−３．撮像装置の動作

＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
図１は、第１の実施の形態の構成を示す図である。撮像装置１０は、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、動き検出部４２、制御部５０を備えている。

撮像光学系ブロック１１は、レンズ部１１ａと撮像素子２１の撮像面上に形成される光学像の光量調節する絞り機構１１ｂを備えている。レンズ部１１ａは、例えば変倍を行うズームレンズ１１１、フォーカシングを行うフォーカスレンズ１１２、後述する撮像素子２１の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部１１３で構成されている。

補正レンズ部１１３は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に移動させるアクチュエータ等で構成されている。このような構成の補正レンズ部１１３は、アクチュエータによって、補正レンズを撮像光学系の光軸に対して垂直な面内で、光軸を中心とした位置から変位させる。

また、補正レンズ部１１３は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。

さらに、レンズ部１１ａは、撮像面上に光学像を結像させる構成であって、光軸に対して垂直な面内で変位することにより撮像面上に結像される光学像の位置を撮像面上で移動できる構成であれば他の構成であってもよい。したがって、レンズ部１１ａは、ズームレンズ１１１とフォーカスレンズ１１２および補正レンズ部１１３によって構成される場合に限られるものではない。

ドライバ１２は、後述する制御部５０からのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０からの絞り制御信号に基づき絞り機構１１ｂを駆動する。

撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０に供給する。

撮像素子２１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの撮像素子が用いられている。撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。

ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。

ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理例えばＣＤＳ（Correlated Double Sampling）処理や、撮像信号を所望の信号レベルとするＡＧＣ（Automatic Gain Control）処理を行う。さらに、ＡＦＥ部２３は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部２４に出力する。

信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。カメラ信号前処理では、ＡＦＥ部２３から供給された画像信号に対して、撮像素子２１における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ（Color Filter Array）を設けることにより、１つの撮像素子で赤色，緑色，青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク（demosaic）処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。解像度変換処理では、カメラ信号処理がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。圧縮伸張処理では、カメラ信号処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばＪＰＥＧ方式の符号化信号を生成する。また、圧縮伸張処理では、ＪＰＥＧ方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、ＪＰＥＧ方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。

さらに、撮像装置１０でパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、動き検出センサからの動き検出信号を用いてもよい。この場合、動きベクトルが正しく得られなくとも、動き検出信号を利用して同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。なお、パノラマ画像の生成に用いる撮像画像は、例えば図示していないメモリまたは後述する記録再生部３３で記録媒体に書き込むものとする。また、パノラマ画像の生成は、撮像時または再生時のいずれで行ってもよい。また、撮像装置１０とは異なる外部機器、例えばコンピュータ等でパノラマ画像の生成を行うものとしてもよい。パノラマ画像の生成を再生時や外部機器で行う場合、再生時や外部機器でパノラマ画像の生成を可能とする識別情報（例えば一連の撮像画像であることを示す情報や撮像順序を示す情報等）を、パノラマ画像の生成に用いる撮像画像に対して設ける。このように識別情報を設けることで、正しい順序で撮像画像を合成してパノラマ画像を生成できる。

検波部２５は、信号処理部２４に供給された撮像信号等を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０に供給する。

画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。

表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。

記録再生部３３では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。なお、記録再生部３３は、記録媒体が着脱可能とされている構成に限られない。例えば、記録再生部３３としてハード・ディスク装置等を内蔵させるようにしてもよい。

操作部４１は、操作ボタンや表示部３２の画面上に設けられたタッチパネル等で構成されている。操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０に供給する。

動き検出部４２は、撮像装置１０の動きを検出する例えばジャイロセンサを用いて構成されている。動き検出センサは、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度検出センサと、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度検出センサで構成されている。また、動き検出部４２には、検出信号の信号処理を行う処理回路が設けられている。処理回路では例えば検出信号から不要な信号成分、例えばノイズ成分や角速度値の信号成分よりも高い周波数成分および共振周波数成分等を除去する。さらに、処理回路では温度変化や時間変化に伴って生じるドリフトの補正、検出信号をディジタル信号に変換して制御部５０に供給する処理等を行う。動き検出部４２から検出信号がアナログ信号として出力される場合、制御部５０は動き検出信号をディジタル信号に変換して用いる構成としてもよい。

なお、動き検出部４２は、角速度検出センサを用いて構成する場合に限られない。例えば、加速度検出センサ等を用いて動きの検出を行うようにしてもよい。加速度検出センサを用いる場合、加速度検出センサの出力を積分して速度を算出できる。さらに、その速度を積分して動きを算出することができる。

制御部５０は、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０のＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０は、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。

また、制御部５０は、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。

さらに、制御部５０は、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０は、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。

このように構成された撮像装置１０において、制御部５０は、動き検出部４２で検出された撮像装置１０の動きに応じて、補正レンズ部１１３の補正レンズと撮像素子２１の少なくとも一方を変位させる。制御部５０は、このように補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子２１の撮像面上に結像される光学像が、撮像装置の動きに応じて振れを生じることがないように振れの補正を行う。すなわち、制御部５０は、撮像装置１０の動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像装置の動きによって生じる撮像画像の振れを補正する。

図２は、撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。例えば、図２の（Ａ）では、被写体ＯＢａの光学像ＯＢｂが撮像素子８２の撮像面の中央位置となるように撮像装置８０の位置が設定されている。次に、撮像装置８０に動きが生じて、撮像装置８０が図２の（Ｂ）に示す矢印ＦＡの方向に移動すると、撮像面上に結像される光学像ＯＢｂの位置は、撮像面の中央位置から移動してしまう。ここで、図２の（Ｃ）に示すように、レンズ部８１を撮像装置８０の動き方向とは逆方向である矢印ＦＢ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。また、図２の（Ｄ）に示すように、撮像素子８２を撮像装置８０の動き方向と同じ方向である矢印ＦＣ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。すなわち、撮像装置８０の動きに応じて、レンズ部８１と撮像素子８２の少なくとも一方を変位させることで、撮像装置８０の動きによって生じる撮像画像の振れを補正できる。

なお、撮像装置８０の動きに応じてレンズ部８１や撮像素子８２を変位させるときの変位方向は、撮像装置８０の動きによって生じる光学像ＯＢｂの移動を補正する方向であればよく、図２の（Ｃ）や図２の（Ｄ）に示す方向に限られるものではない。

図１の制御部５０は、例えばレンズ部を変位させる場合、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように補正レンズ部１１３の補正レンズを変位させるためのレンズ制御信号を生成してドライバ１２に供給する。ドライバ１２は、レンズ制御信号に基づき駆動信号を生成して補正レンズ部１１３に出力する。補正レンズ部１１３は、駆動信号に基づきアクチュエータで補正レンズを変位させる。このように、動き検出部４２からの動き検出信号に基づいて補正レンズ部１１３を駆動することで、補正レンズ部１１３の補正レンズを光軸に対して変位させて振れ補正を行う。

また、撮像素子２１を変位させて振れ補正を行う場合、図１の点線で示すように、撮像装置１０には、撮像素子２１を光軸に対して直交する方向に移動させるアクチュエータ２１ａを設ける。さらに、制御部５０は、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように撮像素子２１を変位させるための位置制御信号を生成してドライバ１２に供給する。ドライバ１２は、位置制御信号に基づき駆動信号を生成してアクチュエータ２１ａに出力する。アクチュエータ２１ａは、駆動信号に基づき撮像素子２１を変位させる。このように、動き検出部４２からの動き検出信号に基づいてアクチュエータ２１ａを駆動することで、撮像素子２１を光軸に対して変位させて、撮像素子の撮像面上に結像される光学像の振れ補正を行う。

さらに、制御部５０は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の各画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子の補正動作開始位置を、撮像方向の移動する方向に応じた方向に光軸を中心とした位置から変位させる。したがって、撮像方向の移動に対する振れ補正の補正可能範囲は、補正動作開始位置が光軸を中心とした位置とされている場合に比べて広くなる。

制御部５０は、補正動作開始位置から撮像装置の動きに応じて補正レンズおよび／または撮像素子を駆動するとき、撮像装置の動きに対して遅れを生じることなく移動させることができるときは、補正動作開始時の位置を露光開始時の位置として露光を開始する。また、制御部５０は、駆動開始時に撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が遅れを生じるとき、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となってから露光を開始する。なお、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となるまでに要する期間は短く、露光開始時の位置は、補正動作開始位置の近傍となり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。

制御部５０は、露光期間中、撮像装置の動きに応じて補正レンズおよび／または撮像素子を移動させることで撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態として、撮像装置の動きによるぶれが生じていない撮像画像を生成する。

なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。また、撮像方向の移動では、撮像装置の平行移動やスイープ動作が行われる。したがって、以下の説明では、撮像装置１０をスイープさせて、撮像方向の移動させる場合について説明する。

［１−２．撮像装置の外観］
図３は、撮像装置１０の外観を例示している。撮像装置１０の筐体の背面には、表示部３２が設けられ、表示部３２の近傍には操作部４１が設けられている。操作部４１は、複数の操作キー等で構成されている。例えばメニューキー４１１は、表示部３２にメニューを表示するための操作キーである。方向キー４１２ａ〜４１２ｄは、メニュー項目の選択等を行うときに操作される操作キーである。方向キー４１２ａ〜４１２ｄの中心部分に設けられている決定キー４１３は、選択されている項目の決定操作等を行うときに操作される操作キーである。さらに、筐体の上面に設けられたシャッターキー４１５は、シャッター操作を行うための操作キーである。なお、図３に示した操作部４１は一例であり、キーの位置や種類はこの例に限定されない。また、表示部３２の画面上にタッチパネルを設けて、表示部３２の所定の位置を触れることで各種動作の設定や実行指示等を行うこともできるようにしてもよい。

［１−３．撮像装置の動作］
図４は、第１の実施の形態の動作を示すフローチャートである。なお、図４は、撮像装置１０が、複数枚の撮像画像からパノラマ画像を生成するために、撮像方向を移動しながら複数枚の撮像画像の生成を行う第１の撮像モード（以下「パノラマ撮像モード」という）と、第１の撮像モードと異なる第２の撮像モード（以下「通常撮像モード」という）を有している場合を示している。なお、第２の撮像モードは、例えば、１枚の撮像画像を生成する撮像モード、夜間等で撮像を行ったとき人物と背景がそれぞれ所望の明るさの撮像画像を得られるように、露光量の異なる複数枚の撮像画像を領域毎にいずれかの画像の比率を高めて重ね合わせる撮像モード（いわゆる夜景モード）等のように、第１の撮像モードと異なる撮像モードである。

ステップＳＴ１で制御部５０は、撮像モードがパノラマ撮像モードであるか否か判別する。制御部５０は、操作部４１のメニューキー４１１が操作されたことを判別したとき、表示部３２にメニュー表示ＧＡを行う。図５は、表示部３２でメニュー表示が行われている状態を例示している。その後、制御部５０は、上方向を示す方向キー４１２ａまたは下方向を示す方向キー４１２ｃの操作に応じてモードの切り換えを行い、選択されている撮像モードを識別可能に表示する。例えば、制御部５０は、カーソル表示ＧＢを設けて、カーソル表示ＧＢの位置を、方向キー４１２ａ，４１２ｃの操作に応じて上下に移動させて、選択されている撮像モードを識別可能とする。さらに、制御部５０は、決定キー４１３が操作されたときに選択されている撮像モードを、撮像装置１０の撮像モードに設定する。ここで、制御部５０は、撮像モードとしてパノラマ撮像モードＭＰが選択されているときステップＳＴ２に進み、撮像モードがパノラマ撮像モードと異なる撮像モードに設定されたときステップＳＴ１４に進む。

ステップＳＴ２で制御部５０は、右方向スイープモードに設定されたか否か判別する。制御部５０は、パノラマ撮像モードＭＰが選択されているとき、図５に示すようにスイープモード選択画ＧＣを表示する。その後、制御部５０は、左方向を示す方向キー４１２ｂまたは右方向を示す方向キー４１２ｄの操作に応じてスイープモードを切り換えて、選択されているスイープモードを識別可能に表示する。例えば、選択されているスイープモードの矢印表示を他のスイープモードの矢印表示と異なる色や輝度等で表示することにより、選択されているスイープモードを容易に識別できるようにする。

制御部５０は、スイープモード選択画ＧＣの表示後、右方向を示す方向キー４１２ｄが操作されたとき、右方向スイープモードが選択されたと判断する。制御部５０は、右方向スイープモードが選択されたとき、図６の（Ａ）のように、スイープモード選択画ＧＣにおいて右方向を示す矢印表示を他の方向を示す矢印表示と異なる表示とする。さらに、この状態で右方向を示す方向キー４１２ｄが操作されたとき、制御部５０は、左方向スイープモードが選択されたと判断する。制御部５０は、左方向スイープモードが選択されたとき、図７の（Ａ）に示すように、スイープモード選択画ＧＣにおいて左方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。

また、右方向を示す方向キー４１２ｄがさらに操作されたとき、制御部５０は、上方向スイープモードが選択されたと判断する。制御部５０は、上方向スイープモードが選択されたとき、図８の（Ａ）に示すように、スイープモード選択画ＧＣにおいて上方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、右方向を示す方向キー４１２ｄがさらに操作されたとき、制御部５０は、下方向スイープモードが選択されたと判断する。制御部５０は、下方向スイープモードが選択されたとき、図９の（Ａ）に示すように、スイープモード選択画ＧＣにおいて下方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、左方向を示す方向キー４１２ｂが操作されたとき、制御部５０は、スイープモードを左側に位置するスイープモードに切り換える。

このように、制御部５０は方向キー４１２ｂ，４１２ｄの操作に応じてスイープモードの切り換えを行い、決定キー４１３が操作されたときに選択されているスイープモードを、パノラマ撮像モードにおけるスイープモードに設定する。

制御部５０は、右方向スイープモードに設定されたと判別したときステップＳＴ３に進み、他のスイープモードに設定されたと判別したときステップＳＴ４に進む。

ステップＳＴ３で制御部５０は、右方向スイープモード光学位置設定を行う。右方向スイープモード光学位置設定では、撮像装置１０の撮像方向を右方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、右方向スイープに対する振れ補正の補正範囲を広くする。制御部５０は、パノラマ撮像モードと異なる撮像モードであるとき、レンズ部と撮像素子を所定位置、例えばレンズ部と撮像素子の中心位置を光軸の位置とする。また、制御部５０は、パノラマ撮像モードであるとき、スイープモードに応じてレンズ部と撮像素子の少なくとも一方を光軸に対して変位させる。例えば、撮像時に右方向スイープを行って撮像方向を右方向に移動させたとき、撮像装置１０は、補正レンズを左方向に移動させることで、撮像面上の光学像における被写体の位置が右方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、レンズ制御信号によって、補正レンズ部１１３の補正レンズ１１３ａを、光軸の位置からアクチュエータ１１３ｂで、図６の（Ｂ）のように右方向に変位させる。したがって、補正レンズを移動させて補正が可能となる範囲は、変位前の状態よりも広くなる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。なお、図６の（Ｂ）において、点線ＡＲで示す位置は、補正レンズ１１３ａの補正制御端の位置を示している。

ステップＳＴ４で制御部５０は、左方向スイープモードに設定されたか否か判別する。制御部５０は、左方向スイープモードに設定されたと判別したときステップＳＴ５に進み、他のスイープモード（上方向スイープモードまたは下方向スイープモード）に設定されたと判別したときステップＳＴ６に進む。

ステップＳＴ５で制御部５０は、左方向スイープモード光学位置設定を行う。左方向スイープモード光学位置設定では、撮像装置１０の撮像方向を左方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、左方向スイープに対する振れ補正の補正範囲を広くする。例えば、撮像時に左方向スイープを行って撮像方向を左方向に移動したとき、撮像装置１０は、補正レンズを右方向に移動させることで、撮像面上の光学像における被写体の位置が左方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、補正レンズを移動させて補正が可能となる範囲を広くするため、レンズ制御信号によって、図７の（Ｂ）に示すように、補正レンズ１１３ａをアクチュエータ１１３ｂで中心位置（光軸を中心とした位置）から左方向に変位させる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。

ステップＳＴ６で制御部５０は、上方向スイープモードに設定されたか否か判別する。制御部５０は、上方向スイープモードに設定されたと判別したときステップＳＴ７に進み、他のスイープモード（下方向スイープモード）に設定されたと判別したときステップＳＴ８に進む。

ステップＳＴ７で制御部５０は、上方向スイープモード光学位置設定を行う。上方向スイープモード光学位置設定では、撮像装置１０の撮像方向を上方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、上方向スイープに対する振れ補正の補正範囲を広くする。例えば、撮像時に上方向スイープを行って撮像方向を上方向に移動させたとき、撮像装置１０は、補正レンズを下方向に移動させることで、撮像面上の光学像における被写体の位置が上方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、補正レンズを移動させて補正が可能となる範囲を広くするため、レンズ制御信号によって、図８の（Ｂ）に示すように、補正レンズ部１１３の補正レンズ１１３ａをアクチュエータ１１３ｂで中心位置から上方向に変位させる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。

ステップＳＴ８で制御部５０は、下方向スイープモード光学位置設定を行う。下方向スイープモード光学位置設定では、撮像装置１０の撮像方向を下方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、下方向スイープに対する振れ補正の補正範囲を広くする。例えば、撮像時に下方向スイープを行って撮像方向を下方向に移動させるとき、撮像装置１０は、補正レンズを上方向に移動させることで、撮像面上の光学像における被写体の位置が下方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、補正レンズを移動させて補正が可能となる範囲を広くするため、レンズ制御信号によって、図９の（Ｂ）に示すように、補正レンズ部１１３の補正レンズ１１３ａをアクチュエータ１１３ｂで中心位置から下方向に変位させる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。

ステップＳＴ９で制御部５０は、スイープ方向指示を行う。制御部５０は、スイープモードに対応した方向に撮像方向が移動されるように、スイープ方向を示すスイープ指示画像の表示を表示部３２で行い、移動方向をユーザに報知してステップＳＴ１０に進む。

ステップＳＴ１０で制御部５０は、シャッター操作を開始してステップＳＴ１１に進む。シャッター操作の開始は、シャッターキー４１５の操作や動き検出信号に基づいて行う。例えば、制御部５０は、シャッターキー４１５が押された状態となったことを検出したとき、シャッター操作を開始する。

また、動き検出信号を利用すれば、自動的にシャッター操作を開始できる。例えば、制御部５０は、ステップＳＴ９で報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出したとき、シャッター操作を開始する。このようにすれば、ユーザはシャッターキー４１５を操作しなくとも、報知された方向に撮像装置１０の向きを移動させるだけで、シャッター操作を開始できる。シャッターキー４１５が押された状態となったことを検出したときシャッター操作を開始する場合、シャッターキー４１５の操作によって撮像装置のぶれが生じると、このぶれの影響がパノラマ画像に現れてしまうおそれがある。しかし、動き検出信号を利用してシャッター操作を開始すれば、シャッターキー４１５の操作が必要ないので、シャッター操作によるぶれの影響がないパノラマ画像を容易に得ることができる。

ステップＳＴ１１で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、スイープ動作によって生じる振れに対する補正（スイープ補正）を行う。制御部５０は、補正動作開始時に撮像装置の動きに対して遅れを生じることなく補正レンズ１１３ａを移動できるとき、補正動作開始位置を露光開始時の位置として露光を開始する。また、制御部５０は、補正動作開始時に撮像装置の動きに対して補正レンズ１１３ａの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ１１３ａの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。なお、露光開始時の位置は、補正動作開始位置の近傍であり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０をスイープさせても、スイープ動作によるぼけが生じていない撮像画像を生成させてステップＳＴ１２に進む。また、制御部５０は、スイープ動作時の撮像画像生成処理において、補正動作開始位置を撮像方向の移動する方向に変位させることで、補正可能な範囲を広くしている。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置１０の動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置１０の動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置１０の動きによるぶれが生じていない撮像画像を生成できる。

ステップＳＴ１２で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ１１に戻り、シャッター操作が終了されたと判別したときステップＳＴ１３に進む。制御部５０は、ステップＳＴ１１に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０をスイープさせてもぼけの生じていない画像の生成を行う。

制御部５０は、例えば移動量が予め設定されている所定量に達したときシャッター操作の終了とする。移動量は例えば動きベクトルを用いて算出できる。また、制御部５０は、動き検出信号からスイープ量を判別して、スイープ量が所定量に達したときシャッター操作の終了としてもよい。また、シャッターキー４１５が押された状態となったことを検出してシャッター操作を開始した場合、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とすることもできる。さらに、制御部５０は、報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出してシャッター操作を開始した場合、報知した移動方向に撮像装置１０の向きが移動しなくなったときシャッター操作の終了とすることもできる。

ステップＳＴ１３で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ１１とステップＳＴ１２の処理によって生成された複数枚の撮像画像を生成順に用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してステップＳＴ１５に進む。

また、ステップＳＴ１で、撮像モードがパノラマ撮像モードと異なるモードに設定されたと判別されてステップＳＴ１４に進むと、制御部５０は撮像画像生成処理を行う。制御部５０は、補正動作開始位置、すなわち光軸を中心とした位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、撮像時の手振れに対する補正（手振れ補正）を行う。また、制御部５０は、手振れによるぼけを生じていない画像を、シャッターキー４１５の操作に応じて生成してステップＳＴ１５に進む。

図１０の（Ａ）は、例えば通常撮像モードＭＮを選択した場合を示している。また、図１０の（Ｂ）は、通常撮像モードＭＮに設定されたときの補正レンズ部１１３の補正動作開始位置を示している。通常撮像モードでは、動き検出信号に基づいて手振れ補正を行う。ここで、手振れ方向は特定の方向に限定されるものではない。したがって、いずれの方向に手振れが生じても手振れ補正が可能となるように、補正動作開始位置は所定位置とする。例えば補正レンズ部１１３の移動可能範囲の中央位置、すなわち光軸を中心とした位置を補正動作開始位置とする。このように、補正動作開始位置を変位させないことで、手振れの方向がいずれの方向であるかにかかわらず、手振れの補正を行うことができる。また、制御部５０は、シャッターキー４１５の操作に応じて所定枚数の撮像画像を生成する。

ステップＳＴ１５で制御部５０は、ステップＳＴ１３で生成したパノラマ画像またはステップＳＴ１４で生成した撮像画像を記録再生部３３で記録媒体に記録させる。

制御部５０は以上のようにして撮像画像の記録を行い、動作モードが他のモード例えば記録されている撮像画像を再生する再生モードに切り換えられたり、撮像装置の動作終了操作が行われたとき、撮像モードを終了する。

このように、制御部５０は、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０は、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部５０は、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位する。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。

なお、撮像画像合成処理を外部機器、例えばコンピュータ装置等で行う場合、ステップＳＴ１５では、パノラマ画像を生成するための複数枚の撮像画像を記録媒体に記録させる。さらに、撮像画像合成処理を外部機器で行う場合、撮像装置１０では、ステップＳＴ１３の撮像画像合成処理を行わないようにすることで、撮像装置１０における処理を軽減できる。

［１−４．パノラマ画像の生成動作例（右方向スイープモードの場合）］
次に、パノラマ画像の生成動作、例えば右方向スイープモードでパノラマ画像を生成する場合の具体的動作について説明する。

撮像装置１０の撮像モードをパノラマ撮像モードで右方向スイープモードとした場合、ユーザは、図１１に示すように、撮像装置１０の向き（撮像方向）を矢印Ａで示すように右方向にスイープさせる。

図１２は、右方向スイープモードに設定されているときの動作を説明するための図である。撮像モードがパノラマ撮像モードで右方向スイープモードに設定されている場合、制御部５０は、図１２の（Ａ）に示すように、右方向のスイープ動作であることを示すスイープ方向指示ＧＥを表示部３２に表示することで、スイープ方向をユーザに報知する。なお、右方向スイープモードに設定されたことから、制御部５０は、図１２の（Ｂ）に示すように、補正レンズ１１３ａの位置を、光軸を中心とした位置である中央位置から右方向に変位して補正動作開始位置とする。さらに、制御部５０は、この補正動作開始位置から振れ補正を開始させる。

その後、制御部５０は、シャッター操作を開始して撮像画像生成処理を行う。図１３は、撮像画像生成処理を示している。図１３の（Ａ）は、補正レンズ１１３ａの動きを示している。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動する。したがって、補正レンズ１１３ａは、右方向のスイープによる画像の振れを防止するため補正動作開始位置から左方向に移動する。

また、制御部５０は、上述のように補正動作開始時または補正動作開始後に露光を開始して撮像画像の生成を行う。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態として、動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置の動きに応じて補正レンズ１１３ａを移動させることで撮像素子２１の撮像面上に結像される光学像の振れを補正する。したがって、撮像装置１０では、図１３の（Ｂ）に示すように、右方向のスイープを行ってもぼけの生じていない撮像画像ＰＧ1を生成できる。また、補正レンズ１１３ａの補正動作開始位置は、中央位置から右方向に変位されているので、補正動作開始位置を変位していない場合に比べて、撮像方向の移動に対する振れ補正の補正範囲が広くなる。したがって、補正動作開始位置を変位した場合と変位していない場合とでスイープ速度が等しいとき、補正動作開始位置の変位に伴い露光開始時の位置を変位することで、ぼけの生じていない撮像画像を生成できる露光期間を変位していない場合に比べて長くできる。また、露光開始時の位置を変位した場合と露光開始時の位置を変位していない場合で露光時間が等しいとき、露光開始時の位置を変位することで、ぼけの生じていない撮像画像の生成が可能なスイープ速度を、変位していない場合に比べて速くできる。

制御部５０は、１枚の撮像画像を生成したとき、シャッター操作が終了されていない場合、撮像画像ＰＧ1の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度補正動作開始位置から補正レンズ１１３ａを動き検出信号に応じて駆動する。なお、図１３の（Ａ）では、補正動作開始位置に補正レンズ１１３ａを戻す処理が行われる期間を期間ＲＰとして示している。このように、補正レンズ１１３ａを補正動作開始位置に戻してから、再度、動き検出信号に応じて駆動することで、撮像装置１０をスイープさせてもぼけの生じていない撮像画像ＰＧ2を生成できる。

このような処理を繰り返して行い、制御部５０は、例えば撮像画像ＰＧ5を生成したときにシャッター操作の終了と判別した場合、撮像画像生成処理を終了する。したがって、順次生成された撮像画像ＰＧ1〜ＰＧ5は、図１４に示すように、撮像方向が順次右方向に切り換えられた画像となる。

信号処理部２４は、順次に生成した撮像画像ＰＧ1〜ＰＧ5から動きベクトルを算出して、または動き検出信号に基づき動きベクトルを検出する。また、信号処理部２４は、この動きベクトルに基づいて、被写体の画像が重なり合うように撮像画像ＰＧ1〜ＰＧ5の位置あわせを行い、撮像画像ＰＧ1〜ＰＧ5を合成して、１枚の撮像画像よりも撮像範囲の広い、図１３の（Ｃ）に示すパノラマ画像を生成できる。

このように、パノラマ撮像モードで撮像方向を右に移動させる場合、制御部５０は、図１２の（Ｂ）に示すように補正レンズ１１３ａを右方向に変位させるので、撮像方向の移動に対する振れ補正の補正範囲が広くなる。また、制御部５０は、この状態から動き検出センサで検出された動きに応じてレンズ部と撮像素子の少なくとも一方を変位させる。このため、例えば被写体が暗いことから露光時間を長くしてもぼけの生じていない撮像画像を生成できる。また、右方向のスイープ速度が速くてもぼけの生じていない撮像画像を生成できる。さらに、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、撮像装置の動きが明らかである場合を示している。撮像装置を用いて撮像画像の生成を行う場合、手持ち状態で撮像を行う場合だけでなく、雲台を用いた撮像も行われている。また、雲台によって撮像装置の撮像方向を自動的に移動させることも行われている。このように、雲台によって撮像装置の撮像方向を自動的に移動させる場合、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を撮像装置が有していれば、動き検出センサからの動き検出信号を用いることなく撮像装置の動きを判別できる。したがって、撮像装置は、移動制御情報に基づきレンズ制御信号や位置制御信号を生成することで、第１の実施の形態と同様に、撮像装置の動きによる振れを補正して、パノラマ画像の生成に用いる複数枚の撮像画像を生成できる。

［２−１．撮像装置の構成］
図１５は、第２の実施の形態の構成を示す図であり、雲台を利用して撮像方向の移動を行う場合を示している。なお、図１５において、図１と対応する部分については同一符号を付している。

撮像装置１０ａは、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０ａは、画像出力部３１、表示部３２、記録再生部３３、操作部４１、雲台対応通信部４３、制御部５０ａを備えている。

撮像光学系ブロック１１は、上述のようにレンズ部１１ａ、絞り機構１１ｂを備えている。レンズ部１１ａは、ズームレンズ１１１、フォーカスレンズ１１２、補正レンズ部１１３で構成されている。

ドライバ１２は、後述する制御部５０ａからのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０ａからの絞り制御信号に基づき絞り機構１１ｂを駆動する。

撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０ａに供給する。

撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。

ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。

ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理や利得制御、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換する処理等を行う。

信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。さらに、撮像装置１０ａでパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、撮像方向の移動速度や方向を示す情報を用いてもよい。この場合、動きベクトルが正しく得られなくとも、同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。

検波部２５は、信号処理部２４に供給された撮像信号を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０ａに供給する。

画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０ａと接続される外部機器に対応したフォーマットの画像信号に変換して出力する。

表示部３２は、撮像装置１０ａによって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０ａの設定等を行うためのメニュー表示等も行う。

記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。

操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０ａに供給する。

雲台対応通信部４３は、例えば撮像装置１０ａが雲台６０に対して取り付けられた状態において、雲台６０の通信部との間で有線若しくは無線による通信信号の送受信を可能とするための構成を有している。雲台対応通信部４３は、撮像装置１０ａとの間で所定の通信方式にしたがった通信を実行する。

制御部５０ａは、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０ａのＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０ａの動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０ａは、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。

また、制御部５０ａは、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。また、制御部５０ａは、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０ａは、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。

さらに、制御部５０ａは、雲台６０によって撮像方向を移動しながら複数枚の撮像画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子における各撮像画像の露光開始時の位置を、撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０ａは、撮像装置１０ａの動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子の撮像面上に結像される光学像に対して撮像装置の動きに応じた振れの補正を行う。さらに、制御部５０ａは、変位させる補正レンズおよび／または撮像素子における各撮像画像の補正動作開始位置を変位させて、撮像方向の移動に対する補正範囲を広くする。

なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。

［２−２．雲台の構成］
図１６は、雲台の構成を例示したブロック図である。雲台６０は、パン・チルト機構を備えるものであり、これに対応する部位として、パンモータ６４、パン機構部６５、チルトモータ６７、チルト機構部６８を備える。

通信部６１は、雲台対応通信部４３と対応して構成されており、雲台６０に取り付けられた撮像装置１０ａの雲台対応通信部４３と所定の通信方式にしたがって有線若しくは無線による通信を実行する。

雲台制御部６２は、ＣＰＵやメモリ等を用いて構成されている。雲台制御部６２のＣＰＵはメモリに記憶されているプログラムを実行して、パン動作やチルト動作を雲台６０で行わせる。雲台制御部６２は、パン動作を行うとき、パン動作制御信号をパン駆動部６３に出力する。また、雲台制御部６２は、チルト動作を行うとき、チルト動作制御信号をチルト駆動部６６に出力する。

パン駆動部６３は、パン動作制御信号に基づきモータ駆動信号を生成してパンモータ６４に出力する。また、チルト駆動部６６は、チルト動作制御信号に基づきモータ駆動信号を生成してチルトモータ６７に出力する。

パンモータ６４は、雲台６０に取り付けられた撮像装置１０ａに対して、パン（水平）方向の動きを与えるためのパン機構部６５に設けられている。パンモータ６４は、モータ駆動信号に基づき正方向または逆方向に回転することで、パン機構部６５によって撮像装置１０ａに対してパン方向の動きを与える。

チルトモータ６７は、雲台６０に取り付けられた撮像装置１０ａに対して、チルト（垂直）方向の動きを与えるためのチルト機構部６８に設けられている。チルトモータ６７は、モータ駆動信号に基づき正方向または逆方向に回転することで、チルト機構部６８によって撮像装置１０ａに対してチルト方向の動きを与える。

［２−３．撮像装置の動作］
図１７は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で制御部５０ａは、撮像装置１０ａの移動制御情報を取得する。制御部５０ａは、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を取得してステップＳＴ２２に進む。

移動制御情報は、撮像装置１０ａと雲台６０のそれぞれで等しい情報を予め記憶しておく。また、ユーザ操作に応じて移動制御情報を撮像装置１０ａで生成するようにしてもよい。また、撮像装置１０ａと雲台６０との通信によって、雲台６０に記憶されている移動制御情報や雲台６０で生成した移動制御情報を取得する構成であってもよい。なお、移動制御情報を撮像装置１０ａで生成する場合、生成した移動制御情報を撮像装置１０ａから雲台６０に出力する。

さらに、撮像方向の移動速度は、撮像装置１０ａまたは雲台６０で自動的に決定するようにしてもよい。例えば、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像画像が暗くなると露光期間が長くなる。また、露光期間が長くなると、撮像装置の動きに応じて補正レンズと撮像素子の少なくとも一方を変位させて振れ補正を行う場合、補正レンズや撮像素子の位置が補正制御端に到達しやすくなってしまう。そこで、露光期間が長いときには、撮像方向の移動速度を低下させて、露光期間に補正レンズや撮像素子の位置が補正制御端に到達しないようする。また、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像装置１０ａの検波部２５では被写体の明るさレベルを検出していることから、検出された明るさレベルに応じて撮像方向の移動速度を設定することもできる。また、図１６に示すように、雲台６０に明るさ検出部６９を設けて、明るさ検出部６９で検出された被写体の明るさに応じて、雲台６０あるいは撮像装置１０ａで撮像方向の移動速度を設定する構成としてもよい。このように、撮像装置１０ａや雲台６０は、検出された明るさに応じて撮像装置の動き速度を制御する。

ステップＳＴ２２で制御部５０ａは、右方向スイープモードに設定されたか否か判別する。制御部５０ａは、撮像方向を右方向に移動させる右方向スイープ動作を行うことが移動制御情報で示されたとき、右方向スイープモードに設定されたと判別してステップＳＴ２３に進み、他のスイープモードに設定されたと判別したときステップＳＴ２４に進む。

ステップＳＴ２３で制御部５０ａは、右方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を右方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、右方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。

ステップＳＴ２４で制御部５０ａは、左方向スイープモードに設定されたか否か判別する。制御部５０ａは、撮像方向を左方向に移動させる左方向スイープ動作を行うことが移動制御情報で示されたとき、左方向スイープモードに設定されたと判別してステップＳＴ２５に進み、他のスイープモードに設定されたと判別したときステップＳＴ２６に進む。

ステップＳＴ２５で制御部５０ａは、左方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を左方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、左方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。

ステップＳＴ２６で制御部５０ａは、上方向スイープモードに設定されたか否か判別する。制御部５０ａは、撮像方向を上方向に移動させる上方向スイープ動作を行うことが移動制御情報で示されたとき、上方向スイープモードに設定されたと判別してステップＳＴ２７に進む。また、他のスイープモード（下方向スイープモード）に設定されたと判別したときステップＳＴ２８に進む。

ステップＳＴ２７で制御部５０ａは、上方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を上方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、上方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。

ステップＳＴ２８で制御部５０ａは、下方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を下方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、下方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。

ステップＳＴ２９で制御部５０ａは、撮像方向移動開始指示を行う。制御部５０ａは、レンズ部や撮像素子が補正動作開始位置とされたことから、移動制御情報で示された移動方向および移動速度で、撮像装置１０ａの撮像方向の移動を雲台６０によって開始させてステップＳＴ３０に進む。

ステップＳＴ３０で制御部５０ａは、撮像画像生成処理を行う。制御部５０ａは、補正動作開始位置とされている補正レンズ１１３ａを撮像方向の移動速度に応じて駆動して、スイープ動作によって生じる振れに対する補正（スイープ補正）を行う。なお、上述のように、補正動作開始時に、撮像装置の動きに対して遅れを生じることなく補正レンズ１１３ａを移動できるとき、制御部５０ａは、補正動作開始位置を露光開始時の位置として露光を開始する。また、補正動作開始時に撮像装置の動きに対して補正レンズ１１３ａの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ１１３ａの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。さらに、制御部５０ａは、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０ａを雲台６０によってスイープさせても、スイープ動作によるぼけが生じていない撮像画像を生成させてステップＳＴ３１に進む。また、制御部５０ａは、スイープ動作時の撮像画像生成処理において、補正動作開始位置が撮像方向の移動する方向に変位されて補正可能な範囲が広くされている。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置１０ａの動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置１０ａの動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置１０ａの動きによるぶれが生じていない撮像画像を生成できる。

ステップＳＴ３１で制御部５０ａは、撮像方向の移動動作が終了したか否か判別する。制御部５０ａは、撮像方向の移動動作が終了していないと判別したときステップＳＴ３０に戻り、撮像方向の移動動作が終了したと判別したときステップＳＴ３２に進む。制御部５０ａは、ステップＳＴ３０に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０ａは、再度撮像方向の移動速度に応じて補正レンズ１１３ａを駆動して、撮像装置１０ａをスイープさせてもぼけの生じていない画像の生成を行う。

ステップＳＴ３２で制御部５０ａは、ステップＳＴ３０で生成した撮像画像を記録再生部３３で記録媒体に記録させる。

このように、制御部５０ａは、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０ａは、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部５０ａは、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位される。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、雲台６０によって撮像装置１０ａの撮像方向を移動させる場合であっても、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。さらに、動き検出センサ等によって撮像装置１０ａの動きを検出する必要がないことから、撮像装置１０ａの構成が簡単となる。

なお、撮像画像合成処理を撮像装置で行う場合、撮像画像合成処理を行うステップを設けて、撮像画像合成処理で生成されたパノラマ画像を記録媒体に記録するようにしてもよい。

また、撮像装置１０ａと雲台６０のそれぞれで等しい移動制御情報を予め記憶しておく場合、撮像装置１０ａでは、撮像方向の移動方向や移動速度が明らかである。したがって、雲台６０で撮像装置１０ａの撮像方向が移動されているときに複数枚の撮像画像の生成を行うだけで、ぼけの生じていない撮像画像を生成できる。

撮像装置１０ａと雲台６０との間で移動制御情報の通信を行う場合は、例えば移動方向や移動速度を変更しても、撮像装置１０ａと雲台６０で変更後の移動方向や移動速度を把握できる。したがって、雲台６０で撮像装置１０ａの撮像方向が移動されているときに複数枚の撮像画像の生成を行うだけで、ぼけの生じていない撮像画像を生成できる。

また、撮像方向の移動速度を露光期間に応じて制御すれば、補正レンズや撮像素子の位置が補正制御端に到達しないようにできるので、所望の明るさの撮像画像を得ることができるように露光期間を可変しても、ぼけの生じていない撮像画像を生成できる。

なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、撮像装置の振れを検出できる構成であれば、上述のように角速度検出センサや加速度検出センサを用いた構成に限られない。例えば、撮像画像から撮像装置の振れを検出するようにしてもよい。

さらに、レンズ交換が可能な撮像装置である場合、補正レンズをレンズ側に設けた構成としてもよく、補正レンズを撮像装置の本体側に設けた構成としてもよい。また、例えば補正レンズや補正レンズを駆動する駆動部をレンズ側に設けて、他の構成要素を撮像装置の本体側に設けた構成としてもよい。また、上述のように、撮像装置の本体側に設けた撮像素子を撮像装置の動きに応じて移動させてもよい。

この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明の撮像装置および撮像方法は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位する。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位させる。さらに、制御部では、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御を行い、撮像方向の移動に伴って生じる振れが補正される。このように、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができるので、ディジタルカメラ等に適している。

１０，１０ａ・・・撮像装置、１１・・・撮像光学系ブロック、１１ａ・・・レンズ部、１１ｂ・・・絞り機構、１２・・・ドライバ、１３・・・撮像光学系センサ部、２１・・・撮像素子、２１ａ，１１３ｂ・・・アクチュエータ、２２・・・ＴＧ部、２３・・・ＡＦＥ部、２４・・・信号処理部、２５・・・検波部、３１・・・画像出力部、３２・・・表示部、３３・・・記録再生部、４１・・・操作部、４２・・・動き検出部、４３・・・雲台対応通信部、５０，５０ａ・・・制御部、６０・・・雲台、６１・・・通信部、６２・・・雲台制御部、６３・・・パン駆動部、６４・・・パンモータ、６５・・・パン機構部、６６・・・チルト駆動部、６７・・・チルトモータ、６８・・・チルト機構部、６９・・・明るさ検出部、１１１・・・ズームレンズ、１１２・・・フォーカスレンズ、１１３・・・補正レンズ部、１１３ａ・・・補正レンズ、４１１・・・メニューキー、４１２ａ〜４１２ｄ・・・方向キー、４１３・・・決定キー、４１５・・・シャッターキー

Claims (13)

1. 光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、
   当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、
   前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させる撮像装置。
2. 前記制御部は、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記光軸を中心とした位置から変位させる請求項１記載の撮像装置。
3. 前記駆動部は、光軸に対してレンズ部と撮像素子の少なくとも一方を光軸に対して垂直な面内で変位させる請求項１記載の撮像装置。
4. 前記制御部は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで、前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れの補正を行う請求項１記載の撮像装置。
5. 前記制御部は、各撮像画像の露光期間中は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態とする請求項１記載の撮像装置。
6. 前記制御部は、撮像画像の露光期間と次の撮像画像の露光期間との間に、前記レンズ部および／または撮像素子の位置を前記露光開始時の位置に戻す請求項５記載の撮像装置。
7. 前記制御部は、前記撮像画像の露光期間中、前記撮像装置の動きに応じた所定の速度で前記レンズ部と撮像素子の少なくとも一方を変位させる請求項５記載の撮像装置。
8. 当該撮像装置の撮像方向を移動させる雲台によって撮像装置の撮像方向を移動させるための移動制御情報に基づき前記撮像装置の動きを判別して、前記レンズ部と撮像素子の少なくとも一方を変位させる請求項１記載の撮像装置。
9. 前記撮像画像の露光期間中は、前記レンズ部と撮像素子の少なくとも一方を前記撮像装置の動きに応じて変位させることができるように、前記露光期間の長さに応じて前記雲台によって移動される前記撮像装置の撮像方向の移動速度を設定して前記移動制御情報の生成を行う移動制御情報生成部を有する請求項８記載の撮像装置。
10. 前記制御部は、前記パノラマ画像を生成するために複数枚の撮像画像の生成を行う第１の撮像モードと、該第１の撮像モードと異なる第２の撮像モードを有し、前記第２の撮像モードでは、前記レンズ部および／または撮像素子における各撮像画像の露光開始時の位置を、前記光軸を中心とした位置とする請求項１記載の撮像装置。
11. 表示部を備え、
    前記制御部は、いずれの方向に前記撮像方向を移動しながら前記複数枚の撮像画像を生成するか選択するためのメニュー表示を前記表示部に表示して、前記メニュー表示から選択された移動方向に応じた方向に、前記レンズ部および／または撮像素子における露光開始時の位置を変位させる請求項１記載の撮像装置。
12. 前記制御部は、前記複数枚の撮像画像の生成を行う際に、前記選択されている移動方向の通知を行う請求項１１記載の撮像装置。
13. 駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、
    制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、
    複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させるステップを備える撮像方法。

Images