JPWO2015033810A1 - 撮像装置および方法、並びにプログラム - Google Patents

Abstract

本技術は、より適切なズーム制御を行うことができるようにする撮像装置および方法、並びにプログラムに関する。角速度センサは、撮像装置の移動の角速度を検出する。動作判別部は複数の異なる時刻の角速度に基づいて、角速度の時間変化により特定されるユーザの動作状態を判別する。ズーム制御部は、ユーザの動作状態に基づいてズーム制御を行う。このように複数時刻の角速度を用いることで、より詳細な動作状態を特定することができ、ユーザの動作状態に応じた、より適切なズーム制御を行うことができる。本技術は、デジタルスチルカメラや多機能型携帯電話機に適用することができる。

Description

本技術は撮像装置および方法、並びにプログラムに関し、特に、より適切なズーム制御を行なうことができるようにした撮像装置および方法、並びにプログラムに関する。

従来、撮像装置においてユーザによるパンニング動作を検出し、その検出結果に応じてズーム制御を行なう技術が提案されている（例えば、許文献１参照）。

この撮像装置では、角速度センサの出力に基づいてパンニング動作を検出し、パンニングが検出された場合には、手振れ補正処理が停止されるとともに角速度の変位量からパンニング速度が求められる。そして、得られたパンニング速度とズーム位置情報とに基づいて、ズームアウト方向へのズーム制御が行なわれる。

このような処理を行なうことで、撮像装置では、ユーザがパンニング動作を行なっている場合には、ズームアウトにより目的とする被写体が画面内に容易に収まるようになり、撮像装置の使い勝手を向上させることができるようになる。

特開２００６−３３５１３号公報

しかしながら、上述した技術では、ズーム倍率を、求められたパンニング速度そのものの値、つまり角速度そのものの値に対して定められている倍率に変更するだけであるので、適切なズーム制御を行なうことができなかった。

すなわち、瞬時的な角速度に対して定められたズーム制御が行なわれるため、どのようなパンニング動作が行なわれているかは考慮されていなかった。

本技術は、このような状況に鑑みてなされたものであり、より適切なズーム制御を行なうことができるようにするものである。

本技術の一側面の撮像装置は、自分自身の移動の角速度を検出する角速度検出部と、複数の異なる時刻の前記角速度に基づいてユーザの動作状態を判別する動作判別部と、前記動作状態に基づいてズーム制御を行うズーム制御部とを備える。

前記ズーム制御部には、時間とともに前記角速度が増加する前記動作状態である場合、ズーム倍率が小さくなるようにズーム制御を行わせることができる。

前記ズーム制御部には、時間とともに前記角速度が減少する前記動作状態である場合、ズーム倍率が大きくなるようにズーム制御を行わせるようにすることができる。

前記ズーム制御部には、時間とともに前記角速度が減少する前記動作状態から、時間とともに前記角速度が増加する前記動作状態に変化した場合、ズーム倍率が一定の大きさのままとなるようにズーム制御を行わせることができる。

前記ズーム制御部には、特定のズーム制御が行われている場合、前記動作判別部により所定の前記動作状態であると判別されにくくなるようにさせることができる。

前記動作判別部には、前記複数の異なる時刻の前記角速度に基づいて前記時刻と前記角速度の関係式を求めさせ、求めた前記関係式の係数と、複数の前記動作状態ごとに予め定められた前記関係式の係数の取り得る値の範囲とを比較させることで、前記動作状態を判別させることができる。

前記動作判別部には、前記複数の異なる時刻の前記角速度と、複数の前記動作状態ごとに予め定められた複数の時刻の前記角速度との距離を求めさせることで前記動作状態を判別させることができる。

前記動作判別部には、前記複数の異なる時刻の前記角速度に基づいて未来の時刻の前記角速度を推定させ、前記推定により得られた前記角速度と、前記複数の異なる時刻の前記角速度とに基づいて前記動作状態を判別させることができる。

撮像装置には、前記ズーム制御部の制御に従って、撮影された画像の一部の領域を切り出してズーム画像を生成するズーム処理部をさらに設けることができる。

撮像装置には、撮影された前記画像と、前記ズーム画像とを並べて表示させる表示制御部をさらに設けることができる。

前記表示制御部には、前記画像における前記ズーム画像が切り出された領域に枠を表示させることができる。

撮像装置には、複数の異なる時刻に撮影された前記画像を合成して得られた画像と、前記ズーム画像とを並べて表示させる表示制御部をさらに設けることができる。

前記表示制御部には、前記合成して得られた画像における前記ズーム画像が切り出された領域に枠を表示させることができる。

撮像装置には、撮影された画像から物体を検出する物体検出部をさらに設け、前記ズーム制御部には、前記画像の中心近傍において前記物体が検出された場合、前記物体が拡大表示された状態が維持されるようにズーム制御を行わせることができる。

撮像装置には、撮影された前記画像から物体を検出する物体検出部をさらに設け、前記ズーム制御部には、前記物体の検出結果に基づいて、前記画像から前記ズーム画像が切り出される位置を決定させることができる。

撮像装置には、撮影された画像から物体を検出する物体検出部と、前記物体の検出結果に応じて、被写体から入射する光を集光するレンズを傾斜させる補正部とをさらに設けることができる。

本技術の一側面の撮像方法またはプログラムは、撮像装置の移動の角速度を検出し、複数の異なる時刻の前記角速度に基づいて前記撮像装置を操作するユーザの動作状態を判別し、前記動作状態に基づいてズーム制御を行うステップを含む。

本技術の一側面においては、撮像装置の移動の角速度が検出され、複数の異なる時刻の前記角速度に基づいて前記撮像装置を操作するユーザの動作状態が判別され、前記動作状態に基づいてズーム制御が行われる。

本技術の一側面によれば、より適切なズーム制御を行なうことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

撮像装置の構成例を示す図である。 ズーム制御について説明する図である。 ズーム制御について説明する図である。 ズーム制御について説明する図である。 ユーザの動作状態について説明する図である。 ズーム状態について説明する図である。 撮影処理を説明するフローチャートである。 動作状態の判別について説明する図である。 動作状態の判別について説明する図である。 動作状態の判別について説明する図である。 ズーム状態決定処理を説明するフローチャートである。 撮影処理を説明するフローチャートである。 撮像装置の構成例を示す図である。 撮影処理を説明するフローチャートである。 撮影処理を説明するフローチャートである。 撮像装置の構成例を示す図である。 撮影処理を説明するフローチャートである。 画像の表示例を示す図である。 撮影処理を説明するフローチャートである。 画像の表示例を示す図である。 撮像装置の構成例を示す図である。 撮影処理を説明するフローチャートである。 調整処理を説明するフローチャートである。 撮影処理を説明するフローチャートである。 ズーム位置決定処理を説明するフローチャートである。 撮像装置の構成例を示す図である。 撮影処理を説明するフローチャートである。 傾斜角度決定処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈撮像装置の構成例〉
図１は、本技術を適用した撮像装置の構成例を示す図である。

撮像装置１１は、例えばデジタルカメラやデジタルスチルカメラ、多機能型携帯電話機などとされる。

撮像装置１１は、撮像レンズ２１、撮像素子２２、アナログ信号処理部２３、Ａ／Ｄ（Analog/Digital）変換部２４、制御部２５、シャッタ制御部２６、フォーカス部２７、アイリス部２８、ズーム部２９、表示部３０、記録部３１、操作部３２、メモリ３３、および角速度センサ３４を有している。

撮像レンズ２１は、複数のレンズやメカ式のシャッタ等から構成され、被写体から入射した光を集光して撮像素子２２の受光面上に結像させる。撮像素子２２は、CCD（Charge Coupled Device）などから構成され、撮像レンズ２１から入射した光を受光して光電変換し、その結果得られた電気信号をアナログ信号処理部２３に供給する。

アナログ信号処理部２３は、撮像素子２２から供給された電気信号に対してノイズ除去等の各種の処理を施して、Ａ／Ｄ変換部２４に供給する。Ａ／Ｄ変換部２４は、アナログ信号処理部２３から供給された電気信号に対してＡ／Ｄ変換を行うことで電気信号をアナログ信号からデジタル信号に変換し、制御部２５に供給する。Ａ／Ｄ変換部２４から出力される電気信号が画像データとされる。なお、より詳細には、Ａ／Ｄ変換部２４から出力された画像データに対して、図示せぬデジタル信号処理部によりガンマ補正やホワイトバランス補正が行われ、制御部２５に供給される。

制御部２５は、撮像装置１１全体の動作を包括的に制御する制御回路である。例えば制御部２５は、Ａ／Ｄ変換部２４から供給された画像データを表示部３０に供給して画像を表示させたり、画像データを記録部３１に供給して記録させたりする。

制御部２５は、動作判別部４１、ズーム制御部４２、および表示制御部４３を備えている。これらの動作判別部４１乃至表示制御部４３は、例えば制御部２５がプログラムを実行することで実現される。

動作判別部４１は、角速度センサ３４から供給された複数の異なる時刻の角速度に基づいて、一定速度でのパンニング動作など、ユーザの撮像装置１１に対する動作を判別する。ズーム制御部４２は、動作判別部４１による判別結果に応じて撮影時における画像のズーム倍率を決定する。また、ズーム制御部４２は、撮像レンズ２１でのズーム倍率が、決定したズーム倍率、または操作部３２に対するユーザの操作により定められたズーム倍率となるようにズーム部２９を制御することで、撮像レンズ２１のズーム制御を行う。表示制御部４３は、表示部３０での画像表示を制御する。

シャッタ制御部２６は、制御部２５の制御に従って撮像レンズ２１のシャッタ制御を行う。フォーカス部２７は、制御部２５の制御に従って撮像レンズ２１のレンズを駆動させ、フォーカス制御を行う。

例えば撮像レンズ２１に対して行われるフォーカス制御は、撮像素子２２に設けられたフォーカス用のセンサまたは撮像装置１１に設けられた図示せぬフォーカス用のセンサからの出力に基づいて行われる。すなわち、制御部２５は、フォーカス用のセンサから供給された信号に基づいて焦点位置を定め、フォーカス部２７を制御する。

アイリス部２８は、制御部２５の制御に従って撮像レンズ２１のアイリス（絞り）を駆動させる。ズーム部２９は、指定されたズーム倍率で画像が撮影されるように、ズーム制御部４２による制御に従って撮像レンズ２１を構成するレンズを光軸方向に移動させる。

表示部３０は、例えば液晶表示素子から構成され、表示制御部４３から供給された画像データに基づいて画像を表示させる。記録部３１は、例えばＩＣメモリカードや内蔵メモリなどからなるデータ記録媒体であり、制御部２５から供給された静止画像や動画像の画像データや、画像のメタデータなどの各種のデータを記録する。

操作部３２は、例えばタッチパネル、ボタン、スイッチ、ダイヤル、ズームボタンなどからなり、ユーザの操作に応じた信号を制御部２５に供給する。

メモリ３３は、例えばRAM（Random Access Memory）などから構成されたメモリであり、制御部２５から供給されたデータを一時的に記録する。すなわち、メモリ３３は制御部２５で処理されたデータの一時記憶領域として利用される。

角速度センサ３４は、撮像装置１１の角速度を検出し、制御部２５に供給する。角速度センサ３４により検出された角速度は、手振れ補正や撮像レンズ２１のズーム制御に用いられる。なお、角速度センサ３４では、撮像装置１１の水平方向への移動を示す角速度に限らず、撮像装置１１の垂直方向への移動を示す角速度も検出される。

〈ズーム制御について〉
次に、撮像装置１１のズーム制御について説明する。

例えば図２に示すように、ユーザが水平方向に撮像装置１１を移動させながら、すなわちユーザが撮像装置１１に対してパンニング動作を行いながら撮影を行った場合、撮像装置１１はパンニング速度の変化に応じてズーム倍率を変化させる。

なお、図２において、曲線Ｌ１１は角速度センサ３４により検出された各時刻ｔの水平方向の角速度ωを示しており、折れ線Ｌ１２は各時刻ｔにおける撮像レンズ２１のズーム倍率Ｚを示している。また、図２において縦軸は角速度またはズーム倍率を示しており、横軸は時刻を示している。

この例では、曲線Ｌ１１に示すように区間Ａ１１では角速度ωが時間の経過とともに急峻に増加しているので、ユーザが高速なパンニング動作を開始したことが分かる。このようにユーザが速い速度でパンしている場合には、折れ線Ｌ１２に示されるように、撮像装置１１は全体のシーンを把握しやすくするために、ズーム倍率Ｚを時間とともに小さくしていく。つまり、撮像装置１１はズーム倍率をワイド側に変化させて、被写体がズームアウトされるようにする。

また、区間Ａ１１の後の角速度ωが一定である区間、つまりユーザが一定の速度でパンニング動作を行っているときには、撮像装置１１はズーム倍率Ｚを一定の値のままとする。

さらに、曲線Ｌ１１に示すように区間Ｂ１１では角速度ωが時間の経過とともに急峻に減少しているので、ユーザがパンニング動作を速い速度で止めようとしていることが分かる。通常、ユーザがパンニング動作を停止させるのは、新たな注目する被写体を見つけたときである。そこで、撮像装置１１は、折れ線Ｌ１２に示されるように、ユーザが速い速度でパンニング動作を停止させる場合には、これから観察される新たな被写体を見やすくするために、ズーム倍率Ｚを時間とともに大きくしていく。つまり、撮像装置１１はズーム倍率をテレ側に変化させて、被写体がズームインされるようにする。

このように、撮像装置１１によれば、ユーザが速くパンしている間はワイドに引くことで、ユーザに対して体感的に映像の速度を遅く感じさせ、被写体をより見やすくすることができる。また、新たな被写体を見つけたときにはズーム倍率を大きくすることで、ユーザにズーム操作をさせることなく興味のある被写体を拡大し、見やすくすることができる。

また、例えば図３に示すようにユーザがパンニング動作を行いながら撮影を行った場合、ユーザがゆっくりとパンニング動作を停止させるときには、撮像装置１１はパンニング速度の変化に応じてゆっくりとズーム倍率を変化させる。

なお、図３において、曲線Ｌ２１は角速度センサ３４により検出された各時刻ｔの角速度ωを示しており、折れ線Ｌ２２は各時刻ｔにおける撮像レンズ２１のズーム倍率Ｚを示している。また、図３において縦軸は角速度またはズーム倍率を示しており、横軸は時刻を示している。

この例では、曲線Ｌ２１に示すように区間Ｃ１１では角速度ωが時間の経過とともにゆっくりと減少しているので、ユーザがパンニング動作を遅い速度で止めようとしていることが分かる。そこで、撮像装置１１は、折れ線Ｌ２２に示されるように、ユーザがパンニング動作を停止させる速度に合わせて、ズーム倍率Ｚを時間とともに大きくしていく。

このように、撮像装置１１は、ユーザがゆっくりとパンニング動作を停止させるときには、その速度に合わせてズーム倍率を大きくすることで、ユーザが興味のある被写体を見つけやすくすることができる。

さらに、例えば図４に示すように、ユーザがパンニング動作を行っているときに、撮像装置１１を移動させすぎたため、これまで移動させていた方向とは逆方向に少し戻した場合には、ズーム倍率を変更させないようにすることで、被写体を見つけやすくすることができる。

なお、図４において、曲線Ｌ３１は角速度センサ３４により検出された各時刻ｔの角速度ωを示しており、折れ線Ｌ３２は各時刻ｔにおける撮像レンズ２１のズーム倍率Ｚを示している。また、図４において縦軸は角速度またはズーム倍率を示しており、横軸は時刻を示している。

この例では、曲線Ｌ３１に示すように区間Ｄ１１では角速度ωが時間の経過とともに急峻に減少しているので、ユーザがパンニング動作を速い速度で止めようとしていることが分かる。したがって、撮像装置１１は、区間Ｄ１１では折れ線Ｌ３２に示されるように、これから観察される新たな被写体を見やすくするためにズーム倍率Ｚを時間とともに大きくしていく。

また、区間Ｄ１１に続く区間Ｄ１２では、角速度ωが負の値となり、時間の経過とともに角速度ωが減少すると、その後、角速度ωは時間とともに大きくなりパンニング動作が停止されている。区間Ｄ１２では、撮像装置１１は、ズーム倍率Ｚを変化させずに一定の値となるように固定する。

このようにユーザのパンニング動作時に撮像装置１１の移動方向が逆方向、つまり角速度ωの符号が正から負となり、その後、角速度ωの絶対値が小さくなり始めるとオーバーシュートであるとして、新たな被写体へのズームインが停止される。

すなわち、区間Ｄ１１および区間Ｄ１２では、ユーザは新たな被写体を見つけ出してパンニング動作を停止させようとしたが、撮像装置１１を移動させすぎてしまったので、これまでと逆方向に撮像装置１１を移動させた後、撮像装置１１を停止させた可能性が高い。そこで、撮像装置１１は、新たな被写体が拡大されるように行っていたズームイン動作を停止させ、行き過ぎて画面中心から外れてしまった被写体を見つけやすくする。

以上のように撮像装置１１によれば、角速度ωの変化に基づいてズーム倍率Ｚを決定することで、より適切なズーム制御を行なうことができる。なお、以下では、撮像装置１１を水平方向に移動させるパンニング動作が行われ、そのパンニング動作に応じてズーム倍率を変化させる例について説明するが、撮像装置１１の垂直方向や他の方向への移動に応じてズーム倍率を変化させることも勿論可能である。

続いて、以上のようなズーム制御の具体的な実現手法の例について説明する。

例えば図５に示すように、ユーザがパンニング動作を行ったとする。なお、図５において、曲線Ｌ４１は角速度センサ３４により検出された各時刻ｔの角速度ωを示している。また、図５において縦軸は角速度を示しており、横軸は時刻を示している。

この例では、曲線Ｌ４１に示すようにユーザは、撮像装置１１が移動されずに停止している状態からパンニング動作を開始して、その後パンニング動作を停止させている。

撮像装置１１は、角速度ωの変化に基づいて、現時点におけるユーザのパンニング動作の状態を、角速度ωの時間変化により特定される動作状態ａ乃至動作状態ｄの何れかに分類する。

例えば区間Ｔ１１および区間Ｔ１５のように、パンニング動作が行われておらず、撮像装置１１が静止している状態、つまり角速度ωが小さく、かつほとんど変化していない状態のときは、パンニング動作の状態は動作状態ａとされる。

また、区間Ｔ１２のようにパンニング動作が開始されて撮像装置１１の加速が開始された状態、つまり角速度ωが時間とともに増加している状態のときは、パンニング動作の状態は動作状態ｂとされる。区間Ｔ１３のようにパンニング動作が一定の速度で行われている状態、つまり角速度ωがある程度大きな値であり、かつほとんど変化していない状態のときは、パンニング動作の状態は動作状態ｃとされる。

さらに、区間Ｔ１４のようにパンニング動作を停止させるために撮像装置１１の減速が開始された状態、つまり角速度ωが時間とともに減少している状態のときは、パンニング動作の状態は動作状態ｄとされる。

撮像装置１１は、角速度センサ３４で検出された連続する複数時刻の角速度ωに基づいて、現時刻における動作状態を決定し、決定した動作状態に基づいて、予め定められたいくつかのズーム状態のなかから、１つのズーム状態を選択する。そして、撮像装置１１は、選択したズーム状態にしたがって撮像レンズ２１のズーム倍率を変化させる。

例えばズーム状態として、ズーム状態Ｚ（１）乃至ズーム状態Ｚ（４）が予め定められており、各ズーム状態のときには図６に示すようにズーム倍率が制御される。なお、図６において折れ線Ｌ５１は各時刻におけるズーム倍率Ｚを示しており、図６において縦軸および横軸は、それぞれズーム倍率Ｚおよび時刻ｔを示している。

この例では、ズーム状態Ｚ（１）におけるズーム制御として、ズーム倍率ＺがＺ_minとなるようにされる。ここで、ズーム倍率Ｚ_minは撮像装置１１が自動ズーム制御を行う時に取り得るズーム倍率Ｚの最小値である。なお、ズーム倍率Ｚ_minは撮像レンズ２１が取り得るズーム倍率Ｚの最小値、つまりワイド端のズーム倍率とは限らない。

ズーム状態がズーム状態Ｚ（１）であるとき、すなわち、例えばパンニング動作が一定の速度で行われており、動作状態ｃとされている間は、ズーム倍率Ｚは継続して一定のズーム倍率Ｚ_minのままとされる。

また、ズーム状態Ｚ（２）におけるズーム制御として、ズーム倍率ＺがＺ_minからＺ_maxまで時間とともに一定の速度で増加するようにされる。ここで、ズーム倍率Ｚ_maxは撮像装置１１が自動ズーム制御を行う時に取り得るズーム倍率Ｚの最大値である。なお、ズーム倍率Ｚ_maxは撮像レンズ２１が取り得るズーム倍率Ｚの最大値、つまりテレ端のズーム倍率とは限らない。

ズーム状態がズーム状態Ｚ（２）であるとき、すなわち、例えばユーザがパンニング動作を停止させようとしており、動作状態ｄとされている間は、ズーム倍率Ｚが時間とともに大きくなるようにズーム制御が行われる。

ズーム状態Ｚ（３）におけるズーム制御として、ズーム倍率ＺがＺ_maxとなるようにされる。ズーム状態がズーム状態Ｚ（３）であるとき、すなわち、例えば撮像装置１１が静止しており動作状態ａとされている間は、ズーム倍率Ｚは継続して一定のズーム倍率Ｚ_maxのままとされる。

さらに、ズーム状態Ｚ（４）におけるズーム制御として、ズーム倍率ＺがＺ_maxからＺ_minまで時間とともに一定の速度で減少するようにされる。ズーム状態がズーム状態Ｚ（４）であるとき、すなわち、例えばユーザがパンニング動作を開始して動作状態ｂとされている間は、ズーム倍率Ｚが時間とともに小さくなるようにズーム制御が行われる。

〈撮影処理の説明〉
次に、撮像装置１１の動作について説明する。

ユーザが撮像装置１１の操作部３２としての電源スイッチをオンすると、撮像装置１１は撮影処理を開始して動画像等の画像を撮影し、得られた画像を表示したり記録したりする。以下、図７のフローチャートを参照して、撮像装置１１による撮影処理について説明する。なお、この撮影処理は、例えばユーザが撮像装置１１の電源をオフしたり、撮影終了を指示したりするまで、繰り返し行われる。

ステップＳ１１において制御部２５は、撮像装置１１の電源をオンし、図示せぬ電源から撮像装置１１の各部へと電力供給が行われるようにする。

ステップＳ１２において、撮像装置１１は画像の撮影を開始する。

すなわち、撮像レンズ２１は、被写体から入射した光を撮像素子２２の受光面上に結像させ、撮像素子２２は撮像レンズ２１から入射した光を受光して光電変換し、その結果得られた電気信号をアナログ信号処理部２３に供給する。

アナログ信号処理部２３は、撮像素子２２から供給された電気信号に対してノイズ除去等の処理を施してＡ／Ｄ変換部２４に供給し、Ａ／Ｄ変換部２４はアナログ信号処理部２３から供給された電気信号に対してＡ／Ｄ変換を行って、制御部２５に供給する。Ａ／Ｄ変換部２４から出力される電気信号が撮影された画像の画像データとされる。

撮像レンズ２１乃至Ａ／Ｄ変換部２４は、順次、被写体を撮影して画像データを生成し、制御部２５に供給する処理を継続して行う。

また、角速度センサ３４は、撮像装置１１の水平方向への移動の角速度ωの検出を開始し、検出された各時刻の角速度ωを順次、制御部２５に供給する。

ステップＳ１３において、制御部２５は角速度センサ３４から角速度ωを取得して、メモリ３３に供給する。

ステップＳ１４において、メモリ３３は、制御部２５から供給された角速度ωを保存する。そして、ステップＳ１５において、制御部２５はメモリ３３を制御して、メモリ３３に保存されている各時刻の角速度ωのうち、Ｎ個前の角速度を削除する。これにより、メモリ３３には、直近のＮ個の時刻の角速度ωが保存されていることになる。

ステップＳ１６において、動作判別部４１は、メモリ３３に保存されている最新のＮ個の角速度ωを参照し、それらのＮ個の角速度ωと、予め記録部３１に記録されているデータベースとを比較して、ユーザの動作を判別する。

例えば、最新のＮ個の時刻の角速度ωとして、図８に示す値が得られたとする。

図８の矢印Ｑ１１に示すようにＮ＝５であり、各時刻の角速度ωとして点Ｐ１１乃至Ｐ１５に示す角速度が得られたとする。なお、矢印Ｑ１１に示す図においては、縦軸および横軸は、角速度および時刻を示している。

動作判別部４１は、５つの点Ｐ１１乃至Ｐ１５に示される各時刻の角速度ωの値に基づいて、次式（１）に示す角速度ωと時刻ｔの一次の関係式を求める。

すなわち、式（１）に示す関係式の推定においては、式（１）における係数ｘおよび係数ｙが求められる。

この例では、直線Ｌ６１が点Ｐ１１乃至Ｐ１５から求められた、各時刻ｔにおける角速度ωの推定式、つまり式（１）に示される一次式を表している。

また、記録部３１は、動作状態ａ乃至動作状態ｄのそれぞれについて、各動作状態とされているときの理想的な係数ｘおよび係数ｙの値、より詳細には係数ｘと係数ｙの取り得る値の範囲をデータベースとして記録している。

動作判別部４１は、Ｎ個の角速度ωから求めた係数ｘおよび係数ｙと、記録部３１に記録されている動作状態ごとのデータベースとしての係数ｘおよび係数ｙとを比較することで、現時刻におけるユーザの動作が動作状態ａ乃至動作状態ｄの何れであるかを判別する。

例えば、データベースとして記録されている係数ｘと係数ｙの取り得る値の範囲により定まる領域が、矢印Ｑ１２に示す領域であるとする。なお、矢印Ｑ１２に示す図では、縦軸および横軸は係数ｘおよび係数ｙを示している。

この例では、ｘｙ空間上にある領域Ｒ１１乃至領域Ｒ１４は、動作状態ａ乃至動作状態ｄのデータベースから定まる領域を示している。

例えば領域Ｒ１１は、動作状態ａについての係数ｘと係数ｙの取り得る値の範囲を示す領域である。動作状態ａとされているときは、撮像装置１１が静止しているときであるので、角速度ωは小さく、かつ角速度ωの時間方向の変動は小さいはずである。したがって、動作状態ａに対応する領域Ｒ１１は、係数ｘと係数ｙ、つまり推定式の切片と傾きが小さい値である領域となっている。

動作判別部４１は、Ｎ個の角速度ωから求めた係数ｘおよび係数ｙにより定まるｘｙ空間上の座標（位置）が領域Ｒ１１乃至領域Ｒ１４の何れの領域内にあるかによって、ユーザの動作状態を定める。例えば求めた係数ｘと係数ｙにより定まるｘｙ空間上の位置が、領域Ｒ１１内にある場合、現時刻におけるユーザの動作は、動作状態ａであるとされる。

なお、求めた係数ｘと係数ｙにより定まるｘｙ空間上の位置が領域Ｒ１１乃至領域Ｒ１４の何れの領域内にもない場合、ユーザの動作状態は不明であるとされる。また、必要に応じて領域Ｒ１１乃至領域Ｒ１４の位置や大きさを調整することで、各動作状態に重みを付け、特定の動作状態が選択されやすくなるようにしたり、特定の動作状態が選択されにくくなるようにしたりすることができる。

さらに図８では、一次式を利用してユーザの動作状態を求める例について説明したが、例えば図９に示すように多項式を利用してユーザの動作状態を求めるようにしてもよい。なお、図９において、縦軸および横軸は角速度および時刻を示している。

この例ではＮ＝５であり、各時刻の角速度ωとして点Ｐ２１乃至Ｐ２５に示す角速度が得られている。動作判別部４１は、５つの点Ｐ２１乃至Ｐ２５に示される各時刻の角速度ωの値に基づいて、次式（２）に示す角速度ωと時刻ｔの関係式を求める。

すなわち、式（２）に示す関係式の推定においては、式（２）における係数ｘ、ｙ、ｚ…が求められる。

この例では、曲線Ｌ７１が点Ｐ２１乃至Ｐ２５から求められた、各時刻ｔにおける角速度ωの推定式、つまり式（２）に示される多項式を表している。

また、記録部３１は、動作状態ａ乃至動作状態ｄのそれぞれについて、各動作状態とされているときの理想的な係数ｘ、係数ｙ、係数ｚ…の値、より詳細には多項式の各係数の取り得る値の範囲をデータベースとして記録している。

動作判別部４１は、Ｎ個の角速度ωから求めた係数ｘ、係数ｙ、係数ｚ等の多項式の各係数の値により定まる空間上の座標（位置）が、動作状態ごとのデータベースとしての多項式の各係数の取り得る値の範囲により定まる領域のうちのどの領域内にあるかに基づいて、ユーザの動作状態を判別する。

すなわち、この例では図８における場合と同様の処理により、ユーザの動作状態が求められる。例えば式（２）に示す多項式が二次式であれば、実際に検出された角速度ωから求めた係数ｘ乃至係数ｚにより定まるｘｙｚ空間上の座標が、データベースとしての係数ｘ乃至係数ｚの取り得る値の範囲により定まる領域のうちのどの領域内にあるかが特定される。

なお、この場合においても多項式の各係数の取り得る値の範囲により定まる領域の位置や大きさを必要に応じて調整すれば、各動作状態に重みを付けて、特定の動作状態が選択されやすくなるようにしたり、特定の動作状態が選択されにくくなるようにしたりすることができる。

さらに、データベースとしてＮ個の角速度ωを記録部３１に記録させておき、動作状態ごとのＮ個の角速度ωと、実際に検出されたＮ個の角速度ωとの距離に基づいて、ユーザの動作状態が判別されるようにしてもよい。

そのような場合、例えば図１０に示すように、動作状態ａ乃至動作状態ｄのそれぞれについて、データベースとしてＮ個の時刻の角速度ωが記録されている。なお、図１０において、縦軸および横軸は、角速度および時刻を示している。

この例では、Ｎ＝５であり、５つの点Ｐ３１乃至点Ｐ３５により示される５つの角速度ωが、１つの動作状態のデータベースとして記録されており、折れ線Ｌ８１は点Ｐ３１乃至点Ｐ３５から求まる各時刻の角速度ωと時刻ｔの関係を表している。また、実際の各時刻の角速度ωとして点Ｐ４１乃至Ｐ４５に示す角速度が得られたとする。

この場合、動作判別部４１は次式（３）の計算を行って、動作状態ごとに、動作状態のデータベースと、実際に検出された角速度ωとの距離ｄ_xを求める。

なお、式（３）においてω_nおよびω_n,xは、それぞれ実際に検出された角速度ω、およびデータベースとして記録されている角速度を示している。また、ω_n,xにおけるｎは時間のインデックスを示しており、ｘはデータベースを識別するインデックスを示している。したがって、式（３）では、対応する時刻における実際に検出された角速度ωと、データベースとして記録されている角速度との差分の二乗和が、検出された角速度とデータベースとの距離ｄ_xとされる。

データベースごと、つまり動作状態ごとに距離ｄ_xが求められると、動作判別部４１は求めた各距離ｄ_xが所定の閾値ｔｈ以下であるか否かを判定する。そして、動作判別部４１は、閾値ｔｈ以下であるとされた距離ｄ_xのうちの最も値が小さい距離ｄ_xを求めたデータベースの動作状態が、現時刻におけるユーザの動作状態であるとする。一方、距離ｄ_xが閾値ｔｈ以下でない場合には、現時刻における動作状態は不明であるとされる。

この例でも閾値ｔｈをデータベースごとに定め、各閾値ｔｈを必要に応じて調整することで各動作状態に重みを付けて、特定の動作状態が選択されやすくなるようにしたり、特定の動作状態が選択されにくくなるようにしたりすることができる。

なお、動作状態ごとに距離ｄ_xが求められる場合、求めた距離ｄ_xのうちの最も値が小さい距離ｄ_xを求めたデータベースの動作状態が、現時刻におけるユーザの動作状態であるとされてもよい。

図７のフローチャートの説明に戻り、ステップＳ１６において現時刻におけるユーザの動作状態が判別されると、その後、処理はステップＳ１７に進む。

ステップＳ１７において、制御部２５は、操作部３２からの信号に基づいて、撮像レンズ２１に対するズームのマニュアル操作、つまりユーザによる手動の操作がされているか否かを判定する。

例えば、ユーザが操作部３２としてのズームボタンを操作してズーム制御をしており、操作部３２から制御部２５にユーザの操作に応じた信号が供給されている場合、マニュアル操作がされていると判定される。

ステップＳ１７において、マニュアル操作がされていないと判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、ズーム制御部４２は、現時刻におけるユーザの動作状態に応じたズーム制御を行う。

すなわち、ズーム制御部４２は、ステップＳ１６の処理で決定された動作状態に基づいて、適切なズーム状態を決定するとともに、ズーム状態と現時刻におけるズーム倍率とに基づいて適切なズーム倍率を決定する。さらにズーム制御部４２は、決定されたズーム倍率に基づいてズーム部２９を制御し、撮像レンズ２１のズーム倍率Ｚを変更させる。すなわち、ズーム制御部４２は、撮像レンズ２１のズーム倍率が決定されたズーム倍率となるように、撮像レンズ２１を構成するレンズを光軸方向に移動させる。

これにより、ユーザの動作状態に応じて、適切なズーム制御が行われる。ステップＳ１８においてズーム制御が行われると、その後、処理はステップＳ２０へと進む。

また、ステップＳ１７において、マニュアル操作がされていると判定された場合、ステップＳ１９において、ズーム制御部４２は、ユーザのマニュアル操作に従ってズームを制御する。すなわちズーム制御部４２は、操作部３２から供給される信号に従ってズーム部２９を制御し、撮像レンズ２１のズーム倍率を変更させる。

ステップＳ１９において、ユーザの操作に従ってズーム制御が行われると、その後、処理はステップＳ２０へと進む。

ステップＳ１８またはステップＳ１９においてズーム制御が行われると、ステップＳ２０において、制御部２５はＡ／Ｄ変換部２４から供給された画像データに基づいて、画像の表示と記録を行う。

すなわち、制御部２５の表示制御部４３は、画像データを表示部３０に供給して画像を表示させるとともに、画像データを記録部３１に供給して記録させる。なお、画像の表示と記録のうちの何れか一方のみが行われてもよい。

ステップＳ２０において画像の表示と記録が行われると、その後、処理はステップＳ１３に戻り、撮影処理の終了が指示されるまで、上述した処理が繰り返し行われる。

以上のようにして、撮像装置１１は、複数時刻の角速度に基づいてユーザの動作状態を判別し、その動作状態に応じたズーム制御を行う。

このように複数時刻の角速度を用いることで、パンニング動作の速度が減速しているなど、より詳細な動作状態を特定することができる。これにより、ユーザの動作状態に応じた、より適切なズーム制御を行うことができ、撮像装置１１の使い勝手を向上させることができるようになる。

〈ズーム状態決定処理の説明〉
また、撮影処理の実行中には、ユーザの動作状態に基づいて、適切なズーム状態を決定するズーム状態決定処理も行われる。例えばズーム状態決定処理は、各時刻において図７のステップＳ１８の処理が行われているときにプログラムが呼び出され、実行される。

以下、図１１のフローチャートを参照して、図７のステップＳ１８において各時刻のズーム状態を決定する処理であるズーム状態決定処理について説明する。このズーム状態決定処理は、撮像装置１１により行われ、撮影処理が終了すると同時に終了される。

ステップＳ５１において、ズーム制御部４２は、ユーザの動作状態とズーム状態を初期状態とする。具体的には、ユーザの動作状態が動作状態ａとされ、ズーム状態がズーム状態Ｚ（３）とされる。つまり、初期状態では、パンニング動作が行われておらずに撮像装置１１が静止しており、またズーム倍率Ｚは例えばズーム倍率Ｚ＝Ｚ_maxとされている。

ステップＳ５２において、ズーム制御部４２は、図７のステップＳ１６の判別により得られたユーザの動作状態が、動作状態ｂであるか否かを判定する。

ステップＳ５２において動作状態ｂでないと判定された場合、すなわちパンニング動作が開始されていない場合、処理はステップＳ５２に戻り、動作状態ｂであると判定されるまで、判定処理が繰り返し行われる。

これに対してステップＳ５２において、動作状態ｂであると判定された場合、つまりパンニング動作が開始された場合、ステップＳ５３において、ズーム制御部４２は、ズーム状態を、ズーム状態Ｚ（４）とする。つまり、ズーム倍率Ｚ＝Ｚ_minとなるまで、時間とともにズーム倍率が減少していくようにズーム倍率が決定される。

例えば、ズーム状態Ｚ（４）である場合には、図７のステップＳ１８では、これまでのズーム倍率Ｚよりも所定の大きさだけ小さいズーム倍率が新たなズーム倍率とされ、ズーム制御が行われる。

ステップＳ５４において、ズーム制御部４２は、図７のステップＳ１６の判別により得られたユーザの動作状態が、動作状態ｄであるか否かを判定する。

ステップＳ５４において動作状態ｄであると判定された場合、処理はステップＳ５８へと進む。

また、ステップＳ５４において、動作状態ｄでないと判定された場合、ズーム制御部４２は、ズーム状態Ｚ（４）からズーム状態Ｚ（２）への遷移を避けるため、動作状態ｄに重みをつけて、処理はステップＳ５５に進む。

例えば、ズーム制御部４２は図８や図９を参照して説明した手法により動作状態が判別されるときには、図８の領域Ｒ１４などの動作状態ｄに対応する領域の位置および大きさを調整することで、動作状態ｄとなりにくくする。また、例えば図１０を参照して説明した手法により動作状態が判別されるときには、ズーム制御部４２は動作状態ｄの閾値ｔｈを小さくすることで、動作状態ｄとなりにくくする。

ステップＳ５５において、ズーム制御部４２はズーム倍率Ｚがズーム倍率Ｚ_minであるか否かを判定する。

ステップＳ５５においてズーム倍率Ｚ_minでないと判定された場合、処理はステップＳ５４に戻り、上述した処理が繰り返し行われる。

すなわち、ズーム状態Ｚ（４）である場合には、ズーム倍率Ｚ＝Ｚ_minとなるまで、時間とともに所定量ずつズーム倍率が減少していくようにズーム制御が行われる。

一方、ステップＳ５５においてズーム倍率Ｚ_minであると判定された場合、ステップＳ５６において、ズーム制御部４２はズーム状態をズーム状態Ｚ（１）とする。これにより、例えばユーザが一定の速度でパンニング動作をしている間は、撮像レンズ２１のズーム倍率が継続してズーム倍率Ｚ_minのまま、つまりワイド側のままとされる。

ステップＳ５７において、ズーム制御部４２は、図７のステップＳ１６の判別により得られたユーザの動作状態が、動作状態ｄであるか否かを判定する。

ステップＳ５７において、動作状態ｄでないと判定された場合、すなわち一定速度のパンニング動作が継続して行われている場合、処理はステップＳ５７に戻り、動作状態ｄであると判定されるまで、判定処理が繰り返し行われる。

これに対して、ステップＳ５７において動作状態ｄであると判定された場合、またはステップＳ５４において動作状態ｄであると判定された場合、ステップＳ５８の処理が行われる。

ステップＳ５８において、ズーム制御部４２は、ズーム状態をズーム状態Ｚ（２）とする。これにより、例えばパンニング速度の減速に応じて被写体がズームインされていくようにズーム制御されるようになる。

ステップＳ５９において、ズーム制御部４２は、図７のステップＳ１６の判別により得られたユーザの動作状態が、動作状態ｂであるか否かを判定する。

ステップＳ５９において動作状態ｂであると判定された場合、処理はステップＳ５３に戻り、上述した処理が繰り返し行われる。

なお、ステップＳ５９において動作状態ｂであると判定された場合、動作状態は時間とともに動作状態ｄから動作状態ｂに変化したことになる。そのような場合には、例えば図４を参照して説明したように、ズーム倍率が現時点におけるズーム倍率のまま、つまり一定の大きさのままとなるようにズーム制御部４２によりズーム倍率が決定されてもよい。また、角速度ωの値が負の値となった時点で、ズーム倍率が現時刻のズーム倍率のままとされるようにしてもよい。

これに対してステップＳ５９において、動作状態ｂでないと判定された場合、ズーム制御部４２は、ズーム状態Ｚ（２）からズーム状態Ｚ（４）への遷移を避けるため、動作状態ｂに重みをつけて、処理はステップＳ６０に進む。

例えば、ズーム制御部４２は図８や図９を参照して説明した手法により動作状態が判別されるときには、図８の領域Ｒ１２などの動作状態ｂに対応する領域の位置および大きさを調整することで、動作状態ｂとなりにくくする。また、例えば図１０を参照して説明した手法により動作状態が判別されるときには、ズーム制御部４２は動作状態ｂの閾値ｔｈを小さくすることで、動作状態ｂとなりにくくする。

ステップＳ６０において、ズーム制御部４２はズーム倍率Ｚがズーム倍率Ｚ_maxであるか否かを判定する。

ステップＳ６０においてズーム倍率Ｚ_maxでないと判定された場合、処理はステップＳ５９に戻り、上述した処理が繰り返し行われる。すなわち、ズーム状態Ｚ（２）である状態では、ズーム倍率Ｚ＝Ｚ_maxとなるまで、時間とともに所定量ずつズーム倍率が増加していくようにズーム制御が行われる。

一方、ステップＳ６０においてズーム倍率Ｚ_maxであると判定された場合、ステップＳ６１において、ズーム制御部４２はズーム状態をズーム状態Ｚ（３）とする。これにより、例えばユーザがパンニング動作を停止している間は、撮像レンズ２１のズーム倍率が継続してズーム倍率Ｚ_maxのまま、つまりテレ側のままとされる。

ステップＳ６１の処理が行われると、その後、処理はステップＳ５２に戻り、ズーム状態決定処理を終了するまで上述した処理が繰り返し行われる。

以上のようにして、撮像装置１１は、ユーザの動作状態に応じてズーム状態を遷移させる。このように動作状態に応じてズーム状態を決定することで、より適切なズーム制御を行うことができるようになる。

〈第２の実施の形態〉
〈撮影処理の説明〉
なお、以上においては、実際に検出（測定）された最新のＮ個の角速度を用いてユーザの動作状態を判別する例について説明したが、最新のいくつかの角速度を用いて次の時刻の角速度を推定し、推定により得られた角速度も用いて動作状態を判別してもよい。そのような場合、撮像装置１１は、例えば図１２に示す撮影処理を行う。

以下、図１２のフローチャートを参照して、撮像装置１１による撮影処理について説明する。なお、ステップＳ９１乃至ステップＳ９４の処理は、図７のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ９５において、制御部２５はメモリ３３を制御して、メモリ３３に保存されている各時刻の角速度ωのうち、２個前の角速度を削除する。これにより、メモリ３３には、直近の２個の時刻の角速度ωが保存されていることになる。

ステップＳ９６において、動作判別部４１はメモリ３３に保存されている最新の２個の角速度ωに基づいて角加速度を計算し、得られた角加速度から次の時刻、つまり未来の時刻の角速度を推定する。例えば、２つの角速度の差を求めることにより角加速度が求められる。角加速度は角速度の時間変化であるので、角加速度が分かれば、未来の時刻の角速度を予測することができる。

ステップＳ９７において、動作判別部４１は、メモリ３３に保存されている最新の２個の角速度ω、およびステップＳ９６の処理で推定した次の時刻の角速度ωと、予め記録部３１に記録されているデータベースとを比較して、ユーザの動作を判別する。

なお、ステップＳ９７における処理は、実際に検出された角速度に加えて、推定により得られた角速度も用いて動作状態を判別する点で図７のステップＳ１６と異なるが、ステップＳ９７では、ステップＳ１６と同様の処理によりユーザの動作状態が判別される。

ユーザの動作状態が判別されると、その後、ステップＳ９８乃至ステップＳ１０１の処理が行われて撮影処理は終了するが、これらの処理は図７のステップＳ１７乃至ステップＳ２０の処理と同様であるので、その説明は省略する。

以上のようにして撮像装置１１は、検出された２個の角速度を用いて次の時刻の角速度を推定し、推定により得られた角速度と、実際に検出した角速度とを用いてユーザの動作状態を判別して、その動作状態に応じたズーム制御を行う。

このように、２個の角速度を用いて次の時刻の角速度を推定することで、パンニング動作の開始や停止などをより迅速に検出することができ、ユーザの動作と、ユーザの動作に対する適切なズーム制御との時間のずれをより小さくすることができる。また、メモリ３３に保存しておく角速度の数を削減してメモリ３３の記録容量を小さくすることができる。

なお、ここでは、最新の２個の角速度をメモリ３３に保存しておくと説明したが、２以上であればいくつの角速度を保存するようにしてもよい。

〈第３の実施の形態〉
〈撮像装置の構成例〉
さらに、以上においては、撮像装置１１が単眼である場合について説明したが、撮像装置は双眼であってもよい。そのような場合、撮像装置は、例えば図１３に示すように構成される。なお、図１３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１３に示す撮像装置７１は、例えば双眼鏡などからなり、撮像装置７１は、撮像レンズ２１乃至角速度センサ３４、撮像レンズ８１、撮像素子８２、アナログ信号処理部８３、Ａ／Ｄ変換部８４、シャッタ制御部８５、フォーカス部８６、アイリス部８７、およびズーム部８８を有している。

すなわち、撮像装置７１は、撮像装置１１の構成に対してさらに撮像レンズ８１乃至ズーム部８８が設けられた構成とされている。

撮像レンズ８１乃至Ａ／Ｄ変換部８４は、撮像レンズ２１乃至Ａ／Ｄ変換部２４に対応し、撮像レンズ２１乃至Ａ／Ｄ変換部２４により得られる画像と視差を有する画像を撮影し、得られた画像データを制御部２５に供給する。

また、シャッタ制御部８５乃至ズーム部８８は、シャッタ制御部２６乃至ズーム部２９に対応し、撮像レンズ８１のシャッタ制御、フォーカス制御、アイリスの駆動、およびズームを行う。

また、表示部３０は、例えばユーザの右眼に対して画像を提示する表示領域と、ユーザの左眼に対して画像を提示する表示領域とを有している。

〈撮影処理の説明〉
次に、撮像装置７１の動作について説明する。以下、図１４のフローチャートを参照して、撮像装置７１により行われる撮影処理について説明する。

なお、ステップＳ１３１の処理は図７のステップＳ１１の処理と同様であるので、その説明は省略する。

ステップＳ１３２において、撮像装置７１は画像の撮影を開始する。

すなわち、撮像レンズ２１乃至Ａ／Ｄ変換部２４は、順次、被写体を撮影して画像データを生成し、制御部２５に供給する処理を継続して行い、撮像レンズ８１乃至Ａ／Ｄ変換部８４も順次、被写体を撮影して画像データを生成し、制御部２５に供給する処理を継続して行う。これにより、互いに視差を有する２つの画像の画像データが得られる。

画像の撮影が開始されると、その後、ステップＳ１３３乃至ステップＳ１４０の処理が行われて撮影処理は終了するが、これらの処理は図７のステップＳ１３乃至ステップＳ２０の処理と同様であるので、その説明は省略する。但し、ステップＳ１４０では、２つの視差のある画像が表示部３０に表示されるとともに記録部３１に記録される。

以上のようにして、撮像装置７１は複数時刻の角速度に基づいてユーザの動作状態を判別し、動作状態に応じたズーム制御を行う。これにより、より詳細な動作状態を特定することができ、ユーザの動作状態に応じた、より適切なズーム制御を行うことができる。

〈第４の実施の形態〉
〈撮影処理の説明〉
また、撮像装置７１においても次の時刻の角速度を推定してユーザの動作を判別するようにしてもよい。そのような場合、撮像装置７１は、図１５に示す撮影処理を行う。以下、図１５のフローチャートを参照して、撮像装置７１による撮影処理について説明する。

なお、ステップＳ１７１の処理は図１２のステップＳ９１の処理と同様であるので、その説明は省略する。

ステップＳ１７２において、撮像装置７１は画像の撮影を開始する。

すなわち、撮像レンズ２１乃至Ａ／Ｄ変換部２４は、順次、被写体を撮影して画像データを生成し、制御部２５に供給する処理を継続して行い、撮像レンズ８１乃至Ａ／Ｄ変換部８４も順次、被写体を撮影して画像データを生成し、制御部２５に供給する処理を継続して行う。これにより、互いに視差を有する２つの画像の画像データが得られる。

画像の撮影が開始されると、その後、ステップＳ１７３乃至ステップＳ１８１の処理が行われて撮影処理は終了するが、これらの処理は図１２のステップＳ９３乃至ステップＳ１０１の処理と同様であるので、その説明は省略する。但し、ステップＳ１８１では、２つの視差のある画像が表示部３０に表示されるとともに記録部３１に記録される。

以上のようにして撮像装置７１は、検出された２個の角速度を用いて次の時刻の角速度を推定し、推定により得られた角速度と、実際に検出した角速度とを用いてユーザの動作状態を判別して、その動作状態に応じたズーム制御を行う。これにより、ユーザの動作をより迅速に検出することができ、ユーザの動作と、ユーザの動作に対する適切なズーム制御との時間のずれをより小さくすることができる。また、メモリ３３に保存しておく角速度の数を削減してメモリ３３の記録容量を小さくすることができる。

〈第５の実施の形態〉
〈撮像装置の構成例〉
また、以上においては、撮像レンズ２１のズーム倍率を変化させることで画像の画角を変化させる光学ズームを例として説明したが、デジタルズームにより画像の画角を変更させるようにしてもよい。そのような場合、撮像装置１１は、例えば図１６に示すように構成される。なお、図１６において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１６の撮像装置１１は、撮像レンズ２１乃至アイリス部２８、および表示部３０乃至角速度センサ３４から構成される。すなわち、図１６の撮像装置１１は、図１の撮像装置１１とズーム部２９が設けられていない点で異なり、他の構成は同じとされている。また、図１６の撮像装置１１では制御部２５に、さらにズーム処理部１１１が設けられている。

ズーム処理部１１１は、ズーム制御部４２の制御に従って、Ａ／Ｄ変換部２４から供給された画像データに基づく画像の一部の領域を切り出すことにより画像のズームを行う。

〈撮影処理の説明〉
次に、図１６の撮像装置１１の動作について説明する。以下、図１７のフローチャートを参照して、図１６に示す構成の撮像装置１１により行われる撮影処理について説明する。

なお、ステップＳ２１１乃至ステップＳ２１７の処理は、図７のステップＳ１１乃至ステップＳ１７の処理と同様であるので、その説明は省略する。

ステップＳ２１７において、マニュアル操作がされていないと判定された場合、ステップＳ２１８において、ズーム制御部４２は、現時刻におけるユーザの動作状態に応じたズーム制御を行う。

すなわち、ズーム制御部４２は、ステップＳ２１６の処理で決定された動作状態に基づいて、図１１のズーム状態決定処理により適切なズーム状態を決定すると、ズーム状態と現時点におけるズーム倍率とに基づいて、次の時刻の新たなズーム倍率を決定する。

すると、ズーム処理部１１１は、Ａ／Ｄ変換部２４から供給された画像データに基づく画像における、新たなズーム倍率により定まる領域を切り出して、最終的な撮影された画像、すなわちズーム処理された画像とする。例えば撮影された画像の中心位置を中心とし、新たなズーム倍率により定まる大きさの領域が切り出されて、ズーム処理された画像、つまり所定のズーム倍率で撮影された画像とされる。

なお、以下、ズーム処理部１１１による切り出しにより生成された画像、すなわちズーム処理された画像をズーム画像とも称することとする。

このように、ユーザの動作状態に応じてズーム状態を定めることで、より適切なズーム制御を行うことができる。ステップＳ２１８においてズーム制御が行われると、その後、処理はステップＳ２２０へと進む。

また、ステップＳ２１７において、マニュアル操作がされていると判定された場合、ステップＳ２１９において、ズーム制御部４２は、ユーザのマニュアル操作に従って、すなわち操作部３２から供給される信号に従ってズームを制御する。ズーム処理部１１１は、ズーム制御部４２による制御に従って、Ａ／Ｄ変換部２４から供給された画像データに基づく画像から、ユーザに指定されたズーム倍率により定まる領域を切り出して、指定されたズーム倍率で撮影されたズーム画像とする。

ステップＳ２１９においてユーザの操作に従ってズーム制御が行われると、その後、処理はステップＳ２２０へと進む。

ステップＳ２１８またはステップＳ２１９においてズーム制御が行われると、ステップＳ２２０において、表示制御部４３は、表示用の画像を生成する。

例えば表示制御部４３は、図１８に示すように、ステップＳ２１８またはステップＳ２１９でズーム処理することで得られたズーム画像ＥＰ１１と、ズーム画像ＥＰ１１を得るためのもとの画像ＬＰ１１とからなる１つの画像を表示用画像ＤＰ１１として生成する。換言すれば、ズーム画像ＥＰ１１と画像ＬＰ１１の２つの画像が並べられて同時に表示される画面の画像が表示用画像ＤＰ１１とされる。

表示用画像ＤＰ１１は、図中、上側にズーム画像ＥＰ１１が配置され、図中、下側に画像ＬＰ１１が配置された画像となっている。ここで、画像ＬＰ１１は、Ａ／Ｄ変換部２４から出力された、ズーム処理前の画像、つまりズーム画像ＥＰ１１が切り出されたもとの画像である。

また、この例では、画像ＬＰ１１におけるズーム画像ＥＰ１１とされた領域に枠Ｗ１１が表示されており、より広い画角の画像ＬＰ１１のうちのどの領域が切り出されてズーム画像ＥＰ１１とされたかが分かるようになされている。これにより、ユーザは、撮影対象全体のうちのどの部分を見ているのかを容易に把握することができる。

図１７の説明に戻り、ステップＳ２２０において表示用の画像が生成されると、その後、処理はステップＳ２２１へと進む。

ステップＳ２２１において、制御部２５は表示用の画像の画像データと、ズーム画像の画像データとに基づいて、画像の表示と記録を行う。

すなわち、制御部２５の表示制御部４３は、表示用の画像の画像データを表示部３０に供給して画像を表示させ、制御部２５はズーム画像の画像データを記録部３１に供給して記録させる。なお、ズーム画像とともにズーム処理前の画像も記録されるようにしてもよい。

ステップＳ２２１において画像の表示と記録が行われると、その後、処理はステップＳ２１３に戻り、撮影処理の終了が指示されるまで、上述した処理が繰り返し行われる。

以上のようにして、撮像装置１１は、複数時刻の角速度に基づいてユーザの動作状態を判別し、その動作状態に応じたズーム制御を行う。これにより、より詳細な動作状態を特定することができ、より適切なズーム制御を行うことができる。

また、撮像装置１１は、ズーム処理前の画像とズーム処理後の画像とを並べて表示させる。これにより、より効果的に、見やすく画像を表示することができる。

〈第６の実施の形態〉
〈撮影処理の説明〉
また、第５の実施の形態では、ズーム画像とともに、ズーム処理前のもとの画像も表示させる例について説明したが、ズーム処理前のもとの画像の撮影範囲よりもより広い撮影範囲の画像が表示されるようにしてもよい。そのようにすることで、特にユーザが撮像装置１１を持ってパンニング動作をしているときには、より広い被写体全体の範囲のどの部分が撮影されているかを容易に把握できるようになる。

このように、より広い範囲の画像を表示する場合、図１６に示した撮像装置１１は、図１９に示す撮影処理を行う。以下、図１９のフローチャートを参照して、図１６に示す構成の撮像装置１１により行われる撮影処理について説明する。

なお、ステップＳ２５１乃至ステップＳ２５９の処理は、図１７のステップＳ２１１乃至ステップＳ２１９の処理と同様であるので、その説明は省略する。

ステップＳ２６０において、表示制御部４３は、表示用の画像を生成する。

例えば表示制御部４３は、図２０に示すように、ステップＳ２５８またはステップＳ２５９でズーム処理することで得られたズーム画像ＥＰ２１と、過去の撮影により得られたズーム処理前の複数の画像を合成して得られる画像ＷＰ１１とからなる１つの画像を表示用画像ＤＰ２１として生成する。

表示用画像ＤＰ２１は、図中、上側にズーム画像ＥＰ２１が配置され、図中、下側に画像ＷＰ１１が配置された画像となっている。ここで、画像ＷＰ１１は、ズーム画像ＥＰ２１を得るためのもとの画像を含む、過去に撮影されたズーム処理前の複数の異なる時刻の画像、つまりＡ／Ｄ変換部２４から出力された複数の画像を、同じ被写体が重なるように並べて合成して得られる画像である。図２０の例では、画像ＷＰ１１上の点線の枠ＬＰ２１−１乃至枠ＬＰ２１−４は、画像ＷＰ１１の生成に用いられた画像を表している。なお、これらの枠ＬＰ２１−１乃至枠ＬＰ２１−４は実際には画像ＷＰ１１には表示されない。

また、この例では、画像ＷＰ１１におけるズーム画像ＥＰ２１とされた領域に枠Ｗ２１が表示されており、より広い撮影範囲のうちのどの領域がズーム画像ＥＰ２１の撮影範囲とされたかが分かるようになされている。これにより、ユーザは、撮影対象全体のうちのどの部分を見ているのかを容易に把握することができる。

図１９の説明に戻り、ステップＳ２６０において表示用の画像が生成されると、その後、ステップＳ２６１の処理が行われて撮影処理は終了するが、ステップＳ２６１の処理は図１７のステップＳ２２１の処理と同様であるので、その説明は省略する。なお、ステップＳ２６１において、ズーム画像とともに、ズーム処理前の画像を複数合成して得られた画像も記録されるようにしてもよい。

以上のようにして、撮像装置１１は、複数時刻の角速度に基づいてユーザの動作状態を判別し、その動作状態に応じたズーム制御を行う。これにより、より詳細な動作状態を特定することができ、より適切なズーム制御を行うことができる。

また、撮像装置１１は、ズーム処理前の画像よりも撮影範囲の広い画像と、ズーム画像とを並べて表示させる。これにより、より効果的に見やすく画像を表示することができる。

〈第７の実施の形態〉
〈撮像装置の構成例〉
また、撮像装置１１においてデジタルのズーム処理が行われる場合には、撮影処理と物体認識処理を組み合わせて、例えば画像中心近傍で物体が検出されたときには、その物体がズームインされるようにしてもよい。

このように、撮影処理と物体認識処理を組み合わせた処理が行われる場合、例えば撮像装置１１は図２１に示すように構成される。なお、図２１において図１６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２１の撮像装置１１は、図１６に示した撮像装置１１の制御部２５に、さらに物体検出部１４１が設けられた構成とされている。

物体検出部１４１は、Ａ／Ｄ変換部２４から供給された画像に対する物体認識処理を行って、画像から物体を検出する。

〈撮影処理の説明〉
次に、図２１の撮像装置１１の動作について説明する。以下、図２２のフローチャートを参照して、図２１に示す構成の撮像装置１１により行われる撮影処理について説明する。

なお、ステップＳ２９１乃至ステップＳ２９７の処理は、図１７のステップＳ２１１乃至ステップＳ２１７の処理と同様であるので、その説明は省略する。

ステップＳ２９７において、マニュアル操作がされていないと判定された場合、ステップＳ２９８において、ズーム制御部４２は、現時刻におけるユーザの動作状態に応じたズーム制御を行う。

すなわち、ズーム制御部４２は、ステップＳ２９６の処理で決定された動作状態に基づいて、図１１のズーム状態決定処理により適切なズーム状態を決定すると、ズーム状態と現時点におけるズーム倍率とに基づいて、新たなズーム倍率を決定する。なお、後述するように図２２の撮影処理が行われる場合には、図１１を参照して説明したズーム状態決定処理とともに、物体認識を行って、画像中心近傍で物体が検出された場合には、なるべくズーム状態が維持されるようにする処理も行われる。

新たなズーム倍率が決定されると、ズーム処理部１１１は、Ａ／Ｄ変換部２４から供給された画像データに基づく画像における、新たなズーム倍率により定まる領域を切り出して、新たなズーム倍率で撮影された画像、すなわちズーム画像とする。

ステップＳ２９８においてズーム制御が行われると、その後、処理はステップＳ３００へと進む。

また、ステップＳ２９７において、マニュアル操作がされていると判定された場合、ステップＳ２９９において、ズーム制御部４２は、ユーザのマニュアル操作に従って、すなわち操作部３２から供給される信号に従ってズームを制御する。ズーム処理部１１１は、ズーム制御部４２の制御に従って、Ａ／Ｄ変換部２４から供給された画像データに基づく画像から、ユーザに指定されたズーム倍率により定まる領域を切り出して、ユーザにより指定されたズーム倍率で撮影されたズーム画像とする。

ステップＳ２９９において、ユーザの操作に従ってズーム制御が行われると、その後、処理はステップＳ３００へと進む。

ステップＳ２９８またはステップＳ２９９においてズーム制御が行われると、ステップＳ３００において、制御部２５はズーム処理部１１１によりズーム処理されたズーム画像の画像データに基づいて、画像の表示と記録を行う。

すなわち、制御部２５の表示制御部４３は、画像データを表示部３０に供給してズーム画像を表示させ、制御部２５は画像データを記録部３１に供給して記録させる。

ステップＳ３００において画像の表示と記録が行われると、その後、処理はステップＳ２９３に戻り、撮影処理の終了が指示されるまで、上述した処理が繰り返し行われる。

以上のようにして、撮像装置１１は、複数時刻の角速度に基づいてユーザの動作状態を判別し、その動作状態に応じたズーム制御を行う。これにより、より詳細な動作状態を特定することができ、より適切なズーム制御を行うことができる。

〈調整処理の説明〉
また、図２１に示す撮像装置１１は、図１１を参照して説明したズーム状態決定処理とともに、物体認識を行って、画像中心近傍で物体が検出された場合には、なるべくズーム状態が維持されるようにする処理である調整処理も行う。以下、図２３のフローチャートを参照して、撮像装置１１により行われる調整処理について説明する。

ステップＳ３３１において、物体検出部１４１は、Ａ／Ｄ変換部２４から供給された画像に対する物体認識処理を行って、画像から物体を検出する。

例えば物体検出部１４１は、予め用意された任意の物体の特徴量と、画像から抽出された特徴量とを比較することで、予め定められた物体を画像から検出する。また、例えば物体検出部１４１が顔認識を行うことで、検出対象となる物体として予め登録された人の顔や、任意の人の顔を画像から検出するようにしてもよい。

ステップＳ３３２において、ズーム制御部４２は、ステップＳ３３１の処理において、撮像素子２２により撮影された画像の中心近傍から物体が検出されたか否かを判定する。例えば画像の中心を含む予め定められた所定の大きさの領域から物体が検出された場合、画像中心近傍で物体が検出されたと判定される。

ステップＳ３３２において物体が検出されなかったと判定された場合、処理はステップＳ３３１に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ３３２において物体が検出されたと判定された場合、ステップＳ３３３において、ズーム制御部４２は、図２２のステップＳ２９６の処理で、ユーザの動作状態として、動作状態ｂが選択されにくくなるようにする。換言すれば、図１１のステップＳ５２およびステップＳ５９において動作状態が動作状態ｂであると判定されにくくなるようにする。また、ズーム制御部４２は、図２２のステップＳ２９６の処理で、ユーザの動作状態として、動作状態ｄが選択されやすくなるようにする。換言すれば、図１１のステップＳ５４およびステップＳ５７において動作状態が動作状態ｄであると判定されやすくなるようにする。

具体的には、例えばズーム制御部４２は図８や図９を参照して説明した手法により動作状態が判別されるときには、図８の領域Ｒ１２などの動作状態ｂに対応する領域の位置および大きさを調整することで、動作状態ｂとなりにくくする。また、例えば図１０を参照して説明した手法により動作状態が判別されるときには、ズーム制御部４２は動作状態ｂの閾値ｔｈを小さくすることで、動作状態ｂとなりにくくする。同様に、ズーム制御部４２は図８や図９を参照して説明した手法により動作状態が判別されるときには、図８の領域Ｒ１４などの動作状態ｄに対応する領域の位置および大きさを調整することで、動作状態ｄとなりやすくする。また、例えば図１０を参照して説明した手法により動作状態が判別されるときには、ズーム制御部４２は動作状態ｄの閾値ｔｈを大きくすることで、動作状態ｄとなりやすくする。

これにより、例えば画像中心にある物体（被写体）が大きく表示されるように、その物体がズームアップ（拡大表示）されているときには、動作状態ｂへの遷移が抑制されて被写体がズームアウトされにくくなる。つまり、ズーム制御部４２は、画像中心で物体が検出された場合には、その物体がズームアップ（拡大表示）された状態がなるべく維持されるようにズーム制御を行う。また、動作状態ｄへと遷移されやすくなるので、被写体がズームアップされやすくなる。例えば、画像中心近傍で物体が検出され、パンニング速度が減速している場合、物体がズームインされることになる。

ステップＳ３３４において、ズーム制御部４２は、画像から検出された物体の大きさに応じてズーム倍率Ｚ_maxを定める。

具体的には、ズーム制御部４２はズーム倍率Ｚ_maxの値を、画像から検出された物体の大きさにより定まる値とする。例えば、検出された物体が画像自体や、画像上に表示されている枠などからはみ出してしまわないようにズーム倍率Ｚ_maxの値が定められる。

ズーム倍率Ｚ_maxが定められると、その後、処理はステップＳ３３１に戻り、上述した処理が繰り返される。そして、図１１のズーム状態決定処理が終了すると、調整処理も終了する。

以上のようにして、撮像装置１１は画像から物体を検出し、その検出結果に応じて動作状態の選択されやすさやズーム倍率Ｚ_maxを調整する。これにより、ユーザが注目する被写体を見つけたとき、すなわち画像中心近傍に物体があるときには、その物体がズームアップされた状態がなるべく維持されるようにすることができる。

〈第８の実施の形態〉
〈撮影処理の説明〉
また、図２１に示した撮像装置１１において、画像から物体が検出された場合、その物体を含む領域がズーム処理された画像として切り出されるようにしてもよい。そのような場合、撮像装置１１は例えば図２４に示す撮影処理を行う。以下、図２４のフローチャートを参照して、図２１に示す構成の撮像装置１１により行われる撮影処理について説明する。

なお、ステップＳ３６１乃至ステップＳ３６７の処理は、図２２のステップＳ２９１乃至ステップＳ２９７の処理と同様であるので、その説明は省略する。

ステップＳ３６７において、マニュアル操作がされていないと判定された場合、ステップＳ３６８において、ズーム制御部４２は、現時刻におけるユーザの動作状態に応じたズーム制御を行う。

すなわち、ズーム制御部４２は、ステップＳ３６６の処理で決定された動作状態に基づいて、図１１のズーム状態決定処理により適切なズーム状態を決定すると、ズーム状態と現時点におけるズーム倍率とに基づいて、新たなズーム倍率を決定する。なお、後述するように図２４の撮影処理が行われる場合には、図１１を参照して説明したズーム状態決定処理とともに、物体認識を行って、その認識結果に応じてズーム処理で切り出される領域の位置が定められる処理も行われる。

新たなズーム倍率が決定されると、ズーム処理部１１１は、Ａ／Ｄ変換部２４から供給された画像データに基づく画像における、新たなズーム倍率により定まる大きさであり、かつ物体の検出（認識）結果に応じて定められた位置にある領域を切り出す。そして、ズーム処理部１１１は切り出した領域の画像を新たなズーム倍率で撮影されたズーム画像とする。

ステップＳ３６８においてズーム制御が行われると、その後、処理はステップＳ３７０へと進む。

また、ステップＳ３６７において、マニュアル操作がされていると判定された場合、ステップＳ３６９において、ズーム制御部４２は、ユーザのマニュアル操作に従って、すなわち操作部３２から供給される信号に従ってズームを制御する。

ステップＳ３６９において、ユーザの操作に従ってズーム制御が行われると、その後、処理はステップＳ３７０へと進む。

ステップＳ３６８またはステップＳ３６９においてズーム制御が行われると、ステップＳ３７０の処理が行われて撮影処理は終了するが、ステップＳ３７０の処理は図２２のステップＳ３００の処理と同様であるので、その説明は省略する。

以上のようにして、撮像装置１１は、複数時刻の角速度に基づいてユーザの動作状態を判別し、その動作状態に応じたズーム制御を行う。これにより、より詳細な動作状態を特定することができ、より適切なズーム制御を行うことができる。また、物体認識の結果に応じた領域を切り出してズーム処理された画像とすることで、ユーザが注目しているであろう被写体を含む、より見栄えの良い画像を得ることができる。

〈ズーム位置決定処理の説明〉
また、図２１に示す撮像装置１１は、図１１を参照して説明したズーム状態決定処理とともに、物体認識を行って、その認識結果に応じてズーム処理で切り出される領域の位置を定める処理であるズーム位置決定処理も行う。以下、図２５のフローチャートを参照して、撮像装置１１により行われるズーム位置決定処理について説明する。

ステップＳ４０１において、物体検出部１４１は、Ａ／Ｄ変換部２４から供給された画像に対する物体認識処理を行って、画像から物体を検出する。なお、ステップＳ４０１では、図２３のステップＳ３３１と同様の処理が行われる。

ステップＳ４０２において、ズーム制御部４２は画像から物体が検出されたか否かを判定する。

ステップＳ４０２において、物体が検出されたと判定された場合、ステップＳ４０３において、ズーム制御部４２は物体の検出結果に基づいてズーム中心の位置を決定する。例えば、ズーム制御部４２は検出された画像上の物体の位置を、ズーム処理により切り出す領域の中心の位置とする。これにより、検出された物体を中心とする領域が、ズーム画像として切り出されることになる。このようにして定められた画像の切り出し位置の中心の位置が、図２４のステップＳ３６８の処理で用いられる。

ステップＳ４０３の処理が行われると、その後、処理はステップＳ４０１に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ４０２において物体が検出されなかったと判定された場合、ステップＳ４０４において、ズーム制御部４２は予め定めた位置をズーム中心の位置とする。例えば、ズーム制御部４２は画像の中心位置を、ズーム処理により切り出す領域の中心の位置とする。これにより、撮影された画像中心近傍の領域が、ズーム画像として切り出されることになる。

ステップＳ４０４の処理が行われると、その後、処理はステップＳ４０１に戻り、上述した処理が繰り返し行われる。そして、図１１のズーム状態決定処理が終了すると、ズーム位置決定処理も終了する。

以上のようにして撮像装置１１は画像から物体を検出し、物体が検出された場合には、その物体の位置に応じてズーム処理により切り出される画像上の領域の位置を調整する。これにより、被写体が中心に位置する、より見栄えの良い画像を得ることができる。

〈第９の実施の形態〉
〈撮像装置の構成例〉
また、第８の実施の形態では、デジタルズーム処理が行われる場合に、画像中心に被写体が位置するようにズーム処理を行う例について説明したが、光学ズーム処理が行われる場合にも、画像中心に被写体が位置するようにされてもよい。そのような場合、撮像装置１１は、例えば図２６に示すように構成される。なお、図２６において図１または図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２６の撮像装置１１は、図１に示した撮像装置１１にさらに補正部１７１が設けられるとともに、制御部２５に、さらに物体検出部１４１および補正制御部１７２が設けられた構成とされている。

補正部１７１は、補正制御部１７２の制御に従って撮像レンズ２１を構成する一部または全部のレンズを傾斜させることで、撮像装置１１により撮影される方向を調整する。例えば補正部１７１により傾けられるレンズは、手振れ補正用のレンズなどとされる。なお、以下では、撮像レンズ２１自体が撮像素子２２に対して傾けられるものとして、説明を続ける。

物体検出部１４１は、Ａ／Ｄ変換部２４から供給された画像に対する物体認識処理を行って、画像から物体を検出する。補正制御部１７２は、物体検出部１４１による物体の認識結果に応じて、撮像レンズ２１を傾斜させるべき傾斜角度を求め、その傾斜角度に基づいて補正部１７１を制御する。

〈撮影処理の説明〉
次に、図２６に示す撮像装置１１の動作について説明する。

以下、図２７のフローチャートを参照して、図２６の撮像装置１１による撮影処理について説明する。なお、ステップＳ４３１乃至ステップＳ４３８の処理は、図７のステップＳ１１乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

なお、後述するように図２７の撮影処理が行われる場合には、図１１を参照して説明したズーム状態決定処理とともに、物体認識を行って、その認識結果に応じて物体が画像内に収まるように撮像レンズ２１の傾斜角度を求める処理も行われる。

ステップＳ４３９において、補正部１７１は補正制御部１７２の制御に従って撮像レンズ２１を傾斜させる。

補正制御部１７２は画像から物体が検出された場合、後述するように検出された物体が画像中心に位置するように撮像レンズ２１の傾斜角度を求める。そして、補正制御部１７２は撮像レンズ２１の光軸と、撮像素子２２の受光面の法線とがなす角度が、求めた傾斜角度となるように補正部１７１の駆動を制御して、撮像レンズ２１を傾斜させる。補正部１７１は、補正制御部１７２の制御に従って撮像レンズ２１を傾斜させる。

これにより、画像から検出された物体が画像中心に位置するようになり、より見栄えのよい画像が得られるようになる。なお、画像から物体が検出されなかった場合には、撮像レンズ２１を傾斜させる処理は行われない。

ステップＳ４３９の処理が行われると、その後、処理はステップＳ４４１に進む。

また、ステップＳ４３７において、マニュアル操作がされていると判定された場合、ステップＳ４４０において、ズーム制御部４２は、ユーザのマニュアル操作に従ってズーム部２９を制御し、撮像レンズ２１のズーム倍率を変更させる。

ステップＳ４４０において、ユーザの操作に従ってズーム制御が行われると、その後、処理はステップＳ４４１へと進む。

ステップＳ４３９またはステップＳ４４０の処理が行われると、その後、ステップＳ４４１の処理が行われて撮影処理は終了するが、ステップＳ４４１の処理は図７のステップＳ２０の処理と同様であるので、その説明は省略する。

以上のようにして、撮像装置１１は、複数時刻の角速度に基づいてユーザの動作状態を特定し、特定した動作状態に応じたズーム制御を行う。これにより、より詳細な動作状態を特定することができ、より適切なズーム制御を行うことができる。また、物体認識の結果に応じて撮像レンズ２１を傾斜させることで、ユーザが注目しているであろう被写体を含む、より見栄えの良い画像を得ることができる。

〈傾斜角度決定処理の説明〉
また、図２６に示す撮像装置１１は、図１１を参照して説明したズーム状態決定処理とともに、物体認識を行って、その認識結果に応じて物体が画像内に収まるように撮像レンズ２１の傾斜角度を求める処理である傾斜角度決定処理も行う。以下、図２８のフローチャートを参照して、撮像装置１１により行われる傾斜角度決定処理について説明する。

ステップＳ４７１において、物体検出部１４１は、Ａ／Ｄ変換部２４から供給された画像に対する物体認識処理を行って、画像から物体を検出する。なお、ステップＳ４７１では、図２３のステップＳ３３１と同様の処理が行われる。

ステップＳ４７２において、補正制御部１７２は画像から物体が検出されたか否かを判定する。

ステップＳ４７２において物体が検出されなかったと判定された場合、処理はステップＳ４７１に戻り、上述した処理が繰り返し行われる。すなわち、物体が検出されなかった場合、撮像レンズ２１の傾斜角度は０とされ、撮像レンズ２１は傾斜されない。

これに対して、ステップＳ４７２において、物体が検出されたと判定された場合、ステップＳ４７３において、補正制御部１７２は検出された物体が画像中心に位置するように、画像上の物体の位置に基づいて撮像レンズ２１の傾斜角度を求める。そして、補正制御部１７２は求めた傾斜角度に基づいて、補正部１７１の駆動を制御する。これにより、画像から検出された物体が画像中心に位置するようになり、より見栄えのよい画像が得られるようになる。

ステップＳ４７３の処理が行われると、その後、処理はステップＳ４７１に戻り、上述した処理が繰り返し行われる。そして、図１１のズーム状態決定処理が終了すると、傾斜角度決定処理も終了する。

以上のようにして撮像装置１１は画像から物体を検出し、物体が検出された場合には、その物体の位置に応じて撮像レンズ２１の傾斜角度を求める。これにより、被写体が中心に位置する、より見栄えの良い画像を得ることができるようになる。

なお、この実施の形態では、撮像レンズ２１を傾斜させることで画像上の物体の位置を調整する例について説明したが、撮像レンズ２１を傾斜させるとともに、画像上の物体を含む領域の切り出し位置の調整を行うことで、画像上の物体の位置を調整してもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ５０２，ＲＡＭ５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本技術は、以下の構成とすることも可能である。

（１）
自分自身の移動の角速度を検出する角速度検出部と、
複数の異なる時刻の前記角速度に基づいてユーザの動作状態を判別する動作判別部と、
前記動作状態に基づいてズーム制御を行うズーム制御部と
を備える撮像装置。
（２）
前記ズーム制御部は、時間とともに前記角速度が増加する前記動作状態である場合、ズーム倍率が小さくなるようにズーム制御を行う
（１）に記載の撮像装置。
（３）
前記ズーム制御部は、時間とともに前記角速度が減少する前記動作状態である場合、ズーム倍率が大きくなるようにズーム制御を行う
（１）または（２）に記載の撮像装置。
（４）
前記ズーム制御部は、時間とともに前記角速度が減少する前記動作状態から、時間とともに前記角速度が増加する前記動作状態に変化した場合、ズーム倍率が一定の大きさのままとなるようにズーム制御を行う
（１）乃至（３）の何れかに記載の撮像装置。
（５）
前記ズーム制御部は、特定のズーム制御が行われている場合、前記動作判別部により所定の前記動作状態であると判別されにくくなるようにする
（１）乃至（４）の何れかに記載の撮像装置。
（６）
前記動作判別部は、前記複数の異なる時刻の前記角速度に基づいて前記時刻と前記角速度の関係式を求め、求めた前記関係式の係数と、複数の前記動作状態ごとに予め定められた前記関係式の係数の取り得る値の範囲とを比較することで、前記動作状態を判別する
（１）乃至（５）の何れかに記載の撮像装置。
（７）
前記動作判別部は、前記複数の異なる時刻の前記角速度と、複数の前記動作状態ごとに予め定められた複数の時刻の前記角速度との距離を求めることで前記動作状態を判別する
（１）乃至（５）の何れかに記載の撮像装置。
（８）
前記動作判別部は、前記複数の異なる時刻の前記角速度に基づいて未来の時刻の前記角速度を推定し、前記推定により得られた前記角速度と、前記複数の異なる時刻の前記角速度とに基づいて前記動作状態を判別する
（１）乃至（５）の何れかに記載の撮像装置。
（９）
前記ズーム制御部の制御に従って、撮影された画像の一部の領域を切り出してズーム画像を生成するズーム処理部をさらに備える
（１）乃至（８）の何れかに記載の撮像装置。
（１０）
撮影された前記画像と、前記ズーム画像とを並べて表示させる表示制御部をさらに備える
（９）に記載の撮像装置。
（１１）
前記表示制御部は、前記画像における前記ズーム画像が切り出された領域に枠を表示させる
（１０）に記載の撮像装置。
（１２）
複数の異なる時刻に撮影された前記画像を合成して得られた画像と、前記ズーム画像とを並べて表示させる表示制御部をさらに備える
（９）に記載の撮像装置。
（１３）
前記表示制御部は、前記合成して得られた画像における前記ズーム画像が切り出された領域に枠を表示させる
（１２）に記載の撮像装置。
（１４）
撮影された画像から物体を検出する物体検出部をさらに備え、
前記ズーム制御部は、前記画像の中心近傍において前記物体が検出された場合、前記物体が拡大表示された状態が維持されるようにズーム制御を行う
（１）乃至（９）の何れかに記載の撮像装置。
（１５）
撮影された前記画像から物体を検出する物体検出部をさらに備え、
前記ズーム制御部は、前記物体の検出結果に基づいて、前記画像から前記ズーム画像が切り出される位置を決定する
（９）に記載の撮像装置。
（１６）
撮影された画像から物体を検出する物体検出部と、
前記物体の検出結果に応じて、被写体から入射する光を集光するレンズを傾斜させる補正部と
をさらに備える（１）乃至（８）の何れかに記載の撮像装置。
（１７）
撮像装置の移動の角速度を検出し、
複数の異なる時刻の前記角速度に基づいて前記撮像装置を操作するユーザの動作状態を判別し、
前記動作状態に基づいてズーム制御を行う
ステップを含む撮像方法。
（１８）
撮像装置の移動の角速度を検出し、
複数の異なる時刻の前記角速度に基づいて前記撮像装置を操作するユーザの動作状態を判別し、
前記動作状態に基づいてズーム制御を行う
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 撮像装置， ２１ 撮像レンズ， ２２ 撮像素子， ２５ 制御部， ２９ ズーム部， ３３ メモリ， ３４ 角速度センサ， ４１ 動作判別部， ４２ ズーム制御部， ４３ 表示制御部， １１１ ズーム処理部， １４１ 物体検出部， １７２ 補正制御部

Claims (18)

1. 自分自身の移動の角速度を検出する角速度検出部と、
   複数の異なる時刻の前記角速度に基づいてユーザの動作状態を判別する動作判別部と、
   前記動作状態に基づいてズーム制御を行うズーム制御部と
   を備える撮像装置。
2. 前記ズーム制御部は、時間とともに前記角速度が増加する前記動作状態である場合、ズーム倍率が小さくなるようにズーム制御を行う
   請求項１に記載の撮像装置。
3. 前記ズーム制御部は、時間とともに前記角速度が減少する前記動作状態である場合、ズーム倍率が大きくなるようにズーム制御を行う
   請求項１に記載の撮像装置。
4. 前記ズーム制御部は、時間とともに前記角速度が減少する前記動作状態から、時間とともに前記角速度が増加する前記動作状態に変化した場合、ズーム倍率が一定の大きさのままとなるようにズーム制御を行う
   請求項１に記載の撮像装置。
5. 前記ズーム制御部は、特定のズーム制御が行われている場合、前記動作判別部により所定の前記動作状態であると判別されにくくなるようにする
   請求項１に記載の撮像装置。
6. 前記動作判別部は、前記複数の異なる時刻の前記角速度に基づいて前記時刻と前記角速度の関係式を求め、求めた前記関係式の係数と、複数の前記動作状態ごとに予め定められた前記関係式の係数の取り得る値の範囲とを比較することで、前記動作状態を判別する
   請求項１に記載の撮像装置。
7. 前記動作判別部は、前記複数の異なる時刻の前記角速度と、複数の前記動作状態ごとに予め定められた複数の時刻の前記角速度との距離を求めることで前記動作状態を判別する
   請求項１に記載の撮像装置。
8. 前記動作判別部は、前記複数の異なる時刻の前記角速度に基づいて未来の時刻の前記角速度を推定し、前記推定により得られた前記角速度と、前記複数の異なる時刻の前記角速度とに基づいて前記動作状態を判別する
   請求項１に記載の撮像装置。
9. 前記ズーム制御部の制御に従って、撮影された画像の一部の領域を切り出してズーム画像を生成するズーム処理部をさらに備える
   請求項１に記載の撮像装置。
10. 撮影された前記画像と、前記ズーム画像とを並べて表示させる表示制御部をさらに備える
    請求項９に記載の撮像装置。
11. 前記表示制御部は、前記画像における前記ズーム画像が切り出された領域に枠を表示させる
    請求項１０に記載の撮像装置。
12. 複数の異なる時刻に撮影された前記画像を合成して得られた画像と、前記ズーム画像とを並べて表示させる表示制御部をさらに備える
    請求項９に記載の撮像装置。
13. 前記表示制御部は、前記合成して得られた画像における前記ズーム画像が切り出された領域に枠を表示させる
    請求項１２に記載の撮像装置。
14. 撮影された画像から物体を検出する物体検出部をさらに備え、
    前記ズーム制御部は、前記画像の中心近傍において前記物体が検出された場合、前記物体が拡大表示された状態が維持されるようにズーム制御を行う
    請求項１に記載の撮像装置。
15. 撮影された前記画像から物体を検出する物体検出部をさらに備え、
    前記ズーム制御部は、前記物体の検出結果に基づいて、前記画像から前記ズーム画像が切り出される位置を決定する
    請求項９に記載の撮像装置。
16. 撮影された画像から物体を検出する物体検出部と、
    前記物体の検出結果に応じて、被写体から入射する光を集光するレンズを傾斜させる補正部と
    をさらに備える請求項１に記載の撮像装置。
17. 撮像装置の移動の角速度を検出し、
    複数の異なる時刻の前記角速度に基づいて前記撮像装置を操作するユーザの動作状態を判別し、
    前記動作状態に基づいてズーム制御を行う
    ステップを含む撮像方法。
18. 撮像装置の移動の角速度を検出し、
    複数の異なる時刻の前記角速度に基づいて前記撮像装置を操作するユーザの動作状態を判別し、
    前記動作状態に基づいてズーム制御を行う
    ステップを含む処理をコンピュータに実行させるプログラム。

Images