JP5111088B2 - 撮像装置及び画像再生装置 - Google Patents

Description

本発明は、動画の撮影が可能な撮像装置に関する。また、本発明は、動画を再生する画像再生装置に関する。

従来、ビデオカメラを用いて注目する被写体（人物など）の動画撮影を行う際、その被写体を見失わないようにビデオカメラの表示画面上で被写体を確認しつつ、被写体の動きに応じてビデオカメラの撮影方向やズーム倍率を操作する必要があった。従って、撮影者は、撮影に集中しなければならず、注目する被写体とのコミュニケーションをとりながら撮影を行ったり、他のことに注意を払いながら撮影を行ったりすることが困難であった。

羽下哲司、外２名、"侵入検知・追跡カメラ"、［ｏｎｌｉｎｅ］、平成１６年８月、三菱電機、［平成１９年１２月１４日検索］、インターネット＜URL：http://www.mitsubishielectric.co.jp/giho/0408/0408111.pdf＞

注目被写体の動画を撮影操作にあまり集中しなくても取得することができたならば、ビデオカメラの利便性が高まることは自明である。

そこで本発明は、撮影操作にあまり集中しなくても撮影者の意図に沿った注目被写体の動画を取得可能な撮像装置を提供することを目的とする。また、撮影時において撮影操作にあまり集中しなくても、撮影者の意図に沿った注目被写体の動画を再生可能な画像再生装置を提供することを目的とする。

本発明に係る撮像装置は、撮影により撮影対象の光学像を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づく入力画像を順次取得し、前記入力画像の画像信号に基づいて、前記撮影対象に含まれる特定被写体の、前記入力画像上の位置を検出する特定被写体検出手段と、検出された前記位置に基づいて前記入力画像の全体領域よりも小さい切り出し領域を前記入力画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する切り出し画像抽出手段と、前記切り出し画像の解像度を向上させる画質補償手段と、を備えたことを特徴とする。

これにより、特定被写体を撮影領域内に収めておくだけで、自動的に、特定被写体に着目した、解像度の高い切り出し画像の動画を取得することが可能となる。つまり、撮影操作にあまり集中しなくても、撮影者の意図に沿った動画を取得することが可能となる。

例えば、前記撮像装置は、前記撮像装置の動きを検出する装置動き検出手段と、前記撮像素子の出力信号に基づいて隣接フレームの入力画像間における前記特定被写体の動きを検出する被写体動き検出手段と、前記装置動き検出手段の検出結果及び前記被写体動き検出手段の検出結果に基づいて前記切り出し画像におけるぶれを補正する補正手段と、を更に備えている。

撮像装置の動きだけでなく特定被写体の動きをも考慮することで、切り出し画像のぶれを良好に補正することが可能である。

より具体的には例えば、前記撮像装置は、前記光学像を前記撮像素子上で移動させる像移動手段を更に備え、前記補正手段は、前記装置動き検出手段の検出結果及び前記被写体動き検出手段の検出結果に基づいて、前記像移動手段による移動及び前記切り出し画像抽出手段によって設定される前記切り出し領域の位置を制御することにより、前記切り出し画像におけるぶれを補正する。

そして例えば、前記補正手段は、前記装置動き検出手段の検出結果に基づく前記撮像装置の動きに応じた第１ベクトル及び前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じた第２ベクトルを参照し、前記第１及び第２ベクトルを所定の比率で合成したベクトルに従って前記像移動手段を制御する一方で、前記撮影対象に含まれる実空間上の静止物の、隣接フレームの切り出し画像間における位置変化が抑制されるように前記切り出し画像抽出手段を制御する。

或いは例えば、前記補正手段は、前記装置動き検出手段の検出結果に基づく前記撮像装置の動きに応じた第１ベクトル及び前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じた第２ベクトルを参照し、前記撮像素子上における前記特定被写体の像の位置変化が抑制されるように前記第２ベクトルに基づいて前記像移動手段を制御する一方で、前記撮影対象に含まれる実空間上の静止物の、隣接フレームの切り出し画像間における位置変化が抑制されるように前記切り出し画像抽出手段を制御する。

また例えば、前記撮像素子の撮像面の第１領域内に複数の受光画素が配列され、前記撮像素子の第１領域内に前記第１領域よりも小さい第２領域が設定され、前記第２領域内に配置された受光画素群からの出力信号に基づいて前記入力画像は形成され、前記補正手段は、前記装置動き検出手段の検出結果及び前記被写体動き検出手段の検出結果に基づいて、前記第２領域の設定位置及び前記切り出し画像抽出手段によって設定される前記切り出し領域の位置を制御することにより、前記切り出し画像におけるぶれを補正する。

そして例えば、前記補正手段は、前記装置動き検出手段の検出結果に基づく前記撮像装置の動きに応じた第１ベクトル及び前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じた第２ベクトルを参照し、前記第１及び第２ベクトルを所定の比率で合成したベクトルに従って前記第２領域の設定位置を制御する一方で、前記撮影対象に含まれる実空間上の静止物の、隣接フレームの切り出し画像間における位置変化が抑制されるように前記切り出し画像抽出手段を制御する。

また例えば、前記補正手段は、前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じたベクトルを参照し、前記ベクトルの大きさが所定の大きさよりも小さい場合、隣接フレーム間において前記切り出し領域の位置が固定されるように前記切り出し画像抽出手段を制御する。

特定被写体の動きを逐次全て考慮して切り出し領域の位置を制御すると、切り出し画像列から成る動画において背景がふらふらと揺れる惧れがあるが、上述の如く切り出し領域の位置を制御すれば、安定した動画を得ることができる。

また具体的には例えば、前記画質補償手段は、複数フレーム分の切り出し画像を用いた超解像処理によって、その複数フレーム分の切り出し画像中に含まれる着目フレームの切り出し画像の解像度を向上させる。

また例えば、前記撮像装置は、前記解像度の向上前又は向上後の前記切り出し画像の画像信号を記録手段に記録する記録制御手段を更に備えている。

また例えば、前記撮像装置は、前記解像度が向上された前記切り出し画像の画像信号を表示手段に出力する。

本発明に係る画像再生装置は、撮像対象を次々と撮影することにより得られた画像信号を記録手段から読み出すことによって、前記画像信号に基づく入力画像を順次取得し、前記入力画像の画像信号に基づいて、前記撮影対象に含まれる特定被写体の、前記入力画像上の位置を検出する特定被写体検出手段と、検出された前記位置に基づいて前記入力画像の全体領域よりも小さい切り出し領域を前記入力画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する切り出し画像抽出手段と、前記切り出し画像の解像度を向上させる画質補償手段と、を備え、前記解像度が向上された切り出し画像の画像信号を表示手段又は外部に出力することを特徴とする。

本発明によれば、撮影操作にあまり集中しなくても撮影者の意図に沿った注目被写体の動画を取得可能な撮像装置を提供することができる。また、撮影時において撮影操作にあまり集中しなくても、撮影者の意図に沿った注目被写体の動画を再生可能な画像再生装置を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の構成ブロック図である。撮像装置１は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、符号１１〜２４によって参照される各部位を備える。図２は、図１の撮像部１１の内部構成図である。

撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０、フォーカスレンズ３１及び補正レンズ３６を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。補正レンズ３６は光軸に対して傾きを持った方向に移動可能である。具体的には、補正レンズ３６は、光軸に直交する２次元平面上を移動可能なように光学系３５内に設置される。

図１のＣＰＵ（Central Processing Unit）２０からの制御信号に基づいて、ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。更に、ＣＰＵ２０に内在する動き補正制御部１９からの補正レンズ制御信号に基づいて、ドライバ３４は補正レンズ３６を光学系３５内で移動させる。この移動によって、公知の光学式手ぶれ補正を実現することも可能であるが、動き補正制御部１９及びそれに必要な情報を与える動き検出部１８の機能については後述する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体（撮影対象）を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、画像取得部１３に出力する。画像取得部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像を表す映像信号を生成する。１回の撮影によって得られた１枚の全体画像をフレーム画像と呼ぶ。画像（フレーム画像を含む）は画像信号によって表現されるが、以下の説明では、画像信号を画像データと呼ぶ。

特定被写体検出部１４は、フレーム画像の画像データに基づいて、フレーム画像内において特定被写体が描画されている領域（即ち、特定被写体に対応する画像データが存在する領域）を検出し、その領域を含む矩形領域を特定被写体領域として抽出する。但し、特定被写体領域の形状は矩形以外であってもよい。特定被写体領域の大きさ（画像サイズ）はフレーム画像の全体領域のそれよりも小さい。特定被写体は、例えば人物である。特定被写体検出部１４は、フレーム画像上における、特定被写体領域の位置及び大きさを表す特定被写体情報を切り出し部１５に送る。

切り出し部１５は、特定被写体情報に基づいて特定被写体領域を含む切り出し領域をフレーム画像内に設定し、その切り出し領域内の画像をフレーム画像から切り出す。切り出された、切り出し領域内の画像を「切り出し画像」と呼ぶ。切り出し領域はフレーム画像の全体領域よりも小さく、切り出し画像はフレーム画像の一部画像に相当する。従って、切り出し画像の画像サイズ（水平方向及び垂直方向の画素数）は、フレーム画像のそれよりも小さい。例えば、切り出し領域の中心が特定被写体領域の中心又は重心と合致するように切り出し領域は設定される。尚、特定被写体としての人物の顔の向きなどを考慮して、切り出し領域内における特定被写体領域の位置を決定するようにしてもよい。例えば、切り出し領域内の、顔の向いている方向側の領域の大きさをそれの反対側の領域の大きさよりも大きくするといったことも可能である。

画質補償部１６は、切り出し画像の解像度を向上させるための画像処理を実行する。例えば、超解像処理によって切り出し画像の解像度を向上させる。

表示部２１は液晶ディスプレイパネル等から成る表示装置である。表示すべき画像の画像データを表示部２１に与えることで、その画像が表示部２１の表示画面上で表示される。例えば、画質補償部１６が解像度向上後の切り出し画像の画像データを表示部２１に出力することで、解像度向上後の切り出し画像が表示部２１で表示される。また例えば、切り出し部１５が解像度向上前の切り出し画像の画像データを表示部２１に出力することで、解像度向上前の切り出し画像が表示部２１で表示される。或いは、画像取得部１３にて得られたフレーム画像の全体の画像データを表示部２１に送ることで、フレーム画像の全体画像が表示部２１で表示される。

記録媒体２２は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、自身に与えられるデータを記録する。撮像装置１内に設けられた記録制御部（不図示）が、この記録を制御する。例えば、解像度向上後の切り出し画像の画像データが記録媒体２２に記録される。また例えば、解像度向上前の切り出し画像の画像データが記録媒体２２に記録される。また例えば、フレーム画像の全体の画像データが記録媒体２２に記録される。解像度向上前又は後の切り出し画像の画像データを、フレーム画像の全体の画像データと共に記録媒体２２に記録させることも可能である。尚、記録媒体２２にどのような画像データを記録させるかを、操作部１７に対する操作により指定可能である。また、画像データの記録の際、所定の圧縮方式により画像データは圧縮されてから記録される。但し、この圧縮を行うことなく画像データを記録するようにしてもよい（所謂、ＲＡＷデータを記録するようにしてもよい）。

操作部１７は、ユーザからの操作を受け付ける部位であり、操作部１７に対する操作内容はＣＰＵ２０に伝達される。ＣＰＵ２０は、撮像装置１内部の動作を統括的に制御する。

マイク部２３は、撮像装置１の周辺音を電気信号に変換して出力する。音声信号処理部２４は、マイク部２３からの出力信号に必要な音声信号処理を施し、マイク部２３に対して入力された音を表す音声信号を生成する。必要に応じて、この音声信号は所定の圧縮方式にて圧縮されてから記録媒体２２に記録される。

撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体２２に記録された静止画または動画を表示部２１に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像部１１は所定のフレーム周期（例えば、１／３０秒）にて順次撮影を行っており、フレーム周期毎に１枚のフレーム画像が得られる。

［撮影時の動作］
操作部１７に対して動画の撮影及び記録が指示された時の、撮像装置１の基本動作について説明する。図３は、その基本動作の流れを表すフローチャートである。

最初にステップＳ１１において、特定被写体検出部１４は、動画の撮影及び記録が指示された後に得られるフレーム画像から特定被写体を検出する。ステップＳ１１における検出を初期検出と呼ぶ。初期検出がなされるべきフレーム画像を、特に、初期検出用フレーム画像と呼ぶ。

特定被写体の初期検出が完了すると、特定被写体検出部１４は、ステップＳ１１にて検出した特定被写体の描画領域を含む特定被写体領域を設定し、特定被写体領域の位置及び大きさを表す特定被写体情報を切り出し部１５に送る。ステップＳ１２において、切り出し部１５は、その特定被写体情報に基づいて、初期検出用フレーム画像内に特定被写体領域を含む切り出し領域を設定し、初期検出用フレーム画像から、その切り出し領域内の画像を切り出し画像として抽出する。

今、特定被写体は人物であるものとし、この場合におけるステップＳ１１及びＳ１２の動作について詳説する。特定被写体検出部１４は、まず、初期検出用フレーム画像から人物の顔部分を含む領域である顔領域を検出して抽出する。図４に、初期検出用フレーム画像の例としてのフレーム画像２００から抽出された顔領域２０１を示す。次に、その人物の胴体部分を含む領域である胴体領域２０２を検出する。胴体領域２０２は、顔領域２０１の下方側（眉間から口に向かう方向側）に、顔領域２０１に隣接して存在する矩形領域とされる。胴体領域２０２の大きさは、顔領域２０１の大きさに依存して決定される。その後、顔領域２０１及び胴体領域２０２を含む矩形領域を特定被写体領域としてフレーム画像２００から抽出する。図４における破線２０３が付された領域の内側が特定被写体領域に相当する。顔領域２０１の位置及び大きさ等を考慮して、顔領域２０１に対応する人物の全身が特定被写体領域内に含まれるように特定被写体領域を設定するとよい。また、破線２０４が付された領域の内側が、フレーム画像２００に設定された切り出し領域である。

尚、画像中に含まれる顔を検出する手法として様々な手法が知られており、特定被写体検出部１４は何れの手法をも採用可能である。典型的には例えば、フレーム画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。フレーム画像内において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域内の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えばフレーム画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、フレーム画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、フレーム画像中から任意の大きさの顔を検出することができる。

ステップＳ１２の処理の後、ステップＳ１３に移行する。ステップＳ１３では現時点のフレーム画像が取得され、その後、ステップＳ１４に移行する。ステップＳ１４では、特定被写体検出部１４が、画像データに基づく追尾処理によって、ステップＳ１３にて取得されたフレーム画像から特定被写体を検出する。追尾処理によって特定被写体が検出されるべきフレーム画像を、特に、追尾対象フレーム画像という。画像データに基づく特定被写体の追尾処理の方法として、公知の任意の方法を採用可能である。

例えば、特定被写体の色を表す色情報に基づいて追尾処理を行う。色情報に基づく追尾処理の方法として、特開平５−２８４４１１号公報、特開２０００−４８２１１号公報、特開２００１−１６９１６９号公報などに記載の方法を用いることができる。例えば、図４に示すフレーム画像２００が初期検出用フレーム画像である場合、特定被写体検出部１４は、胴体領域２０２における色信号（色差信号やＲＧＢ信号）に基づいて胴体領域２０２の色を特定する。その後、追尾対象フレーム画像の色信号に基づいて、胴体領域２０２の色との類似性が高い色を有する領域を追尾対象フレーム画像から抽出する。ここで抽出された領域は、追尾対象フレーム画像内における特定被写体の胴体領域であり、その胴体領域を含む矩形領域を追尾対象フレーム画像内における特定被写体領域とする。この際、胴体領域の位置及び大きさ等を考慮して、特定被写体領域内に特定被写体としての人物の全身が含まれるように特定被写体領域を設定するとよい。

ステップＳ１４にて設定された特定被写体領域の位置及び大きさを表す特定被写体情報は切り出し部１５に送られる。ステップＳ１５において、切り出し部１５は、その特定被写体情報に基づいて、追尾対象フレーム画像内に特定被写体領域を含む切り出し領域を設定し、追尾対象フレーム画像から、その切り出し領域内の画像を切り出し画像として抽出する。つまり、特定被写体を追尾するように切り出し領域を設定する。基本的には例えば、切り出し画像列から成る動画内において特定被写体が常に切り出し画像の中央に位置するように切り出し領域の位置を設定する。切り出し画像列とは、時系列で並ぶ複数のフレーム画像から得られた、時系列で並ぶ複数の切り出し画像を意味する。同様に、時系列で並ぶ複数のフレーム画像を、フレーム画像列とも呼ぶ。

続くステップＳ１６では、画質補償部１６が、切り出し画像の解像度を向上させる高解像度化処理を行う。例えば、初期検出用フレーム画像及び追尾対象フレーム画像を含む各フレーム画像の画像サイズは１９２０×１０８０（即ち、水平方向の画素数が１９２０であって且つ垂直方向の画素数が１０８０）である一方で、高解像度化処理による解像度向上前の各切り出し画像の画像サイズは９６０×５４０である。そして、高解像度化処理によって、各切り出し画像の画像サイズは１９２０×１０８０とされる。切り出し領域の大きさ、即ち、解像度向上前の切り出し画像の画像サイズは、常に一定であるとする。但し、その画像サイズを、一つの動画内において変更することも可能である。

本例では、高解像度化処理として超解像処理が採用される。超解像処理では、位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の高解像度化を行うことにより１枚の高解像度画像を生成する。画質補償部１６は、公知の任意の超解像処理を利用可能である。例えば、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに記載の超解像処理方法を利用することが可能である。

例えば、３フレーム分の切り出し画像を用いて超解像処理を行う場合は、以下のように処理する。今、１フレーム周期分の時間が経過することに、時刻ｔ_n-2、ｔ_n-1、ｔ_n、ｔ_n+1、ｔ_n+2・・・が順番に訪れるものとし、図５に示す如く、時刻ｔ_n+iにて取得されたフレーム画像を時刻ｔ_n+iのフレーム画像と呼ぶ（ｉは整数）。そして、時刻ｔ_n+iのフレーム画像から切り出された切り出し画像を、ＣＩ_n+iにて表す。この場合、３枚の切り出し画像ＣＩ_n+i、ＣＩ_n+i+1及びＣＩ_n+i+2を用いて１枚の高解像度画像を生成する。

ｉが（−２）の場合を考えて具体例を挙げる。切り出し画像ＣＩ_nが得られた時点で、３枚の切り出し画像ＣＩ_n-2、ＣＩ_n-1及びＣＩ_nを参照し、切り出し画像ＣＩ_n-2、ＣＩ_n-1及びＣＩ_nを、夫々、第１、第２、及び第３の観測低解像度画像として取り扱って超解像処理を行う。第１の観測低解像度画像を基準として、第１と第２の観測低解像度画像との間の位置ずれ量及び第１と第３の観測低解像度画像との間の位置ずれ量を検出する。位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、動き量又は動きベクトルとも呼ばれる。位置ずれ量は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、サブピクセルの分解能を有するように検出される。即ち、観測低解像度画像内の隣接する画素の間隔よりも短い距離を最小検出単位として位置ずれ量が検出される。

一方で、線形補間やバイキュービック補間を用いて第１の観測低解像度画像の水平及び垂直方向の画素数を増大させた画像を初期の高解像度画像として生成する。その後、検出した上述の各位置ずれ量を用いて、現時点の高解像度画像を構築する３枚の低解像度画像を推定し、推定した各低解像度画像と各観測低解像度画像との誤差が最小化されるように高解像度画像を更新してゆく。最終的に得られた高解像度画像は、解像度向上後の切り出し画像ＣＩ_n-2に相当する。他の切り出し画像も同様にして解像度が向上される。例えば、切り出し画像ＣＩ_n-1に対する解像度の向上は、切り出し画像ＣＩ_n-1、ＣＩ_n及びＣＩ_n+1を用いて実現される。

解像度向上後の切り出し画像は、ステップＳ１６に続くステップＳ１７において、表示部２１上で表示される。この際、解像度向上後の切り出し画像とその切り出し画像の元となるフレーム画像の全体画像を同時に表示部２１の表示画面上に並べて表示することも可能であるし、図６に示す如く、そのフレーム画像の一部の上に解像度向上後の切り出し画像を重畳して表示することも可能である。

更にステップＳ１７に続くステップＳ１８において、解像度向上後の切り出し画像の画像データは記録媒体２２に記録される。この際、解像度向上後の切り出し画像の画像データと共にフレーム画像の全体の画像データも記録媒体２２に記録するようにしてもよい。尚、解像度向上前の切り出し画像の画像データを記録媒体２２に記録することも可能である。

ステップＳ１７及びＳ１８における表示及び記録処理の後、ステップＳ１３に戻り、動画の撮影及び記録の終了指示が操作部１７に対してなされるまで、上述のステップＳ１３〜Ｓ１８の各処理が繰り返し実行される。これにより、特定被写体を含む切り出し画像列から成る動画が記録媒体２２に記録されていくことになる。尚、この動画の画像データと共に、音声信号処理部２４にて得た音声データ（音声信号）も記録媒体２２に記録される。

上述のステップＳ１１〜Ｓ１８の処理を経て得られた、記録媒体２２内の画像データを任意の再生装置に読み出させれば、その再生装置上で、特定被写体に対して良好な構図を有する切り出し画像の動画を再生表示することができる（勿論、音声データの再生も可能である）。特に、解像度向上後の切り出し画像の画像データを読み出すようにすれば、高精細な切り出し画像の動画を再生表示することができる。

撮像装置を用いて注目する被写体の動画撮影を行う際、従来は、その被写体を見失わないように撮像装置の表示画面上で被写体を確認しつつ、被写体の動きに応じて撮像装置の撮影方向やズーム倍率を操作する必要があった。従って、撮影者は、撮影に集中しなければならず、注目する被写体とのコミュニケーションをとりながら撮影を行ったり、他のことに注意を払いながら撮影を行ったりすることが困難であった。

本実施形態によれば、表示画面上での被写体の確認や撮影方向及びズーム倍率に対する操作にそれほど集中しなくても、撮影者の意図に沿った良好な構図を有する被写体の動画を取得することができる。このため、注目する被写体とのコミュニケーションをとりながら撮影を行ったり、他のことに注意を払いながら撮影を行ったりすることも可能となる。

尚、上述の説明では、撮像装置１の撮影領域内に１人の人物のみが含まれている場合を想定したが、撮影領域内に複数の人物が含まれている場合は、その複数の人物の中の一人を特定被写体として選択すればよい。例えば、初期検出用フレーム画像から各人物の顔領域を抽出し、顔領域を明示した初期検出用フレーム画像を表示部２１の表示画面に表示させた上で、特定被写体として選択されるべき一人の人物をユーザに選択させる。この選択は操作部１７への操作によって行われる。或いは、表示部２１を所謂タッチパネルとして機能させ、そのタッチパネルへの操作によって、この選択を行うようにしてもよい。更に或いは、特定被写体として選択されるべき人物の顔の画像を撮像装置１に予め登録しておくようにしてもよい。この場合、その登録された顔が初期検出用フレーム画像に含まれているかを撮像装置１が自動的に探索し、登録された顔が初期検出用フレーム画像に含まれていると判断した場合は、その登録された顔を有する人物が特定被写体として選択される。

また、撮影領域内に複数の人物が含まれている場合、複数の人物の夫々を特定被写体と捉え、特定被写体を含む特定被写体領域を複数個設定してもよい。例えば、撮影領域内に含まれる人物が二人である場合、夫々の人物を特定被写体と捉え、一方の人物の描画領域を含む特定被写体領域と他方の人物の描画領域を含む特定被写体領域とを個別に設定する。そして、各特定被写体領域に対して切り出し領域を設定し、１つのフレーム画像から２つの切り出し画像を抽出して各切り出し画像の画像データを個別に記録媒体２２に記録するようにしてもよい。ここで記録される切り出し画像は、解像度向上後の切り出し画像である。但し、解像度向上前の切り出し画像を記録することも可能である。再生時には、例えば、上記の二人の人物の内の一方をユーザに選択させ、選択した人物についての切り出し画像の動画を再生表示すればよい。

また、上述の例では、解像度向上前の切り出し画像の画像サイズ、即ち切り出し領域の大きさを一定としているが、これを可変とすることも可能である。例えば、ステップＳ１５において、切り出し領域の大きさに対する切り出し領域内の特定被写体の大きさの比の変化が、切り出し画像の動画の中で抑制されるように、切り出し領域の大きさを設定することも可能である。極端には、その比が常に一定となるように切り出し領域の大きさを設定することも可能である。そうすれば、撮像装置１と特定被写体との間の実空間上距離が変化しても、切り出し画像の動画内において特定被写体の大きさは一定となる。一方で、追尾対象となる特定被写体の胴体領域の色と特定被写体以外の背景の色が類似している場合は、追尾に失敗する可能性が比較的高くなることを考慮して、上記の比を減少させてもよい。

また、特定被写体から発せられる音の音声信号を強調して記録媒体２２に記録するようにしてもよい。これの実現のため、具体的には例えば、図１のマイク２３部を、撮像装置１の筐体上の互いに異なる位置に配置された複数のマイクロホンにて形成しておく。複数のマイクロホンは、例えば、２つの無指向性マイクロホンである。そして、２つの無指向性マイクロホンの出力信号から指向軸を有する２つのチャンネル信号（ステレオ信号）を生成するステレオ化処理を実行可能に音声信号処理部２４を形成しておく。ステレオ化処理の手法は周知であるので詳細な説明を割愛する。そして、特定被写体の実空間上の存在位置から到来する音が強調されるようにステレオ化処理を実行することで、特定被写体から発せられる音を強調した音声信号を生成し、これを切り出し画像の画像データと共に記録媒体２２に記録しておくとよい。

また更に、特定被写体の発する音の特性を表すデータを撮像装置１に予め与えておけば、公知の音源分離技術（例えば、特開平１０−３１３４９７号公報、特開２０００−８１９００号公報に記載の技術）を用いて、特定被写体の発する音を他の音源からの音と分離することも可能である。そして、分離された、特定被写体の発する音の音声信号を、切り出し画像の画像データと共に記録媒体２２に記録しておくようにしてもよい。

［再生時の動作］
特定被写体の検出処理、切り出し処理及び高解像度化処理を撮影時に実行する場合の動作について説明したが、これらの処理を再生時に実行するようにしてもよい。この場合における再生時の、撮像装置１の動作を図７を参照して説明する。図７は、再生時における撮像装置１の動作の流れを表すフローチャートである。この再生動作に先立って、動画撮影時に得られた時系列で並ぶフレーム画像列の全体の画像データが記録媒体２２に記録されているものとする。再生時において、画像取得部１３に記録媒体２２からフレーム画像を時系列順に次々と読み出させ、その画像データを特定被写体検出部１４及び切り出し部１５に与えて、図７のステップＳ２１〜Ｓ２７の処理を実行させる。ステップＳ２１〜Ｓ２７における処理は、夫々、図３のステップＳ１１〜Ｓ１７における処理と略同様である。

即ち、特定被写体検出部１４は、画像取得部１３を介して記録媒体２２から順次与えられるフレーム画像から特定被写体を検出する。ステップＳ２１における、特定被写体の最初の検出を初期検出と呼び、特定被写体が最初に検出されるべきフレーム画像を、初期検出用フレーム画像と呼ぶ。

特定被写体の初期検出が完了すると、特定被写体検出部１４は、ステップＳ２１にて検出した特定被写体の描画領域を含む特定被写体領域を設定し、特定被写体領域の位置及び大きさを表す特定被写体情報を切り出し部１５に送る。ステップＳ２２において、切り出し部１５は、その特定被写体情報に基づいて、初期検出用フレーム画像内に特定被写体領域を含む切り出し領域を設定し、初期検出用フレーム画像から、その切り出し領域内の画像を切り出し画像として抽出する。

初期検出用フレーム画像の後に記録媒体２２から読み出されるフレーム画像は、追尾対象フレーム画像として取り扱われる。ステップＳ２２に続くステップＳ２３では１枚の追尾対象フレーム画像が読み出され、続くステップＳ２４では、特定被写体検出部１４が、ステップＳ１４と同様の追尾処理によって、ステップＳ２３にて読み出された追尾対象フレーム画像から特定被写体を検出して特定被写体領域を設定する。

ステップＳ２４にて設定された特定被写体領域の位置及び大きさを表す特定被写体情報は切り出し部１５に送られる。ステップＳ２５において、切り出し部１５は、その特定被写体情報に基づいて、追尾対象フレーム画像内に特定被写体領域を含む切り出し領域を設定し、追尾対象フレーム画像から、その切り出し領域内の画像を切り出し画像として抽出する。

続くステップＳ２６では、画質補償部１６が、図３のステップＳ１６と同様の高解像度化処理を行って、切り出し画像の解像度を向上させる。解像度向上後の切り出し画像は、ステップＳ２７において、表示部２１上で表示される。この際、上述したように、解像度向上後の切り出し画像とその切り出し画像の元となるフレーム画像の全体画像を同時に表示部２１の表示画面上に並べて表示することも可能であるし、図６に示す如く、そのフレーム画像の一部の上に解像度向上後の切り出し画像を重畳して表示することも可能である。再生時において生成された解像度向上後の切り出し画像の画像データを記録媒体２２に記録するようにしてもよい。尚、ステップＳ２６の高解像度化処理を省略し、解像度向上前の切り出し画像を表示部２１上で表示させることも可能である。

ステップＳ２７の表示処理の後、ステップＳ２３に戻り、記録媒体２２から読み出されるべき追尾対象フレーム画像が存在しなくなるまでステップＳ２３〜Ｓ２７の各処理が繰り返し実行される。尚、切り出し画像の表示と同時に記録媒体２２に記録された音声信号も再生され、その音声信号に応じた音が撮像装置１に設けられたスピーカ（不図示）から出力される。

このような再生動作を可能としておくことにより、撮影時において表示画面上での被写体の確認や撮影方向及びズーム倍率に対する操作にそれほど集中しなくても、撮影者の意図に沿った良好な構図を有する被写体の動画を再生することができる。このため、注目する被写体とのコミュニケーションをとりながら撮影を行ったり、他のことに注意を払いながら撮影を行ったりすることも可能となる。

撮像装置１の使用例及び撮像装置１の有益性について補足説明する。撮影者は、注目する被写体（即ち、特定被写体）が撮影領域内に収まるように、できる限り広い画角にて撮影を行う。そうすると、その広い画角（撮影領域）内に収まる被写体が自動的に認識及び追尾され、その被写体を含む切り出し画像が順次生成される。従って、撮影者は、撮像装置１を注目する被写体の方向に向けてさえすれば、なんら意識せずとも自身の希望する被写体の映像を取得することができる。そして、再生時には、注目する被写体が適当な構図で切り出された映像を視聴することができる。

また、図７の再生動作を実現する際、撮像装置１は画像再生装置として機能する。ユーザは、注目する被写体が撮影領域内に収まるようにできる限り広い画角にて撮影を行っておき、その撮影によって得られた動画（フレーム画像列から成る動画）をこの画像再生装置に与えて視聴を希望する被写体を選択するだけで、その被写体が適当な構図で切り出された映像を視聴することができる。従って、このような画像再生装置があれば、撮影者は、撮影にそれほど集中しなくてもよいことになる。

尚、上述の例では、撮像装置１に設けられた表示部２１上で画像を再生表示するようにしているが、表示したい画像の画像データを撮像装置１の外部の表示装置（不図示）に供給することで、その外部の表示装置上にて、解像度向上前又は向上後の切り出し画像などを表示するようにしてもよい。また、解像度向上前又は向上後の切り出し画像の画像データを、必要に応じてネットワーク網などを介しつつ、その画像データを利用する外部機器（ウェブサイトを運営するサーバ機器など）に供給するようにしてもよい。

また、上述の例では、切り出し画像の解像度を向上させるための処理として超解像処理を用いているが、その処理として、超解像処理以外の処理を用いることも可能である。例えば、切り出し部１５から出力される切り出し画像の画像サイズを、所謂デジタルズームによって拡大することで、切り出し画像の解像度を向上させてもよい。この場合、例えば、フレーム画像の画像サイズが１９２０×１０８０であって且つ解像度向上前の切り出し画像の画像サイズが９６０×５４０である場合、解像度向上前の切り出し画像の画像サイズを水平方向及び垂直方向に夫々２倍に拡大することで１９２０×１０８０の画像サイズを有する切り出し画像（即ち、解像度向上後の切り出し画像）を生成する。画像サイズの拡大は、補間処理を用いた解像度変換によって実現される。補間処理の手法として、ニアレストネイバー法、バイリニア法、バイキュービック法などの各種の手法を利用可能である。

また、上記の補間処理を介して得た解像度向上後の切り出し画像（以下、鮮鋭化前画像という）に更に鮮鋭化処理を施し、鮮鋭化処理後の画像（以下、鮮鋭化後画像という）を、画質補償部１６から出力されるべき、最終的な解像度向上後の切り出し画像として取り扱うようにしてもよい。例えば、エッジ強調フィルタ（微分フィルタなど）やアンシャープマスクフィルタを用いたフィルタリングを鮮鋭化前画像に施すことで鮮鋭化後画像を生成することが可能である。アンシャープマスクフィルタを用いたフィルタリングは、アンシャープマスキングとも呼ばれる。アンシャープマスキングでは、鮮鋭化前画像を平滑化して平滑化画像を生成した後、その平滑化画像と鮮鋭化前画像との差分画像を生成する。そして、その差分画像の各画素値と鮮鋭化前画像の各画素値を足し合わせるように差分画像と鮮鋭化前画像を合成することで鮮鋭化後画像を生成する。

超解像処理を用いた切り出し画像の解像度向上処理は、その切り出し画像を含む複数フレーム分の切り出し画像に基づいて行われるが（図３のステップＳ１６などを参照）、上記の鮮鋭化前画像又は鮮鋭化後画像を画質補償部１６から出力されるべき解像度向上後の切り出し画像とする場合は、１枚の切り出し画像の解像度を向上させるに当たり、複数フレーム分の切り出し画像を参照する必要はない。即ち、着目した１枚の切り出し画像のみに基づいて、その切り出し画像の解像度を向上させることができる。

［ぶれ補正動作］
次に、図１の動き検出部１８及び動き補正制御部１９について説明する。動き検出部１８は、２つの角速度センサを有し、撮像装置１に作用する所謂手ぶれを検出する。一方の角速度センサは、所定のサンプリング周期にて撮像装置１のヨー方向（水平方向）の角速度を計測して各サンプリング周期における撮像装置１のヨー方向の角速度を表す信号を出力し、他方の角速度センサは、所定のサンプリング周期にて撮像装置１のピッチ方向（垂直方向）の角速度を計測して各サンプリング周期における撮像装置１のピッチ方向の角速度を表す信号を出力する。

ヨー方向とピッチ方向は、互いに直交し、且つ、光軸にも直交する。今、光軸は水平面に平行であるとする。撮像装置１にヨー方向のぶれを与えれば、撮像装置１の光軸は水平面に平行な面上で回転し、撮像装置１にピッチ方向のぶれを与えれば、撮像装置１の光軸は鉛直面に平行な面上で回転する。

動き検出部１８は、各角速度センサの出力信号に基づいて撮像装置１の動き（即ち、撮像装置１のヨー方向及びピッチ方向の動き）を検出し、検出した撮像装置１の動きを表す手ぶれ情報を動き補正制御部１９に送る。動き補正制御部１９は、手ぶれ情報に基づき、補正レンズ制御信号を生成してドライバ３４を介して補正レンズ３６の位置を駆動制御する（図２参照）。仮に、補正レンズ３６の位置が固定されていた場合、ヨー方向の手ぶれによって撮像素子３３上に結像する像は撮像素子３３上で左右方向（撮像素子３３の水平方向）に移動し、ピッチ方向の手ぶれによって撮像素子３３上に結像する像は撮像素子３３上で上下方向（撮像素子３３の垂直方向）に移動する。

最も基本的には、手ぶれに由来する、撮像素子３３上の像の移動が生じないように、手ぶれ情報に基づいて補正レンズ３６の位置を駆動制御する。これは、一般的に光学式手ぶれ補正と呼ばれる。この光学式手ぶれ補正によって、撮像装置１の動きに由来するフレーム画像のぶれが抑制される。尚、説明の簡略化上、ヨー方向とピッチ方向のみに着目しているが、撮像装置１のロール方向の角速度を計測する角速度センサを更に設けて、ロール方向の手ぶれをも補正するようにしてもよい。

＜＜第２実施形態＞＞
撮像装置１内で、一般的な光学式手ぶれ補正を実施することも可能であるが、手ぶれ情報を利用した他の実施の形態を第２実施形態として説明する。第２実施形態は、第１実施形態の一部を変形した実施形態に相当する。第２実施形態に記載の技術は第１実施形態と組み合わせて実施されると共に、第１実施形態に記載した事項は矛盾なき限り第２実施形態にも適用される。第２実施形態に係る撮像装置の構成ブロック図は図１の撮像装置１のそれと同じである。

図８に示される、時間的に連続して撮影された３つのフレーム画像、即ち、時刻ｔ_n-2、ｔ_n-1及びｔ_nのフレーム画像ＦＩ_n-2、ＦＩ_n-1及びＦＩ_nに着目する。時刻ｔ_n-2はフレーム画像ＦＩ_n-2の露光期間の中間時刻であり、時刻ｔ_n-1はフレーム画像ＦＩ_n-1の露光期間の中間時刻であり、時刻ｔ_nはフレーム画像ＦＩ_nの露光期間の中間時刻であるとする。また、説明の簡略化上、各フレーム画像の露光期間の長さは、時刻ｔ_n-2−ｔ_n-1間の時間長さ及び時刻ｔ_n-1−ｔ_n間の時間長さと等しいものとする。また、フレーム周期が１／３０秒であると共に動き検出部１８に設けられた角速度センサの上記サンプリング周期が約１／１０００秒であるとし、そのサンプリング周期の長さはフレーム周期の長さの３３分の１であるとする。

また、第２実施形態では、図９に示す如く、動き検出部１８に、撮像装置１の動き（換言すれば手ぶれ）を検出する手ぶれ検出部４１と、画像上における特定被写体の動きを検出する被写体動き検出部４２とが設けられている。手ぶれ検出部（装置動き検出部）４１は、第１実施形態で述べたように２つの角速度センサから形成され、上述の手ぶれ情報を出力する。被写体動き検出部４２は、撮像部１１の出力信号に基づいて画像上における特定被写体の動きを検出し、検出した特定被写体の動きを表す被写体動き情報を出力する。尚、第１実施形態で述べた、ロール方向の角速度計測用の角速度センサを手ぶれ検出部４１に更に設けることも可能であり、この場合、３つの角速度センサの計測結果に基づいて手ぶれ情報を生成することも可能である（第３実施形態についても同様）。本実施形態及び第３実施形態を含む以下の説明では、説明の簡略化上、ヨー方向とピッチ方向の角速度計測用の２つの角速度センサのみに着目する。

手ぶれ情報及び被写体動き情報は、共に、フレーム画像の光学像が投影される、撮像素子３３の撮像面上のベクトル量として表現される。そこで、以下の説明では、手ぶれ情報及び被写体動き情報を、それぞれ手ぶれベクトル及び被写体動きベクトルと呼ぶ。また、説明の簡略化上、フレーム画像ＦＩ_n-2、ＦＩ_n-1及びＦＩ_nの撮影期間中において、手ぶれの方向及び速度は一定であったとする。また、或る着目したフレーム画像中における或る点の座標を（ｘ、ｙ）で表す。ｘ及びｙは、夫々、その点の水平方向の座標値及び垂直方向の座標値を表す。

また更に、フレーム画像中に含まれる特定被写体は１つであるものとし、各フレーム画像において特定被写体領域以外の領域を背景領域と呼ぶ。背景領域内の被写体（即ち、背景）は、実空間上で静止しているものとする。背景領域内に描画される、実空間上で静止している点を「実静止点」と呼ぶ。

動き検出部１８及び動き補正制御部１９の詳細な動作例として、以下に、第１〜第３動作例を説明する。各動作例に記載された内容は、動画の撮影時に実行される。

［第１動作例］
まず、第１動作例について説明する。今、フレーム画像ＦＩ_nの露光期間中の手ぶれベクトルをＶＥＣ₁で表し、フレーム画像ＦＩ_nの露光期間中の被写体動きベクトルをＶＥＣ₂で表す。以下、手ぶれベクトルＶＥＣ₁をベクトルＶＥＣ₁と略記することがある（被写体動きベクトルＶＥＣ₂を含む他のベクトルについても同様）。

２つの角速度センサの出力信号に基づき、各サンプリング周期における、撮像素子３３の撮像面の中心の移動軌跡ベクトルが求まる。この移動軌跡ベクトルは、撮像装置１側から被写体側を見たときの、撮像面に平行な面上の軌跡ベクトルであるとする。従って例えば、被写体に正対した撮影者が左斜め上方向に撮像装置１に振ると、上記移動軌跡ベクトルの向きは左斜め上向きとなる。サンプリング周期の長さはフレーム周期の長さの３３分の１であるから、１枚のフレーム画像の露光期間中に、３３個の移動軌跡ベクトルが求められる。図１０に示す如く、フレーム画像ＦＩ_nの露光期間中の移動軌跡ベクトルｍ₁〜ｍ₃₃の始点と終点を順次繋ぎ合わせることにより得た合成ベクトルが、手ぶれベクトルＶＥＣ₁である。手ぶれベクトルＶＥＣ₁の逆ベクトルは、補正レンズ３６が固定されていると仮定した時に、手ぶれに由来して実静止点の像がフレーム画像ＦＩ_nの露光期間中に撮像面上で描く軌跡を表している。逆ベクトルは、着目したベクトルの向きと反対方向の向きを有するベクトルを指す。或るベクトルの大きさとそのべクトルの逆ベクトルの大きさは、同じであるとする。

被写体動き検出部４２は、フレーム画像ＦＩ_n-2とＦＩ_n-1の対比から被写体動きベクトルＶＥＣ₂を推定する。即ち、フレーム画像ＦＩ_n-2とＦＩ_n-1との間における特定被写体の動きと同じ動きがフレーム画像ＦＩ_nの露光期間中も生じると仮定した上で、被写体動きベクトルＶＥＣ₂を推定する。推定誤差がないとすれば、被写体動きベクトルＶＥＣ₂は、特定被写体の像がフレーム画像ＦＩ_nの露光期間中に撮像面上で描く軌跡を表すこととなる。具体的には例えば、フレーム画像ＦＩ_n-2とＦＩ_n-1との間における、特定被写体領域の中心位置の変位ベクトルを被写体動きベクトルＶＥＣ₂として推定する。この変位ベクトルは、フレーム画像ＦＩ_n-2を基準として求められる。より具体的には、フレーム画像ＦＩ_n-2及びＦＩ_n-1内の特定被写体の胴体領域の中心位置の座標が、夫々（ｘ，ｙ）及び（ｘ＋Δｄｘ，ｙ＋Δｄｙ）で表される場合、Δｄｘの水平成分を有し且つΔｄｙの垂直成分を有するベクトルが被写体動きベクトルＶＥＣ₂として求められる。

動き補正制御部１９は、手ぶれベクトルＶＥＣ₁と被写体動きベクトルＶＥＣ₂の合成ベクトルＶＥＣ₃を求める。図１１に、撮像面上におけるベクトルＶＥＣ₁〜ＶＥＣ₃の関係を示す。また、手ぶれベクトルＶＥＣ₁の逆ベクトルをＶＥＣ_1Aで表す。また、図１２に、フレーム画像ＦＩ_nの露光開始時点における撮影領域を破線四角枠２１０にて示すと共にフレーム画像ＦＩ_nの露光終了時点における撮影領域を実線四角枠２１１にて示す。図１２には、ベクトルＶＥＣ₁及びＶＥＣ₂も併せて示されている。

フレーム画像ＦＩ_nの露光期間中に手ぶれベクトルＶＥＣ₁を打ち消すように補正レンズ３６を駆動すれば、実静止点の像は、フレーム画像ＦＩ_nの露光期間中において撮像面上で静止し、フレーム画像ＦＩ_n上において理想的な点像を形成する。今、説明の便宜上、ベクトルＶＥＣ₁を打ち消すような補正レンズ３６の移動方向及び移動の大きさを表すベクトルをベクトルＶＥＣ₁〜ＶＥＣ₃が定義される撮像面上で表現し、それがベクトルＶＥＣ₁と合致するものとする。従って、ベクトルＶＥＣ₁で表される移動方向及び移動の大きさで補正レンズ３６をフレーム画像ＦＩ_nの露光期間中に移動させれば、実静止点の像はフレーム画像ＦＩ_n上において理想的な点像を形成する。

第１動作例において、動き補正制御部１９は、ベクトルＶＥＣ₁ではなく、合成ベクトルＶＥＣ₃で表される移動方向及び移動の大きさで補正レンズ３６をフレーム画像ＦＩ_nの露光期間中に移動させる。手ぶれベクトルＶＥＣ₁はフレーム画像ＦＩ_nの露光期間の終了時点で定まるベクトルであるため、フレーム画像ＦＩ_nの露光期間の最中に合成ベクトルＶＥＣ₃を特定できるわけではない。従って、実際には、手ぶれベクトルＶＥＣ₁を形成する各移動軌跡ベクトル（ｍ₁〜ｍ₃₃；図１０参照）が得られる度に、各移動軌跡ベクトルとベクトルＶＥＣ₂を３３等分したベクトルとの合成ベクトルを求め、その合成ベクトル（即ち、ベクトルＶＥＣ₃を３３等分したベクトル）で表される移動方向及び移動の大きさで補正レンズ３６を、順次、フレーム画像ＦＩ_nの露光期間中に移動させる。これにより、最終的に、フレーム画像ＦＩ_nの露光開始時点と露光終了時点との間で、合成ベクトルＶＥＣ₃で表される移動方向に合成ベクトルＶＥＣ₃の大きさ分だけ補正レンズ３６が移動することになる。

この移動により、図１３に示す如く、フレーム画像ＦＩ_nの露光開始時点で撮像面の中心２２０に位置していた実静止点の像は、撮像面の中心２２０から被写体動きベクトルＶＥＣ₂に相当する分だけ移動し、フレーム画像ＦＩ_nの露光終了時点において点２２１に位置することとなる。

動き補正制御部１９は、この移動に追従して切り出し領域が設定されるように、被写体動きベクトルＶＥＣ₂に従って切り出し部１５を制御する。これにより、特定被写体情報に基づき切り出し部１５によってフレーム画像ＦＩ_n内に一旦設定された切り出し領域の位置が、ベクトルＶＥＣ₂で表される方向にベクトルＶＥＣ₂の大きさだけシフトされる。切り出し部１５は、このシフト後の切り出し領域内における画像を切り出し画像としてフレーム画像ＦＩ_nから抽出する。このような、切り出し領域のシフト制御を行うことにより、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で、実静止点の位置の変化が抑制される（理想的には、その変化はなくなる）。つまり例えば、フレーム画像ＦＩ_n-1から抽出された切り出し画像の中心に実静止点が現れていた場合、その実静止点は、フレーム画像ＦＩ_nから抽出された切り出し画像においても中心に位置することになる。

動画におけるぶれは、動画を形成する各画像内でのぶれと、時間的に隣接する画像間でのぶれに大別される。前者のぶれは、１枚の画像内におけるボケ（以下、動ボケという）として表れ、後者のぶれは、時間的に隣接する画像間での背景の位置変化（換言すれば画像全体の位置変化）として表れる。動ボケは、補正レンズ３６の位置の駆動制御によって低減可能である。手ぶれベクトルＶＥＣ₁のみに基づいて補正レンズ３６の位置の駆動制御を行うと、背景は１枚のフレーム画像内で静止し、背景のぶれ（動ボケ）はなくなるが、その駆動制御は特定被写体の動きとは無関係に行われるため、注目している特定被写体のぶれ（動ボケ）が大きくなる。

そこで、第１動作例では、合成ベクトルＶＥＣ₃に従って補正レンズ３６を駆動制御することにより、フレーム画像内の背景のぶれ（動ボケ）の一部を抑制すると共にフレーム画像内の特定被写体のぶれ（動ボケ）の一部を抑制する。これにより、背景と特定被写体の双方のぶれ（動ボケ）が適度に改善されたフレーム画像及び切り出し画像を取得することができる。また、被写体動きベクトルＶＥＣ₂に基づく切り出し領域のシフト制御により、隣接フレームの切り出し画像間における背景の位置変化を抑制する。これにより、切り出し画像列を動画として見た時の背景の位置変化が抑制される。このように、ベクトルＶＥＣ₁及びＶＥＣ₂を用いて補正レンズ３６の位置及び切り出し領域の位置を制御することで、切り出し画像におけるぶれ（動ボケを含む）が適切に補正される。

また、上述の例では、手ぶれベクトルＶＥＣ₁と被写体動きベクトルＶＥＣ₂を１対１の比率で合成した合成ベクトルＶＥＣ₃に従って補正レンズ３６を駆動制御しているが、ベクトルＶＥＣ₁とベクトルＶＥＣ₂の合成比率は１対１でなくともよい。例えば、合成ベクトルＶＥＣ₃の代わりに、ベクトルＶＥＣ₁とベクトルＶＥＣ₂を所定比率で合成したベクトル（ｋ₁・ＶＥＣ₁＋ｋ₂・ＶＥＣ₂）を用いて補正レンズ３６を駆動制御するようにしてもよい。ここで、ｋ₁は「０＜ｋ₁≦１」を満たす所定値であり、ｋ₂は「０＜ｋ₂≦１」を満たす所定値である。ｋ₁＝ｋ₂＝１、とすると、合成ベクトル（ｋ₁・ＶＥＣ₁＋ｋ₂・ＶＥＣ₂）は合成ベクトルＶＥＣ₃と一致する。背景と特定被写体の動ボケの双方が適度に補正されるようにｋ₁及びｋ₂の値を設定しておく。

合成ベクトルＶＥＣ₃に従って補正レンズ３６を駆動制御した場合は、ベクトルＶＥＣ₂に従って切り出し領域のシフト制御を行うことで、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で実静止点の位置変化がなくなる。合成ベクトルＶＥＣ₃の代わりに合成ベクトル（ｋ₁・ＶＥＣ₁＋ｋ₂・ＶＥＣ₂）を用いて補正レンズ３６を駆動制御した場合も、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で実静止点の位置変化がなくなるように、ｋ₁、ｋ₂、ＶＥＣ₁及びＶＥＣ₂に基づくベクトルに従って切り出し領域のシフト制御を行えばよい。

尚、角速度センサを用いることなく、撮像部１１の出力信号に基づいて手ぶれベクトルＶＥＣ₁を求めるようにしてもよい。この場合、代表点マッチング法、ブロックマッチング法又は勾配法を用い、フレーム画像ＦＩ_n-2の画像全体とフレーム画像ＦＩ_n-1の画像全体との間におけるオプティカルフローを求める。このオプティカルフローには、多数の動きベクトルが含まれる。この多数の動きベクトルの内、特定被写体領域についての動きベクトルを無視し、それ以外の動きベクトル（即ち、背景領域の動きベクトル）の平均ベクトルを手ぶれベクトルＶＥＣ₁として求めればよい。

［第２動作例］
次に、第２動作例について説明する。上述の第１動作例は、背景と特定被写体の動ボケを双方補正しようとする動作例であるが、第２動作例では、動ボケの補正対象を撮影者が注目する特定被写体に絞る。

第２動作例でも、フレーム画像ＦＩ_nの露光期間中の手ぶれベクトルＶＥＣ₁及びフレーム画像ＦＩ_nの露光期間中の被写体動きベクトルＶＥＣ₂が求められる。ベクトルＶＥＣ₁及びＶＥＣ₂の導出方法は、第１動作例で述べたものと同様である。但し、動き補正制御部１９は、ベクトルＶＥＣ₂で表される移動方向及び移動の大きさで補正レンズ３６をフレーム画像ＦＩ_nの露光期間中に移動させることで、フレーム画像ＦＩ_nの露光期間中における撮像素子３３上の特定被写体の像の位置変化を抑制する。理想的には、その位置変化がなくなり、フレーム画像ＦＩ_n内における特定被写体の動ボケがなくなる。

一方で、この補正レンズ３６の移動により、図１４に示す如く、フレーム画像ＦＩ_nの露光開始時点で撮像面の中心２２０に位置していた実静止点の像は、手ぶれベクトルＶＥＣ₁の逆ベクトルＶＥＣ_1Aと被写体動きベクトルＶＥＣ₂との合成ベクトル（ＶＥＣ_1A＋ＶＥＣ₂）に相当する分だけ中心２２０から移動し、フレーム画像ＦＩ_nの露光終了時点において点２２２に位置することとなる。

動き補正制御部１９は、この移動に追従して切り出し領域が設定されるように、合成ベクトル（ＶＥＣ_1A＋ＶＥＣ₂）に従って切り出し部１５を制御する。これにより、特定被写体情報に基づき切り出し部１５によってフレーム画像ＦＩ_n内に一旦設定された切り出し領域の位置が、合成ベクトル（ＶＥＣ_1A＋ＶＥＣ₂）で表される方向に合成ベクトル（ＶＥＣ_1A＋ＶＥＣ₂）の大きさだけシフトされる。切り出し部１５は、このシフト後の切り出し領域内における画像を切り出し画像としてフレーム画像ＦＩ_nから抽出する。このような、切り出し領域のシフト制御を行うことにより、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で、実静止点の位置の変化が抑制される（理想的には、その変化はなくなる）。

上述の如く、第２動作例では、被写体動きベクトルＶＥＣ₂に従って補正レンズ３６を駆動制御することにより、フレーム画像の露光期間中における撮像素子３３上の特定被写体の像の位置変化を抑制する。これにより、フレーム画像及び切り出し画像内における特定被写体のぶれ（動ボケ）の発生が抑制される。また、合成ベクトル（ＶＥＣ_1A＋ＶＥＣ₂）に基づく切り出し領域のシフト制御により、隣接フレームの切り出し画像間における背景の位置変化が抑制される。つまり、切り出し画像列を動画として見た時の背景の位置変化が抑制される。このように、ベクトルＶＥＣ₁及びＶＥＣ₂を用いて補正レンズ３６の位置及び切り出し領域の位置を制御することで、切り出し画像におけるぶれ（動ボケを含む）が適切に補正される。

［第３動作例］
次に、第３動作例について説明する。撮像装置１が完全に固定されている一方で特定被写体が実空間上を移動している場合、その移動に応じた被写体動きベクトルが順次求められ、例えば、その特定被写体が常に切り出し画像の中央に位置するように切り出し領域の位置が被写体動きベクトルに基づいて設定される。

他方、撮像装置１が完全に固定されており且つ特定被写体が実空間上で完全に静止していたならば、理想的には、フレーム画像列から成る動画内で特定被写体領域の位置は静止する。そうすると、各フレーム画像内に設定される切り出し領域の位置は一定となる。

但し、特定被写体としての人物が完全に静止していたとしても、追尾処理の精度上、検出される特定被写体領域の位置（中心又は重心位置）はフレーム画像列から成る動画内において完全に静止しないことも考えられる。また、静止しようとしても実際には特定被写体としての人物の体の一部が揺れることも多い。これらに由来して検出される特定被写体の動きの大きさは小さいものであるが、そのような動きに追従して切り出し領域の位置を制御すると、ふらふらと揺れるような、落ち着きのない切り出し画像列の動画が得られてしまう。

そこで、第３動作例では、被写体動きベクトルの大きさが所定の基準大きさよりも小さい場合は、切り出し領域の位置を固定するようにする。フレーム画像ＦＩ_n-1及びＦＩ_nに着目した場合（図８参照）、具体的には以下のように処理する。尚、切り出し領域の大きさは、フレーム画像ＦＩ_n-1とＦＩ_nとの間で同じであるものとする。

図９の被写体動き検出部４２が、フレーム画像ＦＩ_n-1とＦＩ_nの対比から、時刻ｔ_n-1−ｔ_n間における特定被写体の動き（撮像面上の動き）を検出し、その動きを表す被写体動きベクトルＶＥＣ_Aを求める。例えば、フレーム画像ＦＩ_n-1とＦＩ_nとの間における、特定被写体領域の中心位置の変位ベクトルを被写体動きベクトルＶＥＣ_Aとして推定する。この変位ベクトルは、フレーム画像ＦＩ_n-1を基準として求められる。より具体的には、フレーム画像ＦＩ_n-1及びＦＩ_n内の特定被写体の胴体領域の中心位置の座標が、夫々（ｘ，ｙ）及び（ｘ＋Δｄｘ，ｙ＋Δｄｙ）で表される場合、Δｄｘの水平成分を有し且つΔｄｙの垂直成分を有するベクトルが被写体動きベクトルＶＥＣ_Aとして求められる。

図１の動き補正制御部１９は、被写体動きベクトルＶＥＣ_Aの大きさと所定の基準大きさを比較し、前者が後者よりも小さければ、フレーム画像ＦＩ_n-1とＦＩ_nとの間で切り出し領域の設定位置が固定されるように切り出し部１５を制御する。これにより、フレーム画像ＦＩ_n内に設定される切り出し領域の位置は、フレーム画像ＦＩ_n-1内に設定される切り出し領域の位置と同じとなる。

一方、被写体動きベクトルＶＥＣ_Aの大きさが基準大きさよりも大きければ、通常の追尾処理が行われる。即ち、フレーム画像ＦＩ_n-1内に設定される切り出し領域の位置と比べて、ベクトルＶＥＣ_Aで表される方向にベクトルＶＥＣ_Aの大きさだけ、フレーム画像ＦＩ_n内に設定される切り出し領域の位置はシフトされる。

このように処理することにより、ふらふらと揺れることのない安定した切り出し画像列の動画が得られる。

尚、第３動作例で述べた方法は、上述の第１及び第２動作例に適用することもできる。第１又は第２動作例に適用する場合、動き補正制御部１９は、被写体動きベクトルＶＥＣ_Aの大きさと基準大きさを比較する。そして、前者が後者よりも大きければ第１又は第２動作例で述べたようにフレーム画像ＦＩ_n-1とＦＩ_nとの間で切り出し領域の位置がシフトするように切り出し部１５を制御するが、前者が後者よりも小さければフレーム画像ＦＩ_n-1とＦＩ_nとの間で切り出し領域の設定位置が固定されるように切り出し部１５を制御する。

＜＜第３実施形態＞＞
次に、本発明の第３実施形態を説明する。上述の第１及び第２実施形態では補正レンズ３６を用いたぶれ補正を行われるが、第３実施形態では、補正レンズ３６がないことを想定する。第３実施形態は、第１実施形態の一部を変形した実施形態に相当する。第３実施形態に記載の技術は第１実施形態と組み合わせて実施される。第１及び第２実施形態に記載した事項は矛盾なき限り第３実施形態にも適用される。第３実施形態に係る撮像装置の構成ブロック図は図１の撮像装置１のそれと同じである。以下、第１実施形態との相違点に特に着目して、第３実施形態の説明を行う。

撮像部１１内には撮像素子が設けられるが、第３実施形態における撮像素子を、特に撮像素子３３ａと呼ぶこととする。撮像素子３３ａは、図２の撮像素子３３の代わりに設けられるものであり、撮像素子３３ａの基本的な機能は撮像素子３３のそれと同じである。

図１５を参照して撮像素子３３ａの構造を示す。複数の受光画素が二次元配列された撮影可能画素領域が撮像素子３３ａの撮像面に設けられ、撮影可能画素領域の一部領域が有効画素領域とされる。図１５において、実線四角枠３０１内の領域が撮影可能画素領域であり、破線四角枠３０２内の領域が有効画素領域である。

フレーム画像は、有効撮影領域内に配列された各受光画素の出力信号によって表され、有効撮影領域外に配列された各受光画素の蓄積電荷は、フレーム画像に関与しない。図１の動き補正制御部１９は、動き検出部１８から与えられる手ぶれ情報に基づいて、撮影可能画素領域内における有効撮影領域の位置を制御する。これにより、周知の電子式手ぶれ補正を実現することも可能であるが、本実施形態では、特定被写体の動きをも考慮して切り出し画像のぶれを適切に補正する。但し、当然ではあるが、本実施形態において補正されるべきぶれには、第２実施形態で述べた動ボケは含まれない。

第２実施形態で述べたのと同様、動き検出部１８には、撮像装置１の動き（換言すれば手ぶれ）を検出する手ぶれ検出部４１と、画像上における特定被写体の動きを検出する被写体動き検出部４２とが設けられている（図９参照）。手ぶれ検出部４１は、第１実施形態で述べたように２つの角速度センサから形成され、上述の手ぶれ情報を出力する。被写体動き検出部４２は、撮像部１１の出力信号（本実施形態において、撮像素子３３ａの出力信号）に基づいて画像上における特定被写体の動きを検出し、検出した特定被写体の動きを表す被写体動き情報を出力する。

手ぶれ情報及び被写体動き情報は、共に、フレーム画像の光学像が投影される、撮像素子３３ａの撮像面上のベクトル量として表現される。そこで、第２実施形態と同様、手ぶれ情報及び被写体動き情報を、それぞれ手ぶれベクトル及び被写体動きベクトルと呼ぶ。また、説明の簡略化上、フレーム画像ＦＩ_n-2、ＦＩ_n-1及びＦＩ_nの撮影期間中において、手ぶれの方向及び速度は一定であったとする。

図８に示す、時刻ｔ_n-2、ｔ_n-1及びｔ_nのフレーム画像ＦＩ_n-2、ＦＩ_n-1及びＦＩ_nに着目して、第３実施形態に係る動き検出部１８及び動き補正制御部１９の動作について説明する。

今、時刻ｔ_n-1−ｔ_n間の手ぶれベクトルをＶＥＣ₁₁で表し、時刻ｔ_n-1−ｔ_n間の被写体動きベクトルをＶＥＣ₁₂で表す。

２つの角速度センサの出力信号に基づき、各サンプリング周期における、撮像素子３３ａの撮像面の中心の移動軌跡ベクトルが求まる。第２実施形態で述べたように、この移動軌跡ベクトルは、撮像装置１側から被写体側を見たときの、撮像面に平行な面上の軌跡ベクトルであるとする。第２実施形態で説明したように（図１０参照）、時刻ｔ_n-1−ｔ_n間に得られる全ての移動軌跡ベクトルを順次繋ぎ合わせることにより得た合成ベクトルが手ぶれベクトルＶＥＣ₁₁である。手ぶれベクトルＶＥＣ₁₁の逆ベクトルＶＥＣ_11Aは、時刻ｔ_n-1−ｔ_n間において、手ぶれに由来して実静止点の像が撮像面上で描く軌跡を表している。

動き補正制御部１９は、ベクトルＶＥＣ₁₁及びＶＥＣ₁₂に基づいてフレーム画像ＦＩ_nに対する有効撮影領域の位置を制御する。従って、フレーム画像ＦＩ_nを用いてベクトルＶＥＣ₁₂を導出することはできない。そこで、フレーム画像ＦＩ_nの直前に得られる２枚のフレーム画像からベクトルＶＥＣ₁₂を推定する。具体的には例えば、フレーム画像ＦＩ_n-2とＦＩ_n-1との間における、特定被写体領域の中心位置の変位ベクトルを被写体動きベクトルＶＥＣ₁₂として推定する。この変位ベクトルは、フレーム画像ＦＩ_n-2を基準として求められる。より具体的には、フレーム画像ＦＩ_n-2及びＦＩ_n-1内の特定被写体の胴体領域の中心位置の座標が、夫々（ｘ，ｙ）及び（ｘ＋Δｄｘ，ｙ＋Δｄｙ）で表される場合、Δｄｘの水平成分を有し且つΔｄｙの垂直成分を有するベクトルが被写体動きベクトルＶＥＣ₁₂として求められる。

動き補正制御部１９は、手ぶれベクトルＶＥＣ₁₁の逆ベクトルＶＥＣ_11Aと被写体動きベクトルＶＥＣ₁₂の合成ベクトルＶＥＣ₁₃を求める。図１６に、撮像面上におけるベクトルＶＥＣ₁₁、ＶＥＣ_11A、ＶＥＣ₁₂及びＶＥＣ₁₃の関係を示す。

仮に、図１７（ａ）に示す如く、フレーム画像ＦＩ_n-1の取得時における有効撮影領域の位置を基準としてフレーム画像ＦＩ_nの取得時におけるそれを逆ベクトルＶＥＣ_11Aの向きに逆ベクトルＶＥＣ_11Aの大きさで移動させたならば、一般的な電子式手ぶれ補正が実現される。即ち、フレーム画像ＦＩ_n-1とＦＩ_nとの間で、実静止点の位置の変化が抑制される（理想的は、その変化がなくなる）。但し、ここでは、図１７（ｂ）に示す如く、フレーム画像ＦＩ_n-1の取得時における有効撮影領域の位置を基準としてフレーム画像ＦＩ_nの取得時におけるそれを合成ベクトルＶＥＣ₁₃の向きに合成ベクトルＶＥＣ₁₃の大きさで移動させることとする。

図１８に、時刻ｔ_n-1における撮影可能画素領域及び有効画素領域と時刻ｔ_nにおける撮影可能画素領域及び有効画素領域との位置関係を、撮像素子３３ａに投影される光学像と共に示す。また、図１８には、ベクトルＶＥＣ₁₁及びＶＥＣ₁₂も併せて示されている。図１８において、破線四角枠３１０内の領域及び実線四角枠３１１内の領域が、夫々、時刻ｔ_n-1及びｔ_nにおける撮影可能画素領域を表しており、破線四角枠３２０内の領域及び実線四角枠３２１内の領域が、夫々、時刻ｔ_n-1及びｔ_nにおける有効画素領域を表している。

特定被写体の光学像が有効画素領域からはみ出してしまうと、特定被写体の追尾ができなくなる。そこで、上述の如く、被写体動きベクトルＶＥＣ₁₂を考慮した合成ベクトル₁₃に従って有効画素領域の位置を右よりに設定する。これにより、特定被写体がフレームアウトする可能性が抑制されると共に特定被写体に注目した構図の崩れも抑制される。

但し、この有効画素領域に対する位置制御により、図１９に示す如く、フレーム画像ＦＩ_n-1の中心３３０に位置していた実静止点の像は、フレーム画像ＦＩ_nでは、中心３３０から被写体動きベクトルＶＥＣ₁₂の逆ベクトルＶＥＣ_12Aに相当する分だけ移動した点３３１に位置することになる。

動き補正制御部１９は、この移動に追従して切り出し領域が設定されるように、逆ベクトルＶＥＣ_12Aに従って切り出し部１５を制御する。これにより、特定被写体情報に基づき切り出し部１５によってフレーム画像ＦＩ_n内に一旦設定された切り出し領域の位置が、逆ベクトルＶＥＣ_12Aで表される方向に逆ベクトルＶＥＣ_12Aの大きさだけシフトされる。切り出し部１５は、このシフト後の切り出し領域内における画像を切り出し画像としてフレーム画像ＦＩ_nから抽出する。このような、切り出し領域のシフト制御を行うことにより、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で、実静止点の位置の変化が抑制される（理想的には、その変化はなくなる）。

上述の如く、ベクトルＶＥＣ₁及びＶＥＣ₂を用いて有効画素領域の位置と切り出し領域の位置を制御することにより、特定被写体がフレームアウトする可能性が抑制されると共に切り出し画像列を動画として見た時の背景の位置変化が抑制される。つまり、特定被写体のフレームアウトの可能性を抑制しつつ切り出し画像におけるぶれ（動ボケを除く）が適切に補正される。

また、上述の例では、手ぶれベクトルＶＥＣ₁₁の逆ベクトルＶＥＣ_11Aと被写体動きベクトルＶＥＣ₁₂を１対１の比率で合成した合成ベクトルＶＥＣ₁₃に従って有効画素領域の位置を設定しているが、ベクトルＶＥＣ_11AとベクトルＶＥＣ₁₂の合成比率は１対１でなくともよい。例えば、合成ベクトルＶＥＣ₁₃の代わりに、ベクトルＶＥＣ_11AとベクトルＶＥＣ₁₂を所定比率で合成したベクトル（ｋ₁₁・ＶＥＣ_11A＋ｋ₁₂・ＶＥＣ₁₂）を用いて有効画素領域の位置を設定するようにしてもよい。ここで、ｋ₁₁は「０＜ｋ₁₁≦１」を満たす所定値であり、ｋ₁₂は「０＜ｋ₁₂≦１」を満たす所定値である。ｋ₁₁＝ｋ₁₂＝１、とすると、合成ベクトル（ｋ₁₁・ＶＥＣ_11A＋ｋ₁₂・ＶＥＣ₁₂）は合成ベクトルＶＥＣ₁₃と一致する。隣接するフレーム画像間のぶれを除去するためには値ｋ₁₁をなるだけ１に近づけた方がよく、特定被写体のフレームアウトを回避するためには値ｋ₁₂をなるだけ１に近づけた方がよい。

合成ベクトルＶＥＣ₁₃に従って有効画素領域の位置を設定した場合は、逆ベクトルＶＥＣ_12Aに従って切り出し領域のシフト制御を行うことで、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で実静止点の位置変化がなくなる。合成ベクトルＶＥＣ₁₃の代わりに合成ベクトル（ｋ₁₁・ＶＥＣ_11A＋ｋ₁₂・ＶＥＣ₁₂）を用いて有効画素領域の位置を設定した場合も、フレーム画像ＦＩ_n-1から抽出された切り出し画像とフレーム画像ＦＩ_nから抽出された切り出し画像との間で実静止点の位置変化がなくなるように、ｋ₁₁、ｋ₁₂、ＶＥＣ_11A及びＶＥＣ_12Aに基づくベクトルに従って切り出し領域のシフト制御を行えばよい。

尚、角速度センサを用いることなく、撮像部１１の出力信号に基づいて手ぶれベクトルＶＥＣ₁₁を求めるようにしてもよい。この場合、代表点マッチング法、ブロックマッチング法又は勾配法を用い、フレーム画像ＦＩ_n-2の画像全体とフレーム画像ＦＩ_n-1の画像全体との間におけるオプティカルフローを求める。このオプティカルフローには、多数の動きベクトルが含まれる。この多数の動きベクトルの内、特定被写体領域についての動きベクトルを無視し、それ以外の動きベクトル（即ち、背景領域の動きベクトル）の平均ベクトルを手ぶれベクトルＶＥＣ₁₁として求めればよい。

また、第２実施形態の第３動作例で述べた方法を、本実施形態に適用することも可能である。この場合、例えば、動き補正制御部１９は、被写体動きベクトルＶＥＣ₁₂の大きさと所定の基準大きさを比較する。そして、前者が後者よりも大きければ、上述したように、フレーム画像ＦＩ_n-1とＦＩ_nとの間で切り出し領域の位置がシフトするように切り出し部１５を制御するが、前者が後者よりも小さければフレーム画像ＦＩ_n-1とＦＩ_nとの間で切り出し領域の設定位置が固定されるように切り出し部１５を制御する。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
第２実施形態において光学レンズ３６の駆動制御及び切り出し領域の位置制御によるぶれ補正の手法を説明したが、このぶれ補正の実行及び不実行を選択できるように撮像装置１を形成しておくとよい。例えば第２実施形態において、図１の操作部１７に対して所定操作がなされた時は、光学レンズ３６の位置を固定すると共に動き補正制御部１９による切り出し領域の位置制御（上述のシフト制御）を禁止する。

同様に、第３実施形態におけるぶれ補正の実行及び不実行も選択できるようにしておくとよい。例えば第３実施形態において、図１の操作部１７に対して所定操作がなされた時は、有効撮影領域の位置を固定すると共に動き補正制御部１９による切り出し領域の位置制御（上述のシフト制御）を禁止する。

［注釈２］
フレーム画像から検出されるべき特定被写体は人物以外であっても構わない。例えば、自動車やロボット等を特定被写体としても構わない。特定被写体が有する固有の画像特徴（エッジの特徴や色の特徴）に基づき、特定被写体検出部１４は、フレーム画像から特定被写体を初期検出すると共にフレーム画像列内で特定被写体の追尾処理を行う。

［注釈３］
第１及び第２実施形態では、被写体（撮影対象）の光学像を撮像素子上で移動させるための光学部材として補正レンズ３６を用いているが、補正レンズ３６の代わりにバリアングルプリズム（不図示）を用いても構わない。バリアングルプリズムは、２枚の板ガラスの間に高い屈折率を持つ液体を封入した構造を有し、一方または双方の板ガラスを傾けることで自身に入射する光の屈折方向を変えることができる。被写体からの光は、バリアングルプリズムを含む光学系を介して撮像素子３３に入射する。補正レンズ３６の位置を駆動制御する代わりに、バリアングルプリズムにおける板ガラスの傾きを駆動制御することにより、第１及び第２実施形態で述べた処理と同じ処理を実現可能である。

また、被写体（撮影対象）の光学像を撮像素子上で移動させるという機能を、撮像素子３３の二次元方向（光軸に直交する二次元方向）の移動によって実現しても良い。撮像素子３３の二次元方向の移動は、例えば図示されないアクチュエータによって実現され、動き補正制御部１９が動き検出部１８からの情報に基づいて上記アクチュエータを制御する。補正レンズ３６の位置を駆動制御する代わりに、撮像素子３３の位置を駆動制御することにより、第１及び第２実施形態で述べた処理と同じ処理を実現可能である。

［注釈４］
図９の手ぶれ検出部４１を、角速度を検出する角速度センサにて構成する例を上述したが、撮像装置１の動きを表す他の物理量を検出するセンサにて、手ぶれ検出部４１を構成しても良い。例えば、撮像装置１の加速度を検出する加速度センサ又は撮像装置１の角加速度を検出する角加速度センサにて、手ぶれ検出部４１を形成するようにしてもよい。撮像装置１の加速度又は角加速度を表す、加速度センサ又は角加速度センサの出力信号から、上述の手ぶれベクトルを求めることが可能である。

［注釈５］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、撮像装置１内で実行される画像データに基づく画像処理は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

また、フレーム画像から解像度向上後の切り出し画像を得るために必要な演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈６］
例えば、以下のように考えることができる。補正レンズ３６又は上述のバリアングルプリズム（不図示）は、撮像素子３３に投影される光学像を撮像素子３３上で移動させるための像移動手段として機能する。この像移動手段に、補正レンズ３６を駆動するドライバ３４又はバリアングルプリズムを駆動するドライバ（不図示）が含まれていると考えても構わない。また、上述の如く撮像素子３３を移動させることによって撮像素子３３に投影される光学像を撮像素子３３上で移動させる場合は、撮像素子３３を駆動するアクチュエータ（不図示）が像移動手段として機能する。

また、動画の再生時において、図１の特定被写体検出部１４、切り出し部１５及び画質補償部１６を含む部位は、画像再生装置として機能する。この画像再生装置に、撮像装置１を形成する他の部位（画像取得部１３や表示部２１）が含まれていると考えても構わない。この画像再生装置を、記録媒体２２の記録データを読み込み可能な、撮像装置１の外部機器（不図示）によって実現してもよい。

本発明の第１実施形態に係る撮像装置の構成ブロック図である。 図１の撮像部の内部構成図である。 動画撮影時における、図１の撮像装置の動作の流れを表すフローチャートである。 特定被写体が検出されるべきフレーム画像を表す図である。 時系列で並ぶフレーム画像列及びそれらから抽出される切り出し画像列を示す図である。 フレーム画像に切り出し画像を重畳された、図１の表示部の表示画面例を示す図である。 動画再生時における、図１の撮像装置の動作の流れを表すフローチャートである。 ３枚のフレーム画像の撮影近辺の時間関係を示す図である。 本発明の第２実施形態に係る、動き検出部の内部ブロック図である。 図９の手ぶれ検出部による、手ぶれベクトルの導出方法を説明するための図である。 本発明の第２実施形態に係り、手ぶれベクトルと被写体動きベクトルと両者に基づく合成ベクトルとの関係を示す図である。 本発明の第２実施形態に係り、フレーム画像の露光開始時点における撮影領域と露光終了時点における撮影領域との関係を示す図である。 本発明の第２実施形態に係り、撮像面上における実静止点の像が、フレーム画像の露光開始時点と終了時点との間で移動する様子を示す図である。 本発明の第２実施形態に係り、撮像面上における実静止点の像が、フレーム画像の露光開始時点と終了時点との間で移動する様子を示す図である。 本発明の第３実施形態に係る撮像素子の構造を示す図である。 本発明の第３実施形態に係り、手ぶれベクトルと被写体動きベクトルと両者に基づく合成ベクトルとの関係を示す図である。 本発明の第３実施形態に係り、有効画素領域の設定方法を説明するための図である。 本発明の第３実施形態に係り、時刻ｔ_n-1における撮影可能画素領域及び有効画素領域と時刻ｔ_nにおける撮影可能画素領域及び有効画素領域との位置関係を、撮像素子に投影される光学像と共に示した図である。 本発明の第３実施形態に係り、実静止点の像の位置が隣接するフレーム画像間で移動する様子を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１４ 特定被写体検出部
１５ 切り出し部
１６ 画質補償部
１８ 動き検出部
１９ 動き補正制御部
２１ 表示部
２２ 記録媒体
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
３５ 光学系
３６ 補正レンズ
４１ 手ぶれ検出部
４２ 被写体動き検出部

Claims (11)

1. 撮影により撮影対象の光学像を表す信号を出力する撮像素子と、
   前記撮像素子の出力信号に基づく入力画像を順次取得する入力画像取得手段と、
   前記入力画像取得手段により取得される入力画像を記録する第１記録手段と、
   前記入力画像取得手段により取得される入力画像の画像信号に基づいて、前記撮影対象に含まれる特定被写体の、前記入力画像上の位置を検出する特定被写体検出手段と、
   検出された前記位置に基づいて前記入力画像の全体領域よりも小さい切り出し領域を前記入力画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する切り出し画像抽出手段と、
   前記切り出し画像抽出手段によって抽出される前記切り出し画像の解像度を向上させる画質補償手段と、
   前記画質補償手段によって解像度が向上させられる前記切り出し画像を記録する第２記録手段と、
   撮影中に、
   前記第１記録手段に前記入力画像取得手段により取得される入力画像を記録させると共に、前記特定被写体検出手段、前記切り出し画像抽出手段、及び前記画質補償手段を実行させ、前記第２記録手段に前記入力画像から抽出され、解像度が向上させられる切り出し画像を記録させる記録制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記撮像装置の動きを検出する装置動き検出手段と、
   前記撮像素子の出力信号に基づいて隣接フレームの入力画像間における前記特定被写体の動きを検出する被写体動き検出手段と、
   前記装置動き検出手段の検出結果及び前記被写体動き検出手段の検出結果に基づいて前記切り出し画像におけるぶれを補正する補正手段と、を更に備えた
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記光学像を前記撮像素子上で移動させる像移動手段を更に備え、
   前記補正手段は、前記装置動き検出手段の検出結果及び前記被写体動き検出手段の検出結果に基づいて、前記像移動手段による移動及び前記切り出し画像抽出手段によって設定される前記切り出し領域の位置を制御することにより、前記切り出し画像におけるぶれを補正する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記補正手段は、前記装置動き検出手段の検出結果に基づく前記撮像装置の動きに応じた第１ベクトル及び前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じた第２ベクトルを参照し、前記第１及び第２ベクトルを所定の比率で合成したベクトルに従って前記像移動手段を制御する一方で、前記撮影対象に含まれる実空間上の静止物の、隣接フレームの切り出し画像間における位置変化が抑制されるように前記切り出し画像抽出手段を制御する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記装置動き検出手段の検出結果に基づく前記撮像装置の動きに応じた第１ベクトル及び前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じた第２ベクトルを参照し、前記撮像素子上における前記特定被写体の像の位置変化が抑制されるように前記第２ベクトルに基づいて前記像移動手段を制御する一方で、前記撮影対象に含まれる実空間上の静止物の、隣接フレームの切り出し画像間における位置変化が抑制されるように前記切り出し画像抽出手段を制御する
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記撮像素子の撮像面の第１領域内に複数の受光画素が配列され、
   前記撮像素子の第１領域内に前記第１領域よりも小さい第２領域が設定され、
   前記第２領域内に配置された受光画素群からの出力信号に基づいて前記入力画像は形成され、
   前記補正手段は、前記装置動き検出手段の検出結果及び前記被写体動き検出手段の検出結果に基づいて、前記第２領域の設定位置及び前記切り出し画像抽出手段によって設定される前記切り出し領域の位置を制御することにより、前記切り出し画像におけるぶれを補正する
   ことを特徴とする請求項２に記載の撮像装置。
7. 前記補正手段は、前記装置動き検出手段の検出結果に基づく前記撮像装置の動きに応じた第１ベクトル及び前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じた第２ベクトルを参照し、前記第１及び第２ベクトルを所定の比率で合成したベクトルに従って前記第２領域の設定位置を制御する一方で、前記撮影対象に含まれる実空間上の静止物の、隣接フレームの切り出し画像間における位置変化が抑制されるように前記切り出し画像抽出手段を制御する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、前記被写体動き検出手段の検出結果に基づく前記特定被写体の動きに応じたベクトルを参照し、前記ベクトルの大きさが所定の大きさよりも小さい場合、隣接フレーム間において前記切り出し領域の位置が固定されるように前記切り出し画像抽出手段を制御する
   ことを特徴とする請求項２〜請求項７の何れかに記載の撮像装置。
9. 前記画質補償手段は、複数フレーム分の切り出し画像を用いた超解像処理によって、その複数フレーム分の切り出し画像中に含まれる着目フレームの切り出し画像の解像度を向上させる
   ことを特徴とする請求項１〜請求項８の何れかに記載の撮像装置。
10. 前記解像度の向上前又は向上後の前記切り出し画像の画像信号を記録手段に記録する記録制御手段を更に備えた
    ことを特徴とする請求項１〜請求項９の何れかに記載の撮像装置。
11. 前記解像度が向上された前記切り出し画像の画像信号を表示手段に出力する
    ことを特徴とする請求項１〜請求項１０の何れかに記載の撮像装置。

Images