JP6866226B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、意図的な縦揺れを加えた映像を記録および再生する撮像装置に関する。

ビデオカメラ等の映像記録装置を用いて映像を記録する際、手振れなどによる装置の振れが原因で記録映像が振れる場合がある。このような振れを映像の再生時に補正するため、特許文献１には、映像の振れを表す動きベクトル量を取得し、動きベクトル量に応じて映像の部分領域を選択して拡大する技術が開示されている。特許文献２には、映像の記録時に装置の振れを角速度センサで検出し、角速度に基づく振れ情報を映像と共に記録し、映像の再生時に当該振れ情報を利用して振れを補正する技術が開示されている。特許文献３には、映像表現の一つとして、意図的に縦揺れを加えた映像を記録する技術が開示されている。

特開平７−１４３３８０号公報 特開平１０−４２２３３号公報 特開２０１３−１４５５１９号公報

しかしながら、従来技術の撮像装置では、意図的な縦揺れを加えた映像に対して正しい振れ補正量を決定できない場合がある。撮像装置は、例えば意図的に加えた縦揺れを手振れであると誤って認識し、本来補正すべきではない振れを補正してしまう可能性がある。その結果、不自然な画角変動が起きてしまう。

そこで本発明は、意図的な縦揺れを加えた映像を再生する際に正しい振れ補正を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての制御装置は、映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出する振れ量算出手段と、前記振れ量算出手段により算出された前記振れ量に関する記録制御を行う記録制御手段と、前記映像に前記第一方向の揺れ効果を付加する揺れ効果手段とを有し、前記記録制御手段は、前記揺れ効果手段が前記映像に前記揺れ効果を付加しているか否かに応じて、前記第一方向の前記振れ量に関する記録制御を変更する。

本発明の他の側面としての制御装置は、映像に第一方向の揺れ効果を付加する揺れ効果手段と、前記映像に前記揺れ効果が付加されている期間を取得する揺れ期間取得手段と、前記期間に関するメタデータを設定するメタデータ設定手段と、前記映像および前記メタデータを記録媒体に記録する記録制御手段とを有する。

本発明の他の側面としての制御装置は、映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出する振れ量算出手段と、前記振れ量算出手段により算出された前記振れ量に関する記録制御を行う記録制御手段と、前記映像に前記第一方向の揺れ効果を付加する揺れ効果手段と、前記揺れ効果手段により前記映像に付加された前記揺れ効果の揺れ量を算出する揺れ量算出手段とを有し、前記記録制御手段は、前記揺れ効果手段が前記映像に前記揺れ効果を付加しているか否かに応じて、前記揺れ量に関する記録制御を変更する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と前記制御装置とを有する。

本発明の他の側面としての制御方法は、映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出するステップと、算出された前記振れ量に関する記録制御を行うステップと、前記映像に前記第一方向の揺れ効果を付加するステップと、を有し、前記記録制御を行うステップにおいて、前記映像に前記揺れ効果を付加しているか否かに応じて前記第一方向の前記振れ量に関する記録制御を変更する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、意図的な縦揺れを加えた映像を再生する際に正しい振れ補正を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

第１の実施形態における撮像装置のブロック図である。 第１の実施形態における映像記録処理のフローチャートである。 第１の実施形態における映像記録処理の概念図である。 第２の実施形態における撮像装置のブロック図である。 第２の実施形態における映像記録処理のフローチャートである。 第２の実施形態における映像記録処理の概念図である。 第２の実施形態における映像記録処理の説明図である。 第３および第４の実施形態における撮像装置のブロック図である。 第３の実施形態における映像記録処理のフローチャートである。 第３の実施形態における映像記録処理の概念図である。 第３および第４の実施形態における撮像装置のブロック図である。 第３の実施形態における映像再生処理のフローチャートである。 第４の実施形態における映像再生処理のフローチャートである。 第５および第６の実施形態における撮像装置のブロック図である。 第５および第６の実施形態における映像記録処理のフローチャートである。 第５および第６の実施形態における映像記録処理の概念図である。 第５および第６の実施形態における撮像装置のブロック図である。 第５の実施形態における映像再生処理のフローチャートである。 第６の実施形態における映像再生処理のフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜第１の実施形態＞
まず、図１を参照して、本発明の第１の実施形態における撮像装置の構成について説明する。図１は、本実施形態における撮像装置１００（ビデオカメラなどの映像記録装置）のブロック図である。

レンズユニット１０１（撮像光学系）は、撮像素子１０２に被写体像を形成（結像）する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどを備え、レンズユニット１０１を介して形成された被写体像（光学像）を光電変換して撮像信号を出力する。アナログ信号処理部１０３は、撮像素子１０２から出力された撮像信号に所定の処理を施してアナログ撮像信号を生成する。アナログ信号処理部１０３は、例えば、ＣＤＳ（Ｃｏ−ｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路、および、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路などを含む。カメラ信号処理部１０４は、Ａ／Ｄ変換器を備え、アナログ信号処理部１０３により生成されたアナログ撮像信号からデジタルビデオ信号を生成する。

縦揺れ効果生成部１０５は、カメラ信号処理部１０４により生成されたデジタルビデオ信号に対して、予め定められた縦揺れの効果（縦揺れ量）を生成する。符号化部１０６は、デジタルビデオ信号をＭＰＥＧ２形式やＨ．２６４形式の映像データに符号化し、メモリ１０７へ出力する。メモリ１０７は、映像データを格納する揮発性の記録媒体であり、各ブロックが作業用に使用可能となっている。スイッチ操作部１０８は、ユーザが操作する複数のスイッチを備えている。またスイッチ操作部１０８は、映像の記録開始／終了を指示するスイッチを含み、当該指示を受け付けてマイコン１２０に入力する。映像の記録開始／終了の指示に伴い、マイコン１２０は、後述の図２に示される動作に従って、映像およびメタデータを記録メディア１１１に出力する。角速度センサ１０９は、撮像装置１００に加わる振れの角速度を検出する。

記録制御部１１０は、縦揺れ効果生成部１０５と、符号化部１０６と、メモリ１０７と、記録メディア１１１と、マイコン１２０とのインターフェースを有し、データの受け渡しを制御する。記録メディア１１１は、映像データやメタデータの記録媒体であり、ハードディスク、ＳＳＤ、もしくはｅＭＭＣなどの内蔵メモリ、または、ＳＤカード、ＣＦカード、もしくはＣＦａｓｔカードなどの着脱可能な外部メモリを含む。

角速度振れ量取得部１２２は、角速度センサ１０９の出力に基づいて、撮像装置１００の振れ量である角速度振れ量（角速度情報）を算出する。そして角速度振れ量取得部１２２は、縦方向および横方向の角速度情報（縦方向と横方向とに分離した振れ情報）を、縦振れ量算出部１２３および横振れ量算出部１２４にそれぞれ出力する。動きベクトル量取得部１２１は、メモリ１０７に記憶された映像から動きベクトル量を取得する。そして動きベクトル量取得部１２１は、縦方向および横方向の動きベクトル量（縦方向と横方向とに分離した動きベクトルに関する情報）を、縦振れ量算出部１２３および横振れ量算出部１２４にそれぞれ出力する。

縦振れ量算出部１２３は、角速度振れ量取得部１２２から出力された縦方向の角速度振れ量（角速度情報）と動きベクトル量取得部１２１から出力された縦方向の動きベクトル量とに基づいて縦振れ量を算出する。縦振れ量記録部１２５は、縦振れ量算出部１２３により算出された縦振れ量を記録する。横振れ量算出部１２４は、角速度振れ量取得部１２２から出力された横方向の角速度振れ量（角速度情報）と動きベクトル量取得部１２１から出力された横方向の動きベクトル量とに基づいて横振れ量を算出する。横振れ量記録部１２６は、横振れ量算出部１２３により算出された横振れ量を記録する。縦振れ量記録部１２５は、縦振れ量算出部１２３により設定されたデータからなるメタデータを、記録制御部１１０を介してメモリ１０７に出力する。横振れ量記録部１２６は、横振れ量算出部１２４により設定されたデータからなるメタデータを、記録制御部１１０を介してメモリ１０７に出力する。

次に、図２を参照して、本実施形態における撮像装置１００の動作（映像記録処理）を説明する。図２は、本実施形態における映像記録処理のフローチャートである。図２の各ステップは、主に、マイコン１２０および記録制御部１１０により実行される。

まずステップＳ２０１において、縦振れ量算出部１２３および横振れ量算出部１２４は、角速度振れ量（角速度情報）と動きベクトル量とに基づいて、縦振れ量および横振れ量をそれぞれ算出する。続いてステップＳ２０２において、記録制御部１１０は、縦揺れ効果生成部１０５により縦揺れ効果が生成されているか否か、すなわち縦揺れ量があるか否かを判定する。縦揺れ効果が生成されている場合、ステップＳ２０３へ進む。一方、縦揺れ効果が生成されていない場合、ステップＳ２０４へ進む。ステップＳ２０３において、記録制御部１１０（またはマイコン１２０）は、縦振れ量を０に設定する。ステップＳ２０４において、記録制御部１１０は、映像、および、縦振れ量と横振れ量とから構成されるメタデータを、記録メディア１１１に出力する。

続いてステップＳ２０５において、記録制御部１１０は、マイコン１２０から映像の記録終了の指示を受けたか否かを判定する。映像の記録終了が指示されていない場合、ステップＳ２０１へ戻る。一方、映像の記録終了が指示された場合、ステップＳ２０６へ進む。ステップＳ２０６において、記録制御部１１０は、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図３を参照して、本実施形態における映像記録処理の概念について説明する。図３は、映像記録処理の概念図である。図３において、３０１は、記録メディア１１１に出力された映像データ（映像およびメタデータ）である。まず、区間Ｔ３０２においては、縦揺れが生成されていないため、図２のステップＳ２０１にて設定された縦振れ量がメタデータとして記録される。続いて、区間Ｔ３０３においては、縦揺れが生成されているため、図２のステップＳ２０３にて設定された縦振れ量（すなわち、０の縦振れ量）がメタデータとして記録される。続いて、区間Ｔ３０４においては、区間Ｔ３０２と同様に、縦揺れが生成されていないため、図２のステップＳ２０１にて設定された縦振れ量がメタデータとして記録される。最後に、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

このように本実施形態において、制御装置は、振れ量算出手段（縦振れ量算出部１２３、横振れ量算出部１２４）、記録制御手段（縦振れ量記録部１２５、横振れ量記録部１２６、記録制御部１１０）、および、揺れ効果手段（縦揺れ効果生成部１０５）を有する。振れ量算出手段は、映像を撮像する際の第一方向（縦方向）および第二方向（横方向）のそれぞれの振れ量を算出する。記録制御手段は、振れ量算出手段により算出された振れ量に関する記録制御を行う。揺れ効果手段は、映像に第一方向の揺れ効果を付加する。記録制御手段は、揺れ効果手段が映像に揺れ効果を付加しているか否かに応じて、第一方向の振れ量に関する記録制御を変更する。

好ましくは、記録制御手段は、揺れ効果手段が映像に揺れ効果を付加していない場合、振れ量算出手段により算出された第一方向の振れ量を記録媒体（メモリ１０７）に記録する。一方、揺れ効果手段が映像に揺れ効果を付加している場合、振れ量算出手段により算出された第一方向の振れ量を低減して記録媒体に記録する。より好ましくは、記録制御手段は、揺れ効果手段が映像に揺れ効果を付加している場合、振れ量算出手段により算出された第一方向の振れ量を０として記録媒体に記録する。

本実施形態によれば、生成された縦揺れ効果を考慮した振れ情報（縦揺れ量）を記録することにより、映像を再生する際に正しい振れ補正を行うことができる。

＜第２の実施形態＞
次に、図４を参照して、本発明の第２の実施形態における撮像装置の構成について説明する。図４は、本実施形態における撮像装置４００（映像記録装置）のブロック図である。撮像装置４００は、マイコン１２０に代えて、縦揺れ量取得部４０１を有するマイコン４２０を備えている点で、第１の実施形態における撮像装置１００と異なる。撮像装置４００の他の構成は、撮像装置１００と同様であるため、それらの説明を省略する。

縦揺れ効果生成部１０５は、デジタルビデオ信号に対して予め定められた縦揺れの効果（縦揺れ量）を生成し、生成した縦揺れ量を縦揺れ量取得部４０１へ出力する。縦揺れ量取得部４０１は、縦揺れ効果生成部１０５から取得した縦揺れ量を縦振れ量算出部１２３へ出力する。縦振れ量算出部１２３は、角速度振れ量取得部１２２から出力された縦方向の角速度振れ量と動きベクトル量取得部１２１から出力された縦方向の動きベクトル量と縦揺れ量取得部４０１から出力された縦揺れ量（縦揺れの効果）とに基づいて縦振れ量を算出する。縦振れ量記録部１２５は、縦振れ量算出部１２３により算出された縦振れ量を記録する。

次に、図５を参照して、本実施形態における撮像装置４００の動作（映像記録処理）を説明する。図５は、本実施形態における映像記録処理のフローチャートである。図５の各ステップは、主に、マイコン４２０および記録制御部１１０により実行される。

まずステップＳ５０１において、縦振れ量算出部１２３および横振れ量算出部１２４は、角速度振れ量（角速度情報）と動きベクトル量とに基づいて、縦振れ量および横振れ量をそれぞれ算出する。続いてステップＳ５０２において、記録制御部１１０は、縦揺れ効果生成部１０５により縦揺れ効果が生成されているか否か、すなわち縦揺れ量があるか否かを判定する。縦揺れ効果が生成されている場合、ステップＳ５０３へ進む。一方、縦揺れ効果が生成されていない場合、ステップＳ５０４へ進む。ステップＳ５０３において、縦振れ量算出部１２３は、ステップＳ５０１にて算出した縦振れ量から縦揺れ量取得部４０１により取得された縦揺れ量を引いて得られた量を縦振れ量として設定する。ステップＳ５０４において、記録制御部１１０は、記録開始指示後の映像、および、縦振れ量と横振れ量とから構成されるメタデータを、記録メディア１１１に出力する。

続いてステップＳ５０５において、記録制御部１１０は、マイコン４２０から映像の記録終了の指示を受けたか否かを判定する。映像の記録終了が指示されていない場合、ステップＳ５０１へ戻る。一方、映像の記録終了が指示された場合、ステップＳ５０６へ進む。ステップＳ５０６において、記録制御部１１０は、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図６を参照して、本実施形態における映像記録処理の概念について説明する。図６は、映像記録処理の概念図である。図６において、６０１は、記録メディア１１１に出力された映像データ（映像およびメタデータ）である。まず、区間Ｔ６０２においては、縦揺れが生成されていないため、図５のステップＳ５０１にて設定された縦振れ量がメタデータとして記録される。続いて、区間Ｔ６０３においては、縦揺れが生成されているため、図５のステップＳ５０３にて縦振れ量から縦揺れ量を引いて算出された値（縦振れ量）がメタデータとして記録される。続いて、区間Ｔ６０４においては、区間Ｔ６０２と同様に、縦揺れが生成されていないため、図５のステップＳ５０１にて設定された縦振れ量がメタデータとして記録される。最後に、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図７を参照して、本実施形態における映像記録処理（図５のステップＳ５０３）について説明する。図７は、映像記録処理の説明図である。縦振れ量および縦揺れ量はそれぞれ、現フレームの画素が前フレームから何画素分縦方向に移動しているかを示す量である。算出した縦振れ量から縦揺れ量を引くことにより、メタデータとして記録する縦振れ量を算出することができる。

本実施形態において、メタデータとして記録する縦振れ量は、以下のように算出することができる。

縦振れ量−縦揺れ量＝メタデータとして記録する縦振れ量
図７中のＣ７０１の例では、算出した縦振れ量がマイナス８画素、縦揺れ量がマイナス５画素の場合に、−８−（−５）＝−３であるため、記録する縦揺れ量はマイナス３画素となる。この場合、映像は縦方向にマイナス８画素移動している。このため、マイナス３画素分だけ再生防振を行うと、映像はマイナス５画素分だけ移動することとなり、意図した縦揺れ量を得ることができる。

同様に、Ｃ７０２の例では、算出した縦振れ量がマイナス５画素、縦揺れ量がマイナス８画素の場合、−５−（−８）＝３であるため、記録する縦揺れ量はプラス３画素となる。Ｃ７０３の例では、算出した縦振れ量がプラス８画素、縦揺れ量がプラス５画素の場合、８−５＝３であるため、記録する縦揺れ量はプラス３画素となる。Ｃ７０４の例では、算出した縦振れ量がプラス５画素、縦揺れ量がプラス８画素の場合、５−８＝−３であるため、記録する縦揺れ量はマイナス３画素となる。Ｃ７０５の例では、算出した縦振れ量がマイナス８画素、縦揺れ量がプラス５画素の場合、−８−５＝−１３であるため、記録する縦揺れ量はマイナス１３画素となる。Ｃ７０６の例では、算出した縦振れ量がマイナス５画素、縦揺れ量がプラス８画素の場合、−５−８＝−１３であるため、記録する縦揺れ量はマイナス１３画素となる。Ｃ７０７の例では、算出した縦振れ量がプラス８画素、縦揺れ量がマイナス５画素の場合、８−（−５）＝１３であるため、記録する縦揺れ量はプラス１３画素となる。Ｃ７０８の例では、算出した縦振れ量がプラス５画素、縦揺れ量がマイナス８画素の場合、５−（−８）＝１３であるため、記録する縦揺れ量はプラス１３画素となる。

このように本実施形態において、制御装置は、第１の実施形態の制御装置に加えて、揺れ効果手段により映像に付加された揺れ効果の揺れ量を取得する揺れ量取得手段（縦揺れ量取得部４０１）を有する。記録制御手段は、揺れ効果手段が映像に揺れ効果を付加している場合、振れ量算出手段により算出された第一方向の振れ量から揺れ量を減算して得られた量を記録媒体に記録する。

本実施形態によれば、生成された縦揺れ効果を考慮した振れ情報（縦揺れ量）を記録することにより、映像を再生する際に正しい振れ補正を行うことができる。

＜第３の実施形態＞
次に、図８を参照して、本発明の第３の実施形態における撮像装置の構成について説明する。図８は、本実施形態における撮像装置８００（映像記録装置）のブロック図である。撮像装置８００は、角速度センサ１０９が設けられていない点、および、マイコン１２０に代えてマイコン８２０を備えている点で、第１の実施形態における撮像装置１００と異なる。撮像装置８００の他の構成は、撮像装置１００と同様であるため、それらの説明を省略する。

マイコン８２０は、縦揺れ期間取得部８２１およびメタデータ設定部８２２を有する。縦揺れ効果生成部１０５は、デジタルビデオ信号に対して予め定められた縦揺れの効果（縦揺れ量）を生成する。縦揺れ期間取得部８２１は、縦揺れ効果生成部１０５から、縦揺れの効果（縦揺れ量）を生成している期間（縦揺れ期間）を取得する。

記録制御部１１０は、縦揺れ効果生成部１０５と、符号化部１０６と、メモリ１０７と、メタデータ設定部８２２と、記録メディア１１１とのインターフェースを有し、マイコン８２０の制御によりデータの受け渡しを制御する。メモリ１０７は、符号化部１０６により符号化された映像を、数秒分保持するバッファとして機能する。またメモリ１０７は、後述のメタデータ設定部８２２から出力されるメタデータを保持するバッファとしても機能する。スイッチ操作部１０８は、ユーザが操作する複数のスイッチを備える操作部であり、映像の記録開始／終了を指示するスイッチを含み、当該指示を受け付けてマイコン１１２に入力する。映像の記録開始／終了の指示に伴い、マイコン８２０は後述する図９のフローチャートに従って映像およびメタデータを記録メディア１１１に出力する。

縦揺れ期間取得部８２１は、縦揺れ効果生成部１０５からデジタルビデオ信号に対して縦揺れ効果を付与した期間を取得し、その期間をメタデータ設定部８２２に出力（設定）する。メタデータ設定部８２２は、設定されたデータから成るメタデータを、記録制御部１１０を介してメモリ１０７に出力する。

次に、図９を参照して、本実施形態における撮像装置８００の動作（映像記録処理）を説明する。図９は、本実施形態における映像記録処理のフローチャートである。図９の各ステップは、主に、マイコン８２０および記録制御部１１０により実行される。

まずステップＳ９０１において、マイコン８２０（縦揺れ期間取得部８２１、メタデータ設定部８２２）は、縦揺れ効果生成部１０５により意図的に縦揺れが加えられているか否かを判定する。意図的な揺れが加えられている場合、ステップＳ９０２へ進む。ステップＳ９０２において、マイコン８２０は、縦揺れ付与期間としてメタデータに記録する変数Ｆｌａｇを「１」に設定する。一方、ステップＳ９０１にて意図的な揺れが加えられていない場合、ステップＳ９０３へ進む。ステップＳ９０３において、マイコン８２０は、縦揺れ付与期間としてメタデータに記録する変数Ｆｌａｇを「０」に設定する。

続いてステップＳ９０４において、記録制御部１１０は、映像、および縦揺れ付与期間を示すメタデータとして変数Ｆｌａｇの値を記録メディア１１１に出力する。

続いてステップＳ９０５において、記録制御部１１０は、マイコン８２０から映像の記録終了の指示を受けたか否かを判定する。映像の記録終了が指示されていない場合、ステップＳ９０１へ戻る。一方、映像の記録終了が指示された場合、ステップＳ９０６へ進む。ステップＳ９０６において、記録制御部１１０は、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図１０を参照して、本実施形態における映像記録処理の概念について説明する。図１０は、映像記録処理の概念図である。図１０において、１００１は、記録メディア１１１に出力された映像データ（映像およびメタデータ）である。まず、区間Ｔ１００２においては、意図的な縦揺れがないため、図９のステップＳ９０３にて設定された値０がメタデータとして記録される。続いて、区間Ｔ１００３においては、意図的な縦揺れがあるため、図９のステップＳ９０２にて設定された値１がメタデータとして記録される。続いて、区間Ｔ１００４においては、区間Ｔ１００２と同様に、意図的な縦揺れがないため、図９のステップＳ９０３にて設定された値０がメタデータとして記録される。最後に、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図１１を参照して、本実施形態における映像再生装置の構成について説明する。図１１は、本実施形態における撮像装置１１００（映像再生装置）のブロック図である。記録メディア１１１には、図８を参照して説明したメタデータが付加された映像データが記録されている。ただし、メタデータおよび映像データの記録形式はこれに限定されるものではなく、例えばメタデータは映像データと別に記録されていても構わない。

再生制御部１１１０は、記録メディア１１１から、映像およびメタデータを取得する。復号部１１０１は、再生制御部１１１０により取得された映像データ（本実施例では、Ｈ．２６４ストリームとする）を復号化し、復号化されたデジタルビデオ信号のメタデータと共にメモリ１０７へ出力する。メモリ１０７は、復号化されたデジタルビデオ信号を数秒分記憶する。メモリ１０７に数秒分のデジタルビデオ信号を記憶させることにより、表示部１１０３に出力されている再生画像（再生中の画像）に対して時間的に先となる情報を得ることが可能となる。

画像処理部１１０２は、後述するマイコン１１２０の処理により決定される切り出し位置および切り出しサイズに従って、映像データを再生する。具体的には、画像処理部１１０２は、映像データが表示映像を構成する複数の単位画像（フィールド画像またはフレーム画像）のそれぞれについて、単位画像の所定の切り出し位置から所定画像に対して電子ズームを施し、表示部１１０３へ出力する。表示部１１０３は、出力された画像を順次表示することにより、映像を表示する。

ジョイスティック１１０４、再生／一時停止ボタン１１０５、および、停止ボタン１１０６はそれぞれ操作部であり、ユーザの操作を受け付け、マイコン１１２０に対して制御指示を通知する役割を担っている。ジョイスティック１１０４は、画面内で項目を選択するためのカーソルを上下左右に移動する指示を行う。またジョイスティック１１０４は、垂直方向に押下可能であり、画面内でカーソルの当たっている項目を選択し、また、各種の設定操作を確定するための指示を行う。再生／一時停止ボタン１１０５は、映像を再生する場合に押下することにより、再生を開始または一時停止することができる。停止ボタン１１０６は、映像の再生を終了するために用いられる。

マイコン１１２０は、動きベクトル量取得部１２１、メタデータ読み出し部１１２２、振れ補正量決定部１１２３、および、縦揺れ量設定部１１２４を有し、後述する図１２のフローチャートに示される処理の制御を行う。動きベクトル量取得部１２１は、メモリ１０７に記憶されたデジタル画像から動きベクトル量を取得する。動きベクトル量は、映像の振れの指標としての役割を果たす。メタデータ読み出し部１１２２は、メモリ１０７から縦揺れ付与期間を示すメタデータを読み出す。縦揺れ量設定部１１２４は、縦揺れ付与期間を示すメタデータに基づいて、Ｆｌａｇ＝１の場合に縦揺れ量を設定する。振れ補正量決定部１１２３は、動きベクトル量取得部１２１により取得された動きベクトル量、および、縦揺れ量設定部１１２４により設定された縦揺れ量に基づいて、映像の振れを補正するように切り出し位置およびサイズを決定する。そして振れ補正量決定部１１２３は、決定した切り出しおよびサイズを画像処理部１１０２に出力（設定）する。

次に、図１２を参照して、本実施形態の映像再生処理について説明する。図１２は、映像再生処理のフローチャートである。図１２の各ステップは、主に、マイコン１１２０および画像処理部１１０２により実行される。

まずステップＳ１２０１において、マイコン１１２０は、表示部１１０３に対して、映像の再生処理のためのユーザインターフェース（ＵＩ）を表示させる。続いてステップＳ１２０２において、マイコン１１２０は、映像の再生開始の指示を受け付けた否かを判定する。映像の再生開始が指示された場合、記録メディア１１１に記録されている符号化映像を復号化して表示部１１０３に映像を表示し、ステップＳ１２０３へ進む。一方、映像の再生開始が指示されていない場合、ステップＳ１２０１へ戻る。

ステップＳ１２０３において、マイコン１１２０は、メタデータ読み出し部１１２２から読み出された縦揺れ付与期間に関する情報に基づいて、縦揺れ付与期間であるか否かを判定する。縦揺れ付与期間でない（Ｆｌａｇ＝０）場合、ステップＳ１２０４へ進む。一方、縦揺れ付与期間である（Ｆｌａｇ＝１）場合、ステップＳ１２０５へ進む。

ステップＳ１２０４において、振れ補正量決定部１１２３は、動きベクトル量取得部１２１により取得された動きベクトル量に基づいて振れ補正量を決定する。ステップＳ５０５において、振れ補正量決定部１１２３は、動きベクトル量取得部１２１により取得された動きベクトル量と、縦揺れ量設定部１１２４により設定された縦揺れ量とに基づいて、振れ補正量を決定する。

続いてステップＳ１２０６において、振れ補正量決定部１１２３は、揺れ補正量に基づいて、映像からの切り出し位置および切り出しサイズを決定する。続いてステップＳ１２０７において、ステップＳ１２０６にて決定された映像における再生フレームの切り出し位置および切り出しサイズを画像処理部１１０２に設定し、その切り出し位置から所定画像に対して電子ズームを施した映像を表示部１１０３に表示する。

このように本実施形態において、制御装置は、揺れ効果手段（縦揺れ効果生成部１０５）、揺れ期間取得手段（縦揺れ期間取得部８２１）、メタデータ設定手段（メタデータ設定部８２２）、および、記録制御手段（記録制御部１１０）を有する。揺れ効果手段は、映像に第一方向の揺れ効果を付加する。揺れ期間取得手段は、映像に揺れ効果が付加されている期間（縦揺れ期間）を取得する。メタデータ設定手段は、縦揺れ期間に関するメタデータを設定する。記録制御手段（記録制御部１１０）は、映像およびメタデータを記録媒体（メモリ１０７）に記録する。

好ましくは、制御装置は、更に、動きベクトル取得手段（動きベクトル量取得部１２１）、揺れ量設定手段（縦揺れ量設定部１１２４）、決定手段（振れ補正量決定部１１２３）、および、画像処理手段（画像処理部１１０２）を有する。動きベクトル取得手段は、映像から動きベクトル量を取得する。揺れ量設定手段は、メタデータに基づいて映像に揺れ効果の揺れ量を設定する。決定手段は、動きベクトル量に基づいて映像の振れ補正量を決定する。画像処理手段は、振れ補正量に基づいて映像から一部の映像を切り出す（映像データから映像を切り出す）。決定手段は、映像に揺れ効果が付加されている期間において、動きベクトル量と揺れ量設定手段により設定された揺れ量とに基づいて振れ補正量を決定する（Ｓ１２０５）。

本実施形態によれば、メタデータに記録した縦揺れ期間に関する情報に基づいて、振れ補正処理において縦揺れ量を加味することにより、再生時に正しい揺れ補正を行うことができる。

＜第４の実施形態＞
次に、図１３を参照して、本発明の第４の実施形態における映像再生処理について説明する。なお、本実施形態の撮像装置の基本構成や動作は、第３の実施形態の撮像装置と同様である。図１３は、本実施形態における映像再生処理のフローチャートである。図１３の各ステップは、主に、マイコン８２０および画像処理部１１０２により実行される。なお、図１３のステップＳ１３０１〜Ｓ１３０３、Ｓ１３０９、Ｓ１３１０、Ｓ１３１２、Ｓ１３１３は、図１２のステップＳ１２０１〜Ｓ１２０７とそれぞれ同様である。

ステップＳ１３０３にてメタデータ読み出し部１１２２から読み出された縦揺れ付与期間に関する情報に基づいて、マイコン１１２０が縦揺れ付与期間（Ｆｌａｇ＝１）であると判定した場合、ステップＳ１３０４へ進む。ステップＳ１３０４において、マイコン１１２０は、後述するステップＳ１３１１にてメモリ１０７に保持している一つ前のフレーム画像の揺れ補正量により切り出された所定画像が、フレーム画像の上端または下端を含むか否かを判定する。所定画像がフレーム画像の上端または下端を含む場合、ステップＳ１３０６へ進む。一方、所定画像がフレーム画像の上端および下端のいずれも含まない場合、ステップＳ１３０５へ進む。

ステップ１３０５において、マイコン１１２０は、縦揺れ量として通常の値（縦揺れ量：中（第一揺れ量））を設定する。ステップＳ１３０６において、マイコン１１２０は、動きベクトル量取得部１２１により取得された動きベクトル量の縦方向成分と、縦揺れ量設定部１１２４により付与（加算）される縦揺れの方向とが互いに一致している場合、ステップＳ１３０７へ進む。一方、これらの方向が互いに一致しない場合、ステップＳ１３０８へ進む。

続いてステップＳ１３０７において、マイコン１１２０は、通常の縦揺れ量よりも大きい値（縦揺れ量：大（第二揺れ量））を設定する。一方、ステップＳ１３０８において、マイコン１１２０は、通常の縦揺れ量よりも小さい値（縦揺れ量：小（第三揺れ量））を設定する。ステップＳ１３１０において、上記のように得られた縦揺れ量と、動きベクトル量取得部１２１により取得された動きベクトル量とに基づいて振れ補正量を決定する。続いてステップＳ１３１１において、決定した揺れ補正量をメモリ１０７に保持させる。

このように本実施形態において、揺れ量設定手段は、第一揺れ量と、第一揺れ量よりも大きい第二揺れ量と、第一揺れ量よりも小さい第三揺れ量とを選択的に設定することが可能である。例えば、揺れ量設定手段は、画像処理手段により切り出された映像が切り出される前の映像の上端または下端を含む場合、揺れ量として第一揺れ量（縦揺れ量：中）を設定する（Ｓ１３０５）。また、揺れ量設定手段は、動きベクトル量の方向と揺れ量の方向とが互いに一致する場合、揺れ量として第二揺れ量（縦揺れ量：大）を設定する（Ｓ１３０７）。また、揺れ量設定手段は、動きベクトル量の方向と揺れ量の方向とが互いに一致しない場合、揺れ量として第三揺れ量（縦揺れ量：小）を設定する（Ｓ１３０８）。

本実施形態によれば、メタデータに記録した縦揺れ期間に関する情報に基づいて、振れ補正処理において縦揺れ量を加味することにより、再生時に正しい揺れ補正を行うことができる。

＜第５の実施形態＞
次に、図１４を参照して、本発明の第５の実施形態における撮像装置の構成について説明する。図１４は、本実施形態における撮像装置１４００（映像記録装置）のブロック図である。撮像装置１４００は、マイコン１２０に代えて、縦揺れ量算出部１４２１および縦揺れ量記録部１４２２を有するマイコン１４２０を備えている点で、第１の実施形態における撮像装置１００と異なる。撮像装置１４００の他の構成は、撮像装置１００と同様であるため、それらの説明を省略する。

縦揺れ量算出部１４２１は、縦揺れ効果生成部１０５から出力された情報に基づいて、縦揺れ量を算出する。縦揺れ量記録部１４２２は、縦揺れ量算出部１４２１により設定されたデータからなるメタデータを、記録制御部１１０を介してメモリ１０７に出力する。マイコン１４２０は、後述する図１５のフローチャートに示される処理の制御を行う。

次に、図１５を参照して、本実施形態における撮像装置１４００の動作（映像記録処理）を説明する。図１５は、本実施形態における映像記録処理のフローチャートである。図１５の各ステップは、主に、マイコン１４２０および記録制御部１１０により実行される。

まずステップＳ１５０１において、縦振れ量算出部１２３および横振れ量算出部１２４は、角速度振れ量（角速度情報）と動きベクトル量とに基づいて、縦振れ量および横振れ量をそれぞれ算出する。続いてステップＳ１５０２において、記録制御部１１０は、縦揺れ効果生成部１０５により縦揺れ効果が生成されているか否か、すなわち縦揺れ量があるか否かを判定する。縦揺れ効果が生成されている場合、ステップＳ１５０３へ進む。一方、縦揺れ効果が生成されていない場合、ステップＳ１５０４へ進む。ステップＳ１５０３において、記録制御部１１０（またはマイコン１４２０）は、映像、および、縦振れ量と横振れ量と縦揺れ量とから構成されるメタデータを、記録メディア１１１に出力する。ステップＳ１５０４において、記録制御部１１０（またはマイコン１４２０）は、映像、および、縦振れ量と横振れ量とから構成されるメタデータを、記録メディア１１１に出力する。

続いてステップＳ１５０５において、記録制御部１１０は、マイコン１４２０から映像の記録終了の指示を受けたか否かを判定する。映像の記録終了が指示されていない場合、ステップＳ１５０１へ戻る。一方、映像の記録終了が指示された場合、ステップＳ１５０６へ進む。ステップＳ１５０６において、記録制御部１１０は、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図１６を参照して、本実施形態における映像記録処理の概念について説明する。図１６は、映像記録処理の概念図である。図１６において、１６０１は、記録メディア１１１に出力された映像データ（映像およびメタデータ）である。まず、区間Ｔ１６０２においては、縦揺れが生成されていないため、図１５のステップＳ１５０４にて設定された映像および縦振れ量と横振れ量とがメタデータとして記録される。続いて、区間Ｔ１６０３においては、縦揺れが生成されているため、図１５のステップＳ１５０３にて設定された映像および縦振れ量と横振れ量と縦揺れ量とがメタデータとして記録される。続いて、区間Ｔ１６０４においては、区間Ｔ１６０２と同様に、縦揺れが生成されていないため、図２のステップＳ１５０４にて設定された映像および縦振れ量と横振れ量とがメタデータとして記録される。最後に、記録メディア１１１に出力された映像およびメタデータを一つの映像データとしてクローズする。

次に、図１７を参照して、本実施形態における映像再生装置の構成について説明する。図１７は、本実施形態における撮像装置１７００（映像再生装置）のブロック図である。記録メディア１１１には、図１４を参照して説明したメタデータが付加された映像データが記録されている。ただし、メタデータおよび映像データの記録形式はこれに限定されるものではなく、例えばメタデータは映像データと別に記録されていても構わない。

復号部１１０１は、再生制御部１１１０が取得した映像データ（本実施例では、Ｈ．２６４ストリームとする）を復号化し、復号化されたデジタルビデオ信号のメタデータと共にメモリ１０７へ出力する。画像処理部１１０２は、後述するマイコン１７２０の処理により決定された切り出し位置および切り出しサイズに従って、映像データを再生する。具体的には、画像処理部１１０２は、映像データが表示映像を構成する複数の単位画像（フィールド画像またはフレーム画像）のそれぞれについて、単位画像の所定の切り出し位置から所定画像に対して電子ズームを施し、表示部１１０３へ出力する。表示部１１０３は、画像処理部１１０２から出力された画像を順次表示することにより、映像を表示する。

再生制御部１１１０は、記録メディア１１１と、復号化部１１０１と、画像処理部１１０２と、表示部１１０３と、メモリ１０７と、マイコン１７２０とのインターフェースを有し、データの受け渡しを制御する。メモリ１０７は、復号化されたデジタルビデオ信号を数秒分記憶する。メモリ１０７に数秒分のデジタルビデオ信号を記憶することにより、表示部１１０３に出力されている再生画像（再生中の画像）に対して時間的に先となる情報を得ることが可能となる。スイッチ操作部１０８は、ユーザが操作する複数のスイッチを備える操作部であり、映像の再生開始／終了を指示するスイッチを含み、当該指示を受け付けてマイコン１７２０に入力する。映像の再生開始／終了の指示に伴い、マイコン１７２０は、後述する図１８の動作に従って、映像およびメタデータを再生する。
マイコン１７２０は、動きベクトル量取得部１２１、振れ補正量決定部１１２３、縦振れ量取得部１７２１、横振れ量取得部１７２２、および、縦揺れ量取得部１７２３を有し、後述する図１８のフローチャートに示す処理の制御を行う。動きベクトル量取得部１２１は、メモリ１０７に記憶されたデジタル画像から動きベクトル量を取得する。動きベクトル量は、映像の振れの指標としての役割を果たす。縦振れ量取得部１７２１は、メモリ１０７から縦振れ量を示すメタデータを読み出す。横振れ量取得部１７２２は、メモリ１０７から横振れ量を示すメタデータを読み出す。縦揺れ量取得部１７２３は、メモリ１０７から縦揺れ量を示すメタデータを読み出す。

振れ補正量決定部１１２３には、動きベクトル量取得部１２１が取得した動きベクトル量、および縦振れ量取得部１７２１が取得した縦振れ量、横振れ量取得部１７２２が取得した横振れ量、縦揺れ量取得部１７２３が取得した縦揺れ量が出力される。そして振れ補正量決定部１１２３は、動きベクトル量と縦振れ量と横振れ量と縦揺れ量とに基づいて、映像の振れを補正するように切り出し位置およびサイズを決定し、これらを画像処理部１１０２に出力（設定）する。

次に、図１８を参照して、本実施形態の映像再生処理について説明する。図１８は、映像再生処理のフローチャートである。図１８の各ステップは、主に、マイコン１７２０、再生制御部１１１０、および、画像処理部１１０２により実行される。

まずステップＳ１８０１において、再生制御部１１１０は、記録メディア１１１に記録されている符号化映像を、復号化部１１０１により復号化する。また動きベクトル量取得部１２１は、動きベクトル量を取得する。続いてステップＳ１８０２において、マイコン１７２０は、縦揺れ量取得部１７２３により取得された縦揺れ量に基づいて、縦揺れが記録されているか否かを判定する。縦揺れが記録されていると判定した場合、ステップＳ１８０３に進む。一方、縦揺れが記録されていないと判定した場合、ステップＳ１８０４に進む。

ステップＳ１８０３において、振れ補正量決定部１１２３は、横振れ量取得部１７２２により取得された横振れ量に基づいて、振れ補正量を決定する。ステップＳ１８０４において、振れ補正量決定部１１２３は、縦振れ量取得部１７２１により取得された縦振れ量と、横振れ量取得部１７２２により取得された横振れ量とに基づいて、振れ補正量を決定する。

続いてステップＳ１８０５において、振れ補正量決定部１１２３は、ステップＳ１８０１にて取得された動きベクトル量と、ステップＳ１８０３またはステップＳ１８０４にて決定された振れ補正量とに基づいて、映像から切り出し位置およびサイズを決定する。決定した切り出し位置およびサイズは画像処理部１１０２に出力され設定される。続いてステップＳ１８０６において、画像処理部１１０２は、ステップＳ１８０５にて決定された映像における再生フレームの切り出し位置および切り出しサイズに基づき所定画像に対して電子ズームを施した映像を表示部１１０３に表示する。続いてステップＳ１８０７において、マイコン１７２０は、映像の再生終了の指示の判定を行う。映像の再生終了が指示された場合、本フローの処理を終了する。

このように本実施形態において、制御装置は、振れ量算出手段（縦振れ量算出部１２３、横振れ量算出部１２４）、および、記録制御手段（縦振れ量記録部１２５、横振れ量記録部１２６、記録制御部１１０）を有する。また制御装置は、揺れ効果手段（縦揺れ効果生成部１０５）、および、揺れ量算出手段（縦揺れ量算出部１４２１）を有する。振れ量算出手段は、映像を撮像する際の第一方向（縦方向）および第二方向（横方向）のそれぞれの振れ量を算出する。記録制御手段は、振れ量算出手段により算出された振れ量に関する記録制御を行う。揺れ効果手段は、映像に第一方向の揺れ効果を付加する。揺れ量算出手段は、揺れ効果手段により映像に付加された揺れ効果の揺れ量を算出する。記録制御手段は、揺れ効果手段が映像に揺れ効果を付加しているか否かに応じて、揺れ量に関する記録制御を変更する。

好ましくは、記録制御手段は、揺れ効果手段が映像に揺れ効果を付加していない場合、揺れ量を記録媒体（メモリ１０７）に記録しない。一方、記録制御手段は、揺れ効果手段が映像に揺れ効果を付加している場合、揺れ量を記録媒体に記録する。より好ましくは、記録制御手段は、揺れ効果手段が映像に揺れ効果を付加していない場合、映像と、第一方向および第二方向のそれぞれの振れ量とを記録媒体に記録する。一方、記録制御手段は、揺れ効果手段が映像に揺れ効果を付加している場合、映像と、第一方向および第二方向のそれぞれの振れ量と、揺れ量とを記録媒体に記録する。

好ましくは、制御装置は、動きベクトル取得手段（動きベクトル量取得部１２１）および振れ量取得手段（縦振れ量取得部１７２１、横振れ量取得部１７２２）を有する。また制御装置は、揺れ量取得手段（縦揺れ量取得部１７２３）、決定手段（振れ補正量決定部１１２３）、および、画像処理手段（画像処理部１１０２）を有する。動きベクトル取得手段は、映像から動きベクトル量を取得する。振れ量取得手段は、記録媒体から第一方向および第二方向のそれぞれの振れ量を取得する。揺れ量取得手段は、記録媒体から揺れ量を取得する。決定手段は、動きベクトル量と、第一方向および第二方向のそれぞれの振れ量と、揺れ量とに基づいて、映像の振れを補正する振れ補正量を決定する。画像処理手段は、振れ補正量に基づいて、映像から一部の映像を切り出す。決定手段は、揺れ量取得手段が揺れ量を取得したか否かに応じて、振れ補正量の決定方法を変更する。より好ましくは、決定手段は、揺れ量取得手段が揺れ量を取得していない場合、動きベクトル量と第一方向および第二方向のそれぞれの振れ量とに基づいて振れ補正量を決定する（Ｓ１８０３）。一方、決定手段は、揺れ量取得手段が揺れ量を取得した場合、動きベクトル量と第二方向の振れ量とに基づいて振れ補正量を決定する（Ｓ１８０４）。

本実施形態によれば、メタデータに記録した縦揺れ量に基づいて振れ補正量を算出することにより、再生時において正しい揺れ補正を行うことができる。

＜第６の実施形態＞
次に、図１９を参照して、本発明の第６の実施形態における映像再生処理について説明する。なお、本実施形態の撮像装置の基本構成や動作は、第５の実施形態の撮像装置と同様である。図１９は、本実施形態における映像再生処理のフローチャートである。図１９の各ステップは、主に、マイコン１７２０、再生制御部１１１０、および、画像処理部１１０２により実行される。なお、図１３のステップＳ１９０１、Ｓ１９０２、Ｓ１９０４〜Ｓ１９０７は、図１８のステップＳ１８０１、Ｓ１８０２、Ｓ１８０４〜Ｓ１８０７とそれぞれ同様である。

ステップＳ１９０３において、振れ補正量決定部１１２３は、縦振れ量取得部４２２にて取得された縦振れ量と、横振れ量取得部４２３にて取得された横振れ量と、縦揺れ量取得部４２４にて取得された縦揺れ量に基づいて、振れ補正量を決定する。ここで、縦振れ量と縦揺れ量とが互いに同一方向の場合、それぞれの量を加算する。一方、縦振れ量と縦揺れ量とが互いに逆方向の場合、一方の量から他方の量を減算した値を縦方向の振れ補正量とする。

このように本実施形態において、決定手段（振れ補正量決定部１１２３）は、揺れ量取得手段が揺れ量を取得していない場合、動きベクトル量と第一方向（縦方向）および第二方向（横方向）のそれぞれの振れ量とに基づいて振れ補正量を決定する（Ｓ１９０４）。一方、決定手段は、揺れ量取得手段が揺れ量を取得した場合、動きベクトル量と、第一方向および第二方向のそれぞれの振れ量と、揺れ量とに基づいて振れ補正量を決定する（Ｓ１９０３）。

本実施形態によれば、メタデータに記録した縦揺れ量に基づいて振れ補正量を算出することにより、再生時において正しい揺れ補正を行うことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、意図的な縦揺れを加えた映像を再生する際に正しい振れ補正を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 縦揺れ効果生成部（揺れ効果手段）
１１０ 記録制御部（記録制御手段）
１２０ マイコン（制御装置）
１２３ 縦振れ量算出部（振れ量算出手段）
１２４ 横振れ量算出部（振れ量算出手段）
１２５ 縦振れ量記録部（記録制御手段）
１２６ 横振れ量記録部（記録制御手段）

Claims (19)

1. 映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出する振れ量算出手段と、
   前記振れ量算出手段により算出された前記振れ量に関する記録制御を行う記録制御手段と、
   前記映像に前記第一方向の揺れ効果を付加する揺れ効果手段と、を有し、
   前記記録制御手段は、前記揺れ効果手段が前記映像に前記揺れ効果を付加しているか否かに応じて、前記第一方向の前記振れ量に関する記録制御を変更することを特徴とする制御装置。
2. 前記記録制御手段は、
   前記揺れ効果手段が前記映像に前記揺れ効果を付加していない場合、前記振れ量算出手段により算出された前記第一方向の前記振れ量を記録媒体に記録し、
   前記揺れ効果手段が前記映像に前記揺れ効果を付加している場合、前記振れ量算出手段により算出された前記第一方向の前記振れ量を低減して前記記録媒体に記録する、ことを特徴とする請求項１に記載の制御装置。
3. 前記記録制御手段は、前記揺れ効果手段が前記映像に前記揺れ効果を付加している場合、前記振れ量算出手段により算出された前記第一方向の前記振れ量を０として前記記録媒体に記録することを特徴とする請求項２に記載の制御装置。
4. 前記揺れ効果手段により前記映像に付加された前記揺れ効果の揺れ量を取得する揺れ量取得手段を更に有し、
   前記記録制御手段は、前記揺れ効果手段が前記映像に前記揺れ効果を付加している場合、前記振れ量算出手段により算出された前記第一方向の前記振れ量から前記揺れ量を減算して得られた量を前記記録媒体に記録することを特徴とする請求項２に記載の制御装置。
5. 映像に第一方向の揺れ効果を付加する揺れ効果手段と、
   前記映像に前記揺れ効果が付加されている期間を取得する揺れ期間取得手段と、
   前記期間に関するメタデータを設定するメタデータ設定手段と、
   前記映像および前記メタデータを記録媒体に記録する記録制御手段と、を有することを特徴とする制御装置。
6. 前記映像から動きベクトル量を取得する動きベクトル取得手段と、
   前記メタデータに基づいて前記映像に前記揺れ効果の揺れ量を設定する揺れ量設定手段と、
   前記動きベクトル量に基づいて前記映像の振れ補正量を決定する決定手段と、
   前記振れ補正量に基づいて前記映像から一部の映像を切り出す画像処理手段と、を更に有し、
   前記決定手段は、前記映像に前記揺れ効果が付加されている前記期間において、前記動きベクトル量と前記揺れ量設定手段により設定された前記揺れ量とに基づいて前記振れ補正量を決定することを特徴とする請求項５に記載の制御装置。
7. 前記揺れ量設定手段は、第一揺れ量と、該第一揺れ量よりも大きい第二揺れ量と、該第一揺れ量よりも小さい第三揺れ量とを選択的に設定することが可能であることを特徴とする請求項６に記載の制御装置。
8. 前記揺れ量設定手段は、
   前記画像処理手段により切り出された前記映像が切り出される前の前記映像の上端または下端を含まない場合、前記揺れ量として前記第一揺れ量を設定し、
   前記動きベクトル量の方向と前記揺れ量の方向とが互いに一致する場合、前記揺れ量として前記第二揺れ量を設定し、
   前記動きベクトル量の方向と前記揺れ量の方向とが互いに一致しない場合、前記揺れ量として前記第三揺れ量を設定することを特徴とする請求項７に記載の制御装置。
9. 映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出する振れ量算出手段と、
   前記振れ量算出手段により算出された前記振れ量に関する記録制御を行う記録制御手段と、
   前記映像に前記第一方向の揺れ効果を付加する揺れ効果手段と、
   前記揺れ効果手段により前記映像に付加された前記揺れ効果の揺れ量を算出する揺れ量算出手段と、を有し、
   前記記録制御手段は、前記揺れ効果手段が前記映像に前記揺れ効果を付加しているか否かに応じて、前記揺れ量に関する記録制御を変更することを特徴とする制御装置。
10. 前記記録制御手段は、
    前記揺れ効果手段が前記映像に前記揺れ効果を付加していない場合、前記揺れ量を記録媒体に記録せず、
    前記揺れ効果手段が前記映像に前記揺れ効果を付加している場合、前記揺れ量を前記記録媒体に記録することを特徴とする請求項９に記載の制御装置。
11. 前記記録制御手段は、
    前記揺れ効果手段が前記映像に前記揺れ効果を付加していない場合、該映像と、前記第一方向および前記第二方向のそれぞれの前記振れ量とを記録媒体に記録し、
    前記揺れ効果手段が前記映像に前記揺れ効果を付加している場合、前記映像と、前記第一方向および前記第二方向のそれぞれの前記振れ量と、前記揺れ量とを前記記録媒体に記録することを特徴とする請求項１０に記載の制御装置。
12. 前記映像から動きベクトル量を取得する動きベクトル取得手段と、
    記録媒体から前記第一方向および前記第二方向のそれぞれの前記振れ量を取得する振れ量取得手段と、
    前記記録媒体から前記揺れ量を取得する揺れ量取得手段と、
    前記動きベクトル量と、前記第一方向および前記第二方向のそれぞれの前記振れ量と、前記揺れ量とに基づいて、前記映像の振れを処理する振れ補正量を決定する決定手段と、
    前記振れ補正量に基づいて、前記映像から一部の映像を切り出す画像処理手段と、を更に有し、
    前記決定手段は、前記揺れ量取得手段が前記揺れ量を取得したか否かに応じて、前記振れ補正量の決定方法を変更することを特徴とする請求項９乃至１１のいずれか１項に記載の制御装置。
13. 前記決定手段は、
    前記揺れ量取得手段が前記揺れ量を取得していない場合、前記動きベクトル量と前記第一方向および前記第二方向のそれぞれの前記振れ量とに基づいて前記振れ補正量を決定し、
    前記揺れ量取得手段が前記揺れ量を取得した場合、前記動きベクトル量と前記第二方向の前記振れ量とに基づいて前記振れ補正量を決定することを特徴する請求項１２に記載の制御装置。
14. 前記決定手段は、
    前記揺れ量取得手段が前記揺れ量を取得していない場合、前記動きベクトル量と前記第一方向および前記第二方向のそれぞれの前記振れ量とに基づいて前記振れ補正量を決定し、
    前記揺れ量取得手段が前記揺れ量を取得した場合、前記動きベクトル量と、前記第一方向および前記第二方向のそれぞれの前記振れ量と、前記揺れ量とに基づいて前記振れ補正量を決定することを特徴する請求項１２に記載の制御装置。
15. 第一方向は縦方向であり、第二方向は横方向であることを特徴とする請求項１乃至１４のいずれか１項に記載の制御装置。
16. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
    請求項１乃至１５のいずれか１項に記載の制御装置と、を有することを特徴とする撮像装置。
17. 映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出するステップと、
    算出された前記振れ量に関する記録制御を行うステップと、
    前記映像に前記第一方向の揺れ効果を付加するステップと、を有し、
    前記記録制御を行うステップにおいて、前記映像に前記揺れ効果を付加しているか否かに応じて前記第一方向の前記振れ量に関する記録制御を変更することを特徴とする制御方法。
18. 映像を撮像する際の第一方向および第二方向のそれぞれの振れ量を算出するステップと、
    算出された前記振れ量に関する記録制御を行うステップと、
    前記映像に前記第一方向の揺れ効果を付加するステップと、をコンピュータに実行させるプログラムであって、
    前記記録制御を行うステップにおいて、前記映像に前記揺れ効果を付加しているか否かに応じて前記第一方向の前記振れ量に関する記録制御を変更することを特徴とするプログラム。
19. 請求項１８に記載のプログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。

Images