JP7110406B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は動画を撮影する撮像装置、撮像方法、及びプログラムに関し、特に動画像を撮像する際にフリッカー対策を行う撮像装置、撮像方法、及びプログラムに関する。

人工光源下で動画を撮影する場合、「フリッカー」と呼ばれる明暗の変動やばらつきが生じることがあり、その対策を行う技術が知られている。例えば、特許文献１にはフリッカーの光量変化特性を検出する手段を複数設け、それら検出手段の検出結果に基づいてフリッカーの影響を抑制する処理を行うことが記載されている。また、特許文献２には、被写体がフリッカーの光源下である場合はフレームレートをフリッカー周期またはその整数倍に設定することが記載されている。

特開２０１８－１３３８２６号公報 特開２０１２－６０３７０号公報

フリッカーに対しては動画像を構成するフレームの露光時間に応じた対策を行うことが好ましく、また、動画像はユーザの希望等に応じた適切なフレーム周期（フレームレートに対応する）で記録することが好ましいが、このような点は特許文献１，２では考慮されていなかった。また、特許文献１、２は動画ライブビューでフリッカー対策を行った上で静止画をフリッカーレスで撮影するもので、フリッカー対策を行いつつ動画像を継続して撮影、記録することは考慮されていなかった。

本発明はこのような事情に鑑みてなされたもので、動画像を構成するフレームの露光時間に応じたフリッカー対策を行える撮像装置、撮像方法、及びプログラムを提供することを目的とする。また、本発明はフリッカー対策を行って撮像した動画を所望のフレーム周期で記録できる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、動画像における光源のフリッカー周期を検出する周期検出部と、第１フレーム周期で動画像を撮像する撮像部と、撮像した動画像を示す第１動画データを取得する画像取得部と、第１動画データを処理して第２フレーム周期の第２動画データを生成する画像処理部と、第２動画データを記録装置に記録させる記録部と、第１フレーム周期及び第２フレーム周期を制御する制御部と、を備える撮像装置であって、制御部は、動画像の撮像モードとして、第１動画モードと、動画像を構成するフレームの露光時間が第１動画モードより短く設定される第２動画モードと、を有し、制御部は、第２動画モードでは検出の結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定し、第１動画モードではフリッカー周期によらずに第１フレーム周期を設定する。

フリッカーの影響下で動画を撮影すると動画像のフレーム間でフリッカーの影響による明暗差や色味の差が生じやすく、露光時間が短いと影響が大きくなる。そこで第１の態様に係る撮像装置では、動画像を構成するフレームの露光時間に応じた複数の動画モード（第１動画モード、第２動画モード）を設けた。そして、動画像を構成するフレームの露光時間が第１動画モードより短く設定される第２動画モード（フリッカーの影響が大きい）ではフリッカーの検出結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定しており、これによりフレーム間の明暗差や色味の差を低減することができる。一方、フレームの露光時間が第２動画モードより長くフリッカーの影響が少ない第１動画モードでは、フリッカー周期によらずに第１フレーム周期を設定する。

このように、第１の態様によれば、動画像を構成するフレームの露光時間に応じたフリッカー対策を行うことができる。

また、第１の態様ではフリッカー対策を行って撮像した動画を所望のフレーム周期（第２フレーム周期）で記録することができる。第１フレーム周期と第２フレーム周期とは同じであってもよいし、違っていてもよい。記録装置は撮像装置に備えられたものでもよいし、撮像装置とは独立したものでもよい。

第１の態様において、フリッカーの検出は動画記録開始前に行うことができるが、動画記録開始前に加えて動画記録中に行ってもよい。

第２の態様に係る撮像装置は第１の態様において、制御部は、第２動画モードにおいて、光源のフリッカーが検出された場合と検出されない場合とで第２フレーム周期を変化させない。第２の態様では、第２動画モードではフリッカーが検出されたか否かによらず第２フレーム周期（記録のフレーム周期）を変化させないので、あらかじめ指定されたフレーム周期と異なる周期で動画データが記録されることがない。

第３の態様に係る撮像装置は第１の態様において、制御部は、第２動画モードにおいて光源のフリッカーが検出された場合、第２フレーム周期を第１フレーム周期より長い周期に設定する。第３の態様では、フリッカー対策として第１フレーム周期を短く（フリッカー周期の整数倍に）した場合に、第２フレーム周期をそれに合わせて短くしなくてよい。

第４の態様に係る撮像装置は第１から第３の態様のいずれか１つにおいて、画像処理部は、第２フレーム周期が第１フレーム周期より長い場合に、第１動画データを構成する複数のフレームのうち一部のフレームを選択して第２フレーム周期の第２動画データを生成する。第４の態様では、一部のフレームの「間引き」により、第１フレーム周期で撮像した動画像を第２フレーム周期（記録フレーム周期）に合わせる。

第５の態様に係る撮像装置は第１から第４の態様のいずれか１つにおいて、画像処理部は、第２フレーム周期が第１フレーム周期より長い場合に、第１動画データを構成する複数のフレームを合成して第２動画データを構成するフレームを生成する。画像処理部は、フレームを合成する際に重み付けをしてもよい。

第６の態様に係る撮像装置は第１の態様において、制御部は、第２動画モードにおいて光源のフリッカーが検出された場合、第２フレーム周期を第１フレーム周期より短い周期に設定する。制御部は、ユーザの指示に応じてこのような処理を行ってもよい。

第７の態様に係る撮像装置は第１、第２、第６の態様のいずれか１つにおいて、画像処理部は、第１フレーム周期が第２フレーム周期より長い場合に、第１動画データを構成するフレームに補間フレームを挿入して第２フレーム周期の第２動画データを生成する。補間フレームは、何も被写体の映っていないフレームでもよいし、補間フレーム挿入直前のフレームそのままでもよい。また、挿入タイミングの前及び／または後のフレームから補間等により生成したフレームでもよい。なお、補間フレームを挿入する場合、撮像及び記録のフレーム周期、補間フレームの挿入タイミング等の情報を動画ファイルのヘッダ等に記録しておくことが望ましい。

第８の態様に係る撮像装置は第７の態様において、第２動画データを画像として表示装置に表示させる表示制御部をさらに備え、表示制御部は補間フレームを除いて第２動画データを表示させる。第８の態様では補間フレームが表示されないので、ユーザは撮像した動画を効率良く確認することができる。

第９の態様に係る撮像装置は第１、第３から第８の態様のいずれか１つにおいて、制御部は、第２動画モードにおいて、検出の結果に応じて第２フレーム周期をフリッカー周期の整数倍に設定する。第９の態様において、制御部は第１フレーム周期と第２フレーム周期とを等しくしてもよい。

第１０の態様に係る撮像装置は第１ないし第９の態様のいずれか１つにおいて、第１動画データにおける光源のフリッカー位相情報を検出する位相検出部をさらに備え、制御部は、第２動画モードにおいて、第１動画データを構成するフレームの露光タイミングをフリッカー位相情報に基づいて制御する。第１０の態様によれば、フレーム間の明暗や色味のばらつきを低減するだけでなく、所望の明るさで動画を撮像することができる。

第１１の態様に係る撮像装置は第１ないし第１０の態様のいずれか１つにおいて、第２動画モードでは、第１動画モードに対してオートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定される。第１１の態様は、第２動画モードにおいて第１動画モードと異なる撮影条件を規定したものである。

第１２の態様に係る撮像装置は第１ないし第１１の態様のいずれか１つにおいて、第２動画データを構成するフレームを静止画として抽出する静止画抽出部をさらに備える。フリッカー対策を行わない場合「静止画として抽出するのに最適なタイミングのフレームが、画質不良である」等の問題が生じる可能性があるが、第１２の態様によれば、上述したフリッカー対策により、ユーザは画質低下を気にせずに抽出するフレームを選択することができる。

上述した目的を達成するため、本発明の第１３の態様に係る撮像装置は、動画像における光源のフリッカー周期を検出する周期検出部と、第１フレーム周期で動画像を撮像する撮像部と、撮像した動画像を示す第１動画データを取得する画像取得部と、第１動画データを処理して第２フレーム周期の第２動画データを生成する画像処理部と、第２動画データを記録装置に記録させる記録部と、第１フレーム周期及び第２フレーム周期を制御する制御部と、を備える撮像装置であって、制御部は検出の結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定し、第２フレーム周期をあらかじめ指定された周期に設定する。第１３の態様によれば、第１フレーム周期をフリッカー周期の整数倍に設定することにより、フレーム間の明るさや色味のばらつきを低減することができる。また、第１３の態様によればフリッカー対策を行って撮像した動画をあらかじめ指定されたフレーム周期（第２フレーム周期）で記録することができる。制御部は、ユーザの指定操作に応じて、またはユーザの指定操作によらずに第２フレーム周期を設定することができ、これによりフリッカー対策を行って撮像した動画を所望のフレーム周期で記録させることができる。

なお第１３の態様及び以下の各態様において、制御部は、ユーザの指定操作に応じて、またはユーザの指定操作によらずに第２フレーム周期（記録のフレーム周期）を設定し、設定した第２フレーム周期に応じて第１フレーム周期（撮影のフレーム周期）を設定してもよい。

第１４の態様に係る撮像装置は第１３の態様において、制御部は、光源のフリッカーが検出された場合、第２フレーム周期を第１フレーム周期より長い周期に設定する。第１４の態様は、第１フレーム周期の設定手法の一態様を規定するものである。

第１５の態様に係る撮像装置は第１３または第１４の態様において、画像処理部は、第２フレーム周期が第１フレーム周期より長い場合に、第１動画データを構成する複数のフレームのうち一部のフレームを選択して第２動画データを生成する。第１５の態様では、一部のフレームの「間引き」により、第１フレーム周期で撮像した動画像を第２フレーム周期（記録のフレーム周期）に合わせることができる。

第１６の態様に係る撮像装置は第１３から第１５の態様のいずれか１つにおいて、画像処理部は、第２フレーム周期が第１フレーム周期より長い場合に、第１動画データを構成する複数のフレームを合成して第２動画データを構成するフレームを生成する。合成の際に、フレームに重み付けをしてもよい。

第１７の態様に係る撮像装置は第１３の態様において、制御部は、光源のフリッカーが検出された場合、第２フレーム周期を第１フレーム周期より短い周期に設定する。第１７の態様は、第１フレーム周期の設定手法の一態様を規定するものである。

第１８の態様に係る撮像装置は第１３または第１７の態様において、画像処理部は、第１フレーム周期が第２フレーム周期より長い場合に、第１動画データを構成するフレームに補間フレームを挿入して第２動画データを構成するフレームを生成する。補間フレームは、何も被写体の映っていないフレームでもよいし、補間フレーム挿入直前のフレームそのままでもよい。また、挿入タイミングの前後のフレームを補間して生成したフレームでもよい。なお、補間フレームを挿入する場合、撮像及び記録のフレーム周期（フレームレート）、補間フレームの挿入タイミング等の情報を動画ファイルのヘッダ等に記録しておくことが望ましい。

第１９の態様に係る撮像装置は第１８の態様において、第２動画データを画像として表示装置に表示させる表示制御部をさらに備え、表示制御部は補間フレームを除いて第２動画データを表示させる。第１９の態様では、補間フレームが表示されないので、ユーザは記録した動画を効率良く確認することができる。

第２０の態様に係る撮像装置は第１３から第１９の態様のいずれか１つにおいて、第１動画データにおける光源のフリッカー位相情報を検出する位相検出部をさらに備え、制御部は、第１動画データを構成するフレームの露光タイミングをフリッカー位相情報に基づいて制御する。第２０の態様によれば、フレーム間の明暗や色味のばらつきを低減するだけでなく、全てのフレームを所望の明るさで撮影することができる。

第２１の態様に係る撮像装置は第１３から第２０の態様のいずれか１つにおいて、制御部は、動画像の撮像モードとして、第１動画モードと、動画像を構成するフレームの露光時間が第１動画モードより短く設定される第２動画モードとを有し、制御部は、第２動画モードでは、検出の結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定する。第２１の態様では、第１の態様と同様に、動画像を構成するフレームの露光時間が第１動画モードより短く設定される第２動画モード（フリッカーの影響が大きい）ではフリッカーの検出の結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定するので、フレームの露光時間に応じたフリッカー対策を行うことができる。

第２２の態様に係る撮像装置は第２１の態様において、第２動画モードは、第１動画モードに対してオートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定される。第２２の態様は、第２動画モードにおいて第１動画モードと異なる撮影条件を規定したものである。

第２３の態様に係る撮像装置は第１３から第２２の態様のいずれか１つにおいて、第２動画データを構成するフレームを静止画として抽出する静止画抽出部をさらに備える。フリッカー対策がないと「タイミングが最適のフレームが、画質が不良である」等の問題が生じる可能性があるが、第２３の態様によれば、上述したフリッカー対策によりユーザは画質低下を気にすることなく抽出するフレームを選択することができる。

上述した目的を達成するため、本発明の第２４の態様に係る撮像方法は、動画像の撮像モードとして、第１動画モードと、動画像を構成するフレームの露光時間が第１動画モードより短く設定される第２動画モードとを有する撮像装置の撮像方法であって、動画像における光源のフリッカー周期を検出する周期検出ステップと、第１フレーム周期で動画像を撮像する撮像ステップと、撮像した動画像を示す第１動画データを取得する画像取得ステップと、第１動画データを処理して第２フレーム周期の第２動画データを生成する画像処理ステップと、第２動画データを記録装置に記録させる記録ステップと、第１フレーム周期及び第２フレーム周期を制御する制御ステップと、を有し、制御ステップにおいて、第２動画モードでは検出の結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定し、第１動画モードではフリッカー周期によらずに第１フレーム周期を設定する。第２４の態様によれば、第１の態様と同様に、動画像を構成するフレームの露光時間に応じたフリッカー対策を行うことができる。また、フリッカー対策を行って撮像した動画を第２フレーム周期で記録することができる。第２４の態様に対し、第２から第１２の態様と同様の構成をさらに含めてもよい。

上述した目的を達成するため、本発明の第２５の態様に係る撮像方法は、動画像における光源のフリッカー周期を検出する検出ステップと、第１フレーム周期で動画像を撮像する撮像ステップと、撮像した動画像を示す第１動画データを取得する画像取得ステップと、第１動画データを処理して第２フレーム周期の第２動画データを生成する画像処理ステップと、第２動画データを記録装置に記録させる記録ステップと、第１フレーム周期及び第２フレーム周期を制御する制御ステップと、を有し、制御ステップにおいて、検出の結果に応じて第１フレーム周期をフリッカー周期の整数倍に設定し、第２フレーム周期をあらかじめ指定された周期に設定する。第２５の態様によれば、第１３の態様と同様に、フリッカー対策を行って撮像した動画を所望のフレーム周期で記録することができる。第２５の態様に対し、第１４から第２３の態様と同様の構成をさらに含めてもよい。

上述した目的を達成するため、本発明の第２６の態様に係るプログラムは、第２４の態様に係る撮像方法を撮像装置に実行させる。これにより、第１の態様及び第２４の態様と同様に、動画像を構成するフレームの露光時間に応じたフリッカー対策を行うことができる。第２６の態様に係るプログラムに、第２から第１２の態様と同様の構成をさらに含めてもよい。また、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の一態様として挙げることができる。

上述した目的を達成するため、本発明の第２７の態様に係るプログラムは、第２５の態様に係る撮像方法を撮像装置に実行させる。これにより、第１３の態様及び第２５の態様と同様に、フリッカー対策を行って撮像した動画を所望のフレーム周期で記録することができる。第２７の態様に係るプログラムに、第１４から第２３の態様と同様の構成をさらに含めてもよい。また、これら態様のプログラムのコンピュータで読み取り可能なコードを記録した非一時的記録媒体も、本発明の一態様として挙げることができる。

以上説明したように、本発明の撮像装置、撮像方法、及びプログラムによれば、動画像を構成するフレームの露光時間に応じたフリッカー対策を行うことができる。また、本発明の撮像装置、撮像方法、及びプログラムによれば、フリッカー対策を行って撮像した動画を所望のフレーム周期で記録することができる。

図１は、第１の実施形態に係るカメラの構成を示す図である。 図２は、画像処理装置の機能構成を示す図である。 図３は、撮像方法の処理を示すフローチャートである。 図４は、撮像フレーム周期とフリッカーによる影響との関係を示す図である。 図５は、撮像タイミングの制御の様子を示す図である。 図６は、撮像方法の処理を示す他のフローチャートである。 図７は、フレームの間引きの様子を示す図である。 図８は、フレームの挿入の様子を示す図である。 図９は、フレーム切り出し時の再生処理を示すフローチャートである。 図１０は、撮像方法の処理を示す他のフローチャートである。 図１１は、撮像方法の処理を示すさらに他のフローチャートである。 図１２は、撮像方法の処理を示すさらに他のフローチャートである。 図１３は、撮像方法の処理を示すさらに他のフローチャートである。 図１４は、第２の実施形態に係るスマートフォンの外観図である。 図１５は、第２の実施形態に係るスマートフォンの構成を示すブロック図である。

以下、添付図面を参照しつつ、本発明に係る撮像装置、撮像方法、及びプログラムを実施するための形態について詳細に説明する。

＜第１の実施形態＞

＜撮像装置の全体構成＞

図１は第１の実施形態に係るカメラ１０（撮像装置）の構成を示す図である。カメラ１０は交換レンズ１００（撮像部、撮像装置）及び撮像装置本体２００（撮像装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

＜交換レンズの構成＞

交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｈ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌを有する。

＜撮像装置本体の構成＞

撮像装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Ａｎａｌｏｇ ＦｒｏｎｔＥｎｄ、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ、撮像部）、及び画像処理装置２４０（画像取得部、フリッカー検出部、画像処理部、記録部、制御部、表示制御部、静止画抽出部、レンズ駆動制御部）を備える。また、撮像装置本体２００は、操作部２５０、記録装置２６０（記録装置）、モニタ２７０（表示装置）、及び姿勢センサ２８０を備える。撮像装置本体２００は、撮像素子２１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。尚、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、画像処理装置２４０によって撮像素子２１０の電荷蓄積期間を制御することで露光時間（シャッタースピード）を調節することが出来る。また、撮像部２０１は交換レンズ１００、撮像素子２１０、ＡＦＥ２２０、及びＡ／Ｄ変換器２３０で構成されており、画像取得部２４０Ａ（画像取得部）により制御される。

撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そして、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

＜画像処理装置の構成＞

図２は、画像処理装置２４０の機能構成を示す図である。画像処理装置２４０は、画像取得部２４０Ａ（画像取得部）、フリッカー検出部２４０Ｂ（周期検出部、位相検出部）、画像処理部２４０Ｃ（画像処理部）、記録部２４０Ｄ（記録部）、制御部２４０Ｅ（制御部）、表示制御部２４０Ｆ（表示制御部）、静止画抽出部２４０Ｇ（静止画抽出部）、及びレンズ駆動制御部２４０Ｈ（レンズ駆動制御部）を備える。画像処理装置２４０は、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて動画の撮像（撮影）及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置２４０を用いた処理の詳細は後述する。

画像処理装置２４０の機能は、各種のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的記録媒体に記憶しておく。そして、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮像方法を実行するためのプログラム（撮像装置を動作させるプログラム）を含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたデータを参照することもできる。

画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の撮像、記録、表示等に必要なプログラム（本発明に係る撮像方法を実行するためのプログラムを含む）のコンピュータ（例えば、画像処理装置２４０を構成する各種のプロセッサ）で読み取り可能なコードが記録される。

＜操作部＞

操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Ｑｕｉｃｋボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮像モード設定、動画撮像指示、記録フレーム周期の指定、静止画抽出指示等、各種の操作を行うことができる。また、制御部２４０Ｅは、これらユーザの指示を受け付けることができる。なお、モニタ２７０（タッチパネル型）を操作部２５０として使用してもよい。

＜記憶部＞

記録装置２６０（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を保存する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。撮像した画像（動画、静止画）を、例えば有線及び／または無線通信により外部の（記録装置２６０以外の）記録媒体や記録装置に送信して保存してもよい。

＜モニタ及びファインダ＞

モニタ２７０（表示装置）はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。また、カメラ１０はファインダを備えていてもよい。

＜姿勢センサ＞

カメラ１０は姿勢センサ２８０（例えば、３軸方向の加速度を測定する加速度センサ）を備えており、姿勢センサ２８０の測定結果に基づいてカメラ１０の姿勢（重力に対する方向）を検出することができる。表示制御部２４０Ｆは、モニタ２７０に表示させる画像の向きを、カメラ１０の姿勢（縦か横か）に応じて変更することができる。

＜撮影モード＞

カメラ１０は撮影モードとして静止画モード、通常動画モード（第１動画モード）、静止画抽出用動画モード（第２動画モード）、のいずれかを設定することができる。静止画モード、通常動画モードは通常のデジタルカメラと同様のモードである。一方、静止画抽出用動画モードは動画のファイルから静止画を抽出可能なモードであり、通常動画モードと撮像条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮像条件の動画）を撮像する。具体的には、静止画抽出用動画モードでは、オートフォーカスの速度（目標とする合焦距離に向かうためのフォーカスレンズの駆動速度）、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが通常動画モードに対して高速に設定される。なお、静止画抽出用動画モードでは解像度をカメラ１０で設定可能な最高値（例えば４，０００×２，０００画素）に設定し、色調も静止画抽出を前提として設定することが好ましい。また、静止画抽出用動画モードではＩＳＯ感度（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）の上限を通常動画モードより高くしてシャッタースピードの上限を高速化し、被写体のブレを少なくすることが好ましい。

シャッタースピードに関しては、通常動画モードでは記録する動画のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定される。一方、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画モードでは、滑らかな動画が再生されるように、シャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画モードではシャッタースピードを通常動画モードよりも高速に設定している。即ち、静止画抽出用動画モードでは、動画を構成するフレームの露光時間が通常動画モードよりも短い。尚、静止画抽出用動画モードにおいて、シャッタースピード（露光時間）の設定は、静止画モードと同様にＰモード（プログラムモード）やＳモード（シャッタスピード優先）を用いることができる。Ｐモード（プログラムモード）では、シャッタースピードと絞り値の両方が撮像装置によって自動制御される。一方、Ｓモードでは、シャッタースピードはユーザが事前に設定し、絞り値が撮像装置によって自動制御される。

なお、静止画抽出用動画モードにおけるフレーム周期（フレームレート）の設定については、詳細を後述する。

上述した静止画抽出用動画モードによれば、動画を構成するフレームを事後的に静止画として抽出することができる。よって、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できる。よって、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件（上述したシャッタースピード、解像度、フレーム周期等）を設定することにより高画質の静止画を抽出することができる。

なお、このような静止画の事後的抽出に加えて、静止画抽出用動画モード及び通常動画モードにおいては、動画撮影中に静止画を撮像（記録）することができる。

＜動画モードにおける処理＞

上述した構成のカメラ１０における撮像方法について説明する。図３は、動画モード（通常動画モード及び静止画抽出用動画モード）における処理を示すフローチャートである。

＜動画モードの設定＞

制御部２４０Ｅは、操作部２５０を介したユーザの操作に基づいて、カメラ１０を通常動画モード（第１動画モード）または静止画抽出用動画モード（第２動画モード）に設定する（ステップＳ１００：モード設定ステップ）。

＜フリッカーの検出＞

フリッカー検出部２４０Ｂ（周期検出部）は、フリッカーの周期を検出する（ステップＳ１１０：周期検出ステップ）。検出は、例えば特開２０１８－１３３８２６号公報に記載の手法により行うことができる。具体的には、フリッカー検出部２４０Ｂは、時間間隔を空けて取得した複数のフレーム（ライブビュー画像を構成するフレームでもよい）からフリッカーを検出することができる。例えば電源周波数として５０Ｈｚ（電源周期：２０ｍｓｅｃ）と６０Ｈｚ（電源周期：約１６．７ｍｓｅｃ）を考える場合、撮像部２０１がいずれの電源周波数（５０Ｈｚ，６０Ｈｚ）とも異なるフレーム周期で複数の画像を撮像して、撮像した画像を画像取得部２４０Ａが取得する。そして、取得した画像をフリッカー検出部２４０Ｂが自己相関処理した波形の周期をフリッカーの周期とすることができる。フリッカー検出部２４０Ｂは、この波形からフリッカーの位相を検出することもできる。フリッカー検出部２４０Ｂは、他の公知の手法によりフリッカーを検出してもよい。他の電源周波数（５０Ｈｚ，６０Ｈｚ以外）を考慮する場合も同様である。また、フリッカー検出部２４０Ｂは、光源の明暗変化が周期的であり、かつ、明暗差が一定の以上の光源をフリッカーとして検出してもよい。

なお、第１の実施形態及び後述する他の態様（変形例を含む）では動画像の記録開始前にフリッカーの検出を行う場合について説明しているが、動画像の記録開始後にフリッカーの光源がオンまたはオフされる場合がある。フリッカー検出部２４０Ｂは、このような事情を考慮して、動画像の記録開始前に加えて記録開始後にフリッカーの検出を行い、検出結果に基づいて撮像フレーム周期及び／または記録フレーム周期を再設定してもよい。また、シーン認識等で撮影シーンの変化が検出された場合に、フリッカーの検出を行い、検出結果に基づいて撮像フレーム周期及び／または記録フレーム周期を再設定してもよい。

なお、交流電源の波形は正弦波状であるが、フリッカーによる明るさの変化（図４参照）を考えた場合、その周波数は電源周波数の２倍になる。したがって、フリッカーの周期は電源周期の１／２である。具体的には、電源周波数５０Ｈｚ（周期＝１／５０ｓｅｃ）の場合のフリッカー周波数は１００Ｈｚ（周期＝１／１００ｓｅｃ）、電源周波数６０Ｈｚ（周期＝１／６０ｓｅｃ）の場合のフリッカー周波数は１２０Ｈｚ（周期＝１／１２０ｓｅｃ）である。

＜静止画抽出用動画モードにおける撮像フレーム周期の設定＞

フリッカーが検出された（フリッカー有り）場合（ステップＳ１２０でＹｅｓ）、制御部２４０Ｅは撮像モードが第２動画モード（静止画抽出用動画モード）であるか否かを判断する（ステップＳ１３０）。第２動画モードの場合（ステップＳ１３０でＹｅｓ）、制御部２４０Ｅは、ステップＳ１１０での検出結果に応じて撮像フレーム周期を設定する。具体的には例えば、フリッカー周期が１／１００ｓｅｃの場合、処理がステップＳ１４０からステップＳ１５０に進む。制御部２４０Ｅは、撮像フレーム周期（第１フレーム周期）を１／１００ｓｅｃ（撮像フレームレート＝１００ｆｐｓ）に設定し（ステップＳ１５０：制御ステップ）、記録フレーム周期（第２フレーム周期）を１／１００ｓｅｃ（記録フレームレート＝１００ｆｐｓ）に設定する（ステップＳ１６０：制御ステップ）ことができる。この場合、撮像フレーム周期とフリッカー周期が等しいので、撮像フレーム周期はフリッカー周期の１倍（整数倍の一態様）である。また、この場合、記録フレーム周期と撮像フレーム周期が等しい。なお、「ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）」は１秒あたりのフレーム数を示す。

一方、フリッカー周期が１／１２０ｓｅｃの場合、処理がステップＳ１４０からステップＳ１７０に進む。制御部２４０Ｅは、撮像フレーム周期（第１フレーム周期）を１／１２０ｓｅｃ（撮像フレームレート＝１２０ｆｐｓ）に設定し（ステップＳ１７０：制御ステップ）、記録フレーム周期（第２フレーム周期）を１／１２０ｓｅｃ（記録フレームレート＝１２０ｆｐｓ）に設定することができる（ステップＳ１８０）。この場合も、撮像フレーム周期とフリッカー周期が等しいので、撮像フレーム周期はフリッカー周期の１倍（整数倍の一態様）である。また、記録フレーム周期と撮像フレーム周期が等しい。

なお、静止画抽出用動画モード（第２動画モード）において、制御部２４０Ｅはフリッカーが検出された場合と検出されない場合とで記録フレーム周期（第２フレーム周期）を変化させなくてもよい（撮像フレーム周期がフリッカー周期の整数倍であればよい）。

＜通常動画モードにおけるフレーム周期の設定＞

撮像モードが通常動画モード（第１動画モード）に設定されている場合（ステップＳ１３０でＮｏ）、制御部２４０Ｅは、フリッカー周期によらずに撮像フレーム周期（第１フレーム周期）を設定する（ステップＳ１９０：制御ステップ）。この場合、制御部２４０Ｅは、撮像フレーム周期をユーザ操作に基づいて設定してもよいし、ユーザ操作によらずに設定してもよい。また、制御部２４０Ｅは、通常動画モードの場合も、記録フレーム周期（第２フレーム周期）に撮像フレーム周期と等しい値を設定することができる（ステップＳ２００：制御ステップ）。例えば、制御部２４０Ｅは、フリッカー周期によらずに撮像フレーム周期を１／１００ｓｅｃに、記録フレーム周期を１／１００ｓｅｃに設定することができる。なお、制御部２４０Ｅは、フリッカーが検出されなかった場合（ステップＳ１２０でＮｏ）も、通常動画モードの場合と同様に撮像フレーム周期及び記録フレーム周期を設定することができる。

＜動画像の記録＞

画像取得部２４０Ａ及び制御部２４０Ｅは、動画記録開始指示がされたか否かを判断する（ステップＳ２１０：撮像ステップ、画像取得ステップ）。例えば操作部２５０の図示せぬレリーズボタンが押し下げされた場合に「動画記録開始指示がされた」と判断することができる。判断が肯定されるとステップＳ２２０へ進み、撮像部２０１が上述した処理により設定された撮像フレーム周期（第１フレーム周期）で動画像を撮像して、画像取得部２４０Ａが撮像動画データ（撮像した動画像を示す第１動画データ）を取得する（ステップＳ２２０：撮像ステップ、画像取得ステップ）。そして、画像処理部２４０Ｃは、第１動画データを処理して、記録フレーム周期（第２フレーム周期）の記録用動画データ（第２動画データ）を生成する（ステップＳ２２２：画像処理ステップ）。撮像フレーム周期と記録フレーム周期が異なっている場合、画像処理部２４０Ｃは、フレームの挿入や間引きを行って記録用動画データを生成してもよい（後述する態様を参照）。また、画像処理部２４０Ｃは、フレームの挿入や間引き以外の画像処理を行ってもよい。

記録部２４０Ｄ（記録部）は、生成された第２動画データを記録装置２６０（記録装置）に記録させる（ステップＳ２２４：記録ステップ）。上述した例のように撮像フレーム周期が１／１００ｓｅｃ、記録フレーム周期が１／１００ｓｅｃの場合（撮像フレーム周期と記録フレーム周期が等しい場合）、記録部２４０Ｄは、撮像動画データのフレームを全て記録すればよい。記録部２４０Ｄは、記録用動画データを外部の記録装置（カメラ１０に接続された記録装置等）に記録してもよい。なお、画像処理部２４０Ｃ及び記録部２４０Ｄは、記録用動画のタグ等に、撮像フレーム周期（撮像フレームレート）、記録フレーム周期（記録フレームレート）等の情報を記録することが好ましい。

画像取得部２４０Ａ、画像処理部２４０Ｃ、及び記録部２４０Ｄは、動画記録終了指示があるまで（ステップＳ２３０でＮｏの間）、かつ記録メディア（記録装置２６０等）の残容量が十分である間（ステップＳ２４０でＹｅｓの間）、ステップＳ２２０からＳ２２４までの処理を継続する。動画記録終了指示があった場合（ステップＳ２３０でＹｅｓ）及び記録メディアの残容量が十分でない場合（ステップＳ２４０でＮｏ）、画像取得部２４０Ａ、画像処理部２４０Ｃ、及び記録部２４０Ｄは、処理を終了して記録中の動画ファイルをクローズする（ステップＳ２５０）。

図４は、上述した処理により撮像フレーム周期（第１フレーム周期）をフリッカー周期の整数倍に設定した場合の、フリッカー光源による明るさの変化と動画の各フレームの撮像タイミングとの関係を概念的に示す図である。図４に示す例では、撮像フレーム周期（＝｜ｔ２－ｔ１｜）をフリッカー周期（Ｔ０）の１倍（整数倍の一態様）に設定している。時刻ｔ１，ｔ２は撮像タイミングを示す。これによりフリッカー光源の明るさの影響が一定の状態（明るさＬ０）で動画を撮像し、フレーム間の明暗差や色味の差を低減することができる。

静止画抽出用動画モード（第２動画モード）では動画像を構成する各フレームの露光時間が通常動画モード（第１動画モード）よりも短く設定され、フリッカーの影響が大きいが、上述したように撮像フレーム周期をフリッカー周期の整数倍に設定することにより、動画像を構成するフレームの露光時間に応じたフリッカー対策を行うことができる。

＜撮像タイミングの設定＞

上述したように、本発明の一態様によりフレーム間の明暗差や色味の差を低減することができるが、動画像の撮像タイミング（各フレームの露光タイミング）によっては、フリッカー光源の明るさが暗い状態で各フレームを撮像することになる。これに対して、以下に説明するように動画像の撮像タイミングを設定することで、フリッカー光源の明るさが所望の状態で動画像を撮像することができる。フリッカー光源の明るさの変化（フリッカー位相情報）の検出は、ステップＳ１１０におけるフリッカー周期の検出と合わせて行うことができる（位相検出ステップ）。すなわち、画像取得部２４０Ａの制御により複数回画像を取得し、これら画像をフリッカー検出部２４０Ｂ（位相検出部）が自己相関処理した波形から、撮像タイミングと明るさとの関係を把握することができる。そして、制御部２４０Ｅは、静止画抽出用動画モード（第２動画モード）において、撮像動画データ（撮像した動画像を示す第１動画データ）を構成するフレームの露光タイミングをフリッカー位相情報に基づいて制御する。この制御の下で撮像部２０１が動画像を撮像し、画像取得部２４０Ａが撮像動画データを取得する（ステップＳ２２０）。

図５は、上述した制御により設定された撮像タイミング（時刻ｔ３，ｔ４，ｔ５，ｔ６，ｔ７）で撮像することで、フリッカー光源の明るさが最大（明るさＬ１）になる様子を示している。図５ではフリッカー光源の明るさが最大になる露光タイミングで撮像する様子を示しているが、図４の例のように撮像タイミング（例えばｔ１，ｔ２）をフリッカー光源の明るさが最大になるタイミングからずらし、動画像の明るさを調節してもよい。このような撮像タイミングの設定は、以下に説明する他の態様及びその変形例でも同様に行うことができる。

＜撮像及び記録フレーム周期設定の他の態様＞

（他の態様１）

図６は、撮像及び記録フレーム周期（第１，第２フレーム周期）設定の他の態様１を示すフローチャートである。図３のフローチャートと同様の処理については同一のステップ番号を付し、詳細な説明を省略する。

図６のフローチャートでは、制御部２４０Ｅは、記録フレーム周期（第２フレーム周期）の初期設定を行う（ステップＳ１０２：制御ステップ）。制御部２４０Ｅは、動画像のフレームレートとして一般的な値（２４ｆｐｓ，２５ｆｐｓ，３０ｆｐｓ，５０ｆｐｓ，６０ｆｐｓ等）に対応する記録フレーム周期（１／２４ｓｅｃ，１／２５ｓｅｃ，１／３０ｓｅｃ，１／５０ｓｅｃ，１／６０等）を設定してもよい。また、制御部２４０Ｅは、操作部２５０を介したユーザの指示に基づいて初期設定を行ってもよいし、ユーザの指示によらずに設定してもよい。以下では、ステップＳ１０２において、記録フレーム周期が１／３０ｓｅｃ（フレームレートは３０ｆｐｓ）に設定されたとして説明するが、記録フレーム周期に他の値が設定された場合も、同様に処理することができる。

他の態様１では、記録フレーム周期は初期設定のままとし、詳細を後述するように、撮像フレーム周期で取得した撮像動画データ（第１動画データ）に対しフレームの間引き、挿入等を行って、設定されたフレーム周期の記録用動画データ（第２動画データ）を生成する。撮像フレーム周期と記録フレーム周期が異なっていてもよい。記録フレーム周期は初期設定のままなので、図６のステップＳ１６０，Ｓ１８０はスキップしてよい。

ステップＳ１１０で検出されたフリッカー周期が１／１００ｓｅｃの場合、制御部２４０Ｅは、撮像フレーム周期（第１フレーム周期）として１／１００ｓｅｃ、１／５０ｓｅｃ等の値を設定することができる（ステップＳ１５０：制御ステップ）。これらの撮像フレーム周期は、フリッカー周期のそれぞれ１倍、２倍（整数倍の一態様）である。同様に、ステップＳ１１０で検出されたフリッカー周期が１／１２０ｓｅｃの場合、制御部２４０Ｅは、撮像フレーム周期（第１フレーム周期）として１／１２０ｓｅｃ、１／６０ｓｅｃ等の値を設定することができる（ステップＳ１７０：制御ステップ）。これらの撮像フレーム周期は、フリッカー周期のそれぞれ１倍、２倍（整数倍の一態様）である。なお、制御部２４０Ｅは、フリッカー周期の他の整数倍（３倍以上）の撮像フレーム周期を設定してもよい。

上述した例のように記録フレーム周期（第２フレーム周期）が撮像フレーム周期（第１フレーム周期）より長い場合、画像処理部２４０Ｃは、撮像動画データ（第１動画データ）を構成する複数のフレームのうち一部のフレームを選択して、記録フレーム周期（第２フレーム周期）の記録用動画データ（第２動画データ）を生成する（ステップＳ２２２：画像処理ステップ）。図７はこのような処理（フレームの間引き）の様子を概念的に示す図である（フレームは、時間ｔに沿って順次取得される）。図７の例では、画像処理部２４０Ｃは、撮像フレーム周期（Ｔ１）の撮像動画データ（第１動画データ）を構成する複数のフレーム（フレーム５０６；同図の（ａ）部分）のうち一部のフレームを選択して、記録フレーム周期（第２フレーム周期；図７ではＴ２（＞Ｔ１））の記録用動画データ（第２動画データ）を構成するフレーム（フレーム５０８；同図の（ｂ）部分）を生成している。

なお、画像処理部２４０Ｃは、記録フレーム周期（第２フレーム周期）が撮像フレーム周期（第１フレーム周期）より長い場合に、撮像動画データ（第１動画データ）を構成する複数のフレームを合成（重み付け加算等）して、記録用動画データ（第２動画データ）を構成するフレームを生成してもよい（ステップＳ２２２：画像処理ステップ）。

制御部２４０Ｅは、記録フレーム周期（第２フレーム周期）を撮像フレーム周期（第１フレーム周期）より短い周期に設定してもよい。例えば、記録フレーム周期を１／３０ｓｅｃに初期設定した場合に、制御部２４０Ｅは、撮像フレーム周期を１／２５ｓｅｃ（フリッカー周期が１／１００ｓｅｃの場合）に設定してもよい（ステップＳ１５０：制御ステップ）。この場合、撮像フレーム周期はフリッカー周期の４倍（整数倍の一態様）となる。

上述した例のように記録フレーム周期が撮像フレーム周期より短い場合（記録フレームレートが撮像フレームレートより高い場合）、画像処理部２４０Ｃは、第１動画データを構成するフレームに補間フレームを挿入して第２フレーム周期の第２動画データを生成することができる。図８はそのような補間フレームの様子を概念的に示す図である。撮像フレーム周期がＴ１であり記録フレーム周期がＴ２（＜Ｔ１）である場合、画像処理部２４０Ｃは、撮像動画データ（第１動画データ）を構成するフレーム（フレーム５００；図８の（ａ）部分を参照）の間に補間フレーム５０２Ａ（グレーで示すフレーム）を挿入して、記録フレーム周期がＴ２のフレーム５０２（同図の（ｂ）部分を参照）を生成することができる。フレーム５０２は撮像フレームと補間フレームとの比率が１：１の場合の例であるが、画像処理部２４０Ｃは、撮像フレーム周期及び記録フレーム周期に応じて比率を決めることができる。なお、補間フレームの例としては、被写体の映っていない黒フレーム（ダミーフレーム）、直前のフレームをそのまま使用したフレーム、挿入タイミングの前及び／または後ろのフレームを補間して生成したフレームを挙げることができるが、これらに限定されるものではない。

なお、補間フレームを挿入する場合、画像処理部２４０Ｃ及び記録部２４０Ｄは、記録用動画のタグ等に、撮影フレーム周期（撮影フレームレート）、記録フレーム周期（記録フレームレート）、挿入した補間フレームの位置等の情報を記録することが好ましい。以下に説明するように、静止画切り出しの際にこの情報を利用することができる。

＜動画再生及び静止画切り出し＞

図９は、動画再生及び静止画切り出し（静止画抽出）の様子を示すフローチャートである。表示制御部２４０Ｆは、ステップＳ２２４で記録した動画データのタグ等にダミーフレーム情報（補間により挿入したフレームの位置等を示す情報）が記録されているか否かを判断する（ステップＳ３００）。ダミーフレーム情報が記録されている場合（ステップＳ３００でＹｅｓ）、表示制御部２４０Ｆはその情報を設定し（読み込み：ステップＳ３１０）、記録用動画データ（第２動画データ）の再生を開始する（ステップＳ３２０）。表示制御部２４０Ｆは、画像をモニタ２７０（表示装置）に表示させてもよいし、カメラ１０に接続された他の表示装置に表示させてもよい。なお、ここでは動画をコマ送り再生（ユーザの操作に応じて１フレームずつ表示）する場合について説明する。

動画の再生を開始すると、表示制御部２４０Ｆはカウンタｋの値を１に初期設定し（ステップＳ３３０）、ｋ番目のフレームがダミーフレームであるか否かを判断する（ステップＳ３４０）。ｋ番目のフレームがダミーフレームでない場合（ステップＳ３４０でＮｏ）、表示制御部２４０Ｆはそのフレームを表示させる（ステップＳ３６０）。静止画抽出部２４０Ｇ（静止画抽出部）は、表示されたフレームに対する切り出し指示（ユーザによる、記録用動画データ（第２動画データ）を構成するフレームを静止画として抽出する指示）があったか否かを判断する（ステップＳ３７０）。切り出し指示があった場合（ステップＳ３７０でＹｅｓ）、静止画抽出部２４０Ｇ（静止画抽出部）は、指示されたフレームを静止画として切り出して（ステップＳ３８０）ステップＳ３９０に進む。動画ファイルはＭＰＥＧ形式等の動画用フォーマットで記憶されているので、静止画抽出部２４０Ｇは、指定されたフレームのデータを静止画用のフォーマット（ＪＰＥＧ形式等）に変換する。静止画抽出部２４０Ｇは、フォーマットの変換以外の画像処理を施してもよい。

切り出し指示がなかった場合（ステップＳ３７０でＮｏ）、表示制御部２４０Ｆはユーザによる再生終了指示があったか否かを判断し、指示があった場合（ステップＳ３９０でＹｅｓ）は図９のフローチャートの処理を終了する。再生終了指示がない場合（ステップＳ３９０でＮｏ）、表示制御部２４０Ｆはユーザによるコマ送り指示があったか否かを判断する。指示があった場合（ステップＳ４００でＹｅｓ）、表示制御部２４０Ｆはカウンタｋの値を１増やし（ステップＳ３５０）、ｋの値を１からＮの範囲にクリップして（ステップＳ４３０）ステップＳ３４０に戻る。コマ送り指示がなく（ステップＳ４００でＮｏ）コマ戻し指示（前のフレームを表示させる指示）があった場合（ステップＳ４１０でＹｅｓ）、表示制御部２４０Ｆはカウンタｋの値を１減らし（ステップＳ４２０）ｋの値を１からＮの範囲にクリップして（ステップＳ４３０）ステップＳ３４０に戻る。コマ戻し指示がなかった場合（ステップＳ４１０でＮｏ）も、同様に表示制御部２４０Ｆはｋの値を１からＮの範囲にクリップして（ステップＳ４３０）ステップＳ３４０に戻る。

このように、ダミーフレーム（補間フレームの一態様）が記録された動画データを静止画抽出のために再生する場合にダミーフレームを表示させないので、ユーザは静止画抽出作業を効率的に行うことができる。

（他の態様１の変形例１）

図６のフローチャートにおいて、ステップＳ１０２で初期設定された記録フレーム周期を、撮像フレーム周期に応じて変更（再設定）してもよい。この場合、制御部２４０Ｅは、ステップＳ１６０、ステップＳ１８０で記録フレーム周期（第２フレーム周期）を変更（再設定）する。この際、撮像フレーム周期よりも長いフレーム周期（撮像フレームレートよりも低いフレームレート）で、一般的な動画の規格に合わせたフレーム周期を設定することができる。具体的には、例えば初期設定された記録フレーム周期が１／３０ｓｅｃでフリッカー周期が１／１００ｓｅｃの場合、制御部２４０Ｅは撮像フレーム周期（第１フレーム周期）を１／１００ｓｅｃに設定する（ステップＳ１５０）。また、制御部２４０Ｅは、撮像フレーム周期に対応させて記録フレーム周期（第２フレーム周期）を１／６０ｓｅｃ、１／５０ｓｅｃ、１／２５ｓｅｃ、１／２４ｓｅｃ（フレームレートはそれぞれ６０ｆｐｓ、５０ｆｐｓ、２５ｆｐｓ、２４ｆｐｓ）のいずれかに設定する（ステップＳ１６０）。

また、例えば初期設定された記録フレーム周期が１／３０ｓｅｃでフリッカー周期が１／１２０ｓｅｃの場合、制御部２４０Ｅは撮像フレーム周期を１／１２０ｓｅｃに設定する（ステップＳ１７０）。そして、制御部２４０Ｅは、撮像フレーム周期に対応させて記録フレーム周期を１／１００ｓｅｃ、１／６０ｓｅｃ、１／５０ｓｅｃ、１／２５ｓｅｃ、１／２４ｓｅｃ（フレームレートはそれぞれ１００ｆｐｓ、６０ｆｐｓ、５０ｆｐｓ、２５ｆｐｓ、２４ｆｐｓ）のいずれかに設定する（ステップＳ１８０）。

記録フレーム周期を変更（再設定）する場合、表示制御部２４０Ｆがモニタ２７０に情報を表示すること等によりユーザに報知することが好ましい。また、制御部２４０Ｅは、変更（再設定）する記録フレーム周期をユーザに選択させてもよい。また、変形例１では記録フレーム周期が撮像フレーム周期よりも長い。そこで、図７について上述したように、画像処理部２４０Ｃはフレームの間引き（記録フレーム周期に合わせて、撮像動画データを構成するフレームのうち一部のフレームを選択して記録用動画データを生成する）やフレームの合成を行って記録用動画データを生成する（ステップＳ２２２）。

（他の態様１の変形例２）

上述した変形例１では撮像フレーム周期よりも長い記録フレーム周期に変更（再設定）しているが、撮像フレーム周期よりも短い記録フレーム周期（撮像フレームレートよりも高い記録フレームレート）を設定してもよい。この場合も、一般的な動画の規格に合わせた記録フレーム周期を設定してよい。具体的には、例えば初期設定された記録フレーム周期が１／３０ｓｅｃでフリッカー周期が１／１００ｓｅｃの場合、制御部２４０Ｅは撮像フレーム周期（第１フレーム周期）を１／１００ｓｅｃに設定し（ステップＳ１５０）、記録フレーム周期（第２フレーム周期）を１／１２０ｓｅｃ（フレームレートは１２０ｆｐｓ）に設定する（ステップＳ１６０）。このようなフレーム周期の設定は、フリッカー周期が１／１２０ｓｅｃの場合も同様に行うことができる。

変形例２においても、表示制御部２４０Ｆがモニタ２７０に情報を表示すること等により、記録フレーム周期の変更（再設定）をユーザに報知することが好ましい。また、制御部２４０Ｅは、変更する記録フレーム周期をユーザに選択させてもよい。また、変形例２では記録フレーム周期が撮像フレーム周期よりも短い。そこで、図８について上述したように、画像処理部２４０Ｃは補間フレームの挿入を行って記録用動画データを生成する（ステップＳ２２２）。

（他の態様２）

図１０は、撮像フレーム周期及び記録フレーム周期設定の他の態様２を示すフローチャートである。他の態様２では、撮像モード（第１動画モード、第２動画モード）によらずフリッカー周期の整数倍の撮像フレーム周期（第１フレーム周期）で撮像し、あらかじめ指定された周期を記録フレーム周期（第２フレーム周期）として記録する。なお、図１０において図３，６のフローチャートと同様の処理については同一のステップ番号を付し、詳細な説明を省略する。

ステップＳ１１０で検出したフリッカー周期が１／１００ｓｅｃの場合、制御部２４０Ｅは、撮像フレーム周期を１／１００ｓｅｃ（＝フリッカー周期）またはその整数倍（２倍、３倍等）に設定する（ステップＳ１５０）。記録フレーム周期は初期設定値（ステップＳ１０２）のままでよい。一方、フリッカー周期が１／１２０ｓｅｃの場合、制御部２４０Ｅは、撮像フレーム周期を１／１２０ｓｅｃ（＝フリッカー周期）またはその整数倍（２倍、３倍等）に設定する（ステップＳ１７０）。記録フレーム周期は指定値（ステップＳ１０２）のままでよい。画像処理部２４０Ｃは、このようにして設定された撮像フレーム周期と記録フレーム周期との関係に応じて、図７，８について上述した補間フレームの挿入、フレームの合成、フレームの間引きを行う（ステップＳ２２２）。

なお、フリッカーが検出されない場合（ステップＳ１２０でＮｏ）、制御部２４０Ｅは、撮像フレーム周期を、ステップＳ１０２で設定された記録フレームと等しい値に設定することができる（ステップＳ１８２）。

（他の態様２の変形例１）

図１１は、他の態様２の変形例１を示すフローチャートである。他の態様２の変形例１においても、制御部２４０Ｅは、ステップＳ１０２で初期設定された記録フレーム周期を変更（再設定）することができる（ステップＳ１６０，Ｓ１８０）。フレーム周期を変更する場合、記録フレーム周期と撮像フレーム周期が等しくてもよいし、いずれかが長くてもよい。また、具体的なフレーム周期の値は、第１の実施形態、他の態様１及びその変形例と同様に設定することができる。画像処理部２４０Ｃは、撮像フレーム周期と記録フレーム周期との関係に応じて、上述した補間フレームの挿入、フレームの合成、フレームの間引きを行う（ステップＳ２２２）。

（他の態様３）

図１２は、撮像フレーム周期及び記録フレーム周期設定の他の態様３を示すフローチャートである。他の態様３では、制御部２４０Ｅは、通常動画モード（第１動画モード）ではフリッカー周期によらずに（フリッカーなしの場合と同様に）撮像フレーム周期を設定する（ステップＳ１８２）。一方、静止画抽出用動画モード（第２動画モード）では、制御部２４０Ｅは、フリッカー周期の検出結果に応じて、第１フレーム周期をフリッカー周期の整数倍に設定する。いずれの動画モードにおいても、制御部２４０Ｅは、記録フレーム周期をあらかじめ指定されたフレーム周期に設定する（ステップＳ１０２）。

フリッカー周期が１／１００ｓｅｃの場合、制御部２４０Ｅは、撮像フレーム周期を例えば１／１００ｓｅｃ、１／５０ｓｅｃ、１／２５ｓｅｃ、１／２０ｓｅｃ（フレームレートはそれぞれ１００ｆｐｓ，５０ｆｐｓ，２５ｆｐｓ、２０ｆｐｓ）に設定することができる。この場合、撮像フレーム周期はフリッカー周期のそれぞれ１倍、２倍、４倍、５倍である。また、フリッカー周期が１／１２０ｓｅｃの場合、制御部２４０Ｅは、撮像フレーム周期を例えば１／１２０ｓｅｃ、１／６０ｓｅｃ、１／３０ｓｅｃ、１／２４ｓｅｃ（フレームレートはそれぞれ１２０ｆｐｓ，６０ｆｐｓ，３０ｆｐｓ，２４ｆｐｓ）に設定することができる。この場合、撮像フレーム周期はフリッカー周期のそれぞれ１倍、２倍、４倍、５倍である。制御部２４０Ｅは、フリッカー周期の整数倍で、かつ動画像の一般的な規格に合わせた値を撮像フレーム周期に設定してもよい。

（他の態様３の変形例１）

図１３は、上述した他の態様３の変形例１を示すフローチャートである。変形例１では、制御部２４０Ｅは、記録フレーム周期を初期設定（ステップＳ１０２）の値から変更（再設定）する（ステップＳ１６０、Ｓ１８０）。この際、制御部２４０Ｅは、記録フレーム周期を撮像フレーム周期に合わせてフリッカー周期の整数倍に変更することができる。撮像フレーム周期との値は同じでもよいし、違っていてもよい。また、値が違う場合に、いずれの周期が長くてもよい。制御部２４０Ｅは、一般的な動画像の規格に合わせて撮像フレーム周期及び／または記録フレーム周期を設定してもよい。画像処理部２４０Ｃは、上述した態様及び変形例と同様に、フレーム周期の相違に応じて補間フレームの挿入、フレームの合成、フレームの間引きを行う（ステップＳ２２２）。

上述した他の態様１～３及びその変形例においても、第１の実施形態と同様に動画像を構成するフレームの露光時間に応じたフリッカー対策を行うことができる。また、フリッカー対策を行って撮像した動画を所望のフレーム周期で記録することができる。

＜第２の実施形態＞

第１の実施形態では、デジタルカメラであるカメラ１０について説明したが、撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１４は本発明の撮像装置の一実施形態であるスマートフォン１（撮像装置）の外観を示す図であり、同図の（ａ）部分は正面図、（ｂ）部分は背面図である。図１４に示すスマートフォン１は平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、筐体２は、スピーカ３１と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１，４２（撮像装置、撮像部）、ストロボ４３とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

図１５は、図１４に示すスマートフォン１の構成を示すブロック図である。図１５に示すように、スマートフォン１は、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１，４２と、ストロボ４３と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、モーションセンサ部８０と、電源部９０と、を備える。また、スマートフォン１は、主制御部１０１（画像取得部、フリッカー検出部（周期検出部、位相検出部）、制御部、表示制御部、静止画抽出部、レンズ駆動制御部）を備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行う。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

表示パネル２１においては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などが表示デバイスとして用いられる。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等の導体によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指やペン等の導体によって操作すると、操作パネル２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

図１４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆う配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１４に示すように、例えばスピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図１４に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０（記録装置）は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、公知の格納媒体を用いて実現される。

外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン１は、外部入出力部６０を介して他の外部機器に通信等により直接的または間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４、ネットワーク（例えば、インターネット、無線ＬＡＮ）を挙げることができる。この他、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）などを通信等の手段として挙げることができる。さらに、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）なども通信等の手段として挙げることができる。

スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポートを挙げることができる。また、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ(Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ)／ＵＩＭ(Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ)カードも外部機器として挙げることができる。また、オーディオ及びビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

モーションセンサ部８０は、例えば、３軸の加速度センサや傾斜センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度、姿勢が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給する。

主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御する。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

カメラ部４１，４２は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮影するデジタルカメラ（撮像装置）である。また、カメラ部４１，４２は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧなどの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１は、主制御部１０１の制御により、動画の分割及び結合、高画質な静止画（ＲＡＷ画像等）の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図１４，１５に示すスマートフォン１において、カメラ部４１，４２の一方を用いて撮影することもできるし、カメラ部４１，４２を同時に使用して撮影することもできる。カメラ部４２を用いる場合はストロボ４３を使用することができる。

また、カメラ部４１，４２はスマートフォン１の各種機能に利用することができる。例えば、スマートフォン１は、表示パネル２１にカメラ部４１，４２で取得した画像を表示できる。また、スマートフォン１は、操作パネル２２の操作入力のひとつとして、カメラ部４１，４２の画像を利用することができる。また、スマートフォン１は、ＧＰＳ受信部７０がＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて位置を検出する際に、カメラ部４１，４２からの画像を参照して位置を検出することもできる。さらには、スマートフォン１は、カメラ部４１，４２からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、スマートフォン１は、カメラ部４１，４２からの画像をアプリケーションソフトウェア内で利用することもできる。その他、スマートフォン１は、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することもできる。また、スマートフォン１は、これらの静止画または動画の画像データを外部入出力部６０や無線通信部１１を通じて出力することもできる。

上述した構成のスマートフォン１においても、第１の実施形態に係るカメラ１０と同様に本発明に係る撮像方法の処理（動画の撮像、フリッカーの周期及び位相の検出、フレーム周期の制御、記録用動画データの生成及び記録、記録用動画データの再生表示、静止画抽出等）を実行することができる。具体的には、第１の実施形態において画像処理装置２４０（図２に示す各部）が実行する処理（上述したフローチャートの処理を含む）をスマートフォン１ではカメラ部４１，４２及び主制御部１０１が実行できる。その他、第１の実施形態における操作部２５０、記録装置２６０、モニタ２７０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２によりそれぞれ実現することができる。

これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラ１０と同様の効果（動画像を構成するフレームの露光時間に応じたフリッカー対策を行えること、フリッカー対策を行って撮像した動画を所望のフレーム周期で記録できること等）を得ることができる。

以上で本発明の実施形態及び他の態様（変形例を含む）に関して説明してきたが、本発明は上述した実施形態及び他の態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１ スマートフォン

２ 筐体

１０ カメラ

１１ 無線通信部

２０ 表示入力部

２１ 表示パネル

２２ 操作パネル

３０ 通話部

３１ スピーカ

３２ マイクロフォン

４０ 操作部

４１ カメラ部

４２ カメラ部

４３ ストロボ

５０ 記憶部

５１ 内部記憶部

５２ 外部記憶部

６０ 外部入出力部

７０ ＧＰＳ受信部

８０ モーションセンサ部

９０ 電源部

１００ 交換レンズ

１０１ 主制御部

１１０ ズームレンズ

１２０ フォーカスレンズ

１３０ 絞り

１４０ レンズ駆動部

２００ 撮像装置本体

２０１ 撮像部

２１０ 撮像素子

２２０ ＡＦＥ

２３０ Ａ／Ｄ変換器

２４０ 画像処理装置

２４０Ａ 画像取得部

２４０Ｂ フリッカー検出部

２４０Ｃ 画像処理部

２４０Ｄ 記録部

２４０Ｅ 制御部

２４０Ｆ 表示制御部

２４０Ｇ 静止画抽出部

２４０Ｈ レンズ駆動制御部

２４２ ＲＯＭ

２５０ 操作部

２６０ 記録装置

２７０ モニタ

２８０ 姿勢センサ

５００ フレーム

５０２ フレーム

５０２Ａ 補間フレーム

５０６ フレーム

５０８ フレーム

ｋ カウンタ

Ｌ 光軸

Ｌ０ 明るさ

Ｌ１ 明るさ

Ｓ１００～Ｓ４３０ 撮像方法の各ステップ

ＳＴ１ ＧＰＳ衛星

ＳＴ２ ＧＰＳ衛星

ＳＴｎ ＧＰＳ衛星

Ｔ０ フリッカー周期

Ｔ１ 撮像フレーム周期

Ｔ２ 記録フレーム周期

ｔ 時間

ｔ１ 時刻

ｔ２ 時刻

ｔ３ 時刻

ｔ４ 時刻

ｔ５ 時刻

ｔ６ 時刻

ｔ７ 時刻

Claims (27)

1. 動画像における光源のフリッカー周期を検出する周期検出部と、
   フレーム周期が第１フレーム周期の動画像を撮像する撮像部と、
   前記撮像した前記動画像を示す第１動画データを取得する画像取得部と、
   前記第１動画データを処理してフレーム周期が第２フレーム周期の第２動画データを生成する画像処理部と、
   前記第２動画データを記録装置に記録させる記録部と、
   前記第１フレーム周期及び第２フレーム周期を制御する制御部と、を備える撮像装置であって、
   前記制御部は、前記動画像の撮像モードとして、第１動画モードと、前記動画像を構成するフレームの露光時間が前記第１動画モードより短く設定される第２動画モードと、を有し、
   前記制御部は、前記第２動画モードでは前記周期検出部でフリッカー周期が検出された場合に前記第１フレーム周期を前記フリッカー周期の整数倍に設定し、前記第１動画モードでは前記フリッカー周期によらずに前記第１フレーム周期を設定する撮像装置。
2. 前記制御部は、前記第２動画モードにおいて、前記光源のフリッカー周期が検出された場合と検出されない場合とで前記第２フレーム周期を変化させない請求項１に記載の撮像装置。
3. 前記制御部は、前記第２動画モードにおいて前記光源のフリッカー周期が検出された場合、前記第２フレーム周期を前記第１フレーム周期より長いフレーム周期に設定する請求項１に記載の撮像装置。
4. 前記画像処理部は、前記第２フレーム周期が前記第１フレーム周期より長い場合に、前記第１動画データを構成する複数のフレームのうち一部のフレームを選択してフレーム周期が前記第２フレーム周期の前記第２動画データを生成する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記画像処理部は、前記第２フレーム周期が前記第１フレーム周期より長い場合に、前記第１動画データを構成する複数のフレームを合成して前記第２動画データを構成するフレームを生成する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記制御部は、前記第２動画モードにおいて前記光源のフリッカー周期が検出された場合、前記第２フレーム周期を前記第１フレーム周期より短いフレーム周期に設定する請求項１に記載の撮像装置。
7. 前記画像処理部は、前記第１フレーム周期が前記第２フレーム周期より長い場合に、前記第１動画データを構成するフレームに補間フレームを挿入してフレーム周期が前記第２フレーム周期の前記第２動画データを生成する請求項１、２、６のいずれか１項に記載の撮像装置。
8. 前記第２動画データを画像として表示装置に表示させる表示制御部をさらに備え、前記表示制御部は前記補間フレームを除いて前記第２動画データを表示させる請求項７に記載の撮像装置。
9. 前記制御部は、前記第２動画モードにおいて、前記検出の結果に応じて前記第２フレーム周期を前記フリッカー周期の整数倍に設定する請求項１、３から８のいずれか１項に記載の撮像装置。
10. 前記第１動画データにおける前記光源のフリッカー位相情報を検出する位相検出部をさらに備え、
    前記制御部は、前記第２動画モードにおいて、前記第１動画データを構成するフレームの露光タイミングを前記フリッカー位相情報に基づいて制御する請求項１から９のいずれか１項に記載の撮像装置。
11. 前記第２動画モードでは、前記第１動画モードに対してオートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定される請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記第２動画データを構成するフレームを静止画として抽出する静止画抽出部をさらに備える請求項１から１１のいずれか１項に記載の撮像装置。
13. 動画像における光源のフリッカー周期を検出する周期検出部と、
    フレーム周期が第１フレーム周期の動画像を撮像する撮像部と、
    前記撮像した前記動画像を示す第１動画データを取得する画像取得部と、
    前記第１動画データを処理してフレーム周期が第２フレーム周期の第２動画データを生成する画像処理部と、
    前記第２動画データを記録装置に記録させる記録部と、
    前記第１フレーム周期及び第２フレーム周期を制御する制御部と、を備える撮像装置であって、
    前記制御部は前記検出の結果に応じて前記第１フレーム周期を前記フリッカー周期の整数倍に設定し、前記第２フレーム周期をあらかじめ指定された周期に設定する撮像装置。
14. 前記制御部は、前記光源のフリッカー周期が検出された場合、前記第２フレーム周期を前記第１フレーム周期より長いフレーム周期に設定する請求項１３に記載の撮像装置。
15. 前記画像処理部は、前記第２フレーム周期が前記第１フレーム周期より長い場合に、前記第１動画データを構成する複数のフレームのうち一部のフレームを選択して前記第２動画データを生成する請求項１３または１４に記載の撮像装置。
16. 前記画像処理部は、前記第２フレーム周期が前記第１フレーム周期より長い場合に、前記第１動画データを構成する複数のフレームを合成して前記第２動画データを構成するフレームを生成する請求項１３から１５のいずれか１項に記載の撮像装置。
17. 前記制御部は、前記光源のフリッカー周期が検出された場合、前記第２フレーム周期を前記第１フレーム周期より短い周期に設定する請求項１３に記載の撮像装置。
18. 前記画像処理部は、前記第１フレーム周期が前記第２フレーム周期より長い場合に、前記第１動画データを構成するフレームに補間フレームを挿入して前記第２動画データを構成するフレームを生成する請求項１３または１７に記載の撮像装置。
19. 前記第２動画データを画像として表示装置に表示させる表示制御部をさらに備え、
    前記表示制御部は前記補間フレームを除いて前記第２動画データを表示させる請求項１８に記載の撮像装置。
20. 前記第１動画データにおける前記光源のフリッカー位相情報を検出する位相検出部をさらに備え、
    前記制御部は、前記第１動画データを構成するフレームの露光タイミングを前記フリッカー位相情報に基づいて制御する請求項１３から１９のいずれか１項に記載の撮像装置。
21. 前記制御部は、前記動画像の撮像モードとして、第１動画モードと、前記動画像を構成するフレームの露光時間が前記第１動画モードより短く設定される第２動画モードとを有し、
    前記制御部は、前記第２動画モードでは、前記検出の結果に応じて前記第１フレーム周期を前記フリッカー周期の整数倍に設定する請求項１３から２０のいずれか１項に記載の撮像装置。
22. 前記第２動画モードは、前記第１動画モードに対してオートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定される請求項２１に記載の撮像装置。
23. 前記第２動画データを構成するフレームを静止画として抽出する静止画抽出部をさらに備える請求項１３から２２のいずれか１項に記載の撮像装置。
24. 動画像の撮像モードとして、第１動画モードと、前記動画像を構成するフレームの露光時間が前記第１動画モードより短く設定される第２動画モードとを有する撮像装置の撮像方法であって、
    動画像における光源のフリッカー周期を検出する周期検出ステップと、
    フレーム周期が第１フレーム周期の動画像を撮像する撮像ステップと、
    前記撮像した前記動画像を示す第１動画データを取得する画像取得ステップと、
    前記第１動画データを処理してフレーム周期が第２フレーム周期の第２動画データを生成する画像処理ステップと、
    前記第２動画データを記録装置に記録させる記録ステップと、
    前記第１フレーム周期及び第２フレーム周期を制御する制御ステップと、を有し、
    前記制御ステップにおいて、前記第２動画モードでは前記検出の結果に応じて前記第１フレーム周期を前記フリッカー周期の整数倍に設定し、前記第１動画モードでは前記フリッカー周期によらずに前記第１フレーム周期を設定する撮像方法。
25. 動画像における光源のフリッカー周期を検出する検出ステップと、
    フレーム周期が第１フレーム周期の動画像を撮像する撮像ステップと、
    前記撮像した前記動画像を示す第１動画データを取得する画像取得ステップと、
    前記第１動画データを処理してフレーム周期が第２フレーム周期の第２動画データを生成する画像処理ステップと、
    前記第２動画データを記録装置に記録させる記録ステップと、
    前記第１フレーム周期及び第２フレーム周期を制御する制御ステップと、を有し、
    前記制御ステップにおいて、前記検出の結果に応じて前記第１フレーム周期を前記フリッカー周期の整数倍に設定し、前記第２フレーム周期をあらかじめ指定された周期に設定する撮像方法。
26. 請求項２４に記載の撮像方法を撮像装置に実行させるプログラム。
27. 請求項２５に記載の撮像方法を撮像装置に実行させるプログラム。

Images