JP6742862B2 - 撮像装置、画像処理装置、撮像装置の制御方法、プログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、撮像装置の制御方法、プログラムに関する。

高速なフレームレートを設定して被写体を撮像することで取得した動画像（高速動画）を、撮像時よりも低速なフレームレートで再生することにより、所謂スローモーション再生を行うことができる撮像装置が知られている。高速動画は、低速なフレームレートで再生することで被写体やシーンの変化を正確、かつ、通常時よりも強調して記録することが出来るため、被写体の動きやシーンが短時間で大きく変化する場合などに有効である。
一方、被写体やシーンの変化に合わせてＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）／ＡＦ（ＡｕｔｏＦｏｃｕｓ）／ＷＢ（ＷｈｉｔｅＢｌａｎｃｅ）等の処理を実行すると、当該処理の過程がスローモーションで再生されるため、ユーザに違和感を与えてしまう。
特許文献１では、撮像される被写体の動きに応じて動画記録時のフレームレートを切替え、高速なフレームレートで撮像を行う際にはＡＥ／ＷＢの追従を制限する技術を開示している。また、特許文献２では、撮像時と再生時のフレームレートを鑑みて、ＡＥ／ＷＢの追従速度を変える技術を開示している。

特開２０１２-１５１７０６号公報 特開２０１２-１５６８８６号公報

しかしながら、特許文献１に記載の技術では、被写体の動きが大きい際に、ＡＥ／ＷＢの変化に追従出来ないため、画質状態が変動する可能性が高い。この場合、被写体の輝度変化に対して不自然に明るさが変化した動画が取得されてしまう。また、特許文献２に記載の技術では、撮像時と再生時のフレームレートの設定がＡＥ／ＷＢの追従速度の対応可能な範囲内を超える場合は、その効果が得られない。

本発明は、高フレームレートで撮像された動画像を高品位な動画像として再生することが可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の一側面である撮像装置は、被写体を撮像する撮像手段と、撮像した動画像の画質状態を評価する評価手段と、前記動画像を再生する再生手段と、前記再生手段において前記動画像を再生する際のフレームレートを設定する設定手段とを備え、前記設定手段は、前記評価手段による画質状態の評価結果に基づいて、再生する際のフレームレートを設定する。

本発明によれば、動画像を高品位な動画像として再生することが可能な撮像装置を提供することができる。

カメラの構成を示すブロック図である。 カメラの高速動画撮影時の動作を表すフローチャートである。 撮像フレーム毎の評価の動作を説明するフローチャートである。 撮像フレーム毎の評価を説明する表である。 動画の区間分割の動作を説明する図である。 区間評価の動作を説明する図である。 再生時のフレームレート設定の動作を説明する図である。 再生時のフレームレート設定の動作を説明する図である。 カメラの高速動画撮影時の動作を表すフローチャート図である。 撮像フレーム毎の評価の動作を説明するフローチャートである。 撮像フレーム毎の評価の動作を説明する表である。

（第１実施形態）
図１は、デジタルカメラ（以下、単にカメラと称す）１００の構成を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

レンズ１０１は、ズーム機構を含む撮像用のレンズである。絞り及びシャッタ１０２は、光量を制御する。フォーカスレンズ１０４は、後述する撮像素子上に焦点をあわせるためのフォーカスレンズである。撮像素子１０８は、被写体からの反射光を電気信号に変換する受光手段又は光電変換手段を含む。Ａ／Ｄ変換部１０９は、撮像素子１０８の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含む。画像処理部１１０は、Ａ／Ｄ変換部１０９から出力された画像信号に対して、輝度信号や色信号を形成するなどの信号処理や、ガンマ補正や圧縮処理などの所定の画像処理を行う。フォーマット変換部１１２は、画像処理部１１０から出力された画像データを、例えば、ＭＰ４などのフォーマットにフォーマット変換する。

ＤＲＡＭ１１３は、データを一時記憶する、例えば、ランダムアクセスメモリなどの高速な内蔵メモリである。画像記録部１１４は、メモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。ＶＲＡＭ１１６は、画像表示用メモリであり、画像データが表示用画像データとして一時的に記録される。操作表示部１１７は、画像表示の他、操作補助のための表示やカメラ状態の表示の、撮像時には撮像画面を表示する。フォーマット変換部１１２で変換された画像データは、ＤＲＡＭ１１３を介して画像記録部１１４に記録され、ＤＲＡＭ１１３及びＶＲＡＭ１１６を介して操作表示部１１７に表示される。ＣＰＵ１１５は、撮像シーケンスなどシステムを制御するシステム制御部である。

ＡＥ処理部１０３、ＡＦ処理部１０５、ＷＢ処理部１１１、ＩＳ処理部１２５は、露出設定、オートフォーカス設定、ホワイトバランス設定、像ブレ補正設定などの撮像設定に関する制御を行う。具体的には、ＡＥ処理部１０３は、自動露出（ＡｕｔｏＥｘｐｏｓｕｒｅ）に関する制御を行う。ＡＦ処理部１０５は、オートフォーカス設定（ＡｕｔｏＦｏｃｕｓ）に関する制御を行う。ＷＢ処理部１１１は、ホワイトバランス設定（ＷｈｉｔｅＢｌａｎｃｅ）に関する制御を行う。ＩＳ処理部１２５は、像ブレ補正設定（ＩＭＡＧＥ ＳＴＡＢＩＬＩＺＥＲ）に関する制御を行う。操作部１１８は、外部から操作を受け付ける。メインＳＷ１２０は、システムに電源を投入するためのメインスイッチ、撮影スイッチ１２２は、撮像開始時や撮像終了時に押下するスイッチである。

被写体検出モジュール１２３は、画像処理部１１０で処理された画像信号を用いて被写体検出を行い、検出した一つ又は複数の被写体情報（位置・大きさ・信頼度）をＣＰＵ１１５に送る。ここで、被写体検出の方法の例としては、次の方法が挙げられる。人物の顔を検出する方法としては、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。また、人物以外の被写体を検出する方法としては、色・輝度の分布から、画像内での特徴的な領域を抽出して、被写体の位置・サイズを求める方法がある。加速度センサ部１２４は、カメラ１００自体の加速度を検出する。

次に、図２のフローチャートを参照して、カメラの高速動画撮影時の動作について説明する。ここで、高速動画とは、高速なフレームレートを設定して被写体を撮像することで取得した動画像である。
ステップＳ２０１では、ＣＰＵ１１５が、撮影スイッチ１２２が押下されたかどうかを調べ、押下された場合は、ステップＳ２０２へ進む。

ステップＳ２０２では、高速動画撮影のための撮像処理を行い、ステップＳ２０３へ進む。撮像処理では、ＡＥ処理部１０３、ＡＦ処理部１０５、ＷＢ処理部１１１、ＩＳ処理部１２５が、被写体の状況に合わせて撮像時の画質制御を実施して、撮像素子１０８が動画像の各フレームの撮像を行う。その際に、各処理の制御状態が「適正」「合わせ込み中（制御中）」「非適正（合わせ込み失敗）」のいずれの状態にあるかをＤＲＡＭ１１３に一時的に記憶しておく。

ステップＳ２０３では、ＣＰＵ１１５が、撮像フレームごとの画質および被写体の状況の評価を行い、ステップＳ２０４へ進む。ステップＳ２０３の詳しい処理は、図３のフローチャートを用いて後述する。
ステップＳ２０４では、被写体を撮像して取得した画像を画像記録部１１４へ記録し、ステップＳ２０５へ進む。
ステップＳ２０５では、ＣＰＵ１１５が、撮影スイッチ１２２が再度押下された等の撮像終了のトリガーがひかれたかどうかを調べ、撮像終了の場合はステップＳ２０６へ進み、撮像を継続する場合はステップＳ２０２へ戻る。

ステップＳ２０６では、ＣＰＵ１１５が、取得した動画を１つ以上の区間に分割して、ステップＳ２０７へ進む。ステップＳ２０６における動画の分割詳細は、図５を用いて後述する。
ステップＳ２０７では、ＣＰＵ１１５が、ステップＳ２０６で分割した区間ごとに、画質およびシーン変化状況の評価を行い、ステップＳ２０８へ進む。ステップＳ２０７の詳しい処理は、図６のフローチャートを用いて後述する。
ステップＳ２０８では、ＣＰＵ１１５が、ステップＳ２０７での評価結果に応じて、分割した区間ごとに再生時のフレームレートを設定し、高速動画撮影時の動作を終了する。

次に、図３のフローチャートを参照し、図２のステップＳ２０３での撮像フレームごとの画質および被写体の状況の評価の動作について説明する。
ステップＳ３０１では、ＣＰＵ１１５が、被写体を撮像することで取得された画像をＤＲＡＭ１１３から読み出し、ステップＳ３０２へ進む。
ステップＳ３０２では、ＣＰＵ１１５が、ステップＳ３０１で読み出した画像について、ＤＲＡＭ１１３から画質情報を取得する。ここで、画質情報とは、ステップＳ２０２で記憶された、撮像時のＡＦ、ＡＥ、ＷＢ、ＩＳの各処理の制御状態である。
ステップＳ３０３では、ＣＰＵ１１５が、ステップＳ３０２で取得した画質情報に基づいて、撮像画像の画質評価値を設定し、ステップＳ３０４へ進む。画質評価値は、例えば、図４に示すように制御状態に応じた評価値を定め、ＡＦ、ＡＥ、ＷＢ、ＩＳのそれぞれの評価値を加算したものである。なお、図４における各処理の評価（「適正」、「合わせ込み中」、「非適正」）は、カメラ１００内に予め記録された所定値と、ステップＳ２０２で記憶された各処理の制御状態とを比較することで決定される。例えば、被写体の輝度変化により設定中の露出条件が予め記録されている適正露出からずれた場合を「非適正」とし、露出条件を変更している場合を「合わせ込み中」、露出条件が適正露出と略同一である場合を「適正」とする。

ステップＳ３０４では、ＣＰＵ１１５がステップＳ３０１で取得した画像の被写体情報を取得して、Ｓ３０５へ進む。ここで、被写体情報とは、被写体検出モジュール１２３による被写体検出結果であり、例えば、人物や物などの被写体の検出有無と検出位置である。
ステップＳ３０５では、ＣＰＵ１１５が、被写体情報について、前回のフレームとの差分を算出する。具体的には、ステップＳ３０４で取得した被写体情報について、今回と前回のフレームでの撮像画像で取得した被写体情報の差分から、前回からの被写体の切り替わり有無と、被写体の動き量（検出位置の差）を算出し、ステップＳ３０６へ進む。なお、被写体の動き量の算出方法は公知のものであればどのような方法を採用してもよい。

ステップＳ３０６では、ステップＳ３０３で算出した画質評価値、および、ステップＳ３０５で算出した被写体の動き量と被写体の検出の切り替わり有無を撮像画像に紐づけて画像記録部１１４へ記録し、撮像フレームごとの評価の動作を終了する。

次に図５の図面を参照しながら、図２のステップＳ２０６の動画の分割処理について説明する。
図５（Ａ）の、５−１Ａ（点線）、５−１Ｂ（実線）のグラフは、縦軸は撮像した動画中での検出した被写体Ａ、Ｂの動き量、横軸は撮像フレーム（時間）を表している。被写体の検出状態が切り替わっているかどうか（グラフが途切れた場合は検出がされなくなった場合を示す）によってシーンの切り替わりを判断する。また、各被写体の動き量が、５−１Ｃ（長破線）で表す動き判定用の閾値を超えているかどうかを判断する。シーンの切り替わりと動き量の判定に基づいて、動画内を複数の区間に分割する。
図５（Ａ）は、区間５−１は被写体Ａ，Ｂの動きが有るシーン、区間５−２は被写体Ａ，Ｂの動きが無いシーン、区間５−３は被写体Ｂが検出されなくなったシーンとして、３つの区間に分割されている。

次に、図５の図面と図６のフローチャートを参照しながら図２のステップＳ２０７の分割区間の評価の処理について説明する。分割区間の評価は、動画分割手段として機能するＣＰＵ１１５が行う。
ステップＳ６０１〜Ｓ６０６では、図２のステップＳ２０６で分割した区間ごとに、シーン変化状態と画質状態について評価する。
ステップＳ６０１では、Ｎ番目（Ｎは自然数）の区間に対して、検出した被写体の動き量の最大値が所定の閾値以上であるかどうかを判定する。動き量が閾値以上である場合は、ステップＳ６０２へ進み、閾値未満の場合もしくは被写体を検出していない場合はステップＳ６０３へ進む。
ステップＳ６０２では、Ｎ番目の区間はシーン変化が大きい区間と設定し、ステップＳ６０４へ進む。一方、ステップＳ６０３では、Ｎ番目の区間はシーン変化が小さい区間と設定し、ステップＳ６０４へ進む。

図５（Ｂ）では、５−２Ａ（点線）、５−２Ｂ（実線）のグラフが動画中で検出された被写体Ａ、Ｂの動き量を表し、５−２Ｃ（長破線）が変化量判定用の閾値を表している。閾値は、例えば、動きの大きいシーンの基準の動き量を、０．１秒間に被写体の検出サイズの１０％以上の動きがあった場合として設定し、基準の動き量を１フレーム単位での動き量に正規化した値を変化量判定用の閾値とする。また、連続した所定数のフレーム間の動き量の平均を取って、変化量判定用の閾値と比較して判断を行ってもよい。
区間５−１では、被写体Ａ，Ｂともに動き量の最大値が閾値を超えているため、シーン変化が大きい区間として設定され、区間５−２、５−３は動き量の最大値が閾値を超えていないため、変化が小さい区間として設定される。

ステップＳ６０４では、Ｎ番目の区間の全フレーム数に対して、Ｓ３０３で設定した画質評価値が画質判定用の閾値以下であるフレーム数が、所定割合未満である場合はステップＳ６０５へ進み、所定割合以上であればステップＳ６０６へ進む。
ステップＳ６０５では、Ｎ番目の区間は画質が良い区間と設定する。一方、ステップＳ６０６では、Ｎ番目の区間は画質が悪い区間と設定し、ステップＳ６０７へ進む。

図５（Ｃ）では、５−３Ａ（実線）のグラフが画質評価値、５−３Ｃ（長破線）が画質判定のための閾値を表している。縦軸は画質評価値の値であり、横軸は撮像フレーム（時間）を表している。例えば、図４の表にしたがって画質評価値を算出した場合において、画質判定用の閾値を２０と設定する。すると、制御状態が非適正となる処理が存在する場合、または、合わせ込み状態の処理が３つ以上存在する場合は画質判定用の閾値を下回るようになる。また、区間内での画質評価値が画質判定用の閾値を下回るフレームの割合が３割未満の場合を画質が悪い区間と設定することにすると、図５（Ｃ）では、区間５−１、５−３は画質が悪い区間、区間５−２は画質が良い区間として判断される。

ステップＳ６０７では、Ｎ番目の区間のシーン変化状態に合わせて最適なフレームレート（以下、シーン優先のフレームレート）を算出し、ステップＳ６０８に進む。例えば、区間内での被写体の動きの変化量の最大値に応じて、値が大きい程、よりスローモーションで再生されるように再生時のフレームレートを低く設定する。

ステップＳ６０８では、Ｎ番目の区間の画質状態に応じて、画質が許容できる上限のフレームレート（以下、画質優先のフレームレート）を算出し、本処理を終了する。例えば、画質判定用の閾値以下のフレームの割合が低い程画質が許容できるとして再生時のフレームレートを低く設定してもよい。また、閾値以下のフレームの再生時間が所定時間内に収まるように再生時のフレームレートを設定するのでもよい。

次に、図７のフローチャートを参照しながら、図２のステップＳ２０８の再生時のフレームレートの設定の動作について説明する。再生時のフレームレートの設定は、ＣＰＵ１１５が行う。
ステップＳ７０１〜７０５では、図２のステップＳ２０６で分割した区間ごとに再生時のフレームレートを設定する。その際に、図２のステップＳ２０７の区間毎の評価において設定した、区間毎のシーン変化状態・画質状態および、シーン変化優先・画質優先での再生時フレームレートを参照する。

ステップＳ７０１では、図６のステップＳ６０７で設定したシーン変化優先のフレームレート設定と、図６のステップＳ６０８で設定した画質優先のフレームレート設定を比較する。画質優先のフレームレートの方が低い場合はステップＳ７０４に進み、シーン変化優先のフレームレート設定の方が低い場合はステップＳ７０２へ進む。ここで、画質優先のフレームレートの方が低ければ、シーン変化優先のフレームレート設定においても画質が保証されていると考えられる。

ステップＳ７０２では、画質状態を判断する。図６のステップＳ６０４で画質状態が良いと判断した場合は、ステップＳ７０４へ進み、画質状態が悪いと判断した場合はステップＳ７０３へ進む。ここで、画質状態が良い区間であれば、シーンに応じたフレームレート設定を行ってもある程度の画質が保証されていると考えられる。

ステップＳ７０３では、シーン変化状態を判断する。図６のステップＳ６０１でシーン変化が大きいと判断した場合は、ステップＳ７０４へ進み、シーン変化が小さいと判断した場合はステップＳ７０５へ進む。ここで、シーンの変化が大きい場合は、スローモーション再生による効果を優先して、シーン優先のフレームレートを設定し、シーンの変化が小さい場合は、画質を保証することを優先して、画質優先のフレームレートを設定する。

ステップＳ７０４では、シーン変化優先のフレームレートを再生時のフレームレートとして設定する。次の区間の処理を行う必要がある場合は、再びステップＳ７０１へ戻る。
ステップＳ７０５では、画質優先のフレームレートを再生時のフレームレートとして設定する。次の区間の処理を行う必要がある場合は、再びステップＳ７０１へ戻る。
すべての区間の処理が終了すると、フレームレート設定のフローは終了する。

以上説明したように、本実施形態においては、撮像したフレームごとの画質制御結果を考慮して再生時のフレームレートを設定することにより、動画の画質を保証して、高品位な高速動画の再生を行うことができる。

（第２実施形態）
図８のフローチャートを参照して、第２実施形態について説明する。第２実施形態は、第１実施形態とは図２のステップＳ２０８の再生時のフレームレートの設定の動作が異なっており、この差分について説明する。第２実施形態では、ユーザが予め再生時のフレームレートを指定しており、画質状態がよい場合とシーン変化の大きい場合については、ユーザ設定のフレームレートが設定される。一方、画質状態が悪く、尚且つシーンの変化も小さい場合には、画質優先のフレームレートが設定される。

ステップＳ８０１では、ユーザが予め指定した再生時のフレームレートを取得して、ステップＳ８０２へ進む。
ステップＳ８０２〜８０６では、図２のステップＳ２０６で分割した区間ごとに再生時のフレームレートを設定する。その際に、図２のステップＳ２０７の区間毎の評価において設定した、区間毎のシーン変化・画質の状態および、画質優先での再生時フレームレートを参照する。

ステップＳ８０２では、ステップＳ８０１で設定したユーザ指定のフレームレート設定と、図６のステップＳ６０８で設定した画質優先のフレームレート設定を比較する。画質優先のフレームレートの方が低い場合はステップＳ８０４に進み、ユーザ設定のフレームレート設定の方が低い場合はステップＳ８０２へ進む。ここで、画質優先のフレームレートの方が低ければ、ユーザ指定のフレームレート設定においても画質が保証されていると考えられる。

ステップＳ８０３では、画質状態について判断する。図６のステップＳ６０４で画質状態が良いと判断した場合は、ステップＳ８０５へ進み、画質状態が悪いと判断した場合はステップＳ８０４へ進む。ここで、画質状態が良い区間であれば、ユーザ指定のフレームレート設定においても画質が保証されていると考えられる。

ステップＳ８０４では、シーン変化状態について判断する。図６のステップＳ６０１でシーン変化が大きいと判断した場合は、ステップＳ８０５へ進み、シーン変化が小さいと判断した場合はステップＳ８０６へ進む。ここで、シーンの変化が大きい場合は、スローモーション再生による効果を優先して、ユーザ指定のフレームレートを設定し、シーンの変化が小さい場合は、画質を保証することを優先して、画質優先のフレームレートを設定する。

ステップＳ８０５では、ユーザ指定のフレームレートを再生時のフレームレートとして設定する。次の区間の処理を行う必要がある場合は、再びステップＳ８０２へ戻る。
ステップＳ８０６では、画質優先のフレームレートを再生時のフレームレートとして設定する。次の区間の処理を行う必要がある場合は、再びステップＳ８０２へ戻る。
すべての区間の処理が終了すると、フレームレート設定のフローは終了する。

以上説明したように、本実施形態においては、ユーザが再生時のフレームレートを指定した場合において、撮像したフレームごとの画質制御結果も考慮して再生時のフレームレートの設定を行っている。それによって、ユーザの意図を汲むことと動画の画質を保証することを両立させ、高品位な高速動画の再生を行うことができる。

（第３実施形態）
第３実施形態では、第１実施形態や第２実施形態のように、撮像時に制御状態を記憶し、制御状態に基づいて画質状態を評価することを行わない。本実施形態では、撮像を終了した後に、撮像した動画像に基づいて、画質状態および被写体の状況を算出する。以下では、第１実施形態との差分について説明するが、本実施形態のフレームごとの評価は、ユーザ設定のフレームレートを設定する第２実施形態にも適応可能である。

以下、図９を参照して、第３実施形態によるカメラの高速動画撮影時の動作について説明する。
ステップＳ９０１では、ＣＰＵ１１５が、撮影スイッチ１２２が押下されたかどうかを調べ、押下された場合は、ステップＳ９０２へ進む。
ステップＳ９０２では、動画像撮像のための処理を行い、ステップＳ９０３へ進む。ここでは、被写体の状況に合わせて、ＡＥ処理部１０３、ＡＦ処理部１０５、ＷＢ処理部１１１、ＩＳ処理部１２５による撮像時の画質制御を実施してから、動画像の各フレームの撮像を行う。

ステップＳ９０３では、撮像した画像を画像記録部１１４へ記録し、ステップＳ９０４へ進む。
ステップＳ９０４では、ＣＰＵ１１５が、撮影スイッチ１２２が再度押下された等の撮像終了のトリガーがひかれたかどうかを調べ、撮像終了の場合はステップＳ９０５へ進み、撮像を継続する場合はステップＳ９０２へ戻る。

ステップＳ９０５では、ＣＰＵ１１５が、後述する処理に従い、撮像フレーム毎の評価を行い、ステップＳ９０６へ進む。
ステップＳ９０６は、図２のＳ２０６と同様の処理であり、図５を用いて説明した処理にしたがって、撮像した動画を１つ以上の区間に分割して、ステップＳ９０７へ進む。
ステップＳ９０７は、図２のＳ２０７と同様の処理であり、図６のフローチャートを用いて説明した処理にしたがって、ステップＳ９０６で分割した区間ごとに画質およびシーン変化状況の評価を行い、ステップＳ９０８へ進む。
ステップＳ９０８では、図２のＳ２０８と同様の処理であり、図７のフローチャートを用いて説明した処理にしたがって、Ｓ９０６で分割した区間ごとに再生時のフレームレートを設定し、撮像時の動作を終了する。

次に、図１０のフローチャートを参照しながら、図９のステップＳ９０５での、撮像画像のフレーム毎の画質および被写体の状況の評価の動作について説明する。
ステップＳ１００１では、撮像した動画像中のＮフレーム目の画像を取得し、ステップＳ１００２へ進む。

ステップＳ１００２では、ステップＳ１００１で取得した画像から画質情報を算出する。ここで、画質情報とは、例えば、画像のコントラスト、明るさ、色味、ノイズなどである。画像の明るさについては、撮像画像全体もしくは被写体検出モジュール１２３によって検出した被写体の領域に対して平均輝度値を算出し、予め設定した目標とする輝度範囲内にあるかどうかを判断する。画像のコントラストについては、撮像画像全体もしくは検出した被写体の領域内の高周波成分を抽出し、抽出した信号値が予め設定した目標値の範囲内にあるかどうかを判断する。画像の色味については、撮像画像全体もしくは検出した被写体の領域内の色信号を算出し、予め設定した目標とする色信号の範囲内にあるかどうかを判断する。画像のノイズについては、撮像画像中の被写体を露光していない領域の信号値からノイズレベルを算出し、予め設定した所定の範囲内にあるかどうかを判断する。

ステップＳ１００３では、ステップＳ１００２で取得した画質状態に基づいて、撮像画像の画質評価値を設定し、ステップＳ１００４へ進む。例えば、図１１に示すように、コントラスト、明るさ、色味、ノイズのそれぞれに対して、複数段階での目標値と各目標値に応じた画質評価値を予め定めておく。そして、コントラスト、明るさ、色味、ノイズのそれぞれの画質評価値を加算したものを、その撮像フレームの画質評価値とする。
ステップＳ１００４では、ステップＳ１００１で取得した画像に対して、被写体情報を取得して、Ｓ１００５へ進む。ここでは、被写体検出モジュール１２３による被写体検出結果から、人物や物などの被写体の検出有無と検出位置を取得する。

ステップＳ１００５では、ステップＳ１００４で取得した情報について、今回と前回の撮像画像での取得した情報の差分から、前回からの被写体の切り替わり有無と、被写体の動き量（検出位置の差）を算出し、ステップＳ１００６へ進む。
ステップＳ１００６では、ステップＳ１００３で算出した画質評価値およびステップＳ１００５で算出した被写体の検出の切り替わり有無と被写体の動き量を撮像画像に紐づけて記憶する。次フレームの撮像画像の処理が必要な場合は、ステップＳ１００１に戻り、次のフレームの撮像画像がなければ、フレームごとの評価の動作を終了する。

なお、図９のＳ９０５からＳ９０８は、撮像装置から独立した画像処理装置で行ってもよい。画像処理装置は、取得した動画像についてフレームごとの評価を行い、動画像の分割を行い、分割した区間ごとに画質と被写体の評価に基づいてフレームレートを設定する。画像処理装置が動画像の再生を行う表示部を有していてもよいし、外部の表示装置へフレームレートを設定した動画像を出力するようにしてもよい。

以上のように、動画撮像後に、撮像した動画像をフレーム毎に評価することで画質の評価結果を得ることができる。そのして得られた画質評価結果を考慮して再生時のフレームレートを設定することにより、動画の画質を保証して、高品位な高速動画の再生を行うことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０３ ＡＥ処理部
１０５ ＡＦ処理部
１０８ 撮像素子
１１０ 画像処理部
１１１ ＷＢ処理部
１１４ 画像記録部
１１５ システム制御部
１１７ 操作表示部
１１８ 操作部
１２２ 撮像スイッチ
１２３ 被写体検出モジュール
１２５ ＩＳ処理部

Claims (12)

1. 被写体を撮像する撮像手段と、
   撮像した動画像の画質状態を評価する評価手段と、
   前記動画像を再生する再生手段と、
   前記再生手段において前記動画像を再生する際のフレームレートを設定する設定手段と
   を備え、
   前記設定手段は、前記評価手段による画質状態の評価結果に基づいて、再生する際のフレームレートを設定することを特徴とする撮像装置。
2. 前記撮像手段を用いて前記動画像を取得する際の撮像設定を制御する制御手段をさらに備え、
   前記評価手段は、前記撮像設定に基づいて前記画質状態を評価することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像設定は、露出設定、オートフォーカス設定、ホワイトバランス設定、像ブレ補正設定のいずれかを含むことを特徴とする請求項２に記載の撮像装置。
4. 前記評価手段は、前記撮像手段により撮像した動画像の撮像フレーム毎に前記制御手段での制御状態を取得することにより評価を行うことを特徴とする請求項２または請求項３に記載の撮像装置。
5. 前記評価手段は、前記撮像手段により撮像した動画像の撮像フレーム毎に、明るさ、色味、コントラスト、ノイズのいずれかに基づいて評価を行うことを特徴とする請求項１に記載の撮像装置。
6. 前記撮像した動画像の中から被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出した被写体の動き量を算出する算出手段と、
   前記撮像手段により撮像した動画像を１つ以上の区間に分割する動画分割手段と、をさらに備え、
   前記動画分割手段は、被写体検出手段で検出した被写体の撮像フレーム毎の変化または算出手段で算出した被写体の撮像フレーム毎の動き量の変化に応じて動画像を分割することを特徴とする請求項１乃至５のうちいずれか１項に記載の撮像装置。
7. 前記設定手段は、前記動画分割手段で分割した区間ごとに、前記算出手段で算出した被写体の動き量に応じたシーン変化状態を算出し、前記シーン変化状態に基づいて第一のフレームレートを算出することを特徴とする請求項６に記載の撮像装置。
8. 前記設定手段は、前記動画分割手段で分割した区間ごとに、前記評価手段による評価結果に応じて画質状態を算出し、前記画質状態に基づいて第二のフレームレートを算出することを特徴とする請求項７に記載の撮像装置。
9. 前記設定手段は、前記シーン変化状態および画質状態に基づいて、区間毎の再生時フレームレートとして、第一のフレームレートおよび第二のフレームレートのいずれかを設定することを特徴とする請求項８に記載の撮像装置。
10. ユーザが予め設定した第三のフレームレートを取得する取得手段をさらに備え、
    前記設定手段は、前記シーン変化状態および画質状態に基づいて、第二のフレームレート、第三のフレームレートのいずれかを設定することを特徴とする請求項８に記載の撮像装置。
11. 撮像装置の制御方法であって、
    被写体を撮像する撮像工程と、
    撮像した動画像の画質状態を評価する評価工程と、
    前記動画像を再生する際のフレームレートを設定する設定工程と、
    前記設定工程において設定されたフレームレートで前記動画像を再生する再生工程と、
    を備え、
    前記設定工程においては、前記評価工程における画質状態の評価結果に基づいて、再生する際のフレームレートを設定することを特徴とする制御方法。
12. コンピュータを請求項１乃至１０のうちいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。

Images