JP7246894B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

近年、動画の各フレームや各シーンの最大輝度を含むメタデータ（動的メタデータ）を用いて動画の表示方法を順次（各フレームや各シーンで）変更する技術が普及し始めている。具体的には、動的メタデータを用いてトーンマップを順次変更することで、上限表示輝度に応じたＨＤＲ（ハイダイナミックレンジ）表示を順次変更する技術が普及し始めている。特許文献１には、ポストプロダクションの画像データ編集工程において、動画の各シーンのメタデータ（動的メタデータの一部）を生成して動画データに付加する方法が開示されている。

国際公開第２０１５／０１７３１４号

しかしながら、特許文献１に開示の技術では、ポストプロダクション（画像データ編集工程）が無い場合には、動的メタデータが得られず、動画の表示方法（トーンマッピングを用いたＨＤＲ表示など）を順次変更することが難しい。

本発明は、ポストプロダクションを介さずに動的メタデータなど（各シーンの特徴量）を取得できる技術を提供することを目的とする。

本発明の第１の態様は、動画を撮像する撮像手段と、前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定手段と、前記複数のシーンのそれぞれの特徴量を取得する取得手段と、前記取得手段によって取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成手段と、を有し、前記パラメータは、当該パラメータに対応する前記フレームである対応フレームの画像データの最大輝度値と、前記対応フレームに対して時間的に連続する１つ以上のフレームの最大輝度値との平均値を含むことを特徴とする撮像装置である。
本発明の第２の態様は、動画を撮像する撮像手段と、前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定手段と、前記複数のシーンのそれぞれの特徴量を取得する取得手段と、前記取得手段によって取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成手段と、を有し、前記決定手段は、前記フレームの画像の合焦領域が狭くなる時間位置では前記パラメータの時間変化に依らずシーンが切り替わらないように、前記複数のシーンを決定することを特徴とする撮像装置である。

本発明の第３の態様は、動画を撮像する撮像ステップと、前記動画のフレームに対応す
るパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定ステップと、前記複数のシーンのそれぞれの特徴量を取得する取得ステップと、前記取得ステップにおいて取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成ステップと、を有し、前記パラメータは、当該パラメータに対応する前記フレームである対応フレームの画像データの最大輝度値と、前記対応フレームに対して時間的に連続する１つ以上のフレームの最大輝度値との平均値を含むことを特徴とする撮像装置の制御方法である。
本発明の第４の態様は、動画を撮像する撮像ステップと、前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定ステップと、前記複数のシーンのそれぞれの特徴量を取得する取得ステップと、前記取得ステップにおいて取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成ステップと、を有し、前記決定ステップでは、前記フレームの画像の合焦領域が狭くなる時間位置では前記パラメータの時間変化に依らずシーンが切り替わらないように、前記複数のシーンを決定することを特徴とする撮像装置の制御方法である。

本発明の第５の態様は、コンピュータを、上述した撮像装置の各手段として機能させるためのプログラムである。

本発明によれば、ポストプロダクションを介さずに動的メタデータなど（各シーンの特徴量）を生成できる。

実施例１に係る撮像装置の構成例を示すブロック図 実施例１に係るフレーム最大輝度値の時間変化の一例を示す図 実施例１に係る撮影中における各種パラメータの時間変化の一例を示す図 実施例１に係る撮影処理の一例を示すフローチャート 実施例２に係るフレーム最大輝度値と絞り値の時間変化の一例を示す図 実施例２に係るフレーム最大輝度値と絞り値の時間変化の一例を示す図 実施例３に係る撮像装置の構成例を示すブロック図 実施例３に係るフレーム画像の一例を示す図

＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、撮像光学系１０１、撮像素子１０２、撮像制御部１０３、特徴量取得部１０４、シーン決定部１０５、メタデータ生成部１０６、メタデータ付加部１０７、出力部１０８、記憶部１０９、出力ＩＦ１１０、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、及び、操作部１１４を有する。

撮像光学系１０１は、被写体を表す光学像を撮像素子１０２に結像（形成）する。撮像光学系１０１は、例えば、ズームレンズやフォーカスレンズ等のレンズ群、絞り調整装置、シャッター装置などを有する。

撮像素子１０２は、被写体像（被写体を表す動画）を撮像する。具体的には、撮像素子１０２は、結像された光学像（被写体から撮像光学系１０１を介して入射した光）をアナログ電気信号に変換する光電変換処理を行う。そして、撮像素子１０２は、光電変換処理によって得られたアナログ電気信号をデジタル電気信号（動画の１フレームの画像データ；フレーム画像データ）に変換するＡＤ変換処理（アナログ－デジタル変換処理）をさらに行う。その後、撮像素子１０２は、ＡＤ変換処理によって得られたフレーム画像データを、特徴量取得部１０４とシーン決定部１０５へ出力する。撮像素子１０２は、これらの処理を繰り返すことで、動画の複数のフレームにそれぞれ対応する複数のフレーム画像データを順次出力する。

撮像制御部１０３は、撮像装置１００の撮像条件を制御する。本実施例では、撮像制御部１０３は、撮像装置１００に対するユーザ操作や、撮像装置１００の状態などに応じて、撮像装置１００の露出（露出条件）を制御する。例えば、撮像制御部１０３は、絞りや、撮像素子の電荷蓄積時間などを制御することにより、露出を制御する。具体的には、撮像制御部１０３は、ユーザによって指定されたゲイン値、シャッター速度、絞り値などに応じて、撮像光学系１０１の状態や、撮像素子１０２の処理などを制御することにより、露出を制御する。さらに、撮像制御部１０３は、撮像装置１００に対するユーザ操作や、撮像装置１００の状態などに応じて、撮像装置１００のフォーカスを制御する。例えば、撮像制御部１０３は、フォーカスレンズの駆動量や駆動方向などを制御することにより、フォーカスを制御する。具体的には、ＡＦ（オートフォーカス）撮影モードが設定されている場合に、撮像制御部１０３は、フォーカスレンズの位置を所定位置にして、フレーム画像（動画の１フレームの画像）のコントラストの形状（分布）を算出する。そして、撮像制御部１０３は、フレーム画像内の複数の位置のうち、コントラストが最も高い位置を、撮像素子１０２で光束を合焦させる位置（フォーカス位置）としてＡＦ制御を行う。

特徴量取得部１０４は、撮像素子１０２から出力されたフレーム画像データの特徴量（フレーム特徴量）を取得する。具体的には、特徴量取得部１０４は、フレーム特徴量として、動画の複数のシーンを決定するための特徴量と、各シーンの特徴量（シーン特徴量）を取得するための特徴量とを取得する。フレーム特徴量は「フレームに対応するパラメータ」とも言える。本実施例では、特徴量取得部１０４は、フレーム画像データの最大輝度
値（フレーム最大輝度値）を当該フレーム画像データから取得し、フレーム最大輝度値をシーン決定部１０５へ出力する。フレーム最大輝度値は、複数のシーンを決定するための特徴量と、シーン特徴量を取得するための特徴量との両方として使用される。

シーン決定部１０５は、動画の複数のシーンを決定するシーン決定処理を行う。シーン決定処理は「動画の全期間を複数の期間に分割するシーン分割処理」とも言える。フレーム特徴量はシーンの切り替わり時に（大きく）変化することが多い。そこで、本実施例では、シーン決定部１０５は、特徴量取得部１０４から出力されたフレーム特徴量（フレーム最大輝度値）の時間変化に基づいて複数のシーンを決定する。フレーム特徴量の時間変化は「時間的に連続するフレーム間におけるフレーム特徴量の変化」とも言える。シーン決定部１０５は、シーン決定処理の結果をメタデータ生成部１０６へ出力する。さらに、シーン決定部１０５は、特徴量取得部１０４から出力されたフレーム特徴量（フレーム最大輝度値）をメタデータ生成部１０６へ出力し、撮像素子１０２から出力されたフレーム画像データをメタデータ付加部１０７へ出力する。なお、シーン決定部１０５は、撮像素子１０２から出力されたフレーム画像データに対して各種画像処理を施し、画像処理後のフレーム画像データをメタデータ付加部１０７へ出力してもよい。画像処理として、例えば、撮像光学系１０１や撮像素子１０２に起因する歪みやノイズを低減する補正処理が行われてもよいし、ホワイトバランス調整、色変換処理、ガンマ補正などが行われてもよい。

メタデータ生成部１０６は、動画データ（動画のデータ）に付加する情報（動的メタデータ）を生成し、動的メタデータをメタデータ付加部１０７へ出力する。具体的には、メタデータ生成部１０６は、シーン決定部１０５から出力された情報（シーン決定処理の結果、及び、動画の各フレームのフレーム特徴量（フレーム最大輝度値））に基づいて、動画の各シーンのシーン特徴量を取得（決定）する。そして、メタデータ生成部１０６は、取得したシーン特徴量を各シーンに関連付けた情報を、動的メタデータとして生成する。

メタデータ付加部１０７は、シーン決定部１０５（撮像素子１０２）から順次出力された複数のフレーム画像データからなる動画データを生成し、メタデータ生成部１０６から出力された動的メタデータを動画データに付加する。そして、メタデータ付加部１０７は、動的メタデータが付加された後の動画データを、出力部１０８へ出力する。例えば、動画データは、ＭＰＥＧ－４ ＡＶＣやＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのファイル形式のデータであり、メタデータ付加部１０７は、ファイル形式の動画データを得るための符号化処理を行う。そして、メタデータ付加部１０７は、動的メタデータを、ＭＰＥＧ－４ ＡＶＣやＨＥＶＣで規定されたＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）として付加する。

出力部１０８は、メタデータ付加部１０７から出力された動画データ（動的メタデータが付加された後の動画データ）を、記憶部１０９へ出力する。メタデータ付加部１０７が動画データに動的メタデータを付加せずに、出力部１０８が動画データと動的メタデータを個別に出力してもよい。その場合は、メタデータ付加部１０７や出力部１０８は、動画データと動的メタデータを互いに関連付けて出力してもよいし、そうでなくてもよい。

記憶部１０９は、ＣＦ（コンパクトフラッシュ）カード等のランダムアクセスの記録媒体であり、出力部１０８から出力された動画データ（動的メタデータが付加された後の動画データ）を記憶する。記憶部１０９は、撮像装置１００から取り外し可能であり、撮像装置１００以外の装置（パーソナルコンピュータ等）に装着することが可能である。なお、記憶部１０９は、撮像装置１００に対して着脱不可能な内蔵の記録媒体であってもよい。

出力ＩＦ１１０は、記憶部１０９が記憶している動画データ（動的メタデータが付加された後の動画データ）を不図示の外部装置へ出力する。例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に準拠した通信プロトコルに従って、動画データをストリーム形式で出力する。なお、動画データと動的メタデータの伝送方法は特に限定されない。例えば、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ） ＳＴ ２０９４で規定されたパラメータが、動的メタデータとして伝送されてもよい。具体的には、ＨＤＲ１０＋で規定されたＳｃｅｎｅ－ＭａｘＣＬＬ（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ Ｌｅｖｅｌ）が動的メタデータとして伝送されてもよい。

ＣＰＵ１１１は、撮像装置１００が有する他のブロックに、不図示の内部バスを介して接続されている。ＣＰＵ１１１は、撮像装置１００の処理を制御する。ＲＡＭ１１２は、撮像装置１００が有する他のブロックに、不図示の内部バスを介して接続されている。ＲＡＭ１１２は、ＣＰＵ１１１のワークエリアや、種々のデータを一時的に記憶する一時記憶領域として使用される。ＲＯＭ１１３は、撮像装置１００が有する他のブロックに、不図示の内部バスを介して接続されている。ＲＯＭ１１３には、ＣＰＵ１１１の処理に係るファームウェア、ＣＰＵ１１１の処理に係る情報、等が予め記録されている。

操作部１１４は、不図示の内部バスを介してＣＰＵ１１１に接続されている。操作部１１４は、ユーザ操作を受け付ける入力部としての各種操作部材である。操作部１１４は、撮影を開始するための撮影開始ボタン、フォーカス動作のオート制御／マニュアル制御を切り替えるための切替スイッチ、フォーカス調整操作を行うためのフォーカスリングなどを含む。また、操作部１１４は、不図示のタッチパネルと液晶パネルを有し、表示される機能アイコンを各種機能ボタンとして作用させる。機能ボタンは、撮影開始ボタン、動画撮影モード選択ボタン、ホワイトバランス設定ボタン、ＩＳＯ感度設定ボタンなどを含む。動画撮影モードには、マニュアル露出撮影モード、オート露出撮影モード、ＭＦ（マニュアルフォーカス）撮影モード、ＡＦ（オートフォーカス）撮影モード、タイムラプス撮影モード、カスタムモードなどがある。

次に、撮像装置１００の撮影処理の一例について説明する。図２は、特徴量取得部１０４によって取得されたフレーム最大輝度値の時間変化の一例を示し、シーン決定部１０５のシーン決定処理を行わない場合の例を示す。図２は、撮影開始フレーム（撮影開始時に得られたフレーム；動画の最初のフレーム）の番号が「０」であり、且つ、撮影終了フレーム（撮影終了時に得られたフレーム；動画の最後のフレーム）の番号が「Ｎ」である動画データＡが得られる場合の例を示す。この場合は、動画データＡによって表された動画の全期間が１つのシーンＡ０の期間として扱われ、動画データＡの最大輝度値と、シーンＡ０の最大輝度値との両方が、輝度値ＡＬ_ＭＡＸとなる。以下では、シーン決定部１０５のシーン決定処理を行う場合の例として、図２の動画データＡが得られる場合の例を説明する。

図３（ａ）～３（ｄ）は、動画データＡを得るための撮影中における各種パラメータ（フレーム最大輝度値、決定されたシーンの期間、シーン特徴量など）の時間変化の一例を示す。本実施例では、１つのシーンに対して取得されたフレーム最大輝度の最大値、つまり当該シーンの動画データの最大輝度値（シーン最大輝度値）が、シーン特徴量として取得されるとする。図３（ａ）～３（ｄ）において、「Ｆｒ_ＮＯＷ」は、現在撮影中のフレーム画像のフレーム番号（フレームの番号）である。「ＡＬ_{ＭＡＸ＿ＮＯＷ}」は、フレームＦｒ_ＮＯＷ（フレーム番号Ｆｒ_ＮＯＷのフレーム）のフレーム最大輝度値、つまり現在撮影中のフレーム画像の最大輝度値である。「ＡｎＬ_ＭＡＸ」における「Ａｎ」はシーン
番号（シーンの番号）であり、「ＡｎＬ_ＭＡＸ」はシーンＡｎ（シーン番号Ａｎのシーン）のシーン最大輝度値である。シーンＡ１は、フレーム０（撮影開始フレーム）から始まるシーンである。フレーム番号は、シーン決定部１０５によってカウントされる。例えば、シーン決定部１０５は、フレーム画像データを取得するたびにインクリメントするカウンタを備え、当該カウンタの値をフレーム番号として使用する。シーン番号はメタデータ生成部１０６によってカウントされる。詳細は後述する。

図４は、撮像装置１００の撮影処理の一例を示すフローチャートである。図４の撮影処理は、シーン決定処理と、動的メタデータ付加処理（動的メタデータを動画データに付加する処理）とを含む。図４の撮影処理は、ユーザによる撮影開始操作を操作部１１４が受け付けたことをＣＰＵ１１１が検知することで開始され、ＣＰＵ１１１が撮像装置１００の各ブロックを制御することにより実現される。撮影開始操作は、例えば、撮像装置１００の非撮影状態において操作部１１４の撮影開始ボタンを押下するユーザ操作である。

ステップＳ４０１にて、特徴量取得部１０４は、撮像素子１０２から出力されたフレーム画像データのフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}の取得を開始する。特徴量取得部１０４は、フレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}をシーン決定部１０５へ出力する。また、特徴量取得部１０４は、フレームＦｒ_ＮＯＷのフレームを含むシーンＡｎのシーン最大輝度値ＡｎＬ_ＭＡＸよりもフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}が高い場合に、フレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}をシーン最大輝度値ＡｎＬ_ＭＡＸとしてＲＡＭ１１２に記録する。この処理は「ＲＡＭ１１２に記録されたシーン最大輝度値ＡｎＬ_ＭＡＸをフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}で更新する処理」とも言える。図３（ａ）は、シーン最大輝度値Ａ１Ｌ_ＭＡＸ（シーンＡ１のシーン最大輝度値）よりも高いフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}が検出され、シーン最大輝度値Ａ１Ｌ_ＭＡＸが更新された状態を示す。フレームＦｒ_ＮＯＷがフレーム０である場合には、特徴量取得部１０４は、フレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}をシーン最大輝度値Ａ１Ｌ_ＭＡＸとしてＲＡＭ１１２に記録する。

ステップＳ４０２にて、シーン決定部１０５は、フレームＦｒ_ＮＯＷでシーンを切り替えるか否かを判断する。この判断は「フレームＦｒ_ＮＯＷで動画の期間を分割するか否かの判断」や「シーンを決定（確定）するか否かの判断」などとも言える。シーンを切り替えないと判断された場合（ステップＳ４０２：Ｎｏ）は、ステップＳ４０６に処理が進められる。シーンを切り替えると判断された場合（ステップＳ４０２：Ｙｅｓ）は、ステップＳ４０３に処理が進められる。

ステップＳ４０３にて、シーン決定部１０５は、フレームＦｒ_ＮＯＷの１つ前のフレームＦｒ_ＮＯＷ－１までの期間を、シーンの期間として決定（確定）する。

本実施例では、フレーム最大輝度値が変化しない時間位置ではシーンが切り替わらず、フレーム最大輝度値が変化する時間位置でシーンが切り替わるように、ステップＳ４０２，Ｓ４０３の処理が行われる。例えば、フレーム最大輝度値が閾値よりも小さい変化量で変化する時間位置ではシーンが切り替わらず、フレーム最大輝度値が閾値よりも大きい変化量で変化する時間位置でシーンが切り替わるように、ステップＳ４０２，Ｓ４０３の処理が行われる。具体的には、ステップＳ４０２にて、シーン決定部１０５は、フレームＦｒ_ＮＯＷのフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}と、フレームＦｒ_ＮＯＷ－１のフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ－１}とを比較する。そして、フレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}とフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ－１}の差分（絶対値）が閾値未満である場合にシーンが切り替わらず、当該差分が閾値以上である場合にシーンが切り替わるように、ステップＳ４０２，Ｓ４０３の処理が行われる。なお、閾値は特に限定されない。閾値は、予め定められた固定値であってもよいし、ユーザが変更可能な値であっても
よい。

図３（ｂ）は、フレームＦｒ_ＮＯＷ＝Ｍ＋１のタイミングでシーンが決定（確定）された状態を示す。図３（ｂ）の例では、シーン決定部１０５は、フレーム番号Ｍ＋１のフレーム画像データの取得時に、フレーム０からフレームＭまでの期間をシーンＡ１の期間として決定（確定）する。そして、シーン決定部１０５は、シーンＡ１のシーン開始フレーム番号（シーンの最初のフレームの番号）０と、シーンＡ１のシーン終了フレーム番号（シーンの最後のフレームの番号）Ｍとを、メタデータ生成部１０６へ出力する。さらに、シーン決定部１０５は、シーンを決定したことを表すシーン決定信号を、特徴量取得部１０４へ出力する。

特徴量取得部１０４は、シーン決定信号を取得すると、シーン最大輝度値ＡｎＬ_ＭＡＸを記録するＲＡＭ１１２の領域を変更する。これにより、各シーンのシーン最大輝度値が個別にＲＡＭ１１２に記録される。図３（ｂ）の例では、シーン最大輝度値Ａ１Ｌ_ＭＡＸがＲＡＭ１１２の所定領域に記録された状態で、シーン最大輝度値Ａ２Ｌ_ＭＡＸの記録領域が選択され、フレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}がシーン最大輝度値Ａ２Ｌ_ＭＡＸとしてＲＡＭ１１２に記録される。その後、フレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}がシーン最大輝度値Ａ２Ｌ_ＭＡＸよりも高い場合に、ＲＡＭ１１２に記録されたシーン最大輝度値Ａ２Ｌ_ＭＡＸがフレーム最大輝度値ＡＬ_{ＭＡＸ＿ＮＯＷ}で更新される。

ステップＳ４０４にて、メタデータ生成部１０６は、シーン決定部１０５から取得したシーン開始フレーム番号とシーン終了フレーム番号、及び、ＲＡＭ１１２から取得したシーン最大輝度値から、１シーンのメタデータ（動的メタデータの一部）を生成する。１シーンのメタデータは、シーン開始フレーム番号、シーン終了フレーム番号、シーン番号、シーン最大輝度値などを含む。シーン決定部１０５は、例えば、シーン開始フレーム番号とシーン終了フレーム番号を取得するたびにインクリメントするカウンタを備え、当該カウンタの値をシーン番号として使用する。シーン終了フレーム番号の更新をトリガとしてカウンタのインクリメントが行われてもよい。

図３（ｂ）の例では、メタデータ生成部１０６は、シーン開始フレーム番号０とシーン終了フレーム番号Ｍの取得に応じて、シーン番号Ａ１を決定し、シーン最大輝度値Ａ１Ｌ_ＭＡＸを取得する。そして、メタデータ生成部１０６は、シーン開始フレーム番号０、シーン終了フレーム番号Ｍ、シーン番号Ａ１、及び、シーン最大輝度値Ａ１Ｌ_ＭＡＸを互いに関連付けたデータを、シーンＡ１のメタデータとして生成する。その後、メタデータ生成部１０６は、シーンＡ１のメタデータをメタデータ付加部１０７へ出力する。メタデータ生成部１０６は、シーン開始フレーム番号とシーン終了フレーム番号を取得するたびに、シーン最大輝度値を読み出すＲＡＭ１１２の領域を切り替える。これにより、メタデータ生成部１０６は、シーン開始フレーム番号とシーン終了フレーム番号から決まるシーンに対応するシーン最大輝度値を、ＲＡＭ１１２から読み出すことができる。

ステップＳ４０５にて、メタデータ付加部１０７は、メタデータ生成部１０６から取得したメタデータ（１シーンのメタデータ）を、シーン決定部１０５から順次出力された複数のフレーム画像データからなる動画データ（１シーンの動画データ）に付加する。図３（ｂ）の例では、シーンＡ１のメタデータが、シーンＡ１の動画データに付加される。メタデータが付加された後の動画データは、記憶部１０９に記録される。ここでは、ＨＥＶＣのＳＥＩとしてメタデータが付加されるとする。そして、メタデータが付加された後の動画データとして、ＨＥＶＣの符号化処理により生成されたＨＥＶＣファイルが、記憶部１０９に記録される。詳細は後述するが、ステップＳ４０２～Ｓ４０６の処理が繰り返されることがある。２回目以降のステップＳ４０５では、記録済みの動画（過去のステップＳ４０５で記録された動画）に対して、続きとして、今回の動画（１シーンの動画）が結
合される（記録済みの動画の更新）。

ステップＳ４０６にて、ＣＰＵ１１１は、ユーザによる撮影終了操作を操作部１１４が受け付けたか否かを判断する。撮影終了操作は、例えば、撮像装置１００の撮影状態において操作部１１４の撮影終了ボタンを押下するユーザ操作である。撮影終了操作がなかったと判断された場合（ステップＳ４０６：Ｎｏ）は、ステップＳ４０２に処理が戻され、ステップＳ４０２～Ｓ４０６の処理が繰り返される。図３（ｃ）は、フレームＭ＋１でシーンＡ１が決定された後の状態を示す。図３（ｃ）において、「シーンＡ２」は、シーンＡ１の次のシーンである。特徴量取得部１０４は、シーンＡ１の撮影時と同様に（上述したように）、シーンＡ２のシーン最大輝度値Ａ２Ｌ_ＭＡＸをＲＡＭ１１２に記録する。撮影終了操作があったと判断された場合（ステップＳ４０６：Ｙｅｓ）は、ステップＳ４０７に処理が進められる。シーン決定部１０５は、撮影終了操作があった場合に、最終シーン（動画の最後のシーン）のシーン開始フレーム番号と、最終シーンのシーン終了フレーム番号（撮影終了フレームの番号；動画の最後のフレームの番号）とを、メタデータ生成部１０６へ出力する。

ステップＳ４０７にて、メタデータ生成部１０６は、シーン決定部１０５から取得したシーン開始フレーム番号とシーン終了フレーム番号、及び、ＲＡＭ１１２から取得したシーン最大輝度値から、最終シーンのメタデータ（動的メタデータの一部）を生成する。

図３（ｄ）は、撮影終了フレームＮの画像の撮影が終了し、動画データＡの取得が終了した状態を示す。図３（ｄ）の例では、メタデータ生成部１０６は、シーン開始フレーム番号Ｍ＋１とシーン終了フレーム番号Ｎの取得に応じて、シーン番号Ａ２を決定し、シーン最大輝度値Ａ２Ｌ_ＭＡＸを取得する。そして、メタデータ生成部１０６は、シーン開始フレーム番号Ｍ＋１、シーン終了フレーム番号Ｎ、シーン番号Ａ２、及び、シーン最大輝度値Ａ２Ｌ_ＭＡＸを互いに関連付けたデータを、シーンＡ２のメタデータとして生成する。その後、メタデータ生成部１０６は、シーンＡ２のメタデータをメタデータ付加部１０７へ出力する。

ステップＳ４０８にて、メタデータ付加部１０７は、メタデータ生成部１０６から取得したメタデータ（最終シーンのメタデータ）を、シーン決定部１０５から順次出力された複数のフレーム画像データからなる動画データ（最終シーンの動画データ）に付加する。図３（ｄ）の例では、シーンＡ２のメタデータが、シーンＡ２の動画データに付加される。メタデータが付加された後の動画データは、記憶部１０９に記録される。ステップＳ４０５の処理が行われている場合には、記録済みの動画（ステップＳ４０５で記録された動画）に対して、続きとして、今回の動画（最終シーンの動画）が結合される（記録済みの動画の更新）。

以上述べたように、本実施例によれば、撮像装置において、フレーム最大輝度値の時間変化に基づいて複数のシーンが決定され、複数のシーンのそれぞれのシーン最大輝度値が取得される。そして、シーン最大輝度値を複数のシーンのそれぞれに対応付けた情報（動的メタデータ）が生成される。つまり、ポストプロダクション（画像データ編集工程）を介さずに動的メタデータなどを取得することができる。その結果、動的メタデータに基づいて動画の表示方法を順次変更することができる。例えば、トーンマッピングを用いたＨＤＲ（ハイダイナミックレンジ）表示において、動的メタデータに基づいてトーンマップを順次変更することができる。

なお、図４を用いて、シーンの動画データを記憶部１０９に記録する処理を繰り返す例を説明したが、これに限られない。例えば、メタデータ付加部１０７は、動画の撮影完了時に、各シーンの部分にメタデータが付加されるように、動画全体を表す動画データに動
的メタデータを付加し、動的メタデータが付加された後の動画データを記憶部１０９に記録してもよい。この場合には、メタデータ付加部１０７は、取得した動画データ（複数のフレーム画像データ）とメタデータを、ＲＡＭ１１２に一時記録する。

図４を用いて、フレーム番号でシーンを特定する例を説明したが、これに限られない。例えば、撮影時間や撮影時刻でシーンを特定してもよい。具体的には、シーン開始フレーム番号の代わりにシーン撮影開始時間を用い、シーン終了フレーム番号の代わりにシーン撮影終了時間を用いればよい。シーン撮影開始時間は、所定のタイミング（動画の撮影が開始したタイミングなど）からシーンの撮影が開始されるまでの時間であり、シーン撮影終了時間所定のタイミングからシーンの撮影が終了されるまでの時間である。

図４を用いて、連続するフレーム間でのフレーム最大輝度値の変化からシーンの切り替わりを検出する例を説明したが、シーンの決定方法はこれに限られないし、シーンを決定するためのパラメータはフレーム最大輝度値に限られない。シーンを決定するためのパラメータは、シーン特徴量を取得するためのフレーム特徴量と異なっていてもよい。例えば、シーンを決定するためのパラメータは、当該パラメータに対応するフレームである対応フレームのフレーム最大輝度値と、対応フレームに対して時間的に連続する１つ以上のフレームのフレーム最大輝度値との平均値であってもよい。具体的には、シーン決定部１０５は、フレームＦｒ_ＮＯＷのフレーム最大輝度値と、フレームＦｒ_ＮＯＷに対して時間的に前に連続する１つ以上のフレームのフレーム最大輝度値とをＲＡＭ１１２に記録してもよい。そして、シーン決定部１０５は、それらフレーム最大輝度値の平均値が閾値よりも大きい変化量で変化した場合にシーンが切り替わるように、複数のシーンを決定してもよい。フレームＦｒ_ＮＯＷに対して時間的に後に連続するフレームのフレーム最大輝度値を使用してもよい。フレームＦｒ_ＮＯＷに対して時間的に前に連続するフレームのフレーム最大輝度値と、フレームＦｒ_ＮＯＷに対して時間的に後に連続するフレームのフレーム最大輝度値との一方を使用してもよいし、両方を使用してもよい。シーンを決定するための複数のパラメータ（複数種類のパラメータ）が存在してもよい。

フレーム特徴量はフレーム最大輝度値に限られないし、シーン特徴量はシーン最大輝度値に限られない。例えば、フレーム特徴量は、フレーム画像データの輝度値の他の代表値（平均値、最小値、最頻値、中間値など）やヒストグラムであってもよい。シーン特徴量は、シーンに対して取得されたフレーム特徴量の他の代表値（平均値、最小値、最頻値、中間値など）であってもよい。フレーム特徴量からシーン特徴量を決定せずに、シーン動画データ（シーンの動画データ）から、シーン動画データの輝度値の代表値（最大値、平均値、最小値、最頻値、中間値など）をシーン特徴量として取得してもよい。１フレームのフレーム特徴量や１シーンのシーン特徴量は複数の値（複数種類の値）を含んでもよい。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。実施例１では、シーンを決定するためのパラメータとしてフレーム最大輝度値を使用する例を説明した。撮像パラメータはシーンの切り替わり時に変更されることが多い。そこで、本実施例では、シーンを決定するためのパラメータとして、フレーム画像を撮像する際の撮像パラメータを使用する例を説明する。具体的には、マニュアル露出撮影モードにおいて、シーンを決定するためのパラメータとして絞り値を使用する例を説明する。

本実施例に係る撮像装置は、図１（実施例１）の撮像装置１００と同様の構成を有する。但し、本実施例では、シーン決定部１０５によるシーン決定処理が実施例１と異なる。さらに、本実施例では、特徴量取得部１０４は、フレーム最大輝度値をシーン決定部１０
５へ出力しない。その代わりに、撮像制御部１０３は、絞り値をシーン決定部１０５へ出力する。撮像制御部１０３は、ゲイン値やシャッター速度などもシーン決定部１０５へ出力してもよい。

シーン決定処理に関する処理フローの一例について説明する。まず、操作部１１４は、マニュアル露出撮影モードへ変更するモード変更操作（ユーザ操作）を受け付ける。ＣＰＵ１１１は、モード変更操作に応じて、撮像装置１００の各ブロックを制御し、マニュアル露出撮影モードを設定する。次に、操作部１１４は、撮影開始操作を受け付ける。ＣＰＵ１１１は、撮影開始操作に応じて、撮像装置１００の各ブロックを制御し、撮影を開始する。次に、操作部１１４は、絞り値を変更する絞り変更操作（ユーザ操作）を受け付ける。撮像制御部１０３は、変更後の絞り値に応じて撮像光学系１０１の状態を変更し、変更後の絞り値をシーン決定部１０５へ出力する。次に、シーン決定部１０５は、取得した絞り値の変化に応じて、シーンを決定（確定）するか否かを判断する。換言すれば、シーン決定部１０５は、取得した絞り値の変化に応じて、現在のタイミングでシーンを切り替えるか否かを判断する。

図５は、フレーム最大輝度値と絞り値の時間変化の一例を示し、シーン決定部１０５のシーン決定処理を行わない場合の例を示す。図５は、撮影開始フレームの番号が「０」であり、且つ、撮影終了フレームの番号が「Ｎ」である動画データＢが得られる場合の例を示す。図５では、フレームＭ＋１の画像の撮影時に、絞り値がＦ２．２からＦ２．０に変更されている。しかしながら、シーン決定処理を行われないため、動画データＢによって表された動画の全期間が１つのシーンＢ０の期間として扱われ、動画データＢの最大輝度値と、シーンＢ０の最大輝度値との両方が、輝度値ＢＬ_ＭＡＸとなる。以下では、シーン決定部１０５のシーン決定処理を行う場合の例として、図５と同様に絞り値が変更され、図５の動画データＢが得られる場合の例を説明する。

図６は、フレーム最大輝度値と絞り値の時間変化の一例を示し、シーン決定部１０５のシーン決定処理を行う場合の例を示す。本実施例では、シーン決定部１０５は、絞り値が変化する時間位置でシーンが切り替わるように、複数のシーンを決定する。従って、図６に示すように、フレーム０からフレームＭまでの期間がシーンＢ１の期間として決定され、フレームＭ＋１からフレームＮまでの期間がシーンＢ２の期間として決定される。そして、実施例１と同様の処理により、シーンＢ１のシーン最大輝度値として輝度値Ｂ１Ｌ_ＭＡＸが取得され、シーンＢ２のシーン最大輝度値として輝度値Ｂ２Ｌ_ＭＡＸが取得され、シーン最大輝度値Ｂ１Ｌ_ＭＡＸ，Ｂ２Ｌ_ＭＡＸを含む動的メタデータが生成される。

以上述べたように、本実施例によれば、撮像装置において、撮像パラメータ（絞り値）の時間変化に基づいて複数のシーンが決定され、実施例１と同様に動的メタデータが生成される。つまり、ポストプロダクションを介さずに動的メタデータなどを取得することができる。その結果、動的メタデータに基づいて動画の表示方法を順次変更することができる。

なお、マニュアル露出撮影モードが設定される例を説明したが、自動で絞り値を変更する自動露出撮影モードが設定されてもよい。自動露出撮影モードでは、撮像制御部１０３は、撮像素子１０２から取得したフレーム画像データを参照して、絞り値を自動で（ユーザ操作によらずに）変更する。自動露出撮影モードが設定されている場合であっても、マニュアル露出撮影モードが設定されている場合と同様に、絞り値の時間変化に基づいて複数のシーンを決定することができる。

絞り値が（わずかでも）変化した時間位置でシーンを切り替える例を説明したが、絞り値が閾値よりも大きい変化量で変化した時間位置でシーンを切り替えてもよい。例えば、
絞り値が１段未満（１／３段など）変化してもシーンを切り替えず、絞り値が１段以上変化するとシーンを切り替えるような制御を行ってもよい。

シーンを決定するための撮像パラメータは絞り値に限られない。例えば、ＩＳＯ感度、シャッタースピード、フォーカス位置、焦点距離、ホワイトバランス、露出値などの時間変化に基づいて複数のシーンが決定されてもよい。露出値は、ＩＳＯ感度、シャッタースピード、及び、絞り値から算出できる。シーンを決定するための撮像パラメータとして、１種類の撮像パラメータが使用されてもよいし、複数種類の撮像パラメータが使用されてもよい。

シーンを決定するための複数のパラメータが存在する場合には、シーン決定部１０５は、複数のパラメータのうち、設定されている撮影モードに応じたパラメータを用いて複数のシーンを決定してもよい。例えば、ＩＳＯ感度を自動で設定する撮影モードの場合に、ＩＳＯ感度以外のパラメータの時間変化には基づかずに、ＩＳＯ感度の時間変化に基づいて、複数のシーンが決定されてもよい。ホワイトバランスを自動で設定する撮影モードの場合に、ホワイトバランス以外のパラメータの時間変化には基づかずに、ホワイトバランスの時間変化に基づいて、複数のシーンが決定されてもよい。同様に、絞り優先モードの場合に絞り値が使用され、シャッター速度優先モードの場合にシャッター速度が使用されてもよい。全ての撮像パラメータを手動で設定するマニュアルモードの場合に全ての撮像パラメータを考慮して複数のシーンが決定されてもよい。複数のパラメータの少なくともいずれかが、シーンを決定するためのパラメータとしてユーザに指定されてもよい。

特定の撮影モードが設定されている場合にシーン決定処理を行わない（複数のシーンを決定しない）ような制御を行ってもよい。例えば、ＡＦ撮影モードにおけるフォーカス変更時は、同一シーンの画像を撮影している可能性が高いため、シーンを切り替えず、ＭＦ撮影モードにおけるフォーカス変更時は、意図した画作りをしているため、シーンを切り替えるような制御を行ってもよい。撮影モードなどに依らず、シーン決定処理の実行／非実行がユーザによって指定されてもよい。

シーンを決定するためのパラメータ、シーン決定処理の実行／非実行の切り替え方法、シーン決定処理を実行する（または、しない）撮影モードなどは特に限定されない。

＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。本実施例では、フレーム画像の合焦領域（被写界深度内領域）を考慮してシーンの決定や動的メタデータの生成を行う例を説明する。撮影モードは特に限定されないが、本実施例では、ＭＦ撮影モードの例を説明する。

図７は、本実施例に係る撮像装置７００の構成例を示すブロック図である。図７において、図１（実施例１）と同じブロックには図１と同じ符号が付されている。撮像装置７００は、実施例１の特徴量取得部１０４の代わりに特徴量取得部７０４を有し、実施例１のシーン決定部１０５の代わりにシーン決定部７０５を有する。さらに、撮像装置７００は、被写界深度算出部７１５を有する。

特徴量取得部７０４は、実施例１の特徴量取得部１０４と同様の機能を有する。但し、特徴量取得部７０４は、フレーム画像データ全体の最大輝度値ではなく、フレーム画像の合焦領域（被写界深度内領域）に対応する画像データの最大輝度値を、フレーム最大輝度値として取得する。合焦領域（被写界深度内領域）は、被写界深度算出部７１５から通知される。実施例１と同様に、フレーム最大輝度値（合焦領域に対応する画像データの最大
輝度値）は、複数のシーンを決定するための特徴量と、シーン特徴量を取得するための特徴量との両方として使用される。なお、複数のシーンを決定するための特徴量として、合焦領域に対応する画像データの最大輝度値が取得され、シーン特徴量を取得するための特徴量として、フレーム画像データ全体の最大輝度値が取得されてもよい。逆でもよい。

シーン決定部７０５は、実施例１のシーン決定部１０５と同様の機能を有する。但し、フレーム最大輝度値が閾値よりも大きい変化量で変化する場合において、シーン決定部７０５は、合焦領域（被写界深度内領域）の時間変化を考慮して、シーンを切り替えるか否かを判断する。合焦領域（被写界深度内領域）は、被写界深度算出部７１５から通知される。

被写界深度算出部７１５は、絞り値、フォーカス値（フォーカス位置）、及び、ズーム値（焦点距離）を、撮像制御部１０３から取得する。換言すれば、撮像制御部１０３は、絞り値、フォーカス値、及び、ズーム値を、被写界深度算出部７１５へ出力する。被写界深度算出部７１５は、絞り値、フォーカス値、及び、ズーム値から被写界深度を算出する。そして、被写界深度算出部７１５は、合焦領域として、フレーム画像の被写界深度内領域を、特徴量取得部７０４とシーン決定部７０５へ通知する。

シーン決定処理に関する処理フローの一例について説明する。まず、操作部１１４は、ＭＦ撮影モードへ変更するモード変更操作（ユーザ操作）を受け付ける。ＣＰＵ１１１は、モード変更操作に応じて、撮像装置１００の各ブロックを制御し、ＭＦ撮影モードを設定する。次に、撮像制御部１０３は、絞り値、シャッター速度、フォーカス値、及び、ズーム値などに応じて、撮像光学系１０１の状態や、撮像素子１０２の処理などを制御をする。さらに、撮像制御部１０３は、絞り値、フォーカス値、及び、ズーム値を被写界深度算出部７１５へ出力する。

そして、被写界深度算出部７１５は、撮像制御部１０３から取得した絞り値、フォーカス値、及び、ズーム値から被写界深度を算出する。例えば、以下の式１を用いて被写界深度が算出される。

次に、被写界深度算出部７１５は、撮像素子１０２から取得したフレーム画像データと、算出した被写界深度とに基づいて、当該フレーム画像データによって表されたフレーム画像の被写界深度内領域を検出する。そして、被写界深度算出部７１５は、被写界深度内領域（合焦領域）を、特徴量取得部７０４とシーン決定部７０５へ通知する。なお、合焦領域の検出方法は特に限定されない。例えば、所定の空間周波数帯域を有するエッジ領域を検出し（エッジ検出）、検出されたエッジ領域の密度が所定の閾値よりも大きい画像領域を合焦領域として決定してもよい。

次に、操作部１１４は、撮影開始操作を受け付ける。ＣＰＵ１１１は、撮影開始操作に応じて、撮像装置１００の各ブロックを制御し、撮影を開始する。そして、特徴量取得部７０４は、被写界深度算出部７１５から通知された被写界深度内領域に対応する画像データの最大輝度値を、フレーム最大輝度値として取得し、フレーム最大輝度値をシーン決定部１０５へ出力する。次に、シーン決定部７０５は、特徴量取得部１０４から取得したフレーム最大輝度値と、被写界深度算出部７１５から通知された被写界深度内領域とを用いて、複数のシーンを決定する。

図８（ａ）～８（ｄ）は、フレーム画像の一例を示す。図８（ａ）～８（ｄ）では、被写体８００に合焦するフォーカス値が設定されている。図８（ａ），８（ｄ）では、深い被写界深度が設定されており、領域８０１（フレーム画像の全体）が合焦領域とされている。図８（ｂ），８（ｃ）では、浅い被写界深度が設定されており、領域８０１よりも狭い領域８０２（フレーム画像の一部）が合焦領域とされており、領域８０１から領域８０２を除いた領域８０３が非合焦領域とされている。

本実施例では、合焦領域のフレーム最大輝度値の時間変化に基づいて複数のシーンが決定される。このため、図８（ｃ）のように、非合焦領域８０３内に高輝度領域８０４が発生し、閾値よりも大きい増加量でフレーム最大輝度値が増加しても、シーンは決定（確定）されない（シーンは切り替えられない）。これにより、動的メタデータに基づく表示において、合焦領域以外の輝度変化によって、合焦領域内の被写体（注目される可能性が高い被写体）の見えが変化することを防ぐことができる。

本実施例では、被写界深度が浅い状態（合焦領域が狭い状態；図８（ｃ））から、被写界深度が深い状態（合焦領域が広い状態；図８（ｄ））に変化する場合は、フレーム最大輝度の大きな変化に応じて、シーンを決定（確定）する（シーンを切り替える）。これにより、高輝度領域８０４の影響を受けた被写体８００の表示が可能となる。一方で、被写界深度が深い状態（合焦領域が広い状態；図８（ｄ））から、被写界深度が浅い状態（合焦領域が狭い状態；図８（ｃ））に変化する場合は、フレーム最大輝度の時間変化に依らずシーンを決定（確定）しない（シーンを切り替えない）。これにより、被写体８００の見えを変化させない表示が可能となる。

以上述べたように、本実施例によれば、合焦領域を考慮することにより、より好適な動的メタデータを取得できたり、より好適に複数のシーンを決定できたりする。

なお、実施例１～３（図１，７）の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。１つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つのブロックの２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、実施例１～３（上述した変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で実施例１～３の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１～３の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，７００：撮像装置 １０２：撮像素子 １０４，７０４：特徴量取得部
１０５，７０５：シーン決定部 １０６：メタデータ生成部

Claims (17)

1. 動画を撮像する撮像手段と、
   前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定手段と、
   前記複数のシーンのそれぞれの特徴量を取得する取得手段と、
   前記取得手段によって取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成手段と、
   を有し、
   前記パラメータは、当該パラメータに対応する前記フレームである対応フレームの画像データの最大輝度値と、前記対応フレームに対して時間的に連続する１つ以上のフレームの最大輝度値との平均値を含む
   ことを特徴とする撮像装置。
2. 動画を撮像する撮像手段と、
   前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定手段と、
   前記複数のシーンのそれぞれの特徴量を取得する取得手段と、
   前記取得手段によって取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成手段と、
   を有し、
   前記決定手段は、前記フレームの画像の合焦領域が狭くなる時間位置では前記パラメータの時間変化に依らずシーンが切り替わらないように、前記複数のシーンを決定する
   ことを特徴とする撮像装置。
3. 外部装置と接続する出力ＩＦと、
   前記動画のデータと前記情報とを互いに関連付けて出力する出力手段と、
   をさらに有する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記出力手段は、前記動画のデータをストリーム形式で、前記出力ＩＦから前記外部装
   置へ、出力する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記特徴量は、当該特徴量に対応するシーンの動画データの最大輝度値を含む
   ことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
6. 前記パラメータは、前記フレームの画像データの最大輝度値を含む
   ことを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
7. 前記決定手段は、前記パラメータが変化しない時間位置ではシーンが切り替わらず、前記パラメータが変化する時間位置でシーンが切り替わるように、前記複数のシーンを決定する
   ことを特徴とする請求項１～６のいずれか１項に記載の撮像装置。
8. 前記決定手段は、前記パラメータが閾値よりも小さい変化量で変化する時間位置ではシーンが切り替わらず、前記パラメータが前記閾値よりも大きい変化量で変化する時間位置でシーンが切り替わるように、前記複数のシーンを決定する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記パラメータは、前記フレームの画像を撮像する際の撮像パラメータを含む
   ことを特徴とする請求項１～８のいずれか１項に記載の撮像装置。
10. 前記撮像パラメータは、ＩＳＯ感度、シャッタースピード、絞り値、フォーカス位置、焦点距離、ホワイトバランス、及び、露出値の少なくともいずれかを含む
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記取得手段は、
    フレームの画像の合焦領域に対応する画像データの最大輝度値を、前記動画の複数のフレームのそれぞれについて取得し、
    前記動画のシーンについて取得された２つ以上の最大輝度値の最大値を、当該シーンの特徴量に含める
    ことを特徴とする請求項１～１０のいずれか１項に記載の撮像装置。
12. 前記フレームに対応する複数のパラメータが存在し、
    前記決定手段は、前記複数のパラメータのうち、設定されている撮影モードに応じたパラメータを用いて、前記複数のシーンを決定する
    ことを特徴とする請求項１～１１のいずれか１項に記載の撮像装置。
13. 前記決定手段は、特定の撮影モードが設定されている場合に、前記複数のシーンを決定しない
    ことを特徴とする請求項１～１２のいずれか１項に記載の撮像装置。
14. 前記特徴量は、ＳＭＰＴＥ ＳＴ ２０９４で規定された動的メタデータである
    ことを特徴とする請求項１～１３のいずれか１項に記載の撮像装置。
15. 動画を撮像する撮像ステップと、
    前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定ステップと、
    前記複数のシーンのそれぞれの特徴量を取得する取得ステップと、
    前記取得ステップにおいて取得された特徴量を前記複数のシーンのそれぞれに関連付け
    た情報を生成する生成ステップと、
    を有し、
    前記パラメータは、当該パラメータに対応する前記フレームである対応フレームの画像データの最大輝度値と、前記対応フレームに対して時間的に連続する１つ以上のフレームの最大輝度値との平均値を含む
    ことを特徴とする撮像装置の制御方法。
16. 動画を撮像する撮像ステップと、
    前記動画のフレームに対応するパラメータの時間変化に基づいて前記動画の複数のシーンを決定する決定ステップと、
    前記複数のシーンのそれぞれの特徴量を取得する取得ステップと、
    前記取得ステップにおいて取得された特徴量を前記複数のシーンのそれぞれに関連付けた情報を生成する生成ステップと、
    を有し、
    前記決定ステップでは、前記フレームの画像の合焦領域が狭くなる時間位置では前記パラメータの時間変化に依らずシーンが切り替わらないように、前記複数のシーンを決定する
    ことを特徴とする撮像装置の制御方法。
17. コンピュータを、請求項１～１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images