JP4987129B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関する。

静止画像の編集では、撮像素子で生成された画像信号をそのまま記録したＲａｗ形式の画像データに対して、ユーザが様々な現像パラメータを指定することで、かかる現像パラメータに応じた画像を得ることができるＲａｗ現像処理が利用されている。なお、現像パラメータとは、例えば、コントラスト、露出補正、ホワイトバランス、色相などの画像（の画質）を調整するために必要な情報である。

また、近年では、デジタルビデオカメラの普及やパーソナルコンピュータの性能の向上などによって、動画像の編集も一般的に行われるようになってきている。このような背景から、今後は静止画像だけではなく、動画像についてもＲａｗ形式の画像データを扱うようになり、Ｒａｗ形式でファイルを記録することができるデジタルビデオカメラが普及していくと考えられる。

動画像データは、静止画像データとは異なり、多数のフレームの画像データ（画像フレーム）を含む。従って、Ｒａｗ形式の動画像データ（Ｒａｗ動画像データ）を適切に現像するためには、Ｒａｗ動画像データを構成する全てのＲａｗ画像フレームに対して現像パラメータを記録（付与）しておく必要がある。但し、１つの動画像コンテンツについて、特に、同一シーンにおいては、現像パラメータがフレーム単位で大きく変化することは殆どないため、動画像コンテンツを構成する全てのＲａｗ画像フレームに対して現像パラメータを記録しておくことは効率的ではない。

そこで、Ｒａｗ動画像データを記録する際に、一定間隔のＲａｗ画像フレームのみに対して現像パラメータを記録する技術が提案されている（特許文献１参照）。特許文献１の技術では、Ｒａｗ動画像データを再生（現像）する際には、一定間隔のＲａｗ画像フレームの現像パラメータを用いて補間処理を行うことによって、現像パラメータが記録されていないＲａｗ画像フレームの現像パラメータを生成している。

特開２００９−５５３３５号公報

しかしながら、従来技術では、一定間隔のＲａｗ画像フレームのみに対して現像パラメータを記録しているため、ユーザが重要だと感じたシーン（以下、「注目シーン」とする）に相当するＲａｗ画像フレームに対して現像パラメータが記録されているとは限らない。

図６は、従来技術において記録されるＲａｗ動画像データを示す図であって、Ｒａｗ動画像データを構成するＲａｗ画像フレームと現像パラメータ（色温度）とを時間軸に沿って配置した図である。Ｒａｗ動画像データを記録するデジタルビデオカメラなどの装置では、一般的に、被写体を電子ビューファインダ（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に表示するために、画像データの現像処理が行われている。従って、図６に示すように、一定間隔のＲａｗ画像フレームＦ_１及びＦ_ｍのそれぞれに対して、ＥＶＦ表示時の現像処理で生成された現像パラメータの１つとして色温度Ｐ_１及びＰ_ｍが記録される。なお、ＥＶＦ表示時には、Ｒａｗ動画像データを構成する全てのＲａｗ画像フレームの現像パラメータが生成されており、一定間隔のＲａｗ画像フレームＦ_１及びＦ_ｍの間のＲａｗ画像フレームＦ_ｎの色温度Ｐ_ｓも生成されている。但し、従来技術では、一定間隔のＲａｗ画像フレームＦ_１及びＦ_ｍのみに対して現像パラメータを記録するため、Ｒａｗ画像フレームＦ_ｎに対しては色温度Ｐ_ｓが記録されない。

そして、Ｒａｗ動画像データを再生する際には、Ｒａｗ画像フレームＦ_ｎの色温度として、色温度Ｐ_１及びＰ_ｍを用いた補間処理によって色温度Ｐ_ｎが生成されるが、実際の色温度Ｐ_ｓとは異なっている。従って、Ｒａｗ画像フレームＦ_ｎが注目シーンに相当したとしても、Ｒａｗ画像フレームＦ_ｎは実際の色温度Ｐ_ｓ（ユーザが撮像時に想定した色温度）とは異なる色温度Ｐ_ｎで現像されてしまう。また、実際の色温度でＲａｗ画像フレームＦ_ｎを現像するためには、ユーザは、補間処理によって生成された現像パラメータを調整して再度現像を行わなければならない（即ち、目的の画像を得るまでに手間や時間がかかる）。

本発明は、Ｒａｗ動画像データを記録する際に、ユーザの指示に応じて特定のＲａｗ画像フレームに対して現像パラメータを記録することを可能とし、ユーザの利便性（ユーザビリティ）に優れた技術を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての画像処理装置は、複数のＲａｗ画像フレームから構成されるＲａｗ動画像データを記録する画像処理装置であって、Ｒａｗ画像フレームに対応する現像パラメータを生成する生成手段と、前記Ｒａｗ動画像データと、前記Ｒａｗ動画像データを構成するＲａｗ画像フレームに対して前記生成手段が生成した前記現像パラメータとを記録媒体に記録する記録手段と、ユーザの指示に応じて前記複数のＲａｗ画像フレームから特定のＲａｗ画像フレームを指定する指定手段と、前記生成手段の動作と前記記録手段の動作とを制御する制御手段と、を有し、前記制御手段は、前記複数のＲａｗ画像フレームから一定のフレーム間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御するとともに、前記指定手段によって指定された前記特定のＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御することを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、Ｒａｗ動画像データを記録する際に、ユーザの指示に応じて特定のＲａｗ画像フレームに対して現像パラメータを記録することを可能とし、ユーザの利便性（ユーザビリティ）に優れた技術を提供することができる。

本発明の一側面としての画像処理装置として機能する撮像装置の構成を示す概略ブロック図である。 図１に示す撮像装置の動作を説明するためのフローチャートである。 図１に示す撮像装置において記録されるＲａｗ動画像データを示す図である。 図２に示すＲａｗ動画像データを再生（現像）する際に行われる補間処理を説明するための図である。 図１に示す撮像装置において記録されるＲａｗ動画像データを示す図である。 従来技術において記録されるＲａｗ動画像データを示す図である。 図１に示す撮像装置において記録されるＲａｗ動画像データを示す図である。 図１に示す撮像装置において記録されるＲａｗ動画像データを示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。なお、本実施形態では、Ｒａｗ形式で記録された動画像データをＲａｗ動画像データ又はＲａｗ動画像ファイルと称する。また、Ｒａｗ動画像データ又はＲａｗ動画像ファイルを構成する画像フレームをＲａｗ画像フレーム又はＲａｗ画像データと称する。

図１は、本発明の一側面としての画像処理装置として機能する撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、Ｒａｗ形式の動画像データ（Ｒａｗ動画像データ）とＲａｗ形式の静止画像データ（Ｒａｗ静止画像データ）とを選択的に生成して記録する撮像装置であって、本実施形態では、デジタルビデオカメラとして具現化される。なお、Ｒａｗ動画像データは、複数のＲａｗ画像フレームで構成される画像データである。

撮像装置１００は、撮像部１０１と、Ａ／Ｄ変換部１０２と、圧縮部１０３と、第１のパラメータ生成部１０４と、第２のパラメータ生成部１０５と、Ｒａｗ動画像ファイル生成部１０６とを有する。更に、撮像装置１００は、パラメータファイル生成部１０７と、操作部１０８と、記録・再生部１０９と、制御部１１０と、メモリ１１１と、記録媒体１１２とを有する。

撮像部１０１は、撮像レンズや焦点距離を変更可能なフォーカスレンズなどを含む撮像光学系と、絞り値を変更可能な絞り機構と、ＣＣＤやＣＭＯＳ素子（光電変換素子）などの撮像素子とを有し、被写体からの光（入射光）を電気信号に変換する。Ａ／Ｄ変換部１０２は、撮像部１０１からフレーム単位で順次出力される電気信号を増幅してＲａｗ画像データに変換（デジタル変換）する。

圧縮部１０３は、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データに対して可逆方式の圧縮処理を行う。これにより、Ｒａｗ画像データのデータ量を低減させることができ、更に、画質などを低下させることなくＲａｗ動画像データを記録することができる。

第１のパラメータ生成部１０４は、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データに基づいて、Ｒａｗ動画像データを再生（現像）する際に必要となる現像パラメータ（動画像用の現像パラメータ）をフレーム単位で生成する。換言すれば、第１のパラメータ生成部１０４は、Ｒａｗ動画像データを構成する複数のＲａｗ画像フレームのそれぞれに対応する現像パラメータを生成する。なお、第１のパラメータ生成部１０４は、Ｒａｗ画像フレームに対応する現像パラメータを生成する際には、かかるＲａｗ画像フレームよりも時間的に前のＲａｗ画像フレームも考慮して、短期間での急激な変化を抑制した現像パラメータを生成する。また、現像パラメータは、具体的には、コントラスト、露出補正、ホワイトバランス、色相などの画像（の画質）を調整するための情報を含む。

第２のパラメータ生成部１０５は、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データに基づいて、Ｒａｗ静止画像データを再生（現像）する際に必要となる現像パラメータ（静止画像用の現像パラメータ）を生成する。なお、第２のパラメータ生成部１０５は、ユーザからＲａｗ静止画像データの生成を指示されたときに生成されているＲａｗ画像フレームのみに基づいて、現像パラメータを生成する。

Ｒａｗ動画像ファイル生成部１０６は、圧縮部１０３からフレーム単位で出力されるＲａｗ画像データに基づいて、Ｒａｗ動画像ファイルを生成する。Ｒａｗ動画像ファイル生成部１０６で生成されたＲａｗ動画像ファイルは、記録・再生部１０９を介して、記録媒体１１２に記録される。

パラメータファイル生成部１０７は、第１のパラメータ生成部１０４及び第２のパラメータ生成部１０５から出力される現像パラメータに基づいて、現像パラメータファイルを生成する。なお、パラメータファイル生成部１０７で生成された現像パラメータファイルを構成する現像パラメータのそれぞれは、圧縮部１０３から出力されたＲａｗ画像データの対応するＲａｗ画像フレームに関連付けられている。

操作部１０８は、ユーザの操作を受け付ける（動作指示を入力する）ための各種ボタンなどで構成される。例えば、操作部１０８は、動画像撮像開始／終了ボタン、静止画像撮像ボタン、撮像装置１００の各種設定を行うためのボタンなどを含む。ユーザは、動画像撮像開始／終了ボタンを操作することで、Ｒａｗ動画像データの生成やＲａｗ動画像データの生成の停止を指示することができる。また、静止画像撮像ボタンは、本実施形態では、半押し操作及び全押し操作が可能である。ユーザは、静止画像撮像ボタンを半押し操作することで、Ｒａｗ静止画像データの生成の準備（準備指示）を指示することができ、静止画像撮像ボタンを全押し操作することで、Ｒａｗ静止画像データの生成を指示することができる。ここで、Ｒａｗ静止画像データの生成の準備とは、Ｒａｗ静止画像データを生成する際の撮像条件の決定又は変更を含む。なお、撮像条件は、撮像部１０１のフォーカスレンズに設定される焦点距離や絞り機構に設定される絞り値、ＩＳＯ感度、Ａ／Ｄ変換部１０２に設定される電気信号の増幅率などを含む。

記録・再生部１０９は、記録媒体１１２への画像データの書き込み、又は、記録媒体１１２に記録された画像データの読み出しなどを行う。
記録・再生部１０９は、本実施形態では、後述するように、Ｒａｗ動画像データと、かかるＲａｗ動画像データを構成するＲａｗ画像フレームに対する現像パラメータとを記録媒体１１２に記録する機能を有する。

制御部１１０は、ＣＰＵなどを含み、撮像装置１００の全体の動作を制御する。制御部１１０は、ユーザの指示に応じて指定された特定のＲａｗ画像フレームに対応する現像パラメータが、Ｒａｗ動画像データとともに記録媒体１１２に記録されるように、撮像装置１００の各部を制御する。また、制御部１１０は、複数のＲａｗ画像フレームから一定のフレーム間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータが、Ｒａｗ動画像データとともに記録媒体１１２に記録されるように、撮像装置１００の各部を制御する。なお、一定のフレーム間隔は、デフォルトで、或いは、ユーザの設定によって、予め定められている（例えば、１５フレーム間隔）。

メモリ１１１は、例えば、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体記憶素子で構成され、撮像装置１００の各部から出力されるデータを一時的に記憶する。

図２及び図３を参照して、撮像装置１００の動作、具体的には、複数のＲａｗ画像フレームから構成されるＲａｗ動画像データを記録媒体１１２に記録する動作について説明する。なお、かかる動作は、制御部１１０が撮像装置１００の各部を統括的に制御することによって実行される。図２は、撮像装置１００の動作を説明するためのフローチャートである。図３は、撮像装置１００において記録されるＲａｗ動画像データを示す図であって、Ｒａｗ動画像データを構成するＲａｗ画像フレームと現像パラメータ（本実施形態では、色温度）とを時間軸に沿って配置した図である。

Ｓ２０２では、制御部１１０は、操作部１０８を構成する動画像撮像開始／終了ボタンを介して、ユーザからＲａｗ動画像データの生成が指示されたこと（即ち、Ｒａｗ動画像データの生成を指示する生成指示が入力されたこと）を検知する。これにより、撮像装置１００による動画像の撮像が開始される。

Ｓ２０４では、制御部１１０は、動画像の撮像に関連するフラグや変数などの初期化を行う。具体的には、制御部１１０は、フレーム単位で繰り返し行われる一連の処理におけるフレーム番号ｎの初期化（ｎ＝０）を行う。また、制御部１１０は、ユーザからＲａｗ動画像データの生成の停止が指示されたこと（即ち、動画像撮像開始／終了ボタンが操作されたこと）を記憶するための動画像撮像終了フラグｅｎｄ＿ｆｌａｇの初期化（ｅｎｄ＿ｆｌａｇ＝０）を行う。

Ｓ２０６では、制御部１１０は、フレーム番号ｎを＋１だけインクリメント（ｎ＝ｎ＋１）する。例えば、動画像の撮像が開始されたフレームであれば、フレーム番号ｎは１に設定される。

Ｓ２０８では、制御部１１０の制御下において、撮像部１０１及びＡ／Ｄ変換部１０２は、フレーム番号ｎのＲａｗ画像データ（Ｒａｗ画像フレーム）を生成する。

Ｓ２１０では、制御部１１０の制御下において、第１のパラメータ生成部１０４は、Ｓ２０８で生成されたフレーム番号ｎのＲａｗ画像データに基づいて、現像パラメータ（即ち、フレーム番号ｎのＲａｗ画像データの現像パラメータ）を生成する。

Ｓ２１２では、制御部１１０の制御下において、Ｒａｗ動画像ファイル生成部１０６は、Ｓ２０８で生成されたフレーム番号ｎのＲａｗ画像データをファイルに記録（追記）してＲａｗ動画像ファイルを生成する。なお、Ｒａｗ動画像ファイルの生成では、図２に示すように、フレーム単位でＲａｗ画像データをファイルに記録してもよいし、メモリ１１１にＲａｗ画像データをバッファリングして所定の時間間隔ごとにファイルに記録するようにしてもよい。

Ｓ２１４では、制御部１１０は、操作部１０８を構成する動画像撮像開始／終了ボタンを介して、ユーザからＲａｗ動画像データの生成の停止が指示されたかどうか（即ち、動画像撮像開始／終了ボタンが操作されたかどうか）を判定する。Ｒａｗ動画像データの生成の停止が指示されていない場合、即ち、動画像の撮像が継続されている場合には、Ｓ２１６に移行する。

Ｓ２１６では、制御部１１０は、フレーム番号ｎのＲａｗ画像データが予め定められた条件を満たすかどうか、即ち、フレーム番号ｎのＲａｗ画像フレームが一定のフレーム間隔のＲａｗ画像フレームであるかどうかを判定する。フレーム番号ｎのＲａｗ画像データが予め定められた条件を満たさない場合には、現像パラメータを記録することなく、Ｓ２０６に移行する。また、フレーム番号ｎのＲａｗ画像データが予め定められた条件を満たす場合には、現像パラメータを記録するために、Ｓ２１８に移行する。

Ｓ２１８では、制御部１１０の制御下において、パラメータファイル生成部１０７は、Ｓ２１０で生成されたフレーム番号ｎのＲａｗ画像フレームの現像パラメータをファイルに記録（追記）して現像パラメータファイルを生成する。なお、現像パラメータファイルの生成では、図２に示すように、フレーム単位で現像パラメータをファイルに記録してもよいし、メモリ１１１に現像パラメータをバッファリングして所定の時間間隔ごとにファイルに記録するようにしてもよい。

Ｓ２２０では、制御部１１０は、動画像撮像終了フラグｅｎｄ＿ｆｌａｇが１（ｅｎｄ＿ｆｌａｇ＝１）であるかどうかを判定する。動画像撮像終了フラグｅｎｄ＿ｆｌａｇが１でない場合には、Ｓ２０６に移行し、動画像撮像終了フラグｅｎｄ＿ｆｌａｇが１である場合には、Ｓ２２４に移行する。

動画像の撮像が継続されている間（即ち、ユーザからＲａｗ動画像データの生成の停止が指示されるまで）は、Ｓ２０６乃至Ｓ２２０の処理がフレーム単位で実行される。

一方、Ｓ２１４において、Ｒａｗ動画像データの生成の停止が指示されている場合には、Ｓ２２２に移行する。Ｓ２２２では、制御部１１０は、動画像撮像終了フラグｅｎｄ＿ｆｌａｇを１（ｅｎｄ＿ｆｌａｇ＝１）に設定して、Ｓ２２０に移行する。この際、制御部１１０は、撮像部１０１及びＡ／Ｄ変換部１０２によるＲａｗ動画像データの生成を停止させる。

Ｓ２２４では、制御部１１０の制御下において、記録・再生部１０９は、Ｓ２１２で生成されたＲａｗ動画像ファイル及びＳ２１８で生成された現像パラメータファイルを記録媒体１１２に記録する。

ここで、動画像の撮像中、即ち、Ｒａｗ動画像データの生成中に、ユーザからＲａｗ静止画像データの生成を指示する生成指示が指示された（即ち、ユーザが操作部１０８を構成する静止画像撮像ボタンを全押し操作された）場合について詳細に説明する。例えば、図３では、制御部１１０は、時刻ｔ_１及びｔ_２に生成指示が指示されたことを検知し、時刻ｔ_１に生成されている１つのＲａｗ画像フレームＦ_ｔ１と、時刻ｔ_２に生成されている１つのＲａｗ画像フレームＦ_ｔ２を特定のＲａｗ画像フレームとして指定する。そして、制御部１１０は、Ｒａｗ画像フレームＦ_ｔ１及びＦ_ｔ２のそれぞれに対応する色温度Ｐ_ｔ１及びＰ_ｔ２が、Ｒａｗ動画像データとともに記録媒体１１２に記録されるように、撮像装置１００の各部を制御する。具体的には、制御部１１０の制御下において、第１のパラメータ生成部１０４は、Ｒａｗ画像フレームＦ_ｔ１及びＦ_ｔ２のそれぞれに対応する色温度Ｐ_ｔ１及びＰ_ｔ２をパラメータファイル生成部１０７に出力する。パラメータファイル生成部１０７は、第１のパラメータ生成部１０４から出力された色温度Ｐ_ｔ１及びＰ_ｔ２に基づいて、現像パラメータファイルを生成して記録・再生部１０９に出力する。記録・再生部１０９は、パラメータファイル生成部１０７から出力された現像パラメータファイルを、Ｒａｗ動画像ファイル生成部１０６から出力されたＲａｗ動画像ファイルとともに記録媒体１１２に記録する。

このようにして、ユーザの生成指示に応じて特定のＲａｗ画像フレームとして指定されたＲａｗ画像フレームＦ_ｔ１及びＦ_ｔ２のそれぞれに対応する色温度Ｐ_ｔ１及びＰ_ｔ２が、Ｒａｗ動画像データとともに記録媒体１１２に記録される。なお、一定のフレーム間隔のＲａｗ画像フレームＦ_ｔ０及びＦ_ｔ３のそれぞれに対応する色温度Ｐ_ｔ０及びＰ_ｔ３も、上述したように、Ｒａｗ動画像データとともに記録媒体１１２に記録される。

なお、制御部１１０は、Ｒａｗ動画像データを生成している間は、ユーザからＲａｗ静止画像データの生成を指示する生成指示が指示されたかどうか（静止画像撮像ボタンが全押し操作されたかどうか）を検知する。そして、制御部１１０は、生成指示が指示されたときに生成されているＲａｗ画像フレームを特定のＲａｗ画像フレームとして指定し、かかる特定のＲａｗ画像フレームに対応する現像パラメータが記録媒体１１２に記録されるような制御を継続する。

図３を参照するに、撮像装置１００において記録されるＲａｗ動画像データには、ユーザの指示（生成指示）に応じて指定された特定のＲａｗ画像フレームに対して現像パラメータが記録されることになる。換言すれば、撮像装置１００では、ユーザが重要だと感じたシーン（注目シーン）において、静止画像撮像ボタンを全押し操作することで、注目シーンに相当するＲａｗ画像フレームに対して実際の現像パラメータを記録（付与）することができる。従って、Ｒａｗ動画像データを再生する際には、注目シーンに相当するＲａｗ画像フレームを実際の現像パラメータで現像することができるため、現像パラメータを調整することなく目的の画像を得ることができる。このように、撮像装置１００は、ユーザの利便性（ユーザビリティ）を向上させることができる。

なお、現像パラメータが記録されていないＲａｗ画像フレーム（特定のＲａｗ画像フレームを除くＲａｗ画像フレーム）に関しては、特定のＲａｗ画像フレームに対応する現像パラメータを用いた補間処理を行うことによって、現像パラメータを生成すればよい。本実施形態では、一定のフレーム間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータを記録媒体１１２に記録することに加えて、ユーザの指示（生成指示）に応じて指定された特定のＲａｗ画像フレームに対応する現像パラメータも記録する。これにより、補間処理の精度をより向上させることができる。

図４を参照して、本実施形態の撮像装置１００において記録されるＲａｗ動画像データを、記録・再生部１０９により再生（現像）する場合について説明する。但し、Ｒａｗ動画像データ及び現像パラメータファイルをコピーしたメモリカード等を外部の再生装置に挿入し、かかる再生装置でＲａｗ動画像データを再生（現像）してもよい。Ｒａｗ動画像データを再生する場合には、現像パラメータが記録されていないＲａｗ画像フレームについては、Ｒａｗ動画像データに記録されている現像パラメータを用いて補間処理を行い、適切な現像パラメータを生成することが必要となる。なお、図４は、図３に示すＲａｗ動画像データを再生する場合の補間処理を示している。図４では、Ｒａｗ動画像データを構成するＲａｗ画像フレームと現像パラメータ（本実施形態では、色温度）とが時間軸に沿って配置されている。

図４を参照するに、実線で示すＲａｗ画像フレームＦ_ｔ０、Ｆ_ｔ１、Ｆ_ｔ２及びＦ_ｔ３のそれぞれに対応する色温度Ｐ_ｔ０、Ｐ_ｔ１、Ｐ_ｔ２及びＰ_ｔ３は、上述したように、Ｒａｗ動画像データに記録されている。また、破線で示すＲａｗ画像フレームに対応する色温度Ｐ_{ｔ０−ｔ１}、Ｐ_{ｔ１−ｔ２}及びＰ_{ｔ２−ｔ３}は、補間処理によって生成される。具体的には、Ｒａｗ画像フレームＦ_ｔ０とＲａｗ画像フレームＦ_ｔ１との間に存在するＲａｗ画像フレームについては、色温度Ｐ_ｔ０及びＰ_ｔ１を用いた補間処理によって、適切な色温度Ｐ_{ｔ０−ｔ１}が生成される。また、Ｒａｗ画像フレームＦ_ｔ１とＲａｗ画像フレームＦ_ｔ２との間に存在するＲａｗ画像フレームについては、色温度Ｐ_ｔ１及びＰ_ｔ２を用いた補間処理によって、適切な色温度Ｐ_{ｔ１−ｔ２}が生成される。また、Ｒａｗ画像フレームＦ_ｔ２とＲａｗ画像フレームＦ_ｔ３との間に存在するＲａｗ画像フレームについては、現像パラメータＰ_ｔ２及びＰ_ｔ３を用いた補間処理によって、適切な現像パラメータＰ_{ｔ２−ｔ３}が生成される。

撮像装置１００では、動画像の撮像中であるかどうかに関わらず、ユーザからＲａｗ静止画像データの生成を指示する生成指示が指示された場合には、第２のパラメータ生成部１０５から出力される現像パラメータも記録媒体１１２に記録される。具体的には、制御部１１０の制御下において、圧縮部１０３から出力されるＲａｗ静止画像データと、第２のパラメータ生成部１０５から出力される現像パラメータとが関連付けられて記録媒体１１２に記録される。

また、図５に示すように、Ｒａｗ動画像データの生成中において、ユーザからＲａｗ静止画像データの生成の準備を指示する準備指示が指示されている間に生成される連続するＲａｗ画像フレームを特定のＲａｗ画像フレームとして指定することもできる。図５は、撮像装置１００において記録されるＲａｗ動画像データを示す図であって、Ｒａｗ動画像データを構成するＲａｗ画像フレームと現像パラメータ（本実施形態では、色温度）とを時間軸に沿って配置した図である。なお、準備指示が指示されている間とは、ユーザが操作部１０８を構成する静止画像撮像ボタンを半押し操作している間に相当する。

図５を参照するに、制御部１１０は、準備指示が時刻ｔ_３乃至ｔ_９の間指示されていることを検知し、時刻ｔ_３乃至ｔ_９の間に生成されている連続するＲａｗ画像フレームＦｔ_３乃至Ｆｔ_９を特定のＲａｗ画像フレームとして指定する。更に、制御部１１０は、時刻ｔ_１０に生成指示が指示されたことを検知し、時刻ｔ_１０に生成されているＲａｗ画像フレームＦ_ｔ１０を特定のＲａｗ画像フレームとして指定する。そして、制御部１１０は、Ｒａｗ画像フレームＦ_ｔ３乃至Ｆ_ｔ１０のそれぞれに対応する色温度Ｐ_ｔ３乃至Ｐ_ｔ１０が、Ｒａｗ動画像データとともに記録媒体１１２に記録されるように、撮像装置１００の各部を制御する。具体的には、制御部１１０の制御下において、第１のパラメータ生成部１０４は、Ｒａｗ画像フレームＦ_ｔ３乃至Ｆ_ｔ１０のそれぞれに対応する色温度Ｐ_ｔ３乃至Ｐ_ｔ１０をパラメータファイル生成部１０７に出力する。パラメータファイル生成部１０７は、第１のパラメータ生成部１０４から出力された色温度Ｐ_ｔ３乃至Ｐ_ｔ１０に基づいて、現像パラメータファイルを生成して記録・再生部１０９に出力する。記録・再生部１０９は、パラメータファイル生成部１０７から出力された現像パラメータファイルを、Ｒａｗ動画像ファイル生成部１０６から出力されたＲａｗ動画像ファイルとともに記録媒体１１２に記録する。

このようにして、ユーザの準備指示及び生成指示に応じて特定のＲａｗ画像フレームとして指定されたＲａｗ画像フレームＦ_ｔ１乃至Ｆ_ｔ１０のそれぞれに対応する色温度Ｐ_ｔ１乃至Ｐ_ｔ１０が、Ｒａｗ動画像データとともに記録媒体１１２に記録される。

図５に示すように、撮像装置１００では、注目シーンにおいて、静止画像撮像ボタンを半押し操作することで、注目シーンに相当するＲａｗ画像フレームを含む時間的に連続するＲａｗ画像フレームに対して実際の現像パラメータを記録（付与）することができる。従って、Ｒａｗ動画像データを再生する際には、注目シーン及びその近傍のシーンに相当するＲａｗ画像フレームを実際の現像パラメータで現像することができるため、現像パラメータを調整することなく目的の画像を得ることができる。

なお、本実施形態では、静止画像撮像ボタンの半押し操作又は全押し操作に応じて特定のＲａｗ画像フレームを指定している。これは、注目シーンが発生した場合、ユーザは、注目シーンの静止画像を撮像する（即ち、静止画像撮像ボタンを操作する）可能性が高いからである。従って、特定のＲａｗ画像フレームを指定するための専用のボタンなどを撮像装置１００に設け、かかる専用のボタンの操作に応じて特定のＲａｗ画像フレームを指定してもよい。

また、図７に示すように、一定のフレーム間隔（３フレーム間隔）のＲａｗ画像フレームに対して現像パラメータが定期的に記録される場合において、ユーザの指示（生成指示）に応じて、現像パラメータを記録するタイミングをずらしてもよい。図７は、撮像装置１００において記録されるＲａｗ動画像データを示す図であって、Ｒａｗ動画像データを構成するＲａｗ画像フレームと現像パラメータ（本実施形態では、色温度）とを時間軸に沿って配置した図である。上述したように、撮像装置１００において、Ｒａｗ画像フレームＦ_１乃至Ｆ_４のそれぞれに対応する色温度Ｐ_ｔ０乃至Ｐ_ｔ４は、Ｒａｗ動画像データとともに記録媒体１１２に自動的に記録される。

図７に示すように、色温度Ｐ_ｔ２が自動的に記録された後、ユーザが注目シーンに対応する時刻ｔ_ｓに静止画像撮像ボタンを全押し操作すると、撮像装置１００はＲａｗ画像フレームＦ_ｓに対して色温度Ｐ_ｔｓを記録（付与）する。図７では、制御部１１０は、時刻ｔ_ｓに生成指示が指示されたことを検知し、時刻ｔ_ｓに生成されている１つのＲａｗ画像フレームＦ_ｓを特定のＲａｗ画像フレームとして指定する。そして、制御部１１０は、Ｒａｗ画像フレームＦ_ｓに対応する色温度Ｐ_ｔｓが、Ｒａｗ動画像データとともに記録媒体１１２に記録されるように、撮像装置１００の各部を制御する。具体的には、制御部１１０の制御下において、第１のパラメータ生成部１０４は、Ｒａｗ画像フレームＦ_ｓに対応する色温度Ｐ_ｔｓをパラメータファイル生成部１０７に出力する。パラメータファイル生成部１０７は、第１のパラメータ生成部１０４から出力された色温度Ｐ_ｔｓに基づいて、現像パラメータファイルを生成して記録・再生部１０９に出力する。記録・再生部１０９は、パラメータファイル生成部１０７から出力された現像パラメータファイルを、Ｒａｗ動画像ファイル生成部１０６から出力されたＲａｗ動画像ファイルとともに記録媒体１１２に記録する。そして、撮像装置１００は、ユーザから生成指示が指示された時刻ｔ_ｓから一定時間ｔ_ｘが経過したときに生成されるＲａｗ画像フレームＦ_３（Ｒａｗ画像フレームＦ_ｓから３フレーム後のＲａｗ画像フレーム）に対して色温度Ｐ_ｔ３を記録する。なお、Ｒａｗ画像フレームＦ_３に対して色温度Ｐ_ｔ３を記録した後については、一定のフレーム間隔（３フレーム間隔）のＲａｗ画像フレーム（例えば、Ｒａｗ画像フレームＦ_４）に対する色温度（例えば、色温度Ｐ_ｔ４）の記録を継続する。

このように、撮像装置１００は、現像パラメータが定期的に記録される場合において、記録する現像パラメータの数を増加させずに、ユーザの指示（生成指示）に応じた適切なタイミングで現像パラメータを記録することができる。

また、図８に示すように、一定のフレーム間隔（６フレーム間隔）のＲａｗ画像フレームに対して現像パラメータが定期的に記録される場合において、ユーザの指示（生成指示）から一定期間は、現像パラメータを短い間隔（１フレーム間隔）で記録してもよい。図８は、撮像装置１００において記録されるＲａｗ動画像データを示す図であって、Ｒａｗ動画像データを構成するＲａｗ画像フレームと現像パラメータ（本実施形態では、色温度）とを時間軸に沿って配置した図である。上述したように、撮像装置１００において、Ｒａｗ画像フレームＦ_１乃至Ｆ_４のそれぞれに対応する色温度Ｐ_ｔ０乃至Ｐ_ｔ４は、Ｒａｗ動画像データとともに記録媒体１１２に自動的に記録される。

図８に示すように、色温度Ｐ_ｔ２が自動的に記録された後、ユーザが注目シーンに対応する時刻ｔ_ｓに静止画像撮像ボタンを全押し操作すると、撮像装置１００はＲａｗ画像フレームＦ_ｓに対して色温度Ｐ_ｔｓを記録（付与）する。また、撮像装置１００は、時刻ｔ_ｓから一定期間Ｔ_Ｙが経過するまで、短い間隔ｔ_ｙ（例えば、１フレーム間隔）でＲａｗ画像フレームに現像パラメータを自動的に記録する。ここで、ｔ_ｙ＜ｔ_ｘである。従って、図８に示すように、一定期間Ｔ_Ｙに存在するＲａｗ画像フレームＦ_ｓ１、Ｆ_ｓ２及びＦ_ｓ３のそれぞれに対して色温度Ｐ_ｓ１、Ｐ_ｓ２及びＰ_ｓ３が記録される。そして、撮像装置１００は、ユーザから生成指示が指示された時刻ｔ_ｓから一定期間Ｔ_Ｙが経過したときに生成されるＲａｗ画像フレームＦ_３に対して色温度Ｐ_ｔ３を記録する。なお、Ｒａｗ画像フレームＦ_３に対して色温度Ｐ_ｔ３を記録した後については、一定のフレーム間隔（６フレーム間隔）のＲａｗ画像フレーム（例えば、Ｒａｗ画像フレームＦ_４）に対する色温度（例えば、色温度Ｐ_ｔ４）の記録を継続する。なお、現像パラメータを記録する具体的な動作は、上述した動作と同様であるため、ここでの詳細な説明は省略する。

このように、撮像装置１００は、ユーザの指示に応じて注目シーンの近傍のシーンに相当するＲａｗ画像フレームの現像パラメータを短い間隔で記録することで、再生時において現像パラメータを調整することなく目的の画像を得ることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び、かかるプログラムを記憶した記憶媒体は本発明を構成することになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (10)

1. 複数のＲａｗ画像フレームから構成されるＲａｗ動画像データを記録する画像処理装置であって、
   Ｒａｗ画像フレームに対応する現像パラメータを生成する生成手段と、
   前記Ｒａｗ動画像データと、前記Ｒａｗ動画像データを構成するＲａｗ画像フレームに対して前記生成手段が生成した前記現像パラメータとを記録媒体に記録する記録手段と、
   ユーザの指示に応じて前記複数のＲａｗ画像フレームから特定のＲａｗ画像フレームを指定する指定手段と、
   前記生成手段の動作と前記記録手段の動作とを制御する制御手段と、
   を有し、
   前記制御手段は、前記複数のＲａｗ画像フレームから一定のフレーム間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御するとともに、前記指定手段によって指定された前記特定のＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御することを特徴とする画像処理装置。
2. 前記Ｒａｗ動画像データとＲａｗ静止画像データとを生成する撮像手段を更に有し、
   前記ユーザの指示は、前記撮像手段による前記Ｒａｗ動画像データの生成中において前記Ｒａｗ静止画像データの生成を指示する生成指示であることを特徴とする請求項１に記載の画像処理装置。
3. 前記指定手段は、前記生成指示が指示されたときに前記撮像手段で生成されている１つのＲａｗ画像フレームを前記特定のＲａｗ画像フレームとして指定することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記指定手段によって指定された１つの前記特定のＲａｗ画像フレームから一定のフレーム間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記指定手段によって指定された１つの前記特定のＲａｗ画像フレームから一定期間は、前記一定のフレーム間隔よりも短い間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御することを特徴とする請求項３に記載の画像処理装置。
6. 前記Ｒａｗ動画像データとＲａｗ静止画像データとを生成する撮像手段を更に有し、
   前記ユーザの指示は、前記撮像手段による前記Ｒａｗ動画像データの生成中において前記Ｒａｗ静止画像データの生成の準備を指示する準備指示であり、
   前記指定手段は、前記準備指示が指示されている間に前記撮像手段で生成される連続するＲａｗ画像フレームを前記特定のＲａｗ画像フレームとして指定することを特徴とする請求項１に記載の画像処理装置。
7. 前記Ｒａｗ静止画像データの生成の準備は、前記Ｒａｗ静止画像データを生成する際の撮像条件の決定又は変更を含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記撮像手段は、
   焦点距離を変更可能なレンズと、
   絞り値を変更可能な絞り機構と、
   を含み、
   前記撮像条件は、前記レンズに設定される焦点距離及び前記絞り機構に設定される絞り値の少なくとも１つを含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像手段は、
   被写体からの光を電気信号に変換する光電変換素子と、
   前記電気信号を増幅して前記Ｒａｗ動画像データ又は前記Ｒａｗ静止画像データに変換するＡ／Ｄ変換手段と、
   を含み、
   前記撮像条件は、前記Ａ／Ｄ変換手段に設定される前記電気信号の増幅率を含むことを特徴とする請求項７に記載の画像処理装置。
10. 複数のＲａｗ画像フレームから構成されるＲａｗ動画像データを記録する画像処理装置の制御方法であって、
    生成手段が、Ｒａｗ画像フレームに対応する現像パラメータを生成する生成ステップと、
    記録手段が、前記Ｒａｗ動画像データと、前記Ｒａｗ動画像データに含まれるＲａｗ画像フレームに対して前記生成ステップで生成した前記現像パラメータとを記録媒体に記録する記録ステップと、
    指定手段が、ユーザの指示に応じて前記複数のＲａｗ画像フレームから特定のＲａｗ画像フレームを指定する指定ステップと、
    制御手段が、前記生成ステップと前記記録ステップとを制御する制御ステップと、
    を有し、
    前記制御ステップでは、前記複数のＲａｗ画像フレームから一定のフレーム間隔で抽出されたＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成ステップ及び前記記録ステップを制御するとともに、前記指定ステップによって指定された前記特定のＲａｗ画像フレームに対応する現像パラメータが、前記Ｒａｗ動画像データとともに前記記録媒体に記録されるように前記生成ステップ及び前記記録ステップを制御することを特徴とする制御方法。

Images