JP6294725B2 - 画像処理装置、撮像装置、画像処理装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法及びプログラムに関する。

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記憶媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。

ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

近年の撮像装置は、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加してきている。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対するデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理を成すそれぞれの処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うには、膨大な回路や消費電力を費やしている。時には、現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できないことも起こり得る。

一方、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるかもしれないが、現像されていない状態で記録されるために、画像を速やかに再生表示することが困難である。さらに、ＲＡＷ画像特有のデータの特殊性によって、他の機器ではＲＡＷ画像を再生（現像）できなかったりするので、従来のＲＡＷ画像の記録方式では、ユーザーの利便性を損なうことがあった。

このように、従来の装置で高い撮影パフォーマンスを実行し、再生画像も高速に出画可能にするには、高コストの回路を搭載して高出力で駆動するか、ＲＡＷ画像を記録して高速かつ簡便に再生しなければならない。

そこで、本発明の目的は、ＲＡＷ画像を記録しながらも、再生画像を速やかに表示させることを可能にする技術を提供することにある。

上記課題を解決するための本発明は、画像処理装置であって、
ＲＡＷ画像に対して現像処理を行い、第１の現像画像データを生成する第１の現像手段と、
ＲＡＷ画像データとして前記ＲＡＷ画像を記憶媒体に記録し、前記第１の現像画像データを前記記憶媒体に記録する記録手段と、
前記記憶媒体に記録された前記ＲＡＷ画像データを読み出して前記第１の現像手段が行う前記現像処理よりも処理負荷の高い現像処理を行い、第２の現像画像データを生成する第２の現像手段と、
前記第１の現像手段又は前記第２の現像手段により得られる画像データを再生する再生手段と
を備え、
前記ＲＡＷ画像は動画であって、
前記第２の現像手段は、画像処理装置が所定の動作状態のときに、前記ＲＡＷ画像データに含まれる複数のフレームの一部に対して現像処理を実行し、
前記再生手段は、前記動画のうち前記一部のフレームでは前記第２の現像手段によって得られた前記第２の現像画像データを再生し、その他の部分では前記第１の現像手段によって得られた前記第１の現像画像データを再生することを特徴とする。

本発明によれば、ＲＡＷ画像を記録しながらも、再生画像を速やかに表示させることが可能になる。

発明の実施形態に係る撮像装置の構成例を示すブロック図である。 発明の実施形態の状態遷移図である。 発明の実施形態の静止画撮影モードの処理に係るフローチャートである。 発明の実施形態の静止画ファイルとＲＡＷファイルの構成例である。 発明の実施形態のアイドル状態の処理に係るフローチャートである。 発明の実施形態の静止画再生モードの処理に係るフローチャートである。 発明の実施形態の静止画再生モードの表示処理の例を示す図である。 発明の実施形態の動画撮影モードの処理に係るフローチャートである。 発明の実施形態の動画ファイルとRAWファイルの構成例である。 発明の実施形態の追いかけ現像モードの処理に係るフローチャートである。 発明の実施形態の動画再生モードの処理に係るフローチャートである。 画素配列の説明図である。 発明の実施形態に係る先頭部分追いかけ現像を施した場合の各動画ファイルの概念図である。 発明の実施形態の追いかけ現像処理に係るフローチャートである。 発明の実施形態の追いかけ現像処理に係るフレーム選択方法を説明する図である。 発明の実施形態の予測符号化における符号化モード及びフレームの参照先について説明するための図である。 発明の実施形態における動画再生モードの処理に係るフローチャートである。 発明の実施形態における動画ファイルの一覧表示の一例を示す図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

＜実施形態１＞
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像情報を記憶媒体に記録するだけでなく、画像情報を記憶媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。また図１の撮像装置１００において、撮像素子、表示素子、入力デバイスや端子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサー部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサー部１０２は、ＣＣＤやＣＭＯＳセンサー等の撮像素子を備え、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。図１２は、撮像センサー部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図１２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。

撮像センサー部１０２によって変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称す。

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が高くなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。現像部１１０によって現像処理された画像情報は、表示制御部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。

ＲＡＷ圧縮部１１３は、センサー信号処理部１０３が出力したＲＡＷ画像を、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ部（記憶媒体）１１５に格納する。ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記憶媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。

ＲＡＷファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部１５１によって、記憶媒体１５２に記録される。記憶媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記憶媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記憶媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮された状態のＲＡＷファイルを復号してＲＡＷ画像を生成する。ＲＡＷ伸張部１１４によるＲＡＷファイルの伸張処理により得られたＲＡＷ画像は、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示制御部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像（再生動画）として表示制御部１２２に供給する。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このような動作状態の遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して４つのモード、静止画撮影モード（２０１）、静止画再生モード（２０２）、動画撮影モード（２０３）、動画再生モード（２０４）に適宜切り替わって動作する。

次に、撮像装置１００の静止画撮影モードにおける動作について説明する。図３に、本実施形態の静止画撮影モードの処理に係るフローチャートを示す。図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図３において静止画撮影モードの処理が開始されると、Ｓ３０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ３２０でアイドル状態へ遷移し、それ以外の場合はＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に、例えば半分の頻度でＳ３２０へ遷移する。

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うように撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ３０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。Ｓ３０５にて評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。Ｓ３０６にて認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、簡易現像部１１１で現像処理された画像情報は、表示制御部１２２にも供給される。Ｓ３０７にて表示制御部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。なお、表示画像は、表示制御部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示制御部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ３１０へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、静止画圧縮部１４１に供給される。Ｓ３１０において静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し、静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。

Ｓ３１１において、記録再生部１５１が静止画ファイルを記憶媒体１５２に記録する。さらに、Ｓ３０８における撮影指示に応答して、Ｓ３１２ではＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサー信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ３１３において、記録再生部１５１がＲＡＷファイルを記憶媒体１５２に記録した後、フローはＳ３０１に遷移する。なお、Ｓ３１１及びＳ３１３において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。以上が、本実施形態の静止画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、静止画ファイルの構造と、ＲＡＷファイルの構造について説明する。図４は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。図４（ａ）に示す静止画ファイル４００は、記録再生部１５１によって、例えば記憶媒体１５２の所定の記録エリアに記録されている。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成されたＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報４０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、同時に生成されたＲＡＷファイルが記録されている記憶媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図４（ｂ）に示すＲＡＷファイル４１０は、記録再生部１５１によって、例えば記憶媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（圧縮されていない静止画のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された静止画ファイルのファイル名の情報４１４が含まれる。また、その静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４１６が含まれる。また、図示していないが、同時に生成された静止画ファイルが記録されている記憶媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格に準じた構成であっても良い。

本実施形態に係る撮像装置１００は、上述のように、静止画撮影モードにおける撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、静止画の撮影指示に応答して、ＲＡＷファイルを生成する。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

続いて、図３のＳ３２０におけるアイドル状態の処理について、図５のフローチャートを用いて説明する。図５に、本実施形態のアイドル状態の処理に係るフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５においてアイドル状態の処理が開始されると、Ｓ５０１にて制御部１６１が、ユーザーによる手動操作に応じて追いかけ現像を行うか否かを判定し、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。

Ｓ５０１で追いかけ現像を行わない場合、ユーザーからのモード設定に従って、制御部１６１が図２に示した２０１，２０２，２０３，２０４の何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ５１０、Ｓ５１１、Ｓ５１２、Ｓ５１３）。

本実施形態の「追いかけ現像」は、撮影動作終了後、バッファ部１１５又は記憶媒体１５２等に記録されたＲＡＷファイルをソースとして、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象とするが、以下では静止画を例に説明する。

上述したように、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、静止画と同時に生成するＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、ＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。

そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルから１フレーム毎にＲＡＷ画像を読みだして、高画質現像部１１２によって高画質に現像処理を行い、生成した静止画ファイルを記憶媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。

このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

図５の説明に戻り、記憶媒体１５２等には、１回の撮影指示に対して、静止画ファイルとＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、Ｓ５２０にて制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する。判定の方法には、例えば静止画ファイル４００の現像ステータス４０５に含まれる、静止画ファイルが簡易現像部１１１で処理されたもの否かを識別するためのフラグを参照する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の静止画があれば、Ｓ５２１に遷移する。Ｓ５２１では制御部１６１が、追いかけ現像が未処理の静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされているか否かを判定する。もし、バッファリングされていれば、Ｓ５２３に進み、バッファリングされていなければＳ５２２で対応するＲＡＷファイルを記憶媒体１５２等から読み出す。

バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記憶媒体１５２から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。復元されたＲＡＷ画像は、Ｓ５２４にて高画質現像部１１２が高画質に現像し、スイッチ部１２１を経由して表示制御部１２２や静止画圧縮部１４１に出力される。高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出された全体サイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。

高画質現像部１１２で現像処理された画像情報は、静止画圧縮部１４１に供給され、Ｓ５２５にて静止画圧縮部１４１が、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ５２６において、記録再生部１５１が高画質の静止画ファイルを記憶媒体１５２等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。

Ｓ５２６で記録される静止画ファイルは、図４（ａ）に示す静止画ファイル４００の構成で、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルの元となったＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報４０５が含まれる。また、元のＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報を含む撮影メタデータ４０６が含まれる。

記録再生部１５１は、高画質現像を経て、Ｓ５２６で記録される新たな静止画ファイルには、元となったＲＡＷファイルと同時に記録された簡易現像による静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画ファイルは削除される。そして、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルは、メタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は追いかけ現像済）を示す情報にて更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

次に、撮像装置１００の静止画再生モードにおける動作について説明する。図６に、本実施形態の静止画再生モードの処理に係るフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６において静止画再生モードの処理が開始されると、Ｓ６０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合にはＳ６１０でアイドル状態へ遷移し、それ以外の場合はＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。Ｓ６０２において、制御部１６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ６２０に進む。

図７に、拡大表示を含む表示形態の種類を説明する。図７は、本実施形態の静止画再生モードの表示処理の例を示す図である。図７（ａ）の表示例７００は、７０１で示す６つの画像を縮小して表示部１２３に縮小表示（一覧表示）している例である。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例７２０のように被写体像の細部を拡大表示する使われ方が一般的である。

表示例７２０のように拡大表示する場合、図６のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ６２０へ遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数、上述の例ならば２００万画素以下であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ６２０へ遷移する。

Ｓ６２０において、記録再生部１５１が、記憶媒体１５２等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルを復号して伸張し、Ｓ６０８において、表示制御部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する。

表示される画像が、簡易現像による静止画ファイルの画素数、上述の例ならば２００万画素以下で足りる場合は、静止画ファイルが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。静止画ファイルが高画質現像部１１２で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。

一方、拡大表示の場合、表示される画像が、簡易現像による静止画ファイルの画素数、上述の例ならば２００万画素以下では足りないことが起こり得る。すなわち、簡易現像による静止画ファイルを用いて表示したのでは、解像感の低下を招いてしまう。

よって、拡大表示の場合は、Ｓ６０３において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定の際、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか、高画質現像部１１２で処理されたものなのかを識別するためのフラグを参照する。この参照されたフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

Ｓ６０３で、高画質現像されたものと判定された場合、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ６２０に進む。Ｓ６２０では、記録再生部１５１が該当する高画質の静止画ファイルを記憶媒体１５２等から読み出して、再生表示する。このように、高画質現像部１１２で現像された静止画ファイルである場合は、このようにＳ６２０以降の処理で高画質に表示できる。Ｓ６０３で、高画質現像されたものと判定されなかった場合、簡易現像部１１１で現像処理された静止画ファイルであることを意味するので、Ｓ６０４に進み、高画質現像（上述した、追いかけ現像）を実行する。Ｓ６０４において、制御部１６１が再生対象となる静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされているかどうかを判定する。バッファリングされていれば、Ｓ６０６に進み、バッファリングされていなければＳ６０５で記録再生部１５１が対応するＲＡＷファイルを記憶媒体１５２等から読み出し、バッファ部１１５に格納する。なお、バッファ部１１５は、静止画撮影モードで撮影された新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ６０５をスキップし、高速に表示に至れるようになる。

Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記憶媒体１５２等から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像を復元する。復元されたＲＡＷ画像は、Ｓ６０７で高画質現像部１１２が高画質に現像処理し、スイッチ部１２１を経由して表示制御部１２２に出力される。Ｓ６０８において、表示制御部１２２が図７（ｃ）に示すような拡大画像を表示部１２３へ出力する。高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出された全体サイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。従って、高画質現像部１１２で現像された静止画ならば、拡大表示の要求に対して十分な画質で答えることができる。なお、Ｓ６０８の表示が停止されると、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

図６のＳ６０４以降の高画質現像は、上述したように、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的装置の処理負荷が小さい状態のときに静止画の追いかけ現像が徐々に終了する。その結果、簡易現像による静止画ファイルが自然と高画質現像による静止画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ６０４以降の高画質現像は発生するケースが減少し、拡大表示に対して速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。

また、バッファ部１１５にＲＡＷファイルが保持されている場合には、Ｓ６０５をスキップできるため、素早く表示できるようになると上述した。そこで、バッファ部１１５になるべくＲＡＷファイルが保持された状態になるよう、図７の表示例７００や７１０の場合に、拡大表示に備え、画像７０１や画像７１１に対応するＲＡＷファイルを予め記憶媒体から読み出してバッファ部１１５へ移動すると良い。拡大表示の指示よりも先行して、記録再生部１５１が記憶媒体１５２等から該当するＲＡＷファイルを読みだしてバッファリングすることで、表示例７２０のような拡大表示の指示がなされたときに、より素早く表示することができる。

次に、撮像装置１００の動画撮影モードにおける動作について説明する。図８に、本実施形態の動画撮影モードの処理に係るフローチャートを示す。図８のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図８において動画撮影モードの処理が開始されると、Ｓ８０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ８２０にてアイドル状態へ遷移し、それ以外の場合はＳ８０２へ進む。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、Ｓ８２０へは遷移せず、常にＳ８０２へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の第１のフレームと第２のフレームの処理の合間に、例えば半分の頻度でＳ８２０へ遷移する。

Ｓ８０２において、カメラ制御部１０４が、好適な条件で動画撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ８０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ８０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の動画を意味するＲＡＷ画像と呼ぶ。Ｓ８０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。

簡易現像部１１１は、動画の各フレームを構成するＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う動画の現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えばＨＤサイズの動画の高速撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、Ｓ８０５で画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、Ｓ８０６にて画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、簡易現像部１１１で現像処理された画像情報は、表示制御部１２２に供給される。表示制御部１２２は、Ｓ８０７にて取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示制御部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示制御部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ８０８において、制御部１６１は、ユーザーからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ８１０へ進む。Ｓ８０８でＲＥＣ中では無い場合（すなわちスタンバイ中）は、Ｓ８０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。

Ｓ８０８によって、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画が、Ｓ８１０にてフレーム単位で動画圧縮部１４２によって圧縮される。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。動画圧縮部１４２は、動画に対応する音声情報に対しても圧縮処理を施すことになる。動画圧縮部１４２は、取得した簡易現像済の動画の画像情報及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理を行う。Ｓ８１１において、記録再生部１５１が動画ファイルを記憶媒体１５２に記録する。

さらに、Ｓ８０８によって記録対象となった動画に対応する期間のＲＡＷ画像が、センサー信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、Ｓ８１２にて記録対象となった動画と同じシーンを示すＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ８１３において、記録再生部１５１がＲＡＷファイルを記憶媒体１５２に記録した後、フローはＳ８０１に遷移する。なお、Ｓ８１１及びＳ８１３において、記録再生部１５１は、動画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。ここで、本実施形態に係る、動画ファイルの構造と、ＲＡＷファイルの構造について説明する。図９は、動画ファイル及びＲＡＷファイルの構成例を示す図である。

図９（ａ）に示す動画ファイル９００は、記録再生部１５１によって、例えば記憶媒体１５２の所定の記録エリアに記録されている。動画ファイル９００は、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９０３には、高能率符号化された動画と音声の圧縮データが含まれている。

メタデータ部９０２には、この動画ファイルと同時に生成されたＲＡＷファイルのファイル名の情報９０４が含まれる。また、この動画ファイルが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報９０５が含まれる。現像ステータスの情報９０５には１シーンに含まれるフレーム総数と、高画質現像による現像が完了したフレーム数（または現像が完了したフレーム番号）が含まれてもよい。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９０６が含まれる。また、図示していないが、同時に生成されたＲＡＷファイルが記録されている記憶媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図９（ｂ）に示すＲＡＷファイル９１０は、記録再生部１５１によって、例えば記憶媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル９１０は、ヘッダ部９１１、メタデータ部９１２、圧縮データ部９１３から成る。ヘッダ部９１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９１３には、高能率符号化された動画のＲＡＷ圧縮データが含まれている（圧縮されていない動画のＲＡＷ画像データであっても良い）。

メタデータ部９１２には、このＲＡＷファイルと同時に生成された動画ファイルのファイル名の情報９１４が含まれる。また、その動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９１６が含まれる。また、図示していないが、同時に生成された動画ファイルが記録されている記憶媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された動画ファイルそのもの全部又は一部（先頭フレームなど）を抽出してメタデータ化して、メタデータ部９１２に格納しても良い。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格に準じた構成であっても良い。

本実施形態に係る撮像装置１００は、上述のように、動画撮影モードにおける撮影画像表示（ライブビュー表示）や、撮影時に生成される動画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりすることで、例えばＨＤサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、動画ファイルと共に、その動画の記録期間に対応するＲＡＷファイルを生成する。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、４Ｋや８Ｋ（水平解像度が８０００画素相当）のように画像の画素数を高めたり、毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

図１０に、本実施形態のアイドル状態からの動画中の所定部分の追いかけ現像処理に係るフローチャートを示す。

本実施形態に係る先頭部分追いかけ現像処理は、前述した追いかけ現像機能を活用した一処理である。具体的には撮影と撮影の合間や、ユーザーの操作待ちの、比較的装置の処理負荷が小さい状態において、バッファ部１１５又は記憶媒体１５２等に記録されたＲＡＷファイルをソースとして、改めて高画質な現像処理を施す。すなわち、所定の動作状態（バックグラウンドでも良い）の都度、ＲＡＷファイルから得られる高画質の表示画像や高画質の動画ファイルを生成する処理を意味する。また本実施形態では動画ファイルに対して説明するが、静止画連写等の連続する複数枚の関連する静止画ファイルにおいても適応させることは可能である。

追いかけ現像の有効性は前述のとおりである。一方で、動画ファイルのように１秒間に数十フレーム存在し、数分から数十分といった比較的長い時間記録されているデータに対して、すべてのシーン（フレーム）を追いかけ現像することは、アイドル中のバッテリーの消費といった課題も発生する。そこで、各動画ファイルの一部として、先頭部分のみを追いかけ現像しておくことで、バッテリー消費も抑制しつつ、高画質の動画ファイルの即時再生を行うことを可能にする。各動画ファイルの先頭部分に関して即時再生、表示できるので、各シーンの確認再生に有効である。また、所望の動画ファイルが再生開始された直後は先頭部分の高画質現像済みの映像を即時再生し、その再生期間のバックグラウンドで、先頭以降の続き部分を高画質現像する使用形態も実現できる。

図１０のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行されることにより実現される。

図１０においてアイドル状態の処理が開始されると、制御部１６１が、Ｓ１００１にてユーザー設定によって指示される、動画ファイルに対しての追いかけ現像を行うか否かを判定する。追いかけ現像を行わない場合はＳ１００２に遷移し、追いかけ現像を行う場合はＳ１０２０に遷移する。

Ｓ１００１で追いかけ現像を行わない場合は、ユーザーからのモード設定に従って、制御部１６１が図２に示した２０１、２０２、２０３、２０４の何れかのモードに遷移するか判定する（Ｓ１００２、Ｓ１００３、Ｓ１００４、Ｓ１００５）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ１０１０、Ｓ１０１１、Ｓ１０１２、Ｓ１０１３）。

記憶媒体１５２等には、１回の撮影指示（１シーンの記録開始指示）に対して、動画ファイルとＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、制御部１６１が、Ｓ１０２０において各画像の組について、追いかけ現像が処理済みか未処理かを判定する。判定の際、例えば動画ファイル９００のメタデータ部９０２に格納されている現像ステータス９０５に含まれている情報の中の、動画ファイルが簡易現像部１１１で処理されたものか、高画質現像部１１２で処理されたものかを識別するためのフラグを参照する。この参照された、このフラグから判定する方法がある。或いはＲＡＷファイル９１０の中の現像ステータス９１５を参照し、同様に判定しても良い。或いは、一連の撮影された動画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

また、Ｓ１０２０で追いかけ現像が処理済みか未処理かを判定する場合に、複数ある動画ファイル各先頭フレームからの所定時間に対して、追いかけ現像処理が済んでいるか否かを判定し、全動画ファイルが満遍なく高画質処理されるような判定方法にしても良い。また、処理済みか否かの判断として、いくつかのステップを設けてもよい。例えば動画の撮影時間全てに対して処理されているかを判断する構成にしてもよい。また、動画先頭部分から予め定められた時間（例えば、１分）毎に区切って、先頭から所定の時間分追いかけ現像処理がなされていれば、処理済みと判断する構成でもよい。更に、追いかけ現像処理が所定時間なされているか判断する場合においては、操作部１６２からの操作によって追いかけ現像処理済みか否かを判断する際の時間を動画ファイル単位に設定できる構成にしてもよい。

さらに、１回の記録開始指示に応じて撮影された１シーンの動画ファイルに含まれるフレーム総数と、高画質現像による現像が完了したフレーム数を参照して当該フレームが高画質現像されたフレームか否かを判定するようにしても良い。高画質現像による現像が完了したフレーム数に替えて、現像が完了したフレーム番号でも良い。これらの場合、動画ファイル９００の現像ステータス９０５或いはＲＡＷファイル９１０の現像ステータス９１５に、高画質現像による現像が完了したフレーム数（または現像が完了したフレーム番号）の情報を格納しておく。

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ１００２に遷移する。追いかけ現像が未処理の動画があれば、Ｓ１０２１に遷移する。Ｓ１０２１では、制御部１６１が追いかけ現像が未処理の動画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされているかを判断する。バッファリングされていればＳ１０２３に進み、バッファリングされていなければＳ１０２２にて記録再生部１５１が対応するＲＡＷファイルを記憶媒体１５２等から読み出し、バッファ部１１５に格納する。バッファ部１１５は、動画撮影モードで撮影された新しい画像から優先的に保持されるように、データが更新されるので、上述の静止画撮影モードと同様の効果が得られる。

Ｓ１０２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記憶媒体１５２から読み出したＲＡＷファイルの時間的先頭から所定時間分（先頭部分）を伸張処理し、ＲＡＷ画像を復元する。当該所定時間は固定的な値であってもよいし、可変（ユーザによる設定が可能）であってもよい。また、動画ファイル毎に異なっていてもよいし、同一であってもよい。復元された先頭部分のＲＡＷ画像は、Ｓ１０２４にて高画質現像部１１２が高画質に現像しスイッチ部１２１を経由して動画圧縮部１４２に出力される。本実施形態では、静止画モードでも得られる上述の効果に加えて、高画質現像部１１２での追いかけ現像処理を動画の先頭部分にのみ処理を適応することで、追いかけ現像で費やされる電力を低減できる。よって、電力消費の抑制とユーザーが撮影動画を高画質で視聴したい場合に、処理待ち時間なく軽快に視聴することが可能となる。ただし、当然のごとく操作部１６２からの指示により強制的に先頭部分のみならず、動画の撮影時間全てに対して、高画質現像を行うことが可能なのは言うまでもない。

高画質現像部１１２で現像処理された画像情報は、動画圧縮部１４２に供給され、動画圧縮部１４２は、Ｓ１０２５にて取得した画像情報に対して高能率符号化処理（動画圧縮）を施し、高画質の静止画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の技術により圧縮処理を行う。Ｓ１０２６において、記録再生部１５１が高画質の動画ファイルを記憶媒体１５２等に記録したら、フローはＳ１００２に遷移する。

Ｓ１０２６で記録される動画ファイルは、図９（ａ）に示す動画ファイル９００の構成で、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９０３には、高能率符号化された動画（先頭部分）の圧縮データが含まれている。メタデータ部９０２には、この動画ファイルの元となったＲＡＷファイルのファイル名の情報９０４が含まれる。また、この動画ファイルが高画質現像部１１２によって高画質現像されたことを示す現像ステータスおよび、現像された範囲として現像されたフレームの先頭からの時間情報９０５が含まれる。また、元のＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報を含む撮影メタデータ９０６が含まれる。

記録再生部１５１は、高画質現像を経て、Ｓ１０２６で記録される新たな動画ファイルには、元となったＲＡＷファイルと同時に記録された簡易現像による動画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による動画ファイルは削除される。そして、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルは、メタデータ部９１２内の現像ステータス９１５を高画質現像済（又は追いかけ現像済）であることを示す情報として更新する。なお、先頭部分のみが高画質現像処理されている場合には、元となったＲＡＷファイルと同時に記録された簡易現像動画ファイルは削除せずに、簡易現像動画ファイルは保持しつつ、高画質現像された動画ファイルを記憶媒体１５２等へ記録する。

高画質現像された動画ファイルを記憶媒体１５２等へ記録した場合には、高画質現像された動画ファイル９００の構成におけるメタデータ部９０２に、関連する簡易現像動画ファイルのファイル名等が含まれる。また、簡易現像動画ファイルの圧縮データ部９１３は保持しつつ、メタデータ部９１２に高画質現像処理された動画ファイルのファイル名や高画質現像処理された部分などを含むようにメタデータ部９１２を更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに追いかけ現像を実行する。そして、撮影時の簡易現像による動画ファイルを、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。すなわち、所定の動作状態の都度、追いかけ現像を実行することによって、経過時間に応じて高画質現像済みの期間が増加し、最終的には動画ファイルの全部の期間が高画質現像済みとなる。こうすることにより、高画質現像前に高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理待ちが発生せず、また、従来よりも高品質な画像の視聴環境の提供が可能となる。そして、最終的には全てが高画質となった画像を提供することもできる。

次に、撮像装置１００の動画再生モードにおける動作について説明する。

図１１に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図１１のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１１において動画再生モードの処理が開始されると、Ｓ１１０１において制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ１１１０でアイドル状態へ遷移し、それ以外の場合はＳ１１０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ１１１０へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ１１０２へ進む。

Ｓ１１０２において、制御部１６１が、記憶媒体１５２等に高画質現像処理がなされた動画ファイルが存在するか否かを判定する。Ｓ１１０２で高画質現像処理された動画ファイルが存在する場合は、Ｓ１１０３に進む。動画ファイルが存在しない場合はＳ１１０７に進む。Ｓ１１０３において、制御部１６１が、高画質現像処理された動画ファイルの終端部分再生が完了したか否かを判定する。高画質現像処理された動画ファイルの再生が完了したと判定された場合には、Ｓ１１０７へ進む。高画質現像処理された動画ファイルの再生が完了していないと判定された場合には、高画質現像処理された動画再生を行うためにＳ１１０４へ進む。

Ｓ１１０４において、記録再生部１５１が記憶媒体１５２等から再生対象の高画質現像処理された動画ファイルを読み出す。そして、Ｓ１１０５において、動画伸張部１４４が、読み出された動画ファイルを１フレームずつ復号して伸張し、Ｓ１１０６において、表示制御部１２２が再生された動画の表示画像を表示部１２３へ出力する。なお、Ｓ１００５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ１００１に戻る。

Ｓ１１０２で高画質現像処理された動画ファイルが存在しないと判定された場合又はＳ１１０３で高画質現像処理された動画ファイルの再生が完了したと判定された場合はＳ１１０７に進む。Ｓ１１０７において、制御部１６１が、記憶媒体１５２等に簡易現像処理された動画ファイルが存在するか否かを判定する。簡易現像処理された動画ファイルが存在しないと判定されたということは、言い換えると、動画ファイル全編に対して高画質現像処理が完了し、簡易現像された動画ファイルによって全て上書きされたことを意味する。簡易現像処理された動画ファイルが存在すると判定された場合は、Ｓ１１０８へと進む。

Ｓ１１０８において、簡易現像処理された動画ファイルの終端部分再生が完了したか否かを判定する。簡易現像処理された動画ファイルの再生が完了していないと判定された場合には、Ｓ１１０９へ進む。Ｓ１１０９において、記録再生部１５１が記憶媒体１５２等から再生対象の簡易現像処理された動画ファイルを読み出す。そして、Ｓ１１０５において、動画伸張部１４４が、読み出された動画ファイルを１フレームずつ復号して伸張し、Ｓ１１０６において、表示制御部１２２が再生された動画の表示画像を表示部１２３へ出力する。

Ｓ１１０７で簡易現像処理された動画ファイルが存在しないと判定された場合ないし、Ｓ１１０８で簡易現像処理された動画ファイルの再生が完了したと判定された場合には、それぞれＳ１００１のフローに戻る。Ｓ１００１において、アイドル状態Ｓ１０１０に遷移した場合は、上述した図１１のフローチャートに従って処理される。

図１３は、先頭部分追いかけ現像を施した場合の各動画ファイルの概念図である。図のように、各動画ファイル（ストリーム）のそれぞれ先頭部分では高画質現像済のシーンが再生可能となる。なお、図１３（ａ）は上述したように先頭部分として一定期間を高画質現像対象とした例であり、図１３（ｂ）は先頭部分の期間を、各動画ファイルごとに個別設定可能（可変）にした例を示す。いずれの場合も、各ストリームの先頭から所定期間は高画質現像済のシーン再生が可能となるが、残りの期間については簡易現像されたシーンを再生することとなる。

以上の実施形態によれば、撮影時には簡易現像を行う一方、撮像装置のアイドル状態において、より処理負荷の高い高画質現像を行うことで高い撮影パフォーマンスを実行し、再生画像も高速に出画可能にすることが可能となる。

＜実施形態２＞
上記実施形態１では、動画像ファイルの追いかけ処理について、ＲＡＷファイルの時間的先頭から所定時間分（先頭部分）を順番に伸張処理し高画質現像部１１２にて高画質に現像を行った。これに対して本実施形態では、追いかけ処理において１シーンの連続するフレームに対して順番に行うのではなく、所定の間隔でフレーム間引きし、複数回に分けて高画質現像を行う場合を説明する。

本実施形態におけるフローチャートは基本的には図１０と同様であるが、Ｓ１０２３からＳ１０２６までの処理が異なる。Ｓ１０２３からＳ１０２６までの代わりに実施される本実施形態に対応する追いかけ現像処理について図１４に処理の一例を示す。図１４のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

まず制御部１６１は、Ｓ１４０１において動画ファイル９００の現像ステータスを参照し、追いかけ現像が既に実施されたか否かを判定する。本実施形態に対応する動画ファイル９００の現像ステータスの情報９０５には、追いかけ現像が実行された回数に関する情報が含まれていてもよい。もし、まだ追いかけ現像が行われていなかった場合はＳ１４０２に移行し、１回目の追いかけ現像が既に行われていた場合にはＳ１４０６に移行する。

図１５（a）はＲＡＷファイルに存在する１シーン全ての画像フレームを表しており、フレームレートは例えば６０フレーム／秒の画像フレームである。1回目の追いかけ現像では、Ｓ１４０２において図１５の（ｂ）に示すように１フレーム間隔となるよう偶数番目（２ｎ番目、但しｎは整数）のフレームを選択することを決定する。次に、選択されたフレームについてＳ１４０３においてＲＡＷ伸張部１１４が記憶媒体１５２から読み出したＲＡＷファイルにおける選択フレームに対応する圧縮データを伸張処理し、ＲＡＷ画像を復元する。復元されたＲＡＷ画像は、Ｓ１４０４にて高画質現像部１１２が高画質に現像する。次いで、Ｓ１４０５では動画圧縮部１４２が高能率符号化処理を行い、動画ファイルを生成し、Ｓ１４０６で記憶媒体に記録する。このフレーム間引かれた状態で生成された動画ファイルを以下「動画ファイルβ」と言う。１フレーム間隔で間引きする事で、動画ファイルβのフレームレートは３０フレーム／秒となるが、全てのフレームを追いかけ現像する処理時間と比較して半分の時間で１シーンの追いかけ現像を完了させる事ができる。また、動画ファイルβは上述の動画ファイルと同様に図９の９００のファイル構造となっており、動画ファイルβ単独での動画再生が可能である。

１回目の追いかけ現像がシーンの終端に達し完了すると、記憶媒体に記録されている他のＲＡＷファイル（他のシーン）に対しての１回目の追いかけ現像へと処理が移行する。そして全てのＲＡＷファイルに対して１回目の追いかけ現像が完了すると、最初のＲＡＷファイルに対する２回目の追いかけ現像が実行される。

Ｓ１４０１で１回目ではないと判定された場合の２回目の追いかけ現像では、図１５の（ｃ）に示すように１回目で未現像のフレーム、すなわち奇数番目（２ｎ＋１番目、但しｎは整数）のフレームに対して高画質現像、高能率符号化処理がなされる。なお、１回目に奇数番目を選択し、２回目に偶数番目を選択してもよい。即ち、Ｓ１４０７において図１５の（ｃ）に示すように１フレーム間隔となるよう例えば偶数番目（２ｎ＋１番目）のフレームを選択することを決定する。次に、選択されたフレームについてＳ１４０８においてＲＡＷ伸張部１１４が記憶媒体１５２から読み出したＲＡＷファイルにおける選択フレームに対応する圧縮データを伸張処理し、ＲＡＷ画像を復元する。復元されたＲＡＷ画像は、Ｓ１４０９にて高画質現像部１１２が高画質に現像する。次いで、Ｓ１４１０では動画圧縮部１４２が高能率符号化処理を行い、動画ファイルを生成する。その際、動画ファイルβを記憶媒体から読み出し、１回目（動画ファイルβ）の符号化データと２回目の符号化データとをフレーム毎に多重して、６０フレーム／秒の動画ファイルを生成する。そして、Ｓ１４１１において記録再生部１５１が６０フレーム／秒の動画ファイルを記憶媒体１５２に記録する。２回目の追いかけ現像がシーンの終端に達し完了した時点で、動画ファイルβを記憶媒体１５２から削除するようにしてもよい。

なお、動画圧縮部１４２での高能率符号化処理においては１回目の追いかけ現像で生成される動画ファイルβと、２回目以降の追いかけ現像で生成される符号化データとをフレーム毎に多重可能な符号化とする必要がある。フレーム内符号化（イントラ符号化）を用いることで、フレーム毎に独立して符号化がされ、フレーム間相互の符号化データに依存が生じないため、上記の１回目と２回目の符号化データの多重を行う事が可能である。

また、フレーム間予測符号化（インター符号化）を用いる場合は、予測符号化におけるフレームの参照先が既に処理済みのフレームとなるように符号化モード及び参照先フレームを選定する。こうすることで、上記の１回目と２回目の符号化データの多重を行う事が可能である。この場合の符号化モードの選定例を図１６用いて説明する。

図１６の例では図１６（ａ）に示す１シーンのフレームを処理対象とする。まず、図１６（ｂ）に示すように１回目の追いかけ現像での符号化ではフレーム０をフレーム内符号化ピクチャ（Ｉピクチャ）とし、それ以降のフレーム２、４、６・・・をフレーム間前方予測符号化ピクチャ（Ｐピクチャ）とする。そして図１６（ｃ）に示すように２回目の追いかけ現像での符号化ではフレーム１をフレーム内符号化ピクチャ（Ｉピクチャ）とし、それ以降のフレーム３、５、７・・・をフレーム間前方予測符号化ピクチャ（Ｐピクチャ）とする。予測方向は図中の矢印で示すように既に処理済みのフレームとなるため、１回目と２回目の符号化データの多重化が可能となる。

また、図１６（ｄ）に示すように１回目の追いかけ現像での符号化ではフレーム０をフレーム内符号化ピクチャ（Ｉピクチャ）とし、それ以降のフレーム２、４、６・・・をフレーム間前方予測符号化ピクチャ（Ｐピクチャ）とする。そして図１６（ｅ）に示すように２回目の追いかけ現像での符号化ではフレーム１、３、５をフレーム間双方向予測符号化ピクチャ（Ｂピクチャ）としている。予測方向は図中の矢印で示すように既に処理済みのフレームとなるため、１回目と２回目の符号化データの多重化が可能となる。

このように動画の追いかけ現像においてはフレーム間引きして処理することで１回目の追いかけ現像に要する時間が短縮されるため、フレームレートは落ちるものの、撮影から高画質現像による動画ファイルの再生が可能となるまでの時間を短縮できる。

以上説明したように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに追いかけ現像を実行する。そして、撮影時の簡易現像による動画ファイルを、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。これにより、細部の確認表示や大画面モニターでの観賞など、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生しなくなる。また、従来の動画ファイルと同様の一般的な環境における活用が可能となる。 ＜実施形態３＞
次に、第３の実施形態として、撮像装置１００の動画再生モードにおける動作について説明する。図１７に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図１７のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１７において動画再生モードの処理が開始されると、Ｓ１７０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ１７１０にてアイドル状態へ遷移し、それ以外の場合はＳ１７０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ１７１０へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ１７０２へ進む。

Ｓ１７０２において、制御部１６１が、再生される動画について、ユーザーから再生の一時停止（ポーズ）の指示を受けているかを判定する。Ｓ１７０２で一時停止指示がなければ動画再生を継続するためにフローはＳ１７０３に進む。Ｓ１７０３からＳ１７０５までの処理は図１１のＳ１１０４からＳ１１０６と同様であるので省略する。 Ｓ１７０２で一時停止指示を受けた場合、制御部１６１が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ１７２０へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。そこで、簡易現像されている動画ファイルよりも高画質な画像の表示を提供するため、Ｓ１７２０において再生中の動画ファイルに対応する動画のＲＡＷファイルの、更に一時停止表示中のフレームに対応するＲＡＷ画像のフレームを記録再生部１５１が再生する。このとき再生対象となるＲＡＷファイルが、バッファ部１１５にバッファリングされていればバッファ部１１５からＲＡＷファイルを読み出し、バッファリングされていなければ記憶媒体１５２等からＲＡＷファイルを読み出す。

Ｓ１７２１において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記憶媒体１５２等から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像を復元する。復元されたＲＡＷ画像は、Ｓ１７２２において高画質現像部１１２が高画質に現像処理する。撮像装置１００は、このように動画のＲＡＷファイルから高画質に現像された、一時停止表示中のフレームに対応する高画質静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。Ｓ１７２３において、制御部１６１が、静止位置の表示画像を静止画としてキャプチャするユーザー指示を受けつけたか否かを判定する。Ｓ１７２３で静止画キャプチャ指示を受けつけないならば、動画のＲＡＷファイルから高画質に現像された静止画像は表示制御部１２２に供給され、Ｓ１７０５において、表示制御部１２２が高画質に現像された静止画像の表示画像を表示部１２３へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、ＲＡＷ画像から高画質に現像された静止画像の表示画像によって置き換わる。

Ｓ１７２３で静止画キャプチャの指示を受けつけたならば、Ｓ１７２２で高画質現像部１１２によって現像処理された画像情報が静止画圧縮部１４１に供給される。静止画圧縮部１４１は、Ｓ１７２４においてキャプチャによって取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ１７２５において、記録再生部１５１が高画質の静止画ファイルを記憶媒体１５２等に記録したら、フローはＳ１７０５に遷移する。動画のＲＡＷファイルから高画質に現像された静止画像は表示制御部１２２に供給され、Ｓ１７０５において、表示制御部１２２が高画質に現像された静止画像の表示画像を表示部１２３へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、ＲＡＷ画像から高画質に現像された静止画像の表示画像によって置き換わる。

Ｓ１７２４で静止画圧縮部１４１によって生成される高画質の静止画ファイルは、図４（ａ）の静止画ファイル４００の構成を成す。メタデータ部４０２には、ＲＡＷファイルのファイル名の情報４０４として、キャプチャの元となった動画のＲＡＷファイルのファイル名が格納される。また、撮影メタデータ４０６として、静止画としてキャプチャされたフレームの時刻情報が格納され、動画のＲＡＷファイルの対応するフレーム位置を指し示すことができる。また、動画のＲＡＷファイルの対応するフレームを静止画として抽出して、対となる新たなＲＡＷファイル４１０をこのとき作成しても良い。静止画のＲＡＷファイルの生成に関しては、図３の静止画撮影モードのＳ３１０からＳ３１３で説明したような方法で、静止画ファイルとＲＡＷファイルを構成する。

なお、Ｓ１７０５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ１７０１に戻る。Ｓ１７０１において、アイドル状態Ｓ１７１０に遷移した場合は、上述した図１４のフローチャートに従って処理される。

このように、本実施形態の撮像装置１００は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画を再生することができ、一時停止状態では、ＲＡＷファイルから高画質に現像した静止画を差し替えて表示できる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることができる。

また、図１７のＳ１７２０以降の高画質現像は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに動画の追いかけ現像が徐々に終了し、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ１７２０以降の高画質現像は発生するケースが減少し、常時速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。 なお、動画再生モードにおいては、再生を開始するにあたり、記憶媒体１５２に記録されている動画ファイルを一覧表示するようにしてもよい。図１８に示す１８００は動画ファイルの一覧表示であり、表示部１２３に表示している例である。図中１８０１は６つの動画ファイルの各々１フレーム（例えば先頭フレームなど）を縮小した縮小画像である。１８０２は動画ファイルの各々の撮影された時間を表すタイムバーである。このタイムバーには併せて、上述した動画ファイルの現像ステータスを表現するようにしてもよい。

現像ステータスには、「簡易現像の状態」や、「先頭部分が高画質現像されている状態」、「フレーム間引き高画質現像がされている状態（前述の動画ファイルβの状態）」、「全てのフレームが高画質現像された状態」などがある。これらの現像ステータス情報をそれぞれ模様や色を変えて表示したり、現像処理の進捗状況に応じてタイムバーの長さを変えて表示したりしても良い。このような表示形態を採用することによって、高画質現像された動画ファイルはどれなのか、あるいは高画質現像の所用時間どれほどかをユーザーが把握しやすくなり、一層利便性が向上する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. ＲＡＷ画像に対して現像処理を行い、第１の現像画像データを生成する第１の現像手段と、
   ＲＡＷ画像データとして前記ＲＡＷ画像を記憶媒体に記録し、前記第１の現像画像データを前記記憶媒体に記録する記録手段と、
   前記記憶媒体に記録された前記ＲＡＷ画像データを読み出して前記第１の現像手段が行う前記現像処理よりも処理負荷の高い現像処理を行い、第２の現像画像データを生成する第２の現像手段と、
   前記第１の現像手段又は前記第２の現像手段により得られる画像データを再生する再生手段と
   を備え、
   前記ＲＡＷ画像は動画であって、
   前記第２の現像手段は、画像処理装置が所定の動作状態のときに、前記ＲＡＷ画像データに含まれる複数のフレームの一部に対して現像処理を実行し、
   前記再生手段は、前記動画のうち前記一部のフレームでは前記第２の現像手段によって得られた前記第２の現像画像データを再生し、その他の部分では前記第１の現像手段によって得られた前記第１の現像画像データを再生することを特徴とする画像処理装置。
2. 前記第２の現像手段は、前記第１の現像画像データの生成に使用されたＲＡＷ画像のうち所定部分のＲＡＷ画像に対応する、前記ＲＡＷ画像データに含まれるフレームについて前記処理負荷の高い現像処理を実行することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定部分のＲＡＷ画像は、前記第１の現像画像データの生成に使用されたＲＡＷ画像のうち先頭から所定期間に含まれるＲＡＷ画像であることを特徴とする請求項２に記載の画像処理装置。
4. 前記所定期間は、前記画像処理装置が所定の動作状態にある場合の経過時間に応じて増加し、最終的には前記第１の現像画像データの全部の期間となることを特徴とする請求項３に記載の画像処理装置。
5. 前記再生手段は、
   前記第１の現像画像データから再生動画を生成する生成手段と、
   前記再生動画を表示部に表示させる表示制御手段と、
   を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の現像画像データを圧縮符号化する圧縮手段を更に備え、
   前記記録手段は、前記圧縮符号化された第１の現像画像データを前記記憶媒体に記録し、
   前記所定のＲＡＷ画像は、前記第１の現像画像データの生成に使用されたＲＡＷ画像のうち２ｎ番目（ｎは整数）のＲＡＷ画像であり、
   前記圧縮手段は、前記第２の現像手段が現像処理した前記２ｎ番目のＲＡＷ画像に対応する前記ＲＡＷ画像データに含まれるフレームについて、イントラ符号化、又は、インター符号化による符号化処理に基づく圧縮符号化を実行して第３の現像画像データを生成し、
   前記記録手段は、前記第３の現像画像データを前記記憶媒体に更に記録し、
   前記インター符号化では処理済みのイントラ符号化されたピクチャ及び前方予測にインター符号化されたピクチャを参照することを特徴とする請求項２に記載の画像処理装置。
7. 前記２ｎ番目のＲＡＷ画像について前記第３の現像画像データが生成された後に、
   前記第２の現像手段は、前記第１の現像画像データの生成に使用されたＲＡＷ画像のうち２ｎ＋１番目（ｎは整数）のＲＡＷ画像に対応する前記ＲＡＷ画像データに含まれるフレームについて前記処理負荷の高い現像処理を更に実行し、
   前記圧縮手段は、前記第２の現像手段が現像処理した前記２ｎ＋１番目のＲＡＷ画像に対応する前記フレームについてイントラ符号化、又は、インター符号化による符号化処理に基づく圧縮処理を実行し、前記第３の現像画像データと多重して第４の現像画像データを生成し、
   前記記録手段は、前記第４の現像画像データを前記第３の現像画像データに上書きして前記記憶媒体に更に記録し、
   前記２ｎ＋１番目のＲＡＷ画像に対応する前記フレームについての前記インター符号化では、該２ｎ＋１番目のＲＡＷ画像に対応する前記フレームに基づく処理済みのイントラ符号化されたピクチャ及び前方予測にインター符号化されたピクチャを参照することを特徴とする請求項６に記載の画像処理装置。
8. 前記２ｎ番目のＲＡＷ画像について前記第２の現像画像データが生成された後に、
   前記第２の現像手段は、前記第１の現像画像データの生成に使用されたＲＡＷ画像のうち２ｎ＋１番目（ｎは整数）のＲＡＷ画像に対応する前記ＲＡＷ画像データに含まれるフレームについて前記処理負荷の高い現像処理を更に実行し、
   前記圧縮手段は、前記第２の現像手段が現像処理した前記２ｎ＋１番目のＲＡＷ画像に対応する前記フレームについてインター符号化による符号化処理に基づく圧縮処理を実行し、前記第３の現像画像データと多重して第４の現像画像データを生成し、
   前記記録手段は、前記第４の現像画像データを前記第３の現像画像データに上書きして前記記憶媒体に更に記録し、
   前記２ｎ＋１番目のＲＡＷ画像に対応する前記フレームについての前記インター符号化では、前記第３の現像画像データに含まれるイントラ符号化されたピクチャ及び前方予測にインター符号化されたピクチャを参照する双方向予測による符号化ピクチャを生成することを特徴とする請求項６に記載の画像処理装置。
9. 前記画像処理装置のユーザーからの操作指示を受け付ける操作手段を更に備え、
   前記第１の現像画像データは動画データであって、
   前記再生手段は、
   前記第１の現像画像データから再生動画を生成する生成手段と、
   前記再生動画を表示部に表示させる表示制御手段と、
   を含み、
   前記表示部に前記再生動画が表示されている場合に、前記操作手段が一時停止の操作指示を受け付けた場合に表示を一時停止し、前記第２の現像手段は、一時停止に応じて前記表示部に表示されている画像に対応する前記ＲＡＷ画像データに含まれるフレームについて前記処理負荷の高い現像処理を実行して、前記第２の現像画像データを生成し、
   前記表示制御手段は、一時停止された前記再生動画に替えて、前記第２の現像手段により生成された前記第２の現像画像データを前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
10. 前記操作手段が、前記一時停止された前記再生動画に替えて表示された前記第２の現像画像データのキャプチャ指示を受け付けた場合に、該第２の現像画像データを圧縮符号化して静止画データを生成する静止画生成手段を更に備え、
    前記記録手段は、前記静止画データを前記記憶媒体に記録することを特徴とする請求項９に記載の画像処理装置。
11. 表示部に前記記憶媒体に記録された画像データを一覧表示させる表示制御手段を更に備え、
    前記一覧表示における各画像データの表示には、前記第１の現像手段及び第２の現像手段による現像処理に関連するステータス情報が含まれることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 被写体像を撮像してＲＡＷ画像を生成する撮像手段と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置と
    を備える撮像装置。
13. ＲＡＷ画像に対して現像処理を行い、第１の現像画像データを生成する第１の現像手段と、
    ＲＡＷ画像データとして前記ＲＡＷ画像を記憶媒体に記録し、前記第１の現像画像データを前記記憶媒体に記録する記録手段と、
    前記記憶媒体に記録された前記ＲＡＷ画像データを読み出して前記第１の現像手段が行う前記現像処理よりも処理負荷の高い現像処理を行い、第２の現像画像データを生成する第２の現像手段と、
    前記第１の現像手段又は前記第２の現像手段により得られる画像データを再生する再生手段とを備える画像処理装置の制御方法であって、
    前記ＲＡＷ画像は動画であって、
    前記第２の現像手段が、画像処理装置が所定の動作状態のときに、前記ＲＡＷ画像データに含まれる複数のフレームの一部に対して現像処理を実行する工程と、
    前記再生手段が、前記動画のうち前記一部のフレームでは前記第２の現像手段によって得られた前記第２の現像画像データを再生し、その他の部分では前記第１の現像手段によって得られた前記第１の現像画像データを再生する工程と
    を含むことを特徴とする画像処理装置の制御方法。
14. コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. ＲＡＷ画像に対して第１の現像処理を行い、第１の現像画像を生成する第１の現像手段と、
    前記ＲＡＷ画像および前記第１の現像画像を記憶媒体に記録する記録手段と、
    前記記憶媒体に記録されたＲＡＷ画像を読みだして前記第１の現像手段が行う前記第１の現像処理よりも処理負荷の高い第２の現像処理を行い、第２の現像画像を生成する第２の現像手段と、
    前記ＲＡＷ画像が動画であって画像処理装置が所定の動作状態にある場合に、前記第２の現像手段に、前記ＲＡＷ画像に含まれる複数のフレームのうち先頭から予め決められた一部のフレームに対して前記第２の現像処理を実行させる制御手段と、
    を有することを特徴とする画像処理装置。

Images