JP6472253B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関し、特に、動画又は静止画のＲＡＷ画像を扱う技術に関する。

従来、撮像センサを用いる撮像装置では、撮像センサによって得られる画像情報（ＲＡＷ画像）にいわゆる現像処理を適用し、現像処理された輝度信号及び色差信号を圧縮符号化してＪＰＥＧ形式で記録媒体に記録するのが一般的である。現像処理には、各画素について色補間処理を行って輝度と色差からなる信号を生成するデモザイク処理、信号に対するノイズ低減処理、ホワイトバランス処理、光学的な歪を補正する処理、画像の適正化処理などが含まれるが、これらに限定されない。

一方、ＲＡＷ画像を記録できる撮像装置も存在する（特許文献１）。ＲＡＷ画像はＪＰＥＧ形式などと比較して記録に必要なデータ量が膨大になるが、画質の劣化を最低限に抑えながら柔軟な後編集が可能であるという利点がある。また、特許文献１には、ＲＡＷ画像の現像処理に用いるための現像パラメータをＲＡＷ画像と共に記録することが記載されている。

特開２０１１−２４４４２３号公報

近年、撮像センサの進歩により、画像１枚あたりの画素数が大幅に増加している。そのため、ＲＡＷ画像の現像処理に必要な処理量も増大し、撮影と並行したリアルタイムの現像処理を実現するには処理能力の高いハードウェアが必要となる。一般に、処理能力が高いハードウェアは回路規模と消費電力の少なくとも一方が増加する傾向にあるが、実装可能なハードウェアは実装可能面積、消費電力、コストなどの制約を受ける。その結果、撮像装置の性能（例えば連写性能）が現像処理能力に左右されることも起こりうる。

ＲＡＷ画像を現像せずに記録する構成とすれば、リアルタイムで現像処理が可能かどうかは問題にならないが、記録するデータ量が大きくなるため、バッファ量を増やす必要があるかもしれない。また、撮影結果を確認するには現像処理が必要であるが、ＲＡＷ画像のデータ形式はメーカ固有であるため、撮影した撮像装置とは異なる機器では適切な現像処理ができない場合があり、ユーザの利便性を損なうおそれがある。

このように、従来、高い撮影能力と撮影画像の高速な再生とを可能にするには、処理能力の高い、高コストかつ高消費電力の回路を搭載して高出力で駆動できるようにするか、記録されたＲＡＷ画像を高速に再生できるようにしなければならなかった。

本発明の目的は、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な画像処理装置及びその制御方法を提供することにある。

上述の目的は、画像処理装置であって、被写体像のＲＡＷ画像データを取得する取得手段と、ＲＡＷ画像データから第１の画像データを生成する第１の現像処理手段と、記録媒体にＲＡＷ画像データと第１の画像データを記録する記録手段と、記録媒体に記録されたＲＡＷ画像データから第２の画像データを生成する第２の現像処理手段と、記録媒体に記録された画像データから再生する画像データを選択するための画面にＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、ＲＡＷ画像データに対する第２の現像処理手段による処理の進捗状況を示す情報をサムネイル画像と対応づけて表示する表示処理手段と、を有し、第２の現像処理手段は、画像処理装置の処理負荷が低いと判定される状態になると自動的に処理を開始し、処理負荷が低いと判定される状態でなくなると処理を中断することを特徴とする画像処理装置によって達成される。

本発明によれば、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な画像処理装置およびその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図 実施形態に係る撮像装置の静止画撮影モードにおける動作を説明するためのフローチャート 実施形態における静止画ファイルとＲＡＷファイルの構成例を示す図 実施形態に係る撮像装置のアイドル状態における動作を説明するためのフローチャート 実施形態に係る撮像装置の静止画再生モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置の静止画再生モードにおける表示例を示す図 実施形態に係る撮像装置の動画再生モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置が表示する高画質現像処理の進捗状況を提示するための画面例を示す図 実施形態に係る撮像装置の撮像センサ部における画素配列の例を示す図 実施形態に係る撮像装置と外部機器から成るシステム構成例を示すブロック図 実施形態に係る撮像装置の進捗情報取得動作の例を説明するためのフローチャート

以下、添付図面を参照しながら、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図である。これらの機能ブロックは、ＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、ＭＰＵ等の汎用プロセッサがプログラムを実行することによりソフトウェア的に実現されてもよい。

図１に示した撮像装置１００は、被写体像を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することもできる。

図１において、制御部１６１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、プログラマブルプロセッサが実行する制御プログラムを格納する不揮発性メモリを含み、撮像装置１００の全体の処理を制御する。なお、図１では煩雑さを避けるために一部しか記載していないが、制御や通信を行うための信号線が制御部１６１から各機能ブロックに接続されている。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は検出した操作に応じた動作が実行されるように他の機能ブロックなどを制御する。表示部１２３は、表示処理部１２２を通じて提供される、撮像装置１００で撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。表示部１２３は例えば液晶ディスプレイ（ＬＣＤ）等を含む。

撮像対象となる被写体像は、撮像光学部１０１を介して撮像センサ部１０２上に結像する。操作部１６２による撮影開始の指示に応答して制御部１６１は撮影および記録動作を開始させる。なお、撮影スタンバイ時にライブビュー表示を実現するための動画撮影を行うように構成してもよい。撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１からの被写体情報に基づいて、制御部１６１によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであってよい。図９は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図９に示すように、赤（Ｒ）１６０３、緑（Ｇ）１６０１、青（Ｂ）１６０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このようなカラーフィルターの配列は、一般に原色ベイヤー配列と呼ばれる。本実施形態の撮像センサ部１０２は、横８０００画素×縦４０００画素の画像データを６０フレーム毎秒で出力する能力を有するものとする。なお、カラーフィルターを構成する色や配列は原色ベイヤー配列に限定されず、他の任意の配列を採用することができる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、未現像の画像を意味するＲＡＷ画像データという。なお、センサ信号処理部１０３において、差分パルス符号変調（ＤＰＣＭ）等の符号化技術を用いてビット長を圧縮した画像データを出力してもよい。画像データのビット長を圧縮すると、データ送出時のバス帯域の占有量が軽減されるので効果的である。なお、センサ信号処理部１０３でビット長を圧縮して出力する画像データや、圧縮されたビット長を復元した画像データも、ＲＡＷ画像データとして取り扱う。

センサ信号処理部１０３から出力されたＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、複数（本実施形態では２つ）の異なる現像処理部を有し、それぞれ、処理精度と処理負荷の優先度が異なっている。本実施形態では、第１の現像処理を行う簡易現像部１１１と、第２の現像処理を行う高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理もしくは色補間処理とも呼ばれる）、ホワイトバランス調整、ＲＧＢ→ＹＵＶ変換、ノイズ低減、光学歪の補正などの現像処理を行う。なお、これらは現像処理に含まれる処理の例示であり、これらの全てが現像処理に必須であることを意味しない。他の処理が含まれてもよいし、一部が含まれなくてもよい。

高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きい。他方、簡易現像部１１１は、ＲＡＷ画像データの１画面の画素数を、横２０００画素×縦１０００画素に縮小する。更に、簡易現像部１１１は、高画質現像部１１２よりも処理の精度が低いため、得られる画質は高画質現像部１１２よりも低いものの、撮影中に高速に現像処理を行うことができる。このように、簡易現像部１１１は、ＲＡＷ画像データよりも画素数が少ない画像データを処理し、更に、処理自体も簡易的に行うことで、処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成としてもよい。また、複数の現像部は互いに処理負荷が異なればよく、処理する画像のサイズと処理精度の両方を下げることは必須ではない。例えば、処理する画素数は同一であるが、処理精度が異なっている現像部や、処理精度は同一であるが処理する画素数が異なっている現像部が含まれていてもよい。ただし、撮影された画像の現像処理が、次の画像の撮影開始までに完了できる現像部が少なくとも１つ含まれるようにする。

なお、図１ではセンサ信号処理部１０３からのＲＡＷ画像データが現像部１１０の中の簡易現像部１１１と高画質現像部１１２に入力されるように図示しているが、これは同一のＲＡＷ画像データに対して両方の現像部で現像処理を行うことを意味していない。処理負荷の観点から、基本的には１つの現像部だけが現像処理を実行する。従って、ＲＡＷ画像データが入力される現像部を切り替えるようにスイッチ部１２１が設けられても良い。

現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の処理がなされた後、表示部１２３にて表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、画像データから例えばフォーカス状態や露出状態などの評価値を算出する。これらの評価値は例えば制御部１６１による自動焦点検出や自動露出制御に用いられる。

現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出及び認識する機能を有する。認識部１３１は例えば、画像データによって表される画像に含まれる人物の顔を検出し、検出された場合は顔の位置や大きさなどを示す情報を出力する。認識部１３１はさらに顔などの特徴情報に基づいて特定の人物の認証などを行ってもよい。

現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。符号化手段としての静止画圧縮部１４１は、ＪＰＥＧ等の公知の符号化方式に従い静止画データを符号化する。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。動画圧縮部１４２は、Ｈ．２６４、Ｈ．２６５等の公知の符号化方式に従って動画データを符号化する。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、記録再生部１５１に送る。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データにウエーブレット変換や、差分符号化等を適用し、データ量を削減した圧縮ＲＡＷデータを生成する。ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータをバッファ部１１５に格納する。バッファ部１１５はメモリやＨＤＤなど、任意の記憶装置であってよい。圧縮ＲＡＷデータは、バッファ部１１５に保存しておいてもよいし、格納後にさらに別の記録媒体に移動させてバッファ部１１５から削除してもよい。

記録再生部１５１は、静止画圧縮部１４１からの静止画データや、動画圧縮部１４２からの動画データを記録媒体１５２に記録する。また記録再生部１５１は、バッファ部１１５から読み出したＲＡＷデータの状態の静止画および動画データを、圧縮後の静止画並びに動画データとは別個のＲＡＷファイルとして記録媒体１５２に記録する。また記録再生部１５１は、記録媒体１５２に記録されたデータを、ＦＡＴ等の公知のファイルシステムに従いファイルとして管理する。記録媒体１５２は、例えば内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。また、記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイル（静止画、動画）を読み出すこともできる。また、記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種データファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を通じ、無線通信や有線通信によりコンピュータネットワークや外部機器へのアクセスを撮像装置１００に提供する。

記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮ＲＡＷデータを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷデータは、現像部１１０の簡易現像部１１１、高画質現像部１１２に供給される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。表示処理部１２２で処理された静止画や動画は、表示部１２３で表示される。

次に、図２に示すフローチャートを用いて、撮像装置１００の撮影モードにおける動作について説明する。図２のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じてアイドル状態（Ｓ３２０）へ遷移させ、そうでなければＳ３０２へ処理を進める。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ３０２へ進める。なお、アイドル状態へ移行するかどうかの判定処理については後述する。

Ｓ３０２において制御部１６１は、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、制御部１６１は、操作部１６２を通じたユーザのズーム指示や撮影準備指示に従って、撮像光学部１０１に含まれるズームレンズやフォーカスレンズを移動させたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域を設定したりする。また、制御部１６１は、評価値算出部１０５からの評価値の情報や認識部１３１からの被写体情報に基づいて、特定被写体に対する合焦や追尾などの制御を実現する。Ｓ３０２では、所定のフレーム周期に応じた撮影条件で撮影が実施される。

Ｓ３０３では、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。例えば、センサ信号処理部１０３は、撮像素子の欠落画素に対応する電気信号や、信頼性の低い画素の電気信号に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像データを現像処理する。なお、制御部１６１は、遅くともＳ３０４の開始時までに、現像部１１０から簡易現像部１１１で現像処理された画像データが出力されるようにスイッチ部１２１の状態を制御する。

簡易現像部１１１は、ＲＡＷ画像データの画素数を前述のように削減し、画像を縮小する。そして、簡易現像部１１１は、縮小ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）して各画素に不足している色信号を生成したのち、輝度と色差から成る信号へ変換する（ＲＧＢ→ＹＵＶ変換）。さらに簡易現像部１１１は、各信号に含まれるノイズを除去したり、撮影光学系の光学歪（収差）を補正したり、ホワイトバランスを調整したりする。上述の通り簡易現像部１１１は画素数を削減してから現像処理したり、ノイズ除去や光学歪補正を、処理速度を優先した処理で行ったり省いたりすることで、現像処理の負荷（処理速度や消費電力）が撮像装置１００の撮影能力に与える制限を軽減または除去する。簡易現像部１１１を用いることで、例えば、高画質現像部１１２を用いた場合には不可能な高速連写速度や連続撮影枚数などを実現することができる。

簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を通じて評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などから撮像光学部１０１の合焦状態や、画像の露出状態などの評価値を所定の方法で算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データに対してこれらの評価値を算出しても良い。

また、簡易現像部１１１で現像処理された画像データは、認識部１３１に供給される。認識部１３１は、画像データに対し、予め定められた特定の特徴を有する被写体（例えば人物の顔）の検出処理を適用し、被写体情報を生成する。例えば、画像データ内における顔の有無や、顔の位置や大きさ、顔に基づいて認識された個人の情報などを被写体情報として出力する（Ｓ３０６）。

また、簡易現像部１１１で現像処理された画像データは、表示処理部１２２に供給される。表示処理部１２２は、取得した画像データから表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は例えば、撮影待機状態において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される評価値や被写体情報を活用して、例えば、表示画像に合焦領域や認識された顔の位置を示す枠状のマークを重畳表示したりしてもよい。

Ｓ３０８において、制御部１６１は、操作部１６２を通じてユーザから撮影指示が入力されたか判定し、撮影指示が入力された場合は処理をＳ３１０へ進め、撮影指示の入力が無かった場合はＳ３０１からの処理を繰り返す。

Ｓ３１０で制御部１６１は、撮影指示に応答して、撮像光学部１０１、撮像センサ部１０２を制御して所定の撮影条件での撮影を開始させる。ここでは、静止画撮影時の動作を説明する。撮像センサ部１０２で得られた１画面分の画像データは現像部１１０に供給されて簡易現像部１１１で現像処理されたのち、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、供給された画像データに対してＪＰＥＧ符号化処理など所定の符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画データを生成する。本実施形態では、このように、撮影時において、簡易現像部１１１により現像され、静止画圧縮部１４１で符号化された静止画データを簡易静止画データ（第１の符号化画像データ）と呼ぶ。なお、符号化方法はＪＰＥＧ方式に限らず、任意のものが使用可能である。

撮像センサ部１０２で得られた１画面分のＲＡＷ画像データは、さらにＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、ＲＡＷ画像データにデータ量を削減するための符号化（ＲＡＷ圧縮）処理を適用して圧縮ＲＡＷ画像データに変換する（Ｓ３１２）。圧縮ＲＡＷ画像データはバッファ部１１５に格納される。なお、ＲＡＷ画像データの符号化は可逆および不可逆符号化のいずれであってもよい。

Ｓ３１１において記録再生部１５１は、簡易静止画データを含む静止画ファイル（簡易静止画ファイル）を記録媒体１５２に記録する。

Ｓ３１３において、記録再生部１５１は、バッファ部１１５から画像データを読み出し、（圧縮）ＲＡＷ画像データが格納されたデータファイル（ＲＡＷファイル）を記録媒体１５２に記録する。

なお、簡易静止画データの生成および記録処理（Ｓ３１０〜Ｓ３１１）と、ＲＡＷ画像データの圧縮および記録処理（Ｓ３１２〜Ｓ３１３）の少なくとも一部は並列処理されてよい。また、Ｓ３１１及びＳ３１３において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

なお、ここでは、Ｓ３０８で静止画の撮影指示がなされた場合について説明したが、動画の撮影指示がなされた場合も基本的には同様に処理できる。まず、Ｓ３０１〜Ｓ３０７までの処理は共通である。そして、Ｓ３１０〜Ｓ３１１で簡易動画データの生成および記録処理を、Ｓ３１２〜Ｓ３１３でＲＡＷデータの圧縮および記録処理を実施すればよい。なお、動画撮影時にはＳ３０８で撮影指示がなされた場合に改めて撮影を行う必要は無く、Ｓ３０２で撮影し、Ｓ３０４で簡易現像した画像データを用いれば良い。

簡易動画データは、撮像センサ部１０２から得られるＲＡＷ画像データから構成される動画データについて、Ｓ３１０で各フレーム画像を簡易現像部１１１で現像処理し、動画圧縮部１４２で符号化して生成する。そして、Ｓ３１１で記録再生部１５１が簡易動画データを記録する。また、ＲＡＷデータについては、Ｓ３１２で各ＲＡＷ画像フレームを圧縮したデータを、Ｓ３１３でバッファ部１１５を通じて記録再生部１５１が記録する。なお、動画撮影時には、動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために簡易動画データが用いられる。

次に、本実施形態における静止画ファイルおよびＲＡＷファイルの構造について説明する。図３は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。
図３（ａ）は静止画ファイルの構造例を示す。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルであることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成された（対応する）ＲＡＷファイル（圧縮データ部４０３に格納される静止画データの元になっているＲＡＷデータが格納されたファイル）を特定する情報（例えばファイル名）４０４が含まれる。また、現像ステータス４０５は、この静止画ファイルに格納されている圧縮データが簡易現像されたものかどうかを判別可能な情報である。また、撮影メタデータ４０６は、評価値算出部１０５や認識部１３１が求めた評価値や被写体情報や、撮像光学部１０１や撮像センサ部１０２からの撮影時情報（例えば、絞り値、シャッタ速度、感度、レンズ種別識別情報、センサ種別識別情報など）を含む。また、図示していないが、メタデータ部４０２は、同時に生成された（対応する）ＲＡＷファイルが記録されている記録媒体の識別コードや、記録先のパス情報などをさらに含んでも良い。これらのメタデータは、例えば制御部１６１から記録再生部１５１に送られて記録される。

以上説明したように、本実施形態に係る撮像装置１００は、ライブビュー表示や、撮影開始指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。また、本実施形態に係る撮像装置１００は、撮影開始指示に応答して、ＲＡＷファイルを記録する。ＲＡＷファイルの記録には現像処理を必要としない。

図３（ｂ）は、ＲＡＷファイル４１０の構造例を示す。ＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（非圧縮のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された（対応する）静止画ファイルを特定する情報（例えばファイル名）４１４が含まれる。また、対応する静止画ファイルが格納する画像データが簡易現像されたことを示す現像ステータス４１５も含まれる。また、撮影メタデータ４０６と同様の撮影メタデータ４１６が含まれる。

また、図示していないが、同時に生成された静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。これらのメタデータは、例えば制御部１６１から記録再生部１５１に送られて記録される。

なお、図３に示しここで説明したファイル構造は一例であり、ＥＸＩＦなど他の標準規格に準じた構成であっても良い。また、記録媒体１５２へのファイル記録は例えばＤＣＦに従ったファイルシステムで行うことができる。

なお、圧縮データ部４０３に高能率符号化された動画と音声の圧縮データが含まれていること、圧縮データがＡＶＣＨＤやＭＰＥＧ２などの動画用の符号化形式であることを除き、動画ファイルであっても基本的なデータ構造は静止画ファイルと共通である。

本実施形態に係る撮像装置１００は、撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画もしくは動画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、省いたりして、例えば毎秒６０コマの静止画やＨＤサイズの動画の現像処理を小規模かつ少消費電力の回路で実現する。一方で、本実施形態に係る撮像装置１００は、撮影指示に応答して、静止画または動画のＲＡＷファイルを生成する。ＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画素数や連写のスピードを高めたり、フレームあたりの画素数やフレームレートを高めたりしても、小規模かつ少消費電力の回路でＲＡＷファイルを記録することが可能である。

次に、本実施形態における後現像の処理について説明する。後現像処理は、撮影時におけるＲＡＷ画像データと簡易静止画／動画データの記録動作を終えた後、ＲＡＷ画像データから高画質静止画／動画データを生成し、記録する処理である。具体的には、まず、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷ画像データを読み出して高画質現像部１１２で現像処理する。そして、静止画圧縮部１４１または動画圧縮部１４２において高画質な符号化画像データ（第２の符号化画像データ）を生成し、記録媒体１５２に記録する。本実施形態では、静止画および動画のＲＡＷ画像データに対して後現像処理が可能である。

前述のように、撮影時に記録される簡易静止画／動画データは、簡易現像部１１１で現像処理した後に圧縮されたものである。そのため、高画質現像部１１２で現像処理した場合と比較して画素数が少なかったり、画質が劣ったりする。簡易静止画／動画データの品質は、撮影内容を撮影直後に大まかに確認したり、撮像装置１００の表示部１２３のように画素数の低い表示装置に表示したりするには十分であっても、画像の細部を確認したり、プリントアウトしたりするには十分でない場合がある。

もちろん、ユーザがＲＡＷ画像データの高画質な現像処理を必要に応じて都度行ってもよいが、手間や時間がかかる。そのため本実施形態では撮像装置１００がアイドル状態である際に、後現像処理を自動的に実行するものとする。アイドル状態とは、撮影スタンバイ時、静止画／動画再生時の待機状態、スリープ状態など、撮像装置１００の処理負荷が小さいと判定される状態である。なお、自動的に実施するだけでなく、ユーザからの指示によって後現像処理を開始してもよい。

撮像装置１００がアイドル状態かどうかの判定方法に特に制限は無く、一般的な処理負荷の測定方法をはじめとした任意の判定方法を用いることができる。例えば、制御部１６１が有するＣＰＵの稼働率が予め定めた閾値未満かどうかや、予め定められた高負荷の動作、例えば高速連写動作、記録・再生処理が行われているかどうかなどに応じて判別することができる。あるいは、基本的に負荷の低い処理しか発生しない動作モードが選択されていれば、無条件にアイドル状態とみなしてもよい。

続いて、図２のＳ３２０で実施するアイドル処理について、図４のフローチャートを用いて説明する。なお、アイドル処理は静止画撮影モードだけでなく、静止画／動画再生モードなど、他の動作モードにおいてアイドル状態と判定された場合にも実行される。

図４のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図４においてアイドル状態の処理が開始されると、制御部１６１が、ユーザの設定に基づいて、後現像を行うか否かを判定し（Ｓ５０１）、後現像を行わない場合はアイドル処理を終了して元の処理に復帰し、後現像を行う場合はＳ５２０に遷移する。

後現像を行う場合、制御部１６１は、記録媒体１５２に記録されている各ＲＡＷファイルについて、後現像処理により高画質静止画ファイルが記録されているか（後現像済みかどうか）判定する（Ｓ５２０）。例えば制御部１６１は、ＲＡＷファイル４１０の中の現像ステータス４１５を参照し、対応する静止画ファイルが簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルの後現像が行われていないと判定する。あるいは、制御部１６１は、ＲＡＷファイルのメタデータ部４１２に含まれる静止画ファイル名４１４を有する静止画ファイルを記録媒体１５２内で探索する。これは、静止画撮影モードで撮影されていれば、記録媒体１５２には、１回の撮影開始指示に対して静止画ファイルとＲＡＷファイルが互いに関連付けられて１つずつ記録されていることに基づく。そして、見つかった静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５を参照し、簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルに後現像が行われていないと判定する。あるいは、一連の静止画に対し、後現像処理の実行有無を示すテーブルを別に用意しておき、このテーブルを参照して判定するようにしても良い。

記録媒体１５２に記録されたＲＡＷファイルの全てが後現像処理済みである場合（Ｓ５２０，ＮＯ）、制御部１６１は後現像処理を行わない場合と同様、アイドル処理を終了して元の処理に復帰する。一方、記録媒体１５２に記録されているＲＡＷファイルに後現像処理が行われていないものが存在した場合、制御部１６１は処理をＳ５２１に遷移させる。

制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応するＲＡＷ画像データが、バッファ部１１５にも記憶されているかどうか調べる（Ｓ５２１）。そして、制御部１６１は、ＲＡＷファイルがバッファ部１１５に残っていれば直接、バッファ部１１５に残っていなければＳ５２２で記録媒体１５２からＲＡＷファイルを読み出した後、処理をＳ５２３に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は後処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

なお、後現像処理が行われておらず、バッファ部１１５にないＲＡＷファイルが複数ある場合、制御部１６１は１つずつ読み出して後現像処理を行ってもよいし、バッファ部１１５に記憶可能な範囲で任意の数のＲＡＷファイルをまとめて読み出してもよい。

制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読みだしてバッファ部１１５に記憶する。そして、バッファ部１１５の記憶領域が一杯になった場合、最も古いＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出されたＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影されたＲＡＷ画像データは常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、後現像を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、制御部１６１は後現像処理するＲＡＷ画像データをＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４はＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

ＲＡＷ伸張部１１４が出力したＲＡＷ画像データは、現像部１１０に供給される。後現像処理時には高画質現像部１１２で現像処理を行い、簡易現像部１１１では現像処理しないように制御部１６１が動作を制御する。ＲＡＷ画像データに対して高画質現像部１１２は簡易現像部１１１よりも高画質の画像が得られる現像処理を適用する（Ｓ５２４）。本実施形態では高画質現像部１１２はＲＡＷ画像データの画素数を削減しないほか、適用する現像処理の品質（精度や工程の数など）も簡易現像部１１１より高くする。しかし、高画質現像部１１２は簡易現像部１１１よりも高品質の画像が得られる画像処理を行いさえすれば、その具体的な現像処理の内容に制限は無い。例えば現像処理の内容は簡易現像部１１１と同等とし、画像の画素数を多くしてもよいし、画像の画素数は同様に削減するが、現像処理の品質を高くしてもよい。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２からの画像データの画素数は、簡易現像部１１１から出力される画像データよりも多い。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を行わないことで、消費電力やコストの大きな回路の利用を回避している。

高画質現像部１１２で現像処理された画像データは、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像データに対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質静止画データを生成する。

Ｓ５２６において、記録再生部１５１が高画質静止画データを含む静止画ファイルを記録媒体１５２に記録する。

Ｓ５２７は、アイドル状態でなくなったかどうかの判断処理であり、例えば予め定められた、アイドル状態を脱するイベントが発生したかどうかの判断処理であってよい。イベントは例えば、撮影準備指示や撮影開始指示の入力、再生処理の実行指示の入力、ＣＰＵの稼働率が閾値を超えるなどであってよい。なお、これらのイベント発生は、実際にはＳ５２７で示されるタイミングで実施するのではなく、アイドル処理中に制御部１６１がバックグラウンドで監視している。イベントの発生を検知した時点で実施中の動作を中断もしくは中止するか、静止画記録が終了するまでは実行を継続するかは予め定めておくことができる。例えば、Ｓ５２２〜Ｓ５２６のどの処理を実行中かに応じて処理を継続するか中断もしくは中止するかが異なってもよい。また、発生したイベントに応じて対応が異なってもよい。例えば撮影開始指示のようにタイムラグが問題になるイベントが発生した場合は直ちに撮影処理に移行し、再生開始指示のように緊急性がさほど高くないイベントの場合には静止画記録が終了してから再生処理に移行するようにしてもよい。

処理を中断する場合、制御部１６１は、中断した処理を次にアイドル状態になった際に再開できるように必要な情報を記憶する中断処理を行う（Ｓ５２８）。中断処理は例えば途中まで処理が終わったデータの保存や、どこまで処理が終わっているのか（あるいはどこから処理を再開するか）を示す情報の保存などを含む。一方、処理を中止する場合には、次回の処理において未処理のＲＡＷファイルの処理を行えば良いため、中断処理を実施しなくてもよい。

アイドル状態でなくなった場合、制御部１６１はアイドル処理を実行する前に実施していた動作モードとイベントに応じた処理に移行する。例えば静止画撮影モードからアイドル処理に移行していた場合に撮影指示が入力された場合、制御部１６１は静止画撮影モードの処理をＳ３１０の撮影処理から復帰させる。

Ｓ５２６で記録処理が終了した後、アイドル状態が継続していれば、処理をＳ５２０に戻し、後現像が未処理のＲＡＷ画像データが残っている場合には、上述した処理を繰り返して実行する。

Ｓ５２６で記録される高画質静止画ファイルは、現像ステータス４０５が高画質現像部１１２で処理されたことを示す情報であることを除き、簡易現像部１１１で処理された画像データの静止画ファイルと同様の構成を有する。

なお、Ｓ５２６で記録される高画質静止画ファイルは、ＲＡＷファイルと同時に記録された簡易静止画ファイルと同じファイル名で記録する。これは、読み出したＲＡＷファイルのメタデータ部に含まれる静止画ファイル名を制御部１６１から記録再生部１５１に通知することで実現できる。バッファ部１１５に残っているＲＡＷ画像データを用いる場合には、記録媒体１５２に記録された対応するＲＡＷファイルのメタデータを参照すればよい。あるいは、記録再生部１５１が簡易静止画ファイルを記録する際にファイル名を制御部１６１に通知し、制御部１６１がバッファ部１１５内のＲＡＷ画像データと対応付けて保存するようにしてもよい。このようなファイル名とすることで、記録媒体１５２内の簡易静止画ファイルを高画質静止画ファイルで置き換えることができる。
また、制御部１６１は、高画質静止画ファイルを記録する際に、記録再生部１５１を通じて、対応するＲＡＷファイルにおけるメタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は後現像済）を示す情報で更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。これにより、細部の確認表示やプリントアウトなど、高画質な画像が要求された場合であっても、その都度な現像処理を実行する必要がなく、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

なお、撮影時の簡易現像による動画ファイルについても、同様にして後現像処理を実施し、高画質現像による動画ファイルに置き換えて行く。ＲＡＷ動画データは各フレームがＲＡＷ画像データで構成されているため、各フレームを静止画ファイルと同様にして現像処理することができる。そして、現像後のフレーム画像を動画の符号化方式に応じて符号化することで、高画質な動画ファイルを順次生成する。なお、符号化処理の効率を向上させるため、記録媒体１５２から未処理のＲＡＷファイルを読み出す場合に、動画の符号化方式に応じたフレーム数（例えばＧＯＰを構成するフレーム数）を単位とすることができる。

動画ファイルの後現像処理を中断する場合、Ｓ５２８の中断処理では、例えば、動画圧縮部１４２が所定フレーム数を単位とした符号化を行う場合、記録媒体１５２に符合化単位で高画質動画ファイルが書き込まれるまで待つ。そして、高画質動画ファイルを書き込む（簡易動画ファイルに上書きする）際に、後現像中のＲＡＷ動画データのファイル名と、何フレーム目まで処理が終わっているかの情報を制御部１６１が保存しておく。あるいは、またはさらに、高画質動画ファイルのメタデータ部４０２の現像ステータス４０５にも、同様の情報を記録する。そして、次回のアイドル時には、この情報を用いて後現像処理を再開する。なお、動画の後現像処理時には、符合化単位で高画質動画ファイルを書き込む毎にファイルをクローズして記録媒体１５２の管理情報を更新してもよいし、中断時にこれらの書き込み終了処理を実施してもよい。前者の方が処理が煩雑であるが、後現像処理から他の処理に移行するまでに要する時間が短いほか、ファイルが破損したりする可能性は小さくできる。なお、イベントによっては直ちに処理を中止してもよいことは静止画の後現像処理と同様であるが、この場合でも記録媒体１５２における処理中の動画ファイルをクローズする点で異なる。

なお、後現像処理を行う場合、最初は先頭の所定時間（例えば１分）についてのみ実行するように構成してもよい。これは、動画ファイルは数十フレーム／秒という多数のフレームから構成されているため、例えば数分から数十分の撮影期間の簡易動画データの全フレームについて後現像処理すると、次の画像ファイルに対する後現像処理がなかなか開始されないためである。また、後現像処理による撮像装置のバッテリー消費が多くなりすぎないようにするためでもある。動画ファイルの先頭部分のみを後現像することで、バッテリー消費も抑制しつつ、高画質の画像表示や高画質の動画ファイルの再生の即時に行うことが可能になる。

このように、所定部分のみ後現像を行う場合、所定部分の後現像が終了したら、中断処理と同様に、未処理部分について後現像を再開するための情報を動画ファイルのメタデータや制御部１６１内に保存しておく。なお、未処理の画像ファイルが無い場合には、未処理部分について後現像処理を実行するように構成してもよい。この場合も、１ファイルあたり所定時間分ずつ後現像処理を実行するようにしてよい。

なお、Ｓ５２０における処理済みか否かの判断方法として、いくつかのステップを設けてもよい。例えば動画の撮影時間全てに対して処理されているかを判断する構成にしてもよい。また、動画先頭部分から予め定められた時間（例えば、１分）毎に区切って、先頭から所定の時間分について後現像処理がなされていれば、その簡易動画ファイルを処理済みと判断する構成でもよい。更に、後現像処理が所定時間なされているか判断する場合においては、操作部１６２からの操作によって後現像処理済みか否かを判断する際の時間を設定出来る構成にしてもよい。

また、先頭部分のみなど、一部だけが後現像処理されている場合には、ＲＡＷファイルと同時に記録された簡易動画ファイルは削除しない。そして、制御部１６１は、後現像で生成された高画質の動画ファイルのメタデータ部４０２に、対応する簡易動画ファイル名などの識別情報を含めるように記録再生部１５１を制御する。また、制御部１６１は、簡易動画ファイルの圧縮データ部４０３は保持しつつ、メタデータ部４０２に後現像処理で生成された動画ファイル名や後現像処理済みの部分を特定可能な情報などをメタデータ部９０２に含めるよう、記録再生部１５１を制御する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

次に、図５に示すフローチャートを用いて、撮像装置１００の静止画再生モードにおける動作について説明する。図５のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じてアイドル状態（Ｓ６１０）へ遷移させ、そうでなければＳ６０２へ処理を進める。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ６０２へ進める。なお、アイドル状態へ移行するかどうかの判定処理については撮影モード動作で説明したものと同じであってよい。

例えば、ユーザからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合、制御部１６１は処理をＳ６０２へ進める。Ｓ６０２において、制御部１６１は、静止画を拡大表示するようにユーザから指示されているか判定する。制御部１６１は、拡大表示の指示を受けていればＳ６０３に、受けていなければＳ６２０に処理を進める。

図６は、本実施形態の撮像装置１００が静止画再生時に表示部１２３で行う表示の形態例を模式的に示す図である。
図６（ａ）に示す表示画面７００は、縮小画像を表示する例であり、ここでは６つずつ表示する例を示している。図６（ｂ）に示す表示画面７１０は、１つの画像７１１の全体を表示している例であり、通常表示の状態である。図６（ｃ）に示す表示画面７２０は、１つの画像の一部の拡大画像７２１を表示している例であり、拡大表示に該当する。拡大表示は例えば、撮影直後にフォーカスの適否の確認を行うような場合に用いられる。また、ユーザからの拡大表示の指示に応じても実行される。

Ｓ６０２で拡大表示の指示を受けていない場合、制御部１６１は、表示部１２３の表示画素数Ａと、簡易静止画ファイルの画素数Ｂとの関係がＡ≦Ｂであれば通常表示、Ａ＞Ｂであれば縮小表示とする。

Ｓ６２０において、制御部１６１は、記録再生部１５１を通じて記録媒体１５２等から再生対象の静止画ファイルを読み出し、静止画伸張部１４３に供給する。そして、Ｓ６２１において、制御部１６１は静止画伸張部１４３が伸張した静止画ファイルを表示処理部１２２に供給する。Ｓ６０８において表示処理部１２２が図６（ａ）〜（ｃ）に示すような形態で画像を表示部１２３へ出力する。

画像の全体を表示する場合、表示画素数Ａが簡易現像による静止画ファイルの画素数Ｂ、上述の例ならば２００万画素以下であれば、簡易現像部１１１で現像処理された静止画ファイルであっても十分な画質である。高画質現像部１１２で現像処理された静止画ファイルが全体表示に十分な画質であるということは言うまでも無い。

一方、画像の一部を切り出して等倍表示することにより拡大表示を実現する場合、簡易現像による静止画ファイルでは切り出した部分の画素数が表示画素数を下回ることが起こり得る。この場合、画素補間などの拡大処理が必要となり、解像感の低下を招いてしまう。

よって、拡大表示する場合、制御部１６１はＳ６０３において、拡大表示する画像の静止画ファイルが、高画質現像部１１２で現像されたもの（後現像されたもの）であるかどうかを判定する。判定は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、簡易現像部１１１で処理されたものか否かを識別するフラグから行うことができる。あるいは、ＲＡＷファイル４１０の中の現像ステータス４１５を参照して判定したり、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定してもよい。

Ｓ６０３で、拡大表示する静止画が高画質現像されたものであると判定された場合、十分な画質で拡大表示可能である。そのため制御部１６１は処理をＳ６２０に進め、記録再生部１５１によって記録媒体１５２等から読み出した静止画ファイルを、表示処理部１２２を通じて表示部１２３に表示する。

Ｓ６０３で、拡大表示する静止画が高画質現像されたものでないと判定された場合、簡易現像部１１１で現像処理された静止画ファイルであることを意味する。この場合、制御部１６１はＳ６０４移行の処理によって高画質現像（上述した、後現像）を実行する。なお、ここでは簡易現像された画像ファイルが拡大表示対象の場合は無条件に高画質現像を実行するものとしたが、簡易現像による静止画ファイルにおける拡大表示領域内の画素数が表示画素数未満である場合だけ高画質現像を実行するようにしてもよい。

Ｓ６０４において制御部１６１は、再生対象の静止画に対応するＲＡＷファイルがバッファ部１１５に存在しているかどうかを調べる。ＲＡＷファイルがバッファ部１１５に存在していない場合、制御部１６１はＲＡＷファイルを、記録再生部１５１を通じて記録媒体１５２等からバッファ部１１５に読み出す（Ｓ６０５）。

バッファ部１１５は、古いものから順に削除することで、静止画撮影モードで撮影された直近の所定数のＲＡＷデータが保存されるように更新されている。こうすることにより、比較的最近に記録媒体１５２に記録された画像ファイルに対応するＲＡＷデータはバッファ部１１５に保持されているので、Ｓ６０５をスキップして、表示処理を高速に実施することが可能になる。

Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファ部１１５から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像を復元する。ＲＡＷファイル内のＲＡＷ画像データが圧縮されていない場合には復元処理は不要である。

復元されたＲＡＷ画像は、高画質現像部１１２に供給されて高画質現像処理が適用され（Ｓ６０７）た後、スイッチ部１２１を経由して表示処理部１２２に出力される。Ｓ６０８において、表示処理部１２２が図６（ｃ）に示すような拡大画像を表示部１２３へ出力する。なお、拡大表示用の部分画像の切り出しは例えば制御部１６１からの指示に従って表示処理部１２２が行うことができる。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、あるいはユーザから設定されたサイズである。これは、通常、簡易現像された画像のサイズ（例えば２００万画素以下）よりも大幅に大きいため、高画質現像部１１２で現像された静止画ならば、十分な画質で拡大表示が可能である。

なお、Ｓ６０８で表示が行われると、制御部１６１は処理をＳ６０１に戻す。なお、表示対象の画像の変更指示、拡大表示の解除指示、縮小表示画面からの全体表示もしくは拡大表示指示などに応じて上述の処理を実行し、制御部１６１は指示に応じた表示用画像の生成ならびに表示を実現する。例えば制御部１６１は、全体表示状態で次の画像もしくは前の画像の表示指示があれば、表示中の画像の次もしくは直前に記録媒体１５２に記録された画像ファイルを表示対象ファイルとして上述の処理を実施する。拡大表示の解除指示については、制御部１６１は切り出しを解除し、高画質現像された画像の全体を表示するように表示処理部１２２に指示する。また、縮小表示画面から１つの縮小画像が選択されると、制御部１６１は選択された縮小画像に対応する画像ファイルもしくはＲＡＷファイルについて通常表示を実行させる。

本実施形態では、静止画再生モードにおける装置の処理負荷が小さい状態やスリープ状態など装置の処理負荷が比較的小さい状態になると、静止画の後現像が徐々に実行される。そして、簡易現像された静止画ファイルが自然と高画質現像された静止画ファイルに置き換わる。置き換えが進むに従って、拡大表示時であってもＳ６０４〜Ｓ６０７の処理が実施される頻度が低下し、高画質画像を利用した拡大表示がスムーズに実施されるようになり、操作性が一層高まっていく。

また、高画質現像処理されていない画像の拡大表示に要する時間を短縮するため、例えば縮小表示や通常（全体）表示をしている簡易画像ファイルに対応するＲＡＷファイルがバッファ部１１５になければ、予め記録媒体１５２から読み込んでおくことができる。

次に、撮像装置１００の動画再生モードにおける動作について、図７に示すフローチャートを用いて説明する。
図７のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

図７において動画再生モードの処理が開始されると、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ１１０１）、負荷状況が低い場合にアイドル状態（Ｓ１１１０）へ遷移させ、そうでなければＳ１１０２へ処理を進める。なお、アイドル状態へ移行するかどうかの判定処理については撮影モード動作で説明したものと同じであってよい。

例えば、再生指示などのユーザ操作を待っている間は、処理負荷が低いため、制御部１６１は処理をＳ１１１０に進めてアイドル処理を実行する。また、ユーザからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合は処理負荷が低くないため、制御部１６１は処理をＳ１１０２へ進める。

Ｓ１１０２において制御部１６１は、例えばユーザから再生指示された表示対象の動画ファイルの高画質現像処理済みのものが記録媒体１５２等に存在するか否かを判定し、存在する場合はＳ１１０３に進め、存在しない場合はＳ１１０７に処理を進める。上述したようにこの判定では、先頭の一部のみが高画質現像済みの動画ファイルが存在する場合も、高画質現像処理済みのものが存在すると見なしてよい。

Ｓ１１０３において制御部１６１は、高画質現像処理された動画ファイルが終端まで再生されたか否かを判定する。制御部１６１は、高画質現像処理された動画ファイルが終端まで再生されたと判定された場合にはＳ１１０７へ、高画質現像処理された動画ファイルの再生が完了していないと判定された場合にはＳ１１０４へ、それぞれ処理を進める。

Ｓ１１０４で制御部１６１は、記録再生部１５１を通じて記録媒体１５２から再生対象の動画ファイルを所定量読み出し、動画伸張部１４４に供給する。そして、Ｓ１１０５において、動画伸張部１４４が、読み出された動画ファイルを１フレームずつ復号して伸張して表示処理部１２２へ出力し、Ｓ１１０６において、表示処理部１２２が再生された動画の表示画像を表示部１２３へ出力する。

なお、Ｓ１１０６の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、制御部１６１は処理をＳ１１０１に戻す。

Ｓ１１０７で制御部１６１は、再生対象の動画ファイルの簡易現像処理されたものが記録媒体１５２等に存在するか否か判定し、存在すると判定された場合はＳ１１０８へ、存在しないと判定された場合はＳ１１０１へ処理を進める。なお、簡易現像処理された動画ファイルが存在しないのは、再生対象の動画ファイルが最後まで高画質現像処理されていることを意味する。

Ｓ１１０８で制御部１６１は、簡易現像処理された動画ファイルの再生が完了したか否かを判定する。Ｓ１１０８において、簡易現像処理された動画ファイルの再生が完了していないと判定された場合、制御部１６１は処理をＳ１１０９へ進め、記録再生部１５１を通じて記録媒体１５２から再生対象の簡易現像処理された動画ファイルを読み出す。制御部１６１はＳ５２８の中断処理時に保存した情報や再生中の動画ファイルのメタデータによって高画質現像処理された部分（例えば最終フレーム番号）を特定し、高画質現像処理された部分に続くフレームから簡易現像処理された動画ファイルを再生する。

そして、Ｓ１１０５において、動画伸張部１４４が、読み出された動画ファイルを１フレームずつ復号して伸張し、Ｓ１１０６において、表示処理部１２２が再生された動画の表示画像を表示部１２３へ出力する。
Ｓ１１０８で簡易現像処理された動画ファイルの再生が完了したと判定された場合、制御部１６１は処理をＳ１００１に戻す。

本実施形態においては、後現像処理（高画質現像処理）が途中まで行われているＲＡＷファイルについては、簡易現像処理された動画ファイルと高画質現像処理された動画ファイルの両方が記録媒体１５２等に記録されている。この場合、例えば再生指示を行った動画の画質が途中で低下すれば、ユーザは後現像処理が途中までしか完了していないことは把握可能だが、具体的な進捗状況までは容易に把握できない。また、特定の動画ファイルについて再生や後現像処理の実行を指示するような場合であっても、現在の進捗状況が把握できる方が使い勝手がよい。そのため、本実施形態では、記録されている動画ファイルについて、後現像処理がどの程度進捗しているのかをユーザが容易に把握できる情報を提供する。

後現像処理の進捗状況は、例えばＳ５２８の中断処理時に保存する情報に基づいて把握することができる。例えば、中断処理時に処理済みの最終フレームについての番号もしくはタイムコードが保存されている場合、ＲＡＷファイルのメタデータから得られる総フレーム数や総時間に対する割合が進捗状況を表す。なお、中断処理でこの割合を求め、中断情報の１つとして高画質現像された動画ファイルの現像ステータス４０５や制御部１６１に保存するようにしてもよい。

制御部１６１は、例えば操作部１６２から、メニュー画面などを通じて後現像処理の進捗状況の表示指示がなされた際や、再生する画像ファイルの選択画面において、後現像処理の進捗状況の情報をユーザに提供することができる。
図８に、本実施形態の撮像装置１００が提供する、後現像処理の進捗状況の情報提示画面１３００の例を示す。この例では、記録媒体１５２に記録されている画像ファイルをサムネイル画像によって閲覧する画面に、後現像処理の進捗状況を示す情報を付加した場合を示している。なお、この画面は、再生すべき画像をユーザが指定可能とするインデックスとしても利用される。

図８の例では、１画面あたり６ファイルのサムネイルを表示する例を示しているが、１画面あたりのサムネイル画像の数に制限はない。また、撮影時のモードやパラメータや撮影日時の情報など、他の情報が表示されてもよい。また、図８の例では６ファイルの全てが動画ファイルである場合を示しているが、静止画ファイルが含まれていてもよい。

制御部１６１は記録媒体１５２に記録されている画像ファイルのうち、例えば記録日時の新しいものから順にサムネイル画像を取得するとともに、対応する進捗状況を上述した方法で取得する。そして、制御部１６１は、進捗状況を視覚的に表す画像を生成し、サムネイル画像と対応付けてレイアウトした画面の画像データを表示処理部１２２に供給する。表示処理部１２２は供給された画像データを表示部１２３に表示する。

図８（ａ）は、サムネイル画像１３０１〜１３０６のそれぞれに対応付けて、後現像処理の進捗状況をプログレスバー１３１１〜１３１６で示した例である。プログレスバー１３１１〜１３１６は、左端が０％、右端が１００％に対応し、塗りつぶされた範囲で進捗状況を表している。サムネイル画像１３０６に対応するプログレスバー１３１６は塗りつぶされていないので、対応する動画ファイルは後現像処理がまだ行われていない状態であることがわかる。また、プログレスバーを塗りつぶす色を、進捗割合に応じて変更してもよい（例えば０〜３０％：赤、３０〜６０％：黄、７０〜９９％：黄緑、１００％：緑など）。なお、プログレスバー１３１１〜１３１６内に具体的な進捗状況を表す数値（ｘ％完了）等を含めるようにしてもよい。

図８（ｂ）は、進捗状況を数値で示した例である。ここでは、サムネイル画像１３０１〜１３０６のそれぞれに対応付けて、後現像処理の進捗状況を全体に対する処理済み部分のパーセンテージで示す画像１３２１〜１３２６で示している。
図８（ｃ）は、進捗状況を円グラフで示した例である。ここでは、サムネイル画像１３０１〜１３０６のそれぞれに対応付けた円グラフ１３３１〜１３３６の塗りつぶし量で後現像処理の進捗状況を示している。円グラフ１３３１〜１３３６は、中心から直上へ延びる半径を起点として時計回りに塗りつぶされた割合で進捗状況を表している。
図８（ｂ），（ｃ）の例においても、文字や塗りつぶしの色を進捗割合に応じて変更することができる。また図８（ｃ）の例で円グラフ内に具体的な進捗状況を表す数値（ｘ％完了）等を含めるようにしてもよい。

図８（ｄ）は、サムネイル画像１３０１〜１３０６のそれぞれに対応付けて、後現像処理の進捗状況を特定の文字によって示した例である。図８（ｄ）の例では、後現像処理が未終了の画像については「現像中...」と付記され、後現像処理が終了している画像については「現像完了」と付記されている。なお、図８（ｄ）に示された特定文字は一例であって、進捗やステータスを表し、ユーザにそれを認知させる効果を有するものであれば、他の文字やワード、或いはマークで代用しても良い。

図８（ａ）〜（ｄ）の何れの例であっても、各サムネイルの何れかをユーザがカーソルやタッチ操作により選択して再生命令することによって、選択されたサムネイルに対応する画像が再生されるモードに移行する。この再生命令に応じて、後現像処理が完了している画像であれば、高画質現像処理済みの動画が最初から最後まで再生される。一方、後現像処理が未終了のものであれば、動画の少なくとも先頭シーンでは高画質現像処理済みの画像が再生され、その後（動画の途中から）簡易現像処理済みの画像にシームレスに移行して再生される。或いは、最初から最後まで簡易現像処理済の画像が再生される場合もある。

なお、図８（ａ）〜（ｃ）は後現像処理の進捗状況を視覚的に表す情報の例示であり、他の方法で示してもよい。例えば、サムネイル画像自体をプログレスバーとして利用し、現在の進捗割合を示す塗りつぶし画像を半透明で重畳したり、進捗割合に対応する位置に垂直な線を重畳するなどの方法であってもよい。また、プログレスバーなど進捗状況を示す情報は、サムネイル画像に重畳させて表示するなど、対応関係が一見して明らかであれば他の位置に表示してもよい。また、図８（ａ）〜（ｃ）の例やその変形例と、図８（ｄ）のような文字とを組み合わせて適用しても良い。

ここでは説明および理解が容易な動画ファイルについて説明したが、静止画ファイルについても進捗状況の状況を提供することができる。静止画ファイルの進捗状況は基本的に後現像処理が完了しているか未処理かのいずれかであるため、その処理済みもしくは未処理のいずれかを示す情報をサムネイル画像に対応付けて表示すればよい。制御部１６１は、あるＲＡＷ静止画ファイルについて、高画質現像処理された静止画ファイルが存在すれば、後現像処理が完了しており、存在しなければ未処理であると判別できる。

以上説明したように本実施形態によれば、撮影時にはＲＡＷ画像を簡易現像処理した画像とともに記録しておく。その後、記録済みのＲＡＷ画像に対して簡易現像処理よりも高画質な画像が得られる現像処理を適用して高画質な画像を生成し、簡易現像処理で得られた画像と置き換える後現像処理を行う。このような構成により、高速に現像処理を行う回路が無くても高速連写などが可能になるほか、他の装置で内容を確認したい場合などにもＲＡＷ画像の内容を容易に確認できる。

また、後現像処理を撮像装置の負荷が低い状態に自動的に行うようにすることで、ユーザに後現像処理を意識させることなく高画質な画像が得られるため、再生時に後現像処理を実施する手間なく、直ちに高画質な画像を再生することができる。
さらに、後現像処理の進捗状況を示す情報を提示するので、進捗状況に応じて再生する動画像を選択したり、高画質現像処理の実行を指示したりすることが可能になり、ユーザの使い勝手を向上させることが可能になる。

（その他の実施形態）
前述の実施形態では、撮像装置１００で後現像処理を行う例について説明した。しかし後現像処理を撮像装置１００の外部機器で行ってもよい。後現像処理を外部機器で行うことで、撮像装置１００の処理負荷を軽減できるほか、外部機器の能力に基づいた後現像処理が可能なため、撮像装置１００が実行するよりも高速に処理を行うことも可能となる。

図１０は、撮像装置１００と、通信端子１５４および通信路１６５を介して通信可能に接続された外部機器１７０で後現像処理を行うシステムの機能構成例を示すブロック図である。外部機器１７０は、撮像装置１００と通信可能で、撮像装置１００の高画質現像部１１２と同等の処理を実行可能な任意の電子機器であり、例えば汎用コンピュータ、携帯端末、サーバであってよい。あるいは外部機器１７０は、高画質現像部１１２と同等の処理が可能な現像処理部を有するサーバや撮像装置であってもよい。

撮像装置１００の制御部１６１は通信部１５３を通じ、通信路１６５に接続された外部機器１７０に、現像処理を行うＲＡＷファイルを送信する。外部機器１７０はＲＡＷファイルの後現像処理を実行し、現像処理済みの画像ファイルを撮像装置１００に返送する。後述するように、外部機器１７０で後現像処理を行う場合についても、撮像装置１００で後現像処理を行う場合と同様に、後現像処理の進捗状況を把握することができる。

なお、図１０には通信路１６５を有線通信路として図示しているが、無線通信路であってもよいし、有線通信路と無線通信路が混在していてもよい。また、通信路１６５が１つ以上のネットワークを含んでいてもよい。

外部機器１７０は、通信路１６５を通じたデータの送受信に用いる入出力バッファ１７０３と、ＲＡＷファイルや現像処理済の画像ファイルを保存するストレージ１００５と、高画質現像部１１２と同等の処理が可能な高画質現像部１００７を備える。外部機器１７０が汎用コンピュータ、携帯端末、およびサーバなどの場合、高画質現像部１００７はソフトウェア的に実現されてよい。具体的には、これらコンピュータ機器が有するプログラマブルプロセッサ（ＣＰＵなど）により、高画質現像部１００７の機能を実現するためのアプリケーションプログラムをメモリにロードして実行することで、高画質現像部１００７が実現される。もちろん、高画質現像部１００７がＡＳＩＣなどのハードウェアで実現されてもよい。

外部機器１７０はさらに、進捗管理部１００９を有する。進捗管理部１００９は、ストレージ１００５に保存される各ＲＡＷファイルの入出力を管理するとともに、管理下にあるＲＡＷファイルに対する高画質現像部１００７による現像処理の進捗状況を把握する。

ＲＡＷファイルが撮像装置１００から外部機器１７０に送信されるタイミングに特に制限はないが、例えばＲＡＷファイルを記録媒体１５２等に記録する処理と並行して、あるいは記録が完了してから、通信部１５３から外部機器１７０に送信することができる。

ＲＡＷファイルが外部機器１７０に送信（記録）されたか否かの情報（送信情報）は、記録媒体１５２に記録されている動画ファイルの撮影メタデータ４０６や制御部１６１内のメモリに保存しておく。なお、ＲＡＷファイルのオリジナルが送信された（すなわち、転送された）のか、複製が送信されたのかを示す情報も保存しておく。ここでは、転送された場合についてまず説明する。ＲＡＷファイルが転送された場合、ＲＡＷファイルは撮像装置１００に存在しないため、後現像処理は外部機器１７０だけで行われるが、複製が送信された場合は後現像処理を外部機器１７０だけでなく撮像装置１００でも行うことが可能である点が異なる。ＲＡＷファイルの複製が送信された場合の処理については後述する。

外部機器１７０で後現像処理を実行する場合も、後現像処理の進捗状況は、現像処理で得られる動画ファイルの現像ステータス４０５やＲＡＷファイルの現像ステータス４１５に保存することができる。この保存は、高画質現像部１００７または進捗管理部１００９が行うことができる。

進捗管理部１００９は、後現像処理の進捗状況を表す情報を、ＲＡＷファイルを特定する情報と関連付けて例えば入出力バッファ１７０３に保存し、予め定めたタイミング（例えば一定周期）で更新する。この情報を、撮像装置１００の制御部１６１が取得することにより、撮像装置１００で後現像処理を行うＲＡＷファイルと同様の進捗状況の表示を行うことができる。制御部１６１は例えば撮像装置１００の起動時や、アイドル処理の開始時または実行中に入出力バッファ１７０３にアクセスし、外部機器１７０における後現像処理の進捗状況を取得することができる。

あるいは、またはさらに、制御部１６１は、撮像装置１００の動作状態に関わらず、定期的に、または所定のタイミングで後現像処理の進捗状況を取得してもよい。
撮像装置１００が再生状態の場合、表示部１２３に進捗状況を一旦表示した後に外部機器１７０から進捗状況の情報を取得し、進捗状況に変化があれば表示部１２３の表示を更新する。

あるいは、またはさらに、外部機器１７０から定期的に、または所定のタイミングで後現像処理の進捗状況を撮像装置１００にプッシュ送信や外部割り込みコマンドなどを発行して、情報を通知したり、情報の取得を促したりしてもよい。
例えば外部機器１７０から撮像装置１００へ進捗状況の情報を取得するように促すイベント（トリガ）を発行し、これに応じて撮像装置１００が受動的に外部機器１７０へアクセスして、進捗状況の情報を取得してもよい。

通信部１５３を介して外部機器１７０から取得した進捗状況は、撮像装置１００の記録媒体１５２に記録されている簡易現像済みの動画ファイルの撮影メタデータ４０６や制御部１６１等に保存することができる。また、途中まで高画質現像処理が終わった動画ファイルが外部機器１７０から撮像装置１００に取得されていれば、高画質現像処理が終わった動画ファイルの撮影メタデータ４０６に保存してもよい。

なお、撮像装置１００は、進捗状況の情報の取得だけでなく、後現像処理が進捗中の高画質現像動画ファイルを外部機器１７０から取得してもよい。これにより、転送されたＲＡＷファイルについても、途中までではあるが撮像装置１００で高画質で再生することが可能になる。

後現像処理が完了した場合、進捗状況と同様に、外部機器１７０から撮像装置１００へ通知を行ったり高画質現像処理が終わった動画ファイルの取得を促すイベントを発行するようにしてもよい。あるいは、撮像装置１００が進捗状況から後現像処理の完了を把握した場合に外部機器１７０から高画質現像処理が終わった動画ファイルを取得してもよい。また、転送したＲＡＷファイルも取得してもよい。

このように、ＲＡＷファイルを外部機器１７０に転送して後現像処理を行う場合であっても、撮像装置１００で後現像処理を行う場合と同様に後現像処理の進捗状況の情報をユーザに提供することができる。

次に、ＲＡＷファイルの複製が外部機器１７０に送信される場合について説明する。この場合、外部機器１７０と撮像装置１００の双方にＲＡＷファイルが存在するため、両方で後現像処理を行うことができる（必ずしも行わなくてよい）。外部機器１７０だけで後現像処理を実行する場合は、ＲＡＷファイルを転送した場合と基本的には同じであるため、ここでは、外部機器１７０と撮像装置１００の両方で後現像処理を行う場合について説明する。

後現像処理は、撮像装置１００の方が進んでいる場合もあれば、外部機器１７０の方が進んでいる場合もある。外部機器１７０の方が進んでいるが、通信路１６５の状態や撮像装置１００の負荷などにより、外部機器１７０から高画質現像処理された動画ファイルを取得できないこともありうる。再生できない動画ファイルの進捗状況を提供すると、かえって使い勝手が低下することもあるため、状況に応じて適切な進捗状況をユーザに提供する必要がある。

外部機器１７０と撮像装置１００の両方で同じＲＡＷファイルに対して後現像処理が行われている場合に、後現像処理の進捗状況の情報をどのようにして提供するかについて、図１１に示すフローチャートを用いて説明する。

制御部１６１はまず、Ｓ１４００で処理の終了が必要か否かを判断し、終了が必要と判断されれば進捗状況提示処理を終了する。終了が必要でなければ、Ｓ１４０１で制御部１６１は撮像装置１００に存在する、進捗状況の確認対象の動画ファイルの現像ステータス４０５もしくは制御部１６１を参照し、高画質現像処理の進捗状況の情報を取得する。また、制御部１６１はＳ１４０１において、対象の動画ファイルの撮影メタデータ４０６などから、ＲＡＷファイルが外部機器１７０に送信されているかどうかの情報（送信情報）も取得する。

次にＳ１４０２で制御部１６１は、送信情報に基づいて対象の動画ファイルのＲＡＷファイルが外部機器１７０に送信されていると判定さればＳ１４０３へ、送信されていないと判定されればＳ１４０８へ処理を進める。

Ｓ１４０３で制御部１６１は、通信部１５３を介して外部機器１７０へアクセス可能な状態にあるか否かを判別する。判別方法に特に制限はないが、コマンドを送信して所定時間内に正常応答があるか否かによって判別するなど、公知の方法を用いることができる。制御部１６１は、外部機器１７０へアクセス可能な状態と判別した場合にはＳ１４０４へ、アクセス可能な状態と判別できない場合にはＳ１４０８へ処理を進める。なお、通信自体は可能であっても、通信品質が低い（エラーが多い、遅延が大きいなどの）場合には、アクセス可能な状態でないと判別してもよい。

Ｓ１４０４で制御部１６１は、外部機器１７０の入出力バッファ１７０３に保存されている、対象の動画ファイルの進捗状況の情報を取得する。なお、上述したように、進捗状況の情報の取得は、撮像装置１００から能動的に行わなくてもよい。外部機器１７０から進捗状況の情報が通知されたり、進捗状況の情報取得を促された場合にも、Ｓ１４０４からの処理を実施する。

Ｓ１４０５で制御部１６１は、撮像装置１００にある動画ファイルから取得した進捗情報と、外部機器１７０から取得した進捗情報とを比較し、撮像装置１００と外部機器１７０のどちらの後現像処理が進んでいるか判断する。
Ｓ１４０６で制御部１６１は、外部機器１７０の方が後現像処理が進んでいると判断した場合にはＳ１４０７へ、撮像装置１００の方が後現像処理が進んでいると判断した場合にはＳ１４０８へ処理を進める。

制御部１６１は、Ｓ１４０７では外部機器１７０から取得した進捗状況の情報を選択し、Ｓ１４０８では撮像装置１００で取得した進捗状況の情報を選択する。このように、本実施形態では、撮像装置１００と外部機器１７０の両方で後現像処理を行う場合、外部機器１７０にアクセス可能な状態なら処理が進んでいる方の進捗状況を、外部機器１７０にアクセス可能な状態でないなら撮像装置１００の進捗状況を選択する。外部機器１７０にＲＡＷファイルが送信されていない場合（Ｓ１４０２、ＮＯ）は、撮像装置１００の進捗状況を選択する。表示する。

Ｓ１４０９で制御部１６１は、Ｓ１４０７およびＳ１４０８で選択した情報に基づいて、上述の実施形態で説明したように進捗状況を表示部１２３に表示する。

なお、同一のＲＡＷファイルが複数の外部機器に送信される場合も、同様に対応することができる。まず、ＲＡＷファイルが転送されている場合、制御部１６１は転送先の外部機器のうちアクセス可能な状態のものをＳ１４０３で判別し、Ｓ１４０４でアクセス可能な状態の外部機器から進捗状況の情報を取得する。そして制御部１６１はＳ１４０５で、取得した情報を比較し、Ｓ１４０７で、進捗状況が一番進んでいるものを選択する。ＲＡＷファイルが転送されている場合には、撮像装置１００の進捗状況が存在しないため、Ｓ１４０６，Ｓ１４０８は実行されない。

また、ＲＡＷファイルの複製が複数の外部機器に送信されている場合、制御部１６１は転送先の外部機器のうちアクセス可能な状態のものをＳ１４０３で判別し、Ｓ１４０４でアクセス可能な状態の外部機器から進捗状況の情報を取得する。Ｓ１４０５で制御部１６１は、撮像装置１００から取得した進捗状況の情報と、Ｓ１４０４で外部機器から取得した進捗状況の情報とを比較する。

Ｓ１４０６で制御部１６１は、一番後現像処理が進んでいるのが外部機器１７０のいずれかであると判断した場合にはＳ１４０７へ、撮像装置１００が一番後現像処理が進んでいると判断した場合にはＳ１４０８へ処理を進める。

Ｓ１４０７で制御部１６１は、外部機器から取得した進捗状況の情報のうち、一番後現像処理が進んでいるものを選択する。

以上説明したように、外部機器で後現像処理を行う場合においても、撮像装置で後現像処理を行う場合と同様に進捗状況をユーザに提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…撮像装置、１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１１１…簡易現像部、１１２…高画質現像部、１５１…記録再生部、１５２…記録媒体、１５３…通信部、１５４…通信端子、１６１…制御部、１７０…外部機器

Claims (20)

1. 画像処理装置であって、
   被写体像のＲＡＷ画像データを取得する取得手段と、
   前記ＲＡＷ画像データから第１の画像データを生成する第１の現像処理手段と、
   記録媒体に前記ＲＡＷ画像データと前記第１の画像データを記録する記録手段と、
   前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理手段と、
   前記記録媒体に記録された画像データから再生する画像データを選択するための画面に前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理手段による処理の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理手段と、
   を有し、
   前記第２の現像処理手段は、前記画像処理装置の処理負荷が低いと判定される状態になると自動的に処理を開始し、前記処理負荷が低いと判定される状態でなくなると前記処理を中断することを特徴とする画像処理装置。
2. 被写体像のＲＡＷ画像データを取得する取得手段と、
   前記ＲＡＷ画像データから第１の画像データを生成する第１の現像処理手段と、
   記録媒体に前記ＲＡＷ画像データと前記第１の画像データを記録する記録手段と、
   前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理手段と、
   前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理手段による処理の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理手段と、
   を有し、
   前記第２の現像処理手段による処理の進捗状況を表す情報が、前記第２の現像処理手段による処理の中断時に保存される情報に基づいて生成されることを特徴とする画像処理装置。
3. 被写体像のＲＡＷ画像データを取得する取得手段と、
   前記ＲＡＷ画像データから第１の画像データを生成する第１の現像処理手段と、
   記録媒体に前記ＲＡＷ画像データと前記第１の画像データを記録する記録手段と、
   前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理手段と、
   前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理手段による処理の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理手段と、
   を有し、
   前記記録媒体に記録されている前記ＲＡＷ画像データについての前記第２の現像処理手段による処理の進捗に応じて、前記第１の現像処理手段による処理を行って得られた前記第１の画像データ、又は、前記第２の現像処理手段による処理を行って得られた前記第２の画像データのいずれかを再生することを特徴とする画像処理装置。
4. 被写体像のＲＡＷ画像データを取得する取得手段と、
   前記ＲＡＷ画像データから第１の画像データを生成する第１の現像処理手段と、
   記録媒体に前記ＲＡＷ画像データと前記第１の画像データを記録する記録手段と、
   前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理手段と、
   前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理手段による処理の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理手段と、
   を有し、
   前記記録媒体に記録されている前記ＲＡＷ画像データについての前記第２の現像処理手段による処理が未終了の場合、再生命令に応じて、動画の少なくとも先頭シーンでは前記第２の現像処理手段による処理を行って得られた前記第２の画像データを再生し、前記動画の途中から前記第１の現像処理手段による処理を行って得られた前記第１の画像データを再生することを特徴とする画像処理装置。
5. 前記第２の現像処理手段は、前記第１の現像処理手段より高画質な現像処理を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記表示処理手段は、前記ＲＡＷ画像データが動画データの場合、前記第２の現像処理手段による処理の進捗状況を表す情報として、前記第２の現像処理手段による処理が完了した割合を示すプログレスバー、数値、もしくは円グラフを表示することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記表示処理手段は、前記ＲＡＷ画像データが静止画データの場合、前記第２の現像処理手段による処理の進捗状況を表す情報として、処理済みもしくは未処理を表す情報を表示することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記記録手段は、前記第２の現像処理手段により生成された第２の画像データを前記記録媒体に記録することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第１の現像処理手段による処理は、前記第２の現像処理手段による処理よりも処理負荷が低いことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１の現像処理手段による処理で得られる画像データは、前記第２の現像処理手段による処理で得られる画像データよりも画素数が少ないことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記第１の現像処理手段による処理は、前記第２の現像処理手段による処理よりも工程の数が少ないか、前記第２の現像処理手段による処理よりも精度が低いか、の少なくとも一方であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 被写体像のＲＡＷ画像データを取得する取得手段と、
    前記ＲＡＷ画像データから第１の画像データを生成する第１の現像処理手段と、
    記録媒体に前記ＲＡＷ画像データと前記第１の画像データを記録する記録手段と、
    前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理手段と、
    前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理手段による処理の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理手段と、
    を有し、
    前記記録媒体および前記第２の現像処理手段は、外部機器に存在し、
    前記表示処理手段は、前記外部機器から取得した情報が示す前記第２の現像処理手段による処理の進捗状況に基づいて、前記表示を行うことを特徴とする画像処理装置。
13. 前記外部機器から前記情報を通信路を介して取得する通信部をさらに有することを特徴とする請求項１２に記載の画像処理装置。
14. 前記記録媒体が、さらに前記画像処理装置にも存在し、
    前記表示処理手段は、前記画像処理装置における前記第２の現像処理手段による処理の進捗状況と、前記外部機器から取得した前記情報が示す前記第２の現像処理手段による処理の進捗状況との比較に基づいて、前記表示を行うことを特徴とする請求項１２または１３に記載の画像処理装置。
15. 前記表示処理手段は、前記画像処理装置における前記第２の現像処理手段による処理の進捗状況と、前記外部機器から取得した前記情報が示す前記第２の現像処理手段による処理の進捗状況とのうち、処理が進んでいる方の進捗状況を表す情報を表示することを特徴とする請求項１４に記載の画像処理装置。
16. 前記外部機器は、前記第２の現像処理手段による処理をアプリケーションプログラムに従って実行する携帯端末もしくは汎用コンピュータであることを特徴とする請求項１２から１５のいずれか１項に記載の画像処理装置。
17. 前記外部機器は、前記第２の現像処理手段を備えるサーバもしくは撮像装置であることを特徴とする請求項１２から１５のいずれか１項に記載の画像処理装置。
18. 画像処理装置の制御方法であって
    第１の現像処理手段が、取得したＲＡＷ画像データから第１の画像データを生成する第１の現像処理工程と、
    記録手段が、前記ＲＡＷ画像データと、前記第１の画像データとを記録媒体に書き込む工程と、
    第２の現像処理手段が、前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理工程と、
    表示処理手段が、前記記録媒体に記録された画像データから再生する画像データを選択するための画面に前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理工程の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理工程と、
    を有し、
    前記第２の現像処理工程において前記第２の現像処理手段は、前記画像処理装置の処理負荷が低いと判定される状態になると自動的に処理を開始し、前記処理負荷が低いと判定される状態でなくなると前記処理を中断することを特徴とする画像処理装置の制御方法。
19. 第１の現像処理手段が、取得したＲＡＷ画像データから第１の画像データを生成する第１の現像処理工程と、
    記録手段が、前記ＲＡＷ画像データと、前記第１の画像データとを記録媒体に書き込む工程と、
    第２の現像処理手段が、前記記録媒体に記録された前記ＲＡＷ画像データから第２の画像データを生成する第２の現像処理工程と、
    表示処理手段が、前記ＲＡＷ画像データを表すサムネイル画像を選択可能に表示するときに、該ＲＡＷ画像データに対する前記第２の現像処理工程の進捗状況を示す情報を該サムネイル画像と対応づけて表示する表示処理工程と、
    再生手段が、前記記録媒体に記録されている前記ＲＡＷ画像データについての前記第２の現像処理工程による処理の進捗に応じて、前記第１の現像処理工程による処理を行って得られた前記第１の画像データ、又は、前記第２の現像処理工程による処理を行って得られた前記第２の画像データのいずれかを再生する再生工程と、
    を有することを特徴とする画像処理装置の制御方法。
20. コンピュータを、請求項１から１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images