(第1の実施形態)
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図1は、本実施形態に係る撮像装置100の構成例を示すブロック図である。図1に示す撮像装置100は、被写体を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ(クラウド)等と送受信する機能を有する。
図1において、制御部161は、CPUと、当該CPUが実行する制御プログラムを格納するメモリを含み、撮像装置100の全体の処理を制御する。操作部162は、ユーザーが撮像装置100に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部162からの操作信号は、制御部161によって検出され、操作に応じた動作が実行されるよう制御部161によって制御される。表示部123は、撮像装置100において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ(LCD)等を含む。
操作部162によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部101を介して入力され、撮像センサー部102上に結像される。撮影時、撮像光学部101及び撮像センサー部102の動作は、評価値算出部105により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部131によって抽出される被写体情報に基づいて、カメラ制御部104によって制御される。
撮像センサー部102は、画素毎に配置される赤(R)、緑(G)、青(B)のカラーフィルターを透過した光を電気信号に変換する。図2は、撮像センサー部102に配置されるカラーフィルターの一例であり、撮像装置100が扱う画像の画素配列を表している。図2に示すように、赤(R)201、緑(G)202、青(B)203が画素毎にモザイク状に配置されており、2×2の4画素につき赤の1画素、青の1画素、及び緑の2画素を1セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれている。
撮像センサー部102によって変換された電気信号は、センサー信号処理部103によって画素の修復処理が施される。修復処理には、撮像センサー部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部103から出力される画像データとしてRAW画像データが出力される。
センサー信号処理部103から出力されるRAW画像データは、現像部110において現像処理される。現像部110は、複数の異なる画像処理を行う現像処理部として、簡易現像部111と、高画質現像部112とを備えている。さらに、それらの出力を選択するスイッチ部121と、高画質現像部112で処理するRAW画像データを選択する現像画像選択部171とを備えている。簡易現像部111および高画質現像部112はそれぞれ、RAW画像データに対してデベイヤー処理(デモザイク処理)を施し、輝度と色差とからなる信号に変換して、各信号に含まれるノイズを除去して光学的な歪を補正する。このように画像を適正化するなど、いわゆる現像処理を行う。
特に、高画質現像部112は、簡易現像部111よりも各々の処理を高精度に行うため、簡易現像部111よりも高画質な現像画像が得られるが、その分、処理負荷は大きい。そこで、本実施形態の高画質現像部112は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質な現像処理を撮影時ではなく、時間をかけて後から行うようにすることにより、消費電力が一時的に増大することや回路規模を抑えることができる。
これに対して簡易現像部111は、高画質現像部112よりも画質は低いものの、撮影中に高速に現像処理を行うことができるよう、現像に係る処理量が少なくなるように構成されている。簡易現像部111の処理負荷は小さいため、撮影動作と並行したリアルタイムの現像の際には、簡易現像部111を用いるようにする。このように、簡易現像部111ではRAW画像データを撮影順に現像処理するが、高画質現像部112における現像処理は撮影後に行うため、必ずしも撮影順に現像処理する必要はない。
現像画像選択部171は、制御部161から提供される、操作部162によりユーザーから指示された操作内容や実行中の動作モードに関する情報に基づいて、高画質現像部112で処理するRAW画像データを選択する。同様にスイッチ部121は、操作部162によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部161によって切り替えられる。
なお、本実施形態では、現像部110の中に簡易現像部111および高画質現像部112が独立に存在する構成を示しているが、1つの現像部が動作モードを切り替えて、簡易現像および高画質現像の処理を排他的に行う構成であってもよい。
現像部110によって現像処理された画像データは、表示処理部122によって所定の表示処理がなされた後、表示部123にてその画像が表示される。また、現像処理された画像データは、映像出力端子124により、外部に接続された表示機器に出力してもよい。映像出力端子124は、例えばHDMI(登録商標)やSDIのような汎用インタフェースを含む。また、現像部110によって現像処理された画像データは、評価値算出部105にも供給され、評価値算出部105は、画像データからフォーカス状態や露出状態などの評価値を算出する。
現像部110によって現像処理された画像データは、認識部131にも供給される。認識部131は、画像中の被写体情報を検出して認識する機能を有する。例えば、画像によって表される画面内における顔を検出し、顔が存在する場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
現像部110によって現像処理された画像データは、静止画圧縮部141及び動画圧縮部142にも供給される。このとき、画像データを静止画データとして圧縮する場合は静止画圧縮部141を用い、画像データを動画データとして圧縮する場合は、動画圧縮部142を用いる。静止画圧縮部141及び動画圧縮部142は、それぞれ対象となる画像データを高能率符号化(圧縮符号化)して情報量が圧縮された画像データを生成して、画像ファイル(静止画ファイル、又は、動画ファイル)に変換する。静止画データを圧縮する場合はJPEG方式などを用い、動画データを圧縮する場合はMPEG−2方式、H.264方式、H.265方式等を用いることができる。
RAW圧縮部113は、センサー信号処理部103から出力されたRAW画像データを、ウエーブレット変換や差分符号化等の技術を用いて高能率符号化し、圧縮された状態のRAWファイルに変換してバッファ部115に格納する。RAWファイルは、バッファ部115内に保持しておいて再び読み出すことができるが、バッファ部115に格納された後、別の記録媒体に移動して記録し、バッファ部115から削除するようにしてもよい。
RAWファイル、前述の静止画ファイル及び動画ファイルは、記録再生部151によって記録媒体152に記録される。記録媒体152は、内蔵式の大容量メモリやハードディスク、又は着脱式のメモリカード等である。記録再生部151は、記録媒体152から静止画ファイル、動画ファイル、及びRAWファイルを読み出すこともできる。
さらに記録再生部151は、通信部153を介して、外部のストレージやサーバに各種ファイルを書き込んだり読み出したりすることができる。通信部153は、通信端子154を用いて無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
再生動作が開始されると、記録再生部151は、記録媒体152から、又は通信部153を介して、所望のファイルを取得して再生する。再生対象のファイルがRAWファイルである場合には、記録再生部151は、取得したRAWファイルをバッファ部115に格納する。また、再生対象のファイルが静止画ファイルである場合は、記録再生部151は、取得した静止画ファイルを静止画伸張部143に供給する。さらに、再生対象のファイルが動画ファイルである場合は、記録再生部151は、取得した動画ファイルを動画伸張部144に供給する。
RAW伸張部114は、バッファ部115に格納されているRAWファイルを読み出して、圧縮された状態のRAWファイルを復号して伸張する。RAW伸張部114によって伸張されたRAWファイルは、現像部110内の簡易現像部111、又は高画質現像部112に供給される。静止画伸張部143は、入力された静止画ファイルを復号して伸張し、静止画データの再生画像として表示処理部122に供給する。動画伸張部144は、入力された動画ファイルを復号して伸張し、動画データの再生画像として表示処理部122に供給する。
次に、本実施形態の撮像装置100の動作モードに関して、図3を用いて詳細に説明する。図3は、撮像装置100における各動作モードの遷移を示す状態遷移図である。このような動作モードの遷移は、操作部162からの指示や、制御部161の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図2に示すように、撮像装置100は、アイドル状態300を経由して4つのモードである静止画撮影モード301、静止画再生モード302、動画撮影モード303、又は動画再生モード304に適宜切り替わって動作する。
まず、撮像装置100の静止画撮影モード301における動作について説明する。
図4は、本実施形態の静止画撮影モードにおける処理手順の一例を示すフローチャートを示す。図4に示すフローチャートは、制御部161によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図4のS400において静止画撮影モードの処理が開始されると、S401において、制御部161は、撮像装置100の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。このとき、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し(S413)、そうでない場合はS402へ進む。例えば、高速連写中は処理負荷が高いため、S413へは遷移せず、常にS402へ進む。一方、通常の単発の撮影を行う場合においては、第1の撮影と第2の撮影との合間に例えば半分の頻度でS413へ遷移する。このアイドル状態の詳細については後述する。
次のS402においては、カメラ制御部104は、好適な条件で撮影を行うよう、撮像光学部101及び撮像センサー部102の動作を制御する。例えば、ユーザーによるズームやフォーカスの指示に従って、撮像光学部101に含まれるレンズを移動させたり、撮影画素数の指示に従って撮像センサー部102の読み出し領域を設定したりする。また、後述の評価値算出部105や認識部131から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御も行う。
次に、S403において、撮像センサー部102によって変換された電気信号に対して、センサー信号処理部103が画素の修復のための信号処理を施す。この処理により、RAW画像データが生成される。そして、S404において、簡易現像部111はRAW画像データを現像処理する。このとき、制御部161は、現像部110内のスイッチ部121を切り替えて、簡易現像部111で現像処理された画像データの出力を選択するようにする。
ここで、簡易現像部111が行う現像処理(簡易現像)について説明する。簡易現像部111は、現像後の画像サイズを200万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることにより、現像の高速処理や簡易処理を実現している。簡易現像部111が画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることにより、撮像装置100は例えば200万画素の毎秒60コマというパフォーマンスの撮影を小さい回路規模で少ない消費電力で実現することができる。
簡易現像部111で現像処理された画像データは、評価値算出部105に供給される。次に、S405において、評価値算出部105は、画像データに含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部105は、現像処理前のRAW画像データを取得して、RAW画像データから同様に評価値を算出するようにしてもよい。
また、簡易現像部111で現像処理された画像データは、認識部131に供給される。そこで、S406において、認識部131は、現像処理された画像データから顔などの被写体を検出し、被写体情報を認識する。例えば、画像内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として生成する。
さらに、簡易現像部111で現像処理された画像データは、表示処理部122にも供給される。そこで、S407において、表示処理部122は、取得した画像データから表示画像を形成し、表示部123又は外部の表示装置に出力して、その画像を表示する。表示部123に表示される画像は、静止画撮影モードにおいてユーザーが被写体を適切にフレーミングするためのライブビュー表示(撮影スルー画像表示)のために用いられる。
なお、表示画像は、表示処理部122から映像出力端子124を経由して、外部のテレビジョンなどの他の表示装置にて表示されるようにしてもよい。さらに、表示処理部122は、評価値算出部105によって算出される評価値や認識部131によって生成された被写体情報を活用して、併せてマーキング等を表示することもできる。例えば、表示画像上のフォーカスの合焦領域にマーキングを表示したり、認識された顔の位置に枠を表示したりすることもできる。
次に、S408において、制御部161は、ユーザーの操作によって操作部162から撮影指示を入力したか否かを判定する。この判定の結果、撮影指示を入力した場合は、S409へ進む。一方、S408の判定の結果、撮影指示を入力していない場合は、S401へ戻って、撮影の準備動作とライブビュー表示とを繰り返す。
次に、S408の撮影指示に応答して、S409において、静止画圧縮部141は、簡易現像部111で現像処理された画像データを取得する。そして、静止画圧縮部141は、取得した画像データに対して高能率符号化処理(静止画圧縮)を施し、静止画ファイルを生成する。なお、静止画圧縮部141は、JPEGなどの公知の静止画圧縮技術を用いて圧縮処理を行う。そして、S410において、記録再生部151は、静止画ファイルを記録媒体152に記録する。
さらに、S408の撮影指示に応答して、S411において、RAW圧縮部113は、撮影された静止画に対応するRAW画像データをセンサー信号処理部103から取得し、RAW画像データを高能率符号化(RAW圧縮)してRAWファイルに変換する。そして、RAWファイルをバッファ部115に格納する。
なお、RAW圧縮部113が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でもよい。或いは、RAW圧縮部113によるRAW圧縮を省略して、RAW画像データを非圧縮の状態のままバッファ部115に格納するようにしてもよい。RAW圧縮の有無に関わらず、本実施形態では、センサー信号処理部103から供給されるRAW画像データを大きく損なわない、高画質ファイルとして復元可能なRAWファイルを生成する。
次に、S412において、記録再生部151は、バッファ部115に格納されたRAWファイルを記録媒体152に記録した後、S401に遷移する。なお、S410及びS412において、記録再生部151は、静止画ファイルまたはRAWファイルを、通信部153を介して、通信端子154から外部のストレージに送り、外部のストレージに記録するようにしてもよい。
ここで、本実施形態に係る静止画ファイル及びRAWファイルの構造について説明する。図5は、静止画ファイル500及びRAWファイル510の構成例を示す図である。
図5(a)に示す静止画ファイル500は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録される。静止画ファイル500は、ヘッダ部501、メタデータ部502、及び圧縮データ部503から構成されている。ヘッダ部501には、このファイルが静止画ファイル500の形式であることを示す識別コードなどが含まれている。圧縮データ部503には、高能率符号化された静止画の圧縮データが含まれている。
メタデータ部502には、この静止画ファイル500とともに生成されたRAWファイル510のファイル名の情報504が含まれる。また、この静止画ファイル500が簡易現像部111によって簡易現像されたことを示す現像ステータスの情報505が含まれる。さらに、メタデータ部502には、評価値算出部105で算出された評価値、認識部131で検知された被写体情報、及び撮像光学部101や撮像センサー部102の撮影時の情報を含む撮影メタデータ506が含まれる。撮影時の情報としては、例えば、レンズ種別識別情報、センサー種別識別情報などが含まれる。また、メタデータ部502に、ともに生成されたRAWファイル510が記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでもよい。
一方、図5(b)に示すRAWファイル510は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録されている。RAWファイル510は、ヘッダ部511、メタデータ部512、及び圧縮データ部513から成る。ヘッダ部511には、このファイルがRAWファイル510の形式であることを示す識別コードなどが含まれている。圧縮データ部513には、高能率符号化された静止画のRAW画像データが含まれている。なお、圧縮されていない静止画のRAW画像データが圧縮データ部513に含まれるようにしてもよい。
メタデータ部512には、このRAWファイル510とともに生成された静止画ファイル500のファイル名の情報514が含まれる。また、その静止画ファイル500が簡易現像部111によって簡易現像されたことを示す現像ステータスの情報515が含まれる。さらに、メタデータ部512には、評価値算出部105で算出された評価値、認識部131で検知された被写体情報、及び撮像光学部101や撮像センサー部102の撮影時の情報を含む撮影メタデータ516が含まれる。撮影時の情報としては、例えば、レンズ種別識別情報、センサー種別識別情報、連写やブラケット等の撮影タイプ情報、RAWファイル510が生成された時間情報などが含まれる。また、メタデータ部512に、ともに生成された静止画ファイル500が記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでもよい。或いはともに生成された静止画ファイル500そのものをメタデータ化して、メタデータ部512に格納してもよい。
上述した本実施形態に係る静止画の各種ファイルの構造は一例であり、DCFやEXIFなどの標準規格に準じた構成であってもよい。
以上のように本実施形態に係る撮像装置100は、簡易現像部111が、静止画撮影モードにおける撮影指示が行われるまでのライブビュー表示される画像や、撮影指示に応答して生成される静止画データの現像処理を行う。また、簡易現像部111は、現像後の画像サイズを200万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることにより、例えば200万画素の毎秒60コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。
一方、本実施形態に係る撮像装置100は、上述のように、静止画の撮影指示に応答して、RAWファイルを生成する。RAWファイルは、センサー信号処理部103から供給される画像データの画質を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でRAWファイルを記録することが可能である。
続いて、図4のS401で遷移するステップであるS413について、図6のフローチャートを用いて説明する。
図6は、本実施形態のアイドル状態における追いかけ現像処理手順の一例を示すフローチャートである。図6に示すフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図6において、S600においてアイドル状態の処理が開始されると、S601において、制御部161は、ユーザーが操作した設定により、追いかけ現像を行うか否かを判定する。この追いかけ現像の詳細については後述する。この判定の結果、追いかけ現像を行わない場合はS602に進み、追いかけ現像を行う場合はS613に遷移する。
次のS602〜S612においては、ユーザーからの現在のモード設定に従って、制御部161は、図3に示した静止画撮影モード301、静止画再生モード302、動画撮影モード303、動画再生モード304の何れのモードに遷移するかを判定する。
まず、S602において、制御部161は、撮影中フラグを1にセットし、再生中フラグを0にセットする。そして、S603において、静止画撮影モードに設定されているか否かを判定する。この判定の結果、静止画撮影モードに設定されている場合は、S609に進み、図4に示した静止画撮影モードに遷移する。一方、S603の判定の結果、静止画撮影モードに設定されていない場合は、S604において、動画撮影モードに設定されているか否かを判定する。この判定の結果、動画撮影モードに設定されている場合は、S610に進み、後述する動画撮影モードに遷移する。
一方、S604の判定の結果、動画撮影モードに設定されていない場合は、S605において、制御部161は、撮影中フラグを0にセットし、再生中フラグを1にセットする。そして、S606において、静止画再生モードに設定されているか否かを判定する。この判定の結果、静止画再生モードに設定されている場合は、S611に進み、後述する静止画再生モードに遷移する。一方、S606の判定の結果、静止画再生モードに設定されていない場合は、S607において、動画再生モードに設定されているか否かを判定する。この判定の結果、動画再生モードに設定されている場合は、S612に進み、後述する動画再生モードに遷移する。
一方、S607の判定の結果、動画再生モードに設定されていない場合は、S608において、制御部161は、撮影中フラグを0にセットし、再生中フラグを0にセットする。そして、S601に戻る。
ここで、追いかけ現像とは、撮影動作を終えた後、バッファ部115又は記録媒体152等に記録されたRAWファイルをソースとして、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理である。本実施形態に係る追いかけ現像の対象となるRAWファイルは、静止画及び動画の両方を対象とするが、以下では静止画を例に説明する。
上述したように、撮影時に生成される静止画ファイルは、簡易現像部111で現像されているため、画素数が200万画素以下であったり、現像処理を一部省いていたりしており、画質は限定的な品質である。撮影内容を大まかに確認する場合にはこの画質で十分といえるが、画像の細部を確認したり、プリントアウトしたりする用途の場合には、画質が十分ではない場合がある。
一方、静止画とともに生成するRAWファイルは、センサー信号処理部103から供給される画像データの画質を大きく損なわない高品質を有する。ところが、RAWファイルは現像処理前のデータであるため、表示やプリントアウトには即時対応できず、RAW現像を行うために多くの時間を要してしまう。また、RAWファイルはJPEGなどのように広く普及したファイルではないため、RAWファイルを扱える再生環境も限定されてしまう。
そこで本実施形態では、追いかけ現像により、既に記録されているRAWファイルを読み出して高画質現像部112によって高画質な現像処理を行い、生成した静止画ファイルを記録媒体152等へ記録する。本実施形態では、このような追いかけ現像を、撮影の合間や、再生モードやスリープ状態などユーザーの操作待ちの装置の処理負荷が比較的小さい状態において実行させる。追いかけ現像はユーザーからの直接の指示に応じて行う場合に限らず、制御部161が設定に従って自動的に実行させるようにすることができる。
このように構成することにより、その後に、画像の細部を確認する場合やプリントアウトしたい場合など、高画質な画像を出力したい場合においても、その都度余計な現像処理を行うことを不要にすることができる。また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。
記録媒体152等には、1回の撮影指示に対して、静止画ファイル及びRAWファイルが1組として記録されている。S601の判定の結果、ユーザーからの直接の指示により、もしくは設定された所定の条件を満たすことにより追いかけ現像を行う場合は、制御部161は、各ファイルの組について、追いかけ現像が処理済みか未処理かを判定する(S613)。
判定の方法としては、例えば静止画ファイル500のメタデータ部502に格納されている現像ステータスの情報505を参照する。そして、現像ステータスの情報505において、この静止画ファイルが簡易現像部111で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから追いかけ現像が処理済みか未処理かを判定する。RAWファイル510に関しても同様に判定することができる。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定してもよい。
S613の判定の結果、追いかけ現像が処理済みである場合はS602に遷移する。一方、追いかけ現像が未処理である場合は、S614に遷移する。ここで追いかけ現像が未処理である追いかけ現像対象となるRAW画像データが複数存在する場合は、撮影順に現像を行ってもよいが、本実施形態ではユーザーの指示と動作モードとに応じて追っかけ現像の順序を適宜変更する。これによりユーザーが必要とする高画質な画像を必要なタイミングで提供することが可能となる。
S614においては、現像画像選択部171は、撮影中フラグの値が1であるか否かを判定する。この判定の結果、撮影中フラグが1である場合は、S615において、現像画像選択部171は、撮影中に応じたRAW画像データを選択する。この処理の詳細については図7を参照しながら後述する。
一方、S614の判定の結果、撮影中フラグの値が1でない場合は、S616において、現像画像選択部171は、再生中フラグの値が1であるか否かを判定する。この判定の結果、再生中フラグが1である場合は、S617において、現像画像選択部171は、再生中に応じたRAW画像データを選択する。この処理の詳細については図8を参照しながら後述する。一方、S616の判定の結果、再生中フラグの値が1でない場合は、S618において、現像画像選択部171は、アイドル中に応じたRAW画像データを選択する。この処理の詳細については図9を参照しながら後述する。
図7は、現像画像選択部171により、撮影中に応じた追いかけ現像の対象となるRAW画像データを選択する処理手順の一例を示すフローチャートである。撮影中において追いかけ現像を行う画像データを選択する際には、単位時間当たりの追いかけ現像枚数を最大にすることを目的として処理を行う。
この処理では、追いかけ現像の対象となる画像データがバッファ部115に存在することを第1の優先パラメータとする。これにより、追いかけ現像処理を行う際に、記録媒体152等からの読み出し時間が不要となり、速やかに追いかけ現像処理を実施することができる。
次に、連写もしくはブラケット撮影を行った画像はそうでない画像に対して相対的にユーザーにとって重要であると判断できるため、この撮影によって生成された画像データか否かであることを第2の優先パラメータとする。これにより、ユーザーが撮影後に表示やプリントアウトの指示を行った際に即時対応が可能となる。連写もしくはブラケット撮影においては複数枚のRAW画像データが生成され、それらの画像群が追いかけ現像の対象となる。
ここで、これらのRAW画像データすべてに対して追いかけ現像処理を施してもよいが、本実施形態では画像群から代表画像となるRAW画像データを選択する。具体的には、例えば連写撮影における先頭画像、およびブラケット撮影における基準設定値による撮影画像を代表画像とする。また、所定枚数を超える連写撮影の場合は、先頭画像から所定枚数ごとの中間画像も代表画像としてもよい。
図7のS700において、処理が開始されると、S701において、現像画像選択部171は、追いかけ現像の対象となる候補のRAW画像データを抽出して状態をスキャンするとともに、内部処理に用いる優先度フラグを0に初期化する。次に、S702において、追いかけ現像の対象となる候補のRAW画像データがバッファ部115に存在するか否かを判定する。この判定の結果、バッファ部115に存在する場合は、S703において、該当するRAW画像データの優先度フラグに対して+10とする。一方、S702の判定の結果、バッファ部115に存在しない場合は、S704に進む。
続いてS704において、追いかけ現像の対象となるRAWファイルのメタデータ部を確認し、撮影タイプ情報が連写もしくはブラケットとなっているものが存在するか否かを判定する。この判定の結果、連写もしくはブラケット撮影であるものが存在する場合は、S705において、該当するRAW画像データの優先度フラグに対して+01とする。一方、S704の判定の結果、連写もしくはブラケット撮影でない場合は、S706に進む。
続いてS706において、優先度フラグが11(S702/YESかつS704/YES)のものが存在するか否かを判定する。この判定の結果、優先度フラグが11であるものが存在する場合は、S707において、その中からバッファ部115に存在し、連写もしくはブラケット撮影であって、かつ撮影時間が最も新しい画像群から前述した代表画像であるRAW画像データを選択する。一方、S706の判定の結果、優先度フラグが11であるものが存在しない場合は、S708に進む。
次に、S708において、優先度フラグが10(S702/YESかつS704/NO)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが10であるものが存在する場合は、S709において、その中からバッファ部115に存在し、かつ撮影時間が最も新しいRAW画像データを選択する。一方、S708の判定の結果、優先度フラグが10であるものが存在しない場合は、S710に進む。
次に、S710において、優先度フラグが01(S702/NOかつS704/YES)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが01であるものが存在する場合は、S711において、その中から連写もしくはブラケット撮影であって、かつ撮影時間が最も新しいRAW画像データを選択する。一方、S710の判定の結果、優先度フラグが01であるものが存在しない場合は、優先度フラグが00であることから、S712において、撮影時間が最も新しいRAW画像データを選択する。
図8は、現像画像選択部171により、再生中に応じた追いかけ現像の対象となるRAW画像データを選択する処理手順の一例を示すフローチャートである。再生中において追いかけ現像の対象となる画像データを選択する際には、ユーザーの操作によって再生対象の画像データが指定された場合に、高画質な表示画像をタイムリーに提供することを目的として処理を行う。
この処理では、ユーザーの操作によって再生が指定された画像データ(以下、再生指定画像)から再生方向に対して撮影時間が連続した所定枚数の画像データが存在することを第1の優先パラメータとする。ここで再生方向とは、再生指定画像に対してユーザーの操作により次に再生を指定すると推測される時間方向である。本実施形態では、再生中にユーザーの画像送り操作に伴い、再生指定画像から時間を遡るのか、先に進めるのかを判断する。
ここで、ユーザーにより再生が指定されていない場合は、撮影時間が最新の画像データを再生指定画像とし、再生方向についてもユーザーにより指定がない場合には撮影時間を遡る方向とする。なお、第1の優先パラメータとして、再生指定画像に対して所定枚数ではなく、所定時間内に撮影された未現像の画像データが存在することとしてもよい。また、所定枚数及び所定時間はユーザーが設定可能としてもよいし、高画質現像部112の性能や撮像装置100の状況に応じて制御部161が自動で設定するようにしてもよい。これにより、ユーザーが画像送り操作を行って再生指定画像を変更した際にも、高画質な表示画像をタイムリーに提供することが可能となる。
また、ユーザーが表示画像を確認し、プリントアウトしたりSNSへ投稿したりすることを目的として外部へ転送することを指示するケースがある。そこで、このように表示以外の特別処理が指示されている画像データが存在することを第2の優先パラメータとする。これにより、ユーザーの再生確認作業を妨げることなく、特別処理を実行することが可能となる。
まず、図8のS800において処理が開始されると、S801において、現像画像選択部171は、追いかけ現像対象の候補のRAW画像データを抽出して状態をスキャンするとともに、内部処理に用いる優先度フラグを0に初期化する。次に、S802において、ユーザーの操作により、新たな画像データが再生に指定されたか否かを判定する。この判定の結果、新たな画像データが再生に指定されていない場合はS805に進み、新たな画像データが再生に指定された場合はS803に進む。S803において、ユーザーの操作により再生方向に変更があったか否かを判定する。この判定の結果、再生方向に変更があった場合は、S804において再生方向フラグを反転する。一方、再生方向に変更がない場合はS805に進む。
次に、S805においては、再生指定画像から再生方向に対して撮影時間が連続した所定枚数の範囲に追いかけ現像の対象となるRAW画像データが存在するか否かを判定する。この判定の結果、撮影時間が連続した所定枚数の範囲に存在する場合は、S806において、該当するRAW画像データの優先度フラグに対して+10とする。一方、S805の判定の結果、撮影時間が連続した所定枚数の範囲に存在しない場合は、S807に進む。
続いてS807において、追いかけ現像の対象に、プリントアウトや外部への転送等の特別処理が指示された画像データが存在するか否かを判定する。この判定の結果、特別処理が指示された画像データが存在する場合は、S808において、該当するRAW画像データの優先度フラグに対して+01とする。一方、S807の判定の結果、特別処理が指示された画像データが存在しない場合は、S809に進む。
次に、S809において、優先度フラグが11(S805/YESかつS807/YES)もしくは10(S805/YESかつS807/NO)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが11もしくは10であるものが存在する場合は、S810において、その中から、再生指定画像から再生方向に対して最も撮影時間の近いRAW画像データを選択する。一方、S809の判定の結果、優先度フラグが11、10のどちらも存在しない場合は、S811に進む。
次に、S811において、優先度フラグが01(S805/NOかつS807/YES)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが01である場合は、S812において、その中から特別処理が指示され、かつ特別処理を指示された時間が最も古いRAW画像データを選択する。一方、S811の判定の結果、優先度フラグが01であるものが存在しない場合は、すべての候補の優先度フラグが00であるため、S813において、撮影時間が最も新しいRAW画像データを選択する。
図9は、現像画像選択部171により、アイドル中に応じた追いかけ現像の対象となるRAW画像データを選択する処理手順の一例を示すフローチャートである。アイドル中において追いかけ現像の対象となる画像データを選択する際には、プリントアウトや外部転送等の特別処理を実施することを目的として処理を行う。
この処理では、特別処理を指示されている画像データが存在することを第1の優先パラメータとする。そして、対象となる画像データがバッファ部115に存在することを第2の優先パラメータとする。これにより、ユーザーから指示された処理を効率良く実施することが可能となる。
図9のS900において、処理が開始されると、S901において、現像画像選択部171は、追いかけ現像の対象となる候補のRAW画像データを抽出して状態をスキャンするとともに、内部処理に用いる優先度フラグを0に初期化する。次にS902において、プリントアウトや外部転送等の特別処理が指示されたRAW画像データが存在するか否かを判定する。この判定の結果、特別処理が指示されたRAW画像データが存在する場合は、S903において、該当するRAW画像データの優先度フラグに対して+10とする。一方、S902の判定の結果、特別処理が指示された画像データが存在しない場合は、S904に進む。
続いてS904において、追いかけ現像の対象となる候補のRAW画像データがバッファ部115に存在するか否かを判定する。この判定の結果、バッファ部115に存在する場合は、S905において、該当するRAW画像データの優先度フラグに対して+01とする。一方、S904の判定の結果、バッファ部115に存在しない場合は、S906に進む。
次に、S906において、優先度フラグが11(S902/YESかつS904/YES)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが11であるものが存在しない場合は、S907において、その中からバッファ部115に存在し、かつ特別処理が指示されてあってその指示された時間が最も古いRAW画像データを選択する。一方、S906の判定の結果、優先度フラグが11であるものが存在しない場合は、S908に進む。
次に、S908において、優先度フラグが10(S902/YESかつS904/NO)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが10であるものが存在する場合は、S909において、その中から特別処理が指示されており、かつその指示された時間が最も古いRAW画像データを選択する。一方、S908の判定の結果、優先度フラグが10であるものが存在しない場合は、S910に進む。
次に、S910において、優先度フラグが01(S902/NOかつS904/YES)であるものが存在するか否かを判定する。この判定の結果、優先度フラグが01である場合は、S911において、その中からバッファ部115に存在し、かつ撮影時間が最も古いRAW画像データを選択する。一方、S910の判定の結果、優先度フラグが01であるものが存在しない場合は、すべての候補の優先度フラグが00であるため、S912において、撮影時間が最も古いRAW画像データを選択する。
以上の図7〜図9の何れかの手順により、追いかけ現像の対象となるRAW画像データが選択される。そして、前述の何れかの手順により追いかけ現像の対象となるRAW画像データが選択されると、S619に遷移する。
図6の説明に戻り、次に、S619において、制御部161は、選択されたRAW画像データ(RAWファイル)がバッファ部115に存在するか否かを判定する。この判定の結果、バッファ部115に存在する場合はS621に進み、バッファ部115に存在しない場合は、S620において、記録再生部151により対応するRAWファイルを記録媒体152から読み出す。
ここで、バッファ部115においては、静止画撮影モードで撮影された新しい画像データから優先的に保持されるように、画像データが更新される。すなわち、過去に撮影された画像データから順にバッファ部115から消去される。こうすることにより、直前に撮影された画像データは常にバッファ部115に保持されているので、S620の処理を省略して高速に処理できる。さらに、直前に撮影された画像データから時刻を遡って、追いかけ現像を実行するようにすれば、バッファ部115に保持されている画像データから優先的に処理が完了できるため、処理をより効率良くすることができる。
続いてS621において、RAW伸張部114は、バッファ部115又は記録媒体152から読み出したRAWファイルを伸張処理し、RAW画像データを復元する。そして、S622において、高画質現像部112は、復元されたRAW画像データを高画質に現像処理し、スイッチ部121を経由して静止画圧縮部141に出力する。
高画質現像部112による現像処理では、RAW画像データをデベイヤー処理(デモザイク処理)し、輝度と色差とからなる信号へ変換して、各信号に含まれるノイズを除去するとともに、光学的な歪を補正し、画像を適正化するなどの処理を行う。高画質現像部112によって現像処理された画像データのサイズ(画素数)は、撮像センサー部102から読み出された全体サイズのまま、或いは予め設定されたサイズとなる。したがって、200万画素以下に制限された簡易現像処理された画像データよりも格段に高品質となる。
高画質現像部112は、簡易現像部111よりも各々の処理が高精度であるため、より高画質な画像データが得られるが、その分処理負荷が大きくなってしまう。ところが、本実施形態の高画質現像部112は、撮影と並行してリアルタイムに現像処理を行うことを避け、時間をかけて現像処理することを可能としたので、回路規模や消費電力の増大を抑える構成となっている。
次に、S623において、静止画圧縮部141は、高画質現像部112で現像処理された画像データに対して高能率符号化処理(静止画圧縮)を施し、高画質の静止画ファイルを生成する。なお、静止画圧縮部141は、JPEGなどの公知の技術により圧縮処理を行う。そして、S624において、記録再生部151は、高画質の静止画ファイルを記録媒体152等に記録し、S602に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画データがある場合に、その画像毎に同様の処理を繰り返して実行することが可能である。
S624で記録される静止画ファイルは、図5(a)に示す静止画ファイル500と同様の構成であり、ヘッダ部501、メタデータ部502、及び圧縮データ部503から構成されている。なお、メタデータ部502には、この静止画ファイル500の元となったRAWファイルのファイル名の情報504が含まれる。また、この静止画ファイル500が高画質現像部112によって高画質現像されたことを示す現像ステータスの情報505が含まれる。さらに、前述した撮影メタデータ506が含まれる。
また、記録再生部151は、S624において高画質の静止画ファイルを記録する際に、簡易現像の静止画ファイルと同じファイル名を与え、この静止画ファイルを上書きするように記録する。すなわち、簡易現像による静止画ファイルは削除される。そして、記録再生部151は、追いかけ現像の元となったRAWファイルにおけるメタデータ部512内の現像ステータスの情報515を、高画質現像済(又は追いかけ現像済)を示す情報に更新する。
次に、撮像装置100の静止画再生モードにおける動作について説明する。
図10は、本実施形態の静止画再生モードにおける処理手順の一例を示すフローチャートである。図10に示すフローチャートは、制御部161によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図10のS1000において静止画再生モードの処理が開始されると、S1001において、制御部161は、撮像装置100の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。静止画撮影モードと同様に、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し(S1011)、そうでない場合はS1002へ進む。なお、アイドル状態へ遷移した場合の処理については図6と同様であるため、説明は省略する。
例えば、再生指示などのユーザーによる操作を待っている間は処理負荷が低いため、高い頻度でS1011へ遷移する。一方、例えばユーザーの操作に応じて静止画データの再生が開始されている(再生中の状態を含む)場合は、処理負荷が高いため、S1002へ進む。
次のS1002においては、制御部161は、再生される静止画データについて、拡大表示を行うか否かを判定する。この判定の結果、拡大表示を行う場合はS1003に進み、拡大表示を行わない場合はS1009に進む。ここで、拡大表示する場合とは、ユーザーの操作により拡大表示の指示を受けている場合や、後述するように通常表示を行うと画質が劣化してしまうような場合などがある。
図11は、拡大表示を含む表示形態の種類を説明するための図であり、本実施形態の静止画再生モードにおける表示例を示している。
図11(a)には、縮小した6つの画像1101が表示部123に表示されている画面1100の一例を示している。図11(b)には、ある1つの画像1111の全体が表示部123に表示されている画面1110の一例を示しており、この表示の状態を通常表示とする。また、図11(c)には、ある1つの画像の一部領域を拡大した画像1121が表示部123に拡大表示されている画面1120の一例を示している。例えば、撮影直後にフォーカスの適否の確認を行うような場合は、図11(c)に示すように、被写体像の細部を拡大表示することが一般に行われる。
ここで、図11(a)に示す画面1100のように縮小表示する場合は、S1002からS1009へ遷移する。また、図11(b)に示す画面1110のように通常表示する場合は、以下のように処理を行う。表示部123の表示画素数が簡易現像による静止画ファイルの画素数(例えば200万画素)以下である場合は、等倍もしくは縮小で表示するため、S1002からS1009へ遷移する。
S1009においては、記録再生部151は、記録媒体152等から再生対象の静止画ファイルを読み出す。そして、S1010において、静止画伸張部143は、静止画ファイルを復号して伸張し、後述するS1008において、表示処理部122が図11に示すような表示形態で静止画を表示部123に表示する。
表示される画像が、簡易現像による静止画ファイルの画素数以下である場合は、静止画ファイルが簡易現像部111で現像処理されたものであっても、十分な画質で表示できる。一方、拡大表示する場合とは、表示される画像が、簡易現像による静止画ファイルの画素数を超えるような場合に起こり得る。すなわち、簡易現像による静止画を表示すると解像感の低下を招いてしまう。
よって、S1002の判定の結果、拡大表示を行う場合は、S1003において、制御部161は、表示されるべき画像の静止画ファイルが、高画質現像部112で現像されたものであるか否かを判定する。判定方法としては、図5に示すような静止画ファイル500のメタデータ部502に格納されている現像ステータスの情報505を参照する。なお、RAWファイル510の中の現像ステータスの情報515を参照し、同様に判定してもよい。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルを別途用意しておき、このテーブルを参照して判定してもよい。
S1003の判定の結果、高画質現像された静止画ファイルである場合は、拡大表示しても十分な画質で表示することができるため、S1009に進む。一方、S1003の判定の結果、高画質現像された静止画ファイルでない場合は、簡易現像部111で現像処理された静止画ファイルである。そこで、S1004以降の処理において、表示されるべき画像に対応するRAWファイルに対して、前述した追いかけ現像と同様の高画質現像を実行する。
S1004〜S1007の処理は、それぞれ図6のS619〜S622の処理と同様であるため、説明は省略する。S622において高画質の現像処理が行われると、処理された静止画データがスイッチ部121を経由して表示処理部122に出力される。そして、S1008において、表示処理部122は、図11(c)に示すような表示態様により画像を表示部123に表示する。なお、S1008で表示が停止されると、S1001に戻る。
ここで、図10のS1004以降に行われる高画質現像は、撮影直後等など、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影の合間など処理負荷が比較的小さい状態のときに静止画データの追いかけ現像が行われる。したがって、時間の経過とともに図6に示した処理が繰り返されることにより、簡易現像による静止画ファイルの多くが高画質現像による静止画ファイルに置き換わる。このような静止画ファイルの置き換えが進むに従って、S1004以降の処理を行うケースが減少し、拡大表示に対して速やかに高画質の画像を出力できるようになり、操作性が一層高まっていく。
また、前述したように、バッファ部115にRAWファイルが保持されている場合には、S1005をスキップできるため、素早く画像を表示することができる。そこで、バッファ部115になるべくRAWファイルが保持された状態になるように、図11(a)または図11(b)に示すような表示を行う場合に、拡大表示に備えた処理を行ってもよい。具体的には、図11(a)または図11(b)に示すような表示態様で表示されている画像に対応するRAWファイルを予め記録媒体152から読み出してバッファ部115へ予め保持させてもよい。このように拡大表示が指示される前に、記録再生部151が記録媒体152等から該当するRAWファイルを読み出してバッファリングすることにより、拡大表示の指示がなされたときに、より素早く表示することができる。
次に、撮像装置100の動画撮影モードにおける動作について説明する。
図12は、本実施形態の動画撮影モードにおける処理手順の一例を示すフローチャートである。図12に示すフローチャートは、制御部161によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図12のS1200において、動画撮影モードの処理が開始されると、S1201において、制御部161は、撮像装置100の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。静止画撮影モードと同様に、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し(S1213)、そうでない場合はS1202へ進む。なお、アイドル状態へ遷移した場合の処理については、対象となるRAWファイルが動画であるが、基本的な処理手順は図6と同様であるため、説明は省略する。
例えば、水平解像度が4000画素相当(4K)のように画素数の多い動画や、毎秒120コマ(120P)のようにフレームレートの高い動画の撮影が設定されている場合は処理負荷が高いため、S1213へは遷移せず、常にS1202へ進む。一方、画素数が所定値より少ない動画の撮影や、フレームレートが所定の速度より低い動画の撮影が設定されている場合は、動画の第1のフレームの処理と第2のフレームの処理との合間に、例えば半分の頻度でS1213へ遷移する。
次に、S1202〜S1207の処理については、それぞれ図4のS402〜S407の処理と同様であるため、説明は省略する。簡易現像処理は、動画の各フレームを構成するRAW画像データに対して行われる。以上のような手順により、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための画像が表示される。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前(スタンバイ中)だけでなく、動画の記録中(REC中)においても、被写体を適切にフレーミングするためにライブビュー表示される。
次に、S1208において、制御部161は、ユーザーの操作により動画の記録開始指示を受け、撮影された動画を記録中(REC中)であるか否かを判定する。この判定の結果、動画の記録中である場合はS1210へ進む。一方、S1208の判定の結果、動画の記録中でない場合(すなわちスタンバイ中)は、S1201へ戻り、動画の記録開始前の撮影動作とライブビュー表示とを繰り返す。
次に、S1209において、動画圧縮部142は、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画をフレーム単位で圧縮する。なお、図1には構成が省略されているが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声データが取得されている。動画圧縮部142は、動画に対応する音声データに対しても圧縮処理を施す。動画圧縮部142は、取得した簡易現像がなされた動画データ及び音声データに対して高能率符号化処理(動画圧縮)を施し、動画ファイルを生成する。なお、動画圧縮部142は、MPEG−2、H.264、H.265などの公知の動画圧縮技術を用いて圧縮処理を行う。そして、S1210において、記録再生部151は、動画ファイルを記録媒体152に記録する。
さらに、S1211において、RAW圧縮部113は、記録対象となった動画に対応する期間のRAW画像データをセンサー信号処理部103から取得する。そして、S1212において、RAW圧縮部113は、記録対象となった動画と同じシーンを示すRAW画像データを高能率符号化(RAW圧縮)してRAWファイルに変換する。そして、RAWファイルをバッファ部115に格納する。RAWファイルに関しては、前述した通りのものである。さらに、記録再生部151は、RAWファイルを記録媒体152に記録した後、S1201に遷移する。
ここで、本実施形態に係る動画ファイルの構造と、その動画ファイルに対応するRAWファイルの構造とについて説明する。図13は、動画ファイル及びRAWファイルの構成例を示す図である。
図13(a)に示す動画ファイル1300は、図5(a)に示した静止画ファイル500と同様に、ヘッダ部1301、メタデータ部1302、及び圧縮データ部1303から構成されている。ヘッダ部1301には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部1303には、高能率符号化された動画データと圧縮された音声データとが含まれている。メタデータ部1302には、図5(a)に示した静止画ファイル500のメタデータ部502と同様に、RAWファイルのファイル名の情報1304、現像ステータスの情報1305及び撮影メタデータ1306が含まれる。
図13(b)に示す動画ファイルに対応するRAWファイル1310は、図5(b)に示すRAWファイルと同様に、ヘッダ部1311、メタデータ部1312、及び圧縮データ部1313から構成されている。ヘッダ部1311には、このファイルがRAWファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部1313には、高能率符号化された動画のRAW圧縮データが含まれている。なお、圧縮されていない動画のRAW画像データが圧縮データ部1313に含まれるようにしてもよい。
メタデータ部1312には、図5(b)に示したRAWファイル510のメタデータ部512と同様に、動画ファイル1300のファイル名の情報1314、現像ステータスの情報1315及び撮影メタデータ1316が含まれる。なお、ともに生成された動画ファイルそのもの全部、または先頭フレームなどの一部を抽出してメタデータ化して、メタデータ部1312に格納するようにしてもよい。また、本実施形態に係る動画の各種ファイルの構造は一例であり、DCF、AVCHD、MXFなどの標準規格に準じた構成であってもよい。
本実施形態に係る撮像装置100は、静止画撮影モードの場合と同様に、例えばHDサイズの動画の簡易現像処理を、小さい回路規模で少ない消費電力で実現することができる。また、小規模な回路によって少ない消費電力でRAWファイルを記録することが可能である。
次に、撮像装置100の動画再生モードにおける動作について説明する。
図14は、本実施形態の動画再生モードにおける処理手順の一例を示すフローチャートである。図10に示すフローチャートは、制御部161によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図14のS1400において、動画再生モードの処理が開始されると、S1401において、制御部161は、撮像装置100の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。静止画撮影モードと同様に、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し(S1414)、そうでない場合はS1402へ進む。なお、アイドル状態へ遷移した場合の処理については、対象となるRAWファイルが動画であるが、基本的な処理手順は図6と同様であるため、説明は省略する。
例えば、再生指示などのユーザーのよる操作を待っている間は、処理負荷が低いため、高い頻度でS1412へ遷移する。一方、例えばユーザーの操作に応じて動画データの再生が開始されている(再生中の状態を含む)場合は、処理負荷が高いため、S1402へ進む。
次に、S1402において、制御部161は、再生される動画データについて、ユーザーの操作により再生の一時停止(ポーズ)の指示を受けているか否かを判定する。この判定の結果、一時停止の指示を受けていない場合は動画データの再生を継続するため、S1403に進む。
次にS1403において、記録再生部151は、記録媒体152等から再生対象の動画ファイルを読み出す。そして、S1404において、動画伸張部144は、動画ファイルを1フレームずつ復号して伸張する。そして、S1405において、表示処理部122は、再生された動画データの表示画像を表示部123に表示する。
一方、S1402の判定の結果、一時停止の指示を受けている場合は、一時停止されたときの停止位置のフレームを静止画として表示させるために、S1406へ遷移する。ここで、一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には、再生中のときよりも拡大表示の指示を受けやすいと考えられる。そこで本実施形態では、一時停止中は簡易現像されている動画ファイルよりも高画質な画像を表示させる。
まず、S1406において、制御部161は、一時停止するシーンについて、図6に示した追いかけ現像等が行われて高画質現像を行った動画ファイルが記録媒体152等に既に記録されているか否かを判定する。この判定の結果、既に高画質の動画ファイルが記録されている場合は、S1407において、記録再生部151は、記録再生部151は、記録媒体152等から再生対象の高画質の動画ファイルを読み出す。そして、そのフレームを表示することとなる。
一方、S1406の判定の結果、高画質の動画ファイルが存在しない場合は、S1408において、記録再生部151は、再生中の動画ファイルに対応するRAWファイルを読み出す。このとき、再生対象となるRAWファイルがバッファ部115に保持されている場合はバッファ部115からRAWファイルを読み出し、そうでない場合は記録媒体152等からRAWファイルを読み出す。
次にS1409において、RAW伸張部114は、バッファ部115又は記録媒体152等から読み出したRAWファイルを復号して伸張し、RAW画像データを復元する。そして、S1410において、高画質現像部112は、復元されたRAW画像データの一時停止中のフレームを高画質に現像処理する。
本実施形態に係る撮像装置100は、このように動画のRAWファイルから一時停止表示中のフレームに対応する高画質静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。次のS1411において、制御部161は、ユーザーの操作により、停止位置の表示画像を静止画としてキャプチャする指示を受けつけたか否かを判定する。この判定の結果、キャプチャする指示を受けつけていない場合は、S1405において、表示処理部122は、高画質に現像された一時停止中の静止画を表示部123へ表示する。この処理によって、動画ファイルによる一時停止表示中の画像は、高画質に現像された静止画に置き換わる。
一方、S1411の判定の結果、キャプチャの指示を受けつけている場合は、S1412に進む。そして、S1412において、静止画圧縮部141は、S1410で高画質現像部112によって現像処理された画像データを取得する。そして、キャプチャによって取得した画像データに対して高能率符号化処理(静止画圧縮)を施して高画質の静止画ファイルを生成する。なお、静止画圧縮部141は、JPEGなどの公知の技術により圧縮処理を行う。
次に、S1413において、記録再生部151は、S1412で得られた高画質の静止画ファイルを記録媒体152等に記録する。そして、S1405に遷移し、前述したように表示処理部122は、高画質に現像された一時停止中の静止画を表示部123へ表示する。
ここで、S1412で静止画圧縮部141によって生成される高画質の静止画ファイルは、図5(a)に示す静止画ファイル500と同様の構成からなる。但し、メタデータ部502には、RAWファイルのファイル名の情報504として、キャプチャの元となった動画のRAWファイルのファイル名が格納される。また、撮影メタデータ506として、さらに静止画としてキャプチャされたフレームの時刻情報が格納され、動画のRAWファイルの対応するフレーム位置を指し示すことができる。
また、動画のRAWファイルの対応するフレームを静止画として抽出し、対となる新たなRAWファイル510をこのとき作成してもよい。静止画のRAWファイルを生成する手順に関しては、前述した静止画撮影モードのS409〜S412と同様の処理手順により、静止画ファイルとRAWファイルとを生成する。
なお、S1405の表示は1フレーム毎に行われ、動画再生中は、次のフレームの表示を行うためにS1401に戻る。このように本実施形態の撮像装置100は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画ファイルを再生することができ、一時停止状態では、RAWファイルから高画質に現像した静止画を差し替えて表示することができる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることもできる。
また、図14のS1408以降に行われる高画質の現像処理は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに動画の追いかけ現像が徐々に終了し、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。そうして置き換えが進むに従って、S1406以降の高画質現像は発生するケースが減少し、S1407に進んで常時速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。
このように本実施形態の撮像装置100は、撮影の合間や、再生モード、スリープ状態など、ユーザーによる操作待ちの比較的処理負荷が小さい状態のときに、追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、RAWファイルを用いた高画質現像による静止画ファイルに置き換える。また、撮影時の簡易現像による動画ファイルの場合も、RAWファイルを用いた高画質現像による動画ファイルに置き換える。これにより、画像の細部を確認する場合やプリントアウトする場合など、高画質な画像が要求されている場合であっても、その都度余計な現像処理を不要にすることができる。また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。
以上が本実施形態の説明であるが、本発明は、技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。