JP6406949B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、動画又は静止画のＲＡＷ画像を扱う技術に関する。

従来の撮像装置は、撮影動作時に、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの現像処理を行う。そして、撮像装置では、現像処理された輝度信号及び色差信号を圧縮符号化してから記録媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。

ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

近年の撮像装置においては、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加してきている。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対するデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理を成すそれぞれの処理量が相乗的に増えているので、撮影と並行したリアルタイムの現像処理を行うために撮像装置には膨大な回路や消費電力が費やされている。それでも、場合によっては、現像処理による回路の占有や消費電力上の制限などのために、撮像装置が高い撮影パフォーマンスを行使できないことも起こり得る。

一方、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるかもしれないが、画像が現像されていない状態で記録されるために、その画像を速やかに再生表示することが困難である。さらに、ＲＡＷ画像特有のデータの特殊性やメーカー毎の独自性などによって、他の機器ではＲＡＷ画像が再生（現像）できなかったりするので、従来のＲＡＷ画像の記録方式では、ユーザーの利便性を損なうことがあった。

このように撮像装置が高い撮影パフォーマンスを行使し、なおかつ再生画像も高速に出画可能にするには、高コストの回路を搭載して高出力で駆動できるようにするか、ＲＡＷ画像を記録して高速かつ簡便に再生できるようにしなければならない課題があった。とりわけコストの増大はユーザーメリットを低下させる要因となるので、撮像装置がＲＡＷ画像を取り扱いやすい状態で記録できるようにすることが重要となる。

そこで、本発明の目的は、ＲＡＷ画像を記録及び再生する構成において、ＲＡＷ画像の再生のための編集を効率的に行うことを可能にする画像処理装置及び画像処理方法を提供することにある。

上記目的を達成するために、本発明の画像処理装置は、被写体像を撮像してＲＡＷ画像を生成する撮像手段と、前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小手段と、前記ＲＡＷ画像及び前記縮小ＲＡＷ画像をそれぞれ圧縮する圧縮手段と、前記圧縮手段によって圧縮された前記ＲＡＷ画像及び前記縮小ＲＡＷ画像をそれぞれ記録媒体に記録する記録手段と、外部装置と通信する通信手段と、前記記録媒体に記録された前記縮小ＲＡＷ画像を、前記通信手段を介して前記外部装置に送信して、当該外部装置に前記縮小ＲＡＷ画像の編集処理を行わせる制御手段とを備え、前記制御手段は、前記外部装置から前記編集処理の内容を示す編集情報を取得することに応じて、前記編集処理が施された前記縮小ＲＡＷ画像に対応する前記ＲＡＷ画像の編集を、前記編集情報を参照して実行することを特徴とする。

本発明によれば、ＲＡＷ画像の編集が効率的に行えるので、従来よりも利便性が向上したＲＡＷ画像の処理装置や処理方法を提供することができる。

本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 本実施形態に係る状態（モード）遷移図である。 本実施形態の撮影処理に係るフローチャートである。 本実施形態において記録される各ファイルの構成例を示す図である。 本実施形態の現像処理に係るフローチャートである。 本実施形態の再生処理に係るフローチャートである。 本実施形態の表示処理の例を示す図である。 編集装置（外部装置）の構成例を示すブロック図である。 本実施形態の編集処理及び編集実行に係るフローチャートである。 本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 ＲＡＷ画像の画素配列の説明図である。

（第１の実施形態）
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。図１では、本実施形態に係る画像処理装置として、撮像装置１００を例に示す。撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信して編集したりする機能を有する。従って、本実施形態に係る画像処理装置は、撮像装置と表現できるだけでなく、記録装置、再生装置、記録再生装置、通信装置、又は編集装置、或いは画像処理システム又は編集システム等とも表現することができる。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納する不図示のメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって各部が制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

本実施形態において、撮影又は撮影動作とは、被写体像を撮像し、撮像によって得られた画像を表示部１２３に表示する動作、又は、さらにその画像をファイルとして所定の記録媒体に記録するまでの動作を意味する。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、レンズ群から成る光学部１０１を介して入力され、撮像センサー部１０２上に結像される。撮影時、光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５によって取得される絞り、フォーカス、手ぶれ等の評価値算出結果や認識部１３１によって抽出される顔認識結果等の被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のモザイクカラーフィルターを透過した光を電気信号に変換する。撮像センサーの解像度としては、例えば４Ｋ（８００万画素以上）又は８Ｋ（３３００万画素以上）に対応する。図１１は、撮像センサー部１０２に配置されるカラーフィルターの一例を示す図であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。撮像センサー部１０２によって変換された電気信号は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分を含む。なお、緑（Ｇ）は、位置毎に異なる２種類の緑（Ｇ０、Ｇ１）の成分として扱うこともできる。このような画素の配置は、一般にベイヤ―配列と呼ばれる。

撮像センサー部１０２によって変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。

本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像情報（以降、ＲＡＷ画像）と称す。ＲＡＷ画像は、効率的に記録するためにＲＡＷ圧縮部１１３に供給されて圧縮を施される。また、ＲＡＷ画像は表示や再生を効率的に行う目的からＲＡＷ縮小部１０９によってそのサイズが縮小される。ＲＡＷ縮小部１０９は、入力されたＲＡＷ画像を例えばＨＤサイズ（２００画素相当）にリサイズする。以降、ＲＡＷ縮小部１０９によって縮小されたＲＡＷ画像を縮小ＲＡＷ画像と称す。

縮小ＲＡＷ画像は、現像部１１０内のライブビュー現像部１１１へ供給され、撮影時の表示（ライブビュー）に用いるために現像処理が施される。また、縮小ＲＡＷ画像は、簡易再生或いは編集時のプロキシに用いるためにＲＡＷ圧縮部１１３にも供給される。縮小ＲＡＷ画像は、ＲＡＷ画像同様に、効率的に記録するためにＲＡＷ圧縮部１１３によって圧縮を施されてから記録される。さらに、縮小ＲＡＷ画像は、評価値算出部１０５にも供給される。

ここで現像部１１０について詳細に説明する。現像部１１０は、撮影時にライブビュー用の現像を行うライブビュー現像部１１１（第１の現像部）と、非撮影時に高画質な現像を行う高画質現像部１１２（第２の現像部）とを有し、それらの出力を選択するスイッチ部１２１を含んで構成される。ライブビュー現像部１１１は、縮小ＲＡＷ画像を撮影と並行してリアルタイムに現像する能力を備え、高画質現像部１１２は、縮小ＲＡＷ画像よりも大きい縮小前のＲＡＷ画像を非リアルタイムに高精細に現像する能力を備える。本実施形態では、ライブビュー現像を簡易現像または表示用現像と表現し、高画質現像を要求に応じたタイミングで実行される本現像又は再生用現像と表現することもできる。

高画質現像部１１２は、ＲＡＷ画像又は縮小ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。また、ライブビュー現像部１１１は、縮小ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。

高画質現像部１１２は、ライブビュー現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、ライブビュー現像部１１１よりも高画質な現像済画像が得られるが、一方で処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、再生時に現像処理を行ったり、撮影後のアイドル期間に現像処理を行ったりすることが可能な構成になっている。このように高画質現像を撮影時ではなく、撮影後又は再生時に行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、ライブビュー現像部１１１は、高画質現像部１１２よりも画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。ライブビュー現像部１１１の処理負荷は小さいので、動画や静止画のライブビュー撮影時に、撮影動作と並行してフレーム毎のリアルタイム現像が行える。

スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。また、スイッチ部１２１の切換に連動して、ライブビュー現像部１１１と高画質現像部１１２のうち、信号出力の対象となる一方だけが現像動作を行うようにし、他方に係る動作を停止する構成しても良い。なお、本実施形態では、現像部１１０の中にライブビュー現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、ライブビュー現像と高画質現像の処理を選択的に行っても良い。

現像部１１０によって現像処理された画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された外部表示機器に出力することもできる。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

撮影時、現像部１１０によってライブビュー現像された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、縮小ＲＡＷ画像又は現像処理された画像情報からフォーカス状態や露出状態などの評価値を算出する。算出された評価値は、カメラ制御部１０４へ出力される。評価結果を示す表示用情報は表示処理部１２２に出力される。また、ライブビュー現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報をカメラ制御部１０４へ出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。検出や認識結果を示す表示用情報は表示処理部１２２に出力される。

現像部１１０によって高画質現像された画像情報は、静止画圧縮部１４１又は動画圧縮部１４２に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、高画質現像済ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮はＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの標準符号化技術を用いることができる。

ＲＡＷ圧縮部１１３は、センサー信号処理部１０３からのＲＡＷ画像のデータと、ＲＡＷ縮小部１０９からの縮小ＲＡＷ画像のデータを、それぞれウエーブレット変換、量子化、エントロピー符号化（差分符号化等）などの技術を用いて高能率符号化する。ＲＡＷ圧縮部１１３によって、高能率符号化により圧縮された状態のＲＡＷ画像のファイル（ＲＡＷファイル）と縮小ＲＡＷ画像のファイル（縮小ＲＡＷファイル）とが生成される。ＲＡＷファイルと縮小ＲＡＷファイルは、まずバッファ部１１５（記憶媒体）に格納される。ＲＡＷファイルと縮小ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、後述するように別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。

ＲＡＷファイルと縮小ＲＡＷファイル、並びに、上述の高画質現像済ファイル（静止画ファイルや動画ファイル）は、記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、例えば内蔵式の大容量半導体メモリやハードディスク、或いは、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から各種ファイルをユーザーの操作に応じて読み出すこともできる。

また、記録再生部１５１は、通信部１５３を介してネットワーク接続される外部のストレージやサーバ、或いは、携帯情報端末やパーソナルコンピュータ（ＰＣ）等と、各種ファイルや関連情報を送受信することができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によるインターネット経由や装置間の直接通信により外部装置にアクセス可能な構成を有する。これにより、記録再生部１５１は、ＲＡＷファイルと縮小ＲＡＷファイル、並びに、高画質現像済ファイル（静止画ファイルや動画ファイル）を、外部装置に記録させたり、記録させた情報を元に編集情報を生成させたりする指示を行うことができる。

撮像装置１００の再生動作時、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して外部装置から、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルや縮小ＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルや縮小ＲＡＷファイルを読みだして、圧縮時の逆変換を行い、圧縮された状態を伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷ画像や縮小ＲＡＷ画像は、高画質現像部１１２に供給されて、上述したように高画質現像処理を施される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、本実施形態に係る状態（モード）遷移図である。このようなモードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して５つのモード、静止画撮影モード（２０１）、静止画再生モード（２０２）、動画撮影モード（２０３）、動画再生モード（２０４）、編集モード（２０５）に適宜切り替わって動作する。

次に、撮像装置１００の静止画撮影モード及び動画撮影モードに係る動作について説明する。図３に、本実施形態の撮影処理に係るフローチャートを示す。図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図３において、静止画又は動画の撮影処理が開始されると、Ｓ３０１において、制御部１６１が停止の要否を判定し、撮影処理を停止するときはアイドル状態へ遷移し、そうでなければＳ３０２へ進む。なお、撮影モードであっても、所定時間操作入力の受付が無い場合や、次の撮影までに合間がある様な場合は、アイドル状態へ遷移（そして所定条件で復帰）するように制御しても良い。

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うよう、光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。さらにＳ３０２において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０２の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称している。

Ｓ３０３において、ＲＡＷ縮小部１０９が、上述したＲＡＷ画像から、縮小ＲＡＷ画像を生成する。Ｓ３０４において、ライブビュー現像部１１１が、縮小ＲＡＷ画像を現像処理（ライブビュー現像）する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、ライブビュー現像部１１１により現像処理された画像情報の出力を選択する。

ライブビュー現像部１１１は、縮小ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理を行う。ここで、ライブビュー現像部１１１が行う現像処理（簡易現像）について説明する。ライブビュー現像部１１１は、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。ライブビュー現像部１１１が、縮小ＲＡＷ画像を扱ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。

ライブビュー現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。Ｓ３０５において、評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を演算によって取得する。なお、評価値算出部１０５は、ライブビュー現像前の縮小ＲＡＷ画像を取得して、縮小ＲＡＷ画像からも何らかの評価値を算出するようにしても良い。

また、ライブビュー現像部１１１で現像処理された画像情報は、認識部１３１に供給される。Ｓ３０６において、認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、ライブビュー現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。Ｓ３０７において、表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。表示部１２３による表示画像は、ユーザーが被写体を適切にフレーミングする行為を支援するためのライブビュー表示（撮影スルー画像の表示）に利用される。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から出力された評価値情報や被写体情報を活用して、例えば、表示される画像上のフォーカスの合焦領域にマーキングしたり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示（動画の場合は記録指示）の受信を判定し、指示があった場合は、Ｓ３１０へ進む。Ｓ３０８で指示が無い場合は、Ｓ３０１へ戻って、撮影（記録）の準備動作とライブビュー表示を繰り返す。

Ｓ３１０において、上述した撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影対象となった画像（動画の場合は連続した複数フレーム）に対応する縮小ＲＡＷ画像の高能率符号化（縮小ＲＡＷ圧縮）を行い、縮小ＲＡＷファイルを生成する。さらに、Ｓ３１１において、上述した撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影対象となった画像（動画の場合は連続した複数フレーム）に対応するＲＡＷ画像の高能率符号化（ＲＡＷ圧縮）を行い、ＲＡＷファイルを生成する。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、エントロピー符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。本実施形態では、ＲＡＷの圧縮を施しても、原画のＲＡＷ画像の品質を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ３１２において、縮小ＲＡＷファイルがバッファ部１１５に記録される。また、Ｓ３１３において、ＲＡＷファイルがバッファ部１１５に記録される。いずれのファイルもバッファ部１１５に記録された後、記録再生部１５１によって後段の記録媒体に記録されるタイミングは、その時であっても、それ以降であっても良い。縮小ＲＡＷファイルとＲＡＷファイルの少なくともバッファ部１１５への記録が完了すると、フローはＳ３０１に戻る。

このように、本実施形態に係る撮像装置１００は、撮影時、静止画や動画の撮影指示（記録指示）に応答して、ＲＡＷファイルを生成する。撮影時のそれ以外の期間では、ライブビュー現像された画像の表示による撮影スタンバイとなる。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、撮影時に画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

次に、本実施形態に係る各種ファイルの構造について説明する。図４は、本実施形態において記録される各ファイルの構成例を示す図である。図４（ａ）は縮小ＲＡＷファイル、図４（ｂ）はＲＡＷファイル、図４（ｃ）は、高画質現像済ファイルを示す。

図４（ａ）に示す縮小ＲＡＷファイル４００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録される。縮小ＲＡＷファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが縮小ＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された縮小ＲＡＷ画像の圧縮データが含まれている。なお、動画の縮小ＲＡＷファイルの場合は、音声の圧縮データも含まれている。

メタデータ部４０２には、この縮小ＲＡＷファイルと同時に生成された、対応するＲＡＷファイルのファイル名等の識別情報４０４が含まれる。また、対応するＲＡＷファイルから高画質現像されて得られた高画質現像済ファイルがある場合は、その識別情報４０７が格納される。また、この縮小ＲＡＷ画像が既に現像されている場合は、その現像ステータスの情報４０５が含まれる。また、撮影時に評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、同時に生成されたＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報、当該画像のサムネイルなどを更に含んでも良い。

図４（ｂ）に示すＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録される。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化されたＲＡＷ画像の圧縮データが含まれている。なお、動画のＲＡＷファイルの場合は、音声の圧縮データも含まれている。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された、対応する縮小ＲＡＷファイルのファイル名等の識別情報４１４が含まれる。また、このＲＡＷ画像から高画質現像されて得られた高画質現像済ファイルがある場合は、その識別情報４１７が格納される。また、その高画質現像における現像ステータスの情報４１５が含まれる。また、撮影時に評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４１６が含まれる。また、図示していないが、同時に生成された縮小ＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報、当該画像のサムネイルなどを更に含んでも良い。或いはまた、当該ＲＡＷファイルと同時に生成された縮小ＲＡＷファイルの実データそのものをメタデータ化して、メタデータ部４１２に格納しても良い。さらに、当該ＲＡＷファイルに対応する高画質現像済ファイルの実データそのものをメタデータ化して、メタデータ部４１２に格納しても良い。

図４（ｃ）に示す高画質現像済ファイル４２０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録される。高画質現像済ファイル４２０は、ヘッダ部４２１、メタデータ部４２２、圧縮データ部４２３から成る。ヘッダ部４２１には、このファイルが高画質現像済ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４２３には、高画質現像済ファイルの静止画部分や動画部分の圧縮データが含まれている。なお、動画の場合は、音声の圧縮データも含まれている。

メタデータ部４２２には、当該高画質現像済ファイルに対応する縮小ＲＡＷファイルのファイル名等の識別情報４２４が含まれる。また、当該高画質現像済ファイルに対応するＲＡＷファイルのファイル名等の識別情報４２７が含まれる。また、当該高画質現像済ファイルの高画質現像時の現像ステータスの情報４２５が含まれる。また、撮影時に評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４２６が含まれる。また、図示していないが、対応するＲＡＷファイルや縮小ＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報、当該画像のサムネイルなどを更に含んでも良い。

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格と共通性を有する構成であっても良い。なお、ＤＣＦとは、Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍの意味であり、ＥＸＩＦとは、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔの意味である。或いは、ＡＶＣＨＤ、ＭＸＦなどの標準規格と共通性を有する構成であっても良い。なお、ＡＶＣＨＤとは、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎの意味であり、ＭＸＦとは、Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔの意味である。

次に、撮像装置１００の高画質現像処理の一例について説明する。図５は、本実施形態の現像処理に係るフローチャートである。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５において、アイドル状態のときに、制御部１６１が、ユーザーの設定により「追いかけ現像」を行うか否かを判定し（Ｓ５０１）、追いかけ現像を行わない場合はそのままフローは終了（リターン）となり、追いかけ現像を行う場合はＳ５２０に遷移する。

本実施形態に係る「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷファイルを読出して、そのＲＡＷ画像に高画質現像を施し、高画質現像済画像ファイルを生成する処理を意味する。先行して記録されたＲＡＷファイルを追いかけるように現像処理するので追いかけ現像と呼ぶ。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象として良いが、以下では静止画を例に説明する。

上述したように、記録されたＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像前のデータであるため、再生表示や印刷に即時対応できず、要求時にＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルを読出して、高画質現像部１１２によって高画質に現像処理を行い、生成される高画質現像済の静止画ファイルを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードの待機中や、スリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態（アイドル中）において実行させる。追いかけ現像は手動で発動させても良いが、制御部１６１が自動的に所定状態のバックグラウンドで実行させるように設計すると良い。このように構成することにより、その後に画像の細部の確認表示や印刷など、高画質な画像の再生の要求が生じたとしても、その都度現像処理（再生出力）による遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。

図５のＳ５２０において、制御部１６１が、対象となるＲＡＷファイルについて追いかけ現像が処理済みか未処理かを判定する。判定の方法は、例えば高画質現像済ファイルを作成済かどうか、ＲＡＷファイル４１０内の識別情報などから判断することが考えられる。或いはＲＡＷファイル４１０の中の現像ステータスの情報４１５を参照し、同様に判定しても良い。或いは、一連のＲＡＷファイルに対して、現像処理の実施状態を示すテーブルファイルを別に用意して判定しても良い。

制御部１６１によって、対象となる全てのＲＡＷファイルについて追いかけ現像が処理済みと判断されれば、そのままフローは終了（リターン）となり、撮像装置１００はアイドル状態に復帰する。追いかけ現像が未処理のＲＡＷファイルがあれば、Ｓ５２１に遷移する。Ｓ５２１において、追いかけ現像が未処理のＲＡＷファイルが、バッファ部１１５にバッファリングされていればＳ５２３に進み、バッファリングされていなければ、Ｓ５２２として、対応するＲＡＷファイルを記録媒体１５２等から読み出す。記録媒体１５２等から読み出されたＲＡＷファイルは、バッファ部１１５によって一時保持される。

バッファ部１１５は、撮影された順番が新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直近に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化が図れる。

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２から読み出されバッファリングされたＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。Ｓ５２４において、高画質現像部１１２が、復元されたＲＡＷ画像に対して高画質現像処理を実施し、スイッチ部１２１を経由して表示処理部１２２や静止画圧縮部１４１に高画質現像済画像を出力する。このとき、撮像装置１００が、後から現像された画像を表示できる状態であれば、表示部１２３によって表示画像を表示しても良い。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理を行う。高画質現像部１１２で生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出されたフルサイズのまま、或いはユーザー設定されたサイズとなるので、２００万画素程度を扱うライブビュー現像の画像よりも格段に高品質となる。高画質現像部１１２はライブビュー現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。

高画質現像部１１２で現像処理された画像情報は、静止画圧縮部１４１又は動画圧縮部１４２に供給される。静止画の場合は、静止画圧縮部１４１が圧縮を担当する。Ｓ５２５において、静止画圧縮部１４１が、取得した高画質現像済画像に対して高能率符号化処理（静止画圧縮）を実施し、高画質現像済ファイル（静止画ファイル）を生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。Ｓ５２６において、記録再生部１５１が高画質現像済ファイルを記録媒体１５２等に記録する。

Ｓ５２７において、制御部１６１が、フローの途中でアイドル状態ではなくなったと判断したら、中断処理に移行し、そうでなければフローはＳ５２０に戻る。Ｓ５２０以降、追いかけ現像が未処理のＲＡＷ画像がある場合、その画像毎に同様の処理を繰り返して実行可能である。一方、Ｓ５２８において、追いかけ現像を中断するときには、制御部１６１が中断した時点の情報（中断対象ＲＡＷファイルや、現像完了又は未完了の識別情報など）を復帰用情報としてメモリや記録媒体１５２に格納しておく（中断処理）。そして、次回の追いかけ現像の際に、制御部１６１が上記復帰用情報を参照して、中断により途中となったＲＡＷファイルから再開できるようにする。中断処理が終えたら、撮像装置１００はアイドル状態に復帰する。

Ｓ５２６で記録される高画質現像済ファイルは、図４（ｃ）に示すようなファイル構造である。メタデータ部４２２には、この高画質現像済ファイルの元となったＲＡＷファイルのファイル名の情報などが書き込まれる。また、この高画質現像済ファイルが高画質現像部１１２によって高画質現像されたこととその現像内容を示す現像ステータスの情報４２５も記述される。また、元のＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、光学部１０１や撮像センサー部１０２からの撮影時の情報を含む撮影メタデータ４２６がコピーされる。さらに、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルとその縮小ＲＡＷファイルについても、それぞれのメタデータ部の各情報を、生成された高画質現像済ファイルに関する最新情報にて更新する。

記録再生部１５１は、高画質現像を経て、Ｓ５２６で記録される新たな高画質現像済ファイルには、元となったＲＡＷファイルと類似又は関連付けられたファイル名を与えて記録すると識別が容易になる。例えば、ファイル名はほぼ同じでファイル名の一部（例えば拡張子や末尾の文字）のみを変更したファイルとして記録すると良い。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードの待機中や、スリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態（アイドル中）のときに追いかけ現像を実行する。そして順次ＲＡＷファイルから高画質現像済ファイルを作成していく。こうすることにより、画像の細部の確認表示や印刷など、高画質な画像の再生の要求が与えられた場合であっても、その都度現像処理（再生出力）による遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。

次に、撮像装置１００の静止画再生モード及び動画再生モードに係る動作について説明する。図６に、本実施形態の再生処理に係るフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６のＳ６０１において、制御部１６１が再生処理の停止の要否を判断する。再生処理を停止する場合、撮像装置１００はアイドル状態に復帰する。再生処理を継続する場合は、フローはＳ６０２に遷移する。

Ｓ６０２において、制御部１６１は、再生処理の対象として縮小ＲＡＷ画像ファイルを読みだして、縮小ＲＡＷ画像を再生するか判断する。上述したように、ＲＡＷファイルは高解像度のため現像に時間を要し、高画質現像済ファイルは未生成の可能性があるので、制御部１６１は、再生時、ＲＡＷ画像を他よりも優先的に再生するようにする。縮小ＲＡＷ画像は画素数が２００万程度あるので、ライブビュー現像のときと同様に高速処理ができ、再生時の急な要求に応じて即時に現像が可能であり、速やかな応答速度で再生画像の出画を実現できる。但し、縮小ＲＡＷ画像は縮小処理を受けているために限定的な品質である。画像の大まかな確認としては有効であるが、画像の細部を確認したり、印刷したりする用途には十分ではない場合がある。そこで、撮像装置１００では、以降記述するように用途に応じて更に他の画像の再生処理も実施される。

縮小ＲＡＷ画像を再生する場合、Ｓ６２０において、制御部１６１が、バッファ部１１５又は記録媒体１５２等から再生対象となる縮小ＲＡＷファイルを再生させる。そして、Ｓ６２１において、ＲＡＷ伸張部１１４が再生された縮小ＲＡＷファイルから得られる圧縮された縮小ＲＡＷ画像を伸張する。さらに、Ｓ６２２において、高画質現像部１１２が、伸張された縮小ＲＡＷ画像を現像して再生画像を生成して、表示処理部１２２に供給する。なお、Ｓ６２２の縮小ＲＡＷ画像の現像は、高画質現像部１１２が行うとしたが、ライブビュー現像部１１１が行っても良い。

縮小ＲＡＷ画像を再生しない場合、Ｓ６０３において、制御部１６１は、高画質現像済画像を再生するか判断する。高画質現像済画像を再生できるのは、上述の追いかけ現像が実施されているか、ユーザーの要求に応答して既にＲＡＷファイルの再生による高画質現像が終えていることが条件となる。高画質現像済画像を再生する場合、Ｓ６３０において、制御部１６１が、記録媒体１５２等から再生対象となる高画質現像済ファイルを再生させる。そして、Ｓ６３１において、静止画伸張部１４３又は動画伸張部１４４が、再生された高画質現像済ファイルから得られる圧縮された高画質現像済画像を伸張して再生画像（静止画又は動画）を生成して、表示処理部１２２に供給する。

縮小ＲＡＷ画像が再生されず、高画質現像済画像も再生されない場合、ＲＡＷファイルが再生される。ここで、本実施形態でＲＡＷファイルが再生される使用環境の例を、図７を用いて説明する。図７は、本実施形態の表示処理の例を示す図である。図７（ａ）、（ｂ）、（ｃ）は、それぞれ別のタイミングでの画像表示の例である。

図７（ａ）の表示例７００は、７０１に示す６つの画像を縮小して表示部１２３に縮小表示している例であり、この表示の状態を一覧表示とする。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に表示している例であり、この表示の状態を拡大表示とする。例えば、撮影した画像の詳細表示や部分抽出（トリミング）、或いはフォーカスの適否のチェックといった確認を行うような場合に、表示例７２０のように被写体像の一部を拡大表示する使われ方が想定される。

表示例７００や７１０の状態のときは、縮小ＲＡＷ画像から得られた再生画像の表示で解像度的に十分である。しかし、表示例７２０のように拡大表示する場合、縮小ＲＡＷ画像の解像度では不足する（解像感の低下を招いてしまう）ので、高解像度を有するＲＡＷファイルを再生して表示すると良い。例えば、このように再生画像の拡大表示を行うときに、フローはＳ６０４以降のＲＡＷファイルの再生に遷移する。

ＲＡＷ画像を再生する場合、Ｓ６０４において、制御部１６１は、再生対象のＲＡＷファイルがバッファ部１１５にバッファリングされているか判定する。ＲＡＷファイルがバッファリングされていればフローはＳ６０６に進み、バッファリングされていなければフローはＳ６０５に進む。Ｓ６０５において、制御部１６１が、記録媒体１５２等から再生対象となるＲＡＷファイルを読み出させて、バッファ部１１５にバッファリングさせる。

バッファ部１１５は、撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ６０５をスキップし、高速に表示に至れるようになる。

そして、Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファリングされているＲＡＷファイルを取得して、当該ＲＡＷファイルから得られる圧縮されたＲＡＷ画像を伸張する。さらに、Ｓ６０７において、高画質現像部１１２が、伸張されたＲＡＷ画像を高画質現像して再生画像を生成して、表示処理部１２２に供給する。なお、撮像装置１００は、Ｓ６０７の高画質現像によって、再生対象となったＲＡＷファイルに対応する高画質現像ファイルも新たに作成可能である。

Ｓ６０８において、表示処理部１２２が、再生対象に応じた何れかの再生画像を表示部１２３に出力して表示する。表示形態は、図７の各図に示すような形態となる。なお、表示処理部１２２が、映像出力端子１２４から表示画像を外部装置に出力することもできる。Ｓ６０８の表示が行われると、フローはＳ６０１に戻る。

なお、図６のＳ６０４以降のＲＡＷファイルの再生は、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。言い換えれば、高画質を要求される拡大表示の場合でも、高画質現像済ファイルが作成済であれば、ＲＡＷファイルを新たに現像しなくとも、高画質現像済画像を提供することができる。本実施形態では、撮影と撮影の合間や、再生モードの待機中や、スリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態（アイドル中）のときに追いかけ現像が実行される。また、ユーザー指示によるＲＡＷファイルの再生時にも高画質現像済ファイルが作成可能である。そして順次ＲＡＷファイルから高画質現像済ファイルが作成される。そのようにして、前もって高画質現像が実施される程、拡大表示の要求時点での高画質現像は発生する頻度が減少するので、拡大表示に対してより速やかに高画質画像を出力できるようになり、操作性が一層高まっていくと期待される。

また、バッファ部１１５にＲＡＷファイルがバッファリングされている場合には、Ｓ６０５をスキップできるため、より速く画像を表示できるようになると上述した。そこで、バッファ部１１５になるべくＲＡＷファイルが保持された状態になるよう、図７の表示例７００や７１０を行う際に、拡大表示に備え、画像７０１や画像７１１に対応するＲＡＷファイルを予め記録媒体から読出してバッファ部１１５へ移動すると良い。拡大表示の指示よりも先行して、記録再生部１５１が記録媒体１５２等から該当するＲＡＷファイルを読みだしてバッファリングすることで、表示例７２０のような拡大表示の指示がなされたときに、一層速い応答速度で表示することができる。

次に、撮像装置１００の編集モードに係る動作について説明する。図８に編集処理を行う編集装置（外部装置）の構成例を示すブロック図を、図９に本実施形態の編集処理及び編集実行に係るフローチャートを示す。図９の各フローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図８において、編集装置８００は撮像装置１００の外部装置であり、具体的には、外部のストレージやサーバ、或いは、携帯情報端末（タブレットやスマートフォン等）やパーソナルコンピュータ（ＰＣ）等である。編集装置８００は、各種ファイルや関連情報を撮像装置１００と送受信することができる。通信部８０２は通信端子８０１を用いて、無線通信や有線通信によるインターネット経由や装置間の直接通信により撮像装置１００にアクセス可能な構成を有する。

編集処理時、或いは前もって、編集装置８００は、通信部８０２を介してネットワーク接続された外部の撮像装置１００から縮小ＲＡＷファイルを取得する。受信された縮小ＲＡＷファイルは、内部バス８１１を介して、記録媒体８０３に保存される。内部バス８１１は編集装置８００内の各部と接続され、データバスやシステムバスとして利用される。

編集処理は、縮小ＲＡＷファイルを伸張し、現像して得られる画像情報を用いて行われる。ＲＡＷ伸張部８０４が、記録媒体８０３に保存された所望の縮小ＲＡＷファイルを読み出して、圧縮された状態の縮小ＲＡＷ画像を伸張する。そして、ＲＡＷ現像部８０５が、伸張された縮小ＲＡＷ画像を現像処理する。縮小ＲＡＷ画像から現像処理された画像は、表示部８０９によって表示される。

制御部８０８は、ＣＰＵと、当該ＣＰＵが実行するアプリケーションプログラムや制御プログラムを格納する不図示のメモリを含み、編集処理を制御する。編集処理は、制御部８０８によって実行される編集アプリケーションプログラムの制御下において、表示部８０９に表示された画像をユーザーによってモニタリングされて、編集指示を受けつけることによって実行される。ユーザーからの編集指示は、ユーザインタフェース部８０７から入力される。ユーザインタフェース部８０７は、例えばタッチパネルを用いた操作部、マウス、キーボード、専用又は汎用コンソール等と、編集用アプリケーションによる表示情報とを利用する。

ユーザインタフェース部８０７からの編集指示に従って、表示される縮小ＲＡＷ画像に対して、トリミングや合成、動画の場合は、カットイン／カットアウトの指定などによる任意のシーン選択や、エフェクトの付加などが適用される。編集内容を受けて、編集情報生成部８０６が編集情報を生成する。編集情報は、縮小ＲＡＷ画像から得られた画像に対して施された編集内容をデータ化したものであり、静止画又は動画の場合フレーム毎の編集適用の有無や編集内容が記述される。さらに当該編集情報に、編集処理が施された縮小ＲＡＷ画像の実データを含んでも良い。このような編集情報は記録媒体８０３に記録されるとともに、撮像装置１００からの要求に応じて撮像装置１００に送信される。

次に、撮像装置１００における編集処理、編集実行のフローについて、図９を用いて説明する。図９（ａ）は編集処理のフロー、（ｂ）は編集実行のフローである。編集処理が開始されると、図９（ａ）のＳ９０１において、制御部１６１が編集処理の停止の要否を判断する。編集処理を停止する場合、撮像装置１００はアイドル状態に復帰する。編集処理を継続する場合は、フローはＳ９０２に遷移する。

Ｓ９０２において、制御部１６１は、編集対象となるＲＡＷファイルに対応する縮小ＲＡＷファイルを編集用データとして外部装置である編集装置８００に送信する。そして、Ｓ９０３において、制御部１６１は、編集装置８００に対して編集命令を発行する。編集命令は制御部８０８に送られ、編集装置８００にとっての編集情報の生成指示となる。なお、本フローはＳ９０３の後、Ｓ９０１に戻る。

上述の編集命令を受けて、編集装置８００は、上述のとおり編集処理を行い、編集情報を生成する。編集装置８００において編集情報の生成が終えていることを条件として、ユーザーの指示に応じて、制御部１６１は図９（ｂ）の編集実行フローが開始可能となる。

編集の実行が開始されると、図９（ｂ）のＳ９１１において、制御部１６１が編集実行の停止の要否を判断する。編集実行を停止する場合、撮像装置１００はアイドル状態に復帰する。編集実行を継続する場合は、フローはＳ９１２に遷移する。

Ｓ９１２において、制御部１６１は、通信部１５３を用いて編集装置８００から編集対象のＲＡＷファイルに対応する編集情報を受信する。当該編集情報を参照して、Ｓ９１３として、制御部１６１は、受信した編集情報に記述された内容に従った編集又は再生を撮像装置１００内のＲＡＷファイル又は縮小ＲＡＷファイルに対して適用する。すなわち、編集装置８００で行われた縮小ＲＡＷ画像に対する編集内容が、撮像装置１００内において、オリジナルのＲＡＷ画像又は縮小ＲＡＷ画像に再現される。なお、本フローはＳ９１３の後、Ｓ９１１に戻る。このように編集実行されたＲＡＷ画像は、元のファイルを更新する形でファイル化して保存してもよいが、オリジナル画像と編集情報とをそれぞれ保存しておくことで、再生の都度オリジナルに対して編集情報を反映させて再生（編集）するようにしてもよい。

このように縮小ＲＡＷ画像を編集用データとして或いはＲＡＷ画像のプロキシとして利用して、外部装置を用いて編集を実施する構成としたことで編集の合理化や高性能化が図れるだけでなく、システム全体として編集処理にかかる負荷を軽減することもできる。

（第２の実施形態）
図２は、本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。図２では、本実施形態に係る画像処理装置として、撮像装置１０００を例に示す。撮像装置１０００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信して編集したりする機能を有する。従って、本実施形態に係る画像処理装置は、撮像装置と表現できるだけでなく、記録装置、再生装置、記録再生装置、通信装置、又は編集装置、或いは画像処理システム又は編集システム等とも表現することができる。

本実施形態に係る撮像装置１０００において、上述した第１の実施形態に係る撮像装置１００と同じ構成については、同じ符号を付して、その説明は省略する。

図１０において、撮像装置１０００は、撮影部を成す撮像モジュール１７０と画像処理部を成す画像処理モジュール１８０を有し、撮像モジュール１７０と画像処理モジュール１８０とがバス１０７によって接続される。撮像モジュール１７０内での撮像によって得られたＲＡＷデータ等は、バス１０７を通って画像処理モジュール１８０に供給される。撮像モジュール１７０は、撮像センサー部１０２、センサー信号処理部１０３、カメラ制御部１０４及び符号化部１０６を有する。画像処理モジュール１８０は、復号化部１０８、ＲＡＷ縮小部１０９、現像部１１０、ライブビュー現像部１１１、高画質現像部１１２、スイッチ部１２１、ＲＡＷ圧縮部１１３、ＲＡＷ伸張部１１４及びバッファ部１１５を有する。さらに、画像処理モジュール１８０は、評価値算出部１０５、認識部１３１、表示処理部１２２、静止画圧縮部１４１、動画圧縮部１４２、静止画伸張部１４３、動画伸張部１４４、記録再生部１５１及び制御部１６１を有する。撮像装置１０００は、その他、光学部１０１、表示部１２３、映像出力端子１２４、通信部１５３、通信端子１５４、及び、内蔵式或いは着脱式の記録媒体１５２を有する。

本実施形態に係る撮像装置１０００に関して、上述した第１の実施形態に係る撮像装置１００と異なる構成について詳細に説明する。撮像モジュール１７０は内部に符号化部１０６を備える。これは、ＲＡＷデータが膨大なデータなため、バス１０７にて伝送する際に通信帯域を圧迫してしまうのを軽減するために、ＲＡＷデータを圧縮する目的によって存在する。符号化部１０６における符号化処理（圧縮処理）としては、例えば、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）とゴロム（Ｇｏｌｏｍｂ）符号化を用いる圧縮方法が適用できる。この方法は、ＤＰＣＭ処理された画素データについて、その画素データ同士の差分値をゴロム符号化して画素の情報量を削減する方法である。或いは、１次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いて画素データの不必要な高域成分を削除する圧縮方法でも良い。いずれも圧縮率は固定で動作させれば良いが、ユーザー指示や撮影モード等に応じて調整できるように設計しても良い。

撮影時、撮像センサー部１０２によって被写体像から変換された画素データは、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。

符号化部１０６が、センサー信号処理部１０３から供給された画素データを上述の方法によって符号化処理する。そして符号化処理によって圧縮された状態の画素データがバス１０７を介して画像処理モジュール１８０に伝送される。圧縮された画素データは、画像処理モジュール１８０内の入力部分に配置される復号化部１０８によって復号される。復号化部１０８は、前段の符号化部１０６の逆変換を行って圧縮された画素データを復号する。

本実施形態では、符号化部１０６によって圧縮され、さらに復号化部１０８によって復号化された後の画素データを、生（未現像）の画像を意味するＲＡＷ画像と称す。一度圧縮を施されたＲＡＷ画像であっても、第１の実施形態と同様に高品位なＲＡＷ画像として扱うことができる。

その後ＲＡＷ画像は、効率的に記録するために、ＲＡＷ圧縮部１１３に供給されて再び圧縮を施される。また、ＲＡＷ画像は表示や再生を効率的に行う目的からＲＡＷ縮小部１０９によってそのサイズが縮小される。ＲＡＷ縮小部１０９は、入力されたＲＡＷ画像を例えばＨＤサイズ（２００画素相当）にリサイズして縮小ＲＡＷ画像を生成する。その後のＲＡＷ画像や縮小ＲＡＷ画像の処理は、第１の実施形態と同様である。

なお、画像処理モジュール１８０内で、圧縮されたＲＡＷ画像の伸張／復号化を行う点で共通する復号化部１０８とＲＡＷ伸張部１１４は、その一部又は全部の処理回路を共通の構成又は一体化された回路によって実現されても良い。

本実施形態に係る撮像装置１０００についての撮影処理、現像処理、再生処理、編集処理、編集実行の各処理手順、及び、作成される各種ファイルの構成は第１の実施形態と同様である。

このように本実施形態によれば、第１の実施形態と同様の機能を実現できるとともに、撮像装置１０００内部でのＲＡＷデータの伝送効率を向上させることができる。

以上が第１及び第２の実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 光学部
１０２ 撮像センサー部
１０３ センサー信号処理部
１０４ カメラ制御部
１０５ 評価値算出部
１０９ ＲＡＷ縮小部
１１０ 現像部
１１１ ライブビュー現像部
１１２ 高画質現像部
１１３ ＲＡＷ圧縮部
１１４ ＲＡＷ伸張部
１１５ バッファ部
１２１ スイッチ部
１２２ 表示処理部
１２３ 表示部
１２４ 映像出力端子
１３１ 認識部
１４１ 静止画圧縮部
１４２ 動画圧縮部
１４３ 静止画伸張部
１４４ 動画伸張部
１５１ 記録再生部
１５２ 記録媒体
１５３ 通信部
１５４ 通信端子

Claims (7)

1. 被写体像を撮像してＲＡＷ画像を生成する撮像手段と、
   前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小手段と、
   前記ＲＡＷ画像及び前記縮小ＲＡＷ画像をそれぞれ圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された前記ＲＡＷ画像及び前記縮小ＲＡＷ画像をそれぞれ記録媒体に記録する記録手段と、
   外部装置と通信する通信手段と、
   前記記録媒体に記録された前記縮小ＲＡＷ画像を、前記通信手段を介して前記外部装置に送信して、当該外部装置に前記縮小ＲＡＷ画像の編集処理を行わせる制御手段とを備え、
   前記制御手段は、前記外部装置から前記編集処理の内容を示す編集情報を取得することに応じて、前記編集処理が施された前記縮小ＲＡＷ画像に対応する前記ＲＡＷ画像の編集を、前記編集情報を参照して実行することを特徴とする画像処理装置。
2. 前記編集情報は、前記編集処理が施された前記縮小ＲＡＷ画像の実データを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記外部装置は、外部のサーバであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記外部装置は、前記編集処理のアプリケーションプログラムを実行する携帯情報端末であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 被写体像を撮像してＲＡＷ画像を生成する撮像工程と、
   前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小工程と、
   前記ＲＡＷ画像及び前記縮小ＲＡＷ画像をそれぞれ圧縮する圧縮工程と、
   前記圧縮工程によって圧縮された前記ＲＡＷ画像及び前記縮小ＲＡＷ画像をそれぞれ記録媒体に記録する記録工程と、
   外部装置と通信する通信工程と、
   前記記録媒体に記録された前記縮小ＲＡＷ画像を、前記通信工程を行って前記外部装置に送信して、当該外部装置に前記縮小ＲＡＷ画像の編集処理を行わせる制御工程とを有し、
   前記制御工程は、前記外部装置から前記編集処理の内容を示す編集情報を取得することに応じて、前記編集処理が施された前記縮小ＲＡＷ画像に対応する前記ＲＡＷ画像の編集を、前記編集情報を参照して実行することを特徴とする画像処理方法。
6. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
7. 請求項６に記載のプログラムを記録したコンピュータが読出し可能な記録媒体。

Images