JP7340973B2 - 画像処理装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、RAW画像データの画像処理技術に関するものである。

従来の表示装置や一般的な画像形式は、sRGBやRec. ITU-R BT.709という規格の画像データを対象としている。これらの規格の参照ディスプレイの輝度レベルは、80～100 cd/m^2（平方メートルあたりカンデラ）である。

一方、近年、Rec. ITU-R BT.2100のように、より広い輝度範囲（ダイナミックレンジ）の規格が策定されている。例えばRec. ITU-R BT.2100で規定されている、PQ（Perceptual Quantization）と呼ばれる伝達関数（Transfer Function）では、最大10,000 cd/m^2まで表現可能である。また、これに伴い、従来の表示装置より広いダイナミックレンジ（例：～1,000 cd/m^2）を表示可能な表示装置も登場している。

これらの、より広いダイナミックレンジの画像はHDR（High Dynamic Range）画像と呼ばれる。そして、HDR画像と区別するため、従来のダイナミックレンジの画像はSDR（Standard Dynamic Range）画像と呼ばれる。

このようなHDR画像を扱う画像処理装置として、ベースデータ部と差分データ部に分割された画像データを扱う方法が提案されている（特許文献１）。この提案によると、SDR画像を表示/保存するには、ベースデータ部を従来の画像形式と同様にデコードすることで実現する。一方、HDR画像を表示/保存するには、ベースデータ部の画像 (SDR画像)に対して、差分データ部のHDR情報を適用することで実現する。 これによって、１つのファイルで、HDRとSDRの両方を扱うことができる。

特開２０１１－１９３５１１号公報

ベイヤ配列の撮像素子から得られる生のデータ(RAWデータ)を、その配列のままRAW画像ファイルとして記憶する場合がある。このようなRAW画像ファイルが表す画像の表示装置への表示や、H.264やH.265などの一般的な画像形式に変換保存するためには、現像処理を行う必要がある。この現像処理は１画素単位の処理であり、昨今のデジタルカメラに代表される撮像装置に搭載される撮像素子の解像度（画素数）は多くなる一方であって、現像処理にも多くの時間がかかる。

ところで、RAW画像ファイルは、SDR画像よりも広いダイナミックレンジを持つため、先行技術のように、1ファイルでHDR画像とSDR画像の両方の出力(表示/保存)が可能である。

ただしHDR画像とSDR画像はダイナミックレンジや色域などが異なるため、RAWデータからHDR画像を出力するための現像パラメータ（HDR用現像パラメータ）と、SDR画像を出力するための現像パラメータ（SDR用現像パラメータ）は異なる。これは、RAW画像からHDR画像とSDR画像の両方を出力するには、現像処理を二回行うことを意味する。このように、RAW画像からHDRとSDRの両方を出力する場合に、従来のようにRAW画像からSDRのみの出力をする場合と比較して処理に時間がかかるという問題があった。つまり、現像処理を二回行うので、一方の形式の現像処理の実質２倍の処理時間が必要になる。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
RAW画像ファイルに含まれるRAW画像にHDR現像処理を施して、HDR画像を生成するHDR画像生成手段と、
RAW画像ファイルに含まれるRAW画像にSDR現像処理を施して、SDR画像を生成する第１のSDR画像生成手段と、
前記HDR画像生成手段で生成したHDR画像に対して変換処理を行うことでSDR画像を生成する第２のSDR画像生成手段と、
RAW画像ファイルからHDR画像とSDR画像とを生成する場合に、前記HDR画像生成手段で生成したHDR画像と、前記第１のSDR画像生成手段と前記第２のSDR画像生成手段のうちのいずれか一方で生成したSDR画像とを、それぞれ画像ファイルとして出力するように制御する制御手段と、
出力モードを選択する選択手段と、
を備え、
前記制御手段は、第１の出力モードが選択された場合は前記第１のSDR画像生成手段で生成したSDR画像を出力するように制御し、前記第１の出力モードよりも高速で出力するための第２の出力モードが選択された場合は、前記第２のSDR画像生成手段で生成したSDR画像を出力するように制御することを特徴とする。

本発明によれば、RAW画像からHDRとSDRの両方を出力する場合に、出力処理に係る時間短縮の環境をユーザに提供できる。

実施形態にかかる画像処理装置のブロック構成図。 実施形態にかかる画像処理手順を示すフローチャート。 実施形態にかかる画像処理におけるGUIの例を示す図。 実施形態にかかる出力処理手順を示すフローチャート。 第２の実施形態にかかる画像処理手順を示すフローチャート。 第２の実施形態にかかる画像処理におけるGUIの例を示す図。 第２の実施形態にかかる出力処理手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
第１の実施形態における画像処理装置は、PC（personal computer）上で動作する、RAW画像データを現像して通常の画像ファイルとして保存するアプリケーションソフト（以下、単にアプリという）により実現する例を説明する。本実施形態のアプリを実行した制御部（CPU）が、RAW画像から、SDR画像とHDR画像の両方の画像ファイルを一度に保存する例を示す。

また、実施形態におけるRAW画像は、ベイヤ配列の画像データである。ベイヤ配列の画像データを構成する各画素が１成分しか有さず、その成分はＲ，Ｇ，Ｂのいずれかであり、その画素位置に依存する。そして、実施形態では、１成分が10ビットで表されているものとするが、ビット数に特に制限はない。

また、本実施形態のアプリには、通常出力モードと高速出力モードの二つの出力モードを有する。いずれの出力モードで出力処理を行うかは、キーボードやマウスなどを介したユーザからの操作で選択される。また、制御部は、SDR画像ファイルとして保存する際、いずれの出力モードで出力されたのかを示す情報を、メタデータとしてそのファイル内に記録する。なお、本実施形態で扱うRAW画像は、RAW静止画であり、RAW画像のデータ構造として次の3領域で構成されている例を示す。もちろんこれ以外の構成でも良い。
・ヘッダ部
・プレビュー画像データ部
・RAW画像データ部
上記のヘッダ部は、RAW画像データの付属情報(メタデータ)が記録されている領域である。上記のプレビュー画像データ部は、画像内容確認(プレビュー)のために使用する画像データがJPEGデータとして記録されている領域である。この画像データを使用することで、RAW画像データを現像することなく、その画像がどのようか映像を表しているかを確認できるようになる。そして、RAW画像データ部は、RAW画像そのもののデータが記録されている領域である。なお本実施形態では、RAW画像は静止画の場合の説明を行うが、RAW動画の場合でも本実施形態は適用される。

まず実施形態における画像処理装置のブロック構成図を図１に示す。図示のように、画像処理装置100は、装置全体の制御を司る制御部101を有する。実施形態では先に説明したように、アプリを実行することで画像処理装置として機能する例を説明するので、この制御部101は所謂、Central Processing Unit(CPU)で構成されることになる。また、画像処理装置100は、変更を必要としないプログラムやパラメータを格納するROM（Read Only Memory)102、外部装置などから供給されるOS(Operating System)やアプリケーションプログラム、更には各種データを一時記憶するRAM（Random Access Memory)103を有する。外部記憶装置104は、ハードディスクやメモリカード、あるいはコンピュータ装置100から着脱可能なフロッピーディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ICカードなどを含む。この外部記憶装置104は、OS、後述する画像処理用アプリケーションプログラムを始め、RAW画像ファイルなどのデジタルデータを記録する。

操作入力IF105は、ユーザからの操作を受け、データを入力するポインティングデバイス(マウス)やキーボード109などの入力デバイスを接続するためのインタフェースである。表示IF106は、コンピュータ装置100の保持するデータや供給されたデータを表示するためのディスプレイ110とのインタフェースである。外部機器IF107は、外部デバイスを接続するためのインタフェースであり、たとえばUSB(Universal Serial Bus)である。図示の場合、デジタルカメラで撮像した画像ファイルが記憶されたメモリカードをアクセスするためのカードリーダ112が接続されていることを示している。先に説明した外部記憶装置104に格納されるRAW画像ファイルは、このカードリーダ112にセットされたメモリカードからコピー（もしくは転送）されたものと理解されたい。そして、システムバス108hは、参照符号101～107を接続する。この結果、制御部101はシステムバス108を介して上記構成要素を制御することになる。

上記構成において、本装置の電源がONになると、制御部101はROM102に格納されたブートプログラムを実行し、外部記憶装置104からOSをRAM103にロードし、制御をOSに移行させる。そして、制御部101は、外部記憶装置104から画像処置アプリケーションを、RAM103にロードし、OSの下で実行する。この結果、本装置が画像処理装置として機能することになる。

なお、画像処理アプリケーションが外部記憶装置104に格納されているのではなく、不図示のネットワークIFを介してネットワークからダウンロードし実行するようにしても構わない。

次に、本実施形態に係る画像処理装置の処理を図２のフローチャートにしたがって説明する。先に説明したように、図２に示すフローチャートは、制御部101による画像処理アプリケーションプログラムの実行手順を示していることになる。

制御部101は、S200にて、画像処理アプリケーションプログラムの初期画面の表示処理を行う。画像処理アプリケーションプログラムが起動されると、制御部101はディスプレイ110に図３のUI（User Interface）画面を表示する。図３において、参照符号3-Aは [保存]ボタン、参照符号3-Bは出力モード設定コントロール、参照符号3-Cは終了ボタン、そして、参照符号3-Dは画像プレビューエリアである。

出力モード設定コントロール3-Bは、ドロップダウンリストを表示するものであり、ユーザは項目の中から、「通常出力」、「高速出力」のいずれか一方を選択する。ただし、デフォルトは「通常出力」に設定されている。

ユーザは、図１の入力デバイス109を用いてこのプログラムを操作することができる。入力デバイスとしては、マウスやキーボード、タッチパネルなど一般的に使用されているものを使用する。

制御部101は、S205にて、RAW画像ファイルの設定を行う。制御部101は、ディスプレイ110上にファイル選択ダイアログ(図示省略)を表示する。ファイル選択ダイアログは例えばOSに標準で用意されているファイルオープンダイアログを使用すればよい。これによって、外部記憶装置104内に記憶されている複数のRAW画像ファイルの一覧が表示されるので、ユーザはその中から目的とするRAW画像ファイルを入力デバイスで選択（指示）が可能となる。ユーザによる１つのRAW画像ファイルの選択が行われると、制御部101は処理をS210に移行する。

S210にて、制御部101は、上記S205で選択されたRAW画像ファイルの内容を表示する処理を行う。具体的には、制御部101は、ユーザが選択したRAW画像ファイルの中に埋め込まれているプレビュー画像データ部からJPEGデータを読み込む。そして、制御部101は、そのJPEGデータの復号処理を行うことで表示用画像を生成し、図３の画像プレビューエリア3-Dに表示する。本実施形態では、RAW画像ファイルに記録されているプレビュー画像データを表示する例を示したが、RAW画像データを現像して表示する構成でも良い。

制御部101は、S215にて、出力モード設定用のコントロールがユーザにより操作されたかどうかの判断を行う。制御部101は、操作されたと判断した場合には、処理をS220に移し、操作されていないと判断した場合は処理をS225に移す。なお、本実施形態では出力モード設定にドロップダウンリストコントロールを用いた例を示すが、それ以外の方法で出力モードの選択ができるような構成でも良い。

S220にて、制御部101は出力モードに設定を行う。具体的には、制御部101は、S215で操作されたドロップダウンリストの項目に応じて、出力モードを決定する。なお先に説明したように、出力モードのデフォルト設定は「通常出力」に設定されている。

S225にて、制御部101は、図３の保存ボタン3-Aがユーザにより押下されたか否かを判定する。制御部101は、保存ボタン3-Aの押下有りと判定した場合にはS230に、保存ボタン3-Aの押下無しと判定した場合はS235に処理を進める。

S230にて、制御部101は、ユーザによる選択したRAW画像ファイルからHDR画像ファイルとSDR画像ファイルへの出力処理を行う。このS230の詳細については、後述する。

S235にて、制御部101は、図３の終了ボタン3-Cが押されたかどうかを判断する。制御部101は、終了ボタン3-Cの押下有りと判定した場合は本処理を終了し、押下されていないと判定した場合は処理をS215に戻す。なお、S215ではなく、次のRAW画像ファイルの選択を許容するため処理をS205に戻すようにしても良い。

次に、S230の出力処理の詳細を図４のフローチャートを参照して以下に説明する。

制御部101は、S400にて、ユーザが選択したRAW静止画ファイルの読み込みを行う。制御部101は、読み込んだRAW静止画ファイルのRAWデータをRAM103に保持する。

制御部101は、S405にて、HDR画像生成処理を行う。具体的には、制御部101は、上記のS400で読み込んだRAW静止画データに対しHDR用現像パラメータを用いて現像処理を行い、HDR画像を生成する。HDR用現像パラメータは、HDR出力のデフォルト設定を使用する。この現像処理により、1画素が3成分（R,G,B）のHDR画像データが得られる。実施形態では、HDR現像処理ではPQガンマの適用し、1成分当たり10ビット(1024階調）であるものとするが、ビット数に特に制限はなく10ビットを超えるビット数であっても構わない。

そして、S410にて、制御部101は、上記S405の現像処理で得たHDR画像データを、HDR画像ファイルとして外部記憶装置104に保存する処理を行う。HDR画像ファイルは、一般的なものとする。例えば、PQガンマのかかった10ビットのTIFFファイルとする。もちろん、それ以外のHDR画像でも良い。また、ここで保存するファイル名は、元ファイルのRAW画像ファイルのファイル名の後ろに、HDRであることを示す文字列“_HDR”とつけたファイル名とする。実施形態の場合、TIFFファイルを生成する例を示しているので、ファイルの拡張子もそれに従うものとするが、他の拡張子を最小しても良い。この後、制御部101は、2種類のSDR画像生成処理のいずれを実行するかを決定するため、処理をS415に進める。

S415にて、制御部101は、設定された出力モードの種類の判定を行う。制御部101は、「通常出力」が設定されていると判定した場合はS420、「高速出力」が設定されていると判定した場合はS430に処理を分岐する。

S420にて、制御部101は、S400にて読み込んだRAW静止画データに対して、SDR現像処理を行う。SDR用現像パラメータは、SDR出力のデフォルト設定を使用する。この現像処理で１画素３成分の画像データが生成される。本実施形態において生成される画像データは、ガンマのかかっていないリニアの、1成分8ビットの画像データとする。制御部101は、次のS425にて、上記S420で現像したSDRの画像データをSDR画像ファイルとして保存する処理を行う。SDR画像ファイルは、一般的なJPEGとする。もちろんそれ以外のSDR画像でも良い。またSDR画像を保存する際に、出力モード(ここでは「通常出力」)を示す情報をSDR画像のヘッダに付加して記録する。また、ここで保存するファイル名は、元ファイルのRAW画像ファイル名の後ろにSDR画像であることを示す文字列“_SDR”とつけたファイル名とする。なお、拡張子は“JPG”となるが、他の形式を採用した場合はそれに従った拡張子とすれば良い。

S430の処理は、出力モードの設定が「高速出力」だった場合に処理である。制御部101は、S430にて、上記S405の現像処理で得たHDR画像からSDR画像への変換処理を実行する。具体的には、制御部101は、HDR画像に対してトーンマッピングを行うことでSDR画像に変換する。SDRの画像データの形式としては、ガンマのかかっていないリニア８ビットの画像データとする。なお、HDR画像からSDR画像への変換処理として、トーンマッピングを行う説明をしたが、それ以外の方法でHDRからSDRへの変換を行うのでも良い。例えば、実施形態の場合、HDR画像は1色成分が10ビットとしているので、上位8ビットを抜き出すことでSDR画像データを生成しても良い。

次に、S435にて、制御部101は、S430の変換処理で得たSDRの画像データをSDR画像ファイルとして保存する処理を行う。SDR画像ファイルは、一般的なJPEGとする。もちろんそれ以外のSDR画像でも良い。またSDR画像を保存する際に、出力モード(ここでは高速出力)を示す情報をSDR画像に付加して記録する。保存するファイル名は、元ファイルのRAW画像ファイル名の後ろに_SDR”とつけたファイル名とする。拡張子も“JPG”とすれば良いであろう。

なお、実施形態では、S425、S435では、元ファイルの後ろに “_HDR”、“_SDR”とつけたファイル名で保存する場合の説明をしたが、それ以外のファイル名でも良い。または、ファイル名をユーザが設定できる構成でも良い。

またステップS425、S435では、出力モードの情報をヘッダに付加する説明をしたが、出力モード情報の代わりに、どのような処理をした画像かの情報をヘッダに付加するのでも良い。例えば、HDR現像したか、または、SDR現像したかを示す情報をヘッダに付加するのでも良い。

以上説明したように本実施形態によれば、RAW画像からHDR/SDRの両方を保存する際に、出力モードとして「高速出力」が選択された場合には現像処理が１回だけの実行になるため、保存処理に係る時間を短縮できるようになる。また、処理時間を問わない場合には、「通常出力」を選択することで、HDR/SDRのそれぞれの現像処理結果を保存することが可能となる。

また、SDR画像出力時には、どちらの出力モードで保存したかの情報を保存画像に付加して記録する構成としたので、どの出力モードで処理した画像かを保存後にも確認することが可能となる。

また、実施形態では、出力モードをユーザが設定できる例を示したが、自動的に出力モードが設定される構成でも良い。例えば、ファイルに保存する場合には通常出力モード設定で、プレビュー表示する場合には高速出力モード設定になるような構成でも良い。

なお、現像処理は、HDR,SDRのそれぞれのデフォルト設定のパラメータで現像する説明をしたが、ユーザが現像時のパラメータを設定できるような構成でも良い。例えば、シャープネス、ホワイトバランス、明るさ、などの設定ができてもよい。

また本実施形態ではPCアプリの例を説明したが、もちろんPCアプリ以外の構成でもよい。例えば、カメラ内でRAW現像できる場合にも本発明は適用される。

更に、実施形態では、HDR画像をTIFF形式、SDR画像をJPEG形式で保存するとして説明したが、保存するファイルの種類はこれに限らないし、ユーザが適宜選択できるようにしても良い。

また、上記実施形態では、ユーザによる１つのRAW画像ファイルの選択に応じてHDR画像とSDR画像の保存処理を行うものとしたが、一度に複数のRAW画像ファイルを選択可能にし、その選択された複数のRAW画像ファイルに対して、出力モードに応じた処理を実行するようにしてもよい。

［第２の実施形態］
第２の実施形態を説明する。本第２の実施形態の装置構成は、上記第１の実施形態（図１）と同じとする。すなわち、本第２の実施形態においても、上記第１の実施形態と同様、PC上で動作するアプリケーションプログラムを制御部101が実行することで、RAW画像データを現像して通常の画像ファイルとして、外部記憶装置104に保存する。ただし、本実施形態では、RAW画像から、SDR画像とHDR画像の両方の画像ファイルを一度に保存する例を示す。

本第２の実施形態でも、RAW画像ファイルのデータ構造として次の3領域で構成されている例を示す。もちろんこれ以外の構成でも良い。
・ヘッダ部
・プレビュー画像データ部
・RAW画像データ部
上記のヘッダ部は、RAW画像データの付属情報(メタデータ)が記録されている領域である。プレビュー画像データ部は、画像内容確認(プレビュー)のために使用する画像データがJPEGデータとして記録されている領域である。この画像データを使用することで、RAW画像データを現像することなく、画像内容を確認することが可能となる。なおRAW動画の場合には、動画の先頭フレームの内容が記録されている。

RAW画像データ部は、RAW画像そのもののデータが記録されている領域である。RAW動画の場合は、この領域に動画を構成する複数フレーム分のRAWデータが記録されている。

次に、本第２の実施形態における画像処理手順を図５のフローチャートに従って説明する。同図は、本第２の実施形態における画像処理アプリケーションプログラムを制御部101が実行した際の処理手順でもある。

制御部101は、S500にて、画像処理アプリケーションプログラムの初期画面の表示処理を行う。画像処理アプリケーションプログラムを起動すると、制御部101は、ディスプレイ110に図６のUI画面を表示する。図６において、参照符号6-Aは [保存]ボタン、参照符号6-Cは終了ボタン、参照符号6-Dは画像プレビューエリアである。

ユーザは、入力デバイス109を用いてUI画面を操作することができる。入力デバイスとしては、マウスやキーボード、タッチパネルなど一般的に使用されているものを使用する。

次にS505にて、制御部101は、ユーザによるRAW画像ファイルの設定（選択）を行う。制御部101は、ディスプレイ110上にファイル選択ダイアログ(図示省略)を表示する。これによって、ユーザによる外部記憶装置104内の画像ファイルの選択が可能となる。ファイル選択ダイアログは、例えばOSに標準で用意されているファイルオープンダイアログを使用する構成であり、1つのRAW画像ファイルを選択できる構成になっている。本実施形態ではユーザは、RAW静止画ファイル、RAW動画ファイルのいずれも選択可能である。

制御部101は、S510にて、上記S505で選択されたRAW画像ファイルの内容を表示する処理を行う。具体的には、制御部101は、S510にて選択したRAW画像ファイルの中に埋め込まれているプレビュー画像データ部からJPEGデータを読み込み、そのJPEGデータをデコードし、画像プレビューエリア6-Dに表示する。S505で選択された画像がRAW動画ファイルだった場合も、内容確認用のプレビュー画像を表示する。

本実施形態では、RAW画像ファイルに記録されているプレビュー画像データを表示する例を示したが、動画の場合には動画再生できるような構成でも良い。この結果、ユーザは選択したファイルが表す画像を、画像プレビューエリア6-Dにより目視できるようになる。

次に、S515にて、制御部101は、ユーザによる保存ボタン6-Aの押下があったか否かを判断する。制御部101は、保存ボタン6-Aの押下有りと判断した場合は処理をS520に、保存ボタン6-Aの押下無しと判断した場合は処理をS525に移す。

S520にて、制御部101は出力処理を行う。この出力処理の詳細については後述する。

S525にて、制御部101は、ユーザによる図６の終了ボタン6-Cの押下があったか否かを判断する。制御部101は、終了ボタン6-Cの押下有りと判断した場合は本処理を終了し、終了ボタン6-Cの押下無しと判断した場合には処理をS515に戻す。

次に、上記のS520の出力処理の詳細を図７のフローチャートを参照して説明する。

まず、S700にて、制御部101は、上記S505で選択されたRAW画像ファイルの読み込みを行う。制御部101は、読み込んだRAW画像ファイルのデータをRAM103に展開する。

次に、S705にて、制御部101は、S700で読み込んだRAW画像のヘッダ部を解析、もしくは拡張子に基づき、読み込んだRAW画像が動画ファイルかどうかを判断する。制御部101は、読み込んだRAW画像が動画ファイルであると判断した場合にはS710に、動画ファイルではない（静止画ファイルである）と判断した場合にはS715に処理を分岐する。

S710にて、制御部101は、出力モードを「高速出力」に設定にする。一方、S710に処理が進んだ場合、制御部101は、出力モードを「通常出力」に設定にする。

S720にて、制御部101は上記S700で読み込んだRAW画像データに対して、HDR現像処理を行う。対象画像が動画の場合には、動画のフレーム数分の現像処理を行う。HDR用現像パラメータは、HDR出力のデフォルト設定を使用する。現像結果の画像データの形式としては、PQガンマの適用された各色成分が10ビットの画像データとする。そして、S725にて、制御部101は、S720で現像したHDR画像データを、HDR画像ファイルとして保存する処理を行う。対象画像が動画の場合には、動画の全フレームを１つのHDR動画像ファイルとして外部記憶装置104に保存する。HDR画像ファイルは、一般的なものとする。例えば、静止画はTIFFファイル、動画はH.264 MP4ファイルとする。どちらの場合もPQガンマの適用された10ビットの画像として保存する。もちろん、それ以外のHDR画像でも良い。また、ここで保存するファイル名は、元ファイルのファイル名の後ろに“_HDR”とつけたファイル名とする。

次に、制御部101はS730にて、設定されている出力モードによる分岐処理を行う。出力モードが「通常出力」の設定だった場合には処理をステップS735に、出力モードが「高速出力」設定だった場合には処理をステップS745に移す。

S735にて、制御部101はS700 で読み込んだRAW画像データに対して、SDR現像処理を行う。SDR用現像パラメータは、SDR出力のデフォルト設定を使用する。現像結果の画像データの形式としては、ガンマのかかっていないリニアの８ビットの画像データとする。そして、S740にて、制御部101は、ステップS735で現像したSDR画像データをSDR画像ファイルとして保存する処理を行う。SDR画像ファイルは、一般的なものとする。例えば、静止画はガンマの適用されていないリニア8ビットのJPEGファイルとする。もちろんそれ以外のSDR画像でも良い。またSDR画像を保存する際に、出力モード(ここでは通常出力)の情報をSDR画像のヘッダに付加して記録する。また、ここで保存するファイル名は、元ファイルのファイル名の後ろに “_SDR”とつけたファイル名とする。

S745に処理が進むのは、出力モードの設定が「高速出力」だった場合である。また、本第２の実施形態では、S745に処理が進んだ場合の処理対象画像は、必ず動画となる。制御部101はS745で、S720で現像したHDR画像から、SDR画像への変換を行う。或いは、制御部101は、既に保存されているHDR動画像ファイルからHDRフレームを順次読出し、SDR画像への変換を行う。この変換は、HDR画像に対してトーンマッピングを行うことで、SDR画像に変換する。ここでの対象画像は動画となるので、動画の全フレームに対して変換処理を行う。

なお、HDR画像からSDR画像への変換処理として、トーンマッピングを行う説明をしたが、それ以外の方法でHDRからSDRへの変換を行うのでも良い。例えば、制御部101は、HDRの各フレームの各色成分が10ビットで表されていることに着目し、上位8ビットを抜き出してSDR画像としても良い。

制御部101はステップS750で、ステップS745で変換したSDRの画像データをSDR画像ファイルとして保存する処理を行う。SDR画像ファイルは、一般的なH.264 MP4ファイルとする。もちろんそれ以外のSDR画像でも良い。またSDR画像を保存する際に、出力モード(ここでは高速出力)を示す情報をSDR画像に付加して記録する。保存するファイル名は、元ファイルのファイル名の後ろに例えば“_SDR”とつけたファイル名とする。

以上説明したように本第２の実施形態によれば、RAW画像からHDR/SDRの両方を保存する際に、動画の場合は高速出力設定となり、保存処理時間を短縮できるようになる。また、動画に比べて処理時間が短い静止画の場合は通常出力設定となり、HDR/SDRのそれぞれの現像処理結果を保存することが可能となる。

なお本実施形態ではPCアプリの例を説明したが、もちろんPCアプリ以外の構成でもよい。例えば、カメラ内でRAW現像できる場合にも本発明は適用される。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

101…制御部、102…ROM、103…RAM、104…外部記録装置、105…操作入力IF、106…表示IF、108…システムバス、109…入力デバイス、110…ディスプレイ

Claims (9)

1. RAW画像ファイルに含まれるRAW画像にHDR現像処理を施して、HDR画像を生成するHDR画像生成手段と、
   RAW画像ファイルに含まれるRAW画像にSDR現像処理を施して、SDR画像を生成する第１のSDR画像生成手段と、
   前記HDR画像生成手段で生成したHDR画像に対して変換処理を行うことでSDR画像を生成する第２のSDR画像生成手段と、
   RAW画像ファイルからHDR画像とSDR画像とを生成する場合に、前記HDR画像生成手段で生成したHDR画像と、前記第１のSDR画像生成手段と前記第２のSDR画像生成手段のうちのいずれか一方で生成したSDR画像とを、それぞれ画像ファイルとして出力するように制御する制御手段と、
   出力モードを選択する選択手段と、
   を備え、
   前記制御手段は、第１の出力モードが選択された場合は前記第１のSDR画像生成手段で生成したSDR画像を出力するように制御し、前記第１の出力モードよりも高速で出力するための第２の出力モードが選択された場合は、前記第２のSDR画像生成手段で生成したSDR画像を出力するように制御することを特徴とする画像処理装置。
2. RAW画像ファイルに含まれるRAW画像にHDR現像処理を施して、HDR画像を生成するHDR画像生成手段と、
   RAW画像ファイルに含まれるRAW画像にSDR現像処理を施して、SDR画像を生成する第１のSDR画像生成手段と、
   前記HDR画像生成手段で生成したHDR画像に対して変換処理を行うことでSDR画像を生成する第２のSDR画像生成手段と、
   RAW画像ファイルからHDR画像とSDR画像とを生成する場合に、前記HDR画像生成手段で生成したHDR画像と、前記第１のSDR画像生成手段と前記第２のSDR画像生成手段のうちのいずれか一方で生成したSDR画像とを、それぞれ画像ファイルとして出力するように制御する制御手段とを備え、
   前記制御手段は、SDR画像のファイルを出力する際、前記第１のSDR画像生成手段、前記第２のSDR画像生成手段のいずれで生成されたSDR画像であるかを示す情報を、SDR画像のファイルに格納することを特徴とする画像処理装置。
3. 前記制御手段は、ユーザの指示に従って、前記第１のSDR画像生成手段で生成したSDR画像と前記第２のSDR画像生成手段で生成したSDR画像のうちいずれか一方のSDR画像を画像ファイルとして出力するように制御することを特徴とする請求項１又は２に記載の画像処理装置。
4. 処理対象のRAW画像ファイルが静止画のファイル、動画のファイルかを判定する判定手段を更に有し、
   前記制御手段は、
   前記判定手段が前記処理対象のRAW画像ファイルが静止画のファイルであると判定した場合には前記第１のSDR画像生成手段で生成したSDR画像を出力するように制御し、
   前記判定手段が前記処理対象のRAW画像ファイルが動画のファイルであると判定した場合には前記第２のSDR画像生成手段で生成したSDR画像を出力するように制御する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 出力モードを選択する選択手段を有し、
   前記制御手段は、第１の出力モードが選択された場合は前記第１のSDR画像生成手段で生成したSDR画像を出力するように制御し、前記第１の出力モードよりも高速で出力するための第２の出力モードが選択された場合は、前記第２のSDR画像生成手段で生成したSDR画像を出力するように制御することを特徴とする請求項２に記載の画像処理装置。
6. 記憶装置に記憶された複数のRAW画像ファイルの中から、ユーザの指示に従って前記処理対象のRAW画像ファイルが指示されたことに応じて、当該指示されたRAW画像ファイルに含まれるプレビュー画像を読み出し、表示する表示手段を更に有することを特徴とする請求項４に記載の画像処理装置。
7. RAW画像ファイルに含まれるRAW画像にHDR現像処理を施して、HDR画像を生成するHDR画像生成工程と、
   RAW画像ファイルに含まれるRAW画像にSDR現像処理を施して、SDR画像を生成する第１のSDR画像生成工程と、
   前記HDR画像生成工程で生成したHDR画像に対して変換処理を行うことでSDR画像を生成する第２のSDR画像生成工程と、
   RAW画像ファイルからHDR画像とSDR画像とを生成する場合に、前記HDR画像生成工程で生成したHDR画像と、前記第１のSDR画像生成工程と前記第２のSDR画像生成工程のうちのいずれか一方で生成したSDR画像とを、それぞれ画像ファイルとして出力するように制御する制御工程と、
   出力モードを選択する選択工程と、
   を備え、
   前記制御工程では、第１の出力モードが選択された場合は前記第１のSDR画像生成工程で生成したSDR画像を出力するように制御し、前記第１の出力モードよりも高速で出力するための第２の出力モードが選択された場合は、前記第２のSDR画像生成工程で生成したSDR画像を出力するように制御することを特徴とする画像処理装置の制御方法。
8. RAW画像ファイルに含まれるRAW画像にHDR現像処理を施して、HDR画像を生成するHDR画像生成工程と、
   RAW画像ファイルに含まれるRAW画像にSDR現像処理を施して、SDR画像を生成する第１のSDR画像生成工程と、
   前記HDR画像生成工程で生成したHDR画像に対して変換処理を行うことでSDR画像を生成する第２のSDR画像生成工程と、
   RAW画像ファイルからHDR画像とSDR画像とを生成する場合に、前記HDR画像生成工程で生成したHDR画像と、前記第１のSDR画像生成工程と前記第２のSDR画像生成工程のうちのいずれか一方で生成したSDR画像とを、それぞれ画像ファイルとして出力するように制御する制御工程とを備え、
   前記制御工程では、SDR画像のファイルを出力する際、前記第１のSDR画像生成工程、前記第２のSDR画像生成工程のいずれで生成されたSDR画像であるかを示す情報を、SDR画像のファイルに格納することを特徴とする画像処理装置の制御方法。
9. コンピュータに読み込ませ、実行させることで、前記コンピュータに、請求項７又は８に記載の方法の各工程を実行させるためのプログラム。

Images