JP7365133B2 - 通信装置およびその制御方法、プログラム - Google Patents

Description

本発明は、通信装置およびその制御方法、プログラムに関する。

デジタルカメラなどの撮像装置は、撮影したＲＡＷ画像から、従来のＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像に比べてより広いダイナミックレンジを持つＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成することが可能である。ＲＡＷ画像とは現像処理前の生の画像である。特許文献１には、ＨＤＲビデオのコンテンツを記録する場合には、当該コンテンツがＨＤＲビデオであるか否かの識別情報と共に記録することが記載されている。

特開２０１８－７１９４号公報

ここで、撮像装置で撮影されたＨＤＲ画像を外部機器に転送し表示／保存を行うようなユースケースがある。外部機器で画像を保存する場合は、保存した画像データの他の利用が想定されるため、互換性の高いファイル形式で保存できることが望ましい。ＨＤＲ画像をファイル形式で送信することで、外部機器で追加の処理を行わずに保存することができる。外部機器でＨＤＲ画像を表示する場合は、高いフレームレートで滑らかに表示できることが望ましい。

ＨＤＲ画像をファイル形式で外部機器に送信すると、データサイズが大きくなってしまう。また、ファイル形式を解析するための追加の処理が必要になる。そのような処理時間が増加することは、滑らかな表示の妨げになる。また、ＨＤＲ画像を格納するファイル形式であるＨＥＶＣは、圧縮符号化された画像データを復号するためのデコード情報を画像データに埋め込むことができない。このため、画像データだけを送信しても外部機器において復号して表示することができない。

本発明は、上記課題に鑑みてなされ、その目的は、画像データを外部機器において滑らかに表示でき、互換性の高いファイル形式で保存できるようにすることである。

上記課題を解決し、目的を達成するために、本発明の通信装置は、外部装置と接続する接続手段と、前記接続手段により接続された外部装置に画像データを送信する送信手段と、前記画像データを符号化する処理手段と、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報とともに前記画像データが符号化される場合、前記デコード情報とともに符号化された画像データを前記外部装置に送信し、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに前記画像データが符号化される場合、当該符号化された画像データを前記外部装置に送信するとともに、前記デコード情報も前記外部装置に送信するよう制御する制御手段と、を有し、前記制御手段は、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに前記画像データが符号化される場合、前記画像データのデコード情報を生成し、前記外部装置に前記画像データと前記デコード情報とを送信する。

本発明によれば、画像データを外部機器において滑らかに表示でき、互換性の高いファイル形式で保存できるようにする技術を実現することである。

本実施形態の装置の外観図。 本実施形態の装置構成を示すブロック図。 本実施形態の装置接続例を示す図。 本実施形態のライブビュー表示処理を示すフローチャート。 本実施形態の接続処理のシーケンス図。 本実施形態のライブビュー撮影処理を示すフローチャート。 本実施形態のＨＤＲ撮影処理を示すフローチャート。 実施形態におけるＲＡＷファイルのデータ構成図。 ＲＡＷファイルにおけるＩｍａｇｅＤａｔａのデータ構成図。 本実施形態の画像ファイル形式の例を示す図。 実施形態のホワイトバランス処理を示すフローチャート。 ＣｘＣｙ平面を示す図。 本実施形態の階調補正パラメータ生成処理を示すフローチャート。 階調補正量を示す図。 ＳＤＲ画像およびＨＤＲ画像の見た目の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
以下に、本発明の撮像装置を、静止画や動画を撮影可能なデジタル一眼レフカメラに適用した実施の形態について、添付図面を参照して詳細に説明する。

＜装置構成＞図１及び図２を参照して、本実施形態のデジタルカメラの構成および機能について説明する。

図１（ａ）はデジタルカメラ１００の前面斜視図、図１（ｂ）はデジタルカメラ１００の背面斜視図である。

図１において、背面表示部１０１は、画像や各種情報を表示する、カメラ本体の背面に設けられたＬＣＤなどの表示デバイスである。また、背面表示部１０１は、静止画撮影後の静止画再生や記録中の動画表示、及びライブビュー表示機能を併せ持っている。ファインダー外表示部２４３は、カメラ本体の上面に設けられたＬＣＤなどの表示デバイスであり、シャッター速度や絞りなどのカメラの様々な設定値を表示する。

シャッターボタン１０２は撮影指示を行うための操作部である。モード切替スイッチ１０３は各種モードを切り替えるためのダイヤル式の操作部である。端子カバー１０４は外部機器とデジタルカメラ１００をＵＳＢなどのケーブルを介して接続するためのコネクタ（不図示）を保護するカバー部材である。メイン電子ダイヤル１０５は図２で後述する操作部２７０に含まれる回転操作部材であり、このメイン電子ダイヤル１０５を回すことで、シャッター速度や絞りなどの設定値が変更できる。

電源スイッチ１０６はデジタルカメラ１００の電源のオン／オフを切り替える操作部材である。サブ電子ダイヤル１０７も図２で後述する操作部２７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー１０８も図２で後述する操作部２７０に含まれる移動指示部材であり、上、下、左、右からなる４方向ボタンのいずれかを押し込むことで、十字キー１０８の押した部分に応じた操作が可能である。

ＳＥＴボタン１０９も図２で後述する操作部２７０に含まれる押しボタンであり、主に選択項目の決定などに用いられる。ライブビューボタン１１０も図２で述する操作部２７０に含まれる押しボタンであり、静止画撮影モードではライブビュー（以下、ＬＶと表記する場合もある）表示のオン／オフを切り替え、動画記録モードでは動画撮影（記録）の開始や停止の指示に使用される。拡大ボタン１１１も図２で後述する操作部２７０に含まれる押しボタンであり、ライブビュー中における拡大表示のオン／オフ、及び拡大表示中の拡大率の変更を行うための操作部材である。また、拡大ボタン１１１は、再生モードでは再生画像を拡大し、拡大率を増加させるための操作部材である。縮小ボタン１１２も図２で後述する操作部２７０に含まれる押しボタンであり、拡大された再生画像の拡大率を減少させ、画面を縮小表示するための操作部材である。再生ボタン１１３も図２で後述する操作部２７０に含まれる押しボタンであり、撮影モードと再生モードとを切り替えるための操作部材である。撮影モード中に再生ボタン１１３を押下することで再生モードに移行し、記録媒体２５０に記録された画像のうち最新の画像を背面表示部１０１または外部機器３００に表示させることができる。

クイックリターンミラー２１２は、図２で後述するシステム制御部２０１の指示に応じて、不図示のアクチュエータによってアップ位置（露光位置）又はダウン位置（ライブビュー位置）に駆動される。通信端子２１０はデジタルカメラ１００がレンズユニット２００（図２）と通信を行うための電気的接点である。覗き込み型の接眼ファインダー２１６はフォーカシングスクリーン２１３（図２）を観察することで、レンズユニット２００を通じて取り込んだ被写体像の焦点や構図の確認を行うための光学部材である。蓋１１６はデジタルカメラ１００に対して記録媒体２５０を着脱するためにスロットを開閉する部材である。グリップ部１１５は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状を有する。

さらに、デジタルカメラ１００には、図２で後述する操作部２７０に含まれる操作部材として、ＡＦ－ＯＮボタン２７０ｂ、クイック設定ボタン２７０ｃ、アクティブ枠切替ボタン２７０ｄ、メニューボタン２７０ｅ、ファンクションボタン２７０ｆ、インフォボタン２７０ｇがある。

次に、図２を参照して、本実施形態のデジタルカメラ１００及びレンズユニット２００の内部構成について説明する。図２において、図１と共通する構成には同じ符号を付して示している。

図２において、レンズユニット２００は撮影レンズ２０７を搭載し、デジタルカメラ１００に対して着脱可能である。撮影レンズ２０７は通常、複数枚のレンズから構成されるが、ここでは簡略して１枚のレンズのみで示している。通信端子２０６はレンズユニット２００がデジタルカメラ１００と通信を行うための電気的接点である。通信端子２１０はデジタルカメラ１００がレンズユニット２００と通信を行うための電気的接点である。レンズユニット２００は、通信端子２０６を介してシステム制御部２０１と通信し、内蔵されたレンズ制御部２０４が絞り駆動回路２０２を制御して絞り２０５を駆動し、ＡＦ駆動回路２０３を制御して撮影レンズ２０７の位置を変位させることで焦点を合わせる。

ＡＥセンサ２１７は、レンズユニット２００を通じて取り込んだ被写体の輝度を測光する。焦点検出部２１１は、システム制御部２０１にデフォーカス量を出力し、システム制御部２０１はデフォーカス量に応じてレンズユニット２００と通信し、位相差検出方式でのオートフォーカス処理に関する制御を行う。

クイックリターンミラー（以下、ミラー）２１２は、露光、ライブビュー表示、動画撮影の際にシステム制御部２０１から指示を受けて、不図示のアクチュエータによってアップ位置又はダウン位置に駆動される。クイックリターンミラー２１２は、撮影レンズ２０７から入射した光束を接眼ファインダー２１６又は撮像部２２２へ切り替える。クイックリターンミラー２１２は通常、光束を反射して接眼ファインダー２１６へ光束を導くようダウン位置に付勢されているが、露光やライブビュー表示には、撮像部２２２へ光束を導くように上方に跳ね上がり光束中から待避する（アップ位置）。また、クイックリターンミラー２１２は、光束の一部が透過して焦点検出部２１１に入射するように、中央部がハーフミラーとなっている。撮影者は、ペンタプリズム２１４と接眼ファインダー２１６を介して、フォーカシングスクリーン２１３を観察することで、レンズユニット２００を通じて取り込んだ被写体像の焦点や構図の確認が可能となる。

フォーカルプレーンシャッター２２１は、システム制御部２０１の指示に応じて撮像部２２２での露光時間を自由に制御できる。撮像部２２２は被写体像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子で構成されたイメージセンサである。撮像部２２２の撮像面には、Ｒ，Ｇ，Ｂの各色成分のフィルタが２次元的に周期的に配置されている。隣接する２×２個のフィルタについて着目したとき、その対角関係にある２つにはＧ成分のフィルタが配置され、残りの２つにＲ成分とＢ成分のフィルタが配置される。そして、この２×２個のフィルタが、撮像部２２２の撮像面に配列されている。この配列は一般にベイヤ配列と呼ばれる。それ故、撮像部２２２から出力される信号（アナログ信号）が表す画像も、ベイヤ配列の画素信号となる。Ａ／Ｄ変換器２２３は、撮像部２２２から出力される１画素のアナログ信号を、例えば１０ビットのデジタル信号に変換する。なお、この段階での画像データは、上記のように、１画素１成分で、１成分当たり１０ビットのベイヤ配列の画像データであり、未現像の画像データである。そのため、この段階での画像データをＲＡＷ画像データという。なお、欠陥画素を補った後のベイヤ配列の画像データをＲＡＷ画像データとしてもよい。なお、本実施形態ではＡ／Ｄ変換器２２３がアナログ信号を１０ビットのデジタルデータに変換するものとしているが、このビット数は８ビットを超えるビット数であればよく、特に制限はない。ビット数が多いほど、高階調表現が可能となる。

画像処理部２２４は、Ａ／Ｄ変換器２２３からのデータ、又は、メモリ制御部２１５からのデータに対して所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２２４では、撮像した画像データを用いて所定の演算処理が行われ、システム制御部２０１は演算結果に基づいて露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２２４では更に、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理部２２４は、システム制御部２０１の制御により、画像データの圧縮符号化／復号（デコード）処理も行う。圧縮符号化処理には、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＨＥＶＣが含まれる。ＪＰＥＧは１色成分当たり８ビットの画像データを圧縮符号化する方式であり、ＨＥＶＣは１色成分当たり８ビットを超える画像データを圧縮符号化する方式である。

Ａ／Ｄ変換器２２３から出力されるデジタルデータは、画像処理部２２４及びメモリ制御部２１５を介して、あるいは、メモリ制御部２１５を介してメモリ２３２に直接書き込まれる。メモリ２３２は、撮像部２２２及びＡ／Ｄ変換器２２３から得られる画像データや、背面表示部１０１または外部機器３００に表示するための画像表示用のデータを格納する。メモリ２３２は、所定枚数の静止画や所定時間の動画及び音声を格納するのに十分な記憶容量を備えている。また、メモリ２３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１９は、メモリ２３２に格納されている画像表示用のデータをアナログ信号に変換して背面表示部１０１に供給する。メモリ２３２に書き込まれた表示用の画像データはＤ／Ａ変換器２１９を介して背面表示部１０１により表示される。背面表示部１０１は、Ｄ／Ａ変換器２１９からのアナログ信号に応じた表示を行う。このように、メモリ２３２に格納されたデジタル信号をアナログ信号に変換し、背面表示部１０１に逐次転送して表示することで、電子ビューファインダー（ＥＶＦ）機能を実現し、ライブビュー表示（スルー画像表示）を行える。

ファインダー内表示部２４１には、ファインダー内表示部駆動回路２４２を介して、現在ＡＦ処理が行われている測距点（ＡＦ位置）を示す枠やカメラの設定状態を表すアイコンなどが表示される。これにより、ユーザは、接眼ファインダー２１６を覗くことでレンズユニット２００により取り込まれた被写体像を視認できる光学ファインダー（ＯＶＦ）を介して、ＡＦ位置やカメラの設定状態を確認することが可能となる。

ファインダー外表示部２４３には、ファインダー外表示部駆動回路２４４を介して、シャッター速度や絞りなどのカメラの様々な設定値が表示される。

外部出力Ｉ／Ｆ２９０は、メモリ２３２に格納されている画像表示用のデータをデジタル信号のまま外部機器３００に供給する。例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に準拠した通信プロトコルに従って、動画データをストリーム形式で出力する。こうして、メモリ２３２に書き込まれた表示用の画像データは外部機器３００に表示される。

不揮発性メモリ２５６は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ２５６には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２０１は、デジタルカメラ１００全体を統括して制御するＣＰＵやＭＰＵを備え、不揮発性メモリ２５６に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ２５２はＲＡＭなどであり、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２５６から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部２０１は、メモリ２３２、Ｄ／Ａ変換器２１９、背面表示部１０１、外部出力Ｉ／Ｆ２９０などを制御することにより表示制御も行う。システムタイマー２５３は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。

モード切替スイッチ１０３、第１シャッタースイッチ２６１、第２シャッタースイッチ２６２、操作部２７０はシステム制御部２０１に各種の指示を入力するための操作手段である。モード切替スイッチ１０３は、システム制御部２０１の動作モードを、静止画撮影モード、動画記録モード、再生モードのいずれかに切り替える。静止画撮影モードには、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）が含まれる。また、静止画撮影モードには、例えば、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモードなどが含まれる。

モード切替スイッチ１０３で、静止画撮影モードに含まれる複数のモードのいずれかに直接切り替える。あるいは、モード切替スイッチ１０３で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれる複数のモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードや再生モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ２６１は、デジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１を受けて画像処理部２２４によって、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などを開始する。

第２シャッタースイッチ２６２は、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２２からの信号読み出しから記録媒体２５０に画像データを書き込むまでの一連の撮影処理を開始する。

操作部２７０は、背面表示部１０１や外部機器３００に表示される種々の機能に関するに設定を行うための項目や設定値を示すアイテムを選択することにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、メニューボタン２７０ｅや、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタン２７０ｅが押されると各種の設定可能なメニュー画面が背面表示部１０１や外部機器３００に表示される。ユーザは、背面表示部１０１や外部機器３００に表示されたメニュー画面と、十字キー１０８やＳＥＴボタン１０９を用いて直感的に各種設定を行うことができる。

なお、本実施形態における背面表示部１０１はＳＤＲ画質の画像表示機能、すなわち、Ｒ，Ｇ，Ｂの各色成分が８ビット（２５６階調）で表示可能とする。また、外部機器３００がデジタルカメラ１００に接続された場合は、外部機器３００が、背面表示部１０１に代わって撮像画像やライブビューの出力対象デバイスとして設定されるものとする。また、ユーザが、操作部２７０を操作して、背面表示部１０１と外部機器３００のいずれに表示するかを明示的に選択した場合には、その選択した方が出力対象デバイスとなるものとする。

操作部２７０は、ユーザからの操作を受け付けて、システム制御部２０１へ通知する入力部であり、少なくとも以下の操作部材が含まれる。シャッターボタン１０２、メイン電子ダイヤル１０５、電源スイッチ１０６、サブ電子ダイヤル１０７、十字キー１０８、ＳＥＴボタン１０９、ライブビューボタン１１０、拡大ボタン１１１、縮小ボタン１１２、再生ボタン１１３。十字キー１０８は、十字キー１０８における上、下、右、左の各部を押し込み可能な方向ボタンである。本実施形態では一体的な操作部として説明しているが、上ボタン、下ボタン、右ボタン、左ボタンがそれぞれ独立したボタンであってもよい。以下、上、または下部分を上下キー、左または右部分を左右キーと称する。また、操作部２７０には以下の操作部も含まれる。

ＡＦ－ＯＮボタン２７０ｂは、操作部２７０に含まれる押しボタンスイッチであり、押下することでＡＦの実行を指示することができる。ＡＦ－ＯＮボタン２７０ｂの押下方向は、レンズユニット２００から撮像部２２２に入射する被写体光の方向（光軸）と平行である。

クイック設定ボタン２７０ｃ（以下、Ｑボタン２７０ｃ）は、操作部２７０に含まれる押しボタンスイッチであり、押下することで、各動作モードにおいて設定可能な設定項目の一覧であるクイック設定メニューが表示される。例えばライブビュー撮影での撮影待機中に押下されると、電子先幕シャッター、モニターの明るさ、ＬＶ画面のＷＢ、２点拡大、無音撮影などの設定項目の一覧がＬＶに重畳して１列に表示される。ユーザは表示されたクイック設定メニューの内、任意の選択肢を上下キーで選択してセットボタンを押下することで、選択した設定項目に関する設定変更や動作モードへの移行を行うことができる。

アクティブ枠切替ボタン２７０ｄは、操作部２７０に含まれる押しボタンスイッチであり、拡大している２箇所のうち、アクティブな拡大位置（枠）を切り替えることができる。また、動作モードによって異なる機能が割り当てられており、再生モードにおいて押下すると、表示している画像にプロテクト属性を付与することができる。

メニューボタン２７０ｅは、操作部２７０に含まれる押しボタンスイッチであり、各種の設定が可能なメニュー画面が背面表示部１０１、または、外部機器３００に表示される。

ファンクションボタン２７０ｆは、操作部２７０に含まれる３つの押しボタンスイッチであり、それぞれ機能が割り当てられている。ファンクションボタン２７０ｆのそれぞれは、グリップ部１１５を保持する右手の指（中指または薬指または小指）によって操作可能な位置に配置されており、押下方向はレンズユニット２００から撮像部２２２に入射する被写体光の方向（光軸）と平行である。

インフォボタン２７０ｇは、操作部２７０に含まれる押しボタンスイッチであり、各種情報表示の切り替えなどに使用される。

電源制御部２８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２８０は、その検出結果及びシステム制御部２０１の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５０を含む各部へ供給する。

電源部２３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ２１８は、メモリカードやハードディスク等の記録媒体２５０とのインターフェースである。記録媒体２５０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部２５４は、無線又は有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部２５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信プロトコルは、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＰＴＰ－ＩＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの画像転送プロトコルを想定しているが、既存の技術を使う想定であるため、本実施形態では特に限定しない。通信部２５４は撮像部２２２で撮像した画像（スルー画像を含む）や、記録媒体２５０に記録された画像ファイルを送信可能であり、また、外部機器から画像ファイルやその他の各種情報を受信することができる。

姿勢検知部２５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部２５５で検知された姿勢に基づいて、撮像部２２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部２０１は、姿勢検知部２５５で検知された姿勢に応じた向き情報を撮像部２２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部２５５としては、加速度センサやジャイロセンサなどを用いることができる。

なお、操作部２７０の１つとして、背面表示部１０１に対する接触を検出可能なタッチパネル２７０ａを有する。タッチパネル２７０ａと背面表示部１０１とは一体的に構成することができる。例えば、タッチパネル２７０ａを光の透過率が背面表示部１０１の表示を妨げないように構成し、背面表示部１０１の表示面の上層に取り付ける。そして、タッチパネル２７０ａにおける入力座標と、背面表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが背面表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。システム制御部２０１はタッチパネル２７０ａへの以下の操作、あるいは状態を検出できる。

・タッチパネル２７０ａにタッチしていなかった指やペンが新たにタッチパネル２７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。

・タッチパネル２７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。

・タッチパネル２７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。

・タッチパネル２７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。

・タッチパネル２７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル２７０ａａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部２０１に通知される。システム制御部２０１は通知された情報に基づいてタッチパネル２７０ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル２７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作（ドラッグ）が行われたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（ドラッグに続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。

タッチパネル２７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

なお、本実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダなど、表示部を備え、表示部を備え、外部機器にデータを転送可能な装置であれば、本発明は適用可能である。

＜ＬＶ表示処理＞次に、図３および図４を参照して、本実施形態のＬＶ表示処理について説明する。

図３はデジタルカメラ１００と外部機器３００とを接続した例を示している。デジタルカメラ１００と外部機器３００を接続ケーブル３０３で接続し、デジタルカメラ１００をＬＶ撮影モードにする。デジタルカメラ１００の背面表示部１０１に表示しているＬＶ表示と同様の表示が、外部機器３００のアプリケーションソフトウェアを介して外部機器３００のディスプレイ３０１に表示される。

図４は、デジタルカメラ１００と外部機器３００を接続した場合におけるＬＶ表示モード処理を示している。なお、図４の処理は、不揮発性メモリ２５６に記録されたプログラムをシステムメモリ２５２に展開してシステム制御部２０１が実行することで実現する。後述する図６でも同様である。

まず、本実施形態におけるＨＤＲ撮影モードおよびＳＤＲ撮影モードについて説明する。本実施形態のデジタルカメラ１００は、ユーザからのメニュー操作などによってＨＤＲ撮影モードまたはＳＤＲ撮影モードを設定できる。これらのモードは、ユーザが最終的にＨＤＲ画質の画像データを得るかＳＤＲ画質の画像データを得るかを設定するためのモードであり、以下の処理はいずれのモードが設定されているかに応じて種々の制御が行われる。以下、ＨＤＲ撮影モード及びＳＤＲ撮影モードで撮影を行うことを「ＨＤＲ撮影」、「ＳＤＲ撮影」と記載することもある。ただし、後述するようにＲＡＷ形式のみの記録を設定することも可能であるため、ＨＤＲ撮影モードで撮影された場合に必ずＨＤＲ画像が記録されるとは限らない。

Ｓ４０１にて、システム制御部２０１は、ユーザ操作に応じた撮影モードの設定がＨＤＲ撮影モードとなっているか否かを判定する。システム制御部２０１は、ＨＤＲ撮影モードに設定されていると判定した場合は処理をＳ４０２に進め、ＳＤＲ撮影モードに設定されていると判定した場合は処理をＳ４２２に進める。

Ｓ４０２にて、システム制御部２０１は、デジタルカメラ１００に外部機器３００が接続されているか否かを判定する。システム制御部２０１は、外部機器３００が接続されていると判定した場合はＳ４０３に、接続されていないと判定した場合は処理をＳ４０４に進める。

Ｓ４０３にて、システム制御部２０１は、デジタルカメラ１００と外部機器３００の接続処理を行う。そして、システム制御部２０１は処理をＳ４０４へ進める。接続処理については図５で後述する。

Ｓ４０４にて、システム制御部２０１は、撮像部２２２で撮像しＡ／Ｄ変換器２２３でデジタル信号に変換して得られたＲＡＷ画像データに対し、画像処理部２２４を用いてＨＤＲ画質の現像処理を行う。以下、ＨＤＲ画質の現像処理で得た画像をＨＤＲ画像という。

なお、実施形態における、ＨＤＲ画像データとは、１画素が３成分（ＬｕｖやＹＣｂＣｒ等）で構成され、且つ、実施形態では各成分が１０ビット（１０２４階調）で表されるデータである。ＨＤＲ画像データには、ＨＤＲ画像用のガンマカーブ（例えば、ＩＴＵ－Ｒの勧告ＢＴ．２１００のＰＱやＨＬＧ）が適用されている。

Ｓ４０５にて、システム制御部２０１は、圧縮符号化する画像のフォーマットは画像データにデコード情報を含むか否かを判定する。デコード情報を含まないと判定した場合は処理をＳ４０６に進め、デコード情報を含むと判定した場合は処理をＳ４０９に進める。

図１０（ａ）はＩｍａｇｅＤａｔａ９１０にＤｅｃｏｄｅＤａｔａ９０７を含まない画像ファイルフォーマットとしてＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）の例を示している。画像ファイル９０１は、先頭にファイルタイプの記述のためのボックスｆｔｙｐ９０２、全てのメタデータを含むボックスｍｅｔａ９０３、トラックのメディアデータ本体のボックスｍｄａｔ９０９、その他のボックス９０８を有する。ボックスｍｅｔａ９０３は子要素として、ＭｅｔａＤａｔａ９０５を格納するボックスｕｕｉｄ９０４とＤｅｃｏｄｅＤａｔａ９０７を格納するボックスｐｒｏｐ９０６を有する。ＭｅｔａＤａｔａ９０５には、画像のメタデータが記載されており、例えば画像の作成日時、撮影時条件、ＨＤＲまたはＳＤＲで撮影したかどうかの情報、検出メタデータ、その他の撮影情報から構成される。ＤｅｃｏｄｅＤａｔａ９０７には、ＩｍａｇｅＤａｔａ９１０をデコードするためのデータが記載されており、例えばＶＰＳ（ＶｉｄｅｏＰａｒａｍｅｔｅｒＳｅｔ）、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）等で構成される。ボックスｍｄａｔ９０９は子要素として、撮影した画像の圧縮画像データであるＩｍａｇｅＤａｔａ９１０を持つ。ＩｍａｇｅＤａｔａ９１０はＨＥＶＣで圧縮符号化した画像データのみで構成されるため、ＤｅｃｏｄｅＤａｔａ９０７を組み合わせなければＩｍａｇｅＤａｔａ９１０のデコードができないことになる。本実施形態では、画像ファイル９０１の全体ではなく、ＤｅｃｏｄｅＤａｔａ９０７とＩｍａｇｅＤａｔａ９１０のみを送信することで、外部機器３００での表示を高速化することができる。

図１０（ｂ）はＩｍａｇｅＤａｔａ９２８にＤｅｃｏｄｅＤａｔａ９２９を含む画像ファイルフォーマットとしてＪＰＥＧの例を示している。画像ファイル９２１は、データの開始を表すマーカーＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）９２２を有する。量子化テーブルを格納するためのマーカーＤＱＴ（Ｄｅｆｉｎｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｔａｂｌｅ）９２３、ハフマンテーブルを格納するためのマーカーＤＨＴ（Ｄｅｆｉｎｅ Ｈｕｆｆｍａｎ Ｔａｂｌｅ）９２４を有する。フレームに関するパラメータを格納するためのマーカーＳＯＦ（Ｓｔａｒｔ Ｏｆ Ｆｒａｍｅ）９２５、コンポーネントに関するパラメータを格納するためのマーカーＳＯＳ（Ｓｔａｒｔ Ｏｆ Ｓｃａｎ）９２６を有する。データの終了を表すマーカーＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）９２７を有する。画像ファイル９２１は、ＩｍａｇｅＤａｔａ９２８をデコードするためのＤｅｃｏｄｅＤａｔａ９２９を含み、外部機器３００に送信して、デコード、表示を行うことができる。

図４に戻り、Ｓ４０６にて、システム制御部２０１は、画像処理部２２４によりＨＤＲ画像をＨＥＶＣ形式に圧縮符号化し、ＩｍａｇｅＤａｔａ９１０を生成し、メモリ２３２に出力する。この場合、ＩｍａｇｅＤａｔａ９１０を表示するために必要なデコード情報は、ＩｍａｇｅＤａｔａ９１０とは別のデータＤｅｃｏｄｅＤａｔａ９０７としてメモリ２３２に出力されている。

Ｓ４０７にて、システム制御部２０１は、ＩｍａｇｅＤａｔａ９１０とＤｅｃｏｄｅＤａｔａ９０７を外部出力Ｉ／Ｆ２９０を介して外部機器３００に送信する。外部機器３００はデジタルカメラ１００から受信したデータを使用して表示用の画像を生成し、外部機器３００のディスプレイ３０１に表示する。

Ｓ４０９にて、システム制御部２０１は、画像処理部２２４によりＨＤＲ画像をＪＰＥＧ形式に圧縮符号化し、ＩｍａｇｅＤａｔａ９２８を生成し、メモリ２３２に出力する。この場合、ＩｍａｇｅＤａｔａ９２８を表示するために必要なデコード情報は、ＤｅｃｏｄｅＤａｔａ９２９としてＩｍａｇｅＤａｔａ９２８に埋め込まれている。

Ｓ４１０にて、システム制御部２０１は、ＤｅｃｏｄｅＤａｔａ９２９を含むＩｍａｇｅＤａｔａ９２８を外部出力Ｉ／Ｆ２９０を介して外部機器３００に送信する。

Ｓ４１１にて、システム制御部２０１は、外部機器３００がデジタルカメラ１００に接続されているか否かを判定する。システム制御部２０１は、外部機器３００が接続されていると判定した場合は処理をＳ４１２に進め、接続されていないと判定した場合は処理をＳ４１３に進める。

Ｓ４１２にて、システム制御部２０１は、デジタルカメラ１００と外部機器３００の接続処理を行い、処理をＳ４１３へ進める。接続処理については図５で後述する。

Ｓ４１３にて、システム制御部２０１は、撮像部２２２で撮像し、Ａ／Ｄ変換器２２３でデジタル信号に変換した画像を画像処理部２２４でＳＤＲ画質（１画素３成分で、１成分当たり８ビット（２５６階調））に現像し、処理をＳ４０５に進める。なお、以降、ＳＤＲ画質の現像処理後の画像をＳＤＲ画像という。ここで、Ｓ４１３におけるＳＤＲ画質の画像データ（ＳＤＲ画像データ）とは、１成分当たり８ビットの画像データをいう。ＳＤＲ画質の画像データには、ＳＤＲ画像用のガンマカーブ（例えば、ｓＲＧＢ規格のガンマカーブ）が適用されている。なお、ｓＲＧＢ規格のガンマカーブは、一般的には暗部が直線で明部が２．４のべき乗のカーブであるが、簡易的には２．２のべき乗のカーブを用いてもよい。

Ｓ４１４にて、システム制御部２０１は、ＬＶモードの終了指示があったか否かを判定し、ＬＶモードの終了指示がないと判定した場合は処理をＳ４０１に戻し、終了指示があったと判定した場合は本処理を終了する。

なお、図４のＳ４０５の判定処理に加えて、後述する図６のＬＶ撮影処理におけるＳ６０６の判定処理を行ってもよい。

図５は、デジタルカメラ１００と外部機器３００が接続された場合の、デジタルカメラ１００と外部機器３００の通信手順を示している。ここでは、デジタルカメラ１００と外部機器３００がＵＳＢインターフェースを介して接続されているものとして説明する。

Ｓ５０１では、外部機器３００は、接続ケーブル３０３のＶＢＵＳ信号線（不図示）からＶＢＵＳ信号の送信を開始する。デジタルカメラ１００の外部出力Ｉ／Ｆ２９０は、送信されたＶＢＵＳ信号を、接続ケーブル３０３を介して受信する。外部出力Ｉ／Ｆ２９０は、ＶＢＵＳ信号を受信すると、システム制御部２０１にＶＢＵＳ信号の受信を通知する。

Ｓ５０２にて、システム制御部２０１は、ＶＢＵＳの通知によって外部機器３００からの接続応答を検知し、処理をＳ５０３へ進める。

Ｓ５０３、Ｓ５０４にて、システム制御部２０１は、外部出力Ｉ／Ｆ２９０を制御して、外部機器３００とエニュメレーション処理を行い、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）による接続を完了する。

Ｓ５０５にて、外部機器３００は、デジタルカメラ１００に対して画像の取得要求を行う。

Ｓ５０６にて、システム制御部２０１は、図４で説明した処理を行い、送信する画像を生成する。

Ｓ５０８にて、外部機器３００はデジタルカメラ１００から受信した画像を表示する。Ｓ５０５からＳ５０８を繰り返すことで、ＬＶ表示のような時間的に連続した画像の表示を行うことができる。

このように、本実施形態のデジタルカメラ１００は、画像データ（ＩｍａｇｅＤａｔａ９１０、９２８）にデコード情報（ＤｅｃｏｄｅＤａｔａ９０７、９２９）を含むか否かに応じて、外部機器３００に送信するデータを切り替えることが可能となる。

＜ＬＶ撮影処理＞次に、図６を参照して、本実施形態のＬＶ撮影処理について説明する。なお、以下では、図４と同一の処理を行うものについては、同一の符号を付して説明を省略する。

図４のＬＶ表示処理は、デジタルカメラ１００で撮影された画像を外部機器３００でＬＶ表示する処理であるのに対し、図６のＬＶ撮影処理は、デジタルカメラ１００で撮影され、記録され画像を外部機器３００で表示または保存する処理である。

Ｓ６０１にて、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１を受信しているか否かに基づき、シャッターボタン１０２が半押し状態か否かを判定する。システム制御部２０１は、シャッターボタン１０２が半押しされていないと判定した場合は処理をＳ４０１に進め、半押し状態であると判定した場合は処理をＳ６０２に進める。

Ｓ６０２にて、システム制御部２０１は、図２で説明したＡＦ／ＡＥ処理を行い、Ｓ６０３に進む。

Ｓ６０３にて、システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２を受信しているか否かに基づき、シャッターボタン１０２が全押し状態か否かを判定し、全押し状態でないと判定した場合は処理をＳ６０４に進め、全押し状態であると判定した場合は処理をＳ６０５に進める。

Ｓ６０４にて、システム制御部２０１は、シャッターボタン１０２が半押し状態が保持されているかを判定し、半押し状態が保持されていれば処理をＳ６０２に戻し、半押し状態が保持されていないと判定した場合は処理をＳ４０１に戻す。

Ｓ６０５にて、システム制御部２０１は、ＨＤＲ撮影処理を行い、記録媒体２５０に予め設定した記録形式に応じた画像ファイルを記録する。図１０（ａ）は、記録されるファイルのデータ構造を示している。なお、ＨＤＲ撮影処理については図７で後述する。そして、システム制御部２０１は処理をＳ６０６に進める。

Ｓ６０６にて、システム制御部２０１は、Ｓ６０５で生成した画像ファイル９０１が外部機器３００で保存されるのか表示されるのかを判定する。システム制御部２０１は、外部機器３００で表示すると判定した場合は処理をＳ６０７に進め、保存すると判定した場合は処理をＳ６０９に進める。外部機器３００がデジタルカメラ１００から受信した画像ファイルを保存するか否かは、デジタルカメラ１００が外部機器３００から画像表示要求や画像保存要求を受信することで判定される。

Ｓ６０７にて、システム制御部２０１は、ＩｍａｇｅＤａｔａ９１０とＤｅｃｏｄｅＤａｔａ９０７を外部出力Ｉ／Ｆ２９０を介して外部機器３００に送信する。外部機器３００はデジタルカメラ１００から受信したデータを使用して表示用の画像を生成し、外部機器３００のディスプレイ３０１に表示する。本実施形態では、画像ファイル９０１の全体ではなく、ＤｅｃｏｄｅＤａｔａ９０７とＩｍａｇｅＤａｔａ９１０のみを送信することで、外部機器３００での表示の高速化を実現している。

Ｓ６０９にて、システム制御部２０１は、Ｓ６０５で生成した画像ファイル９０１を外部出力Ｉ／Ｆ２９０を介して外部機器３００に送信する。外部機器３００はデジタルカメラ１００から受信した画像ファイルを外部機器３００の記憶装置３０２に保存する。本実施形態では、ファイル形式で画像ファイル９０１を送信することで、外部機器３００は互換性が高い画像ファイルを保存することができる。

Ｓ６１１にて、システム制御部２０１は、シャッターボタン１０２が半押し状態か否かを判定し、半押し状態にないと判定した場合は処理をＳ４０１に進め、半押し状態であると判定した場合は処理をＳ６１２に進める。

Ｓ６１２にて、システム制御部２０１は、図２で説明したＡＦ／ＡＥ処理を行い、Ｓ４３２に進める。

Ｓ６１３にて、システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２を受信したか否かに基づき、シャッターボタン１０２が全押し状態か否かを判定する。システム制御部２０１は、全押し状態でないと判定した場合は処理をＳ６１２に進め、全押し状態であると判定した場合は処理をＳ６１５に進める。

Ｓ６１４にて、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１を受信したか否かに基づき、シャッターボタン１０２が半押し状態が保持されているか否かを判定する。システム制御部２０１は、半押し状態が保持されていると判定した場合は処理をＳ６１２に戻し、半押し状態が保持されていないと判定した場合は処理をＳ４１４に進める。

Ｓ６１５にて、システム制御部２０１は、ＳＤＲ撮影処理を行い、Ｓ６０６に進む。ＳＤＲ撮影処理では、システム制御部２０１は、ＳＤＲ撮影で得たＲＡＷ画像データをＳＤＲ画質で現像処理し、ＳＤＲ画像をＪＰＥＧ圧縮符号化してＪＰＥＧ画像データを生成し、ＪＰＥＧ形式のファイルとして記録媒体２５０に記録する。図１０（ｂ）は、記録されるファイルのデータ構造を示している。

ＳＤＲ画像の場合は、Ｓ６０６にて、システム制御部２０１は、Ｓ６１５で生成した画像ファイルを外部機器３００で保存するか表示するかにかかわらず、Ｓ６０９にて外部機器３００に送信する。外部機器３００はデジタルカメラ１００から受信したＪＰＥＧ画像データを記憶装置３０２に記憶、または、デコードしてディスプレイ３０１に表示する。

このように、デジタルカメラ１００は、圧縮符号化された画像ファイル９０１が外部機器３００において表示する対象となっているか保存する対象となっているかに応じて、外部機器３００に送信するデータを切り替えることが可能である。

なお、図４のＬＶ表示処理におけるＳ４０５の判定処理と、図６のＬＶ撮影処理におけるＳ６０６の判定処理とを組み合わせてもよい。この場合、Ｓ６０６で外部機器３００がデジタルカメラ１００から受信したＨＤＲ画像またはＳＤＲ画像を表示すると判定された場合に、図４のＳ４０５の判定を行い、Ｓ４０６～Ｓ４０９の処理を行えばよい。

＜ＨＤＲ撮影処理＞次に、図７を参照して、図６のＳ６０５におけるＨＤＲ撮影処理について説明する。

ＨＤＲ撮影処理は、メモリ２３２に書き込まれたＲＡＷデータを画像処理部２２４におおいてＨＤＲ画質で現像処理を行う。

デジタルカメラやデジタルビデオカメラ等の撮像装置は、撮影時の光源に応じて撮影画像の色調を補正するホワイトバランス機能を備えている。ホワイトバランス機能は、光源（晴天や曇天等の自然光源、蛍光灯や白熱灯等の人工光源）によって変わる色調の違いを補正し、光源に関わらず白さが同じに見えるようにする機能である。Ｓ７０１～Ｓ７０３において、ホワイトバランス処理に必要なホワイトバランス係数が算出されることになる。また、本実施形態では、空などの高輝度領域の階調をなるべく白飛びさせないよう、人物などの明るさが適正となる露出よりも低い露出で撮影するものとする。

Ｓ７０１にて、システム制御部２０１は、メモリ制御部２１５を介して、ＲＡＷ画像データを取得する。

Ｓ７０２にて、システム制御部２０１は、ホワイトバランス係数を算出するために取得したＲＡＷ画像データに対して白らしい画素を判定する、白サーチ枠内判定処理を行う。

Ｓ７０３にて、システム制御部２０１は、白サーチ枠内判定結果に基づいてホワイトバランス用係数を算出する。

Ｓ７０２、Ｓ７０３の処理の詳細について図１１のフローチャートを用いて説明する。

ＲＡＷ画像データは、前述したように、１つの画素はＲ，Ｇ，Ｂのいずれか１つの成分の信号しか有さない。白サーチを行うため、システム制御部２０１は、色信号に変換する必要があるためデベイヤ処理Ｓ１１０１を行い、１画素につきＲ，Ｇ，Ｂの全チャンネルの信号を生成する。デベイヤの方法は幾つかあるが、例えばローパスフィルターによる線形補間で信号生成できる。ＲＡＷ画像データは一般的にノイズによる影響があるため光学的黒（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）は、０ではなく値を持っている。よってシステム制御部２０１は、デベイヤ後の信号からＯＢ分を減算する処理（Ｓ１１０２）を行う。そして、システム制御部２０１は、取得したＲＧＢ信号から色信号Ｃｘ、Ｃｙを式１により算出する（Ｓ１１０３）。
（式１）
Ｃｘ＝｛（Ｒ＋Ｇ２）－（Ｒ＋Ｇ１）｝／Ｙｉ
Ｃｙ＝｛（Ｒ＋Ｂ）－（Ｇ１＋Ｇ２）｝／Ｙｉ
Ｙｉ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
Ｇ１，Ｇ２は、ベイヤ配列の２×２画素における２つのＧ成分値である。また、Ｃｘは色温度を表し、Ｃｙは緑方向補正量を表している。また、Ｙｉは輝度値である。

図１２に、Ｃｘ－Ｃｙ平面を示す。図１２に示すように、撮像装置において予め白色を高色温度下（例えば日中など）から低色温度下（例えば日暮れ時など）まで撮影し、色評価値Ｃｘ、Ｃｙを座標上にプロットすることで、白色を検出するための基準となる白軸１２００を定めることができる。実際の光源において白色には若干のばらつきが存在するため、システム制御部２０１は、白軸１２００の両側に或る程度の幅を持たせる（Ｓ１１０４）。この白軸に幅を持たせた枠を白サーチ枠１２０１と呼ぶ。

Ｓ１１０５にて、システム制御部２０１は、デベイヤ後の各画素についてＣｘ－Ｃｙ座標系にプロットし、白サーチ枠内に入っているかどうかを判定する。Ｓ１１０６にて、システム制御部２０１は、白サーチ枠内に入った画素の中で、積分対象とする画素を輝度方向で制限する明暗除外処理を行う。これは暗すぎる色はノイズの影響を受けやすくなるのでホワイトバランス係数の算出精度が低下してしまうことを防ぐために行う。同様に明るすぎる色は各チャンネルのいずれかがセンサ飽和することでＲ／ＧもしくはＢ／Ｇ比のバランスが崩れ正しい色から離れていってしまいホワイトバランス係数の算出精度が低下してしまうことを防ぐために行う。このとき、ＳＤＲとＨＤＲでは明暗除外処理の対象とする画素の輝度を異ならせる。つまり、ＳＤＲとＨＤＲとで後述するホワイトバランス係数の算出に用いる画素を異ならせる。これはＳＤＲに比べてＨＤＲの方が高輝度域の再現性が高いことによる。本実施形態では、ＳＤＲでは明度側が例えば＋１ＥＶまでの明るさまで対象とするのに対して、ＨＤＲでは＋２ＥＶまでの明るさまで対象とすることでよりＨＤＲに最適化されたホワイトバランス係数を算出することが可能となる。

Ｓ１１０７にて、システム制御部２０１は、白サーチ枠内でかつ明暗除外処理のなされたＣｘ、Ｃｙからそれぞれの色評価値の積分値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを算出する。そして、Ｓ１１０８にて、システム制御部２０１は、算出した積分値から、式２によりホワイトバランス係数ＷＢＣｏＲ、ＷＢＣｏＧ、ＷＢＣｏＢを算出する。
（式２）
ＷＢＣｏＲ＝（ＳｕｍＹ×１０２４）／ＳｕｍＲ
ＷＢＣｏＧ＝（ＳｕｍＹ×１０２４）／ＳｕｍＧ
ＷＢＣｏＢ＝（ＳｕｍＹ×１０２４）／ＳｕｍＢ
ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４
式２における右辺の“１０２４”は、１色成分が１０ビット精度となっているためである。

なお、ホワイトバランス係数はユーザによって設定されている撮影モード（ＳＤＲ撮影もしくはＨＤＲ撮影）用の値を算出してもよいし、ＳＤＲ用、ＨＤＲ用の両方を算出してもよい。

図７の説明に戻り、Ｓ７０４～Ｓ７０６において、システム制御部２０１は、階調補正処理に必要な階調補正テーブルを算出する。階調補正の詳細を図１３のフローチャートを用いて説明する。

Ｓ１３２１にて、システム制御部２０１は、図７のＳ７０１～Ｓ７０３の処理で生成したＷＢ係数を用いてＷＢ処理を行う。Ｓ１３２２にて、システム制御部２０１は、ヒストグラム検出を行う。具体的には、Ｓ１３２１で得られたホワイトバランスのゲイン値を画像データ全体に適用し、さらにガンマ補正処理を行った画素値について、輝度情報としてヒストグラムを作成する。ガンマ補正処理は公知のルックアップテーブルを用いる方法でよいが、現像で用いるものと同じガンマ特性を用いることが好ましい。ただし、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。なお、画像の端の部分は、一般に重要でないことが多く、また撮像レンズによっては周辺光量の低下の影響を受ける部分であるため、周縁部の画素を除いてヒストグラムを作成してもよい。

Ｓ１３２３にて、システム制御部２０１は、顔検出前処理を行う。これは画像データに対して縮小処理、ガンマ処理等を施して、顔を容易に検出しやすいようにする処理である。Ｓ１３２４にて、システム制御部２０１は、前処理した画像データに対し、公知の方法を用いて顔検出処理を実行する。この顔検出処理により、顔と思われる領域（顔領域）の位置とサイズ、検出の信頼度とが得られる。

Ｓ１３２５にて、システム制御部２０１は、露出補正量（低下量）を補うための階調補正量（階調補正量（Ａ））を第１の階調補正量として算出する。この際、画像の暗部については適正露出になるようにする一方、予め定めた輝度レベル以上の高輝度画素については補正されない（少なくとも、露出補正量を完全には補わない）、入出力特性の階調補正量を算出する。これにより、階調補正後の明部が白トビすることをさらに抑制することができる。この階調補正量は、露出補正量に応じた複数の補正テーブルとして予め用意しておくことができる。

Ｓ１３２６にて、システム制御部２０１は、Ｓ１３２４の顔検出処理により検出された顔領域のうち、信頼度が予め設定した評価閾値より高い顔領域がある場合に、顔が検出されたと判定する。システム制御部２０１は、顔が検出されたと判定した場合は処理をＳ１３２７に進め、顔が検出されなかったと判定した場合は処理をＳ１３３１に進める。

Ｓ１３２７にて、システム制御部２０１は、検出された顔領域の一部の領域を、顔輝度取得領域として算出する。顔輝度取得領域は、顔の明るい部分の輝度を取得するための領域であり、その数や位置などに関して特に制限はない。Ｓ１３２８にて、システム制御部２０１は、顔輝度取得領域の各々について、含まれるＲ画素、Ｇ画素、Ｂ画素の種類ごとに平均値を求める。さらにシステム制御部２０１は、ＲＧＢ画素の各平均値に対し、ヒストグラム検出と同様にしてホワイトバランスのゲイン値を適用し、ガンマ補正を行った後、式３により輝度値Ｙに変換する。
（式３）
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
なお、ヒストグラム検出および顔検出において適用するホワイトバランスのゲイン値は、同一画像データに対してＷＢ処理で使用したゲイン値を用いることが好ましい。輝度ガンマも、理想的には現像と同じものを用いるのが好ましいが、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。

Ｓ１３２９にて、システム制御部２０１は、Ｓ１３２８で顔輝度取得領域の各々について求めた輝度値を、適正露出時を想定した値に変換する。これは、画像データが、適正露出よりも低い露出で撮像されていることから、適正露出で撮像した場合よりも顔の輝度が低く検出されることを補正する処理である。輝度値の変換は、露出制御が決定した露出補正量（低下量）を補償するように行ってもよいし、Ｓ１３２５で算出した階調補正量を用いて行ってもよい。

Ｓ１３３０にて、システム制御部２０１は、検出された顔の輝度の代表値を算出する。代表値としては例えば検出されている顔領域の顔輝度取得領域の各々の輝度値の中から最大値を求めるなどが考えられる
Ｓ１３３１の処理は、Ｓ１３２６にてシステム制御部２０１が顔領域が検出されなかったと判定した場合の処理である。Ｓ１３３１にて、システム制御部２０１は、ヒストグラム特徴量を検出する。ヒストグラム特徴量は例えば、ヒストグラムで暗部側から累積度数が１％である画素が属するレベル（ＳＤ）、明部側から累積度数が１％である画素が属するレベル（ＨＬ）等であってよい。続くＳ１３３２にて、システム制御部２０１は、Ｓ１３３１で算出したヒストグラム特徴量を、適正露出での撮像を想定した値に変換する。これは、画像データが、適正露出よりも低い露出で撮像されていることから、適正露出で撮像した場合よりもヒストグラム特徴量が低く検出されることを補正する処理である。輝度値の変換は、露出制御が決定した露出補正量（低下量）を補償するように行ってもよいし、Ｓ１３２５で算出した階調補正量を用いて行ってもよい。

Ｓ１３３３にて、システム制御部２０１は、目標の補正量の算出を行う。システム制御部２０１は、顔の代表輝度値、もしくはヒストグラム特徴量に対する目標輝度レベルを求める。そして、システム制御部２０１は、これらの目標輝度レベルと、画像データ中の輝度の最小値と最大値とから、スプライン補間などにより、入力輝度レベルに対する出力輝度レベルを定めたルックアップテーブル（入出力特性）を、階調補正量（Ｂ）として作成する。階調補正量（Ｂ）は、第２の階調補正量である。

ここで、ＨＤＲはＳＤＲと目標の階調補正量を変えてもよい。例えば、図１５（ａ）はＳＤＲ画像の見た目、図１５（ｂ）はＨＤＲ画像の見た目を示している。被写体（人物）の輝度値はいずれも同じ値であるが、背景についてＳＤＲでは高くても１００ｃｄ／ｍ^２が上限であるのに対して、ＨＤＲでは１００ｃｄ／ｍ^２を超えた値となる。その結果、被写体の輝度値は同じであっても、ＨＤＲの方が暗く感じる場合がある。これは明度対比と言って、人間の視覚特性に起因する現象である。例えば図１５（ａ）と図１５（ｂ）では被写体の輝度は同じであるが、被写体の輝度と背景の輝度の差は、図１５（ａ）よりも図１５（ｂ）の方が大きい。このような場合、ユーザは図１５（ａ）よりも図１５（ｂ）の方が被写体を暗く感じてしまう。つまり、ＨＤＲは空などの高輝度域をより明るく表現することが可能であるため、ＳＤＲに比べて被写体が暗く見えてしまう可能性が高い。そこで、本実施形態では、ＳＤＲの場合は図１４（ａ）に示すような階調特性を用いるのに対し、ＨＤＲの場合は図１４（ｂ）で示すような階調特性を用いて、より暗部を持ち上げる階調補正量を適用することで、見た目として好ましい結果にすることができる。なお、本実施形態の階調補正は露出の不足を補うための補正を例としたが、画作りのための明るさ補正においても同様の階調補正を行うことができる。

顔の代表輝度値や画像データのヒストグラム特徴量に対する目標輝度レベルは、経験的に好ましいと考えられる固定値に設定することが可能であるが、代表輝度値やヒストグラム特徴量の値に応じて異なる目標輝度レベルを設定してもよい。この場合、目標輝度レベルを設定するパラメータ（代表輝度値やヒストグラム特徴量）毎に、入力レベルに対する目標輝度レベルの関係を定めたルックアップテーブルを用意しておけばよい。

このようにして定めた目標輝度レベルへの変換を実現するための補正特性を、スプライン補間などの方法によって求め、必要であれば階調補正量（Ｂ）を適用するルックアップテーブル（又は関係式）として保存する。

Ｓ１３３４にて、システム制御部２０１は、Ｓ１３２５で算出した階調補正量（Ａ）と、Ｓ１３３３で算出した階調補正量（Ｂ）を合成する。システム制御部２０１は、例えば各入力輝度レベルに対して、まず階調補正量（Ａ）を適用した後に、補正後の輝度レベルに対して階調補正量（Ｂ）を適用した結果の輝度値を求め、各入力輝度レベルに対する出力輝度レベルのルックアップテーブルを作成する。

Ｓ１３３５にて、システム制御部２０１は、Ｓ１３３４で求めた合成補正量（合成階調補正量）の上限値を制限する処理（リミッター処理）を行う。階調補正量（Ａ）と階調補正量（Ｂ）を合成することで、補正量が大きくなり、補正後の画像においてノイズ量が目立ちやすくなるため、全体の補正量に制限を設ける。リミッター処理は、各輝度値において許容する最大の補正量をテーブルとして用意しておき、Ｓ１３３４で作成したルックアップテーブルの値のうち、最大補正量を超える出力レベルを最大補正量に対応する出力レベルに置換することで実現できる。尚、階調補正量はユーザによって設定されている撮影モード（ＳＤＲ撮影もしくはＨＤＲ撮影）用の値を算出してもよいし、ＳＤＲ用、ＨＤＲ用の両方を算出してもよい。

図７の説明に戻り、Ｓ７０７にて、システム制御部２０１は、算出したホワイトバランス係数、階調補正用パラメータおよび種々のＨＤＲ用のパラメータを用いて現像する。その他の現像パラメータとして、色マトリクス、カメラＯＥＴＦカーブデータ、色調整パラメータ、ノイズリダクションパラメータ、シャープネスパラメータなどを用いてＨＤＲ現像画像を生成する。カメラＯＥＴＦ（ガンマカーブ）としては、例えばＩＴＵ－Ｒの勧告ＢＴ．２１００のＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚａｔｉｏｎ）のＥＯＴＦ（Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の逆特性を想定しているが、カメラ側の味付けをＯＯＴＦ（Ｏｐｔｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）として組み合わせてもよい。もしくは同じくＩＴＵ－Ｒの勧告ＢＴ．２１００のＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ－Ｇａｍｍａ）のＯＥＴＦを使用しても構わない。

Ｓ７０８にて、システム制御部２０１は、Ｓ７０７で現像した画像からリサイズして２画面比較画像用などの簡易表示用としてＭＰＦ（Ｍｕｌｔｉ Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）用画像を生成し、ＨＥＶＣで圧縮符号化する。

Ｓ７０９にて、システム制御部２０１は、Ｓ７０８で生成したＭＰＦ画像をさらにリサイズしてインデックス表示などに用いるサムネイル画像を生成、圧縮する。

Ｓ７１０にて、システム制御部２０１は、本画像としてＳ７０７で現像したＨＤＲ画像を圧縮する。圧縮する方法はいろいろ考えられるが例えば、１０ｂｉｔのＹＵＶ４２２のデータであればＨ．２６５（ＩＳＯ／ＩＥＣ ２３００８－２ ＨＥＶＣ）で圧縮すればよい。

Ｓ７１１にて、システム制御部２０１は、システム制御部２０１は、ユーザにより記録画質設定を判定する。システム制御部２０１は、ＲＡＷ画像のみが記録される設定であると判定した場合は処理をＳ７１２に進め、ＨＤＲ画像のみが記録される設定であると判定した場合は処理をＳ７１３に進め、ＲＡＷ画像及びＨＤＲ画像が記録される設定であると判定した場合は処理をＳ７１４に進める。

Ｓ７１２にて、システム制御部２０１は、ＲＡＷ画像を圧縮してヘッダを付加して図８のような構造のＲＡＷ画像ファイルとして、記録媒体Ｉ／Ｆ２１８を介して記録媒体２５０に記録される。圧縮方式としては幾つか考えられるが劣化のない可逆であるロスレス圧縮や、非可逆ではあるがファイルサイズが軽くなるロッシー圧縮などを用いればよい。またヘッダには、検出メタデータとしてＳ１１０５で求めたホワイトバランスの白サーチ枠内判定結果とＳ７０４で求めたヒストグラムおよびＳ７０５で求めた顔検出結果を記録する。ここで検出される白サーチ枠内判定結果は、Ｓ１１０６における明暗除外処理を行う前の判定結果である。したがって、ＨＤＲ撮影でもＳＤＲ撮影でも同じ判定結果が記録されることになる。また、ユーザによりＨＤＲ撮影モードとなっていた場合は、図１１の処理で求めたホワイトバランス係数や図１３で求めた階調補正量といったＨＤＲ用の現像パラメータ、Ｓ７０８でＨＤＲ現像した画像データからＨＥＶＣで符号化して生成した表示用のＭＰＦ用画像もメタデータとして図９（ｂ）のように併せて記録する。上述したようにこれらのデータはＨＤＲ撮影かＳＤＲ撮影かで内容が異なる。なお、ＳＤＲ撮影であれば、上述したＳＤＲ用の白サーチ枠内判定や階調特性を用いた場合の現像パラメータが記録される。なお、ＨＤＲ撮影時であっても、ＳＤＲ用にＳ７０２～Ｓ７０６の処理を行い、ＳＤＲ用の現像パラメータも生成して両方を記録しても構わない。なお、ＨＤＲ、ＳＤＲ両方の現像パラメータを生成するのは処理負荷が大きいため、連写時などには行わず、単写時など比較的処理負荷に余裕がある場合に行うようにしてもよい。

また単写など処理負荷に余裕がある時はＨＤＲ用の表示用画像とは別に、ＳＤＲ用の現像パラメータを用いてＳＤＲ画質の本画像、ＭＰＦ用画像、サムネイル用画像を作成し、ＨＤＲ用の表示用画像とＳＤＲ用の表示用画像を同じファイルに記録しても構わない（図９（ｃ））。

また、サムネイルを表示する際は、画像が小さいのでどのような画像かが分かれば十分であるため、Ｓ７０９で作成するサムネイル用画像のみＳＤＲ現像画像で作成し保存しても構わない（図９（ｄ））。このような構成にすることで、ＨＤＲの圧縮方式であるＨ．２６５のデコードに対応していない表示装置やＰＣでもサムネイル画像のみ表示することも可能になる。

Ｓ７１３にて、システム制御部２０１は、現像したＨＤＲ画像をＨＥＶＣで圧縮符号化して静的メタデータもしくは動的メタデータを付加し、ＨＩＥＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルとして、記録媒体Ｉ／Ｆ２１８を介して記録媒体２５０に記録する。静的メタデータとしては、ＣＥＡ－８６１．３に準拠したディスプレイの３原色および白色点のｘ，ｙ座標、マスタリングディスプレイの最大輝度値、最小輝度値、コンテンツ最大輝度値（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ Ｌｅｖｅｌ）、フレーム平均輝度レベル（Ｍａｘｉｍｕｍ Ｆｒａｍｅ－ａｖｅｒａｇｅ Ｌｉｇｈｔ Ｌｅｖｅｌ）などである。また、動的メタデータとしては、ＳＭＰＴＥ ＳＴ ２０９４で定義されているカラーボリューム変換の動的トーンマッピングのメタデータなどである。尚、ＨＤＲ特性をＰＱ信号で表すには１０ｂｉｔ以上の深度であることが好ましいが従来のＪＰＥＧフォーマットならば８ｂｉｔであるため新たに静止画ＨＤＲ用のコンテナを採用する必要がある。ここでは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）によって開発され、ＭＰＥＧ－Ｈ Ｐａｒｔ１２（ＩＳＯ／ＩＥＣ ２３００８－１２）で定義された画像ファイルフォーマットであるＨＥＩＦのコンテナを使用する。ＨＥＩＦは本画像だけでなく、サムネイルや複数の時間的に関連ある画像やＥＸＩＦやＸＭＰといったメタデータも１つのファイルの中に格納することができる。よって、ＨＥＶＣで圧縮符号化された１０ｂｉｔのイメージシーケンスも格納できるため使い回しがよい。

Ｓ７１４及びＳ７１５では、Ｓ７１２及びＳ７１３の処理を順次行い、ＲＡＷ画像とＨＤＲ画像の両方を記録する。

図８は上述した記録処理において記録媒体２５０に記録されるＲＡＷ画像ファイルのデータ構造を示している。以下で例示するファイル形式はＩＳＯ／ＩＥＣ１４４９６－１２で規定されているＩＳＯベースメディアファイルフォーマットである。このファイルフォーマットは木構造を持ち、ボックスと呼ばれる各ノードを持っている。また、各ボックスは複数のボックスを子要素として持つことができる。

ＲＡＷ画像ファイル８０１は先頭にファイルタイプの記述のためのボックスｆｔｙｐ８０２、全てのメタデータを含むボックスｍｏｏｖ８０３、トラックのメディアデータ本体のボックスｍｄａｔ８０８、その他のボックス８０７を有する。ボックスｍｏｏｖ８０３は子要素として、ＭｅｔａＤａｔａ８０５を格納するボックスｕｕｉｄ８０４とＩｍａｇｅＤａｔａを参照する情報を格納するボックスｔｒａｋ８０６を有する。ＭｅｔａＤａｔａ８０５には、画像のメタデータが記載されており、例えば画像の作成日時、撮影時条件、ＨＤＲまたはＳＤＲで撮影した情報、前述した検出メタデータ、その他の撮影情報から構成される。ボックスｍｄａｔ８０８は子要素として、撮影した静止画像データであるＩｍａｇｅＤａｔａ８０９を持つ。

なお、ＳＤＲで撮影したＲＡＷ画像ファイルと、ＨＤＲで撮影したＲＡＷ画像ファイルとでは、ＩｍａｇｅＤａｔａ８０９に記録される画像データが異なる。

図９（ａ）はＳＤＲで撮影したＲＡＷ画像ファイルに記録されるＩｍａｇｅＤａｔａ８０９を示している。この場合のＩｍａｇｅＤａｔａ８０９は、ＳＤＲ画質現像しＪＰＥＧ圧縮したＴＨＭ画像８２１、ＭＰＦ画像８２２、本画像８２３とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。各ＳＤＲ画質の画像は、その１色成分が８ビット（２５６階調）の画像である。なお、図９（ａ）のＲＡＷ現像パラメータ８２５は、少なくともＳＤＲ現像用の現像パラメータを含む。

図９（ｂ）はＨＤＲで撮影時にＨＤＲ画像のみ表示用画像として持つＲＡＷ画像ファイルに記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＨＤＲ画質現像しＨＥＶＣ圧縮したＴＨＭ画像８２６、ＭＰＦ画像８２７、本画像８２８とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。各ＨＤＲ画質の画像は、１色成分が１０ビット（１０２４階調）の画像である。図９（ｂ）、（ｃ）、（ｄ）のＲＡＷ現像パラメータ８２５は、少なくともＨＤＲ現像用の現像パラメータを含む。

図９（ｃ）はＨＤＲで撮影時にＨＤＲ画像とＳＤＲ画像の両方を表示用画像として持つＲＡＷ画像ファイルに記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＳＤＲ画質現像しＪＰＥＧ圧縮したＴＨＭ画像８２１、ＭＰＦ画像８２２、本画像８２３とＨＤＲ画質現像しＨＥＶＣ圧縮したＴＨＭ画像８２６、ＭＰＦ画像８２７、本画像８２８とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。

図９（ｄ）はＨＤＲで撮影時にＴＨＭ画像のみＳＤＲ画像で、ＭＰＦと本画像はＨＤＲ画像の表示用画像として持つＲＡＷ画像ファイルに記録されるＩｍａｇｅＤａｔａ８０９である。この場合のＩｍａｇｅＤａｔａ８０９は、ＳＤＲ画質現像しＪＰＥＧ圧縮したＴＨＭ画像８２１とＨＤＲ画質現像しＨＥＶＣ圧縮したＭＰＦ画像８２７、本画像８２８とＲＡＷ画像８２４及び、ＲＡＷ現像パラメータ８２５を持つ。

本実施形態で示したファイル形式は一例であり、必要に応じて他のボックスを有してもよい。また、表示用画像をｍｏｏｖ８０３のボックスや、その他のボックス８０７に持つ構成としてもよい。

上記のようなファイルフォーマットを有することにより、ＳＤＲで撮影されたＲＡＷ画像ファイルにはＳＤＲ画像用の現像パラメータが記録され、ＨＤＲで撮影されたＲＡＷ画像ファイルにはＨＤＲ画像用の現像パラメータが記録される。このようにすることで、後からＲＡＷ現像を行う場合も、撮影時の設定を反映した現像パラメータで現像を行うことが可能となる。例えばＲＡＷ現像を行う装置（デジタルカメラ１００でもよいし、ＰＣなどの他の装置でもよい）は、ＲＡＷ画像ファイルのＭｅｔａＤａｔａ８０５を参照し、ＨＤＲで撮影したか、ＳＤＲで撮影したかを判定する。そして、ＨＤＲで撮影したと判定した場合は、ＲＡＷ画像データをファイルに含まれるＨＤＲ画像用の現像パラメータを用いてＨＤＲ画像として現像する。また、ＳＤＲで撮影したと判定した場合は、ＲＡＷ画像データをファイルに含まれるＳＤＲ画像用の現像パラメータを用いてＳＤＲ画像として現像する。このような処理を可能とするために、本実施形態のデジタルカメラ１００は、ＳＤＲで撮影されたＲＡＷ画像ファイルにはＳＤＲ画像用の現像パラメータを記録し、ＨＤＲで撮影されたＲＡＷ画像ファイルにはＨＤＲ画像用の現像パラメータを記録している。なお、ＲＡＷ現像を行う装置は、前述したＨＥＩＦのコンテナを使用して現像した静止画ＨＤＲ画像を記録するようにすればよい。

さらに、検出メタデータとしてＨＤＲ撮影でもＳＤＲ撮影でも同じ判定結果を記録することとしたため、ＨＤＲ撮影モードで撮影されたＲＡＷ画像ファイルであっても、記録された検出データを用いてＳＤＲ画像に現像することも可能となる。したがって、ＳＤＲ画像にしか対応していない装置でも、ＨＤＲ撮影モードで撮影されたＲＡＷ画像ファイルを適切に表示することが可能となる。

［他の実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述した実施形態では、１色成分が８ビットを超える画像データの符号化にＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を採用するものとしたが、１色成分当たり８ビットを超える画像を符号化することが可能であれば、特にその種類は問わない。また、上記実施形態ではデジタルカメラに適用するものとして説明したが、撮像機能を有するコンピュータ（スマートフォンやカメラ付きノートＰＣ等）に適用しても構わず、上記実施形態に限定されるものではない。また、上記実施形態では外部機器との接続をＵＳＢ接続で説明したが、他の接続形態（無線接続等）に適用しても構わず、上記実施形態に限定されるものではない。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…デジタルカメラ、１０１…背面表示部、２０１…システム制御部、２５４…通信部、２９０…外部出力Ｉ／Ｆ、３００…外部機器、３０１…ディスプレイ、３０２…記憶装置

Claims (12)

1. 外部装置と接続する接続手段と、
   前記接続手段により接続された外部装置に画像データを送信する送信手段と、
   前記画像データを符号化する処理手段と、
   前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報とともに前記画像データが符号化される場合、前記デコード情報とともに符号化された画像データを前記外部装置に送信し、
   前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに前記画像データが符号化される場合、当該符号化された画像データを前記外部装置に送信するとともに、前記デコード情報も前記外部装置に送信するよう制御する制御手段と、を有し、
   前記制御手段は、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに前記画像データが符号化される場合、前記画像データのデコード情報を生成し、前記外部装置に前記画像データと前記デコード情報とを送信することを特徴とする通信装置。
2. 外部装置と接続する接続手段と、
   前記接続手段により接続された外部装置に画像データを送信する送信手段と、
   前記画像データを所定の形式で符号化する処理手段と、
   前記画像データが前記外部装置において表示される対象であるか保存される対象であるかを判定する判定手段と、
   前記判定の結果に応じて、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに符号化された前記画像データを前記外部装置に送信するとともに、当該画像データを復号するためのデコード情報も前記外部装置に送信する処理と、前記画像データが符号化される際に用いられる符号化形式によって、前記デコード情報とともに符号化された前記画像データを前記外部装置に送信する処理とを切り替える制御手段と、を有し、
   前記制御手段は、前記画像データが前記外部装置において表示される対象である場合、前記画像データのデコード情報を生成し、当該デコード情報を伴わずに符号化された前記画像データを前記外部装置に送信するとともに、前記デコード情報も前記外部装置に送信することを特徴とする通信装置。
3. 前記画像データが符号化される際に用いられる符号化形式によって、前記デコード情報とともに符号化された画像データの符号化形式は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であることを特徴とする請求項１または２に記載の通信装置。
4. 前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに符号化された画像データの符号化形式はＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）であることを特徴とする請求項１から３のいずれか１項に記載の通信装置。
5. 前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに符号化された画像データは、ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルに格納されることを特徴とする請求項１から４のいずれか１項に記載の通信装置。
6. 前記ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルは、当該ファイルに含まれる画像データを復号するためのデコード情報を含むことを特徴とする請求項５に記載の通信装置。
7. 前記外部装置との画像転送プロトコルは、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）またはＰＴＰ－ＩＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を含むことを特徴とする請求項１から６のいずれか１項に記載の通信装置。
8. 前記画像データはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影された画像データまたはＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影された画像データであり、
   前記外部装置は、前記ＨＤＲ撮影された画像を表示可能な装置であることを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. ＳＤＲ記録モードとＨＤＲ記録モードとを有する撮像手段をさらに有し、
   前記ＳＤＲ記録モードで撮影して得られる画像データは、当該画像データが符号化される際に用いられる符号化形式によって、前記デコード情報とともに符号化され、
   前記ＨＤＲ記録モードで撮影して得られる画像データは、当該画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに符号化されることを特徴とする請求項１から８のいずれか１項に記載の通信装置。
10. 接続手段により接続された外部装置に画像データを送信する送信手段と、前記画像データを符号化する処理手段と、を有する通信装置の制御方法であって、
    前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報とともに前記画像データが符号化される場合、前記デコード情報とともに符号化された前記画像データを前記外部装置に送信するステップと、
    前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに前記画像データが符号化される場合、当該符号化された画像データを前記外部装置に送信するとともに、前記デコード情報も前記外部装置に送信するよう制御するステップと、を有し、
    前記制御するステップでは、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに前記画像データが符号化される場合、前記画像データのデコード情報を生成し、前記外部装置に前記画像データと前記デコード情報とを送信することを特徴とする通信装置の制御方法。
11. 接続手段により接続された外部装置に画像データを送信する送信手段と、前記画像データを所定の形式で符号化する処理手段と、を有する通信装置の制御方法であって、
    前記画像データが前記外部装置において表示される対象であるか保存される対象であるかを判定するステップと、
    前記判定の結果に応じて、前記画像データが符号化される際に用いられる符号化形式によって、当該画像データを復号するためのデコード情報を伴わずに符号化された前記画像データを前記外部装置に送信するとともに、当該前記画像データを復号するためのデコード情報も前記外部装置に送信する処理と、当該画像データが符号化される際に用いられる符号化形式によって、前記デコード情報とともに符号化された前記画像データを前記外部装置に送信する処理とを切り替えるステップと、を有し、
    前記切り替えるステップでは、前記画像データが前記外部装置において表示される対象である場合、前記画像データのデコード情報を生成し、当該デコード情報を伴わずに符号化された前記画像データを前記外部装置に送信するとともに、前記デコード情報も前記外部装置に送信することを特徴とする通信装置の制御方法。
12. コンピュータを、請求項１から９のいずれか１項に記載された通信装置として機能させるためのプログラム。

Images