JP7371197B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関する。

発光素子（例えばＬＥＤ）の性能向上などにより、従来よりも表示輝度のダイナミックレンジが広い表示装置が実現されている。このような表示装置では、従来の表示装置では表現できなかった、高輝度域の色やディテールを有する画像（ＨＤＲ画像）をより忠実に表示することができる。

ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性はＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定される。そして、ＥＯＴＦにはＳＭＰＴＥ ＳＴ ２０８４で規格化されているＰＱ(Perceptual Quantization)と、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ(Hybrid Log Gamma)の２つがある。ＨＬＧが表示輝度を相対値として扱うのに対して、ＰＱは表示輝度を最大１００００ｎｉｔｓ（またはｃｄ／ｍ^２）の絶対値として扱う点が大きな違いである。そのため、出力ダイナミックレンジが変化するような撮影モードで撮影を行うと、ＰＱでは表示ピーク輝度が変化する場合がある。

図１は１１と１２の２通りの撮影モードによって出力ダイナミックレンジが変化する場合の入出力特性の例を示しており、横軸に入力段数、縦軸に出力輝度を示す。各撮影モードのガンマカーブを比較すると、高輝度域以外は共通の入出力特性を持ち、ピーク輝度が１３、１４のように異なっている。なお、以下、特に記載が無い限り、ＨＤＲ画像の信号特性はＰＱに準拠しているものとする。

ところで、従来の表示輝度ダイナミックレンジ（Standard Dynamic Range:ＳＤＲ）を想定した画像信号（ＳＤＲ信号）は、γ＝２．２などのＥＯＴＦを持つ環境での視聴を前提としているのに対し、ＨＤＲ画像の信号（ＨＤＲ信号）は、ＰＱなどのＥＯＴＦを持つ環境での視聴を前提としている。このため、ＳＤＲ信号を想定した視聴環境でＨＤＲ信号を再生すると、製作者の意図と異なる映像が表示されてしまう。このような問題の回避方法として、例えば、ＨＤＲの効果は失われてしまうが、ＨＤＲ信号の階調値を、ＳＤＲ環境での視聴用にＳＤＲ信号の階調値に変換（圧縮）するような、トーンマッピングが考えられる。なお、ＨＤＲ信号には、コンテンツの最大輝度を表す、ｍａｘＣＬＬ(maximum Content Light Level)と呼ばれる静的メタデータを付与することができる。ｍａｘＣＬＬを参照することにより、再生機器は受信したＨＤＲコンテンツの最大輝度を特定することができる。

特許文献１、２には、ＨＤＲ信号をＳＤＲ信号に変換するトーンマッピングが開示されている。文献１では、ＨＤＲ信号の輝度値のヒストグラム形状とｍａｘＣＬＬを用いて、推定された最大輝度レベルを用いてトーンマッピングの特性を設計する構成が記載されている。また、文献２では、空などの低周波被写体のトーンジャンプを抑えるため、画像の幾何学的形状領域に応じてトーンマッピングの特性を設計する構成が記載されている。

特開２０１７－１８４２２０号公報 特開２０１８－０９３５３０号公報

特許文献１の方法では、例えば露出アンダーで撮影されたＨＤＲ信号であっても、ＨＤＲ信号の最大輝度レベルをＳＤＲのＥＯＴＦの定義域の最大値となるようマッピングする。そのため、ＨＤＲ信号をＨＤＲ環境で視聴した場合より、マッピング後のＳＤＲ信号をＳＤＲ環境で視聴した場合の方が明るく感じられる可能性がある。

また、特許文献２の方法も、ＨＤＲ画像のＤレンジを考慮したトーンマッピングを行っていないため、出力されたＳＤＲ信号が製作者の意図した明るさとならない場合がある。

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号を、視聴環境による明るさの変化を抑制できるように記録する画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号を記録する画像処理装置であって、画像処理装置に予め設定された異なる複数の出力ダイナミックレンジのうち、所定の画像信号の撮影条件に応じた１つの出力ダイナミックレンジのピーク輝度を示す情報を取得する取得手段と、取得手段により取得された情報に基づく第１の値を、所定の画像信号に関連付けて記録する記録手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号を、視聴環境による明るさの変化を抑制できるように記録する画像処理装置およびその制御方法を提供することができる。

ピーク輝度の異なる撮影モードそれぞれのガンマカーブを示した図 一般的な交換レンズ式のデジタル一眼レフカメラの断面図 カメラと交換レンズの電気回路の構成例を表したブロック図 第１実施形態におけるトーンマッピング動作を説明するための図 第１実施形態におけるｍａｘＤＲＬの算出動作に関するフローチャート ＳＭＰＴＥ ＳＴ２０８４で規格化されているＥＯＴＦであるＰＱ(Perceptual Quantization)の特性を示した図 実施形態で用いるデータファイル構造の一例を示す図 第１実施形態におけるトーンマッピング動作に関するフローチャート 第２実施形態におけるｍａｘＤＲＬの更新動作を説明するための図 第２実施形態におけるｍａｘＤＲＬの更新動作に関するフローチャート 第２実施形態におけるレタッチ例ならびにｍａｘＤＲＬ＿ｒの算出の例を説明するための図 第３実施形態におけるトーンマッピングおおびｍａｘＤＲＬの更新動作に関するフローチャート 第５実施形態で用いるデータファイル構造の一例を示す図

●（第１実施形態）
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、デジタルカメラは本発明を適用可能な画像処理装置の一例にすぎない。本発明は任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。

●（第１実施形態）
図２は実施形態に係るデジタルカメラ（以下、カメラ）の、主な光学部材やセンサ等の配置例を示す断面図である。本実施形態におけるカメラはレンズ交換可能なデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。カメラ本体１において撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方近傍に設けられていたメカニカルシャッター１１は、撮像素子１０の露出タイミングおよび露出時間を制御する。

半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ（ＡＦセンサ）９に入射させる。ＡＦセンサ９は例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。

第１の反射ミラー７、第２の反射ミラー８および焦点検出用センサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。測光用センサ（ＡＥセンサ）６はペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。分割数に制限は無い。なお、撮像素子においては、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。

ペンタプリズム４によってファインダー光学系が構成される。図２には示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と通信する。なお、ライブビュー表示および動画記録時には主ミラー３が跳ね上がっているため、撮像された画像の情報を使用して露出制御や焦点調節制御を行う。

図３は、図２に示したカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図である。カメラ本体１において制御部２１は例えば内部にＡＬＵ(ARITHMETIC and Logic Unit)、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。

ＡＦセンサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換および信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７はカメラ本体１の背面液晶ディスプレイや、外部ディスプレイであり、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７はＨＤＲ(High Dynamic Range)表示可能であるものとする。表示器２７は制御部２１からの指示により制御される。記憶部２６は例えば半導体メモリカードであり、撮像された画像信号が信号処理回路２５から入力される。

モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。操作部２３はユーザーがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号線が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は例えばマイクロプロセッサ、ＲＯＭ、およびＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、レンズ制御部５１は交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。

交換レンズ２がカメラ本体１に装着されると接点部２９および５０を介してレンズ制御部５１とカメラ本体の制御部２１とがデータ通信可能となる。また、接点部２９および５０を通じて交換レンズ２内のモーターやアクチュエータを駆動するための電力も供給される。カメラ本体の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズからカメラ本体の制御部２１へとデータ通信によって出力される。また、カメラ本体の制御部２１が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報はカメラ本体の制御部２１からレンズへとデータ通信によって出力され、レンズは焦点調節情報に従ってフォーカスレンズを、絞り情報に従って絞りを制御する。

以下、第１実施形態における撮影から現像までの具体的な動作について、図１および図３～８を用いて説明する。図３の操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、まず制御部２１は交換レンズ２のレンズ制御部５１と通信を行ない、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。また、操作部２３ではユーザーの各種設定が受け付けられ、任意の撮影モードが設定される。操作部２３に含まれるシャッタースイッチの半押し操作により、制御部２１はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理の動作を開始する。その後、シャッタースイッチの全押し操作により、制御部２１は撮影処理の動作を開始する。

その後、撮影で得られたＲＡＷ画像の現像を行う。ＲＡＷ画像の現像については図４を用いて説明する。図４において、４０２～４０５、４０８～４１２は、制御部２１が行う処理を機能ブロックとして記載したものであるが、その１つ以上がハードウェア回路として実現されてもよい。ＲＡＷ画像データ４０１を構成する画素データのそれぞれは、対応する画素に設けられたカラーフィルタの色の強度を表し、他の色の情報は有していない。ここでは撮像素子の各画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが設けられているものとする。

ホワイトバランス部４０２では、光源による色かぶりを補正して白を再現するための処理がなされる。具体的にはホワイトバランス部４０２は、ＲＡＷ画像データ４０１を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そして、ホワイトバランス部４０２は、その色空間において光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。ホワイトバランス部４０２はホワイトバランス係数を画像データに適用することによりホワイトバランス処理を実施する。

色補間部４０３ではノイズリダクション処理や、色補間処理により、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部４０４およびガンマ変換部４０５を経て基本的なカラー画像が生成される。ここでガンマ変換部４０５におけるＨＤＲ現像の場合のガンマ特性としては、ＥＯＴＦの逆特性(Inverse EOTF)であり、例えば図６に示すＰＱ(Perceptual Quantization)（図６）の逆特性である。なお、Inverse EOTFとＯＯＴＦ(Opto-Optical Transfer Function)特性を組み合わせたＯＥＴＦ(Optical-Electro Transfer Function)を用いてもよい。

ガンマ変換部４０５では、コントラスト調整用カーブ（コントラスト調整用の階調特性 、ガンマカーブ、またはガンマ特性とも呼ぶ）を用いてガンマ変換を行う。従来カメラには、図１のように出力Ｄレンジが変化するような撮影モードが搭載されており、ユーザーはシーンに応じてどちらのモードで撮影するかを選択している。このとき、両モード間でのＤレンジの差は、ＨＤＲ現像時にはピーク輝度の差となる。また、同様にＩＳＯ感度によってもＤレンジが異なる場合がある。撮像素子においてアンプでゲインがかからない基準のＩＳＯ感度１００に対して、アナログゲイン、もしくはデジタルゲインがかかるＩＳＯ２００以降の高感度の方がフォトダイオードの容積に対して電荷量が少ないためＤレンジが大きくなる。また１／３段刻みの中間ＩＳＯ感度について、ゲインの刻みが１段しかない安価なアンプを有した撮像素子では、中間ＩＳＯ感度は代表ＩＳＯ感度からのゲインアップもしくはゲインダウンで実現している。

このとき、ゲインダウンでは飽和の信号レベルが下がってしまうためＤレンジとしては小さくなる。このように、撮影条件、特にＩＳＯ感度に応じてピーク輝度が異なる場合がある。従って、撮影モードとＩＳＯ感度の組み合わせの数だけ、ガンマカーブをコントラスト調整用カーブ４０７としてメモリ２８に予め格納しておく。そして、ガンマ選択部４０８が撮影条件（撮影モードおよびＩＳＯ感度）４０６を参照し、撮影モードとＩＳＯ感度の組み合わせに該当するコントラスト調整用カーブ４０７をメモリ２８より読み出して出力ピーク輝度情報取得部４０９に出力する。

次に、Ｓ５０１（図５）で出力ピーク輝度情報取得部４０９は、取得したコントラスト調整用カーブ４０７から、ガンマカーブの各出力値に対応する絶対輝度を取得する。絶対輝度値はＰＱ（図６）やＨＬＧといったＥＯＴＦを用いて取得することができる。そして、出力ピーク輝度情報取得部４０９はコントラスト調整用カーブ４０７の出力値の最大値、またはこれに対応するｎｉｔｓ値を取得する。なお、本明細書では、ガンマカーブデータの出力値の最大値、すなわち出力Ｄレンジのピーク輝度値の階調値またはそれに対応するｎｉｔｓ値をｍａｘＤＲＬ(maximum Dynamic Range Level)と呼ぶ。

その後、色輝度調整部４１０で画像の見栄えを改善するための処理がカラー画像に対し行われ、例えば、夕景検出して彩度強調といった画像補正がシーンに応じて行われる。この色輝度調整が完了すると圧縮部４１１で高解像度画像をＨＥＶＣ等の方法で圧縮する。そして、Ｓ５０２で記録部４１２は、出力ピーク輝度情報取得部４０９が取得したｍａｘＤＲＬをファイルのメタデータに記載してＨＤＲ(High Dynamic Range)信号４１３を生成し、Ｓ５０３で出力する。これにより、ｍａｘＤＲＬがＨＤＲ信号４１３に対応付けて記録される。

図７に、ＨＤＲ信号記録用のファイル構造の例を示す。７１にはサムネイル画像７２などのヘッダ情報が格納され、７３にはメタデータ７４や本画像データ７５などの本画像に関する情報が格納される。Ｓ５０２では、図７のメタデータ７４にｍａｘＤＲＬを記録してもよいし、その他特定の領域に記載してもよい。なお、実際にはＨＤＲ信号をＰＱで表すには最低限１０ｂｉｔの深度が必要であるが従来のＪＰＥＧフォーマットだと８ｂｉｔであるため新たに静止画ＨＤＲ用のコンテナを採用する必要がある。ここでは、ＭＰＥＧ(Moving Picture Experts Group)－Ｈ Ｐａｒｔ １２(ISO/IEC 23008-12)で定義された画像ファイルフォーマットであるＨＥＩＦ(High Efficiency Image File Format)形式のコンテナを使用する。ＨＥＩＦは本画像だけでなく、サムネイルや複数の時間的に関連ある画像やＥＸＩＦやＸＭＰといったメタデータも１つのファイルの中に格納することができるという特徴がある。よって、ＨＥＶＣでエンコードされた１０ｂｉｔのイメージシーケンスも格納できる。先述したｍａｘＣＬＬはＨＥＩＦ規格で定義されているわけではないが、本提案ではｍａｘＣＬＬはもとよりｍａｘＤＲＬについてもＥｘｉｆのＭａｋｅｒＮｏｔｅに格納することとする。

さらに、ＨＤＲ信号４１３をＳＤＲ環境で視聴するため、ｍａｘＤＲＬを用いてＳＤＲ(Standard Dynamic Range)信号にトーンマッピングする方法について図８を用いて説明する。この処理は制御部２１または信号処理回路２５によって実施することができるが、ここでは制御部２１が実施するものとする。

Ｓ８０１で制御部２１は、ＨＤＲ信号をＳＤＲ信号用のＥＯＴＦの値域の最大値に表示する際の、上限リミット値Ｌｍａｘおよび下限リミット値Ｌｍｉｎを設定する。例えばＬｍａｘは２，０００ｎｉｔｓ、Ｌｍｉｎは１００ｎｉｔｓとすることができるが、これらに限定されない。また、上限リミット値Ｌｍａｘおよび下限リミット値Ｌｍｉｎはユーザが設定可能であってもよい。

次にＳ８０２で制御部２１は、ＨＤＲ信号が記録されたファイルのメタデータからｍａｘＤＲＬを取得する。
Ｓ８０３で制御部２１は、ＬｍａｘとｍａｘＤＲＬとを比較する。ここで、ｍａｘＤＲＬがＬｍａｘ以上であれば、Ｓ８０４で制御部２１は、ＬｍａｘがＳＤＲのＥＯＴＦの定義域の最大値となるようにトーンマッピングする。

一方、ｍａｘＤＲＬがＬｍａｘ未満であれば、Ｓ８０５で制御部２１は、ｍａｘＤＲＬとＬｍｉｎとを比較する。ｍａｘＤＲＬがＬｍｉｎ以下であれば、Ｓ８０６で制御部２１は、ＬｍｉｎがＳＤＲのＥＯＴＦの定義域の最大値となるようにトーンマッピングする。また、ｍａｘＤＲＬがＬｍｉｎより大きい場合、Ｓ８０７で制御部２１は、ｍａｘＤＲＬがＳＤＲのＥＯＴＦの定義域の最大値となるようにトーンマッピングする。

次に、Ｓ８０８で制御部２１は、トーンマッピングにより得られたＳＤＲ信号を表示器２７に表示する。
Ｓ８０９で制御部２１は、トーンマッピングされたＳＤＲ信号をＳＤＲフォーマットで保存するか否かを、例えば表示器２７にＧＵＩを表示してユーザに問い合わせる。ユーザから例えば操作部２３を通じて保存が指示されれば、Ｓ８１０で制御部２１はＳＤＲフォーマットでＳＤＲ信号を記憶部２６に保存する。ユーザから保存しない旨の指示があった場合、制御部２１はＳＤＲ信号を保存せずに処理を終了する。

以上説明したように、本実施形態では、ＨＤＲ信号をファイル記録する際に、出力Ｄレンジのピーク輝度情報であるｍａｘＤＲＬをメタデータとして記載するようにした。これにより、ＨＤＲ信号のダイナミックレンジを考慮してＳＤＲ信号にマッピングすることが可能になり、ＨＤＲ信号をＨＤＲ環境で視聴した場合と、ＳＤＲ信号にマッピングしてＳＤＲ環境で視聴した場合との明るさの差を抑制することができる。

●（第２実施形態）
次に、本発明の第２実施形態について図９～１１を用いて説明する。第１実施形態では、ＨＤＲ信号をファイル記録する際に、出力Ｄレンジのピーク輝度情報であるｍａｘＤＲＬをメタデータとして記載する方法を記述した。第２実施形態では、ファイル記録されたＨＤＲ信号に対して、トーンカーブ補正等で出力Ｄレンジのピーク輝度が変更されるようなレタッチを行った場合におけるｍａｘＤＲＬの更新方法ついて述べる。

図９において、９０２～９０５は、制御部２１が行う処理を機能ブロックとして記載したものであるが、その１つ以上がハードウェア回路として実現されてもよい。
Ｓ１００１（図１０）で出力ピーク輝度情報取得部９０２は、ＨＤＲ信号９０１のメタデータに記載されたｍａｘＤＲＬを取得する。
Ｓ１００２で色輝度調整部９０３は、表示器２７にＨＤＲ信号９０１に基づく画像と、トーンカーブ補正など画像のレタッチ用ＧＵＩを表示する。また、色輝度調整部９０３は、操作部２３を通じたユーザ指示に従って画像の色や輝度を補正する。
Ｓ１００３で色輝度調整後の出力ピーク輝度情報算出部９０４は、出力ピーク輝度情報取得部９０２が取得したｍａｘＤＲＬに対して、レタッチによる画像補正を反映させた出力Ｄレンジのピーク輝度情報ｍａｘＤＲＬ＿ｒを算出する。補正前の入力信号の階調値をｘ、補正後の階調値をｙ、補正の入出力特性をｆとすると、ｙは以下の（式１）を用いて求められる。
ｙ＝ｆ（ｘ）…（式１）

このとき、０≦ｘ≦ｍａｘＤＲＬの範囲の階調値に対して入出力特性ｆの補正を行い、補正後の階調値ｙの最大値をｙｍａｘとすると、トーンカーブ補正により、補正後のＨＤＲ信号の階調値は０≦ｙ≦ｙｍａｘを満たす。このとき、出力ピーク輝度情報算出部９０４はｍａｘＤＲＬ＿ｒを以下の（式２）で求める。
ｍａｘＤＲＬ＿ｒ＝ｙｍａｘ…（式２）

レタッチ例ならびにｍａｘＤＲＬ＿ｒの算出の例を図１１（ａ）～１１（ｃ）に示す。図１１（ａ）はレタッチ前の輝度ヒストグラム、図１１（ｂ）は輝度が高くなるようレタッチした場合の輝度ヒストグラム、図１１（ｃ）は輝度が低くなるようレタッチした場合の輝度ヒストグラムをそれぞれ表す。図１１（ｂ）のようなレタッチを行うと、ｍａｘＤＲＬ＿ｒはｍａｘＤＲＬより大きく、逆に図１１（ｃ）のようなレタッチを行うと、ｍａｘＤＲＬ＿ｒはｍａｘＤＲＬより小さくなる。
Ｓ１００４で記録部９０５は、ｍａｘＤＲＬ＿ｒをＨＤＲ信号のメタデータ７４に記録する。
Ｓ１００５で記録部９０５は、ＨＤＲ信号のファイルを記憶部２６に記録する。

また、レタッチされたＨＤＲ信号に対して第１実施形態を適用し、ｍａｘＤＲＬ＿ｒがＳＤＲのＥＯＴＦの定義域の最大値となるようトーンマッピングを行うことで、レタッチされたＨＤＲ信号もＳＤＲ環境で適切な明るさで視聴できる。

●（第３実施形態）
次に、本発明の第３実施形態について図１２を用いて説明する。第１および第２実施形態では、保存されたＨＤＲ信号をＳＤＲ環境で視聴するための手順について説明した。本実施形態では、ＨＤＲ信号をＳＤＲ環境でトーンカーブ補正等のレタッチを行った際に、レタッチ中及びレタッチ後のＨＤＲ信号をＳＤＲ環境で視聴するためにリアルタイムにトーンマッピングする方法について述べる。

Ｓ１２０１～Ｓ１２０３で、第２実施形態のＳ１００１～Ｓ１００３と同様の手順により、レタッチ情報を加味した出力Ｄレンジピーク輝度情報ｍａｘＤＲＬ＿ｒを算出する。次に、Ｓ１２０４～Ｓ１２１０にて、第１実施形態のＳ８０１～Ｓ８０８と同様の手順により、ＨＤＲ信号をＳＤＲ信号にトーンマッピングし、表示器２７に表示する。ここでの表示はＳＤＲ環境での視聴に相当する。

次に、Ｓ１２１１で制御部２１は、レタッチしたＨＤＲ信号を新規ファイルとして保存するか否かを、例えば表示器２７にＧＵＩを表示してユーザに問い合わせる。ユーザから例えば操作部２３を通じて保存が指示されれば、Ｓ１２１２で制御部２１はメタデータ７４にｍａｘＤＲＬ＿ｒを保存したＨＤＲ信号を記憶部２６に保存し、処理をＳ１２１３に進める。また、ユーザから保存しない旨の指示があった場合、制御部２１はＨＤＲ信号を保存せずに処理をＳ１２１３に進める。
Ｓ１２１３～Ｓ１２１４は第１実施形態のＳ８０９～Ｓ８１０と同様であるため説明を省略する。

本実施形態によれば、ＳＤＲ環境でＨＤＲ信号をレタッチしても、レタッチ後のＨＤＲ信号のファイルにｍａｘＤＲＬを保存して記録してすることができる。そのため、ＨＤＲ信号をＳＤＲ環境で視聴する際にはｍａｘＤＲＬを参照することで、レタッチ後の出力Ｄレンジの最大輝度値をＳＤＲ信号のＥＯＴＦの定義域の最大値にマッピングさせることができる。

なお、ＳＤＲ環境にて、ＲＡＷファイルに対して現像ソフトウェア等を用いてＨＤＲフォーマットに現像する場合であっても、第３実施形態の手順により、ＨＤＲ信号をＳＤＲ信号にトーンマッピングしたものを表示してもよい。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。第２実施形態では、画像のレタッチによりピーク輝度が変更された場合に、メタデータとしてのｍａｘＤＲＬを更新するようにした。一方、本実施形態では、画像のレタッチによりピーク輝度が変更された場合であっても、メタデータとしてのｍａｘＤＲＬを更新しない。レタッチ、例えばシャープネスの強さの変更によって画像のピーク輝度が変化し、ｍａｘＤＲＬが更新される場合を想定する。この場合、ｍａｘＤＲＬに基づきＳＤＲへのトーンマッピングを行うと、シャープネスの強さによって画像の階調が変化することになる。しかし、例えばユーザがシャープネスの強さを変えながら画像を確認したい場合には、画像の階調は変えずに、シャープネスの効果のみを変更することが望ましい。そこで本実施形態では、画像のレタッチによりピーク輝度が変更された場合であっても、メタデータとしてのｍａｘＤＲＬを更新しないこととした。なお、第２実施形態のようにｍａｘＤＲＬを更新するモードと、本実施形態のようにｍａｘＤＲＬを更新しないモードとを、ユーザ操作により、または自動的に選択可能にしてもよい。

●（第５実施形態）
上記の実施形態では、主に静止画ファイルを想定した説明を行った。本実施形態では、動画ファイルを想定した実施形態について説明する。
図１３（ａ）は、動画ファイルフォーマットの一例であるＭＰ４フォーマットのデータ構造を示す。ＭＰ４フォーマットのデータ構造は、メタデータを記録する領域１３０１と、動画のストリーム１３０５を記録する領域１３０４を含む。このうち領域１３０１はＥＸＩＦ領域１３０２とサムネイル領域１３０３を含み、ｍａｘＤＲＬはＥＸＩＦ領域１３０２に記録される。しかしながら、動画データは、例えば記録中にモード変更があった場合、連続して記録された動画データの途中でピーク輝度が変わる場合がある。この場合、ＥＸＩＦ領域１３０２にｍａｘＤＲＬとして何を記録するかが問題となる。そこで本実施形態では、動画撮影開始時の設定に基づくピーク輝度（動画データの開始フレームのピーク輝度）をｍａｘＤＲＬとしてＥＸＩＦ領域１３０２に記録することとした。なお、ｍａｘＤＲＬとしては、動画データのピーク輝度を代表する値であれば他の値を用いてもよい。例えば、動画データの終了フレームのピーク輝度、全フレームのピーク輝度のうちの最大値、全フレームのピーク輝度のうちの最小値、全フレームのピーク輝度のうちの平均値、全フレームのピーク輝度の中央値などを用いることができる。

またファイル形式によっては、図１３（ｂ）のようにフレームごとにメタデータを記録可能なものもある。１３１１、１３１２、１３１３、１３１４は図１３（ａ）の１３０１、１３０２、１３０３、１３０４と同様である。領域１３１５は動画の１フレーム目であり、領域１３１７は動画の２フレーム目である。さらに図１３（ｂ）のファイル形式は、フレームごとのメタデータ領域を含む。領域１３１６は１フレーム目のメタデータ領域であり、領域１３１８は２フレーム目のメタデータ領域である。このようなファイル形式の場合、フレームごとのピーク輝度をｍａｘＤＲＬとして記録してもよい。この場合は、フレームごとのメタデータ領域１３１６、１３１８に、フレームごとのピーク輝度を記録する。もちろんファイル全体のメタデータ領域であるＥＸＩＦ領域１３１２に、前述した代表のピーク輝度をさらに記載してもよい。

●（その他の実施形態）
上記の実施形態では、ファイルのメタデータとしてｍａｘＤＲＬを記述したが、必ずしもファイルのメタデータとして取り扱う場合に限定されない。例えば、デジタルカメラとＨＤＲディスプレイを直接ＨＤＭＩ（登録商標）で接続してＨＤＲ信号を出力させるような場合は、以下のような形態が考えられる。例えばデジタルカメラは、ｍａｘＤＲＬに相当する値を、ＨＤＲ信号のメタデータとして出力信号用の記録媒体に読み出し、ＨＤＲディスプレイにその値が入力されるような形態である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…カメラ本体、２…交換レンズ、１０…撮像素子、２１…制御部、２５…信号処理回路、５１…レンズ制御部、４０５…ガンマ変換部、４１０…色輝度変換部

Claims (23)

1. 信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号を記録する画像処理装置であって、
   前記画像処理装置に予め設定された異なる複数の出力ダイナミックレンジのうち、前記所定の画像信号の撮影条件に応じた１つの出力ダイナミックレンジのピーク輝度を示す情報を取得する取得手段と、
   前記取得手段により取得された前記情報に基づく第１の値を、前記所定の画像信号に関連付けて記録する記録手段と、
   を有することを特徴とする画像処理装置。
2. 被写体を撮像する撮像素子をさらに有し、
   前記所定の画像信号は、前記撮像素子から得られる信号から生成され、
   前記撮影条件は、撮影モードを含み、
   前記撮影モードは、前記異なる複数の出力ダイナミックレンジに対応する複数の撮影モードの１つであることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件に含まれる撮影モードに応じて、前記撮像素子から得られる信号に適用されるコントラスト調整用の階調特性が異なることを特徴とする請求項２に記載の画像処理装置。
4. 前記異なる複数の出力ダイナミックレンジが前記コントラスト調整用の階調特性に応じて定まり、前記ピーク輝度は、前記１つの出力ダイナミックレンジの前記コントラスト調整用の階調特性における最大の出力値であることを特徴とする請求項３に記載の画像処理装置。
5. 前記所定の画像信号に対する色または輝度の補正により前記ピーク輝度が変化した場合、前記第１の値を更新する更新手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記所定の画像信号に対する色または輝度の補正により前記ピーク輝度が変化した場合であっても、前記第１の値を更新しないことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記第１の値に基づき、前記所定の画像信号の階調値を、異なるダイナミックレンジを有する所定のフォーマットにおける階調値に変換することにより、前記所定の画像信号を前記所定のフォーマットの信号に変換する変換手段をさらに有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記所定の画像信号は、ＨＤＲ(High Dynamic Range)信号であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記所定の画像信号は、ＰＱ(Perceptual Quantization)に準拠した信号特性に基づくことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
10. 前記異なるダイナミックレンジとは、ＳＤＲ(Standard Dynamic Range)であることを特徴とする請求項８または９に記載の画像処理装置。
11. 前記記録手段は、前記所定の画像と前記第１の値とを１つのファイルに記録することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記１つのファイルがＨＥＩＦ(High Efficiency Image File Format)形式で記録されることを特徴とする請求項１１に記載の画像処理装置。
13. 信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号を処理する画像処理装置であって、
    前記所定の画像信号に対応付けて記録された第１の値を取得する取得手段と、ここで、前記第１の値は、前記所定の画像信号の撮影条件に応じた異なる複数の出力ダイナミックレンジのうちの１つの出力ダイナミックレンジのピーク輝度を示し、
    前記第１の値に基づき、前記所定の画像信号の階調値を、異なるダイナミックレンジを有する所定のフォーマットにおける階調値にトーンマッピングすることにより、前記所定の画像信号を前記所定のフォーマットの信号に変換する変換手段と、
    を有することを特徴とする画像処理装置。
14. 前記変換手段は、前記第１の値が予め定められた第２の値よりも小さい場合、前記第１の値が前記所定のフォーマットにおける最大の階調値になるようトーンマッピングすることを特徴とする請求項１３に記載の画像処理装置。
15. 前記変換手段は、前記第１の値が予め定められた第２の値よりも大きい場合、前記第２の値を前記所定のフォーマットにおける最大の階調値になるようトーンマッピングすることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記所定の画像信号は、ＨＤＲ(High Dynamic Range)信号であることを特徴とする請求項１３から１５のいずれか１項に記載の画像処理装置。
17. 前記所定の画像信号は、ＰＱ(Perceptual Quantization)に準拠した信号特性に基づくことを特徴とする請求項１３から１５のいずれか１項に記載の画像処理装置。
18. 前記所定のフォーマットの信号とは、ＳＤＲ(Standard Dynamic Range)信号であることを特徴とする請求項１６または１７に記載の画像処理装置。
19. 前記所定の画像信号は、ＨＥＩＦ(High Efficiency Image File Format)形式のファイルとして記録されていることを特徴とする請求項１３から１８のいずれか１項に記載の画像処理装置。
20. 信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号を記録する画像処理装置の制御方法であって、
    前記画像処理装置に予め設定された異なる複数の出力ダイナミックレンジのうち、前記所定の画像信号の撮影条件に応じた１つの出力ダイナミックレンジのピーク輝度を示す情報を取得する取得工程と、
    前記取得工程において取得された前記情報に基づく第１の値を、前記所定の画像信号に関連付けて記録する記録する記録工程と、
    を有することを特徴とする、画像処理装置の制御方法。
21. 信号レベルに対する表示輝度が絶対輝度で示される所定の画像信号をファイルとして記録する画像処理装置の制御方法であって、
    前記所定の画像信号に対応付けられて記録された第１の値を取得する取得する取得工程と、ここで、前記第１の値は、前記所定の画像信号の撮影条件に応じた異なる複数の出力ダイナミックレンジのうちの１つの出力ダイナミックレンジのピーク輝度を示し、
    前記第１の値に基づき、前記所定の画像信号の階調値を、異なるダイナミックレンジを有する所定のフォーマットにおける階調値にトーンマッピングすることにより、前記所定の画像信号を前記所定のフォーマットの信号に変換する変換工程と、
    を有することを特徴とする、画像処理装置の制御方法。
22. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
23. コンピュータを、請求項１３から１９のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images