JP7277156B2 - 画像処理装置及び画像処理方法、プログラム - Google Patents

Description

本発明は、ＨＤＲ（ハイダイナミックレンジ）画像を好適に画質調整することが可能な画像処理技術に関するものである。

近年、ディスプレイのＬＥＤ素子の進化などにより、黒を引き締め、高輝度をさらに高めることができる、ＨＤＲ（ハイダイナミックレンジ）対応のディスプレイが出てきている。このようなディスプレイでは、従来よりもダイナミックレンジの広い所謂ハイダイナミックレンジ（以下、ＨＤＲと称する）画像のデータを圧縮することなくそのまま表示することができる。

ＨＤＲでは、従来のダイナミックレンジ（以下、ＳＤＲと称する）でコントラストが下がってしまっていた青空の雲の階調や、夜景のネオンなどの風景をリアルに再現することができる。一方で、明るい部分が眩しいほど明るいと相対的に主被写体が暗く知覚されてしまうという現象も顕在化してきた。

この現象は、人間の視覚特性である色彩対比のうち、空間的に隣接する場合に発生する同時対比に起因するものであると考えられている。同時対比には、明度対比の他に彩度の高い色に囲まれた色は彩度が低下して見える彩度対比もある。この現象は明暗差がより強調される現象であるため、これこそがリアルなＨＤＲ画質であるということも言えるであろうが、一方で主被写体の明るさ、特に人物の顔などが暗くなると必ずしも好ましい画像とは言えない場合もある。

図１１は明度対比の例を示す図である。図１１（ａ）はＳＤＲディスプレイでの表示イメージを示し、図１１（ｂ）はＨＤＲディスプレイでの表示イメージを示している。このような場合には、ユーザは、撮影時ではカメラ内の、現像時ではＰＣアプリ内の画質調整機能を用いて暗くなっている顔を明るくするような調整を行うことが想定される。明るさ調整の一般的な方法としては、ＰＣアプリ内においてトーンカーブのような１次元のルックアップテーブル（ＬＵＴ）で示されるＵＩの暗部のみの輝度を持ち上げるような方法が用いられる。

ここで、ＰＣアプリの機能として拡大機能も併用して画質調整を行うことが想定される。図１２（ａ）はＳＤＲディスプレイ、図１２（ｂ）はＨＤＲディスプレイにおける拡大時のイメージを示している。この際、図１２（ｂ）では、拡大前に面積の大部分を占めていた高輝度領域が拡大時には無くなってしまったため明度対比の影響が低減された結果、人の顔をそれほど暗く感じなくなってしまうことが予想される。この状態では、ユーザは人の顔を暗いと感じないため、どれだけ顔の明るさを補正すればよいかわからなくなってしまう。このように、ＨＤＲ画像に対するＰＣアプリを用いたレタッチ作業においては、明度対比の影響をＳＤＲの場合以上に考慮する必要が生じてくる。

そこで例えば、特許文献１では、明度対比の影響を定量的に扱う方法として、コントラスト・プロファイル法が開示されている。コントラスト・プロファイル法では、視対象と周辺領域の輝度の対比量を、視対象を中心とした対数輝度画像に対し、中心が正、周辺が負となる重み付け関数を掛け、その結果を加算したものと定義する。重み付け関数は、検出波長を長いものから短いものまで設定してフィルタリングを行う。これを実際にはウェーブレット分解により近似させる。分解された各対比量に検出波長に応じた係数を掛け、その結果を積分することで対比効果を定量的に反映させた画像（以下、明るさ知覚画像と称す）を得ることが可能となる。

図１３（ａ）は輝度画像の例を示しており、図１３（ｂ）が輝度画像から求めた明るさ知覚画像の例を示している。図１３（ａ）において、例えば上部木の枝と下部の石畳の輝度値は同程度であるが、上部の木の枝は周囲が高輝度の空であるため、明度対比の影響を大きく受け特に暗く感じる。一方図１３（ｂ）では、下部の石畳よりも上部の木の枝の方が信号値としては低くなっており、明度対比の影響を定量的に反映していると言うことができる。

特許第６１０５２４１号公報

しかしながら、上述の特許文献１では、輝度画像から求めた明るさ知覚画像を用いて、具体的な入力画像の明るさを補正する方法までは言及されていない。加えて、ＰＣ現像アプリのように拡大表示を伴うレタッチ機能について、動的に明度対比の影響を考慮する方法についても考慮されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ＨＤＲ画像の明るさ調整を行う場合のユーザビリティを向上させることができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、画像処理装置であって、画像の表示範囲を、第１の表示範囲から、前記第１の表示範囲の少なくとも一部を含む第２の表示範囲に変更する変更手段と、前記第１の表示範囲で表示された画像における、明度対比の影響を考慮した輝度を示す第１の値と、前記第２の表示範囲で表示された画像における、明度対比の影響を考慮した輝度を示す第２の値とを取得する取得手段と、前記取得手段により取得された第１の値及び第２の値に基づき、前記第２の表示範囲で表示される前記画像の輝度を補正する補正手段と、を備え、前記明度対比の影響は、表示された前記画像のうち視対象領域の輝度とその周辺領域の輝度の対比量に基づく前記視対象領域の知覚量に対応することを特徴とする。

本発明によれば、ＨＤＲ画像の明るさ調整を行う場合のユーザビリティを向上させることができる画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係わる画像処理装置の概略構成を示すブロック図。 一般的な現像処理の処理工程を示すブロック図。 第１の実施形態の画像処理装置の動作を示すフローチャート。 第１の実施形態の画像処理装置の処理工程を示すブロック図。 画像処理装置の表示部に表示される現像パラメータ調整のためのユーザインタフェースの例を示す図。 第２の実施形態の画像処理装置の動作を示すフローチャート。 第２の実施形態の画像処理装置の処理工程を示すブロック図。 第３の実施形態の画像処理装置の動作を示すフローチャート。 第３の実施形態の画像処理装置の処理工程を示すブロック図。 輝度別に明るさを調整するための１次元のＬＵＴの例を示した図。 ＳＤＲ現像結果及びＨＤＲ現像結果の全画角のイメージ図。 ＳＤＲ現像結果及びＨＤＲ現像結果を拡大して一部を表示したイメージ図。 自然風景の輝度画像及び明るさ知覚画像の例を示した図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の画像処理装置２０の概略構成を示すブロック図である。画像処理装置２０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部記憶装置２４、操作部２５、表示部２６及びシステムバス２７を有する。ＣＰＵ２１は、画像処理装置２０の全体的な制御を行う。ＲＯＭ２２は、画像処理装置２０の起動に必要なＢＩＯＳ等の制御プログラムや、変更を必要としないプログラム、パラメータ及びデータを格納する。ＲＡＭ２３は、ＣＰＵ２１のワーク領域、各種データを一時的に記憶する一次記憶領域、各種プログラムのロード領域等を有する。外部記憶装置２４は、ＯＳプログラム、各種の制御プログラム、ＯＳプログラム上で実行可能な各種ソフトウェアのプログラム、各種データ等を格納する。外部記憶装置２４は、例えば、画像処理装置２０に内蔵され或いは着脱自在なハードディスクやフラッシュメモリ、画像処理装置２０に着脱自在なフレキシブルディスクや光学ディスク、光磁気ディスク、ＩＣカード、メモリーカード等である。操作部２５は、例えば、キーボードやマウス、タッチパネル等であり、ユーザによる操作を受けてＣＰＵ２１へ指示を与える。表示部２６は、画像処理装置２０上で動作しているＯＳやソフトウェアに対するユーザインタフェースをはじめとして、各種の情報を表示する機能を有し、例えば、液晶ディスプレイである。システムバス２７は、画像処理装置２０を構成する各ブロックを通信可能に接続する。

画像処理装置２０は、撮影済みのＲＡＷ画像を現像および編集する専用装置であってもよく、その場合、ＲＯＭ２２にＲＡＷ現像用プログラムを格納することができる。また、汎用のパーソナルコンピュータ（ＰＣ）は、ＣＰＵが外部記憶装置に格納されたＲＡＷ現像用プログラムをＲＡＭに展開することによって、画像処理装置２０として機能することができる。更に、撮像によりＲＡＷ画像を取得可能な撮像装置は、その制御部がＲＡＷ現像用プログラムを実行することによって、画像処理装置としても機能することができる。

ＲＡＷ現像用プログラムは、ＲＡＷ現像することにより、ディスプレイ等で鑑賞できる画像にする画像処理を行うためのソフトウェア（アプリケーション）のプログラムである。画像処理装置２０により実行される画像処理方法について、以下に説明する。

ＲＡＷ現像用プログラムは、周知の方法によって起動することができる。例えば、ユーザが操作部２５を操作し、表示部２６に画像ファイルのアイコンを表示させ、そのアイコンをＲＡＷ現像用プログラムのアイコンにドラッグ＆ドロップする。これにより、ＲＡＷ現像用プログラムが起動し、画像ファイルの画像データが読み込まれる。また、操作部２５の操作によって、表示部２６に表示されるＯＳのメニュー画面等からＲＡＷ現像用プログラムを起動することができる。この場合、表示部２６に表示されるＲＡＷ現像用プログラムのユーザインタフェースから画像データを読み込めばよい。更に、操作部２５により画像ファイルを選択した状態で、立ち上げるソフトウェアを更に選択する方法を用いて、ＲＡＷ現像用プログラムを起動することもできる。

図２は、ＲＡＷ現像処理の一般的な処理工程を示している。図２を参照して、ＲＡＷ現像処理の内容について詳細に説明する。撮像装置によって撮影されたＲＡＷ画像１０１の各画素の画素データは、各々単一の色プレーンにおける強度しか持たない画像データである。ホワイトバランス部１０２では、白を白くする処理がなされる。具体的には撮像画像データを構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットし、その結果その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分する。そして、その積分値からＲ成分及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。以上の処理により生成されたホワイトバランス係数を用いてホワイトバランス処理を実施する。

色補間部１０３では、ノイズリダクション処理や色モザイク画像を補間する処理などを行うことによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０４およびガンマ変換部１０５で処理され、基本的なカラー画像が生成される。その後、色輝度調整部１０９で画像の見栄えを改善するための処理が行われる。例えば、夕景を検出して彩度を強調するといった画像補正がシーンに応じて行われる。所望の色調整を行った高解像度画像を、圧縮部１１０においてＪＰＥＧやＨＥＶＣ等の方法で圧縮し、記録部１１１において、フラッシュメモリ等の記録媒体に記録するための現像画像１１２が生成される。

以下、図３のフローチャートおよび図４の工程図を用いて、画像処理装置２０の動作について説明する。

現像画像１１２がＰＣアプリ上で全画角が表示されている状態であるＦｉｔ表示状態でユーザへ提示されているものとする。ここで、輝度画像変換部１１４においてＦｉｔ表示の画像から輝度画像を算出する（Ｓ１１１）。現像画像１１２は一般的にはＲＧＢ形式となっているため、以下の式により輝度であるＹ信号へ変換する。

Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ …（１）
そして、明るさ知覚画像変換部１１６で先述したコントラスト・プロファイル法を用いて輝度画像から明るさ知覚画像を得る（Ｓ１１２）。

同様にして、ユーザが、図１の操作部２５を介して拡大表示操作を行った場合を考える。ＰＣアプリの表示部２６に表示されている画像の一部画角の画像データを拡大表示用画像生成部１１３において取得する。例として図５のＰＣアプリダイアログ３０を用いて説明すると、拡大率設定プルダウン３４によりユーザが指定した拡大率によって決定される画角を一部画角として設定する。取得された画像は輝度画像変換部１１５で輝度信号に変換され、明るさ知覚画像変換部１１７で明るさ知覚画像へさらに変換される（Ｓ１１３）。次に、明度対比補正用ゲイン画像生成部１１８において、次式により補正用ゲインを算出する（Ｓ１１４）。

Ｇａｉｎ＝Ｙｐ＿ｆｉｔ／Ｙｐ＿ｚｏｏｍ …（２）
ここで、Ｙｐ＿ｆｉｔはＦｉｔ表示時の明るさ知覚信号値（代表信号値）、Ｙｐ＿ｚｏｏｍは拡大時の明るさ知覚信号値（代表信号値）をそれぞれ示し、Ｇａｉｎはそれらの比率から算出される。代表信号値は、例えば明るさ知覚画像の平均値または中央値を用いることができる。

拡大時輝度画像補正部１１９において明度対比補正用ゲイン画像に基づき（補正ゲインを乗算することにより）拡大時の輝度画像を補正する（Ｓ１１５）。補正された拡大時の輝度画像を一般的な変換式により再度ＲＧＢ画像に戻して（Ｓ１１６）最終的な拡大表示用画像１２０とする。この画像は実際の記録画像に用いるのではなく、表示用のみの画像となる。拡大表示用画像１２０は、拡大により見ることができる画角の明度対比の影響を強制的に再現させる効果を持つ。

以上説明したように第１の実施形態によれば、ユーザはＦｉｔ表示時も拡大表示時も同じ明度対比の影響を感じながらレタッチ作業をすることが可能となり、違和感なく明度調整をすることが可能となる。

なお、上記の補正処理は、あくまで最終的な記録画像はＦｉｔ表示に対応する画角であるが、編集については拡大表示で行う場合に適用される処理である。これに対し、例えば編集を拡大表示で行い、そのままの画角で（つまりとトリミングして）記録するモードなどの場合は、上記の補正は行わないようにしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では拡大表示時にもＦｉｔ表示時の明度対比の影響を考慮して、拡大表示用の画像を補正していた。つまり、最終的な画像がＦｉｔ表示に対応する画角であり、かつ編集を拡大表示で行う場合に、拡大表示画像の明るさを補正していた。これに対して第２の実施形態では、トリミング枠が設定されたときに、最終画角時における明度対比の影響をトリミング前に考慮して表示に反映させる点が第１の実施形態と異なる。つまり、最終的な画像がトリミング画像（つまり拡大画像の画角に相当）であり、かつ編集をＦｉｔ表示で行う場合には、Ｆｉｔ表示画像の明るさを補正する。

図６は、第２の実施形態における画像処理装置の動作を示すフローチャートである。また、図７は処理工程を示す図である。第１の実施形態と同様に現像画像１１２がＰＣアプリ上で全画角が表示されている状態であるＦｉｔ表示状態でユーザへ提示されているものとする。ここで、輝度画像変換部１１４においてＦｉｔ表示の画像から輝度画像を算出する（Ｓ１１７）。そして、明るさ知覚画像変換部１１６で輝度画像から明るさ知覚画像を得る（Ｓ１１８）。明るさ知覚画像を算出する方法としては、第１の実施形態ではウェーブレット分解・積分を用いたが、より計算量を少なくする方法としてアンシャープマスクをかけることで代替としても構わない。ただしアンシャープマスクは解像度方向で多層にして、半径の太さのバリエーションを持たせ各階層毎にかけるゲイン量を調整する必要がある。ゲイン量はパネルテストなどを行い明度対比の再現性を高めるようなパラメータを用意できていることが望ましい。そして、明るさ知覚画像と画角内のどこを切り出すかというトリミング枠情報１２１とを用いて、トリミング枠外調整用ゲイン算出部１２２において、式（３）を用いてトリミング枠外の調整ゲインを算出する（Ｓ１１９）。トリミング枠情報は図５のＰＣアプリダイアログ上でユーザにより設定されたトリミング枠３７から取得する。

Ｇａｉｎ＝トリミング枠内平均明るさ知覚信号値／トリミング枠外平均明るさ知覚信号値 …（３）
ここでＧａｉｎ算出に使用する値として平均値ではなく、中央値を用いても構わない。

最後に、トリミング枠外画像補正部１２３において、算出されたトリミング枠外調整ゲインを現像画像１１２のトリミング枠外の領域にのみ掛けてトリミング時表示用画像１２４を得る（Ｓ１２０）。

以上説明したように、第２の実施形態によれば、トリミング枠が設定されている場合、トリミングされた最終枠における明度対比をトリミング実行する前のＦｉｔ表示時に考慮することができる。実際には、予めトリミング枠の外を黒塗りするなどして表示させないようにすれば、トリミング枠外の明度対比の影響を無くすことはできる。しかし、トリミング枠を後から設定しなおしたりすることも想定すると、トリミング枠外は完全に見せないのではなく半透明にさせるなどした方がユーザビリティの向上に繋がる。第２の実施形態の方法を適用することにより、半透明の度合いを自動で調整することが可能となり、いかなるシーンにおいても適切に対応することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態では、手動でのレタッチのための表示用の画像を調整していた。これに対して第３の実施形態では、最終画角での明度対比の影響を考慮して、自動で明るさ補正する点が第１の実施形態と異なる。

図８は、第３の実施形態における画像処理装置の動作を示すフローチャートである。また、図９は処理工程を示す図である。

現像画像１１２に対して、トリミング枠情報１２１から得られるトリミング枠内を最終画角として輝度画像変換部１１４において最終画角の画像信号を輝度信号へ変換する（Ｓ１２１）。その後、明るさ知覚画像変換部１１６において最終画角における明度対比の影響を考慮した明るさ知覚画像を取得する（Ｓ１２２）。明るさ補正ゲイン算出部１２５では図１０に示すような１次元の明るさ補正テーブル１２７を用いて、各明るさ知覚画素値に応じた補正ゲイン量を算出する（Ｓ１２３）。画素毎に算出された補正ゲインを明るさ補正部１２６において入力画像１１２に対して掛けることにより、明るさ補正後画像１２８を得ることができる（Ｓ１２４）。

以上説明したように、第３の実施形態によれば、輝度画像ではなく明るさ知覚画像をキーとして算出した補正ゲインを掛けることにより、見た目で暗く感じる箇所のみを狙って補正することが可能となり、より知覚と相関の高い自動補正が可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記実施形態により明度対比を考慮した輝度画像の補正を行った場合は、その旨をユーザに通知するようにしてもよい。例えば、「明度対比を考慮して輝度を下げています」といった通知を画像とともに表示することにより、ユーザは意図的に輝度が変更されていることを知ることができる。

また、上記実施形態では複数の明るさ知覚画像を取得し、それらの比較により補正ゲインを求めていたが、必ずしもこの方法には限定されない。明度対比は必ずしも厳密に評価する必要はなく、ある程度の明度対比の度合いがわかるような方法を採用することもできる。例えば第１の実施形態であれば、Ｆｉｔ画像と拡大画像のそれぞれについて、背景部と主被写体部における各平均輝度の比を求め、それらの比を比較することで補正ゲインを求めてもよい。つまり、Ｆｉｔ画像と拡大画像のそれぞれの明暗比の度合いを表す評価値などの情報を特定し、それらに基づいて補正ゲインを求めることができれば、種々の方法を採用することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

２０：画像処理装置、２１：ＣＰＵ、２２：ＲＯＭ、２３：ＲＡＭ、２４：外部記憶装置、２５：操作部、２６：表示部、２７：システムバス

Claims (14)

1. 画像処理装置であって、
   画像の表示範囲を、第１の表示範囲から、前記第１の表示範囲の少なくとも一部を含む第２の表示範囲に変更する変更手段と、
   前記第１の表示範囲で表示された画像における、明度対比の影響を考慮した輝度を示す第１の値と、前記第２の表示範囲で表示された画像における、明度対比の影響を考慮した輝度を示す第２の値とを取得する取得手段と、
   前記取得手段により取得された第１の値及び第２の値に基づき、前記第２の表示範囲で表示される前記画像の輝度を補正する補正手段と、
   を備え、
   前記明度対比の影響は、表示された前記画像のうち視対象領域の輝度とその周辺領域の輝度の対比量に基づく前記視対象領域の知覚量に対応することを特徴とする画像処理装置。
2. 前記第１の表示範囲から前記第２の表示範囲への変更は、前記画像の全画角を表示することから、前記画像の一部を拡大して表示することへの変更であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の表示範囲の輝度信号に基づき、前記第２の表示範囲における第１の明るさ知覚画像を生成し、前記第２の表示範囲の輝度信号に基づき、第２の明るさ知覚画像を生成する生成手段をさらに備え、
   前記生成手段は、人間が明るさを感じる特性に基づき、前記第１の明るさ知覚画像及び前記第２の明るさ知覚画像を生成し、
   前記取得手段は、前記第１の明るさ知覚画像に基づき前記第１の値を取得し、前記第２の明るさ知覚画像に基づき前記第２の値を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の値は、前記第１の明るさ知覚画像の信号値の平均値であり、前記第２の値は、前記第２の明るさ知覚画像の信号値の平均値であることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の値は、前記第１の明るさ知覚画像の信号値の中央値であり、前記第２の値は、前記第２の明るさ知覚画像の信号値の中央値であることを特徴とする請求項３に記載の画像処理装置。
6. 前記第１の値と前記第２の値に基づき、前記輝度を補正するためのゲインを決定する決定手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記ゲインは、前記第１の値と前記第２の値の比率であることを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、前記第２の表示範囲で表示される画像の輝度信号に前記ゲインを乗算することにより、前記輝度を補正することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記決定手段は、前記第１の値と前記第２の値とに基づいて、前記第２の表示範囲の画像の暗部を補正するゲインを算出することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像をトリミングして記録する場合は、前記第２の表示範囲の画像の輝度を補正しないことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像は、ＨＤＲ（ハイダイナミックレンジ：Ｈｉ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. ＲＡＷ画像を現像して前記ＨＤＲ画像を生成する現像手段をさらに備えることを特徴とする請求項１１に記載の画像処理装置。
13. 画像処理方法であって、
    画像の表示範囲を、第１の表示範囲から、前記第１の表示範囲の少なくとも一部を含む第２の表示範囲に変更する変更工程と、
    前記第１の表示範囲で表示された画像における、明度対比の影響を考慮した輝度を示す第１の値と、前記第２の表示範囲で表示された画像における、明度対比の影響を考慮した輝度を示す第２の値とを取得する取得工程と、
    前記取得工程において取得された第１の値及び第２の値に基づき、前記第２の表示範囲で表示される前記画像の輝度を補正する補正工程と、
    を有し、
    前記明度対比の影響は、表示された前記画像のうち視対象領域の輝度とその周辺領域の輝度の対比量に基づく前記視対象領域の知覚量に対応することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images