JP5952574B2

JP5952574B2 - 画像処理装置およびその制御方法

Info

Publication number: JP5952574B2
Application number: JP2012021343A
Authority: JP
Inventors: 陽平山中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-02-02
Filing date: 2012-02-02
Publication date: 2016-07-13
Anticipated expiration: 2032-02-02
Also published as: JP2013162247A

Description

本発明は撮像された画像に特殊効果を付与する画像処理が可能な画像処理装置およびその制御方法に関する。

撮像された画像に特殊効果を適用する画像処理として、写真を絵画調（水彩調、油彩調、色鉛筆調など）に変換するものが知られている。絵画調の画像とするには、画像のエッジ（暗部と明部の境界）周辺に擬似輪郭現象の１つであるハロ（白または黒い後光）を生じさせることが効果的である。ハロを生じさせる方法として、コントラストを強調することが考えられる。

例えば特許文献１では、ガンマ補正に用いるガンマカーブを調整することで、画像の白側や黒側のコントラストを向上させることを開示している。

特開２００９−１７２００号公報

しかしながら、特許文献1記載では、処理対象の画像全体に対して同一のガンマカーブを適用している。この方法では、コントラストが低い処理対象の画像が絵画調に見える程度のハロを生じさせることが困難である。

コントラストが低い画像は、被写体自体のコントラストが低い場合を撮影した画像とは限らない。例えば、撮像素子のダイナミックレンジを擬似的に拡張する手法として、同一シーンを異なる露出で撮影した複数の画像を合成するＨＤＲ(High Dynamic Range)技術が知られている。この手法で得られる合成画像は、従来黒つぶれしていた部分や白トビしていた部分が階調を有するものであるため、本質的に低コントラストの画像となる。このような低コントラスト画像を絵画調に変換するには、特許文献１に記載されるような画面全体に共通のガンマカーブを適用する処理では不十分である。

本発明はこのような従来技術の課題を解決し、低コントラストの画像に対しても絵画調変換することの可能な画像処理装置およびその制御方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、異なる複数の露出で撮影された複数の画像を取得する取得手段と、複数の画像に対してホワイトバランス調整を行うホワイトバランス調整手段と、ホワイトバランス調整された複数の画像の各々について、画像を複数に分割した領域ごとに代表輝度値に応じてゲイン値を設定し、画素ごとに適用するゲイン値を、画素の位置に応じた近傍領域に設定されたゲイン値から決定し、決定したゲイン値を画素に適用して輝度補正を行う輝度補正手段と、輝度補正された複数の画像を合成して合成画像を生成する合成手段と、領域の大きさを制御することにより、合成画像におけるエッジ部の周辺に生じるハロの範囲を制御する制御手段と、を有することを特徴とする。

本発明によれば、低コントラストの画像に対しても絵画調変換することの可能な画像処理装置およびその制御方法を提供するこことができる。

本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示すブロック図図１の撮像装置１００が有する画像処理装置１１０のうち、第１の実施形態における輝度補正部のブロック図（ａ）は本発明の実施形態における画像処理の流れを示すフローチャート、（ｂ）は第１の実施形態における輝度補正処理の流れを示すフローチャート（ａ）は本発明の実施形態における輝度補正処理における領域分割の例を示す図、（ｂ）は領域毎の代表輝度値の例を示す図（ａ）はそれぞれ露出アンダーで撮影された画像に適用するルックアップテーブルの特性を示す図、（ｂ）は露出オーバーで撮影された画像に適用するルックアップテーブルの特性の例を示す図、（ｃ）は適正露出で撮影された画像に適用するルックアップテーブルの特性を示す図（ａ）は、ルックアップテーブルを用いて代表輝度値からゲイン値を求める操作を模式的に示す図、（ｂ）は領域毎に代表輝度値をゲイン値に置き換える操作を模式的に示す図本発明の実施形態におけるＨＤＲ合成部１１０５の入出力データの一例を模式的に示す図本発明の実施形態における合成比率の一例を示す図（ａ）はハロの発生原理を説明するための図、（ｂ）は逆光時におけるハロの例を模式的に示した図図１の撮像装置１００が有する画像処理装置１１０のうち、絵画調処理部のブロック図濃度値を調整するために与える変換曲線図画像信号に対する各処理前後の波形を示した図濃度値を増加するために与える直線図入力画像と絵画風の画像に変換後の画像を示す写真本発明の実施形態における、分割領域のサイズの別の例を示す図図１の撮像装置１００が有する画像処理装置１１０のうち、第２の実施形態における輝度補正部のブロック図第２の実施形態における輝度補正処理の流れを示すフローチャート本発明の第２の実施形態において、領域情報平滑化部が用いることのできる空間フィルタの一例を示す図

図１（ａ）は、本発明の第１の実施形態に係わる画像処理装置の一例である撮像装置１００の構成を示すブロック図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラなど、被写体を撮像し画像データを得る装置を含む。図１（ａ）において、光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体の光学像で撮像素子１０２を露光する。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１により結像された光学像を画素ごとの輝度情報に変換する。制御部として機能するＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部は、ＡＳＩＣ等の専用ハードウェアによって実現されてもよい。

一次記憶装置１０４は、例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５は例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。記憶媒体１０６は、撮影により得られた画像のデータなどを記憶する。なお、記憶媒体１０６は例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記憶されたデータはパーソナルコンピュータなど他の機器で読み出し可能である。つまり、撮像装置１００は記憶媒体１０６の着脱機構及び読み書き機能を有する。表示部１０７は、撮影時のビューファインダー画像、撮影画像、対話的な操作のためのＧＵＩ画像等の表示を行う。操作部１０８は、ユーザの操作を受け付ける入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線等を用いた入力機器であってもよい。

なお、本実施形態の撮像装置１００は、画像処理装置１１０が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０８から設定可能である。例えば、撮像画像を鮮やか目に仕上げるパターン、スタンダードな色合いで仕上げるパターン、発色を抑えたニュートラルな画像とするパターン、人物の肌色に重点を置いた画像処理を行うポートレートのパターン等である。例えばポートレートモードでは、人物の肌色の色調や滑らかさに重点を置いた画像処理が行われるため、人物、特に女性や子供をアップで撮影する場合に好適である。

通信装置１０９は、外部装置と接続し制御コマンドやデータの送受信を行う。外部装置と接続を確立し、データ通信するためのプロトコルとしては、例えばＰＴＰ（Picture Transfer Protocol）が用いられる。なお、通信装置１０９は、外部装置と例えばＵＳＢ（Universal Serial Bus）ケーブルなどの有線接続により通信を行ってもよいし、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したりインターネットなどのネットワークを介して接続してもよい。

画像処理装置１１０は、いわゆる現像処理と呼ばれる画像処理を始め、撮影モードに応じた色調の調整等を行う。また、露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する処理も画像処理装置１１０が行う。合成される複数の画像のデータは例えば一次記憶装置１０４に記憶される。なお、画像処理装置１１０の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現してもよい。

図１（ｂ）は画像処理装置１１０の内部構成を示したものである。ホワイトバランス部１１０１では、画像中の白を白くする処理がなされ、具体的には画像中の白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインがＲ，Ｇ，Ｂ各々にかけられる。輝度補正部１１０２では、入力される画像に対して後述するような本実施形態特有の領域毎の輝度補正処理が施される。現像処理部１１０３では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する補間処理、マトリクス変換処理などのいわゆる現像処理が行われる。ガンマ変換部１１０４では、現像後の画像データに対してガンマ変換がおこなわれる。本実施形態では、この時点での画像データの各画素の濃度値は８ｂｉｔ(０〜２５５)で表現されている。ガンマ変換後の画像データは一次記憶装置１０４に記憶され、露出を異ならせて撮像された複数の画像データに対してＨＤＲ合成部１１０５にて見かけのダイナミックレンジを拡張する合成処理を行う。合成後の画像は、さらに絵画調にしあげるために絵画調処理部１１０６に入力されて絵画調処理が施され、処理後の画像が出力される。絵画調処理の詳細についても後述する。

図２は、輝度補正部１１０２の内部構成を示す図であり、図３は、本実施形態における画像処理の流れを示すフローチャートである。以下、図１、図２、図３を用いて本実施形態の画像処理について説明する。なお、ここでは、低コントラスト画像に対する絵画調変換処理を想定して、露出の異なる複数の画像から絵画調のＨＤＲ画像を生成する処理を説明する。

まず、Ｓ３０１において、ＣＰＵ１０３は、撮像素子１０２にいわゆるブラケット撮影の要領で、同一視野について露出の異なる複数回の撮影を連続的に実行させる。なお、以下の説明では、合成処理の説明及び理解を容易にするため、合成処理に係る撮影画像の視野が同一であるものとする。しかし、画像合成によるダイナミックレンジの拡大は、視野全体が同一な複数の画像の利用に限定されず、撮影される視野の少なくとも一部が、連続撮影される全ての画像に共通であれば良い。従って、本明細書において、「撮影された画像」は「複数の画像に共通した視野に対応する領域」を意味し、必ずしも画像全体を意味しないことに留意されたい。なお、複数の画像のうち共通した視野部分を取り出して合成する技術は既に知られており、また本発明とは直接関係しないため、その詳細については説明を省略する。

なお、適正露出を求める処理や、ブラケット撮影については公知の技術を用いることができるため、その詳細についての説明は省略する。また、適正露出に対してどの程度露出アンダー及び露出オーバーの画像を撮影するかや、何枚の画像を撮影するかは予め定められているものとする。また、適正露出で撮影される画像に加えて露出アンダー及び露出オーバーの画像両方が必ずしも必要なわけではなく、いずれかが少なくとも１枚存在すれば良い。さらに、適正露出で撮影を行わずに適正露出を基準として露出アンダー及び露出オーバーの画像を撮影して用いることもできる。ＣＰＵ１０３は、合成に係る画像が撮影されるごとに、画像のデータを一次記憶装置１０４に順次記憶する。

Ｓ３０２においてＣＰＵ１０３は、Ｓ３０１で一次記憶装置１０４に記憶した複数枚の画像のデータに対し、ホワイトバランス部１１０１にホワイトバランス調整を行わせる。本実施形態では、適正露出画像を最初に撮影し、適正露出画像のホワイトバランス係数を他の露出画像にも適用する。このようにすることで、合成後の画像においてホワイトバランスの違う画像を合成することによって不自然な色味となることを防いでいる。しかし、撮影毎にホワイトバランス係数を求めて適用しても、もちろん構わない。なお、一次記憶装置１０４に記憶した画像ではなく、記憶媒体１０６に記憶された画像を読みだして当該処理の対象としても良い。

Ｓ３０３においてＣＰＵ１０３は、輝度補正部１１０２に本実施形態に特徴的な処理である輝度補正処理を行わせる。
ここで、Ｓ３０３の処理についての詳細を図３（ｂ）のフローチャートを用いて説明する。Ｓ３０３１においてＣＰＵ１０３は、ホワイトバランス調整後の画像を領域情報生成部２０１により領域に分割させる。領域情報生成部２０１は、ＣＰＵ１０３から与えられる分割情報に従い、領域分割を行う。図４（ａ）は、画像を横方向に１２等分、縦方向に８等分した例を示す。また、本実施形態では方形状に分割をしているが、三角形、六角形などの多角形形状をはじめ、任意の形状の領域に分割することができる。

次にＣＰＵ１０３は、分割した領域毎に、領域に含まれる全ての画素の輝度値の平均値を領域の代表輝度値として求める。図４（ｂ）に、図４（ａ）に対応する領域毎の代表輝度値の例を示す。なお、本実施形態では領域の代表値を輝度の平均値としているが、デモザイキング（色補間処理）後の、各画素がＲ、Ｇ、Ｂ値のいずれかの平均値を領域の代表値として求めてもよい。

Ｓ３０３２においてＣＰＵ１０３は、Ｓ３０３１により得られた領域毎の代表輝度値を領域情報置換部２０２によりゲイン値に置き換えさせる。領域情報置換部２０２は例えば、二次記憶装置１０５に予め記憶されている代表輝度値とゲイン値との関係を示したルックアップテーブルを参照することにより、代表輝度値をゲイン値に置き換えることができる。

本実施形態では、露出アンダーで撮影された画像については、予め決められた基準値ａよりも代表輝度値の値が小さい場合は、代表輝度値が所定の輝度値となるような（１より大きい）ゲイン値に置き換えるものとする。また、露出オーバーで撮影された画像については、代表輝度値が基準値ｂより大きい場合に、代表輝度値が所定の輝度値となるような（１より小さい）ゲイン値に置き換えるものとする。

図５（ａ）と図５（ｂ）は、それぞれ露出アンダーで撮影された画像に適用するルックアップテーブルの特性と、露出オーバーで撮影された画像に適用するルックアップテーブルの特性の例を示している。図５（ａ）における値ａ、図５（ｂ）における値ｂがそれぞれ上述の基準値に相当する。また、図５（ｃ）は、適正露出で撮影された画像に適用するルックアップテーブルの特性の例である。

ここで、ルックアップテーブルの特性を調整することで、輝度補正部２０４が出力する画像に生じるハロの強度を変えることができる。例えば、生じるハロを強くする場合、適正露出に対して露出アンダーで撮影された画像に適用するルックアップテーブルの特性において、輝度平均値が低い領域に対するゲインと、輝度平均値が高い領域に対するゲインとの差分を大きくすればよい。この場合、輝度補正後の画像は適正露出量相当とはならないが、もともと絵画調への変換は露出の適正さよりも特殊効果の程度が重視されるため、特に問題とはならない。

なお、例えば適正露出に対して±２／３段、±４／３段といったように、露出アンダー／オーバーでの撮影がそれぞれ複数回行われる場合、それぞれの露出条件に応じたルックアップテーブルが用意されていてもよい。

図６（ａ）は、ルックアップテーブルを用いて代表輝度値からゲイン値を求める操作を、図６（ｂ）は領域毎に代表輝度値をゲイン値に置き換える操作をそれぞれ模式的に示す図である。図６（ａ）の特性曲線より、露出アンダー画像において、代表輝度値がＸの領域はゲイン値がＸ´と定まる。すると図６（ｂ）のように、代表輝度値がＸの領域に対応するゲイン値はＸ´として次の領域内の画素毎のゲイン値の算出が行われる。

図３（ｂ）に戻って、Ｓ３０３３においてＣＰＵ１０３は、Ｓ３０３２により得られた、領域毎のゲイン値を入力として、ゲイン値算出部２０３により画素毎のゲイン値を算出させる。
例えば以下のような原理で画素毎のゲインを算出する。まず、ゲインを算出する画素（注目画素）から、注目画素を含む領域の近傍の複数の領域の中心又は重心までの距離を求め、距離が短い順から４つまでの領域を選択する。そして、選択した４つの領域のゲイン値を、注目画素と領域の中心／重心との距離が小さいほど大きな重みを有するようにして２次元の線形補間を行い、画素毎のゲイン値を算出する。なお、画素毎のゲイン値を領域毎のゲイン値に基づいて算出する方法に制限は無く、他の方法を用いてもよいことは言うまでもない。また、ＣＰＵ１０３自身がソフトウェア的に画素毎のゲイン値を算出しても良い。

元の画像が３０００×２０００画素であり、縦横２５０画素の正方形ブロックに分割したとすると、領域情報生成部２０１から出力される画像（代表輝度値からなる画像）は、１２×８画素となる。この画像の各画素の値（代表輝度値）を、領域情報置換部２０２でゲイン値に置き換えた画像を、元の画像の画素数に線形補間で拡大すれば、拡大後の各画素の値が元の画像の対応する画素のゲイン値となる。

Ｓ３０３４においてＣＰＵ１０３は、一次記憶装置１０４に記憶されたホワイトバランス調整後の画像のデータに対して、Ｓ３０３３により得られた画素毎のゲイン値を輝度補正部２０４により適用させることで、画素毎に輝度補正を行う。そして、ＣＰＵ１０３は、輝度補正後の画像のデータを一次記憶装置１０４に記憶する。

輝度補正部２０４による輝度補正は、下記の式で実現される。
Ｒout ＝Ｇａｉｎ×Ｒin・・・（１）
Ｇout ＝Ｇａｉｎ×Ｇin・・・（２）
Ｂout ＝Ｇａｉｎ×Ｂin・・・（３）
ここで、
Ｒout：輝度補正後の赤色画素値
Ｇout：輝度補正後の緑色画素値
Ｂout：輝度補正後の青色画素値
Ｒin：ホワイトバランス調整後の赤色画素値
Ｇin：ホワイトバランス調整後の緑色画素値
Ｂin：ホワイトバランス調整後の青色画素値
Ｇａｉｎ：画素毎のゲイン値
である。

ここで、Ｓ３０３における処理は、デモザイキング（色補間処理）前のデータに対して適用されることが想定されているが、デモザイキング処理後の（各画素がＲＧＢまたはＹＵＶ成分の値を有する）データに対して適用してもよい。
図３（ａ）のフローチャートに戻ると、Ｓ３０４においてＣＰＵ１０３は、輝度補正部１１０２から出力される各画像データに対して現像処理部１１０３、ガンマ変換部１１０４に上述したような現像処理、ガンマ変換処理などの基本の画像処理を施させる。

Ｓ３０５においてＣＰＵ１０３は、Ｓ３０３で輝度補正された画像と、Ｓ３０３にて輝度補正されていない一次記憶装置１０４に記憶された基準画像とを入力として、ＨＤＲ合成部１１０５により、所定の合成比率に基づいて画素毎に合成し、合成画像を得る。

本実施形態では、合成画像を生成する場合、Ｓ３０１で適正露出、露出アンダー、露出オーバーの順で３回の撮影を行うものとする。撮影後、輝度補正部１１０２による輝度補正がなされて現像された各画像と、適正露出で撮影され、ホワイトバランス調整後、輝度補正部１１０２による輝度補正を受けずに現像された画像の計４つの画像をＨＤＲ合成部１１０５へ入力する。そして、適正露出画像に対してホワイトバランス調整後、輝度補正部１１０２による輝度補正を受けずに現像された画像を合成のための基準画像とする。

図７にＨＤＲ合成部１１０５の入出力データの一例を模式的に示す。
ここで、合成する輝度補正後の３枚の画像の合成比率は、基準画像の画素毎の輝度値に対する各画像の輝度値の高低に応じて決定する。基準画像は合成比率の決定に用いられるだけで、合成画像を構成しない。

例えば、露出オーバー画像、適正露出画像、露出アンダー画像の３枚が撮影されたとする。本実施形態では輝度補正されていない適正露出画像を基準画像とする。この場合、露出オーバー画像と適正露出画像が切り替わる第１の閾値と、適正露出画像と露出アンダー画像が切り替わる第２の閾値を設ける。従って、第１の閾値＜第２の閾値である。

そして、
基準画像の輝度値が第１の閾値より低い画素：露出オーバー画像の画素値
基準画像の輝度値が第１の閾値以上で第２の閾値以下の輝度値の画素：適正露出画像の画素値
基準画像の輝度値が第２の閾値より高い画素：露出アンダー画像の画素値
をそれぞれ採用して合成する。

また、単に画素値を選択して合成する（すなわち、合成比率が０％か１００％）と、異なる画像から採用された画素の境界（擬似輪郭）が合成画像で視認されてしまう場合がある。そのため、例えば、図８のように合成比率を線形に増減することにより、境界の発生を軽減させることが可能である。

本実施形態では、各画像処理の中で輝度補正部１１０２による輝度補正はしていない適正露出画像を基準画像とし、現像後の各画素について、図８のような合成比率に基づいて合成を行う。ただし、画像合成は、デモザイキング前のように、各画素が必要な成分（例えばＲＧＢ成分やＹＵＶ成分）を有する前の状態で行ってもよい。この場合、基準画像についても合成する各画像と同じ形式のホワイトバランス調整後で現像処理前の状態でＨＤＲ合成部１１０５に入力され、それを用いてＨＤＲ合成部１１０５は輝度値の比較を行う。

Ｓ３０６においてＣＰＵ１０３は、絵画調処理部１１０６により、入力されるＨＤＲ合成処理後の画像データに対して後述する絵画調処理を行わせる。処理後の画像は圧縮等の処理が行われ一次記憶装置１０４に記憶され（ステップＳ３０７）、処理は終了する。

絵画調処理部１１０６の内部構成や動作の詳細について以下説明する。
図１０は、原画像を絵画調画像に変換する場合に用いられる絵画調処理部の構成例を示す図である。絵画調処理部１１０６の各部は次のように構成されている。

ボカシ画像生成部１００３は、一次記憶装置１０４から入力された入力画像信号に対して、画像を縮小し、元の画像サイズまで拡大することで入力画像をぼかす回路である。なお、ボカシ画像を生成する方法としてはこの方法に限らず、フィルタ処理など公知のぼかす処理で生成可能である。フィルタ処理でぼかし処理を行うことで周波数帯域の形状をより細かく制御できるという利点はあるが、一方で縮小と拡大によるぼかし処理に比べて演算に時間がかかってしまう。

また、ボカシ画像生成部１００３は、外部制御信号ｃｏｎｔ１００１により縮小率、拡大率が調整可能に構成されている。

信号調整部１００４は、ボカシ画像生成部１００３により与えられるボカシ画像信号を入力し、入力された画像信号の濃度値を全体的に低くして信号調整画像を生成する回路である。また、信号調整部１００４は、外部制御信号ｃｏｎｔ１００２により変換曲線を変更できるように構成されている。なお図１１（ａ）に濃度値を低くするために与える変換曲線の例を示す。

差分演算部２０５は、入力画像信号と、信号調整部１００４により与えられる信号調整信号とを入力し、入力画像信号の濃度値と信号調整信号の濃度値の差分演算をし、入力画像から高周波成分が抽出されるとともに低周波成分も残った差分画像を生成する。

ここで、外部制御信号ｃｏｎｔ１００１により縮小率、拡大率を調整することで、入力画像信号の濃度値と信号調整信号の濃度値の差分演算結果が変わり、合成画像信号から与えられる合成画像のハロの太さを変えることが可能（調整可能）である。

本実施形態では、操作部１０８で撮影モードが風景に変更された（撮影条件が変更された）場合、輪郭や境界がくっきりとした印象的な画像にし、輪郭部に太いハロを付与するため、外部制御信号ｃｏｎｔ１００１で縮小率、拡大率を上げてボカシ具合を大きくする。

ここで、外部制御信号ｃｏｎｔ１００２により変換曲線を調整することで、入力画像信号の濃度値と信号調整信号の濃度値の差分演算結果が変わり、合成画像信号から与えられる合成画像のコントラスト強調度合を変えることが可能（調整可能）である。

本実施形態では、操作部１０８で撮影モードがポートレートに変更された場合、人の肌質を損ないたくない、またはコントラスト強調したくないので、図１１（ａ）の通常の撮影モードである場合に比べて図１１（ｂ）のように変換曲線の下凸の曲率を抑える。
また、変換曲線は図１１（ｃ）のように直線であっても良い。このようにすることで、図１１（ａ）、（ｂ）のような曲線にした場合に生じる、低輝度部と高輝度部のコントラストが強調されてしまうことも防ぐことができる。

図１２は、それぞれ入力画像信号（L1）、ボカシ画像生成部１００３により与えられるボカシ画像信号（L２）、信号調整部１００４により与えられる信号調整信号（L３）、差分演算部１００５より与えられる差分演算信号（L４）の波形を示した図である。横軸は画素の変位(ｘ)、縦軸は濃度値を示しており、濃度値に段差のある領域を説明のために抽出している。上記の処理を経ると、L４のような、入力画像のエッジを抽出しつつ低周波成分も含んだ画像信号を得られる。

正規化処理部１００６は、差分演算部１００５より与えられる差分演算信号を入力し、差分演算信号を基準の濃度値（基準濃度）まで線形に増加させる回路である。なお図１３（ａ）に濃度値を増加するために与える傾斜線の一例を示す。傾斜線の切片と傾きをそれぞれ調整することで、合成画像信号から与えられる合成画像の明るさ、コントラスト強調度合を変えることが可能である。例えば、コントラスト強調度合を増したい場合、図１３（ｂ）のように切片を小さく、傾斜線の傾きを大きくすれば良い。

合成処理部１００７は、入力画像信号と、正規化処理部１００６より与えられる正規化信号とを入力し、入力画像信号の濃度値と正規化信号の濃度値から、次式に基づいて演算し、絵画風の合成画像信号を出力する。
Ｒ＝（２^ｑ−１）−２×（（２^ｑ−１）−ＢＧ）×（（２^ｑ−１）−ＦＧ）／２^ｑ
（ただし、ＦＧ≧２^ｑ−１のとき）
Ｒ＝２×ＢＧ×ＦＧ／２^ｑ
（ただし、ＦＧ＜２^ｑ−１のとき） …（１）
Ｒ：演算結果
ＢＧ：入力画像信号
ＦＧ：正規化信号
ｑ：画像のｂｉｔ数

本実施形態では、合成処理部に入力される段階で各画像データは８ｂｉｔであるので、
Ｒ＝２５５−２×（２５５−ＢＧ）×（２５５−ＦＧ）／２５６
（ただし、ＦＧ≧１２８のとき）
Ｒ＝２×ＢＧ×ＦＧ／２５６
（ただし、ＦＧ＜１２８のとき） …（２）
Ｒ：演算結果
ＢＧ：入力画像信号
ＦＧ：正規化信号
に基づいて演算し、絵画風の合成画像信号を出力する。

なお、絵画調処理部１１０６による絵画風画像の効果の一例として、図１４（ａ）に入力画像としてボカシ画像生成部１００３に入力される画像、図１４（ｂ）に合成処理部１００７から得られる絵画風の画像に変換後の画像を示す。処理前の画像に対してエッジ部が強調されると共にハロが出ており、平坦部も質感が向上され絵画のような雰囲気が出ていることが分かる。

また本実施形態では、ＨＤＲ合成後の画像に対してぼかし画像を信号調整して原画像と差分をとることで低周波成分を残した差分画像を取得し、この差分画像を原画像と合成することで、平坦部の質感が残った合成画像を得ることができる。
以上の処理により、エッジ部の周辺にハロが生じた絵画調のＨＤＲ画像が得られる。

図９（ａ）において、Ｌ４はＳ３０２により得られる、ホワイトバランス調整後かつ輝度補正前の画像のエッジ部分の空間的位置と輝度の一例を示す。また、Ｌ５は、Ｓ３０３３により得られる画素毎のゲイン値の一例を示す。さらに図９（ａ）には、Ｓ３０３４により得られる輝度補正後の画像（Ｌ６）とＳ４０７により得られる合成画像（Ｌ７）のエッジ部分の空間的位置と輝度の一例を示す。

上述の通り、ハロとは、画像のエッジ（明部と暗部の境界）周辺に発生する白または黒い後光のことである。図９（ａ）において、適正露出画像をホワイトバランス調整した画像における、任意のエッジ部に直交する画素列の輝度がＬ４で示されるものとする。なお、Ｌ４は輝度補正前の状態である。

例えば図９（ａ）は人物の逆光撮影であり、Ｌ４における暗部は人物、明部は背景であるとする。このような場合、人物の輝度を所定値まで明るくするためにＬ５に示すようなゲイン値を適用し、Ｌ６に示すような輝度補正後の画像が得られたものとする。人物（暗部）の輝度を上げるための輝度補正が人物の周囲の領域にまで影響することで、人物の輪郭に沿って明るい部分が発生する。この明るい部分が白いハロである。図９（ｂ）に、逆光撮影時における人物の周囲に発生する白いハロを模式的に示す。図１０の合成比率に従って合成を行った場合、合成結果はＬ７に示すような輝度分布となる。

なお、白いハロは暗部の輝度を上げる処理が暗部に隣接する明部の輝度を上げることによって生じるが、黒いハロは、明部の輝度を下げる処理が明部に隣接する暗部の輝度を下げることによって生じる。

このように、ハロは輝度補正処理が、適用されるべき画素に隣接する、輝度補正が不要な画素にも適用されることによって生じる現象である。そのため、意図的にハロを生じさせるためには、輝度補正が影響を与える範囲を調整すればよく、また、ハロの強度は輝度の補正量（ゲイン値）を調整することで制御できることが理解される。

上述の通り、本実施形態では輝度補正のゲイン値を分割領域ごとに決定し、各画素のゲイン値を近傍の分割領域のゲイン値から求める。そのため、同じ輝度値の画素であっても、近傍の分割領域の代表輝度値の大きさによって輝度補正に用いられるゲイン値は異なる。これは、従来技術のように１つのガンマカーブを画像全体、すなわち全画素に適用した場合、同じ輝度の画素に対しては同じゲイン値が決定されるのとは大きく異なる。また、本実施形態の方法では、近傍領域の代表輝度値に応じて領域に対応したゲイン値を決定できるため、ルックアップテーブルの特性を変更することで、ハロの生成に重要な高輝度領域や低輝度領域に対するゲイン値を容易に制御できる。

また、輝度補正のゲイン値を分割領域ごとに決定し、各画素のゲイン値を近傍の分割領域のゲイン値から求めるため、あるゲイン値が影響を与える範囲は、分割領域が大きいほど大きくなる。そのため、本実施形態でＣＰＵ１０３は、領域情報生成部２０１に与える分割情報により分割領域のサイズを調整することで、輝度補正の寄与範囲を制御し、ハロが生じる範囲（エッジ部からどの程度離れた部分までハロが生じるか）を変更できる。
例えば、図１５に示すように分割数を増やし、分割領域のサイズを小さくすることで、輝度補正の寄与範囲が小さくなるので、ハロが発生する領域を狭めることができる。

以上のように、本実施形態によれば、処理対象の画像を所定の領域に分割し、それぞれの領域に対して輝度補正用のゲインを決定することにより、ＨＤＲ画像のように低コントラストの画像であっても絵画調の効果を与えることができる。
また、分割領域のサイズを調整することでハロが生じる領域の大きさを、領域毎の輝度補正用ゲイン値に置換するルックアップテーブルを調整することでハロの強度を、それぞれ変更することが可能である。

なお、絵画調の画像を得るのに十分な分割領域のサイズやルックアップテーブルの特性は、予め実験的に求めておくことができる。また、ユーザが効果を確認しながら効果の強弱を動的に変更可能とし、効果を強める指示があれば分割領域をより小さく、またルックアップテーブルの最小ゲインと最大ゲインとの差をより大きくすることの一方を行えば良い。効果を弱める場合には逆の調整を行えば良い。

また、絵画調処理部１１０６において、ボカシ画像のぼかし具合を調整することで、エッジ部分の強調の程度やエッジ周辺のハロの大きさを調整することができる。
また、ぼかし画像に行う信号調整処理の調整曲線を変えることで、合成画像のコントラストや平坦部の質感を調整することができる。
さらに、本実施形態では、上記のぼかし具合の調整や調整曲線を撮影モードに応じて決定することもできるため、ユーザは撮影モードに応じて適した画像を容易に得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態による画像処理装置としての撮像装置の構成は、輝度補正部１１０２が輝度補正部１６０２に置き換わることを除いて第１の実施形態と同様である。なお、その他の構成は、第１の実施形態と同様であるため、図１と同様の符号を用いて説明する。また、以下では、第１の実施形態と異なる箇所についてのみ説明を行う。

図１６に、本実施形態の撮像装置における輝度補正部１６０２の構成例を示す。輝度補正部１６０２には、第１の実施形態の構成要素に加え、領域情報平滑化部１６０５が領域情報生成部２０１と領域情報置換部２０２の間に設けられている。その他の構成は、第１の実施形態と同様であるため、図２と同様の符号を付してある。

本実施形態における輝度補正処理のフローチャート図を図１７に示す。図３（ｂ）のフローチャートに対してＳ１７０１の領域情報平滑化処理が加わることを除いて第１の実施形態と同様である。
本実施形態では、Ｓ３０３１で生成された領域情報（代表輝度値）をＳ３０３２で領域ごとのゲイン値に置き換える前に、Ｓ１７０１において領域情報平滑化部１６０５により、領域ごとの代表輝度値（輝度平均値）を平滑化する。本実施形態においては、図１８のように、５×５の２次元空間フィルタ各領域の輝度平均値に適用し、輝度平均値を平滑化する。

例えば、図４に示したようなブロック状の領域分割を行う場合、隣接する領域の輝度平均値の差分が大きい箇所で、輝度補正部２０４の出力画像データにおいて分割領域の境界部分が目立つ可能性がある。そこで、輝度平均値の平滑化を行い、隣接する領域における輝度平均値の差を小さくすることにより、領域の境目を目立たなくすることが可能である。なお、輝度平均値の平滑化の方法に特に制限は無く、他の方法を用いてもよい。

以降の処理は第１の実施形態と同様である。以上のように、本実施形態によれば、第１の実施形態の効果に加え、隣接する領域間で輝度平均値の差が大きい場合であっても、輝度補正後の画像において領域間の境界が目立ちにくくすることが可能である。

（その他の実施形態）
なお、上述の実施形態では、撮像装置に本発明を適用した実施形態について説明した。しかしながら、当業者が容易に理解するように、撮影機能を持たない装置であっても本発明を実施可能である。例えば、ブラケット撮影された複数の画像のデータを記録媒体やネットワークなどを通じて取得し、上述のフローチャートのＳ３０２以降の処理を実施すれば良い。ブラケット撮影された複数の画像のうち、どれが適正露出画像であるかどうかは、画像データにメタデータとして記録されている情報を用いて判別しても良いし、画像処理によって判別してもよい。あるいは、適正露出、露出オーバー、露出アンダーの順で撮影される等、ブラケット撮影の順序が予め分かっていれば、単に記録日時やファイル名などから判別してもよい。

また、上述の実施形態では、合成比率の算出時に用いる基準画像として、適正露出で撮影された画像の、輝度補正前の状態を用いていた。このような基準画像を用いることにより、ダイナミックレンジが拡張され、かつ合成画像における不適切な階調変化を抑制することができる。しかしながら、本願発明のように特殊効果を与える画像処理を適用したＨＤＲ画像を生成する場合には、かならずしも基準画像を合成する画像とは別に用意しなくてもよい。すなわち、合成する複数の画像のうちいずれか１つを基準画像として用いることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims

異なる複数の露出で撮影された複数の画像を取得する取得手段と、
前記複数の画像に対してホワイトバランス調整を行うホワイトバランス調整手段と、
ホワイトバランス調整された前記複数の画像の各々について、画像を複数に分割した領域ごとに代表輝度値に応じてゲイン値を設定し、画素ごとに適用するゲイン値を、該画素の位置に応じた近傍領域に設定されたゲイン値から決定し、決定したゲイン値を該画素に適用して輝度補正を行う輝度補正手段と、
前記輝度補正された前記複数の画像を合成して合成画像を生成する合成手段と、
前記領域の大きさを制御することにより、前記合成画像におけるエッジ部の周辺に生じるハロの範囲を制御する制御手段と、を有することを特徴とする画像処理装置。
前記制御手段はさらに、前記代表輝度値と前記ゲイン値との関係を示す特性を調整することにより、前記ハロの強度を制御することを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、前記領域の大きさを小さくすることにより、前記ハロの範囲を狭めることを特徴とする請求項１または請求項２に記載の画像処理装置。
前記複数の画像のうち、適正露出で撮影され、かつ前記輝度補正が行われていない画像の輝度値に応じて、前記輝度補正された複数の画像の合成比率を決定する決定手段をさらに有し、
前記合成手段は、前記輝度補正された前記複数の画像を前記決定手段が決定した比率で画素ごとに合成して前記合成画像を生成することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
前記輝度補正手段は、前記領域ごとの代表輝度値を平滑化する平滑化手段を有し、平滑化された代表輝度値に応じて前記領域ごとにゲイン値を設定し、画素ごとに適用するゲイン値を、該画素の位置に応じた近傍領域に設定されたゲイン値から決定し、決定したゲイン値を該画素に適用して前記輝度補正を行うことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
画像処理装置の取得手段が、異なる複数の露出で撮影された複数の画像を取得する取得工程と、
前記画像処理装置のホワイトバランス調整手段が、前記複数の画像に対してホワイトバランス調整を行うホワイトバランス調整工程と、
前記画像処理装置の輝度補正手段が、ホワイトバランス調整された前記複数の画像の各々について、画像を複数に分割した領域ごとに代表輝度値に応じてゲイン値を設定し、画素ごとに適用するゲイン値を、該画素の位置に応じた近傍領域に設定されたゲイン値から決定し、決定したゲイン値を該画素に適用して輝度補正を行う輝度補正工程と、
前記画像処理装置の合成手段が、前記輝度補正された前記複数の画像を合成して合成画像を生成する合成工程と、
前記画像処理装置の制御手段が、前記領域の大きさを制御することにより、前記合成画像におけるエッジ部の周辺に生じるハロの範囲を制御する制御工程と、を有することを特徴とする画像処理装置の制御方法。
前記制御工程ではさらに、前記代表輝度値と前記ゲイン値との関係を示す特性を調整することにより、前記ハロの強度を制御することを特徴とする請求項６に記載の画像処理装置の制御方法。
前記制御工程では、前記領域の大きさを小さくすることにより、前記ハロの範囲を狭めることを特徴とする請求項６または請求項７に記載の画像処理装置の制御方法。