JPWO2005125179A1 - 質感を強調する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 - Google Patents

Abstract

本発明の画像処理装置は、画像データの色情報から局所的な変動成分を抽出する。この色情報の変動成分から、輝度情報の質感成分を擬似的に生成する。このように生成された質感成分を、輝度情報に加算する。この画像処理によって、質感を向上させた画像を生成する。

Description

本発明は、画像内の被写体の質感を強調する画像処理技術に関する。

従来、電子カメラを高感度（例えば撮像素子の出力ゲインを上げる）に設定すると、撮像画像のノイズが増し、ザワザワしたり、色斑のようなノイズが現れる。この種のノイズは、画像に平滑化処理を施すことによって軽減することができる。しかし、過度な平滑化処理を行った場合、被写体の微細な画像構造が失われ、質感の乏しい画像になる。

このような質感低下を補う装置として、下記の特許文献１が知られている。
この特許文献１では、画像データから微小振幅成分を抽出し、その微小振幅成分を画像データに加算する。この従来技術により、いわゆる『シワ強調』といった質感強調が可能になる。
日本出願の特開２００１−１１８０６４号公報（例えば図５）

ところで、特許文献１の従来技術では、ノイズとして除去すべき微小振幅成分まで画像データにそのまま加算する。そのため、被写体の表面がノイズによってザワザワしたり、色斑ノイズが現れるといった問題点があった。
そこで、本発明は、ノイズ感の悪化を防止しつつ、画像の質感を強調する画像処理技術を提供することを目的とする。

《１》
本発明の画像処理装置は、輝度情報および色情報を含む画像データに画像処理を施す画像処理装置であって、下記の変動抽出部、変換部、および加算部を備える。
変動抽出部は、画像データの色情報から局所的な変動成分を抽出する。
変換部は、色情報の変動成分から、輝度情報の質感成分を擬似的に生成する。
加算部は、生成された質感成分を、輝度情報に加算する。

《２》
なお好ましくは、変動抽出部は、平滑化部および差分部を備える。この平滑化部は、画像データに平滑化処理を行い、平滑化成分を抽出する。一方、差分部は、画像データと平滑化成分の差分から、局所的な変動成分を求める。この場合、変換部は、平滑化成分の値に応じて、変動成分を変調することにより、質感成分を生成する。

《３》
また好ましくは、変換部は、乱数値に応じて変動成分を変調することにより、質感成分を生成する。

《４》
なお好ましくは、変換部は、輝度情報に応じて『色情報の変動成分』を変調することにより、輝度情報の質感成分を擬似的に生成する。

《５》
また好ましくは、変動抽出部は、第１平滑化部、第２平滑化部、および差分部を備える。
第１平滑化部は、視覚感度の高い空間周波数帯域を平滑化する。
第２平滑化部は、ノイズ帯域を平滑化する。
差分部は、第１平滑化部による平滑化前後の差分を取って変動成分を生成する。
一方、加算部は、生成された質感成分を、第２平滑化部の出力に加算する。

《６》
本発明の電子カメラは、上記《１》ないし《５》のいずれか１項に記載の画像処理装置と、被写体を撮像して画像データを生成する撮像部とを備える。この場合、撮像部で生成される画像データは、画像処理装置によって処理される。

《７》
本発明の画像処理ブログラムは、コンピュータを、上記《１》ないし《５》のいずれか１項に記載の前記変動抽出部、前記変換部、および前記加算部として機能させる。

《８》
本発明の画像処理方法は、輝度情報および色情報を含む画像データに画像処理を施す画像処理方法であって、下記の動作ステップを実行する。
変動抽出ステップでは、画像データの色情報から局所的な変動成分を抽出する。
変換ステップでは、色情報の変動成分から、輝度情報の質感成分を擬似的に生成する。
加算ステップでは、生成された質感成分を輝度情報に加算する。

本発明では、まず、画像データの色情報から局所的な変動成分を抽出する。この変動成分には、画像の質感表現を決定する重要なディテール情報が含まれる。そこで、この色情報の変動成分をディテール素材として利用して、輝度情報の質感成分を擬似的に生成する。このように色情報から生成された疑似質感成分を輝度情報に加算する。このような処理により、色情報の変動を輝度情報の質感成分に反映させることが可能になり、輝度情報の質感表現を豊かにすることが可能になる。

なお好ましくは、輝度情報の明暗に応じて、色情報から生成される擬似的な質感成分を増減変調させる。この処理により、ノイズの目立ちにくい階調域において、擬似的な質感成分の加算量を増やし、ノイズの目立ちやすい階調域において、擬似的な質感成分の加算量を削減することが可能になる。この場合、ノイズ感が少なく、かつ質感の豊かな画像を生成することが可能になる。

また好ましくは、色情報の信号レベルに応じて、色情報から生成される擬似的な質感成分を増減変調させる。この処理により、質感の目立ちにくい低彩度域において、擬似的な質感成分の加算量を増やし、ノイズの目立ちやすい高彩度域において、擬似的な質感成分の加算量を削減することが可能になる。この場合、色ノイズが少なく、かつ質感の豊かな画像を生成することが可能になる。

なお好ましくは、色情報の変動成分を乱数変調する。この処理により、変動成分の周波数成分を周波数拡散（もしくは周波数を高域に変換）させることができる。この場合、色情報の変動成分に含まれる質感がランダムに細かく変化し、実物に近い粒の小さな質感変化を出力画像に付加することが可能になる。また、この乱数変調では、色情報の変動成分に含まれる低域集中のノイズ（いわゆる色斑）を周波数拡散することが可能になる。その結果、擬似的な質感成分にも、斑模様のような低域集中ノイズが無くなり、粒の小さな質感成分に変化させることができる。この場合、斑模様といった目に付くノイズが少なくなり、かつ質感の豊かな画像を生成することが可能になる。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

第１実施形態の動作を説明する流れ図である。 第２実施形態の動作を説明する流れ図である。 電子カメラの構成を示すブロック図である。

《第１実施形態》
図１は、第１実施形態における画像処理プログラムを説明する流れ図である。
以下、図１に示すステップ番号に沿って、コンピュータによる第１実施形態の動作を説明する。

ステップＳ１：
コンピュータは、処理対象の入力画像Ｖｏを取り込む。
ステップＳ２：
コンピュータは、入力画像Ｖｏに対して、下式の平滑化処理を実施し、平滑化画像Ｖ１を得る。

なお、この式中の(x,y)、(x',y')は、画像の画素位置を示す座標である。また、この式中のσは、平滑化を強く施す振幅範囲を決定する値であり、ノイズ振幅ないしディテール成分の振幅程度に設定することが好ましい。さらに、式中のＲは、平滑化の半径を決める値であり、ノイズ半径ないしディテール半径程度に設定することが好ましい。また、重み関数Ｗ（ｄ）は、上式でなくともよいが、画素差|d|の単調減少関数であることが好ましい。例えば、Ｗ（ｄ）≡１／（ｄ²／σ²＋１）としてもよい。

ステップＳ３：
次に、コンピュータは、入力画像Ｖｏと平滑化画像Ｖ１との差分をとって、入力画像Ｖｏ中の変動成分Ｖhを得る。
Ｖｈ＝Ｖｏ(x,y)−Ｖ１(x,y) ・・・［２］

ステップＳ４：
ここで、コンピュータは、予めユーザーによりカスタム設定された『変動成分Ｖｈの処理モード１〜３』に応じ、動作を分岐する。
まず、モード１の場合、コンピュータはステップＳ５に動作を移行する。
また、モード２の場合、コンピュータはステップＳ６に動作を移行する。
さらに、モード３の場合、コンピュータはステップＳ７に動作を移行する。

ステップＳ５：
このモード１において、コンピュータは、変動成分Ｖｈに対して、１より小さな比例定数ｋを乗じて、質感成分Ｖｈ′を生成する。
Ｖｈ′(x,y)＝ｋ・Ｖｈ(x,y) ・・・［３］
この処理後、コンピュータはステップＳ８に動作を移行する。

ステップＳ６：
このモード２において、コンピュータは、下式を用いて、平滑化画像Ｖ１が示す大域的な明暗に従って、変動成分Ｖｈに変調処理を施す。

なお、式中のＶmaxは、画素値の上限値であり、例えば２５５に設定される。
この処理後、コンピュータはステップＳ８に動作を移行する。

ステップＳ７：
このモード３において、コンピュータは、変動成分Ｖｈに対して、例えば、区間［０，１］または区間［−１，１］の乱数Ｓを乗じて、質感成分Ｖｈ′を得る。
Ｖｈ′(x,y)＝Ｓ・Ｖｈ(x,y) ・・・［５］
なお、この乱数Ｓとしては、例えば、ホワイトノイズのような乱数でもよいし、１／ｆノイズのような乱数でもよい。
この処理後、コンピュータはステップＳ８に動作を移行する。

ステップＳ８：
コンピュータは、下式に従って、処理済みの質感成分Ｖｈ′を平滑化画像Ｖ１に加算し、出力画像Ｖ２を得る。
Ｖ２(x,y)＝Ｖ１(x,y)＋Ｖｈ′(x,y) ・・・［６］

《第１実施形態の効果など》
以下、第１実施形態が奏する効果について説明する。
上述したモード２では、平滑化画像Ｖ１の暗い領域において、変動成分を大きく振幅変調する。その結果、質感の目立ちにくい暗領域において質感を強調することが可能になり、質感の豊かな出力画像Ｖ２を得ることができる。

また、モード２では、ノイズの目立ちやすい中〜明領域において、変動成分を小さく振幅変調する。したがって、ノイズの目立たない出力画像Ｖ２を得ることができる。

また一方、上述したモード３では、変動成分を乱数によって変調する。その結果、変動成分の空間周波数を周波数拡散させることができる。この場合、変動成分に含まれる質感がランダムに変化し、実物に近いランダム変化した質感を出力画像Ｖ２に付加することができる。

また、このモード３では、変動成分に含まれるノイズを乱数変調することにより、ノイズの空間周波数成分を広域に周波数拡散させる。通常、ザワザワした印象の目立つノイズは、特定の空間周波数帯域に偏ったノイズによって生じる。そこで、モード３を用いて、このノイズを周波数拡散させることで、特定の空間周波数帯域へのノイズ集中を解消し、粒の小さな目立ちにくいノイズに変化させることが可能になる。

その上、乱数変調された質感成分Ｖｈ′を画像データに加算することにより、一種のディザ効果が得られる。このディザ効果によって出力画像Ｖ２の階調感を適度に高めることも可能になる。

特に、１／ｆノイズで変調した場合には、特定の空間周波数に偏った不自然なノイズを、自然界によく見られる周波数揺らぎに変調することが可能になる。その結果、不自然で目立つノイズから、より自然な（例えば銀塩フィルムの粒状感に似た）ノイズに変換することが可能になる。更にこの自然なディザ効果を画像データに付加することで、出力画像Ｖ２の階調感を、一段と自然な印象に近づけることが可能になる。
次に、別の実施形態について説明する。

《第２実施形態》
図２は、第２実施形態における画像処理プログラムを説明する流れ図である。
以下、図２に示すステップ番号に沿って、コンピュータによる第２実施形態の動作を説明する。

ステップＳ２１：
コンピュータは、処理対象の入力画像を取り込み、この入力画像の輝度情報Loおよび色情報ao,boを得る。

ステップＳ２２：
コンピュータは、入力画像(Lo,ao,bo)に対して、下式の平滑化処理を実施し、平滑化画像(L1,a1,b1)を得る。

なお、上記の［７］式に代えて、［９］式および［１１］式を段階的に実施してもよい。これら［９］式および［１１］式では、画面の水平方向および垂直方向の二段階に分けて平滑化処理を実行している。

なお、これら式中のσ，σｘ，σｙは、平滑化を強く施す振幅範囲を決定する値であり、ノイズ振幅ないしディテール成分の振幅程度に設定することが好ましい。さらに、式中のＲは、平滑化の半径を決める値であり、ノイズ半径ないしディテール半径程度に設定することが好ましい。
また、重み関数Ｗ，Ｗｘ，Ｗｙは、上式でなくともよいが、画素差|d|の単調減少関数であることが好ましい。例えば、下式の単調減少関数を、重み関数Ｗ，Ｗｘ，Ｗｙに使用してもよい。

なお、これら式中のパラメータについては、各成分のチャンネルごとに、視覚的な影響を考慮して値を変更することが好ましい。

ステップＳ２３：
次に、コンピュータは、入力画像(Lo,ao,bo)と平滑化画像(L1,a1,b1)との差分をとって、入力画像(Lo,ao,bo)中の変動成分(Lh,ah,bh)を得る。
Lh(x,y)=Lo(x,y)-L1(x,y)
ah(x,y)=ao(x,y)-a1(x,y)
bh(x,y)=bo(x,y)-b1(x,y)
・・・［１５］

ステップＳ２４：
ここで、コンピュータは、予めユーザーによりカスタム設定された『変動成分(Lh,ah,bh)の処理モード１〜３』に応じて、動作を分岐する。
まず、モード１の場合、コンピュータはステップＳ２５に動作を移行する。
また、モード２の場合、コンピュータはステップＳ２６に動作を移行する。
さらに、モード３の場合、コンピュータはステップＳ２７に動作を移行する。

ステップＳ２５：
このモード１において、コンピュータは、輝度情報の変動成分Lhと、色情報の変動成分ah,bhを加重比率(kl,ka,kb)で加重加算することにより、輝度情報の質感成分Ｖｈ′を擬似的に生成する。
Vh′(x,y)=kl・Lh(x,y)+ka・ah(x,y)+kb・bh(x,y) ・・・［１６］
例えば、式中の加重比率は、
kl＝ka＝kb＝０．５
に設定することが好ましい。
また例えば、式中の加重比率を、
kl＝０．３５、
ka＝０．１、
kb＝０．０５
のように個別に決定してもよい。
なお、色情報の加重比率ka,kbについては、色情報の変動成分ah,bhが、輝度（特に質感）に与える視覚的な影響を考慮して定めればよく、具体的には画質の主観テストなどを経て決定することが好ましい。
この処理後、コンピュータはステップＳ２８に動作を移行する。

ステップＳ２６：
このモード２において、コンピュータは、下式を用いて、輝度情報Ｌ１が示す大域的な明暗に従って、輝度情報の変動成分Lhと、色情報の変動成分ah,bhに変調処理を施す。

式中のＬmaxは、輝度情報Ｌの上限値であり、例えば２５５に設定される。
なお、色情報の変動成分ah,bhについては、下式のように色情報a1,b1で変調してもよい。

式中のamax、bmaxは、色情報a1、b1の上限値である。
このようにして、輝度情報の質感成分Ｖｈ′を擬似的に生成した後、コンピュータはステップＳ２８に動作を移行する。

ステップＳ２７：
このモード３において、コンピュータは、輝度情報の変動成分Lhと、色情報の変動成分ah,bhとに対して、区間［０，１］または区間［−１，１］の乱数Ｓ１〜Ｓ３をそれぞれ乗じて、輝度情報の質感成分Ｖｈ′を擬似的に生成する。
Ｖｈ′(x,y)＝S1・Lh(x,y)+S2・ah(x,y)+S3・bh(x,y) ・・・［１９］
なお、この乱数Ｓ１〜Ｓ３としては、例えば、ホワイトノイズのような乱数でもよいし、１／ｆノイズのような乱数でもよい。
この処理後、コンピュータはステップＳ２８に動作を移行する。

ステップＳ２８：
コンピュータは、下式に従って、処理済みの質感成分Ｖｈ′を平滑化画像の輝度情報Ｌ１に加算し、出力画像(L2,a1,b1)を得る。
Ｌ２(x,y)＝Ｌ１(x,y)＋Ｖｈ′(x,y) ・・・［２０］

《第２実施形態の効果など》
上述したモード１では、色情報a1,b1の変動成分ah,bhに所定比率を乗算することにより、輝度情報の質感成分を擬似的に生成する。その結果、色情報の変動を輝度情報の質感成分に反映することが可能になり、出力画像の質感を豊かにすることができる。

また、上述したモード２の［１７］式では、平滑化後の輝度情報Ｌ１の暗い領域において、変動成分を大きく振幅変調する。その結果、質感の目立ちにくい暗領域において質感を特に強調することが可能になり、質感の豊かな出力画像を得ることができる。その一方、［１７］式では、ノイズの目立ちやすい中〜明領域において、変動成分を小さく振幅変調する。したがって、ノイズの目立たない出力画像を得ることができる。

また、上述したモード２の［１８］式では、平滑化後の色情報a1,b1の絶対値が小さいほど、変動成分を大きく振幅変調する。その結果、質感の目立ちにくい低彩度の領域において質感を強調することが可能になり、質感の豊かな出力画像を得ることができる。その一方、［１８］式では、ノイズの目立ちやすい中〜高彩度の領域において、変動成分を小さく振幅変調する。したがって、ノイズの目立たない出力画像を得ることができる。

さらに、上述したモード３では、変動成分を乱数によって変調することにより、変動成分の周波数成分を周波数拡散させることができる。この場合、変動成分に含まれる質感がランダムに細かく変化し、実物に近いランダム変動した質感を出力画像に付加することが可能になる。

また、変動成分に含まれるノイズについては、モード３で乱数変調することにより、目立ちやすい空間周波数低域のノイズ（色斑）を高域へ周波数拡散することが可能になる。その結果、粒の小さな目立ちにくいノイズに変化させることが可能になる。

その上、乱数変調された質感成分Ｖｈ′を加算することにより、一種のディザ効果を付加することができる。その結果、出力画像の階調感を適度に高めることも可能になる。

特に、１／ｆノイズで変調した場合には、特定の空間周波数に偏った不自然なノイズを、自然界によく見られるノイズの周波数揺らぎに変調することが可能になる。その結果、不自然で目立つノイズ（色斑ノイズ）から、より自然な（例えばフィルムの粒状感に似た）輝度ノイズに変換することが可能になる。その上、この自然なディザ効果が付加されることにより、出力画像の階調感を、更に自然な印象に近づけることが可能になる。

また、第２実施形態では、色情報の変動成分を、輝度情報の質感成分に変換して輝度情報に加算する。したがって、色ノイズは悪化しない。
次に、別の実施形態について説明する。

《第３実施形態》
第３実施形態は、電子カメラの実施形態である。
図３は、本実施形態の構成を示すブロック図である。
図３において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、タイミングジェネレータ２２ｂの出力パルスによって動作が制御される。

この撮像素子１３で生成される画像は、Ａ／Ｄ変換部１５および信号処理部１６を介して、バッファメモリ１７に一時記憶される。
このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、カードインターフェース２０、マイクロプロセッサ２２、圧縮伸張部２３、および画像表示部２４が接続される。この内、カードインターフェース２０は、着脱自在なメモリカード２１に対するデータの読み書きを行う。また、マイクロプロセッサ２２には、電子カメラ１１のスイッチ群２２ａからユーザー操作の信号が入力される。さらに、画像表示部２４は、電子カメラ１１の背面に設けられたモニタ画面２５に画像を表示する。

このような構成の電子カメラ１１は、マイクロプロセッサ２２および画像処理部１９によって、第１〜第２の実施形態の質感強調（図１〜図２など）が実行される。
このような質感強調は、撮像時の画像データに対して実施してもよいし、メモリカード２１に記録された画像データに対して後から実施してもよい。

《実施形態の補足事項》
なお、上述した実施形態では、ユーザーがコンピュータまたは電子カメラを用いて、質感強調を実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明をＡＳＩＣその他のハードウェアで実現することもできる。また例えば、インターネット上の画像処理サーバーにおいて、ユーザーから伝送される画像データに対して、図１〜図２に示すような画像処理方法をサービスとして提供してもよい。

また、上述した実施形態では、Ｌａｂ色空間において質感強調を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、ＨＳＶ色空間その他の色空間上において、同様の質感強調を実施してもよい。

なお、上述した実施形態では、定められた色域をはみ出さないよう、質感強調後に各成分の信号レベルに対して制限処理を行うことが好ましい。

なお、上述した実施形態では、画面全体に対して質感強調を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。

例えば、画面の一部（主要被写体、人物や肌色領域、陰影部、トリミング範囲、人物や肌色領域を除いた背景部分など）に限って、質感強調を実施してもよい。この場合、画面全体におけるノイズ増加の悪影響を避けつつ、画面内の特定箇所の質感を効果的に強調することが可能になる。

また、上述した実施形態では、暗い部分や低彩度部分について、輝度の質感強調を強めている。しかしながら、本発明はこれに限定されるものではない。一般的には、ノイズ増加の悪影響を勘案しながら、質感を高める輝度域や彩度域を決定することが好ましい。

なお、上述した実施形態では、１種類の平滑化処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、視覚感度の高い空間周波数の中域を平滑化する第１平滑化処理（例えば、平滑化半径Ｒ＝８）と、ノイズ帯域を平滑化する第２平滑化処理（例えば、平滑化半径Ｒ＝４）をそれぞれ実施してもよい。この場合、第１平滑化処理の前後差分から変動成分を抽出することで、良質な質感成分を生成できる。また、この変動成分から求めた質感成分を、低ノイズの第２平滑化処理の出力に加算することにより、質感が高く、かつノイズ感の少ない出力画像を得ることができる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理プログラムや電子カメラなどに利用可能な技術である。

Claims (8)

1. 輝度情報および色情報を含む画像データに画像処理を施す画像処理装置であって、
   前記画像データの前記色情報から局所的な変動成分を抽出する変動抽出部と、
   前記色情報の変動成分から、輝度の質感成分を擬似的に生成する変換部と、
   前記質感成分を、前記輝度情報に加算する加算部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記変動抽出部は、
   画像データに平滑化処理を行い、平滑化成分を抽出する平滑化部と、
   前記画像データと前記平滑化成分の差分から、局所的な変動成分を求める差分部とを備え、
   前記変換部は、前記平滑化成分の値に応じて前記変動成分を変調することにより、前記質感成分を生成する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記変換部は、乱数値に応じて前記変動成分を変調することにより、前記質感成分を生成する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記変換部は、前記輝度情報に応じて、前記色情報の変動成分を変調することにより、前記輝度情報の質感成分を擬似的に生成する
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記変動抽出部は、
   視覚感度の高い空間周波数帯域を平滑化する第１平滑化部と、
   ノイズ帯域を平滑化する第２平滑化部と、
   前記第１平滑化部による平滑化前後の差分を取って変動成分を生成する差分部とを備え、
   前記加算部は、
   前記質感成分を、前記第２平滑化部の出力に加算する
   ことを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置と、
   被写体を撮像して画像データを生成する撮像部とを備え、
   前記撮像部で生成される前記画像データを前記画像処理装置で処理する
   ことを特徴とする電子カメラ。
7. コンピュータを、請求項１ないし請求項５のいずれか１項に記載の前記変動抽出部、前記変換部、および前記加算部として機能させるための画像処理プログラム。
8. 輝度情報および色情報を含む画像データに画像処理を施す画像処理方法であって、
   前記画像データの前記色情報から局所的な変動成分を抽出する変動抽出ステップと、
   前記色情報の変動成分から、前記輝度情報の質感成分を疑似的に生成する変換ステップと、
   前記質感成分を前記輝度情報に加算する加算ステップと
   を備えたことを特徴とする画像処理方法。
   

Images