JP7471832B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラなどの画像処理装置では、ダイナミックレンジの広いシーンを撮影して得られた画像に対して、シーンの特徴をなるべく再現できるよう、暗部を明るくし、明部を暗くするような階調圧縮処理が提案されている（例えば、特許文献１参照）。このような階調圧縮処理を画像に施した際、光学的なボケ部のようなグラデーション領域で、図７の点線で示すような疑似輪郭７０１が発生する場合がある。

特開２００７－２９３５２８号公報

本発明は、画像のグラデーション領域における疑似輪郭の発生を抑制し、所望の階調補正を行うことができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出手段と、前記検出手段による検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第１のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第１のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理手段とを有することを特徴とする。

本発明によれば、画像のグラデーション領域における疑似輪郭の発生を抑制し、所望の階調補正を可能にした画像処理装置を提供することができる。

本実施形態における画像処理装置の構成例を示す図である。 階調特性及びゲインマップを説明する図である。 ゲイン特性の生成を説明する図である。 本実施形態における画像処理装置の処理例を示すフローチャートである。 入力画像の一例を示す図である。 グラデーション領域の検出を説明する図である。 グラデーション領域における疑似輪郭を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態における画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置は、入力される画像において光学的なボケ部のようなグラデーション領域を検出し、グラデーション領域とそうでない領域とで、異なるゲイン特性を適用したゲインマップを生成して画像に対するゲイン処理を行う。なお、ゲイン特性とは、図２（ａ）に一例を示すように、横軸を入力輝度信号とし、縦軸をゲイン信号としたテーブルを指し、入力輝度に応じてかけるゲインを示している。また、ゲインマップとは、図２（ｂ）に示すように、画像内の位置に応じて適用するゲインが決められた画像を指す。

本実施形態における画像処理装置は、図１に示すように、画像入力部１０１、第１の縮小画像生成部１０２、第２の縮小画像生成部１０３、第１のゲイン変換部１０４、及び第１のゲインマップ生成部１０５を有する。また、本実施形態における画像処理装置は、第２のゲイン変換部１０６、第２のゲインマップ生成部１０７、ＭＩＸ比率算出部１０８、第３のゲインマップ生成部１０９、及びゲイン処理部１１０を有する。本実施形態における画像処理装置は、入力された画像に対してゲイン処理を施して画像を出力する処理を実施する。なお、本実施形態における画像処理装置で入出力する画像は輝度信号によって構成される。

画像入力部１０１は、ゲイン処理を行う入力画像を入力する。画像入力部１０１に入力された入力画像は、第１の縮小画像生成部１０２、ＭＩＸ比率算出部１０８、及びゲイン処理部１１０に供給される。第１の縮小画像生成部１０２は、画像入力部１０１を介して供給される入力画像に縮小処理を施して第１の縮小画像を生成する。第２の縮小画像生成部１０３は、第１の縮小画像生成部１０２で生成された第１の縮小画像にさらに縮小処理を施して第２の縮小画像を生成する。このように本実施形態における画像処理装置では、第１の縮小画像生成部１０２及び第２の縮小画像生成部１０３により縮小率が異なる縮小画像を生成する。

第１のゲイン変換部１０４は、第１の縮小画像生成部１０２及び第２の縮小画像生成部１０３で生成された各々の画像に対し、非グラデーション部用ゲインとして第１のゲイン特性に基づいてゲインマップを生成する。すなわち、第１のゲイン変換部１０４は、第１のゲイン特性に基づいて、第１の縮小画像に対応するゲインマップ及び第２の縮小画像に対応するゲインマップをそれぞれ生成する。なお、第１のゲイン特性には、輝度値に応じ異なるゲインが設定されたゲイン特性を与える。例えば、第１のゲイン特性として、図３（ａ）に一例を示すような、暗部を明るくし、明部を暗くするような、入力画像に対して本来実施したい階調補正（階調圧縮）を行うゲイン特性を与える。

第１のゲインマップ生成部１０５は、第１のゲイン変換部１０４で生成した複数のゲインマップに基づいて、非グラデーション部用の第１のゲインマップを生成する。第１のゲインマップ生成部１０５は、第１のゲイン変換部１０４でそれぞれ生成された第１の縮小画像に対応するゲインマップ及び第２の縮小画像に対応するゲインマップを所定のＭＩＸ比率で合成して第１のゲインマップを生成する。

第２のゲイン変換部１０６は、第１の縮小画像生成部１０２及び第２の縮小画像生成部１０３で生成された各々の画像に対し、グラデーション部用ゲインとして第２のゲイン特性に基づいてゲインマップを生成する。すなわち、第２のゲイン変換部１０６は、第２のゲイン特性に基づいて、第１の縮小画像に対応するゲインマップ及び第２の縮小画像に対応するゲインマップをそれぞれ生成する。なお、第２のゲイン特性には、前述した第１のゲイン特性を元にして、図３（ｂ）及び図３（ｃ）に一例を示すような、ゲイン特性の傾きの変化を第１のゲイン特性よりも抑えたゲイン特性を与える。すなわち、第２のゲイン特性には、第１のゲイン特性よりも輝度値に対するゲインの変化量を抑えた（変化量が少ない）ゲイン特性を与える。

第２のゲインマップ生成部１０７は、第２のゲイン変換部１０６で生成した複数のゲインマップに基づいて、グラデーション部用の第２のゲインマップを生成する。第２のゲインマップ生成部１０７は、第２のゲイン変換部１０６でそれぞれ生成された第１の縮小画像に対応するゲインマップ及び第２の縮小画像に対応するゲインマップを所定のＭＩＸ比率で合成して第２のゲインマップを生成する。

ＭＩＸ比率算出部１０８は、画像入力部１０１を介して供給される入力画像、及び第１の縮小画像生成部１０２で生成された画像に基づいて、画像におけるボケ部のようなグラデーション領域を検出する。ＭＩＸ比率算出部１０８は、検出手段の一例である。ＭＩＸ比率算出部１０８は、グラデーション領域の検出結果に基づいて、グラデーションの度合に応じた、領域毎のＭＩＸ比率を示す画像を生成する。

第３のゲインマップ生成部１０９は、ＭＩＸ比率算出部１０８で生成したＭＩＸ比率画像に基づいて、入力画像に対するゲイン処理に用いる第３のゲインマップを生成する。第３のゲインマップ生成部１０９は、ＭＩＸ比率画像に基づいて、グラデーション領域には第２のゲインマップの値を適用し、グラデーション領域でない領域には第１のゲインマップの値を適用して、第３のゲインマップを生成する。

ゲイン処理部１１０は、第３のゲインマップ生成部１０９で生成した第３のゲインマップに基づいて、画像入力部１０１を介して供給される入力画像にゲイン処理を施す。ゲイン処理部１１０での第３のゲインマップに基づくゲイン処理により階調補正（階調圧縮）された画像は出力画像として出力される。

図４は、本実施形態における画像処理装置の処理例を示すフローチャートである。
ステップＳ４０１では、第１のゲイン変換部１０４及び第２のゲイン変換部１０６が、非グラデーション部用のゲイン特性（第１のゲイン特性）及びグラデーション部用のゲイン特性（第２のゲイン特性）を生成する。非グラデーション部用のゲイン特性は、図３（ａ）に一例を示したようなゲイン特性３０１であり、グラデーション部用のゲイン特性は、図３（ｃ）に一例を示したようなゲイン特性３１１である。

以下、ゲイン特性の生成方法について説明する。非グラデーション部用のゲイン特性は、図３（ａ）に一例を示したように、ダイナミックレンジの広いシーンにおいても、被写体を階調性豊かに表現できるよう、暗部を明るくし、明部を暗くするようなゲイン特性とする。例えば、トーンカーブ上で、図３（ａ）の３０２に示すような、所定の暗部の輝度を持ち上げる点と、３０３に示すような、所定の明部の輝度を引き下げる点とを決め、その２点を滑らかにつなぐような線を引き、非グラデーション部用のゲイン特性３０１とする。

次に、グラデーション部用のゲイン特性の生成方法を、図３（ｂ）を参照して説明する。グラデーション部用のゲイン特性は、非グラデーション部用のゲイン特性を元に、ゲイン特性の傾きの変化を抑えたゲインを生成する。階調補正において輝度域ごとに掛かるゲインが大きく異なるゲイン処理をすることで、画像における滑らかな階調変化が失われてボケ部のようなグラデーション領域に疑似輪郭が発生する。そこで、輝度域の変化に対するゲイン特性の変化（つまり、トーンカーブにおける傾きの変化）を抑えることで、この現象を抑制することができる。

ゲイン特性の傾きの変化を抑える方法の一例を図３（ｂ）で説明する。まず、図３（ａ）に示したような非グラデーション部用のゲイン特性に対して、例えばｐ１からｐ５で示すような所定の入力輝度間隔ごとに点を設定する。次に、入力輝度が低い側から順にｐ１－ｐ２間、ｐ２－ｐ３間という順で区間毎（トーンカーブにおける点同士）のゲイン特性の傾きを求め、前の区間との傾きの変化が所定値ｇ＿ｔｈを超えていないかを判定する。例えば、ｐ３－ｐ４間の傾きｇ３とｐ４－ｐ５間の傾きｇ４との差がｇ＿ｔｈを超えている場合、以下のような式で決めた傾きｇ４’で引いた直線上のｐ５’を定めて、トーンカーブの点の位置を変更する。
ｇ３＜ｇ４のとき ｇ４’＝ｇ４＋ｇ＿ｔｈ …（式１）
ｇ３≧ｇ４のとき ｇ４’＝ｇ３－ｇ＿ｔｈ …（式２）
その後は、ｐ５’と後に続く点と間の傾きを求め、この処理を繰り返す。

このように処理することで、全輝度域で隣接区間のゲイン特性の傾きの変化が所定値ｇ＿ｔｈ未満となった図３（ｃ）に示したようなゲイン特性３１１を生成することができる。これをグラデーション部用のゲイン特性とする。

図４に戻り、次に、ステップＳ４０２では、第１の縮小画像生成部１０２及び第２の縮小画像生成部１０３が第１の縮小画像及び第２の縮小画像を生成する。第１の縮小画像生成部１０２が、入力画像に縮小処理を施して第１の縮小画像を生成し、第２の縮小画像生成部１０３が、第１の縮小画像生成部１０２で生成された第１の縮小画像に縮小処理を施して第２の縮小画像を生成する。縮小処理の方法については、バイリニア法を用いた縮小など一般的な方法を適用できる。

ステップＳ４０３では、ＭＩＸ比率算出部１０８がＭＩＸ比率画像を生成する。ＭＩＸ比率画像は、前述のとおり、グラデーションの度合を判定する目的のものである。この目的を達する種々の方法を用いて構わないが、ここでは、一例として、入力画像と縮小画像とを使ってグラデーション領域を判定する方法を説明する。図５（ａ）は、入力画像５００の例である。図５（ａ）において、領域５０１は光学的にボケている花の一部を示しており、領域５０２はピントのあった花の一部を示している。まず初めに、ＭＩＸ比率算出部１０８は、第１の縮小画像生成部１０２で生成された第１の縮小画像を、入力画像の大きさまで拡大する。この処理によって、入力画像にローパスフィルター処理を施したような、低周波画像が生成される。

図６（ａ）は、ボケ部の領域５０１の輝度値を座標ごとにプロットしたグラフである。図６（ａ）において、破線６０１が入力画像におけるボケ部の領域５０１の輝度値を示しており、実線６０２が第１の縮小画像を拡大処理して得られる画像（低周波画像）におけるボケ部の領域５０１の輝度値を示している。また、図６（ｂ）は、ピント部の領域５０２の輝度値を座標ごとにプロットしたグラフである。図６（ｂ）において、破線６１１が入力画像におけるピント部の領域５０２の輝度値を示しており、実線６１２が第１の縮小画像を拡大処理して得られる画像（低周波画像）におけるピント部の領域５０２の輝度値を示している。

図６（ａ）に示されるように、画像におけるボケ部は、入力画像がもともと低周波な画像であるため、入力画像と縮小画像を拡大処理して得られる低周波画像との対応する画素同士の輝度値に差が少ない。一方、図６（ｂ）に示されるように、画像におけるピント部は、縮小拡大処理を経て周波数が低下するため、入力画像と縮小画像を拡大処理して得られる低周波画像との対応する画素同士の輝度値に差が生じる。

そこで、ＭＩＸ比率算出部１０８は、入力画像と縮小画像を拡大処理して得られる低周波画像との輝度値の差に基づき、輝度値の差が大きいほど画素値を小さくし、輝度値の差が小さいほど画素値を大きくした画像を生成し、これをＭＩＸ比率画像とする。例えば、図３（ａ）に示したシーンの入力画像５００について、この方法でＭＩＸ比率画像を生成すると、図３（ｂ）に示したＭＩＸ比率画像５１０のようになる。このような処理によって、グラデーション領域の画素値が大きく、グラデーション領域でない領域の画素値が小さくなった、グラデーション度合を示すＭＩＸ比率画像が生成できる。なお、入力画像と縮小画像を拡大処理して得られる低周波画像との対応する画素同士の輝度値の差に応じた画素値ではなく、輝度値の差が所定値より大きいか否かに応じた二値画像をＭＩＸ比率画像とするようにしてもよい。

図４に戻り、ステップＳ４０４では、第１のゲインマップ生成部１０５が非グラデーション部用の第１のゲインマップを生成し、第２のゲインマップ生成部１０７がグラデーション部用の第２のゲインマップを生成する。このステップＳ４０４では、まず第１のゲイン変換部１０４及び第２のゲイン変換部１０６のそれぞれが、各縮小画像に対応する複数のゲインマップを生成する。そして、第１のゲインマップ生成部１０５が、第１のゲイン変換部１０４で生成された複数のゲインマップに基づいて、非グラデーション部用の第１のゲインマップを生成する。また、第２のゲインマップ生成部１０７が、第２のゲイン変換部１０６で生成された複数のゲインマップに基づいて、グラデーション部用の第２のゲインマップを生成する。

次に、ステップＳ４０５では、第３のゲインマップ生成部１０９が、ステップＳ４０３において生成されたＭＩＸ比率画像と、ステップＳ４０４において生成された第１のゲインマップ及び第２のゲインマップとに基づいて、第３のゲインマップを生成する。例えば、第３のゲインマップ生成部１０９は、入力画像の各領域に対して、ＭＩＸ比率画像に応じて第１のゲインマップの値又は第２のゲインマップの値を選択的に適用することで第３のゲインマップを生成する。

ステップＳ４０６では、ゲイン処理部１０９が、ステップＳ４０５において生成された第３のゲインマップに基づいて入力画像にゲイン処理を施す。

以上説明したように、本実施形態では、非グラデーション部用のゲイン特性に加え、全輝度域でゲイン特性の傾きの変化が所定値未満となるグラデーション部用のゲイン特性を生成する。そして、本実施形態における画像処理装置は、非グラデーション部用のゲイン特性及びグラデーション部用のゲイン特性を適用し、グラデーションの度合を示すＭＩＸ比率画像に応じてゲイン処理に用いる第３のゲインマップを生成する。これにより、グラデーション部のみに選択的にグラデーション部用のゲインを掛けるゲイン処理を実現できる。したがって、画像のボケ部のようなグラデーション領域における疑似輪郭の発生を抑制しつつ、非グラデーション領域には、ダイナミックレンジの広いシーンの特徴を再現できるような階調圧縮を含む所望の階調補正を同時に実現することが可能となる。

前述した実施形態における画像処理装置は、基準となるゲインとしての第１のゲイン特性に基づく第１のゲインマップと、第１のゲイン特性を基にゲイン特性の変化を抑制した第２のゲイン特性に基づく第２のゲインマップとを生成する。そして、ＭＩＸ比率画像によって、第１のゲインマップと第２のゲインマップとをＭＩＸしたゲインを掛けることにより、輝度に対するゲインの変化量を少なくしたゲインを掛けることを実現している。しかしながら、この方法に限定されるものではない。例えば、第２のゲインマップを生成せずに、第１のゲインマップのグラデーション検出領域にローパスフィルター処理を施すことにより、グラデーション領域内で、入力輝度に対するゲインの急峻な変化を少なくする方法を適用してもよい。

また、前述した実施形態における画像処理装置は、入力画像から第１の縮小画像と第２の縮小画像との２つの縮小画像を生成して処理を行うようにしているが、これに限定されるものではなく、３以上の縮小画像を生成して処理を行うようにしてもよい。

なお、前述した実施形態における説明では、階調変化の滑らかなグラデーション領域として、光学的なボケ領域を例に説明したが、これに限定されるものではない。階調変化の滑らかなグラデーション領域が、例えば、空や壁面等のもともと階調の変化が滑らかな被写体であったり、ブレ領域や、光学的又は画像処理によってローパスフィルター処理が施された領域等であったりしてもよい。このような領域にも、同様の理由により疑似輪郭が発生することがあるため、本実施形態が適用可能である。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：画像入力部 １０２：第１の縮小画像生成部 １０３：第２の縮小画像生成部 １０４：第１のゲイン変換部 １０５：第１のゲインマップ生成部 １０６：第２のゲイン変換部 １０７：第２のゲインマップ生成部 １０８：ＭＩＸ比率算出部 １０９：第３のゲインマップ生成部 １１０：ゲイン処理部

Claims (10)

1. 入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出手段と、
   前記検出手段による検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第１のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第１のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理手段とを有することを特徴とする画像処理装置。
2. 前記検出手段は、前記入力画像と前記縮小画像との対応する画素の輝度値の差が小さい領域を前記グラデーション領域と判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記グラデーション領域には、前記第１のゲイン特性を基に輝度値に対するゲインの変化量を前記第１のゲイン特性よりも抑えたゲインが設定された第２のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施すことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のゲイン特性に基づいて生成された第１のゲインマップ、前記第２のゲイン特性に基づいて生成された第２のゲインマップ、及び前記検出手段による検出結果に基づいて、第３のゲインマップを生成する生成手段を有し、
   前記処理手段は、前記生成手段により生成された前記第３のゲインマップに基づいて前記入力画像にゲイン処理を施すことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記検出手段による検出結果に基づいて、前記グラデーション領域ではない領域には前記第１のゲインマップの値を適用し、前記グラデーション領域には前記第２のゲインマップの値を適用して、前記第３のゲインマップを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１のゲインマップは、前記入力画像を縮小処理した複数の縮小画像に対応する、前記第１のゲイン特性に基づく複数のゲインマップに基づいて生成され、
   前記第２のゲインマップは、前記入力画像を縮小処理した複数の縮小画像に対応する、前記第２のゲイン特性に基づく複数のゲインマップに基づいて生成されることを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記第２のゲイン特性は、トーンカーブを用いて生成された第１のゲイン特性に基づき、トーンカーブの点同士の傾きの変化が所定値未満となるように、トーンカーブの点の位置を変更することによって生成されることを特徴とする請求項３～６の何れか１項に記載の画像処理装置。
8. 前記検出手段による検出結果に基づいて、前記第１のゲイン特性に基づいて生成されたゲインマップの前記グラデーション領域に対応する領域にフィルター処理を行い前記ゲイン処理に用いるゲインマップを生成する生成手段を有し、
   前記処理手段は、前記生成手段により生成されたゲインマップに基づいて前記入力画像にゲイン処理を施すことを特徴とする請求項１又は２に記載の画像処理装置。
9. 入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出工程と、
   前記検出工程での検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第１のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第１のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理工程とを有することを特徴とする画像処理方法。
10. 入力画像と前記入力画像を縮小処理した縮小画像とに基づいて、前記入力画像のグラデーション領域を検出する検出ステップと、
    前記検出ステップでの検出結果に基づいて、前記グラデーション領域ではない領域には、輝度値に応じ異なるゲインが設定された第１のゲイン特性に基づくゲインを用いて前記入力画像にゲイン処理を施し、前記グラデーション領域には、前記第１のゲイン特性よりも輝度値に対するゲインの変化量を抑えたゲインを用いて前記入力画像にゲイン処理を施す処理ステップとをコンピュータに実行させるためのプログラム。

Images