JP5911525B2 - 画像処理装置及び方法、画像処理プログラム、撮像装置 - Google Patents

画像処理装置及び方法、画像処理プログラム、撮像装置 Download PDF

Info

Publication number
JP5911525B2
JP5911525B2 JP2014078922A JP2014078922A JP5911525B2 JP 5911525 B2 JP5911525 B2 JP 5911525B2 JP 2014078922 A JP2014078922 A JP 2014078922A JP 2014078922 A JP2014078922 A JP 2014078922A JP 5911525 B2 JP5911525 B2 JP 5911525B2
Authority
JP
Japan
Prior art keywords
image data
gradation correction
unit
correction
deterioration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014078922A
Other languages
English (en)
Other versions
JP2015201731A (ja
JP2015201731A5 (ja
Inventor
鈴木 博
博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014078922A priority Critical patent/JP5911525B2/ja
Priority to PCT/JP2015/054816 priority patent/WO2015156041A1/ja
Priority to CN201580017978.1A priority patent/CN106134180B/zh
Priority to EP15776404.4A priority patent/EP3131281B1/en
Publication of JP2015201731A publication Critical patent/JP2015201731A/ja
Publication of JP2015201731A5 publication Critical patent/JP2015201731A5/ja
Application granted granted Critical
Publication of JP5911525B2 publication Critical patent/JP5911525B2/ja
Priority to US15/284,631 priority patent/US9978128B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えば靄や霧等の影響によりコントラストや色彩等の画質が損なわれた画像の補正を行う画像処理装置及び方法、画像処理プログラム、撮像装置に関する。
大気中に発生する靄や霧等の影響によって画像のコントラストや色彩等の画質が失われることがある。例えば、屋外において遠方の山等の風景写真を撮影する場合がある。この撮影で遠方の山に霞が掛かっていると、この霞によって撮影した画像は、品位が損なわれ、遠方の山に対する視認性を低下させてしまうことがある。
このような問題を解決する技術として例えば特許文献1、2がある。特許文献1は、画像内から輝度の最大値、最小値を算出し、これら算出した最大値と最小値との間の差が大きくなるようにコントラスト補正を行って画像の視認性を向上させることを開示する。この特許文献1であれば、画像全体に一様に霞が掛かった画像に対して十分な効果が得られる。
特許文献2は、画像の局所領域毎に輝度の最大、最小を算出し、これら最大、最小の差が大きくなるように適応的なコントラスト補正を行うことを開示する。この特許文献2であれば、霞のない領域と霞のある領域とが混在する画像においても、十分なコントラスト補正を行うことができる。
特開2012−054659号公報 特開2010−152536号公報(特許第4982475号)
しかしながら、特許文献1は、画像全体の輝度の最大値、最小値を使用するため、画像内で霞のない領域と霞のある領域とが混在する場合には、輝度の最大値と最小値との差が元々大きくなる傾向があるために、画像の視認性を向上させるという効果を十分に得られない。
特許文献2は、霞の濃淡に関わらず、局所領域内の輝度の最大、最小値に基づき処理を行うため、霞のない領域と霞のかかる領域とが混在する画像に対して十分な効果が得られるが、画像の特性によっては補正後の画像に違和感が生じる場合がある。具体的には、画像全体が低コントラストな場合に局所領域毎にコントラスト補正を行うと、過度なコントラスト補正が掛かったり、各局所領域毎にコントラスト補正の強度が異なり、このために各局所領域の境界付近においてコントラスト補正強度の変動が大きくなる場合がある。この結果、階調の段差や輝度むらが発生する。このため画像全体が低コントラストな場合には、画像全体に対して一意の補正をした方が補正後の違和感が小さい。
本発明は、上記問題点に着目して成されたもので、霞成分の濃淡を推定し、画像に対する霞成分の分布に応じて適した階調補正を行うことにより、違和感なく視認性を向上し、高品位な画像を得ることができる画像処理装置及び方法、画像処理プログラム、撮像装置を提供することを目的とする。
本発明の主要な局面に係る画像処理装置は、複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出する劣化度検出部と、前記画像データにおける前記劣化度のばらつきを推定する劣化度分布推定部と、前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択する補正方式選択部と、前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正する階調補正部とを具備し、前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、前記補正方式選択部は、前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択する
又、本発明の主要な局面に係る画像処理装置は、複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出する劣化度検出部と、前記画像データにおける前記劣化度のばらつきを推定する劣化度分布推定部と、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正する第1階調補正部と、前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正する第2階調補正部と、前記劣化度のばらつきに応じた重み係数を算出する重み係数算出部と、前記第1階調補正部により生成される第1補正画像データと前記第2階調補正部により生成される第2補正画像データとを前記重み係数に基づいて加算合成する画像合成部とを具備し、前記重み係数算出部は、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する第2の重み係数とを決定し、前記画像合成部は、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する
本発明の主要な局面に係る画像処理方法は、複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出し、前記画像データにおける前記劣化度のばらつきを推定し、前記画像データを第1の階調補正方式に基づいて階調補正し、前記画像データを第2の階調補正方式に基づいて階調補正し、前記劣化度のばらつきに応じた重み係数を算出し、前記第1の階調補正方式に基づいて生成される第1補正画像データと前記第2の階調補正方式に基づいて生成される第2補正画像データとを前記重み係数に基づいて加算合成し、前記重み係数として、前記劣化度のばらつきに応じて増加する第1の重み係数と、前記劣化度のばらつきに応じて減少する第2の重み係数とを決定し、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する
又、本発明の主要な局面に係る画像処理方法は、複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出し、前記画像データにおける前記劣化度のばらつきを推定し、前画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正し、前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正し、前記劣化度のばらつきに応じた重み係数を算出し、前記第1の階調補正方式に基づいて生成される第1補正画像データと前記第2の階調補正方式に基づいて生成される第2補正画像データとを前記重み係数に基づいて加算合成し、前記重み係数として、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する第2の重み係数とを決定し、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する
本発明の主要な局面に係る画像処理プログラムは、コンピュータに、複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出させる劣化度検出機能と、前記画像データにおける前記劣化度のばらつきを推定させる劣化度分布推定機能と、前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択させる補正方式選択機能と、前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正させる階調補正機能とを実現させ、前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、前記補正方式選択機能は、前記コンピュータに、前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択させる
又、本発明の主要な局面に係る画像処理プログラムは、コンピュータに、複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出させる劣化度検出機能と、前記画像データにおける前記劣化度のばらつきを推定させる劣化度分布推定機能と、前画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正させる第1階調補正機能と、前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正させる第2階調補正機能と、前記劣化度のばらつきに応じた重み係数を算出させる重み係数算出機能と、前記第1階調補正機能により生成される第1補正画像データと前記第2階調補正機能により生成される第2補正画像データとを前記重み係数に基づいて加算合成させる画像合成機能とを実現させ、前記重み係数算出機能は、前記コンピュータに、前記重み係数として、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する減少する第2の重み係数とを決定させ、前記画像合成機能は、前記コンピュータに、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成させる
本発明の主要な局面に係る撮像装置は、被写体からの光像を撮像する撮像素子と、前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する上記画像処理装置と、前記画像処理装置により画像処理された前記画像データを出力する出力部とを具備する。
本発明によれば、霞成分の濃淡を推定し、画像に対する霞成分の分布に応じて適した階調補正を行うことにより、違和感なく視認性を向上し、高品位な画像を得ることができる画像処理装置及び方法、画像処理プログラム、撮像装置を提供できる。
図1は本発明に係る画像処理装置の第1の実施の形態を適用した撮像装置を示すブロック構成図である。 図2は同装置における霞分布推定部を示す具体的なブロック構成図である。 図3Aは同装置による入力画像の各画素の霞成分H(x,y)の推定を説明するための模式図である。 図3Bは同装置により取得される注目画素毎のmin(Ir,Ig,Ib)を画像化した霞成分H(x,y)を示す図である。 図4Aは画像全体に一様な霞がかかって全体が高輝度かつ低彩度な画像の霞成分H(x,y)のヒストグラムを示す図である。 図4Bは画像内で霞のかかる領域と霞のない領域が混在する場合の霞成分H(x,y)のヒストグラムを示す図である。 図5は同装置における第1霞補正部の一例を示す構成図である。 図6Aは同装置における補正係数算出部による入力画像に対する局所領域のスキャンを示す図である。 図6Bは同装置における補正係数算出部により生成される局所領域ヒストグラムを示す図である。 図6Cは同装置における補正係数算出部により生成される累積ヒストグラムを示す図である。 図7は同装置におけるコントラスト補正部によるコントラスト補正動作を示す模式図である。 図8は同装置における第2霞補正部の一例を示す構成図である。 図9は同装置における撮影動作フローチャートである。 図10は同装置における霞分布推定の動作フローチャートである。 図11は同装置における適応的コントラスト補正の動作フローチャートである。 図12は同装置における一意のコントラスト補正の動作フローチャートである。 図13は同装置における霞分布推定部の変形例を示すブロック構成図である。 図14は本発明に係る画像処理装置の第2の実施の形態を適用した撮像装置を示すブロック構成図である。 図15は同装置における霞分布推定部を示すブロック構成図である。 図16は霞成分H(x,y)のヒストグラムの分布の大きさΔHを示す図である。 図17は同霞分布推定部により算出する重み係数のグラフを示す図である。 図18は画像合成部による画像合成処理の概念を示す図である。 図19は同装置における撮影動作フローチャートである。 図20は同装置における霞分布推定フローチャートである。
[第1の実施の形態]
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は画像処理装置を適用した撮像装置のブロック構成図を示す。レンズ系100は、フォーカスレンズや絞り101等を有し、被写体からの光像を結像する。このレンズ系100は、オートフォーカス用モータ(AFモータ)103を備え、このAFモータ103の駆動によりフォーカスレンズを光軸に沿って移動する。このAFモータ103は、レンズ制御部107により駆動制御される。
このレンズ系100の光軸上には、撮像センサ102が設けられている。この撮像センサ102は、レンズ系100からの光像を受光し、RGBのアナログ映像信号を出力する。この撮像センサ102の出力端には、A/D変換器104を介してバッファ105と、信号処理部108と、霞分布推定部109とが接続され、この霞分布推定部109に対して第1霞補正部110と第2霞補正部111との双方が接続され、さらにこれら霞補正部110、111の双方に対して圧縮部112と、出力部113とが接続されている。又、バッファ105には、測光評価部106が接続されている。
A/D変換器104は、撮像センサ102から出力されたアナログ映像信号をデジタル映像信号に変換する。
バッファ105は、A/D変換器104から転送されるデジタル映像信号を一時的に保存する。
測光評価部106は、バッファ105に保存されるデジタル映像信号から撮像センサ102に入射する光像を測光してその評価を行い、この測光評価と制御部114からの制御信号とに基づいてレンズ系100の絞り101を制御し、かつ撮像センサ102から出力されるアナログ映像信号の出力レベル等を調整する。
信号処理部108は、バッファ105に保存されているデジタル映像信号に対して公知の補間処理、WB補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後の映像信号を霞分布推定部109に転送する。
霞分布推定部109は、信号処理部108から転送された映像信号から霞成分を推定し、当該霞成分の分布情報に基づいて後段の霞補正の方式、すなわち第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを決定する。
第1霞補正部110は、信号処理部108から転送された映像信号において霞の影響によりコントラストが低下した領域に対応する映像信号に対してコントラストを強調する適応的コントラスト補正を行う。
第2霞補正部111は、信号処理部108から転送された映像信号に対して一意のコントラスト補正、すなわち画像全体に単純な一意のコントラスト補正を行う。
これら第1霞補正部110又は第2霞補正部111により補正された映像信号は、圧縮部112へ転送される。
この圧縮部112は、第1霞補正部110又は第2霞補正部111から転送された映像信号に対して公知のJPEG、MPEG等の圧縮処理を行い、当該処理後の映像信号を出力部113へ転送する。
この出力部113は、圧縮処理後の映像信号をメモリカード等の記憶媒体に保存する。
以下、上記構成のうち霞分布推定部109、第1霞補正部110及び第2霞補正部111について具体的に説明する。
図2は霞分布推定部109の具体的なブロック構成図を示す。この霞分布推定部109は、霞成分推定部200と、霞ヒストグラム生成部201と、補正方式判定部202とから成る。霞成分推定部200の入力側には、信号処理部108が接続されている。この霞成分推定部200の出力側には、霞ヒストグラム生成部201を介して補正方式判定部202が接続されている。この補正方式判定部202の出力側には、第1霞補正部110と第2霞補正部111との双方が接続されている。
霞成分推定部(劣化度検出部)200は、信号処理部108から転送される映像信号を入力し、この映像信号から取得される画像データのコントラストや色彩等の画質を損ない、かつ画像の視認性を劣化させる要因となる劣化度、例えば画像データ中に含まれる霞成分、靄成分、濁りとなる成分等の淡白色により画質を低下させる成分の濃淡を推定する。
この霞成分等の劣化度の推定は、霞成分が高輝度でかつ低彩度であるという特徴に基づいて行われる。これにより、当該霞成分等の劣化度は、高輝度でかつ低彩度である程、劣化が大きいことを示すものとなる。この劣化度の推定は、画像データの各画素における複数のカラーチャンネル同士、すなわちR値,G値,B値同士の大きさを比較し、これらR値,G値,B値のうち最小値となるR値,G値又はB値を算出することにより行われる。
具体的に霞成分推定部200は、信号処理部108から転送される映像信号を入力し、この映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分の推定を行う。この霞成分は、霞のかかり具合、霞の濃度等を表す。
ここで、信号処理部108から転送される映像信号により取得される入力画像I上において、座標(x,y)における霞成分をH(x,y)とし、座標(x,y)におけるR値,G値,B値をそれぞれIr,Ig,Ibとすると、座標(x,y)の各画素における霞成分H(x,y)は、次式(1)により推定される。
H(x,y)=min(Ir,Ig,Ib) …(1)
図3Aは各画素の霞成分H(x,y)の推定を説明するための模式図を示す。霞成分推定部200は、信号処理部108から転送される映像信号により取得される入力画像Iに対して所定サイズのスキャン領域(小領域)Fを設定し、このスキャン領域Fをスキャンする。このスキャン領域Fは、例えばマトリックス状に形成された所定サイズn×m(n,mは自然数)を有し、その中心を注目画素とする。このスキャン領域Fは、例えば5×5画素の領域を有する。このスキャン領域Fは、1画素であってもよい。
霞成分推定部200は、スキャン領域Fを入力画像Iの内部にてスキャンし、注目画素となる入力画像I上の画素のスキャン領域F毎にmin(Ir,Ig,Ib)を算出し、このmin(Ir,Ig,Ib)を霞成分H(x,y)とする。
より詳細には、霞成分推定部200は、スキャン領域F毎に、当該スキャン領域Fの注目画素を含むn×mのマトリックス内において、スキャン領域F内の各画素の(Ir,Ig,Ib)を算出し、そのうちの最小値を注目画素の霞成分H(x,y)=min(Ir,Ig,Ib)とする。
霞成分推定部200は、注目画素の霞成分H(x,y)を注目画素の劣化度、又はスキャン領域(小領域)Fの劣化度として算出する。この劣化度は、後述するように霞成分H(x,y)が大きい程、大きいものとなる。
図3Bは注目画素毎のmin(Ir,Ig,Ib)を画像化した霞成分H(x,y)を示す。高輝度かつ低彩度な領域の画素値は、R値,G値,B値が同等かつ大きくなるので、上記式(1)の右辺min(Ir,Ig,Ib)の値は大きくなる。すなわち、高輝度かつ低彩度な領域では、霞成分H(x,y)が大きな値となる、つまり劣化度が大きいものと見なすことができる。
これに対して低輝度または高彩度の領域の画素値は、R値,G値,B値のいずれかが小さくなるので、上記min(Ir,Ig,Ib)の値は小さくなる。すなわち、低輝度や高彩度の領域では、霞成分H(x,y)が小さな値となる。つまり、劣化度が小さいものと見なすことができる。
しかるに、霞成分H(x,y)は、霞の濃度が濃いほど大きな値となり劣化度が大きいことを示し、霞の濃度が薄いほど小さな値となり劣化度が小さいことを示すという特徴を持つ。この霞成分H(x,y)は、霞ヒストグラム生成部201に転送される。
霞ヒストグラム生成部(劣化度分布推定部)201は、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントして当該霞成分H(x,y)のヒストグラムを生成する。この霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成すると共に、当該ヒストグラムから標準偏差σ、平均値a、又は最大値と最小値との差や比等の指標を求める。
図4A及び図4Bは霞成分H(x,y)のヒストグラムの一例を示す。上記の通り、画像上、霞が無く高彩度な領域では霞成分H(x,y)の値は小さくなり、霞がかかる高輝度かつ低彩度な領域では霞成分H(x,y)は大きくなる。
図4Aは全体に一様な霞がかかった画像を示す。当該画像は、全体が高輝度かつ低彩度を示す。同図に示すような全体が高輝度かつ低彩度な画像の霞成分H(x,y)のヒストグラムは、比較的高い値の位置に山(頻度の最大値)を持ち、狭い範囲に分布する。このヒストグラムは、霞成分H(x,y)の値のレンジ(分布の範囲)が狭くなる。
一方、図4Bは霞のかかる領域と霞のない領域が混在する画像を示す。同図に示すような画像内で霞のかかる領域と霞のない領域が混在する画像の霞成分H(x,y)のヒストグラムは、低い値から高い値まで広い範囲で分布する。このヒストグラムは、霞成分H(x,y)の値のレンジ(分布の範囲)が広くなる。
従って、これら霞成分H(x,y)のヒストグラムの分布から画像に対する霞の分布を推定することが可能になる。
この霞ヒストグラム生成部201により生成された霞成分H(x,y)のヒストグラムは、補正方式判定部202に転送される。これと共に霞成分H(x,y)のヒストグラムから得られる標準偏差σ、平均値a、又は最大値と最小値との差等の指標も補正方式判定部202に転送される。
この補正方式判定部(補正方式選択部)202は、霞ヒストグラム生成部201から転送された霞成分H(x,y)のヒストグラムの情報に基づいて適応的コントラスト補正を行う第1補正方式(第1の階調補正方式)、又は一意のコントラスト補正を行う第2補正方式(第2の階調補正方式)のいずれかのコントラスト補正方式を判定する。なお、第1補正方式は、後段の第1霞補正部110により行う補正に対応し、第2補正方式は、第2霞補正部111により行う補正に対応する。
ここで、霞補正について説明する。画像上において霞のかかっている領域は、低コントラストになる。当該霞の影響を抑制し、視認性を高めるためには、コントラストを強調する処理を行うことがよい。このコントラスト強調処理では、画像内で霞のかかる領域が一部しかない場合、画像全体に単純な一意のコントラスト補正をかけても、霞の影響を抑制し、視認性を高めるというような十分な効果が得られない。
このような事から画像の局所領域毎に適応的コントラスト補正を行うことが行われる。ところが、当該適応的コントラスト補正が常に有効に働くわけでなく、画像特性によっては補正後の画像に大きな違和感を生じる場合がある。例えば、画像全体に一様に霞がかかっており、図4Aに示すような画像全体のヒストグラムのレンジが狭い場合がそれに該当する。
基本的に、適応的コントラスト補正は、画像の局所領域毎の輝度及び色信号のヒストグラムを基に補正係数を決定して補正を行う。この補正では、上記輝度及び色信号のヒストグラムの分布に応じて画素毎に適用される補正係数が変化する。ところが、各局所領域間の境界付近の近傍画素間でヒストグラムの分布が変化する場合がある。この場合には、適応的コントラスト補正後の互いに隣接する各画素間の各画素値の差が大きくなる場合があり、この結果、互いに隣接する各画素間において、適応的コントラスト補正後の輝度値に大きな差が生じ、輝度ムラ等を引き起こすことになる。
このように画像全体のヒストグラムのレンジが狭い場合には、画像全体に一意のコントラスト補正をかける方が補正後の隣接画素間の画素値の差が小さくなり、当該一意のコントラスト補正をかけることが適している。
従って、本装置では、画像全体に対する霞成分H(x,y)の分布に応じてコントラスト補正の方式を切り替える。具体的に、画像全体に対する霞成分H(x,y)の分布が広い場合は、画像内の一部に霞のかかる領域が含まれると判断し、適応的コントラスト補正を適用する。一方、画像全体に対する霞成分H(x,y)の分布が狭い場合は、画像全体に一様に霞がかかっていると判定し、一意のコントラスト補正を適用する。
しかるに、補正方式判定部202は、上記霞成分H(x,y)の分布を、例えば当該霞成分H(x,y)のヒストグラムのレンジから推定し、この推定結果から補正方式の判定を行う。霞成分H(x,y)のヒストグラムのレンジは、例えばヒストグラムの標準偏差σ、平均値a、又は最大値と最小値との差や比等の指標から算出する。
補正方式の判定は、例えば霞成分H(x,y)のヒストグラムの標準偏差σと閾値(所定値)thとから第1又は第2補正方式のいずれかのコントラストの補正方式を判定したり、又は最大値と最小値との差や比を求め、この差や比と所定の閾値thとの比較結果から第1又は第2補正方式のいずれかのコントラストの補正方式を判定する。
例えば、霞成分H(x,y)のヒストグラムの標準偏差σと閾値thとを用いる場合、
補正方式判定部202は、標準偏差σと閾値thとを比較し、
σ >= th …(2)
であれば、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。適応的コントラスト補正では、霞のかかっている領域のみにコントラスト補正を行う。
一方、同標準偏差σと閾値thとを比較した結果、
σ < th …(3)
であれば、補正方式判定部202は、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。
従って、補正方式判定部202は、第1補正方式と判定すると、信号処理部108から転送される映像信号を第1霞補正部110へ転送し、一方、第2補正方式と判定すると、信号処理部108から転送される映像信号を第2霞補正部111へ転送する。
なお、補正方式の判定は、霞成分H(x,y)のヒストグラムに限らず、輝度ヒストグラムから霞成分H(x,y)の分布を判定する方法も考えられるが、この判定方法は適さない。例えば、画像中に霞のかかっていない高彩度な領域があった場合、例えば(Ir,Ig,Ib)=(225,200,0)の場合、これらから算出される当該領域の輝度(a・Ir+b・Ig+c・Ib)は高い値になる。なお、a、b、cは係数である。
従って、画像中に霞のかかっていない領域が含まれる場合でも、輝度ヒストグラムを用いると、ヒストグラムのレンジが狭く、画像全体に一様に霞がかかっていると判定される場合がある。
この結果、霞成分H(x,y)の分布を推定するのに輝度ヒストグラムを用いるのは適さないものとなる。本装置では、霞成分H(x,y)のヒストグラムから当該霞成分H(x,y)の分布を推定することで、その推定精度を向上させている。
図5は第1霞補正部(階調補正部)110の一例の構成図を示す。この第1霞補正部110は、第1補正方式による適応的コントラスト補正を行う。具体的に第1霞補正部110は、信号処理部108から転送された映像信号を入力し、この映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行い、この補正した映像信号を圧縮部112に転送する。この第1霞補正部110は、補正係数算出部300と、適応コントラスト補正部301とから成る。補正係数算出部300は、適応コントラスト補正部301に接続され、この適応コントラスト補正部301の後段には圧縮部112が接続されている。制御部114は、補正係数算出部300と適応コントラスト補正部301との双方を制御する。
補正係数算出部300は、霞分布推定部109から転送される映像信号と霞成分H(x,y)とに基づき、当該映像信号により取得される入力画像の各画素に対するコントラスト補正のための補正係数を算出する。この補正係数は、入力画像の各画素から注目画素をスキャンさせ、このときの注目画素を中心とする所定サイズの所定の領域内の、例えばR,G,Bのヒストグラムを基に算出する。この補正係数算出部300は、R,G,Bのヒストグラムに基づき算出した補正係数に対して、霞成分H(x,y)の値に応じた重み係数を乗算し、当該重み係数の乗算後の補正係数を適応コントラスト補正部301へ転送する。
適応コントラスト補正部301は、補正係数算出部300から転送される各画素の補正係数を映像信号に乗算することでコントラスト補正を行う。
ここで、補正係数算出部300と適応コントラスト補正部301とについて具体的に説明する。
補正係数算出部300は、図3Aに示すような画像データのスキャン領域(小領域)F毎に階調補正のための補正係数(ゲイン係数)を算出する。この補正係数算出部300は、霞分布推定部109から転送される映像信号により取得される入力画像Iにおいてコントラストが低い領域に対してコントラストを強調する補正を行うための補正係数を算出する。なお、補正係数算出部300では、霞成分を考慮しないで補正係数を算出する。
具体的に補正係数算出部300は、図6Aに示すように入力画像Iに対して局所領域Eの内部をスキャンし、注目画素毎に、図6Bに示すような当該注目画素を中心とする局所領域E内のR値,G値,B値のヒストグラム(局所領域のヒストグラム)をそれぞれ生成する。図6Bのヒストグラムの横軸は、R値、又はG値、又はB値の輝度成分を示し、縦軸は度数(画素数の度数)を示す。局所領域Eは、マトリックス状の所定サイズk×l(k,lは自然数)に形成され、その中心が注目画素となる。
この補正係数算出部300は、入力画像Iにおける注目画素毎に生成された局所領域のヒストグラムを累積して図6Cに示すような累積ヒストグラムを生成する。図6Cに示す累積ヒストグラムの横軸は、R値またはG値またはB値の輝度成分を示し、縦軸は対応するカラー画素の累積度数(累積画素数)又は、対応するカラー画素の階調補正(ヒストグラム平坦化)後の出力値を示す。累積ヒストグラムから階調補正(ヒストグラム平坦化)を行う手法は、公知の画像処理技術を用いればよい。
補正係数算出部300は、累積ヒストグラムに基づいて注目画素のR値,G値,B値に対する補正係数(ゲイン係数)gainR,gainG,gainBを算出する。
ここで、注目画素(x,y)のR値,G値,B値の輝度成分をそれぞれI_r(x,y),I_g(x,y),I_b(x,y)とする。また、図6Cに示す累積ヒストグラムに基づき補正後の出力画像(補正画像)に対応して算出されるR値,G値,B値の輝度成分をそれぞれIo_r(x,y),Io_g(x,y),Io_b(x,y)とすると、
補正係数gainR,gainG,gainBは、
gainR=Io_r(x,y)/I_r(x,y) …(4)
gainG=Io_g(x,y)/I_g(x,y) …(5)
gainB=Io_b(x,y)/I_b(x,y) …(6)
により算出される。
すなわち、補正係数算出部300は、入力画像Iの画素毎に、局所領域のヒストグラムの平坦化のための補正係数gainR,gainG,gainBを算出する。これら補正係数gainR,gainG,gainBは、入力画像Iの画素の複数あるカラーチャンネルR,G,B毎に乗算するゲイン係数である。このように、これら補正係数gainR,gainG,gainBは、注目画素を中心とする局所領域Eを指定し、この局所領域E内の画素情報(例えばヒストグラム、最大値・最小値など)を用いて算出される。
この補正係数算出部300は、算出した補正係数(ゲイン係数)gainR,gainG,gainBを適応コントラスト補正部301に転送する。
なお、上記補正係数はR,G,Bのヒストグラムを利用して算出しているが、それに限ることはなく、例えば輝度信号のヒストグラムに基づき算出することも可能である。また、上記階調補正後の出力値を累積ヒストグラムを利用して算出しているが、それに限ることはなく、例えば上記ヒストグラムの情報に基づき生成される線形関数、非線形関数、折れ線近似関数等を基に算出することも可能である。
この適応コントラスト補正部(適応階調補正部)301は、霞分布推定部109の霞成分推定部200により推定された霞成分H(x,y)と補正係数算出部300により算出された補正係数gainR,gainG,gainBとに基づいて画像データの霞成分H(x,y)に応じた適応的な階調補正(コントラスト補正)を行う。すなわち、この適応コントラスト補正部301は、霞成分推定部200により推定される霞成分H(x,y)と、補正係数算出部300により算出される補正係数gainR,gainG,gainBとを入力し、これら霞成分H(x,y)と補正係数gainR,gainG,gainBとに基づいて入力画像Iの画素毎にゲイン乗算によるコントラスト補正を行う。
すなわち、適応コントラスト補正部301は、図7に示すように入力画像Iの画素毎の霞成分H(x,y)に応じて補正係数gainR,gainG,gainBの調節を行い、これら調節後の補正係数gainR,gainG,gainBを各画素の画素値に対して乗算を行い、コントラスト補正の行われた補正画像を得る。
この適応コントラスト補正部301は、入力画像Iにおける霞の濃い領域すなわち高輝度でかつ低彩度な領域に対して補正係数gainR,gainG,gainBを元の値を保持するように調整し、かつ霞の薄い領域すなわち低輝度または高彩度な領域に対して補正係数gainR,gainG,gainBを1.0に近づけるように調整する。
具体的に適応コントラスト補正部301は、霞成分推定部200により推定される霞成分H(x,y)に基づいて補正係数算出部300により算出される補正係数gainR,gainG,gainBの重み付けを行い、この重み付けにより調整された補正係数gainR’,gainG’,gainB’を用いて各画素に対するコントラスト補正を行うもので、正規化係数算出部301aと、係数変換部301bとを有する。
正規化係数算出部301aは、霞成分推定部200により推定された霞成分H(x,y)を画素値の最大値、画像内の霞成分H(x,y)の最大値等により正規化した正規化係数を算出する。
係数変換部301bは、正規化係数算出部301aにより算出される正規化係数に基づいて補正係数算出部300により算出される補正係数gainR,gainG,gainBを重み付けされた補正係数gainR’,gainG’,gainB’に変換する。
この係数変換部301bは、補正係数算出部300により算出される補正係数gainR,gainG,gainBを、正規化係数算出部301aにより算出される正規化係数が大きい程、補正係数gainR,gainG,gainBの値を保持させるように変換し、かつ正規化係数が小さい程、補正係数gainR,gainG,gainBの値を1.0に近づけるように変換する。
具体的に、補正強度パラメータをStrengthとすると、重み付けにより調整された補正係数gainR’,gainG’,gainB’は、
gainR’=1.0+(gainR−1.0)*H(x,y)/255*Strength …(7)
gainG’=1.0+(gainG−1.0)*H(x,y)/255*Strength …(8)
gainB’=1.0+(gainB−1.0)*H(x,y)/255*Strength …(9)
により算出される。
これら補正係数gainR’,gainG’,gainB’によれば、霞成分H(x,y)があると考えられる高輝度かつ低彩度の領域では、霞成分H(x,y)が大きな値となるので、当該補正係数gainR’,gainG’,gainB’は、元の値gainR,gainG,gainBの大きさが保持されるように調整される。
これに対して霞成分H(x,y)が無いと考えられる低輝度または高彩度の領域では、霞成分H(x,y)が小さな値となるので、当該補正係数gainR’,gainG’,gainB’は、1.0に近い値となるように調整される。
すなわち、補正係数gainR’,gainG’,gainB’による調整は、霞が濃い領域に対して補正強度を高くし、霞が薄い領域に対して補正強度を低くする。
各画素に対するコントラスト補正は、重み付けにより調整された補正係数gainR’,gainG’,gainB’を用いて行われる。各画素に対するコントラスト補正は、
I’_r(x,y)=I_r(x,y)*gainR’ …(10)
I’_g(x,y)=I_g(x,y)*gainG’ …(11)
I’_b(x,y)=I_b(x,y)*gainB’ …(12)
により算出される。
図8は第2霞補正部(階調補正部)111の一例の構成図を示す。この第2霞補正部111は、画像全体に対して一意の階調補正を行うもので、補正関数算出部400と、一意コントラスト補正部401とから成る。
補正関数算出部400は、一意コントラスト補正部401と接続されている。この一意コントラスト補正部401は、圧縮部112に接続されている。制御部114は、補正関数算出部400と、一意コントラスト補正部401との双方を制御する。
補正関数算出部400は、霞分布推定部109から転送される映像信号に基づき、コントラスト補正のための補正関数を算出する。この補正関数は、例えば画像全体の輝度ヒストグラムを基に算出されるもので、例えば線形関数、非線形関数、折れ線近似関数等である。補正関数算出部400は、算出した補正関数の情報を一意コントラスト補正部401へ転送する。
一意コントラスト補正部401は、補正関数算出部400から転送される補正関数に基づき、映像信号に対するコントラスト補正を行う。すなわち、この一意コントラスト補正部401は、霞分布推定部109から転送される映像信号により得られる入力画像の輝度・色信号からコントラスト補正を行うための補正関数を用いて入力画像の全体に対して一意のコントラスト補正を行う。
圧縮部112は、第1霞補正部110、または第2霞補正部111から転送された映像信号に対して公知のJPEG、MPEG等の圧縮処理を行って出力部113に転送する。
出力部113は、圧縮部112から転送された圧縮処理後の映像信号をメモリカード等に記録、保存する。又、出力部113は、圧縮部112から転送された映像信号を別途ディスプレイに表示してもよい。
制御部114は、マイクロコンピュータ等から成るもので、A/D変換器104と、測光評価部106と、レンズ制御部107と、信号処理部108と、霞分布推定部109と、第1霞補正部110と、第2霞補正部111と、圧縮部112と、出力部113との間でそれぞれデータ等の授受を行ってそれぞれ制御する。又、制御部114には、外部I/F部115が接続されている。この外部I/F部115は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備える。
次に、上記の通り構成された装置による撮影動作について図9に示す撮影動作フローチャートを参照して説明する。
外部I/F部115に対して操作が行われると、当該外部I/F部115は、ステップS1において、操作入力された撮影に関する各種設定、例えば各種信号、ヘッダ情報等を制御部114に送る。又、外部I/F部115の記録ボタンが押下されると、制御部114は、撮影モードに切り替わる。
撮影モードにおいて、レンズ系100からの光像が撮像センサ102に入射すると、この撮像センサ102は、レンズ系100からの光像を受光し、アナログ映像信号を出力する。このアナログ映像信号は、A/D変換器104によってデジタル映像信号に変換され、バッファ105に送られる。このバッファ105は、A/D変換器104から転送されるデジタル映像信号を一時的に保存する。
信号処理部108は、ステップS2において、バッファ105に保存されているデジタル映像信号に対して公知の補間処理、WB補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後の映像信号を霞分布推定部109に転送する。
この霞分布推定部109は、ステップS3において、図10に示す霞分布推定の動作フローチャートに従い、信号処理部108から転送された映像信号から霞成分を推定し、当該霞成分の分布情報に基づいて第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを決定する。
具体的に、霞成分推定部200は、ステップS10において、信号処理部108から転送される映像信号を入力し、この映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
すなわち、霞成分推定部200は、図3Aに示すように信号処理部108から転送される映像信号により取得される入力画像Iに対して所定サイズのスキャン領域(小領域)Fを設定し、このスキャン領域Fをスキャンし、注目画素となる入力画像I上の画素のスキャン領域F毎にmin(Ir,Ig,Ib)を算出し、このmin(Ir,Ig,Ib)を霞成分H(x,y)とする(上記式(1))。
この霞成分H(x,y)は、高輝度かつ低彩度な領域において大きな値となる、つまり劣化度が大きいものと見なすことができる。
又、この霞成分H(x,y)は、低輝度や高彩度の領域において小さな値となる。つまり、劣化度が小さいものと見なすことができる。
霞成分推定部200は、霞成分H(x,y)を霞ヒストグラム生成部201に転送する。
この霞ヒストグラム生成部201は、ステップS11において、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、例えば図4A及び図4Bに示すような霞成分H(x,y)のヒストグラムを生成する。この霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成すると共に、当該ヒストグラムから標準偏差σ、平均値a等を求める。
図4Aに示す画像は、全体に一様な霞がかかり、全体が高輝度かつ低彩度を示す。この画像の霞成分H(x,y)のヒストグラムは、比較的高い値の位置に山を持ち、レンジが狭いものとなっている。
図4Bに示す画像は、霞のかかる領域と霞のない領域が混在する。この画像の霞成分H(x,y)のヒストグラムは、低い値から高い値まで広い範囲で分布し、レンジが広くなっている。
この霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを補正方式判定部202に転送すると共に、当該霞成分H(x,y)のヒストグラムから得られる標準偏差σ、平均値a、又は最大値と最小値との差や比等の指標も補正方式判定部202に転送する。
この補正方式判定部202は、ステップS12において、霞ヒストグラム生成部201から転送された霞成分H(x,y)のヒストグラムの情報に基づいてコントラストの補正方式が適応的コントラスト補正を行う第1補正方式であるのか、又は一意のコントラスト補正を行う第2補正方式であるのかを判定する。
画像上において霞のかかっている領域は、低コントラストになる。当該霞の影響を抑制し、視認性を高めるためには、コントラストを強調する処理を行うことがよい。従って、霞のかかっている領域に対しては、当該領域毎に適応的コントラスト補正を行う。
一方、画像全体のヒストグラムのレンジが狭い場合には、画像全体に一意のコントラスト補正をかける方が隣接画素間の画素値の差が小さくなり、当該一意のコントラスト補正をかけることが適している。
従って、補正方式判定部202は、図9に示すステップS4において、画像全体に対する霞成分H(x,y)の分布が広い場合、画像内の一部に霞のかかる領域が含まれると判断し、適応的コントラスト補正を適用すると判定する。すなわち、補正方式判定部202は、上記式(2)に示すように、標準偏差σと閾値thとを比較し、σ >= thであれば、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像であると判断し、当該画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。
一方、補正方式判定部202は、同ステップS4において、画像全体に対する霞成分H(x,y)の分布が狭い場合、画像全体に一様に霞がかかっていると判断し、一意のコントラスト補正を適用すると判定する。すなわち、補正方式判定部202は、上記式(3)に示すように、標準偏差σと閾値thとを比較し、σ < thであれば、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断し、当該画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。
従って、補正方式判定部202は、第1補正方式と判定すると、信号処理部108から転送される映像信号を第1霞補正部110へ転送し、一方、第2補正方式と判定すると、信号処理部108から転送される映像信号を第2霞補正部111へ転送する。
上記補正方式の判定の結果、第1補正方式(第1霞補正部110)が選択されると、この第1霞補正部110は、図11に示す適応的コントラスト補正の動作フローチャートに従い、信号処理部108から転送された映像信号を入力し、この映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行い、この補正した映像信号を圧縮部112に転送する。
具体的に、第1霞補正部110の補正係数算出部300は、ステップS20において、霞分布推定部109から転送される映像信号と霞成分H(x,y)とに基づき、当該映像信号により取得される入力画像の各画素に対するコントラスト補正のための補正係数を算出する。
より具体的に、補正係数算出部300は、図6Aに示すように、霞分布推定部109から転送される映像信号により取得される入力画像Iに対して局所領域Eの内部をスキャンし、注目画素毎に、図6Bに示すような当該注目画素を中心とする局所領域E内の、例えばR値,G値,B値の局所領域のヒストグラムをそれぞれ生成し、この局所領域のヒストグラムを累積して図6Cに示すような累積ヒストグラムを生成し、この累積ヒストグラムに基づいて注目画素のR値,G値,B値に対する補正係数(ゲイン係数)、すなわち入力画像Iの画素毎に、局所領域のヒストグラムの平坦化のための補正係数gainR,gainG,gainBを上記式(4)乃至(6)により算出する。
この補正係数算出部300は、算出した補正係数(ゲイン係数)gainR,gainG,gainBを適応コントラスト補正部301に転送する。
適応コントラスト補正部301は、ステップS23において、補正係数算出部300から転送される各画素の補正係数を映像信号に乗算することでコントラスト補正を行う。
具体的に、適応コントラスト補正部301は、図7に示すように入力画像Iの画素毎の霞成分H(x,y)に応じて補正係数gainR,gainG,gainBの調節を行い、これら調節後の補正係数gainR,gainG,gainBを各画素の画素値に対して乗算を行い、コントラスト補正の行われた補正画像を得る。
この適応コントラスト補正部301は、入力画像Iにおける霞の濃い領域すなわち高輝度でかつ低彩度な領域に対して補正係数gainR,gainG,gainBを元の値を保持するように調整し、かつ霞の薄い領域すなわち低輝度または高彩度な領域に対して補正係数gainR,gainG,gainBを1.0に近づけるように調整する。すなわち、適応コントラスト補正部301は、霞成分推定部109により推定される霞成分H(x,y)に基づいて補正係数算出部300により算出される補正係数gainR,gainG,gainBの正規化すなわち重み付けを行い、この重み付けにより調整された補正係数gainR’,gainG’,gainB’を用いて各画素に対するコントラスト補正を行う。
より具体的に、適応コントラスト補正部301の正規化係数算出部301aは、ステップS21において、霞成分推定部200により推定された霞成分H(x,y)を正規化した正規化係数を算出する。
係数変換部301bは、ステップS22において、正規化係数算出部301aにより算出される正規化係数に基づいて補正係数算出部300により算出される補正係数gainR,gainG,gainBを重み付けされた補正係数gainR’,gainG’,gainB’に変換する。
この係数変換部301bは、補正係数算出部300により算出される補正係数gainR,gainG,gainBを、正規化係数算出部301aにより算出される正規化係数が大きい程、補正係数gainR,gainG,gainBの値を保持するように変換し、かつ正規化係数が小さい程、補正係数gainR,gainG,gainBの値を1.0に近づくように変換する。
具体的に、補正強度パラメータをStrengthとすると、重み付けにより調整された補正係数gainR’,gainG’,gainB’は、上記式(7)乃至(9)により算出される。これら補正係数gainR’,gainG’,gainB’によれば、高輝度かつ低彩度の領域では、霞成分H(x,y)が大きな値となるので、当該補正係数gainR’,gainG’,gainB’は、元の値gainR,gainG,gainBの大きさが保持されるように調整される。
これに対して低輝度または高彩度の領域では、霞成分H(x,y)が小さな値となるので、当該補正係数gainR’,gainG’,gainB’は、1.0に近い値となるように調整される。すなわち、補正係数gainR’,gainG’,gainB’による調整は、霞が濃い領域に対して補正強度を高くし、霞が薄い領域に対して補正強度を低くする。
各画素に対するコントラスト補正は、重み付けにより調整された補正係数gainR’,gainG’,gainB’を用いて行われる。各画素に対するコントラスト補正は、上記式(10)乃至(12)により算出される。
上記補正方式の判定の結果、第2補正方式(第2霞補正部111)が選択されると、この第2霞補正部111は、図12に示す一意のコントラスト補正の動作フローチャートに従い、画像全体に対して一意の階調補正を行う。
この第2霞補正部111の補正関数算出部400は、ステップS30において、霞分布推定部109から転送される映像信号に基づき、コントラスト補正のための補正関数、例えば画像全体の輝度ヒストグラムを基に算出されるもので、例えば線形関数、非線形関数、折れ線近似関数等の補正関数を算出する。この補正関数算出部400は、算出した補正関数の情報を一意コントラスト補正部401へ転送する。
この一意コントラスト補正部401は、ステップS31において、補正関数算出部400から転送される補正関数に基づき、映像信号に対するコントラスト補正を行う。すなわち、この一意コントラスト補正部401は、霞分布推定部109から転送される映像信号により得られる入力画像の輝度・色信号からコントラスト補正を行うための補正関数を決定し、当該決定した補正関数を用いて入力画像の全体に対して一意のコントラスト補正を行う。
圧縮部112は、ステップS7において、第1霞補正部110又は第2霞補正部111から転送された映像信号に対して公知のJPEG、MPEG等の圧縮処理を行って出力部113に転送する。
この出力部113は、ステップS8において、圧縮部112から転送された圧縮処理後の映像信号をメモリカード等に記録、保存する。又、出力部113は、圧縮部112から転送された映像信号を別途ディスプレイに表示してもよい。
このように上記第1の実施の形態によれば、画像全体に対する霞成分H(x,y)の分布を求め、この霞成分H(x,y)の分布が広い場合には、画像内の一部に霞のかかる領域が含まれると判断して適応的コントラスト補正を行い、一方、霞成分H(x,y)の分布が狭い場合には、画像全体に一様に霞がかかっていると判定して一意のコントラスト補正を行うので、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像に対して一意のコントラスト補正を行い、かつ例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像に対して適応的コントラスト補正を行うことにより霞のかかっている領域のみにコントラスト補正を行うことができる。これにより、霞成分の濃淡を推定し、画像に対する霞成分の分布に応じて適した階調補正を行うことにより、違和感なく視認性を向上し、高品位な画像を得ることができる。
適応コントラスト補正部301では、入力画像Iにおける霞成分の濃い領域すなわち高輝度でかつ低彩度な領域に対して補正係数gainR,gainG,gainBの値を保持するように調整し、かつ霞成分の薄い領域すなわち低輝度または高彩度な領域に対して補正係数gainR,gainG,gainBを1.0に近づけるように調整するので、霞の濃い又は薄い等の濃度に応じて霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行うことができる。
[第1の実施の形態の変形例]
次に、本発明の第1の実施の形態の変形例について図面を参照して説明する。なお、当該変形例は、上記第1の実施の形態における霞分布推定部109の内部構成を変形したもので、上記図2と同一部分には同一符号を付してその詳しい説明は省略する。
図13は霞分布推定部109のブロック構成図を示す。この霞分布推定部109は、上記霞ヒストグラム生成部201に代えて最大最小算出部203を設けている。これにより、霞成分推定部200には、最大最小算出部203を介して補正方式判定部202が接続されたものとなる。又、制御部114は、最大最小算出部203に対して双方向に信号の授受を行い、最大最小算出部203を制御する。
最大最小算出部203は、霞成分推定部200から転送される霞成分H(x,y)の画像全体に対する最大値と最小値とを算出し、この霞成分H(x,y)の最大値と最小値とを補正方式判定部202へ転送する。
この補正方式判定部202は、最大最小算出部203から転送される最大値と最小値との差や比等の大きさに基づき補正方式を判定、すなわち第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを判定する。
具体的に、補正方式判定部202は、霞成分H(x,y)の最大値と最小値との差や比を求め、この差や比が大きければ、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像であると判断し、当該画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。
一方、補正方式判定部202は、霞成分H(x,y)の最大値と最小値との差や比を求め、この差や比が小さければ、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断し、当該画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。
なお、霞成分H(x,y)の最大値と最小値との差や比の大小は、例えば、当該差や比と予め設定された閾値(所定値)とを比較して判定するようにすればよい。
このように第1の実施の形態の変形例によれば、霞成分H(x,y)の画像全体に対する最大値と最小値との差や比の大きさに基づいて第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを判定するので、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像と、図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像とを判定でき、これら画像に応じて適応的コントラスト補正(第1霞補正部110)を行うのか、又は一意のコントラスト補正(第2霞補正部111)を行うのかを選択できる。
[第2の実施の形態]
次に、本発明の第2の実施の形態について図面を参照して説明する。なお、当該第2の実施の形態は、上記図1と同一部分には同一符号を付してその詳しい説明は省略し、相違する部分について説明する。
図14は画像処理装置を適用した撮像装置のブロック構成図を示す。本装置は、信号処理部108の出力側に対して第1霞補正部110と、第2霞補正部111と、霞分布推定部109とが並列接続され、かつこれら第1霞補正部110と、第2霞補正部111と、霞分布推定部109とが画像合成部116に接続されている。この画像合成部116には、圧縮部112が接続されている。
霞分布推定部109は、信号処理部108から転送される映像信号に基づき、各画素の霞成分H(x,y)を推定する。また、画像全体の霞成分H(x,y)から当該霞成分の分布を推定し、この推定した霞成分H(x,y)の分布から画像合成部116にて使用する重み係数を算出する。この霞分布推定部109は、推定した各画素の霞成分H(x,y)を第1霞補正部110へ転送すると共に、算出した重み係数を画像合成部116へ転送する。
図15は当該霞分布推定部109の構成図を示す。この霞分布推定部109は、上記補正方式判定部202に代えて重み係数算出部204を設けている。すなわち、霞分布推定部109には、霞成分推定部200が設けられ、この霞成分推定部200に霞ヒストグラム生成部201を介して重み係数算出部204が接続されている。制御部114は、霞成分推定部200及び霞ヒストグラム生成部201に加え、重み係数算出部204と双方向に信号の授受を行い、重み係数算出部204を制御する。
霞成分推定部200は、上記同様に、信号処理部108から転送される映像信号を入力し、この映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
霞ヒストグラム生成部201は、上記同様に、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、例えば図4A及び図4Bに示すような霞成分H(x,y)のヒストグラムを生成する。この霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成と共に、当該ヒストグラムから標準偏差σ、平均値a、又は最大値と最小値との差等の指標を求める。
重み係数算出部204は、霞成分推定部200から転送される霞成分H(x,y)のヒストグラムの情報に基づき、後段の画像合成部116による画像合成処理において用いる重み係数wを算出する。例えば、図16に示すように霞成分H(x,y)のヒストグラムの分布(横幅)の大きさΔHが広いほど1.0に近づくような重み係数wを次式(13)に示す算出式により算出する。
w=a・ΔH+b …(13)
ここで、a,bは重み係数wを算出する関数の係数、ΔHは霞成分H(x,y)のヒストグラム分布の大きさ(0〜255)を示す。図17は重み係数w(=a・ΔH+b)のグラフを示す。
この重み係数算出部204は、霞成分推定部200から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが広く、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在している可能性が高い画像であると判断すると、適応的コントラスト補正を行う第1霞補正部110の補正結果に大きな重み係数w(第1の重み係数)、例えば0.5よりも大きい重み係数wを算出する。
又、重み係数算出部204は、霞成分推定部200から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが狭く、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断すると、一意のコントラスト補正を行う第2霞補正部111の補正結果に小さな重み係数w(第2の重み係数)、例えば0.5よりも小さな重み係数wを算出する。
なお、上記式(13)に示す重み係数wの算出式は、線形な式となっているが、これに限らず、非線形関数の式、折れ線近似関数等でも対応可能である。また、ヒストグラム分布の大きさを表す指標としては、ΔHを使用しているが、それに限ることはなく、例えばヒストグラム分布の最大値、最小値の比によりヒストグラム分布の大きさを測ることも可能である。
画像合成部116は、霞分布推定部109から転送された重み係数wに基づき、第1霞補正部110から転送される映像信号と第2霞補正部111から転送される映像信号の加算合成を行う。
図18は画像合成部116による画像合成処理の概念図を示す。この画像合成部116は、重み係数算出部204により算出された重み係数wに基づき、第1霞補正部110による適応的コントラスト補正を行った画像に対する重み付け(w=0.75)を行った画像IO1と、第2霞補正部111による一意のコントラスト補正を行った画像に対する重み付け(1−w=0.25)を行った画像IO2との画像合成を行う。この画像合成は、次式(14)を算出して求める。すなわち、画像合成後の出力画像Ioは、
Io=w・IO1 + (1−w)・IO2 ・・・(14)
により得られる。
ここで、IO1は適応的コントラスト補正を行った後の画像を示し、IO2は一意のコントラスト補正を行った後の画像を示す。
次に、上記の通り構成された装置による撮影動作について図19に示す撮影動作フローチャートを参照して説明する。
霞分布推定部109は、ステップS40において、信号処理部108から転送される映像信号に基づき、各画素の霞成分H(x,y)を推定する。また、画像全体の霞成分H(x,y)から当該霞成分の分布を推定し、この推定した霞成分H(x,y)の分布から画像合成部116にて使用する重み係数を算出する。この霞分布推定部109は、推定した各画素の霞成分H(x,y)を第1霞補正部110へ転送すると共に、算出した重み係数を画像合成部116へ転送する。
具体的に、この霞分布推定部109は、図20に示す霞分布推定フローチャートに従い、ステップS50において、霞成分推定部200によって、上記同様に、信号処理部108から転送される映像信号を入力し、この映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
霞ヒストグラム生成部201は、ステップS51において、上記同様に、霞成分推定部200から転送される霞成分H(x,y)の値の頻度をカウントし、例えば図4A及び図4Bに示すような霞成分H(x,y)のヒストグラムを生成する。この霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを生成すると共に、当該ヒストグラムから標準偏差σ、平均値a、又は最大値と最小値との差や比、ヒストグラムの分布の大きさΔH、等の指標を求める。
重み係数算出部204は、ステップS52において、霞ヒストグラム生成部201から転送される霞成分H(x,y)のヒストグラムの情報に基づき、画像合成部116による画像合成処理において用いる重み係数wを上記式(13)により算出する。この重み係数wは、上記図16に示すように霞成分H(x,y)のヒストグラムの分布の大きさΔHが広いほど1.0に近づく値を示す。
具体的に、当該重み係数算出部204は、霞ヒストグラム生成部201から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが広く、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在している可能性が高い画像であると判断すると、適応的コントラスト補正を行う第1霞補正部110の補正結果に対して大きな重み係数w、例えば0.5よりも大きな重み係数wを算出する。
又、重み係数算出部204は、霞ヒストグラム生成部201から転送される霞成分H(x,y)のヒストグラム分布の大きさΔHが狭く、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であると判断すると、適応的コントラスト補正を行う第1霞補正部110の補正結果に対して小さな重み係数w、例えば0.5よりも小さな重み係数wを算出する。
一方、第1霞補正部110は、ステップS5において、上記図11に示す適応的コントラスト補正の動作フローチャートに従い、霞成分推定部200から転送される霞成分H(x,y)の値に応じて画素毎に、信号処理部108から転送された映像信号において霞の影響によりコントラストが低下した領域に対応する映像信号に適応的コントラスト補正を行う。そして、この第1霞補正部110は、適応的コントラスト補正を行った映像信号を画像合成部116へ転送する。
第2霞補正部111は、ステップS6において、上記図12に示す一意のコントラスト補正の動作フローチャートに従い、信号処理部108から転送される映像信号に対して一意のコントラスト補正を行う。そして、この第2霞補正部111は、一意のコントラスト補正を行った映像信号を画像合成部116へ転送する。
この画像合成部116は、ステップS41において、図18に示すように、第1霞補正部110により適応コントラスト補正された画像IO1と、第2霞補正部111により一意のコントラスト補正により補正された画像IO2とを、重み係数wと上記式(14)に基づいて算出することにより画像合成し、画像合成後の出力画像Ioを得る。
圧縮部112は、ステップS7において、画像合成部116から転送された映像信号に対して公知のJPEG、MPEG等の圧縮処理を行って出力部113に転送する。この出力部113は、ステップS8において、圧縮部112から転送された圧縮処理後の映像信号をメモリカード等に記録、保存する。又、出力部113は、圧縮部112から転送された映像信号を別途ディスプレイに表示してもよい。
このように上記第2の実施の形態によれば、重み係数算出部204によって、霞成分H(x,y)のヒストグラム分布の大きさΔHが広く、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在している可能性が高い画像であれば、適応的コントラスト補正の結果に大きな重み係数wを掛け、一意のコントラスト補正の結果に小さな重み係数(1−w)を掛ける。そして、霞成分H(x,y)のヒストグラム分布の大きさΔHが狭く、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像であれば、適応的コントラスト補正の結果に小さな重み係数wを掛け、一意のコントラスト補正の結果に大きな重み係数(1−w)を掛けて画像合成するので、適応的コントラスト補正と一意のコントラスト補正との合成画像によって視認性の向上と、補正後の違和感の小さい高品位な画像を得ることができる。
なお、本発明は、上記各実施の形態に限定されるものでなく、次のように変形してもよい。
上記各実施の形態における劣化度としての霞成分H(x,y)は、霧成分及び白色成分を含むものである。
上記各実施の形態は、ハードウェアによる処理を前提としているが、これに限定されるものでなく、例えば、信号処理部108から出力される映像信号を別途ソフトウェアにて処理する構成も可能である。
又、上記各実施の形態は、信号処理部108から入力される映像信号の各画素に対して霞成分推定や補正係数算出の処理を行っているが、これに限定されるものでなく、例えば映像信号のサイズを縮小した後に霞成分推定、補正係数算出の処理を行うことも可能である。
縮小画像に対して霞成分推定、補正係数算出の処理を行う場合は、コントラスト補正時に公知の補間処理(例えばバイリニア補間、バイキュービック補間など)にて霞成分と補正係数を元のサイズに拡大した後にコントラスト補正を行えばよい。
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
100:レンズ系、101:絞り、102:撮像センサ、103:オートフォーカス用モータ(AFモータ)、104:A/D変換器、105:バッファ、106:測光評価部、107:レンズ制御部、108:信号処理部、109:霞分布推定部、110:第1霞補正部、111:第2霞補正部、112:圧縮部、113:出力部、114:制御部、115:外部I/F部、116:画像合成部、200:霞成分推定部、201:霞ヒストグラム生成部、202:補正方式判定部、203:最大最小算出部、204:重み係数算出部、300:補正係数算出部、301:適応コントラスト補正部、301a:正規化係数算出部、301b:係数変換部、400:補正関数算出部、401:一意コントラスト補正部。

Claims (12)

  1. 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出する劣化度検出部と、
    前記画像データにおける前記劣化度のばらつきを推定する劣化度分布推定部と、
    前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択する補正方式選択部と、
    前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正する階調補正部と、
    を具備し、
    前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、
    前記補正方式選択部は、前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択する、
    ことを特徴とする画像処理装置。
  2. 前記劣化度分布推定部は、前記劣化度のヒストグラムを生成する劣化度ヒストグラム生成部を含み、
    記劣化度のばらつきは、前記劣化度のヒストグラムの分布の広がりである
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 記劣化度のヒストクラムの分布の広がりは、前記劣化度のヒストグラムの標準偏差値、又は最大値と最小値との差または比の指標のうち少なくとも1つである請求項2に記載の画像処理装置。
  4. 前記劣化度分布推定部は、前記画像データの全体における前記劣化度の最大値と最小値とを算出する最大最小算出部を含み、
    記劣化度のばらつきは、前記最大値と前記最小値との差または比の大きさである
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 前記第1の階調補正方式は、前記画像データの前記領域毎に前記階調補正のための補正係数を算出する補正係数算出部と、
    前記劣化度に基づいて前記補正係数を調整し、前記適応的な階調補正を行う適応的コントラスト補正部と、
    を含むことを特徴とする請求項1に記載の画像処理装置。
  6. 前記第2の階調補正方式は、前記画像データの輝度信号の分布及び/又は色信号の分布から決定される補正関数に基づいて前記画像データの全体に対して前記一意の階調補正を行うことを特徴とする請求項1に記載の画像処理装置。
  7. 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出する劣化度検出部と、
    前記画像データにおける前記劣化度のばらつきを推定する劣化度分布推定部と、
    前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正する第1階調補正部と、
    前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正する第2階調補正部と、
    前記劣化度のばらつきに応じた重み係数を算出する重み係数算出部と、
    前記第1階調補正部により生成される第1補正画像データと前記第2階調補正部により生成される第2補正画像データとを前記重み係数に基づいて加算合成する画像合成部と、
    を具備し、
    前記重み係数算出部は、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する第2の重み係数とを決定し、
    前記画像合成部は、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する、
    ことを特徴とする画像処理装置。
  8. 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出し、
    前記画像データにおける前記劣化度のばらつきを推定し、
    前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択し、
    前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正し、
    前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、
    前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択する、
    ことを特徴とする画像処理方法。
  9. 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出し、
    前記画像データにおける前記劣化度のばらつきを推定し、
    前画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正し、
    前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正し、
    前記劣化度のばらつきに応じた重み係数を算出し、
    前記第1の階調補正方式に基づいて生成される第1補正画像データと前記第2の階調補正方式に基づいて生成される第2補正画像データとを前記重み係数に基づいて加算合成し、
    前記重み係数として、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する第2の重み係数とを決定し、
    前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する、
    ことを特徴とする画像処理方法。
  10. コンピュータに、
    複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出させる劣化度検出機能と、
    前記画像データにおける前記劣化度のばらつきを推定させる劣化度分布推定機能と、
    前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択させる補正方式選択機能と、
    前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正させる階調補正機能と、
    を実現させ、
    前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、
    前記補正方式選択機能は、前記コンピュータに、前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択させる、
    画像処理装置の画像処理プログラム。
  11. コンピュータに、
    複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出させる劣化度検出機能と、
    前記画像データにおける前記劣化度のばらつきを推定させる劣化度分布推定機能と、
    前画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正させる第1階調補正機能と、
    前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正させる第2階調補正機能と、
    前記劣化度のばらつきに応じた重み係数を算出させる重み係数算出機能と、
    前記第1階調補正機能により生成される第1補正画像データと前記第2階調補正機能により生成される第2補正画像データとを前記重み係数に基づいて加算合成させる画像合成機能と、
    を実現させ、
    前記重み係数算出機能は、前記コンピュータに、前記重み係数として、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する減少する第2の重み係数とを決定させ、
    前記画像合成機能は、前記コンピュータに、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成させる画像処理装置の画像処理プログラム。
  12. 被写体からの光像を撮像する撮像素子と、
    前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する請求項1乃至のうちいずれか1項に記載の画像処理装置と、
    前記画像処理装置により画像処理された前記画像データを出力する出力部と、
    を具備することを特徴とする撮像装置。
JP2014078922A 2014-04-07 2014-04-07 画像処理装置及び方法、画像処理プログラム、撮像装置 Active JP5911525B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014078922A JP5911525B2 (ja) 2014-04-07 2014-04-07 画像処理装置及び方法、画像処理プログラム、撮像装置
PCT/JP2015/054816 WO2015156041A1 (ja) 2014-04-07 2015-02-20 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置
CN201580017978.1A CN106134180B (zh) 2014-04-07 2015-02-20 图像处理装置和方法、存储能够由计算机临时读取的图像处理程序的记录介质、摄像装置
EP15776404.4A EP3131281B1 (en) 2014-04-07 2015-02-20 Image processing apparatus and method, recording medium on which temporarily computer-readable image processing program has been stored, and image pickup apparatus
US15/284,631 US9978128B2 (en) 2014-04-07 2016-10-04 Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014078922A JP5911525B2 (ja) 2014-04-07 2014-04-07 画像処理装置及び方法、画像処理プログラム、撮像装置

Publications (3)

Publication Number Publication Date
JP2015201731A JP2015201731A (ja) 2015-11-12
JP2015201731A5 JP2015201731A5 (ja) 2015-12-24
JP5911525B2 true JP5911525B2 (ja) 2016-04-27

Family

ID=54287622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014078922A Active JP5911525B2 (ja) 2014-04-07 2014-04-07 画像処理装置及び方法、画像処理プログラム、撮像装置

Country Status (5)

Country Link
US (1) US9978128B2 (ja)
EP (1) EP3131281B1 (ja)
JP (1) JP5911525B2 (ja)
CN (1) CN106134180B (ja)
WO (1) WO2015156041A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016002322T5 (de) * 2015-05-22 2018-03-08 Mitsubishi Electric Corp. Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm, das Programm aufzeichnendes Aufzeichnungsmedium, Bilderfassungsvorrichtung und Bildaufzeichnungs-/Bildwiedergabevorrichtung
JP6034529B1 (ja) * 2016-06-14 2016-11-30 九州電力株式会社 表面状態診断装置
US10496876B2 (en) * 2016-06-30 2019-12-03 Intel Corporation Specular light shadow removal for image de-noising
JP6720012B2 (ja) * 2016-08-01 2020-07-08 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2020189774A1 (ja) * 2019-03-19 2020-09-24 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
US11301974B2 (en) * 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158893A (ja) * 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
JP4151225B2 (ja) * 2001-03-15 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理のための装置、方法及びプログラム
US7480075B2 (en) * 2003-07-15 2009-01-20 Konica Minolta Business Technologies, Inc. Image processing apparatus, image processing method, and image processing program
JP5096089B2 (ja) * 2007-09-18 2012-12-12 オリンパス株式会社 画像信号処理装置、画像信号処理方法及び撮像装置
JP4982475B2 (ja) * 2008-12-24 2012-07-25 ローム株式会社 画像処理方法及びコンピュータプログラム
JP2010278724A (ja) * 2009-05-28 2010-12-09 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP4795473B2 (ja) * 2009-06-29 2011-10-19 キヤノン株式会社 画像処理装置及びその制御方法
JP2012054659A (ja) * 2010-08-31 2012-03-15 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2015156600A (ja) * 2014-02-21 2015-08-27 株式会社 日立産業制御ソリューションズ 画像信号処理装置,画像信号処理方法,および撮像装置

Also Published As

Publication number Publication date
US9978128B2 (en) 2018-05-22
EP3131281B1 (en) 2019-07-10
WO2015156041A1 (ja) 2015-10-15
CN106134180B (zh) 2019-06-21
CN106134180A (zh) 2016-11-16
JP2015201731A (ja) 2015-11-12
EP3131281A4 (en) 2018-04-18
EP3131281A1 (en) 2017-02-15
US20170024865A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP5901667B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
KR100990904B1 (ko) 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법
JP5911525B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
US10672134B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
JP5672796B2 (ja) 画像処理装置、画像処理方法
JP5392560B2 (ja) 画像処理装置および画像処理方法
JP4850281B2 (ja) 画像信号処理装置、画像信号処理プログラム
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
JP2007329620A (ja) 撮影装置と映像信号処理プログラム
CN106575434B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
JP7199849B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013179485A (ja) 画像処理装置及びその制御方法
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP2009194728A (ja) 撮像システム及び画像処理方法並びに画像処理プログラム
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP2018181070A (ja) 画像処理装置および画像処理方法
JP2009004893A (ja) 画像処理装置およびこれを備える撮像システム
JP2022135222A (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150903

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150903

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160329

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250