JP5105209B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP5105209B2
JP5105209B2 JP2009544698A JP2009544698A JP5105209B2 JP 5105209 B2 JP5105209 B2 JP 5105209B2 JP 2009544698 A JP2009544698 A JP 2009544698A JP 2009544698 A JP2009544698 A JP 2009544698A JP 5105209 B2 JP5105209 B2 JP 5105209B2
Authority
JP
Japan
Prior art keywords
image
value
signal
gain
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009544698A
Other languages
English (en)
Other versions
JPWO2009072537A1 (ja
Inventor
雅史 若園
直哉 加藤
伸行 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009544698A priority Critical patent/JP5105209B2/ja
Publication of JPWO2009072537A1 publication Critical patent/JPWO2009072537A1/ja
Application granted granted Critical
Publication of JP5105209B2 publication Critical patent/JP5105209B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
従来、ＣＣＤなどの撮像素子を用いるカメラでは、例えば、光学フィルムを用いるカメラと比較してダイナミックレンジが狭いので、逆光時の撮像などでは、明るい部分の階調が失われる白とび（オーバーエクスポージャ）又は暗い部分の階調が失われる黒つぶれ（アンダーエクスポージャ）などが発生しがちだった。しかし近年、固体撮像素子の進歩（低ノイズ化）やブラケット露光の合成技術により、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有するRAW画像信号が得られるようになってきた。
一方、撮像された動画像や静止画像を保存するファイルフォーマット（JPEG、MPEGなど）や、一般のCRTやLCDやプリンタなどの表示装置では、現在も表現可能な輝度階調には制限がある。つまり、表示装置で表現可能な画像のダイナミックレンジが狭い。したがって、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有する画像のRAW画像信号（以下、広ダイナミックレンジ画像と称する）を取得しても、それを保存したり表現したり（表示や印刷等）できないという問題がある。なお、RAW画像信号は、いわゆるイメージャの出力信号である。
そこで、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来の機器が表現可能な画像（以下、狭ダイナミックレンジ画像と称する）に変換するダイナミックレンジ圧縮処理技術が必要となる。
例えば、広ダイナミックレンジ画像の輝度のヒストグラムに基づいて階調再配分を適応的に決定する技術がある（特許文献１参照）。この技術では、広ダイナミックレンジ画像の階調を、ヒストグラム化するなどして、よりダイナミックレンジの狭い表示装置等の階調に合わせて再配分することで狭ダイナミックレンジの画像を生成する。また、ヒストグラムのピーク近辺の輝度値ができるだけ多くの階調に配分される階調変換曲線を決定することによって、重要な被写体のコントラスト低下を抑制する。この技術のように、入力画像の輝度に対して、出力の輝度が一律に定まる手法をグローバルな階調圧縮法と呼ぶ。
しかしながら、グローバルな階調圧縮法では、階調変換曲線の微分値が小さい輝度（階調レンジが削られる輝度）での輝度変化が小さくなり、小振幅のコントラスト感や被写体の立体感（以降、これらをまとめてテクスチャ感、またはディテール感と称することにする）が喪失した見えの悪い画像となる問題がある。
そこで、グローバルな階調圧縮法における見えの問題を解決した階調圧縮技術として、ローカルな階調圧縮法がある。これは、ダイナミックレンジの大きい画像は、一般には被写体自体のコントラストよりも、むしろコントラストの強い照明によって発生するという知見を用いて、照明の成分のみを階調圧縮してダイナミックレンジを狭める手法である。この手法は、入力画像の輝度に対して出力の輝度が一律に定まるものではなく、輝度の入出力の関係が画素ごとに変化するため、グローバルな階調圧縮法に対してローカルな階調圧縮法と呼ばれている。
ローカルな階調圧縮法を用いるものとして、例えば、画像を一旦グローバルな階調圧縮法により階調圧縮してから照明以外の成分を補償する技術がある（例えば、特許文献２参照）。他にも、広ダイナミックレンジ画像を複数の周波成分画像に分離し、それぞれに異なる振幅変調を施した後に、それらを加算合成して１枚の画像を生成する技術が、文献「Z. Rahman, D. J. Jobson and G.A. Woodell, “Multi-Scale Retinex for Color Image Enhancement”, Proc.of International Conference on Image Processing 1996, 1996, pp. 19P9 」等に開示されている。
これらの技術では、一般に照明の分布はエッジ部分以外では空間的になだらかであるという特性を使って、ローパスフィルタで画像を帯域分割し、低周波側の画像成分を照明成分として扱っている。
特開平９−３３１４６９号公報 特開２００４−２２１６４４号公報
しかしながら、単純なローパスフィルタで画像を帯域分割しただけでは照明成分のエッジ部分において照明成分の分離精度が低下し、被写体の輪郭部分に沿って階調の反転が生じ、画質が劣化することがある。この反転の様子が後光に似ているため、この劣化はHALOアーチファクト（あるいは単にHALO）と呼ばれている。
このHALOアーチファクトを解消するために、照明成分の分離にエッジ保存の非線形ローパスフィルタ（Bilateral Filter）を用いたローカルな階調圧縮手法が文献「F. Durand and J. Dorsey, “Fast bilateral filtering for the display of High-dynamic-range images”, Proc. SIGGRAPH 02, pp. 257-266, 2002.」や「R. Sobol, “Improving the Retinex algorithm for rendering wide dynamic range photographs”, Journal of Electronic Imaging, Vol. 13(1), pp. 65-74, 2004.」等に開示されている。しかし、これらの手法にも、非線形フィルタ処理の計算コストが極端に高いことや、フィルタのエッジ判定に用いる閾値の決め方に指針がなく、閾値パラメータの自動調整ができないといった、実装上の問題がある。
また、カラー画像を階調圧縮する場合には、階調圧縮後に色の階調の一部が失われてのっぺりした画質となってしまったり、色味がずれたり、一部の色味が不自然になったりする、カラー画像特有の問題が生じる。
色の階調の一部が失われてのっぺりした画質となってしまうという問題は、輝度の階調圧縮の処理結果を、入力のカラー画像に反映した際にRGB信号が飽和することで起こる。色味のズレも信号の飽和によるもので、RGB３チャンネルの信号のうち、1つのチャンネルが飽和したことでRGBのバランスが崩れて色ずれが起こる。
そこで、例えば、文献「L.Wang, T.Horiuchi and H.Kotera, "HDR Image Compression based on Local Adaptation for Scene and Display Using Retinal Model", Proc. 14th Color Imaging Conference, pp.327-332, 2006.」では、RGB信号の変調を非線形にすることで、階調圧縮アルゴリズムの中で飽和度を調整する方法が提案されている。この方法には単純な数式で飽和度を調整できる利点があるが、その一方で色域圧縮処理としては性能が悪く、調整の自由度が低いという欠点がある。非線形な変調によってRGBのバランスが崩れて色味が不自然になったり、出力デバイスの色域に対して補正が不適切であったりする問題が起こる。
さらに、カラー画像の圧縮では、高彩度色の領域が不自然に明るくなる問題がある。これは、輝度信号を使って照明の明るさを推定すると、高彩度色の領域で大きな誤差を持ち、その領域の明るさが実際よりも暗く推定されることに起因する。
また、上述したそれぞれの階調圧縮手法では、暗黙のうちにダイナミックレンジが充分に大きい理想的な系を想定しているため、カメラ信号処理に組み込んで稼動させる際に、入力画像や信号処理の制限により不具合が出る。
不具合のひとつは、撮像素子の飽和による画質の破綻である。素子上で飽和した部分をいくら階調圧縮（輝度を抑圧）しても、その部分の階調は現れないばかりか、むしろ画像の白点が暗くなることで画質が悪化してしまう。また、カラーセンサのうちの一部の色が飽和した領域では、階調圧縮をしたことで被写体以外の色が現れて画質が劣化することがある。
他の不具合としては、カメラの信号処理パラメータとの連携が取れないことによる画質劣化があげられる。もともとカメラ信号処理では、RAW信号を現像する際に高輝度部分の階調カーブを調整することで、ある程度、グローバルな階調圧縮が施されており、それにあわせて撮像露出も決められている。ここに、別の階調圧縮の処理が入ると、撮像露出の設定値と階調カーブの関係が崩れてしまい、現像処理が想定通りに行われなくなる。他にも、階調圧縮によってノイズ増長されることで、ノイズリダクションの効果が期待通りに出ずに、ノイズ感を悪化させてしまう。
さらに、数多くのローカルな階調圧縮手法が提案されているが、いずれも照明成分の圧縮方法が所定のアルゴリズムで規定されているため、カメラ信号処理へ応用する際に画質設定の自由度が低いという問題がある。
本発明はこのような状況に鑑みてなされたものであり、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができるようにするものである。
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行なうエッジ保存ローパスフィルタと、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出する輝度平均値算出手段と、前記輝度平均値算出手段で算出された前記領域のそれぞれの輝度の平均値に基づいて前記エッジ保存ローパスフィルタに設定する閾値を算出する閾値算出手段とを備える画像処理装置である。
前記閾値算出手段は、前記領域のそれぞれの輝度の平均値の差分絶対値に所定の固定値を乗じることにより前記閾値を算出するようにすることができる。
前記エッジ保存ローパスフィルタにより、前記入力画像から輝度信号の振幅の周期が大きい照明成分を抽出し、前記入力画像の輝度信号と前記照明成分の差分としてディテール成分を抽出する抽出手段と、前記照明成分に対応して定まるゲインを特定する特定手段と、前記特定手段により特定されたゲインを、前記ディテール成分に乗じることで前記ディテール成分を補正するディテール成分補正手段とをさらに備えるようにすることができる。
前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに基づいて得られるゲイン特性に基づいて特定するようにすることができる。
前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに、所定の演算処理を施すことで求められる補正ゲインに基づいて得られるゲイン特性に基づいて特定するようにすることができる。
前記補正ゲインを求める演算においては、前記画像の前記輝度の値に対応する複数の領域のそれぞれの輝度の平均値に基づいて算出されるダイナミックレンジの値に応じて定まる予め設定された順応レベル特性に基づいて特定される順応レベルが用いられるようにすることができる。
前記特定手段は、前記複数の領域のうち、最も暗い領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第１の値を前記補正ゲインの上限値とし、前記複数の領域のうち、最も明るい領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第２の値を前記補正ゲインの下限値とし、前記ゲイン特性を決定するようにすることができる。
前記入力された画像の画素数を間引く間引き手段と、前記間引き手段により画素数が間引かれた画像を、元の画素数の画像に拡大する拡大手段とをさらに備え、前記間引き手段により画素数が間引かれた画像が前記エッジ保存ローパスフィルタに入力され、前記エッジ保存ローパスフィルタから出力された信号に対応する画像が前記拡大手段に入力されるようにすることができる。
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを含む画像処理方法である。
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを含む画像処理をコンピュータに実行させるプログラムである。
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを含む画像処理をコンピュータに実行させるプログラムが記録された記録媒体である。
本発明の一側面においては、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かが決定され、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値が算出され、前記領域のそれぞれの輝度の平均値に基づいて前記閾値が算出される。
本発明によれば、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができる。
本発明の一実施の形態に係る撮像装置の構成例を示す図である。 図１の階調圧縮部の詳細な構成例を示す図である。 検波において行われる処理を説明する図である。 画像のヒストグラムを説明する図である。 図４の画像の明るい領域と暗い領域、およびダイナミックレンジを説明する図である。 順応ゲインのLUTの例を示す図である。 順応ゲインの設定を説明する図である。 εフィルタの閾値の設定を説明する図である。 εフィルタの動作を説明する図である。 εフィルタの処理を説明する図である。 図２のエッジ保存LPFの詳細な構成例を示す図である。 図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。 図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。 図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。 図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。 図１２のエッジ保存アップサンプラの処理を説明する図である。 図２の補正ゲインLUTの例を示す図である。 NR処理における順応ゲインの影響を説明する図である。 ノイズ信号の標準偏差σを求める関数の例を示す図である。 画作り要素を求める関数の例を示す図である。 撮像処理の例を説明するフローチャートである。 検波処理の例を説明するフローチャートである。 階調圧縮処理の例を説明するフローチャートである。 エッジ保存ローパスフィルタ処理の例を説明するフローチャートである。 従来の階調圧縮処理におけるRGBγ補正の例を示す図である。 従来の階調圧縮処理におけるYγ補正の例を示す図である。 本発明で用いるRGBγテーブルの例を示す図である。 本発明で用いるYγテーブルの例を示す図である。 照明成分の階調圧縮とディテール成分の階調圧縮について説明する図である。 図１の階調圧縮部の別の詳細な構成例を示す図である。 図３０の階調圧縮部による階調圧縮処理の例を説明するフローチャートである。 本発明の撮像装置の別の構成例を示す図である。 本発明の撮像装置のさらに別の構成例を示す図である。 本発明の撮像装置のさらに別の構成例を示す図である。 エッジ保存ローパスフィルタの構成例を示すブロック図である。 加算係数を説明する図である。 フィルタ係数を説明する図である。 エッジ保存ローパスフィルタによるフィルタ処理を説明するフローチャートである。 エッジ保存ローパスフィルタの別の構成例を示すブロック図である。 エッジ保存ローパスフィルタの別の構成例を示すブロック図である。 加算係数の別の例を説明する図である。 フィルタ係数の別の例を説明する図である。 エッジ保存ローパスフィルタに入力される画像の例を示す図である。 適正値より小さい値の閾値の場合にエッジ保存ローパスフィルタから出力される画像の例を示す図である。 適正な閾値の場合にエッジ保存ローパスフィルタから出力される画像の例を示す図である。 適正値より大きい値の閾値の場合のエッジ保存ローパスフィルタから出力される画像の例を示す図である。 図４４に対応してディテール抽出部６６から出力される画像の例を示す図である。 図４５に対応してディテール抽出部６６から出力される画像の例を示す図である。 図４６に対応してディテール抽出部６６から出力される画像の例を示す図である。 適正な閾値の例を説明する図である。 適正な閾値の別の例を説明する図である。 適正な閾値のさらに別の例を説明する図である。 適正な閾値のさらに別の例を説明する図である。 画像のディテール成分を補正する効果について説明する図である。 画像のディテール成分の補正する効果について説明する図である。 画像のディテール成分の補正する効果について説明する図である。 図２の補正ゲインLUTの別の例を示す図である。 図２の補正ゲインLUTのさらに別の例を示す図である。 図２の補正ゲインLUTのさらに別の例を示す図である。 図２の補正ゲインLUTのさらに別の例を示す図である。 補正ゲインＬＵＴ設定処理を説明するフローチャートである。 順応レベルを用いてディテール成分に乗じられるゲインが設定される場合のディテール調整部から出力される画像の例を示す図である。 補正ゲインＬＵＴ設定処理の別の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０ 撮像装置， ３１ CCD， ３２ ホワイトバランス部， ３３ デモザイク部， ３４ 階調圧縮部，３５ リニアマトリクス部， ３６ RGBγ補正部， ３７ BT.６０１行列部， ３８ Yγ補正部 ３９ 色差マトリクス部， ４０ デバイス色域圧縮部， ４２ ｓRGBγ補正部， ４３ RGB△γ補正部， ６１ 輝度信号生成部， ６２ 知覚均等化部， ６３ 検波部， ６４ 制御MPU， ６５ エッジ保存LPF， ６６ ディテール抽出部， ６７ ディテール調整部， ６８ トーンカーブ処理部， ６９加算器， ７０ NR処理部， ７１ RGB変調部， ３５１ ダウンサンプラ， ３５２ バッファ， ３５３ マルチスケールフィルタ， ３５４ バッファ， ３５６ エッジ保存アップサンプラ， ３６１ 超大域エッジ保存LPF， ３６２ 大域エッジ保存LPF，６０１ 加算係数決定処理部， ６０２ 係数正規化処理部， ６０５ 積算部，６０６ 積算終了判定部， ６１１ 基準レベル算出部， ６１３ 加算係数算出部， ６２２ 積算部，６２３ 積算終了判定部
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係る撮像装置１０の一実施の形態に係る構成例を示すブロック図である。
同図に示されるCCD３１は、CCD撮像素子から得られた画像をホワイトバランス部３２に出力する。
ホワイトバランス部３２は、CCD３１から出力される画像の各画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、画像のホワイトバランスを調整する。ホワイトバランス部３２は、ホワイトバランスを調整した画像をデモザイク部３３に供給する。
デモザイク部３３は、ホワイトバランス部３２から供給される画像に対してA/DコンバータなどによりA/D変換された画像データであるモザイク画像を取得する。モザイク画像は、Ｒ，Ｇ，Ｂのうちいずれかの色成分に対応するデータが１つの画素に格納され、例えば、ベイヤー配列と呼ばれる色配列に従って各画素が配置されている画像である。そして、デモザイク部３３は、モザイク画像を、RGB信号に変換（デモザイク）して階調圧縮部３４に出力する。
階調圧縮部３４は、デモザイク部３３から供給されたRGB信号に対して後述するように、階調圧縮の処理を施し、その処理が施されたRGB信号をリニアマトリクス部３５に供給する。
リニアマトリクス部３５は、予め設定された演算式に従って、所定のマトリクス係数に基づいて、RGB信号の演算を行い、人間の目の特性に近似した色彩のRGB信号を生成する。
RGBγ補正部３６は、リニアマトリクス部３５から出力されるRGB信号にγ補正を施し、BT.601行列部３７に出力し、BT.601行列部３７は、RGBγ補正部３６から出力されたRGB信号を、ITU-R BT.601の規格に適合するように変換する。
BT.601行列部３７は、画像データの信号を、輝度信号と色差信号に分けて出力し、輝度信号は、Yγ補正部３８に出力され、輝度信号に対してＹγ補正部３８によりγ補正が施される。色差信号は、色差マトリクス部３９に出力され、色差信号による画像データがマトリックス演算処理されて彩度補正が施される。
Yγ補正部３８と色差マトリクス部３９から出力されるそれぞれの信号の画像データが合成され、デバイス色域圧縮部４０により出力デバイスの色域にあわせて色域圧縮の処理が施される。ここで、色域圧縮の処理としては任意の方法を用いることができ、たとえば特開2000―278546（対応ＵＳ特許ＵＳ６，４３７，７９２）に開示されている方法などを使って、色味がズレないように、また階調の喪失がないように色域圧縮をする。なお、出力デバイスの色域が決まっていない場合には、デバイス色域圧縮部４０により、例えば、sRGBやAdobeRGBやscRGBなどの出力画像フォーマットの色域にあわせた色域圧縮の処理が施される。
本実施の形態においては、階調圧縮部３４により、ダイナミックレンジが圧縮（階調圧縮）された画像が生成され、その後で、デバイス色域圧縮部４０により出力デバイスの色域にあわせて色域圧縮の処理が施される。後述するように、階調圧縮部３４では、RGBから明るさを表す信号を抽出し、その明るさを表す信号にゲインを乗じるなどして階調圧縮処理が施されるため、階調圧縮処理が施された信号からRGB信号を生成すると、信号がデバイスの色再現範囲を超えてしまうことで、本来の画像の色合いと異なるものとなってしまうことがある。本実施の形態のように、階調圧縮された画像が生成され、その後で、色域圧縮の処理が施されるようにすることで、色の階調の一部が失われてのっぺりした画質となってしまうことや色味のずれなどが発生することを抑止することができる。
そして、デバイス色域圧縮部４０から出力された画像データが保存ファイル４１に保存される。
図２は、階調圧縮部３４の詳細な構成例を示すブロック図である。
同図における輝度信号生成部６１は、階調圧縮部３４に入力されたRGB信号から物体の反射率を考慮した明るさを表す信号Ｙを抽出する。なお信号Ｙは、RGB信号の線形和を演算して得られる輝度信号をそのまま用いてもよいし、その輝度信号に対して次のような演算処理を施して得られる信号としてもよい。
例えば、RGBのうち最大値のチャネルと輝度信号の重み付け和を用いて輝度信号に対して所定の演算を行い、信号Yを得るようにしてもよい。
また、露出計による被写体の色度の情報を利用して輝度信号を補正する演算を行い、信号Yを得るようにしてもよい。なお、露出計については、特許公報第２６３４８９７号などに詳細が開示されている。
あるいはまた、撮像された画像に基づいて被写体を認識し、認識された被写体に対応付けられて予め定められている反射率の値に基づいて輝度信号を補正する演算を行い、信号Yを得るようにしてもよい。
知覚均等化部６２は、この後行われる検波処理やローパスフィルタの処理において、人間の視覚に合った信号処理を行うために、信号Ｙを非線形変換して知覚均等な明るさ信号Ｙ’を生成する。たとえば入力のＲＧＢ信号がリニア信号だった場合には、ｓＲＧＢのγカーブを用いて非線形変換をする。
γカーブは、例えば、sRGB（IEC61966-2-1）で用いられている、リニアRGBからノンリニアRGBへの変換の式を用いて得ることができる。その他、1976 CIE L*a*b* color spaceで使われる非線形変換、対数変換（Ｙ’ = log(Y)）、累乗（Ｙ’ = Y^(1/2.2)）などにより非線形変換が行われるようにしてもよい。
なお、以降では、特に説明のない限り、ダッシュつきの変数はノンリニアな値を表し、ダッシュなしの変数はリニアの値を表すものとする。
検波部６３は、信号Ｙ’に対して検波処理を行う。
検波部６３は、まず、入力信号（信号Ｙ’）に対してローパスフィルタ処理をする。これにより、入力信号の中で周波数が所定の値より高い部分が除去されることになる。これは、信号Ｙ’のうちの細かい空間パターンを無視し、大局的な空間パターンを検波するための処理である。このようにすることで、画像の中の細かい空間パターンに基づいて検波が行われ、検波の結果が極値に偏ってしまうことが抑止される。
検波部６３の処理により後述するように、入力画像のうちの明るい領域の照明の平均強度と暗い領域の照明の平均強度とが推定される。また、検波部６３の処理により後述するように、飽和レベル以上の値を持つ画素の数がカウントされ、その画素の数に基づいて、撮像露出が適正か否かが判定され、適正でないと判定された場合、制御MPU６４により、露出を下げるように撮像装置１０が制御される。さらに、後述するように、検波部６３により求められた明るい領域の照明の平均強度と暗い領域の照明の平均強度に基づいて、制御ＭＰＵ６４によりエッジ保存LPF６５のフィルタに設定される閾値が求められる。
図３を参照して、検波部６３の処理の詳細について説明する。
検波部６３に入力された元画像９１の信号は、ダウンサンプラ９２により間引画像９３に変換される。この例では、３８８８×２６０８の画素で構成される１０Mピクセルの元画像９１が間引かれてX×Yの画素で構成される間引画像９３に変換されている。
間引画像９３の信号が演算器９４に供給され、図中の演算器９４の上部に示されるようなヒストグラムが生成される。このヒストグラムは、横軸が画素の輝度値、縦軸が度数（画素数）とされ、演算器９４により間引画像９３の全ての画素の平均輝度値（図中のバー１１１）が演算により求められる。ここで得られる平均輝度値が後述する値Ymの初期値となる。
演算器９５は、演算器９４により生成されたヒストグラムをバー１１１（すなわち輝度の平均値）で分割する。これにより、間引画像９３に含まれる全ての画素が、平均値より輝度値の大きい画素と、平均値より輝度値の小さい画素に分割されることになる。
演算器９５の処理を経て分割された画素のうち、平均値（バー１１１）より輝度値の大きい画素は、演算器９６に供給され、それらの画素の平均値が演算される。また、演算器９５の処理を経て分割された画素のうち、平均値（バー１１１）より輝度値の小さい画素は、演算器９７に供給され、それらの画素の平均値が演算される。その結果、図中の演算器９６の上部のヒストグラムに示されるように、バー１１２（バー１１１より輝度値の大きい画素の平均値）と、バー１１３（バー１１１より輝度値の小さい画素の平均値）とが求められることになる。ここで得られる輝度値の大きい画素の平均値と、輝度値の小さい画素の平均値がそれぞれ、後述する値Yhと値Ylの初期値となる。
さらに、演算器９６と演算器９７のそれぞれ演算結果の値が演算器９８に供給され、その２つの値の平均値が演算される。ここで得られた平均値は、図中演算器９８の上部に示されるヒストグラムのバー１２１に対応する。
そして、演算器９９がこのヒストグラムをバー１２１で再度分割し、演算器１００と演算器１０１は、それぞれ、バー１２１より輝度値の大きい画素の平均値、バー１２１より輝度値の小さい画素の平均値を演算する。その結果、図中の演算器１００の上部のヒストグラムに示されるように、バー１３２（バー１２１より輝度値の大きい画素の平均値）と、バー１３３（バー１２１より輝度値の小さい画素の平均値）とが求められることになる。
さらに、演算器１００と演算器１０１のそれぞれ演算結果の値が演算器１０２に供給され、その２つの値の平均値が演算される。ここで得られる平均値が収束するまで上述した処理を繰り返し実行する。なお、ここで言う収束とは、例えば、演算器９８により演算される平均値と、演算器１０２により演算される平均値との差分絶対値が所定の閾値以下となることを意味する。
このような処理により収束した平均値を値Ymとし、値Ymより輝度値が大きい画素の平均値、すなわち画像の中の明るい領域の画素の平均値を値Yhとし、値Ymより輝度値が小さい画素の平均値、すなわち画像の中の暗い領域の画素の平均値を値Ylとして内部のメモリなどに記憶する。
なお、ここでは説明のため演算器９４乃至演算器１０２までの計算処理についてヒストグラムを生成すると説明したが、この計算は閾値を用いた平均値計算である。従って、実際には、演算器９４乃至演算器１０２のそれぞれはヒストグラムを生成せず、単に平均値の計算、または分割の処理を実行するものである。
以後、このようにして得られた値Yhが、画像の中の明るい領域の照明の平均強度ＬＡと等しいものとし、値Ylが、画像の中の暗い領域の照明の平均強度ＬＢと等しいものとする。
検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、制御ＭＰＵ６４において、画像のダイナミックレンジの広さＤＲが次のようにして求められる。
例えば、検波部６３に入力された信号の画像が図４のａに示されるような画像であり、その画像のヒストグラムが図４のｂに示されるようなものであったとする。なお、図４のｂは、横軸が画素の輝度値、縦軸が度数（画素数）とされ、図４のａの画像の画素の値のヒストグラムを表している。
検波部６３の処理を経ると、図４のａに示される画像は、図５のａに示されるように、画像の中の明るい領域Ａと暗い領域Ｂとに分割して検波値を求めることになる。そして、図５のｂのヒストグラムに示されるように、領域Ａの照明の平均強度ＬＡと領域Ｂの照明の平均強度ＬＢに基づいて、次式により画像のダイナミックレンジＤＲを得ることができる。
ＤＲ＝log2（Yh／Yl）
また、検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、制御ＭＰＵ６４において、画像の明るい領域と暗い領域のそれぞれの順応レベルが求められる。ここで順応レベルは、例えば、明るい領域または暗い領域において、各領域の照明強度に対応して適切に被写体の画像を得るための露出値の制御に用いられる係数とされる。
最初に、制御ＭＰＵ６４は、デフォルトの露出値EV0を、例えば次式の演算により取得する。
EV0＝−log2（２Ym）
あるいはまた、演算によらず撮像装置１０にあらかじめ設定された露出値などがデフォルトの露出値EV0として取得されるようにしてもよい。なお、デフォルトの露出値EV0は、撮像装置１０（カメラ）の標準露出値を表すものとなる。
露出値EV0が得られた後、制御ＭＰＵ６４は、撮像した画像をデフォルトの露出値の画像に変換するためのゲインｋ0を次式により演算する。
ｋ0＝２EV0
また、制御ＭＰＵ６４は、画像の明るい領域に完全順応した露出値EVhと、画像の暗い領域に完全順応した露出値EVlとを次式によりそれぞれ求める。
EVh＝−log2（２Yh）
EVl＝−log2（２Yl）
完全順応した露出値を用いて撮像を行うと、各領域の照明強度に対応して被写体を適切に表示する画像が得られる。例えば、露出値をEVhとして明るい領域に設置された被写体を撮像し、露出値をEVlとして暗い領域に設置された被写体を撮像した場合、被写体の反射率が同じであれば、どちらの画像においても被写体が同じ明るさで表示されることになる。
さらに、制御ＭＰＵ６４は、画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを次式により求める。
ｋA＝２EVh
ｋB＝２EVl
ゲインkAおよびゲインkBを用いれば、撮像した画像を、明るい領域に完全順応した露出値の画像および暗い領域に完全順応した露出値の画像に変換することができる。
しかしながら、画像の明るい領域と暗い領域にそれぞれ完全順応した画像を表示した場合、その画像のコントラストは、明るい領域と暗い領域とで全く差がないものとなり、不自然に感じられる。そこで、本実施の形態においては、順応レベルを用いてゲインkAおよびゲインkBを補正する。
順応レベルは、画像のダイナミックレンジに対応して定まる１以下の値とされ、例えば、ルックアップテーブル（LUT）として予め制御ＭＰＵ６４の内部に記憶されている。
図６は、順応レベルを特定するためのLUTの内容の例を示す図である。同図は、横軸がダイナミックレンジの値とされ、縦軸が順応レベルの値とされ、ダイナミックレンジの各値に対応する順応レベルが線２０１により示されている。
同図に示されるように、順応レベルは、画像のダイナミックレンジが大きいほど、すなわち、画像の明るい領域の照明の平均強度と画像の暗い領域の照明の平均強度との差が大きいほど、値が１に近づき、強い順応がかかるように設定されている。
ここで強い順応とは、より完全順応に近い状態の順応を意味している。
また、同図に示されるように、ダイナミックレンジの値が「４」より大きくなると、線２０１が水平となるように設定されている。すなわち、ダイナミックレンジがある程度以上大きくなると、それ以上順応がかからないように設定されている。
制御ＭＰＵ６４は、図６に示されるLUTにより特定された順応レベルAdlを用いて画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを、それぞれ次式により補正して補正後の画像の明るい領域の順応ゲインｋArおよび画像の暗い領域の順応ゲインｋBrを求める。
ｋAr＝２(EV0-Adl×(EVh-EV0))
ｋBr＝２(EV0-Adl×(EVl-EV0))
図７を参照してさらに詳細に説明する。
図７の画像２２０は、デフォルトの露出値EV0で撮像された画像とする。デフォルトの露出値EV0で撮像された画像においては、図中画像２２０の下に示されるグラフの線２４１により、入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになされている。
画像２２１は、画像２２０の明るい領域である領域Aに完全順応させた露出値EVhで撮像された画像とされる。露出値EVhで撮像された画像においては、図中画像２２１の上に示されるグラフの線２４２により、入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになされている。すなわち、線２４１により定まる値に対して完全順応ゲインkAが乗じられて輝度値（Y-out）が定まるようになされている。
換言すれば、画像２２１は、画像２２０の領域Aに対応させて一律に露出を下げたものであり、明るい領域に合わせて画像２２０の階調をグローバルに圧縮した画像である。また、明るい領域の中にあるオブジェクト（被写体の中の一部分）については、画像２２０において白くつぶれて（とんで）いた画素に適切な明るさが与えられることにより、オブジェクトの見えが改善された画像であるとも言える。
上述した補正後の画像の明るい領域の順応ゲインｋArを、線２４１により定まる値に対して乗じることにより、画像２２２の図中上のグラフの線２４３により入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになる。その結果、画像２２０のダイナミックレンジに応じて明るい領域に順応させた画像２２２が得られることになる。
画像２２３は、画像２２０の暗い領域である領域Ｂに完全順応させた露出値EVlで撮像された画像とされる。露出値EVlで撮像された画像においては、図中画像２２３の下に示されるグラフの線２４４により、入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになされている。すなわち、線２４１により定まる値に対して完全順応ゲインkBが乗じられて輝度値（Y-out）が定まるようになされている。
換言すれば、画像２２３は、画像２２０の領域Ｂに対応させて一律に露出を上げたものであり、暗い領域に合わせて画像２２０の階調をグローバルに圧縮した画像である。また、暗い領域の中にあるオブジェクトについては、画像２２０において黒くつぶれていた画素に適切な明るさが与えられることにより、オブジェクトの見えが改善された画像であるとも言える。
上述した補正後の画像の暗い領域の順応ゲインｋBrを、線２４１により定まる値に対して乗じることにより、画像２２４の図中下のグラフの線２４５により入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになる。その結果、画像２２０のダイナミックレンジに応じて暗い領域に順応させた画像２２４が得られることになる。
このように、図６に示されるLUTにより特定された順応レベルAdlを用いて順応ゲインを求めて、画像の各領域の照明の強度に応じた順応ゲインを乗じることにより、画像の明るい領域に対しても暗い領域に対しても適切な露出値が設定された画像を得ることができる。このようにして得られた画像は、全体としてのダイナミックレンジが圧縮されており、かつ画像の各領域のオブジェクトの見えが改善された画像であり、さらに、例えば、画像の明るいまたは領域と暗い領域に完全順応した画像の場合とは異なり、自然な印象の画像となる。このような、画像のダイナミックレンジの圧縮を、適宜、階調圧縮と称することにする。
撮像装置１０においては、検波部６３の処理結果に基づいて、制御MPU６４が上述した順応ゲインｋArと順応ゲインｋBrとを求めておき、後のディテール調整部６７の処理と、トーンカーブ処理部６８の処理において、順応ゲインｋArと順応ゲインｋBrとを用いた画像の階調圧縮が行われる。
すなわち、撮像装置１０においては、図６を参照して上述したように、画像のダイナミックレンジに基づいて特定された順応レベルAdlを用いて、画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを補正して順応ゲインｋArおよび順応ゲインｋBrを求める。そして、順応ゲインｋArおよび順応ゲインｋBrに基づいて、図２の補正ゲインLUT７２が生成される。なお、補正ゲインLUT７２については、図１７を参照して後述する。
また、検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、制御ＭＰＵ６４において、エッジ保存ＬＰＦ６５に供給する閾値εが求められる。
閾値εは、平均強度ＬＡと平均強度ＬＢに基づいて次式の演算により求められる。
ε＝Ｒ×｜ＬＡ − ＬＢ｜
ここで、Ｒはフィルタのエッジ保存の強さを調整する係数で固定値とされる。すなわち、図８に示されるようにεが特定される。図８は、撮像された画像のヒストグラムを表しており、図中縦軸が度数（画素数）、横軸が明るさ（例えば、輝度値）とされている。
エッジ保存ＬＰＦ６５は、非線形な平滑化フィルタであり、基準レベルから±εの範囲外の値の画素の値を、基準レベルに置き換えて平滑化するようになされている。このフィルタは、いわゆるεフィルタを改善したローパスフィルタである。図９のａと図９のｂを参照してこのローパスフィルタの動作について説明する。なお、図９のａと図９のｂは、それぞれ横軸が画素位置、縦軸が明るさの値とされ、各画素位置の画素の明るさの値を線３０１または線３０２により示したものである。
例えば、画像の画素の明るさの値が図９のａに示される線３０１で表される場合、エッジ保存ＬＰＦ６５は、例えば、点３１１でのフィルタの出力値を求める処理は、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値であって、例えば、点３１２で示される位置の画素の値を、一時的に点３１３の明るさに置き換えて、フィルタ窓の範囲の画素の平均値を計算することで平滑化する。その結果、図９のｂの点３１４で示される明るさの値に、画素位置の幅W内の画素の明るさの値が一律に設定されることになる。
そして、幅Wの位置を、画素毎にずらしながらこのような処理が繰り返され、明るい部分と暗い部分とに分けられるように画像が平滑化されていく。
このように動作するエッジ保存ＬＰＦ６５の処理を経ることにより、例えば、図１０のａに示される入力画像から図１０のｂに示される出力画像を得ることができる。図１０のａと図１０のｂは、それぞれ背景と黒い人影が撮像された画像であり、図１０のａの領域Ａ（背景）は明るい領域とされ、図１０のｂの領域Ｂ（人影）は暗い領域とされている。そして図１０のａの円３２１で示されるようにエッジ保存ＬＰＦ６５のフィルタの窓が設定されているものとし、図中星型で示した画素３２２がフィルタ中央値であって基準レベルの明るさの値を有する画素とされる。
このように、エッジ保存ＬＰＦ６５の処理を経て出力された図１０のｂに示される画像においては、背景の複雑な模様が消えているが、背景と人影との境界であるエッジは保存されている。すなわち、エッジ保存ＬＰＦ６５の処理を経ることにより、信号Ｙ’から高周波成分が排除され、領域ごとの照明成分を精度よく抜き出すことができる。
εフィルタにおいては、基準レベルとして、一般にフィルタ窓の中心にある一つの画素の値が使われるが、その場合、画像中の特異点が平滑化されなくなる問題がある。そこで、例えば、フィルタ窓の中心の画素と、その画素の周辺の予め定められた位置に配置された複数の画素の値の重み付き平均値を基準レベルとして動作するローパスフィルタを用いてエッジ保存ＬＰＦ６５を構成することとする。なお、フィルタ窓の中心の画素と、その画素の周辺の予め定められた位置に配置された複数の画素の値の単純な平均値などを基準レベルとしてもよい。
また、１つのεフィルタの処理では、平滑化できる周波数帯域に偏りがあるため、本実施の形態においては、閾値の値がそれぞれ異なる複数のローパスフィルタによる処理の結果得られる信号を合成して用いることとする。
図１１は、エッジ保存ＬＰＦ６５の詳細な構成例を示す図である。上述したように、エッジ保存LPF６５は、入力された信号Ｙ’の画像を元画像とし、元画像のディテール成分を除去し、元画像の照明成分のみを適切に抽出するローパスフィルタである。
エッジ保存ＬＰＦ６５に入力された信号Ｙ’の画像は、ダウンサンプラ３５１により間引かれ、より画素数の少ない画像とされてバッファ３５２に保持される。このように画素数を間引いてフィルタ処理を施すことでより高速な処理を実現できる。
このとき、例えば、図１２に示されるように、元画像の画素数が１６分の１に間引かれた画像が生成されて、図１３に示されるような画像がバッファ３５２に保持されることになる。この例では、元画像が、空を背景とした時計塔を被写体とした画像である。なお、ここでは、説明を簡単にするために、画素数が１６分の１に間引かれた画像が元画像より小さいサイズの画像として表されているが、ダウンサンプラ３５１の間引の処理により必ずしも画像のサイズが小さくなるわけではない。
バッファ３５２に保持された画像は、マルチスケールフィルタ３５３に供給される。マルチスケールフィルタ３５３は、超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２を有する構成とされる。大域エッジ保存LPF３６２は、例えば、フィルタ窓の大きさが、入力画像の短辺のピクセル数の２％乃至２０％のエッジ保存LPFとされる。ここで、入力画像の短辺とは、撮像素子のフォーマットが縦横方向に対して非対称である場合、画素数の少ない方の辺を表す。超大域エッジ保存LPF３６１は、例えば、フィルタ窓の大きさが、大域エッジ保存LPF３６２と比較して２倍乃至１０倍の大きさとなるように設定されたエッジ保存LPFとされる。
バッファ３５２から出力される信号は、超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２のそれぞれに供給され、それぞれのローパスフィルタの処理を経た信号が加算器３６３により合成されるようになされている。
マルチスケールフィルタ３５３の処理を経た信号の画像は、例えば、図１４に示されるような画像となってバッファ３５４に保存される。
図１４の画像においては、図１３の画像と比較して、時計塔の時計や壁の模様、また背景に含まれる雲などがマルチスケールフィルタ３５３の処理により除去されている。
バッファ３５４に保存された画像は、エッジ保存アップサンプラ３５６に供給される。エッジ保存アップサンプラ３５６は、信号Ｙ’から得られる元画像のエッジ情報に基づいてバッファ３５４に保存された画像の画素数を拡大するアップサンプラとされる。すなわち、エッジ保存アップサンプラ３５６は、ダウンサンプラ３５１により間引かれて画素数の少なくなった画像を元の画素数の画像に戻すようになされている。
このとき、例えば、図１５に示されるように、バッファ３５４に保存された画像の画素数が１６倍に拡大された画像が生成されることになる。図１５に示される画像には、被写体である時計塔が暗いオブジェクトとして表示されており、背景である空が明るいオブジェクトとして表示されている。すなわち、時計塔や空の中の細かな模様は除去されて、暗い部分と明るい部分により構成された画像となっている。このような画像を、本実施の形態においては、元画像の照明成分と称する。
また、本実施の形態においては、エッジ保存アップサンプラ３５６において、画像の画素数を増やすとき、エッジのなまりが除去されるようになされている。
図１６を参照してエッジ保存アップサンプラの処理の詳細について説明する。
元画像の画素数が１６分の１に間引かれた画像の画素数を単純に１６倍に拡大すると（単純拡大すると）、画像の暗い部分と明るい部分との境界であるエッジが、画像３８１に示されるようにぼやけた状態の画像となる。画像３８１の右側には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８３により画像３８１の各画素の明るさを表したグラフが示されている。
線３８３は、本来長方形に近い形状を有するものとなるべきものであるが、単純拡大されたことにより台形に近い形状となっている。すなわち、単純拡大されたことによって、本来画素の明るさが急峻に変化すべきものが、緩やかに変化している。このように、画像の中でエッジがはっきり表示されなくなることがエッジのなまりとなる。
そこで、本実施の形態においては、単純拡大されてエッジがなまった画像と元画像との差分を抽出し、抽出された差分の信号にエッジのなまりを除去する処理を施して元画像に合成する。
元画像３８２の右側には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８４により元画像３８２の各画素の明るさを表したグラフが示されている。線３８４に示される元画像は、エッジのなまりはないが、マルチスケールフィルタ３５３の処理を経ていないので、ディテール成分が含まれている。この例では、線３８４の領域３８４ａに含まれる細かい振幅がディテール成分とされる。
線３８３で示される信号と、線３８４で示される信号との差分を抽出することにより得られる信号の画像は、画像３８５のようになる。画像３８５の下には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８６により画像３８５の各画素の明るさを表したグラフが示されている。線３８６で示される信号は、画像３８１のエッジのなまり成分と、元画像３８２のディテール成分を含んだ信号となる。
そこでエッジ保存アップサンプラでは、線３８６で示される信号に、線３８７で示される特性を有するゲインをかけてなまり成分を除去する。線３８７は、横軸を入力、縦軸を出力とし、入力信号の値に応じて出力信号の値を変化させるゲインの特性を表している。線３８７は、いわゆるＳ字関数の特性を有している。
信号に含まれる元画像３８２のディテール成分と、画像３８１のエッジのなまり成分とを比べると、画像３８１のエッジのなまり成分による振幅の方が大きいものとなる。このため、線３８６で示される信号をＳ字関数で処理することによって、画像３８８で示されるような、なまり成分を減らした画像を得ることができる。なお、ここで用いるＳ字関数は固定値でもよいが、例えば、エッジの存在確率が高い部分でＳ字特性が強くなるように変調を行うと、より効果的にエッジが復元できる。
画像３８８の下には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８９により画像３８８の各画素の明るさを表したグラフが示されている。線３８９で示される信号においては、線３８６で示される信号の場合と比較して、エッジのなまり成分による振幅が小さくなっている。
このように、エッジのなまり成分を減らした後に、その信号（線３８９で示される信号）を、元画像３８２の信号（線３８４で示される信号）に合成することで、拡大画像である画像３９１が得られる。画像３９１の下には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３９２により画像３９１の各画素の明るさを表したグラフが示されている。線３９２で示される信号においては、線３８３で示される信号とは異なりエッジのなまりがなく、かつ、線３８４で示される信号とは異なりディテール成分による細かな振幅が含まれていない。
すなわち、画像３９１は、単純拡大した画像３８１とは異なり、画像の中でエッジがはっきり表示され、かつ画像の照明成分のみが抽出された画像とされている。
なお、アップサンプルの処理としては、上述した本実施の形態による方式の他、「J.Kopf and M.Cohen and D.Lischinski and M.Uyttendaele, ” Joint Bilateral Upsampling”, Proc. SIGGRAPH 07, 2007」の方式を用いて実現することも可能であるが、上述した本実施の形態による方式を用いた方が、より効率的かつより高精度なアップサンプルの処理を実現することができる。
このように本実施の形態によれば、エッジのなまりがないようにして画像の照明成分とディテール成分を抽出することができる。また、エッジ保存LPF６５のフィルタ処理のパラメータ（閾値など）は、画像のダイナミックレンジに応じて自動的に決まるので、例えば、ユーザに操作負担を強いることもない。
また、本実施の形態では、上述したように、ダウンサンプラ３５１により間引かれて画素数の少なくなった画像に対してマルチスケールフィルタ３５３による処理を施し、その後、エッジ保存アップサンプラ３５６により元の画素数の画像に戻すようにしたので、フィルタ処理に要する時間とコストを大幅に低減することが可能となる。
上述のように、信号Ｙ’をエッジ保存LPF６５で処理することにより、信号Ｙ’の画像の照明成分の信号Ｙ’lpが得られる。照明成分の信号Ｙ’lpは、ディテール抽出部６６、ディテール調整部６７、およびトーンカーブ処理部６８に供給される。
ディテール抽出部６６においては、信号Ｙ’と照明成分の信号Ｙ’lpとの差分を演算することにより、信号Ｙ’の画像のディテール成分の信号Ｙ’deが抽出され、ディテール成分の信号Ｙ’deは、ディテール調整部６７に供給される。この後、信号Ｙ’の照明成分は、トーンカーブ処理部６８で階調圧縮され、信号Ｙ’の画像のディテール成分は、ディテール調整部６７で階調圧縮される。ただし、ディテール調整部６７による階調圧縮は、実際には画像のダイナミックレンジの圧縮を目的とするものではなく、画像のディテールの見えの改善を目的とするものである。
ディテール調整部６７は、補正ゲインLUT７２に基づいて得られるゲインを、ディテール成分の信号Ｙ’deに乗じることにより、画像のディテール成分の補正の処理を行うようになされている。
図１７に、補正ゲインLUTの例を示す。補正ゲインLUT７２は、照明強度とゲインの値を対応づけたテーブルとされ、この例では、線４１１により照明強度に対応するゲインの値が規定されている。線４１１は、照明成分の信号Ｙ’lpの値を照明強度として用い、照明強度が０のときにＤｅｔａｉｌＧａｉｎ（０）＝ｋＢrとなり、照明強度が上限値Ｙ’supとなる場合にＤｅｔａｉｌＧａｉｎ（Ｙ’sup）＝ｋＡrとなるように、ゲインの境界条件を、単調減少の条件を満たす滑らかな曲線で補間して得られる特性を有するようになされている。ただし、ゲインの値が１未満になると、信号が飽和した領域で画像が破綻するため、ゲインの値が常に１以上になるように制限をかける。
図１７に示される補正ゲインLUT７２は、制御MPU６４が、検波部６３の処理に伴って予め求めておいた順応ゲインｋArおよび順応ゲインｋBrに基づいて設定するようになされている。
このようにして得られた信号に基づいて得られる画像おいては、明るい領域、または暗い領域の中にあるそれぞれのオブジェクトについて、白くつぶれたり黒くつぶれたりする画素が少なくなり、個々の画素の明るさの違いが適切に認識されるようにディテール成分（オブジェクト）の見えが改善された画像となる。
また、このように、補正ゲインLUT７２に予めゲインを記憶させておくようにすれば、例えば、LUTのデータを一部書き換えるだけで階調圧縮の度合いなどを容易に調整することができる。
トーンカーブ処理部６８においては、照明成分の信号Ｙ’lpの値に対応してトーンカーブとして定まるゲインの値を照明成分の信号Ｙ’lpに乗じることにより、照明成分の信号Ｙ’lpの階調圧縮が行われる。このトーンカーブは、補正ゲインLUT７２と連動して定まるものとされ、例えば、次式により得られる値がゲインの値とされる。
ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）＝Ｙ’ＬＰ×ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）
ここで、ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）は、補正ゲインLUT７２に基づいて得られたゲインの値とされ、ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）がトーンカーブ処理部６８で用いられるゲインの値とされる。
このようにすることで、人間の目の順応の強さを考慮したダイナミックレンジの圧縮（階調圧縮）を行うことができる。
また、例えば、撮像装置１０の画作りのパラメータとしてトーンカーブ処理部６８の処理を利用する場合には、あえて補正ゲインLUT７２と連動させずに、例えば装置の設計者が自由に代表値のセットを設定するようにしてもよい。この場合には、例えば、検波部６３の処理の結果に基づいて代表値を選ぶようにすればよい。ただし、この場合でも、信号が飽和した領域での破綻を防ぐために、ＴｏｎｅＣｕｒｖｅ（Ｙ’ＬＰ）／Ｙ’ＬＰが常に１以上になるように制限する必要がある。
このように画作りのパラメータとしてトーンカーブ処理部６８の処理を利用する場合には、例えば、照明成分については、各領域の順応レベルから独立して階調圧縮のためのトーンカーブを設定することができ、自由な画質設計が可能になる。
ディテール調整部６７とトーンカーブ処理部６８の処理を経た信号は、加算器６９により合成されて、信号Ｙ’outとしてRGB変調部７１に供給される。RGB変調部７１には、ＲＧＢ信号に対してノイズリダクション（ＮＲ）処理を施してＲＧＢNR信号も供給されるようになされている。
一般に、NR処理では、ISO感度に基づいてノイズ強度が設定されて、ノイズを除去する処理が施されることになるが、階調圧縮を行った場合、出力画像のノイズの見えは、ゲインの影響を受ける。
例えば、図１８に示される、ISO感度ｓで撮像された画像４３１に対してノイズリダクションの処理４３２を施して、さらに階調圧縮の処理４３３を施す場合、階調圧縮の処理に伴って、画像４３１の明るい領域Ａの画素の値にはゲインｋArが乗じられ、画像４３１の暗い領域Bの画素の値にはゲインｋBrが乗じられることになる。
従って、ノイズリダクションの処理４３２によりノイズを除去した画像に対して階調圧縮の処理４３３が施す際に、領域Aと領域Bのゲインにより再びノイズが強調されてしまうことがある。そこで、本実施の形態においては、ノイズリダクションの処理４３２においては、画像４３１の領域Ａの画素については、ISO感度を（ｋAr×ｓ）としてノイズ強度を設定し、画像４３１の領域Ｂの画素について、ISO感度を（ｋBr×ｓ）としてノイズ強度を設定して適切にノイズを除去するようになされている。具体的には、以下に述べるように、補正ゲインLUT７２に基づいて定まるゲインに対応するNR処理の閾値を設定することで適切にノイズを除去する。
ＮＲ処理では、画素ごとにεフィルタの閾値εＮＲを調整して、入力信号よりノイズ成分を取り除くようになされている。閾値εＮＲは、ノイズの標準偏差σに基づいて定まる値であり、ノイズ信号の標準偏差σは、画素の電荷ｘとＩＳＯ感度ｓが決まると、関数σ＝ｆｓ（ｘ）で求められる。なお、画素の電荷ｘに対応してその画素の輝度値が定まることになる。
図１９は、縦軸がノイズの標準偏差σ、横軸が画素の電子数ｘとされ、上述した関数の例を示す図である。同図においては、高感度ゲインの場合の関数と、標準ゲインの場合の関数が例として示されている。
また、ＮＲ処理では、閾値εＮＲの値を算出するにあたり、例えば、装置の設計者が設定した画作り要素が加味される。ＩＳＯ感度ｓでの画作り要素をｇ（ｘ，ｓ）とすると、ＮＲ処理の閾値はεＮＲ＝ｇ（ｘ，ｓ）×ｆｓ（ｘ）で計算される。
図２０は、縦軸が画作り要素ｇ、横軸が画素の電子数ｘとされ、上述した関数ｇ（ｘ，ｓ）の例を示す図である。この例では、高感度ゲインの場合の関数と、標準ゲインの場合の関数が例として示されている。
本実施の形態においては、ゲインの影響を反映させた閾値εＮＲｍｏｄを次式により求めて、その閾値εＮＲｍｏｄを用いてNR処理部７０によりNR処理が行われる。
εＮＲｍｏｄ＝ｇ（Ｇａｉｎ×ｘ， Ｇａｉｎ×ｓ）／Ｇａｉｎ×ｆｓ（ｘ）
ここで、変数Ｇａｉｎは、補正ゲインLUT７２に基づいて定まるゲインの値とされる。
このようにすることで、画像の中のどの領域においても、ゲインが乗じられることを考慮した最適なＮＲ処理を行うことができる。
NR処理部７０は、上述したようにして定まる閾値εＮＲｍｏｄを用いてRGB信号に対してNR処理を行い、出力信号として信号ＲＧＢNRを生成して、RGB変調部７１に供給する。
RGB変調部７１は、加算器６９から供給される信号に基づいて、NR処理部７０から供給される信号ＲＧＢNRを変調することにより、階調圧縮部３４の処理結果の信号として、次式により得られる信号ＲＧＢNRoutを出力する。
ＲＧＢNRout＝（Ｙout／Ｙ）×ＲＧＢNR
ここで、信号Ｙoutと信号Ｙは、それぞれ信号Ｙ’outと信号Ｙ’に対して、知覚均等化部６２によりなされた非線形変換処理の逆変換処理により生成されたリニアな信号である。すなわち、階調圧縮部３４に入力された画像のRGB信号は、輝度信号生成部６１により明るさを表す信号Yに変換され、画像の階調圧縮の処理は信号Yに基づいて行われる。そして、階調圧縮された画像は、再びRGB信号（信号RGBNRout）とされて階調圧縮部３４から出力されていく。
次に、図２１のフローチャートを参照して、撮像装置１０による撮像処理について説明する。
ステップＳ１１において、撮像装置１０は、準備撮像を行う。この準備撮像は、記録すべき画像の撮像である本撮像を行うのに先立って、撮像装置１０の各種のパラメータの設定などを行うために行われるものである。
ステップＳ１２において、撮像装置１０は、ステップＳ１１の処理により、図１のCCD３１から出力される信号を、ホワイトバランス部３２の処理を経て、デモザイク部３３によりRGB信号に変換することでRGB信号を生成して階調圧縮部３４に出力する。
ステップＳ１３において、図２の輝度信号生成部６１は、階調圧縮部３４に入力されたRGB信号から物体の反射率を考慮した明るさを表す信号Ｙを抽出する。なお、このとき、知覚均等化部６２において、この後行われる検波処理やフィルタ処理において、人間の視覚に合った信号処理を行うために、信号Ｙを非線形変換して知覚均等な明るさ信号Ｙ’が生成される。
ステップＳ１４において、検波部６３は、図２２を参照して後述する検波処理を実行する。これにより、検波部６３が信号Ｙ’に対して検波処理を行う。
ここで、図２２のフローチャートを参照して図２１のステップＳ１４の検波処理の詳細について説明する。
ステップＳ４１において、検波部６３は、入力信号（信号Ｙ’）に対してローパスフィルタ処理をする。これにより、画像の中で周波数が所定の値より高い成分が除去されることになる。
ステップＳ４２において、検波部６３は、平均値Ymを演算し領域を分割する。ステップＳ４３において、検波部６３は、各領域の平均値Yh、および平均値Ylを求めて再度平均値Ymを求める。
ステップＳ４４において、検波部６３は、値Ymが収束したか否かを判定し、値Ymが収束したと判定されるまで、ステップＳ４２乃至ステップＳ４４の処理を繰り返し実行する。
これらの処理は、図３を参照して上述したように行われる。
ステップＳ４４において、値Ymが収束したと判定された場合、処理はステップＳ４５に進む。
ステップＳ４５において、検波部６３は、露出のパラメータを仮決定する。
このようにして、検波処理が実行される。
図２１に戻って、ステップＳ１４の処理の後、ステップＳ１５において、制御MPU６４は、飽和レベル以上の値を持つ画素の数をカウントし、その画素の数に基づいて、撮像露出が適正か否かを判定する。
ステップＳ１５において、露出が適正ではないと判定された場合、処理はステップＳ１１に戻り、制御MPU６４により、例えば、露出を下げるように撮像装置１０が制御されて再度準備撮像が行われる。
ステップＳ１５において、露出が適正であると判定された場合、処理は、ステップＳ１６に進む。
ステップＳ１６において、制御MPU６４は、順応ゲインｋAr、順応ゲインｋBrなど露出に関するパラメータを、最終的に決定する。このとき、エッジ保存LPF６５に供給される閾値εもパラメータとして設定される。またこのとき、例えば、ステップＳ１４の検波処理により求められた平均値Yhに基づいて得られる露出値EVhをデフォルトの露出値として新たに設定してもよい。明るい領域に対応させた露出値により画像を撮像するようにすれば、画像に含まれるノイズが著しく強調されてしまうことを抑止することができるからである。この場合、順応ゲインｋAr、順応ゲインｋBrも新たに求めなおして露出に関するパラメータを最終的に決定する。
また、順応ゲインｋAr、および順応ゲインｋBrが得られたことにより、制御MPU６４は、このとき補正ゲインLUT７２の設定を行い、例えば、照明強度の値とゲインの値とを対応付ける図１７の線４１１が具体的に生成される。
ステップＳ１７において、撮像装置１０は本撮像を行う。これにより、CCD３１から出力される信号が、ホワイトバランス部３２の処理を経て、デモザイク部３３によりRGB信号に変換されることでRGB信号を生成され、そのRGB信号が階調圧縮部３４に出力される。
ステップＳ１８において、階調圧縮部３４は、図２３のフローチャートを参照して後述する階調圧縮処理を実行する。
ステップＳ１９において、撮像装置１０は、各種の所定の信号処理を行う。この処理は、図１のリニアマトリクス部３５、RGBγ補正部３６、BT.601行列部３７、Ｙγ補正部３８、および色差マトリクス部３９による処理に対応する。
ステップＳ２０において、デバイス色域圧縮部４０は、例えば、出力デバイスの色域に合わせた色域圧縮の処理を行う。上述したように、本実施の形態においては、階調圧縮処理（ステップＳ１８）が施された後で、色域圧縮処理が行われるので、色の階調の一部が失われてのっぺりした画質となってしまうことや色味のずれなどが発生することを抑止することができる。
そして、ステップＳ２１において、デバイス色域圧縮部４０から出力された画像データが保存ファイル４１に保存される。
このようにして撮像処理が行われる。
次に、図２３のフローチャートを参照して、図２１のステップＳ１８の階調圧縮処理の詳細について説明する。
ステップＳ６１において、図２４を参照して後述するエッジ保存LPF６５による処理が実行される。
ここで、図２４のフローチャートを参照して、図２３のステップＳ６１のエッジ保存ローパスフィルタ処理の詳細について説明する。
ステップＳ８１において、ダウンサンプラ３５１は、エッジ保存ＬＰＦ６５に入力された信号Ｙ’の画像の画素を間引いて、より画素数の少ない間引き画像としてバッファ３５２に保持させる。このとき、例えば、図１２に示されるように、元画像の画素数が１６分の１に間引かれた画像が生成されて、図１３に示されるような画像がバッファ３５２に保持されることになる。
ステップＳ８２とステップＳ８３において、バッファ３５２に保持された画像は、マルチスケールフィルタ３５３に供給されて、超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２のそれぞれによる処理が施される。そして、ステップＳ８４において、それぞれのローパスフィルタの処理を経た信号が加算器３６３により合成され、バッファ３５４に保存される。
ステップＳ８５において、バッファ３５４に保存された画像が、エッジ保存アップサンプラ３５６に供給され、エッジ保存アップサンプラの処理が施される。このとき、例えば、図１６を参照して上述したように、単純拡大されてエッジがなまった画像と元画像との差分を抽出し、抽出された差分の信号にエッジのなまりを除去する処理を施して元画像に合成することで、拡大画像が得られる。
このようにして、エッジ保存ローパスフィルタ処理が行われる。
図２３に戻って、ステップＳ６１の処理の後、ステップＳ６２において、ディテール抽出部６６は、信号Ｙ’と照明成分の信号Ｙ’lpとの差分を演算することにより、信号Ｙ’の画像のディテール成分の信号Ｙ’deを抽出し、ディテール調整部６７に供給する。
ステップＳ６３において、ディテール調整部６７は、補正ゲインLUT７２に基づいてゲインを設定する。このとき、図１７を参照して上述したように、照明成分の信号Ｙ’lpの値に基づいてゲインが設定されることになる。
ステップＳ６４において、ディテール調整部６７は、ステップＳ６３の処理により設定されたゲインを、ディテール成分の信号Ｙ’deに乗じることにより、画像のディテール成分の補正の処理を行う。
ステップＳ６５において、NR処理部７０は、上述したようにゲインの影響を反映させた閾値εＮＲｍｏｄを求めて、その閾値εＮＲｍｏｄに基づいてノイズパラメータを設定する。
ステップＳ６６において、ステップＳ６５の処理により設定されたノイズパラメータに基づくNR処理が行われる。このとき、出力信号として信号ＲＧＢNRがRGB変調部７１に供給される。
ステップＳ６７において、トーンカーブ処理部６８は、照明成分の信号Ｙ’lpの値に対応してトーンカーブとして定まるゲインの値を照明成分の信号Ｙ’lpに乗じることにより、照明成分の信号Ｙ’lpの階調圧縮を行なう。
ステップＳ６８において、加算器６９は、ステップＳ６４の処理によりディテール調整部６７から出力される信号と、ステップＳ６７の処理によりトーンカーブ処理部６８から出力される信号を合成し、信号Ｙ’outとしてRGB変調部７１に供給する。
ステップＳ６９において、RGB変調部７１は、ステップＳ６８の処理で加算器６９から供給される信号に基づいて、NR処理部７０から供給される信号ＲＧＢNRを変調する。
そして、ステップＳ７０において、ステップＳ６９の処理の処理結果の信号であって、階調圧縮部３４の処理結果の信号として、信号ＲＧＢNRoutが出力される。
このようにして、階調圧縮処理が実行される。このようにすることで、入力信号のコントラストが適度に圧縮され、かつ明るい領域でも暗い領域でもディテール感に富んだ画像を得ることができる。
また、例えば、トーンカーブ処理部６８による処理を行わず、ディテール調整部６７の処理によりディテール成分のみを強調するようにすれば、入力画像のコントラストを保ったまま、画像の領域ごとの見えを改善するようにすることも可能である。
ところで、従来のデジタルスチルカメラなどの信号処理では、RAW信号（イメージャの出力信号）の高輝度部分の階調カーブを調整することで、ある程度グローバルな階調圧縮を施し、それにあわせて撮像露出が決まるようになされている。この上に、さらに別の階調圧縮の処理が入ると、撮像露出の設定値と階調カーブの関係が崩れてしまい、想定通りの画像を生成できなくなり、また、ノイズリダクションの効果が期待通りに出ずに、ノイズ感を悪化させてしまう。例えば、RAW信号の高輝度部分の階調カーブを調整することで、ある程度グローバルな階調圧縮処理を行うことが可能なデジタルスチルカメラなどの撮像装置に本発明を適用する場合、通常のカメラ信号処理と、本実施の形態の処理とを、例えば、次のように連動させると効率的である。
従来のカメラ信号処理では、入力信号のダイナミックレンジを表す値ＤＲＩＮに応じて、RGB信号と信号Y（輝度信号）に対してγ処理を施すことで画像の高輝度領域をニー圧縮してダイナミックレンジを圧縮する。
図２５は、従来の階調圧縮処理におけるRGBγ補正の例を示す図である。同図に示されるように、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおける被写体輝度に対応する補正後のRGB信号の出力値（RGBout）の特性が、それぞれ線５０１乃至線５０３で示されている。
図２６は、従来の階調圧縮処理におけるYγ補正の例を示す図である。同図に示されるように、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおける被写体輝度に対応する補正後の信号Yの出力値（Yout）の特性が、それぞれ線５１１乃至線５１３で示されている。
このような信号の補正は、例えば、カメラの内部のメモリなどに記憶されている、RGBγテーブルとYγテーブルに基づいて行われる。
RAW信号を現像する際に高輝度部分の階調カーブを調整することでグローバルな階調圧縮処理を行うことが可能なデジタルスチルカメラなどにおいては、図２５と図２６に示されるように入力信号が自動的に補正されてしまう。
図１乃至図２４を参照して上述した処理を、RAW信号を現像する際に高輝度部分の階調カーブを調整することでグローバルな階調圧縮処理を行うことが可能なデジタルスチルカメラなどに追加する場合、すなわち、例えば、図２１のステップＳ１９の処理で、図２５と図２６に示されるように入力信号が補正されるデジタルスチルカメラに本発明を適用する場合には、ダイナミックレンジを（ｋＢr／ｋＡr）×ＤＲＩＮとしてRGBγテーブルとYγテーブルを設定するようにすればよい。
これは、図２１のステップＳ１８の処理により入力画像のダイナミックレンジＤＲＩＮがｋＢｒ／ｋＡｒ倍だけ圧縮されているからである。
図２７と図２８は、ダイナミックレンジを（ｋＢｒ／ｋＡｒ）×ＤＲＩＮとして設定されたRGBγテーブルとYγテーブルの例を示す図である。
図２７は、横軸がRGB信号の入力値（RGBin）、縦軸がRGB信号の出力値（RGBout）とされ、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおけるRGB信号の入力値に対応する補正後のRGB信号の出力値の特性が、それぞれ線５２１乃至線５２３で示されている。
図２８は、横軸が信号Yの入力値（Yin）、縦軸が信号Yの出力値（Yout）とされ、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおける信号Yの入力値に対応する補正後の信号Yの出力値の特性が、それぞれ線５３１乃至線５３３で示されている。
このようにRGBγテーブルとYγテーブルを、順応ゲインｋＢrおよび順応ゲインｋＡrに基づいて再設定（補正）するようにすれば、例えば、従来のデジタルスチルカメラなどの構成を大幅に変更することなく、本発明を適用することが可能である。
このように、RGBγテーブルとYγテーブルを補正する場合、例えば、階調圧縮部３４から順応ゲインｋＢrおよび順応ゲインｋＡrを表す信号が、撮像装置１０の図示せぬバスなどを解してRGBγ補正部３６とYγ補正部３８に供給され、RGBγ補正部３６とYγ補正部３８において、それぞれRGBγテーブルとYγテーブルが補正されるようにすればよい。
ところで、上述したように、トーンカーブ処理部６８では、照明成分の信号Ｙ’lpの値に対応してトーンカーブとして定まるゲインの値を照明成分の信号Ｙ’lpに乗じることにより、照明成分の信号Ｙ’lpの階調圧縮が行われ、このトーンカーブは、補正ゲインLUT７２と連動して定まる。
いま、トーンカーブにおいて、例えば装置の設計者が自由に代表値のセットを設定するなどしないものとし、加算器６９で合成されて生成される信号の値をY’outとすると、次式が成立する。
Y’out＝ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）＋ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）×Ｙ’de
＝Ｙ’lp×ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＋ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）×Ｙ’de
＝ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）×（Ｙ’lp＋Ｙ’de）
すなわち、トーンカーブ処理部６８のトーンカーブを、補正ゲインLUT７２と完全に連動させてしまえば、加算器６９で合成されて生成される信号は、元画像である信号Ｙ’（＝Ｙ’lp＋Ｙ’de）に対して、単に補正ゲインLUT７２により定まるゲイン（ＤｅｔａｉｌＧａｉｎ（Ｙ’lp））を乗じたものとなる。
トーンカーブ処理部６８のトーンカーブを、補正ゲインLUT７２と完全に連動させてしまうことで、例えば、トーンカーブ処理部６８とディテール調整部６７とを共通化して、装置の構成をより簡略化することができる。
図２を参照して上述した構成の階調圧縮部３４による階調圧縮処理を行う場合、画像の照明成分とディテール成分に乗じられるゲインがそれぞれ異なる。すなわち、照明成分の階調圧縮により得られる信号の特性が図２９に示される線５５２で表されるものであったとすると、ディテール成分の階調圧縮により得られる信号の特性は、図２９の点線５５１で表されるものとなる。
図２９は、横軸が照明成分の信号Ｙ’lpの入力値Ｙ’lpinとされ、縦軸が階調圧縮されて出力される照明成分の信号Ｙ’lpの出力値Ｙ’lpoutとされる。仮に、ディテール成分の信号の入力値を横軸にとり、階調圧縮されて出力されるディテール成分の信号の出力値を縦軸にとって、図２９に重ねて示すと、点線５５１で表される特性が得られる。
トーンカーブ処理部６８のトーンカーブを、補正ゲインLUT７２と完全に連動させてしまうということは、本来点線５１１で表されるディテール成分の信号の出力値の特性が、図２９の線５５２で示される特性と同様のものになるということである。
図３０は、図１の階調圧縮部３４の詳細構成の別の例を示す図であって、階調圧縮部３４の構成を、図２の場合より簡略化する場合の例を示す図である。
同図において、輝度信号生成部６１乃至エッジ保存LPF６５は、それぞれ図２を参照して上述したものと同様なので詳細な説明は省略する。
図３０においては、図２の場合と異なり、ディテール調整部６７、トーンカーブ処理部６８、および加算器６９が設けられておらず、ゲイン処理部７３が設けられている。ゲイン処理部７３は、内部に、補正ゲインLUT７２と同様のLUTを有する構成とされ、エッジ保存LPF６５から出力される照明成分の信号Ｙ’lpに対応するゲインをLUTに基づいて特定し、NR処理部７０とRGB変調部７１に出力するようになされている。
図３０の例では、ゲイン処理部７３の出力信号（すなわちゲインの値）がNR処理部７０に供給され、NR処理部７０は、上述したようにして定まる閾値εＮＲｍｏｄを用いてRGB信号に対してNR処理を行い、出力信号として信号ＲＧＢNRを生成して、RGB変調部７１に供給する。
RGB変調部７１は、ゲイン処理部７３から供給されたゲインの値をRGB信号に乗じるとともに、NR処理部７０から供給される信号ＲＧＢNRを変調することにより、階調圧縮部３４の処理結果の信号として、次式により得られる信号ＲＧＢNRoutを出力する。図３０の例では、信号ＲＧＢNRoutは、次式により表されることになる。
ＲＧＢNRout＝｛ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）｝1/γ×ＲＧＢNR
ここで、｛ ｝1/γは、ノンリニアからリニアへの変換をあらわしている。
次に、図３０に示されるように、階調圧縮部３４を構成した場合の階調圧縮処理の例を、図３１のフローチャートを参照して説明する。
ステップＳ１０１において、エッジ保存LPF６５による処理が実行される。この処理は、図２４のフローチャートを参照して上述した処理と同様なので、詳細な説明は省略する。
ステップＳ１０２において、ゲイン処理部７３は、内部のLUTに基づいてゲインを設定する。このとき、図１７を参照して上述したように、照明成分の信号Ｙ’lpの値に基づいてゲインが設定されることになる。
ステップＳ１０３において、NR処理部７０は、上述したようにゲインの影響を反映させた閾値εＮＲｍｏｄを求めて、その閾値εＮＲｍｏｄに基づいてノイズパラメータを設定する。
ステップＳ１０４において、ステップＳ１０３の処理により設定されたノイズパラメータに基づくNR処理が行われる。このとき、出力信号として信号ＲＧＢNRがRGB変調部７１に供給される。
ステップＳ１０５において、RGB変調部７１は、ステップＳ１０２の処理で設定されたゲインの値をRGB信号（すなわち照明成分の信号Ｙ’lp＋ディテール成分の信号Ｙ’de）に乗じることにより階調圧縮を行なう。
ステップＳ１０６において、RGB変調部７１は、ゲイン処理部７３から供給される信号に基づいて、NR処理部７０から供給される信号ＲＧＢNRを変調する。
そして、ステップＳ１０７において、階調圧縮部３４の処理結果の信号として、信号ＲＧＢNRoutが出力される。
このようにして、階調圧縮処理が実行される。このようにすることで、入力信号のコントラストが適度に圧縮され、階調全域でディテール感に富んだ画像を得ることができ、かつ、図２３の場合と比較して処理を簡略化することができる。
また、本実施の形態を用いれば、例えば、従来のRGBトーンカーブ処理により得られる画像の画質を改善することができる。例えば、従来のRGBトーンカーブ処理では、グローバルな階調圧縮を行うことによるディテールが喪失したり、ＲＧＢ信号の非線形処理による色ずれが生じて画質が劣化したりすることがある。
例えば、本実施の形態のエッジ保存LPF６５とディテール抽出部６６を用いて画像の照明成分とディテール成分を抽出する。そして、従来のＲＧＢトーンカーブ処理において予め定められているトーンカーブに基づいて、画像のディテール成分と照明成分のそれぞれに対して異なるトーンカーブ処理（階調の補正）を施すローカルな処理を行うことにより、従来のＲＧＢトーンカーブ処理の場合と比較して、より画質の高い画像を得ることができる。
この場合、従来のＲＧＢトーンカーブ処理において与えられた予め定められたトーンカーブのゲインの値をＵｓｅｒＴｏｎｅＣｕｒｖｅ（Ｙ’）とし、ディテール成分に対して乗じられるゲインＤｅｔａｉｌＧａｉｎ（Ｙ’lp）の値を次式により求めるようにすればよい。
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝ＵｓｅｒＴｏｎｅＣｕｒｖｅ（Ｙ’lp）／Ｙ’lp
そして、照明成分に対して乗じられるゲインＴｏｎｅＣｕｒｖｅ（Ｙ’lp）は、次式により求めるようにすればよい。
ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）＝ＵｓｅｒＴｏｎｅＣｕｒｖｅ（Ｙ’lp）
このようにすることで、トーンカーブ処理により得られる画像の画質を、簡単に改善することができる。
また、図１において、デモザイク部３３によりモザイク画像を、RGB信号に変換（デモザイク）して階調圧縮部３４に出力すると説明したが、モザイク画像の信号であるベイヤーＲＡＷ信号をそのまま階調圧縮部３４に出力するようにしてもよい。
この場合、階調圧縮部３４の輝度信号生成部６１が、信号Ｙを生成するときに、ベイヤーＲＡＷ信号を補間したＲＧＢ信号を用いるようにし、NR処理部７０が、ベイヤーＲＡＷ信号に対するＮＲ処理を施すようにする。そして、RGB変調部７１がＲＧＢ信号を変調する変わりに、ベイヤーＲＡＷ信号を変調するようにすればよい。
ベイヤーＲＡＷ信号をそのまま階調圧縮部３４に出力する場合、撮像装置１０の構成は、図３２に示されるようになる。図３２において、図１に対応する各部には同一の符号が付されている。図３２の例では、階調圧縮部３４が、ホワイトバランス部３２と、デモザイク部３３との間に配置されている。その他の部分は、図１の場合と同様である。
また、撮像装置１０を図３３に示されるように構成してもよい。図３３において、図１に対応する各部には同一の符号が付されている。図３３の例では、階調圧縮部３４が、リニアマトリクス部３５と、RGBγ補正部３６との間に配置されている。その他の部分は、図１の場合と同様である。
さらに、撮像装置１０をγ補正処理後に階調圧縮をするように構成することも可能である。この場合、階調圧縮処理を施す前に、理想的なsRGBγ補正処理を行って、その後、階調圧縮処理を行うようにする。そして階調圧縮処理の後、γの画作りやニー圧縮の成分をRGBΔγ補正部により補正するように構成する。
図３４は、γ補正処理後に階調圧縮をするようにした場合の撮像装置１０の構成例を示す図である。図３４において、図１に対応する各部には同一の符号が付されている。図３４の例では、図１の場合と異なり、RGBγ補正部３６が設けられておらず、理想的なsRGBγ補正処理を行うsRGBγ補正４２と、γの画作りやニー圧縮の成分を補正するRGBΔγ補正部４３が設けられている。そして、図３４においては、階調圧縮部３４が、sRGBγ補正４２と、RGBΔγ補正部４３との間に配置されている。その他の部分は、図１の場合と同様である。
図３５は、図１１の超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２の詳細な構成例を示すブロック図である。上述したように、超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２には、バッファ３５２から出力される信号が供給され、それぞれのエッジ保存LPFの処理を経た信号が加算器３６３に出力される。これらのフィルタは、画像のエッジ部分に影響を与えずに、エッジ以外の部分を平滑化できるように構成されている。
なお、図２のブロック図に示されるエッジ保存ＬＰＦ６５は、便宜上、図１１に示されるように、ダウンサンプラ３５１、エッジ保存アップサンプラ３５６などを含んで構成される機能ブロックを、エッジ保存ＬＰＦと称している。しかし、通常の線形ローパスフィルタ（ＬＰＦ）に対して、フィルタ窓内のある入力値がフィルタ処理の出力へ与える影響の割合を、その入力値と、ある基準レベル（例えば、フィルタ窓中央の値）との差に応じて調整する機能を追加したフィルタをエッジ保存LPFとも称する。すなわち、図１１において、超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２として構成されている個々のフィルタのそれぞれを、エッジ保存LPFと称することもある。
図３５に示されるように、図１１の超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２（ここでは、単にエッジ保存LPFという）は、加算係数決定処理部６０１、係数正規化処理部６０２、乗算器６０３、乗算器６０４、積算部６０５、および積算終了判定部６０６により構成されている。
バッファ３５２に保持された画像の中のフィルタ窓中央に位置する画素は、加算係数決定処理部６０１の基準レベル算出部６１１に供給される。基準レベル算出部６１１は、供給された画素の値に基づいて基準レベルを算出する。例えば、図９を参照して上述したように、フィルタ窓中央に位置する画素の値がそのまま基準レベルとされる。
基準レベル算出部６１１から出力される基準レベルは、減算器６１２に供給される。減算器６１２は、このエッジ保存LPFに入力されるそれぞれの画素の値と、基準レベルとの差分を演算し、演算結果を加算係数出力部６１３に供給する。
加算係数出力部６１３は、減算器６１２からの出力値と、図２の制御ＭＰＵ６４から供給される閾値εとに基づいて、加算係数を出力する。加算係数は、エッジ保存LPFによるフィルタ処理に用いられる信号方向の重みであり、レンジフィルタの係数と言い換えることもできる。このとき、例えば、図３６に示されるように、加算係数が出力されることになる。
図３６は、横軸を減算器６１２からの出力値、縦軸を加算係数出力部６１３が出力する加算係数の値としたグラフである。同図に示されるように、加算係数出力部６１３は、減算器６１２からの出力値（すなわち、それぞれの画素の値と、基準レベルとの差分値）が、＋ε乃至−εの範囲内にある場合、加算係数の値「１」を出力するようになされている。また、加算係数出力部６１３は、減算器６１２からの出力値が、＋ε乃至−εの範囲内にない場合、加算係数の値「０」を出力するようになされている。
乗算器６０３は、加算係数出力部６１３から出力された加算係数と、このエッジ保存LPFに入力されるそれぞれの画素の値とを乗算する。乗算器６０３がこのような加算係数を乗じることによって、基準レベルとの差分値が、＋ε乃至−εの範囲内にない画素に関する値が乗算器６０４に供給されないようにすることができる。
乗算器６０４は、乗算器６０３から出力された値と、フィルタ係数を乗算する。フィルタ係数は、エッジ保存LPFによるフィルタ処理に用いられる空間方向の重みであり、ドメインフィルタの係数と言い換えることもできる。ここで、乗算されるフィルタ係数は、当該画素とフィルタ窓中央に位置する画素との距離に対応して定まる値とされる。
図３７は、フィルタ係数を説明する図である。同図は、横軸が当該画素とフィルタ窓中央に位置する画素との距離を表しており、縦軸がフィルタ係数の値を表している。同図に示されるように、処理対象の画素（当該画素）とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にある場合、所定のフィルタ係数の値が供給されるようになされている。また、処理対象の画素（当該画素）とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にない場合、フィルタ係数の値「０」が供給されるようになされている。また、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内でのフィルタ係数の積分値が「１」となるようになされている。ここで、Ｗは、図９を参照して上述した画素位置の幅Ｗに対応する値であり、このエッジ保存LPFに予め設定されている。
乗算器６０３がこのようなフィルタ係数を乗じ、かつ後述するように正規化が行なわれることにより、フィルタ窓内の画素の値の平均値を、積算により得ることができるのである。
乗算器６０４から出力される値は、積算部６０５に供給されて積算される。フィルタ窓内に位置する全ての画素についての乗算器６０４から出力される値が積算部６０５に供給されて積算された場合、積算終了判定部６０６は、積算結果を除算器６２４に出力する。
一方、乗算器６２１は、加算係数出力部６１３から出力された加算係数と、上述したフィルタ係数を乗算する。乗算器６２１から出力される値は、積算部６２２に供給されて積算される。フィルタ窓内に位置する全ての画素についての乗算器６２１から出力される値が積算部６２２に供給されて積算された場合、積算終了判定部６２３は、積算結果を正規化係数として除算器６２４に出力する。これにより、フィルタ窓内の画素のうち、基準レベルとの差分値が、＋ε乃至−εの範囲内であった画素の輝度値の平均値を求めることができるのである。
そして除算器６２４の出力が、このエッジ保存LPFの処理を経て得られた画素の値とされる。これにより、エッジ保存LPFの処理を経た画素の値は、フィルタ窓内の画素のうち、基準レベルとの差分値が、＋ε乃至−εの範囲内であった画素の輝度値の平均値に置き換えられることになる。
すなわち、エッジ保存LPFでは、処理対象画素の周辺画素について、処理対象画素に対応する基準画素の値（基準レベル）と閾値εとに基づいて、基準レベルとの差分値が、＋ε乃至−εの範囲内であったか否かが判定される。そして、基準レベルとの差分値が、＋ε乃至−εの範囲内であった周辺画素のみが有効な画素として、上述した平均値の演算に用いられることで、平滑化が行なわれるのである。
なお、図３５は、図１１の超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２の詳細な構成例であると説明したが、図１１のマルチスケールフィルタを、図３５の構成に置き換えることも可能である。すなわち、図２においてエッジ保存LPF６５として示される機能ブロックは、必ずしも超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２とをそれぞれ有する構成でなくても構わない。
図３８のフローチャートを参照して、図３５のエッジ保存LPFによるフィルタ処理について説明する。この処理は、例えば、図２４のステップＳ８２またはステップＳ８３の処理として実行される。
ステップＳ１３１において、基準レベル算出部６１１は、供給された画素の値に基づいて基準レベルを算出する。例えば、図９を参照して上述したように、フィルタ窓中央に位置する画素の値がそのまま基準レベルとされる。
ステップＳ１３２において、積算器６０５と積算器６２２がリセットされる。
ステップＳ１３３において、フィルタ窓内の未処理の画素が選択されて減算器６１２に供給される。
ステップＳ１３４において、加算係数出力部６１３は、減算器６１２からの出力値と、図２の制御ＭＰＵ６４から供給される閾値εとに基づいて、加算係数を出力する。このとき、例えば、図３６に示されるように、減算器６１２からの出力値が、＋ε乃至−εの範囲内にある場合、加算係数の値「１」が出力される。また、減算器６１２からの出力値が、＋ε乃至−εの範囲内にない場合、加算係数の値「０」が出力される。
そして、乗算器６０３が、加算係数出力部６１３から出力された加算係数と、このエッジ保存LPFに入力されるそれぞれの画素の値とを乗算する。
ステップＳ１３５において、乗算器６０４は、乗算器６０３から出力された値と、フィルタ係数を乗算する。また、乗算器６２１は、加算係数出力部６１３から出力された加算係数と、フィルタ係数を乗算する。このとき、例えば、図３７に示されるように、ステップＳ１３３の処理で選択された画素（当該画素）とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にある場合、フィルタ係数の値「１」が供給される。また、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にない場合、フィルタ係数の値「０」が供給される。
ステップＳ１３６において、積算部６０５は、ステップＳ１３５の処理結果の値を積算する（足しこむ）。
ステップＳ１３７において、積算終了判定部６０６および積算終了判定部６２３は、フィルタ窓内に位置する全ての画素についての値が積算されたか否かを判定し、まだ積算されていないと判定された場合、処理は、ステップＳ１３３に戻る。
ステップＳ１３７において、フィルタ窓内に位置する全ての画素についての値が積算されたと判定された場合、積算終了判定部６０６および積算終了判定部６２３は、積算結果を除算器６２４に出力する。
ステップＳ１３８において、除算器６２４による除算が行なわれ、正規化された値が出力される。
このようにして、エッジ保存LPFの処理が実行される。
図３９は、エッジ保存LPFの別の構成例を示すブロック図である。図３９において、図３５に対応する機能ブロックには、同一の符号が付されており、詳細な説明は省略する。
図３９の例では、加算係数出力部６１３の出力が、乗算器６０３に供給されるとともに、減算器６０７に供給されるようになされている。そして、減算器６０７が、加算係数出力部６１３が出力する加算係数と値「１.０」との差分を算出するようになされている。減算器６０７の出力は、乗算器６０８に供給され、乗算器６０８は、減算器６０７から出力される差分の値と、基準レベル算出部６１１から出力される基準レベルを乗算し、その結果得られた値を加算器６０９に供給するようになされている。加算器６０９は、乗算器６０３から供給される値と、乗算器６０８から供給される値とを加算して乗算器６０４に供給するようになされている。
図３９のように構成されるエッジ保存LPFにおいては、図３５における係数正規化処理部６０２を設けないようにする（省略する）ことが可能である。
図４０は、エッジ保存LPFのさらに別の構成例を示すブロック図であり、図３９のように構成されるエッジ保存LPFを、さらに簡素化して構成する場合の例を示すものである。図４０において、図３５または図３９に対応する機能ブロックには、同一の符号が付されており、詳細な説明は省略する。
図４０の例では、減算器６１２の出力が、加算係数出力部６１３の出力とともに、乗算器６０３に供給されるようになされている。そして、加算器６０９は、乗算器６０３から供給される値と、基準レベル算出部６１１から出力される基準レベルとを加算して乗算器６０４に供給するようになされている。
ここでは、エッジ保存LPFを非線形デジタルフィルタであるεフィルタにより構成する例について説明したが、エッジ保存LPFをより調整自由度の高い非線形デジタルフィルタであるバイラテラルフィルタにより構成することも可能である。バイラテラルフィルタにより構成するエッジ保存LPFの場合も、図３５、図３９、および図４０を参照して上述したブロック図と同様の構成となる。ただし、バイラテラルフィルタの場合、加算係数出力部６１３が出力する加算係数および乗算器６０４または乗算器６２１に供給されるフィルタ係数がεフィルタの場合と異なる。
図４１は、エッジ保存LPFをバイラテラルフィルタにより構成する場合の加算係数について説明する図である。同図は、図３６と同様に、横軸を減算器６１２からの出力値、縦軸を加算係数出力部６１３が出力する加算係数の値としたグラフである。同図に示されるように、加算係数出力部６１３は、減算器６１２からの出力値（すなわち、それぞれの画素の値と、基準レベルとの差分値）が、「０」である場合、加算係数の値「１」を出力するようになされている。そして、減算器６１２からの出力値が、＋ε乃至−εの範囲内にない場合、ほぼ「０」に近い値の加算係数を出力するようになされている。
図４１の例においては、図３６の場合と異なり、減算器６１２からの出力値の変化に伴う加算係数の値の特性が連続値となるようになされている。例えば、同図の右上に示される式により、減算器６１２からの出力値の変化に伴う加算係数の値の特性が示される。なお、この式における変数ｙが加算係数の値を表し、変数ｘが減算器６１２からの出力値を表している。
図４２は、エッジ保存LPFをバイラテラルフィルタにより構成する場合のフィルタ係数について説明する図である。同図は、図３７と同様に、横軸が当該画素とフィルタ窓中央に位置する画素との距離を表しており、縦軸がフィルタ係数の値を表している。同図に示されるように、当該画素とフィルタ窓中央に位置する画素との距離が、「０」である場合、最も高いフィルタ係数の値が供給されるようになされている。そして、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にない場合、ほぼ「０」に近い値のフィルタ係数が供給されるようになされている。また、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内でのフィルタ係数の積分値が「１」となるようになされている。
図４２の例においては、図３７の場合と異なり、当該画素とフィルタ窓中央に位置する画素との距離の変化に伴うフィルタ係数の値の特性が連続値となるようになされている。例えば、同図の右上に示される式により、当該画素とフィルタ窓中央に位置する画素との距離の変化に伴うフィルタ係数の値の特性が示される。なお、この式における変数ｙがフィルタ係数の値を表し、変数ｘが当該画素とフィルタ窓中央に位置する画素との距離を表し、Ｃは所定の定数とされる。
上述した図３５、図３９または図４０において、エッジ保存LPFの加算係数出力部６１３に供給される閾値εが図２の制御ＭＰＵ６４により適切に演算されることにより、エッジ保存LPF６５のフィルタ処理を経て画像の照明成分とディテール成分が適切に抽出されるのである。
次に、適切な閾値εがエッジ保存LPFに供給されることによる効果についてさらに説明する。いま、図４３に示される画像が、図２のエッジ保存LPF６５に入力されるものとする。同図の上側の画像は、板材を使った床の画像であり、図中左側の領域が暗い領域、図中右側の領域が明るい領域とされている。
同図の下側に示されるグラフは、この画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。図４３のグラフに示されるように、図中左側の暗い領域の画素は、全体的に輝度値が低く、グラフの振幅の小さいものとなっている。すなわち、図中左側の暗い領域の画素のそれぞれは、輝度値の変化が小さいのである。また、図中右側の明るい領域の画素は、全体的に輝度値が高く、グラフの振幅の大きいものとなっている。すなわち、図中右側の明るい領域の画素のそれぞれは、輝度値の変化が大きいのである。また、同図上側の画像の暗い領域と明るい領域の境界が図中横方向中央付近にあるので、同図下側のグラフの図中横方向中央付近において、画素の輝度値が急峻に大きく変化している。
図１２乃至図１５を参照して上述したように、図２のエッジ保存LPF６５の処理を経た画像は、画像の中の細かな模様は除去されて、暗い部分と明るい部分により構成された画像（元画像の照明成分）となることが望ましい。
図４４乃至図４６は、図４３に示される画像が図２のエッジ保存LPF６５の処理を経て出力された状態の画像の例を示す図である。
図４４は、仮に、適正値より小さい値の閾値εがエッジ保存LPF６５に供給（設定）されてしまった場合の例を示す図である。なお、図４４も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。
図４４の上側の画像に示されるように、図中左側の暗い領域では、画像の中の細かな模様は除去されているが、図中右側の明るい領域では、画像の中の細かな模様が除去されていない。すなわち、図４４の下側のグラフに示されるように、図中左側の暗い領域では、グラフの振幅が充分小さいものとなっているが、図中右側の明るい領域では、グラフの振幅があまり小さくなっていない。つまり、図４４の場合、明るい領域における輝度値の平滑化が不充分なのである。
図４５は、適正な閾値εがエッジ保存LPF６５に供給された場合の例を示す図である。なお、図４５も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。
図４５の上側の画像に示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、画像の中の細かな模様は除去されており、暗い領域と明るい領域の境界が明確に識別できるように表示されている。すなわち、図４５の下側のグラフに示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、グラフの振幅が充分小さいものとなっており、図中横方向中央付近において、画素の輝度値が急峻に大きく変化している。つまり、図４５の場合、明るい領域においても、暗い領域においても輝度値の平滑化が充分になされており、かつ照明成分の境界部分のエッジが適切に保存されているのである。
図４６は、仮に、適正値より大きい値の閾値εがエッジ保存LPF６５に供給されてしまった場合の例を示す図である。なお、図４６も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。
図４６の上側の画像に示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、画像の中の細かな模様は除去されているが、暗い領域と明るい領域の境界が不明確に表示されている（ボケている）。すなわち、図４６の下側のグラフに示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、グラフの振幅が充分小さいものとなっているが、図中横方向中央付近における画素の輝度値の変化が緩やかになっている。つまり、図４６の場合、明るい領域においても、暗い領域においても輝度値の平滑化が充分になされているが、照明成分の境界部分のエッジが適切に保存されていないのである。
図３５と図３６を参照して上述したように、エッジ保存LPFの処理を経た画素の値は、フィルタ窓の画素のうち、基準レベルとの差分値が、＋ε乃至−εの範囲内であった画素の輝度値の平均値に置き換えられる。従って、仮に閾値εが「０」であれば、エッジ保存LPFの処理を経ても画素の値は変わらないことになる。このため、図４４に示されるように、適正値より小さい閾値εが供給されると、特に、元画像において画素の輝度値の変化が大きかった部分（図４４の明るい領域）においての平滑化が不充分となってしまうのである。
また、仮に閾値εが無限大であれば、エッジ保存LPFの処理を経た画素の値は全て一定の値に置き換えられてしまうことになる。このため、図４６に示されるように、適正値より大きい閾値εが供給されると、元画像における明るい領域と暗い領域の境界がボケてしまうのである。
図４７乃至図４９は、図４４乃至図４６に示される画像が、それぞれ図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例を示す図である。
図４７は、図４４に示される画像が、図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例である。図４７も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の上側の画像と下側のグラフに示されるように、画像の中の細かな模様などが明確に表示されておらず、グラフの振幅が小さいものとなっている。
図４８は、図４５に示される画像が、図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例である。図４８も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の上側の画像と下側のグラフに示されるように、画像の中の細かな模様などが明確に表示されおり、グラフの振幅も比較的大きいものとなっている。
図４９は、図４６に示される画像が、図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例である。図４９も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の上側の画像と下側のグラフに示されるように、画像の中の細かな模様などが明確に表示されおり、グラフの振幅も比較的大きいものとなっているが、元画像における明るい領域と暗い領域の境界において、本来除去されるべき輝度値の変化が生じている。
このように、エッジ保存ＬＰＦ６５に、適正な閾値εを設定しなければ、信号Ｙ’から高周波成分を排除して、領域ごとの照明成分を精度よく抜き出すことができず、その結果、ディテール成分を精度よく抽出することもできないのである。
適正な閾値εは、入力される画像によって異なる値となる。図５０は、エッジ保存LPF６５に入力される画像の例を示す図である。なお、図５０も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。
図５１は、エッジ保存LPF６５に入力される画像の別の例を示す図である。なお、図５１も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。図５１の画像は、図５０の画像と比較して明るい領域と暗い領域との輝度値の差が小さい画像とされる。従って、同図の下側に示されるグラフにおいても、図中中央付近での輝度値の変化が図５０の場合と比較して小さくなっており、適正な閾値εもより小さい値とされている。
図５２は、エッジ保存LPF６５に入力される画像の別の例を示す図である。なお、図５２も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。図５２の画像は、図５０の画像と比較して明るい領域と暗い領域との輝度値の差が大きい画像とされる。従って、同図の下側に示されるグラフにおいても、図中中央付近での輝度値の変化が図５０の場合と比較して大きくなっており、適正な閾値εもより大きい値とされている。
図５３は、エッジ保存LPF６５に入力される画像のさらに別の例を示す図である。なお、図５３も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。図５３の画像は、図５０の画像と比較して全体として明るい画像であるが、明るい領域と暗い領域との輝度値の差が図５０の場合と同じ画像とされる。従って、同図の下側に示されるグラフは、図５０のグラフより全体として図中上側に位置しているが、図中中央付近での輝度値の変化を含めて図５０の場合と同じ波形のものとされている。この場合、適正な閾値εも、図５０の場合と同じ値とされる。
このように、入力される画像に応じて適正な閾値εを供給するべく、検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、それらの平均強度に基づいて制御ＭＰＵ６４が閾値εを求めるのである。図５０乃至図５３の図中下側のグラフから分かるように、適正な閾値εは、画像の中の明るい領域と暗い領域との輝度値の差より小さい値であり、かつそれぞれの領域における輝度値の振幅より大きい値となることが望ましい。そのため、制御ＭＰＵ６４は、上述したように、平均強度ＬＡと平均強度ＬＢとの差分絶対値に固定値Ｒを乗じることで閾値εを演算するのである。
ところで、上記において、図２のディテール調整部６７は、補正ゲインLUT７２に基づいて得られるゲインであって、図１７に示されるゲインを、ディテール成分の信号Ｙ’deに乗じることにより、画像のディテール成分の補正の処理を行うと説明した。しかし、図１７に示されるLUTにより特定されたゲインを用いなくとも、画像の明るい領域の順応ゲインと暗い領域の順応ゲインを求めることは可能である。すなわち、図６により特定される順応レベルを用いずにディテール成分に乗じられるゲインが設定されるようにしてもよい。
図５４乃至図５６を参照して、ディテール成分の信号にゲインを乗じることにより、画像のディテール成分の補正する効果について説明する。
図５４は、図２の知覚均等化部６２から出力される画像の例を示す図である。同図の上側の画像は、板材を使った床の画像であり、図中左側の領域が暗い領域、図中右側の領域が明るい領域とされている。同図の下側に示されるグラフは、この画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。図５４のグラフに示されるように、図中左側の暗い領域の画素は、全体的に輝度値が低く、グラフの振幅の小さいものとなっている。
図５５と図５６は、図５４に示される画像が図２のエッジ保存LPF６５、およびディテール抽出部６６の処理を経て、ディテール調整部６７から出力された場合の画像の例をそれぞれ示している。同図の下側に示されるグラフのそれぞれは、これらの画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。
図５５は、仮に、ディテール調整部６７においてゲインが乗じられなかった場合の例を示している。この例では、ディテール成分にゲインが乗じられないので、同図下側のグラフに示されるように、図中左側の領域の画素は、グラフの振幅の小さいものとなっている。このため、同図上側の画像に示されるように、図中左側の領域において画像の中の細かな模様などが明確に表示されていない。
図５６は、仮に、ディテール調整部６７において完全順応ゲインが乗じられた場合の例を示している。この例では、ディテール成分に完全順応ゲインが乗じられたので、同図下側のグラフに示されるように、図中左側の領域の画素についても、図中右側の領域の画素と同様に、グラフの振幅が大きいものとなっている。このため、同図上側の画像に示されるように、図中左側の領域においても、図中右側の領域と同様に、画像の中の細かな模様などが明確に表示されている。
上述したように、画像の明るい領域と暗い領域にそれぞれ完全順応した画像を表示した場合、その画像のコントラストは、明るい領域と暗い領域とで全く差がないものとなり、不自然に感じられる。このため、図６により特定される順応レベルを用いてゲインを補正するようにしたのである。図１７を参照して上述したLUTでは、照明成分の信号Ｙ’lpの値（照明強度）が０のときにゲインｋＢrとなるように、すなわち、ゲインの上限がｋＢrとなるように設定されている。また、照明強度が上限値Ｙ’supとなる場合にゲインｋＡrとなるように、すなわち、ゲインの下限がｋＡrとなるように設定されている。しかし、ディテール成分の見えをより明確にするためには、ディテール成分に完全順応ゲインを乗じることが望ましい。
ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合、ゲインの上限が完全順応ゲインｋＢとなり、ゲインの下限が完全順応ゲインｋＡとなるように、図２の補正ゲインＬＵＴ７２を設定するようにしてもよい。
なお、完全順応ゲインｋＡと完全順応ゲインｋＢのそれぞれは、上述したように、画像の明るい領域に完全順応した露出値EVhと、画像の暗い領域に完全順応した露出値EVlとに基づく演算により求められる。そして、露出値EVhと露出値EVlのそれぞれは、上述したように、検波部６３の処理によって得られた画像の中の明るい領域の画素の平均値Ｙh、および画像の中の暗い領域の画素の平均値Ｙｌに基づく演算により求められる。すなわち、画像の中の明るい領域の画素の平均値Ｙh、および画像の中の暗い領域の画素の平均値Ｙｌが特定できれば、制御ＭＰＵ６４の演算により、完全順応ゲインｋＡと完全順応ゲインｋＢとを導出することができるのである。
図５７は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２の例を示す図である。この例では、線６３１により照明強度に対応するゲインの値が規定されている。すなわち、照明成分の信号Ｙ’lpの値を照明強度として用い、照明強度がＹ’lのときにＤｅｔａｉｌＧａｉｎ（Ｙ’l）＝ｋＢとなり、照明強度がＹ’ｈとなる場合にＤｅｔａｉｌＧａｉｎ（Ｙ’ｈ）＝ｋＡとなるようになされている。
線６３１は、例えば、次式により特定される。
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝ｋＢ×（Ｙ’lp／Ｙ’l）
または、
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝ｋＡ×（Ｙ’lp／Ｙ’ｈ）
ただし、ｋＡ≦ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）≦ｋＢ
なお、Ｙ’l、Ｙ’ｈは、それぞれ図３を参照して上述した、画像の中の明るい領域の画素の平均値を値Ｙh、画像の中の暗い領域の画素の平均値を値Ｙｌがノンリニア変換された値である。
補正ゲインＬＵＴ７２は、処理対象の画像により異なるものとなる。すなわち、画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌが変化すると、線６３１の形状も異なるものとなる。
図５８は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２の別の例を示す図である。同図は、図５８の場合と比較して、処理対象の画像の明暗の差が小さい場合の例である。
図５８の例では、横軸におけるＹ’lとＹ’ｈとの差分が図５７の場合より小さくなっており、縦軸におけるｋＡとｋＢとの差分も図５７の場合より小さくなっている。
図５９は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２のさらに別の例を示す図である。同図は、図５８の場合と比較して、処理対象の画像の明暗の差が大きい場合の例である。
図５９の例では、横軸におけるＹ’lとＹ’ｈとの差分が図５７の場合より大きくなっており、縦軸におけるｋＡとｋＢとの差分も図５７の場合より大きくなっている。
図６０は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２のさらに別の例を示す図である。同図は、図５８の場合と比較して、処理対象の画像が全体として暗い場合の例である。
図６０の例では、横軸におけるＹ’lとＹ’ｈとの差分は、図５７の場合と同様であるが、横軸における位置がそれぞれ図中左側に動いている。また、図６０の場合、縦軸におけるｋＡとｋＢとの差分は、図５７の場合と同様であるが、縦軸における位置が図中上側に動いている。
図５７乃至図６０の例では、ゲインの上限が完全順応ゲインｋＢとし、ゲインの下限が完全順応ゲインｋＡとするように設定したが、ゲインの上限とゲインの下限は、それぞれ完全順応ゲインとは異なる値とされてもよい。
このように、実際の補正ゲインＬＵＴ７２は、ディテール成分の見えをどの程度明確にするかによって異なるものとなり、さらに、処理対象の画像に応じて異なるものとなるのである。
次に、図６１のフローチャートを参照して、補正ゲインＬＵＴ設定処理について説明する。この処理は、例えば、図２１のステップＳ１６の処理とともに実行される。
ステップＳ１５１において、制御ＭＰＵ６４は、ディテール成分の信号に乗じるゲインの特性を決定する。このとき、例えば、図２１のステップＳ１４の検波処理に伴って得られた画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌがゲインの特性の決定に用いられることになる。そして、例えば、図５７乃至図６０の線６３１に示されるような特性が決定される。
ステップＳ１５２において、制御ＭＰＵ６４は、ステップＳ１５１の処理により決定されたゲインの特性を、ＬＵＴに変換する。
ステップＳ１５３において、制御ＭＰＵ６４は、ステップＳ１５２の処理で得られたＬＵＴを補正ゲインＬＵＴ７２に設定する。
このようにして、補正ゲインＬＵＴ７２が設定される。
なお、以上においては、ディテール成分の信号に乗じるゲインは、補正ゲインＬＵＴ７２に基づいて設定されると説明したが、例えば、補正ゲインＬＵＴ７２を用いることなく、都度演算するなどしてゲインが設定されるようにしてもよい。従って、図６１のステップＳ１５３の処理は、実行されないようにしてもよい。
勿論、図６を参照して上述したように順応レベルを用いてディテール成分に乗じられるゲインが設定される場合の方が自然な画像を得ることができる。図６２は、順応レベルを用いてディテール成分に乗じられるゲインが設定される場合、図５４に示される画像が図２のエッジ保存LPF６５、およびディテール抽出部６６の処理を経て、ディテール調整部６７から出力された場合の画像の例を示している。同図の下側に示されるグラフは、この画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。
同図の例では、図中右側の領域と比較して、図中左側の領域において画像の中の細かな模様などがやや不明確ではあるものの、全体として画像のディテール感が得られた画像といえる。このように、順応レベルを用いてゲインの補正を行えば、例えば、図５５に示されるように、図中左側の領域において画像の中の細かな模様などが明確に表示されなくなることを抑止できる。また、順応レベルを用いてゲインの補正を行えば、図５６に示されるように画像のコントラストが、明るい領域と暗い領域とで全く差がないものとなることを抑止できる。
例えば、暗い領域において画像の中の細かな模様などが明確に表示されなくなることを抑止できるように、また、画像のコントラストが、明るい領域と暗い領域とで全く差がないものとなることを抑止できるように、順応レベルは、図６に示されるように設定されている。すなわち、図６の線２０１により示される順応レベルは、画像のダイナミックレンジが大きいほど、値が１に近づき、強い順応がかかるように設定されているのである。
例えば、図６の線２０１は、ダイナミックレンジが「２」を下回る場合は、順応レベルが「０」となるように設定されている。ダイナミックレンジが充分に小さい場合、すなわち画像の明るい領域の照明の平均強度と画像の暗い領域の照明の平均強度との差が充分に小さい場合、例えば、画像の暗い領域と明るい領域における画像の中の細かな模様などは、ゲインを乗じなくても、ほぼ同様に表示されるからである。
また、例えば、図６の線２０１は、ダイナミックレンジが「４」を超える場合は、順応レベルが一定となるように設定されている。画像の明るい領域の照明の平均強度と画像の暗い領域の照明の平均強度との差が充分に大きい場合、例えば、ダイナミックレンジに比例して強いゲインを乗じると、画像のコントラストが、明るい領域と暗い領域とで全く差がないものとなるからである。
そして、図６の線２０１は、ダイナミックレンジが「２」乃至「４」である場合は、順応レベルがダイナミックレンジに比例して順応レベルが高くなるように設定されている。
このように設定された順応レベルを用いて、制御ＭＰＵ６４は、画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを補正して補正後の画像の明るい領域の順応ゲインｋArおよび画像の暗い領域の順応ゲインｋBrを求めるのである。明るい領域の順応ゲインｋArおよび画像の暗い領域の順応ゲインｋBrは、後述するように、補正ゲインＬＵＴ７２において、ゲインの上限値または下限値として用いられることになる。
なお、図６の線２０１は、順応レベルの一例である。上述のような特性が得られるものであれば、線２０１の形状は任意に決めてよい。
補正後の順応ゲインｋArおよび補正後の順応ゲインｋBrに基づいて得られる補正ゲインLUT７２が図１７に示されるものとなる。上述したように、図１７の線４１１は、照明成分の信号Ｙ’lpの値を照明強度として用い、照明強度が０のときにＤｅｔａｉｌＧａｉｎ（０）＝ｋＢrとなり、照明強度が上限値Ｙ’supとなる場合にＤｅｔａｉｌＧａｉｎ（Ｙ’sup）＝ｋＡrとなるように、ゲインの境界条件を、単調減少の条件を満たす滑らかな曲線で補間して得られる特性を有するようになされている。
線４１１は、例えば、次式により特定される。
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝（ｋＢｒ−ｋＡｒ）／（ｋＢ−ｋＡ）×
（Ｇａｉｎ（Ｙ’lp）−ｋＡ）＋ｋＡｒ
ただし、ｋＡｒ≦ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）≦ｋＢｒ
なお、Ｇａｉｎ（Ｙ’lp）は、順応ゲイン使用前のゲインを表すものとする。
次に、図６３のフローチャートを参照して、補正ゲインＬＵＴ設定処理の別の例について説明する。この処理は、例えば、図２１のステップＳ１６の処理とともに実行される。図６３のフローチャートは、順応レベルを用いてディテール成分に乗じられるゲインが設定される場合の補正ゲインＬＵＴ設定処理を説明するものである。
ステップＳ１７１において、制御ＭＰＵ６４は、画像のダイナミックレンジに対応する順応レベルを決定する。このとき、例えば、図２１のステップＳ１４の検波処理に伴って得られた画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌが順応レベルの決定に用いられることになる。そして、例えば、図６を参照して上述したように、順応レベルが決定される。
ステップＳ１７２において、制御ＭＰＵ６４は、ディテール成分の信号に乗じるゲインの上限値ｋＢｒと下限値ｋＡｒとを演算により求める。

ステップＳ１７３において、制御ＭＰＵ６４は、ディテール成分の信号に乗じるゲインの特性を決定する。このとき、例えば、図２１のステップＳ１４の検波処理に伴って得られた画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌがゲインの特性の決定に用いられることになる。そして、例えば、図１７の線４１１に示されるような特性が決定される。
ステップＳ１７４において、制御ＭＰＵ６４は、ステップＳ１７３の処理により決定されたゲインの特性を、ＬＵＴに変換する。
ステップＳ１７５において、制御ＭＰＵ６４は、ステップＳ１７４の処理で得られたＬＵＴを補正ゲインＬＵＴ７２に設定する。
このようにして、補正ゲインＬＵＴ７２が設定される。
なお、例えば、補正ゲインＬＵＴ７２を用いることなく、都度演算するなどしてゲインが設定されるようにしてもよい。従って、図６３のステップＳ１７５の処理は、実行されないようにしてもよい。
以上においては、本発明を適用した実施の形態について撮像装置として構成される場合の例について説明したが、撮像装置とは別の機器として構成されるようにすることも可能である。例えば、予め従来のデジタルスチルカメラなどの撮像装置により画像が撮像され、その画像を入力画像とする画像処理装置により、上述した処理が施されるようにしてもよい。あるいはまた、本発明を、汎用のコンピュータなどにより実行されるＲＡＷ現像アプリケーションソフトウェアなどのプログラムに適用することも可能である。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図６４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図６４において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図６４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims (11)

  1. 入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行なうエッジ保存ローパスフィルタと、
    前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出する輝度平均値算出手段と、
    前記輝度平均値算出手段で算出された前記領域のそれぞれの輝度の平均値に基づいて前記エッジ保存ローパスフィルタに設定する閾値を算出する閾値算出手段と
    を備える画像処理装置。
  2. 前記閾値算出手段は、
    前記領域のそれぞれの輝度の平均値の差分絶対値に所定の固定値を乗じることにより前記閾値を算出する
    請求項１に記載の画像処理装置。
  3. 前記エッジ保存ローパスフィルタにより、前記入力画像から輝度信号の振幅の周期が大きい照明成分を抽出し、
    前記入力画像の輝度信号と前記照明成分の差分としてディテール成分を抽出する抽出手段と、
    前記照明成分に対応して定まるゲインを特定する特定手段と、
    前記特定手段により特定されたゲインを、前記ディテール成分に乗じることで前記ディテール成分を補正するディテール成分補正手段とをさらに備える
    請求項１に記載の画像処理装置。
  4. 前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに基づいて得られるゲイン特性に基づいて特定する
    請求項３に記載の画像処理装置。
  5. 前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに、所定の演算処理を施すことで求められる補正ゲインに基づいて得られるゲイン特性に基づいて特定する
    請求項３に記載の画像処理装置。
  6. 前記補正ゲインを求める演算においては、
    前記画像の前記輝度の値に対応する複数の領域のそれぞれの輝度の平均値に基づいて算出されるダイナミックレンジの値に応じて定まる予め設定された順応レベル特性に基づいて特定される順応レベルが用いられる
    請求項５に記載の画像処理装置。
  7. 前記特定手段は、
    前記複数の領域のうち、最も暗い領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第１の値を前記補正ゲインの上限値とし、
    前記複数の領域のうち、最も明るい領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第２の値を前記補正ゲインの下限値とし、
    前記ゲイン特性を決定する
    請求項６に記載の画像処理装置。
  8. 前記入力された画像の画素数を間引く間引き手段と、
    前記間引き手段により画素数が間引かれた画像を、元の画素数の画像に拡大する拡大手段とをさらに備え、
    前記間引き手段により画素数が間引かれた画像が前記エッジ保存ローパスフィルタに入力され、
    前記エッジ保存ローパスフィルタから出力された信号に対応する画像が前記拡大手段に入力される
    請求項１に記載の画像処理装置。
  9. 入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、
    前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、
    前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップ
    を含む画像処理方法。
  10. 入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、
    前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、
    前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを
    含む画像処理をコンピュータに実行させるプログラム。
  11. 入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、
    前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、
    前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを
    含む画像処理をコンピュータに実行させるプログラムが記録された記録媒体。
JP2009544698A 2007-12-04 2008-12-04 画像処理装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP5105209B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009544698A JP5105209B2 (ja) 2007-12-04 2008-12-04 画像処理装置および方法、プログラム、並びに記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007313711 2007-12-04
JP2007313711 2007-12-04
PCT/JP2008/072009 WO2009072537A1 (ja) 2007-12-04 2008-12-04 画像処理装置および方法、プログラム、並びに記録媒体
JP2009544698A JP5105209B2 (ja) 2007-12-04 2008-12-04 画像処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JPWO2009072537A1 JPWO2009072537A1 (ja) 2011-04-28
JP5105209B2 true JP5105209B2 (ja) 2012-12-26

Family

ID=40717714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009544698A Expired - Fee Related JP5105209B2 (ja) 2007-12-04 2008-12-04 画像処理装置および方法、プログラム、並びに記録媒体

Country Status (6)

Country Link
US (1) US8417064B2 (ja)
EP (1) EP2216988B1 (ja)
JP (1) JP5105209B2 (ja)
KR (1) KR20100099686A (ja)
CN (1) CN101971612B (ja)
WO (1) WO2009072537A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717435B2 (en) * 2008-04-09 2014-05-06 Hbc Solutions, Inc. Video monitoring device providing parametric signal curve display features and related methods
JP4585602B1 (ja) * 2009-09-18 2010-11-24 株式会社東芝 画像処理装置、表示装置及び画像処理方法
JP5569042B2 (ja) * 2010-03-02 2014-08-13 株式会社リコー 画像処理装置、撮像装置及び画像処理方法
US9204113B1 (en) 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
CN102376082B (zh) * 2010-08-06 2014-11-05 株式会社理光 基于伽马校正的图像处理方法和装置
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8175411B2 (en) 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
JP2012247874A (ja) 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
FR2977054A1 (fr) * 2011-06-23 2012-12-28 St Microelectronics Grenoble 2 Procede d'amelioration de la perception visuelle d'une image numerique
US8457418B2 (en) * 2011-08-02 2013-06-04 Raytheon Company Local area contrast enhancement
KR20130040611A (ko) * 2011-10-14 2013-04-24 삼성전자주식회사 영상 출력 장치 및 그의 영상 출력 방법
CN102497490B (zh) * 2011-12-16 2014-08-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
JP5470415B2 (ja) 2012-03-30 2014-04-16 Ｅｉｚｏ株式会社 イプシロンフィルタの閾値決定方法およびローパスフィルタの係数決定方法
JP2013223152A (ja) * 2012-04-18 2013-10-28 Clarion Co Ltd 撮像装置
JP2013242527A (ja) * 2012-04-27 2013-12-05 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び画像表示装置
JP6035153B2 (ja) * 2013-01-17 2016-11-30 シャープ株式会社 画像処理装置、画像表示装置、プログラム、および、記憶媒体
US10659817B2 (en) * 2013-07-15 2020-05-19 Hfi Innovation Inc. Method of sample adaptive offset processing for video coding
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
JP2015056013A (ja) * 2013-09-11 2015-03-23 株式会社リコー 画像処理装置
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
US9280811B2 (en) 2014-03-06 2016-03-08 Samsung Electronics Co., Ltd. Multi-scale large radius edge-preserving low-pass filtering
WO2015112266A2 (en) * 2013-12-06 2015-07-30 The Regents Of The University Of Michigan Epsilon-tube filter for blunt noise removal
GB2536830B (en) * 2014-01-08 2017-11-29 Fujitsu Ltd Apparatus for image contrast enhancement and method, electronic equipment
CN105100769B (zh) * 2014-05-05 2018-08-28 浙江大学 一种视觉特效图像或视频对的生成方法及装置
US9245214B2 (en) * 2014-06-27 2016-01-26 Ricoh Company Ltd. Image processing compression with a defined pixel window in a linear array
JP2016086347A (ja) * 2014-10-28 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
KR101643229B1 (ko) * 2014-11-18 2016-07-27 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
CN107113367B (zh) * 2015-01-09 2019-08-06 皇家飞利浦有限公司 具有颜色恒定性的亮度改变图像处理
US10362288B2 (en) * 2015-01-09 2019-07-23 Sony Corporation Method and system for improving detail information in digital images
TWI558207B (zh) * 2015-06-29 2016-11-11 瑞昱半導體股份有限公司 寬動態範圍影像方法
JP6600216B2 (ja) * 2015-09-29 2019-10-30 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6342085B2 (ja) * 2015-11-17 2018-06-13 Eizo株式会社 画像変換方法及び装置
CN105491301B (zh) * 2015-12-03 2018-09-28 浙江大华技术股份有限公司 一种成像控制方法及装置
TWI594635B (zh) * 2016-01-14 2017-08-01 瑞昱半導體股份有限公司 產生寬動態範圍運算的目標增益值的方法
US20190379807A1 (en) * 2016-03-09 2019-12-12 Sony Corporation Image processing device, image processing method, imaging apparatus, and program
JP6912869B2 (ja) * 2016-06-15 2021-08-04 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
KR101938207B1 (ko) * 2016-07-27 2019-04-11 주식회사 아이오로라 포토티켓을 생성하는 방법 및 이를 운용하는 포토티켓 생성 장치
US10720091B2 (en) * 2017-02-16 2020-07-21 Microsoft Technology Licensing, Llc Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
JP6458205B1 (ja) * 2017-02-16 2019-01-23 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN109729280B (zh) * 2018-12-28 2021-08-06 维沃移动通信有限公司 一种图像处理方法及移动终端
KR20200090347A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
US10949959B2 (en) * 2019-02-18 2021-03-16 Samsung Electronics Co., Ltd. Processing image data in a composite image
CN109767658B (zh) * 2019-03-25 2021-05-04 重庆医药高等专科学校 一种英语影视例句分享方法及系统
CN110113510B (zh) * 2019-05-27 2021-02-26 杭州国翌科技有限公司 一种实时视频图像增强方法和高速相机系统
CN112188178B (zh) * 2020-09-30 2022-02-22 Tcl华星光电技术有限公司 图像显示方法和图像显示装置
CN114677340B (zh) * 2022-03-14 2024-05-24 上海第二工业大学 一种基于图像边缘的混凝土表面粗糙度的检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2003008935A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2003008898A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2007128206A (ja) * 2005-11-02 2007-05-24 Sony Corp 信号処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2634897B2 (ja) 1989-02-17 1997-07-30 オリンパス光学工業株式会社 露出計
JP3959769B2 (ja) 1996-04-12 2007-08-15 ソニー株式会社 ビデオカメラ装置、映像信号処理装置および映像信号の階調変換方法
JP2000278546A (ja) 1999-01-22 2000-10-06 Sony Corp 画像処理装置及び画像処理方法、色域変換テーブル作成装置及び色域変換テーブル作成方法、画像処理プログラムを記録した記録媒体、並びに色域変換テーブル作成プログラムを記録した記録媒体
EP1137267A3 (en) * 2000-02-07 2005-09-14 Sony Corporation Device and method for image processing
JP4214457B2 (ja) 2003-01-09 2009-01-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7570390B2 (en) * 2003-01-09 2009-08-04 Sony Corporation Image processing device and method
JP3949684B2 (ja) * 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
US7683948B2 (en) * 2005-03-31 2010-03-23 Freescale Semiconductor, Inc. System and method for bad pixel replacement in image processing
JP2007096509A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp 画像処理装置、および画像処理方法
US7929798B2 (en) * 2005-12-07 2011-04-19 Micron Technology, Inc. Method and apparatus providing noise reduction while preserving edges for imagers
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2003008935A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2003008898A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2007128206A (ja) * 2005-11-02 2007-05-24 Sony Corp 信号処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
EP2216988A1 (en) 2010-08-11
WO2009072537A1 (ja) 2009-06-11
EP2216988B1 (en) 2013-02-13
EP2216988A4 (en) 2010-12-15
KR20100099686A (ko) 2010-09-13
US8417064B2 (en) 2013-04-09
CN101971612A (zh) 2011-02-09
US20100310189A1 (en) 2010-12-09
CN101971612B (zh) 2013-05-01
JPWO2009072537A1 (ja) 2011-04-28

Similar Documents

Publication Publication Date Title
JP5105209B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
EP2076013B1 (en) Method of high dynamic range compression
US7023580B2 (en) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US10540920B2 (en) Display management for high dynamic range video
KR101309497B1 (ko) 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
KR101309498B1 (ko) 높은 동적 범위 이미지 매핑을 위한 히스토그램 조정
US8368779B2 (en) Image processing apparatus for performing gradation correction on subject image
US7409083B2 (en) Image processing method and apparatus
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
JP2004030670A (ja) デジタル画像の色調特徴の強調方法
US7613338B2 (en) Image processing method and apparatus, program, and storage medium
JP4021261B2 (ja) 画像処理装置
JP4639037B2 (ja) 画像処理方法および装置
CN111480177A (zh) 改进的逆色调映射方法和对应装置
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
WO2001041425A1 (fr) Dispositif de correction de contour
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
Albu et al. One scan shadow compensation and visual enhancement of color images
JP2002281312A (ja) 画像処理のための装置、方法及びプログラム
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP4664938B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4125191B2 (ja) 画像処理装置および方法
US6931161B2 (en) Method for making an exposure adjustment on a rendered image
Kyung et al. Improved color reproduction based on CIELAB color space in integrated multi-scale retinex

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120919

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees