WO2004064388A1

WO2004064388A1 - 画像処理装置および方法

Info

Publication number: WO2004064388A1
Application number: PCT/JP2003/015758
Authority: WO
Inventors: Tomoo Mitsunaga
Original assignee: Sony Corporation
Priority date: 2003-01-09
Filing date: 2003-12-10
Publication date: 2004-07-29
Also published as: US20050226526A1; EP1494462A4; EP1494462A1; US7570390B2; KR20050090060A; KR101051604B1

Abstract

本発明は、画素値のダイナミックレンジが通常よりも広い広ダイナミックレンジ画像を、画素値のダイナミックレンジがより狭い狭ダイナミックレンジ画像に変換したり、コントラストを強調したりする場合に用いて好適な画像処理装置および方法に関する。ステップＳ１において、入力された現フレームの広ＤＲ輝度画像が、１フレーム前の広ＤＲ輝度画像に対して算出された中間情報に基づいて狭ＤＲ輝度画像に変換される。また、現フレームの広ＤＲ輝度画像に対する中間情報が算出される。ステップＳ２において、算出した中間情報を用いて、保持していた１フレーム前の中間情報が更新される。ステップＳ３において、後続するフレームの存在が判定され、後続するフレームが存在する場合、ステップＳ１に戻り、それ以降の処理が繰り返される。本発明は、ディジタルビデオカメラ等に適用することができる。

Description

明細書

画像処理装置および方法技術分野

本発明は、画像処理装置および方法に関し、特に、画素値のダイナミックレンジが通常よりも広い広ダイナミックレンジ画像を、画素値のダイナミックレンジがより狭い狭ダイナミックレンジ画像に変換したり、コントラストを強調したりする場合に用いて好適な画像処理装置および方法に関する。背景技術

従来、 CCD(Charge Coupled Device)や CMOS (Complementary Metal-Oxid e Semiconductor)等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、 F A(Factory Automation)における部品検查装置、 ME(Medical Electro nics)における電子内視鏡などの光計測装置等に幅広く利用されている。

近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広 D R画像と記述する）を得るための技術が多数提案されている。

—方、動画像や静止画像を表示する CRT(Cathode Ray Tube), LCD (Liquid Crystal Display)等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広 D R画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。

そこで、当面においては、広 D R画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭 D R画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広 D R画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。

しかしながら、上述したように、単に、広 D R画像の画素値の階調を、狭いダィナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなつてしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている 3種類の階調圧縮技術について説明する。

第 1の階調圧縮技術としては、入力する広 D R画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第 1の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるベく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しょうとするものである。

しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足のいく結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。第 2の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第 2の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである。

第 2の階調圧縮技術は、第 1の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシユートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、必ずしも良い画像が得られるとはいえない。第 3の階調変換技術としては、広 D R画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを 1つの画像に加算合成する技術を挙げることができる。

第 3の階調変換技術によれば、広 D R画像の高周波成分はそのままであるので、階調変換によるコントラスト低下を防ぐことができる。しかしながら、第 3の階調変換技術も、第 2の階調変換技術と同様に、被写体の輪郭部分においてオーバ一シュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ (例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている。

上述した第 1乃至第 3の階調圧縮技術をまとめると、近傍の画素を利用する比較的局所的な処理で階調圧縮を行うもの（第 1および第 2の階調圧縮技術）と、画像全体または比較的大きな領域を使って階調圧縮を行うもの（第 3の階調圧縮技術）に分けられる。前者によれば、ごく高周波成分のみが強調されたような不自然な画像となり、効果的な階調圧縮結果が得られるとは言い難い。また、後者によれば、高周波成分の強調にあわせて比較的低周波の成分も調整することが可能な分だけ、前者よりもより自然な画像が得られ、階調圧縮の効果は高いということができる。

しかしながら、後者によれば、その処理に、主にディレイラインまたはフレームメモリとして大量のメモリが必要となるので、ハードウエア化に適していないという問題があった。例えば、第 3の階調圧縮技術は、輝度を複数の周波数成分に分離するときに空間フィルタが必要であるが、画像に対して比較的大きな空間フィルタを適用しなければ、人為的でない効果的な階調圧縮を施すことができないので、大きな空間フィルタを実装するために大量のディレイラインを回路に盛り込む必要がある。

ところで、例えば、ディジタルビデオカメラやディジタルスチルカメラのような撮影装置の出力部に、広 D R画像に階調圧縮処理を施す機能を組み込むことを考慮した場合、例えば、ディジタルビデオカメラでは、所定のフレームレートを保証して映像信号を出力しなければならないので、高速な信号処理が必要となり、階調圧縮処理の機能をハードウェア化することの要請は高い。また、例えば、静止画を撮影するディジタルスチルカメラであっても、構図を決定するためにファインダにモニタ画像を所定のフレームレートで出力する必要があるので、階調圧縮処理が高速であることが望まれる。

以上のように、使用するメモリの容量がより小さく、演算も軽量でハードゥエァ化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術が必要とされているが、従来そのような階調圧縮技術は提案されていない課題があった。

また、上述した第 1乃至第 3の階調圧縮技術に共通して以下の課題が存在する。第 1に、高周波成分を強調することに伴い、被写体の輪郭部分において輝度のオーバーシュートが生じることである。

これを抑止するためには、比較的大きいサイズ（2 0 X 2 0画素）の 2次元非線形フィルタが必要であるが、このようなサイズの 2次元非線形フィルタをソフトウエアとして実現するには演算コストが非常に大きくなる課題があり、ハードウェアとして実現するためにはディレイラインを大量に必要とするため回路規模が大きくなつてしまう課題があった。

第 2に、高輝度域および低輝度域における高周波成分のコントラスト強調量の制御についてである。上述した第 2および第 3の階調圧縮技術では、輝度を低周波成分と高周波成分に分離して、低周波成分を比較的抑制し、高周波成分を強調することにより、コントラストを保持した階調圧縮を行うことが共通している。

しかしながら、表示装置などが許容する最大輝度と最小輝度の近辺では高周波成分を強調することによって輝度のクリッビングが生じて結果的に画像のディテールが失われ、適切な階調変換が行われたとはいえないので、輝度のクリッピングが生じないような対処が必要である課題があった。

さらに、輝度のクリッピングが生じないような状態でも、コントラストの強調が強すぎれば、被写体の輪郭部分が不自然に強調された画像となってしまう課題があった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することを目的とする。

また、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、適切に画像のコントラストを強調できるようにすることを目的とする。本発明の画像処理装置は、入力画像から縮小画像を生成する縮小画像生成手段と、縮小画像に基づき、入力画像の補正情報を取得する補正情報取得手段と、入力画像の階調を変換する階調変換手段とを含み、階調変換手段は、階調の変換を行う前およびノまたは後の処理として、補正情報を用いて入力画像のコントラストを補正することを特徴とする。

本発明の画像処理装置は、縮小画像を構成する画素を用いた補間演算により、入力画像を構成する画素の輝度 L。を平滑化した平滑化画像を生成する平滑化手段をさらに含むことができ、前記階調変換手段は、画像を構成する画素の輝度 L _c、平滑化画像を構成する画素の輝度 Lいおよび所定のゲイン値 gに基づき、コントラスト補正画像を生成するようにすることができる。

前記階調変換手段は、コントラスト補正画像を構成する画素の輝度 L _uを、次式

L _u = g ■ ( L _c - L _t ) + L !

に基づいて算出するようにすることができる。前記縮小手段は、入力された画像を複数のプロックに分割し、各ブロックに属する画素の輝度の平均値を計算して、平均値を画素の輝度とする、ブロックの数と同数の画素から構成される縮小画像を生成するようにすることができる。

前記平滑化手段は、補間される画素の位置である補間位置に対応する縮小画像上の位置を特定し、特定した位置の近傍に存在する縮小画像の画素を用いて、平滑化画像の画素の輝度 L！を演算するようにすることができる。

前記平滑化手段は、補間される画素の位置である補間位置に対応する縮小画像上の位置を特定し、特定した位置の近傍に存在する縮小画像の 4 X 4画素を用いた双 3次補間により、平滑化画像の画素の輝度 L！を演算するようにすることができる。

本発明の画像処理装置は、平滑化手段に入力する前の画像を構成する画素の輝度 L。を対数変換する対数変換手段と、コントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段とをさらに含むことができる。

本発明の画像処理装置は、縮小画像を構成する画素を用いた補間演算により、入力画像を構成する画素の輝度 L。を平滑化した平滑化画像を生成する平滑化手段と、コントラストを補正するときに用いるゲイン値 gを設定するゲイン値設定手段とさらに含むことができ、前記階調変換手段は、入力画像を構成する画素の輝度 L _c、平滑化画像を構成する画素の輝度 Lいおよびゲイン値 gに基づき、コントラスト補正画像を生成し、前記ゲイン値設定手段は、ゲイン値 gを、入力された初期ゲイン値 g _Q、基準ゲイン値 1、並びに、第 1の輝度閾値 T h ^ 第 2の輝度閾値 T h ₂、および入力画像を構成する画素の輝度 L。によって算出される減衰値 attn ( T h T h ₂ , L J に基づいて設定するようにすることができる。本発明の画像処理装置は、入力画像を構成する画素の輝度 Lを、変換関数に基づいて変換し、トーン変換画像を生成する変換手段と、トーン変換画像を構成する画素の輝度 L _cを平滑化して、平滑化画像を生成する平滑化手段と、変換関数の傾き Vの逆数 l / γである初期ゲイン値 g。に基づき、コントラストを補正するときに用いるゲイン値 gを設定するゲイン値設定手段とをさらに含むことができ、前記コントラスト補正手段は、トーン変換画像を構成する画素の輝度 L _c、平滑化画像を構成する画素の輝度 Lいおよびゲイン値 gに基づき、コントラスト補正画像を生成し、前記ゲイン値設定手段は、ゲイン値 gを、初期ゲイン値 g 。、基準ゲイン値 1、並びに、第 1の輝度閾値 T h ^ 第 2の輝度閾値 T h ₂、およびトーン変換画像を構成する画素の輝度 L _cによって算出される減衰値 attn (Th _{X )} T h₂, L_c) に基づいて設定するようにすることができる。

前記ゲイン値設定手段は、ゲイン値 gを次式

g = 1 + (g。― 1) · attn (Th _{1 (} T h ₂, L_c)

に従って設定するようにすることができる。

前記ゲイン値設定手段は、減衰値 attn (T h ₁； T h ₂, L_c) を、次式 attn (T hい T h ₂, L _c) = | (L _C-T h / (T h ₂-T h！) |

(2 T h ₁-T h₂≤L _c≤T h ₂)

attn (T hい T h ₂, L J = 1

(L_c< 2 T h ₁-Th ₂₎ T h ₂< L_c) に従って算出するようにすることができる。

前記階調変換手段は、コントラスト補正画像を構成する画素の輝度 L_uを、次式

L_u= g ■ (L_c-L _t) + L !

に基づいて算出するようにすることができる。

前記第 1の輝度閾値 T h は、中庸のグレイレベルであり、前記第 2の輝度閾値 T h ₂は、最大の白レベルであるようにすることができる。

前記縮小画像生成手段は、変換関数に基づいて、入力画像をトーン変換画像に変換し、トーン変換画像を縮小して縮小画像を生成し、前記補正情報取得手段は、変換関数の傾きを含む補正情報を取得し、前記階調変換手段は、縮小画像、および変換関数の傾きに基づき、トーン変換画像のコントラストを補正するようにすることができる。

本発明の画像処理装置は、 1フレーム前の画像に対応する縮小画像、および 1 フレーム前の画像に適用された変換関数の傾きを保持する保持手段をさらに含むことができる。

前記縮小画像生成手段は、現フレームの画像の画素値を、 1種類以上の変換関数を段階的に用いて変換するようにし、前記階調変換手段は、保持手段によって保持された縮小画像、および 1種類以上の変換関数にそれぞれ対応する傾きの積に基づき、トーン変換画像のコントラストを捕正して、コントラスト捕正画像を生成するようにすることができる。

前記 1種類以上の変換関数のうち、少なくとも 1種類の変換関数は、単調増加関数であるようにすることができる。

本発明の画像処理装置は、トーン変換画像の画素値の平均値を算出する平均値算出手段をさらに含むことができ、前記 1種類以上の変換関数のうち、少なくとも 1種類の変換関数の傾きは、平均値算出手段によって算出された平均値の逆数に比例するようにすることができる。

前記平均値算出手段は、トーン変換画像を複数のブロックに分割し、各ブロックの画素値の平均を算出して重み付け加算した値を、平均値として算出するようにすることができる。

前記縮小画像生成手段は、トーン変換画像を縮小して第 1の縮小画像を生成し、第 1の縮小画像の画素値の平均値の逆数に比例する値を第 1の縮小画像の各画素値に乗算して、第 2の縮小画像を生成するようにすることができる。

本発明の画像処理装置は、現フレームの画像の画素値を対数変換する対数変換手段と、コントラスト補正画像の画素値を対数逆変換する対数逆変換手段をさらに含むことができる。

本発明の画像処理装置は、コントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によつてガンマ変換されたコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。

前記輝度域情報算出手段は、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の上限値および下限値を、輝度域情報として算出するようにし、前記正規化手段は、輝度域情報算出手段によって算出されたコントラスト補正画像の輝度成分の上限値および下限値が、それぞれ、想定される再現デバイスが再現可能な輝度成分の範囲の上限値および下限値に一致するように、コントラスト補正画像の画素値を変換するようにすることができる。

前記保持手段は、輝度域情報算出手段によって算出された 1フレーム前の輝度域情報も保持するようにすることができる。

前記画像は、輝度成分を有する画素から構成されたモノクロ画像とすることができる。

前記画像は、複数の色成分を有する画素から構成されたカラー画像とすることができる。

前記縮小画像生成手段は、カラー画像を元にして、輝度成分を有する画素から構成された第 1の輝度画像を生成し、第 1の輝度画像をトーン変換輝度画像に変换し、トーン変換輝度画像に基づいて、複数の色成分を有する画素から構成されたカラーのトーン変換画像を生成するようにすることができる。

前記縮小画像生成手段は、カラー画像の各色成分の値と第 1の輝度画像の輝度成分の値の差分値を算出し、差分値と変換関数の傾きとの積を算出し、積をトーン変換輝度画像の各色成分の値に加算して、トーン変換画像の各色成分を算出するようにすることができる。

前記縮小画像生成手段は、第 1の輝度画像の輝度成分の平均値を算出し、平均値の逆数に比例する係数を算出し、係数をカラー画像の各色成分の値に乗算して、トーン変換画像の各色成分を算出するようにすることができる。

前記階調変換手段は、カラーのトーン変換画像を元にして、輝度成分を有する画素から構成された第 2の輝度画像を生成し、第 2の輝度画像、保持手段によつて保持された縮小画像、および変換関数の傾きに基づき、変換手段によって生成されたカラーのトーン変換画像のコントラストを補正して、カラーのコントラスト補正画像を生成するようにすることができる。

本発明の画像処理装置は、カラーのコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像を元にして、輝度成分を有する画素から構成された第 3の輝度画像を生成し、第 3の輝度画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によつて算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたカラーのコントラスト捕正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。

本発明の画像処理方法は、入力画像から縮小画像を生成する縮小画像生成ステップと、縮小画像に基づき、入力画像の補正情報を取得する補正情報取得ステツプと、入力画像の階調を変換する階調変換ステップとを含み、階調変換ステップは、階調の変換を行う前および Zまたは後の処理として、補正情報を用いて入力画像のコントラストを補正する。

本発明の画像処理装置および方法によれば、入力画像から縮小画像が生成され、生成された縮小画像に基づき、入力画像の補正情報が取得され、入力画像の階調が変換される。この階調変換の処理では、階調の変換を行う前および/または後の処理として、補正情報を用いて入力画像のコントラストが補正される。図面の簡単な説明

図 1は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示すブロック図である。

図 2は、図 1の DSPの第 1の構成例を示すプロック図である。

図 3は、図 2のトーンカーブ補正部の第 1の構成例を示すブロック図である。図 4は、トーンカーブの一例を示す図である。

図 5は、図 2のトーンカーブ補正部の第 2の構成例を示すブロック図である。図 6は、図 2のトーンカーブ補正部の第 3の構成例を示十ブロック図である。図 7は、図 2の縮小画像生成部の構成例を示すプロック図である。

図 8は、図 7の平均値計算部の構成例を示すプロック図である。

図 9は、図 2のコントラスト補正部の構成例を示すプロック図である。

図 1 0は、図 9の補間部の構成例を示すプロック図である。

図 1 1は、図 9の補間部の処理を説明するための図である。

図 1 2は、図 9のゲイン値設定部の構成例を示すプロック図である。

図 1 3は、図 9のコントラスト強調部の構成例を示すプロック図である。

図 1 4は、図 2の輝度域正規化部の処理を説明するための図である。

図 1 5は、図 2の輝度域情報算出部の構成例を示すブロック図である。

図 1 6は、図 2の輝度域正規化部の構成例を示すプロック図である。

図 1 7は、図 2のトーンカープ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すプロック図である。

図 1 8は、 DSPの第 1の構成例による階調圧縮処理を説明するフローチャートである。

図 1 9は、図 1 8のステップ S 1の処理の詳細を説明するフローチヤ一トである。

図 2 0は、図 1 8のステップ S 2の処理の詳細を説明するフローチヤ一トである。

図 2 1は、図 1の DSPの第 2の構成例を示すプロック図である。

図 2 2は、図 2 1のトーンカーブ補正部の第 1の構成例を示すプロック図である。

図 2 3は、図 2 1のトーンカープ捕正部の第 2の構成例を示すプロック図である。

図 2 4は、図 2 1のトーンカーブ補正部の第 3の構成例を示すプロック図である。

図 2 5は、図 2 1の縮小画像生成部の構成例を示すプロック図である。図 2 6は、図 2 1のコントラスト補正部の構成例を示すプロック図である。図 2 7は、図 2 1のトーンカープ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すプロック図である。

図 2 8は、図 2 1の輝度域情報算出部の構成例を示すプロック図である。

図 2 9は、 DSPの第 2の構成例による階調圧縮処理を説明するフローチヤ一トである。

図 3 0は、図 2 9のステップ S 4 3の処理の詳細を説明するフローチヤ一トである。

図 3 1は、図 2 9のステップ S 4 4の処理の詳細を説明するフローチヤ一トである。

図 3 2は、本発明を適用した画像処理システムの構成例を示すブロック図である。

図 3 3は、図 3 2に示された画像処理システムの動作を説明するフローチヤ一トである。

図 3 4は、図 3 2に示された画像処理装置の第 1の構成例を示すプロック図である。

図 3 5は、図 3 4に示されたトーンカーブ補正部の構成例を示すブロック図である。

図 3 6は、画像処理装置の第 1の構成例において用いられるトーンカーブの一例を示す図である。

図 3 7は、図 3 4に示された平滑化輝度生成部の構成例を示すブロック図である。

図 3 8は、図 3 7に示された縮小画像生成部の構成例を示すブロック図である。図 3 9は、図 3 8に示された平均値計算部部の構成例を示すプロック図である。図 4 0は、図 3 7に示された補間部の構成例を示すブロック図である。

図 4 1は、図 3 4に示されたゲイン値設定部の構成例を示すブロック図である。図 4 2は、図 3 4に示されたコントラスト補正部の構成例を示すプロック図である。

図 4 3は、画像処理装置の第 1の構成例による階調圧縮画像生成処理を説明するフローチヤ一トである。

図 4 4は、図 3 2に示された画像処理装置の第 2の構成例を示すプロック図である。

図 4 5は、画像処理装置の第 2の構成例による階調圧縮画像生成処理を説明するフローチヤ一トである。

図 4 6汎用のパーソナルコンピュータの構成例を示すプロック図である。発明を実施するための最良の形態

以下、本発明の一実施の形態であるディジタルビデオカメラについて、図面を参照して説明する。

図 1は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。このディジタルビデオカメラ 1は、被写体を撮影して、画素値のダイナミックレンジが通常よりも広い広 D R画像を生成し、所定の記憶媒体に記録するとともに、構図決定のファインダや映像モニタを兼ねる内蔵されたディスプレイ、あるいは外部機器に対しては、広 D R画像を、画素値のダイナミックレンジがより狭い狭 D R画像に変換して出力するものである。

ディジタルビデオカメラ 1は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、被写体の光画像を集光するレンズ 2、光画像の光量を調整する絞り 3、および集光された光画像を所定のフレームレートで光電変換して広 D R画像を生成する CCDイメージセンサ 4から構成される。なお、以下においては、 CCD イメージセンサ 4が生成する広 D R画像に関しては、 1チヤンネルの輝度信号からなるモノクロ画像である場合と、多チャンネル（例えば、 3チャンネル）の輝度信号からなるカラー画像である場合の 2通りについて説明する。

信号処理系は、 CCDイメージセンサ 4から出力された広 D R画像をサンプリングすることによってノイズを低減させる相関 2重サンプリング回路（CDS) 5、相関 2重サンプリング回路 5によってノィズが除去された広 D R画像を、例えば 1 4乃至 1 6ビット程度のビット幅を有する値に AD変換する AZDコンバータ 6、 A/Dコンバータ 6が出力する広 DR画像に対して階調圧縮処理を施す D SP(Digital Signal Processor) 7から構成される。

A/Dコンバータ 6が出力する 1 4乃至 1 6ビットのビット幅を有する広 D R画像のように、階調が多い画像信号は、輝度 Y、色差 C r， C b等の通常のビデォ信号では再現しきれないが、 DSP 7による階調圧縮処理により、輝度 Y、色差 C r， Cb等の通常のビデオ信号では再現できる範囲に階調を圧縮されるようになされている。 DSP7については、図 2以降を参照して詳述する。

ディジタルビデオカメラ 1の記録系は、 DSP7から入力される広 DR画像または狭 DR画像をエンコードしてメモリ 1 3に記録したり、メモリ 1 3に記憶されている符号データを読み出してデコードし、 DSP 7に供給したりする CODEC C ompression/Decompression) 1 2、および、エンコードされた広 D R画像または狭 DR画像を記憶する、磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ 1 3から構成される。

表示系は、 DSP7から供給される狭 DR画像を DA変換する D/Aコンバータ 9、 DZAコンバータ 9が出力するアナログの狭 DR画像を、輝度 Y、色差 C r， C b等の通常のビデオ信号に変換してディスプレイ 1 1に出力するビデオェンコーダ 1 0、およびビデオ信号に対応する画像を表示することによってファインダゃビデオモニタとして機能する LCDtLiquid Crystal Display)等よりなるディスプレイ 1 1から構成される。

制御系は、 CCDイメージセンサ 4乃至 DSP7の動作タイミングを制御するタイミングジェネレータ（TG) 8、ユーザからの各種の操作を受け付けるインプットデバイス 1 5、およびディジタルビデオカメラ 1の全体を制御する CPU(Central Processing Unit) 1 4から構成される。

次に、ディジタルビデオカメラ 1の動作の概要について説明する。被写体の光学画像（入射光）は、レンズ 2および絞り 3を介して CCDイメージセンサ 4に入射され、 CCDイメージセンサ 4によって光電変換され、得られた広 DR画像の画素となる電気信号は、相関 2重サンプリング回路 5によってノイズが除去され、 A/Dコンバータ 6によってディジタル化された後、 DSP7に供給される。

DSP7は、 A/Dコンバータ 6から入力された広 DR画像に対して階調圧縮処理を施し、狭 DR画像を生成して、 D/Aコンバータ 9または CODEC 1 2、あるいは両方に出力する。 D/Aコンバータ 9に供給された狭 DR画像は、 DA変換され、ビデエンコーダ 10により通常のビデオ信号に変換されて、その画像がディスプレイ 1 1に表示される。一方、 CODEC 1 2に供給された狭 DR画像は、符号化されてメモリ 1 3に記録される。以上で、ディジタルビデオカメラ 1の動作概要の説明を終了する。

次に、本発明の主眼となる DSP 7について説明する。

図 2は、モノク口画像である広 DR画像に対応した DSP7の第 1の構成例を示している。以下、 DSP7に入力されるモノクロの広 DR画像を、広 DR輝度画像 Lと記述する。また、広 DR輝度画像の画素値（すなわち、輝度値）を、 L (p) と記述する。ここで、 pは、 p = (x, y) のように、画像における画素位置を示すベクトルまたは座標である。従って、 L (p) は、画素位置と輝度値の両方の情報を含むものとして、広 DR輝度画像を表す Lとは区別して用いることとする。後述するその他の画像とその画素値についても同様である。

DSP7には、広 DR輝度画像 Lの輝度 L (p) がラスタ順に入力されるものとする。

DSP7の第 1の構成例において、対数変換部 2 1は、入力される輝度 L (p) を対数変換し、得られる対数輝度 logL (p) をトーンカーブ補正部 22に出力する。トーンカーブ補正部 2 2は、入力される対数輝度 logL (p) に対し、予め ' 用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数輝度 logL_c (p) を縮小画像生成部 2 3およびコントラスト補正部 25に出力する。また、トーンカーブ補正部 2 2は、適用したトーンカーブの傾きを示す代表値 γをコントラスト補正部^{2 5}に出力する。以下、適用したトーンカーブの傾きを示す代表値 γを、単に代表値 γとも記述する。

縮小画像生成部 2 3は、トーンカーブ補正部²2から入力される 1フレーム分の対数輝度 log L_c (p) に基づき、縮小画像 logL_c iを生成して、縮小画像メモリ 24に保持させる。

コントラスト補正部 2 5は、トーンカーブ補正部 22から入力される現フレームの対数輝度 logL_c (p) のトーンカーブ補正によって弱められているコントラストを、代表値 yおよび縮小画像メモリ 24に保持されている 1フレーム前の縮小画像 logL_{c l}に基づいて補正し、得られる対数輝度 logL_u (p) を対数逆変換部 26に出力する。対数逆変換部 26は、コントラストが補正された対数輝度 log L_u (p) を、対数逆変換して、得られる通常軸の輝度 L_u (p) をガンマ補正部 27に出力する。

ガンマ補正部 27は、対数逆変換部 26から入力される輝度 L_u (p) に対して、再生デバイス（例えば、ディスプレイ 1 1) のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の輝度 Y (p) を輝度情報算出部 28および輝度域正規化部 30に出力する。輝度情報算出部 28は、ガンマ補正部 27から入力される 1フレーム分の輝度 Y (p) に対して、それぞれ、輝度の分布を示す輝度域情報を算出して輝度域情報メモリ 2 9に保持させる。ここで、輝度域情報とは、 1フレームにおける輝度の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度 Y_dと、最も明るい方に近い輝度 Y_bを輝度域情報 [Y_d， Y_b] として算出するようにする。

輝度域正規化部 30は、輝度域情報メモリ 29に保持されている 1フレーム前の輝度域情報 [Y_d， YJ に基づき、ガンマ補正部 27から入力される現フレームの輝度 Y (p) を、その分布範囲が再生デバイス（例えば、ディスプレイ 1 1) が表現可能な範囲に合致するように変換し、得られる輝度 Y_n (ρ) を、狭 DR 画像の画素値として後段に出力する。

以上説明したように、 DSP7の第 1の構成例による階調圧縮処理の過程におい 58

17

て、縮小画像生成部 23により縮小画像 logL_{c l}が生成され、輝度域情報算出部 28により輝度域情報 [Y_d， Y_b] が算出される。この縮小画像 logL_{c l}および輝度域情報 [Y_d, YJ を以下、中間情報と記述する。

DSP 7によれば、入力される広 D R輝度画像の各フレーム対して中間情報が算出され、算出された中間情報が、 1フレーム後の広 DR輝度画像を処理するために用いられる。

一般に、階調圧縮を効果的に施すためには、画像全体または画像上で広域な範囲の輝度値に基づいて算出された情報が必要であるが、当該情報を算出するまでのタイムラグが大きくなることが実装上の問題となる。そこで、 DSP7では、当該情報として、時間的に非常に変化し難いものを選ぶことによって、 1フレーム前の中間情報を現フレームに対する階調圧縮に利用する。このような構成をとることにより、実装してもメモリ使用量や回路規模が大きくなることを回避することができる。

次に、 DSP7の第 1の構成例の各部の詳細について、図面を参照して説明する。図 3は、トーンカーブ補正部 22の第 1の構成例を示している。当該第 1の構成例において、 LUTメモリ 41には、図 4に示すような単調増加のトーンカープに相当するルックアップテーブル（以下、 LUTと記述する）とトーンカーブの傾きを示す代表値 γが予め保持されている。なお、 LUTの代わりに、トーンカープに相当する関数を保持するようにしてもよい。テーブル参照部 42は、 LUTメモリ 41に保持されている LUTに基づいて対数輝度 log L (p) を対数輝度 logL_c (p) に補正する。

図 4は、トーンカーブの一例を示しており、横軸が入力輝度 L (p) を、縦軸がトーンカーブ補正後の輝度 L_c (p) を、それぞれ [0, 1] に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆 S字形のトーンカープを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ッブレや黒ッブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、後述するコントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な狭 DR画像が得られる。

なお、トーンカーブの傾きを示す代表値 γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値 γとすればよい。図 4に示されたトーン力ーブの場合、代表値 τ = 0· 67である。 ·

図 5は、トーンカープ補正部 22の第 2の構成例を示している。当該第 2の構成例は、第 1の構成例のように予め用意されている LUTを用いるのではなく、フレーム毎に代表値 _γを算出して、対数輝度 logL (p) を、対数輝度 logL_c (p) に補正するものである。第 2の構成例において、平均輝度算出部 51は、 1フレーム分の対数輝度 logL (p) の平均値 μを算出する。除算器 52は、所定の定数 logL_Tを平均値 μで除算し、代表値 yを算出する。 γメモリ 53は、除算器 5 2から入力された代表値 γを保持する。乗算器 54は、現フレームの対数輝度 log L (p)に、 γメモリ 53に保持されている 1フレーム前の代表値 γを乗算して、トーンカーブ補正後の対数輝度 log L_c (p) を算出する。

ここで、所定の定数 logL_Tを、中庸レベルの対数輝度と定めておけば、 1フレーム分の対数輝度 logL (p) の平均値が、 logL_Tと等しい値のトーンカーブ補正後の対数輝度 logL_e (p) に変換されることになる。

代表値 γはフレーム毎に算出されるが、現実的には各フレームの対数輝度 log L (p) の平均値 μに基づいて決定されるので、前後のフレームではあまり変化がないことが期待できる。従って、この代表値 γも、上述した縮小画像 logL _c i および輝度域情報 [Y_d, YJ と同様に、 1フレーム前のものを、現フレームに対するトーンカーブ補正に用いるようにしている。以下、代表値 γも、中間情報に含めることにする。

図 6は、トーンカープ補正部 22の第 3の構成例を示している。当該第 3の構成例は、いわば、第 1の構成例と第 2の構成例を組み合わせたものである。第 3 の構成例において、 LUTメモリ 6 1には、図 4に示されたようなトーンカープに相当する LUT と、トーンカーブの傾きを示す代表値 γ が予め保持されている。テーブル参照部 6 2は、 LUTメモリ 6 1に保持されている LUTに基づいて対数輝度 logL (p) を、対数輝度 logL_c' (p) に補正して平均輝度算出部 6 3および乗算器 66に出力する。

平均輝度算出部 6 3は、 1フレーム分の対数輝度 logL_c' (p) の平均値 μを算出して、除算器 64に出力する。除算器 64は、所定の定数 logL_Tを平均値で除算し、代表値 γ ₂を算出し、 γ ₂メモリ 6 5に保持させる。乗算器 66は、現フレームの対数輝度 logL_c, (p) に、 y ₂メモリ 6 5に保持されている 1フレーム前の代表値 y ₂を乗算して、トーンカープ補正後の対数輝度 logL_c (p) を算出する。乗算器 6 7は、代表値 γい γ ₂の積を代表値 γ (=γ _χ·γ ₂) として後段のコントラスト補正部 2 5に出力する。

次に、図 7は、縮小画像生成部 23の構成例を示している。縮小画像生成部 2 3のソート部 7 1は、前段のトーンカープ補正部 22から入力された 1フレーム分の対数輝度 logL_c (p) を、画像全体を mX n個のプロックに分割したときに属するプロックに応じて分類し、平均値計算部 72— 1乃至 72— N ( = mX n) に供給する。例えば、 1番目のブロックに分類されるものは平均値計算部 72— 1に供給され、 2番目のプロックに分類されるものは平均値計算部 72-2に供給される。以下同様であり、 N番目のブロックに分類されるものは平均値計算部 72— Nに供給される。以下、平均値計算部 72— 1乃至 72— Nを個々に区別する必要がない場合、単に平均値計算部 7 2と記述する。

平均値計算部 72— i ( i = l , 2， ···, N) は、 1フレーム分の対数輝度 log .L_c (p ) のうち、 i番目のブロックに分類される対数輝度 logL c (p) の平均値を算出して、合成部 73に出力する。合成部 7 3は、平均値計算部 72— iからそれぞれ入力される対数輝度 logL_c (p) の平均値を画素値とする mX n画素の縮小画像 logL_c iを生成し、後段の縮小画像メモリ 24に保持させる。

図 8は、平均値計算部 72の構成例を示している。平均値計算部 72の加算器 8 1は、前段のソート部 7 1から入力される対数輝度 logL _e (p) に、レジスタ (r ) 8 2が保持する値を加算して、レジスタ（r) 8 2が保持する値を更新する。除算器 8 3は、レジスタ 8 2が最終的に保持している値を、 1個のブロックを構成する画素数 Qで除算することにより、 1個のブロックに分類された Q個の対数輝度 logL_c (p) の平均値を算出する。

次に、図 9は、コントラスト捕正部 2 5の構成例を示している。コントラスト補正部 2 5の補間位置指定部 9 1は、前段のトーン力ーブ補正部 2 2から入力された対数輝度 logL_c (p) の画素位置 p (以下、補間位置 pとも記述する）を取得して、補間部 9 2に出力する。補間部 9 2は、縮小画像メモリ 24に保持されている 1フレーム前の縮小画像 logL_{c t}を用いて、補間位置 pに対応する画素 log L_{o l} (p) を補間により算出してコントラスト強調部 9 4に出力する。

ゲイン値設定部 9 3は、トーンカーブ補正部 2 2からの前フレームに対する代表値と、現在フレームの対数輝度 logL_c (p) に基づいて、現在フレームの対数輝度 logL_c (p)のコントラスト強調量を決めるゲイン値 g (p)を算出する。コントラスト強調部 94は、現在フレームの対数輝度 logL_c (p) を、ゲイン値 g (p) および縮小画像の補間値 logL_{e l} (p) に基づき、低周波数成分以外のコントラストが強調された対数輝度 logL_u (p) を算出する。

図 1 0は、補間部 9 2の構成例を示している。捕間部 9 2は、 1フレーム前の縮小画像 logL _c ,の補間位置 pの近傍の 4 X 4画素を用いた双 3次補間により、補間位置 Pに対応する画素 logL_{c l} (p) を補間するものである。

近傍選択部 1 0 1は、補間位置 pの入力を受けて、縮小画像メモリ 24に保持されている 1フレーム前の mX n画素の縮小画像 logL c iから、補間位置 pの近傍の 4 X 4画素の画素値 a [4][4]を取得して、積和部 1 04に出力する。ここで a [i][j]の表記は、画素値 aが i X jの 2次元配列データであることを示す。また、近傍選択部 1 0 1は、取得した画素値 a [4] [4]と補間位置 pとの水平方向の位置ずれ量 d x、垂直方向の位置ずれ量 d yを、それぞれ、水平係数算出部 1 0 2または垂直係数算出部 1 0 3に出力する。

ここで、補間位置: p、近傍の画素値 a [4][4]、位置ずれ量 d x， d yの関係について、図 1 1を参照して説明する。図 1 1の mX nのマス目は、 mX n画素の縮小画像 logL _c！を表している。いま、補間位置 p = (p x, p y) が与えられたとすると、補間位置！）に対応する縮小画像 log 上の位置 qは、 q = (q X, q y) = (p x/b x- 0. 5， P y /b y ~ 0. 5) である。ただし、（b x， b y) = (画像 logL_cの水平画素数/ m, 画像 logL_cの垂直画素数/ n) である。

補間位置 Pに対応する縮小画像上の位置 qから近傍画素を得るには、図 1 1においては斜線で示された q x _ 2 < x < q x + 2、 q y-2 < y < q y+ 2の範囲に位置する縮小画像 logL _c！の画素を取得すればよい。斜線で示された領域内の 4 X 4の" +" マークで示された位置が取得される画素の位置である。近傍画素と補間位置 pのずれ量（d x， d y) は、補間位置 qの左下方向の最も近い画素との差分とする。すなわち、ずれ量（d x， d y) = (q xの小数部， q yの小数部）である。

図 1 0に戻る。水平係数算出部 10 2は、近傍選択部 10 1から入力された水平方向ずれ量 d Xに基づき、水平方向の 3次補間係数 k _x[4]を計算する。同様に、垂直係数算出部 103は、近傍選択部 1 0 1から入力された垂直方向ずれ量 d y に基づき、垂直方向の 3次補間係数 k _y [4]を計算する。

例えば、水平方向の 3次補間係数 k_x[4]は、次式（1) 'を用いて計算する。 z =|dx-i+2| (3ζ³— 6z²+4)z6 (zく 1)

k_x[i] (-z³+6z²-12z+8)/6 (1く- zく 2)

0 その他

… （1) また、例えば、垂直方向の 3次補間係数 k _y[4]は、次式（2) を用いて計算する。 :=|dy-j+2|

(3z³ - 6z²+4) 6

k_y[j] = (一 z³+6z²—12z+8レ 6 (1く =zく 2)

. 0 その他

… （2) なお、 3次補間係数 k_x[4]， k_y[4]の計算には、上述した式（1)，（2) の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。積和部 1 04は、近傍の画素値 a[4][4]と、水平方向の補間係数 k _x[4]および垂直方向の補間係数 k_y[4]との積和計算により、縮小画像 logL_{c l}の補間位置 ί>の補間値 L_{c l} (p) を、次式（3) を用いて算出する。

4 4

logL₀| (p = ∑ ∑ au」u]'k_xLi]'k_y[j]

i=1 j=l

… （3) 次に、ゲイン値設定部 9 3について説明する。ゲイン値設定部 93は、上述したように、後段のコントラスト強調部 94により低周波数域以外が強調される際の強調量を調節するゲイン値 g (p) を設定するものである。ゲイン値 g (p) = 1である場合、コントラスト強調部 94においてコントラストは強調も抑制も行われない。ゲイン値 g (p) 〉 1である場合、その値に対応してコントラストが強調される。また、ゲイン値 g (p) < 1である場合、その値に対応してコントラス 1、が抑制される。

ゲイン値設定の概略を説明する。画像のコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば、強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカープとして傾き 1の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。

そこで、ゲイン値設定部 9 3では、トーンカーブの傾きの代表値 γが 1よりも小さい場合には、ゲイン値が 1より大きくなるように、トーンカーブの傾きの代表値 γの逆数 ΐΖγをゲイン値として採用する。

また、入力される対数輝度 log L_e (p) が白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとタリッビングが生じて逆に画像のディテールを失う結果となるので、入力される対数輝度 logL_c (p) が白レベルまたは黒レベルに近くなるに従って、ゲイン値が 1に近づくようするすなわち、代表値！の逆数 1/y = g _Qとして、ゲイン値 g (p) を次式（4) のように算出する。

g (p) = 1 + (g。— 1) Xattn (p)

… （4) ここで、 attn (p) は、減衰する係数であって、次式（5) を用いて計算される。

attn(p) = attn(logL_gray, logL_whj_te, logL_c (p)) logL_c(p) - logL

(2logL_gray-logL_white<logL_c(p)<logL_white) _ 1 その他

… （5) なお、式（5) において、 logL_{g r a y}は、中庸なグレイレベルの対数輝度を示し、 logL_{wh i t e}は、白クリップレベル（最大の白レベル）の対数輝度を示しており、どちらも予め設定されている定数である。

図 1 2は、ゲイン値設定部 93の構成例を示している。除算器 1 1 1は、前段から入力される代表値 γの逆数 1/Y = g。を算出して減算器 1 1 2に出力する。減算器 1 1 2は、（g。一 1) を演算して乗算器 1 1 8に出力する。

減算器 1 1 3は、対数輝度 logL。（p) と、中庸なグレイレベルの対数輝度 log L_{g r a y}の差（logL_c (p) -logL_{6 r a y}) を演算して、除算器 1 1 5に出力する。減算器 1 1 4は、白クリップレベルの対数輝度 logL_{wh i t e}と、対数輝度 logL_g _{r ay}の差（logL_{wh i t e}— logL_{g t}._{a y}) を演算して、除算器： I 1 5に出力する。除算器 1 1 5は、減算器 1 1 3の出力（logL_c (p) -logL_{g r a y}) を、減算器 1 14の出力（logL_{wh i t e}— logL_{g r a y}) で除算して、絶対値計算器 1 1 6に出力する。絶対値計算器 1 16は、除算器 1 1 5の出力の絶対値を計算してクリップ器 1 1 7に出力する。クリップ器 1 1 7は、絶対値計算器 1 1 6の出力が 1を超過する場合、その値を 1にクリッピングし、絶対値計算器 1 1 6の出力が 1を超過しない場合、その値をそのまま、 attn (p) として乗算器 1 1 8に出力する。乗算器 1 1 8は、減算器 1 1 2の出力に、クリップ器 1 1 7の出力を乗算して、加算器 1 1 9に出力する。加算器 1 1 9は、乗算器 1 1 8の出力に 1を加算し、演算結果をゲイン値 g (p) として後段に出力する。

次に、図 1 3は、コントラスト強調部 94の構成例を示している。減算器 1 2 1は、対数輝度 logL_c (p) と、縮小画像の補間値 logL_{c I} (p) との差（log L_c (p) -logL_{c l} (p)) を演算して、乗算器 1 22に出力する。乗算器 1 2 2は、減算器 1 21の出力とゲイン値 g (p) との積を演算して、加算器 1 23 に出力する。加算器 1 23は、乗算器 1 22の出力に、縮小画像の補間値 logL_c ！ (p) を加算して、コントラスト捕正がなされた対数輝度 logL_u (p) を後段に出力する。

なお、縮小画像の補間値 logL _{c t} (p) は、 mX n画素の縮小画像を元にして補間された値であるから、縮小前の画像 log L _cのごく低周波域成分だけをもつものである。

つまり、減算器 1 2 1の出力（logL_c (p) -logL_{c l} (ρ))·は、元の対数輝度 logL_c (p) からごく低域成分だけを差し引いたものである。このように輝度信号をごく低周波域の成分とそれ以外の成分の 2つに分離し、そのうち、低周波域成分以外をゲイン値 g (p) を乗算して強調した後、再び加算器 1 23により合成したものが、コントラスト補正がなされた対数輝度 logL_u (p) である。このように、コントラスト強調部 94では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値 g (p) で強調されるようになっている。従つて、コントラスト補正がなされた対数輝度 logL_u (p) は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。

次に、輝度域情報算出部 2 8および輝度域正規化部 3 0について説明する。まず、輝度域正規化処理の概要を説明する。 DSP 7による階調圧縮処理の目的は広 D R輝度画像を、ディスプレイ 1 1などの再生デバイスのダイナミックレンジに適合した狭 D R画像に変換することであり、そのために、再生デバイスのダイナミックレンジにあわせたトーンカーブがトーンカーブ補正部 2 2に予め用意されている。これにより、撮影された大多数の広 D R輝度画像を、適切に階調圧縮することができる。

しかしながら、撮影する被写体によっては、入射光のダイナミックレンジが元々それほど大きくないこともあり得るので、その画像に階調圧縮処理を施した場合、必要以上に階調圧縮が行われてしまい、再生デバイスの再生可能なダイナミックレンジよりも狭いレンジに、輝度が押し込められてしまうこともあり得る。これを抑止するために、輝度域正規化部 3 0では、階調圧縮処理の最終段階の処理として、ガンマ補正後の輝度信号 Y ( p ) のダイナミックレンジが、再生デパイスが再生可能なダイナミックレンジに一致するように、ガンマ補正後の輝度信号 Y ( p ) を正規化する。

図 1 4は、輝度域正規化部 3 0による輝度域正規化処理の様子を示している。同図の折れ線グラフは、横軸に輝度域正規化前のガンマ捕正された輝度 Yを示し、縦軸に輝度域正規化後の輝度 Y _nを示しており、階調変換曲線 aは、輝度 Yを Y _n に変換するときに用いる変換テーブルを示している。

階調変換曲線 aの求め方について説明する。折れ線グラフの下に示された斜線の図形 1 3 1は、輝度域正規化前の輝度画像 Yのヒストグラムの一例である。この例においては、ガンマ補正が行われた輝度域正規化前の段階で、ディジタルビデォカメラ 1が生成し得る最低輝度 Y _{m i n}から最高輝度 Y _{m a x}までのダイナミックレンジよりも狭いダイナミックレンジに階調圧縮された輝度画像が得られている。

このダイナミックレンジのままで再生デバイスに出力すると、再生デバイスの再生可能なダイナミックレンジが有効に使われないので、輝度域正規化前の輝度画像 Yの輝度分布が、再生デバイスのダイナミックレンジの全域に亘つて分布するように正規化を実行する。

そのためにまず、輝度域正規化前の輝度画像 Yのヒストグラム形状 1 31が分布する範囲 [Y_d， YJ を、輝度域正規化前の輝度画像 Yの輝度域情報として算出する。そして、再生デバイスの輝度域 [Y_nb， Y_nJ の上下端よりも若干内側の輝度 Y_na， Y_{n s}を設定し、横軸の輝度（Y_{mi n}， Y_d， Y_b， Y_{ma x}} が縦軸の輝度 {Y_nb， Y_na， Y_{n s}, Y_nc}に対応するように階調変換曲線ひを決定する。この階調変換曲線 αを用いて階調変換を行えば、折れ線グラフの左に示された斜線の図形 1 32のようなヒストグラム形状をもつ輝度画像 Υ_ηを得ることがでさる。

なお、輝度域正規化前の輝度域 [Y_d, YJ を、再生デバイスの輝度域 [Y_n _b， Y_no] よりも若干狭い輝度域 [Y_na, Y_{n s}] に写像するように、階調変換曲線ひを決定したが、その理由は、輝度 Y_nb， Y_nc付近での急激な輝度クリッピングが画像上に現れないようにするためである。

ここで、輝度 Y_na， Y_{n s}は、輝度 Y_nb, Y_ncに基づいて予め適切な値を設定されているものとする。

なお、輝度域正規化前の輝度域 [Y_d， YJ の取得は、輝度域情報算出部 28 が行い、階調変換曲線の決定および輝度 Y_n (ρ) の算出は、輝度域正規化部 30が実行する。

図 1 5は、輝度域情報算出部 28の構成例を示している。輝度域情報算出部 2 8において、間引き部 141は、ガンマ捕正部 27から入力された輝度 Υ (ρ) を、その画素位置]?に基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段の ΜΙΝソート部 142および MAXソート部 145に供給する。 MINソート部 142は、.比較部 143とレジスタ 144の組み合わせが k組直列に配置されており、入力された輝度 Y (p) を小さい順にレジスタ 144— 1 乃至 144一 fcに保持するようになされている。

例えば、比較部 143— 1は、間引き部 14 1からの輝度 Y (p) とレジスタ 144一 1の値を比較し、間引き部 14 1からの輝度 Y (p) がレジスタ 144 一 1の値よりも小さい場合、間引き部 141からの輝度 Y (p) を用いてレジスタ 144一 1の値を更新する。反対に、間引き部 14 1からの輝度 Y (p) がレジスタ 144— 1の値よりも小さくない場合、間引き部 141からの輝度 Y (p) は後段の比較部 143 _ 2に供給される。

比較部 143— 2は、比較部 143— 1からの輝度 Y (p) とレジスタ 1 44 _ 2の値を比較し、比較部 143 _ 1からの輝度 Y (p) がレジスタ 144— 2 の値よりも小さい場合、比較部 143— 1からの輝度 Y (p) を用いてレジスタ 1 44 _ 2の値を更新する。反対に、比較部 143— 1からの輝度 Y (p) がレジスタ 144一 2の値よりも小さくない場合、比較部 14 3— 1からの輝度 Y (p) は後段の比較部 143— 3に供給される。

比較部 143— 3以降においても同様であり、 1フレーム分の輝度 Y (p) が入力された段階で、レジスタ 144_ 1に輝度 Y (p) の最小値 Y_{mi n}が保持され、レジスタ 144— 2乃至 144一 kに、輝度 Y (p) が小さい順に保持されることになり、レジスタ 144— kに保持された輝度 Y (p) 力^ 輝度域情報の輝度 Y_dとして後段に出力される。

MAX ソート部 145は、比較部 146とレジスタ 147の組み合わせが k組直列に配置されており、入力された輝度 Y (p) を大きい順にレジスタ 147— 1乃至 147— kに保持するようになされている。

例えば、比較部 146— 1は、間引き部 1 4 1からの輝度 Y (p) とレジスタ 147 - 1の値を比較し、間引き部 14 1からの輝度 Y (p) がレジスタ 144 _ 1の値よりも大きい場合、間引き部 1 4 1からの輝度 Y (p) を用いてレジスタ 14 7— 1の値を更新する。反対に、間引き部 14 1からの輝度 Y (p) がレジスタ 147_ 1の値よりも大きくない場合、間引き部 141からの輝度 Y (p) は後段の比較部 146— 2に供給される。

比較部 146— 2は、比較部 146 _ 1力らの輝度 Y (p) とレジスタ 147 一 2の値を比較し、比較部 146— 1からの輝度 Y (p) がレジスタ 147— 2 の値よりも大きい場合、比較部 146— 1からの輝度 Y (p) を用いてレジスタ 147— 2の値を更新する。反対に、比較部 146— 1からの輝度 Y (p) がレジスタ 1 4 7— 2の値よりも大きくない場合、比較部 1 46— 1からの輝度 Y (p) は後段の比較部 146— 3に供給される。

比較部 146— 3以降においても同様であり、 1フレーム分の輝度 Y (p) カ入力された段階で、レジスタ 147— 1に輝度 Y (p) の最大値 Y_{ma x}が保持され、レジスタ 147 _ 2乃至 147— kに、輝度 Y (p) が大きい順に保持されることになり、レジスタ 147— kに保持された輝度 Y (p) 力輝度域情報の輝度 Y_bとして後段に出力される。

なお、 MIN ソート部 14 2および MAX ソート部 145に入力される輝度 Y (p)は、間引き部 141により間引きされたものであるので、間引きの間隔と、 MIN ソート部 142および MAXソート部 145の段数 kを適切に調整すれば、 1フレームの全画素のうち、例えば、上限および下限のそれぞれ 1 %等に相当する輝度 Y_d, Y_bを得ることが可能になる。

図 1 6は、輝度域正規化部 30の構成例を示している。輝度域正規化部 30は、上述したように、階調変換曲線 αを決定し、階調変換曲線ひを用いてガンマ捕正後の輝度 Υ (ρ) を輝度域正規化後の輝度 Υ_η (ρ) に変換するものである。

図 1 4に示されたように、階調変換曲線ひは 5本の線分で構成されているので、輝度域正規化部 30では、入力された輝度 Υ (ρ) がどの線分の範囲であるかを判別し、入力された輝度 Υ ( ρ ) に階調変換曲線ひを構成する 5本の線分のうちの 1つを適用して、輝度域正規化後の輝度 Υ_η (ρ) に変換する。

輝度域正規化部 3 0のセレクタ 1 5 1は、入力端子 iに入力される輝度 Y (p) に基づき、入力端子 a乃至 hにそれぞれ入力される輝度 Y_{ma x}, Y_b， Y_d, Y_mi _n, Y_nc, Y_{n s}， Y_na， Y_nbのうちの 4つの輝度を、出力端子 j乃至 mから出力する。この対応関係は、次式（6) の通りである。

r [h, h, c, d] i<d

[h, g, G, d] d<i<c

[j,k, l，tn] = [g, f , b, c] c<i<b

[f, e，a,b] b<i<a

Je, e, a, b] a<i

… （6) 減算器 1 52は、出力端子 kの出力と出力端子 jの出力の差を演算して、除算器 1 5 5に出力する。減算器 1 5 3は、出力端子 1の出力と減算器 1 54の出力の差を演算して、除算器 1 55に出力する。減算器 1 54は、輝度 Y (p) と出力端子 mの出力との差を演算して、乗算器 1 5 6に出力する。除算器 1 5 5は、減算器 1 5 2の出力と減算器 1 5 3の出力の比を演算して乗算器 1 5 6に出力する。乗算器 1 5 6は、除算器 1 5 5の出力と減算器 1 54の出力の積を演算して、加算器 1 57に出力する。加算器 1 5 7は、出力端子]'の出力と乗算器 1 5 6の出力を加算して出力する。

加算器 1 5 7の出力 Y_n (ρ) は、ガンマ補正後の輝度 Υ (ρ) に基づいて判別された階調変換曲線 _αの線分を示す次式（7) に示すとおりとなる。

Y_n(p) = ^ ^l(Y(p) -m)+j

I -m

… (7) 以上で、図 2に示された DSP 7を構成する各部の説明を終了する。

ところで、図 6に示されたトーンカーブ補正部 2 2の平均輝度算出部 6 3と、図 7に示された縮小画像生成部 2 3の平均輝度計算部 7 2が同様の計算を実行することに着目すれば、よりシンプルな回路構成で演算量を減少させることが可能である。具体的には、図 2のトーンカープ補正部 22、縮小画像生成部 2 3、縮小画像メモリ 24、およびコントラスト補正部 25を組み合わせて、図 1 7に示すような複合部を設ければよい。この複合部 1 60は、図 2に示されたトーンカーブ補正部 22、縮小画像生成部 23、縮小画像メモリ 24、およびコントラスト捕正部 25と置換可能なものである。

複合部 1 60の LUT メモリ 1 6 1には、図 4に示されたようなトーンカープに相当する LUTと'、トーンカーブの傾きを示す代表値 γ が予め保持されている。テーブル参照部 1 6 2は、上段から入力された対数輝度 logL (p) を、 LUTメモリ 1 6 1に保持されている LUTに基づいて対数輝度 logL_c, (p) に補正して縮小画像生成部 1 6 3および乗算器 1 72に出力する。

縮小画像生成部 1 63は、対数輝度画像 logL を mX n個のプロックに分割し、各ブロックに属する画素の対数輝度 logL_c, (p) の平均値を算出して、 m X n画素の第 1の縮小画像を生成し、第 1の縮小画像メモリ 1 64に保持させる。平均輝度算出部 6 3は、第 1の縮小画像メモリ 1 64に保持されている 1フレーム前の第 1の縮小画像の画素値の平均値 μを算出して、除算器 1 66に出力する。除算器 1 66は、所定の定数 logL_Tを平均値 μで除算し、代表値 γ ₂を算出し、 γ ₂メモリ 1 6 7に保持させる。乗算器 1 6 8は、第 1の縮小画像メモリ 1

64に保持されている第 1の縮小画像の各画素に、 γ ₂メモリ 6 5に保持されている代表値 V ₂を乗算して、第 2の縮小画像 logL_{c l}を生成し、第 2の縮小画像メモリ 1 69に持させる。

乗算器 1 70は、テーブル参照部 1 6 2から入力された現フレームの対数輝度 logL_c, (p) に、 γ ₂メモリ 1 6 7に保持されている 1フレーム前の代表値 γ ₂ を乗算して、トーンカープ補正後の対数輝度 logL_c (p) を算出する。乗算器 1 7 1は、代表値 _{γ ι}， ν ₂の積を代表値 γ (= 7 !- 7₂) としてゲイン値設定部 1

72に出力する。

ゲイン値設定部 1 Ί 2は、乗算器 1 7 1から入力された前フレームに対する代表値 Υと、乗算器 1 70から入力された現在フレームの対数輝度 logL^ (P) に基づいて、現在フレームの対数輝度 logL c (p) のコントラスト強調量を決めるゲイン値 g (p) を算出する。捕間位置指定部 1 73は、乗算器 1 70から入力された現在フレームの対数輝度 logL。（p) の画素位置！）（以下、補間位置 pとも記述する）を取得して、補間部 1 74に出力する。補間部 1 74は、第 2の縮小画像メモリ 1 6 9に保持されている 1フレーム前の第 2の縮小画像 logL_c iを用いて、補間位置：に対応する画素 logL_{c l} (p) を補間により算出してコントラスト強調部 1 75に出力する。

コントラスト強調部 1 Ί 5は、乗算器 1 70から入力された現在フレームの対数輝度 logL_c (p) について、ゲイン値 g (p) および縮小画像の捕間値 logL_c ！ (p) に基づき、低周波数成分以外のコントラストが強調された対数輝度 logL _u (p) を算出する。

この複合部 1 60を用いれば、平均輝度算出部 1 6 5は、第 1の縮小画像の m X n画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像 logLeの画素の平均値を算出する図 6の平均輝度算出部 6 3に比較して、演算量を削減することがヤきる。従って、演算に起因する遅延時間を短縮することができる。

次に、図 1 7に示された複合部 1 60が適用された DSP 7の第 1の構成例による総合的な階調圧縮処理について、図 1 8のフローチャートを参照して説明する。ステップ S 1において、 DSP7は、入力された現フレームの広 DR輝度画像 L を、 1フレーム前の広 DR輝度画像に対して算出され、保持されている中間情報 (第 2の縮小画像 logL。（p)、代表値、輝度域情報 [Y_d， YJ) を基づいて狭 DR輝度画像 Y_nに変換する。また、 DSP7は、現フレームの広 DR輝度画像 Lに対する中間情報を算出する。

ステップ S 2において、 DSP7は、算出した現フレームの広 DR輝度画像に対する中間情報を用いて、保持していた 1フレーム前の広 DR輝度画像に対する中間情報を更新する。

ステップ S 3において、 DSP7は、入力された現フレームの広 DR輝度画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップ S Iに戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。ステップ S 1における画素単位の処理の詳細を、図 1 9のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置 p) に対して実行される。

ステップ S I 1において、 DSP7に注目画素（画素位置 p) の輝度 L (p) が入力される。ステップ S 12において、対数変換部 21は、入力された輝度 L (p) を対数変換し、得られた対数輝度 logL (p) を複合部 160に出力する。ステップ S 13において、複合部 160のテーブル参照部 162は、対数変換部 21 から入力された対数輝度 logL (p)を、 LUTメモリ 16 1に保持されている LUT に基づいて対数輝度 logL_c, (p) に補正して縮小画像生成部 163および乗算器 172に出力する。これと同時に、 LUTメモリ 16 1は、トーンカープの傾きの代表値 V iを乗算器 1 71に出力する。乗算器 171は、代表値 y！と γ ₂メモリ 16 7に保持されている 1フレーム前の第 1の縮小画像に基づいて算出された γ ₂の積を代表値 γとしてゲイン値設定部 172の出力する。

ステップ S 14において、縮小画像生成部 163は、トーンカーブ補正後の 1 フレーム分の対数輝度 logL c ' (p) を元に、第 1の縮小画像を生成する。ここで、生成された第 1の縮小画像に基づき、代表値 γ ₂が算出される。また、生成された第 1の縮小画像に算出された代表値 γ ₂が乗算されて、第 2の縮小画像 log L_{c l}が生成される。

ステップ S i 5において、乗算器 1 70は、テーブル参照部 162から入力された現フレームの対数輝度 logLc, (p) に、 γ ₂メモリ 167に保持されている 1フレーム前の代表値 γ ₂を乗算して、トーンカーブ補正後の対数輝度 logL_c (p) を算出する。

ステップ S 1 6において、ゲイン値設定部 1 72は、乗算器 1 71から入力された前フレームに対する代表値 γと、乗算器 1 70から入力された現在フレームの対数輝度 logL_c (p) に基づいて、現在フレームの対数輝度 log L。（p) のコントラスト強調量を決めるゲイン値 g (P) を算出する。

ステップ S 1 7において、捕間部 1 74は、第 2の縮小画像メモリ 169に保持されている 1フレーム前の第 2の縮小画像 logL_{c l}を用いて、補間位置 pに対応する画素 logL_{c l} (p) を捕間により算出してコントラスト強調部 175に出力する。ステップ S 18において、コントラスト強調部 1 75は、第 2の縮小画像の補間値 logL_{c l} (p) およびゲイン値 g (p) に基づき、トーンカープ補正後の対数輝度 logL_c (p) の低周波域成分以外を強調し、その結果得られたコントラスト捕正された対数輝度 logL _u ( p )を後段の対数逆変換部 26に出力する。ステップ S 1 9において、対数逆変換部 26は、コントラスト補正された対数輝度 logL_u (P) を、通常軸の輝度 L_u (P) に変換し、ガンマ補正部 27に出力する。ステップ S 20において、ガンマ補正部 27は、所定のガンマ補正を行レ、、得られた輝度 Y (p) を輝度域情報算出部 28および輝度域正規化部 30に出力する。

ステップ S 2 1において、輝度域情報算出部 28は、 1フレーム分の輝度 Y (p) を元にして、輝度域情報 [Y_d， YJ を生成する。ステップ S 22において、輝度域正規化部 30は、輝度域情報メモリ 29に保持されている 1フレーム前の輝度域情報 [Y_d, YJ に基づき、ガンマ補正部 27から入力された輝度 Y (p) を正規化して、輝度 Y_n (ρ) を算出する。ステップ S 23において、輝度域正規化部 30は、輝度 Υ_η (Ρ) を、階調圧縮された狭 DR輝度画像の画素値として出力する。以上で、図 18のステップ S 1の処理の詳細な説明を終了する。

次に、図 18のステップ S 2の処理の詳細を、図 20のフローチャートを参照して説明する。ステップ S 31において、縮小画像生成部 163は、トーンカーブ補正後の 1フレーム分の対数輝度 logL c ' (p) を元に生成した第 1の縮小画像を用いて、第 1の縮小画像メモリ 164に保持されている第 1の縮小画像を更新する。

ステップ S 32において、除算器 166は、所定の定数 logL_Tを、平均輝度算出部 1 6 5から入力された平均値 μで除算して代表値 γ ₂を算出し、算出した代表値 V ₂を用いて、 ₂メモリ 1 6 7に保持されている代表値 Τ ₂を更新する。ステップ S 33において、乗算器 1 68は、ステップ S 3 1の処理で更新された第 1の縮小画像メモリ 1 64に保持されている第 1の縮小画像の各画素に、ステツプ S 3 2の処理で更新された γ ₂メモリ 6 5に保持されている代表値 γ ₂を乗算して、第 2の縮小画像 logL _c iを生成し、第 1の縮小画像メモリ 1 69に保持されている第 2の縮小画像 logL _{c λ}を更新する。

ステップ S 34において、輝度域情報算出部 28は、 1フレーム分の輝度 Υ (ρ) を元にして算出した輝度域情報 [Y_d, Y_b] を用いて、輝度域情報メモリ 29に保持されている 1フレーム前の輝度域情報 [Y_d， Y_b] を更新する。以上で、図 1 8のステップ S 2の処理の詳細な説明を終了する。

次に、図 2 1は、カラー画像である広 DR画像に対応した DSP7の構成例を示している。なお、 DSP7にラスタ順に入力される広 DR画像は、全ての画素がそれぞれ R， G, B成分の全てを有しているのではなく、 R， G, B成分のうちのいずれか 1つを有しているものとする。以下、 DSP 7の第 2の構成例に入力されるカラー画像である広 DR画像を、広 DR色モザイク画像と記述する。なお、広 DR色モザイク画像の各画素が R, G, B成分のうちのいずれを有しているかは、画素位置によって決定されている。

DSP 7にラスタ順に入力される広 DR色モザイク画像の画素値を、 L (p) と記述する。

DSP7の当該第 2の構成例において、デモザイク部 20 1は、画素毎に異なる色成分を有する 1フレーム分の画素値 L (p) を元に対し、全て画素が R, G, B成分を全て有するようにデモザイク処理を施して、色信号 [R (p), G (p)， B (p)] を生成し、色バランス調整部 202に出力する。以下、デモザイク部 20 1から出力される色信号からなる画像を広 DRカラー画像と記述する。

色バランス調整部 20 2は、画像全体の色バランスが適切になるように、 R， G, B成分それぞれを調整して、色信号 [R_b (p), G_b (p), B_b (p)] を生成する。なお、デモザイク部 2 0 1および色バランス調整部 2 0 2は、単板式 CCD ィメージセンサが搭載された一般的なディジタルビデオに実装されているものである。

対数変換部 2 0 3は、色バランス調整部 20 2から入力される色信号 [R_b (p), G_b (p), B_b (p)] を対数変換し、得られる対数色信号 [logR_b (p), logG _b (p), logB _b (p)] をトーンカーブ捕正部 2 0 4に出力する。トーンカープ補正部 20 4は、入力される対数色信号 [logR_b (p), logG_b (p), logB _b (p)] に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数色信号 [logR_c (p), logGc (p), log Be (p)] を縮小画像生成部 20 5およびコントラスト補正部 2 0 7に出力する。また、トーンカーブ補正部 20 4は、適用したトーンカープの傾きを示す代表値 γをコントラスト補正部 2 0 7に出力する。

縮小画像生成部 2 0 5は、トーンカーブ補正部 2 0 4から入力される 1フレーム分の対数色信号 [logR_c (p ), logGc (p), log Be (p)] を元に、縮小画像 logL_{c l}を生成して、縮小画像メモリ 20 6に保持させる。

コントラスト捕正部 2 0 7は、トーンカーブ補正部 204から入力される現フレームの対数色信号 [logR_c (p), log Go (p), log Be (p )] のトーンカーブ補正によって弱められているコントラストを、代表値 γおよび縮小画像メモリ 2 0 6に保持されている 1フレーム前の縮小画像 logL _c！に基づいて補正し、得られる対数色信号 [logR_u (p), logG_u (p), logB_u (p)] を対数逆変換部 2 0 8に出力する。対数逆変換部 2 0 8は、コントラストが補正された対数色信号 [log R_u (P), logGu (p), logB_u (p)] を、対数逆変換して、得られる通常軸の色信号 [R_u (P)， G_u (p), B_u (p)] をガンマ補正部 2 0 9に出力する。

ガンマ補正部 2 0 9は、対数逆変換部 2 0 8から入力される色信号 [R_u (p)， G_u (p), B_u (p)] に対して、再生デバイス（例えば、ディスプレイ 1 1 ) のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の色信号 [R_g (p)， Gu (p)， B_g (p)] を輝度情報算出部 2 1 0および輝度域正規化部 2 1 2に出力する。輝度情報算出部 210は、ガンマ補正部 ²09から入力される 1 フレーム分の色信号 [R_g (p)， G_u (p), B_g (p)] を輝度 Y (p) に変換した後、輝度 Y (ρ) の分布を示す輝度域情報を算出して輝度域情報メモリ 21 1 に保持させる。ここで、輝度域情報とは、 1フレームにおける輝度 Υ (ρ) の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度 Y_dと、最も明るい方に近い輝度 Y_bを輝度域情報 [Y_d, YJ として算出するようにする。

輝度域正規化部 212は、輝度域情報メモリ 21 1に保持されている 1フレーム前の輝度域情報 [Y_d, Y_b] に基づき、ガンマ補正部 209から入力される現フレームの色信号 [R_g (p)， G_u (p), B_g (p)] を、その分布範囲が生デバイス（例えば、ディスプレイ 1 1)が表現可能な範囲に合致するように変換し、得られる色信号 [R_n (p), G_n (p), B_n (p)] を、カラー画像である狭 DR 画像の画素値として後段に出力する。

以下説明したように、カラー画像に対応する DSP 7の第 2の構成例は、デモザイク部 201および色バランス部 202が追加されていること以外、図 2に示されたモノクロ画像に対応する第 1の構成例とほぼ同様であるが、各部の内部の構成がカラー画像に対応するために若干変更されている。

図 22は、トーンカーブ補正部 204の第 1の構成例を示している。当該第 1 の構成例において、輝度生成部 221は、入力される対数色信号 [logR_b (p), logG_b (p), logB _b (p)] の線形和を演算することにより対数輝度 logL_b (p) を生成し、減算器 222— R乃至 222— Bおよびテーブル参照部 224に出力する。

減算器 222— Rは、対数色信号 logR_b (p) から対数輝度 logL_b (p) を減算して、乗算器 225— Rに出力する。 LUTメモリ 223には、図 4に示されたようなトーンカーブに相当する LUT とトーンカーブの傾きを示す代表値 γが予め保持されている。テーブル参照部 224は、 LUTメモリ 223に保持されている LUTに基づいて対数輝度 logL (p) を対数輝度 logL_c (p) に補正し、加算器 226— R乃至 226—Bに出力する。乗算器 2 25— Rは、減算器 222 _Rの出力に、 LUTメモリ 223から入力される代表値 γを乗算して、加算器 226— Rに出力する。加算器 226— Rは、乗算器 22 5 _Rの出力と、対数輝度 logL_c (ρ) との和を演算して、トーン力ーブ補正後の対数色信号 logR_c (p) として後段に出力する。

なお、 G， B成分をそれぞれ処理する構成要素については、上述した R成分を処理する構成要素と同様であるので、その説明は省略する。

図 2 3は、トーンカーブ補正部 204の第 2の構成例を示している。当該第 2 の構成例において、輝度生成部 23 1は、入力される対数色信号 [logR_b (p), logG_b (p), logB_b (p)] の線形和を演算することにより対数輝度 logL_b (p) を生成し、平均輝度算出部 23 2に出力する。平均輝度算出部 232は、 1フレーム分の対数輝度 logL (p) の平均値 μを算出して、除算器 2 3 3に出力する。除算器 23 3は、所定の定数 logL_Tを平均値 μで除算して代表値 γを算出し、 γ メモリ 234に保持させる。

乗算器 2 3 5— Rは、現フレームの対数色信号 logR_b' (p) に、 γメモリ 2 3 4に保持されている 1フレーム前の代表値 Vを乗算して、トーンカープ補正後の対数色信号 logR_c (p) を算出する。

なお、 G, B成分をそれぞれ処理する構成要素については、上述した R成分を処理する構成要素と同様であるので、その説明は省略する。

図 24は、トーンカープ補正部 204の第 3の構成例を示している。当該第 3 の構成例は、いわば、第 1の構成例と第 2の構成例を組み合わせたものである。第 3の構成例において、輝度生成部 24 1は、入力される対数色信号 [logR_b(p)， logG_b (p), lo B_b (p)] の線形和を演算することにより対数輝度 logL_b (p) を生成し、減算器 242— R乃至 242— Bおよびテーブル参照部 244に出力する。

減算器 242— Rは、対数色信号 logR_b (p) から対数輝度 logL_b (p) を減算して、乗算器 2 50— Rに出力する。 LUTメモリ 243には、図 4に示されたようなトーンカーブに相当する LUT とトーンカーブの傾きを示す代表値 γ iが予め保持されている。テーブル参照部 244は、 LUTメモリ 243に保持されている LUTに基づいて対数輝度 log L (p) を、対数輝度 logL_c, (p) に補正して平均輝度算出部 245および乗算器 249に出力する。

平均輝度算出部 245は、 1フレーム分の対数輝度 logLc' (p) の平均値 μを算出して、除算器 246に出力する。除算器 246は、所定の定数 logL _τを平均値/!で除算して代表値 y ₂を算出し、 γ ₂メモリ 247に保持させる。乗算器 24 8は、代表値 γい τ/ ₂の積を代表値 γ (= !' γ ₂) として後段のコントラスト補正部 20 7に出力する。

乗算器 249は、現フレームの対数輝度 logL_c, (p) に、 γ ₂メモリ 24 7に保持されている 1フレーム前の代表値 γ ₂を乗算してトーンカーブ補正後の対数輝度 logL_c (p) を算出市、加算器 2 5 1— R乃至 2 5 1—Bに出力する。乗算器 2 50— Rは、減算器 242 _Rの出力に、乗算器 248から入力される代表値 γを乗算して、加算器 25 1一 Rに出力する。加算器 2 5 1一 Rは、乗算器 2 50— Rの出力と、乗算器 249の出力の積を演算し、トーンカーブ補正後の対数色信号 logR_c (p) として後段に出力する。

次に、図 2 5は、縮小画像生成部 205の構成例を示している。縮小画像生成部 20 5の輝度生成部 26 1は、入力されるトーンカーブ補正後の対数色信号 [logR _c (p), logG_c (p), logB _c (p)] の線形和を演算することにより対数輝度 logL_c (p) を生成し、ソート部 26 2に出力する。

ソート部 26 2は、対数輝度 logL_c (p) を、画像を mX n個のブロックに分割したときに属するプロックに応じて分類し、平均値計算部 26 3— 1乃至 26 3— N ( = mX ii) に供給する。例えば、 1番目のブロックに分類されるものは平均値計算部 26 3— 1に供給され、 2番目のブロックに分類されるものは平均値計算部 26 3— 2に供給される。以下同様であり、 N番目のブロックに分類されるものは平均値計算部 26 3— Nに供給される。平均値計算部 26 3— i ( i = 1 , 2, N) は、 1フレーム分の対数輝度 logL_c (p) のうち、 i番目のブロックに分類される対数輝度 logL c (p) の平均値を算出して、合成部 264に出力する。合成部 264は、平均値計算部 26 3— iからそれぞれ入力される対数輝度 log L。（p) の平均値を画素値とする m X n画素の縮小画像 logL_{c t}を生成し、後段の縮小画像メモリ 206に保持させる。

次に、図 26は、コントラスト補正部 207の構成例を示している。コントラスト補正部 25の輝度生成部 270は、入力されるトーンカーブ補正後の対数色信号 [logR_c (p), logG_c (p), logB_c (p)] の線形和を演算することにより対数輝度 logL c (p) を生成し、補間位置指定部 27 1およびゲイン値設定部 2 73に出力する。

補間位置指定部 2 71は、対数輝度 logl^ (p) の画素位置 p (以下、補間位置 pとも記述する）を取得して、補間部 272に出力する。 ¾|間部 2 72は、縮小画像メモリ 206に保持されている 1フレーム前の縮小画像 logL_{c l}を用いて、補間位置!）に対応する画素 logL_{c l} (p) を補間により算出して、減算器 274 一 R乃至 2 74— Bおよび加算器 276— R乃至 276—Bに出力する。

ゲイン値設定部 2 73は、トーンカーブ補正部 22から入力される前フレームに対する代表値 γと、現在フレームの対数輝度 logL_e (p) に基づいて、現在フレームの対数輝度 log L_c (p) のコントラスト強調量を決めるゲイン値 g (p) を算出し、乗算器 2 75— R乃至 27 5— Bに出力する。

減算器 2 74— Rは、対数色信号 logR_c (p) から補間値 logL_{c l} (p) を減算して、乗算器 275— Rに出力する。乗算器 27 5— Rは、減算器 274— R の出力に、ゲイン値 g (p) を乗算して、加算器 276— Rに出力する。加算器 276— Rは、乗算器 2 75— Rの出力に、補間値 logL_{c l} (p ) を加算して、得られたコントラスト補正後の対数色信号 logR_u (p) を後段に出力する。

なお、 G, B成分をそれぞれ処理する構成要素については、上述した R成分を処理する構成要素と同様であるので、その説明は省略する。次に、図 27は、図 21のトーンカーブ補正部 204、縮小画像生成部 205、縮小画像メモリ 206、およびコントラスト補正部 207と置換することができる複合部 300の構成例を示している。

複合部 300の輝度生成部 301は、入力される対数色信号 [logR_b ( p ) , log G_b (p), logB_b (p)] の線形和を演算することにより対数輝度 logL_b (p) を生成し、減算器 302— R乃至 302— Bおよびテーブル参照部 304に出力する。減算器 302— Rは、対数色信号 logR_b (p) から、対数輝度 logL_b (p) を減算して乗算器 316— Rに出力する。

LUTメモリ 303には、図 4に示されたようなトーンカープに相当する LUT と、トーンカーブの傾きを示す代表値 γ が予め保持されている。テーブル参照部 304は、輝度生成部 301から入力された対数輝度 logL (p) を、 LUTメモリ 303に保持されている LUTに基づいて対数輝度 logLc, (p) に補正し乗算器 305および縮小画像生成部 306に出力する。

乗算器 305は、テーブル参照部 304から入力された現フレームの対数輝度 logL_c, (p) に、 γ ₂メモリ 167に保持されている 1フレーム前の代表値 y ₂ を乗算して、トーンカーブ補正後の対数輝度 logL_c (p) を算出し、加算器 3 1 7— R乃至 31 7— Bに出力する。

縮小画像生成部 306は、対数輝度画像 logLc'を mX n個のプロックに分割し、各プロックに属する画素の対数輝度 logL_c, (p) の平均値を算出して、： m Χη画素の第 1の縮小画像を生成し、第 1の縮小画像メモリ 307に保持させる。平均輝度算出部 308は、第 1の縮小画像メモリ 307に保持されている 1フレーム前の第 1の縮小画像の画素値の平均値 μを算出して、除算器 309に出力する。除算器 309は、所定の定数 logL_Tを平均値 μで除算し、代表値 γ ₂を算出し、 γ ₂メモリ 310に保持させる。乗算器 31 1は、代表値 γい γ ₂の積を代表値 γ (= 7！ · γ ₂) として求め、ゲイン値設定部 3 1 5および乗算器 3 16 一 R乃至 3 16— Βに出力する。

乗算器 3 1 2は、第 1の縮小画像メモリ 164に保持されている第 1の縮小画像の各画素に、 γ ₂メモリ 3 10に保持されている代表値 _{y 2}を乗算して、第²の縮小画像 logL_{c l}を生成し、第 2の縮小画像メモリ 3 1 3'に持させる。

補間部 3 14は、第 2の縮小画像メモリ 16 9に保持されている 1フレーム前の第 2の縮小画像 logL_{c l}を用いて、乗算器 1 70から入力された現在フレームの対数輝度 logL_c (p) の画素位置!）（以下、補間位置 pとも記述する）に対応する画素 logL_{c l} (p) を補間により算出して、減算器 3 1 8—R乃至 3 1 8— Bおよび加算器 320— R乃至 320— Bに出力する。

ゲイン値設定部 3 1 5は、乗算器 3 1 1から入力された前フレームに対する代表値 γと、乗算器 305から入力ざれた現在フレームの対数輝度 logL_c (p) に基づいて、現在フレームの対数輝度 logL_c (p) のコントラスト強調量を決めるゲイン値 g (p) を算出し、乗算器 3 1 9—R乃至 3 1 9—Bに出力する。

乗算器 3 16 _Rは、減算器 302— Rの出力と代表値 yの積を演算して、加算器 3 1 7— Rに出力する。加算器 3 1 7— Rは、乗算器 3 1 6— Rの出力と、乗算器 305の出力との和を演算して、減算器 3 18— Rに出力する。減算器 3 1 8— Rは、加算器 3 1 7— Rの出力から、補間値 logL_{c l} (p) を減算して、乗算器 31 9一 Rに出力する。乗算器 3 1 9—Rは、減算器 3 1 8— Rの出力にゲイン値 g (p) を乗算して、加算器 320—Rに出力する。加算器 3 20— R は、乗算器 3 1 9— Rの出力と、補間値 logL_{c l} (p) の和を演算して、を加算して、得られたコントラスト補正後の対数色信号 logR_u (p)を後段に出力する。なお、 G， B成分をそれぞれ処理する構成要素については、上述した R成分を処理する構成要素と同様であるので、その説明は省略する。

この複合部 300を用いれば、平均輝度算出部 308は、第 1の縮小画像の m X n画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像 logLeの画素の平均値を算出する図 24の平均輝度算出部 24 5に比較して、演算量を削減することができる。従って、演算に起因する遅延時間を短縮することができる。

次に、図 28は、輝度域情報算出部 2 1 0の構成例を示している。輝度域情報算出部 210において、輝度生成部 331は、ガンマ補正後の色信号 [R _g ( p )， G_g (p), B_g (p)] の線形和を演算することにより輝度 Y (ρ) を生成し、間引き部 332に出力する。間引き部 332は、輝度生成部 33 1から入力された輝度 Υ (ρ) を、その画素位置 Ρに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段の ΜΙΝソート部 333および MAXソート部 336に供給する。

MINソート部 333は、比較部 334とレジスタ 335の組み合わせが k組直列に配置されており、入力された輝度 Y (p) を小さい順にレジスタ 335— 1 乃至 335— kに保持するようになされている。

例えば、比較部 334— 1は、間引き部 332からの輝度 Y (p) とレジスタ 335— 1の値を比較し、間引き部 332からの輝度 Y (p) がレジスタ 335 — 1の値よりも小さい場合、間引き部 332からの輝度 Y (p) を用いてレジスタ 335 _ 1の値を更新する。反対に、間引き部 332からの輝度 Y (p) がレジスタ 335— 1の値よりも小さくない場合、間引き部 332からの輝度 Y (p) は後段の比較部 334— 2に供給される。

比較部 334— 2以降においても同様であり、 1フレーム分の輝度 Y (p) が入力された段階で、レジスタ 335— 1に輝度 Y (p) の最小値 Y_{mi n}が保持され、レジスタ 335— 2乃至 335— kに、輝度 Y (p) が小さい順に保持されることになり、レジスタ 335— kに保持された輝度 Y (p) 力輝度域情報の輝度 Y_dとして後段に出力される。

MAX ソート部 336は、比較部 337とレジスタ 338の組み合わせが k組直列に配置されており、入力された輝度 Y (P) を大きい順にレジスタ 338— 1乃至 338— kに保持するようになされている。

例えば、比較部 337— 1は、間引き部 332からの輝度 Y (p) とレジスタ 338 - 1の値を比較し、間引き部 332からの輝度 Y (p ) がレジスタ 338 一 1の値よりも大きい場合、間引き部 332からの輝度 Y (p) を用いてレジスタ 338— 1の値を更新する。反対に、間引き部 33 2からの輝度 Y (p) がレジスタ 338— 1の値よりも大きくない場合、間引き部 332からの輝度 Y (p) は後段の比較部 337— 2に供給される。

比較部 337— 2以降においても同様であり、 1フレーム分の輝度 Y (p) 力 S 入力された段階で、レジスタ 338— 1に輝度 Y (p) の最大値 Y_{ma x}が保持され、レジスタ 338 _ 2乃至 338 _ kに、輝度 Y (p) が大きい順に保持されることになり、レジスタ 338— kに保持された輝度 Y (p) 力輝度域情報の輝度 Y_bとして後段に出力される。

なお、 MIN ソート部 333および MAX ソート部 336に入力される輝度 Y (P)は、間引き部 332により間引きされたものであるので、間引きの間隔と、 MINソート部 333および MAXソート部 336の段数 kを適切に調整すれば、 1フレームの全画素のうち、例えば上下 1%や 0.1%などに相当する輝度値 Y_d, Y_bを得ることが可能になる。

次に、図 27に示された複合部 300が適用された DSP 7の第 2の構成例による総合的な階調圧縮処理について、図 29のフローチャートを参照して説明する。ステップ S 41において、 DSP7 (デモザイク部 201) は、広 DR色モザィク画像にデモザイク処理を施して、広 DRカラー画像を生成し、その画素値、すなわち、色信号 [R (p), G (p), B (p)] をラスタ順に色バランス調整部 202に出力する。ステップ S 42において、 DSP7 (色バランス調整部 202) は、画像全体の色バランスが適切になるように、 R， G, B成分それぞれを調整して、色信号 [R_b (p), G_b (p), B_b (p)] を生成する。

ステップ S 43おいて、 DSP7は、入力される現フレームの広 DRカラー画像の色信号を、 1フレーム前の広 DRカラー画像に対して算出され、保持されている中間情報（第 2の縮小画像 logLc (p)、代表値 y、輝度域情報 [Y_d, YJ) を基づいて狭 DRカラー画像 Y_nに変換する。また、 DSP7は、現フレームの広 DRカラー画像 Lに対する中間情報を算出する。 .

ステップ S 44において、 DSP7は、算出した現フレームの広 D Rカラー画像 Lに対する中間情報を用いて、保持していた 1フレーム前の広 DRカラー画像に対する中間情報を更新する。

ステップ S 45において、 DSP7は、入力された現フレームの広 DRカラー画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップ S 4 1に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。

ステップ S 42における画素単位の処理の詳細を、図 30のフローチヤ一トを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置 p) に対して実行される。

ステップ S 5 1において、色パランス調整部 20 2は、生成した色信号 [R_b (p), G_b (p), B_b (p)] を、対数変換部 20 3に出力する。ステップ S 5 2において、対数変換部 203は、入力された色信号 [R_b (p), G_b (p), B _b (p)] を対数変換し、得られた対数色信号 [logR_b (p)， logG_b (p), log B_b (p)] を複合部 300に出力する。

ステップ S 5 3において、複合部 300の輝度生成部 30 1は、入力された対数色信号 [logR_b (p), logG_b (p), logB_b (p)] の線形和を演算することにより対数輝度 logL_b (p) を生成し、減算器 30 2— R乃至 302 _Bおよぴテ一プル参照部 3 04に出力する。ステップ S 54において、テーブル参照部 30 4は、入力された対数輝度 logL (p) を、 LUTメモリ 30 3に保持されている LUTに基づいて対数輝度 logLc, (p) に補正して、乗算器 305および縮小画像生成部 306に出力する。

ステップ S 5 5において、縮小画像生成部 306は、トーンカーブ補正後の 1 フレーム分の対数輝度 logL c ' (p) を元に、第 1の縮小画像を生成する。ここで、生成された第 1の縮小画像に基づき、代表値 ₂が算出される。また、生成された第 1の縮小画像に算出された代表値 γ ₂が乗算されて、第 2の縮小画像 log L_{c 1}が生成される。

ステップ S 5 6において、乗算器 3 05は、テーブル参照部 304から入力された現フレームの対数輝度 logL_c, (p) に、 γ ₂メモリ 3 1 0に保持されている 1フレーム前の代表値 γ ₂を乗算して、トーンカーブ補正後の対数輝度 logL_c

(p) を算出する。

ステップ S 57において、 R成分については減算器 30 2— R、乗算器 3 16 一 R、および加算器 3 1 7— Rの演算により、トーンカープ補正後の対数色信号 logR_e (p) が生成される。 G成分については減算器 302— G、乗算器 3 1 6 一 G、および加算器 3 1 7_Gの演算により、トーンカーブ補正後の対数色信号 logG_c (p) が生成される。 B成分については減算器 302— B、乗算器 3 1 6 一 B、および加算器 3 1 7 _Bの演算により、トーンカープ補正後の対数色信号 logB _c (p) が生成される。

ステップ S 58において、ゲイン値設定部 31 5は、乗算器 3 1 1から入力された前フレームに対する代表値 γと、乗算器 305から入力された現在フレームの対数輝度 logL_c (p) に基づいて、現在フレームの対数輝度 log L_c (p) のコントラスト強調量を決めるゲイン値 g (p) を算出する。ステップ S 5 9において、補間部 3 14は、第 2の縮小画像メモリ 3 1 3に保持されている 1フレーム前の第 2の縮小画像 logL_{c l}を用いて、補間位置！）に対応する画素 logL_{c l} (p) を捕間により算出する。

ステップ S 60において、 R成分については減算器 3 1 8— R、乗算器 3 1 9 _R、および加算器 3 20— Rの演算により、コントラスト補正後の対数色信号 logR_u (p) が生成される。 G成分については減算器 3 1 8— G、乗算器 3 1 9 一 G、および加算器 3 20 _Gの演算により、コントラスト補正後の対数色信号 logG_u (p) が生成される。 B成分については減算器 3 1 8— B、乗算器 3 1 9 一 B、および加算器 3 20— Bの演算により、コントラスト捕正後の対数色信号 logB_u (p) が生成される。

ステップ S 6 1において、対数逆変換部 208は、コントラスト補正後の対数色信号 [logR_u (p), logG_u (p), logB_u (p)] を、対数逆変換して、通常軸の色信号 [R,, (p), G_u (p)， B_u (p)] を生成し、ガンマ捕正部 20 9に出力する。ステップ S 6 2において、ガンマ補正部 20 9は、所定のガンマ補正を行い、得られたガンマ補正後の色信号 [R_g (p), G_g (p), B_g (p)] を輝度情報算出部 2 1 0および輝度域正規化部 2 1 2に出力する。

ステップ S 6 3において、輝度域情報算出部 2 10の輝度生成部 3 3 1は、ガンマ補正後の色信号 [R_g ( p ) , G_g (p), B_g (p)] を元にして輝度 Y (p) を生成する。ステップ S 64において、輝度域情報算出部 2 10の MIN ソート部 33 3および MAXソート部 3 36は、 1フレーム分の輝度 Y (p) を元にして、輝度域情報 [Y_d， Y_b] を生成する。

ステップ S 6 5において、輝度域正規化部 21 2は、輝度域情報メモリ 2 1 1 に保持されている 1フレーム前の輝度域情報 [Y_d， YJ に基づき、ガンマ補正部 209から入力された色信号 [R_g (p), G_g (p), B_g (p)] を正規化して、色信号 [R_n (p), G_n (p), B_n (p)] を算出する。ステップ S 66において、輝度域正規化部 21 2は、算出した色信号 [R_n (p), G_n (p), B_n (p)] を、階調圧縮された狭 DRカラー画像の画素値として出力する。以上で、図 2 9のステツプ S 4 3処理の詳細な説明を終了する。

次に、図 2 9のステップ S 44の処理の詳細を、図 3 1のフローチヤ一トを参照して説明する。ステップ S 7 1において、縮小画像生成部 306は、トーン力ーブ補正後の 1フレーム分の対数輝度 logL_c, (p) を元に生成した第 1の縮小画像を用いて、第 1の縮小画像メモリ 307に保持されている第 1の縮小画像を更新する。

ステップ S 7 2において、除算器 30 9は、所定の定数 logL_Tを、平均輝度算出部 1 6 5から入力された平均値 μで除算して代表値 γ ₂を算出し、算出した代表値 γ ₂を用いて、 γ ₂メモリ 3 1 0に保持されている代表値 γ ₂を更新する。ステップ S 7 3において、乗算器 3 1 2は、ステップ S 7 1の処理で更新された第 1の縮小画像メモリ 307に保持されている第 1の縮小画像の各画素に、ステツプ S 7 2の処理で更新された _{γ 2}メモリ 3 1 0に保持されている代表値 γ ₂ を乗算して、第 2の縮小画像 logL_{c l}を生成し、第 1の縮小画像メモリ 3 1 3に保持されている第 2の縮小画像 log L _{c 1}を更新する。

ステップ S 7 4において、輝度域情報算出部 2 1 0は、 1フレーム分の [ R _g ( p ) , G _g ( p )， B _g ( p ) ] を元にして生成した輝度域情報 [Y _d， Y _b ] を用いて、輝度域情報メモリ 2 1 1に保持されている 1フレーム前の輝度域情報 [Y _d， Y _b ] を更新する。以上で、図 2 9のステップ S 4 4の処理の詳細な説明を終了する。

以上で、 DSP 7の第 2の構成例の説明を終了する。

なお、例えば、図 5に示された平均輝度算出部 5 1、図 6に示された平均輝度算出部 6 3、図 1 7の平均輝度算出部 1 6 5、図 2 3に示された平均輝度算出部 2 3 2、図 2 4に示された平均輝度算出部 2 4 5のそれぞれにおいては、輝度値の平均値を算出するようにしたが、平均値を求める演算に、重み付き平均を用いるようにしてもよい。例えば、画像の中央部分の重みを周辺部分の重みよりも大きくすることによって、画像の中央部分に存在する被写体の反射率に重点をおいた明るさ補正を行うことが可能になる。

図 1 7に示された複合部 1 6 0および図 2 7に示された複合部 3 0 0においては、生成された第 1の縮小画像を保持するメモリと、生成された第 1の縮小画像に代表値 γ ₂を乗算して生成された第 2の縮小画像を保持するメモリが設けられているが、第 2の縮小画像が生成された時点で、第 1の縮小画像を保持する必要がなくなるので、この 2つのメモリを 1つにまとめることも可能である。

本実施の形態のように、本発明を、広 D R画像を撮影し、その階調を圧縮して、狭いダイナミックレンジのディスプレイに表示可能な画像として出力するディジタルビデオカメラに適用すれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で階調圧縮処理を実現でき、かつ、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない出力画像を得ることができるようになる。

このことによって、いままで実現できなかった高品質、かつ、安価なディジタルビデオカメラを実現することができる。

なお、本実施の形態においては、広 DR画像を、ディスプレイ 1 1を再現デバイスに想定して、階調圧縮処理を施すようにしたが、例えば、ディジタルビデオカメラ 1に外部接続するにモニタやプリンタの表現可能なダイナミックレンジに適合させて階調圧縮処理を施すことも可能である。

次に、図 3 2は、本発明を適用した画像処理システムの構成例を示している。この画像処理システム 501は、被写体を撮影し、通常よりも広いダイナミックレンジの画素値（輝度）を有する画素から構成される広 DR画像 Lを生成するビデォカメラ 502、ビデオカメラ 502によって生成された広 DR画像 Lの階調を、ディスプレイ 5 1 1が表示可能な階調の範囲に圧縮する画像処理装置 5 10、および画像処理装置 5 1 0によって生成される階調圧縮画像 L_uを表示するディスプレイ 1 1から構成される。

ビデオカメラ 502は、被写体の光画像を集光するレンズ 5 0 3、光画像の光量を調整する絞り 504、集光された光画像を光電変換して輝度信号を生成する CCDイメージセンサ 505、生成された輝度信号からノイズ成分を除去する前置増幅器 (Pre- amp .)506、ノイズ成分が除去された輝度信号を、例えば 14乃至 1 6ビット程度のビット幅のディジタルデータに変換する ADコンバータ（AZ D) 507、およびディジタル化された輝度を有する画素から構成される広 DR 画像 Lを画像処理装置 5 10に出力する Iノ0インタフェース（ I /O) 508 から構成される。

図 3 2は、画像処理システム 1の動作概要を示している。ステップ S 10 1において、ビデオカメラ 50 2は、被写体を撮影し、対応する広 DR画像 Lを生成して、画像処理装置 5 1 0に出力する。ステップ S 1 02において、画像処理装置 5 1 0は、広 DR画像 Lに階調圧縮処理を施して階調圧縮画像 L_uを生成し、ディスプレイ 5 1 1に出力する。ステップ S 1 03において、ディスプレイ 5 1 1は、階調圧縮画像 L_uを表示する。

次に、図 34は、画像処理装置 5 1 0の第 1の構成例を示している。画像処理装置 5 1 0のトーンカープ補正部 5 2 1は、ビデオカメラ 5 0 2から入力される広 D R画像 Lを、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正し、その結果として得られるトーンカーブ補正画像 L _cを、平滑化輝度生成部 5 2 2、ゲイン値設定部 5 2 3、およびコントラスト補正部 5 2 4に出力する。なお、このトーンカープ補正画像 L _eは、階調が圧縮されており、階調が圧縮されたことに起因して、コントラストが弱められたものとなっている。また、トーンカープ補正部 5 2 1は、補正に用いたトーンカーブの傾きを示す代表値 γをゲイン値設定部 5 2 3に出力する。

図 3 5は、トーンカーブ補正部 5 2 1の構成例を示している。トーンカーブ補正部 5 2 1の LUT メモリ 5 3 1には、図 3 6に示すような単調増加のトーン力ープに相当するルックアップテーブル（以下、 LUTと記述する）と、トーンカーブの傾きを示す代表値 yが予め保持されている。なお、 LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部 5 3 2は、 LUTメモリ 5 3 1に保持されている LUTに基づき、広 D R画像 Lを、トーン力ーブ補正画像 L _cに補正する。

図 3 6は、トーンカーブの一例を示しており、横軸が広 D R画像 Lの輝度を、縦軸が補正後のトーンカーブ補正画像 L _cの輝度を、それぞれ [ 0 , 1 ] に正規ィ匕して表示している。図 3 6に示されたトーンカーブは、正規化された広 D R画像 Lの輝度値が 0 . 5よりも大きい場合にはその値を補正せず、正規化された広 D R画像 Lの輝度値が 0 . 5よりも小さい場合には、その値が小さいほど、大きな補正量で補正する。つまり、ディスプレイ 5 1 1に表示されたとき、画像の中の暗い領域が黒くつぶれないように補正が行われる。なお、トーンカーブの傾きを示す代表値 γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値 γとすればよい。例えば、図 3 6に示されたトーンカーブの代表値は、 y = 0 . 9 4である。

図 3 4に戻る。平滑化輝度生成部 5 2 2は、トーンカーブ補正画像 L。の輝度を平滑化し、得られる平滑化画像の輝度 L _{c l} ( p ) をコントラスト補正部 2 4に出力する。図 3 7は、平滑化輝度生成部 22の構成例を示している。

平滑化輝度生成部 52 2の縮小画像生成部 54 1は、トーンカーブ補正部 5 2 1から入力されたトーンカープ補正画像 L_cの画素を、その画素位置に対応して mX 11プロックに分類し、各プロックに分類された画素の輝度の平均値を画素とする縮小画像 L_{c l}を生成する。縮小画像メモリ 542は、生成された mXn画素の縮小画像 L_{c l}を保持する。補間部 54 3は、順次指定される画素位置：の輝度を、縮小画像メモリ 542に保持されている縮小画像の画素を用いた補間処理により算出して、得られた補間値 L_{c l} (p) を、平滑化画像の画素の輝度としてコントラスト補正部 5 24に出力する。ここで、 p= (x, y) は、画素位置を示す座標またはべタトルである。従って、補間部 543から出力される平滑化画像のサイズは、トーンカーブ補正画像 L _eのサイズは同一である。

すなわち、平滑化輝度生成部 5 22では、トーンカーブ補正画像 L_cが縮小されて縮小画像 L _{c t}が生成され、保持された縮小画像 L _{c 1}が利用されて平滑化画像の輝度 L_{c l} (p) が 1画素ずつ補間演算によって算出されることになる。

従来では、上述したように、効果的な階調圧縮処理を実施するためには比較的大きなサイズのフィルタ処理が必要であつたが、平滑化輝度生成部 5 2 2では、 mX n画素の縮小画像を保持する縮小画像メモリ 54 2を設ければ済むことになる。

図 38は、図 3 7の縮小画像生成部 54 1の構成例を示している。縮小画像生成部 54 1のソート部 5 5 1は、前段のトーンカーブ補正部 5 2 1から入力されたトーンカーブ補正画像 L _eの画素を、その画素位置に応じて mX n個のプロックに分類し、平均値計算部 5 5 2— 1乃至 5 5 2— N ( = mX n) に供給する。例えば、 1番目のブロックに分類されたものは平均値計算部 5 5 2— 1に供給され、 2番目のプロックに分類されたものは平均値計算部 5 5 2— 2に供給される。以下同様であり、 N番目のブロックに分類されたものは平均値計算部 5 5 2— N に供給される。以下、平均値計算部 5 5 2— 1乃至 5 5 2—Nを個々に区別する必要がない場合、単に平均値計算部 5 5 2と記述する。平均値計算部 5 5 2— i ( i = l， 2， ···， N) は、 i番目のプロックに分類されたトーンカーブ補正画像 L _cの画素の輝度の平均値を算出して、合成部 5 5 3に出力する。合成部 5 5 3は、平均値計算部 5 5 2— iからそれぞれ入力される輝度の平均値を画素値とする m X n画素の縮小画像を生成する。

図 3 9は、図 3 8の平均値計算部 5 5 2の構成例を示している。平均値計算部 5 5 2の加算器 5 6 1は、レジスタ（r ) 5 6 2が保持する値に、前段のソート部 5 5 1から入力されるトーンカーブ補正画像 L _cの輝度を加算することにより、レジスタ 5 6 2が保持する値を更新する。除算器 5 6 3は、レジスタ 5 6 2が最終的に保持している値を、 1個のプロックを構成する画素数 Qで除算することにより、 1個のプロックに分類された Q個の画素の輝度の平均値を算出する。

図 4 0は、図 3 7の補間部 5 4 3の構成例を示している。補間部 5 4 3の近傍選択部 5 7 1は、補間位置 pの入力を受けて、縮小画像メモリ 5 4 2に保持されている m X n画素の縮小画像 L _{c t}から、補間位置 pの近傍の 4 X 4画素の輝度 a [4][4]を取得して、積和部 5 7 4に出力する。

ここで a [i][j]の表記は、輝度 aが i X j の 2次元配列データであることを示す。また、近傍選択部 5 7 1は、取得した輝度 a [4][4]と補間位置 pとの水平方向の位置ずれ量 d x、垂直方向の位置ずれ量 d yを、それぞれ、水平係数算出部 5 7 2または垂直係数算出部 5 7 3に出力する。

なお、補間位置 P、近傍の輝度 a [4][4]、位置ずれ量 d X , d yの関係は、図 1 1を参照して上述したものと同様であるので、その説明は省略する。

水平係数算出部 5 7 2は、近傍選択部 7 1から入力された水平方向ずれ量 d X に基づき、水平方向の 3次補間係数 k _x [4]を計算する。同様に、垂直係数算出部 5 7 3は、近傍選択部 5 7 1から入力された垂直方向ずれ量 d yに基づき、垂直方向の 3次補間係数 k _y [4]を計算する。

例えば、水平方向の 3次補間係数 k _x [4]は、上述した式（1 ) を用いて計算する。

また、例えば、垂直方向の 3次補間係数 k _y [4]は、上述した式（2 ) を用いて計算する。

なお、 3次補間係数 k_x[4]， k_y [4]の計算には、上述した式（1), (2) の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。積和部 5 74は、近傍の画素の輝度 a[4][4]と、水平方向の補間係数 k _x[4]およぴ垂直方向の補間係数 k_y [4]との積和計算により、縮小画像 L_{c t}の捕間位置 pの補間値 L_{c l} (p) を、上述した式（3) を用いて算出する。

図 34に戻る。ゲイン設定部 5 23は、トーンカーブ補正部 52 1から入力される代表値 γに基づき、コントラスト補正部 5 24において平滑化画像の輝度 L _{c l} (p) のコントラストを補正するときの補正量を調整するゲイン値 g (p) を各画素位置に対して算出し、コントラスト補正部 5 24に出力する。

ここで、ゲイン値 g (p) について説明する。ゲイン値 g (p) = 1である場合、コントラスト補正部 5 24においてコントラストは強調も抑制も行われなレ、。ゲイン値 g (p) > 1である場合、その値に対応してコントラストが強調される。反対に、ゲイン値 g (p) く 1である場合、その値に対応してコントラストが抑制される。

なお、ゲイン設定部 523によるゲイン値設定の概略については、上述したゲィン設定部 9 3によるゲイン値設定の概略と同様であるのでその説明は省略する。

図 41は、ゲイン値設定部 5 23の構成例を示している。除算器 58 1は、前段から入力される代表値 yの逆数 lZy = g。を算出して減算器 58 2に出力する。減算器 5 8 2は、（g。一 1) を演算して乗算器 588に出力する。

減算器 5 8 3は、トーンカープ補正画像 L_cの各輝度と、中庸なグレイレベルの輝度 L_{g r a y}の差（L_c— L_{g r a y}) を演算して、除算器⁵ 8 5に出力する。減算器 584は、白クリップレベルの輝度 L_{wh i t e}と、輝度 L_{g r a y}の差（L_{wh i t e} -L_{g l}. _{a y}) を演算して、除算器 5 85に出力する。除算器 5 8 5は、減算器 5 8 3の出力（L_c—L_{g r ay}) を、減算器 584の出力（L_{wh i t e}— L_{g r a y}) で除算して、絶対値計算器 5 86に出力する。絶対値計算器 58 6は、除算器 5 8 5の出力の絶対値を計算してクリップ器 5 87に出力する。クリップ器 58 7は、絶対値計算器 586の出力が 1を超過する場合、その値を 1にクリッピングし、絶対値計算器 586の出力が 1を超過しない場合、その値をそのまま、 attn (p) として乗算器 588に出力する。

乗算器 5 88は、減算器 58 2の出力に、クリップ器 58 7の出力を乗算して、加算器 58 9に出力する。加算器 5 8 9は、乗算器 58 8の出力に 1を加算し、演算結果をゲイン値 g (p) として後段に出力する。 .

図 34に戻る。コントラスト補正部 524は、ゲイン値設定部 523から入力される各画素位置 pのゲイン値 g (p) および平滑化輝度生成部 5 22から入力される平滑化画像の輝度 L_c i (p) に基づき、コントラストが弱められているトーンカーブ補正画像 L_cのコントラストを強調して階調圧縮画像 L_uを生成する。図 42は、コントラスト補正部 5 24の構成例を示している。コントラスト補正部 5 24の減算器 59 1は、トーンカープ補正画像 L_cの各画素の輝度 L_c (p) と、平滑化画像の対応する画素の輝度（すなわち、縮小画像の補間値 L_{c l} (p)) との差（L_c (p) -L_{c l} (p)) を演算して、乗算器 5 92に出力する。乗算器 5 92は、減算器 5 9 1の出力と、ゲイン値設定部 5 23から入力されたゲイン値 g (p) との積を演算して、加算器 5 9 3に出力する。加算器 59 3は、乗算器 5 9 2の出力に、平滑化画像の画素の輝度（縮小画像の補間値 L_{c l} (p)) を加算して、その結果得られた輝度 L_u (p) を、コントラスト補正がなされた階調圧縮画像 L_uを構成する画素の輝度として後段に出力する。

なお、平滑化画像の画素の輝度（縮小画像の補間値 L_{c l} (p)) は、 mX n画素の縮小画像 L_c iの画素を元にして補間された値であるから、縮小前のトーン力一プ補正画像 L cのごく低周波域成分だけをもつものである。

従って、減算器 5 9 1の出力（L_c (p) -L_c！ (p)) は、元のトーンカープ補正画像 logLeから、ごく低域成分だけを差し引いたものとなる。このように輝度信号を、ごく低周波域の成分とそれ以外の成分に分離し、そのうち、低周波域成分以外（減算器 5 9 1の出力）を、ゲイン値 g (p) を乗算することによってコントラストを強調した後、再び加算器 5 93により合成したものが、コントラスト補正がなされた階調圧縮画像の輝度 L_u (p) である。

このように、コントラスト補正部 5 24では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値 g (p)で強調されるようになされている。従って、コントラスト補正がなされた階調圧縮画像の輝度 L_u (p) は、高周波域だけを強調したときに目立つ、エツジ部分の局所的なオーバーシユートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。

次に、画像処理装置 5 10の第 1の構成例による階調圧縮画像生成処理'（すなわち、図 33のフローチャートを参照して上述したステップ S 10 2の処理）の詳細について、図 43のフローチャートを参照して説明する。

ステップ S 1 1 1において、トーンカーブ補正部 52 1は、ビデオカメラ 50 2から入力された広 DR画像 Lの輝度を、予め用意されている LUT に基づいて捕正し、その結果として得られるトーンカーブ補正画像 L_cを、平滑化輝度生成部 5 2 2、ゲイン値設定部 5 23、およびコントラスト補正部 5 24に出力する。また、トーンカーブ補正部 5 21は、補正に用いたトーンカーブの傾きを示す代表値 Vをゲイン値設定部 5 23に出力する。

ステップ S 1 1 2において、平滑化輝度生成部 5 22は、トーンカーブ補正画像 L。を縮小して、縮小画像 L_{c l}を生成し、さらに、縮小画像 L_{c l}の画素を用いた補間演算により、平滑化画像の画素の輝度 L_{c l} (p) を算出して、コントラスト補正部 5 24に出力する。

ステップ S 1 1 3において、ゲイン設定部 523は、トーンカーブ補正部 5 2 1から入力された代表値 T に基づき、コントラスト補正部 5 24において平滑化画像の輝度 L_{c l} (p) のコントラストを補正するときの補正量を調整するゲイン値 g (p)を各画素位置に対して算出し、コントラスト補正部 5 24に出力する。なお、ステップ S I 1 2の処理と、ステップ S 1 1 3の処理は、並行して実施することが可能である。ステップ S 1 1 4において、コントラスト捕正部 5 2 4は、ゲイン値設定部 5 2 3から入力された各画素位置 pのゲイン値 g ( p ) および平滑化輝度生成部 5 2 2から入力される平滑化画像の輝度 L _{c l} ( p ) に基づき、トーンカーブ補正画像 L _eの輝度を捕正して、階調圧縮画像 L _uの面素の輝度 L _u ( p ) を算出する。このようにして得られた、コントラスト補正がなされた階調圧縮画像 L _uは、高周波域だけを強調したときに目立つ、ェッジ部分の局所的なオーバーシユートは発生せず、見た目にもごく自然にコントラストが強調された画像となる。以上で、画像処理装置 5 1 0の第 1の構成例による階調圧縮画像生成処理の説明を終了する。

次に、図 4 4は、画像処理装置 5 1 0の第 2の構成例を示している。この第 2 の構成例は、図 3 4に示された第 1の構成例のトーンカープ捕正部 5 2 1の上段に、ビデオカメラ 5 0 1から入力される広 D R画像 Lの輝度を対数変換する対数変換部 6 0 1を設け、さらに、第 1の構成例のコントラスト補正部 5 2 4の下段に、コントラスト補正部 5 2 4の出力を対数逆変換する対数逆変換部 6 0 2を設けたものである。

画像処理装置 5 1 0の第 2の構成例を構成する対数変換部 6 0 1および対数逆変換部 6 0 2以外の構成要素については、図 3 4の第 1の構成例と同等であって、同一の符号を付しているので、その説明は適宜省略する。ただし、第 2の構成例において、トーンカーブ補正部 5 2 1乃至コントラスト補正部 5 2 4は、それぞれ対数変換された輝度を処理することになる。

第 2の構成例におけるトーンカーブ補正部 5 2 1では、例えば、図 4に示されたトーンカーブが適用される。図 4の例のように、単調増加であって、緩やかな逆 S字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ッブレゃ黒ッブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な階調圧縮画像 L _uを得ることができる。このトーンカーブの場合、代表値 γ = 0. 67である。

次に、画像処理装置 5 1 0の第 2の構成例による階調圧縮画像生成処理の詳細について、図 45のフローチャートを参照して説明する。

ステップ S 1 21において、対数変換部 60 1は、ビデオカメラ 50 2力、ら入力された広 DR画像 Lの輝度を対数変換し、その結果得られた対数広 DR画像 logLをトーンカープ補正部 521に出力する。

ステップ S 1 22において、トーンカープ補正部 5 2 1は、対数広 DR画像 log Lの輝度を、予め用意されている、例えば、図 4に示されたトーンカーブに相当する LUTに基づいて補正し、その結果として得られた対数トーンカープ補正画像 logL _cを、平滑化輝度生成部 5 22、ゲイン値設定部 5 23、およびコントラスト捕正部 524に出力する。また、トーンカーブ捕正部 5 2 1は、補正に用いたトーンカーブの傾きを示す代表値 γをゲイン値設定部 5 23に出力する。

ステップ S 1 23において、平滑化輝度生成部 5 22は、対数トーンカーブ補正画像 logL _cを縮小して、対数縮小画像 logL _{c l}を生成し、さらに、対数縮小画像 logL _e iの画素を用いた補間演算により、対数平滑化画像の画素の輝度 logL _c , (p) を算出して、コントラスト補正部 5 24に出力する。

ステップ S 1 24において、ゲイン設定部 52 3は、トーンカーブ補正部 5 2 1から入力された代表値 γに基づき、コントラスト補正部 5 24において対数平滑化画像の輝度 logL _{e t} (p) のコントラストを補正するときの補正量を調整するゲイン値 g (p) を各画素位置に対して算出し、コントラスト補正部 5 24に出力する。

なお、ステップ S 1 23の処理と、ステップ S 1 24の処理は、並行して実施することが可能である。

ステップ S 1 25において、コントラスト補正部 5 24は、ゲイン値設定部 5 23から入力された各画素位置 pのゲイン値 g (p) および平滑化輝度生成部 5 22から入力される対数平滑化画像の輝度 logL_c i (p) に基づき、対数トーンカーブ補正画像 logL _cの輝度を補正して、対数階調圧縮画像 logL _uの画素の輝度 log L _u ( p ) を算出し、対数逆変換部 6 0 2に出力する。

ステップ S 1 2 6において、対数逆変換部 6 0 2は、対数階調圧縮画像 log L _u の画素の輝度 log L _u ( p ) を対数逆変換して、その結果得られた L _u ( p ) を階調圧縮画像 L _uの画素の輝度として出力する。

このようにして得られた、コントラスト補正がなされた階調圧縮画像 L _uは、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ッブレや黒ッブレが少ない良好な色調となる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な画像となる。以上で、画像処理装置 5 1 0の第 2の構成例による階調圧縮画像生成処理の説明を終了する。

以上説明したように、本発明の一実施の形態である画像処理装置 5 1 0によれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で、通常よりも広いダイナミックレンジの輝度を有する広 D R画像を、見栄得を損なうことなく、表示可能な輝度のダイナミックレンジがより狭いディスプレイ 5 1 1に表示させることができる階調圧縮画像に変換することが可能となる。また、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない階調圧縮画像を得ることができる。

勿論、画像処理装置 5 1 0は、広 D R画像を、ディスプレイ 5 1 1以外のプリンタゃプロジェクタが表現可能なダイナミックレンジに適合させて、広 D R画像を階調圧縮画像に変換することが可能である。

なお、本発明は、例えば、ディジタルビデオカメラ、ディジタルスチルカメラの撮影デバイスの他、ディスプレイ、プリンタ、プロジェクタ等の表現デバイスに内蔵される画像信号処理回路に適用することができる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをィンストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図 4 6は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ 6 2 0は、 CPU(Central Processing Unit) 6 2 1を内蔵している。 CPU 6 2 1にはバス 6 2 4を介して、入出力ィンタフェース 6 2 5が接続されている。バス 6 2 4 には、 ROM(Read Only Memory) 6 2 2 および RAM(Random Access Memory) 6 2 3が接続されている。

入出力インタフェース 6 2 5には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部 6 2 6、処理操作画面や処理結果の画像を表示デバイスに出力する出力部 6 2 7、プログラムや各種データを格納するハードディスクドライプなどよりなる記憶部 6 2 8、ビデオ力メラ 5 0 2等と画像データを通信する I /〇インタフェース 6 2 9が接続されている。また、磁気ディスク 6 3 1 (フレキシブルディスクを含む）、光ディスク 6 3 2 (CD-R OM(Com act Disc-Read Only Mem ory)、 DVD (Digital Versatile Disc)を含む）、光磁気ディスク 6 3 3 (MD (Mini Disc)を含む）、もしくは半導体メモリ 6 3 4 などの記録媒体に対してデータを読み書きするドライブ 6 3 0が接続されている。 . CPU 6 2 1は、 ROM 6 2 2に記憶されているプログラム、または磁気ディスク 6 3 1乃至半導体メモリ 6 3 4から読み出されて記憶部 6 2 8にインスト一ルされ、記憶部 6 2 8から RAM 6 2 3にロードされたプログラムに従って各種の処理を実行する。 RAM 6 2 3にはまた、 CPU 6 2 1が各種の処理を実行する上において必要なデータなども適宜記憶される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に従って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書には、日本国特許出願 2 0 0 3— 0 0 3 1 3 4 (2003年 1月 9 日出願）および 2 0 0 3— 0 0 3 1 3 5 (2003年 1月 9日出願）の特許請求の範囲、明細書、図面、および要約書の全内容が参照され、ここに組み込まれている。産業上の利用可能性

以上のように、本発明によれば、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することが可能となる。

また、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、適切に画像のコントラストを強調することが可能となる。

Claims

請求の範囲

1 . 入力画像から縮小画像を生成する縮小画像生成手段と、

前記縮小画像に基づき、前記入力画像の補正情報を取得する補正情報取得手段と、

前記入力画像の階調を変換する階調変換手段と

を含み、

前記階調変換手段は、前記階調の変換を行う前および/または後の処理として、前記補正情報を用いて前記入力画像のコントラストを補正する

ことを特徴とする画像処理装置。

2 . 前記縮小画像を構成する画素を用いた補間演算により、前記入力画像を構成する画素の輝度 L。を平滑化した平滑化画像を生成する平滑化手段を

さらに含み、

前記階調変換手段は、前記画像を構成する画素の輝度 L _c、前記平滑化画像を構成する画素の輝度 Lいおよび所定のゲイン値 gに基づき、コントラスト補正画像を生成する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記縮小画像を構成する画素を用いた補間演算により、前記入力画像を構成する画素の輝度 L。を平滑化した平滑化画像を生成する平滑化手段と、

コントラストを捕正するときに用いるゲイン値 gを設定するゲイン値設定手段と

さらに含み、

前記前記階調変換手段は、前記入力画像を構成する画素の輝度 L _c、前記平滑化画像を構成する画素の輝度 Lいおよびゲイン値 gに基づき、コントラスト補正画像を生成し、

前記ゲイン値設定手段は、前記ゲイン値 gを、入力された初期ゲイン値 g。、基準ゲイン値 1、並びに、第 1の輝度閾値 T h ^ 第 2の輝度閾値 T h ₂、および前記入力画像を構成する画素の前記輝度 L。によって算出される減衰値 attn ( T h _{1 (} T h ₂， L _c ) に基づいて設定する

4 . 前記入力画像を構成する画素の輝度 Lを、変換関数に基づいて変換し、トーン変換画像を生成する変換手段と、

前記トーン変換画像を構成する画素の輝度 L _eを平滑化して、平滑化画像を生成する平滑化手段と、

前記変換関数の傾き γの逆数 1 yである初期ゲイン値 g。に基づき、コントラストを補正するときに用いるゲイン値 gを設定するゲイン値設定手段とをさらに含み、

前記コントラスト補正手段は、前記トーン変換画像を構成する画素の輝度 L _c、前記平滑化画像を構成する画素の輝度 Lいおよび前記ゲイン値 gに基づき、コントラスト補正画像を生成し、

前記ゲイン値設定手段は、前記ゲイン値 gを、前記初期ゲイン値 g。、基準ゲイン値 1、並びに、第 1の輝度閾値 T h ^ 第 2の輝度閾値 T h ₂、および前記トーン変換画像を構成する画素の前記輝度によって算出される減衰値 attn ( T h _{1 (} T h ₂ , L J に基づいて設定する

5 . 前記縮小画像生成手段は、変換関数に基づいて、前記入力画像をトーン変换画像に変換し、前記トーン変換画像を縮小して前記縮小画像を生成し、

前記補正情報取得手段は、前記変換関数の傾きを含む補正情報を取得し、前記階調変換手段は、前記縮小画像、および前記変換関数の傾きに基づき、前記トーン変換画像のコントラストを補正する

6 . 入力画像から縮小画像を生成する縮小画像生成ステップと、

前記縮小画像に基づき、前記入力画像の補正情報を取得する補正情報取得ステップと、

前記入力画像の階調を変換する階調変換ステップとを含み、

前記階調変換ステップは、前記階調の変換を行う前および Zまたは後の処理として、前記補正情報を用いて前記入力画像のコントラストを補正する

ことを特徴とする画像処理方法。