JP3813362B2

JP3813362B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP3813362B2
Application number: JP32890998A
Authority: JP
Inventors: 昌美緒形; 隆史土屋; 和彦上田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-11-19
Filing date: 1998-11-19
Publication date: 2006-08-23
Anticipated expiration: 2018-11-19
Also published as: JP2000156871A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、例えばテレビジョン受像機、ビデオテープレコーダー、テレビジョンカメラ、プリンタ等の画像処理装置に適用することができる。本発明は、画像データより輝度データを分離した後、この輝度データの属する領域を判定し、その判定結果に基づいて補正係数を生成して画素値を補正することにより、部分的なコントラストの劣化を有効に回避して階調を補正することができるようにする。
【０００２】
【従来の技術】
従来、テレビジョンカメラ等の画像処理装置においては、撮像手段等の画像入力手段を介して得られる画像データの階調を補正して出力するようになされている。
【０００３】
図１５は、この階調補正の処理に適用される信号処理回路の入出力特性を示す特性曲線図である。この種の信号処理回路は、入力レベルｌが所定の基準レベルｌｋより増大すると利得を低減する。これによりこの種の信号処理回路は、入力レベルが基準レベルｌｋより増大すると信号レベルを抑圧して出力し、この場合、信号レベルの高い部分のコントラストを犠牲にして階調を補正するようになされている。
【０００４】
なおこの図１５に示す特性曲線図において、横軸は画像データの入力レベルである画素値ｌを、縦軸は画像データの出力レベルである画素値Ｔ（ｌ）を表わし、Ｌｍａｘは入出力画像の各画素が取り得る最大レベルを表わす。また以下において、この特性曲線図に示されるように入出力関係を示す関数をレベル変換関数と呼ぶ。
【０００５】
また図１６は、同種の信号処理回路の入出力特性を示す特性曲線図である。このレベル変換関数による信号処理回路は、入力レベルｌが第１の基準レベルｌｓ以下のときと、第２の基準レベルｌｂ以上のときとで利得を低減する。これによりこの信号処理回路は、信号レベルの低い部分と高い部分とのコントラストを犠牲にして階調を補正するようになされている。
【０００６】
これに対してコンピュータを用いた画像処理等においては、例えばヒストグラムイコライゼーションにより階調を補正するようになされている。
【０００７】
このヒストグラムイコライゼーションは、入力画像の画素値の頻度分布に応じてレベル変換関数を適応的に変化させる方法であり、画素値の頻度分布の低い部分の階調を低減することにより階調を補正する方法である。
【０００８】
すなわち図１７に示すように、このヒストグラムイコライゼーションの処理においては、入力画像の画素値ｌを基準にした画素数の集計である頻度分布Ｈ（ｌ）に基づいて、次式の演算処理による累積頻度分布Ｃ（ｌ）が検出される。
【０００９】
【数１】

【００１０】
ヒストグラムイコライゼーションの処理においては、このようにして検出された累積頻度分布Ｃ（ｌ）を次式の処理により正規化することにより、レベル変換関数Ｔ（ｌ）を定義し、このレベル変換関数Ｔ（ｌ）に従って入力画像の信号レベルを補正するようになされている。なおここでＦｍａｘは、累積頻度分布Ｃ（ｌ）の最終値であり、Ｌｍａｘは、入出力レベルの最大値である。
【００１１】
【数２】

【００１２】
なおこのような階調を補正する処理は、画像データを伝送路で伝送する場合、表示装置に表示する場合、あるいは記憶装置に保存する場合等にあっても、例えばダイナミックレンジの抑圧等を目的として、必要に応じて適宜実行されるようになされている。
【００１３】
【発明が解決しようとする課題】
ところで上述した従来手法による階調の補正処理においては、何れかの部分のコントラストを犠牲にして全体の階調を補正する処理である。これは何れの手法においても、不自然な画像が生成されるのを回避するため、単調増加性を有する入出力関数によってレベル変換するためである。
【００１４】
従って従来手法による場合には、結局、処理された画像において部分的にコントラストが低下する問題があった。
【００１５】
本発明は以上の点を考慮してなされたもので、部分的なコントラストの低下を有効に回避して階調を補正することができる画像処理装置及び画像処理方法を提案しようとするものである。
【００１６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像処理装置又は画像処理方法において、画像データより輝度データ及び色データを分離し、この輝度データの属する領域を判定し、その判定結果に基づいて、輝度データの画素値を補正する補正係数を生成し、この補正係数に従って輝度データ及び色データの画素値を補正し、この補正係数による画素値の補正が所定の利得により輝度データ及び色データの画素値を補正する処理であり、この所定の利得が、所定の入出力特性において、判定結果の信号レベルに対応する入力レベルに対する出力レベルの利得であるようにする。
【００１７】
画像データより輝度データ及び色データを分離し、この輝度データの属する領域を判定し、その判定結果に基づいて輝度データの画素値を補正する補正係数を生成し、この補正係数に従って輝度データ及び色データの画素値を補正すれば、同一領域内では同じ係数により画素値を補正して、領域内では画素値の大小関係を保持し、異なる領域に属する画素間では画素値の大小関係を逆転させることもでき、これにより部分的なコントラストの劣化を回避して全体の階調を補正することが可能となる。
【００１８】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１９】
（１）第１の実施の形態
（１−１）第１の実施の形態の構成
図１は、本発明の第１の実施の形態に係るテレビジョンカメラを示すブロック図である。このテレビジョンカメラ１において、ＣＣＤ固体撮像素子（ＣＣＤ）２は、タイミングジェネレータ（ＴＧ）３の駆動により撮像結果を出力する。
【００２０】
ここで図２に撮像面の正面図を拡大して示すように、このＣＣＤ固体撮像素子２は、撮像面に補色一松様式の色フィルタが配置される。すなわちＣＣＤ固体撮像素子２は、黄色（Ｙｅ）及びシアン色（Ｃｙ）の色フィルタが画素単位で繰り返されて奇数ラインが形成されるのに対し、マゼンタ色（Ｍｇ）及び緑色（Ｇ）の色フィルタが画素単位で繰り返されて偶数ラインが形成される。
【００２１】
これによりＣＣＤ固体撮像素子２においては、この種の撮像素子に付随する相関二重サンプリング回路より、図３に示すように、振幅変調されてなる色信号が時分割により順次輝度信号に重畳されてなる撮像結果を出力するようになされている。
【００２２】
このような撮像結果を出力するにつき、ＣＣＤ固体撮像素子２は、ユーザーの設定による電荷蓄積時間により１／６０〔秒〕周期で撮像結果を得、この撮像結果を通常露光による撮像結果ＶＮとして出力する。さらにＣＣＤ固体撮像素子２は、これら通常露光による撮像結果ＶＮの垂直ブランキング期間において、この通常露光による電荷蓄積時間に比して短い電荷蓄積時間による撮像結果を得、この撮像結果を短時間露光の撮像結果ＶＳとして出力する。
【００２３】
これにより図４に示すように、ＣＣＤ固体撮像素子２においては、所定の入射光量以上においては、出力レベルが飽和してなる通常露光による撮像結果ＶＮ（図４（Ａ））と、これより短い電荷蓄積時間により出力レベルが飽和していない短時間露光の撮像結果ＶＳ（図４（Ｂ））とを組にして出力する。
【００２４】
メモリ４Ｎは、図示しない相関二重サンプリング回路、欠陥補正回路、アナログディジタル変換回路等を介して、この通常露光による撮像結果ＶＮを入力し、この通常露光による撮像結果ＶＮを一時保持して出力する。
【００２５】
同様に、メモリ４Ｓは、図示しない相関二重サンプリング回路、欠陥補正回路、アナログディジタル変換回路等を介して、この短時間露光による撮像結果ＶＳを入力し、この短時間露光による撮像結果ＶＳを一時保持して出力する。
【００２６】
加算回路５は、メモリ４Ｎに保持された通常露光による撮像結果ＶＮと、メモリ４Ｓに保持された短時間露光による撮像結果ＶＳとを加算することにより、広いダイナミックレンジで、かつ充分な画素値による撮像結果ＶＴを出力し、レベル補正回路６は、この加算回路５による撮像結果ＶＴにおいて実用上充分な直線性を確保できるように、メモリ４Ｓより出力される短時間露光による撮像結果ＶＳの画素値を補正して出力する。
【００２７】
これらによりテレビジョンカメラ１においては、従来に比して格段的に大きなダイナミックレンジによる撮像結果ＶＴ（図４（Ｃ））を生成するようになされている。
【００２８】
階調補正回路８は、この撮像結果ＶＴの画素値を補正することにより、この撮像結果ＶＴの階調を補正して出力する。テレビジョンカメラ１においては、続く信号処理回路により（図示せず）、テレビジョンカメラに必要な各種信号処理を実行してこの撮像結果を外部機器等に出力し、このとき出力機器に対応するように撮像結果の画素値を一様に抑圧することにより撮像結果のダイナミックレンジを抑圧して出力する。
【００２９】
この処理において階調補正回路８は、演算回路９に撮像結果ＶＴ（ｘ（ｉ，ｊ））を入力し、ここで輝度データと色データとを分離する。すなわち演算回路９は、１次元のローパスフィルタにより構成され、次式の演算処理を実行すことにより、撮像結果ＶＴ（ｘ（ｉ，ｊ））より輝度データｙ（ｉ，ｊ）及び色データｃ（ｉ，ｊ）を生成する。なおここでＬＰＦ_y及びＬＰＦ_cは、それぞれ各１次元フィルタの特性を示す。また図５に示すように、この実施の形態では、ラスタ走査順に入力される撮像結果ＶＴについて、水平方向を符号ｉによる添え字により、垂直方向を符号ｊによる添え字により示す。
【００３０】
【数３】

【００３１】
領域判定フィルタ１０は、このようにして分離した輝度データｙ（ｉ，ｊ）の属する領域を判定し、その判定結果を出力する。このとき領域判定フィルタ１０は、輝度データｙ（ｉ，ｊ）近傍所定範囲の特徴を示す特徴量として輝度データｙ（ｉ，ｊ）の平均値である平均輝度レベルを検出し、この平均輝度レベルを判定結果として出力する。
【００３２】
すなわち領域判定フィルタ１０は、２次元のローパスフィルタであり、ラスタ走査の順序で順次入力される輝度データの画素値ｙ（ｉ，ｊ）について、次式の演算式により表される低周波数成分ｒ（ｉ，ｊ）を検出し、この低周波数成分ｒ（ｉ，ｊ）を判定結果として出力する。
【００３３】
【数４】

【００３４】
なお（４）式のＮ、Ｍは平均値を計算するための近傍領域の大きさを表わす定数である。これにより領域判定フィルタ１０は、撮像結果ＶＴによる画像より画像中の細かい構造を除去して比較的画素値が平坦な領域を抽出する。なお領域判定フィルタ１０は、このような処理を目的とすることからその帯域は比較的狭いものが望ましい。
【００３５】
係数算出回路１１は、低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じて、例えば図６に示すような係数算出関数Ｇによりコントラスト補正係数ｇ（ｉ，ｊ）を生成する。ここでこの係数算出関数Ｇは、例えば図１５について上述したレベル変換関数Ｔ（ｌ）を次式により演算処理して得られる関数である。
【００３６】
【数５】

【００３７】
これにより係数算出回路１１は、次式の演算処理によりコントラスト補正係数ｇ（ｉ，ｊ）を生成して出力し、入力レベルである低周波数成分ｒ（ｉ，ｊ）の信号レベルが所定の基準レベルｌｋ以下の領域については、値１以上の一定値ｇｍａｘによるコントラスト補正係数ｇ（ｉ，ｊ）を出力し、この基準レベルｌｋ以上の領域については、低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じて徐々に値が値ｇｍｉｎに近づくようにコントラスト補正係数ｇ（ｉ，ｊ）を出力する。
【００３８】
【数６】

【００３９】
乗算回路１２Ｙは、このようにして生成されるコントラスト補正係数ｇ（ｉ，ｊ）と、輝度データｙ（ｉ，ｊ）とを乗算することにより、コントラスト補正係数ｇ（ｉ，ｊ）により輝度データによる撮像結果ＶＴの信号レベルを補正して出力する。
【００４０】
同様に乗算回路１２Ｃは、コントラスト補正係数ｇ（ｉ，ｊ）と、色データｃ（ｉ，ｊ）とを乗算することにより、コントラスト補正係数ｇ（ｉ，ｊ）により色データによる撮像結果ＶＴの信号レベルを補正して出力する。
【００４１】
演算回路１３は、次式の演算処理により、このような信号レベルの補正により階調が補正されてなる輝度データｙ′（ｉ，ｊ）及び色データｃ′（ｉ，ｊ）を元の画像データｘ′（ｉ，ｊ）に変換して出力する。
【００４２】
【数７】

【００４３】
（１−２）第１の実施の形態の動作
以上の構成において、テレビジョンカメラ１においては（図１）、撮像面に配置された色フィルタにより（図２）、ＣＤＤ固体撮像素子２より振幅変調された色信号が順次時分割により輝度信号に重畳された撮像結果が出力される（図３）。
【００４４】
またテレビジョンカメラ１においては、ユーザーの設定した電荷蓄積時間による通常露光による撮像結果ＶＮ（図４（Ａ））と、短い電荷蓄積時間による短時間露光の撮像結果ＶＳ（図４（Ｂ））とが交互に出力され、この撮像結果ＶＮ及びＶＳがそれぞれメモリ４Ｎ及び４Ｓに保持される。テレビジョンカメラ１では、この２つの撮像結果ＶＮ及びＶＳがレベル補正回路６、加算回路５により合成され、これにより従来に比して格段的に大きなダイナミックレンジによる撮像結果ＶＴ（図４（Ｃ））が生成される。
【００４５】
この撮像結果ＶＴにおいては、階調補正回路８の演算回路９において、輝度データｙ（ｉ，ｊ）と色データｃ（ｉ，ｊ）とに分離される。さらに領域判定フィルタ１０において、入力画像データの近傍所定範囲の特徴を示す特徴量が検出され、これにより輝度データが何れの平均輝度レベルの領域に属するか判定される。より具体的には、領域判定フィルタ１０により輝度データｙ（ｉ，ｊ）の平均輝度レベルである低周波数成分ｒ（ｉ，ｊ）が検出され、これにより画像中の細かい構造が除去され、比較的画素値が平坦な領域が抽出される。またこの低周波数成分ｒ（ｉ，ｊ）が判定結果として出力される。
【００４６】
撮像結果ＶＴにおいては、続く係数算出回路１１により、この低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じてコントラスト補正係数ｇ（ｉ，ｊ）が生成され、このコントラスト補正係数ｇ（ｉ，ｊ）により乗算回路１２Ｙ及び１２Ｃにおいて、輝度データｙ（ｉ，ｊ）及び色データｃ（ｉ，ｊ）の画素値が補正される。さらに撮像結果ＶＴにおいては、続く演算回路１３において、元の形式に戻され、これにより低周波数成分ｒ（ｉ，ｊ）を基準にした各領域に応じた利得により画素値が補正されて出力される。
【００４７】
これにより撮像結果ＶＴにおいては、低周波数成分ｒ（ｉ，ｊ）の信号レベルが等しい領域においては、等しい利得により画素値が補正されるのに対し、低周波数成分ｒ（ｉ，ｊ）の信号レベルが異なる領域においては、レベル変換関数Ｔ（ｌ）の設定に応じて、画素値を近接させることができ、また場合によっては画素値の大小関係を逆転させることも可能となる。これにより全体の階調に対して、各領域内のコントラストを自然に増加させることができ、部分的なコントラストの低下を有効に回避して全体の階調を補正することが可能となる。
【００４８】
すなわち図７に示すように、輝度データｙ（ｉ，ｊ）がローパスフィルタである領域判定フィルタ１０のカットオフ周波数以上の周波数により脈動し、さらに輝度データｙ（ｉ，ｊ）の直流レベルが急激に立ち上がっている場合であって（図７（Ｂ））、この直流レベルの急激な変化に対応する低周波数成分ｒ（ｉ，ｊ）の変化が係数算出関数Ｇ（ｌ）の変極点を跨ぐような場合（図７（Ａ））、図１５について上述した従来のレベル変換関数によっては、輝度データｙ（ｉ，ｊ）の画素値の大きな部分でコントラストが抑圧されるようになる（図７（Ｃ））。
【００４９】
ところがこの実施の形態によれば、低周波数成分ｒ（ｉ，ｊ）の信号レベルが急激に立ち上がる前後において、それぞれこの低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じた利得により輝度データｙ（ｉ，ｊ）が補正され、係数算出関数Ｇ（ｌ）の設定によって信号レベルが補正されることになる。このとき輝度データｙ（ｉ，ｊ）の画素値が小さな部分においては、ピーク値ｌ３及びボトム値ｌ１の平均値レベルｌ２による利得ｇｍａｘにより輝度データｙ（ｉ，ｊ）が補正され、これにより低レベル領域に対しては従来法と同程度のコントラストを得ることができる（図７（Ｄ））。
【００５０】
これに対して高レベル側においては、同様に、ピーク値ｌ６及びボトム値ｌ４の平均値レベルｌ５による利得ｇ５により輝度データｙ（ｉ，ｊ）が補正され、このときこれらピーク値ｌ６及びボトム値ｌ４が一様な利得により補正されることにより、このピーク値ｌ６及びボトム値ｌ４間のコントラストにおいては、この利得ｇ５で増幅されることになる。
【００５１】
これによりこの実施の形態に係る階調補正回路８においては、全体的に見たときの階調は大きく変化しないものの、微視的に見た脈動については、入力画像である撮像結果ＶＴによる脈動を拡大することが可能となる。
【００５２】
また図８に示すように、同様に、輝度データｙ（ｉ，ｊ）が脈動して直流レベルが急激に立ち上がっている場合であって、輝度データｙ（ｉ，ｊ）の大きな変化が係数算出関数Ｇ（ｌ）の変極点より高レベル側に偏っている場合（図８（Ｂ））、図１５について上述した従来のレベル変換関数によっては、全ての画素値ｙ（ｉ，ｊ）でコントラストが抑圧されるようになる（図８（Ｃ））。
【００５３】
ところがこの場合も、低レベル側及び高レベル側においては、それぞれ平均値レベルｌ２及びｌ５に対応する利得ｇ２及びｇ５により画素値が補正され、全体的に見たときの階調は大きく変化しないものの、微視的に見た脈動については、入力画像である撮像結果ＶＴによる脈動を拡大することが可能となる（図８（Ｄ））。
【００５４】
このようにして撮像結果ＶＴの階調を補正するにつき、この実施の形態においては、撮像結果ＶＴを輝度データｙ（ｉ，ｊ）と色データｃ（ｉ，ｊ）とに分離し、この輝度データｙ（ｉ，ｊ）により判定結果ｒ（ｉ，ｊ）を得、さらには補正係数ｒ（ｉ，ｊ）を生成したことにより、階調の補正に伴う不自然な色相の変化等による色ノイズの発生を有効に回避して、自然に階調を補正することができる。
【００５５】
またこのように乗算回路１２Ｙにおける輝度データｙ（ｉ，ｊ）の補正処理と平行して、色データｃ（ｉ，ｊ）についても、乗算回路１２Ｃにより階調が補正され、その後演算回路１３により元の形式に変換されることにより、このような輝度信号に付随する色信号についても、階調の変化を反映でき、これによりさらに一段と自然に階調を補正することができる。
【００５６】
（１−３）第１の実施の形態の効果
以上の構成によれば、入力画像データの属する領域を判定し、その判定結果に基づいて補正係数を生成すると共に、この補正係数に従って撮像結果を補正することにより、同一領域内では同じ係数により画素値の大小関係を保持したまま、異なる領域に属する画素間では必要に応じて画素値を近接させることができ、また極端な場合には逆転させることもできる。これにより部分的なコントラストの劣化を有効に回避して階調を補正することができる。
【００５７】
このとき撮像結果より輝度データ及び色データを分離した後、この輝度データの属する領域の判定結果に基づいて、補正係数を生成すると共に、この補正係数に従って輝度データ及び色データを補正して撮像結果の階調を補正することにより、色ノイズの発生等を有効に回避して違和感なく階調を補正することができる。
【００５８】
またこのときローパスフィルタによる低周波数成分を特徴量として使用して、この低周波数成分を基準にして画素値を補正することにより、簡単な構成により、部分的なコントラストの低下を回避して全体の階調を補正することができる。
【００５９】
（２）第２の実施の形態
図９は、本発明の第２の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。この階調補正回路２８は、図１について上述した階調補正回路８に代えて適用される。なおこの階調補正回路２８において、上述した階調補正回路８と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００６０】
階調補正回路２８において、領域判定フィルタ３０は、異なる解像度により輝度データｙ（ｉ，ｊ）の属する領域を判定してなる判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）を出力するローパスフィルタ部３０Ａと、これら異なる解像度による判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）に基づいて、１の合成信号である判定結果ｒ（ｉ，ｊ）を生成する信号合成部３０Ｂとにより構成される。
【００６１】
ローパスフィルタ部３０Ａは、それぞれ通過帯域幅の異なるローパスフィルタ（ＬＰＦ）Ｆ０、Ｆ１、Ｆ２、……、ＦＮ−１により構成され、各ローパスフィルタ（ＬＰＦ）Ｆ０、Ｆ１、Ｆ２、……、ＦＮ−１に輝度データｙ（ｉ，ｊ）を入力し、対応する低周波数成分を判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）として出力する。
【００６２】
信号合成部３０Ｂは、それぞれ乗算回路Ｍ０、Ｍ１、Ｍ２、……、ＭＮ−１において、判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）を重み付けした後、加算回路３４で加算し、これにより１の合成信号である判定結果ｒ（ｉ，ｊ）を生成して出力する。なおこのとき、乗算回路Ｍ０、Ｍ１、Ｍ２、……、ＭＮ−１における各重み付け係数ｗ０、ｗ１、ｗ２、……、ｗＮ−１は、次式の関係式を満足するように事前に設定される。
【００６３】
【数８】

【００６４】
これによりこの実施の形態においては、重み付け係数ｗ０、ｗ１、ｗ２、……、ｗＮ−１の設定により撮像結果ＶＴにおける輪郭が異常に強調されないようになされている。
【００６５】
すなわち図１０に示すように、画素値ｙ（ｉ，ｊ）が急激に変化している場合（図１０（Ａ））、低周波数成分ｒ（ｉ，ｊ）においては、この急激な画素値の変化を緩和したように信号レベルが変化する。この画素値ｙ（ｉ，ｊ）の変化に伴う低周波数成分ｒ（ｉ，ｊ）の変化が図６について上述した特性の変極点より高レベル側に偏っている場合にあって、第１の実施の形態のように単に１つのローパスフィルタの出力信号により補正係数ｇ（ｉ，ｊ）を生成したのでは、画素値ｙ（ｉ，ｊ）が急激に変化する直前においては余分な利得により画素値が増幅され、画素値ｙ（ｉ，ｊ）が急激に変化した直後においては少ない利得により画素値が増幅され、これにより異常に輪郭が強調された出力値ｙ′（ｉ，ｊ）（図１０（Ｂ））が得られる。
【００６６】
この場合、このような輪郭については、ほぼ一様な利得により画素値を補正して異常な輪郭の強調を低減することができる。
【００６７】
これによりこの実施の形態においては、複数系統の低周波数成分より補正係数を生成することにより、異常な輪郭の強調を有効に回避して第１の実施の形態と同様の効果を得ることができるようになされている。
【００６８】
図９に示す構成によれば、複数系統の低周波数成分より補正係数を生成することにより、異常な輪郭の強調を有効に回避して第１の実施の形態と同様の効果を得ることができる。
【００６９】
（３）第３の実施の形態
図１１は、本発明の第３の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。この階調補正回路３８は、図１について上述した階調補正回路８に代えて適用される。なおこの階調補正回路３８において、上述した階調補正回路８及び２８と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００７０】
ここで量子化回路４５は、輝度データｙ（ｉ，ｊ）を再量子化し、ビット数を低減して出力する。なおこの実施の形態において、量子化回路４５は、画素値ｙ（ｉ，ｊ）に対して、予め設定された量子化ステップＱにより次式の演算処理を実行し、これにより画素値ｙ（ｉ，ｊ）を線形量子化処理して画素値ｙｑ（ｉ，ｊ）を出力する。なおここでｉｎｔ（ａ）は、ａの小数点以下を切り捨てる関数である。
【００７１】
【数９】

【００７２】
領域判定フィルタ４０は、ビット数が異なる点を除いて、第２の実施の形態に係る領域判定フィルタ３０と同一に形成される。
【００７３】
ルックアップテーブル（ＬＵＴ）４１は、係数算出回路を構成し、領域判定フィルタ４０より出力される低周波数成分ｒ（ｉ，ｊ）をアドレスにして補正係数ｇ（ｉ，ｊ）を出力する。かくするにつきルックアップテーブル４１は、次式により示す補正係数ＬＵＴ（ｉ）をｉ番目のアドレスに格納していることになる。
【００７４】
【数１０】

【００７５】
図１１に示す構成によれば、事前に輝度データを量子化して処理することにより、一段と簡易な構成により第１の実施の形態と同様の効果を得ることができる。またルックアップテーブルにより補正係数を生成することにより、その分全体の処理を簡略化することができ、またこのとき事前に量子化することにより領域判定フィルタの構成を簡略化することができ、さらにはルックアップテーブルを小型化することができる。
【００７６】
（４）第４の実施の形態
図１２は、本発明の第４の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。この階調補正回路４８は、図１１について上述した階調補正回路３８に代えて適用され、この階調補正回路３８のルックアップテーブル４１に代えてルックアップテーブル５１及び補間回路５２が配置される。
【００７７】
ここでルックアップテーブル５１は、領域判定フィルタ４０の出力値ｒ（ｉ，ｊ）が取り得るレベル数よりも少ないアドレスを有し、出力値ｒ（ｉ，ｊ）の所定下位ビットを省略したアクセスにより、次式により表される２つのアドレスａｄｄｒ０（ｉ，ｊ）、ａｄｄｒ１（ｉ，ｊ）と補正係数ｇ０（ｉ，ｊ）、ｇ１（ｉ，ｊ）とを出力する。なおここでルックアップテーブル５１は、２つのアドレスａｄｄｒ０（ｉ，ｊ）については、領域判定フィルタ４０の出力値ｒ（ｉ，ｊ）の下位ビットを省略して出力することにより、またアドレスａｄｄｒ１（ｉ，ｊ）については、このアドレスａｄｄｒ０（ｉ，ｊ）の最下位に論理１のビットを付加することにより、これらのアドレスａｄｄｒ０（ｉ，ｊ）、ａｄｄｒ１（ｉ，ｊ）を生成して出力する。なおここでＲｍａｘは、領域判定フィルタ４０の出力値ｒ（ｉ，ｊ）が取り得る最大値、Ｒ′ｍａｘはルックアップテーブル５１のアドレスが取り得る最大値である。
【００７８】
【数１１】

【００７９】
補間回路５２は、ルックアップテーブル５１から入力されるアドレスａｄｄｒ０（ｉ，ｊ）、ａｄｄｒ１（ｉ，ｊ）、補正係数ｇ０（ｉ，ｊ）、ｇ１（ｉ，ｊ）を用いて次式による補間演算処理を実行し、その補間結果を補正係数ｇ（ｉ，ｊ）として出力する。
【００８０】
【数１２】

【００８１】
図１２に示す構成によれば、補間演算処理して補正係数を生成することにより、小規模のルックアップテーブルを用いて滑らかに値の変化する補正係数を生成することができ、その分精度良く階調を補正することができる。
【００８２】
（５）第５の実施の形態
図１３は、本発明の第５の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。この階調補正回路５８は、図１について上述した階調補正回路８に代えて適用される。なおこの階調補正回路５８において、上述した階調補正回路８等と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００８３】
この階調補正回路５８において、領域判定フィルタ６０は、画像を異なる解像度により輝度データｙ（ｉ，ｊ）の判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）を出力する。すなわち領域判定フィルタ６０は、それぞれ通過帯域幅の異なるローパスフィルタ（ＬＰＦ）Ｆ０、Ｆ１、Ｆ２、……、ＦＮ−１により構成され、各ローパスフィルタＦ０、Ｆ１、Ｆ２、……、ＦＮ−１に輝度データｙ（ｉ，ｊ）を入力し、対応する低周波数成分を判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）として出力する。
【００８４】
係数算出回路６１は、判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）より対応する補正係数ｇ０（ｉ，ｊ）、ｇ１（ｉ，ｊ）、ｇ２（ｉ，ｊ）、……、ｇＮ−１（ｉ，ｊ）を生成する係数生成部６１Ａと、これらの補正係数ｇ０（ｉ，ｊ）、ｇ１（ｉ，ｊ）、ｇ２（ｉ，ｊ）、……、ｇＮ−１（ｉ，ｊ）を合成して１の補正係数ｇ（ｉ，ｊ）を生成する係数合成部６１Ｂとにより構成される。
【００８５】
このうち係数生成部６１Ａは、それぞれ所定の係数算出関数Ｇｋ（ｋ＝０、１、２、……、Ｎ−１）に基づいて、判定結果ｒ０（ｉ，ｊ）、ｒ１（ｉ，ｊ）、ｒ２（ｉ，ｊ）、……、ｒＮ−１（ｉ，ｊ）より対応する補正係数ｇ０（ｉ，ｊ）、ｇ１（ｉ，ｊ）、ｇ２（ｉ，ｊ）、……、ｇＮ−１（ｉ，ｊ）を生成する係数算出部Ｌ０、Ｌ１、Ｌ２、……ＬＮ−１により構成される。
【００８６】
これに対して係数合成部６１Ｂは、それぞれ乗算回路Ｍ０、Ｍ１、Ｍ２、……、ＭＮ−１により補正係数ｇ０（ｉ，ｊ）、ｇ１（ｉ，ｊ）、ｇ２（ｉ，ｊ）、……、ｇＮ−１（ｉ，ｊ）を重み付けした後、加算回路６４で加算し、これにより１の補正係数ｇ（ｉ，ｊ）を生成して出力する。なおこのとき、乗算回路Ｍ０、Ｍ１、Ｍ２、……、ＭＮ−１における各重み付け係数ｗ０、ｗ１、ｗ２、……、ｗＮ−１は、上述した（８）式の関係式を満足するように事前に設定される。
【００８７】
図１３に示す構成によれば、複数系統の低周波数成分よりそれぞれ補正係数を生成した後、１の補正係数を生成するようにしても、第５の実施の形態と同様の効果を得ることができる。
【００８８】
（６）他の実施の形態
なお上述の実施の形態においては、何れも基本的には図６について上述した特性により補正係数を生成する場合について述べたが、本発明はこれに限らず、種々の入出力特性により補正係数を生成しても良く、例えば図１４に示すような、入力レベルの増大に伴い、途中で出力レベルが低減するような入出力特性によるレベル変換関数を用いるようにしても良い。
【００８９】
すなわち従来の手法においては、このような関数を用いた場合、この関数が単調増加の関数では無いことにより、処理結果である画像において疑似輪郭が発生する場合がある。ところが上述した実施の形態のようにローパスフィルタにより領域分割して処理する場合には、ローパスフィルタの通過帯域に応じた大きさの近傍領域内では画素値の大小関係が逆転するような画素値の変化を防止することができる。これにより疑似輪郭の発生を有効に回避することができる。
【００９０】
また上述の実施の形態においては、レベル変換関数Ｔを用いて（５）式の演算処理により係数算出関数Ｇを生成する場合について述べたが、本発明はこれに限らず、レベル変換関数Ｔを用いないで任意に係数算出関数Ｇを設定するようにしてもよい。
【００９１】
また上述の実施の形態においては、階調補正回路により階調を補正した後、続く信号処理回路によりダイナミックレンジを抑圧する場合について述べたが、本発明はこれに限らず、レベル変換関数Ｔ、これに対応する係数算出関数Ｇの設定によりこれらの処理を纏めて実行することもできる。
【００９２】
すなわちダイナミックレンジの抑圧の処理においては、入力される画素値のビット数より出力される画素値のビット数が小さいことが求められることにより、レベル変換関数Ｔにおいて、出力レベルの最大値を出力画像に許容される最大値に設定し、これを用いて係数算出関数Ｇを生成することにより、これらの処理を纏めて実行することができる。
【００９３】
またレベル変換関数Ｔを用いず、任意に係数算出関数Ｇを設定する場合には、次式を満足するように、係数算出関数Ｇを設定すればよい。なおここで、ｌは入力画素レベルを、Ｌｍａｘは入力画素レベルの最大値を、Ｌ０ｍａｘは出力画素レベルの最大値を表わす。
【００９４】
【数１３】

【００９５】
また上述の実施の形態においては、第３及び第４の実施の形態において量子化回路、ルックアップテーブル、さらには補間回路を使用する場合について述べたが、本発明はこれに限らず、必要に応じてこれら量子化回路、ルックアップテーブル、補間回路の全て、又は何れかを第３及び第４の実施の形態以外に適用することもできる。
【００９６】
またこれとは逆に第３及び第４の実施の形態において、必要に応じて量子化回路を省略してもよい。
【００９７】
また上述の実施の形態においては、振幅変調された色信号が順次時分割により輝度信号に重畳されてなる撮像結果を輝度データと色データとに分離して処理する場合について述べたが、本発明はこれに限らず、輝度信号にクロマ信号が重畳されてなる複合ビデオ信号を処理する場合等に広く適用することができる。
【００９８】
なお復号ビデオ信号にあっては、ＹＣ分離により生成した輝度信号に基づいて補正係数を生成し、また輝度信号と色差信号によるビデオ信号を処理する場合には、輝度信号に基づいて補正係数を算出し、この補正係数によりそれぞれ輝度信号及びクロマ信号、輝度信号及び色差信号の階調を補正することにより、この種のビデオ信号の階調を補正することができる。
【００９９】
また上述の実施の形態においては、ローパスフィルタにより入力画像データの属する領域を判定し、ローパスフィルタより出力される低周波数成分を判定結果として使用する場合について述べたが、本発明はこれに限らず、例えば処理対象の画像において、任意に選択した画素と、この画素を取り巻く近傍画素との類似性を特徴量として把握してこの画素より順次領域を拡大して処理対象画像を領域分割する場合等、種々の特徴量により、また処理対象画像を種々の処理方法により領域分割して、上述の実施の形態と同様の効果を得ることができる。
【０１００】
また上述の実施の形態においては、本発明をテレビジョンカメラに適用する場合について述べたが、本発明はこれに限らず、テレビジョン受像機、ビデオテープレコーダー、プリンタ等の種々の画像処理装置に広く適用することができる。
【０１０１】
【発明の効果】
上述のように本発明によれば、画像データより輝度データを分離した後、この輝度データの属する領域の判定結果に基づいて補正係数を生成して画素値を補正することにより、部分的なコントラストの劣化を有効に回避して階調を補正することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るテレビジョンカメラを示すブロック図である。
【図２】図１のテレビジョンカメラのＣＣＤ固体撮像素子の色フィルタを示す平面図である。
【図３】図２の色フィルタによる撮像結果を示す信号波形図である。
【図４】図１のテレビジョンカメラにおける撮像結果の処理の説明に供する特性曲線図である。
【図５】図１のテレビジョンカメラにおける画素の配列を示す略線図である。
【図６】コントラスト補正係数ｇ（ｉ，ｊ）の説明に供する特性曲線図である。
【図７】図１のテレビジョンカメラにおける階調補正回路の処理の説明に供する信号波形図である。
【図８】図７の場合とは異なる入力レベルにおける階調補正回路の処理の説明に供する信号波形図である。
【図９】本発明の第２の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。
【図１０】図９の階調補正回路の動作の説明に供する信号波形図である。
【図１１】本発明の第３の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。
【図１２】本発明の第４の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。
【図１３】本発明の第５の実施の形態に係るテレビジョンカメラに適用される階調補正回路を示すブロック図である。
【図１４】他の実施の形態に係る階調補正回路に適用されるレベル変換関数の説明に供する特性曲線図である。
【図１５】従来の階調補正の抑圧処理に適用されるレベル変換関数の説明に供する特性曲線図である。
【図１６】図１５とは異なる他の例による階調補正の処理に適用されるレベル変換関数の説明に供する特性曲線図である。
【図１７】ヒストグラムイコライゼーションの処理の説明に供する特性曲線図である。
【符号の説明】
１……テレビジョンカメラ、８、２８、３８、４８、５８……階調補正回路、９、１３……演算回路、１０、３０、４０、６０……領域判定フィルタ、１１……係数算出回路、１２Ｃ、１２Ｙ、Ｍ０〜ＭＮ−１……乗算回路、４５……量子化回路、４１、５１……ルックアップテーブル、５２……補間回路、Ｆ０〜ＦＮ−１……ローパスフィルタ、Ｌ０〜ＬＮ−１……係数算出部

Claims

画像データの階調を補正する画像処理装置において、
前記画像データより輝度データ及び色データを分離する輝度データ分離手段と、
前記輝度データの低周波数成分による判定結果を出力する領域判定手段と、
前記判定結果に基づいて、前記輝度データの画素値を補正する利得であるコントラスト補正係数を出力する係数算出手段と、
前記コントラスト補正係数に従って前記輝度データ及び色データの画素値を補正する補正手段とを備え、
前記係数算出手段は、
前記判定結果の信号レベルが所定の基準レベル以下の場合には、前記コントラスト補正係数の値を一定値に設定し、
前記判定結果の信号レベルが所定の基準レベル以上の場合には、前記コントラスト補正係数の値を前記一定値より低減させる
ことを特徴とする画像処理装置。
画像データの階調を補正する画像処理方法において、
前記画像データより輝度データ及び色データを分離する輝度データ分離処理と、
前記輝度データの低周波数成分による判定結果を出力する領域判定処理と、
前記判定結果に基づいて、前記輝度データの画素値を補正する利得であるコントラスト補正係数を出力する係数算出処理と、
前記コントラスト補正係数に従って前記輝度データ及び色データの画素値を補正する補正処理とからなり、
前記係数算出処理は、
前記判定結果の信号レベルが所定の基準レベル以下の場合には、前記コントラスト補正係数の値を一定値に設定し、
前記判定結果の信号レベルが所定の基準レベル以上の場合には、前記コントラスト補正係数の値を前記一定値より低減させる
ことを特徴とする画像処理方法。
前記領域判定処理は、
前記輝度データの低周波数成分を異なる帯域により複数抽出する低周波数成分の抽出処理と、
前記複数の低周波数成分を重み付け加算して１の合成信号を生成する信号合成処理とであり、
前記係数算出処理は、
前記合成信号に基づいて前記コントラスト補正係数を生成する
ことを特徴とする請求項２に記載の画像処理方法。
前記領域判定処理は、
前記輝度データの低周波数成分を異なる帯域により複数抽出し、
前記係数算出処理は、
前記複数の低周波数成分より、それぞれ補正用の係数を生成する部分係数算出処理と、前記補正用の係数に基づいて、前記コントラスト補正係数を生成する係数合成処理とである
ことを特徴とする請求項２に記載の画像処理方法。