JP4240261B2

JP4240261B2 - Image processing apparatus and method, and recording medium

Info

Publication number: JP4240261B2
Application number: JP2000322229A
Authority: JP
Inventors: 誠司小林; 知生光永; 博明小野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-23
Filing date: 2000-10-23
Publication date: 2009-03-18
Anticipated expiration: 2020-10-23
Also published as: JP2002135584A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、例えば、ディスプレイやプリンタ等のような画像出力装置のダイナミックレンジに適合させて画像の階調を補正する場合に用いて好適な画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラやスキャナ等のような固体撮像素子(CCD:Charge Coupled Device)を搭載した画像信号取得装置においては、固体撮像素子の性能が向上したことや多段階的に露光を行うことが可能となったことによって、階調のダイナミックレンジが従来よりも広い画像信号（以下、広ダイナミックレンジ画像信号と記述する）を取得することができるようになっている。
【０００３】
一方、画像信号を記録する記録メディアの記録フォーマット、ディスプレイやプリンタへの出力信号フォーマット、放送信号フォーマット等は、依然として従来の８ビット幅や１０ビット幅のダイナミックレンジ（以下、狭ダイナミックレンジと記述する）に制限されている。
【０００４】
したがって、広ダイナミックレンジ画像信号を取得できる電子機器から、従来の狭ダイナミックレンジに対応する電子機器に対して画像信号を出力する場合には、広ダイナミックレンジ画像信号の階調を補正する必要がある（ダイナミックレンジを狭くする必要がある）。
【０００５】
ここで、画像信号のダイナミックレンジを補正する従来の技術について説明する。
【０００６】
特開平９−３３１５３９号公報には、放送用ビデオカメラにおいて３原色信号Ｒ，Ｇ，Ｂの階調を個別に補正することにより、画像信号のダイナミックレンジを補正する技術が開示されている。図１は、そのような放送用ビデオカメラにおける階調補正処理部の構成の一例を示している。この階調補正処理部において、３原色信号Ｒ，Ｇ，Ｂは、補正値演算回路１に入力される。また、３原色信号Ｒ，Ｇ，Ｂは、それぞれ対応する階調補正回路２Ｒ，２Ｇ，２Ｂに入力される。
【０００７】
補正値演算回路１は、入力される３原色信号Ｒ，Ｇ，Ｂを用いて輝度信号を生成し、その輝度信号に基づいて補正値を演算し、階調補正回路２Ｒ，２Ｇ，２Ｂに出力する。
【０００８】
階調補正回路２Ｒは、赤色信号Ｒの階調を補正するためのルックアップテーブル（以下、LUTと記述する）を内蔵しており、補正値演算回路１から入力される補正値および赤色信号Ｒを、内蔵するLUTに照らし合わせ、対応する値を補正値としてガンマ補正回路３に出力する。階調補正回路２Ｇは、緑色信号Ｇの階調を補正するためのLUTを内蔵しており、補正値演算回路１から入力される補正値および緑色信号Ｇを、内蔵するLUTに照らし合わせ、対応する値を補正値をしてガンマ補正回路３に出力する。階調補正回路２Ｂは、青色信号Ｂの階調を補正するためのLUTを内蔵しており、補正値演算回路１から入力される補正値および青色信号Ｂを、内蔵するLUTに照らし合わせ、対応する値を補正値をしてガンマ補正回路３に出力する。
【０００９】
ガンマ補正回路３Ｒは、階調補正回路２Ｒから入力される補正された赤色信号Ｒにガンマ補正を施してマトリクス回路４に出力する。ガンマ補正回路３Ｇは、階調補正回路２Ｇから入力される補正された緑色信号Ｇにガンマ補正を施してマトリクス回路４に出力する。ガンマ補正回路３Ｂは、階調補正回路２Ｂから入力される補正された青色信号Ｂにガンマ補正を施してマトリクス回路４に出力する。マトリクス回路４は、ガンマ補正された３原色信号Ｒ，Ｇ，Ｂを、輝度信号Ｙｏと色差信号ＣｒＯ，ＣｂＯに変換する。
【００１０】
図１に示した階調補正処理部は、３原色信号Ｒ，Ｇ，Ｂを、それぞれ同じ比率で階調補正するので、色相を変化させることなく画像信号のダイナミックレンジを所望の幅に圧縮することが可能である。
【００１１】
しかしながら、当該階調補正処理部は、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対して、階調補正回路２およびガンマ補正回路３が必要であるので、これを民生用の機器（ディジタルカメラ、ビデオカメラ、テレビジョン受像機等）に用いた場合、コスト高になるとともに回路規模が大きくなる問題がある。
【００１２】
特開平１１−５５５９８号公報には、テレビジョン受像機において画像信号のうちの輝度信号Ｙに対してだけ階調補正を行うことにより、画像信号のダイナミックレンジを補正する技術が開示されている。図２は、そのようなテレビジョン受像器の階調補正処理部の構成の一例を示している。
【００１３】
この階調補正処理部において、入力される輝度信号Ｙは、補正値演算回路１１、輝度補正回路１２、および色差補正回路１３に供給され、入力される色差信号Ｃｒ，Ｃｂは、色差補正回路１３に供給される。
【００１４】
補正値演算回路１１は、入力される輝度信号Ｙに基づき、輝度補正回路１２における階調補正が最適に実行される補正値を演算して輝度補正回路１２に出力する。階調補正回路１２は、輝度信号Ｙの階調を補正するためのLUTを内蔵しており、補正値演算回路１１から入力される補正値および輝度信号Ｙを、内蔵するLUTに照らし合わせ、対応する値を補正値Ｙｏとして出力する。補正値Ｙｏは、色差補正回路１３にも供給される。
【００１５】
色差補正回路１３は、色差信号Ｃｒ，Ｃｂの入力輝度信号Ｙに対する比を維持するために、階調補正前の輝度信号Ｙと補正後の輝度信号Ｙｏの比であるＹｏ／Ｙを色差信号Ｃｒ，Ｃｂに乗算することによって正規化し、色差信号ＣｒＯ，ＣｂＯを生成する。
【００１６】
【発明が解決しようとする課題】
図２に示したような階調補正処理部は、輝度信号Ｙに対してだけ階調補正を行うので構成要素の数が少なくなり、コストの上昇を抑止するとともに、回路規模の大型化を抑止することができる。しかしながら、次のような課題が存在する。
【００１７】
第１の課題としては、色差信号の値が大きい画素の輝度補正に誤差が生じてしまうことである。なお、３原色信号Ｒ，Ｇ，Ｂと、輝度信号Ｙまたは色差信号ＣｒＯ，ＣｂＯの関係は、次式（１），（２）のとおりとする。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ・・・（１）
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ・・・（２）
【００１８】
輝度信号Ｙの階調補正において、色差信号Ｃｒ，Ｃｂの情報は考慮されていないが、輝度信号Ｙには、３原色信号Ｒ，Ｇ，Ｂのバランスを表す情報が欠落しているために、３原色信号Ｒ，Ｇ，Ｂのバランスが崩れている画素、すなわち色差の大きい画素に対しては、輝度信号Ｙの階調補正が正しく行われない。
【００１９】
例えば、入力された赤色信号Ｒが最大値（１と仮定する）であり、緑色信号Ｇおよび青色信号Ｂが最小値（０と仮定する）である場合、入力輝度信号Ｙは０．３となる。
【００２０】
そのような画素は、階調補正後においても、赤色信号Ｒが最大値（１と仮定する）であり、緑色信号Ｇおよび青色信号Ｂが最小値（０と仮定する）である画素に変換されるべきであり、そのように変換された場合には、当該画素の輝度信号Ｙ＝０．３となる。
【００２１】
しかしながら、例えば、輝度補正回路１２に図３に示すような輝度補正用のLUTが与えられているとすれば、輝度信号Ｙ＝０．３は、輝度補正用のLUTに従って、輝度信号Ｙｏ＝０．６に補正されることになってしまい、適切な補正値（いまの場合、Ｙ＝０．３）と比較して誤差が生じてしまう。このような現象は、無彩色以外の全ての画素に対して起こる可能性がある課題があった。
【００２２】
第２の課題としては、色相に変化が発生してしまうことである。
【００２３】
具体的には、例えば、入力された赤色信号Ｒが最大値であり、緑色信号Ｇおよび青色信号Ｂが最小値である場合、色差信号Ｃｒは、最大値となる。このとき、輝度信号Ｙ＝０．３が、図３のLUTに従ってＹｏ＝０．６に変換されると、色差補正回路１３において、色差信号Ｃｒに２（＝０．６／０．３）が乗算されることになる。しかしながら、色差信号Ｃｒは、既に最大値であるのでクリッピング処理により変化しない。一方、最大値をとらない色差信号Ｃｂには、２が乗算される。この結果、Ｃｒ／Ｙが一定に保たれず、色相に変化が発生してしまう課題があった。
【００２４】
また仮に、色差信号Ｃｒに対してクリッピング処理を行わずにＣｒ／Ｙの値を保持したとしても、３原色信号Ｒ，Ｇ，Ｂに変換する際、赤色信号Ｒに対してクリッピング処理が行われるので結果的に色相に変化が生じてしまう課題があった。
【００２５】
本発明はこのような状況に鑑みてなされたものであり、色差信号の値が大きい画素の輝度信号Ｙに対してだけ階調補正を行う場合において、色相に変化が発生することを抑止できるようにするものである。
【００２６】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像信号の輝度信号を用いて、画素の輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を示す変換規則を生成する生成手段と、生成された変換規則を参照することにより、入力された画像信号の画素毎、輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を取得する取得手段と、入力された画像信号の画素毎、取得された補正値を用いて輝度信号および色差信号を補正する補正手段とを含み、生成手段は、輝度信号Ｙ、および大色差信号Ｃを変数とし、大色差信号が取り得る信号レベルの最大値 Cmax を定数として用いた次式に示す関数ｆ（Ｙ，Ｃ）に基づき、補正値ｋを算出して変換規則を生成する
ｋ＝ｆ（Ｙ，Ｃ）＝（Ｙｅ／Ｙ）＾（（ Cmax −Ｃ）／（ Cmax ））
ただし、Ｙｅは、輝度信号Ｙの対数変換値であり、＾は累乗を示す。
【００２８】
前記生成手段は、入力された画像信号の輝度信号のヒストグラムを作成する作成手段と、ヒストグラムを累積して、累積ヒストグラムを作成する累積手段と、累積ヒストグラムを所定の対数曲線に近似させて近似曲線を生成する近似手段と、近似曲線に基づいて変換規則を作成する作成手段とを含むようにすることができる。
【００２９】
前記補正手段は、入力された画像信号の画素毎、取得された補正値を乗算することにより、輝度信号および色差信号を補正するようにすることができる。
【００３０】
本発明の画像処理装置は、被写体の光学像を画像信号に変換する変換手段をさらに含むことができる。
【００３２】
本発明の画像処理方法は、入力された画像信号の輝度信号を用いて、画素の輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を示す変換規則を生成する生成ステップと、生成された変換規則を参照することにより、入力された画像信号の画素毎、輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を取得する取得ステップと、
入力された画像信号の画素毎、取得された補正値を用いて輝度信号および色差信号を補正する補正ステップとを含み、生成ステップは、輝度信号Ｙ、および大色差信号Ｃを変数とし、大色差信号が取り得る信号レベルの最大値 Cmax を定数として用いた次式に示す関数ｆ（Ｙ，Ｃ）に基づき、補正値ｋを算出して変換規則を生成する
ｋ＝ｆ（Ｙ，Ｃ）＝（Ｙｅ／Ｙ）＾（（ Cmax −Ｃ）／（ Cmax ））
ただし、Ｙｅは、輝度信号Ｙの対数変換値であり、＾は累乗を示す。
【００３３】
本発明の記録媒体は、入力された画像信号の輝度信号を用いて、画素の輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を示す変換規則を生成する生成ステップと、生成された変換規則を参照することにより、入力された画像信号の画素毎、輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を取得する取得ステップと、入力された画像信号の画素毎、取得された補正値を用いて輝度信号および色差信号を補正する補正ステップとを含み、生成ステップは、輝度信号Ｙ、および大色差信号Ｃを変数とし、大色差信号が取り得る信号レベルの最大値 Cmax を定数として用いた次式に示す関数ｆ（Ｙ，Ｃ）に基づき、補正値ｋを算出して変換規則を生成する
ｋ＝ｆ（Ｙ，Ｃ）＝（Ｙｅ／Ｙ）＾（（ Cmax −Ｃ）／（ Cmax ））
ただし、Ｙｅは、輝度信号Ｙの対数変換値であり、＾は累乗を示す、処理を画像処理装置のコンピュータに実行させるプログラムが記録されている。
【００３４】
本発明においては、入力された画像信号の輝度信号が用いられて、画素の輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値を示す変換規則が生成され、生成された変換規則が参照されることにより、入力された画像信号の画素毎、輝度信号と２種類の色差信号のうちの信号レベルが大きい方の大色差信号との組み合わせに対応する補正値が取得され、入力された画像信号の画素毎、取得された補正値を用いて輝度信号および色差信号が補正される。なお、生成の処理では、輝度信号Ｙ、および大色差信号Ｃを変数とし、大色差信号が取り得る信号レベルの最大値 Cmax を定数として用いた次式に示す関数ｆ（Ｙ，Ｃ）に基づき、補正値ｋが算出されて変換規則が生成される
ｋ＝ｆ（Ｙ，Ｃ）＝（Ｙｅ／Ｙ）＾（（ Cmax −Ｃ）／（ Cmax ））
ただし、Ｙｅは、輝度信号Ｙの対数変換値であり、＾は累乗を示す。
【００３５】
【発明の実施の形態】
本発明の一実施の形態であるディジタルカメラの構成例について、図４を参照して説明する。このディジタルカメラ３０は、単板式CCDを用いており、被写体の光画像を広ダイナミックレンジ（例えば、１６ビット幅）の画像信号として取得し、適宜、狭ダイナミックレンジ（例えば、８ビット幅）の画像信号に変換して出力するものである。
【００３６】
ディジタルカメラ３０の光学系は、被写体の光画像を集光するレンズ３１、光画像の光量を調整する絞り３２、光画像の入射時間を調整するシャッタ３３、CCD３７が強い感度を有する赤外領域の光を除去する赤外線カットフィルタ（ＩＲフィルタ）３４、CCD３７が離散的なサンプリングすると発生する折り返しを抑止するために光の高周波成分を除去する光学ローパスフィルタ(LPF)３５、および、CCD３７の４画素に対応する領域毎、図５に示すように配置された原色系（赤(R)、緑(G)、および青(B)）のフィルタであって光信号から３原色光Ｒ，Ｇ，Ｂを抽出する色フィルタ３６から構成される。
【００３７】
なお、レンズ３１に赤外領域除去用のコーティングを施すことにより、赤外線カットフィルタ３４を省略してもよい。色フィルタ３６としては、例えば、図５に示したもの以外、例えば、補色系（黄色(Ye)、シアン(Cy)、マゼンダ(Mg)）と緑(G)のフィルタが配置されたものを用いてもよい。
【００３８】
さらに、ディジタルカメラ３０は、光学系を介して入力される光画像を光電変換し、広ダイナミックレンジの画像信号をCDS３８に出力するCCD３７、CCD３７から入力される画像信号をサンプリングすることによってノイズを低減させるCDS(Corelated Double Sampling)３８、被写体の明るさに適応して画像信号の振幅を電気的に増幅するAGC(Auto Gain Controller)３９、アナログの画像信号をディジタル化するＡ／Ｄコンバータ４０、DSP(Digital Signal Procesor)等より成り、広ダイナミックレンジのディジタル画像信号を狭ダイナミックレンジのディジタル画像信号に変換する画像処理部４１、CCD３７の水平走査タイミングおよび垂直走査タイミングを発生するタイミングジェネレータ４２、および、ドライブ４５を制御して、磁気ディスク４６、光ディスク４７、光磁気ディスク４８、または半導体メモリ４９に記憶されている制御用プログラムを読み出して、読み出した制御用プログラム、操作部４４から入力されるユーザからのコマンド等に基づいて、ディジタルカメラ３０の全体を制御する制御部４３から構成される。
【００３９】
なお、画像処理部４１は、入力されるディジタル画像信号のダイナミックレンジを変換する他、入力されるディジタル画像信号を静止画像としてJPEG(Joint Photographic Experts Group)方式等に従い圧縮符号化して所定の記録メディアに記録したり、動画像としてMPEG(Moving Picture Experts Group)方式等に従い圧縮符号化して所定の記録メディアに記録したり、所定の記録媒体から符号化された画像信号を読み出して復号する。
【００４０】
このディジタルカメラ３０において、レンズ３１乃至色フィルタ３６より成る光学系を介して入力された光画像は、CCD３７によって広ダイナミックレンジの画像信号に変換され、CDS３８によってノイズ低減処理が施され、AGC３９によって振幅が増幅されて、さらに、Ａ／Ｄコンバータ４０によってディジタル化されて、画像処理部４１に入力される。画像処理部４１に入力された広ダイナミックレンジのディジタル画像信号は、狭ダイナミックレンジのディジタル画像信号に変換される。
【００４１】
次に、図６は、画像処理部４１の第１の構成例を示している。画像処理部４１には、１画素に対してディジタル化された３原色信号Ｒ，Ｇ，Ｂのうちのいずれかが入力される。
【００４２】
ホワイトバランス回路（ＷＢ）５１は、各画素の原色信号レベルを調整して画像における色バランスを整え、ガンマ補正回路（γ）５２に出力する。ガンマ補正回路５２は、各画素の原色信号に対し、ガンマ補正を施して遅延回路（ＤＬ）５３に出力する。遅延回路５３は、RGB補間同時化回路５４が近傍の所定の数の画素を用いて各画素の３原色信号Ｒ，Ｇ，Ｂを復元する処理と、アパーチャ補正信号生成回路５５が近傍の所定の数の画素を用いてエッジ強調信号を生成する処理とに用いられるサンプリング位相が異なる各色チャンネルの信号の位相を一致させて、RGB補間同時化回路５４およびアパーチャ補正信号生成回路５５に出力する。
【００４３】
RGB補間同時化回路５４は、全ての画素にそれぞれ対応する３原色信号Ｒ，Ｇ，Ｂを復元するために、対象とする画素の近傍の画素の赤色信号Ｒ、緑色信号Ｇ、または青色信号Ｂを用いて欠損している色信号を補間し、画素に対応する３原色信号Ｒ，Ｇ，Ｂの各位相を同期させて同時に加算器５６に出力する。アパーチャ補正信号生成回路５５は、全ての画素にそれぞれ対応するエッジ強調信号を、対象とする画素の近傍の画素の赤色信号Ｒ、緑色信号Ｇ、または青色信号Ｂを用いて生成し、加算器５６に出力する。
【００４４】
加算器５６は、RGB補間同時化回路５４から入力される３原色信号Ｒ，Ｇ，Ｂのそれぞれに、アパーチャ補正信号生成回路５５から入力されるエッジ強調信号を加算することよってＦ特補正を施して、輝度信号生成マトリクス回路５７および帯域制限フィルタ５８に出力する。
【００４５】
輝度信号生成マトリクス回路５７は、加算器５６から入力される３原色信号Ｒ，Ｇ，Ｂを式（１）に代入して輝度信号Ｙを生成し、補正値演算回路６０および階調補正回路６１に出力する。
【００４６】
帯域制限フィルタ５８は、色差信号Ｃｒ，Ｃｂの帯域に合わせるために、加算器５６からの３原色信号Ｒ，Ｇ，Ｂの帯域を制限し、色差信号生成マトリクス回路５９に出力する。色差信号生成マトリクス回路５９は、帯域制限された３原色信号Ｒ，Ｇ，Ｂを、式（１），（２）に代入して色差信号Ｃｒ，Ｃｂを生成し、補正値演算回路６０および階調補正回路６１に出力する。
【００４７】
補正値演算回路６０は、輝度信号生成マトリクス回路５７から入力される輝度信号Ｙ、および色差信号生成マトリクス回路５９から入力される色差信号Ｃｒ，Ｃｂに基づき、補正値ｋを演算して階調補正回路６１に出力する。
【００４８】
階調補正回路６１は、次式（３）に示すように、補正値演算回路６０から入力される補正値ｋを、輝度信号生成マトリクス回路５７から入力される輝度信号Ｙ、および色差信号生成マトリクス回路５９から入力される色差信号Ｃｒ，Ｃｂにそれぞれ乗算し、得られる値を補正した輝度信号Ｙｏ、および色差信号ＣｒＯ，ＣｂＯとして出力する。
Ｙｏ＝ｋ・Ｙ
ＣｒＯ＝ｋ・Ｃｒ
ＣｂＯ＝ｋ・Ｃｂ・・・（３）
【００４９】
このように、同一の補正値ｋを輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに乗算することにより、色信号間の比率が変化することが抑止され、色差信号Ｃｒ，Ｃｂの信号レベルが大きい場合、輝度信号Ｙの補正誤差を減少させることができる。
【００５０】
図７は、補正値演算回路６０の詳細な構成例を示している。補正値演算回路６０のヒストグラム生成回路７１は、輝度信号生成マトリクス回路５７から順次入力される輝度信号Ｙのヒストグラム（輝度信号Ｙの各信号レベルに対する頻度分布）を画像単位で生成して、補正値LUT生成回路７２に出力する。
【００５１】
補正値LUT生成回路７２は、ヒストグラム生成回路７１から入力される輝度信号Ｙのヒストグラムに基づき、輝度信号Ｙおよび色差信号Ｃ（色差信号Ｃｒと色差信号Ｃｂの信号レベルの大きい方の信号）の組み合わせに対する補正値ｋを示す補正値LUTを生成して、補正値LUTメモリ７４に記憶させる。
【００５２】
具体的には、補正値LUT生成回路７２は、ヒストグラム生成回路７１から入力される輝度信号Ｙのヒストグラムを累積し、ヒストグラムの各信号レベルに対する頻度を累積して、図８に示す曲線Ａのような累積ヒストグラムを生成する。さらに、人間の視覚特性に関するウェーバ・フェヒナの法則（人間の感覚量は、刺激強度の対数に比例する）を考慮して、曲線Ａを所定の対数曲線に近似させて曲線Ｂを得る。図８において、横軸は入力輝度レベルＹを示し、縦軸は、累積頻度に補正後の輝度信号のダイナミックレンジを適合させた輝度信号レベルＹｅを示す。
【００５３】
曲線Ｂは、次式（４）によって与えられる。
Ｙｅ＝ａ・log（Ｙ）＋ｂ・・・（４）
ここで、ａ，ｂは所定の係数である。
【００５４】
次に、補正値LUT生成回路７２は、次式（５）によって表現される輝度信号Ｙおよび色差信号Ｃの組み合わせに対応する補正値ｋを示す補正値LUTを生成し、補正値LUTメモリ７４に記憶させる。
【数１】

・・・（５）
ここで、Ｃｍａｘは、色差信号Ｃが取り得る信号レベルの最大値である。
【００５５】
図７に戻る。比較器７３は、色差信号生成マトリクス回路５９から入力される色差信号Ｃｒ，Ｃｂの信号レベルを比較し、信号レベルが大きい方を色差信号Ｃとして補正値LUTメモリ７４に出力する。補正値LUTメモリ７４は、補正値LUT生成回路７２からの補正値LUTを記憶する。補正値LUTメモリ７４はまた、入力される輝度信号Ｙおよび色差信号Ｃの組み合わせを補正値LUTに照らし合わせ、対応する補正値ｋを取得して階調補正回路６１に出力する。
【００５６】
画像処理部４１の第１の構成例（図６）の階調補正処理について、図９のフローチャートを参照して説明する。この階調補正処理は、輝度信号生成マトリクス回路５７が出力した輝度信号Ｙと、色差信号生成マトリクス回路５９が出力した色差信号Ｃｒ，Ｃｂに対して施される。
【００５７】
ステップＳ１において、補正値演算回路６０のヒストグラム生成回路７１は、輝度信号生成マトリクス回路５７から入力された輝度信号Ｙのヒストグラムを画像単位で生成し、補正値LUT生成回路７２に出力する。ステップＳ２において、補正値LUT生成回路７２は、ヒストグラム生成回路７１から入力された輝度信号Ｙのヒストグラムに基づき、輝度信号Ｙおよび色差信号Ｃの組み合わせに対する補正値ｋを示す補正値LUTを生成して補正値LUTメモリ７４に記憶させる。
【００５８】
ステップＳ３において、比較器７３は、色差信号マトリクス回路５９から入力された色差信号Ｃｒ，Ｃｂを比較し、信号レベルが大きい方を色差信号Ｃとして補正値LUTメモリ７４に出力する。ステップＳ４において、補正値LUTメモリ７４は、入力された輝度信号Ｙおよび色差信号Ｃを補正値LUTに照らし合わせ、対応する補正値ｋを取得して階調補正回路６１に出力する。
【００５９】
ステップＳ５において、階調補正回路６１は、式（３）に示すように、補正値演算回路６０から入力された補正値ｋを、輝度信号生成マトリクス回路５７から入力された輝度信号Ｙ、および色差信号生成マトリクス回路５９から入力された色差信号Ｃｒ，Ｃｂにそれぞれ乗算し、得られる値を補正した輝度信号Ｙｏ、および色差信号ＣｒＯ，ＣｂＯとして出力する。
【００６０】
以上説明したように、画像処理部４１の第１の構成例の階調補正処理によれば、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに同一の補正値ｋを乗算することによって補正を行う。
【００６１】
なお、輝度信号Ｙおよび色差信号Ｃの組み合わせと補正値ｋは、式（５）に示した関係を有するので、例えば、色差信号Ｃの信号レベルが最大値である場合、補正値ｋ＝１となるので、入力された輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂにはｋ＝１が乗算されて、入力された輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂが、そのまま補正された輝度信号Ｙｏおよび色差信号ＣｒＯ，ＣｂＯとして出力される。よって、補正された色差信号ＣｒＯ，ＣｂＯにオーバフローが発生して色相が変化するようなことが抑止できる。
【００６２】
また、例えば、色差信号Ｃｒ，Ｃｂの信号レベルがいずれも０であって、色差信号Ｃが最小値（＝０）である場合（画素が無彩色である場合）、式（５）は、次式（６）となり、補正された輝度信号Ｙｏ＝Ｙｅとなる。すなわち、無彩色の画素については、人の視覚特性を考慮した階調補正（図８の曲線Ｂ）が施されることになる。
ｋ＝Ｙｅ／Ｙ・・・（６）
【００６３】
次に、図１０は、画像処理部４１の第２の構成例を示している。画像処理部４１の第２の構成例は、図６に示した第１の構成例と比較した場合、加算器５６以降の構成が異なる。第２の構成例において、加算器５６は、RGB補間同時化回路５４から入力される３原色信号Ｒ，Ｇ，Ｂのそれぞれに、アパーチャ補正信号生成回路５５から入力されるエッジ強調信号を加算することよってＦ特補正を施して、補正LUT生成回路８１および階調補正回路８２に出力する。
【００６４】
補正LUT生成回路８１は、加算器５６から入力される３原色信号Ｒ，Ｇ，Ｂに基づき、３原色信号Ｒ，Ｇ，Ｂのそれぞれを補正するための補正LUTを生成して、階調補正回路８２に出力する。階調補正回路８２は、補正LUT生成回路８１から入力される補正LUTを記憶する。階調補正回路８２はまた、加算器５６から入力される３原色信号Ｒ，Ｇ，Ｂを補正LUTに照らし合わせて、対応する値を補正された３原色信号Ｒ，Ｇ，Ｂとして輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。
【００６５】
輝度信号生成マトリクス回路８３は、階調補正回路８２から入力される補正された３原色信号Ｒ，Ｇ，Ｂを式（１）に代入することにより、輝度信号Ｙｏを生成する。
【００６６】
帯域制限フィルタ８４は、色差信号Ｃｒ，Ｃｂの帯域に合わせるために、階調補正回路８２から入力される補正された３原色信号Ｒ，Ｇ，Ｂの帯域を制限し、色差信号生成マトリクス回路８５に出力する。色差信号生成マトリクス回路８５は、帯域制限されて補正された３原色信号Ｒ，Ｇ，Ｂを、式（１），（２）に代入して色差信号ＣｒＯ，ＣｂＯを生成する。
【００６７】
なお、図１０に示した画像処理部４１の第２の構成例において、図６に示した第１の構成例と共通する回路には同じ符号を附しているので、それらの説明については省略する。
【００６８】
図１１は、画像処理部４１の第２の構成例を成す補正LUT生成回路８１の第１の構成例を示している。補正LUT生成回路８１の輝度信号合成回路９１は、加算器５６から入力される３原色信号Ｒ，Ｇ，Ｂを式（１）に代入して輝度信号Ｙを生成し、ヒストグラム生成回路９２に出力する。ヒストグラム生成回路９２は、輝度信号合成回路９２から順次入力される輝度信号Ｙのヒストグラムを画像単位で生成して階調補正LUT生成回路９３に出力する。
【００６９】
階調補正LUT生成回路９３は、ヒストグラム生成回路９２から入力される輝度信号Ｙのヒストグラムを累積して累積ヒストグラムを生成し、それを所定の対数曲線に近似させて図８の曲線Ｂのような対数近似曲線を得る。さらに、階調補正LUT生成回路９３は、対数近似曲線に基づき、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対応する補正LUTを生成して、階調補正回路８２のLUTメモリ１０１Ｒ乃至１０１Ｂに記憶させる。
【００７０】
階調補正回路８２を構成するLUTメモリ１０１Ｒは、階調補正LUT生成回路９３から入力される赤色信号Ｒを補正するための補正LUTを記憶し、加算器５６から入力される赤色信号Ｒを補正LUTに照らし合わせ、補正された赤色信号Ｒを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。LUTメモリ１０１Ｇは、階調補正LUT生成回路９３から入力される緑色信号Ｇを補正するための補正LUTを記憶し、加算器５６から入力される緑色信号Ｇを補正LUTに照らし合わせ、補正された緑色信号Ｇを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。LUTメモリ１０１Ｂは、階調補正LUT生成回路９３から入力される青色信号Ｂを補正するための補正LUTを記憶し、加算器５６から入力される青色信号Ｂを補正LUTに照らし合わせ、補正された青色信号Ｂを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。
【００７１】
次に、画像処理部４１の第２の構成例を成す補正LUT生成回路８１の第１の構成例等による階調補正処理について、図１２のフローチャートを参照して説明する。この階調補正処理は、加算器５６から出力された３原色信号Ｒ，Ｇ，Ｂに対して施される。
【００７２】
ステップＳ１１において、補正LUT生成回路８１の輝度信号合成回路９１は、加算器５６から入力された３原色信号Ｒ，Ｇ，Ｂを式（１）に代入して輝度信号Ｙを生成し、ヒストグラム生成回路９２に出力する。ステップＳ１２において、ヒストグラム生成回路９２は、輝度信号合成回路９２から順次入力された輝度信号Ｙのヒストグラムを画像単位で生成して階調補正LUT生成回路９３に出力する。
【００７３】
ステップＳ１３において、階調補正LUT生成回路９３は、ヒストグラム生成回路９２から入力された輝度信号Ｙのヒストグラムを累積して累積ヒストグラムを生成し、それを所定の対数曲線に近似させて図８の曲線Ｂのような対数近似曲線を得る。さらに、階調補正LUT生成回路９３は、対数近似曲線に基づき、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対応する補正LUTを生成して、対応するLUTメモリ１０１Ｒ乃至１０１Ｂに記憶させる。
【００７４】
ステップＳ１４において、LUTメモリ１０１Ｒは、加算器５６から入力された赤色信号Ｒを記憶した補正LUTに照らし合わせ、得られた補正された赤色信号Ｒを輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。同様に、LUTメモリ１０１Ｇは、補正された緑色信号Ｇを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力し、LUTメモリ１０１Ｂは、補正された青色信号Ｂを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。
【００７５】
ステップＳ１５において、輝度信号生成マトリクス回路８３は、階調補正回路８２から入力された補正された３原色信号Ｒ，Ｇ，Ｂを式（１）に代入することによって輝度信号Ｙｏを生成する。一方、帯域制限フィルタ８４は、色差信号Ｃｒ，Ｃｂの帯域に合わせるために、階調補正回路８２から入力された補正された３原色信号Ｒ，Ｇ，Ｂの帯域を制限し、色差信号生成マトリクス回路８５に出力する。色差信号生成マトリクス回路８５は、帯域制限されて補正された３原色信号Ｒ，Ｇ，Ｂを、式（１），（２）に代入して色差信号ＣｒＯ，ＣｂＯを生成する。
【００７６】
図１３は、画像処理部４１の第２の構成例を成す補正LUT生成回路８１の第２の構成例を示している。補正LUT生成回路８１の第２の構成例には、加算器５６から緑色信号Ｇだけが入力される。
【００７７】
補正LUT生成回路８１の第２の構成例において、ヒストグラム生成回路１１１は、加算器５６から順次入力される緑色信号Ｇのヒストグラムを画像単位で生成して階調補正LUT生成回路１１２に出力する。
【００７８】
階調補正LUT生成回路１１２は、ヒストグラム生成回路１１１から入力される緑色信号Ｇのヒストグラムを累積して累積ヒストグラムを生成し、それを所定の対数曲線に近似させて図８の曲線Ｂのような対数近似曲線を得る。さらに、階調補正LUT生成回路１１２は、対数近似曲線に基づき、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対応する補正LUTを生成して、階調補正回路８２のLUTメモリ１０１Ｒ乃至１０１Ｂに記憶させる。
【００７９】
次に、画像処理部４１の第２の構成例を成す補正LUT生成回路８１の第２の構成例等による階調補正処理について、図１４のフローチャートを参照して説明する。この階調補正処理は、加算器５６から出力された３原色信号Ｒ，Ｇ，Ｂに対して施される。
【００８０】
ステップＳ２１において、ヒストグラム生成回路１１１は、加算器５６から順次入力された緑色信号Ｇのヒストグラムを画像単位で生成して階調補正LUT生成回路１１２に出力する。
【００８１】
ステップＳ２２において、階調補正LUT生成回路１１２は、ヒストグラム生成回路１１１から入力された緑色信号Ｇのヒストグラムを累積して累積ヒストグラムを生成し、それを所定の対数曲線に近似させて図８の曲線Ｂのような対数近似曲線を得る。さらに、階調補正LUT生成回路１１２は、対数近似曲線に基づき、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対応する補正LUTを生成して、対応するLUTメモリ１０１Ｒ乃至１０１Ｂに記憶させる。
【００８２】
ステップＳ２３において、LUTメモリ１０１Ｒは、加算器５６から入力された赤色信号Ｒを補正LUTに照らし合わせ、得られた補正された赤色信号Ｒを輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。同様に、LUTメモリ１０１Ｇは、補正された緑色信号Ｇを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力し、LUTメモリ１０１Ｂは、補正された青色信号Ｂを取得して輝度信号生成マトリクス回路８３および帯域制限フィルタ８４に出力する。
【００８３】
ステップＳ２４において、輝度信号生成マトリクス回路８３は、階調補正回路８２から入力された補正された３原色信号Ｒ，Ｇ，Ｂを式（１）に代入することによって輝度信号Ｙｏを生成する。一方、帯域制限フィルタ８４は、色差信号Ｃｒ，Ｃｂの帯域に合わせるために、階調補正回路８２から入力された補正された３原色信号Ｒ，Ｇ，Ｂの帯域を制限し、色差信号生成マトリクス回路８５に出力する。色差信号生成マトリクス回路８５は、帯域制限されて補正された３原色信号Ｒ，Ｇ，Ｂを、式（１），（２）に代入して色差信号ＣｒＯ，ＣｂＯを生成する。
【００８４】
以上説明したように、画像処理部４１の第２の構成例によれば、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対して、適切な階調補正を施すことができるので、色相を変化させずに、画像信号のダイナミックレンジを変更することが可能である。
【００８５】
なお、本発明は、画像のダイナミックレンジを変更せずに階調を変更させる場合に適用することも可能である。
【００８６】
また、本発明は、本実施の形態のようなディジタルカメラのみならず、例えば、スキャナ、ファクシミリ、コピー装置など、画像信号を処理する電子機器に適用することが可能である。
【００８７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８８】
この記録媒体は、図４に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４６（フロッピディスクを含む）、光ディスク４７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク４８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ４９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【００８９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９０】
【発明の効果】
以上のように、本発明によれば、階調変換後の画像信号に色相の変化が発生することを抑止することが可能となる。
【図面の簡単な説明】
【図１】３原色信号Ｒ，Ｇ，Ｂの階調を個別に補正する従来の階調補正処理部の構成の一例を示すブロック図である。
【図２】画像信号のうちの輝度信号Ｙだけに対して階調補正を行う従来の階調補正処理部の構成の一例を示している。
【図３】輝度信号の階調補正特性を説明するための図である。
【図４】本発明の一実施の形態であるディジタルカメラ３０の構成例を示すブロック図である。
【図５】色フィルタ３６の一例を示す図である。
【図６】ディジタルカメラ３０の画像処理部４１の第１の構成例を示すブロック図である。
【図７】補正値演算回路６０の構成例を示すブロック図である。
【図８】人の視覚特性に対応した階調補正LUTについて説明するための図である。
【図９】画像処理部４１の第１の構成例の階調補正処理を説明するフローチャートである。
【図１０】ディジタルカメラ３０の画像処理部４１の第２の構成例を示すブロック図である。
【図１１】図１０の補正LUT生成回路８１の第１の構成例を示すブロック図である。
【図１２】画像処理部４１の第２の構成例の階調補正処理を説明するフローチャートである。
【図１３】図１０の補正LUT生成回路８１の第２の構成例を示すブロック図である。
【図１４】画像処理部４１の第２の構成例の階調補正処理を説明するフローチャートである。
【符号の説明】
３０ディジタルカメラ，３１レンズ，３２絞り，３３シャッタ，３４赤外線カットフィルタ，３５ローパスフィルタ，３６色フィルタ，３７ CCD，３８ CDS，３９オートゲインコントローラ，４０Ａ／Ｄコンバータ，４１画像処理部，４２タイミングジェネレータ，４３制御部，４４操作部，４５ドライブ，４６磁気ディスク，４７光ディスク，４８光磁気ディスク，４９半導体メモリ，５６加算器，５７輝度信号生成マトリクス回路，５８帯域制限フィルタ，５９色差信号生成マトリクス回路，６０補正値演算回路，６１階調補正回路，７１ヒストグラム生成回路，７２補正値LUT生成回路，７３比較器，７４補正値LUTメモリ，８１補正LUT生成回路，８２階調補正回路，８３輝度信号マトリクス回路，８４帯域制限フィルタ，８５色差信号マトリクス回路，９１輝度信号合成回路，９２ヒストグラム生成回路，９３階調補正LUT生成回路，１０１ LUTメモリ，１１１ヒストグラム生成回路，１１２階調補正LUT生成回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method, and a recording medium. For example, the image processing apparatus is suitable for use in correcting the gradation of an image in conformity with the dynamic range of an image output apparatus such as a display or a printer. And a method and a recording medium.
[0002]
[Prior art]
In recent years, image signal acquisition devices equipped with a solid-state image pickup device (CCD: Charge Coupled Device) such as a digital camera or a scanner have improved the performance of the solid-state image pickup device and can perform exposure in multiple stages. As a result, an image signal having a wider dynamic range of gradation than the conventional one (hereinafter referred to as a wide dynamic range image signal) can be acquired.
[0003]
On the other hand, the recording format of the recording medium for recording the image signal, the output signal format to the display or printer, the broadcast signal format, etc. are still described as the conventional 8-bit width or 10-bit width dynamic range (hereinafter referred to as narrow dynamic range). ).
[0004]
Therefore, when an image signal is output from an electronic device capable of acquiring a wide dynamic range image signal to an electronic device compatible with a conventional narrow dynamic range, it is necessary to correct the gradation of the wide dynamic range image signal. (It is necessary to narrow the dynamic range).
[0005]
Here, a conventional technique for correcting the dynamic range of the image signal will be described.
[0006]
Japanese Patent Laid-Open No. 9-331539 discloses a technique for correcting the dynamic range of an image signal by individually correcting the gradations of the three primary color signals R, G, and B in a broadcast video camera. FIG. 1 shows an example of the configuration of a gradation correction processing unit in such a broadcast video camera. In this gradation correction processing unit, the three primary color signals R, G, and B are input to the correction value calculation circuit 1. The three primary color signals R, G, B are input to the corresponding gradation correction circuits 2R, 2G, 2B, respectively.
[0007]
The correction value calculation circuit 1 generates a luminance signal using the input three primary color signals R, G, and B, calculates a correction value based on the luminance signal, and outputs it to the gradation correction circuits 2R, 2G, and 2B. To do.
[0008]
The gradation correction circuit 2R includes a lookup table (hereinafter referred to as LUT) for correcting the gradation of the red signal R, and the correction value and red signal R input from the correction value calculation circuit 1 are incorporated. Are compared with the built-in LUT and the corresponding value is output to the gamma correction circuit 3 as a correction value. The gradation correction circuit 2G has a built-in LUT for correcting the gradation of the green signal G. The correction value input from the correction value calculation circuit 1 and the green signal G are checked against the built-in LUT. The value to be corrected is output as a correction value to the gamma correction circuit 3. The gradation correction circuit 2B has a built-in LUT for correcting the gradation of the blue signal B, and the correction value input from the correction value calculation circuit 1 and the blue signal B are compared with the built-in LUT. The value to be corrected is output as a correction value to the gamma correction circuit 3.
[0009]
The gamma correction circuit 3R performs gamma correction on the corrected red signal R input from the gradation correction circuit 2R and outputs the corrected red signal R to the matrix circuit 4. The gamma correction circuit 3G performs gamma correction on the corrected green signal G input from the gradation correction circuit 2G and outputs the corrected signal to the matrix circuit 4. The gamma correction circuit 3B performs gamma correction on the corrected blue signal B input from the gradation correction circuit 2B, and outputs it to the matrix circuit 4. The matrix circuit 4 converts the gamma-corrected three primary color signals R, G, and B into a luminance signal Yo and color difference signals CrO and CbO.
[0010]
Since the gradation correction processing unit shown in FIG. 1 performs gradation correction on the three primary color signals R, G, and B at the same ratio, the dynamic range of the image signal is compressed to a desired width without changing the hue. It is possible.
[0011]
However, since the gradation correction processing unit requires the gradation correction circuit 2 and the gamma correction circuit 3 for each of the three primary color signals R, G, and B, they are used as consumer devices (digital cameras, When used in a video camera, a television receiver, etc., there is a problem that the cost increases and the circuit scale increases.
[0012]
Japanese Patent Application Laid-Open No. 11-55598 discloses a technique for correcting the dynamic range of an image signal by performing gradation correction only on the luminance signal Y of the image signal in a television receiver. FIG. 2 shows an example of the configuration of the gradation correction processing unit of such a television receiver.
[0013]
In the gradation correction processing unit, the input luminance signal Y is supplied to the correction value calculation circuit 11, the luminance correction circuit 12, and the color difference correction circuit 13, and the input color difference signals Cr and Cb are supplied to the color difference correction circuit 13. To be supplied.
[0014]
Based on the input luminance signal Y, the correction value calculation circuit 11 calculates a correction value at which gradation correction in the luminance correction circuit 12 is optimally executed and outputs the correction value to the luminance correction circuit 12. The gradation correction circuit 12 has a built-in LUT for correcting the gradation of the luminance signal Y, and compares the correction value and the luminance signal Y input from the correction value calculation circuit 11 with the built-in LUT. The value to be output is output as the correction value Yo. The correction value Yo is also supplied to the color difference correction circuit 13.
[0015]
In order to maintain the ratio of the color difference signals Cr and Cb to the input luminance signal Y, the color difference correction circuit 13 uses Yo / Y, which is the ratio of the luminance signal Y before gradation correction and the luminance signal Yo after correction, as the color difference signal Cr. , Cb is normalized to generate color difference signals CrO, CbO.
[0016]
[Problems to be solved by the invention]
Since the gradation correction processing unit as shown in FIG. 2 performs gradation correction only on the luminance signal Y, the number of components is reduced, and an increase in cost is suppressed and an increase in circuit scale is also suppressed. can do. However, the following problems exist.
[0017]
The first problem is that an error occurs in luminance correction of a pixel having a large color difference signal value. The relationship between the three primary color signals R, G, B and the luminance signal Y or the color difference signals CrO, CbO is as shown in the following equations (1), (2).
Y = 0.30R + 0.59G + 0.11B (1)
Cr = R−Y
Cb = BY (2)
[0018]
In the gradation correction of the luminance signal Y, the information on the color difference signals Cr and Cb is not taken into consideration, but the luminance signal Y lacks information indicating the balance of the three primary color signals R, G and B. The gradation correction of the luminance signal Y is not correctly performed on the pixel in which the balance of the three primary color signals R, G, and B is lost, that is, the pixel having a large color difference.
[0019]
For example, when the input red signal R is the maximum value (assuming 1) and the green signal G and the blue signal B are minimum values (assuming 0), the input luminance signal Y is 0.3. .
[0020]
Such a pixel is converted into a pixel in which the red signal R has the maximum value (assuming 1) and the green signal G and the blue signal B have the minimum values (assuming 0) even after gradation correction. When converted in such a manner, the luminance signal Y of the pixel is 0.3.
[0021]
However, for example, if a luminance correction LUT as shown in FIG. 3 is given to the luminance correction circuit 12, the luminance signal Y = 0.3 is equal to the luminance signal Yo = 0 in accordance with the luminance correction LUT. .6, and an error occurs as compared with an appropriate correction value (Y = 0.3 in this case). Such a phenomenon has a problem that may occur for all pixels other than achromatic colors.
[0022]
The second problem is that the hue changes.
[0023]
Specifically, for example, when the input red signal R has a maximum value and the green signal G and the blue signal B have minimum values, the color difference signal Cr has a maximum value. At this time, when the luminance signal Y = 0.3 is converted to Yo = 0.6 according to the LUT of FIG. 3, the color difference correction circuit 13 sets 2 (= 0.6 / 0.3) to the color difference signal Cr. Will be multiplied. However, since the color difference signal Cr is already the maximum value, it does not change due to the clipping process. On the other hand, the color difference signal Cb that does not take the maximum value is multiplied by 2. As a result, there is a problem that Cr / Y is not kept constant and a change occurs in hue.
[0024]
Even if the Cr / Y value is held without performing the clipping process on the color difference signal Cr, the clipping process is performed on the red signal R when converting to the three primary color signals R, G, and B. As a result, there is a problem that the hue changes.
[0025]
The present invention has been made in view of such a situation, and in the case where gradation correction is performed only for the luminance signal Y of a pixel having a large value of the color difference signal, it is possible to suppress the occurrence of a change in hue. It is to make.
[0026]
[Means for Solving the Problems]
  The image processing apparatus according to the present invention uses a luminance signal of an input image signal to correct a correction value corresponding to a combination of a pixel luminance signal and a larger color difference signal having a larger signal level of two types of color difference signals. Generating means for generating a conversion rule indicating a large color difference with a larger signal level of the luminance signal and the two kinds of color difference signals for each pixel of the input image signal by referring to the generated conversion rule Acquisition means for acquiring a correction value corresponding to the combination with the signal, and correction means for correcting the luminance signal and the color difference signal using the acquired correction value for each pixel of the input image signal,The generation means uses the luminance signal Y and the large color difference signal C as variables, and the maximum signal level that the large color difference signal can take. Cmax Based on a function f (Y, C) represented by the following equation using as a constant, a correction value k is calculated to generate a conversion rule:
k = f (Y, C) = (Ye / Y) ^ (( Cmax -C) / ( Cmax ))
However, Ye is a logarithmic conversion value of the luminance signal Y, and ^ indicates a power.
[0028]
  The generating unit is configured to input an input image signal.Luminance signalCreating means for creating a histogram, accumulating means for accumulating histograms to create a cumulative histogram, approximating means for approximating the cumulative histogram to a predetermined logarithmic curve to generate an approximate curve, and conversion based on the approximate curve Including creation means for creating rules.Can be made.
[0029]
  The correction means includesAcquired for each pixel of the input image signalBy multiplying the correction value,Luminance signalandColor difference signalCan be corrected.
[0030]
  An image processing apparatus according to the present inventionImageIt further includes conversion means for converting to a signal.Can be removed.
[0032]
  The image processing method of the present invention uses a luminance signal of an input image signal to correct a correction value corresponding to a combination of a pixel luminance signal and a larger color difference signal having a larger signal level of two kinds of color difference signals. A generation step for generating a conversion rule indicating a large color difference for each pixel of the input image signal, a luminance signal and a larger color level of the two types of color difference signals by referring to the generated conversion rule An acquisition step of acquiring a correction value corresponding to the combination with the signal;
  A correction step of correcting the luminance signal and the color difference signal using the acquired correction value for each pixel of the input image signal,The generation step uses the luminance signal Y and the large color difference signal C as variables, and the maximum signal level that the large color difference signal can take. Cmax Based on a function f (Y, C) represented by the following equation using as a constant, a correction value k is calculated to generate a conversion rule:
k = f (Y, C) = (Ye / Y) ^ (( Cmax -C) / ( Cmax ))
However, Ye is a logarithmic conversion value of the luminance signal Y, and ^ indicates a power.
[0033]
  The recording medium of the present invention uses the luminance signal of the input image signal to obtain a correction value corresponding to the combination of the pixel luminance signal and the larger color difference signal having the larger signal level of the two types of color difference signals. A large color difference signal having a larger signal level of the luminance signal and the two kinds of color difference signals for each pixel of the input image signal by referring to the generated conversion rule and a generation step for generating the conversion rule to be shown An acquisition step for acquiring a correction value corresponding to the combination of the correction signal, and a correction step for correcting the luminance signal and the color difference signal for each pixel of the input image signal using the acquired correction value,The generation step uses the luminance signal Y and the large color difference signal C as variables, and the maximum signal level that the large color difference signal can take. Cmax Based on a function f (Y, C) represented by the following equation using as a constant, a correction value k is calculated to generate a conversion rule:
k = f (Y, C) = (Ye / Y) ^ (( Cmax -C) / ( Cmax ))
Where Ye is a logarithmically converted value of the luminance signal Y, and ^ indicates a power.A program that causes a computer of the image processing apparatus to execute processing is recorded.
[0034]
  In the present invention, the luminance signal of the input image signal is used, and the correction value corresponding to the combination of the luminance signal of the pixel and the larger color difference signal having the larger signal level of the two types of color difference signals is shown. A conversion rule is generated, and by referring to the generated conversion rule, for each pixel of the input image signal, a combination of the luminance signal and the larger color difference signal having the larger signal level of the two types of color difference signals The correction value corresponding to is acquired, and the luminance signal and the color difference signal are corrected for each pixel of the input image signal using the acquired correction value. In the generation process,Maximum value of signal level that can be taken by large color difference signal with luminance signal Y and large color difference signal C as variables Cmax Based on a function f (Y, C) represented by the following equation using as a constant, a correction value k is calculated and a conversion rule is generated.
k = f (Y, C) = (Ye / Y) ^ (( Cmax -C) / ( Cmax ))
However, Ye is a logarithmic conversion value of the luminance signal Y, and ^ indicates a power.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
A configuration example of a digital camera according to an embodiment of the present invention will be described with reference to FIG. The digital camera 30 uses a single-plate CCD, acquires a light image of a subject as an image signal with a wide dynamic range (for example, 16-bit width), and appropriately selects an image with a narrow dynamic range (for example, 8-bit width). It is converted into a signal and output.
[0036]
The optical system of the digital camera 30 includes a lens 31 for condensing a light image of a subject, a diaphragm 32 for adjusting the light amount of the light image, a shutter 33 for adjusting the incident time of the light image, and an infrared region in which the CCD 37 has high sensitivity. An infrared cut filter (IR filter) 34 that removes light, an optical low-pass filter (LPF) 35 that removes high-frequency components of light to suppress aliasing that occurs when the CCD 37 performs discrete sampling, and four pixels of the CCD 37 Filters of primary colors (red (R), green (G), and blue (B)) arranged as shown in FIG. 5 for each corresponding region, and the three primary colors R, G, and B are extracted from the optical signal. The color filter 36 to extract is comprised.
[0037]
The infrared cut filter 34 may be omitted by applying a coating for removing the infrared region to the lens 31. As the color filter 36, for example, a filter in which complementary color systems (yellow (Ye), cyan (Cy), magenta (Mg)) and green (G) are arranged, for example, other than the one shown in FIG. 5 is used. May be.
[0038]
Further, the digital camera 30 photoelectrically converts an optical image input through the optical system, and outputs a wide dynamic range image signal to the CDS 38. The digital camera 30 reduces noise by sampling the image signal input from the CCD 37. CDS (Corelated Double Sampling) 38, AGC (Auto Gain Controller) 39 that electrically amplifies the amplitude of the image signal in accordance with the brightness of the subject, A / D converter 40 that digitizes the analog image signal, DSP (Digital Signal Processors) and the like, an image processing unit 41 that converts a wide dynamic range digital image signal into a narrow dynamic range digital image signal, a timing generator 42 that generates a horizontal scanning timing and a vertical scanning timing of the CCD 37, and Controlling the drive 45, magnetic disk 46, optical disk 47, light The control program stored in the air disk 48 or the semiconductor memory 49 is read, and the entire digital camera 30 is controlled based on the read control program, a user command input from the operation unit 44, and the like. The control unit 43 is configured.
[0039]
In addition to converting the dynamic range of the input digital image signal, the image processing unit 41 compresses and encodes the input digital image signal as a still image according to a JPEG (Joint Photographic Experts Group) method or the like, and performs predetermined recording media. Or is compressed and encoded as a moving image according to the MPEG (Moving Picture Experts Group) method or the like and recorded on a predetermined recording medium, or an encoded image signal is read from the predetermined recording medium and decoded.
[0040]
In this digital camera 30, the optical image input through the optical system including the lens 31 to the color filter 36 is converted into an image signal with a wide dynamic range by the CCD 37, subjected to noise reduction processing by the CDS 38, and amplitude is processed by the AGC 39. Are further digitized by the A / D converter 40 and input to the image processing unit 41. The wide dynamic range digital image signal input to the image processing unit 41 is converted into a narrow dynamic range digital image signal.
[0041]
Next, FIG. 6 illustrates a first configuration example of the image processing unit 41. One of the three primary color signals R, G, and B digitized for one pixel is input to the image processing unit 41.
[0042]
The white balance circuit (WB) 51 adjusts the primary color signal level of each pixel to adjust the color balance in the image, and outputs it to the gamma correction circuit (γ) 52. The gamma correction circuit 52 performs gamma correction on the primary color signal of each pixel and outputs it to the delay circuit (DL) 53. The delay circuit 53 includes a process in which the RGB interpolation synchronization circuit 54 restores the three primary color signals R, G, and B of each pixel using a predetermined number of pixels in the vicinity, and the aperture correction signal generation circuit 55 has a predetermined value in the vicinity. The phases of the signals of the respective color channels having different sampling phases used for the process of generating the edge enhancement signal using a number of pixels are made to coincide with each other and output to the RGB interpolation synchronization circuit 54 and the aperture correction signal generation circuit 55.
[0043]
The RGB interpolation synchronization circuit 54 restores the three primary color signals R, G, and B corresponding to all the pixels, respectively, so that the red signal R, the green signal G, or the blue signal B of the pixel in the vicinity of the target pixel is obtained. Is used to interpolate the missing color signal, and the phases of the three primary color signals R, G, B corresponding to the pixels are synchronized and output to the adder 56 simultaneously. The aperture correction signal generation circuit 55 generates edge enhancement signals respectively corresponding to all the pixels using the red signal R, the green signal G, or the blue signal B of the pixels in the vicinity of the target pixel, and the adder 56 Output to.
[0044]
The adder 56 performs F-special correction by adding the edge enhancement signal input from the aperture correction signal generation circuit 55 to each of the three primary color signals R, G, and B input from the RGB interpolation synchronization circuit 54. And output to the luminance signal generation matrix circuit 57 and the band limiting filter 58.
[0045]
The luminance signal generation matrix circuit 57 generates the luminance signal Y by substituting the three primary color signals R, G, and B input from the adder 56 into the equation (1), and the correction value calculation circuit 60 and the gradation correction circuit 61. Output to.
[0046]
The band limiting filter 58 limits the bands of the three primary color signals R, G, and B from the adder 56 and outputs them to the color difference signal generation matrix circuit 59 in order to match the bands of the color difference signals Cr and Cb. The color difference signal generation matrix circuit 59 generates the color difference signals Cr and Cb by substituting the band-limited three primary color signals R, G, and B into the equations (1) and (2). Output to the tone correction circuit 61.
[0047]
The correction value calculation circuit 60 calculates the correction value k based on the luminance signal Y input from the luminance signal generation matrix circuit 57 and the color difference signals Cr and Cb input from the color difference signal generation matrix circuit 59 to correct the gradation. Output to the circuit 61.
[0048]
As shown in the following equation (3), the gradation correction circuit 61 uses the correction value k input from the correction value calculation circuit 60, the luminance signal Y input from the luminance signal generation matrix circuit 57, and the color difference signal generation matrix. The color difference signals Cr and Cb input from the circuit 59 are respectively multiplied, and the resulting values are output as corrected luminance signals Yo and color difference signals CrO and CbO.
Yo = k · Y
CrO = k · Cr
CbO = k · Cb (3)
[0049]
Thus, by multiplying the luminance signal Y and the color difference signals Cr and Cb by the same correction value k, the ratio between the color signals is prevented from changing, and when the signal levels of the color difference signals Cr and Cb are large, The correction error of the luminance signal Y can be reduced.
[0050]
FIG. 7 shows a detailed configuration example of the correction value calculation circuit 60. The histogram generation circuit 71 of the correction value calculation circuit 60 generates a histogram of the luminance signal Y sequentially input from the luminance signal generation matrix circuit 57 (frequency distribution with respect to each signal level of the luminance signal Y) for each image, and corrects the correction value. The data is output to the LUT generation circuit 72.
[0051]
The correction value LUT generation circuit 72 is a combination of the luminance signal Y and the color difference signal C (the signal having the larger signal level of the color difference signal Cr and the color difference signal Cb) based on the histogram of the luminance signal Y input from the histogram generation circuit 71. A correction value LUT indicating a correction value k is generated and stored in the correction value LUT memory 74.
[0052]
Specifically, the correction value LUT generation circuit 72 accumulates the histogram of the luminance signal Y input from the histogram generation circuit 71, accumulates the frequency for each signal level of the histogram, and represents the curve A shown in FIG. Generate a cumulative histogram. Further, in consideration of Weber-Fechina's law regarding human visual characteristics (human sensory amount is proportional to logarithm of stimulus intensity), curve A is approximated to a predetermined logarithmic curve to obtain curve B. In FIG. 8, the horizontal axis indicates the input luminance level Y, and the vertical axis indicates the luminance signal level Ye in which the dynamic range of the corrected luminance signal is adapted to the cumulative frequency.
[0053]
Curve B is given by the following equation (4).
Ye = a · log (Y) + b (4)
Here, a and b are predetermined coefficients.
[0054]
Next, the correction value LUT generation circuit 72 generates a correction value LUT indicating the correction value k corresponding to the combination of the luminance signal Y and the color difference signal C expressed by the following equation (5), and stores the correction value LUT in the correction value LUT memory 74. Remember.
[Expression 1]

... (5)
Here, Cmax is the maximum signal level that the color difference signal C can take.
[0055]
Returning to FIG. The comparator 73 compares the signal levels of the color difference signals Cr and Cb input from the color difference signal generation matrix circuit 59 and outputs the higher signal level to the correction value LUT memory 74 as the color difference signal C. The correction value LUT memory 74 stores the correction value LUT from the correction value LUT generation circuit 72. The correction value LUT memory 74 also compares the input combination of the luminance signal Y and the color difference signal C with the correction value LUT, acquires the corresponding correction value k, and outputs it to the gradation correction circuit 61.
[0056]
The gradation correction processing of the first configuration example (FIG. 6) of the image processing unit 41 will be described with reference to the flowchart of FIG. This gradation correction processing is performed on the luminance signal Y output from the luminance signal generation matrix circuit 57 and the color difference signals Cr and Cb output from the color difference signal generation matrix circuit 59.
[0057]
In step S 1, the histogram generation circuit 71 of the correction value calculation circuit 60 generates a histogram of the luminance signal Y input from the luminance signal generation matrix circuit 57 for each image and outputs it to the correction value LUT generation circuit 72. In step S2, the correction value LUT generation circuit 72 generates a correction value LUT indicating the correction value k for the combination of the luminance signal Y and the color difference signal C based on the histogram of the luminance signal Y input from the histogram generation circuit 71. The correction value is stored in the LUT memory 74.
[0058]
In step S 3, the comparator 73 compares the color difference signals Cr and Cb input from the color difference signal matrix circuit 59 and outputs the color signal having the higher signal level to the correction value LUT memory 74 as the color difference signal C. In step S 4, the correction value LUT memory 74 compares the input luminance signal Y and color difference signal C with the correction value LUT, acquires the corresponding correction value k, and outputs it to the gradation correction circuit 61.
[0059]
In step S5, the gradation correction circuit 61 uses the correction value k input from the correction value calculation circuit 60, the luminance signal Y input from the luminance signal generation matrix circuit 57, and the color difference, as shown in Expression (3). The color difference signals Cr and Cb input from the signal generation matrix circuit 59 are respectively multiplied, and the resulting values are corrected and output as luminance signals Yo and color difference signals CrO and CbO.
[0060]
As described above, according to the gradation correction process of the first configuration example of the image processing unit 41, the correction is performed by multiplying the luminance signal Y and the color difference signals Cr and Cb by the same correction value k.
[0061]
Note that the combination of the luminance signal Y and the color difference signal C and the correction value k have the relationship shown in Expression (5). Therefore, for example, when the signal level of the color difference signal C is the maximum value, the correction value k = 1. Therefore, the input luminance signal Y and the color difference signals Cr and Cb are multiplied by k = 1, and the input luminance signal Y and the color difference signals Cr and Cb are directly corrected as the luminance signal Yo and the color difference signal CrO. , CbO. Therefore, it is possible to prevent the hue from changing due to overflow in the corrected color difference signals CrO and CbO.
[0062]
For example, when the signal levels of the color difference signals Cr and Cb are both 0 and the color difference signal C is the minimum value (= 0) (when the pixel is an achromatic color), the equation (5) is expressed as follows: Equation (6) is obtained, and the corrected luminance signal Yo = Ye. That is, for achromatic pixels, gradation correction (curve B in FIG. 8) is performed in consideration of human visual characteristics.
k = Ye / Y (6)
[0063]
Next, FIG. 10 shows a second configuration example of the image processing unit 41. The second configuration example of the image processing unit 41 differs from the first configuration example shown in FIG. In the second configuration example, the adder 56 adds the edge enhancement signal input from the aperture correction signal generation circuit 55 to each of the three primary color signals R, G, and B input from the RGB interpolation synchronization circuit 54. Accordingly, the F special correction is performed, and the result is output to the correction LUT generation circuit 81 and the gradation correction circuit 82.
[0064]
The correction LUT generation circuit 81 generates a correction LUT for correcting each of the three primary color signals R, G, and B based on the three primary color signals R, G, and B input from the adder 56, and performs gradation correction. Output to the circuit 82. The gradation correction circuit 82 stores the correction LUT input from the correction LUT generation circuit 81. The gradation correction circuit 82 also compares the three primary color signals R, G, and B input from the adder 56 with the correction LUT, and generates a luminance signal as the three primary color signals R, G, and B with the corresponding values corrected. The data is output to the matrix circuit 83 and the band limiting filter 84.
[0065]
The luminance signal generation matrix circuit 83 generates the luminance signal Yo by substituting the corrected three primary color signals R, G, and B input from the gradation correction circuit 82 into the equation (1).
[0066]
The band limiting filter 84 limits the band of the corrected three primary color signals R, G, and B input from the gradation correction circuit 82 to match the band of the color difference signals Cr and Cb, and the color difference signal generation matrix circuit 85. Output to. The color difference signal generation matrix circuit 85 generates the color difference signals CrO and CbO by substituting the band limited and corrected three primary color signals R, G, and B into the equations (1) and (2).
[0067]
In the second configuration example of the image processing unit 41 illustrated in FIG. 10, the same reference numerals are given to circuits that are common to the first configuration example illustrated in FIG. 6, and descriptions thereof are omitted. To do.
[0068]
FIG. 11 illustrates a first configuration example of the correction LUT generation circuit 81 that forms the second configuration example of the image processing unit 41. The luminance signal synthesis circuit 91 of the correction LUT generation circuit 81 generates the luminance signal Y by substituting the three primary color signals R, G, and B input from the adder 56 into the equation (1) and outputs the luminance signal Y to the histogram generation circuit 92. To do. The histogram generation circuit 92 generates a histogram of the luminance signal Y sequentially input from the luminance signal synthesis circuit 92 for each image and outputs it to the gradation correction LUT generation circuit 93.
[0069]
The gradation correction LUT generation circuit 93 generates a cumulative histogram by accumulating the histogram of the luminance signal Y input from the histogram generation circuit 92, and approximates it to a predetermined logarithmic curve, as shown by a curve B in FIG. Obtain a logarithmic approximation curve. Further, the gradation correction LUT generation circuit 93 generates correction LUTs corresponding to the three primary color signals R, G, and B based on the logarithmic approximation curve, and stores them in the LUT memories 101R to 101B of the gradation correction circuit 82. Let
[0070]
The LUT memory 101R constituting the gradation correction circuit 82 stores a correction LUT for correcting the red signal R input from the gradation correction LUT generation circuit 93, and corrects the red signal R input from the adder 56. The corrected red signal R is acquired in light of the LUT and output to the luminance signal generation matrix circuit 83 and the band limiting filter 84. The LUT memory 101G stores a correction LUT for correcting the green signal G input from the gradation correction LUT generation circuit 93, and compares the green signal G input from the adder 56 with the correction LUT for correction. The green signal G is acquired and output to the luminance signal generation matrix circuit 83 and the band limiting filter 84. The LUT memory 101B stores a correction LUT for correcting the blue signal B input from the gradation correction LUT generation circuit 93, and compares the blue signal B input from the adder 56 with the correction LUT for correction. The blue signal B is acquired and output to the luminance signal generation matrix circuit 83 and the band limiting filter 84.
[0071]
Next, the tone correction processing by the first configuration example of the correction LUT generation circuit 81 constituting the second configuration example of the image processing unit 41 will be described with reference to the flowchart of FIG. This gradation correction process is performed on the three primary color signals R, G, and B output from the adder 56.
[0072]
In step S11, the luminance signal synthesis circuit 91 of the correction LUT generation circuit 81 generates the luminance signal Y by substituting the three primary color signals R, G, and B input from the adder 56 into the equation (1) to generate a histogram. Output to the circuit 92. In step S 12, the histogram generation circuit 92 generates a histogram of the luminance signal Y sequentially input from the luminance signal synthesis circuit 92 for each image and outputs it to the gradation correction LUT generation circuit 93.
[0073]
In step S13, the gradation correction LUT generation circuit 93 accumulates the histogram of the luminance signal Y input from the histogram generation circuit 92 to generate a cumulative histogram, approximates it to a predetermined logarithmic curve, and curves in FIG. A log approximation curve such as B is obtained. Further, the gradation correction LUT generation circuit 93 generates correction LUTs corresponding to the three primary color signals R, G, and B based on the logarithmic approximation curve, and stores them in the corresponding LUT memories 101R to 101B.
[0074]
In step S 14, the LUT memory 101 R compares the red signal R input from the adder 56 with the stored correction LUT and the obtained corrected red signal R is sent to the luminance signal generation matrix circuit 83 and the band limiting filter 84. Output. Similarly, the LUT memory 101G acquires the corrected green signal G and outputs it to the luminance signal generation matrix circuit 83 and the band limiting filter 84, and the LUT memory 101B acquires the corrected blue signal B and acquires the luminance signal. The data is output to the generation matrix circuit 83 and the band limiting filter 84.
[0075]
In step S15, the luminance signal generation matrix circuit 83 generates the luminance signal Yo by substituting the corrected three primary color signals R, G, and B input from the gradation correction circuit 82 into Equation (1). On the other hand, the band limiting filter 84 limits the bands of the corrected three primary color signals R, G, and B input from the gradation correction circuit 82 in order to match the bands of the color difference signals Cr and Cb, and the color difference signal generation matrix. Output to the circuit 85. The color difference signal generation matrix circuit 85 generates the color difference signals CrO and CbO by substituting the band limited and corrected three primary color signals R, G, and B into the equations (1) and (2).
[0076]
FIG. 13 shows a second configuration example of the correction LUT generation circuit 81 constituting the second configuration example of the image processing unit 41. Only the green signal G is input from the adder 56 to the second configuration example of the correction LUT generation circuit 81.
[0077]
In the second configuration example of the correction LUT generation circuit 81, the histogram generation circuit 111 generates a histogram of the green signal G sequentially input from the adder 56 for each image and outputs it to the gradation correction LUT generation circuit 112.
[0078]
The gradation correction LUT generation circuit 112 generates a cumulative histogram by accumulating the histogram of the green signal G input from the histogram generation circuit 111, and approximates it to a predetermined logarithmic curve, as shown by a curve B in FIG. Obtain a logarithmic approximation curve. Furthermore, the gradation correction LUT generation circuit 112 generates correction LUTs corresponding to the three primary color signals R, G, and B based on the logarithmic approximation curve, and stores them in the LUT memories 101R to 101B of the gradation correction circuit 82. Let
[0079]
Next, gradation correction processing according to the second configuration example of the correction LUT generation circuit 81 constituting the second configuration example of the image processing unit 41 will be described with reference to the flowchart of FIG. This gradation correction process is performed on the three primary color signals R, G, and B output from the adder 56.
[0080]
In step S 21, the histogram generation circuit 111 generates a histogram of the green signal G sequentially input from the adder 56 for each image and outputs it to the gradation correction LUT generation circuit 112.
[0081]
In step S22, the gradation correction LUT generation circuit 112 generates a cumulative histogram by accumulating the histogram of the green signal G input from the histogram generation circuit 111, and approximates it to a predetermined logarithmic curve to obtain the curve of FIG. A log approximation curve such as B is obtained. Further, the gradation correction LUT generation circuit 112 generates correction LUTs corresponding to the three primary color signals R, G, and B based on the logarithmic approximation curve, and stores them in the corresponding LUT memories 101R to 101B.
[0082]
In step S23, the LUT memory 101R compares the red signal R input from the adder 56 with the correction LUT, and outputs the corrected red signal R obtained to the luminance signal generation matrix circuit 83 and the band limiting filter 84. . Similarly, the LUT memory 101G acquires the corrected green signal G and outputs it to the luminance signal generation matrix circuit 83 and the band limiting filter 84, and the LUT memory 101B acquires the corrected blue signal B and acquires the luminance signal. The data is output to the generation matrix circuit 83 and the band limiting filter 84.
[0083]
In step S24, the luminance signal generation matrix circuit 83 generates the luminance signal Yo by substituting the corrected three primary color signals R, G, and B input from the gradation correction circuit 82 into Equation (1). On the other hand, the band limiting filter 84 limits the bands of the corrected three primary color signals R, G, and B input from the gradation correction circuit 82 in order to match the bands of the color difference signals Cr and Cb, and the color difference signal generation matrix. Output to the circuit 85. The color difference signal generation matrix circuit 85 generates the color difference signals CrO and CbO by substituting the band limited and corrected three primary color signals R, G, and B into the equations (1) and (2).
[0084]
As described above, according to the second configuration example of the image processing unit 41, appropriate gradation correction can be performed on each of the three primary color signals R, G, and B, so that the hue is changed. Without changing the dynamic range of the image signal.
[0085]
Note that the present invention can also be applied to the case where the gradation is changed without changing the dynamic range of the image.
[0086]
The present invention can be applied not only to a digital camera as in the present embodiment, but also to an electronic device that processes image signals, such as a scanner, a facsimile, and a copying apparatus.
[0087]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0088]
As shown in FIG. 4, the recording medium is distributed to provide a program to the user separately from the computer, and includes a magnetic disk 46 (including a floppy disk) on which the program is recorded, an optical disk 47 (CD- ROM (Compact Disc-Read Only Memory), DVD (including Digital Versatile Disc)), magneto-optical disk 48 (including MD (Mini Disc)), or semiconductor memory 49, etc. It is configured by a ROM, a hard disk or the like on which a program is recorded, which is provided to the user in a state of being pre-installed in the computer.
[0089]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0090]
【The invention's effect】
As aboveLightAccording totoneIt is possible to prevent the hue change from occurring in the converted image signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a conventional gradation correction processing unit that individually corrects gradations of three primary color signals R, G, and B;
FIG. 2 shows an example of a configuration of a conventional gradation correction processing unit that performs gradation correction only on a luminance signal Y of image signals.
FIG. 3 is a diagram for explaining gradation correction characteristics of a luminance signal.
FIG. 4 is a block diagram illustrating a configuration example of a digital camera 30 according to an embodiment of the present invention.
5 is a diagram illustrating an example of a color filter 36. FIG.
6 is a block diagram illustrating a first configuration example of an image processing unit 41 of the digital camera 30. FIG.
7 is a block diagram showing a configuration example of a correction value calculation circuit 60. FIG.
FIG. 8 is a diagram for explaining a gradation correction LUT corresponding to a human visual characteristic.
FIG. 9 is a flowchart illustrating tone correction processing of the first configuration example of the image processing unit 41;
10 is a block diagram illustrating a second configuration example of the image processing unit 41 of the digital camera 30. FIG.
11 is a block diagram illustrating a first configuration example of a correction LUT generation circuit 81 in FIG. 10;
FIG. 12 is a flowchart for explaining gradation correction processing of the second configuration example of the image processing unit 41;
13 is a block diagram showing a second configuration example of the correction LUT generation circuit 81 of FIG.
FIG. 14 is a flowchart illustrating tone correction processing of the second configuration example of the image processing unit 41;
[Explanation of symbols]
30 Digital Camera, 31 Lens, 32 Aperture, 33 Shutter, 34 Infrared Cut Filter, 35 Low Pass Filter, 36 Color Filter, 37 CCD, 38 CDS, 39 Auto Gain Controller, 40 A / D Converter, 41 Image Processing Unit, 42 Timing Generator , 43 control unit, 44 operation unit, 45 drive, 46 magnetic disk, 47 optical disk, 48 magneto-optical disk, 49 semiconductor memory, 56 adder, 57 luminance signal generation matrix circuit, 58 band limiting filter, 59 color difference signal generation matrix circuit , 60 correction value calculation circuit, 61 gradation correction circuit, 71 histogram generation circuit, 72 correction value LUT generation circuit, 73 comparator, 74 correction value LUT memory, 81 correction LUT generation circuit, 82 gradation Positive circuit, 83 luminance signal matrix circuit, 84 band limiting filter, 85 color difference signal matrix circuit, 91 luminance signal synthesis circuit, 92 histogram generation circuit, 93 gradation correction LUT generation circuit, 101 LUT memory, 111 histogram generation circuit, 112 floor Adjustment correction LUT generation circuit

Claims

In an image processing apparatus that corrects the gradation of an image signal,
Using the luminance signal of the input image signal, a conversion rule indicating a correction value corresponding to a combination of the luminance signal of the pixel and the larger color difference signal having the larger signal level of the two types of color difference signals is generated. Generating means for
By referring to the generated conversion rule, each pixel of the input image signal corresponds to a combination of the luminance signal and the larger color difference signal having the larger signal level of the two types of color difference signals. An acquisition means for acquiring a correction value;
Correction means for correcting the luminance signal and the color difference signal using the acquired correction value for each pixel of the input image signal,
The generating means uses the luminance signal Y and the large color difference signal C as variables, and a function f (Y, C) shown in the following equation using the maximum signal level Cmax that the large color difference signal can take as a constant. Based on this, the conversion value is generated by calculating the correction value k.
k = f (Y, C) = (Ye / Y) ^ (( Cmax− C) / ( Cmax ))
However, Ye is a logarithmically converted value of the luminance signal Y, and ^ is an image processing device indicating a power .

The image processing apparatus according to claim 1, wherein the conversion rule is a lookup table.

The generating means includes
Creating means for creating a histogram of the luminance signal of the input image signal;
Accumulating means for accumulating the histogram to create a cumulative histogram;
Approximation means for approximating the cumulative histogram to a predetermined logarithmic curve to generate an approximate curve;
The image processing apparatus according to claim 1 , further comprising: a creating unit that creates the conversion rule based on the approximate curve.

The correction means includes
The image processing apparatus according to claim 1, wherein the luminance signal and the color difference signal are corrected by multiplying the acquired correction value for each pixel of the input image signal.

The image processing apparatus according to claim 1, further comprising conversion means for converting an optical image of a subject into an image signal.

In the image processing method of the image processing apparatus for correcting the gradation of the image signal,
Using the luminance signal of the input image signal, a conversion rule indicating a correction value corresponding to a combination of the luminance signal of the pixel and the larger color difference signal having the larger signal level of the two types of color difference signals is generated. Generating step to
By referring to the generated conversion rule, each pixel of the input image signal corresponds to a combination of the luminance signal and the larger color difference signal having the larger signal level of the two types of color difference signals. An acquisition step of acquiring a correction value;
A correction step of correcting the luminance signal and the color difference signal using the acquired correction value for each pixel of the input image signal,
In the generating step, the function f (Y, C) shown in the following equation using the luminance signal Y and the large color difference signal C as variables and the maximum value Cmax of the signal level that the large color difference signal can take as a constant is used. Based on this, the conversion value is generated by calculating the correction value k.
k = f (Y, C) = (Ye / Y) ^ (( Cmax− C) / ( Cmax ))
However, Ye is a logarithmic conversion value of the luminance signal Y, and ^ is an image processing method indicating a power .

A program for controlling an image processing apparatus for correcting the gradation of an image signal,
Using the luminance signal of the input image signal, a conversion rule indicating a correction value corresponding to a combination of the luminance signal of the pixel and the larger color difference signal having the larger signal level of the two types of color difference signals is generated. Generating step to
By referring to the generated conversion rule, each pixel of the input image signal corresponds to a combination of the luminance signal and the larger color difference signal having the larger signal level of the two types of color difference signals. An acquisition step of acquiring a correction value;
A correction step of correcting the luminance signal and the color difference signal using the acquired correction value for each pixel of the input image signal,
In the generating step, the function f (Y, C) shown in the following equation using the luminance signal Y and the large color difference signal C as variables and the maximum value Cmax of the signal level that the large color difference signal can take as a constant is used. Based on this, the conversion value is generated by calculating the correction value k.
k = f (Y, C) = (Ye / Y) ^ (( Cmax− C) / ( Cmax ))
However, Ye is a logarithm conversion value of the luminance signal Y, and ^ is a recording medium on which a program for causing the computer of the image processing apparatus to execute a process indicating a power is recorded.