JP4003399B2

JP4003399B2 - 画像処理装置および方法、並びに記録媒体

Info

Publication number: JP4003399B2
Application number: JP2001016084A
Authority: JP
Inventors: 誠司小林; 知生光永; 博明小野; 健中島; 知加子佐野; 伸行佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-23
Filing date: 2001-01-24
Publication date: 2007-11-07
Anticipated expiration: 2021-01-24
Also published as: US20020171663A1; JP2002204373A; US6781595B2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、例えば、ディスプレイやプリンタ等の画像出力装置のダイナミックレンジに適合させて画像の階調を補正する場合に用いて好適な画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラやスキャナ等のような固体撮像素子(CCD:Charge Coupled Device)を搭載した画像信号取得機器においては、固体撮像素子の性能が向上したことや多段階的に露光を行うことが可能となったことによって、階調のダイナミックレンジが従来よりも広い画像信号（以下、広ダイナミックレンジ画像信号と記述する）を取得することができるようになっている。
【０００３】
一方、画像信号を記録する記録メディアの記録フォーマット、ディスプレイやプリンタへの出力信号フォーマット、放送信号フォーマット等は、依然として従来の８ビット幅や１０ビット幅のダイナミックレンジ（以下、狭ダイナミックレンジと記述する）に制限されている。
【０００４】
したがって、広ダイナミックレンジ画像信号を取得できる電子機器から、従来の狭ダイナミックレンジに対応する電子機器に対して画像信号を出力する場合には、広ダイナミックレンジ画像信号の階調を補正する必要がある（ダイナミックレンジを狭くする必要がある）。
【０００５】
ここで、画像信号のダイナミックレンジを補正する従来の技術について説明する。
【０００６】
特開平９−３３１５３９号公報には、放送用ビデオカメラにおいて３原色信号Ｒ，Ｇ，Ｂの階調を個別に補正することにより、画像信号のダイナミックレンジを補正する技術が開示されている。図１は、そのような放送用ビデオカメラにおける階調補正処理部の構成の一例を示している。この階調補正処理部において、３原色信号Ｒ，Ｇ，Ｂは、補正パラメータ演算回路１に入力される。また、３原色信号Ｒ，Ｇ，Ｂは、それぞれ対応する階調補正回路２Ｒ，２Ｇ，２Ｂに入力される。
【０００７】
補正パラメータ演算回路１は、入力される３原色信号Ｒ，Ｇ，Ｂを用いて輝度信号を生成し、その輝度信号に基づいて補正パラメータを演算し、階調補正回路２Ｒ，２Ｇ，２Ｂに出力する。
【０００８】
階調補正回路２Ｒは、赤色信号Ｒの階調を補正するためのルックアップテーブル（以下、LUTと記述する）を内蔵しており、補正パラメータ演算回路１から入力される補正パラメータおよび赤色信号Ｒを、内蔵するLUTに照らし合わせ、対応する値を補正値としてガンマ補正回路３に出力する。階調補正回路２Ｇは、緑色信号Ｇの階調を補正するためのLUTを内蔵しており、補正パラメータ演算回路１から入力される補正パラメータおよび緑色信号Ｇを、内蔵するLUTに照らし合わせ、対応する値を補正値としてガンマ補正回路３に出力する。階調補正回路２Ｂは、青色信号Ｂの階調を補正するためのLUTを内蔵しており、補正パラメータ演算回路１から入力される補正パラメータおよび青色信号Ｂを、内蔵するLUTに照らし合わせ、対応する値を補正値としてガンマ補正回路３に出力する。
【０００９】
ガンマ補正回路３Ｒは、階調補正回路２Ｒから入力される補正された赤色信号Ｒにガンマ補正を施してマトリクス回路４に出力する。ガンマ補正回路３Ｇは、階調補正回路２Ｇから入力される補正された緑色信号Ｇにガンマ補正を施してマトリクス回路４に出力する。ガンマ補正回路３Ｂは、階調補正回路２Ｂから入力される補正された青色信号Ｂにガンマ補正を施してマトリクス回路４に出力する。マトリクス回路４は、ガンマ補正された３原色信号Ｒ，Ｇ，Ｂを、輝度信号Ｙ_Oと色差信号Ｃｒ_O，Ｃｂ_Oに変換する。
【００１０】
図１に示した階調補正処理部は、３原色信号Ｒ，Ｇ，Ｂを、それぞれ同じ比率で階調補正するので、色相を変化させることなく画像信号のダイナミックレンジを所望の幅に圧縮することが可能である。
【００１１】
しかしながら、当該階調補正処理部は、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対して、階調補正回路２およびガンマ補正回路３が必要であるので、これを民生用の機器（ディジタルカメラ、ビデオカメラ、テレビジョン受像機等）に用いた場合、コスト高になるとともに回路規模が大きくなる問題がある。
【００１２】
特開平１１−５５５９８号公報には、テレビジョン受像機において画像信号のうちの輝度信号Ｙに対してだけ階調補正を行うことにより、画像信号のダイナミックレンジを補正する技術が開示されている。図２は、そのようなテレビジョン受像器の階調補正処理部の構成の一例を示している。
【００１３】
この階調補正処理部において、入力される輝度信号Ｙは、補正パラメータ演算回路１１、輝度補正回路１２、および色差補正回路１３に供給され、入力される色差信号Ｃｒ，Ｃｂは、色差補正回路１３に供給される。
【００１４】
補正パラメータ演算回路１１は、入力される輝度信号Ｙに基づき、輝度補正回路１２における階調補正が最適に実行される補正パラメータを演算して輝度補正回路１２に出力する。階調補正回路１２は、輝度信号Ｙの階調を補正するためのLUTを内蔵しており、補正パラメータ演算回路１１から入力される補正パラメータおよび輝度信号Ｙを、内蔵するLUTに照らし合わせ、対応する値を補正値Ｙ_Oとして出力する。補正値Ｙ_Oは、色差補正回路１３にも供給される。
【００１５】
色差補正回路１３は、色差信号Ｃｒ，Ｃｂの入力輝度信号Ｙに対する比を維持するために、階調補正前の輝度信号Ｙと補正後の輝度信号Ｙ_Oの比であるＹ_O／Ｙを色差信号Ｃｒ，Ｃｂに乗算することによって正規化し、色差信号Ｃｒ_O，Ｃｂ_Oを生成する。
【００１６】
【発明が解決しようとする課題】
図２に示したような階調補正処理部は、輝度信号Ｙに対してだけ階調補正を行うので構成要素の数が少なくなり、コストの上昇を抑止するとともに、回路規模の大型化を抑止することができる。しかしながら、次のような課題が存在する。
【００１７】
第１の課題は、色差信号の値が大きい画素の輝度補正に誤差が生じることである。なお、３原色信号Ｒ，Ｇ，Ｂと、輝度信号Ｙまたは色差信号Ｃｒ，Ｃｂの関係は、次式（１），（２）のとおりとする。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ・・・（１）
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ・・・（２）
【００１８】
輝度信号Ｙの階調補正において、色差信号Ｃｒ，Ｃｂの情報は考慮されていないが、輝度信号Ｙには、３原色信号Ｒ，Ｇ，Ｂのバランスを表す情報が欠落しているために、３原色信号Ｒ，Ｇ，Ｂのバランスが崩れている画素、すなわち色差の大きい画素に対しては、輝度信号Ｙの階調補正が正しく行われない。
【００１９】
例えば、入力された赤色信号Ｒが最大値（１と仮定する）であり、緑色信号Ｇおよび青色信号Ｂが最小値（０と仮定する）である場合、入力輝度信号Ｙは０．３となる。
【００２０】
そのような画素は、階調補正後においても、赤色信号Ｒが最大値（１と仮定する）であり、緑色信号Ｇおよび青色信号Ｂが最小値（０と仮定する）である画素に変換されるべきであり、そのように変換された場合には、当該画素の輝度信号Ｙ＝０．３となる。
【００２１】
しかしながら、例えば、輝度補正回路１２に図３に示すような輝度補正用のLUTが与えられているとすれば、輝度信号Ｙ＝０．３は、輝度補正用のLUTに従って、輝度信号Ｙ_O＝０．６に補正されてしまい、適切な補正値（いまの場合、０．３）と比較して誤差が生じてしまう。このような現象は、無彩色以外の全ての画素に対して起こる可能性がある課題があった。
【００２２】
第２の課題は、色相に変化が発生することである。具体的には、例えば、入力された赤色信号Ｒが最大値であり、緑色信号Ｇおよび青色信号Ｂが最小値である場合、色差信号Ｃｒは、最大値となる。このとき、輝度信号Ｙ＝０．３が、図３のLUTに従ってＹ_O＝０．６に変換されると、色差補正回路１３において、色差信号Ｃｒに２（＝０．６／０．３）が乗算されることになる。
【００２３】
しかしながら、色差信号Ｃｒは、既に最大値であるのでクリッピング処理により変化しない。一方、最大値をとらない色差信号Ｃｂには、２が乗算される。この結果、Ｃｒ／Ｙが一定に保たれず、色相に変化が発生してしまう課題があった。
【００２４】
また仮に、色差信号Ｃｒに対してクリッピング処理を行わずにＣｒ／Ｙの値を保持したとしても、３原色信号Ｒ，Ｇ，Ｂに変換する際、赤色信号Ｒに対してクリッピング処理が行われるので結果的に色相に変化が生じてしまう課題があった。
【００２５】
本発明はこのような状況に鑑みてなされたものであり、色差信号の値が大きい画素の輝度信号Ｙに対してだけ階調補正を行う場合において、輝度信号の階調補正特性に応じて色差信号の補正量を変化させることにより、色相に変化が発生することを抑止できるようにするものである。
【００２６】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則を生成する第１の生成手段と、第１の変換規則を用いて、輝度信号を補正パラメータｋに変換するための第２の変換規則を生成する第２の生成手段と、第１の変換規則を用いて、入力された画像信号の輝度信号を補正して補正済輝度信号を生成する第１の補正手段と、第２の変換規則を用いて、入力された画像信号の輝度信号に対応する補正パラメータｋを取得する取得手段と、入力された画像信号の輝度信号に対応する補正パラメータｋ、および補正済輝度信号を用いて、入力された画像信号の色差信号を補正する第２の補正手段とを含み、
補正パラメータｋ＝｛（補正済輝度信号）の（１／α）乗｝／輝度信号
αは補正済輝度信号を対数変換して得られる関数の傾きであり、
第２の補正手段は、
補正済色差信号＝補正パラメータｋ＊色差信号
を用いて、入力された画像信号の色差信号を補正することを特徴とする。
【００２７】
前記第１の生成手段は、入力された画像信号の第１の要素のヒストグラムを作成する作成手段と、ヒストグラムを累積して、累積ヒストグラムを作成する累積手段と、累積ヒストグラムを所定の対数曲線に近似させて第１の変換規則を生成する近似手段とを含むことができる。
【００２９】
本発明の画像処理装置は、被写体の光信号を色信号に変換する変換手段と、色信号に基づいて、画像信号の輝度信号および色差信号を算出する算出手段とをさらに含むことができる。
【００３０】
前記変換手段には、被写体の光信号を、赤色信号、緑色信号、または青色信号に変換させるようにすることができる。
【００３１】
前記変換手段には、被写体の光信号を、黄色信号、シアン色信号、または緑色信号に変換させるようにすることができる。
【００３２】
前記変換手段には、被写体の光信号を、黄色信号、シアン色信号、マゼンダ色信号、または緑色信号に変換させるようにすることができる。
【００３３】
本発明の画像処理方法は、
入力された画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則を生成する第１の生成ステップと、第１の変換規則を用いて、輝度信号を補正パラメータｋに変換するための第２の変換規則を生成する第２の生成ステップと、第１の変換規則を用いて、入力された画像信号の輝度信号を補正して補正済輝度信号を生成する第１の補正ステップと、第２の変換規則を用いて、入力された画像信号の輝度信号に対応する補正パラメータｋを取得する取得ステップと、入力された画像信号の輝度信号に対応する補正パラメータｋ、および補正済輝度信号を用いて、入力された画像信号の色差信号を補正する第２の補正ステップとを含み、
補正パラメータｋ＝｛（補正済輝度信号）の（１／α）乗｝／輝度信号
αは補正済輝度信号を対数変換して得られる関数の傾きであり、
第２の補正ステップは、
補正済色差信号＝補正パラメータｋ＊色差信号
を用いて、入力された画像信号の色差信号を補正することを特徴とする。
【００３４】
本発明の記録媒体のプログラムは、入力された画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則を生成する第１の生成ステップと、第１の変換規則を用いて、輝度信号を補正パラメータｋに変換するための第２の変換規則を生成する第２の生成ステップと、第１の変換規則を用いて、入力された画像信号の輝度信号を補正して補正済輝度信号を生成する第１の補正ステップと、第２の変換規則を用いて、入力された画像信号の輝度信号に対応する補正パラメータｋを取得する取得ステップと、入力された画像信号の輝度信号に対応する補正パラメータｋ、および補正済輝度信号を用いて、入力された画像信号の色差信号を補正する第２の補正ステップとを含み、
補正パラメータｋ＝｛（補正済輝度信号）の（１／α）乗｝／輝度信号
αは補正済輝度信号を対数変換して得られる関数の傾きであり、
第２の補正ステップは、
補正済色差信号＝補正パラメータｋ＊色差信号
を用いて、入力された画像信号の色差信号を補正することを特徴とする。
【００３５】
本発明においては、入力された画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則が生成され、第１の変換規則を用いて、輝度信号を補正パラメータｋに変換するための第２の変換規則が生成される。また、第１の変換規則を用いて、入力された画像信号の輝度信号が補正されて補正済輝度信号が生成され、第２の変換規則を用いて、入力された画像信号の輝度信号入力された画像信号の輝度信号に対応する補正パラメータｋが取得され、入力された画像信号の輝度信号に対応する補正パラメータｋ、および補正済輝度信号を用いて、入力された画像信号の色差信号が補正される。
【００３６】
【発明の実施の形態】
以下、本発明の一実施の形態であるディジタルカメラについて説明するが、その前に、当該ディジタルカメラによる画像信号の階調補正の動作原理について、図４および図５を参照して説明する。
【００３７】
図４は、輝度信号Ｙの階調補正用LUTの一例を示している。同図において、横軸は入力輝度レベルＹを示し、縦軸は出力輝度レベルＹ_Oを示している。輝度信号Ｙの階調補正用LUTを生成する処理について説明する。
【００３８】
始めに、画像の輝度信号Ｙのヒストグラム（輝度信号Ｙの各信号レベルに対する頻度分布）を生成し、そのヒストグラムの各信号レベルに対する頻度を累積して累積ヒストグラム（同図の曲線Ａ）を生成し、その縦軸に出力輝度信号Ｙ_Oのダイナミックレンジを適合させる。次に、人間の視覚特性に関するウェーバ・フェヒナの法則（人間の感覚量は、刺激強度の対数に比例する）を考慮して、曲線Ａを対数近似して曲線Ｂを得る。なお、曲線Ｂは、次式（３）によって与えられる。
Ｙ_O＝ａ・log（Ｙ）＋ｂ・・・（３）
【００３９】
式（３）を展開して次式（４）を得る。
Ｙ_O＝Ｅ₂（Ｅ₁（Ｙ））＝log（Ｅ₁（Ｙ））＋ｂ＝log（Ｙ^a）＋ｂ・・・（４）
【００４０】
式（４）において、関数Ｅ₁(x)は、指数関数によって輝度信号Ｙのダイナミックレンジを圧縮する処理を表しており、関数Ｅ₂(x)は、ダイナミックレンジを保持した状態で、視覚特性に合わせて輝度の入出力特性を変化させる処理を表している。
【００４１】
ここで、色差信号Ｃｒ，Ｃｂがクリッピングされることを防止するために、関数Ｅ₁(x)に関しては色補正を行わず、関数Ｅ₂(x)に関しては色バランスを保持することを考える。
【００４２】
すなわち、次式（５）が成立すると考える。
Ｃｒ_O／Ｙ_O＝Ｃｒ^a／Ｙ^a
Ｃｂ_O／Ｙ_O＝Ｃｂ^a／Ｙ^a ・・・（５）
ここで、Ｃｒ，Ｃｂは入力色差信号であり、Ｃｒ_O，Ｃｂ_Oは階調補正された出力色差信号であり、ａは所定のパラメータ（後述）を表している。
【００４３】
式（３）を経験的に近似することによって次式（６）を得る。
【数１】

式（６）は、色差信号Ｃｒ，Ｃｂに対する階調補正特性を示している。
【００４４】
このように、輝度信号Ｙに対しては、式（３）を用いて階調補正を行い、色差信号Ｃｒ，Ｃｂに対しては、式（６）を用いて階調補正を行うようにすれば、色相の変化の発生を抑止して、画像信号のダイナミックレンジを圧縮することが可能となる。
【００４５】
ここで、入力輝度信号Ｙだけを用いて、色差信号Ｃｒ，Ｃｂの階調補正に用いるパラメータａを算出する方法について、図５を参照して説明する。図５は、図４の横軸を対数変換したものであり、曲線Ａ’は曲線Ａ（図４）に対応する。直線Ｂ’は、曲線Ａ’を直線近似したものである。よって、直線Ｂ’は、曲線Ｂ（図４）に対応すると考えることができる。
【００４６】
したがって、直線Ｂ’の傾きαを求めて、式（６）のａにαの値を代入すれば、次式（７）で表されるような色差信号Ｃｒ，Ｃｂの階調補正関数を得ることができる。
【数２】

ただし、式（７）のｋは、色差信号の補正値パラメータである。
【００４７】
次に、本発明の一実施の形態であるディジタルカメラの第１の構成例について、図６を参照して説明する。このディジタルカメラ３０は、単板式CCDを用いており、被写体の光画像を広ダイナミックレンジ（例えば、１６ビット幅）の画像信号として取得し、適宜、狭ダイナミックレンジ（例えば、８ビット幅）の画像信号に変換して出力するものである。
【００４８】
ディジタルカメラ３０の光学系は、被写体の光画像を集光するレンズ３１、光画像の光量を調整する絞り３２、光画像の入射時間を調整するシャッタ３３、CCD３７が強い感度を有する赤外領域の光を除去する赤外線カットフィルタ（ＩＲフィルタ）３４、CCD３７が離散的なサンプリングすると発生する折り返しを抑止するために光の高周波成分を除去する光学ローパスフィルタ(LPF)３５、および、例えば、図７（Ａ）に示すように配置された原色系（赤(R)、緑(G)、および青(B)）のフィルタであって、光信号から３原色Ｒ，Ｇ，Ｂを抽出する色フィルタ３６から構成される。
【００４９】
レンズ３１に赤外領域除去用のコーティングを施すことにより、赤外線カットフィルタ３４を省略してもよい。
【００５０】
なお、図７は、CCD３７の４画素に対応する領域の色フィルタ３６を示しており、色フィルタ３６として、例えば、同図（Ｂ）または同図（Ｃ）に示すように配置された補色系（黄色(Ye)、シアン(Cy)、マゼンダ(Mg)）と緑(G)のフィルタを用いてもよい。
【００５１】
さらに、ディジタルカメラ３０は、光学系を介して入力される光画像を光電変換し、広ダイナミックレンジの画像信号をCDS３８に出力するCCD３７、CCD３７から入力される画像信号をサンプリングすることによってノイズを低減させるCDS(Correlated Double Sampling)３８、被写体の明るさに適応して画像信号の振幅を電気的に増幅するAGC(Auto Gain Controller)３９、アナログの画像信号をディジタル化するＡ／Ｄコンバータ４０、DSP(Digital Signal Processor)等より成り、広ダイナミックレンジのディジタル画像信号を狭ダイナミックレンジのディジタル画像信号に変換する画像処理部４１、CCD３７の水平走査タイミングおよび垂直走査タイミングを発生するタイミングジェネレータ４２、および、ドライブ４５を制御して、磁気ディスク４６、光ディスク４７、光磁気ディスク４８、または半導体メモリ４９に記憶されている制御用プログラムを読み出して、読み出した制御用プログラム、操作部４４から入力されるユーザからのコマンド等に基づいて、ディジタルカメラ３０の全体を制御する制御部４３から構成される。
【００５２】
なお、画像処理部４１は、入力されるディジタル画像信号のダイナミックレンジを変更する他、入力されるディジタル画像信号を静止画像としてJPEG(Joint Photographic Experts Group)方式等に従って圧縮符号化して所定の記録メディアに記録したり、動画像としてMPEG(Moving Picture Experts Group)方式等に従って圧縮符号化して所定の記録メディアに記録したり、所定に記録媒体から符号化された画像信号を読み出して復号する。
【００５３】
このディジタルカメラ３０において、レンズ３１乃至色フィルタ３６より成る光学系を介して入力された光画像は、CCD３７によって広ダイナミックレンジの画像信号に変換され、CDS３８によってノイズ低減処理が施され、AGC３９によって振幅が増幅されて、さらに、Ａ／Ｄコンバータ４０によってディジタル化されて、画像処理部４１に入力される。画像処理部４１に入力された広ダイナミックレンジのディジタル画像信号は、狭ダイナミックレンジのディジタル画像信号に変換される。
【００５４】
次に、図８は、画像処理部４１の詳細な第１の構成例を示している。画像処理部４１には、１画素に対してディジタル化された３原色信号Ｒ，Ｇ，Ｂのうちのいずれかが入力される。
【００５５】
ホワイトバランス回路（ＷＢ）５１は、各画素の原色信号レベルを調整して画像における色バランスを整え、ガンマ補正回路（γ）５２に出力する。ガンマ補正回路５２は、各画素の原色信号に対し、ガンマ補正を施して遅延回路（ＤＬ）５３に出力する。遅延回路５３は、RGB補間同時化回路５４が近傍の所定の数の画素を用いて各画素の３原色信号Ｒ，Ｇ，Ｂを復元する処理と、アパーチャ補正信号生成回路５５が近傍の所定の数の画素を用いてエッジ強調信号を生成する処理とに用いられるサンプリング位相が異なる各色チャンネルの信号の位相を一致させて、RGB補間同時化回路５４およびアパーチャ補正信号生成回路５５に出力する。
【００５６】
RGB補間同時化回路５４は、全ての画素にそれぞれ対応する３原色信号Ｒ，Ｇ，Ｂを復元するために、対象とする画素の近傍の画素の赤色信号Ｒ、緑色信号Ｇ、または青色信号Ｂを用いて欠損している色信号を補間し、画素に対応する３原色信号Ｒ，Ｇ，Ｂの各位相を同期させて同時に加算器５６に出力する。アパーチャ補正信号生成回路５５は、全ての画素にそれぞれ対応するエッジ強調信号を、対象とする画素の近傍の画素の赤色信号Ｒ、緑色信号Ｇ、または青色信号Ｂを用いて生成し、加算器５６に出力する。
【００５７】
加算器５６は、RGB補間同時化回路５４から入力される３原色信号Ｒ，Ｇ，Ｂのそれぞれに、アパーチャ補正信号生成回路５５から入力されるエッジ強調信号を加算することよってＦ特補正を施して、輝度信号生成マトリクス回路５７および帯域制限フィルタ５８に出力する。
【００５８】
輝度信号生成マトリクス回路５７は、加算器５６から入力される３原色信号Ｒ，Ｇ，Ｂを式（１）に代入して輝度信号Ｙを生成し、輝度補正回路５９および補正パラメータ演算回路６０に出力する。
【００５９】
帯域制限フィルタ５８は、色差信号Ｃｒ，Ｃｂの帯域に合わせるために、加算器５６からの３原色信号Ｒ，Ｇ，Ｂの帯域を制限し、色差信号生成マトリクス回路６１に出力する。色差信号生成マトリクス回路６１は、帯域制限された３原色信号Ｒ，Ｇ，Ｂを、式（１），（２）に代入して色差信号Ｃｒ，Ｃｂを生成し、色差補正回路６２に出力する。
【００６０】
輝度補正回路５９は、輝度信号生成マトリクス回路５７から入力される輝度信号Ｙを輝度信号Ｙ_Oに補正して補正パラメータ演算回路６０に出力する。補正パラメータ演算回路６０は、輝度信号生成マトリクス回路５７から入力される輝度信号Ｙに対応する補正パラメータｋを生成して色差補正回路６２に出力する。色差補正回路６２は、色差信号生成マトリクス回路６１から入力される色差信号Ｃｒ，Ｃｂに、補正パラメータ演算回路６０から入力される補正パラメータｋを乗算して色差信号Ｃｒ_O，Ｃｂ_Oを生成する。
【００６１】
図９は、画像処理部４１における輝度補正回路５９および補正パラメータ演算回路６０の詳細な構成例を示している。
【００６２】
輝度補正回路５９のヒストグラム生成回路７１は、輝度信号生成マトリクス回路５７から順次入力される輝度信号Ｙのヒストグラムを画像単位で生成して、輝度信号補正用LUT生成回路７２に出力する。輝度信号補正用LUT生成回路７２は、ヒストグラム生成回路７１から入力される輝度信号Ｙのヒストグラムを累積して曲線Ａ（図４）のような累積ヒストグラムを生成し、それを対数近似して曲線Ｂ（図４）のような輝度信号補正用LUTを生成し、LUTメモリ７３に出力する。LUTメモリ７３は、輝度信号補正用LUT生成回路７２から入力される輝度信号補正用LUTを記憶するとともに、輝度信号生成マトリクス回路５７から入力される輝度信号Ｙを輝度信号補正用LUTに適用して、補正された輝度信号Ｙ_Oを得る。
【００６３】
色差信号補正パラメータLUT生成回路８１は、LUTメモリ７３に保持されている輝度信号補正用LUTを参照して、輝度信号Ｙと補正パラメータｋ（式（７））との対応関係を示す色差信号補正パラメータLUTを生成してLUTメモリ８２に出力する。LUTメモリ８２は、色差信号補正パラメータLUT生成回路８１から入力される色差信号補正パラメータLUTを記憶するとともに、輝度信号生成マトリクス回路５７から入力される輝度信号Ｙを色差信号補正パラメータLUTに適用して、得られる補正パラメータｋを色差補正回路６２に出力する。
【００６４】
次に、画像処理部４１の階調補正処理について、図１０のフローチャートを参照して説明する。この階調補正処理は、輝度信号生成マトリクス回路５７が出力した輝度信号Ｙと、色差信号生成マトリクス回路６１が出力した色差信号Ｃｒ，Ｃｂに対して施される。
【００６５】
ステップＳ１において、輝度補正回路５９のヒストグラム生成回路７１は、輝度信号生成マトリクス回路５７から入力された輝度信号Ｙのヒストグラムを画像単位で生成して、輝度信号補正用LUT生成回路７２に出力する。ステップＳ２において、輝度信号補正用LUT生成回路７２は、ヒストグラム生成回路７１から入力された輝度信号Ｙのヒストグラムを累積して累積ヒストグラムを生成し、それを対数近似して輝度信号補正用LUTを生成し、LUTメモリ７３に記憶させる。
【００６６】
ステップＳ３において、色差信号補正パラメータLUT生成回路８１は、LUTメモリ７３に保持されている輝度信号補正用LUTを参照して、色差信号補正パラメータLUTを生成し、LUTメモリ８２に記憶させる。
【００６７】
ステップＳ４において、LUTメモリ７３は、輝度信号生成マトリクス回路５７から入力された輝度信号Ｙを輝度信号補正用LUTに適用して、補正された輝度信号Ｙ_Oを得る。
【００６８】
ステップＳ５において、LUTメモリ８２は、輝度信号生成マトリクス回路５７から入力された輝度信号Ｙを色差信号補正パラメータLUTに適用して、得られた補正パラメータｋを色差補正回路６２に出力する。
【００６９】
ステップＳ６において、色差補正回路６２は、色差信号生成マトリクス回路６１から入力された色差信号Ｃｒ，Ｃｂに、LUTメモリ７３からの補正パラメータｋを乗算して、補正された色差信号Ｃｒ_O，Ｃｂ_Oを得る。
【００７０】
以上説明したように、画像処理部４１の階調補正処理によれば、輝度信号Ｙの階調補正LUTに基づいて、生成した色差信号補正パラメータLUTより求められる補正パラメータｋを乗算することにより、色差信号Ｃｒ，Ｃｂを補正するようにしたので、補正された色差信号Ｃｒ_O，Ｃｂ_Oがオーバフローすることなく、色相の変化が抑止される。
【００７１】
次に、図１１は、画像処理部４１の詳細な第２の構成例を示している。第２の構成例は、図８に示した第１の構成例からガンマ補正回路５２を削除して、その代わりに、RGB補間同時化回路５４と加算器５６の間にガンマ補正回路７１を設けたものである。なお、図１１に示した第２の構成例において、図８に示した第１の構成例と共通する回路には同じ符号を附しているので、それらの説明については省略する。
【００７２】
次に、図１２は、画像処理部４１の詳細な第３の構成例を示している。第３の構成例は、図８に示した第１の構成例からガンマ補正回路５２および加算器５６を削除して、それらの代わりに、ガンマ補正回路８１、加算器８２、ガンマ補正回路８３を設けたものである。
【００７３】
ガンマ補正回路８１は、RGB補間同時化回路５４からの３原色信号Ｒ，Ｇ，Ｂに対し、ガンマ補正を施して帯域制限フィルタ５８に出力する。加算器８２は、輝度信号生成マトリクス回路５７からの輝度信号Ｙに、アパーチャ補正信号生成回路５５からのエッジ強調信号を加算することよってＦ特補正を施して、ガンマ補正回路８３に出力する。ガンマ補正回路８３は、加算器８２からのＦ特補正が施された輝度信号Ｙにガンマ補正を施し、輝度補正回路５９および補正パラメータ演算回路６０に出力する。なお、図１２に示した第３の構成例において、図８に示した第１の構成例と共通する回路には同じ符号を附しているので、それらの説明については省略する。
【００７４】
次に、図１３は、画像処理部４１の詳細な第４の構成例を示している。第４の構成例は、図６に示したディジタルカメラ３０の色フィルタ３６に、図７（Ｂ）または図７（Ｃ）に示した配置の補色系のフィルタを用いた場合に対応している。
【００７５】
色フィルタ３６が、図７（Ｂ）に示した配置の補色系のフィルタである場合、図１３の画像処理部４１には、ディジタル化された補色信号Ｙｅ，Ｇ，Ｃｙが入力される。色フィルタ３６が、図７（Ｃ）に示した配置の補色系のフィルタである場合、図１３の画像処理部４１には、ディジタル化された補色信号Ｙｅ，Ｃｙ，Ｇ，Ｍｇが入力される。以下、色フィルタ３６が、図７（Ｂ）に示した配置の補色系のフィルタであり、図１３の画像処理部４１には、ディジタル化された補色信号Ｙｅ，Ｇ，Ｃｙが入力される場合について説明する。
【００７６】
遅延回路９１は、上段から入力されたサンプリング位相が異なる各補色チャンネルの信号の位相を一致させて、輝度信号生成回路９２、アパーチャ補正信号生成回路９３、および、補間・帯域制限フィルタ９４に出力する。輝度信号生成回路９２は、全ての画素に対し、その近傍の画素の補色信号Ｙｅ，Ｇ，Ｃｙを用いて輝度信号Ｙを生成して加算器９５に出力する。アパーチャ補正信号生成回路９３は、全ての画素にそれぞれ対応するエッジ強調信号を、その近傍の画素の補色信号Ｙｅ，Ｇ，Ｃｙを用いて生成し、加算器９５に出力する。
【００７７】
補間・帯域制限フィルタ９４は、全ての画素にそれぞれ対応する補色信号Ｙｅ，Ｇ，Ｃｙを復元するために、対象とする画素の近傍の画素の補色信号Ｙｅ，Ｇ，Ｃｙを用いて欠損している補色色信号を補間し、画素に対応する補色信号Ｙｅ，Ｇ，Ｃｙの各位相を同期させて原色分離マトリクス回路９７に出力する。
【００７８】
加算器９５は、輝度信号生成回路９２からの輝度信号Ｙに、アパーチャ補正信号生成回路９３から入力されるエッジ強調信号を加算することよってＦ特補正を施してガンマ補正回路９６に出力する。ガンマ補正回路９６は、加算器９５からのＦ特補正が施された輝度信号Ｙにガンマ補正を施して、輝度補正回路５９および補正パラメータ演算回路６０に出力する。
【００７９】
原色分離マトリクス回路９７は、補間・帯域制限フィルタ９４から入力される画素毎の補色信号Ｙｅ，Ｇ，Ｃｙを用い、３原色信号Ｒ，Ｇ，Ｂを生成してホワイトバランス回路９８に出力する。
ホワイトバランス回路９８は、各画素の３原色信号Ｒ，Ｇ，Ｂのレベルを調整して画像における色バランスを整え、ガンマ補正回路９９に出力する。ガンマ補正回路９９は、各画素の３原色信号Ｒ，Ｇ，Ｂに対し、ガンマ補正を施して帯域制限フィルタ５８に出力する。
【００８０】
なお、図１３に示した第４の構成例において、図８に示した第１の構成例と共通する回路には同一の符号を附しているので、それらの説明については省略する。
【００８１】
次に、図１４は、本発明の一実施の形態であるディジタルカメラの第２の構成例を示している。このディジタルカメラ１１０は、図６のディジタルカメラ３０と同様に、被写体の光画像を広ダイナミックレンジ（例えば、１６ビット幅）の画像信号として取得し、適宜、狭ダイナミックレンジ（例えば、８ビット幅）の画像信号に変換して出力するものである。
【００８２】
ディジタルカメラ１１０は、図６のディジタルカメラ３０が単板式CCD（CCD３７）を用いることに対し、３板式CCD（CCD３７Ｒ乃至３７Ｂ）を用いている。したがって、ディジタルカメラ１１０には、ディジタルカメラ３０に用いられていた色フィルタ３６が不要であり、その位置に、レンズ３１乃至ローパスフィルタ３５を介して入力される光信号を３原色信号Ｒ，Ｇ，Ｂに分解する色分解プリズム１１１が配される。また、ディジタルカメラ１１０には、ディジタルカメラ３０におけるCCD３７乃至Ａ／Ｄコンバータ４０の代わりに、３原色信号Ｒ，Ｇ，Ｂのそれぞれに対応したCCD３７Ｒ乃至Ａ／Ｄコンバータ４０Ｒ、CCD３７Ｇ乃至Ａ／Ｄコンバータ４０Ｇ、およびCCD３７Ｂ乃至Ａ／Ｄコンバータ４０Ｂが設けられる。ディジタルカメラ１１０の画像処理部１１２には、各画素に対応する広ダイナミックレンジの３原色信号Ｒ，Ｇ，Ｂが入力される。
【００８３】
図１５は、画像処理部１１２の詳細な構成例を示している。画像処理部１１２には、１画素に対して３原色信号Ｒ，Ｇ，Ｂの全てが入力される。
【００８４】
ホワイトバランス回路１２１Ｒは、入力される赤色信号Ｒのレベルを調整してガンマ補正回路１２２Ｒおよび遅延回路１２３に出力する。ホワイトバランス回路１２１Ｇは、入力される緑色信号Ｇのレベルを調整してガンマ補正回路１２２Ｇおよび遅延回路１２３に出力する。ホワイトバランス回路１２１Ｂは、入力される青色信号Ｂのレベルを調整してガンマ補正回路１２２Ｂおよび遅延回路１２３に出力する。
【００８５】
ガンマ補正回路１２２Ｒは、ホワイトバランス回路１２１Ｒからの赤色信号Ｒにガンマ補正を施して輝度信号生成マトリクス回路１２５および帯域制限フィルタ１２７に出力する。ガンマ補正回路１２２Ｇは、ホワイトバランス回路１２１Ｇからの緑色信号Ｇにガンマ補正を施して輝度信号生成マトリクス回路１２５および帯域制限フィルタ１２７に出力する。ガンマ補正回路１２２Ｂは、ホワイトバランス回路１２１Ｂからの青色信号Ｂにガンマ補正を施して輝度信号生成マトリクス回路１２５および帯域制限フィルタ１２７に出力する。
【００８６】
遅延回路１２３は、アパーチャ補正信号生成回路１２４の各画素に対応するエッジ強調信号を生成する処理に用いられる、対象となる画素の近傍の数画素の３原色信号Ｒ，Ｇ，Ｂを同時にアパーチャ補正信号生成回路１２４に出力する。アパーチャ補正信号生成回路１２４は、全ての画素に対し、近傍の画素の３原色信号Ｒ，Ｇ，Ｂを用いてエッジ強調信号を生成し、加算器１２６に出力する。
【００８７】
輝度信号生成マトリクス回路１２５は、ガンマ補正回路１２２Ｒ乃至１２２Ｂから入力される３原色信号Ｒ，Ｇ，Ｂを式（１）に代入して輝度信号Ｙを生成し、加算器１２６に出力する。加算器１２６は、輝度信号生成マトリクス回路１２５から入力される輝度信号Ｙに、アパーチャ補正信号生成回路１２４から入力されるエッジ強調信号を加算することよってＦ特補正を施し、輝度補正回路５９および補正パラメータ演算回路６０に出力する。
【００８８】
帯域制限フィルタ１２７は、色差信号Ｃｒ，Ｃｂの帯域に合わせるため、ガンマ補正回路１２２Ｒ乃至１２２Ｂから入力される３原色信号Ｒ，Ｇ，Ｂの帯域を制限して色差信号生成マトリクス回路６１に出力する。
【００８９】
図１５に示した画像処理部１１２の構成例において、図８に示した画像処理部４１の第１の構成例と共通する回路には同一の符号を附しているので、それらの説明については省略する。
【００９０】
なお、本発明は、画像のダイナミックレンジを変更せずに階調を変更させる場合に適用することも可能である。
【００９１】
また、本発明は、本実施の形態のようなディジタルカメラのみならず、例えば、スキャナ、ファクシミリ、複写機など、画像信号を処理する電子機器に適用することが可能である。
【００９２】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００９３】
この記録媒体は、図６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４６（フロッピディスクを含む）、光ディスク４７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク４８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ４９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【００９４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９５】
【発明の効果】
以上のように、本発明によれば、輝度信号の階調補正に伴って色相に変化が発生することを抑止することが可能となる。
【図面の簡単な説明】
【図１】３原色信号Ｒ，Ｇ，Ｂの階調を個別に補正する従来の階調補正処理部の構成の一例を示すブロック図である。
【図２】画像信号のうちの輝度信号Ｙに対してだけ階調補正を行う従来の階調補正処理部の構成の一例を示している。
【図３】輝度信号の階調補正特性を説明するための図である。
【図４】本発明の一実施の形態であるディジタルカメラの階調補正の原理を説明するための図である。
【図５】本発明の一実施の形態であるディジタルカメラの階調補正の原理を説明するための図である。
【図６】本発明の一実施の形態であるディジタルカメラの第１の構成例を示すブロック図である。
【図７】色フィルタ３６の例を示す図である。
【図８】ディジタルカメラ３０の画像処理部４１の第１の構成例を示すブロック図である。
【図９】輝度補正回路５９および補正パラメータ演算回路６０の構成例を示すブロック図である。
【図１０】画像処理部４１の階調補正処理を説明するフローチャートである。
【図１１】ディジタルカメラ３０の画像処理部４１の第２の構成例を示すブロック図である。
【図１２】ディジタルカメラ３０の画像処理部４１の第３の構成例を示すブロック図である。
【図１３】ディジタルカメラ３０の画像処理部４１の第４の構成例を示すブロック図である。
【図１４】本発明の一実施の形態であるディジタルカメラの第２の構成例を示すブロック図である。
【図１５】ディジタルカメラ１１０の画像処理部１１２の構成例を示すブロック図である。
【符号の説明】
３０ディジタルカメラ，３１レンズ，３２絞り，３３シャッタ，３４赤外線カットフィルタ，３５ローパスフィルタ，３６色フィルタ，３７ CCD，３８ CDS，３９オートゲインコントローラ，４０Ａ／Ｄコンバータ，４１画像処理部，４２タイミングジェネレータ，４３制御部，４４操作部，４５ドライブ，４６磁気ディスク，４７光ディスク，４８光磁気ディスク，４９半導体メモリ，５９輝度補正回路，６０補正パラメータ演算回路，６１色差信号生成回路，６２色差補正回路，７１ヒストグラム生成回路，７２輝度信号補正用LUT生成回路，７３ LUTメモリ，８１色差信号補正パラメータLUT生成回路，８２ LUTメモリ，１１０ディジタルカメラ，１１１色分解プリズム，１１２画像処理部

Claims

画像信号の階調を補正する画像処理装置において、
入力された前記画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則を生成する第１の生成手段と、
前記第１の変換規則を用いて、前記輝度信号を補正パラメータｋに変換するための第２の変換規則を生成する第２の生成手段と、
前記第１の変換規則を用いて、入力された前記画像信号の前記輝度信号を補正して補正済輝度信号を生成する第１の補正手段と、
前記第２の変換規則を用いて、入力された前記画像信号の前記輝度信号に対応する補正パラメータｋを取得する取得手段と、
入力された前記画像信号の輝度信号に対応する前記補正パラメータｋ、および前記補正済輝度信号を用いて、入力された前記画像信号の色差信号を補正する第２の補正手段とを含み、
前記補正パラメータｋ＝｛（補正済輝度信号）の（１／α）乗｝／輝度信号
αは前記補正済輝度信号を対数変換して得られる関数の傾きであり、
前記第２の補正手段は、
補正済色差信号＝補正パラメータｋ＊色差信号
を用いて、入力された前記画像信号の前記色差信号を補正する
ことを特徴とする画像処理装置。
前記第１の生成手段は、
入力された前記画像信号の第１の要素のヒストグラムを作成する作成手段と、
前記ヒストグラムを累積して、累積ヒストグラムを作成する累積手段と、
前記累積ヒストグラムを所定の対数曲線に近似させて前記第１の変換規則を生成する近似手段とを含む
ことを特徴とする請求項１に記載の画像処理装置。
被写体の光信号を色信号に変換する変換手段と、
前記色信号に基づいて、前記画像信号の前記輝度信号および前記色差信号を算出する算出手段と
をさらに含むことを特徴とする請求項１に記載の画像処理装置。
前記変換手段は、前記被写体の前記光信号を、赤色信号、緑色信号、または青色信号に変換する
ことを特徴とする請求項３に記載の画像処理装置。
前記変換手段は、前記被写体の前記光信号を、黄色信号、シアン色信号、または緑色信号に変換する
ことを特徴とする請求項３に記載の画像処理装置。
前記変換手段は、前記被写体の前記光信号を、黄色信号、シアン色信号、マゼンダ色信号、または緑色信号に変換する
ことを特徴とする請求項３に記載の画像処理装置。
画像信号の階調を補正する画像処理装置の画像処理方法において、
入力された前記画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則を生成する第１の生成ステップと、
前記第１の変換規則を用いて、前記輝度信号を補正パラメータｋに変換するための第２の変換規則を生成する第２の生成ステップと、
前記第１の変換規則を用いて、入力された前記画像信号の前記輝度信号を補正して補正済輝度信号を生成する第１の補正ステップと、
前記第２の変換規則を用いて、入力された前記画像信号の前記輝度信号に対応する補正パラメータｋを取得する取得ステップと、
入力された前記画像信号の輝度信号に対応する前記補正パラメータｋ、および前記補正済輝度信号を用いて、入力された前記画像信号の色差信号を補正する第２の補正ステップとを含み、
前記補正パラメータｋ＝｛（補正済輝度信号）の（１／α）乗｝／輝度信号
αは前記補正済輝度信号を対数変換して得られる関数の傾きであり、
前記第２の補正ステップは、
補正済色差信号＝補正パラメータｋ＊色差信号
を用いて、入力された前記画像信号の前記色差信号を補正する
ことを特徴とする画像処理方法。
画像信号の階調を補正する画像処理装置の制御用のプログラムであって、
入力された前記画像信号の輝度信号を用いて、輝度信号を補正済輝度信号に補正するための第１の変換規則を生成する第１の生成ステップと、
前記第１の変換規則を用いて、前記輝度信号を補正パラメータｋに変換するための第２の変換規則を生成する第２の生成ステップと、
前記第１の変換規則を用いて、入力された前記画像信号の前記輝度信号を補正して補正済輝度信号を生成する第１の補正ステップと、
前記第２の変換規則を用いて、入力された前記画像信号の前記輝度信号に対応する補正パラメータｋを取得する取得ステップと、
入力された前記画像信号の輝度信号に対応する前記補正パラメータｋ、および前記補正済輝度信号を用いて、入力された前記画像信号の色差信号を補正する第２の補正ステップとを含み、
前記補正パラメータｋ＝｛（補正済輝度信号）の（１／α）乗｝／輝度信号
αは前記補正済輝度信号を対数変換して得られる関数の傾きであり、
前記第２の補正ステップは、
補正済色差信号＝補正パラメータｋ＊色差信号
を用いて、入力された前記画像信号の前記色差信号を補正する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。